Pour la première fois, Sean Connery annonce très officiellement son retrait de la série des Bond. Le personnage l'ennuie, les délais de tournage sont de plus en plus longs et c'est tout juste si on lui demande de jouer la comédie. Malheureusement, il a signé un contrat et il doit l'honorer. Il obtient certes une augmentation à la fois de son cachet et de son pourcentage, mais c'est un homme blasé et las qui se présente sur les plateaux des studios Pinewood le 4 juillet 1966. Ironiquement, ce jour-là, on y filme sa "mort" sous les balles de Chinois peu amènes.
Pour le cinquième film de la série, Broccoli et Saltzman ont décidé de changer les cadres et de faire appel au réalisateur Lewis Gilbert. Ils ne lésinent pas sur les moyens. L'argent n'est plus un problème. A lui seul, le décorateur Ken Adam va dépenser quatre cent mille livres pour construire, aux studios Pinewood, plateau D, le volcan creux qui sert de base au Spectre. Pour y parvenir son équipe va utiliser deux cent mille tubes d'acier, plus de sept cent tonnes de structures métalliques, deux cent tonnes de plâtre, huit mille traverses de chemin de fer et plus de deux cent cinquante mille mètres carrés de toile de tente de protection.
L'équipe débarque au Japon le 27 juillet. Sur place, les acteurs japonais sélectionnés par la production doivent apprendre l'anglais.
Les semaines passent, émaillées d'incidents de tournage et d'accidents, le cameraman Johnny Jordan devant même être amputé le 22 septembre. Le 11 novembre, l'acteur tchèque Jan Werich, qui devait jouer le rôle de Blofeld, tombe malade. Il est aussitôt remplacé par Donald Pleasence.
Le tournage achevé, les difficultés ne cessent pas pour autant, Thelma Connell n'arrivant pas à réduire le film à moins de deux heures. Son montage faisant cent trente-trois minutes. Hunt, pourtant promu réalisateur de la deuxième équipe, se fait tirer l'oreille mais accepte de refaire le montage final. Toutes ces péripéties n'empêchent pas le film de sortir et d'être un nouveau succès.
Cependant Broccoli et Saltzman sont inquiets parce que Sean Connery n'a pas l'air de revenir sur sa décision : il abandonne James Bond.