Il est très déprimé, très affecté, voire suicidaire. Il se retranche dans son pavillon de la rue de Verneuil, mais il s'affiche rapidement avec de jolies femmes et pousse le cynisme jusqu'à tenir un carnet dans lequel il leur attribue une note. Il ne s'attache à aucune. Il tourne aussi beaucoup pour le cinéma. C'est en tournant les essais pour le film de Pierre Grimblat, Slogan que Serge rencontre celle qui va désormais marquer sa vie professionnelle et personnelle, Jane Birkin.
Elle a alors 20 ans, un bébé sur les bras, Kate, et vient de divorcer de John Barry, compositeur oscarisé.
La prise de contact se passe très mal, Serge lui reproche de ne pas savoir parler un mot de français, elle se met à pleurer, il attendait Marisa Berenson pour lui donner la réplique, peut-être pour la séduire aussi, et il se retrouve face à une gamine inconnue!

En peu de temps ils vont s'apprivoiser pour ne plus se quitter pendant près de douze ans.

En aout, Jane part à Saint-Tropez pour le deuxième rôle féminin du film La Piscine, avec Maurice Ronet, Alain Delon, et Romy Schneider.
Jane Birkin :

"Serge était jaloux de Delon, il le trouvait trop beau ! A Nice il a réussi à louer une voiture quatre fois plus grande que celle d'Alain.[…] Dans cette énorme limousine, très flash, on était obligés de pendre les couches de ma fille Kate, et puis il y avait le landau et la nurse, et Serge gémissait :
"Ma belle voiture ! on dirait une caravane arabe ! …""

Françoise Hardy attend Serge à Paris pour travailler avec lui, après lui avoir écrit le texte magnifique de L'anamour. Serge accepte de mettre ses mots sur une musique composée par un autre, ça sera l'énorme tube du tout début 1969 : Comment te dire adieu.

Ils partent au Népal tourner un film pour Cayatte : Les chemins de Katmandou. A leur retour ils s'installent au 5 bis rue de Verneuil, avec Kate Bary, la première fille de Jane, dans cette maison noire du haut en bas, véritable musée imaginaire, fouillis d'objets hétéroclites et précieux.

A la fin de l'année 1968 ils enregistrent ensemble, à Londres au studio Chappell, une nouvelle version du sulfureux Je t'aime moi non plus. Cette fois, le disque est commercialisé et la version de Gainsbourg / Birkin devient célébrissime, elle fait le tour des discothèques d'Europe et d'outre Atlantique... Cependant, de nombreux pays interdisent le titre et Gainsbourg lui-même décide de le retirer du premier album qu'il sort avec sa nouvelle compagne.
Serge et Jane deviennent un couple hautement médiatique, une période riche et heureuse commence enfin pour lui qui reprend goût à la vie et à la création. Il se consacre à sa vie personnelle stabilisée, et suit sa compagne sur la plupart de ses tournages.