Dans son autobiographie, Brigitte résume ainsi ses sentiments, a propos de Je t'aime moi non plus :

"Je crus mourir lorsque j'entendis, un peu plus tard, l'enregistrement de cette chanson interprétée par Serge et Jane. Mais c'était dans l'ordre des choses! Je n'en voulu jamais ni à l'un ni à l'autre. Au contraire je m'en voulus à moi, de ma lâcheté, de mon manque de décision, de ma façon de croire que tout m'était dû, du mal que j'ai pu faire inconsciemment et qui me retombait, comme un pavé sur le cœur".

L'année 69 est surtout marquée par le scandale provoqué par la sortie du disque Je t'aime moi non plus. Son succès est renforcé par son interdiction.

Au 8 septembre 1969, grâce aux Night-club, il s'est vendu 780.000 exemplaires de 45 tours, un mois plus tard, grâce à la censure, le chiffre d'un million et demi de 45 tours est dépassé...
On estime que la chanson rapporte dans les mois qui suivent plus de 2 millions de francs à Serge et 1 million à Jane.
Dès l'arrivée de Jane, son travail pour d'autres interprètes (féminines), et pour lui-même, se ralentit. Gainsbourg préfère se consacrer à sa vie personnelle stabilisée, et suit sa compagne sur la plupart de ses tournages. Il se consacre beaucoup à Kate, qu'il élève comme sa fille, et à ses parents…

Il semble être en panne d'inspiration, en fait il veut frapper fort, bluffer Jane, il ne "pouvait plus rester un auteur de chansonnettes" c'est pourquoi il compose Histoire de Melody Nelson qu'il définit comme "une vraie comédie musicale symphonique", album entièrement conçu autour de Jane Birkin, et arrangé par Jean-Claude Vannier.

Il rentre en studio pour l'enregistrer en janvier 1971.
A l'instar de Léo Férré et de Gérard Manset Serge crée un "concept-album", principe novateur d'un fil conducteur reliant tous les morceaux, jugé par la critique comme un album majeur, et qui influencera durablement de nombreux musiciens.