Le 22 avril 1971, Joseph Ginsburg meurt brutalement.

"Avec mon père, j'ai peut- être raté un ami. C'était un garçon timide et moi aussi. Pourtant il a été présent à tous les carrefours importants dans ma vie : les Beaux-Arts, le Touquet, le Milord l'Arsouille, la rue de Verneuil… […].
Un jour il s'était plaint : "A quoi nous sert ta célébrité si on ne te voit plus ? ...
"Je ne l'oublierai jamais ! […] Après sa mort, j'ai découvert qu'il gardait toutes les coupures de presse où l'on parlait de moi".

Le 21 juillet 71 Charlotte fait son entrée dans le monde, dans une clinique londonienne. Serge est fou de joie.

"Cette nuit-là, j'ai touché le bonheur du doigt. Les hommes font l'amour, les mères le miracle". affirme t-il.

Les interprètes continuent de se succéder : Régine, Zizi Jeanmaire, Juliette Gréco, Françoise Hardy. En fin d'année il tente de lancer La décadanse dans les discothèques parisiennes et cannoises, l'idée ne séduit pas et la presse le taxe de mauvais goût.

Serge est déçu des résultats de ses deux derniers disques, en avril 1972, il accepte un petit boulot de commande, une chanson publicitaire pour le parfumeur Caron dont les spots passent sur Europe n°1 et Radio Monte-Carlo. Il ne tourne plus au cinéma.

En mai, il se remet à composer des chansons -sketches pour un Top à... consacré à Sylvie Vartan. Serge et Jane sont les invités de Gilbert et Maritie Carpentier.
En trio ils interprètent Les filles n'ont aucun dégoût.
Pour France Gall il compose Frankenstein et Les petits ballons dont France dira :

"Les textes étaient parfaits mais ce n'était pas ce que j'attendais. Je n'étais pas heureuse de les enregistrer. C'est là que je me suis rendue compte qu'il avait dit tout ce qu'il avait à dire avec moi. En fait il ne m'a jamais connue.
Ce qui l'intéressait c'est ce qu'il projetait sur moi".

A la rentrée il se sépare de Vannier et compose le premier album consacré à Jane Di Doo Dah il joue avec sa voix :

"Le merveilleux avec Jane […] consistait en sa faiblesse : sa voix n'était pas dirigeable. Elle ne pouvait pas prétendre à la diriger. Ce qu'elle pouvait faire de mieux, c'était de travailler sans forcer sa nature.
Elle n'a jamais su faire qu'une chose : s'exprimer à fleur de gorge. C'est pour cela qu'elle flanque la chair de poule aux mômes des lycées. Chaque fois qu'elle ouvre la bouche, nous éprouvons la sensation qu'elle doit défendre sa peau contre un maniaque ou un criminel".

Il collabore pour la première fois avec Jacques Dutronc. Il ne vend pas énormément de disques mais demeure une référence de la chanson française. La jeunesse est séduite par son ton et son allure provocatrice, sous l'influence de Jane, son look change, il adopte définitivement cette "barbe de trois jours", cette allure désinvolte, de buveur et de fêtard.