En janvier 1980, il donne 2 concerts à Bruxelles, véritables triomphes. Même succès à Cannes, au Midem où Europe 1 et Philips lui décernent disque d’or et disque de platine. Il publie un comte parabolique, "Evguénie Sokolov".
"Evguénie, c'est un type qui se détruit sciemment parce qu'il veut la gloire et la gloire le détruit, donc c'est quelque part autobiographique" dit-il.

Gainsbarre a t’il détruit Gainsbourg ?
La gloire a t’elle détruit le couple mythique ?
En tout cas, Serge paye cher le prix de ses excès. Jane, le quitte en aout 1980, emmenant les filles Kate, et Charlotte. Au bout de 12 années de vie commune, ne supportant plus de le voir se détruire et se perdre, elle déserte la rue de Verneuil et le laisse plus désemparé que jamais. "Jane est partie par ma faute, confiait Serge quelques temps après, je faisais trop d'abus, je rentrais complètement pété, je lui tapais dessus.
Quand elle m'engueulait, ça me plaisait pas : deux secondes de trop et paf.. elle en a subi avec moi mais ensuite c’est devenu une affection éternelle. […]
J’ai eu une fille en or mais elle s’est tirée. […] Elle m’a jeté et c’était bien fait pour ma gueule, puisque j’lui cassais la sienne".
Son chagrin est immense, il crève de ne plus voir ses enfants, il touche le fond.

Il se jette dans le travail : un album pour Jacques Dutronc, "Guerre et pets", la musique du film de Claude Berri "Je vous aime" et un rôle aux côtés de Catherine Deneuve qui rappelle inévitablement son propre rôle. "Claude Berri s’est inspiré de ma vie, d’une certaine façon. Dans le scénario, je fais souffrir Catherine. J’ai été méchant, moi aussi, très méchant".
Pour Catherine il écrit "Dieu est un fumeur de havanes" qu’il interprètera avec elle.

En 81, il lui écrit un album entier, "Souviens-toi de m’oublier" que Libération chroniquera quelques mois plus tard, assorti d’un calembour à la Gainsbarre : "Deneuve ? non, D’occase !".
La réaction de Catherine à cette grossièreté sera télégraphique et sans appel : "Vous ne serez jamais assez ivre à mes yeux pour justifier vos jeux de mots à Libération STOP Il faut savoir résister à certaines tentations STOP Vous ne pourrez jamais noyer vos regrets et malgré vos triomphes je sais que vous êtes inconsolable pour des raisons qui ont cessé de m’intéresser STOP J’avais de l’affection pour vous mais plus d’indulgence serait complaisant".