L'année 1975 est l'année des changements. Serge se trouve un nouveau producteur : Philippe Lerichomme, et un arrangeur talentueux : Jean- Pierre Sabar (complice d'Hugues Aufray, de Françoise Hardy, et de Claude François).
Pour les paroles il s'adresse à... Philippe Labro (grand reporter, cinéaste et parolier).

En septembre 75, près d'Uzès, dans le Gard, commence le tournage de Je t'aime moi non plus.
Un drame intimiste entre trois êtres, deux homosexuels, Krass violent et taciturne, Padovan, efféminé du genre venimeux, et Johnny petite anglaise androgyne. C'est un film sensible esthétique sur le désespoir, la passion, la mélancolie, la tendresse sans illusion, la désespérance, un film qui met Jane dans des situations difficiles, poussée au bout de l'exaspération des sentiments, au bout d'elle-même…

Ce film suscite le scandale dès sa sortie, tout comme l'avait fait l'album Rock Around The Bunker quelques mois plus tôt, rares sont les journalistes à apprécier ce travail à sa mesure, tels Robert Chazal (France-Soir) Henri Chapier, Pierre Tchernia et François Truffaut.
Du coup Je t'aime moi non plus plafonne à 150.000 entrées sur Paris à sa sortie, et ne connaîtra de véritable audience que dans le circuit vidéo, alors que le magazine américain Variety, en mars 1976 le considère comme un "classique des années 70 !"

Malgré les louanges de Truffaut pour son film, et le sentiment de fierté artistique qu‘il en tire, Serge se sent mal, il est cruellement déçu par les critiques que rencontre son film, ses derniers disques n'ont pas marché autant qu'il l'espérait… c'est pourquoi il accepte de tourner des films publicitaires sur la proposition de Jacques Séguéla (avec Brigitte Fossey, Jane Birkin, Marlène Jobert).

A la mi-août 76 il met en boite, à Londres, la musique de L'homme à tête de chou, inspiré d'une sculpture de Claude Lalanne qu'il avait acheté quelques années plus tôt.

"J'ai croisé "l'homme à tête de chou" à la vitrine d'une galerie d'art contemporain. Quinze fois je suis revenu sur mes pas, puis sous hypnose, j'ai poussé la porte, payé cash et l'ai fait livrer à mon domicile. Au début il m'a fait la gueule, ensuite il s'est dégelé et m'a raconté son histoire…"

L'album sort en novembre 76 et remporte immédiatement un vif succès, il est acclamé par la critique comme un chef d'œuvre majeur. Perfection poétique, exercices de style étonnants, travail d'orfèvre, introduction de rythmes reggae, du talk-over, (du Rap avant la lettre). C'est un bijou ciselé et peaufiné autant au niveau des textes que de la mélodie. Pourtant sur le plan commercial, il ne remporte qu'un succès modéré.