En fait, il souffre d’être différent, de n’appartenir ni au mouvement yéyé, symbolisé par Johnny Hallyday, Sylvie Vartan, Claude François, Françoise Hardy, Richard Anthony... ni au rock américain dont s’inspirent Les Chaussettes Noires ou Les Chats Sauvages. Il ne trouve pas sa place et sa maison de disque ne se prive pas de le lui dire! Philips lui reproche de ne pas être "dans le vent" s’ensuivent 6 mois de dépression pendant lesquels il ne pourra plus écrire une seule ligne.

Et pourtant dans un Discorama de juin 63, Serge va ignorer cette déferlante yé-yé et reprendre confiance en lui : "La nouvelle vague, je dirai d’abord que c’est moi. Nouvelle vague veut dire qui est à l’avant- garde de la chanson.[…] Je ne tiens pas à mettre des "y" dans mon pseudonyme. […] … Mais ça ne me dérange pas. Je pratique un autre métier, ça (les yé-yé) c’est de la chanson américaine. De la chanson américaine sous-titrée. Moi c’est la chanson française.
La chanson française n’est pas morte, elle doit aller de l’avant et ne pas être à la remorque de l’Amérique. Et prendre des thèmes modernes. Il faut chanter le béton, les tracteurs, le téléphone, l’ascenseur… Pas seulement raconter, surtout quand on a dix huit ans qu’on se laisse, qu’on s’est quittés…
J’ai pris la femme du copain, la petite amie du voisin… ça marchera pas. Il n’y a pas que ça dans la vie quand même.
Dans la vie moderne il y a tout un langage à inventer. Un langage autant musical que de mots. Tout un monde à créer, tout est à faire. La chanson française est à faire. Il faut plaire aux femmes d’abord puisque c’est la femme qui applaudit et le mari suit".

Amoureux, Serge doit l’être puisqu’il convole en justes noces, le 5 janvier 1964 avec une femme d’une grande beauté, Françoise Antoinette Pancrazzi, dite Béatrice. "Avant le mariage on avait vécu à la colle et tout baignait : après, les choses ont commencé à virer au vinaigre : elle n’acceptait pas ce métier de rencontres…". Au retour de son voyage de noces Serge entame la promo de son album charnière, au style épuré et dépouillé. Mais les ventes ne vont pas dépasser les 1.500 exemplaires.