Ses premières chansons, Serge les composera vers l’age de 22 ans quand il occupe la fonction "d’éducateur" pour les enfants juifs et les jeunes rescapés des camps nazis, au centre de Champsfleur. Venu là dans un but purement alimentaire, il se prend au jeu, fait dessiner les enfants, leur fait des tours de magie, s’occupe de la chorale, il se montre doué pour captiver les jeunes pensionnaires. Il organise des veillées où il s’accompagne à la guitare et chante des chansons qu’il a lui-même composées.

En 1952 il recommence le circuit des boites et des bals, il s’éloigne de la peinture, se fait du "blé" en coloriant des photos noir et blanc pour les entrées de cinéma (1F la photo) et peint des fleurs sur les meubles anciens pour en faire de faux Louis XIII…
Joseph voit tous ses espoirs s’effondrer.

Pendant les vacances de Pâques 1954 il est engagé comme pianiste d’ambiance au Touquet, il verra son contrat renouvelé l’année suivante. C’est là qu’il rencontrera son futur arrangeur, Alain Goraguer.
En septembre il est embauché au cabaret Madame Arthur (cabaret fameux pour ses travestis) comme pianiste et chef d’orchestre puis son père lui décroche un autre engagement au Milord l’Arsouille.
Un soir, il y rencontre Boris Vian "C’est en l’entendant que je me suis dit : je peux faire quelque chose de cet art mineur ?".
"Je pense que Serge et Boris sont frères quelque part : une même violence, une même retenue, un même mystère. Frères dans la dérision, la cruauté et la tendresse." dira Juliette Greco.

"Ce coup là, je change de nom. Lucien commençait à me gonfler, je voyais partout "Chez Lucien coiffeur pour hommes", "Lucien, coiffeur pour dames". […] Sur le moment, Serge m’a paru bien, ça sonnait russe; quant au 'a' et au 'o' rajoutés à Ginsburg, c’est en souvenir de ces profs de lycée qui écorchaient mon nom…". Il ne supportait plus son prénom, mais ne voulait pas pour autant renié ses origines, finalement il opte pour "Serge" (comme Serge Diaghilev, Serge Lifar), mais il conserve une grande similitude pour son nom, dans le but plus ou moins inconscient de ne trahir ses parents qu’à demi.

"J’ai l’âme d’un déraciné slave enraciné ailleurs".