Des parents unis et tendres, une sœur jumelle Liliane, deux aînés : Marcel (qui décèdera à l'âge de seize mois) et Jacqueline née un an avant lui, auraient pu faire de Lucien un enfant épanoui et heureux. C'est oublier les complexes dus à son physique et à sa timidité, mais aussi à un certain sentiment de superiorité, qui très tôt le mettront à part, à l'écart des autres...

ll naît le 2 avril 1928, à Paris, de Joseph Ginsburg et d'Olia Bessman. D'origine russe, le couple a fui la révolution bolchevique de 1917 pour venir s'installer à Paris avec les difficultés que connaissent tous les immigrés...
Dès leur arrivée, Joseph gagne sa vie en jouant du piano dans les cabarets. Il connaît Gershwin, Chopin, Bach, Vivaldi, sur le bout des doigts, mais pour faire vivre sa famille il joue du jazz. Fou de musique classique, fou de peinture. Il ne rate aucun concert, aucune exposition.
Il intéresse ses enfants à ses passions, et Paris regorge de sorties plus intéressantes les unes que les autres.
Mais depuis sa fuite de Russie, il ne peint plus...

A ses heures perdues il rejoue ses classiques, c'est ce qui fera dire à Serge :

"Mes premiers souvenirs furent esthétiques et musicaux […].
Voilà déjà un prélude à ma formation musicale : le piano de mon père, je l'ai entendu chaque jour de ma vie, de zéro à vingt ans. C’est très important..."

Olia, est une mère, tendre et gaie, qui fait régner une douce harmonie et qui console souvent le petit Lucien lorsqu'il a reçu une correction paternelle. C’est que Joseph a parfois la cravache facile avec lui plus fréquemment qu'avec les filles.
La famille habite dans le 9ème arrondissement de Paris, rue Chaptal, là, Lucien apprend le piano avec son père.

En 1941, Lucien est en 5ème, il a 13 ans, Joseph, qui avait juré de ne plus jamais toucher un pinceau, l'emmène dans une académie de peinture à Montmartre, pour suivre les cours de deux vieux postimpressionnistes, Camoin, et Jean Puy. Quelques mois plus tard Lucien tombe gravement malade, il est atteint d’une péritonite tuberculeuse, mortelle à 99% à l'époque, et ne peut pas s'inscrire à la rentrée en 4ème, il faut l'envoyer à la campagne respirer le bon air, pour le soigner. Toute la famille part dans la Sarthe à Courgenard, lui y restera plusieurs mois seul et s'occupera en faisant quelques dessins.

A son retour, Joseph est allé chercher les 5 étoiles jaunes qu'ils accrocheront sans les coudre sur leurs manteaux. Se soustraire au port de l'étoile est très risqué, mais pas question pour les Ginsburg de se priver d'une sortie culturelle, Olia a donc inventé un astucieux stratagème pour les accrocher avec des épingles dissimulées, de manière à pouvoir les ôter le soir, et continuer à vivre normalement.