Mais on est en 42, les grandes rafles sémites sont dans l'air, à Paris Joseph est bientôt interdit de cabaret parce que juif, il doit alors partir en province chercher du travail, Olia reste seule avec les enfants. Cette séparation va durer 18 mois à l'issue desquels toute la famille finira par se retrouver réunie à Limoges, Lucien dans un internat au collège de Saint-Léonard de Noblat, et ses sœurs cachées dans un autre pensionnat religieux.

En septembre 42 il se retrouve inscrit en 3ème, sa passion pour le Dessin et la Peinture commence à grandir, fâché avec les maths, il s'intéresse au latin et découvre avec délectation le récit de la conquête des Gaules par Jules César et les Poésies de Catulle.
Il apprend l'art du sonnet, l'une des formes poétiques les plus parfaites - il s'y essayera d'ailleurs sur l’album Histoire de Melody Nelson en 1971. C'est alors que son désintérêt pour le lycée croit à mesure que grandit sa passion pour le dessin et la peinture.

Les résultats scolaires de Lucien à partir de la 1ère deviennent désastreux. Ainsi, malgré la peine et la déception causée à ses parents, il ne passera jamais son bac, à 17 ans il interrompt ses études, et probablement sous la douce et ferme pression de maman Olia, il s'inscrit en Archi aux Beaux Arts...
Mais au bout de deux ans, complètement largué en math, il abandonne l'archi et se consacre à la peinture. Il peint dans sa chambre mansardée, toujours à la recherche de la perfection, jamais satisfait de lui-même. Ses modèles sont Bonnard, Cézanne, André Lhote, Delacroix, Le Titien, Géricault, et surtout Courbet. Il apprécie les couleurs claires, très estompées.
Sa peinture est fine et vaporeuse. Pour se faire quelques sous il gratte la guitare le samedi soir, dans les bals, les dancings, les noces, il est très influencé par Django Reinhardt.

Au printemps 47, à l'académie Léger, il rencontre celle qu'il épousera en 1951, Elisabeth Levitsky. Elle est belle sophistiquée, mannequin de mode, fille d'aristocrates russes immigrés.

Le fantassin de deuxième classe Ginsburg a du mal a supporter la discipline militaire. Pour avoir fait le mur et désobéi il se retrouve en prison pendant trois mois. Cet appel sous les drapeaux en novembre 1948 lui donne l'occasion de prendre goût aux vertus décomplexantes et dés-inhibitrices de l'alcool mais il connaîtra là de grands moments de désespoir, ne supportant pas la promiscuité il songe à déserter et souffre de cet univers clos et rustique.

Enfin le 14 novembre 1949 le calvaire s'achève, fin du service militaire, retour à la vie civile et à la peinture, la dèche est permanente. Il en bave, mais il est amoureux et il peint.
Il reprend les concerts avec sa guitare :

"Mon père voulait que je continue la peinture. Seulement un jour, il me dit: "C'est bien joli tout ça, mais il faut maintenant que tu gagnes ta vie". Alors je me suis mis un peu à bosser la guitare sèche. […]
Mon père me trouvait ce qu'on appelait des cachets".

Il abandonne peu à peu ses pinceaux :

"La peinture m'a marqué. J'avais trouvé là un art majeur qui m'équilibrait intellectuellement. La chanson et la gloire m'ont déséquilibré. J'étais heureux avec la peinture, [je m’en veux tant] d'avoir eu la lâcheté d'abandonner…[…] J'étais quand même assez doué, on m'avait prédit une carrière fulgurante en peinture et je n'y croyais pas. Je détruisais mes toiles, je n'ai plus rien… Mon regret c'est de ne pas avoir vécu les époques surréaliste et dadaïste, c'était trop tard…".