Joseph Levison var af jødisk slægt og en del af den jødiske menighed i Nakskov. Han ejede en stor og velhavende gård på Axeltorv 2 i Nakskov. I stuen lå hans manufakturhandel og på 1. sal var boligen med 4 vinduer ud mod Torvet.

Joseph Levison selv var en lille Jovial mand med en smuk håndskrift og masser af humor. Hans kone Nanna døde ung og derfor overtog hans søster Sophie rollen som husets frue. Nanna og Joseph fik 6 sønner og 2 døtre.
Joseph var sammen med Moses Cohn, en anden jødisk købmand i Nakskov, med i Morgenklubben, også kaldet det ”Det lille byråd”. Klubben mødtes hver morgen til den daglige spadseretur til Svingelen og tilbage igen, hvor småt og stort blev diskuteret.