Foto: Kees Tabak / Hollands Hoogte

Schiffmacher komt uit een katholieke slagersfamilie in Harderwijk. Van jongs af aan had hij een voorliefde voor tekenen en verzamelen. Voor school had hij weinig belangstelling. Hij wilde schilder worden. Zijn eerste schetsen en tekeningen vonden hun weg naar de huizen en slaapkamers van ooms en tantes en Schiffmacher won jaarlijkse tekenwedstrijden. Zijn artistieke ambitie leidde begin jaren zeventig tot een korte periode aan de Reclame School REX aan het Frederiksplein in Amsterdam.

Zijn huidige partner is de kunstschilderes Louise van Teylingen; hij is drie keer eerder getrouwd geweest. Schiffmacher kreeg met zijn eerdere echtgenote twee dochters.