Jay Olsena je manžel Janet Olsenové a táta Mony a Kariho.
Poslední roky svého života žil v Bostonu s Janet.