Joseph nació de padre estadounidense y madre francesa. Su madre, que era una de las colecciones de su padre millonario, era una hermosa mujer que tenía un papel menor como actriz.

Su padre, que tuvo un total de cuatro mujeres, incluida su esposa, tuvo casi veinte hijos. Los hijos, que crecieron viendo a sus madres pelear ferozmente por la propiedad, saltaron al campo de batalla como perros de pelea. La madre de Joseph no pudo participar en disputas de propiedad debido al pecado de dar a luz a u