czterokrotnie żonaty: 1. Mary June Ray (15.04.1939 - 30.07.1959, rozwód), 4 dzieci: James (ur. 27.12.1939), Robert (ur. 03.03.1945), Diane Ray (ur. 01.031947) i Michael (ur. 18.06.1956); 2. Jil Jarmyn (22.08.1959 - 03.02.1962, anulowane); 3. Jane Gail Hoschouer (17.03.1963 - 28.05.1967, jej śmierć); 4. Sumie Arima (11.02.1968 - 04.10.1983, rozwód)