Harry Broudy dilahirkan di Polandia dari keluarga Yahudi yang kaya, abak sulung dari empat bersaudara dan mengawali pendidikannya di Cheder (ruang belajar khas warga Yahudi) tradisional. Ia berimigarsi dengan keluarganya ke Massachusetts pada tahun 1912 dan memasuki sekolah Amerika tanpa penegtahuan bahasa Inggris sama sekali.