پدرش شاعر، مجسمه‌ساز و نقاش بود و مادرش ویرجینیا آدمیرال نیز یک نقاش بود که مدت کوتاهی پس از تولد بابی از پدر او جدا شد. او در ایتالیای کوچک نیویورک برانکس  بزرگ شد. وی به خاطر خجالتی بودن و جثه کوچکش به Bobby Milk معروف بود.

در 10 سالگی اولین نقشش را در تئاتری در نقش شیر در جادوگر اوز بازی کرد ولی بعدا برای پیوستن به یک گروه خیابانی، تئاتر را کنار گذاشت. در 16 سالگی بازی در نمایش خرس اثر چخوف، او را به دنیای بازیگری برگرداند تا او اولین چک دستمزدش را به عنوان بازیگر دریافت کند.

بابی پس از آموزش‌های لازم، کار حرفه‌ای خود را در زمینه بازیگری به طور نامنظم در برادوی و بعضا تبلیغات تجاری برای تلوزیون آغاز کرد. اولین نقش او در فیلم سه اتاق در

منهتن در سال 1965 بود که به عنوان سیاهی لشگر و به عنوان مشتری رستوران در یکی از سکانس‌های فیلم ظاهر شد و در همان سال موفق به دریافت پیشنهاد بازی در یک نقش کوچک در فیلم میهمانی عروسی شد.