Nie tylko matkę. ;) Jego ojciec, sir Robert Stephens również był znakomitym i cenionym aktorem.
Maggie i Robert w swoim czasie byli nazywani złotą parą angielskiego światka teatralnego. Niestety ich małżeństwo było burzliwe i skończyło się szybko... Toby i jego brat Chris odziedziczyli więc talent po obojgu rodzicach, nie zmarnowali go, tylko ciężką pracą go ładnie oszlifowali.