Benedict Freedman est né à New York City en 1919 et est le fils et petit-fils de writers. Dès son plus jeune âge, Freedman a montré de grandes promesses académiques et a été inscrit à des cours accélérés pour les garçons doués pendant le lycée. Il a excellé en mathématiques et a reçu une médaille pour ses réalisations dans la matière. Après le lycée, Freedman a fréquenté l'Université Columbia en tant qu'étudiant prémed, mais a dû abandonner à l'âge de seize ans en raison de la mort soudaine de son père.
Malgré avoir dû quitter l'université, Freedman a continué à poursuivre son intérêt pour les mathématiques par l'étude privée. Son principal domaine d'intérêt était les jeux et les mathématiques récréatives, et il a même assisté dans l'écriture d'un livre de texte sur le sujet. En plus de cela, Freedman a également travaillé sur des problèmes actuariels en tant que clerc à un actuaire consultant. La passion de Freedman pour les mathématiques et son talent naturel pour le sujet lui ont permis de contribuer de manière significative au domaine, malgré l'absence d'une formation universitaire formelle dans le sujet.