Babbitt werd geboren in Philadelphia, in het gezin van een welgestelde verzekeringswiskundige die hem al op jonge leeftijd de liefde voor de wiskunde bijbracht. Hij groeide op in Jackson, Mississippi, in het diepe zuiden van de Verenigde Staten, waarover hijzelf het grapje maakte: ‘Veel dieper kun je niet gaan.’
Op z’n vierde kreeg hij een viool, hij voegde daar later zelf een klarinet en een saxofoon aan toe, hij hield veel van jazz en theatermuziek en hij begon toen hij zeven was zijn eigen popsongs te schrijven. Op zijn tiende kreeg hij, op bezoek bij een oom, toevallig Schönbergs Drie stukjes voor piano te horen en hij was meteen gefascineerd door de ‘totaal andere wereld’van het twaalftoonssysteem. Op zijn vijftiende startte hij met zijn studie wiskunde bij de University of Pennsylvania, maar hij zwaaide al snel om naar de muziekstudie bij de New York University, waar hij zich toelegde op de muziek van Schönberg en het is hem een paar keer gelukt de componist zelf te ontmoeten.
In de beginjaren van de Tweede Wereldoorlog werd Babbitt als wiskundige betrokken bij de militaire geheime dienst, hij ging vervolgens naar Princeton om wiskunde te doceren in de tijd dat ook Einstein daar was, en schreef zijn proefschrift The Function of Set Structure in the 12-Tone System, maar dat werd in 1946 als onvoldoende afgewezen. Bijna vijftig jaar later werd het door de univer- siteit met het schaamrood op de kaken alsnog goedgekeurd met als bijgevoegde verklaring dat hij bij de eerdere gelegenheid ‘zijn tijd te ver vooruit was’.
In 1958 schreef Babbitt zich onbedoeld en ongewenst internationaal in de kijker met een artikel in het populaire muziektijdschrift High Fidelity dat hij zelf heel netjes ‘The Composer as a Specialist’ had genoemd, maar dat door de uitgever zonder hem te informeren was veranderd in de als vulgair en beledigend ervaren titel ‘Who Cares if You Listen?’ of‘Wie maakt het wat uit of er ook iemand luistert?’
Die titel had weinig met de inhoud te maken, maar gaf hem wel blijvend de naam een provocateur te zijn, omdat velen, zoals wel vaker gebeurt, wel de titel maar niet het artikel hadden gelezen. Toch hield hij zelf ook wel van een grapje en hij noemde zich schertsend ‘na Bach, Beethoven en Brahms, de vierde grote B’; als hij het over zijn manier van componeren had dan sprak hij over ‘serieel maximalisme’ om zich te onderscheiden van zijn serieel minimalistische collega’s; en een kleine compositie voor gitaar noemde hij Sheer Pluck, wat -als Enkel getokkel vertaald kan worden. Door critici en collega’s werd hem vaak verweten dat hij veel te ingewikkelde ‘elitaire’ muziek schreef, die voor het brede publiek moeilijk te begrijpen was en door musici nauwelijks te spelen.
Later raakte Babbitt ook nog geïnteresseerd in elektronische muziek, werd ingehuurd door de RCA Radio Corporation of America – en maakte voor zijn composities gebruik van de Mark i i-synthesizer – het jongere broertje van de Mark i-computer die gedichten kon schrijven. Zijn belangrijkste werken uit die tijd zijn Composition for Synthesizer en Philomel, het laatste werk met de elektronisch gemanipuleerde stem van de sopraan Bethany Beards- lee. Ondanks zijn bekwaamheid in de omgang met elektronica werd hij op latere leeftijd schuw voor technologische vernieuwingen en hij bekende in een interview in 2001: ‘Ik gebruik geen e-mail, en ik ben op geen enkele manier online.’ Hij stierf op hoge leeftijd in Princeton.