Leahy, 1974 yılında 34 yıldır görevde olan George Aiken'in yerine ilk kez Amerika Birleşik Devletleri Senatosu'na seçilmiştir. 34 yaşında Vermont tarihinin en genç Senatörü oldu. Leahy, 1980'de Cumhuriyetçi Stewart Ledbetter tarafından neredeyse yenilgiye uğratıldı ve Ronald Reagan'ın ezici zaferinin ortasında sadece 2.700 oyla kazandı. 1986'da kağıt üzerinde daha güçlü bir rakip olan eski vali Richard Snelling ile karşılaştı, ancak Leahy oyların yüzde 63'ünü alarak bu meydan okumayı geri çevirdi. 1992'de Vermont Eyalet Sekreteri Jim Douglas gibi bir başka rakiple karşılaştı ve 11 puan farkla kazandı.
Leahy, 1856'dan bu yana Vermont'tan Cumhuriyetçi olmayan ilk Senatör oldu. Kendisi bugüne kadar Vermont'tan Senato'ya seçilen tek Demokrattır. Teknik olarak, İç Savaş'ın sona ermesinden bu yana Vermont'u Kongre'nin her iki kanadında da temsil eden üç Demokrat'tan biridir.
Daha sonraki kariyeri
Mart 2004'te Leahy ve Orrin Hatch, RIAA tarafından desteklenen Korsan Yasası'nı tanıttı. Temmuz 2004'te Leahy ve Hatch INDUCE Yasası'nı tanıttı. Her ikisi de telif hakkı ihlalleriyle mücadeleyi amaçlıyordu.
Leahy, 2 Kasım 2004'te rakibi işadamı Jack McMullen'i yüzde 70.6 oy oranıyla kolayca mağlup etti. Leahy, 5 Ocak 2005 tarihinde Cheney tarafından Senato'daki altıncı dönemi için yemin ettirildi.
21 Eylül 2005 tarihinde Leahy, John Roberts'ın Birleşik Devletler Yüksek Mahkemesi Başyargıcı olmasını desteklediğini açıkladı. 19 Ocak 2006'da Leahy, Yargıç Samuel Alito'nun Yüksek Mahkeme'de yargıç olmasına karşı oy kullanacağını açıkladı.
18 Ocak 2007'de Leahy, Adalet Bakanı Alberto Gonzales'i Mahir Arar olayı ve Arar'ın Suriye'ye olağanüstü gönderilmesi konusunda çapraz sorguya çekmesiyle geniş yankı uyandırdı.
Geçici Başkan
Senato Geçici Başkanı Daniel Inouye'nin 17 Aralık 2012'de ölümü üzerine Leahy çoğunluk partisinin en kıdemli senatörü oldu ve oybirliğiyle yeni Geçici Başkan seçildi.
3 Ocak 2015 tarihinde Orrin Hatch, Leahy'nin yerine Birleşik Devletler Senatosu Geçici Başkanı oldu. Kısa bir süre sonra da emeritus Başkan unvanı ile onurlandırıldı.