Dolley Payne Todd Madison (20 Mayıs 1768 - 12 Temmuz 1849) ABD Başkanı James Madison'ın eşiydi. James Madison 1809-1817 yılları arasında başkanlık yaparken Dolley Madison da Amerika Birleşik Devletleri'nin First Lady'siydi. En çok 1814 Savaşı'nda İngilizler Beyaz Saray'ı yaktığında Washington'un portresini kurtarmasıyla tanınır. Aynı zamanda ünlü bir şovmen olan Dolley Madison, Beyaz Saray'da dondurma servisi yapan ilk kişidir.
Dolley New Garden'da doğdu. Şimdi burası Guilford County olarak biliniyor. Kuzey Carolina'da. Başka bir rivayete göre ise Payne's Tavern adlı bir köyde doğmuştur. Burası Kuzey Carolina'da Person County'dedir.
Babasının adı John Payne'di. Başarısız bir çiftçi olarak her zaman para sıkıntısı çekiyordu. Dolley'nin annesi Mary Coles'du.
Dolley gençlik yıllarını Philadelphia, Pennsylvania'da geçirdi. 7 Ocak 1790'da John Todd, Jr. (1764-1793) ile evlendi. Todd bir avukattı. İki oğulları oldu. İsimleri John Payne (1792-1852) ve William Temple (1793'te doğdu ve öldü) idi. William sarı humma salgınında öldü. Aynı yıl kocası da aynı sarı humma salgınından öldü.
Dolley Todd 14 Eylül 1794 tarihinde James Madison ile evlendi. Çocukları olmadı, ancak Dolley'nin ilk evliliğinden olan oğlu John Payne Todd'u büyüttüler. John Payne Todd kötü şöhretli bir ayyaş ve kumarbazdı, bu da özellikle Madison öldükten sonra annesine birçok mali sorun yarattı.
1814 yılında İngiliz ordusu Beyaz Saray'ı yakmıştı. Yanan evinden kaçan Dolley birçok kayıt ve belgeyi kurtarmıştı. Efsaneye göre George Washington'ın bir tablosunu da çerçevesinden kırmak zorunda kalmasına rağmen kurtarmıştır.
Ulusal First Lady Kütüphanesi'nde şöyle diyor: "Bir sır var, o da kendi kaderimizi şekillendirmede sahip olduğumuz güç."