Bölgenin bildiğimiz en eski sakinleri MÖ 500 civarında Vltava nehri vadisinde yaşamışlardır. Slav kabileleri yaklaşık MS 500 yılında Bohemya'ya geldi. Prag şehrinin nasıl başladığına dair bir efsane vardır. Slavonik bir kabilenin lideri olan Prenses Libuše, basit bir köylü olan Přemysl'i kocası olarak seçmiştir. Ona gidip Vltava nehri kıyısında bir köy bulmasını ve orada bir kasaba kurmasını söylemiş. Kasaba, Přemyslid ailesi tarafından yönetilen Prag oldu.
Kalenin orijinal surları 9. yüzyılın ikinci yarısında inşa edilmiştir. I. Wenceslas (Çekçe Václav) döneminde 10. yüzyılda Prag kalesinde Aziz Vitus Kilisesi inşa edilmiştir. Wenceslas kiliseye gittiği sırada kardeşi tarafından öldürülmüştür. Daha sonra aziz ilan edilmiştir. 11. yüzyılın başlarında Přemyslid ailesi Moravya'da da iktidarı ele geçirdi. Vratislav II, Bohemya Kralı olarak anılan ilk hükümdardı.
I. Wenceslas olarak da adlandırılan başka bir hükümdar, 1230'dan itibaren Bohemya Kralı olarak hüküm sürdü. Sanatı teşvik etti. Çok sayıda Alman Prag'da yaşamaya başladı. 1257 yılında Kral Otakar II, Almanların yaşaması için Prag'ın Küçük Mahalle olarak adlandırılan bölgesini kurdu. Přemyslid krallarının sonuncusu Kral Wenceslas III idi. Moravya'da öldürülmüştür.
Orta Çağ boyunca Prag, o dönemde Avrupa'nın en güçlü hükümdarı olan Charles IV (1316-1378) tarafından yönetilen Kutsal Roma İmparatorluğu'nun başkenti olarak çok önemli hale gelmiştir. Charles Prag'ı büyük bir şehir haline getirmiş, St Vitus Katedrali'ni, bir üniversiteyi ve Charles Köprüsü adı verilen ve halen var olan ünlü bir köprüyü inşa etmiştir.
Charles'tan sonra Prag'da birçok tartışma ve kavga yaşandı. Jan Hus adında bir rahip Katolik Kilisesi'nin çok güçlü hale geldiğini söyledi. Tutuklandı ve 1415 yılında kazığa bağlanıp yakıldı. Birçok insan Hus'un söylediklerine katılıyordu. Bu insanlara Hussites deniyordu. Birçok önemli Katolik insanı pencereden dışarı attılar ("defenestrasyon" olarak adlandırılır). Bunu çok daha fazla savaş izledi ve Bohemya uzun yıllar boyunca başka ülkelerde yaşayan krallar tarafından yönetildi.
1526'dan itibaren Habsburg ailesi Bohemya'yı yönetti. Katoliktiler ve Kutsal Roma İmparatorluğu'nu yönetiyorlardı. 1576 yılında İmparator Rudolph II başkenti Viyana'dan Prag'a taşıdı. Prag yeniden zengin bir şehir haline geldi ve insanlar Katolik ya da Protestan olarak ibadet etmekte özgürdü. Rudolph II'den sonra çok fazla dini kavga yaşandı ve daha fazla insan pencerelerden atıldı. Sonunda bu çatışmalar Otuz Yıl Savaşları'nın bir parçası haline geldi. Ferdinand II savaşı kazandığında pek çok Protestan ülkeyi terk etti. Prag'daki yeni binalar Barok tarzında inşa edildi. Sarayda Çekçe değil Almanca konuşuluyordu. Maria Theresa Prag'da hüküm süren tek kraliçeydi. Onun 16 çocuğundan biri Fransa kraliçesi olan Marie Antoinette idi. Oğlu Joseph II hüküm sürdüğünde insanlar din konusunda kavga etmeyi bıraktı. İnsanlar düşündüklerini söylemekte özgürdü ve artık serflik yoktu. Prag artık üç bölümden oluşuyordu: Eski Şehir, Küçük Mahalle ve Yeni Şehir. Wolfgang Amadeus Mozart gibi ünlü kişiler şehri sık sık ziyaret ediyordu.
19. yüzyılda sanayi Prag'a geldi. Fabrikalar inşa edildi, Prag ve Viyana arasında bir demiryolu yapıldı. Çek milliyetçi hareketi 1848'den sonra çok güçlendi. Almanca yerine kendi dillerini kullanmak istediler. Besteciler Smetana ve Dvořák, Çek halk şarkılarını kullanarak ülkeleri hakkında müzikler yazdılar. Ulusal Tiyatro 1881 yılında açıldı.
Haziran 1914'te Habsburg tahtının varisi Arşidük Franz Ferdinand öldürüldü. Savaştan sonra başkenti Prag olan Çekoslovakya adında bağımsız bir cumhuriyet kuruldu. Bohemya, Moravya ve Slovakya bu cumhuriyetin bir parçasıydı. 1938 yılında Hitler ülkeyi işgal etti. Mayıs 1945'te Sovyet birlikleri tarafından kurtarıldı. Ancak komünistler kısa sürede iktidarı ele geçirdi ve ülke Sovyetler Birliği'ne itaat etmek zorunda olan komünistler tarafından yönetildi. Başbakan Alexander Dubček yavaş yavaş reformlar yapmaya çalıştı. Bu dönem "Prag Baharı" olarak adlandırılmaktadır. 1968'de Sovyetler Birliği, iktidarlarını yeniden tesis etmek için Prag'a Wenceslas Meydanı'na tanklar gönderdi.
Prag'a demokrasi 1989 yılında Kadife Devrim'in gerçekleşmesiyle yavaş yavaş geldi. 1993 yılında Çek Cumhuriyeti ve Slovakya iki ülke olarak ayrıldı. Bugün bu iki ülke de Avrupa Birliği'nin bir parçasıdır.
