Kudüs çok eski bir şehirdir. Üç din için büyük öneme sahiptir: Yahudilik, Hristiyanlık ve İslam. İncil, İsrail'in ikinci kralı Kral Davut'un bu şehri putperestlerden aldığını ve sarayını buraya yerleştirdiğini söyler. Davut'un oğlu ve bir sonraki kral olan Kral Süleyman, Kudüs'te Süleyman Tapınağı'nı inşa etmiştir. Daha sonra Yahuda'nın başkenti olan Kudüs, Babil Kralı Nebukadnezar II tarafından yıkılmıştır. Kral Davut'un sarayı ve Süleyman Tapınağı yakıldı ve Yahudiler esir alınarak Babil'e götürüldü. Yetmiş yıl sonra Pers Kralı Koreş Yeruşalim'e dönmelerine ve Tapınağı yeniden inşa etmelerine izin verdi.
Daha sonra bölge Romalılar tarafından işgal edilmiştir. Roma İmparatoru adına hüküm süren Kral Büyük Hirodes, Yahudilerin beğenisini kazanmak için Tapınağı büyüttü. Tapınak büyüklüğü ve güzelliğiyle ünlüydü.
İsa MS 33 yılı civarında Kudüs'te öldü. MS 70 yılında Yahudiler Romalılara karşı ayaklandı, ancak Romalılar şehri ve Tapınağı yıktı. Kudüs'te yaşayan Yahudiler yakalandı ve köle oldular. Romalılar Kudüs'ün adını Latince bir isimle değiştirdiler. O zamandan beri Tapınak yeniden inşa edilmedi ve duvarının sadece bir kısmı günümüze kadar kaldı.
Roma İmparatorluğu ikiye bölündükten sonra Kudüs'ü Bizans İmparatorluğu yönetti. Daha sonra Müslümanlar şehri onlardan devraldı. Müslümanlar Muhammed'in Kudüs'ten cennete gittiğine inanıyorlardı.
Daha sonra Roma'daki Papa, Kudüs'ü geri almaları için Batı Avrupa'dan Haçlıları gönderdi. Bir süre başarılı oldular ama sonunda şehir tekrar Sarazenlerin eline geçti. Kudüs 20. yüzyıla kadar Osmanlı İmparatorluğu'nun bir parçasıydı. Başkaları tarafından yönetilseler de Kudüs'te her zaman bazı Yahudiler vardı.
Yeruşalim'in "Yeni Şehri" eski taş duvarların dışında kalan kısımdır. İnsanlar yeni şehri 1800'lerde inşa etmeye başladı. Mishkenot Sha'annanim, Mea Shearim ve Buharan Mahallesi yeni şehrin ilk mahallelerinden bazılarıdır.
Birinci Dünya Savaşı'ndan sonra Osmanlı İmparatorluğu yenilmişti. Haziran 1922'de Milletler Cemiyeti Filistin'in İngiliz Mandası altında olmasını onayladı. Böylece bölgenin kontrolü Birleşik Krallık'a verildi. Ürdün Nehri'nin batısındaki topraklar Filistin olarak biliniyordu. Filistin 1948 yılına kadar doğrudan İngiliz kontrolü altındaydı. Ürdün Nehri'nin doğusundaki topraklar Transjordan olarak biliniyordu ve Haşimi ailesi tarafından yönetiliyordu. Trans Ürdün 1946 yılında bağımsızlığını kazanmıştır.
Filistin'deki manda yönetimi 14 Mayıs 1948 gece yarısı sona ermiştir. Ertesi gün 1948 Arap-İsrail Savaşı başladı. İsrail bağımsızlığını ilan etti, Batı Şeria Ürdün tarafından ilhak edildi ve Mısır Gazze Şeridi'nin kontrolünü ele geçirdi.
1949 yılında, birinci Arap-İsrail Savaşı'nın sonunda Kudüs, İsrail ve Ürdün arasında paylaştırılmıştır. İsrail şehrin batı kısmını kontrol ediyordu. Ürdün ise Kudüs'ün İncil döneminden kalma surlarla çevrili bölümü olan Eski Şehir de dahil olmak üzere doğu bölümünü kontrol ediyordu. İsrail 1967'deki Altı Gün Savaşı sırasında şehrin tamamının kontrolünü ele geçirdi.
Kudüs bugün İsrail devleti tarafından başkent olarak kabul edilmektedir. Birleşmiş Milletler, İsrail'in Kudüs'ün İsrail'in başkenti olduğunu söylemesini kabul etmemektedir.