Yahudi kutsal metinleri, Yahudiliğin bugünkü Irak'ta bulunan Ur şehrinde yaşayan Avram adında bir adamla başladığını söyler. Midraş'a göre Avram, Ur'daki insanların farklı tanrılara ve heykellere dua etmelerinin yanlış olduğuna inanıyordu. Heykel olmayan tek bir tanrı olduğuna inanıyordu. Tevrat, Tanrı'nın Avram'la konuştuğunu ve ona ailesiyle birlikte Ur'dan ayrılıp Kenan diyarına gitmesini ve orada yeni bir din kurmasını söylediğini anlatır. Tanrı ona adının İbrahim olarak değiştirileceğini söyledi. Midraş ayrıca meleklerin İbrahim'e, Yahudilerin bugün İbranice olarak bilinen dil olduğuna inandıkları yeni bir kutsal dil öğrettiklerini söyler. İbranice Yahudiliğin dili olmaya devam etmektedir. İbrahim'in torunu Yakup'un "İ48509srail" adını ilk alan kişi olduğu söylenir.
Yahudiler Mısır'da köle haline getirildiklerinde, Tanrı Musa'ya İsrail'in 12 oymağının serbest bırakılmasını istemesini söyledi. Firavun defalarca "Hayır" dedi ve her seferinde Tanrı İbranileri serbest bırakması için Mısırlılara birçok korkunç ceza gönderdi. Sonunda Firavun İbranileri serbest bıraktı, ama sonra Yahudileri geri almak için Mısır ordusunu göndermeye karar verdi. Kaçmalarına yardım etmek için Tanrı Kızıldeniz'e onlara bir yol açmasını buyurdu. Daha sonra sular geri döndü ve Mısır ordusunu boğdu. Tevrat bu olaydan sonra Musa'nın Sina Dağı'nda Tanrı'yla buluştuğunu ve Tanrı'dan On Emir ile Tevrat'ı aldığını söyler.
İbraniler ya da İsrailliler on iki kabile halinde Kenan diyarında İsrail adında bir ülke kurdular. Bölgedeki diğer halklara karşı birçok savaş yaptılar. Yahudi adı bu kabilelerden biri olan Yahuda'nın adından gelmektedir. Daha sonra Yahuda, MÖ 6. yüzyılın başlarında Babil tarafından fethedildi ve halkı Babil'e esir götürüldü. Babil Pers İmparatorluğu tarafından fethedilince tekrar Yahuda'ya dönmelerine izin verilmiştir. Bazı Yahudiler Babil'de (şimdiki Irak) kalırken bazıları da başka ülkelerde yaşadı.
MÖ 50 yılına gelindiğinde Yahuda (o zamanki adıyla Judea) Roma İmparatorluğu tarafından yönetiliyordu. Bu dönemde Yahudiye'nin ana dili Aramice'ydi. Yahudiler Roma hükümetinden ya da geleneklerinden hoşlanmıyor ve sık sık Romalılara sorun çıkarıyorlardı. MS 70 yılında Yahudi cemaatinin hükümete karşı ayaklanmasının ardından Romalılar Yahudiye'nin başkenti Kudüs'ü yerle bir etti ve neredeyse tüm Yahudileri sürgüne gönderdi.
Bundan sonra Yahudi halkının kendi ülkesi olmadı. Yaşadıkları hemen her yerde küçük bir azınlıktılar. Yahudilerin dünyanın dört bir yanına yayıldığı bu dönem Diaspora olarak adlandırılır. Birçok başka ülkede yaşadılar. İspanya ve Portekiz'de yaşayan Yahudiler Ladino dilini (Judeo-İspanyolca da denir) kullandılar. Almanya, Polonya, Rusya ve Orta-Doğu Avrupa'daki diğer ülkelerde yaşayan Yahudiler Yidiş dilini konuşuyordu. Kuzey Afrika'da yaşayan Yahudiler Judeo-Arapça ya da Ladino'nun yerel adı olan Haketia dilini konuşuyordu. Yahudiler, Hindistan, Çin, Yemen ve Etiyopya da dahil olmak üzere dünyanın her yerinde olmasa da çoğu yerinde yaşamıştır. Bugün bile İsrail'de yaşamayan Yahudilerin genellikle "Diaspora'da" yaşadıkları söylenir. Hindistan gibi bazı yerlerde Yahudiler herhangi bir sorun yaşamadan yaşamışlardır. Avrupa'nın çoğu ve İslam ülkeleri gibi diğer yerlerde ise Yahudilere karşı bağnazlık ve hatta nefret vardı ve ayrımcı yasalar altında yaşıyorlardı. Bazen Yahudiler düpedüz zulüm (yani sistematik nefret ve şiddet) görmüş, bazen de özel, çirkin kıyafetler giymeye, diğerlerinden daha yüksek vergiler ödemeye, diğerlerinden daha yüksek evler inşa etmemeye, ata veya eşeğe binmemeye, belirli rozetler takmaya vs. zorlanmışlardır. Roma Katolik kilisesinin Hıristiyanların faiz karşılığı borç para vermesini yasakladığı Avrupa'da, bazı Yahudiler banker ve tefeci olarak çalışmış ve usta bankerler olarak tanınmışlardır.
Göçebe bir ulus olan Hazarlar, 8. yüzyılda Yahudiliğe geçmiştir. Modern Ukrayna ve Byelorussia'da bulunan Hazar Hanlığı, günümüz İsrail'inden önceki tek bağımsız Yahudi devletiydi. Hazar devleti 987 yılında Doğu Vikingleri (Ruslar) tarafından yıkılmıştır.
Yahudi Halkı her zaman Tanrı'dan gelen özel bir misyona sahip olduklarına inanmıştır. Yemek ve yeme konusunda özel kurallara sahip olmak, Şabat'ta çalışmamak, kendi bayramlarını kutlamak ve diğer dinlerden insanlarla evlenmemek gibi şeyleri kendi yöntemleriyle yaparlar. Bu nedenle, birçok farklı zaman ve ülkedeki insanlar Yahudilerin garip ve belki de tehlikeli olduklarını düşünmüşlerdir. Birçok ülke Yahudilerin bazı işlerde çalışamayacağı ya da bazı yerlerde yaşayamayacağı yönünde yasalar çıkarmıştır. Bazen Yahudiler dinleri yüzünden öldürülmüştür. "Antisemitizm" kelimesi Yahudilere karşı duyulan nefreti tanımlamaktadır.
1930'lu ve 1940'lı yıllarda Nazi ya da Nasyonal Sosyalist Almanya hükümeti Avrupa'nın büyük bölümünü ele geçirdi. Yahudi halkına korkunç şeyler yaptılar çünkü Birinci Dünya Savaşı sırasında ve sonrasında Almanya'da yaşanan sorunlardan Yahudilerin sorumlu olduğuna inanıyorlardı. Nazi hükümeti altı milyondan fazla Yahudi'yi öldürdü. Öldürülmeden önce, genellikle bir gaz odası ya da vagonları bir fırına sürerek, Yahudilerin çoğu zorunlu işçi olarak çalıştırıldı ve bazıları diğerlerinin öldürülmesine ve yakalanmasına yardım etmeye zorlandı.
İkinci Dünya Savaşı'ndan sonra 1948'de Birleşmiş Milletler, Orta Doğu'da orijinal İsrail ile aynı yerde olan Filistin'de Yahudiler için İsrail ülkesini kurdu. Birinci Dünya Savaşı'ndan önce Osmanlı İmparatorluğu'nun bir parçası olan bu topraklar daha sonra İngiltere tarafından Birleşmiş Milletler gözetiminde kontrol edildi. Birçok Yahudi 1800'lerin sonlarından itibaren o zamanki adı Filistin olan İsrail'e geri döndü. İsrail ülkesi 1948'de kurulduğunda yaklaşık 600.000 Yahudi vardı. Bugün ise yaklaşık 5,600,000 Yahudi yaşamaktadır.
Yahudiler Filistin'e geri döndüklerinde artık orada yaşayan bazı insanlar vardı. Bunların çoğu bir Yahudi ülkesinde yaşamak istemiyordu. Bu, bugün de devam eden İsrail-Arap ya da İsrail-Filistin çatışmasının başlangıcıydı.
Dünyanın dört bir yanından İsrail'e gelen Yahudiler, farklı dilleri, müzikleri, yemekleri ve tarihleriyle eşsiz bir kültür yaratmışlardır. İsrail, dünyada halkının çoğunluğunun Yahudi olduğu ve İbranicenin ana dil olduğu tek ülkedir.
Yahudi tarihi bugün hem İsrail'de hem de Diaspora'da devam etmektedir. İsrail dışında Amerika Birleşik Devletleri, Büyük Britanya, Kanada, Fransa, Rusya, Ukrayna, Almanya, Arjantin, Brezilya, Güney Afrika ve Avustralya'da çok sayıda Yahudi bulunmaktadır. Dünyanın diğer bölgelerinde yaşayan daha az sayıda Yahudi vardır.
Günümüzde Yahudi halkının karşılaştığı başlıca sorunlar arasında İsrail-Filistin çatışmasını çözmek ve ABD gibi bazı ülkelerde yüksek asimilasyon (Yahudi kimliğini kaybetme) oranlarıyla başa çıkmak yer almaktadır.