Şehir adını nehirden almaktadır (eski Rusça: гра́д Моско́в, "Moskva Nehri'nin yanındaki şehir" anlamına gelmektedir). İsmin başlangıcı bilinmemektedir, ancak bazı insanların birkaç fikri vardır. Bunlardan biri, ismin "karanlık" ve "bulutlu" anlamına gelen çok eski bir Fin dilinden gelmiş olabileceğidir. Moskova'ya yapılan ilk Rusça atıf 1147 yılında Yuri Dolgoruki'nin Novgorod-Severski (Kuzey Novgorod) prensine "bana gel kardeşim, Moskova'ya gel" çağrısında bulunmasıdır.
Dokuz yıl sonra, 1156'da Prens Yuri Dolgoruki, büyüyen şehri çevrelemek için birçok kez yeniden yapılması gereken ahşap bir duvar inşa edilmesini emretti. Moğolların şehri yakıp yıktığı ve orada yaşayan insanları öldürdüğü 1237-1238 saldırılarından sonra Moskova yeniden büyüdü ve 1327'de Vladimir-Suzdal prensliğinin (bir prens tarafından yönetilen bir miktar toprak) başkenti oldu. Volga Nehri'nin başlangıcındaki iyi konumu, şehrin yavaş yavaş daha da büyümesine yardımcı oldu. Moskova, uzun yıllar boyunca Moskova Büyük Dükalığı olarak bilinen huzurlu ve zengin bir prensliğe dönüştü ve Rusya'nın dört bir yanından çok sayıda insan burada yaşamak için taşındı.
I. İvan döneminde şehir, Vladimir-Suzdal'ın siyasi merkezi olarak Tver'in yerini aldı ve Moğol-Tatar hükümdarlarının tek vergi toplayıcısı oldu. İvan, yüksek vergiler ödeyerek Han ile önemli bir anlaşma yaptı. Diğer prensliklerin aksine, Moskova oğulları arasında paylaştırılmamış, tamamı en yaşlısına geçmiştir. Ancak Moskova Moğol yönetiminden hoşlanmıyordu. 1380 yılında Moskova Prensi Dmitry Donskoy, Kulikovo Savaşı'nda bir Rus ordusunu Tatarlara karşı önemli bir zafere taşıdı. Sadece iki yıl sonra Moskova, Han Tokhtamysh tarafından yağmalandı. 1480'de Ivan III nihayet Rusları Tatar kontrolünden kurtararak Moskova'nın Rusya'nın güç merkezi haline gelmesini sağladı. Ivan döneminde şehir, sonunda tüm Rusya'yı ve diğer ülkeleri de içine alacak bir imparatorluğun başkenti haline geldi.
1571 yılında Kırım Tatarları Moskova'yı basarak Kremlin hariç her yeri yaktılar.
1609 yılında Kont Jacob De la Gardie ve Evert Horn liderliğindeki İsveç ordusu Çar Vasili Shuiski'ye yardım etmek için Veliky Novgorod'dan Moskova'ya doğru yürüyüşe geçti. 1610'da Moskova'ya girdiler ve Çar'a karşı devrimi durdurdular, ancak 1611'in başlarında ayrıldılar. Bundan sonra Lehler işgal etti. Leh-Muskovit Savaşı (1605-1618) sırasında hetman (ordu komutanı) Stanisław Żółkiewski, Klushino Savaşı'nda Rusları yendikten sonra Moskova'ya girdi. 17. yüzyılda Tuz İsyanı (1648), Bakır İsyanı (1662) ve 1682 Moskova Ayaklanması gibi pek çok devrim yaşanmıştır.
1654-1656 yıllarındaki veba salgını Moskova nüfusunun yarısını öldürdü. Şehir, 1703 yılında Büyük Petro tarafından Baltık kıyısı yakınlarında Saint Petersburg'un inşa edilmesinin ardından 1712 yılında Rusya'nın başkenti olmaktan çıktı. 1771 Vebası Rusya'nın merkezindeki son büyük veba salgını olmuş ve sadece Moskova'da 100.000 kişinin ölümüne neden olmuştur. 1812'de Fransa'nın Rusya'yı işgali sırasında, Napolyon'un ordusu 14 Eylül'de şehre yaklaşırken Moskovalılar şehri yakıp kaçtılar. Çok aç ve soğuk olan Napolyon'un ordusu şehri terk etmek zorunda kalmış ve dondurucu Rus kışı ve ordunun bazı saldırıları nedeniyle neredeyse yok olmuştur.
Ocak 1905'te Alexander Adrianov Moskova'nın ilk belediye başkanı oldu. Moskova, 1917 Rus Devrimi'nin ardından 12 Mart 1918'de Sovyetler Birliği'nin başkenti oldu. İkinci Dünya Savaşı sırasında (Rusya'da Büyük Vatanseverlik Savaşı olarak bilinir), Almanya'nın SSCB'yi işgalinden sonra, Sovyet Devlet Savunma Grubu ve Kızıl Ordu komutanları Moskova'ya yerleştirildi.
1941 yılında Moskovalılar arasında 16 ulusal gönüllü grubu (160.000'den fazla kişi), yirmi beş tabur (18.500 kişi) ve dört istihkam alayı kuruldu. O Kasım ayında, Alman Ordusu şehrin kenarında durduruldu ve ardından Moskova Muharebesi'nde püskürtüldü. Birçok fabrika taşındı ve hükümetin büyük bir kısmı da taşındı ve 20 Ekim'den itibaren şehrin kuşatma altında olduğu ilan edildi. Şehir havadan bombalanırken, kalan halk tanksavar savunmaları inşa etti ve kullandı. Joseph Stalin (Rusya'nın lideri) şehri terk etmedi, bu nedenle genelkurmay da şehirde kaldı. Kuşatma devam ederken bile Moskova Metro sisteminin inşası savaş boyunca devam etti ve savaşın sonunda birkaç yeni metro hattı açıldı.
1 Mayıs 1944'te Moskova'nın savunması için bir madalya ve 1947'de Moskova'nın 800. yılı anısına bir başka madalya Moskova'ya verilmiştir. Nazi Almanyası'na karşı kazanılan zaferin 20. yıldönümü anısına 8 Mayıs 1965'te Moskova, Kahraman Şehir unvanına layık görülen on iki Sovyet şehrinden biri oldu.
1980 yılında Moskova, Sovyetler Birliği'nin 1979 sonunda Afganistan'da başlattığı savaş nedeniyle ABD ve diğer bazı Batılı ülkelerin katılmadığı Yaz Olimpiyat Oyunlarına ev sahipliği yaptı. 1991 yılında Moskova, Mikhail Gorbachev yönetimine karşı çıkan hükümet üyelerinin başarısız devirme girişimine sahne oldu. Aynı yıl SSCB sona erdiğinde Moskova Rusya'nın başkenti olmaya devam etti.
O zamandan beri, Moskova'da piyasa ekonomisinin başlaması Batı tarzı mağazalarda, hizmetlerde, mimaride ve yaşam tarzlarında bir patlama yarattı. 1998 yılında ilk Dünya Gençlik Oyunlarına ev sahipliği yapmıştır.