Don Nehri'nin ağzı antik çağlardan beri çok önemli olmuştur. Kültürel nedenler ve ticaret için önemli olmuştur. Yunan kolonisi Tanais ve Ceneviz kalesi Tana da buradaydı. Daha sonra Osmanlı İmparatorluğu burada bir kale inşa etmiştir. Bu kaleye Azak adı verilmiştir.
Rostov-on-Don 1749 yılında kurulmuştur. O yıl Don Nehri üzerinde bir gümrük binası inşa edilmiştir. Daha sonra bunu büyük bir kale takip etti. Adını Rostovlu Aziz Dimitri'den almıştır. Rostovlu Dimitri, eski Kuzey şehri Büyük Rostov'dan bir piskopostu. Zamanla Asov kalesinin önemi gittikçe azaldı. Kalenin yakınındaki yerleşim yeri kaleden daha önemli hale geldi. Burası bölgenin ticaret merkeziydi. 1796'da bu yerleşim şehir haklarını aldı ve Rostov-on-Don olarak yeniden adlandırıldı.
Şehrin adını aldığı Don Nehri önemli bir nakliye yoludur. Güneybatı Rusya'yı kuzeydeki bölgelere bağlamaktadır. Rostov-on-Don hem insanlar hem de endüstriyel nakliye için önemli bir nehir limanıdır. Böylesine iyi bir coğrafi konuma sahip olan şehir hızla büyümüştür. Güney Rusya'nın en sanayileşmiş şehridir. Bu nedenle şehir, İç Savaş sırasında Beyazlar ve Bolşevikler arasında büyük bir soruna neden olmuştur. 1928 yılına gelindiğinde bölgesel hükümet eski Kazak başkenti Novocherkassk'tan Rostov'a taşınmıştır. Yakındaki Ermeni kasabası Nor Nakhijevan şehrin bir parçası haline geldi.
Sovyet yıllarında Bolşevikler Rostov'un iki ana simge yapısını yıkmıştır: Aziz Aleksandr Nevski Katedrali (1908) ve Nahçıvan'daki Aziz George Katedrali (1783-1807). Şehrin büyük bir kısmı, 1918, 1941 ve 1942 yıllarında olmak üzere üç kez kontrolü ele geçiren Alman kuvvetleri tarafından tahrip edilmiştir. Bugün tarihi kentin en önemli parçası, Konstantin Thon tarafından tasarlanan çok büyük Bakire'nin Doğuşu Katedrali'dir (1860-87).
Şehir aynı zamanda Rusya'nın en tanınmış seri katili Andrei Chikatilo'nun da eviydi ancak kendisi aslında burada doğmamıştı.
Rostov-on-Don son yıllarda büyük bir ekonomik büyüme kaydetmiştir. Bunun bir nedeni de Rus ekonomisinin giderek güçlenmesidir. Şehirde birçok yeni şirket genel merkez kurdu. Şehirde yaşayan insanlar geçmişe kıyasla daha fazla para kazanıyor. Şehir, komünizmin çöküşüyle geçmişte kalmış bir yerden modern, sanayi ve teknoloji zengini bir şehre dönüşüyor.