Köhler, 4 Mart 2004 tarihinde cumhurbaşkanlığına aday gösterildiği için görevinden istifa etti. Köhler ilk oylamada Gesine Schwan'ı 580'e karşı 604 oyla mağlup etti. Küçük adaylar için 20 oy kullanılırken, bir seçmen kalp krizi nedeniyle oylamaya katılmadı. Köhler, 1 Temmuz 2004 tarihinde Johannes Rau'nun yerine beş yıllık bir dönem için Cumhurbaşkanı oldu. Almanya'da cumhurbaşkanlığı büyük ölçüde törensel bir makamdır. Ancak aynı zamanda önemli bir ahlaki otoriteye de sahiptir. Charlottenburg Sarayı 2004 yılından 2006 yılı başına kadar Almanya Cumhurbaşkanı'nın ikametgahı olmuştur. Bunun nedeni Schloss Bellevue'nin yenilenmiş olmasıdır.
Köhler seçildikten sonra "Vatanseverlik ve kozmopolit olmak birbirine zıt şeyler değildir" demiştir. Almanya için vizyonlarını ortaya koyan Köhler ayrıca "Almanya bir fikirler ülkesi haline gelmelidir" dedi.
Temmuz 2005'te Şansölye Gerhard Schröder'in isteği üzerine Federal Meclis'i askıya aldı. Schröder Federal Meclis'teki güvenoylamasını kaybetmişti. Bu durum Eylül 2005'te Federal Meclis için erken seçim yapılmasına yol açtı.
Ekim 2006'da bir yasa tasarısını veto ederek geniş kapsamlı bir karar aldı. Tasarı, Almanya'nın Hava Güvenliği İdaresi Deutsche Flugsicherung'u özel mülkiyete devredecekti. Federal Meclis bu yasayı kabul etti ancak Cumhurbaşkanı olarak Köhler, anayasaya aykırı olduğu kanaatine varırsa yasayı imzalamama yetkisine sahipti. Aralık 2006'da Tüketici Bilgilendirme Yasasını imzalamamıştır, çünkü anayasa federal hükümetin belediye yetkililerine talimat vermesine izin vermemektedir. Bu sadece Alman eyaletleri tarafından yapılabilir. Almanya Cumhurbaşkanı'nın yasa tasarılarını reddetmeyi tercih ettiği daha önce sadece altı olay olmuştu. Bu olayların çoğunda daha az önemli yasalar söz konusuydu. Cumhurbaşkanı'nın vetoları yakın Alman tarihinin ilk kayda değer örnekleriydi.
Köhler 2007 Noel'inde yaptığı ulusa sesleniş konuşmasında hükümeti reformları daha hızlı bir şekilde gerçekleştirmeye çağırdı. Köhler ayrıca posta sektörüne asgari ücret getirilmesini de eleştirerek "rekabetçi işverenler tarafından ödenemeyen bir asgari ücretin istihdamı yok edeceğini" ifade etmiştir.
Köhler, 22 Mayıs 2008 tarihinde yaptığı açıklamada, ikinci bir dönem için cumhurbaşkanı adayı olmak istediğini belirtti. Köhler, 23 Mayıs 2009 tarihinde Federal Meclis tarafından yeniden seçildi ve 1 Temmuz 2009 tarihinde ikinci dönem için yemin ederek görevine başladı.
Kasım 2009'da Köhler, "Zugangserschwerungsgesetz "i (Erişim Engelleme Yasası) daha fazla bilgi almadan imzalamayı reddetti. World Wide Web'de çocuk pornografisi içeren sitelere erişimi zorlaştırmayı amaçlayan yasa, birçok hukuk uzmanı tarafından anayasaya aykırı olarak değerlendiriliyor.
İstifa
Köhler, 31 Mayıs 2010 tarihinde Almanya Cumhurbaşkanlığı görevinden istifa ettiğini açıkladı. Bu açıklama, Alman siyasetçilerin Köhler'in denizaşırı askeri konuşlandırmalarla ilgili olarak yaptığı yorumları eleştirmelerinin ardından geldi:
Almanya'nın yurtdışındaki askeri misyonlarının aynı zamanda ticareti güvence altına almaya hizmet ettiği yönündeki açıklaması nedeniyle eleştirilere maruz kaldı. Daha sonra yaptığı açıklamada yorumlarının Somali açıklarındaki korsanlığa atıfta bulunduğunu belirtti. Köhler, röportajda anayasaya aykırı bir pozisyonu destekleyerek resmi rolünü aştığı yönündeki suçlamaların aslı astarı olmadığını belirtti. Tartışmalarda destek bulamayan Köhler 31 Mayıs 2010 tarihinde istifa etti. Köhler, "Cumhurbaşkanlığı görevinden derhal geçerli olmak üzere istifa ettiğimi beyan ediyorum" şeklinde bir açıklama yaptı. İstifa "sürpriz" olarak değerlendirildi. Takip eden günlerde, kendisi de sıkı bir eleştirmen olmasına rağmen eleştirilerle başa çıkamamakla eleştirildi. Daha önce benzeri görülmemiş bir şekilde derhal istifa etmesi de makamına saygı duymadığını gösterdiği şeklinde değerlendirildi.
Alman Anayasası'nda yazılı olduğu üzere, Christian Wulff 30 Haziran 2010 tarihinde cumhurbaşkanı seçilene kadar boşalan makamın yetkileri mevcut Federal Konsey Başkanı Jens Böhrnsen tarafından yürütülmüştür.