A város központja a Spree folyó partján fekszik, az ún. Varsó-Berlin-ősfolyamvölgyben. A folyó kelet-nyugati irányban folyik át a városon, a belvárosban két ágra oszlik és szigetet képez (Múzeum-sziget). Ezenkívül átszeli a várost a Landwehr-, a Lujza- és a berlin-spandaui hajózási csatorna, amelyeken 50-nél több híd ível át. E hidak közül a legszebb a Schlossbrücke (48 m hosszú), amelyet 1822–1824 között Schinkel tervei szerint építettek; széleit négy-négy, a katonai életet ábrázoló márvány szoborcsoport ékesíti. Jelentősebb hidak még: a Kurfürst híd, a nagy választófejedelem ércből öntött lovasszobrával; a Vilmos császár hídja, a 4 márvány szoborcsoporttal ékesített Belle-Alliance híd és a Herkules híd.

A város nyugati részén, a Spandau nevű városrészben a Spree a Havel folyóba torkollik, mely a város nyugati részét észak-déli irányban szeli át és Szász-Anhalt tartomány területén végül az Elbába ömlik. A folyók mentén Berlin területén nagy tavak találhatók, melyek egyrészt a Havelből (például Großer Wannsee, Tegeler See), másrészt a Spree-ből (Großer Müggelsee) táplálkoznak. A nagy tavakon kívül Berlinben számos kisebb tó fekszik, melyek a nagyobb tavak mellett nyáron népszerű kirándulóhelyek (például Krumme Lanke, Schlachtensee).

A város legmagasabb pontjai a Großer Müggelberg (115,4 m) Treptow-Köpenick városrészben, a Teufelsberg (114,7 m) Charlottenburg-Wilmersdorf városrészben és az Ahrensfeldi hegyek (112,1 m) Marzahn-Hellersdorfban. A Teufelsberg nem természetes domb, hanem a II. világháború romjainak összehordásával keletkezett. Az ilyen „rom-hegyek” (németül: Trümmerberg) minden német városban megtalálhatók, melyek komolyabb háborús károkat szenvedtek el (Berlinben több is van).