Í lok seinni heimstyrjaldarinnar var Berlín skipt á milli sigurvegara stríðsins en þeir voru Bretar, Frakkar, Barndaríkjamenn og Sovétmenn. Sovétmenn fengu austur Berlín en vesturhlutann skiptu Bretar, Frakkar og Bandaríkjamenn á milli sín.
Múrinn byrjaði sem strengdur gaddavír eftir götunum og á milli húsa. Þann 15. ágúst var svo byrjað að rífa upp malbik og hlaða múrvegg. Árið 1962 var bakveggur (Hinterlandmaver) byggður til að gera flótta erfiðari.
Berlínarmúrinn var eitt helsta tákn Kalda stríðsins. Megin ástæða fyrir byggingu Berlínarmúrsins var stöðugur straumur fólks frá Austur-Þýskalandi til Vestur-Þýskalands. 2,6 milljónir manna yfirgáfu Austur-Þýskaland frá því það var stofnað árið 1949.
Bygging múrsins olli hvorki mótmælum né uppþrotum í Austur-Þýskalandi. Langflestir Austur-Þjóðverjar litu á sig sem sósíalista og töldu að múrinn væri ill nauðsyn. Í Vestur-Þýskalandi og sérstaklega í Vestur-Berlín var múrnum mótmælt harðlega, en allt kom fyrir ekki.