Masjid dijantung kota Banda Aceh, disebut juga masjid raya peninggalan Sultan Iskandar Muda. Dibangun tahun 1022 Hijriah atau 1621 M, namun pada April 1873 masjid tersebut dibakar oleh penguasaan kolonial Belanda. Dalam peristiwa tersebut Mayor Jenderal Johan Harmen Rudolf Köhler meninggal, dan diabadikan dalam bentuk tugu yang terletak di pintu masuk sebelah utara masjid. 1879 dibangun kembangli oleh Mayor Jenderal Vander, Gubernur Militer Aceh pada masa pendudukan kolonial. Pembangunan kembali masjid ini dalam upaya menarik simpati rakyat Aceh pada masa itu. Peletakan batu pertama oleh Tengku Qadhi Malikul Adil, kemudian direnovasi lagi 1299 Hijriyah dibangunnya kubah. Tahun 1935 diperluas sayap kiri dan kanan, serta penambahan dua kubah. Dengan perluasan tersebut, masjid ini memliki lima kubah dan selesai dikerjakan tahun 1967.