Шамахинская джума-мечеть считается одним из самых древних мусульманских храмов не только на территории Азербайджана, но и на Южном Кавказе и Ближнем Востоке в целом. Она была построена во времена халифы Халида ибн Валиядина, в 743 году, о чём сообщала надпись на стене мечети, выявленная в 1902 году.
Проведённые на территории мечети археологические раскопки выявили несколько культурных слоёв, самый ранний из которых относится к VIII-X вв. В следующем слое были обнаружены остатки строений XI-XII вв. Верхний же культурный слой относится к XIV—XVII вв и содержит остатки бассейна, облицованного камнем.
Согласно историческим сведениям, побежденный армиями халифата хазарский каган принял Ислам именно в этой мечети. Шемахинская джума-мечеть наряду с мечетью VIII века в городе Ахсу является первым исламским сооружением на территории Азербайджана. Она принадлежит к Ширванской архитектурной школе. Подобные здания имели трёхчастное деление, в каждом из которых имелся свой михраб.
Джума-мечеть находилась на центральной торговой площади. Некоторое время торговый и общественный центры города были расположены вблизи нее. Рядом располагалось медресе, бывшее частью целого архитектурного комплекса. Эту мечеть упоминал средневековый арабский географ Шамсуддин аль-Мукаддаси, описывая Шемаху еще в X веке.
Известно, что ещё в 1820 году мечеть находилась в довольно хорошей сохранности. В 1848 году русский художник Григорий Гагарин сделал зарисовку, на которой можно видеть трехчастное решение плана мечети с центральным куполом. Однако по ней нельзя было определить, из какого материала были выполнены стены мечети.
После этого в 1859 и 1887 годах в Шемахе произошли сильные землетрясения, в результате которых мечеть сильно пострадала и была отремонтирована. Работы проводил азербайджанский архитектор Касым-бек Гаджибабабеков. В таком виде мечеть стояла до очередного землетрясения в 1902 году, которое практически полностью уничтожило здание.
На ее месте была построена новая белокаменная мечеть с железными куполами. Восстановлением занимался бакинский архитектор польского происхождения Иосиф Плошко. Однако строительство не удалось завершить из-за отсутствия средств. Эта мечеть была сожжена в 1918 году. В результате пожара погибли скрывшиеся в ней мусульмане, не уцелели и надписи на стенах.
Во времена СССР мечеть не использовалась по назначению и столкнулась с угрозой разрушения. В 1980 году по поручению первого секретаря ЦК Компартии Азербайджанской ССР Гейдара Алиева здание было отремонтировано. А в 2001 году шемахинская джума-мечеть была объявлена архитектурным памятником национального значения.
В марте 2010 года началась ее глобальная реконструкция. Помимо этого были также отреставрированы старинные кельи, расположенные вокруг мечети. Реконструкция мечети проводилась с учётом традиций Ширванской архитектурной школы. Из-за расположения города в сейсмической зоне фундамент мечети был основательно укреплен железобетонной конструкцией.
Джума-мечеть снова распахнула двери для азербайджанских мусульман 17 мая 2013 года. Сейчас здесь могут одновременно совершать богослужение 1500 человек. На ее территории появились конференц-зал и вспомогательные помещения. Также построены библиотека и бытовое здание, где расположены 250-местный ритуальный зал и кухня.
