این مسجد مربوط به دوره ی سلجوقیان است )حدود800 سال پیش ) که کنار آتشکده ای قرار گرفته و ساختمان قبلی مسجد مربوط به آتشکده بوده است . جمعه مسجد شامل حیاط و ایوان و طاق باشکوهی بوده که در حمله مغولها تخریب شده و فعلاً قسمتی از مسجد سالم است. این مسجد که در برخی از نسخه‌ها و کتابها از آن به عنوان مسجد جامع نیز یاد شده، باز مانده مسجد عظیم و کم نظیری است که در دوره‌های مختلف اسلامی بویژه دوره سلجوقی شکل گرفته و تا اوایل دوره صفوی آباد بوده است. اینکه از چه تاریخی این مسجد بر روی آثار پیش از اسلام ساخته شده اطلاعی در دست نیست اما بررسی هایی که هیات کاوشگری ایرانی انجام داده است نشان می‌دهد این مسجد در قرون اولیه اسلامی ساخته شده است. مسجد دوره‌های سلجوقی و ایلخانی بسیار گسترده تر و وسیع تر از بنای مکعبی فعلی بوده و بنای سرپای موجود صرفاً گنبدخانه و ایوان مسجد بزرگ را تشکیل می‌داده است. تک منار استوانه‌ای شکل آجری آن از یادگارهای زمان سلجوقی است. مرور زمان باعث شده است اجزای بنا تا حدی که امروز دیده می‌شود ویران شود. همچنین به دلیل تصرفاتی که افراد در حریم و تپه به عمل آورده اند و منازلی که روی دامنه آن احداث شده، به تدریج از وسعت این مسجد کاسته است و مساحت آنرا به اندازه کنونی تقلیل داده است. بناى جمعه مسجد اردبیل تحت شماره ۲۴۸ به ثبت تاریخى رسیده است.