मान्यता है कि, पौराणिक काल में भगवान शिव यहां आए थे और कुछ समय के लिए रहे थे। बाद में 1950 के दशक में स्वामी कृष्णानंद परमहंस नाम के एक बाबा यहां आए। जिनके मार्गदर्शन और दिशा-निर्देश पर ही जटोली शिव मंदिर का निर्माण कार्य शुरू हुआ। साल 1974 में उन्होंने ही इस मंदिर की नींव रखी थी। हालांकि 1983 में उन्होंने समाधि ले ली, लेकिन मंदिर का निर्माण कार्य रूका नहीं बल्कि इसका कार्य मंदिर प्रबंधन कमेटी देखने लगी। 

इस मंदिर को पूरी तरह तैयार होने में करीब 39 साल का समय लगा। करोड़ों रुपये की लागत से बने इस मंदिर की सबसे खास बात ये है कि इसका निर्माण देश-विदेश के श्रद्धालुओं द्वारा दिए गए दान के पैसों से हुआ है। यही वजह है कि इसे बनने में तीन दशक से भी ज्यादा का समय लगा। इस मंदिर में हर तरफ विभिन्न देवी-देवताओं की मूर्तियां स्थापित हैं जबकि मंदिर के अंदर स्फटिक मणि शिवलिंग स्थापित है। इसके अलावा यहां भगवान शिव और माता पार्वती की मूर्तियां भी स्थापित की गई हैं। वहीं, मंदिर के ऊपरी छोर पर 11 फुट ऊंचा एक विशाल सोने का कलश भी स्थापित है, जो इसे बेहद ही खास बना देता है।