காயாரோகணேஸ்வரர் கோவிலானது, நீலாயதாட்சியம்மன் கோவில் என்ற பெயராலும் அழைக்கப்படுகிறது. மிகப்பழமைவாய்ந்த இக்கோவில், ஒரு சிவன் கோவில் ஆகும். இங்கு உள்ள அம்மனின் பெயர் நீலாயதாட்சியம்மன் ஆகும்.
கோவில் வளாகத்தினுள் சிவபெருமான் மற்றும் நீலாயதாட்சியம்மனின் விக்ரகங்கள் காணப்படுகின்றன. புண்டரீக முனிவருக்கு சிவபெருமான் அருள்புரிந்து அவருக்கு முக்தி அளித்ததாகக் கூறப்படுகிறது.
இதனால், மக்கள் இறந்தபிறகு, அவர்களுக்கு முக்தி அளிக்கும் தலமாக இது நம்பப்படுகிறது. இக்கோவிலில் தரப்படும் புனிதத்துணியால் இறந்த உடலைச் சுற்றி, இறுதிச் சடங்குகள் செய்யப்படுகின்றன. இப்படிச் சடங்குகள் செய்வதால், இறந்தவர்கள் முக்தி அடைவார்கள் என்று நம்பப்படுகிறது.