கைப் சாஹர் ஏரியை ஒட்டியே இந்த விஜய் ராஜராஜேஷ்வர் கோயில் அமைந்துள்ளது. சிவபெருமானுக்காக எழுப்பப்பட்டுள்ள இந்தக்கோயில் தன் அற்புதமான கட்டிடக்கலை அம்சங்களுக்காக மிகவும் பிரசித்தி பெற்றுள்ளது.
மஹரவால் விஜய் சிங் மன்னரால் இதன் கட்டுமானம் தொடங்கப்பட்டு பின்னர் மஹரவால் லட்சுமண் சிங் மன்னரால் 1923ம் ஆண்டு இக்கோயில் கட்டி முடிக்கப்பட்டுள்ளது. சிவபெருமான் மற்றும் அவரது துணைவியார் பார்வதி தேவியின் அழகிய சிலைகளை பக்தர்கள் மற்றும் பயணிகள் இக்கோயிலில் தரிசிக்கலாம்.