ராமேஸ்வரம் ராமநாதர் கோவிலில் இருந்து 2 கிலோமீட்டர் தொலைவில் வால் இல்லாத ஆஞ்சநேயர் திருக்கோவில் அமைந்துள்ளது. ராமர் பிரதிஷ்டை செய்து வழிபடுவதற்காக, ஆஞ்சநேயர் காசிக்கு சிவலிங்கத்தை தேடிச் சென்றார்.
அவர் வருவதற்கு தாமதம் ஆனதால், சீதாதேவி மணலில் செய்து கொடுத்த சிவலிங்கத்தை பிரதிஷ்டை செய்து ராமபிரான் வழிபட்டு முடித்து விட்டார். அதன் பிறகு வந்த ஆஞ்சநேயர், தன்னுடைய வாலால் மணல் லிங்கத்தை அகற்ற முயன்றதாகவும், அந்த முயற்சியின் போது, ஆஞ்சநேயரின் வால் அறுந்து போனதாகவும் ஒரு சாரார் கூறுகின்றனர்.
இதனை மெய்ப்பிக்கும் வகையிலேயே, இங்குள்ள தலத்தில் ஆஞ்சநேயர் வால் இல்லாத தோற்றத்துடன் காணப்படுவதாக தல வரலாறு தெரிவிக்கிறது. மேலும் இந்த ஆலயத்தில் கடல் மணலால் உருவாக்கப்பட்ட மற்றொரு வால் இல்லாத ஆஞ்சநேயர் உருவமும் உள்ளது. இந்த உருவத்தின் மீது கடல் சிப்பிகள் பதிந்திருப்பதை காண முடிகிறது.
