கங்கை நதியின் கரையில் இருக்கும் இவ்விடத்தின் பெயரில் உள்ள குப்பா என்பது 'குகை அல்லது சுரங்கம்' என்றும், காட என்பது 'நதிக்கரை' என்றும் பொருள் தரும். இந்த மலையில் உள்ள குகையில் மகரிஷி மேஹி பல மாதங்கள் வசித்ததாக புராணங்களில் குறிப்பிடப்பட்டுள்ளது.
இராமாயணக் காட்சிகளை வெளிப்படுத்தும் பல்வேறு ஓவியங்களைக் கொண்டுள்ள அழகிய பண்ணைகளையும், தோட்டங்களையும் குப்பாகாட் கொண்டுள்ளது. புத்தர் தன்னுடைய முந்தைய பிறப்பில் இந்த மலைகளில் வாழ்ந்ததாக பலரும் நம்புகின்றனர்.