ถ้ำคูหาสวรรค์ เดิมชาวบ้านเรียกว่า “ถ้ำน้ำเงิน” หรือ “ถ้ำพระ” ส่วนชื่อคูหาสวรรค์ เชื่อว่าน่าจะมีการเรียกมาอย่างน้อยตั้งแต่สมัยสมเด็จพระเอกาทศรถ
ถ้ำกว้าง 18 เมตร ยาว 28 เมตร สูงเป็นเวิ้งรูปกรวย ตอนบนมีหินงอกคล้ายรูปช้าง ชาวบ้านเรียกว่า “ช้างผุด” หรือ หินลับแล พื้นถ้ำปูด้วยอิฐถือปูน มีเจดีย์เล็กๆหนึ่งองค์ มีพระพุทธรูปปูนปั้นและปั้นด้วยดินเหนียวเรียงแถวเป็นระเบียบทางด้านทิศเหนือ ทิศใต้ และ ทิศตะวันตก รวม 37 องค์ มีขนาดต่างๆกัน
พระพุทธรูปเหล่านี้ตามประวัติว่า พระราชมุนี(สมเด็จเจ้าพะโคะหรือหลวงพ่อทวดวัดช้างให้)ได้ร่วมสร้างขึ้นในสมัยอยุธยาจำนวน 20 องค์ ต่อมาในสมัยรัตนโกสินทร์ได้รับการบูรณะและสร้างเพิ่มเติมขึ้นอีก 17 องค์ ด้านทิศตะวันออกของเศียรพระพุทธไสยาสน์มีกรุพระพิมพ์ที่ชาวบ้านได้ขุดพบพระแบบต่างๆเป็นจำนวนมาก มีทั้งพระจำหลักไม้พระพุทธรูปปูนปั้น พระสำริด และพระพิมพ์ดินดิบสมัยศรีวิชัย ชาวบ้านเรียกว่า “พระผีทำ”
ปากถ้ำมีหินเป็นชั้นกั้นติดกับหินปากถ้ำ สูงประมาณ 2 เมตร ชาวบ้านเรียกว่า “หัวทรพี” ตรงข้ามเป็นรูปพระฤาษีตาไฟปูนปั้น มีตำนานวื่ นางเลือดขาวกับเจ้าพระยากุมารสร้างขึ้นแทนอนุสาวรีย์ตาสามโมกับยายเพชร และได้บรรจุอัฐิของตายายทั้ง 2 ไว้ ภายใน ชาวบ้านถือว่า ศักดิ์สิทธิ์มากมีการบนบานปิดทองเต็มทั้งองค์จนไม่สามารถเห็นลักษระแท้จริงได้ เคยได้รับการบูรณะมาแล้วครั้งหนึ่งเมื่อ พ.ศ. 2468
