Manoma, kad šios kapinės įkurtos XVIII a. pr. Istoriniai šaltiniai liudija, kad žydų bendruomenė Kalvarijoje aktyviai veikė jau 1713 m. Tikėtina, kad būtent tuo laikotarpiu buvo įkurtos ir Senosios žydų kapinės. Kapinėse iki šių dienų išlikę įvairių formų betoniniai antkapiai su autentiškais hebrajiškais rašmenimis.

Nuo 1992 m. lankytojus pasitinka granito paminklinis akmuo. Jo steloje lietuvių ir hebrajų kalbomis iškalti prasmingi žodžiai: „Senosios žydų kapinės. Tebūnie šventas mirusiųjų atminimas“.