Kalvarijos pradžia siejama su gyvenviete prie Šešupės, išsidėsčiusia svarbių kelių sankirtoje. Palanki vieta lėmė, kad čia greitai susiformavo prekyvietė, o aplink ją — miestelio branduolys.