Kláštor je postavený na návrší Skalky, týčiacej sa nad riekou Váh, medzi obcami Zamarovce a Skalka nad Váhom.
Vznik kláštora sa viaže k životu a k mučeníckej smrti prvých slovenských svätcov, mučeníkov Andreja-Svorada a Benedikta, ktorí patrili k najstaršej kresťanskej reholi v strednej Európe, k benediktínom. Títo tu žili v 11. storočí.
V roku 1224 tu bolo biskupom Jakubom I. založené Benediktínske opátstvo a postavený kostolík v gotickom slohu. Kláštor sa stal duchovným centrom Považia. Rozvoj kláštora zabrzdili v roku 1241 Tatárske vpády a neskôr vplyv Matúša Čáka Trenčianskeho.
Od roku 1321 až do roku 1421 bez rušivých momentov mnísi hlásali slovo Božie a konali misie. Ani Skalka sa v roku 1421 nevyhla husitským vojnám. Keď v roku 1528 veliteľ Katzianer dobyl Trenčiansky hrad, rozohnal benediktínov na Skalke. Od roku 1528 do roku 1625 bol majetok kláštora v rozličných rukách.
V roku 1664 prišli na Skalku jezuiti, objekt kláštora zrekonštruovali a v roku 1717 znovu postavili kostolík. Keď v roku 1773 zrušil pápež Klement XIV rehoľu jezuitov, začína kláštor pustnúť.
Čiastočné úpravy na Veľkej Skalke boli prevedené postupne od roku 1852, väčšie úpravy a stabilizácia objektu sa uskutočnili po roku 2000.
Kláštor Veľká Skalka je vyhlásený za národnú kultúrnu pamiatku. Patrí sem zrúcanina kláštora, trojposchodová kaplnka, ktorá je čiastočne vytesaná do skaly a najstaršia sprístupnená jaskyňa na území Slovenska, Benediktová jaskyňa.
Neďaleko kláštora nad cestou sa nachádza krasová, Opatovská jaskyňa. V roku 1994 bola vyhlásená za prírodnú pamiatku
Benediktova jaskyňa
Vstup z jaskyne do kostola, interiér kostola a kláštora.
