V době třicetileté války byla hora, na které dnes klášter stojí, pustá a bez porostu, proto se jí říkalo Lysá hora. Na tuto horu v té době chodívala procesí modlících se dětí. Mezi nimi byl i malý Tobiáš Jan Becker (1649-1710), pozdější královehradecký biskup. Ten si jako malý chlapec umínil, že až vyroste, postaví na této hoře kostel. V roce 1696 byla účast v procesí tak veliká, že tehdejší králický farář Schliemann na to Tobiáše Beckera upozornil a připomenul mu jeho slib z dětství. A kanovník Becker se rozhodl svůj dětský sen realizovat.
Téhož roku si vyžádal povolení biskupa a spolu se svými přáteli se pustili do stavby kostela na Lysé hoře. Říká se, že při stavbě se přišlo na základy dávné svatyně a lidé dokonce uvěřili v předkřesťanský původ stavby. Za zpěvu mariánských písní vynášeli nahoru trámy i kamení často holýma rukama. Pomáhali lidé ze širokého okolí bez rozdílu stavu, nečekajíce žádné odměny, jen s vědomím, že Panna Maria pomáhá jim a teď je třeba tuto pomoc opětovat.