Nařízením komunistické moci byli všichni příslušníci mužských řeholí při tzv. akci "K" v noci ze 13. na 14. dubna 1950 odvlečeni ze svých řeholních domů a soustředěni do několika "soustřeďovacích klášterů", kde museli pracovat za státního dozoru. Jeden z těchto koncentračních táborů byl zřízen i na Hoře Matky Boží u Králík.
Prostor poutního místa byl obehnán ostnatým drátem a v celém širokém okolí byly umístěny tabulky s varováním, že vstup do prostoru je zakázán. Protože objekt je zdaleka vidět, působilo toto rozhodnutí pro všechny velmi stísněně. Žili zde řeholníci z různých řádů, mezi nimi i pováleční správci Hory Matky Boží - redemptoristé.
Řeholníci byli umístěni v klášteře a v protějších Poutním domězde a byli nuceni těžce pracovat v lese, na polích, či u dobytka tehdejších Státních statků. Řeholníci zde žili a pracovali až do roku 1960, kdy dostala většina z nich možnost odejít do civilních povolání, nebo pokud dostali "státní souhlas", odejít do duchovní správy farností. Poslední bratři byli z Poutního domu propuštěni až roku 1965.