Vanaf 1 september 1961 gingen de 3 hoogste klassen van Hulst naar Loenhout om te gaan studeren op het St. Vincentiusseminarie (gymnasium) van de lazaristen te Wernoutsburg bij Zundert. Vanaf schooljaar 1962/63 ook vanaf de 3e klas. Te Hulst alleen de V.B klas en de klassen 1 en 2. In juli 1967 werd het kasteel ontruimd. De jongens gingen vanaf schooljaar 1967/68 de lessen volgen op het Jansenius lyceum te Hulst en de Mulo en Mavo aldaar tot einde schooljaar 1969/70. Het huis te Hulst werd als opleidingshuis opgegeven