Construit au XIIIe siècle, était non une demeure de plaisance, mais une construction militaire organisée pour la défense du territoire brabançon vis-à-vis des Hennuyers ou des Flamands, conformément à la politique prévoyante de Henri 1er, Duc de Brabant, dit le Guerroyeur, qui suggéra aussi la construction des châteaux Zittert et Gaesbeek dans le même dessein.

C’est dans la région basse de la Senne, dans un endroit propice, entouré d’eau, que fut plantée la puissante forteresse de Beersel.

Son aspect médiéval impressionne fortement nos regards actuels. Hautaines comme leur maître, les salles et la courtine percée de créneaux, d’archères et de mâchicoulis ; sombres, les voûtes par les torches des hommes d’armes, sinistres les oubliettes et la salle de torture.”texte de Charles Mertens”.

Le Château des Seigneurs de Witthem possède la sinistre réputation d’être hanté. Des phénomènes inhabituels se manifestent aux alentours du Château lorsqu’une menace grave (guerre, conflits, épidémies…) pèse sur la région ou le pays.
Le mardi 15 août 1939, cette photo fût prise par une des membres du Club des Chasseurs de Fantômes près de l’aile droite du Château.