La famille seigneuriale de Forest est attestée dès 1095, le fief de Forest tenu du seigneur de Mortagne elle était doté de la haute justice ce qui en donnait au titulaire le droit de baillage et de mairie.
Le château s’implanta en un lieu plein d’eaux courantes non loin des rives de l’Escaut, il avait fière allure avec sa haute tour presque sans ouverture dont la toiture portait sur ses quatre faces aux pignons à redents et ses mansardes, les constructions bases et étalées ressemblaient plutôt à des maisons de cense avec basse-cour et jardins clos avec de grands fossés.
Malheureusement il ne reste que des vestiges de cette bâtisse.
