Het kasteel, een U-vormige constructie in classicistische stijl, werd rond 1770 opgetrokken als zomerverblijf en jachtslot voor Graaf Karel van Velbrück, prins-bisschop van Luik.
Velbrück was een verlichte humanist, met grote voorliefde voor kunsten, wetenschappen én natuur. Het lusthof was zijn persoonlijke eigendom en ging over naar zijn erfgenamen, die het ook nu nog altijd in bezit hebben en met liefde en respect onderhouden.
Ook de kasteeltuinen en beplanting zijn door de eeuwen heen bewaard gebleven en met zorg onderhouden. Een van de hoogtepunten vormt de collectie oude en wilde rozen, gedeeltelijk nog de originele 18de-eeuwse struiken. De moestuin van twee hectare, met bijbehorende traditionele groentekelder, nog steeds in gebruik, en een park in Engelse
landschapsstijl vormen slechts enkele van de andere redenen om Hex in dit boek of in het echt een bezoek te brengen. De tuinen van Hex vormen een arcadisch landschap van grote schoonheid en authenticiteit.