Bangsbos voldsted går formentligt tilbage til middelalderen. 1300-tallet var nogle meget urolige år. I disse meget urolige år byggedes der adskillige tilflugtsborge rundt om i landet, de såkaldte Motter.

Den bygning, der står der i dag, er fra ca. 1750 og opført af herregårdens første borgerlige ejer, købmand og møller Jens Møller. Den er bygget som et trefløjet barokanlæg, men kældrene er de oprindelige fra Ingeborg Skeels Bangsbo.

I 1992 blev en nøjagtig kopi af Bindesbøll’s bro indviet, og det var som om, at alle de gamle kulturmæcener igen gik rundt og hyggede sig i parken.

Indgangspartiet til selve hovedgårdens bygninger er nu beplantet med rododendron, som er doneret til Haven af én de trofaste venner, Jørgen Corfitzen i Sorø, der lige havde 70 – 80 rododendronhybrider “på lager”, og hvis ikke Botanisk Have ville have dem, havnede de på Skt. Hans bålet. Havens Vennekreds sponserede øjeblikkeligt 80 kubikmeter fræsetørv fra Sverige; et lokalt vognmandsfirma fandt en tom longtrailer på vej hjem fra Finland, og alle rododendron blev hurtigt læsset på. 6 timer senere kørte longtraileren ind på museets gårdsplads, og Frederikshavn kommune havde stillet maskiner og mandskab til at rydde de gamle bede og efterfølgende at køre de mange kubikmeter fræsetørv på plads.

Skærtorsdag den 12. april 2001 stillede så medlemmer af Havens Vennekreds sig til rådighed for at plante rododendron. Og som formiddagen skred frem blev det mere og mere vinterligt, der blev faktisk en veritabel snestorm. Det afskrækkede dog ikke planteholdet, der fik alle planterne sat på plads i de to forberedte plantebede.
Der er efterhånden også udplantet en del orientalske liljer, der blomstrer noget senere end de mange rododendron, og i tilgift dufter vidunderligt.