Altid har haverne omkring Bangsbo været der og afspejlet tidens interesse i haven, og i 1800-tallet var Bangsbo det idylliske sted, som kommende digtere valfartede til for at opleve fred og ro. Haverne ved Bangsbo har altid undergået ændringer afhængig af hvilken ejer, der sad i salen, og hvilken stil der nu var oppe i tiden.

Den første réelle haveplan er fra 1812, og haven er præsenteret i et renæssancelignende anlæg med en central akse, som går lidt skævt på hovedbygningen. I 1891 overtager redaktør Johan Knudsen Bangsbo, og han går rastløst i gang med at rydde op med større eller mindre pietetefølelse til stedet og dets historie. Midtergangen forsvandt, og slyngede gange opstod omkring en stenhøj mod syd, og en pavillon mod nord, mens en hvid træbro efter tegninger af Bindesbøll over voldgraven forbandt gården og parken.

Efter 2. verdenskrig blev Frederikshavn kommune ejer af herregården og de tilstødende arealer, som nu rummer Bangsbo Botaniske Have.

Og idéen til at skabe en botanisk have omkring Bangsbo blev i sin tid fostret af tre haveinteresserede borgere, der syntes, at haveanlægget omkring herregården havde fortjent at være mere end blot en græsplæne og nogle bede med udplantningsplanter. 

Frederikshavn kommune fik forelagt idéoplægget på et kommuneplanlægningsmøde og fandt ideen god, og det blev startskuddet til Bangsbo Botaniske Have, Frederikshavn.