Havehuset er et af Skagens ældste huse, og omtales første gang i 1801. Det fik sit navn i 1840’erne, da det blev en del af Brøndums Gård (senere Brøndums Hotel). Indlemmelsen betød, at huset nu var placeret i haven til Brøndums Gård, deraf navnet Havehuset. Helt typisk for bygningerne i Skagen er husets nordside beklædt med træ (fjællebeklædt), mens vestgavl og sydside, der typisk er udsat for de hårdeste vejrforhold i Skagen, er muret.
I 1847 giftede Ane Møller sig med Erik Brøndum, og de flyttede ind i Havehuset, hvorfra de drev købmandsforretning. Det gik ikke så godt for det unge par, og Anes far Søren Møller, der var velhavende, købte Havehuset af dem og udvidede det og satte det i stand, og det var i den forbindelse, at sydside og gavle blev grundmuret, hvorimod nordsiden forblev fjelleklædt, som den var oprindeligt. Husets seks vestlige fag fik tegltag mens resten forblev tækket med strå. Samtidig byggede Søren Møller et kvadratisk hvidkalket 4-fags hus, der skulle anvendes som tørringsmagasin for strandingskorn og kaffe (senere Krøyers atelier). Erik og Ane Brøndum flyttede over i Brøndums Gård, hvor Anna Brøndum (senere Ancher) blev født i 1859.
Havehuset har været anvendt til mange forskellige formål. I 1853 blev Skagen som mange andre byer ramt af en koleraepidemi, og i en periode blev den østlige ende af huset anvendt til en slags hospital for de smittede. Den 11. januar 1874 brændte Brøndums Gård, som lå der hvor Brøndums Hotel ligger i dag, og Erik og Ane Brøndum samt deres 6 børn, flyttede over i Havehuset, hvorfra de drev gæstgiveri, købmandshandel og kro, indtil Brøndums Gård blev genopbygget. I 1875 flyttede de tilbage til den nyopførte gård.
I 1884 flyttede familien Ancher ind i den bygning vi nu kender som Anchers Hus på Markvej, men Michael Ancher fortsatte med at bruge Havehusets atelier. Helga Ancher anvendte også atelieret. Efter 1884 blev huset desuden brugt som sommerbolig for tilrejsende kunstnere. I 1919 skænkede familierne Brøndum og Ancher haven og Havehuset til Skagens Museum, der blev opført i 1926-28. Havehuset blev istandsat i 1941 under ledelse af arkitekt Viggo Steen Møller, men da Helga Ancher stadig brugte atelieret, var det kun det øvrige hus, der indgik som museets udstillingsareal. Først i 1956, hvor huset igen blev istandsat, blev hele Havehuset tilgængeligt for publikum, og i 1971 blev bygningen fredet.
I dag huser bygningen bl.a. museumscafén Brøndums Havehus.
