Den midterste delen av huset er eldst og ble trolig flyttet fra «Gammelgården» en gang i 1760-årene. Der hadde den muligens vært kårstue på gårdstunet til «Lensherregården».
Ved sogneprest Peder Bruuns død i 1767 ble bygningen overtatt av handelsmannen Peder Christian Angell som var gift med datteren til Bruun. Huset ble påbygd mot sør i denne tiden, muligens i forbindelse med at Peder Angell fikk gjestgiverbevilling 13.mars 1773. Det var først i 1792 at Kongen ga fra seg den formelle eiendomsretten til jordeiendommen. I 1806 ble huset enkesete for enken etter sogneprest Hans Pedersen Bruun, og da ble den nordligste delen tilbygd.
Etter preste-enkenes tid, ble gården kjøpt på auksjon av Svend Hansen Dahl i 1848 og senere gikk den til hans sønn Lars. Parelius Danielsen kjøpte den på auksjon i 1908. Bygningen ble vedtaksfredet i 1975.
I 1966 fikk Christianne Undset Svarstad kjøpe Rødgården fra en som vurderte å flytte det sørover, og det eies nå av hennes etterkommere.




