Den nåværende prestegården fikk i hovedsak sitt utseende rundt 1750. Bygningen den gang var lavere enn dagens, den ble nemlig påbygd med 1 ½ alen (ca.94 cm) i 1870-årene. Den hadde opprinnelig torvtak.
Prestegården har vært i bruk som bolig for sognepresten med familie helt siden 1600-tallet. Den nordligste tredjedelen var til menighetens bruk, det være seg kirkekaffe, offentlige møter, konfirmanter, bryllup, dåpsfølger og kirkelige foreninger innen misjon, avholdsbevegelse og lignende.
Prestegården er etterisolert og noe modernisert, men man har lagt vekt på å bevare dens gamle stil. En av stuene er dekorert av kunstmaler Henrik Backer.
Prestegården har ikke vært gjenstand for en helhetlig historisk undersøkelse, så man kjenner ikke nøyaktig alder, byggefaser mv. Det er mulig at deler stammer fra 1600-årene. Innebygd i konstruksjonen finnes rester av gamle dekorasjonsdetaljer.
På nordsiden var tilbygd mastu, jordkjeller og privét. En steinkjeller, muligens grisehus, lå på bakkekammen mot havet.
Det var mange hus på Prestegården i gamle dager. Det var fjøs, stall, høyløe, kornløe, bårstu med eldhus og vedskåle i endene og skolehus. Godt vekk fra tunet lå den brannfarlige smia. Ei lita bekkekvern fantes også. Ved sjøen var det flere store naust og tiendebod. Flere utløer og sommerfjøs fantes også, blant annet ved Storegjerdet.
I tillegg til prestefamilien, bodde stuepiker, tjenestejenter, budeier og drenger på gården, slik at det var et helt lite samfunn på kirkestedet.
Det har vært bebyggelse på prestegårdstomta helt siden tidlig middelalder og sannsynligvis også i jernalderen. Det er dype avfallslag med en rekke gjenstandsfunn i hagen på vestsiden.
Det er mange rom i Prestegården og rominndelingen er endret en rekke ganger gjennom historien. Rommene hadde også egne navn for kortere eller lengre tid. Det var for eksempel Brurstua, dagligstuen, kabinettet, herrekammerset, bispeværelset, mormorkammerset, engleværelset, studérsalen og brurstuloftet.
Stabburene ved prestegården var for korn/mel og kjøtt. Deler av dem er fra tidlig 1700-tall.
På kjøkkenet var det ei stor steingrue med bakerovn. I 1904 holdt på å gå galt, da nordveggen tok fyr. Det lyktes heldigvis å redde denne tradisjonsrike bygningen før den tok skade. Det var ellers en av de første bygninger i prestegjeldet som fikk innlagt vann.
Prestegården er fortsatt prestens tjenestebolig.
