Ein har lenge gått ut frå at hovudbygget på Herdla blei reist på slutten av 1700-talet, men kanskje har det ei historie heilt tilbake til rundt 1660 då Hans Hansen Smidt kjøpte garden og skaffa seg adelsprivileger. 
Hovudbygget er ikkje til å kjenna att i dag, derimot er tunet elles svært lite endra gjennom hundreåra og det er ikkje vanskeleg å kjenna seg att om ein legg turen nedom Herdlevågen.