Intresset för den folkliga kulturen var stort i slutet av 1800-talet, och förstärktes när Finland blev en självständig nationalstat 1917. Man ville hitta och förstärka drag av nationell särprägel, och hembygdsrörelsen såg som sin uppgift att börja samla in föremål som återspeglade det traditionella.
På 1920-talet började man planera för ett friluftsmuseum på Åland, med Skansen som förebild. På gården ville man visa upp åländsk byggnads- och boendekultur, saluföra hemslöjdsalster och ordna fester i traditionell anda.
Kastelholm var redan från början aktuellt som plats. År 1931 flyttades de första byggnaderna, ett par kvarnar, till området. Mangårdsbyggnaden, som gett museet sitt namn, kommer från gården Jan Karls i Bamböle, Finström, flyttades hit 1934. Gården har sedan kompletteras och byggts ut enligt de ursprungliga ritningar som arkitekt Einar Rudskog tog fram åt Ålands Bygdegårdssektion.
För att klara administrationen bildades 1936 Ålands Folkminnesförbund, som bestod av flera kulturella föreningar. 1966 överlät Folkminnesförbundet anläggningen till Ålands landskapsregering och dåvarande museibyrån.
Museet består idag av över tjugo byggnader, ditflyttade från olika delar av Åland. Tillsammans ger de en bra bild av hur en åländsk bondgård under senare delen av 1800-talet såg ut. Sedan 1940-talet är det tradition att varje år resa en midsommarstång på Jan Karlsgården.
Museet kan besökas året runt, men byggnaderna är öppna för besökare endast under sommaren.