Helt siden år 1767 har gjestfriheten sittet i høysetet på Refsnes Gods og stedet har vært i sentrum for selskapelighet i distriktet. Stedets vakre beliggenhet på Jeløys vestside mot Oslofjorden, og det praktfulle utsyn, har nok gjort meget til at Refsnes Gods er blitt vist så stor interesse opp gjennom årene. Særlig har vel landskapet og den særegne vegetasjonen lokket til seg mange, også store kunstnere som Edvard Munch, Peder Balke, Hans Gude og flere.
David Chrystie var en av byens store forretningsmenn. Han drev en betydelig trelastforretning og annen form for næringsvirksomhet, og ble etter hvert en meget aktet og avholdt mann i Moss. Blant annet bidro han med rikelig støtte da Universitetet og senere også Norges Bank skulle opprettes. Refsnes ble nok Chrysties yndlingsoppholdssted, og det er overveiende sannsynlig at det var ham som satte patrisierpreget på bygningene og landskapet.
Man vet ikke med sikkerhet hvordan bebyggelsen så ut på Refsnes den gang Chrystie kjøpte gården. Hovedbygningens byggeår har vært nevnt som både 1764 og 1767. Den berømte lindealléen foran huset ble sannsynligvis plantet på Chrysties tid, og det var ham som ga anlegget sitt parkmessige preg. Han og hans frue førte et meget gjestfritt hus. Selskapslivet blomstret, og mange har skrevet dagboksnotater etter vellykkede selskaper på Refsnes. Selv i de vanskelige årene etter 1814 ble det fortsatt holdt lystige sammenkomster her, og ofte var det folksomt. Ett dagboksnotat forteller eksempelvis om et maskeradeball arrangert for hele 300 gjester.
I 1970-årene ble det igjen fart i utviklingen på Refsnes Gods. Familien Christiansen, med den anerkjente restauratøren Preben Bjørn Christiansen, og senere Dora og Bjørn ”Sonny” Christiansen, utviklet den gamle lystgården til et ledende hotell, kjent for sitt renommé. I 1998 overtok familien Salbuvik Refsnes Gods, og hotellet eies og drives i dag av Classic Norway Hotels.
Mange kjente personer gjestet ekteparet Chrystie på Refsnes. Henrik Wergelands søster Camilla besøkte stedet i 1831, og hennes opptegnelser bærer preg av beundring for både stedet og gjestfriheten hun møtte.
David Chrystie døde i 1835, og hans enke overtok Refsnes Gods. Etter rundt 50 år i familien Chrysties eie, ble stedet solgt til Jens Kristiansen i 1844. I 1855 overtok Konsul Lorentz Meyer, og med ham begynte en ny glanstid for Refsnes. Konsulen elsket stedet, spesielt de gamle trærne og den rike vegetasjonen, og han førte tradisjonen med åpent hus videre.
Etter Meyers død gikk godset til hans datter Sophie, gift med politilege Haakon Boeck. Boeck-slekten satte også sitt preg på stedet, med fokus på gjestfrihet, friluftsliv og selskapsliv. Mange kjente personer besøkte Refsnes Gods på denne tiden – blant annet Hans Gude og gjennom ham, indirekte, Henrik Ibsen, som i et brev takket for invitasjonen til stedet.
Kong Oscar II besøkte godset i 1898, og gjennom generasjonene har Refsnes blitt kjent for sin vakre park, store trær og levende selskapelighet.
Fru Sophie Boeck brukte godset som sommersted i mange år etter sin manns død. Hennes sønn Lorentz Meyer Boeck førte tradisjonen videre, og gjennom alle eierskifter har Refsnes Gods historie vært nært knyttet til gjestfrihet, kunst og natur ved Oslofjorden.