Helt siden år 1767 har gjestfriheten sittet i høysetet på Refsnes Gods og stedet har vært i sentrum for selskapelighet i distriktet. Stedets vakre beliggenhet på Jeløys vestside mot Oslofjorden, og det praktfulle utsyn, har nok gjort meget til at Refsnes Gods er blitt vist så stor interesse opp gjennom årene. Særlig har vel landskapet og den særegne vegetasjonen lokket til seg mange, også store kunstnere som Edward Munch, Peder Balke, Hans Gude og mange flere.
David Chrystie var en av byens store forretningsmenn. Han drev en betydelig trelastforretning og annen form for næringsvirksomhet, og ble etter hvert en meget aktet og avholdt mann i Moss. Blant annet bidro han med rikelige støtte da Universitetet og senere også Norges Bank skulle opprettes. Refsnes ble nok Chrysties yndlings- oppholdssted, og det er overveiende sannsynlig at det var ham som satte patrisierpreget på bygningene og det omkringliggende landskapet.
Man vet ikke med sikkerhet hvorledes bebyggelsen så ut på Refsnes den gang Chrystie kjøpte gården. Hovedbygningens byggeår har dels vært nevnt som 1764 og dels som 1767. Den berømte lindeallèen foran huset ble sannsynligvis plantet på Chrysties tid, og det var ham som ga anlegget det parkmessige utseendet. Han og hans frue førte et meget gjestfritt hus. Selskapslivet blomstret, og mange er de som har gjort sine dagboksnotater etter vellykkede selskaper hos Chrystie på Refsnes. Selv i de vanskelige årene etter 1814 muntert man seg fortsatt i “lystgården” som Refsnes ble kalt på den tid. Ofte har det vært folksomt her. Et dagboksnotat fra den tiden forteller eksempelvis om et maskeradeball som ble arrangert for hele 300 gjester.
I 1970-årene ble det igjen fart i utviklingen på Refsnes Gods. Familien Christiansen med den anerkjente restauratøren Preben Bjørn Christiansen, og senere Dora og Bjørn ”Sonny” Christiansen i spissen, utviklet den gamle ”lystgård” til et ledende hotell med det renomè stedet i dag nyter i markedet. I 1998 overtok familien Salbuvik Refsnes Gods. Hotellet eies og drives i dag av Classic Norway Hotels.
Mange av tidens kjente personer gjestet fra tid til annen ekteparet Chrystie på Refsnes. Henrik Wergelands søster, Camilla, var der på besøk i 1831 sammen med sine foreldre. Hun var den gang 21 år og besøket på Refsnes har tydelig gjort inntrykk på den eldre Camilla. I sine opptegnelser nevner hun “det deilige Refsnes” og mange år senere minnes hun at “denne rige og smukt inrettede familie hadde opbudt alt for å gjøre os dette besøk fornøjieligt og behageligt”.
David Chrystie døde i 1835 og hans enke overtok Refsnes Gods. De hadde ingen barn, og allerede i 1844 solgte hun stedet til en mann ved navn Jens Kristiansen. Dermed var en stor epoke i Refsnes historie avsluttet. Refsnes hadde vært i ekteparet Chrysties eie i omkring 50 år. I 1855 overtok Konsul Lorentz Meyer fra Christiania gården, og med ham begynte også en ny glanstid for Refsnes. Konsul Meyer kom til å elske Refsnes. Han tilbragte hver eneste sommer her sammen med sin familie og venner helt frem til sin død i 1888. Konsulen var kjent for å være særlig begeistret for gamle trær, og den rike løvtregenerasjonen på Refsnes har nok tiltrukket han i særlig grad.
Som sine forgjengere førte Konsul Meyer åpent hus for slekt og venner i sommermånedene, med stor selskapelighet.
Konsul Meyer døde i 1888, hans frue i 1890 og Refsnes Gods gikk nå over til datteren Sophie, som var gift med politilege Haakon Boeck, fra Christiania. Doktor Boeck hørte til en slekt, som i høy grad preget norsk vitenskap i forrige århundre, og han hadde selv i sin ungdom vunnet den Skjelderupske gullmedalje. Han var en mann med stort hjertelag, og gjestfri og godtgjørende og avholdt av alle. Hans interesse for jakt og friluftsliv var viden kjent, og han var da også en av initiativtakerne til dannelsen av Norsk Kennelklubb. Det ble ikke foretatt nevneverdige forandringer på bygningen under Doktor Boeck, og sommerlivet fortsatte som i hans svigerfar, Konsul Meyers dager. Mange kjente personer nøt gjestfriheten hos familien Boeck i 1890-årene. Maleren Hans Gude var en av dem som vanket der. Det var vel gjennom ham Doktor Boeck ble kjent med Henrik Ibsen. Dikteren hadde ved flere anledninger gjestet Hans Gude under dennes sommeropphold på Føste. Doktor Boeck ønsket nok å se Henrik Ibsen som sin gjest og sendte ham en innbydelse til å besøke Refsnes Gods. Dette var sommeren 1894 og den store dikter var på det tidspunkt opptatt med å skrive ”Lille Eyolf”. Ibsen fant derfor at han måtte takke nei til innbydelsen. Brevet fra Henrik Ibsen eksisterer fremdeles, og av dette kan man tydelig lese at innbydelsen hadde vært fristende.
Etter å ha forklart vanskelighetene med å avbryte arbeidet med det nye skuespillet, avslutter Ibsen med følgende linjer: ”Skulde imidlertid en letsindighetsraptus komme over mig i hundedagene, da skal jeg ikke forsømme at melde Dem sådant enten gennem telegram eller brev. Men i ethvert fald frembører jeg herved min hjerteligste tak og mange hilsener til Dem og Deres ærede Frue. Deres hengivne og forbundne Henrik Ibsen“.
Henrik Ibsens besøk ble det ikke noe av, men mange andre kjente personer var å se som sommergjester hos Doktor Boeck og frue disse årene. Den 4. august 1898 kom selveste Kong Oscar den annen på besøk til Refsnes Gods, hvor det ble arrangert stor middag til kongens ære. Kong Oscar hadde tidligere på dagen blant annet åpnet det nye Orkerød barnehjem, og skulle også overvære årets landsregatta.
Refsnes var nå en av de vakreste perler på Jeløy, med store skjønne trær i praktfulle allèer, en velpleiet have og mer frittvoksende naturpark som dannet rammen om det staselige hovedhuset.
Fru Sophie Boeck benyttet Godset som sommeroppholdssted i mange år etter sin manns død i 1898. Da hun gikk bort i 1917, overtok hennes eneste sønn Lorentz Meyer Boeck. Om somrene fortsatte Refsnes å være sentrum for selskapeligheten i området helt frem til godseierens død i 1935.