Net als in Zundert heeft het gezin Van Gogh in Helvoirt contact met een vooraanstaande familie die nauw betrokken is bij de protestantse gemeente. De adellijke familie De Jonge van Zwijnsbergen is op meerdere prominente plekken in het dorp gevestigd en speelt een belangrijke rol binnen het dorpsleven. Tijdens het verblijf van de Van Goghs wonen er drie jonkheren. Joan de Jonge van Zwijnsbergen (1821-1881) woont in kasteel Zwijnsbergen. Hij is als ouderling en kerkvoogd lid van de kerkenraad, waar Theodorus voorzitter van is. Zijn zoon Marinus zal zijn vader opvolgen als kasteelheer en grondeigenaar; zijn andere zoon Gijs wordt succesvol als steenbakker.
De vader van Joan, Marinus de Jonge, koopt het kasteel in 1820 en noemt zichzelf voortaan De Jonge van Zwijnsbergen. Zijn familie zal de voorname buitenplaats tot 1905 in bezit hebben. Het geheel bestaat uit een huis, tuinmanswoning, boerderij met bijgebouwen, park en daarnaast een landgoed [afb. 084]. Sinds de late middeleeuwen groeit Zwijnsbergen van boerenbedrijf uit tot een kasteel in de achttiende eeuw, dat in de daaropvolgende eeuwen nog volop is verbouwd. In 2001 legt een brand het gebouw voor een groot deel in de as, waarna het geheel in oude luister is hersteld.
Tijdens hun Helvoirtse jaren raken de Van Goghs bevriend met de protestantse familie De Jonge van Zwijnsbergen. Zij zouden kerst bij hen op de buitenplaats hebben gevierd en voor wandelingen gebruik mogen maken van het landgoed.
In het kasteel woont in die jaren ook de gepensioneerde hoofdonderwijzer Hendrik Verzijl (1797-1881), die de kinderen van De Jonge lesgeeft. De familie Van Gogh kent deze bewoner ook. In oktober 1872 heeft Verzijl zijn oog laten vallen op een aantal boeken op een veiling in Den Haag. Als inwoner van de hofstad wordt Vincent gevraagd voor hem te gaan bieden. Hij bezoekt het veilinghuis W.P. Van Stockum en doet op 26 oktober Verzijl verslag per brief: ‘Tot mijn leedwezen ben ik geen van de door U opgegeven stukken kunnen machtig worden, daar zij allen hooger zijn gegaan dan de opgegeven prijzen’. Vincent heeft bij de zoon van de boekhandelaar geïnformeerd wie de koper is en belooft Verzijl hem daarover te schrijven. Voor hij afsluit met ‘Uw Dw. [dienstwillige] Dienaar’ vraagt hij hem zijn ‘beleefde groeten aan de familie de Jong te doen’. Met zijn keurige gedrag draagt de domineeszoon bij aan de waarde die het gezin nastreeft om dienstbaar te zijn en aan het bestendigen van een sociale kring. Zowel brieven schrijven als bezoeken brengen acht de familie daarbij belangrijk. Van Gogh vouwt zijn brief op en noteert de afkorting ‘p.c.’ onder de naam en plaats van de ontvanger. ‘par couvert’ betekent dat de brief is ingesloten bij een ander exemplaar, waarschijnlijk aan zijn ouders met het doel dat zij deze brief aan Verzijl zouden overhandigen.
Dat de Van Goghs op goede voet staan met de kasteelbewoners, blijkt ook uit het gegeven dat zij onder de 22 gasten zijn op Theodorus’ verjaardag in februari 1875: ‘de 4 jongste meisjes van het kasteel hadden we op koffij. en 's avonds Mevr en Marius en Margot de Jonge, de Hr Verzijl, ...', schrijft Theodorus aan zijn zoon Theo. Wanneer Joan de Jonge van Zwijnsbergen op 26 augustus 1881 overlijdt, is de familie Van Gogh dan ook aangedaan. Theodorus, die inmiddels in Etten dient, wordt gevraagd zich naar Helvoirt te spoeden. De dominee is bij zijn sterven aanwezig, en vier dagen later ook op de begrafenis. Als in 1885 vader Van Gogh plotseling overlijdt, stelt Theo op zijn beurt Joans zoon en kasteelheer Marinus de Jonge van Zwijnsbergen op de hoogte van de aanstaande begrafenis.
