De familie De Jonge van Zwijnsbergen besluit bouwgrond aan de overzijde van Mariënhof aan de familie Van Gogh te verkopen voor 350 gulden. Joan de Jonge en Theodorus realiseren de koop op 28 september 1874 te kasteel Zwijnsbergen. Daarbij is overigens ook Hendrik Verzijl als getuige aanwezig. De dominee vraagt de gemeente om toestemming voor het dempen van een sloot, zodat er een huis gebouwd kan worden. Het perceel aan de Keiweg is bedoeld om een huis te bouwen voor drie zussen van de dominee. Zij hebben zorggedragen voor hun vader, grootvader Vincent van Gogh, in Breda en na diens overlijden wordt afgesproken dat de opbrengst van de verkoop van zijn huis in de Visserstraat aan hen toekomt. Zij kiezen ervoor een woning in Helvoirt te laten bouwen.
Hoewel het huis nog niet gereed is, komen Dorothea Maria (‘Doortje', 1815-1882) en Johanna Wilhelmina (‘Antje', 1812-1883) op 16 april 1875 naar Helvoirt. Maria Johanna (‘Mietje', 1831-1911) sluit niet veel later aan. Vincent zal de bouwplaats in de winter van 1874, wanneer hij een avondwandeling maakt over de Rijksweg, waarschijnlijk hebben aanschouwd. Theodorus blijft betrokken bij het huis, op 29 april 1875 schrijft hij: ’Van 5 tot 12 ben ik bezig geweest met de tuin van de Tantes te beplanten en aan te kleden. Hij ziet er nu goed uit, maar ik ben moe'. Op 20 juli 1875 betrekken de drie zussen het huis.
De tantes geven in Helvoirt godsdienstlessen aan kinderen van de protestantse gemeente. Daarbij zouden zij ijverige kinderen belonen met een plaatje. Het verhaal gaat dat tekeningen van Vincent gebruikt zouden zijn. De authenticiteit van de jeugdtekeningen die aan dit verhaal zijn verbonden, is echter twijfelachtig.
