Het gezin Van Gogh betrekt op 31 januari 1871 de statige domineeswoning schuin tegenover de protestantse kerk. Het betreft een ‘vrije woning met tuin en een stukje grond tot verbouwing van aardappelen’. Vincent woont niet meer thuis en zijn zus Anna verlaat ook voor langere tijd het ouderlijk nest, de andere kinderen wonen grotendeels bij hun ouders. Theo gaat aanvankelijk naar school in Oisterwijk, terwijl Wil, Lies en Cor thuis les krijgen van een gouvernante. Als Theo in Brussel werkt en Vincent verneemt dat hij in Helvoirt logeert, verlangt Vincent ernaar met zijn allen thuis te zijn.
Vincent heeft zelf nooit in Helvoirt gewoond, maar hij reist met feestdagen en tijdens zijn vakantie af naar zijn ouders. Dankzij brieven van Vincent en zijn familie is bekend dat hij meermaals ‘thuis’ verblijft. Meestal logeert hij er een paar dagen, soms langer. Na kerst 1872 bij zijn ouders te hebben gevierd, schrijft hij in maart 1873: ‘Als ik maar eenigzins kan, ga ik met Paschen naar Helvoirt’ .
Een maand na Pasen keert hij terug naar het dorp, om gedag te zeggen voordat hij doorgaat naar zijn nieuwe werkgever in Londen. Dat jaar lukt het Vincent wegens drukte op de zaak niet om met Kerstmis naar huis te gaan. In 1874 krijgt hij langer verlof; hij verblijft dan van 27 juni tot 14 juli in Helvoirt, en ook met Kerstmis logeert hij in de pastorie.
De rechthoekige woning met zadeldak is witgepleisterd en heeft een diepe tuin met een moestuin en fruitbomen. Bij binnenkomst bevindt zich links de zitkamer en daarachter de eetkamer. Rechts van de middengang is de studeerkamer van Theodorus. Het huis aan de Kerkstraat, later Torenstraat, heeft een achttiende-eeuws uiterlijk. De woning is echter al in 1657 gebouwd, door het hoofd van de katholieke Sint-Gertrudis abdij in Leuven. Zij is dan ook eigenaar van de oude kerk en bezit kerkelijke goederen. De protestanten onderhandelen dat de abdij deze goederen na de Tachtigjarige Oorlog mag houden in ruil voor een woning en salaris van een predikant. Tot 1954 blijft het een predikantswoning. Het pand wordt enkele keren gerestaureerd, rond 1979 en 1988 is het grondig aangepakt.
Wanneer Vincent in Helvoirt verblijft, is hij nog geen kunstenaar, maar hij tekent al wel. In de zomerweken van 1874 is hij behoorlijk productief, na terugkeer in Londen schrijft hij: ‘Mijn teekenlust heeft hier in Engeland weer opgehouden, maar misschien krijg ik den een of anderen dag weer een bui’. Hij kiest voor onderwerpen in zijn directe omgeving, ook de pastorie wordt op papier vastgelegd. Zijn moeder schrijft aan Theo: ‘Vincent heeft nog vrij wat geteekent. Voor Lies, het slaapkamerraam, en een stukje van de voordeur, dus dat gedeelte van het huis – hij stond opzij van Jans haar huisje, ’t is lief uitgevallen.'
