De familie Van Gogh woonde hier van 1882 tot 1886, toen moeder naar Breda verhuisde. Vincent van december 1883 tot mei 1884. De pastorie werd in 1764 gebouwd door de burgerlijke gemeente, die toen nog verplicht was om voor de huisvesting van de hervormde predikant te zorgen. De vader van Vincent van Gogh, Theodorus van Gogh, was predikant in de gemeente.
Vincent had zijn eerste atelier in Nuenen in het washok achter de pastorie. Zijn ouders plaatsen er een kachel, houten voetenbank en ledikant in en laten het geheel ‘verder wat opflikken’ om het behaaglijk te maken. Vincent heeft liever niet dat zijn vader een groot raam in de muur laat aanbrengen.
Enkele maanden later informeert Vincent bij Theo naar een vaste financiële toelage: ‘Waarom ik dit weten moet is omdat als ik er op rekenen kan, ik ergens weer een ruimer ateliertje zou nemen dat ik noodig heb om met model te kunnen werken. Dat wat ik tegenwoordig heb heeft de volgende geographische ligging. En mijn verbeeldingskracht is niet sterk genoeg om dit vooruitgang te vinden op den toestand van verleden jaar’. Zijn toegevoegde schetsje met aanduiding van het kolenhok, het toilet, het riool en de mestput moet Theo ervan overtuigen dat het geen florissante werkplek is. Begin mei 1884 besluit hij inderdaad een groter atelier te huren bij de katholieke koster Johannes Schafrat en zijn vrouw. Een jaar later zou hij, nadat zijn vader inmiddels is overleden en frictie ontstaat met zijn zus Anna, de pastorie verlaten om in dat atelier gaan wonen.
Het woonhuis stamt uit 1764, zo valt nog altijd te lezen op de muurankers op de voorgevel. Rechts naast de woning heeft de voorganger van Theodorus, dominee Begemann, in 1840 een koetshuis laten bouwen. Voordat het gezin zijn nieuwe huis betrekt, moet het flink worden opgeknapt. Zowel voor als na de bewoning door de Van Goghs is de pastorie aanzienlijk gerestaureerd. De pleisterachtige cementlaag wordt bij een restauratie in 1957 verwijderd. Deze laag en ook het koetshuis zijn zichtbaar op het schilderij De pastorie te Nuenen uit het najaar van 1885. Vincent tekent en schildert zowel de voor- als achterzijde van de pastorie, ook nadat hij het huis heeft verlaten. Aangezien dit schilderij en de gelijknamige tekening in handen van respectievelijk Theo en Willemien zijn gekomen, kunnen ze bedoeld zijn als souvenir aan het ouderlijk huis.
De diepe achtertuin vormt een geliefde plek voor Vincent. Het is een prachtige tuin met een gazon, bloemen, fruitbomen, en achterin een moestuin en een grote vijver met vlonder. Vincent legt de tuin veelvuldig vast, vanuit verschillende hoeken en in diverse jaargetijden. De eerste tekeningen ontstaan al in zijn aankomstmaand. In maart 1884 maakt hij een reeks ambitieuze pentekeningen, waaronder van de tuin in wintersfeer. Dan tekent hij ook het pad ‘achter de heggen’, dat achter de tuin ligt. In de aquarel De tuin van de pastorie te Nuenen transformeert hij de achtertuin tot een openbaar park, waarbij hij niet alleen figuren in de voorstelling plaatst, maar ook de inmiddels afgebroken Oude toren. Tegenwoordig is de tuin minder rijk begroeid, maar in grote lijnen hetzelfde gebleven; de vijver is in recentelijk hersteld.
Ook nu nog is de pastorie een woonhuis. Enkele keren per jaar is het mogelijk het atelier van Vincent en de tuin te bezoeken.
