Tijdens zijn bezoek aan Nuenen schildert Van Rappard diverse studiekoppen van boeren en arbeiders. Het stimuleert Vincent om zich verder te bekwamen in het figuurschilderen. Om boerenschilder te worden, meent hij flink te moeten oefenen. Hij neemt zich voor om minstens 30 koppen te schilderen. Gedreven als hij is, stelt hij zijn doel bij naar 50 stuks. Uit de periode eind oktober en eind mei zijn 47 kopstudies bewaard gebleven.
Het plan om buiten Nuenen les te nemen in figuurtekenen, laat Vincent voorlopig varen. Een winter lang oefent hij met zijn kopstudies niet alleen in anatomie, maar ook in kleur, penseelvoering en licht-donkereffecten. Sinds het begin van zijn kunstenaarschap hoopt Vincent een schilderij met meerdere figuren te vervaardigen, een complexe opgave. In voorbereiding daarop bestudeert hij ook handen en armen. Begin april 1885 krijgt zijn wens voor een figuurstuk gestalte. Hij kiest voor een voorstelling van ‘boeren rond een schotel aardappels s’avonds’. Hij maakt veel voorstudies en stelt op basis daarvan in het atelier een compositie samen. Voor De aardappeleters maakt hij in april 1885 een grote studie, waar hij een lithografie naar maakt. In april-mei volgt de definitieve versie van het schilderij.
De vele voorstudies maakt hij ter plekke in de boerenwoning. Zoals Vincent eerder beschreef was hij ‘huis aan huis bij de menschen binnengegaan’ waarbij hij ‘nieuwe modellen ontdekt' had. Op een van die expedities zal hij de woning van de familie De Groot-van Rooij zijn binnengestapt. Deze ‘hut’, zoals Vincent de eenvoudige boerenwoningen wel noemt, en haar bewoners vormen het toneel en de figuranten van De aardappeleters. De schilder komt veelvuldig bij het gezin over de vloer. Zij wonen aan de huidige Gerwenseweg 4 aan de noordkant van Nuenen, ten oosten van molen De Roosdonck. De bescheiden 'hut’ bestaat uit drie gekoppelde kleine huizen. Hoewel het schilderij La chaumière, of De hut, in verband is gebracht met de woning van de familie De Groot-van Rooij, lijkt dit niet waarschijnlijk.
In de geschakelde woning van de familie De Groot-van Rooij wonen zeven personen. De weduwe Cornelia de Groot verblijft er met haar kinderen Hendrik, Peter en Gordina (Sien), evenals Cornelia's zus Mieke en broers Francis (Sis) en Anthonius (This). Vincent legt diverse familieleden ook in aparte studies vast.
De boerenwoning is eigendom van Cornelia's vader Anthonie van Rooij en komt in 1873 in bezit van haar man Cornelis de Groot, die tien jaar later overlijdt. Het huis zou eind jaren 1920 worden afgebroken. Journalist Benno Stokvis fotografeerde de binnenkant van de hut voor de sloop, de man op de foto is het laatst levende familielid Gijsbertus, die destijds aan de Beekstraat woonde. De zoon van Gordina, Cornelis de Groot jr., bouwt – gedeeltelijk op de plaats van de afgebroken ouderlijke woning – het huidige onderkomen. In de muur aan de achterkant zouden stenen van het voormalige huis zijn verwerkt. Een onlogische knik in de binnenmuur zou het gevolg zijn van de bouw op de vroegere schouw. Ook delen van het deurkozijn naar de keuken en het raam in de eetkamer zouden stammen van het vorige huis. Tot 1954 hebben nazaten van de familie De Groot er gewoond. Het huis raakte in de Tweede Wereldoorlog beschadigd, waarna het werd hersteld. Het voormalige huis zou volgens nog aanwezige fundamenten groter zijn geweest.
