De vele thuiswevers die Nuenen in de jaren tachtig van de negentiende eeuw rijk is, hebben al snel Vincents interesse. Zijn fascinatie wordt makkelijk gevoed: maar liefst een derde van de mannelijke inwoners is wever van beroep. Vrouwen helpen daarbij met spinnen of garen winden. ‘Mijn hoofd staat niet naar schrijven en ik heb er weinig tijd voor wegens als ik niet bij Moe ben ik hier vlak in de buurt bij een wever zit, waar ik 2 geschilderde studies van onder handen heb’, schrijft hij Theo in januari 1884.
De wevers in Nuenen voeren hun werk thuis uit; het weefgetouw bevindt zich in huis of in een schuur op een lemen vloer. De kleine ruimtes zitten Vincent in de weg: ‘Deze lui zijn lastig te teekenen omdat men in de kleine vertrekken zijn afstand niet kan nemen om ’t getouw te teekenen […] Ik heb hier echter een vertrek gevonden waar twee getouwen staan & waar het te doen is’. De wevers leiden een bar bestaan. In de eerste helft van 1884 wijdt Vincent een kleine dertig schilderijen en tekeningen aan de handwerkers. Ook hun werktuigen vormen een motief: ‘Ik ben ook aan ’t schilderen van een weefgetouw – van oud groenachtig bruin geworden eikenhout – waarin ’t jaartal 1730 staat gesneden. Bij dat getouw, aan een raampje waardoor men een groen veldje ziet, staat een kinderstoel en het kleine kind zit daarin uren lang te kijken naar het heen en weer schieten van den weversspoel’. Hoewel hij de binnenruimtes veelal zonder details weergeeft, krijgt het in enkele werken meer aandacht. De woningen zijn veelal lastig te identificeren.
Vincent heeft contact met meerdere wevers die model voor hem staan, waaronder Toon Swinkels, Peter Smulders en Pieter Dekkers. Swinkels woont in een bouwvallig huis aan de Berg en Vincent zou drie maanden lang hebben geschilderd in de weverij van zijn vader. Dekkers, wiens zoon Driek vogelnestjes voor Vincent verzamelt, woont net buiten het dorp aan De Rijt 2; beide huizen zijn in de loop der tijd afgebroken.
Van de talloze Nuenense wevershuizen zijn slechts enkele bewaard gebleven. Eén bevindt zich in het centrum aan de huidige Berg, op steenworp afstand van de pastorie. Hoewel niet te staven met bewijs, is het aannemelijk dat Vincent het huisje niet alleen van buiten, maar ook van binnen kent. Het pand wordt vermoedelijk in 1763 als wevershuis gebouwd. Na diverse eigenaren koopt wever Willem van der Burg de woning in 1869, waarna het een eeuwlang in familiebezit blijft. Willems dochter is koster van de hervormde gemeente en woont er tot 1967.
Na een renovatie in 2017 doet het dienst als overnachtingsplek onder de naam ‘Het kostershuisje'. Dit gebouw kan als pars pro toto dienen voor de vele wevershuizen die Vincent bezoekt.