Naast de pastorie, op Markt 25, wonen de ongehuwde dochters van de dominee die voorafgaand aan Theodorus van Gogh in Zundert actief was, Elisabeth Petronella en Louisa Christina van der Burg. Vincent koestert warme gevoelens voor hen en noemt ze ‘tantes’. In zijn correspondentie met Theo schrijft hij geregeld over ze: 'Hierbij stuur ik U een brief van de Tantes te Zundert. Gij weet dat Tante Bet zich zoo bezeerd heeft, ik schreef hen dat Gij en ik zoo mogelijk met kersmis eens naar Zundert zouden komen wandelen. [...] schrijf eens spoedig hoe het gaat en stuur dan den brief van de Tantes terug, die arme Tante Bet, wat zijn wij toch oude vrienden. O dat Zundert, de gedachte daaraan is soms bijna al te sterk.'
De oudste vermelding van het perceel Markt 25 dateert van het eerste kwart van de 17e eeuw. Prof. Henri van der Hoeven verwijst in zijn beschrijving van de geschiedenis van Zundert naar een document uit 1622 waarin het huis ‘Hertgang’ (het latere geboortehuis van Van Gogh, vanaf 1615 in gebruik als Nederlands Hervormde Kerk en pastorie) wordt beschreven, met daarbij de eigenaren van de belendende percelen. Oost (Markt 25) is eigendom van ‘gemeentemeester’ Cornelis Frans van den Bolck, West (Markt 27) is eigendom van ‘vorster’ Paulus Corneliszn van Lanschot (voorouder van het bekende bankiersgeslacht). Terwijl het bezit van Van Lanschot wordt omschreven als ‘huisinge en erve’, wordt het bezit van Van den Bolck slechts omschreven als ‘erve’. Dit duidt erop dat het perceel in 1622 nog onbebouwd is.
Eind achttiende eeuw staat er wel een pand, dat is te zien in een schetsboek van topografisch tekenaar Dirk Verrijk, gedateerd 1777. Deze schets heeft als basis gediend voor de eerdergenoemde aquarel. In 1791 verschijnt een gravure van Karel Frederik Bendorp naar een tekening van Jan Bulthuis, waarop het pand ook zichtbaar is. Qua bouwstijl komt het overeen met het pand van Van Lanschot uit het begin van de zeventiende eeuw. In 1799 legateert de toenmalige eigenaresse Johanna Braat haar bezit aan de Rooms-Katholieke Kerk. Na enkele decennia als pastorie in gebruik te zijn geweest, ruilt de kerk het perceel met de gebroeders Willem en Johannes Passtoors tegen de huidige rooms-katholieke pastorie (Molenstraat 9). Johannes Passtoors vestigt er een leerlooierij, later een wijnhandel. Eerst bewoont Passtoors het hele huis, maar in 1860 splitst hij het in twee woningen. Zelf blijft hij wonen aan de kant van het huidige Van Goghplein. Aan de kant van de familie Van Gogh komen de gezusters Van der Burg te wonen. Zij ontpoppen zich tot ‘peettantes’ van de kinderen.
Ondanks protesten is het huis van de ‘tantes’ in 2020 gesloopt om plaats te maken voor appartementen. De oude zijmuur aan de zijde van Vincents geboortehuis is behouden gebleven als herkenningspunt voor de geboorteplek van de wereldberoemde kunstenaar. De voorgevel van de nieuwbouw is gereconstrueerd naar de negentiende-eeuwse situatie.
