Vincent van Gogh werd in 1864 als elfjarig jongetje door zijn ouders naar de kostschool van Jan Provily in Zevenbergen gestuurd. Zijn moeder vond de omgang met de kinderen op de lagere school in Zundert te ruw. Het pand aan de Zandweg in Zevenbergen was in opdracht van Jan Provily gebouwd. Er werd onderwijs gegeven aan een kleine groep leerlingen afkomstig uit gegoede Nederlands Hervormde families uit de omgeving. Toen Vincent op de kostschool zat, waren er slechts 18 andere leerlingen. Vincent, de jongste op school, vond zijn verblijf in Zevenbergen 'onzinnig'. In 1876 schreef hij aan zijn broer Theo de volgende herinnering aan het moment dat zijn vader hem met de koets wegbracht naar de kostschool:
“Het was een herfstdag en ik stond op de stoep van de school van den Heer Provily het rijtuig waarin Pa en Moe naar huis reden na te kijken. Dat geele karretje zag men in de verte op den langen weg, nat na den regen, met dunne boomen aan weerskanten, die door de weilanden heenloopt. De grijze lucht boven alles, spiegelde in de plassen.”
Vincent verliet de kostschool al in augustus 1866. Waarom precies is niet bekend. Hij ging aansluitend naar de Rijks HBS in Tilburg. Provily overleed in 1875. Zijn graf ligt op het kerkhof van Zevenbergen tegenover de watertoren.