Herberg van Ouds ’t Nest is van oorsprong een boerderij van vóór 1702. De periode dat Rijswijk zo’n 50 buitenplaatsen kende. De meeste huizen lagen aan de Zandweg, nu de Van Vredenburchweg. Zoals Huis ter Nieuwburg van stadhouder Frederik Hendrik. Maar ook Overvoorde, Nieuwvoorde. Op 26 september 1867 werd het een, dat ‘Het Hoorentorennest’ heette. Horentoren was vroeger een woord voor ‘wesp’, dus de oorspronkelijke naam was ‘wespennest’ – in de volksmond afgekort tot ’t Nest.
Als je goed kijkt, kun je nog zien dat het vroeger een boerderij was. In de gevel langs de Van Vredenburchweg zit namelijk een raam dat iets hoger is, dus daar moet een opkamer zijn geweest. Achter de boerderij stond een oude stal, maar die is twintig jaar geleden gesloopt, evenals een bakstenen achttiende- eeuwse schuur.
