De toren op Landgoed Te Werve heeft een historie, die terug gaat tot de Middeleeuwen. De huidige duiventoren dateert uit de 15e eeuw, mogelijk uit 1448. In 1590 is hij verbouwd tot duicentoren in Renaissance-stijl. Het recht om duiven te houden was in die tijd voorbehouden aan de adel en de geestelijkheid. De duiventoren en enkele stukken van de muren zijn de enige elementen die nog uit de middeleeuwen dateren. De geschiedenis van huis Te Werve gaat terug tot ca. 1280: Herbaren van Foreest (1241-1287) was heer van Te Werve. De oudst bekende bewoner was ene Didderic van den Werve (1285-1296). In 1448 kocht Ridder Jan Ruychrok, tresorier van Jacoba van Beieren, het huis van Herbaren van de Werve. Naast het kasteel was een omgracht terrein, met bijgebouwen en twee verdedigingstorens. Verondersteld wordt dat de duiventoren één van deze torens was.
Uit archeologisch onderzoek blijkt hoe oud de toren is. De fundatie bestaat uit zogenaamde ‘Rijswijkers’, bakstenen, die tot ca. 1500 in een steenbakkerij in Rijswijk werden gebakken. De verdedigingstoren moet dus van vóór 1500 dateren. Opmerkelijk is altijd geweest dat het onderste gedeelte van de muren, tot ca. 1,70 meter boven het maaiveld, een muurdikte heeft van 43 cm en daarboven 21 cm. Het gebouwtje is niet altijd duiventoren is geweest. Je bouwt geen duiventoren met een wanddikte van bijna een halve meter. In de noordoost muur bevindt een zandstenen gevelsteen met het jaartal 1590. De vraag is of er verband kan zijn met het ontzet van Leiden.
Tijdens de gevechten rond Leiden is er ook in en om Rijswijk lange tijd bijna dagelijks gevochten, waarbij er heel veel vernield is. Er werden ook veel molens en torens vernield. De molens waren door hun bouw uitstekende uitkijkposten voor de Spaanse soldaten, waarmee ze de het hele zompige land onder controle konden houden. Pas in 1576 lieten de Spaanse troepen Holland voor wat het was en keerden niet meer terug. Toen werd de toren weer opgebouwd.
In 1590 is de toren een duiventoren is geworden en van ramen en een dak voorzien. De ouderdom van de stenen die gebruikt zijn als vulling bij het inmetselen van de ramen wijzen ook in die richting.
Oorspronkelijk was het houden van duiven een privilége, het recht van duivenslag en was met het bezit van een ridderhofstede verbonden. Dit recht werd in 1798 afgeschaft maar met de grondwet van 1814 werd het weer hersteld. Het recht van duinvenslag is pas in 1954 afgeschaft.
