Omstreeks 1760 werd het kasteel door het echtpaar Van Nagell-le Leu de Wilhem ingrijpend verbouwd. Het was toen een L-vormig gebouw met een traptoren in de hoek. Die toren verdween en een zandstenen ingangspartij, bekroond met de wapens van het echtpaar werd aangebracht. Aan de rechter verrees een vleugel, zodat een U-vorm ontstond. De gracht om het huis werd gedempt. Het torentje aan de rechterzijde, een copie van de oude traptoren, werd eerst in 1935 gebouwd.
Via de graven Van Lynden van Sandenburg vererfde Ampsen op de huidige eigenaar Jonkheer Mr. Rudolph Everhard Willem van Weede