La recesión demográfica, debida a las epidemias que asolaron Castilla en el siglo XVI, y su consecuente empobrecimiento de la población, se paliaron en Robledo con el aprovechamiento forestal y la cantería para la construcción del monasterio.

Los terrenos, pertenecientes a Robledo por aquella época, eran mucho más extensos que los actuales. Felipe II ordenó construir el Monasterio de San Lorenzo de El Escorial hacia 1563 y, como algunos dicen, el Escorial se construyó en Robledo de Chavela. Eligió el monarca este entorno por ser un paraje de singular belleza y para cumplir los deseos de su padre, Carlos V, de construir un Panteón Real que representara el espíritu de su imperio y la grandeza de la dinastía austriaca.

En principio, Felipe II había elegido para la ubicación de su monasterio el término de Zarzalejo que, por aquel entonces, formaba parte de los Estados de Robledo. De aquella época proviene la denominación de caribes para los habitantes de Zarzalejo de arriba. Según cuenta la tradición, los vecinos se opusieron duramente a la construcción del Monasterio en su término y, ante su actitud, Felipe II afirmó que eran "más indómitos que los indios caribes".

La existencia de agua, buena piedra berroqueña y pinares en los alrededores proporcionarían los elementos básicos para la construcción de tan espléndido monumento, de ahí que el monarca iniciase un proceso de adquisición de tierras que sirvieron para ubicarlo y para el mantenimiento del Monasterio y de la comunidad jerónima que en aquellos tiempos lo administró.

Estos terrenos, que incluían extensiones como la Herrería, la Fresneda, Campillo y el actual Valle de los Caídos, configuraron un entorno privilegiado que combinaba su tradicional dedicación agrosilvopastoril con otras actividades de ocio y esparcimiento, como el paseo, la caza o la hípica, realizadas por los sucesivos monarcas que lo habitaron. El Torreón de Fuente Lámparas se construyó precisamente para que la Corte lo usara como puesto de vigía o refugio palaciego.

Todos los terrenos y fincas anteriormente nombrados eran de Robledo de Chavela, hasta que Felipe II otorgó a El Escorial el reconocimiento de Villa y, por tanto, su independencia de Robledo.

Felipe II visitó la Ermita de Navahonda en más de una ocasión. Esta ermita, dela que se desconoce su fecha de construcción, se erigió sobre otra que ya pagaba tributos al Monasterio de San Lorenzo de El Escorial.