Sus obras comenzaron en el año 1475 sobre una ermita románico-mudéjar y actualmente es uno de los castillos mejor conservados de España.
Es propiedad de el Ducado del Infantado aunque su administración y uso corresponde a al Comunidad de Madrid, esta construido enteramente en piedra de granito de las canteras de la Pedriza de Madrid , tiene cuatro torres, tres circulares y la del homenaje, todo el castillo esta circundado por una barbacana cuyas saeteras llevan esculpidas en bajo relieve la Cruz del Santo Sepulcro de Jerusalén.
Fue declarado en 1931 monumento histórico artístico y en 1982 albergo el acto de firma de el estatuto de autonomia de la Comunidad de Madrid
