En el interior del castillo se alza un templo en honor de la Virgen, la cual tomó la advocación del Castillo por el lugar en que está situada. Probablemente esta iglesia, que se levanta durante los años del Medievo, fuera la primera parroquia de esta localidad. El abandono de la fortaleza y la construcción de un nuevo templo fuera del Castillo, hizo que esta iglesia quedara reducida a ermita.
En el siglo XVIII la ermita sufrió una fuerte intervención que le dio su impronta popular barroca. En 1952, a causa de los daños sufridos por el terremoto del 19 de mayo de 1951, fue renovada por el pueblo de Carcabuey. La portada está situada en el lado derecho de la iglesia, es muy sencilla, está formada por un arco de medio punto de ladrillo, enmarcado por pilastras y entablamento coronado por pequeños pinjantes. Sobre el brazo derecho del crucero se alza la sencilla espadaña de un sólo vano.
El interior es una planta de cruz latina, formada por un cuerpo de dos tramos cubierto con bóveda de cañón con lunetos, crucero con bóveda semiesférica sobre pechinas y brazos del crucero ya cabecera, con bóveda de cañón con lunetos. La decoración a base de rocalla, se concentra en el crucero, con fajas radiales y lunetos en los cuatro paños con ventanas.
