Ya en el centro del pueblo, encontramos una peña natural de forma rectangular, alrededor de la cual se disponen todas las casas del pueblo. En la Edad Media se erguía sobre él, el castillo de Albero Alto. A los pies del castillo, se encontraba la ermita de San Miguel, en la cual se realizaba la pública veneración de unas reliquias con su certificado de autenticidad. Este castillo fue el protagonista del asedio realizado a Albero Alto por parte de las tropas de Jaime I durante el siglo XVIII. En este asedio se utilizó una máquina de guerra que solo poseía el rey, llamada “el fonebol”, y que según cuentan los cronistas, disparaba “500 piedras de noche, y 1000 de día”. Este arma provocó un boquete en la muralla, y pudo continuar el asedio. Hasta entonces esta fortaleza se consideraba inexpugnable, por su inaccesibilidad y por las tropas que lo guardaban.

De esta fortificación sólo quedó en pie un torreón, sobre el cual a finales del siglo XVIII se construyó la torre de la iglesia. Las grandes piedras que formaban este castillo fueron utilizadas posteriormente para la construcción de la iglesia e incluso para la fachada de alguna casa. Hasta hace unas pocas décadas todavía se conservaba parte de esta muralla, que servía de apoyo para alguna casa. En la actualidad, sobre la peña en que se encontraba el castillo, existe un parque recreativo, con una vista privilegiada de la Hoya de Huesca y la Sierra de Guara, que en días despejados permite ver incluso las cimas pirenaicas.