Ce que l'on désigne comme le quartier du château était sans doute le premier centre de vie du village, à proximité du gave de Pau. Sur le dernier coteau prés de Vielleségure, passait la route ancienne, allant d'Orthez à Oloron. Certains points en hauteur de la colline, "la Casterasse", le turon de "Moncaubeig", seront aussi des endroits de refuge, au début pour les bergers. Ensuite des maisons vont se construire en bordure de route, car la construction du monastère de Sauvelade, sera un gage de sécurité.
Lagor est une terre dépendant directement du Vicomte de Béarn. Au IXème siècle, le village de Lagor était entouré de fortifications. Derrière les murailles, le village était construit autour de la rue principale (actuelle) qui, à l'époque, était fermée par deux pont-levis