La ville haute, actuel quartier Sainte-Croix, doit sa naissance au vicomte de Béarn, qui choisit ce lieu pour implanter sa cité. Les fortifications, ont été relevés et pourvus d’éléments défensifs, à la demande du vicomte Gaston Fébus. A proximité, le faubourg Saint-Pierre s’est développé à partir de 1287. Les marchands s’y installèrent rapidement, leurs demeures entourent la place centrale. Une église gothique dédiée à Saint-Pierre y fut construite avant d’être rasée en 1569 et rebâtie au XVIIIème siècle.

Le quartier Sainte Marie s’est développé sans discontinuité du Moyen-Age jusqu’à nos jours. Le bourg médiéval était délimité par des fossés surmontés de palissades en bois et doté de deux portes d’entrée fortifiées dans l’axe de la rue principale. Au XVIIIème siècle, trois évêques issus de la même famille, les Révol, reprennent en main la vie religieuse de leur diocèse en favorisant l’éducation et en mettant en valeur les édifices religieux. Ils firent notamment refaire le palais épiscopal, agrandir la cathédrale et créèrent un séminaire, un orphelinat pour les jeunes filles.

Le quartier Notre-Dame date du XV° siècle. Il doit son origine à l’existence d’un marché à Oloron de grande importance qui se tenait devant l’église Sainte-Croix et autour du château. La place du Marcadet de forme triangulaire regroupe les demeures de notables et de bourgeois aisés ayant fait fortune grâce au commerce. En 1753, sur l’ordre de l’intendant Mégret d’Etigny, la nouvelle route de Pau transforme l’aspect de la place alors qu’en 1869, trois maisons sont démolies pour laisser place à la construction de l’église Notre-Dame.