Le premier seigneur de Cardesse fut Fortaner de Lescun, 
seigneurd’Esgoarrabaque, vers 1333.
De nombreuses familles se sont succédé ensuite :
- les Esgoarrabaque
- les seigneurs fuxéens de Mignos puis de Castelbon au XIVè siècle
- la maison de Béarn au XVè siècle
- les maisons de Méritein puis de Sainte-Colomme au XVIè siècle
En 1566, après la défaite des catholiques, dans les rangs desquels s’était rangé Jacques de Sainte-Colomme, les domaines d’Esgoarrabaque et de Cardesse furent saisis sur ordre de Jeanne d’Albret.
La seigneurie de Cardesse fut ensuite rachetée par
- Arnaud de Faurie, trésorier de Béarn, jurat de Monein et protestant (1570-1597)
- Pierre de Lostal, fils d’un marchand d’Oloron, seigneur également de Saint-Dos et Buziet, conseiller d’Etat du roi, procureur général, puis vice-chancelier de Navarre (1597-1604)
- Gaillard de Lane, notable moneinchon et trésorier de Béarn, puis sa fille Marguerite (1604-1640)
- la famille oloronaise des Lassalle qui entra ainsi aux Etats de Béarn (1640-1710)
- les Péborde, marchands oloronais qui accédèrent ainsi à la noblesse (1710-1790)
En 1790, Marie-Anne de Péborde épousa à Cardesse Pierre-Clément baron de Laussat, futur commissaire de Napoléon Ier lors de la vente de la Louisiane aux États-Unis, puis préfet colonial de Martinique et préfet maritime d’Anvers, enfin gouverneur de Guyane pendant la Restauration.
Après la Révolution, plus de seigneur…. Les Laussat puis les Frachon (XlXè-début XXè siècle), enfin les Darcet au XXè siècle héritèrent du château.
En 1480, Marguerite de Béarn et Jean de Méritein dame et seigneur d’Esgoarrabaque et de Cardesse achetèrent à Arnaud d’Arimpné la maison et les terres appelées « d’Arimpné » pour en faire leur demeure à Cardesse. Jusqu’à cette date en effet, il n’existait pas de demeure seigneuriale.
La façade de l’actuelle bâtisse, du XIXè siècle, est alignée sur l’ancien mur méridional de l’église (avant que ne soit construit le collatéral sud à la fin du XIXè siècle). En 1793, d’après l’inventaire de saisie de leurs biens, la bibliothèque des Péborde comptait 548 volumes.