Le château de Nérac fut dès le XIe siècle possession des seigneurs d'Albret. Ce sont des moines de l'abbaye de Condom qui leur en avaient fait don en échange de leur protection.

Au XVe siècle, le fils d'Alain de Grand d'Albret, Jean d'Albret épousa Catherine de Foix, héritière des rois de Navarre. Leur fils, Henri d'Albret, épousa Marguerite d'Angoulême, soeur de François Ier. Ensemble, ils eurent une fille, Jeanne d'Albret, qui elle même eut un fils, Henri de Navarre, futur héritier du trône de France.

D'un point de vue architectural, le château, du Moyen Age au XVIIIe siècle comportait quatre ailes flanquées de tours rondes. Aujourd'hui, une seule aile subsiste, les autres ayant été détruites à la Révolution. Il nous reste toutefois la plus belle, avec sa galerie Renaissance composée de 12 colonnes torsadées.
C'est au château de Nérac que Marguerite rédigea son Heptaméron qui relate des petites histoires de son temps, et qui est une déclinaison du Décaméron de Boccace. Tous les personnages de l'œuvre sont ceux de la cour Néracaise.

Marguerite accueillit à Nérac les meilleurs esprits du moment : Clément Marot, Calvin, Lefèvre d'Etaples, et bien d'autres encore. Sans avoir jamais franchit le pas de la conversion, Marguerite aimait à écouter les nouvelles idées religieuses issues de la Réforme. Sa fille Jeanne d'Albret se convertit à Pau et protégea aussi à Nérac un certain nombre de protestants. Henri de Navarre, lui aussi protestant, se rendit à Paris épouser sa cousine éloignée, Marguerite de Valois, dite Margot. Cette dernière vint au château de Nérac en 1578.

La partie du château qui subsiste abrite au rez-de-chaussée un musée archéologique. Le premier étage quant à lui offre de nombreux textes et reproductions concernant la famille d'Albret et la vie de la cour de Nérac.