L’histoire de Caillavel débute au Moyen-Âge. La demeure est recensée en 1322, peu de temps avant le début de la guerre de Cent-ans. Le village de Pomport détenait au Moyen-Âge le siège militaire de la Seigneurie de Bergerac. Sur son territoire se dressait la forteresse de Montcuq, qui est le lieu où commença la guerre de Cent Ans en Guyenne.
La première bataille en Périgord est commémorée par une stèle érigée sous l’impulsion du Colonel Brunet.
Le Château est reconstruit durant la Renaissance et devient la propriété des nobles de Courson de Cailhavel.
La Révolution française et l’abolition des privilèges marqua la confiscation de Cailhavel aux nobles et sa vente en bien national. Par la suite, des moines réformistes s’y installent et l’aménagent en monastère.
« Extrait Cadastre Napoléonien, 1834, commune de Pomport, Section Pomport, Feuille D3, cote 3 P 3 3759, Archives départementales de la Dordogne »
La Restauration sonne le retour au pouvoir des rois et la remise en place des privilèges. Les biens, dont le Château Caillavel sont restitués ou redistribués à des nobles, qui s’étaient enfuis de Guyenne. La demeure se transforme progressivement, pour devenir un corps de logis central pourvu d’une haute toiture encadrée par deux pavillons. Son intérieur reflète le style architectural et ornemental des époques qu’il a traversé.
En 1946, le grand père Courcelle de Jean-Jacques achète le Château Caillavel, sans doute à une famille juive qui s’y était cachée pendant la dernière guerre. Un grand père qui n’avait pas pu garder la propriété familiale, n’étant pas l’aîné de la famille.
Il transmit la propriété à sa fille, qui épousa un monsieur Lacoste. Ils acquirent un autre domaine, le Château Haut-Theulet.
En 1991, Jean-Jacques Lacoste s’installe en tant que viticulteur, après 8 années d’aide familial sur la propriété. Pourtant, il ne se destinait pas à la viticulture. “ Je venais de passer mon bac, mon père est décédé en août. Je suis resté pour aider ma mère et conserver le patrimoine familial. J’ai trouvé dans la viticulture bergeracoise des personnes exigeantes et passionnantes.“