Edifices de défense et de pouvoir - précédent : remparts - suivant : Hôtel de Ville
Ce château comtal fut construit par Guillaume Taillefer II de 980 à 1080, au milieu des jardins, près de l'église Saint-André. Ce surnom de « Taillefer » fut acquis par Guillaume et transmis à ses successeurs ayant - selon la légende- lors d'un duel, coupé en deux un chef normand revêtu de sa cuirasse de fer. En 975, le comté d'Angoumois échappait à l'autorité royale mais relevait de celle du comte de Poitiers, duc d'Aquitaine. Au XIe siècle, ce comté s'agrandit, intégrant des territoires de Saintonge (Archiac, Matha), du Périgord (Villebois, Aubeterre), du Bordelais (Blaye, Fronsac). Guillaume IV reçut aussi du duc d'Aquitaine d'autres territoires. Les liens se resserrèrent de plus en plus surtout quand, en 1200, Isabelle, dernière descendante des Taillefer, épousa Jean, fils d'Aliénor d'Aquitaine et de Henri II Plantagenêt, duc d'Anjou et de Normandie. Le roi de France, inquiet de la puissance de ce grand vassal devenu roi d'Angleterre, prononça la confiscation de ses fiefs en France. Ainsi l'appela-t-on « Jean sans Terre ». Son épouse Isabelle était née vers 1186 dans cette résidence seigneuriale angoumoisine qui fut appelée « château de la Reine ». Après la mort de Jean sans Terre, elle épousa Hugues de Lusignan. Par cette union, fut constitué un vaste ensemble territorial qui s'accrut par des intrigues, les comtes d'Angoulême, s'alliant tour à tour aux Anglais ou au roi de France, jusqu'à constituer une vaste principauté dans le centre-ouest. Habitant le château Taillefer mais le trouvant trop modeste, ils décidèrent de faire construire un « chasteau neuf » (à l'emplacement de l'actuel hôtel de ville) dans lequel l'aspect résidentiel l'emporta sur les préoccupations défensives.
Peu de vestiges subsistent de cet ancien « palais Taillefer », dans la rue Taillefer qui longe la façade occidentale de l'église Saint-André, et à l'intérieur de l'école primaire Saint-Paul. Sur un mur, du côté nord, donnant sur une petite place devant l'entrée occidentale de l'église Saint-André, se superposent deux fenêtres en arc brisé encadrées de minces colonnettes d'angle portant de petits chapiteaux. Les éléments ainsi que les archivoltes du décor en dents de scie accusent les dernières années du XIIe siècle ou, au plus tard, les débuts du XIIIe siècle. Les murs de moyen appareil régulier portent des traces d'éclats de biscayens (époque des guerres de religion). Dans une cour, au sud-ouest de cette même façade, deux murs parallèles orientés est-ouest, d'époques différentes, ont appartenu à un même bâtiment. La paroi du midi comprend un parement allongé entre moyens et petits, type d'appareillage dans plusieurs églises datées du début du XIe siècle. Dans les parties hautes du mur où l'appareillage a été modifié et remanié, on voit une petite fenêtre à un arc un peu surbaissé et une corniche chanfreinée portée par un rang de modillons nus. retour