Connue dès le XVIème siècle sous le nom de "tour de la Belle-Agnès ", elle a abrité, de 1809 à 1970, le tombeau d'Agnès Sorel.