L'ouvrage fut souhaité par le pape Urbain V pour mieux desservir l’accès de la collégiale qu’il fit bâtir dès 1365 en l’honneur de la Vierge. Il ne put être commencé qu’en 1395 et les travaux durèrent 55 ans. Six arches lui donnent des proportions majestueuses. Conçu pour résister aux crues violentes du Tarn, il
faillit à plusieurs reprises être totalement emporté, car
lorsque le flot envahit les arches, il faut une solidité à toute épreuve pour y faire face.
