L’emplacement du Petit-Pont (nommé Petit-Pont Cardinal Lustiger en 2013), comme celui de son correspondant sur la rive droite le Grand-Pont (actuellement pont Notre-Dame), est sans doute l’endroit où furent implantés les premiers ouvrages d’art franchissant la Seine. Ainsi, dans l’antiquité, existait déja un pont à cinq arches évoqué par Jules César dans ses « Commentaires » sur la guerre des Gaules. Avec ses 40 mètres de long, ce pont a toujours été le plus petit de Paris. Construit en bois à l’époque gallo-romaine, il accueillera des maisons au moyen-âge, comme tous les ponts de Paris.
Très souvent détruit par les crues et les invasions, il sera reconstruit onze fois avant d’être bâti en pierre, en 1186, à l’instigation de Maurice de Sully, évêque de Paris.