Les pèlerins qui venaient du Puy par Agen trouvaient au Couloumé un relais, comme semble l'indiquer la coquille sculptée au dessus de la porte.

Le Couloumé est aujourd'hui une propriété privée.