Sur son emplacement s'élevait la Commanderie des Chevaliers du Temple. Après la suppression de l'ordre des Templiers en 1323, l'édifice devient propriété des Hospitaliers de Saint Jean. Le bâtiment actuel, construit en 1575, est toujours connu sous le nom de Maison des Templiers ou Maison des Brigands.
Le bâtiment a été restauré par la municipalité et abrite l'office du tourisme.