Una tradizione non confermata dai documenti vuole che sia stata l’antica residenza del Bargello (il magistrato incaricato del servizio di polizia nella città).
Nel largo antistante è presente l'omonima fontana, di origine cinquecentesca ma rifatta negli ultimi due secoli, che viene anche detta fontana dei matti: chi compie tre giri attorno ad essa riceve simbolicamente, dopo essere stato ‘battezzato’ con la sua acqua, il diploma di "matto di Gubbio".