Het huis staat aan een straat, maar heeft de allure van een grachtenpand. Het werd omstreeks 1605 gebouwd als een dubbel trapgevelhuis. Uit deze tijd resteren nog een overwelfde kelder en enkele balkenplafonds. Omstreeks 1680 vond een ingrijpende verbouwing plaats voor de Sefardische bankiersfamilie De Pinto. Achter de voorname zandstenen classicistische voorgevel ging een rijk interieur schuil, waarvan diverse plafondschilderingen bewaard zijn, die deels zijn gereconstrueerd of aangevuld met moderne voorstellingen. Het pand werd in de jaren ’70 bijna gesloopt voor de aanleg van een vierbaans autoweg dwars door de Nieuwmarktbuurt. Buurtbewoners en monumentenbeschermers, onder aanvoering van Geurt Brinkgreve, hebben dit erhinderd.