Het voormalige Evangelisch-Luthers Diaconie Oude Mannenen Vrouwenhuis uit 1772 is ontworpen door bouwmeester Coenraad Hoeneker. Het bestaat uit een groot blokvormig gebouw van drie verdiepingen met twee binnenplaatsen. De grond waarop het staat is geschonken door het stadsbestuur. Het complex bood aanvankelijk plaats aan driehonderd bewoners. In de negentiende eeuw is het uitgebreid en werd het ook een weeshuis. Sinds 1974 is hier verpleeghuis Wittenberg gevestigd, genoemd naar de stad waar Maarten Luther de Reformatie begon. Voor de verbouwing is het oorspronkelijke interieur opgeofferd. Alleen het deel met de regentenkamers bleef gespaard. Bijzonder is de burgemeesterspoort in de grote zaal, waarmee de schenkers van de bouwgrond werden geëerd. Het ontwerp is van Jacob Otten Husly, die ook verantwoordelijk was voor de schouwen en plafonds. In deze ruimtes bevindt zich sinds 1986 de Luther Collectie Amsterdam, een kostbare verzameling van lutherse kunst en historische voorwerpen.