El Palacio Dzialynsk fue construido por el lituano Wladyslaw Gurowski que sustituyó a dos casas medievales que se encontraban a lo largo del lado oeste de la plaza del Mercado Viejo. Después Antoni Höhne la reconstruyó en los años 1785-87, en una mezcla de estilos neoclásico y barroco.