Имя Исаака Шварца, он сам и  легенда о нём связывают с  Петербургом. А с  1964 года Шварц уехал из города и поселился в поселке Сиверский в Ленинградской области, недалеко от Гатчины. Возвращаться в шумный город он не хотел, за что друзья даже прозвали его "сиверским отшельником". В доме «сиверского отшельника»  бывал весь цвет отечественной культуры:  Владимир Высоцкий,  Булат Окуджава, Зиновий Гердт, Иннокентий Смоктуновский, Иосиф Бродский, Андрей Миронов, Сергей Соловьёв…  И все они, вспоминая эти поездки,  говорили  об интеллигентности, остром уме  и тонком  юморе  хозяина дома, о его  благородстве, духовности, радушии  и  лёгкости в общении.