揚輝荘は、松坂屋の初代社長である15代伊藤次郎左衛門祐民（いとうじろうざえもんすけたみ）が、大正から昭和初期にかけて別荘として建設した、名古屋の近代における郊外別荘の代表作です。
揚輝荘が建つ覚王山の丘陵地は、広さ約１万坪。池泉をめぐらすなど、起伏に富んだ地形や周囲の自然を活かすように工夫がなされています。最盛期には、歴史的・建築的価値の高い30数棟に及ぶ建物がありました。

祐民が経営者・財界人として活躍し、また国際交流等の社会活動にも取組んでいたこともあり、個人の別荘としてだけではなく、迎賓館および社交場としても華やぎを見せていました。皇族、政治家、実業家、文化人など各界の名士が来荘し、園遊会、観月会、茶会などが数多く開かれたほか、アジアの留学生の寄宿舎として、国内外の交流の場にもなっていたのです。

戦時の空襲による被害や風雨による老朽化が進み、開発等により敷地・建物の大半が失われたりしたものの、主要な部分が残されていたので、平成19年に名古屋市に一部寄附されました。 さらに平成20年には５棟の建造物（聴松閣、揚輝荘座敷、伴華楼、三賞亭、白雲橋）が市指定有形文化財に指定され、名古屋市の歴史的・文化的資源として市民共有の貴重な財産となっています。

平成25年には、第一期整備である聴松閣の修復整備工事が完了し、地域の歴史や文化を伝える施設として、また、まちづくり・市民交流の拠点として活用すべく、公開活用が始まりました。

「揚輝荘」は、月見の名所であったところから、祐民が陶淵明作と言われる漢詩の一部「春水満四澤、夏雲多奇峰、秋月揚明輝、冬嶺秀孤松」からとったものと言われています。

城山・覚王山界わいは、起伏に富んだ地形と緑豊かな環境のもと、歴史的建造物が多く残されており、寺社や大学等の歴史・文化資源を豊富に有しており、地区の魅力をさらに高めようとする市民によるまちづくり活動が活発に行われています。

揚輝荘を営んだ伊藤次郎左衛門祐民（幼名：守松）は、清洲越の商家伊藤家の四男として明治11（1878）年に誕生しました。 負けん気が強く、茶目っ気のある性格だったようです。大正13（1924）年に47歳で家督を相続し、十五代次郎左衛門を襲名しています。

実業家としては、江戸時代から続く「いとう呉服店」を明治43（1910）年に株式会社化し、名古屋では初となるデパートメントストア形式の店舗を栄に開店しました。開店に先立ち、 日本実業家渡米団に名古屋の代表の一人として参加しています。最年少で渡米団に参加した祐民は、帰国後も団長を務めた渋沢栄一ら東西の実業家との交流を続け、 経済人としての視野の拡大と全国的な人脈づくりをおこないました。その後、事業の拡大だけでなく、名古屋商業会議所(現：名古屋商工会議所)会頭に就任するなど、名古屋経済界のリーダーとして、名古屋の発展に尽力しました。

昭和8（1933）年には、自ら設けた満55歳定年制により、松坂屋社長、名古屋商工会議所会頭などの公職から身を引き、その後は、社会貢献を目的とした財団法人衆善会の設立、国際交流活動、留学生の受け入れなどの社会活動に専念しています。

また、幼い頃から狂言、漢学、茶道、絵画、弓道など多方面の学芸・趣味に親しんでおり、各界の名士との幅広い交際にその才能を発揮しました。社交の場としてつくられた揚輝荘でも園遊会、観月会、 茶会などが催されましたが、造営にあたっては近代数寄者であった祐民の趣味が反映されています。また、仏教に信仰が篤く、昭和9(1934)年には4ヶ月のインド等へ仏跡巡拝旅行をしており、そのときに受けた 感銘を聴松閣で表現したと言われています。