建于清代,为道光年间潘曾琦宅园,同治年间,两淮盐运使柴安圃购得,重修后,俗称柴园。中华人民共和国成立后,园为苏州南区政府所在地。1957年后为苏州市聋哑学校,1974年在园内建平房作校办工厂。1978年拆除池北面原有曲楼,建三层教学楼。1982年柴园被列为市级文物保护单位,并列入古典园林修复规划。1985年维修鸳鸯厅、船厅。2014年开始全面整修。