В последующие века сад переживал периоды запустения, войны, повреждения и восстановления. Он пострадал во время опиумных войн, восстания тайпинов, японской оккупации и Культурной революции.

Свой современный облик сад приобрёл после масштабной реставрации в 1956 году. В 1982 году он был включён в список ключевых памятников культуры, охраняемых государством.