Wie andere wichtige historische Bauwerke in China, ist auch der Yueyang Turm wegen seiner literarischen Assoziationen den Bürgern sehr bekannt. So erinnern auch verschiedene Lieder und Theaterstücke von Dichtern und Schriftstellern wie Fan Zhongyan und Ma Zhiyuan an die Geschichten, die der Turm durchlebt hat. So wurde der Turm nach und nach trotz seines militärischen Ursprungs seit der Tang-Dynastie ein beliebter Ort für Touristen und romantische Gelehrte, die den Ort zum Singen und Schreiben besuchten.