相传，李时珍为完成药典巨著《本草纲目》，来到庐山采药，住在东林寺。一天一个右腮红肿的小和尚，忍着剧烈的牙痛喃喃念经，只见老和尚取过一枝干枯的草药给他含在嘴里，顿时肿消痛止。李时珍惊诧不已，连忙向老和尚请教。原来这种神奇的药草，是生长在锦绣谷中的一种常绿小灌木的花。为了寻找这种花，李时珍在锦绣谷中跋涉了三天三夜。第三个夜晚，疲惫至极的李时珍瞌眼微息，朦胧中一股浓烈的香味扑鼻而来。两只缤纷飞舞的彩蝶绕着他轻声呼唤：“李太医，我家大姐有请。”李时珍昂首望去，彩蝶顿时化作两个穿蝶裙的小女孩，将他托起，腾空飞去。只见云头危崖上，一位绰约多姿的仙姑频频向他招手。李时珍大为惊奇，正欲向仙姑打听这种花的下落。仙姑回眸一笑，轻摇翠袖，化作一朵光艳夺目的花朵。李时珍欣喜若狂，急步上前取花，不料脚下一滑，一头栽落在万丈深涧。冷汗淋漓的李时珍，大喊一声，从梦中惊醒，但见所依山崖岩隙间，一丛盛开的花朵，沐浴在月色之中，流光溢彩，楚楚动人。
李时珍便把它取名“睡香”。后来睡香之名传及四方，人们争相引种，并视之为祥瑞的征兆，于是改名“瑞香”。李时珍认为，瑞香不仅清利头目，消止火痛，还可治急喉风,咽喉肿痛，齿痛，风湿痛。
