传说这茶树是牡丹花做的。西汉时，有一个太守，名叫毛毅，为人正直。因为不喜欢贪官污吏，他弃官携母上山养老。母子俩骑着白马来到一座青山前，只觉得有股奇怪的香味，就问一个脸健康，胸前垂着银须的老人，香味是从哪里来的。老人指着荷塘边的十八棵树
白牡丹说香味来自于它。母子俩把这个地方看做仙境，于是留下来，修建寺庙，保护花草，种植茶叶。有一天，妈妈因为年老体衰，身体疲劳，病倒了。毛伊当时到处找药。当他非常焦虑和疲惫的时候，他倒在了路边。在梦里，他遇到了白发银须的仙翁。仙翁问了原因后，告诉他：“治疗母亲的病，一定要用鲤鱼配新茶，缺一不可。”毛伊醒来回到家，妈妈对他说：“我就梦到仙翁说要吃鲤鱼配新茶才能治好。”
母子一起做梦，觉得一定是神仙的指点。这时，正是冬季。毛一去池塘破冰抓鲤鱼，可是冬天去哪里摘新茶呢？我左右为难的时候，听到一声巨响，十八只牡丹变成了十八只仙茶，树上长满了绿色的新芽叶。毛一马上摘下来晒干。奇怪的是，白色的毛茸茸的茶就像白色的牡丹花，香气扑鼻。毛伊马上用鲜茶煮鲤鱼给妈妈吃，妈妈的病真的好。她让儿子照顾十八棵茶树，然后飞出了门，成了负责这一带青山的茶仙，帮助人们种植茶叶。
后来为了纪念毛伊弃官种茶、造福人民的功绩，修建了白牡丹寺，这一地区出产的名茶被称为“白牡丹茶”。