据义乌文史资料记载，大安寺塔有个美丽的传说：很久以前，义乌城里有个大湖，但不知何故，大湖经常发大水，湮没大片良田，常弄得十年九年无收。

有一天，湖边来了个白发道人，认定湖水泛滥是因为湖底有水牛精在作怪。这个水牛精是牛魔王的幼子，自小横行霸道，爱惹是生非，被父亲赶出家门，安身在此。百姓们齐心协力，汇集所有的水车，不分昼夜轮流排水，一直排了81天，最终只剩湖底的水。道人动员大家：水牛精中午要打盹，必须在它醒来前排完湖水，然后将它烧死在湖底。百姓们从四面八方赶来，很快排干了湖水，只见一个形状吓人的水牛精正盘着头、缩着脚，呼呼大睡。

众人用干柴盖住水牛精，倒上油，点着火，烧了三天三夜，终于把水牛精烧成了灰。因为担心精灵不散，再出来兴风作浪。百姓们在上面又填上泥土和石块，并造了一座宝塔镇魔。为了纪念道人的功德，乡亲们又在塔旁建起一座寺，称大安寺，并将塔命名为大安寺塔。从此，这里风调雨顺，风景如画似绣，故取名绣湖。