Theo truyền thuyết, trong trận đánh quân Nam Hán xâm lược, Hai Bà Trưng cỡi voi đi ngang qua, thấy cây đa xanh tốt, rợp bóng nên dừng chân bên gốc đa để nghỉ ngơi. Voi của hai bà đã dùng vòi bẻ ngọn đa để ăn, từ đó cây chỉ phát triển về chiều ngang, hạn chế về chiều cao do mất ngọn. Vì vậy ngày nay, cây đa có chiều cao khiêm tốn, chỉ khoảng chừng 10 m, nhưng tán rộng mấy trăm mét vuông.