Çin tarihindeki ilk imparator Qin Shihuang, tahta geçtikten sonra ölümsüzlüğe kavuşmak için yoğun arayış içinde oldu. Efsanelerden, Bohai Denizi'ndeki kutsal bir adada insanların ölümsüz olmasını sağlayan bir tür şifalı ot yetiştirildiğini öğrenen Qin Shihuang, adamlarını denize açılarak bu otu aramaya gönderdi.
Halk arasında dilden dile dolaşan rivayetlere göre, Qin Shihuang'ın emriyle denize açılan ilk kişi, Yan bölgesinden Lu Sheng'di. Lu Sheng, Jieshi'den (bugünkü Qing Huangdao kenti) yola çıkmış, ancak misyonunu yerine getirememiş. Bugün Qing Huangdao şehrindeki Doğu Dağ Parkı'nda Lu Sheng'in yola çıktığı yer olduğu söylenen eski bir kalıntı var. Şehir sakinleri, 1992 yılında buraya siyah granit taşından yapılan, yüksekliği altı metre, ağırlığı da 80 ton olan İmparator Qin Shihuang heykelini koydular.
Lu Sheng'in başarısızlığı üzerine Qin Shihuang, Xu Fu'ya görev vermiş. Xu Fu, ilk deniz yolculuğunun dönüşünde Qin Shihuang'a, “Penglai” adlı, tanrıların yaşadığı kutsal adaya çıkıp ölümsüzlük ilacını gördüğünü, ancak adadaki tanrıların, getirdiği hediyeleri yetersiz bulması nedeniyle ölümsüzlük ilacını vermediklerini, güzel kızları, yakışıklı delikanlıları ve becerikli zanaatkarları istediklerini söylemiş. Xu Fu'nun ölümsüzlük ilacını gördüğü haberinden çok sevinen Qin Shihuang, hemen yarısı oğlan 3 bin çocuk ve bir grup yetenekli zanaatkarı Xu Fu'ya vererek Penglai adasına bir kez daha gitmesini emretmiş. Ancak denizde yaptığı seyahatte adayı ve dolayısıyla ölümsüzlük ilacını bulamayan Xu Fu, bu kez Qin Shihuang'a başarısızlığının deniz içinde sorun çıkaran ejderha ve dev balıklardan kaynaklandığını söylemiş. Xu Fu, imparatordan seçkin okçular ve gelişmiş silahlar istemiş. Tam bu sırada Qin Shihuang, rüyasında kendisinin deniz tanrısıyla savaştığını görmüş. Falcılara danışan Qin Shihuang, rüyada gördüğü deniz tanrısının ejderha ve büyük balığı simgelediğini öğrenmiş. Bu yüzden Xu Fu'nun anlattıklarına inanan Qin Shihuang, ona ülkenin en iyi okçularını ve en ileri silahları vermiş, hatta Xu Fu'yla birlikte denize açılmış. Qin Shihuang'ın içinde bulunduğu filo, Zhi Fu adası yakınlarında büyük bir balığa rastlamış. Qin Shihuang, okla balığı bizzat öldürmüş ve artık kutsal adaya çıkmak için herhangi bir engel kalmadığını düşünerek Çin'e dönmüş. Yolculuğa devam eden Xu Fu, ilahi ada ve ölümsüzlük ilacını bulamayınca Qin Shihuang'a dönmekten korkmuş, beraberindeki çocuk ve zanaatkarlarla birlikte Japonya'ya gitmiş. Xu Fu, Fuji dağının eteğinde ölmüş, onunla birlikte Japonya'ya giden çocuk ve zanatkarlar ise orada nesillerini sürdürmüşler.
Japonya'da Xu Fu'yla ilgili çok sayıda efsane ve tarihi kayıt var. Hatta bazı bilimadamları, Xu Fu'nun Japonya'nın kuruluşuna büyük katkısı olan İmparator Jimmu Tenno olduğu görüşünü bile savunuyorlar. Japonlar, Xu Fu'nun “Tarım Tanrısı” ve “İlaç Tanrısı” olarak kabul ediyorlar. Xu Fu'ya ait olduğu düşünülen mezar, saray, kaya ve adaya çıkış anıtı gibi tarihi eserler, bugün Japonya'da özenle korunuyor. Japonya'da 1991 yılında “Xu Fu'nun Yolu” adlı bir park kuruldu. Her yılın sonbaharında parkta yer alan Xu Fu'nun heykeli önüne bol ürünü simgeleyen çeltikler bırakılıyor. Ayrıca Japonya'da Xu Fu'nun anısına her 50 yılda büyük bir tören düzenleniyor.