Ezt a szigetet titokzatos barlangjaival, sziklahasadékaival és aranyhomokos strandjaival több mint 2000 éve szent helynek tekintik. Kezdetben a taositák szent hegyeként tartották számon. Az idők során számtalan nevet kapott, mint például „hegy kis fehér virágokkal”, ami a sziget természetes szépségére utal. A Kr. E. I. században itt élt An Qisheng, a kínai alkimista, aki a legendák szerint több száz évig élt, és csodálatos orvosságokat készített, többek között az örök élet piruláját is. A Tang-dinasztia korában (618-907) a sziget legmagasabb hegye Mei Fu, egy másik híres taoista alkimista nevét viselte, aki a Kr. U. I. században vonult vissza ide, szintén azzal a céllal, hogy elkészítse a halhatatlanság piruláját.
Egy legenda elmeséli a japán Hui Erh Szerzetes történetét, aki a VI. és VIII. század közötti időszakban jött Kínába, hogy a buddhizmust tanulmányozza. Ő hozta el Kuan Yin első szobrát a szigetre. Hui Erh lett az előjárója a szigeten épített templomnak, amelyben sok csoda történt.
Csak a Tang-dinasztia korában, a VIII. század végén vált a sziget ismert buddhista zarándokhellyé. Addigra széles körben elterjedtek a Kuan Yinről (illetve akkor még hímnemű megjelenési formájáról, Avalókitésvaráról) szóló szútra-szövegek, és Hui Erh legendája is népszerű történetté vált. Az Avatamszaka-szútra („virágfüzér-tanítás”), amelyet a VIII: század végén fordítottak le, azt is elmondja, hogyan indult útnak egy Sudhana nevű zarándok Manjushrinak, a bölcsesség buddhájának a tanácsára egy titokzatos sziget felé, amelynek a neve Potalaka. A zarándok ott akart találkozni Avalókitésvara bódhiszattvával. A szútra csodálatosan szép helyként írja le a szigetet, amely drágakövekből áll, és pompás fák, virágok, tavak és patakok találhatók rajta. Avalókitésvara elmagyarázta Sudhanának, hogy azok a lények, akik az együttérzés útját járják, a haláluk után ezen a szigeten születnek újra és ezért Potalakát „a bódhiszattvák országának” is nevezik. Sudhana összesen 53 különböző spirituális mestert keresett fel, akik segítették őt a megvilágosodáshoz vezető úton. Az Avatamszaka-szútra a következő három évszázadban rendkívül népszerűvé vált és sok embert inspirált arra, hogy zarándokútra induljanak Putuo Shan szigetére.
Egy másik, kevésbé ismert szöveg – „Az ezerkarú és ezerszemű Kuan Yin szútrája” – említi Sáklamuni buddhát is, aki azelőtt Sziddhártha herceg volt, és a hagyomány szerint Putuo Shan szigetén élt Kuan Yin tanítványaként. Természetesen az idők során számtalan feltételezés alakult ki arról, hogy hol is van valójában Potalaka szigete. Voltak, akik úgy gondolták, hogy a Potala palotát jelenti, amely az Avalókitésvara inkarnációjának tekintett Dalai Láma egykori palotája Tibetben. Mások Indiától délebbre, Srí Lanka szigetén vélték felismerni. Ez utóbbi elképzelést azonban semmi sem támasztja alá. Miután a legtöbben úgy vélték, hogy a Potalaka nevű misztikus hely nem más, mint Putuo Shan, a sziget egyre népszerűbbé vált a hívők körében. Az északi legmagasabb hegyet ettől kezdve „Buddha-csúcsnak” nevezték, mert a hagyomány szerint Buddha ezen a helyen is tanított. Egészen a XIX. századig számos buddhista szöveg és útleírás hangsúlyozza, milyen nagy érdemet jelent, ha valaki elzarándokol Putuo Shan szigetére.
A sziget ezek után ismertebbé és népszerűbbé vált, mint a kínai félszigeten álló Hsziang Shan hegy, ahová a legenda szerint Miao Shan hercegnő visszavonult, miután sikerült elmenekülnie a felégetett kolostorból, és ahol elnyerte a megvilágosodást. Kína más, magas spirituális hegyein is találhatók uygan Kuan Yin-szentélyek, ám ezek nem állnak annyira a középpontban, mint a Putuo Shan szigetén lévők.
A XIV: században keletkezett egy legenda, amely elmondja, hogyan tudatta Kuan Yin az emberekkel, hogy melyek lesznek a legjelentősebb zarándokhelyei: Amikor a Yuan-dinasztia korában (1271-1386) Hangcow városa romokban hevert, a szintén lerombolt Shang Tie Shu kolostorból eltűnt Kuan Yin egy titokzatos szobra. Magas jutalmat tűztek ki a megtalálónak, és a szobor ismét előkerült, amelyet azután elvittek Tien Hszibe, az új kolostorba. Amikor ott ünnepélyes szertartás keretében felállították, egyszerre három ragyogó fénysugár tört elő belőle – az egyik Putuo Shan szigetére mutatott, a másik a régi Shang Tie Shu kolostor felé, a harmadik pedig az új kolostor, Tien Hszi irányába.
Ettől kezdve Putuo Shanon egyre több kolostor és remetelak épült. A XV. Században a kalóztámadások miatt az egykori 300 templomból egyetlenegy maradt épen, de legtöbbjüket gyorsan helyre lehetett állítani, miután az akkori császár anyagilag is készségesen támogatta a rekonstrukciót.
A Ming-(1386-1644) és a Quing-dinasztia (1644-1911) alatt Putuo Shan emellett a legjelentősebb kereskedelmi kikötővé vált. Itt kötöttek ki a Japánból és Koreából érkező hajók, hogy elvámolják a Kínába hozott árut. A kereskedők előszeretettel használták ki az alkalmat, hogy meglátogassák az Árapály hangjának a barlangja közelében álló szentélyt, és ott áldást kérjenek a tengeri útjuk folytatására.
1925-ben a 9. Dalai Láma is ellátogatott a szigetre. Szavai még ma is olvashatók egy kőoszlopon, amelyet a tengerparton, a nagy emlékkapu mellett, a főbejárat közelében állítottak fel: „A kis szigetek a tengerben egzotikusak és csodálatosak, és az utat Kuan Yin áldása kíséri.”
Amikor a kommunisták 1949-ben átvették az uralmat Kínában, még több mint 200 templom állt a Kuan Yin-szigeten, és több mint 2000 szerzetes és apáca élt ott. A legtöbb templom túlélte ugyan a kulturális forradalmat (1966-1975), de utána lerombolták őket, lakóikat pedig elűzte a kommunista vezetés. Néhányan időközben visszatérhettek, sőt, novíciusok felvételére is engedélyt kaptak, de csak nagyon korlátozott keretek között. 1979-ben a szigetet ismét megnyitották a turisták előtt.
Putuo Shan mindig is a zarándokutak egyik célpontja volt, és az is marad. A szigetnek emellett még a turisták áradatával is meg kell küzdenie, mert csodálatosan szép, homokos tengerpartja miatt kedvelt nyaraló- és kirándulóhely. A sziget meseszép tájain gyakran forgatnak filmeket is. Sajnos, emiatt a meleg évszakokban idelátogató zarándokok aligha tudják megtapasztalni a spirituális csendet és a természet érintetlen szépségét, ami a régi korszakokban a sziget elsődleges jellemzője volt. Aki azonban azzal a szilárd elhatározással érkezik ide, hogy ráhangolódjon Kuan Yin energiájára, kétségtelenül alkalmat fog találni rá a sziget félreeső részein, mindenekelőtt a tengerparton.
Ma a nagyjából 12 négyzetkilométernyi szigeten három főtemplom áll, és mintegy 80 kisebb kolostor és emlékhely. Az északi hegyen álló három templom -Puji, Fayu és Huji- Kína legcsodálatosabb és legimpozánsabb templomai közé tartozik. A mondás szerint „a hegy minden zuga egy templomot rejt, és ha eltévedsz, megjelenik egy szerzetes (Kuan Yin).”