「胡妃事件」發生在宋代。參照客家人的遷徙歷史，即是在第三次大遷徙。「胡妃事件」的具體細節，包括主角的姓氏和發生的時間，在不同的資料版本中會略有不同。但是因妃子逃難而牽連其他人從南雄珠璣巷南逃，則在珠江三角洲一帶的不同族譜中均有同樣的記載。

相傳，南宋度宗皇帝在位時，胡妃的父兄主張抗金，遭到了奸相賈似道的諂害，父兄被害，胡妃被迫出走。逃至錢塘江時見草木凋零，萬念俱灰。胡妃跳江自殺，遇廣東南雄珠璣巷商人黃貯萬，救起胡妃後黃貯萬帶回老家藏匿，後因事發官兵追捕至此。於是珠璣巷附近58村的大約70多個姓氏，在這場胡妃事件中，南遷至珠江三角洲。而胡妃卻因看到百姓因她而流離失所痛不欲生，投水自盡，死後化為巨石。古巷內有一座元代古塔，叫「胡妃塔」。這是廣東有年代可考的唯一元代古塔，建於1350年。塔高3.5米，七層八角，由17塊精雕細刻的紅砂岩砌成。塔旁有一古井，傳說當年胡妃就是投此井自盡。

珠磯巷集體遷徙事件，暴露了南宋宮廷悲劇的冰山一角。為了胡妃的出走，朝廷竟要出到屠村滅口這一招，可見宮中對這一事件的諱莫如深。時至今日，就只能以民間故事的形式流傳，或只載於原本不對外傳閱的家族族譜之中。

舉例來說，羅貴事件據黃佛頤《珠璣巷民族南遷記》引《東莞英村羅氏族譜》手鈔本：「宋代間，有宮人蘇氏，貌美性淫，貪私無己。一夕，上幸宮，失調雅樂。上怒，命下冷宮，時宋宮禁不嚴，妃乃潛逃，無人知覺，自度不可復入，因扮作遊婦，混雜京省，蹤跡飄泊，所遇輙投，時有富民黃貯萬，係南雄府始興郡保昌縣牛田坊人，貯萬備船運糧上京，遂得至關口市下，灣泊船隻，備牲酬福，時有歌舞近前，似有獻媚之態，萬見女貌美，稍以意挑之，女即下船，與萬言娓娓不己，願托以終身之事，因載而歸。後來上行敕復取蘇妃，而不知逃亡久矣。上怒，敕兵部上書張欽，行文各省緝訪，經年無跡，乃復奏，上準歇，不行追究，不知貯萬所遇女子，即蘇妃也。已改胡姓，立爲寵婦矣。一日，其家人劉莊因隙走出，揚洩弊端，傳溢京省，兵部官知此，恐上查究，乃詐謂民違法作孽，會同王府六部，所有文武官僚共掩前跡，密行計議，欲洗其地以滅跡。僞稱南雄府保昌縣牛田坊，有賊作亂，流害良民，冒挾聖旨准行，以南雄府始興郡保昌縣牛田坊地方，擇地建築寨所，聚兵鎮守，應國泰民安等事。時貴祖有婿樑喬輝，現在京都，任兵部職方司，得聞聲息，遂遣家人密報，未旬月，部文行批立令照議，嚴行遷徙，時始興郡牛田坊五十八村，居民億萬之衆，莫不嗟怨惶惶。惟珠璣巷居民九十七家，貴祖密相通透，圍集商議，以南方煙瘴地面，土廣人稀，必有好處，大家向南而往，但遇是處江山融結，田野寬平，及無勢惡把持之處，衆相開闢基址，共結婚姻，朝夕相見，仍如今日之故鄉也。衆議而相語曰：今日之行，非貴公之力，無以逃生，吾等何修而至此哉，今日之德，如戴天日，後見公子孫，如瞻日月。九十七人即相誓曰，吾等五十八村，居民億萬之衆，而予等獨借公之恩，得賴逃生，何以相報。異日倘獲公之福，得遇沃壤之地土，分居安插之後，各姓子孫，貧富不一，富者建祠奉祀，貧者同堂共餐，各沾貴公之澤，萬代永不相忘也。世世相好，無相害也。即益名團詞赴縣陳告，準立文案文引，乃赴府告準案結引，立號編甲，陸續向南而行，所有案卷文引，備列於後。紹興元年（1131）仲冬望後志。」

自北宋中後期至元代初期的200多年間，中原及江南氏族由珠璣巷陸續南遷的有100多次，主要遷居地為珠江三角洲一帶及海外，以操粵語方言為其文化特徵。據黃慈博《珠璣巷民族南遷記》，當時從珠璣巷南遷珠江三角洲一帶的氏族共73姓165族。另據不完全統計，珠璣巷南遷姓氏已達157個。時至今日，人口已達4000萬人（對此數據專家莫衷一是，也有估計人數達2000萬）。