大型語言模型（LLM）

你聽過近期熱門的ChatGPT，但你知道它其實是大型語言模型（LLM）嗎？LLM是一種深度學習模型，透過吸收海量的文本數據學習知識。它能從大量的文章、影音、書籍中學習單詞和句子之間的關係，然後回答問題、翻譯、生成文本。除了作為聊天機器人，它也被廣泛運用在醫療、開發軟體和服務業，經常出現在日常生活中。想知道它的運作原理、優點與挑戰和其他實際應用？一起來看看這篇文章吧！

記憶吐司？大型語言模型（LLM）是什麼？

大型語言模型（Large Language Model, LLM）是一種深度學習模型，具有超過 1,000 億個參數的自然語言處理（natural language processing，NLP）系統，經過大量的文本訓練，告訴它已存在的現象，像是新聞、書籍、影音等，使其擁有從海量的知識中識別、匯總、翻譯、預測、生成文字和其他內容的能力。簡單來說，它就是個記憶吐司，能吸收海量的知識，然後回答問題、生成文本、翻譯語言等。例如為產品描述生成文本、回答常見的問題（FAQ）、分析來自社交媒體和產品評論的客戶反饋。

而LLM中的「大」是指模型在學習時可以自主更改參數的數量，參數越大代表模型的知識越豐富，能做到的事情也越多。令人開心的是，它的知識範圍並不僅限於人類語言，還包括生物學語言（例如蛋白質、分子序列）、計算機語言（程式碼）等知識，因此被廣泛地運用在醫療保健、軟體開發、自然科學等領域。

如何運作？用途是什麼？

大型語言模型的工作原理是獲取大量的文本數據，從中學習單詞和句子之間的關係，訓練完畢後可用來分析現有文字的情感與意義或生成新的文本。而且隨著人工智慧的發展，模型能消化的數據集也越來越大，如此大量的文本使用無監督學習輸入人工智慧演算法進行訓練，當它被給予一個數據集而沒有明確的指令要如何處理它時，模型會自己學習單詞以及單詞和語句之間的關係與背後的概念。

它就像掌握一門語言的知識人，可以猜測句子和段落接下來會發生什麼，甚至想出新的單詞和概念。例如它可以學會根據上下文判斷「感冒」究竟是指身體上的不舒服，還是對某人感到排斥，又或者你和它說「今天心情不好」，它可能會關心你是不是遇到不順心的事情或身體不舒服等等。此外，大型語言模型也可以針對特定用例進行定製，通過微調或提示調整等技術，向模型提供少量數據以針對特定應用程式進行訓練。

大多數LLM都是在一個大型的、未經過標記的數據集上進行預先訓練（Pre-Training），之後會再根據不同需求判斷是否需要進行微調（Fine-Tuning），這時會加入少量的、以標記的數據集。訓練過程包括：

• 處理文字數據，將其轉換為可用於模型中的數位表示形式

• 隨機分配模型的參數

• 將文本數據的數位表示形式傳送至模型中

• 使用損失函數來測量模型的輸出與句子中實際的下一個單詞之間的差異

• 優化模型的參數以最大程度地減少損失

• 重複該過程，直到模型的輸出達到可接受的精度級別

大型語言模型可以應用於不同種類的語言或場景，這不僅擴大了人工智慧的覆蓋範圍，也有望實現新一波的研究、創造力和生產力，因為它們可以為棘手的問題生成複雜的解決方案。例如，讓模型從分子和蛋白質結構資料庫中學習，然後利用這些知識提供可行的化合物，幫助科學家開發突破性的疫苗或治療方法；或是，信用卡公司使用LLM 進行異常檢測和欺詐分析，保護消費者。

如何颳起一陣風潮?

大型語言模型的初衷其實源自於2010年的機器學習，因為機器本身無法思考、也無法吸收世界上所有的知識，因此科學家們退而求其次，先教會機器識字後，告訴它大量的現象，讓它自行判斷。幸運的事，機器找出了自己的規律、然後學習，這讓人工智慧有了大幅度的進步。後來從機器學習中發展出「深度學習」，讓電腦更好地從海量的資料中發展出可應用的模型，2014年的AlphaGo 就是一個經典例子。之後也陸續出現其他的深度學習模型，而其中擁有大量資料與參數的語言模型就是LLM。

隨著大型語言模型的發展歷程，2019年Google 推出的BERT 語言模型與OpenAI 推出的GPT語言模型都被證實具備相當的知識與能力，2020年OpenAI 發佈的 GPT-3 可以通過簡短的書面提示生成文字和程式碼，2021年NVIDIA 和微軟開發了MT-NLP，可以簡化摘要和內容生成等任務，2022年HuggingFace 推出了能夠以46種自然語言和十幾種程式設計語言生成文字的開放大型語言模型BLOOM，2023年風靡全球的ChatGPT，可以看出LLM 的複雜度與規模都逐漸增加。過去幾年LLM 皆以每年10倍的速度快速成長，它已成為人工智慧發展不可或缺的關鍵。

大型語言模型的優點與挑戰

大型語言模型除了能了解單詞和語句之間的複雜關係，從而生出新的文字，也有助於創建重新設計的搜尋引擎、輔導聊天機器人、歌曲、詩歌、故事和行銷材料的創作工具。除此之外，它還具備許多優點，介紹如下：

1. 增加可用性、個人化和顧客滿意度：許多客戶希望服務不受時間限制，可以全天候使用，LLM 的聊天機器人和虛擬助手正好可以滿足這項需求。通過自動化內容創建，語言模型可以通過處理大量數據來瞭解客戶行為和偏好，從而推動個人化。客戶滿意度將隨著可用性和個人化服務而增加。

2. 節省時間：行銷、銷售、人力資源和客戶服務中的許多流程都可以使用LLM 來執行，使員工將精力花費在更重要的事情上。例如，欺詐檢測、數據輸入、客戶服務和文檔創建等。此外，語言模型分析大量數據的能力可以幫助企業從複雜的數據集中快速提取重要資訊，提高營運效率。

3. 提高任務準確性：LLM 能夠處理大量數據，進而提高預測和分類的準確性。例如，在情緒分析中，大型語言模型可以分析數千條客戶評論，以瞭解其背後的情緒，從而提高確定客戶評論是正面、負面還是中立的準確性。這項能力在業務應用程式中特別重要，因為小錯誤可能會產生重大影響。

然而除了上述的優點，大型語言模型其實也存在不少挑戰。建構基礎模型通常需要花費數月的培訓時間和數百萬美元，後續地擴展與維護同樣需要大量的資金。而且LLM 除了大量的計算能力外，對深度學習、轉換器模型和分散式軟體與硬體也需要有深刻理解，如何獲得足夠的訓練數據也相當具有挑戰。這個領域具備結實的科技保護傘，進入難度高。

在實際運用上，因為模型的知識範圍僅限於所訓練的文字數據，因此它們對世界的理解有限。而且當訓練數據集沒有被檢查和標記時，語言模型已被證明會做出種族主義或性別歧視的評論。在某些情況下，還會提供虛假資訊。例如，微軟曾推出一款Twitter 聊天機器人-Tay，是一款使用公共數據的人工智慧，和它聊天的次數越多它會變得越聰明。然而，Tay 在Twitter上發布不到24小時就被各種厭惡女性、種族主義的言論汙染，將女權主義稱為邪教和癌症，並將性別平等與女權主義畫上等號。

LLM的應用

大型語言模型適用於各種產業，正以搜尋引擎、自然語言處理、醫療保健、機器人和代碼生成等領域開創新的可能性。
近期快速竄紅的ChatGPT AI聊天機器人，背後的運作原理就是LLM 的一個應用，可以用於無數的自然語言處理，它在幾秒內就能生成一篇精美文章的能力令人驚嘆。Meta 於2023年2月25日推出的LLaMA 也是LLM 的應用之一。Meta 形容它是一個更小、性能更好的模型，能協助研究人員工作。聯發科也在2月公開釋出以開源語言模型BLOOM 開發的繁體中文大型語言模型，可應用於問答系統、文字編修、廣告文案生成、華語教學、客服系統等。

除此之外，在我們的生活中其實就存在許多LLM 的應用，像是手機的AI 客服等都是通過聊天機器人和人工智慧助來提升客戶的產品體驗；營銷人員透過訓練模型，讓它幫忙根據產品描述將產品分類；開發人員也能利用它編寫軟體。宛如超級大腦的大型語言模型，每年持續升級，具備越來越多功能，帶動人工智慧也不斷進步，期待它未來能解決更多複雜的問題，並為生活帶來更多的便利。

圖片來源：https://www.datasciencecentral.com/wp-content/uploads/2022/01/9907195857-1280x720.jpeg

→詳細的ChatGPT這邊看：

ChatGPT 將如何影響金融領域？