2025-01-22 18:20
大型語言模型真的只能由資本巨頭玩弄於股掌之間嗎?
在這場由巨額資金和尖端硬體構築的人工智慧競技場中,大型語言模型似乎成了少數巨頭的專屬遊戲。而對資源有限的中小型研究團隊而言,這些模型更像是遙不可及的「奢侈品」。但問題是,智慧的邊界真的只能用金錢來丈量嗎?人類的創造力,難道會被冰冷的GPU陣列和訓練集的規模所局限?
即使無法參與模型參數優化的「軍備競賽」,我們仍有另一條道路:用「說話的藝術」來激活這些大型語言模型的潛能。一些研究者正在探索如何通過設計精妙的提示詞來引導大型語言模型,讓它們在無需額外訓練的情況下發揮出意想不到的能力。
在這之中,有一個方法就叫做叫上下文學習(In-Context Learning, ICL)。你只需要在與模型對話時,給它幾個符合你期望的對話範例,模型就能迅速模仿這些範例風格進行回應。不需要 GPU,不需要額外訓練,就能讓模型「學習」一種全新的語言表達方式。舉個極端的例子,想讓模型模仿歧視性言論?只需丟幾句帶著偏見的例子進去,下一句它就會用很雞巴的方式回應你。
然而,ICL 並非沒有限制。隨著你提供的範例數量增加,模型的計算需求會大幅提高。
下文接續