(資料圖片僅供參考)
“大型語言模型技術的快速演進，已經為我們展現了通用人工智能的大框架。下一步，最重要的是讓大模型和現實世界‘對齊’。在模型自我學習、自我迭代過程中，人必須參與其中，以保持機器與人類價值觀、思維方式一致，否則可能會離人類的偏好越來越遠?！苯?，在復旦大學管理學院主辦的復旦科創先鋒論壇上，復旦大學計算機科學技術學院教授、MOSS系統負責人邱錫鵬如此表示。
?
邱錫鵬 復旦管院供圖
當天，在主題為《MOSS：對話式大型語言模型》的演講中，邱錫鵬介紹了大型語言模型背后的技術原理，他認為好的語言模型需要更好地理解語言與常識。ChatGPT的三大關鍵技術是情景學習、思維鏈和自然指令學習。
情景學習即在上下文語境中學習，語言模型會在提示詞（prompt）中附帶一些例子作為“上文”輸入，再預測并輸出下文，這改變了傳統的學習范式，可以大幅降低下游開發成本；思維鏈指做大模型示例時不要只給答案，也要給它推導過程，通過推導過程最終得出正確答案。這是突破模型參數約束，實現“涌現”能力的關鍵技術；自然指令學習指模型能直接理解人類指令，從指令中學習、判斷，不斷“對齊”人類的真實意圖。
演講中，邱錫鵬透漏，其主持研發的MOSS系統將于4月中旬開源。他指出，MOSS和ChatGPT具有相近的通用語義理解能力，目前在推理能力和事實類知識方面還有一定差距。這主要是由于參數規模不足造成的，可以通過擴大模型規模來實現。
“首先是對語言模型基座進行架構優化，這面臨輸入長度、中文編碼、多模態接入等挑戰；其次是指令微調，其難度遠高于預訓練，而讓模型的回答‘對齊’人類思維習慣也非常困難；最后才是能力強化?！鼻皴a鵬說，“當語言模型向人類的價值觀和思維方式對齊，并應用于真實世界，無疑將顛覆各個行業生態?！?/p>
關于人與機器的關系，邱錫鵬認為，AI替代不了那些AI使用者的工作，人類具有適應性和靈活性，更擅長利用AI的能力把工作做得更好。目前AI依然在可控范圍內發展，當它成為某種基礎設施后，如何控制其能力將變得十分關鍵，相關的法律法規、政府的重視、社會的認同，都須參與進整個生態。
標簽：
