????????「快意」大模型（KwaiYii） 是由快手AI團隊從零到一獨立自主研發(fā)的一系列大規(guī)模語言模型（Large Language Model，LLM），當(dāng)前包含了多種參數(shù)規(guī)模的模型，并覆蓋了預(yù)訓(xùn)練模型（KwaiYii-Base)、對話模型（KwaiYii-Chat)。這里面我們介紹13B規(guī)模的系列模型KwaiYii-13B，其主要特點包括：

• KwaiYii-13B-Base預(yù)訓(xùn)練模型具備優(yōu)異的通用技術(shù)底座能力，在絕大部分權(quán)威的中/英文Benchmark上取得了同等模型尺寸下的State-Of-The-Art效果。例如，KwaiYii-13B-Base預(yù)訓(xùn)練模型在MMLU、CMMLU、C-Eval、HumanEval等Benchmark上目前處于同等模型規(guī)模的領(lǐng)先水平。
• KwaiYii-13B-Chat對話模型具備出色的語言理解和生成能力，支持內(nèi)容創(chuàng)作、信息咨詢、數(shù)學(xué)邏輯、代碼編寫、多輪對話等廣泛任務(wù)，人工評估結(jié)果表明KwaiYii-13B-Chat超過主流的開源模型，并在內(nèi)容創(chuàng)作、信息咨詢和數(shù)學(xué)解題上接近ChatGPT(3.5)同等水平。

????????我們選取了行業(yè)中被廣泛認(rèn)可的權(quán)威Benchmark進行評測，例如體現(xiàn)英文綜合能力的MMLU、體現(xiàn)中文綜合能力的C-Eval和CMMLU、體現(xiàn)中小學(xué)數(shù)學(xué)能力的GSM8K以及體現(xiàn)代碼能力的HumanEval，并與行業(yè)上的主流模型在上述Benchmark上匯報的指標(biāo)結(jié)果進行比較。具體對比結(jié)果如下所示：

• C-Eval是一個全面的中文基礎(chǔ)模型評測數(shù)據(jù)集，由清華大學(xué)、上海交通大學(xué)和愛丁堡大學(xué)合作構(gòu)建，包含12342道單項選擇題，涵蓋數(shù)學(xué)、物理、化學(xué)、生物、歷史、政治、計算機等52個不同學(xué)科和四個難度級別，是最具影響力的中文綜合性考試評測集之一。其采用5-shot的方式進行評測。

• MMLU由加州大學(xué)伯克利分校等知名高校共同打造，集合了科學(xué)、工程、數(shù)學(xué)、人文、社會科學(xué)等領(lǐng)域的57個科目，包含14079道單項選擇題，主要目標(biāo)是對模型的英文跨學(xué)科專業(yè)能力進行深入測試。其內(nèi)容廣泛，從初級水平一直涵蓋到高級專業(yè)水平，同樣采用5-shot方式進行評測。

• CMMLU是一個綜合性的中文評估基準(zhǔn)，專門用于評估語言模型在中文語境下的知識和推理能力。CMMLU涵蓋了從基礎(chǔ)學(xué)科到高級專業(yè)水平的67個主題，包括：需要計算和推理的自然科學(xué)，需要知識的人文科學(xué)和社會科學(xué)，以及需要生活常識的中國駕駛規(guī)則等，共11582道單項選擇題。此外，CMMLU中的許多任務(wù)具有中國特色，可能在其他地區(qū)或語言中并不普遍適用，是一個完全中國化的中文測試基準(zhǔn)。評測分別采用5-shot和0-shot的方式進行。

• GSM8K是由OpenAI構(gòu)建的高中數(shù)學(xué)應(yīng)用題數(shù)據(jù)集，包含8500道高質(zhì)量的數(shù)據(jù)，主要目標(biāo)是對模型的數(shù)學(xué)推理能力進行評測，其中測試集1319條數(shù)據(jù)，每個問題都需要2-8個步驟來解決，解決方案主要包括使用基本算術(shù)運算（+ ? × ÷）進行一系列的基本計算，以得到最終答案。其采用8-shot進行評測。

• HumanEval是OpenAI和Anthropic AI一起制作的代碼數(shù)據(jù)集，包含164個原創(chuàng)編程題，涉及語言理解、算法、數(shù)學(xué)和軟件面試幾種類型的題目。其采用0-shot的方式進行評測。

????????從對比結(jié)果可以看出，KwaiYii-13B-Base及KwaiYii-13B-Chat模型在各榜單中均處于領(lǐng)先水平。在MMLU、CMMLU、C-Eval等體現(xiàn)綜合學(xué)科類的Benchmark上領(lǐng)先，說明KwiiYii-13B-Base預(yù)訓(xùn)練模型在中英文雙語學(xué)科和行業(yè)領(lǐng)域的知識能力突出。在GSM8K數(shù)學(xué)評測集上及HumanEval編程測評集上的優(yōu)異表現(xiàn)，則體現(xiàn)了模型較好的數(shù)理邏輯及代碼能力。

????????Benchmark指標(biāo)體現(xiàn)了語言模型的基礎(chǔ)理解能力，更直觀地，我們?nèi)斯ぴu估了模型在各類任務(wù)上遵循用戶指令的能力。我們構(gòu)建了一個高質(zhì)量評測集，包含了內(nèi)容創(chuàng)作、信息咨詢、數(shù)學(xué)解題、邏輯推理、代碼能力和多輪對話共6個類別。其中內(nèi)容創(chuàng)作包括文章寫作、翻譯、摘要總結(jié)等根據(jù)給定約束生成文本的任務(wù)，以及對實體/事件的觀點描述等；信息咨詢偏向信息獲取，如知識/常識咨詢，景點、電影和音樂推薦等；數(shù)學(xué)解題主要包含四則運算、應(yīng)用題、方程等數(shù)學(xué)問題；邏輯推理主要包括事實推理、演繹推理和數(shù)據(jù)統(tǒng)計等；代碼能力包含代碼編寫、代碼調(diào)試、Bug分析；多輪對話則主要體現(xiàn)在一個Session中持續(xù)對話的上下文意圖理解和產(chǎn)生正確回復(fù)的能力。

????????為了直觀地比較待評測模型與ChatGPT的效果差異，對于評測集中的每個問題，我們都評測了其與ChatGPT的Good:Same:Bad（下文簡稱GSB，其中Good表示評測集中，待評測模型比ChatGPT表現(xiàn)更好的數(shù)量，Same則表示表現(xiàn)持平的數(shù)量，Bad則是待評測模型比ChatGPT表現(xiàn)更差的數(shù)量）結(jié)果。具體而言，我們將待評測模型與ChatGPT進行雙盲對比測試：對于每一個Query，我們隱藏模型信息，并打亂兩個模型的答案順序，然后分配給多名評測者，評測人員根據(jù)內(nèi)容正確性、內(nèi)容相關(guān)性、內(nèi)容詳實性等維度進行打分，然后從“模型A好”、“模型B好”、“兩者一樣好”、“兩者都一般”以及“兩者一樣差”五個選項中進行選擇，最終再根據(jù)多名評測人員的GSB評測結(jié)果，按照規(guī)則擬合成該條數(shù)據(jù)的統(tǒng)一GSB結(jié)果。

????????我們對KwaiYii-13B-Chat模型以及同等參數(shù)規(guī)模的行業(yè)主流模型，均與ChatGPT(3.5)進行了對比和人工評估，其各自的得分如下圖所示。從人工評估的結(jié)果來看，KwaiYii-13B-Chat超過了同等規(guī)模的開源模型，并接近ChatGPT同等水平。在內(nèi)容創(chuàng)作、信息咨詢、邏輯推理和數(shù)學(xué)解題上，基本與ChatGPT(3.5)效果相當(dāng)。在多輪對話能力方面，KwaiYii-13B-Chat超過同等規(guī)模的開源模型，但與ChatGPT(3.5)仍有一定差距。注意：人工評估結(jié)果受到評測數(shù)據(jù)覆蓋面、標(biāo)注主觀性等因素的影響，無法全面反映大語言模型的所有能力。