作者 | 陳泰紅

秉持“自己的降落傘，自己先跳”的原則，由公司裝備部門(mén)牽頭，攜手華為云PaaS作為基礎(chǔ)能力提供方，與公司各產(chǎn)品線(xiàn)共同研發(fā)面向產(chǎn)業(yè)的代碼大模型。在研發(fā)過(guò)程中，我們已取得初步成果，為了鞏固各產(chǎn)品線(xiàn)的代碼生成探索經(jīng)驗(yàn)，我們將產(chǎn)品線(xiàn)研發(fā)成果迅速投入業(yè)務(wù)應(yīng)用。在此基礎(chǔ)上，我們總結(jié)了前期的方法和經(jīng)驗(yàn)，期待更多產(chǎn)業(yè)的加入與交流，共同推動(dòng)產(chǎn)業(yè)代碼大模型的演進(jìn)與推廣落地。

本文深入探討了當(dāng)前研發(fā)大模型在實(shí)際產(chǎn)品中代碼生成能力所面臨的挑戰(zhàn)，闡述了探索的總體思路、數(shù)據(jù)標(biāo)準(zhǔn)與語(yǔ)料層次、演進(jìn)策略以及模型訓(xùn)練方案設(shè)計(jì)。同時(shí)，還介紹了RAG方案設(shè)計(jì)以及某產(chǎn)品線(xiàn)Dopra在真實(shí)場(chǎng)景中的應(yīng)用，并總結(jié)了一套可快速?gòu)?fù)制的方法論。最后，對(duì)未來(lái)發(fā)展趨勢(shì)進(jìn)行了討論：研發(fā)大模型是否有可能取代程序員？

一、產(chǎn)業(yè)研發(fā)大模型面臨的挑戰(zhàn)

華為擁有超過(guò)10萬(wàn)名代碼開(kāi)發(fā)者，每天新增代碼行數(shù)達(dá)千萬(wàn)級(jí)別。在這種情況下，提高開(kāi)發(fā)過(guò)程的效率變得至關(guān)重要。研發(fā)過(guò)程涵蓋了需求理解、系統(tǒng)分析與設(shè)計(jì)、軟件開(kāi)發(fā)（包括手工編寫(xiě)代碼、測(cè)試用例、代碼檢視）、系統(tǒng)集成與驗(yàn)證以及研發(fā)維護(hù)等環(huán)節(jié)。在整個(gè)研發(fā)過(guò)程中，編寫(xiě)代碼的部分大約占據(jù)20%的比重。在人工智能大模型的時(shí)代，為了提升研發(fā)效率，利用大模型輔助生成代碼的需求已經(jīng)迫在眉睫。

在與產(chǎn)品線(xiàn)領(lǐng)域代碼專(zhuān)家進(jìn)行交流時(shí)，我們發(fā)現(xiàn)，由于產(chǎn)業(yè)數(shù)據(jù)未納入訓(xùn)練過(guò)程，開(kāi)源代碼大模型在研發(fā)階段基本上無(wú)法發(fā)揮作用。在產(chǎn)業(yè)領(lǐng)域，我們面臨以下挑戰(zhàn)：

首先，信息通信技術(shù)（ICT）專(zhuān)業(yè)領(lǐng)域知識(shí)繁雜且多變，開(kāi)源模型未系統(tǒng)學(xué)習(xí)過(guò)程領(lǐng)域知識(shí)和系統(tǒng)設(shè)計(jì)等方面，因此難以處理復(fù)雜任務(wù)。

其次，華為代碼倉(cāng)庫(kù)中存在數(shù)十萬(wàn)自定義的數(shù)據(jù)類(lèi)型、函數(shù)API和變量引用，這些代碼的語(yǔ)義復(fù)雜性較高。由于公司部分產(chǎn)業(yè)導(dǎo)向代碼自注釋?zhuān)Y(jié)構(gòu)類(lèi)型和成員、函數(shù)、變量缺少足夠的人工注釋。

此外，代碼具有單一性，不同產(chǎn)品之間的代碼關(guān)聯(lián)性較小，導(dǎo)致代碼語(yǔ)料數(shù)據(jù)泛化性不足。同時(shí)，文本與代碼關(guān)聯(lián)的語(yǔ)料數(shù)據(jù)在質(zhì)量和數(shù)量方面都存在不足。華為嵌入式系統(tǒng)主要基于C/C++開(kāi)發(fā)，C/C++代碼具有固有特征，如頭文件機(jī)制使類(lèi)型和函數(shù)邏輯實(shí)現(xiàn)分離，狀態(tài)空間更為龐大。

最后，代碼依賴(lài)鏈路較長(zhǎng)，涉及Void *、指針、結(jié)構(gòu)體、宏定義、頭文件等多種元素。項(xiàng)目級(jí)的跨文件和多層嵌套導(dǎo)致上下文依賴(lài)鏈路較長(zhǎng)，從而降低了代碼生成的準(zhǔn)確性。

根據(jù)實(shí)地考察的業(yè)務(wù)需求以及公司研發(fā)戰(zhàn)略目標(biāo)，我們將重點(diǎn)關(guān)注具有業(yè)務(wù)價(jià)值的場(chǎng)景。目前，研發(fā)大模型項(xiàng)目組正致力于攻克代碼輔助生成（C/C++/Java/Python）的難題，以構(gòu)建軟件領(lǐng)域的代碼大模型，從而推動(dòng)軟件開(kāi)發(fā)領(lǐng)域的新范式。

二、研發(fā)大模型構(gòu)建探索總體思路

為了提高研發(fā)迭代的反饋效率，華為云PaaS大模型團(tuán)隊(duì)制定了5項(xiàng)數(shù)據(jù)標(biāo)注與清洗規(guī)范、以及5個(gè)腳本工程項(xiàng)目。

圖1 研發(fā)大模型探索的總體思路

在整個(gè)流程中，從原始訓(xùn)練語(yǔ)料的準(zhǔn)備與清洗、SFT語(yǔ)料的提取，到訓(xùn)練、評(píng)估和部署的全自動(dòng)化操作，華為云PaaS團(tuán)隊(duì)已經(jīng)制定了5個(gè)數(shù)據(jù)標(biāo)注和清洗規(guī)范。在訓(xùn)練流水線(xiàn)過(guò)程中，涉及到的5個(gè)腳本工具（包括清洗工具、SFT提取工具、訓(xùn)練腳本工程、部署腳本工程和IDE插件）也已經(jīng)得到了產(chǎn)品線(xiàn)業(yè)務(wù)專(zhuān)家的認(rèn)可和落實(shí)。這些措施顯著提高了大模型研發(fā)的效率。

三、那些數(shù)據(jù)應(yīng)該參與研發(fā)大模型的訓(xùn)練？

數(shù)據(jù)是大模型研發(fā)的基石，其質(zhì)量直接影響到模型的最高性能。若大模型未經(jīng)過(guò)專(zhuān)業(yè)領(lǐng)域數(shù)據(jù)的訓(xùn)練，就如同“文科生學(xué)理科”。針對(duì)產(chǎn)業(yè)特有的數(shù)據(jù)特征和挑戰(zhàn)，我們首先對(duì)產(chǎn)業(yè)數(shù)據(jù)的訓(xùn)練配方表進(jìn)行了梳理。明確了訓(xùn)練語(yǔ)料的范圍、目標(biāo)、場(chǎng)景、數(shù)據(jù)標(biāo)準(zhǔn)、處理規(guī)則、處理工具、試點(diǎn)產(chǎn)業(yè)以及質(zhì)量評(píng)價(jià)等相關(guān)信息。

圖2 研發(fā)大模型語(yǔ)料層次表

L0 開(kāi)源階段

對(duì) GitHub、Stack Overflow 等高質(zhì)量數(shù)據(jù)進(jìn)行清洗。

L1 RawCode 階段

清洗華為語(yǔ)料庫(kù)中的 30 億 tokens，涉及公司 10 余個(gè)產(chǎn)品線(xiàn)，以增強(qiáng)華為業(yè)務(wù)代碼的基礎(chǔ)能力。

L2 領(lǐng)域數(shù)據(jù)-SFT 階段

包括代碼地圖、項(xiàng)目級(jí)的跨文件信息以及工程規(guī)范。通過(guò) SFT 指令微調(diào)，利用跨文件上下文信息和領(lǐng)域?qū)I(yè)知識(shí)，解決生成代碼中的幻覺(jué)問(wèn)題。

RAG階段

RAG（Retrieval Augmented Generation）階段，在 IDE 項(xiàng)目文件中檢索跨文件信息；在向量數(shù)據(jù)庫(kù)中檢索 API 接口說(shuō)明、工程規(guī)范信息。根據(jù) prompt 模板，將用戶(hù)的需求描述與上述檢索信息拼接成完整的 prompt，輸入給大模型。

由于 L1/L2 模型訓(xùn)練需要一定周期，業(yè)務(wù)實(shí)踐中項(xiàng)目組先使用 RAG 語(yǔ)料驗(yàn)證效果，逐步探索 L2 SFT/L1 Raw Code 匹配任務(wù)，以提升模型的理解能力和研發(fā)效率。

單一的 Prompt 工程/RAG 在一定程度上可以讓模型接觸到專(zhuān)業(yè)領(lǐng)域知識(shí)，增強(qiáng)專(zhuān)業(yè)表達(dá)。然而，更為關(guān)鍵的是讓專(zhuān)業(yè)領(lǐng)域知識(shí)參與到模型訓(xùn)練過(guò)程中。

四、研發(fā)大模型整體演進(jìn)策略與方案設(shè)計(jì)

為了提高大模型研發(fā)的效率，我們將整個(gè)研發(fā)過(guò)程分為兩個(gè)階段進(jìn)行迭代和優(yōu)化：

數(shù)據(jù)準(zhǔn)備階段

首先，我們對(duì)各產(chǎn)品線(xiàn)的代碼倉(cāng)庫(kù)進(jìn)行評(píng)估，挑選出高質(zhì)量的代碼倉(cāng)庫(kù)。接著，根據(jù)華為云PaaS研發(fā)項(xiàng)目組制定的五項(xiàng)數(shù)據(jù)標(biāo)注和清洗規(guī)范對(duì)代碼進(jìn)行清洗。在《訓(xùn)練&推理語(yǔ)料層次表》的基礎(chǔ)上，構(gòu)建代碼地圖，并通過(guò)人工抽查與腳本校驗(yàn)自動(dòng)化執(zhí)行。最后，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行格式統(tǒng)一，生成訓(xùn)練集、客觀評(píng)測(cè)集和主觀評(píng)測(cè)集。

訓(xùn)練和評(píng)估階段

在該階段中，我們針對(duì)第一階段所準(zhǔn)備的訓(xùn)練數(shù)據(jù)，在ModelArts平臺(tái)上啟動(dòng)訓(xùn)練任務(wù)。通過(guò)每隔x個(gè)epoch生成的檢查點(diǎn)（checkpoint）來(lái)進(jìn)行訓(xùn)練迭代。在此基礎(chǔ)上，我們進(jìn)行批量模型評(píng)估，并將模型部署在Alpha環(huán)境中，以便用戶(hù)進(jìn)行評(píng)估和使用。

在Alpha環(huán)境中，IDE插件的上下文提取和RAG檢索兩個(gè)過(guò)程被巧妙地隱藏起來(lái)。IDE需要在項(xiàng)目層面跨文件進(jìn)行上下文分析，從而提取當(dāng)前編輯區(qū)域用戶(hù)關(guān)注的跨文件上下文信息，并在prompt工程中進(jìn)行組裝。同時(shí)，RAG會(huì)根據(jù)用戶(hù)的輸入和意圖，檢索業(yè)務(wù)知識(shí)向量庫(kù)。在prompt工程中，上下文信息和業(yè)務(wù)知識(shí)將按照重要性進(jìn)行排序，然后送入代碼大模型進(jìn)行推理。生成的代碼經(jīng)過(guò)后處理后，最終呈現(xiàn)在IDE用戶(hù)界面上。

在研發(fā)過(guò)程中，數(shù)據(jù)準(zhǔn)備以及模型的訓(xùn)練和評(píng)估并非一蹴而就，而是需要經(jīng)過(guò)多次迭代和驗(yàn)證。訓(xùn)練和評(píng)估過(guò)程中出現(xiàn)的現(xiàn)象和問(wèn)題可以為數(shù)據(jù)迭代過(guò)程提供反饋。兩個(gè)階段緊密銜接，共同推進(jìn)以實(shí)現(xiàn)最終的優(yōu)化目標(biāo)。

圖3 研發(fā)大模型整體演進(jìn)策略與方案設(shè)計(jì)

五、RAG：研發(fā)大模型的最后“一公里”

模型訓(xùn)練在一定程度上緩解了領(lǐng)域知識(shí)匱乏的問(wèn)題（例如，避免使用不存在的數(shù)據(jù)對(duì)象和API，從而減少編譯錯(cuò)誤和運(yùn)行錯(cuò)誤）。然而，由于模型更新迭代周期較長(zhǎng)且領(lǐng)域范圍廣泛，在實(shí)際產(chǎn)業(yè)應(yīng)用中，仍需結(jié)合領(lǐng)域相關(guān)的《xx使用手冊(cè)》、《xx白皮書(shū)》和《xx使用指南》等資料，以進(jìn)一步減輕代碼生成中的幻覺(jué)問(wèn)題，提高知識(shí)的可追溯性和解釋性。

圖4 RAG整體框架圖

RAG的設(shè)計(jì)方案和實(shí)現(xiàn)形式多樣，我們的RAG方案主要關(guān)注自動(dòng)化信息抽取和項(xiàng)目級(jí)上下文感知能力。

業(yè)務(wù)知識(shí)廣泛分布于HTML、PDF、DOC、Word等多種形式，且范圍廣泛且接口不統(tǒng)一。為解決這一問(wèn)題，項(xiàng)目組結(jié)合知識(shí)圖譜和大模型技術(shù)，實(shí)現(xiàn)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化信息的抽取，無(wú)需人工干預(yù)，即可生成低成本且高質(zhì)量的知識(shí)。

自動(dòng)化信息抽取同時(shí)解決了知識(shí)增量刷新機(jī)制的問(wèn)題：通過(guò)工程化方法，克服了LLM知識(shí)更新的難題。將業(yè)務(wù)領(lǐng)域知識(shí)、華為編程框架、工程規(guī)范等模型所不具備的能力與模型相協(xié)同。在項(xiàng)目級(jí)上下文感知方面，基于項(xiàng)目靜態(tài)結(jié)構(gòu)、倉(cāng)庫(kù)演化歷史以及開(kāi)發(fā)者實(shí)時(shí)行為，精確檢索與代碼生成任務(wù)最相關(guān)的項(xiàng)目上下文。

以某產(chǎn)品線(xiàn)Dopra開(kāi)發(fā)場(chǎng)景為例，我們整理了開(kāi)發(fā)手冊(cè)、線(xiàn)下文檔、社區(qū)平臺(tái)以及開(kāi)發(fā)者經(jīng)驗(yàn)等數(shù)據(jù)，匯總成Dopra開(kāi)發(fā)的領(lǐng)域知識(shí)，并將這些知識(shí)向量化，存儲(chǔ)到向量數(shù)據(jù)庫(kù)中。當(dāng)用戶(hù)輸入需求任務(wù)后，通過(guò)RAG能力，我們可以獲取與該任務(wù)相關(guān)的開(kāi)發(fā)經(jīng)驗(yàn)信息。將這些信息通過(guò)“領(lǐng)域經(jīng)驗(yàn)”提示模板輸入給大模型，從而顯著提高大模型輸出代碼的正確性。

圖5 RAG方案中使用的Prompt版本示例

六、研發(fā)大模型：是否會(huì)取代程序員？

許多程序員都關(guān)心一個(gè)問(wèn)題：研發(fā)大模型是否會(huì)最終取代程序員？經(jīng)過(guò)調(diào)查，我們發(fā)現(xiàn)了一些有趣的觀點(diǎn)。

1. 程序員的需求各異。在對(duì)產(chǎn)品線(xiàn)專(zhuān)家進(jìn)行調(diào)研時(shí)，我們發(fā)現(xiàn)他們對(duì)業(yè)務(wù)非常熟悉，主要關(guān)注行級(jí)續(xù)寫(xiě)或代碼塊續(xù)寫(xiě)，目的是減少敲擊鍵盤(pán)的時(shí)間。他們期望模型能順應(yīng)開(kāi)發(fā)思路給出提示，輔助編碼，而非完全替代開(kāi)發(fā)。

2. AI編程具有很高的特殊性。

精確敏感性：一個(gè)字符的錯(cuò)誤可能導(dǎo)致代碼不可用，需要人工干預(yù)。 遠(yuǎn)程敏感性：全局變量、父類(lèi)信息、項(xiàng)目級(jí)跨文件信息等大量遠(yuǎn)程（非IDE插件打開(kāi)的當(dāng)前文件信息）對(duì)語(yǔ)義影響很大。

庫(kù)敏感性：調(diào)用API庫(kù)的語(yǔ)句對(duì)函數(shù)的語(yǔ)義影響非常大。

3. AI目前的定位是助手，即開(kāi)發(fā)人員的智能助手。AI助手并不會(huì)替代程序員的思考；它們擅長(zhǎng)處理重復(fù)性高、機(jī)械性的任務(wù)，幫助程序員聚焦高價(jià)值點(diǎn)，提升專(zhuān)業(yè)方向的能力。然而，程序員仍需要掌握輔助駕駛的方向盤(pán)。

大模型的使用對(duì)程序員提出了更高的要求。簡(jiǎn)單重復(fù)的工作可以交給大模型，但更高維度的工作，如代碼調(diào)試、通信鏈路聯(lián)調(diào)、項(xiàng)目級(jí)別的功能實(shí)現(xiàn)等，可能需要經(jīng)驗(yàn)豐富的架構(gòu)師和資深程序員來(lái)把控。

總而言之，研發(fā)大模型將有效提升研發(fā)效率，使程序員能夠更加專(zhuān)注于深入思考，從而減少重復(fù)性和高頻率的工作負(fù)擔(dān)。

文章來(lái)自 PaaS技術(shù)創(chuàng)新Lab，PaaS技術(shù)創(chuàng)新Lab隸屬于華為云，致力于綜合利用軟件分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等技術(shù)，為軟件研發(fā)人員提供下一代智能研發(fā)工具服務(wù)的核心引擎和智慧大腦。我們將聚焦軟件工程領(lǐng)域硬核能力，不斷構(gòu)筑研發(fā)利器，持續(xù)交付高價(jià)值商業(yè)特性！加入我們，一起開(kāi)創(chuàng)研發(fā)新“境界”！

詳情歡迎聯(lián)系:

mayuchi1@huawei.com；bianpan@huawei.com