10月22日,第十七屆中國國際社會公共安全產(chǎn)品博覽會在北京舉行。展會期間,在由中國安全防范產(chǎn)品行業(yè)協(xié)會組織的第九屆優(yōu)秀創(chuàng)新產(chǎn)品頒獎儀式上,中國電信自主研發(fā)的“基層治理行業(yè)大模型”榮獲2024中國國際社會公共安全產(chǎn)品博覽會“重大行業(yè)創(chuàng)新貢獻獎”。
注“智”添“翼” 賦能基層
基層治理大模型,是中國電信專為基層工作者量身打造的專家級智能輔助工具。它依托星辰基礎大模型強大的深度學習和知識泛化能力,通過對海量的高質(zhì)量專業(yè)文本語料進行清洗、標注和訓練,包括百萬篇司法案例文書,60萬篇政法行業(yè)政策資訊、新聞動態(tài)、社會治理案例,120萬條專業(yè)法律問答數(shù)據(jù)等,并采用自校準微調(diào)技術(shù),提升強化學習效果,為基層社會治理、矛盾糾紛多元化解、法律業(yè)務咨詢等場景提供有效的解決方案。
基層治理行業(yè)大模型服務于全國基層社區(qū)、街道、綜治網(wǎng)格、派出所、基層法院、司法所等政法機構(gòu),解決其日常工作瑣碎且繁雜、信息融合度不高、人員素質(zhì)參差不齊、專業(yè)化知識缺乏等難題,真正為基層工作者提供了高效智慧的工作升級,開拓了AI技術(shù)在基層治理中的新應用領(lǐng)域。
行業(yè)沉淀創(chuàng)新提升
中國電信長期服務于政法行業(yè)信息化工作,積累了海量社會治理領(lǐng)域的高質(zhì)量知識數(shù)據(jù)、行業(yè)專家標注與反饋?;鶎又卫硇袠I(yè)大模型以低耦合、高內(nèi)聚、模塊化的總體架構(gòu)進行設計,通過獲取、清洗、標注和訓練大量高質(zhì)量的專用文本語料,讓大模型理解基層治理行業(yè)的業(yè)務特點、專業(yè)術(shù)語和社會主義核心價值觀等內(nèi)容,并進行專業(yè)化輸出,滿足基層治理、矛盾調(diào)解等場景應用需要。同時,利用RPA、OCR等技術(shù),賦能基層治理數(shù)字化轉(zhuǎn)型。該模型主要創(chuàng)新點:
高精度內(nèi)容生成:針對社區(qū)工作的具體領(lǐng)域進行專門的訓練和優(yōu)化,使得模型在社區(qū)寫作和矛盾調(diào)解應用場景中的準確率顯著高于開源大模型,分別高出30%和60%。
融合RAG系統(tǒng):結(jié)合RAG進行結(jié)果校準,有效緩解大模型的幻覺現(xiàn)象,提高內(nèi)容生成的精準度。
私有化部署:支持私有化部署,確保用戶隱私,同時通過siege工具進行壓測,保證部署的模型表現(xiàn)和訓練表現(xiàn)對齊。
加速推理框架:通過引入VLLM高速推理框架,抓住新技術(shù)應用窗口期,提升技術(shù)門檻,使大模型服務吞吐率和并發(fā)數(shù)相較于現(xiàn)有transformer架構(gòu)基礎模型顯著提升。
截至2024年5月底,該產(chǎn)品已為300+個客戶開通了超過8000+個試用/體驗賬號,各類能力調(diào)用次數(shù)超過5萬次。試用范圍覆蓋福建、北京、上海、廣東、湖南等27個省(自治區(qū)、直轄市)的客戶。
作為建設網(wǎng)絡強國和數(shù)字中國、維護網(wǎng)信安全的國家隊、主力軍,中國電信充分發(fā)揮云網(wǎng)融合優(yōu)勢,在社會治理等領(lǐng)域持續(xù)探索創(chuàng)新,發(fā)展新質(zhì)生產(chǎn)力,加快推進基層治理現(xiàn)代化,為更高水平的“平安中國”建設作出更大貢獻。