大語言模型（LLM）雖已展現(xiàn)出卓越的代碼生成潛力，卻依然面臨著一道艱巨的挑戰(zhàn)：如何在有限的計算資源約束下，同步提升對多種編程語言的理解與生成能力，同時不損害其在主流語言上的性能？
為此，中國移動九天團隊創(chuàng)新性地提出了 Hybrid MoE 架構(gòu) ——MultiPL-MoE，該方案的核心在于耦合兩個層次的專家選擇機制進行優(yōu)化：在 Token 層級，采用配備共享專家及新穎門控權(quán)重歸一化方法的稀疏 MoE，以實現(xiàn)與段落層級專家的高效協(xié)同；在 Segment 層級，則創(chuàng)新性地引入滑動窗口劃分與專家選擇路由策略，使模型能夠精準(zhǔn)捕捉不同編程語言的語法結(jié)構(gòu)與深層上下文模式。目前，該項研究已被 EMNLP 2025 接收。
