在人工智能浪潮中，一個(gè)看不見(jiàn)卻至關(guān)重要的計(jì)量單位正在幕后忙碌地工作——它就是Token。Token即通常所說(shuō)的詞元，是處理文本的最小數(shù)據(jù)單元。近期，中國(guó)電信江蘇公司以“Token運(yùn)營(yíng)”為導(dǎo)向，基于數(shù)智中臺(tái)構(gòu)建Token運(yùn)營(yíng)體系，較好地解決了大模型故障定位慢、處置難、成本計(jì)算不清等痛點(diǎn)問(wèn)題。截至目前，江蘇公司內(nèi)部大模型月調(diào)用量突破2000萬(wàn)次，每月消耗Token量超300億。

基于AI的Token運(yùn)營(yíng)主要圍繞消耗、優(yōu)化、成本控制與價(jià)值轉(zhuǎn)化展開(kāi)，關(guān)鍵在于將Token消耗轉(zhuǎn)化為實(shí)際的業(yè)務(wù)價(jià)值。江蘇公司打造大模型精準(zhǔn)流控體系，從故障發(fā)生后被動(dòng)限流轉(zhuǎn)向事前主動(dòng)管控，納管全省18個(gè)統(tǒng)一供給大模型，精準(zhǔn)管控并發(fā)請(qǐng)求數(shù)、Token使用量，支持高、中、低優(yōu)先級(jí)的差異化調(diào)度。流控系統(tǒng)上線后，DeepSeek等7個(gè)核心大模型累計(jì)攔截異常調(diào)用超百萬(wàn)次，有效避免模型阻塞，在當(dāng)前算力條件下保障全省核心AI應(yīng)用平穩(wěn)運(yùn)行。

江蘇公司構(gòu)建智能體自動(dòng)化計(jì)費(fèi)機(jī)制，從人工統(tǒng)計(jì)轉(zhuǎn)向智能度量。以Token用量統(tǒng)計(jì)為基礎(chǔ)，結(jié)合省內(nèi)AI應(yīng)用共享、獨(dú)享算力等模式，構(gòu)建動(dòng)態(tài)成本測(cè)算機(jī)制，自動(dòng)生成應(yīng)用級(jí)Token使用量和成本分?jǐn)傎~單。據(jù)統(tǒng)計(jì)，江蘇公司已完成135個(gè)AI應(yīng)用接入和統(tǒng)計(jì)，后續(xù)將持續(xù)推動(dòng)全量智能體覆蓋和納管。

此外，江蘇公司升級(jí)大模型精細(xì)化運(yùn)營(yíng)能力，故障定位從模型級(jí)轉(zhuǎn)向應(yīng)用級(jí)。傳統(tǒng)運(yùn)維依托顯存利用率、等待隊(duì)列等模型層指標(biāo)，僅能識(shí)別模型級(jí)異常，難以定位異常應(yīng)用。引入Token明細(xì)數(shù)據(jù)后，優(yōu)化告警處置與運(yùn)維管控手段，實(shí)現(xiàn)應(yīng)用級(jí)故障快速精準(zhǔn)定位，時(shí)長(zhǎng)由5分鐘降至2分鐘，效率提升了60％。