最近，市場討論焦點主要在AI分布式云算力聚合平臺上，但Messari一份報告卻把注意力聚焦到了AI去中心化推理方向。而且該報告提到了 @MarlinProtocol所推出的teeML去中心化推理架構(gòu)，一種利用可信執(zhí)行環(huán)境（TEE）來提供計算證明的方式。

為什么要做分布式推理架構(gòu)？邏輯很簡單，ChatGPT等大模型Prompt推理都依賴一個可信的中心化的模型服務(wù)器實體，比如：OpenAI，用戶無法確保數(shù)據(jù)在推理過程中是否被惡意篡改或窺探。

而若采用分布式推理，用戶的每次調(diào)用大模型輸入和輸出，都能有可驗證的計算做保證，用戶無需信任中心化的服務(wù)提供上，而僅可依賴密碼學(xué)或者其他數(shù)據(jù)或安全模型來建立信任連接。

Marlin我之前有寫文章分析過，主要定位做去中心化的節(jié)點增強服務(wù)，去中心化AI服務(wù)是其發(fā)力的一個核心場景。Marlin通過TEE可信執(zhí)行環(huán)境協(xié)處理器，在節(jié)點硬件存儲系統(tǒng)中構(gòu)建了安全隔離的Enclave飛地環(huán)境，繼而可實現(xiàn)AI數(shù)據(jù)模型訓(xùn)練和推理等服務(wù)。

在去中心化推理背景下，模型提供者可以選擇在TEE環(huán)境下運行模型，并生成加密證明，由于證明本身也在TEE內(nèi)環(huán)境下，因此可確保模型在運行過程中不被透露或篡改。

當(dāng)然，在Messari的報告中，還提到了除了TEE之外的另外兩種分布式推理架構(gòu)方式：

1）基于zkML零知識證明協(xié)議，ZK可以證明某個輸出是特定的Dataset產(chǎn)生的，ZK可以成為支撐模型運行的服務(wù)器和模型輸出結(jié)果的可信橋梁。@ProjectZKM提供的zkVM可信驗證最近也和Marlin達(dá)成了戰(zhàn)略合作，會作為底層技術(shù)支持幫助Marlin基于zkVM進一步強化分布式推理能力；

2）基于Optimism ML樂觀機器學(xué)習(xí)，和OP-Rollup邏輯類似，多方實體可共同參與指定的推理驗證，若對結(jié)果存在分析，可以開啟挑戰(zhàn)模式，理論上，只有有一個誠實的驗證者實體，opML就稱得上安全可信。相比zkML，opML計算成本更低，但也會存在挑戰(zhàn)時間窗口。代表項目有Ora 和@HyperspaceAI.

總之，在我看來，當(dāng)分布式AI聚合算力的應(yīng)用場景被跑通，大量的中小型AI訓(xùn)練、推理、微調(diào)以及渲染等需求涌入后，一個完全分布式的可驗證的推理計算證明就成了必須。分布式推理賽道也會隨之熱鬧起來。