IOSG：為什麼華爾街們正在向ChatGPT與Claude們說「不」？

原文標題：《IOSG Weekly Brief｜AI 的十字路口：為什麼華爾街們正在向 ChatGPT 與 Claude 們說「不」？＃336》
原文來源：IOSG Ventures

為什麼需要私有 AI

7 月 1 日，Palantir CEO Alex Karp 在 CNBC 上貢獻了 20 分鐘被一些媒體稱為「精神崩潰」的訪談。按照 Karp 的說法，企業正在給前線實驗室支付 token 溢價，同時眼看自家 IP 流向模型商。他稱這種洩漏為 alpha 的轉移，而轉移正發生在架構層：每一條發往閉源模型的請求，都以明文的形式抵達服務商的伺服器。就在節目播出的幾天前，Palantir 剛宣布與 NVIDIA 合作，在客戶自控的環境裡跑開放的 Nemotron 模型，還附上一份九條的 AI 主權宣言。CNBC 節目播出後，PLTR 跳漲 8%。

過去二十年，企業靠協議層面的信任採用云軟件，而且行得通。每家 SaaS 廠商只看到企業數據的切片，多數也沒什麼動力拿客戶數據反養核心產品。Salesforce 看到銷售渠道，Workday 看到人事，Jira 看到開發迭代，AWS 提供存儲與計算的底座。然而今天的 AI 工作流主張一次性上傳全部家當，連同串起各部門的結構化上下文，以求生產力最大化。拋開善意不談，上游服務商如今可以拿這些數據去做新功能，而不是讓它們躺在伺服器裡吃灰。

沒有人在減速，Anthropic 的年化營收 5 月達到 470 億美元，較 2025 年底的 90 億美元大幅躍升，OpenAI 則在 2 月突破 9 億周活躍用戶。兩家公司今年春天都完成了新一輪融資，估值逼近 1 萬億美元，並且預計將以更高的市值 IPO。多年的隱私與 IP 指控，都沒有讓兩家公司損失一點勢頭。

有一部分企業早已做出了行動。2023 年 2 月，ChatGPT 發布不到的三個月內，華爾街主要銀行就已限制其使用。2023 年 5 月，在三星工程師把晶片源碼洩漏進 ChatGPT 後，公司全網封禁生成式 AI。作為回應，OpenAI 當年 8 月上線 ChatGPT Enterprise，承諾不用商業數據訓練，外加零數據留存 (zero-data-retention, ZDR) 協議，後者此後成了企業採購的標配要求。

但合同只鎖住了公司帳號。IBM 發現，到 2025 年，影子 AI（員工通過個人帳號把公司數據餵進未經批准的 AI 工具）已捲入五分之一的數據洩露事件，而重度影子 AI 使用給洩露成本平均多添 67 萬美元。在安全培訓公司 Anagram 的一項 2025 年調查裡，四成員工表示為了更快完成任務，他們願意違反 AI 使用政策。

企業至少可以花錢買出路，ZDR 合同，不訓練的服務檔，如果你是政府或 Palantir 的客戶還有主權部署。而對於你我這樣的普通用戶，隱私 AI 重不重要至今仍有爭論，直到法院傳票找上了門。

2025 年 5 月的一紙法院命令，迫使 OpenAI 連用戶已刪除的消費級聊天都要留存，11 月，法官又下令把其中 2000 萬條移交《紐約時報》的律師作為證據開示材料。接著是刑事案件：Palisades 大火縱火案被告的 ChatGPT 記錄進入證據，佛羅里達一起雙屍命案的宣誓書引用了嫌疑人關於如何處理屍體的提問。Sam Altman 也在 2025 年 7 月的訪談中承認，ChatGPT 對話不受法律特權保護，在訴訟中 OpenAI「可能被要求交出」用戶聊天記錄。

重點不是只有罪犯才需要私密對話。人們和 AI 的對話被留檔、可傳喚，是一塊多數用戶不知道存在的監控面。Kolmogorov Law 在 2025 年 10 月對 1000 名美國 AI 用戶的調查發現，50% 的人不知道這些對話可以被傳喚，同時三分之二的人認為這些聊天應當獲得與諮詢律師或醫生同等的保護。

自托管或跑在可驗證環境裡的開源模型正在快速追趕，但最強的一批在通用能力上仍落後前沿閉源模型約 4 個月。這讓 tokenmaxxing 的企業和個人站在岔路口，要么為了這份隱私放棄幾個月的模型質量，要么繼續把敏感材料傳上 Anthropic 的伺服器，因為競爭對手正是這麼搶生產力優勢的。

目前市場上並沒有完美的解決方案，份報告梳理各方縮小差距的嘗試，觀測可證明隱私之下的前沿智能距離交付到企業和普通用戶手裡還有多遠。

隱私目前怎麼實現

隱私 AI 不是單一工程，但目前市場裡的每種機制，處理的是同一個事件： 一條 prompt 離開你的設備，穿過網路，落在跑模型的機器上，再返回一條回覆。而機制之間的差別在於明文在這條路徑的哪裡存在，誰能在那裡讀到它，以及靠什麼來驗證回覆的私密性。

協議級隱私

在這一層，除你之外還有人讀到你的明文 prompt，接下來發生什麼，全憑一句承諾。

· 合同式零留存是企業版方案。服務商知道你是誰，處理你的 prompt，並承諾不留存，執行靠合同和聲譽。

· 匿名代理抹去你是誰，但不加密你說了什麼，下游服務商依舊按自家政策處理明文。各家條款不一，比如 Duck.ai（DuckDuckGo 的聊天機器人產品）這類代理會與模型商談刪除協議，Venice 則直接讓用戶假定服務商會存下一切，但兩邊都無從驗證。

機器與機器之間的每一段路都跑在 TLS 上，它只加密管道，收取的那一方可以讀到所有信息。中繼通常用 Oblivious HTTP（RFC 9458）把這份知情權拆開，原理像托朋友遞紙條。朋友知道是誰遞的但讀不了內容，收件人讀得了內容但不知道是誰寫的。OHTTP 自 2024 年 1 月起就成為了 IETF 標準，目前已有很多公司把生產流量跑在從 Cloudflare 和 Fastly 租來的 OHTTP 中繼上。

這也是訪問閉源模型所能得到的隱私上限，其原因是一道算術題。一次旗艦級訓練如今的花費在十億美元量級，而這些實驗室近萬億美元的估值押的就是模型權重的獨佔。模型能力差距撐多久，溢價就撐多久，所以實驗室把權重文件當國家機密看守。

Meta 已經被動做過這場實驗。2023 年 2 月發布的 LLaMA 一開始僅向研究者開放，但不到一周，權重就以種子形式洩露到 4chan。又過一周，llama.cpp 就讓其中最小的 7B 模型在一台 MacBook 上本地作答，三天後，斯坦福又在同一個模型上用不到 600 美元微調出了聊天助手 Alpaca。這次洩露把 Llama 的運行成本打到了電費，任何拿到文件的人都能在家跑。2023 年 7 月，Meta 正式以附帶 7 億月活排除條款的商業許可開源了 Llama 2。權重跑了，溢價也跟著跑了。

前瞻实验室理論上可以為閉源模型的推論進行 attestation（遠端證明），但 attestation 僅能證明是哪段程式碼讀了 prompt，證明不能證明這段程式碼拿它做了什麼。要弄清伺服器有沒有保留資料，我們需要審計服務程式碼（serving code）並將它重構到硬體所報告的那個雜湊。可一旦交出服務程式碼，實驗室也就交出了支撐利潤率的批處理和快取技巧，而這些技巧會遷移至未來每一代模型上。Apple 和 Meta 之所以可以為 iPhone 和 WhatsApp 背後的服務堆疊做遠端證明，是因為它們的利潤在設備和廣告裡，公開服務程式碼幾乎不花什麼代價。

這就是旗艦模型的權重和服務程式碼到不了外部運營方手裡的原因。而沒有外部運營方，就沒有第三方 attestation，沒有 attestation，可驗證的隱私就只存在於開源模型之上。

結構級隱私

這一類裡的每種機制，都用基於硬體、密碼學或物理的證明取代信任承諾，不過各自都要為隱私升級付出不同的代價，首要的就是它們只能跑開源模型。

· TEE（可信執行環境）機密計算把推論放進硬體 enclave（晶片上一個連機器運營方都打不開的密封艙）裡跑，晶片會簽署一份 attestation，寫明到底跑了哪個模型、哪段程式碼。

· prompt 只在終點被封住。經平台代理中轉的路徑上仍留著一個能讀明文的角色，而阻止代理記錄或洩漏中轉內容的，只有協議。

· E2EE（端對端加密）封掉了可讀的中繼。用戶裝置用 enclave 的金鑰加密 prompt，中間每一跳攜帶的都是只有 enclave 能拆的密封信封。

· 信任落在客戶端。負責加密 prompt、校驗 attestation 的程式碼同樣有能力撤銷這份保證。因此可驗證的 E2EE 既需要經過證明的 enclave，也同樣需要開放、可複現的客戶端程式碼。

· 相比 TEE 的簡潔，E2EE 的代價是工程負擔，這也拖慢了功能集成。E2EE 把代理變成一個盲送的信使，於是所有靠讀明文才能運轉的功能都得圍繞客戶端金鑰重建，或只在 enclave 內部重建。

· FHE（全同态加密，及 MPC 变体）干脆去掉了受信任方。服务器在一个它永远打不开的上锁盒子里对密文做计算，钥匙只在你手上，MPC（多方安全计算） 则把 prompt 拆成秘密份额分给多方，除非所有参与方合谋，效果等同。

· 代价是速度。FHE 原生只会做加法和乘法，所以 transformer 运转所需的非线性步骤，都得以高昂的成本被重建。密文上的推理成本是明文的1万到10万倍，小模型上每个 token 也要几秒到几分钟，而不加密的情况下只需毫秒。

· 为加密运算定制的芯片有望缩小差距，但第一块原型2026年初才完成 demo，商用版本还得再等几年。

· 本地推理直接删掉了这条路径。模型跑在你自己的硬件上，没有中继，没有服务器，没有服务商，也没验证需求。

· 显而易见的代价是成本和模型能力。gpt-oss-120b 在 Artificial Analysis 指数上得分约为 GLM-5.2 的一半，但体积65GB，超过市面上两张旗舰游戏显卡的显存之和。而全精度的 GLM-5.2 只能跑在8卡数据中心节点上，光 GPU 就要30多万美元。

不过在这些结构性限制之外，把推理放进 enclave 的成本正在压缩。单卡推理上，enclave 云服务商 Phala 的基准测试显示，enclave 模式的 H100 吞吐损失平均不到7%，而在大模型上接近零，因为主要成本在把数据搬进芯片，而不是在里面算。多卡推理上，NVIDIA 新一代 GPU Blackwell 已支持芯片间流量的直接加密，而老 H100 要达到同样效果只能以七分之一的带宽绕到 CPU 主机。NVIDIA 自家在 Blackwell 上的基准测试显示，397B 模型在 enclave 模式下的吞吐损失不到8%。有了这些进展，隐私推理本身的性能损耗已不再是决定性约束。

事实上，enclave 本身几乎不给运营方增加额外运行成本。2023年之后的每一块 H100 都自带 enclave 模式，额外成本是加密带来的吞吐损失，而不是多出来的芯片。目前 Azure 上的机密 H100 SKU 租价仍是每小时8.90美元，不开 enclave 则是6.98美元，相当于在传统云设施上加价27%。而另一边，在 Phala 这样的专门提供 enclave 的运营商上，机密模式的 H100 正以每小时3.80美元起出租，低于 Lambda 普通 SXM 卡3.99到4.29美元的价格区间。托管 API 方案上，NEAR AI 带 attestation 的端点按每百万 token 输入0.15美元、输出0.55美元提供 gpt-oss-120b，与明文路线上的 Amazon Bedrock、Together 和 Groq 持平。即便是需要多芯片并行的模型，NEAR AI 在 GLM 5.2 上定价与 Fireworks 一分不差，并在更大的 Kimi K2.6 上输入便宜15%、输出便宜4%。

雖然這些新的隱私推論服務提供商可能在追求利潤份額（這樣的話對於任何希望增長的公司來說都是合理的市場做法），但結構性的趨勢是，隱私成本對消費者和運營方都在下降。

開源模式如何取得勝利？

儘管性能開銷有所減少，前沿模型與 SOTA 開源模型之間仍存在著肉眼可見的差距，一家追求最大生產力的實體如果希望保持領先地位，仍然需要信任前沿實驗室不會竊取自己的知識產權。

差距仍然存在，但 Bridgewater 旗下的 AIA 實驗室與 Thinking Machines 在 6 月 30 日提出了一個案例：一個使用專家標註微調的開放模型，在準確性和成本方面同時擊敗了前沿模型。

在這項研究中，團隊在 Tinker（Thinking Machines 的托管微調 API 服務）上微調了 Qwen3-235B。他們首先從供應商那裡獲取標註數據，用該批數據進行第一輪訓練，然後將有爭議的樣本交給公司的投資者進行重新標註。訓練過程採用了強化學習（GRPO），並進行了三處修改：round-robin batching（各任務輪流出一個批次）、CISPO loss（限制單個答案推動模型的最大距離）、on-policy distillation（鎖定當前最優檢查點，確保模型不會向較弱的副本學習）。

所有任務都源自投資者的日常工作流程：一則新聞對 C-suite 級投資專業人員是否重要，一份央行文件是否暗示未來利率變動的方向，一份文件或一封郵件中的範本用語從哪裡開始。得分來自獨立測試集，前沿模型在簡單提示下平均得分約為 50%，配合專家提示時，得分也僅達到 78.2%，低於投資者設定的 80% 門檻。而經過微調的 Qwen 獲得了 84.7% 的得分，按照原文的說法，這相當於比前沿最優的模型少出錯 29.8%，推論成本降低了 13.8 倍。

https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/

這個案例證明了開源模型能在準確率和成本上取勝，但訓練過程仍然不是私有的。過程中使用的專家標註是 Bridgewater 的私有數據，途經 Tinker 的第三方服務，落在與 ZDR 協議同一個信任層級。基金還租用了算力，整場訓練跑在它從未掌控的機器上。想要這套配方又不想背信任假設的買家，今天的選擇很少。租裸 GPU 集群，訓練過程對雲運營方可讀。買下集群解決了數據託管問題，但成本一飛衝天。

帶 attestation 的路線剛剛到來。3 月，Workshop Labs 和 Tinfoil 發布了 Silo，一套跑在 Tinfoil enclave 裡、單個 8 卡節點上的後訓練棧，金鑰只由客戶掌控。文章給出的 enclave 成本是，兩小時的訓練多花 11 分鐘，而且這套棧通過凍結基座權重、只在其上訓練小型 adapter，可以裝得下一個兆參數模型（Kimi K2 Thinking）。難點在於，強化學習需要在各組件之間來回搬數據，而搬數據恰恰是 enclave 成本所在。

Silo 發布後不到一個月，Workshop Labs 就被 Thinking Machines 收購，在 enclave 裡跑下一個 Bridgewater 式 RL 迴圈所需的部件，如今都歸到了同一家公司名下。

Harness 層的隱私

還有一個問題橫在所有私有推理機制之外。這些機制各自管的是 prompt 到模型的路徑，而 agent 發起的每一次外部工具調用，都開出一條推理層根本碰不到的路。最近的 harness engineering 風潮把問題成倍放大，接在模型周圍的每個工具、記憶庫和數據源，都是又一個以明文讀取自己那份工作流切片的目的地。日曆伺服器讀到日程，資料庫伺服器讀到查詢。一個完全本地的 agent 如果只要想要訓練集之外的任何東西，還是需要把搜索詞以明文形式遞給搜索引擎，伺服器讀不了明文，就回答不了問題。

主流解法仍默認落在協議層。Runlayer 和 MintMCP 這類公司用一個中央網關管控全部工具流量，在請求出門前遮蔽個人身份信息（PII）。網關同時決定哪些伺服器能接到流量，把未經審查的擋在門外，並記錄每次調用的目的地和內容以備取證。即便這些管控掛著獨立稽核（SOC 2），工具伺服器還是得讀明文查詢才能作答，它留不留副本取決於自家的留存條款，並且要乘上 harness 里的每一個工具。此外，網關本身也是路徑上多出來的一個依賴信任的讀取方，而不是驗證。

結構級的方案打到了中間那一層。比如 Phala 把 MCP server 直接托管進 TEE，目錄覆蓋錢包、程式碼執行和資料來源，用戶可以憑一份 attestation 驗證隱私聲明，而不是信任運營方。然而 TEE 托管的工具最終還是要把查詢以明文交給服務提供方，enclave 封住的只是信使，不是目的地。

只有少數目的地學會了不讀也能作答，但僅限結構化查詢。Apple 為 iPhone 提供私有資訊檢索，讓來電號碼比對垃圾電話庫時無需暴露號碼，Microsoft 在 Edge 瀏覽器裡對密碼用了同一種方案。MongoDB 的 Queryable Encryption 讓客戶端在字段離開前就加密，伺服器僅憑密文就可以完成等值和範圍匹配。

但對於開放式搜索，今天最好的答案止步於信任，可驗證的加密搜索還沒走出實驗室。Brave 在自家 400 億頁的索引（而非 Google 的）上承諾零資料留存，可它依然落在協議層。Exa 建了一套神經索引，把用戶的關鍵詞嵌入成語義，按語義匹配給結果排序，但嵌入這一步仍在 Exa 的伺服器上從明文算起。MIT 2023 年的 Tiptoe 論文在 3.6 億網頁上完成排序而不暴露查詢，但每次搜索都要燒掉大量伺服器算力，排序品質與不加密的搜索有差距。Apple 2024 年的 Wally 論文通過把真實查詢藏進一堆誘餌裡，使得通訊成本最多壓低 31 倍，但這套數學要到數百萬並發查詢才變得便宜，而這個規模，今天沒有任何私有搜索系統擁有。

加密搜索做得到，只是性能和價格都還沒到商用可行的地步。

展望

私有 AI 的需求在增長。Venice AI 最近突破 350 萬註冊用戶和每月 1.3 萬億 token 的吞吐，隨後完成新一輪估值 10 億美元的 Series A 股權融資。Proton 是它的直接競爭對手，其聊天產品 Lumo 上線一年內用戶破 1000 萬。基礎設施方面，Phala 目前在 OpenRouter 上就日均跑 20 到 30 億 token。Duck.ai 把 gpt-oss-120b 和 Gemma 路由進 Tinfoil 的 enclave，給用戶代理之外的可驗證隱私。這還沒算自托管，它很可能是私有推理最大的渠道，畢竟模型跑在自己的硬件上，不留任何使用痕跡。

然而放在主流 AI 的大浪潮裡，隱私 AI 僅佔極小一部分，而這個差距只有在前沿實驗室有意滿足這份需求時才會合攏。5 月，Google 全線產品處理了 3200 萬兆 token，照此計算，Venice 一個月的吞吐約等於 Google 的 18 分鐘。去年 11 月，Google 上線 Private AI Compute (PAC)，把部分 Gemini 驅動的功能放進與公司自身隔離的密封 TPU enclave 裡跑，並且設計由 NCC Group 獨立審計。但問題在於，PAC 只覆蓋個性化推薦、錄音摘要這樣少數 Pixel 功能，並不覆蓋數億人在用的 Gemini 應用。Google 敢把設計交給審計方，是因為這些功能靠設備和廣告變現，不靠賣 token。

當下的托管方案也不完美。想通過 E2EE 拿到最高隱私的用戶，得等新功能在服務商讀不到的地方重建一遍。私有 harness 在服務層仍然依賴協議。價格合理的後訓練，想拿到最好的微調結果仍得信任第三方供應商。自托管一次性甩開所有服務商，但在本地跑最強的開源模型，花的錢可能比插著它的那棟房子還貴。

缺陷歸缺陷，私有 AI 已經是一個真實且負擔得起的選項，剩下的缺口也在收窄。對普通消費者，在 Lumo 和 Venice 上，無日誌承諾下的開放模型私密聊天分文不花，Venice 或 Tinfoil 的 18 到 20 美元訂閱則把同樣的聊天封進 enclave，不比一份 ChatGPT 訂閱貴。對企業工作流，帶 attestation 的端點如今比明文路線甚至更便宜。NEAR 的 E2EE API 這樣的端點已經能把加密的上下文帶進 enclave，記憶、文件上傳、自定義指令今天都能在 E2EE 之上運轉。至於帶 attestation 的後訓練，NVIDIA 即將推出的 Vera Rubin NVL72 會把機密計算從 Blackwell 的 8 卡節點擴展到 72 卡機架，讓前沿 RL 循環在不暴露 IP 的前提下更加可行。

然而關鍵的價值捕獲，則落在這些價格壓縮的層級之外。隱私在它已經存在的地方近乎免費，但還沒覆蓋主流的 agentic 工作流。專注租售 enclave 的運營商握著的是標準芯片上的一個開關，不是護城河，而協議層的網關則跟傳統中介軟體同場競爭。可防守的陣地，是這份報告裡還沒被解決的那一半：關在 enclave 裡的訓練循環、端到端封死的工具調用、看不見詞條的搜索索引。誰先把其中一件做出來，賣的就是任何價格戰都無法商品化的東西。追逐隱私 AI 的資本，該買的是缺口，不是那個開關。

所以，信任還是驗證？對於重複執行、重複代理的任務，選擇信任，因為每次工具調用本來就把明文交到了 enclave 封不住的目的地，而前沿模型在這類循環裡配得上它的價格。至於把一家公司同對手區分開來的高階思考，選擇驗證。戰略、規劃，以及多年專業經驗提煉出的判斷，恰恰就是爭議中的那份 alpha。往前的路，是在公司自控的邊界內，用這些專有洞見微調開源模型。在一家公司 alpha 所在的領域裡，專家調校的開放模型已經在準確率和成本上同時擊敗前沿，而在隱私環境下構建它的基礎設施，正一個節點一個節點地到來。

原文链接