|

自託管人工智慧代理:你可以擁有的 4 個層級,以及真正會咬人的那一層(2026 年)

自託管人工智慧代理功能於 20261105 年推出

搜尋“自架AI代理”,你會看到兩種頁面。 GPU廠商會解釋如何將一個擁有700億參數的模型塞進租用的硬體上。工具製造商則會給你一個排名列表,有趣的是,他們自己排在第一位。兩者都把自託管看成一個單一的決策。但實際上,它包含四個決策,而真正可能對你造成傷害的,正是那些無人問津的方案。.

我從6月12日開始運行一個自架的AI代理集群:10多個品牌容器,每個容器都運行一個Claude Code代理,並設定了定時任務。這篇文章是由其中一個代理商在凌晨0點05分寫的,當時我還在睡覺。到目前為止,它已經運行了1940次。所以這不是基於演示版的購買指南,而是我在你安裝任何東西之前會告訴你的。.

到最後,您將了解「自託管」的真正含義,對於您這種規模的企業來說,四層架構中的哪一層值得擁有,哪種軟體適合哪項工作,以及在自託管代理獲取您的密碼之前需要回答的七個問題。.

自託管 AI 代理的真正面貌:四層結構,而非單層結構

自託管人工智慧代理

自託管 AI 代理程式是指運行在您控制的機器(筆記型電腦、Mac Mini、VPS、公司雲端帳戶)上,而不是運行在供應商平台上的代理軟體。這是字面上的定義。更實用的說法是,每個代理程式都由四個層建構而成,您可以分別自行託管每一層。.

  1. 模型(大腦)。. 負責推理的大型語言模型。自託管意味著在自己的 GPU 上運行 Llama、Qwen 或 DeepSeek 等開源權重。租用則表示需要呼叫 Anthropic、OpenAI 或 Google 的 API。.
  2. 運行時(主體)。. 循環程式:讀取指令、呼叫模型、使用工具、檢查結果、重複。 OpenClaw、n8n、Agent Zero 和無頭運行的 Claude Code 都是執行時間環境。.
  3. 內存(筆記本)。. 代理程式會將它學到的知識和它執行的操作保存在哪裡:檔案、資料庫、向量儲存、日誌。.
  4. 雙手(鑰匙)。. 代理用於與外界互動的憑證、工具和網路路由。例如:API金鑰、您的電子郵件登入資訊、您的WordPress密碼以及其存取網際網路的權限。.

大多數指南只介紹到第三篇。 Runpod 的 私人代理人指南, 目前位於第一頁的文章將自託管堆疊分為推理、編排和記憶體三個層級,並指出推理層對隱私最為重要。如果你擔心的是……,那麼這種說法是正確的。 誰會讀取你的數據. 如果你擔心的是 代理人能做什麼, 其中最重要的一層是第四層,但它並沒有顯示在圖中。.

這就是為什麼這種區別對你很重要。即使你在自己的伺服器上運行每一層,仍然可能出現代理清空郵箱、發布錯誤內容或洩露密鑰的情況,因為自託管會遷移。 在哪裡 代理程式正在運行。它不會改變。 可以觸摸的東西. 先記住這一點;我們稍後會用數字來討論它。.

為什麼大家突然都在找自架人工智慧代理?

一群小型機器人從箱子裡爬出來,連接到家用伺服器上,2026 年自架代理商激增

一年前,這個詞幾乎還不存在。 DataForSEO 的數據顯示,現在它在美國的平均月搜尋量約為 5400 次,僅 9 月就達到了約 22200 次。這主要歸功於三個因素。.

OpenClaw效應

OpenClaw 是一款獲得 MIT 許可的個人智慧助手,你可以透過 WhatsApp、Telegram 或 Discord 與之聊天。它讓「一個運行在我電腦上並能做事情的人工智慧」變得習以為常。它的創始人 Peter Steinberger 於 2026 年 2 月 14 日宣布加入 OpenAI,該計畫隨後轉至一個獨立的基金會。 本文介紹了在配備 8GB 記憶體的 M1 Mac Mini 上運行該程式的體驗。 典型的流程是:Docker、定時任務、Slack訊息,以及作為核心的雲端模型,因為本地模型無法處理15,000條指令。我正在寫一篇關於OpenClaw的對比評測,所以這裡就只寫這一段。.

隱私和資料駐留

那些無法將客戶資料發送給第三方的企業(例如醫療、法律、金融等受GDPR約束的行業)也希望將核心系統保留在公司內部。這的確是合理的理由,也是GPU廠商設計GPU的初衷。.

擺脫按座位計價的模式

代理平台通常按使用者或任務收費。 ibl.ai 的 成本表 按席位計費的產品,5,000 人工作負載的定價為每月 $150,000 至 $300,000。同樣的代幣,透過 Claude API 直接使用,價格約為 $1,050,而使用自架的開源權重,價格則為 $3,000 至 $8,000。這是企業級比較,ibl.ai 也提供自架選項,但這種模式在小規模應用中同樣適用:按席位計費會限製成長,而擁有運行時則不會。.

請注意,其實只有第一個原因真正需要。 你 擁有任何特別的東西。另外兩個問題分別關乎型號和帳單,它們會導致截然不同的結果。.

值得了解的自託管人工智慧代理(按職業排序)

工作台上擺放著五個打開的工具箱,每個工具箱都對應著不同的自架代理類型。

首頁上的每篇清單文章都會列出 8 到 10 種工具,彷彿它們之間存在著競爭關係。但實際上,它們之間大多並不競爭。應該先確定工作內容,然後再選擇工具。以下是簡要說明。.

這份工作範例適合哪些人首先要檢查什麼
你與之聊天的私人助理OpenClaw,Agent Zero有人希望透過手機處理收件匣、行事曆和待辦事項。它的技能來自哪裡,以及誰可以向它發送訊息。
包含 AI 步驟的工作流程n8n,風車具有明確觸發條件的可重複流程:新線索、新發票、新表單輸入授權條款以及哪些功能需要付費(稽核日誌、單一登入)
文件中的答案Onyx,AnythingLLM一個團隊在 Drive、Notion 和 Confluence 上提出問題它是否尊重誰有權查看哪些文件
與當地模特兒私聊Open WebUI + Ollama,Jan任何想要使用 ChatGPT 式聊天功能但又不希望資料離開機器的人你的硬體。小型硬體足以應付聊天,但不足以長時間運行代理程式。
依照既定時間表執行業務任務的無頭代理Claude Code 在 Docker 中(我的配置)一位運營商希望代理程式能夠無人值守運行並傳回結果。你交給它的每一個憑證和網路路由

清單文章忽略了三個重點。.

真正的差別在於治理,而不是功能。. Pinchy's 比較 這是搜尋引擎結果頁面 (SERP) 上唯一一個根據權限和審計追蹤來評判平台的頁面。它是由一家廠商撰寫的,旨在對其產品進行排名,因此請謹慎對待,但其評判標準是正確的。例如,它指出 Windmill 的免費版限制使用者數量為 50 個,審計記錄保留時間為 14 天;Pinchy 的代理程式在初始狀態下沒有任何工具,需要管理員逐一授權。無論你選擇哪個平台,都要了解以下兩點:它的預設功能以及你可以查看其操作記錄的時間。.

“「開源」並不等於「安全運作」。. 開源意味著你 能 審核一下。但這並不代表已經有人審核過你即將安裝的技能。更多相關資訊請參閱威脅部分。.

如果您只需要工作流程作業,則可能根本不需要代理程式。. 在廉價的VPS上自託管一個n8n實例就能處理大部分「當X發生時,執行Y」的任務。我如實計算了這種方案的成本。 n8n 自託管:第一天後的真實成本, 以及單一命令本地堆疊 自託管人工智慧入門套件拆解.

潛在客戶開發人工智慧策略手冊,營運商的人工智慧自動化策略手冊

取得人工智慧策略手冊

我如何決定經紀人可以經手哪些業務,以及10家經紀人經營企業的真實月度收據,還有本週發生的各種突發事件。完全免費,隨時可以離開。.

引流工具 - AI 策略手冊

我的自架AI代理設定:擁有主體和控制權,租用大腦

一排密封的青色容器,上方有時鐘,每個品牌按計劃放置一個自託管代理容器。

這是我實際運作的四層分割法,於 2026 年 11 月 5 日在此容器內測量。.

  • 型號:租賃。. 克勞德透過 Anthropic 的 Max 20x 套餐購買了一台電腦,每月費用為 $200。電腦裡沒有獨立顯示卡。機箱顯示有 8 個 CPU、15 GB 內存,但沒有獨立顯示卡。.
  • 運行時:自架。. 每個品牌對應一個 Docker 容器。調度器會喚醒 Claude Code 執行一項任務(例如撰寫部落格文章、檢查電子郵件或安排社交媒體活動),Claude Code 執行任務後,列印一行結果並退出。自 6 月 12 日以來,該容器已運行 20 項不同的任務,共 1940 次。.
  • 記憶體:自架,以純檔案形式儲存。. 說明、技能和課程都儲存在我可以開啟和閱讀的 Markdown 文件中。沒有向量資料庫。這種基於文件的記憶體是如何增長的(以及為什麼需要修剪它)是…的主題。 星期一神話.
  • Hands:自託管,也是風險最高的一層。. 容器保存其任務所涉及的每個服務的 API 金鑰。這就是真正執行任務的代理的代價。.

我不親自託管該模型的原因已在文中闡述。 我自託管的AI伺服器帖子, 所以我就不贅述了。簡而言之:一台能夠獨立執行長篇指令的本地模型需要性能卓越的晶片,而租用一台比電費加上我的時間成本還要便宜。.

我在這裡要補充的是,擁有運行時環境為我帶來了哪些託管代理平台所不具備的優勢:

  • 每次運行都會留下我控制的收據。. 在1940筆日誌中,1571筆以成功告終,216筆故意跳過,43個失敗,2個降級,還有108個根本沒有記錄結果。最後一個數字令人尷尬,而我之所以知道,是因為這些日誌都是我的。如果使用平台控制面板,應該會顯示綠色對勾。.
  • 是我寫的技能,而不是我下載的技能。. 該容器運行 39 個技能文件。這些文件均來自市場。這個選擇填補了下一節中最大的空白。.
  • 每個企業設定一個邊界。. 一個品牌的代理商無法讀取另一個品牌的金鑰,因為它們存放在不同的容器中。一旦其中一個出錯,影響範圍就非常廣泛了。.

整個架構,包括調度器,都在以下文件中進行了描述: 我的代理作業系統在 139 天後的樣子, 而要做到這一點,需要付出怎樣的努力。 完全自主代理指南. 如果你寧願別人直接把東西做好交付給你,而不是慢慢學習,, 預約自動化策略會議 我們會將你的哪些工作歸入這樣的方格中。.

手部操作層:自架人工智慧代理究竟會洩漏什麼

一隻機械手握著一串鑰匙,放在一個玻璃盒子裡,光線從通風口漏出來,盒子外放著一個可疑包裹。

Civic的文章 OpenClaw 應該託管在哪裡? 我會把這句話寫進每一份自託管指南裡:「任何託管服務商都不會管你的代理程式運行後會做什麼。」 自託管意味著你要自己當安全團隊。以下是三種入侵途徑,並附有實際數據。.

喬恩瓊斯

⚡ 取得人工智慧優勢

每週提供真正省時省錢的AI小技巧。沒有廢話,沒有誇大其詞——只有切實有效的方法。.

訂閱電子報 - 部落格行動號召

1. 你安裝的技能

代理商透過安裝技能來發展壯大,技能市場就是新的 npm。 2026 年 2 月,Koi Security 對 2,857 個 ClawHub 技能進行了審計,並將其中 341 個標記為惡意技能,約佔當時註冊表的 12%。 Snyk 的 ToxicSkills 研究 (2026年2月5日)掃描了來自 ClawHub 和 skills.sh 的 3,984 個技能:36.82% 至少存在一個安全漏洞,76 個技能已確認攜帶惡意負載。技能的運作依賴於你的代理人能夠存取的任何資源。安裝技能就相當於把你的金鑰交給一個寫了個漂亮 README 文件的陌生人。.

2. 你敞開的前門

個人代理程式的設計初衷就是為了接收訊息。這意味著需要一個監聽連接埠或聊天橋接器,並且必須有人被允許與之通訊。 SecurityScorecard 報告稱,有超過 4 萬個 OpenClaw 實例暴露在互聯網上,其中許多實例的身份驗證薄弱或缺失。我的代理程式完全沒有前端入口:沒有任何監聽機制,它們由調度程式啟動,並透過單向 Telegram 警報進行報告。這是我刻意為之的。我放棄了與它們聊天,以消除入站攻擊面。.

3. 內部已有的鍵與路由

即使您從未安裝任何技能或打開任何端口,此規則也適用。以下是我的容器列表,按名稱計數,而非按值計數:

  • 113 個環境變量,, 其中29個名稱包含KEY、TOKEN、SECRET或PASS。. 任何能運作的東西 環境 可以閱讀全部 29 行。.
  • 主機上的 8 個非系統掛載點,, 其中一個是Google服務帳戶金鑰文件.
  • 開啟出站網路。. 對 example.com 的普通請求回傳了 200。被誘騙向某地發送資料的代理人可以做到這一點。.
  • 好消息是:非 root 使用者(uid 1001),沒有 Linux 功能,沒有 Docker 套接字,也沒有 SSH 金鑰。.

可讀的秘密資訊加上開放的出口通道,就構成了一條資料外洩路徑。我之所以這樣描述我自己的系統,是因為否認這一點會害人害己。完整的洩漏清單和五項自查命令都在這裡。 我的 Claude Code 沙盒帖子; 代理方的強化措施正在進行中 克勞德代碼安全指南.

任何自架代理取得您的密碼前,需要問您七個問題

  1. 所有技能都源自於哪裡? 是你寫的,還是你能說出名字並讀過的人寫的?如果不能回答,就不要安裝。.
  2. 誰能和它對話? 列出所有可以向其發送指令的通道。每個通道都是一扇門。.
  3. 每個工作實際需要哪些密鑰? 一份工作,一套密鑰。絕不使用主登入帳號。.
  4. 它能否在無人操作的情況下匯款、刪除資料或向客戶發送電子郵件? 如果答案是肯定的,請先新增審核步驟。.
  5. 它在網路上的覆蓋範圍有多廣? “預設值為”任意位置”。請決定是否可以接受。.
  6. 它可以編輯自己的指令或權限嗎? Civic 指出,OpenClaw 的權限檢查與代理程式運行在同一個進程中。我的程式也可以編輯自己的設定檔。務必了解你的程式是如何運作的。.
  7. 明天你會知道它今晚做了什麼嗎? 你親自閱讀的日誌勝過你信任的儀錶板。.

自託管 AI 代理的成本:硬體、API 和您的時間

以天平稱量顯示卡、硬幣和沙漏,可以估算出自託管人工智慧代理的成本。

共有三份帳單,但大多數比較結果只顯示其中一份。.

法案 1:硬件

如果你租用模型,運行時所需的記憶體非常少。 Ken 的代理程式運行在一台 8GB 記憶體的 Mac Mini 上。我的整個代理程式群組運行在一台沒有獨立顯示卡的中階 VPS 上。如果你自行託管模型,記憶體佔用就會大幅增加。 Runpod 的指南指出,一個 70 億的模型在量化到 4 位元時大約需要 4 到 5 GB 的顯存,而一個 700 億的模型即使量化到 4 位元也需要大約 35 到 40 GB 的顯存。這已經是資料中心級 GPU 的範疇了,小型模型很難處理代理程式所需的長指令。.

法案 2:模型

我每月統一給 Claude 買 $200 件,涵蓋所有品牌,我逐行列出了具體費用。 人工智慧開發人員的實際成本是多少?. 按代幣付費的 API 也行得通;ibl.ai 在 Claude Sonnet 上每月處理 1 億個輸入代幣和 5000 萬個輸出代幣,費用約為 $1,050,這足以讓你了解其規模。對於每天只運行少量任務的小型企業來說,這種模式的費用通常低於單一 SaaS 用戶的費用。.

法案 3:你的時間(永遠不在考慮範圍內的時間)

自託管意味著你要承擔更新、憑證失效、令牌過期以及凌晨兩點故障等所有風險。我的日誌顯示,有 43 次運行直接失敗。追蹤前 40 次失敗後,發現 38 次是社群媒體調度器的登入令牌過期,1 次是圖片壓縮配額耗盡,還有 1 次是 SEO 數據帳戶餘額為零。. 沒有一個是模特兒。. 這才是真正的運作成本:管道系統,而不是智力。我撰寫了確保其可控的可靠性實踐指南。 Claude Code 無人運行的最佳實踐.

經驗法則:如果您每週都抽不出一個小時來閱讀日誌和輪換密鑰,那麼無論發票上寫著什麼,託管代理平台都比自託管更便宜。.

何時不應運行自託管 AI 代理

空蕩蕩的桌子上放著一台筆記型電腦和一盞雲朵燈,角落裡有一個蓋著蓋子、關著電的伺服器機架。

我喜歡自架。但在以下五種情況下,我還是會勸阻大多數人不要這樣做。.

  • 你只有一兩個簡單的工作流程。. 使用提供免費套餐的託管工具即可實現,而且無需任何人修補伺服器。.
  • 沒人會去看日誌。. 無人值守的智能體風險極大。如果你打算這麼做,那就選擇內建安全機制、且所有操作都需要人工核准的系統。.
  • 你真正的目標是「私聊」。. 安裝一個本機聊天應用,使用小型模型即可。您無需安裝包含企業金鑰的代理程式執行環境。.
  • 這項工作需要具備前沿思維的人才,數據也不能外洩。. 這是一個需要GPU開發的項目,預算也需要專門用於GPU,而不是週末就能完成的安裝項目。應該按照GPU開發專案的標準來規劃。.
  • 你原本打算安裝市場技能,讓它發揮作用。. 如果代理程式只有在你沒看過的程式碼下才能發揮作用,那麼你不是在自己託管代理程序,而是在託管別人的代理程式。.

反之,在以下情況下,它顯然物有所值:您有定期運行的重複性工作,您需要收據,您討厭按席位付費,並且您願意像對待現金一樣對待證書。這正是它所針對的使用者群體。.

自架人工智慧代理常見問題解答

自託管 AI 代理與本地 LLM 相同嗎?

不。本地LLM只是模型層。自託管AI代理是運行時環境,它使用模型(本地或租用的)以及工具和憑證來執行操作。您可以自託管代理並呼叫雲端模型,這正是我所做的,也是第一頁上大多數運行範例所做的。.

我需要GPU才能自託管AI代理嗎?

只有當你也託管模型時才行。呼叫 Claude、GPT 或 Gemini 的代理程式在普通的 CPU 伺服器或小型桌上型電腦上也能正常運作。我的伺服器群沒有 GPU。.

自託管是否更具私密性?

部分如此。您的記憶體、日誌和憑證會保留在您的電腦上。但如果模型是租用的,則所有提示和工具結果仍然會發送給模型提供者。要實現完全隱私,則需要自行託管模型,並承擔相應的硬體費用。.

OpenClaw 可以安全地自行託管嗎?

核心程式是開源的,並且被廣泛使用。風險在於其周邊:第三方技能(Koi Security 在 2 月標記了 ClawHub 2857 個技能中的 341 個)以及未經適當身份驗證而暴露在互聯網上的實例。執行程式時,請勿使用您未閱讀過的市場技能,不要將其暴露在公共網路上,並盡可能減少金鑰數量。.

最便宜的入門方式是什麼?

一台小型VPS或一台始終在線的備用計算機,Docker,一個代理程序,一個定時任務,以及一個租用的模型。在新增第二個任務之前,請確保循環運作正常且可讀。.

自託管代理可以在沒有我監控的情況下運行嗎?

是的。我的機器已經按計劃運行了146天。但是「無人值守」並不等於「無人監控」。每次運行結束後都應該產生一個結果列表,你可以在第二天早上查看。.

最後總結:先擁有鑰匙,才能擁有盒子。

“「自架 AI 代理」聽起來像是決策。實際上它包含四個面向:模型、運行時環境、記憶體和執行操作。對於大多數個人創業家和小團隊來說,找到合適的分配方案可能比較枯燥。租用模型,擁有運行時環境和內存,然後把執行操作層當作收銀機一樣對待。.

無論你選擇什麼軟體,保障安全的關鍵都是一樣的。了解每項技能的來源,關閉所有不使用的權限,為每項任務指派專屬金鑰,並仔細閱讀其執行的操作。我的容器仍然有未關閉的出口,並且有 29 個可讀的密鑰。我知道這一點是因為我數過了,而計數本身就是全部工作。.

先設定一個代理、一個任務和一個日程安排。在獲取任何密碼之前,先執行這七個問題。如果你想讓其他人幫你審核哪些任務應該像我一樣放在同一個盒子裡,, 預約自動化策略會議.

潛在客戶開發人工智慧策略手冊,營運商的人工智慧自動化策略手冊

取得人工智慧策略手冊

這裡有10家代理商經營企業的核對清單、完成情況檢查和真實的月度收據,僅在有值得發送的內容時才會發送。完全免費,您可以隨時取消訂閱。.

引流工具 - AI 策略手冊
人工智慧行動指南-免費下載

📥 免費:《人工智慧劇本》

我用來經營一人代理公司的所有工具和工作流程。 25 年的行銷經驗濃縮成一份實用指南。免費贈送。.

引流工具 - AI 策略手冊

相關文章

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *