自託管 AI 入門套件：免費運行您自己的 AI 堆疊

每次您將資料傳送至 ChatGPT、Claude 或任何雲端 AI 服務時，您的業務資訊就會失去您的控制。 自託管人工智慧入門套件 n8n 改變了這一切——為您提供一個完整的 AI 堆棧，可在您自己的硬體上運行，完全免費。.

無需每月支付 API 費用。無需擔心資料隱私問題。無需擔心廠商鎖定。只需 Docker 和幾個終端命令，即可運行媲美企業級解決方案的本地 AI 工作流程，而企業級解決方案通常需要花費數千美元。.

這裡包含了關於設定、內部構造以及實際可用它所建構的內容的所有資訊。.

什麼是自架人工智慧入門套件？

這 自託管人工智慧入門套件 是 n8n 建立的開源 Docker Compose 範本。它將運行本地 AI 工作流程所需的一切——語言模型、向量資料庫、工作流程自動化平台和 PostgreSQL 資料庫——全部打包在一個命令中。.

把它想像成一個預先建置的 AI 實驗室，運行在你的筆記型電腦或伺服器上。你無需將各個工具拼湊在一起，也無需祈禱它們能夠相互通信，而是可以直接獲得一個開箱即用的全套解決方案。克隆倉庫，運行 docker compose up, 這樣，你就能在幾分鐘內建立出人工智慧自動化流程。.

它專為實驗和概念驗證工作而設計，但其組件本身（n8n、Ollama、Qdrant、PostgreSQL）是數千家公司使用的生產級工具。.

為什麼選擇自架 AI 而不是使用雲端 API？

雲端人工智慧API很方便，但它們也存在一些實際的弊端，大多數小型企業主直到收到帳單或客戶詢問資料去向時才會意識到這些弊端。.

• 成本控制。. API 呼叫次數會迅速累積。繁忙的 AI 工作流程僅 GPT-4 一項，每月就可能消耗 $50-200 次呼叫。而像 Llama 3 和 Mistral 這樣的本地模型，下載後即可免費運行。.
• 資料隱私。. 自託管模式下，您的客戶資料、內部文件和業務流程始終保留在您的網路內，無需簽署任何第三方資料處理協議。.
• 零利率限制。. 雲端 API 會在高峰時段或達到使用上限時限制您的速度。而您自己的技術堆疊則會根據硬體效能，隨時隨地以最快的速度運作。.
• 無廠商鎖定。. 您可以隨意更換型號、組件或進行任何自訂。您無需受限於單一供應商的生態系統或價格變動。.
• 正常運作時間由您掌控。. 無需等待 OpenAI 修復故障。只要您的機器正常運作，您的本機堆疊就會一直運作。.

缺點是什麼？本地模型在複雜推理方面不如 GPT-4 或 Claude 強大。但對於大多數業務自動化任務——例如電子郵件分類、文件摘要、常見問題和資料提取——它們已經綽綽有餘。.

套件包含哪些物品

這個入門套件將四個經過實戰檢驗的開源工具打包到一個 Docker Compose 檔案中。每個工具都負責處理 AI 技術堆疊中的特定任務：

• n8n（工作流程自動化）。. n8n 是整個營運的核心。它是一個低程式碼自動化平台，擁有 400 多個整合。您可以直觀地建立 AI 工作流程——只需拖放、連接即可。它能夠處理從觸發新郵件到將 AI 回應路由回 CRM 的所有操作。.
• Ollama（本地人工智慧模型）。. Ollama 讓運行大型語言模型變得無比簡單。只需一條指令即可下載 Llama 3、Mistral、Gemma 或數十種其他開源模型。無需支付 GPU 租賃費，也無需 API 金鑰。.
• Qdrant（向量資料庫）。. 這就是賦予人工智慧記憶能力的原因。 Qdrant 儲存文件嵌入訊息，因此您的工作流程可以使用語義搜尋（而不僅僅是關鍵字匹配）來搜尋您的業務文件、知識庫和歷史資料。.
• PostgreSQL（關聯式資料庫）。. 結構化資料的可靠主力軍。儲存工作流程歷史記錄、使用者資料、對話日誌以及自動化流程需要持久保存的任何其他資料。.

這四個組件共同構成了一個完整的AI開發環境。您可以建立RAG管道（檢索增強生成）、AI代理、文件處理器和聊天機器人——所有這些都可以在本地運行。.

如何設定自架 AI 入門套件

您需要預先安裝以下兩項： Docker 和 Docker Compose. 如果您使用的是 Mac，請下載 Docker Desktop. 在Linux系統上，安裝Docker Engine。這是唯一的前提條件。.

以下是詳細的設定步驟：

1. 克隆倉庫。. 打開終端機並運行 git clone https://github.com/n8n-io/self-hosted-ai-starter-kit.git 然後 cd 自託管 AI 入門套件
2. 複製環境文件。. 跑步 cp .env.example.env 並更新密碼和密鑰。千萬不要跳過這一步－預設密碼有安全隱患。.
3. 選擇您的硬體配置。. 該套件根據您的機器支援三種模式。.
4. 啟動堆疊。. 為您的設定檔執行 Docker Compose 命令（請參閱下文）。.
5. 訪問 n8n。. 打開 http://localhost:5678 在瀏覽器中建立管理員帳戶，即可登入。.

按硬體劃分的 Docker Compose 指令：

# NVIDIA GPU docker compose --profile gpu-nvidia up # AMD GPU (僅限 Linux) docker compose --profile gpu-amd up # 僅 CPU (無 GPU) docker compose --profile cpu up

Mac 用戶： Mac 上的 Docker 無法直接存取 GPU。您有兩個選項：完全在 CPU 上運行（速度較慢但可行），或者在 Mac 上原生安裝 Ollama 並將 Docker 堆疊指向 GPU。 host.docker.internal:11434. 原生選項使用 Apple Silicon 的 GPU 加速，實際上比 Docker CPU 方案更快。.

首次執行使用 AI 模型的流程時，Ollama 會自動下載模型。例如，Llama 3 8B 這樣的模型大小約為 4.7 GB。首次下載後，該模型會被快取到本機。.

你可以用它建造什麼

這個入門套件不僅僅是一個技術演示。它包含了小型企業從第一天起就可以建立的實用工作流程：

• 客戶支援聊天機器人。. 將您的常見問題解答文件和產品手冊匯入 Qdrant，然後建立一個使用 RAG 系統回答客戶問題的 n8n 工作流程。人工智慧會從您的實際文件中提取訊息，而不是憑空捏造。.
• 郵件分類和自動回覆。. 將 Gmail 連接到 n8n，即可按郵件意圖（支援、銷售、垃圾郵件）對收到的郵件進行分類，自動撰寫上下文相關的回复，並將緊急郵件發送到您的手機。所有操作均無需將您的電子郵件資料傳輸到外部伺服器。.
• 文檔摘要器。. 將 PDF 檔案拖放到共用資料夾中。 n8n 工作流程會自動讀取這些文件，透過 Ollama 進行摘要，並將關鍵資訊儲存到 PostgreSQL 資料庫中。非常適合用於合約、報告或研究論文。.
• 首席資格認證代理人。. 將您的 CRM 或表單提交資料連接到 n8n。人工智慧會根據您的標準對潛在客戶進行評分，並添加背景訊息，然後自動將優質潛在客戶引導至您的銷售管道。.
• 內部知識庫。. 將您的標準作業程序、訓練資料和公司維基索引到 Qdrant 中。建立一個 Slack 機器人或網頁介面，讓您的團隊能夠提出問題並獲得基於實際流程的答案。.

這些並非假設——它們正是我們為客戶所建立的工作流程類型。 JonJones.AI. 差別在於，我們通常使用雲端人工智慧進行繁重的推理，而使用自架工具處理所有涉及敏感資料的操作。如果您想了解更多信息，請繼續閱讀。 人工智慧代理實際上可以為小型企業做些什麼, 我們將對此進行詳細分析。.

如何為您的工作流程選擇合適的模型

Ollama 為您提供了數十種開源模型。選擇合適的模型取決於您的硬體和您正在建立的專案。以下是一份實用指南：

• Llama 3 8B（約 4.7 GB）。. 全能型軟體。支援分類、摘要、問答和基本推理。在 16GB 記憶體的機器上也能流暢運作。從這裡開始。.
• Mistral 7B（約 4.1 GB）。. 快速高效。非常適合那些速度比深度更重要的任務——例如郵件分類、簡單資料提取和快速分類。.
• Llama 3 70B（約 40 GB）。. 性能顯著提升。在許多任務中，其質量接近 GPT-4。需要 64GB 以上的記憶體或強大的 GPU。如果您擁有相應的硬件，則非常值得購買。.
• Nomic Embed（約 274 MB）。. 這不是聊天模型——它會為你的向量資料庫創建嵌入。這對於需要跨文件進行語義搜尋的 RAG 工作流程至關重要。.

執行以下命令即可下載任何模型 ollama pull 模型名稱 在 Ollama 容器內，或讓 n8n 在工作流程首次呼叫模型時自動觸發下載。.

哪些人應該（以及不應該）使用此工具包

如果您符合以下條件，那麼這套工具包適合您：

• 您處理敏感的客戶數據，不能將其發送給雲端人工智慧提供者。
• 您每月在 AI API 費用上花費超過 $100 美元，並且想要降低成本。
• 你想嘗試人工智慧自動化，但又不想購買付費工具。
• 您能夠熟練地運行終端和基本的 Docker 命令。
• 你需要全天候運作且無使用限制的AI工作流程。

如果您符合以下情況，則此套件不適合您：

• 對於複雜任務，你需要GPT-4等級的推理能力（局部模型目前還達不到這個等級）。
• 您的可用記憶體少於 16 GB
• 想要無需任何技術設定就能使用的產品？試試這個！ 基於雲端的人工智慧工具 反而
• 您需要從一開始就具備生產級可靠性（這是一個入門套件，而不是生產部署）。

從入門套件到生產

入門套件顧名思義，只是一個起點。在本地驗證了您的 AI 工作流程後，以下是如何使其適用於實際業務應用：

• 遷移到虛擬專用伺服器（VPS）。. 在雲端伺服器（DigitalOcean、Hetzner 或專用 GPU 伺服器）上執行您的堆疊，以便全天候訪問，而無需依賴您的筆記型電腦保持開機狀態。.
• 新增身份驗證。. 將 n8n 部署在反向代理（例如 Nginx 或 Caddy）之後，並啟用 HTTPS 和正確的身份驗證。預設配置未啟用 SSL。.
• 設定備份。. 安排 PostgreSQL 資料和 Qdrant 向量的自動備份。遺失向量索引意味著需要重新嵌入所有文件。.
• 監控資源。. 本地AI模型非常消耗記憶體。請密切注意您的記憶體和磁碟使用情況，尤其是在運行多個模型或處理大型文件時。.
• 考慮採用混合方法。. 對於日常任務和資料敏感操作，請使用本機模型。當準確度比隱私更重要時，請將複雜的推理任務路由到雲端 API（例如 GPT-4、Claude）。.

如果你想了解諸如此類的工具是如何運作的 克勞德·科德 它完美融入自託管工作流程，我們每天都用它來處理從內容自動化到部署腳本的各種任務。雲端人工智慧和本地人工智慧並非競爭關係，而是互補關係。.

立即開始

自託管式 AI 入門套件消除了本地 AI 入門的所有障礙。無需訂閱。無需 API 金鑰。沒有供應商鎖定。只有開箱即用的開源工具。.

克隆倉庫。運行 docker compose up. 在 n8n 中建立您的第一個 AI 工作流程。一旦您了解了本地 AI 的強大功能，您就會納悶為什麼之前還要為基本的自動化任務按代幣付費。.

需要協助為您的企業建立人工智慧自動化流程嗎？ 了解我們的諮詢服務 — 我們將根據您的業務需求，設計並建立精確的工作流程，無論是自託管、雲端託管還是兩者的混合託管。.