系列文第一篇「LM Studio 安裝優化部署」能在自己電腦離線使用 AI 模型,但終究無法像線上使用 ChatGPT 那樣暢快,因為本地 AI 的回答只能侷限於訓練資料庫,無法即時上網更新最新資訊。
因此就我個人而言,詢問具有時效性的問題,會直接打開瀏覽器詢問各種雲端 AI。其他不須上網的需求,例如寫小型 Code,再交由本地 AI 處理。
但前一篇也提到,會建構本地 AI 的族群,主要考量是隱私權,不希望機密文件、公司商業檔案外流,所以讓本地 AI 有連網搜尋功能是相當必要的。例如研究機構、公司內部的商業分析報告,可使用本地 AI 執行分析,並連上網取得公開數據資料,進行比對、分析、驗證。或許本地 AI 受限於硬體,比不上雲端 AI 的速度,效率沒有比較好,但此時資料安全性才是考量的第一要務。
接下來延伸系列文主軸,進行實測本地 AI 連網的功能。我選擇最熱門、有圖形界面的 Open WebUI,因為實測內容比較長,本篇先說明 Open WebUI 安裝操作上的問題,下一篇則是如何改善連網搜尋品質。
部署本地 AI 系列文章:
一、Open WebUI 安裝方式
1. 介紹 Open WebUI 是一個免費開源、非常熱門的本地 AI 前端圖形介面工具。因為只是前端操作界面,必須搭配後端伺服器例如 LM Studio、Ollama,才能載入 AI 模型使用。他提供了類似 ChatGPT 的聊天介面,支援 AI 模型切換、網路搜尋、知識庫(RAG)、工具呼叫等功能。 2. 安裝方式比較 根據「 Open WebUI 官網文件」,安裝方式有 4 種:- Docker:
- 作為管理工具很方便,但 Docker 無法指定安裝路徑,後續安裝的所有檔案、需要配合的底層工具,也都不受控的遍布在 C 槽各處
- 安裝 AI 工具一下子就佔用幾十 GB 空間,C 槽空間很快會大爆炸。
- 雖然這是官方推薦首選的安裝方式,但我個人不喜歡造成的後果,所以本篇未提供此安裝流程,如需要教學可參考這篇「Open WebUI + Docker 離線部署全攻略」。
- pip:
- 系統需要先安裝 Python 環境,由官方套件 pip 來安裝 Open WebUI
- Open WebUI 版本與 Python 版本有依存性關係,官方建議使用 Python 3.11
- uv:
- 需先下載安裝 uv 管理工具
- uv 可決定 Open WebUI 版本與對應的 Python 版本
- 桌面版:
- 最簡單的安裝方式,下載安裝檔後,會自動安裝 python 環境及必要檔案
二、Open WebUI 部份版本 bug
1. 0.9.6 版問題 可惜的是,目前我下載的版本 0.9.6 有 bug,情況如同這個官方 bug 回報「Web search results not passed to model after upgrading to v0.9.6」,有人反應版本升級到 0.9.6 以後,網路搜尋結果無法傳遞給 AI 模型,會導致連網搜尋根本沒作用。
上圖是我遇到的狀況,AI 搜尋了 6 個網站,但最後卻返回「未找到任何來源」,然後顯示現有資料庫中最後日期 2024 年的天氣...
展開「未找到任何來源」可看到 AI 網路搜尋的所有動作,並沒有偷懶,代表 AI 模型、搜尋引擎都有正常運作,而 Open WebUI 最後捨棄了所有資料。
2. 建議安裝 0.9.4 版
我往下一路裝 0.9.5 版,直到 0.9.4 版才沒問題,所以目前只推薦安裝這個版本。
因為最新的兩個版本都沒改善這個現象,也不確定將來的 0.9.7 版能否修正,所以如果要更新版本的話,也許版本 0.10.x 以後再嘗試比較保險。
三、Open WebUI 桌面版
因為桌面版的安裝最簡單,也是我最先測試的安裝方式,但先說結論:- 桌面版會自動安裝 Open WebUI 最新版本,但我安裝時的最新版本 0.9.6 有 bug
- 桌面版無法降版本,所以需要自行查「Github 官網 release」,看看最新版本為何,也許版本 0.10.x 以後再嘗試安裝桌面版比較保險
- C:\Users\使用者名稱\AppData\Local\Programs\open-webui
- C:\Users\使用者名稱\AppData\Roaming\open-webui
四、Open WebUI 使用 UV 安裝
跳過我原本最中意的桌面版後,現在改測試 uv 這個安裝方案,推薦的原因可參考黑暗執行緒這篇「一次搞定 Python 版本管理/套件安裝/虛擬環境的極速神器 - uv」。 1. 安裝 UV Windows 可打開命令提示字元,執行$env:UV_INSTALL_DIR = "E:\uv"
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
其中 "E:\uv" 請改為你的安裝路徑。
2. 設定資料夾、環境變數
繼續執行以下指令:
setx UV_CACHE_DIR "E:\uv\cache"
$env:UV_CACHE_DIR = "E:\uv\cache"
setx UV_TOOL_DIR "E:\uv\tools"
$env:UV_TOOL_DIR = "E:\uv\tools"
- 以上指令分別設定快取、工作資料夾
- 所有路徑請改為自訂路徑
$env:Path = "E:\uv"
uv cache dir
uv tool dir
3. 安裝 Open WebUI
繼續依序執行以下指令:
$env:DATA_DIR="E:\OpenWebUI"
uvx --python 3.11 [email protected] serve --host 127.0.0.1 --port 8080
- 安裝資料夾請改為自訂路徑
- 官方文件教學範例使用的 Python 版本就是 3.11
- 如果想安裝不同的 Open WebUI 版本,請改
0.9.4 這個字串,但目前 2026 年 6 月最安全的版本就是 0.9.4
@echo off
set DATA_DIR=E:\OpenWebUI
uv tool run --python 3.11 [email protected] serve --host 127.0.0.1 --port 8080
- 資料夾路徑改成跟前面安裝的一樣,指定 DATA_DIR 的好處是,工作檔案會存放在指定路徑,才不會存在 C 槽
- 可改用自訂版本號
- 將來要啟動 Open WebUI 執行這個 bat 檔即可
五、Open WebUI 使用 PIP 安裝
如果你的系統已有、或習慣使用 python 環境,以下提供 PIP 安裝流程。需要注意的是,python 要使用 3.11 版。 如果搭配下一篇系列文來看的話,PIP 安裝方式反而是 Open WebUI 最方便的方案。 1. 安裝 Python Windows 可打開命令提示字元,執行以下指令:winget install -e --id Python.Python.3.11 --location E:\Python --scope user --accept-package-agreements
其中 "E:\Python" 請改為你的安裝路徑。
2. 設定環境變數
繼續依序執行以下指令:
set PIP_CACHE_DIR=E:\OpenWebUI\pip_cache
set HF_HOME=E:\OpenWebUI\hf_cache
- 以上指令分別設定快取資料夾
- 所有路徑請改為自訂路徑
E:\Python\python.exe -m pip install open-webui==0.9.4
- python 資料夾請改為自訂路徑
- 如果想安裝不同的 Open WebUI 版本,請改
0.9.4 這個字串,但目前 2026 年 6 月最安全的版本就是 0.9.4
@echo off
set HF_HOME=E:\OpenWebUI\hf_cache
open-webui serve --host 127.0.0.1 --port 8080
- 資料夾路徑改成跟前面一樣
- 將來要啟動 Open WebUI 執行這個 bat 檔即可
六、開始使用 Open WebUI
1. 防止被駭 前面 uv、pip 安裝或啟動指令中,會看到這個參數:--host 127.0.0.1 --port 8080
這是因為 Open WebUI 啟動時會預設開啟 netstat -ano | findstr :8080
可能會看到以下結果:
netstat -ano | findstr :8080
TCP 0.0.0.0:8080 0.0.0.0:0 LISTENING 17892
TCP 127.0.0.1:8080 127.0.0.1:58205 ESTABLISHED 17892
這會允許任何 IP 存取 INFO: Waiting for application startup.
此時可開啟瀏覽器,進入以下網址,正式使用 Open WebUI:
http://localhost:8080/
3. 建立帳號
首次執行會要求建立帳號,填入名稱、郵件、密碼即可。
4. 連線 LM Studio
開頭有提過,Open WebUI 必須搭配後端伺服器,才能載入 AI 模型,本系列文以 LM Studio 的操作來舉例。
如上圖操作:
- 點擊最左側的紅框圖示(Developer) → Local Server,可啟動伺服器
- 上方紅框處 Status 是 Running(綠色開啟)的狀態
- 紅色底線網址右邊的複製圖示,點擊可複製伺服器位址
http://127.0.0.1:1234/api/v1/models
如果有返回 AI 模型資料,就代表伺服器正常運作。
啟動 Open WebUI,點擊右上角或左下角的帳號圖示 → 管理員控制台 →「設定」→「連線」→ 點擊上圖紅框的齒輪圖示進行編輯,設定正確的 OpenAI 伺服器網址後按「儲存」即可,網址貼上之前在 LM Studio 複製的伺服器網址,後面加上 "/v1" :
http://127.0.0.1:1234/v1
連上伺服器後,Open WebUI 主頁面就能選擇 AI 模型了。
六、搜尋功能設定
1. 設定連線 開始搜尋之前,須先進行網路搜尋相關設定。一樣按照之前步驟,點擊帳號圖示 → 管理員控制台 → 設定 → 網路搜尋:
- 開啟「網頁搜尋」
- 「網頁搜尋」我們先選擇可免費使用的「DDGS」(DuckDuckGo)
- 「DDGS 後端」隨便選一個,例如 Bing 搜尋引擎
- 如果選擇免費使用的搜尋引擎,建議「平行請求」改為 1,代表 "依序搜尋"。如果使用預設值 0,同時送出多個搜尋請求,可能三兩下就會被搜尋引擎封鎖(例如 Google),很長一段時間無法再使用。
- 改完記得按右下角「儲存」
Open WebUI 的對話預設不會連網,如果需要 AI 連網搜尋資訊時,如上圖點擊對話框下方的圖示 → 開啟「網頁搜尋」,讓地球圖示出現,AI 就會上網搜尋了。
以上是使用 Open WebUI 在正式開始第一個搜尋之前,需要搞定的所有繁複安裝、設定,然而接下來還有更多、更複雜的問題要解決。
想要搜尋結果符合需求、符合預期,其實是相當困難的,如何提昇搜尋結果的品質,系列文下一篇會進行詳細的實測與說明。
部署本地 AI 系列文章:
沒有留言:
張貼留言注意事項:
◎ 勾選「通知我」可收到後續回覆的mail!
◎ 請在相關文章留言,與文章無關的主題可至「Blogger 社團」提問。
◎ 請避免使用 Safari 瀏覽器,否則無法登入 Google 帳號留言(只能匿名留言)!
◎ 提問若無法提供足夠的資訊供判斷,可能會被無視。建議先參考這篇「Blogger 提問技巧及注意事項」。
◎ CSS 相關問題非免費諮詢,建議使用「Chrome 開發人員工具」尋找答案。
◎ 手機版相關問題請參考「Blogger 行動版範本的特質」→「三、行動版範本不一定能執行網頁版工具」;或參考「Blogger 行動版範本修改技巧 」,或本站 Blogger 行動版標籤相關文章。
◎ 非官方範本問題、或貴站為商業網站,請參考「Blogger 免費諮詢 + 付費諮詢」
◎ 若是使用官方 RWD 範本,請參考「Blogger 推出全新自適應 RWD 官方範本及佈景主題」→ 不建議對範本進行修改!
◎ 若留言要輸入語法,"<"、">"這兩個符號請用其他符號代替,否則語法會消失!
◎ 為了過濾垃圾留言,所有留言不會即時發佈,請稍待片刻。
◎ 本站「已關閉自刪留言功能」。