本地 AI 實戰(1)：LM Studio 安裝優化部署與免費模型選擇技巧

可免費使用的 AI 線上工具很多，我常用的有「ChatGPT / Claude / Gemini / Grok / DeepSeek」，交替著用到是不用擔心額度不夠。不過隨著 AI 火熱起來，全世界都面臨算力不夠的情況下，最近一些狀況讓我萌生在自己電腦安裝本地 AI 的念頭：

• 常用來寫 code 的 Claude，不時就告知訊息量已達到 5 小時限制
• 查詢資訊主力 ChatGPT 常常告知，上傳檔案的對話已達每日限制
• 能製圖的 AI 每日額度都很少，說不定還沒做出滿意的圖片前，就已經用完額度
• 網路使用熱門時段會被降速、降算力，甚至反應遲緩，用起來難受

如果不上網也能使用各種 AI 模型(也就是 LLM 大型語言模型)，作業就不會受到以上狀況影響，可說是買了個大保險。前幾年為了玩遊戲買的 nVidia 顯卡，雖沒什麼時間玩形同荒廢，但 AI 時代反而意外能讓其發揮最大效用。於是開始研究部署本地 AI 有哪些可行方案，目前主流界面有兩大選擇：

• Ollama：只能使用指令操作及下載模型，功能及擴充性強大，適合工程師，較不易上手
• LM Studio：圖形界面操作直覺(類似 ChatGPT)，下載模型及管理界面非常方便，功能及擴充性不及 Ollama，一般使用者也容易上手

目前多數選擇本地部署 AI 的使用者，考量點主要是隱私性，不希望機密檔案、文件、公司專案等資訊上傳網路後外洩，不一定像本篇是為了增加免費使用的便利性。但無論是何原因，由於本地 AI 工具的生態圈十分龐大，要研究的東西相當多，還沒接觸過就直接用 Ollama 的話挫折感一定很大，且工程師畢竟佔極少數，那麼比較建議先從 LM Studio 慢慢熟悉操作及生態。 本篇會說明 LM Studio 的安裝及使用，如何根據自己硬體配備挑選合適的 AI 模型，以及解決各種疑難雜症、環境優化的心得。

部署本地 AI 系列文章：

(圖片出處: Z-Image-Turbo)

一、LM Studio 安裝

1. LM Studio 介紹 LM Studio 是一款免費易用的 LLM 大型語言模型(例如 GPT-oss、Gemma、Llama、Qwen...)運行工具，可在自己電腦離線使用，主要特色包括：

• 直覺的圖形化介面，適合新手
• 支援 GPU 加速
• 內建 LLM 模型搜尋與下載
• Local Server(本地伺服器)功能

以上是簡單介紹，更多功能說明可參考這篇「LM Studio 完整使用教學」。 2. LM Studio 下載+安裝

• 官網：LM Studio
• 下載連結：Windows 最新版 LM Studio
• 文件說明：LM Studio文檔
• 安裝教學：LM Studio 安裝與使用教學、LM Studio 教學

二、各種 AI 模型特點

首次執行 LM Studio 是無法使用的，因為沒有內建 AI 模型，需要另行下載。在此之前，我們先了解目前熱門的、開放免費部署的 AI 模型有哪些，以及他們的特點：

• Gemma
  • 開發商：Google
  • 中文表現：英文為主，中文可接受，非強項
  • 特點：支援多模態(可處理多種類型資訊，例如圖形、影音內容)，主打輕量高效設計，適合多數用途
• GPT-oss
  • 開發商：OpenAI
  • 中文表現：主要英文訓練，中文表現一般
  • 特點：以純文字為主，推理能力強，適合作為 Agent、程式開發
• Llama
  • 開發商：Meta(Facebook)
  • 中文表現：經多語言訓練，中文表現良好
  • 特點：支援多模態，社群最龐大，生態成熟，微調工具多，是通用型 AI
• Qwen
  • 開發商：阿里巴巴
  • 中文表現：中文理解頂尖，第一選擇
  • 特點：有文字、視覺、推理等不同模型版本，生產線完整，適合中文寫作、文件分析、程式開發
• DeepSeek
  • 開發商：DeepSeek
  • 中文表現：中文理解頂尖
  • 特點：以純文字為主，某些模型支援多模態，數學、推理邏輯、程式開發能力極強，效能頂尖 CP 值高

三、如何根據硬體挑選 AI

我部署本地 AI 的主要目的是輔助寫 Code，一開始聽了 AI 建議下載 Qwen 2.5 coder 14B，結果執行速度超級悲劇，依照我的顯卡 RTX 4060，除了思考時間極久，處理完後每秒只能吐出 3~8 個 token(一個中文字可能要 1~2 個 token)，這樣還不如回去使用線上 AI... 所以如何根據硬體挑選 AI 模型版本極其重要，非常影響使用體驗。 1. AI 模型參數、量化參數 首先可參考這篇「LM Studio 模型訓練資料」→「模型參數」、「什麼是量化」這裡的內容，簡單說明一下：

• 模型參數：每個模型代號後面會有 xxB 這樣的數字參數，數字越大代表模型訓練量越大，知識量越多
• 量化參數：每個模型檔案都是好幾 GB，為了給不同硬體配備使用，同一個模型常提供不同壓縮比例的版本，不同的量化參數代表不同的檔案大小，類似 Q4_K_M 這樣

2. 我的硬體能跑哪個模型？ 了解以上概念後，接下來進入這個重要的工具網站，可以測出本機跑得動的 AI 模型版本：

• Can I Run AI locally?(我能執行本地 AI 嗎？)

如上圖，上方紅框 GPU 選擇顯卡型號、顯卡記憶體，以我的 RTX 4060 為例，下方綠字會顯示所有模型中，16 個表現極佳(Great)、5 個表現不錯(well)。 同時因為我的目的是寫 Code，下方紅框選擇「Code」可限縮挑選的模型。 往下捲直到看到篩選出一大片都是綠字(Great 與 Well)的模型，可以從這裡挑選喜歡的模型，判斷依據主要看 tok/s 這一欄就好，這個數據就是每秒生成幾個 token。 我的體感每秒 50 token 左右是可以接受的，所以：

• 寫程式主力大概要選 Qwen 2.5 Coder 7B(專為 coding 優化的模型)，每秒 46 token 還算過得去。
• Qwen 3 4B 也許可以作為輔助，雖然比 2.5 的版本新，但訓練參數只有 4B，上下文只能處理 32k(ctx 欄位)，不及 Qwen 2.5 Coder 7B 的 128k，用來寫小程式應該沒問題，而且處理速度超快。
• 其他處理速度飛快，但訓練參數 1.5B 這麼小的模型，就先不考慮了。

而寫 code 以外的需求，同樣按照以上要領來挑選模型即可。 從這個網站的篩選結果可以看出，我的 RTX 4060 記憶體只有 8G，跑訓練參數 9B 的模型已經是最緊繃的上限了，而且還跑不快。如果沒有特別專業的需求、任務，一般日常需求跑 4B 模型會是最順暢。若遇到困難任務、專業需求時，再來跑 8B 模型。 3. LM Studio 下載模型 決定好下載的 AI 模型後，回到 LM Studio，準備使用其最強大的模型下載管理工具：

• 左上方側邊欄選單，點擊紅框處「搜尋模型」(Model Search)圖示，或是按 Ctrl + Shift + M
• 如圖中舉例，上方搜尋框搜尋我要找的 Qwen 2.5 Coder 7B，找到 349 個結果
• 通常可找下載數最多、或喜歡數最多，我是同時判斷出處，選擇官方「Qwen」釋出的版本
• 右邊可看到可下載的版本相當多，每個量化參數的檔案大小都不同，但其實不用想太多，直接選擇 LM Studio 左方有打勾圖示那個就好了，系統會根據硬體設備推薦最適合的版本。

四、各種使用問題解決

1. 台灣用語模型 如果希望 AI 模型盡量使用符合台灣習慣的用語，那麼在搜尋模型時，加入 taiwan 關鍵字，就能找到一些特別訓練過的模型。如上圖，連我使用的 Qwen 2.5 Coder 7B 都有 taiwan 版。 2. 顯示繁體中文 許多 AI 用著用著會突然開始噴簡體中文，叫他用繁體中文也不聽、或是明著擺爛，想要強制對話顯示繁體中文的話，必須改系統提示詞： 如上圖，點擊右上角側邊欄開關圖示 → 點擊藍色按鈕(Configuration) → 系統提示詞填入以下內容即可： 你是來自台灣的專業助理，所有回答必須使用繁體中文，使用台灣當地的科技與生活用語，禁止使用任何簡體中文。 3. 減少 AI 廢話 有些 AI 回答有可能像 ChatGPT 一樣，提供太多情緒價值、客套話，簡單問題長篇解釋。如果希望回答簡單扼要，可以在系統提示詞加入以下敘述： 請用最簡潔扼要、結構清晰的方式回答問題。刪除客套話、開場白、結尾總結。除非我要求詳細說明，否則不要提供背景介紹、額外建議。 4. 自動載入模型 目前 LM Studio 沒有啟動時自動載入模型的功能，每次打開後都要手動選取模型，有點麻煩。 如果每次要使用的模型都一樣，可以按以下流程進行： A. 打開命令字元視窗，執行 lms ls 可列出所有模型名稱，記下要使用的名稱字串，例如 gemma-3-4b B. 製作一個 bat 檔，內容如下： @echo off lms server start lms load gemma-3-4b 藍字改成你的模型名稱字串，將來執行這個 bat 檔，就能啟動 LM Studio 順便載入模型了。

五、效能優化技巧

1. 安裝路徑 任何一個 AI 模型檔案都是好幾 G 起跳，跑本地 AI 很輕易會用掉 50~100 G 甚至更多空間，所以最好所有相關檔案別放在 C 槽，安裝資料夾務必選擇其他磁碟機。 然而安裝 LM Studio 後，系統會在 C 槽自動建立一個資料夾： C:\Users\使用者名稱\.lmstudio 從左下角齒輪圖示(App Settings) → General → 往下捲到 App Info 可看到，這個路徑就是「App Home directory」系統預設路徑，不得更改，麻煩的是光 LM Studio 系統檔案就已經佔據大量空間。另外所有下載的模型檔案，就放在此路徑下的 models 資料夾，那麼只要下載幾個模型檔後，C 槽立刻就會爆炸了。 建議使用 mklink 技巧，按以下步驟將系統資料夾搬到其他磁碟： A. 將 C 槽 .lmstudio 資料夾，剪下後貼到其他磁碟，例如 E:\AI B. 打開命令字元視窗，執行以下命令： mklink /D "C:\Users\你的帳號\.lmstudio" "E:\AI\.lmstudio" C. 成功後，進入 LM Studio，左下角齒輪圖示 → General → Models Directory → 將路徑改成新位置即可： E:\AI\.lmstudio\models 完成後 LM Studio 將不會佔用任何 C 槽空間。 2. 改善 AI 記憶力 有時聊天聊到一半，AI 會突然忘記前面的記憶？深究原因才知道原來是「上下文窗口」(Context Window)的限制，詳細原理請參考這篇「從 AI 記憶力談起：一次搞懂什麼是 Context Window」。 簡單說，無論是雲端或本地 AI，LLM 大型語言模型能處理的文字內容都有限制，對話內容超過限制時，系統會根據內定處理機制做出取捨，看起來就像某些對話忘記了。只是雲端 AI 支援的上下文長度比較大，我們不會那麼常察覺到，而本地 AI 預設的長度比較小，就會常常遇到了。 另外本機硬體設備也多半比不上雲端伺服器，若將上下文長度改太大，有可能記憶體不夠大導致處理不來，必須調整到一個適切值才行(同時若這個數值超出模型容許的最大值也是無效)。 如果硬體限制真的無法調太大，比較簡單的技巧就是，當覺得某個對話太長，AI 已經開始處理不來、漏東漏西時，重新開啟一個新的對話，讓上下文長度重新計算。 3. 修改上下文長度 如果想試試修改本地 AI 的上下文長度，LM Studio 的操作方式如下： A. 修改所有模型預設值：如上圖左下角齒輪圖示 → Model Defaults → Default Context Length

• 預設值只有 4096 算是滿小的，選擇「Custom Value」可改為 8192(8k)、16384(16k) 這樣的值試試
• 如果硬體設備夠好，也許可以選擇「Model maximum」，會自動使用模型的上下文長度最大值
• 無論怎麼設定、調整數值，可以試著使用一段時間，看 AI 會不會出現當掉的情況(記憶體不夠)，再判斷是否微調

B. 修改個別模型設定：在主畫面上方，模型名稱左邊的齒輪圖示，點擊後出現上圖設定畫面

• 上下文長度可填入自訂數值，測試看看效果
• 從此畫面也可看到，該模型的上下文長度上限值為多少，例如 Gemma-3-4b 支援 132k 的長度，算是相當大，但顯卡要相當夠力才可能這樣改

六、其他功能

1. 連網搜尋 本地 AI 預設沒有連網功能，能夠回答的畢竟只能侷限在訓練資料庫之內，如果詢問具時效性的問題、資訊，一定比不上雲端 AI。若希望本地 AI 也有連網搜尋資訊的功能，會另外寫一篇操作心得。 2. 本地 AI 製圖 開頭曾提到「能製圖的線上 AI 每日額度都很少」，如果希望在自己電腦就能命令 AI 製圖，不受網路連線、降速、降算力的影響，會另外寫一系列的使用心得。

部署本地 AI 系列文章：