Skip to content

大模型翻譯介面

大模型通用介面

同時使用多個大模型介面?

如果只是有多個不同的金鑰想要輪詢,只需用|分割就可以了。

但有時想要同時使用多個不同的 API 介面位址/Prompt/Model/參數等來對比翻譯效果。方法是:

  1. 點擊上方的「+」按鈕 img
  2. 彈出一個視窗,選擇大模型通用介面,並為其取個名字,這樣就會複製一份目前大模型通用介面的設定和 API。 img
  3. 啟用複製的介面,並可以進行單獨設定。複製的介面可以和原介面一起執行,從而使用多個不同的設定來執行。 img

參數說明

  1. API 介面位址

    大部份常見大模型平台的API 介面位址可以在下拉選單中選取,但可能會有遺漏。對於其他沒有列舉出來的介面,請自行查閱平台的文件來填寫。

  2. API Key

    API Key可以在平台取得。對於新增的多個 Key,會自動進行輪詢,並根據錯誤回饋調整 Key 的權重。

  3. Model

    大部份平台填寫好API 介面位址API Key後,點擊model旁的重新整理按鈕即可取得可用的模型清單。

    如果平台不支援取得模型清單的介面,或預設清單中沒有要用的模型時,那麼請參照介面官方文件手動填寫模型。

  4. 流式輸出

    啟用後,將以流式逐漸顯示模型輸出的內容,否則會在模型完整輸出後一次性顯示所有內容。

  5. 隱藏思考過程

    啟用後將不顯示<think>標籤包裹的內容。若啟用了隱藏思考過程,會顯示目前的思考進度。

  6. 附帶上下文個數

    會附帶若干筆歷史的原文和翻譯介面提供給大模型,以優化翻譯。設定為0將停用此優化。

    • 優化快取命中 - 對於 DeepSeek 等平台,平台會對快取命中的輸入以更低的價格計費。啟用後會優化附帶上下文時的形式以增加快取命中率。
  7. 自訂 System Prompt/自訂 User Message/Prefill

    幾種不同的控制輸出內容的手段,可以根據喜好設定,或者使用預設即可。

    自訂 System Prompt 和 User Message 中可以使用變數來引用一些訊息:

    • {sentence}:目前欲翻譯的文字。
    • {srclang}{tgtlang}:來源語言和目標語言。如果 Prompt 中僅使用英語,則會取代成語言名稱的英語翻譯,否則會取代成語言名稱的目前 UI 語言翻譯。
    • {contextOriginal[N]}{contextTranslation[N]}{contextTranslation[N]}N筆歷史原文、譯文、兩者。N與「附帶上下文個數」無關,輸入時需替換成整數。
  8. Temperature/Max Tokens/Top P/Frequency Penalty

    對於部份平台的部份模型,可能top pfrequency penalty等參數不被介面接受,或者max tokens參數被廢棄並改為max completion tokens。啟用或停用開關可以解決這些問題。

  9. reasoning effort

    對於 Gemini 平台,會自動將選項映射為 Gemini 的thinkingBudget,映射規則為:

    minimal->0(停用思考,但對於 Gemini-2.5-Pro 模型不適用);low->512medium->-1(啟用動態思維);high->24576

  10. 其他參數

    以上只提供了一些常見的參數,如果使用的平台提供了其他未列出的有用的參數,可以自行新增鍵值。

常見的大模型平台

歐美的大模型平台

中國的大模型平台

離線大模型

可以使用 llama.cppOllama 之類的工具進行模型的部署,然後將位址和模型填入。

也可以使用 Kaggle 之類的平台來把模型部署到雲端,這時可能會需要用到SECRET_KEY,其他時候可以無視SECRET_KEY參數。

Sakura 大模型

TIP

推薦使用,配置簡單,效果好,也可以純 CPU 執行輕量模型。

部署方法可參考:https://github.com/SakuraLLM/SakuraLLM/wiki