Интерфейс перевода больших моделей

Универсальный интерфейс для больших моделей

Использование нескольких интерфейсов больших моделей одновременно？

Если вам нужно просто чередовать несколько разных ключей API, достаточно разделить их символом |.

Но иногда требуется одновременно использовать разные API-адреса/prompt/модели/параметры для сравнения результатов перевода. Метод следующий:

1. Нажмите кнопку «+» выше и выберите универсальный интерфейс большой модели
2. Появится всплывающее окно — дайте ему имя. Это позволит дублировать текущие настройки и API универсального интерфейса большой модели
3. Активируйте скопированный интерфейс и настройте его отдельно. Скопированный интерфейс может работать параллельно с оригинальным, позволяя использовать разные настройки.

Описание параметров

1. Адрес API-интерфейса

   Большинство адресов API-интерфейсов распространённых платформ больших моделей можно выбрать из выпадающего списка, но некоторые могут отсутствовать. Для интерфейсов, которые не указаны в списке, пожалуйста, укажите их вручную, ознакомившись с документацией платформы.

2. API Key

   API Key можно получить на платформе. Если добавлено несколько ключей, система автоматически будет перебирать их по очереди и корректировать их приоритет на основе ошибок.

3. model

   Для большинства платформ после заполнения адреса API-интерфейса и API Key можно нажать кнопку обновления рядом с полем model, чтобы получить список доступных моделей.

   Если платформа не поддерживает автоматическое получение списка моделей, а нужная модель отсутствует в списке по умолчанию, укажите её вручную, следуя официальной документации API.

4. Потоковый вывод

   При включении содержимое будет выводиться постепенно, по мере генерации модели. В противном случае весь текст отобразится только после завершения генерации.

5. Скрывать процесс размышления

   При включении содержимое, заключённое в теги <think>, отображаться не будет. Если скрытие процесса размышления активно, будет показываться текущий прогресс.

6. Количество прикрепляемого контекста

   Система будет прикреплять указанное количество предыдущих исходных текстов и переводов к запросу для улучшения качества перевода. Если установлено значение 0, эта функция отключается.

   • Оптимизация кэширования — для таких платформ, как DeepSeek, запросы с попаданием в кэш тарифицируются по сниженной цене. Активация этой функции оптимизирует формат прикрепляемого контекста для увеличения вероятности попадания в кэш.

7. Пользовательский system prompt / Пользовательское user message / prefill

   Различные способы управления выводом модели. Можно настроить по своему усмотрению или оставить значения по умолчанию.

   В пользовательских системных подсказках и сообщениях можно использовать поля для ссылок на некоторую информацию:

   • {sentence}: Текущий текст для перевода
   • {srclang} и {tgtlang}: Исходный язык и целевой язык. Если в подсказке используется только английский язык, они будут заменены на английский перевод названий языков. В противном случае они будут заменены на перевод названий языков на текущем языке интерфейса.
   • {contextOriginal[N]} и {contextTranslation[N]} и {contextTranslation[N]}: N элементов исторического текста, перевода и обоих. N не связано с «количеством сопроводительных контекстов» и должно быть заменено на целое число при вводе.
   • {DictWithPrompt[XXXXX]}: Это поле может ссылаться на записи из списка «Перевод собственных имен». Если совпадающая запись не найдена, это поле будет очищено, чтобы не нарушать содержание перевода. Здесь XXXXX — это промпт, который направляет LLM на использование данных записей для оптимизации перевода. Его можно настроить или отключить пользовательские сообщения для использования промпта по умолчанию.

8. Temperature / max tokens / top p / frequency penalty

   Для некоторых моделей на некоторых платформах параметры, такие как top p и frequency penalty, могут не поддерживаться интерфейсом, или параметр max tokens может быть устаревшим и заменен на max completion tokens. Активирование или деактивирование переключателя может решить эти проблемы.

9. reasoning effort

   Для платформы Gemini параметр автоматически преобразуется в thinkingBudget по следующим правилам:

   минимальный -> 0 (отключение мышления, но не применимо к модели Gemini-2.5-Pro), низкий -> 512, средний -> -1 (включение динамического мышления), высокий -> 24576.

10. Другие параметры

    Выше перечислены только основные параметры. Если платформа поддерживает другие полезные параметры, их можно добавить вручную в формате «ключ-значение».

Популярные платформы больших моделей

Крупномасштабные платформы моделей в Европе и Америке

API Key https://platform.openai.com/api-keys

Крупномасштабные платформы моделей в Китае

API Key https://platform.deepseek.com/api_keys

Менеджер агрегации API

Также можно использовать инструменты ретрансляции API, такие как new-api, для более удобного агрегирования и управления множеством моделей платформ больших моделей и несколькими ключами.

Способ использования можно посмотреть в этой статье.

Модель офлайн-развертывания

Также можно использовать такие инструменты как llama.cpp, ollama для развертывания модели, после чего ввести адрес и модель.