Unrestricted ai: Troubleshooting Common Mistakes

1. Стеля вікна контексту

Кожен запит враховує токени як з промпту, так і з згенерованого завершення проти вашого загального ліміту. Якщо ви надсилаєте великий контекст і просите довгу відповідь, ви досягнете стелі ще до того, як модель завершить генерацію тексту. Наша несексована модель підтримує контекстне вікно на 100,000 токенів, але максимальний обсяг виводу за один запит обмежено 16,000 токенів, якщо ви не вкажете інше. Завжди розраховуйте залишок токенів після системного промпту та історії розмови, щоб переконатися, що моделі залишилося достатньо місця для завершення думки. Ігнорування цього часто призводить до обрізаних відповідей, які плутають наступні парсери.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.chatgptunrestricted.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

2. Режим JSON та суворе форматування

Режим JSON змушує модель виводити дійсний JSON, але не гарантує ідеального дотримання схеми в кожному крайньому випадку. Коли ви встановлюєте формат відповіді на json_object, модель пріоритезує синтаксичну правильність над суворим контролем типів. Якщо ваша схема надто складна, модель може вигадувати поля або пропускати необов'язкові, щоб зберегти структуру дійсною. Завжди перевіряйте вивід на своєму боці перед парсингом його як суворий тип. Це особливо стосується uncensored моделей, які можуть дозволяти собі творчі свободи щодо вмісту значень у JSON.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.chatgptunrestricted.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

3. Потокова передача часткових відповідей

Потокова передача дозволяє отримувати токени по мірі їх генерації, що покращує сприйняту затримку для великих відповідей. Ви повинні коректно обробляти потік Server-Sent Events (SSE), щоб уникнути втрати даних або помилок парсингу. Кожен фрагмент містить частковий токен, а фінальний фрагмент включає загальне використання токенів для запиту. Якщо ви перериваєте з’єднання достроково, ви втрачаєте дані про фінальне використання та можете залишити сервер у нестабільному стані. Завжди переконайтеся, що ваш клієнт може обробляти незавершені фрагменти JSON, якщо ви використовуєте потокову передачу структурованих даних.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

4. Помилки вибору інструменту та функційного виклику

Виклик функцій вимагає точних визначень схем і часто не вдається, якщо модель не може зіставити вхідні дані користувача з конкретним інструментом. Якщо ви вказуєте tool_choice, модель може примусово викликати інструмент навіть тоді, коли це не доречно, що призводить до порожніх або невідповідних аргументів. Переконайтеся, що ваші визначення інструментів прості та чітко описані. Модель підтримує стандартні формати інструментів, сумісні з OpenAI, тому ви можете використовувати існуючі SDK. Однак завжди перевіряйте, чи точно відповідають типи аргументів, що передаються інструменту, вашим очікуванням.

Copycurl https://api.chatgptunrestricted.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Summarize the technical specs of the new GPU architecture"}]
  }'

5. Температура та налаштування креативності

Налаштування temperature змінює те, як модель обирає токени, що впливає на випадковість виводу. Вища температура призводить до більш креативних та різноманітних відповідей, тоді як нижча температура робить вивід більш детермінованим та зосередженим. Якщо ви використовуєте модель для генерації коду або отримання фактів, тримайте температуру низькою, щоб уникнути галюцинацій. Для творчого письма чи мозкового штурму збільште температуру, щоб досліджувати більш різноманітні ідеї. Експериментуйте з top_p також для контролю вибірки nucleus (nucleus sampling) і подальшого покращення якості виводу.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.chatgptunrestricted.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

6. Обробка великих корзин даних

Великі корисні навантаження можуть перевищувати ліміт тіла запиту в 8 МБ, що призводить до тихого збою API-викликів або помилки 413. Якщо ви надсилаєте довгі історії розмов, розгляньте можливість обрізання старих повідомлень або їх узагальнення перед відправкою. Модель може обробляти 100,000 токенів, але фізичний розмір JSON-корисного навантаження також має значення. Переконайтеся, що ваша бібліотека клієнта ефективно стискає або форматує дані. Завжди перевіряйте довжину контенту перед надсиланням запиту, щоб уникнути марнування кредитів на невдалі спроби.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.chatgptunrestricted.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

7. Троттлінг лімітів швидкості

Обмеження швидкості діють для кожного API-ключа окремо: максимум 300 запитів за хвилину та 8 одночасних запитів. Якщо ви перевищите ці ліміти, отримаєте помилку 429. Реалізуйте експоненційне сповільнення (exponential backoff) у своєму клієнті для коректного повторних спроб. Різкі сплески трафіку швидко вичерпають ліміт паралелізму, тому, якщо можливо, розподіляйте запити у часі. Моніторинг використання та налаштування параметрів паралелізму допоможуть залишатися в межах лімітів без втрати продуктивності. Це критично важливо для забезпечення стабільної роботи в продакшн-середовищі.

Copycurl https://api.chatgptunrestricted.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Summarize the technical specs of the new GPU architecture"}]
  }'

8. Розбіжності в підрахунку токенів

Різні токенизатори можуть рахувати токени по-різному, що призводить до розбіжностей між вашим локальним підрахунком та підрахунком API. Завжди використовуйте той самий токенизатор, що й модель, для точного обліку. API нараховує плату за фактично оброблені токени, тому розуміння цієї різниці допомагає точно прогнозувати витрати. Якщо ви помітили значні відхилення, перегляньте реалізацію вашого токенизатора. Це особливо важливо при інтеграції з бібліотеками третіх сторін, які можуть використовувати інші стратегії токенизації.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.chatgptunrestricted.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)