Unrestricted ai: Troubleshooting Common Mistakes

1. Sufit Okna Kontekstowego

Każde żądanie liczy tokeny zarówno z promptu, jak i wygenerowanego uzupełnienia przeciwko Twojemu całkowitemu limitowi. Jeśli wyślesz duży kontekst i poprosisz o długą odpowiedź, osiągniesz sufit zanim model dokończy generowanie tekstu. Nasz model bez cenzury obsługuje okno kontekstowe o pojemności 100,000 tokenów, ale maksymalna długość odpowiedzi na żądanie jest ograniczona do 16,000 tokenów, chyba że określisz inaczej. Zawsze obliczaj pozostałe tokeny po systemowym promptzie i historii rozmowy, aby upewnić się, że model ma wystarczająco miejsca na dokończenie myśli. Ignorowanie tego często prowadzi do uciętych odpowiedzi, które mylą dalsze parsery.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.chatgptunrestricted.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

2. Tryb JSON & Ścisłe Formatowanie

Tryb JSON wymusza od modelu wyjście w postaci poprawnego JSON-a, ale nie gwarantuje idealnej zgodności ze schematem w każdym przypadku brzegowym. Gdy ustawiasz format odpowiedzi na json_object, model priorytetyzuje poprawność składniową nad ścisłym wymuszaniem typów. Jeśli Twój schemat jest zbyt złożony, model może zmyślać pola lub pomijać opcjonalne, aby zachować poprawność struktury. Zawsze waliduj wynik po swojej stronie przed sparsowaniem go jako ścisły typ. Dotyczy to szczególnie modeli uncensored, które mogą brać kreatywne wolności w zawartości wartości JSON.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.chatgptunrestricted.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

3. Strumieniowanie częściowych odpowiedzi

Strumieniowanie pozwala odbierać tokeny w miarę ich generowania, co poprawia postrzeganą opóźnienie dla dużych odpowiedzi. Musisz poprawnie obsłużyć strumień zdarzeń wysłanych przez serwer (SSE), aby uniknąć utraty danych lub błędów parsowania. Każdy fragment zawiera częściowy token, a ostatni fragment zawiera całkowite zużycie tokenów dla żądania. Jeśli rozłączysz się przedwcześnie, stracisz dane o ostatecznym zużyciu i możesz pozostawić serwer w niespójnym stanie. Zawsze upewnij się, że Twój klient może obsługiwać niekompletne fragmenty JSON, jeśli strumieniujesz dane strukturalne.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

4. Błędy wyboru narzędzia i wywoływania funkcji

Wywoływanie funkcji wymaga precyzyjnych definicji schematów i często zawodzi, jeśli model nie może powiązać danych wejściowych użytkownika z konkretnym narzędziem. Jeśli określisz tool_choice, model może wymusić wywołanie narzędzia, nawet gdy nie jest to odpowiednie, co prowadzi do pustych lub nieistotnych argumentów. Upewnij się, że definicje narzędzi są proste i jasno opisane. Model obsługuje standardowe formaty narzędzi kompatybilne z OpenAI, więc możesz używać istniejących SDK. Jednak zawsze weryfikuj, czy argumenty przekazywane do narzędzia dokładnie odpowiadają oczekiwanym typom.

Copycurl https://api.chatgptunrestricted.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Summarize the technical specs of the new GPU architecture"}]
  }'

5. Temperatura i ustawienia kreatywności

Dostosowanie temperatury zmienia sposób, w jaki model wybiera tokeny, wpływając na losowość wyjścia. Wyższa temperatura prowadzi do bardziej kreatywnych i zróżnicowanych odpowiedzi, podczas gdy niższa temperatura sprawia, że wyjście jest bardziej deterministyczne i skupione. Jeśli używasz modelu do generowania kodu lub pobierania faktów, utrzymuj niską temperaturę, aby uniknąć halucynacji. Do pisania twórczego lub burzy mózgów zwiększ temperaturę, aby odkryć więcej zróżnicowanych pomysłów. Eksperymentuj z top_p także do kontrolowania próbkowania nucleus i dalszego udoskonalenia jakości wyników.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.chatgptunrestricted.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

6. Obsługa Dużych Payloadów

Duże ładunki mogą przekroczyć limit 8 MB dla ciała żądania, powodując ciche błędy lub błąd 413 w wywołaniach API. Jeśli wysyłasz długie historie rozmów, rozważ obcięcie starszych wiadomości lub ich streszczenie przed wysłaniem. Model obsługuje 100,000 tokenów, ale fizyczny rozmiar ładunku JSON również ma znaczenie. Upewnij się, że Twoja biblioteka klienta kompresuje lub formatuje dane efektywnie. Zawsze sprawdzaj długość treści przed wysłaniem żądania, aby nie marnować kredytów na nieudane próby.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.chatgptunrestricted.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

7. Tłumienie limitów szybkości

Ograniczenia szybkości są egzekwowane dla każdego klucza API, z maksymalną liczbą 300 żądań na minutę i 8 żądaniami współbieżnymi. Jeśli przekroczysz te limity, otrzymasz błąd 429. Zaimplementuj wykładnicze backoff w swoim kliencie, aby obsłużyć ponowne próby w sposób elegancki. Nagłe wzrosty ruchu mogą szybko wyczerpać limit współbieżności, więc rozłóż żądania w czasie, jeśli to możliwe. Monitorowanie zużycia i dostosowanie ustawień współbieżności pomaga utrzymać się w granicach limitów bez uszczerbku dla wydajności. Jest to kluczowe dla zapewnienia płynnego doświadczenia użytkownika w środowiskach produkcyjnych.

Copycurl https://api.chatgptunrestricted.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Summarize the technical specs of the new GPU architecture"}]
  }'

8. Rozbieżności w liczeniu tokenów

Różne tokenizatory mogą liczyć tokeny inaczej, co prowadzi do rozbieżności między Twoim lokalnym licznikiem a licznikiem API. Zawsze używaj tego samego tokenizatora co model dla dokładnego rozliczenia. API nalicza opłaty na podstawie faktycznie przetworzonych tokenów, więc zrozumienie tej różnicy pomaga dokładnie przewidywać koszty. Jeśli zauważysz znaczne rozbieżności, przejrzyj implementację tokenizatora. Jest to szczególnie ważne przy integracji z bibliotekami stron trzecich, które mogą używać innych strategii tokenizacji.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.chatgptunrestricted.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)