Hugging Face Abliterated-Modelle: Hosted vs. Lokal

Was Abliteration ist

Forschungen zu Sprachmodellen ergaben, dass das Ablehnungsverhalten weitgehend durch eine einzelne Richtung in den internen Aktivierungen des Modells vermittelt wird. Wenn ein Modell eine Anfrage liest, die es ablehnen würde, leuchtet diese Richtung auf. Die Abliteration entfernt diese Richtung aus den Gewichten, sodass das Modell „Dies sollte abgelehnt werden“ nicht mehr auf die gleiche Weise darstellen kann. Es ist eine kurze, gezielte Bearbeitung im Gegensatz zu einem vollständigen Retraining.

Das Ergebnis ist ein Modell, das sich in den meisten Aspekten wie das Original verhält, aber Anfragen beantwortet, die es zuvor abgelehnt hätte. Community-Mitglieder veröffentlichen solche Varianten auf Hugging Face, benennen sie meist mit „abliterated“ oder „unzensiert“ und geben das Basismodell an, von dem sie ausgegangen sind. Die Plattform hostet die Dateien; die Ersteller sind unabhängig, und die Qualität variiert je nach Herausgeber.

Unterschied zum Fine-Tuning

Eine andere Möglichkeit, ein unzensiertes Modell zu erstellen, ist das Fine-Tuning auf Daten, bei denen der Assistent konform ist. Das ändert mehr am Modell und benötigt Trainings-Compute. Die Abliteration ändert weniger und ist schneller, ist aber grob, sodass sie die Kohärenz oder das Wissen leicht beeinträchtigen kann. Keine Methode ist automatisch besser, und viele Modellkarten beschreiben eine Mischung. Lies die Karte, um zu erfahren, was du bekommst.

Ein gutes finden

Eine Suche nach abliterated Modellen auf Hugging Face ergibt eine lange Liste. Verenge sie mit einigen Prüfungen.

• Basismodell und Größe. Eine Variante eines starken Basismodells ist ein besserer Start als eine Variante eines schwachen. Die Größe bestimmt den Hardwarebedarf.
• Qualität der Modellkarte. Gute Herausgeber erklären die Methode, zeigen Beispielverhalten und listen bekannte Probleme auf.
• Downloads und Community-Feedback. Ein Modell, das viele Menschen nutzen, hat normalerweise Fehlerberichte und Tipps im Diskussionstab.
• Dateiformat. Lokale Runner wollen oft GGUF; Python-Bibliotheken wollen safetensors. Wähle, was deine Software lädt.
• Lizenz. Varianten erben die Lizenzbedingungen des Basismodells. Prüfe sie vor der kommerziellen Nutzung.

Sei vorsichtig mit Dateien von unbekannten Herausgebern. Bevorzuge Gewichtformate, die keinen Code ausführen können, und führe keine Skripts aus, die mit einem Modell gebündelt sind, es sei denn, du hast sie gelesen.

Was es braucht, um eines lokal auszuführen

Der Speicher ist die Hauptbeschränkung. Eine gute Schätzung ist die Parameteranzahl multipliziert mit den Bytes pro Gewicht. Füge zusätzlichen Speicher für den Key-Value-Cache hinzu, der mit der Kontextlänge wächst, und für Laufzeit-Overhead.

Modellgröße	16-Bit	8-Bit	4-Bit
7B-8B Parameter	ca. 14-16 GB	ca. 7-8 GB	ca. 4-5 GB
13B-14B Parameter	ca. 26-28 GB	ca. 13-14 GB	ca. 7-8 GB
32B Parameter	ca. 64 GB	ca. 32 GB	ca. 16-18 GB
70B Parameter	ca. 140 GB	ca. 70 GB	ca. 35-40 GB

Dies sind grobe Zahlen nur für die Gewichte. Ein langer Chat fügt Gigabytes hinzu. Wenn das Modell nicht in den GPU-Speicher passt, kann ein Runner Schichten in den System-RAM auslagern, aber die Geschwindigkeit sinkt stark. Ein Laptop ohne dedizierte GPU kann kleine quantisierte Modelle mit einer langsamen, aber nutzbaren Geschwindigkeit ausführen; große sind nicht mehr lauffähig.

Neben der Hardware gibt es die Einrichtung selbst: Auswahl eines Runners wie llama.cpp, Ollama oder LM Studio, Wahl einer Quantisierung, Einstellung der Sampling-Einstellungen und Bereitstellen von Anfragen, wenn eine App sie benötigt. Es ist ein spannendes Projekt und eine schlechte Zeitverschwendung, wenn du nur Antworten brauchst.

Wann eine gehostete API einfacher ist

Wähle gehostet, wenn einer dieser Punkte zutrifft:

• Du hast nicht genug Speicher für ein Modell in der gewünschten Größe.
• Du baust eine App oder einen Bot, den andere nutzen, und du brauchst gleichzeitige Anfragen.
• Du willst Ergebnisse heute und nicht nach einem Wochenende Einrichtung.
• Du zahlst lieber pro Token, statt eine GPU zu kaufen und zu betreiben.

Diese Seite betreibt eine gehostete unzensierte Text-API. Sie bedient ein Open-Weight-Modell, betrieben von einem unabhängigen Anbieter und darauf abgestimmt, bei gesetzlicher Erwachsenennutzung ohne Inhaltsablehnungen zu antworten. Wir beschreiben nicht ihre Interna darüber hinaus, und sie ist nicht die offizielle API eines Modell-Anbieters. Die eine harte Grenze ist, dass sexuelle Inhalte mit Minderjährigen nie erlaubt sind.

Da die Schnittstelle OpenAI-kompatibel ist, kannst du sie mit demselben SDK testen, das du bereits nutzt:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.huggingfaceabliteratedmodels.com/v1",
    api_key="YOUR_KEY",
)

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Describe a haunted lighthouse in four sentences."}],
    stream=True,
)
for chunk in r:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

Gehostet versus lokal auf einen Blick

Faktor	Lokales abliterated Modell	Gehostete API
Vorabkosten	Hardware, die du bereits besitzt oder kaufen musst	Keine; Prepaid-Guthaben
Betriebskosten	Stromkosten	$0,15 pro 1M Input, $0,50 pro 1M Output Token
Datenschutz	Daten bleiben auf deinem Rechner	Prompts gehen an den Anbieter; sie werden nicht zum Training verwendet
Modellauswahl	Jede Variante, die du herunterladen kannst	Ein Modell
Kontextlänge	Begrenzt durch deinen Speicher	100.000 Token
Parallelität	Was auch immer deine Box verarbeitet	8 gleichzeitig, 300 pro Minute mit einem vollständigen Schlüssel
Offline-Nutzung	Ja	Nein

Lokal gewinnt bei Privatsphäre, Offline-Nutzung und der Freiheit, jede Variante zu wählen. Gehostet gewinnt bei der Startgeschwindigkeit und beim Teilen mit anderen. Viele Leute versuchen beides.

Fallstricke bei heruntergeladenen Varianten

Wenn du dich entscheidest, ein abliteriertes Modell selbst zu betreiben, treten am häufigsten die folgenden Probleme auf.

• Falsche Chat-Vorlage. Jede Modellsuite erwartet ihr eigenes Prompt-Format. Eine Fehlanpassung erzeugt seltsame, abschweifende oder sich wiederholende Ausgaben, die wie ein schlechtes Modell aussehen, aber auf einer schlechten Konfiguration beruhen. Verwende die auf der Modellkarte angegebene Vorlage.
• Zu aggressive Quantisierung. Eine 2-Bit- oder 3-Bit-Datei benötigt weniger Speicher und kann die Qualität spürbar verschlechtern. Steige eine Stufe höher, wenn die Antworten verwirrt wirken.
• Veraltete Varianten. Eine beliebte Variante kann dem Basismodell, von dem sie stammt, hinterherhinken. Prüfe die Daten und Versionen.
• Verbleibende Sicherheitsfeatures. Einige Varianten reduzieren Ablehnungen, aber nicht alle. Teste mit deinen echten Prompts, anstatt es einfach anzunehmen.
• Sampling-Standardwerte. Einstellungen, die für ein Modell geeignet sind, können bei einem anderen zu Looping führen. Starte mit einer moderaten Temperatur und einem Wiederholungsstrafwert nahe 1.

Die gleichen Fehlerbehebungsansätze gelten für gehostete Modelle. In beiden Fällen ist die Ursache für eine schwache Antwort oft genauso oft der Prompt oder die Einstellungen wie das Modell. Unser NSFW-Modell-Fehlerbehebungsleitfaden geht diese Probleme ausführlicher durch.

Denke schließlich an die feste Regel. Unabhängig vom verwendeten Modell ist sexueller Inhalt, der Minderjährige betrifft, nicht akzeptabel, und ein gehosteter Dienst wird dies nicht zulassen.

Erste Schritte mit der gehosteten Variante

Melde dich mit Google oder mit E-Mail und Passwort an und beanspruche ein $0,50-Testguthaben mit einem Klick auf der API-Schlüssel-Seite. Das Testguthaben benötigt keine Kreditkarte, dauert 7 Tage und ist pro Person auf eine einzige beschränkt. Die Dokumentation zeigt die unterstützten Endpunkte, einschließlich Chat-Vervollständigungen, Responses und Modellauflistungen, sowie Streaming, Tool Calling und JSON-Modus.

Für einen Preisüberblick: Eine Anfrage mit 1.500 Input-Token und 300 Output-Token kostet $0,000225 plus $0,00015, also insgesamt $0,000375. Vollständige Preise und Optionen zum Aufladen findest du auf der Preisseite. Wenn dein Interesse auf kreative oder Adult-Fiction-Nutzung gerichtet ist, behandelt unser Fehlerbehebungsleitfaden für NSFW-Modelle Fehler, die sowohl für lokale als auch für gehostete Setups gelten.

Weitere Anleitungen

• Hugging Face API: Kostenlose Limits im Vergleich zu bezahlten gehosteten APIs
• NSFW-Modelle: Fehlerbehebung bei häufigen Fehlern