Modèles Hugging Face Abliterated : hébergés vs locaux

Qu'est-ce que l'abliteration

Des recherches sur les modèles de langage ont montré que le comportement de refus est largement médié par une seule direction dans les activations internes du modèle. Si un modèle lit une demande qu'il refuserait, cette direction s'active. L'abliteration prend cette découverte et supprime la direction des poids, de sorte que le modèle ne peut plus représenter « cela devrait être refusé » de la même manière. Il s'agit d'une modification courte et ciblée plutôt que d'un entraînement complet.

Le résultat est un modèle qui se comporte comme l'original dans la plupart des aspects mais répond aux demandes qu'il refusait auparavant. Les membres de la communauté publient ces variantes sur Hugging Face, les nommant souvent avec « abliterated » ou « uncensored » et indiquant le modèle de base à partir duquel ils ont commencé. La plateforme héberge les fichiers ; les personnes qui les créent sont indépendantes et la qualité varie d'un éditeur à l'autre.

En quoi cela diffère du fine-tuning

Une autre façon de créer un modèle sans censure est de l'affiner sur des données où l'assistant est conforme. Cela modifie davantage le modèle et nécessite des ressources d'entraînement. L'abliteration modifie moins et est plus rapide, mais elle est brutale, ce qui peut légèrement nuire à la cohérence ou aux connaissances. Aucune méthode n'est automatiquement meilleure, et de nombreuses fiches de modèle décrivent un mélange. Lisez la fiche pour savoir laquelle vous obtenez.

Trouver un bon modèle

Une recherche de modèles abliterated sur Hugging Face renvoie une longue liste. Affinez-la avec quelques vérifications.

• Modèle de base et taille. Une variante d'une base solide est un meilleur point de départ qu'une variante d'une base faible. La taille détermine les besoins matériels.
• Qualité de la fiche modèle. Les bons éditeurs expliquent la méthode, montrent des exemples de comportement et listent les problèmes connus.
• Téléchargements et retours de la communauté. Un modèle utilisé par beaucoup a généralement des rapports de bugs et des conseils dans son onglet de discussion.
• Format de fichier. Les exécuteurs locaux veulent souvent du GGUF ; les bibliothèques Python veulent des safetensors. Choisissez ce que votre logiciel charge.
• Licence. Les variantes héritent des conditions de licence du modèle de base. Vérifiez-les avant une utilisation commerciale.

Faites attention avec les fichiers d'éditeurs inconnus. Préférez les formats de poids qui ne peuvent pas exécuter de code, et n'exécutez pas les scripts fournis avec un modèle à moins de les avoir lus.

Ce qu'il faut pour en exécuter un localement

La mémoire est la principale contrainte. Une bonne estimation est le nombre de paramètres multiplié par les octets utilisés par poids. Ajoutez un supplément pour le cache clé-valeur, qui croît avec la longueur du contexte, et pour la surcharge d'exécution.

Taille du modèle	16-bit	8-bit	4-bit
7B-8B paramètres	environ 14 à 16 Go	environ 7 à 8 Go	environ 4 à 5 Go
13B-14B paramètres	environ 26 à 28 Go	environ 13 à 14 Go	environ 7 à 8 Go
32B paramètres	environ 64 Go	environ 32 Go	environ 16 à 18 Go
70B paramètres	environ 140 Go	environ 70 Go	environ 35 à 40 Go

Ce sont des chiffres approximatifs pour les poids seuls. Une longue conversation ajoute des gigaoctets supplémentaires. Si le modèle ne tient pas dans la mémoire GPU, un exécuteur peut décharger des couches vers la RAM système, mais la vitesse chute fortement. Un ordinateur portable sans GPU dédié peut exécuter de petits modèles quantifiés à un rythme lent mais utilisable ; les grands sont hors de portée.

Au-delà du matériel, il y a la configuration elle-même : choisir un exécuteur comme llama.cpp, Ollama ou LM Studio, choisir une quantification, ajuster les paramètres d'échantillonnage, et servir les requêtes si une application en a besoin. C'est un projet amusant et une mauvaise utilisation du temps si vous avez seulement besoin de réponses.

Quand une API hébergée est plus simple

Choisissez l'hébergé si l'une de ces conditions est vraie :

• Vous n'avez pas la mémoire pour un modèle de la taille que vous souhaitez.
• Vous construisez une application ou un bot que d'autres utiliseront, et vous avez besoin de requêtes simultanées.
• Vous voulez des résultats aujourd'hui et non après un week-end d'installation.
• Vous préférez payer par token plutôt que d'acheter et d'alimenter un GPU.

Ce site exécute une API de texte hébergée sans censure. Il sert un modèle à poids ouverts, opéré par un fournisseur indépendant et affiné pour répondre sans refus de contenu pour un usage adulte légal. Nous ne décrivons pas ses internes au-delà de cela, et ce n'est pas l'API officielle d'aucun vendeur de modèle. La seule limite stricte est que le contenu sexuel impliquant des mineurs est toujours interdit.

Comme l'interface est compatible OpenAI, vous pouvez la tester avec le SDK que vous utilisez déjà :

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.huggingfaceabliteratedmodels.com/v1",
    api_key="YOUR_KEY",
)

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Describe a haunted lighthouse in four sentences."}],
    stream=True,
)
for chunk in r:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

Hébergé vs local en un coup d'œil

Facteur	Modèle abliterated local	API hébergée
Coût initial	Matériel que vous possédez déjà ou devez acheter	Aucun ; crédit prépayé
Coût d'exécution	Électricité	$0,15 par 1M de tokens d'entrée, $0,50 par 1M de tokens de sortie
Confidentialité	Les données restent sur votre machine	Les prompts vont au fournisseur ; ils ne sont pas utilisés pour l'entraînement
Choix du modèle	Toute variante que vous pouvez télécharger	Un modèle
Longueur du contexte	Limité par votre mémoire	100 000 tokens
Concurrence	Tout ce que votre machine gère	8 à la fois, 300 par minute avec une clé complète
Utilisation hors ligne	Oui	Non

Le local gagne en confidentialité, en utilisation hors ligne et en liberté de choisir toute variante. L'hébergé gagne en rapidité de démarrage et en partage avec d'autres. Beaucoup de gens essaient les deux.

Écueils avec les variantes téléchargées

Si vous décidez d'exécuter vous-même un modèle abliterated, voici les problèmes qui surviennent le plus souvent.

• Mauvais template de chat. Chaque famille de modèles attend son propre format de prompt. Une incompatibilité produit des sorties étranges, divagantes ou répétitives qui ressemblent à un modèle médiocre mais sont dues à une mauvaise configuration. Utilisez le template indiqué sur la fiche du modèle.
• Quantification trop agressive. Un fichier en 2 ou 3 bits occupe moins de mémoire mais peut nuire sensiblement à la qualité. Passez à un niveau supérieur si les réponses semblent confuses.
• Variantes obsolètes. Une variante populaire peut être en retard par rapport au modèle de base dont elle est issue. Vérifiez les dates et les versions.
• Fonctions de sécurité qui persistent. Certaines variantes réduisent les refus, mais pas toutes. Testez avec vos vrais prompts au lieu de supposer.
• Paramètres d'échantillonnage par défaut. Des paramètres adaptés à un modèle peuvent en faire boucler un autre. Commencez avec une température modérée et une pénalité de répétition proche de 1.

Les mêmes idées de dépannage s'appliquent aux modèles hébergés. Dans les deux cas, la cause d'une réponse faible est aussi souvent le prompt ou les paramètres que le modèle. Notre guide de dépannage du modèle NSFW aborde ces problèmes plus en détail.

Enfin, retenez la règle fixe. Quel que soit le modèle que vous utilisez, le contenu sexuel impliquant des mineurs n'est pas acceptable, et un service hébergé ne l'autorisera pas.

Pour commencer côté hébergé

Inscrivez-vous avec Google ou avec un e-mail et un mot de passe, puis réclamez un crédit d'essai de 0,50 $ en un seul clic sur la page clé API. L'essai ne nécessite pas de carte, dure 7 jours et est limité à un par personne. La documentation présente les points de terminaison pris en charge, y compris les complétions de chat, les réponses et la liste des modèles, ainsi que le streaming, l'appel d'outils et le mode JSON.

Pour avoir une idée du prix, une requête avec 1 500 tokens d'entrée et 300 tokens de sortie coûte $0,000225 plus $0,00015, soit $0,000375. Les tarifs complets et les options de rechargement sont sur la page tarifs. Si votre intérêt est l'usage créatif ou la fiction pour adultes, notre guide de dépannage pour les modèles NSFW couvre les erreurs qui s'appliquent aux configurations locales et hébergées.

Plus de guides

• Limites gratuites de l'API Hugging Face vs APIs hébergées payantes
• Modèles NSFW : Dépannage des erreurs courantes