Modelos Hugging Face Abliterated: Hospedado vs Local

O que é abliteration

Pesquisas sobre modelos de linguagem descobriram que o comportamento de recusa é amplamente mediado por uma única direção nas ativações internas do modelo. Se um modelo lê uma solicitação que ele recusaria, essa direção se ativa. A abliteration leva essa descoberta e remove a direção dos pesos, para que o modelo não possa mais representar "isso deve ser recusado" da mesma forma. É uma edição curta e direcionada, em vez de uma execução completa de treinamento.

O resultado é um modelo que se comporta como o original na maioria dos aspectos, mas responde a solicitações que antes recusava. Membros da comunidade publicam essas variantes no Hugging Face, geralmente nomeando-as com "abliterated" ou "sem censura" e indicando o modelo base. A plataforma hospeda os arquivos; os criadores são independentes e a qualidade varia.

Como difere do fine-tuning

Outra forma de criar um modelo sem censura é fazer fine-tune em dados onde o assistente cumpre. Isso altera mais o modelo e exige poder de treinamento. A abliteration altera menos e é mais rápida, mas é grosseira, podendo prejudicar ligeiramente a coerência ou o conhecimento. Nenhum método é automaticamente melhor, e muitos cartões de modelo descrevem uma mistura. Leia o cartão para saber qual você está obtendo.

Encontrando um bom

Uma busca por modelos abliterated no Hugging Face retorna uma lista longa. Restrinja-a com algumas verificações.

• Modelo base e tamanho. Uma variante de uma base forte é um ponto de partida melhor que uma variante de uma base fraca. O tamanho define as necessidades de hardware.
• Qualidade do cartão do modelo. Bons criadores explicam o método, mostram comportamento de exemplo e listam problemas conhecidos.
• Downloads e feedback da comunidade. Um modelo usado por muitas pessoas geralmente tem relatórios de bugs e dicas na aba de discussões.
• Formato do arquivo. Executores locais muitas vezes querem GGUF; bibliotecas Python querem safetensors. Escolha o que seu software carrega.
• Licença. Variantes herdam os termos de licença do modelo base. Verifique-os antes do uso comercial.

Tenha cuidado com arquivos de editores desconhecidos. Prefira formatos de peso que não podem executar código e não execute scripts que vêm em bundle com um modelo a menos que você os tenha lido.

O que é necessário para executá-lo localmente

A memória é a principal restrição. Uma boa estimativa é a contagem de parâmetros multiplicada pelos bytes usados por peso. Adicione extra para o cache key-value, que cresce com o comprimento do contexto, e para a sobrecarga de tempo de execução.

Tamanho do modelo	16 bits	8 bits	4 bits
7B-8B parâmetros	cerca de 14-16 GB	cerca de 7-8 GB	cerca de 4-5 GB
13B-14B parâmetros	cerca de 26-28 GB	cerca de 13-14 GB	cerca de 7-8 GB
32B parâmetros	cerca de 64 GB	cerca de 32 GB	cerca de 16-18 GB
70B parâmetros	cerca de 140 GB	cerca de 70 GB	cerca de 35-40 GB

Estas são figuras aproximadas apenas para os pesos. Uma conversa longa adiciona gigabytes por cima. Se o modelo não couber na memória da GPU, um executor pode descarregar camadas para a RAM do sistema, mas a velocidade cai drasticamente. Um laptop sem GPU dedicada pode rodar modelos pequenos quantizados em ritmo lento, mas utilizável; os grandes estão fora de alcance.

Além do hardware, há a configuração em si: escolher um executor como llama.cpp, Ollama ou LM Studio, escolher uma quantização, ajustar configurações de amostragem e servir solicitações se um aplicativo precisar. É um projeto divertido e um mau uso do tempo se você só precisa de respostas.

Quando uma API hospedada é mais simples

Escolha hospedado quando qualquer uma destas condições for verdadeira:

• Você não tem memória para um modelo do tamanho que deseja.
• Você está construindo um aplicativo ou bot que outras pessoas usarão e precisa de requisições simultâneas.
• Você quer resultados hoje e não após um fim de semana de configuração.
• Você prefere pagar por token em vez de comprar e alimentar uma GPU.

Este site executa uma API de texto hospedada sem censura. Serve um único modelo de pesos abertos, operado por um provedor independente e ajustado para responder sem recusas de conteúdo para uso adulto lícito. Não descrevemos seu funcionamento interno além disso, e não é a API oficial de nenhum fornecedor de modelo. A única restrição rígida é que conteúdo sexual envolvendo menores de idade nunca é permitido.

Como a interface é compatível com OpenAI, você pode testá-la com o SDK que já usa:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.huggingfaceabliteratedmodels.com/v1",
    api_key="YOUR_KEY",
)

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Describe a haunted lighthouse in four sentences."}],
    stream=True,
)
for chunk in r:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

Hospedado versus local: visão geral

Fator	Modelo local abliterado	API Hospedada
Custo inicial	Hardware que você já possui ou deve comprar	Nenhum; crédito pré-pago
Custo de execução	Eletricidade	$0,15 por 1M de entrada, $0,50 por 1M de tokens de saída
Privacidade	Os dados permanecem na sua máquina	Prompts vão para o provedor; não são usados para treinamento
Escolha de modelo	Qualquer variante que você pode baixar	Um modelo
Comprimento do contexto	Limitado pela sua memória	100.000 tokens
Concorrência	O que sua máquina suporta	8 ao mesmo tempo, 300 por minuto com uma chave completa
Uso offline	Sim	Não

O local vence em privacidade, uso offline e liberdade para escolher qualquer variante. O hospedado vence na velocidade de início e ao compartilhar com outros. Muitas pessoas testam ambos.

Erros com variantes baixadas

Se você decidir executar um modelo abliterated por conta própria, estes são os problemas que surgem com mais frequência.

• Modelo de prompt incorreto. Cada família de modelos exige seu próprio formato de prompt. Uma incompatibilidade gera saídas estranhas, divagantes ou repetitivas que parecem um modelo ruim, mas são uma configuração ruim. Use o template indicado no cartão.
• Quantização agressiva. Um arquivo de 2 bits ou 3 bits cabe em menos memória e pode prejudicar visivelmente a qualidade. Suba um nível se as respostas parecerem confusas.
• Variantes desatualizadas. Uma variante popular pode estar atrasada em relação ao modelo base do qual foi derivada. Verifique as datas e as versões.
• Recursos de segurança que permanecem. Algumas variantes reduzem as recusas, mas nem todas. Teste com seus prompts reais em vez de assumir.
• Padrões de amostragem. Configurações que funcionam para um modelo podem fazer outro entrar em loop. Comece com uma temperatura moderada e uma penalidade de repetição próxima de 1.

As mesmas ideias de solução de problemas se aplicam a modelos hospedados. Em ambos os casos, a causa de uma resposta fraca é tão frequentemente o prompt ou as configurações quanto o modelo. Nosso guia de solução de problemas do modelo NSFW aborda esses problemas em mais profundidade.

Por fim, lembre-se da regra fixa. Independentemente do modelo que você usar, conteúdo sexual envolvendo menores não é aceitável, e um serviço hospedado não o permitirá.

Começando no lado hospedado

Crie sua conta com Google ou com e-mail e senha, depois resgate um crédito de teste de $0,50 com um clique na página da chave de API. O crédito de teste não precisa de cartão, dura 7 dias e é limitado a um por pessoa. A documentação mostra os endpoints suportados, incluindo chat completions, respostas e listagem de modelos, além de streaming, chamada de funções e modo JSON.

Para ter uma noção de preço, uma solicitação com 1.500 tokens de entrada e 300 tokens de saída custa $0,000225 mais $0,00015, que é $0,000375. Taxas completas e opções de recarga estão na página de preços. Se seu interesse é uso criativo ou de ficção adulta, nosso guia de solução de problemas para modelos NSFW cobre erros que se aplicam a configurações locais e hospedadas igualmente.

Mais guias

• Limites gratuitos da API Hugging Face versus APIs hospedadas pagas
• Modelos NSFW: Solução de Problemas de Erros Comuns