Modelos Hugging Face Abliterated: alojados vs. locales

Qué es la abliteration

La investigación sobre modelos de lenguaje encontró que el comportamiento de rechazo es mediado en gran medida por una sola dirección en las activaciones internas del modelo. Si un modelo lee una solicitud que rechazaría, esa dirección se activa. La abliteration toma este hallazgo y elimina la dirección de los pesos, para que el modelo ya no pueda representar "esto debe ser rechazado" de la misma manera. Es una edición corta y dirigida en lugar de una ejecución completa de reentrenamiento.

El resultado es un modelo que se comporta como el original en la mayoría de los aspectos pero responde a solicitudes que antes rechazaba. Los miembros de la comunidad publican estas variantes en Hugging Face, generalmente nombrándolas con "abliterated" o "uncensored" y señalando el modelo base del que partieron. La plataforma aloja los archivos; las personas que los crean son independientes y la calidad varía de editor a editor.

Cómo se diferencia del fine-tune

Otra forma de construir un modelo sin censura es ajustar con datos donde el asistente cumple. Eso cambia más del modelo y requiere computación de entrenamiento. La abliteration cambia menos y es más rápida, pero es tosca, por lo que puede dañar ligeramente la coherencia o el conocimiento. Ningún método es automáticamente mejor, y muchas fichas de modelo describen una mezcla. Lee la ficha para aprender cuál estás obteniendo.

Encontrar uno bueno

Una búsqueda de modelos abliterated en Hugging Face devuelve una larga lista. Redúcela con algunas verificaciones.

• Modelo base y tamaño. Una variante de una base fuerte es un mejor inicio que una variante de una débil. El tamaño impulsa las necesidades de hardware.
• Calidad de la ficha del modelo. Los buenos editores explican el método, muestran el comportamiento de ejemplo y listan problemas conocidos.
• Descargas y comentarios de la comunidad. Un modelo que mucha gente usa generalmente tiene informes de errores y consejos en su pestaña de discusión.
• Formato de archivo. Los ejecutores locales a menudo quieren GGUF; las bibliotecas de Python quieren safetensors. Elige lo que tu software carga.
• Licencia. Las variantes heredan los términos de licencia del modelo base. Verifícalos antes del uso comercial.

Ten cuidado con los archivos de editores desconocidos. Prefiere formatos de pesos que no puedan ejecutar código, y no ejecutes scripts que vienen empaquetados con un modelo a menos que los hayas leído.

Lo que toma ejecutar uno localmente

La memoria es la principal restricción. Una buena estimación es el recuento de parámetros multiplicado por los bytes usados por peso. Añade extra para la caché de clave-valor, que crece con la longitud del contexto, y para la sobrecarga del tiempo de ejecución.

Tamaño del modelo	16 bits	8 bits	4 bits
7B-8B parámetros	aproximadamente 14-16 GB	aproximadamente 7-8 GB	aproximadamente 4-5 GB
13B-14B parámetros	aproximadamente 26-28 GB	aproximadamente 13-14 GB	aproximadamente 7-8 GB
32B parámetros	aproximadamente 64 GB	aproximadamente 32 GB	aproximadamente 16-18 GB
70B parámetros	unos 140 GB	unos 70 GB	aproximadamente 35-40 GB

Estas son cifras aproximadas solo para los pesos. Una conversación larga añade gigabytes encima. Si el modelo no cabe en la memoria de la GPU, un ejecutor puede descargar capas a la RAM del sistema, pero la velocidad cae drásticamente. Un portátil sin GPU discreta puede ejecutar modelos cuantizados pequeños a un ritmo lento pero utilizable; los grandes están fuera de alcance.

Más allá del hardware está la configuración misma: elegir un ejecutor como llama.cpp, Ollama o LM Studio, elegir una cuantización, ajustar configuraciones de muestreo, y servir solicitudes si una app las necesita. Es un proyecto divertido y un mal uso del tiempo si solo necesitas respuestas.

Cuándo una API alojada es más sencilla

Elige alojado cuando alguna de estas es verdadera:

• No tienes la memoria para un modelo del tamaño que quieres.
• Estás construyendo una app o bot que otras personas usarán, y necesitas peticiones simultáneas.
• Quieres resultados hoy y no después de un fin de semana de configuración.
• Prefieres pagar por token en lugar de comprar y alimentar una GPU.

Este sitio ejecuta una API de texto alojada sin censura. Sirve un modelo de pesos abiertos, operado por un proveedor independiente y ajustado para responder sin rechazos de contenido para uso adulto lícito. No describimos sus internos más allá de eso, y no es la API oficial de ningún proveedor de modelos. La única limitación estricta es que el contenido sexual que involucre a menores de edad nunca está permitido.

Debido a que la interfaz es compatible con OpenAI, puedes probarla con el mismo SDK que ya usas:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.huggingfaceabliteratedmodels.com/v1",
    api_key="YOUR_KEY",
)

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Describe a haunted lighthouse in four sentences."}],
    stream=True,
)
for chunk in r:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

Alojado versus local de un vistazo

Factor	Modelo abliterated local	API alojada
Coste inicial	Hardware que ya posees o debes comprar	Ninguno; crédito prepago
Coste de ejecución	Electricidad	$0,15 por 1M de tokens de entrada, $0,50 por 1M de tokens de salida
Privacidad	Los datos permanecen en tu máquina	Los prompts van al proveedor; no se usan para entrenamiento
Elección de modelo	Cualquier variante que puedas descargar	Un modelo
Longitud del contexto	Limitado por tu memoria	100.000 tokens
Concurrencia	Lo que tu caja maneje	8 a la vez, 300 por minuto con una clave completa
Uso sin conexión	Sí	No

Local gana en privacidad, uso sin conexión y libertad para elegir cualquier variante. Alojado gana en velocidad de inicio y en compartir con otros. Mucha gente prueba ambas.

Errores con las variantes descargadas

Si decides ejecutar un modelo abliterated tú mismo, estos son los problemas que surgen con más frecuencia.

• Plantilla de chat incorrecta. Cada familia de modelos espera su propio formato de prompt. Una discrepancia produce salidas extrañas, divagantes o repetitivas que parecen de un modelo malo pero son de una configuración incorrecta. Usa la plantilla que se indica en la tarjeta del modelo.
• Cuantización demasiado agresiva. Un archivo de 2 bits o 3 bits ocupa menos memoria y puede afectar notablemente a la calidad. Sube un nivel si las respuestas parecen confusas.
• Variantes desactualizadas. Una variante popular puede ir por detrás del modelo base del que proviene. Comprueba las fechas y las versiones.
• Funciones de seguridad que permanecen. Algunas variantes reducen las negativas, pero no todas. Prueba con tus prompts reales en lugar de asumir.
• Valores predeterminados de muestreo. Los ajustes que funcionan para un modelo pueden hacer que otro entre en bucle. Empieza con una temperatura moderada y una penalización de repetición cercana a 1.

Las mismas ideas de resolución de problemas se aplican a los modelos alojados. En ambos casos, la causa de una respuesta débil es tan a menudo el prompt o la configuración como el modelo. Nuestra guía de resolución de problemas para modelos NSFW aborda estos problemas con más profundidad.

Por último, recuerda la regla fija. Cualquiera que sea el modelo que uses, el contenido sexual que involucre a menores no es aceptable, y un servicio alojado no lo permitirá.

Primeros pasos en la versión alojada

Regístrate con Google o con correo electrónico y contraseña, luego reclama un crédito de prueba de $0,50 con un solo clic en la página de clave de API. La prueba no requiere tarjeta, dura 7 días y está limitada a una por persona. La documentación muestra los endpoints admitidos, incluidas las completaciones de chat, las respuestas y el listado de modelos, además de streaming, tool calling y modo JSON.

Para tener una idea del precio, una petición con 1.500 tokens de entrada y 300 tokens de salida cuesta $0,000225 más $0,00015, lo que suma $0,000375. Las tarifas completas y las opciones de recarga están en la página de precios. Si tu interés es el uso creativo o de ficción para adultos, nuestra guía de resolución de problemas para modelos NSFW cubre los errores que aplican tanto a configuraciones locales como alojadas.

Más guías

• Límites gratuitos de la API de Hugging Face frente a APIs alojadas de pago
• Modelos NSFW: Resolución de problemas comunes