Модели Hugging Face Abliterated: хостинг против локального запуска

Что такое аблитерация

Исследования языковых моделей показали, что поведение отказа в значительной степени опосредовано одним направлением во внутренних активациях модели. Если модель считывает запрос, который она должна отклонить, это направление активируется. Аблитерация использует это открытие и удаляет направление из весов, так что модель больше не может представлять «это следует отклонить» тем же способом. Это короткое, целевое редактирование, а не полный запуск переобучения.

В результате получается модель, которая ведёт себя как оригинал в большинстве аспектов, но отвечает на запросы, которые она раньше отклоняла. Участники сообщества публикуют такие варианты на Hugging Face, обычно называя их «аблитерированные» или «без цензуры» и указывая базовую модель, от которой они начали. Платформа размещает файлы; люди, которые их создают, являются независимыми, а качество варьируется от издателя к издателю.

Чем это отличается от дообучения

Другой способ создать модель без цензуры — дообучить её на данных, где ассистент соглашается. Это изменяет больше модели и требует вычислительных мощностей для обучения. Аблитерация изменяет меньше и быстрее, но она грубая, поэтому может немного ухудшить связность или знания. Ни один из методов не является автоматически лучшим, и многие карточки моделей описывают смесь. Прочитайте карточку, чтобы узнать, что вы получаете.

Поиск хорошей модели

Поиск аблитерированных моделей на Hugging Face выдает длинный список. Сузьте его с помощью нескольких проверок.

• Базовая модель и размер. Вариант сильной базовой модели — лучший старт, чем вариант слабой. Размер определяет требования к оборудованию.
• Качество карточки модели. Хорошие издатели объясняют метод, показывают примерное поведение и перечисляют известные проблемы.
• Загрузки и отзывы сообщества. Модель, которую используют многие люди, обычно имеет отчеты об ошибках и советы в разделе обсуждения.
• Формат файла. Локальные движки часто хотят GGUF; библиотеки Python хотят safetensors. Выберите то, что загружает ваше программное обеспечение.
• Лицензия. Варианты наследуют условия лицензии базовой модели. Проверьте их перед коммерческим использованием.

Будьте осторожны с файлами от неизвестных издателей. Предпочитайте форматы весов, которые не могут запускать код, и не выполняйте скрипты, поставляемые вместе с моделью, если вы их не прочитали.

Что требуется для локального запуска

Память — главное ограничение. Хорошая оценка — количество параметров, умноженное на количество байт, используемых на вес. Добавьте дополнительно для кэша ключ-значение, который растет с длиной контекста, и для накладных расходов времени выполнения.

Размер модели	16-битный	8-битный	4-битный
7B-8B параметров	около 14-16 ГБ	около 7-8 ГБ	около 4-5 ГБ
13B-14B параметров	около 26-28 ГБ	около 13-14 ГБ	около 7-8 ГБ
32B параметров	около 64 ГБ	около 32 ГБ	около 16–18 ГБ
70B параметров	около 140 ГБ	около 70 ГБ	около 35–40 ГБ

Это приблизительные цифры только для весов. Длинный разговор добавляет гигабайты сверху. Если модель не помещается в память видеокарты, инференс-движок может выгружать слои в системную оперативную память, но скорость резко падает. Ноутбук без дискретной видеокарты может запускать маленькие квантованные модели с медленной, но пригодной скоростью; большие недоступны.

Помимо оборудования есть сама настройка: выбор инференс-движка, такого как llama.cpp, Ollama или LM Studio, выбор квантования, настройка параметров сэмплирования и предоставление API-запросов, если приложение требует их. Это интересный проект и плохая трата времени, если вам нужны только ответы.

Когда хостинговое API проще

Выбирайте хостинг, если верно любое из следующих условий:

• У вас нет памяти для модели нужного вам размера.
• Вы создаете приложение или бота, которыми будут пользоваться другие люди, и вам нужны одновременные запросы.
• Вы хотите получить результаты сегодня, а не после выходных настройки.
• Вы предпочитаете платить за токен, а не покупать и питать GPU.

Этот сайт предоставляет хостинговое API для генерации текста без цензуры. Он обслуживает одну модель с открытыми весами, управляемую независимым провайдером и настроенную на ответы без отказов по контенту для законного использования взрослыми. Мы не описываем его внутреннее устройство, и это не официальное API от какого-либо вендора моделей. Единственное строгое ограничение: контент сексуального характера с участием несовершеннолетних строго запрещён.

Поскольку интерфейс совместим с OpenAI, вы можете протестировать его с тем же SDK, который вы уже используете:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.huggingfaceabliteratedmodels.com/v1",
    api_key="YOUR_KEY",
)

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Describe a haunted lighthouse in four sentences."}],
    stream=True,
)
for chunk in r:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

Хостинг против локального запуска вкратце

Фактор	Локальная аблитерированная модель	Хостинговое API
Предварительные затраты	Оборудование, которое у вас уже есть или которое нужно купить	Нет; предоплаченный баланс
Стоимость запуска	Электричество	$0,15 за 1 млн входных токенов, $0,50 за 1 млн выходных токенов
Конфиденциальность	Данные остаются на вашем компьютере	Промпты отправляются провайдеру; они не используются для обучения
Выбор модели	Любой вариант, который вы можете скачать	Одна модель
Длина контекста	Ограничено вашей памятью	100 000 токенов
Параллельные запросы	Что угодно, что обрабатывает ваш компьютер	8 одновременно, 300 в минуту на полном ключе
Офлайн-использование	Да	Нет

Локальное решение выигрывает в приватности, автономности и свободе выбора любого варианта. Хостинг выигрывает в скорости запуска и в совместном использовании с другими. Многие люди пробуют оба варианта.

Подводные камни скачанных вариантов

Если вы решите запустить аблитерированную модель самостоятельно, вот наиболее частые проблемы, с которыми вы столкнётесь.

• Неверный шаблон чата. Каждое семейство моделей ожидает свой формат промпта. Несоответствие приводит к странному, сбивчивому или повторяющемуся выводу, который выглядит как проблема модели, но на деле — проблема настройки. Используйте шаблон, указанный на карточке модели.
• Чрезмерное квантование. Файл 2-битного или 3-битного квантования занимает меньше памяти, но может заметно ухудшить качество. Увеличьте уровень квантования, если ответы кажутся запутанными.
• Устаревшие варианты. Популярный вариант может отставать от базовой модели, на основе которой он создан. Проверяйте даты и версии.
• Оставшиеся функции безопасности. Некоторые варианты уменьшают количество отказов, но не все. Тестируйте с вашими реальными промптами, а не полагайтесь на предположения.
• Параметры сэмплирования по умолчанию. Настройки, подходящие для одной модели, могут вызвать зацикливание в другой. Начните с умеренной температуры и штрафа за повторение, близкого к 1.

Те же идеи по устранению неполадок применимы и к размещённым моделям. В обоих случаях причиной слабого ответа часто является промпт или настройки, а не сама модель. Наше руководство по устранению неполадок NSFW-моделей подробно рассматривает эти проблемы.

Наконец, помните о фиксированном правиле. Какую бы модель вы ни использовали, контент сексуального характера с участием несовершеннолетних не принимается, и размещенный сервис не позволит его использовать.

Начало работы с размещённой версией

Зарегистрируйтесь с помощью Google или по электронной почте и паролю, затем получите пробный кредит на $0,50 одним кликом на странице API-ключа. Для пробного кредита не нужна карта, срок действия — 7 дней, лимит — один на человека. В документации указаны поддерживаемые эндпоинты, включая chat completions, responses и listing моделей, а также потоковая передача, вызов функций и JSON-режим.

Для понимания цен: запрос с 1 500 входными токенами и 300 выходными токенами стоит $0,000225 плюс $0,00015, что составляет $0,000375. Полные тарифы и варианты пополнения баланса доступны на странице цен. Если вас интересует творческое использование или взрослая проза, наше руководство по устранению неполадок NSFW-моделей описывает ошибки, актуальные как для локальных, так и для размещённых настроек.

Дополнительные руководства

• Лимиты бесплатного API Hugging Face против платных размещённых API
• NSFW-модели: Устранение распространённых ошибок