Hugging Face Abliterated 模型：托管与本地

什么是 abliteration

语言模型研究发现，拒绝行为主要由模型内部激活的单一方向介导。如果模型遇到它会拒绝的请求，该方向会被激活。Abliteration 利用这一发现，从权重中移除该方向，使模型无法以相同方式表示“这应被拒绝”。这是一种简短的定向编辑，而非完整的重新训练。

结果是一个在大多数方面行为与原模型相同，但会回答原本会拒绝的请求的模型。社区成员在 Hugging Face 上发布此类变体，通常以“abliterated”或“uncensored”命名，并注明起始基础模型。平台托管文件；制作者是独立的，质量因发布者而异。

与微调的区别

构建 uncensored 模型的另一种方法是在助手合规的数据上进行微调。这会改变更多模型内容并需要训练算力。Abliteration 改变较少且更快，但较粗糙，可能会轻微损害连贯性或知识。两种方法没有绝对的优劣，许多模型卡片描述了混合方法。阅读卡片以了解你获得的是哪一种。

找到一个好的

在 Hugging Face 上搜索 abliterated 模型会返回长列表。通过几项检查来缩小范围。

• 基础模型和大小。 强基础模型的变体比弱基础模型的变体是更好的起点。大小决定硬件需求。
• 模型卡片质量。 优秀的发布者会解释方法，展示示例行为并列出已知问题。
• 下载量和社区反馈。 一个许多人使用的模型，其讨论区通常会有 bug 报告和技巧。
• 文件格式。 本地运行器通常需要 GGUF；Python 库需要 safetensors。选择你的软件加载的格式。
• 许可证。 变体继承基础模型的许可证条款。商业使用前请检查。

小心来自未知发布者的文件。优先选择无法运行代码的权重格式，除非你已阅读，否则不要执行随模型捆绑的脚本。

本地运行需要付出什么

内存是主要限制。一个好的估计是参数量乘以每个权重的字节数。加上键值缓存的额外开销，其随上下文长度增长，以及运行时开销。

模型大小	16 位	8 位	4 位
7B-8B 参数	约 14-16 GB	约 7-8 GB	约 4-5 GB
13B-14B 参数	约 26-28 GB	约 13-14 GB	约 7-8 GB
32B 参数	约 64 GB	约 32 GB	约 16-18 GB
70B 参数	约 140 GB	约 70 GB	约 35-40 GB

这些是仅权重的粗略数字。长对话会增加数 GB。如果模型无法放入 GPU 内存，运行器可以将层卸载到系统 RAM，但速度会急剧下降。没有独立 GPU 的笔记本电脑可以以缓慢但可用的速度运行小型量化模型；大型模型则遥不可及。

除了硬件，还有设置本身：选择运行器（如 llama.cpp、Ollama 或 LM Studio）、选择量化、调整采样设置，并在应用需要时提供服务。这是一个有趣的项目，但如果只需要答案，则是时间的浪费。

当托管 API 更简单时

如果以下任一情况为真，请选择托管：

• 你没有所需大小模型的内存。
• 你正在构建其他人将使用的应用或机器人，且需要并发请求。
• 你想要今天获得结果，而不是经过周末的设置。
• 你更喜欢按 token 付费，而不是购买和运行 GPU。

本站运行托管的 uncensored 文本 API。它服务于一个开放权重模型，由独立提供商运营，针对合法成人用途调整了不拒绝生成内容的行为。我们不过多描述其内部结构，且它不是任何模型供应商的官方 API。唯一的硬性限制是涉及未成年人的性内容永远不被允许。

由于接口与 OpenAI 兼容，你可以使用你已有的同一个 SDK 进行测试：

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.huggingfaceabliteratedmodels.com/v1",
    api_key="YOUR_KEY",
)

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Describe a haunted lighthouse in four sentences."}],
    stream=True,
)
for chunk in r:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

托管与本地一目了然

因素	本地 abliterated 模型	托管 API
前期成本	你已拥有或必须购买的硬件	无；预付额度
运行成本	电力	输入每 100 万 token $0.15，输出每 100 万 token $0.50
隐私	数据保留在你的机器上	提示词发送给提供商；不用于训练
模型选择	你可以下载的任何变体	一个模型
上下文长度	受你的内存限制	100,000 个 token
并发	你的机器能处理多少	同时 8 个，完整密钥每分钟 300 个请求
离线使用	是	否

本地在隐私、离线使用和自由挑选变体方面胜出。托管在启动速度和与他人共享方面胜出。许多人两者都尝试。

下载变体的常见陷阱

如果你决定自行运行 abliterated 模型，以下是最常出现的问题。

• 错误的聊天模板。 每个模型家族都有各自的提示词格式。格式不匹配会导致奇怪、冗长或重复的输出，看起来像是模型不好，实际上是设置问题。请使用模型卡上指定的模板。
• 过于激进的量化。 2-bit 或 3-bit 文件占用的内存更少，但会明显降低质量。如果回复感觉混乱，请尝试更高级别的量化。
• 过时的变体。 流行的变体可能落后于其来源的基础模型。请检查日期和版本。
• 保留的安全功能。 某些变体减少了拒绝回答的情况，但并非全部。请使用你的真实提示词进行测试，不要仅凭假设。
• 采样默认值。 适合一个模型的设置可能导致另一个模型陷入循环。从适中的 temperature 和接近 1 的 repetition penalty 开始。

相同的故障排除思路也适用于托管模型。在这两种情况下，回答质量差的原因往往与提示词或设置有关，而不仅仅是模型本身。我们的 NSFW 模型故障排除指南 更深入地介绍了这些问题。

最后，请记住固定规则。无论你使用什么模型，禁止涉及未成年人的性内容，托管服务也不会允许。

托管端入门

使用 Google 或邮箱密码注册，然后在 API 密钥页面 一键领取 $0.50 试用额度。试用无需绑卡，有效期 7 天，每人限领一次。文档 展示了支持的接口，包括聊天补全、响应和模型列表，以及流式输出、函数调用和 JSON 模式。

为了了解价格，一次包含 1,500 个输入 token 和 300 个输出 token 的请求费用为 $0.000225 加上 $0.00015，总计 $0.000375。完整费率和充值选项请查看 定价页面。如果你的兴趣在于创意或成人小说用途，我们的 NSFW 模型故障排除指南 涵盖了本地和托管设置中都会出现的错误。

更多指南

• Hugging Face API 免费限制与付费托管 API 对比
• NSFW 模型：常见错误故障排除