Hugging Face Abliteratedモデル：ホスト型とローカル型

Abliterationとは何か

言語モデルの研究により、拒否行動はモデルの内部活性化の単一方向によって主に制御されることが判明しました。モデルが拒否すべきリクエストを受け取ると、その方向が活性化します。Abliterationはこの知見を活用し、重みからその方向を削除します。これにより、モデルは「これを拒否すべき」という表現を以前と同じようにはできなくなります。これは完全な再トレーニングではなく、短く焦点を絞った編集です。

その結果、ほとんどの点で元のモデルと同様に振る舞い、以前拒否していたリクエストには答えるモデルが生成されます。コミュニティのメンバーは、Hugging Face上でこれらのバリエーションを公開しており、通常「abliterated」や「uncensored」という名前を付け、基盤となったモデルを明記しています。プラットフォームはファイルをホストしていますが、それらを作成する人々は独立しており、品質はパブリッシャーによって異なります。

ファインチューニングとの違い

もう一つの無検閲モデルの構築方法は、アシスタントが従順なデータでファインチューニングすることです。これはモデルのより多くの部分を変更し、トレーニングコンピュートを要します。abliterationはより少ない変更で迅速ですが、単純なため一貫性や知識をわずかに損なう可能性があります。どちらの方法が自動的に優れているわけでもなく、多くのモデルカードは両者の併用を説明しています。どちらを入手することになるのかは、カードを読んで確認してください。

良いモデルの選び方

Hugging Faceで無検閲モデルを検索すると長いリストが表示されます。いくつかのチェックで絞り込みましょう。

• ベースモデルとサイズ 強力なベースモデルのバリエーションは、弱いベースモデルのバリエーションよりも良い出発点です。サイズがハードウェア要件を決定します。
• モデルカードの品質 信頼できる出版社は手法を説明し、例示された挙動を示し、既知の問題をリストアップします。
• ダウンロード数とコミュニティフィードバック 多くの人が使用するモデルは、通常、ディスカッションタブにバグレポートやヒントがあります。
• ファイル形式 ローカルランナーはGGUFを、Pythonライブラリはsafetensorsを好む傾向があります。ソフトウェアが読み込む形式を選んでください。
• ライセンス バリエーションはベースモデルのライセンス条件を継承します。商用利用の前にそれらを確認してください。

不明なパブリッシャーからのファイルには注意してください。コードを実行できないウェイト形式を好み、モデルにバンドルされているスクリプトは、それらを読んだ場合に限り実行してください。

ローカルで実行するために必要なもの

メモリが主な制約です。良い見積もりは、パラメータ数に重みあたりのバイト数を掛けたものです。コンテキストの長さとともに増大するkey-valueキャッシュと、ランタイムのオーバーヘッドのために追加で必要です。

モデルサイズ	16ビット	8ビット	4ビット
7B〜8Bパラメータ	約14〜16 GB	約7〜8 GB	約4〜5 GB
13B〜14Bパラメータ	約26〜28 GB	約13〜14 GB	約7〜8 GB
32Bパラメータ	約64 GB	約32 GB	約16〜18 GB
70Bパラメータ	約140GB	約70GB	約35〜40 GB

これらは重みだけの概算数値です。長い会話ではさらにギガバイトが必要になります。モデルがGPUメモリに収まらない場合、ランナーはレイヤーをシステムRAMにオフロードできますが、速度は大きく低下します。ディスクリートGPUのないラップトップでは、小さな量子化モデルを遅いが実用的な速度で実行できますが、大きなモデルは手が届きません。

ハードウェアに加えてセットアップ自体もあります：llama.cpp、Ollama、LM Studioなどのランナーの選択、量子化の選択、サンプリング設定の調整、アプリが必要とする場合はリクエストのサービングなどです。これは楽しいプロジェクトですが、単に回答が必要なだけなら時間の無駄です。

ホストAPIの方が簡単な場合

以下のいずれかに該当する場合はホストを選択してください：

• あなたが望むサイズのモデルに必要なメモリがありません。
• あなたは他の人が使用するアプリやボットを構築しており、同時リクエストが必要です。
• セットアップに週末を費やすのではなく、今日中に結果が欲しいと考えています。
• GPUを購入して稼働させるより、トークン単位で支払うほうがよい。

このサイトはホスト型のuncensoredテキストAPIを運営しています。独立したプロバイダーが運用する1つのオープンウェイトモデルを提供しており、合法的な成人利用に対してコンテンツ拒否なしで回答するよう調整されています。内部構造についてはこれ以上説明せず、いかなるモデルベンダーの公式APIでもありません。唯一の厳格な制限は、未成年者が関わる性的コンテンツは決して許可されないことです。

インターフェースはOpenAI互換であるため、すでに使用しているSDKでテストできます：

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.huggingfaceabliteratedmodels.com/v1",
    api_key="YOUR_KEY",
)

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Describe a haunted lighthouse in four sentences."}],
    stream=True,
)
for chunk in r:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

ホストとローカルの比較

要素	ローカルabliteratedモデル	ホスト型API
初期費用	すでに所有しているか、購入が必要なハードウェア	あなたが望むサイズのモデルに必要なメモリがありません。
運用コスト	電気代	入力トークン 1M あたり $0.15、出力トークン 1M あたり $0.50
プライバシー	データはあなたのマシンに残ります	プロンプトはプロバイダに送信され、トレーニングには使用されません
モデルの選択	ダウンロード可能な任意の派生モデル	1つのモデル
コンテキストの長さ	お使いのメモリによって制限されます	100,000トークン
同時実行	お使いのPCが処理できる範囲のもの	同時に8件、フルキーで1分あたり300件
オフライン使用	はい	なし

ローカルはプライバシー、オフライン利用、任意の派生モデルの選択の自由で優れています。ホスト版は起動の速さと他者との共有で優れています。多くのユーザーは両方を試しています。

ダウンロードしたバリエーションの落とし穴

abliterated モデルを自分で実行することにした場合、最もよく発生する問題は次の通りです。

• 間違ったチャットテンプレート。 各モデルファミリーには固有のプロンプト形式が求められます。不一致だと、不自然で、まとまりのない、または反復的な出力になり、モデルが悪いように見えますが、実際は設定が悪いだけです。カードに記載されているテンプレートを使用してください。
• 過剰な量子化。 2ビットまたは3ビットのファイルはメモリを少なく済ませますが、品質が著しく低下する可能性があります。返信が混乱している場合は、上位の量子化レベルに切り替えてください。
• 古いバリアント。 人気のあるバリアントは、その基盤となったベースモデルに遅れを取っている場合があります。日付とバージョンを確認してください。
• 残存するセーフティ機能。 拒否を減らすバリアントもありますが、すべてがそうとは限りません。推測するのではなく、実際のプロンプトでテストしてください。
• サンプリングのデフォルト設定。 1つのモデルに適した設定が、別のモデルではループを引き起こすことがあります。適度な温度と、1に近い反復ペナルティから始めてください。

同じトラブルシューティングの考え方は、ホストされたモデルにも適用されます。どちらの場合も、回答が質が低い原因は、モデルそのものよりも、プロンプトや設定であることが多いです。当社のNSFW モデルのトラブルシューティングガイドでは、これらの問題についてより深く解説しています。

最後に、固定されたルールを覚えておいてください。どのモデルを使用する場合でも、未成年者に関わる性的コンテンツは許されず、ホストされたサービスもそれを許可しません。

ホスト版の始め方

Googleまたはメールアドレスとパスワードで登録し、APIキーページでワンクリックで$0.50のトライアルクレジットを受け取ります。トライアルにはカードが必要なく、7日間有効で、1人1回限りの制限があります。ドキュメントには、チャット完了、レスポンス、モデル一覧に加え、ストリーミング、ツール呼び出し、JSONモードを含むサポートされているエンドポイントが示されています。

価格の目安として、1,500入力トークンと300出力トークンのリクエストは$0.000225に$0.00015を加えた$0.000375がかかります。完全なレートとチャージオプションは料金ページにあります。クリエイティブまたは成人向けフィクション用途にご興味がある場合は、ローカルおよびホストのセットアップの両方に適用されるミスをカバーするNSFWモデルのトラブルシューティングガイドをご覧ください。

その他のガイド

• Hugging Face API の無料制限対有料ホストAPI
• NSFW モデル：よくあるミスのトラブルシューティング