Hugging Face Abliterated 모델: 호스팅 vs 로컬

abliteration이란 무엇인가

언어 모델에 대한 연구에 따르면 거부 동작은 모델의 내부 활성화에서 단일 방향에 의해 주로 매개됩니다. 모델이 거절할 요청을 읽으면 해당 방향이 활성화됩니다. Abliteration은 이 발견을 활용하여 가중치에서 해당 방향을 제거하므로 모델이 "거절해야 함"을 더 이상 동일한 방식으로 표현할 수 없습니다. 이는 전체 재학습이 아닌 짧고 표적화된 편집입니다.

결과는 대부분의 측면에서 원래 모델과 동일하게 동작하지만 이전에 거절하던 요청에는 답변하는 모델입니다. 커뮤니티 구성원은 Hugging Face에 이러한 변종을 게시하며, 보통 "abliterated" 또는 "uncensored"라는 이름을 사용하고 시작하는 베이스 모델을 명시합니다. 플랫폼은 파일을 호스팅하지만, 만드는 사람들은 독립적이며 출판사마다 품질이 다릅니다.

파인튜닝과의 차이점

uncensored 모델을 구축하는 또 다른 방법은 어시스턴트가 준수하는 데이터로 파인튜닝하는 것입니다. 이는 모델의 더 많은 부분을 변경하며 훈련 컴퓨팅이 필요합니다. Abliteration은 덜 변경하고 더 빠르지만 대략적이어서 일관성이나 지식에 약간의 손상을 줄 수 있습니다. 어느 방법이 자동으로 더 나은 것은 아니며, 많은 모델 카드가 혼합 방식을 설명합니다. 카드에서 어떤 것을 얻는지 확인하세요.

좋은 모델 찾기

Hugging Face에서 abliterated 모델을 검색하면 긴 목록이 반환됩니다. 몇 가지 확인 사항으로 좁히세요.

• 베이스 모델 및 크기. 강력한 베이스의 변종은 약한 베이스의 변종보다 더 나은 시작점입니다. 크기가 하드웨어 요구 사항을 결정합니다.
• 모델 카드 품질. 좋은 출판사는 방법을 설명하고 예시 동작을 보여주며 알려진 문제를 나열합니다.
• 다운로드 및 커뮤니티 피드백. 많은 사람이 사용하는 모델은 일반적으로 토론 탭에 버그 보고서와 팁이 있습니다.
• 파일 형식. 로컬 러너는 종종 GGUF를 원하고 Python 라이브러리는 safetensors를 원합니다. 소프트웨어가 로드하는 것을 선택하세요.
• 라이선스. 변종은 베이스 모델의 라이선스 조건을 상속합니다. 상업적 사용 전에 확인하세요.

알 수 없는 발행자의 파일을 주의하세요. 코드를 실행할 수 없는 가중치 형식을 선호하고, 모델과 함께 제공되는 스크립트는 직접 읽어보지 않았다면 실행하지 마세요.

로컬에서 실행하는 데 필요한 것

메모리가 주요 제약 사항입니다. 좋은 추정치는 매개변수 수에 가중치당 바이트 수를 곱한 것입니다. 컨텍스트 길이에 따라 증가하는 키-값 캐시와 런타임 오버헤드를 추가하세요.

모델 크기	16비트	8비트	4비트
7B-8B 매개변수	약 14~16GB	약 7~8GB	약 4~5GB
13B-14B 매개변수	약 26~28GB	약 13~14GB	약 7~8GB
32B 파라미터	약 64GB	약 32GB	약 16~18GB
70B 파라미터	약 140GB	약 70GB	약 35~40GB

이것들은 가중치만 위한 대략적인 수치입니다. 긴 대화는 기가바이트 단위의 추가 용량을 추가합니다. 모델이 GPU 메모리에 맞지 않으면 러너가 레이어를 시스템 RAM으로 오프로드할 수 있지만 속도가 급격히 떨어집니다. 전용 GPU가 없는 노트북은 작은 양자화 모델을 느리지만 사용 가능한 속도로 실행할 수 있지만, 큰 모델은 사용하기 어렵습니다.

하드웨어 외에도 러너(llama.cpp, Ollama, LM Studio 등) 선택, 양자화 선택, 샘플링 설정 조정, 앱이 요청을 처리해야 할 경우 서비스 제공 등 설정 자체가 필요합니다. 재미있는 프로젝트이지만 답변만 필요하면 시간 낭비입니다.

호스팅된 API가 더 간단한 경우

다음 중 하나가 참일 때 호스팅된 모델을 선택하세요:

• 원하는 크기의 모델에 필요한 메모리가 부족합니다.
• 다른 사람들이 사용할 앱이나 봇을 구축 중이며 동시 요청이 필요합니다.
• 주말 동안 설정한 후가 아닌 오늘 결과를 원합니다.
• GPU를 구매하고 가동하는 대신 토큰 단위 과금을 선호합니다.

이 사이트는 호스팅된 uncensored 텍스트 API를 실행합니다. 독립적인 제공자가 운영하고 합법적인 성인 사용에 콘텐츠 거절 없이 답변하도록 조정된 하나의 오픈 웨이트 모델을 제공합니다. 내부 구조에 대해서는 그 이상 설명하지 않으며, 어떤 모델 벤더의 공식 API도 아닙니다. 유일한 하드 제한은 미성년자가 관련된 성적 콘텐츠는 절대 허용되지 않는다는 것입니다.

인터페이스가 OpenAI와 호환되므로 이미 사용하는 SDK로 테스트할 수 있습니다:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.huggingfaceabliteratedmodels.com/v1",
    api_key="YOUR_KEY",
)

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Describe a haunted lighthouse in four sentences."}],
    stream=True,
)
for chunk in r:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

호스팅 vs 로컬 한눈에 보기

요인	로컬 abliterated 모델	호스팅 API
선불 비용	이미 소유하거나 구매해야 하는 하드웨어	없음; 선불 크레딧
실행 비용	전기 요금	입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50
개인정보	데이터는 귀하의 머신에 남아 있습니다	프롬프트는 제공자에게 전송되며 훈련에 사용되지 않음
모델 선택	다운로드할 수 있는 모든 변종	하나의 모델
컨텍스트 길이	메모리에 의해 제한됨	100,000 토큰
동시 요청	귀하의 시스템이 처리할 수 있는 것	동시 요청 8개, 분당 300개 (전체 키 기준)
오프라인 사용	예	아니요

로컬은 프라이버시, 오프라인 사용 및 어떤 변종이든 선택할 수 있는 자유에서 승리합니다. 호스팅은 시작 속도 및 타인과 공유에서 승리합니다. 많은 사람들이 둘 다 시도합니다.

다운로드한 변형 모델 사용 시 주의점

abliterated 모델을 직접 실행하기로 결정했다면, 가장 흔히 발생하는 문제들은 다음과 같습니다.

• 잘못된 채팅 템플릿. 모든 모델 계열은 고유한 프롬프트 형식을 요구합니다. 템플릿이 일치하지 않으면 모델이 나빠서가 아니라 설정이 잘못되어 이상하거나 장황하며 반복적인 출력이 생성됩니다. 카드에 명시된 템플릿을 사용하세요.
• 과도한 양자화. 2비트 또는 3비트 파일은 메모리 사용량이 적지만 품질이 현저히 저하될 수 있습니다. 응답이 혼란스러워 보인다면 더 높은 수준의 모델을 사용하세요.
• 구버전 변형 모델. 인기 있는 변형 모델이 원본 기반 모델을 뒤따르고 있을 수 있습니다. 날짜와 버전을 확인하세요.
• 남아 있는 안전 기능. 일부 변형 모델은 거부를 줄이지만 모두 그런 것은 아닙니다. 가정하기보다 실제 프롬프트로 테스트하세요.
• 샘플링 기본값. 한 모델에 적합한 설정이 다른 모델에서는 반복 루프를 유발할 수 있습니다. 온건한 temperature와 1에 가까운 repetition penalty로 시작하세요.

같은 문제 해결 아이디어는 호스팅 모델에도 적용됩니다. 두 경우 모두 답변이 약한 원인은 모델보다 프롬프트나 설정일 때가 많습니다. NSFW 모델 문제 해결 가이드에서 이러한 문제를 더 자세히 다룹니다.

마지막으로, 고정된 규칙을 기억하세요. 어떤 모델을 사용하든 미성년자가 관련된 성적 콘텐츠는 허용되지 않으며, 호스팅 서비스도 이를 허용하지 않습니다.

호스팅 서비스 시작하기

Google 또는 이메일과 비밀번호로 가입한 후, API 키 페이지에서 한 번의 클릭으로 $0.50 무료 체험 크레딧을 받으세요. 이 체험 크레딧에는 카드가 필요 없으며, 7일 동안 유효하고 인원당 한 번만 사용할 수 있습니다. 문서에는 채팅 완성, 응답, 모델 나열을 포함한 지원되는 엔드포인트, 스트리밍, 함수 호출 및 JSON 모드가 표시됩니다.

가격 감을 잡기 위해, 1,500개의 입력 토큰과 300개의 출력 토큰을 사용하는 요청은 $0.000225 + $0.00015 = $0.000375가 듭니다. 전체 요금표와 충전 옵션은 가격 책정 페이지에서 확인할 수 있습니다. 창의적이거나 성인 소설 용도에 관심이 있다면, 로컬 및 호스팅 설정 모두에 적용되는 실수를 다루는 NSFW 모델 문제 해결 가이드를 참조하세요.

더 많은 가이드

• Hugging Face API 무료 한도 vs 유료 호스팅 API
• NSFW 모델: 흔한 실수 해결