Hugging Face API 무료 한도 vs 유료 호스팅 API

무료 추론의 일반적인 작동 방식

호스팅 API를 제공하는 모델 허브는 일반적으로 무료 사용자에게 소량의 할당량을 제공합니다. 로그인하고 액세스 토큰을 생성한 후 결제 없이 호스팅 모델에 요청을 보낼 수 있습니다. 이는 모델을 투자하기 전에 모델의 성능을 확인하는 데 유용합니다.

구체적인 사항은 제공업체가 설정하고 변경합니다: 사용 가능한 모델, 기간당 요청 수 또는 컴퓨팅 리소스, 무료 호출이 유료 호출 뒤에 대기해야 하는지 여부 등. 우리는 숫자를 인용하지 않습니다. 제한 사항을 기반으로 설계하기 전에 제공업체의 현재 문서 및 가격 페이지를 확인하십시오.

공급업체 간에 변하지 않는 것은 목적입니다. 무료 할당량은 사용자가 무언가를 시도해 보게 하기 위해 존재합니다. 이는 사용자 기반 제품의 용량 약속이 아닙니다.

무료 티어의 제약 사항

개발자는 일반적으로 같은 다섯 가지 문제에 부딪힙니다.

• 할당량이 고갈됩니다. 할당량을 초과하면 호출이 실패하거나 결제가 요청됩니다. 데이터셋을 반복하는 스크립트는 몇 분 안에 하루 할당량을 소모할 수 있습니다.
• 콜드 스타트 및 대기열. 무료 요청은 대기해야 하거나 모델 로딩이 필요하여 지연 시간이 예측 불가능해질 수 있습니다.
• 모델 가용성. 대형 모델은 종종 유료 사용으로 제한되며 사용 가능한 모델 목록은 시간이 지남에 따라 변경됩니다.
• 요청 형태. 일부 무료 엔드포인트는 필요한 프롬프트 길이 또는 출력 길이보다 낮은 수준으로 길이를 제한할 수 있습니다.
• 거부. 많은 인기 호스팅 모델은 안전성 학습을 통해 지시어 튜닝되었습니다. 무료 액세스는 합법적이지만 경계선에 있는 요청에 대한 응답 방식을 변경하지 않습니다.

주말 프로토타입에는 이러한 사항이 문제가 되지 않습니다. 봇, 배치 작업 또는 매일 실행하려는 도구의 경우 한계에 빠르게 도달합니다.

유료 사용량 기반 접근 방식의 비용

대안으로 선불 크레딧을 충전하고 토큰 100만 개당 사용량 기반 API를 이용하는 것입니다. 이 서비스에서는 토큰 100만 개당 입력은 $0.15, 출력은 $0.50이며 구독료는 없습니다. 실패하거나 거부된 요청에는 요금이 부과되지 않으며 선불 크레딧은 만료되지 않습니다.

구체적인 숫자는 소규모 프로젝트 비용이 매우 적게 드는 이유를 보여줍니다.

• 취미 봇. 하루 200개의 메시지, 메시지당 1,000개의 입력 토큰과 250개의 출력 토큰. 메시지당: $0.00015 + $0.000125 = $0.000275. 하루: 200 x $0.000275 = $0.055. 30일: $1.65.
• 매일 요약기. 하루 1,000개의 기사, 기사당 3,000개의 입력 토큰과 300개의 출력 토큰. 입력은 300만 토큰, $0.45. 출력은 30만 토큰, $0.15. 하루 $0.60, 30일 기준 $18.00입니다.

따라서 취미용 봇은 한 달에 커피 한 잔보다 저렴하며, 요약기조차 $20 미만입니다. 최소 충전 금액은 $20이며 크레딧은 만료되지 않으므로 오래 지속됩니다.

비교

질문	일반적인 무료 추론 티어	이 호스팅 API
시작 가격	무료	$0.50 체험 크레딧, 이후 선불
용량	제공업체가 설정한 할당량	풀 키: 동시 8개, 분당 300개. 체험 키: 동시 2개, 분당 60개
모델 선택	많은 모델, 가용성은 모델에 따라 다름	하나의 모델, 모델 ID는 uncensored
콘텐츠 거부	선택한 모델에 따라 다름	합법적인 성인 사용에는 없음
컨텍스트 창	모델 및 티어에 따라 다름	100,000 토큰, 프롬프트 및 완성 포함
결제	한도에 도달할 때까지 무료	토큰별, 암호화폐 충전

비교할 모델의 다양한 메뉴가 필요한 경우 허브의 무료 티어가 탐색하기 더 나은 곳입니다. 합법적인 요청을 거부하지 않는 단일 모델에 대한 안정적인 엔드포인트가 필요한 경우 사용량 기반 API가 더 나은 기반입니다. 이 서비스는 텍스트 전용임을 참고하세요: 이미지, 오디오, 임베딩 또는 파인튜닝은 제공되지 않습니다.

그들 사이에서 코드를 전환하기

많은 허브 API와 이 API는 OpenAI 스타일 클라이언트로 접근할 수 있으므로 이동은 주로 구성 변경에 불과합니다. Node에서의 예시는 다음과 같습니다:

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.huggingfaceabliteratedmodels.com/v1",
  apiKey: process.env.UNCENSORED_KEY,
});

const res = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "List three ideas for a heist-movie opening scene." }],
});
console.log(res.choices[0].message.content);

제공업체를 변경해도 코드를 수정할 필요가 없도록 base URL, 키 및 모델 ID를 환경 변수에 유지하십시오. 이 동일한 접근 방식은 개발 중에는 무료 티어 모델을 사용하고 프로덕션에서는 사용량 기반 엔드포인트를 실행할 수 있게 해줍니다.

예상치 못한 청구 없이 확장 계획하기

무료 티어의 문제는 그 끝에서 발생하는 전환점입니다. 그 시기가 오기 전에 준비를 하십시오.

1. 지금 토큰을 측정하세요. 무료 할당량에 있는 동안 각 호출의 입력 및 출력 토큰 수를 기록하세요. 유료 요금률에 곱하여 한 달치 비용을 예측하세요.
2. 코드에서 예산 알림을 설정하십시오. 각 응답에서 X-Balance-USD 헤더를 읽고 임계값 아래로 떨어질 때 경고하십시오.
3. 0일 때의 처리 방식을 결정하십시오. 실패한 요청에는 요금이 부과되지 않지만, 앱은 명확한 메시지를 표시하고 재시도 루프에 빠지지 않아야 합니다.
4. 첫날부터 제한을 준수하십시오. 전체 키에서는 동시 요청을 8 이하로, 체험 키에서는 2 이하로 유지하여 업그레이드 시 재설계가 필요하지 않도록 하십시오.

Copycurl -i https://api.huggingfaceabliteratedmodels.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"ping"}],"max_tokens":5}'

응답 헤더에는 X-Balance-USD, X-RateLimit-Limit-Requests 및 X-RateLimit-Limit-Concurrency가 포함되어 있어 남은 잔액과 처리 속도를 알려줍니다. 5토큰 테스트 호출 비용은 1센트의 극히 일부입니다.

키 받기 및 제한 처리

Google 또는 이메일과 비밀번호로 회원가입한 후 API 키 페이지에서 한 번의 클릭으로 $0.50 체험 크레딧을 청구하세요. 체험에는 카드가 필요 없으며 7일 동안 유효하고 사람당 하나입니다. 충전은 $20에서 $500까지의 정액으로 이루어지며, TRC20 네트워크의 USDT 또는 Base 네트워크의 USDC로 암호화폐를 통해 지불합니다. $50부터 5%, $100부터 10%, $200부터 15%의 보너스가 추가됩니다. 자세한 내용은 가격 책정 페이지에서 확인하세요.

한도에 도달하면 API는 코드 rate_limited 또는 concurrency와 함께 HTTP 429를 반환하고, 과부하 시 Retry-After: 5 헤더를 반환합니다. 스트리밍 요청은 스트림이 끝날 때까지 동시 요청 슬롯을 유지합니다. API 문서에서 읽을 수 있는 헤더를 확인할 수 있습니다. 모델 동작 문제 해결을 위해 NSFW 모델 문제 해결 기사이 유용한 참고 자료입니다.

더 많은 가이드

• Hugging Face Abliterated 모델: 호스팅 vs 로컬
• NSFW 모델: 흔한 실수 해결하기