AnythingLLM
문서 및 지식베이스를 위한 올인원 프라이빗 AI 어시스턴트 및 RAG 플랫폼
소개
AnythingLLM은 RAG, 에이전트, 다중 사용자 워크스페이스를 지원하는 프라이빗 AI 어시스턴트 플랫폼입니다. Generic OpenAI LLM 공급자를 통해 OpenAI 호환 엔드포인트(TokenMix 포함)에 연결할 수 있어 프라이빗 인프라를 벗어나지 않고 Claude, GPT-5, Qwen을 사용할 수 있습니다. RAG를 위한 문서 인덱싱을 위해 Generic OpenAI Embedder도 구성해야 합니다.
사전 조건
Docker로 AnythingLLM을 셀프호스트합니다:
docker pull mintplexlabs/anythingllm
docker run -d -p 3001:3001 \
-v anythingllm_storage:/app/server/storage \
--name anythingllm \
mintplexlabs/anythingllm
http://localhost:3001에 접속하여 온보딩 마법사를 완료합니다.
TokenMix API 키도 필요합니다. tokenmix.ai → 콘솔 → API Keys에서 생성하세요.
설정 단계
1단계 — LLM 설정 열기
AnythingLLM에서 왼쪽 하단 설정(기어 아이콘) → AI 공급자 → LLM을 클릭합니다.
2단계 — LLM 공급자로 Generic OpenAI 선택
공급자 목록에서 Generic OpenAI를 선택합니다.
3단계 — LLM 연결 정보 입력
| 필드 | 값 |
|---|---|
| Base URL | https://api.tokenmix.ai/v1 |
| API 키 | TokenMix 키(sk-tm-…) |
| Model Name | 예: claude-sonnet-4.6 |
| 토큰 컨텍스트 창 | 모델에 따라 설정(Claude Sonnet은 200000) |
변경사항 저장을 클릭합니다.
4단계 — Embedding 공급자 구성
설정 → AI 공급자에서 Embedder를 클릭합니다.
Embedder로 Generic OpenAI를 선택하고 입력합니다:
| 필드 | 값 |
|---|---|
| Base URL | https://api.tokenmix.ai/v1 |
| API 키 | TokenMix 키(sk-tm-…) |
| Model Name | 예: text-embedding-3-large |
변경사항 저장을 클릭합니다.
5단계 — 워크스페이스 생성 및 문서 업로드
메인 화면으로 돌아가 새 워크스페이스를 만들고 문서(PDF, Word, TXT 등)를 업로드합니다. AnythingLLM은 4단계에서 구성한 임베딩 모델로 문서를 인덱싱합니다.
인덱싱이 완료되면 3단계에서 구성한 LLM으로 문서와 대화할 수 있습니다.
검증
워크스페이스에서 메시지를 보내고 문서 내용을 참조하는 정상 응답이 오면 LLM과 Embedder 모두 TokenMix를 통해 정상 작동하는 것입니다.
TokenMix 콘솔 → 사용 기록에서 채팅과 임베딩 요청이 모두 기록되었는지 확인하세요.
자주 묻는 질문
Q: 저장 후 "LLM 공급자에 연결할 수 없습니다" 오류가 발생합니다.
A: Base URL이 정확히 https://api.tokenmix.ai/v1인지(후행 슬래시 없음), API 키가 sk-tm-으로 시작하는지 확인하세요. TokenMix 계정 잔액도 확인하세요.
Q: TokenMix는 어떤 임베딩 모델을 제공하나요?
A: tokenmix.ai → 모델에서 Embedding 유형으로 필터링하고, short_id(예: text-embedding-3-large)를 Embedder의 Model Name 필드에 입력하세요. 임베딩 모델은 채팅 모델과 별도로 설정합니다.
Q: 워크스페이스마다 다른 LLM 모델을 사용할 수 있나요? A: 기본적으로 전역 LLM 설정이 모든 워크스페이스에 적용됩니다. AnythingLLM Pro/Cloud에서는 워크스페이스별 모델 재정의가 가능합니다. 오픈소스 버전에서는 전역 설정을 변경하여 모델을 전환합니다.