> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-docs-1917.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# 로컬 모델

> Ollama, LMStudio 또는 GPT4All로 오픈소스 모델을 로컬에서 실행하고, OpenAI SDK 호환으로 Weave에서 트레이스하세요.

<div id="local-models">
  # 로컬 모델
</div>

많은 개발자가 Llama-3, Mixtral, Gemma, Phi 같은 오픈 소스 모델을 비롯해 다양한 모델을 로컬에서 다운로드해 실행합니다. 이러한 모델을 로컬에서 실행하는 방법은 꽤 다양하며, OpenAI SDK 호환을 지원하는 한 Weave는 그중 일부를 기본으로 지원합니다.

<div id="wrap-local-model-functions-with-weaveop">
  ## 로컬 모델 함수를 `@weave.op()`으로 감싸기
</div>

`weave.init('<your-project-name>')`로 Weave를 초기화한 다음, LLM 호출을 `weave.op()`으로 감싸기만 하면 어떤 LLM이든 Weave와 쉽게 직접 통합할 수 있습니다. 자세한 내용은 [Tracing](/ko/weave/guides/tracking/tracing) 가이드를 참조하세요.

<div id="updating-your-openai-sdk-code-to-use-local-models">
  ## 로컬 모델을 사용하도록 OpenAI SDK 코드 업데이트하기
</div>

OpenAI SDK 호환을 지원하는 모든 서비스 프레임워크에서는 몇 가지 사소한 변경이 필요합니다.

먼저, 그리고 가장 중요한 변경은 `openai.OpenAI()`를 초기화할 때 `base_url`을 바꾸는 것입니다.

```python lines theme={null}
client = openai.OpenAI(
    base_url="http://localhost:1234",
)
```

로컬 모델의 경우 `api_key`는 어떤 문자열이어도 되지만, 반드시 재정의해야 합니다. 그렇지 않으면 OpenAI가 환경 변수에서 이 값을 사용하려고 하다가 오류를 표시합니다.

<div id="openai-sdk-supported-local-model-runners">
  ## OpenAI SDK를 지원하는 로컬 모델 실행 앱
</div>

다음은 컴퓨터에서 Hugging Face의 모델을 다운로드하고 실행할 수 있으며, OpenAI SDK 호환을 지원하는 앱 목록입니다.

1. Nomic [GPT4All](https://www.nomic.ai/gpt4all) - Settings의 Local Server를 통해 지원 ([FAQ](https://docs.gpt4all.io/gpt4all_help/faq.html))
2. [LMStudio](https://lmstudio.ai/) - Local Server를 통한 OpenAI SDK 지원 [문서](https://lmstudio.ai/docs/developer/core/server)
3. [Ollama](https://ollama.com/) - OpenAI SDK용 [OpenAI 호환](https://ollama.readthedocs.io/en/openai/)
4. [llama-cpp-python](https://llama-cpp-python.readthedocs.io/en/latest/server/) Python 패키지를 통한 llama.cpp
5. [llamafile](https://github.com/Mozilla-Ocho/llamafile#other-example-llamafiles) - `http://localhost:8080/v1`는 llamafile 실행 시 자동으로 OpenAI SDK를 지원합니다