")
lm = dspy.LM('openai/gpt-4o-mini')
dspy.configure(lm=lm)
classify = dspy.Predict("sentence -> sentiment")
classify(sentence="it's a charming and often affecting journey.")
```
[
](https://wandb.ai/geekyrakshit/dspy-project/weave/calls)
Weave는 DSPy 프로그램의 모든 LM calls를 로깅하며, inputs, 출력, 메타데이터에 관한 세부 정보를 제공합니다.
## 사용자 정의 DSPy 모듈과 시그니처 추적하기
`Module`은 프롬프팅 기법을 추상화하는, 학습 가능한 매개변수를 갖춘 DSPy 프로그램의 기본 구성 요소입니다. `시그니처`는 DSPy Module의 입력/출력 동작을 선언적으로 정의하는 사양입니다. Weave는 DSPy 프로그램의 모든 내장 및 사용자 정의 시그니처와 모듈을 자동으로 추적합니다.
```python lines theme={null}
import os
import dspy
import weave
os.environ["OPENAI_API_KEY"] = ""
weave.init(project_name="")
class Outline(dspy.Signature):
"""Outline a thorough overview of a topic."""
topic: str = dspy.InputField()
title: str = dspy.OutputField()
sections: list[str] = dspy.OutputField()
section_subheadings: dict[str, list[str]] = dspy.OutputField(
desc="mapping from section headings to subheadings"
)
class DraftSection(dspy.Signature):
"""Draft a top-level section of an article."""
topic: str = dspy.InputField()
section_heading: str = dspy.InputField()
section_subheadings: list[str] = dspy.InputField()
content: str = dspy.OutputField(desc="markdown-formatted section")
class DraftArticle(dspy.Module):
def __init__(self):
self.build_outline = dspy.ChainOfThought(Outline)
self.draft_section = dspy.ChainOfThought(DraftSection)
def forward(self, topic):
outline = self.build_outline(topic=topic)
sections = []
for heading, subheadings in outline.section_subheadings.items():
section, subheadings = (
f"## {heading}",
[f"### {subheading}" for subheading in subheadings],
)
section = self.draft_section(
topic=outline.title,
section_heading=section,
section_subheadings=subheadings,
)
sections.append(section.content)
return dspy.Prediction(title=outline.title, sections=sections)
draft_article = DraftArticle()
article = draft_article(topic="World Cup 2002")
```
[
](https://wandb.ai/geekyrakshit/dspy-project/weave/calls)
## DSPy 프로그램의 최적화 및 평가
Weave는 DSPy 옵티마이저와 Evaluation call의 트레이스도 자동으로 수집하므로, 이를 활용해 개발 세트에서 DSPy 프로그램의 성능을 개선하고 평가할 수 있습니다.
```python lines theme={null}
import os
import dspy
import weave
os.environ["OPENAI_API_KEY"] = ""
weave.init(project_name="")
def accuracy_metric(answer, output, trace=None):
predicted_answer = output["answer"].lower()
return answer["answer"].lower() == predicted_answer
module = dspy.ChainOfThought("question -> answer: str, explanation: str")
optimizer = dspy.BootstrapFewShot(metric=accuracy_metric)
optimized_module = optimizer.compile(
module, trainset=SAMPLE_EVAL_DATASET, valset=SAMPLE_EVAL_DATASET
)
```
[
](https://wandb.ai/geekyrakshit/dspy-project/weave/calls)