Evidently

3ステップで試す

1. 1

   Python 3.10+ virtualenvへEvidently 0.7.23を導入する

   core packageだけをversion固定で導入し、外部LLM APIは使いません。

   python3 -m venv evidently-demo && . evidently-demo/bin/activate && pip install 'evidently==0.7.23'コピー
2. 2

   local Data Drift Reportを作成する

   local DataFrameだけでReport APIを試すsampleを作成します。

   printf 'import pandas as pd\nfrom evidently import Report\nfrom evidently.presets import DataDriftPreset\nref=pd.DataFrame({"x":[1,2,3,4,5]})\ncur=pd.DataFrame({"x":[1,2,3,5,8]})\nr=Report([DataDriftPreset()]).run(cur, ref)\nprint(type(r).__name__)\n' > evidently-demo/demo.pyコピー
3. 3

   offline evaluationを実行する

   外部serviceやmodelを呼ばずReport resultが生成されることを確認します。

   . evidently-demo/bin/activate && python evidently-demo/demo.pyコピー

Built with

• Jupyter Notebook

カテゴリとタグ

GitHubデータ

このOSSの使い方や活用事例をMarkdownで投稿できます。管理者が承認した後に公開されます。

あわせて探訪

• Fluent Bit8,130 Stars

  共通タグ 1件 · 共通カテゴリ 2件

  logs・metrics・tracesを軽量plugin pipelineで収集・変換・配送するTelemetry Agent

  C
• LangWatch4,911 Stars

  共通タグ 1件 · 共通カテゴリ 2件

  LLM tracing・evaluation・agent testを同じplatformで回す

  TypeScript
• Transformers166,909 Stars

  共通タグ 2件 · 共通カテゴリ 1件

  text・vision・audio・multimodal modelを共通AutoClass/Pipeline APIでload・inference・trainingするmodel-definition framework

  Python
• Prometheus66,346 Stars

  共通タグ 2件 · 共通カテゴリ 1件

  PromQLとpull型収集で時系列メトリクスを監視・alertする

  Go
• Kibana21,304 Stars

  共通タグ 2件 · 共通カテゴリ 1件

  Elasticsearchの検索・可視化・Observability/Security操作を担うinterface

  TypeScript
• Keep12,374 Stars

  共通タグ 2件 · 共通カテゴリ 1件

  監視toolのalertを一画面へ集約し、相関・enrichment・対応workflowまでつなげる

  Python