OSS探訪GitHubでログイン

Expectationでdata quality ruleをコード化しvalidation結果とdocumentationを共有するPython framework

スコアの見方

OSS規模スコアはStars・Watchers・Forks・Contributorsを対数圧縮して重み付けした現在の規模指標(上限なし)です。発掘スコアは現在のOSS規模スコアから発掘時点のOSS規模スコアを引いた値、更新ペースは直近30日Commit数、成長モメンタムは直近の観測期間におけるOSS規模スコア差、OSS健全度は取得できた更新状況・Community Health・Releaseの0〜100評価です。

Stars
11,856
主要言語
Python
ライセンス
Apache-2.0
リポジトリ最終更新
2026/10/02
ページ内ナビ

概要

Great ExpectationsのGX Coreはdata quality ruleをExpectationとして表現し、data sourceに対してvalidationを実行するPython frameworkです。ruleをcodeとして再利用し、validation resultやdocumentationへつなげることでdata pipelineの品質確認を継続運用できます。

特徴と向いている用途

公式資料に基づく紹介・実機未検証 · 内容確認日:

主な特徴

Expectationでcolumn・tableの品質条件を再利用可能なtestとして表現する

GX CoreはExpectationをdata向けのexpressive・extensibleなunit testとして扱い、値域、null、type、regex等の品質条件を共通言語として管理できます。

出典:[1]

Data Contextからdata sourceとvalidation workflowを管理する

READMEのquick startではgx.get_context()からData Contextを作成します。contextを中心にdata sourceやvalidation設定を組み立て、環境ごとの接続やcheckを管理します。

出典:[1]

validation結果からdocumentationを生成して品質状態を共有する

Expectation setごとのvalidation resultからdocumentationを生成でき、data品質の判定根拠や結果をteamで共有しやすくします。

出典:[1]

向いている用途

ETL・ELT・analytics pipelineへ再現可能なdata quality gateを入れたい場合に向く

PythonやSQL系data sourceを扱うpipelineで、schema driftや値の異常をdeploy前後に検証し、品質ruleをversion管理したい用途に適します。

出典:[1][2]

導入前の確認

1.23.2の通常supportはPython 3.10以上3.14未満

stable 1.23.2のsetup.pyは>=3.10,<3.14を通常support範囲とし、GX_PYTHON_EXPERIMENTALを設定した場合だけ上限を外します。productionではexperimental Python versionを分離して評価してください。

出典:[3]

SQL backendはdriver・dialect・SQLAlchemy version compatibilityを確認する

1.23.2はSQLAlchemy 2.1で顕在化した複数backendの互換問題を修正し、Snowflake・Databricks extrasは一時的に<2.1へ制限しています。利用するdatabase extraごとにversion constraintを確認してください。

出典:[2]

参考にした公式資料

  1. [1]GX Core 1.23.2 README(2026-10-04)
  2. [2]GX Core 1.23.2 release(2026-10-04)
  3. [3]GX Core 1.23.2 Python support metadata(2026-10-04)
  4. [4]GX Core Apache 2.0 license(2026-10-04)
編集部からの補足

requested repositoryのgreat-expectations/great_expectationsは現在fivetran/great_expectationsへredirectされます。package名great_expectationsとGX Coreのproduct identityは継続しています。

3ステップで試す

  1. 1

    GX Core 1.23.2用のvirtual environmentを作る

    stable 1.23.2をversion固定でinstallします。通常supportはPython 3.10以上3.14未満です。

    python3 -m venv gx-demo && . gx-demo/bin/activate && python -m pip install --upgrade pip && python -m pip install 'great_expectations==1.23.2'
  2. 2

    Data Contextを作成してversionを確認する

    外部data sourceへ接続せず、GX CoreのimportとData Context生成だけを確認します。

    . gx-demo/bin/activate && python -c 'import great_expectations as gx; context=gx.get_context(); print(gx.__version__); print(type(context).__name__)'
  3. 3

    Expectation objectを作ってrule APIを確認する

    validationを実行せず、column ruleをExpectationとしてcode化できるAPI surfaceだけを確認します。

    . gx-demo/bin/activate && python -c 'import great_expectations as gx; e=gx.expectations.ExpectColumnValuesToNotBeNull(column="id"); print(type(e).__name__, e.column)'
公式READMEで確認

成長

成長の推移 · 直近30日

11,856 Stars

推移データを蓄積中です。

開発アクティビティ

直近90日・週次

Commit(直近30日)
57
Open PR
29

開発アクティビティを蓄積中です。

Built with

カテゴリとタグ

GitHubデータ

GitHubのデータGitHubの詳細データを見る

GitHub Topics

  • pipeline-tests
  • dataquality
  • datacleaning
  • datacleaner
  • data-science
  • data-profiling
  • pipeline
  • pipeline-testing
  • cleandata
  • dataunittest
  • data-unit-tests
  • eda
Stars
11,856
Forks
1,867
Watchers
102
Open Issues
31
Contributors
405
所有者種別
Organization
主要言語
Python
ライセンス
Apache-2.0
リポジトリ最終更新
2026/10/02

このOSSの使い方や活用事例をMarkdownで投稿できます。管理者が承認した後に公開されます。

情報の誤りを報告

掲載内容に誤りや古い情報があればお知らせください。

このページを読んで、次に何をすればよいか分かりましたか?