Hugging Face Datasets

3ステップで試す

1. 1

   Datasets 5.0.1用virtual environmentを作る

   Python environmentを分離し、security fixを含む5.0.1へversion固定します。

   python3 -m venv datasets-demo && . datasets-demo/bin/activate && python -m pip install --upgrade pip && python -m pip install 'datasets==5.0.1'コピー
2. 2

   network accessなしでin-memory Datasetを作る

   Hubへ接続せず、local Python objectからArrow-backed Datasetを生成します。

   . datasets-demo/bin/activate && python -c 'from datasets import Dataset; d=Dataset.from_dict({"text":["alpha","beta","gamma"]}); print(d)'コピー
3. 3

   mapでlocal transformを試す

   downloadやmodel trainingを行わず、Dataset transformation APIと出力を確認します。

   . datasets-demo/bin/activate && python -c 'from datasets import Dataset; d=Dataset.from_dict({"text":["alpha","beta","gamma"]}); d=d.map(lambda x:{"length":len(x["text"])}); print(d.to_dict())'コピー

Built with

• Python

カテゴリとタグ

GitHubデータ

このOSSの使い方や活用事例をMarkdownで投稿できます。管理者が承認した後に公開されます。

あわせて探訪

• AutoGen61,263 Stars

  共通タグ 2件 · 共通カテゴリ 1件 · 同じ言語

  役割の異なるAIエージェントを会話とイベントで連携させ、複数段階の処理を構築するフレームワーク

  Python
• Apache Airflow47,054 Stars

  共通タグ 2件 · 共通カテゴリ 1件 · 同じ言語

  DAGをコードで定義し、データ・ML・AI処理を編成するworkflow基盤

  Python
• Ray43,970 Stars

  共通タグ 2件 · 共通カテゴリ 1件 · 同じ言語

  Python/AI処理をタスク・アクター・オブジェクトでローカルからクラスターへ広げる分散実行基盤

  Python
• Gradio43,672 Stars

  共通タグ 2件 · 共通カテゴリ 1件 · 同じ言語

  Python関数やML modelにWeb UI・chat UI・share endpointを付けるapplication framework

  Python
• JAX36,377 Stars

  共通タグ 2件 · 共通カテゴリ 1件 · 同じ言語

  Python・NumPy風の計算に自動微分、JITコンパイル、ベクトル化、分散実行を組み合わせる

  Python
• spaCy33,939 Stars

  共通タグ 2件 · 共通カテゴリ 1件 · 同じ言語

  tokenization・NER・tagging・parsing・text classification・trainingをproduction向けPython/Cython pipelineとして提供するNLP library

  Python