データセットとは

データセットとは、AIモデルの学習、性能の確認、分析といった決まった目的のために集め、同じ形式にそろえたデータのひとまとまりです。読みは「でーたせっと」、英語の dataset です。

「画像と、そこに写っている物の名前」「問い合わせ文と、その分類」「質問と、模範となる回答」のように、1件ずつが同じ項目を持っているのが特徴です。バラバラに置かれたファイルの山は、まだデータセットとは呼びにくく、目的に合わせて選び、形を整えた時点でデータセットになります。学習データは、このまとまりのうち学習に回す部分を指す言葉です。

データセットは、次のような部品で成り立っています。

• レコード（1件）：表なら1行、JSONL なら1行が1件です。
• 入力と正解：モデルに見せる内容と、期待する答え（ラベル）の組です。正解を持たないデータセットもあります。
• 分割（スプリット）：学習用・検証用・テスト用の区分です。
• 付随情報：出どころ、作成日、利用条件（ライセンス）、項目の説明などです。

分割について、Google の機械学習集中講座は、学習用70%・検証用15%・テスト用15%という分け方を例に挙げています。そのうえで、良いテスト用・検証用のデータは学習用と重複する例を1件も含まないこと、同じテスト用データを何度も使うとモデルがそのデータに寄っていき、判断の材料として「すり減る」ことを注意点にしています。

• 公開データセットを読み込む：Hugging Face Datasets のライブラリを使うと、load_dataset("データセット名", split="train") の1行で公開データを取得でき、そのまま前処理に回せます。
• 評価用のデータセットを自作する：自分のアプリで想定される質問と、期待する答えを20件ほど表にまとめるだけでも、プロンプトを変えたときの良し悪しを比べる物差しになります。
• 追加学習用のデータセットを作る：ファインチューニングでは、入力と望ましい応答の組を JSONL にまとめたものを渡します。

AIコーディングエージェントに作業を頼むときも、「このCSVの列の意味」「どの行を評価用に取り分けたか」を伝えると、変換や集計のコードを正しく書かせやすくなります。

• 誤解：件数が多いほど良いデータセットになる
  実際：誤った正解や重複が混じると、件数が多くても結果は悪くなります。まずは少数でも正解の揃ったものを作ります。
• 誤解：テスト用に分けておけば、何度確かめても公平に測れる
  実際：前述の講座が指摘するとおり、同じテスト用データで調整を繰り返すと、そのデータに合わせ込んだだけの結果になります。見かけの成績と実際の使い勝手がずれ始めたら、新しいデータを足します。
• 誤解：ネットで公開されているデータセットは自由に使える
  実際：公開データにも利用条件があり、商用利用や再配布が認められていないものもあります。配布ページの条件を読んでから使います。

• 説明書を付ける：Datasheets for Datasets（Gebru ほか）は、電子部品に仕様書が付くように、データセットにも作った動機・中身の構成・集め方・想定する用途を記した文書を添えるよう提案しています。自作の小さなデータセットでも、README に同じ4点を書くだけで役に立ちます。
• 偏りを見る：特定の時期・地域・話題に件数が寄っていないかを数えます。偏りはそのまま出力のバイアスになります。
• 個人情報を外す：問い合わせ履歴などを使う場合、氏名や連絡先は伏せてから収めます。
• 版を残す：データセットを直したら版を上げ、どの版で評価した数字かを記録します。

• 学習データ
• ファインチューニング
• ベンチマーク
• 評価（Evals）
• バイアス
• データプライバシー

• Evals（LLM評価）の始め方｜評価セット20件から始める最小構成
• 生成AIと著作権｜公開前に確認したい基礎知識とNG例をまとめて解説

• Datasets: Dividing the original dataset（Google Machine Learning Crash Course）
• Datasheets for Datasets（arXiv:1803.09010）
• Datasets（Hugging Face ドキュメント）

Q1. データセットとは何ですか？
AIの学習や評価など、特定の目的のために集めて形をそろえたデータのまとまりです。1件ごとに入力と正解の組のような同じ項目を持っています。

Q2. 学習データとデータセットは何が違いますか？
データセットはまとまり全体を指し、学習データはそのうち学習に使う部分を指します。残りは検証用やテスト用として取り分け、学習に使わずに性能の確認に回します。

Q3. データセットはどう分ければよいですか？
学習用・検証用・テスト用の3つに分けるのが基本です。Googleの講座では70%・15%・15%が例として示されていますが、テスト用の件数が十分かどうかは目的によって変わります。学習用と重複する例を他の2つに入れないことが大切です。

Q4. 自分でデータセットを作るときに最初にやることは何ですか？
何を測るため、何を学ばせるためのデータかを一文で決めることです。目的が決まると、集める範囲と正解の付け方が決まります。あわせて、集め方と想定する用途を説明書として残しておきます。