ichikara-hard-2026jp
新規データセットのご案内
日本語LLMのための
高難度問題データセット
現在のLLMでは回答するのが難しい
1,200件の日本語問題と参考回答をご提供いたします。
データセットの特徴
株式会社いちからでは、GPT-5.2またはGemini2.5-proが正解を出せない可能性のある問題集（参考回答付き）を1,200件構築しました。
問題は、質問タイプ・回答タイプ・分野の3つの軸から構成され、バラエティー豊かなデータセットとなるよう、人手による設計・構築を行っています。
語句を回答とする問題のうち、回答を導くために複数の推論や手順を要するものについては、回答に至るまでの導出手順を別途記載しております。最終回答だけでなく、推論過程を含めた学習・評価データとして活用できます。
1,200件の問題を3つの軸で構成
質問タイプ
- 推論が必要
- STEM
- 指示追従性
- ニッチな知識
- 言葉関係
- ハルシネーションを引き起こしやすい
- その他
回答タイプ
- 単一回答
- 複数回答
- 文書回答
- 順序付き複数回答
- その他
分野
- 国語
- 製品
- 芸能
- 文学
- 生活
- 一般
- 地理
- 食べ物
- 数学 など40分野
LLMによる正解率（評価結果）
本データセットについて、9種のLLMによる評価を実施しました。
※正解率は一部のサンプルデータとなります。
※ 本データセットの構築方法に起因する制約により、
GPT-5.2とGemini2.5-proの正解率の差を、
両モデルの性能差として解釈することはできません。
ここでの精度はあくまで本データの一部のサンプルに対する正解率であり、ベンチマーク結果ではありません。
データセットの概要
LLMでは回答するのが難しい問題
弊社による参考回答を付与
質問タイプ・回答タイプ・分野
提供について
200件の先行提供
- 1,200件の問題のうち、200件を先行提供いたします。
- ご契約成立後、2週間以内を目安にデータをご提供いたします。
お申し込み方法や利用規約については、 下記専用ページよりご確認ください。
先行提供を申し込む ›
残り1,000件について
残りの1,000件については、2026年9月20日までにお申し込みいただいた企業様と協議のうえ、提供方法及び金額を決定いたします。
（2026年9月30日までに提供方法を決定し、契約締結後にご提供いたします。）
1社独占提供
1,000件全体、または一部を1社限定でご提供いたします。弊社の参考回答付きでの提供が可能です。
1社独占・
回答カスタマイズ
ご希望の形式に合わせて回答を作成いたします。
※ご希望に沿った回答の提供は2026年10月以降となります。
複数社で共有
複数社でのデータ共有も可能です。ご希望の利用方法をお知らせいただき、弊社にて提供方法を検討いたします。
本データセットに関するご質問・ご相談は、お気軽にお問い合わせください。
サンプルデータを入手希望の方もこちらからご連絡ください。