いちからMT_Bench ichikara jmtbench

オリジナルで作成した
日本語MT_Benchのデータ

向いている課題

MT_Bench形式(2発話構成)に基づき、単発応答の質とフォローアップ応答の一貫性を評価・強化できるデータセットです。

  • カテゴリ横断的な汎用応答力の評価
  • 2発話目への一貫した文脈追従能力
  • 評価ベンチマーク指標との比較検証

評価で有名なMT_Benchのオリジナルな日本語版です。全部で8カテゴリ437件から成るデータです。2発話のデータであり、1発話目の回答がどんなものであっても、2発話目が成立します。
一般的なMT_Benchのデータはユーザー発話のみですが、こちらはシステムの回答もサンプルで入っています。

  {
    "ID": "ichikara-jmtbench-001-002-0000003",
    "meta": {
      "domain": "writing"
    },
    "history": [
      {
        "user": "自分は雑談が極めて苦手なんですが、雑談力を上げる方法はあるのでしょうか。",
        "bot": "はい、雑談力を上げる方法はいくつかあるといわれています。  \nそもそも、雑談力は決して才能ではなく、誰でも学ぶことができるものであり、上達させることが可能なスキルです。  \n以下の点を念頭に入れながら、会話すると雑談力を磨けるかもしれません。\n\n* 疑問形につながる会話のネタを、普段から準備しておく  \nコミュニケーションをとるうえで最も大事なことは、「相手に関心があることを示すこと」です。  \nですから、相手に質問を投げかける疑問形で終わらせることから始めてみましょう。  \n自分に無関心な人に対して、話を聞いてもらいたい、関係性を構築したいと思う人は多くありません。\n\n    まず第一歩として、イエスかノーの二択で返答できる「クローズドクエスチョン」を活用しましょう。  \nたとえば、「今日は電車で来られたのですか」 「道は混んでいましたか」 「雨は降っていましたか」など、深く考えることなく、咄嗟に答えられる質問がおすすめです。\n\n* 自分の話ばかりしない  \n人は、自分の話を熱心に聞いてくれる人に好感を抱きやすいため、まずは「聞き上手」を目指しましょう。  \nただ相槌を打つだけでなく、適宜聞き返してみたり、質問したりしてみたりすると、前のめりに相手の話を聞いている姿勢を見せることができます。  \n自分から話すことが苦手な場合は、まずは傾聴力を高めることに注力してみましょう。\n\n* 相槌を意識する  \n話している側は、相手の表情や反応を見ながら話を進めるため、ポジティブな感情や表情で相槌をしているだけで、相手の印象はぐっと変わります。  \n特に、話を聞いているときは、相手の話を優しくうけとめるように振る舞うことが、好印象を与えるポイントです。  \n口角を少しあげながらゆっくりとうなずき、「そうなんですね」 「いいですね」など、さまざまな相槌をうちましょう。"
      },
      {
        "user": "職場やビジネスシーンでは、どういう内容のものが効果的ですか?",
        "bot": "ビジネスシーンなど、普段の日常生活とは異なるシーンで雑談力が求められることもありますよね。  \nそういったシーンでは下記の会話のネタを使ってみてください。\n\n* 天気や季節の話題  \n天気や季節の話題は、どのような年代の人でも共通で話しあえる話題です。  \nこれからの天気や気温について話題にした後、相手の反応や話の内容から、その中身を深堀りしたり、違う話題に移ったりすることもできます。  \n「今日は暑くなりそうですね」 「今朝は寒かったですね」など、共感性も得やすい話題のため、活用しやすいでしょう。\n\n* 地域情報  \n近隣の美味しいグルメのお店や出身地の話題も、雑談として適しています。  \n社内でも取引先のオフィスの場合でも、近隣にランチやディナーに行くことは想定されるため、グルメの話題は盛りあがりやすいです。  \nまた、出身地の話題も、その土地の地域性や特色、気候などの話に広げられるため、会話が弾みやすいのが特徴です。  \n「この前〇〇でランチを食べておいしかったですよ」 「〇〇出身なので、この時期は××が恋しくなります」など、興味をもってもらいやすい話題にすることもポイントです。\n\nただし、下記の話題は避けるべきです。\n\n* 政治の話題  \n* 宗教の話題  \nこれらは信条などにかかわる極めてプライベートな領域であり、個人によりとても重要な意味をもつため、避けるようにしましょう。"
      }
    ]
  },



いちからのデータリスト(料金表)


導入や活用における疑問・不安がありましたら、お気軽にご相談ください。
専門家が現状のヒアリングから課題抽出、具体的なソリューション提案まで伴走いたします。



TOP