Box AIで研修パワポからテスト問題を生成してみた

3行まとめ

• 研修資料のパワポをもとにBox AIで問題を生成してみた。
• 資料の内容に沿った問題・解答・解説を生成することができた。
• 文体に怪しい部分は多いが、すぐパターンを変えて生成できるのは便利。

はじめに

こんにちは、おくさんです。

ISMSを取得している企業もそうでない企業も、セキュリティ研修、個人情報保護研修、コンプライアンス研修など、様々な社内研修を実施します。
そして研修には、研修に見合う学びが得られたか効果測定がつきもの。
つまり、テストが必要です。

しかし、一からテストを作成するのは案外面倒です。
選択肢として何を提示するか、どの部分を抜き出せばよいかなど、考えることが多々あります。

そこでAIに任せてみよう、というのが今回のおはなしです。

AIが参考にするべき情報は、研修資料として作成済み。
弊社ではBox AIという便利なものが使えるので、そこから問題を生成すれば楽ができるはず！

やったこと

個人情報保護研修の資料は、Box上で作成した普通のPowerPointファイルです。
49ページありますが、一部の図を除き、ほとんどテキストで記載されています。

そのファイルに対して、Box AI for Documentsを利用しました。自然言語でコンテンツ（ドキュメント）に関して質問することで、そのコンテンツのことを理解したAIから回答をもらえる機能です。
詳しくは以下のブログを参照頂きたいのですが、使い方は非常に簡単です。

エンプラ水準のセキュリティの中でChatGPTを活用する「Box AI」始動

エンタープライズ基準のセキュリティ / コンプライアンスを満たしつつ、Box上のコンテンツに対してLLMを連携させる「Box AI」が2023年11月にβ版として提供開始されました。

blog.cloudnative.co.jp

対象のBoxファイルを開き、Box AIのアイコンをクリックすれば入力フォームが開きます。
そこへ質問を入力するだけです。

雑に投げてみる

まずは、指示無しでざっくりと依頼してみます。

この資料に関する研修を受講した人向けに、テスト問題を作成してください。

おお、ちゃんと問題になっていますね。
ただ、問題形式を指定していないので、Google Formで扱いにくい問題(3つ挙げるなど)が混じっています。
このままだと使い辛い。

なお、追加で問題を生成してもらおうとしましたが、直前のスクリプト内容は考慮してくれませんでした。
複数の問題を生成したい場合は、生成する問題数を指定しましょう。

別のテスト問題も生成してください

問題形式の指定

次は、王道の4択問題で作ってもらいましょう！

この資料に関する研修を受講した人向けに、4択のテスト問題を作成してください。

四択問題になっていますね！

問題数は指定しませんでしたが、今回は4つ生成してくれました。

見たところ、間違いは少ない。
中国語っぽい言い回しになっていたり、微妙に違ったりしますが、概ね問題になっています。
これならたたき台に使えそう。

…よく見たら、二択問題が混じってる！

出題範囲の指定

次は、問題の出題範囲を指定してみます。
これができれば、重要な要素に絞った出題もできますね。
個人情報の周辺知識である、プライバシーに関しての出題はどうでしょうか？

この資料に関する研修を受講した人向けに、プライバシーに関する4択のテスト問題を作成してください。

1問目はいいのですが、2問目からはネタ切れか、特にプライバシーに関係の無い問題になっています。

では、別のテーマならどうか？
次は個人情報の第三者提供について。

この資料に関する研修を受講した人向けに、個人情報の第三者提供についての4択問題を作成してください。

いいですね、プライバシーと違って第三者提供に関する問題を出題してくれています。
内容としても、ちょっと修正を入れれば使えそう。
ただ、問題が終盤になるにつれて怪しくなっていく傾向があります。

もはや四択問題ですらない。
ホラー味がある。

色々試しましたが、問題数は少なめ（1-3問）で依頼した方が、まともな答えが返ってくるように思います。
Box AIの性能の問題かと思いますが、長文を出力すると内容が怪しくなる傾向があります。
下記の解説も付ける場合は、1問ずつ生成するのが無難です。

解説の指定

問題ばかりに気を取られていましたが、テストである以上答え合わせも必要です。
回答の生成と、ついでに回答の解説についても生成を試してみましょう。
ここまでできるとすごくありがたい。

この資料に関する研修を受講した人向けに、4択のテスト問題を1問作成してください。
その問題の解答と、なぜその解答が正しいかの説明をしてください。

よさそうな回答ができました。
日本語は怪しいですが、回答は概ね合っています。
問題数だけキーワードを用意して、生成させればテストのたたき台の完成です。

もちろん、キーワードのリストアップ自体もAIにお任せできます。

この資料から、重要なキーワードを10個選んでリストにしてください。

まとめ

Box AIでテストを生成してみた感想ですが、問題・解答に加えて解説まで、思った以上に正しく生成できて驚きました。
一度に大量に出力させようとすると変な出力が出てしまいますが、出題範囲や出題形式を変えてすぐに生成できるので、1問ずつ生成してもあまり手間はかからないように思います。
スライドを作成したBox上からすぐ使えることで、考える手間を削減してくれそうです。

しかしベータ版なのもあってか、誤った内容が混じることや、日本語がおかしいこともあります。
AI全般に言えることではありますが、過信せず、あくまでたたき台として使うのがよいと思います。