はじめに
こんにちは、俊介です。 2025アドベントカレンダー8日目担当です！
Cloudnative IRS Advent Calendar 2025 – Adventar
僕は最近のAIのトレンドだったり、ちょっと前のトレンドだけどお客様のやりたい事を一緒に解決したことをどのように実装したか等を書いていっています。
チームメンバーがいろんなジャンルのブログを書いていますのでぜひ覗いてみてください！
今日のお話しを簡単に
今日はタイトルにもある通り、Azure OpenAI（以下はAOAIと省略）のモデルにgpt-5シリーズが登場したので触ってみて、今までのモデルと比較していこうと思います。
このブログのゴールは、読んでくださった人が、「gpt-5.1が出たけど今実装してるシステムに反映すべきか？実際どうなの？」を少しでも考えるサポートが出来れば嬉しいです。
※あくまで私の触ってみた感想です。絶対そうだ！ではないのでご注意を。※
注意
今回gpt-5.1でリリースされたモデルは下記です。
まだデプロイ制限があるのでご注意ください。
- gpt-5.1-codex-max
- gpt-5.1
- gpt-5.1-chat
- gpt-5.1-codex
- gpt-5.1-codex-mini
※アクセス要求が必要なものがあり、Microsoftに申請中ですが間に合わなかったので今回はgpt-5.1-chatのみを触れていきます。※
比較するモデル一覧
- gpt-5.1-chat
- gpt-4o
- gpt-4.1
確認すること
- RAGBot利用時の回答精度
- 業務アシスタントAIの回答精度
- 応答速度や安定性
- ランニングコスト
- 1~4を元に用途別おすすめモデル表の作成
確認①RAGBot利用時の回答精度
条件
- 社内ドキュメントを使用
- 検索する際のプロンプト文は一緒
- 今回は検証用のRAGに入っている、mxHEROとGoogle Workspaceを接続する方法について聞いてみました
- RAGに入ってる内容はクラウドネイティブ ブログ：Google Workspace環境(GmailとGoogleドライブ)でのmxHero Fusionの初期設定（2023/03/09更新）を入れています。
比較観点
- 正確性
- ハルシネーション
結果
| 正確性 | ハルシネーション | |
|---|---|---|
| gpt-5.1-chat | ◎ | ○ |
| gpt-4o | △ | ○ |
| gpt-4.1 | ○ | ○ |
gpt-5.1-chat
以下に、mxHERO と Google Workspace を接続する一般的な手順をまとめます。質問に関連する情報が文書内にあったため、該当箇所の文書番号も併記します。 ■ 接続の大まかな流れ 1. Google Workspace 管理コンソールで Gmail の設定を行う 2. mxHERO を Marketplace アプリとして認証（OAuth 認可） 3. 送信メールを mxHERO に転送するための経路設定（コネクタやメールフローの設定） 4. Google Drive へファイルを保存できるように設定 ■ 文書に基づく詳細説明 ・Google Workspace では、管理コンソールの Gmail 設定画面からメールフロー（ルール）の設定を行い、mxHERO にメールを転送するためのコネクタ設定が必要です。 ・接続のためには mxHERO を Marketplace アプリとして OAuth 認証する必要があります。 ・mxHERO によって添付ファイルが Google Drive に保存されるため、利用する Google Workspace（ドライブ）の容量やプランを事前に確認することが推奨されています。 ・公開リンクの挙動や、メール受信者がログインを求められるケースなどは Google Workspace 側の設定に依存します。 ■ まとめ 1. Google 管理コンソールにログイン 2. Gmail のメールルーティング設定で mxHERO 用のルール（コネクタ）を追加 3. mxHERO の管理画面で Google Workspace を OAuth 認証（Marketplace アプリとして承認） 4. 必要に応じて Google Drive の容量・共有設定を確認 これで Google Workspace と mxHERO の接続が完了します。 文書に不足している具体的な画面操作や手順は、mxHERO の公式ドキュメントや提供元のセットアップガイドを参考にするのが確実です。 必要であれば、より具体的な手順をステップごとに説明することもできますので、お知らせください。
gpt-4o
Google Workspace環境でのMxhero Fusionの初期設定手順について、以下の情報を元に進めることができます。 1. Google Workspace管理コンソールのGmail設定画面から、Mxhero Fusionの初期設定を行います。 2. 具体的な手順については、検証環境の作成手順に関する記事が参考になります 。 上記の手順で設定を進めてください。また、具体的な操作方法やトラブルシューティングに関しては、公式のヘルプガイドやサポートに問い合わせることをお勧めします。
gpt-4.1
mxHEROとGoogle Workspaceを接続するには、以下の手順が基本となります： 1. Google Workspace側の管理コンソール（Gmail設定画面）で、mxHERO用の接続設定を行います。 2. コネクタおよびルールを作成し、Exchange Onlineメールフローの設定と同様にGoogle Workspaceのメールフローも設定します。 3. 必要に応じてGoogle Driveとの連携を設定し、メール添付ファイルの保存先としてDriveを選択します。 また、mxHEROのGoogle Workspace環境への初期設定手順（GmailとGoogle Drive連携）については、対象のベリフィケーション環境の記事が参考になります。設定にはGoogle Workspaceの管理権限が必要です。 詳細な手順や画面操作については、Google WorkspaceおよびmxHEROの公式リソースを参照してください。
所感
- 全体：全体的に回答としては良い
- gpt-5.1-chat：他のモデルに比べてよくまとまっており、細かい説明もある
- gpt-4o：手順が簡略化されすぎ
- gpt-4.1：基本的な情報としては回答してくれているが、認証部分が少し足りない
確認②業務アシスタントAIの回答精度(長文内容の要約)
条件
- 依頼する際のプロンプト文は一緒
システムプロンプト
あなたは、提供された議事録を読み解き、会議の核心を構造的かつ簡潔に要約する専門の「議事録要約アシスタント」です。あなたの目的は、読み手が議事録全体を読まずとも、会議の目的、決定事項、および次のアクションを瞬時に把握できるようにすることです。 ### 役割と振る舞い 1. **徹底的な抽出**: 雑談や背景情報ではなく、会議で議論された「主要な論点」「決定された事項」「明確なアクションアイテム」のみを抽出します。 2. **構造化**: 必ず以下の3つのセクションに分けて、情報を箇条書きで整理してください。 3. **簡潔さと客観性**: 主観的な意見や感情的な表現を排除し、客観的かつ簡潔な言葉で事実を記述してください。 4. **アクションアイテムの明確化**: アクションアイテムには、**具体的な担当者**と**期日（または次回の検討時期）**を明記してください。 ### 出力フォーマット 要約は必ず以下の3つの見出しと箇条書きで構成してください。 #### 1. 会議の主要な決定事項 (Decisions) * 会議で最終的に合意・決定された事項を簡潔にまとめます。 #### 2. 主要な論点と議論のサマリー (Key Discussion Points) * 決定には至らなかったが、特に重要だった論点や次期課題となる議論の概要をまとめます。 #### 3. 次のアクションアイテムと担当者 (Next Actions) * 誰が何をいつまでに行うか、というタスクリストを明記します。（例：〇〇部長：〜の資料作成（期日：来週金曜））
議事録（AIにサンプルを作ってもらいました）
日時：2025年12月15日（月）10:00 - 11:00 場所：第3会議室 出席者：佐藤部長（営業）、鈴木（企画）、高橋（マーケティング）、田中（開発） 【開始】 佐藤部長：本日は新製品「X-Drive」の初期プロモーション戦略を固めるのが目的です。 鈴木：企画部としては、初期のターゲット層を「30代〜40代のビジネスパーソン」に絞り込みたいと考えています。競合製品との差別化ポイントは「AIによる自動化機能」です。 高橋：マーケティングとしては、初期プロモーション予算として500万円を想定しています。内訳は、デジタル広告（SNS/リスティング）に7割、プレスリリースと展示会出展に3割を充てたいと考えています。 佐藤部長：デジタル広告に偏重するのは良いが、展示会は少し費用対効果が低いのではないか？プレスリリースは必須として、展示会出展の代わりに、インフルエンサーへの製品提供を検討してはどうだろうか？ 田中：開発からは、製品のデモ動画が今週金曜日までに完成する予定であることを報告します。これを利用してプロモーションに活用可能です。 鈴木：インフルエンサー戦略は賛成です。特にターゲット層に影響力のあるビジネス系YouTuberを3名選定してはどうでしょうか。 高橋：承知しました。その場合、予算配分を見直します。デジタル広告：プレスリリース：インフルエンサーで 6:2:2 の比率で予算500万円を配分することで合意できますか？（全員同意）**【決定事項1】** 佐藤部長：インフルエンサーの選定と契約は急ぐ必要があります。高橋さん、選定リストの作成は今週中にできますか？ 高橋：はい、**インフルエンサー候補リストの作成**を**今週金曜日（12/19）まで**に完了します。**【アクション1】** 鈴木：初期ターゲット層の決定に伴い、Webサイトのランディングページ（LP）のコンテンツ調整が必要となります。LPのキャッチコピー案とコンテンツ構成案を**来週火曜日（12/23）まで**に作成します。**【アクション2】** 佐藤部長：では、来週水曜日に進捗確認ミーティングを設定します。 【終了】
比較観点
- 情報の正確さ
- まとめ具合
- 分かりやすさ
- 応用力・創造性
- 指示に対する柔軟性
結果
| 情報の正確さ | まとめ具合 | 分かりやすさ | 応用力・創造性 | 指示に対する柔軟性 | |
|---|---|---|---|---|---|
| gpt-5.1-chat | ○ | ○ | ○ | ○ | ○ |
| gpt-4o | △ | △ | ○ | △ | ○ |
| gpt-4.1 | ○ | ○ | ◎ | ◎ | ◎ |
gpt-5.1-chat
1. 会議の主要な決定事項 (Decisions) * 初期ターゲット層を「30代〜40代のビジネスパーソン」に設定することを確認。 * プロモーション予算500万円の配分を「デジタル広告6：プレスリリース2：インフルエンサー2」に変更することで全員合意。 * インフルエンサー施策を展示会出展の代替として採用する方針で合意。 2. 主要な論点と議論のサマリー (Key Discussion Points) * デジタル広告中心のプロモーション施策が妥当かどうかについて議論。 * 展示会の費用対効果が低いとの指摘を受け、代替案としてインフルエンサー活用が提案され、全員が賛同。 * 企画部より、ターゲット層に合わせたLPコンテンツの見直しが必要との提案。 * 開発部より、デモ動画が今週末に完成予定で、プロモーションに活用可能との報告。 3. 次のアクションアイテムと担当者 (Next Actions) * 高橋（マーケティング）：インフルエンサー候補リストを作成（期日：12月19日 金曜日）。 * 鈴木（企画）：LPのキャッチコピー案およびコンテンツ構成案を作成（期日：12月23日 火曜日）。 * 佐藤部長（営業）：来週水曜日に進捗確認ミーティングを設定（期日：次回会議まで）。
gpt-4o
#### 1. 会議の主要な決定事項 (Decisions) * 初期プロモーション予算の配分をデジタル広告:プレスリリース:インフルエンサー戦略で6:2:2とすることが決定された。 #### 2. 主要な論点と議論のサマリー (Key Discussion Points) * 初期ターゲット層を「30代〜40代のビジネスパーソン」に絞ること。 * デジタル広告（SNS/リスティング）にプロモーション予算の大部分を充てること。 * 展示会出展の費用対効果についての懸念。 * インフルエンサー戦略の提案とその具体的な実施についての検討。 * 製品デモ動画の活用の報告。 #### 3. 次のアクションアイテムと担当者 (Next Actions) * 高橋（マーケティング）：インフルエンサー候補リストの作成（期日：2025年12月19日） * 鈴木（企画）：Webサイトのランディングページ（LP）のキャッチコピー案とコンテンツ構成案の作成（期日：2025年12月23日）
gpt-4.1
#### 1. 会議の主要な決定事項 (Decisions) * 「X-Drive」の初期ターゲット層を「30代〜40代のビジネスパーソン」に設定。 * プロモーション予算500万円の配分案として、デジタル広告：60%、プレスリリース：20%、インフルエンサー：20%で合意。 * 展示会出展を見送り、インフルエンサーへの製品提供へ切り替える方針を決定。 #### 2. 主要な論点と議論のサマリー (Key Discussion Points) * 展示会の費用対効果に疑問が挙げられ、他施策への予算振り替えを検討。 * インフルエンサー施策の有効性および、ターゲット層に影響力のあるビジネス系YouTuberの活用案。 * 製品のデモ動画の完成見込みとプロモーション活用提案。 * 初期ターゲット層の決定に伴うWebサイト（LP）コンテンツの企画と調整必要性。 #### 3. 次のアクションアイテムと担当者 (Next Actions) * 高橋（マーケティング）：インフルエンサー候補リストの作成（期日：2025年12月19日） * 田中（開発）：デモ動画の完成（期日：2025年12月19日、進捗報告済み） * 鈴木（企画）：LPのキャッチコピー案およびコンテンツ構成案の作成（期日：2025年12月23日） * 佐藤部長：次回進捗確認ミーティングの設定（期日：2025年12月24日）
所感
- 全体：フォーマット通りには出力してくれた
- gpt-5.1-chat：すべての項目に対して良さを感じた
- gpt-4o：これを結果としてユーザーに「どうぞ！」とは言えない
- gpt-4.1：今回のモデル一覧では一番網羅的で完結にまとめられている
確認③応答速度や安定性
条件
- 汎用的なAIへの質問を10回リクエスト
比較観点
- 応答速度
- 安定性(回答の揺れ)
結果
| 応答速度 | 安定性 | |
|---|---|---|
| gpt-5.1-chat | ○ | ◎ |
| gpt-4o | ◎ | ◎ |
| gpt-4.1 | ○ | ◎ |
確認④ランニングコスト
| インプット (1kトークンあたり) | アウトプット (1kトークンあたり) | |
|---|---|---|
| gpt-5.1-chat (Global) | ¥0.1952 | ¥1.56155 |
| gpt-4o (Global) | ¥0.3903875 | ¥1.56155 |
| gpt-4.1 (Global) | ¥0.31231 | ¥1.24924 |
例
ここでは、RAGBotの回答生成シナリオを想定し、1,000リクエストあたりの合計コストを比較します。
シナリオ
- 利用回数：1,000リクエスト
- 1リクエストあたりのトークン数：
- インプット（質問 + 参照ドキュメント）：6,000トークン
- アウトプット（回答）：1,000トークン
コスト計算式
1,000リクエストあたりの合計コストは、以下の計算式に基づき算出します。
合計コスト = ((インプットトークン *6) ＋ (アウトプットトークン * 1))* 1,000回
| 1,000リクエストあたりの推定合計コスト | gpt-5.1-chatとのコスト比率 | |
|---|---|---|
| gpt-5.1-chat | ¥2,732.75 | 100% |
| gpt-4o | ¥3,903.88 | 142.8% |
| gpt-4.1 | ¥3,123.09 | 114.3% |
用途別おすすめモデル表
| gpt-5.1-chat | gpt-4o | gpt-4.1 | |
|---|---|---|---|
| 社内RAGBot | ◎ | △ | ○ |
| 業務アシスタントAI(議事録要約) | ○ | △ | ◎ |
| 汎用アシスタントAI(リアルタイム性が要するケース) | ○ | ◎ | ○ |
さいごに
ここまで読んでくださってありがとうございました！
今回はAOAIの新しいモデル、gpt-5.1シリーズを触ってみました。
gpt-5.1も申請が通ったら触ってみようと思いますが、現段階の感想としてはgpt-5.1-chatでもコストは安いし、十分発揮できるなと思いました！
次回もまたAIを使った記事を書こうと思っています！また会う日まで
