セキュリティチームの田口です。「Notion AI が良くなった！」そんな声や社長の号令も受け、 Notion AI の検証プロジェクトを実施しました。本ブログでは、その検証を通じて明らかになった価値と導入ポイントをお伝えします。
3行サマリー
- Notion AIの全社検証により、当社においてNotion AIの導入は投資対効果の観点から有意義である（投資を回収できるポテンシャルがある）であると判断しました。
- 「Side-by-side AI」としての利便性や情報検索能力の高さが特に評価されました。
- 全ユーザー適用のライセンス体系や期待値の調整など、導入に際しての留意点もあるため、合わせて紹介しています。
Notion AIとは？
Notion AIは、Notionの統合された生成AIです。これにより、ユーザーは文章の作成、要約、アイデアの展開、タスクリストの生成など、さまざまな作業を支援してもらうことができます。また、検索拡張生成（RAG）の機能も備えており、Notion上のコンテンツについての質問をすると、関連するコンテンツを検索して取得し、検索結果を元にした回答をしてくれます。Notion AIそのものについては以下のブログをご参照ください。
検証プロジェクトについて
検証の進め方や前提条件
実は、当社では以前にも Notion AI の検証を行っていました。しかし、2024年7月に GPT-4 が搭載されパフォーマンスが向上した1こと、そして社長令も受け、全社的な検証に乗り出しました。Notion AI では30日間のトライアルを実施可能です。そちらを利用して、当社の全ユーザー（約30名）でNotion AIを使い倒しました。
＜前提条件＞
- 検証期間：2024年7-8月
- 対象：正社員約30名
- 当社のNotionの利用状況：
- 主にドキュメント管理ツールとして利用（議事録やプロジェクト資料）
- タスク管理は別ツール
- Notionへのコンテンツ集約は強制しておらず、ユースケースによって最適なツールを選択するスタイル（GithubやBox、GWSが最適な場合はそちらを使う）ただし、Notionが多い
- 他プロジェクトの状況：Azure OpenAI や Claude 、Gemini 等を使った生成AI検証は継続して実施
- 本ブログは2024年9月13日時点の情報を元に作成しています。価格等の情報も公開日時点のものです。
- Notion AIの効果は組織におけるNotionの使い方（業務依存度）によって変わります。本書は参考程度にしつつ、検証いただくのをお勧めいたします。
評価軸
今回の評価では、以下の3つの軸を設定しました。
時間短縮はよくある評価軸ですが、生成AIの価値はそれだけではありません。今までできなかったことができるようになる「能力の拡張」や、「副次的な効果（付加価値）」にも着目しながら検証を行いました。また、評価方法としては、「振り返り会の開催（有志）」と「アンケート」のハイブリッドで評価しました。
検証の結果サマリー
検証の結果、当社においてNotion AIの導入は投資対効果の観点から有意義である（投資を回収できるポテンシャルがある）であると判断しました。
まず半数以上の従業員が時間の削減を実感しています。Notionへの業務依存度に応じて削減効果が高くなる傾向があり月数時間の削減効果を実感した社員もいました。
また、能力の拡張や付加価値の部分に関しては、啓蒙活動が弱かったという反省もありつつも、半数近くの従業員が実感しています。具体的には「壁打ちすることで自分にはない視点をもらえた」ということであったり、「Mermaid記法でシーケンス図を書いたことなかったけど、Notion AIのおかげでできるようになって表現の幅が増えた」などという声が上がっていました。
加えて、今までAIを積極的に使っていなかった層の従業員への波及効果も見られました。これらや1ユーザーあたり1,500円/月という価格や、従業員の人件費、副次的な効果等々を考慮して総合的に判断すると、投資に対してのリターンを生み出せる製品であると感じました。
検証結果の詳細
Notion AI アンケートの全容はNotion のパブリックページとして公開しています。流石に個人情報や顧客情報がわかる内容は編集していますが、生の声が気になる方は是非見ていただけたら幸いです。
検証でわかった Notion AI の価値
常に側にいてくれる、あれば使う（Side-by-side AI）
検証の結果、最も顕著だったのは常に側にいて、必要な時にすぐに使えるAIアシスタントとしての役割です。生成AI界隈では「AIを従業員に与えても、（便利だと分かっているけど）使ってくれない」という声を耳にします。要因の1つとして「コピペするのが煩わしい」ということがあります。皆、ChatGPTを使って業務を行っているわけではないので、メール等で生成AIの力を借りたい時にはChatGPT等のツールにコピペし、さらにアウトプットをコピペして業務を仕上げる必要があります。
一方で、Notion AI にはそれがありません。Notionから情報を出すことなく生成AIの恩恵を得られます。具体的には文章作成時のアイデア出し、報告書のドラフト作成等々が挙げられますが、これらの作業において、Notion AIは驚くほど効果的でした。
高度な情報検索機能
Notion AIは文章作成において、人間の思考プロセスを補完し、「ゼロから作る」のではなく、「人間の能力を増幅する」ツールとして機能することが分かりました。もう一つ特筆すべき点は、Notion AI の情報検索能力（Q&A）です。従来のキーワード検索とは一線を画す、文脈理解に基づいた検索が可能になりました。例えば以下のようなユースケースです。
- 複雑なクエリの理解：「{顧客名}様との定例会にて、USB制御に関する話が出た回はいつですか？」のような複雑な条件でも、関連するデータをそれなりの精度で抽出できました。
- 文脈に基づく関連情報の提示：検索結果は上位10件程度が表示され、ある案件に関する情報を探している際、直接的に関連する文書だけでなく、類似案件や参考になりそうな過去の事例なども提示してくれます。
- 暗黙知の可視化：Notionに蓄積された膨大な文書から、明示的には記述されていない暗黙知を抽出し、新たな洞察を提供することもあります。
RAGを活用した知識循環の促進
2023年からのAI界隈のバズワードとなっているものとしてRAG（Retrieval-Augmented Generation）があります。RAGの成功事例も出ている一方で、「こんなはずじゃなかった」となっているのも多いのが実情です。要因は様々ですが、「検索インデックス（≒情報ソース）」が整っていないというケースが多いように思えています。データが整ってないものはそもそも回答できません。
ここでNotion AIに話を戻すと、そんな検索が整っていない状況を打破しながらAIを活用できる稀有なツールです。Notion AI には「文書作成」と「検索（Q&A）」という2つの大きな機能がありますが、「文書作成」で高品質なインデックスを作り、「検索（Q&A）」でRAGを実施する。RAGで良い成果が出ると、ますますユーザーが「文書作成」を頑張るというサイクルを回すことができます。これを他ツールで回すのは非常に大変です。
コストに見合う高い投資効果
月額1ユーザー1,500円というコストは、一見高く感じるかもしれません。しかし、Notion AIに関しては、使用頻度が高ければ十分に元を取れるという結論に達しました。生成AIは創明記であり、世の中には「企業でやるには元を取るのがまだ難しいAIツール（将来の投資）」も沢山存在します。そんな中で1ユーザー1500円（月額）というコストだけで、AI投資を始められ、リターンも得られるNotion AIの気軽さはとても魅力的です。
留意点
Notion AI や生成AI系の他のソリューションに限らず、全てのツールの導入において、期待値の調整は重要な観点です。そこで、Notion AIの良かった点だけではなくて、留意点もいくつかピックアップしてお伝えいたします。
全ユーザー適用のライセンスが辛い
Notion AIの最大の課題は、そのライセンス体系です。現在、Notion AIはテナントの全ユーザーに適用するか、まったく使用しないかの二択となっています。そのため、AIを頻繁に使用しないユーザーにも同じコストがかかるため、全体的な費用対効果が下がる可能性があります。また、全社一斉導入となるため、段階的な導入や試験的な運用が難しくなります。
実際、当社ではGithubを多様しているメンバーや、パワポを多用しているメンバ（私）がいますが、Notionの利用頻度に関わらずコストがかかります。この問題がNotion AI導入の障壁となっていることは否めません。スモールスタートできるライセンス体系への変更をNotion社にFBしたいと思います。
サポートデスクが無くなるは幻想
「AIがあればサポートデスクは不要になる」という期待を持つ方もいるかもしれません。実際、そのような期待値を持っている人に出会ったこともあります。しかし、はっきり言っておきますが、それは幻想です。
確かに、既にドキュメントが既に定まった内容については、Notion AI Q&A でユーザーの自己解決を促すことができると思います。しかし、RAGやサポートデスクをやったことある方ならお分かりの通り、全ての質問に対しての回答を整備することは不可能です。回答を整備しても検索過程や生成過程で誤った回答をすることがあります。「あまりAIやRAGをやったことがない偉い方」と相対する場合は、適切な期待値調整が必要です。
最新モデル勢は不満
AIに詳しい社員からの不満も無視できません。Notion AIが2024年7月に GPT-4 を採用したことで大幅な性能向上を果たしたのは事実です。一方でAI分野の進歩は非常に速く、常に新しいモデルが登場しています。2023年11月には GPT-4-turbo2、2024年5月には GPT-4o3、2024年9月には OpenAI o14 が登場しています。Claude や Gemini も含めるとアップデートの数は計り知れません。
GPT-45 がリリースされたのは2023年2月であり、もはやレガシーモデルです。Notion AIの魅力はモデルの性能ではなくUXである一方で、AIに詳しい社員からは「OpenAIやClaude、GeminiのAPIを利用した方が高性能なのでは？」という声も上がってくるかもしれません。
また、Azure OpenAI 等々を使ってAIの推進をやってきた身からすると、Notion AI は凄く楽です。教育などの手間がありますが、開発するのとは比べものになりません。これは良い側面である一方で、生成AIに関する学習機会や自社プロセスに組み込む機会を奪うことになるのでは？という一抹の不安がよぎります。「両方やる」というのが最高ではあると思いますが、限られた資源（人物金）の中で片方しか投資できない場合のどちらに投資すべきかという点は頭の片隅に置いておくべきです。
おまけ：検証プロジェクト自体の反省点
最後に検証プロジェクト自体の反省点も共有しておきます。ブログのテーマとは異なりますが、これからNotion AIを検証する方の参考になれば幸いです。
Good：勉強会で煽る
検証期間の冒頭で勉強会を開催するのはよくあるアプローチですが、やって良かったと振り返っています。その勉強会ではNotion AIの使い方はもちろん説明しましたが、なにより「なぜAIに取り組むことが会社として重要なのか？」という点を啓蒙し、参加者を煽りました。当社の従業員が皆優しくて協力的という側面もありますが、勉強会のおかげでより多くの協力が得られたと思っています。
Bad：啓蒙活動が薄かった
勉強会は良かったのですが、中盤の啓蒙活動が薄かったのは反省です。啓蒙活動で実施したこととしては、専用のSlackチャンネルで情報発信をしたり、各個人のtimeでNotion AIのことを話題にあげたりなどでした。しかしながら、テキストでのやり取りは実施する一方で、例えば「Notion AIここが良かった（悪かった）共有会」などをZoom等で開催すると、より啓蒙できたななどの反省点があります。
Bad：評価項目は先に提示しておくべきだった
当社はエンジニア組織なので、評価項目を出しておくと、その項目を参考にNotion AIの深掘りを促すことができたのではと考えています。「時間短縮」という話はなんとなく共通認知されていたものの、「能力の拡張」や「付加価値」という項目は検証期間の最後に打ち出したこともあり、具体例が期待よりも少ないという結果となりました。
終わりに
Notion AIの全社検証を通じて、Notionの価値はもちろん、それ以外にもAI導入の可能性と課題を実感しました。AIの活用は競争力強化の鍵となる一方で、導入にあたっての戦略的な判断が求められます。組織文化の醸成、社員教育、適切なツール選定といった多角的な取り組みが必要です。
AIとの共存は、もはや選択肢ではなく必須となっています。しかし、その導入プロセスは戦略的でなければなりません。今後も、AIテクノロジーの進化を注視しつつ、人間の創造性や判断力とAIの能力をどのように融合させていくか、継続的に検討と実験を重ねていきたいと思います。
