【ジヤトコ様】RAGコンサルティングによる回答精度の向上

大手自動車関連メーカーであるジヤトコ株式会社様では、自社開発されたRAGシステムの精度に課題を抱えておられました。特に、Azure Open AI APIと各種Azureサービスを用いてシステムを構築しておられ、Azure環境下で精度を上げたいという状況でした。

Polaris.AIによるRAGコンサルティングのもと、1か月間のチューニングを経て、精度を42%から90%に向上することができました。

今後は、本PJTで得られた知見を基に他部門のRAGシステムの精度向上をクライアント自身で進めていただくとともに、ユーザーがハルシネーションに惑わされにくいUI・UXの実現や他部門でのナレッジ共有にむけ、より高度な運用改善を実現していきます。

本プロジェクトの背景

ジヤトコ株式会社様では、Azure上でRAG（Retrieval-Augmented Generation）の環境を構築し、社内の書類検索や回答生成を行うシステムを開発していました。

しかし、導入後の精度には課題があり、より正確な情報を提供するための改善が求められていました。

加えて、長期的にRAGを活用していくためには、クライアント自身で精度向上をし続ける知見の獲得が必要でした。

そこで、Polaris.AIがRAGの精度向上とクライアント様のナレッジ獲得を支援しました。

Polaris.AIの支援内容

RAGの精度測定と評価手法の確立

まず、現在のRAGの精度を把握するために、具体的な評価指標を設定し、システムの回答精度を測定しました。特に、ファイル検索・チャンク検索・回答生成の３つの観点で精度を正しく測定しました。

RAGの精度向上を行う際には、原因分析を十分に実施せず、インターネット上で優れた手法であるとされる手法を取り入れていく進め方を取るケースが多いですが、本PJTではまず綿密な原因分析を行うことで、少ない期間で最大限の精度向上を実現しました。

精度向上のためのチューニング

次に、クライアント様と協力しながら、1か月間にわたってRAGのチューニングを実施しました。

エラー理由から改善ポイントを推定し、検索システムのAI Searchへの変更、採用する検索上位チャンク数の最適化、検索上位チャンクの実書類上における前後チャンクのプロンプトへの追加、プロンプトの変更などを行いました。

その結果、RAGの精度は開発前の42%から90%まで向上しました。
またあるSaaSを活用した場合とも比較実験を行いましたが、SaaSの精度は85%であり、精度の観点でも上回る結果となりました。

これはブラックボックスなSaaSの回答ロジックにいつまでも頼り続ける必要がなくなり、自社だけの力で今後運用可能なことを意味しています。

またクライアント様は精度のみでなく、正しいエラー分析・精度向上のノウハウ、さらなる精度向上のアイデアを本PJTを通して獲得しており、今後はSaaSを利用せず自社の力でさらに高い精度を追求することが可能になっています。

継続的な運用のための自動化施策

RAGの精度向上を一時的なものにせず、継続的に維持・改善できるよう、ユーザーの利用ログの分析方法の方法についても支援をしています。

本プロジェクトを通して、クライアント様には、高精度なRAGの実現とそのノウハウの取得に閉じず、使われるAIシステムを構築し価値を実現する進め方や、それをより小さな稼働で実現する方法論を身に着けていただくことができました。

問い合わせ先

Polaris.AIでは、企業のRAG活用を支援するコンサルティングを提供しています。

RAGの導入・運用に関するご相談がございましたら、お気軽にお問い合わせください。

お問い合わせは こちら からお受けしております。