LLMOps基盤の整備による生成AIアプリケーション運用の高度化

Polaris.AIは、大手海運事業者様における生成AI活用の高度化に向けて、LLMアプリケーションの運用基盤となるLLMOpsの設計および運用体制の整理を支援しました。

社内で複数のAIアプリケーションの開発が進む中、それぞれのアプリケーションで個別に運用や品質管理が行われており、保守運用の負荷増大や知見の分散が課題となっていました。

本プロジェクトでは、LLMモデルやプロンプトの変更、品質評価、運用監視などを統合的に管理するLLMOps基盤の構想整理と、生成AI運用を担う組織体制の設計を行いました。

近年、生成AIを活用した業務システムの開発が急速に進む一方で、LLMの頻繁なアップデートや挙動変化に対応するための運用体制の整備が重要な課題となっています。

特にLLMを活用したシステムでは、モデル更新やプロンプト変更によって生成結果や検索精度が変化する可能性があり、開発後も継続的に品質を監視・評価しながら改善していく必要があります。

本プロジェクトのクライアント企業様においても、社内で複数のAIアプリケーションが開発される中で、

といった課題が顕在化していました。

そこで本プロジェクトでは、生成AIアプリケーションの品質維持と運用効率化を目的として、LLMOpsの観点から運用基盤の設計と体制整備を進めました。

本取り組みでは、LLMアプリケーションの継続的な改善と安定運用を実現するため、LLMOpsの観点から以下の設計を行いました。

LLMOps基盤の構想整理
LLMモデルやプロンプトを一元管理し、品質評価や変更管理を効率化するためのLLMOps基盤の構想整理を実施しました。

本基盤では、以下のような機能を中心に設計を行っています。

これにより、LLMの更新や設定変更が発生した際にも、システム品質を維持しながら安全に運用できる基盤の整備を目指しました。

生成AI運用体制（CoE）の設計
LLMOps基盤の整備と並行して、生成AI運用を担うCoE（Center of Excellence）体制の設計も行いました。

CoE体制では、

を進めることで、AIアプリケーション開発チームが新機能開発に集中できる環境を整備しています。

Polaris.AIは、本プロジェクトにおいて以下の支援を行いました。

LLMOps基盤の設計

生成AI運用体制の設計

運用効率化の検討

Polaris.AIは今後も、生成AI技術の社会実装を支えるLLMOps基盤の設計・構築を通じて、クライアント企業様のAI活用と業務変革を技術面から支援してまいります。

\ Let's shere ! /

一覧ページに戻る

Pick up

おすすめ記事