動画・音声情報をリアルタイムで処理するAI会議支援アプリの開発

複数のAIモデルを組み合わせたマルチモーダルAI会議支援アプリケーションの構築を支援しました。

本プロジェクトの背景

Polaris.AIは、クライアント企業様の社内AIアプリケーションの活用範囲拡大に向けた取り組みとして、動画・音声情報をInputとするAIの基礎研究プロジェクトを企画・推進しました。
開発・検証を進める中で、長時間の文脈保持の限界や推論能力の制約といった課題が見えてきました。

これらを踏まえ、「発話内容や議論の流れの理解」を中心とする会議支援にユースケースを絞り込み、要件定義・設計から実装・検証まで、プロジェクト全体を一貫して担いました。

支援内容

音声・画面・テキストを統合的に処理するアプリケーションの開発を中心に、検証・連携設計まで幅広く支援しました。

• 音声・画面・テキストを統合的に処理するマルチモーダルアプリケーションの設計・開発

• 長時間の会議でも議論の流れをAIが把握し続けられる仕組みの開発

• 実際の会議シナリオを用いた動作検証と、検証結果・システム構成の整理

• 社内システムへの統合を担うクライアントエンジニアへの引き継ぎおよびコード・ドキュメントの整備

技術的な工夫

長時間の会議でも精度を維持しながらリアルタイムで動作するよう、以下の点に工夫を凝らしました。

• リアルタイム音声文字起こしによる発言の継続的な取得・表示

• 画面差分検知による効率的な画像情報の取得

• 1分ごとに発話・画面情報をAIが要約・蓄積することで、長時間の議論を途切れなく把握できる構成を実装

• 会議の参加者・話題・決定事項を構造化して管理し、AIの回答精度向上に活用

• 高精度な推論に対応したLLMの選定・組み合わせ

Polaris.AIは今後も、最先端のマルチモーダルAI技術を活用したアプリケーション開発を通じて、クライアント企業様の業務高度化と意思決定の質向上を支援してまいります。