“乗り心地向上”を目指すAI制御のデモに向けて、車載VLMシステムに連携するスマートフォンアプリのPoCを支援

ある自動車部品メーカー様の「自動運転の乗り心地向上」を目的とした車載AI制御のプロジェクトにおいて、スマートフォンアプリ開発のPoC支援を実施しました。

本取り組みでは、VLM（Vision-Language Model）を活用した車両制御の上位構想の具体化を目指し、スマートフォンでの撮影映像をリアルタイムでJetson端末に転送し、AI処理へと連携する仕組みのプロトタイプを構築しました。

PoC段階ながら、CarPlay対応やUIデザインにも配慮したデモ体験を実現しました。

プロジェクトの背景

自動車部品メーカー様では、「路面画像から車両の乗り心地制御にフィードバックを返す」という構想のもと、VLMによる画像認識・制御指示モデルの先行研究を推進されていました。

VLMの構想自体は先進的であるものの、「その価値を社内で伝えるためのビジュアルなデモ」が課題となっていました。

そこで、実際の車両環境を模したプロトタイプとして、スマートフォンでの撮影からJetson・AIモデル連携までのシステムを構築し、直感的に理解できる体験を提供することが求められました。

Polaris.AIの支援内容

Polaris.AIは、PoC構築フェーズにおいて以下のような支援を行いました。

デモ用スマートフォンアプリの開発

• iPhone15proを車載カメラとして活用し、撮影 → Wi-Fi転送 → Jetson処理までの一連の流れをスマホアプリで実装

• リアルタイム性を担保するために、Swiftをベースにしたネイティブアプリ開発

• 配線不要のWi-Fi接続と車載環境への実装可能性を考慮

• CarPlay対応を見据えたSwiftUIベースのUI実装・検証

アプリの主要機能

• RTSP（Real Time Streaming Protocol）での映像転送

• 低レイテンシを実現するための画像フレーム処理

• 撮影タイミングの制御

• スマホアプリのUI設計

• CarPlayにおける機能制限を加味したうえでのユーザフレンドリーなUI構築

Polaris.AIは、AI開発における構想初期の段階から「何を開発すべきか」「どう具現化するか」という観点で、AIシステムの社会実装を支援してまいります。