概要
建機のレンタル・メンテナンスを行う株式会社カナモト様と、国外にいる作業員とのメンテナンス作業をオンラインで支援するためのアプリケーションの開発の実証実験を行ました。
カナモト様が抱える問題点
カナモト様は国内だけでなく、中国やアジア各国に拠点をもち、そこへ日本で製造された特殊機械のレンタルを行っていますが、コロナ禍の中で日本から人材を派遣することが難しくなり、現地の作業員にオンラインで機械の説明を行う必要が生じてきました。
スマートフォンを用いた講習だと、片手がどうしても塞がってしまったり、定点カメラだと指導者の視点が自由に動かせないというデメリット、またスマートグラス式は値段が高価でスケールが出来ないという問題点が生じました。
ソリューション
今回の検証では、アクションカメラを肩につけ、アクションカメラとAndroid端末を繋げ、LTE通信することで双方向通信を実現致しました。（アルファ版でのSDKのご提供）
システム構成図
ビュワーに関しては、ロゴやカナモト様のブランドカラーの要望があったため、NextJSを用いフロントエンドを実装致しました。ブラウザから見れることにより、WindowsやMacなどのOSに関係なく、ブラウザから作業員のGoProの映像を見ることができ、音声に関しても双方向でのやりとりが可能となりました。
今回のシステム構成図は、下記の図の通りとなっています。
映像配信のサーバーはWebRTC SFU Soraを用い、認証サーバーはADAWARP社がNestJSを用いて開発しているバックエンドを利用しました。
また、Roid Caster SDKを用いてAndroidアプリを作成し、HDMI-UVC経由でGoPro Hero 8のアクションカメラが接続されています。
デモ動画
Androidとアクションカメラを装着した様子
