• English

PRESS RELEASE （技術）

2016年3月17日
株式会社富士通研究所

単眼カメラで遠隔現場の全景が把握できる作業支援技術を開発

3次元パノラマ合成した画面で状況把握し、AR技術で作業者に的確指示

開発の背景

近年、少子高齢化による労働者不足から建築や保守・点検などの分野において、熟練作業者の不足が深刻な問題になりつつあります。そのため、経験不足の現場作業者に対して、オペレーションルームなどから熟練者が支援を行う遠隔作業支援技術が注目されています。特に、タブレットやヘッドマウントディスプレイなどのスマートデバイスを活用し、現場の様子を把握しながら、リアルタイムな支援を実現することが期待されています（図1）。

課題

スマートデバイスの内蔵カメラで撮影した現場の静止画像を遠隔地にいる支援者に送信し、指示をもらう従来の技術では、カメラの視野が狭いため、遠隔支援者にとって現場全体の状況が掴みづらいという問題がありました。一方、ライブ映像を伝送する場合も、作業員の不規則な動きに伴う撮影画像のブレにより、遠隔支援者が酔ってしまうという問題がありました。

また、これらの技術は作業環境のなかでの作業者の立ち位置や向きを遠隔支援者に直接伝達できないため、指示の場所や注目方向などを会話で調整する必要があり、本来の作業は中断され、手間がかかり効率が悪いという問題もありました。

開発した技術

今回、作業者側のカメラ画像を使って立体的なパノラマ画像を生成することで現場の全景をわかりやすく伝える画像の3次元合成技術と、カメラ画像とセンサーから作業員の位置と向きをリアルタイム推定することにより遠隔地から現場に直接、的確な指示が可能なユーザーインターフェースと作業指示のAR提示技術を開発しました（図2）。

開発した技術の特長は以下のとおりです。

1. 作業現場画像のオンライン3次元合成技術

   現場のカメラの画像から複数の画像特徴点を抽出することでカメラの位置と向きをリアルタイムに追跡し、作業員の位置と向きを継続的に推定します。推定結果より、ブレのない映像を選択し、3次元の位置および向きの情報と一緒に遠隔支援者へ送信します。遠隔支援者側では、カメラのパラメーターとなる焦点距離および画像の中心にあわせて3次元空間上に画像をリアルタイムに配置し、カメラと環境特徴点との距離も加味して画像のサイズを調整します。このように、選別された画像を順次3次元空間上に配置することによって、臨場感のある3次元画像として広範囲に渡る作業現場の全景を即座に精度よく表現します（図3）。

   
   図3 リアルタイム3次元パノラマ合成

2. 作業員の行動把握および作業指示のAR提示技術

   生成した3次元画像は実際の作業現場の3次元空間構造が忠実に反映されており、複数のセンサー情報を加えて作業員の位置と向きを高精度に推定することで、作業員をパノラマ合成された画像の中に3次元モデルとして仮想的に描画します。これにより、遠隔支援者は自分の好きな視点から作業員の行動を把握できます。また、遠隔支援者は3次元画像に対して、ポインターや注釈の形で指示を行うことができます。この指示は、即座に作業員のスマートデバイスなどに伝達し、作業員の位置と向きにあわせたリアルタイムなAR情報として提示できます。さらに、そのAR情報が作業員の視野外にある場合はそこまで作業員を誘導することができ、遠隔からの効果的な支援を実現できます（図4）。

   
   図4 位置認識による作業員の行動把握と作業指示のリアルタイムAR指示・誘導
   拡大イメージ

効果

本技術を用いることにより、遠隔支援者が独自の視点から俯瞰した現場の3次元画像の中で、作業者がどこに立ってどこを向いているかについてリアルタイムに把握しながら指示することが可能になります。これにより、作業者は遠隔支援者の的確なサポートを受けることができるため、経験不足の作業者でも作業範囲を拡大できます。また、現場作業が難しくなった熟練者のスキルを有効活用することで、人材活用の自由度が向上します。

今後

富士通研究所は今後、開発した技術を実際の設備点検やメンテナンス現場で検証し、2016年度中の実用化を目指します。また、開発した技術を作業現場だけでなく、物流や建設、小売りなど、様々なシーンに適用していきます。

商標について

記載されている製品名などの固有名詞は、各社の商標または登録商標です。

注釈

注1 株式会社富士通研究所：

本社 神奈川県川崎市、代表取締役社長 佐相秀幸。

---