1つの教師データをもとに映像中の要素作業を自動検出する技術を開発

要素作業ごとの所要時間を自動で集計し、カイゼン活動における分析作業を効率化

株式会社富士通研究所（注1）（以下、富士通研究所）は、製造業などの作業現場における一連の作業映像から、「部品を取る」「ねじを締める」「カバーを取り付ける」など個別の要素作業を自動検出する技術を開発しました。

従来、工場などの作業現場では、作業員が作業している様子を撮影し、その映像から各要素作業における問題点の洗い出しと改善を行い、生産性や品質の向上を図っていますが、映像から各要素作業にかかる時間を取得するために、手作業で各要素作業の区間を分割する必要があり、実際の映像時間に対して数倍から数十倍の工数がかかることが課題となっていました。

今回、映像から人の動きを検出する技術を拡張し、1人が行った1回分の作業映像と、その中の要素作業ごとに分割されたデータを教師データとして、毎回の動きのばらつきや作業員ごとの動きの違いを考慮したAIモデルを構築し、そのモデルを用いて同一作業を撮影した別の映像に対しても最適な要素作業を自動検出できる技術を開発しました。本技術をネットワークプロダクトの製造を担う富士通アイ・ネットワークシステムズ株式会社（注2）の山梨工場（所在地：山梨県南アルプス市）での作業分析に適用したところ、90％の精度で要素作業の検出が可能となり、作業分析の効率化に活用できることを確認しました。

当社は今後も、本技術を通じて、様々な現場における作業の効率化に向けたカイゼン活動や技能伝承の推進に貢献していきます。

開発の背景

少子高齢化や人材の流動化が進む中、人による作業が必要な現場においては、作業を記録・分析し、マニュアル作成や現場指導などに活用するニーズが高まっています。製造現場では、生産性や品質の向上を目的とするカイゼン活動の一環として、作業の様子を撮影した映像を用いてムダ取りや熟練作業員との作業比較、作業改善による時間短縮の効果測定など、様々な作業分析を行っています（図1）。これらの分析にあたっては、映像の中から要素作業の開始と終了を区切る分割作業（図1内のStep2）を手作業で行うため、例えば、20分の映像に対して1時間以上の時間がかかるなど、作業の効率化や技能伝承を加速させる上で障害となっていました。

図1．映像を用いた作業分析

課題

近年、ディープラーニング技術を活用して、映像から人の骨格の動きを検出したり、作業の教師データを学習して複数人の間で共通する作業を認識したりすることが可能となっています。しかし、これらのことを実現するには、個人の同じ作業の中においても生じる微妙な動きのばらつきや、人や環境ごとに異なる動きの違いを吸収しつつ、類似する別の動きとの判別を行わなければならず、多くの教師データを用意する必要がありました。

開発した技術

今回、1回分の作業映像を要素作業ごとに分割したデータを教師データとして学習し、動きのばらつきや類似する別の動きなどを含む同一作業の別映像に対しても、要素作業を自動検出する技術を開発しました。

まず、要素作業を学習するにあたり、当社の行動分析技術「FUJITSU AI Technology Actlyzer」（注3）に含まれる3次元骨格認識技術を用いて、教師データとなる映像から人の3次元空間上での姿勢を推定します（図2）。そして、数百ミリ秒から数秒間隔で上半身の姿勢の変化を特徴量として取得し、類似する特徴量をグループ化して数十個の単位動作に分類します（図2内のm1からmn）。ここでは、姿勢の変化の特徴が類似していれば、同一動作とみなされるため、作業位置やカメラの設置位置による映り方の違いにも対応できます。

次に、教師データの映像に対する要素作業区間の分割位置（タイムスタンプ）が記載されたデータを用いて、単位動作の並びと要素作業の対応付けを行います。この際、要素作業を構成する単位動作の組み合わせの変化パターンを推定し、AIモデルとして生成することで、同一作業の場合でも、人による動きの違いや人ごとに毎回生じる細かな動きの違いを吸収することができます。また、単位動作の並びから、AIモデルが要素作業を自動で認識します。これにより、「ねじを締める」など同じ要素作業が複数回存在する場合でも、全体の作業順を考慮して最適に要素作業を検出することができます。

図2．1人の1回分の作業映像と要素作業の分割データを教師データとしてAIモデルを生成

効果

今回、ネットワーク機器の製造拠点である富士通アイ・ネットワークシステムズの山梨工場において、部品セット、組み立て、外観検査の3つの作業工程（図3）の分析に開発した技術を適用し、評価を行いました。

いずれの工程も、1人分の要素作業の分割データを学習させるのみで、同一作業を撮影した別の映像においても、作業員や撮影環境などの差異を吸収しつつ、90％以上の精度で要素作業を自動検出でき、これまで手作業で行っていた分割作業が不要となり、大幅に作業時間を短縮できることを確認しました。これにより、カイゼン活動のサイクルをより頻繁にまわすことができ、作業の効率化や技術伝承の加速を支援します。

図3．技術検証における対象作業と各種データ

今後

当社は、今後、本技術を富士通株式会社（注4）のAI技術「FUJITSU Human Centric AI Zinrai」として、製造業に加え、物流や農業、医療などをはじめとする様々な現場での実証を進め、2021年度内の実用化を目指します。

商標について

記載されている製品名などの固有名詞は、各社の商標または登録商標です。

注釈

注1

株式会社富士通研究所：
本社神奈川県川崎市、代表取締役社原裕貴。
注2

富士通アイ・ネットワークシステムズ株式会社：
本社山梨県南アルプス市、代表取締役社長中村裕登。
注3

Actlyzer：
映像から人の様々な行動を認識するAI技術。（2019年11月25日プレスリリース）
注4

富士通株式会社：
本社東京都港区、代表取締役社長時田隆仁。

本件に関するお問い合わせ

株式会社富士通研究所

デジタル革新コア・ユニット
E-mail：actlyzer-press@ml.labs.fujitsu.com

プレスリリースに記載された製品の価格、仕様、サービス内容などは発表日現在のものです。その後予告なしに変更されることがあります。あらかじめご了承ください。