特許 7584719 支援プログラム、支援装置、支援システム及び支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-07

(45)【発行日】2024-11-15

(54)【発明の名称】支援プログラム、支援装置、支援システム及び支援方法

(51)【国際特許分類】

   H04N 5/93 20060101AFI20241108BHJP

   H04N 5/95 20060101ALI20241108BHJP

【ＦＩ】

H04N5/93

H04N5/95

【請求項の数】 9

(21)【出願番号】P 2024550620

(86)(22)【出願日】2024-04-30

(86)【国際出願番号】 JP2024016732

【審査請求日】2024-08-26

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100131152

【弁理士】

【氏名又は名称】八島 耕司

(74)【代理人】

【識別番号】100147924

【弁理士】

【氏名又は名称】美恵 英樹

(74)【代理人】

【識別番号】100148149

【弁理士】

【氏名又は名称】渡邉 幸男

(74)【代理人】

【識別番号】100181618

【弁理士】

【氏名又は名称】宮脇 良平

(74)【代理人】

【識別番号】100174388

【弁理士】

【氏名又は名称】龍竹 史朗

(72)【発明者】

【氏名】片桐 由裕

(72)【発明者】

【氏名】生田 浩之

(72)【発明者】

【氏名】竹本 真太朗

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２０２０－１５５９６１（ＪＰ，Ａ）

【文献】特開２０２０－１８１３７５（ＪＰ，Ａ）

【文献】特開２０２２－１２３８４３（ＪＰ，Ａ）

【文献】特開２０２１－１９６７８３（ＪＰ，Ａ）

【文献】特開２０１３－２５５７８（ＪＰ，Ａ）

【文献】特開２０２３－５９７５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／７６ － ５／９５６

(57)【特許請求の範囲】

【請求項1】

実施された作業の分析を支援するコンピュータを、
特定の作業の基準として実施された基準作業を撮影した基準動画から抽出された、前記基準作業をする基準作業者の骨格の姿勢の第１推移を示す基準骨格情報を取得し、前記特定の作業を構成する複数の部分作業のうちの前記基準作業者によって実施された前記部分作業それぞれの、識別情報及び前記基準動画における再生時刻を示す基準作業情報を取得する情報取得手段、
前記基準動画と、前記特定の作業をする対象作業者を異なる角度から撮影した複数の対象動画と、を取得する動画取得手段、
前記複数の対象動画から前記対象作業者の骨格の３次元空間内における姿勢の第２推移を推定する推定手段、
前記第１推移と前記第２推移との比較により、前記対象作業者によって実施された前記特定の作業が、いずれかの前記部分作業の省略又は前記部分作業の順序の変更を含む場合であっても、前記対象作業者によって実施された前記部分作業それぞれの、前記識別情報及び前記対象動画における再生時刻を特定する特定手段、
前記基準動画のうちの一の前記識別情報に対応する前記部分作業を撮影した部分を表示装置に再生させつつ、前記対象動画のうちの該一の前記識別情報に対応する前記部分作業を撮影した部分を前記表示装置に再生させる表示制御手段、
として機能させるための支援プログラム。

【請求項2】

前記コンピュータを、
ユーザインタフェースを介する操作を受け付ける受付手段、としてさらに機能させ、
前記表示制御手段は、前記第２推移を前記表示装置に表示させ、
前記受付手段は、前記表示装置に表示された前記第２推移に対する回転、拡大、縮小及び並行移動のうちの少なくとも１つの変更操作を受け付け、
前記表示制御手段は、前記変更操作に従って、前記表示装置に表示させる前記第２推移の表示形態を変更する、
請求項１に記載の支援プログラム。

【請求項3】

前記表示制御手段は、前記対象動画と前記第２推移とを同期させて前記表示装置に表示させる、
請求項２に記載の支援プログラム。

【請求項4】

前記基準作業情報は、前記基準作業を構成する前記部分作業それぞれの、前記基準動画における再生時間長を示し、
前記特定手段は、前記対象作業者によって実施された前記部分作業それぞれの、前記対象動画における再生時間長を特定し、
前記表示制御手段は、前記部分作業それぞれの再生時間長が等しくなるように、前記基準動画及び前記対象動画の少なくとも一方の再生速度を変更する、
請求項１又は２に記載の支援プログラム。

【請求項5】

前記コンピュータを、
前記対象動画に写る前記対象作業者の将来の位置及び姿勢の少なくとも一方を予測する予測手段、
前記予測手段により、前記対象作業者が予め定められた許容範囲を逸脱して移動することが予測された場合、及び、前記対象作業者が予め定められた禁止範囲に侵入することが予測された場合の少なくとも一方の場合に、異常の発生を報知する報知手段、
として機能させる請求項１又は２に記載の支援プログラム。

【請求項6】

前記コンピュータは、ネットワーク上のクラウドサーバであって、
前記表示制御手段は、前記基準動画のうちの一の前記識別情報に対応する前記部分作業を撮影した部分を、前記ネットワークを介して表示装置に再生させつつ、前記対象動画のうちの該一の前記識別情報に対応する前記部分作業を撮影した部分を、前記ネットワークを介して前記表示装置に再生させる、
請求項１又は２に記載の支援プログラム。

【請求項7】

実施された作業の分析を支援する支援装置であって、
特定の作業の基準として実施された基準作業を撮影した基準動画から抽出された、前記基準作業をする基準作業者の骨格の姿勢の第１推移を示す基準骨格情報を取得し、前記特定の作業を構成する複数の部分作業のうちの前記基準作業者によって実施された前記部分作業それぞれの、識別情報及び前記基準動画における再生時刻を示す基準作業情報を取得する情報取得手段と、
前記基準動画と、前記特定の作業をする対象作業者を異なる角度から撮影した複数の対象動画と、を取得する動画取得手段と、
前記複数の対象動画から前記対象作業者の骨格の３次元空間内における姿勢の第２推移を推定する推定手段と、
前記第１推移と前記第２推移との比較により、前記対象作業者によって実施された前記特定の作業が、いずれかの前記部分作業の省略又は前記部分作業の順序の変更を含む場合であっても、前記対象作業者によって実施された前記部分作業それぞれの、前記識別情報及び前記対象動画における再生時刻を特定する特定手段と、
前記基準動画のうちの一の前記識別情報に対応する前記部分作業を撮影した部分を表示装置に再生させつつ、前記対象動画のうちの該一の前記識別情報に対応する前記部分作業を撮影した部分を前記表示装置に再生させる表示制御手段、
を備える支援装置。

【請求項8】

請求項７に記載の支援装置と、
前記対象作業者を撮影して前記対象動画を前記支援装置に送信する複数の撮影装置と、
を備える支援システム。

【請求項9】

実施された作業の分析を支援する支援方法であって、
情報取得手段が、特定の作業の基準として実施された基準作業を撮影した基準動画から抽出された、前記基準作業をする基準作業者の骨格の姿勢の第１推移を示す基準骨格情報を取得し、前記特定の作業を構成する複数の部分作業のうちの前記基準作業者によって実施された前記部分作業それぞれの、識別情報及び前記基準動画における再生時刻を示す基準作業情報を取得し、
動画取得手段が、前記基準動画と、前記特定の作業をする対象作業者を異なる角度から撮影した複数の対象動画と、を取得し、
推定手段が、前記複数の対象動画から前記対象作業者の骨格の３次元空間内における姿勢の第２推移を推定し、
特定手段が、前記第１推移と前記第２推移との比較により、前記対象作業者によって実施された前記特定の作業が、いずれかの前記部分作業の省略又は前記部分作業の順序の変更を含む場合であっても、前記対象作業者によって実施された前記部分作業それぞれの、前記識別情報及び前記対象動画における再生時刻を特定し、
表示制御手段が、前記基準動画のうちの一の前記識別情報に対応する前記部分作業を撮影した部分を表示装置に再生させつつ、前記対象動画のうちの該一の前記識別情報に対応する前記部分作業を撮影した部分を前記表示装置に再生させる、
ことを含む支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、支援プログラム、支援装置、支援システム及び支援方法に関する。

【背景技術】

【0002】

ＦＡ（Factory Automation）の現場で作業者によって実施される作業を効率化するために、そのような作業の状況を分析するための技術が提案されている（例えば、特許文献１を参照）。特許文献１には、作業者の動作を録画した作業動画から特徴量の時間変化を抽出し、当該特徴量に基づいて作業動画を複数の動作区間に分割する。そして、基準となる動作を録画した動画における各動作区間の再生長さと、作業動画における各動作区間の再生長さとが一致するように、動作区間の再生速度を調整する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１５５９６１号公報

【文献】国際公開第２０２１／０５３７３８号

【非特許文献】

【0004】

【文献】清水尚吾，骨格情報を用いた生産現場における作業者行動分析手法，情報処理学会第81回全国大会講演論文集，２０１９年２月２８日，5C-05

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の技術では、動画から抽出された特徴量の時間変化に基づいて、基準となる動作を録画した動画と作業動画との、動作区間への分割及び分割した動作区間の対応付けを実行する。このため、これら２つの動画を撮影するカメラの位置、姿勢及び視野角のような撮影条件が同等であること、及び、作業者が毎回、基準となる動作と同等の手順を実施すること、という制約条件を満たす必要がある。

【0006】

しかしながら、基準となる動作は１回撮影すれば十分であるのに対して、分析対象の作業は、継続的に実施されるため、分析対象の作業の撮影条件については、状況に応じて柔軟に変更可能であることが望ましい。また、作業者が実施すべき手順を省略してしまったり順序を間違えてしまったりする場合にこそ作業状況の分析が必要であるのに、そのような場合には上述の制約条件が満たされないため、特許文献１の技術を適用することができない。すなわち、作業を撮影した動画の分析を、現場の実態に即して柔軟に行う余地がある。

【0007】

本開示は、上述の事情の下になされたもので、作業を撮影した動画の分析を、現場の実態に即して柔軟に行うことを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本開示の支援プログラムは、実施された作業の分析を支援するコンピュータを、特定の作業の基準として実施された基準作業を撮影した基準動画から抽出された、基準作業をする基準作業者の骨格の姿勢の第１推移を示す基準骨格情報を取得し、特定の作業を構成する複数の部分作業のうちの基準作業者によって実施された部分作業それぞれの、識別情報及び基準動画における再生時刻を示す基準作業情報と、を取得する情報取得手段、基準動画と、特定の作業をする対象作業者を異なる角度から撮影した複数の対象動画と、を取得する動画取得手段、複数の対象動画から対象作業者の骨格の３次元空間内における姿勢の第２推移を推定する推定手段、第１推移と第２推移との比較により、対象作業者によって実施された特定の作業が、いずれかの部分作業の省略又は部分作業の順序の変更を含む場合であっても、対象作業者によって実施された部分作業それぞれの、識別情報及び対象動画における再生時刻を特定する特定手段、基準動画のうちの一の識別情報に対応する部分作業を撮影した部分を表示装置に再生させつつ、対象動画のうちの該一の識別情報に対応する部分作業を撮影した部分を表示装置に再生させる表示制御手段、として機能させる。

【発明の効果】

【0009】

本開示によれば、作業を撮影した動画の分析を、現場の実態に即して柔軟に行うことができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態に係る支援システムの構成を示す図

【図2】実施の形態に係る支援装置のハードウェア構成を示す図

【図3】実施の形態に係る支援装置の機能的な構成を示す図

【図4】実施の形態に係る基準動画の一例を示す図

【図5】実施の形態に係る対象動画の一例を示す図

【図6】実施の形態に係る基準骨格情報について説明するための図

【図7】実施の形態に係る基準作業情報について説明するための図

【図8】実施の形態に係る基準作業情報の登録画面の一例を示す図

【図9】実施の形態に係る対象骨格情報について説明するための図

【図10】実施の形態に係る対象作業情報について説明するための図

【図11】実施の形態に係る対象作業情報の一例を示す図

【図12】実施の形態に係る許容範囲の一例を示す図

【図13】実施の形態に係る禁止範囲の一例を示す図

【図14】実施の形態に係る支援処理を示すフローチャート

【図15】実施の形態に係る予測報知処理を示すフローチャート

【図16】実施の形態に係る分析画面の一例を示す図

【図17】実施の形態に係る対象動画の再生速度の調整について説明するための第１の図

【図18】実施の形態に係る対象動画の再生速度の調整について説明するための第２の図

【図19】実施の形態に係る変更操作の例を示す図

【図20】実施の形態に係る分析画面の他の例を示す図

【図21】変形例に係る分析画面を示す図

【図22】変形例に係る支援装置の機能的な構成を示す図

【発明を実施するための形態】

【0011】

以下、本開示の実施の形態に係る支援システムについて、図面を参照しつつ詳細に説明する。

【0012】

実施の形態．
本実施の形態に係る支援システム１０００は、工場及びプラントに代表される施設において実施される作業者による作業の分析を支援するシステムである。作業者による作業は、例えば、製造ラインにおけるワークの加工、検査、又は搬送、その他の作業である。また、支援システム１０００は、作業者による作業の基準である基準作業と、分析対象である作業者による対象作業と、のそれぞれを撮影した動画を比較可能な形態で再生することで、分析者Ｕ１による分析を支援する。

【0013】

支援システム１０００は、図１に示されるように、分析者Ｕ１に対して情報を表示する表示部１１を有する支援装置１０と、基準作業者Ｕ２によって実施される基準作業を撮影する撮影装置２１と、分析対象である対象作業者Ｕ３によって実施される対象作業を撮影する撮影装置２２，２３と、を有する。支援装置１０は、ＵＳＢ（Universal Serial Bus）ケーブルのような通信線を介して撮影装置２１～２３に接続されてもよいし、ＬＡＮ（Local Area Network）のようなネットワークを介して撮影装置２１～２３に接続されてもよい。

【0014】

支援装置１０は、分析者Ｕ１によって用いられるタブレット端末又はＩＰＣ（Industrial Personal Computer）である。支援装置１０は、図２に示されるようなハードウェア構成を有する。すなわち、支援装置１０は、プロセッサ１０１と、主記憶部１０２と、補助記憶部１０３と、入力部１０４と、出力部１０５と、通信部１０６と、を有するコンピュータとして構成される。主記憶部１０２、補助記憶部１０３、入力部１０４、出力部１０５及び通信部１０６はいずれも、内部バス１０７を介してプロセッサ１０１に接続される。

【0015】

プロセッサ１０１は、処理回路としてのＣＰＵ（Central Processing Unit）を含む。プロセッサ１０１は、補助記憶部１０３に記憶されるプログラムＰ１を実行することにより、種々の機能を実現して、後述の処理を実行する。プログラムＰ１は、支援プログラムの一例に相当する。

【0016】

主記憶部１０２は、ＲＡＭ（Random Access Memory）を含む。主記憶部１０２には、補助記憶部１０３からプログラムＰ１がロードされる。そして、主記憶部１０２は、プロセッサ１０１の作業領域として用いられる。

【0017】

補助記憶部１０３は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）及びＨＤＤ（Hard Disk Drive）に代表される不揮発性メモリを含む。補助記憶部１０３は、プログラムＰ１の他に、プロセッサ１０１の処理に用いられる種々のデータを記憶する。補助記憶部１０３は、プロセッサ１０１の指示に従って、プロセッサ１０１によって利用されるデータをプロセッサ１０１に供給する。また、補助記憶部１０３は、プロセッサ１０１から供給されたデータを記憶する。

【0018】

入力部１０４は、ハードウェアスイッチ、入力キー、キーボード及びポインティングデバイスに代表される入力装置を含む。入力部１０４は、分析者Ｕ１によって入力された情報を取得して、取得した情報をプロセッサ１０１に通知する。

【0019】

出力部１０５は、ＬＥＤ（Light Emitting Diode）、ＬＣＤ（Liquid Crystal Display）及びスピーカに代表される出力装置を含む。出力部１０５は、プロセッサ１０１の指示に従って種々の情報を分析者Ｕ１に提示する。

【0020】

通信部１０６は、外部の装置と通信するための通信インタフェース回路を含む。通信部１０６は、外部から信号を受信して、この信号により示されるデータをプロセッサ１０１へ出力する。また、通信部１０６は、プロセッサ１０１から出力されたデータを示す信号を外部の装置へ送信する。

【0021】

上述のハードウェア構成が協働することにより、支援装置１０は、種々の機能を発揮する。詳細には、支援装置１０は、図３に示されるように、その機能として、動画が再生される表示部１１と、撮影装置２１～２３によって撮影された動画を取得する動画取得部１２と、種々の情報を記憶する記憶部１３と、基準作業を撮影した基準動画から基準作業者の骨格を抽出する骨格抽出部１４と、基準作業者の骨格に関する基準骨格情報及び基準作業者の作業手順を示す基準作業情報を取得する情報取得部１５と、対象作業を撮影した対象動画から対象作業者Ｕ３の骨格を推定部１６と、記憶部１３の情報に基づいて対象作業者Ｕ３によって実施された作業手順を特定する作業特定部１７と、記憶部１３の情報に基づく支援情報を表示部１１に表示させる表示制御部１８と、分析者Ｕ１による操作を受け付ける受付部１９と、対象作業者の将来の移動を予測する予測部１１０と、対象作業の異常を報知する報知部１１１と、を有する。表示部１１は、出力部１０５によって実現され、記憶部１３は、主として補助記憶部１０３によって実現される。表示部１０５は、表示装置の一例に相当する。

【0022】

動画取得部１２は、主として通信部１０６及びプロセッサ１０１の協働により実現される。動画取得部１２は、撮影装置２１から基準動画を含む基準動画データ３１を受信することで取得し、取得した基準動画データ３１を記憶部１３に格納する。また、動画取得部１２は、撮影装置２２，２３から対象動画を含む対象動画データ４１を受信することで取得し、取得した対象動画データ４１を記憶部１３に格納する。動画取得部１２は、基準動画及び複数の対象動画を取得する動画取得手段の一例に相当する。

【0023】

基準動画データ３１は、例えば、基準作業者Ｕ２によって実施された１回の作業を撮影した基準動画を示す。基準動画は、例えば、１回の作業を撮影した１５分間の動画である。基準動画は、作業の基準として参照されるため、図４に例示されるように、基準作業者Ｕ２の位置及び姿勢並びに作業対象である手元が明確となるような視点から撮影される。基準動画は、特定の作業の基準として実施された基準作業を撮影した動画の一例に相当する。

【0024】

対象動画データ４１は、対象作業者Ｕ３によって実施された１回以上の作業を撮影装置２２，２３によって異なる角度から撮影した複数の対象動画を示す。対象動画はそれぞれ、例えば、１日間において対象作業者Ｕ３が最初の作業を開始してから最後の作業の終了までを撮影した８時間の動画である。対象動画は、図５に例示されるように異なる角度から同時に撮影される。図５において破線で接続されたフレームは、同時に撮影されたフレームであることを示している。対象動画については、後述するように対象作業者Ｕ３の位置及び姿勢が判ればよいため、作業対象である手元については、基準動画と同等の明確性は必ずしも求められない。対象動画を撮影する視点は、現場の状況に応じて任意に設定されてもよく、対象動画の撮影中に変更されてもよい。対象動画は、特定の作業をする対象作業者を異なる角度から撮影した複数の動画の一例に相当する。

【0025】

なお、対象動画データ４１は、対象作業者Ｕ３による現在の作業の様子をリアルタイムに示すストリーミング形式の動画データであってもよい。基準動画及び対象動画の形式は、例えば、解像度を１９２０×１０８０ピクセルとし、フレームレートを３０ｆｐｓ（frame per second）としたＭＰ４の形式であってもよいし、他の形式であってもよい。また、基準動画データ３１は、撮影装置２１の機種、撮影装置２１の位置及び姿勢、その他の基準作業の作業環境を示す情報を含んでもよい。同様に、対象動画データ４１は、撮影装置２２，２３の機種、撮影装置２２，２３の位置及び姿勢、その他の対象作業の作業環境を示す情報を含んでもよい。例えば、撮影装置２１～２３がスマートホンのような携帯端末である場合には、動画の撮影中に加速度センサによって計測された時系列の計測結果が、当該端末の姿勢を示す情報として基準動画データ３１及び対象動画データ４１の一方又は双方に含まれてもよい。

【0026】

骨格抽出部１４は、主としてプロセッサ１０１によって実現される。骨格抽出部１４は、基準動画の各フレームに写る基準作業者Ｕ２の骨格を示す情報を基準動画から抽出する。ここで、骨格は、作業者の体勢の概要を規定するパラメータであって、基準作業者Ｕ２の実際の筋肉又は骨と一致していなくともよい。詳細には、骨格は、図６に例示されるように、各フレームに写る基準作業者Ｕ２の代表的な関節位置に対応する複数のノード５０１、及び、ノード５０１同士を接続するワイヤー５０２である。図６の例では、両肩、両肘、両手首、首の根元、及び腰に対応する８つのノード５０１と、首から両肩まで、脊柱、両上腕、及び両前腕に対応する７つのワイヤー５０２とが、各フレームにおいて特定されている。ただし、基準作業者Ｕ２の一部又は全部が撮影装置２１の視野角の外に移動した際には、フレーム内に収まっていない部分については特定されなくともよい。骨格抽出部１４は、基準作業者Ｕ２の骨格の推移として、各フレームのノード５０１のフレーム内座標の推移を示す基準骨格情報３２を生成して出力する。骨格抽出部１４による骨格の特定については、出願人によって提案された特許文献２又は非特許文献１の手法を用いればよい。

【0027】

情報取得部１５は、主としてプロセッサ１０１及び通信部１０６の協働により実現される。情報取得部１５は、骨格抽出部１４から出力される基準骨格情報３２を取得して記憶部１３に格納する。また、情報取得部１５は、基準作業の作業手順を示す基準作業情報３３を、不図示の登録者から入力される情報として取得し、取得した基準作業情報３３を記憶部１３に格納する。

【0028】

基準作業情報３３は、図７に例示されるように、基準動画に写った基準作業を構成する部分作業を特定する情報である。詳細には、基準作業情報３３は、部分作業それぞれについて、識別情報であるＩＤ（Identifier）と、名称と、開始時刻と、終了時刻と、を互いに関連付けるテーブル形式のデータである。通常は、図７の左側において互いに異なるハッチングを付して示されるように、１つの部分作業の終了時刻は、次の部分作業の開始時刻と同等である。図７の例では、検査、組み立て、ねじ締め、外観チェック、及び清掃の５つの部分作業を、基準作業が含んでいる。

【0029】

基準作業情報３３は、図８に例示される登録画面を用いて、作業を熟知している登録者が、基準動画を再生しながら部分作業に関する情報を登録することで支援装置１０に入力されてもよい。図８の画面においては、ボタン８０１が押下されたときの基準動画の再生時刻が、部分作業の開始時刻として登録され、ボタン８０２が押下されたときの基準動画の再生時刻が、部分作業の終了時刻として登録される。部分作業のＩＤについては、登録者が入力することなく、連番の或いは固有の番号が自動的に割り振られてもよい。なお、登録者は、分析者Ｕ１であってもよいし、他のユーザであってもよい。登録者が分析者Ｕ１である場合には、基準作業情報３３を取得する機能は、後述の受付部１９によって発揮されてもよい。

【0030】

情報取得部１５は、基準動画から抽出された、基準作業者の骨格の姿勢の第１推移を示す基準骨格情報を取得し、特定の作業を構成する複数の部分作業のうちの基準作業者によって実施された部分作業それぞれの、識別情報及び基準動画における再生時刻を示す基準作業情報を取得する情報取得手段の一例に相当する。基準作業情報３３は、基準作業を構成する部分作業それぞれの、基準動画における再生時間長を示す情報の一例に相当する。

【0031】

図３に戻り、推定部１６は、主としてプロセッサ１０１によって実現される。推定部１６は、対象動画の各フレームに写る対象作業者Ｕ３の骨格を示す情報を対象動画から推定する。推定部１６は、骨格を特定する点では骨格抽出部１４と類似するが、複数の対象動画に基づいて図９に例示されるように、各ノードの３次元空間内における座標を特定する点で骨格抽出部１４とは異なる。

【0032】

３次元空間内における座標の特定は、骨格抽出部１４と同様の手法によって各対象動画から特定された骨格に対して、Photogrammetry又は写真測量法を適用することで達成されてもよいし、他の手法によって達成されてもよい。３次元空間内における座標の原点は、撮影装置２２又は撮影装置２３の視点であってもよいし、撮影装置２２，２３の光軸の交点又は最接近点同士の中点であってもよいし、その他の点であってもよい。

【0033】

また、３次元空間内の距離単位は、人体の骨格の平均的なサイズと、特定された骨格とが同等となるように定められてもよい。推定部１６は、対象作業者Ｕ３の骨格の推移として、各フレームのノードの３次元座標の推移を示す対象骨格情報４２を生成し、生成した対象骨格情報４２を記憶部１３に格納する。推定部１６は、複数の対象動画から対象作業者の骨格の３次元空間内における姿勢の第２推移を推定する推定手段の一例に相当する。

【0034】

作業特定部１７は、主としてプロセッサ１０１によって実現される。作業特定部１７は、基準骨格情報３２と対象骨格情報４２とを比較し、比較結果を基準作業情報３３と照らし合わせることで、対象作業者Ｕ３によって実施された部分作業を特定する。例えば、作業特定部１７は、図１０に示されるように、対象動画に写る対象作業者Ｕ３によって実施される部分作業の実施順序及び各部分作業の開始時刻及び終了時刻を特定する。

【0035】

基準骨格情報３２と対象骨格情報４２との比較については、骨格が人体の骨格であり、原則として同等の作業がなされているため骨格の推移が互いに類似するという事前情報、及び、ＰｎＰ（Perspective-n-Point）のような手法を用いることで比較が可能になる。すなわち、対象骨格情報４２により示される３次元空間における骨格の推移を、基準動画と同等の２次元平面に投影した推移が算出される。そして、基準作業情報３３に基づく特許文献２の手法により、対象作業者Ｕ３によって実施された部分作業が特定される。

【0036】

作業特定部１７は、単に骨格の推移を比較するだけでなく、基準作業情報３３という事前情報を利用することで、図１１に示されるような、部分作業の抜け又は順序変更があった場合であっても、部分作業を特定する。図１１の例では、基準作業と同様に実施すべき最初の「検査」という部分作業が省略されており、「外観チェック」とその次に実施すべき「清掃」の部分作業の順序が逆転している。例えば、基準作業の各部分作業に対応する骨格の推移を、抜けを許容した任意の順序で組み合わせて、その組合せと、時間方向の延長及び短縮を許容した対象作業者Ｕ３の骨格の推移との動的計画法によりマッチングしたときに、最も誤差が小さくなる組み合わせを特定結果として採用してもよい。

【0037】

作業特定部１７は、対象作業について特定した部分作業のＩＤ、名称、開始時刻及び終了時刻を互いに関連付けて示す対象作業情報４３を生成して、記憶部１３に格納する。作業特定部１７は、第１推移と第２推移との比較により、対象作業者によって実施された特定の作業が、いずれかの部分作業の省略又は部分作業の順序の変更を含む場合であっても、対象作業者によって実施された部分作業それぞれの、識別情報及び対象動画における再生時刻を特定する特定手段の一例に相当する。また、作業特定部１７は、対象作業者によって実施された部分作業それぞれの、対象動画における再生時間長を特定する特定手段の一例に相当する。

【0038】

表示制御部１８は、主としてプロセッサ１０１によって実現される。表示制御部１８は、基準動画及び対象動画を分析者Ｕ１による比較が可能な形態で表示部１１に再生させる。表示制御部１８によって制御される表示内容については、後述する。

【0039】

受付部１９は、主として入力部１０４によって実現される。受付部１９は、表示制御部１８によって表示された表示部１１上の分析画面に対する分析者Ｕ１による操作を受け付ける。受付部１９は、ユーザインタフェースを介する操作を受け付ける受付手段の一例に相当する。また、受付部１９は、分析者Ｕ１によって入力される範囲情報５０を受け付ける。

【0040】

範囲情報５０は、対象作業者Ｕ３の移動が許容される範囲又は禁止される範囲の少なくとも一方を示す情報である。分析者Ｕ１は、対象動画を用いて、図１２に例示されるように許容範囲１２０１を示す範囲情報５０を登録してもよいし、図１３に例示されるように禁止範囲１３０１を示す範囲情報５０を登録してもよい。また、範囲情報５０によって示される範囲は、図１２，１３の例に限定されない。例えば、撮影装置２２，２３の双方を用いて範囲が規定されてもよいし、対象骨格情報４２によって示される座標と同等の３次元空間内の範囲として規定されてもよい。

【0041】

予測部１１０は、主としてプロセッサ１０１によって実現される。予測部１１０は、特に対象動画がストリーミング形式のデータであって、分析者Ｕ１が対象作業者Ｕ３による作業を監視している場合において、対象作業者Ｕ３の現在までの位置及び姿勢の推移に基づいて、対象作業者Ｕ３の近い将来における位置及び姿勢を予測する。この予測は、予め学習された人体の移動モデルを用いてなされてもよい。予測部１１０が予測する近い将来は、例えば、１秒後、１０秒後、又は１分後である。そして、予測部１１０は、対象作業者Ｕ３が範囲情報５０によって示される禁止範囲に侵入することが予測された場合、及び、許容範囲から逸脱することが予測された場合に、その予測結果を報知部１１１に通知する。この通知は、禁止範囲への侵入又は許容範囲からの逸脱の予測確率が予め定められた閾値を超えたときになされてもよい。予測部１１０による予測対象は、対象作業者Ｕ３の位置及び姿勢のいずれか一方であってもよいし、双方であってもよい。予測部１１０は、対象動画に写る対象作業者の将来の位置及び姿勢の少なくとも一方を予測する予測手段の一例に相当する。

【0042】

報知部１１１は、主として出力部１０５によって実現される。報知部１１１は、予測部１１０による予測結果を分析者Ｕ１又は予め登録された報知先に報知する。報知部１１１による報知は、分析者Ｕ１によって用いられている分析画面上への表示であってもよいし、電子メール又は電話回線を介した合成音声による作業監督者への通知であってもよいし、ブザー音又はランプの点灯による現場の対象作業者への注意喚起であってもよい。また、報知部１１１は、対象作業者Ｕ３の許容範囲からの逸脱と、禁止範囲への侵入とのいずれか一方の場合のみに報知してもよいし、双方の場合に報知してもよい。報知部１１１は、対象作業者が予め定められた許容範囲を逸脱して移動することが予測された場合、及び、対象作業者が予め定められた禁止範囲に侵入することが予測された場合の少なくとも一方の場合に、異常の発生を報知する報知手段の一例に相当する。

【0043】

続いて、支援装置１０によって実行される支援処理について、図１４～２０を用いて説明する。図１４に示される支援処理は、支援装置１０が有する分析アプリケーションに対する分析者Ｕ１の特定の操作をトリガとして開始する。支援処理は、支援方法の一例に相当する。なお、図１４の示される支援処理は一例であり、支援処理を構成する各ステップの順序を任意に変更してもよい。

【0044】

支援処理では、動画取得部１２が、基準動画を取得し、この基準動画から基準骨格情報３２を抽出することで、情報取得部１５が基準骨格情報３２を取得する（ステップＳ１）。なお、情報取得部１５は、骨格抽出部１４によって生成された基準骨格情報３２に代えて、外部から提供される基準骨格情報３２を取得してもよい。具体的には、情報取得部１５は、ネットワーク上のサーバから、又は支援装置１０に挿入されたメモリーカードに代表される記録媒体から、基準骨格情報３２を読み出すことで取得してもよい。基準骨格情報３２が外部から提供される場合には、支援装置１０から骨格抽出部１４が省略されてもよい。

【0045】

次に、情報取得部１５が、基準作業情報３３を取得して、受付部１９が、範囲情報５０を受け付ける（ステップＳ２）。情報取得部１５は、上述のように、登録者によって登録される基準作業情報３３を取得してもよいし、ネットワーク上のサーバから、又は支援装置１０に挿入されたメモリーカードに代表される記録媒体から、基準作業情報３３を読み出すことで取得してもよい。

【0046】

次に、動画取得部１２が複数の対象動画を取得して、推定部１６が、対象作業者Ｕ３の３次元空間における骨格の姿勢の推移を推定する（ステップＳ３）。これにより、推定結果を示す対象骨格情報４２が生成される。対象動画データが長時間であるときには、推定部１６は、対象動画のうちの分析者Ｕ１から指定された期間に限って、対象作業者Ｕ３の骨格を推定してもよい。

【0047】

次に、作業特定部１７は、基準骨格情報３２と対象骨格情報４２との比較により、対象作業者Ｕ３によって実施された部分作業を特定する（ステップＳ４）。これにより、特定結果を示す対象作業情報４３が生成される。

【0048】

次に、予測部１１０は、対象作業者Ｕ３が予測対象であるか否かを判定する（ステップＳ５）。対象作業者Ｕ３が予測対象ではないと判定された場合（ステップＳ５；Ｎｏ）、支援装置１０による処理は、ステップＳ７へ移行する。

【0049】

一方、対象作業者Ｕ３が予測対象であると判定された場合（ステップＳ５；Ｙｅｓ）、予測報知処理が実行される（ステップ６）。予測報知処理では、図１５に示されるように、予測部１１０が、対象作業者Ｕ３の将来における骨格の位置及び姿勢の推移を予測する（ステップＳ６１）。

【0050】

そして、予測部１１０は、対象作業者Ｕ３が範囲情報５０により示される許容範囲から逸脱し又は禁止範囲に侵入することが予測されたか否かを判定する（ステップＳ６２）。ステップＳ６２の判定が肯定された場合（ステップＳ６２；Ｙｅｓ）、報知部１１１は、異常の発生を報知する（ステップＳ６３）。

【0051】

ステップＳ６３の終了後、及び、ステップＳ６２の判定が否定された場合（ステップＳ６２；Ｎｏ）、支援装置１０による処理は、図１５の予測報知処理から図１４の支援処理に戻る。

【0052】

図１４のステップＳ６に続いて、表示制御部１８は、受付部１９によって受け付けられるＵＩ（User Interface）操作に従って、基準作業の部分作業と対象作業の部分作業とを同期して表示部１１に再生させつつ、対象動画と対象作業者Ｕ３の骨格とを同期して表示部１１に表示させる（ステップＳ７）。

【0053】

これにより、図１６に例示される分析画面のように、ウィンドウ１６０１において基準動画が再生され、同時にウィンドウ１６０２において対象動画が再生される際に、再生されている基準作業の部分作業のＩＤと対象作業の部分作業のＩＤとが一致することとなる。また、図１７の左側に示されるように、各部分作業にかかった時間は基準作業と対象作業とで異なり得るが、これら部分作業の再生時間が基準動画と対象動画とで等しくなるように、対象動画の再生速度が図１７の右側に示されるように調整される。例えば、最初の「検査」という部分作業については、基準動画では録画時間が１分２３秒間であり、対象動画では録画時間が２分４６秒間である。そこで、対象動画の「検査」に相当する部分の再生速度を２．０倍とすることにより、分析画面における「検査」の再生時間を基準動画及び対象動画で共通の１分２３秒間とする。これにより、図１６のウィンドウ１６０１，１６０２で再生される部分作業の開始と終了とが同期する。他の部分作業についても同様に再生速度が調整され、基準動画及び対象動画で再生時間が等しくなる。したがって、基準動画のうちの各部分作業に相当する部分と、対象動画のうちの各部分作業に相当する部分と、が同期して再生される。なお、対象動画の再生速度が調整される例を説明したが、対象動画に代えて又は対象動画とともに、基準動画の再生速度が調整されてもよい。表示制御部１８は、部分作業それぞれの再生時間長が等しくなるように、基準動画及び対象動画の少なくとも一方の再生速度を変更する表示制御手段の一例に相当する。

【0054】

また、図１６に示されるように、基準動画の再生時刻を示すシークバー１６０３及び対象動画の再生時刻を示すシークバー１６０４は、部分作業の再生時間に対応するように区分される。シークバー１６０３，１６０４のうちの各部分作業に対応する部分は、図１６のように異なるハッチングが付されてもよいし、異なる色で表示されてもよい。これにより、再生されている部分作業を分析者Ｕ１は容易に認識することができる。

【0055】

また、シークバー１６０３，１６０４に対して、つまみ１６０６は、現在の再生時刻を示す。シークバー１６０３のつまみ１６０６が分析者Ｕ１によってドラッグされると、シークバー１６０４のつまみ１６０６が、ドラッグされたつまみ１６０６と連動して移動する。これにより、基準動画において再生される部分作業と、対象動画において再生される部分作業が同期することとなる。表示制御部１８は、基準動画のうちの一の識別情報に対応する部分作業を撮影した部分を表示装置に再生させつつ、対象動画のうちの該一の識別情報に対応する部分作業を撮影した部分を表示装置に再生させる表示制御手段の一例に相当する。

【0056】

図１８に示されるように、対象作業者Ｕ３によって実行される部分作業に抜け又は順序変更がある場合においても、対象動画の再生速度が調整されて、部分作業の再生時間長が基準動画と対象動画とで等しくなる。なお、省略された部分作業に対応する部分については、対象動画は再生されない。また、実施順序が異なる部分作業に関しては、対象動画における部分作業の順序が、基準作業と等しくなるように変更された上で、対象動画が再生される。

【0057】

さらに、図１６に示されるように、分析画面では、ウィンドウ１６０２において対象動画が再生され、ウィンドウ１６０５において対象作業者Ｕ３の骨格の推移が同期して再生される。ウィンドウ１６０２の対象動画の再生速度が調整される場合には、ウィンドウ１６０５の推移についても再生速度が調整されることとなる。表示制御部１８は、対象動画と第２推移とを同期させて表示装置に表示させる表示制御手段の一例に相当する。

【0058】

図１４に戻り、ステップＳ７に続いて、表示制御部１８は、受付部１９によって受け付けられた分析者Ｕ１による変更操作に従って、対象作業者Ｕ３の骨格の表示形態を変更する（ステップＳ８）。変更操作は、３次元空間内における骨格の表示に対する、図１９に示されるような、拡大、縮小、並行移動、仰角方向への回転、及び、方位角方向への回転のうちのいずれか１つ又は２以上の操作の組合せである。表示制御部１８は、変更操作に従って、図２０に示されるようにウィンドウ１６０５内の骨格の位置、大きさ及び角度を変更する。これにより、ウィンドウ１６０２の対象動画との同期を維持しつつ、表示される対象作業者Ｕ３の骨格の姿勢を任意に変更することができる。受付部１９は、表示装置に表示された第２推移に対する回転、拡大、縮小及び並行移動のうちの少なくとも１つの変更操作を受け付ける受付手段の一例に相当する。

【0059】

次に、プロセッサ１０１は、支援処理を終了させるための終了操作が分析者Ｕ１によってなされたか否かを判定する（ステップＳ９）。終了操作がなされていないと判定された場合（ステップＳ９；Ｎｏ）、支援装置１０は、ステップＳ３以降の処理を繰り返す。これにより、ストリーミング形式で送信される対象動画、又は、定期的に送信される対象動画について、基準動画との比較するための分析画面が新たに表示される。終了操作がなされたと判定された場合（ステップＳ９；Ｙｅｓ）、支援処理は終了する。

【0060】

以上、説明したように、本実施の形態に係る支援装置１０は、対象作業者Ｕ３を異なる角度から撮影することで対象作業者Ｕ３の３次元空間における骨格の姿勢を特定し、基準作業者Ｕ２の骨格と比較する。このため、対象作業者Ｕ３を基準動画と同等の視点から撮影する必要がなく、対象作業者Ｕ３を撮影する撮影装置２２，２３の視点の自由度が高くなる。また、支援装置１０は、基準作業情報３３を取得することで、対象作業が抜け又は順序変更を含む場合であっても、部分作業が特定される。したがって、作業を撮影した動画の分析を、現場の実態に即して柔軟に行うことが可能になる。

【0061】

以上、本開示の実施の形態について説明したが、本開示は上記実施の形態によって限定されるものではない。

【0062】

例えば、基準動画と対象動画とが並べて配置されて比較可能な形式で表示される形態について説明したが、これには限定されない。例えば、対象作業者Ｕ３を基準動画と同等の視点から撮影した対象動画がある場合には、図２１に示されるように、基準動画と対象動画とが、重ね合わせて表示されてもよい。また、図２１の分析画面において、ボタン２１０１，２１０２を押下することで、さらに基準作業者Ｕ２又は対象作業者Ｕ３の骨格を重ね合わせて表示してもよい。

【0063】

また、動画取得部１２が、撮影装置２１～２３から動画データを直接取得する例について説明したが、これには限定されない。動画取得部１２は、図２２に示されるように、ネットワークＮＷ１を介して例えばサーバに保存された動画データを当該サーバから読み出すことで取得してもよいし、メモリーカードに代表される記録媒体から読み出すことで動画データを取得してもよい。

【0064】

また、情報取得部１５は、図２２に示されるように外部から提供される基準骨格情報３２を取得してもよい。

【0065】

また、図２２に示されるように、表示制御部１８は、ネットワークＮＷ２を介して外部のＵＩ装置１１２による分析者Ｕ１への情報の表示を制御してもよいし、受付部１９は、ＵＩ装置１１２に対する分析者Ｕ１による操作を、ネットワークＮＷ２を介して受け付けてもよい。表示部１１を省略して支援装置１０を構成してもよい。

【0066】

図２２の支援装置１０は、インターネット上のクラウドサーバであってもよい。そして、支援装置１０は、ネットワークを介してＵＩ装置１１２に基準動画及び対象動画を表示させてもよい。ＵＩ装置１１２は、表示装置の一例に相当する。

【0067】

上述の実施の形態に係る支援装置１０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。

【0068】

例えば、プログラムＰ１を、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）に代表されるコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムＰ１をコンピュータにインストールすることにより、上述の処理を実行する装置を構成することができる。

【0069】

また、プログラムＰ１をインターネットに代表される通信ネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロードするようにしてもよい。

【0070】

また、インターネットに代表されるネットワークを介してプログラムＰ１を転送しながら起動実行することによっても、上述の処理を達成することができる。

【0071】

さらに、プログラムＰ１の全部又は一部をサーバ装置上で実行させ、その処理に関する情報をコンピュータが通信ネットワークを介して送受信しながらプログラムＰ１を実行することによっても、上述の処理を達成することができる。

【0072】

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロードしてもよい。

【0073】

また、支援装置１０の機能を実現する手段は、ソフトウェアに限られず、その一部又は全部を専用のハードウェア又は回路によって実現してもよい。

【0074】

本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。つまり、本開示の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。

【産業上の利用可能性】

【0075】

本開示は、ＦＡの現場で実施される作業の分析に適している。

【符号の説明】

【0076】

１０ 支援装置、１１ 表示部、１２ 動画取得部、１３ 記憶部、１４ 骨格抽出部、１５ 情報取得部、１６ 推定部、１７ 作業特定部、１８ 表示制御部、１９ 受付部、２１～２３ 撮影装置、３１ 基準動画データ、３２ 基準骨格情報、３３ 基準作業情報、４１ 対象動画データ、４２ 対象骨格情報、４３ 対象作業情報、５０ 範囲情報、１０１ プロセッサ、１０２ 主記憶部、１０３ 補助記憶部、１０４ 入力部、１０５ 出力部、１０６ 通信部、１０７ 内部バス、１１０ 予測部、１１１ 報知部、１１２ ＵＩ装置、５０１ ノード、５０２ ワイヤー、８０１，８０２，２１０１，２１０２ ボタン、１０００ 支援システム、１２０１ 許容範囲、１３０１ 禁止範囲、１６０１，１６０２，１６０５ ウィンドウ、１６０３，１６０４ シークバー、１６０６ つまみ、ＮＷ１，ＮＷ２ ネットワーク、Ｐ１ プログラム、Ｕ１ 分析者、Ｕ２ 基準作業者、Ｕ３ 対象作業者。

【要約】

プログラムは、支援装置（１０）を、特定の作業の基準として実施された基準作業をする基準作業者の骨格の姿勢の推移を示す基準骨格情報（３２）を取得し、特定の作業を構成する複数の部分作業のうちの基準作業者によって実施された部分作業を示す基準作業情報（３３）を取得する情報取得部（１５）、特定の作業をする対象作業者を異なる角度から撮影した複数の対象動画から対象作業者の骨格の３次元空間内における姿勢の推移を推定する推定部（１６）、推移の比較により、対象作業者によって実施された部分作業を特定する作業特定部（１７）、基準動画のうちの部分作業を撮影した部分を表示部（１１）に再生させつつ、対象動画のうちの同種の部分作業を撮影した部分を表示部（１１）に再生させる表示制御部（１８）、として機能させる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】