知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-05
(45)【発行日】2024-12-13
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06Q 10/04 20230101AFI20241206BHJP
【ＦＩ】
G06Q10/04
【請求項の数】
7
(21)【出願番号】P 2024552757
(86)(22)【出願日】2022-12-27
(86)【国際出願番号】 JP2022048071
(87)【国際公開番号】W WO2024142193
(87)【国際公開日】2024-07-04
【審査請求日】2024-09-04
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】佐羽内 雅人
(72)【発明者】
【氏名】清水 尚吾
(72)【発明者】
【氏名】草野 勝大
(72)【発明者】
【氏名】小平 孝之
【審査官】小原 正信
(56)【参考文献】
【文献】特開２０２２－１３６０６８（ＪＰ，Ａ）
【文献】特開２０２１－１５７４３１（ＪＰ，Ａ）
【文献】特開２０１６－１４７０１０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ１０／００－９９／００
(57)【特許請求の範囲】
【請求項1】
作業対象物への作業の際の作業者の運動情報である作業者運動情報と、前記作業対象物の画像である作業対象物画像とを取得する取得部と、各々に作業者の運動情報と作業対象物の画像とが関連づけられている、複数の作業工程のうちの実施されている作業工程を推定するための複数のモデルである複数の推定モデルの中から、前記作業者が前記作業対象物に実施している作業工程を推定するために利用する推定モデルを利用推定モデルとして選択するモデル選択部と、
前記作業者運動情報と前記複数の推定モデルの各々に関連づけられている運動情報との類似度を計算し、前記作業対象物画像と前記複数の推定モデルの各々に関連づけられている画像との類似度を計算する類似度計算部とを有し、
前記モデル選択部は、
前記類似度計算部により計算された、前記作業者運動情報と前記複数の推定モデルの各々に関連づけられている運動情報との類似度を用いて、前記複数の推定モデルの中から前記利用推定モデルの候補となる推定モデルを第１の候補モデルとして選択し、
前記類似度計算部により計算された、前記作業対象物画像と前記複数の推定モデルの各々に関連づけられている画像との類似度を用いて、前記複数の推定モデルの中から前記利用推定モデルの候補となる推定モデルを第２の候補モデルとして選択し、
前記第１の候補モデルと前記第２の候補モデルとのうちのいずれかを、前記利用推定モデルとして選択する情報処理装置。
【請求項2】
前記複数の推定モデルの各々は、作業者の特性と作業対象物の特性との複数の組み合わせのうちのいずれかの組み合わせに対応しており、前記モデル選択部は、
前記第１の候補モデルが対応している作業者の特性である第１の作業者特性と前記第２の候補モデルが対応している作業者の特性である第２の作業者特性とを比較し、前記第１の候補モデルが対応している作業対象物の特性である第１の作業対象物特性と前記第２の候補モデルが対応している作業対象物の特性である第２の作業対象物特性とを比較し、
前記第１の作業者特性と前記第２の作業者特性とが一致し、前記第１の作業対象物特性と前記第２の作業対象物特性とが一致しない場合に、前記第１の候補モデルと前記第２の候補モデルのうち、運動情報についての類似度が大きい候補モデルを前記利用推定モデルとして選択し、
前記第１の作業者特性と前記第２の作業者特性とが一致せず、前記第１の作業対象物特性と前記第２の作業対象物特性とが一致する場合に、前記第１の候補モデルと前記第２の候補モデルのうち、画像についての類似度が大きい候補モデルを前記利用推定モデルとして選択し、
前記第１の作業者特性と前記第２の作業者特性とが一致せず、前記第１の作業対象物特性と前記第２の作業対象物特性とが一致しない場合に、前記第１の候補モデルと前記第２の候補モデルのうち、運動情報についての類似度と画像についての類似度を正規化して得られたスコアの大きい候補モデルを前記利用推定モデルとして選択する請求項１に記載の情報処理装置。
【請求項3】
前記類似度計算部は、前記作業者運動情報との類似度の計算と前記作業対象物画像との類似度の計算において前記モデル選択部により過去に前記利用推定モデルとして選択された推定モデルを優先する請求項１に記載の情報処理装置。
【請求項4】
前記類似度計算部は、前記作業者の前記作業対象物への作業中の映像の解析により、前記複数の推定モデルの間に優先順位を設定し、前記作業者運動情報との類似度の計算と前記作業対象物画像との類似度の計算を優先順位の高い推定モデルから順に行う請求項１に記載の情報処理装置。
【請求項5】
前記複数の推定モデルの各々は、複数の作業手順のうちのいずれかの作業手順に対応し、前記複数の作業手順の各々には、前記複数の作業工程のうちのいずれか２つ以上の作業工程が含まれ、当該２つ以上の作業工程の実施順序が指定され、前記取得部は、
作業手順ごとに２つ以上の作業工程の実施順序がノードの接続で示される木構造の探索マップを取得し、
前記類似度計算部は、
前記映像の解析により抽出された特定の作業工程に対応する前記探索マップ内の特定のノードから分岐する葉ノードの数に基づき、前記複数の推定モデルの間に優先順位を設定する請求項４に記載の情報処理装置。
【請求項6】
コンピュータが、作業対象物への作業の際の作業者の運動情報である作業者運動情報と、前記作業対象物の画像である作業対象物画像とを取得する取得処理と、前記コンピュータが、各々に作業者の運動情報と作業対象物の画像とが関連づけられている、複数の作業工程のうちの実施されている作業工程を推定するための複数のモデルである複数の推定モデルの中から、前記作業者が前記作業対象物に実施している作業工程を推定するために利用する推定モデルを利用推定モデルとして選択するモデル選択処理と、
前記コンピュータが、前記作業者運動情報と前記複数の推定モデルの各々に関連づけられている運動情報との類似度を計算し、前記作業対象物画像と前記複数の推定モデルの各々に関連づけられている画像との類似度を計算する類似度計算処理とを有し、
前記モデル選択処理では、
前記コンピュータが、
前記類似度計算処理において計算された、前記作業者運動情報と前記複数の推定モデルの各々に関連づけられている運動情報との類似度を用いて、前記複数の推定モデルの中から前記利用推定モデルの候補となる推定モデルを第１の候補モデルとして選択し、
前記類似度計算処理において計算された、前記作業対象物画像と前記複数の推定モデルの各々に関連づけられている画像との類似度を用いて、前記複数の推定モデルの中から前記利用推定モデルの候補となる推定モデルを第２の候補モデルとして選択し、
前記第１の候補モデルと前記第２の候補モデルとのうちのいずれかを、前記利用推定モデルとして選択する情報処理方法。
【請求項7】
作業対象物への作業の際の作業者の運動情報である作業者運動情報と、前記作業対象物の画像である作業対象物画像とを取得する取得処理と、各々に作業者の運動情報と作業対象物の画像とが関連づけられている、複数の作業工程のうちの実施されている作業工程を推定するための複数のモデルである複数の推定モデルの中から、前記作業者が前記作業対象物に実施している作業工程を推定するために利用する推定モデルを利用推定モデルとして選択するモデル選択処理と、
前記作業者運動情報と前記複数の推定モデルの各々に関連づけられている運動情報との類似度を計算し、前記作業対象物画像と前記複数の推定モデルの各々に関連づけられている画像との類似度を計算する類似度計算処理とをコンピュータに実行させる情報処理プログラムであって、
前記モデル選択処理では、
前記コンピュータに、
前記類似度計算処理により計算された、前記作業者運動情報と前記複数の推定モデルの各々に関連づけられている運動情報との類似度を用いて、前記複数の推定モデルの中から前記利用推定モデルの候補となる推定モデルを第１の候補モデルとして選択させ、
前記類似度計算処理により計算された、前記作業対象物画像と前記複数の推定モデルの各々に関連づけられている画像との類似度を用いて、前記複数の推定モデルの中から前記利用推定モデルの候補となる推定モデルを第２の候補モデルとして選択させ、
前記第１の候補モデルと前記第２の候補モデルとのうちのいずれかを、前記利用推定モデルとして選択させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業者が実施している作業工程を推定する技術に関する。
【背景技術】
【0002】
産業分野において、作業者の特性（例えば、作業者の利き手）及び／又は作業対象物の特性（例えば、作業対象物である製品の機種）が時間帯により切り替わる組み立てラインがある。そして、このような組み立てラインにおいて、映像から実施されている作業工程を正確に推定する技術に対するニーズがある。
作業工程とは、作業手順を構成する要素である。複数の作業工程が組み合わされて１つの作用手順が構成される。作業工程は、以下では作業要素ともいう。
作業工程とは、作業手順を構成する要素である。複数の作業工程が組み合わされて１つの作用手順が構成される。作業工程は、以下では作業要素ともいう。
【0003】
映像から実施されている作業工程を正確に推定するためには、作業者の特性及び作業対象物の特性に応じて、動作モード（以下、単にモードということもある）を切り替える必要がある。つまり、実施されている作業工程を推定するための複数の推定モデルの中から、作業者の特性及び／又は作業対象物の特性に応じて、適切な推定モデルを選択する必要がある。そして、選択した推定モデルに対応した動作モードに移行して、選択した推定モデルを実行する必要がある。
現在では、このような動作モードの切り替えは手作業で行われる。しかし、手作業での動作モードの切り替えは手間が大きく、切り替えの自動化が求められる。
現在では、このような動作モードの切り替えは手作業で行われる。しかし、手作業での動作モードの切り替えは手間が大きく、切り替えの自動化が求められる。
【0004】
本開示に関連する技術として、特許文献１に開示の技術と特許文献２に開示の技術がある。
特許文献１では、映像から取得した人の手指の移動量、移動速度、軌跡に基づき動作モードを自動で切り替える方法が開示されている。
また、特許文献２では、画像から物体の有無を判別することで動作モードを自動で切り替える方法が開示されている。
特許文献１では、映像から取得した人の手指の移動量、移動速度、軌跡に基づき動作モードを自動で切り替える方法が開示されている。
また、特許文献２では、画像から物体の有無を判別することで動作モードを自動で切り替える方法が開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２００４－２４６８１４号公報
【文献】特開２０１９－２１５７１１号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１の技術及び特許文献２の技術では、作業者の特性（例えば、作業者の利き手）と作業対象物の特性（例えば、作業対象物である製品の機種）の組み合わせに応じて、適切な推定モデルを選択することができないという課題がある。
【0007】
本開示は、このような課題を解決することを主な目的とする。具体的には、作業者の特性と作業対象物の特性の組み合わせに応じて、適切な推定モデルを選択することを主な目的とする。
【課題を解決するための手段】
【0008】
本開示に係る情報処理装置は、
作業対象物への作業の際の作業者の運動情報である作業者運動情報と、前記作業対象物の画像である作業対象物画像とを取得する取得部と、
複数の作業工程のうちの実施されている作業工程を推定するためのモデルである複数の推定モデルの中から、前記作業者運動情報と前記作業対象物画像とを用いて、前記作業者が前記作業対象物に実施している作業工程を推定するために利用する推定モデルを利用推定モデルとして選択するモデル選択部とを有する。
作業対象物への作業の際の作業者の運動情報である作業者運動情報と、前記作業対象物の画像である作業対象物画像とを取得する取得部と、
複数の作業工程のうちの実施されている作業工程を推定するためのモデルである複数の推定モデルの中から、前記作業者運動情報と前記作業対象物画像とを用いて、前記作業者が前記作業対象物に実施している作業工程を推定するために利用する推定モデルを利用推定モデルとして選択するモデル選択部とを有する。
【発明の効果】
【0009】
本開示によれば、作業者の特性と作業対象物の特性の組み合わせに応じて、適切な推定モデルを選択することができる。
【図面の簡単な説明】
【0010】
【図1】実施の形態１に係る作業要素特定装置の構成例を示す図。
【図2】実施の形態１に係る運用前処理を示すフローチャート。
【図3】実施の形態１に係る運用前処理の骨格検出処理の例を示す図。
【図4】実施の形態１に係る運用前処理の製品検出処理の例を示す図。
【図5】実施の形態１に係る運用処理を示すフローチャート。
【図6】実施の形態１に係る運用処理の骨格検出処理の例を示す図。
【図7】実施の形態１に係る運用処理の製品検出処理の例を示す図。
【図8】実施の形態１に係る運用処理の運動類似度計算処理の例を示す図。
【図9】実施の形態１に係る運用処理の運動類似度計算処理の例を示す図。
【図10】実施の形態１に係る運用処理の製品類似度計算処理の例を示す図。
【図11】実施の形態１に係るインデックス情報と作業要素特定モデルとの対応表の例を示す図。
【図12】実施の形態１に係る作業要素特定モデルの選択基準の例を示す図。
【図13】実施の形態１の変形例２に係る作業要素特定装置の構成例を示す図。
【図14】実施の形態１の変形例３に係る作業要素特定装置の構成例を示す図。
【図15】実施の形態２に係る作業要素特定装置の構成例を示す図。
【図16】実施の形態２に係る運用前処理を示すフローチャート。
【図17】実施の形態２に係る作業要素表の生成処理の例を示す図。
【図18】実施の形態２に係る作業要素表の例を示す図。
【図19】実施の形態２に係る探索マップの例を示す図。
【図20】実施の形態２に代表画像の例を示す図。
【図21】実施の形態２に係る更新探索マップの例を示す図。
【図22】実施の形態２に係る運用処理を示すフローチャート。
【図23】実施の形態２に係る運用処理を示すフローチャート。
【図24】実施の形態２に係る更新探索マップの例を示す図。
【発明を実施するための形態】
【0011】
以下、実施の形態を図を用いて説明する。以下の実施の形態の説明及び図面において、同一の符号を付したものは、同一の部分又は相当する部分を示す。
【0012】
実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る作業要素特定装置１０の構成例を説明する。
作業要素特定装置１０は情報処理装置に相当する。また、作業要素特定装置１０の動作手順は、情報処理方法に相当する。また、作業要素特定装置１０の動作を実現するプログラムは、情報処理プログラムに相当する。
なお、作業要素特定装置１０が特定する「作業要素」は、前述したように、作業手順（本実施の形態では組み立て作業）を構成する要素（作業工程）である。２つ以上の作業要素が組み合わされて１つの作業手順が構成される。
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る作業要素特定装置１０の構成例を説明する。
作業要素特定装置１０は情報処理装置に相当する。また、作業要素特定装置１０の動作手順は、情報処理方法に相当する。また、作業要素特定装置１０の動作を実現するプログラムは、情報処理プログラムに相当する。
なお、作業要素特定装置１０が特定する「作業要素」は、前述したように、作業手順（本実施の形態では組み立て作業）を構成する要素（作業工程）である。２つ以上の作業要素が組み合わされて１つの作業手順が構成される。
【0013】
作業要素特定装置１０は、コンピュータである。
作業要素特定装置１０は、ハードウェアとして、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４を備える。
プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（登録商標，ＣｏｍｐａｃｔＦｌａｓｈ）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。
通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。
作業要素特定装置１０は、ハードウェアとして、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４を備える。
プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（登録商標，ＣｏｍｐａｃｔＦｌａｓｈ）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。
通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。
【0014】
作業要素特定装置１０は、機能構成要素として、映像取得部２１と、骨格検出部２２と、製品検出部２３と、運動類似度計算部２４と、製品類似度計算部２５と、モード選択部２６と、作業要素特定部２７とを備える。
作業要素特定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、作業要素特定装置１０の各機能構成要素を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、作業要素特定装置１０の各機能構成要素が実現される。
また、ストレージ１３は、学習映像３１と、学習映像の真値３２と、作業要素特定モデル３３とを記憶する。
作業要素特定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、作業要素特定装置１０の各機能構成要素を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、作業要素特定装置１０の各機能構成要素が実現される。
また、ストレージ１３は、学習映像３１と、学習映像の真値３２と、作業要素特定モデル３３とを記憶する。
【0015】
図１では、プロセッサ１１の数は１つである。しかし、プロセッサ１１は複数であってもよく、複数のプロセッサ１１が各機能構成要素を実現するプログラムを連携して実行してもよい。
【0016】
学習映像３１は、組み立て作業をしている１人以上の作業者と作業対象物である製品が映った映像である。
本実施の形態では、複数の学習映像３１が存在する。各学習映像３１は、複数の作業手順のうちのいずれかの作業手順に対応する。
本実施の形態では、複数の学習映像３１が存在する。各学習映像３１は、複数の作業手順のうちのいずれかの作業手順に対応する。
【0017】
学習映像の真値３２は、学習映像３１の各フレームで行われている作業要素のラベル情報である。
【0018】
作業要素特定モデル３３は、学習映像３１ごとに生成されたモデルである。
本実施の形態では、複数の作業要素特定モデル３３が存在する。各作業要素特定モデル３３は、複数の学習映像３１のうちのいずれかの学習映像３１に対応する。つまり、各作業要素特定モデル３３は、複数の作業手順のうちのいずれかの作業手順に対応する。
作業要素特定モデル３３は、推定モデルの例である。
本実施の形態では、複数の作業要素特定モデル３３が存在する。各作業要素特定モデル３３は、複数の学習映像３１のうちのいずれかの学習映像３１に対応する。つまり、各作業要素特定モデル３３は、複数の作業手順のうちのいずれかの作業手順に対応する。
作業要素特定モデル３３は、推定モデルの例である。
【0019】
作業要素特定装置１０は、映像から取得された作業者の骨格情報を作業要素特定モデル３３に適用することで、映像に映っている作業者が実施している作業要素を推定することができる。
骨格情報は、作業中の作業者の身体の運動を表す運動情報である。骨格情報には、作業者の首、手首といった複数の関節の座標の時系列情報、または、複数の関節の相対的な位置関係の時系列情報が含まれる。
骨格情報は、作業中の作業者の身体の運動を表す運動情報である。骨格情報には、作業者の首、手首といった複数の関節の座標の時系列情報、または、複数の関節の相対的な位置関係の時系列情報が含まれる。
【0020】
本実施の形態では、後述するように、作業者の特性として作業者の利き手（右利き、左利き）を想定する。また、作業対象物の特性として製品の機種（機種ｉ、機種ｉｉ）を想定する。
本実施の形態では、作業者の利き手と製品の機種の全てのパターンを網羅する４つの学習映像３１が存在する。つまり、本実施の形態では、利き手が右利きの作業者が機種ｉの製品への作業を行っている学習映像３１（以下、「右利き＆機種ｉ学習映像」という）が存在する。また、利き手が右利きの作業者が機種ｉｉの製品への作業を行っている学習映像３１（以下、「右利き＆機種ｉｉ学習映像」という）が存在する。また、利き手が左利きの作業者が機種ｉの製品への作業を行っている学習映像３１（以下、「左利き＆機種ｉ学習映像」という）が存在する。また、利き手が左利きの作業者が機種ｉｉの製品への作業を行っている学習映像３１（以下、「左利き＆機種ｉｉ学習映像」という）が存在する。
本実施の形態では、作業者の利き手と製品の機種の全てのパターンを網羅する４つの学習映像３１が存在する。つまり、本実施の形態では、利き手が右利きの作業者が機種ｉの製品への作業を行っている学習映像３１（以下、「右利き＆機種ｉ学習映像」という）が存在する。また、利き手が右利きの作業者が機種ｉｉの製品への作業を行っている学習映像３１（以下、「右利き＆機種ｉｉ学習映像」という）が存在する。また、利き手が左利きの作業者が機種ｉの製品への作業を行っている学習映像３１（以下、「左利き＆機種ｉ学習映像」という）が存在する。また、利き手が左利きの作業者が機種ｉｉの製品への作業を行っている学習映像３１（以下、「左利き＆機種ｉｉ学習映像」という）が存在する。
【0021】
また、作業要素特定モデル３３も、学習映像３１と同様である。つまり、作業者の利き手と製品の機種の全てのパターンを網羅する４つの作業要素特定モデル３３が存在する。具体的には、本実施の形態では、利き手が右利きの作業者が機種ｉの製品への作業を行っている場合に適用される作業要素特定モデル３３（以下、「右利き＆機種ｉモデル」という）が存在する。また、利き手が右利きの作業者が機種ｉｉの製品への作業を行っている場合に適用される作業要素特定モデル３３（以下、「右利き＆機種ｉｉモデル」という）が存在する。また、利き手が左利きの作業者が機種ｉの製品への作業を行っている場合に適用される作業要素特定モデル３３（以下、「左利き＆機種ｉモデル」という）が存在する。また、利き手が左利きの作業者が機種ｉｉの製品への作業を行っている場合に適用される作業要素特定モデル３３（以下、「左利き＆機種ｉｉモデル」という）が存在する。
【0022】
また、学習映像の真値３２は、学習映像３１のフレームごとに該当する作業要素名を示す。
例えば、学習映像３１が対応している作業手順に作業要素ａ、作業要素ｂ及び作業要素ｃが含まれる場合を想定する。この場合に、学習映像の真値３２には、例えば、フレーム１～１０が作業要素ａのフレームであること、フレーム１１～２０が作業要素ｂのフレームであること、フレーム２１～３０が作業要素ｃのフレームであることが示される。
例えば、学習映像３１が対応している作業手順に作業要素ａ、作業要素ｂ及び作業要素ｃが含まれる場合を想定する。この場合に、学習映像の真値３２には、例えば、フレーム１～１０が作業要素ａのフレームであること、フレーム１１～２０が作業要素ｂのフレームであること、フレーム２１～３０が作業要素ｃのフレームであることが示される。
【0023】
作業要素特定装置１０の機能構成要素の詳細は後述するが、ここで各機能構成要素を概説する。
【0024】
映像取得部２１は、通信インタフェース１４を介して映像を取得する。
以下、映像取得部２１が通信インタフェース１４を介して取得した映像を入力映像４６という。入力映像４６は作業者が作業対象物である製品に作業を行っている映像である。
以下、映像取得部２１が通信インタフェース１４を介して取得した映像を入力映像４６という。入力映像４６は作業者が作業対象物である製品に作業を行っている映像である。
【0025】
骨格検出部２２は、学習映像３１及び入力映像４６から作業者の運動情報である骨格情報を取得する。
骨格検出部２２は、取得部に相当する。また、骨格検出部２２により行われる処理は取得処理に相当する。また、骨格検出部２２が入力映像４６から取得する骨格情報は作業者運動情報に相当する。
骨格検出部２２は、取得部に相当する。また、骨格検出部２２により行われる処理は取得処理に相当する。また、骨格検出部２２が入力映像４６から取得する骨格情報は作業者運動情報に相当する。
【0026】
また、製品検出部２３は、学習映像３１及び入力映像４６から製品画像を取得する。
製品検出部２３も、取得部に相当する。また、製品検出部２３により行われる処理も取得処理に相当する。また、製品検出部２３が入力映像４６から取得する製品画像は作業対象物画像に相当する。
製品検出部２３も、取得部に相当する。また、製品検出部２３により行われる処理も取得処理に相当する。また、製品検出部２３が入力映像４６から取得する製品画像は作業対象物画像に相当する。
【0027】
運動類似度計算部２４は、学習映像３１から取得された骨格情報と入力映像４６から取得された骨格映像との間の類似度を計算する。
運動類似度計算部２４は、類似度計算部に相当する。
運動類似度計算部２４は、類似度計算部に相当する。
【0028】
製品類似度計算部２５は、学習映像３１から取得された製品画像と入力映像４６から取得された製品画像との間の類似度を計算する。
製品類似度計算部２５も、類似度計算部に相当する。
製品類似度計算部２５も、類似度計算部に相当する。
【0029】
モード選択部２６は、運動類似度計算部２４により計算された運動類似度と製品類似度計算部２５により計算された製品類似度とを用いて、複数の作業要素特定モデル３３から、作業要素の特定のために用いる作業要素特定モデル３３を選択する。
モード選択部２６は、モデル選択部に相当する。モード選択部２６により行われる処理はモデル選択処理に相当する。なお、モード選択部２６により選択された作業要素特定モデル３３は利用推定モデルに相当する。
モード選択部２６は、モデル選択部に相当する。モード選択部２６により行われる処理はモデル選択処理に相当する。なお、モード選択部２６により選択された作業要素特定モデル３３は利用推定モデルに相当する。
【0030】
作業要素特定部２７は、モード選択部２６により選択された作業要素特定モデル３３を用いて、作業者が実施している作業要素を特定する。
【0031】
＊＊＊動作の説明＊＊＊
次に、実施の形態１に係る作業要素特定装置１０の動作例を説明する。
次に、実施の形態１に係る作業要素特定装置１０の動作例を説明する。
【0032】
実施の形態１に係る作業要素特定装置１０は、運用前処理と運用処理とを行う。
運用前処理では、作業要素特定装置１０は、学習映像３１を用いて、運用処理を行うための準備を行う。
運用処理では、作業要素特定装置１０は、入力された入力映像４６を解析して、作業要素を特定するために利用する作業要素特定モデル３３を選択する。
先ず、図２を参照して、実施の形態１に係る運用前処理を説明する。
運用前処理では、作業要素特定装置１０は、学習映像３１を用いて、運用処理を行うための準備を行う。
運用処理では、作業要素特定装置１０は、入力された入力映像４６を解析して、作業要素を特定するために利用する作業要素特定モデル３３を選択する。
先ず、図２を参照して、実施の形態１に係る運用前処理を説明する。
【0033】
（ステップＳ１１：骨格検出処理）
骨格検出部２２は、ストレージ１３から全ての学習映像３１を読み出す。
図３に示すように、骨格検出部２２は、各学習映像３１から、１人の作業者４１の骨格情報４２を検出する。
図３では、１関節分かつ作業手順の１サイクル分の骨格情報４２を示している。しかし、実際には、骨格検出部２２は、複数関節分かつ複数サイクル分の骨格情報４２を検出する。作業手順の１サイクルには、全ての作業要素が含まれる。
骨格検出部２２は、ストレージ１３から全ての学習映像３１を読み出す。
図３に示すように、骨格検出部２２は、各学習映像３１から、１人の作業者４１の骨格情報４２を検出する。
図３では、１関節分かつ作業手順の１サイクル分の骨格情報４２を示している。しかし、実際には、骨格検出部２２は、複数関節分かつ複数サイクル分の骨格情報４２を検出する。作業手順の１サイクルには、全ての作業要素が含まれる。
【0034】
骨格検出部２２は、学習映像３１に映った１人以上の作業者４１から１人の作業特定対象者を決定する。そして、骨格検出部２２は作業特定対象者の骨格情報４２を検出する。更に、骨格検出部２２は、作業特定対象者の骨格情報４２に、骨格情報４２の検出元である学習映像３１に対応させて作業要素特定モデル３３のインデックス情報を付与する。そして、骨格情報４２をインデックス情報とともにメモリ１２に書き込む。
本実施の形態では、骨格検出部２２は、「右利き＆機種ｉ学習映像」、「右利き＆機種ｉｉ学習映像」、「左利き＆機種ｉ学習映像」、「左利き＆機種ｉｉ学習映像」の各々から作業特定対象者の骨格情報４２を検出する。そして、骨格検出部２２は、「右利き＆機種ｉ学習映像」から検出された骨格情報４２には「右利き＆機種ｉモデル」が示されるインデックス情報を付与する。骨格検出部２２は、「右利き＆機種ｉｉ学習映像」、「左利き＆機種ｉ学習映像」、「左利き＆機種ｉｉ学習映像」についても同様に骨格情報４２を検出し、インデックス情報を付与する。
なお、骨格情報４２の検出方法としては、深層学習を用いる方法等がある。また、作業特定対象者の決定方法には、検出した右肩と左肩の座標のユークリッド距離が最大である人物を選ぶ方法等がある。
本実施の形態では、骨格検出部２２は、「右利き＆機種ｉ学習映像」、「右利き＆機種ｉｉ学習映像」、「左利き＆機種ｉ学習映像」、「左利き＆機種ｉｉ学習映像」の各々から作業特定対象者の骨格情報４２を検出する。そして、骨格検出部２２は、「右利き＆機種ｉ学習映像」から検出された骨格情報４２には「右利き＆機種ｉモデル」が示されるインデックス情報を付与する。骨格検出部２２は、「右利き＆機種ｉｉ学習映像」、「左利き＆機種ｉ学習映像」、「左利き＆機種ｉｉ学習映像」についても同様に骨格情報４２を検出し、インデックス情報を付与する。
なお、骨格情報４２の検出方法としては、深層学習を用いる方法等がある。また、作業特定対象者の決定方法には、検出した右肩と左肩の座標のユークリッド距離が最大である人物を選ぶ方法等がある。
【0035】
（ステップＳ１２：製品検出処理）
製品検出部２３は、ストレージ１３から全ての学習映像３１を読み出す。
図４に示すように、製品検出部２３は、各学習映像３１の代表フレーム４３から組み立て対象の製品４４を検出し、組み立て対象の製品４４が映った製品画像４５を切り出す。製品検出部２３は、切り出した製品画像４５に、製品画像４５の切り出し元である学習映像３１に対応させて作業要素特定モデル３３のインデックス情報を付与する。そして、製品検出部２３は、製品画像４５をインデックス情報とともにメモリ１２に書き込む。
製品検出部２３は、ストレージ１３から全ての学習映像３１を読み出す。
図４に示すように、製品検出部２３は、各学習映像３１の代表フレーム４３から組み立て対象の製品４４を検出し、組み立て対象の製品４４が映った製品画像４５を切り出す。製品検出部２３は、切り出した製品画像４５に、製品画像４５の切り出し元である学習映像３１に対応させて作業要素特定モデル３３のインデックス情報を付与する。そして、製品検出部２３は、製品画像４５をインデックス情報とともにメモリ１２に書き込む。
【0036】
代表フレーム４３を選択する方法として、製品検出部２３が、学習映像３１から、一定時間置きに代表フレーム４３を選択する方法と、学習映像の真値３２を用いる方法がある。
学習映像の真値３２を用いる方法では、製品検出部２３は、メモリ１２から学習映像の真値３２を読み出し、学習映像の真値３２から各作業要素が開始するフレーム及び終了するフレームを特定する。そして、製品検出部２３は、各作業要素が開始するフレーム及び終了するフレームの間から中央フレーム等を代表フレーム４３として選択する。一つの作業要素が開始するフレーム及び終了するフレームが複数ある場合がある。すなわち学習映像３１において一つの作業要素が複数回行われている場合がある。この場合は、製品検出部２３は、各回で代表フレーム４３を用意してもよい。また、製品検出部２３は、各作業要素が開始するフレーム及び終了するフレームの間から、複数の代表フレーム４３を選択してもよい。
製品画像４５を切り出す方法としては、深層学習を用いる方法、ステップＳ１１で検出した作業特定対象者の手首の座標周辺を切り出す方法、予め定めた範囲を切り出す方法等がある。
学習映像の真値３２を用いる方法では、製品検出部２３は、メモリ１２から学習映像の真値３２を読み出し、学習映像の真値３２から各作業要素が開始するフレーム及び終了するフレームを特定する。そして、製品検出部２３は、各作業要素が開始するフレーム及び終了するフレームの間から中央フレーム等を代表フレーム４３として選択する。一つの作業要素が開始するフレーム及び終了するフレームが複数ある場合がある。すなわち学習映像３１において一つの作業要素が複数回行われている場合がある。この場合は、製品検出部２３は、各回で代表フレーム４３を用意してもよい。また、製品検出部２３は、各作業要素が開始するフレーム及び終了するフレームの間から、複数の代表フレーム４３を選択してもよい。
製品画像４５を切り出す方法としては、深層学習を用いる方法、ステップＳ１１で検出した作業特定対象者の手首の座標周辺を切り出す方法、予め定めた範囲を切り出す方法等がある。
【0037】
図５を参照して、実施の形態１に係る運用処理を説明する。
【0038】
（ステップＳ２１：映像取得処理）
映像取得部２１は、入力映像４６を、通信インタフェース１４を介して取得する。映像取得部２１は、入力映像４６をメモリ１２に書き込む。
入力映像４６は、組み立て作業をしている１人以上の作業者４１と組み立て対象の製品４４が映った、任意時間の映像である。
映像取得部２１は、入力映像４６を、通信インタフェース１４を介して取得する。映像取得部２１は、入力映像４６をメモリ１２に書き込む。
入力映像４６は、組み立て作業をしている１人以上の作業者４１と組み立て対象の製品４４が映った、任意時間の映像である。
【0039】
（ステップＳ２２：終了判定処理）
映像取得部２１は、入力映像４６を取得できたか否かを判定する。
入力映像４６を取得できなかった場合には、運用処理を終了する。
映像取得部２１は、入力映像４６を取得できたか否かを判定する。
入力映像４６を取得できなかった場合には、運用処理を終了する。
【0040】
（ステップＳ２３：骨格検出処理）
骨格検出部２２は、メモリ１２から入力映像４６を読み出す。
図６に示すように、骨格検出部２２は、入力映像４６から、１人の作業者４１の骨格情報４２を検出する。図６には１関節分の骨格情報４２を示している。しかし、実際には、骨格検出部２２は複数の関節分の骨格情報４２を検出する。
骨格検出部２２は、入力映像４６に映った１人以上の作業者４１から１人の作業特定対象者を決定する。そして、骨格検出部２２は作業特定対象者の骨格情報４２を検出する、更に、骨格検出部２２は、作業特定対象者の骨格情報４２をメモリ１２に書き込む。
骨格情報４２の検出方法としては、深層学習を用いる方法等がある。また、作業特定対象者の決定方法には、検出した右肩と左肩の座標のユークリッド距離が最大である人物を選ぶ方法等がある。
骨格検出部２２は、メモリ１２から入力映像４６を読み出す。
図６に示すように、骨格検出部２２は、入力映像４６から、１人の作業者４１の骨格情報４２を検出する。図６には１関節分の骨格情報４２を示している。しかし、実際には、骨格検出部２２は複数の関節分の骨格情報４２を検出する。
骨格検出部２２は、入力映像４６に映った１人以上の作業者４１から１人の作業特定対象者を決定する。そして、骨格検出部２２は作業特定対象者の骨格情報４２を検出する、更に、骨格検出部２２は、作業特定対象者の骨格情報４２をメモリ１２に書き込む。
骨格情報４２の検出方法としては、深層学習を用いる方法等がある。また、作業特定対象者の決定方法には、検出した右肩と左肩の座標のユークリッド距離が最大である人物を選ぶ方法等がある。
【0041】
（ステップＳ２４：製品検出処理）
製品検出部２３は、メモリ１２から入力映像４６を読み出す。
図７に示すように、製品検出部２３は、入力映像４６の代表フレーム４３から組み立て対象の製品４４を検出し、組み立て対象の製品４４が映った製品画像４５を切り出す。製品検出部２３は、切り出した製品画像４５をメモリ１２に書き込む。製品検出部２３は、代表フレーム４３として、入力映像４６の中央フレーム等、１フレームを選択する。
製品画像４５を切り出す方法としては、深層学習を用いる方法、ステップＳ２３で検出した作業特定対象者の手首の座標周辺を切り出す方法、予め定めた範囲を切り出す方法等がある。
製品検出部２３は、メモリ１２から入力映像４６を読み出す。
図７に示すように、製品検出部２３は、入力映像４６の代表フレーム４３から組み立て対象の製品４４を検出し、組み立て対象の製品４４が映った製品画像４５を切り出す。製品検出部２３は、切り出した製品画像４５をメモリ１２に書き込む。製品検出部２３は、代表フレーム４３として、入力映像４６の中央フレーム等、１フレームを選択する。
製品画像４５を切り出す方法としては、深層学習を用いる方法、ステップＳ２３で検出した作業特定対象者の手首の座標周辺を切り出す方法、予め定めた範囲を切り出す方法等がある。
【0042】
（ステップＳ２５：運動類似度計算処理）
運動類似度計算部２４は、ステップＳ１１で検出した全ての学習映像３１の骨格情報４２と、ステップＳ２３で検出した入力映像４６の骨格情報４２とをメモリ１２から読み出す。
図８に示すように、運動類似度計算部２４は、ステップＳ１１で検出した学習映像３１の各骨格情報４２と、ステップＳ２３で検出した入力映像４６の骨格情報４２との類似度を総当たりで計算する。運動類似度計算部２４は、計算した類似度をメモリ１２に書き込む。
運動類似度計算部２４は、ステップＳ１１で検出した全ての学習映像３１の骨格情報４２と、ステップＳ２３で検出した入力映像４６の骨格情報４２とをメモリ１２から読み出す。
図８に示すように、運動類似度計算部２４は、ステップＳ１１で検出した学習映像３１の各骨格情報４２と、ステップＳ２３で検出した入力映像４６の骨格情報４２との類似度を総当たりで計算する。運動類似度計算部２４は、計算した類似度をメモリ１２に書き込む。
【0043】
図９に示すように、運動類似度計算部２４は、骨格情報４２の類似度を計算する際、ステップＳ１１で検出した学習映像３１の各骨格情報４２を作業要素ごとに区切る。具体的には、運動類似度計算部２４は、メモリ１２から学習映像の真値３２を読み出し、学習映像の真値３２から各作業要素が開始するフレーム及び終了するフレームを特定する。そして、運動類似度計算部２４は、特定したフレームを基準に学習映像３１の骨格情報４２を作業要素ごとに区切る。
更に、運動類似度計算部２４は、区切った学習映像３１の骨格情報４２とステップＳ２３で検出した入力映像４６の骨格情報４２との類似度を総当たりで計算する。
図８及び図９の例では、図８の左側に示す２つの骨格情報４２の各々について、図９に示す作業要素ごとに、ステップＳ２３で検出した入力映像４６の骨格情報４２との類似度を総当たりで計算する。
骨格情報４２の類似度を求める方法として、２つの骨格情報４２のユークリッド距離を関節ごとに計算し、ユークリッド距離の総和が小さい骨格情報４２の類似度が高いとする方法等がある。
更に、運動類似度計算部２４は、区切った学習映像３１の骨格情報４２とステップＳ２３で検出した入力映像４６の骨格情報４２との類似度を総当たりで計算する。
図８及び図９の例では、図８の左側に示す２つの骨格情報４２の各々について、図９に示す作業要素ごとに、ステップＳ２３で検出した入力映像４６の骨格情報４２との類似度を総当たりで計算する。
骨格情報４２の類似度を求める方法として、２つの骨格情報４２のユークリッド距離を関節ごとに計算し、ユークリッド距離の総和が小さい骨格情報４２の類似度が高いとする方法等がある。
【0044】
（ステップＳ２６：製品類似度計算処理）
製品類似度計算部２５は、ステップＳ１２で切り出した学習映像３１の全ての製品画像４５と、ステップＳ２４で切り出した入力映像４６の製品画像４５とをメモリ１２から読み出す。
図１０に示すように、製品類似度計算部２５は、ステップＳ１２で切り出した学習映像３１の各製品画像４５と、ステップＳ２４で切り出した入力映像４６の製品画像４５との類似度を総当たりで計算する。
製品画像の類似度の計算方法は、Ｂａｇ ｏｆ Ｆｅａｔｕｒｅｓ等の周知のものでよい。
製品類似度計算処理２４は、計算した類似度をメモリ１２に書き込む。
製品類似度計算部２５は、ステップＳ１２で切り出した学習映像３１の全ての製品画像４５と、ステップＳ２４で切り出した入力映像４６の製品画像４５とをメモリ１２から読み出す。
図１０に示すように、製品類似度計算部２５は、ステップＳ１２で切り出した学習映像３１の各製品画像４５と、ステップＳ２４で切り出した入力映像４６の製品画像４５との類似度を総当たりで計算する。
製品画像の類似度の計算方法は、Ｂａｇ ｏｆ Ｆｅａｔｕｒｅｓ等の周知のものでよい。
製品類似度計算処理２４は、計算した類似度をメモリ１２に書き込む。
【0045】
（ステップＳ２７：モード選択処理）
モード選択部２６は、ステップＳ１１で検出した学習映像３１の骨格情報４２と、ステップＳ１２で切り出した学習映像３１の製品画像４５と、ステップＳ２５とステップＳ２６それぞれで計算した類似度とをメモリ１２から読み出す。
モード選択部２６は、ステップＳ２５で計算した骨格情報４２の類似度の大きさと、ステップＳ２６で計算した製品画像４５の類似度の大きさと、類似度計算に用いた学習映像３１の骨格情報４２に付与されているインデックス情報と学習映像３１の製品画像４５に付与されているインデックス情報とから、作業要素特定モデル３３を選択する。
モード選択部２６は、作業要素特定部２７の動作モード（作業要素特定モード）として、選択した作業要素特定モデル３３に対応するモードを選択する。
モード選択部２６は、ステップＳ１１で検出した学習映像３１の骨格情報４２と、ステップＳ１２で切り出した学習映像３１の製品画像４５と、ステップＳ２５とステップＳ２６それぞれで計算した類似度とをメモリ１２から読み出す。
モード選択部２６は、ステップＳ２５で計算した骨格情報４２の類似度の大きさと、ステップＳ２６で計算した製品画像４５の類似度の大きさと、類似度計算に用いた学習映像３１の骨格情報４２に付与されているインデックス情報と学習映像３１の製品画像４５に付与されているインデックス情報とから、作業要素特定モデル３３を選択する。
モード選択部２６は、作業要素特定部２７の動作モード（作業要素特定モード）として、選択した作業要素特定モデル３３に対応するモードを選択する。
【0046】
ここでは、モード選択部２６が、前述した「右利き＆機種ｉモデル」、「右利き＆機種ｉｉモデル」、「左利き＆機種ｉモデル」及び「左利き＆機種ｉｉモデル」の４種類の作業要素特定モデル３３のうち、いずれかを選択する場合を考える。
なお、作業要素特定装置１０は、図１１に例示する、各作業要素特定モデル３３のインデックス情報と４種類の作業要素特定モデルの対応関係を示す対応表などを別途有している。
このとき、モード選択部２６は、入力映像４６に映った作業特定対象者の特性である「利き手」と組み立て対象の製品４４の特性である「機種」の組み合わせに基づいて、作業要素特定モデル３３を選択する。
なお、作業要素特定装置１０は、図１１に例示する、各作業要素特定モデル３３のインデックス情報と４種類の作業要素特定モデルの対応関係を示す対応表などを別途有している。
このとき、モード選択部２６は、入力映像４６に映った作業特定対象者の特性である「利き手」と組み立て対象の製品４４の特性である「機種」の組み合わせに基づいて、作業要素特定モデル３３を選択する。
【0047】
まず、モード選択部２６は、ステップＳ１１で検出した学習映像３１の骨格情報４２のうち、ステップＳ２３で検出した入力映像４６の骨格情報４２との類似度が最大の骨格情報４２を作業要素単位で選択する。つまり、モード選択部２６は、学習映像３１の複数の骨格情報４２の作業要素のうち、類似度が最大の作業要素を選択する。
そして、モード選択部２６は、選択した作業要素に付与されているインデックス情報が示す作業要素特定モデル３３を第１の候補モデルとして特定する。
そして、モード選択部２６は、選択した作業要素に付与されているインデックス情報が示す作業要素特定モデル３３を第１の候補モデルとして特定する。
【0048】
次に、モード選択部２６は、ステップＳ１２で切り出した学習映像３１の製品画像４５のうち、ステップＳ２４で切り出した入力映像４６の製品画像４５との類似度が最大の製品画像４５を選択する。
そして、モード選択部２６は、選択した製品画像４５に付与されているインデックス情報が示す作業要素特定モデル３３を第２の候補モデルとして特定する。
そして、モード選択部２６は、選択した製品画像４５に付与されているインデックス情報が示す作業要素特定モデル３３を第２の候補モデルとして特定する。
【0049】
モード選択部２６は、第１の候補モデルが対応している作業者の特性である第１の作業者特性（利き手）と第２の候補モデルが対応している作業者の特性である第２の作業者特性（利き手）とを比較する。また、モード選択部２６は、第１の候補モデルが対応している作業対象物の特性である第１の作業対象物特性（機種）と第２の候補モデルが対応している作業対象物の特性である第２の作業対象物特性（機種）とを比較する。
そして、第１の作業者特性と第２の作業者特性とが一致し、第１の作業対象物特性と第２の作業対象物特性とが一致しない場合に、モード選択部２６は、骨格情報４２の類似度の計算結果を優先して候補モデルのいずれかを選択する。つまり、モード選択部２６は、第１の候補モデルと第２の候補モデルのうち、骨格情報４２についての類似度が大きい候補モデルを選択する。
また、第１の作業者特性と第２の作業者特性とが一致せず、第１の作業対象物特性と第２の作業対象物特性とが一致する場合に、モード選択部２６は、製品画像４５の類似度の計算結果を優先して候補モデルのいずれかを選択する。つまり、モード選択部２６は、第１の候補モデルと第２の候補モデルのうち、製品画像４５についての類似度が大きい候補モデルを選択する。
また、第１の作業者特性と第２の作業者特性とが一致せず、更に、第１の作業対象物特性と第２の作業対象物特性とが一致しない場合に、モード選択部２６は、骨格情報４２の類似度と製品画像４５の類似度をそれぞれ０～１のスコアに正規化し、合計スコアが大きい方の計算結果を優先して候補モデルのいずれかを選択する。つまり、モード選択部２６は、第１の候補モデルと第２の候補モデルのうち、骨格情報４２についての類似度と製品画像４５についての類似度を正規化して得られた合計スコアが大きい候補モデルを選択する。
そして、第１の作業者特性と第２の作業者特性とが一致し、第１の作業対象物特性と第２の作業対象物特性とが一致しない場合に、モード選択部２６は、骨格情報４２の類似度の計算結果を優先して候補モデルのいずれかを選択する。つまり、モード選択部２６は、第１の候補モデルと第２の候補モデルのうち、骨格情報４２についての類似度が大きい候補モデルを選択する。
また、第１の作業者特性と第２の作業者特性とが一致せず、第１の作業対象物特性と第２の作業対象物特性とが一致する場合に、モード選択部２６は、製品画像４５の類似度の計算結果を優先して候補モデルのいずれかを選択する。つまり、モード選択部２６は、第１の候補モデルと第２の候補モデルのうち、製品画像４５についての類似度が大きい候補モデルを選択する。
また、第１の作業者特性と第２の作業者特性とが一致せず、更に、第１の作業対象物特性と第２の作業対象物特性とが一致しない場合に、モード選択部２６は、骨格情報４２の類似度と製品画像４５の類似度をそれぞれ０～１のスコアに正規化し、合計スコアが大きい方の計算結果を優先して候補モデルのいずれかを選択する。つまり、モード選択部２６は、第１の候補モデルと第２の候補モデルのうち、骨格情報４２についての類似度と製品画像４５についての類似度を正規化して得られた合計スコアが大きい候補モデルを選択する。
【0050】
以上の作業要素特定モデル３３の選択基準の具体例を図１２に示す。
第１の作業者特性と第２の作業者特性とが一致し、第１の作業対象物特性と第２の作業対象物特性とが一致する場合、すなわち、第１の候補モデルと第２の候補モデルが一致する場合は、モード選択部２６は第１の候補モデル（＝第２の候補モデル）をそのまま選択する。
第１の候補モデルと第２の候補モデルが一致しない場合のうち、「右利き＆機種ｉモデル」と「右利き＆機種ｉｉモデル」のように、第１の作業対象物特性と第２の作業対象物特性のみが一致しない場合（製品の機種が一致しない場合）は、モード選択部２６は、製品画像４５についての類似度が大きい候補モデルを選択する。
また、「右利き＆機種ｉモデル」と「左利き＆機種ｉモデル」のように、第１の作業者特性と第２の作業者特性のみが一致しない場合は、モード選択部２６は、骨格情報４２についての類似度が大きい候補モデルを選択する。
また、「右利き＆機種ｉモデル」と「左利き＆機種ｉｉモデル」のように、第１の作業者特性と第２の作業者特性とが一致せず、更に、第１の作業対象物特性と第２の作業対象物特性とが一致しない場合は、モード選択部２６は、骨格情報４２について類似度と製品画像４５についての類似度をそれぞれ０～１のスコアに正規化する。そして、モード選択部２６は、骨格情報４２についてのスコアと製品画像４５についてのスコアの合計値が大きい候補モデルを選択する。
第１の作業者特性と第２の作業者特性とが一致し、第１の作業対象物特性と第２の作業対象物特性とが一致する場合、すなわち、第１の候補モデルと第２の候補モデルが一致する場合は、モード選択部２６は第１の候補モデル（＝第２の候補モデル）をそのまま選択する。
第１の候補モデルと第２の候補モデルが一致しない場合のうち、「右利き＆機種ｉモデル」と「右利き＆機種ｉｉモデル」のように、第１の作業対象物特性と第２の作業対象物特性のみが一致しない場合（製品の機種が一致しない場合）は、モード選択部２６は、製品画像４５についての類似度が大きい候補モデルを選択する。
また、「右利き＆機種ｉモデル」と「左利き＆機種ｉモデル」のように、第１の作業者特性と第２の作業者特性のみが一致しない場合は、モード選択部２６は、骨格情報４２についての類似度が大きい候補モデルを選択する。
また、「右利き＆機種ｉモデル」と「左利き＆機種ｉｉモデル」のように、第１の作業者特性と第２の作業者特性とが一致せず、更に、第１の作業対象物特性と第２の作業対象物特性とが一致しない場合は、モード選択部２６は、骨格情報４２について類似度と製品画像４５についての類似度をそれぞれ０～１のスコアに正規化する。そして、モード選択部２６は、骨格情報４２についてのスコアと製品画像４５についてのスコアの合計値が大きい候補モデルを選択する。
【0051】
（ステップＳ２８：作業要素特定処理）
作業要素特定部２７は、ステップＳ２７で選択した作業要素特定モードにおいて、選択した作業要素特定モデル３３を用いて、作業者４１が実施している作業要素を特定し、作業要素名を出力する。
作業要素特定部２７は、ステップＳ２７で選択した作業要素特定モードにおいて、選択した作業要素特定モデル３３を用いて、作業者４１が実施している作業要素を特定し、作業要素名を出力する。
【0052】
＊＊＊実施の形態１の効果＊＊＊
以上のように、本実施の形態によれば、作業者の特性と作業対象物の特性の組み合わせに応じて、適切な作業要素特定モデル３３を選択することができる。
以上のように、本実施の形態によれば、作業者の特性と作業対象物の特性の組み合わせに応じて、適切な作業要素特定モデル３３を選択することができる。
【0053】
より具体的には、本実施の形態に係る作業要素特定装置１０は、入力映像４６と学習映像３１との間で骨格情報４２の類似度を計算し、計算した類似度をもとに作業要素特定モードを選択する。骨格情報４２は、人の関節の座標の時系列情報、複数の関節の相対的な位置関係の時系列情報といった、人の運動情報である。また、類似度の計算には、骨格情報４２のユークリッド距離を用いる方法等がある。ユークリッド距離を用いる方法では、２つの骨格情報４２のうち同じ作業要素部分に異なる運動が含まれていても、共通する運動部分から類似度が高いことを判定できる。したがって、本実施の形態によれば、人の運動情報を用いて適切な作業要素特定モデル３３を選択することができる。
【0054】
また、本実施の形態に係る作業要素特定装置１０は、入力映像４６と学習映像３１との間で製品画像４５の類似度を計算し、計算した類似度をもとに作業要素特定モードを決定する。製品画像４５の類似度は、製品４４が同じ機種であれば高くなり、異なる機種であれば低くなる。したがって、本実施の形態によれば、製品４４の機種に応じて適切な作業要素特定モデル３３を選択することができる。
【0055】
＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、作業要素特定装置１０は、図２から図４に示すように、運用前処理として学習映像３１及び入力映像４６から骨格情報４２及び製品画像４５を取得し、メモリ１２に書き込んでいた。しかし、作業要素特定装置１０は、予め外部で生成した骨格情報４２及び製品画像４５をメモリ１２に書き込んでもよい。
また、運用前処理の全体（骨格情報４２へのインデックス情報の付与、製品画像４５へのインデックス情報の付与まで）を外部で行ってもよい。この場合は、作業要素特定装置１０は、外部で生成された骨格情報４２とインデックス情報、製品画像４５とインデックス情報を用いて運用処理を行う。
＜変形例１＞
実施の形態１では、作業要素特定装置１０は、図２から図４に示すように、運用前処理として学習映像３１及び入力映像４６から骨格情報４２及び製品画像４５を取得し、メモリ１２に書き込んでいた。しかし、作業要素特定装置１０は、予め外部で生成した骨格情報４２及び製品画像４５をメモリ１２に書き込んでもよい。
また、運用前処理の全体（骨格情報４２へのインデックス情報の付与、製品画像４５へのインデックス情報の付与まで）を外部で行ってもよい。この場合は、作業要素特定装置１０は、外部で生成された骨格情報４２とインデックス情報、製品画像４５とインデックス情報を用いて運用処理を行う。
【0056】
＜変形例２＞
実施の形態１では、図１に示すように、作業要素特定装置１０は、１つの装置であった。しかし、作業要素特定装置１０は、複数の装置によって構成されていてもよい。
具体例として、図１３に示すように、作業要素特定装置１０は、検出装置１１０と特定装置１２０という２つの装置で構成されていてもよい。検出装置１１０は、学習映像３１から骨格情報４２と製品画像４５を取得する。特定装置１２０は、入力映像４６から作業要素を特定する。
この場合には、学習映像３１と、学習映像の真値３２と、作業要素特定モデル３３とは、検出装置１１０及び特定装置１２０の外部に設けられたストレージに記憶されてもよい。また、学習映像３１と、学習映像の真値３２と、作業要素特定モデル３３とが、検出装置１１０と特定装置１２０のうちのいずれかのストレージに記憶されてもよい。
なお、図１３では、検出装置１１０及び特定装置１２０のハードウェアの図示は省略されている。
検出装置１１０及び特定装置１２０は、それぞれ、作業要素特定装置１０と同様に、ハードウェアとして、プロセッサとメモリとストレージと通信インタフェースとを備える。
実施の形態１では、図１に示すように、作業要素特定装置１０は、１つの装置であった。しかし、作業要素特定装置１０は、複数の装置によって構成されていてもよい。
具体例として、図１３に示すように、作業要素特定装置１０は、検出装置１１０と特定装置１２０という２つの装置で構成されていてもよい。検出装置１１０は、学習映像３１から骨格情報４２と製品画像４５を取得する。特定装置１２０は、入力映像４６から作業要素を特定する。
この場合には、学習映像３１と、学習映像の真値３２と、作業要素特定モデル３３とは、検出装置１１０及び特定装置１２０の外部に設けられたストレージに記憶されてもよい。また、学習映像３１と、学習映像の真値３２と、作業要素特定モデル３３とが、検出装置１１０と特定装置１２０のうちのいずれかのストレージに記憶されてもよい。
なお、図１３では、検出装置１１０及び特定装置１２０のハードウェアの図示は省略されている。
検出装置１１０及び特定装置１２０は、それぞれ、作業要素特定装置１０と同様に、ハードウェアとして、プロセッサとメモリとストレージと通信インタフェースとを備える。
【0057】
＜変形例３＞
実施の形態１では、作業要素特定装置１０の各機能構成要素がソフトウェアで実現された。しかし、変形例３として、作業要素特定装置１０の各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。
図１４を参照して、変形例３に係る作業要素特定装置１０の構成例を説明する。
各機能構成要素がハードウェアで実現される場合には、作業要素特定装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
全ての機能構成要素を１つの電子回路１５で実現してもよいし、機能構成要素を複数の電子回路１５に分散させて実現してもよい。
実施の形態１では、作業要素特定装置１０の各機能構成要素がソフトウェアで実現された。しかし、変形例３として、作業要素特定装置１０の各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。
図１４を参照して、変形例３に係る作業要素特定装置１０の構成例を説明する。
各機能構成要素がハードウェアで実現される場合には、作業要素特定装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
全ての機能構成要素を１つの電子回路１５で実現してもよいし、機能構成要素を複数の電子回路１５に分散させて実現してもよい。
【0058】
＜変形例４＞
変形例４として、作業要素特定装置１０の一部の機能構成要素がハードウェアで実現され、他の機能構成要素がソフトウェアで実現されてもよい。
変形例４として、作業要素特定装置１０の一部の機能構成要素がハードウェアで実現され、他の機能構成要素がソフトウェアで実現されてもよい。
【0059】
＜変形例５＞
実施の形態１では、モード選択部２６は、骨格情報４２と製品画像４５の類似度から絞った第１の候補モデルと第２の候補モデルの関係から、骨格情報４２と製品画像４５のどちらの類似度の計算結果を優先するかを決めていた。
しかし、モード選択部２６は、ステップＳ２６で計算した製品画像４５の類似度の最大値が閾値以上である場合、製品画像４５の類似度の計算結果を優先し、閾値未満である場合は骨格情報４２の類似度の計算結果を優先してもよい。
実施の形態１では、モード選択部２６は、骨格情報４２と製品画像４５の類似度から絞った第１の候補モデルと第２の候補モデルの関係から、骨格情報４２と製品画像４５のどちらの類似度の計算結果を優先するかを決めていた。
しかし、モード選択部２６は、ステップＳ２６で計算した製品画像４５の類似度の最大値が閾値以上である場合、製品画像４５の類似度の計算結果を優先し、閾値未満である場合は骨格情報４２の類似度の計算結果を優先してもよい。
【0060】
実施の形態２．
実施の形態２は、運用前処理において、作業要素特定モデルの選択候補を絞り込むための探索マップを生成する点が実施の形態１と異なる。また、実施の形態２では、運用処理において、探索マップ及び／又は前サイクルの情報により絞り込んだ選択候補の中から作業要素特定モデルを選択する点が実施の形態１と異なる。
実施の形態２では、主にこれら異なる点を説明し、同一の点については説明を省略する。
実施の形態２は、運用前処理において、作業要素特定モデルの選択候補を絞り込むための探索マップを生成する点が実施の形態１と異なる。また、実施の形態２では、運用処理において、探索マップ及び／又は前サイクルの情報により絞り込んだ選択候補の中から作業要素特定モデルを選択する点が実施の形態１と異なる。
実施の形態２では、主にこれら異なる点を説明し、同一の点については説明を省略する。
【0061】
なお、実施の形態２では、複数の作業手順を想定する。実施の形態２では、作業手順ごとに、含まれる作業要素が指定されており、また、作業要素の実施順序も指定されている。
また、実施の形態２では、一つの作業手順に対し、組み立て対象となる製品４４の機種が一つに決まるものとする。例えば、作業手順Ａ、Ｂが存在する場合には、作業手順Ａに対して製品４４の機種Ａが、作業手順Ｂに対して製品４４の機種Ｂが組み立て対象となる。
さらに、作業者４１の利き手が異なる場合、組み立て対象の製品４４の機種が同一であっても、作業手順および作業手順を構成する作業要素を別のものとして扱う。例えば、製品Ａ、Ｂの各々を組み立てる作業手順として、右利きの作業者を対象とする作業手順Ａ、Ｂと、左利きの作業者を対象とする作業手順Ａ’、Ｂ’が存在する。また、作業手順Ａが作業要素ａ、ｂ、・・・から構成される場合、作業手順Ａ’を構成する作業要素ａ’、ｂ’、・・・が存在する。作業手順Ｂ、Ｂ’を構成する作業要素についても同様である。
そして、作業手順ごとに学習映像３１が存在し、学習映像３１ごとに作業要素特定モデル３３が存在する。例えば、作業手順Ａ、Ｂ、Ａ’、Ｂ’の各々には作業映像Ａ、Ｂ、Ａ’、Ｂ’が存在し、作業映像Ａ、Ｂ、Ａ’、Ｂ’の各々には作業要素特定モデルＡ、Ｂ、Ａ’、Ｂ’が存在する。
実施の形態１では、作業者の特性として作業者の利き手（右利き、左利き）を想定し、作業対象物の特性として製品の機種（機種ｉ、機種ｉｉ）を想定した。実施の形態１の想定上存在した「右利き＆機種ｉ学習映像」、「右利き＆機種ｉｉ学習映像」、「左利き＆機種ｉ学習映像」、「左利き＆機種ｉｉ学習映像」の各々は、実施の形態２における作業映像Ａ、Ｂ、Ａ’、Ｂ’に対応する。また、「右利き＆機種ｉモデル」、「右利き＆機種ｉｉモデル」、「左利き＆機種ｉモデル」、「左利き＆機種ｉｉモデル」は、実施の形態２における作業要素特定モデルＡ、Ｂ、Ａ’、Ｂ’に対応する。
一方、本実施の形態では、作業者の特性として作業者の利き手が右利きと左利きのうちいずれか一つであることを想定し、作業対象物の特性として製品の機種（機種Ａ～Ｆ）を想定する。
また、実施の形態２は、複数の学習映像３１に共通の作業要素が少なくとも１つ含まれていることを前提とする。
更に、実施の形態２では、入力映像が作業の途中からではなく、作業の最初から開始することを前提とする。
また、実施の形態２では、一つの作業手順に対し、組み立て対象となる製品４４の機種が一つに決まるものとする。例えば、作業手順Ａ、Ｂが存在する場合には、作業手順Ａに対して製品４４の機種Ａが、作業手順Ｂに対して製品４４の機種Ｂが組み立て対象となる。
さらに、作業者４１の利き手が異なる場合、組み立て対象の製品４４の機種が同一であっても、作業手順および作業手順を構成する作業要素を別のものとして扱う。例えば、製品Ａ、Ｂの各々を組み立てる作業手順として、右利きの作業者を対象とする作業手順Ａ、Ｂと、左利きの作業者を対象とする作業手順Ａ’、Ｂ’が存在する。また、作業手順Ａが作業要素ａ、ｂ、・・・から構成される場合、作業手順Ａ’を構成する作業要素ａ’、ｂ’、・・・が存在する。作業手順Ｂ、Ｂ’を構成する作業要素についても同様である。
そして、作業手順ごとに学習映像３１が存在し、学習映像３１ごとに作業要素特定モデル３３が存在する。例えば、作業手順Ａ、Ｂ、Ａ’、Ｂ’の各々には作業映像Ａ、Ｂ、Ａ’、Ｂ’が存在し、作業映像Ａ、Ｂ、Ａ’、Ｂ’の各々には作業要素特定モデルＡ、Ｂ、Ａ’、Ｂ’が存在する。
実施の形態１では、作業者の特性として作業者の利き手（右利き、左利き）を想定し、作業対象物の特性として製品の機種（機種ｉ、機種ｉｉ）を想定した。実施の形態１の想定上存在した「右利き＆機種ｉ学習映像」、「右利き＆機種ｉｉ学習映像」、「左利き＆機種ｉ学習映像」、「左利き＆機種ｉｉ学習映像」の各々は、実施の形態２における作業映像Ａ、Ｂ、Ａ’、Ｂ’に対応する。また、「右利き＆機種ｉモデル」、「右利き＆機種ｉｉモデル」、「左利き＆機種ｉモデル」、「左利き＆機種ｉｉモデル」は、実施の形態２における作業要素特定モデルＡ、Ｂ、Ａ’、Ｂ’に対応する。
一方、本実施の形態では、作業者の特性として作業者の利き手が右利きと左利きのうちいずれか一つであることを想定し、作業対象物の特性として製品の機種（機種Ａ～Ｆ）を想定する。
また、実施の形態２は、複数の学習映像３１に共通の作業要素が少なくとも１つ含まれていることを前提とする。
更に、実施の形態２では、入力映像が作業の途中からではなく、作業の最初から開始することを前提とする。
【0062】
＊＊＊構成の説明＊＊＊
図１５を参照して、実施の形態２に係る作業要素特定装置１０の構成を説明する。
作業要素特定装置１０は、探索マップ生成部２８と、モデル探索部２９とを備える点とが、図１に示す作業要素特定装置１０と異なる。また、実施の形態２では、作業要素特定モデル３３は特定した作業要素名だけでなく特定の信頼度も出力する点が実施の形態１と異なる。
また、実施の形態２では、運動類似度計算部２４は、入力映像４６の骨格情報４２との類似度の計算において、モード選択部２６により過去に選択された作業要素特定モデル３３を優先する。同様に、製品類似度計算部２５は、入力映像４６の製品画像４５との類似度の計算において、モード選択部２６により過去に選択された作業要素特定モデル３３を優先する。
更に、実施の形態２では、運動類似度計算部２４は、入力映像４６の解析により、作業要素特定モデル３３の間に優先順位を設定し、入力映像４６の骨格情報４２との類似度の計算を優先順位の高い作業要素特定モデル３３から順に行う。同様に、製品類似度計算部２５も、入力映像４６の製品画像４５との類似度の計算を優先順位の高い作業要素特定モデル３３から順に行う。
図１５を参照して、実施の形態２に係る作業要素特定装置１０の構成を説明する。
作業要素特定装置１０は、探索マップ生成部２８と、モデル探索部２９とを備える点とが、図１に示す作業要素特定装置１０と異なる。また、実施の形態２では、作業要素特定モデル３３は特定した作業要素名だけでなく特定の信頼度も出力する点が実施の形態１と異なる。
また、実施の形態２では、運動類似度計算部２４は、入力映像４６の骨格情報４２との類似度の計算において、モード選択部２６により過去に選択された作業要素特定モデル３３を優先する。同様に、製品類似度計算部２５は、入力映像４６の製品画像４５との類似度の計算において、モード選択部２６により過去に選択された作業要素特定モデル３３を優先する。
更に、実施の形態２では、運動類似度計算部２４は、入力映像４６の解析により、作業要素特定モデル３３の間に優先順位を設定し、入力映像４６の骨格情報４２との類似度の計算を優先順位の高い作業要素特定モデル３３から順に行う。同様に、製品類似度計算部２５も、入力映像４６の製品画像４５との類似度の計算を優先順位の高い作業要素特定モデル３３から順に行う。
【0063】
【0064】
図１６を参照して、実施の形態２に係る運用前処理を説明する。
ステップＳ３１からステップＳ３２の処理は、図２のステップＳ１１からステップＳ１２の処理と同じである。このため、これらの処理の説明は省略する。
ステップＳ３１からステップＳ３２の処理は、図２のステップＳ１１からステップＳ１２の処理と同じである。このため、これらの処理の説明は省略する。
【0065】
（ステップＳ３３：探索マップ生成処理）
探索マップ生成部２８は、学習映像の真値３２をストレージ１３から読み出し、ステップＳ３１で検出した骨格情報４２と、ステップＳ３２で切り出した製品画像４５とをメモリ１２から読み出す。
探索マップ生成部２８は、骨格情報４２と学習映像の真値３２とを用い、作業要素表４７を生成する。
また、探索マップ生成部２８は、作業要素表４７と、作業要素表４７から得たスキップ箇所と、製品画像４５とから、探索マップ４８を生成する。そして、探索マップ生成部２８は、探索マップ４８をメモリ１２に書き込む。
作業要素表４７は、各学習映像３１で行われている作業要素が何であるかを時系列順に並べた表である。作業要素表４７は、作業手順の１サイクル分の作業要素のみを含む。探索マップ４８は、作業要素特定装置１０が入力映像４６から作業要素特定モデル３３を選択する際に、選択候補の作業要素特定モデル３３を絞り込むためのマップである。
探索マップ生成部２８は、学習映像の真値３２をストレージ１３から読み出し、ステップＳ３１で検出した骨格情報４２と、ステップＳ３２で切り出した製品画像４５とをメモリ１２から読み出す。
探索マップ生成部２８は、骨格情報４２と学習映像の真値３２とを用い、作業要素表４７を生成する。
また、探索マップ生成部２８は、作業要素表４７と、作業要素表４７から得たスキップ箇所と、製品画像４５とから、探索マップ４８を生成する。そして、探索マップ生成部２８は、探索マップ４８をメモリ１２に書き込む。
作業要素表４７は、各学習映像３１で行われている作業要素が何であるかを時系列順に並べた表である。作業要素表４７は、作業手順の１サイクル分の作業要素のみを含む。探索マップ４８は、作業要素特定装置１０が入力映像４６から作業要素特定モデル３３を選択する際に、選択候補の作業要素特定モデル３３を絞り込むためのマップである。
【0066】
作業要素表４７の内容及び生成方法について、具体的に説明する。
探索マップ生成部２８は、学習映像の真値３２から各作業要素が開始するフレーム及び終了するフレームを特定する。そして、探索マップ生成部２８は、特定したフレームを基準に骨格情報４２を作業要素ごとに区切る。
また、探索マップ生成部２８は、図１７のように、検出元の学習映像３１が異なる骨格情報４２について、作業要素ごとに類似度を総当たりで計算する。
骨格情報４２の類似度を求める方法として、２つの骨格情報４２のユークリッド距離を関節ごとに計算し、ユークリッド距離の総和が小さい骨格情報４２の類似度が高いとする方法等がある。
探索マップ生成部２８は、骨格情報４２の類似度が閾値以上であった作業要素を同一の作業要素として扱い、図１８のような作業要素表４７を生成する。
図１８において、作業要素番号は、作業要素の順序を表す。例えば、学習映像Ａは作業手順Ａに対応する。作業手順Ａでは、作業要素ａ，ｃ，ｄ，ｆ，ｈの順に作業要素が実施される。
なお、図１８の作業要素番号１～５が作業手順の１サイクルを構成する。
探索マップ生成部２８は、学習映像の真値３２から各作業要素が開始するフレーム及び終了するフレームを特定する。そして、探索マップ生成部２８は、特定したフレームを基準に骨格情報４２を作業要素ごとに区切る。
また、探索マップ生成部２８は、図１７のように、検出元の学習映像３１が異なる骨格情報４２について、作業要素ごとに類似度を総当たりで計算する。
骨格情報４２の類似度を求める方法として、２つの骨格情報４２のユークリッド距離を関節ごとに計算し、ユークリッド距離の総和が小さい骨格情報４２の類似度が高いとする方法等がある。
探索マップ生成部２８は、骨格情報４２の類似度が閾値以上であった作業要素を同一の作業要素として扱い、図１８のような作業要素表４７を生成する。
図１８において、作業要素番号は、作業要素の順序を表す。例えば、学習映像Ａは作業手順Ａに対応する。作業手順Ａでは、作業要素ａ，ｃ，ｄ，ｆ，ｈの順に作業要素が実施される。
なお、図１８の作業要素番号１～５が作業手順の１サイクルを構成する。
【0067】
次に、探索マップ４８の内容及び生成方法について、具体的に説明する。
探索マップ生成部２８は、図１９のような探索マップ４８を生成する。図１９は、図１８の作業要素表４７から生成した探索マップ４８である。探索マップ４８は、学習映像（作業手順）ごとに２つ以上の作業工程の実施順序がノードの接続で示される木構造のマップである。
図１９では、学習映像Ａ、Ｂ、・・・から生成された作業要素特定モデル３３をそれぞれ作業要素特定モデルＡ、Ｂ、・・・と表している。
探索マップ生成部２８は、図１９のような探索マップ４８を生成する。図１９は、図１８の作業要素表４７から生成した探索マップ４８である。探索マップ４８は、学習映像（作業手順）ごとに２つ以上の作業工程の実施順序がノードの接続で示される木構造のマップである。
図１９では、学習映像Ａ、Ｂ、・・・から生成された作業要素特定モデル３３をそれぞれ作業要素特定モデルＡ、Ｂ、・・・と表している。
【0068】
図１９において、例えば作業要素番号が１のとき、前回特定された作業要素がａであれば、ノードａを根とする部分木の葉ノードである作業要素特定モデルＡ、Ｂ及びＣが選択候補となる。
図１９の（ｓｋｉｐ）は、前の作業要素が行われている時点から作業要素特定モデル３３を変更する必要がないことを表す。つまり、（ｓｋｉｐ）は、作業要素特定モデル３３を選択するための類似度計算をスキップ可能であることを表す。
図１９の（ｓｋｉｐ）は、前の作業要素が行われている時点から作業要素特定モデル３３を変更する必要がないことを表す。つまり、（ｓｋｉｐ）は、作業要素特定モデル３３を選択するための類似度計算をスキップ可能であることを表す。
【0069】
探索マップ生成部２８は、切り出し元の学習映像３１と作業要素ごとに、製品画像４５の中から代表画像４９を最大１枚決め、代表画像４９を用いて更新探索マップ５０を生成する。
【0070】
代表画像４９の例を図２０に示す。
図２０は、図１８の作業要素表４７と対応しており、各作業要素の開始フレームの製品画像４５を代表画像４９とした場合の一覧である。なお、作業要素番号１の開始フレームは製品をセットする前のフレームであるため、代表画像４９は存在しない。
探索マップ生成部２８は、探索マップ４８の各ノードに対応する図２０の代表画像４９が複数ある場合、そのノードの代表画像４９の類似度を総当たりで計算する。代表画像４９の類似度の計算方法としては、Ｂａｇ ｏｆ Ｆｅａｔｕｒｅｓ等の周知のものでよい。
探索マップ生成部２８は、計算した代表画像４９の類似度が閾値未満である場合、更新探索マップ５０を生成する。
例えば、図１９のノードａは図２０のＡ１、Ｂ１、Ｃ１に対応するが、代表画像が存在しないため探索マップ生成部２８は類似度計算を行わない。図１９のノードａを根とする部分木のノードｄは、図２０のＡ３、Ｂ３に対応する。このため、探索マップ生成部２８は代表画像Ａ３と代表画像Ｂ３との類似度を計算する。類似度が閾値未満である場合は、探索マップ生成部２８はノードｄをノードｄ１とノードｄ２に分割する。ノードの分割を全て実施した後の探索マップ４８である更新探索マップ５０を図２１に示す。
図２０は、図１８の作業要素表４７と対応しており、各作業要素の開始フレームの製品画像４５を代表画像４９とした場合の一覧である。なお、作業要素番号１の開始フレームは製品をセットする前のフレームであるため、代表画像４９は存在しない。
探索マップ生成部２８は、探索マップ４８の各ノードに対応する図２０の代表画像４９が複数ある場合、そのノードの代表画像４９の類似度を総当たりで計算する。代表画像４９の類似度の計算方法としては、Ｂａｇ ｏｆ Ｆｅａｔｕｒｅｓ等の周知のものでよい。
探索マップ生成部２８は、計算した代表画像４９の類似度が閾値未満である場合、更新探索マップ５０を生成する。
例えば、図１９のノードａは図２０のＡ１、Ｂ１、Ｃ１に対応するが、代表画像が存在しないため探索マップ生成部２８は類似度計算を行わない。図１９のノードａを根とする部分木のノードｄは、図２０のＡ３、Ｂ３に対応する。このため、探索マップ生成部２８は代表画像Ａ３と代表画像Ｂ３との類似度を計算する。類似度が閾値未満である場合は、探索マップ生成部２８はノードｄをノードｄ１とノードｄ２に分割する。ノードの分割を全て実施した後の探索マップ４８である更新探索マップ５０を図２１に示す。
【0071】
図２２及び図２３を参照して、実施の形態２に係る運用処理を説明する。
ステップＳ４１からステップＳ４４の処理は、図５のステップＳ２１からステップＳ２４の処理と同じである。また、ステップＳ５２の処理は、図５のステップＳ２８の処理と同じである。このため、これらの処理の説明は省略する。
ステップＳ４１からステップＳ４４の処理は、図５のステップＳ２１からステップＳ２４の処理と同じである。また、ステップＳ５２の処理は、図５のステップＳ２８の処理と同じである。このため、これらの処理の説明は省略する。
【0072】
（ステップＳ４５：探索実施判定処理）
モデル探索部２９は、ステップＳ４５の実施が２回目以降の場合は、処理がステップＳ４６に進む。
ステップＳ４５の実施が１回目の場合は、モデル探索部２９は、全ての作業要素特定モデル３３を選択候補とし、選択候補のインデックス情報をメモリ１２に書き込む。その後、ステップＳ４８に進む。
モデル探索部２９は、ステップＳ４５の実施が２回目以降の場合は、処理がステップＳ４６に進む。
ステップＳ４５の実施が１回目の場合は、モデル探索部２９は、全ての作業要素特定モデル３３を選択候補とし、選択候補のインデックス情報をメモリ１２に書き込む。その後、ステップＳ４８に進む。
【0073】
（ステップＳ４６：モデル探索処理）
モデル探索部２９は、メモリ１２から更新探索マップ５０を読み出す。
モデル探索部２９は、その時点での入力映像４６の作業要素番号と、作業要素特定部２７によって特定された過去の作業要素から、更新探索マップ５０を用いて作業要素特定モデル３３の選択候補を決定する。また、モデル探索部２９は、その時点での入力映像４６の作業要素番号と、作業要素特定部２７によって特定された過去の作業要素から、その時点での入力映像４６の作業要素番号における更新探索マップ５０による探索結果を決定する。
モデル探索部２９は、作業要素特定モデル３３の選択候補のインデックス情報及び更新探索マップ５０による探索結果をメモリ１２に書き込む。
モデル探索部２９は、メモリ１２から更新探索マップ５０を読み出す。
モデル探索部２９は、その時点での入力映像４６の作業要素番号と、作業要素特定部２７によって特定された過去の作業要素から、更新探索マップ５０を用いて作業要素特定モデル３３の選択候補を決定する。また、モデル探索部２９は、その時点での入力映像４６の作業要素番号と、作業要素特定部２７によって特定された過去の作業要素から、その時点での入力映像４６の作業要素番号における更新探索マップ５０による探索結果を決定する。
モデル探索部２９は、作業要素特定モデル３３の選択候補のインデックス情報及び更新探索マップ５０による探索結果をメモリ１２に書き込む。
【0074】
（ステップＳ４７：スキップ判定処理）
モデル探索部２９は、更新探索マップ５０による探索結果をメモリ１２から読み出す。
そして、探索結果が（ｓｋｉｐ）であった場合、モデル探索部２９は、類似度計算処理をスキップし、ステップＳ５０に処理を進める。一方、探索結果が（ｓｋｉｐ）ではない場合は、モデル探索部２９は、ステップＳ４８に処理を進める。
モデル探索部２９は、更新探索マップ５０による探索結果をメモリ１２から読み出す。
そして、探索結果が（ｓｋｉｐ）であった場合、モデル探索部２９は、類似度計算処理をスキップし、ステップＳ５０に処理を進める。一方、探索結果が（ｓｋｉｐ）ではない場合は、モデル探索部２９は、ステップＳ４８に処理を進める。
【0075】
（ステップＳ４８：運動類似度計算処理）
実施の形態２では、運動類似度計算部２４が、メモリ１２から作業要素特定モデル３３の選択候補のインデックス情報と、更新探索マップ５０とを読み出す点が、ステップＳ２５の処理と異なる。
また、実施の形態２では、ステップＳ３１で検出した学習映像３１の骨格情報４２をメモリ１２から読み出す際に、全てではなく一部の骨格情報４２を読み出す点が、ステップＳ２５の処理と異なる。
更に、実施の形態２では、読み出した骨格情報４２を用いた類似度計算を行う順序を決め、類似度が閾値以上である場合に類似度計算を終了し、作業要素特定モデル３３の選択候補を絞り込む点がステップＳ２５の処理と異なる。
実施の形態２では、運動類似度計算部２４が、メモリ１２から作業要素特定モデル３３の選択候補のインデックス情報と、更新探索マップ５０とを読み出す点が、ステップＳ２５の処理と異なる。
また、実施の形態２では、ステップＳ３１で検出した学習映像３１の骨格情報４２をメモリ１２から読み出す際に、全てではなく一部の骨格情報４２を読み出す点が、ステップＳ２５の処理と異なる。
更に、実施の形態２では、読み出した骨格情報４２を用いた類似度計算を行う順序を決め、類似度が閾値以上である場合に類似度計算を終了し、作業要素特定モデル３３の選択候補を絞り込む点がステップＳ２５の処理と異なる。
【0076】
具体的には、運動類似度計算部２４は、ステップＳ３１で検出した学習映像３１の骨格情報４２のうち、付与されているインデックス情報が、作業要素特定モデル３３の選択候補と一致する骨格情報４２をメモリ１２から読み出す。
運動類似度計算部２４は、入力映像４６に２サイクル目以降の作業手順が映されている場合に、読み出した骨格情報４２のうち、付与されているインデックス情報が、前サイクルで選択した作業要素特定モデル３３と一致する骨格情報４２を用いて１番目の類似度計算を行う。
例えば、入力映像４６に３サイクル目の作業手順が映されており、２サイクル目の作業手順に対して作業要素特定モデルＡが選択されている場合を想定する。この場合に、運動類似度計算部２４は、作業要素特定モデルＡのインデックス情報を持つ骨格情報４２を用いて類似度計算を行う。製品組み立てラインの作業手順は１サイクルだけでなく複数サイクル行われることが多い。このため、前サイクルと異なる作業要素特定モデル３３が利用される確率よりも前サイクルと同じ作業要素特定モデル３３が利用される確率の方が高いと考えられる。従って、運動類似度計算部２４は、入力映像４６の骨格情報４２との類似度の計算において前サイクルで選択した作業要素特定モデル３３を優先する。
運動類似度計算部２４は、入力映像４６に２サイクル目以降の作業手順が映されている場合に、読み出した骨格情報４２のうち、付与されているインデックス情報が、前サイクルで選択した作業要素特定モデル３３と一致する骨格情報４２を用いて１番目の類似度計算を行う。
例えば、入力映像４６に３サイクル目の作業手順が映されており、２サイクル目の作業手順に対して作業要素特定モデルＡが選択されている場合を想定する。この場合に、運動類似度計算部２４は、作業要素特定モデルＡのインデックス情報を持つ骨格情報４２を用いて類似度計算を行う。製品組み立てラインの作業手順は１サイクルだけでなく複数サイクル行われることが多い。このため、前サイクルと異なる作業要素特定モデル３３が利用される確率よりも前サイクルと同じ作業要素特定モデル３３が利用される確率の方が高いと考えられる。従って、運動類似度計算部２４は、入力映像４６の骨格情報４２との類似度の計算において前サイクルで選択した作業要素特定モデル３３を優先する。
【0077】
また、運動類似度計算部２４は、更新探索マップ５０を参照し、その時点で選択候補として残っている作業要素特定モデル３３の葉ノードの数の多さに基づき、作業要素特定モデル３３間の優先順位、すなわち、類似度計算の順序を設定する。
例えば、入力映像４６の解析により作業工程ｂが抽出されている状況を想定する。つまり、図２４の更新探索マップ５０において、作業工程ｂに対応するノードｂから分岐するノードｄ及びノードｅのいずれかを選択する状況を想定する。この場合に、作業要素特定モデルＤ、Ｅ及びＦが選択候補として残っている。このとき、ノードｄを根とする部分木は１つの葉ノードＤを持ち、ノードｅを根とする部分木は２つの葉ノードＥと葉ノードＦとを持つ。したがって、運動類似度計算部２４は、作業要素特定モデルＥまたは作業要素特定モデルＦのインデックス情報を持つ骨格情報４２を用いた類似度計算を先に行う。そして、運動類似度計算部２４は、作業要素特定モデルＤのインデックス情報を持つ骨格情報４２を用いた類似度計算を後に行う。葉ノードの数が多い部分木の根となるノードに対応する作業要素が入力映像４６で実施されている確率が高いと考えられるため、運動類似度計算部２４は、このようにして作業要素特定モデル３３間に優先順位を設定する。
例えば、入力映像４６の解析により作業工程ｂが抽出されている状況を想定する。つまり、図２４の更新探索マップ５０において、作業工程ｂに対応するノードｂから分岐するノードｄ及びノードｅのいずれかを選択する状況を想定する。この場合に、作業要素特定モデルＤ、Ｅ及びＦが選択候補として残っている。このとき、ノードｄを根とする部分木は１つの葉ノードＤを持ち、ノードｅを根とする部分木は２つの葉ノードＥと葉ノードＦとを持つ。したがって、運動類似度計算部２４は、作業要素特定モデルＥまたは作業要素特定モデルＦのインデックス情報を持つ骨格情報４２を用いた類似度計算を先に行う。そして、運動類似度計算部２４は、作業要素特定モデルＤのインデックス情報を持つ骨格情報４２を用いた類似度計算を後に行う。葉ノードの数が多い部分木の根となるノードに対応する作業要素が入力映像４６で実施されている確率が高いと考えられるため、運動類似度計算部２４は、このようにして作業要素特定モデル３３間に優先順位を設定する。
【0078】
運動類似度計算部２４は、計算により得られた類似度が閾値以上である場合に、計算に用いた骨格情報４２に付与されているインデックス情報が指す作業要素特定モデル３３を選択候補として決定する。
そして、運動類似度計算部２４は、選択候補として決定した作業要素特定モデル３３のインデックス情報と、類似度をメモリ１２に書き込み、ステップＳ４８の処理を終了する。
そして、運動類似度計算部２４は、選択候補として決定した作業要素特定モデル３３のインデックス情報と、類似度をメモリ１２に書き込み、ステップＳ４８の処理を終了する。
【0079】
運動類似度計算部２４は、前サイクルが存在すれば、前サイクルの選択結果を基準とした類似度計算を行う。一方、前サイクルが存在しなければ、運動類似度計算部２４は、葉ノードの数を基準とした類似度計算を行う。具体的には、図２４の例において、ノードｂから分岐するノードｄ及びノードｅのいずれかを選択する状況の場合に、前サイクルで作業要素特定モデルＤが選択されていれば、作業要素特定モデルＤについての類似度計算を先に行う。一方、前サイクルが存在しない場合（又は、前サイクルでの選択結果が作業要素特定モデルＤ～Ｆのいずれでもない場合）は、運動類似度計算部２４は、葉ノードの数を基準とした類似度計算を行う。
また、前サイクルの選択結果を基準とした類似度計算を行い、類似度が閾値未満であった場合にも、運動類似度計算部２４は、葉ノードの数を基準とした類似度計算を行う。
また、前サイクルの選択結果を基準とした類似度計算を行い、類似度が閾値未満であった場合にも、運動類似度計算部２４は、葉ノードの数を基準とした類似度計算を行う。
【0080】
（ステップＳ４９：製品類似度計算処理）
実施の形態２では、製品類似度計算部２５が、メモリ１２から作業要素特定モデル３３の選択候補のインデックス情報と、更新探索マップ５０とを読み出す点がステップＳ２５の処理と異なる。
また、実施の形態２では、ステップＳ３２で切り出した学習映像３１の製品画像４５をメモリ１２から読み出す際、全てではなく一部の製品画像４５を読み出す点がステップＳ２５の処理と異なる。
また、実施の形態２では、読み出した製品画像４５の類似度計算を行う順序を決め、類似度が閾値以上である場合に類似度計算を終了し、作業要素特定モデル３３の選択候補を絞り込む点がステップＳ２５の処理と異なる。
実施の形態２では、製品類似度計算部２５が、メモリ１２から作業要素特定モデル３３の選択候補のインデックス情報と、更新探索マップ５０とを読み出す点がステップＳ２５の処理と異なる。
また、実施の形態２では、ステップＳ３２で切り出した学習映像３１の製品画像４５をメモリ１２から読み出す際、全てではなく一部の製品画像４５を読み出す点がステップＳ２５の処理と異なる。
また、実施の形態２では、読み出した製品画像４５の類似度計算を行う順序を決め、類似度が閾値以上である場合に類似度計算を終了し、作業要素特定モデル３３の選択候補を絞り込む点がステップＳ２５の処理と異なる。
【0081】
具体的には、製品類似度計算部２５は、ステップＳ３２で切り出した学習映像３１の製品画像４５のうち、付与されているインデックス情報が、作業要素特定モデル３３の選択候補と一致する製品画像４５をメモリ１２から読み出す。
ただし、製品類似度計算部２５は、更新探索マップ５０においてノードａから分岐するノードｄ１とノードｄ２とノードｅとのいずれかを選択する場合や、ノードｂから分岐するノードｄとノードｅ１とノードｅ２とのいずれかを選択する場合のように、ステップＳ３３で代表画像４９を用いてノードの分割を行った箇所を参照する際には、代表画像４９のみをメモリ１２から読み出す。
製品類似度計算部２５は、類似度計算を行う順序を、ステップＳ４８の骨格情報４２を製品画像４５に置き換えた方法で決める。つまり、製品類似度計算部２５は、運動類似度計算部２４での骨格情報４２についての類似度計算の順序の通りに、製品画像４５についての類似度計算を行う。
製品類似度計算部２５は、計算により得られた類似度が閾値以上である場合に、計算に用いた製品画像４５に付与されているインデックス情報が指す作業要素特定モデル３３を選択候補として決定する。そして、製品類似度計算部２５は、選択候補として決定した作業要素特定モデル３３のインデックス情報と、類似度をメモリ１２に書き込み、ステップＳ４９の処理を終了する。
ただし、製品類似度計算部２５は、更新探索マップ５０においてノードａから分岐するノードｄ１とノードｄ２とノードｅとのいずれかを選択する場合や、ノードｂから分岐するノードｄとノードｅ１とノードｅ２とのいずれかを選択する場合のように、ステップＳ３３で代表画像４９を用いてノードの分割を行った箇所を参照する際には、代表画像４９のみをメモリ１２から読み出す。
製品類似度計算部２５は、類似度計算を行う順序を、ステップＳ４８の骨格情報４２を製品画像４５に置き換えた方法で決める。つまり、製品類似度計算部２５は、運動類似度計算部２４での骨格情報４２についての類似度計算の順序の通りに、製品画像４５についての類似度計算を行う。
製品類似度計算部２５は、計算により得られた類似度が閾値以上である場合に、計算に用いた製品画像４５に付与されているインデックス情報が指す作業要素特定モデル３３を選択候補として決定する。そして、製品類似度計算部２５は、選択候補として決定した作業要素特定モデル３３のインデックス情報と、類似度をメモリ１２に書き込み、ステップＳ４９の処理を終了する。
【0082】
（ステップＳ５０：モード選択処理）
実施の形態２では、ステップＳ４７において類似度計算がスキップされた場合、モード選択部２６が、前回の選択結果と同じ作業要素特定モードを選択する点がステップＳ２８と異なる。
実施の形態２では、ステップＳ４７において類似度計算がスキップされた場合、モード選択部２６が、前回の選択結果と同じ作業要素特定モードを選択する点がステップＳ２８と異なる。
【0083】
（ステップＳ５１：サイクル切り替わり判定処理）
実施の形態２では、作業要素特定部２７は、作業要素名を出力する前に、作業要素特定の信頼度を出力する。
作業要素特定部２７は、作業要素特定の信頼度が閾値未満である場合にサイクルが切り替わったと判定する。そして、作業要素特定部２７は、全ての作業要素特定モデル３３を選択候補として扱い、選択候補のインデックス情報をメモリ１２に書き込む。その後、ステップＳ４８に戻る。
作業要素特定の信頼度が閾値以上である場合、ステップＳ５２に進む。
実施の形態２では、作業要素特定部２７は、作業要素名を出力する前に、作業要素特定の信頼度を出力する。
作業要素特定部２７は、作業要素特定の信頼度が閾値未満である場合にサイクルが切り替わったと判定する。そして、作業要素特定部２７は、全ての作業要素特定モデル３３を選択候補として扱い、選択候補のインデックス情報をメモリ１２に書き込む。その後、ステップＳ４８に戻る。
作業要素特定の信頼度が閾値以上である場合、ステップＳ５２に進む。
【0084】
＊＊＊効果の説明＊＊＊
以上のように、実施の形態２に係る作業要素特定装置１０は、生成した更新探索マップ５０及び／又は前サイクルの情報により絞り込まれた選択候補の中から作業要素特定モデル３３を選択する。
作業要素特定モデル３３の選択候補を絞り込むことで、骨格情報４２についての類似度計算及び製品画像４５について類似度計算の計算量が減り、処理を高速化することが可能である。処理の高速化により、作業要素特定モデル３３の選択及び作業要素の特定をリアルタイムに行うことができる。
以上のように、実施の形態２に係る作業要素特定装置１０は、生成した更新探索マップ５０及び／又は前サイクルの情報により絞り込まれた選択候補の中から作業要素特定モデル３３を選択する。
作業要素特定モデル３３の選択候補を絞り込むことで、骨格情報４２についての類似度計算及び製品画像４５について類似度計算の計算量が減り、処理を高速化することが可能である。処理の高速化により、作業要素特定モデル３３の選択及び作業要素の特定をリアルタイムに行うことができる。
【0085】
＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態２では、運動類似度計算部２４は、類似度計算を行う順序を決め、類似度が閾値以上である場合に類似度計算を終了していた。しかし、運動類似度計算部２４は、類似度計算を行う順序を決めず、読み出した骨格情報４２の全てを用いて類似度計算を行い、類似度が最も高い骨格情報４２に付与されているインデックス情報が指す作業要素特定モデル３３を選択候補としてもよい。
＜変形例１＞
実施の形態２では、運動類似度計算部２４は、類似度計算を行う順序を決め、類似度が閾値以上である場合に類似度計算を終了していた。しかし、運動類似度計算部２４は、類似度計算を行う順序を決めず、読み出した骨格情報４２の全てを用いて類似度計算を行い、類似度が最も高い骨格情報４２に付与されているインデックス情報が指す作業要素特定モデル３３を選択候補としてもよい。
【0086】
＜変形例２＞
実施の形態２では、作業要素特定装置１０は、運用前処理として作業要素表４７及び探索マップ４８を生成している。これに変えて、作業要素表４７及び探索マップ４８の生成を含む運用前処理の全体を外部で行ってもよい。この場合は、作業要素特定装置１０は、外部で生成された作業要素表４７及び探索マップ４８を用いて、運用処理を行う。
実施の形態２では、作業要素特定装置１０は、運用前処理として作業要素表４７及び探索マップ４８を生成している。これに変えて、作業要素表４７及び探索マップ４８の生成を含む運用前処理の全体を外部で行ってもよい。この場合は、作業要素特定装置１０は、外部で生成された作業要素表４７及び探索マップ４８を用いて、運用処理を行う。
【0087】
以上、実施の形態１及び２を説明したが、これら２つの実施の形態を組み合わせて実施しても構わない。
あるいは、これら２つの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これら２つの実施の形態を部分的に組み合わせて実施しても構わない。
また、これら２つの実施の形態に記載された構成及び手順を必要に応じて変更してもよい。
あるいは、これら２つの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これら２つの実施の形態を部分的に組み合わせて実施しても構わない。
また、これら２つの実施の形態に記載された構成及び手順を必要に応じて変更してもよい。
【0088】
＊＊＊ハードウェア構成の補足説明＊＊＊
最後に、作業要素特定装置１０のハードウェア構成の補足説明を行う。
最後に、作業要素特定装置１０のハードウェア構成の補足説明を行う。
【0089】
作業要素特定装置１０のストレージ１３には、作業要素特定装置１０の機能構成要素を実現するプログラムに加えて、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がプロセッサ１１により実行される。
プロセッサ１１はＯＳの少なくとも一部を実行しながら、作業要素特定装置１０の機能構成要素を実現するプログラムを実行する。
プロセッサ１１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、作業要素特定装置１０の機能構成要素の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、メモリ１２、ストレージ１３、プロセッサ１１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、作業要素特定装置１０の機能構成要素を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記録媒体に格納されていてもよい。そして、作業要素特定装置１０の機能構成要素を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
そして、ＯＳの少なくとも一部がプロセッサ１１により実行される。
プロセッサ１１はＯＳの少なくとも一部を実行しながら、作業要素特定装置１０の機能構成要素を実現するプログラムを実行する。
プロセッサ１１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、作業要素特定装置１０の機能構成要素の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、メモリ１２、ストレージ１３、プロセッサ１１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、作業要素特定装置１０の機能構成要素を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記録媒体に格納されていてもよい。そして、作業要素特定装置１０の機能構成要素を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
【0090】
また、作業要素特定装置１０の機能構成要素の「部」を、「回路」又は「工程」又は「手順」又は「処理」又は「サーキットリー」に読み替えてもよい。
なお、本明細書では、プロセッサ１１と電子回路１５との上位概念を、「プロセッシングサーキットリー」という。
つまり、プロセッサ１１と電子回路１５とは、それぞれ「プロセッシングサーキットリー」の具体例である。
なお、本明細書では、プロセッサ１１と電子回路１５との上位概念を、「プロセッシングサーキットリー」という。
つまり、プロセッサ１１と電子回路１５とは、それぞれ「プロセッシングサーキットリー」の具体例である。
【符号の説明】
【0091】
１０ 作業要素特定装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 映像取得部、２２ 骨格検出部、２３ 製品検出部、２４ 運動類似度計算部、２５ 製品類似度計算部、２６ モード選択部、２７ 作業要素特定部、２８ 探索マップ生成部、２９ モデル探索部、３１ 学習映像、３２ 学習映像の真値、３３ 作業要素特定モデル、４１ 作業者、４２ 骨格情報、４３ 代表フレーム、４４ 製品、４５ 製品画像、４６ 入力映像、４７ 作業要素表、４８ 探索マップ、４９ 代表画像、５０ 更新探索マップ、１１０ 検出装置、１２０ 特定装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】