知財求人 - 知財ポータルサイト「IP Force」
特許7654983作業推定装置、作業推定装置の制御方法、情報処理プログラム、および記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-25
(45)【発行日】2025-04-02
(54)【発明の名称】作業推定装置、作業推定装置の制御方法、情報処理プログラム、および記録媒体
(51)【国際特許分類】
G06T 7/20 20170101AFI20250326BHJP
G06Q 50/04 20120101ALI20250326BHJP
G06Q 10/0639 20230101ALI20250326BHJP
【ＦＩ】
G06T7/20 300Z
G06Q50/04
G06Q10/0639
【請求項の数】
6
(21)【出願番号】P 2021009138
(22)【出願日】2021-01-22
(65)【公開番号】P2022113042
(43)【公開日】2022-08-03
【審査請求日】2023-11-09
(73)【特許権者】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】100155712
【弁理士】
【氏名又は名称】村上 尚
(72)【発明者】
【氏名】木焦 火炎
【審査官】石田 宏之
(56)【参考文献】
【文献】特開２０１９－０１２３２８（ＪＰ，Ａ）
【文献】特開２０１９－１９７３７３（ＪＰ，Ａ）
【文献】特許第６７８９５９０（ＪＰ，Ｂ１）
【文献】特開２０２０－２０４８１９（ＪＰ，Ａ）
【文献】特開２０１９－１２５０１３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／２０
Ｇ０６Ｑ ５０／０４
Ｇ０６Ｑ １０／０６３９
(57)【特許請求の範囲】
【請求項1】
作業場において作業者が行っている作業の内容を推定する作業推定装置であって、前記作業場を撮像した作業場画像または前記作業場画像から生成された特徴情報を入力とし、前記作業場画像に撮像されている前記作業者が、前記作業場画像に撮像されている作業対象物について行っている作業の内容を出力とする学習済モデルである作業予測モデルを用いて、前記作業場画像または前記特徴情報から、前記作業者が前記作業対象物について行っている作業の内容を予測する予測部と、
前記作業予測モデルを用いずに予測された前記作業の内容、および、前記作業場に前記作業者が存在するか否かの判定結果の少なくとも一方を用いて、前記予測部の予測の正否を判定する判定部と、
前記判定部によって前記予測部の予測が正しいと判定されると、前記予測部によって予測された前記作業の内容を、前記作業場において前記作業者が行っている前記作業の内容として推定する推定部と、
を備えるとともに、
（Ａ）前記作業場を含む複数の作業場を撮像した全体画像を入力、または、（Ｂ）前記作業場画像を入力、または、（Ｃ）前記全体画像または前記作業場画像から生成された特徴情報を入力とし、前記作業場に前記作業者が存在するか否かを出力とする学習済モデルである存否モデルを用いて、前記全体画像、または、前記作業場画像、または、前記全体画像または前記作業場画像から生成された特徴情報から、前記作業場に前記作業者が存在するか否かを予測する存否予測部をさらに備え、
前記判定部は、前記存否予測部によって前記作業場に前記作業者が存在すると予測されると、前記予測部の予測が正しいと判定する、作業推定装置。
【請求項2】
前記作業に用いられる工具、前記作業対象物、および、前記作業場の少なくとも１つの状態を検知するセンサの検知情報から、前記作業場において前記作業者が行っている前記作業の内容を予測する作業検知部、をさらに備え、
前記判定部は、前記存否予測部によって前記作業場に前記作業者が存在すると予測され、かつ、前記予測部によって予測された前記作業の内容と、前記作業検知部によって予測された前記作業の内容とが一致すると、前記予測部の予測が正しいと判定する
請求項１に記載の作業推定装置。
【請求項3】
前記作業予測モデルは、前記作業に用いられる工具、前記作業対象物、および、前記作業場の少なくとも１つの状態を検知するセンサの検知情報から予測された、前記作業場において前記作業者が行っている前記作業の内容が、前記作業場画像または前記作業場画像から生成された特徴情報に対してラベルとして付された学習用データセットを用いた機械学習によって、構築される請求項１または２に記載の作業推定装置。
【請求項4】
作業場において作業者が行っている作業の内容を推定する作業推定装置の制御方法であって、前記作業場を撮像した作業場画像または前記作業場画像から生成された特徴情報を入力とし、前記作業場画像に撮像されている前記作業者が、前記作業場画像に撮像されている作業対象物について行っている作業の内容を出力とする学習済モデルである作業予測モデルを用いて、前記作業場画像または前記特徴情報から、前記作業者が前記作業対象物について行っている作業の内容を予測する予測ステップと、
前記作業予測モデルを用いずに予測された前記作業の内容、および、前記作業場に前記作業者が存在するか否かの判定結果の少なくとも一方を用いて、前記予測ステップでの予測の正否を判定する判定ステップと、
前記判定ステップにて前記予測ステップでの予測が正しいと判定されると、前記予測ステップにて予測された前記作業の内容を、前記作業場において前記作業者が行っている前記作業の内容として推定する推定ステップと、
を含むとともに、
（Ａ）前記作業場を含む複数の作業場を撮像した全体画像を入力、または、（Ｂ）前記作業場画像を入力、または、（Ｃ）前記全体画像または前記作業場画像から生成された特徴情報を入力とし、前記作業場に前記作業者が存在するか否かを出力とする学習済モデルである存否モデルを用いて、前記全体画像、または、前記作業場画像、または、前記全体画像または前記作業場画像から生成された特徴情報から、前記作業場に前記作業者が存在するか否かを予測する存否予測ステップをさらに含み、
前記判定ステップは、前記存否予測ステップによって前記作業場に前記作業者が存在すると予測されると、前記予測ステップの予測が正しいと判定する、制御方法。
【請求項5】
請求項１から３のいずれか１項に記載の作業推定装置としてコンピュータを機能させるための情報処理プログラムであって、前記各部としてコンピュータを機能させるための情報処理プログラム。
【請求項6】
請求項５に記載の情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業場において作業者が行っている作業の内容を推定する作業推定装置等に関する。
【背景技術】
【0002】
従来、工場等の生産現場における作業工程の実施状況を撮像した撮像データを、当該作業工程の改善等に利用する種々の試みが知られている。例えば、下掲の特許文献１には、画像データの解析結果を利用して作業者の行動を判別する安全管理システムが開示されている。また、撮像画像から、撮像画像に撮像されている人間とオブジェクトとの間の相互作用（ＨＯＩ、Human Object Interaction）として、人間がオブジェクトについて行っている動作を検出するＨＯＩ検出についても、研究が進められている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－１７３９５７号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、ＨＯＩ検出による作業内容の予測は、それ単体では、精度が十分とはいえないとの問題がある。
【0005】
本発明の一態様は、撮像画像から、十分な精度をもって、作業者が作業対象物について行っている作業の内容を推定することのできる作業推定装置等を実現することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明の一態様に係る作業推定装置は、作業場において作業者が行っている作業の内容を推定する作業推定装置であって、前記作業場を撮像した作業場画像または前記作業場画像から生成された特徴情報を入力とし、前記作業場画像に撮像されている前記作業者が、前記作業場画像に撮像されている作業対象物について行っている作業の内容を出力とする学習済モデルである作業予測モデルを用いて、前記作業場画像または前記特徴情報から、前記作業者が前記作業対象物について行っている作業の内容を予測する予測部と、前記作業予測モデルを用いずに予測された前記作業の内容、および、前記作業場に前記作業者が存在するか否かの判定結果の少なくとも一方を用いて、前記予測部の予測の正否を判定する判定部と、前記判定部によって前記予測部の予測が正しいと判定されると、前記予測部によって予測された前記作業の内容を、前記作業場において前記作業者が行っている前記作業の内容として推定する推定部と、を備える。
【0007】
前記の構成によれば、前記作業推定装置は、前記作業予測モデルを用いて予測した前記作業の内容の正否を、前記作業予測モデルを用いずに予測された前記作業の内容、および、前記作業場における前記作業者の存否の判定結果の少なくとも一方を用いて判定する。そして、前記作業推定装置は、前記作業予測モデルを用いた予測が正しいと判定されると、前記作業予測モデルを用いて予測した前記作業の内容を、前記作業場において前記作業者が行っている前記作業の内容であると推定する。
【0008】
つまり、前記作業推定装置は、前記作業予測モデルを用いて予測した前記作業の内容の正否を、前記作業予測モデルを用いずに予測された前記作業の内容、および、前記作業場に前記作業者が存在するか否かの判定結果の少なくとも一方を用いて検証する。
【0009】
したがって、前記作業推定装置は、前記作業場画像から、前記作業場において前記作業者が行っている前記作業の内容を、高精度に推定することができるとの効果を奏する。
【0010】
本発明の一態様に係る作業推定装置は、前記作業に用いられる工具、前記作業対象物、および、前記作業場の少なくとも１つの状態を検知するセンサの検知情報から、前記作業場において前記作業者が行っている前記作業の内容を予測する作業検知部をさらに備えてもよく、前記判定部は、前記予測部によって予測された前記作業の内容と、前記作業検知部によって予測された前記作業の内容とが一致すると、前記予測部の予測が正しいと判定してもよい。
【0011】
前記の構成によれば、前記作業推定装置は、前記センサの検知情報から予測した前記作業の内容と、前記作業予測モデルを用いて予測した前記作業の内容とが一致するか否かを判定する。そして、前記作業推定装置は、両者が一致すると判定すると、前記作業予測モデルを用いて予測した前記作業の内容を、前記作業場において前記作業者が行っている前記作業の内容であると推定する。
【0012】
つまり、前記作業推定装置は、前記作業予測モデルを用いて予測した前記作業の内容の正否を、前記センサの検知情報から予測した前記作業の内容によって検証する。
【0013】
したがって、前記作業推定装置は、前記作業場画像から、前記作業場において前記作業者が行っている前記作業の内容を、高精度に推定することができるとの効果を奏する。
【0014】
本発明の一態様に係る作業推定装置は、（Ａ）前記作業場を含む複数の作業場を撮像した全体画像、または、（Ｂ）前記作業場画像、または、（Ｃ）前記全体画像または前記作業場画像から生成された特徴情報を入力とし、前記作業場に前記作業者が存在するか否かを出力とする学習済モデルである存否モデルを用いて、前記全体画像、または、前記作業場画像、または、前記全体画像または前記作業場画像から生成された特徴情報から、前記作業場に前記作業者が存在するか否かを予測する存否予測部をさらに備えてもよく、前記判定部は、前記存否予測部によって前記作業場に前記作業者が存在すると予測されると、前記予測部の予測が正しいと判定してもよい。
【0015】
前記の構成によれば、前記作業推定装置は、前記存否モデルを用いて、前記作業場に前記作業者が存在するか否かを予測する。そして、前記作業推定装置は、前記作業場に前記作業者が存在すると予測すると、前記作業予測モデルを用いて予測した前記作業の内容を、前記作業場において前記作業者が行っている前記作業の内容であると推定する。
【0016】
つまり、前記作業推定装置は、前記作業予測モデルを用いて予測した前記作業の内容の正否を、前記存否モデルを用いて予測した前記作業場における前記作業者の存否によって検証する。
【0017】
したがって、前記作業推定装置は、前記作業場画像から、前記作業場において前記作業者が行っている前記作業の内容を、高精度に推定することができるとの効果を奏する。
【0018】
本発明の一態様に係る作業推定装置は、前記作業に用いられる工具、前記作業対象物、および、前記作業場の少なくとも１つの状態を検知するセンサの検知情報から、前記作業場において前記作業者が行っている前記作業の内容を予測する作業検知部と、（Ａ）前記作業場を含む複数の作業場を撮像した全体画像、または、（Ｂ）前記作業場画像、または、（Ｃ）前記全体画像または前記作業場画像から生成された特徴情報を入力とし、前記作業場に前記作業者が存在するか否かを出力とする学習済モデルである存否モデルを用いて、前記全体画像、または、前記作業場画像、または、前記全体画像または前記作業場画像から生成された特徴情報から、前記作業場に前記作業者が存在するか否かを予測する存否予測部と、をさらに備えてもよく、前記判定部は、前記存否予測部によって前記作業場に前記作業者が存在すると予測され、かつ、前記予測部によって予測された前記作業の内容と、前記作業検知部によって予測された前記作業の内容とが一致すると、前記予測部の予測が正しいと判定してもよい。
【0019】
前記の構成によれば、前記作業推定装置は、前記センサの検知情報から予測した前記作業の内容、および、前記作業場における前記作業者の存否を予測する。そして、前記作業推定装置は、前記作業場に前記作業者が存在すると予測し、かつ、前記センサの検知情報から予測した内容と前記作業予測モデルを用いて予測した内容とが一致すると、前記作業予測モデルを用いて予測した内容が正しいと判定する。
【0020】
つまり、前記作業推定装置は、前記作業予測モデルを用いて予測した前記作業の内容の正否を、前記センサの検知情報から予測した前記作業の内容と、前記存否モデルを用いて予測した前記作業場における前記作業者の存否とによって検証する。
【0021】
したがって、前記作業推定装置は、前記作業場画像から、前記作業場において前記作業者が行っている前記作業の内容を、高精度に推定することができるとの効果を奏する。
【0022】
本発明の一態様に係る作業推定装置において、前記作業予測モデルは、前記作業に用いられる工具、前記作業対象物、および、前記作業場の少なくとも１つの状態を検知するセンサの検知情報から予測された、前記作業場において前記作業者が行っている前記作業の内容が、前記作業場画像または前記作業場画像から生成された特徴情報に対してラベルとして付された学習用データセットを用いた機械学習によって、構築されてもよい。
【0023】
前記の構成によれば、前記作業推定装置は、前記センサの検知情報から予測した「前記作業場において前記作業者が行っている前記作業の内容」がラベルとして付された学習用データセットを用いた機械学習によって、前記作業予測モデルを構築する。
【0024】
教師あり学習のためには、大量の教師データ（学習用データセット）が必要であることが知られており、そのような教師データの生成に必要なラベリング作業、および、教師データに付されているラベル（メタデータ）は、「アノテーション」とも呼ばれる。
【0025】
例えば、前記作業予測モデルの構築に際して学習される教師データには、前記作業者を検出するためのバウンディングボックス（Bounding Box）の設定が不要であったとしても、前記作業場画像に対して以下の５つのアノテーションが必要となる。すなわち、前記作業場画像に対して、前記作業対象物を検出するためのバウンディングボックスの範囲を示す４点のうち、左下の点および右上の点の各々のＸ座標およびＹ座標を設定することが必要であり、つまり、４つのアノテーションが必要となる。さらに、前記作業場画像に対して、「前記作業場画像に撮像されている前記作業者が、前記作業場画像に撮像されている作業対象物について行っている作業の内容」を示す情報（ラベル）の付与が必要であり、つまり、１つのアノテーションが必要となる。
【0026】
そして、大量の前記作業場画像の各々について、「前記作業場画像に撮像されている前記作業者が、前記作業場画像に撮像されている作業対象物について行っている作業の内容」を人間に判定させようとする場合、それに要するコストは極めて大きい。
【0027】
そこで、前記作業予測モデルの構築に際して学習される教師データの生成に際しては、前記作業場画像から人間が判定した「作業の内容」ではなく、前記センサの検知情報から予測された「作業の内容」が、前記「作業の内容」を示すラベルとして付与される。つまり、前記作業予測モデルの構築に際して学習される教師データにおいては、前記作業場画像から人間が判定した「作業の内容」ではなく、前記センサの検知情報から予測された「作業の内容」が、前記「作業の内容」を示すラベルとして付されている。
【0028】
そのため、前記作業予測モデルの構築に必要となるコスト（特に、前記学習用データセットの生成に必要なアノテーションコスト）は、前記「作業の内容」を示すラベルとして「前記作業場画像から人間が判定した内容」を用いる場合と比べて、大幅に抑制できる。例えば、前記作業場画像に対して必要な上述の５つのアノテーションの内の１つを、「人間による判定内容」から「前記作業推定装置等の装置が前記センサの検知情報から予測した内容」へと変更するので、アノテーションコストを２０％抑制することができる。
【0029】
したがって、前記の構成によれば、前記作業推定装置は、アノテーションコストが大幅に抑制された前記作業予測モデルを用いて、前記作業場画像から、前記作業場で前記作業者が行っている前記作業の内容を、高精度に推定することができるとの効果を奏する。
【0030】
上記の課題を解決するために、本発明の一態様に係る制御方法は、作業場において作業者が行っている作業の内容を推定する作業推定装置の制御方法であって、前記作業場を撮像した作業場画像または前記作業場画像から生成された特徴情報を入力とし、前記作業場画像に撮像されている前記作業者が、前記作業場画像に撮像されている作業対象物について行っている作業の内容を出力とする学習済モデルである作業予測モデルを用いて、前記作業場画像または前記特徴情報から、前記作業者が前記作業対象物について行っている作業の内容を予測する予測ステップと、前記作業予測モデルを用いずに予測された前記作業の内容、および、前記作業場に前記作業者が存在するか否かの判定結果の少なくとも一方を用いて、前記予測ステップでの予測の正否を判定する判定ステップと、前記判定ステップにて前記予測ステップでの予測が正しいと判定されると、前記予測ステップにて予測された前記作業の内容を、前記作業場において前記作業者が行っている前記作業の内容として推定する推定ステップと、を含む。
【0031】
前記の構成によれば、前記制御方法は、前記作業予測モデルを用いて予測した前記作業の内容の正否を、前記作業予測モデルを用いずに予測された前記作業の内容、および、前記作業場における前記作業者の存否の判定結果の少なくとも一方を用いて判定する。そして、前記制御方法は、前記作業予測モデルを用いた予測が正しいと判定されると、前記作業予測モデルを用いて予測した前記作業の内容を、前記作業場において前記作業者が行っている前記作業の内容であると推定する。
【0032】
つまり、前記制御方法は、前記作業予測モデルを用いて予測した前記作業の内容の正否を、前記作業予測モデルを用いずに予測された前記作業の内容、および、前記作業場に前記作業者が存在するか否かの判定結果の少なくとも一方を用いて検証する。
【0033】
したがって、前記制御方法は、前記作業場画像から、前記作業場において前記作業者が行っている前記作業の内容を、高精度に推定することができるとの効果を奏する。
【発明の効果】
【0034】
本発明の一態様によれば、撮像画像から、十分な精度をもって、作業者が作業対象物について行っている作業の内容を推定することができるとの効果を奏する。
【図面の簡単な説明】
【0035】
【発明を実施するための形態】
【0036】
〔実施形態１〕
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。本実施の形態においては、情報処理装置１０を、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容を推定する作業推定装置」の典型例として説明を行なう。
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。本実施の形態においては、情報処理装置１０を、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容を推定する作業推定装置」の典型例として説明を行なう。
【0037】
以下の説明において、「ｎ」、「ｍ」、「ｐ」、「ｑ」、「ｘ」、「ｙ」は、各々、「１」以上の整数を示すものとし、「ｐ」と「ｑ」とは互いに異なる整数であり、「ｘ」と「ｙ」とは互いに異なる整数であるものとする。
【0038】
§１．適用例
本発明の一態様に係る情報処理装置１０（作業推定装置）についての理解を容易にするため、先ず、情報処理装置１０が適用される環境について説明する。情報処理装置１０は、例えば、作業場Ａｒを撮像した作業場画像Ｉｃの解析結果を利用して、作業者Ｈｕが作業対象物Ｏｂについて行う作業Ｏｐの効率化等に資する情報（支援情報）を生成する。そこで先ず、作業者Ｈｕ、作業対象物Ｏｂ、作業Ｏｐ、作業場Ａｒ、および、１つ以上の作業場Ａｒを含む工場Ｆａ等について、説明する。
本発明の一態様に係る情報処理装置１０（作業推定装置）についての理解を容易にするため、先ず、情報処理装置１０が適用される環境について説明する。情報処理装置１０は、例えば、作業場Ａｒを撮像した作業場画像Ｉｃの解析結果を利用して、作業者Ｈｕが作業対象物Ｏｂについて行う作業Ｏｐの効率化等に資する情報（支援情報）を生成する。そこで先ず、作業者Ｈｕ、作業対象物Ｏｂ、作業Ｏｐ、作業場Ａｒ、および、１つ以上の作業場Ａｒを含む工場Ｆａ等について、説明する。
【0039】
（工場および作業工程について）
生産現場である工場Ｆａにおいては、例えば、各種の製品が、１つ以上の作業工程Ｐｒ（１）、Ｐｒ（２）、Ｐｒ（３）、・・・Ｐｒ（ｎ）を経て生産される。工場Ｆａにおいて実施される複数の作業工程Ｐｒ（１）、Ｐｒ（２）、Ｐｒ（３）、・・・Ｐｒ（ｎ）の各々は、例えば、「塗装」工程、「主要ワークの組み立て」工程、「主要ワークの本体への組み込み」工程、「検査」工程である。
生産現場である工場Ｆａにおいては、例えば、各種の製品が、１つ以上の作業工程Ｐｒ（１）、Ｐｒ（２）、Ｐｒ（３）、・・・Ｐｒ（ｎ）を経て生産される。工場Ｆａにおいて実施される複数の作業工程Ｐｒ（１）、Ｐｒ（２）、Ｐｒ（３）、・・・Ｐｒ（ｎ）の各々は、例えば、「塗装」工程、「主要ワークの組み立て」工程、「主要ワークの本体への組み込み」工程、「検査」工程である。
【0040】
複数の工場Ｆａを互いに区別する必要がある場合には、符号に「（Ａ）」、「（Ｂ）」、「（Ｃ）」、・・・、「（Ｚ）」等の添え字を付して区別する。例えば、「工場Ｆａ（Ａ）」、「工場Ｆａ（Ｂ）」、「工場Ｆａ（Ｘ）」、・・・、「工場Ｆａ（Ｚ）」と記載して区別する。複数の工場Ｆａの各々を特に区別する必要がない場合は単に「工場Ｆａ」と称する。
【0041】
また、作業工程Ｐｒについて、複数の作業工程Ｐｒの各々を区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別する。例えば、「作業工程Ｐｒ（１）」、「作業工程Ｐｒ（２）」、「作業工程Ｐｒ（３）」、・・・、「作業工程Ｐｒ（ｎ）」と記載して区別する。複数の作業工程Ｐｒの各々を特に区別する必要がない場合は単に「作業工程Ｐｒ」と称する。
【0042】
（作業について）
作業工程Ｐｒにおいて、作業者Ｈｕは、１つ以上の作業Ｏｐ（１）、Ｏｐ（２）、Ｏｐ（３）、・・・Ｏｐ（ｎ）を行う。例えば、作業工程Ｐｒ（ｘ）において、作業者Ｈｕは、作業Ｏｐ（ｘ１）、Ｏｐ（ｘ２）、Ｏｐ（ｘ３）を行う。一例を挙げれば、作業工程Ｐｒ（ｍ）が「塗装」工程の場合、作業Ｏｐ（ｘ１）は、作業対象物Ｏｂの「把持」であってもよいし、作業Ｏｐ（ｘ２）は、作業対象物Ｏｂの「塗装」であってもよいし、作業Ｏｐ（ｘ３）は、作業対象物Ｏｂの「運搬」であってもよい。
作業工程Ｐｒにおいて、作業者Ｈｕは、１つ以上の作業Ｏｐ（１）、Ｏｐ（２）、Ｏｐ（３）、・・・Ｏｐ（ｎ）を行う。例えば、作業工程Ｐｒ（ｘ）において、作業者Ｈｕは、作業Ｏｐ（ｘ１）、Ｏｐ（ｘ２）、Ｏｐ（ｘ３）を行う。一例を挙げれば、作業工程Ｐｒ（ｍ）が「塗装」工程の場合、作業Ｏｐ（ｘ１）は、作業対象物Ｏｂの「把持」であってもよいし、作業Ｏｐ（ｘ２）は、作業対象物Ｏｂの「塗装」であってもよいし、作業Ｏｐ（ｘ３）は、作業対象物Ｏｂの「運搬」であってもよい。
【0043】
作業Ｏｐについて、複数の作業Ｏｐの各々を区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別し、特に区別する必要がない場合は単に「作業Ｏｐ」と称する。
【0044】
（作業場について）
工場Ｆａは、１つ以上の作業場Ａｒ（１）、Ａｒ（２）、Ａｒ（３）、・・・Ａｒ（ｎ）を含む。作業場Ａｒは「セル」とも呼ばれ、つまり、工場Ｆａは、１つ以上のセルを含む。１つ以上の作業場Ａｒ（１）、Ａｒ（２）、Ａｒ（３）、・・・Ａｒ（ｎ）の各々は、１つ以上の作業工程Ｐｒ（１）、Ｐｒ（２）、Ｐｒ（３）、・・・Ｐｒ（ｎ）の各々に対応付けられている。すなわち、作業場Ａｒ（ｍ）は、作業工程Ｐｒ（ｍ）に含まれる作業Ｏｐ（ｍ）を、作業者Ｈｕが行う領域である。
工場Ｆａは、１つ以上の作業場Ａｒ（１）、Ａｒ（２）、Ａｒ（３）、・・・Ａｒ（ｎ）を含む。作業場Ａｒは「セル」とも呼ばれ、つまり、工場Ｆａは、１つ以上のセルを含む。１つ以上の作業場Ａｒ（１）、Ａｒ（２）、Ａｒ（３）、・・・Ａｒ（ｎ）の各々は、１つ以上の作業工程Ｐｒ（１）、Ｐｒ（２）、Ｐｒ（３）、・・・Ｐｒ（ｎ）の各々に対応付けられている。すなわち、作業場Ａｒ（ｍ）は、作業工程Ｐｒ（ｍ）に含まれる作業Ｏｐ（ｍ）を、作業者Ｈｕが行う領域である。
【0045】
作業場Ａｒについて、複数の作業場Ａｒの各々を区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別し、特に区別する必要がない場合は単に「作業場Ａｒ」と称する。
【0046】
（作業対象物について）
作業場Ａｒには、作業者Ｈｕが行う作業Ｏｐの対象である作業対象物Ｏｂが１つ以上配置され、例えば、作業場Ａｒ（ｘ）には、作業対象物Ｏｂ（ｘ１）、Ｏｂ（ｘ２）、Ｏｂ（ｘ３）、・・・、Ｏｂ（ｘｎ）が配置されている。
作業場Ａｒには、作業者Ｈｕが行う作業Ｏｐの対象である作業対象物Ｏｂが１つ以上配置され、例えば、作業場Ａｒ（ｘ）には、作業対象物Ｏｂ（ｘ１）、Ｏｂ（ｘ２）、Ｏｂ（ｘ３）、・・・、Ｏｂ（ｘｎ）が配置されている。
【0047】
作業対象物Ｏｂは、作業者Ｈｕ以外の存在であり、例えば、いわゆる「ワーク」であり、また、例えば、作業者Ｈｕが作業Ｏｐを行う際に用いる工具である。
【0048】
作業対象物Ｏｂについて、複数の作業対象物Ｏｂの各々を区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別し、特に区別する必要がない場合は単に「作業対象物Ｏｂ」と称する。
【0049】
（作業者について）
工場Ｆａには、作業工程Ｐｒに含まれる作業Ｏｐを実行する作業者Ｈｕが１人以上存在し、例えば、作業者Ｈｕ（１）、Ｈｕ（２）、Ｈｕ（３）、・・・、Ｈｕ（ｎ）が存在する。作業者Ｈｕは、例えば、作業者Ｈｕが被っている帽子の頭頂部などに付された作業者ＩＤによって識別されてもよい。具体的には、工場Ｆａに存在する作業者Ｈｕ（１）と作業者Ｈｕ（２）とは、作業者Ｈｕ（１）が被る帽子に付された作業者ＩＤ（１）と、作業者Ｈｕ（２）が被る帽子に付された作業者ＩＤ（２）とにより、各々が識別されてもよい。また、或る作業者Ｈｕ（１）を、別の作業者Ｈｕ（２）にとっての作業対象物Ｏｂとみなしてもよい。
工場Ｆａには、作業工程Ｐｒに含まれる作業Ｏｐを実行する作業者Ｈｕが１人以上存在し、例えば、作業者Ｈｕ（１）、Ｈｕ（２）、Ｈｕ（３）、・・・、Ｈｕ（ｎ）が存在する。作業者Ｈｕは、例えば、作業者Ｈｕが被っている帽子の頭頂部などに付された作業者ＩＤによって識別されてもよい。具体的には、工場Ｆａに存在する作業者Ｈｕ（１）と作業者Ｈｕ（２）とは、作業者Ｈｕ（１）が被る帽子に付された作業者ＩＤ（１）と、作業者Ｈｕ（２）が被る帽子に付された作業者ＩＤ（２）とにより、各々が識別されてもよい。また、或る作業者Ｈｕ（１）を、別の作業者Ｈｕ（２）にとっての作業対象物Ｏｂとみなしてもよい。
【0050】
作業者Ｈｕについて、複数の作業者Ｈｕの各々を区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別し、特に区別する必要がない場合は単に「作業者Ｈｕ」と称する。
【0051】
（機器および動作について）
工場Ｆａは、１つ以上の機器４０（１）、４０（２）、４０（３）、・・・４０（ｎ）を備える。機器４０は、センサなどの入力デバイス４１と、アクチュエータなどの出力デバイス４２とを含む。
工場Ｆａは、１つ以上の機器４０（１）、４０（２）、４０（３）、・・・４０（ｎ）を備える。機器４０は、センサなどの入力デバイス４１と、アクチュエータなどの出力デバイス４２とを含む。
【0052】
出力デバイス４２は、ＰＬＣ２０によって出力を制御されるデバイスである。作業者Ｈｕは、作業Ｏｐを行う際に、出力デバイス４２の出力を利用してもよく、具体的には、作業者Ｈｕは、出力デバイス４２が実行する動作Ａｃを利用して、作業Ｏｐを行ってもよい。すなわち、作業者Ｈｕは、作業Ｏｐを行う際に、出力デバイス４２を工具として利用してもよく、言い換えれば、出力デバイス４２は、作業者Ｈｕが作業Ｏｐを行う際に作業者Ｈｕが利用する工具であってもよい。例えば、作業工程Ｐｒ（ｘ）に含まれる作業Ｏｐ（ｘ）を作業者Ｈｕが行う際には、出力デバイス４２（ｘ）が利用されてもよく、具体的には、出力デバイス４２（ｘ）が実行する動作Ａｃ（ｘ）を利用して、作業者Ｈｕは作業Ｏｐ（ｘ）を行ってもよい。
【0053】
入力デバイス４１は、作業Ｏｐに用いられる工具（例えば、出力デバイス４２、および、後述する出力デバイス４２以外の器具９０）、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態を検知するセンサ（検知装置）である。例えば、入力デバイス４１は、工具の消費電力、工具・作業対象物Ｏｂ等の作業者Ｈｕによる把持、工具・作業場Ａｒ・作業対象物Ｏｂ等が備えるボタンの作業者Ｈｕによる押下、工具・作業場Ａｒ・作業対象物Ｏｂ等が備える開閉機構の開閉などを検知する。
【0054】
具体的には、入力デバイス４１は、例えば電流検知センサであり、作業者Ｈｕが「作業Ｏｐ（ｘ）：ネジ締め作業」を行う際に利用する「器具９０（ｘ）：電動ドライバ」に流れる電流を検知してもよい。また、入力デバイス４１は、例えば把持センサであり、「器具９０（ｘ）：電動ドライバ」が作業者Ｈｕによって把持されたのを検知してもよい。さらに、入力デバイス４１は、例えば開始/終了ボタンであり、作業者Ｈｕによる押下を検知してもよい。また、入力デバイス４１は、例えば光電センサであり、工具・作業場Ａｒ・作業対象物Ｏｂ等が備える開閉機構の開閉を検知してもよい。
【0055】
入力デバイス４１は、検知した状態を示す情報（以下、「検知情報Ｉｄ」とも称する）を、制御ネットワーク５０を介して、ＰＬＣ２０へと周期的に出力する。特に、入力デバイス４１は、「作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態を検知した時刻（検知時刻Ｔｄ）」を、検知情報Ｉｄに含めてＰＬＣ２０へと周期的に出力する。
【0056】
機器４０について、複数の機器４０の各々を区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別し、特に区別する必要がない場合は単に「機器４０」と称する。同様に、入力デバイス４１について、複数の入力デバイス４１の各々を区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別し、特に区別する必要がない場合は単に「入力デバイス４１」と称する。また、出力デバイス４２について、複数の出力デバイス４２の各々を区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別し、特に区別する必要がない場合は単に「出力デバイス４２」と称する。
【0057】
さらに、動作Ａｃについて、複数の動作Ａｃの各々を区別する必要がある場合には、符号に「（１）」、「（２）」、「（３）」、・・・、「（ｎ）」等の添え字を付して区別し、特に区別する必要がない場合は単に「動作Ａｃ」と称する。
【0058】
また、「作業Ｏｐ（ｘ）に用いられる工具（例えば、出力デバイス４２（ｘ）または器具９０（ｘ））、作業対象物Ｏｂ（ｘ）、および、作業場Ａｒ（ｘ）の少なくとも１つの状態」を示す検知情報Ｉｄを、特に「検知情報Ｉｄ（ｘ）」と表現することがある。
【0059】
（工具について）
工場Ｆａは、出力デバイス４２に加えて、出力デバイス４２以外の器具９０（不図示）を備えてもよい。作業者Ｈｕは、作業Ｏｐを行う際、器具９０を利用してもよく、具体的には、作業者Ｈｕは、器具９０が実行する動作Ａｃを利用して、作業Ｏｐを行ってもよい。例えば、作業工程Ｐｒ（ｘ）に含まれる作業Ｏｐ（ｘ）を作業者Ｈｕが行う際には、器具９０（ｘ）が利用されてもよく、具体的には、器具９０（ｘ）が実行する動作Ａｃ（ｘ）を利用して、作業者Ｈｕは作業Ｏｐ（ｘ）を行ってもよい。一例を挙げれば、作業者Ｈｕは、「器具９０（ｘ）：電動ドライバ」の実行する「動作Ａｃ（ｘ）：回転動作」を利用して、「作業Ｏｐ（ｘ）：ネジ締め作業」を行ってもよい。
工場Ｆａは、出力デバイス４２に加えて、出力デバイス４２以外の器具９０（不図示）を備えてもよい。作業者Ｈｕは、作業Ｏｐを行う際、器具９０を利用してもよく、具体的には、作業者Ｈｕは、器具９０が実行する動作Ａｃを利用して、作業Ｏｐを行ってもよい。例えば、作業工程Ｐｒ（ｘ）に含まれる作業Ｏｐ（ｘ）を作業者Ｈｕが行う際には、器具９０（ｘ）が利用されてもよく、具体的には、器具９０（ｘ）が実行する動作Ａｃ（ｘ）を利用して、作業者Ｈｕは作業Ｏｐ（ｘ）を行ってもよい。一例を挙げれば、作業者Ｈｕは、「器具９０（ｘ）：電動ドライバ」の実行する「動作Ａｃ（ｘ）：回転動作」を利用して、「作業Ｏｐ（ｘ）：ネジ締め作業」を行ってもよい。
【0060】
前述の通り、器具９０の状態（例えば、作業者Ｈｕによって使用されているとの状態）は、入力デバイス４１によって検知され、入力デバイス４１は、検知した「器具９０の状態」を、制御ネットワーク５０を介して、ＰＬＣ２０へと周期的に出力する。すなわち、入力デバイス４１は、「器具９０の状態」を検知すると、検知した「器具９０の状態」と、その「器具９０の状態」を検知した時刻（検知時刻Ｔｄ）とを含む検知情報Ｉｄを、ＰＬＣ２０へと周期的に出力する。
【0061】
（作業場画像について）
作業場画像Ｉｃは、作業場Ａｒを撮像した撮像画像であり、複数の作業場画像Ｉｃの各々は、複数の作業場Ａｒの各々を撮像した撮像画像である。例えば、作業場画像Ｉｃは、作業場Ａｒにおいて作業Ｏｐを行っている作業者Ｈｕを略正面から撮像した撮像画像であり、作業場画像Ｉｃは作業場Ａｒごとに生成される撮像画像である。
作業場画像Ｉｃは、作業場Ａｒを撮像した撮像画像であり、複数の作業場画像Ｉｃの各々は、複数の作業場Ａｒの各々を撮像した撮像画像である。例えば、作業場画像Ｉｃは、作業場Ａｒにおいて作業Ｏｐを行っている作業者Ｈｕを略正面から撮像した撮像画像であり、作業場画像Ｉｃは作業場Ａｒごとに生成される撮像画像である。
【0062】
複数の作業場画像Ｉｃは、各々に撮像されている作業場Ａｒによって区別されてもよい。例えば、複数の作業場画像Ｉｃの各々と、各々の作業場画像Ｉｃに撮像されている作業場Ａｒとを対応付けることによって、複数の作業場画像Ｉｃの各々を区別してもよい。
【0063】
すなわち、作業場Ａｒ（１）を撮像した作業場画像Ｉｃを作業場画像Ｉｃ（１）と記載し、作業場Ａｒ（２）を撮像した作業場画像Ｉｃを作業場画像Ｉｃ（２）と記載してもよい。同様に、作業場Ａｒ（ｎ）を撮像した作業場画像Ｉｃを作業場画像Ｉｃ（ｎ）と記載してもよい。
【0064】
複数の作業場画像Ｉｃについて、各々に撮像されている作業場Ａｒによって複数の作業場画像Ｉｃを互いに区別する必要がない場合には、単に「作業場画像Ｉｃ」と称する。
【0065】
（全体画像について）
作業場画像Ｉｃが作業場Ａｒごとの撮像画像であるのに対して、全体画像Ｉａは、複数の作業場Ａｒが撮像されている撮像画像であり、例えば、工場Ｆａの天井から見下ろした、工場Ｆａの全体が撮像されている撮像画像である。
作業場画像Ｉｃが作業場Ａｒごとの撮像画像であるのに対して、全体画像Ｉａは、複数の作業場Ａｒが撮像されている撮像画像であり、例えば、工場Ｆａの天井から見下ろした、工場Ｆａの全体が撮像されている撮像画像である。
【0066】
以下では先ず、図２を用いて、情報処理装置１０を含む制御システム１等の概要について説明する。
【0067】
（情報処理装置を含むシステムの全体概要について）
図２は、情報処理装置１０を含む制御システム１等の全体概要を示す図である。これまで説明してきた環境について、情報処理装置１０は、作業場Ａｒを撮像した作業場画像Ｉｃから、作業場画像Ｉｃに撮像されている作業者Ｈｕが行っている作業Ｏｐの内容を高精度に推定する。
図２は、情報処理装置１０を含む制御システム１等の全体概要を示す図である。これまで説明してきた環境について、情報処理装置１０は、作業場Ａｒを撮像した作業場画像Ｉｃから、作業場画像Ｉｃに撮像されている作業者Ｈｕが行っている作業Ｏｐの内容を高精度に推定する。
【0068】
セルカメラ３０は、作業場Ａｒ（つまり、セル）に設置され、作業場画像Ｉｃを生成する。例えば、作業場Ａｒごとにセルカメラ３０が設置され、複数のセルカメラ３０の各々は、作業場Ａｒごとに、作業場Ａｒにおいて作業Ｏｐを行っている作業者Ｈｕを略正面から撮像可能な位置に設置される。セルカメラ３０は、生成した作業場画像Ｉｃを、情報処理装置１０へと出力し、特に、作業場Ａｒを撮像した時刻である撮像時刻Ｔｐと共に、作業場画像Ｉｃを、情報処理装置１０へと出力する。
【0069】
工場Ｆａにおいて作業場Ａｒごとに設置されたセルカメラ３０を互いに区別する場合、複数のセルカメラ３０の各々と、各々のセルカメラ３０が設置されている作業場Ａｒとを対応付けることによって、複数のセルカメラ３０の各々を区別してもよい。例えば、作業場Ａｒ（１）に設置されているセルカメラ３０をセルカメラ３０（１）と記載し、作業場Ａｒ（２）に設置されているセルカメラ３０をセルカメラ３０（２）と記載してもよい。同様に、作業場Ａｒ（ｎ）に設置されているセルカメラ３０をセルカメラ３０（ｎ）と記載してもよい。
【0070】
天井カメラ８０は、例えば工場Ｆａの天井に設置され、複数の作業場Ａｒを斜め上から見下ろす全体画像Ｉａを生成し、例えば、１台の天井カメラ８０によって工場Ｆａの全体を撮像した全体画像Ｉａを生成する。ただし、天井カメラ８０が工場Ｆａの天井に１台設置されることは必須ではなく、工場Ｆａの天井に設置された複数の天井カメラ８０の各々が、工場Ｆａ内の複数の作業場Ａｒを撮像した全体画像Ｉａを生成してもよい。つまり、天井カメラ８０は、複数の作業場Ａｒを撮像した全体画像Ｉａを生成できればよい。
【0071】
以下の説明においては、工場Ｆａの天井に、広域撮像カメラである天井カメラ８０を１台設置し、１台の天井カメラ８０が、工場Ｆａの全体を俯瞰して撮像した全体画像Ｉａを生成する例を説明する。天井カメラ８０は、生成した全体画像Ｉａを、情報処理装置１０へと出力し、特に、工場Ｆａの全体を撮像した時刻（つまり、全体画像Ｉａを生成した時刻）である全体時刻Ｔａと共に、全体画像Ｉａを、情報処理装置１０へと出力する。
【0072】
（作業場画像に対する画像解析による、作業内容の予測）
情報処理装置１０は、制御システム１に含まれ、例えばＵＳＢ（Universal Serial Bus）ケーブルを介して、セルカメラ３０と通信可能に接続されている。情報処理装置１０は、セルカメラ３０から、作業場Ａｒを撮像した作業場画像Ｉｃを取得し、取得した作業場画像Ｉｃに対し画像解析を実行して、作業場画像Ｉｃに撮像されている作業者Ｈｕが作業対象物Ｏｂについて行っている作業Ｏｐの内容を予測する。情報処理装置１０は、ＨＯＩ（Human Object Interaction）検出アルゴリズムを用いて、作業場画像Ｉｃから、「作業場画像Ｉｃに撮像されている作業者Ｈｕが作業対象物Ｏｂについて行っている作業Ｏｐの内容」を予測する。特に、情報処理装置１０は、セルカメラ３０から、作業場画像Ｉｃと共に、作業場画像Ｉｃが生成された時刻である撮像時刻Ｔｐを取得し、取得した作業場画像Ｉｃと撮像時刻Ｔｐとから、以下の予測を実行する。すなわち、情報処理装置１０は、「撮像時刻Ｔｐにおいて、作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場Ａｒで、作業対象物Ｏｂについて行っている作業Ｏｐの内容」を予測する。作業場画像Ｉｃから予測される「作業者Ｈｕが作業対象物Ｏｂについて行っている作業Ｏｐの内容」を、特に、「撮像時刻Ｔｐにおいて、作業者Ｈｕが、作業場Ａｒで作業対象物Ｏｂについて行っている作業Ｏｐの内容」を、第一予測Ｐｆとも称する。
情報処理装置１０は、制御システム１に含まれ、例えばＵＳＢ（Universal Serial Bus）ケーブルを介して、セルカメラ３０と通信可能に接続されている。情報処理装置１０は、セルカメラ３０から、作業場Ａｒを撮像した作業場画像Ｉｃを取得し、取得した作業場画像Ｉｃに対し画像解析を実行して、作業場画像Ｉｃに撮像されている作業者Ｈｕが作業対象物Ｏｂについて行っている作業Ｏｐの内容を予測する。情報処理装置１０は、ＨＯＩ（Human Object Interaction）検出アルゴリズムを用いて、作業場画像Ｉｃから、「作業場画像Ｉｃに撮像されている作業者Ｈｕが作業対象物Ｏｂについて行っている作業Ｏｐの内容」を予測する。特に、情報処理装置１０は、セルカメラ３０から、作業場画像Ｉｃと共に、作業場画像Ｉｃが生成された時刻である撮像時刻Ｔｐを取得し、取得した作業場画像Ｉｃと撮像時刻Ｔｐとから、以下の予測を実行する。すなわち、情報処理装置１０は、「撮像時刻Ｔｐにおいて、作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場Ａｒで、作業対象物Ｏｂについて行っている作業Ｏｐの内容」を予測する。作業場画像Ｉｃから予測される「作業者Ｈｕが作業対象物Ｏｂについて行っている作業Ｏｐの内容」を、特に、「撮像時刻Ｔｐにおいて、作業者Ｈｕが、作業場Ａｒで作業対象物Ｏｂについて行っている作業Ｏｐの内容」を、第一予測Ｐｆとも称する。
【0073】
例えば、情報処理装置１０は、作業場Ａｒ（ｘ）を撮像した作業場画像Ｉｃ（ｘ）に対し画像解析を実行して、作業場Ａｒ（ｘ）において作業者Ｈｕ（ｘ）が作業対象物Ｏｂ（ｘ）について行っている作業Ｏｐ（ｘ）の内容を予測する。特に、情報処理装置１０は、作業場画像Ｉｃ（ｘ）から、「作業場画像Ｉｃ（ｘ）が撮像された撮像時刻Ｔｐにおいて、作業者Ｈｕ（ｘ）が、作業場Ａｒ（ｘ）で作業対象物Ｏｂ（ｘ）について行っている作業Ｏｐ（ｘ）の内容」を予測する。作業場画像Ｉｃ（ｘ）から予測される、「作業場画像Ｉｃ（ｘ）が撮像された撮像時刻Ｔｐにおいて、作業者Ｈｕ（ｘ）が、作業場Ａｒ（ｘ）で作業対象物Ｏｂ（ｘ）について行っている作業Ｏｐ（ｘ）の内容」を、特に「第一予測Ｐｆ（ｘ）」と称することがある。
【0074】
（全体画像に対する画像解析による、作業者の存否の予測）
情報処理装置１０は、制御システム１に含まれ、例えばＵＳＢ（Universal Serial Bus）ケーブルを介して、天井カメラ８０と通信可能に接続されている。情報処理装置１０は、天井カメラ８０から、工場Ｆａの全体を俯瞰して撮像した全体画像Ｉａを取得し、取得した全体画像Ｉａに対し画像解析を実行して、作業者Ｈｕが作業場Ａｒに居るかを予測する。情報処理装置１０は、例えばＹＯＬＯなどの動線検出アルゴリズム（物体検出アルゴリズム）を利用して、全体画像Ｉａから、「全体画像Ｉａに撮像されている作業場Ａｒに、作業者Ｈｕが居るか」を予測する。特に、情報処理装置１０は、天井カメラ８０から、全体画像Ｉａと共に、全体画像Ｉａが生成された時刻である全体時刻Ｔａを取得し、取得した全体画像Ｉａと全体時刻Ｔａとから、以下の予測を実行する。すなわち、情報処理装置１０は、「全体時刻Ｔａにおいて、作業者Ｈｕが作業場Ａｒ（特に、作業場画像Ｉｃに撮像されている作業場Ａｒ）に居るか」を予測する。
情報処理装置１０は、制御システム１に含まれ、例えばＵＳＢ（Universal Serial Bus）ケーブルを介して、天井カメラ８０と通信可能に接続されている。情報処理装置１０は、天井カメラ８０から、工場Ｆａの全体を俯瞰して撮像した全体画像Ｉａを取得し、取得した全体画像Ｉａに対し画像解析を実行して、作業者Ｈｕが作業場Ａｒに居るかを予測する。情報処理装置１０は、例えばＹＯＬＯなどの動線検出アルゴリズム（物体検出アルゴリズム）を利用して、全体画像Ｉａから、「全体画像Ｉａに撮像されている作業場Ａｒに、作業者Ｈｕが居るか」を予測する。特に、情報処理装置１０は、天井カメラ８０から、全体画像Ｉａと共に、全体画像Ｉａが生成された時刻である全体時刻Ｔａを取得し、取得した全体画像Ｉａと全体時刻Ｔａとから、以下の予測を実行する。すなわち、情報処理装置１０は、「全体時刻Ｔａにおいて、作業者Ｈｕが作業場Ａｒ（特に、作業場画像Ｉｃに撮像されている作業場Ａｒ）に居るか」を予測する。
【0075】
したがって、情報処理装置１０は、「撮像時刻Ｔｐに対応する全体時刻Ｔａにおいて、作業場Ａｒ（特に、作業場画像Ｉｃに撮像されている作業場Ａｒ）に作業者Ｈｕが居るか否か」を予測することができる。
【0076】
全体画像Ｉａから予測される「作業場Ａｒにおける作業者Ｈｕの存否」を、特に、「撮像時刻Ｔｐに対応する全体時刻Ｔａにおいて、作業場Ａｒに作業者Ｈｕが居るか否か」の予測を、存否予測Ｐａとも称する。
【0077】
例えば、情報処理装置１０は、「セルカメラ３０（ｘ）が生成した作業場画像Ｉｃ（ｘ）に撮像されている作業場Ａｒ（ｘ）に作業者Ｈｕ（ｘ）が居るか」を、天井カメラ８０が生成した全体画像Ｉａに対する画像解析によって予測する。特に、情報処理装置１０は、全体画像Ｉａから、「『作業場画像Ｉｃ（ｘ）が撮像された撮像時刻Ｔｐ』に対応する全体時刻Ｔａにおいて、作業者Ｈｕ（ｘ）が、作業場Ａｒ（ｘ）に居るか」を予測する。全体画像Ｉａから予測される、「『作業場画像Ｉｃ（ｘ）が撮像された撮像時刻Ｔｐ』に対応する全体時刻Ｔａにおいて、作業者Ｈｕ（ｘ）が作業場Ａｒ（ｘ）に居るか」の予測を、特に「存否予測Ｐａ（ｘ）」と称することがある。
【0078】
（検知情報を用いた、作業内容の予測）
また、情報処理装置１０は、ＰＬＣ（Programmable Logic Controller）２０から、ＰＬＣ２０によって動作Ａｃを制御される機器４０が実行した動作Ａｃの内容および結果を示す動作結果Ｌａから生成された工程情報Ｉｐを取得する。工程情報Ｉｐには、例えば、「機器４０が動作Ａｃを実行した時刻」、および、「機器４０による動作Ａｃの実行が、入力デバイス４１等によって検知された時刻」の少なくとも一方が、検知時刻Ｔｄとして含まれている。
また、情報処理装置１０は、ＰＬＣ（Programmable Logic Controller）２０から、ＰＬＣ２０によって動作Ａｃを制御される機器４０が実行した動作Ａｃの内容および結果を示す動作結果Ｌａから生成された工程情報Ｉｐを取得する。工程情報Ｉｐには、例えば、「機器４０が動作Ａｃを実行した時刻」、および、「機器４０による動作Ａｃの実行が、入力デバイス４１等によって検知された時刻」の少なくとも一方が、検知時刻Ｔｄとして含まれている。
【0079】
情報処理装置１０は、ＰＬＣ２０から取得する工程情報Ｉｐによって、出力デバイス４２の状態（例えば、動作Ａｃの内容および結果を含む動作状態）を把握し、把握した状態から、作業者Ｈｕが出力デバイス４２を用いて行っている作業Ｏｐの内容を予測する。特に、情報処理装置１０は、検知時刻Ｔｄを含む工程情報Ｉｐから、「『撮像時刻Ｔｐに対応する検知時刻Ｔｄ』における出力デバイス４２の状態」を把握する。そして、情報処理装置１０は、把握した「『撮像時刻Ｔｐに対応する検知時刻Ｔｄ』における出力デバイス４２の状態」から、「『撮像時刻Ｔｐに対応する検知時刻Ｔｄ』において、作業者Ｈｕが出力デバイス４２を用いて行っている作業Ｏｐの内容」を予測する。
【0080】
ただし、ＰＬＣ２０が、機器４０の出力等から出力デバイス４２の状態を把握し、把握した状態から作業者Ｈｕが出力デバイス４２を用いて行っている作業Ｏｐの内容を予測してもよい。そして、ＰＬＣ２０は、予測した作業Ｏｐの内容を含む工程情報Ｉｐを、情報処理装置１０に出力してもよい。すなわち、出力デバイス４２の状態から作業者Ｈｕが出力デバイス４２を用いて行っている作業Ｏｐの内容を予測するのは、ＰＬＣ２０であっても、情報処理装置１０であってもよい。情報処理装置１０は、出力デバイス４２の状態から予測される「作業者Ｈｕが出力デバイス４２を用いて行っている作業Ｏｐの内容」を取得または生成できればよい。
【0081】
ここで、工程情報Ｉｐは、「ＰＬＣ２０の制御する機器４０の出力、および、ＰＬＣ２０による出力デバイス４２に対する制御内容」等から生成される、出力デバイス４２等の状態を示す情報である。そのため、ＰＬＣ２０は、「出力デバイス４２からフィードバックとして取得する出力デバイス４２の出力、および、出力デバイス４２に対する制御内容」等から、出力デバイス４２の状態を検知する検知装置と捉えることもできる。また、工程情報Ｉｐは、「作業Ｏｐに用いられる工具（例えば、出力デバイス４２、および、器具９０）、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を示す情報である「検知情報Ｉｄ」の一種と捉えることもできる。
【0082】
さらに、情報処理装置１０は、ＰＬＣ２０から、入力デバイス４１によって検知された「作業Ｏｐに用いられる工具（例えば、出力デバイス４２、および、器具９０）、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を示す検知情報Ｉｄを取得する。
【0083】
なお、情報処理装置１０は、ＰＬＣ２０を介さずに、入力デバイス４１から直接、入力デバイス４１の検知した状態を示す検知情報Ｉｄを取得してもよい。
【0084】
検知情報Ｉｄには、入力デバイス４１が「作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を検知した時刻である検知時刻Ｔｄが含まれる。
【0085】
情報処理装置１０は、ＰＬＣ２０から取得する検知情報Ｉｄによって、作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態を把握し、把握した状態から、作業者Ｈｕが行っている作業Ｏｐの内容を予測する。
【0086】
ただし、入力デバイス４１から取得した検知情報Ｉｄによって、工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態を把握し、把握した状態から作業者Ｈｕが行っている作業Ｏｐの内容を予測するのは、ＰＬＣ２０であってもよい。そして、ＰＬＣ２０が、予測した作業Ｏｐの内容を含む工程情報Ｉｐを、情報処理装置１０に出力してもよい。すなわち、工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態から作業者Ｈｕが行っている作業Ｏｐの内容を予測するのは、ＰＬＣ２０であっても、情報処理装置１０であってもよい。情報処理装置１０は、工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態から予測される「作業者Ｈｕが行っている作業Ｏｐの内容」を取得または生成できればよい。
【0087】
すなわち、情報処理装置１０は、ＰＬＣ２０から取得する、「作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を示す検知情報Ｉｄ（工程情報Ｉｐを含む）を取得する。情報処理装置１０は、取得した検知情報Ｉｄから、「作業者Ｈｕが行っている作業Ｏｐの内容」を予測し、特に、「『撮像時刻Ｔｐに対応する検知時刻Ｔｄ』において、作業者Ｈｕが行っている作業Ｏｐの内容」を予測する。ただし、情報処理装置１０は、ＰＬＣ２０が検知情報Ｉｄから予測した「作業者Ｈｕが行っている作業Ｏｐの内容」を、検知情報Ｉｄと共に、または、検知情報Ｉｄに代えて、ＰＬＣ２０から取得してもよい。例えば、情報処理装置１０は、「『撮像時刻Ｔｐに対応する検知時刻Ｔｄ』において、作業者Ｈｕが行っている作業Ｏｐの内容」を、検知情報Ｉｄと共に、または、検知情報Ｉｄに代えて、ＰＬＣ２０から取得してもよい。
【0088】
検知情報Ｉｄ（工程情報Ｉｐを含む）から予測される「作業者Ｈｕが行っている作業Ｏｐの内容」を、特に、「『撮像時刻Ｔｐに対応する検知時刻Ｔｄ』において、作業者Ｈｕが行っている作業Ｏｐの内容」を、作業予測Ｐｏとも称する。
【0089】
例えば、情報処理装置１０は、作業場Ａｒ（ｘ）において作業者Ｈｕ（ｘ）が行っている作業Ｏｐ（ｘ）の内容を、以下の検知情報Ｉｄ（ｘ）（工程情報Ｉｐ（ｘ）を含む）から予測する。すなわち、情報処理装置１０は、「作業場Ａｒ（ｘ）に備えられた工具、作業場Ａｒ（ｘ）に配置されている作業対象物Ｏｂ（ｘ）、および、作業場Ａｒ（ｘ）の少なくとも１つの状態」を示す検知情報Ｉｄ（ｘ）から、作業Ｏｐ（ｘ）の内容を予測する。「作業場Ａｒ（ｘ）に備えられた工具（例えば、出力デバイス４２（ｘ）、および、器具９０（ｘ）の少なくとも一方）」は、作業者Ｈｕ（ｘ）が作業Ｏｐ（ｘ）を行う際に用いる工具である。特に、情報処理装置１０は、工程情報Ｉｐ（ｘ）から、「『撮像時刻Ｔｐに対応する検知時刻Ｔｄ』において、作業者Ｈｕ（ｘ）が、作業場Ａｒ（ｘ）で作業対象物Ｏｂ（ｘ）について行っている作業Ｏｐ（ｘ）の内容」を予測する。検知情報Ｉｄ（ｘ）（工程情報Ｉｐ（ｘ）を含む）から予測される「『撮像時刻Ｔｐに対応する検知時刻Ｔｄ』において、作業者Ｈｕ（ｘ）が行っている作業Ｏｐ（ｘ）の内容」を、「作業予測Ｐｏ（ｘ）」と称することがある。
【0090】
（予測した作業内容の検証と、推定結果の出力）
情報処理装置１０は、作業場画像Ｉｃから予測した「作業者Ｈｕが作業対象物Ｏｂについて行っている作業Ｏｐの内容」を、以下の２つの予測の少なくとも一方を用いて、検証する。すなわち、情報処理装置１０は、作業場画像Ｉｃから予測した内容を、全体画像Ｉａから予測した「作業者Ｈｕの存否」の予測、および、検知情報Ｉｄから予測された「作業者Ｈｕが行っている作業Ｏｐの内容」の少なくとも一方を用いて、検証する。つまり、情報処理装置１０は、第一予測Ｐｆの正否を、存否予測Ｐａおよび作業予測Ｐｏの少なくとも一方を用いて検証し、特に、第一予測Ｐｆ（ｘ）の正否を、存否予測Ｐａ（ｘ）および作業予測Ｐｏ（ｘ）の少なくとも一方を用いて検証する。
情報処理装置１０は、作業場画像Ｉｃから予測した「作業者Ｈｕが作業対象物Ｏｂについて行っている作業Ｏｐの内容」を、以下の２つの予測の少なくとも一方を用いて、検証する。すなわち、情報処理装置１０は、作業場画像Ｉｃから予測した内容を、全体画像Ｉａから予測した「作業者Ｈｕの存否」の予測、および、検知情報Ｉｄから予測された「作業者Ｈｕが行っている作業Ｏｐの内容」の少なくとも一方を用いて、検証する。つまり、情報処理装置１０は、第一予測Ｐｆの正否を、存否予測Ｐａおよび作業予測Ｐｏの少なくとも一方を用いて検証し、特に、第一予測Ｐｆ（ｘ）の正否を、存否予測Ｐａ（ｘ）および作業予測Ｐｏ（ｘ）の少なくとも一方を用いて検証する。
【0091】
第一予測Ｐｆ（ｘ）は、情報処理装置１０が作業場画像Ｉｃ（ｘ）から予測した、「作業場Ａｒ（ｘ）において作業者Ｈｕ（ｘ）が作業対象物Ｏｂ（ｘ）について行っている作業Ｏｐ（ｘ）の内容」の予測である。「第一予測Ｐｆ（ｘ）」は、例えば、作業場画像Ｉｃ（ｘ）から予測された、「作業場画像Ｉｃ（ｘ）が撮像された撮像時刻Ｔｐにおいて、作業者Ｈｕ（ｘ）が、作業場Ａｒ（ｘ）で作業対象物Ｏｂ（ｘ）について行っている作業Ｏｐ（ｘ）の内容」である。
【0092】
存否予測Ｐａ（ｘ）は、情報処理装置１０が全体画像Ｉａから予測した、「作業場Ａｒ（ｘ）に作業者Ｈｕが存在するか否か」の予測である。存否予測Ｐａ（ｘ）は、例えば、全体画像Ｉａから予測された、「『作業場画像Ｉｃ（ｘ）が撮像された撮像時刻Ｔｐ』に対応する全体時刻Ｔａにおいて、作業者Ｈｕ（ｘ）が作業場Ａｒ（ｘ）に居るか」の予測である。
【0093】
作業予測Ｐｏ（ｘ）は、情報処理装置１０が検知情報Ｉｄ（ｘ）から予測した、「作業場Ａｒ（ｘ）において作業者Ｈｕ（ｘ）が行っている作業Ｏｐ（ｘ）の内容」の予測である。作業予測Ｐｏ（ｘ）は、例えば、検知情報Ｉｄ（ｘ）から予測された、「『撮像時刻Ｔｐに対応する検知時刻Ｔｄ』において、作業者Ｈｕ（ｘ）が作業場Ａｒ（ｘ）で行っている作業Ｏｐ（ｘ）の内容」である。
【0094】
例えば、情報処理装置１０（特に、後述する判定部１５０）は、存否予測Ｐａ（ｘ）において、「作業場Ａｒ（ｘ）に作業者Ｈｕが存在する」と予測されていると、「第一予測Ｐｆ（ｘ）は正しい」と判定する。より具体的には、情報処理装置１０は、存否予測Ｐａ（ｘ）として、「『撮像時刻Ｔｐに対応する全体時刻Ｔａ』において、作業者Ｈｕ（ｘ）が作業場Ａｒ（ｘ）に居る」と予測されていると、「第一予測Ｐｆ（ｘ）は正しい」と判定する。そして、情報処理装置１０（特に、後述する推定部１６０）は、判定部１５０によって正しいと判定された第一予測Ｐｆ（ｘ）を、推定結果として、外部へと出力する。
【0095】
例えば、情報処理装置１０（特に、後述する判定部１５０）は、作業予測Ｐｏ（ｘ）における作業Ｏｐ（ｘ）と第一予測Ｐｆ（ｘ）における作業Ｏｐ（ｘ）とが一致すると、「第一予測Ｐｆ（ｘ）は正しい」と判定する。より具体的には、情報処理装置１０は、存否予測Ｐａ（ｘ）における「『撮像時刻Ｔｐに対応する検知時刻Ｔｄ』での作業Ｏｐ（ｘ）の内容」と、第一予測Ｐｆ（ｘ）における「撮像時刻Ｔｐでの作業Ｏｐ（ｘ）の内容」とが一致しているか否かを確認する。そして、情報処理装置１０は、両者が一致していることを確認すると、「第一予測Ｐｆ（ｘ）は正しい」と判定する。そして、情報処理装置１０（特に、後述する推定部１６０）は、判定部１５０によって正しいと判定された第一予測Ｐｆ（ｘ）を、推定結果として、外部へと出力する。
【0096】
例えば、情報処理装置１０（特に、後述する判定部１５０）は、存否予測Ｐａ（ｘ）において「作業場Ａｒ（ｘ）に作業者Ｈｕが存在する」と予測された場合に、作業予測Ｐｏ（ｘ）と第一予測Ｐｆ（ｘ）とが一致するかを確認する。より具体的には、情報処理装置１０は、存否予測Ｐａ（ｘ）として、「『撮像時刻Ｔｐに対応する全体時刻Ｔａ』において、作業者Ｈｕ（ｘ）が作業場Ａｒ（ｘ）に居る」と予測された場合に、作業予測Ｐｏ（ｘ）と第一予測Ｐｆ（ｘ）との一致を確認する。情報処理装置１０は、存否予測Ｐａ（ｘ）における「撮像時刻Ｔｐに対応する検知時刻Ｔｄでの作業Ｏｐ（ｘ）の内容」と、第一予測Ｐｆ（ｘ）における「撮像時刻Ｔｐでの作業Ｏｐ（ｘ）の内容」との一致を確認すると、第一予測Ｐｆ（ｘ）は正しいと判定する。そして、情報処理装置１０（特に、後述する推定部１６０）は、判定部１５０によって正しいと判定された第一予測Ｐｆ（ｘ）を、推定結果として、外部へと出力する。
【0097】
（マスタスレーブ制御システムについて）
制御システム１において、工場Ｆａにおける作業工程Ｐｒを実施するのに用いられる機器４０は、ラインコントローラとしてのＰＬＣ２０により制御される。すなわち、ＰＬＣ２０をマスタとし、複数の機器４０の各々をスレーブとするマスタスレーブ制御システムとしての制御システム１が構築され、複数の機器４０の各々はネットワーク（制御ネットワーク５０）を介してＰＬＣ２０に通信可能に接続されている。ＰＬＣ２０は、制御ネットワーク５０を介したデータ伝送を管理しているという意味で「マスタ」と呼ばれる。「マスタ」および「スレーブ」は、制御ネットワーク５０上のデータ伝送の制御機能に着目して定義されるものであり、各装置間でどのような情報が送受信されるかについては、特に限定されない。
制御システム１において、工場Ｆａにおける作業工程Ｐｒを実施するのに用いられる機器４０は、ラインコントローラとしてのＰＬＣ２０により制御される。すなわち、ＰＬＣ２０をマスタとし、複数の機器４０の各々をスレーブとするマスタスレーブ制御システムとしての制御システム１が構築され、複数の機器４０の各々はネットワーク（制御ネットワーク５０）を介してＰＬＣ２０に通信可能に接続されている。ＰＬＣ２０は、制御ネットワーク５０を介したデータ伝送を管理しているという意味で「マスタ」と呼ばれる。「マスタ」および「スレーブ」は、制御ネットワーク５０上のデータ伝送の制御機能に着目して定義されるものであり、各装置間でどのような情報が送受信されるかについては、特に限定されない。
【0098】
ＰＬＣ２０は、制御システム１全体を制御する制御装置（コントローラ）であり、複数の機器４０の各々と通信可能に接続されている。ＰＬＣ２０は、入力デバイス４１（計測デバイス）としての複数の機器４０の各々からの情報を入力データとして取得する。ＰＬＣ２０は、予め組み込まれたユーザプログラムに従って、取得した入力データを用いた演算処理を実行する。ＰＬＣ２０は、前記演算処理を実行して、制御システム１に対する制御内容を決定し、例えば、アクチュエータなどの出力デバイス４２としての複数の機器４０の各々への制御内容を決定する。そして、ＰＬＣ２０は、決定した制御内容に対応する制御データを、複数の機器４０（特に、出力デバイス４２）の各々へと出力する。ＰＬＣ２０は、複数の機器４０（具体的には、入力デバイス４１）の各々からの入力データの取得と、複数の機器４０（具体的には、出力デバイス４２）の各々への制御データの取得とを、所定の周期（制御周期）で繰り返し実行する。ＰＬＣ２０には、例えば、不図示の表示部および操作部が接続されてもよい。表示部は、画像を表示可能な液晶パネル等で構成され、また、操作部は、典型的には、タッチパネル、キーボード、マウス等で構成される。
【0099】
機器４０は、ＰＬＣ２０をマスタとするマスタスレーブ制御システムとしての制御システム１におけるスレーブである。機器４０は、所定の制御周期ごとに繰り返し入力データをＰＬＣ２０へと送信する入力デバイス４１であり、または、所定の制御周期ごとに繰り返し制御データをＰＬＣ２０から受信し、受信した制御データにしたがって動作する出力デバイス４２である。
【0100】
機器４０（特に、入力デバイス４１）は、例えば、入力データとして、ＰＬＣ２０に検知結果等を送信するセンサである。例えば、入力デバイス４１は、光電センサであってもよく、また、読み取り結果を送信するバーコードリーダであってもよく、さらに、検査結果を送信する検査機（テスター）であってもよい。
【0101】
機器４０（具体的には、出力デバイス４２）は、ネジ締め、ピッキング等を実行する出力デバイスとしてのロボット等であってもよいし、各種のアクチュエータであってもよい。
【0102】
また、機器４０は、複数の入力デバイス４１が接続されたＰＴ（Programmable Terminal）であってもよい。
【0103】
制御ネットワーク５０は、ＰＬＣ２０が受信し、またはＰＬＣ２０が送信する各種データを伝送し、典型的には、各種の産業用イーサネット（登録商標）を用いることができ、フィールドネットワークと称されることもある。産業用イーサネット（登録商標）としては、たとえば、ＥｔｈｅｒＣＡＴ（登録商標）、Ｐｒｏｆｉｎｅｔ ＩＲＴ、ＭＥＣＨＡＴＲＯＬＩＮＫ（登録商標）－ＩＩＩ、Ｐｏｗｅｒｌｉｎｋ、ＳＥＲＣＯＳ（登録商標）－ＩＩＩ、ＣＩＰ Ｍｏｔｉｏｎなどが知られており、これらのうちのいずれを採用してもよい。さらに、産業用イーサネット（登録商標）以外のフィールドネットワークを用いてもよい。たとえば、モーション制御を行わない場合であれば、ＤｅｖｉｃｅＮｅｔ、ＣｏｍｐｏＮｅｔ／ＩＰ（登録商標）などを用いてもよい。
【0104】
本実施形態では、制御ネットワーク５０上をデータフレームが順次転送されることで、ＰＬＣ２０（マスタ）と機器４０（スレーブ）との間でデータが送受信される制御システム１について説明を行う。すなわち、制御ネットワーク５０上をデータフレームが所定の制御周期で順次転送されることで、ＰＬＣ２０と機器４０との間でデータが制御周期ごとに繰り返し送受信される。制御ネットワーク５０上をデータフレームが順次転送されることで、複数の機器４０の間で、つまり、複数のスレーブ間で、データが送受信されてもよい。
【0105】
情報処理装置１０は、制御システム１に含まれるが、情報処理装置１０は、制御システム１におけるスレーブでなくともよい。
【0106】
機器４０をスレーブとするマスタスレーブ制御システムである制御システム１において、マスタであるＰＬＣ２０は、例えば所定の制御周期ごとに繰り返し、スレーブである機器４０から、動作結果Ｌａおよび検知情報Ｉｄを受信する。
【0107】
（工程情報について）
機器４０をスレーブとするマスタスレーブ制御システムである制御システム１において、マスタであるＰＬＣ２０は、例えば所定の制御周期ごとに繰り返し、スレーブである機器４０から、動作結果Ｌａを受信する。動作結果Ｌａは、「機器４０の実行した動作Ａｃの内容および結果」を示す情報である。すなわち、機器４０は、作業工程Ｐｒの実施に際して実際に実行した動作Ａｃの内容および結果を示す動作結果Ｌａを、所定の周期で繰り返し、ＰＬＣ２０へと送信する。例えば、機器４０（ｘ）は、作業工程Ｐｒ（ｘ）の実施の際に実行した動作Ａｃ（ｘ）の内容および結果を示す動作結果Ｌａ（ｘ）を、制御周期で繰り返し、ＰＬＣ２０へと送信する。
機器４０をスレーブとするマスタスレーブ制御システムである制御システム１において、マスタであるＰＬＣ２０は、例えば所定の制御周期ごとに繰り返し、スレーブである機器４０から、動作結果Ｌａを受信する。動作結果Ｌａは、「機器４０の実行した動作Ａｃの内容および結果」を示す情報である。すなわち、機器４０は、作業工程Ｐｒの実施に際して実際に実行した動作Ａｃの内容および結果を示す動作結果Ｌａを、所定の周期で繰り返し、ＰＬＣ２０へと送信する。例えば、機器４０（ｘ）は、作業工程Ｐｒ（ｘ）の実施の際に実行した動作Ａｃ（ｘ）の内容および結果を示す動作結果Ｌａ（ｘ）を、制御周期で繰り返し、ＰＬＣ２０へと送信する。
【0108】
ＰＬＣ２０は、例えば、入力デバイス４１（計測デバイス）としての機器４０が実行した計測動作の結果である計測結果を、機器４０の動作結果Ｌａとして取得する。また、機器４０が検査機である場合、ＰＬＣ２０は、機器４０が実行した検査動作の結果を、例えば、「検査基準を満たした、または、満たさなかった」といった検査結果を、機器４０の動作結果Ｌａとして取得する。さらに、ＰＬＣ２０は、例えば、出力デバイス４２としての機器４０が実行した出力動作の結果を、機器４０の動作結果Ｌａとして取得する。機器４０がネジ締め、ピッキング等を実行するロボットである場合、ＰＬＣ２０は、ネジ締め回数、ピッキング結果（ピッキングの成功またはピッキングエラー）等の動作結果Ｌａを、機器４０の動作結果Ｌａとして取得する。
【0109】
ＰＬＣ２０は、作業工程Ｐｒの実施に際して機器４０が実際に実行した動作Ａｃの内容および結果を示す動作結果Ｌａを、機器４０から所定の周期で繰り返し受信し、受信した動作結果Ｌａを、工程情報Ｉｐとして情報処理装置１０へと送信し、つまり転送する。また、ＰＬＣ２０は、機器４０から所定の周期で繰り返し受信した動作結果Ｌａを用いて生成した情報を、工程情報Ｉｐとして情報処理装置１０へ送信する。
【0110】
さらに、ＰＬＣ２０は、機器４０から所定の周期で繰り返し受信した動作結果Ｌａを、工程情報Ｉｐとして、制御システム１の外部に送信してもよい。例えば、ＰＬＣ２０は、機器４０から所定の周期で繰り返し受信した動作結果Ｌａを、工程情報Ｉｐとして、ＭＥＳ（Manufacturin g Execution System、製造実行システム）などに接続した、図２に示す社内ＬＡＮ（Local Area Network）に送信してもよい。
【0111】
情報処理装置１０は、ＰＬＣ２０から取得する工程情報Ｉｐ（動作結果Ｌａ）から、作業工程Ｐｒの実施に際し機器４０が実行した動作Ａｃの動作開始時刻Ｔｍｓ、動作完了時刻Ｔｍｅ、動作期間Ｄａを特定する。そして、情報処理装置１０は、特定した動作開始時刻Ｔｍｓ、動作完了時刻Ｔｍｅ、動作期間Ｄａ、および、動作Ａｃに対応する所定の動作基準Ｓａを用いて、動作Ａｃに対する種々の判定を実行する。
【0112】
しかしながら、工程情報Ｉｐに含まれる動作結果Ｌａ（特に、動作Ａｃ）に対する上述の判定は、ＰＬＣ２０が実行してもよく、ＰＬＣ２０は、上述の判定の結果を、工程情報Ｉｐに含めて、または、工程情報Ｉｐに代えて、情報処理装置１０へと送信してもよい。
【0113】
上述の説明において、動作開始時刻Ｔｍｓとは、作業工程Ｐｒに用いられる機器４０が、作業工程Ｐｒの実施に際して、動作Ａｃの実行を開始した時点であり、動作完了時刻Ｔｍｅとは、動作Ａｃの実行を完了した時点である。動作期間Ｄａは、動作開始時刻Ｔｍｓから動作完了時刻Ｔｍｅまでの期間である。
【0114】
前述の通り、工程情報Ｉｐは、「作業Ｏｐに用いられる工具（特に、出力デバイス４２）の状態」を示す情報と捉えることもできる。工程情報Ｉｐは、例えば、「『撮像時刻Ｔｐに対応する検知時刻Ｔｄ』における、作業Ｏｐに用いられる工具（特に、出力デバイス４２）の状態」を示す情報と捉えることもできる。そのため、工程情報Ｉｐは、「作業Ｏｐに用いられる工具（例えば、出力デバイス４２、および、器具９０）、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を示す検知情報Ｉｄの一種と理解することができる。
【0115】
（検知情報について）
制御システム１において、ＰＬＣ２０は、例えば所定の制御周期ごとに繰り返し、スレーブである機器４０（特に、入力デバイス４１）から、検知情報Ｉｄを受信する。検知情報Ｉｄは、入力デバイス４１が検知した「作業Ｏｐに用いられる工具（例えば、出力デバイス４２、および、後述する出力デバイス４２以外の器具９０）、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を示す情報である。すなわち、機器４０（特に、入力デバイス４１）は、「作業者Ｈｕによって作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を、所定の周期で繰り返し、ＰＬＣ２０へと送信する。検知情報Ｉｄには、入力デバイス４１が「作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を検知した時刻（すなわち、検知時刻Ｔｄ）を示す情報が含まれる。
制御システム１において、ＰＬＣ２０は、例えば所定の制御周期ごとに繰り返し、スレーブである機器４０（特に、入力デバイス４１）から、検知情報Ｉｄを受信する。検知情報Ｉｄは、入力デバイス４１が検知した「作業Ｏｐに用いられる工具（例えば、出力デバイス４２、および、後述する出力デバイス４２以外の器具９０）、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を示す情報である。すなわち、機器４０（特に、入力デバイス４１）は、「作業者Ｈｕによって作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を、所定の周期で繰り返し、ＰＬＣ２０へと送信する。検知情報Ｉｄには、入力デバイス４１が「作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を検知した時刻（すなわち、検知時刻Ｔｄ）を示す情報が含まれる。
【0116】
ＰＬＣ２０は、例えば、入力デバイス４１（ｙ）としての機器４０（ｙ）から、器具９０（ｘ）に流れる電流の大きさ（器具９０（ｘ）の消費電力等）を示す情報を、器具９０（ｘ）についての検知情報Ｉｄ（ｘ）として、取得する。
【0117】
ＰＬＣ２０は、例えば、入力デバイス４１（ｙ）としての機器４０（ｙ）から、器具９０（ｘ）が作業者Ｈｕによって把持されたか否かを示す情報を、器具９０（ｘ）についての検知情報Ｉｄ（ｘ）として、取得する。
【0118】
ＰＬＣ２０は、例えば、入力デバイス４１（ｙ）としての機器４０（ｙ）から、作業対象物Ｏｂ（ｘ）が備える開閉機構の開閉を示す情報を、作業対象物Ｏｂ（ｘ）についての検知情報Ｉｄ（ｘ）として、取得する。
【0119】
ＰＬＣ２０は、例えば、入力デバイス４１（ｙ）としての機器４０（ｙ）から、作業対象物Ｏｂ（ｘ）が備えるボタンが押下されたか否かを示す情報を、作業対象物Ｏｂ（ｘ）についての検知情報Ｉｄ（ｘ）として、取得する。
【0120】
ＰＬＣ２０は、例えば、入力デバイス４１（ｙ）としての機器４０（ｙ）から、作業場Ａｒ（ｘ）が備える開閉機構の開閉を示す情報を、作業場Ａｒ（ｘ）についての検知情報Ｉｄ（ｘ）として、取得する。
【0121】
ＰＬＣ２０は、例えば、入力デバイス４１（ｙ）としての機器４０（ｙ）から、作業場Ａｒ（ｘ）が備えるボタンが押下されたか否かを示す情報を、作業場Ａｒ（ｘ）についての検知情報Ｉｄ（ｘ）として、取得する。
【0122】
ＰＬＣ２０は、検知情報Ｉｄを入力デバイス４１から所定の周期で繰り返し受信し、受信した検知情報Ｉｄを、情報処理装置１０へと送信し、つまり、転送する。
【0123】
さらに、ＰＬＣ２０は、入力デバイス４１から所定の周期で繰り返し受信した検知情報Ｉｄを、工程情報Ｉｐと同様に、制御システム１の外部に送信してもよい。例えば、ＰＬＣ２０は、入力デバイス４１から所定の周期で繰り返し受信した検知情報Ｉｄを、ＭＥＳ（Manufacturing Execution System、製造実行システム）などに接続した、図２に示す社内ＬＡＮ（Local Area Network）に送信してもよい。
【0124】
情報処理装置１０は、ＰＬＣ２０から取得する検知情報Ｉｄから、「作業者Ｈｕによって作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」と、入力デバイス４１がその状態を検知した時刻である検知時刻Ｔｄを特定する。そして、情報処理装置１０は、特定した検知時刻Ｔｄと、「作業者Ｈｕによって作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」とから、検知時刻Ｔｄにおいて作業者Ｈｕが行っている作業Ｏｐの内容を予測する。つまり、情報処理装置１０は、ＰＬＣ２０から取得する検知情報Ｉｄから、検知時刻Ｔｄにおいて作業者Ｈｕが行っている作業Ｏｐの内容を予測する。
【0125】
しかしながら、検知情報Ｉｄから、検知時刻Ｔｄにおいて作業者Ｈｕが行っている作業Ｏｐの内容を予測する処理は、ＰＬＣ２０が実行してもよい。その場合、ＰＬＣ２０は、予測結果を、検知情報Ｉｄに含めて、または、検知情報Ｉｄに代えて、情報処理装置１０へと送信してもよい。
【0126】
（マスタスレーブ制御システム以外のシステムおよび装置について）
図２には、マスタスレーブ制御システムとしての制御システム１に加えて、社内ＬＡＮシステム、他ネットワークシステム等が示されている。社内ＬＡＮは、ＭＥＳとも称される工程情報ＤＢ（Database）等に接続している。工程情報ＤＢには、「作業工程Ｐｒの実施に用いられる機器４０が実行すべき標準的な動作」を示す情報が、動作基準Ｓａとして格納されている。
図２には、マスタスレーブ制御システムとしての制御システム１に加えて、社内ＬＡＮシステム、他ネットワークシステム等が示されている。社内ＬＡＮは、ＭＥＳとも称される工程情報ＤＢ（Database）等に接続している。工程情報ＤＢには、「作業工程Ｐｒの実施に用いられる機器４０が実行すべき標準的な動作」を示す情報が、動作基準Ｓａとして格納されている。
【0127】
また、図２に示す例では、ＭＥＳとしての工程情報ＤＢに、工場Ｆａにおいて発生した各種のイベントを監視し、管理するイベント管理装置６０が、社内ＬＡＮを介して接続している。ただし、イベント管理装置６０が社内ＬＡＮを介して工程情報ＤＢに接続していることは必須ではなく、イベント管理装置６０は設けなくてもよい。
【0128】
さらに、工程情報ＤＢには、社内ＬＡＮを介して、ＰＬＣ２０が接続している。図示はしていないが、工程情報ＤＢと情報処理装置１０とは接続されていてもよい。また、社内ＬＡＮには、ＭＥＳに加えて、不図示のＥＲＰ（Enterprise Resources Planning）、ＷＭＳ（Warehouse Management System）等が接続されていてもよい。
【0129】
図２において、工程情報ＤＢには、制御ネットワーク５０とも社内ＬＡＮとも異なる「他ネットワーク」を介して、動画保存サーバ等が接続されている。動画保存サーバ等には、他ネットワークを介して情報処理装置１０が接続されており、情報処理装置１０から送信された作業場画像Ｉｃ、全体画像Ｉａ、情報処理装置１０が推定した作業Ｏｐの内容、および、支援情報などが動画保存サーバ等に格納される。また、動画保存サーバ等には、ＰＣ（Personal Computer）等によって実現される外部装置７０が接続される。外部装置７０は、例えば、作業場画像Ｉｃ、全体画像Ｉａ、情報処理装置１０が推定した作業Ｏｐの内容、および、支援情報などを表示し、工程情報Ｉｐ等の可視化を実行する。すなわち、外部装置７０は、作業工程Ｐｒの改善に必要な情報を一覧表示し、ボトルネックとなっている作業工程Ｐｒ、作業工程Ｐｒに発生したエラーの日時等を示す情報を、対応する作業場画像Ｉｃと対応付けて表示する。
【0130】
セルカメラ３０は、前述の通り、作業場Ａｒを撮像して作業場画像Ｉｃを生成し、生成した作業場画像Ｉｃを、例えば例えばＵＳＢ（Universal Serial Bus）ケーブルである通信ケーブルを介して、情報処理装置１０へと送信する。
【0131】
また、天井カメラ８０は、工場Ｆａの全体を俯瞰して撮像して全体画像Ｉａを生成し、生成した全体画像Ｉａを、例えば例えばＵＳＢケーブルである通信ケーブルを介して、情報処理装置１０へと送信する。
【0132】
情報処理装置１０は、例えば、ＰＣ等によって実現され、ＰＬＣ２０から取得する工程情報Ｉｐと、セルカメラ３０から取得する作業場画像Ｉｃとを組み合わせて、両者の効率的な利用を可能とするデータ抽出装置であってもよい。情報処理装置１０は、「工場Ｆａにおける複数の機器４０の実際の動作Ａｃの内容および結果を示す動作結果Ｌａ」を含む工程情報Ｉｐを、「作業場画像Ｉｃ」および「作業場画像Ｉｃから推定した作業Ｏｐの内容」と組み合わせることで、作業工程Ｐｒを可視化する。情報処理装置１０は、ＰＬＣ２０から取得する工程情報Ｉｐ、セルカメラ３０から取得する作業場画像Ｉｃ、および、作業場画像Ｉｃから推定した作業Ｏｐの内容などを組み合わせることで、作業工程Ｐｒを可視化し、また、作業工程Ｐｒを効率的かつ精緻に分析する。
【0133】
例えば、情報処理装置１０は、工程情報Ｉｐの可視化に加え、ボトルネックとなっている作業工程Ｐｒを抽出し、抽出した作業工程Ｐｒの実施状況を撮像した作業場画像Ｉｃと、抽出した作業工程Ｐｒの工程情報Ｉｐとを組み合わせる。したがって、ユーザは、例えば、ボトルネックとなっている作業工程Ｐｒについて、ボトルネックとなっている原因、不具合要因を特定するのが容易になり、作業工程Ｐｒの改善作業を効率的に行うことができるようになる。加えて、情報処理装置１０は、不良発生時のトレイサビリティにも用いることができる。
【0134】
また、情報処理装置１０は、作業場画像Ｉｃと、複数の機器４０の各々の工程情報Ｉｐとを組み合わせることにより、作業場画像Ｉｃに対する解析と工程情報Ｉｐに対する解析との両方の解析制度を向上させることができる。例えば、情報処理装置１０は、ＰＬＣ２０から取得する工程情報Ｉｐ（動作結果Ｌａ）を用いて、機器４０が動作Ａｃを開始した動作開始時刻Ｔｍｓ、および、動作Ａｃを完了した動作完了時刻Ｔｍｅを特定する。情報処理装置１０は、動作開始時刻Ｔｍｓから動作完了時刻Ｔｍｅまでの期間である動作期間Ｄａに撮像された作業場画像Ｉｃに対し解析を実行することで、動作期間Ｄａにおける機器４０の動作Ａｃと作業者Ｈｕの作業Ｏｐとを高精度で対応付けることができる。
【0135】
さらに、情報処理装置１０は、工程情報ＤＢから、「作業工程Ｐｒの実施に用いられる機器４０が実行すべき標準的な動作」を示す動作基準Ｓａを取得する。そして、情報処理装置１０は、取得した動作基準Ｓａを用いて、「作業工程Ｐｒの実施に用いられる機器４０が実行した実際の動作Ａｃ」に対する判定を実行する。情報処理装置１０は、動作基準Ｓａが示す標準的な動作とは異なると判定した動作Ａｃに対応する作業工程Ｐｒの実施状況を撮像した作業場画像Ｉｃについて、解析を実行してもよい。
【0136】
（作業内容の推定について）
情報処理装置１０は、作業場画像Ｉｃを解析して、作業者Ｈｕが作業対象物Ｏｂについて行った作業Ｏｐの内容を予測する。特に、情報処理装置１０は、作業場Ａｒ（ｘ）を撮像した作業場画像Ｉｃ（ｘ）から、「作業場画像Ｉｃ（ｘ）が撮像された撮像時刻Ｔｐに、作業者Ｈｕ（ｘ）が、作業場Ａｒ（ｘ）で作業対象物Ｏｂ（ｘ）について行っている作業Ｏｐ（ｘ）の内容」を予測する。作業場Ａｒにおいて作業者Ｈｕが行う作業Ｏｐは、一般に、作業対象物Ｏｂについて行う作業Ｏｐである。そのため、作業Ｏｐは、作業者Ｈｕと作業対象物Ｏｂとの組合せ（ペア）についての、作業者Ｈｕと作業対象物Ｏｂとの間の相互作用として捉えることができる。
情報処理装置１０は、作業場画像Ｉｃを解析して、作業者Ｈｕが作業対象物Ｏｂについて行った作業Ｏｐの内容を予測する。特に、情報処理装置１０は、作業場Ａｒ（ｘ）を撮像した作業場画像Ｉｃ（ｘ）から、「作業場画像Ｉｃ（ｘ）が撮像された撮像時刻Ｔｐに、作業者Ｈｕ（ｘ）が、作業場Ａｒ（ｘ）で作業対象物Ｏｂ（ｘ）について行っている作業Ｏｐ（ｘ）の内容」を予測する。作業場Ａｒにおいて作業者Ｈｕが行う作業Ｏｐは、一般に、作業対象物Ｏｂについて行う作業Ｏｐである。そのため、作業Ｏｐは、作業者Ｈｕと作業対象物Ｏｂとの組合せ（ペア）についての、作業者Ｈｕと作業対象物Ｏｂとの間の相互作用として捉えることができる。
【0137】
ここで、従来、作業場画像Ｉｃから、作業場画像Ｉｃに撮像されている人間と、作業場画像Ｉｃに撮像されているオブジェクトとの間の相互作用であるＨＯＩ（Human Object Interaction）を検出する方法が研究されている。例えば、人間とオブジェクトとの両方をローカライズし、両者の間の相互作用を特定するＨＯＩ検出技術が知られている。
【0138】
情報処理装置１０は、作業者Ｈｕが作業対象物Ｏｂについて行っている作業Ｏｐの内容を推定するのに、ＨＯＩ検出アルゴリズムを利用することができる。すなわち、情報処理装置１０は、作業場画像Ｉｃに撮像されている「作業者Ｈｕと作業対象物Ｏｂとのペア」について、作業者Ｈｕが作業対象物Ｏｂについて行っている作業Ｏｐの内容を、ＨＯＩを検出するＨＯＩ検出アルゴリズムを利用して、予測することができる。
【0139】
ただし、ＨＯＩ検出アルゴリズムを用いた予測の精度は、十分に高いとは言い難い。すなわち、作業場画像Ｉｃから、作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容を予測するＨＯＩ検出アルゴリズムの予測精度は、十分に高いとは言い難い。特に、作業場画像Ｉｃに以下の現象が発生すると、一般に、その作業場画像Ｉｃに対するＨＯＩ検出の精度は低下する傾向にあることが知られている。
【0140】
すなわち、手前にある障害物等が、作業者Ｈｕおよび作業対象物Ｏｂの少なくとも一方の全部または一部を隠す「オクルージョン（occlusion）」が発生した作業場画像Ｉｃに対するＨＯＩ検出の精度は、一般に低下する傾向があることが知られている。
【0141】
また、作業場画像Ｉｃに撮像されている作業者Ｈｕおよび作業対象物Ｏｂの少なくとも一方のサイズ（スケール）が（極端に）小さかったり大きかったりする場合、その作業場画像Ｉｃに対するＨＯＩ検出の精度は、一般に低下する傾向があることが知られている。
【0142】
作業者Ｈｕおよび作業対象物Ｏｂの少なくとも一方の全部または一部が、撮像範囲外に飛び出すなどして撮像されない「トランケーション（truncation）」が発生した作業場画像Ｉｃに対するＨＯＩ検出の精度は、一般に低下する傾向があることが知られている。
【0143】
作業者Ｈｕおよび作業対象物Ｏｂの少なくとも一方の全部または一部が透明体である場合、作業場画像Ｉｃに対するＨＯＩ検出の精度は、一般に低下する傾向があることが知られている。
【0144】
さらに、通常は撮像されない角度・大きさ等で作業対象物Ｏｂが撮像されている作業場画像Ｉｃに対するＨＯＩ検出の精度は、一般に低下する傾向があることが知られている。例えば、作業場画像Ｉｃに撮像されている作業対象物Ｏｂの角度（回転）・大きさ等がレアタイプである場合、その作業場画像Ｉｃに対するＨＯＩ検出の精度は、一般に低下する傾向があることが知られている。
【0145】
また、撮像時点での照明が明るすぎたり、暗すぎたりした場合にも、その作業場画像Ｉｃに対するＨＯＩ検出の精度は、一般に低下する傾向があることが知られている。
【0146】
以下の説明においては、ＨＯＩ検出（つまり、作業Ｏｐの内容の予測）のために、情報処理装置１０が、作業者Ｈｕおよび作業対象物Ｏｂを、バウンディングボックス（Bounding Box）を用いて作業場画像Ｉｃから検出する例を説明する。ただし、情報処理装置１０が作業者Ｈｕおよび作業対象物Ｏｂの検出にバウンディングボックスを用いることは必須ではない。情報処理装置１０は、「Ｍａｓｋ Ｒ-ＣＮＮ」を利用して、作業場画像Ｉｃについて、作業者Ｈｕおよび作業対象物Ｏｂの分類タスク（セグメンテーション）を実行してもよい。また、情報処理装置１０は、「Ｍａｓｋ Ｒ-ＣＮＮ」と同時に、深層学習において用いられるＡｔｔｅｎｔｉｏｎ機構を利用して、作業場画像Ｉｃから作業者Ｈｕおよび作業対象物Ｏｂを検出してもよい。情報処理装置１０は、「Ｍａｓｋ Ｒ-ＣＮＮ」、Ａｔｔｅｎｔｉｏｎ機構などを利用して、ＨＯＩ検出の予測精度を改善してもよい。
【0147】
（ＨＯＩ検出結果の検証）
前述の通り、ＨＯＩ検出アルゴリズムを用いた予測の精度は、十分に高いとは言い難い。そこで、情報処理装置１０は、ＨＯＩ検出アルゴリズムを用いて予測したＨＯＩ（つまり、作業Ｏｐ）の内容（つまり、第一予測Ｐｆ（ｘ））を、存否予測Ｐａ（ｘ）および作業予測Ｐｏ（ｘ）の少なくとも一方を用いて検証する。
前述の通り、ＨＯＩ検出アルゴリズムを用いた予測の精度は、十分に高いとは言い難い。そこで、情報処理装置１０は、ＨＯＩ検出アルゴリズムを用いて予測したＨＯＩ（つまり、作業Ｏｐ）の内容（つまり、第一予測Ｐｆ（ｘ））を、存否予測Ｐａ（ｘ）および作業予測Ｐｏ（ｘ）の少なくとも一方を用いて検証する。
【0148】
情報処理装置１０は、ＨＯＩ検出アルゴリズムを、「ＹＯＬＯなどの動線検出アルゴリズム」および「入力デバイス４１等からの検知情報Ｉｄ」と組み合わせて用いることで、「作業Ｏｐの内容」の推定について、ロバスト性および推定精度を向上させる。つまり、情報処理装置１０は、動線検出アルゴリズムによる存否予測Ｐａ、および、検知情報Ｉｄから予測した作業予測Ｐｏの少なくとも一方を、ＨＯＩ検出アルゴリズムによる第一予測Ｐｆ（ＨＯＩ検出結果）に対するノイズフィルターとして利用する。
【0149】
情報処理装置１０は、ＨＯＩ検出アルゴリズムに加えて、「動線検出アルゴリズム」および「入力デバイス４１等からの検知情報Ｉｄ」の少なくとも一方を用いて、「作業Ｏｐの内容」を推定する作業推定装置である。
【0150】
（アノテーションコストの抑制）
ＨＯＩ検出アルゴリズムで用いられる学習済モデルとしての作業予測モデル１７１は、例えば、作業場画像Ｉｃまたはその特徴情報に対して以下のラベルが付された教師データＤｔ１の集合（学習用データセットＤＳ１）に対する教師あり学習によって構築される。すなわち、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」がラベルとして付された教師データＤｔ１の集合を用いた機械学習によって、作業予測モデル１７１は構築される。教師データＤｔ１において作業場画像Ｉｃまたはその特徴情報に対して付されている「ラベル」は、「アノテーション」または「メタデータ」とも称される。
ＨＯＩ検出アルゴリズムで用いられる学習済モデルとしての作業予測モデル１７１は、例えば、作業場画像Ｉｃまたはその特徴情報に対して以下のラベルが付された教師データＤｔ１の集合（学習用データセットＤＳ１）に対する教師あり学習によって構築される。すなわち、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」がラベルとして付された教師データＤｔ１の集合を用いた機械学習によって、作業予測モデル１７１は構築される。教師データＤｔ１において作業場画像Ｉｃまたはその特徴情報に対して付されている「ラベル」は、「アノテーション」または「メタデータ」とも称される。
【0151】
本実施形態において、ラベルとして付される「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」は、検知情報Ｉｄから予測される作業予測Ｐｏである。すなわち、「検知情報Ｉｄから予測された『作業者Ｈｕが行っている作業Ｏｐの内容』が、作業場画像Ｉｃまたはその特徴情報に対してラベルとして付された」教師データＤｔ１の集合に対する教師あり学習によって、作業予測モデル１７１は構築される。
【0152】
一般に、学習済モデルの構築に必要となる大量の教師データＤｔ１の生成には、ひじょうに手間がかかることが知られており、いわゆるアノテーションコストは極めて大きいことが知られている。例えば、大量の作業場画像Ｉｃの各々について、人間に、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を判定させようとする場合、それに要するコストは極めて大きい。
【0153】
そこで、本実施形態では、検知情報Ｉｄから予測される「作業者Ｈｕが行っている作業Ｏｐの内容」を、作業場画像Ｉｃまたはその特徴情報に対して付される「ラベル」として利用する。これによって、大量の教師データＤｔ１の生成に必要となるコスト（アノテーションコスト）を抑制することができ、つまり、作業予測モデル１７１の構築に際して必要となるコストを抑制することができる。そのため、情報処理装置１０は、低コストで構築された作業予測モデル１７１を用いて、高精度かつロバスト性の高い、「作業Ｏｐの内容」の推定を実現することができる。
【0154】
（本実施形態に係る情報処理装置についての整理）
これまでに図２を用いて説明してきた内容は、以下のように整理することができる。すなわち、情報処理装置１０は、作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容を推定する作業推定装置であって、第一予測部１２０（予測部）と、判定部１５０と、推定部１６０と、を備える。
これまでに図２を用いて説明してきた内容は、以下のように整理することができる。すなわち、情報処理装置１０は、作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容を推定する作業推定装置であって、第一予測部１２０（予測部）と、判定部１５０と、推定部１６０と、を備える。
【0155】
第一予測部１２０は、作業予測モデル１７１を用いて、「作業場画像Ｉｃ、または、作業場画像Ｉｃから生成された特徴情報」から、「作業者Ｈｕが作業対象物Ｏｂについて行っている作業Ｏｐの内容」を予測する。作業予測モデル１７１は、「作業場Ａｒを撮像した作業場画像Ｉｃ」または「作業場画像Ｉｃから生成された特徴情報」を入力とし、以下の情報を出力とする学習済モデルである。すなわち、作業予測モデル１７１は、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を出力とする学習済モデルである。
【0156】
判定部１５０は、「作業予測モデル１７１を用いずに予測された作業Ｏｐの内容」、および、「作業場Ａｒに作業者Ｈｕが存在するか否かの判定結果」の少なくとも一方を用いて、第一予測部１２０の予測の正否を判定する。つまり、判定部１５０は、作業予測Ｐｏおよび存否予測Ｐａの少なくとも一方を用いて、第一予測Ｐｆの正否を判定する。
【0157】
推定部１６０は、判定部１５０によって第一予測部１２０の予測が正しいと判定されると、第一予測部１２０によって予測された作業Ｏｐの内容を、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」であると推定する。つまり、推定部１６０は、作業予測Ｐｏおよび存否予測Ｐａの少なくとも一方を用いて第一予測Ｐｆが正しいことが検証されると、第一予測Ｐｆを、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」についての推定結果として出力する。
【0158】
前記の構成によれば、情報処理装置１０は、作業予測モデル１７１を用いて予測した作業Ｏｐの内容（つまり、第一予測Ｐｆ）の正否を、以下の２つの予測の少なくとも一方を用いて判定する。すなわち、情報処理装置１０は、作業予測モデル１７１を用いずに予測された作業Ｏｐの内容（作業予測Ｐｏ）、および、作業場Ａｒにおける作業者Ｈｕの存否の判定結果（存否予測Ｐａ）の少なくとも一方を用いて、第一予測Ｐｆの正否を判定する。
【0159】
そして、情報処理装置１０は、作業予測モデル１７１を用いた予測が正しいと判定すると、作業予測モデル１７１を用いて予測した作業Ｏｐの内容を、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」であると推定する。
【0160】
つまり、情報処理装置１０は、作業予測モデル１７１を用いて予測した作業Ｏｐの内容の正否を、作業予測モデル１７１を用いずに予測された作業Ｏｐの内容、および、作業場Ａｒに作業者Ｈｕが存在するか否かの判定結果の少なくとも一方を用いて検証する。
【0161】
したがって、情報処理装置１０は、作業場画像Ｉｃから、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」を、高精度に推定することができるとの効果を奏する。
【0162】
情報処理装置１０は、検知情報Ｉｄから、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」を予測する作業予測部１４２（作業検知部）をさらに備える。検知情報Ｉｄは、入力デバイス４１（センサ）によって検知された「作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を示す情報である。
【0163】
判定部１５０は、第一予測部１２０によって予測された作業Ｏｐの内容（つまり、第一予測Ｐｆ）と、作業予測部１４２によって予測された作業Ｏｐの内容（つまり、作業予測Ｐｏ）とが一致すると、第一予測部１２０の予測が正しいと判定する。
【0164】
前記の構成によれば、情報処理装置１０は、入力デバイス４１の検知情報Ｉｄから予測した作業Ｏｐの内容と、作業予測モデル１７１を用いて予測した作業Ｏｐの内容とが一致するか否かを判定する。そして、情報処理装置１０は、両者が一致すると判定すると、作業予測モデル１７１を用いて予測した作業Ｏｐの内容を、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」であると推定する。
【0165】
つまり、情報処理装置１０は、作業予測モデル１７１を用いて予測した作業Ｏｐの内容の正否を、入力デバイス４１の検知情報Ｉｄから予測した作業Ｏｐの内容によって検証する。
【0166】
したがって、情報処理装置１０は、作業場画像Ｉｃから、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」を、高精度に推定することができるとの効果を奏する。
【0167】
情報処理装置１０は、存否予測部１４１をさらに備え、判定部１５０は、存否予測部１４１によって「作業場Ａｒに作業者Ｈｕが存在する」と予測されると、第一予測部１２０の予測が正しいと判定する。存否予測部１４１は、存否モデル１７２を用いて、全体画像Ｉａ、または、作業場画像Ｉｃ、または、全体画像Ｉａまたは作業場画像Ｉｃから生成された特徴情報から、「作業場Ａｒに作業者Ｈｕが存在するか否か」を予測する。存否モデル１７２は、学習済モデルであり、その入力は、（Ａ）作業場Ａｒを含む複数の作業場Ａｒを撮像した全体画像Ｉａ、または、（Ｂ）作業場画像Ｉｃ、または、（Ｃ）全体画像Ｉａまたは作業場画像Ｉｃから生成された特徴情報である。また、存否モデル１７２の出力は、「作業場Ａｒに作業者Ｈｕが存在するか否か」を示す情報である。
【0168】
前記の構成によれば、情報処理装置１０は、存否モデル１７２を用いて、「作業場Ａｒに作業者Ｈｕが存在するか否か」を予測する。そして、情報処理装置１０は、「作業場Ａｒに作業者Ｈｕが存在する」と予測すると、作業予測モデル１７１を用いて予測した作業Ｏｐの内容を、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」であると推定する。
【0169】
つまり、情報処理装置１０は、作業予測モデル１７１を用いて予測した作業Ｏｐの内容の正否を、存否モデル１７２を用いて予測した「作業場Ａｒにおける作業者Ｈｕの存否」によって検証する。
【0170】
したがって、情報処理装置１０は、作業場画像Ｉｃから、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」を、高精度に推定することができるとの効果を奏する。
【0171】
情報処理装置１０は、作業予測部１４２と存否予測部１４１とを共に備えてもよい。判定部１５０は、存否予測部１４１によって作業場Ａｒに作業者Ｈｕが存在すると予測され、かつ、以下の条件が満たされると、第一予測部１２０の予測が正しいと判定する。すなわち、判定部１５０は、第一予測部１２０によって予測された作業Ｏｐの内容と、作業予測部１４２によって予測された作業Ｏｐの内容とが一致すると、第一予測部１２０の予測が正しいと判定する。
【0172】
前記の構成によれば、情報処理装置１０は、入力デバイス４１の検知情報Ｉｄから予測した作業Ｏｐの内容、および、作業場Ａｒにおける作業者Ｈｕの存否を予測する。そして、情報処理装置１０は、作業場Ａｒに作業者Ｈｕが存在すると予測し、かつ、以下の条件が満たされると、第一予測部１２０の予測が正しいと判定する。すなわち、情報処理装置１０は、入力デバイス４１の検知情報Ｉｄから予測した内容と、作業予測モデル１７１を用いて予測した内容とが一致すると、作業予測モデル１７１を用いて予測した内容が正しいと判定する。
【0173】
つまり、情報処理装置１０は、作業予測モデル１７１を用いて予測した作業Ｏｐの内容の正否を、入力デバイス４１の検知情報Ｉｄから予測した作業Ｏｐの内容と、存否モデル１７２を用いて予測した作業場Ａｒにおける作業者Ｈｕの存否とによって検証する。
【0174】
したがって、情報処理装置１０は、作業場画像Ｉｃから、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」を、高精度に推定することができるとの効果を奏する。
【0175】
§２．構成例
これまでに概要を説明してきた情報処理装置１０について、次に、図１を用いてその詳細を説明していく。
これまでに概要を説明してきた情報処理装置１０について、次に、図１を用いてその詳細を説明していく。
【0176】
図１は、情報処理装置１０の要部構成を示すブロック図である。図１に例示する情報処理装置１０は、機能ブロックとして、例えば、第一取得部１１０、第一予測部１２０、第二取得部１３０、第二予測部１４０、判定部１５０、推定部１６０、および、記憶部１７０を備えている。
【0177】
情報処理装置１０は、上述の各機能ブロックに加えて、以下の各部を備えてもよい。すなわち、情報処理装置１０は、作業場画像Ｉｃの、所定の格納領域（保存領域）への格納（保存）を制御する管理部、作業者Ｈｕが作業場Ａｒに滞在している時間（滞在時間）を測定する測定部、工程情報Ｉｐと滞在時間とを対応付ける分析部等を備えてもよい。記載の簡潔性を担保するため、本実施の形態に直接関係のない情報処理装置１０の構成は、説明およびブロック図から省略している。ただし、実施の実情に則して、情報処理装置１０は、これらの省略された構成を備えてもよい。
【0178】
情報処理装置１０の備える上述の機能ブロックは、例えば、演算装置が、ＲＯＭ（read only memory）、ＮＶＲＡＭ（non-Volatile random access memory）等で実現された記憶装置（記憶部１７０）に記憶されているプログラムを不図示のＲＡＭ（random access memory）等に読み出して実行することで実現できる。演算装置として利用可能なデバイスとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせを挙げることができる。
【0179】
以下に先ず、第一取得部１１０、第一予測部１２０、第二取得部１３０、第二予測部１４０、判定部１５０、および、推定部１６０の各々について、その詳細を説明する。
【0180】
（記憶部以外の機能ブロックについて）
第一取得部１１０は、セルカメラ３０から、セルカメラ３０が作業場Ａｒを撮像した作業場画像Ｉｃを取得し、取得した作業場画像Ｉｃを、第一予測部１２０へと出力する。
第一取得部１１０は、セルカメラ３０から、セルカメラ３０が作業場Ａｒを撮像した作業場画像Ｉｃを取得し、取得した作業場画像Ｉｃを、第一予測部１２０へと出力する。
【0181】
第一予測部１２０は、セルカメラ３０が撮像した作業場画像Ｉｃに対する画像解析を実行し、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を予測する。第一予測部１２０は、例えば、作業場画像Ｉｃに対してモデルベースの画像解析を実行し、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を予測する。
【0182】
モデルベースの画像解析を実行する第一予測部１２０は、例えば、ニューラルネットワーク（Neural Network）として実現され、ＨＯＩ検出アルゴリズムを実行することによって、ＨＯＩとして作業Ｏｐを検出する。具体的には、第一予測部１２０は、記憶部１７０を参照して、作業予測モデル１７１を取得する。作業予測モデル１７１は、作業場画像Ｉｃを入力とし、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を出力とする、学習済モデルである。第一予測部１２０は、記憶部１７０を参照して取得した作業予測モデル１７１を用いて、作業場画像Ｉｃから、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を予測する。以下、「ニューラルネットワーク」は、「ＮＮ」と略記することがある。
【0183】
例えば、第一予測部１２０は、作業場画像Ｉｃ（ｘ）から作業予測モデル１７１を用いて、以下の第一予測Ｐｆ（ｘ）を生成する。すなわち、第一予測部１２０は、「作業場画像Ｉｃ（ｘ）に撮像されている作業者Ｈｕが、作業場画像Ｉｃ（ｘ）に撮像されている作業対象物Ｏｂ（ｘ）について行っている作業Ｏｐ（ｘ）の内容」についての予測である第一予測Ｐｆ（ｘ）を生成する。
【0184】
特に、第一予測部１２０は、「セルカメラ３０が作業場Ａｒ（ｘ）を撮像して作業場画像Ｉｃ（ｘ）を生成した時刻」である撮像時刻Ｔｐを用いて、作業場画像Ｉｃ（ｘ）から、以下の予測を実行する。すなわち、第一予測部１２０は、作業場画像Ｉｃ（ｘ）から、「撮像時刻Ｔｐにおいて、作業者Ｈｕ（ｘ）が、作業場Ａｒ（ｘ）で作業対象物Ｏｂ（ｘ）について行っている作業Ｏｐ（ｘ）の内容」を予測する。
【0185】
第一予測部１２０は、作業場画像Ｉｃから作業予測モデル１７１を用いて予測した作業Ｏｐの内容を、第一予測Ｐｆとして、判定部１５０へと出力する。例えば、第一予測部１２０は、作業場画像Ｉｃ（ｘ）から生成した第一予測Ｐｆ（ｘ）を、判定部１５０へと出力する。
【0186】
第二取得部１３０は、第二予測Ｐｓを生成するための各種の情報を外部から取得し、取得した各種の情報を第二予測部１４０へと出力する。第二予測Ｐｓは、第一予測Ｐｆ（の正否）を検証するための予測であり、存否予測Ｐａおよび作業予測Ｐｏの少なくとも一方を含む。図１に例示する第二取得部１３０は、全体画像取得部１３１と、検知情報取得部１３２とを含む。
【0187】
全体画像取得部１３１は、天井カメラ８０から、天井カメラ８０が工場Ｆａの全体を俯瞰して撮像した全体画像Ｉａを取得し、取得した全体画像Ｉａを、第二予測部１４０へと、特に存否予測部１４１へと、出力する。
【0188】
検知情報取得部１３２は、ＰＬＣ２０から、「作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を示す検知情報Ｉｄ（工程情報Ｉｐを含む）を取得する。前述の通り、検知情報Ｉｄは、例えば、検知装置（測定装置）としての入力デバイス４１が検知した、「作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を示す情報である。検知情報取得部１３２は、取得した検知情報Ｉｄを、第一予測部１２０へと出力する。
【0189】
第二予測部１４０は、存否予測Ｐａおよび作業予測Ｐｏの少なくとも一方を含む第二予測Ｐｓを生成し、生成した第二予測Ｐｓを判定部１５０へと出力する。第二予測部１４０は、存否予測部１４１と、作業予測部１４２とを含む。
【0190】
存否予測部１４１は、第二取得部１３０（特に、全体画像取得部１３１）から取得した全体画像Ｉａに対して画像解析を実行し、「作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居るか」を予測し、つまり、存否予測Ｐａを生成する。存否予測部１４１は、例えば、全体画像Ｉａに対してモデルベースの画像解析を実行し、「作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居るか」を予測する。
【0191】
モデルベースの画像解析を実行する存否予測部１４１は、例えば、ＮＮとして実現され、ＹＯＬＯなどの動線検出アルゴリズム（物体検出アルゴリズム）を実行することによって、作業場Ａｒにおける作業者Ｈｕの存否を予測する。具体的には、存否予測部１４１は、記憶部１７０を参照して、存否モデル１７２を取得する。存否モデル１７２は、全体画像Ｉａを入力とし、「作業場Ａｒ（より正確には、工場Ｆａにおける複数の作業場Ａｒの各々）に作業者Ｈｕが居るか」を出力とする、学習済モデルである。存否予測部１４１は、記憶部１７０を参照して取得した存否モデル１７２を用いて、全体画像Ｉａから、「作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居るか」を予測する。例えば、存否予測部１４１は、全体画像Ｉａから存否モデル１７２を用いて、「作業場画像Ｉｃ（ｘ）に撮像されている作業場Ａｒ（ｘ）に作業者Ｈｕが居るか」についての予測である存否予測Ｐａ（ｘ）を、生成する。
【0192】
特に、存否予測部１４１は、「天井カメラ８０が、『作業場画像Ｉｃ（ｘ）に撮像されている作業場Ａｒ（ｘ）』を含む複数の作業場Ａｒを撮像して全体画像Ｉａを生成した時刻」である全体時刻Ｔａを用いて、全体画像Ｉａから、以下の予測を実行する。すなわち、存否予測部１４１は、全体画像Ｉａから、「『作業場画像Ｉｃ（ｘ）が撮像された撮像時刻Ｔｐ』に対応する全体時刻Ｔａにおいて、作業者Ｈｕ（ｘ）が作業場Ａｒ（ｘ）に居るか」を予測する。
【0193】
存否予測部１４１は、所定期間（例えば、５秒間）の全体画像Ｉａから、存否モデル１７２を用いて、「作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居るか」を、特に、「撮像時刻Ｔｐに、作業場Ａｒに作業者Ｈｕが居るか」を、予測してもよい。存否予測部１４１による存否モデル１７２を用いた作業者Ｈｕの存否の予測には、誤検出および未検出などの失敗があり得る。そのため、存否予測部１４１が、例えば５秒間の内、１秒間だけ「作業者Ｈｕが居る」と予測しても、残りの４秒間で「作業者Ｈｕが居ない」と予測した場合には、「作業者Ｈｕが居る」との予測は誤検出（つまり、誤った予測）とみなしてもよい。１秒間だけ「作業者Ｈｕが居る」と予測しても、残りの４秒間で「作業者Ｈｕが居ない」と予測した場合、存否予測部１４１は、その５秒間の全体画像Ｉａから、「作業者Ｈｕが居ない」と予測してもよい。つまり、存否予測部１４１は、その５秒間の全体画像Ｉａから、「その５秒間に、『作業場画像Ｉｃに撮像されている作業場Ａｒ』に作業者Ｈｕは居なかった」との存否予測Ｐａを生成してもよい。
【0194】
整理すると、存否予測部１４１は、所定期間の全体画像Ｉａから、その所定期間の内の所定割合（例、５割）以上の期間について「作業者Ｈｕが居た」と予測した場合にのみ、その所定期間の全体について、「作業者Ｈｕが居た」との存否予測Ｐａを生成してもよい。例えば、存否予測部１４１は、５秒間の全体画像Ｉａについて、「作業者Ｈｕが居た」と予測した期間が２．５秒以上ある場合にのみ、「その５秒間に、作業者Ｈｕは居た」との存否予測Ｐａを生成してもよい。
【0195】
存否予測部１４１が作業者Ｈｕの存否を予測するのに用いる動線検出アルゴリズムは、例えばＹＯＬＯであるが、存否予測部１４１が用いる動線検出アルゴリズムがＹＯＬＯであることは必須ではなく、ＹＯＬＯ以外の動線検出アルゴリズムであってもよい。存否予測部１４１は、動線検出アルゴリズムによって、全体画像Ｉａから「作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居るか」を予測できればよい。
【0196】
存否予測部１４１は、全体画像Ｉａから存否モデル１７２を用いて予測した、「作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居るか」についての予測である存否予測Ｐａ（例えば、存否予測Ｐａ（ｘ））を、判定部１５０へと出力する。
【0197】
作業予測部１４２は、第二取得部１３０（特に、検知情報取得部１３２）から取得した検知情報Ｉｄ（工程情報Ｉｐを含む）を用いて、「作業者Ｈｕが行っている作業Ｏｐの内容」を予測し、つまり、作業予測Ｐｏを生成する。前述の通り、検知情報Ｉｄは、「作業Ｏｐに用いられる工具（例えば、出力デバイス４２、および、器具９０）、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を示す情報である。例えば、作業予測部１４２は、検知情報Ｉｄ（ｘ）から、以下の作業予測Ｐｏ（ｘ）を生成する。すなわち、作業予測部１４２は、検知情報Ｉｄ（ｘ）から、「作業場Ａｒ（ｘ）において作業者Ｈｕ（ｘ）が行っている作業Ｏｐ（ｘ）の内容」についての予測である、作業予測Ｐｏ（ｘ）を生成する。ここで前述の通り、検知情報Ｉｄ（ｘ）は、「作業Ｏｐ（ｘ）に用いられる工具（例えば、出力デバイス４２（ｘ）または器具９０（ｘ））、作業対象物Ｏｂ（ｘ）、および、作業場Ａｒ（ｘ）の少なくとも１つの状態」を示す情報である。
【0198】
作業予測部１４２は、例えば、「器具９０（ｘ）等の工具に流れる電流の大きさ」から、「動作Ａｃ（ｘ）が実行され、動作Ａｃ（ｘ）に対応する作業Ｏｐ（ｘ）を作業場Ａｒ（ｘ）において作業者Ｈｕが行った」と予測する。
【0199】
作業予測部１４２は、例えば、「工具の消費電力」から、「動作Ａｃ（ｘ）が実行され、動作Ａｃ（ｘ）に対応する作業Ｏｐ（ｘ）を作業場Ａｒ（ｘ）において作業者Ｈｕが行った」と予測する。
【0200】
作業予測部１４２は、例えば、「工具、または、作業対象物Ｏｂ（ｘ）が把持された」ことから、「作業Ｏｐ（ｘ）が作業場Ａｒ（ｘ）において作業者Ｈｕによって行われた」と予測する。
【0201】
作業予測部１４２は、例えば、「工具、または、作業対象物Ｏｂ（ｘ）、または、作業場Ａｒ（ｘ）の備える開閉機構が開閉された」ことから、「作業Ｏｐ（ｘ）が作業場Ａｒ（ｘ）において作業者Ｈｕによって行われた」と予測する。
【0202】
作業予測部１４２は、例えば、「工具、または、作業対象物Ｏｂ（ｘ）、または、作業場Ａｒ（ｘ）の備えるボタンが押下された」ことから、「作業Ｏｐ（ｘ）が作業場Ａｒ（ｘ）において作業者Ｈｕによって行われた」と予測する。
【0203】
以上に説明した通り、作業予測部１４２は、検知情報Ｉｄから「作業者Ｈｕが行っている作業Ｏｐの内容」を予測し、例えば、検知情報Ｉｄ（ｘ）から「作業場Ａｒ（ｘ）において作業者Ｈｕ（ｘ）が行っている作業Ｏｐ（ｘ）の内容」を予測する。
【0204】
特に、作業予測部１４２は、検知情報Ｉｄ（ｘ）に含まれる、「作業Ｏｐ（ｘ）に用いられる工具、作業対象物Ｏｂ（ｘ）、および、作業場Ａｒ（ｘ）の少なくとも１つの状態」が検知された時刻である検知時刻Ｔｄを用いて、以下の予測を実行する。すなわち、作業予測部１４２は、検知情報Ｉｄ（ｘ）から、「『作業場画像Ｉｃ（ｘ）が撮像された撮像時刻Ｔｐ』に対応する検知時刻Ｔｄにおいて、作業者Ｈｕ（ｘ）が行っている作業Ｏｐ（ｘ）の内容」を予測する。
【0205】
作業予測部１４２は、検知情報Ｉｄから予測した「作業者Ｈｕが行っている作業Ｏｐの内容」を、作業予測Ｐｏとして、判定部１５０へと出力する。例えば、作業予測部１４２は、検知情報Ｉｄ（ｘ）から予測した「作業場Ａｒ（ｘ）において作業者Ｈｕ（ｘ）が行っている作業Ｏｐ（ｘ）の内容」である作業予測Ｐｏ（ｘ）を、判定部１５０へと出力する。
【0206】
判定部１５０は、第一予測Ｐｆ（の正否）を、第二予測Ｐｓを用いて検証し、つまり、第一予測Ｐｆ（の正否）を、存否予測Ｐａおよび作業予測Ｐｏの少なくとも一方を用いて検証する。具体的には、判定部１５０は、第一予測Ｐｆ（ｘ）（の正否）を、存否予測Ｐａ（ｘ）および作業予測Ｐｏ（ｘ）の少なくとも一方を用いて検証する。
【0207】
前述の通り、第一予測Ｐｆ（ｘ）は、例えば、作業場画像Ｉｃ（ｘ）から予測される、「撮像時刻Ｔｐにおいて、作業者Ｈｕ（ｘ）が、作業場Ａｒ（ｘ）で作業対象物Ｏｂ（ｘ）について行っている作業Ｏｐ（ｘ）の内容」である。存否予測Ｐａ（ｘ）は、例えば、全体画像Ｉａから予測される、「『作業場画像Ｉｃ（ｘ）が撮像された撮像時刻Ｔｐ』に対応する全体時刻Ｔａにおいて、作業者Ｈｕ（ｘ）が作業場Ａｒ（ｘ）に居るか」についての予測である。作業予測Ｐｏ（ｘ）は、例えば、検知情報Ｉｄ（ｘ）から予測される、「『作業場画像Ｉｃ（ｘ）が撮像された撮像時刻Ｔｐ』に対応する検知時刻Ｔｄにおいて、作業者Ｈｕ（ｘ）が行っている作業Ｏｐ（ｘ）の内容」である。
【0208】
例えば、判定部１５０は、存否予測Ｐａ（ｘ）において「作業場Ａｒ（ｘ）に作業者Ｈｕが存在する」と予測されていると、「第一予測Ｐｆ（ｘ）は正しい」と判定する。特に、判定部１５０は、「セルカメラ３０が作業場画像Ｉｃ（ｘ）を生成した時刻である撮像時刻Ｔｐにおいて、作業場Ａｒ（ｘ）に作業者Ｈｕが存在する」と予測されていると、「第一予測Ｐｆ（ｘ）は正しい」と判定する。
【0209】
例えば、判定部１５０は、作業予測Ｐｏ（ｘ）における作業Ｏｐ（ｘ）と第一予測Ｐｆ（ｘ）における作業Ｏｐ（ｘ）とが一致すると、「第一予測Ｐｆ（ｘ）は正しい」と判定する。特に、判定部１５０は、「作業予測Ｐｏ（ｘ）における、撮像時刻Ｔｐ（ｘ）での作業Ｏｐ（ｘ）」と「第一予測Ｐｆ（ｘ）における、撮像時刻Ｔｐ（ｘ）での作業Ｏｐ（ｘ）」とが一致すると、「第一予測Ｐｆ（ｘ）は正しい」と判定する。
【0210】
例えば、判定部１５０は、「作業場Ａｒ（ｘ）に作業者Ｈｕが存在する」と予測され、かつ、作業予測Ｐｏ（ｘ）における作業Ｏｐ（ｘ）と第一予測Ｐｆ（ｘ）における作業Ｏｐ（ｘ）とが一致した場合に、「第一予測Ｐｆ（ｘ）は正しい」と判定する。特に、判定部１５０は、以下の２つの条件がいずれも満たされている場合に「第一予測Ｐｆ（ｘ）は正しい」と判定する。すなわち、第一の条件は、作業予測Ｐｏ（ｘ）において、「セルカメラ３０が作業場画像Ｉｃ（ｘ）を生成した時刻である撮像時刻Ｔｐにおいて、作業場Ａｒ（ｘ）に作業者Ｈｕが存在する」と予測されていることである。第二の条件は、「作業予測Ｐｏ（ｘ）における、撮像時刻Ｔｐ（ｘ）での作業Ｏｐ（ｘ）」と「第一予測Ｐｆ（ｘ）における、撮像時刻Ｔｐ（ｘ）での作業Ｏｐ（ｘ）」とが一致することである。
【0211】
判定部１５０は、判定結果（検証結果）と共に、第一予測Ｐｆを推定部１６０へと通知する。判定部１５０は、さらに、第二予測Ｐｓ（存否予測Ｐａおよび作業予測Ｐｏの少なくとも一方）を推定部１６０へと通知してもよい。
【0212】
推定部１６０は、判定部１５０によって「第一予測Ｐｆ（ｘ）は正しい」と判定されると、第一予測Ｐｆ（ｘ）を「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」であると推定し、第一予測Ｐｆ（ｘ）を、推定結果として外部に出力する。
【0213】
推定部１６０は、判定部１５０によって「第一予測Ｐｆ（ｘ）は正しくない」と判定されると、「作業場Ａｒ（ｘ）に作業者Ｈｕがいない」との推定結果、または、「所望の精度で推定できた作業Ｏｐ（ｘ）の内容はない」との推定結果を、外部に出力する。推定部１６０は、上述の推定結果を、作業場画像Ｉｃと共に、図２の動画保存サーバ等に出力してもよい。
【0214】
（記憶部について）
記憶部１７０は、情報処理装置１０が使用する各種データを格納する記憶装置である。なお、記憶部１７０は、情報処理装置１０が実行する（１）制御プログラム、（２）ＯＳプログラム、（３）情報処理装置１０が有する各種機能を実行するためのアプリケーションプログラム、および、（４）該アプリケーションプログラムを実行するときに読み出す各種データを非一時的に記憶してもよい。上記の（１）～（４）のデータは、例えば、ＲＯＭ（read only memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（登録商標）（Electrically EPROM）、ＨＤＤ（Hard Disc Drive）等の不揮発性記憶装置に記憶される。情報処理装置１０は、図示しない一時記憶部を備えていてもよい。一時記憶部は、情報処理装置１０が実行する各種処理の過程で、演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリであり、ＲＡＭ（Random Access Memory）等の揮発性記憶装置で構成される。どのデータをどの記憶装置に記憶するのかについては、情報処理装置１０の使用目的、利便性、コスト、または、物理的な制約等から適宜決定される。記憶部１７０はさらに、作業予測モデル１７１および存否モデル１７２を格納している。
記憶部１７０は、情報処理装置１０が使用する各種データを格納する記憶装置である。なお、記憶部１７０は、情報処理装置１０が実行する（１）制御プログラム、（２）ＯＳプログラム、（３）情報処理装置１０が有する各種機能を実行するためのアプリケーションプログラム、および、（４）該アプリケーションプログラムを実行するときに読み出す各種データを非一時的に記憶してもよい。上記の（１）～（４）のデータは、例えば、ＲＯＭ（read only memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（登録商標）（Electrically EPROM）、ＨＤＤ（Hard Disc Drive）等の不揮発性記憶装置に記憶される。情報処理装置１０は、図示しない一時記憶部を備えていてもよい。一時記憶部は、情報処理装置１０が実行する各種処理の過程で、演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリであり、ＲＡＭ（Random Access Memory）等の揮発性記憶装置で構成される。どのデータをどの記憶装置に記憶するのかについては、情報処理装置１０の使用目的、利便性、コスト、または、物理的な制約等から適宜決定される。記憶部１７０はさらに、作業予測モデル１７１および存否モデル１７２を格納している。
【0215】
作業予測モデル１７１は、第一予測部１２０が、作業場画像Ｉｃから「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を予測するためのモデルである。作業予測モデル１７１は、例えば、作業場画像Ｉｃを入力とし、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を示す情報を出力とする学習済モデルである。
【0216】
存否モデル１７２は、存否予測部１４１が、全体画像Ｉａから「作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居るか」を予測するためのモデルである。存否モデル１７２は、全体画像Ｉａを入力とし、「作業場Ａｒ（より正確には、工場Ｆａにおける複数の作業場Ａｒの各々）に作業者Ｈｕが居るか」を出力とする、学習済モデルである。
【0217】
§３．動作例
図３、図４、および図５は、それぞれ、情報処理装置１０が実行する処理の全体概要を説明するフロー図である。情報処理装置１０は、第二予測Ｐｓを用いて第一予測Ｐｆ（の正否）を検証することによって、「作業者Ｈｕが行っている作業Ｏｐの内容」を高精度に推定することができる。
図３、図４、および図５は、それぞれ、情報処理装置１０が実行する処理の全体概要を説明するフロー図である。情報処理装置１０は、第二予測Ｐｓを用いて第一予測Ｐｆ（の正否）を検証することによって、「作業者Ｈｕが行っている作業Ｏｐの内容」を高精度に推定することができる。
【0218】
（作業予測Ｐｏのみを用いて検証を行う場合の処理例）
図３は、第二予測Ｐｓのうち作業予測Ｐｏのみを用いて第一予測Ｐｆ（の正否）を検証する場合に、情報処理装置１０が実行する処理の全体概要を説明するフロー図である。図３に例示するように、情報処理装置１０（特に、判定部１５０）は、第一予測Ｐｆ（の正否）を、作業予測Ｐｏのみを用いて検証してもよい。
図３は、第二予測Ｐｓのうち作業予測Ｐｏのみを用いて第一予測Ｐｆ（の正否）を検証する場合に、情報処理装置１０が実行する処理の全体概要を説明するフロー図である。図３に例示するように、情報処理装置１０（特に、判定部１５０）は、第一予測Ｐｆ（の正否）を、作業予測Ｐｏのみを用いて検証してもよい。
【0219】
図３に示すように、判定部１５０は先ず、作業予測Ｐｏにおいて「作業者Ｈｕが行っている作業Ｏｐの内容」が予測されているか否か、つまり、「検知情報Ｉｄから、何らかの作業Ｏｐが行われていると予測されたか否か」を確認する（Ｓ１１０）。
【0220】
「検知情報Ｉｄから、何らかの作業Ｏｐが行われていると予測された」ことを確認すると（Ｓ１１０でＹＥＳ）、判定部１５０はさらに、第一予測Ｐｆにおいて「作業者Ｈｕが行っている作業Ｏｐの内容」が予測されているか否かを確認する。つまり、判定部１５０は、「作業予測モデル１７１を用いて、何らかの作業Ｏｐが行われていると予測されたか否か」を確認する（Ｓ１２０）。
【0221】
「作業予測モデル１７１を用いて、何らかの作業Ｏｐが行われていると予測された」ことを確認すると（Ｓ１２０でＹＥＳ）、判定部１５０は、以下の判定を実行する。すなわち、判定部１５０は、「検知情報Ｉｄから予測された作業Ｏｐの内容と、作業予測モデル１７１を用いて予測された作業Ｏｐの内容とが一致するか否か」を判定する（Ｓ１３０）。つまり、判定部１５０は、「作業予測Ｐｏにおける作業Ｏｐ」と「第一予測Ｐｆにおける作業Ｏｐ（ｘ）」とが一致するか否かを判定する。
【0222】
判定部１５０によって、「検知情報Ｉｄから予測された作業Ｏｐの内容と、作業予測モデル１７１を用いて予測された作業Ｏｐの内容とが一致する」と判定されると（Ｓ１３０でＹＥＳ）、推定部１６０は、以下の推定結果を出力する。すなわち、推定部１６０は、第一取得部１１０が作業場画像Ｉｃから作業予測モデル１７１を用いて予測した作業Ｏｐの内容を、推定結果として出力し（Ｓ１４０）、つまり、第一予測Ｐｆ（ｘ）を、推定結果として出力する。
【0223】
「検知情報Ｉｄからは、何らかの作業Ｏｐが行われているとは予測されなかった」ことを確認すると（Ｓ１１０でＮＯ）、つまり、作業予測部１４２が検知情報Ｉｄから作業Ｏｐの内容を予測できなかった場合、推定部１６０は、以下の推定結果を出力する。すなわち、推定部１６０は、「所望の精度で推定できた作業Ｏｐの内容はない」との推定結果を出力する（Ｓ１５０）。
【0224】
「作業予測モデル１７１を用いて、何らかの作業Ｏｐが行われているとは予測されなかった」ことを確認すると（Ｓ１２０でＮＯ）、推定部１６０は、以下の推定結果を出力する。すなわち、推定部１６０は、「所望の精度で推定できた作業Ｏｐの内容はない」との推定結果を出力する（Ｓ１５０）。つまり、第一予測部１２０が作業場画像Ｉｃから作業Ｏｐの内容を予測できなかった場合、推定部１６０は、「所望の精度で推定できた作業Ｏｐの内容はない」との推定結果を出力する。
【0225】
「検知情報Ｉｄから予測された作業Ｏｐの内容と、作業予測モデル１７１を用いて予測された作業Ｏｐの内容とが一致しない」と判定されると（Ｓ１３０でＮＯ）、推定部１６０は、以下の推定結果を出力する。すなわち、推定部１６０は、「所望の精度で推定できた作業Ｏｐの内容はない」との推定結果を出力する（Ｓ１５０）。
【0226】
情報処理装置１０は、作業予測Ｐｏを用いて第一予測Ｐｆ（の正否）を検証し、つまり、ＨＯＩ検出アルゴリズムを、「入力デバイス４１等からの検知情報Ｉｄ」と組み合わせて用いる。情報処理装置１０は、ＨＯＩ検出アルゴリズムを実行する第一予測部１２０と、検知情報Ｉｄから作業予測Ｐｏを生成する作業予測部１４２とを備えることによって、第一予測部１２０による誤検出（予測の誤り）をキャンセルする。そのため、情報処理装置１０は、ＨＯＩ検出アルゴリズムの誤検出（予測の誤り）をキャンセルし、精度の高い推定を実現することができる。
【0227】
作業予測部１４２は、入力デバイス４１等からの検知情報Ｉｄから、「作業者Ｈｕが行っている作業Ｏｐの内容」を予測し、つまり、作業予測Ｐｏを生成する。そして、ＨＯＩ検出アルゴリズムを実行する第一予測部１２０による「作業者Ｈｕが行っている作業Ｏｐの内容」の予測よりも、検知情報Ｉｄを用いた作業予測部１４２による「作業者Ｈｕが行っている作業Ｏｐの内容」の予測の方が、予測精度が高い。つまり、第一予測Ｐｆの予測精度よりも、作業予測Ｐｏの予測精度の方が高い。
【0228】
そのため、情報処理装置１０は、第一予測Ｐｆと作業予測Ｐｏとを用いることによって、「作業者Ｈｕが行っている作業Ｏｐの内容」を、高精度に推定することができる。第一予測部１２０がＨＯＩ検出アルゴリズムを実行して予測可能な「作業者Ｈｕが行っている作業Ｏｐ」の種類は、作業予測部１４２が検知情報Ｉｄから予測可能な「作業者Ｈｕが行っている作業Ｏｐ」の種類と同じであってもよく、前者が後者より多くてもよい。
【0229】
一般に、ＨＯＩ検出アルゴリズムによるＨＯＩ検出（つまり、「作業Ｏｐの内容」の予測）は、作業場画像Ｉｃから、作業者Ｈｕおよび作業対象物Ｏｂの少なくとも一方を検出（物体検出）できなかった場合、失敗する。そのため、ＨＯＩ検出の失敗を、つまり、「作業予測モデル１７１を用いて、何らかの作業Ｏｐが行われているとは予測されなかった」ことを、「物体（例えば、作業者Ｈｕ）の検出失敗（つまり、不在）」とみなしてもよい。
【0230】
（存否予測Ｐａのみを用いて検証を行う場合の処理例）
図４は、第二予測Ｐｓのうち存否予測Ｐａのみを用いて第一予測Ｐｆ（の正否）を検証する場合に、情報処理装置１０が実行する処理の全体概要を説明するフロー図である。図４に例示するように、情報処理装置１０（特に、判定部１５０）は、第一予測Ｐｆ（の正否）を、存否予測Ｐａのみを用いて検証してもよい。
図４は、第二予測Ｐｓのうち存否予測Ｐａのみを用いて第一予測Ｐｆ（の正否）を検証する場合に、情報処理装置１０が実行する処理の全体概要を説明するフロー図である。図４に例示するように、情報処理装置１０（特に、判定部１５０）は、第一予測Ｐｆ（の正否）を、存否予測Ｐａのみを用いて検証してもよい。
【0231】
図４に示すように、判定部１５０は先ず、存否予測Ｐａにおいて「作業場Ａｒに作業者Ｈｕが存在する」と予測されているか否か、つまり、「存否モデル１７２を用いて、作業場Ａｒに作業者Ｈｕが存在すると予測されたか否か」を確認する（Ｓ２１０）。
【0232】
前述の通り、存否予測部１４１は、所定期間（例えば、５秒間）の全体画像Ｉａから、「その所定期間に、作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居るか」を予測してもよい。存否予測部１４１は、その所定期間の内の所定割合（例えば、５割）の期間以上、「作業者Ｈｕが居る」と予測した場合にのみ、「その所定期間に、作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居た」と予測してもよい。
【0233】
「存否モデル１７２を用いて、作業場Ａｒに作業者Ｈｕが存在すると予測された」ことを確認すると（Ｓ２１０でＹＥＳ）、判定部１５０はさらに、第一予測Ｐｆにおいて「作業者Ｈｕが行っている作業Ｏｐの内容」が予測されているか否かを確認する。つまり、判定部１５０は、「作業予測モデル１７１を用いて、何らかの作業Ｏｐが行われていると予測されたか否か」を確認する（Ｓ２２０）。
【0234】
判定部１５０によって、「作業予測モデル１７１を用いて、何らかの作業Ｏｐが行われていると予測された」ことが確認されると（Ｓ２２０でＹＥＳ）、推定部１６０は、以下の推定結果を出力する。すなわち、推定部１６０は、第一取得部１１０が作業場画像Ｉｃから作業予測モデル１７１を用いて予測した作業Ｏｐの内容を、推定結果として出力し（Ｓ２３０）、つまり、第一予測Ｐｆ（ｘ）を、推定結果として出力する。
【0235】
「存否モデル１７２を用いて、作業場Ａｒに作業者Ｈｕが存在しないと予測された」ことを確認すると（Ｓ２１０でＮＯ）、推定部１６０は、以下の推定結果を出力する。すなわち、推定部１６０は、「作業場Ａｒに作業者Ｈｕがいない」との推定結果を出力する（Ｓ２５０）。つまり、存否予測部１４１が全体画像Ｉａから「作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居ない」と予測する場合、推定部１６０は、「作業場Ａｒに作業者Ｈｕがいない」との推定結果を出力する。
【0236】
「作業予測モデル１７１を用いて、何らかの作業Ｏｐが行われているとは予測されなかった」ことを確認すると（Ｓ２２０でＮＯ）、推定部１６０は、以下の推定結果を出力する。すなわち、推定部１６０は、「所望の精度で推定できた作業Ｏｐの内容はない」との推定結果を出力する（Ｓ２４０）。つまり、第一予測部１２０が作業場画像Ｉｃから作業Ｏｐの内容を予測できなかった場合、推定部１６０は、「所望の精度で推定できた作業Ｏｐの内容はない」との推定結果を出力する。
【0237】
情報処理装置１０は、存否予測Ｐａを用いて第一予測Ｐｆ（の正否）を検証し、つまり、ＨＯＩ検出アルゴリズムを、「ＹＯＬＯなどの動線検出アルゴリズム」と組み合わせて用いる。すなわち、情報処理装置１０は、ＨＯＩ検出アルゴリズムを実行する第一予測部１２０と、動線検出アルゴリズムを実行する存否予測部１４１とを備えることによって、第一予測部１２０による誤検出（予測の誤り）をキャンセルすることができる。動線検出アルゴリズムで予測（検出）できるのは、作業者Ｈｕの存否のみである代わりに、動線検出アルゴリズムの予測精度は、ＨＯＩ検出アルゴリズムの予測精度よりも高い。そのため、情報処理装置１０は、第一予測Ｐｆと存否予測Ｐａとを用いることによって、「作業者Ｈｕが行っている作業Ｏｐの内容」を、高精度に推定することができる。
【0238】
（存否予測Ｐａおよび作業予測Ｐｏの両方を用いて検証を行う場合の処理例）
図５は、存否予測Ｐａおよび作業予測Ｐｏの両方を用いて第一予測Ｐｆ（の正否）を検証する場合に、情報処理装置１０が実行する処理の全体概要を説明するフロー図である。図５に例示するように、情報処理装置１０（特に、判定部１５０）は、第一予測Ｐｆ（の正否）を、存否予測Ｐａおよび作業予測Ｐｏの両方を用いて検証してもよい。
図５は、存否予測Ｐａおよび作業予測Ｐｏの両方を用いて第一予測Ｐｆ（の正否）を検証する場合に、情報処理装置１０が実行する処理の全体概要を説明するフロー図である。図５に例示するように、情報処理装置１０（特に、判定部１５０）は、第一予測Ｐｆ（の正否）を、存否予測Ｐａおよび作業予測Ｐｏの両方を用いて検証してもよい。
【0239】
図５に示すように、判定部１５０は先ず、存否予測Ｐａにおいて「作業場Ａｒに作業者Ｈｕが存在する」と予測されているか否か、つまり、「存否モデル１７２を用いて、作業場Ａｒに作業者Ｈｕが存在すると予測されたか否か」を確認する（Ｓ３１０）。
【0240】
前述の通り、存否予測部１４１は、所定期間の全体画像Ｉａから、「その所定期間に、作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居るか」を予測してもよい。存否予測部１４１は、その所定期間の内の所定割合の期間以上、「作業者Ｈｕが居る」と予測した場合にのみ、「その所定期間に、作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居た」と予測してもよい。
【0241】
「存否モデル１７２を用いて、作業場Ａｒに作業者Ｈｕが存在すると予測された」ことを確認すると（Ｓ３１０でＹＥＳ）、判定部１５０は、次に、作業予測Ｐｏにおいて「作業者Ｈｕが行っている作業Ｏｐの内容」が予測されているか否かを確認する。すなわち、判定部１５０は、「検知情報Ｉｄから、何らかの作業Ｏｐが行われていると予測されたか否か」を確認する（Ｓ３２０）。
【0242】
「検知情報Ｉｄから、何らかの作業Ｏｐが行われていると予測された」ことを確認すると（Ｓ３２０でＹＥＳ）、判定部１５０は、第一予測Ｐｆにおいて「作業者Ｈｕが行っている作業Ｏｐの内容」が予測されているか否かを確認する。つまり、判定部１５０は、「作業予測モデル１７１を用いて、何らかの作業Ｏｐが行われていると予測されたか否か」を確認する（Ｓ３３０）。
【0243】
「作業予測モデル１７１を用いて、何らかの作業Ｏｐが行われていると予測された」ことを確認すると（Ｓ３３０でＹＥＳ）、判定部１５０は、以下の判定を実行する。すなわち、判定部１５０は、「検知情報Ｉｄから予測された作業Ｏｐの内容と、作業予測モデル１７１を用いて予測された作業Ｏｐの内容とが一致するか否か」を判定する（Ｓ３４０）。つまり、判定部１５０は、「作業予測Ｐｏにおける作業Ｏｐ」と「第一予測Ｐｆにおける作業Ｏｐ（ｘ）」とが一致するか否かを判定する。
【0244】
判定部１５０によって、「検知情報Ｉｄから予測された作業Ｏｐの内容と、作業予測モデル１７１を用いて予測された作業Ｏｐの内容とが一致する」と判定されると（Ｓ３４０でＹＥＳ）、推定部１６０は、以下の推定結果を出力する。すなわち、推定部１６０は、第一取得部１１０が作業場画像Ｉｃから作業予測モデル１７１を用いて予測した作業Ｏｐの内容を、推定結果として出力し（Ｓ３５０）、つまり、第一予測Ｐｆ（ｘ）を、推定結果として出力する。
【0245】
「存否モデル１７２を用いて、作業場Ａｒに作業者Ｈｕが存在しないと予測された」ことを確認すると（Ｓ３１０でＮＯ）、推定部１６０は、以下の推定結果を出力する。すなわち、推定部１６０は、「作業場Ａｒに作業者Ｈｕがいない」との推定結果を出力する（Ｓ３６０）。つまり、存否予測部１４１が全体画像Ｉａから「作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居ない」と予測する場合、推定部１６０は、「作業場Ａｒに作業者Ｈｕがいない」との推定結果を出力する。
【0246】
「検知情報Ｉｄからは、何らかの作業Ｏｐが行われているとは予測されなかった」ことを確認すると（Ｓ３２０でＮＯ）、つまり、作業予測部１４２が検知情報Ｉｄから作業Ｏｐの内容を予測できなかった場合、推定部１６０は、以下の推定結果を出力する。すなわち、推定部１６０は、「所望の精度で推定できた作業Ｏｐの内容はない」との推定結果を出力する（Ｓ３７０）。
【0247】
「作業予測モデル１７１を用いて、何らかの作業Ｏｐが行われているとは予測されなかった」ことを確認すると（Ｓ３３０でＮＯ）、推定部１６０は、以下の推定結果を出力する。すなわち、推定部１６０は、「所望の精度で推定できた作業Ｏｐの内容はない」との推定結果を出力する（Ｓ３７０）。つまり、第一予測部１２０が作業場画像Ｉｃから作業Ｏｐの内容を予測できなかった場合、推定部１６０は、「所望の精度で推定できた作業Ｏｐの内容はない」との推定結果を出力する。
【0248】
「検知情報Ｉｄから予測された作業Ｏｐの内容と、作業予測モデル１７１を用いて予測された作業Ｏｐの内容とが一致しない」と判定されると（Ｓ３４０でＮＯ）、推定部１６０は、以下の推定結果を出力する。すなわち、推定部１６０は、「所望の精度で推定できた作業Ｏｐの内容はない」との推定結果を出力する（Ｓ３７０）。
【0249】
前述の通り、検知情報Ｉｄ（工程情報Ｉｐを含む）から予測可能な事象と、動線検出アルゴリズムによって予測可能な事象とは異なる。具体的には、作業予測部１４２が検知情報Ｉｄから生成する作業予測Ｐｏは、「作業者Ｈｕが行っている作業Ｏｐの内容」についての予測である。これに対して、存否予測部１４１が動線検出アルゴリズムを用いて生成する存否予測Ｐａは、「作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居るか」についての予測である。
【0250】
そのため、情報処理装置１０（特に、判定部１５０）は、第一予測Ｐｆ（の正否）を検証するのに、作業予測Ｐｏおよび存否予測Ｐａの少なくとも一方を用いることができる。具体的には、判定部１５０は、図３に示すように、作業予測Ｐｏのみを用いて第一予測Ｐｆ（の正否）を検証してもよいし、図４に示すように、存否予測Ｐａのみを用いて第一予測Ｐｆ（の正否）を検証してもよい。
【0251】
また、判定部１５０は、存否予測Ｐａおよび作業予測Ｐｏの両方を用いて第一予測Ｐｆ（の正否）を検証してもよい。特に、判定部１５０は、図５に示すように、存否予測Ｐａによって先ず作業者Ｈｕの存否をフィルタリングし、作業者Ｈｕが存在すると予測した場合にさらに、作業予測Ｐｏを利用して、第一予測Ｐｆ（の正否）を検証してもよい。
【0252】
これまで図３、図４、および、図５を用いて説明してきた情報処理装置１０の実行する処理は、以下のように整理することができる。すなわち、情報処理装置１０の実行する制御方法は、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」を推定する作業推定装置の制御方法である。情報処理装置１０の実行する制御方法は、予測ステップ（Ｓ１２０、Ｓ２２０、Ｓ３３０）と、判定ステップ（Ｓ１３０、Ｓ２１０、Ｓ３１０、Ｓ３４０）と、推定ステップ（Ｓ１４０、Ｓ２３０、Ｓ３５０）とを含む。
【0253】
予測ステップは、作業予測モデル１７１を用いて、「作業場画像Ｉｃ、または、作業場画像Ｉｃから生成された特徴情報」から、「作業者Ｈｕが作業対象物Ｏｂについて行っている作業Ｏｐの内容」を予測する。作業予測モデル１７１は、「作業場Ａｒを撮像した作業場画像Ｉｃ」または「作業場画像Ｉｃから生成された特徴情報」を入力とし、以下の情報を出力とする学習済モデルである。すなわち、作業予測モデル１７１は、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を出力とする学習済モデルである。
【0254】
判定ステップは、作業予測モデル１７１を用いずに予測された作業Ｏｐの内容、および、作業場Ａｒに作業者Ｈｕが存在するか否かの判定結果の少なくとも一方を用いて、予測ステップでの予測の正否を判定する。つまり、判定ステップは、作業予測Ｐｏおよび存否予測Ｐａの少なくとも一方を用いて、第一予測Ｐｆの正否を判定する。
【0255】
推定ステップは、判定ステップにて「予測ステップでの予測が正しい」と判定されると、予測ステップにて予測された作業Ｏｐの内容を、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」であると推定する。つまり、推定ステップは、作業予測Ｐｏおよび存否予測Ｐａの少なくとも一方を用いて第一予測Ｐｆが正しいことが検証されると、第一予測Ｐｆを、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」についての推定結果として出力する。
【0256】
前記の構成によれば、前記制御方法は、作業予測モデル１７１を用いて予測した作業Ｏｐの内容の正否を、作業予測モデル１７１を用いずに予測された作業Ｏｐの内容、および、作業場Ａｒにおける作業者Ｈｕの存否の判定結果の少なくとも一方を用いて判定する。そして、前記制御方法は、作業予測モデル１７１を用いた予測が正しいと判定されると、作業予測モデル１７１を用いて予測した作業Ｏｐの内容を、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」であると推定する。
【0257】
つまり、前記制御方法は、作業予測モデル１７１を用いて予測した作業Ｏｐの内容の正否を、作業予測モデル１７１を用いずに予測された作業Ｏｐの内容、および、作業場Ａｒに作業者Ｈｕが存在するか否かの判定結果の少なくとも一方を用いて検証する。
【0258】
したがって、前記制御方法は、作業場画像Ｉｃから、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」を、高精度に推定することができるとの効果を奏する。
【0259】
（ニューラルネットワーク（ＮＮ）として実現した第一予測部および存否予測部の例）
前述の通り、第一予測部１２０および存否予測部１４１の少なくとも一方は、ＮＮとして実現されてもよい。特に、第一予測部１２０および存否予測部１４１の少なくとも一方は、ＣＮＮ（Convolution al Neural Network）またはＤＮＮ（Deep Neural Network）として、実現されてもよい。
前述の通り、第一予測部１２０および存否予測部１４１の少なくとも一方は、ＮＮとして実現されてもよい。特に、第一予測部１２０および存否予測部１４１の少なくとも一方は、ＣＮＮ（Convolution al Neural Network）またはＤＮＮ（Deep Neural Network）として、実現されてもよい。
【0260】
例えば、第一予測部１２０（作業予測モデル１７１）は、作業場画像Ｉｃから、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を示す第一予測Ｐｆを出力する。また、例えば、存否予測部１４１（存否モデル１７２）は、全体画像Ｉａから、「作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居るか」を示す存否予測Ｐａを出力する。
【0261】
次に、学習済モデルである作業予測モデル１７１および存否モデル１７２を構築する学習処理について、以下に説明する。
【0262】
（学習処理）
（作業予測モデルについて）
ＮＮとして実現された第一予測部１２０は、学習済モデルである作業予測モデル１７１を、例えば、教師データＤｔ１の集合である学習用データセットＤＳ１に対する教師あり学習によって構築する。教師データＤｔ１は、作業場画像Ｉｃに対し、少なくとも「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を示す情報がラベルとして付されたデータである。「教師データ」は「学習用データ」とも呼ばれる。また、「第一予測部１２０が、学習用データセットＤＳ１に対する教師あり学習によって、作業予測モデル１７１を構築する」処理を、「学習処理ＳＳ１」とも称する。
（作業予測モデルについて）
ＮＮとして実現された第一予測部１２０は、学習済モデルである作業予測モデル１７１を、例えば、教師データＤｔ１の集合である学習用データセットＤＳ１に対する教師あり学習によって構築する。教師データＤｔ１は、作業場画像Ｉｃに対し、少なくとも「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を示す情報がラベルとして付されたデータである。「教師データ」は「学習用データ」とも呼ばれる。また、「第一予測部１２０が、学習用データセットＤＳ１に対する教師あり学習によって、作業予測モデル１７１を構築する」処理を、「学習処理ＳＳ１」とも称する。
【0263】
学習処理ＳＳ１において、ＮＮとして実現された第一予測部１２０は、学習用データセットＤＳ１に対する教師あり学習によって、作業場画像Ｉｃの入力に対して、以下の情報を出力する作業予測モデル１７１を、学習済モデルとして構築する。すなわち、作業予測モデル１７１は、作業場画像Ｉｃを入力とし、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を出力とする学習済モデルである。
【0264】
つまり、教師データＤｔ１において作業場画像Ｉｃには、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を示す情報がラベルとして付されている。教師データＤｔ１において作業場画像Ｉｃに対するラベルとして付される情報は、教師データＤｔ１の集合である学習用データセットＤＳ１に対する機械学習により構築される作業予測モデル１７１が、作業場画像Ｉｃの入力に対して出力する情報と同様である。
【0265】
ＮＮとして実現された第一予測部１２０は、学習処理ＳＳ１によって構築した作業予測モデル１７１を、記憶部１７０に格納する。
【0266】
（教師データの準備について）
図６は、教師データＤｔ１の生成に必要なアノテーションの一例を説明する図である。図６に例示する教師データＤｔ１において、作業場画像Ｉｃには、以下のラベル（アノテーション）が付されている。すなわち、作業場画像Ｉｃには、一点鎖線で囲んだ、「作業者Ｈｕを検出するバウンディングボックスの範囲」を示すラベルが付されている。また、作業場画像Ｉｃには、二点鎖線で囲んだ、「作業対象物Ｏｂを検出するバウンディングボックスの範囲」を示すラベルが付されている。さらに、作業場画像Ｉｃには、両端を矢印とする直線が、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を示すラベルとして付されている。両端を矢印とする直線は、「作業者Ｈｕを検出するバウンディングボックスの範囲」の略中央と、「作業対象物Ｏｂを検出するバウンディングボックスの範囲」の略中央とを結んでいる。
図６は、教師データＤｔ１の生成に必要なアノテーションの一例を説明する図である。図６に例示する教師データＤｔ１において、作業場画像Ｉｃには、以下のラベル（アノテーション）が付されている。すなわち、作業場画像Ｉｃには、一点鎖線で囲んだ、「作業者Ｈｕを検出するバウンディングボックスの範囲」を示すラベルが付されている。また、作業場画像Ｉｃには、二点鎖線で囲んだ、「作業対象物Ｏｂを検出するバウンディングボックスの範囲」を示すラベルが付されている。さらに、作業場画像Ｉｃには、両端を矢印とする直線が、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を示すラベルとして付されている。両端を矢印とする直線は、「作業者Ｈｕを検出するバウンディングボックスの範囲」の略中央と、「作業対象物Ｏｂを検出するバウンディングボックスの範囲」の略中央とを結んでいる。
【0267】
図６に例示するような教師データＤｔ１の準備には、作業者Ｈｕを検出するためのバウンディングボックスの設定が不要であったとしても、作業場画像Ｉｃに対して以下の５つのアノテーションが必要となる。すなわち、作業場画像Ｉｃに対して、作業対象物Ｏｂを検出するためのバウンディングボックスの範囲を示す４点のうち、左下の点および右上の点の各々のＸ座標およびＹ座標を設定することが必要であり、つまり、４つのアノテーションが必要となる。さらに、作業場画像Ｉｃに対して、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を示す１つのアノテーションが必要となる。
【0268】
ここで、教師あり学習のためには、一般に大量の教師データＤｔ１が必要であり、大量の教師データＤｔ１を準備するためには、大量の作業場画像Ｉｃの各々について、上述の５つのアノテーションを行うことが必要となる。そのため、大量の作業場画像Ｉｃの各々について、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を人間に判定させようとする場合、それに要するコストは極めて大きい。
【0269】
そこで、本実施形態においては、教師データＤｔ１の準備に際して、作業場画像Ｉｃから人間が判定した「作業Ｏｐの内容」ではなく、検知情報Ｉｄから予測された「作業Ｏｐの内容」が、「作業Ｏｐの内容」を示すラベルとして、作業場画像Ｉｃに付与される。つまり、教師データＤｔ１においては、作業場画像Ｉｃから人間が判定した「作業Ｏｐの内容」ではなく、作業予測部１４２が検知情報Ｉｄから予測した「作業Ｏｐの内容」が、「作業Ｏｐの内容」を示すラベルとして付されている。
【0270】
そのため、作業予測モデル１７１の構築に必要となるコストは、「作業Ｏｐの内容」を示すラベルとして「作業場画像Ｉｃから人間が判定した内容」を用いる場合と比べて、大幅に抑制できる。特に、学習用データセットＤＳ１の生成に必要なアノテーションコストは、「作業Ｏｐの内容」を示すラベルとして「作業場画像Ｉｃから人間が判定した内容」を用いる場合と比べて、大幅に抑制できる。例えば、作業場画像Ｉｃに対して必要な上述の５つのアノテーションの内の１つを、「人間による判定内容」から「作業予測部１４２が検知情報Ｉｄから予測した内容」へと変更するので、アノテーションコストを２０％抑制することができる。
【0271】
例えば、或る撮像時刻Ｔｐにおいてセルカメラ３０が作業場Ａｒ（ｘ）を撮像して生成した作業場画像Ｉｃ（ｘ）について、以下の「作業Ｏｐ（ｘ）の内容」が、ラベルとして付されることによって、教師データＤｔ１（ｘ）が生成される。すなわち、作業予測部１４２が検知情報Ｉｄ（ｘ）から予測した「撮像時刻Ｔｐにおいて、作業者Ｈｕ（ｘ）が、作業場Ａｒ（ｘ）で行っている作業Ｏｐ（ｘ）の内容」が、作業場画像Ｉｃ（ｘ）に対してラベルとして付された教師データＤｔ１（ｘ）が生成される。検知情報Ｉｄ（ｘ）は、撮像時刻Ｔｐにおける「作業Ｏｐ（ｘ）に用いられる工具（例えば、出力デバイス４２（ｘ）または器具９０（ｘ））、作業対象物Ｏｂ（ｘ）、および、作業場Ａｒ（ｘ）の少なくとも１つの状態」を示す情報である。
【0272】
具体的には、作業予測部１４２は、例えば、「撮像時刻Ｔｐにおいて、器具９０（ｘ）：電動ドライバに流れた電流の大きさ」から、「撮像時刻Ｔｐにおいて、作業者Ｈｕが、作業場Ａｒ（ｘ）で作業Ｏｐ（ｘ）：ネジ締め作業を行った」と予測する。この予測内容（つまり、「作業Ｏｐ（ｘ）の内容：：ネジ締め作業」）が、作業場画像Ｉｃ（ｘ）に付されることによって、教師データＤｔ１（ｘ）が生成される。
【0273】
これまでに説明してきたように、情報処理装置１０において、作業予測モデル１７１は、学習用データセットＤＳ１を用いた機械学習によって構築された学習済モデルである。学習用データセットＤＳ１において、「作業場画像Ｉｃまたは作業場画像Ｉｃから生成された特徴情報」には、以下の情報がラベルとして付されている。すなわち、「作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を検知する入力デバイス４１の検知情報Ｉｄから予測された、「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」がラベルとして付されている。
【0274】
前記の構成によれば、情報処理装置１０は、入力デバイス４１の検知情報Ｉｄから予測した「作業場Ａｒにおいて作業者Ｈｕが行っている作業Ｏｐの内容」がラベルとして付された学習用データセットを用いた機械学習によって、作業予測モデル１７１を構築する。
【0275】
教師あり学習のためには、大量の教師データ（学習用データセット）が必要であることが知られており、そのような教師データの生成に必要なラベリング作業、および、教師データに付されているラベル（メタデータ）は、「アノテーション」とも呼ばれる。
【0276】
例えば、作業予測モデル１７１の構築に際して学習される教師データＤｔ１には、作業者Ｈｕを検出するためのバウンディングボックス（Bounding Box）の設定が不要であったとしても、作業場画像Ｉｃに対して以下の５つのアノテーションが必要となる。すなわち、作業場画像Ｉｃに対して、作業対象物Ｏｂを検出するためのバウンディングボックスの範囲を示す４点のうち、左下の点および右上の点の各々のＸ座標およびＹ座標を設定することが必要であり、つまり、４つのアノテーションが必要となる。さらに、作業場画像Ｉｃに対して、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を示す情報（ラベル）の付与が必要であり、つまり、１つのアノテーションが必要となる。
【0277】
そして、大量の作業場画像Ｉｃの各々について、「作業場画像Ｉｃに撮像されている作業者Ｈｕが、作業場画像Ｉｃに撮像されている作業対象物Ｏｂについて行っている作業Ｏｐの内容」を人間に判定させようとする場合、それに要するコストは極めて大きい。
【0278】
そこで、教師データＤｔ１の生成に際しては、作業場画像Ｉｃから人間が判定した「作業Ｏｐの内容」ではなく、入力デバイス４１の検知情報Ｉｄから予測された「作業Ｏｐの内容」が、「作業Ｏｐの内容」を示すラベルとして付与される。つまり、教師データＤｔ１においては、作業場画像Ｉｃから人間が判定した「作業Ｏｐの内容」ではなく、入力デバイス４１の検知情報Ｉｄから予測された「作業Ｏｐの内容」が、「作業Ｏｐの内容」を示すラベルとして付されている。
【0279】
そのため、作業予測モデル１７１の構築に必要となるコストは、「作業Ｏｐの内容」を示すラベルとして「作業場画像Ｉｃから人間が判定した内容」を用いる場合と比べて、大幅に抑制できる。特に、学習用データセットＤＳ１の生成に必要なアノテーションコストは、「作業Ｏｐの内容」を示すラベルとして「作業場画像Ｉｃから人間が判定した内容」を用いる場合と比べて、大幅に抑制できる。例えば、作業場画像Ｉｃに対して必要な上述の５つのアノテーションの内の１つを、「人間による判定内容」から「情報処理装置１０等の装置が検知情報Ｉｄから予測した内容」へと変更するので、アノテーションコストを２０％抑制することができる。
【0280】
したがって、前記の構成によれば、情報処理装置１０は、アノテーションコストが大幅に抑制された作業予測モデル１７１を用いて、作業場画像Ｉｃから、「作業者Ｈｕが行っている作業Ｏｐの内容」を、高精度に推定することができるとの効果を奏する。
【0281】
（存否モデルについて）
ＮＮとして実現された存否予測部１４１は、学習済モデルである存否モデル１７２を、例えば、教師データＤｔ２の集合であるデータセットＤＳ２に対する教師あり学習によって構築する。教師データＤｔ２は、全体画像Ｉａに対し、「作業場Ａｒ（より正確には、工場Ｆａにおける複数の作業場Ａｒの各々）に作業者Ｈｕが居るか」を示す情報がラベルとして付されたデータである。「存否予測部１４１が、データセットＤＳ２に対する教師あり学習によって、存否モデル１７２を構築する」処理を、「学習処理ＳＳ２」とも称する。
ＮＮとして実現された存否予測部１４１は、学習済モデルである存否モデル１７２を、例えば、教師データＤｔ２の集合であるデータセットＤＳ２に対する教師あり学習によって構築する。教師データＤｔ２は、全体画像Ｉａに対し、「作業場Ａｒ（より正確には、工場Ｆａにおける複数の作業場Ａｒの各々）に作業者Ｈｕが居るか」を示す情報がラベルとして付されたデータである。「存否予測部１４１が、データセットＤＳ２に対する教師あり学習によって、存否モデル１７２を構築する」処理を、「学習処理ＳＳ２」とも称する。
【0282】
学習処理ＳＳ２において、ＮＮとして実現された存否予測部１４１は、データセットＤＳ２に対する教師あり学習によって、全体画像Ｉａの入力に対して、以下の情報を出力する存否モデル１７２を、学習済モデルとして構築する。すなわち、存否モデル１７２は、全体画像Ｉａを入力とし、「作業場Ａｒ（より正確には、工場Ｆａにおける複数の作業場Ａｒの各々）に作業者Ｈｕが居るか」を出力とする学習済モデルである。
【0283】
つまり、教師データＤｔ２において全体画像Ｉａには、「作業場Ａｒ（より正確には、工場Ｆａにおける複数の作業場Ａｒの各々）に作業者Ｈｕが居るか」を示す情報がラベルとして付されている。教師データＤｔ２において全体画像Ｉａに対するラベルとして付される情報は、教師データＤｔ２の集合であるデータセットＤＳ２に対する機械学習により構築される存否モデル１７２が、全体画像Ｉａの入力に対して出力する情報と同様である。
【0284】
ＮＮとして実現された存否予測部１４１は、学習処理ＳＳ２によって構築した存否モデル１７２を、記憶部１７０に格納する。
【0285】
ただし、存否予測部１４１が学習処理ＳＳ２によって存否モデル１７２を構築することは必須ではない。存否予測部１４１は、動線検出アルゴリズムに用いられる一般的な学習済モデルを存否モデル１７２として用いて、全体画像Ｉａから「作業場Ａｒ（より正確には、工場Ｆａにおける複数の作業場Ａｒの各々）に作業者Ｈｕが居るか」を予測してもよい。
【0286】
§４．変形例
（機械学習について）
これまで、教師ありデータに対する機械学習によって、学習済データとして作業予測モデル１７１および存否モデル１７２を構築する例を説明してきた。しかしながら、作業予測モデル１７１および存否モデル１７２を構築するための機械学習は、教師ありデータに対する機械学習に限られない。作業予測モデル１７１および存否モデル１７２を構築するための機械学習は、教師あり学習に限らず、教師なし学習、または、強化学習等の他の機械学習であってもよい。
（機械学習について）
これまで、教師ありデータに対する機械学習によって、学習済データとして作業予測モデル１７１および存否モデル１７２を構築する例を説明してきた。しかしながら、作業予測モデル１７１および存否モデル１７２を構築するための機械学習は、教師ありデータに対する機械学習に限られない。作業予測モデル１７１および存否モデル１７２を構築するための機械学習は、教師あり学習に限らず、教師なし学習、または、強化学習等の他の機械学習であってもよい。
【0287】
（全体画像について）
これまで、存否予測部１４１が、全体画像Ｉａから「作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居るか」を予測する例を説明してきた。しかしながら、存否予測部１４１は、作業場画像Ｉｃから「作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居るか」を予測してもよい。すなわち、情報処理装置１０が、作業場画像Ｉｃとは別に全体画像Ｉａを取得することは必須ではない。情報処理装置１０（特に、判定部１５０）は、作業場画像Ｉｃから生成した第一予測Ｐｆの正否を、全体画像Ｉａおよび作業場画像Ｉｃの少なくとも一方から生成された存否予測Ｐａによって検証することができる。例えば、判定部１５０は、全体画像Ｉａおよび作業場画像Ｉｃ（ｘ）の少なくとも一方から生成された存否予測Ｐａ（ｘ）が「作業場Ａｒ（ｘ）に作業者Ｈｕが存在する」との予測であると、「第一予測Ｐｆ（ｘ）は正しい」と判定する。
これまで、存否予測部１４１が、全体画像Ｉａから「作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居るか」を予測する例を説明してきた。しかしながら、存否予測部１４１は、作業場画像Ｉｃから「作業場画像Ｉｃに撮像されている作業場Ａｒに作業者Ｈｕが居るか」を予測してもよい。すなわち、情報処理装置１０が、作業場画像Ｉｃとは別に全体画像Ｉａを取得することは必須ではない。情報処理装置１０（特に、判定部１５０）は、作業場画像Ｉｃから生成した第一予測Ｐｆの正否を、全体画像Ｉａおよび作業場画像Ｉｃの少なくとも一方から生成された存否予測Ｐａによって検証することができる。例えば、判定部１５０は、全体画像Ｉａおよび作業場画像Ｉｃ（ｘ）の少なくとも一方から生成された存否予測Ｐａ（ｘ）が「作業場Ａｒ（ｘ）に作業者Ｈｕが存在する」との予測であると、「第一予測Ｐｆ（ｘ）は正しい」と判定する。
【0288】
（作業予測について）
これまで、検知情報Ｉｄから、「作業者Ｈｕが行っている作業Ｏｐの内容」を予測する主体が、情報処理装置１０である例を説明してきた。すなわち、作業予測部１４２が、検知情報Ｉｄから、「作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を把握し、把握した状態から、作業予測Ｐｏを生成する例を説明してきた。
これまで、検知情報Ｉｄから、「作業者Ｈｕが行っている作業Ｏｐの内容」を予測する主体が、情報処理装置１０である例を説明してきた。すなわち、作業予測部１４２が、検知情報Ｉｄから、「作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を把握し、把握した状態から、作業予測Ｐｏを生成する例を説明してきた。
【0289】
しかしながら、検知情報Ｉｄから「作業Ｏｐに用いられる工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態」を把握し、把握した状態から、「作業者Ｈｕが行っている作業Ｏｐの内容」を予測する主体は、情報処理装置１０でなくともよい。情報処理装置１０は、工具、作業対象物Ｏｂ、および、作業場Ａｒの少なくとも１つの状態から予測される「作業者Ｈｕが行っている作業Ｏｐの内容」を取得または生成できればよい。
【0290】
例えば、ＰＬＣ２０が、検知情報Ｉｄから作業予測Ｐｏを生成してもよい。その場合、情報処理装置１０（特に、検知情報取得部１３２）は、ＰＬＣ２０から、ＰＬＣ２０が実行した予測の結果を、つまり、作業予測Ｐｏを取得する。そして、判定部１５０は、ＰＬＣ２０の生成した作業予測Ｐｏを用いて、第一予測Ｐｆ（の正否）を検証する。
【0291】
つまり、情報処理装置１０（特に、判定部１５０）が第一予測Ｐｆ（の正否）を検証するために作業予測Ｐｏを用いる場合、検知情報Ｉｄから作業予測Ｐｏを生成する主体は、情報処理装置１０であってもよいし、情報処理装置１０でなくともよい。
【0292】
（第二予測について）
これまで、情報処理装置１０が存否予測部１４１と作業予測部１４２とを共に備える例を説明してきたが、情報処理装置１０が存否予測部１４１と作業予測部１４２とを共に備えることは必須ではない。判定部１５０は、第一予測Ｐｆ（の正否）を、第二予測Ｐｓを用いて検証できればよく、つまり、第一予測Ｐｆ（の正否）を、存否予測Ｐａおよび作業予測Ｐｏの少なくとも一方を用いて検証できればよい。そのため、第一予測Ｐｆ（の正否）の検証に存否予測Ｐａを用いない場合、情報処理装置１０は、存否予測部１４１を備えなくともよい。また、第一予測Ｐｆ（の正否）の検証に作業予測Ｐｏを用いない場合、情報処理装置１０は、作業予測部１４２を備えなくともよい。
これまで、情報処理装置１０が存否予測部１４１と作業予測部１４２とを共に備える例を説明してきたが、情報処理装置１０が存否予測部１４１と作業予測部１４２とを共に備えることは必須ではない。判定部１５０は、第一予測Ｐｆ（の正否）を、第二予測Ｐｓを用いて検証できればよく、つまり、第一予測Ｐｆ（の正否）を、存否予測Ｐａおよび作業予測Ｐｏの少なくとも一方を用いて検証できればよい。そのため、第一予測Ｐｆ（の正否）の検証に存否予測Ｐａを用いない場合、情報処理装置１０は、存否予測部１４１を備えなくともよい。また、第一予測Ｐｆ（の正否）の検証に作業予測Ｐｏを用いない場合、情報処理装置１０は、作業予測部１４２を備えなくともよい。
【0293】
〔ソフトウェアによる実現例〕
情報処理装置１０の機能ブロック（具体的には、第一取得部１１０、第一予測部１２０、第二取得部１３０、第二予測部１４０、判定部１５０、および推定部１６０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよい。また、これらの機能ブロックは、ＣＰＵ、ＧＰＵ、ＤＳＰ等を用いてソフトウェアによって実現してもよい。
情報処理装置１０の機能ブロック（具体的には、第一取得部１１０、第一予測部１２０、第二取得部１３０、第二予測部１４０、判定部１５０、および推定部１６０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよい。また、これらの機能ブロックは、ＣＰＵ、ＧＰＵ、ＤＳＰ等を用いてソフトウェアによって実現してもよい。
【0294】
後者の場合、情報処理装置１０は、各々、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、ＧＰＵ、ＤＳＰ等と、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置（これらを「記録媒体」と称する）と、上記プログラムを展開するＲＡＭ等とを備えている。そして、コンピュータ（またはＣＰＵ、ＧＰＵ、ＤＳＰ等）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0295】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0296】
１０ 情報処理装置（作業推定装置）
４１ 入力デバイス（センサ）
４２ 出力デバイス（工具）
９０ 器具（工具）
１２０ 第一予測部（予測部）
１４１ 存否予測部
１４２ 作業予測部（作業検知部）
１５０ 判定部
１６０ 推定部
１７１ 作業予測モデル
１７２ 存否モデル
Ａｒ 作業場
ＤＳ１ 学習用データセット
Ｈｕ 作業者
Ｉａ 全体画像
Ｉｃ 作業場画像
Ｉｄ 検知情報
Ｏｂ 作業対象物
Ｏｐ 作業
Ｓ１２０ （予測ステップ）
Ｓ１３０ （判定ステップ）
Ｓ１４０ （推定ステップ）
Ｓ２１０ （判定ステップ）
Ｓ２２０ （予測ステップ）
Ｓ２３０ （推定ステップ）
Ｓ３１０ （判定ステップ）
Ｓ３３０ （予測ステップ）
Ｓ３４０ （判定ステップ）
Ｓ３５０ （推定ステップ）
４１ 入力デバイス（センサ）
４２ 出力デバイス（工具）
９０ 器具（工具）
１２０ 第一予測部（予測部）
１４１ 存否予測部
１４２ 作業予測部（作業検知部）
１５０ 判定部
１６０ 推定部
１７１ 作業予測モデル
１７２ 存否モデル
Ａｒ 作業場
ＤＳ１ 学習用データセット
Ｈｕ 作業者
Ｉａ 全体画像
Ｉｃ 作業場画像
Ｉｄ 検知情報
Ｏｂ 作業対象物
Ｏｐ 作業
Ｓ１２０ （予測ステップ）
Ｓ１３０ （判定ステップ）
Ｓ１４０ （推定ステップ）
Ｓ２１０ （判定ステップ）
Ｓ２２０ （予測ステップ）
Ｓ２３０ （推定ステップ）
Ｓ３１０ （判定ステップ）
Ｓ３３０ （予測ステップ）
Ｓ３４０ （判定ステップ）
Ｓ３５０ （推定ステップ）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】