(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023178746
(43)【公開日】2023-12-18
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20231211BHJP
G06T 7/00 20170101ALI20231211BHJP
G06V 20/52 20220101ALI20231211BHJP
G06Q 10/063 20230101ALI20231211BHJP
G16Y 20/20 20200101ALI20231211BHJP
G16Y 20/40 20200101ALI20231211BHJP
G16Y 40/10 20200101ALI20231211BHJP
G16Y 40/20 20200101ALI20231211BHJP
【ＦＩ】
G06T7/20 300Z
G06T7/00 660B
G06V20/52
G06Q10/06 300
G16Y20/20
G16Y20/40
G16Y40/10
G16Y40/20
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022091611
(22)【出願日】2022-06-06
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】比嘉 恭太
(72)【発明者】
【氏名】馬場崎 康敬
(72)【発明者】
【氏名】安藤 隆平
【テーマコード（参考）】
5L049
5L096
【Ｆターム（参考）】
5L049AA09
5L096AA02
5L096AA06
5L096BA02
5L096CA04
5L096CA21
5L096DA01
5L096FA16
5L096FA66
5L096FA67
5L096FA69
5L096GA34
5L096HA11
5L096KA04
(57)【要約】
【課題】人が行った行動について、行動計画とのずれを容易に把握できる技術を実現する。
【解決手段】情報処理装置（１）は、センサ情報に基づいて、人および物体を検出する検出部（１１）と、人および物体の関連性に基づいて、人の行動を認識する認識部（１２）と、行動の認識結果に基づいて、人が行動を継続した時間を計測する計測部（１３）と、行動を継続した時間と、行動計画に含まれる行動を継続すべき時間とに基づいて、認識された人の行動に関する行動計画からの乖離度を示す情報を生成する生成部（１４）と、を備える。
【選択図】図１
【解決手段】情報処理装置（１）は、センサ情報に基づいて、人および物体を検出する検出部（１１）と、人および物体の関連性に基づいて、人の行動を認識する認識部（１２）と、行動の認識結果に基づいて、人が行動を継続した時間を計測する計測部（１３）と、行動を継続した時間と、行動計画に含まれる行動を継続すべき時間とに基づいて、認識された人の行動に関する行動計画からの乖離度を示す情報を生成する生成部（１４）と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
センサ情報に基づいて、人および物体を検出する検出手段と、
前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、
前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、
計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成する生成手段と、
を備える情報処理装置。
前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、
前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、
計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成する生成手段と、
を備える情報処理装置。
【請求項2】
前記乖離度を示す情報を表示する表示手段をさらに備える、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記表示手段は、前記行動計画に含まれる、前記行動を継続すべき時間を表示する
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記認識手段は、複数の行動を認識し、
前記計測手段は、前記複数の行動のそれぞれを継続した時間を計測し、
前記生成手段は、計測された前記複数の行動のそれぞれを継続した時間と、前記複数の行動全体について計画された前記行動計画に含まれる、各行動を継続すべき時間とに基づいて、前記乖離度を示す情報を生成する、
請求項１～３の何れか１項に記載の情報処理装置。
前記計測手段は、前記複数の行動のそれぞれを継続した時間を計測し、
前記生成手段は、計測された前記複数の行動のそれぞれを継続した時間と、前記複数の行動全体について計画された前記行動計画に含まれる、各行動を継続すべき時間とに基づいて、前記乖離度を示す情報を生成する、
請求項１～３の何れか１項に記載の情報処理装置。
【請求項5】
前記生成手段は、行動毎に、前記乖離度を示す情報を生成する、
請求項４に記載の情報処理装置。
請求項４に記載の情報処理装置。
【請求項6】
前記認識手段によって認識された複数の行動のそれぞれは、複数の工程の何れかに含まれる作業であり、
前記生成手段は、工程毎に、前記乖離度を示す情報を生成する、
請求項４に記載の情報処理装置。
前記生成手段は、工程毎に、前記乖離度を示す情報を生成する、
請求項４に記載の情報処理装置。
【請求項7】
前記検出手段は、複数の人を検出し、
前記認識手段は、人毎に行動を認識し、
前記計測手段は、人毎に当該行動を継続した時間を計測し、
前記生成手段は、人毎に、前記乖離度を示す情報を生成する、
請求項１から３の何れか１項に記載の情報処理装置。
前記認識手段は、人毎に行動を認識し、
前記計測手段は、人毎に当該行動を継続した時間を計測し、
前記生成手段は、人毎に、前記乖離度を示す情報を生成する、
請求項１から３の何れか１項に記載の情報処理装置。
【請求項8】
情報処理装置が、
センサ情報に基づいて、人および物体を検出することと、
前記人および前記物体の関連性に基づいて、前記人の行動を認識することと、
前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測することと、
計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成することと、
を含む情報処理方法。
センサ情報に基づいて、人および物体を検出することと、
前記人および前記物体の関連性に基づいて、前記人の行動を認識することと、
前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測することと、
計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成することと、
を含む情報処理方法。
【請求項9】
コンピュータを情報処理装置として機能させるプログラムであって、
前記プログラムは、前記コンピュータを、
センサ情報に基づいて、人および物体を検出する検出手段と、
前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、
前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、
計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成する生成手段と、
として機能させるプログラム。
前記プログラムは、前記コンピュータを、
センサ情報に基づいて、人および物体を検出する検出手段と、
前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、
前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、
計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成する生成手段と、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
作業者が作業をしている様子を撮影した画像に基づいて、作業者が作業を行った時間を計測する技術が開示されている。
【0003】
特許文献１には、作業開始時の作業者が写る画像と、作業終了時の作業者が写る画像とに対して画像解析を行い、１つの作業案件に係る作業に要した作業時間を計測する作業管理装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１５－２２５６３０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えば建築現場では、予め作業の計画が立てられ、当該計画に従って作業が進められる。ただし、実際には、作業が計画より遅れたり、計画より前倒しになったりする場合がある。したがって、実際に行われた作業について計画とのずれを把握することが求められている。しかしながら、特許文献１に記載された技術を用いて、作業者が行った作業の作業時間を計測しても、当該作業の計画とのずれを把握することは難しい。
【0006】
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、人が行った行動について、行動計画とのずれを容易に把握できる技術を提供することである。
【課題を解決するための手段】
【0007】
本発明の一態様に係る情報処理装置は、センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成する生成手段と、を備える。
【0008】
本発明の一態様に係る情報処理方法は、情報処理装置が、センサ情報に基づいて、人および物体を検出することと、前記人および前記物体の関連性に基づいて、前記人の行動を認識することと、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測することと、計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成することと、を含む。
【0009】
本発明の一態様に係るプログラムは、コンピュータを情報処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成する生成手段と、として機能させる。
【発明の効果】
【0010】
本発明の一態様によれば、人が行った行動について、行動計画とのずれを容易に把握できる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態１に係る情報処理装置１の構成を示すブロック図である。
【図2】本発明の実施形態１に係る情報処理方法Ｓ１の流れを示すフロー図である。
【図3】本発明の実施形態２に係る情報処理システムの概要図である。
【図4】本発明の実施形態２に係る情報処理システムの構成を示すブロック図である。
【図5】本発明の実施形態２における行動特定情報の一例を示す図である。
【図6】本発明の実施形態２における認識結果を示す表の一例を示す図である。
【図7】本発明の実施形態２に係る計測部が未定行動を認識した場合に時間を計測する方法の一例を示す図である。
【図8】本発明の実施形態２における計測結果の一例と、作業計画に含まれる、作業を継続すべき時間の一例を示す図である。
【図9】本発明の実施形態２における計測結果を示す画像の一例、作業計画を示す画像の一例、および乖離度を示す画像の一例を示す図である。
【図10】本発明の実施形態２における乖離度を示す画像の他の例を示す図である。
【図11】本発明の実施形態２における乖離度を示す画像の他の例を示す図である。
【図12】本発明の変形例に係る表示部が出力する画像の一例を示す図である。
【図13】本発明の変形例におけるアノテーション情報に含まれる画像の一例を示す図である。
【図14】本発明の変形例におけるアノテーション情報に含まれる人および物体を示す情報の一例を示す図である。
【図15】本発明の変形例に係る認識部が用いる推定モデルの構成の一例を示す図である。
【図16】本発明の変形例におけるアノテーション情報に含まれる関連情報の一例を示す図である。
【図17】本発明の変形例にアノテーション情報に含まれる関連情報の他の例を示す図である。
【図18】本発明の変形例における認識結果を示す表の一例を示す図である。
【図19】本発明の各例示的実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【0012】
〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0013】
（情報処理装置１の概要）
本例示的実施形態に係る情報処理装置１は、センサ情報に基づいて人および物体を検出し、検出した人および物体の関連性に基づいて人の行動を認識し、認識結果に基づいて人が行動を継続した時間を計測する装置である。また、情報処理装置１は、計測された時間と、行動計画に含まれる時間とに基づいて、認識された人の行動に関する行動計画からの乖離度を示す情報を生成する装置である。
本例示的実施形態に係る情報処理装置１は、センサ情報に基づいて人および物体を検出し、検出した人および物体の関連性に基づいて人の行動を認識し、認識結果に基づいて人が行動を継続した時間を計測する装置である。また、情報処理装置１は、計測された時間と、行動計画に含まれる時間とに基づいて、認識された人の行動に関する行動計画からの乖離度を示す情報を生成する装置である。
【0014】
「センサ情報」とは、１または複数のセンサから出力された情報を指す。「センサ情報」の例として、カメラから出力された画像、Ｌｉｄａｒ（Light Detection And Ranging）から出力された対象物までの距離を示す情報、デプスセンサからの出力に基づく距離画像、赤外線センサからの出力に基づく温度画像、ビーコンを用いて出力された位置情報、ウェアラブルカメラから出力された装着者の一人称視点の画像、および複数のマイクによって構成されるマイクロフォンアレイから出力された音声データ、が挙げられる。
【0015】
情報処理装置１がセンサ情報に基づいて人および物体を検出する方法は限定されず、既知の方法が用いられる。情報処理装置１がセンサ情報に基づいて人および物体を検出する方法の例として、ＨＯＧ（Histograms of Oriented Gradients）、カラーヒストグラム、および形状などの画像の特徴量に基づく方法、ＳＩＦＴ（Scale-Invariant Feature Transform）などの特徴点周辺の局所特徴量に基づく方法、ならびにＦａｓｔｅｒ Ｒ－ＣＮＮ（Regions with Convolutional Neural Networks）などの機械学習モデルを用いる方法、が挙げられる。
【0016】
また、情報処理装置１は、人が行動を継続した時間を計測するために、ある時点において検出した人および物体と同一の人および物体を、複数時点または所定の期間において検出する。換言すると、情報処理装置１は、あるセンサ情報に基づいて検出した人および物体と同一の人および同一の物体を、当該あるセンサ情報とは異なるタイミングにおけるセンサ情報に基づいて検出する。情報処理装置１があるセンサ情報に基づいて検出した人および物体と、当該あるセンサ情報とは異なるタイミングでセンサから出力されたセンサ情報に基づいて検出した人および物体が同一であるか否かを判定する方法も限定されず、既知の方法が用いられる。
【0017】
例えば、情報処理装置１は、あるセンサ情報に基づいて検出した人（または物体）の外接矩形と、あるセンサ情報とは異なるタイミングにおけるセンサ情報に基づいて検出した人（または物体）の外接矩形との重複度に基づく方法、あるセンサ情報に基づいて検出した人（または物体）の外接矩形内の特徴と、あるセンサ情報とは異なるタイミングにおけるセンサ情報に基づいて検出した人（または物体）の外接矩形の特徴との類似度に基づく方法、および機械学習モデル（例えば、ＤｅｅｐＳｏｒｔ）を用いた方法、が挙げられる。
【0018】
また、「人および物体の関連性」とは、人と物体とがどのような関係性を有しているかを指す。「人および物体の関連性」の一例として、ある人とある物体とが関係性を有している、ある人とある物体とが関係性を有していない、が挙げられる。
【0019】
情報処理装置１が人および物体の関連性に基づいて人の行動を認識する方法の一例として、人および物体の関連性が、人と物体とが関係性を有している、であった場合に、当該人は当該物体を使用した行動をしていると認識する方法が挙げられる。情報処理装置１が人および物体の関連性に基づいて人の行動を認識する方法の他の例として、人および物体の関連性が、人と物体とが関係性を有していない、であった場合に、当該人は物体を使用していない行動をしていると認識する方法が挙げられる。このように、情報処理装置１が認識する行動には、物体を用いた行動と物体を用いない行動とが含まれてもよい。
【0020】
また、「行動計画」とは、行動について計画された情報であり、行動を継続すべき時間が含まれる。また、「認識された人の行動に関する行動計画からの乖離度を示す情報」の一例として、認識された人の行動が継続した時間と、行動計画に含まれる行動を継続すべき時間とが、どの程度乖離しているかを示す情報が挙げられる。
【0021】
【0022】
情報処理装置１は、図１に示すように、検出部１１、認識部１２、計測部１３、および生成部１４を備えている。検出部１１、認識部１２、計測部１３、および生成部１４はそれぞれ、本例示的実施形態において、検出手段、認識手段、計測手段、および生成手段を実現する構成である。
【0023】
検出部１１は、センサ情報に基づいて、人および物体を検出する。検出部１１がセンサ情報に基づいて人および物体を検出する方法については、上述した通りである。検出部１１は、検出した人および物体を示す情報を、認識部１２に供給する。
【0024】
認識部１２は、検出部１１によって検出された人および物体の関連性に基づいて、人の行動を認識する。認識部１２が人および物体の関連性に基づいて人の行動を認識する方法については、上述した通りである。認識部１２は、認識結果を計測部１３に供給する。
【0025】
計測部１３は、認識部１２による行動の認識結果に基づいて、人が行動を継続した時間を計測する。計測部１３は、人が行動を継続した時間を示す計測結果を生成部１４に供給する。
【0026】
生成部１４は、計測部１３によって計測された行動を継続した時間と、当該行動について計画された行動計画に含まれる、当該行動を継続すべき時間とに基づいて、認識された人の行動に関する行動計画からの乖離度を示す情報を生成する。
【0027】
以上のように、本例示的実施形態に係る情報処理装置１においては、センサ情報に基づいて、人および物体を検出する検出部１１と、人および物体の関連性に基づいて、人の行動を認識する認識部１２と、行動の認識結果に基づいて、人が行動を継続した時間を計測する計測部１３と、計測された行動を継続した時間と、当該行動について計画された行動計画に含まれる、当該行動を継続すべき時間とに基づいて、認識された人の行動に関する行動計画からの乖離度を示す情報を生成する生成手段と、を備える構成が採用されている。
【0028】
このため、本例示的実施形態に係る情報処理装置１によれば、認識された行動を継続した時間と、行動計画に含まれる当該行動を継続すべき時間との乖離度を示す情報を生成するので、人が行った行動について、行動計画とのずれを容易に把握できるという効果が得られる。
【0029】
【0030】
（ステップＳ１１）
ステップＳ１１において、検出部１１は、センサ情報に基づいて、人および物体を検出する。検出部１１は、検出した人および物体を示す情報を、認識部１２に供給する。
ステップＳ１１において、検出部１１は、センサ情報に基づいて、人および物体を検出する。検出部１１は、検出した人および物体を示す情報を、認識部１２に供給する。
【0031】
（ステップＳ１２）
ステップＳ１２において、認識部１２は、検出部１１によって検出された人および物体の関連性に基づいて、人の行動を認識する。認識部１２は、認識結果を計測部１３に供給する。
ステップＳ１２において、認識部１２は、検出部１１によって検出された人および物体の関連性に基づいて、人の行動を認識する。認識部１２は、認識結果を計測部１３に供給する。
【0032】
（ステップＳ１３）
ステップＳ１３において、計測部１３は、認識部１２による行動の認識結果に基づいて、人が行動を継続した時間を計測する。計測部１３は、人が行動を継続した時間を示す計測結果を生成部１４に供給する。
ステップＳ１３において、計測部１３は、認識部１２による行動の認識結果に基づいて、人が行動を継続した時間を計測する。計測部１３は、人が行動を継続した時間を示す計測結果を生成部１４に供給する。
【0033】
（ステップＳ１４）
ステップＳ１４において、生成部１４は、計測部１３によって計測された行動を継続した時間と、当該行動について計画された行動計画に含まれる、当該行動を継続すべき時間とに基づいて、認識された人の行動に関する行動計画からの乖離度を示す情報を生成する。
ステップＳ１４において、生成部１４は、計測部１３によって計測された行動を継続した時間と、当該行動について計画された行動計画に含まれる、当該行動を継続すべき時間とに基づいて、認識された人の行動に関する行動計画からの乖離度を示す情報を生成する。
【0034】
以上のように、本例示的実施形態に係る情報処理方法Ｓ１においては、検出部１１がセンサ情報に基づいて、人および物体を検出することと、認識部１２が人および物体の関連性に基づいて、人の行動を認識することと、計測部１３が行動の認識結果に基づいて、人が行動を継続した時間を計測することと、生成部１４が計測された行動を継続した時間と、当該行動について計画された行動計画に含まれる、当該行動を継続すべき時間とに基づいて、認識された人の行動に関する行動計画からの乖離度を示す情報を生成することと、を含む構成が採用されている。このため、本例示的実施形態に係る情報処理方法Ｓ１によれば、上述した情報処理装置１と同等の効果が得られる。
【0035】
〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
【0036】
【0037】
情報処理システム１００は、センサ情報に基づいて人および物体を検出し、検出した人および物体の関連性に基づいて人の行動を認識し、認識結果に基づいて人が行動を継続した時間を計測するシステムである。また、情報処理システム１００は、計測された時間と、行動計画に含まれる時間とに基づいて、認識された人の行動に関する行動計画からの乖離度を示す情報を生成するシステムである。
【0038】
情報処理システム１００では一例として、図３に示すように、情報処理装置２、カメラ６、および表示装置８を含んで構成される。情報処理システム１００では、情報処理装置２は、人がショベルカー等を用いて行動する建設現場を撮影したカメラ６から出力された画像をセンサ情報として取得する。以降、建設現場において人が行う行動を、「作業」とも記載する。
【0039】
また、情報処理装置２は、取得した画像に基づいて、建設現場における人と物体とを検出する。本例示的実施形態では、人が作業者、物体が作業物体の場合について説明する。そして、情報処理装置２は、検出した作業者と作業物体との関連性に基づいて作業者が実施している作業を認識し、認識結果に基づいて作業者が作業を継続した時間を計測する。
【0040】
また、情報処理装置２は、生成した乖離度を示す情報を、自装置にて表示および表示装置８に出力の少なくとも何れかを実行する。ここで、表示装置８とは、情報をユーザに提供する装置であり、例として、画像を表示する装置が挙げられる。情報処理システム１００では一例として、図３に示すように、情報処理装置２は、表示装置８ａおよびタブレット８ｂの少なくとも何れかに乖離度を示す情報を出力する。
【0041】
（情報処理システム１００の構成）
本例示的実施形態に係る情報処理システム１００の構成について、図４を参照して説明する。図４は、本例示的実施形態に係る情報処理システム１００の構成を示すブロック図である。
本例示的実施形態に係る情報処理システム１００の構成について、図４を参照して説明する。図４は、本例示的実施形態に係る情報処理システム１００の構成を示すブロック図である。
【0042】
図４に示すように、情報処理システム１００は、情報処理装置２、カメラ６、および表示装置８を含んで構成される。情報処理装置２、カメラ６、および表示装置８は、それぞれ互いに通信可能にネットワークを介して接続されている。ネットワークの具体的構成は本例示的実施形態を限定するものではないが、一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、または、これらのネットワークの組み合わせを用いることができる。
【0043】
（情報処理装置２の構成）
情報処理装置２は、図４に示すように、制御部１０、表示デバイス１７、通信部１８、および記憶部１９を備えている。
情報処理装置２は、図４に示すように、制御部１０、表示デバイス１７、通信部１８、および記憶部１９を備えている。
【0044】
表示デバイス１７は、制御部１０から供給された画像信号が示す画像を表示するデバイスである。
【0045】
通信部１８は、ネットワークを介して接続されている他の装置と通信する通信モジュールである。一例として、通信部１８は、制御部１０から供給されたデータを表示装置８に出力したり、カメラ６から出力されたデータを制御部１０に供給したりする。
【0046】
記憶部１９は、制御部１０が参照するデータが格納されている。一例として、記憶部１９には、センサ情報、行動計画、および後述する行動特定情報が格納される。
【0047】
（制御部１０の機能）
制御部１０は、情報処理装置２が備える各構成要素を制御する。また、制御部１０は、図４に示すように、検出部１１、認識部１２、計測部１３、生成部１４、表示部１５、および取得部１６を備えている。検出部１１、認識部１２、計測部１３、生成部１４、および表示部１５は、それぞれ本例示的実施形態において、検出手段、認識手段、計測手段、生成手段、および出力手段を実現する構成である。
制御部１０は、情報処理装置２が備える各構成要素を制御する。また、制御部１０は、図４に示すように、検出部１１、認識部１２、計測部１３、生成部１４、表示部１５、および取得部１６を備えている。検出部１１、認識部１２、計測部１３、生成部１４、および表示部１５は、それぞれ本例示的実施形態において、検出手段、認識手段、計測手段、生成手段、および出力手段を実現する構成である。
【0048】
検出部１１は、センサ情報に基づいて、作業者および作業物体を検出する。一例として、検出部１１は、複数の人を検出する。検出部１１がセンサ情報に基づいて作業者および作業物体を検出する方法については、上述した通りである。検出部１１は、検出した作業者および作業物体を示す情報を、認識部１２に供給する。検出部１１が作業者および作業物体を検出する処理の例について、後述する。
【0049】
認識部１２は、検出部１１によって検出された作業者および作業物体の関連性に基づいて、作業者の行動を認識する。一例として、検出部１１によって検出された作業者および作業物体の関連性に基づいて、認識部１２は複数の行動を認識する。また、検出部１１が複数の人を検出した場合、認識部１２は、人毎に行動を認識する。また、認識部１２が認識した作業は、複数の工程の何れかに含まれる作業である。換言すると、認識部１２によって認識された複数の作業のそれぞれは、複数の工程の何れかに含まれる作業である。認識部１２が作業者および作業物体の関連性に基づいて作業者の行動を認識する方法の例について、後述する。認識部１２は、認識結果を記憶部１９に格納する。
【0050】
計測部１３は、認識部１２による行動の認識結果に基づいて、作業者が行動を継続した時間を計測する。一例として、認識部１２によって複数の行動が認識された場合、計測部１３は、複数の行動のそれぞれを継続した時間を計測する。また、認識部１２によって人毎に行動が認識された場合、計測部１３は、人毎に当該行動を継続した時間を計測する。計測部１３は、計測結果を表示部１５に供給する。計測部１３が、作業者が行動を継続した時間を計測する方法の例について、後述する。
【0051】
生成部１４は、計測部１３によって計測された行動を継続した時間と、当該行動について計画された行動計画に含まれる、当該行動を継続すべき時間とに基づいて、認識された人の行動に関する行動計画からの乖離度を示す情報を生成する。一例として、計測部１３によって複数の行動のそれぞれを継続した時間が計測された場合、生成部１４は、計測された複数の行動のそれぞれを継続した時間と、複数の行動全体について計画された行動計画に含まれる、各行動を継続すべき時間とに基づいて、乖離度を示す情報を生成する。また、計測部１３によって人毎に行動を継続した時間が計測された場合、生成部１４は、人毎に乖離度を示す情報を生成する。生成部１４は、生成した乖離度を示す情報を表示部１５に供給する。生成部１４が乖離度を算出する方法の例について、後述する。
【0052】
表示部１５は、生成部１４が生成した乖離度を示す情報を表示する。一例として、表示部１５は、乖離度を示す情報を、表示デバイス１７を介して画像として表示する。他の例として、表示部１５は、通信部１８を介して表示装置８に乖離度を示す情報を出力し、表示装置８を介して画像として表示する。表示部１５が表示する画像の例について、後述する。
【0053】
取得部１６は、通信部１８から供給されたデータを取得する。取得部１６が取得するデータの一例として、カメラ６から出力された画像が挙げられる。取得部１６は、取得したデータを記憶部１９に格納する。
【0054】
（カメラ６の構成）
カメラ６は、図４に示すように、カメラ制御部６０、カメラ通信部６８、および撮影部６９を備えている。
カメラ６は、図４に示すように、カメラ制御部６０、カメラ通信部６８、および撮影部６９を備えている。
【0055】
カメラ通信部６８は、ネットワークを介して接続されている他の装置と通信する通信モジュールである。一例として、カメラ通信部６８は、カメラ制御部６０から供給されたデータを情報処理装置２に出力する。
【0056】
撮影部６９は、画角に含まれている被写体を撮影するデバイスである。一例として、撮影部６９は、作業者や作業物体を画角に含む建設現場を撮影する。撮影部６９は、撮影した画像をカメラ制御部６０に供給する。
【0057】
カメラ制御部６０は、カメラ６が備える各構成要素を制御する。また、カメラ制御部６０は、図４に示すように、画像取得部６１および画像出力部６２を備えている。
【0058】
画像取得部６１は、撮影部６９から供給された画像を取得する。画像取得部６１は、取得した画像を画像出力部６２に供給する。
【0059】
画像出力部６２は、カメラ通信部６８を介してデータを出力する。一例として、画像出力部６２は、画像取得部６１から供給された画像を、カメラ通信部６８を介して情報処理装置２に出力する。
【0060】
（表示装置８の構成）
表示装置８は、図４に示すように、表示装置制御部８０、表示装置通信部８８、および表示装置表示部８９を備えている。
表示装置８は、図４に示すように、表示装置制御部８０、表示装置通信部８８、および表示装置表示部８９を備えている。
【0061】
表示装置通信部８８は、ネットワークを介して接続されている他の装置と通信する通信モジュールである。一例として、表示装置通信部８８は、情報処理装置２から出力されたデータを表示装置制御部８０に供給する。
【0062】
表示装置表示部８９は、画像信号が示す画像を表示するデバイスである。表示装置表示部８９は、表示装置制御部８０から供給された画像信号が示す画像を表示する。
【0063】
表示装置制御部８０は、表示装置８が備える各構成要素を制御する。また、表示装置制御部８０は、図４に示すように、情報取得部８１および表示制御部８２を備えている。
【0064】
情報取得部８１は、表示装置通信部８８から供給された乖離度を示す情報を取得する。情報取得部８１は、取得した乖離度を示す情報を表示制御部８２に供給する。
【0065】
表示制御部８２は、情報取得部８１から供給された乖離度を示す情報を、画像信号として表示装置表示部８９に供給する。
【0066】
（検出部１１が作業者を追跡する処理の例）
例示的実施形態１において説明したように、検出部１１は、あるセンサ情報に基づいて検出した人および物体と同一の人および物体を、当該あるセンサ情報とは異なるタイミングにおけるセンサ情報に基づいて検出する。以下では、あるセンサ情報に基づいて検出した人と同一の人を、当該あるセンサ情報とは異なるタイミングにおけるセンサ情報に基づいて検出する処理の一例について説明する。
例示的実施形態１において説明したように、検出部１１は、あるセンサ情報に基づいて検出した人および物体と同一の人および物体を、当該あるセンサ情報とは異なるタイミングにおけるセンサ情報に基づいて検出する。以下では、あるセンサ情報に基づいて検出した人と同一の人を、当該あるセンサ情報とは異なるタイミングにおけるセンサ情報に基づいて検出する処理の一例について説明する。
【0067】
検出部１１はまず、時刻（ｔ－１）において取得した画像に基づいて、人を検出する。ここで、検出部１１は、検出した人に対して、他の人と識別するための検出ＩＤ（例えば、後述する作業者ＩＤ）を割り当てる。
【0068】
次に、検出部１１は、時刻（ｔ）において取得した画像に基づいて、人を検出する。そして、検出部１１は、時刻（ｔ）において取得した画像に基づいて検出された人が、時刻（ｔ－１）において取得した画像において検出され、検出ＩＤが割り当てられた人と一致するか否かを判定する。
【0069】
一例として、検出部１１は、検出ＩＤを割り当てた人の外接矩形と、時刻（ｔ）において取得した画像に基づいて検出された人の外接矩形とがどの程度重複するかを示す重複度を算出する。外接矩形の重複度の例として、２つの外接矩形の位置が重複する度合い、２つの外接矩形の大きさが重複する度合い、および２つの外接矩形内の人の特徴が重複する度合い、が挙げられる。
【0070】
検出部１１は、時刻（ｔ）において取得した画像に基づいて検出された人が、検出ＩＤが割り当てられた人と一致すると判定した場合、時刻（ｔ）において取得した画像において検出され人に、時刻（ｔ－１）において取得した画像に基づいて検出された人に割り当てた検出ＩＤを割り当てる。当該構成により、検出部１１は、異なるタイミングで取得した画像間において、同一の人を追跡することができる。
【0071】
（認識部１２が作業者の行動を認識する方法の例１）
認識部１２が作業者の行動を認識する方法の一例として、認識部１２が作業者の位置および作業物体の位置に基づいて、作業者の行動を認識する方法が挙げられる。
認識部１２が作業者の行動を認識する方法の一例として、認識部１２が作業者の位置および作業物体の位置に基づいて、作業者の行動を認識する方法が挙げられる。
【0072】
一例として、作業者の位置と作業物体の位置との間の距離が、所定の長さ以下の場合、認識部１２は、当該作業者は当該作業物体を用いた作業を行っていると認識する。例えば、作業者の位置と台車の位置との間の距離が、所定の長さ（例えば、３０ｃｍ）以下の場合、認識部１２は、当該作業者は台車を用いた作業である運搬を行っていると認識する。
【0073】
他の例として、作業者の位置と作業物体の位置とが重複している場合、認識部１２は、当該作業者は当該作業物体を用いた作業を行っていると認識する。例えば、作業者の位置とショベルカーの位置とが重複している場合、認識部１２は、当該作業者はショベルカーを用いた作業である掘削を行っていると認識する。
【0074】
このように、認識部１２は、作業者の位置および作業物体の位置に基づいて、作業者の行動を認識することにより、作業者が作業物体を用いた行動を精度よく認識することができるので、作業者の行動を精度よく認識することができる。
【0075】
（認識部１２が作業者の行動を認識する方法の例２）
認識部１２が作業者の行動を認識する方法の他の例として、認識部１２が所定の行動における作業者の特徴と、当該所定の行動に関わる作業物体の特徴との関連性を示す行動特定情報を参照して、検出部１１が検出した作業者の行動を認識する方法が挙げられる。行動特定情報について、図５を参照して説明する。図５は、本例示的実施形態における行動特定情報の一例を示す図である。
認識部１２が作業者の行動を認識する方法の他の例として、認識部１２が所定の行動における作業者の特徴と、当該所定の行動に関わる作業物体の特徴との関連性を示す行動特定情報を参照して、検出部１１が検出した作業者の行動を認識する方法が挙げられる。行動特定情報について、図５を参照して説明する。図５は、本例示的実施形態における行動特定情報の一例を示す図である。
【0076】
図５に示すように、行動特定情報では、所定の行動（図５における「運搬」および「指差し確認」）における人特徴（図５における人の形状および人の姿勢）と、所定の行動に関わる物体の特徴（図５における「台車」）との関連性が示されている。認識部１２は、検出部１１が検出した作業者の人特徴および物体の特徴と、行動特定情報における人特徴および物体とが一致するか否かを判定する。
【0077】
また、行動特定情報では、所定の行動に対して複数の「人特徴」が関連付けられていてもよい。一例として、図５に示すように、行動特定情報では、所定の行動「運搬」に、「人特徴」として人の形状、人の姿勢、およびＨＧＯが関連付けられていてもよい。
【0078】
また、図５に示すように、行動特定情報では、「人特徴」における人の形状、人の姿勢、およびＨＧＯも、複数であってもよい。一例として、図５に示すように、行動特定情報では、所定の行動「指差し確認」に、「人特徴」として、右側の下方向を指さす人の形状と、指さす角度を変えた人の形状（右側の水平方向を指さす人の形状）と、指さす向きを変えた人の形状（左側の下方向を指さす人の形状）と、が関連付けられていてもよい。
【0079】
また、行動特定情報における人特徴の例として、人の形状、人の姿勢、およびＨＯＧ以外に、色、および局所特徴量が挙げられる。
【0080】
検出部１１が検出した作業者の人特徴および物体の特徴と、行動特定情報における人特徴および物体とが一致した場合、認識部１２は、行動特定情報における人特徴および物体に関連付けられた行動が、作業者が実行している作業であると認識する。
【0081】
一方、検出部１１が検出した作業者の人特徴および物体の特徴と、行動特定情報における人特徴および物体とが一致しない場合、認識部１２は、当該作業者の作業を、特定できなかったことを示す未定行動であると認識する。換言すると、認識部１２は、作業者の行動が、所定の複数の行動の何れでもない場合に未定行動であると認識する。
【0082】
また、図５に示すように、行動特定情報には、行動「運搬」のように、物体「台車」に関連付けられた行動と、行動「指差し確認」のように、物体が関連付けられていない行動が含まれている。換言すると、認識部１２が認識する行動には、物体を用いた行動と物体を用いない行動とが含まれている。
【0083】
また、行動特定情報における人特徴の例として、人の形状および人の姿勢以外に、ＨＯＧ、色、および局所特徴量が挙げられる。
【0084】
このように、認識部１２は、所定の行動における作業者の特徴と、当該所定の行動に関わる作業物体の特徴との関連性を示す行動特定情報を参照して、検出部１１が検出した作業者の行動を認識することにより、作業者の行動を精度よく認識することができる。
【0085】
また、当該構成により、認識部１２は、物体を用いない行動を作業者が行った場合も、作業者の行動を精度よく認識することができる。
【0086】
（認識部１２が作業者の行動を認識する方法の例３）
認識部１２が作業者の行動を認識する方法のさらに他の例として、作業者および作業物体に加えて、環境に基づいて作業者の行動を認識する方法が挙げられる。
認識部１２が作業者の行動を認識する方法のさらに他の例として、作業者および作業物体に加えて、環境に基づいて作業者の行動を認識する方法が挙げられる。
【0087】
一例として、認識部１２が環境として、作業者および作業物体に加えて、コンクリートを認識した場合、認識部１２は、当該作業者は作業「コンクリートをならす」を行っていると認識する。
【0088】
このように、認識部１２は、作業者および作業物体に加えて、環境に基づいて作業者の行動を認識することにより、作業者の行動を精度よく認識することができる。
【0089】
（認識部１２が作業者の行動を認識する方法の例４）
認識部１２が作業者の行動を認識する方法のさらに他の例として、複数のセンサのそれぞれからセンサ情報を取得した場合、認識部１２が認識した物体がセンサ情報によって異なる場合、認識部１２は多数決に基づいて認識した物体を決定してもよい。
認識部１２が作業者の行動を認識する方法のさらに他の例として、複数のセンサのそれぞれからセンサ情報を取得した場合、認識部１２が認識した物体がセンサ情報によって異なる場合、認識部１２は多数決に基づいて認識した物体を決定してもよい。
【0090】
一例として、センサ１から出力されたセンサ情報に基づいて認識された物体が物体１、センサ２から出力されたセンサ情報に基づいて認識された物体が物体２、およびセンサ３から出力されたセンサ情報に基づいて認識された物体が物体１であった場合、認識部１２は、当該物体は物体１であると認識する。
【0091】
このように、認識部１２は、複数のセンサのそれぞれからセンサ情報を取得した場合、多数決に基づいて認識した物体を決定するので、誤認識を減らせることができる。
【0092】
（計測部１３が時間を計測する方法の例１）
計測部１３が、作業者が作業を継続した時間を計測する方法の例について、図６を参照して説明する。図６は、本例示的実施形態における認識結果を示す表の一例を示す図である。
計測部１３が、作業者が作業を継続した時間を計測する方法の例について、図６を参照して説明する。図６は、本例示的実施形態における認識結果を示す表の一例を示す図である。
【0093】
まず、認識部１２は、認識結果として、認識した時刻、認識した作業者を他の作業者と識別するための作業者ＩＤ、および作業内容を関連付けて、記憶部１９に格納する。当該構成では、図６に示すように、記憶部１９には、時刻、作業者ＩＤ、および作業内容が関連付けられた認識結果が複数格納される。また、図６に示す表は、認識部１２が１秒ごとに作業内容を認識した場合の表である。
【0094】
計測部１３は、図６に示す表を参照し、作業者が作業を継続した時間を計測する。例えば、作業者ＩＤが「Ｂ」の作業者が作業内容「作業１ａ」を継続した時間を計測する場合、計測部１３は、作業者ＩＤが「Ｂ」の認識結果ｒｒ１～ｒｒ４を抽出する。次に、計測部１３は、認識結果ｒｒ１～ｒｒ４のうち、作業内容「作業１ａ」が最初に認識された時刻「８：００：００」を抽出する。さらに、計測部１３は、認識結果ｒｒ１～ｒｒ４のうち、作業内容「作業１ａ」以外の作業が最初に認識された時刻「９：００：００」を抽出する。そして、計測部１３は、抽出した時刻「８：００：００」と「９：００：００」との差分「１時間」を、作業者ＩＤが「Ｂ」の作業者が作業内容「作業１ａ」を継続した時間として計測する。
【0095】
また、計測部１３は、認識部１２によって同一の作業内容が時間軸において離散的に認識された場合、ある作業者がある作業を継続したと計測した時間の総和を、当該作業を継続した時間として計測してもよい。例えば、作業者ＩＤが「Ａ」の作業者が、作業内容「作業１ａ」の作業を３時間継続し、その後、作業内容「作業１ｂ」の作業を２時間継続し、さらにその後、再び作業内容「作業１ａ」の作業を１時間継続した場合を想定する。この場合、計測部１３は、作業者ＩＤが「Ａ」の作業者が作業内容「作業１ａ」の作業を継続した時間は、３時間＋１時間＝４時間であると計測する。
【0096】
また、計測部１３は、ある作業者がある作業を実行した認識回数に、認識部１２が認識処理を実行する時間間隔を乗じて算出した値を、ある作業者がある作業を継続した時間として計測してもよい。例えば、作業者ＩＤが「Ｂ」の作業者が作業内容「作業１ａ」を継続した時間を計測する場合、計測部１３は、図６に示す表において、作業者ＩＤが「Ｂ」の認識結果を抽出する。ここでは、１秒間隔で認識処理が実行されているので、抽出される認識結果は、ｒｒ１（時刻８：００：００）からｒｒ４（９：００：００）までの３６０１個である。次に、計測部１３は、そのうち、作業内容「作業１ａ」に関連付けられている認識結果の個数「３６００」を算出する。そして、計測部１３は、個数「３６００」に、認識部１２が認識処理を実行する時間間隔「１秒」を乗じることにより、作業者ＩＤが「Ｂ」の作業者が作業内容「作業１ａ」の作業を継続した時間は１時間であると計測する。また、このように、「ある作業者がある作業を実行した認識回数に対して認識処理の時間間隔を乗じる」との方法により、ある作業者の同一の作業内容の認識結果が時間軸において離散的であるか否かに関わらず、当該作業を計測した時間を計測することができる。
【0097】
（計測部１３が時間を計測する方法の例２）
認識部１２が認識した作業者の行動が未定行動の場合に作業者が作業を継続した時間を計測する方法の例について、図７を参照して説明する。図７は、本例示的実施形態に係る計測部１３が未定行動を認識した場合に時間を計測する方法の一例を示す図である。
認識部１２が認識した作業者の行動が未定行動の場合に作業者が作業を継続した時間を計測する方法の例について、図７を参照して説明する。図７は、本例示的実施形態に係る計測部１３が未定行動を認識した場合に時間を計測する方法の一例を示す図である。
【0098】
認識部１２が認識した作業者の行動が未定行動の場合の例として、作業者がある作業から他の作業に移行する際に行う行動が挙げられる。この場合、計測部１３は、未定行動を、作業者が未定行動の直前に行った作業であると見なしてもよいし、作業者が未定行動の直後に行った作業であると見なしてもよい。また、計測部１３は、未定行動を、未定行動の直前に行った作業および未定行動の直後に行った作業のそれぞれに関連する作業物体と作業者との位置関係に基づいて、何れの作業であると見なすか決定してもよい。すなわち、計測部１３は、作業者が未定行動とは異なる他の行動を継続した時間に、未定行動を継続した時間を加算して計測してもよい。
【0099】
一例として、計測部１３が、作業者と作業物体との距離に基づき、作業者の作業を継続した時間を計測する構成について説明する。図７に示す、作業者および作業物体を含む画像は、作業者が台車を用いて運搬作業をした後、ショベルカーを用いた掘削作業へ移行する際の画像である。図７に示す画像では、作業者は台車との関係性を有しておらず、ショベルカーとも関係性を有していないため、認識部１２によって未定行動であると認識されている。この場合、計測部１３はまず、作業者と作業物体との距離を算出する。
【0100】
計測部１３が作業者と作業物体との距離を算出する方法の一例として、図７に示すように、作業者の外接矩形の中心と、作業物体の外接矩形の中心との距離を算出する方法が挙げられる。作業者の外接矩形の中心と台車の外接矩形の中心との距離を距離１、作業者の外接矩形の中心とショベルカーの外接矩形の中心との距離を距離２とすると、計測部１３は、未定行動の期間のうち、距離１の長さより距離２の長さの方が長い期間を、運搬作業として時間を計測する。一方、計測部１３は、未定行動の期間のうち、距離２の長さが距離１の長さ以上の期間を、掘削作業として時間を計測する。
【0101】
このように、計測部１３は、作業者が未定行動とは異なる他の行動を継続した時間に、未定行動を継続した時間を加算して計測することにより、作業者の行動が認識できなかった期間があった場合でも、何れかの行動の期間として計測できるので、人が行動を継続した時間をより精度よく把握することができる。
【0102】
（生成部１４が乖離度を算出する方法の例）
生成部１４が乖離度を算出する方法の例について、図８を用いて説明する。図８は、本例示的実施形態における計測結果の一例と、作業計画に含まれる、作業を継続すべき時間の一例を示す図である。
生成部１４が乖離度を算出する方法の例について、図８を用いて説明する。図８は、本例示的実施形態における計測結果の一例と、作業計画に含まれる、作業を継続すべき時間の一例を示す図である。
【0103】
図８の上側は、計測部１３によって計測された計測結果の一例を示す図である。図８の上側に示すように、計測結果には、作業を開始した時刻を示す開始時刻、作業を終了した時刻を示す終了時刻、および作業内容が関連付けられている。例えば、計測結果ｍｒ１は、作業内容「作業１ａ」が、時刻「８：００：００」～「９：３０：００」まで行われたことを示している。
【0104】
図８の下側は、作業計画に含まれる、作業を継続すべき時間の一例を示す図である。図８の下側に示すように、作業計画には、作業を開始すべき時刻を示す開始時刻、作業を終了すべき時刻を示す終了時刻、および作業内容が関連付けられている。例えば、作業計画ｗｐ１は、作業内容「作業１ａ」が、時刻「８：００：００」～「９：００：００」までの間、行われるべきことを示している。
【0105】
生成部１４は、図８に示す図を参照して、乖離度を算出する。一例として、生成部１４は、乖離度として、計測部１３によって計測された計測結果における作業時間と、作業計画に含まれる作業を継続すべき時間との差異を算出する。
【0106】
例えば、生成部１４は、作業内容「作業１ａ」の乖離度を算出する場合、図８の上側において作業内容「作業１ａ」を含む計測結果ｍｒ１と、図８の下側において作業内容「作業１ａ」を含む作業計画ｗｐ１とを抽出する。そして、生成部１４は、計測結果ｍｒ１における作業時間（「８：００：００」～「９：３０：００」の１時間３０分）と、作業計画ｗｐ１における作業時間（「８：００：００」～「９：００：００」の１時間）との差異「３０分」を乖離度として算出する。
【0107】
他の例として、生成部１４は、乖離度として、作業計画に含まれる作業を継続すべき時間に対する、計測部１３によって計測された計測結果における作業時間の割合を算出する。
【0108】
例えば、生成部１４は、作業内容「作業２ａ」の乖離度を算出する場合、図８の上側において作業内容「作業２ａ」を含む計測結果ｍｒ２と、図８の下側において作業内容「作業２ａ」を含む作業計画ｗｐ２とを抽出する。そして、生成部１４は、作業計画ｗｐ２における作業時間（「９：００：００」～「１２：００：００」の３時間）に対する、計測結果ｍｒ２における作業時間（「９：３０：００」～「１３：３０：００」の４時間）の割合「１３３％」を乖離度として算出する。
【0109】
（乖離度を示す画像の例１）
表示部１５が表示する乖離度を示す画像の一例について、図９を参照して説明する。図９は、本例示的実施形態における計測結果を示す画像の一例、作業計画を示す画像の一例、および乖離度を示す画像の一例を示す図である。
表示部１５が表示する乖離度を示す画像の一例について、図９を参照して説明する。図９は、本例示的実施形態における計測結果を示す画像の一例、作業計画を示す画像の一例、および乖離度を示す画像の一例を示す図である。
【0110】
図９の上側に示す画像は、計測部１３によって計測された計測結果を示す画像の一例である。図９の上側に示す計測結果には、作業内容、当該作業内容を含む工程、作業を行った作業者、作業を開始した時刻、および作業を終了した時刻が含まれている。一例として、図９の上側に示す画像では、工程「工程１」に含まれる作業内容「作業１ａ」は、作業者「作業者Ａ」によって時刻「８：００：００」～「１０：１５：００」まで行われたことを示している。
【0111】
図９の中央に示す画像は、作業計画を示す画像の一例である。図９の中央に示すように、作業計画には、作業内容、当該作業内容を含む工程、作業を開始すべき時刻、および作業を終了すべき時刻が含まれている。一例として、図９の中央に示す画像では、工程「工程１」に含まれる作業内容「作業１ａ」は、時刻「８：００：００」～「１０：００：００」まで行われるべきであることを示している。
【0112】
計測部１３によって計測された計測結果を示す画像が図９の上側に示す画像であり、作業計画が図９の中央に示す画像の場合、一例として、生成部１４は、「工程１」に含まれる「作業１ａ」の乖離度「１５分」を算出する。そして、生成部１４は、乖離度を示す情報を表示部１５に供給する。
【0113】
表示部１５は、生成部１４によって生成された乖離度を示す情報を参照し、乖離度を表示する。一例として、図９の下側に示す画像を表示する。図９の下側に示す、表示部１５が表示する画像には、計測部１３によって計測された計測結果と、作業計画とが含まれている。そして、図９の下側に示す画像では、乖離度として、工程「工程１」に含まれる作業内容「作業１ａ」が、「１５分」遅延していることが示されている。
【0114】
また、生成部１４が、工程毎に乖離度を示す情報を生成した場合、表示部１５は、図９の下側に示すように、工程毎に乖離度を示す画像を表示する。図９の下側に示す画像では、表示部１５は、工程「工程１」および工程「工程２」のそれぞれにおいて、計測部１３によって計測された計測結果と作業計画との間の乖離度を表示している。図９の下側に示す画像には、工程「工程１」が遅延していることが示されている。このように、情報処理装置２は、作業者が行った作業について、作業計画とのずれを工程毎に容易に把握できる。
【0115】
さらに、生成部１４が、作業毎に乖離度を示す情報を生成した場合、表示部１５は、図９の下側に示すように、作業毎に乖離度を示す画像を表示する。図９の下側に示す画像では、表示部１５は、作業内容「作業１ａ」、「作業１ｂ」、「作業１ｃ」、「作業２ａ」、および「作業２ｂ」のそれぞれにおいて、計測部１３によって計測された計測結果と作業計画との間の乖離度を表示している。図９の下側に示す画像には、作業内容「作業１ａ」が遅延していることが示されている。このように、情報処理装置２は、作業者が行った作業について、作業計画とのずれを作業毎に容易に把握できる。
【0116】
このように、表示部１５は、乖離度を示す情報を表示する。そのため、表示部１５は、人の作業が行動計画通りであるかどうかをユーザに知らせることができる。また、表示部１５は、行動計画に含まれる、行動を継続すべき時間を表示する。そのため、表示部１５は、人の作業が行動計画通りであるかどうかを、好適にユーザに知らせることができる。
【0117】
【0118】
生成部１４が作業者毎に乖離度を示す情報を生成した場合、表示部１５は、図１０に示すように、作業者毎に乖離度を示す画像を表示してもよい。
【0119】
図１０に示す画像では、表示部１５は、作業者「作業者Ａ」、「作業者Ｂ」、および「作業者Ｃ」のそれぞれにおいて、計測部１３によって計測された計測結果と作業計画との間の乖離度を表示している。図９の下側に示す画像には、作業者「作業者Ａ」の作業が遅延していることが示されている。このように、情報処理装置２は、作業者が行った作業について、作業計画とのずれを作業者毎に容易に把握できる。
【0120】
また、図１０に示す画像では、表示部１５は、作業者「作業者Ａ」の作業「作業１ａ」の遅延が原因で、作業者「作業者Ｂ」および「作業者Ｃ」の作業も遅延していることを示している。そのため、表示部１５は、作業の遅延の原因が何れの作業者（または何れの作業）であるかをユーザに知らせることができる。
【0121】
【0122】
表示部１５は、テキストによって乖離度を表示してもよい。図１１の上側に示す画像では、表示部１５は、工程「工程１ａ」の乖離度「３０分」をテキストによって表示している。さらに表示部１５は、乖離度「３０分」とは、作業が作業計画より３０分遅延していることを示していることを示すテキスト「予定より３０分遅延」をさらに含む画像を表示している。
【0123】
同様に、図１１の上側に示す画像では、表示部１５は、工程「工程１ｃ」の乖離度「－３０分」、および乖離度「－３０分」とは、作業が作業計画より３０分進んでいることを示していることを示すテキスト「予定より３０分進んでいる」を含む画像を表示している。
【0124】
また、生成部１４が、乖離度として、作業計画に含まれる作業を継続すべき時間に対する、計測部１３によって計測された計測結果における作業時間の割合を算出した場合、表示部１５は、乖離度として、当該割合をテキストによって表示してもよい。図１１の中央に示す画像では、表示部１５は、工程「工程１ａ」の乖離度「１２５％」をテキストによって表示している。さらに表示部１５は、乖離度「１２５％」とは、作業が作業計画より２５％遅延していることを示していることを示すテキスト「予定より２５％遅延」をさらに含む画像を表示している。
【0125】
同様に、図１１の中央に示す画像では、表示部１５は、工程「工程１ｃ」の乖離度「７５％」、および乖離度「７５」とは、作業が作業計画より２５％進んでいることを示していることを示すテキスト「予定より２５％進んでいる」を含む画像を表示している。
【0126】
また、表示部１５は、グラフによって乖離度を表示してもよい。図１１の下側に示す画像では、表示部１５は、工程毎に、計測時間および作業計画に含まれる作業を継続すべき時間を棒グラフによって表示している。そして、図１１の下側に示す画像では、表示部１５は、一例として、工程「工程１ａ」は、作業計画に含まれる作業を継続すべき時間より計測時間が「１５分」長いので、作業が作業計画より「１５分」遅延していることを示している。
【0127】
（情報処理装置２の効果）
情報処理装置２においては、画像に基づいて、作業者および作業物体を検出する検出部１１と、作業者および作業物体の関連性に基づいて、作業者の作業を認識する認識部１２と、作業の認識結果に基づいて、作業者が作業を継続した時間を計測する計測部１３と、計測された作業を継続した時間と、当該作業について計画された作業計画に含まれる、当該作業を継続すべき時間とに基づいて、認識された人の作業に関する作業計画からの乖離度を示す情報を生成する生成手段と、を備える構成が採用されている。
情報処理装置２においては、画像に基づいて、作業者および作業物体を検出する検出部１１と、作業者および作業物体の関連性に基づいて、作業者の作業を認識する認識部１２と、作業の認識結果に基づいて、作業者が作業を継続した時間を計測する計測部１３と、計測された作業を継続した時間と、当該作業について計画された作業計画に含まれる、当該作業を継続すべき時間とに基づいて、認識された人の作業に関する作業計画からの乖離度を示す情報を生成する生成手段と、を備える構成が採用されている。
【0128】
このため、本例示的実施形態に係る情報処理装置２によれば、認識された作業を継続した時間と、作業計画に含まれる当該作業を継続すべき時間との乖離度を示す情報を生成するので、作業者が行った作業について、作業計画とのずれを容易に把握できるという効果が得られる。
【0129】
（表示部１５の変形例）
表示部１５は、表示装置８から、表示装置８に対するユーザの操作を示す情報を取得し、当該情報に応じた処理を行う構成であってもよい。当該構成について、図１２を参照して説明する。図１２は、本変形例に係る表示部１５が出力する画像の一例を示す図である。
表示部１５は、表示装置８から、表示装置８に対するユーザの操作を示す情報を取得し、当該情報に応じた処理を行う構成であってもよい。当該構成について、図１２を参照して説明する。図１２は、本変形例に係る表示部１５が出力する画像の一例を示す図である。
【0130】
一例として、表示部１５が図１２の上側に示す画像を出力し、表示装置８が当該画像を表示している場合を想定する。図１２の上側に示す画像では、「工程１」の「作業１ａ」が「１５分」遅延していることが示されている。この状態において、表示装置８は、「工程１」の「作業１ａ」が「１５分」遅延している期間（「１０：００」～「１０：１５」）をユーザが選択した旨を受け付けると、当該操作を示す情報を情報処理装置２に出力する。
【0131】
表示装置８から出力された情報を取得すると、情報処理装置２の表示部１５は、当該情報を参照し、画像を出力する。一例として、表示部１５は、取得した情報が示す作業「作業１ａ」が認識された開始時刻「８：００」から終了時刻「１０：１５」までの画像を出力する。
【0132】
他の例として、表示部１５は、表示する画像を所定の期間で区切り、取得した情報が示す期間における画像であって、取得した情報が示す作業「作業１ａ」が認識された画像を含む画像を出力する。当該構成において、例えば、「工程１」の「作業１ａ」が「１５分」遅延している期間（「１０：００」～「１０：１５」）をユーザが選択した旨を示す情報を表示部１５が取得した場合を想定する。この場合、表示部１５は、表示する画像を３０分で区切った場合、「作業１ａ」と認識された画像であって、「１０：００」～「１０：１５」を含む３０分間（例えば、「９：４５」～「１０：１５」）における画像を出力する。
【0133】
ここで、表示部１５が表示する画像は、動画像であってもよいし、静止画像であってもよい。
【0134】
（検出部１１の変形例）
検出部１１は、機械学習モデルを用いて、作業者および作業物体を検出してもよい。検出部１１が機械学習モデルを用いる場合に、機械学習モデルの機械学習において用いられるアノテーション情報について説明する。
検出部１１は、機械学習モデルを用いて、作業者および作業物体を検出してもよい。検出部１１が機械学習モデルを用いる場合に、機械学習モデルの機械学習において用いられるアノテーション情報について説明する。
【0135】
検出部１１が用いる機械学習モデルは、センサ情報と、当該センサ情報によって示される人および物体を示す情報とを組とするアノテーション情報によって学習させられる。以下では、センサ情報として画像を用いる場合を例に挙げ、図１３および図１４を参照して説明する。図１３は、本変形例におけるアノテーション情報に含まれる画像ＡＰ１の一例を示す図である。図１４は、本変形例におけるアノテーション情報に含まれる人および物体を示す情報の一例を示す図である。
【0136】
図１３に示すように、アノテーション情報に含まれる画像ＡＰ１では、画像ＡＰ１に被写体として含まれる人および物体の外接矩形に矩形番号を付している。例えば、台車を押す人の外接矩形には矩形番号「１」が付され、台車の外接矩形には矩形番号「４」が付されている。
【0137】
次に、図１４の上側に示すように、アノテーション情報に含まれる人および物体を示す情報には、矩形番号と、当該矩形番号の外接矩形に含まれているのが人であるか物体であるかを示す物体ラベルと、外接矩形の位置を示す位置情報とが関連付けられている。例えば、台車を押す人の外接矩形である矩形番号「１」には、物体ラベル「人」と、当該外接矩形の四隅の位置を示す位置情報「x11, y11, x12, y12, x13, y13, x14, y14」とが関連付けられている。
【0138】
また、位置情報は、外接矩形の四隅の何れかの位置を示す情報と、外接矩形の幅および高さによって表されてもよい。例えば、図１３に示すように、台車の外接矩形である矩形番号「４」には、物体ラベル「物体」と、位置情報として、当該外接矩形の四隅の何れかの位置を示す「x41, y41」と、当該外接矩形の幅「w2」および高さ「h2」とが関連付けられている。
【0139】
このように、検出部１１が用いる機械学習モデルを、センサ情報と、当該センサ情報によって示される人および物体を示す情報とを組とするアノテーション情報によって学習させることにより、機械学習モデルを精度よく学習させることができる。
【0140】
（認識部１２の変形例）
認識部１２は、推定モデルを用いて、検出部１１が検出した作業者の行動を認識してもよい。
認識部１２は、推定モデルを用いて、検出部１１が検出した作業者の行動を認識してもよい。
【0141】
認識部１２が用いる推定モデルの一例として、人の特徴を示す情報および物体に関する情報を入力とし、所定の行動における当該人と当該物体との関連性を示す情報を出力するモデルが挙げられる。
【0142】
当該構成では、認識部１２は、検出部１１が検出した作業者の特徴を示す情報と、検出部１１が検出した物体に関する情報とを推定モデルに入力する。そして、認識部１２は、推定モデルから出力された情報であって、所定の行動における当該人と当該物体との関連性を示す情報を参照して、作業者の行動を認識する。
【0143】
一例として、推定モデルから出力された人と物体との関連性を示す情報が、人と物体とが関係性を有している、であった場合、認識部１２は、当該人は当該物体を使用した行動をしていると認識する。例えば、推定モデルから出力された人と物体との関連性を示す情報が、ある人と台車とが関係性を有している、であった場合、認識部１２は、ある人の作業は、台車を用いた作業「運搬」であると認識する。
【0144】
このように、認識部１２は、人の特徴を示す情報および物体に関する情報を入力とし、所定の行動における当該人と当該物体との関連性を示す情報を出力するモデルを用いて、検出部１１が検出した作業者の行動を認識するので、作業者の行動を精度よく認識することができる。
【0145】
【0146】
図１５に示すように、認識部１２は、特徴抽出器１２１、物体特徴抽出器１２２、重み算出器１２３、および識別器１２４を備えている。
【0147】
特徴抽出器１２１は、人が被写体として含まれる人の画像を入力として、当該人の画像に被写体として含まれる人の特徴を出力する。認識部１２は、図１５に示すように、それぞれ異なる人の特徴を出力する複数の特徴抽出器１２１１～特徴抽出器１２１Ｎを備える構成であってもよい。例えば、特徴抽出器１２１１は、人の画像に被写体として含まれる人の形状の特徴を出力し、特徴抽出器１２１２は、人の画像に被写体として含まれる人の姿勢の特徴を出力する構成であってもよい。
【0148】
物体特徴抽出器１２２は、物体が被写体として含まれている物体の画像を入力として、当該物体の画像に被写体として含まれている物体に関する情報を出力する。物体特徴抽出器１２２が出力する物体に関する情報は、物体の特徴であってもよいし、物体を特定した物体名であってもよい。また、物体特徴抽出器１２２はさらに、出力する物体に関する情報に、物体の位置を示す位置情報を含めてもよい。
【0149】
重み算出器１２３は、特徴抽出器１２１１～特徴抽出器１２１Ｎから出力されたそれぞれの特徴に重みを付与する。換言すると、認識部１２は、重みを付与した複数の特徴を参照する。
【0150】
識別器１２４は、特徴抽出器１２１から出力された特徴と、物体特徴抽出器１２２から出力された物体に関する情報とを入力として、所定の行動における当該人と当該物体との関連性を示す情報を出力する。換言すると、識別器１２４は、特徴抽出器１２１から出力された特徴と、物体特徴抽出器１２２から出力された物体に関する情報とに基づいて、所定の行動における人と物体との関連性を示す情報を出力する。
【0151】
また、上述したように、識別器１２４は、複数の特徴抽出器１２１１～特徴抽出器１２１Ｎから出力された複数の特徴を入力としてもよい。換言すると、認識部１２は、人の複数の特徴と、物体に関する情報との関連性に基づいて、人の行動を認識する構成であってもよい。当該構成により、認識部１２は、人の行動を精度よく認識することができる。
【0152】
（推定モデルの機械学習）
認識部１２が用いる推定モデルの機械学習において用いられるアノテーション情報について説明する。
認識部１２が用いる推定モデルの機械学習において用いられるアノテーション情報について説明する。
【0153】
認識部１２が用いる推定モデルは、センサ情報と、当該センサ情報によって示される人および物体の関連性を示す関連情報とを組とするアノテーション情報によって学習させられる。以下では、センサ情報として、上述した図１３に示す画像ＡＰ１を用いる場合を例に挙げ、図１３、図１６、および図１７を参照して説明する。図１６は、本変形例におけるアノテーション情報に含まれる関連情報の一例を示す図である。図１７は、本変形例におけるアノテーション情報に含まれる関連情報の他の例を示す図である。
【0154】
図１３に示すように、アノテーション情報に含まれる画像ＡＰ１では、画像ＡＰ１に被写体として含まれる人および物体の外接矩形に矩形番号を付している。例えば、台車を押す人の外接矩形には矩形番号「１」が付され、台車の外接矩形には矩形番号「４」が付されている。また、図１３に示すように、関係性を有している人および物体の外接矩形にも、矩形番号を付している。例えば、台車を押す人および台車の外接矩形に矩形番号「７」が付されている。
【0155】
次に、アノテーション情報に含まれる関連情報では、図１６の上側に示すように、矩形番号と、関連性を示すグループ番号とが関連付けられている。例えば、図１６の上側では、台車を押す人を示す矩形番号「１」と、台車を示す矩形番号「４」とは、関連性を有しているため、両方ともグループ番号「１」が関連付けられている。
【0156】
また、図１６の下側に示すように、関連情報はマトリクス形式であってもよい。例えば、図１６の下側では、台車を押す人を示す矩形番号「１」の列（または行）と、台車を示す矩形番号「４」の行（または列）とが交差する位置の値は、関連性を有していることを示す「１」になっている。
【0157】
また、人および物体の関連性を示す関連情報は、人の行動を示す行動ラベルと、位置情報とを含む構成であってもよい。例えば、図１７に示すように、台車を押す人および台車の外接矩形の四隅の位置を示す位置情報「x71, y71, x72, y72, x73, y73, x74, y74」と、台車を押す人の作業を示す行動ラベル「運搬」とを含む構成であってもよい。
【0158】
このように、認識部１２が用いる推定モデルを、センサ情報と、当該センサ情報によって示される人および物体の関連性を示す関連情報とを組とするアノテーション情報によって学習させることにより、推定モデルを精度よく学習させることができる。
【0159】
（計測部１３の変形例）
計測部１３は、作業の継続時間が所定の時間（例えば、１５秒、１分など）未満の場合、当該作業の継続時間を直前に行った作業の継続時間、または直後に行った作業の継続時間に含める構成であってもよい。当該構成について、図１８を参照して説明する。図１８は、本変形例における認識結果を示す表の一例を示す図である。
計測部１３は、作業の継続時間が所定の時間（例えば、１５秒、１分など）未満の場合、当該作業の継続時間を直前に行った作業の継続時間、または直後に行った作業の継続時間に含める構成であってもよい。当該構成について、図１８を参照して説明する。図１８は、本変形例における認識結果を示す表の一例を示す図である。
【0160】
認識部１２による認識結果が図１８に示す表の場合、計測部１３は、図１８に示す表を参照し、作業者が作業を継続した時間を計測する。一例として、計測部１３が、作業者ＩＤが「Ｂ」の認識結果ｒｒ５～ｒｒ７を抽出し、作業者ＩＤが「Ｂ」の作業者が作業を継続した時間を計測する。ここで、作業の継続時間が１５秒未満であった場合に、当該作業の継続時間を直前に行った作業の継続時間に含める構成の場合を想定する。図１８に示す表の例では、作業者ＩＤが「Ｂ」の作業者が作業内容「作業１ｂ」を行った時間は「９：００：００」～「９：００：０４」までの「４秒」である。そこで、計測部１３は、「９：００：００」～「９：００：０４」の期間は直前に行った作業である作業内容「作業１ａ」の作業の継続時間に含める。
【0161】
作業の継続時間が短い場合、認識部１２が誤認識した可能性が高くなる。しかしながら、当該構成のように、計測部１３は、作業の継続時間が所定の時間未満の場合、当該作業の継続時間を直前に行った作業の継続時間、または直後に行った作業の継続時間に含めることにより、認識部１２が誤認識した場合であっても、人が行動を継続した時間をより精度よく把握することができる。
【0162】
（その他の変形例）
なお、本例示的実施形態は、乖離度を示す情報を、画像として表示することに替えて、または加えて、その他の態様で出力してもよい。例えば、本例示的実施形態は、表示部１５に替えて、または加えて、音声出力部を有していてもよい。この場合、当該音声出力部は、乖離度を示す音声を、音声出力装置に出力してもよい。
なお、本例示的実施形態は、乖離度を示す情報を、画像として表示することに替えて、または加えて、その他の態様で出力してもよい。例えば、本例示的実施形態は、表示部１５に替えて、または加えて、音声出力部を有していてもよい。この場合、当該音声出力部は、乖離度を示す音声を、音声出力装置に出力してもよい。
【0163】
〔ソフトウェアによる実現例〕
情報処理装置１、２の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
情報処理装置１、２の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0164】
後者の場合、情報処理装置１、２は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１９に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１、２として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１、２の各機能が実現される。
【0165】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
【0166】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0167】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0168】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0169】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0170】
（付記１）
センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成する生成手段と、を備える情報処理装置。
センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成する生成手段と、を備える情報処理装置。
【0171】
（付記２）
前記乖離度を示す情報を表示する表示手段をさらに備える、付記１に記載の情報処理装置。
前記乖離度を示す情報を表示する表示手段をさらに備える、付記１に記載の情報処理装置。
【0172】
（付記３）
前記表示手段は、前記行動計画に含まれる、前記行動を継続すべき時間を表示する付記２に記載の情報処理装置。
前記表示手段は、前記行動計画に含まれる、前記行動を継続すべき時間を表示する付記２に記載の情報処理装置。
【0173】
（付記４）
前記認識手段は、複数の行動を認識し、前記計測手段は、前記複数の行動のそれぞれを継続した時間を計測し、前記生成手段は、計測された前記複数の行動のそれぞれを継続した時間と、前記複数の行動全体について計画された前記行動計画に含まれる、各行動を継続すべき時間とに基づいて、前記乖離度を示す情報を生成する、付記１～３の何れか１項に記載の情報処理装置。
前記認識手段は、複数の行動を認識し、前記計測手段は、前記複数の行動のそれぞれを継続した時間を計測し、前記生成手段は、計測された前記複数の行動のそれぞれを継続した時間と、前記複数の行動全体について計画された前記行動計画に含まれる、各行動を継続すべき時間とに基づいて、前記乖離度を示す情報を生成する、付記１～３の何れか１項に記載の情報処理装置。
【0174】
（付記５）
前記生成手段は、行動毎に、前記乖離度を示す情報を生成する、付記４に記載の情報処理装置。
前記生成手段は、行動毎に、前記乖離度を示す情報を生成する、付記４に記載の情報処理装置。
【0175】
（付記６）
前記認識手段によって認識された複数の行動のそれぞれは、複数の工程の何れかに含まれる作業であり、前記生成手段は、工程毎に、前記乖離度を示す情報を生成する、付記４または５に記載の情報処理装置。
前記認識手段によって認識された複数の行動のそれぞれは、複数の工程の何れかに含まれる作業であり、前記生成手段は、工程毎に、前記乖離度を示す情報を生成する、付記４または５に記載の情報処理装置。
【0176】
（付記７）
前記検出手段は、複数の人を検出し、前記認識手段は、人毎に行動を認識し、前記計測手段は、人毎に当該行動を継続した時間を計測し、前記生成手段は、人毎に、前記乖離度を示す情報を生成する、付記１から６の何れか１項に記載の情報処理装置。
前記検出手段は、複数の人を検出し、前記認識手段は、人毎に行動を認識し、前記計測手段は、人毎に当該行動を継続した時間を計測し、前記生成手段は、人毎に、前記乖離度を示す情報を生成する、付記１から６の何れか１項に記載の情報処理装置。
【0177】
（付記８）
情報処理装置が、センサ情報に基づいて、人および物体を検出することと、前記人および前記物体の関連性に基づいて、前記人の行動を認識することと、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測することと、計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成することと、を含む情報処理方法。
情報処理装置が、センサ情報に基づいて、人および物体を検出することと、前記人および前記物体の関連性に基づいて、前記人の行動を認識することと、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測することと、計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成することと、を含む情報処理方法。
【0178】
（付記９）
コンピュータを情報処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成する生成手段と、として機能させるプログラム。
コンピュータを情報処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成する生成手段と、として機能させるプログラム。
【0179】
（付記１０）
少なくとも１つのプロセッサを備え、前記プロセッサは、センサ情報に基づいて、人および物体を検出する検出処理と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識処理と、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測処理と、計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成する生成処理と、を実行する情報処理装置。
少なくとも１つのプロセッサを備え、前記プロセッサは、センサ情報に基づいて、人および物体を検出する検出処理と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識処理と、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測処理と、計測された前記行動を継続した時間と、前記行動について計画された行動計画に含まれる、前記行動を継続すべき時間とに基づいて、認識された前記人の行動に関する前記行動計画からの乖離度を示す情報を生成する生成処理と、を実行する情報処理装置。
【0180】
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記検出処理と、前記認識処理と、前記計測処理と、前記生成処理と、を前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0181】
１、２ 情報処理装置
８ 表示装置
１１ 検出部
１２ 認識部
１３ 計測部
１４ 生成部
１５ 表示部
１６ 取得部
１００ 情報処理システム
８ 表示装置
１１ 検出部
１２ 認識部
１３ 計測部
１４ 生成部
１５ 表示部
１６ 取得部
１００ 情報処理システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】