特開 2023-178745 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023178745

(43)【公開日】2023-12-18

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20231211BHJP

   G06T 7/00 20170101ALI20231211BHJP

   G06V 20/52 20220101ALI20231211BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/00 660B

G06V20/52

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022091610

(22)【出願日】2022-06-06

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】比嘉 恭太

(72)【発明者】

【氏名】馬場崎 康敬

(72)【発明者】

【氏名】安藤 隆平

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA02

5L096CA04

5L096CA21

5L096DA01

5L096EA39

5L096FA16

5L096FA66

5L096FA67

5L096FA69

5L096GA34

5L096HA11

5L096KA04

(57)【要約】

【課題】人が行動を継続した時間をより精度よく把握することができる技術を提供する。
【解決手段】情報処理装置（１）は、センサ情報に基づいて、人および物体を検出する検出部（１１）と、人および物体の関連性に基づいて、人の行動を認識する認識部（１２）と、行動の認識結果に基づいて、人が行動を継続した時間を計測する計測部（１３）とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

センサ情報に基づいて、人および物体を検出する検出手段と、
前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、
前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、
を備える情報処理装置。

【請求項2】

前記認識手段は、
所定の行動における人の特徴と、当該所定の行動に関わる物体の特徴との関連性を示す行動特定情報を参照して、前記検出手段が検出した前記人の行動を認識する、請求項１に記載の情報処理装置。

【請求項3】

前記認識手段は、推定モデルを用いて、前記検出手段が検出した前記人の行動を認識し、
前記推定モデルは、
前記人の特徴を示す情報および前記物体に関する情報を入力とし、
所定の行動における当該人と当該物体との関連性を示す情報を出力する、
請求項１に記載の情報処理装置。

【請求項4】

前記認識手段は、
前記人の複数の特徴と、前記物体に関する情報との関連性に基づいて、前記人の行動を認識する、請求項１から３の何れか１項に記載の情報処理装置。

【請求項5】

前記認識手段は、
前記人の行動が、所定の複数の行動の何れでもない場合に未定行動であると認識し、
前記計測手段は、
前記人が前記未定行動とは異なる他の行動を継続した時間に、前記未定行動を継続した時間を加算して計測する、請求項１から３の何れか１項に記載の情報処理装置。

【請求項6】

前記計測手段による計測結果を出力装置に出力する出力手段をさらに備える、請求項１から３の何れか１項に記載の情報処理装置。

【請求項7】

前記認識手段によって認識された行動は、所定の工程に含まれる作業であり、
前記出力手段は、
前記人が各作業を継続した時間を示す情報を、当該作業が前記所定の工程に含まれることを認識可能な態様で出力する、請求項６に記載の情報処理装置。

【請求項8】

前記出力手段は、複数の前記行動の各々に関する前記計測結果を、当該計測結果に基づく順序で出力する、請求項６に記載の情報処理装置。

【請求項9】

情報処理装置が、
センサ情報に基づいて、人および物体を検出することと、
前記人および前記物体の関連性に基づいて、前記人の行動を認識することと、
前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測することと、
を含む情報処理方法。

【請求項10】

コンピュータを情報処理装置として機能させるプログラムであって、
前記プログラムは、前記コンピュータを、
センサ情報に基づいて、人および物体を検出する検出手段と、
前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、
前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

様々な作業が実施される建設業等の現場において、作業者が実施している作業を判別する技術が開示されている。

【0003】

特許文献１には、作業領域を測定して得られた測定データから作業機械および人を含む物体を認識し、認識した物体の位置情報および形状に関する特徴量を判定し、物体の位置、他の物体との位置関係、および特徴量から、作業領域内で行われた作業を判定する作業分析システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１９４２４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、サービス業では、各サービス提供者がどのサービスを何時間提供したかに応じて、サービス利用者に請求する対価が決定される。或いは、建築業では、各作業員がどの作業を何時間実施したかに応じて、施主に請求する対価が決定される。このように、対価を請求するべき行動を継続した時間を把握することは、各種産業において必要とされるが、特許文献１に記載の作業分析システムでは、作業者毎にどの作業が何時間実施されたのかを把握することができない。

【0006】

本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、人が行動を継続した時間をより精度よく把握することができる技術を提供することである。

【課題を解決するための手段】

【0007】

本発明の一態様に係る情報処理装置は、センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、を備える。

【0008】

本発明の一態様に係る情報処理方法は、センサ情報に基づいて、人および物体を検出することと、前記人および前記物体の関連性に基づいて、前記人の行動を認識することと、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測することと、を含む。

【0009】

本発明の一態様に係るプログラムは、コンピュータを情報処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、として機能させる。

【発明の効果】

【0010】

本発明の一態様によれば、人が行動を継続した時間をより精度よく把握することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態１に係る情報処理装置の構成を示すブロック図であるである。

【図2】本発明の実施形態１に係る情報処理方法の流れを示すフロー図である。

【図3】本発明の実施形態２に係る情報処理システムの概要図である。

【図4】本発明の実施形態２に係る情報処理システムの構成を示すブロック図である。

【図5】本発明の実施形態２における行動特定情報の一例を示す図である。

【図6】本発明の実施形態２における認識結果を示す表の一例を示す図である。

【図7】本発明の実施形態２に係る計測部が未定行動を認識した場合に時間を計測する方法の一例を示す図である。

【図8】本発明の実施形態２に係る出力部が出力する画像の一例を示す図である。

【図9】本発明の実施形態２におけるアノテーション情報に含まれる画像の一例を示す図である。

【図10】本発明の実施形態２におけるアノテーション情報に含まれる人および物体を示す情報の一例を示す図である。

【図11】本発明の実施形態２に係る認識部が用いる推定モデルの構成の一例を示す図である。

【図12】本発明の実施形態２におけるアノテーション情報に含まれる関連情報の一例を示す図である。

【図13】本発明の実施形態２におけるアノテーション情報に含まれる関連情報の他の例を示す図である。

【図14】本発明の変形例における認識結果を示す表の一例を示す図である。

【図15】本発明の変形例に係る出力部が出力する画像の一例を示す図である。

【図16】本発明の変形例に係る出力部が出力する画像の一例を示す図である。

【図17】本発明の各例示的実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0012】

〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。

【0013】

（情報処理装置１の概要）
本例示的実施形態に係る情報処理装置１は、センサ情報に基づいて人および物体を検出し、検出した人および物体の関連性に基づいて人の行動を認識し、認識結果に基づいて人が行動を継続した時間を計測する装置である。

【0014】

「センサ情報」とは、１または複数のセンサから出力された情報を指す。「センサ情報」の例として、カメラから出力された画像、Ｌｉｄａｒ（Light Detection And Ranging）から出力された対象物までの距離を示す情報、デプスセンサからの出力に基づく距離画像、赤外線センサからの出力に基づく温度画像、ビーコンを用いて出力された位置情報、ウェアラブルカメラから出力された装着者の一人称視点の画像、および複数のマイクによって構成されるマイクロフォンアレイから出力された音声データ、が挙げられる。

【0015】

情報処理装置１がセンサ情報に基づいて人および物体を検出する方法は限定されず、既知の方法が用いられる。情報処理装置１がセンサ情報に基づいて人および物体を検出する方法の例として、ＨＯＧ（Histograms of Oriented Gradients）、カラーヒストグラム、および形状などの画像の特徴量に基づく方法、ＳＩＦＴ（Scale-Invariant Feature Transform）などの特徴点周辺の局所特徴量に基づく方法、ならびにＦａｓｔｅｒ Ｒ－ＣＮＮ（Regions with Convolutional Neural Networks）などの機械学習モデルを用いる方法、が挙げられる。

【0016】

また、情報処理装置１は、人が行動を継続した時間を計測するために、ある時点において検出した人および物体と同一の人および物体を、複数時点または所定の期間において検出する。換言すると、情報処理装置１は、あるセンサ情報に基づいて検出した人および物体と同一の人および同一の物体を、当該あるセンサ情報とは異なるタイミングにおけるセンサ情報に基づいて検出する。情報処理装置１があるセンサ情報に基づいて検出した人および物体と、当該あるセンサ情報とは異なるタイミングでセンサから出力されたセンサ情報に基づいて検出した人および物体が同一であるか否かを判定する方法も限定されず、既知の方法が用いられる。

【0017】

例えば、情報処理装置１は、あるセンサ情報に基づいて検出した人（または物体）の外接矩形と、あるセンサ情報とは異なるタイミングにおけるセンサ情報に基づいて検出した人（または物体）の外接矩形との重複度に基づく方法、あるセンサ情報に基づいて検出した人（または物体）の外接矩形内の特徴と、あるセンサ情報とは異なるタイミングにおけるセンサ情報に基づいて検出した人（または物体）の外接矩形の特徴との類似度に基づく方法、および機械学習モデル（例えば、ＤｅｅｐＳｏｒｔ）を用いた方法、が挙げられる。

【0018】

また、「人および物体の関連性」とは、人と物体とがどのような関係性を有しているかを指す。「人および物体の関連性」の一例として、ある人とある物体とが関係性を有している、ある人とある物体とが関係性を有していない、が挙げられる。

【0019】

情報処理装置１が人および物体の関連性に基づいて人の行動を認識する方法の一例として、人および物体の関連性が、人と物体とが関係性を有している、であった場合に、当該人は当該物体を使用した行動をしていると認識する方法が挙げられる。情報処理装置１が人および物体の関連性に基づいて人の行動を認識する方法の他の例として、人および物体の関連性が、人と物体とが関係性を有していない、であった場合に、当該人は物体を使用していない行動をしていると認識する方法が挙げられる。このように、情報処理装置１が認識する行動には、物体を用いた行動と物体を用いない行動とが含まれてもよい。

【0020】

（情報処理装置１の構成）
情報処理装置１の構成について、図１を参照して説明する。図１は、本例示的実施形態に係る情報処理装置１の構成を示すブロック図である。

【0021】

情報処理装置１は、図１に示すように、検出部１１、認識部１２、および計測部１３を備えている。検出部１１、認識部１２、および計測部１３はそれぞれ、本例示的実施形態において、検出手段、認識手段、および計測手段を実現する構成である。

【0022】

検出部１１は、センサ情報に基づいて、人および物体を検出する。検出部１１がセンサ情報に基づいて人および物体を検出する方法については、上述した通りである。検出部１１は、検出した人および物体を示す情報を、認識部１２に供給する。

【0023】

認識部１２は、検出部１１によって検出された人および物体の関連性に基づいて、人の行動を認識する。認識部１２が人および物体の関連性に基づいて人の行動を認識する方法については、上述した通りである。認識部１２は、認識結果を計測部１３に供給する。

【0024】

計測部１３は、認識部１２による行動の認識結果に基づいて、人が行動を継続した時間を計測する。

【0025】

以上のように、本例示的実施形態に係る情報処理装置１においては、センサ情報に基づいて、人および物体を検出する検出部１１と、人および物体の関連性に基づいて、人の行動を認識する認識部１２と、行動の認識結果に基づいて、人が行動を継続した時間を計測する計測部１３と、を備える構成が採用されている。例えば、本例示的実施形態に係る情報処理装置１は、人毎に行動が何時間継続して行われたのかを計測できる。したがって、本例示的実施形態に係る情報処理装置１によれば、人が行動を継続した時間をより精度よく把握することができるという効果が得られる。

【0026】

（情報処理方法Ｓ１の流れ）
本例示的実施形態に係る情報処理方法Ｓ１の流れについて、図２を参照して説明する。図２は、本例示的実施形態に係る情報処理方法Ｓ１の流れを示すフロー図である。

【0027】

（ステップＳ１１）
ステップＳ１１において、検出部１１は、センサ情報に基づいて、人および物体を検出する。検出部１１は、検出した人および物体を示す情報を、認識部１２に供給する。

【0028】

（ステップＳ１２）
ステップＳ１２において、認識部１２は、検出部１１によって検出された人および物体の関連性に基づいて、人の行動を認識する。認識部１２は、認識結果を計測部１３に供給する。

【0029】

（ステップＳ１３）
ステップＳ１３において、計測部１３は、認識部１２による行動の認識結果に基づいて、人が行動を継続した時間を計測する。

【0030】

以上のように、本例示的実施形態に係る情報処理方法Ｓ１においては、検出部１１がセンサ情報に基づいて、人および物体を検出することと、認識部１２が検出部１１によって検出された人および物体の関連性に基づいて、人の行動を認識することと、計測部１３が認識部１２による行動の認識結果に基づいて、人が行動を継続した時間を計測することと、を含む構成が採用されている。このため、本例示的実施形態に係る情報処理方法Ｓ１によれば、上述した情報処理装置１と同等の効果が得られる。

【0031】

〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。

【0032】

（情報処理システム１００の概要）
本例示的実施形態に係る情報処理システム１００の概要について、図３を参照して説明する。図３は、本例示的実施形態に係る情報処理システム１００の概要図である。

【0033】

情報処理システム１００は、センサ情報に基づいて人および物体を検出し、検出した人および物体の関連性に基づいて人の行動を認識し、認識結果に基づいて人が行動を継続した時間を計測するシステムである。

【0034】

情報処理システム１００では一例として、図３に示すように、情報処理装置２、カメラ６、および出力装置８を含んで構成される。情報処理システム１００では、情報処理装置２は、人がショベルカー等を用いて行動する建設現場を撮影したカメラ６から出力された画像をセンサ情報として取得する。以降、建設現場において人が行う行動を、「作業」とも記載する。

【0035】

また、情報処理装置２は、取得した画像に基づいて、建設現場における人と物体とを検出する。本例示的実施形態では、人が作業者、物体が作業物体の場合について説明する。そして、情報処理装置２は、検出した作業者と作業物体との関連性に基づいて作業者が実施している作業を認識し、認識結果に基づいて作業者が作業を継続した時間を計測する。

【0036】

また、情報処理システム１００では、情報処理装置２は、計測した計測結果を出力装置８に出力する。ここで、出力装置８とは、情報をユーザに提供する装置であり、例として、画像を表示する装置および音声を出力する装置が挙げられる。情報処理システム１００では一例として、図３に示すように、情報処理装置２は、表示装置８ａおよびタブレット８ｂの少なくとも何れかに計測結果を出力する。

【0037】

（情報処理システム１００の構成）
本例示的実施形態に係る情報処理システム１００の構成について、図４を参照して説明する。図４は、本例示的実施形態に係る情報処理システム１００の構成を示すブロック図である。

【0038】

図４に示すように、情報処理システム１００は、情報処理装置２、カメラ６、および表示装置８（出力装置）を含んで構成される。情報処理装置２、カメラ６、および表示装置８は、それぞれ互いに通信可能にネットワークを介して接続されている。ネットワークの具体的構成は本例示的実施形態を限定するものではないが、一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、または、これらのネットワークの組み合わせを用いることができる。

【0039】

（情報処理装置２の構成）
情報処理装置２は、図４に示すように、制御部１０、通信部１８、および記憶部１９を備えている。

【0040】

通信部１８は、ネットワークを介して接続されている他の装置と通信する通信モジュールである。一例として、通信部１８は、制御部１０から供給されたデータを表示装置８に出力したり、カメラ６から出力されたデータを制御部１０に供給したりする。

【0041】

記憶部１９は、制御部１０が参照するデータが格納されている。一例として、記憶部１９には、センサ情報、および後述する行動特定情報が格納される。

【0042】

（制御部１０の機能）
制御部１０は、情報処理装置２が備える各構成要素を制御する。また、制御部１０は、図４に示すように、検出部１１、認識部１２、計測部１３、取得部１４、および出力部１５を備えている。検出部１１、認識部１２、計測部１３、および出力部１５は、それぞれ本例示的実施形態において、検出手段、認識手段、計測手段、および出力手段を実現する構成である。

【0043】

検出部１１は、センサ情報に基づいて、作業者および作業物体を検出する。検出部１１がセンサ情報に基づいて作業者および作業物体を検出する方法については、上述した通りである。検出部１１は、検出した作業者および作業物体を示す情報を、認識部１２に供給する。検出部１１が作業者および作業物体を検出する処理の例について、後述する。

【0044】

認識部１２は、検出部１１によって検出された作業者および作業物体の関連性に基づいて、作業者の行動を認識する。認識部１２が作業者および作業物体の関連性に基づいて作業者の行動を認識する方法の例について、後述する。認識部１２は、認識結果を記憶部１９に格納する。

【0045】

計測部１３は、認識部１２による行動の認識結果に基づいて、作業者が行動を継続した時間を計測する。計測部１３は、計測結果を出力部１５に供給する。計測部１３が、作業者が行動を継続した時間を計測する方法の例について、後述する。

【0046】

取得部１４は、通信部１８から供給されたデータを取得する。取得部１４が取得するデータの一例として、カメラ６から出力された画像が挙げられる。取得部１４は、取得したデータを記憶部１９に格納する。

【0047】

出力部１５は、通信部１８を介してデータを出力する。一例として、出力部１５は、計測部１３による計測結果を表示装置８に出力する。当該構成により、出力部１５は、計測結果をユーザに提供することができる。出力部１５が出力するデータの例について、後述する。

【0048】

（カメラ６の構成）
カメラ６は、図４に示すように、カメラ制御部６０、カメラ通信部６８、および撮影部６９を備えている。

【0049】

カメラ通信部６８は、ネットワークを介して接続されている他の装置と通信する通信モジュールである。一例として、カメラ通信部６８は、カメラ制御部６０から供給されたデータを情報処理装置２に出力する。

【0050】

撮影部６９は、画角に含まれている被写体を撮影するデバイスである。一例として、撮影部６９は、作業者や作業物体を画角に含む建設現場を撮影する。撮影部６９は、撮影した画像をカメラ制御部６０に供給する。

【0051】

カメラ制御部６０は、カメラ６が備える各構成要素を制御する。また、カメラ制御部６０は、図４に示すように、画像取得部６１および画像出力部６２を備えている。

【0052】

画像取得部６１は、撮影部６９から供給された画像を取得する。画像取得部６１は、取得した画像を画像出力部６２に供給する。

【0053】

画像出力部６２は、カメラ通信部６８を介してデータを出力する。一例として、画像出力部６２は、画像取得部６１から供給された画像を、カメラ通信部６８を介して情報処理装置２に出力する。

【0054】

（表示装置８の構成）
表示装置８は、図４に示すように、表示装置制御部８０、表示装置通信部８８、および表示部８９を備えている。

【0055】

表示装置通信部８８は、ネットワークを介して接続されている他の装置と通信する通信モジュールである。一例として、表示装置通信部８８は、情報処理装置２から出力されたデータを表示装置制御部８０に供給する。

【0056】

表示部８９は、画像信号が示す画像を表示するデバイスである。表示部８９は、表示装置制御部８０から供給された画像信号が示す画像を表示する。

【0057】

表示装置制御部８０は、表示装置８が備える各構成要素を制御する。また、表示装置制御部８０は、図４に示すように、計測結果取得部８１および表示制御部８２を備えている。

【0058】

計測結果取得部８１は、表示装置通信部８８から供給された計測結果を取得する。計測結果取得部８１は、取得した計測結果を表示制御部８２に供給する。

【0059】

表示制御部８２は、計測結果取得部８１から供給された計測結果を示す画像データを、表示部８９に供給する。

【0060】

（検出部１１が作業者を追跡する処理の例）
例示的実施形態１において説明したように、検出部１１は、あるセンサ情報に基づいて検出した人および物体と同一の人および物体を、当該あるセンサ情報とは異なるタイミングにおけるセンサ情報に基づいて検出する。以下では、あるセンサ情報に基づいて検出した人と同一の人を、当該あるセンサ情報とは異なるタイミングにおけるセンサ情報に基づいて検出する処理の一例について説明する。

【0061】

検出部１１はまず、時刻（ｔ－１）において取得した画像に基づいて、人を検出する。ここで、検出部１１は、検出した人に対して、他の人と識別するための検出ＩＤ（例えば、後述する作業者ＩＤ）を割り当てる。

【0062】

次に、検出部１１は、時刻（ｔ）において取得した画像に基づいて、人を検出する。そして、検出部１１は、時刻（ｔ）において取得した画像に基づいて検出された人が、時刻（ｔ－１）において取得した画像において検出され、検出ＩＤが割り当てられた人と一致するか否かを判定する。

【0063】

一例として、検出部１１は、検出ＩＤを割り当てた人の外接矩形と、時刻（ｔ）において取得した画像に基づいて検出された人の外接矩形とがどの程度重複するかを示す重複度を算出する。外接矩形の重複度の例として、２つの外接矩形の位置が重複する度合い、２つの外接矩形の大きさが重複する度合い、および２つの外接矩形内の人の特徴が重複する度合い、が挙げられる。

【0064】

検出部１１は、時刻（ｔ）において取得した画像に基づいて検出された人が、検出ＩＤが割り当てられた人と一致すると判定した場合、時刻（ｔ）において取得した画像において検出され人に、時刻（ｔ－１）において取得した画像に基づいて検出された人に割り当てた検出ＩＤを割り当てる。当該構成により、検出部１１は、異なるタイミングで取得した画像間において、同一の人を追跡することができる。

【0065】

（認識部１２が作業者の行動を認識する方法の例１）
認識部１２が作業者の行動を認識する方法の一例として、認識部１２が作業者の位置および作業物体の位置に基づいて、作業者の行動を認識する方法が挙げられる。

【0066】

一例として、作業者の位置と作業物体の位置との間の距離が、所定の長さ以下の場合、認識部１２は、当該作業者は当該作業物体を用いた作業を行っていると認識する。例えば、作業者の位置と台車の位置との間の距離が、所定の長さ（例えば、３０ｃｍ）以下の場合、認識部１２は、当該作業者は台車を用いた作業である運搬を行っていると認識する。

【0067】

他の例として、作業者の位置と作業物体の位置とが重複している場合、認識部１２は、当該作業者は当該作業物体を用いた作業を行っていると認識する。例えば、作業者の位置とショベルカーの位置とが重複している場合、認識部１２は、当該作業者はショベルカーを用いた作業である掘削を行っていると認識する。

【0068】

このように、認識部１２は、作業者の位置および作業物体の位置に基づいて、作業者の行動を認識することにより、作業者が作業物体を用いた行動を精度よく認識することができるので、作業者の行動を精度よく認識することができる。

【0069】

（認識部１２が作業者の行動を認識する方法の例２）
認識部１２が作業者の行動を認識する方法の他の例として、認識部１２が所定の行動における作業者の特徴と、当該所定の行動に関わる作業物体の特徴との関連性を示す行動特定情報を参照して、検出部１１が検出した作業者の行動を認識する方法が挙げられる。行動特定情報について、図５を参照して説明する。図５は、本例示的実施形態における行動特定情報の一例を示す図である。

【0070】

図５に示すように、行動特定情報では、所定の行動（図５における「運搬」および「指差し確認」）における人特徴（図５における人の形状、人の姿勢、およびＨＧＯ）と、所定の行動に関わる物体の特徴（図５における「台車」）との関連性が示されている。認識部１２は、検出部１１が検出した作業者の人特徴および物体の特徴と、行動特定情報における人特徴および物体とが一致するか否かを判定する。

【0071】

また、行動特定情報では、所定の行動に対して複数の「人特徴」が関連付けられていてもよい。一例として、図５に示すように、行動特定情報では、所定の行動「運搬」に、「人特徴」として人の形状、人の姿勢、およびＨＧＯが関連付けられていてもよい。

【0072】

また、図５に示すように、行動特定情報では、「人特徴」における人の形状、人の姿勢、およびＨＧＯも、複数であってもよい。一例として、図５に示すように、行動特定情報では、所定の行動「指差し確認」に、「人特徴」として、右側の下方向を指さす人の形状と、指さす角度を変えた人の形状（右側の水平方向を指さす人の形状）と、指さす向きを変えた人の形状（左側の下方向を指さす人の形状）と、が関連付けられていてもよい。

【0073】

また、行動特定情報における人特徴の例として、人の形状、人の姿勢、およびＨＯＧ以外に、色、および局所特徴量が挙げられる。

【0074】

検出部１１が検出した作業者の人特徴および物体の特徴と、行動特定情報における人特徴および物体とが一致した場合、認識部１２は、行動特定情報における人特徴および物体に関連付けられた行動が、作業者が実行している作業であると認識する。

【0075】

一方、検出部１１が検出した作業者の人特徴および物体の特徴と、行動特定情報における人特徴および物体とが一致しない場合、認識部１２は、当該作業者の作業を、特定できなかったことを示す未定行動であると認識する。換言すると、認識部１２は、作業者の行動が、所定の複数の行動の何れでもない場合に未定行動であると認識する。

【0076】

また、図５に示すように、行動特定情報には、行動「運搬」のように、物体「台車」に関連付けられた行動と、行動「指差し確認」のように、物体が関連付けられていない行動が含まれている。換言すると、認識部１２が認識する行動には、物体を用いた行動と物体を用いない行動とが含まれている。

【0077】

このように、認識部１２は、所定の行動における作業者の特徴と、当該所定の行動に関わる作業物体の特徴との関連性を示す行動特定情報を参照して、検出部１１が検出した作業者の行動を認識することにより、作業者の行動を精度よく認識することができる。

【0078】

また、当該構成により、認識部１２は、物体を用いない行動を作業者が行った場合も、作業者の行動を精度よく認識することができる。

【0079】

（認識部１２が作業者の行動を認識する方法の例３）
認識部１２が作業者の行動を認識する方法のさらに他の例として、作業者および作業物体に加えて、環境に基づいて作業者の行動を認識する方法が挙げられる。

【0080】

一例として、認識部１２が環境として、作業者および作業物体に加えて、コンクリートを認識した場合、認識部１２は、当該作業者は作業「コンクリートをならす」を行っていると認識する。

【0081】

このように、認識部１２は、作業者および作業物体に加えて、環境に基づいて作業者の行動を認識することにより、作業者の行動を精度よく認識することができる。

【0082】

（認識部１２が作業者の行動を認識する方法の例４）
認識部１２が作業者の行動を認識する方法のさらに他の例として、複数のセンサのそれぞれからセンサ情報を取得した場合、認識部１２が認識した物体がセンサ情報によって異なる場合、認識部１２は多数決に基づいて認識した物体を決定してもよい。

【0083】

一例として、センサ１から出力されたセンサ情報に基づいて認識された物体が物体１、センサ２から出力されたセンサ情報に基づいて認識された物体が物体２、およびセンサ３から出力されたセンサ情報に基づいて認識された物体が物体１であった場合、認識部１２は、当該物体は物体１であると認識する。

【0084】

このように、認識部１２は、複数のセンサのそれぞれからセンサ情報を取得した場合、多数決に基づいて認識した物体を決定するので、誤認識を減らせることができる。

【0085】

（計測部１３が時間を計測する方法の例１）
計測部１３が、作業者が作業を継続した時間を計測する方法の例について、図６を参照して説明する。図６は、本例示的実施形態における認識結果を示す表の一例を示す図である。

【0086】

まず、認識部１２は、認識結果として、認識した時刻、認識した作業者を他の作業者と識別するための作業者ＩＤ、および作業内容を関連付けて、記憶部１９に格納する。当該構成では、図６に示すように、記憶部１９には、時刻、作業者ＩＤ、および作業内容が関連付けられた認識結果が複数格納される。また、図６に示す表は、認識部１２が１秒ごとに作業内容を認識した場合の表である。

【0087】

計測部１３は、図６に示す表を参照し、作業者が作業を継続した時間を計測する。例えば、作業者ＩＤが「Ｂ」の作業者が作業内容「作業１ａ」を継続した時間を計測する場合、計測部１３は、作業者ＩＤが「Ｂ」の認識結果ｒｒ１～ｒｒ４を抽出する。次に、計測部１３は、認識結果ｒｒ１～ｒｒ４のうち、作業内容「作業１ａ」が最初に認識された時刻「８：００：００」を抽出する。さらに、計測部１３は、認識結果ｒｒ１～ｒｒ４のうち、作業内容「作業１ａ」以外の作業が最初に認識された時刻「９：００：００」を抽出する。そして、計測部１３は、抽出した時刻「８：００：００」と「９：００：００」との差分「１時間」を、作業者ＩＤが「Ｂ」の作業者が作業内容「作業１ａ」を継続した時間として計測する。

【0088】

また、計測部１３は、認識部１２によって同一の作業内容が時間軸において離散的に認識された場合、ある作業者がある作業を継続したと計測した時間の総和を、当該作業を継続した時間として計測してもよい。例えば、作業者ＩＤが「Ａ」の作業者が、作業内容「作業１ａ」の作業を３時間継続し、その後、作業内容「作業１ｂ」の作業を２時間継続し、さらにその後、再び作業内容「作業１ａ」の作業を１時間継続した場合を想定する。この場合、計測部１３は、作業者ＩＤが「Ａ」の作業者が作業内容「作業１ａ」の作業を継続した時間は、３時間＋１時間＝４時間であると計測する。

【0089】

また、計測部１３は、ある作業者がある作業を実行した認識回数に、認識部１２が認識処理を実行する時間間隔を乗じて算出した値を、ある作業者がある作業を継続した時間として計測してもよい。例えば、作業者ＩＤが「Ｂ」の作業者が作業内容「作業１ａ」を継続した時間を計測する場合、計測部１３は、図６に示す表において、作業者ＩＤが「Ｂ」の認識結果を抽出する。ここでは、１秒間隔で認識処理が実行されているので、抽出される認識結果は、ｒｒ１（時刻８：００：００）からｒｒ４（９：００：００）までの３６０１個である。次に、計測部１３は、そのうち、作業内容「作業１ａ」に関連付けられている認識結果の個数「３６００」を算出する。そして、計測部１３は、個数「３６００」に、認識部１２が認識処理を実行する時間間隔「１秒」を乗じることにより、作業者ＩＤが「Ｂ」の作業者が作業内容「作業１ａ」の作業を継続した時間は１時間であると計測する。また、このように、「ある作業者がある作業を実行した認識回数に対して認識処理の時間間隔を乗じる」との方法により、ある作業者の同一の作業内容の認識結果が時間軸において離散的であるか否かに関わらず、当該作業を計測した時間を計測することができる。

【0090】

（計測部１３が時間を計測する方法の例２）
認識部１２が認識した作業者の行動が未定行動の場合に作業者が作業を継続した時間を計測する方法の例について、図７を参照して説明する。図７は、本例示的実施形態に係る計測部１３が未定行動を認識した場合に時間を計測する方法の一例を示す図である。

【0091】

認識部１２が認識した作業者の行動が未定行動の場合の例として、作業者がある作業から他の作業に移行する際に行う行動が挙げられる。この場合、計測部１３は、未定行動を、作業者が未定行動の直前に行った作業であると見なしてもよいし、作業者が未定行動の直後に行った作業であると見なしてもよい。また、計測部１３は、未定行動を、未定行動の直前に行った作業および未定行動の直後に行った作業のそれぞれに関連する作業物体と作業者との位置関係に基づいて、何れの作業であると見なすか決定してもよい。すなわち、計測部１３は、作業者が未定行動とは異なる他の行動を継続した時間に、未定行動を継続した時間を加算して計測してもよい。

【0092】

一例として、計測部１３が、作業者と作業物体との距離に基づき、作業者の作業を継続した時間を計測する構成について説明する。図７に示す、作業者および作業物体を含む画像は、作業者が台車を用いて運搬作業をした後、ショベルカーを用いた掘削作業へ移行する際の画像である。図７に示す画像では、作業者は台車との関係性を有しておらず、ショベルカーとも関係性を有していないため、認識部１２によって未定行動であると認識されている。この場合、計測部１３はまず、作業者と作業物体との距離を算出する。

【0093】

計測部１３が作業者と作業物体との距離を算出する方法の一例として、図７に示すように、作業者の外接矩形の中心と、作業物体の外接矩形の中心との距離を算出する方法が挙げられる。作業者の外接矩形の中心と台車の外接矩形の中心との距離を距離１、作業者の外接矩形の中心とショベルカーの外接矩形の中心との距離を距離２とすると、計測部１３は、未定行動の期間のうち、距離１の長さより距離２の長さの方が長い期間を、運搬作業として時間を計測する。一方、計測部１３は、未定行動の期間のうち、距離２の長さが距離１の長さ以上の期間を、掘削作業として時間を計測する。

【0094】

このように、計測部１３は、作業者が未定行動とは異なる他の行動を継続した時間に、未定行動を継続した時間を加算して計測することにより、作業者の行動が認識できなかった期間があった場合でも、何れかの行動の期間として計測できるので、人が行動を継続した時間をより精度よく把握することができる。

【0095】

（出力部１５が出力する計測結果の例）
例えば建設現場では、１または複数の作業を含む工程によって時間や進捗が管理される場合がある。そのため、情報処理システム１００では、作業者が行った作業を継続した時間を、工程毎にユーザに提示してもよい。換言すると、情報処理システム１００では、認識部１２によって認識された作業は、所定の工程を構成する作業であり、出力部１５は、作業者が作業を継続した時間を示す情報を、当該作業が所定の工程に含まれることを認識可能な態様で出力してもよい。当該構成において、出力部１５が出力するデータの例について、図８を参照して説明する。図８は、本例示的実施形態に係る出力部１５が出力する画像の一例を示す図である。

【0096】

例えば、「工程１」に「作業１ａ」、「作業１ｂ」、および「作業１ｃ」が含まれ、「工程２」に、「作業２ａ」、および「作業２ｂ」が含まれる場合を想定する。この場合、出力部１５は、作業者が作業を継続した時間を示す情報を、当該作業が所定の工程に含まれることを認識可能な態様で出力する。図８に示す画像では、一例として、「作業者Ａ」が「８：００」～「１０：００」まで継続した「作業１ａ」は、「工程１」に含まれることが認識可能な態様になっている。また、図８に示す画像における他の例として、「作業者Ｂ」が「１１：００」～「１２：００」まで継続した「作業２ｂ」は、「工程２」に含まれることが認識可能な態様になっている。

【0097】

このように、出力部１５は、作業者が作業を継続した時間を示す情報を、当該作業が所定の工程に含まれることを認識可能な態様で出力することにより、工程毎に作業した時間をユーザに提示することできる。

【0098】

（情報処理装置２の効果）
以上のように、本例示的実施形態に係る情報処理装置２においては、画像に基づいて、作業者および作業物体を検出する検出部１１と、作業者および作業物体の関連性に基づいて、作業者の行動を認識する認識部１２と、行動の認識結果に基づいて、作業者が行動を継続した時間を計測する計測部１３とを備えた構成が採用されている。したがって、本例示的実施形態に係る情報処理装置２によれば、作業者が行動を継続した時間をより精度よく把握することができるという効果が得られる。

【0099】

（検出部１１の変形例）
検出部１１は、機械学習モデルを用いて、作業者および作業物体を検出してもよい。検出部１１が機械学習モデルを用いる場合に、機械学習モデルの機械学習において用いられるアノテーション情報について説明する。

【0100】

検出部１１が用いる機械学習モデルは、センサ情報と、当該センサ情報によって示される人および物体を示す情報とを組とするアノテーション情報によって学習させられる。以下では、センサ情報として画像を用いる場合を例に挙げ、図９および図１０を参照して説明する。図９は、本変形例におけるアノテーション情報に含まれる画像ＡＰ１の一例を示す図である。図１０は、本変形例におけるアノテーション情報に含まれる人および物体を示す情報の一例を示す図である。

【0101】

図９に示すように、アノテーション情報に含まれる画像ＡＰ１では、画像ＡＰ１に被写体として含まれる人および物体の外接矩形に矩形番号を付している。例えば、台車を押す人の外接矩形には矩形番号「１」が付され、台車の外接矩形には矩形番号「４」が付されている。

【0102】

次に、図１０に示すように、アノテーション情報に含まれる人および物体を示す情報には、矩形番号と、当該矩形番号の外接矩形に含まれているのが人であるか物体であるかを示す物体ラベルと、外接矩形の位置を示す位置情報とが関連付けられている。例えば、台車を押す人の外接矩形である矩形番号「１」には、物体ラベル「人」と、当該外接矩形の四隅の位置を示す位置情報「x11, y11, x12, y12, x13, y13, x14, y14」とが関連付けられている。

【0103】

また、位置情報は、外接矩形の四隅の何れかの位置を示す情報と、外接矩形の幅および高さによって表されてもよい。例えば、図１０に示すように、台車の外接矩形である矩形番号「４」には、物体ラベル「物体」と、位置情報として、当該外接矩形の四隅の何れかの位置を示す「x41, y41」と、当該外接矩形の幅「w2」および高さ「h2」とが関連付けられている。

【0104】

このように、検出部１１が用いる機械学習モデルを、センサ情報と、当該センサ情報によって示される人および物体を示す情報とを組とするアノテーション情報によって学習させることにより、機械学習モデルを精度よく学習させることができる。

【0105】

（認識部１２の変形例）
認識部１２は、推定モデルを用いて、検出部１１が検出した作業者の行動を認識してもよい。

【0106】

認識部１２が用いる推定モデルの一例として、人の特徴を示す情報および物体に関する情報を入力とし、所定の行動における当該人と当該物体との関連性を示す情報を出力するモデルが挙げられる。

【0107】

当該構成では、認識部１２は、検出部１１が検出した作業者の特徴を示す情報と、検出部１１が検出した物体に関する情報とを推定モデルに入力する。そして、認識部１２は、推定モデルから出力された情報であって、所定の行動における当該人と当該物体との関連性を示す情報を参照して、作業者の行動を認識する。

【0108】

一例として、推定モデルから出力された人と物体との関連性を示す情報が、人と物体とが関係性を有している、であった場合、認識部１２は、当該人は当該物体を使用した行動をしていると認識する。例えば、推定モデルから出力された人と物体との関連性を示す情報が、ある人と台車とが関係性を有している、であった場合、認識部１２は、ある人の作業は、台車を用いた作業「運搬」であると認識する。

【0109】

このように、認識部１２は、人の特徴を示す情報および物体に関する情報を入力とし、所定の行動における当該人と当該物体との関連性を示す情報を出力するモデルを用いて、検出部１１が検出した作業者の行動を認識するので、作業者の行動を精度よく認識することができる。

【0110】

（認識部１２が用いる推定モデル）
認識部１２が用いる推定モデルの構成の一例について、図１１を用いて説明する。図１１は、本変形例に係る認識部１２が用いる推定モデルの構成の一例を示す図である。

【0111】

図１１に示すように、認識部１２は、特徴抽出器１２１、物体特徴抽出器１２２、重み算出器１２３、および識別器１２４を備えている。

【0112】

特徴抽出器１２１は、人が被写体として含まれる人の画像を入力として、当該人の画像に被写体として含まれる人の特徴を出力する。認識部１２は、図１１に示すように、それぞれ異なる人の特徴を出力する複数の特徴抽出器１２１_１～特徴抽出器１２１_Ｎを備える構成であってもよい。例えば、特徴抽出器１２１_１は、人の画像に被写体として含まれる人の形状の特徴を出力し、特徴抽出器１２１_２は、人の画像に被写体として含まれる人の姿勢の特徴を出力する構成であってもよい。

【0113】

物体特徴抽出器１２２は、物体が被写体として含まれている物体の画像を入力として、当該物体の画像に被写体として含まれている物体に関する情報を出力する。物体特徴抽出器１２２が出力する物体に関する情報は、物体の特徴であってもよいし、物体を特定した物体名であってもよい。また、物体特徴抽出器１２２はさらに、出力する物体に関する情報に、物体の位置を示す位置情報を含めてもよい。

【0114】

重み算出器１２３は、特徴抽出器１２１_１～特徴抽出器１２１_Ｎから出力されたそれぞれの特徴に重みを付与する。換言すると、認識部１２は、重みを付与した複数の特徴を参照する。

【0115】

識別器１２４は、特徴抽出器１２１から出力された特徴と、物体特徴抽出器１２２から出力された物体に関する情報とを入力として、所定の行動における当該人と当該物体との関連性を示す情報を出力する。換言すると、識別器１２４は、特徴抽出器１２１から出力された特徴と、物体特徴抽出器１２２から出力された物体に関する情報とに基づいて、所定の行動における人と物体との関連性を示す情報を出力する。

【0116】

また、上述したように、識別器１２４は、複数の特徴抽出器１２１_１～特徴抽出器１２１_Ｎから出力された複数の特徴を入力としてもよい。換言すると、認識部１２は、人の複数の特徴と、物体に関する情報との関連性に基づいて、人の行動を認識する構成であってもよい。当該構成により、認識部１２は、人の行動を精度よく認識することができる。

【0117】

（推定モデルの機械学習）
認識部１２が用いる推定モデルの機械学習において用いられるアノテーション情報について説明する。

【0118】

認識部１２が用いる推定モデルは、センサ情報と、当該センサ情報によって示される人および物体の関連性を示す関連情報とを組とするアノテーション情報によって学習させられる。以下では、センサ情報として、上述した図９に示す画像ＡＰ１を用いる場合を例に挙げ、図９、図１２、および図１３を参照して説明する。図１２は、本変形例におけるアノテーション情報に含まれる関連情報の一例を示す図である。図１３は、本変形例におけるアノテーション情報に含まれる関連情報の他の例を示す図である。

【0119】

図９に示すように、アノテーション情報に含まれる画像ＡＰ１では、画像ＡＰ１に被写体として含まれる人および物体の外接矩形に矩形番号を付している。例えば、台車を押す人の外接矩形には矩形番号「１」が付され、台車の外接矩形には矩形番号「４」が付されている。また、図９に示すように、関係性を有している人および物体の外接矩形にも、矩形番号を付している。例えば、台車を押す人および台車の外接矩形に矩形番号「７」が付されている。

【0120】

次に、アノテーション情報に含まれる関連情報では、図１２の上側に示すように、矩形番号と、関連性を示すグループ番号とが関連付けられている。例えば、図１２の上側では、台車を押す人を示す矩形番号「１」と、台車を示す矩形番号「４」とは、関連性を有しているため、両方ともグループ番号「１」が関連付けられている。

【0121】

また、図１２の下側に示すように、関連情報はマトリクス形式であってもよい。例えば、図１２の下側では、台車を押す人を示す矩形番号「１」の列（または行）と、台車を示す矩形番号「４」の行（または列）とが交差する位置の値は、関連性を有していることを示す「１」になっている。

【0122】

また、人および物体の関連性を示す関連情報は、人の行動を示す行動ラベルと、位置情報とを含む構成であってもよい。例えば、図１３に示すように、台車を押す人および台車の外接矩形の四隅の位置を示す位置情報「x71, y71, x72, y72, x73, y73, x74, y74」と、台車を押す人の作業を示す行動ラベル「運搬」とを含む構成であってもよい。

【0123】

このように、認識部１２が用いる推定モデルを、センサ情報と、当該センサ情報によって示される人および物体の関連性を示す関連情報とを組とするアノテーション情報によって学習させることにより、推定モデルを精度よく学習させることができる。

【0124】

（計測部１３の変形例）
計測部１３は、作業の継続時間が所定の時間（例えば、１５秒、１分など）未満の場合、当該作業の継続時間を直前に行った作業の継続時間、または直後に行った作業の継続時間に含める構成であってもよい。当該構成について、図１４を参照して説明する。図１４は、本変形例における認識結果を示す表の一例を示す図である。

【0125】

認識部１２による認識結果が図１４に示す表の場合、計測部１３は、図１４に示す表を参照し、作業者が作業を継続した時間を計測する。一例として、計測部１３が、作業者ＩＤが「Ｂ」の認識結果ｒｒ５～ｒｒ７を抽出し、作業者ＩＤが「Ｂ」の作業者が作業を継続した時間を計測する。ここで、作業の継続時間が１５秒未満であった場合に、当該作業の継続時間を直前に行った作業の継続時間に含める構成の場合を想定する。図１４に示す表の例では、作業者ＩＤが「Ｂ」の作業者が作業内容「作業１ｂ」を行った時間は「９：００：００」～「９：００：０４」までの「４秒」である。そこで、計測部１３は、「９：００：００」～「９：００：０４」の期間は直前に行った作業である作業内容「作業１ａ」の作業の継続時間に含める。

【0126】

作業の継続時間が短い場合、認識部１２が誤認識した可能性が高くなる。しかしながら、当該構成のように、計測部１３は、作業の継続時間が所定の時間未満の場合、当該作業の継続時間を直前に行った作業の継続時間、または直後に行った作業の継続時間に含めることにより、認識部１２が誤認識した場合であっても、人が行動を継続した時間をより精度よく把握することができる。

【0127】

（出力部１５の変形例１）
出力部１５の変形例について、図１５を参照して説明する。図１５は、本変形例に係る出力部１５が出力する画像の一例を示す図である。

【0128】

図１５の上側に示す画像ように、出力部１５は、作業内容毎に、作業者が作業を継続した時間を出力してもよい。例えば、図１５の上側に示す画像は、「工程１」に含まれる「作業ａ」を、「作業者Ａ」が「８：００」～「１０：００」まで行い、「作業者Ｂ」が「８：００」～「９：００」まで行ったことを示している。

【0129】

また、図１５の中央に示すグラフのように、作業者毎に、作業者が行った作業を含む工程を行った時間の総和を出力してもよい。例えば、図１５の中央に示すグラフは、作業者Ａは、「工程１」に含まれる作業を合計で２時間行い、工程２に含まれる作業を合計で２時間行ったことを示している。

【0130】

また、図１５の下側に示すグラフのように、工程毎に、工程に含まれる作業が行われた時間の総和を出力してもよい。例えば、図１５の下側に示すグラフは、「工程１」は、「作業ａ」が合計で３時間行われ、「作業ｂ」が合計で１時間行われ、「作業ｃ」が合計で４時間行われたことを示している。

【0131】

また、出力部１５は、複数の行動の各々に関する計測結果を、計測結果に基づく順序で出力してもよい。一例として、出力部１５は、「作業ａ」を長く継続した作業員の順序で計測結果を出力してもよい。他の例として、出力部１５は、「工程１」を長く継続した作業員の順序で計測結果を出力してもよい。

【0132】

このように、出力部１５は、作業内容毎、作業者毎、および工程毎に、作業者が作業を継続した時間を出力するので、ユーザが希望する態様にて計測結果を出力することができる。

【0133】

（出力部１５の変形例２）
出力部１５の他の変形例について、図１６を参照して説明する。図１６は、本変形例に係る出力部１５が出力する画像の一例を示す図である。

【0134】

出力部１５は、表示装置８から、表示装置８に対するユーザの操作を示す情報を取得し、当該情報に応じた処理を行う構成であってもよい。一例として、出力部１５が図１６の上側に示す画像を出力し、表示装置８が当該画像を表示している場合を想定する。この場合、表示装置８は、「１１：３０」～「１２：００」に行われた「作業者Ａ」による「作業２ａ」をユーザが選択した旨の操作を受け付けると、当該操作を示す情報を情報処理装置２に出力する。

【0135】

表示装置８から出力された情報を取得すると、情報処理装置２の出力部１５は、当該情報を参照し、画像を出力する。一例として、出力部１５は、図１６の下側に示すように、「作業者Ａ」による「作業２ａ」が認識された開始時刻「１０：００」から終了時刻「１２：００」までの画像を出力する。

【0136】

他の例として、出力部１５は、表示する画像を所定の期間で区切り、取得した情報が示す期間における画像であって、取得した情報が示す作業が認識された画像を含む画像を出力する。当該構成において、例えば、「１１：３０」～「１２：００」に行われた「作業者Ａ」による「作業２ａ」をユーザが選択した旨を示す情報を出力部１５が取得した場合を想定する。この場合、出力部１５は、表示する画像を３０分で区切った場合、「作業者Ａ」による「作業２ａ」と認識された画像であって、「１１：３０」～「１２：００」の３０分間における画像を出力する。他の例として、表示する画像を１時間で区切った場合、出力部１５は、「１１：３０」～「１２：００」を含む１時間の画像（例えば、「１１：００」～「１２：００」の画像）を出力する。

【0137】

また、出力部１５は、表示する画像を所定の期間で区切る場合、所定の期間をユーザに提示する構成であってもよい。一例として、出力部１５は、図１６の上側に示す画像において、所定の期間で区切っていることを示す破線を表示してもよい。

【0138】

ここで、出力部１５が表示する画像は、動画像であってもよいし、静止画像であってもよい。

【0139】

このように、出力部１５は、ユーザの操作に応じて画像を出力するので、ユーザが希望する画像を出力することができる。

【0140】

〔ソフトウェアによる実現例〕
情報処理装置１、２の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。

【0141】

後者の場合、情報処理装置１、２は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１７に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１、２として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１、２の各機能が実現される。

【0142】

プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。

【0143】

なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。

【0144】

また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。

【0145】

〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。

【0146】

〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。

【0147】

（付記１）
センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、を備える情報処理装置。

【0148】

（付記２）
前記認識手段は、所定の行動における人の特徴と、当該所定の行動に関わる物体の特徴との関連性を示す行動特定情報を参照して、前記検出手段が検出した前記人の行動を認識する、付記１に記載の情報処理装置。

【0149】

（付記３）
前記認識手段は、推定モデルを用いて、前記検出手段が検出した前記人の行動を認識し、前記推定モデルは、前記人の特徴を示す情報および前記物体に関する情報を入力とし、所定の行動における当該人と当該物体との関連性を示す情報を出力する、付記１に記載の情報処理装置。

【0150】

（付記４）
前記認識手段は、前記人の複数の特徴と、前記物体に関する情報との関連性に基づいて、前記人の行動を認識する、付記１から３の何れかに記載の情報処理装置。

【0151】

（付記５）
前記認識手段は、重みを付与した前記複数の特徴を参照する、付記４に記載の情報処理装置。

【0152】

（付記６）
前記認識手段は、前記人の位置および前記物体の位置に基づいて、前記人の行動を認識する、付記１から５の何れか１項に記載の情報処理装置。

【0153】

（付記７）
前記認識手段は、前記人の行動が、所定の複数の行動の何れでもない場合に未定行動であると認識し、前記計測手段は、前記人が前記未定行動とは異なる他の行動を継続した時間に、前記未定行動を継続した時間を加算して計測する、付記１から６の何れかに記載の情報処理装置。

【0154】

（付記８）
前記計測手段による計測結果を出力装置に出力する出力手段をさらに備える、請求項１から７の何れかに記載の情報処理装置。

【0155】

（付記９）
前記認識手段によって認識された行動は、所定の工程に含まれる作業であり、前記出力手段は、前記人が各作業を継続した時間を示す情報を、当該作業が前記所定の工程に含まれることを認識可能な態様で出力する、付記８に記載の情報処理装置。

【0156】

（付記１０）
前記出力手段は、複数の前記行動の各々に関する前記計測結果を、当該計測結果に基づく順序で出力する、付記８または９に記載の情報処理装置。

【0157】

（付記１１）
情報処理装置が、センサ情報に基づいて、人および物体を検出することと、前記人および前記物体の関連性に基づいて、前記人の行動を認識することと、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測することと、を含む情報処理方法。

【0158】

（付記１２）
コンピュータを情報処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測手段と、として機能させるプログラム。

【0159】

（付記１３）
少なくとも１つのプロセッサを備え、前記プロセッサは、センサ情報に基づいて、人および物体を検出する検出処理と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識処理と、前記行動の認識結果に基づいて、前記人が前記行動を継続した時間を計測する計測処理と、を実行する情報処理装置。

【0160】

なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記検出処理と、前記認識処理と、前記計測処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。

【符号の説明】

【0161】

１、２ 情報処理装置
６ カメラ
８ 表示装置
１１ 検出部
１２ 認識部
１３ 計測部
１５ 出力部
１００ 情報処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】