(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023178747
(43)【公開日】2023-12-18
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231211BHJP
G06V 20/52 20220101ALI20231211BHJP
【ＦＩ】
G06T7/00 660Z
G06T7/00 350B
G06V20/52
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022091612
(22)【出願日】2022-06-06
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】比嘉 恭太
(72)【発明者】
【氏名】馬場崎 康敬
(72)【発明者】
【氏名】安藤 隆平
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096BA02
5L096CA04
5L096CA21
5L096DA01
5L096FA16
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096FA77
5L096GA34
5L096GA51
5L096HA11
5L096JA03
5L096JA11
5L096KA04
(57)【要約】
【課題】人の行動の安全性の向上を図ることができる技術を提供する。
【解決手段】情報処理装置（１）は、センサ情報に基づいて、人および物体を検出する検出部（１１）と、人および物体の関連性に基づいて、人の行動を認識する認識部（１２）と、検出結果および認識結果を参照して、行動の不安全性に関する不安全情報を生成する生成部（１３）と、を備える。
【選択図】図１
【解決手段】情報処理装置（１）は、センサ情報に基づいて、人および物体を検出する検出部（１１）と、人および物体の関連性に基づいて、人の行動を認識する認識部（１２）と、検出結果および認識結果を参照して、行動の不安全性に関する不安全情報を生成する生成部（１３）と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
センサ情報に基づいて、人および物体を検出する検出手段と、
前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、
前記検出手段による検出結果、並びに、前記認識手段による認識結果を参照して、前記行動の不安全性に関する不安全情報を生成する生成手段と、
を備える情報処理装置。
前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、
前記検出手段による検出結果、並びに、前記認識手段による認識結果を参照して、前記行動の不安全性に関する不安全情報を生成する生成手段と、
を備える情報処理装置。
【請求項2】
前記検出手段は、１以上の人および１以上の物体を検出し、
前記認識手段は、前記１以上の人のうち第１の人と、前記１以上の物体のうち第１の物体との関連性に基づいて、前記第１の人の行動を認識し、
前記生成手段は、
前記検出結果に基づいて、前記認識結果が示す行動に関連付けられた不安全条件であって、前記第１の人とは異なる第２の人、または、前記第１の物体とは異なる第２の物体に関する不安全条件が満たされると判断した場合に、
前記不安全情報を生成する、
請求項１に記載の情報処理装置。
前記認識手段は、前記１以上の人のうち第１の人と、前記１以上の物体のうち第１の物体との関連性に基づいて、前記第１の人の行動を認識し、
前記生成手段は、
前記検出結果に基づいて、前記認識結果が示す行動に関連付けられた不安全条件であって、前記第１の人とは異なる第２の人、または、前記第１の物体とは異なる第２の物体に関する不安全条件が満たされると判断した場合に、
前記不安全情報を生成する、
請求項１に記載の情報処理装置。
【請求項3】
前記第２の物体は、前記行動の対象となる物体であり、
前記生成手段は、
前記検出結果に基づいて、前記第２の物体の特徴を抽出し、
前記第２の物体の特徴に関する前記不安全条件が満たされる場合に、前記不安全情報を生成する、
請求項２に記載の情報処理装置。
前記生成手段は、
前記検出結果に基づいて、前記第２の物体の特徴を抽出し、
前記第２の物体の特徴に関する前記不安全条件が満たされる場合に、前記不安全情報を生成する、
請求項２に記載の情報処理装置。
【請求項4】
前記第２の物体は、前記行動の安全性において必要な物体であり、
前記生成手段は、前記検出結果に基づいて、前記第２の物体が未検出であるとの前記不安全条件が満たされる場合に、前記不安全情報を生成する、
請求項２に記載の情報処理装置。
前記生成手段は、前記検出結果に基づいて、前記第２の物体が未検出であるとの前記不安全条件が満たされる場合に、前記不安全情報を生成する、
請求項２に記載の情報処理装置。
【請求項5】
前記第２の物体は、前記行動に関連付けられていない物体であり、
前記生成手段は、前記検出結果に基づいて、前記第２の物体が検出されたとの前記不安全条件が満たされる場合に、前記不安全情報を生成する、
請求項２に記載の情報処理装置。
前記生成手段は、前記検出結果に基づいて、前記第２の物体が検出されたとの前記不安全条件が満たされる場合に、前記不安全情報を生成する、
請求項２に記載の情報処理装置。
【請求項6】
前記生成手段は、前記検出結果に基づいて、前記第１の物体から所定の範囲内に前記第２の人を検出したとの前記不安全条件が満たされる場合に、前記不安全情報を生成する、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項7】
前記不安全情報を出力する出力手段、
をさらに備える、請求項１から６の何れか１項に記載の情報処理装置。
をさらに備える、請求項１から６の何れか１項に記載の情報処理装置。
【請求項8】
前記検出手段は、機械学習により生成された検出モデルを参照して前記人および前記物体を検出し、
前記認識手段は、機械学習により生成された認識モデルを参照して前記行動を認識し、
前記不安全情報の出力に対して、前記検出モデルおよび前記認識モデルの一方または両方を再学習させるためのフィードバック情報であって、前記行動が不安全行動であるか否かを示すフィードバック情報を取得する取得手段と、
をさらに含む、請求項７に記載の情報処理装置。
前記認識手段は、機械学習により生成された認識モデルを参照して前記行動を認識し、
前記不安全情報の出力に対して、前記検出モデルおよび前記認識モデルの一方または両方を再学習させるためのフィードバック情報であって、前記行動が不安全行動であるか否かを示すフィードバック情報を取得する取得手段と、
をさらに含む、請求項７に記載の情報処理装置。
【請求項9】
情報処理装置が、
センサ情報に基づいて、人および物体を検出することと、
前記人および前記物体の関連性に基づいて、前記人の行動を認識することと、
前記検出することにおける検出結果、並びに、前記認識することにおける認識結果を参照して、前記行動の不安全性に関する不安全情報を生成することと、
含む情報処理方法。
センサ情報に基づいて、人および物体を検出することと、
前記人および前記物体の関連性に基づいて、前記人の行動を認識することと、
前記検出することにおける検出結果、並びに、前記認識することにおける認識結果を参照して、前記行動の不安全性に関する不安全情報を生成することと、
含む情報処理方法。
【請求項10】
コンピュータを情報処理装置として機能させるプログラムであって、
前記プログラムは、前記コンピュータを、
センサ情報に基づいて、人および物体を検出する検出手段と、
前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、
前記検出手段による検出結果、並びに、前記認識手段による認識結果を参照して、前記行動の不安全性に関する不安全情報を生成する生成手段と、
として機能させるプログラム。
前記プログラムは、前記コンピュータを、
センサ情報に基づいて、人および物体を検出する検出手段と、
前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、
前記検出手段による検出結果、並びに、前記認識手段による認識結果を参照して、前記行動の不安全性に関する不安全情報を生成する生成手段と、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
労働災害を防止するために、作業者が安全に作業しているか否かを判定する技術が開示されている。
【0003】
特許文献１には、作業員の視線に向けて撮影するカメラで撮影された画像の画像領域内における作業員の手と対象物とが重なっているかどうかを判定する安全判定装置が開示されている。当該装置は、重なっていると判定された場合、作業の安全が確保されていない状況を示す所定の条件を満たしているか否かを判定する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特願２０１８－２８５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載の安全判定装置は、判定の対象として作業者の手および対象物しか考慮していない。したがって、特許文献１に記載の安全判定装置では、作業内容、他の作業者、および他の物体といった、作業者の手および対象物以外の要因に基づく作業の安全性については、判定することができない。
【0006】
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、人の行動の安全性の向上を図ることができる技術を提供することである。
【課題を解決するための手段】
【0007】
本発明の一態様に係る情報処理装置は、センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記検出手段による検出結果、並びに、前記認識手段による認識結果を参照して、前記行動の不安全性に関する不安全情報を生成する生成手段と、を備える。
【0008】
本発明の一態様に係る情報処理方法は、情報処理装置が、センサ情報に基づいて、人および物体を検出することと、前記人および前記物体の関連性に基づいて、前記人の行動を認識することと、前記検出することにおける検出結果、並びに、前記認識することにおける認識結果を参照して、前記行動の不安全性に関する不安全情報を生成することと、含む。
【0009】
本発明の一態様に係るプログラムは、コンピュータを情報処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記検出手段による検出結果、並びに、前記認識手段による認識結果を参照して、前記行動の不安全性に関する不安全情報を生成する生成手段と、として機能させる。
【発明の効果】
【0010】
本発明の一態様によれば、人の行動の安全性の向上を図ることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態１に係る情報処理装置の構成を示すブロック図である。
【図2】本発明の実施形態１に係る情報処理方法の流れを示すフロー図である。
【図3】本発明の実施形態２に係る情報処理システムの概要図である。
【図4】本発明の実施形態２に係る情報処理システムの構成を示すブロック図である。
【図5】本発明の実施形態２に係る情報処理装置が実行する情報処理方法の流れを示すフロー図である。
【図6】本発明の実施形態２における行動特定情報の一例を示す図である。
【図7】本発明の実施形態２に係る生成部が参照する表の一例である。
【図8】本発明の実施形態２において撮影された画像の一例を示す図である。
【図9】本発明の実施形態２において撮影された画像の他の例を示す図である。
【図10】本発明の実施形態２において撮影された画像のさらに他の例を示す図である。
【図11】本発明の実施形態２において撮影された画像のさらに他の例を示す図である。
【図12】本発明の実施形態２において撮影された画像のさらに他の例を示す図である。
【図13】本発明の実施形態２において撮影された画像のさらに他の例を示す図である。
【図14】本発明の実施形態２において撮影された画像のさらに他の例を示す図である。
【図15】本発明の実施形態２において撮影された画像のさらに他の例を示す図である。
【図16】本発明の実施形態２に係る出力部が出力する不安全情報の一例を示す図である。
【図17】本発明の実施形態２に係る出力部が出力する不安全情報の他の例を示す図である。
【図18】本発明の実施形態２に係る出力部が出力する不安全情報のさらに他の例を示す図である。
【図19】本発明の変形例におけるアノテーション情報に含まれる画像の一例を示す図である。
【図20】本発明の変形例におけるアノテーション情報に含まれる人および物体を示す情報の一例を示す図である。
【図21】本発明の変形例に係る認識部が用いる推定モデルの構成の一例を示す図である。
【図22】本発明の変形例におけるアノテーション情報に含まれる関連情報の一例を示す図である。
【図23】本発明の変形例における認識結果を示す表の一例を示す図である。
【図24】本発明の各例示的実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【0012】
〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0013】
【0014】
本例示的実施形態に係る情報処理装置１は、センサ情報に基づいて人および物体を検出し、検出した人および物体の関連性に基づいて人の行動を認識する装置である。また、情報処理装置１は、検出結果、および認識結果を参照して、人の行動の不安全性に関する不安全情報を生成する装置である。
【0015】
「センサ情報」とは、１または複数のセンサから出力された情報を指す。「センサ情報」の例として、カメラから出力された画像、Ｌｉｄａｒ（Light Detection And Ranging）から出力された対象物までの距離を示す情報、デプスセンサからの出力に基づく距離画像、赤外線センサからの出力に基づく温度画像、ビーコンを用いて出力された位置情報、ウェアラブルカメラから出力された装着者の一人称視点の画像、および複数のマイクによって構成されるマイクロフォンアレイから出力された音声データ、が挙げられる。
【0016】
情報処理装置１がセンサ情報に基づいて人および物体を検出する方法は限定されず、既知の方法が用いられる。情報処理装置１がセンサ情報に基づいて人および物体を検出する方法の例として、ＨＯＧ（Histograms of Oriented Gradients）、カラーヒストグラム、および形状などの画像の特徴量に基づく方法、ＳＩＦＴ（Scale-Invariant Feature Transform）などの特徴点周辺の局所特徴量に基づく方法、ならびにＦａｓｔｅｒ Ｒ－ＣＮＮ（Regions with Convolutional Neural Networks）などの機械学習モデルを用いる方法、が挙げられる。
【0017】
また、情報処理装置１は、人が行動を継続した時間を計測するために、ある時点において検出した人および物体と同一の人および物体を、複数時点または所定の期間において検出する。換言すると、情報処理装置１は、あるセンサ情報に基づいて検出した人および物体と同一の人および同一の物体を、当該あるセンサ情報とは異なるタイミングにおけるセンサ情報に基づいて検出する。情報処理装置１があるセンサ情報に基づいて検出した人および物体と、当該あるセンサ情報とは異なるタイミングでセンサから出力されたセンサ情報に基づいて検出した人および物体が同一であるか否かを判定する方法も限定されず、既知の方法が用いられる。
【0018】
例えば、情報処理装置１は、あるセンサ情報に基づいて検出した人（または物体）の外接矩形と、あるセンサ情報とは異なるタイミングにおけるセンサ情報に基づいて検出した人（または物体）の外接矩形との重複度に基づく方法、あるセンサ情報に基づいて検出した人（または物体）の外接矩形内の特徴と、あるセンサ情報とは異なるタイミングにおけるセンサ情報に基づいて検出した人（または物体）の外接矩形の特徴との類似度に基づく方法、および機械学習モデル（例えば、ＤｅｅｐＳｏｒｔ）を用いた方法、が挙げられる。
【0019】
また、「人および物体の関連性」とは、人と物体とがどのような関係性を有しているかを指す。「人および物体の関連性」の一例として、ある人とある物体とが関係性を有している、ある人とある物体とが関係性を有していない、が挙げられる。
【0020】
情報処理装置１が人および物体の関連性に基づいて人の行動を認識する方法の一例として、人および物体の関連性が、人と物体とが関係性を有している、であった場合に、当該人は当該物体を使用した行動をしていると認識する方法が挙げられる。情報処理装置１が人および物体の関連性に基づいて人の行動を認識する方法の他の例として、人および物体の関連性が、人と物体とが関係性を有していない、であった場合に、当該人は物体を使用していない行動をしていると認識する方法が挙げられる。このように、情報処理装置１が認識する行動には、物体を用いた行動と物体を用いない行動とが含まれてもよい。
【0021】
「不安全情報」とは、人の行動の不安全性に関する情報であり、「人の行動が不安全であること」、「不安全行動の種類」、および「不安全の程度」の一部または全部を示す情報を含んでいてもよい。
【0022】
【0023】
情報処理装置１は、図１に示すように、検出部１１、認識部１２、および生成部１３を備えている。検出部１１、認識部１２、および生成部１３はそれぞれ、本例示的実施形態において、検出手段、認識手段、および生成手段を実現する構成である。
【0024】
検出部１１は、センサ情報に基づいて、人および物体を検出する。検出部１１がセンサ情報に基づいて人および物体を検出する方法については、上述した通りである。検出部１１は、検出した人および物体を示す情報を、認識部１２に供給する。
【0025】
認識部１２は、検出部１１によって検出された人および物体の関連性に基づいて、人の行動を認識する。認識部１２が人および物体の関連性に基づいて人の行動を認識する方法については、上述した通りである。認識部１２は、認識結果を生成部１３に供給する。
【0026】
生成部１３は、検出部１１による検出結果、および認識部１２による認識結果を参照して、行動の不安全性に関する不安全情報を生成する。
【0027】
以上のように、本例示的実施形態に係る情報処理装置１においては、センサ情報に基づいて、人および物体を検出する検出部１１と、人および物体の関連性に基づいて、人の行動を認識する認識部１２と、検出部１１による検出結果、並びに、認識部１２による認識結果を参照して、行動の不安全性に関する不安全情報を生成する生成部１３と、を備える構成が採用されている。
【0028】
このため、本例示的実施形態に係る情報処理装置１によれば、認識した人の行動の不安全性に関する不安全情報を生成するので、人の行動の安全性の向上を図ることができるという効果が得られる。
【0029】
【0030】
（ステップＳ１１）
ステップＳ１１において、検出部１１は、センサ情報に基づいて、人および物体を検出する。検出部１１は、検出した人および物体を示す情報を、認識部１２に供給する。
ステップＳ１１において、検出部１１は、センサ情報に基づいて、人および物体を検出する。検出部１１は、検出した人および物体を示す情報を、認識部１２に供給する。
【0031】
（ステップＳ１２）
ステップＳ１２において、認識部１２は、検出部１１によって検出された人および物体の関連性に基づいて、人の行動を認識する。認識部１２は、認識結果を生成部１３に供給する。
ステップＳ１２において、認識部１２は、検出部１１によって検出された人および物体の関連性に基づいて、人の行動を認識する。認識部１２は、認識結果を生成部１３に供給する。
【0032】
（ステップＳ１３）
ステップＳ１３において、生成部１３は、検出部１１による検出結果、および認識部１２による認識結果を参照して、行動の不安全性に関する不安全情報を生成する。
ステップＳ１３において、生成部１３は、検出部１１による検出結果、および認識部１２による認識結果を参照して、行動の不安全性に関する不安全情報を生成する。
【0033】
以上のように、本例示的実施形態に係る情報処理方法Ｓ１においては、検出部１１がセンサ情報に基づいて、人および物体を検出することと、認識部１２が検出部１１によって検出された人および物体の関連性に基づいて、人の行動を認識することと、生成部１３が検出部１１による検出結果、並びに、認識部１２による認識結果を参照して、行動の不安全性に関する不安全情報を生成することと、を含む構成が採用されている。このため、本例示的実施形態に係る情報処理方法Ｓ１によれば、上述した情報処理装置１と同等の効果が得られる。
【0034】
〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
【0035】
【0036】
本例示的実施形態に係る情報処理システム１００は、センサ情報に基づいて人および物体を検出し、検出した人および物体の関連性に基づいて人の行動を認識するシステムである。また、情報処理システム１００は、検出結果、および認識結果を参照して、人の行動の不安全性に関する不安全情報を生成するシステムである。また、情報処理システム１００は、生成した不安全情報を報知するシステムである。
【0037】
情報処理システム１００では一例として、図３に示すように、情報処理装置２、カメラ６、および報知装置８を含んで構成される。情報処理システム１００では、情報処理装置２は、人がショベルカー等を用いて行動する建設現場を撮影したカメラ６から出力された画像をセンサ情報として取得する。以降、建設現場において人が行う行動を、「作業」とも記載する。
【0038】
また、情報処理装置２は、取得した画像に基づいて、建設現場における人と物体とを検出する。本例示的実施形態では、人が作業者、物体が作業物体の場合について説明する。そして、情報処理装置２は、検出した作業者と作業物体との関連性に基づいて作業者が実施している作業を認識する。
【0039】
また、情報処理装置２は、検出結果、および認識結果を参照して、人の行動の不安全性に関する不安全情報を生成する。上述したように「不安全情報」とは、人の行動の不安全性に関する情報であり、「人の行動が不安全であること」、「不安全行動の種類」、および「不安全の程度」の一部または全部を示す情報を含んでいてもよい。そして、情報処理装置２は、生成した不安全情報を報知装置８に出力する。報知装置８は、取得した不安全情報を報知する。
【0040】
ここで、報知装置８とは、不安全情報を報知する装置であり、一例として、画像を表示する表示装置８ａ、タブレット８ｂ、音を出力するスピーカ、光を照射するランプ、振動するバイブレータが挙げられる。
【0041】
図３に示す情報処理システム１００では、一例として、情報処理装置２は、表示装置８ａおよびタブレット８ｂの少なくとも何れかに不安全情報を出力する。他の例として、情報処理装置２は、不安全行動を行った作業者が身に着けているスピーカからアラート音を出力してもよいし、管理事務所に設置したスピーカからアラートを出力してもよい。また、情報処理装置２は、作業現場および管理事務所に設置したランプを点灯してもよい。また、情報処理装置２は、管理事務所に設置した表示装置８ａまたはタブレット８ｂに不安全行動であると認識された映像を再生させてもよい。
【0042】
（情報処理システム１００の構成）
本例示的実施形態に係る情報処理システム１００の構成について、図４を参照して説明する。図４は、本例示的実施形態に係る情報処理システム１００の構成を示すブロック図である。
本例示的実施形態に係る情報処理システム１００の構成について、図４を参照して説明する。図４は、本例示的実施形態に係る情報処理システム１００の構成を示すブロック図である。
【0043】
図４に示すように、情報処理システム１００は、情報処理装置２、カメラ６、および報知装置８を含んで構成される。情報処理装置２、カメラ６、および報知装置８は、それぞれ互いに通信可能にネットワークを介して接続されている。ネットワークの具体的構成は本例示的実施形態を限定するものではないが、一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、または、これらのネットワークの組み合わせを用いることができる。
【0044】
（情報処理装置２の構成）
情報処理装置２は、図４に示すように、制御部１０、通信部１８、および記憶部１９を備えている。
情報処理装置２は、図４に示すように、制御部１０、通信部１８、および記憶部１９を備えている。
【0045】
通信部１８は、ネットワークを介して接続されている他の装置と通信する通信モジュールである。一例として、通信部１８は、制御部１０から供給されたデータを表示装置８に出力したり、カメラ６から出力されたデータを制御部１０に供給したりする。
【0046】
記憶部１９は、制御部１０が参照するデータが格納されている。一例として、記憶部１９には、センサ情報、認識結果、後述する不安全条件、および後述する行動特定情報が格納される。
【0047】
（制御部１０の機能）
制御部１０は、情報処理装置２が備える各構成要素を制御する。また、制御部１０は、図４に示すように、検出部１１、認識部１２、生成部１３、出力部１４、および取得部１５を備えている。検出部１１、認識部１２、生成部１３、出力部１４、および取得部１５は、それぞれ本例示的実施形態において、検出手段、認識手段、生成手段、出力手段、および取得手段を実現する構成である。
制御部１０は、情報処理装置２が備える各構成要素を制御する。また、制御部１０は、図４に示すように、検出部１１、認識部１２、生成部１３、出力部１４、および取得部１５を備えている。検出部１１、認識部１２、生成部１３、出力部１４、および取得部１５は、それぞれ本例示的実施形態において、検出手段、認識手段、生成手段、出力手段、および取得手段を実現する構成である。
【0048】
検出部１１は、センサ情報に基づいて、作業者および作業物体を検出する。一例として、検出部１１は、１以上の人および１以上の物体を検出する。検出部１１がセンサ情報に基づいて作業者および作業物体を検出する方法については、上述した通りである。検出部１１は、検出した作業者および作業物体を示す情報を、認識部１２に供給する。
【0049】
認識部１２は、検出部１１によって検出された作業者および作業物体の関連性に基づいて、作業者の行動を認識する。一例として、認識部１２は、検出部１１が検出した１以上の作業者のうち第１の人と、１以上の作業物体のうち第１の物体との関連性に基づいて、第１の人の作業を認識する。
【0050】
ここで、「第１の人」とは、検出部１１によって検出された人のうち、認識部１２が認識した作業の対象となった人を指す。また、以下では、検出部１１によって検出された人のうち、「第１の人」とは異なる人を、「第２の人」と称する。換言すると、「第２の人」とは、認識部１２によって認識された作業とは無関係の人である。
【0051】
また、「第１の物体」とは、検出部１１によって検出された物体のうち、認識部１２が認識した作業の対象となった作業物体を指す。換言すると、「第１の物体」は、行動の認識に寄与した物体である。また、以下では、検出部１１によって検出された物体のうち、「第１の物体」とは異なる物体を「第２の物体」と称する。換言すると、「第２の物体」とは、認識部１２によって認識された作業とは無関係の物体である。
【0052】
例えば、台車を押す作業者を含む画像において、検出部１１が、台車を押す作業者を含む複数の人と、台車を含む複数の物体とを検出した場合、認識部１２は、台車および台車を押す作業者に基づき、当該作業者は作業内容「運搬」を行っていると認識する。この場合、台車を押す作業者を「第１の人」、台車を押す作業者以外の人を「第２の人」、台車を「第１の物体」、当該台車以外の作業物体を「第２の物体」と称する。第２の物体には、当該台車以外の台車も含まれ得る。
【0053】
認識部１２が作業者および作業物体の関連性に基づいて作業者の行動を認識する方法の例について、後述する。認識部１２は、認識結果を記憶部１９に格納する。
【0054】
生成部１３は、検出部１１による検出結果、および認識部１２による認識結果を参照して、行動の不安全性に関する不安全情報を生成する。一例として、生成部１３は、検出部１１による検出結果に基づいて、認識部１２による認識結果が示す作業に関連付けられた不安全条件であって、第２の人または第２の物体に関する不安全条件が満たされると判断した場合、不安全情報を生成する。生成部１３は、生成した不安全情報を出力部１４に供給する。
【0055】
ここで、「検出部１１による検出結果」には、所定の作業者または所定の作業物体が検出されたことと、所定の作業者または所定の作業物体が検出されないこととが含まれる。
【0056】
また、「不安全条件」は、認識された作業に応じて定められた条件である。また、「不安全条件」は、画像における第２の人または第２の物体に関する検出結果を参照する条件として定義される。一例として、本例示実施形態における不安全条件は、予め記憶部１９に格納される。不安全条件の具体的な一例については、後述する。また、生成部１３が不安全情報を生成する処理の例についても、後述する。
【0057】
出力部１４は、データを出力する。一例として、出力部１４は、生成部１３が生成した不安全情報を、通信部１８を介して報知装置８に出力する。
【0058】
取得部１５は、通信部１８から供給されたデータを取得する。取得部１５が取得するデータの一例として、カメラ６から出力された画像が挙げられる。取得部１５は、取得したデータを記憶部１９に格納する。
【0059】
（カメラ６の構成）
カメラ６は、図４に示すように、カメラ制御部６０、カメラ通信部６８、および撮影部６９を備えている。
カメラ６は、図４に示すように、カメラ制御部６０、カメラ通信部６８、および撮影部６９を備えている。
【0060】
カメラ通信部６８は、ネットワークを介して接続されている他の装置と通信する通信モジュールである。一例として、カメラ通信部６８は、カメラ制御部６０から供給されたデータを情報処理装置２に出力する。
【0061】
撮影部６９は、画角に含まれている被写体を撮影するデバイスである。一例として、撮影部６９は、作業者や作業物体を画角に含む建設現場を撮影する。撮影部６９は、撮影した画像をカメラ制御部６０に供給する。
【0062】
カメラ制御部６０は、カメラ６が備える各構成要素を制御する。また、カメラ制御部６０は、図４に示すように、画像取得部６１および画像出力部６２を備えている。
【0063】
画像取得部６１は、撮影部６９から供給された画像を取得する。画像取得部６１は、取得した画像を画像出力部６２に供給する。
【0064】
画像出力部６２は、カメラ通信部６８を介してデータを出力する。一例として、画像出力部６２は、画像取得部６１から供給された画像を、カメラ通信部６８を介して情報処理装置２に出力する。
【0065】
（報知装置８の構成）
報知装置８は、図４に示すように、報知装置制御部８０、報知装置通信部８８、および報知部８９を備えている。
報知装置８は、図４に示すように、報知装置制御部８０、報知装置通信部８８、および報知部８９を備えている。
【0066】
報知装置通信部８８は、ネットワークを介して接続されている他の装置と通信する通信モジュールである。一例として、報知装置通信部８８は、情報処理装置２から出力された不安全情報を報知装置制御部８０に供給する。
【0067】
報知部８９は、取得した情報が示す内容を報知する。報知部８９が報知する方法は限定されず、画像を表示する、音を出力する、振動する、光を発する、またはこれらの組合せによって報知してもよい。
【0068】
報知装置制御部８０は、報知装置８が備える各構成要素を制御する。また、報知装置制御部８０は、図４に示すように、不安全情報取得部８１および報知制御部８２を備えている。
【0069】
不安全情報取得部８１は、報知装置通信部８８から供給された不安全情報を取得する。不安全情報取得部８１は、取得した不安全情報を報知制御部８２に供給する。
【0070】
報知制御部８２は、不安全情報取得部８１から供給された不安全情報を、報知部８９に供給する。
【0071】
（情報処理装置２が実行する情報処理方法Ｓ２の流れ）
本例示的実施形態に係る情報処理装置２が実行する情報処理方法Ｓ２の流れについて、図５を参照して説明する。図５は、本例示的実施形態に係る情報処理装置２が実行する情報処理方法Ｓ２の流れを示すフロー図である。
本例示的実施形態に係る情報処理装置２が実行する情報処理方法Ｓ２の流れについて、図５を参照して説明する。図５は、本例示的実施形態に係る情報処理装置２が実行する情報処理方法Ｓ２の流れを示すフロー図である。
【0072】
（ステップＳ２１）
ステップＳ２１において、検出部１１は、カメラ６から出力された画像に基づいて、１以上の人および１以上の物体を検出する。検出部１１は、検出した１以上の人および１以上の物体を示す情報を、認識部１２に供給する。
ステップＳ２１において、検出部１１は、カメラ６から出力された画像に基づいて、１以上の人および１以上の物体を検出する。検出部１１は、検出した１以上の人および１以上の物体を示す情報を、認識部１２に供給する。
【0073】
（ステップＳ２２）
ステップＳ２２において、認識部１２は、検出部１１によって検出された１以上の人のうち第１の人と、検出部１１によって検出された１以上の物体のうち第１の物体との関連性に基づいて、第１の人の作業を認識する。認識部１２は、認識結果を生成部１３に供給する。
ステップＳ２２において、認識部１２は、検出部１１によって検出された１以上の人のうち第１の人と、検出部１１によって検出された１以上の物体のうち第１の物体との関連性に基づいて、第１の人の作業を認識する。認識部１２は、認識結果を生成部１３に供給する。
【0074】
（ステップＳ２３）
ステップＳ２３において、生成部１３は、認識部１２による認識結果が示す作業に関連付けられた不安全条件を、記憶部１９から取得する。
ステップＳ２３において、生成部１３は、認識部１２による認識結果が示す作業に関連付けられた不安全条件を、記憶部１９から取得する。
【0075】
（ステップＳ２４）
ステップＳ２４において、生成部１３は、不安全条件を参照し、第２の人または第２の物体に関する検出結果を、検出部１１から取得する。
ステップＳ２４において、生成部１３は、不安全条件を参照し、第２の人または第２の物体に関する検出結果を、検出部１１から取得する。
【0076】
（ステップＳ２５）
ステップＳ２５において、生成部１３は、検出結果に基づいて、認識結果が示す作業に関連付けられた不安全条件であって、第２の人または第２の物体に関する不安全条件が満たされるか否かを判断する。
ステップＳ２５において、生成部１３は、検出結果に基づいて、認識結果が示す作業に関連付けられた不安全条件であって、第２の人または第２の物体に関する不安全条件が満たされるか否かを判断する。
【0077】
（ステップＳ２６）
ステップＳ２５において、不安全条件が満たされていると判断された場合（ステップＳ２５：ＹＥＳ）、ステップＳ２６において生成部１３は、認識結果が示す作業の不安全性に関する不安全情報を生成する。生成部１３は、生成した不安全情報を出力部１４に出力する。
ステップＳ２５において、不安全条件が満たされていると判断された場合（ステップＳ２５：ＹＥＳ）、ステップＳ２６において生成部１３は、認識結果が示す作業の不安全性に関する不安全情報を生成する。生成部１３は、生成した不安全情報を出力部１４に出力する。
【0078】
（ステップＳ２７）
ステップＳ２７において、出力部１４は、生成部１３が生成した不安全情報を、通信部１８を介して報知装置８に出力することにより、不安全情報を報知する。
ステップＳ２７において、出力部１４は、生成部１３が生成した不安全情報を、通信部１８を介して報知装置８に出力することにより、不安全情報を報知する。
【0079】
ステップＳ２７の終了後、またはステップＳ２５において、不安全条件が満たされていないと判断された場合（ステップＳ２５：ＮＯ）、情報処理装置２は図５に示す処理を終了する。
【0080】
（認識部１２が作業者の行動を認識する方法の例１）
認識部１２が作業者の行動を認識する方法の一例として、認識部１２が作業者の位置（第１の人の位置）および作業物体の位置（第１の物体の位置）に基づいて、作業者の行動を認識する方法が挙げられる。
認識部１２が作業者の行動を認識する方法の一例として、認識部１２が作業者の位置（第１の人の位置）および作業物体の位置（第１の物体の位置）に基づいて、作業者の行動を認識する方法が挙げられる。
【0081】
一例として、作業者の位置と作業物体の位置との間の距離が、所定の長さ以下の場合、認識部１２は、当該作業者は当該作業物体を用いた作業を行っていると認識する。例えば、作業者の位置と台車の位置との間の距離が、所定の長さ（例えば、３０ｃｍ）以下の場合、認識部１２は、当該作業者は台車を用いた作業である運搬を行っていると認識する。
【0082】
他の例として、作業者の位置と作業物体の位置とが重複している場合、認識部１２は、当該作業者は当該作業物体を用いた作業を行っていると認識する。例えば、作業者の位置とショベルカーの位置とが重複している場合、認識部１２は、当該作業者はショベルカーを用いた作業である掘削を行っていると認識する。
【0083】
このように、認識部１２は、作業者の位置および作業物体の位置に基づいて、作業者の行動を認識することにより、作業者が作業物体を用いた行動を精度よく認識することができるので、作業者の行動を精度よく認識することができる。
【0084】
（認識部１２が作業者の行動を認識する方法の例２）
認識部１２が作業者の行動を認識する方法の他の例として、認識部１２が所定の行動における作業者の特徴（第１の人の特徴）と、当該所定の行動に関わる作業物体の特徴（第１の物体の特徴）との関連性を示す行動特定情報を参照して、検出部１１が検出した作業者の行動を認識する方法が挙げられる。行動特定情報について、図６を参照して説明する。図６は、本例示的実施形態における行動特定情報の一例を示す図である。
認識部１２が作業者の行動を認識する方法の他の例として、認識部１２が所定の行動における作業者の特徴（第１の人の特徴）と、当該所定の行動に関わる作業物体の特徴（第１の物体の特徴）との関連性を示す行動特定情報を参照して、検出部１１が検出した作業者の行動を認識する方法が挙げられる。行動特定情報について、図６を参照して説明する。図６は、本例示的実施形態における行動特定情報の一例を示す図である。
【0085】
図６に示すように、行動特定情報では、所定の行動（図６における「運搬」および「指差し確認」）における人特徴（図６における人の形状および人の姿勢）と、所定の行動に関わる物体の特徴（図６における「台車」）との関連性が示されている。認識部１２は、検出部１１が検出した作業者の人特徴および物体の特徴と、行動特定情報における人特徴および物体とが一致するか否かを判定する。
【0086】
また、行動特定情報では、所定の行動に対して複数の「人特徴」が関連付けられていてもよい。一例として、図６に示すように、行動特定情報では、所定の行動「運搬」に、「人特徴」として人の形状、人の姿勢、およびＨＧＯが関連付けられていてもよい。
【0087】
また、図６に示すように、行動特定情報では、「人特徴」における人の形状、人の姿勢、およびＨＧＯも、複数であってもよい。一例として、図６に示すように、行動特定情報では、所定の行動「指差し確認」に、「人特徴」として、右側の下方向を指さす人の形状と、指さす角度を変えた人の形状（右側の水平方向を指さす人の形状）と、指さす向きを変えた人の形状（左側の下方向を指さす人の形状）と、が関連付けられていてもよい。
【0088】
また、行動特定情報における人特徴の例として、人の形状、人の姿勢、およびＨＯＧ以外に、色、および局所特徴量が挙げられる。
【0089】
検出部１１が検出した作業者の人特徴および物体の特徴と、行動特定情報における人特徴および物体とが一致した場合、認識部１２は、行動特定情報における人特徴および物体に関連付けられた行動が、作業者が実行している作業であると認識する。
【0090】
一方、検出部１１が検出した作業者の人特徴および物体の特徴と、行動特定情報における人特徴および物体とが一致しない場合、認識部１２は、当該作業者の作業を、特定できなかったことを示す未定行動であると認識する。換言すると、認識部１２は、作業者の行動が、所定の複数の行動の何れでもない場合に未定行動であると認識する。
【0091】
また、図６に示すように、行動特定情報には、行動「運搬」のように、物体「台車」に関連付けられた行動と、行動「指差し確認」のように、物体が関連付けられていない行動が含まれている。換言すると、認識部１２が認識する行動には、物体を用いた行動と物体を用いない行動とが含まれている。
【0092】
また、行動特定情報における人特徴の例として、人の形状および人の姿勢以外に、ＨＯＧ、色、および局所特徴量が挙げられる。
【0093】
このように、認識部１２は、所定の行動における作業者の特徴と、当該所定の行動に関わる作業物体の特徴との関連性を示す行動特定情報を参照して、検出部１１が検出した作業者の行動を認識することにより、作業者の行動を精度よく認識することができる。
【0094】
また、当該構成により、認識部１２は、物体を用いない行動を作業者が行った場合も、作業者の行動を精度よく認識することができる。
【0095】
（認識部１２が作業者の行動を認識する方法の例３）
認識部１２が作業者の行動を認識する方法のさらに他の例として、作業者（第１の人）および作業物体（第１の物体）に加えて、環境に基づいて作業者の行動を認識する方法が挙げられる。
認識部１２が作業者の行動を認識する方法のさらに他の例として、作業者（第１の人）および作業物体（第１の物体）に加えて、環境に基づいて作業者の行動を認識する方法が挙げられる。
【0096】
一例として、認識部１２が環境として、作業者および作業物体に加えて、コンクリートを認識した場合、認識部１２は、当該作業者は作業「コンクリートをならす」を行っていると認識する。
【0097】
このように、認識部１２は、作業者および作業物体に加えて、環境に基づいて作業者の行動を認識することにより、作業者の行動を精度よく認識することができる。
【0098】
（認識部１２が作業者の行動を認識する方法の例４）
認識部１２が作業者の行動を認識する方法のさらに他の例として、複数のセンサのそれぞれからセンサ情報を取得した場合、認識部１２が認識した物体（第１の物体）がセンサ情報によって異なる場合、認識部１２は多数決に基づいて認識した物体を決定してもよい。
認識部１２が作業者の行動を認識する方法のさらに他の例として、複数のセンサのそれぞれからセンサ情報を取得した場合、認識部１２が認識した物体（第１の物体）がセンサ情報によって異なる場合、認識部１２は多数決に基づいて認識した物体を決定してもよい。
【0099】
一例として、センサ１から出力されたセンサ情報に基づいて認識された物体が物体１、センサ２から出力されたセンサ情報に基づいて認識された物体が物体２、およびセンサ３から出力されたセンサ情報に基づいて認識された物体が物体１であった場合、認識部１２は、当該物体は物体１であると認識する。
【0100】
このように、認識部１２は、複数のセンサのそれぞれからセンサ情報を取得した場合、多数決に基づいて認識した物体を決定するので、誤認識を減らせることができる。
【0101】
（不安全条件の例）
不安全条件の例について、図７を参照して説明する。図７は、本例示的実施形態に係る生成部１３が参照する不安全条件の一例である。図７に示すように、「不安全条件」には、複数の項目が関連付けられている。
不安全条件の例について、図７を参照して説明する。図７は、本例示的実施形態に係る生成部１３が参照する不安全条件の一例である。図７に示すように、「不安全条件」には、複数の項目が関連付けられている。
【0102】
図７の上側の表における「作業内容」は、認識部１２によって認識された作業を示している。
【0103】
図７の上側の表における「作業物体」は、認識部１２が認識した作業の対象となった物体を示しており、第１の物体である。
【0104】
図７の上側の表における「対象物体」は、作業の対象となる物体を示しており、第２の物体の一例である。
【0105】
図７の上側の表における「特定物体」は、作業の安全性において必要な物体を示しており、第２の物体の一例である。
【0106】
図７の上側の表における「指定物体」は、不安全であると判断されない物体（いわゆる、ホワイトリスト）を示している。「指定物体」に含まれない物体は、作業とは関連付けられていない第２の物体である。
【0107】
図７の上側の表における「最大積載量」および「最大荷積高」は、それぞれ対象物体を積載できる最大の重さおよび最大の高さを示している。
【0108】
図７の上側の表における「安全距離」は、不安全であると判断されない範囲を示している。換言すると、「安全距離」は、不安全であると判断される範囲（危険領域）を示している。
【0109】
図７の上側の表における「危険領域」は、危険領域の有無を示している。
【0110】
図７の上側の表における「不安全条件」は、不安全であると判断されるべき条件を示している。
【0111】
図７の上側の表における「不安全行動」は、「不安全条件」を満たした場合の不安全行動の種類を示している。
【0112】
上述したステップＳ２３において、生成部１３は、認識部１２による認識結果が示す作業および作業物体とそれぞれ一致する「作業内容」および「作業物体」に関連付けられた「不安全条件」を、図７の上側に示す表から取得する。次に、生成部１３は、上述したステップＳ２４において、取得した「不安全条件」に基づき、「第２の人」または「第２の物体」に関する検出結果を取得する。そして、生成部１３は、ステップＳ２５において、図７の上側に示す表における「不安全条件」、「最大積載量および最大荷積高」、「安全距離」、および「危険領域」を参照し、不安全条件が満たされるか否かを判断する。ステップＳ２５において、不安全条件が満たされると判断された場合、生成部１３は、ステップＳ２６において、図７の上側に示す表「不安全行動」を示す不安全情報を生成する。
【0113】
以下では、具体的な例を挙げて、生成部１３が不安全情報を生成する処理について説明する。以下では、生成部１３が不安全行動の種類を示す情報を含む不安全情報を生成する構成について説明する。
【0114】
【0115】
第２の物体は、作業の対象となる物体であり、生成部１３は、検出結果に基づいて第２の物体の特徴を抽出し、第２の物体の特徴に関する不安全条件が満たされる場合に、不安全情報を生成してもよい。
【0116】
一例として、検出部１１は、図８に示す画像を取得すると、上述したステップＳ２１において、「作業者１」、「台車１」、および「資材１（横に２個、縦に４個の合計８個）」を検出する。検出部１１は、検出結果を認識部１２に供給する。
【0117】
認識部１２は、上述したステップＳ２２において、検出結果を参照し、「作業者１」および「台車１」の関連性に基づいて、「作業者１」の作業内容「運搬」を認識する。認識部１２は、認識結果を生成部１３に供給する。
【0118】
生成部１３は、上述したステップＳ２３において、図７の上側の表を参照し、認識結果が示す作業内容「運搬」および作業物体「台車１」に関連付けられた不安全条件「積載物が最大積載量または最大荷積高を超える」を取得する。
【0119】
次に、生成部１３は、上述したステップＳ２４において、不安全条件に含まれている第２の物体であり、作業の対象となる対象物体「積載物」に関する検出結果を取得する。検出部１１による検出結果は、「作業者１」（第１の人）、「台車１」（第１の物）、および「資材１（横に２個、縦に４個の合計８個）」であったため、生成部１３は、第２の物体として「資材１（横に２個、縦に４個の合計８個）」を取得する。
【0120】
続いて、生成部１３は、上述したステップＳ２５において、図７の下側の表を参照し、第２の物体「資材１（横に２個、縦に４個の合計８個）」の特徴である重量（５ｋｇ×８個＝４０ｋｇ）およびサイズ（幅０．３×２＝０．６ｍ、高さ０．３×８＝２．４ｍ）を取得する。
【0121】
さらに、生成部１３は、ステップＳ２３において取得した不安全条件を満たしているか否かを判断する。図７の上側に示すように、台車１の最大積載量は「２０ｋｇ」、最大荷積高は「１．０ｍ」であり、第２の物体「資材１（横に２個、縦に４個の合計８個）」は重量４０ｋｇおよび高さ２．４ｍであるため、生成部１３は、不安全条件「積載物が最大積載量または最大荷積高を超える」を満たしていると判断する。
【0122】
そして、生成部１３は、上述したステップＳ２６において、図７の上側の表における不安全行動「積載量超過」および「荷積高超過」を示す不安全情報を生成する。
【0123】
このように、第２の物体が作業の対象となる物体であり、生成部１３は、検出結果に基づいて第２の物体の特徴を抽出し、第２の物体の特徴に関する不安全条件が満たされる場合に、不安全情報を生成する。そのため、生成部１３は、作業の対象となる物体が要因で不安全な作業になっていることを示す不安全情報を生成するので、人の行動の安全性の向上を図ることができる。
【0124】
【0125】
第２の物体は、作業の安全性において必要な物体であり、生成部１３は、検出結果に基づいて、第２の物体が未検出であるとの不安全条件が満たされる場合に、不安全情報を生成してもよい。
【0126】
一例として、検出部１１は、図９に示す画像を取得すると、上述したステップＳ２１において、「作業者１」および「足場」を検出する。検出部１１は、検出結果を認識部１２に供給する。
【0127】
認識部１２は、上述したステップＳ２２において、検出結果を参照し、「作業者１」および「足場」の関連性に基づいて、「作業者１」の作業内容「高所作業」を認識する。認識部１２は、認識結果を生成部１３に供給する。
【0128】
生成部１３は、上述したステップＳ２３において、図７の上側の表を参照し、認識結果が示す作業内容「高所作業」および作業物体「足場」に関連付けられた不安全条件「特定物体が未検出である」を取得する。
【0129】
次に、生成部１３は、上述したステップＳ２４において、不安全条件に含まれている第２の物体である、作業の安全性において必要な特定物体「フルハーネス型安全帯」に関する検出結果を取得する。
【0130】
続いて、生成部１３は、上述したステップＳ２５において、ステップＳ２３において取得した不安全条件を満たしているか否かを判断する。検出結果には、「フルハーネス型安全帯」は含まれていないため、生成部１３は、不安全条件「特定物体が未検出である」を満たしていると判断する。
【0131】
そして、生成部１３は、上述したステップＳ２６において、図７の上側の表における不安全行動「転落防止措置未実施」を示す不安全情報を生成する。
【0132】
このように、第２の物体が作業の安全性において必要な物体であり、生成部１３は、検出結果に基づいて、第２の物体が未検出であるとの不安全条件が満たされる場合に、不安全情報を生成する。そのため、生成部１３は、作業の安全性において必要な物体がないことが要因で不安全な作業になっていることを示す不安全情報を生成するので、人の行動の安全性の向上を図ることができる。
【0133】
（生成部１３が不安全情報を生成する処理３）
第２の物体が作業の安全性において必要な物体であり、生成部１３が、検出結果に基づいて、第２の物体が未検出であるとの不安全条件が満たされる場合に、不安全情報を生成する構成の他の例について、図１０を参照して説明する。図１０は、本例示的実施形態において撮影された画像のさらに他の例を示す図である。
第２の物体が作業の安全性において必要な物体であり、生成部１３が、検出結果に基づいて、第２の物体が未検出であるとの不安全条件が満たされる場合に、不安全情報を生成する構成の他の例について、図１０を参照して説明する。図１０は、本例示的実施形態において撮影された画像のさらに他の例を示す図である。
【0134】
検出部１１は、図１０に示す画像を取得すると、上述したステップＳ２１において、「作業者１」および「ショベルカー」を検出する。検出部１１は、検出結果を認識部１２に供給する。
【0135】
認識部１２は、上述したステップＳ２２において、検出結果を参照し、「作業者１」および「ショベルカー」の関連性に基づいて、「作業者１」の作業内容「掘削」を認識する。認識部１２は、認識結果を生成部１３に供給する。
【0136】
生成部１３は、上述したステップＳ２３において、図７の上側の表を参照し、認識結果が示す作業内容「掘削」および作業物体「ショベルカー」に関連付けられた不安全条件「特定物体が未検出である」を取得する。なお、不安全条件「危険領域に人もしくは物体が侵入している」については、参照する図面を替えて後述する。
【0137】
次に、生成部１３は、上述したステップＳ２４において、不安全条件「特定物体が未検出である」に含まれている第２の物体である、作業の安全性において必要な特定物体「パイロン」に関する検出結果を取得する。
【0138】
続いて、生成部１３は、上述したステップＳ２５において、ステップＳ２３において取得した不安全条件を満たしているか否かを判断する。検出結果には、「パイロン」は含まれていないため、生成部１３は、不安全条件「特定物体が未検出である」を満たしていると判断する。
【0139】
そして、生成部１３は、上述したステップＳ２６において、図７の上側の表における不安全行動「危険状態」を示す不安全情報を生成する。
【0140】
（生成部１３が不安全情報を生成する処理４）
生成部１３が不安全情報を生成する処理のさらに他の例について、図１１を参照して説明する。図１１は、本例示的実施形態において撮影された画像のさらに他の例を示す図である。
生成部１３が不安全情報を生成する処理のさらに他の例について、図１１を参照して説明する。図１１は、本例示的実施形態において撮影された画像のさらに他の例を示す図である。
【0141】
第２の物体は、作業に関連付けられていない物体であり、生成部１３は、検出結果に基づいて、第２の物体が検出されたとの不安全条件が満たされる場合に、不安全情報を生成してもよい。
【0142】
一例として、検出部１１は、図１１に示す画像を取得すると、上述したステップＳ２１において、「作業者１」、「ショベルカー」、「台車」および「パイロン（３個）」を検出する。検出部１１は、検出結果を認識部１２に供給する。
【0143】
認識部１２は、上述したステップＳ２２において、検出結果を参照し、「作業者１」および「ショベルカー」の関連性に基づいて、「作業者１」の作業内容「掘削」を認識する。認識部１２は、認識結果を生成部１３に供給する。
【0144】
生成部１３は、上述したステップＳ２３において、図７の上側の表を参照し、認識結果が示す作業内容「掘削」および作業物体「ショベルカー」に関連付けられた不安全条件「危険領域に物体が侵入している」を取得する。なお、不安全条件「危険領域に人が侵入している」については、参照する図面を替えて後述する。
【0145】
次に、生成部１３は、上述したステップＳ２４において、不安全条件「危険領域に物体が侵入している」に含まれている物体（第２の物体）に関する検出結果を取得する。
【0146】
続いて、生成部１３は、上述したステップＳ２５において、ステップＳ２３において取得した不安全条件を満たしているか否かを判断する。検出結果には、作業「掘削」に関連付けられていない第２の物体「台車」が含まれているため、生成部１３は、不安全条件「危険領域に物体が侵入している」を満たしていると判断する。
【0147】
そして、生成部１３は、上述したステップＳ２６において、図７の上側の表における不安全行動「危険状態」を示す不安全情報を生成する。
【0148】
このように、第２の物体が作業に関連付けられていない物体であり、生成部１３は、検出結果に基づいて、第２の物体が検出されたとの不安全条件が満たされる場合に、不安全情報を生成する。そのため、生成部１３は、作業とは無関係の物体が要因で不安全な作業になっていることを示す不安全情報を生成するので、人の行動の安全性の向上を図ることができる。
【0149】
（生成部１３が不安全情報を生成する処理５）
生成部１３が不安全情報を生成する処理のさらに他の例について、図１２を参照して説明する。図１２は、本例示的実施形態において撮影された画像のさらに他の例を示す図である。
生成部１３が不安全情報を生成する処理のさらに他の例について、図１２を参照して説明する。図１２は、本例示的実施形態において撮影された画像のさらに他の例を示す図である。
【0150】
第２の物体は、作業に関連付けられていない物体であり、生成部１３は、検出結果に基づいて、第２の人が第２の物体を使用または装着しているとの不安全条件が満たされる場合に、不安全情報を生成してもよい。
【0151】
一例として、検出部１１は、図１２に示す画像を取得すると、上述したステップＳ２１において、「作業者１」、「足場」、および「スパナ」を検出する。検出部１１は、検出結果を認識部１２に供給する。
【0152】
認識部１２は、上述したステップＳ２２において、検出結果を参照し、「作業者１」および「足場」の関連性に基づいて、「作業者１」の作業内容「高所作業」を認識する。認識部１２は、認識結果を生成部１３に供給する。
【0153】
生成部１３は、上述したステップＳ２３において、図７の上側の表を参照し、認識結果が示す作業内容「高所作業」に関連付けられた不安全条件「指定物体以外の物体を使用している」を取得する。
【0154】
次に、生成部１３は、上述したステップＳ２４において、不安全条件に含まれている第２の物体である指定物体「ハンマー」および「ドライバー」以外の物体に関する検出結果を取得する。
【0155】
続いて、生成部１３は、上述したステップＳ２５において、ステップＳ２３において取得した不安全条件を満たしているか否かを判断する。検出結果には、指定物体「ハンマー」および「ドライバー」以外の物体である「スパナ」が含まれているため、生成部１３は、不安全条件「指定物体以外の物体を使用している」を満たしていると判断する。
【0156】
そして、生成部１３は、上述したステップＳ２６において、図７の上側の表における不安全行動「指定外作業物体使用」を示す不安全情報を生成する。
【0157】
このように、第２の物体が作業に関連付けられていない物体であり、生成部１３は、検出結果に基づいて、第２の人が第２の物体を使用または装着しているとの不安全条件が満たされる場合に、不安全情報を生成する。そのため、生成部１３は、作業の安全性において必要な物体がないことが要因で不安全な作業になっていることを示す不安全情報を生成するので、人の行動の安全性の向上を図ることができる。
【0158】
（生成部１３が不安全情報を生成する処理６）
第２の物体が作業に関連付けられていない物体であり、生成部１３が、検出結果に基づいて、第２の人が第２の物体を使用または装着しているとの不安全条件が満たされる場合に、不安全情報を生成する構成の他の例について、図１３を参照して説明する。図１３は、本例示的実施形態において撮影された画像のさらに他の例を示す図である。
第２の物体が作業に関連付けられていない物体であり、生成部１３が、検出結果に基づいて、第２の人が第２の物体を使用または装着しているとの不安全条件が満たされる場合に、不安全情報を生成する構成の他の例について、図１３を参照して説明する。図１３は、本例示的実施形態において撮影された画像のさらに他の例を示す図である。
【0159】
検出部１１は、図１３に示す画像を取得すると、上述したステップＳ２１において、「作業者１」、「台車」、および「帽子」を検出する。検出部１１は、検出結果を認識部１２に供給する。
【0160】
認識部１２は、上述したステップＳ２２において、検出結果を参照し、「作業者１」および「台車」の関連性に基づいて、「作業者１」の作業内容「運搬」を認識する。認識部１２は、認識結果を生成部１３に供給する。
【0161】
生成部１３は、上述したステップＳ２３において、図７の上側の表を参照し、認識結果が示す作業内容「運搬」に関連付けられた不安全条件「指定物体以外の物体を着用している」を取得する。
【0162】
次に、生成部１３は、上述したステップＳ２４において、不安全条件「指定物体以外の物体を着用している」に含まれている第２の物体である、不安全であると判断されない指定物体「ヘルメット」および「手袋」に関する検出結果を取得する。
【0163】
続いて、生成部１３は、上述したステップＳ２５において、ステップＳ２３において取得した不安全条件を満たしているか否かを判断する。検出結果には、指定物体「ヘルメット」および「手袋」以外の「帽子」が含まれているため、生成部１３は、不安全条件「指定物体以外の物体を着用している」を満たしていると判断する。
【0164】
そして、生成部１３は、上述したステップＳ２６において、図７の上側の表における不安全行動「服飾違反」を示す不安全情報を生成する。
【0165】
（生成部１３が不安全情報を生成する処理７）
生成部１３が不安全情報を生成する処理のさらに他の例について、図１４を参照して説明する。図１４は、本例示的実施形態において撮影された画像のさらに他の例を示す図である。
生成部１３が不安全情報を生成する処理のさらに他の例について、図１４を参照して説明する。図１４は、本例示的実施形態において撮影された画像のさらに他の例を示す図である。
【0166】
生成部１３は、検出結果に基づいて、第１の物体から所定の範囲内に第２の人を検出したとの不安全条件が満たされる場合に、不安全情報を生成してもよい。
【0167】
一例として、検出部１１は、図１４に示す画像を取得すると、上述したステップＳ２１において、「作業者１」、「ショベルカー」、および「作業者２」を検出する。検出部１１は、検出結果を認識部１２に供給する。
【0168】
認識部１２は、上述したステップＳ２２において、検出結果を参照し、「作業者１」および「ショベルカー」の関連性に基づいて、「作業者１」の作業内容「掘削」を認識する。認識部１２は、認識結果を生成部１３に供給する。
【0169】
生成部１３は、上述したステップＳ２３において、図７の上側の表を参照し、認識結果が示す作業内容「掘削」および作業物体「ショベルカー」に関連付けられた不安全条件「危険領域に人が侵入している」を取得する。
【0170】
次に、生成部１３は、上述したステップＳ２４において、不安全条件「危険領域に人が侵入している」に含まれている第２の人に関する検出結果を取得する。
【0171】
続いて、生成部１３は、上述したステップＳ２５において、ステップＳ２３において取得した不安全条件を満たしているか否かを判断する。まず、検出結果には、第２の人である「作業者２」が含まれている。また、危険領域「有」、安全距離「３．０ｍ」であるため、生成部１３は、作業物体「ショベルカー」から安全距離「３．０ｍ」の範囲を危険領域に設定し、当該危険領域内に第２の人である「作業者２」が検出されたか否かを判断する。ここで、作業物体「ショベルカー」から安全距離「３．０ｍ」の範囲の一例として、作業物体「ショベルカー」の外接矩形の中心から「３．０ｍ」の範囲が挙げられる。
【0172】
生成部１３は、危険領域内に第２の人である「作業者２」が検出されたと判断した場合、不安全条件「危険領域に人が侵入している」を満たしていると判断する。
【0173】
そして、生成部１３は、上述したステップＳ２６において、図７の上側の表における不安全行動「危険状態」を示す不安全情報を生成する。
【0174】
このように、生成部１３は、検出結果に基づいて、第１の物体から所定の範囲内に第２の人を検出したとの不安全条件が満たされる場合に、不安全情報を生成する。そのため、生成部１３は、危険領域に作業に無関係の人が立ち入ったことを示す不安全情報を生成するので、人の行動の安全性の向上を図ることができる。
【0175】
（生成部１３が不安全情報を生成する処理８）
生成部１３が、検出結果に基づいて、第１の物体から所定の範囲内に第２の人を検出したとの不安全条件が満たされる場合に、不安全情報を生成する構成の他の例について、図１５を参照して説明する。図１５は、本例示的実施形態において撮影された画像のさらに他の例を示す図である。
生成部１３が、検出結果に基づいて、第１の物体から所定の範囲内に第２の人を検出したとの不安全条件が満たされる場合に、不安全情報を生成する構成の他の例について、図１５を参照して説明する。図１５は、本例示的実施形態において撮影された画像のさらに他の例を示す図である。
【0176】
検出部１１は、図１５に示す画像を取得すると、上述したステップＳ２１において、「作業者１」、「作業者２」、「ショベルカー」、および「パイロン（３つ）」を検出する。検出部１１は、検出結果を認識部１２に供給する。
【0177】
認識部１２は、上述したステップＳ２２において、検出結果を参照し、「作業者１」および「ショベルカー」の関連性に基づいて、「作業者１」の作業内容「掘削」を認識する。認識部１２は、認識結果を生成部１３に供給する。
【0178】
生成部１３は、上述したステップＳ２３において、図７の上側の表を参照し、認識結果が示す作業内容「掘削」および作業物体「ショベルカー」に関連付けられた不安全条件「危険領域に人が侵入している」を取得する。
【0179】
次に、生成部１３は、上述したステップＳ２４において、不安全条件「危険領域に人が侵入している」に含まれている第２の人に関する検出結果を取得する。
【0180】
続いて、生成部１３は、上述したステップＳ２５において、ステップＳ２３において取得した不安全条件を満たしているか否かを判断する。まず、検出結果には、第２の人である「作業者２」が含まれている。また、危険領域「有」、特定物体「パイロン」であるため、生成部１３は、第２の物体である複数の特定物体「パイロン」間を結ぶ線と、作業物体「ショベルカー」との間の領域を危険領域に設定し、当該危険領域に第２の人である「作業者２」が検出されたか否かを判断する。ここで、複数の特定物体「パイロン」間を結ぶ線の一例として、各「パイロン」の外接矩形の中心を結ぶ線が挙げられる。
【0181】
生成部１３は、危険領域内に第２の人である「作業者２」が検出されたと判断した場合、不安全条件「危険領域に人が侵入している」を満たしていると判断する。
【0182】
そして、生成部１３は、上述したステップＳ２６において、図７の上側の表における不安全行動「危険状態」を示す不安全情報を生成する。
【0183】
なお、「危険領域」は、ユーザが設定してもよい。一例として、複数の特定物体「パイロン」のそれぞれの周囲３ｍを、「危険領域」に設定してもよい。当該構成により、生成部１３は、パイロンとショベルカーとの間の領域に接近または侵入しようとしている人がいることを示す不安全情報を生成するので、人の行動の安全性の向上を図ることができる。
【0184】
このように、生成部１３は、検出結果に基づいて、第２の物体によって特定される危険領域に第２の人が接近または侵入しているとの不安全条件が満たされる場合に、不安全情報を生成する。そのため、生成部１３は、危険領域に作業に無関係の人が立ち入ったまたは立ち入ろうとしていることを示す不安全情報を生成するので、人の行動の安全性の向上を図ることができる。
【0185】
（出力部１４が出力する不安全情報の例１）
出力部１４が出力する不安全情報の一例について、図１６を参照して説明する。図１６は、本例示的実施形態に係る出力部１４が出力する不安全情報の一例を示す図である。以下では、出力部１４は、不安全情報として画像を出力する場合について説明する。
出力部１４が出力する不安全情報の一例について、図１６を参照して説明する。図１６は、本例示的実施形態に係る出力部１４が出力する不安全情報の一例を示す図である。以下では、出力部１４は、不安全情報として画像を出力する場合について説明する。
【0186】
出力部１４は、図１６の上側に示すように、作業内容と時刻との関係を示したガントチャートに、不安全行動が行われた作業内容および時刻を含めた画像を出力してもよい。図１６の上側に示す図では、作業内容「運搬」の時刻「９：１０」～時刻「９：３０」の期間、不安全行動が行われたことが示されている。
【0187】
また、出力部１４が出力した画像に対して、不安全行動が行われた期間に対するユーザの操作を受け付けたことを示す情報を取得した場合、図１６の下側に示すように、出力部１４は、不安全行動が行われた作業であると判断された画像を、出力してもよい。
【0188】
この場合、出力部１４は、図１６の下側に示すように、不安全行動「積載量超過」および「荷積高超過」と、超過した重量「２０ｋｇ超過」および超過した高さ「０．２ｍ超過」を示すテキストを、画像に含めてもよい。
【0189】
また、出力部１４は、不安全行動が行われた作業であると判断された期間全ての画像を映像として出力してもよいし、所定間隔毎の画像を出力してもよいし、キーフレームとして抽出した１以上の画像を出力してもよい。
【0190】
また、出力部１４は、図１６の下側に示すように、検出された人（作業者１）、検出された物体（台車１および資材１）の外接矩形を、画像に重畳して出力してもよい。また、出力部１４は、検出された物体の物体名または他の物体と識別するための物体ＩＤを、画像に重畳して出力してもよい。
【0191】
（出力部１４が出力する不安全情報の例２）
出力部１４が出力する不安全情報の他の例について、図１７を参照して説明する。図１７は、本例示的実施形態に係る出力部１４が出力する不安全情報の他の例を示す図である。以下においても、出力部１４が不安全情報として画像を出力する場合について説明する。
出力部１４が出力する不安全情報の他の例について、図１７を参照して説明する。図１７は、本例示的実施形態に係る出力部１４が出力する不安全情報の他の例を示す図である。以下においても、出力部１４が不安全情報として画像を出力する場合について説明する。
【0192】
出力部１４は、過去に発生した不安全行動をリスト化した画像を出力し、当該画像に含まれている不安全行動の何れかを選択する旨の操作を受け付けた場合、選択された不安全行動が発生した時刻を含むリストを出力してもよい。
【0193】
一例として、図１７の上側に示すように、出力部１４は、過去に発生した不安全行動をリスト化した画像を出力する。次に、ユーザから、不安全行動「積載量超過」が選択された旨の操作を受け付けると、図１７の中央に示すように、出力部１４は、不安全行動「積載量超過」が発生した時刻をリスト化した画像を出力する。
【0194】
さらに、出力部１４は、選択された不安全行動が発生した時刻をリスト化した画像に含まれている不安全行動の何れかを選択する旨の操作を受け付けた場合、選択された不安全行動が行われた作業であると判断された画像を出力してもよい。
【0195】
一例として、図１７の中央に示すように、ユーザから、時刻「９：１０：００」に発生した不安全行動「積載量超過」が選択された旨の操作を受け付けると、出力部１４は、図１７の下側に示すように、「９：１０：００」に不安全行動「積載量超過」が行われたと判断された画像を出力する。
【0196】
（出力部１４が出力する不安全情報の例３）
出力部１４が出力する不安全情報の他の例について、図１８を参照して説明する。図１８は、本例示的実施形態に係る出力部１４が出力する不安全情報のさらに他の例を示す図である。以下においても、出力部１４が不安全情報として画像を出力する場合について説明する。
出力部１４が出力する不安全情報の他の例について、図１８を参照して説明する。図１８は、本例示的実施形態に係る出力部１４が出力する不安全情報のさらに他の例を示す図である。以下においても、出力部１４が不安全情報として画像を出力する場合について説明する。
【0197】
出力部１４は、不安全行動の種別と発生回数とを示すグラフを出力してもよい。
【0198】
一例として、出力部１４は、図１８の上側に示すように、作業者毎に、発生した不安全行動と発生回数とを表したグラフを出力する。例えば、図１８の上側に示すグラフは、作業者１は、不安全行動「積載量超過」を１回、不安全行動「安全装置無効」を３回、不安全行動「指定外機器使用」を２回行ったことを示している。
【0199】
また、他の例として、出力部１４は、図１８の下側に示すように、不安全行動毎に、作業者が当該不安全行動を行った回数を示すグラフを出力する。例えば、図１８の下側に示す図は、不安全行動「安全装置無効」を、作業者１が３回、作業者２が１回、作業者３が１回、作業者４が１回行ったことを示している。
【0200】
（情報処理装置２の効果）
本例示的実施形態に係る情報処理装置２においては、画像に基づいて、作業者および作業物体を検出する検出部１１と、作業者および作業物体の関連性に基づいて、作業者の作業を認識する認識部１２と、検出部１１による検出結果、並びに、認識部１２による認識結果を参照して、作業の不安全性に関する不安全情報を生成する生成部１３と、を備える構成が採用されている。
本例示的実施形態に係る情報処理装置２においては、画像に基づいて、作業者および作業物体を検出する検出部１１と、作業者および作業物体の関連性に基づいて、作業者の作業を認識する認識部１２と、検出部１１による検出結果、並びに、認識部１２による認識結果を参照して、作業の不安全性に関する不安全情報を生成する生成部１３と、を備える構成が採用されている。
【0201】
このため、本例示的実施形態に係る情報処理装置２によれば、認識された作業の不安全性に関する不安全情報を生成するので、作業者の作業の安全性の向上を図ることができる。
【0202】
（検出部１１の変形例）
検出部１１は、機械学習モデルを用いて、作業者および作業物体を検出してもよい。検出部１１が機械学習モデルを用いる場合に、機械学習モデルの機械学習において用いられるアノテーション情報について説明する。
検出部１１は、機械学習モデルを用いて、作業者および作業物体を検出してもよい。検出部１１が機械学習モデルを用いる場合に、機械学習モデルの機械学習において用いられるアノテーション情報について説明する。
【0203】
検出部１１が用いる機械学習モデルは、センサ情報と、当該センサ情報によって示される人および物体を示す情報とを組とするアノテーション情報によって学習させられる。以下では、センサ情報として画像を用いる場合を例に挙げ、図１９および図２０を参照して説明する。図１９は、本変形例におけるアノテーション情報に含まれる画像ＡＰ１の一例を示す図である。図２０は、本変形例におけるアノテーション情報に含まれる人および物体を示す情報の一例を示す図である。
【0204】
図１９に示すように、アノテーション情報に含まれる画像ＡＰ１では、画像ＡＰ１に被写体として含まれる人および物体の外接矩形に矩形番号を付している。例えば、台車を押す人の外接矩形には矩形番号「１」が付され、台車の外接矩形には矩形番号「４」が付されている。
【0205】
次に、図２０の上側に示すように、アノテーション情報に含まれる人および物体を示す情報には、矩形番号と、当該矩形番号の外接矩形に含まれているのが人であるか物体であるかを示す物体ラベルと、外接矩形の位置を示す位置情報とが関連付けられている。例えば、台車を押す人の外接矩形である矩形番号「１」には、物体ラベル「人」と、当該外接矩形の四隅の位置を示す位置情報「x11, y11, x12, y12, x13, y13, x14, y14」とが関連付けられている。
【0206】
また、位置情報は、外接矩形の四隅の何れかの位置を示す情報と、外接矩形の幅および高さによって表されてもよい。例えば、図１９に示すように、台車の外接矩形である矩形番号「４」には、物体ラベル「物体」と、位置情報として、当該外接矩形の四隅の何れかの位置を示す「x41, y41」と、当該外接矩形の幅「w2」および高さ「h2」とが関連付けられている。
【0207】
このように、検出部１１が用いる機械学習モデルを、センサ情報と、当該センサ情報によって示される人および物体を示す情報とを組とするアノテーション情報によって学習させることにより、機械学習モデルを精度よく学習させることができる。
【0208】
（認識部１２の変形例）
認識部１２は、推定モデルを用いて、検出部１１が検出した作業者の行動を認識してもよい。
認識部１２は、推定モデルを用いて、検出部１１が検出した作業者の行動を認識してもよい。
【0209】
認識部１２が用いる推定モデルの一例として、人の特徴を示す情報および物体に関する情報を入力とし、所定の行動における当該人と当該物体との関連性を示す情報を出力するモデルが挙げられる。
【0210】
当該構成では、認識部１２は、検出部１１が検出した作業者の特徴を示す情報と、検出部１１が検出した物体に関する情報とを推定モデルに入力する。そして、認識部１２は、推定モデルから出力された情報であって、所定の行動における当該人と当該物体との関連性を示す情報を参照して、作業者の行動を認識する。
【0211】
一例として、推定モデルから出力された人と物体との関連性を示す情報が、人と物体とが関係性を有している、であった場合、認識部１２は、当該人は当該物体を使用した行動をしていると認識する。例えば、推定モデルから出力された人と物体との関連性を示す情報が、ある人と台車とが関係性を有している、であった場合、認識部１２は、ある人の作業は、台車を用いた作業「運搬」であると認識する。
【0212】
このように、認識部１２は、人の特徴を示す情報および物体に関する情報を入力とし、所定の行動における当該人と当該物体との関連性を示す情報を出力するモデルを用いて、検出部１１が検出した作業者の行動を認識するので、作業者の行動を精度よく認識することができる。
【0213】
【0214】
図２１に示すように、認識部１２は、特徴抽出器１２１、物体特徴抽出器１２２、重み算出器１２３、および識別器１２４を備えている。
【0215】
特徴抽出器１２１は、人が被写体として含まれる人の画像を入力として、当該人の画像に被写体として含まれる人の特徴を出力する。認識部１２は、図２１に示すように、それぞれ異なる人の特徴を出力する複数の特徴抽出器１２１１～特徴抽出器１２１Ｎを備える構成であってもよい。例えば、特徴抽出器１２１１は、人の画像に被写体として含まれる人の形状の特徴を出力し、特徴抽出器１２１２は、人の画像に被写体として含まれる人の姿勢の特徴を出力する構成であってもよい。
【0216】
物体特徴抽出器１２２は、物体が被写体として含まれている物体の画像を入力として、当該物体の画像に被写体として含まれている物体に関する情報を出力する。物体特徴抽出器１２２が出力する物体に関する情報は、物体の特徴であってもよいし、物体を特定した物体名であってもよい。また、物体特徴抽出器１２２はさらに、出力する物体に関する情報に、物体の位置を示す位置情報を含めてもよい。
【0217】
重み算出器１２３は、特徴抽出器１２１１～特徴抽出器１２１Ｎから出力されたそれぞれの特徴に重みを付与する。換言すると、認識部１２は、重みを付与した複数の特徴を参照する。
【0218】
識別器１２４は、特徴抽出器１２１から出力された特徴と、物体特徴抽出器１２２から出力された物体に関する情報とを入力として、所定の行動における当該人と当該物体との関連性を示す情報を出力する。換言すると、識別器１２４は、特徴抽出器１２１から出力された特徴と、物体特徴抽出器１２２から出力された物体に関する情報とに基づいて、所定の行動における人と物体との関連性を示す情報を出力する。
【0219】
また、上述したように、識別器１２４は、複数の特徴抽出器１２１１～特徴抽出器１２１Ｎから出力された複数の特徴を入力としてもよい。換言すると、認識部１２は、人の複数の特徴と、物体に関する情報との関連性に基づいて、人の行動を認識する構成であってもよい。当該構成により、認識部１２は、人の行動を精度よく認識することができる。
【0220】
（推定モデルの機械学習）
認識部１２が用いる推定モデルの機械学習において用いられるアノテーション情報について説明する。
認識部１２が用いる推定モデルの機械学習において用いられるアノテーション情報について説明する。
【0221】
認識部１２が用いる推定モデルは、センサ情報と、当該センサ情報によって示される人および物体の関連性を示す関連情報とを組とするアノテーション情報によって学習させられる。以下では、センサ情報として、上述した図１９に示す画像ＡＰ１を用いる場合を例に挙げ、図１９、図２２、および図２３を参照して説明する。図２２は、本変形例におけるアノテーション情報に含まれる関連情報の一例を示す図である。図２３は、本変形例におけるアノテーション情報に含まれる関連情報の他の例を示す図である。
【0222】
図１９に示すように、アノテーション情報に含まれる画像ＡＰ１では、画像ＡＰ１に被写体として含まれる人および物体の外接矩形に矩形番号を付している。例えば、台車を押す人の外接矩形には矩形番号「１」が付され、台車の外接矩形には矩形番号「４」が付されている。また、図１９に示すように、関係性を有している人および物体の外接矩形にも、矩形番号を付している。例えば、台車を押す人および台車の外接矩形に矩形番号「７」が付されている。
【0223】
次に、アノテーション情報に含まれる関連情報では、図２２の上側に示すように、矩形番号と、関連性を示すグループ番号とが関連付けられている。例えば、図１９の上側では、台車を押す人を示す矩形番号「１」と、台車を示す矩形番号「４」とは、関連性を有しているため、両方ともグループ番号「１」が関連付けられている。
【0224】
また、図２２の下側に示すように、関連情報はマトリクス形式であってもよい。例えば、図２２の下側では、台車を押す人を示す矩形番号「１」の列（または行）と、台車を示す矩形番号「４」の行（または列）とが交差する位置の値は、関連性を有していることを示す「１」になっている。
【0225】
また、人および物体の関連性を示す関連情報は、人の行動を示す行動ラベルと、位置情報とを含む構成であってもよい。例えば、図２３に示すように、台車を押す人および台車の外接矩形の四隅の位置を示す位置情報「x71, y71, x72, y72, x73, y73, x74, y74」と、台車を押す人の作業を示す行動ラベル「運搬」とを含む構成であってもよい。
【0226】
このように、認識部１２が用いる推定モデルを、センサ情報と、当該センサ情報によって示される人および物体の関連性を示す関連情報とを組とするアノテーション情報によって学習させることにより、推定モデルを精度よく学習させることができる。
【0227】
（検出モデルおよび推定モデルの機械学習）
検出部１１が機械学習により生成された検出モデルを参照して人および物体を検出し、認識部１２が機械学習により生成された認識モデルを参照して行動を認識する。そして、取得部１５が、不安全情報の出力に対して、検出モデルおよび認識モデルの一方または両方を再学習させるためのフィードバック情報であって、行動が不安全行動であるか否かを示すフィードバック情報を取得する構成であってもよい。
検出部１１が機械学習により生成された検出モデルを参照して人および物体を検出し、認識部１２が機械学習により生成された認識モデルを参照して行動を認識する。そして、取得部１５が、不安全情報の出力に対して、検出モデルおよび認識モデルの一方または両方を再学習させるためのフィードバック情報であって、行動が不安全行動であるか否かを示すフィードバック情報を取得する構成であってもよい。
【0228】
一例として、図１７の下側に示すように、出力部１４は、不安全行動が行われたと判断された画像を出力する。取得部１５は、当該画像に対してユーザから、当該画像における作業者が不安全行動を行っていない旨を示すフィードバック情報を取得した場合、当該フィードバック情報を用いて、検出モデルおよび認識モデルの一方または両方を再学習させる。
【0229】
他の例として、図１７の下側に示すように、出力部１４は、不安全行動「積載量超過」が行われたと判断された画像を出力する。取得部１５は、当該画像に対してユーザから、当該画像における作業者は不安全行動「積載量超過」ではなく「荷積高超過」を行っている旨を示すフィードバック情報を取得した場合、当該フィードバック情報を用いて、検出モデルおよび認識モデルの一方または両方を再学習させる。
【0230】
このように、検出部１１が機械学習により生成された検出モデルを参照して人および物体を検出し、認識部１２が機械学習により生成された認識モデルを参照して行動を認識する。そして、取得部１５が、不安全情報の出力に対して、検出モデルおよび認識モデルの一方または両方を再学習させるためのフィードバック情報であって、行動が不安全行動であるか否かを示すフィードバック情報を取得する。そのため、取得部１５は、検出モデルおよび認識モデルを精度良く学習させることができる。
【0231】
〔ソフトウェアによる実現例〕
情報処理装置１、２の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
情報処理装置１、２の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0232】
後者の場合、情報処理装置１、２は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図２４に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１、２として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１、２の各機能が実現される。
【0233】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
【0234】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0235】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0236】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0237】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0238】
（付記１）
センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記検出手段による検出結果、並びに、前記認識手段による認識結果を参照して、前記行動の不安全性に関する不安全情報を生成する生成手段と、を備える情報処理装置。
センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記検出手段による検出結果、並びに、前記認識手段による認識結果を参照して、前記行動の不安全性に関する不安全情報を生成する生成手段と、を備える情報処理装置。
【0239】
（付記２）
前記検出手段は、１以上の人および１以上の物体を検出し、前記認識手段は、前記１以上の人のうち第１の人と、前記１以上の物体のうち第１の物体との関連性に基づいて、前記第１の人の行動を認識し、前記生成手段は、前記検出結果に基づいて、前記認識結果が示す行動に関連付けられた不安全条件であって、前記第１の人とは異なる第２の人、または、前記第１の物体とは異なる第２の物体に関する不安全条件が満たされると判断した場合に、前記不安全情報を生成する、付記１に記載の情報処理装置。
前記検出手段は、１以上の人および１以上の物体を検出し、前記認識手段は、前記１以上の人のうち第１の人と、前記１以上の物体のうち第１の物体との関連性に基づいて、前記第１の人の行動を認識し、前記生成手段は、前記検出結果に基づいて、前記認識結果が示す行動に関連付けられた不安全条件であって、前記第１の人とは異なる第２の人、または、前記第１の物体とは異なる第２の物体に関する不安全条件が満たされると判断した場合に、前記不安全情報を生成する、付記１に記載の情報処理装置。
【0240】
（付記３）
前記第２の物体は、前記行動の対象となる物体であり、前記生成手段は、前記検出結果に基づいて、前記第２の物体の特徴を抽出し、前記第２の物体の特徴に関する前記不安全条件が満たされる場合に、前記不安全情報を生成する、付記２に記載の情報処理装置。
前記第２の物体は、前記行動の対象となる物体であり、前記生成手段は、前記検出結果に基づいて、前記第２の物体の特徴を抽出し、前記第２の物体の特徴に関する前記不安全条件が満たされる場合に、前記不安全情報を生成する、付記２に記載の情報処理装置。
【0241】
（付記４）
前記第２の物体は、前記行動の安全性において必要な物体であり、前記生成手段は、前記検出結果に基づいて、前記第２の物体が未検出であるとの前記不安全条件が満たされる場合に、前記不安全情報を生成する、付記２または３に記載の情報処理装置。
前記第２の物体は、前記行動の安全性において必要な物体であり、前記生成手段は、前記検出結果に基づいて、前記第２の物体が未検出であるとの前記不安全条件が満たされる場合に、前記不安全情報を生成する、付記２または３に記載の情報処理装置。
【0242】
（付記５）
前記第２の物体は、前記行動に関連付けられていない物体であり、前記生成手段は、前記検出結果に基づいて、前記第２の物体が検出されたとの前記不安全条件が満たされる場合に、前記不安全情報を生成する、付記２～４の何れかに記載の情報処理装置。
前記第２の物体は、前記行動に関連付けられていない物体であり、前記生成手段は、前記検出結果に基づいて、前記第２の物体が検出されたとの前記不安全条件が満たされる場合に、前記不安全情報を生成する、付記２～４の何れかに記載の情報処理装置。
【0243】
（付記６）
前記生成手段は、前記検出結果に基づいて、前記第２の人が前記第２の物体を使用または装着しているとの前記不安全条件が満たされる場合に、前記不安全情報を生成する、付記５に記載の情報処理装置。
前記生成手段は、前記検出結果に基づいて、前記第２の人が前記第２の物体を使用または装着しているとの前記不安全条件が満たされる場合に、前記不安全情報を生成する、付記５に記載の情報処理装置。
【0244】
（付記７）
前記生成手段は、前記検出結果に基づいて、前記第１の物体から所定の範囲内に前記第２の人を検出したとの前記不安全条件が満たされる場合に、前記不安全情報を生成する、付記２～６の何れかに記載の情報処理装置。
前記生成手段は、前記検出結果に基づいて、前記第１の物体から所定の範囲内に前記第２の人を検出したとの前記不安全条件が満たされる場合に、前記不安全情報を生成する、付記２～６の何れかに記載の情報処理装置。
【0245】
（付記８）
前記生成手段は、前記検出結果に基づいて、前記第２の物体によって特定される危険領域に前記第２の人が接近または進入しているとの前記不安全条件が満たされる場合に、前記不安全情報を生成する、付記２～７に記載の情報処理装置。
前記生成手段は、前記検出結果に基づいて、前記第２の物体によって特定される危険領域に前記第２の人が接近または進入しているとの前記不安全条件が満たされる場合に、前記不安全情報を生成する、付記２～７に記載の情報処理装置。
【0246】
（付記９）
前記不安全情報を出力する出力手段、をさらに備える、請求項１から８の何れか１項に記載の情報処理装置。
前記不安全情報を出力する出力手段、をさらに備える、請求項１から８の何れか１項に記載の情報処理装置。
【0247】
（付記１０）
前記検出手段は、機械学習により生成された検出モデルを参照して前記人および前記物体を検出し、前記認識手段は、機械学習により生成された認識モデルを参照して前記行動を認識し、前記不安全情報の出力に対して、前記検出モデルおよび前記認識モデルの一方または両方を再学習させるためのフィードバック情報であって、前記行動が不安全行動であるか否かを示すフィードバック情報を取得する取得手段と、をさらに含む、付記９に記載の情報処理装置。
前記検出手段は、機械学習により生成された検出モデルを参照して前記人および前記物体を検出し、前記認識手段は、機械学習により生成された認識モデルを参照して前記行動を認識し、前記不安全情報の出力に対して、前記検出モデルおよび前記認識モデルの一方または両方を再学習させるためのフィードバック情報であって、前記行動が不安全行動であるか否かを示すフィードバック情報を取得する取得手段と、をさらに含む、付記９に記載の情報処理装置。
【0248】
（付記１１）
情報処理装置が、センサ情報に基づいて、人および物体を検出することと、前記人および前記物体の関連性に基づいて、前記人の行動を認識することと、前記検出することにおける検出結果、並びに、前記認識することにおける認識結果を参照して、前記行動の不安全性に関する不安全情報を生成することと、含む情報処理方法。
情報処理装置が、センサ情報に基づいて、人および物体を検出することと、前記人および前記物体の関連性に基づいて、前記人の行動を認識することと、前記検出することにおける検出結果、並びに、前記認識することにおける認識結果を参照して、前記行動の不安全性に関する不安全情報を生成することと、含む情報処理方法。
【0249】
（付記１２）
コンピュータを情報処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記検出手段による検出結果、並びに、前記認識手段による認識結果を参照して、前記行動の不安全性に関する不安全情報を生成する生成手段と、として機能させるプログラム。
コンピュータを情報処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、センサ情報に基づいて、人および物体を検出する検出手段と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識手段と、前記検出手段による検出結果、並びに、前記認識手段による認識結果を参照して、前記行動の不安全性に関する不安全情報を生成する生成手段と、として機能させるプログラム。
【0250】
（付記１３）
少なくとも１つのプロセッサを備え、前記プロセッサは、センサ情報に基づいて、人および物体を検出する検出処理と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識処理と、前記検出処理による検出結果、並びに、前記認識処理による認識結果を参照して、前記行動の不安全性に関する不安全情報を生成する生成処理とを実行する情報処理装置。
少なくとも１つのプロセッサを備え、前記プロセッサは、センサ情報に基づいて、人および物体を検出する検出処理と、前記人および前記物体の関連性に基づいて、前記人の行動を認識する認識処理と、前記検出処理による検出結果、並びに、前記認識処理による認識結果を参照して、前記行動の不安全性に関する不安全情報を生成する生成処理とを実行する情報処理装置。
【0251】
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記検出処理と、前記認識処理と、前記生成処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0252】
１、２ 情報処理装置
１１ 検出部
１２ 認識部
１３ 生成部
１４ 出力部
１５ 取得部
１００ 情報処理システム
１１ 検出部
１２ 認識部
１３ 生成部
１４ 出力部
１５ 取得部
１００ 情報処理システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】