特開 2022-170790 監視装置、監視方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022170790

(43)【公開日】2022-11-11

(54)【発明の名称】監視装置、監視方法およびプログラム

(51)【国際特許分類】

   G08B 31/00 20060101AFI20221104BHJP

   G08B 25/00 20060101ALI20221104BHJP

   H04N 7/18 20060101ALI20221104BHJP

   G06T 7/00 20170101ALI20221104BHJP

【ＦＩ】

G08B31/00 A

G08B25/00 510M

H04N7/18 D

G06T7/00 300F

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021076989

(22)【出願日】2021-04-30

(71)【出願人】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】塚原 裕史

(72)【発明者】

【氏名】今城 広志

【テーマコード（参考）】

5C054

5C087

5L096

【Ｆターム（参考）】

5C054FC12

5C054FF05

5C054HA01

5C087AA02

5C087AA03

5C087AA10

5C087AA25

5C087AA37

5C087AA40

5C087DD03

5C087DD14

5C087DD27

5C087DD49

5C087EE18

5C087FF01

5C087FF02

5C087FF04

5C087GG08

5C087GG66

5C087GG70

5C087GG83

5L096BA02

5L096DA02

5L096HA09

5L096JA03

5L096JA11

(57)【要約】      （修正有）

【課題】監視エリアにおけるリスクを適切に推定できる監視装置、方法及びプログラムを提供する。
【解決手段】監視装置１は、監視エリアを撮像した画像を取得する画像取得部１０と、画像中の人と物体（床、椅子、ドア、手摺、旋盤、発電機、ロボットアーム、スマホ、バッグ、他の人等）間の関係を要素とし、前記要素の集合によって構成されるシーングラフを推定するシーングラフ生成部１２と、複数のシーングラフと複数のリスクとの共起に関するモデルであって予め学習により生成された共起モデルを記憶する共起モデル記憶部１７と、共起モデル記憶部１７に記憶された共起モデルを読み出し、画像から推定したシーングラフを共起モデルに適用してリスクを推定するリスク推定部１３と、リスク推定部１３にて推定されたリスクに関する情報を通知する通知部１５と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

監視エリアを撮像した画像を取得する画像取得部と、
前記画像中のオブジェクト間の関係を要素とし、前記要素の集合によって構成されるグラフ構造を推定する関係推定部と、
複数のオブジェクト間の関係と複数のリスクとの共起に関するモデルであって予め学習により生成された共起モデルを記憶する共起モデル記憶部と、
前記共起モデル記憶部に記憶された共起モデルを読み出し、前記画像から推定したグラフ構造を前記共起モデルに適用してリスクを推定するリスク推定部と、
前記リスク推定部にて推定されたリスクに関する情報を通知する通知部と、
を備える監視装置。

【請求項2】

前記共起モデルは、オブジェクト間の関係とリスクの共起の度合いが自己相互情報量によって規定されている請求項１に記載の監視装置。

【請求項3】

前記リスク推定部は、前記画像から推定した前記グラフ構造の前記要素をシードとしてメッセージパッシングを行って前記グラフ構造の特徴量を更新し、前記特徴量に基づいてリスクを推定する請求項１または２に記載の監視装置。

【請求項4】

前記リスク推定部は、推定されたリスクに寄与したオブジェクト間の関係を決定する請求項１から３のいずれか１項に記載の監視装置。

【請求項5】

リスクに対処するマニュアルを記憶したマニュアル記憶部と、
前記リスク推定部にて推定されたリスクに対処するマニュアルを前記マニュアル記憶部から読み出して、前記マニュアルに基づいてメッセージを生成するメッセージ生成部と、
を備え、
前記通知部は、前記メッセージを通知する請求項１から４のいずれか１項に記載の監視装置。

【請求項6】

前記メッセージ生成部は、メッセージを受け取る対象者の属性に応じて、前記メッセージの表現を変換する請求項５に記載の監視装置。

【請求項7】

監視エリアから収集した音声データを取得する音声データ取得部を備え、
前記共起モデル記憶部は、複数のオブジェクト間の関係および音声データと複数のリスクとの共起についてのモデルであって予め学習により生成された共起モデルを記憶しており、
前記共起モデル記憶部に記憶された共起モデルを読み出し、前記画像から推定したグラフ構造と前記音声データ取得部にて取得した音声データを前記共起モデルに適用してリスクを推定する請求項１から６のいずれか１項に記載の監視装置。

【請求項8】

監視エリアに設けられたセンサで検出したセンサデータを取得するセンサデータ取得部を備え、
前記共起モデル記憶部は、複数のオブジェクト間の関係およびセンサデータと複数のリスクとの共起についてのモデルであって予め学習により生成された共起モデルを記憶しており、
前記共起モデル記憶部に記憶された共起モデルを読み出し、前記画像から推定したグラフ構造と前記センサで検出したセンサデータを前記共起モデルに適用してリスクを推定する請求項１から６のいずれか１項に記載の監視装置。

【請求項9】

前記リスク推定部にて推定されたリスクに関係する装置に対して、リスク回避のための動作を指示するリスク回避命令を送信する命令送信部を備える請求項１から８のいずれか１項に記載の監視装置。

【請求項10】

監視エリアにおけるリスクを監視装置によって推定する監視方法であって、
前記監視装置は、監視エリアを撮像した画像を取得するステップと、
前記監視装置は、前記画像中のオブジェクト間の関係を要素とし、前記要素の集合によって構成されるグラフ構造を推定するステップと、
前記監視装置は、複数のオブジェクト間の関係と複数のリスクとの共起に関するモデルであって予め学習により生成された共起モデルを記憶する共起モデル記憶部から共起モデルを読み出し、前記画像から推定したグラフ構造を前記共起モデルに適用してリスクを推定するステップと、
前記監視装置は、推定されたリスクに関する情報を通知するステップと、
を備える監視方法。

【請求項11】

監視エリアにおけるリスクを推定するためのプログラムであって、コンピュータに、
監視エリアを撮像した画像を取得するステップと、
前記画像中のオブジェクト間の関係を要素とし、前記要素の集合によって構成されるグラフ構造を推定するステップと、
複数のオブジェクト間の関係と複数のリスクとの共起に関するモデルであって予め学習により生成された共起モデルを記憶する共起モデル記憶部から共起モデルを読み出し、前記画像から推定したグラフ構造を前記共起モデルに適用してリスクを推定するステップと、
推定されたリスクに関する情報を通知するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

人の行動におけるリスク発生を監視する装置に関する。

【背景技術】

【0002】

従来技術として、設備内を撮影した映像を遠隔地にいる人が目視で監視するシステムが一般に普及している。しかし、人が目視で監視できる映像の範囲には限界があり、あまり多くの設備を長時間、正確に監視することは非常に困難を伴う。また、ヒューマンエラーなどにより、監視対象の見落としや誤った判断を行うという課題もある。また、今後、無人の移動体が普及する際に、遠隔監視をスケールすることが困難であるという課題もある。

【0003】

監視エリアを無人で監視する技術として、画像から人を検出し、骨格モデルを当てはめることで人の姿勢状態や行動を推定し、転倒などのリスクを推定する技術が知られている。また、貨物車両などの運転者の運転状況をモニターし、非常事態の発生が検出された際に運転者及び監視者へ通知する発明が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３－１２０４０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、骨格モデルから推定される姿勢情報のみでは、人が手摺に掴っていたり、壁に寄り掛かっているなどの状況を検知することが困難である。また、人が屈みこんでいるような場合には、骨格データが得られないなどの課題がある。

【0006】

また、引用文献１に記載された技術は運転者の行動に限定されており、同乗者がいる場合に、同乗者に関するリスクなどを監視することや、車両以外の施設における人の行動に関するリスクは考えられていない。

【0007】

本発明は上記背景に鑑み、監視エリアにおけるリスクを適切に推定できる監視装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の監視装置は、監視エリアを撮像した画像を取得する画像取得部と、前記画像中のオブジェクト（例えば、人、床、椅子、ドア、手摺、旋盤、発電機、ロボットアーム、スマホ、バッグ、他の人等）間の関係を要素とし、前記要素の集合によって構成されるグラフ構造を推定する関係推定部と、複数のオブジェクト間の関係と複数のリスクとの共起に関するモデルであって予め学習により生成された共起モデルを記憶する共起モデル記憶部と、前記共起モデル記憶部に記憶された共起モデルを読み出し、前記画像から推定したグラフ構造を前記共起モデルに適用してリスクを推定するリスク推定部と、前記リスク推定部にて推定されたリスクに関する情報を通知する通知部とを備える。

【0009】

グラフ構造は、画像に映るオブジェクトをノードとしてその間に成立する関係を要素とし、その要素の集合によって構成される。グラフ構造の一例はシーングラフであり、シーングラフはオブジェクト間に成立する関係を有向エッジとするグラフである。シーングラフは、例えば、人のオブジェクトを主体Ｓ、物体のオブジェクトを客体Ｏとし、オブジェクト間の関係Ｐ（predicate）として、｛Ｓ，Ｐ，Ｏ｝のセットのデータで構成される。シーングラフの生成方法としては、種々の方法が知られている（黒澤郁音ほか「言語特徴量を利用したシーングラフ生成の効率的な計算機構」言語処理学会第２５回年次大会発表論文集、及びこの論文に記載された引用論文等）。

【0010】

本発明の構成により、画像からオブジェクト間の関係を要素とし、前記要素の集合によって構成されるグラフ構造を生成し、グラフ構造に基づいてリスクを推定するので、人の行動状態や周辺状況において発生するリスクを適切に推定することができる。例えば、人が立っている状態だけからはリスクの有無が判然としない場合でも、人が何かにつかまっていれば転倒リスクがないというように判断できる。

【0011】

本発明の監視装置において、前記共起モデルは、オブジェクト間の関係とリスクの共起の度合いが自己相互情報量によって規定されていてもよい。自己相互情報量はＰＭＩ（Pointwise Mutual Information）とも呼ばれる、２つの値の共起しやすさを表す指標である。ＰＭＩ（ｘ，ｙ）＝ｌｏｇ（Ｐ（ｘ，ｙ）／Ｐ（ｘ）・Ｐ（ｙ））で表される。ｘとｙが共起しやすい場合にはＰＭＩ（ｘ，ｙ）＞０、ｘとｙが独立に出現する場合にはＰＭＩ（ｘ，ｙ）＝０、ｘとｙが共起しにくい場合にはＰＭＩ（ｘ，ｙ）＜０となる。シーングラフとリスクの共起関係を自己相互情報量で規定することで、共起モデルを適切に構成できる。

【0012】

本発明の監視装置において、前記リスク推定部は、前記画像から推定した前記グラフ構造の前記要素をシードとしてメッセージパッシングを行って前記グラフ構造の特徴量を更新し、前記特徴量に基づいてリスクを推定してもよい。

【0013】

グラフ構造の推定の精度は状況によって異なり、場合によって信頼性が低いこともある。本発明の構成によれば、推定されたグラフ構造をシードとしてメッセージパッシングを行って求めたグラフ構造の特徴量を用いて、リスクを適切に推定することができる。

【0014】

本発明の監視装置において、前記リスク推定部は、推定されたリスクに寄与したオブジェクト間の関係を決定してもよい。

【0015】

この構成により、リスクが発生している状況を把握することができる。なお、ここで決定されるオブジェクト間の関係は、画像から推定されたオブジェクト間の関係のみならず、ラベル伝搬によって推定されたオブジェクト間の関係であってもよい。

【0016】

本発明の監視装置は、リスクに対処するマニュアルを記憶したマニュアル記憶部と、前記リスク推定部にて推定されたリスクに対処するマニュアルを前記マニュアル記憶部から読み出して、前記マニュアルに基づいてメッセージを生成するメッセージ生成部とを備え、前記通知部は、前記メッセージを通知してもよい。

【0017】

このようにリスクに対処するメッセージを通知することで、通知を受けた人がリスクに対処することができる。

【0018】

本発明の監視装置において、前記メッセージ生成部は、メッセージを受け取る対象者の属性に応じて、前記メッセージの表現を変換してもよい。この構成により、対象者の属性に応じた表現で、メッセージを分かりやすく伝えることができる。

【0019】

本発明の監視装置は、監視エリアから収集した音声データを取得する音声データ取得部を備え、前記共起モデル記憶部は、複数のオブジェクト間の関係および音声データと複数のリスクとの共起についてのモデルであって予め学習により生成された共起モデルを記憶しており、前記共起モデル記憶部に記憶された共起モデルを読み出し、前記画像から推定したグラフ構造と前記音声データ取得部にて取得した音声データを前記共起モデルに適用してリスクを推定してもよい。このように監視エリアから収集した音声データを用いることで、リスクを適切に推定することができる。

【0020】

本発明の監視装置は、監視エリアに設けられたセンサで検出したセンサデータを取得するセンサデータ取得部を備え、前記共起モデル記憶部は、複数のオブジェクト間の関係およびセンサデータと複数のリスクとの共起についてのモデルであって予め学習により生成された共起モデルを記憶しており、前記共起モデル記憶部に記憶された共起モデルを読み出し、前記画像から推定したグラフ構造と前記センサから取得したセンサデータを前記共起モデルに適用してリスクを推定してもよい。このように監視エリアに設けられたセンサで検出したセンサデータを用いることで、グラフ構造の推定の精度を高め、リスクを適切に推定することができる。

【0021】

本発明の監視装置は、前記リスク推定部にて推定されたリスクに関係する装置に対して、リスク回避のための動作を指示するリスク回避命令を送信する命令送信部を備えてもよい。この構成により、自動的にリスクを回避することができる。

【0022】

本発明の監視方法は、監視エリアにおけるリスクを監視装置によって推定する監視方法であって、前記監視装置は、監視エリアを撮像した画像を取得するステップと、前記監視装置は、前記画像中のオブジェクト間の関係を要素とし、前記要素の集合によって構成されるグラフ構造を推定するステップと、前記監視装置は、複数のオブジェクト間の関係と複数のリスクとの共起に関するモデルであって予め学習により生成された共起モデルを記憶する共起モデル記憶部から共起モデルを読み出し、前記画像から推定したシーン構造を前記共起モデルに適用してリスクを推定するステップと、前記監視装置は、推定されたリスクに関する情報を通知するステップとを備える。

【0023】

本発明のプログラムは、監視エリアにおけるリスクを推定するためのプログラムであって、コンピュータに、監視エリアを撮像した画像を取得するステップと、前記画像中のオブジェクト間の関係を要素とし、前記要素の集合によって構成されるグラフ構造を推定するステップと、複数のオブジェクト間の関係と複数のリスクとの共起に関するモデルであって予め学習により生成された共起モデルを記憶する共起モデル記憶部から共起モデルを読み出し、前記画像から推定したグラフ構造を前記共起モデルに適用してリスクを推定するステップと、推定されたリスクに関する情報を通知するステップとを実行させる。

【発明の効果】

【0024】

本発明によれば、人の行動状態や人の周辺状況において発生するリスクを適切に推定することができる。

【図面の簡単な説明】

【0025】

【図1】第１の実施の形態の監視装置の構成を示す図である。

【図2】監視エリアの例を示す図である。

【図3】シーングラフの例を示す図である。

【図4】共起モデルの例を示す図である。

【図5】メッセージ生成部にて生成されるメッセージの例を示す図である。

【図6】第１の実施の形態の監視装置の動作を示す図である。

【図7】第２の実施の形態の監視装置の構成を示す図である。

【図8】第３の実施の形態の監視装置の構成を示す図である。

【図9】第４の実施の形態の監視装置の構成を示す図である。

【図10】第５の実施の形態の監視システムの構成を示す図である。

【発明を実施するための形態】

【0026】

以下、本発明の実施の形態の監視装置について図面を参照して説明する。
（第１の実施の形態）
図１は、監視装置１の構成を示す図である。監視装置１は、監視エリアを撮影して得られた画像からリスクの発生を推定し、リスクが発生すると推定された場合にリスクが発生しそうな状況説明とそのリスクへの対処の仕方を通知する。

【0027】

図２は、監視エリアの例を示す図である。本実施の形態では、図２に示すような工場を監視エリアとし、工場内で発生するリスクを推定する。なお、工場は監視エリアの一例であり、本発明の監視装置１は、例えば、乗物（バス等）の中や駅の構内等を監視エリアとすることができる。

【0028】

監視装置１は、画像取得部１０と、オブジェクト検出部１１と、シーングラフ生成部１２と、リスク推定部１３と、メッセージ生成部１４と、通知部１５とを有している。画像取得部１０は、監視エリアを撮影するカメラ３０から画像データを取得する。

【0029】

オブジェクト検出部１１は、画像データから画像に映っているオブジェクトを検出する。オブジェクト検出部１１は、オブジェクト検出モデル記憶部１６からオブジェクト検出モデルを読み出し、オブジェクト検出モデルに画像データを入力することで、画像からオブジェクトを検出する。オブジェクト検出モデルは、深層学習によって学習を行ったニューラルネットワークのモデルである。オブジェクト検出部１１は、検出したオブジェクトに対して、オブジェクトの種類（人、操作盤、アーム、柱、消火器、通路、作業台等）を示すラベルを付与する。

【0030】

シーングラフ生成部１２は、オブジェクト検出部１１にて検出された人と物体との関係を表すシーングラフを推定する。シーングラフ生成部１２は、検出された人（Object）と物体（Subject）との間に関係があるか否かを推定し、関係があると推定された人と物体の関係（Predicate）を推定する。シーングラフの生成の方法は種々の方法が提案されており、それらの方法を採用することができる。なお、一般には、シーングラフは人と物体の関係に限らず、物体どうしの関係も含む。

【0031】

図３は、シーングラフの例を示す図である。シーングラフは、オブジェクトとしての人とオブジェクトとしての物体をノードとして、ノード間の関係を有向エッジで表したグラフ構造である。図３において点線で囲んで示すように、例えば、人とベルトコンベアは、人がベルトコンベアの近くにいるという関係を有している。シーングラフは、オブジェクト間の関係を要素とし、要素の集合をグラフ構造で表している。

【0032】

リスク推定部１３は、生成されたシーングラフからリスクを推定する。リスク推定部１３には、共起モデル記憶部１７が接続されている。共起モデル記憶部１７は、シーングラフを構成するオブジェクト間の関係と複数のリスクとの共起に関する共起モデルを記憶している。

【0033】

図４は、共起モデルの例を示す図である。共起モデルの左側のノードは、オブジェクト間の関係であり、シーングラフの各要素となるものである。共起モデルに含まれるオブジェクト間の関係は、学習データの画像に含まれていた人と物体の関係である。共起モデルの右側のノードはリスクである。オブジェクト間の関係t_ijkは、エンティティクラスs_i（１≦ｉ≦Ｍ）、関係クラスp_j（１≦ｊ≦Ｎ）、エンティティクラスまたは属性クラスo_k（１≦ｋ≦Ｒ）の３つのデータのセットで構成される。以下、オブジェクト間の関係t_ijkを、単に「関係t_ijk」ということがある。リスクr_l（１≦ｌ≦Ｌ）は、共起モデルを生成した学習データに含まれていたリスクのデータである。リスクr_lには正常の状態も含んでいる。

【0034】

共起モデルは、関係t_ijkとリスクr_lの共起関係を表す重み係数W_l,[ijk]を正規化自己相互情報量ＮＰＭＩで規定している。下記において、式（１）は自己相互情報量ＰＭＩ、式（２）は正規化自己相互情報量を表す。正規化自己相互情報量ＮＰＭＩを用いることにより、重み係数が取り得る値を－１から１の範囲とすることができる。

【数1】

【0035】

共起モデルは予め学習データを用いて学習され、オブジェクト間の関係t_ijkとリスクr_lとの間の重み係数W_l,[ijk]が決定されている。学習データは、画像からシーングラフを生成すると共に、当該画像で発生しているリスクを人がラベル付けすることにより準備することができる。

【0036】

リスク推定部１３は、ラベル伝搬部２０とロジスティック回帰部２１とを有している。ラベル伝搬部２０は、画像から検出されたシーングラフをシードとして、ラベル伝搬を行う。ラベル伝搬はメッセージパッシング法の一つである。ラベル伝搬は、データのラベルを関連するラベルに伝搬させることでモデルの学習を行う、半教師ありの学習方法である。一例として、単語の例であるが、小町守「ウェブ検索ログを用いたラベル伝播による意味カテゴリ獲得」情報処理学会第１９１回自然言語処理研究会報告に、ラベル伝搬について記載されている。

【0037】

本実施の形態では、関係t_ijkと関係t_i’j’k’の類似度行列Ａを次式（３）で求める。なお、類似度行列Ａは、「隣接行列」とも呼ばれる。

【数2】

【0038】

類似度行列Ａは、関係t_ijkと関係t_i’j’k’の類似度をリスクを介して評価していることになる。例えば、関係t_ijkに強い共起を有するリスクr_lがあり、そのリスクr_lと別の関係t_i’j’k’との共起が強い場合には、関係t_ijkと関係t_i’j’k’の類似度が高いと判断できる。関係t_ijkが検出されており、関係t_i’j’k’が検出されていない場合であっても、関係t_ijkが検出されているということから、関係t_i’j’k’も存在する可能性があると判断することが可能である。

【0039】

ラベル伝搬においては、いずれのラベル（この場合は「オブジェクト間の関係」）
とも共起するジェネリックなラベル（この場合は「リスク」）があると、複数の無関係なラベルが混合されてしまうという課題があるので、類似度行列Ａをそのまま使わずに、次式（４）に示す正規化ラプラシアンＬを用いる。Ｄ（Ａ）は、類似度行列Ａの正方対角行列である。

【数3】

【0040】

ラベル伝搬部２０は、次の式（５）を用いて、関係t_ijkの関係スコアｆ_[ijk]のラベル伝搬を行う。式（５）では、ｆの添字[ijk]は省略している。係数αは、初期値の影響をどの程度残すかを調整するパラメータである。αの値が大きいほど、初期値ｆ⁽⁰⁾の影響が小さくなる。

【数4】

【0041】

関係スコアは、関係t_ijkが存在する可能性に関するスコアであり、初期値f^(0)は、画像から推定された関係t_ijkでは「１」であり、推定されていない関係t_ijkは「０」である。関係スコアのラベル伝搬を行うと、推定されていない関係t_ijkについての関係スコアが「０」より大きい値になる。

【0042】

ラベル伝搬を行うことにより、シーングラフ生成部１２にて生成されなかったオブジェクト間の関係であっても、他のオブジェクト間の関係からの伝搬によって、画像内に存在することが推定されたり、逆にシーングラフ生成部１２にて生成された関係であっても、他の関係からの伝搬によって誤検出であることが推定される。このようにラベル伝搬を行うことで、シーングラフ（グラフ構造）の特徴量が更新される。

【0043】

ラベル伝搬部２０は、ラベル伝搬後の関係スコアの値が所定値以上であるか否かを判定し、所定の閾値以上の関係スコアを有する関係t_ijkをフィルタリングする。フィルタリングされた関係t_ijkにスコア１を設定し、フィルタリングされた関係t_ijkを用いてリスクスコアを計算する。

【0044】

ロジスティック回帰部２１は、フィルタリングで検出されたオブジェクト間の関係を用いて、次式（６）により、リスクスコアg_l(f;W)を求める。

【数5】

【0045】

メッセージ生成部１４は、リスクスコアの高いものから所定数のリスクについて、メッセージを生成する。なお、メッセージ生成部１４は、正常のリスク（リスクには正常も含むことは上述した）のみが推定された場合には、リスク検出なしとして、メッセージの生成は行わない。複数のリスクr_lが検出されている場合には、メッセージ生成部１４は、緊急度の高いメッセージから優先的に複数のメッセージを生成する。

【0046】

次に、具体的なメッセージの生成方法について説明する。メッセージ生成部１４は、リスクr_lが推定された場合に、そのリスク推定に寄与したと考えられる関係t_ijkを決定する。具体的には、次式（７）の関係を満たすシーングラフを求める。

【数6】

【0047】

メッセージ生成部１４は、上記の関係式によって決定された、次式（８）に示すリスクr*_lとリスクスコアg*_lとリスクに寄与した関係[ijk]とフィルタリングで追加された関係[i*j*k*]のセットに基づいてメッセージを生成する。

【数7】

【0048】

式（８）に見られるようにオブジェクト間の関係は、初期に検出された関係[ijk]とラベル伝搬によるフィルタリングで追加された関係[i*j*k*]を区別しておく。後述する通り、検出された関係[ijk]かフィルタリングで追加された関係[i*j*k*]かによって、メッセージを変えることができる。なお、フィルタリングで追加された関係[i*j*k*]がない場合は、４つ目のデータは空（{ }）になる。

【0049】

メッセージ生成部１４は、上記式（８）に示されるデータを用いて文章を生成する。（r*_l, g*_l）はリスク名r*_lとリスクスコアg*_lを表すが、リスクスコアg*_lに応じて緊急度を表すと共に、リスク名r*_lで示されるリスクを検出したことを表現する。例えば、リスクスコアg*_lが第１の閾値より高い場合、リスクが「発生」しているという表現を用いる。リスクスコアg*_lが第１の閾値より低いが第２の閾値より高い場合には、リスクが発生する「可能性あり」という表現を用いる。リスクが第２の閾値より低い場合には、リスクが発生する「疑いあり」という表現を用いる。

【0050】

｛[ijk]｝はリスクに寄与したオブジェクト間の関係のうち、初期に画像から検出されていた関係である。メッセージ生成部１４はこのデータを用いて、「表現（ｉ）が表現（ｋ）に表現（ｊ）しています」というようなメッセージを生成する。

【0051】

｛[i*j*k*]｝はリスクに寄与したオブジェクト間の関係のうち、画像からは検出されなかったがラベル伝搬のフィルタリングで追加された関係である。メッセージ生成部１４はこのデータを用いて、「表現（ｉ*）が表現（ｋ*）に表現（ｊ*）している恐れがあります」というようなメッセージを生成する。

【0052】

メッセージ生成部１４には、マニュアルデータ記憶部１８が接続されている。マニュアルデータ記憶部１８は、リスクに対処するメッセージ・テンプレートのデータが記憶されている。メッセージ・テンプレートはリスクによって異なり、リスクに関連付けられて記憶されている。メッセージ生成部１４は、マニュアルデータ記憶部１８からリスクに対応するメッセージ・テンプレートを読み出し、対処のメッセージを生成する。

【0053】

図５は、メッセージ生成部１４にて生成されるメッセージの例を示す図である。図５では、｛{pinching,0.9;{(person,on,floor),(person,at,door)},{(person,at,hazard_area)}｝というデータに基づいてメッセージを生成した例である。挟み込み（pinching）のリスクスコアが高い（0.9）ことから、「元のメッセージ」の１行目「挟み込みが発生」の文章が生成されている。

【0054】

次に、リスクに寄与したオブジェクト間の関係が「(person,on,floor)」「(person,at,door)」であることを受けて、２行目の「人が床に倒れています。」と３行目の「人がドアの所にいます。」の文章が生成されている。続いて、「(person,at,hazard_area)」というフィルタリングで追加されたオブジェクト間の関係から、４行目の「人が危険エリアにいる恐れがあります。」という文章が生成されている。さらに５行目には、マニュアルデータ記憶部１８から読み出した「ドア開閉禁止」というリスクへの対処方法を示す文章が生成されている。

【0055】

監視装置１は、メッセージ生成部１４にて生成されたこのメッセージをそのまま用いることとしてもよいが、本実施の形態では、メッセージを受ける対象者の属性に合わせて、メッセージの表現を変換する。監視員等のようにリスク対応に慣れた熟練者ではなく、通常の人がメッセージを受ける場合には、図５に「変換Ａ」で示すような平易な表現にする変換を行う。メッセージを受ける人が外国人である場合には、図５に「変換Ｂ」で示すように英語への翻訳を行う。なお、メッセージを受ける人が熟練者の場合にはリスクと状況について端的に伝えれば対処可能なので、メッセージの表現の変換を行わなくてよい。

【0056】

変換Ａのような表現の変換は、Encoder-Decoderモデルを用いて行うことができる。例えば、予め表現変換の学習データを用意し、学習データを用いてEncoder-Decoderモデルを生成しておく。学習済みのEncoderモデルを用いて元のメッセージの表現の特徴を抽出し、学習済みのDecoderモデルによって別の表現のメッセージを生成する。変換Ｂについては、公知の機械翻訳に関する技術を用いることができる。

【0057】

なお、対象者の属性は、例えば、監視装置１が設置されている場所に基づいて決定することができる。例えば、監視装置１が公共の場所に設置されている場合には、対象者の属性は通常の人であると決定する。また、監視装置１に設けたカメラ３０で撮影した映像から対象者を抽出し、対象者の属性を分析することとしてもよい。カメラ３０の映像から通知部１５の近傍にいる人が日本人か否か判定し、日本人以外の場合にはメッセージを翻訳する。

【0058】

通知部１５は、生成されたメッセージを通知する機能を有する。通知部１５は、ディスプレイにメッセージを表示してもよいし、メッセージを読み上げてもよい。

【0059】

図６は、監視装置１の動作を示すフローチャートである。監視装置１は、監視エリアを撮影するカメラ３０から、監視エリアの画像データを取得する（Ｓ１０）。監視装置１は、画像データからオブジェクトを検出し（Ｓ１１）、検出結果に基づいて人と物体との関係を示すシーングラフを生成する（Ｓ１２）。続いて、監視装置１は、オブジェクト間の関係とリスクとの共起関係を示す共起モデルを共起モデル記憶部１７から読み出し、読み出した共起モデルに基づいて、推定されたオブジェクト間の関係のラベル伝搬を行う（Ｓ１３）。監視装置１は、ラベル伝搬によってフィルタリングしたオブジェクト間の関係を用いてリスクを推定し（Ｓ１４）、推定されたリスクに寄与したオブジェクト間の関係を特定する（Ｓ１５）。次に、監視装置１は、リスクの種類とリスクの高さとリスクに寄与したシーングラフと、マニュアルデータ記憶部１８から読み出した対処のメッセージ・テンプレートとを用いて、メッセージを生成する（Ｓ１６）。監視装置１は、生成したメッセージを周囲にいる人に対して通知する（Ｓ１７）。

【0060】

以上、本実施の形態の監視装置１の構成について説明したが、上記した監視装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した監視装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

【0061】

本実施の形態の監視装置１は、画像から人と物体との関係を表すシーングラフを生成し、シーングラフに基づいてリスクを推定するので、人の行動状態や周辺状況において発生するリスクを適切に推定することができる。

【0062】

（第２の実施の形態）
図７は、第２の実施の形態の監視装置２の構成を示す図である。第２の実施の形態の監視装置２の基本的な構成は、第１の実施の形態の監視装置１と同じであるが、第２の実施の形態の監視装置２は、画像データに加えて音声データを用いる。以下、第１の実施の形態の監視装置１と異なる点を中心に説明する。

【0063】

監視装置２はマイク３１を備え、マイク３１によって監視エリア内の音を集音する。監視装置２は、マイク３１で集音した音声データを音声データ取得部２２にて取得する。オブジェクト検出部１１には音声パターン検出モデル記憶部２３が接続されている。オブジェクト検出部１１は、音声パターン検出モデル記憶部２３に記憶された音声パターン検出モデルを用いて、収集した音声データから所定のパターンを有する音声オブジェクトを検出する。このように音声の検出結果もオブジェクトの一種とみなす。これにより、監視装置２は、監視エリア内の環境音のパワースペクトルや衝突音の有無を検出できる。また、監視装置２は、複数のマイク３１を備えて、音声の到来方向を識別することとしてもよい。衝突音等の到来方向や発声場所等を特定することができる。

【0064】

監視装置２が有する共起モデルは、オブジェクト間の関係と音声データと、リスクとの共起関係のデータを有している。監視装置２は、画像から生成したシーングラフと、その画像が撮影された前後での音声データを用い、オブジェクト間の関係及び音声データの関係スコアをラベル伝搬し、フィルタリングされたオブジェクト間の関係を用いてリスクを推定する。

【0065】

このように画像データに加えて音声データを用いることにより、精度良くリスクの発生を検出することができる。

【0066】

（第３の実施の形態）
図８は、第３の実施の形態の監視装置３の構成を示す図である。第３の実施の形態の監視装置３の基本的な構成は、第１の実施の形態の監視装置１と同じであるが、第３の実施の形態の監視装置３は、画像データに加えてセンサデータを用いる。以下、第１の実施の形態の監視装置１と異なる点を中心に説明する。

【0067】

監視装置３は、日付、時刻、温度、圧力（気圧）、照度等のデータを検出するセンサ３２を備え、センサ３２によって取得したデータをセンサデータ取得部２４にて取得する。オブジェクト検出部１１にはセンサパターン検出モデル記憶部２５が接続されている。オブジェクト検出部１１は、センサパターン検出モデル記憶部２５に記憶されたセンサパターン検出モデルを用いて、収集したセンサデータから所定のパターンを有するセンサデータのオブジェクトを検出する。このようにセンサの検出結果もオブジェクトの一種とみなす。ただし、温度等はオブジェクトの属性の関係となる。

【0068】

監視装置３が有する共起モデルは、オブジェクト間の関係とセンサデータと、リスクとの共起関係のデータを有している。監視装置３は、画像から生成したシーングラフと、その画像が撮影された前後でのセンサデータを用い、オブジェクト間の関係及びセンサデータの関係スコアをラベル伝搬し、フィルタリングされたオブジェクト間の関係を用いてリスクを推定する。

【0069】

このように画像データに加えてセンサデータを用いることにより、精度良くリスクの発生を検出することができる。なお、ここでは、第１の実施の形態の監視装置１の構成に対して、センサデータを用いる構成を追加した例を説明したが、第２の実施の形態の監視装置２の構成に対してセンサデータを用いる構成を追加してもよい。

【0070】

（第４の実施の形態）
図９は、第４の実施の形態の監視装置４の構成を示す図である。第４の実施の形態の監視装置４の基本的な構成は、第３の実施の形態の監視装置３と同じであるが、監視エリアにある設備３３に対し、リスクを検出した際にリスクを回避するための命令を送信する構成を備えている。以下、第３の実施の形態の監視装置３と異なる点を中心に説明する。

【0071】

例えば、監視エリアが工場の場合には、工場内に、部品をピックアップするロボットアームや搬送機器等の各種の設備３３がある。監視装置４は、監視エリア内でリスクが検出された場合には、リスクに寄与した関係からリスクに関係のある設備３３を特定する。リスク回避命令送信部２６は、リスクに関係する設備３３に対し、リスクを回避するためのリスク回避命令ＡＰＩを送信する。リスク回避命令ＡＰＩの一例は、設備３３の稼働を停止する命令である。これにより、人が介在することなく、速やかにリスクに対処することができる。なお、リスクに対応するリスク回避命令ＡＰＩをマニュアルデータ記憶部１８に記憶しておき、リスク回避命令送信部２６はマニュアルデータ記憶部１８から読み出したリスク回避命令ＡＰＩをそのまま送信してもよいし、マニュアルデータ記憶部１８に記憶された対処のデータをリスク回避命令ＡＰＩに翻訳して送信してもよい。

【0072】

なお、ここでは、第３の実施の形態の監視装置３の構成に対して、リスク回避命令送信部２６を追加した例を説明したが、第１の実施の形態の監視装置１あるいは第２の実施の形態の監視装置２に対してリスク回避命令送信部２６を追加してもよい。

【0073】

（第５の実施の形態）
図１０は、第５の実施の形態の監視システム５の構成を示す図である。監視システム５は、複数の監視装置１と監視センタサーバ４０とがネットワークを介して接続されている。

【0074】

各監視装置１は上記した第１の実施の形態の監視装置１と同様の構成に加え、監視センタサーバ４０と通信を行うための通信部とを備えている。監視装置１は、監視エリアで発生するリスクを検出すると、リスクに関するデータを監視センタサーバ４０に送信する。リスクに関するデータは、リスクの種類、リスクスコア、リスクに寄与したオブジェクト間の関係を含む。監視センタサーバ４０は、監視装置１からリスク発生の通知を受けると、その監視エリアに対して人を派遣したり、救急センタ４１に連絡する等の措置をとることができる。

【0075】

なお、本実施の形態では、各監視装置１が第１の実施の形態の監視装置１と同様の構成を備える例を挙げたが、監視装置１の機能を監視センタサーバ４０に持たせることとしてもよい。すなわち、監視エリアにカメラ３０を設置しておき、監視エリアで撮影した画像を監視センタサーバ４０に送信し、画像データからリスクの推定を行うこととしてもよい。このような構成とすることにより、監視エリアにはカメラ３０を設置すれば監視をスタートできるので、監視システムの導入コストを抑えることができる。

【0076】

以上、本発明の監視装置について、実施の形態を挙げて詳細に説明したが、本発明の監視装置は上記した実施の形態に限定されない。上記した実施の形態では、画像からオブジェクトを検出するオブジェクト検出部１１と、検出された人と物体の関係を推定するシーングラフ生成部１２を備える例を説明したが、オブジェクトの検出とシーングラフの生成を同時に行ってもよい。すなわち、上述した黒澤郁音らの論文にあるように、画像から物体領域候補を検出し、物体領域候補に当てはまる物体クラスとシーングラフを同時に求めてもよい。

【産業上の利用可能性】

【0077】

本発明は、監視エリアにおけるリスクの発生を検出する監視装置等として有用である。

【符号の説明】

【0078】

１～５ 監視装置
１０ 画像取得部
１１ 物体検出部
１２ シーングラフ生成部
１３ リスク推定部
１４ メッセージ生成部
１５ 通知部
１６ オブジェクト検出モデル記憶部
１７ 共起モデル記憶部
１８ マニュアルデータ記憶部
２０ ラベル伝搬部
２１ ロジスティック回帰部
２２ 音声データ取得部
２３ 音声パターン検出モデル記憶部
２４ センサデータ取得部
２５ センサパターン検出モデル記憶部
２６ リスク回避命令送信部
３０ カメラ
３１ マイク
３２ センサ
４０ 監視センタサーバ
４１ 救急センタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】