特開 2022-191797 監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022191797

(43)【公開日】2022-12-28

(54)【発明の名称】監視システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221221BHJP

   G08B 25/08 20060101ALI20221221BHJP

   G08B 25/10 20060101ALI20221221BHJP

   G08B 25/00 20060101ALI20221221BHJP

   G08G 1/16 20060101ALI20221221BHJP

【ＦＩ】

H04N7/18 D

G08B25/08 A

G08B25/10 D

G08B25/00 510M

G08G1/16 F

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021100248

(22)【出願日】2021-06-16

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】竹内 雅洋

【テーマコード（参考）】

5C054

5C087

5H181

【Ｆターム（参考）】

5C054AA02

5C054CA04

5C054CC02

5C054DA09

5C054EG01

5C054FC01

5C054FC12

5C054HA19

5C087AA02

5C087AA04

5C087AA09

5C087AA19

5C087BB74

5C087DD03

5C087DD14

5C087EE08

5C087EE18

5C087FF01

5C087FF02

5C087FF04

5C087GG02

5C087GG10

5C087GG70

5H181AA01

5H181AA21

5H181BB04

5H181CC04

5H181LL08

(57)【要約】

【課題】情報通信ネットワークを介した高精度の異常検知を可能とする。
【解決手段】監視システム４０は、カメラ８とともに情報通信ネットワーク１５のエッジＥとなる車両１に設けられた第１画像解析装置１１を備える。この第１画像解析装置１１は、カメラ８が映す車室６の撮影画像Ｖｄを解析することにより、その車室６の状態変化の検出判定を実行する。また、この第１画像解析装置１１は、監視空間４１としての車室６に状態変化の発生が検出された場合に、その情報通信ネットワーク１５を介した撮影画像Ｖｄの配信を実行する画像配信装置８０としての機能を有する。そして、監視システム４０は、この情報通信ネットワーク１５を介して配信された車室６の撮影画像Ｖｄを解析することにより、その車室６に生じた異常の検知判定を実行する第２画像解析装置２２を備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

カメラとともに情報通信ネットワークのエッジに設けられて前記カメラが映す監視空間の撮影画像を解析することにより前記監視空間に生じた状態変化の検出判定を実行する第１画像解析装置と、
前記状態変化の発生が検出された場合に前記情報通信ネットワークを介した前記撮影画像の配信を実行する画像配信装置と、
前記配信された前記撮影画像を解析することにより前記監視空間に生じた異常の検知判定を実行する第２画像解析装置と、を備える監視システム。

【請求項2】

請求項１に記載の監視システムにおいて、
前記第１画像解析装置は、
前記撮影画像を解析周期毎に取得することにより前回の前記解析周期において取得した前記撮影画像の前回フレームと今回の前記解析周期において取得した前記撮影画像の今回フレームとの画素差分値を演算する画素差分値演算部と、
前記画素差分値の演算履歴を保持する履歴保持部と、
前記演算履歴に基づいて前記画素差分値の分散値を演算する分散値演算部と、
前記分散値が所定の閾値以上である場合に前記監視空間に前記状態変化が生じたと判定する状態変化判定部と、を備えること、を特徴とする監視システム。

【請求項3】

請求項２に記載の監視システムにおいて、
前記画素差分値演算部は、予め前記監視空間に設定された検出領域についてのみ前記画素差分値を演算すること、を特徴とする監視システム。

【請求項4】

請求項１～請求項３の何れか一項に記載の監視システムにおいて、
前記画像配信装置は、前記監視空間の外部に位置する管理者に対し、前記第２画像解析装置において前記異常の発生が検知された場合に、前記撮影画像の配信を実行すること、
を特徴とする監視システム。

【請求項5】

請求項１～請求項４の何れか一項に記載の監視システムにおいて、
前記画像配信装置は、前記監視空間の外部に位置する管理者に対し、前記第２画像解析装置に対して前記配信される前記撮影画像よりも高い圧縮率で、前記撮影画像の配信を実行すること、を特徴とする監視システム。

【請求項6】

請求項５に記載の監視システムにおいて、
前記管理者の要求に基づいて、該管理者に前記配信される前記撮影画像の前記圧縮率を変更可能に構成されること、を特徴とする監視システム。

【請求項7】

請求項４～請求項６の何れか一項に記載の監視システムにおいて、
前記画像配信装置は、前記第２画像解析装置において前記検知判定ができない、又は前記検知判定の精度が低下していると判定される場合に、前記管理者に対する前記撮影画像の配信を実行すること、を特徴とする監視システム。

【請求項8】

請求項７に記載の監視システムにおいて、
前記第２画像解析装置は、前記撮影画像に含まれる人の骨格点を検出するとともに該骨格点の検出により取得される前記人の情報に基づいて前記検知判定を実行するものであって、
前記骨格点の検出状態に基づいて、前記管理者に対する前記撮影画像の配信を実行するか否かが判定されること、を特徴とする監視システム。

【請求項9】

請求項１～請求項８の何れか一項に記載の監視システムにおいて、
前記監視空間は、車両の車室であること、を特徴とする監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視システムに関するものである。

【背景技術】

【0002】

従来、カメラが映す監視空間の撮影画像を、情報通信ネットワークを介して外部から確認することのできる監視システムがある。例えば、特許文献１に記載の車両の状況管理システムは、車両の異常を示す記録イベントの発生を検出する複数のセンサを備える。そして、その発生した記録イベントの種類及び発生時の撮影画像を、携帯電話回線にて確認することのできる構成となっている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－１９００７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来技術は、人感センサを用いて監視空間に生じた状態変化を検出する構成であることから、その状態変化の発生を検出することのできる状況、及び検出範囲が限られてしまう。このため、情報通信ネットワークを介した高精度の異常検知を行なうことが難しいという問題がある。

【課題を解決するための手段】

【0005】

上記課題を解決する監視システムは、カメラとともに情報通信ネットワークのエッジに設けられて前記カメラが映す監視空間の撮影画像を解析することにより前記監視空間に生じた状態変化の検出判定を実行する第１画像解析装置と、前記状態変化の発生が検出された場合に前記情報通信ネットワークを介した前記撮影画像の配信を実行する画像配信装置と、前記配信された前記撮影画像を解析することにより前記監視空間に生じた異常の検知判定を実行する第２画像解析装置と、を備える。

【0006】

上記構成によれば、情報通信ネットワークのエッジに設けられた第１画像解析装置によって、その撮影画像に映る監視空間に生じた状態変化を検出することができる。そして、この状態変化の検出により配信される監視空間の撮影画像を第２画像解析装置が解析することで、情報通信ネットワークを介して、高精度に、その撮影画像に映る監視空間に生じた異常を検知することができる。

【0007】

また、撮影画像の解析による状態変化の検出判定は、その撮影画像の解析による異常検知判定よりも演算負荷が小さい。このため、第１画像解析装置が実装される情報処理装置については、その要求される演算処理能力が比較的小さく抑えられるという利点がある。そして、監視空間の状態変化が検出されない場合には、情報通信ネットワークを介した撮影画像の配信を行わないことで、その通信負荷を軽減することができる。

【0008】

上記課題を解決する監視システムにおいて、前記第１画像解析装置は、前記撮影画像を解析周期毎に取得することにより前回の前記解析周期において取得した前記撮影画像の前回フレームと今回の前記解析周期において取得した前記撮影画像の今回フレームとの画素差分値を演算する画素差分値演算部と、前記画素差分値の演算履歴を保持する履歴保持部と、前記演算履歴に基づいて前記画素差分値の分散値を演算する分散値演算部と、前記分散値が所定の閾値以上である場合に前記監視空間に前記状態変化が生じたと判定する状態変化判定部と、を備えることが好ましい。

【0009】

上記構成によれば、比較的軽量な演算負荷で、精度よく、その撮影画像の解析に基づいた状態変化の検出判定を行なうことができる。そして、これにより、高い設置自由度を確保しつつ、情報通信ネットワークを介した高精度の異常検知を行なうことができる。

【0010】

加えて、解析周期毎に取得する撮影画像の前回フレームと今回フレームとの画素差分値を用いることで、例えば、光量変化等、その監視空間の外部環境が及ぼす影響を小さく抑えることができる。

【0011】

上記課題を解決する監視システムにおいて、前記画素差分値演算部は、予め前記監視空間に設定された検出領域についてのみ前記画素差分値を演算することが好ましい。
上記構成によれば、予め監視空間に設定された検出領域に生じた状態変化を、精度よく、検出することができる。そして、これにより、誤判定の発生を抑えて、より高精度に、その情報通信ネットワークを介した異常検知を行なうことができる。

【0012】

上記課題を解決する監視システムにおいて、前記画像配信装置は、前記監視空間の外部に位置する管理者に対し、前記第２画像解析装置において前記異常の発生が検知された場合に、前記撮影画像の配信を実行することが好ましい。

【0013】

上記構成によれば、監視空間に生じた異常を、管理者が速やかに確認することができる。これにより、その監視空間に生じた異常に対する迅速な対応を担保することができる。そして、その管理者に撮影画像を配信する状況を限定することで、通信負荷の増大を抑えることができる。

【0014】

上記課題を解決する監視システムにおいて、前記画像配信装置は、前記監視空間の外部に位置する管理者に対し、前記第２画像解析装置に対して前記配信される前記撮影画像よりも高い圧縮率で、前記撮影画像の配信を実行することが好ましい。

【0015】

即ち、解像度の低い高圧縮率の撮影画像であっても、人の目、つまりは管理者が確認することにより、問題なく、その撮影画像に映る監視空間の状況を把握することができる場合が多い。従って、上記構成によれば、通信負荷の増大を抑えつつ、管理者による監視を加えた重層的なシステムを構築することができる。そして、これにより、より高精度に、その情報通信ネットワークを介した異常検知を行なうことができる。

【0016】

上記課題を解決する監視システムは、前記管理者の要求に基づいて、該管理者に前記配信される前記撮影画像の前記圧縮率を変更可能に構成されることが好ましい。
上記構成によれば、通信負荷の増大を抑えつつ、適切な解像度で、その監視空間の撮影画像を管理者が確認することができる。そして、これにより、より高精度に、その情報通信ネットワークを介した異常検知を行なうことができる。

【0017】

上記課題を解決する監視システムにおいて、前記画像配信装置は、前記第２画像解析装置において前記検知判定ができない、又は前記検知判定の精度が低下していると判定される場合に、前記管理者に対する前記撮影画像の配信を実行することが好ましい。

【0018】

上記構成によれば、管理者が監視空間の撮影画像を確認することで、その情報通信ネットワークを介した高精度の異常検知を担保することができる。そして、管理者に撮影画像を配信する状況を限定することで、通信負荷の増大を抑えることができる。

【0019】

上記課題を解決する監視システムにおいて、前記第２画像解析装置は、前記撮影画像に含まれる人の骨格点を検出するとともに該骨格点の検出により取得される前記人の情報に基づいて前記検知判定を実行するものであって、前記骨格点の検出状態に基づいて、前記管理者に対する前記撮影画像の配信を実行するか否かが判定されることが好ましい。

【0020】

上記構成によれば、第２画像解析装置が、その撮影画像の解析による異常検知判定を行なうことができない、又は、その検知判定の精度が低下している状態を、精度よく特定することができる。そして、これにより、管理者に対する撮影画像の配信を実行するか否かの判定を適切に行うことができる。その結果、管理者に対して頻繁に監視空間の撮影画像が配信される状況を回避して、通信負荷の増大を抑えることができる。

【0021】

また、骨格点の検出により、精度よく、人の姿勢や体格等、身体的な情報を取得することができる。そして、これにより、その取得した人の情報に基づいて、高精度の異常検知判定を行うことができる。

【0022】

上記課題を解決する監視システムにおいて、前記監視空間は、車両の車室であることが好ましい。
上記構成によれば、車両の車室に生じた異常を、情報通信ネットワークを介して、精度よく、検知することができる。

【発明の効果】

【0023】

本発明によれば、情報通信ネットワークを介した高精度の異常検知を行なうことができる。

【図面の簡単な説明】

【0024】

【図1】監視システムが適用される車両の斜視図。

【図2】車室内の乗員、及び、この乗員を撮影するカメラの説明図。

【図3】車室を上面視で見た場合の説明図。

【図4】監視システムの概略構成図。

【図5】監視システムのブロック図。

【図6】第１画像解析装置に設けられた状態変化検出部のブロック図。

【図7】撮影画像の今回フレームを示すイメージ図。

【図8】撮影画像の前回フレームを示すイメージ図。

【図9】今回フレームと前回フレームとの画素差分値を可視化したイメージ図。

【図10】履歴保持部に保持された画素差分値の演算履歴、及び、この演算履歴に基づいた分散値の演算方法を説明するイメージ図。

【図11】第１画像解析装置による状態変化の検出判定、及び第２画像解析装置に対する画像配信の処理手順を示すフローチャート。

【図12】人の骨格点を示す説明図。

【図13】第２画像解析装置に設けられた人情報取得部のブロック図。

【図14】第２画像解析装置による異常検知判定及び骨格点の検出状態判定の処理手順を示すフローチャート。

【図15】第１画像解析装置によるオペレータに対する画像配信の処理手順を示すフローチャート。

【図16】オペレータに配信された撮影画像の表示、及びオペレータの要求に基づいた通信接続の処理手順を示すフローチャート。

【図17】オペレータの要求に基づいた撮影画像の圧縮率変更についての処理手順を示すフローチャート。

【図18】オペレータの正常確認操作に基づいた撮影画像の配信停止についての処理手順を示すフローチャート。

【図19】オペレータの要求に基づいた撮影画像の配信についての処理手順を示すフローチャート。

【図20】第２画像解析装置による正常確認判定に基づいた撮影画像の配信停止についての処理手順を示すフローチャート。

【図21】監視システムの作用説明図。

【図22】監視システムの作用説明図。

【発明を実施するための形態】

【0025】

以下、監視システムの一実施形態を図面に従って説明する。
図１～図３に示すように、本実施形態の車両１は、車両前後方向に延在する四角略箱状の車体２を有している。また、車体２の側面には、乗員の乗降口となるドア開口部３が設けられている。尚、このドア開口部３には、車両前後方向、相反する方向に開閉動作する一対のスライドドア４，４が設けられている。そして、車両１の乗員５は、車室６内に設けられたシート７に着座する「座位姿勢」、又は、例えば、図示しない吊り革や手すりを利用する等、「立位姿勢」で、この車両１に乗車する構成になっている。

【0026】

また、本実施形態の車両１には、その車室６内を撮影するカメラ８が設けられている。本実施形態の車両１において、このカメラ８は、車室６の前方位置において、そのコーナー部６ｆａ近傍の天井部９付近に設けられている。尚、このカメラ８には、例えば、赤外線カメラ等が用いられる。そして、本実施形態のカメラ８は、これにより、車両１の乗員５を、その車室６に設定された所定の方向から撮影する構成となっている。

【0027】

図４及び図５に示すように、本実施形態の車両１において、カメラ８が映す車室６内の撮影画像Ｖｄは、車載の情報処理装置１０に実装された第１画像解析装置１１に入力される。更に、この撮影画像Ｖｄは、情報通信ネットワーク１５を介して、クラウドサーバ１７を構成する車外の情報処理装置２０に実装された第２画像解析装置２２、及び車両１の運行センター３０に待機する管理者３１としてのオペレータ３２に配信される。尚、情報通信ネットワーク１５は、無線通信網やインターネット等により構成される。また、オペレータ３２に対する撮影画像Ｖｄの配信は、この撮影画像Ｖｄの受像装置３３、及びオペレータ３２の操作端末３４を構成する運行センター３０に設けられた情報処理装置３５に対して行われる。そして、本実施形態の車両１には、これにより、情報通信ネットワーク１５を介して接続された車両内外の情報処理装置１０，２０が形成する第１画像解析装置１１及び第２画像解析装置２２、並びに管理者３１による重層的な監視システム４０が構築されている。

【0028】

即ち、本実施形態の監視システム４０においては、カメラ８が映す車両１の車室６が、その監視空間４１に設定されている。更に、第１画像解析装置１１は、このカメラ８とともに車両１に設けられることにより、情報通信ネットワーク１５のエッジＥにおいて、その撮影画像Ｖｄに映る車両１の車室６を監視する。そして、本実施形態の監視システム４０は、情報通信ネットワーク１５を介して配信される車室６の撮影画像Ｖｄを、第２画像解析装置２２、及び運行センター３０のオペレータ３２が、車両１の外部から監視する構成になっている。

【0029】

（第１画像解析装置）
先ず、第１画像解析装置１１の構成及び機能について説明する。
図５に示すように、本実施形態の第１画像解析装置１１は、カメラ８が映す車室６の撮影画像Ｖｄを解析することにより、その監視空間４１として設定された車両１の車室６に生じた状態変化を検出する状態変化検出部５０を備えている。

【0030】

詳述すると、図６～図１０に示すように、本実施形態の状態変化検出部５０は、カメラ８が映す車室６の撮影画像Ｖｄを周期的に取得する。また、この状態変化検出部５０は、前回の解析周期において取得した撮影画像Ｖｄの前回フレームＦｂと今回の解析周期において取得した撮影画像Ｖｄの今回フレームＦｃとの画素差分値δを演算する画素差分値演算部５１を備えている。更に、この状態変化検出部５０は、その演算された画素差分値δの演算履歴Ｘを保持する履歴保持部５２と、この履歴保持部５２に保持された画素差分値δの演算履歴Ｘに基づいて、その画素差分値δの分散値Ｙを演算する分散値演算部５３と、を備えている。そして、本実施形態の状態変化検出部５０は、この画素差分値δの分散値Ｙに基づいて、その撮影画像Ｖｄに映る車室６に生じた状態変化を判定する状態変化判定部５４を備えている。

【0031】

即ち、状態変化検出部５０が解析周期毎に取得する撮影画像ＶｄのフレームＦは、このフレームＦを格子状に分割する最小単位を「画素」として、その各画素の値に表すことができる。そして、本実施形態の画素差分値演算部５１は、これら各画素の値について、それぞれ、その前回の解析周期における値と今回の解析周期における値との差分を求めることにより、その前回フレームＦｂと今回フレームＦｃとの画素差分値δを演算する。

【0032】

例えば、図７～図１０に示す例において、図７は、今回の解析周期において状態変化検出部５０が取得した撮影画像Ｖｄの今回フレームＦｃであり、図８は、前回の解析周期において状態変化検出部５０が取得した撮影画像Ｖｄの前回フレームＦｂである。そして、図９は、その今回フレームＦｃと前回フレームＦｂとの画素差分値δを、これら各フレームＦ中の画素配置を再現するかたちで可視化したものである。

【0033】

即ち、図７に例示する今回フレームＦｃと図８に例示するの前回フレームＦｂとを比較した場合、その撮影画像Ｖｄに映る乗員５の立ち位置が変化している。そして、図９に示す画素差分値δには、このフロア領域Ａ４を移動した乗員５の動作が現れている。

【0034】

また、本実施形態の画素差分値演算部５１は、乗員５が座位姿勢で乗車する後部座席領域Ａ１、前部座席領域Ａ２、及び中間座席領域Ａ３、並びに、乗員５が立位姿勢で乗車するフロア領域Ａ４についてのみ、その画素差分値δの演算を実行する（図３参照）。即ち、本実施形態の画素差分値演算部５１は、車室６に設定された乗員５の乗車領域α０を、その予め設定された検出領域αとし、例えば、撮影画像Ｖｄに映る車窓等については、その画素差分値δの演算を実行しない。そして、本実施形態の状態変化検出部５０においては、これにより、撮影画像Ｖｄに映る乗員５の挙動が、その車室６に生じた状態変化として、この画素差分値演算部５１が演算する画素差分値δに現れやすくなっている。

【0035】

さらに詳述すると、図１０に示すように、本実施形態の画素差分値演算部５１は、状態変化検出部５０が撮影画像Ｖｄを取得する各解析周期において、その画素差分値δの演算を実行する。更に、本実施形態の状態変化検出部５０においては、この画素差分値演算部５１により演算された画素差分値δの前回値δｂが、予め定められた過去の所定周期分、画素差分値δの演算履歴Ｘとして、その履歴保持部５２に保持されている。尚、図１０中、前回値δｂ１は、１回前の解析周期において演算された画素差分値δの前回値δｂ、前回値δｂ２は、２回前の解析周期において演算された画素差分値δの前回値δｂであることを示している。そして、本実施形態の状態変化検出部５０は、この履歴保持部５２が保持する画素差分値δの演算履歴Ｘを読み出すことにより、その解析周期毎に、画素差分値δの分散値Ｙを演算する。

【0036】

即ち、撮影画像Ｖｄに映る車室６に生じた状態変化が大きいほど、その画素差分値δの分散値Ｙの値が大きくなる。更に、本実施形態の状態変化検出部５０において、状態変化判定部５４は、この画素差分値δの分散値Ｙについて予め定められた所定の閾値Ｙｔｈを保持する。そして、本実施形態の状態変化判定部５４は、その画素差分値δの分散値Ｙが閾値Ｙｔｈ以上である場合（Ｙ≧Ｙｔｈ）に、撮影画像Ｖｄに映る車室６に状態変化が発生したと判定する構成になっている。

【0037】

また、図５に示すように、本実施形態の第１画像解析装置１１は、情報通信ネットワーク１５を介した情報通信を実行する通信制御部５５を備えている。更に、この通信制御部５５は、上記状態変化検出部５０が、撮影画像Ｖｄに映る車室６について、その状態変化の発生を検出した場合に、カメラ８が映す車室６の撮影画像Ｖｄを第２画像解析装置２２に配信する。そして、本実施形態の監視システム４０は、これにより、車両１の外部に配置された第２画像解析装置２２において、その撮影画像Ｖｄの解析による車室６の監視が行われる構成になっている。

【0038】

即ち、図１１に示すように、本実施形態の第１画像解析装置１１においては、所定の解析周期毎に、その状態変化検出部５０が、車室６の撮影画像Ｖｄを取得する（ステップ１０１）。次に、この状態変化検出部５０は、その前回の解析周期において取得した撮影画像Ｖｄの前回フレームＦｂと今回の解析周期において取得した撮影画像Ｖｄの今回フレームＦｃとの画素差分値δを演算する（ステップ１０２）。続いて、この状態変化検出部５０は、過去の解析周期において演算した画素差分値δの演算履歴Ｘを読み出して（ステップ１０３）、その画素差分値δの分散値Ｙを演算する（ステップ１０４）。更に、この状態変化検出部５０は、その画素差分値δの分散値Ｙが閾値Ｙｔｈ以上である場合に（Ｙ≧Ｙｔｈ、ステップ１０５：ＹＥＳ）、撮影画像Ｖｄに映る車室６に状態変化が発生したと判定する（ステップ１０６）。そして、本実施形態の第１画像解析装置１１は、これにより、その通信制御部５５が、第２画像解析装置２２に対する撮影画像Ｖｄの配信を開始する構成になっている（ステップ１０７）。

【0039】

尚、本実施形態の状態変化検出部５０において、履歴保持部５２が保持する画素差分値δの演算履歴Ｘは、画素差分値演算部５１が演算する新たな画素差分値δを最新の前回値δｂとして、順次更新される。また、状態変化判定部５４は、画素差分値δの分散値Ｙが閾値Ｙｔｈよりも小さい場合（Ｙ＜Ｙｔｈ、ステップ１０５：ＮＯ）、撮影画像Ｖｄに映る車室６には、状態変化検出部５０が検出すべき状態変化が発生していないと判定する（ステップ１０８）。そして、本実施形態の第１画像解析装置１１においては、この場合、その通信制御部５５が、第２画像解析装置２２に対する撮影画像Ｖｄの配信を実行しない構成となっている（ステップ１０９）。

【0040】

さらに詳述すると、図５に示すように、本実施形態の第１画像解析装置１１には、カメラ８が映す車室６の撮影画像Ｖｄを圧縮する画像圧縮部５６が設けられている。そして、本実施形態の第１画像解析装置１１は、この画像圧縮部５６において圧縮された撮影画像ＶｄＬを、その情報通信ネットワーク１５を介して接続された第２画像解析装置２２に配信する。

【0041】

具体的には、本実施形態の第１画像解析装置１１において、上記画像圧縮部５６は、その第２画像解析装置２２に配信する車室６の撮影画像Ｖｄを所定の圧縮率βＬに圧縮する（β＝βＬ）。そして、監視システム４０は、これにより、その情報通信ネットワーク１５を介した撮影画像Ｖｄの配信による通信負荷の軽減を図る構成となっている。

【0042】

また、本実施形態の第１画像解析装置１１には、この第１画像解析装置１１に入力された撮影画像Ｖｄの前処理を行なう前処理部５７が設けられている。具体的には、本実施形態の第１画像解析装置１１において、この前処理部５７は、撮影画像Ｖｄに含まれるノイズの除去や、その撮影画像Ｖｄを構成する画素の輝度調整及び平滑化等を実行する。そして、本実施形態の第１画像解析装置１１は、これにより、所謂映り込みや外乱光等が撮影画像Ｖｄに及ぼす影響の低減を図る構成になっている。

【0043】

（第２画像解析装置）
次に、第２画像解析装置２２の構成及び機能について説明する。
図５に示すように、本実施形態の監視システム４０において、第２画像解析装置２２は、上記のように、第１画像解析装置１１が配信した車室６の撮影画像Ｖｄを受信する機能を有した通信制御部６０を備えている。そして、本実施形態の第２画像解析装置２２は、この受信した撮影画像Ｖｄを解析することにより、その車両１の車室６に生じた異常の検知判定を実行する機能を有している。

【0044】

詳述すると、本実施形態の第２画像解析装置２２は、撮影画像Ｖｄに映る車室６内の人Ｈ、つまりは車両１の乗員５を認識する人認識部６１を備えている。本実施形態の第２画像解析装置２２において、この人認識部６１は、機械学習により生成された推論モデルを用いることにより、その人Ｈの認識処理を実行する。そして、本実施形態の第２画像解析装置２２は、これにより認識した車両１の乗員５を監視することで、そのカメラ８が映す車室６内に生じた異常を検知する異常検知部６２を備えている。

【0045】

具体的には、図５及び図１２に示すように、本実施形態の第２画像解析装置２２は、撮影画像Ｖｄに含まれる人Ｈの骨格点ＳＰを検出する骨格点検出部６３を備えている。即ち、骨格点ＳＰは、関節や体表面上の点等、人Ｈの身体を特徴付ける固有の点であり、例えば、頭部、首、肩、腋、肘、手首、手先、腰、股関節、臀部、膝、足首等が該当する。そして、本実施形態の第２画像解析装置２２においては、この骨格点検出部６３もまた、機械学習により生成された推論モデルを用いることにより、その骨格点ＳＰの検出処理を実行する。

【0046】

また、図５に示すように、本実施形態の第２画像解析装置２２は、この骨格点ＳＰの検出に基づいた特徴量Ｖｓｐを演算する特徴量演算部６４を備えている。具体的には、本実施形態の第２画像解析装置２２において、この特徴量演算部６４は、撮影画像Ｖｄにおける骨格点ＳＰの二次元座標上の位置に基づいて、その撮影画像Ｖｄに映る人Ｈの特徴量Ｖｓｐを演算する。更に、この特徴量演算部６４は、例えば、乗員５の肩幅等、その複数の骨格点ＳＰに示される身体寸法に基づいて、その撮影画像Ｖｄに映る人Ｈの特徴量Ｖｓｐを演算する。そして、本実施形態の第２画像解析装置２２は、この一連の解析処理により得られる人Ｈの特徴量Ｖｓｐに基づいて、そのカメラ８が映す監視空間４１に認識された人Ｈの情報Ｉｈを取得する人情報取得部６５を備えている。

【0047】

詳述すると、図１３に示すように、本実施形態の人情報取得部６５は、撮影画像Ｖｄに映る人Ｈの姿勢を判定する姿勢判定部６６を備えている。本実施形態の姿勢判定部６６は、上記特徴量演算部６４から取得した人Ｈの特徴量Ｖｓｐを機械学習により生成された推論モデルに入力する。そして、これにより得られる姿勢判別確率値に基づいて、その車室６内の撮影画像Ｖｄに映る人Ｈの姿勢を判別する。

【0048】

具体的には、本実施形態の姿勢判定部６６は、姿勢判別の対象者となる乗員５の姿勢が「立位姿勢」であることの確率を演算する立位判別確率値演算部６６ａを備えている。また、姿勢判定部６６は、対象者となる乗員５の姿勢が「座位姿勢」であることの確率を演算する座位判別確率値演算部６６ｂを備えている。そして、本実施形態の姿勢判定部６６は、対象者となる乗員５の姿勢が「転倒姿勢」であることの確率を演算する転倒判別確率値演算部６６ｃを備えている。

【0049】

即ち、本実施形態の姿勢判定部６６は、姿勢判別確率値として、立位判別確率値演算部６６ａが立位判別確率値ＺＡを演算し、座位判別確率値演算部６６ｂが座位判別確率値ＺＢを演算し、転倒判別確率値演算部６６ｃが転倒判別確率値ＺＣを演算する。更に、本実施形態の姿勢判定部６６は、これらの立位判別確率値ＺＡ、座位判別確率値ＺＢ、及び転倒判別確率値ＺＣの合計値が「１．０」となるように、その姿勢判別確率値の演算を実行する。そして、本実施形態の姿勢判定部６６は、これにより、その姿勢判別確率値に基づいて、矛盾なく、乗員５の姿勢を判定することが可能になっている。

【0050】

尚、本実施形態の立位判別確率値演算部６６ａが演算する立位判別確率値ＺＡは、更に、その「立位姿勢」にある乗員５が、「移動状態」である確率、「静止状態」である確率、及び「吊り革や手すり等を利用している状態」である確率に区分される。そして、本実施形態の姿勢判定部６６は、これにより、その「立位姿勢」を細分化して判別することのできる構成となっている。

【0051】

また、本実施形態の第２画像解析装置２２において、人情報取得部６５には、この姿勢判定部６６の他、撮影画像Ｖｄに映る人Ｈの属性を判定する属性判定部６７や、その体格を判定する体格判定部６８等が設けられている。そして、本実施形態の第２画像解析装置２２は、これにより、精度よく、その撮影画像Ｖｄに映る人Ｈの状態を検知することが可能になっている。

【0052】

図５及び図１３に示すように、本実施形態の異常検知部６２は、上記人情報取得部６５に設けられた姿勢判定部６６によって車両１の乗員５が転倒したと判定された場合に、そのカメラ８の撮影画像Ｖｄに映る車室６内に異常が発生したものと判定する。更に、本実施形態の第２画像解析装置２２は、この場合、その異常の発生を検知した旨の通知を車両１及び運行センター３０に送信する。尚、本実施形態の第２画像解析装置２２において、この異常の発生検知を通知する異常検知信号Ｓ１の送信は、その通信制御部６０により実行される。そして、本実施形態の監視システム４０は、これにより、車両１の運行センター３０に待機するオペレータ３２が、速やかに、その車室６に生じた異常に対応することのできる構成となっている。

【0053】

また、図５に示すように、本実施形態の第２画像解析装置２２は、その骨格点検出部６３による骨格点ＳＰの検出状態を判定する検出状態判定部６９を備えている。具体的には、本実施形態の第２画像解析装置２２において、この検出状態判定部６９は、骨格点検出部６３において、その撮影画像Ｖｄの解析による骨格点ＳＰの検出ができているかを判定する。また、この検出状態判定部６９は、上記姿勢判定等、撮影画像Ｖｄに映る人Ｈの情報Ｉｈ、つまりは乗員情報Ｉｃｈに用いられる主要な骨格点ＳＰを安定的に検出することができているかを判定する。更に、本実施形態の第２画像解析装置２２においては、この検出状態判定部６９が、骨格点ＳＰの検出ができていないと判定した場合、その旨の通知が車両１及び運行センター３０に送信される。そして、本実施形態の第２画像解析装置２２は、その検出状態判定部６９において、骨格点ＳＰを安定的に検出することができない検出精度の低下した状態にあると判定された場合にも、その旨の通知を車両１及び運行センター３０に送信する構成となっている。

【0054】

即ち、光源の影響やカメラ８との位置関係等によって、その撮影画像Ｖｄの解析による骨格点ＳＰの検出ができない、或いは、その検出精度が低下した状態になることがある。この点を踏まえ、本実施形態の第２画像解析装置２２には、上記検出状態判定部６９が設けられている。尚、本実施形態の第２画像解析装置２２においては、これらの骨格点ＳＰの検出ができない旨を通知する検出不能信号Ｓ２及び検出精度が低下している旨を通知する検出精度低下信号Ｓ３の送信もまた、その通信制御部６０により実行される。そして、本実施形態の監視システム４０は、これにより、その第２画像解析装置２２が実行する骨格点ＳＰの検出不能通知、及び検出精度低下通知に基づいて、運行センター３０に待機するオペレータ３２が、速やかに、その状況を把握することができる。つまりは、第２画像解析装置２２による異常検知ができない、又はその検知判定の精度が低下していると判定される状況が発生した事実を認識することのできる構成となっている。

【0055】

また、本実施形態の監視システム４０は、上記のように、第２画像解析装置２２において、車室６に生じた異常が検知された場合、運行センター３０に待機するオペレータ３２に対して、そのカメラ８が映す車室６内の撮影画像Ｖｄが配信される。更に、本実施形態の監視システム４０においては、第２画像解析装置２２による異常検知ができない、又はその検知判定の精度が低下していると判定される状況が発生した場合にも、そのオペレータ３２に対する撮影画像Ｖｄの配信が実行される。そして、本実施形態の監視システム４０は、これにより、管理者３１としてのオペレータ３２が、その運行センター３０に設けられた受像装置３３を利用して、車室６内の撮影画像Ｖｄを確認することのできる構成となっている。

【0056】

即ち、図１４に示すように、本実施形態の第２画像解析装置２２は、第１画像解析装置１１により配信された車室６の撮影画像Ｖｄを受信すると（ステップ２０１）、この撮影画像Ｖｄに含まれる乗員５の骨格点検出を実行する（ステップ２０２）。そして、第２画像解析装置２２は、このステップ２０２における骨格点ＳＰの検出状態判定を実行する（ステップ２０３）。

【0057】

次に、第２画像解析装置２２は、上記ステップ２０３における検出状態判定の結果に基づいて、骨格点ＳＰの検出できているか否かを判定する（ステップ２０４）。そして、第２画像解析装置２２は、このステップ２０４において骨格点ＳＰが検出できていると判定した場合（ステップ２０４：ＹＥＳ）、続いて、その骨格点ＳＰの検出精度が低下した状態にないかを判定する（ステップ２０５）。

【0058】

更に、本実施形態の第２画像解析装置２２は、このステップ２０５において、骨格点ＳＰの検出精度が低下した状態ではないと判定した場合（ステップ２０５：ＹＥＳ）に、その骨格点ＳＰの検出に基づいた異常検知判定を実行する（ステップ２０６）。そして、この異常検知判定において、その撮影画像Ｖｄに映る車室６に生じた異常を検知した場合（ステップ２０７：ＹＥＳ）に、異常検知信号Ｓ１の送信を実行し、及び管理者３１に対する撮影画像Ｖｄの配信を決定する（ステップ２０８）。

【0059】

また、本実施形態の第２画像解析装置２２は、上記ステップ２０４において骨格点ＳＰが検出できていないと判定した場合（ステップ２０４：ＮＯ）、その旨を示す検出不能信号Ｓ２の送信を実行する（ステップ２０９）。更に、第２画像解析装置２２は、上記ステップ２０５において骨格点ＳＰの検出精度が低下していると判定した場合（ステップ２０５：ＮＯ）、その旨を示する検出精度低下信号Ｓ３の送信を実行する（ステップ２１０）。そして、本実施形態の第２画像解析装置２２は、これらの場合にも、併せて、その管理者３１としてのオペレータ３２に対する撮影画像Ｖｄの配信を決定する構成となっている（ステップ２０９及びステップ２１０）。

【0060】

（撮影画像の配信制御）
次に、本実施形態の監視システム４０における撮影画像Ｖｄの配信制御について説明する。

【0061】

図４及び図５に示すように、本実施形態の監視システム４０において、その管理者３１としてのオペレータ３２に対する撮影画像Ｖｄの配信は、カメラ８とともに車両１に設けられた第１画像解析装置１１により実行される。

【0062】

具体的には、図１５に示すように、本実施形態の第１画像解析装置１１は、第２画像解析装置２２が送信する上記異常検知信号Ｓ１を受信したか否かを判定する（ステップ３０１）。そして、第１画像解析装置１１は、この異常検知信号Ｓ１を受信した場合（ステップ３０１：ＹＥＳ）に、その運行センター３０のオペレータ３２に対する撮影画像Ｖｄの配信を開始する（ステップ３０２）。

【0063】

また、第１画像解析装置１１は、第２画像解析装置２２が送信する上記検出不能信号Ｓ２を受信したか否かを判定する（ステップ３０３）。そして、第１画像解析装置１１は、この検出不能信号Ｓ２を受信した場合（ステップ３０３：ＹＥＳ）にも、上記ステップ３０２の実行により、その運行センター３０のオペレータ３２に対する撮影画像Ｖｄの配信を開始する。

【0064】

更に、第１画像解析装置１１は、第２画像解析装置２２が送信する上記検出精度低下信号Ｓ３を受信したか否かを判定する（ステップ３０４）。そして、第１画像解析装置１１は、この検出精度低下信号Ｓ３を受信した場合（ステップ３０４：ＹＥＳ）にも、上記ステップ３０２の実行により、その運行センター３０のオペレータ３２に対する撮影画像Ｖｄの配信を開始する。

【0065】

また、本実施形態の第１画像解析装置１１においては、このとき、上記画像圧縮部５６が、そのカメラ８が映す車室６の撮影画像Ｖｄを、上記第２画像解析装置２２に配信する撮影画像ＶｄＬの圧縮率βＬよりも高い圧縮率βＨで圧縮する（βＨ＞βＬ）。そして、本実施形態の監視システム４０においては、この高い圧縮率βＨを有した車室６の撮影画像ＶｄＨが、その情報通信ネットワーク１５を介して、運行センター３０に待機するオペレータ３２に配信される構成となっている。

【0066】

即ち、解像度の低い高圧縮率の撮影画像Ｖｄであっても、人の目、つまりは管理者３１としてのオペレータ３２が確認することにより、問題なく、その撮影画像Ｖｄに映る車室６の状況を把握することができる場合が多い。この点を踏まえ、本実施形態の監視システム４０においては、上記のように、その運行センター３０のオペレータ３２に対して、より高い圧縮率βＨを有した撮影画像ＶｄＨが配信される。そして、本実施形態の監視システム４０は、これにより、その情報通信ネットワーク１５を介した撮影画像Ｖｄの配信による通信負荷の軽減を図る構成となっている。

【0067】

さらに詳述すると、本実施形態の監視システム４０は、運行センター３０のオペレータ３２が、その操作端末３４を操作することで、受像装置３３に映る車室６の撮影画像Ｖｄを確認しながら、その車室６の状況に対応することのできる構成になっている。具体的には、本実施形態の監視システム４０においては、操作端末３４に操作することで、運行センター３０のオペレータ３２が、情報通信ネットワーク１５を介して車室６内の乗員５と通話することが可能になっている。そして、本実施形態の監視システム４０は、これにより、例えば、車室６内で転倒した乗員５に対し、オペレータ３２が、声掛け等の対応を行なうことのできる構成となっている。

【0068】

具体的には、図１６に示すように、本実施形態の監視システム４０において、受像装置３３を構成する運行センター３０の情報処理装置３５は、車両１から受信した車室６の撮影画像Ｖｄを、そのディスプレイ７０に表示する（図４参照、ステップ４０１）。そして、本実施形態の情報処理装置３５は、このとき、併せて、その上記第２画像解析装置２２から受信した異常検知信号Ｓ１、検出不能信号Ｓ２、又は検出精度低下信号Ｓ３が示す内容についての報知出力を実行する（ステップ４０２）。

【0069】

また、操作端末３４としての情報処理装置３５は、車両１との通話接続を要求する操作入力があるか否かを判定する（ステップ４０３）。更に、情報処理装置３５は、これにより、オペレータ３２による車両１との通話要求を検出した場合（ステップ４０３：ＹＥＳ）、車両１に搭載された情報処理装置１０に対して通話接続を要求する通話要求信号Ｓ４を送信する（ステップ４０４）。そして、本実施形態の監視システム４０は、これにより、その情報通信ネットワーク１５を介した車両１と運行センター３０との通話接続が確立される構成になっている（ステップ４０５）。

【0070】

また、本実施形態の監視システム４０においては、運行センター３０の操作端末３４を操作することで、その管理者３１であるオペレータ３２の要求に応じて、このオペレータ３２に配信される撮影画像Ｖｄの圧縮率βを変更することが可能になっている。例えば、高い圧縮率βＨを有した撮影画像ＶｄＨからでは、その車室６の状況が確認し難い場合、オペレータ３２は、操作端末３４を操作することで、その撮影画像ＶｄＨの圧縮率βを初期値である圧縮率βＨから下げることができる。そして、本実施形態の監視システム４０は、これにより、より高い解像度で、その運行センター３０のオペレータ３２が、車室６の撮影画像Ｖｄを確認することのできる構成となっている。

【0071】

具体的には、図１７に示すように、操作端末３４としての情報処理装置３５は、撮影画像Ｖｄの圧縮率βについて、その変更を要求する操作入力があるか否かを判定する（ステップ５０１）。更に、情報処理装置３５は、これにより、オペレータ３２による撮影画像Ｖｄの圧縮率βを変更する旨の要求を検出した場合（ステップ５０１：ＹＥＳ）、車両１の第１画像解析装置１１に対して圧縮率変更要求信号Ｓ５を送信する（ステップ５０２）。尚、本実施形態の監視システム４０においては、運行センター３０の操作端末３４に対して、撮影画像Ｖｄの圧縮率βを下げる操作、又は、その圧縮率βを上げる操作の何れかを入力することが可能になっている。そして、本実施形態の監視システム４０は、この圧縮率変更要求信号Ｓ５を第１画像解析装置１１が受信することで、そのオペレータ３２に配信される撮影画像Ｖｄの圧縮率βが変更される構成になっている（ステップ５０３）。

【0072】

また、本実施形態の監視システム４０においては、撮影画像Ｖｄに映る車両１の車室６に異常がないことを確認した場合、オペレータ３２が、その操作端末３４に対して正常確認操作を入力することになっている。そして、本実施形態の監視システム４０は、この正常確認操作の入力に基づいて、その管理者３１としてオペレータ３２に対する撮影画像Ｖｄの配信が停止される構成になっている。

【0073】

具体的には、図１８に示すように、操作端末３４としての情報処理装置３５は、撮影画像Ｖｄに映る車両１の車室６に異常がないことを示す正常確認操作の入力があるか否かを判定する（ステップ６０１）。更に、情報処理装置３５は、これにより、オペレータ３２による正常確認操作の入力を検出した場合（ステップ６０１：ＹＥＳ）、車両１の第１画像解析装置１１に対し、その車室６に異常がない旨を通知する正常確認信号Ｓ６を送信する（ステップ６０２）。そして、本実施形態の監視システム４０は、この正常確認信号Ｓ６を第１画像解析装置１１が受信することで、そのオペレータ３２に対する撮影画像Ｖｄの配信が停止される構成になっている（ステップ６０３）。

【0074】

また、本実施形態の監視システム４０においては、オペレータ３２に対する撮影画像Ｖｄの配信が行われていない場合にも、このオペレータ３２が操作端末３４を操作することで、そのオペレータ３２に対する撮影画像Ｖｄの配信が実行されるようになっている。

【0075】

具体的には、図１９に示すように、操作端末３４としての情報処理装置３５は、撮影画像Ｖｄの配信を要求する操作入力があるか否かを判定する（ステップ７０１）。更に、情報処理装置３５は、これにより、オペレータ３２による配信要求操作の入力を検出した場合（ステップ７０１：ＹＥＳ）、車両１の第１画像解析装置１１に対し、この配信要求操作の入力に基づいた配信要求信号Ｓ７を送信する（ステップ７０２）。そして、本実施形態の監視システム４０は、この配信要求信号Ｓ７を第１画像解析装置１１が受信することで、そのオペレータ３２に対する撮影画像Ｖｄの配信が開始される構成になっている（ステップ７０３）。

【0076】

更に、本実施形態の監視システム４０においては、上記第２画像解析装置２２もまた、その撮影画像Ｖｄに映る車室６に異常がないことの正常確認判定を実行する。尚、この第２画像解析装置２２による正常確認判定は、例えば、その異常検知判定において、撮影画像Ｖｄに映る車室６に生じた異常を検知しない状態が所定時間継続するか否かの判定等により行われる（図１４参照、ステップ２０７：ＮＯ）。そして、本実施形態の監視システム４０は、この正常確認判定に基づいて、そのクラウドサーバ１７を構成する車外の情報処理装置２０に実装された第２画像解析装置２２に対する撮影画像Ｖｄの配信が停止される構成になっている。

【0077】

即ち、図２０に示すように、本実施形態の第２画像解析装置２２は、正常確認判定を実行すると（ステップ８０１）、この正常確認判定において、撮影画像Ｖｄに映る車室６に異常がないことが確認されたか否かを判定する（ステップ８０２）。更に、第２画像解析装置２２は、その撮影画像Ｖｄに映る車室６に異常がないことを確認した場合（ステップ８０２：ＹＥＳ）、車両１の第１画像解析装置１１に対し、その車室６に異常がない旨を通知する正常確認信号Ｓ８を送信する（ステップ８０３）。そして、本実施形態の監視システム４０は、この正常確認信号Ｓ８を第１画像解析装置１１が受信することで、その第２画像解析装置２２に対する撮影画像Ｖｄの配信が停止される構成になっている（ステップ８０３）。

【0078】

次に、上記のように構成された本実施形態の監視システム４０について、その作用を説明する。
図２１は、カメラ８の撮影画像Ｖｄに映る車室６に生じた状態変化が「異常なし」、つまりは「正常」と判定される範疇の事象であった場合の例である。

【0079】

この場合、先ず、カメラ８とともに車両１に設けられた第１画像解析装置１１によって、その車室６に生じた状態変化が検出される（ステップ１１０１）。そして、この状態変化の検出に基づいて、第１画像解析装置１１が、クラウドサーバ１７を構成する車外の情報処理装置２０に実装された第２画像解析装置２２に対し、情報通信ネットワーク１５を介して車室６の撮影画像Ｖｄを配信する（ステップ１１０２）。尚、上記のように、このとき、その第２画像解析装置２２に配信される撮影画像Ｖｄは、比較的低い圧縮率βＬで圧縮された撮影画像ＶｄＬである。

【0080】

次に、撮影画像Ｖｄを受信した第２画像解析装置２２が、この撮影画像Ｖｄに映る車室６の異常検知判定を実行する（ステップ１１０３）。尚、上記のように、この異常検知判定は、撮影画像Ｖｄに映る乗員５の骨格点ＳＰを検出し、その乗員情報Ｉｃｈを取得することにより行われる。更に、この例においては、この異常検知判定の実行により、第２画像解析装置２２において、その撮影画像Ｖｄに映る車室６に異常がないことが確認されることにより、この第２画像解析装置２２が、正常確認信号Ｓ８を送信する（ステップ１１０４）。そして、この正常確認信号Ｓ８を第１画像解析装置１１が受信することにより、その第２画像解析装置２２に対する撮影画像Ｖｄの配信が停止される（ステップ１１０５）。

【0081】

一方、図２２は、その撮影画像Ｖｄに映る車室６に生じた状態変化が、例えば、乗員５の転倒等、実際に「異常」と判定されるべきものであった場合の例である。
この例においても、先ず、第１画像解析装置１１によって、その車室６に生じた状態変化が検出される（ステップ１２０１）。更に、この状態変化の検出に基づいて、第１画像解析装置１１が、第２画像解析装置２２に対する撮影画像Ｖｄの配信を開始する（ステップ１２０２）。そして、この例においては、これにより第２画像解析装置２２が実行する異常検知判定によって、その撮影画像Ｖｄに映る車室６に生じた異常が検知される（ステップ１２０３）。

【0082】

また、この場合、続いて、その第２画像解析装置２２が異常検知信号Ｓ１を送信する（ステップ１２０４）。更に、この異常検知信号Ｓ１を第１画像解析装置１１が受信することで、車両１の運行センター３０に待機する管理者３１としてのオペレータ３２に対し、その情報通信ネットワーク１５を介した撮影画像Ｖｄの配信が開始される（ステップ１２０５）。そして、これにより、その運行センター３０に設けられた受像装置３３のディスプレイ７０に車室６の撮影画像Ｖｄが表示される（ステップ１２０６）。

【0083】

尚、上記のように、このとき、そのオペレータ３２に配信される車室６の撮影画像Ｖｄは、第２画像解析装置２２に配信される撮影画像ＶｄＬの圧縮率βＬよりも高い圧縮率βＨで圧縮された撮影画像ＶｄＨである（βＨ＞βＬ）。そして、この撮影画像Ｖｄの表示に併せて、異常検知信号Ｓ１の内容、つまりは、その監視空間４１である車両１の車室６に異常の発生を検知した旨の報知出力が実行される。

【0084】

また、この例においては、オペレータ３２が、運行センター３０に設けられた操作端末３４に対し、車両１との通話接続を要求する操作入力を行っている（ステップ１２０７）。更に、この通話接続要求の入力により、運行センター３０の情報処理装置３５から通話要求信号Ｓ４が送信されるとともに、この通話要求信号Ｓ４を車両１が受信することで、車両１と運行センター３０との通話接続が確立される（ステップ１２０８）。そして、この例においては、車室６の撮影画像Ｖｄに映る乗員５に対し、オペレータ３２が「声掛け」を行なうことで（ステップ１２０９）、この車両１の車室６に異常がないことが確認されている。

【0085】

次に、オペレータ３２が操作端末３４に対する正常確認操作の入力を行なうことで、運行センター３０の情報処理装置３５から正常確認信号Ｓ６が送信される（ステップ１２１０）。そして、この正常確認信号Ｓ６を車両１の第１画像解析装置１１が受信することで、そのオペレータ３２に対する撮影画像Ｖｄの配信が停止される（ステップ１２１１）。

【0086】

次に、本実施形態の効果について説明する。
（１）監視システム４０は、カメラ８とともに情報通信ネットワーク１５のエッジＥとなる車両１に設けられた第１画像解析装置１１を備える。この第１画像解析装置１１は、カメラ８が映す車室６の撮影画像Ｖｄを解析することにより、その車室６の状態変化の検出判定を実行する。また、この第１画像解析装置１１は、監視空間４１としての車室６に状態変化の発生が検出された場合に、その情報通信ネットワーク１５を介した撮影画像Ｖｄの配信を実行する画像配信装置８０としての機能を有する。そして、監視システム４０は、この情報通信ネットワーク１５を介して配信された車室６の撮影画像Ｖｄを解析することにより、その車室６に生じた異常の検知判定を実行する第２画像解析装置２２を備える。

【0087】

上記構成によれば、車両１に設けられた第１画像解析装置１１によって、その撮影画像Ｖｄに映る車室６に生じた状態変化を検出することができる。そして、この状態変化の検出により配信される車室６の撮影画像Ｖｄを第２画像解析装置２２が解析することで、情報通信ネットワーク１５を介して、高精度に、その撮影画像Ｖｄに映る車室６に生じた異常を検知することができる。

【0088】

また、撮影画像Ｖｄの解析による状態変化の検出判定は、その撮影画像Ｖｄの解析による異常検知判定よりも演算負荷が小さい。このため、第１画像解析装置１１が実装される車載の情報処理装置１０については、その要求される演算処理能力が比較的小さく抑えられるという利点がある。そして、車室６の状態変化が検出されない場合には、情報通信ネットワーク１５を介した撮影画像Ｖｄの配信を行わないことで、その通信負荷を軽減することができる。

【0089】

（２）第１画像解析装置１１は、撮影画像Ｖｄを解析周期毎に取得することにより前回の解析周期において取得した前回フレームＦｂと今回の解析周期において今回フレームＦｃとの画素差分値δを演算する画素差分値演算部５１を備える。また、第１画像解析装置１１は、この画素差分値δの演算履歴Ｘを保持する履歴保持部５２と、その演算履歴Ｘに基づいて画素差分値δの分散値Ｙを演算する分散値演算部５３と、を備える。そして、第１画像解析装置１１は、その画素差分値δの分散値Ｙが所定の閾値Ｙｔｈ以上である場合に、撮影画像Ｖｄに映る車室６に状態変化が発生したと判定する状態変化判定部５４を備える。

【0090】

上記構成によれば、比較的軽量な演算負荷で、精度よく、その撮影画像Ｖｄの解析に基づいた状態変化の検出判定を行なうことができる。そして、これにより、優れた車載性能を確保しつつ、情報通信ネットワーク１５を介した高精度の異常検知を行なうことができる。

【0091】

加えて、解析周期毎に取得する撮影画像Ｖｄの前回フレームＦｂと今回フレームＦｃとの画素差分値δを用いることで、例えば、光量変化等、その車室６の外部環境が及ぼす影響を小さく抑えることができる。

【0092】

（３）画素差分値演算部５１は、車室６における乗員５の乗車領域α０を予め車室６に設定された検出領域αとして、その乗車領域α０についてのみ画素差分値δを演算する。
上記構成によれば、その検出領域αに設定された乗車領域α０に生じた状態変化、つまりは、車両１に乗車した車室６内の乗員５を対象として、その車室６に生じた状態変化を精度よく検出することができる。そして、これにより、誤判定の発生を抑えて、より高精度に、その情報通信ネットワーク１５を介した異常検知を行なうことができる。

【0093】

（４）画像配信装置８０としての第１画像解析装置１１は、車両１の運行センター３０に位置する管理者３１としてのオペレータ３２に対し、情報通信ネットワーク１５を介して撮影画像Ｖｄを配信する機能を有する。そして、第１画像解析装置１１は、第２画像解析装置２２に対して配信される撮影画像ＶｄＬよりも高い圧縮率βで、そのオペレータ３２に対する撮影画像ＶｄＨの配信を実行する。

【0094】

即ち、解像度の低い高圧縮率の撮影画像Ｖｄであっても、人の目、つまりは管理者３１としてのオペレータ３２が確認することにより、問題なく、その撮影画像Ｖｄに映る車室６の状況を把握することができる場合が多い。従って、上記構成によれば、通信負荷の増大を抑えつつ、管理者３１による監視を加えた重層的なシステムを構築することができる。そして、これにより、より高精度に、その情報通信ネットワーク１５を介した異常検知を行なうことができる。

【0095】

（５）画像配信装置８０としての第１画像解析装置１１は、第２画像解析装置２２において、その撮影画像Ｖｄに映る車室６に生じた異常が検知された場合に、オペレータ３２に対する撮影画像Ｖｄの配信を実行する。

【0096】

上記構成によれば、車室６に生じた異常を、その管理者３１としてのオペレータ３２が速やかに確認することができる。これにより、その車室６に生じた異常に対する迅速な対応を担保することができる。そして、オペレータ３２に撮影画像Ｖｄを配信する状況を限定することで、通信負荷の増大を抑えることができる。

【0097】

（６）画像配信装置８０としての第１画像解析装置１１は、第２画像解析装置２２において、その車室６に生じた異常の検知判定ができない、又は検知判定の精度が低下していると判定される場合に、オペレータ３２に対する撮影画像Ｖｄの配信を実行する。

【0098】

上記構成によれば、管理者３１としてのオペレータ３２が車室６の撮影画像Ｖｄを確認することで、その情報通信ネットワーク１５を介した高精度の異常検知を担保することができる。そして、オペレータ３２に撮影画像Ｖｄを配信する状況を限定することで、通信負荷の増大を抑えることができる。

【0099】

（７）第２画像解析装置２２は、撮影画像Ｖｄに含まれる乗員５の骨格点ＳＰを検出する骨格点検出部６３を備える。また、第２画像解析装置２２は、この骨格点ＳＰの検出により取得される乗員情報Ｉｃｈに基づいて車室６内に生じた異常を検知する異常検知部６２を備える。更に、第２画像解析装置２２は、その骨格点ＳＰの検出状態を判定する検出状態判定部６９を備える。そして、監視システム４０においては、この骨格点ＳＰの検出状態に基づいて、そのオペレータ３２に対する撮影画像Ｖｄの配信を実行するか否かが判定される。

【0100】

上記構成によれば、第２画像解析装置２２が、その撮影画像Ｖｄの異常検知判定を行なうことができない、又は、その検知判定の精度が低下している状態を、精度よく特定することができる。そして、これにより、そのオペレータ３２に対する撮影画像Ｖｄの配信を実行するか否かの判定を適切に行うことができる。その結果、オペレータ３２に対して頻繁に車室６の撮影画像Ｖｄが配信される状況を回避して、通信負荷の増大を抑えることができる。

【0101】

また、骨格点ＳＰの検出により、精度よく、乗員５の姿勢や体格等、身体的な乗員情報Ｉｃｈを取得することができる。そして、これにより、取得した乗員情報Ｉｃｈに基づいて、乗員５が乗車する車室６について、高精度の異常検知判定を行うことができる。

【0102】

（８）監視システム４０は、オペレータ３２の要求に基づいて、このオペレータ３２に配信される撮影画像Ｖｄの圧縮率βを変更可能に構成される。
上記構成によれば、通信負荷の増大を抑えつつ、適切な解像度で、その車室６の撮影画像Ｖｄをオペレータ３２が確認することができる。そして、これにより、より高精度に、その情報通信ネットワーク１５を介した異常検知を行なうことができる。

【0103】

なお、上記実施形態は、以下のように変更して実施することができる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0104】

・上記実施形態では、カメラ８には、赤外線カメラが用いられることとしたが、その型式は任意に変更してもよい。例えば、可視光カメラ等を用いる構成であってもよい。そして、複数のカメラ８を用いて、その監視空間４１を撮影する構成であってもよい。

【0105】

・上記実施形態では、車室６における乗員５の乗車領域α０を予め車室６に設定された検出領域αとして、その乗車領域α０についてのみ画素差分値δを演算することとした。しかし、これに限らず、画素差分値δを演算する検出領域αの設定については、任意に変更してもよい。

【0106】

・第２画像解析装置２２に配信する撮影画像ＶｄＬの圧縮率βＬ、及び管理者３１としてのオペレータ３２に配信する撮影画像ＶｄＨの圧縮率βＨについては、任意に設定してもよい。通信負荷の増大を抑える観点では、第２画像解析装置２２に配信する撮影画像ＶｄＬの圧縮率βよりもオペレータ３２に配信する撮影画像ＶｄＨの圧縮率βＨの方が高いことが好ましい（βＨ＞βＬ）。また、第２画像解析装置２２に配信する撮影画像ＶｄＬについては、精度よく、その骨格点ＳＰの検出が行える程度の高解像度を確保することが望まれる。そして、オペレータ３２に配信する撮影画像ＶｄＨについては、通信負荷の増大を抑えることのできる小さな通信量であることが望まれる。

【0107】

・また、第２画像解析装置２２に配信する撮影画像Ｖｄと等しい圧縮率βで、そのオペレータ３２に対する撮影画像Ｖｄの配信を実行する構成としてもよい。そして、オペレータ３２に配信される撮影画像Ｖｄの方が、第２画像解析装置２２に配信される撮影画像Ｖｄよりも低い圧縮率βを有していてもよい。

【0108】

・上記実施形態では、骨格点ＳＰの検出状態に基づいて、そのオペレータ３２に対する撮影画像Ｖｄの配信を実行するか否かが判定されることとした。しかし、これに限らず、撮影画像Ｖｄの配信可否要因、つまりは第２画像解析装置２２において、車室６に生じた異常の検知判定ができない、又は検知判定の精度が低下していることの判定は、必ずしも骨格点ＳＰの検出状態によるものでなくともよい。

【0109】

・上記実施形態では、骨格点ＳＰの検出に基づいて乗員５の姿勢判定を実行する。そして、転倒姿勢の検出により、その撮影画像Ｖｄに映る車室６の異常を検知することとした。しかし、これに限らず、例えば、車両１の走行中に車室６内を移動する乗員５を検出した場合等に、その車室６に異常が発生したと判定してもよい。そして、撮影画像Ｖｄの画像解析により取得した他の乗員情報Ｉｃｈを利用して、その異常検知判定を実行する構成であってもよい。

【0110】

・更に、第２画像解析装置２２による車室６に生じた異常の検知判定は、必ずしも、骨格点ＳＰの検出に基づくものでなくともよい。カメラ８が映す撮影画像Ｖｄの解析によるものであれば、深層学習や機械学習等、所謂ＡＩ技術を利用した、その他の方法で、異常の検知判定を行ってもよい。そして、人Ｈ以外を対象として、車室６に生じた異常を検知する構成に適用してもよい。

【0111】

・また、第１画像解析装置１１による車室６に生じた状態変化の検出判定は、必ずしも、解析周期毎に取得する撮影画像Ｖｄの前回フレームＦｂと今回フレームＦｃとの画素差分値δの分散値Ｙに基づくものでなくともよい。カメラ８が映す撮影画像Ｖｄの解析によるものであればよい。但し、演算能力の最適配分を考慮した場合、第２画像解析装置２２による異常検知の判定よりも、第１画像解析装置１１による状態変化の検出判定の方が、演算負荷が小さいことが好ましい。

【0112】

・上記実施形態では、車両１の運行センター３０に待機するオペレータ３２を管理者３１として、その管理者３１に高い圧縮率βＨで撮影画像ＶｄＨの配信を行なうこととした。しかし、これに限らず、管理者３１の設定は、任意に変更してもよい。例えば、必ずしも、一箇所に待機していなくともよい。更に、撮影画像Ｖｄの受像装置３３についてもまた任意に変更してもよく、例えば、携帯端末のようなものであってもよい。そして、管理者３１が、その要求を入力する方法についてもまた、例えば、音声入力等、任意に設定してもよい。

【0113】

・上記実施形態では、第１画像解析装置１１を画像配信装置８０として、その管理者３１に対する撮影画像Ｖｄの配信を実行することとした。しかし、これに限らず、第２画像解析装置２２が、その受信した撮影画像ＶｄＬを圧縮することにより、高い圧縮率βＨの撮影画像ＶｄＨを生成して、運行センター３０の情報処理装置３５に転送する構成であってもよい。そして、その画像配信装置８０が、これらの第１画像解析装置１１や第２画像解析装置２２と別構成であってもよい。

【0114】

・また、上記実施形態では、第２画像解析装置２２が異常を検知した場合、第２画像解析装置２２による異常検知ができない場合、又はその検知判定の精度が低下している場合に、オペレータ３２に対する撮影画像Ｖｄの配信が実行されることとした。しかし、これに限らず、オペレータ３２に対する撮影画像Ｖｄの配信を実行する状況については、任意に変更してよい。更に、例えば、管理者３１に対し、常時、その第２画像解析装置２２に配信する撮影画像ＶｄＬの圧縮率βよりも高い圧縮率βＨの撮影画像ＶｄＨを配信する構成であってもよい。そして、このような管理者３１に対する撮影画像Ｖｄの配信を行わない構成であってもよい。

【0115】

・上記実施形態では、カメラ８が映す車両１の車室６を監視空間４１とした監視システム４０に具体化した。しかし、これに限らず、建物の室内を監視空間４１とする構成であってもよい。そして、例えば、屋外に監視空間４１を設定する構成であってもよい。

【0116】

次に、上記実施形態及び変更例から把握できる技術的思想について記載する。
（イ）前記検出領域は、乗員の乗車領域であること、を特徴とする。これにより、車両に乗車した車室内の乗員を対象として、その車室に生じた状態変化を精度よく検出することができる。

【符号の説明】

【0117】

１…車両
６…車室
８…カメラ
１１…第１画像解析装置
１５…情報通信ネットワーク
２２…第２画像解析装置
４０…監視システム
４１…監視空間
８０…画像配信装置
Ｅ…エッジ
Ｖｄ…撮影画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】