特開 2022-191798 監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022191798

(43)【公開日】2022-12-28

(54)【発明の名称】監視システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221221BHJP

   H04N 21/442 20110101ALI20221221BHJP

   H04N 21/44 20110101ALI20221221BHJP

【ＦＩ】

H04N7/18 D

H04N21/442

H04N21/44

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021100249

(22)【出願日】2021-06-16

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】中野 広大

(72)【発明者】

【氏名】戸部田 雅一

【テーマコード（参考）】

5C054

5C164

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054DA09

5C054EG01

5C054FC01

5C054FC12

5C054FE17

5C054HA19

5C164FA07

5C164UA04S

5C164UA42S

5C164UB01P

5C164UB26S

5C164UB41P

5C164YA12

(57)【要約】

【課題】通信負荷を軽減する。
【解決手段】監視システム４０は、カメラ８が映す監視空間３６としての車室６の撮影画像Ｖｄを解析することにより、車室６に生じた異常を検知する画像解析装置１０を備える。また、監視システム４０は、カメラ８及び画像解析装置１０とともに情報通信ネットワークのエッジＥとなる車両１に設けられた画像配信装置１２を備える。そして、画像配信装置１２は、画像解析装置１０により車室６の異常が検知された場合に、その車室６の撮影画像Ｖｄを外部サーバ１１に配信する。画像解析装置１０は、撮影画像Ｖｄを入力として車室６の疑似正常画像Ｖｆを生成する生成モデル５１と、撮影画像Ｖｄ及び疑似正常画像Ｖｆを入力として車室６に生じた異常の検知判定を実行する判定モデル５２と、を備えてなる。そして、生成モデル５１には、車室６の正常画像を学習データとして学習済みの敵対的生成ネットワーク６０の生成器６１が用いられる。
【選択図】図３

【特許請求の範囲】

【請求項1】

カメラが映す監視空間の撮影画像を解析することにより前記監視空間に生じた異常を検知する画像解析装置と、
前記カメラ及び前記画像解析装置とともに情報通信ネットワークのエッジに設けられて前記異常が検知された場合に前記撮影画像を外部サーバに配信する画像配信装置と、
を備え、
前記画像解析装置は、
前記撮影画像を入力として前記監視空間の疑似正常画像を生成する生成モデルと、
前記撮影画像及び前記疑似正常画像を入力として前記異常の検知判定を実行する判定モデルと、を備えてなるとともに、
前記生成モデルには、前記監視空間の正常画像を学習データとして学習済みの敵対的生成ネットワークの生成器が用いられた監視システム。

【請求項2】

請求項１に記載の監視システムにおいて、
前記判定モデルは、前記撮影画像と前記疑似正常画像との誤差に基づいて前記異常の検知判定を実行すること、を特徴とする監視システム。

【請求項3】

請求項１又は請求項２に記載の監視システムにおいて、
前記判定モデルには、畳み込みニューラルネットワークが用いられること、
を特徴とする監視システム。

【請求項4】

請求項１～請求項３の何れか一項に記載の監視システムにおいて、
前記監視空間は、車両の車室であること、を特徴とする監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視システムに関するものである。

【背景技術】

【0002】

従来、カメラが映す監視空間の撮影画像を、情報通信ネットワークを介して監視する監視システムがある。例えば、特許文献１に記載の車両の状況管理システムは、車両の異常を示す記録イベントが発生した場合、その発生時の撮影画像を、携帯電話回線を介して確認することのできる構成となっている。そして、この従来例においては、人感センサを用いて、その監視空間に生じた記録イベントを検出する構成となっている、
更に、例えば、特許文献２には、学習済みの生成モデルに検知対象データを入力することにより得られる出力データと、その入力した検知対象データとの類似度に基づいて、この検知対象データの異常を検知する方法が記載されている。そして、このような構成を適用することで、より精度よく、その撮影画像に映る監視空間に生じた異常を検知することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－１９００７２号公報

【特許文献2】特開２０１９－３２７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、情報通信ネットワークを介した監視空間の異常検知においては、その通信負荷の増大が重要な課題の一つとなっている。そして、上記従来技術もまた、必ずしも、この問題を十分に解決するとは言えないのが実情であることから、この点において、なお改善の余地が残されていた。

【課題を解決するための手段】

【0005】

上記課題を解決する監視システムは、カメラが映す監視空間の撮影画像を解析することにより前記監視空間に生じた異常を検知する画像解析装置と、前記カメラ及び前記画像解析装置とともに情報通信ネットワークのエッジに設けられて前記異常が検知された場合に前記撮影画像を外部サーバに配信する画像配信装置と、を備え、前記画像解析装置は、前記撮影画像を入力として前記監視空間の疑似正常画像を生成する生成モデルと、前記撮影画像及び前記疑似正常画像を入力として前記異常の検知判定を実行する判定モデルと、を備えてなるとともに、前記生成モデルには、前記監視空間の正常画像を学習データとして学習済みの敵対的生成ネットワークの生成器が用いられることが好ましい。

【0006】

上記構成によれば、情報通信ネットワークのエッジにおいて、高精度の異常検知を行なうことができる。その結果、単に異常が疑われる、或いは検知結果を確定できない等の理由によって、頻繁に、その撮影画像が外部サーバに配信される状況を回避することができる。そして、これにより、通信負荷の増大を抑えることができる。

【0007】

特に、生成モデルに敵対的生成ネットワークの生成器を用いることで、例えば、変分自己符号化器等のオートエンコーダを用いた場合のような輪郭がぼやけることのない、鮮明な疑似正常画像を生成することができる。更に、撮影画像及び疑似正常画像を入力とした異常検知判定を行なうことにより、例えば、光量の変化等、外乱の影響を抑制することができる。そして、これにより、高精度の異常検知を行なうことができる。

【0008】

上記課題を解決する監視システムにおいて、前記判定モデルは、前記撮影画像と前記疑似正常画像との誤差に基づいて前記異常の検知判定を実行する。
即ち、入力された監視空間の撮影画像が、この監視空間に生じた異常を映す異常画像である場合、その異常が生じた部分を正しく生成することができない。従って、上記構成によれば、これにより生ずる撮影画像と疑似正常画像との誤差に基づいて、高精度の異常検知判定を行なうことができる。

【0009】

上記課題を解決する監視システムにおいて、前記判定モデルには、畳み込みニューラルネットワークが用いられることが好ましい。
上記構成によれば、高精度の異常検知判定を行なうことができる。

【0010】

上記課題を解決する監視システムにおいて、前記監視空間は、車両の車室であることが好ましい。
上記構成によれば、情報通信ネットワークのエッジに位置する車両において、高精度の異常検知を行なうことができる。その結果、車外の外部サーバに対して、頻繁に撮影画像が配信される状況を回避することができる。そして、これにより、通信負荷の増大を抑える。

【発明の効果】

【0011】

本発明によれば、通信負荷を軽減することができる。

【図面の簡単な説明】

【0012】

【図1】監視システムが適用される車両の斜視図。

【図2】車両の車室を撮影するカメラの説明図。

【図3】監視システムのブロック図。

【図4】監視システムの概略構成図。

【図5】異常画像のイメージ図。

【図6】異常画像を入力として生成された疑似正常画像のイメージ図。

【図7】敵対的生成ネットワークの説明図。

【図8】モデル形成の処理手順を示すフローチャート。

【図9】監視システムの作用を説明するフローチャート。

【発明を実施するための形態】

【0013】

以下、監視システムの一実施形態を図面に従って説明する。
図１及び図２に示すように、本実施形態の車両１は、車両前後方向に延在する四角略箱状の車体２を有している。また、車体２の側面には、乗員の乗降口となるドア開口部３が設けられている。尚、このドア開口部３には、車両前後方向、相反する方向に開閉動作する一対のスライドドア４，４が設けられている。そして、車両１の乗員５は、車室６内に設けられたシート７に着座する「座位姿勢」、又は、例えば、図示しない吊り革や手すりを利用する等、「立位姿勢」で、この車両１に乗車する構成になっている。

【0014】

また、本実施形態の車両１には、その車室６内を撮影するカメラ８が設けられている。本実施形態の車両１において、このカメラ８は、車室６の前方位置において、その天井部９付近に設けられている。尚、このカメラ８には、例えば、赤外線カメラ等が用いられる。そして、本実施形態のカメラ８は、これにより、車両１の乗員５を、その車室６に設定された所定の方向から撮影する構成となっている。

【0015】

図３に示すように、本実施形態の車両１において、カメラ８が映す車室６の撮影画像Ｖｄは、画像解析装置１０に入力される。更に、この画像解析装置１０は、入力された撮影画像Ｖｄを解析することにより、その撮影画像Ｖｄに映る車室６に生じた異常の検知判定を実行する。そして、本実施形態の車両１には、これにより車室６の異常が検知された場合に、そのカメラ８が映す車室６の撮影画像Ｖｄを外部サーバ１１に配信する画像配信装置１２が設けられている。

【0016】

詳述すると、図４に示すように、本実施形態の画像配信装置１２は、情報通信ネットワーク１３を介して車両１に接続された第１及び第２の外部サーバ１１ａ，１１ｂに対して、それぞれ、その車室６の撮影画像Ｖｄを配信する。尚、情報通信ネットワーク１３は、無線通信網やインターネット等により構成される。また、第１の外部サーバ１１ａには、その配信された車室６の撮影画像Ｖｄについて、より高度な解析を行なうことのできる第２の画像解析装置２０が実装されている。更に、第２の外部サーバ１１ｂは、車両１の運行センター３０に設置されている。そして、本実施形態の車両１には、これにより、その車室６を監視空間３６とした重層的な監視システム４０が構築されている。

【0017】

即ち、本実施形態の監視システム４０は、先ず、情報通信ネットワーク１３のエッジＥとなる車両１に設けられた画像解析装置１０において、そのカメラ８が映す車室６の撮影画像Ｖｄに生じた異常が検知される。また、これにより第２の外部サーバ１１ｂに配信された撮影画像Ｖｄを、その第２の外部サーバ１１ｂに実装された第２の画像解析装置２０が解析する。そして、本実施形態の監視システム４０は、これにより、その検知された異常の真偽を含め、車室６に発生した事象の詳細が分析される構成になっている。

【0018】

一方、第２の外部サーバ１１ｂに配置された撮影画像Ｖｄは、その運行センター３０に設けられたディスプレイ４１に表示される。更に、このディスプレイ４１に表示された車室６の撮影画像Ｖｄを、その運行センター３０に待機するオペレータ４２が確認する。そして、本実施形態の監視システム４０は、これにより、撮影画像Ｖｄに映る車室６の状況に対し、その管理者４３であるオペレータ４２が、速やかに対応することのできる構成となっている。

【0019】

（画像解析装置）
次に、車両１に設けられた画像解析装置１０について説明する。
図３に示すように、本実施形態の画像解析装置１０は、カメラ８が映す車室６の撮影画像Ｖｄを入力として、車室６の疑似正常画像Ｖｆを生成する生成モデル５１を有している。また、この画像解析装置１０は、カメラ８が映す車室６の撮影画像Ｖｄとともに、その生成モデル５１が生成する車室６の疑似正常画像Ｖｆが入力される判定モデル５２を有している。更に、本実施形態の画像解析装置１０においては、この判定モデル５２において、その撮影画像Ｖｄに映る車室６に生じた異常の検知判定が実行される。そして、本実施形態の画像解析装置１０は、この判定モデル５２が実行する異常検知判定の結果を、異常判定信号Ｓとして、その画像配信装置１２に出力する構成となっている。

【0020】

詳述すると、本実施形態の画像解析装置１０において、これらの生成モデル５１及び判定モデル５２は、それぞれ、機械学習による学習済みの生成モデルＬＭ１及び判定モデルＬＭ２としての構成を有している。具体的には、本実施形態の生成モデル５１は、車室６の正常画像を学習データとして、疑似正常画像Ｖｆの生成を学習させた学習済みの生成モデルＬＭ１である。そして、本実施形態の判定モデル５２は、生成モデル５１が生成する車室６の疑似正常画像Ｖｆと、その入力となる車室６の撮影画像Ｖｄとの誤差が大きい場合に、車室６の異常を検知したと判定するように学習させた学習済みの判定モデルＬＭ２となっている。

【0021】

即ち、図５及び図６に示すように、本実施形態の生成モデル５１は、入力された車室６の撮影画像Ｖｄが、この車室６に生じた異常を映す異常画像Ｖａである場合、その異常が生じた部分を正しく生成することができない。例えば、図５に例示する撮影画像Ｖｄは、姿勢を崩した乗員５が車室６のフロアに座り込んだ異常状態を映す異常画像Ｖａとなっている。この場合、図６に示すように、生成モデル５１による疑似正常画像Ｖｆでは、この乗員５の撮像範囲αが正しく生成できなくなっている。そして、本実施形態の画像解析装置１０は、これにより生ずる撮影画像Ｖｄと疑似正常画像Ｖｆとの誤差に基づいて、その判定モデル５２が車室６に生じた異常を検知する構成になっている。

【0022】

さらに詳述すると、図３に示すように、本実施形態の画像解析装置１０において、生成モデル５１は、学習済みの敵対的生成ネットワーク６０の生成器６１を用いて構成されている。

【0023】

即ち、図７に示すように、敵対的生成ネットワーク６０は、偽画像ＦＩを生成する生成器６１と、その偽画像ＦＩの真偽を識別する識別器６２と、を備えて構成される。尚、「敵対的生成ネットワーク」の英語表記は、「ＧＡＮ（Generative adversarial networks）」である。そして、「生成器」は「generator」であり、「識別器」は「discriminator」である。

【0024】

また、敵対的生成ネットワーク６０においては、重み学習ＬＷによって、識別器６２は、正しく偽画像ＦＩの真偽を識別するように、生成器６１は、識別器６２を欺くような偽画像ＦＩを生成するように、それぞれの学習が進められる。尚、重み学習ＬＷにおける「重み付け」には、例えば、「損失関数（Loss function）」が用いられる。即ち、これにより「敵対的」或いは「切磋琢磨」等と表現される態様で、これらの生成器６１及び識別器６２の学習が進む。そして、敵対的生成ネットワーク６０には、これにより、その生成器６１が極めて精巧な偽画像ＦＩの生成能力を獲得するという特徴がある。

【0025】

即ち、本実施形態の画像解析装置１０において、敵対的生成ネットワーク６０の生成器６１が生成する偽画像ＦＩは、車室６の疑似正常画像Ｖｆである。また、敵対的生成ネットワーク６０には、実画像ＲＩを生成器６１の入力とする「ｐｉｘ２ｐｉｘ」が用いられる。そして、本実施形態の画像解析装置１０は、これにより、その車室６の撮影画像Ｖｄを学習データとして、その生成モデル５１に用いる敵対的生成ネットワーク６０の生成器６１を学習させることが可能になっている。

【0026】

また、図３に示すように、本実施形態の画像解析装置１０において、判定モデル５２は、学習済みの畳み込みニューラルネットワーク７０を用いて構成されている。尚、「畳み込みニューラルネットワーク」の英語表記は、「ＣＮＮ（Convolutional Neural Network）」である。そして、本実施形態の画像解析装置１０は、これらの生成モデル５１及び判定モデル５２について、それぞれ、機械学習を行うことで、その学習済みの生成モデルＬＭ１及び判定モデルＬＭ２を形成する構成となっている。

【0027】

（モデル形成方法）
次に、本実施形態の監視システム４０における生成モデル５１及び判定モデル５２の形成方法について説明する。

【0028】

図８に示すように、画像解析装置１０の生成モデル５１及び判定モデル５２を形成する際には、先ず、実際の車両１で撮影された車室６の撮影画像Ｖｄを取得する（ステップ１０１）。具体的には、このステップ１０１では、学習データに用いる車室６の撮影画像Ｖｄとして、車室６に異常がない場合の正常画像Ｖｎ及び車室６に異常が生じた場合の異常画像Ｖａを取得する。尚、「正常」「異常」の判定基準としては、例えば、車室６内の乗員５について、その安全が確保されているか等、監視空間３６内に位置する人Ｈの状態に基づいて設定される。続いて、このステップ１０１において取得した車室６の撮影画像Ｖｄを用いて、正常画像Ｖｎのみを集めた撮影画像ＶｄのデータセットＤＳ１を作成する（ステップ１０２）。そして、同じく上記ステップ１０１において取得した車室６の撮影画像Ｖｄを用いて、正常画像Ｖｎ及び異常画像Ｖａが混在する撮影画像ＶｄのデータセットＤＳ２を作成する（ステップ１０３）。

【0029】

次に、生成モデル５１に適用する生成器６１を備えた学習用の敵対的生成ネットワーク６０を構築する（ステップ１０４、図３及び図７参照）。そして、上記正常画像Ｖｎのみを集めた撮影画像ＶｄのデータセットＤＳ１を学習データＬＤに使用して、その敵対的生成ネットワーク６０の生成器６１に、車室６の撮影画像Ｖｄを入力とした疑似正常画像Ｖｆの生成を学習させる（ステップ１０５）。

【0030】

上記のように、このステップ１０５においては、その生成器６１の学習に合わせて、この生成器６１とともに敵対的生成ネットワーク６０を構成する識別器６２の学習も進められる。例えば、生成器６１の学習は、識別器６２の出力を「真」に固定した教師なし学習により進められる。尚、識別器６２の学習は、この生成器６１の学習とは別に、正常画像Ｖｎに与えられた「本物」の正解ラベルＬＢ及び疑似正常画像Ｖｆに与えられた「偽物」の正解ラベルＬＢを教師データとした教師あり学習により進められる（図７参照）。そして、これにより、これら生成器６１及び識別器６２の敵対的学習が進み、再構成誤差が最小化されることで、その敵対的生成ネットワーク６０の生成器６１が精巧な車室６の疑似正常画像Ｖｆを生成するようになる。

【0031】

このステップ１０５の学習工程を終了すると、次に、その敵対的生成ネットワーク６０から学習済みの生成器６１を抽出する（ステップ１０６）。そして、この抽出した学習済みの生成器６１を、画像解析装置１０の生成モデル５１に適用する（ステップ１０７）。

【0032】

即ち、本実施形態の画像解析装置１０は、上記ステップ１０５～ステップ１０７の実行によって、その生成モデル５１が、疑似正常画像Ｖｆの生成を学習した学習済みの生成モデルＬＭ１としての構成を有するものとなる。次に、この学習済みの生成モデルＬＭ１に対して、上記ステップ１０３で作成した正常画像Ｖｎ及び異常画像Ｖａが混在する撮影画像ＶｄのデータセットＤＳ２を入力することにより、疑似正常画像ＶｆのデータセットＤＳ３を生成する（ステップ１０８）。そして、その生成した疑似正常画像ＶｆのデータセットＤＳ３と、このデータセットＤＳ３の元データである撮影画像ＶｄのデータセットＤＳ２とを使用して、その判定モデル５２の学習工程を実行する（ステップ１０９）。

【0033】

具体的には、このステップ１０９における判定モデル５２の学習工程は、疑似正常画像Ｖｆと、その元データとなる車室６の撮影画像Ｖｄと、を対にした教師あり学習により進められる。

【0034】

即ち、上記のように、元データとなる撮影画像Ｖｄが正常画像Ｖｎである場合、学習済みの生成モデルＬＭ１は、誤差の小さい疑似正常画像Ｖｆを生成することができる。しかしながら、元データとなる撮影画像Ｖｄが異常画像Ｖａである場合、学習済みの生成モデルＬＭ１は、正しく疑似正常画像Ｖｆを生成することができず、その結果、元データとなる撮影画像Ｖｄとの誤差が大きくなる。

【0035】

この点を踏まえ、疑似正常画像Ｖｆの元データとなる撮影画像Ｖｄが正常画像Ｖｎである場合には、判定モデル５２に対し、これらの疑似正常画像Ｖｆ及び撮影画像Ｖｄとともに、教師データＴＤとして「正常」の正解ラベルＬＢを与える。また、疑似正常画像Ｖｆの元データとなる撮影画像Ｖｄが異常画像Ｖａである場合には、判定モデル５２に対し、これらの疑似正常画像Ｖｆ及び撮影画像Ｖｄとともに、教師データＴＤとして「異常」の正解ラベルＬＢを与える。これにより、その判定モデル５２が、撮影画像Ｖｄと疑似正常画像Ｖｆとの誤差に基づいた車室６の異常検知判定を学習する。そして、本実施形態の画像解析装置１０は、このステップ１０９の学習工程が終了することにより、その判定モデル５２が、異常検知判定を学習した学習済みの判定モデルＬＭ２としての構成を有するものとなる。

【0036】

次に、上記のように構成された本実施形態の監視システム４０について、その作用を説明する。
即ち、図９に示すように、本実施形態の監視システム４０においては、先ず、画像解析装置１０によって、そのカメラ８が映す車室６の撮影画像Ｖｄが取得される（ステップ２０１）。続いて、この画像解析装置１０において、その撮影画像Ｖｄが生成モデル５１に入力される（ステップ２０１）。そして、この生成モデル５１が、その入力された車室６の撮影画像Ｖｄに基づいて車室６の疑似正常画像Ｖｆを生成する（ステップ２０３）。

【0037】

次に、同じく画像解析装置１０において、生成モデル５１により生成された疑似正常画像Ｖｆが、この疑似正常画像Ｖｆの元データである車室６の撮影画像Ｖｄとともに、判定モデル５２に入力される（ステップ２０４）。そして、この判定モデル５２が、撮影画像Ｖｄと疑似正常画像Ｖｆとの誤差に基づいて、その撮影画像Ｖｄに映る車室６の異常検知判定を実行する（ステップ２０５）。

【0038】

更に、この判定モデル５２による異常検知判定の結果が「異常」であるか否かが判定される（ステップ２０６）。そして、この異常検知判定の結果が「異常」であった場合（ステップ２０６：ＹＥＳ）、その画像配信装置１２によって、カメラ８が映す車室６の撮影画像Ｖｄが、情報通信ネットワーク１３を介して外部サーバ１１に配信される（ステップ２０７）。

【0039】

次に、本実施形態の効果について説明する。
（１）監視システム４０は、カメラ８が映す監視空間３６としての車室６の撮影画像Ｖｄを解析することにより、その車室６に生じた異常を検知する画像解析装置１０を備える。また、監視システム４０は、カメラ８及び画像解析装置１０とともに情報通信ネットワーク１３のエッジＥとなる車両１に設けられた画像配信装置１２を備える。そして、この画像配信装置１２は、画像解析装置１０により車室６の異常が検知された場合に、その車室６の撮影画像Ｖｄを外部サーバ１１に配信する。画像解析装置１０は、撮影画像Ｖｄを入力として車室６の疑似正常画像Ｖｆを生成する生成モデル５１と、その撮影画像Ｖｄ及び疑似正常画像Ｖｆを入力として車室６に生じた異常の検知判定を実行する判定モデル５２と、を備えてなる。そして、生成モデル５１には、車室６の正常画像Ｖｎを学習データＬＤとして学習済みの敵対的生成ネットワーク６０の生成器６１が用いられる。

【0040】

上記構成によれば、情報通信ネットワーク１３のエッジＥとなる車両１において、高精度の異常検知を行なうことができる。その結果、単に異常が疑われる、或いは検知結果を確定できない等の理由によって、頻繁に、その撮影画像Ｖｄが外部サーバ１１に配信される状況を回避することができる。そして、これにより、通信負荷の増大を抑えることができる。

【0041】

特に、生成モデル５１に敵対的生成ネットワーク６０の生成器６１を用いることで、例えば、変分自己符号化器等のオートエンコーダを用いた場合のような輪郭がぼやけることのない、鮮明な疑似正常画像Ｖｆを生成することができる。尚、変分自己符号化器の英語表記は、「ＶＡＥ（variational autoencoder）」である。更に、撮影画像Ｖｄ及び疑似正常画像Ｖｆを入力とした異常検知判定を行なうことにより、例えば、光量の変化等、外乱の影響を抑制することができる。そして、これにより、高精度の異常検知を行なうことができる。

【0042】

（２）判定モデル５２には、畳み込みニューラルネットワーク７０が用いられる。
上記構成によれば、撮影画像Ｖｄと疑似正常画像Ｖｆとの誤差に基づいた高精度の異常検知判定を行なうことができる。

【0043】

（３）敵対的生成ネットワーク６０には、「Ｐｉｘ２Ｐｉｘ」が用いられる。
上記構成によれば、再構成誤差の小さい精巧な車室６の疑似正常画像Ｖｆを生成することができる。更に、「Ｐｉｘ２Ｐｉｘ」は、実画像ＲＩを生成器６１の入力とする。このため、車室６の撮影画像Ｖｄを学習データとして、その生成器６１を学習させることができる。そして、これにより、容易に、その学習済みの生成器６１を画像解析装置１０の生成モデル５１に適用することができる。

【0044】

なお、上記実施形態は、以下のように変更して実施することができる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0045】

・上記実施形態では、カメラ８には、赤外線カメラが用いられることとしたが、その型式は任意に変更してもよい。例えば、可視光カメラ等を用いる構成であってもよい。そして、複数のカメラ８を用いて、その監視空間３６を撮影する構成であってもよい。

【0046】

・上記実施形態では、敵対的生成ネットワーク６０には、「Ｐｉｘ２Ｐｉｘ」を用いることとした。しかし、これに限らず、車室６の撮影画像Ｖｄを入力として車室６の疑似正常画像Ｖｆを生成することが可能であれば、敵対的生成ネットワーク６０のモデルについては、任意に変更してもよい。例えば、撮影画像Ｖｄの符号化処理を付加することで、「ＣＧＡＮ（Condition GAN）」を適用することもできる。

【0047】

・上記実施形態では、畳み込みニューラルネットワーク７０を用いて、撮影画像Ｖｄと疑似正常画像Ｖｆとの「誤差」に基づく異常検知判定を行なうこととした。しかし、これに限らず、撮影画像Ｖｄ及び疑似正常画像Ｖｆを入力として「正常」又は「異常」の二値分類を行なう２入力１出力の判定モデル５２を形成することができれば、その構成については任意に変更してもよい。例えば、「Ｌ１（Ｌ２）ノルムの差分」の閾値判別、或いは、「ＭＳＥ／ＰＳＮＲ」「ＳＳＩＭ」のような二画像間の類似度の閾値判別等、ルールベースの判別を行なう構成であってもよい。また、「機械学習モデル」としては、例えば、「サポートベクターマシン（ＳＶＭ）」や「決定木」等を用いることができる。そして、例えば、「深層学習モデル」としては、「多層パーセプトロン（ＭＬＰ）」「残差ネットワーク（ＲｅｓＮｅｔ）」を用いることができる。

【0048】

・上記実施形態では、例えば、撮影画像Ｖｄに映る乗員５の安全が確保されているか等を「正常」「異常」の判定基準に設定するとしたが、必ずしも、監視空間３６内に位置する人Ｈの状態に限らず、その判定基準については、任意に設定してもよい。

【0049】

・上記実施形態では、撮影画像Ｖｄに映る車室６に生じた異常が検知された場合、情報通信ネットワーク１３を介して車両１に接続された第１及び第２の外部サーバ１１ａ，１１ｂに対して、それぞれ、その車室６の撮影画像Ｖｄが配信される。更に、第１の外部サーバ１１ａにおいては、車両１の画像解析装置１０よりも高度な解析能力を有した第２の画像解析装置２０による二次分析が行われる。そして、第２の外部サーバ１１ｂが設置された車両１の運行センター３０においては、その撮影画像Ｖｄに映る車室６の状況に対し、管理者４３であるオペレータ４２が対応することとした。しかし、これに限らず、外部サーバ１１に配信された撮影画像Ｖｄの二次分析は、必ずしも行わなくともよい。また、運行センター３０に待機したオペレータ４２による撮影画像Ｖｄの確認や、車室６の状況への対応が行われない完全自動化されたシステムに適用してもよい。そして、撮影画像Ｖｄの配信を行なう外部サーバ１１の数についてもまた、任意に変更してもよい。

【0050】

・上記実施形態では、カメラ８が映す車両１の車室６を監視空間３６とした監視システム４０に具体化した。しかし、これに限らず、建物の室内を監視空間３６とする構成であってもよい。そして、例えば、屋外に監視空間３６を設定する構成であってもよい。

【0051】

次に、上記実施形態及び変更例から把握できる技術的思想について、その効果とともに記載する。
（イ）前記敵対的生成ネットワークには、Ｐｉｘ２Ｐｉｘが用いられること、を特徴とする。

【0052】

上記構成によれば、再構成誤差の小さい精巧な監視空間の疑似正常画像を生成することができる。更に、「Ｐｉｘ２Ｐｉｘ」は、実画像を生成器の入力とする。このため、監視空間の撮影画像を学習データとして、その生成器を学習させることができる。そして、これにより、容易に、その学習済みの生成器を画像解析装置の生成モデルに適用することができる。

【0053】

（ロ）カメラとともに情報通信ネットワークのエッジに設けられて前記カメラが映す監視空間の撮影画像を解析することにより前記監視空間に生じた異常を検知する画像解析装置と、前記異常が検知された場合に前記情報通信ネットワークを介して接続されたクラウドサーバに前記撮影画像の配信を実行する画像配信装置と、を備え、前記画像解析装置は、前記撮影画像を入力として疑似正常画像を生成する生成モデルと、前記撮影画像及び前記疑似正常画像を入力として前記異常の検知判定を実行する判定モデルと、を備えた監視システムのモデル形成方法であって、前記監視空間の正常画像を学習データとして敵対的生成ネットワークの生成器を学習させる工程と、前記学習済みの前記生成器を前記生成モデルに適用する工程と、を備える監視システムのモデル形成方法。

【符号の説明】

【0054】

１…車両
６…車室
８…カメラ
１０…画像解析装置
１１…外部サーバ
１２…画像配信装置
１３…情報通信ネットワーク
３６…監視空間
４０…監視システム
５１…生成モデル
５２…判定モデル
６０…敵対的生成ネットワーク
６１…生成器
Ｅ…エッジ
Ｖｄ…撮影画像
Ｖｆ…疑似正常画像
Ｖｎ…正常画像
ＬＤ…学習データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】