(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-04-25
(45)【発行日】2024-05-08
(54)【発明の名称】人物検知システムおよび人物検知方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240426BHJP
H04N 7/18 20060101ALI20240426BHJP
【FI】
G06T7/00 660B
G06T7/00 350B
H04N7/18 D
H04N7/18 K
(21)【出願番号】P 2023055995
(22)【出願日】2023-03-30
【審査請求日】2023-03-30
(73)【特許権者】
【識別番号】000217653
【氏名又は名称】電気興業株式会社
(74)【代理人】
【識別番号】100099623
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【氏名又は名称】田中 祐
(72)【発明者】
【氏名】藤沼 肇
(72)【発明者】
【氏名】藤沼 亮太
(72)【発明者】
【氏名】斎藤 矯
(72)【発明者】
【氏名】福田 稔
【審査官】真木 健彦
(56)【参考文献】
【文献】特開2000-175176(JP,A)
【文献】特開平02-058480(JP,A)
【文献】特開2020-102817(JP,A)
【文献】特開2003-044859(JP,A)
【文献】特開2006-252248(JP,A)
【文献】特開2009-267827(JP,A)
【文献】特開2020-027372(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06T 1/00
G08B 13/196
G08B 25/00
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
監視領域の画像を所定の時間間隔で取得する、少なくともサーマルカメラを備えた監視
カメラと、
前記サーマルカメラから受信した前記画像を処理する中央演算部と、前記サーマルカメ
ラから受信した前記画像を記憶する映像蓄積部とを含む映像解析装置であって、該中央演
算部は、前記画像を処理するための、動体検出部とAI判定部とを含むものである、映像
解析装置と
を含んでなる人物検知システムであって、
前記動体検出部は、フレーム差分法を用いて前記画像のうちの連続する3枚以上のフレ
ームを切り出し、連続するフレーム2枚の差分の絶対値を計算し、これを次の2枚のフレ
ームについても繰り返し、差分の論理積を計算することによって、前記3枚以上のフレー
ムにわたって動き続けている物体を抽出し、
前記AI判定部は、前記物体について人工知能を使用した画像解析処理を実行して前記
物体が人物であるかどうかを判定するものである、人物検知システム。
【請求項2】
前記AI判定部は、前記物体が人物であることを判定するアルゴリズムを有するプログ
ラムを含む、請求項1に記載の人物検知システム。
【請求項3】
前記AI判定部は、前記物体の高さと幅との比率に基づいて前記物体が人物であるかを
判定する、請求項1に記載の人物検知システム。
【請求項4】
前記中央演算部は、前記人物であることを判定した前記画像において、前記人物を取り
囲む範囲を示すマークを前記画像に追加する処理を実行する、前記AI判定部に接続され
たマーキング部を更に含む、請求項1~3のいずれか一項に記載の人物検知システム。
【請求項5】
前記監視カメラは少なくとも1つの可視光カメラを更に備え、前記中央演算部は、前記
サーマルカメラによって前記人物を検出した画像において前記人物の座標および撮影され
た時刻に基づいて、近赤外線ライトを照射して前記可視光カメラの白黒モードによって得
られる画像において前記人物を特定し、前記画像の前記人物を取り囲む所定の範囲内にお
ける発光の有無を判定する、請求項1に記載の人物検知システム。
【請求項6】
前記中央演算部は、前記所定の範囲内における発光を検知した場合、前記人物が前記監
視領域への立ち入りを許可された者であると判定する、請求項5に記載の人物検知システ
ム。
【請求項7】
前記映像蓄積部に記憶された前記画像を表示する表示装置を更に含む、請求項1に記載
の人物検知システム。
【請求項8】
インターネットを介して前記映像解析装置を制御する少なくとも1つの端末を更に含む
、請求項1に記載の人物検知システム。
【請求項9】
監視領域の画像を所定の時間間隔で取得する、少なくともサーマルカメラを備えた監視
カメラと、
前記サーマルカメラから受信した前記画像を処理する中央演算部と、前記サーマルカメ
ラから受信した前記画像を記憶する映像蓄積部とを含む映像解析装置であって、該中央演
算部は、前記画像を処理するための動体検出部とAI判定部とを含むものである、映像解
析装置と
を含んでなる、人物検知システムにおける人物検知方法であって、
前記動体検出部は、フレーム差分法を用いて前記画像のうちの連続する3枚以上のフレ
ームを切り出し、連続するフレーム2枚の差分の絶対値を計算し、これを次の2枚のフレ
ームについても繰り返し、差分の論理積を計算することによって、前記3枚以上のフレー
ムにわたって動き続けている物体を抽出するステップと、
前記物体を含む複数の画像を学習データとして、前記物体が人物であるか否かを繰り返
し学習させた前記AI判定部は、前記物体について人工知能(AI)を使用した画像解析
処理を実行し、前記物体が人物であるか否かを判定するステップと
を含んでなる人物検知方法。
【請求項10】
前記AI判定部は、前記物体が人物であることを判定するアルゴリズムを有するプログ
ラムを含む、請求項9に記載の人物検知方法。
【請求項11】
前記AI判定部は、前記物体の高さと幅との比率に基づいて前記物体が人物であるかを
判定する、請求項9に記載の人物検知システム。
【請求項12】
前記中央演算部は、前記人物であることを判定した前記画像において、前記人物を取り
囲む範囲を示すマークを前記画像に追加する処理を、前記AI判定部に接続されたマーキ
ング部に実行させるステップを更に含む、請求項9~11のいずれか一項に記載の人物検
知方法。
【請求項13】
前記監視カメラは少なくとも1つの可視光カメラを更に備え、前記中央演算部は、前記
サーマルカメラによって前記人物を検出した画像において前記人物の座標および撮影され
た時刻に基づいて、近赤外線ライトを照射することにより前記可視光カメラの白黒モード
によって得られる画像において前記人物を特定し、前記画像の前記人物を取り囲む所定の
範囲内における発光の有無を判定する、請求項9に記載の人物検知方法。
【請求項14】
前記中央演算部は、前記所定の範囲内における発光を検知した場合、前記人物が前記監
視領域への立ち入りを許可された者であると判定する、請求項13に記載の人物検知方法
。
【請求項15】
前記映像蓄積部に記憶された前記画像を表示装置に表示させるステップを更に含む、請
求項9に記載の人物検知方法。
【請求項16】
少なくとも1つの端末が、インターネットを介して前記映像解析装置を制御するステッ
プを更に含む、請求項9に記載の人物検知方法。
【請求項17】
前記映像蓄積部に記憶することができ、前記中央演算部に対して、請求項9に記載の人
物検知方法を実行させる、コンピュータに読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物検知システムおよび人物検知方法に関し、特に、監視カメラによって取
得された画像を解析して監視領域内の人物を検知する人物検知システムおよび人物検知方
法に関する。
【背景技術】
【0002】
監視カメラによって自動的に人物を検知する技術が必要とされている。工場などの民間
人の立ち入りが禁止されており、夜間には人の出入りが少なくなる場所では、夜間の不法
侵入や盗難被害が発生している。したがって、検知された人物が立ち入りを許可された者
であるかを監視カメラによって自動的に検知する技術が必要とされている。不法侵入によ
る盗難は夜間に行われることが多く、夜間の人の動きの監視が大きなテーマとなっている
。そして、夜間の監視には、サーマルカメラや赤外線ライトとカメラの組み合わせなどが
用いられる。
【0003】
ここで、従来の人物検知システムや人物検知方法として、例えば、特許文献1及び特許
文献2が知られている。特許文献1および特許文献2の人物検知システムは、建設現場に
おける建設機械と人との接触による災害を防止する観点から、建設機械に取り付けられた
撮像装置によって取得した画像から人物を検知するものである。
【0004】
特許文献1の人物検知システムは、例えばホイールローダのような建設機械に取り付け
られた単眼の遠赤外線カメラによって取得した画像(熱画像)を俯瞰変換し、学習済みモ
デルを用いた画像処理によって、建設機械の周囲に存在する人物の接地位置を検出してい
る(例えば、特許文献1の段落[0006]、[0010]等を参照)。ここで、特許文
献1では、画像処理部の人物検知部は、遠赤外線カメラから送られた画像(熱画像)を使
用するものであるが、人に特有の温度分布を用いて建設機械の周辺に存在する人物を検知
している(例えば、特許文献1の段落[0022]等を参照)。しかしながら、特許文献
1の人物検知システムでは、人物を検知することができるが、その人物が立ち入りを許可
された者であるかどうかを区別することはできない。
【0005】
特許文献2は、建設機械に取り付けられた撮像装置によって取得した画像から、建設機
械の周囲に存在する人物を検知する建設機械用人物検知システムに関する。ここで、特許
文献2の撮像装置は、CCD等の撮像素子を含む可視光カメラ(カラーカメラ)である(
例えば、特許文献2の段落[0013]等を参照)。そのため、撮像装置として可視光カ
メラを採用した特許文献2の人物検知システムでは、例えば、夜間や悪天候の場合におい
て、人物を検出する機能(または精度)が著しく低下する。
【0006】
一般に、解析対象となる画像のサイズが大きくなると、データ処理に時間が必要となる
。特に、処理能力が比較的低いコンピュータを使用し、人物を検知するのに人工知能(A
I)を使用した場合には、より多くの時間が必要となるため、人物をリアルタイムで検知
するのは難しい。
【先行技術文献】
【特許文献】
【0007】
【文献】特開2021-163401号公報
【文献】特許第6434507号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、自動的に人物を検知することができる人物検知システムおよび人物検知方法
を提供する。
【課題を解決するための手段】
【0009】
具体的には、本発明によれば、
監視領域の画像を所定の時間間隔で取得する、少なくともサーマルカメラを備えた監視
カメラと、
前記サーマルカメラから受信した前記画像を処理する中央演算部と、前記サーマルカメ
ラから受信した前記画像を記憶する映像蓄積部とを含む映像解析装置であって、該中央演
算部は、前記画像を処理するための動体検出部とAI判定部とを含むものである、映像解
析装置と
を含んでなる人物検知システムであって、
前記動体検出部は、フレーム差分法を用いて前記画像のうちの連続する3枚以上のフレ
ームを切り出し、連続するフレーム2枚の差分の絶対値を計算し、これを次の2枚のフレ
ームについても繰り返し、差分の論理積を計算することによって、前記3枚以上のフレー
ムにわたって動き続けている物体を抽出し、
前記AI判定部は、前記物体について人工知能(AI)を使用した画像解析処理を実行
して前記物体が人物であるかどうかを判定するものである、人物検知システムを提供する
。
【0010】
ここで、サーマルカメラは遠赤外線を検出することで対象物の温度を検知するものであ
る。サーマルカメラで撮影した映像はサーモグラフィと呼ばれ、通常、温度が高い部分は
赤く、低い部分は青く表示される。サーマルカメラは、周辺光が無くても物体が生じる遠
赤外光を捉えるのでサーモグラフィを得ることができる。このため、夜間の暗い場所でも
計測可能である。また、遠赤外線を用いるので、霧や煙などで視界が不良な場所でも撮影
できる。逆に、遠赤外線は周辺光の影響を受けないので昼間でも使用可能である。
前記AI判定部は、前記物体が人物であることを判定するアルゴリズムを有するプログ
ラムを含む態様であることが好ましい。また、前記AI判定部は、前記物体の高さと幅と
の比率に基づいて前記物体が人物であるかを判定する態様であることがより好ましい。
さらに、前記中央演算部は、前記人物であることを判定した前記画像において、前記人
物を取り囲む範囲を示すマークを前記画像に追加する処理を実行する、前記AI判定部に
接続されたマーキング部を更に含む態様であることが好ましい。
加えて、前記監視カメラは少なくとも1つの可視光カメラを更に備えることができる。
前記中央演算部は、前記サーマルカメラによって前記人物を検出した画像において前記人
物の座標および撮影された時刻に基づいて、不可視の近赤外線ライトを照射することによ
り可視光カメラの白黒モードによって得られる画像において前記人物を特定し、前記画像
の前記人物を取り囲む所定の範囲内における発光の有無を判定する態様であることが好ま
しい。ここで、許可された者は赤外線ライトを所持しているので、前記所定の範囲内にお
ける発光を検知した場合、前記人物が前記監視領域への立ち入りを許可された者であると
判定する態様がより好ましい。
また、上記の人物検知システムは、前記映像蓄積部に記憶された前記画像を表示する表
示装置を更に含む態様や、インターネットを介して前記映像解析装置を制御する少なくと
も1つの端末を更に含む態様が好ましい。
【0011】
また、本発明は、上記の人物検知システムを使用した人物検知方法も提供する。
具体的には、
監視領域の画像を所定の時間間隔で取得する、少なくともサーマルカメラを備えた監視
カメラと、
前記サーマルカメラから受信した前記画像を処理する中央演算部と、前記サーマルカメ
ラから受信した前記画像を記憶する映像蓄積部とを含む映像解析装置であって、該中央演
算部は、前記画像を処理するための動体検出部とAI判定部とを含む、映像解析装置と
を含んでなる、人物検知システムにおける人物検知方法であって、
前記動体検出部は、フレーム差分法を用いて前記画像のうちの連続する3枚以上のフレ
ームを切り出し、連続するフレーム2枚の差分の絶対値を計算し、これを次の2枚のフレ
ームについても繰り返し、差分の論理積を計算することによって、前記3枚以上のフレー
ムにわたって動き続けている物体を抽出するステップと、
前記物体を含む複数の画像を学習データとして、前記物体が人物であるか否かを繰り返
し学習させた前記AI判定部は、前記物体について人工知能(AI)を使用した画像解析
処理を実行し、前記物体が人物であるか否かを判定するステップと
を含んでなる人物検知方法を提供する。
【0012】
ここで、前記AI判定部は、前記物体が人物であることを判定するアルゴリズムを有す
るプログラムを含む態様であることが好ましい。また、前記AI判定部は、前記物体の高
さと幅との比率に基づいて前記物体が人物であるかを判定する態様であることが好ましい
。
さらに、前記中央演算部は、前記人物であることを判定した前記画像において、前記人
物を取り囲む範囲を示すマークを前記画像に追加する処理を、前記AI判定部に接続され
たマーキング部に実行させるステップを更に含む態様であることが好ましい。
加えて、前記監視カメラは少なくとも1つの可視光カメラを更に備え、前記中央演算部
は、前記サーマルカメラによって前記人物を検出した画像において前記人物の座標および
撮影された時刻に基づいて、前記可視光カメラの白黒モードによって得られる画像におい
て前記人物を特定し、前記画像の前記人物を取り囲む所定の範囲内における発光の有無を
判定する態様であることが好ましい。ここで、前記所定の範囲内における発光を検知した
場合、前記人物が前記監視領域への立ち入りを許可された者であると判定する態様がより
好ましい。
また、前記映像蓄積部に記憶された前記画像を表示装置に表示させるステップを更に含
む態様や、少なくとも1つの端末が、インターネットを介して前記映像解析装置を制御す
るステップを更に含む態様が好ましい。
【0013】
さらに、本発明は、前記映像蓄積部に記憶することができ、前記中央演算部に対して、
上記のいずれかに記載した人物検知方法を実行させる、コンピュータに読み取り可能なプ
ログラムも提供する。
【発明の効果】
【0014】
本発明の人物検知システムおよび人物検知方法によれば、監視領域の撮影時の環境によ
る影響を低減して、監視領域において人物を自動的に検知することができる。
また、本発明の人物検知システムおよび人物検知方法によれば、機械学習アルゴリズム
として知られている通常のCNN(畳み込みニューラルネットワーク。Convolutional Ne
ural Network)モデル構造よりも簡易な構造を採用しているので、人物を検知する際の画
像解析をより高速で実行することができる。
さらに、本発明の人物検知システムおよび人物検知方法によれば、監視領域において検
知した人物が立ち入りを許可された者であるかどうかを判定することができる。
【図面の簡単な説明】
【0015】
【
図1】Aは、本発明の一実施態様にかかる人物検知システム1の全体構成を示す概略図である。Bは、Aの人物検知システム1の機能ブロック図である。
【
図2】各波長領域と、各波長領域における主な用途とを示す概略図である。
【
図3】Aは、可視光カメラによって取得したカラー画像である。Bは、Aと同じ時間に同じ場所で、サーマルカメラによって取得したサーマル画像である。
【
図4】本発明の一実施態様にかかる人物検知システム1において、自動的に人物を検知する処理を示すフローチャートである。
【
図5】動体検出部202aが動体を検出する処理を示す画像である。
【
図6】動体検出部202aにおいて実行される第1のフィルタ処理を示すフローチャートである。
【
図7】動体検出部202a及びAI判定部202bにおいて実行される第2のフィルタ処理を示すフローチャートである。
【
図8】動体検出部202aにおいて実行されるPositionFilterでの処理を示す概略図である。
【
図9】Aは、動体検出部202aにおいて、
図7のPositionFilterで動体検知した対象のサイズが横長のため人物以外(自動車)であると判断した場合の画像である。Bは、動体検出部202aにおいて、
図7のPositionFilterで動体検知した対象のサイズから人物の候補であると判断した場合の画像である。
【
図10】
図7の第2のフィルタ処理の所定のフィルタ処理時に取得された画像である。
【
図11】本発明の一実施態様にかかる人物検知システム1のAI判定部202bにおいて人物を検知するためのAI学習モデル構造である。
【
図12】本発明の一実施態様にかかる人物検知システム1を使用して、実際に人物を検知したテスト環境を示す画像である。
【
図13】
図12のテスト環境において、本発明の実施態様にかかる人物検知システム1によって自動的に人物を検知したことを示すデータである。
【
図14】本発明の人物検知システム1によって検知した人物が立ち入り許可者であるかどうかを判定する(サーマルカメラによって得られた)サーマル画像である。
【
図15】本発明の人物検知システム1によって検知した人物が立ち入り許可者であるかどうかを判定する(可視光カメラの白黒モードで得られた)白黒モード画像である。
【
図16】Aは、画像の所定の範囲内に赤外線ライトの発光が見いだされるかによって、検知した人物が立ち入りを許可された者または不法侵入者であることを示す画像である。Bは、立ち入りを許可された者を判定するための赤外線ライトとして使用することができる装置の一例を示す画像である。
【
図17】従来の機械学習アルゴリズムの1つである通常のCNNモデルの構造を示す図である。
【発明を実施するための形態】
【0016】
図1を参照して、本発明の一実施態様である人物検知システム1を説明する。ここで、
人物検知システム1は、例えば、工場内への不法侵入を監視する場合には、侵入者が入っ
てくる場所や盗難される恐れのある物を撮影することができる場所に設置され得る。人物
検知システム1は、監視領域の画像を取得している少なくとも1つのサーマルカメラを含
む監視カメラ10と、監視カメラ10が撮影した画像を受信して記憶する映像解析装置(
または映像解析サーバ)20と、映像解析装置20で解析された結果を表示する表示装置
30とを含む。なお、サーマルカメラは、物体から放出される遠赤外線(波長が3~10
00マイクロメートル)を検知するものである。ここで、映像解析装置20は、監視カメ
ラ10からの画像や解析用プログラムや解析用及び結果の各種データを記憶する映像蓄積
部201と、映像蓄積部201と通信して画像解析処理などの演算を行う中央演算部(C
PUおよびGPU)202とを含む。そして、中央演算部202は、動体検出部202a
とAI判定部202bとマーキング部202cとを含む。動体検出部202aとAI判定
部202bとマーキング部202cとは、監視カメラ10が撮影した画像を中央演算部2
02と協働して解析するプログラムである。そして、解析された画像は、映像解析装置2
0に接続された表示装置30に表示される。ここで、監視カメラ10と映像解析装置20
との間は、例えば、通信ケーブルによって有線で接続されているか、無線で接続されてい
るか、あるいは有線と無線との両方で接続されていてもよい。ここで、監視カメラ10と
映像解析装置20との間は、例えば、インターネット回線を介して接続されていてもよい
。同様に、映像解析装置20と表示装置30との間は、例えば、通信ケーブルによって有
線で接続されているか、無線で接続されているか、あるいは有線と無線との両方で接続さ
れていてもよい。ここで、映像解析装置20と表示装置30との間は、例えば、インター
ネット回線を介して接続されていてもよい。このようにして、人物検知システム1は、少
なくとも1台のサーマルカメラを含む監視カメラ10を1台の映像解析装置20に接続し
たシンプルな構成を採用している。
【0017】
図2は、一般的な各波長範囲と、その各波長範囲の用途とをそれぞれ示している。特に
、
図2に示す赤外線(波長0.78~1000マイクロメートル)の領域において、非冷
却サーマルカメラは、8~14マイクロメートルの波長の遠赤外線を検知し、冷却サーマ
ルカメラは3~5マイクロメートルの波長の中赤外線を検知するのが一般的である。例え
ば、監視カメラ10としてサーマルカメラを使用することによって、昼間のみならず夜間
においても、監視領域である漁場周辺の画像を良好なコントラストで取得することができ
る。
【0018】
なお、一般に、サーマルカメラは、熱を検知し、温度を可視化する。サーマルカメラで
撮影した映像はサーモグラフィ(熱画像)と呼ばれ、通常、高温部分は赤く、低温部分は
青く表示される(なお、本願で使用するサーマルカメラでは、高温部分は白く、低温部分
は黒く表示される)。サーマルカメラは、物体の温度を非接触計測するため、遠赤外線を
検出するセンサーが搭載されている。この遠赤外線の強弱を検出して温度を計測し、計測
した温度に応じて画像処理で色付けすることで、視覚的に温度分布が把握しやすいサーモ
グラフィを表示する。一方、赤外線カメラは、暗闇の中で映像を撮影することを目的とす
る。通常、赤外線カメラには、光源としての役割を果たす近赤外線LEDが搭載されてお
り、被写体に照射して反射した赤外線をとらえる。したがって、サーマルカメラと赤外線
カメラは、同じ赤外線を使ってはいるが、全く異なる光の帯域を用い、異なる構成と機能
を有する点に注意する必要がある。
【0019】
図3Aは、ある監視領域を夜間に撮影した場合に、可視光カメラによって取得されたカ
ラー画像を示す。また、
図3Bは、
図3Aと同じ監視領域を同じ夜間に撮影した場合に、
サーマルカメラによって取得されたサーマル画像を示す。
図3A及び
図3Bを比較すると
、
図3Bの方がより鮮明な画像が得られることがわかる。これは、サーマルカメラが監視
領域に存在する物体から放出される遠赤外線(波長が3~1000マイクロメートル)を
受信するものであり、可視光カメラと比べて、監視領域における可視光の明るさや暗さに
よる影響を受けにくいことによる。また、不法侵入による盗難は、一般的に、日中よりも
人目に付きにくい夜間に行われることが多い。そのため、可視光カメラと比較すると、サ
ーマルカメラは、特に夜間に鮮明な画像を得ることができる点で有利である。
なお、
図1に示す人物検知システム1では、監視カメラ10として、例えば非冷却サー
マルカメラを使用した場合について説明している。しかしながら、これに限らず、例えば
、監視カメラ10として冷却サーマルカメラを使用することもできる。
【0020】
次に
図4のフローチャートを参照して、人物検知システム1の映像解析装置20で実行
される各処理について説明する。
ステップS1では、監視カメラ10によって取得した監視領域の画像フレームを映像解
析装置20の映像蓄積部(ハードディスク)201に記憶する。ここで、中央演算部20
2は、監視カメラ10によって連続して撮影された、一連の画像などの映像(動画データ
)を映像蓄積部201に記憶させておくこともできる。
ステップS2では、動体検出部202aが、映像中にある物体が動体であるか否かを判
定する処理を実行する。ここで、映像中の物体が動体であると動体検出部202aが判定
した場合にはステップS3に進む。一方、映像中の物体が動体ではないと動体検出部20
2aが判定した場合(つまり、静止体のみを含む場合)にはステップS4に進む。そして
、ステップS4では、検知することなく通常のフローに戻り(つまり、ステップS1に戻
り)、その映像についての処理を終了する。なお、ステップS2での処理は、後述する図
6のMOGBacksubFilter60とErodeFilter61とDilateFilter62と、これに後続する図
7のPositionFilter70とMotionObjectTracker71とCandidateFilter72とMaskValida
tor73とにおける処理に対応する。
ステップS3では、AI判定部202bが、映像中の動体について、所定のモデル構造
に従ってAIを用いた画像解析処理を実行する(なお、所定のモデル構造については後述
する
図11を参照)。ここで、映像中の動体が人物であるとAI判定部202bが判定し
た場合にはステップS5に進む。そして、AI判定部202bは、映像中の動体が人物で
あると判断した部分にマークを付ける処理(例えば四角枠で囲むなどのマーキング処理)
を実行する。一方、映像中の動体が人物以外であるとAI判定部202bが判定した場合
にはステップS4に進む。そして、ステップS4では、検知することなく通常のフローに
戻り(つまり、ステップS1に戻り)、その映像についての処理を終了する。なお、ステ
ップS3での処理は、後述する
図7のDnnFilter74での処理に対応する。
【0021】
図5を参照して、動体検出部202aが動体を検出する処理について説明する。ここで
、動体検出部202aは、フレーム差分法を使用して動体を検出する。これは一般公開さ
れているOpenCVと呼ばれる画像処理ソフトウェアを利用して実行することができる
。まず、動体検出部202aは、監視カメラ10によって取得した画像のうち連続する3
枚のフレームI1、I2およびI3を切り出す。次に、この連続した3枚のフレーム(画
像)をグレースケールに変更する。そして、動体検出部202aは、連続するフレームI
1とI2との間の差分画像I1’と、連続するフレームI2とI3との間の差分画像I2
’との絶対値を計算する。そして、動体検出部202aは、差分画像I1’と差分画像I
2’との2つの論理積を計算して、動き続けている物体の画像I1’’を得る。このよう
な処理によって、動体検出部202aは、3枚のフレームにわたって動き続けている物体
の画像を抽出することができる。なお、動体検出部202aでの上記処理は、
図6の「MO
GBacksubFilter60」での処理に該当する。
【0022】
図6は、人物検知システム1の動体検出部202aにおいて実行される第1のフィルタ
処理を示すフローチャートである。なお、以下で用いる関数MOGBacksubFilterやPosition
Filterなどは、OpenCVの例えばバージョン4.6.0において利用することができ
るものである。まず、この第1のフィルタ処理は、MOGBacksubFilter60とErodeFilter
61とDilateFilter62とを含む。ここで、MOGBacksubFilter60では、背景差分法によ
る検出を行う。ErodeFilter61では、ピクセルが集まっていないノイズを除去する。Dil
ateFilter62では、ピクセルの集まりを膨らませて抽出する。
【0023】
次に、
図7は、人物検知システム1の動体検出部202a及びAI判定部202bにお
いて実行される第2のフィルタ処理を示すフローチャートである。この第2のフィルタ処
理は、PositionFilter70とMotionObjectTracker71とCandidateFilter72とMaskVali
dator73とDnnFilter74とを含む。ここで、PositionFilter70では、サイズが小さす
ぎるものや大きすぎるものを除去し、サイズが横長のものを削除する。MotionObjectTrac
ker71では、前後のフレームで同じ動体にIDを割り当てる。CandidateFilter72では
、前フレームで無効としたものや、サイズ変化が大きいものを除去する。MaskValidator
73では、映像上でマスキングしたエリアの内部または外部のいずれかにあることについ
ての正誤を判定する。そして、DnnFilter74では、畳み込みニューラルネットワーク(
CNN:Convolutional Neural Network)を用いたAIによる正誤を判定する。
ここで、動体検出部202aは、MOGBacksubFilter60とErodeFilter61とDilateFil
ter62と、PositionFilter70とMotionObjectTracker71とCandidateFilter72とMas
kValidator73との処理を実行する。そして、AI判定部202bは、DnnFilter74の
処理を実行する。
【0024】
図8は、動体検出部202aにおいて実行されるPositionFilter70での処理を示す概
略図である。ここで、PositionFilter70での処理では、動体検知した各画像中の対象物
の高さ(H)と幅(W)との比率(H/W)を求める。ここで、PositionFilter70での
処理では、(例えば、鳥や昆虫などの小さい対象物や、監視領域外の遠方で動いている対
象物を検知しないようにするために)高さ(H)が1ピクセル以下の対象物を当該フィル
タ処理から除外するように予め設定しておくことができる。そして、PositionFilter70
での処理では、H/W>1.1の場合(つまり、各画像中の対象物が縦長である場合)、
その物体を人物の候補とする。その一方で、PositionFilter70での処理では、H/W<
15の場合(つまり、各画像中の対象物がかなり横長である場合)、その物体を人物の候
補から除外する。
【0025】
次に、
図9Aおよび
図9Bを参照して、動体検出部202aにおいて実行されるPositi
onFilter70での処理を説明する。
図9Aでは、動体検出部202aは、PositionFilter
70での処理によって、対象物についての高さ(H
A)と、幅(W
A)と、高さと幅との
比率(H
A/W
A)とを求める。
図9Aの対象物の場合には、高さと幅との比率(H
A/
W
A)が1より小さい(H
A/W
A<1)。そのため、後続するAI判定部202bにお
いて実行されるDnnFilter74での処理において、かかる対象物は人物以外(自動車)で
あると判断される。
一方、
図9Bでは、動体検出部202aは、PositionFilter70での処理によって、図
9Aとは異なる対象物についての高さ(H
B)と、幅(W
B)と、高さと幅との比率(H
B/W
B)とを求める。
図9Bの対象物の場合には、高さと幅との比率(H
B/W
B)が
1.1より大きい(H
B/W
B>1.1)。そのため、後続するAI判定部202bにお
いて実行されるDnnFilter74での処理において、かかる対象物は人物の可能性が高いと
判断される。
【0026】
図10は、
図7の第2のフィルタ処理のうち、PositionFilter70とDnnFilter74と
におけるフィルタ処理中の画像を示している。ここで、
図10に示されるPositionFilter
70では、動体検出部202aは、1ピクセル以下の動体や所定の大きさ以上の動体を除
外し、高さと幅との比率(H/W)が1.1よりも小さい動体を除外している。また、図
10に示されるDnnFilter74では、AI判定部202bは、既に収集済みの人物画像を
、後述する
図11のアルゴリズムで判定させたAIモデルを用いて、画像内の動体の高さ
と幅との比率(H/W)が1.1よりも大きいことを判定して、人物であるか否かについ
て判定している。
【0027】
なお、
図11は、人物検知システム1のAI判定部202bで実行されるDnnFilter7
4での処理において動体が人物であるかどうかを判定するために使用することができる、
機械学習アルゴリズムのモデル構造を示す。このモデル構造は、6つの畳み込み層と3つ
の全結合層とを含む。ここで、畳み込み層は、画像上に小領域を設け、1つの特徴量とし
て圧縮(畳み込み)する工程を、画像上をスライドしながら繰り返してできた層である。
畳み込み層によって、点ではなく領域ごとに特徴抽出をすることができる。全結合層は、
畳み込み演算によって抽出した特徴量を受け取り、特徴量で分類を行うために利用される
層である。
ここで、
図11のモデル構造は、動体検知部202aにて動体と判定されたサーマル画
像内の一部分を使用しているため、
図17に示される画像全体を使用している一般的なC
NNモデル構造よりもシンプルな構成となっている。そのため、人物検知システム1のA
I判定部202bは、
図11のモデル構造を使用して画像処理をより高速で実行すること
ができる(また、
図12および
図13で後述するように、人物検知システム1のAI判定
部202bは、高精度で人物を検知することができる)。このサーマル画像のサイズに応
じて畳み込み層の構成が変化する。
次に、AI判定部202bでの判定に使用される
図11のモデル構造に対し、人物の画
像を事前に学習させる手順を簡単に説明する。まず、複数の場所で撮影を行い、人物を含
む画像を15000枚収集する。次に、人物を含む画像から動画切り出しツールを用いて
AI判定画像を作成することができる。ここで、例えばノイズの追加や画像の反転などの
処理を行うことにより、AI判定画像の数を15000枚から20000枚に増やすこと
ができる。そして、このようにして得られた20000枚のAI判定画像を用いて、AI
判定部202bでの判定に使用される
図11のモデル構造の学習を事前に行うことができ
る。なお、例えば20000枚以上のAI判定画像を用いて、
図11のモデル構造の学習
を行うこともできる。
【0028】
一方、
図17は、従来、主に画像認識において活用されるニューラルネットワークの1
つであるCNNモデルの構造を示す。ここで、ニューラルネットワークとは、脳の神経回
路を模した数理モデルであり、ある入力に対する出力を返すものである。そのようなCN
Nモデルは、一般に、畳み込み層とプーリング層と全結合層とを含む。ここで、畳み込み
層は、画像上に小領域を設け、1つの特徴量として圧縮(畳み込み)する工程を、画像上
をスライドしながら繰り返してできた層である。畳み込み層によって、点ではなく領域ご
とに特徴抽出をすることができる。プーリング層は、畳み込み層に小領域を設け、その枠
内のデータに演算を行うことによりできた層である。特に、プーリング層は、画像のカテ
ゴリを分けるタスクにおいて、特徴を抽出した畳み込み層の位置ずれを吸収することが可
能となる。全結合層は、畳み込み演算やプーリング演算によって抽出した特徴量を受け取
り、特徴量で分類を行うために利用される層である。そして、全結合層の最後にSoft
max層を追加することによって、クラスごとの出力値の合計を1にすることができるた
め、出力結果を確率とすることができる。
なお、
図17に示す従来のCNNモデルの詳細については、例えば、以下のURL
ht
tps://newtechnologylifestyle.net/vgg16originalpicture/を参照されたい。
【0029】
図12は、本発明の一実施態様である人物検知システム1の監視カメラ10(サーマル
カメラ)によって得られた画像の一例を示す。この画像は、3月11日の朝方(00:00-09
:00)に、電気興業株式会社の鹿沼工場内の第一駐車場の一部を監視領域として得られた
ものである。このとき、人物検知システム1は、上記の第一駐車場から約100メートル
離れた建物の屋上に設置されて、上記の第一駐車場内の人物を検出した。
【0030】
次に、
図13を参照して、
図12に示す画像の場所(第一駐車場)を朝方(00:00-09:0
0)に監視領域として監視した場合に、本発明の一実施態様である人物検知システム1の
表示装置30に表示される、人物を検知した場合の画面について説明する。
図13では、
監視カメラ10で監視領域を撮影した(
図12に示される)画像とその画像を撮影した日
時とを、表示装置30の表示部に自動的に表示する。ここで、表示装置30には、一例と
して、何等かの動体を検知した数や、動体についての映像を取得した時刻(映像時刻)や
、人物の検知の有無や、車両の検知の有無や、検知対象が不明なものの有無などを表示す
ることができる。具体的には、
図13に示されるように、本発明の一実施態様である人物
検知システム1は、
図12に示す上記の第一駐車場の一部を朝方(00:00-09:00)に監視
し、人物検知数が177、人物未検知数が6、車両検知数が2、検知対象不明数が0とい
う結果を自動的に得ることができた(なお、画像を目視して数えた人物総数は183人で
あった)。そのため、この場合の人物検知システム1の人物検知率(人物検知数÷人物総
数)は、177÷183≒96.7%であった。そして、この場合の人物検知システム1
の総合検知率(人物検知数÷総検知数)は、177÷(177+6+2+0)≒95.7
%であった。このように、本発明の一実施態様である人物検知システム1によれば、95
%を超える良好な人物検知率および総合検知率を得ることができた。ここで、「人物未検
知数」は、人物検知システム1が監視領域内で検知することができなかった人物の数であ
り、「検知対象不明数」は、人物検知システム1が監視領域内で検知した、人物または車
両以外の物体の数である。
なお、
図13の備考欄の「0時~なし」の記載は、0時~1時の範囲での検知が無かっ
たことを意味する。同様に、
図13の備考欄の「1時~なし」の記載は、1時~2時の範
囲での検知が無かったことを意味し、
図13の備考欄の「3時~なし」の記載は、3時~
4時の範囲での検知が無かったことを意味する。
【0031】
加えて、本発明の一実施態様である人物検知システム1では、所定のマーキング処理さ
れた人物の映像を表示装置30に表示することができる。また、所定のマーキング処理さ
れた人物の映像を(例えば、フレームインからフレームアウトまでの間に)連続してマー
キングを行う事でその軌道を目視で確認することができる。そのため、そのようにマーキ
ング処理された人物が、所定の撮影日時(つまりその人物の検知日時)において、例えば
、監視領域に存在していたか否かを表示装置30において容易に確認することができる。
【0032】
図14は、AI判定部202bによって判定された人物がマーキング部202cによっ
て四角枠で囲まれたマーキング処理されて表示装置30に表示されたサーマル画像である
。
図14中の破線は、座標をわかりやすくするための補助線である(つまり、
図14中の
破線は、本願における説明用として記載した補助線であり、マーキング部202cによっ
てマーキング処理されたものではない)。また、表示装置30では、マーキング部202
cでのマーキング処理によって判定された人物を取り囲む四角枠の色を、(例えば、立ち
入りを許可された者であるか否かに応じて)緑または赤のマーキングで区別して表示する
ことができる。次に、
図15は、
図14のAI判定部202bによって判定された人物(
つまり、
図14と同じ人物、同じ時間、同じ場所)について、マーキング部202cによ
って四角枠で囲まれたマーキング処理されて表示装置30に表示された、可視光カメラの
白黒モードで撮影した画像(白黒モード画像あるいは赤外線モード画像)である。ここで
、白黒モードにおいて、設定パネルから設定した四角枠の範囲内に一定の閾値を超える光
量(つまり、赤外線ライトの光量)が検出された場合には、その四角枠で囲まれた人物は
立ち入りを許可された者であると判定することができる。そして、その人物を取り囲む四
角枠の色を緑にして表示することができる。一方、設定パネルから設定した四角枠の範囲
内に一定の閾値を超える光量(つまり、赤外線ライトの光量)が検出されない場合には、
その四角枠で囲まれた人物は不法侵入者であると判定することができる。そして、その人
物を取り囲む四角枠の色を赤にして表示することができる。
ここで、
図14のサーマル画像と
図15の白黒モード画像とは、解像度が互いに同一で
ある。また、人物検知システム1は、
図14のサーマル画像において人物を検知した座標
を記録する。そして、人物検知システム1は、
図15の白黒モード画像の同一座標範囲内
に所定の光源(つまり、赤外線ライトの発光)があるかを判定する。そして、人物検知シ
ステム1は、
図15の破線の四角枠で囲まれた範囲内に赤外線ライトの発光を検知したこ
とから、この人物が監視領域への立ち入りを許可された者であることを判定する。
【0033】
図16Aは、一例として、マーキング部202cによって検知した人物がいくつかの四
角枠で囲まれたマーキング処理を含むカラー画像(白黒モードあるいは赤外線モード)を
示す。
図16Aの画像中のある四角枠内では赤外線ライトの発光が検知されているため、
この四角枠内の人物は監視領域への立ち入りを許可された者であることがわかる。一方、
図16Aの別の四角枠では赤外線ライトの発光が検知されていないため、この四角枠内の
人物は不法侵入者である可能性が高いことがわかる。
次に、
図16Bは、監視領域への立ち入りを許可された者であるかどうかを判定するの
に利用されうる赤外線ライトの一例を示す。例えば、本発明の一実施態様である人物検知
システム1の監視領域への立ち入りを許可された者に対して、
図16Bに示される赤外線
ライトを予め貸与することによって、監視領域への立ち入りを許可された者と不法侵入者
とを区別することができる。
【0034】
なお、上記の人物検知システム1は、例えば、人物検知方法のための所定の命令を含む
、コンピュータに読み取り可能なプログラムを映像蓄積部201に記憶しておき、その所
定の命令を中央演算部202に実行させることができる。
【0035】
ここまで、一例として工場への不法侵入者を監視する用途として、人物検知システム1
を説明してきた。しかしながら、工場を監視する目的に限られない他の用途に人物検知シ
ステム1を利用できることが、当業者には理解されるであろう。例えば、許可された者の
みが立ち入りを許可された場所を通行する人物を監視するために人物検知システム1を使
用できることが、当業者には理解されるであろう。
【0036】
本明細書において、特定の実施態様について本発明を具体的に説明してきたが、これら
の実施態様は、本発明の原理及び用途の単なる例示にすぎない。したがって、例示の実施
態様に対して多数の修正を実行することができることや、特許請求の範囲によって規定さ
れる本発明の趣旨及び範囲から逸脱することなく他の構成を採用することができることが
当業者に理解されるであろう。
【符号の説明】
【0037】
1 人物検知システム
10 監視カメラ
20 映像解析装置
201 映像蓄積部
202 中央演算部
202a 動体検出部
202b AI判定部
202c マーキング部
30 表示装置
【要約】 (修正有)
【課題】監視領域において自動的に人物を検知することができる人物検知システムおよび人物検知方法を提供する。
【解決手段】監視領域の画像を所定の時間間隔で取得する少なくともサーマルカメラを備えた監視カメラと、画像を処理する中央演算部と、画像を記憶する映像蓄積部とを含む映像解析サーバ20と、を含む人物検知システムであって、中央演算部は、画像を処理するための、動体検出部と、AI判定部と、を含む。動体検出部は、フレーム差分法を用いて画像のうちの連続する3枚以上のフレームを切り出し、連続するフレーム2枚の差分の絶対値を計算し、次の2枚のフレームについても繰り返し、差分の論理積を計算することによって、3枚以上のフレームにわたって動き続けている物体を抽出する。AI判定部は、物体について人工知能を使用した画像解析処理を実行して、物体が人物であるかどうかを判定する。
【選択図】
図1