(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-04
(45)【発行日】2022-11-14
(54)【発明の名称】異常検出装置
(51)【国際特許分類】
G08B 17/12 20060101AFI20221107BHJP
G08B 17/00 20060101ALI20221107BHJP
G08B 25/00 20060101ALI20221107BHJP
H04N 7/18 20060101ALI20221107BHJP
【FI】
G08B17/12 B
G08B17/00 C
G08B25/00 510M
H04N7/18 D
H04N7/18 K
(21)【出願番号】P 2019062974
(22)【出願日】2019-03-28
【審査請求日】2021-10-11
(73)【特許権者】
【識別番号】000233826
【氏名又は名称】能美防災株式会社
(74)【代理人】
【識別番号】100110423
【氏名又は名称】曾我 道治
(74)【代理人】
【識別番号】100111648
【氏名又は名称】梶並 順
(74)【代理人】
【識別番号】100147566
【氏名又は名称】上田 俊一
(74)【代理人】
【識別番号】100161171
【氏名又は名称】吉田 潤一郎
(74)【代理人】
【識別番号】100188514
【氏名又は名称】松岡 隆裕
(74)【代理人】
【識別番号】100194939
【氏名又は名称】別所 公博
(74)【代理人】
【識別番号】100206782
【氏名又は名称】佐藤 彰洋
(72)【発明者】
【氏名】岩藤 那留
【審査官】吉村 伊佐雄
(56)【参考文献】
【文献】特開2014-191376(JP,A)
【文献】特開2010-097265(JP,A)
【文献】中国特許出願公開第103003844(CN,A)
【文献】米国特許出願公開第2010/0097474(US,A1)
【文献】特開2001-256475(JP,A)
【文献】米国特許出願公開第2015/0030203(US,A1)
【文献】特開2019-133426(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T7/00-7/90
G06V10/00-20/90
30/418
40/16
40/20
G08B17/00-17/12
H04N7/18
(57)【特許請求の範囲】
【請求項1】
撮像素子により撮像された監視対象領域の画像に対して画像処理を施すことにより、定常状態とは異なる異常状態の検出を行う検出部を備えた異常検出装置であって、
前記検出部は、
検出すべき前記異常状態が発生していない状態で前記撮像素子により撮像された複数の画像から輝度の時系列変化を算出し、前記輝度の時系列変化に基づいて、前記監視対象領域における輝度の流動方向を特定した基準流動方向データを作成し、
前記異常状態の検出を行う監視時において前記撮像素子により撮像された複数の画像から輝度の時系列変化を算出し、算出した前記輝度の時系列変化に基づいて前記監視対象領域における輝度の流動方向を特定した監視時流動方向データを作成し、
基準流動方向データと前記監視時流動方向データとの比較から、前記監視対象領域内における前記異常状態が発生したことを特定する
異常検出装置。
【請求項2】
前記検出部は、
前記監視対象領域を分割することで構成された複数の分割領域のそれぞれを複数の画素から構成される1つの領域として規定し、
前記複数の分割領域のそれぞれについて、分割領域内の画素における輝度の時系列変化から前記流動方向を特定し、
それぞれの分割領域ごとに、特定した前記流動方向を複数の期間にわたって集計することで流動方向頻度分布を作成し、
それぞれの分割領域ごとに、前記異常状態が発生していない状態で作成した前記流動方向頻度分布から流動方向に関する確率密度分布を作成し、前記確率密度分布を前記基準流動方向データとする
請求項1に記載の異常検出装置。
【請求項3】
前記検出部は、
前記監視時のあらかじめ設定された期間において、前記複数の分割領域のそれぞれについて、分割領域内の画素における輝度の時系列変化から前記流動方向を特定することで前記監視時流動方向データを作成し、
前記監視時流動方向データとして作成された前記流動方向が、前記基準流動方向データとして作成された前記確率密度分布において許容確率未満の確率である分割領域を、前記異常状態が発生した分割領域として特定する
請求項2に記載の異常検出装置。
【請求項4】
前記撮像素子により撮像された前記監視対象領域の画像を表示するとともに、前記複数の分割領域のそれぞれにおいて前記監視時に特定された流動方向の識別表示を行う表示器をさらに備え、
前記検出部は、前記監視時に特定された前記流動方向を、流動方向に対応付けてあらかじめ設定されたカラーチャートに従って色付けして前記表示器に表示させることで、前記識別表示を行う
請求項3に記載の異常検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、定常状態とは異なる異常状態を、画像処理を利用して検出する異常検出装置に関する。
【背景技術】
【0002】
画像処理技術を応用し、監視カメラが撮像した監視領域の中から、人工光源を省いて炎の領域だけを抽出できる従来の火災検出装置がある(例えば、特許文献1参照)。このような火災検出装置は、炎が発生した状態を、定常状態とは異なる異常状態として検出する異常検出装置に相当する。
【0003】
特許文献1に係る従来装置は、監視領域を撮影する撮影手段と、撮影手段により撮影された画像を格納するための画像メモリとを備え、画像メモリに格納された画像を処理することにより火災を検出する。より具体的には、この従来装置は、画像から火災らしい領域を抽出する火災候補領域抽出手段と、火災らしい領域の周辺の火災周辺領域に、黒煙が発生しているか否かを検出する黒煙検出手段と、黒煙検出手段が黒煙を検出した時に、火災らしい領域が本当の火災領域であると判別する火災判別手段とを備えている。
【0004】
そして、黒煙検出手段は、火災周辺領域における輝度値の低い領域の面積を演算する特徴量演算手段から構成される。このような構成を備えることで、従来装置は、所定値以上の明度を有する領域を火災らしい領域として抽出し、その火災らしい領域の周辺の火災周辺領域の明度が所定値以下の時に、この火災周辺領域に黒煙が発生していると検出している。そして、従来装置は、最終的に、黒煙が発生している場合には、その火災らしい領域が本当の火災領域であると判別している。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来技術には、以下のような課題がある。
特許文献1に係る従来技術は、所定値以上の明度を有する領域を火災らしい領域として抽出し、その火災らしい領域の周辺を火災周辺領域として特定している。しかしながら、火災らしい領域を特定した後に、火災周辺領域を特定する2段階処理では、1段階目において、誤報源によって、火災らしい領域を特定してしまうおそれがある。
【0007】
ここで、監視領域としてトンネルを想定し、かつ、トンネル内の車がヘッドライトを点灯した状態で渋滞に巻き込まれている場合を考える。この場合、ヘッドライトの移動に伴う画像変化を、火災らしい領域として誤検出するおそれが考えられる。すなわち、炎以外の誤報源に相当するヘッドライトにより、高輝度領域が変化する状態を、火災らしい領域として特定してしまうおそれが考えられる。
【0008】
この結果、渋滞の影響で車が通常よりも遅いスピードで移動しているだけであり、定常状態であるにもかかわらず、炎が発生した異常状態として誤検出してしまうおそれがあった。従って、定常状態において発生しうる画像変化を、異常状態として誤検出してしまうことを抑制し、画像処理技術を用いて高精度に異常状態を検出することが望まれている。
【0009】
本発明は、前記のような課題を解決するためになされたものであり、定常状態において発生しうる画像変化にもかかわらず、異常状態であると誤検出してしまうことを抑制する異常検出装置を得ることを目的とする。
【課題を解決するための手段】
【0010】
本発明に係る異常検出装置は、撮像素子により撮像された監視対象領域の画像に対して画像処理を施すことにより、定常状態とは異なる異常状態の検出を行う検出部を備えた異常検出装置であって、検出部は、検出すべき異常状態が発生していない状態で撮像素子により撮像された複数の画像から輝度の時系列変化を算出し、輝度の時系列変化に基づいて、監視対象における輝度の流動方向を特定した基準流動方向データを作成し、異常状態の検出を行う監視時において撮像素子により撮像された複数の画像から輝度の時系列変化を算出し、算出した輝度の時系列変化に基づいて監視対象領域における輝度の流動方向を特定した監視時流動方向データを作成し、基準流動方向データと監視時流動方向データとの比較から、監視対象領域内における異常状態が発生したことを特定するものである。
【発明の効果】
【0011】
本発明によれば、定常状態において発生しうる画像変化にもかかわらず、異常状態であると誤検出してしまうことを抑制する異常検出装置を得ることができる。
【図面の簡単な説明】
【0012】
【
図1】本発明の実施の形態1における異常検出装置の構成図である。
【
図2】本発明の実施の形態1に係る炎検出部において実行される流動方向の検出処理に関する説明図である。
【
図3】本発明の実施の形態1に係る炎検出部において実行される、定常状態における流動方向頻度分布の作成処理に関する説明図である。
【
図4】本発明の実施の形態1に係る炎検出部において実行される、定常状態確率密度分布の作成処理に関する説明図である。
【
図5】本発明の実施の形態1に係る炎検出部において、異常状態が発生した領域を特定する処理に関する説明図である。
【
図6】本発明の実施の形態1に係る異常検出装置において、定常状態の学習結果を画像とともに示した図である。
【
図7】本発明の実施の形態1に係る異常検出装置において、定常状態の流動方向確率分布を画像とともに示した図である。
【
図8】本発明の実施の形態1に係る異常検出装置において、第1の異常検知結果を画像とともに示した図である。
【
図9】本発明の実施の形態1に係る異常検出装置において、第2の異常検知結果を画像とともに示した図である。
【
図10】本発明の実施の形態1に係る異常検出装置において、第3の異常検知結果を画像とともに示した図である。
【発明を実施するための形態】
【0013】
以下、本発明の異常検出装置の好適な実施の形態につき、図面を用いて説明する。
【0014】
実施の形態1.
図1は、本発明の実施の形態1における異常検出装置の構成図である。本実施の形態1における異常検出装置は、画像メモリ10、炎検出部30、および表示器40を備えている。画像メモリ10は、撮像素子に相当するカメラ1により撮像された画像を、過去一定期間分、時系列データとして記憶できるように、複数フレーム分の画像メモリとして構成されている。
【0015】
また、炎検出部30は、基準流動方向データ作成部31、監視時流動方向データ作成部32、および炎判定部33を含んで構成され、カメラ1により撮像された監視対象領域の画像に対して画像処理を施す。炎検出部30内の基準流動方向データ作成部31は、検出すべき異常状態が発生していない状態でカメラ1により撮像された複数の画像から輝度の時系列変化を算出する。
【0016】
ここで、監視対象領域とは、分割することで構成された複数の分割領域のそれぞれが、複数の画素から構成された領域として規定することができる。そして、基準流動方向データ作成部31は、それぞれの領域ごとに、輝度の時系列変化を算出する。さらに、基準流動方向データ作成部31は、それぞれの領域ごとに、算出した輝度の時系列変化に基づいて監視対象における輝度の流動方向を特定した基準流動方向データを作成する。
【0017】
一方、炎検出部30内の監視時流動方向データ作成部32は、異常状態の検出を行う監視時においてカメラ1により撮像された複数の画像から輝度の時系列変化を算出する。すなわち、監視時流動方向データ作成部32は、それぞれの領域ごとに、輝度の時系列変化を算出する。さらに、監視時流動方向データ作成部32は、それぞれの領域ごとに、算出した輝度の時系列変化に基づいて監視対象領域における輝度の流動方向を特定した監視時流動方向データを作成する。
【0018】
さらに、炎検出部30内の炎判定部33は、基準流動方向データ作成部31で作成された基準流動方向データと、監視時流動方向データ作成部32で作成された監視時流動方向データとの比較から、監視対象領域内における異常状態が発生したことを特定する。
【0019】
また、表示器40は、カメラ1により撮像された監視対象領域の画像を表示するとともに、複数の分割領域のそれぞれにおいて監視時に特定された流動方向の識別表示を行う。炎検出部30は、監視時に特定された流動方向を、流動方向に対応付けてあらかじめ設定されたカラーチャートに従って色付けして、表示器40に表示させることで、識別表示を行わせることが可能である。なお、カラーチャートは、既存の表色系(例えば、マンセル表色系など)に対応させることにより、画像全体の流動方向を容易に認識できるものとなっている。
【0020】
このように、
図1に示す構成を備えた本実施の形態1に係る異常検出装置は、交通流により生じる画像変化から定常状態を定義し、定常状態から外れた画像変化を異常状態として検出することができる。なお、定常状態の定義および異常検知には、画像変化の流動方向が用いられる。
【0021】
上述したように、本実施の形態1に係る異常検出装置は、画像変化の流動方向を用いることで、異常状態を検出している点を特徴としている。そこで、本発明における流動方向データを用いた異常状態の検出原理について、まず始めに概略ステップを説明する。
【0022】
<流動方向の検出原理について>
本実施の形態1に係る異常検出装置では、「複素正弦波変調撮像によるオプティカルフロー検出理論」という既存の技術を用いて、領域ごとに流動方向が推定される。より具体的には、以下の手順で流動方向が特定される。
【0023】
ステップ1:連続フレーム画像に基づいて、画素ごとに輝度の時系列変化グラフを得る。
ステップ2:連続フレーム画像の輝度推移を示す時系列変化グラフと、三相正弦波との相関により位相画像を得る。
ステップ3:位相画像に対して空間微分を行うことで画素ごとのベクトルを求める。
ステップ4:ベクトルの時空間的安定性から流動領域を検出する。
ステップ5:流動領域中において、ベクトルの時空間平均値を算出することで、それぞれの領域における流動方向を特定する。
【0024】
図2は、本発明の実施の形態1に係る炎検出部30において実行される流動方向の検出処理に関する説明図である。
図2(a)は、画像メモリ10に蓄積された連続フレーム画像を示している。
図2(b)は、上述したステップ1により画素ごとに生成される輝度の時系列変化グラフを示している。
図2(b)では、3×3の各画素に関する輝度の時系列変化グラフを例示している。
【0025】
さらに、
図2(c)は、輝度の時系列変化グラフに対して上述したステップ2~ステップ5を実行することで、3×3の画素領域において推定結果として特定された流動方向を模式的に示している。炎検出部30は、
図2に示した一連処理を実行することで、連続フレーム画像の時系列変化から、領域ごとに流動方向を特定することができる。
【0026】
<流動方向を用いた異常状態の検出処理について>
次に、流動方向を用いた異常状態の検出処理について、詳細に説明する。
図3は、本発明の実施の形態1に係る炎検出部30において実行される、定常状態における流動方向頻度分布の作成処理に関する説明図である。
図3(a)は、交通流映像からの流動方向収集データを示している。すなわち、
図3(a)に示したデータは、交通流により生じる画像変化から定常状態を定義するために収集され、画像メモリ10に蓄積されている連続フレーム画像に相当する。
【0027】
図3(b)は、
図3(a)に示した流動方向収集データを複数回取得し、それぞれの取得結果に対して
図2(c)に示した流動方向推定結果を得ることで生成される流動方向データを示している。
【0028】
図3(c)は、
図3(b)で得られたそれぞれの流動方向推定結果を基に、横軸を流動方向[°]、縦軸を頻度として集計した流動方向頻度分布である。炎検出部30は、
図3に示した一連処理を実行することで、交通流の流動方向を学習する。そして、炎検出部30は、学習結果として流動方向頻度分布を生成することにより、定常状態を定義する。すなわち、炎検出部30は、定常状態を定義する学習データとして、領域ごとに、流動方向頻度分布(ヒストグラム)を生成することができる。
【0029】
次に、
図4は、本発明の実施の形態1に係る炎検出部30において実行される、定常状態確率密度分布の作成処理に関する説明図である。
図4(a)は、
図3(c)で示した定常状態頻度分布に相当する。
図4(b)は、
図4(a)に示した定常状態頻度分布から生成される定常状態確率密度分布を示している。
【0030】
炎検出部30は、
図4に示した一連処理を実行することで、学習した定常状態頻度分布から定常状態確率密度分布を特定することができる。ここで、特定された定常状態確率密度分布は、基準流動方向データに相当する。この基準流動方向データは、炎検出部30内の基準流動方向データ作成部31によって生成することができる。
【0031】
一方、炎検出部30は、監視時において、
図2に示した一連処理を実行することで、それぞれの領域ごとに、監視時における流動方向を算出する。ここで、算出された、監視時における流動方向は、監視時流動方向データに相当する。この監視時流動方向データは、炎検出部30内の監視時流動方向データ作成部32によって生成することができる。
【0032】
図4(b)に示す観測データ1および観測データ2は、監視時において算出された流動方向を例示したものである。観測データ1として得られた流動方向は、定常状態確率密度分布における確率が、あらかじめ設定された許容確率以上の値を示している。従って、炎判定部33は、監視時に観測データ1が得られた場合には、異常状態でないと判断することができる。
【0033】
一方、観測データ2として得られた流動方向は、定常状態確率密度分布における確率が、あらかじめ設定された許容確率未満の値を示している。従って、炎判定部33は、監視時に観測データ2が得られた場合には、異常状態であると判断することができる。
【0034】
次に、
図5は、本発明の実施の形態1に係る炎検出部30において、異常状態が発生した領域を特定する処理に関する説明図である。
図5に示すように、炎検出部30内の監視時流動方向データ作成部32は、監視時において、連続フレーム画像から、領域ごとに流動方向を推定する。
【0035】
炎検出部30内の炎判定部33は、監視時流動方向データ作成部32によって生成された現在の流動方向である監視時流動方向データと、基準流動方向データ作成部31によってあらかじめ生成された基準流動方向データである定常状態の確率密度分布との比較から、あらかじめ設定された許容確率未満の値、つまり、許容確率の範囲外の値である場合、監視対象領域内における異常状態が発生した領域を特定する。
【0036】
次に、本実施の形態1に係る異常検出装置による一連の画像処理結果を、具体的な撮像画像とともに、
図6~
図10を用いて説明する。
【0037】
図6は、本発明の実施の形態1に係る異常検出装置において、定常状態の学習結果を画像とともに示した図である。
図6中に示した矢印は、定常状態として学習した流動方向頻度分布から、最大頻度を示す流動方向を、それぞれの領域ごとに描画したものである。
【0038】
図7は、本発明の実施の形態1に係る異常検出装置において、定常状態の流動方向確率分布を画像とともに示した図である。
図7では、□で示された1つの領域に対応する定常状態の流動方向確率分布が示されている。流動方向確率密度分布は、横軸を流動方向、縦軸を確率として表されており、この例では、最大頻度を示す流動方向が102°であることを示している。
【0039】
図8は、本発明の実施の形態1に係る異常検出装置において、第1の異常検知結果を画像とともに示した図である。具体的には、
図8では、車がトンネル内を走行していない状態で、監視領域内に煙が発生している映像に対して、本実施の形態1に係る異常検知手法を実施した結果の一例を示したものである。
図8中の点線で囲われた領域は、流動方向を検知した領域、つまり異常状態の検知が有効に働いている領域を表している。さらに、
図8中の矢印は、領域ごとの流動方向を表したものであり、黒色は定常状態とは異なる流動方向であるが、あらかじめ設定された許容確率の範囲内であることを表している。なお、
図8中では、濃淡画像での識別を容易にするために、黒色矢印を点線矢印として表記している。
【0040】
また、その他の色(点線で示した矢印以外の矢印に相当)は、あらかじめ設定された許容確率未満、つまり、許容確率の範囲外の値であり、定常状態と大きく異なる流動方向が検出され、監視領域が異常状態であることを表している。この
図8に示す画像のように、車がトンネル内を走行していない状態であっても、煙が侵入することによって、定常状態と異なる流動方向を検出できるものとなっている。
【0041】
図9は、本発明の実施の形態1に係る異常検出装置において、第2の異常検知結果を画像とともに示した図である。具体的には、
図9では、車がトンネル内を走行している状態で、かつ監視領域内に煙が発生している映像に対して、本実施の形態1に係る異常検知手法を実施した結果の一例を示したものである。
図9中の点線で囲われた領域は、流動方向を検知した領域、つまり異常状態の検知が有効に働いている領域を表している。さらに、
図9中の矢印は、領域ごとの流動方向を表したものであり、黒色は定常状態とは異なる流動方向であるが、あらかじめ設定された許容確率の範囲内であることを表している。なお、
図9中では、濃淡画像での識別を容易にするために、黒色矢印を点線矢印として表記している。
【0042】
また、その他の色(点線で示した矢印以外の矢印に相当)はあらかじめ設定された許容確率未満、つまり、許容確率の範囲外の値であり、定常状態と大きく異なる流動方向が検出され、監視領域が異常状態であることを表している。この
図9に示す画像のように、車がトンネル内を走行している状態であっても、煙が侵入することで、定常状態と異なる流動方向を検出できるものとなっている。
【0043】
図10は、本発明の実施の形態1に係る異常検出装置において、第3の異常検知結果を画像とともに示した図である。具体的には、
図10では、トンネル内で渋滞が発生しており、かつ監視領域内に煙が発生していない映像に対して、本実施の形態1に係る異常検知手法を実施した結果の一例を示したものである。
図10中の矢印は、領域ごとの流動方向を表したものであり、黒色は定常状態とは異なる流動方向であるが、あらかじめ設定された許容確率の範囲内であることを表している。なお、
図10中では、すべての矢印が黒色矢印であるため、黒色矢印を実線矢印として表記している。
【0044】
この画像のように、トンネル内に渋滞が発生しているだけの状態であれば、車のヘッドライトがトンネル壁面に反射するような監視画像であっても、当該反射を異常状態と認識することがないので、異常状態であると誤検出してしまうことを抑制することが可能となっている。
【0045】
上述した内容をまとめると、本実施の形態1における異常検出装置は、以下のような機能を備えることを特徴としている。
(機能1)検出すべき異常状態が発生していない状態で、カメラ1により撮像された複数の画像から輝度の時系列変化を算出し、輝度の時系列変化に基づいて、監視対象における輝度の流動方向を特定した基準流動方向データを作成する。
【0046】
(機能2)異常状態の検出を行う監視時において、カメラ1により撮像された複数の画像から輝度の時系列変化を算出し、算出した輝度の時系列変化に基づいて、監視対象領域における輝度の流動方向を特定した監視時流動方向データを作成する。
(機能3)基準流動方向データと監視時流動方向データとの比較から、監視対象領域内における異常状態が発生した領域を特定する。
【0047】
このような機能を備えることで、本実施の形態1に係る異常検出装置は、定常状態において発生しうる画像変化にもかかわらず、異常状態であると誤検出してしまうことを抑制することができる。
【0048】
なお、上述した実施の形態1では、トンネル内で発生する炎を異常検出対象とし、渋滞走行する車のヘッドライトを誤報要因として説明したが、本発明はこのような場合に限定されるものではない。例えば、ベルトコンベアを用いた製造ライン、荷物やゴミなどを搬送する流通装置など、定常状態として一方向に流れが生じている監視対象が挙げられる。このように、監視領域ごとに、輝度の時系列変化から算出できる定常状態における流動方向と、異常状態における流動方向(例えば、荷物などの発火によって生じる煙の流動方向)とが、識別可能であれば、本実施の形態1で説明した異常検知手法を適用することができる。
【0049】
この結果、画像処理により領域ごとに算出した流動方向に基づいて異常状態の有無を判断することで、定常状態において発生しうる画像変化にもかかわらず、異常状態であると誤検出してしまうことを抑制することができる異常検出対象を実現できる。
【0050】
このような適用においては、炎検出部30は、異常状態を検出するための検出部として機能し、炎判定部33は、異常状態であるか否かを判定する判定部として機能する。
【0051】
なお、本願発明の基準流動方向データ作成部31、および監視時流動方向データ作成部32は、画像を複数の監視対象領域に分割し、それぞれの領域毎に時系列変化を算出するものとしたが、画素ごとに輝度の時系列変化を算出するようにしてもよい。このとき、表示器40は、画素毎に判別された流動方向を所定の範囲でまとめて集計し、監視時に特定された流動方向の識別表示を行うようにしてもよい。これにより、監視対象領域の流動方向の概要が、より容易に認識できるものとなる。
【符号の説明】
【0052】
1 カメラ(撮像装置)、10 画像メモリ、30 炎検出部(検出部)、31 基準流動方向データ作成部、32 監視時流動方向データ作成部、33 炎判定部(判定部)、40 表示器。