特開 2022-69052 移動体検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022069052

(43)【公開日】2022-05-11

(54)【発明の名称】移動体検知システム

(51)【国際特許分類】

   G06T 7/254 20170101AFI20220428BHJP

   G08G 1/16 20060101ALI20220428BHJP

   G08G 1/04 20060101ALI20220428BHJP

【ＦＩ】

G06T7/254 A

G08G1/16 C

G08G1/04 C

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2020177997

(22)【出願日】2020-10-23

(11)【特許番号】

(45)【特許公報発行日】2021-12-15

(71)【出願人】

【識別番号】513087677

【氏名又は名称】ＰＣＩソリューションズ株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】特許業務法人創成国際特許事務所

(72)【発明者】

【氏名】澤戸 寛明

(72)【発明者】

【氏名】島山 求

(72)【発明者】

【氏名】古賀 淳也

(72)【発明者】

【氏名】増山 晴美

(72)【発明者】

【氏名】安生 達也

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181CC04

5H181CC24

5H181FF27

5H181LL02

5H181LL04

5H181LL07

5H181LL08

5H181LL14

5L096BA04

5L096DA02

5L096FA14

5L096FA52

5L096FA59

5L096GA06

5L096GA19

5L096GA43

5L096GA51

5L096GA55

5L096HA04

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

【課題】検知対象の移動体を限定して、高精度で移動体を検知することができる移動体検知システムを提供する。
【解決手段】本発明の移動体検知システム１において、認識装置１０は、一定照度の光源が撮像領域Ｒ１内の閉領域Ｓに侵入したとき車両Ｃの存在を検知する移動体検知手段１１と、平均照度の変化から車両Ｃの閉領域Ｓの通過を検知する閉領域通過検知手段１２と、閉領域Ｓにおける平均照度が変化しない場合に閉領域Ｓを通過しない移動体として検知対象から除外するフィルタリング手段１３と、閉領域Ｓを通過した車両Ｃがその上側に隣接する隣接閉領域Ｔを指定時間内に通過したかを判定する隣接閉領域間移動判定手段１４を備えている。
【選択図】図２

【特許請求の範囲】

【請求項1】

撮像装置を用いて所定領域を撮像し、撮像された画像又は映像から移動体の動きを認識する認識装置を備える移動体検知システムであって、
前記認識装置は、
一定の照度を有する光源が撮像領域を水平方向及び垂直方向に分割した閉領域に侵入したことにより前記移動体の存在を検知する移動体検知手段と、
前記撮像領域内の特定の閉領域における平均照度の変化から、前記移動体が当該閉領域に侵入し、侵出する当該閉領域の通過を検知する閉領域通過検知手段と、
前記閉領域における平均照度が変化しない場合に、当該閉領域を通過しない移動体として、検知対象から除外するフィルタリング手段と、
前記閉領域を通過した前記移動体が当該閉領域の上側に隣接する隣接閉領域を指定時間内に通過したかを判定する隣接閉領域間移動判定手段と、
を備えていることを特徴とする移動体検知システム。

【請求項2】

請求項１に記載の移動体検知システムにおいて、
前記認識装置は、前記撮像装置が有する撮像センサのサイズ及び焦点距離と、撮像対象の物体の大きさと、前記撮像装置から当該撮像対象の物体までの距離とに基づいて、前記閉領域の位置及び大きさを決定する閉領域決定手段を備えていることを特徴とする移動体検知システム。

【請求項3】

請求項１又は２に記載の移動体検知システムにおいて、
前記認識装置は、
機械学習済み認識モデルを用いて前記撮像領域内の道路エリアと当該道路エリア以外のエリアとを識別する道路識別手段と、
前記閉領域を前記道路エリア内に設定する道路内閉領域設定手段と、
を備えていることを特徴とする移動体検知システム。

【請求項4】

請求項３に記載の移動体検知システムにおいて、
前記認識装置は、前記撮像装置の前記撮像領域の角度及び範囲の制御を指示する撮像制御手段を備え、
前記撮像制御手段は、前記撮像領域の水平方向を少なくとも２以上の区域に分割し、当該各区域のうち前記道路エリアの面積が最大の区域が当該撮像領域の中央にくるように調整した後、前記撮像領域をズームインすることを特徴とする移動体検知システム。

【請求項5】

請求項１～４の何れか１項に記載の移動体検知システムにおいて、
前記認識装置は、
機械学習済み認識モデルを用いて前記移動体の有無を検知する機械学習移動体検知手段と、
前記撮像された画像又は映像から撮像環境の明度を判定する環境明度判定手段と、を備え、
前記環境明度判定手段が判定した前記明度に基づいて、前記機械学習移動体検知手段と前記移動体検知手段の両方、又は何れか一方により前記移動体を検知することを特徴とする移動体検知システム。

【請求項6】

請求項１～５の何れか１項に記載の移動体検知システムにおいて、
前記認識装置は、
前記撮像領域を水平方向及び垂直方向に分割して複数の前記閉領域を生成する閉領域生成手段と、
前記閉領域の各々に対して平均照度の変化を検知する平均照度検知手段と、
前記閉領域のうち、前記平均照度が予め定めた閾値以上の領域からなるハイライトエリアを抽出し、当該ハイライトエリアの中心座標の軌跡が前記撮像領域の下方に移動する下方移動ベクトルとなっているかを判定するベクトル判定手段と、
を備えていることを特徴とする移動体検知システム。

【請求項7】

請求項６に記載の移動体検知システムにおいて、
前記ベクトル判定手段は、カウンタを有し、
前記ハイライトエリアの中心座標の軌跡が、前記撮像領域の下方に移動するベクトルの場合に前記カウンタの値を加算し、上方に移動するベクトルの場合に前記カウンタの値を減算し、
前記カウンタの値が予め定めた所定値以上となったとき、前記下方移動ベクトルと判定することを特徴とする移動体検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置により撮像された画像又は映像から移動体の動きを検知する移動体検知システムに関する。

【背景技術】

【0002】

従来、移動体の動きを検知する方法として、撮像した動画データに含まれるフレームの画素値の差分を算出し、二値化処理を行う方法（フレーム差分法）や、フレーム内から検知対象の画像の特徴点を抽出して、時系列的にその特徴点を追跡する方法（オプティカルフロー法）等が知られている。

【0003】

下記の特許文献１の動体検知システムは、例えば車等に搭載して、自身の周囲に往来する動体を検知するためのシステムである。この動体検知システムは、動体検知装置、撮像手段であるカメラ（撮像部）、スピーカ及びモニタを備えている。

【0004】

動体検知システムは、複数の画像フレームを取得すると、動体検知装置が複数の画像フレームのうち第一の画像フレームと、第一の画像フレームより前に取得された第二の画像フレームとの輝度の差分の絶対値から求めたＯＮ画素を含む前処理フレームを求める。

【0005】

さらに、動体検知装置は、前処理フレーム内の領域毎にＯＮ画素の個数を集計し、複数の前処理フレームにおいて、ＯＮ画素の個数から求めた重心の経時変化を求める。これにより、動体の検知、移動方向の検知を可能としている（特許文献１／段落００２９～００３９、図４，図８）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１７－２２００２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１の動体検知システムの場合、画像フレーム内に存在する全ての動体を検知し、その経時変化を調べている。このことは、画像フレーム内で風により揺れる木の枝等も検知対象になることを意味する。

【0008】

従って、例えば動体として、車両の移動方向を調べたい場合に、今回は調べる必要のない動体の動きが障害となり、検知の精度が低下してしまうという問題があった。

【0009】

本発明は上記課題に鑑み、検知対象の移動体を限定して、高精度で移動体を検知することができる移動体検知システムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決するため、本発明は、撮像装置を用いて所定領域を撮像し、撮像された画像又は映像から移動体の動きを認識する認識装置を備える移動体検知システムであって、
前記認識装置は、一定の照度を有する光源が撮像領域を水平方向及び垂直方向に分割した閉領域に侵入したことにより前記移動体の存在を検知する移動体検知手段と、前記撮像領域内の特定の閉領域における平均照度の変化から、前記移動体が当該閉領域に侵入し、侵出する当該閉領域の通過を検知する閉領域通過検知手段と、前記閉領域における平均照度が変化しない場合に、当該閉領域を通過しない移動体として、検知対象から除外するフィルタリング手段と、前記閉領域を通過した前記移動体が当該閉領域の上側に隣接する隣接閉領域を指定時間内に通過したかを判定する隣接閉領域間移動判定手段と、
を備えていることを特徴とする。

【0011】

本発明の移動体検知システムにおいて、認識装置の移動体検知手段は撮像された画像又は映像中の光源が撮像領域内の閉領域に侵入したとき、移動体（車両等）の存在を検知する。また、閉領域通過検知手段は、特定の閉領域の平均照度の変化を検知する。具体的には、当該閉領域に一定の照度を有する移動体が侵入すると閉領域内の平均照度が高くなり、移動体が侵出すると平均照度が元に戻ることを利用して、当該閉領域を通過する移動体を検知する。

【0012】

閉領域内を移動するだけで通過しない移動体については、当該閉領域内の平均照度が変化しないため、フィルタリング手段が検知対象から除外する。さらに、隣接閉領域間移動判定手段は、閉領域を通過した移動体が当該閉領域の上側に隣接する隣接閉領域を指定時間内に通過したことを判定することで、移動の方向とその移動が連続して発生していることを認識する。このように、本移動体検知システムは、撮像装置に接近してくる移動体に限定して、高精度で移動体の検知を行うことができる。

【0013】

本発明の移動体検知システムにおいて、
前記認識装置は、前記撮像装置が有する撮像センサのサイズ及び焦点距離と、撮像対象の物体の大きさと、前記撮像装置から当該撮像対象の物体までの距離とに基づいて、前記閉領域の位置及び大きさを決定する閉領域決定手段を備えていることが好ましい。

【0014】

例えば、移動体に対して閉領域が大きすぎる場合には、移動体が当該閉領域に侵入したとしても、平均照度の変化が小さく、分かり難い。このため、閉領域決定手段は、撮像センサのサイズ及び焦点距離と、撮像対象の物体（移動体）の大きさと、撮像装置から当該撮像対象の物体までの距離に基づいて閉領域の大きさを算出し、決定する。これにより、本移動体検知システムは、平均照度の変化を捕え易い、適切な大きさの閉領域を生成することができる。

【0015】

また、本発明の移動体検知システムにおいて、
前記認識装置は、機械学習済み認識モデルを用いて前記撮像領域内の道路エリアと当該道路エリア以外のエリアとを識別する道路識別手段と、前記閉領域を前記道路エリア内に設定する道路内閉領域設定手段と、を備えていることが好ましい。

【0016】

道路識別手段は、機械学習済み認識モデルを利用することで、撮像領域内の道路エリアと道路エリア以外のエリアとを正確に識別することができる。さらに、道路内閉領域設定手段は、閉領域を道路エリア内に設定するので、道路上に存在する移動体を確実に検知することができる。

【0017】

また、本発明の移動体検知システムにおいて、
前記認識装置は、前記撮像装置の前記撮像領域の角度及び範囲の制御を指示する撮像制御手段を備え、
前記撮像制御手段は、前記撮像領域の水平方向を少なくとも２以上の区域に分割し、当該各区域のうち前記道路エリアの面積が最大の区域が当該撮像領域の中央にくるように調整した後、前記撮像領域をズームインすることが好ましい。

【0018】

撮像制御手段は、撮像領域の水平方向を分割し、認識された道路エリアが最大の区域が撮像領域の中央にくるように撮像領域の角度及び範囲の調整を指示する。その後、撮像制御手段は、撮像領域をズームインする。これにより、道路上の車両を的確に撮像領域内に収めることができる。

【0019】

また、本発明の移動体検知システムにおいて、
前記認識装置は、機械学習済み認識モデルを用いて前記移動体の有無を検知する機械学習移動体検知手段と、前記撮像された画像又は映像から撮像環境の明度を判定する環境明度判定手段と、を備え、
前記環境明度判定手段が判定した前記明度に基づいて、前記機械学習移動体検知手段と前記移動体検知手段の両方、又は何れか一方により前記移動体を検知することが好ましい。

【0020】

環境明度判定手段は、撮像された画像又は映像から撮像環境の明度を検知して昼間、夜間、夕方の判定を行うことができる。また、認識装置は、機械学習済み認識モデルを用いて移動体の有無を検知する機械学習移動体検知手段を備えている。そして、移動体検知システムは、昼間には機械学習移動体検知手段を利用し、夜間は上述の移動体検知手段を利用し、夕方は移動体検知手段と機械学習移動体検知手段の両方を利用するといったように、撮像環境の明度に応じて検知手段を切り替える。これにより、本移動体検知システムは、撮像環境に応じて正確に移動体を検知することができる。

【0021】

また、本発明の移動体検知システムにおいて、
前記認識装置は、前記撮像領域を水平方向及び垂直方向に分割して複数の前記閉領域を生成する閉領域生成手段と、前記閉領域の各々に対して平均照度の変化を検知する平均照度検知手段と、前記閉領域のうち、前記平均照度が予め定めた閾値以上の領域からなるハイライトエリアを抽出し、当該ハイライトエリアの中心座標の軌跡が前記撮像領域の下方に移動する下方移動ベクトルとなっているかを判定するベクトル判定手段と、を備えていることが好ましい。

【0022】

この構成によれば、閉領域生成手段が生成した閉領域の各々に対して、平均照度検知手段が平均照度の変化を検知する。これにより、移動体が閉領域内に存在するか否かの判定を行うことができる。また、ベクトル判定手段は、ハイライトエリアを抽出し、その中心座標の軌跡が下方移動ベクトルとなっているかを判定する。そして、下方移動ベクトルとなっている場合に、その移動体が認識装置に接近する方向へ移動していると判定することができる。

【0023】

また、本発明の移動体検知システムにおいて、
前記ベクトル判定手段は、カウンタを有し、前記ハイライトエリアの中心座標の軌跡が、前記撮像領域の下方に移動するベクトルの場合に前記カウンタの値を加算し、上方に移動するベクトルの場合に前記カウンタの値を減算し、前記カウンタの値が予め定めた所定値以上となったとき、前記下方移動ベクトルと判定することが好ましい。

【0024】

この構成によれば、ベクトル判定手段はカウンタを有しており、カウンタ値を加算していくことで下方移動ベクトルとなっているかを判定する。これにより、下方移動ベクトルの判定精度を高めることができる。

【図面の簡単な説明】

【0025】

【図1】第１実施形態に係る移動体検知システムの概要を説明する図。

【図2】撮像装置の画像データを説明する図。

【図3】第１実施形態の認識装置と撮像装置の内部構成を説明する図。

【図4A】（ａ）車両の閉領域通過検知処理を説明する図（１）。（ｂ）閉領域の平均照度グラフ（１）。

【図4B】（ａ）車両の閉領域通過検知処理を説明する図（２）。（ｂ）閉領域の平均照度グラフ（２）。

【図4C】（ａ）車両の閉領域通過検知処理を説明する図（３）。（ｂ）閉領域の平均照度グラフ（３）。

【図5】（ａ）閉領域サイズの決定処理を説明する図（１）。（ｂ）閉領域サイズの決定処理を説明する図（２）。

【図6】第２実施形態の認識装置と撮像装置の内部構成を説明する図。

【図7】（ａ）道路エリアの決定処理を説明する図（視点調整前、等倍）。（ｂ）道路エリアの決定処理を説明する図（区域分割、等倍）。（ｃ）道路エリアの決定処理を説明する図（視点調整後、等倍）。（ｄ）道路エリアの決定処理を説明する図（視点調整後、５倍ズーム）。

【図8】（ａ）機械学習移動体検知を説明する図（昼間）。（ｂ）機械学習移動体検知を説明する図（夕方）。（ｃ）移動体検知を説明する図（夕方）。（ｄ）移動体検知を説明する図（夜間）。

【図9】セル生成処理について説明する図。

【図10】平均照度検知処理について説明する図。

【図11A】移動ベクトル判定処理について説明する図。

【図11B】（ａ）ハイライトエリア。（ｂ）ハイライトエリア（ΔＴ後）。

【図12】隣接レイヤー間移動体検知処理について説明する図。

【0026】

［第１実施形態］
まず、図１を参照して、本発明の第１実施形態に係る移動体検知システム１の概要を説明する。

【0027】

移動体検知システム１は、認識装置１０と撮像装置５０とを備えている。移動体検知システム１は、例えば、夜間に高速道路で工事や落下物回収を行う特別車両Ｖに搭載され、特別車両Ｖに接近してくる車両Ｃを検知する機能を有している。

【0028】

認識装置１０と撮像装置５０とは有線又は無線で接続され、互いに通信が可能となっている。撮像装置５０は、道路後方を撮像して画像データ（リアルタイム映像）を取得し、認識装置１０に送信する。そして、認識装置１０は、撮像装置５０で撮像された画像データの画像処理を実行する。

【0029】

認識装置１０は、画像データから車両の有無や、当該車両が認識装置１０に接近してくる方向か、離れていく方向か等を解析する。

【0030】

認識装置１０が、図中の車両Ｃを特別車両Ｖに接近してくる移動体と認識した場合、特別車両Ｖ付近で作業を行う作業員Ｐにとって危険な状況が発生し得る。このため、認識装置１０は、作業員Ｐの所有する携帯端末と通信して、警告音や振動を出力させて状況を報知する。また、特別車両Ｖに警報器を取り付けて作業員Ｐに報知してもよい。

【0031】

次に、図２を参照して、撮像装置５０により撮像された画像データについて説明する。

【0032】

図（写真）の外枠は、撮像装置５０により撮像された画像データの領域（撮像領域Ｒ１）である。撮像領域Ｒ１には、道路、周辺の木々、道路標識、ガードレール、建物、そして道路上の車両が含まれ得る。また、道路内の枠（実線）は、閉領域Ｓ（以下、「セル」ともいう）を示している。詳細は後述するが、移動体検知システム１では、閉領域Ｓを通過する移動体を認識し、移動が継続して発生しているか等を解析する。

【0033】

閉領域Ｓの上側に隣接する領域は、隣接閉領域Ｔである。撮像装置５０に接近してくる車両Ｃは、撮像領域Ｒ１の下方に移動することになる。車両Ｃが閉領域Ｓに侵入する直前に隣接閉領域Ｔ内に存在していた場合、撮像装置５０に接近してくる方向に移動する移動体といえるため、モニタリングの対象とする。

【0034】

ここで、図３を参照して、第１実施形態の認識装置１０と撮像装置５０の内部構成について説明する。

【0035】

認識装置１０は、移動体検知手段１１と、閉領域通過検知手段１２と、フィルタリング手段１３と、隣接閉領域間移動判定手段１４と、閉領域決定手段１５とを備えている。

【0036】

また、撮像装置５０は、撮像手段５１を備えている。撮像手段５１は、動画又は静止画が撮像可能なビデオカメラであり、生成された画像データは認識装置１０に送信される。

【0037】

認識装置１０の移動体検知手段１１は、受信した画像データを解析し、移動体を検知する。移動体検知手段１１は、一定の照度を有する光源の有無（車両であれば、ヘッドライト）により移動体を検知するため、移動体の外形が認識できない夜間でも機能する。

【0038】

また、閉領域通過検知手段１２は、上述の閉領域Ｓにおける平均照度の変化から、移動体が閉領域Ｓを通過したか否かを判定する。平均照度は、画像データをグレースケール（白黒画像）化することで数値化する。例えば、数値を「０（黒）」～「２５５（白）」と定め、閉領域Ｓ内の数値の平均値を算出する。数値が高いほど、閉領域Ｓ内の平均照度は高い（明るい）ことになる。

【0039】

ここで、図４Ａ～図４Ｃを参照して、移動体（車両）の検知と、当該移動体の閉領域の通過判定の詳細を説明する。

【0040】

閉領域は、撮像領域Ｒ内にマトリクス状に配列されている。ここでは、上段の閉領域を閉領域Ｓ１，Ｓ２，Ｓ３とし、下段の閉領域であって、閉領域Ｓ１，Ｓ２，Ｓ３の隣接閉領域を、それぞれ閉領域Ｔ１，Ｔ２，Ｔ３とする。

【0041】

図４Ａは、移動する車両Ｃ（丸印）が閉領域Ｓ１～Ｓ３に侵入する直前の状態を示している。図４Ａ（ａ）に示すように、ここでは、閉領域Ｓ１～Ｓ３の平均照度は低い状態である。

【0042】

図４Ａ（ｂ）は、閉領域Ｓ１の平均照度グラフ（実線）と閉領域Ｔ２の平均照度グラフ（破線）をそれぞれ示している。図示するように、閉領域Ｓ１，Ｔ２の平均照度は、レベル１を維持している。

【0043】

閉領域Ｓ３内の星印は、移動体Ｍを示している。詳細は後述するが、移動体Ｍは、閉領域Ｓ３内を移動する物体（木の枝や車両）である。なお、閉領域Ｓ２，Ｔ１，Ｔ３については、侵入してくる移動体も元々存在する移動体もないので、閉領域内の平均照度は変化しない。

【0044】

図４Ｂは、車両Ｃが閉領域Ｓ１に侵入（ゲートイン）した後の状態を示している。図４Ｂ（ａ）に示すように、車両Ｃが閉領域Ｓ１内に侵入したとき、他の閉領域と比較して閉領域Ｓ１の平均照度が高くなる。このため、移動体検知手段１１は、閉領域Ｓ１内の車両Ｃの存在を検知する。なお、車両Ｃは、閉領域Ｓ１の右下方向に進行している。

【0045】

図４Ｂ（ｂ）は、閉領域Ｓ１の平均照度グラフ（実線）を示している。図示するように、閉領域Ｓ１の平均照度は、車両Ｃが侵入している期間はレベル３になるが、この後、車両Ｃの侵出に伴ってレベル１まで低下する。また、閉領域Ｔ２の平均照度グラフ（破線）は、閉領域Ｔ２内に車両Ｃが存在しないため、レベル１のまま変化しない。

【0046】

図４Ｃは、車両Ｃが閉領域Ｓ１から侵出（ゲートアウト）し、閉領域Ｔ２に侵入した後の状態を示している。図４Ｃ（ａ）に示すように、閉領域Ｔ２内に車両Ｃが存在するため、他の閉領域と比較して閉領域Ｔ２の平均照度が高くなる。

【0047】

図４Ｃ（ｂ）は、閉領域Ｓ１の平均照度グラフ（実線）を示している。一部、図４Ｂ（ｂ）の期間と重複するが、車両Ｃが閉領域Ｓ１から侵出した後、平均照度はレベル１となる。また、閉領域Ｔ２の平均照度グラフ（破線）は、閉領域Ｔ２内に車両Ｃが存在しない期間はレベル１であるが、車両Ｃの侵入に伴いレベル３に上昇する。このように、閉領域通過検知手段１２は、閉領域Ｓ１における平均照度の変化から、車両Ｃが閉領域Ｓ１に侵入し侵出したこと、すなわち閉領域Ｓ１の通過を検知する。

【0048】

図３に戻り、認識装置１０の隣接閉領域間移動判定手段１４は、上述の例のように、車両Ｃが閉領域Ｓ（Ｓ１～Ｓ３の何れか）から侵出し、隣接閉領域Ｔ（Ｔ１～Ｔ３の何れか）に侵入するまでの事象が指定時間内に発生しているかを検知する。この検知は、車両Ｃの移動の連続性、移動方向の検知に用いられる。

【0049】

一方、移動体Ｍは、閉領域Ｓ３内を移動するだけで、閉領域Ｓ３の外部に進出しない（図４Ａ～図４Ｃの閉領域Ｓ３参照）。このため、閉領域Ｓ３の平均照度は一定値のままとなる。認識装置１０のフィルタリング手段１３は、閉領域Ｓ３における平均照度が変化しない場合に、閉領域Ｓ３を通過しない移動体（いわばノイズ）として検知対象から除外する。

【0050】

次に、図５を参照して、閉領域サイズの決定処理について説明する。

【0051】

移動体検知システム１では、上述の閉領域Ｓのサイズを適正な範囲に設定する必要がある。例えば、車両Ｃの大きさ（高さ）に対して閉領域Ｓのサイズが大きすぎる場合、車両Ｃが閉領域Ｓに侵入しても平均照度の変化が極めて小さく、検知され難い。

【0052】

このため、移動体検知システム１では、認識装置１０の閉領域決定手段１５が閉領域Ｓのサイズを決定する。具体的には、閉領域決定手段１５は、撮像装置５０が有する撮像センサの垂直方向のサイズ及び焦点距離と、撮像対象の物体の大きさと、撮像装置５０から当該撮像対象の物体までの距離とに基づいて、最適な閉領域Ｓのサイズを決定する。

【0053】

図５（ａ）に示すように、認識装置１０は、車両Ｄを認識するために、撮像領域Ｒ２内に閉領域Ｓを生成する。そして、閉領域Ｓ内に車両Ｄを検知したとき、閉領域Ｓのサイズを決定する。なお、撮像領域Ｒ２の推定高さをＨ（ｍ）とする。

【0054】

図５（ｂ）に示すように、撮像装置５０から距離Ｌ（ｍ）だけ離れた地点を走行する車両Ｄに対する撮像領域Ｒ２の推定高さＨ（ｍ）は、撮像装置５０（撮像手段５１）が有する撮像センサ５５の垂直方向サイズをＩｈ（ｍｍ）、レンズ５６の焦点距離Ｆ（ｍｍ）として、以下の式で与えられる。
Ｈ＝Ｌ×（Ｉｈ／Ｆ） ・・・（式１）
なお、焦点距離Ｆは、ズーム倍率に比例（Ｆ＝ｋ×［倍率］）する。

【0055】

例えば、Ｆ＝４．７×１０＝４７（ｍｍ）、Ｉｈ＝３．６（ｍｍ）のとき、２００ｍ（Ｌ＝２００）手前の車両Ｄについては、（式１）より、Ｈ≒１５．３（ｍ）となる。

【0056】

車両Ｄの高さｈが３．０（ｍ）である場合、その１．５倍（Ｎ＝１．５）の高さ（４．５（ｍ））の閉領域Ｓとするためには、
Ｈ_Ｃ＝（ｈ×Ｎ）／Ｈ ・・・（式２）
に従い、閉領域Ｓの高さＨ_Ｃ（％）を撮像領域Ｒ２の約３０％に抑えればよい。このような処理により、最適な閉領域Ｓのサイズが決定される。

【0057】

［第２実施形態］
移動体検知システム１では、撮像装置５０の撮像領域内に検出したい車両等の移動体を収めなければ、上述の閉領域の通過検知の機能を実現することができない。従って、撮像装置５０の方向とエリアとを制御し、接近してくる移動体を領域内に収める必要がある。

【0058】

図６は、第２実施形態の認識装置１０と撮像装置５０の内部構成を示している。認識装置１０は、第１実施形態（図３参照）で説明した構成に加え、道路認識手段１７と、道路内閉領域設定手段１８と、撮像制御手段１９と、機械学習移動体検知手段２０と、環境明度判定手段２１と、閉領域生成手段２２と、平均照度検知手段２３と、ベクトル判定手段２４とを備えている。

【0059】

道路認識手段１７は、第１の機械学習済み認識モデルを用いて、撮像領域内の道路エリアと道路エリア以外のエリア（建物、塀、木等）とを識別する。そして、道路内閉領域設定手段１８は、道路エリア内に上述の閉領域Ｓ，Ｔを設定する。これにより、移動体検知システム１は、道路上に存在する移動体（車両）を確実に検知することができる。

【0060】

次に、図７を参照して、道路エリアの決定処理を説明する。

【0061】

図７（ａ）は、撮像装置５０が道路の後方を撮像したときの等倍（ズーム無し）の撮像領域Ｒ３を示している。これは、撮像を開始した時点（視点調整前）の状態であり、撮像装置５０の視点は、撮像領域Ｒ３の中心（実線円）にある。

【0062】

その後、道路認識手段１７は、図７（ｂ）に示すように、撮像領域Ｒ３の水平方向をL(Left)-Zone、C(Center)-Zone、R(Right)-Zoneの３区域に分割する。道路認識手段１７は、さらに各区域を垂直方向で方向に３分割して上方からT(Top)-Area、M(Middle)-Area、B(Bottom)-Areaを定めて、各区域に道路の画素がどの程度含まれているかを認識する。道路認識手段１７により道路エリアと認識された部分は、所定の色彩が施される。

【0063】

図７（ｂ）の例において、L-Zone内に４７％、C-Zone内に２６％、R-Zone内に１１％の道路エリアが認識された場合、撮像領域Ｒ３の道路エリアの占める割合は、その平均の２８％となる。また、L-Zone内に道路エリアと判定された領域がどの程度あるかについて、T-Areaに１５％、M-Areaに７０％、B-Areaに１５％のように、詳細情報を取得してもよい。

【0064】

その後、撮像装置５０は、L-Zoneの中心又はR-Zoneの中心が撮像中心となるように制御が行われる。撮像装置５０の遠隔操作は、Open Network Video Interface（以下、ONVIF（登録商標）という）で標準仕様が規定されている。ONVIF制御では、左右方向及び上下方向の合わせたい回転角度に応じて、撮像手段５１を何秒回転させるかを指定することができる。同様に、ONVIF制御では、ズームアップ又はズームダウンを何秒間行うかを指定することができる。また、このONVIF制御により、撮像領域Ｒ３の中心がPTZ（Pan，Tilt，Zoom）制御される。

【0065】

撮像装置５０は、第１実施形態（図３参照）で説明した撮像手段５１に加え、撮像手段５１に制御信号を送信する制御手段５２を備えている。制御手段５２は、認識装置１０の撮像制御手段１９からの指示（制御信号）を受信し、上述のPTZ制御を行う。

【0066】

この例では、認識装置１０の道路認識手段１７が第１の機械学習済み認識モデルを利用して、撮像領域Ｒ３から道路エリアを認識する。道路エリアを算出した結果、撮像領域Ｒ３の左側に道路エリアが多く存在する（左方向のカーブ）と認識されたため、撮像制御手段１９がPTZ制御を指示する。

【0067】

具体的には、撮像制御手段１９は、第１の機械学習済み認識モデルが認識した道路エリアの面積を取得し、ONVIF制御により道路エリアの面積が最大のL-Zoneの中心（破線円）が画面中央にくるように位置調整する。具体的には、撮像制御手段１９は、視野角の１／３の角度の左方向に撮像手段５１が回転するように、ONVIF制御を行う。これにより、図７（ｃ）に示すように、撮像領域Ｒ４の中心が、撮像領域Ｒ３におけるL-Zoneの中心に移動する。

【0068】

その後、撮像制御手段１９は、図７（ｄ）に示すように、倍率の増加（５倍ズーム）を指示し、ONVIF制御により倍率の増加に応じた時間ズームアップを行う。これにより、移動体検知システム１は、道路上の移動体（車両）を的確に撮像領域内に収めることができる。

【0069】

次に、図８を参照して、撮像環境の明度に応じた移動体検知について説明する。

【0070】

第１実施形態で説明した移動体検知手段１１は画像データを解析して移動体を検知するが、検知対象が車両である場合、ヘッドライトの光によりその有無を検知する。このため、移動体検知手段１１、閉領域通過検知手段１２、フィルタリング手段１３及び隣接閉領域間移動判定手段１４からなる移動体検知は、撮像環境の明度（明るさ）が低い夜間に適用されることが好ましい。

【0071】

一方、撮像環境の明度が高い昼間の場合は、第２の機械学習済み認識モデル（例えば、Intel社からOpenVINO（登録商標）として提供されている移動体認識モデル）を用いて画像データを解析し、移動体の有無を検知するのが最も簡易である。第２の機械学習済み認識モデルによる車両の検知は、認識装置１０の機械学習移動体検知手段２０が担当する（図６参照）。

【0072】

認識装置１０の環境明度判定手段２１は、画像データを解析して又は画像データの平均照度から撮像環境の明度を判定し、当該画像データが撮像された時間が昼間、夕方、夜間の何れに当たるかを判断する。なお、認識装置１０がリアルタイムクロックを備えている場合、その日時から昼間、夕方、夜間の判定を行うこともできる。

【0073】

環境明度判定手段２１が撮像時間を「昼間」と判断した場合には、上述の機械学習移動体検知により車両の有無を検知するように制御される。また、環境明度判定手段２１が撮像時間を「夜間」と判断した場合には、第１実施形態の移動体検知で車両の有無を検知するように制御される。

【0074】

また、環境明度判定手段２１が撮像時間を「夕方」と判断した場合には、機械学習移動体検知と第１実施形態の移動体検知のハイブリッド方式で車両の有無を検知するように制御する。これにより、移動体検知システム１は、撮像環境の明度に応じて、正確に移動体検知を行うことができる。

【0075】

次に、図９～図１２を参照して、接近移動体検知処理について説明する。これは、第１実施形態とは異なる手法で撮像装置５０に接近してくる移動体を検知する処理であり、認識装置１０の閉領域生成手段２２、平均照度検知手段２３及びベクトル判定手段２４を用いる（図６参照）。

【0076】

図９は、撮像装置５０により撮像された画像データ（撮像範囲Ｒ５）を示している。認識装置１０の閉領域生成手段２２は、撮像領域Ｒ５内に閉領域（セル）を生成する。

【0077】

セルを生成するため、閉領域生成手段２２は、まず、撮像領域Ｒ５をレイヤーに分割する。ここで、「レイヤー」とは、撮像領域Ｒ５を垂直方向で分割した画像エリアである。図９の例では、閉領域生成手段２２が撮像領域Ｒ４を垂直方向に７分割している（Layer_1～Layer7）。その後、閉領域生成手段２２が各レイヤーを水平方向で分割してセルを生成する。これにより、例えば、Layer_3を分割したCell_Aや、Layer_7を分割したCell_Bが生成される。

【0078】

レイヤーの垂直方向の高さは任意の値に設定できるが、撮像領域Ｒ５の上方のレイヤーは、下方のレイヤーよりも高さが低いことが好ましい。撮像領域Ｒ５の上方のセルサイズを小さくすることにより、接近方向（下方）のセルサイズが大きくなるため、遠方の接近車両がセル内に存在するかの判定精度が向上する。

【0079】

次に、認識装置１０の平均照度検知手段２３は、セルの各々に対して平均照度の変化を検知し、接近車両の存在を判定する。図１０に示すように、平均照度検知手段２３は、まず、撮像領域Ｒ６内の複数のセル（例えば、領域Ｘの６個のセル）に対し、平均照度計算処理を実行する。平均照度計算処理では、セルの各々に対して平均照度を算出し、最低照度を更新する。

【0080】

平均照度の算出は第１実施形態と同様であるが、まず、画像データをグレースケール（白黒画像）化することで数値化する。さらに、セル内の数値（０～２５５）の平均値を算出する。数値が高いほど、セル内の平均照度は高い（明るい）ことになる。

【0081】

その後、平均照度検知手段２３は、平均照度変化評価処理を実行する。本処理では、［条件１］（平均照度）≧（指定閾値）であるかと、［条件２］(平均照度－最低照度)＞指定閾値であるかの２条件を判定して評価する。平均照度検知手段２３は、［条件１］及び［条件２］が満たされた場合、セル内に接近車両が存在すると推定する。

【0082】

例えば、指定閾値を「１００」とし、領域Ｘ内のCell_Cの最低照度の数値が「３０」、Cell_Cの平均照度の数値が「２３７」であった場合、平均照度（２３７）≧指定閾値（１００）であり、平均照度（２３７）－最低照度（３０）＞指定閾値（１００）であるため、［条件１］及び［条件２］を満たす。従って、平均照度検知手段２３は、Cell_C内に接近車両が存在すると推定する。

【0083】

次に、認識装置１０のベクトル判定手段２４は、OpenCV等の汎用的な画像処理ソフトパッケージで提供されている機能を利用し、セル内のハイライトエリア（照度が指定閾値以上）の中心座標を求め、中心座標の軌跡が撮像領域Ｒ６の下方に向かって移動するベクトル（下方移動ベクトル）になっているか否かを判定する。

【0084】

図１１Ａに示すように、ベクトル判定手段２４は、まず、撮像領域Ｒ６内のCell_Cに対し、再分割セル平均照度処理を実行する。本処理では、セルを水平方向及び垂直方向に分割して再分割セルを生成し（例えば、１６個の再分割セル）、当該再分割セルの平均照度を算出する。

【0085】

次に、ベクトル判定手段２４は、ハイライトエリア算出処理を実行する。図１１Ｂ（ａ）において、Cell_C内の領域ＨＡは、本処理で算出されたハイライトされた再分割セルの外形を示している。さらに、ベクトル判定手段２４は、ハイライトベクトル処理を実行する。本処理では、ハイライトエリア（領域ＨＡ）の中心座標Ｏ_１を決定し、中心座標Ｏ_１の軌跡を調べる。

【0086】

図１１Ｂ（ｂ）は、図１１Ｂ（ａ）の状態からΔＴ後の領域ＨＡを示している。ここでは、車両の移動に伴いCell_C内の領域ＨＡが変形し、中心座標は点Ｏ_２に移動している。このとき、ベクトル判定手段２４は、移動ベクトル（Ｏ_１→Ｏ_２）の角度から接近判定を行う。

【0087】

ベクトル判定手段２４がカウンタを備えており、カウンタ値により移動ベクトルを求めてもよい。領域ＨＡの中心座標の軌跡が撮像領域Ｒ６の下方に移動する移動ベクトルの場合、当該カウンタの値を加算する。一方、当該中心座標の軌跡が上方に移動する移動ベクトルの場合、当該カウンタの値を減算する。そして、当該カウンタの値が予め定めた所定値以上となったとき、ベクトル判定手段２４が下方移動ベクトルであると判定する。

【0088】

最後に、認識装置１０の隣接閉領域間移動判定手段１４は、隣接するレイヤー間を車両が指定時間内に通過したか否かを判定する。図１２は、撮像領域Ｒ６内の複数のセル（領域Ｙの９個のセル）を示している。例えば、処理対象セルがLayer_4に存在するCell_Eであった場合、平均照度検知手段２３は、Cell_Eに対して平均照度の変化を検知し、接近車両の存在を検知する。

【0089】

Cell_Eに接近車両が存在すると判定された場合、隣接閉領域間移動判定手段１４は、Cell_Eの１つ上に隣接するレイヤー、すなわちLayer_3のセル（Cell_CやCell_D）が指定時間内（例えば、１～２秒）に、接近車両の存在を検知しているかを判定する。この判定により、車両の移動の連続性、移動方向が検知されるので、結果的に撮像装置５０に接近してくる移動体を検知することができる。

【0090】

本発明は、上記の実施形態に限定されるものではなく、本発明の技術的範囲に属する限り、種々の形態をとりうる。移動体として車両の例を示したが、バイク、農耕用車、自転車等でもよい。

【符号の説明】

【0091】

１ 移動体検知システム
１０ 認識装置
１１ 移動体検知手段
１２ 閉領域通過検知手段
１３ フィルタリング手段
１４ 隣接閉領域間移動判定手段
１５ 閉領域決定手段
１７ 道路認識手段
１８ 道路内閉領域設定手段
１９ 撮像制御手段
２０ 機械学習移動体検知手段
２１ 環境明度判定手段
２２ 閉領域生成手段
２３ 平均照度検知手段
２４ ベクトル判定手段
５０ 撮像装置
５１ 撮像手段
５２ 制御手段
５５ 撮像センサ
５６ レンズ
Ｃ，Ｄ 車両
Ｒ１～Ｒ６ 撮像領域
Ｓ，Ｓ１～Ｓ３ 閉領域
Ｔ，Ｔ１～Ｔ３ 隣接閉領域
Ｖ 特別車両

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】