特許 7575923 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-22

(45)【発行日】2024-10-30

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241023BHJP

   H04N 7/18 20060101ALI20241023BHJP

   G08G 1/04 20060101ALI20241023BHJP

【ＦＩ】

G06T7/00 650A

H04N7/18 D

G08G1/04 D

【請求項の数】 10

(21)【出願番号】P 2020197334

(22)【出願日】2020-11-27

(65)【公開番号】P2022085577

(43)【公開日】2022-06-08

【審査請求日】2023-10-17

(73)【特許権者】

【識別番号】524066085

【氏名又は名称】ＦＣＮＴ合同会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】星 努

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０２０－０１３２０６（ＪＰ，Ａ）

【文献】特開２０１３－１７１５３３（ＪＰ，Ａ）

【文献】特開２００６－２５９９００（ＪＰ，Ａ）

【文献】特開２０００－０４８２１１（ＪＰ，Ａ）

【文献】特開２０１９－０４７１６４（ＪＰ，Ａ）

【文献】特開２０００－１７５１７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｈ０４Ｎ ７／１８

Ｇ０８Ｇ １／０４

(57)【特許請求の範囲】

【請求項1】

撮影装置において逐次撮影された、道路を通過する車両の画像を取得することと、
一対の前記逐次撮影された画像間のオプティカルフローを生成することと、
前記オプティカルフローに所定の条件を充足する部分が含まれるときに、前記一対の前記逐次撮影された画像の少なくも一方において、前記所定の条件を充足する部分に対応する部分領域で物体を認識する処理を実行することと、
前記物体を認識する処理により認識された物体を計数することと、を実行する制御部を備える情報処理装置。

【請求項2】

前記所定の条件を充足する部分は、前記オプティカルフローの各画素における値が所定の基準値を超える画素の数を画像平面上の第１の軸方向に積算した積算値が所定の基準値を超える部分であって、前記第１の軸方向に直交する第２の軸上で特定される部分である請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、前記認識された物体が存在する範囲において、前記第２の軸上で特定される部分が複数存在する場合に、前記複数存在する部分を１つの部分に一体化する処理を実行する請求項２に記載の情報処理装置。

【請求項4】

前記制御部は、前記所定の条件を充足する部分に対応する部分領域に加えて、前記部分領域の周囲の所定の近隣領域で前記物体を認識する処理をさらに実行する請求項１から３のいずれか１項に記載の情報処理装置。

【請求項5】

前記物体を認識する処理により物体が認識された後に前記オプティカルフローに前記所定の条件を充足する部分が含まれていないと判断される場合に、前記制御部は、前記逐次撮影された画像間で前記物体が停止しているか否かを判定し、
前記逐次撮影された画像間で前記物体が停止している場合には、前記オプティカルフローに前記所定の条件を充足する部分が含まれるか否かを判定する処理を停止し、前記逐次撮影された画像間で前記物体が再度移動を開始したときに、前記オプティカルフローに前記所定の条件を充足する部分が含まれるか否かを判定する処理を再開する請求項１から４のいずれか１項に記載の情報処理装置。

【請求項6】

前記制御部は、前記オプティカルフローの中央付近を含む所定範囲において、前記所定の条件を充足する部分が含まれるか否かを判定し、前記所定範囲において前記所定の条件を充足する部分が検出されたときに、前記一対の前記逐次撮影された画像の少なくも一方における前記所定範囲に対応する部分において、前記物体を認識する処理を実行する請求項１から５のいずれか１項に記載の情報処理装置。

【請求項7】

前記制御部は、前記オプティカルフローの中央付近を含む所定範囲において前記所定の条件を充足する部分が検出できない場合に、前記オプティカルフロー以降に生成される後のオプティカルフローにおいて、前記所定範囲よりも前記物体の移動方向側の所定範囲において、前記所定の条件を充足する部分が含まれるか否かを判定し、
前記後のオプティカルフローに前記所定の条件を充足する部分が含まれるときに、前記後のオプティカルフローを生成した一対の画像の少なくも一方において、前記所定の条件を充足する部分に対応する部分領域で前記物体を認識する処理を実行する請求項６に記載の情報処理装置。

【請求項8】

前記制御部は、前記一対の前記逐次撮影された画像よりも前に取得された画像において、物体を認識している場合であって、かつ、前記認識している物体が前記画像を撮影する画角の範囲を通過する前に前記オプティカルフローの中央付近を含む前記所定範囲において前記所定の条件を充足する部分が検出できなかった場合には、前記オプティカルフロー以降であって前記認識している物体が前記画像を撮影する画角の範囲を通過するまでの間に、前記物体を認識する処理により認識された物体を計数することを実行しない請求項７に記載の情報処理装置。

【請求項9】

コンピュータが、
撮影装置において逐次撮影された、道路を通過する車両の画像を取得することと、
一対の前記逐次撮影された画像間のオプティカルフローを生成することと、
前記オプティカルフローに所定の条件を充足する部分が含まれるときに、前記一対の前記逐次撮影された画像の少なくも一方において、前記所定の条件を充足する部分に対応する部分領域で物体を認識する処理を実行することと、
前記物体を認識する処理により認識された物体を計数することと、を実行する情報処理方法。

【請求項10】

コンピュータに、
撮影装置において逐次撮影された、道路を通過する車両の画像を取得することと、
一対の前記逐次撮影された画像間のオプティカルフローを生成することと、
前記オプティカルフローに所定の条件を充足する部分が含まれるときに、前記一対の前記逐次撮影された画像の少なくも一方において、前記所定の条件を充足する部分に対応する部分領域で物体を認識する処理を実行することと、
前記物体を認識する処理により認識された物体を計数することと、を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、およびプログラムに関するものである。

【背景技術】

【0002】

交通量調査として道路を通過する車両の台数によって例示される物体の数が計数されることがある。一般的には車両の台数は調査員によってカウントされる。ただ、今日では、Artificial Intelligence（AI、人工知能）によって物体の数を計数するシステムも提供
されている。しかし、システムがAIを使用する場合、AIが物体の数を認識できるように学習することが要求される。また、AIによらない画像認識で物体の数を計数することも想定される。しかし、画像認識では、一般的には、システムの処理量が大きくなる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１３５０９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述のように、画像認識によって物体の数を計数すると情報処理の処理量が増大する。本発明の実施の形態の１つの側面は、情報処理の処理量を抑制して、かつ、高精度で物体の数を計数することにある。

【課題を解決するための手段】

【0005】

本発明の一実施の形態は、情報処理装置によって例示される。本情報処理装置は、撮影装置において逐次撮影された画像を取得することと、一対の前記逐次撮影された画像間の差分画像を生成することと、前記差分画像に所定の条件を充足する部分が含まれるときに、前記一対の前記逐次撮影された画像の少なくも一方において、前記所定の条件を充足する部分に対応する部分領域で物体を認識する処理を実行することと、前記物体を認識する処理により認識された物体を計数することと、を実行する制御部を備える。

【発明の効果】

【0006】

本情報処理装置によれば、情報処理の処理量を抑制して、かつ、高精度で物体の数を計数することができる。

【図面の簡単な説明】

【0007】

【図1】図１は一実施形態の車両台数計数システムの構成を例示する図である。

【図2】図２は一実施の形態の情報処理装置と監視カメラのハードウェア構成を例示する図である。

【図3】図３は車両台数計数システムにおけるデータの流れおよび動作を例示する図である。

【図4】図４は画像を表示する画面の構成を例示する図である。

【図5】図５は画像フレームから、ヒートマップ形式の差分画像の生成、Ｙ軸方向の積算値の表示、および積算値が閾値以上となる部分の表示を実行する手順を画面で例示する図である。

【図6】図６は画像認識で得られた車両の存在範囲と、差分がある画素の画素数の積算値が閾値を超える範囲とを重畳した図である。

【図7】図７は単一の車両がオプティカルフローで２つの移動物体として検出される場合の対応方法を例示する図である。

【図8】図８は画像フレームが夜間にヘッドライト等で照らされた領域を含む場合の処理を例示する図である。

【図9】図９は車両が停止し、差分検知ができない場合の処理を例示する図である。

【図10】図１０は太陽等の映り込み等で画面に白いノイズが発生し、差分検知、物体認識できなくなった場合の処理を例示する図である。

【図11】図１１は、歪みが大きい画像の周辺を避けて、画像の中央付近で画像認識する処理を例示する図である。

【図12】図１２は情報処理装置の処理を例示するフローチャートである。

【発明を実施するための形態】

【0008】

以下、図面を参照して本実施の形態の車両台数計数システムを説明する。

【0009】

＜構成＞
図１は、本実施形態の車両台数計数システムの構成を例示する図である。車両台数計数システムは、監視カメラ２０と情報処理装置１０を有する。図１の構成では、情報処理装置１０は、監視カメラ２０からの画像を取得する。そして、情報処理装置１０は、コンピュータプログラムによる情報処理方法を実行し、取得された画像から、監視カメラ２０で撮影される画角の範囲を通過する車両の台数を計数する。ただし、計数する対象が車両に限定される訳ではない。情報処理装置１０は、人、動物、車両以外の移動体、その他の物体を計数してもよい。

【0010】

本実施の形態では、監視カメラ２０は、一例として360°半天球カメラを備える。360°半天球カメラのような広角カメラを使うことによって道路上に死角を作ることなく監視が可能となる。ただし、本実施の形態では、監視カメラ２０が、360°半天球カメラに限定
される訳ではない。監視カメラ２０は、180°半天球カメラ、広角の魚眼レンズを有する
カメラ、または、通常のカメラを備えるものであってもよい。

【0011】

図１において、監視カメラ２０は、例えば、半径５０ｍの範囲で、360°半球状の画角
で撮影対象から画像を取得する。画像は、例えば、動画であり、所定のフレーム周期で、取得され、監視センターの情報処理装置１０に送信される。本実施形態では、動画を構成する画像を画像フレームとも呼ぶ。

【0012】

図２は、本実施の形態の情報処理装置１０と監視カメラ２０のハードウェア構成を例示する図である。図２のように、情報処理装置１０と監視カメラ２０とはネットワークＮを介して接続される。ネットワークＮに限定はなく、無線通信ネットワークであってもよいし、有線通信ネットワークであってもよい。また、ネットワークＮは、無線通信ネットワークと有線通信ネットワークを組み合わせたものであってもよい。

【0013】

情報処理装置１０はＣＰＵ（Central Processing Unit）１１と、主記憶部１２と、イ
ンターフェース（Ｉ／Ｆ）を通じて接続される外部機器を有する。ＣＰＵ１１はプロセッサとも呼ばれる。外部機器としては、外部記憶部１３、表示部１４、操作部１５、および通信部１６を例示できる。

【0014】

ＣＰＵ１１は、主記憶部１２に実行可能に展開されたコンピュータプログラムを実行し、情報処理装置１０の機能を提供する。主記憶部１２は、ＣＰＵ１１が実行するコンピュータプログラム、ＣＰＵ１１が処理するデータ等を記憶する。主記憶部１２は、Dynamic Random Access Memory（ＤＲＡＭ）、Static Random Access Memory（ＳＲＡＭ）、Read Only Memory（ＲＯＭ）等である。ＣＰＵ１１と主記憶部１２は、制御部の一例として動
作する。さらに、外部記憶部１３は、例えば、主記憶部１２を補助する記憶領域として使用され、ＣＰＵ１１が実行するコンピュータプログラム、ＣＰＵ１１が処理するデータ等
を記憶する。外部記憶部１３は、ハードディスクドライブ、Solid State Disk（ＳＳＤ）等である。さらに、情報処理装置１０には、着脱可能記憶媒体の駆動装置を設けてもよい。着脱可能記憶媒体は、例えば、ブルーレイディスク、Digital Versatile Disk（ＤＶＤ）、Compact Disc（ＣＤ）、フラッシュメモリカード等である。

【0015】

表示部１４は、例えば、液晶ディスプレイ、エレクトロルミネッセンスパネル等である。操作部１５は、例えば、キーボード、ポインティングデバイス等である。本実施形態では、ポインティングデバイスとしてマウスが例示される。通信部１６は、ネットワークＮ上の他の装置と無線通または有線通信よりデータを授受する。そして、例えば、ＣＰＵ１１は、通信部１６およびネットワークＮを通じて、監視カメラ２０から逐次複数の画像フレームを取得する。

【0016】

一方、監視カメラ２０は、ＭＰＵ（Micro Processing Unit）２１、メモリ２２、通信
回路２６、およびカメラ２７を有する。ＭＰＵ２１、メモリ２２、通信回路２６の構成および作用は、ＣＰＵ１１、主記憶部１２および通信部１６と同様である。また、カメラ２７は、すでに述べたように、360°半天球カメラ、180°半天球カメラ、広角の魚眼レンズを有するカメラ、または、通常のカメラである。カメラ２７は、所定のフレーム周期で、メモリ２２上に画像を形成し、通信回路２６およびネットワークＮを介して、情報処理装置１０に送信する。

【0017】

図３は、本車両台数計数システムにおけるデータの流れおよび動作を例示する図である。監視カメラ２０は、所定のフレーム周期（例えば毎秒30枚の割合）で画像を撮影する（Ｄ１）。撮影した各時刻における画像フレームのデータにはタイムスタンプが付与される。画像フレームのデータは、監視カメラ２０から情報処理装置１０に送信される。情報処理装置１０は、タイムスタンプが付与された画像フレームのデータを個別に画像フレームデータベースに保存する（Ｄ２）。すなわち、情報処理装置１０は、画像フレームデータベースにおいて、個々の画像フレームのデータそれぞれ個別にアクセス可能である。

【0018】

各時刻に取得される画像フレームのデータはその前の時刻の画像フレームのデータと比較され、差分画像が生成される。そして、生成された差分画像を用いて移動体検知が行われる（Ｄ３）。この方法はオプティカルフローと呼ばれるデータを用いる一般的な方法である。

【0019】

オプティカルフローを使って移動体がカメラの画角の中を通過することが認識された場合、情報処理装置１０は、移動体を含む画像フレームの中からある一枚の画像データを選択する（Ｄ４）。この画像データは、上記差分画像の作成に用いた画像データの一方である。

【0020】

そして、情報処理装置１０は、その画像データに対して画像認識を行い、移動体、例えば、車両を検出する（Ｄ５）。さらに、情報処理装置１０は、上記オプティカルフローと画像認識の結果とを関連付ける（Ｄ６）。そして、情報処理装置１０は、上記オプティカルフロー（差分画像）と画像認識で認識されたものとを関連付けた結果に基づき、通過する車両台数を計数する（Ｄ７）。

【0021】

すなわち、情報処理装置１０は、オプティカルフローにより移動体検知を行った結果と、画像認識により物体（車両等）を検出した結果とを比較する。以下、画像認識により車両が認識されるものとして説明がされる。オプティカルフローによって検知された移動体と画像認識により検出された車両が同じ位置にあった場合は、情報処理装置１０は１台の車両が通過したとして台数を計数する。仮に移動体検知したものが画像認識で車両として認識されなかった場合には、情報処理装置１０は、計数値を増加しない。また移動体が複
数の車両だった場合はその台数分の計数値を加算する。なお、詳細な計数手順は、図１２で後述する。以下では、詳細な計数手順の説明の前に、画像に基づいて処理例を説明する。

【0022】

＜画面構成＞
図４に、情報処理装置１０が画像を表示する画面の構成を例示する。画面の全体は、画像エリアとなっている。画像エリアには、画像認識処理の対象となる画像フレームが表示される。ただし、情報処理装置１０は、画面に一連の画像フレームを動画として表示することもできる。

【0023】

図４の画面には、マップウィンドウと、グラフウィンドウが表示されている。図４では、マップウィンドウと、グラフウィンドウは、画面中央上部に表示されている。しかし、マップウィンドウと、グラフウィンドウの位置が、図４の例に限定される訳ではない。マップウィンドウには、オプティカルフローがヒートマップ形式で表示される。ここで、ヒートマップ形式は、各画素の位置で、オプティカルフローにおける１対の画像の差分値をカラー、グレースケールまたはモノクロの明暗で２次元表示したもの（差分画像）である。

【0024】

グラフウィンドウは、ヒートマップ形式の差分画像で、横方向をＸ軸、上下方向をＹ軸とした場合に、Ｘ座標が同一であるすべての画素のうち、差分値が存在する画素の画素数をＹ軸方向に積算し、積算値を折れ線グラフで表したものである。なお、積算される画素は、所定以上の画素値を有するものに限定してもよい。また、差分画像自体を２値画像であってもよい。情報処理装置１０は、２値の差分画像については、単純に差分値が存在す画素の画素数をＹ軸方向に積算すればよい。この積算値には、閾値が設定される。積算値が閾値以上の場合に、情報処理装置１０は、有意な差分値の画素領域が存在した判断する。すなわち、情報処理装置１０は、Ｙ軸方向に閾値以上の幅（画素数）の画素が存在する場合に、オプティカルフローにおいて差分が検知されたと判断する。一方、積算値が閾値未満の場合に、情報処理装置１０は、オプティカルフロー、すなわち、撮影時刻が隣接する２枚の画像フレーム間で、差分が検出されなかったと判断する。図４では、積算値のグラフとともに、閾値のラインが表示され、積算値が閾値以上の部分が矩形で例示されている。

【0025】

＜処理例＞
図５は、画像フレームから、ヒートマップ形式の差分画像の生成、Ｙ軸方向の積算値の表示、および積算値が閾値以上となる部分の表示を実行する手順を画面で例示する図である。情報処理装置１０は、オプティカルフローにて道路上を通過する物体を検知し、AIによる画像認識によりその物体が車両と認識できた場合に車両台数１台を計数する。

【0026】

図５の例では、情報処理装置１０は、道路上に存在する移動物体をオプティカルフローにて検知している。まず、情報処理装置１０は、フレーム間の差分をヒートマップにて表示する（Ａ１）。次に、情報処理装置１０は、隣り合った時刻の画像フレーム間の差分値を計算し、白色の明るさの程度（グレースケールの階調または２値）で表示する。次に、情報処理装置１０は、差分が存在する画素数のＹ軸方向における積算値を計算し、グラフ表示する。例えば、差分値が２値で表現される場合、情報処理装置１０は、単純に、差分が存在する画素数をＹ軸方向に積算すればよい。また、差分値が２値以上の多値で表現される場合、情報処理装置１０は、所定の基準値以上の差分値が存在する画素数を計数してもよい。差分が存在する画素数のＹ軸方向における積算値は、差分画像の画素値が所定の基準値を超える画素の数を画像平面上の第１の軸方向に積算した積算値の一例である。

【0027】

次に、情報処理装置１０は、画素数の積算値に対して、移動体として認識する閾値を設
定する（Ａ３）。オプティカルフローでは、フレーム間の差分が画素（ピクセルともいう）単位で取得できる。このため、２枚の画像フレーム間において風で草木が揺れた場合でも、差分が現れる。そのため、情報処理装置１０は、図５のＡ３のような閾値を設定し、所定以上の画素数を検出した場合のみ移動体を認識するようにする。情報処理装置１０は、移動体を認識したサイズ(範囲)を表示する。図５では、Ａ３の閾値を越えた部分がハッチングを伏した矩形（Ａ４）で表示されている。この矩形のＸ軸方向のサイズが、オプティカルフローで検出した移動体（車両）のサイズとなる。所定の基準値以上の画素数の積算値が存在する部分は、差分画像に含まれる所定の条件を充足する部分の一例である。所定以上の画素数を検出した場合のみ移動物体を認識するようにすることは、所定の条件を充足する部分に対応する部分領域で物体を認識する処理を実行することの一例である。図５の矩形は、差分画像の画素値が所定の基準値を超える画素の数を画像平面上の第１の軸方向に積算した積算値が所定の基準値を超える部分であって、第１の軸方向に直交する第２の軸上で特定される部分の一例である。

【0028】

図６は画像認識で得られた車両の存在範囲と、差分がある画素の画素数の積算値が閾値を超える範囲とを重畳した図である。すなわち、情報処理装置１０は、図５で例示したように、Ｙ軸に方向に所定以上の画素数を検出したＸ軸方向の範囲（Ｃ１）を求める。また、情報処理装置１０は、画像からAIの画像認識によって車両を検知し、存在範囲（Ｃ２）を認識する。そして、情報処理装置１０は、得られた車両の存在範囲（Ｃ２）におけるＸ方向の存在範囲と、所定以上の画素数を検出したＸ軸方向の範囲（Ｃ１）との重複範囲を特定する（点線の矩形Ｃ３）。そして、情報処理装置１０は、差分が存在する画素数が閾値（Ａ３）を超えている範囲（Ｃ１）と車両が検知された存在範囲（Ｃ２）とを合併した領域に対して、重複範囲（Ｃ３）の幅の割合を計算する。そして、この割合が所定の値以上であった場合に、情報処理装置１０は、オプティカルフローで検知された移動物体を車両と判定し、車両台数を計数する対象とする。

【0029】

図７は、単一の車両がオプティカルフローで２つの移動体として検出される場合の対応方法を例示する図である。図７のように，画像フレーム中にトラックの荷台などの大きな単色領域があると、計数に問題が発生することがある。すなわち、大きな単色領域が画像フレーム間で移動しても色成分に変化が見られない。このため、大きな単色領域の重複部分は、画像フレーム間で差分として現れない。したがって、図７で、２つの中括弧ＢＲ１、ＢＲ２で例示したように、差分のある画素の領域が２つに分離して形成されることがある。その結果、情報処理装置１０は、単一の車両を２つの移動物体として認識する場合がある。情報処理装置１０が、図７の２つの中括弧ＢＲ１、ＢＲ２で示される部分ごとに物体の認識を実施した場合、車両の一部分の画像認識を実施することになる。このため、情報処理装置１０は正しく車両を認識することができない。そこで、情報処理装置１０は、物体の認識を中括弧ＢＲ３のように一定の近隣差分領域を含んだ対象に対して実施する。例えば、情報処理装置１０は、画像認識で得られた車両の存在する複数の差分のある画素の領域を１つにまとめればよい。すなわち、情報処理装置１０は、画像認識で得られた結果と、オプティカルフローで得られる結果とを重畳し、両方を相互に照合することで、複数の差分のある画素の領域を１つにまとめればよい。これにより、情報処理装置１０はAIでの車認識結果により、正しく１台の車両として検知できる。したがって、情報処理装置１０は画像内に大きな単色領域を形成する車両についても２台ではなく1台としてカウン
トすることができる。図７の処理は、認識された物体が存在する範囲において、第２の軸上で特定される部分が複数存在する場合に、複数存在する部分を１つの部分に一体化する処理の一例である。

【0030】

図８は、画像フレームが夜間にヘッドライト等で照らされた領域を含む場合の処理を例示する。車両が夜間にヘッドライトを点灯しているとヘッドライトで照らされた部分が差分として現れる。このため、オプティカルフロー上では２台の車両（Ａ、Ｂ）が１台の大
型車両として検知される場合がある。このような場合でも、図７と同様、AIでの車認識結果が２台の車両として検知できれば正しく(１台ではなく２台と)台数を計数することができる。そのため、情報処理装置１０は、１つの差分領域の周囲に存在する、所定の近隣の差分領域を含んだ範囲を対象に車両の認識を実施し、２台の車両を認識すればよい。図８の処理は、所定の条件を充足する部分に対応する部分領域に加えて、部分領域の周囲の所定の近隣領域で物体を認識する処理を実行することの一例である。

【0031】

図９は、渋滞等、車両が停止し、差分の検知ができない場合の処理を例示する図である。渋滞等にて車両が停止した場合、情報処理装置１０は、隣り合った時刻の画像フレーム間の差分を検知できない。その結果、追跡処理が一旦途切れてしまう。そのため渋滞中に「進行→停止」を繰り返すと、差分を検知する度に車両台数の計数が停止してしまう場合がある。このような場合でも、情報処理装置１０が、オプティカルフローによる移動物体の認識と、画像認識とを併用することで、車両停止による差分検知不可状態を回避できる。

【0032】

すなわち、情報処理装置１０が差分を検知することが不可能な状態に陥っても、該当地点(領域)にて継続した車両の認識ができていればよい。すなわち、情報処理装置１０は、差分を検知できない場合には、継続する画像フレーム間で、車両が停止しているか否かを判定する。そして、車両が停止している場合、オプティカルフローによる移動物体の認識を止めて、継続する画像フレームで、車両の監視を行う。そして、再度車両が動き出した場合に、情報処理装置１０が動き出した車両と、車両停止前に計数済みの車両とを同一車両として扱う。このような処理により、情報処理装置１０はダブルカウントを防ぐことができる。図９の処理は、逐次撮影された画像間で物体が停止しているか否かを判定する処理の一例である。図９の処理は、逐次撮影された画像間で前記物体が停止している場合には、差分画像に所定の条件を充足する部分が含まれるか否かを判定する処理を停止することの一例でもある。さらに、図９の処理は、逐次撮影された画像間で物体が再度移動を開始したときに、差分画像に所定の条件を充足する部分が含まれるか否かを判定する処理を再開することの一例である。

【0033】

図１０は、太陽等の映り込み等で画面に白いノイズが発生し、差分検知、物体認識できなくなった場合の処理を例示する図である。太陽の映り込み等による白飛び（ノイズ）が発生した場合、差分検知、物体認識ができない場合がある。通常のカメラの場合、画角が狭いため対策困難な場合もある。ただし、車両台数計数システムが360°半天球カメラを
使用した場合、図１０のようにオプティカルフローにて180°全域で物体追跡することが
できる。このため、移動物体を検知したタイミングで物体認識と車両台数の計数をすることができる。

【0034】

すなわち、図１０の画像フレームでは、情報処理装置１０は、画面中央付近で差分の値検知できない。車両が画面中央付近に対応する位置を通り過ぎると、情報処理装置１０は、差分を検知可能となる。情報処理装置１０は、差分を検知し、画素数を計数可能となったときに画像認識を実行すればよい。すなわち、情報処理装置１０は、画面中央付近で差分を検知できない場合には、その差分画像以降に生成される後の差分画像において、画面中央付近の所定範囲よりも物体の移動方向側の所定範囲において、Ｙ軸方向の画素数が閾値を超える部分が含まれるか否かを判定すればよい。そして、後の差分画像において、閾値を超える部分が含まれるときに、当該部分に対して、画像認識を実行し、台数を計数すればよい。

【0035】

ただし、図１０画面右側（物体の移動方向と逆側）ですでに物体が計数されている状態で、画面中央で差分値計数不可となり、画面左側（物体の移動方向側）で再度差分値検知可能となった場合、情報処理装置１０は、画面左側で車両台数を計数しない。すなわち、
情報処理装置１０は、画面中央付近で差分値検知できない場合には、差分を検知できない一対の逐次撮影された画像よりも前に取得された画像において、物体を認識しているか否かを確認する。そして、すでに、情報処理装置１０は、すでに取得された画像において、物体を認識している場合で、かつ、その物体が画像を撮影する画角の範囲を通過するまでの間は、物体の計数を実行しなければよい。情報処理装置１０は、物体の認識よる車両の台数の計数を実行していることから、車両の平均的な移動速度を計算できる。そこで、情報処理装置１０は、一旦、画像認識により車両等の物体が認識できた場合には、その位置から画角の範囲外に出るまでの時間を推定しておけばよい。また、情報処理装置１０は、画像認識よって、車両等の物体が認識できた後、認識できなくなるまでの平均時間（平均通過時間ともいう）を蓄積しておいてもよい。そして、情報処理装置１０は、画面中央付近で差分値検知できない場合で、かつ、差分を検知できない一対の逐次撮影された画像よりも前に、車両等の物体が認識されている場合には、平均通過時間経過まで、台数を計数しなければよい。つまり、平均通過時の途中で、画面中央付近で差分値が検知できない状態の後、画面中央付近より進行方向側の部分で、再び、差分値が検知できたとしても、情報処理装置１０は、この部分で画像認識または台数の計数を実行しなければよい。または、情報処理装置１０は、画面中央付近より進行方向側の部分で、再び、差分値が検知できた場合、この部分で画像認識された物体とすでに認識されている物体との同一性を判定する。そして、情報処理装置１０は、すでに、認識されている物体が再度検知された場合には、計数処理を実行しない。このように、画面中央付近で差分値検知できない場合でも、情報処理装置１０は、ダブルカウントを回避できる。

【0036】

なお本課題に対する対策としてカメラを高所に設置し車両を見下ろす形とし、画角内に太陽が映り込まないようにする方法もある。しかし高所に設置する場合、設置工事のコストが高額になることと、簡易に設置することが困難になる。このため、例えば期間限定で任意の地点での交通量調査を行う場合には適していない。本発明は、道路脇の高さ1.5ｍ
程度の高さに設置する前提であるため、簡易に設置・撤去が可能となるメリットがある。

【0037】

図１１は、歪みが大きい画像の周辺を避けて、画像の中央付近で画像認識する処理を例示する図である。従来の物体認識による車両カウント(オプティカルフロー未使用)の場合、車の「前面」「側面」「後面」を認識し移動経路を追跡する必要があった。図１１に示すように魚眼レンズで撮影した場合、中心から円周に向かうほど歪みが大きくなるため、中心部以外では物体認識精度が低下していた。一方、本実施の形態では、情報処理装置１０は、例えば車両「側面」だけ認識できるAIを使用し、画面中央付近で画像認識を実行すればよい。その結果、情報処理装置１０は、画面の円周部における認識精度低下の影響を受けない。また、情報処理装置１０は、物体認識の処理時間を短縮でき、省電力とそれに伴うバッテリーでの長時間駆動可能となる効果を得ることができる。具体的には、情報処理装置１０は、オプティカルフローを各フレームに対し実施することで移動物体を追跡する。そして、情報処理装置１０は、該当移動物体が画面中央に存在する場合にのみ物体認識処理を起動するようにする。なお、図１０のように画面中央での差分検知、物体認識が行えない場合は、差分検知による追跡処理再開を契機に物体認識を実施すれば良い。

【0038】

＜計数手順＞
図１２は、情報処理装置１０の処理を例示するフローチャートである。ここでは、情報処理装置１０は、隣り合う時刻でそれぞれ取り込まれた画像フレームを順次処理する。すなわち、情報処理装置１０は、まず、第１の画像フレームを取得する（Ｓ１）。次に、情報処理装置１０は、第２の画像フレームを取得する（Ｓ２）。Ｓ１、Ｓ２の処理は、撮影装置において逐次撮影された画像を取得することの一例である。

【0039】

そして、情報処理装置１０は、現在の画像フレーム（第２の画像フレーム）と、直前の画像フレーム（第１の画像フレーム）とのオプティカルフローを生成する（Ｓ３）。Ｓ３
の処理は、逐次撮影された画像間の差分画像を生成することの一例である。そして、情報処理装置１０は、オプティカルフローに対応する画像フレームを選択する（Ｓ４）。

【0040】

そして、情報処理装置１０は、オプティカルフローの中央領域で、閾値超えのデータ領域があるか否かを判定する（Ｓ５）。閾値超えのデータ領域がある場合（Ｓ５でＹＥＳ）、情報処理装置１０は、当該データ領域が未特定のデータ領域であるか否かを判定する（Ｓ６）。データ領域が未特定とは、過去の画像フレームにおいて、特定され、追従しているデータ領域ではないことをいう。閾値超えのデータ領域は、差分画像の所定の条件を充足する部分の一例である。

【0041】

当該データ領域が未特定のデータ領域である場合（Ｓ６でＹＥＳ）、情報処理装置１０は、画角内の当該データ領域に対する画像認識し、車両を特定する。また、情報処理装置１０は、車両の存在範囲に複数あるデータ領域を１つにまとめる（Ｓ７）。Ｓ５乃至Ｓ７の処理は、所定の条件を充足する部分に対応する部分領域で物体を認識する処理を実行することの一例である。さらに、情報処理装置１０は、車両を１台計数し、当該データ領域を特定済みとする（Ｓ８）。Ｓ８の処理は、物体を認識する処理により認識された物体を計数することの一例である。

【0042】

なお、すでに、図１０で説明した通り、情報処理装置１０は、Ｓ６の判定により、物体の移動方向と逆側で台数カウントがされた後、画面中央で白飛びが発生し、差分検知できない状態となり、その後、物体の移動方向側で再度差分値検知可能となった場合にも、ダブルカウントは回避される。また、情報処理装置１０は、未特定の物体に関して、画面中央で白飛びが発生し、差分検知できない状態となり、その後、物体の移動方向側で差分値検知可能となった場合には、漏れなく台数の計数が可能である。

【0043】

そして、情報処理装置１０は、処理をＳ５に戻し、他に特定可能なデータ領域を探す。一方、Ｓ６の判定で、当該データ領域が特定済みのデータ領域である場合、情報処理装置１０は、処理をＳ５に戻し、他に特定可能なデータ領域を探す。

【0044】

また、Ｓ５の判定で、閾値超えのデータ領域がない場合（Ｓ５でＮＯ）、情報処理装置１０は、画像フレームの画像を認識し、車両が停車中か否かを判定する（Ｓ９）。車両が停車の場合（Ｓ９でＹＥＳ）、情報処理装置１０は、後続する画像フレームに対して、車両の移動を検知する処理を実行する（Ｓ１０）。このとき、情報処理装置１０は、閾値超えのデータ領域があるか否かを判定するＳ５の処理は実行しない。つまり、Ｓ９乃至Ｓ１０の処理は、差分画像に前記所定の条件を充足する部分が含まれるか否かを判定する処理を停止することの一例である。また、Ｓ１０の処理は、逐次撮影された画像間で前記物体が停止しているか否かを判定することの一例である。

【0045】

そして、情報処理装置１０は、車両が移動を開始するまで、Ｓ１０の処理を継続する（Ｓ１１）。そして、車両が移動を開始すると、情報処理装置１０は、停車前の車両と同一の車両であることを特定し、台数を計数しないで、処理をＳ５に戻す。この処理は、逐次撮影された画像間で物体が再度移動を開始したときに、差分画像に所定の条件を充足する部分が含まれるか否かを判定する処理を再開することの一例である。

【0046】

一方、Ｓ９の処理で、停車した車両が検出できない場合、情報処理装置１０は、処理をＳ２に戻し、次の画像フレームに対する処理を実行する。画像フレーム中に車両が存在しないからである。

【0047】

＜効果＞
交通量カウントの方法は赤外線を使ったトラフィックカウンタなどもあるが、今後はカメ
ラの画像を解析することで交通量だけでなく車速、車長、および車種の他、２輪車、自転車、歩行者などを区別してカウントできる方法が望まれている。さらに幹線道路だけでなく地方の道路にも設置して全国の交通状況を把握したいというニーズがある。従来のカメラ式のトラフィックカウンタは道路に隣接した高い位置（陸橋、構造物）に設置される。このために構造物を設置する必要があり、設備設置コストが高額になってしまう。一方、道路の路肩部分の人の目線程度の位置に設置したカメラを使って正確な交通量のカウントができると、設備設置コストが少なくて済み普及が進むと考えられる。

【0048】

また設置するカメラも360°半天球カメラのような広角カメラを使うことによって道路
上に死角を作ることなく監視が可能となる。その結果、画像処理技術とAIを使って高いカウント精度を得ることが期待できる。

【0049】

従来の画像認識（AI）による交通量カウントでは車認識が数フレーム失敗するだけで車両の追跡が途切れ、本来１台の車両であっても２台、３台と誤カウントする場合があった。一方でオプティカルフローだけによる交通量カウントの場合、色成分での変化を捉えるため追跡途切れが発生することはなく、高精度で画角へのフレームインからフレームアウトまで物体の追跡が可能となる。

【0050】

しかし、一つの移動検知でえられた物体が一台の車両とは限らず、非常に近い距離を同じ速度で移動している２台の車両である場合がある。逆にサイズの大きなトラックなどは、画像の差分で移動を検知する方法では２つの移動体として認識される場合もある。情報処理装置１０は、オプティカルフローで検知した物体が何台の車であるかを画像認識で確認するので、これらのカウント間違いを防止することができる。すなあち、情報処理装置１０は、画像認識で認識された物体が存在する範囲において、オプティカルフローで特定される部分が複数存在する場合に、この複数存在する部分を１つの部分に一体化するので、ダブルカウントを防止できる。一方、情報処理装置１０は、オプティカルフローで得られる所定の条件を充足する部分に対応する部分領域に加えて、部分領域の周囲の所定の近隣領域で物体を認識する処理を実行する。このため、夜間ヘッドライトの動きを含む画像についても、ヘッドライトの領域の前後に存在する２台以上の車両を計数する精度を高めることができる。

【0051】

また、情報処理装置１０は、物体が認識された後に、画像を撮影する画角の範囲から認識された物体が通過するまでの間に、差分画像に所定の条件を充足する部分が含まれていないと判断される場合に、逐次撮影された画像間で物体が停止しているか否かを判定する。そして、物体が停止している場合には、情報処理装置１０は、逐次取得される画像において、当該物体を監視し、差分画像よる処理を停止する。そして、逐次撮影された画像間で物体が再度移動を開始したときに、差分画像に前記所定の条件を充足する部分が含まれるか否かを判定する処理を再開する。このようにして、渋滞等の影響により、車両の移動が停止し、逐次撮影された画像間で差分が認識されない場合でも、情報処理装置１０は、計数する精度を高めることができる。

【0052】

本実施の形態の情報処理装置１０では、AIによる車認識はその移動物体が車両であることを判別するためだけに使用することになり、車両のフレームインからフレームアウトするまでの数百フレームの間に一度でも車両と認識できれば良いことになる。よってAIには高い認識精度は求められずAIの開発コストを抑えることができる。

【0053】

また、情報処理装置１０は、差分画像の中央付近を含む所定範囲において、所定の条件を充足する部分が含まれるか否かを判定し、画像認識の対象とする。この結果、情報処理装置１０は、車両の側面等に限定して、画像認識を実行できるので、処理効率を向上することができる。

【0054】

また、太陽の位置によって画像がハレーションを起こして車両が撮影できない領域が発生する場合でも、移動体が見つけられるフレームデータの中から適切なデータを選択すれば、画像認識による車両検知が可能となる。したがって広角レンズを使うことによる外光の影響を避けて交通量カウントを行うことが可能となる。すなわち、情報処理装置１０は、例えば、差分画像の中央付近を含む所定範囲において、閾値を超える画素数の領域が検出できない場合に、当該差分画像以降に生成される後の差分画像において、中央付近を含む所定範囲よりも物体の移動方向側で処理を実行する。すなわち、情報処理装置１０は、移動方向側の所定範囲において、閾値を超える画素数の領域が含まれるか否かを判定すればよい。このような処理によって、中央付近を含む所定範囲がハレーションを起こしても物体の認識と計数が可能となる。一方、上記中央付近を含む所定範囲がハレーションを起こしている画像の前に、すでに、物体が特定されている場合には、情報処理装置１０は、中央付近を含む所定範囲がハレーションを起こしている画像以降で、認識している物体が画像を撮影する画角の範囲を通過するまでの間に、物体を認識する処理により認識された物体を計数することを実行しない。このため、情報処理装置１０は、中央付近を含む所定範囲がハレーションを起こしている画像を処理する場合も、ダブルカウントを抑制でき、計数の精度を高めることができる。

【0055】

また、本実施の形態では、情報処理装置１０は、差分画像の画素値が所定の基準値を超える画素の数を画像平面上の第１の軸（Ｙ軸）方向に積算した積算値が所定の基準値を超えるか否かを判定するので、オプティカルフローから簡易に該当箇所を特定できる。

【0056】

以上により、安価なカメラシステムで高精度な交通量カウントが可能となる。

【0057】

＜コンピュータが読み取り可能な記録媒体＞
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

【0058】

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ／Ｗ、ＤＶＤ、ブルーレイディスク、ＤＡＴ、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスク、ＲＯＭ（リードオンリーメモリ）等がある。さらに、ＳＳＤ（Solid State Drive）は、コンピュータ等から取り外し可能な記録媒体としても、コンピュータ
等に固定された記録媒体としても利用可能である。

【符号の説明】

【0059】

１０ 情報処理装置
１１ ＣＰＵ
１２ 主記憶部
１３ 外部記憶部
１４ 表示部
１５ 操作部
１６ 通信部
２０ 監視カメラ
２１ ＭＰＵ
２２ メモリ
２６ 通信回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】