特許 7443002 画像解析装置、画像解析方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-26

(45)【発行日】2024-03-05

(54)【発明の名称】画像解析装置、画像解析方法、及びプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20240227BHJP

   G06T 7/00 20170101ALI20240227BHJP

   G08G 1/01 20060101ALI20240227BHJP

   G08G 1/04 20060101ALI20240227BHJP

   H04N 7/18 20060101ALI20240227BHJP

【ＦＩ】

G06T7/60 110

G06T7/00 350C

G08G1/01 F

G08G1/04 C

H04N7/18 K

【請求項の数】 12

(21)【出願番号】P 2019167189

(22)【出願日】2019-09-13

(65)【公開番号】P2021043866

(43)【公開日】2021-03-18

【審査請求日】2022-09-09

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】矢野 光太郎

(72)【発明者】

【氏名】牟田 元

(72)【発明者】

【氏名】馬塲 康夫

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０１７－１１８３２４（ＪＰ，Ａ）

【文献】特開２０１０－１９８５６６（ＪＰ，Ａ）

【文献】特開２０１８－１８０６１９（ＪＰ，Ａ）

【文献】国際公開第２０１７／０３８１６０（ＷＯ，Ａ１）

【文献】二木徹（外３名），多人数を高速にカウントする映像解析ソフトウェア，画像ラボ，日本，日本工業出版株式会社，2017年03月10日，第28巻, 第3号，p.53-57

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮影された時系列の画像を取得する取得手段と、
前記時系列の画像の中で対象物の流量を計測するための検知線の方向、および、前記時系列の画像において前記検知線と交差する方向に前記対象物の流量を計測する方向を設定する設定手段と、
前記時系列の画像から取得した複数の画像と前記流量を計測する方向とを入力とするニューラルネットワークに基づいて推定された前記対象物の流量の分布を示す情報と、前記対象物の流量を計測する方向を示す情報とを表示する表示手段と、
を有することを特徴とする画像解析装置。

【請求項2】

前記推定された流量の分布と前記検知線とを基に、前記検知線を通過する前記対象物の数を計測する計測手段を有することを特徴とすることを請求項１に記載の画像解析装置。

【請求項3】

前記表示手段は、前記対象物の流量の分布を表すマップを生成することを特徴とする請求項１または２に記載の画像解析装置。

【請求項4】

前記表示手段は、前記流量の分布を表すマップを表示することを特徴とする請求項３に記載の画像解析装置。

【請求項5】

前記設定手段は、前記画像に対してユーザによって入力された線分を基に、前記対象物の流量を計測する方向を設定することを特徴とする請求項１から４のいずれか１項に記載の画像解析装置。

【請求項6】

前記設定手段は、前記時系列の画像からオプティカルフローを検出して前記対象物が移動する主方向を決定し、前記主方向を基に前記流量を計測する方向を設定することを特徴とする請求項１から５のいずれか１項に記載の画像解析装置。

【請求項7】

前記表示手段は、前記時系列の画像から取得した前記画像のサイズを縮小した画像、あるいは正規化した画像を用いて推定された、前記対象物の流量の分布を示す情報を表示することを特徴とする請求項１から６のいずれか１項に記載の画像解析装置。

【請求項8】

前記表示手段は、前記時系列の画像から取得した前記画像を小領域に分割して、前記小領域ごとに推定した流量を統合することで推定された、前記対象物の流量の分布を示す情報を表示することを特徴とする請求項１から６のいずれか１項に記載の画像解析装置。

【請求項9】

前記ニューラルネットワークは、前記検知線の方向と交差する方向である前記対象物の流量を計測する方向に対して前記対象物の流量の分布を推定する畳み込み演算を行うフィルタを生成することを特徴とする請求項１から８のいずれか１項に記載の画像解析装置。

【請求項10】

前記ニューラルネットワークは、前記対象物の流量を計測する方向に基づいて特徴マップを推定する１つ以上の畳み込み層、および、前記特徴マップに基づいて前記対象物の流量の分布を推定する１つ以上の逆畳み込み層を有し、
前記表示手段は、前記対象物の流量を計測する方向に基づいて、前記畳み込み層および逆畳み込み層からいずれかを選択することを特徴とする請求項９に記載の画像解析装置。

【請求項11】

画像解析装置が実行する画像解析方法であって、
撮影された時系列の画像を取得する取得工程と、
前記時系列の画像の中で対象物の流量を計測するための検知線の方向、および、前記時系列の画像において前記検知線と交差する方向に前記対象物の流量を計測する方向を設定する設定工程と、
前記時系列の画像から取得した複数の画像と前記流量を計測する方向とを入力とするニューラルネットワークに基づいて推定された前記対象物の流量の分布を示す情報と、前記対象物の流量を計測する方向を示す情報とを表示する表示工程と、
を有することを特徴とする画像解析方法。

【請求項12】

コンピュータを、請求項１から１０のいずれか１項に記載の画像解析装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影された画像を解析する技術に関する。

【背景技術】

【0002】

近年、カメラで所定のエリアを撮影し、その撮影で取得された時系列の画像を解析することによって画像中の対象物（例えば人物）の数を計測、および対象物の流れを解析するシステムが提案されている。このようなシステムでは、公共の空間での混雑の検知および混雑時の人の流れを把握することでイベント時の混雑解消や災害時の避難誘導への活用が期待されている。
撮影された画像中の人物の数を計測する方法としては、機械学習によって得たニューラルネットワークを用いて画像から人数を推定する方法（非特許文献１）がある。また、複数カメラの監視画像から得た人数推定結果を利用して広域での混雑度を推定する方法も（特許文献１）で提案されている。一方、画像中の人の流れを解析する方法としては、オプティカルフローの属性を集計して群衆の非定常状態を判定する方法（特許文献２）がある。また連続する異なる時刻に撮像された２フレームの画像を入力して人物の密度分布および移動ベクトルの分布を推定するニューラルネットワークを用いた人流解析システム（特許文献３）もある。

【先行技術文献】

【非特許文献】

【0003】

【文献】Wangら. Deep People Counting in Extremely Dense Crowds. Proceedings of the 23rd ACM international conference on Multimedia, 2015

【特許文献】

【0004】

【文献】特開２０１５－１０３１０４号公報

【文献】特開２０１２－２２３７０号公報

【文献】特開２０１８－１１６６９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、非特許文献１や特許文献１に記載の方法は、いずれも画像から人数（対象物の数）を計測するものであり、人の流れを把握することができない。また特許文献２に記載の方法は、人の流れを把握することはできるものの、人数を同時に把握することができない。
一方、特許文献３に記載の方法は、人の流れと共に人数を同時に把握することができるものの、画面内を通過する人数を計測する方向と関連させて把握することはできない。

【0006】

そこで、本発明は、撮影された画像から通過する対象物の数と流れを計測する方向と関連させて容易に把握可能にすることを目的とする。

【課題を解決するための手段】

【0007】

本発明の画像解析装置は、撮影された時系列の画像を取得する取得手段と、前記時系列の画像の中で対象物の流量を計測するための検知線の方向、および、前記時系列の画像において前記検知線と交差する方向に前記対象物の流量を計測する方向を設定する設定手段と、前記時系列の画像から取得した複数の画像と前記流量を計測する方向とを入力とするニューラルネットワークに基づいて推定された前記対象物の流量の分布を示す情報と、前記対象物の流量を計測する方向を示す情報とを表示する表示手段と、を有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、撮影された画像から通過する対処物の数と流れを計測する方向と関連させて容易に把握可能となる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る画像解析装置の機能構成を示す図である。

【図2】画像解析装置のハードウェア構成例を示す図である。

【図3】実施形態に係る画像解析装置の処理の流れを示すフローチャートである。

【図4】解析処理を行う画像の例を示す図である。

【図5】検知線の例を示す図である。

【図6】流量推定部のニューラルネットワークの構成を示す図である。

【図7】通過数推定部の処理を説明する図である。

【図8】流量推定部のニューラルネットワークの他の構成例を示す図である。

【図9】流量推定部のニューラルネットワークの更に他の構成例を示す図である。

【発明を実施するための形態】

【0010】

本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
図１は、本発明の実施形態に係る画像解析装置の機能構成を示す図である。
図１に示すように、本実施形態の画像解析装置は、機能構成として、取得部１０１、設定部１０２、流量推定部１０３、通過数推定部１０４、および、表示部１０５を有している。図１の機能構成の詳細な説明は後述する。

【0011】

図２は、本実施形態に係る画像解析装置のハードウェア構成例を示す図である。
図２に示すように、本実施形態の画像解析装置は、ハードウェア構成として、演算処理装置２０１、記憶装置２０２、入力装置２０３、及び出力装置２０４を含んでいる。なお、各装置は、互いに通信可能に構成され、バス等により接続されている。

【0012】

演算処理装置２０１は、図２のハードウェア構成の動作をコントロールするとともに、記憶装置２０２に格納された本実施形態の画像解析処理に係るプログラム等を実行する。演算処理装置２０１は、ＣＰＵ（Central Processing Unit）およびＧＰＵ（Graphics Processing Unit）で構成される。記憶装置２０２は、磁気記憶装置、半導体メモリ等のストレージデバイスであり、演算処理装置２０１の動作に基づき読み込まれるプログラム、および長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、演算処理装置２０１が、記憶装置２０２に格納されたプログラムの手順に従って処理を行うことによって、図１に示した画像解析装置における各機能及び後述するフローチャートに係る処理が実現される。また、記憶装置２０２は、本実施形態に係る画像解析装置が処理対象とする画像および解析結果等を記憶する。

【0013】

入力装置２０３は、マウス、キーボード、タッチパネルデバイス、ボタン等を有し、ユーザからの各種の指示を取得する。また、入力装置２０３は、カメラ等の撮像装置をも含み、撮像装置によって撮像された画像を取得する。
出力装置２０４は、液晶パネル、外部モニタ等であり、画像や本実施形態に係る画像解析の結果等を含む各種の情報を表示等することで出力する。
なお、画像解析装置のハードウェア構成は、上述した構成に限られるものではない。例えば、画像解析装置は、各種の装置間で通信を行うためのＩ／Ｏ装置を備えてもよい。Ｉ／Ｏ装置は、メモリーカード、ＵＳＢケーブル等の入出力部、有線、無線等による送受信部である。

【0014】

以下、図１に示した本実施形態の画像解析装置の構成および動作について詳細に説明する。本実施形態の画像解析装置は、カメラで撮影した時系列の画像から、それら画像中の対象物（例えば人）の流れおよび数を解析する機能を有する。
図１に示した画像解析装置において、取得部１０１は、カメラによって撮像された画像データを取得する。画像データは、時系列の画像データである。

【0015】

設定部１０２は、取得部１０１により取得された時系列画像中の対象物の流量を計測する方向（以下、流量計測方向とする）を設定する。本実施形態の場合、設定部１０２は、カメラで撮像された時系列画像中に、流量計測方向において対象物の流量を計測するための検知線を設定する検知線設定機能を有する。流量計測方向は、検知線における線の方向に対して交わる方向として設定される。

【0016】

流量推定部１０３は、取得部１０１で取得された時系列画像の中の複数の画像データと設定部１０２で設定された流量計測方向の情報とを基に、画像中の対象物（人物）の流量の分布を流量マップとして推定する。本実施形態の場合、流量推定部１０３は、時系列画像から取得した複数の画像と流量計測方向の情報とから、畳込みニューラルネットワークにより、対象物の流量を表す流量マップを推定する。ここで、流量とは、対象とする物体（人物）の移動量、および、その方向と数を表す。

【0017】

通過数推定部１０４は、流量推定部１０３で得た流量の分布から、設定部１０２で設定した検知線を通過する人数を計測する。
表示部１０５は、通過数推定部１０４で求めた通過数の解析結果、および、流量推定部１０３で推定した流量マップを表示する。

【0018】

以下、本実施形態に係る画像解析装置の動作を、図３のフローチャートに示す処理の流れに従って説明する。なお、以下の説明では監視カメラによって図４のような所定の監視対象エリアを撮影した画像４００について、画像中の群衆の解析処理を行う例について述べる。

【0019】

最初に、ステップＳ３００の処理として、設定部１０２は、監視カメラで撮像した画像中に検知線を設定する。例えば図４に示した画像４００が図２の出力装置２０４に表示されている状態で、ユーザが入力装置２０３のマウス等を介して線分を指定した場合、設定部１０２は、そのユーザ指定の線分に対応した検知線を画像中に設定する。図５には、図４に示された画像４００の中に検知線Ｌが設定された例を示している。なお、検知線Ｌの設定はユーザが入力装置２０３を介して行う方法に限らない。例えば、設定部１０２は、取得部１０１が取得した時系列画像からオプティカルフローを検出して、画像中を人物が移動する主方向を決定（推定）し、その主方向を基に検知線を自動的に設定するようにしてもよい。主方向に基づく検知線は、主方向に対して例えば直交する方向に延びる線として設定される。本実施形態の画像解析装置は、この検知線Ｌを通過した人の数を計測する。

【0020】

次にステップＳ３００における検知線の設定が完了したら、本実施形態の画像解析装置は、ステップＳ３０１以降に処理を進めて画像解析を開始する。
ステップＳ３０１に進むと、取得部１０１は、監視カメラで撮像したフレーム毎の画像データを取得する。このとき取得される画像データは、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色８ビットの画素からなる二次元データである。取得部１０１は、この画像データを時系列に順次取得する。本実施形態の画像解析装置では、図３のステップＳ３０１～ステップＳ３０４の処理を、取得したフレーム毎に繰り返し行う。

【0021】

次にステップＳ３０２の処理に進むと、流量推定部１０３は、取得部１０１で取得された複数の画像データと設定部１０２で設定された流量計測方向の情報とから、画像中の人物の流量の分布を推定する。本実施形態の場合、流量推定部１０３は、連続した２フレームの画像データと、設定部１０２で設定された流量計測方向（検知線と交わる方向）の情報とを入力とし、流量計測方向における人物の通過流量を流量マップとして推定し、出力する。

【0022】

通過流量を推定する方法としては、参考文献１に記載されているような深層ニューラルネットワークを応用して用いることができる。参考文献１には、事前に機械学習によって得たニューラルネットワークを用いて、１枚の画像を入力すると、人物の密度分布を出力することが開示されている。密度分布は、他のニューラルネットワークにより得ることもできる。本実施形態ではこの方法を応用し、連続する２フレームの画像と流量計測方向とを入力して、画像中の人物の、流量計測方向における通過流量を推定するニューラルネットワークを事前に学習し、推定に用いる。時刻ｔと時刻ｔ＋１との２フレームの画像の入力により、人の動く速さを、流量計測方向の入力により方向を、学習対象にしている。速さと方向から速度を得ることができる。密度と速度とから、通過流量が推定できるようになる。

【0023】

参考文献１：Walach E., Wolf L. (2016) Learning to Count with CNN Boosting. In: Leibe B., Matas J., Sebe N., Welling M. (eds) Computer Vision - ECCV 2016. Lecture Notes in Computer Science, vol 9906. Springer, Cham

【0024】

図６は、ニューラルネットワーク６００の構成例を示した図である。
図６の入力層６１０は、時刻ｔとその次の時刻ｔ＋１の両画像のＲＧＢの各２次元配列データと、流量計測方向を表す単位ベクトルの水平および垂直方向成分を２次元配列に拡張したデータとを連結して８チャネルの入力データを構成する。畳込み層６２０は、入力層６１０から入力データを受け取り、２次元畳込み演算、非線形変換、および、プーリング処理を所定回数繰り返す。２次元畳込み演算は、事前学習で得たフィルタ群を用いて行われ、所定チャネル数の特徴マップを得る。非線形変換は、例えばＲｅＬＵ（Rectified Linear Unit）等を用いる。プーリング処理は、２次元畳込み演算で得た特徴マップの隣接する２×２のデータの最大値あるいは平均値を求めて特徴マップのサイズを縦横２分の１に縮小する。逆畳込み層６３０は、畳込み層６２０で得た特徴マップを受け取り、２次元逆畳込み演算、および、非線形変換を所定回数繰り返す。２次元逆畳込み演算は、事前学習で得たフィルタ群を用いて行われ、所定チャネル数の特徴マップを得る。このとき得られる特徴マップのサイズは、元の特徴マップの２倍になる。このニューラルネットワークは、流量計測方向に対して予め通過流量が分かっている連続する２フレームの画像を訓練データとして学習したものである。

【0025】

図６のニューラルネットワーク６００の出力である流量マップは、濃淡の濃い丸印（出力値としてはマイナスの値）が検知線に対して画像の奥側から手前側の方向に対象物（人）が通過する流量を表している。例えば、濃い丸印ほど流量が多く、薄い丸印ほど流量が少ない。逆に、白い丸印（出力値としてはプラスの値）は、検知線に対して画像の手前側から奥側の方向に対象物が通過する流量を表している。流量マップでの丸印の位置は、入力データから検出された人の頭部分に対応している。また、１つ１つの丸印は、点ではなく大きさのある円である。

【0026】

なお、本実施形態では、取得部１０１で取得した画像データをニューラルネットワーク６００に直接入力するようにしたが、画像データのサイズを縮小、あるいは、画像データの画素値を[－１，１]の範囲に正規化して入力するようにしてもよい。あるいは、取得部１０１で取得した画像データを小領域に分割してニューラルネットワーク６００に入力して流量分布を推定し、得られた流量の分布を統合するようにしてもよい。

【0027】

次にステップＳ３０３の処理として、通過数推定部１０４は、流量推定部１０３で得た流量の分布から、設定部１０２で設定された検知線を通過する人数を計測する。
通過数推定部１０４の処理を、図７を用いて説明する。
通過数推定部１０４は、まず、検知線Ｌを囲み且つ検知線に平行な線方向に長い矩形Ｒを設定する。そして、流量推定部１０３で得た流量の分布から、矩形Ｒ内の値をマイナスの値毎およびプラスの値毎に、絶対値の総和を取る。そして通過数推定部１０４は、それらマイナスの値毎とプラスの値毎の絶対値の総和に対し、矩形Ｒの幅に応じた適切な正規化処理を行い、夫々、検知線Ｌに対して画像の奥から手前に通過する人数、検知線Ｌに対して画像の手前から奥に通過する人数とする。

【0028】

次にステップＳ３０４の処理として、表示部１０５は、通過数推定部１０４で求められた通過人数の解析結果として通過人数の数値（不図示）、および、流量推定部１０３で推定された流量マップを表示する。ここで、表示する通過人数の解析結果は、フレーム毎の検知線に対して画像の奥から手前に通過する人数、および、検知線に対して画像の手前から奥に通過する人数である。また、表示部１０５は、画像解析処理を開始した時刻からの累積人数を算出し、算出した累積人数についても表示する。また、表示部１０５は、図６に示した流量マップを出力装置２０４に表示する。このように本実施形態の画像解析装置においてはニューラルネットワークで推定した流量マップを表示することにより、ユーザは、検知線に対して人物が群衆の流れの中で逆行する等の行動を容易に把握することができる。

【0029】

その後、ステップＳ３０５において、取得部１０１は、次の処理対象のフレームが存在するか否か判定する。そして、次のフレームが存在する場合、取得部１０１は、ステップＳ３０１に処理を戻す。これにより、画像解析装置では、以下、前述同様にステップＳ３０２からステップＳ３０５の処理が、ステップＳ３０１で取得されたフレームの画像毎に繰り返されることになる。

【0030】

以上説明したように、本実施形態の画像解析装置では、時系列画像から取得した複数の画像と検知線に応じた流量計測方向とから、畳込みニューラルネットワークにより対象物の流量を表す流量マップを推定する。これにより、本実施形態の画像解析装置のユーザは、推定された流量マップから画面内を通過する人の流れと人数の情報を得ることができる。人流については、推定した流量マップを表示することで、ユーザは検知線に対する人流を容易に把握することができる。通過人数については、ステップＳ３０３で流量マップから人数を求め、ステップＳ３０４で人数を表示することで検知線に対する通過人数を把握することができる。

【0031】

本実施形態においては、流量推定部１０３は、２フレームの画像と検知線に応じた流量計測方向とを表す２次元配列を入力とするニューラルネットワークで構成した例を挙げたが、その他の構成を取ってもよい。
例えば、検知線に応じた流量計測方向について最適な流量推定を行うフィルタを生成するようニューラルネットワークが構成されてもよい。このようなニューラルネットワークは、参考文献２に開示されているＦＭＮ（filter-manifold network）を用いて構成できる。参考文献２では、群衆の人数推定を行うニューラルネットワークにカメラの向き情報に応じたフィルタを生成するようＦＭＮの学習を行って、人数推定が行われている。

【0032】

参考文献２：Kangら. Incorporating Side Information by Adaptive Convolution. Electronic Proceedings of the Neural Information Processing Systems Conference. Advances in Neural Information Processing Systems 30 (NIPS 2017)

【0033】

図８は、ＦＭＮを用いて流量推定を行うニューラルネットワーク８００の構成例を示した図である。図８中、入力層８１１、畳み込み層８２１、および逆畳込み層８３１は、夫々、図６で示したニューラルネットワーク６００の入力層６１０、畳込み層６２０、および逆畳込み層６３０と同様の構成、および機能を持つ。

【0034】

入力層８１１は、時刻ｔおよび次の時刻ｔ＋１の画像のＲＧＢの各２次元配列データから６チャネルの入力データを構成する。ＦＭＮ部８４０は、検知線に応じた流量計測方向を表す単位ベクトルを入力として複数の全結合層により２次元畳込み演算のフィルタの重み係数を生成する。畳込み層８２１の最終層では、ＦＭＮ部８４０で生成したフィルタを用いて２次元畳込み演算を行い、求めた特徴マップを逆畳込み層８３０に出力する。なお、ＦＭＮ部８４０の学習は、流量計測方向毎に通過流量を推定するニューラルネットワークを事前に学習しておき、学習によって得たフィルタを生成するように全結合層の係数を求める。

【0035】

このような構成を取ることにより、図８のニューラルネットワーク８００は、図６に示したニューラルネットワーク６００に比べ、入力層のチャネル数を８チャネルから６チャネルに減らせるので畳込み演算の処理量を削減することができる。ＦＭＮ部の入力である単位ベクトルから畳込み演算のフィルタの重み係数を生成するようにしたので、図６に示したニューラルネットワークよりも、入力層のチャネル数を２チャネル減らせる。図６では、入力層に流量計測方向に関する情報を２チャネル与え、流量計測方向に応じてニューラルネットワークを学習させていた。なお、ＦＭＮは、参考文献２に示されているように複数の畳み込み層に適用するようにしてもよい。また、ＦＭＮは、逆畳込み層に適用してもよい。

【0036】

図９は、流量推定部１０３の他の構成例を示した図である。図９の例では、逆畳込み層を複数設け、流量計測方向に応じて最適な逆畳込み層で流量推定を行うように構成されている。図９中、入力層９１２と畳み込み層９２２は、夫々、図６で示したニューラルネットワーク６００の入力層６１０と畳込み層６２０と同様の構成、および機能を持つ。

【0037】

入力層９１２は、時刻ｔおよび時刻ｔ＋１の画像のＲＧＢの各２次元配列データから６チャネルの入力データを構成する。畳込み層９２２は、２次元畳込み演算を行い、特徴マップを出力する。逆畳み込み層９３２、９３３、・・・、および９３４は、それぞれ逆畳込み層であり、図６で示したニューラルネットワーク６００の逆畳込み層６３０と同様の構成および機能を持つ。逆畳込み層９３２、９３３、・・・、および９３４は、夫々、特定の検知線に応じた流量計測方向について事前学習によって得た２次元逆畳込み演算のフィルタ係数を用いて２次元逆畳込み演算を行う。学習方法の一例は、基準となる流量計測方向（例えば、検知線が水平）の学習データで畳込み層９２２と逆畳込み層９３２を学習し、次にそれ以外の方向に対して逆畳込み層９３３～９３４を順次学習するものである。ＣＮＮ選択部９５０は、流量計測方向に応じて最適な逆畳込み層を選択する。ここで、逆畳込み層の数は有限であるから、ＣＮＮ選択部９５０は流量計測方向と逆畳込み層９３２、９３３、・・・、および９３４が学習時に最適化した流量計測方向とが最も近いものを選択するようにする。なお、図９の例では、逆畳込み層を複数設けて流量計測方向に応じて選択するように構成したが、畳込み層を複数設けるようにしてもよい。

【0038】

また本実施形態では、人物の流量を推定する畳込みニューラルネットワークの入力を連続する２フレームの画像としたが、３フレーム以上の所定枚数の連続する画像を入力するようにしてもよい。前述の流量推定部に用いたニューラルネットワークの構成は一例であり、他の構成のニューラルネットワークを用いてもよい。
また本実施形態では、カメラで撮影した画像から画像中の人の流れを解析する場合を例に挙げて説明した、対象物は人物以外の物体（例えば車両や動物など）であってもよく、本実施形態は様々な対象物の流れの解析に広く適用可能である。

【0039】

本実施形態の画像解析装置では、検知線を設定して対象物に対する流量計測方向を設定し、時系列画像から取得した複数の画像と流量計測方向とから、畳込みニューラルネットワークにより、対象物の流量を表す流量マップを推定している。これにより、本実施形態の画像解析装置によれば、画面内を通過する物体（人数）を容易に把握可能となる。

【0040】

前述した実施形態の画像解析処理に係る構成または各フローチャートの処理は、ハードウェア構成により実現されてもよいし、例えばＣＰＵが本実施形態に係るプログラムを実行することによりソフトウェア構成により実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。ソフトウェア構成のためのプログラムは、予め用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。

【0041】

なお、上述した画像解析装置では流量推定部１０３においてニューラルネットワークによる流量推定を行ったが、他の構成部でも人工知能（ＡＩ：artificial intelligence）を適用した処理が行われてもよい。例えば、設定部１０２、通過数推定部１０４などで、人工知能（ＡＩ）を適用した処理が行われてもよい。例えば、それらの各部の代わりとして、機械学習された学習済みモデルを用いてもよい。その場合には、それら各部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。この学習済みモデルは、例えばニューラルネットワークモデルで構成できる。そして、それらの学習済みモデルは、前述の各部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前述した各部の処理を行う。また、前述の学習済みモデルは、必要に応じて一定のデータを処理する毎に更新する等も可能である。

【0042】

本発明に係る制御処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。
前述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0043】

１０１：取得部、１０２：設定部、１０３：流量推定部、１０４：通過数推定部、１０５：表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】