知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-12
(45)【発行日】2024-01-22
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
G06T 7/60 20170101AFI20240115BHJP
【ＦＩ】
G06T7/60 110
【請求項の数】
17
(21)【出願番号】P 2019070654
(22)【出願日】2019-04-02
(65)【公開番号】P2020170303
(43)【公開日】2020-10-15
【審査請求日】2022-03-25
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】牟田 元
(72)【発明者】
【氏名】矢野 光太郎
(72)【発明者】
【氏名】馬塲 康夫
【審査官】山田 辰美
(56)【参考文献】
【文献】特開２０１５－０１８３３０（ＪＰ，Ａ）
【文献】特開２０１８－０２２３４０（ＪＰ，Ａ）
【文献】特開２０１８－１８０６１９（ＪＰ，Ａ）
【文献】特開２０１６－２２０１４５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
(57)【特許請求の範囲】
【請求項1】
入力画像に計測領域を設定する設定手段と、前記入力画像から、前記設定手段により設定される計測領域を含む複数の小画像であって、隣接する小画像の中央領域同士が重ならずに接するように互いに重なる前記複数の小画像を選択する選択手段と、
前記選択手段により選択される複数の小画像の中央領域における対象物の流量の分布を推定する第１の推定手段と、
前記第１の推定手段により推定される流量の分布に基づいて、前記計測領域を通過する対象物の数を推定する第２の推定手段と、
を有する画像処理装置。
【請求項2】
前記設定手段は、前記計測領域を基準となる図形に基づいて設定する請求項１に記載の画像処理装置。
【請求項3】
前記選択手段は、前記計測領域に基づき、前記入力画像を分割して得られる小画像のうち、前記計測領域を含む複数の小画像を選択する請求項１又は２に記載の画像処理装置。
【請求項4】
前記入力画像を取得する取得手段を更に有し、前記設定手段は、前記取得手段により取得される前記入力画像に前記計測領域を設定する請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項5】
前記取得手段は、固体撮像素子から前記入力画像を取得する請求項４に記載の画像処理装置。
【請求項6】
前記取得手段は、記憶装置から前記入力画像を取得する請求項４に記載の画像処理装置。
【請求項7】
前記設定手段は、前記入力画像に一又は複数の計測領域を設定する請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項8】
前記第２の推定手段により推定された前記対象物の数を出力する出力手段を更に有する請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項9】
前記出力手段は、前記計測領域を更に出力する請求項８に記載の画像処理装置。
【請求項10】
前記出力手段は、前記小画像の位置を更に出力する請求項８又は９に記載の画像処理装置。
【請求項11】
前記出力手段は、前記流量の分布を更に出力する請求項８乃至１０の何れか１項に記載の画像処理装置。
【請求項12】
前記設定手段は、ユーザーの操作に基づいて前記計測領域を設定する請求項１乃至１１の何れか１項に記載の画像処理装置。
【請求項13】
前記複数の小画像は、それぞれ、小画像の境界線と中央領域の境界線とに囲まれたマージン領域を有し、前記選択手段は、前記対象物の大きさに基づいて、前記マージン領域を設定する請求項１乃至１２の何れか１項に記載の画像処理装置。
【請求項14】
前記第１の推定手段は、前記流量の分布として、前記対象物の位置と速度に関する分布を出力する請求項１乃至１３の何れか１項に記載の画像処理装置。
【請求項15】
前記第２の推定手段は、計測領域を表す図形の幅が大きくなるように拡張された前記計測領域に基づいて、通過する対象物の数を推定する請求項１乃至１４の何れか１項に記載の画像処理装置。
【請求項16】
入力画像に計測領域を設定する設定工程と、前記入力画像から、前記設定工程において設定される計測領域を含む複数の小画像であって、隣接する小画像の中央領域同士が重ならずに接するように互いに重なる前記複数の小画像を選択する選択工程と、
前記選択工程において選択される複数の小画像の中央領域における対象物の流量の分布を推定する第１の推定工程と、
前記第１の推定工程において推定される流量の分布に基づいて、前記計測領域を通過する対象物の数を推定する第２の推定工程と、
を含む画像処理方法。
【請求項17】
コンピュータを、請求項１乃至１５の何れか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
近年、カメラ等で撮影した画像を基に、撮影領域における人の流れの量と方向、即ち人流を解析する装置が提案されている。人流を解析することで、対象領域の混雑度、及び混雑度の急増等の時間変化を追跡することができ、人が多く集まる施設、イベント会場、公園、テーマパークにおいて混雑に伴う事故や犯罪等を未然に防ぐなどの効果が期待されている。
特許文献１では、画像を複数のパッチに分割し、各々のパッチ内で人物が移動しているか滞留しているかを判定する混雑推定装置が提案されている。また、特許文献２では、画像上の全画素のオプティカルフローを画像内及び時間方向で平均化することにより推定速度を得ることで、移動速度を算出する人流計測装置が提案されている。
特許文献１では、画像を複数のパッチに分割し、各々のパッチ内で人物が移動しているか滞留しているかを判定する混雑推定装置が提案されている。また、特許文献２では、画像上の全画素のオプティカルフローを画像内及び時間方向で平均化することにより推定速度を得ることで、移動速度を算出する人流計測装置が提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００９－１１０１５２号公報
【文献】特開２００５－２４２６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、近年はカメラの性能が向上し、解像度の高い画像を容易に得ることができる。そのような高解像度の画像は画素数が多くなるため、画像サイズも大きくなる傾向がある。
特許文献１と特許文献２ではどちらも画像全体を使用して人流を解析するため、サイズの大きい画像では人流の解析が遅くなる。このため、人流の急激な変化のような短時間で起こる現象をリアルタイムに捉えることはできない。
また、人流解析では、画像内における人流のパターンが複数ある場合、どの場所にどの向きの人流があるかの局所的な情報を捉えることが求められる。その場合、複数の人流のパターンを明確に区別できるよう、十分高い解析精度が必要である。
特許文献２では、移動速度を高精度に算出するために画像上の全画素のオプティカルフローを画像内及び時間方向で平均化している。しかし、この方法では、画像全体の人流の大きな傾向を精度よくとらえることはできても、画像内の局所的な人流の変化を捉えることはできない。
特許文献１と特許文献２ではどちらも画像全体を使用して人流を解析するため、サイズの大きい画像では人流の解析が遅くなる。このため、人流の急激な変化のような短時間で起こる現象をリアルタイムに捉えることはできない。
また、人流解析では、画像内における人流のパターンが複数ある場合、どの場所にどの向きの人流があるかの局所的な情報を捉えることが求められる。その場合、複数の人流のパターンを明確に区別できるよう、十分高い解析精度が必要である。
特許文献２では、移動速度を高精度に算出するために画像上の全画素のオプティカルフローを画像内及び時間方向で平均化している。しかし、この方法では、画像全体の人流の大きな傾向を精度よくとらえることはできても、画像内の局所的な人流の変化を捉えることはできない。
【課題を解決するための手段】
【0005】
本発明の画像処理装置は、入力画像に計測領域を設定する設定手段と、前記入力画像から、前記設定手段により設定される計測領域を含む複数の小画像であって、隣接する小画像の中央領域同士が重ならずに接するように互いに重なる前記複数の小画像を選択する選択手段と、前記選択手段により選択される複数の小画像の中央領域における対象物の流量の分布を推定する第１の推定手段と、前記第１の推定手段により推定される流量の分布に基づいて、前記計測領域を通過する対象物の数を推定する第２の推定手段と、を有する。
【発明の効果】
【0006】
本発明によれば、画素数が多い高解像度の画像に対しても、高速、かつ、高精度な人流推定が可能となる。
【図面の簡単な説明】
【0007】
【図1】画像処理装置のハードウェア構成の一例を示す図である。
【図2】画像処理装置の機能構成の一例を示す図である。
【図3】画像処理の一例を示すフローチャートである。
【図4】小画像を選択する方法の一例を示す図である。
【図5A】入力画像の小画像への分割の一例を示す図である。
【図5B】計測領域を含むような小画像を選択する一例を示す図である。
【図6】計測領域を基準として小画像に分割し選択する一例を示す図である。
【図7A】小画像に中央領域とマージン領域とを設定する一例を示す図である。
【図7B】マージン領域を設定する一例を示す図である。
【図7C】入力画像の小画像への分割の一例を示す図である。
【図7D】マージン領域に検出対象がある場合の一例を示す図である。
【図7E】計測領域に沿った、入力画像の小画像への分割の一例を示す図である。
【図8A】流量の分布を取得した状態の一例を示す図である。
【図8B】人物が、小画像のマージン領域に位置している場合の一例を示す図である。
【図8C】隣接する小画像と重ならない領域から流量の分布を取得する一例を示す図である。
【図9A】流量の分布の解析結果に含まれる局所的な誤差の一例を示す図である。
【図9B】隣り合う２つのフレームにおける、流量の分布の解析結果に含まれる局所的な誤差の一例を示す図である。
【図9C】隣り合う２つのフレームにおいて、通過数の推定結果が短時間で極端に変化する場合の一例を示す図である。
【図9D】隣り合う２つのフレームにおいて、計測領域を拡張することで通過数の推定結果を安定化する方法の一例を示す図である。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態について図面に基づいて説明する。
【0009】
図１は、画像処理装置１００のハードウェア構成の一例を示す図である。画像処理装置１００は、ハードウェア構成として、制御装置１１、記憶装置１２、演算装置１３、入力装置１４、出力装置１５、Ｉ／Ｆ装置１６とを有している。
制御装置１１は、画像処理装置１００の全体を制御する。
記憶装置１２は、制御装置１１の動作に必要なプログラム及びデータを保持する。
演算装置１３は、制御装置１１からの制御に基づき、必要な演算処理を実行する。
入力装置１４は、ヒューマンインターフェースデバイス等であり、ユーザーの操作を画像処理装置１００に入力する。
出力装置１５は、ディスプレイ等であり、画像処理装置１００の処理結果等をユーザーに提示する。
Ｉ／Ｆ装置１６は、ユニバーサルシリアルバス、イーサネット（登録商標）、光ケーブル等の有線インターフェース、又はＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェースである。Ｉ／Ｆ装置１６は、カメラ等を接続して撮影画像を画像処理装置１００に入力する、画像処理装置１００で得られた処理結果を外部に送信する、画像処理装置１００の動作に必要なプログラム及びデータ等を画像処理装置１００に入力する等の機能を有する。
制御装置１１が記憶装置１２に記憶されているプログラムに基づき処理を実行することにより、後述する図２に示す画像処理装置１００の機能、及び後述する図３に示すフローチャートの処理が実現される。
制御装置１１は、画像処理装置１００の全体を制御する。
記憶装置１２は、制御装置１１の動作に必要なプログラム及びデータを保持する。
演算装置１３は、制御装置１１からの制御に基づき、必要な演算処理を実行する。
入力装置１４は、ヒューマンインターフェースデバイス等であり、ユーザーの操作を画像処理装置１００に入力する。
出力装置１５は、ディスプレイ等であり、画像処理装置１００の処理結果等をユーザーに提示する。
Ｉ／Ｆ装置１６は、ユニバーサルシリアルバス、イーサネット（登録商標）、光ケーブル等の有線インターフェース、又はＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェースである。Ｉ／Ｆ装置１６は、カメラ等を接続して撮影画像を画像処理装置１００に入力する、画像処理装置１００で得られた処理結果を外部に送信する、画像処理装置１００の動作に必要なプログラム及びデータ等を画像処理装置１００に入力する等の機能を有する。
制御装置１１が記憶装置１２に記憶されているプログラムに基づき処理を実行することにより、後述する図２に示す画像処理装置１００の機能、及び後述する図３に示すフローチャートの処理が実現される。
【0010】
図２は、画像処理装置１００の機能構成の一例を示す図である。画像処理装置１００は、機能構成として、画像取得部２０１、計測領域設定部２０２、領域選択部２０３、画像解析部２０４、流量分布取得部２０５、通過数推定部２０６とを有している。
画像取得部２０１は、人流解析に必要な入力画像を取得する。
計測領域設定部２０２は、画像取得部２０１が取得した入力画像について、人流解析を実施したい領域を、計測領域として設定する。
領域選択部２０３は、計測領域設定部２０２で設定した計測領域に基づき、画像解析部２０４の解析対象となる小画像を選択する。
画像解析部２０４は、領域選択部２０３で選択した小画像を対象として画像解析を実行する。
流量分布取得部２０５は、画像解析部２０４で実行した画像解析結果を基に、人流解析の対象物の流量の分布を取得する。
通過数推定部２０６は、流量分布取得部２０５で取得した流量の分布から、計測領域設定部２０２で設定した計測領域における通過数を推定する。
画像取得部２０１は、人流解析に必要な入力画像を取得する。
計測領域設定部２０２は、画像取得部２０１が取得した入力画像について、人流解析を実施したい領域を、計測領域として設定する。
領域選択部２０３は、計測領域設定部２０２で設定した計測領域に基づき、画像解析部２０４の解析対象となる小画像を選択する。
画像解析部２０４は、領域選択部２０３で選択した小画像を対象として画像解析を実行する。
流量分布取得部２０５は、画像解析部２０４で実行した画像解析結果を基に、人流解析の対象物の流量の分布を取得する。
通過数推定部２０６は、流量分布取得部２０５で取得した流量の分布から、計測領域設定部２０２で設定した計測領域における通過数を推定する。
【0011】
画像処理装置１００の画像処理の流れの例を、図３を用いて説明する。
Ｓ３０１において、画像取得部２０１は、人流解析に必要な入力画像を取得する。画像取得部２０１は、ＣＭＯＳセンサー、ＣＣＤセンサー等の固体撮像素子、又はこれらの固体撮像素子を搭載するカメラ等から画像を取得してもよいし、ハードディスク、ＳＳＤ等の記憶装置１２から画像を取得してもよい。
Ｓ３０２において、計測領域設定部２０２は、画像取得部２０１が取得した入力画像に計測領域を設定する。計測領域設定部２０２は、計測領域として、例えば、撮影シーンに基づき予め決められた設定値を記憶装置等から取得してもよい。また、計測領域設定部２０２は、出力装置１５に表示した画像に基づき、入力装置１４に接続されたヒューマンインターフェースデバイス等を用いたユーザーの操作に基づき設定してもよい。計測領域は単独でもよく、複数でもよい。
計測領域は、線又は矩形等の任意のガイド図形を基準に設定してもよい。ガイド図形は単独でも複数でもよい。計測領域設定部２０２は、ガイド図形に幅を持たせる等、計測領域を拡張してもよい。
Ｓ３０１において、画像取得部２０１は、人流解析に必要な入力画像を取得する。画像取得部２０１は、ＣＭＯＳセンサー、ＣＣＤセンサー等の固体撮像素子、又はこれらの固体撮像素子を搭載するカメラ等から画像を取得してもよいし、ハードディスク、ＳＳＤ等の記憶装置１２から画像を取得してもよい。
Ｓ３０２において、計測領域設定部２０２は、画像取得部２０１が取得した入力画像に計測領域を設定する。計測領域設定部２０２は、計測領域として、例えば、撮影シーンに基づき予め決められた設定値を記憶装置等から取得してもよい。また、計測領域設定部２０２は、出力装置１５に表示した画像に基づき、入力装置１４に接続されたヒューマンインターフェースデバイス等を用いたユーザーの操作に基づき設定してもよい。計測領域は単独でもよく、複数でもよい。
計測領域は、線又は矩形等の任意のガイド図形を基準に設定してもよい。ガイド図形は単独でも複数でもよい。計測領域設定部２０２は、ガイド図形に幅を持たせる等、計測領域を拡張してもよい。
【0012】
Ｓ３０３において、領域選択部２０３は、計測領域設定部２０２が設定した計測領域に基づき、画像取得部２０１が取得した入力画像から小画像を選択する。図４は、小画像を選択する方法の一例を示す図である。画像４００は入力画像であり、計測領域４０１を含む小画像４０２が選択されている。小画像４０２は矩形となっているが、小画像の形状は矩形に限定されず、計測領域を含むような任意の形状であってもよい。
領域選択部２０３は、画像取得部２０１が取得した入力画像を、複数の小画像に分割し、選択してもよい。複数の小画像への分割には、様々な方法が利用できる。図５Ａはそのような分割の一例である。図５Ａにおいて、画像５００は入力画像であり、矩形はＮ枚に分割された小画像を表す。領域選択部２０３は、入力画像を小画像に分割した後、計測領域を含むことができるように小画像を選択すればよい。図５Ｂはそのような小画像を選択する方法の一例である。図５Ｂの太枠が、計測領域５０１を含むように選択された小画像である。
領域選択部２０３は、入力画像に対し、計測領域設定部２０２によって予め設定された計測領域を基準とし、小画像に分割し選択するようにしてもよい。図６に示す分割はその一例である。図６では、入力画像６００に設定した計測領域６０１を基準として、太枠で示した小画像が並ぶように分割されている。
図５Ａ、図５Ｂ及び図６では、小画像は矩形となっているが、小画像の形状は矩形に限定されず、計測領域を含むような任意の形状であってもよい。
領域選択部２０３は、小画像の選択を自動で行ってもよいし、出力装置１５に表示した画像に対する入力装置１４に接続したヒューマンインターフェースデバイス等を用いた、ユーザーの操作に基づき設定してもよい。
カメラ等で撮影された入力画像は、入力画像内の位置により人物が映る大きさが異なることがある。この場合、小画像の大きさと人物の大きさとの比がほぼ一定となるよう、小画像の大きさを決定することが好ましい。図５Ａ、図５Ｂ及び図６では、そのような分割の一例を示している。
領域選択部２０３は、小画像の大きさを、例えば、予め用意した設定値を用いてもよい。また、領域選択部２０３は、カメラの設置位置、又は画角等の情報から計算される幾何学的パラメーター、又は入力画像の解析等で得られる入力画像中の人物の大きさ等に基づいて自動的に決定してもよい。領域選択部２０３は、小画像の大きさを、出力装置１５に表示した画像に対する入力装置１４に接続したヒューマンインターフェースデバイス等を用いた、ユーザーの操作に基づき設定してもよい。
領域選択部２０３は、画像取得部２０１が取得した入力画像を、複数の小画像に分割し、選択してもよい。複数の小画像への分割には、様々な方法が利用できる。図５Ａはそのような分割の一例である。図５Ａにおいて、画像５００は入力画像であり、矩形はＮ枚に分割された小画像を表す。領域選択部２０３は、入力画像を小画像に分割した後、計測領域を含むことができるように小画像を選択すればよい。図５Ｂはそのような小画像を選択する方法の一例である。図５Ｂの太枠が、計測領域５０１を含むように選択された小画像である。
領域選択部２０３は、入力画像に対し、計測領域設定部２０２によって予め設定された計測領域を基準とし、小画像に分割し選択するようにしてもよい。図６に示す分割はその一例である。図６では、入力画像６００に設定した計測領域６０１を基準として、太枠で示した小画像が並ぶように分割されている。
図５Ａ、図５Ｂ及び図６では、小画像は矩形となっているが、小画像の形状は矩形に限定されず、計測領域を含むような任意の形状であってもよい。
領域選択部２０３は、小画像の選択を自動で行ってもよいし、出力装置１５に表示した画像に対する入力装置１４に接続したヒューマンインターフェースデバイス等を用いた、ユーザーの操作に基づき設定してもよい。
カメラ等で撮影された入力画像は、入力画像内の位置により人物が映る大きさが異なることがある。この場合、小画像の大きさと人物の大きさとの比がほぼ一定となるよう、小画像の大きさを決定することが好ましい。図５Ａ、図５Ｂ及び図６では、そのような分割の一例を示している。
領域選択部２０３は、小画像の大きさを、例えば、予め用意した設定値を用いてもよい。また、領域選択部２０３は、カメラの設置位置、又は画角等の情報から計算される幾何学的パラメーター、又は入力画像の解析等で得られる入力画像中の人物の大きさ等に基づいて自動的に決定してもよい。領域選択部２０３は、小画像の大きさを、出力装置１５に表示した画像に対する入力装置１４に接続したヒューマンインターフェースデバイス等を用いた、ユーザーの操作に基づき設定してもよい。
【0013】
小画像の境界付近で人流解析の対象となる人物の画像が切り取られている場合、後段のＳ３０４における画像解析の解析精度が低下する。これを避けるため、領域選択部２０３は、小画像の内側の中央領域、及び小画像の境界線と中央領域の境界線とに囲まれたマージン領域を定義する。図７Ａはその一例である。図７Ａでは、小画像７０１の内側に新たに中央領域７０２、及び小画像７０１の境界線と中央領域７０２の境界線とに囲まれたマージン領域７０３が定義されている。
マージン領域の大きさは、小画像のマージン領域に、人流解析の対象である人物の検出に必要な部分が包含される大きさにすることが好ましい。図７Ｂはその一例である。図７Ｂでは、小画像７０１のマージン領域７０３が、人流解析の対象である人物７０４及び人物７０５の検出に必要な部分が包含される大きさに設定されている。図７Ｂでは、一例として、人物の頭部と肩とがマージン領域に包含されるような大きさとなる場合を示したが、これ以外にも、人物の頭部のみ、人物の全身がマージン領域に包含されるようにする等としてもよい。
マージン領域の大きさは、小画像のマージン領域に、人流解析の対象である人物の検出に必要な部分が包含される大きさにすることが好ましい。図７Ｂはその一例である。図７Ｂでは、小画像７０１のマージン領域７０３が、人流解析の対象である人物７０４及び人物７０５の検出に必要な部分が包含される大きさに設定されている。図７Ｂでは、一例として、人物の頭部と肩とがマージン領域に包含されるような大きさとなる場合を示したが、これ以外にも、人物の頭部のみ、人物の全身がマージン領域に包含されるようにする等としてもよい。
【0014】
図７Ａの例、及び図７Ｂの例において、中央領域７０２は矩形となっているが、中央領域の形状は矩形に限定されず、小画像７０１の内部に含まれるような任意の形状であってもよい。
領域選択部２０３は、複数の小画像に分割し選択する場合は、各小画像の隣接する領域が互いに重なるように入力画像を小画像に分割することが好ましい。図７Ｃはそのような分割の一例である。図７Ｃにおいては、領域選択部２０３は、隣り合う２枚の小画像７０６及び小画像７０７について、小画像７０６の中央領域７０８と、小画像７０７の中央領域７０９とを、中央領域７０８と中央領域７０９との間に隙間ができないよう隣接させる。そして、領域選択部２０３は、小画像７０６及び小画像７０７の隣接する領域が重なるように分割している。このようにすることで、例えば、図７Ｄに示すように、検出対象としたい人物７１０が小画像７１１のマージン領域７１２にある場合は、小画像７１１に隣接した小画像７１３の中央領域７１４で人物７１０を検出できる。画像処理装置１００は、小画像７１５と小画像７１６との両方にまたがった人物７１７の検出の例では、人物７１７の左半分を小画像７１５の中央領域７１８で、人物７１７の右半分を小画像７１６の中央領域７１９でそれぞれ検出し、結果を統合している。
領域選択部２０３は、複数の小画像に分割し選択する場合は、各小画像の隣接する領域が互いに重なるように入力画像を小画像に分割することが好ましい。図７Ｃはそのような分割の一例である。図７Ｃにおいては、領域選択部２０３は、隣り合う２枚の小画像７０６及び小画像７０７について、小画像７０６の中央領域７０８と、小画像７０７の中央領域７０９とを、中央領域７０８と中央領域７０９との間に隙間ができないよう隣接させる。そして、領域選択部２０３は、小画像７０６及び小画像７０７の隣接する領域が重なるように分割している。このようにすることで、例えば、図７Ｄに示すように、検出対象としたい人物７１０が小画像７１１のマージン領域７１２にある場合は、小画像７１１に隣接した小画像７１３の中央領域７１４で人物７１０を検出できる。画像処理装置１００は、小画像７１５と小画像７１６との両方にまたがった人物７１７の検出の例では、人物７１７の左半分を小画像７１５の中央領域７１８で、人物７１７の右半分を小画像７１６の中央領域７１９でそれぞれ検出し、結果を統合している。
【0015】
図７Ｄで例示した何れの場合においても、小画像の中央領域で人物を検出することが必要となる。このため、各小画像の隣接する領域が互いに重なるように入力画像を小画像に分割する際には、図７Ｃ及び図７Ｄで例示されているように、各小画像の中央領域同士が隙間なく隣接していることが好ましい。
さらに、領域選択部２０３は、各小画像のマージン領域を確保しつつ、必要最小限の面積で計測領域をカバーできる分割方法を、最適化計算等で決めてもよい。
図７Ｅに示す分割は、入力画像７２０に設定した計測領域７２１に沿った、マージン領域を定義した小画像への分割方法の一例である。
さらに、領域選択部２０３は、各小画像のマージン領域を確保しつつ、必要最小限の面積で計測領域をカバーできる分割方法を、最適化計算等で決めてもよい。
図７Ｅに示す分割は、入力画像７２０に設定した計測領域７２１に沿った、マージン領域を定義した小画像への分割方法の一例である。
【0016】
Ｓ３０４において、画像解析部２０４は、領域選択部２０３で選択した小画像について画像解析を実行し、小画像内における人流解析の対象となる人物の、流量の分布を出力する。
流量の分布とは、入力画像が取得されたフレームにおいて、小画像内の各画素の位置に検出された流量を表す。流量とは、ある画像位置を単位時間あたりに流れる対象物の量である。画像解析部２０４は、この流量の分布を、計測領域内でフレーム数分時間方向に積分することにより、計測領域における人物の通過数、即ち人流が計算できる。
画像解析部２０４が出力する流量の分布には、様々な形態があり得る。例えば、位置と速度との両方の情報を併せ持つ単一の分布を出力してもよいし、位置分布（又は密度分布）と速度分布等の複数の分布を出力してもよい。位置分布（又は密度分布）と速度分布等の複数の分布を出力する場合は、画像解析部２０４は、例えば、位置（又は密度）分布と速度分布との積を求めることで、流量の分布に変換することができる。
画像解析では様々な方法が利用できる。例えば、画像解析部２０４は、撮影動画において隣り合う２フレームの２枚の画像を入力画像として、ニューラルネットワークによる深層学習を用いた解析を実行し、流量の分布を出力する。画像解析部２０４は、検出対象となる人物の特徴量を入力として解析するようにしてもよい。
画像解析の方法は上記に限定されるものではなく、例えば、画像解析部２０４は、ベイズ統計に代表される確率モデリング、カーネル法、決定木、ランダムフォレスト、勾配ブースティング等を用いてもよい。
画像解析部２０４は、画像解析として、単独の方法を用いてもよいし、アンサンブル法のように複数の方法を組み合わせてもよい。
流量の分布とは、入力画像が取得されたフレームにおいて、小画像内の各画素の位置に検出された流量を表す。流量とは、ある画像位置を単位時間あたりに流れる対象物の量である。画像解析部２０４は、この流量の分布を、計測領域内でフレーム数分時間方向に積分することにより、計測領域における人物の通過数、即ち人流が計算できる。
画像解析部２０４が出力する流量の分布には、様々な形態があり得る。例えば、位置と速度との両方の情報を併せ持つ単一の分布を出力してもよいし、位置分布（又は密度分布）と速度分布等の複数の分布を出力してもよい。位置分布（又は密度分布）と速度分布等の複数の分布を出力する場合は、画像解析部２０４は、例えば、位置（又は密度）分布と速度分布との積を求めることで、流量の分布に変換することができる。
画像解析では様々な方法が利用できる。例えば、画像解析部２０４は、撮影動画において隣り合う２フレームの２枚の画像を入力画像として、ニューラルネットワークによる深層学習を用いた解析を実行し、流量の分布を出力する。画像解析部２０４は、検出対象となる人物の特徴量を入力として解析するようにしてもよい。
画像解析の方法は上記に限定されるものではなく、例えば、画像解析部２０４は、ベイズ統計に代表される確率モデリング、カーネル法、決定木、ランダムフォレスト、勾配ブースティング等を用いてもよい。
画像解析部２０４は、画像解析として、単独の方法を用いてもよいし、アンサンブル法のように複数の方法を組み合わせてもよい。
【0017】
Ｓ３０５において、流量分布取得部２０５は、画像解析部２０４の画像解析の結果を基に、解析対象となった小画像内における人流解析の対象となる人物の、流量の分布を取得する。その際、流量分布取得部２０５は、流量の分布のうち、計測領域設定部２０２が設定した計測領域を基に、計測領域と重なる箇所に相当する分布を取得する。
図８Ａに示す図は、流量の分布を取得した状態の一例である。小画像８００に設定された計測領域８０２の内部において、人物８０１の頭部位置に、小画像のフレームにおける人物８０１に対応する流量が検出され、流量の分布８０３として取得されている。図８Ａにおいて、小画像８００内部のうち流量の分布８０３で示した濃い黒色の領域は、領域に移動する人物が存在する、即ち人流が存在することを表し、一方で流量の分布８０３で示した濃い黒色以外の領域には、人流は存在しないことを表している。流量の分布は、必ずしも人流解析の対象となる人物全体を覆う必要はなく、図８Ａの例示にあるように人物の頭部等の代表位置のみでもよい。
図８Ａに示す図は、流量の分布を取得した状態の一例である。小画像８００に設定された計測領域８０２の内部において、人物８０１の頭部位置に、小画像のフレームにおける人物８０１に対応する流量が検出され、流量の分布８０３として取得されている。図８Ａにおいて、小画像８００内部のうち流量の分布８０３で示した濃い黒色の領域は、領域に移動する人物が存在する、即ち人流が存在することを表し、一方で流量の分布８０３で示した濃い黒色以外の領域には、人流は存在しないことを表している。流量の分布は、必ずしも人流解析の対象となる人物全体を覆う必要はなく、図８Ａの例示にあるように人物の頭部等の代表位置のみでもよい。
【0018】
図８Ｂは、人流解析の対象となる人物８０５が、小画像８０４のマージン領域８０６に位置している場合の一例である。この場合、小画像８０４を用いて、計測領域８０７における人物８０５の人流を解析しようとすると、小画像８０４には人物８０５の一部分しか含まれておらず、画像解析部２０４の画像解析において人物８０５に関する画像情報を十分に使えない。そのため、結果精度が低下する。そこで、流量分布取得部２０５は、分割された小画像の夫々について、画像解析部２０４の画像解析結果のうち、隣接する小画像と重ならない領域から流量の分布を取得する。図８Ｃはそのような結果の一例である。流量分布取得部２０５は、隣接する小画像と重なるマージン領域の結果を使わず、隣接する小画像と重ならない中央領域の結果を用いることで、結果精度の低下を防止している。流量分布取得部２０５は、計測領域８０７における、人物８０５に対する人流解析の結果をして得られる流量の分布８０８を、小画像８０４に隣接し、かつ人物８０５の頭部を含む小画像８０９の中央領域８１０から得ることができる。
【0019】
Ｓ３０６において、通過数推定部２０６は、流量分布取得部２０５で取得した人流解析の対象となる人物の流量の分布から、計測領域設定部２０２で設定した計測領域の通過数を推定する。
計測領域における通過数は、以下のようにして計算できる。
最初に、通過数推定部２０６は、計測領域において注目すべき、人流の計測方向を設定する。通過数推定部２０６は、人流の方向を、撮影シーンに基づき予め決められた設定値を記憶装置等から取得してもよい。また、通過数推定部２０６は、計測領域の形状を基にした方法、例えば、計測領域の法線方向等の方法で決定してもよい。また、通過数推定部２０６は、出力装置１５に表示した画像に基づき、入力装置１４に接続したヒューマンインターフェースデバイス等をユーザーが操作して設定してもよい。計測方向は単独でもよく、複数でもよい。
続いて、通過数推定部２０６は、流量分布取得部２０５で取得された流量の分布のうち、計測方向に沿った成分を計算する。例えば、通過数推定部２０６は、流量の分布と、計測方向の成分を持つ単位ベクトルとの内積を計算する。
最後に、通過数推定部２０６は、流量の分布の計測方向に沿った成分を画像取得部２０１で取得した入力画像のフレーム数分時間方向に積分することにより、計測方向の通過数を計算する。
計測領域における通過数は、以下のようにして計算できる。
最初に、通過数推定部２０６は、計測領域において注目すべき、人流の計測方向を設定する。通過数推定部２０６は、人流の方向を、撮影シーンに基づき予め決められた設定値を記憶装置等から取得してもよい。また、通過数推定部２０６は、計測領域の形状を基にした方法、例えば、計測領域の法線方向等の方法で決定してもよい。また、通過数推定部２０６は、出力装置１５に表示した画像に基づき、入力装置１４に接続したヒューマンインターフェースデバイス等をユーザーが操作して設定してもよい。計測方向は単独でもよく、複数でもよい。
続いて、通過数推定部２０６は、流量分布取得部２０５で取得された流量の分布のうち、計測方向に沿った成分を計算する。例えば、通過数推定部２０６は、流量の分布と、計測方向の成分を持つ単位ベクトルとの内積を計算する。
最後に、通過数推定部２０６は、流量の分布の計測方向に沿った成分を画像取得部２０１で取得した入力画像のフレーム数分時間方向に積分することにより、計測方向の通過数を計算する。
【0020】
ここで、画像解析部２０４における画像解析では、解析方法に起因する不均一性及び不確実性が含まれることが避けられず、流量の分布の計測方向に沿った成分には局所的な誤差が含まれる。図９Ａでは、例として、移動している人物９０１の頭部における、流量の分布の計測方向に沿った成分９０２が、画像解析部２０４における画像解析の誤差により中央付近がほぼゼロになった場合を、画像の濃淡として概念的に表現している。ここで、画像の濃いところは流量値が大きく、淡いところは流量値が小さいことを表す。
画像解析部２０４における画像解析による局所的な誤差は、いつも同じパターンになるとは限らない。動画中の各フレーム画像を入力画像として、フレーム毎に逐次的に解析を行う場合、例えば、図９Ｂのように、隣り合う２つのフレームＭ及びフレーム（Ｍ＋１）においてほぼ同じ動きである同一人物９０１に対しても、異なったパターンになることがあり得る。流量の分布の計測方向に沿った成分の誤差が、フレームＭでは９０２のようである一方でフレーム（Ｍ＋１）では９０３となるような場合である。この場合、例えば、図９Ｃのように計測領域９０４が狭い場合、フレームＭでは通過数がほぼゼロである一方、フレーム（Ｍ＋１）では通過数が非ゼロとなり、通過数の推定結果が短時間で極端に変化するため不安定となる。
画像解析部２０４における画像解析による局所的な誤差は、いつも同じパターンになるとは限らない。動画中の各フレーム画像を入力画像として、フレーム毎に逐次的に解析を行う場合、例えば、図９Ｂのように、隣り合う２つのフレームＭ及びフレーム（Ｍ＋１）においてほぼ同じ動きである同一人物９０１に対しても、異なったパターンになることがあり得る。流量の分布の計測方向に沿った成分の誤差が、フレームＭでは９０２のようである一方でフレーム（Ｍ＋１）では９０３となるような場合である。この場合、例えば、図９Ｃのように計測領域９０４が狭い場合、フレームＭでは通過数がほぼゼロである一方、フレーム（Ｍ＋１）では通過数が非ゼロとなり、通過数の推定結果が短時間で極端に変化するため不安定となる。
【0021】
そこで、この局所的な誤差の影響を低減するため、計測領域を拡張し、拡張した範囲を含める形で流量の分布の計測方向に沿った成分を積分することが好ましい。図９Ｄはそのような方法の一例である。図９Ｄにおいては、拡張が施された計測領域９０５において、通過数推定部２０６は、拡張した範囲を含める形で流量の分布の計測方向に沿った成分９０２及び９０３を積分している。このようにすることで、流量の分布の計測方向に沿った成分９０２及び９０３が計測領域９０５内で平均化されることになり、通過数の推定結果が短時間で変化することがなくなり、安定化する効果が期待される。
流量の分布の計測方向に沿った成分９０２及び９０３を出力装置１５に表示する際には、例えば、通過数推定部２０６は、図９Ｄで示すように、見やすさのために計測領域９０５内で平均化された流量の分布の計測方向に沿った成分９０６及び９０７のように表示してもよい。
計測領域の拡張方法としては、例えば、計測領域設定部２０２で使用したガイド図形の拡張を利用して指定するようにしてもよい。例えば、通過数推定部２０６は、計測領域が線状又は棒状等、細長い図形である場合に、計測領域の長辺と垂直な法線方向に領域の幅を拡張する。
流量の分布の計測方向に沿った成分９０２及び９０３を出力装置１５に表示する際には、例えば、通過数推定部２０６は、図９Ｄで示すように、見やすさのために計測領域９０５内で平均化された流量の分布の計測方向に沿った成分９０６及び９０７のように表示してもよい。
計測領域の拡張方法としては、例えば、計測領域設定部２０２で使用したガイド図形の拡張を利用して指定するようにしてもよい。例えば、通過数推定部２０６は、計測領域が線状又は棒状等、細長い図形である場合に、計測領域の長辺と垂直な法線方向に領域の幅を拡張する。
【0022】
画像処理装置１００は、通過数の推定結果に加え、その根拠となる計測領域、小画像の位置、マージン領域及び中央領域、流量の分布等を、記憶装置１２に保存してもよいし、出力装置１５に表示してもよい。画像処理装置１００は、記憶装置１２に保存した各種結果を、Ｉ／Ｆ装置１６を介して外部に送信してもよい。また、画像処理装置１００は、記憶装置１２に保存したい内容、出力装置１５に表示させたい項目を、入力装置１４に接続したヒューマンインターフェースデバイス等を介したユーザーの操作に基づき設定してもよい。
【0023】
人流解析の対象として人物を例に挙げたが、対象は人物のみに限定されるものではない。例えば、対象は、自転車、又はバイク等の乗り物、車、又はトラック等の車両、家畜等の動物であってもよい。
【0024】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0025】
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
【0026】
以上、上述した各実施形態によれば、画素数が多い高解像度の画像に対しても、高速、かつ、高精度な人流推定が可能となる。
【符号の説明】
【0027】
１００ 画像処理装置
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図9C】
【図9D】
