知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023179903
(43)【公開日】2023-12-20
(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20231213BHJP
G06T 7/00 20170101ALI20231213BHJP
【ＦＩ】
G06T7/20 300Z
G06T7/00 660Z
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2022092820
(22)【出願日】2022-06-08
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】伊藤 秀哉
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA02
5L096CA04
5L096DA01
5L096DA02
5L096FA32
5L096FA52
5L096GA19
5L096GA51
5L096HA05
(57)【要約】
【課題】画像解析で検出対象を検出する。
【解決手段】本発明は、時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する特定部１１と、特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を画像の中から検出する存在推定箇所検出部１２と、を有する画像処理装置１０を提供する。
【選択図】図１
【解決手段】本発明は、時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する特定部１１と、特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を画像の中から検出する存在推定箇所検出部１２と、を有する画像処理装置１０を提供する。
【選択図】図１
【特許請求の範囲】
【請求項1】
時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する特定手段と、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する存在推定箇所検出手段と、
を有する画像処理装置。
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する存在推定箇所検出手段と、
を有する画像処理装置。
【請求項2】
前記存在推定箇所検出手段は、人の混雑度が第１の混雑基準値以上の領域に囲まれており、人の混雑度が第２の混雑基準値未満となっている箇所を、前記存在推定箇所として検出する請求項１に記載の画像処理装置。
【請求項3】
前記存在推定箇所検出手段は、人の混雑度が第１の混雑基準値以上の領域に囲まれており、人の混雑度が第２の混雑基準値未満となっている状態が所定時間以上継続している箇所を、前記存在推定箇所として検出する請求項２に記載の画像処理装置。
【請求項4】
前記存在推定箇所検出手段は、前記特定の結果で人が通過していないことが示されている箇所を、前記存在推定箇所として検出する請求項１に記載の画像処理装置。
【請求項5】
前記存在推定箇所検出手段は、通常時の人の動線を示す参照情報と前記特定の結果に基づき、前記参照情報で人が通過することが示されているが、前記特定の結果で人が通過していないことが示されている箇所を、前記存在推定箇所として検出する請求項４に記載の画像処理装置。
【請求項6】
前記存在推定箇所検出手段は、人が通過していない状態が所定時間以上継続している箇所を、前記存在推定箇所として検出する請求項４又は５に記載の画像処理装置。
【請求項7】
前記存在推定箇所検出手段は、移動速度が速度基準値未満である人が存在する箇所を、前記存在推定箇所として検出する請求項１に記載の画像処理装置。
【請求項8】
前記存在推定箇所検出手段は、前記画像に含まれる複数の人の移動速度に基づき、前記速度基準値を算出する請求項７に記載の画像処理装置。
【請求項9】
前記検出対象の外観の特徴量に基づき、前記画像の中から前記検出対象を検出する検出対象検出手段と、
検出された前記検出対象の中から、検出された前記存在推定箇所との間で所定の条件を満たす前記検出対象を抽出する抽出手段と、
前記存在推定箇所と、前記存在推定箇所との間で前記所定の条件を満たす前記検出対象とを紐付けた情報を出力する出力手段と、
を有する請求項１に記載の画像処理装置。
検出された前記検出対象の中から、検出された前記存在推定箇所との間で所定の条件を満たす前記検出対象を抽出する抽出手段と、
前記存在推定箇所と、前記存在推定箇所との間で前記所定の条件を満たす前記検出対象とを紐付けた情報を出力する出力手段と、
を有する請求項１に記載の画像処理装置。
【請求項10】
前記所定の条件は、
前記検出対象の検出位置と、前記存在推定箇所の検出位置との間の距離が距離基準値未満、及び、
前記検出対象の検出タイミングと、前記存在推定箇所の検出タイミングとの間の時間差が時間基準値未満の少なくとも一方を含む請求項９に記載の画像処理装置。
前記検出対象の検出位置と、前記存在推定箇所の検出位置との間の距離が距離基準値未満、及び、
前記検出対象の検出タイミングと、前記存在推定箇所の検出タイミングとの間の時間差が時間基準値未満の少なくとも一方を含む請求項９に記載の画像処理装置。
【請求項11】
前記所定の条件は、前記存在推定箇所と前記検出対象が同じ画像内で同時に検出されていないことを含む請求項９又は１０に記載の画像処理装置。
【請求項12】
コンピュータが、
時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定し、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する画像処理方法。
時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定し、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する画像処理方法。
【請求項13】
コンピュータを、
時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する特定手段、及び、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する存在推定箇所検出手段、
として機能させるプログラム。
時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する特定手段、及び、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する存在推定箇所検出手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【0002】
本発明に関連する技術が、特許文献１に開示されている。特許文献１は、画像解析で、群衆の中から、幼児、高齢者、車椅子利用者、白杖利用者等の交通弱者を検出する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１７／０４６８７２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明者は、検出対象を検出する技術において、次の課題を見出した。検出対象が他の人に隠れてしまった際に、検出対象を検出することができない場合がある。
【0005】
特許文献１は、画像解析で群衆の中から交通弱者等を検出する技術を開示しているが、上記課題及びその解決手段を開示していない。
【0006】
本発明の目的の一例は、上述した問題を鑑み、画像解析で検出対象を検出するという課題を解決する画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0007】
本発明の一態様によれば、
時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する特定手段と、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する存在推定箇所検出手段と、
を有する画像処理装置が提供される。
時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する特定手段と、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する存在推定箇所検出手段と、
を有する画像処理装置が提供される。
【0008】
本発明の一態様によれば、
コンピュータが、
時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定し、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する画像処理方法が提供される。
コンピュータが、
時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定し、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する画像処理方法が提供される。
【0009】
本発明の一態様によれば、
コンピュータを、
時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する特定手段、及び、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する存在推定箇所検出手段、
として機能させるプログラムが提供される。
コンピュータを、
時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する特定手段、及び、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する存在推定箇所検出手段、
として機能させるプログラムが提供される。
【発明の効果】
【0010】
本発明の一態様によれば、画像解析で検出対象を検出するという課題を解決する画像処理装置、画像処理方法、およびプログラムが実現される。
【図面の簡単な説明】
【0011】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる公的な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0012】
【図1】画像処理装置の機能ブロック図の一例を示す図である。
【図2】画像処理装置のハードウエア構成の一例を示す図である。
【図3】画像処理装置の機能ブロック図の一例を示す図である。
【図4】人の混雑度に基づき存在推定箇所を検出する処理の一例を説明するための図である。
【図5】人の動線に基づき存在推定箇所を検出する処理の一例を説明するための図である。
【図6】人の動線に基づき存在推定箇所を検出する処理の他の一例を説明するための図である。
【図7】人の動線に基づき存在推定箇所を検出する処理の他の一例を説明するための図である。
【図8】画像処理装置が出力する情報の一例を示す図である。
【図9】画像処理装置の処理の流れの一例を示すフローチャートである。
【図10】画像処理装置の機能ブロック図の一例を示す図である。
【図11】画像処理装置が出力する情報の一例を示す図である。
【図12】画像処理装置の処理の流れの一例を示すフローチャートである。
【図13】画像処理装置の機能ブロック図の一例を示す図である。
【図14】画像処理装置が出力する情報の一例を示す図である。
【図15】画像処理装置の処理の流れの一例を示すフローチャートである。
【図16】実施例を説明するための図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0014】
＜第１の実施形態＞
図１は、第１の実施形態に係る画像処理装置１０の概要を示す機能ブロック図である。画像処理装置１０は、特定部１１と、存在推定箇所検出部１２とを有する。
図１は、第１の実施形態に係る画像処理装置１０の概要を示す機能ブロック図である。画像処理装置１０は、特定部１１と、存在推定箇所検出部１２とを有する。
【0015】
特定部１１は、時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する。存在推定箇所検出部１２は、特定部１１による特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を画像の中から検出する。
【0016】
このような構成を備える画像処理装置１０によれば、画像解析で検出対象を検出するという課題が解決される。
【0017】
＜第２の実施形態＞
「概要」
第２の実施形態の画像処理装置１０は、第１の実施形態の画像処理装置１０をより具体化したものである。
「概要」
第２の実施形態の画像処理装置１０は、第１の実施形態の画像処理装置１０をより具体化したものである。
【0018】
ところで、群衆の中から検出対象を検出する技術においては、例えば次のような課題がある。検出対象を識別する外観の特徴が画像に写っている場合、その外観の特徴を検出することで、画像の中から検出対象を検出できる。しかし、群衆の中に検出対象がいる場合、他の人に隠れて、検出対象を識別する外観の特徴が画像に写らなくなる可能性がある。このため、検出対象を識別する外観の特徴を画像の中から検出する手段のみでは、群衆の中から検出対象を高精度に検出することができない。画像処理装置１０は、画像解析で群衆の中から検出対象を精度よく検出する手段を備える。
【0019】
検出対象は、何らかのサポートや処置が必要な対象（人及び物を含む）であり、例えば、車椅子利用者、白杖利用者、松葉杖利用者、病人、けが人、迷子、その他の要サポート者、転倒物、落下物、その他の障害物等が例示されるが、これらに限定されない。このような検出対象は、移動せずその場に居続けたり、他の人に比べて移動速度が遅くなったりする場合がある。このため、他の人は、検出対象がいる位置を避けて移動する傾向となる。
【0020】
その結果、人混みの中に検出対象が存在する場合、
（特徴１）人の混雑度が大きくなっている領域（人混み）の中で人の混雑度が小さい箇所（検出対象が存在する箇所）が存在する、
（特徴２）通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する箇所（検出対象が存在する箇所）が存在する、
（特徴３）人混みの中で、周囲の人々に比べて移動速度が遅い人（検出対象）が存在する、
等の特徴が現れる。
（特徴１）人の混雑度が大きくなっている領域（人混み）の中で人の混雑度が小さい箇所（検出対象が存在する箇所）が存在する、
（特徴２）通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する箇所（検出対象が存在する箇所）が存在する、
（特徴３）人混みの中で、周囲の人々に比べて移動速度が遅い人（検出対象）が存在する、
等の特徴が現れる。
【0021】
画像処理装置１０は、このような特徴の中の少なくとも１つに基づき、群衆の中から検出対象を検出する。当該処理の場合、検出対象を識別する外観の特徴が画像に写っていなくても、画像の中から検出対象を検出できる。以下、画像処理装置１０の構成を詳細に説明する。
【0022】
「ハードウエア構成」
次に、画像処理装置１０のハードウエア構成の一例を説明する。画像処理装置１０の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
次に、画像処理装置１０のハードウエア構成の一例を説明する。画像処理装置１０の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0023】
図２は、画像処理装置１０のハードウエア構成を例示するブロック図である。図２に示すように、画像処理装置１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。画像処理装置１０は周辺回路４Ａを有さなくてもよい。なお、画像処理装置１０は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。
【0024】
バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【0025】
「機能構成」
次に、第２の実施形態の画像処理装置１０の機能構成を詳細に説明する。図３に、画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、特定部１１と、存在推定箇所検出部１２と、出力部１３とを有する。
次に、第２の実施形態の画像処理装置１０の機能構成を詳細に説明する。図３に、画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、特定部１１と、存在推定箇所検出部１２と、出力部１３とを有する。
【0026】
特定部１１は、時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する。そして、存在推定箇所検出部１２は、特定部１１による特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を画像の中から検出する。存在推定箇所検出部１２は、例えば混雑している領域と混雑してない領域の相対的な位置関係、複数の人の動線の傾向（ある箇所を回避する傾向）、複数の人の移動速度間の傾向に基づき、存在推定箇所を画像の中から検出する。
【0027】
「時系列に連続する複数の画像」は、例えば動画像を構成する複数のフレーム画像であってもよい。その他、時系列に連続する複数の画像は、比較的短い時間間隔で連続撮影された複数の静止画像であってもよい。画像は、例えば監視カメラで撮影された画像である。
【0028】
「存在推定箇所」は、画像の中の少なくとも一部分であって、画像内の人の混雑度、動線及び移動速度の中の少なくとも１つに基づき、検出対象が存在すると推定された箇所である。
【0029】
以下、画像内の人の混雑度、動線及び移動速度の中の少なくとも１つに基づき存在推定箇所を検出する処理の具体例を説明する。画像処理装置１０は、以下の処理の１つ又は複数を実行することができる。
【0030】
「画像内の人の混雑度に基づき存在推定箇所を検出する処理（１）」
当該処理では、上述した「（特徴１）人の混雑度が大きくなっている領域（人混み）の中で人の混雑度が小さい箇所（検出対象が存在する箇所）が存在する」に基づき、存在推定箇所が検出される。存在推定箇所検出部１２は、「人の混雑度が大きくなっている領域の中で人の混雑度が小さい箇所」を、存在推定箇所として検出する。「人の混雑度が大きくなっている領域の中で人の混雑度が小さい箇所」を画像解析で検出する手段は様々であり、本実施形態ではあらゆる手段を採用できる。以下、当該処理の一例を説明する。
当該処理では、上述した「（特徴１）人の混雑度が大きくなっている領域（人混み）の中で人の混雑度が小さい箇所（検出対象が存在する箇所）が存在する」に基づき、存在推定箇所が検出される。存在推定箇所検出部１２は、「人の混雑度が大きくなっている領域の中で人の混雑度が小さい箇所」を、存在推定箇所として検出する。「人の混雑度が大きくなっている領域の中で人の混雑度が小さい箇所」を画像解析で検出する手段は様々であり、本実施形態ではあらゆる手段を採用できる。以下、当該処理の一例を説明する。
【0031】
特定部１１は、画像を複数の観察領域に分割する。特定部１１は、例えば図５に示すように、画像を格子状に複数の観察領域Ｄに分割する。そして、特定部１１は、観察領域Ｄ毎に存在する人の数を算出する。観察領域Ｄ毎に存在する人の数を算出する手段は特段制限されない。例えば、特定部１１は、人検出技術（画像解析技術）を利用して画像の中から人を検出する。そして、特定部１１は、観察領域Ｄ毎に、存在する人の数をカウントする。例えば、特定部１１は、画像内に存在する人の身体の所定箇所（頭の頂点、鼻、足元等）を検出し、観察領域Ｄ毎に当該所定箇所が存在する数を、存在する人の数としてカウントしてもよい。
【0032】
当該例では、特定部１１は、上述のようにして、観察領域Ｄ毎に存在する人の数（混雑度）を特定する。そして、存在推定箇所検出部１２は、当該特定結果に基づき、存在する人の数（混雑度）が第１の混雑基準値以上の領域に囲まれており、かつ、存在する人の数（混雑度）が第２の混雑基準値未満となっている箇所を、存在推定箇所として検出する。
【0033】
ここで、存在する人の数（混雑度）が第１の混雑基準値以上の観察領域Ｄを「混雑観察領域」と呼ぶ。そして、存在する人の数（混雑度）が第２の混雑基準値未満の観察領域Ｄを「非混雑観察領域」と呼ぶ。図５の例の場合、ハッチングで塗りつぶされた観察領域Ｄが混雑観察領域であり、観察領域Ｄ１乃至Ｄ６が非混雑観察領域である。
【0034】
「存在する人の数（混雑度）が第１の混雑基準値以上の領域」は、複数の混雑観察領域が集まって構成された領域である。そして、存在推定箇所検出部１２は、このような「存在する人の数（混雑度）が第１の混雑基準値以上の領域」に囲まれた１つ又は複数の非混雑観察領域を、存在推定箇所として検出する。図５の例の場合、存在推定箇所検出部１２は、ハッチングで塗りつぶされた観察領域Ｄに囲まれた非混雑観察領域である観察領域Ｄ１乃至Ｄ６を、存在推定箇所として検出する。
【0035】
「画像内の人の混雑度に基づき存在推定箇所を検出する処理（２）」
当該処理では、上述した「（特徴１）人の混雑度が大きくなっている領域（人混み）の中で人の混雑度が小さい箇所（検出対象が存在する箇所）が存在する」に基づき、存在推定箇所が検出される。存在推定箇所検出部１２は、「人の混雑度が大きくなっている領域の中で人の混雑度が小さくなっており、かつその状態が所定時間以上継続している箇所」を、存在推定箇所として検出する。「人の混雑度が大きくなっている領域の中で人の混雑度が小さくなっており、かつその状態が所定時間以上継続している箇所」を画像解析で検出する手段は様々であり、本実施形態ではあらゆる手段を採用できる。なお、「所定時間」は、時間長で定義されてもよいし、連続する画像数で定義されてもよい。以下、当該処理の一例を説明する。
当該処理では、上述した「（特徴１）人の混雑度が大きくなっている領域（人混み）の中で人の混雑度が小さい箇所（検出対象が存在する箇所）が存在する」に基づき、存在推定箇所が検出される。存在推定箇所検出部１２は、「人の混雑度が大きくなっている領域の中で人の混雑度が小さくなっており、かつその状態が所定時間以上継続している箇所」を、存在推定箇所として検出する。「人の混雑度が大きくなっている領域の中で人の混雑度が小さくなっており、かつその状態が所定時間以上継続している箇所」を画像解析で検出する手段は様々であり、本実施形態ではあらゆる手段を採用できる。なお、「所定時間」は、時間長で定義されてもよいし、連続する画像数で定義されてもよい。以下、当該処理の一例を説明する。
【0036】
特定部１１は、「画像内の人の混雑度に基づき在推定箇所を検出する処理（１）」で説明した処理と同様にして、観察領域Ｄ毎に存在する人の数（混雑度）を特定する。そして、存在推定箇所検出部１２は、「画像内の人の混雑度に基づき在推定箇所を検出する処理（１）」で説明した処理と同様にして、複数の画像各々から、「存在する人の数（混雑度）が第１の混雑基準値以上の領域」に囲まれた１つ又は複数の非混雑観察領域を、存在推定箇所の候補として検出する。
【0037】
次いで、存在推定箇所検出部１２は、所定時間以上連続して（例えば、連続する所定数以上の画像において）、同じ位置で検出された存在推定箇所の候補を、存在推定箇所として検出する。図４を用いて、当該処理を説明する。
【0038】
図４では、時系列に連続する３つの画像が示されている。第１の画像においては、存在する人の数（混雑度）が第１の混雑基準値以上の領域Ｔ１と、その領域Ｔ１に囲まれた存在推定箇所の候補Ｓ１及びＳ２が検出されている。第２の画像においては、存在する人の数（混雑度）が第１の混雑基準値以上の領域Ｔ２と、その領域Ｔ２に囲まれた存在推定箇所の候補Ｓ３及びＳ４が検出されている。第３の画像においては、存在する人の数（混雑度）が第１の混雑基準値以上の領域Ｔ３と、その領域Ｔ３に囲まれた存在推定箇所の候補Ｓ５及びＳ６が検出されている
【0039】
図４の例の場合、存在推定箇所の候補Ｓ２、Ｓ４及びＳ６の画像内の位置は一致する。すなわち、連続する３つの画像において、同じ位置で存在推定箇所が検出されている。このため、存在推定箇所検出部１２は、存在推定箇所の候補Ｓ２、Ｓ４及びＳ６を存在推定箇所として検出する。
【0040】
なお、「存在推定箇所の候補の位置」は、存在推定箇所の候補が占める領域の中の任意の点（例えば、中心）とすることができる。そして、「２つの存在推定箇所の候補の位置が一致（同じ）と判定する基準」は、完全一致であってもよいし、その差が閾値以内の状態と定義してもよい。その他、異なる２つの画像から検出された２つの存在推定箇所の候補が少なくとも一部において互いに重なる場合、それら２つの存在推定箇所の画像内の位置は一致すると判断してもよい。
【0041】
「動線に基づき存在推定箇所を検出する処理（１）」
当該処理では、上述した「（特徴２）通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する箇所（検出対象が存在する箇所）が存在する」に基づき、存在推定箇所が検出される。存在推定箇所検出部１２は、「人混みの中の人々が避けて通過する箇所」を、存在推定箇所として検出する。「人混みの中の人々が避けて通過する箇所」を画像解析で検出する手段は様々であり、本実施形態ではあらゆる手段を採用できる。以下、当該処理の一例を説明する。
当該処理では、上述した「（特徴２）通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する箇所（検出対象が存在する箇所）が存在する」に基づき、存在推定箇所が検出される。存在推定箇所検出部１２は、「人混みの中の人々が避けて通過する箇所」を、存在推定箇所として検出する。「人混みの中の人々が避けて通過する箇所」を画像解析で検出する手段は様々であり、本実施形態ではあらゆる手段を採用できる。以下、当該処理の一例を説明する。
【0042】
特定部１１は、人検出技術（画像解析技術）を利用して画像の中から人を検出した後、検出した人各々の動線（移動軌跡）を検出する。人の動線の検出は、あらゆる技術を利用して実現できる。
【0043】
そして、存在推定箇所検出部１２は、算出された動線に基づき、画像中の人が通過していない箇所を、存在推定箇所として特定する。例えば、存在推定箇所検出部１２は、図５に示すように、画像を複数の観察領域Ｄに分割する。そして、存在推定箇所検出部１２は、特定部１１によって算出された動線が通過する観察領域Ｄを画像中の人が通過する領域と判定し、動線が通過しない観察領域Ｄを画像中の人が通過していない領域（存在推定箇所）と判定する。その他、存在推定箇所検出部１２は、所定人数分以上の動線が通過する観察領域Ｄを画像中の人が通過する領域と判定し、所定人数分未満の動線が通過する観察領域Ｄ及び動線が通過しない観察領域Ｄを画像中の人が通過していない領域（存在推定箇所）と判定してもよい。図５の例では、人が通過する領域と判定された観察領域Ｄがハッチングで塗りつぶされている。そして、観察領域Ｄ１乃至Ｄ６が、画像中の人が通過していない領域（存在推定箇所）と判定されている。
【0044】
「動線に基づき存在推定箇所を検出する処理（２）」
当該処理では、上述した「（特徴２）通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する箇所（検出対象が存在する箇所）が存在する」に基づき、存在推定箇所が検出される。存在推定箇所検出部１２は、「人混みの中の人々が避けて通過する状態が所定時間以上継続している箇所」を、存在推定箇所として検出する。「人混みの中の人々が避けて通過する状態が所定時間以上継続している箇所」を画像解析で検出する手段は様々であり、本実施形態ではあらゆる手段を採用できる。なお、「所定時間」は、時間長で定義されてもよいし、連続する画像数で定義されてもよい。以下、当該処理の一例を説明する。
当該処理では、上述した「（特徴２）通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する箇所（検出対象が存在する箇所）が存在する」に基づき、存在推定箇所が検出される。存在推定箇所検出部１２は、「人混みの中の人々が避けて通過する状態が所定時間以上継続している箇所」を、存在推定箇所として検出する。「人混みの中の人々が避けて通過する状態が所定時間以上継続している箇所」を画像解析で検出する手段は様々であり、本実施形態ではあらゆる手段を採用できる。なお、「所定時間」は、時間長で定義されてもよいし、連続する画像数で定義されてもよい。以下、当該処理の一例を説明する。
【0045】
存在推定箇所検出部１２は、「動線に基づき在推定箇所を検出する処理（１）」で説明した手法で、画像中の人が通過していない観察領域Ｄを検出する。そして、存在推定箇所検出部１２は、所定時間以上連続して（例えば、連続する所定数以上の画像において）、画像中の人が通過していない観察領域Ｄを、存在推定箇所として検出する。
【0046】
「動線に基づき存在推定箇所を検出する処理（３）」
当該処理では、上述した「（特徴２）通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する箇所（検出対象が存在する箇所）が存在する」に基づき、存在推定箇所が検出される。存在推定箇所検出部１２は、「通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する箇所」を、存在推定箇所として検出する。「通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する箇所」を画像解析で検出する手段は様々であり、本実施形態ではあらゆる手段を採用できる。以下、当該処理の一例を説明する。
当該処理では、上述した「（特徴２）通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する箇所（検出対象が存在する箇所）が存在する」に基づき、存在推定箇所が検出される。存在推定箇所検出部１２は、「通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する箇所」を、存在推定箇所として検出する。「通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する箇所」を画像解析で検出する手段は様々であり、本実施形態ではあらゆる手段を採用できる。以下、当該処理の一例を説明する。
【0047】
特定部１１は、人検出技術（画像解析技術）を利用して画像の中から人を検出した後、検出した人各々の動線（移動軌跡）を検出する。人の動線の検出は、あらゆる技術を利用して実現できる。
【0048】
そして、存在推定箇所検出部１２は、算出された動線に基づき、画像中の人が通過していない箇所を特定する。例えば、存在推定箇所検出部１２は、図６に示すように、画像を複数の観察領域Ｄに分割する。そして、存在推定箇所検出部１２は、特定部１１によって算出された動線が通過する観察領域Ｄを画像中の人が通過する領域と判定し、動線が通過しない観察領域Ｄを画像中の人が通過していない領域と判定する。その他、存在推定箇所検出部１２は、所定人数分以上の動線が通過する観察領域Ｄを画像中の人が通過する領域と判定し、所定人数分未満の動線が通過する観察領域Ｄ及び動線が通過しない観察領域Ｄを画像中の人が通過していない領域と判定してもよい。図６の例では、画像中の人が通過すると判定された観察領域Ｄがハッチングで塗りつぶされている。
【0049】
また、当該例では、予め、通常時（検出対象が存在しない時）の人の動線を示す参照情報が生成されている。そして、存在推定箇所検出部１２は、当該参照情報に基づき、図７に示すように、観察領域Ｄ毎に、通常時に人が通過するか否かを判定する。判定の基準は、上述した画像中の人が通過するか否かの判定と同じ基準である。図７の例では、通常時に人が通過すると判定された観察領域Ｄがハッチングで塗りつぶされている。
【0050】
そして、存在推定箇所検出部１２は、図６及び図７のデータに基づき、通常時に人が通過するが、画像中の人が通過していない観察領域Ｄを、存在推定箇所として検出する。図６及び図７の例では、観察領域Ｄ１乃至Ｄ６が、通常時に人が通過するが、画像中の人が通過していない領域（存在推定箇所）と判定されている。
【0051】
「動線に基づき存在推定箇所を検出する処理（４）」
当該処理では、上述した「（特徴２）通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する箇所（検出対象が存在する箇所）が存在する」に基づき、存在推定箇所が検出される。存在推定箇所検出部１２は、「通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する状態が所定時間以上継続している箇所」を、存在推定箇所として検出する。「通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する状態が所定時間以上継続している箇所」を画像解析で検出する手段は様々であり、本実施形態ではあらゆる手段を採用できる。なお、「所定時間」は、時間長で定義されてもよいし、連続する画像数で定義されてもよい。以下、当該処理の一例を説明する。
当該処理では、上述した「（特徴２）通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する箇所（検出対象が存在する箇所）が存在する」に基づき、存在推定箇所が検出される。存在推定箇所検出部１２は、「通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する状態が所定時間以上継続している箇所」を、存在推定箇所として検出する。「通常時（検出対象が存在しない時）には人が通過するが、人混みの中の人々が避けて通過する状態が所定時間以上継続している箇所」を画像解析で検出する手段は様々であり、本実施形態ではあらゆる手段を採用できる。なお、「所定時間」は、時間長で定義されてもよいし、連続する画像数で定義されてもよい。以下、当該処理の一例を説明する。
【0052】
存在推定箇所検出部１２は、「動線に基づき在推定箇所を検出する処理（３）」で説明した手法で、通常時（検出対象が存在しない時）には人が通過するが、画像中の人が通過していない観察領域Ｄを検出する。そして、存在推定箇所検出部１２は、通常時（検出対象が存在しない時）には人が通過するが、所定時間以上連続して（例えば、連続する所定数以上の画像において）、画像中の人が通過していない観察領域Ｄを、存在推定箇所として検出する。
【0053】
「移動速度に基づき存在推定箇所を検出する処理」
当該処理では、上述した「（特徴３）人混みの中で、周囲の人々に比べて移動速度が遅い人（検出対象）が存在する」に基づき、存在推定箇所が検出される。存在推定箇所検出部１２は、「移動速度が速度基準値未満である人が存在する箇所」を、存在推定箇所として検出する。「移動速度が速度基準値未満である人が存在する箇所」を画像解析で検出する手段は様々であり、本実施形態ではあらゆる手段を採用できる。以下、当該処理の一例を説明する。
当該処理では、上述した「（特徴３）人混みの中で、周囲の人々に比べて移動速度が遅い人（検出対象）が存在する」に基づき、存在推定箇所が検出される。存在推定箇所検出部１２は、「移動速度が速度基準値未満である人が存在する箇所」を、存在推定箇所として検出する。「移動速度が速度基準値未満である人が存在する箇所」を画像解析で検出する手段は様々であり、本実施形態ではあらゆる手段を採用できる。以下、当該処理の一例を説明する。
【0054】
特定部１１は、人検出技術（画像解析技術）を利用して画像の中から人を検出した後、検出した人各々の移動速度を検出する。移動速度の検出は、あらゆる技術を利用して実現できる。
【0055】
そして、存在推定箇所検出部１２は、移動速度が速度基準値未満である人が存在する箇所を、存在推定箇所として検出する。
【0056】
速度基準値は、予め定められた値であってもよい。一般的な人の移動速度（歩行速度）に基づき速度基準値を定めることで、一般的な人の移動速度に比べて移動速度が遅い人を検出できる。例えば、一般的な人の移動速度を速度基準値としてもよいし、一般的な人の移動速度よりも遅い任意の速度を速度基準値としてもよい。
【0057】
その他、速度基準値は、画像に含まれる複数の人の移動速度に基づき算出された値であってもよい。画像に含まれる複数の人の移動速度に基づき速度基準値を定めることで、画像に含まれる複数の人の移動速度に比べて移動速度が遅い人を検出できる。例えば、画像に含まれる複数の人の移動速度を速度基準値としてもよいし、画像に含まれる複数の人の移動速度よりも遅い任意の速度を速度基準値としてもよい。画像に含まれる複数の人の移動速度は、画像に含まれる複数の人各々の移動速度の統計値（平均値、最大値、最小値、最頻値、中央値等）とすることができる。
【0058】
出力部１３は、存在推定箇所検出部１２により検出された存在推定箇所を示す情報を出力する。例えば、出力部１３は、ディスプレイ、投影装置、プリンターなどの出力装置に、検出された存在推定箇所を示す情報を出力させる。
【0059】
例えば、出力部１３は、図８に示すように、上述した特定部１１が処理する画像（人の混雑度、動線及び移動速度の少なくとも１つを特定するために処理する画像）上に、検出された存在推定箇所を示す情報Ｐを重畳した画像を出力してもよい。例えば、特定部１１が処理する画像は監視カメラで撮影された画像であり、監視のため、当該画像がリアルタイムにディスプレイに表示されていてもよい。そして、出力部１３は、このリアルタイムにディスプレイに表示されている画像上に、検出された存在推定箇所を示す情報Ｐを重畳表示してもよい。
【0060】
次に、図９のフローチャートを用いて、画像処理装置１０の処理の流れの一例を説明する。画像処理装置１０は、時系列に連続する複数の画像を生成順に取得し、各画像を取得する毎にＳ１０乃至Ｓ１２の処理を繰り返す。
【0061】
まず、画像処理装置１０は、取得した画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する（Ｓ１０）。人の動線や移動速度は、新たに取得した画像とそれ以前に取得した１以上の画像とに基づき算出される。
【0062】
次いで、画像処理装置１０は、Ｓ１０の特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を画像の中から検出する（Ｓ１１）。そして、画像処理装置１０は、Ｓ１１で検出した存在推定箇所を示す情報を出力する（Ｓ１２）。
【0063】
＜作用効果＞
本実施形態の画像処理装置１０は、検出対象を識別する外観の特徴でなく、画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つに基づき検出対象の存在が推定される箇所（存在推定箇所）を特定する。このような画像処理装置１０によれは、検出対象を識別する外観の特徴が画像に写っていなくても、画像の中から検出対象を検出できる。
本実施形態の画像処理装置１０は、検出対象を識別する外観の特徴でなく、画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つに基づき検出対象の存在が推定される箇所（存在推定箇所）を特定する。このような画像処理装置１０によれは、検出対象を識別する外観の特徴が画像に写っていなくても、画像の中から検出対象を検出できる。
【0064】
また、画像処理装置１０は、人混みの中に検出対象が存在する場合に現れる上述した特徴１乃至３の少なくとも１つに基づき、検出対象の存在が推定される箇所を特定する。このような画像処理装置１０によれば、検出対象の存在が推定される箇所を精度よく特定することができる。
【0065】
＜第３の実施形態＞
第３の実施形態の画像処理装置１０は、画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つに基づき検出対象の存在が推定される箇所（存在推定箇所）を特定する処理と、検出対象の外観の特徴に基づき検出対象を検出する処理の両方を行う。以下、詳細に説明する。
第３の実施形態の画像処理装置１０は、画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つに基づき検出対象の存在が推定される箇所（存在推定箇所）を特定する処理と、検出対象の外観の特徴に基づき検出対象を検出する処理の両方を行う。以下、詳細に説明する。
【0066】
図１０に、本実施形態の画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、特定部１１と、存在推定箇所検出部１２と、出力部１３と、検出対象検出部１４とを有する。
【0067】
検出対象検出部１４は、検出対象の外観の特徴量に基づき、画像の中から検出対象を検出する。例えば、検出対象検出部１４は、物体検出技術を用いて、検出対象が利用する物体（車椅子、白杖、松葉杖等）を検出することで、検出対象を検出してもよい。その他、検出対象検出部１４は、人の姿勢を検出する姿勢検出技術を用いて、検出対象が利用する物体（車椅子、白杖、松葉杖等）を利用する際に特有の姿勢となっている人や、病人やケガ人などのように所定の状態になった際に特有の姿勢（横たわる、うずくまる等）となっている人を検出することで、検出対象を検出してもよい。その他、検出対象検出部１４は、顔認識技術を用いて、予め検出対象として顔画像が登録されている人を検出することで、検出対象を検出してもよい。
【0068】
その他、検出対象検出部１４は、物体検出技術を用いて、予め検出対象として登録されいる物体（例：倒れた看板、倒木等）を検出することで、検出対象を検出してもよい。
【0069】
出力部１３は、存在推定箇所検出部１２により検出された存在推定箇所を示す情報に加えて、検出対象検出部１４が検出した検出対象を示す情報を出力する。例えば、出力部１３は、ディスプレイ、投影装置、プリンターなどの出力装置に、検出された存在推定箇所を示す情報及び検出された検出対象を示す情報を出力させる。
【0070】
例えば、出力部１３は、図１１に示すように、上述した特定部１１が処理する画像（人の混雑度、動線及び移動速度の少なくとも１つを特定するために処理する画像）上に、検出された存在推定箇所を示す情報Ｐ、及び検出された検出対象を示す情報Ｒを重畳した画像を出力してもよい。検出された存在推定箇所を示す情報Ｐと検出された検出対象を示す情報Ｒとは、互いに識別可能な情報としてもよい。例えば、マークの形状、色、濃淡等を異ならせる例が考えられるが、実現手段はこれらに限定されない。
【0071】
例えば、特定部１１が処理する画像は監視カメラで撮影された画像であり、監視のため、当該画像がリアルタイムにディスプレイに表示されていてもよい。そして、出力部１３は、このリアルタイムにディスプレイに表示されている画像上に、検出された存在推定箇所を示す情報Ｐ、及び検出された検出対象を示す情報Ｒを重畳表示してもよい。
【0072】
なお、出力される検出対象を示す情報Ｒは、検出対象の位置を示す情報に加えて、検出結果の詳細を示す情報を含んでもよい。例えば、出力される検出対象を示す情報Ｒは、検出対象として何が検出されたか（事前に顔画像を登録した者、車椅子利用者、白杖利用者、松葉杖利用者、病人、けが人、迷子、その他の要サポート者、転倒物、落下物、その他の障害物等）を示す情報を含んでもよい。また、事前に顔画像を登録した者が検出された場合、出力される検出対象を示す情報Ｒは、その事前に登録された顔画像をさらに含んでもよい。
【0073】
次に、図１２のフローチャートを用いて、画像処理装置１０の処理の流れの一例を説明する。画像処理装置１０は、時系列に連続する複数の画像を生成順に取得し、各画像を取得する毎にＳ２０乃至Ｓ２３の処理を繰り返す。
【0074】
まず、画像処理装置１０は、取得した画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する（Ｓ２０）。人の動線や移動速度は、新たに取得した画像とそれ以前に取得した１以上の画像とに基づき算出される。次いで、画像処理装置１０は、Ｓ２０の特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を画像の中から検出する（Ｓ２１）。
【0075】
また、画像処理装置１０は、Ｓ２０及びＳ２１と並行して、検出対象の外観の特徴量に基づき、画像の中から検出対象を検出する（Ｓ２２）。
【0076】
そして、画像処理装置１０は、Ｓ２１で検出した存在推定箇所を示す情報、及びＳ２２で検出した検出対象を示す情報を出力する（Ｓ２３）。
【0077】
本実施形態の画像処理装置１０のその他の構成は、第１及び第２の実施形態の画像処理装置１０と同様である。
【0078】
本実施形態の画像処理装置１０によれば、第１及び第２の実施形態の画像処理装置１０と同様の作用効果が実現される。また、本実施形態の画像処理装置１０によれば、画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つに基づき検出対象の存在が推定される箇所（存在推定箇所）を特定する処理と、検出対象の外観の特徴に基づき検出対象を検出する処理の両方を行う。このような画像処理装置１０によれば、外観の特徴が画像に写っている検出対象は外観の特徴に基づき検出し、外観の特徴が画像に写っていない検出対象は外観画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つに基づき存在推定箇所として検出することができる。結果、あらゆる状態の検出対象を高精度に検出することが可能となる。
【0079】
＜第４の実施形態＞
これまでの実施形態では、ユーザは、画像処理装置１０から出力された情報に基づき、検出対象が存在すると推定される存在推定箇所の存在やその位置を把握できたが、その存在推定箇所にどのような検出対象が存在するのかを把握することはできなかった。
これまでの実施形態では、ユーザは、画像処理装置１０から出力された情報に基づき、検出対象が存在すると推定される存在推定箇所の存在やその位置を把握できたが、その存在推定箇所にどのような検出対象が存在するのかを把握することはできなかった。
【0080】
第４の実施形態の画像処理装置１０は、第３の実施形態で説明した「外観の特徴に基づく検出対象物の検出結果」に基づき、検出した存在推定箇所にどのような検出対象が存在するかを把握するための情報を生成し、出力する。
【0081】
具体的には、画像処理装置１０は、
・存在推定箇所の近くで検出された検出対象物、
・存在推定箇所の検出タイミングから近いタイミングで検出された検出対象物、及び、
・存在推定箇所の近くで検出され、かつ、存在推定箇所の検出タイミングから近いタイミングで検出された検出対象物、
の中の少なくとも１つを、その存在推定箇所に存在する検出対象物の候補として出力する。以下、詳細に説明する。
・存在推定箇所の近くで検出された検出対象物、
・存在推定箇所の検出タイミングから近いタイミングで検出された検出対象物、及び、
・存在推定箇所の近くで検出され、かつ、存在推定箇所の検出タイミングから近いタイミングで検出された検出対象物、
の中の少なくとも１つを、その存在推定箇所に存在する検出対象物の候補として出力する。以下、詳細に説明する。
【0082】
図１３に、本実施形態の画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、特定部１１と、存在推定箇所検出部１２と、出力部１３と、検出対象検出部１４と、抽出部１５とを有する。
【0083】
抽出部１５は、検出対象検出部１４により検出された検出対象の中から、存在推定箇所検出部１２により検出された存在推定箇所との間で所定の条件を満たす検出対象を、その存在推定箇所にいる検出対象の候補として抽出する。
【0084】
所定の条件は、
・検出対象の検出位置と、存在推定箇所の検出位置との間の距離が距離基準値未満、及び、
・検出対象の検出タイミングと、存在推定箇所の検出タイミングとの間の時間差が時間基準値未満、
の少なくとも一方を含む。
・検出対象の検出位置と、存在推定箇所の検出位置との間の距離が距離基準値未満、及び、
・検出対象の検出タイミングと、存在推定箇所の検出タイミングとの間の時間差が時間基準値未満、
の少なくとも一方を含む。
【0085】
なお、所定の条件は、上記条件に加えて、
・存在推定箇所と検出対象が同じ画像内で同時に検出されていない、
を含んでもよい。存在推定箇所と検出対象が同じ画像内で同時に検出されている場合、その存在推定箇所に存在する検出対象がその検出対象であることはない。所定の条件に当該条件を加えることで、存在推定箇所に存在する検出対象の候補を精度よく特定することができる。
・存在推定箇所と検出対象が同じ画像内で同時に検出されていない、
を含んでもよい。存在推定箇所と検出対象が同じ画像内で同時に検出されている場合、その存在推定箇所に存在する検出対象がその検出対象であることはない。所定の条件に当該条件を加えることで、存在推定箇所に存在する検出対象の候補を精度よく特定することができる。
【0086】
抽出部１５は、存在推定箇所よりも前に検出された検出対象の中から、その存在推定箇所との間で所定の条件を満たす検出対象を検出してもよい。また、抽出部１５は、存在推定箇所よりも後に検出された検出対象の中から、その存在推定箇所との間で所定の条件を満たす検出対象を検出してもよい。また、抽出部１５は、存在推定箇所よりも前に検出された検出対象及び存在推定箇所よりも後に検出された検出対象の中から、その存在推定箇所との間で所定の条件を満たす検出対象を検出してもよい。
【0087】
出力部１３は、存在推定箇所と、その存在推定箇所との間で所定の条件を満たす検出対象とを紐付けた情報を出力する。例えば、出力部１３は、ディスプレイ、投影装置、プリンターなどの出力装置に、検出された存在推定箇所を示す情報及び検出された検出対象を示す情報を出力させる。
【0088】
例えば、出力部１３は、図１４に示すように、上述した特定部１１が処理する画像（人の混雑度、動線及び移動速度の少なくとも１つを特定するために処理する画像）上に、検出された存在推定箇所を示す情報Ｐと、その存在推定箇所との間で所定の条件を満たす検出対象を示す情報Ｑとを紐付けて重畳した画像を出力してもよい。なお、さらに、検出された検出対象を示す情報Ｒが表示されてもよい。
【0089】
なお、出力される検出対象を示す情報Ｑは、検出対象の位置を示す情報に加えて、検出結果の詳細を示す情報を含んでもよい。例えば、出力される検出対象を示す情報Ｑは、検出対象として何が検出されたか（事前に顔画像を登録した者、車椅子利用者、白杖利用者、松葉杖利用者、病人、けが人、迷子、その他の要サポート者、転倒物、落下物、その他の障害物等）を示す情報を含んでもよい。また、事前に顔画像を登録した者が検出された場合、出力される検出対象を示す情報Ｑは、その事前に登録された顔画像をさらに含んでもよい。
【0090】
例えば、特定部１１が処理する画像は監視カメラで撮影された画像であり、監視のため、当該画像がリアルタイムにディスプレイに表示されていてもよい。そして、出力部１３は、このリアルタイムにディスプレイに表示されている画像上に、検出された存在推定箇所を示す情報Ｐ、及びその存在推定箇所との間で所定の条件を満たす検出対象を示す情報Ｑを重畳表示してもよい。
【0091】
次に、図１５のフローチャートを用いて、画像処理装置１０の処理の流れの一例を説明する。画像処理装置１０は、時系列に連続する複数の画像を生成順に取得し、各画像を取得する毎にＳ３０乃至Ｓ３４の処理を繰り返す。
【0092】
まず、画像処理装置１０は、取得した画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する（Ｓ３０）。人の動線や移動速度は、新たに取得した画像とそれ以前に取得した１以上の画像とに基づき算出される。次いで、画像処理装置１０は、Ｓ３０の特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を画像の中から検出する（Ｓ３１）。
【0093】
また、画像処理装置１０は、Ｓ３０及びＳ３１と並行して、検出対象の外観の特徴量に基づき、画像の中から検出対象を検出する（Ｓ３２）。
【0094】
そして、画像処理装置１０は、Ｓ３２で過去に検出された検出対象の中から、Ｓ３１で検出された存在推定箇所との間で所定の条件を満たす検出対象を抽出する（Ｓ３３）。次いで、画像処理装置１０は、Ｓ３１で検出した存在推定箇所と、当該存在推定箇所との間で所定の条件を満たす検出対象とを紐付けた情報を出力する（Ｓ３４）。なお、Ｓ３４では、Ｓ３２で検出された検出対象を示す情報をさらに出力してもよい。
【0095】
本実施形態の画像処理装置１０のその他の構成は、第１乃至第３の実施形態の画像処理装置１０と同様である。
【0096】
本実施形態の画像処理装置１０によれば、第１乃至第３の実施形態の画像処理装置１０と同様の作用効果が実現される。また、本実施形態の画像処理装置１０によれば、存在推定箇所に存在すると推定される検出対象の候補を示す情報（図１４の情報Ｑ）を出力することができる。ユーザは、画像処理装置１０から出力された情報に基づき、検出対象が存在すると推定される存在推定箇所の存在やその位置に加えて、その存在推定箇所に存在する検出対象の候補を把握することができる。
【0097】
＜実施例＞
図１６を用いて、実施例を説明する。本実施例のシステムは、例えばアミューズメントパーク、駅、運動施設など、多数の人が集まることがある施設等において利用される。
図１６を用いて、実施例を説明する。本実施例のシステムは、例えばアミューズメントパーク、駅、運動施設など、多数の人が集まることがある施設等において利用される。
【0098】
施設の訪問予定者で、施設の作業者によるサポートを要求する者は、訪問前に、スマートフォン、タブレット端末、携帯電話、パーソナルコンピュータ等の通信装置を介してトランザクションコントロールサーバにアクセスし、要サポート者としての登録作業、例えば自身の顔画像を登録する作業を行う。施設が提供するアプリケーションやホームページ等を用いて、当該顔画像の登録が実現されてもよい。登録作業が成功した場合、トランザクションコントロールサーバは顔画像を顔データのデータベースに登録する。
【0099】
そして、施設のあらゆる箇所に監視カメラが設置される。監視カメラが撮影した画像は、任意の手段で、リアルタイムにトランザクションコントロールサーバに送信される。トランザクションコントロールサーバは、取得した画像を顔認証サーバに送信し、顔データのデータベースに登録された人（検出対象）の検出を要求する。顔認証サーバは、要求に応じた処理を実行し、その結果をトランザクションコントロールサーバに返信する。
【0100】
また、トランザクションコントロールサーバは、取得した画像を映像解析サーバに送信し、画像の解析を要求する。映像解析サーバは、人検出技術、物体検出技術、姿勢検出技術、動線検出技術、移動速度検出技術等のあらゆる画像解析技術を用いて、事前に顔画像を登録した人以外の検出対象（例：車椅子利用者、白杖利用者、松葉杖利用者、病人、けが人、迷子、その他の要サポート者、転倒物、落下物、その他の障害物等）を検出する処理、及び存在推定箇所を検出する処理を実行する。そして、映像解析サーバは、その結果をトランザクションコントロールサーバに返信する。
【0101】
トランザクションコントロールサーバは、顔認証サーバ及び映像解析サーバから受信した結果に基づき出力する情報を生成し、その情報を検出結果確認用端末に表示させる。
【0102】
本実施例では、トランザクションコントロールサーバ、映像解析サーバ、及び顔認証サーバにより、画像処理装置１０が実現されている。
【0103】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。上述した実施形態の構成は、互いに組み合わせたり、一部の構成を他の構成に入れ替えたりしてもよい。また、上述した実施形態の構成は、趣旨を逸脱しない範囲内において種々の変更を加えてもよい。また、上述した各実施形態や変形例に開示される構成や処理を互いに組み合わせてもよい。
【0104】
また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施の形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施の形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施の形態は、内容が相反しない範囲で組み合わせることができる。
【0105】
上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． 時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する特定手段と、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する存在推定箇所検出手段と、
を有する画像処理装置。
２． 前記存在推定箇所検出手段は、人の混雑度が第１の混雑基準値以上の領域に囲まれており、人の混雑度が第２の混雑基準値未満となっている箇所を、前記存在推定箇所として検出する１に記載の画像処理装置。
３． 前記存在推定箇所検出手段は、人の混雑度が第１の混雑基準値以上の領域に囲まれており、人の混雑度が第２の混雑基準値未満となっている状態が所定時間以上継続している箇所を、前記存在推定箇所として検出する２に記載の画像処理装置。
４． 前記存在推定箇所検出手段は、前記特定の結果で人が通過していないことが示されている箇所を、前記存在推定箇所として検出する１から３のいずれかに記載の画像処理装置。
５． 前記存在推定箇所検出手段は、通常時の人の動線を示す参照情報と前記特定の結果に基づき、前記参照情報で人が通過することが示されているが、前記特定の結果で人が通過していないことが示されている箇所を、前記存在推定箇所として検出する４に記載の画像処理装置。
６． 前記存在推定箇所検出手段は、人が通過していない状態が所定時間以上継続している箇所を、前記存在推定箇所として検出する４又は５に記載の画像処理装置。
７． 前記存在推定箇所検出手段は、移動速度が速度基準値未満である人が存在する箇所を、前記存在推定箇所として検出する１から６のいずれかに記載の画像処理装置。
８． 前記存在推定箇所検出手段は、前記画像に含まれる複数の人の移動速度に基づき、前記速度基準値を算出する７に記載の画像処理装置。
９． 前記検出対象の外観の特徴量に基づき、前記画像の中から前記検出対象を検出する検出対象検出手段と、
検出された前記検出対象の中から、検出された前記存在推定箇所との間で所定の条件を満たす前記検出対象を抽出する抽出手段と、
前記存在推定箇所と、前記存在推定箇所との間で前記所定の条件を満たす前記検出対象とを紐付けた情報を出力する出力手段と、
を有する１から８のいずれかに記載の画像処理装置。
１０． 前記所定の条件は、
前記検出対象の検出位置と、前記存在推定箇所の検出位置との間の距離が距離基準値未満、及び、
前記検出対象の検出タイミングと、前記存在推定箇所の検出タイミングとの間の時間差が時間基準値未満の少なくとも一方を含む９に記載の画像処理装置。
１１． 前記所定の条件は、前記存在推定箇所と前記検出対象が同じ画像内で同時に検出されていないことを含む９又は１０に記載の画像処理装置。
１２． コンピュータが、
時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定し、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する画像処理方法。
１３． コンピュータを、
時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する特定手段、及び、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する存在推定箇所検出手段、
として機能させるプログラム。
１． 時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する特定手段と、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する存在推定箇所検出手段と、
を有する画像処理装置。
２． 前記存在推定箇所検出手段は、人の混雑度が第１の混雑基準値以上の領域に囲まれており、人の混雑度が第２の混雑基準値未満となっている箇所を、前記存在推定箇所として検出する１に記載の画像処理装置。
３． 前記存在推定箇所検出手段は、人の混雑度が第１の混雑基準値以上の領域に囲まれており、人の混雑度が第２の混雑基準値未満となっている状態が所定時間以上継続している箇所を、前記存在推定箇所として検出する２に記載の画像処理装置。
４． 前記存在推定箇所検出手段は、前記特定の結果で人が通過していないことが示されている箇所を、前記存在推定箇所として検出する１から３のいずれかに記載の画像処理装置。
５． 前記存在推定箇所検出手段は、通常時の人の動線を示す参照情報と前記特定の結果に基づき、前記参照情報で人が通過することが示されているが、前記特定の結果で人が通過していないことが示されている箇所を、前記存在推定箇所として検出する４に記載の画像処理装置。
６． 前記存在推定箇所検出手段は、人が通過していない状態が所定時間以上継続している箇所を、前記存在推定箇所として検出する４又は５に記載の画像処理装置。
７． 前記存在推定箇所検出手段は、移動速度が速度基準値未満である人が存在する箇所を、前記存在推定箇所として検出する１から６のいずれかに記載の画像処理装置。
８． 前記存在推定箇所検出手段は、前記画像に含まれる複数の人の移動速度に基づき、前記速度基準値を算出する７に記載の画像処理装置。
９． 前記検出対象の外観の特徴量に基づき、前記画像の中から前記検出対象を検出する検出対象検出手段と、
検出された前記検出対象の中から、検出された前記存在推定箇所との間で所定の条件を満たす前記検出対象を抽出する抽出手段と、
前記存在推定箇所と、前記存在推定箇所との間で前記所定の条件を満たす前記検出対象とを紐付けた情報を出力する出力手段と、
を有する１から８のいずれかに記載の画像処理装置。
１０． 前記所定の条件は、
前記検出対象の検出位置と、前記存在推定箇所の検出位置との間の距離が距離基準値未満、及び、
前記検出対象の検出タイミングと、前記存在推定箇所の検出タイミングとの間の時間差が時間基準値未満の少なくとも一方を含む９に記載の画像処理装置。
１１． 前記所定の条件は、前記存在推定箇所と前記検出対象が同じ画像内で同時に検出されていないことを含む９又は１０に記載の画像処理装置。
１２． コンピュータが、
時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定し、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する画像処理方法。
１３． コンピュータを、
時系列に連続する複数の画像に含まれる人の混雑度、動線及び移動速度の少なくとも１つを特定する特定手段、及び、
前記特定の結果に基づき、検出対象の存在が推定される箇所である存在推定箇所を前記画像の中から検出する存在推定箇所検出手段、
として機能させるプログラム。
【符号の説明】
【0106】
１０ 画像処理装置
１１ 特定部
１２ 存在推定箇所検出部
１３ 出力部
１４ 検出対象検出部
１５ 抽出部
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
１１ 特定部
１２ 存在推定箇所検出部
１３ 出力部
１４ 検出対象検出部
１５ 抽出部
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】