特許 6048086 撮影装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6048086

(24)【登録日】2016年12月2日

(45)【発行日】2016年12月21日

(54)【発明の名称】撮影装置及び画像処理プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20161212BHJP

   G06T 1/00 20060101ALI20161212BHJP

   G06T 7/00 20060101ALI20161212BHJP

   H04N 5/225 20060101ALI20161212BHJP

   H04N 7/18 20060101ALI20161212BHJP

【ＦＩ】

   H04N5/232 Z

   G06T1/00 340B

   G06T7/00 200C

   H04N5/225 C

   H04N5/232 C

   H04N7/18 G

【請求項の数】6

【全頁数】16

(21)【出願番号】特願2012-253816(P2012-253816)

(22)【出願日】2012年11月20日

(65)【公開番号】特開2014-103521(P2014-103521A)

(43)【公開日】2014年6月5日

【審査請求日】2015年4月27日

(73)【特許権者】

【識別番号】304020498

【氏名又は名称】サクサ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(72)【発明者】

【氏名】安中 大

(72)【発明者】

【氏名】頴川 峰一

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開平０８−２４９４５０（ＪＰ，Ａ）

【文献】 特開平１１−２８２９９９（ＪＰ，Ａ）

【文献】 特開２００７−２３５４８５（ＪＰ，Ａ）

【文献】 特開２００５−２３５１０４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

それぞれ床面の高さが異なる第１エリア及び第２エリアを有する領域を撮影する撮影部と、
前記撮影部が撮影した画像における前記第１エリアの画像を少なくとも含む第１エリア画像から、所定の物体を示す第１物体画像を検出する検出部と、
前記撮影部と前記第１エリアの床面との距離を示す第１距離と、前記撮影部と前記第２エリアの床面との距離を示す第２距離との関係に基づいて予め定められた拡大率と、前記第１物体画像のサイズとに基づいて、前記第２エリアで前記物体が撮影されるときの前記物体を示す画像のサイズを算出する算出部と、
を備え、
前記検出部は、前記撮影部が撮影した画像における前記第２エリアの画像を少なくとも含む第２エリア画像から、前記算出部により算出されたサイズを有する画像を、前記物体を示す第２物体画像として検出する撮影装置。

【請求項2】

前記検出部は、前記第１距離に基づいて定められる第１窓サイズの領域を前記第１エリア画像において移動させることにより前記第１物体画像を検出し、前記第２距離に基づいて定められる第２窓サイズの領域を前記第２エリア画像において移動させることにより前記第２物体画像を検出する
請求項１に記載の撮影装置。

【請求項3】

前記算出部は、前記第１エリアにおいて前記撮影部が撮影した前記物体と前記撮影部との距離を示す物体距離を算出し、
前記検出部は、前記第１距離と前記第２距離との関係と、当該物体距離とに基づいて定められる第２窓サイズの領域を移動させることにより、前記第２エリア画像において前記第２物体画像を検出する
請求項２に記載の撮影装置。

【請求項4】

前記検出部は、前記物体距離に基づいて、前記撮影部により撮影される前記画像における前記第１エリア画像と前記第２エリア画像との境界位置を算出する
請求項３に記載の撮影装置。

【請求項5】

前記撮影部は、２つの位置から前記領域を撮影することにより第１画像及び第２画像を生成し、
前記検出部は、前記第１画像及び前記第２画像のそれぞれにおける前記第１エリア画像から前記第１物体画像を検出し、
前記算出部は、前記第１画像における前記第１物体画像の位置と前記第２画像における前記第１物体画像の位置との差に基づいて、前記物体距離を算出する
請求項３又は４に記載の撮影装置。

【請求項6】

コンピュータに、
それぞれ床面の高さが異なる第１エリア及び第２エリアを有する領域を撮影部に撮影させるステップと、
前記撮影するステップにおいて撮影された画像における前記第１エリアの画像を少なくとも含む第１エリア画像から、所定の物体を示す第１物体画像を検出するステップと、
前記撮影部と前記第１エリアの床面との距離を示す第１距離と、前記撮影部と前記第２エリアの床面との距離を示す第２距離との関係に基づいて予め定められた拡大率と、前記第１物体画像のサイズとに基づいて、前記第２エリアで前記物体が撮影されるときの前記物体を示す画像のサイズを算出するステップと、
を実行させるための画像処理プログラムであって、
前記検出するステップは、前記撮影するステップにおいて撮影した画像における前記第２エリアの画像を少なくとも含む第２エリア画像から、前記算出するステップにより算出されたサイズを有する画像を、前記物体を示す第２物体画像として検出する画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影装置及び画像処理プログラムに関する。

【背景技術】

【0002】

従来、所定エリアを通過した人数の計数を行う方法が知られている。例えば、特許文献１には、プラットフォーム又は車両のドアの位置を上方から見下ろす向きに設置されたカメラを用いて、連続して撮影された画像に写った人のトラッキングを行うことにより車両の乗車人数や降車人数をカウントする方法が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−１９９１０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

バスの乗車口の階段のような段差を有するエリアをカメラで撮影する場合、段差を上がる前に検出する人の大きさと、段差を上がった後に検出する人の大きさが変化する。従来のトラッキング方法では、検出した物体の大きさや物体の特徴量によってトラッキングを行うため、特許文献１に記載のカメラを用いた場合には、段差の前後で同一の人をトラッキングすることが困難であった。具体的には、段差を上がる前の人のサイズと、段差を上がった後の人のサイズとが異なるので、同一の人であることを正確にトラッキングすることができなかった。

【0005】

そこで、本発明はこの点に鑑みてなされたものであり、高低差のあるエリアにおいて精度よくトラッキングすることができる撮影装置及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の第１の態様に係る撮影装置は、それぞれ床面の高さが異なる第１エリア及び第２エリアを有する領域を撮影する撮影部と、前記撮影部が撮影した画像における前記第１エリアの画像を少なくとも含む第１エリア画像から、所定の物体を示す第１物体画像を検出する検出部と、を備え、前記検出部は、前記撮影部が撮影した画像における前記第２エリアの画像を少なくとも含む第２エリア画像から、前記第１物体画像のサイズと、前記撮影部と前記第１エリアの床面との距離を示す第１距離と、前記撮影部と前記第２エリアの床面との距離を示す第２距離との関係に基づいて定められるサイズを有する画像を、前記物体を示す第２物体画像として検出する。

【0007】

上記の撮影装置では、前記第１物体画像のサイズと、前記第１距離と前記第２距離との関係に基づいて定められる拡大率とに基づいて、前記第２エリアで前記物体が撮影されるときの前記物体を示す画像のサイズを算出する算出部を備え、前記検出部は、前記第２エリア画像から、前記算出部により算出されたサイズを有する画像を前記第２物体画像として検出してもよい。

【0008】

上記の撮影装置では、前記検出部は、前記第１距離に基づいて定められる第１窓サイズの領域を前記第１エリア画像において移動させることにより前記第１物体画像を検出し、前記第２距離に基づいて定められる第２窓サイズの領域を前記第２エリア画像において移動させることにより前記第２物体画像を検出してもよい。

【0009】

上記の撮影装置では、前記算出部は、前記第１エリアにおいて前記撮影部が撮影した前記物体と前記撮影部との距離を示す物体距離を算出し、前記第１距離と前記第２距離との関係と、当該物体距離とに基づいて、前記拡大率を算出してもよい。

【0010】

上記の撮影装置では、前記検出部は、前記第１距離と前記第２距離との関係と、当該物体距離とに基づいて定められる第２窓サイズの領域を移動させることにより、前記第２エリア画像において前記第２物体画像を検出してもよい。

【0011】

上記の撮影装置では、前記検出部は、前記物体距離に基づいて、前記撮影部により撮影される前記画像における前記第１エリア画像と前記第２エリア画像との境界位置を算出してもよい。

【0012】

上記の撮影装置では、前記撮影部は、２つの位置から前記領域を撮影することにより第１画像及び第２画像を生成し、前記検出部は、前記第１画像及び前記第２画像のそれぞれにおける前記第１エリア画像から前記第１物体画像を検出し、前記算出部は、前記第１画像における前記第１物体画像の位置と前記第２画像における前記第１物体画像の位置との差に基づいて、前記物体距離を算出してもよい。

【0013】

本発明の第２の態様に係る撮影装置は、床面が傾斜しているエリアを有する領域を撮影する撮影部と、前記撮影部が撮影した画像において、所定の窓サイズの領域を移動させることにより、所定の物体を示す物体画像を検出する検出部と、前記撮影部が撮影した前記物体と前記撮影部との距離を示す物体距離を算出し、算出した物体距離に基づいて前記窓サイズの大きさを算出する算出部とを備える。

【0014】

本発明の第３の態様に係る画像処理プログラムは、コンピュータに、撮影部が、それぞれ床面の高さが異なる第１エリア及び第２エリアを有する領域を撮影するステップと、前記撮影するステップにおいて撮影した画像における前記第１エリアの画像を少なくとも含む第１エリア画像から、所定の物体を示す第１物体画像を検出するステップとを実行させるための画像処理プログラムであって、前記検出するステップは、前記撮影するステップにおいて撮影した画像における前記第２エリアの画像を少なくとも含む第２エリア画像から、前記撮影部と前記第１エリアの床面との距離を示す第１距離と、前記撮影部と前記第２エリアの床面との距離を示す第２距離との関係と、前記第１物体画像のサイズとに基づいて定められるサイズを有する画像を、前記物体を示す第２物体画像として検出する。

【発明の効果】

【0015】

本発明によれば、高低差のあるエリアにおいて精度よくトラッキングすることができる。

【図面の簡単な説明】

【0016】

【図1A】第１の実施形態の撮影装置の設置例を示す図である。

【図1B】第１の実施形態の撮影装置が撮影した画像の一例を示す図である。

【図1C】第１の実施形態の撮影装置が撮影した画像の一例を示す図である。

【図2】第１の実施形態の撮影装置の構成例を示す図である。

【図3】第１エリア及び第２エリアにおける検索窓を示す図である。

【図4】第１の実施形態の撮影装置の動作フローチャートを示す図である。

【図5】第１の実施形態の撮影装置が物体を探索するときの動作フローチャートを示す図である。

【図6】第２の実施形態の撮影装置が撮影した第１画像及び第２画像を示す図である。

【図7】物体までの距離と物体画像サイズとの関係を説明する図である。

【図8】第２の実施形態の撮影装置が物体までの距離を算出するときの動作フローチャートを示す。

【図9A】第３の実施形態の撮影装置が物体を撮影する状態を示す図である。

【図9B】第３の実施形態の撮影装置が撮影した画像における第１エリアと第２エリアとの境界位置を示す図である。

【図9C】第３の実施形態の撮影装置が撮影した画像における第１エリアと第２エリアとの境界位置を示す図である。

【発明を実施するための形態】

【0017】

＜第１の実施形態＞
［撮影装置１の設置例］
図１Ａは、第１の実施形態の撮影装置１の設置例を示す図である。図１Ｂ及び図１Ｃは、第１の実施形態の撮影装置１が撮影した画像の一例を示す図である。撮影装置１は、例えばバス及び電車の乗降口付近の天井に設置されており、人の乗車を撮影する。なお、撮影装置１は、人の降車を撮影してもよい。

【0018】

撮影装置１は、第１エリアａ１及び第２エリアａ２を有する領域の上部に設けられており、当該領域を撮影する。撮影装置１は、例えば、第１エリアａ１から第２エリアａ２に移動する人を検出する。第１エリアａ１と第２エリアａ２とは、それぞれ床面の高さが異なる。すなわち、第１エリアａ１と第２エリアａ２との間には、図１Ａに示すように段差があり、第１エリアａ１の床面に比べて第２エリアａ２の床面が高い位置にある。

【0019】

図１Ａに示すように、第１エリアａ１に存在する人ｂが第２エリアａ２に移動した場合、移動後の撮影装置１と人ｂとの距離は、移動前の撮影装置１と人ｂとの距離に比べて短くなる。これにより、撮影装置１によって撮影される人ｂの画像は、第２エリアａ２に人ｂが存在する場合のほうが、第１エリアａ１に人ｂが存在する場合に比べて大きく表示される。

【0020】

したがって、床面の高さが異なる複数のエリアを人などの物体が移動した場合、これらのエリアを上部から撮影した画像における当該物体の画像の大きさが変化する。撮影装置１は、撮影された画像における物体の画像の大きさが変化しても、正確にトラッキングする機能を有する。以下、撮影装置１の構成例について説明する。

【0021】

［撮影装置１の構成例］
図２は、第１の実施形態の構成例を示す図である。
図２に示すように、撮影装置１は、撮影部１０と、記憶部２０と、制御部３０とを備える。

【0022】

撮影部１０は、レンズ及びＣＣＤ（電荷結合素子）などにより構成される。撮影部１０は、レンズを介してそれぞれ床面の高さが異なる第１エリアａ１及び第２エリアａ２を有する領域の画像を連続して撮影する。具体的には、撮影部１０は、所定の時間ごと（例えば、フレーム周期ごと）にＣＣＤから出力される信号をアナログ／デジタル変換して上記領域の画像をデジタル画像として生成することにより、上記領域の画像を撮影する。

【0023】

記憶部２０は、例えば、ＲＡＭやＲＯＭなどにより構成される。記憶部２０は、撮影装置１を機能させるための各種プログラムを記憶する。記憶部２０は、ＣＤ−ＲＯＭなどの記憶媒体に記憶されたプログラムを読み取って記憶してもよく、ネットワークを介してサーバからダウンロードされたプログラムを記憶してもよい。

【0024】

記憶部２０は、制御部３０の制御によって、撮影装置１と第１エリアａ１の床面との距離を示す第１距離と、撮影装置１と第２エリアａ２の床面との距離を示す第２距離との関係に基づいて定められる拡大率を示す拡大率情報を記憶する。第１距離と第２距離との関係とは、例えば、第１エリアａ１の床面と第２エリアａ２の床面との段差の高さである。すなわち、記憶部２０は、当該段差の高さを示す情報と、第１エリアａ１の物体の画像に対する第２エリアａ２の物体の画像の拡大率とを関連付けて拡大率情報として記憶する。例えば、記憶部２０は、段差を示す情報と当該段差における拡大率と関連付けた段差別拡大率情報を記憶し、制御部３０の制御によって段差別拡大率情報から選択された拡大率を拡大率情報として記憶する。なお、記憶部２０は、拡大率情報の他に、第１距離、第２距離、及び段差を示す情報を記憶する。

【0025】

また、記憶部２０は、制御部３０の制御によって、撮影部１０が撮影した画像において人などの物体を検出するための検索窓の窓サイズを示す情報を記憶する。具体的には、記憶部２０は、第１窓サイズ情報と、第２窓サイズ情報とを記憶する。第１窓サイズ情報は、第１距離に基づいて定められる第１窓サイズを示す情報である。第２窓サイズ情報は、第１窓サイズと第２距離とに基づいて定められる第２窓サイズを示す情報である。

【0026】

制御部３０は、例えば、ＣＰＵにより構成される。制御部３０は、記憶部２０に記憶されている各種プログラム及び画像処理プログラムを実行することにより、撮影装置１に係る機能を統括的に制御する。制御部３０は、記憶制御部３１と、検出部３２と、算出部３３と、計数部３４とを備える。

【0027】

記憶制御部３１は、撮影装置１が設置された場所で使用する拡大率を記憶部２０に記憶させる。具体的には、記憶制御部３１は、撮影装置１が設置されるときに段差の高さの入力を受けて、記憶部２０の段差別拡大率情報から、当該段差に対応する拡大率を抽出する。記憶制御部３１は、抽出した拡大率を、拡大率情報として記憶部２０に記憶させる。記憶制御部３１は、拡大率の入力操作を受け付け、当該拡大率を示す情報を拡大率情報として記憶部２０に記憶させてもよい。記憶制御部３１は、第１窓サイズと拡大率とを乗算して第２窓サイズを算出し、当該第２窓サイズを示す第２窓サイズ情報を記憶部２０に記憶させてもよい。

【0028】

検出部３２は、撮影部１０が撮影した画像において人などの移動する物体を検出する。
算出部３３は、第１エリアａ１で撮影された物体が、第２エリアａ２で撮影されるときの、当該物体を示す画像のサイズを算出する。
以下、検出部３２及び算出部３３の具体的な処理について説明する。

【0029】

検出部３２は、撮影部１０が撮影した画像における第１エリアａ１の画像を少なくとも含む第１エリア画像において第１窓サイズの領域を移動させることにより、所定の物体を示す第１物体画像を検出する。ここで、第１エリア画像は、撮影部１０が撮影した画像において、基準とした物体（例えば、身長が１８０ｃｍの人）が第１エリアａ１に位置しているときに映る範囲を示す画像である。

【0030】

図３は、第１の実施形態の第１エリアａ１及び第２エリアａ２における検索窓を示す図である。検出部３２は、記憶部２０を参照し、第１エリア画像から第１物体画像を検出するための領域のサイズ（第１窓サイズ）を示す第１窓サイズ情報を取得する。以下、この領域を第１検索窓ｗ１という。続いて、検出部３２は、図３に示すように、第１エリア画像において予め定められた開始位置に、第１検索窓ｗ１を配置し、第１検索窓ｗ１によって囲まれる画像、すなわち、第１検索窓ｗ１の内側の画像を抽出する。

【0031】

続いて、検出部３２は、抽出した画像に所定の条件を満たす物体が含まれているか否かを判定することにより、第１物体画像ｂを検出する。ここで、所定の条件とは、物体の色彩、物体の形状、及び抽出した画像において物体が占める割合などによって定められる条件をいう。

【0032】

検出部３２は、抽出した画像に、所定の条件を満たす物体が含まれていない場合に、図３に示される矢印の方向、すなわち、縦方向に、第１検索窓ｗ１を所定量移動させる。検出部３２は、移動後の第１検索窓ｗ１の内側の画像を抽出し、第１物体画像が含まれているか否かを判定する。

【0033】

検出部３２は、第１検索窓ｗ１を縦方向に順に移動させて第１物体画像を検出できなかった場合、第１検索窓ｗ１を横方向に所定量移動させる。検出部３２は、移動後の位置において縦方向に第１検索窓ｗ１を移動させながら、当該第１検索窓ｗ１の内側の画像に基づいて第１物体画像が含まれているか否かを判定する。検出部３２は、第１物体画像を検出するか、第１エリア画像における全ての位置において当該判定が終了するまで第１物体画像の検出を試行する。なお、検出部３２は、第１検索窓ｗ１を横方向に順に移動させて第１物体画像を検出できなかった場合に、第１検索窓ｗ１を縦方向に移動させて第１物体画像の検出を試行してもよい。

【0034】

検出部３２は、検出した第１物体画像のラベリングを行う。ラベリングとは、検出した画像の位置及び画像の特徴量などを記憶部２０に記憶させることをいう。例えば、検出部３２は、検出した画像に基づいて、物体を示す画像の特徴量と、当該物体の位置を示す情報と、当該物体が撮影された時間と、当該物体の識別情報とを関連付けてラベリング情報として記憶部２０に記憶させる。

【0035】

算出部３３は、第１物体画像のサイズと、記憶部２０に記憶されている拡大率情報とに基づいて、第１エリアで撮影された物体が第２エリアａ２で撮影されるときの、当該物体を示す画像のサイズを算出する。すなわち、算出部３３は、まず、検出された第１物体画像のサイズを特定する。続いて、算出部３３は、記憶部２０に記憶されている拡大率を抽出し、特定した第１物体画像のサイズに当該拡大率を乗算することで、第１エリアで撮影された物体が第２エリアａ２で撮影されるときの当該物体を示す画像のサイズを算出する。

【0036】

続いて、検出部３２は、撮影部１０が撮影した画像における第２エリアａ２の画像を少なくとも含む第２エリア画像において第２窓サイズの領域を移動させることにより、第１エリアで撮影された物体を示し、算出部３３により算出されたサイズを有する第２物体画像を検出する。ここで、第２エリア画像は、撮影部１０が撮影した画像において、基準とした物体が第２エリアａ２に位置しているときに映る範囲を示す画像である。

【0037】

すなわち、まず、検出部３２は、記憶部２０を参照し、第２エリア画像から第２物体画像を検出するための領域のサイズ（第２窓サイズ）を示す第２窓サイズ情報を取得する。以下、この領域を第２検索窓ｗ２という。続いて、検出部３２は、第２エリア画像において、第１物体画像を検出する場合と同様に、縦方向及び横方向に第２検索窓ｗ２を順に移動させて、第２物体画像を検出する。検出部３２は、検出した第２物体画像についてラベリングを行う。

【0038】

計数部３４は、記憶部２０に記憶されているラベリング情報に基づいて、第１エリア及び第２エリアａ２を物体が通過した数を計数する。具体的には、計数部３４は、ラベリング情報を参照し、連続して検出された第１物体画像及び第２物体画像のうち、画像の特徴量が略一致する画像が示す物体を同一の物体と判定する。続いて、計数部３４は、当該物体が第１エリアａ１及び第２エリアａ２を移動したか否かを判定し、第１エリアａ１及び第２エリアａ２を通過した物体を計数する。

【0039】

続いて、制御部３０による処理の流れについて説明する。
図４は、第１の実施形態の撮影装置１の動作フローチャートを示す図である。ここで、記憶部２０には、予め拡大率情報が記憶されているものとする。

【0040】

まず、検出部３２は、記憶部２０を参照して、第１窓サイズを取得する（Ｓ１）。検出部３２は、第１エリア画像において第１検索窓ｗ１を移動させて、第１物体画像を検出する（Ｓ２）。検出部３２は、検出した第１物体画像のラベリングを行う（Ｓ３）。算出部３３は、第２物体画像のサイズを算出する（Ｓ４）。

【0041】

検出部３２は、記憶部２０を参照して、第２窓サイズを取得する（Ｓ５）。検出部３２は、第２エリア画像において第２検索窓ｗ２を移動させて、第２物体画像を検出する（Ｓ６）。検出部３２は、検出した第２物体画像のラベリングを行う（Ｓ７）。計数部３４は、ラベリング情報に基づいて第１エリアａ１及び第２エリアａ２を通過した物体の数を計数する（Ｓ８）。

【0042】

図５は、第１の実施形態の撮影装置１が物体を探索するときの動作フローチャートを示す図である。この動作フローチャートは、第１エリア画像における第１物体画像の検出、及び第２エリア画像における第２物体画像の検出において共通である。ここでは、第１エリア画像における第１物体画像を検出する例について説明する。

【0043】

検出部３２は、第１検索窓の内側の画像に第１物体画像が含まれているか、第１エリア画像全ての位置において第１物体画像が見つからないと判定するまで、Ｓ２１〜Ｓ２４の処理を実行する。具体的には、検出部３２は、第１エリア画像において、第１検索窓ｗ１を縦方向に移動させて、第１検索窓の内側の画像に第１物体画像が含まれているか否かを判定することにより、第１物体画像の検索を行う（Ｓ２１）。検出部３２は、縦方向における第１物体画像の検索が終了したか否かを判定する。検出部３２は、この判定がＹＥＳの場合、Ｓ２３に処理を移し、この判定がＮＯの場合、Ｓ２１に処理を移す（Ｓ２２）。検出部３２は、第１検索窓ｗ１を横方向に移動させる（Ｓ２３）。検出部３２は、横方向における第１物体画像の検索が終了したか否かを判定する。検出部３２は、この判定がＹＥＳの場合、本フローチャートに係る処理を終了し、この判定がＮＯの場合、Ｓ２１に処理を移す（Ｓ２４）。

【0044】

［第１の実施形態の効果］
以上、第１の実施形態によれば、撮影装置１は、算出部３３により第１エリアａ１で撮影された所定の物体を示す第１物体画像のサイズと拡大率情報とに基づいて、第２エリアａ２で当該物体が撮影されるときの当該物体を示す画像のサイズを算出し、検出部３２により、撮影部１０が撮影した画像における第２エリアａ２の画像を少なくとも含む第２エリア画像から、当該物体を示し、算出部３３により算出されたサイズを有する物体を示す第２物体画像を検出する。このようにすることで、撮影装置１は、それぞれ床面の高さが異なる第１エリアａ１及び第２エリアａ２においても、物体のトラッキングを精度よく行うことができる。

【0045】

また、撮影装置１は、検出部３２により、第１距離に基づいて定められる第１窓サイズの領域を第１エリア画像において移動させることにより第１物体画像を検出し、第２距離に基づいて定められる第２窓サイズの領域を第２エリア画像において移動させることにより第２物体画像を検出する。このようにすることで、撮影装置１は、第１距離及び第２距離それぞれにおいて、物体のサイズに適した窓サイズを用いて第１物体画像及び第２物体画像を検出することができる。

【0046】

＜第２の実施形態＞
［物体の高さに基づいてサイズを補正する］
続いて、第２の実施形態の撮影装置１について説明する。第２の実施形態は、撮影装置１が、撮影装置１と物体との距離を算出し、当該距離に基づいて第２物体画像のサイズ及び第２窓サイズを算出する点で、第１の実施形態と異なり、他の点では同じである。

【0047】

図６は、第２の実施形態の撮影装置１が撮影した第１画像ａ３及び第２画像ａ４を示す図である。図７は、物体までの距離と物体画像サイズとの関係を説明する図である。図８は、第２の実施形態の撮影装置１の動作フローチャートを示す図である。第２の実施形態において、撮影部１０は、複数のレンズ及び複数のＣＣＤなどによって、それぞれ異なる２つの位置から第１エリアａ１及び第２エリアａ２を有する領域を同時に撮影することにより、図６に示すように第１画像ａ３及び第２画像ａ４を生成する。

【0048】

［第２の実施形態に係る撮影装置１］
検出部３２は、撮影部１０が同時に撮影することで生成した第１画像ａ３及び第２画像ａ４それぞれにおける第１エリア画像から、所定の物体である人の頭部を示す第１物体画像を検出する。
具体的には、検出部３２は、第１画像ａ３における第１エリア画像の所定位置に第１検索窓Ｗ−Ｌを配置する（Ｓ３１）。そして、検出部３２は、当該第１検索窓Ｗ−Ｌを縦方向及び横方向の少なくともいずれかに所定量ずつ移動させながら、第１検索窓Ｗ−Ｌの内側の画像を取得することで第１画像ａ３から第１物体画像ｂＬを検出する（Ｓ３２）。

【0049】

続いて、検出部３２は、第２画像ａ４における第１エリア画像の所定位置に第１検索窓Ｗ−Ｒを配置し（Ｓ３３）、第１検索窓Ｗ−Ｒを移動しながら、第１検索窓Ｗ−Ｒの内側の画像を検出する（Ｓ３４）。検出部３２は、当該検出した画像と、第１画像ａ３において検出された第１物体画像ｂとのそれぞれにおける画像の特徴量の比較を行うことにより近似度を算出する（Ｓ３５）。検出部３２は、第１検索窓Ｗ−Ｒを縦方向及び横方向の少なくともいずれかに所定量移動させながら、第１検索窓Ｗ−Ｒの内側の画像と、第１物体画像との近似度の算出を繰り返す。検出部３２は、第２画像ａ４において取得した画像のうち最も近似度が高い画像を、第１物体画像を含む画像に特定する（Ｓ３６）。

【0050】

算出部３３は、第１画像ａ３及び第２画像ａ４からそれぞれ第１物体画像を検出した後、第１画像ａ３における第１物体画像の位置と、第２画像における第１物体画像の位置との差である視差を算出し（Ｓ３７）、この視差に基づいて撮影部１０と物体との距離を算出する。具体的には、算出部３３は、第１画像ａ３から検出した第１物体画像の第１画像ａ３における位置と、第２画像ａ４から検出した第１物体画像の第２画像ａ４における位置とのずれ量である視差を算出する。この視差をｇ、第１距離をＬ１、撮影部１０における２つのレンズの距離をＤ、撮影部１０から第１エリアａ１における物体までの距離（第１物体距離）をｒ１とすると、Ｄ：ｇ＝ｒ１：Ｌ１−ｒ１という式が成り立つことから、ｒ１＝Ｌ１／（１＋ｇ／Ｄ）と求められる。算出部３３は、段差の高さｈと、第１物体距離ｒ１とに基づいて第２エリアａ２における物体までの距離（第２物体距離）をｒ２と求める。算出部３３は、第１物体距離ｒ１と、第１画像ａ３における第１物体画像のサイズから、所定の物体のサイズ（物体の幅）を算出する。

【0051】

なお、算出部３３は、第１距離Ｌ１と第１物体画像のサイズとに基づいて、第１物体距離を算出してもよい。すなわち、記憶部２０に、第１距離Ｌ１において基準となる第１物体画像のサイズ（基準サイズ）と、当該サイズに対する第１物体距離（基準距離）とを関連付けて記憶させておき、算出部３３が、検出された第１物体画像のサイズの基準サイズに基づいて、第１物体距離を算出してもよい。例えば、算出部３３は、検出された第１物体画像のサイズの基準サイズに対する比率と基準距離とを乗算することで第１物体距離を算出してもよい。

【0052】

続いて、算出部３３は、記憶部２０に記憶されている第１距離Ｌ１と第２距離Ｌ２との関係と、第１物体距離ｒ１とに基づいて、拡大率を算出する。具体的には、算出部３３は、第１物体距離ｒ１において撮影部１０に映る物体の画角と、第２物体距離ｒ２において撮影部１０に映る当該物体の画角とを算出し、これらの画角の比率により拡大率を算出する。すなわち、図７に示すように、物体の幅を２ｄとし、第１物体距離ｒ１における物体の画角をθ１とすると、ｔａｎ（θ１／２）＝ｄ／ｒ１であることから、算出部３３は、θ１＝２ａｒｃｔａｎ（ｄ／ｒ１）と算出する。同様に、第２物体距離ｒ２における物体の画角をθ２とすると、算出部３３は、θ２＝２ａｒｃｔａｎ（ｄ／ｒ２）と算出する。算出部３３は、撮影部１０により撮影される領域の画角に対するθ１の比率と、撮影部１０により撮影される領域の画角に対するθ２の比率に基づいて拡大率を算出する。続いて、記憶制御部３１は、算出された拡大率を示す拡大率情報を記憶部２０に記憶させる。

【0053】

算出部３３は、第１物体画像のサイズと、記憶部２０に記憶されている拡大率情報が示す拡大率とに基づいて、第２エリアａ２で物体が撮影されるときの物体を示す画像のサイズを算出する。また、算出部３３は、第１距離Ｌ１と第２距離Ｌ２との関係と、当該第１物体距離ｒ１とに基づいて、第２窓サイズを算出する。すなわち、算出部３３は、上述のように第１物体距離ｒ１と、第２物体距離ｒ２とを用いて算出された拡大率を第１窓サイズに乗算することによって第２窓サイズを算出する。
検出部３２は、算出されたサイズの第２検索窓ｗ２を第２エリア画像において移動させることにより物体を検出する。

【0054】

［第２の実施形態の効果］
以上、第２の実施形態によれば、撮影装置１は、撮影部１０が撮影した物体と撮影部１０との距離を示す第１物体距離ｒ１を算出し、第１距離Ｌ１と第２距離Ｌ２との関係と、当該第１物体距離ｒ１とに基づいて、拡大率を算出する。これにより、撮影装置１は、物体と撮影部１０との実際の距離に基づいて第２物体画像のサイズを算出するので、第２エリアａ２における物体の検出精度を高めることができる。

【0055】

また、撮影装置１では、検出部３２は、第１距離Ｌ１と第２距離Ｌ２との関係と、第１物体距離ｒ１とに基づいて定められる第２窓サイズの領域を移動させることにより、第２エリア画像において物体を検出する。このようにすることで、撮影装置１では、第２エリア画像において撮影される物体のサイズに適した第２窓サイズを設定することができる。

【0056】

＜第３の実施形態＞
［物体の高さに基づいてエリアの境界位置を決める］
続いて、第３の実施形態の撮影装置１について説明する。第３の実施形態の撮影装置１では、撮影部１０と物体との距離に基づいて第１エリア画像と第２エリア画像との境界位置を算出する点で、第１の実施形態と異なり、他の点では同じである。

【0057】

［第３の実施形態に係る撮影装置１］
図９Ａは、第３の実施形態の撮影装置１が物体ｂを撮影する状態を示す図である。図９Ｂ及び図９Ｃは、第３の実施形態の撮影装置１が撮影した画像における第１エリアａ１と第２エリアａ２との境界位置の例を示す図である。

【0058】

撮影部１０は、複数のレンズ及び複数のＣＣＤなどを備えている。算出部３３は、撮影部１０が同時に撮影した２つの画像に基づいて、第２実施形態と同様の処理により第１物体距離を算出する。
検出部３２は、第１物体距離に基づいて、物体が段差上に位置する場合に撮影部１０により撮影される画像における第１エリア画像と第２エリア画像との境界位置を算出する。

【0059】

具体的には、検出部３２は、段差の位置において、段差の高さと物体距離とを加算した高さに物体の上部が位置している場合に撮影部１０が撮影するときの撮影画像における物体の位置を算出し、当該位置を基準として境界位置を算出する。すなわち、検出部３２は、撮影装置１の位置から、物体の上部に対して直線を引いた場合に、当該直線が第１エリアａ１の床面と交わる位置を、境界位置と算出する。また、検出部３２は、段差に並行であって、当該境界位置を通過する直線を、第１エリア画像と第２エリア画像との境界線とする。

【0060】

例えば、図９Ａに示されるように物体ｂ−Ｈが段差上に存在する場合、物体ｂ−Ｈは、撮影部１０により撮影される画像において、図９Ｂに示される位置に表示される。また、物体ｂ−Ｌが段差上に存在する場合、物体ｂ−Ｌは、撮影部１０により撮影される画像において、図９Ｃに示される位置に表示される。

【0061】

［第３の実施形態の効果］
以上、第３の実施形態によれば、撮影装置１は、第１物体距離に基づいて、撮影部１０が撮影する画像における第１エリア画像と第２エリア画像との境界位置を算出する。撮影装置１は、物体の高さが異なっていても、物体それぞれの、段差によって撮影サイズが変化する位置を把握して精度よくトラッキングをすることができる。

【0062】

＜第４の実施形態＞
［傾斜のあるエリアにおいて物体画像を検出する］
続いて、第４の実施形態の撮影装置１について説明する。第４の実施形態の撮影装置１では、床面が傾斜しているエリアから所定の物体を示す物体画像を検出する点で第１の実施形態と異なり、他の点では同じである。以下、床面が傾斜しているエリアを傾斜エリアという。

【0063】

［第４の実施形態に係る撮影装置１］
撮影部１０は、傾斜エリアを有する領域を撮影する。
記憶部２０は、傾斜エリアにおいて撮影される所定の物体を検出するための検索窓の窓サイズを示す窓サイズ情報を記憶する。この窓サイズは、例えば、傾斜エリアにおいて所定の物体が初めて検出できる位置における当該物体を示す画像のサイズより所定割合大きいサイズ（所定の窓サイズ）である。

【0064】

検出部３２は、まず、記憶部２０に記憶されている窓サイズ情報に基づいて検索窓の窓サイズを決定する。続いて、検出部３２は、撮影部１０が撮影した画像において、当該窓サイズの検索窓を縦方向及び横方向の少なくともいずれかに順番に所定量移動させながら、所定の物体を示す物体画像を検出する。

【0065】

続いて、算出部３３は、第２の実施形態と同様の方法により、撮影部１０から物体画像が示す所定の物体までの距離（第１物体距離）を算出するとともに、当該物体のサイズを算出する。続いて、算出部３３は、次に撮影部１０が撮影する時間における所定の物体の位置を予測し、撮影部１０から当該位置における当該物体との距離（第２物体距離）を算出する。続いて、算出部３３は、第１物体距離と物体のサイズに基づいて、第１物体距離における所定の物体の画角を算出するとともに、第２物体距離と物体のサイズに基づいて、第２物体距離における所定の物体の画角を算出する。

【0066】

続いて、算出部３３は、算出した２つの画角の変化量に基づいて窓サイズの拡大率を算出する。算出部３３は、算出した拡大率と、物体画像の検出に用いた検索窓の窓サイズとを乗算することで、次に撮影部１０により撮影される画像から物体画像を検出するときの窓サイズを調整する。
続いて、検出部３２は、算出部３３により調整された窓サイズの検索窓を用いて、次に撮影部１０に撮影される画像から物体画像を検出する。

【0067】

［第４の実施形態の効果］
以上、第４の実施形態によれば、撮影装置１は、検出部３２により、撮影部１０が撮影した画像において、所定の窓サイズの領域を移動させることにより所定の物体を示す物体画像を検出し、算出部３３により、撮影部１０が撮影した所定の物体と撮影部１０との距離を示す物体距離を算出し、算出した物体距離に基づいて窓サイズの大きさを算出する。これにより、撮影装置１は、傾斜エリアのような高低差のあるエリアにおいてもそれぞれの位置における物体の大きさを把握して精度よくトラッキングをすることができる。

【0068】

以上、本発明を上記の実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0069】

例えば、第１の実施形態において、算出部３３が記憶部２０に記憶されている拡大率に基づいて物体を示す画像のサイズを算出し、検出部３２が当該サイズを有する第２物体画像を第２エリア画像から検出したが、これに限らない。例えば、記憶部２０に、第２エリアで物体が撮影されるときの当該物体を示す画像のサイズを記憶させておき、検出部３２が、当該サイズに基づいて、第２エリア画像から第２物体画像を検出してもよい。

【0070】

また、第１の実施形態において、記憶制御部３１は、記憶部２０に記憶されている段差別拡大率情報に基づいて拡大率を算出したが、これに限らない。例えば、記憶制御部３１は、撮影部１０が複数のレンズを備え、同時に２つの画像を撮影可能である場合に、同一の人を第１エリアと第２エリアとで撮影し、それぞれのエリアにおいて撮影された２つの画像に基づいて、拡大率を算出してもよい。すなわち、記憶制御部３１は、第１エリアと第２エリアにおいて撮影した画像に含まれる人を示す画像について画角を算出し、算出した画角の比率に基づいて拡大率を算出してもよい。

【0071】

また、第４の実施形態において傾斜エリアに段差がある場合、検出部３２は、算出部３３が算出したサイズの検索窓によって画像が検索できないとき、物体が段差を超えた位置に移動したと判定し、当該位置に対応した窓サイズを算出してもよい。また、検出部３２は、物体の下部の位置を検出し、当該位置が第２エリアに移動したと判定した場合に第２窓サイズを算出してもよい。

【0072】

また、検出部３２は、撮影部１０により撮影される時間に応じて窓サイズを変化させて、所定の物体の検出を行ってもよい。例えば、フレームレートが３０フレームの場合、奇数フレームにおいて撮影された画像について第１サイズの検索窓で所定の物体の検出を試行し、偶数フレームにおいて撮影された画像について第１サイズの検索窓より大きい第２サイズの検索窓で所定の物体の検出を試行してもよい。

【0073】

また、第１の実施形態から第３の実施形態では、１つの段差によってエリアが２つに分けられた場合について説明したが、２つ以上の段差によって３つ以上のエリアに分けられた場合に適用することができる。すなわち、３つ以上のエリアには、１つの段差によって分けられる２つのエリアが複数含まれている。したがって、これら２つのエリアのそれぞれに対して本発明を適用することで、２つ以上の段差によって３つ以上のエリアに分けられた場合であっても、精度よくトラッキングすることができる。

【符号の説明】

【0074】

１・・・撮影装置、１０・・・撮影部、２０・・・記憶部、３０・・・制御部、３１・・・記憶制御部、３２・・・検出部、３３・・・算出部、３４・・・計数部、ａ１・・・第１エリア、ａ２・・・第２エリア、ｂ・・・人、ｗ１・・・第１検索窓、ｗ２・・・第２検索窓

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】