特許 6239334 対象物画像抽出装置及び対象物画像抽出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6239334

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】対象物画像抽出装置及び対象物画像抽出方法

(51)【国際特許分類】

   G06T 7/246 20170101AFI20171120BHJP

【ＦＩ】

   G06T7/246

【請求項の数】4

【全頁数】13

(21)【出願番号】特願2013-206026(P2013-206026)

(22)【出願日】2013年10月1日

(65)【公開番号】特開2015-69607(P2015-69607A)

(43)【公開日】2015年4月13日

【審査請求日】2016年9月6日

(73)【特許権者】

【識別番号】000002303

【氏名又は名称】スタンレー電気株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】特許業務法人創成国際特許事務所

(72)【発明者】

【氏名】上永 祐太

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２０１３−０７０１２９（ＪＰ，Ａ）

【文献】 国際公開第２０１０／１４０６１３（ＷＯ，Ａ１）

【文献】 特開２００２−０３２７６０（ＪＰ，Ａ）

【文献】 特開２００５−２１６１６０（ＪＰ，Ａ）

【文献】 特開２００２−２０８０７３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

対象物が存在する状態における撮像領域の画像情報と所定の基準点から前記撮像領域に存在する被写体までの距離情報とからなる撮影情報、及び、対象物が存在しない状態における前記撮像領域の画像情報と前記基準点から前記撮像領域に存在する被写体までの距離情報とからなる基準情報を取得する情報取得手段と、
前記撮影情報及び前記基準情報の前記距離情報を比較して、前記距離情報についての差分情報を算出する距離情報比較手段と、
前記差分情報に基づいて前記撮影情報の画像情報から前記対象物の画像情報を抽出する対象物抽出手段と、
前記撮影情報及び前記基準情報の前記画像情報を所定の数の分割領域に分割する画像領域分割手段とを備え、
前記距離情報比較手段は、前記分割領域ごとに、前記撮影情報及び前記基準情報の前記距離情報を比較して、前記距離情報についての差分情報を算出し、
前記前記距離情報についての差分情報は、前記分割領域ごとに、前記距離情報に基づいて距離ヒストグラムを算出し、前記撮影情報及び前記基準情報の前記距離ヒストグラムを比較して算出する差分情報であり、
前記対象物抽出手段は、前記分割領域ごとに前記基準情報の前記距離ヒストグラムのヒストグラム成分が最大となるヒストグラム番号よりも前記情報取得手段に近い前記ヒストグラム番号ほど前記ヒストグラム成分の重みが大きくなる重み分布を生成し、前記重み分布と前記差分情報とに基づいて前記撮影情報の前記画像情報から前記対象物の画像情報を抽出することを特徴とする対象物画像抽出装置。

【請求項2】

請求項１に記載の対象物画像抽出装置であって、
前記基準情報の取得、前記基準情報の前記画像情報の分割、前記基準情報の前記距離ヒストグラムの算出及び前記重み分布の生成を、前記撮影情報の取得前に行うことを特徴とする対象物画像抽出装置。

【請求項3】

請求項１又は請求項２に記載の対象物画像抽出装置であって、
前記情報取得手段は、複数の前記基準情報を取得し、
前記距離情報比較手段は、前記撮影情報と複数の前記基準情報とを比較する、又は、前記撮影情報と複数の前記基準情報から生成した平均基準情報とを比較することを特徴とする対象物画像抽出装置。

【請求項4】

対象物が存在しない状態で、情報取得手段により、撮像領域の画像情報と所定の基準点から前記撮像領域に存在する被写体までの距離情報とからなる基準情報を取得する工程と、
対象物が存在する状態で、前記情報取得手段により、前記撮像領域の画像情報と前記基準点から前記撮像領域に存在する被写体までの距離情報とからなる撮影情報を取得する工程と、
前記撮影情報及び前記基準情報の前記距離情報を比較して、距離情報についての差分情報を算出する工程と、
前記差分情報に基づいて前記撮影情報の前記画像情報から前記対象物の画像情報を抽出する工程と、
前記撮影情報及び前記基準情報の前記画像情報を所定の数の分割領域に分割する工程とを備え、
前記距離情報についての差分情報を算出する工程で、前記分割領域ごとに、前記撮影情報及び前記基準情報の前記距離情報を比較して、前記距離情報についての差分情報を算出し、
前記前記距離情報についての差分情報は、前記分割領域ごとに、前記距離情報に基づいて距離ヒストグラムを算出し、前記撮影情報及び前記基準情報の前記距離ヒストグラムを比較して算出する差分情報であり、
前記対象物の画像情報を抽出する工程で、前記分割領域ごとに前記基準情報の前記距離ヒストグラムのヒストグラム成分が最大となるヒストグラム番号よりも前記情報取得手段に近い前記ヒストグラム番号ほど前記ヒストグラム成分の重みが大きくなる重み分布を生成し、前記重み分布と前記差分情報とに基づいて前記撮影情報の前記画像情報から前記対象物の画像情報を抽出することを特徴とする対象物画像抽出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物が存在する状態における情報と対象物が存在しない状態における情報とを比較して、対象物の画像情報を抽出する対象物画像抽出装置及び対象物画像抽出方法に関する。

【背景技術】

【0002】

従来、監視カメラやインターホン等において、人物等の対象物が存在する状態における画像情報と対象物が存在しない状態における背景だけの画像情報とを比較して、対象物の画像情報を抽出する処理を行う装置や方法が知られている。

【0003】

そのような装置として、撮像手段によって予め撮影した背景だけの画像情報、及び、同じ撮像手段によって対象物が存在する状態で撮影した画像情報を、それぞれ所定の数の分割領域に分割した後、同じ位置にある分割領域ごとに２つの画像情報の輝度勾配ヒストグラムを算出・比較し、輝度勾配ヒストグラムの類似度が低い分割領域に対象物が存在していると判定する装置が知られている（特許文献１参照。）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−０４８６９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に記載の装置やそのような装置を用いた方法において、比較対象として用いている輝度勾配ヒストグラムを得るためには、輝度情報を空間微分して輝度勾配を得なければならず、対象物の画像を抽出するために必要な計算量が多いという問題があった。

【0006】

本発明は以上の点に鑑みてなされたものであり、対象物の画像情報を抽出するために必要な計算量が少ない対象物画像抽出装置及び対象物画像抽出方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明の対象物画像抽出装置は、対象物が存在する状態における撮像領域の画像情報と所定の基準点から撮像領域に存在する被写体までの距離情報とからなる撮影情報、及び、対象物が存在しない状態における撮像領域の画像情報と所定の基準点から撮像領域に存在する被写体までの距離情報とからなる基準情報を取得する情報取得手段と、撮影情報及び基準情報の距離情報を比較して、距離情報についての差分情報を算出する距離情報比較手段と、差分情報に基づいて撮影情報の画像情報から対象物の画像情報を抽出する対象物抽出手段と、撮影情報及び基準情報の画像情報を所定の数の分割領域に分割する画像領域分割手段とを備え、距離情報比較手段は、分割領域ごとに、撮影情報及び基準情報の距離情報を比較して、距離情報についての差分情報を算出し、距離情報についての差分情報は、分割領域ごとに、距離情報に基づいて距離ヒストグラムを算出し、撮影情報及び基準情報の距離ヒストグラムを比較して算出する差分情報であり、対象物抽出手段は、分割領域ごとに基準情報の距離ヒストグラムのヒストグラム成分が最大となるヒストグラム番号よりも情報取得手段に近いヒストグラム番号ほどヒストグラム成分の重みが大きくなる重み分布を生成し、重み分布と差分情報とに基づいて撮影情報の画像情報から対象物の画像情報を抽出することを特徴とする。

【0008】

このように、本発明の対象物画像抽出装置では、撮影情報と基準情報とを比較するために、すなわち、対象物の画像情報を抽出するために用いられる差分情報を算出するために、所定の基準点、例えば、情報取得手段から撮像領域に存在する被写体までの距離情報を用いている。そして、距離情報は、輝度情報を空間微分して算出される輝度勾配とは異なり、測定した値に対して複雑な計算をしなくても比較に用いることができるものである。

【0009】

そのため、本発明の対象物画像抽出装置によれば、輝度情報を比較対象として用いる従来の装置に比べ、対象物の画像情報を抽出するために必要な計算量が少ない対象物画像抽出装置を得ることができる。

【0011】

このように、画像情報を分割して、その分割領域ごとに距離情報の比較を行えば、分割領域ごとに対象物と背景との分離境界を算出することができる。その結果、例えば、対象物と背景が情報取得手段から同じ距離にある場合であっても、それらが存在する分割領域が異なれば、基準となる分離境界が異なるので、背景が対象物として認識されることがなくなる。

【0013】

このように、距離ヒストグラムを用いて差分情報の算出を行うようにすると、撮影情報に外乱光等が存在する場合であっても、それが存在する分割領域の距離ヒストグラムとそれに対応する基準情報の分割領域の距離ヒストグラムとが類似していれば、それらの外乱は背景として認識されるので、対象物とともに画像情報として抽出されることがない。

【0015】

従来の装置で比較対象として用いている輝度勾配ヒストグラムは、単に輝度勾配の方向及び強度を示すものであるので、従来の装置では、対象物が存在している分割領域を判定することはできても、対象物と背景との明確な分離境界を得ることはできなかった。

【0016】

そこで、このように、撮影情報と基準情報とを比較する情報として距離ヒストグラムを用いるとともに、基準情報の距離ヒストグラムのヒストグラム番号が最大となるヒストグラム番号を基準として生成された重み分布と差分情報とに基づいて画像を抽出すれば、背景よりも情報取得手段に近い位置に存在している対象物についてのヒストグラム成分の重みが大きくなるので、対象物と背景との明確な分離境界を得ることができるようになる。

【0017】

また、本発明の対象物画像抽出装置においては、基準情報の取得、基準情報の画像情報の分割、基準情報の距離ヒストグラムの算出及び重み分布の生成を、撮影情報の取得前に行うことが好ましい。

【0018】

このように、基準情報についての処理を撮影情報の取得前に行っておけば、複数の撮影情報から対象物の画像情報を抽出するような場合であっても、計算量を抑えることができる。

【0019】

また、本発明の対象物画像抽出装置においては、情報取得手段は、複数の基準情報を取得し、距離情報比較手段は、撮影情報と複数の基準情報とを比較する、又は、撮影情報と複数の基準情報から生成した平均基準情報とを比較することが好ましい。

【0020】

このように、撮影情報と比較する基準情報として、複数の基準情報、又は、複数の基準情報から生成した平均基準情報を用いれば、外乱の影響をさらに抑えることができる。

【0021】

また、上記目的を達成するために、本発明の対象物画像抽出方法は、対象物が存在しない状態で、情報取得手段により、撮像領域の画像情報と所定の基準点から撮像領域に存在する被写体までの距離情報とからなる基準情報を取得する工程と、対象物が存在する状態で、情報取得手段により、撮像領域の画像情報と所定の基準点から撮像領域に存在する被写体までの距離情報とからなる撮影情報を取得する工程と、撮影情報及び基準情報の距離情報を比較して、距離情報についての差分情報を算出する工程と、差分情報に基づいて撮影情報の画像情報から対象物の画像情報を抽出する工程と、撮影情報及び基準情報の画像情報を所定の数の分割領域に分割する工程とを備え、距離情報についての差分情報を算出する工程で、分割領域ごとに、撮影情報及び基準情報の距離情報を比較して、距離情報についての差分情報を算出し、距離情報についての差分情報は、分割領域ごとに、距離情報に基づいて距離ヒストグラムを算出し、撮影情報及び基準情報の距離ヒストグラムを比較して算出する差分情報であり、対象物の画像情報を抽出する工程で、分割領域ごとに基準情報の距離ヒストグラムのヒストグラム成分が最大となるヒストグラム番号よりも情報取得手段に近いヒストグラム番号ほどヒストグラム成分の重みが大きくなる重み分布を生成し、重み分布と差分情報とに基づいて撮影情報の画像情報から対象物の画像情報を抽出することを特徴とする。

【0022】

このように、本発明の対象物画像抽出方法では、撮影情報と基準情報とを比較するために、すなわち、対象物の画像情報を抽出するために用いられる差分情報を算出するために、所定の基準点、例えば、情報取得手段から撮像領域に存在する被写体までの距離情報を用いている。そして、距離情報は、輝度情報を空間微分して算出される輝度勾配とは異なり、測定した値に対して複雑な計算をしなくても比較に用いることができるものである。

【0023】

そのため、本発明の対象物画像抽出方法によれば、従来の方法のように輝度情報を比較対象として用いる方法に比べ、対象物の画像を抽出するために必要な計算量が少ない対象物画像抽出方法を得ることができる。

【図面の簡単な説明】

【0024】

【図1】本発明の実施形態に係る対象物画像抽出装置及びモニタの構成を示すブロック図。

【図2】図１の対象物画像抽出装置を用いて行われる対象物画像抽出方法の各工程を示すフローチャート。

【図3】図１の対象物画像抽出装置の情報取得手段で画像情報及び距離情報を取得する際の状態を示す平面図であり、（ａ）は基準情報を取得する際の状態、（ｂ）は撮影情報を取得する際の状態である。

【図4】図１の対象物画像抽出装置の情報取得手段が取得した画像情報を表す模式図であり、（ａ）は基準情報の模式図、（ｂ）は撮影情報の模式図である。

【図5】図１の対象物画像抽出装置によって所定の数の分割領域に分割された画像情報を表す模式図であり、（ａ）は基準情報の模式図、（ｂ）は撮影情報の模式図である。

【図6】図１の対象物画像抽出装置によって算出された距離ヒストグラムを表す模式図であり、（ａ）は基準情報の分割領域ごとの距離ヒストグラム、（ｂ）は撮影情報の分割領域ごとの距離ヒストグラムである。

【図7】低類似度領域のうちの１つにおける距離ヒストグラムを示すグラフであり、（ａ）は基準情報の距離ヒストグラム、（ｂ）は撮影情報の距離ヒストグラムである。

【図8】図７で示した低類似度領域における距離ヒストグラムの差分情報を示すグラフ。

【図9】図７で示した低類似度領域における距離ヒストグラムの重み分布を示すグラフ。

【図10】図７で示した低類似度領域における距離ヒストグラムの差分情報と重み分布とを掛け合わせて得たヒストグラム特徴量を示すグラフ。

【図11】図１の対象物画像抽出装置によって抽出された対象物の画像情報を示す模式図。

【発明を実施するための形態】

【0025】

以下、図１〜図１１を参照して、本発明の対象物画像抽出装置及び対象物画像抽出方法の実施形態を説明する。

【0026】

まず、図１を参照して、本実施形態の対象物画像抽出装置１の構成を説明する。

【0027】

本実施形態の対象物画像抽出装置１は、情報取得手段であるＴＯＦカメラ１１（Time Of Flightカメラ）と、ＴＯＦカメラ１１から送信された情報を処理するＣＰＵ１２と、ＣＰＵ１２が処理した情報を記憶する記憶手段であるメモリ１３とを備えている。なお、この対象物画像抽出装置１には、画像表示手段としてのモニタ１４が接続されている。

【0028】

ＴＯＦカメラ１１は、撮像領域の画像である画像情報と、ＴＯＦカメラ１１自身（基準点）から撮像領域に存在する被写体までの距離である距離情報を取得することのできる情報取得手段である。本実施形態の対象物画像抽出装置１は、このＴＯＦカメラ１１を用いて、対象物が存在する状態における画像情報と距離情報とからなる撮影情報、及び、対象物が存在しない状態における画像情報と距離情報とからなる基準情報を取得する。

【0029】

なお、ＴＯＦカメラ１１は、自らが発光した近赤外線光が被写体で反射されて帰ってくるまでの時間と、内蔵しているＣＭＯＳがその反射された近赤外線光を変換することによって得た電荷量とに基づいて距離情報を取得する。したがって、このＴＯＦカメラ１１は、画素ごとに、ＴＯＦカメラ１１から被写体までの距離情報を取得することができるようになっている。

【0030】

ＣＰＵ１２は、ＴＯＦカメラ１１が取得した撮影情報と基準情報とを比較して、撮影情報から対象物の画像情報を抽出する画像処理を行う画像処理手段である。このＣＰＵ１２は、画像領域分割手段１２ａと、距離情報比較手段１２ｂと、対象物抽出手段１２ｃとを有している。

【0031】

画像領域分割手段１２ａは、ＴＯＦカメラ１１が取得した撮影情報及び基準情報の画像情報を、それぞれ所定の数の分割領域に分割する処理を行う。

【0032】

距離情報比較手段１２ｂは、画像領域分割手段１２ａが分割した分割領域ごとに、距離情報に基づいて距離ヒストグラムを算出し、撮影情報及び基準情報の距離ヒストグラムを比較して、距離情報についての差分情報を算出する処理を行う。

【0033】

対象物抽出手段１２ｃは、まず、画像領域分割手段１２ａが分割した分割領域ごとに、基準情報の距離ヒストグラムの最大成分よりも情報取得手段に近い成分ほど重みが大きくなる重み分布を生成する処理を行う。その後、その重み分布と距離情報比較手段１２ｂが算出した差分情報とに基づいて、撮影情報の画像情報から対象物の画像情報を抽出する処理を行う。

【0034】

メモリ１３は、撮影情報の取得前に、基準情報の取得、基準情報の画像情報の分割、基準情報の距離ヒストグラムの算出、重み分布の算出が行われた場合に、それらを記憶しておくために用いられる記憶手段である。

【0035】

モニタ１４は、対象物画像抽出装置１が抽出した対象物の画像を表示する画像表示手段である。

【0036】

次に、図２〜図１１を参照して、本実施形態の対象物画像抽出装置１を用いて行う対象物画像抽出方法について説明する。

【0037】

まず、情報取得手段であるＴＯＦカメラ１１は、図３（ａ）に示すように、背景である塀２と木３のみが存在する状態で撮影を行い、図４（ａ）に示すような基準情報を取得する（図２におけるＳＴＥＰ１／基準情報取得工程）。

【0038】

この基準情報には、撮像領域の画像そのものである画像情報と、基準点であるＴＯＦカメラ１１から撮像領域に存在する被写体（塀２と木３）までの距離である距離情報とが含まれる。

【0039】

次に、ＴＯＦカメラ１１は、図３（ｂ）に示すように、抽出する対象物である人４が存在する状態で撮影を行い、図４（ｂ）に示すような撮影情報を取得する（図２におけるＳＴＥＰ２／撮影情報取得工程）。

【0040】

この撮影情報にも、撮像領域の画像そのものである画像情報と、基準点であるＴＯＦカメラ１１から撮像領域に存在する被写体（塀２、木３及び人４）までの距離である距離情報とが含まれる。

【0041】

なお、本実施形態においては、人４は、塀２よりもＴＯＦカメラ１１側に存在し、且つ、木３とはＴＯＦカメラ１１からの距離がほぼ同じ位置に存在しているとする。

【0042】

次に、ＣＰＵ１２が有する画像領域分割手段１２ａは、図５（ａ）に示すように、基準情報の画像情報を、横方向（Ｘ方向）に４分割し、縦方向（Ｙ方向）に４分割し、１６個の分割領域に分割する。また、画像領域分割手段１２ａは、図５（ｂ）に示すように、基準情報の画像情報に対する分割方法と同様に、撮影情報の画像情報を、横方向（ｘ方向）に４分割し、縦方向（ｙ方向）に４分割し、１６個の分割領域に分割する（図２におけるＳＴＥＰ３／画像領域分割工程）。

【0043】

なお、本実施形態においては、ＴＯＦカメラ１１の画素数を１２８×１２８とし、各分割領域の画素数を３２×３２＝１０２４とする。また、本実施例においては、距離ヒストグラムの分解能を２０とし、対象物を検出できる限界距離を６ｍとする。したがって、１分解能（１ヒストグラム番号）当たりの距離は６ｍ／２０＝０．３ｍとなる。

【0044】

次に、ＣＰＵ１２が有する距離情報比較手段１２ｂは、図６（ａ）に示すように、分割領域ごとに、基準情報の距離ヒストグラムを算出する。同様に、距離情報比較手段１２ｂは、図６（ｂ）に示すように、分割領域ごとに、撮影情報の距離ヒストグラムを算出する（図２におけるＳＴＥＰ４／距離ヒストグラム算出工程）。

【0045】

なお、この距離ヒストグラムは、縦軸がヒストグラム成分（成分の数）、横軸がヒストグラム番号である（例えば、図７参照。）。

【0046】

次に、ＣＰＵ１２が有する距離情報比較手段１２ｂは、分割領域ごとに、基準情報の距離ヒストグラムと撮影情報の距離ヒストグラムとを比較して、低類似度領域を抽出する（図２におけるＳＴＥＰ５／距離ヒストグラム比較工程（距離情報比較工程））。

【0047】

本実施形態においては、基準情報の分割領域（Ｘ３，Ｙ１）及び分割領域（Ｘ３，Ｙ２）と撮影情報の分割領域（ｘ３，ｙ１）及び分割領域（ｘ３，ｙ２）とは、距離ヒストグラムが類似していない。そのため、距離情報比較手段１２ｂは、これらの分割領域を低類似度領域となる。

【0048】

次に、ＣＰＵ１２が有する距離情報比較手段１２ｂは、低類似度領域の分欠領域ごとに、距離ヒストグラムに基づいて差分情報を算出する（図２におけるＳＴＥＰ６／差分情報算出工程）。

【0049】

具体的には、例えば、撮影情報の分割領域（ｘ３，ｙ２）の距離ヒストグラム（図７（ｂ）参照。）から、その分割領域に対応する基準情報の分割領域（Ｘ３，Ｙ２）の距離ヒストグラム（図７（ａ）参照。）を除き、図８のように距離ヒストグラムについてのヒストグラム差分ｄ（ｘ）を求める。

【0050】

次に、ＣＰＵ１２が有する対象物抽出手段１２ｃは、低類似度領域の分割領域ごとに、基準情報の距離ヒストグラムの最大成分よりもＴＯＦカメラ１１に近い成分ほど重みが大きくなる重み分布を生成する（図２におけるＳＴＥＰ７／重み分布算出工程）。

【0051】

具体的には、例えば、基準情報の分割領域（Ｘ３，Ｙ２）の場合、その分割領域の距離ヒストグラム（図７（ａ）参照。）のヒストグラム成分が最大となるヒストグラム番号「１４」を基準として、「１４」以上のヒストグラム番号は、重みｗ（ｘ）が０となり、「１４」より小さいヒストグラム番号は、ヒストグラム番号が「０」に近づくほど、すなわち、情報取得手段であるＴＯＦカメラ１１までの距離が近くなるほど重みｗ（ｘ）が大きくなるような分布図（図９参照。）を作成する。

【0052】

次に、ＣＰＵ１２が有する対象物抽出手段１２ｃは、重み分布と差分情報とに基づいて、対象物である人４と背景との分離境界を算出する（図２におけるＳＴＥＰ８／分離境界算出工程）。

【0053】

具体的には、分割領域ごとに、ヒストグラム差分ｄ（ｘ）の値を、それに対応するヒストグラム番号の重みｗ（ｘ）回掛け合わせる、すなわち、ｄ（ｘ）をｗ（ｘ）乗して、図１０に示すような、ヒストグラム特徴量ｆ（ｘ）の分布図を作成する。そして、ヒストグラム特徴量ｆ（ｘ）が最大値となるヒストグラム番号（本実施例の分割領域（ｘ３，ｙ２）においては、ヒストグラム番号「９」）を、対象物と背景との分離境界とする。

【0054】

このように、本実施形態における対象物と背景との分離境界は、分割領域ごとに距離ヒストグラムの類似する成分、すなわち、背景の成分を除去して得られた差分情報と、背景の情報である基準情報の距離ヒストグラムの最大成分を基準として算出された重み分布とに基づいて得られるものであるので、背景よりもＴＯＦカメラ１１側に存在する人４（対象物）についての距離情報のみが強く押し出されたものとなる。

【0055】

次に、ＣＰＵ１２が有する対象物抽出手段１２ｃは、重み分布と差分情報とに基づいて、撮影情報の画像情報から対象物である人４の画像情報を抽出する（図２におけるＳＴＥＰ９／対象物抽出工程）。

【0056】

具体的には、分割領域ごとに、重み分布と差分情報とに基づいて算出された分離境界よりもヒストグラム番号が小さい、すなわち、ＴＯＦカメラ１１に近い距離情報を含む画素が取得した画像情報を、対象物として撮影情報の画像情報から抽出する。

【0057】

最後に、画像表示手段であるモニタ１４は、図１１に示すように、抽出された対象物である人４の画像を表示する。

【0058】

以上、説明した本実施形態の対象物画像抽出装置１及び対象物画像抽出方法では、撮影情報と基準情報とを比較するために、すなわち、対象物である人４の画像情報を抽出するために用いられる差分情報を算出するために、情報取得手段（基準点）であるＴＯＦカメラ１１から撮像領域に存在する被写体までの距離情報を用いている。そして、距離情報は、輝度情報を空間微分して算出される輝度勾配とは異なり、測定した値に対して複雑な計算をしなくても比較に用いることができるものである。

【0059】

そのため、本実施形態の対象物画像抽出装置１及び対象物画像抽出方法によれば、輝度情報を比較対象として用いる従来の装置及び方法に比べ、対象物である人４の画像情報を抽出するために必要な計算量が少ない。

【0060】

また、本実施形態の対象物画像抽出装置１及び対象物画像抽出方法は、撮影情報及び基準情報の画像情報を所定の数の分割領域に分割する画像領域分割手段１２ａを備え、距離情報比較手段１２ｂが、分割領域ごとに、撮影情報及び基準情報の距離情報を比較して、距離情報についての差分情報を算出している。

【0061】

そのため、分割領域ごとに対象物と背景との分離境界を算出することができるので、ＴＯＦカメラ１１からの距離が対象物である人４と同じ距離となっている木３が、対象物として認識されることがない。

【0062】

さらに、本実施形態の対象物画像抽出装置１及び対象物画像抽出方法は、画像領域分割手段１２ａを備え、距離情報比較手段１２ｂが撮影情報と基準情報とを比較する情報として距離ヒストグラムを用いており、対象物抽出手段１２ｃは、分割領域ごとに基準情報の距離ヒストグラムの最大成分よりも情報取得手段に近い成分ほど重みが大きくなる重み分布を生成し、重み分布と差分情報とに基づいて撮影情報の画像情報から対象物である人４の画像情報を抽出している。

【0063】

そのため、撮影情報に外乱光等が存在する場合であっても、それが存在する分割領域の距離ヒストグラムとそれに対応する基準情報の分割領域の距離ヒストグラムとが類似していれば、それらの外乱は背景として認識されるので、対象物とともに画像情報として抽出されることがない。

【0064】

また、本実施形態の対象物画像抽出装置１及び対象物画像抽出方法によれば、背景よりも情報取得手段に近い位置に存在している対象物についてのヒストグラム成分の重みが大きくなるので、撮影情報の画像情報中における対象物である人４と背景との明確な分離境界を得ることできる。

【0065】

以上、図示の実施形態について説明したが、本発明はこのような形態に限られるものではない。

【0066】

例えば、上記実施形態においては、情報取得手段としてＴＯＦカメラ１１を用いている。しかし、情報取得手段は、画像情報に対応するように、所定の基準点から被写体までの距離情報を取得できるものであればよい。例えば、画像情報を取得する手段と距離情報を取得する手段とが、別個に設けられたものでもよい。

【0067】

また、上記実施形態においては、画像情報を所定の数の分割領域に分割して、その分割領域ごとに比較を行っている。しかし、撮影情報と基準情報との比較は、画像情報を分割せずに行ってもよい。ただし、その場合には、情報取得手段からの距離が対象物と同距離の背景が対象物と認識されてしまったり、撮影情報の画像情報に存在する外乱光等がスポットノイズとして対象物の抽出画像に混入したりするおそれがある。

【0068】

また、上記実施形態においては、比較する距離情報から距離ヒストグラムを算出して比較を行っている。しかし、距離情報の比較は、距離情報を距離ヒストグラムに変換せずに行ってもよい。

【0069】

また、上記実施形態においては、基準情報と撮影情報について、同じタイミングで画像情報の分割や距離ヒストグラムの算出等を行っている。しかし、基準情報における画像情報の分割、距離ヒストグラムの算出、重み分布の算出を、撮影情報の取得前に行い、メモリ等の記憶手段に格納しておき、必要とされるタイミングで参照するようにしてもよい。そのように構成した場合、複数の撮影情報の画像情報から対象物の画像情報を抽出する場合に、抽出を行うごとに基準情報に対する処理を行う必要がなくなるので、さらに計算量を少なくすることができる。

【0070】

また、上記実施形態においては、基準情報として１つの情報を用いている。しかし、撮影情報との比較の対象として、複数の基準情報を用いたり、複数の基準情報から平均基準情報を生成し、その平均基準情報を用いたりしてもよい。そのように構成した場合、外乱による影響をさらに抑えることができる。

【符号の説明】

【0071】

１…対象物画像抽出装置、２…壁、３…木、４…人（対象物）、１１…ＴＯＦカメラ（情報取得手段、基準点）、１２…ＣＰＵ、１２ａ…画像領域分割手段、１２ｂ…距離情報比較手段、１２ｃ…対象物抽出手段、１３…メモリ、１４…モニタ（画像表示手段）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】