特許 7566613 対象物検出装置、対象物検出方法及び対象物検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-04

(45)【発行日】2024-10-15

(54)【発明の名称】対象物検出装置、対象物検出方法及び対象物検出プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241007BHJP

【ＦＩ】

G06T7/00 300F

【請求項の数】 13

(21)【出願番号】P 2020209543

(22)【出願日】2020-12-17

(65)【公開番号】P2022096438

(43)【公開日】2022-06-29

【審査請求日】2023-09-06

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】堀江 勝大

(72)【発明者】

【氏名】助川 寛

(72)【発明者】

【氏名】横井 謙太朗

(72)【発明者】

【氏名】福井 雄大

【審査官】村山 絢子

(56)【参考文献】

【文献】特開２０２０－１４９６４１（ＪＰ，Ａ）

【文献】国際公開第２０１２／１２７６１８（ＷＯ，Ａ１）

【文献】特開２０１２－２２１１６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像装置から時系列に取得された画像の特徴量に基づいて前記画像における対象物の候補領域及び前記候補領域の尤度を抽出する特徴量抽出部と、
時系列に抽出された前記尤度を蓄積することで現在の前記画像における前記候補領域の中から前記対象物である確度が高い候補領域を追跡する追跡部と、
前記追跡部が追跡した候補領域に基づき最終的な前記対象物の位置を決定する決定部と、
を備え、
前記追跡部は、
過去の画像に基づいて抽出された第１の候補領域において尤度の値を有するフレーム尤度マップに現在の画像に基づいて抽出された第２の候補領域における尤度の値を加算し、
前記フレーム尤度マップの前記第２の候補領域を除く座標において尤度の値を一定値だけ減算し、
前記加算及び前記減算によって算出された総合尤度マップに基づいて追跡する対象物検出装置。

【請求項2】

撮像装置から時系列に取得された画像の特徴量に基づいて前記画像における対象物の候補領域及び前記候補領域の尤度を抽出する特徴量抽出部と、
時系列に抽出された前記尤度を蓄積することで現在の前記画像における前記候補領域の中から前記対象物である確度が高い候補領域を追跡する追跡部と、
前記追跡部が追跡した候補領域に基づき最終的な前記対象物の位置を決定する決定部と、
を備え、
前記追跡部は、
過去の画像に基づいて抽出された第１の候補領域において尤度の値を有する第１のフレーム尤度マップに現在の画像に基づいて抽出された第２の候補領域において尤度の値を有する第２のフレーム尤度マップを加算し、
前記加算によって算出された総合尤度マップに基づいて追跡し、
前記加算の際に前記第１のフレーム尤度マップを、前記第２のフレーム尤度マップとの時間差に応じて減衰させる対象物検出装置。

【請求項3】

前記特徴量抽出部は、抽出した前記候補領域のうち、前記尤度と、前記候補領域の中心領域の輝度値との少なくとも何れかが一定値よりも低い前記候補領域を削除する請求項１又は２に記載の対象物検出装置。

【請求項4】

前記特徴量抽出部は、前記候補領域の中心領域と周辺領域の平均輝度値の差に基づいて前記一定値を設定する請求項３に記載の対象物検出装置。

【請求項5】

前記特徴量抽出部による前記抽出が実施される前記画像の探索範囲を設定する探索範囲設定部をさらに備え、
前記探索範囲設定部は、前記尤度の蓄積結果に基づいて前記探索範囲の位置を設定する請求項１に記載の対象物検出装置。

【請求項6】

前記探索範囲設定部は、さらに、前記尤度の蓄積結果に基づいて前記探索範囲の大きさを設定する請求項５に記載の対象物検出装置。

【請求項7】

前記画像を撮像する撮像装置による撮像方向と画角の少なくとも何れかを前記尤度の蓄積結果に基づいて制御する撮像制御部をさらに備える請求項１に記載の対象物検出装置。

【請求項8】

飛しょう体に搭載される請求項１に記載の対象物検出装置。

【請求項9】

前記決定部で決定された前記対象物の位置の情報を前記飛しょう体の制御システムに出力する出力制御部をさらに備える請求項８に記載の対象物検出装置。

【請求項10】

撮像装置から時系列に取得された画像の特徴量に基づいて前記画像における対象物の候補領域及び前記候補領域の尤度を抽出することと、
時系列に抽出された前記尤度を蓄積することで現在の前記画像における前記候補領域の中から前記対象物である確度が高い候補領域を追跡することと、
前記追跡された候補領域に基づき最終的な前記対象物の位置を決定することと、
を備え、
前記対象物である確度が高い候補領域を追跡することは、
過去の画像に基づいて抽出された第１の候補領域において尤度の値を有するフレーム尤度マップに現在の画像に基づいて抽出された第２の候補領域における尤度の値を加算することと、
前記フレーム尤度マップの前記第２の候補領域を除く座標において尤度の値を一定値だけ減算することと、
前記加算及び前記減算によって算出された総合尤度マップに基づいて追跡することと、
を含む対象物検出方法。

【請求項11】

撮像装置から時系列に取得された画像の特徴量に基づいて前記画像における対象物の候補領域及び前記候補領域の尤度を抽出することと、
時系列に抽出された前記尤度を蓄積することで現在の前記画像における前記候補領域の中から前記対象物である確度が高い候補領域を追跡することと、
前記追跡された候補領域に基づき最終的な前記対象物の位置を決定することと、
を備え、
前記対象物である確度が高い候補領域を追跡することは、
過去の画像に基づいて抽出された第１の候補領域において尤度の値を有する第１のフレーム尤度マップに現在の画像に基づいて抽出された第２の候補領域において尤度の値を有する第２のフレーム尤度マップを加算することと、
前記加算によって算出された総合尤度マップに基づいて追跡することと、
前記加算の際に前記第１のフレーム尤度マップを、前記第２のフレーム尤度マップとの時間差に応じて減衰させることと、
を含む対象物検出方法。

【請求項12】

撮像装置から時系列に取得された画像の特徴量に基づいて前記画像における対象物の候補領域及び前記候補領域の尤度を抽出することと、
時系列に抽出された前記尤度を蓄積することで現在の前記画像における前記候補領域の中から前記対象物である確度が高い候補領域を追跡することと、
前記追跡された候補領域に基づき最終的な前記対象物の位置を決定することと、
をプロセッサに実行させるための対象物検出プログラムであって、
前記対象物である確度が高い候補領域を追跡することは、
過去の画像に基づいて抽出された第１の候補領域において尤度の値を有するフレーム尤度マップに現在の画像に基づいて抽出された第２の候補領域における尤度の値を加算することと、
前記フレーム尤度マップの前記第２の候補領域を除く座標において尤度の値を一定値だけ減算することと、
前記加算及び前記減算によって算出された総合尤度マップに基づいて追跡することと、
を含む対象物検出プログラム。

【請求項13】

撮像装置から時系列に取得された画像の特徴量に基づいて前記画像における対象物の候
補領域及び前記候補領域の尤度を抽出することと、
時系列に抽出された前記尤度を蓄積することで現在の前記画像における前記候補領域の
中から前記対象物である確度が高い候補領域を追跡することと、
前記追跡された候補領域に基づき最終的な前記対象物の位置を決定することと、
をプロセッサに実行させるための対象物検出プログラムであって、
前記対象物である確度が高い候補領域を追跡することは、
過去の画像に基づいて抽出された第１の候補領域において尤度の値を有する第１のフレーム尤度マップに現在の画像に基づいて抽出された第２の候補領域において尤度の値を有する第２のフレーム尤度マップを加算することと、
前記加算によって算出された総合尤度マップに基づいて追跡することと、
前記加算の際に前記第１のフレーム尤度マップを、前記第２のフレーム尤度マップとの時間差に応じて減衰させることと、
を含む対象物検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、対象物検出装置、対象物検出方法及び対象物検出プログラムに関する。

【背景技術】

【0002】

赤外線カメラ等の撮像装置によって取得された赤外線画像等を画像処理することによって、例えば空中を移動する対象物を検出する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第５７１３９３９号公報

【文献】特許第６０４２１４６号公報

【非特許文献】

【0004】

【文献】領域間の分離度に基づく物体輪郭抽出, 電子情報通信学会論文誌 D, Vol.J80-D2, No.6, pp.1406-1414

【発明の概要】

【発明が解決しようとする課題】

【0005】

地表及び雲のような複数の対象物が混在した複雑な背景では、コントラストの変化及びノイズの影響等によって画像処理で検出される背景の領域の形状が変化することがある。この場合において、この背景の領域の変化が目的の対象物の移動と誤検出されることがある。また、輝度帯を指定して目的の対象物を検出することも考えられるが、この場合であっても複雑な背景の方で高い輝度値が連続している領域が目的の対象物と誤検出される可能性がある。

【0006】

実施形態は、複雑な背景があったとしても、目的の対象物を精度良く検出できる対象物検出装置、対象物検出方法及び対象物検出プログラムを提供する。

【課題を解決するための手段】

【0007】

一態様の対象物検出装置は、特徴量抽出部と、追跡部と、決定部とを有する。特徴量抽出部は、撮像装置から時系列に取得された画像の特徴量に基づいて画像における対象物の候補領域及び候補領域の尤度を抽出する。追跡部は、時系列に抽出された尤度を蓄積することで現在の画像における候補領域の中から対象物である確度が高い候補領域を追跡する。決定部は、追跡部が追跡した候補領域に基づき最終的な対象物の位置を決定する。追跡部は、過去の画像に基づいて抽出された第１の候補領域において尤度の値を有するフレーム尤度マップに現在の画像に基づいて抽出された第２の候補領域における尤度の値を加算し、フレーム尤度マップの第２の候補領域を除く座標において尤度の値を一定値だけ減算し、加算及び減算によって算出された総合尤度マップに基づいて追跡する。

【図面の簡単な説明】

【0008】

【図1】図１は、各実施形態に係る対象物検出装置を含む対象物検出システムの一例を示す図である。

【図2】図２は、第１の実施形態にかかる対象物検出装置の機能ブロック図である。

【図3A】図３Ａは、探索領域の例を示す図である。

【図3B】図３Ｂは、探索領域の例を示す図である。

【図4A】図４Ａは、特徴量抽出処理において入力される画像の例を示す図である。

【図4B】図４Ｂは、特徴量抽出処理の結果の例を示す図である。

【図5】図５は、第１の実施形態における特徴量追跡処理の一例を示す図である。

【図6】図６は、第１の実施形態における対象物検出装置の処理の一例を示すフローチャートである。

【図7】図７は、第１の実施形態における総合尤度マップの算出処理を示すフローチャートである。

【図8】図８は、撮像方向の制御の概要を示す図である。

【図9A】図９Ａは、画角の制御の概要を示す図である。

【図9B】図９Ｂは、画角の制御の概要を示す図である。

【図10】図１０は、第１の実施形態の変形例における特徴量追跡処理の一例を示す図である。

【図11】図１１は、第１の実施形態の変形例における総合尤度マップの算出処理を示すフローチャートである。

【図12】図１２は、第２の実施形態にかかる対象物検出装置の機能ブロック図である。

【図13】図１３は、探索範囲設定処理の一例を示す図である。

【図14A】図１４Ａは、探索範囲設定処理の変形例を示す図である。

【図14B】図１４Ｂは、探索範囲設定処理の変形例を示す図である。

【図15】図１５は、第２の実施形態における対象物検出装置の処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

（第１の実施形態）
第１の実施形態について図面を参照して説明する。図１は、各実施形態に係る対象物検出装置を含む対象物検出システムの一例を示す図である。対象物検出システム１は、撮像装置１０と、対象物検出装置２０とを備える。対象物検出システム１は、例えば飛しょう体の制御システム又は飛しょう体自身に設けられる。そして、対象物検出システム１は、撮像装置１０を用いて取得された画像に対して画像処理を施すことによって目的の対象物を検出する。対象物は、例えば飛しょう体といった移動する対象物である。ここで、図１では、対象物検出システム１以外の構成については図示が省略されている。例えば、対象物検出システム１が搭載される飛しょう体は、推進力を得るための推進装置、移動方向を変えるための操舵装置等を有していてもよい。また、飛しょう体の制御システムは、飛しょう体自身に設けられてもよい。

【0010】

撮像装置１０は、対象物を含むシーンの画像を逐次に撮像するカメラである。例えば、撮像装置１０は、赤外領域に感度を有する撮像素子を有する赤外線カメラであってよい。撮像装置１０は、可視光領域に感度を有する撮像素子を有するカメラであってもよい。撮像装置１０は、撮像素子のそれぞれの画素で受光した光の強度に応じた輝度値を有する画像を生成する。そして、撮像装置１０は、生成した画像を対象物検出装置２０に出力する。ここで、撮像装置１０は、撮像方向を変更できるようにパン・チルト機構を有していてよい。また、撮像装置１０は、画角を変更できるようにズーム光学系を有していてもよい。撮像装置１０は、撮像方向の変更と画角の変更の何れか一方だけができるように構成されていてもよい。

【0011】

対象物検出装置２０は、入力装置２０１と、プロセッサ２０２と、メモリ２０３と、記憶装置２０４と、出力装置２０５とを有している。

【0012】

入力装置２０１は、撮像装置１０で逐次に取得される画像をプロセッサ２０２に入力するためのインターフェイス装置である。

【0013】

プロセッサ２０２は、記憶装置２０４に記憶された対象物検出プログラム２０４１を実行することによって、入力装置２０１を介して取得された画像における対象物を検出する。プロセッサ２０２は、例えばＣＰＵである。プロセッサ２０２は、ＭＰＵ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ等であってもよい。プロセッサ２０２は、単一のＣＰＵ等であってもよいし、複数のＣＰＵ等であってもよい。

【0014】

メモリ２０３は、ＲＯＭ及びＲＡＭを含む。ＲＯＭは、対象物検出装置２０の起動プログラム及び対象物検出装置２０の動作に必要な各種のパラメータを記憶する。ＲＡＭは、プロセッサ２０２による各種の処理における作業メモリとして用いられ得る。例えば、ＲＡＭは、後で説明する尤度マップを一時的に保存しておくために用いられる。

【0015】

記憶装置２０４は、対象物検出プログラム２０４１を記憶している記憶装置である。記憶装置２０４は、フラッシュメモリ等であってよい。

【0016】

出力装置２０５は、プロセッサ２０２で検出された対象物の情報を必要に応じて外部に出力するためのインターフェイス装置である。例えば、出力装置２０５は、飛しょう体の制御システムに必要な情報を送信する通信インターフェイスを含む。

【0017】

図２は、第１の実施形態にかかる対象物検出装置２０の機能ブロック図である。図２に示すように、本実施形態の対象物検出装置２０は、撮像制御部３０１と、特徴量抽出部３０２と、追跡部３０３と、決定部３０４と、出力制御部３０５とを備える。例えば、プロセッサ２０２は、対象物検出プログラム２０４１を実行することによって撮像制御部３０１と、特徴量抽出部３０２と、追跡部３０３と、決定部３０４と、出力制御部３０５として動作する。撮像制御部３０１と、特徴量抽出部３０２と、追跡部３０３と、決定部３０４と、出力制御部３０５とは、専用のハードウェア等によって構成されてもよい。

【0018】

撮像制御部３０１は、撮像装置１０の動作を制御する。撮像制御部３０１は、撮像装置１０に対して撮像方向の指示をする。また、撮像制御部３０１は、撮像装置１０における画角の変更、すなわちズームイン又はズームアウトを指示する。例えば、撮像制御部３０１は、後で説明する尤度の高い座標が次のフレームで撮像される画像の中心になるように撮像装置１０をパン又はチルトさせる。また、例えば、撮像制御部３０１は、尤度の高さに応じて撮像装置１０をズームイン又はズームアウトさせる。例えば、撮像制御部３０１は、尤度が高いときには撮像装置１０をズームインさせ、尤度が低いときには撮像装置１０をズームアウトさせる。また、撮像制御部３０１は、撮像装置１０から入力装置２０１を介して時系列に入力された画像を取得し、取得した画像を特徴量抽出部３０２に送信する。

【0019】

特徴量抽出部３０２は、特徴量抽出処理をする。特徴量抽出処理は、撮像制御部３０１によって時系列に取得された画像における特徴量から対象物の候補領域及び尤度を抽出する処理である。尤度は、対象物の確からしさを表す値である。

【0020】

例えば、特徴量抽出部３０２は、画像の中に探索領域を設定する。探索領域は、例えば図３Ａに示す中心領域４０１と周辺領域４０２とを有する。中心領域４０１は、２×２画素の領域である。周辺領域４０２は、中心領域４０１の外側の１画素の領域である。探索領域のサイズは、図３Ａのサイズに限らない。例えば図３Ｂに示すように、周辺領域４０２が、中心領域４０１の外側の２画素の領域であってもよい。複数の探索領域が画像の中に設定されてもよい。これらの複数の探索領域は、同じサイズであってもよいし、異なるサイズであってもよい。

【0021】

探索領域を設定した後、特徴量抽出部３０２は、それぞれの探索領域における特徴量としての分離度を計算する。分離度は、中心領域４０１と周辺領域４０２との輝度値の分散の比である。そして、特徴量抽出部３０２は、分離度に基づいて探索領域の中から候補領域を抽出する。例えば、特徴量抽出部３０２は、分離度の高い探索領域を候補領域として抽出する。抽出される候補領域は、１つでもよいし、複数でもよい。

【0022】

図４Ａ及び図４Ｂは、特徴量抽出処理の例である。図４Ａは、特徴量抽出部３０２に入力された画像の例である。図４Ａに示す画像５００は、対象物Ｏを含む画像である。図４Ｂは、特徴量抽出処理がされた画像の例である。例えば、図４Ｂでは、候補領域５０１、５０２、５０３が抽出されている。候補領域５０１、５０２、５０３のうち、候補領域５０１は、中心領域に対象物Ｏを含むために候補領域として抽出された領域である。候補領域５０２、５０３は、背景の影響によって候補領域として抽出された領域である。

【0023】

図４Ｂに示すような候補領域を抽出した後、特徴量抽出部３０２は、候補領域５０１、５０２、５０３の左上Ｘ座標Ｘ１、Ｘ２、Ｘ３、左上Ｙ座標Ｙ１、Ｙ２、Ｙ３、幅Ｗ１、Ｗ２、Ｗ３、高さＨ１、Ｈ２、Ｈ３、尤度Ｓ１、Ｓ２、Ｓ３を追跡部３０３へ送る。ここで、尤度Ｓ１、Ｓ２、Ｓ３としては、例えば分離度が用いられ得る。

【0024】

ここで、特徴量抽出部３０２は、分離度によって候補領域を抽出する構成に限らない。特徴量抽出部３０２は、輝度値の二値化、大津の二値化（中心領域と周辺領域とのクラス間分散とクラス内分散との比によって算出される分離度による二値化）、エッジ検出等の公知の画像処理を用いて候補領域を抽出してもよい。また、特徴量抽出部３０２は、フレーム間差分等の、前のフレームの画像との差分を抽出することによって候補領域を抽出してもよい。

【0025】

また、特徴量抽出部３０２は、抽出した候補領域のうち、尤度の値と中心領域の平均輝度値の一方又は両方が予め設定された値よりも低い領域を候補領域から削除してもよい。尤度の値が低いことは、中心領域と周辺領域とがあまり分離されていない、すなわち対象物の確からしさが低いことを意味する。また、中心領域の輝度値が低いことは、その候補領域は背景である可能性が高いことを意味する。したがって、このような尤度の値と中心領域の平均輝度値の一方又は両方が予め設定された値よりも低い領域が候補領域から削除されることにより、背景の領域が対象物の領域として誤抽出されることが抑制され得る。候補領域が削除される際の閾値となる輝度値は、予め定められた値ではなく、中心領域と周辺領域の平均輝度値との差であってもよい。これにより、閾値が候補領域毎に自動で設定され得る。

【0026】

追跡部３０３は、特徴量追跡処理をする。特徴量追跡処理は、特徴量抽出部３０２から送られた候補領域の情報としての、左上Ｘ座標、左上Ｙ座標、幅、高さ、尤度に基づいて算出される総合尤度マップに基づいて対象物を追跡する処理である。総合尤度マップは、複数フレームのフレーム尤度マップから算出される。総合尤度マップ及びフレーム尤度マップは、それぞれ、各座標が尤度の値を有しているマップである。

【0027】

図５は、第１の実施形態における特徴量追跡処理の一例を示す図である。追跡部３０３は、現在のフレームｔにおいて入力された特徴量の抽出結果を含む画像５００ａから現在のフレームにおけるフレーム尤度マップ６００ａを算出する。フレームｔにおけるフレーム尤度マップ６００ａは、画像５００ａにおいて抽出された候補領域５０１ａ、５０２ａ、５０３ａにおける尤度の値を、予め保持されている初期値の尤度マップに加算することで算出される。初期値の尤度マップは、すべての座標における尤度の値が初期値、例えばゼロのマップである。具体的には、追跡部３０３は、初期値の尤度マップにおける候補領域５０１ａと対応する候補領域６０１ａのそれぞれの座標に、候補領域５０１ａに含まれるそれぞれの座標の尤度の値を加算する。同様に、追跡部３０３は、初期値の尤度マップにおける候補領域５０２ａと対応する候補領域６０２ａのそれぞれの座標に、候補領域５０２ａに含まれるそれぞれの座標の尤度の値を加算し、初期値の尤度マップにおける候補領域５０３ａと対応する候補領域６０３ａの座標に、候補領域５０３ａに含まれるそれぞれの座標の尤度の値を加算する。ここで、図５では、候補領域毎に異なるハッチングが付されることによって、尤度の値の違いが示されている。図５の例では、候補領域６０１ａの尤度の値は、候補領域６０２ａ、６０３ａの尤度の値に比べて高いものとする。

【0028】

フレームｔにおけるフレーム尤度マップ６００ａを算出した後、追跡部３０３は、フレーム尤度マップ６００ａと１つ前のフレームｔ－１において算出済みの総合尤度マップ７００ｂとから現在のフレームｔにおける総合尤度マップ７００ａを算出する。具体的には、追跡部３０３は、フレーム尤度マップ６００ａのそれぞれの座標の尤度の値を、総合尤度マップ７００ｂの対応する座標の尤度の値に加算する。一方で、追跡部３０３は、加算された総合尤度マップ７００ｂにおいて、フレーム尤度マップ６００ａにおいて尤度の値を有していない座標、すなわち候補領域６０１ａ、６０２ａ、６０３ａ以外の座標については予め設定された一定値を減算する。このようにして追跡部３０３は、総合尤度マップ７００ａを算出する。

【0029】

例えば、図５において、追跡部３０３は、フレーム尤度マップ６００ａにおける候補領域６０１ａ、６０１ｂ、６０１ｃの尤度の値を総合尤度マップ７００ｂにおける対応する座標の尤度の値に加算する。さらに、追跡部３０３は、総合尤度マップ７００ｂにおける候補領域６０１ａ、６０２ａ、６０３ａ以外の領域については予め設定された一定値を減算する。

【0030】

ここで、総合尤度マップ７００ｂにおいて尤度の値を有している候補領域７０１ｂ、７０２ｂ、７０３ｂ、７０４ｂ、７０５ｂ、７０６ｂは、フレーム尤度マップ６００ａにおいて尤度の値を有している候補領域６０１ａ、６０２ａ、６０３ａの何れとも一致していない。したがって、フレーム尤度マップ６００ａにおける候補領域７０１ｂ、７０２ｂ、７０３ｂ、７０４ｂ、７０５ｂ、７０６ｂと対応する座標の尤度の値からは一定値が減算される。図５の総合尤度マップ７００ａにおいては、候補領域６０１ａ、６０２ａ、６０３ａと対応する候補領域７０１ａ、７０２ａ、７０３ａに加えて、候補領域７０３ｂと対応する候補領域７０４ａ、候補領域７０４ｂと対応する候補領域７０５ａ、候補領域７０６ｂと対応する候補領域７０６ａだけが尤度の値を有している例が示されている。また、候補領域７０４ａ、７０５ａ、候補領域７０６ａの尤度の値は、元の値よりも小さくなる。

【0031】

このようにして算出される総合尤度マップでは、１フレーム前の尤度マップにおける候補領域と同じ座標の候補領域が現在のフレームにおいても抽出された場合にはその候補領域における尤度はより高くなる。一方、１フレーム前の尤度マップにおける候補領域と異なる座標の候補領域が現在のフレームにおいて抽出された場合には１フレーム前において抽出された候補領域の尤度は低くなる。例えば、対象物と考えられる尤度の高い候補領域が画像の中心になるように撮像装置１０が制御されている場合、この尤度の高い候補領域は、画像の中心から殆ど動かない。また、対象物は、時間経過に伴う形状の変化も殆どないと考えられる。一方で、雲等の背景については時間経過に伴う位置の変化及び形状の変化等により、候補領域の位置が変動し得る。このため、実施形態の特徴量追跡処理では、目的の対象物を含む確度の高い候補領域の尤度は時間経過とともに高くなり易く、対象物と似た背景が候補領域として抽出されてもこの背景の候補領域の尤度は時間経過とともに低くなり易い。このようにして、実施形態では、対象物と似た背景の領域が誤抽出された場合でも、誤抽出された背景の領域の尤度を下げることができ、結果として目的の対象物を精度良く検出することができる。

【0032】

追跡部３０３は、前述のようにして算出された総合尤度マップ７００ａのうちで最も高い尤度を有する候補領域の座標とその候補領域の尤度の値とを決定部３０４に送る。図５の例では、追跡部３０３は、候補領域７０１ａの左上Ｘ座標、左上Ｙ座標、幅、高さと、尤度を決定部３０４へ送る。

【0033】

ここで、前のフレームにおいて総合尤度マップが保持されていない場合には、前のフレームにおけるフレーム尤度マップが総合尤度マップとして用いられる。この場合、フレーム尤度マップの尤度の値がそのまま総合尤度マップの尤度の値として流用される。図５の例では、ｔ－２フレームにおける画像５００ｃの前のフレームは存在しない。この場合、画像５００ｃに基づいて算出されるフレーム尤度マップ６００ｃは、ｔ－１フレームにおける総合尤度マップ７００ｂを算出するための１フレーム前の総合尤度マップとして流用される。総合尤度マップ７００ｂは、ｔ－１フレームにおける画像５００ｂに基づいて算出されるフレーム尤度マップ６００ｂとフレーム尤度マップ６００ｃとから算出される。

【0034】

また、前のフレームにおいてフレーム尤度マップが保持されていない場合、すなわち現在のフレームが最初のフレームである場合には、前述した予め保持されている初期値の尤度マップが総合尤度マップとして用いられてよい。

【0035】

また、図５では、フレーム尤度マップ６００ａ、６００ｂ、６００ｃ及び総合尤度マップ７００ａ、７００ｂは、尤度の値を輝度値とした画像として示されている。しかしながら、フレーム尤度マップ及び総合尤度マップは、必ずしも画像化される必要はない。フレーム尤度マップ及び総合尤度マップは、座標毎の尤度の値を有していればよい。

【0036】

また、実施形態では、尤度の高い候補領域が画像の中心になるように撮像装置１０が制御される前提で説明している。しかしながら、対象物の移動が撮像のフレームの間隔に比べて小さければフレーム間での画像上での対象物の移動も少ないため、結果として尤度の値は時間経過とともに高くなり易い。このような撮像のフレームの間隔に比べて移動の小さい対象物が追跡される場合には、尤度の高い候補領域が画像の中心になるように撮像装置１０が制御されなくてもよい。

【0037】

決定部３０４は、追跡部３０３から現在のフレームにおける総合尤度マップを取得する。そして、決定部３０４は、総合尤度マップから画像における最終的な対象物の位置を決定する。具体的には、決定部３０４は、総合尤度マップの中で最も高い尤度の値が一定値以上であるか否かに応じて最終的な対象物の位置を決定する。決定部３０４は、例えば検出した尤度の値が一定値以上である場合、その尤度を有している候補領域の座標を最終的な対象物の位置として決定する。一方、決定部３０４は、例えば総合尤度マップの中で最も高い尤度の値が一定値以上でない場合、その尤度を有している候補領域の座標を最終的な対象物の位置として決定しない。

【0038】

出力制御部３０５は、決定部３０４で決定された対象物の位置の情報を出力するための制御をする。例えば、出力制御部３０５は、対象物の位置の情報を、出力装置２０４を介して飛しょう体の制御システムに出力する。

【0039】

図６は、第１の実施形態における対象物検出装置２０の処理の一例を示すフローチャートである。図６の処理は、例えばプロセッサ２０２によって行われる。

【0040】

ステップＳ１０１において、プロセッサ２０２は、撮像装置１０から画像を取得する。

【0041】

ステップＳ１０２において、プロセッサ２０２は、取得した画像の特徴量を抽出し、特徴量に基づいて候補領域及びその尤度を抽出する。

【0042】

ステップＳ１０３において、プロセッサ２０２は、特徴量が抽出されたか否かを判定する。ステップＳ１０３において、特徴量が抽出されたと判定されたときには、処理はステップＳ１０４に移行する。ステップＳ１０３において、例えば候補領域としての高い分離度を有する探索領域がなかったと判定されたときには、処理はステップＳ１０１に戻る。この場合、プロセッサ２０２は、次のフレームの画像の取得を実施して同様の処理を繰り返す。

【0043】

ステップＳ１０４において、プロセッサ２０２は、それぞれの候補領域の座標と尤度とから、現在のフレームにおけるフレーム度マップを算出する。

【0044】

ステップＳ１０５において、プロセッサ２０２は、現在のフレームにおけるフレーム尤度マップから現在のフレームにおける総合尤度マップを算出する。ここで、総合尤度マップの算出処理について説明する。

【0045】

図７は、第１の実施形態における総合尤度マップの算出処理を示すフローチャートである。ステップＳ２０１において、プロセッサ２０２は、現在のフレームにおけるフレーム尤度マップの候補領域に対応する座標から尤度の値を取得する。

【0046】

ステップＳ２０２において、プロセッサ２０２は、取得した尤度の値を、１つ前のフレームにおいて算出された総合尤度マップに加算する。前述したように、１つ前のフレームの総合尤度マップが存在しない場合には、１つ前のフレームにおけるフレーム尤度マップが総合尤度マップとして用いられてよい。さらに、現在のフレームが最初のフレームであるときには、初期値の尤度マップが総合尤度マップとして用いられてよい。

【0047】

ステップＳ２０３において、プロセッサ２０２は、１つ前のフレームにおいて算出された総合尤度マップにおける、現在のフレームにおけるフレーム尤度マップの候補領域外のそれぞれの座標の尤度の値から一定値を減算する。このようにして、現在のフレームにおける総合尤度マップが算出される。

【0048】

ステップＳ２０４において、プロセッサ２０２は、現在のフレームにおける総合尤度マップの中で、最も高い尤度を有する候補領域の座標及び尤度の情報を抽出する。その後、プロセッサ２０２は、図７の処理を終了する。

【0049】

ここで、図６の説明に戻る。現在のフレームにおける総合尤度マップを算出した後のステップＳ１０６において、プロセッサ２０２は、抽出した尤度が一定値以上であるか否かを判定する。ステップＳ１０６において、尤度が一定値以上でないと判定されたときには、処理はステップＳ１０７に移行する。ステップＳ１０６において、尤度が一定値以上であると判定されたときには、処理はステップＳ１０９に移行する。

【0050】

ステップＳ１０７において、プロセッサ２０２は、最も高い尤度を有する候補領域が次のフレームで撮像される画像の中心になるように撮像装置１０の撮像方向を制御する。すなわち、プロセッサ２０２は、撮像装置１０をパン又はチルトさせる。図８は、撮像方向の制御の概要を示す図である。プロセッサ２０２は、例えば、現在のフレーム５００ａから生成される総合尤度マップ７００ａのうちで最も高い尤度を有する候補領域７０１ａの座標を取得する。そして、プロセッサ２０２は、取得した候補領域７０１ａの例えば中心の座標と画像中心の座標との画像間の距離を算出する。そして、プロセッサ２０２は、画像間の距離に基づいて撮像装置１０のパン量及びチルト量を決定し、決定したパン量及びチルト量に応じて撮像装置１０をパン及びチルトさせる。このようにして、次のフレームにおいて撮像される画像５００ｅでは、前のフレームにおいて最も高い尤度を有する候補領域７０１ａと対応する候補領域５０１ｅが画像中心になる。最も高い尤度を有する候補領域は、対象物Ｏが存在する確度が高い領域である。対象物Ｏが存在する確度が高い領域が画像中心となるように撮像がされることにより、撮像される画像から対象物Ｏが失われる可能性が低減される。

【0051】

ステップＳ１０８において、プロセッサ２０２は、最も高い尤度を有する候補領域の尤度の値に応じて撮像装置１０の画角を制御する。すなわち、プロセッサ２０２は、撮像装置１０をズームイン又はズームアウトさせる。その後、処理はステップＳ１０１に戻る。この場合、プロセッサ２０２は、次のフレームの画像の取得を実施して同様の処理を繰り返す。

【0052】

図９Ａ及び図９Ｂは、画角の制御の概要を示す図である。ここで、図９Ａは、尤度の値が高い場合の制御の概要を示し、図９Ｂは、尤度の値が低い場合の制御の概要を示す。

【0053】

プロセッサ２０２は、例えば、総合尤度マップ７００ａにおいて取得した最大の尤度の値があらかじめ設定されている閾値よりも大きい場合には、図９Ａに示すように、最大の尤度の値を有する座標を中心にして撮像装置１０をズームインさせる。これにより、次のフレームにおいて撮像される画像５００ｄでは、前のフレームにおいて最も高い尤度を有する座標を中心とした狭い範囲が拡大される。これにより、対象物Ｏである確度の高い座標の付近が拡大されることで対象物Ｏをより明確に撮像することが可能である。また、プロセッサ２０２は、例えば、総合尤度マップ７００ａにおいて取得した最大の尤度の値があらかじめ設定されている閾値よりも小さい場合には、図９Ｂに示すように、最大の尤度の値を有する座標を中心にして撮像装置１０をズームアウトさせる。尤度の値が小さいことは、その座標を含む対象物が目的の対象物Ｏである確度が低いことを意味する。この場合において、撮像装置１０がズームアウトされることにより、対象物の周辺領域を増やすことができる。これにより、撮像される画像から対象物Ｏが失われる可能性が低減される。なお、尤度の閾値は、手動によって設定されてよい。

【0054】

ここで、図６の説明に戻る。ステップＳ１０９において、プロセッサ２０２は、最も高い尤度を有する候補領域の座標を対象物Ｏの座標として例えば飛しょう体の制御システムに出力する。これを受けて、飛しょう体の制御システムは、対象物Ｏを追跡するように飛しょう体を制御し得る。

【0055】

以上説明したとおり、第１の実施形態によれば、複数のフレームにおいて抽出された特徴量から算出される尤度を蓄積することによって対象物の候補領域が選別される。つまり、尤度の高い候補領域が同じ座標に有り続ければ尤度は高くなり、異なる座標に変化すると尤度は低くなる。このようにして算出される尤度に基づいて対象物が決定されることにより、第１の実施形態では、複雑な背景に対する誤検出を抑制して安定してかつ精度良く対象物を検出することができる。

【0056】

（第１の実施形態の変形例）
第１の実施形態の変形例を説明する。第１の実施形態では、追跡部３０３は、過去の総合尤度マップに現在のフレーム尤度マップを加算することで現在の総合尤度マップを算出している。これに対し、追跡部３０３は、現在のフレーム尤度マップに過去の複数のフレーム尤度マップを加算することで現在の総合尤度マップを算出してもよい。

【0057】

図１０は、第１の実施形態の変形例における特徴量追跡処理の一例を示す図である。図１０の例では、現在のフレームｔを含む４フレームのフレーム尤度マップから総合尤度マップが算出される。追跡部３０３は、現在のフレームｔの画像５００ａ、１つ前のフレームｔ－１の画像５００ｂ、２つ前のフレームｔ－１の画像５００ｃ、３つ前のフレームｔ－２の画像５００ｄのそれぞれからフレーム尤度マップ６００ａ、６００ｂ、６００ｃ、６００ｄを算出する。フレーム尤度マップの算出手法は、第１の実施形態と同様でよい。具体的には、追跡部３０３は、抽出されたそれぞれの候補領域における尤度の値を、予め保持されている初期値の尤度マップに加算することでフレーム尤度マップを算出する。

【0058】

変形例の追跡部３０３は、これらの複数フレームのフレーム尤度マップに基づいて、総合尤度マップを算出する。具体的には、追跡部３０３は、現在のフレームに対して時間差の小さいフレーム尤度マップの尤度を高くし、現在のフレームに対して時間差の大きいフレーム尤度マップの尤度を低くして、それぞれのフレーム尤度マップが所持している各座標の尤度の値を加算することで総合尤度マップを算出する。

【0059】

例えば、追跡部３０３は、フレームｔのフレーム尤度マップ６００ａのそれぞれの尤度の値を１００％とした、すなわち尤度の値に係数１．０を乗じたフレーム尤度マップ８００ａ、フレームｔ－１のフレーム尤度マップ６００ｂのそれぞれの尤度の値を７５％に減衰した、すなわち尤度の値に係数０．７５を乗じたフレーム尤度マップ８００ｂ、フレームｔ－２のフレーム尤度マップ６００ｃのそれぞれの尤度の値を５０％に減衰した、すなわち尤度の値に係数０．５を乗じたフレーム尤度マップ８００ｃ、フレームｔ－３のフレーム尤度マップ６００ｄの尤度を２５％に減衰した、すなわち尤度の値に係数０．２５を乗じたフレーム尤度マップ８００ｄを算出する。そして、追跡部３０３は、これらの４つのフレームのフレーム尤度マップ８００ａ、８００ｂ、８００ｃ、８００ｄの各座標の尤度を合算して総合尤度マップ７００ａを算出する。このような総合尤度マップ７００ａであっても過去のフレームのフレーム尤度マップと現在のフレームのフレーム尤度マップとで同じ座標に尤度の値があれば、その座標の尤度の値が増加するように総合尤度マップが作成される。一方で、過去のフレームであるほど尤度の減衰量が大きいので、過去の尤度の値が現在のフレームの総合尤度マップに与える影響は少ない。このため、過去のフレームにおいて対象物の誤検出があってもその影響は時間の経過とともに補正される。このため、変形例においても複雑な背景に対する誤検出を抑制して安定してかつ精度良く対象物を検出することができる。

【0060】

図１１は、第１の実施形態の変形例における総合尤度マップの算出処理を示すフローチャートである。ステップＳ３０１において、プロセッサ２０２は、現在のフレームにおけるフレーム尤度マップの候補領域に対応する座標から尤度の値を取得する。

【0061】

ステップＳ３０２において、プロセッサ２０２は、現在のフレーム、１つ前のフレーム、２つ前のフレーム、３つ前のフレームにおいて算出されたフレーム尤度マップのそれぞれの座標の尤度の値にフレーム毎に割り当てられた係数を乗じることでそれぞれのフレーム尤度マップを減衰させる。

【0062】

ステップＳ３０３において、プロセッサ２０２は、減衰されたそれぞれのフレーム尤度マップの対応する座標の尤度の値を加算する。このようにして、現在のフレームにおける総合尤度マップが算出される。

【0063】

ステップＳ３０４において、プロセッサ２０２は、現在のフレームにおける総合尤度マップの中で、最も高い尤度を有する候補領域の座標及び尤度の情報を抽出する。その後、プロセッサ２０２は、図１１の処理を終了する。

【0064】

以上のような変形例であってもこのため、複雑な背景に対しても誤検出を抑制して安定して対象物を検出することができる。

【0065】

ここで、変形例で示した総合尤度マップの算出手法は一例である。例えば、減衰量は、現在のフレームが最も高くなるように設定されていれば、変形例で説明した量に限定されるものではない。同様に、加算するフレーム数も現在のフレームを含んでいればよく、４フレームに限定されるものではない。また、必ずしも連続したフレームのフレーム尤度マップが加算されなくてもよい。さらに、第１の実施形態と同様に過去のフレーム尤度マップとして過去の総合尤度マップが減衰されて用いられてもよい。

【0066】

（第２の実施形態）
次に第２の実施形態を説明する。図１２は、本実施形態にかかる対象物検出装置２０の機能ブロック図である。ここで、図１２において、図２と同じ構成要素については図２と同じ参照符号が付されている。図１２と同じ参照符号が付されている構成要素については、必要に応じて説明を省略又は簡略化する。

【0067】

本実施形態の対象物検出装置２０は、撮像制御部３０１と、探索範囲設定部３０６と、特徴量抽出部３０２と、追跡部３０３と、決定部３０４と、出力制御部３０５とを備える。例えば、プロセッサ２０２は、対象物検出プログラム２０４１を実行することによって撮像制御部３０１と、探索範囲設定部３０６と、特徴量抽出部３０２と、追跡部３０３と、決定部３０４と、出力制御部３０５として動作する。撮像制御部３０１と、探索範囲設定部３０６と、特徴量抽出部３０２と、追跡部３０３と、決定部３０４と、出力制御部３０５とは、専用のハードウェア等によって構成されてもよい。

【0068】

探索範囲設定部３０６は、特徴量抽出部３０２による特徴量抽出の際の探索範囲の位置を設定する。具体的には、探索範囲設定部３０６は、過去のフレームにおいて算出された総合尤度マップにおける尤度の値に基づき、現在のフレームにおける探索範囲の位置を設定する。

【0069】

図１３は、探索範囲設定部３０６の探索範囲設定処理の一例を示す図である。例えば、１つ前のフレームにおいて得られた画像５００ａから算出された総合尤度マップ７００ａにおいて、候補領域７０１ａの尤度の値が最も高かったとする。この場合、探索範囲設定部３０６は、候補領域７０１ａの例えば中心座標を中心として予め設定された範囲を探索範囲として設定する。そして、探索範囲設定部３０６は、設定した探索範囲の左上Ｘ座標Ｘ４、左上Ｙ座標Ｙ４、幅Ｗ４、高さＨ４を特徴量抽出部３０２に送る。ここで、幅Ｗ４、高さＨ４は、手動で設定されてよい。特徴量抽出部３０２は、次のフレームの画像５００ｅにおける探索範囲Ａについて特徴量抽出処理を実施する。

【0070】

ここで、探索範囲は、最初のフレームについては総合尤度マップがないので、探索範囲設定部３０６は、例えば画像の全域を探索範囲に設定する。

【0071】

また、探索範囲設定部３０６は、画像内に複数の探索範囲を設定してもよい。この場合において、探索範囲設定部３０６は、例えば総合尤度マップにおける尤度の値の高い順に複数の探索範囲を設定してもよい。このとき、探索範囲設定部３０６は、複数の探索範囲が相互に重複しないように設定してもよい。

【0072】

また、探索範囲設定部３０６は、探索範囲の大きさ、すなわち幅Ｗ４及び高さＨ４を前のフレームにおいて算出された総合尤度マップにおける最も高い尤度の値に応じて設定してもよい。

【0073】

図１４Ａ及び図１４Ｂは、探索範囲設定処理の変形例を示す図である。ここで、図１４Ａは、尤度の値が低いときの探索範囲設定処理の変形例を示す図である。また、図１４Ｂは、尤度の値が高いときの探索範囲設定処理の変形例を示す図である。

【0074】

探索範囲設定部３０６は、例えば前のフレームにおいて算出された総合尤度マップにおける最大の尤度の値が、あらかじめ設定された閾値よりも低い場合は、図１４Ａに示すように尤度が最も高い座標を中心として、もとの探索範囲より一定の幅及び高さだけ拡大された探索範囲Ａ１を設定し、探索範囲Ａ１の左上Ｘ座標Ｘ５、左上Ｙ座標Ｙ５、幅Ｗ５、高さＨ５を特徴量抽出部３０２に送る。一方、探索範囲設定部３０６は、例えば前のフレームにおいて算出された総合尤度マップにおける最大の尤度の値が、あらかじめ設定された閾値よりも高い場合は、図１４Ｂに示すように尤度が最も高い座標を中心として、もとの探索範囲より一定の幅及び高さだけ縮小された探索範囲Ａ２を設定し、探索範囲Ａ２の左上Ｘ座標Ｘ６、左上Ｙ座標Ｙ６、幅Ｗ６、高さＨ６を特徴量抽出部３０２に送る。ここで、閾値は、１つでもよいし、複数でもよい。複数の閾値がある場合において、閾値に応じて探索範囲の幅及び高さが設定されてよい。

【0075】

図１５は、第２の実施形態における対象物検出装置２０の処理の一例を示すフローチャートである。図１５の処理は、例えばプロセッサ２０２によって行われる。ここで、図１５において、図６と同様の処理については説明を適宜に省略又は簡略化する。

【0076】

ステップＳ４０１において、プロセッサ２０２は、撮像装置１０から画像を取得する。

【0077】

ステップＳ４０２において、プロセッサ２０２は、取得した画像に対して探索範囲を設定する。前述したように、最初のフレームの探索範囲は、画像の全域であってよい。一方、最初のフレームの後の探索範囲は、前のフレームにおいて算出された総合尤度マップに基づいて設定される。プロセッサ２０２は、前のフレームにおいて算出された総合尤度マップにおける最も高い尤度の値を有する座標を中心とした範囲で探索範囲を設定する。このとき、プロセッサ２０２は、探索範囲の幅及び高さを、最も高い尤度の値と閾値との比較に応じて設定してもよい。

【0078】

ステップＳ４０３－Ｓ４１０の処理は、図６のステップＳ１０２－Ｓ１０９の処理と同じである。したがって、説明を省略する。

【0079】

以上説明したとおり、第２の実施形態では前のフレームにおいて算出された総合尤度マップの尤度の値に基づいて次のフレームの特徴量の探索範囲が設定される。前述したように対象物は、フレーム間で大きく移動することはないことがある。この場合においては、画像中で探索範囲を制限することで背景等を誤って抽出することが抑制され得る。

【0080】

［その他の変形例］
前述した各実施形態及びその変形例の対象物検出装置２０において実行される対象物検出プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。また、対象物検出プログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納されてもよく、対象物検出装置２０は、必要に応じてネットワーク経由で対象物検出プログラムをダウンロードして利用してもよい。

【0081】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0082】

１ 対象物検出システム、１０ 撮像装置、２０ 対象物検出装置、２０１ 入力装置、２０２ プロセッサ、２０３ メモリ、２０４ 記憶装置、２０５ 出力装置、３０１ 撮像制御部、３０２ 特徴量抽出部、３０３ 追跡部、３０４ 決定部、３０５ 出力制御部、３０６ 探索範囲設定部。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図15】