特許 7474662 画像追跡装置、画像追跡システム、画像追跡方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-17

(45)【発行日】2024-04-25

(54)【発明の名称】画像追跡装置、画像追跡システム、画像追跡方法及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240418BHJP

【ＦＩ】

H04N7/18 G

【請求項の数】 6

(21)【出願番号】P 2020150070

(22)【出願日】2020-09-07

(65)【公開番号】P2022044445

(43)【公開日】2022-03-17

【審査請求日】2023-02-02

(73)【特許権者】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(74)【代理人】

【識別番号】100161702

【弁理士】

【氏名又は名称】橋本 宏之

(74)【代理人】

【識別番号】100189348

【弁理士】

【氏名又は名称】古都 智

(74)【代理人】

【識別番号】100196689

【弁理士】

【氏名又は名称】鎌田 康一郎

(72)【発明者】

【氏名】砂田 宜宏

(72)【発明者】

【氏名】平野 広太

(72)【発明者】

【氏名】松本 知浩

(72)【発明者】

【氏名】栗本 幸大

(72)【発明者】

【氏名】黒田 淳

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０００－３４８１８６（ＪＰ，Ａ）

【文献】特開２０１８－１０６２８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／００

(57)【特許請求の範囲】

【請求項1】

撮影装置から逐次画像を取得する画像取得部と、
前記画像上に映る目標物を抽出し、当該目標物の画像上での特徴を示す目標情報を記憶する目標情報記憶部と、
前記画像上に映る目標物から当該目標物の立体的形状を推定し、当該立体的形状を示す推定形状情報を取得する形状推定部と、
前記目標情報および前記推定形状情報を用いて画像追跡を行う画像追跡部と、
を備え、
前記画像追跡部は、前記目標物へのレーザ照射がなされてない場合に、前記目標情報のみを用いて画像追跡を行い、前記目標物へのレーザ照射がなされている場合に、前記目標情報および前記推定形状情報を用いて画像追跡を行う、
画像追跡装置。

【請求項2】

前記目標情報および前記推定形状情報を用いてレーザ照射点を決定するレーザ照射点決定部をさらに備える、
請求項１に記載の画像追跡装置。

【請求項3】

請求項１または２に記載の画像追跡装置と、
前記撮影装置と、を備え、
前記撮影装置は、フィルタを備える、
画像追跡システム。

【請求項4】

請求項１または２に記載の画像追跡装置と、
前記撮影装置と、
イルミネータと、
を備える画像追跡システム。

【請求項5】

撮影装置から逐次画像を取得するステップと、
前記画像上に映る目標物を抽出し、当該目標物の画像上での特徴を示す目標情報を記憶するステップと、
前記画像上に映る目標物から当該目標物の立体的形状を推定し、当該立体的形状を示す推定形状情報を取得するステップと、
前記目標情報および前記推定形状情報を用いて画像追跡を行うステップと、
を有し、
前記画像追跡を行うステップにおいて、前記目標物へのレーザ照射がなされてない場合に、前記目標情報のみを用いて画像追跡を行い、前記目標物へのレーザ照射がなされている場合に、前記目標情報および前記推定形状情報を用いて画像追跡を行う、
画像追跡方法。

【請求項6】

コンピュータに、
撮影装置から逐次画像を取得するステップと、
前記画像上に映る目標物を抽出し、当該目標物の画像上での特徴を示す目標情報を記憶するステップと、
前記画像上に映る目標物から当該目標物の立体的形状を推定し、当該立体的形状を示す推定形状情報を取得するステップと、
前記目標情報および前記推定形状情報を用いて画像追跡を行うステップと、
を実行させるプログラムであって、
前記画像追跡を行うステップにおいて、前記目標物へのレーザ照射がなされてない場合に、前記目標情報のみを用いて画像追跡を行い、前記目標物へのレーザ照射がなされている場合に、前記目標情報および前記推定形状情報を用いて画像追跡を行う、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像追跡装置、画像追跡システム、画像追跡方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、複数の視点から撮像することにより得られた複数視点画像データを用いて合成画像データを生成する画像処理装置であって、被写体までの距離を示す距離情報に基づいて、前記複数視点画像データに対してフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理がなされた複数視点画像データを合成して、合成画像データを生成する生成手段とを備えることを特徴とする発明が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－０６５２８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像による物体追跡技術としては、例えばテンプレートマッチングが知られている。これは、入力された全体画像（動画を構成するフレーム）から目標物体のテンプレート画像と類似する箇所（部分画像）を探索する処理である。

【0005】

カメラの映像の取り込み周期が十分に早く、隣り合う時刻のフレーム間で見かけ上の変化が十分に小さい場合、直前時刻のフレームにおける検出結果を参照しながらテンプレートマッチングを実行することで、高速かつ高精度に目標物体を画像上で追跡（トラッキング）することが可能となる。

【0006】

しかしながら、物体の一部分の“隠れ”の発生により物体の見た目が大きく変化した場合、従来の物体追跡技術では、直前時刻のフレームにおける検出結果を利用した検出処理が困難となり、物体を見失ってしまうことがある。

【0007】

本開示の目的は、物体の一部分の“隠れ”の発生により物体の見た目が大きく変化した場合であっても、画像上での追跡を継続可能な画像追跡装置、画像追跡システム、画像追跡方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

本開示の一態様によれば、画像追跡装置は、撮影装置から逐次画像を取得する画像取得部と、前記画像上に映る目標物を抽出し、当該目標物の画像上での特徴を示す目標情報を記憶する目標情報記憶部と、前記画像上に映る目標物から当該目標物の立体的形状を推定し、当該立体的形状を示す推定形状情報を取得する形状推定部と、前記目標情報および前記推定形状情報を用いて画像追跡を行う画像追跡部と、を備える。

【0009】

本開示の一態様によれば、画像追跡方法は、撮影装置から逐次画像を取得するステップと、前記画像上に映る目標物を抽出し、当該目標物の画像上での特徴を示す目標情報を記憶するステップと、前記画像上に映る目標物から当該目標物の立体的形状を推定し、当該立体的形状を示す推定形状情報を取得するステップと、前記目標情報および前記推定形状情報を用いて画像追跡を行うステップと、を有する。

【0010】

本開示の一態様によれば、プログラムは、コンピュータに、撮影装置から逐次画像を取得するステップと、前記画像上に映る目標物を抽出し、当該目標物の画像上での特徴を示す目標情報を記憶するステップと、前記画像上に映る目標物から当該目標物の立体的形状を推定し、当該立体的形状を示す推定形状情報を取得するステップと、前記目標情報および前記推定形状情報を用いて画像追跡を行うステップと、を実行させる。

【発明の効果】

【0011】

上述の各態様によれば、物体の一部分の“隠れ”の発生により物体の見た目が大きく変化した場合であっても、画像上での追跡を継続できる。

【図面の簡単な説明】

【0012】

【図1】本開示の少なくとも一実施形態に係る画像追跡装置の構成を示す図である。

【図2】本開示の少なくとも一実施形態に係る画像追跡装置の構成を示す図である。

【図3】本開示の少なくとも一実施形態に係る形状推定部の機能の説明図である。

【図4】本開示の少なくとも一実施形態に係る画像追跡装置の処理フローを示す図である。

【図5】本開示の少なくとも一実施形態に係る画像追跡装置より得られる作用、効果についての説明図である。

【図6】本開示の他の一実施形態に係る画像追跡装置の処理フローを示す図である。

【図7】本開示の少なくとも一実施形態に係る画像追跡システムの構成を示す図である。

【発明を実施するための形態】

【0013】

＜第１の実施形態＞
以下、第１の実施形態に係る画像追跡装置について、図１～図５を参照しながら説明する。本実施形態では、ある物体（ドローン）を画像上で検出しながら追跡し、物体の強制停止を目的として、追跡する物体中のある特定位置にレーザを照射し続けるシステムを考える。

【0014】

（画像追跡装置の構成）
図１は、第１の実施形態に係る画像追跡装置の構成を示す図である。
図２は、第１の実施形態に係る画像追跡装置のＣＰＵの機能構成を示す図である。
図１に示すように、検証処理装置１は、ＣＰＵ１０と、メモリ１１と、ディスプレイ１２と、入力デバイス１３と、ストレージ１４とを備え、通常のコンピュータとして構成されている。

【0015】

メモリ１１は、いわゆる主記憶装置であって、ＣＰＵ１０がプログラムに基づいて動作するための命令及びデータが展開される。

【0016】

ディスプレイ１２は、情報を視認可能に表示する表示デバイスであって、例えば、液晶ディスプレイや有機ＥＬディスプレイなどであってよい。

【0017】

入力デバイス１３は、検証処理装置１の使用者の操作を受け付ける入力デバイスであって、例えば、一般的なマウス、キーボード、タッチセンサなどであってよい。

【0018】

通信インタフェース１４は、画像追跡装置１と外部機器との通信接続用のインタフェースである。本実施形態においては、図示しないカメラ（撮影装置）やレーザ照射装置（後述）と通信可能に接続されている。

【0019】

ストレージ１５は、いわゆる補助記憶装置であって、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等であってよい。

【0020】

図２を参照しながら、ＣＰＵ１０の機能について説明する。
ＣＰＵ１０は、検証処理装置１の動作全体の制御を司るプロセッサである。本実施形態に係るＣＰＵ１０は、図２に示すように、画像取得部１００、目標情報記憶部１０１、形状推定部１０２、画像追跡部１０３及び照射点決定部１０４としての機能を発揮する。

【0021】

画像取得部１００は、カメラにて撮影された動画像をフレーム（静止画像）ごとに逐次取得する。

【0022】

目標情報記憶部１０１は、画像取得部１００が取得した画像から目標情報を取得し、記憶する。ここで、目標情報とは、画像上に映る目標物の、その画像１枚から計測される見た目上の特徴（位置、サイズ、色、形状など）を示す情報である。

【0023】

形状推定部１０２は、画像取得部１００が取得した画像から推定形状情報を取得し、記憶する。ここで、推定形状情報とは、画像上に映る目標物の像から推定される当該目標物の立体的形状である。形状推定部１０２の機能については後述する。

【0024】

画像追跡部１０３は、目標情報取得部１０１によって取得された目標情報、および、形状推定部１０２によって取得された推定形状情報を用いて画像追跡（画像上での物体追跡処理（トラッキング））を行う。

【0025】

照射点決定部１０４は、目標情報及び推定形状情報を用いて、レーザ照射装置によるレーザ照射点を決定する。

【0026】

（形状推定部の機能）
図３は、第１の実施形態に係る形状推定部の機能の説明図である。
図３に示すように、形状推定部１０２の機能は、事前に、多数の学習用画像データＧを用いて機械学習を行うことで得られる。ここで、学習用画像データＧは、飛来が想定される目標物の立体的形状（図３に示す例では、４枚羽のドローン）を模した形状モデルＭ（ＣＧモデル）を元に、当該形状モデルＭを様々な位置、角度から描画したものとして複数作成される。このように作成された学習用画像データＧを用いて学習することで、形状推定部１０２は、入力された画像から、当該画像に映る目標物の立体的形状（即ち、形状モデルＭに相当する立体的形状）を推定することができる。

【0027】

なお、学習用画像データＧは、図３に示す４枚羽のドローンの他、６枚羽のドローンや飛行機型のドローンなど、目標物の種類別に複数用意される。そして、目標物の種類ごとに、その目標物の立体的形状が学習される。

【0028】

（画像追跡装置の処理フロー）
図４は、第１の実施形態に係る画像追跡装置の処理フローを示す図である。
図４に示す処理フローは、カメラから次々に入力されるフレームの１枚に対して実行される処理フローであり、各フレームが入力される度に繰り返し実行される。

【0029】

まず、画像取得部１００は、カメラから１枚の画像（フレーム）を取得する（ステップＳ００１）。

【0030】

次に、目標情報取得部１０１は、前回取得した画像から目標情報を既に抽出しており、記憶済みか否かを判定する（ステップＳ００２）。

【0031】

目標情報が記憶されていない場合（ステップＳ００２；ＮＯ）、入力された画像に対して新たに目標とすべき物体（ドローン等）が映っているか否かの判定（目標入力判定）を行う（ステップＳ００３）。

【0032】

入力された画像に、新たに目標とすべき物体が映っていない場合（ステップＳ００３；ＮＯ）、今回入力された画像に対する処理を終了する。

【0033】

一方、入力された画像に、新たに目標とすべき物体が映っていた場合（ステップＳ００３；ＹＥＳ）、その画像から計測される目標物の特徴（位置、サイズ、色、形状など）を取得し、メモリ１１等に記憶する（ステップＳ００４）。

【0034】

続いて、形状推定部１０２は、入力された画像からその画像に映っている目標物の立体的形状を推定し、推定形状情報を記憶する（ステップＳ００５）。

【0035】

また、ステップＳ００２の判定処理で、目標情報が既に記憶されていた場合（ステップＳ００２；ＹＥＳ）、既に記憶されている目標情報と推定形状情報とを用いて追跡（トラッキング）を行う（ステップＳ００６）。ここで、画像追跡部１０３は、従来の物体追跡技術（例えば、目標情報を用いたテンプレートマッチング等）を用いて目標物の追跡を行う。また、画像追跡部１０３は、画像に映る目標物に対し、推定形状情報に示される立体的形状をフィッティングすることで、目標物の位置、姿勢を取得する。

【0036】

続いて、画像追跡部１０３は、ステップＳ００６の追跡処理の結果、目標を消失したか否か（つまり、追跡に成功したか否か）を判定する（ステップＳ００７）。

【0037】

ステップＳ００７の追跡処理で目標を消失した場合（ステップＳ００７；ＹＥＳ）、記憶していた目標情報および推定形状情報を削除し（ステップＳ００８）、このフレーム対する処理を終了する。

【0038】

目標を消失しなかった場合（ステップＳ００７；ＮＯ）、画像追跡部１０３は、画像上にマーカ等を表示させて、目標物の位置、姿勢などを出力する（ステップＳ００９）。

【0039】

照射点決定部１０４は、ステップＳ００９で得られた目標物の位置、姿勢に基づいて、目標物に対するレーザ照射点を決定する（ステップＳ０１０）。ここで、照射点決定部１０４は、推定形状情報から、飛来する目標物がどのような形状で、現在どのような姿勢にあるのかを把握することができる。照射点決定部１０４は、目標物の形状、位置および姿勢を参照して、その目標物へのレーザ照射の効果（ドローンの強制停止）を最も得やすい特定位置（例えば、ドローンの中心位置）を特定し、その特定位置を照射点として決定する。

【0040】

（作用、効果）
図５は、第１の実施形態に係る画像追跡装置より得られる作用、効果についての説明図である。
以上のとおり、第１の実施形態に係る画像追跡装置１は、特に、入力された画像から目標物の推定形状情報を取得する形状推定部１０２と、目標情報および推定形状情報を用いて画像追跡を行う画像追跡部１０３とを有することを特徴とする。
このような特徴を有することで得られる作用、効果について、図５を参照しながら詳しく説明する。

【0041】

図５は、ある時刻で取得されたフレームＦ１と、その次に取得されたフレームＦ２とを示している。
フレームＦ１にはレーザ照射前における目標物の像が映っており、従来の物体追跡技術により目標情報に基づいて追跡できている段階にある。

【0042】

フレームＦ１が取得された直後に、目標物に対するレーザ照射がなされたとする。この場合、図５に示すように、次に取得されるフレームＦ２には、レーザ照射が行われたことに起因して発光および発煙が生じる。

【0043】

ここで、従来の物体追跡技術（例えば、テンプレートマッチング）では、ある画像から抽出した見た目上の特徴（目標情報）をテンプレートとして、次のフレームでの物体追跡を行う。しかし、図５に示す例のように、発光や発煙により目標物の一部に“隠れ”が生じてフレームの前後で見た目が大きく変化した場合、従来の物体追跡技術では目標情報に基づいたマッチングが困難となり目標物を見失ってしまう。したがって、目標情報のみで追跡を行おうとすると、画像上で追跡中の物体に対しレーザ照射を行った瞬間に追跡が途切れてしまい、物体にレーザを照射し続けることができない。

【0044】

しかし、本実施形態によれば、照射点決定部１０４は、目標情報に加えて推定形状情報に基づく追跡を行う。即ち、照射点決定部１０４は、形状推定部１０２によって得られた推定形状情報（立体的形状）を入力画像にフィッティングすることで、画像上に映された目標物の位置、形状、姿勢などを取得する。この場合、フレームＦ２のように、画像上で目標物の一部が隠れてしまっている場合であっても、画像追跡部１０３は、見えている部分を元に、全体として推定形状情報のフィッティングを試行する。これにより、画像追跡部１０３は、フレームの前後で見た目が大きく変化した場合であっても、追跡を継続することができる。

【0045】

このように、本実施形態に係る画像追跡装置１によれば、推定形状情報によるフィッティングに基づいて物体追跡が行われるので、瞬間的な“隠れ”の発生に対し、ロバストな物体追跡を実現することができる。

【0046】

以上より、物体の一部分の“隠れ”の発生により物体の見た目が大きく変化した場合であっても、画像上での追跡を継続可能となる。

【0047】

これにより、飛来する物体（目標物）に対し、継続的にレーザを照射することができ、より効果的に物体の航行を停止させることができる。

【0048】

＜第２の実施形態＞
以下、第２の実施形態に係る画像追跡装置について、図６を参照しながら説明する。

【0049】

（画像追跡装置の処理フロー）
図６は、第２の実施形態に係る画像追跡装置の処理フローを示す図である。
第２の実施形態に係る画像追跡装置１が実行する処理フローは、第１の実施形態の処理フロー（図４）に対し、ステップＳ１００、Ｓ１０１、Ｓ１０２が追加された点で相違する。以下、当該ステップＳ１００、Ｓ１０１、Ｓ１０２の処理について詳しく説明する。

【0050】

図６に示すように、第２の実施形態に係る画像追跡装置１は、ステップＳ００２；ＹＥＳの処理の後、レーザ照射装置によるレーザ照射が行われている最中か否かを判定する（ステップＳ１００）。ここで、画像追跡装置１は、レーザ照射装置から、レーザ照射が現在行われているか否かを示す信号を受信することで、ステップＳ００２の判定を行うものとしてよい。

【0051】

レーザ照射が行われていない場合（ステップＳ１００；ＮＯ）、形状推定部１０２は、新たに入力された画像に対し形状推定処理（ステップＳ００５と同様の処理）を継続する（ステップＳ１０１）。

【0052】

続いて、画像追跡部１０３は、目標情報のみに基づいて（つまり、形状推定情報を用いずに、）追跡処理を行う（ステップＳ１０２）。

【0053】

一方、レーザ照射が行われている最中の場合（ステップＳ１００；ＹＥＳ）、第１の実施形態と同様に、画像追跡部１０３は、目標情報と形状推定情報とに基づいて追跡処理を行う（ステップＳ００６）。

【0054】

（作用、効果）
以上の処理を換言すると、第２の実施形態に係る画像追跡部１０３は、目標物へのレーザ照射がなされてない場合には目標情報のみを用いて画像追跡を行い、目標物へのレーザ照射がなされている場合には目標情報および推定形状情報を用いて画像追跡を行う。

【0055】

レーザ照射がなされていない場合には、前後のフレームで大きな変化が発生しないことが見込まれるため、目標情報のみを用いて従来の物体追跡技術にて追跡処理を行う。これにより、常に目標情報と推定形状情報の両方で追跡処理を行う場合よりも計算負荷を低減することができる。

【0056】

なお、第２の実施形態では、レーザ照射中ではない場合（ステップＳ１００；ＮＯ）においては、形状推定処理（ステップＳ１０１）を繰り返し行うこととしている。このようにすることで、形状推定部１０２は、複数の入力画像に基づいて形状推定を行うことができるため、形状推定の精度を高めることができる。これにより、ステップＳ００９にて行われるレーザ照射の精度も向上させることができる。

【0057】

＜変形例＞
図７は、第１、第２の実施形態の変形例に係る画像追跡システムの構成を示す図である。

【0058】

図７に示すように、レーザ照射システム９は、第１、第２の実施形態で説明した画像追跡装置１と、カメラ２（撮影装置）とを含んでなる画像追跡システム９Ａと、レーザ照射装置３とを備えている。
カメラ２は、逐次、動画像を構成するフレーム（静止画像）を画像追跡装置１に送信する。
レーザ照射装置３は、画像追跡装置１からレーザ照射点を示す情報を取得し、当該レーザ照射点に向けてレーザを照射する。

【0059】

本変形例においては、画像照射システム９Ａは、更に、カメラ２がフィルタ２０を有し、かつ、イルミネータ４を備えていることを特徴とする。

【0060】

カメラ２のフィルタ２０は、光学フィルタであって、所望の周波数帯域の光を減衰させるフィルタである。フィルタ２０は、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、ＮＤフィルタ等であってよい。これにより、フィルタ２０を通した画像入力により、レーザ照射により生じる目標物の発光を低減するとともに、その発光による目標物の隠れ量を減らすことができる。
本変形例において、フィルタ２０は、後述のイルミネータ４が放射する光を透過可能に構成されているのが好ましい。

【0061】

また、イルミネータ４は、カメラ２の側から目標物に向けて光を放射するものである。ここで、このイルミネータ４が放射する光の周波数を、目標物がよく反射する帯域のものとすることで、フィルタ２０を通したカメラ２で目標物を一層はっきりと認識することができる。なお、イルミネータ４は、白色光を照射するものであってもよい。

【0062】

なお、上述の変形例においては、画像追跡システム９Ａは、カメラ２に取り付けられたフィルタ２０と、イルミネータ４との両方を有するものとして説明したが、他の実施形態においてはこの態様に限定されない。
即ち、他の実施形態に係る画像追跡システム９Ａは、フィルタ２０と、イルミネータ４とのいずれか一方のみを有する態様とされてもよい。

【0063】

上述の実施形態においては、画像追跡装置１の各種処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記各種処理が行われる。また、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

【0064】

上記プログラムは、上述した機能の一部を実現するためのものであってもよい。更に、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0065】

以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0066】

＜付記＞
各実施形態に記載の検証装置、検証処理方法およびプログラムは、例えば以下のように把握される。

【0067】

（１）第１の態様において、画像追跡装置１は、撮影装置（カメラ）から逐次画像を取得する画像取得部１００と、画像上に映る目標物を抽出し、当該目標物の画像上での特徴を示す目標情報を記憶する目標情報記憶部１０１と、画像上に映る目標物から当該目標物の立体的形状を推定し、当該立体的形状を示す推定形状情報を取得する形状推定部１０２と、目標情報および推定形状情報を用いて画像追跡を行う画像追跡部１０３と、を備える。

【0068】

（２）第２の態様において、（１）に記載の画像追跡部１０３は、目標物へのレーザ照射がなされてない場合に、目標情報のみを用いて画像追跡を行い、目標物へのレーザ照射がなされている場合に、目標情報および前記推定形状情報を用いて画像追跡を行う。

【0069】

（３）第３の態様において、（１）または（２）に記載の画像追跡装置１は、目標情報および推定形状情報を用いてレーザ照射点を決定するレーザ照射点決定部１０４をさらに備える。

【0070】

（４）第４の態様において、画像追跡システム９Ａは、（１）から（３）のいずれかに記載の画像追跡装置１と、撮影装置２と、を備え、撮影装置２は、フィルタ２０を備える。

【0071】

（５）第５の態様において、画像追跡システム９は、（１）から（３）のいずれかに記載の画像追跡装置１と、撮影装置２と、イルミネータ４と、を備える。

【0072】

（６）第６の態様において、画像追跡方法は、撮影装置から逐次画像を取得するステップと、前記画像上に映る目標物を抽出し、当該目標物の画像上での特徴を示す目標情報を記憶するステップと、前記画像上に映る目標物から当該目標物の立体的形状を推定し、当該立体的形状を示す推定形状情報を取得するステップと、前記目標情報および前記推定形状情報を用いて画像追跡を行うステップと、を有する。

【0073】

（７）第７の態様において、プログラムは、コンピュータに、撮影装置から逐次画像を取得するステップと、前記画像上に映る目標物を抽出し、当該目標物の画像上での特徴を示す目標情報を記憶するステップと、前記画像上に映る目標物から当該目標物の立体的形状を推定し、当該立体的形状を示す推定形状情報を取得するステップと、前記目標情報および前記推定形状情報を用いて画像追跡を行うステップと、を実行させる。

【符号の説明】

【0074】

１ 画像追跡装置
１０ ＣＰＵ
１１ メモリ
１２ ディスプレイ
１３ 入力デバイス
１４ ストレージ
１００ 画像取得部
１０１ 目標情報記憶部
１０２ 形状推定部
１０３ 画像追跡部
１０４ 照射点決定部
２ カメラ
２０ フィルタ
３ レーザ照射装置
４ イルミネータ
９Ａ 画像追跡システム
９ レーザ照射システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】