6564679 画像処理装置、画像マッチングによる同一部位検出方法および画像処理用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6564679

(24)【登録日】2019年8月2日

(45)【発行日】2019年8月21日

(54)【発明の名称】画像処理装置、画像マッチングによる同一部位検出方法および画像処理用プログラム

(51)【国際特許分類】

   G06T 3/00 20060101AFI20190808BHJP

【ＦＩ】

   G06T3/00 750

【請求項の数】5

【全頁数】11

(21)【出願番号】特願2015-207682(P2015-207682)

(22)【出願日】2015年10月22日

(65)【公開番号】特開2017-79024(P2017-79024A)

(43)【公開日】2017年4月27日

【審査請求日】2018年8月27日

(73)【特許権者】

【識別番号】591030237

【氏名又は名称】日本ユニシス株式会社

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(72)【発明者】

【氏名】武井 宏将

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１２−０１４２５９（ＪＰ，Ａ）

【文献】 特開２００５−１８９０５５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

異なる時間に撮影された同じ空間に関する第１の画像データおよび第２の画像データをそれぞれ第１の３次元形状データおよび第２の３次元形状データに再構成し、画像データの各々の画素と３次元形状データの各々のドットとを紐付けて保存する３次元データ生成部と、
上記３次元データ生成部により生成された上記第１の３次元形状データおよび上記第２の３次元形状データの位置合わせを行う位置合わせ部と、
上記第１の画像データの中から特定の部位が指定された場合、上記第１の３次元形状データの中から、上記特定の部位の画素に紐付けられているドットを特定する第１のドット特定部と、
上記位置合わせ部により上記第１の３次元形状データと位置合わせが行われた上記第２の３次元形状データの中から、上記第１のドット特定部により特定されたドットに対応する位置のドットを特定する第２のドット特定部と、
上記第２の画像データの中から、上記第２のドット特定部により上記第２の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位を特定する対応部位特定部とを備えたことを特徴とする画像処理装置。

【請求項2】

上記第１の画像データおよび上記第２の画像データは、それぞれ複数のフレーム画像から構成されており、
上記対応部位特定部は、上記第２の画像データを構成する複数のフレーム画像の中から、上記第２のドット特定部により上記第２の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位をそれぞれ特定することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

上記第１の画像データおよび上記第２の画像データは、それぞれ複数のフレーム画像から構成されており、
上記第１の画像データを構成する複数のフレーム画像のうち、上記特定の部位の指定が行われたフレーム画像以外の残りのフレーム画像の中から、上記第１のドット特定部により上記第１の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位をそれぞれ特定する第２の対応部位特定部を更に備えることを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

画像処理装置の３次元データ生成部が、異なる時間に撮影された同じ空間に関する第１の画像データおよび第２の画像データをそれぞれ第１の３次元形状データおよび第２の３次元形状データに再構成し、画像データの各々の画素と３次元形状データの各々のドットとを紐付けて保存する第１のステップと、
上記画像処理装置の位置合わせ部が、上記３次元データ生成部により生成された上記第１の３次元形状データおよび上記第２の３次元形状データの位置合わせを行う第２のステップと、
上記画像処理装置の第１のドット特定部が、上記第１の画像データの中から特定の部位が指定された場合、上記第１の３次元形状データの中から、上記特定の部位の画素に紐付けられているドットを特定する第３のステップと、
上記画像処理装置の第２のドット特定部が、上記位置合わせ部により上記第１の３次元形状データと位置合わせが行われた上記第２の３次元形状データの中から、上記第１のドット特定部により特定されたドットに対応する位置のドットを特定する第４のステップと、
上記画像処理装置の対応部位特定部が、上記第２の画像データの中から、上記第２のドット特定部により上記第２の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位を特定する第５のステップとを有することを特徴とする画像マッチングによる同一部位検出方法。

【請求項5】

異なる時間に撮影された同じ空間に関する第１の画像データおよび第２の画像データをそれぞれ第１の３次元形状データおよび第２の３次元形状データに再構成し、画像データの各々の画素と３次元形状データの各々のドットとを紐付けて保存する３次元データ生成手段、
上記３次元データ生成手段により生成された上記第１の３次元形状データおよび上記第２の３次元形状データの位置合わせを行う位置合わせ手段、
上記第１の画像データの中から特定の部位が指定された場合、上記第１の３次元形状データの中から、上記特定の部位の画素に紐付けられているドットを特定する第１のドット特定手段、
上記位置合わせ部により上記第１の３次元形状データと位置合わせが行われた上記第２の３次元形状データの中から、上記第１のドット特定手段により特定されたドットに対応する位置のドットを特定する第２のドット特定手段、および
上記第２の画像データの中から、上記第２のドット特定手段により上記第２の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位を特定する対応部位特定手段
としてコンピュータを機能させるための画像処理用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像マッチングによる同一部位検出方法および画像処理用プログラムに関し、特に、異なる時間に撮影された同じ空間に関する画像上から対応する部位を特定するための技術に関するものである。

【背景技術】

【0002】

従来、同一の空間を異なる時間に撮影した複数の画像を比較することにより、当該空間内にある対象物の変化を観察することが行われている。例えば、道路やトンネル、建造物などの対象物を定期的に撮影し、撮影された画像を比較することにより、当該対象物の変状の有無や劣化状況を点検することが行われている。その際、対象物の中の特定の部位のみに注目して時間経過による変化を観察することもある。

【0003】

上記のように、画像の比較によって対象物の時間経過による変化を観察する場合、それぞれの画像の中から同じ対象物を同定する必要がある。対象物の中の特定の部位のみを比較する場合は、それぞれの画像の中からその同じ部位を同定する必要がある。従来、複数の画像からそれぞれ同一の部位を検出するために、所定のアルゴリズムに従って画像の特徴量を算出し、特徴量が互いに同じとなる部分を同一部位として検出するようにしていた。

【0004】

しかしながら、同一の空間を撮影した場合であっても、カメラの位置、姿勢、対象物までの距離などが過去の撮影時と完全に一致することはないため、撮影された画像もアングルや視野等が全く同じとはならない。そのため、特徴量による同一部位の検出がうまくいかないことがあるという問題があった。また、特定の部位に変化が生じていた場合には、その部位の特徴量は異なった値となるため、同一部位として検出できない場合があるという問題もあった。

【0005】

なお、過去に撮影したある対象物の画像に対して、現在撮影しようとしている同じ対象物の画面上の位置関係を正確に合わせることができるようにした撮影装置が提案されている（例えば、特許文献１参照）。この特許文献１に記載の撮像装置では、過去に撮影した画像を記憶する記憶媒体から所望の画像を読み出してメモリに一旦記憶した後、メモリで輝度信号成分のみの画像信号を生成して読み出し、撮影中の画像と合成表示を行う。撮影者は、表示された輝度信号成分のみの画像を参照しながら、撮影装置の位置や方向、画角を調整し、過去の画像と同じ位置関係になったときに撮影を行う。

【0006】

また、同一検査対象物の同一箇所に対して探傷部を走査し、過去の探傷検査データと比較して検査対象物の健全性の評価を行う探傷検査装置において、複雑な形状をした検査対象物の探傷を時間をおいて行う場合であっても、作業性および再現性が良く精度良く探傷検査データを得ることができるようにした技術も提案されている（例えば、特許文献２参照）。

【0007】

この特許文献２に記載の探傷検査装置では、予め定めた固定点Ａを基準点として検査対象物の画像データおよび検査対象物上を探傷走査した探傷部の走査軌跡データをセンサ部で計測する。画像処理部は、計測した画像データに基づいて、検査対象物の３次元形状データおよびその３次元形状データ上での探傷部の走査軌跡データを演算する。座標補正部は、記憶部に記憶された過去の検査対象物の３次元形状データとの座標のずれを補正し、現在の検査対象物の３次元形状データを過去の検査対象物の３次元形状データの座標に一致させ、表示装置に過去の探傷部の走査軌跡データを案内表示する。作業員は、この案内表示に従って探傷部を探傷走査する。また、特許文献２には、この案内表示に代えて、過去の探傷部の走査軌跡データに従って自動で探傷部を走査することも記載されている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２００４−４８１６９号公報

【特許文献2】特開２００７−２４０３４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

特許文献１に記載の技術によれば、過去に撮影した画像と今回撮影した画像とを一致させることができるので、両画上の同一箇所を、対象物の同一部位として検出することが可能となる。しかしながら、撮影者は、表示部を見ながら撮影装置の位置、方向、画角等を調整して撮影を行わなければならず、非常に面倒である。

【0010】

また、特許文献２に記載の技術によれば、過去に撮影した画像から演算した３次元形状データの座標に対して、今回撮影した画像から演算した３次元形状データの座標を一致させた上で、過去の探傷部の走査軌跡を案内表示したり、その走査軌跡データに従って自動で探傷部を走査したりしているので、過去の走査軌跡と同じ軌跡で探傷部の走査を行うことが可能となる。しかしながら、特許文献２に記載の技術を用いても、探傷部という機械的な設備を過去と同一の軌跡に従って検査対象物上を走査させることができるのみで、撮影した過去の画像と今回の画像とから互いに同一の部位を検出することはできない。

【0011】

本発明は、このような問題を解決するために成されたものであり、異なる時間に撮影された画像のアングルや視野等が互いに異なっていても、また、画像内の特定の部位に時間経過による変化が生じていても、その部位を同一部位として検出することができるようにすることを目的とする。

【課題を解決するための手段】

【0012】

上記した課題を解決するために、本発明では、異なる時間に撮影された同じ空間に関する第１および第２の画像データをそれぞれ第１および第２の３次元形状データに再構成し、画像データの各々の画素と３次元形状データの各々のドットとを紐付けて保存するとともに、第１の３次元形状データおよび第２の３次元形状データの位置合わせを行う。そして、第１の画像データの中から特定の部位が指定された場合、当該特定の部位の画素に紐付けられているドットを第１の３次元形状データの中から特定し、当該ドットに対応する位置のドットを第２の３次元形状データの中から特定し、さらに、当該特定されたドットに紐付けられている画素から成る部位を第２の画像データの中から特定するようにしている。

【発明の効果】

【0013】

上記のように構成した本発明によれば、異なる時間に撮影された同じ空間に関する２つの画像データのアングルや視野等が互いに異なっていても、それぞれの画像データが３次元形状データに変換されて位置合わせされるので、アングルや視野等の違いが矯正される。その上で、２つの画像データのうち第１の画像データの中から特定の部位が指定されると、その部位に対応する第２の画像データ上の部位が、第１の３次元形状データ上のドットと、そのドットに対応する第２の３次元形状データ上のドットとを辿ることによって特定される。また、本発明によれば、画像の特徴量の一致判定により同一部位を特定していないので、第１の画像データの特定の部位において、第２の画像データが撮影されるまでの時間経過の間に変化が生じていても、当該特定の部位と同一の部位を第２の画像データから検出することができる。

【0014】

これにより、本発明によれば、異なる時間に撮影された画像のアングルや視野等が互いに異なっていても、また、画像内の特定の部位に時間経過による変化が生じていても、その部位を同一部位として検出することができる。

【図面の簡単な説明】

【0015】

【図1】本実施形態による画像処理装置の機能構成例を示すブロック図である。

【図2】本実施形態による画像処理装置の動作を説明するための図である。

【図3】本実施形態の対応部位特定部により第２の画像データ上で特定された部位の表示例を示す図である。

【図4】本実施形態による画像処理装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による画像処理装置の機能構成例を示すブロック図である。図１に示すように、本実施形態の画像処理装置は、その機能構成として、画像データ入力部１、３次元データ生成部２、位置合わせ部３、表示部４、操作受付部５、第１のドット特定部６、第２のドット特定部７および対応部位特定部８を備えている。また、本実施形態の画像処理装置は、データ記憶媒体として、紐付けデータ記憶部１０を備えている。

【0017】

上記各機能ブロック１〜８は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１〜８は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶された画像処理用プログラムが動作することによって実現される。

【0018】

したがって、上記各機能ブロック１〜８の機能は、上記画像処理用プログラムを例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものである。上記画像処理用プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、磁気テープ、光ディスク、光磁気ディスク、ＤＶＤ、不揮発性メモリカード等を用いることができる。また、上記画像処理用プログラムをインターネット等のネットワークを介してコンピュータにダウンロードすることによっても実現できる。

【0019】

画像データ入力部１は、異なる時間に撮影された同じ空間に関する第１の画像データおよび第２の画像データを入力する。ここでは一例として、空間内の特定の部位について過去の状態と現在の状態とを比較して、時間経過によって何らかの変化が生じているか否かを検査するケースを想定する。この場合において、第１の画像データは、ある空間を撮影した過去の画像データであるとする。また、第２の画像データは、同じ空間を撮影した現在の画像データであるとする。

【0020】

本実施形態において入力する画像データは、連続した複数のフレームから成るビデオ画像データであり、各フレームは、異なる投影角度から撮影されたものである。なお、画像データ入力部１が入力する画像データは、ビデオ画像データに限らない。例えば、異なる投影角度から撮影された複数枚の静止画像データであってもよい。

【0021】

３次元データ生成部２は、画像データ入力部１により入力された第１の画像データおよび第２の画像データを、それぞれ第１の３次元形状データおよび第２の３次元形状データに再構成する。そして、画像データの各々の画素と３次元形状データの各々のドットとを紐付けて紐付けデータ記憶部１０に保存する。ここで、３次元データ生成部２は、公知の３次元再構成法を用いて、異なる投影角度から撮影された複数の２次元画像データの集合から、１つの３次元形状データを生成する。

【0022】

画像データの各画素と３次元形状データの各ドットとの紐付けは、画像データのフレーム毎に行う。すなわち、画像データが４枚のフレームから構成される場合、３次元データ生成部２は、１枚目のフレーム画像の各画素と３次元形状データの各ドットとの紐付けを行い、その紐付けを表すデータを紐付けデータ記憶部１０に保存する。２〜４枚目のフレーム画像についても同様に３次元形状データとの紐付けを行い、その紐付けを表すデータを紐付けデータ記憶部１０に保存する。

【0023】

位置合わせ部３は、３次元データ生成部２により第１の画像データから生成された第１の３次元形状データと、３次元データ生成部２により第２の画像データから生成された第２の３次元形状データとの位置合わせを行う。すなわち、過去と現在で同じの空間を撮影したとしても、カメラの位置や姿勢などが完全に一致することはないため、第１の画像データと第２の画像データは、アングルや視野等が全く同じとはならない。そのため、３次元データ生成部２により生成される３次元形状データも、形状自体は同じものとなっていても、位置がずれた状態となっている。位置合わせ部３は、公知の位置合わせ技術を用いてこの３次元形状データの位置ずれを補正し、第１の３次元形状データと第２の３次元形状データとの位置を一致させる。

【0024】

表示部４は、画像データ入力部１により入力された画像データを図示しない表示装置に表示させる。操作受付部５は、表示部４により表示された第１の画像データの中から特定の部位を指定するユーザ操作を受け付ける。特定の部位の指定は、例えば、マウスのクリック操作またはドラッグ操作により行うことが可能である。クリック操作は、特定の部位として所望の１点を指定するときに行う。一方、ドラッグ操作は、特定の部位として所望の領域を指定するときに行う。

【0025】

第１のドット特定部６は、第１の画像データの中から特定の部位が指定された場合、紐付けデータ記憶部１０を参照して、位置合わせ部３により位置合わせが行われた第１の３次元形状データの中から、上記指定された特定の部位の画素に紐付けられているドットを特定する。ここで、特定の部位の指定が１点（１画素）で行われている場合は、第１のドット特定部６は、その１画素に紐付けられている１つのドットを特定する。一方、特定の部位の指定が領域（複数画素）の指定で行われている場合は、第１のドット特定部６は、その複数画素に紐付けられている複数のドットをそれぞれ特定する。

【0026】

第２のドット特定部７は、位置合わせ部３により第１の３次元形状データと位置合わせが行われた第２の３次元形状データの中から、第１のドット特定部６により特定されたドットに対応する位置のドットを特定する。ここで、第１のドット特定部６により第１の３次元形状データ上の１つのドットが特定されている場合、第２のドット特定部７は、その１つのドットと同じ位置に対応する１つのドットを第２の３次元形状データから特定する。また、第１のドット特定部６により第１の３次元形状データ上の複数のドットが特定されている場合、第２のドット特定部７は、その複数のドットと同じ位置に対応する複数のドットを第２の３次元形状データから特定する。

【0027】

対応部位特定部８は、紐付けデータ記憶部１０を参照して、画像データ入力部１により入力された第２の画像データの中から、第２のドット特定部７により第２の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位を特定する。そして、表示部４は、第２の画像データ上で対応部位特定部８により特定された部位を表示させる。この表示の仕方は任意に決めることが可能である。例えば、操作受付部１６により指定された第１の画像データ上の特定の部位と、対応部位特定部８により特定された第２の画像データ上の特定の部位とを識別可能なように、当該部位に所定形状の枠を付けて表示する。

【0028】

図２は、上記のように構成した本実施形態による画像処理装置の動作を説明するための図である。図２（ａ）は、ある空間を撮影した第１の画像データ（過去の画像データ）を示している。図２（ｂ）は、同じ空間を撮影した第２の画像データ（現在の画像データ）を示している。第１の画像データおよび第２の画像データは、共に４枚のフレーム画像から構成されている。

【0029】

図２（ｃ）は、図２（ａ）に示した第１の画像データから３次元データ生成部２により生成された第１の３次元形状データを示している。図２（ｄ）は、図２（ｂ）に示した第２の画像データから３次元データ生成部２により生成された第２の３次元形状データを示している。

【0030】

ここで、図２（ａ）に示す第１の画像データを構成する各画素と、図２（ｃ）に示す第１の３次元形状データを構成する各ドットとの紐付けを表すデータが紐付けデータ記憶部１０に保存される。同様に、図２（ｂ）に示す第２の画像データを構成する各画素と、図２（ｄ）に示す第２の３次元形状データを構成する各ドットとの紐付けを表すデータが紐付けデータ記憶部１０に保存される。

【0031】

さらに、図２（ｃ）に示す第１の３次元形状データと、図２（ｄ）に示す第２の３次元形状データとの位置合わせが位置合わせ部３により行われる。これにより、第１の３次元形状データを構成する各ドットの位置と、第２の３次元形状データを構成する各ドットの位置との対応付けが行われる。

【0032】

ここで、表示部４によって図示しない表示装置に表示された図２（ａ）の第１の画像データ上で、特定の部位２１を指定するユーザ操作を操作受付部５が受け付けたとする。この場合、第１のドット特定部６は、紐付けデータ記憶部１０を参照して、図２（ｃ）に示す第１の３次元形状データの中から、上記指定された特定の部位２１の画素に紐付けられている部位２２のドットを特定する。

【0033】

次に、第２のドット特定部７は、図２（ｄ）に示す第２の３次元形状データの中から、第１のドット特定部６により特定された部位２２のドットに対応する位置にある部位２３のドットを特定する。さらに、対応部位特定部８は、紐付けデータ記憶部１０を参照して、図２（ｂ）に示す第２の画像データの中から、第２の３次元形状データの中から特定された部位２３のドットに紐付けられている画素から成る部位２４を特定する。

【0034】

そして、表示部４は、第２の画像データ上で対応部位特定部８により特定された部位２４を表示させる。図３は、対応部位特定部８により第２の画像データ上で特定された部位２４の表示例を示す図である。図３の例では、第１の画像データおよび第２の画像データを並べて表示させ、第１の画像データ上で指定された特定の部位２１と、当該特定の部位２１に対応する部位として第２の画像データ上で特定された部位２４とを識別可能なように、各部位２１，２４の周囲に円形の枠３１，３４を付けて表示している。

【0035】

図４は、本実施形態による画像処理装置の動作例を示すフローチャートである。図４において、まず、画像データ入力部１は、ある空間において過去に撮影された第１の画像データおよび同じ空間において現在撮影された第２の画像データを入力する（ステップＳ１）。

【0036】

次に、３次元データ生成部２は、画像データ入力部１により入力された第１の画像データおよび第２の画像データを、それぞれ第１の３次元形状データおよび第２の３次元形状データに再構成する（ステップＳ２）。このとき、３次元データ生成部２は、画像データの各々の画素と３次元形状データの各々のドットとを紐付けて紐付けデータ記憶部１０に保存する。

【0037】

さらに、位置合わせ部３は、第１の３次元形状データと第２の３次元形状データとの位置合わせを行う（ステップＳ３）。位置合わせが終わると、表示部４は、画像データ入力部１により入力された画像データを表示装置に表示させる（ステップＳ４）。なお、この画像データの表示は、ステップＳ１で画像データを入力した直後から行うようにしてもよい。

【0038】

ここで、操作受付部５は、表示部４により表示された第１の画像データの中から特定の部位を指定するユーザ操作を受け付けたか否かを判定する（ステップＳ５）。当該ユーザ操作が行われていない場合は、ステップＳ５の判定処理が繰り返し実行される。

【0039】

一方、当該ユーザ操作を操作受付部５が受け付けた場合、第１のドット特定部６は、紐付けデータ記憶部１０を参照して、位置合わせが行われた第１の３次元形状データの中から、上記指定された特定の部位の画素に紐付けられているドットを特定する（ステップＳ６）。

【0040】

さらに、第２のドット特定部７は、第１のドット特定部６により第１の３次元形状データ上で特定されたドットに対応する位置のドットを第２の３次元形状データの中から特定する（ステップＳ７）。次いで、対応部位特定部８は、紐付けデータ記憶部１０を参照して、第２のドット特定部７により第２の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位を第２の画像データの中から特定する（ステップＳ８）。

【0041】

そして、表示部４は、第２の画像データ上で対応部位特定部８により特定された部位を図示しない表示装置に表示させる（ステップＳ９）。これにより、図４に示すフローチャートの処理は終了する。

【0042】

以上詳しく説明したように、本実施形態によれば、異なる時間に撮影された同じ空間に関する２つの画像データのアングルや視野等が互いに異なっていても、それぞれの画像データが３次元形状データに変換されて位置合わせされるので、アングルや視野等の違いが矯正される。その上で、２つの画像データのうち第１の画像データの中から特定の部位が指定されると、その部位に対応する第２の画像データ上の部位が、第１の３次元形状データ上のドットと、そのドットに対応する第２の３次元形状データ上のドットとを辿ることによって特定される。

【0043】

また、本実施形態によれば、画像の特徴量の一致判定により同一部位を特定していないので、第１の画像データの特定の部位において、第２の画像データが撮影されるまでの時間経過の間に変化が生じていても、当該特定の部位と同一の部位を第２の画像データから検出することができる。

【0044】

これにより、本実施形態によれば、異なる時間に撮影された画像のアングルや視野等が互いに異なっていても、また、画像内の特定の部位に時間経過による変化が生じていても、その部位を同一部位として検出することができる。

【0045】

なお、上記実施形態では、ある空間を撮影した過去の画像データを第１の画像データとし、同じ空間を撮影した現在の画像データを第２の画像データとする例について説明したが、これとは逆に、過去の画像データを第２の画像データ、現在の画像データを第１の画像データとしてもよい。この場合、現在の撮影画像データ上で特定の部位を指定すると、その部位に対応する部位を過去の撮影画像データ上から特定することが可能である。

【0046】

また、上記実施形態では、第１の画像データを構成する１つのフレーム画像上で指定した特定の部位に対応する部位を、第２の画像データを構成する１つのフレーム画像上から特定する例について説明したが、本発明はこれに限定されない。例えば、第１の画像データを構成する１つのフレーム画像上で指定した特定の部位に対応する部位を、第２の画像データを構成する複数のフレーム画像上から特定するようにしてもよい。この場合、対応部位特定部８は、第２の画像データを構成する複数のフレーム画像の中から、第２のドット特定部７により第２の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位をそれぞれ特定する。

【0047】

また、第１の画像データを構成する１つのフレーム画像上で指定した特定の部位に対応する部位を、第１の画像データを構成する残りのフレーム画像上から特定するようにしてもよい。この場合、画像処理装置は 第１の画像データを構成する複数のフレーム画像のうち、特定の部位の指定が行われたフレーム画像以外の残りのフレーム画像の中から、第１のドット特定部６により第１の３次元形状データの中から特定されたドットに紐付けられている画素から成る部位をそれぞれ特定する第２の対応部位特定部を更に備える。

【0048】

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0049】

１ 画像データ入力部
２ ３次元データ生成部
３ 位置合わせ部
４ 表示部
５ 操作受付部
６ 第１のドット特定部
７ 第２のドット特定部
８ 対応部位特定部
１０ 紐付けデータ記憶部

【図1】

【図2】

【図3】

【図4】