特許 7467107 画像処理装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-05

(45)【発行日】2024-04-15

(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240408BHJP

   H04N 23/60 20230101ALI20240408BHJP

【ＦＩ】

G06T7/00 300F

H04N23/60 300

【請求項の数】 11

(21)【出願番号】P 2019234368

(22)【出願日】2019-12-25

(65)【公開番号】P2021103426

(43)【公開日】2021-07-15

【審査請求日】2022-12-12

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】緑川 和希

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２０１８－２０７２５２（ＪＰ，Ａ）

【文献】特開２０１６－０８２２５８（ＪＰ，Ａ）

【文献】特開２０１０－０６１４７８（ＪＰ，Ａ）

【文献】特開２０１７－０８４０６７（ＪＰ，Ａ）

【文献】特開２０１４－０９９１２８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

撮像装置から撮像画像を取得する取得手段と、
前記取得手段で取得された前記撮像画像において、前記撮像画像と前記撮像装置の他の撮像画像との位置合わせに用いる画像領域である特徴部分を前記画像領域内のエッジ強度に基づき選択する選択手段と、
前記特徴部分の信頼性に関する情報を提示する提示手段と、
を備え、
前記特徴部分は、前記撮像画像において前記画像領域内の最大エッジ強度が所定のエッジ強度以上であり、
前記特徴部分の信頼性に関する情報は、前記特徴部分のエッジ角度ごとの前記特徴部分の数に関する情報を含む、
ことを特徴とする画像処理装置。

【請求項2】

前記取得手段が取得する前記撮像画像は、前記撮像装置のキャリブレーション時の姿勢で撮像された撮像画像である
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記特徴部分の信頼性に関する情報は、前記特徴部分の分布の偏りに関する情報を含む
ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記提示手段は、
前記撮像画像に前記特徴部分の信頼性に関する情報を示す表示を描画する描画手段と、
前記特徴部分の信頼性に関する情報を示す表示が描画された前記撮像画像を表示する表示手段と、
を含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記選択手段の前記特徴部分を選択する追加の基準を設定する設定手段を
さらに備えたことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。

【請求項6】

前記追加の基準は、前記特徴部分のうち、前記選択手段による選択を無効化するものを指定するための基準である
ことを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記追加の基準は、前記撮像画像における前記選択手段による選択を無効化する特徴部分を含む選択除外領域の定義を含む
ことを特徴とする請求項５又は６に記載の画像処理装置。

【請求項8】

前記追加の基準は、前記撮像画像に対して前記特徴部分を選択しない領域である選択除外領域の定義を含み、
前記選択手段は、前記選択除外領域を除いた前記撮像画像から前記特徴部分を再選択する
ことを特徴とする請求項５又は６に記載の画像処理装置。

【請求項9】

前記撮像画像の前記選択除外領域にマスクを描画する描画手段
をさらに備え、
前記選択手段は、前記マスクが描画された撮像画像に基づき前記特徴部分の再選択を行う
ことを特徴とする請求項８に記載の画像処理装置。

【請求項10】

撮像装置から撮像画像を取得する取得ステップと、
前記取得ステップで取得された前記撮像画像において、前記撮像画像と前記撮像装置の他の撮像画像との位置合わせに用いる画像領域である特徴部分を選択する選択ステップと、
前記特徴部分の信頼性に関する情報を提示する提示ステップと、
を備え、
前記特徴部分は、前記撮像画像において前記画像領域内の最大エッジ強度が所定のエッジ強度以上であり、
前記特徴部分の信頼性に関する情報は、前記特徴部分のエッジ角度ごとの前記特徴部分の数に関する情報を含む、
ことを特徴とする画像処理方法。

【請求項11】

コンピュータを請求項１乃至９のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

画像の振動補正に用いる情報を処理するための技術に関する。

【背景技術】

【0002】

現在、多数の撮像装置で撮像して得られた多視点画像を合成して、個々の撮像装置の位置からは捉えられない仮想視点からの映像（仮想視点映像または自由視点映像と呼ぶ）を生成する、所謂自由視点映像生成システムが実用化されている。多視点映像をズレなく合成して仮想視点映像を作るためには、仮想視点映像の素材となる多視点画像を生成する全ての撮像装置の姿勢が、撮像装置のキャリブレーション時に算出した、撮像装置の外部パラメータと一致する姿勢に保たれていなければならない。

【0003】

特許文献１には、振動する撮像装置から得られた撮像映像を補正することで制振する方法が開示されている。特許文献１に記載の方法では、キャリブレーション時の撮像装置姿勢で撮像して得られた基準画像と、撮像映像のフレームとで共通する画像領域（特徴部分）をマッチングさせ、振動補正量を推定する。以下、撮像装置キャリブレーション時の姿勢で撮像した画像を基準画像と呼ぶ。

【0004】

基準画像の撮像および選定は、仮想視点映像に使用する素材画像の撮像に先立って行う必要があるが、基準画像に写っているオブジェクト（被写体）が素材画像の撮像時には変化する場合がある。例えば、基準画像の撮像時には存在していたオブジェクトが素材画像の撮像時には存在しない場合があり、そのようなオブジェクトの撮像画像に基づく特徴部分を振動補正量を推定する際に使用すると、補正の誤差が生じうる。

【0005】

また、特徴部分には、建物やフィールドのラインといったほぼ不変なオブジェクトの画像に基づくものの他に、素材画像内に存在し続けるが移動や振動が想定される器具や機材など不安定なオブジェクトの画像に基づくものもある。この不安定な特徴部分、すなわち基準画像と素材画像とにおいて位置がずれる特徴部分が多い場合、統計処理を行っても不安定な特徴部分の影響を排除しきれず、誤った振動補正を行う可能性がある。

【先行技術文献】

【特許文献】

【0006】

【文献】米国特許１０１２１２６２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記のような振動補正の誤差を除去するために、画像から検出された特徴部分など振動補正に用いられる情報をユーザに提示してシステムの調整を促すことが考えられる。しかし、システム上で認識された特徴部分を単に一律に表示させ、数十～数百台の撮像装置の全ての特徴部分の妥当性や信頼性をユーザに検証させることとすると、時間と手間がかかるという課題がある。

【0008】

本発明は上記の課題に鑑み、撮像画像に対する振動補正のための調整に係るユーザの利便性を向上させることを目的とする。

【課題を解決するための手段】

【0009】

本発明は、画像処理装置であって、撮像装置から撮像画像を取得する取得手段と、前記取得手段で取得された前記撮像画像において、前記撮像画像と前記撮像装置の他の撮像画像との位置合わせに用いる画像領域である特徴部分を前記画像領域内のエッジ強度に基づき選択する選択手段と、前記特徴部分の信頼性に関する情報を提示する提示手段と、を備え、前記特徴部分は、前記撮像画像において前記画像領域内の最大エッジ強度が所定のエッジ強度以上であり、前記特徴部分の信頼性に関する情報は、前記特徴部分のエッジ角度ごとの前記特徴部分の数に関する情報を含む、ことを特徴とする。

【発明の効果】

【0010】

本発明によれば、撮像画像により撮像される撮像画像に対する振動補正のための調整に係るユーザの利便性を向上させることができる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る画像処理装置の機能ブロック図である。

【図2】実施形態に係る画像処理装置を実現する情報処理装置のハードウェア構成図である。

【図3】実施形態に係る画像処理装置が行う処理のフローチャートである。

【図4】実施形態に係る画像処理装置が基準画像として用いる撮像画像の例を示す図である。

【図5】実施形態に係る画像処理装置が作成する表示情報の例を示す図である。

【図6】実施形態に係る画像処理装置が出力する特徴部分情報の例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態について図を参照しながら詳細に説明する。

【0013】

（実施形態１）
図１に、実施形態に係る画像処理装置１００の構成の一例を示す機能ブロック図を示す。

【0014】

本発明の一実施形態に係る画像処理装置１００は、画像入力部１０１、保持部１０２、特徴部分選択部１０３、特徴部分評価部１０４、特徴部分情報出力部１０５、操作入力部１０６、描画部１０７、表示部１０８を有する。画像処理装置１００は、複数の撮像装置１０９からの複数の撮像画像と、指定された条件とに基づいて、各撮像装置１０９の映像の制振に用いる、画像間の位置合わせのための特徴部分を選択し、その特徴部分の信頼性に関する情報を提示することができる。

【0015】

画像入力部１０１は、各撮像装置１０９から基準画像を含む１枚以上の撮像画像を受信し、保持部１０２に保存する。特徴部分選択部１０３は、基準画像から特徴部分を選択し、特徴部分と、その位置および特徴部分の画像領域内の代表エッジの角度（以降、単にエッジ角度という）に関する情報を保持部１０２に出力する。特徴部分の画像内に複数のエッジが検出された場合、それらの中から最大エッジ強度を有するエッジを代表エッジとする。尚、本実施形態ではエッジ角度は垂直方向を０度とする。特徴部分評価部１０４は特徴部分選択部１０３が選択した特徴部分を参照し、基準画像から制振に必要な特徴部分が取得できたか否かを判定する。特徴部分評価部１０４は、取得した特徴部分が所定の条件を満たさない場合、すなわち取得した特徴部分の信頼性が所定の水準に達しない場合、当該基準画像に対してエラーを通知する機能を有する。

【0016】

また、本実施形態では、基準画像と、特徴部分の位置およびエッジ角度に関する特徴部分情報を描画部１０７が取得し、基準画像上に特徴部分情報を示すオブジェクトを合成して描画し、表示部１０８に表示する機能を有する。

【0017】

本実施形態では、表示部１０８の情報を参照し、ユーザが映像の制振に用いる特徴部分の採否を操作入力部１０６から画像処理装置１００に対して指示することができる。この場合、特徴部分選択部１０３はユーザ指示に基づいて特徴部分を再選択して保持部１０２に出力して特徴部分情報を更新する。特徴部分情報出力部１０５は、選択された特徴部分情報を撮像映像の制振制御を行う撮像装置１０９の制御モジュールに出力する。撮像装置１０９の制御モジュールは、取得した特徴部分情報に基づき既知の方法を用いて撮像画像（撮像映像のフレーム）の特徴部分周辺領域から特徴部分情報に含まれる特徴とマッチングする領域を探索する。そして撮像装置１０９の制御モジュールは、マッチングする領域の座標が基準画像とフレームとの間で一致するよう補正することで撮像映像の制振を行うことができる。

【0018】

図２に、実施形態に係る画像処理装置１００を実現する情報処理装置２００のハードウェア構成図を示す。情報処理装置２００は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、出力部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。

【0019】

ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用い、情報処理装置２００の各部の制御を実現する。なお、画像処理装置１００は、ＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有する情報処理装置によって実現されてもよく、ＣＰＵ２１１による処理の少なくとも一部を情報処理装置２００とは別個の専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

【0020】

ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムや画像処理装置１００の各機能ブロックの動作時に用いるデータ、及び通信Ｉ／Ｆ２１７を介して外部に出力するデータなどを一時記憶する。保持部１０２として用いる補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、撮像画像や特徴部分の判定に用いるユーザ設定等のデータを記憶する。

【0021】

表示部１０８として用いる出力部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置２００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）や情報処理装置２００の処理結果を表示する。操作入力部１０６を含む操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。ＣＰＵ２１１は、出力部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作する。

【0022】

通信Ｉ／Ｆ２１７は、情報処理装置２００の外部の装置との通信に用いる。例えば、画像処理装置１００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。情報処理装置２００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、情報処理装置２００内の各部をつないで情報を伝達する。

【0023】

本実施形態では出力部２１５と操作部２１６が画像処理装置１００の内部に存在するものとするが、出力部２１５と操作部２１６との少なくとも一方が情報処理装置２００の外部に別の装置として存在していてもよい。

【0024】

図３に、本実施形態に係る画像処理装置１００が行う処理のフローチャートを示す。

【0025】

Ｓ３０１では、画像入力部１０１は、１つ以上の撮像装置１０９の基準画像を受信し、保持部１０２に保存する。

【0026】

Ｓ３０２では、画像入力部１０１は、基準画像のほかに、特徴部分の選択に用いる追加の撮像画像が利用可能な場合、追加の撮像画像を取得し、保持部１０２に保存する。追加の撮像画像は、外部の撮像装置１０９から取得した画像でもよいし、画像処理装置１００で生成した画像でもよい。

【0027】

Ｓ３０３では、特徴部分選択部１０３は、保持部１０２から基準画像を取得して、その基準画像の特徴部分を選択し、保持部１０２に特徴部分情報を出力する。特徴部分の選択は、例えば、基準画像を格子状の領域に分割して、各画像領域内のエッジ検出を行い、所定のエッジ強度以上のエッジが検出された領域を選択するとしてもよい。

【0028】

Ｓ３０４では、特徴部分評価部１０４は、Ｓ３０３で選択した特徴部分の数を所定のエッジ角度を有するグループごとに集計する。本実施形態では、振動補正に用いる所定の方向と一致するエッジ角度を有するグループに分類される特徴部分の数を集計し、各グループ内の特徴部分の数が予め定めた数以下の場合に通知を出す方式を用いる。なお、特徴部分を分類するためのグループは、たとえばエッジ角度が１０度ごと等、所定の範囲の角度ごとに全方向に隙間なく定義してもよいし、ある特定の範囲の角度のみに絞ってもよい。

【0029】

Ｓ３０５では、特徴部分評価部１０４は、チェック対象となる撮像装置１０９を選択する。

【0030】

Ｓ３０６では、特徴部分評価部１０４は、チェック対象となる角度を選択する。

【0031】

Ｓ３０７では、特徴部分評価部１０４は、Ｓ３０５で選択されたチェック対象となる撮像装置１０９について、Ｓ３０６で選択されたチェック対象の角度のエッジ角度を有するグループに分類された特徴部分の数が予め定めた条件を満たすか否かを判定する。チェック対象とする撮像装置１０９、およびチェック対象とする角度は、それぞれ全てでもよいし、予めユーザが問題の発生を予想した特定の撮像装置１０９や、特定の範囲の角度のみとしてもよい。本実施形態では、ステップ３０７でチェック対象となる角度のエッジ角度を有するグループの特徴部分の数が、所定の閾値以下である場合はＳ３０８に移行し、所定の閾値を超える場合はＳ３０９に移行する。

【0032】

Ｓ３０８では、特徴部分の選択に使用した基準画像と、特徴部分の数が所定の閾値以下となったグループのエッジ角度、およびその特徴部分の数を特徴部分情報として通知対象に追加する。

【0033】

Ｓ３０９では、特徴部分評価部１０４は、Ｓ３０５で選択されたチェック対象の撮像装置１０９について、チェック対象となる角度の全てに対するＳ３０７の判定処理が終了したか否かを判定する。本実施形態では、チェック対象となる角度の全てに対してＳ３０７の判定処理が終了した場合はＳ３１０に移行し、終了していない場合はＳ３０６に移行する。

【0034】

Ｓ３１０では、特徴部分評価部１０４は、撮像装置１０９の全てについてＳ３０７の判定処理が終了したか否かを判定する。本実施形態では、チェック対象となる撮像装置１０９の全てに対してＳ３０７の判定処理が終了した場合はＳ３１１に移行し、終了していない場合はＳ３０５に移行する。

【0035】

Ｓ３１１では、特徴部分情報出力部１０５は、Ｓ３０８で通知対象に追加された基準画像がある場合、通知対象の基準画像と、特徴部分の信頼性に関する情報を含む特徴部分情報を表示部１０８に出力する。表示部１０８に表示する特徴部分の信頼性に関する情報は、特徴部分情報を描画部１０７でユーザが視認し易い形に加工して描画されるようにしてもよい。また、表示部１０８に表示される特徴部分の信頼性に関する情報に通知対象の基準画像を撮像した撮像装置１０９を特定するための情報を含めることで、ユーザは改善が必要な撮像装置１０９を容易に特定することができる。

【0036】

特徴部分評価部１０４の評価の結果、基準画像から十分な特徴が取れていた場合、Ｓ３１２で基準画像に対応する撮像装置１０９の制御モジュールに特徴部分情報を出力する。

【0037】

Ｓ３０４の集計項目について、本実施形態では角度ごとの特徴部分の数としたが、このほかに特徴部分の座標のＸ、Ｙ方向の分散や、各特徴部分のエッジ強度の度合い等を加えてもよい。すなわち、特徴部分の数は基準を満たしていても、その分布に偏りがある場合、例えば特徴部分の多くが左上隅に位置している場合には、左上隅を軸とする回転方向の変位を多くの特徴部分で検出し難くなる。そのため、特徴部分の座標のＸ、Ｙ方向の分散を集計し、一定以上の偏りが生じている場合は、偏りを示す情報を特徴部分の信頼性に関する情報に加えてユーザに通知してもよい。また、各特徴部分について、位置およびエッジ角度に加えて、エッジ強度を示す情報を集計し、エッジ強度に応じて必要とする特徴部分の数を変えたり、エッジ強度の弱い特徴部分を特徴部分の信頼性に関する情報に加えてユーザに通知したりしてもよい。

【0038】

図４に、本実施形態に係る画像処理装置１００が基準画像として用いる撮像画像の例を示す。図４（ａ）は撮像装置キャリブレーション時の姿勢で撮像装置１０９が撮像した基準画像４００の例である。図４（ａ）の基準画像４００には、建造物４０１、旗４０２、４０３、ライン４０４～４０７があるものとする。図４（ｂ）は、キャリブレーション後の撮像装置１０９から出力される撮像画像の例である。

【0039】

本実施形態では、０±５度および９０±５度の２つのグループを設けてそれらについてのみ特徴部分の数を集計し、それぞれのグループの特徴部分の数が３個以下になる場合を特徴部分評価部１０４で検出するものとする。

【0040】

図６（ａ）に、図４（ａ）の基準画像４００から図３のＳ３０３で特徴部分選択部１０３が特徴部分を選択した際に画像処理装置１００が出力する特徴部分情報の例を示す。

【0041】

本実施形態の特徴部分情報６００は、選択した特徴部分を識別するＩＤ６０１、基準画像４００における特徴部分の座標６０２、特徴部分内の画像の代表エッジの角度６０３を持つ。本実施形態では、特徴部分が矩形で且つそのサイズが固定であるものとし、特徴部分の座標６０２は矩形の左上隅の座標を表す。ただしこれに限らず、特徴部分が矩形以外の形状であってもよいし、座標６０２が特徴部分の中心座標を表してもよい。特徴部分データ６１０～６１８は、図３のＳ３０４で特徴部分評価部１０４により図６（ｂ）に示すグループ６２０ごとに特徴部分の個数６２１を記録する形で集計される。０度のグループ６３０は、特徴部分情報６００に含まれる特徴部分データのうち、０±５度の角度を持つ特徴部分を含むグループである。９０度のグループ６３１は、特徴部分情報６００に含まれる９０±５度の角度を持つ特徴部分を含むグループである。

【0042】

０度のグループ６３０に分類される特徴部分は特徴部分データ６１０、特徴部分データ６１５、特徴部分データ６１７の３つである。本実施形態では特徴部分の個数が３個以下の場合が検出対象となるため、０度のグループ６３０に含まれる特徴部分データを通知対象となる。

【0043】

図５に、実施形態２に係る画像処理装置１００の描画部１０７が作成する表示情報の例を示す。本実施形態の描画部１０７は、基準画像４００上に特徴部分情報６００に記載された情報に基づき特徴部分を表すマーカ５１０～５１８を描画している。

【0044】

マーカ５１０、５１７、５１５は、図６（ｂ）に示す０度のグループ６３０に分類される通知対象の特徴部分を表すものである。ユーザは、この基準画像４００上に表示されたマーカを参考にして、特徴部分として選択されたオブジェクトが、仮想視点映像の撮像完了までの間、安定して利用可能なオブジェクトか否かを判断する。

【0045】

何も対策を行わない場合、図４（ｂ）に示すように屋外では旗４０２、４０３は風の影響や人との接触などによりオブジェクトが動いてしまい、基準画像４００上での位置から移動してしまうことがある。表示部１０８に表示情報５００を表示することで、ユーザが特徴部分となるオブジェクトや撮像装置１０９の配置を改善し易くなり、より振動補正に適した特徴部分を選択することができるようになる。

【0046】

例えば、０度の特徴部分の候補となるオブジェクトがより多く映るようにオブジェクトの配置を改善することが考えられる。具体的な配置の改善例として、垂直方向のエッジ角度が検出されるオブジェクトを撮像装置１０９の画角内に設けることが考えられる。また、より広い範囲を撮像するようにして撮像装置１０９により近い位置にある、垂直方向のエッジ角度が検出されるオブジェクトを含めることが考えられる。また、旗４０２、４０３が移動しないように固定したり、旗４０２、４０３の代わりに風の影響を受けにくいポールのようなものを使ったりすることを検討してもよい。

【0047】

本実施形態によれば、撮像装置ごとに選択された多数の特徴部分のうち、問題となり得る特徴部分の位置や角度などの特徴部分の信頼性に関する情報を可視化するため、改善すべきオブジェクトの状況をユーザが特定しやすくなる。そのため、個々の撮像装置について特徴部分の効率的な検証が可能になり、多数の撮像装置を利用するシステムにおいては、改善が必要な撮像装置を短時間で見つけ出すことが可能になる。

【0048】

また、特徴部分の信頼性に関する情報を参照するため、適切な振動補正を行えるか否かについてより確度の高い判定が可能になる。そのため、特徴部分の数が多くても不安定なオブジェクトの撮像画像に基づく特徴部分が多い場合には、例えば信頼性の低い特徴部分や対応するオブジェクトをマスキングして制振補正に用いないようにすることで、制振精度の低下を防ぐことができる。また、利用可能な特徴部分の数が少ない場合であっても、安定した特徴部分が必要な数あれば、特徴部分を増やすなどの手間をかけずに済ませることができる。

【0049】

（実施形態２）
本発明の実施形態２では、ユーザがオブジェクトに対して制約や変更を加えることが困難な場合に、選択済みの不安定な特徴部分など、ユーザが指定する特徴部分を、制振制御を行うために使用する特徴部分から除外することができる。

【0050】

表示情報５００に示された特徴部分として選択されたオブジェクトでは、旗４０２、４０３は風などにより容易に移動することが予想されるが、建造物４０１は容易には移動しない。本例では、より安定している建造物４０１の特徴部分のみを用いて水平方向の制振制御を行うことで、旗４０２、４０３の移動の影響を除く場合を考える。

【0051】

ここで、旗４０２上の特徴部分５１７は特徴部分データ６１７に、旗４０３上の特徴部分５１５は特徴部分データ６１５に、建造物４０１左端部の特徴部分５１０は特徴部分データ６１０に対応する特徴部分情報である。

【0052】

本実施形態に係る画像処理装置１００では、表示部１０８に表示された表示情報５００として表示された特徴部分データに対応するマーカに対し、マウスのクリックやタッチパネルの選択といった操作入力部１０６の操作で有効、無効を設定することができる。操作入力部１０６で特徴部分データ６１５、６１７について無効化が指示されると、特徴部分データ６１５、６１７に対する無効化を示す情報が特徴部分選択部１０３にフィードバックされる。特徴部分選択部１０３は、選択済の特徴部分から特徴部分データ６１５、６１７を削除し、残りの特徴部分データ６１０～６１４、６１６、６１８に関する特徴部分情報を特徴部分情報出力部１０５に出力する。

【0053】

本実施形態に係る画像処理装置１００は、表示情報５００に表示した特徴部分データに対し、操作入力部１０６から基準画像４００上の領域選択を行うＵＩを備える。ユーザは、タッチペンやマウス、キー入力等の操作入力部１０６で基準画像４００上の領域を選択することで、１つ以上の選択除外する特徴部分、もしくは選択対象の特徴部分を選択することができる。ユーザによって選択された領域は、特徴部分選択部１０３にフィードバックされる。例えばユーザにより選択除外する特徴部分を含む選択除外領域が選択された場合には、特徴部分選択部１０３は、選択済の特徴部分から選択除外領域に対応する特徴部分を削除し、残りの特徴部分に関する特徴部分情報を特徴部分情報出力部１０５に出力する。

【0054】

特徴部分選択部１０３は、特徴部分を除外する他の方法として、選択除外領域を除いて基準画像４００を再度走査して検出された特徴部分を選択し直すようにしてもよい。

【0055】

（実施形態３）
本発明の実施形態３では、ユーザが除外する特徴部分を実施形態２とは異なる形で指定することができる。

【0056】

本実施形態に係る画像処理装置１００は、表示部１０８に表示される、ユーザが操作入力部１０６を介して操作可能なＵＩを備える。ユーザは、基準画像４００上の除外したいオブジェクトをタッチペン等で囲んだり塗りつぶしたりすることにより選択除外領域を指定することができる。描画部１０７は、指定された選択除外領域に対して特徴部分としての要件を満たさない画像でマスクした基準画像を描画する画像処理を行う。

【0057】

画像処理装置１００の描画部１０７が行う画像処理の一例としては、ユーザが指定した選択除外領域の内部を単色で塗り潰し、選択除外領域の内部とその周囲の基準画像４００との間をぼかす画像処理を行う。このような処理により、望ましくないオブジェクトを基準画像４００から除外することができる。また、マスクされた基準画像４００の選択対象領域の境目に、特徴部分と認識されるエッジ強度以上のエッジができて、元の基準画像では存在しなかったものが偽の特徴部分として選択されることも防ぐことができる。このようにして部分的にマスクされた基準画像を特徴部分選択部１０３に入力して特徴部分を選択しなおすことで、望ましくないオブジェクトに基づく特徴部分を含まない特徴部分を得ることができる。

【0058】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0059】

１００ 画像処理装置
１０１ 画像入力部
１０２ 保持部
１０３ 特徴部分選択部
１０４ 特徴部分評価部
１０５ 特徴部分情報出力部
１０６ 操作入力部
１０７ 描画部
１０８ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】