知財求人 - 知財ポータルサイト「IP Force」
特許7614670マルチスペクトルカメラ向けの高速画像レジストレーション方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-07
(45)【発行日】2025-01-16
(54)【発明の名称】マルチスペクトルカメラ向けの高速画像レジストレーション方法及び装置
(51)【国際特許分類】
G06T 7/70 20170101AFI20250108BHJP
G06V 10/143 20220101ALI20250108BHJP
G06V 10/42 20220101ALI20250108BHJP
G06T 1/00 20060101ALI20250108BHJP
【ＦＩ】
G06T7/70 A
G06V10/143
G06V10/42
G06T1/00 500B
【請求項の数】
8
(21)【出願番号】P 2023569603
(86)(22)【出願日】2022-10-25
(65)【公表番号】
(43)【公表日】2024-07-18
(86)【国際出願番号】 CN2022127362
(87)【国際公開番号】W WO2024000950
(87)【国際公開日】2024-01-04
【審査請求日】2023-11-03
(31)【優先権主張番号】202210765686.8
(32)【優先日】2022-07-01
(33)【優先権主張国・地域又は機関】CN
【早期審査対象出願】
(73)【特許権者】
【識別番号】522481248
【氏名又は名称】浙江工商大学
【氏名又は名称原語表記】ＺＨＥＪＩＡＮＧ ＧＯＮＧＳＨＡＮＧ ＵＮＩＶＥＲＳＩＴＹ
【住所又は居所原語表記】Ｎｏ．１８， Ｘｕｅｚｈｅｎｇ Ｓｔｒ． Ｘｉａｓｈａ Ｕｎｉｖｅｒｓｉｔｙ Ｔｏｗｎ Ｈａｎｇｚｈｏｕ， Ｚｈｅｊｉａｎｇ ３１００１８， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100128347
【弁理士】
【氏名又は名称】西内 盛二
(72)【発明者】
【氏名】王 ▲勲▼
(72)【発明者】
【氏名】▲陳▼ ▲書▼界
(72)【発明者】
【氏名】董 建▲鋒▼
(72)【発明者】
【氏名】周 迪
(72)【発明者】
【氏名】徐 千倩
【審査官】山田 辰美
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／７０
Ｇ０６Ｖ １０／１４３
Ｇ０６Ｖ １０／４２
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
マルチスペクトルカメラ向けの高速画像レジストレーション方法であって、以下のステップＳ１～ステップＳ６を含み、前記ステップＳ１では、マルチスペクトルカメラにより収集されたマルチスペクトル帯域画像のうちの１つの帯域を参照画像として選択し、残りの帯域をレジストレーション対象画像とし、参照画像及びレジストレーション対象画像のロバスト勾配特徴マップをそれぞれ計算し、
前記ステップＳ２では、参照画像及びレジストレーション対象画像のロバスト勾配特徴マップをグリッドでブロック化し、非平滑化グリッドを選択し、
前記ステップＳ３では、非平滑化グリッドのオフセット量を位相相関法で計算し、
前記ステップＳ４では、非平滑化グリッドのグリッドオフセット量に基づいてグローバルレジストレーションパラメータ初期値をフィッティングし、グローバルレジストレーションパラメータ初期値をフィッティングすることは以下のサブステップＳ４１～サブステップＳ４２を含み、
前記サブステップＳ４１では、レジストレーションパラメータ線形方程式系を構築し、ｉ番目の非平滑化グリッド中心のグローバル座標を
【数3】
すべての非平滑化グリッドに対して上記座標変換関係を応用し、行列方程
前記サブステップＳ４２では、行列方程を解いて、レジストレーションパラメータ初期値行列
前記ステップＳ５では、レジストレーションパラメータ初期値を正規化全勾配法に基づくオプティマイザに送信し、勾配降下法で反復して正確なレジストレーションパラメータを求め、
前記ステップＳ６では、前記ステップＳ５で得られたレジストレーションパラメータをレジストレーション対象画像に応用して、正確にレジストレーションされた画像結果を取得し、
前記ステップＳ１は具体的に、
参照画像をｆ（ｘ，ｙ）と記し、ｆ（ｘ，ｙ）のロバスト勾配特徴マップｇ（ｘ，ｙ）の計算表現式は以下の式１のとおりであり、
【数1】
（ｘ，ｙ）は画像のグローバル座標であり、ｐは指数パラメータであり、ｆ x （ｘ，ｙ），ｆ y （ｘ，ｙ）は、それぞれ参照画像ｆ（ｘ，ｙ）のｘ、ｙ方向に沿う勾配であって、参照画像を畳み込みカーネルで畳み込むことによって計算されて得られ、
レジストレーション対象画像をｆ′（ｘ，ｙ）と記し、レジストレーション対象画像ｆ′（ｘ，ｙ）のロバスト勾配特徴マップｇ′（ｘ，ｙ）の計算表現式は以下の式２のとおりであり、
【数2】
ｆ x ′（ｘ，ｙ），ｆ y ′（ｘ，ｙ）は、それぞれレジストレーション対象画像ｆ′（ｘ，ｙ）のｘ、ｙ方向に沿う勾配であって、参照画像を畳み込みカーネルで畳み込むことによって計算されて得られる
ことを特徴とするマルチスペクトルカメラ向けの高速画像レジストレーション方法。
【請求項2】
前記ステップＳ２では、前記ステップＳ１で得られた参照ロバスト勾配特徴マップ及びレジストレーション対象ロバスト勾配特徴マップに対して規則的なグリッドによるブロック化を行うことを特徴とする請求項１に記載のマルチスペクトルカメラ向けの高速画像レジストレーション方法。
【請求項3】
前記ステップＳ２では、非平滑化グリッドの選択は具体的に以下のサブステップＳ２１～サブステップＳ２３を含み、前記サブステップＳ２１では、ロバスト勾配特徴グリッド画像のトレーニングデータセットを作成し、すなわちロバスト勾配特徴グリッド画像セットを構築し、グリッド画像に対してカテゴリをラベル付けし、平滑化グリッド画像をカテゴリ０としてラベル付けし、非平滑化グリッド画像をカテゴリ１としてラベル付けし、
前記サブステップＳ２２では、平滑化及び非平滑化グリッド分類器をトレーニングし、
前記サブステップＳ２３では、トレーニングされた分類器でグリッドを分類し、非平滑化グリッドを選択する
ことを特徴とする請求項１に記載のマルチスペクトルカメラ向けの高速画像レジストレーション方法。
【請求項4】
前記ステップＳ３では、オフセット量の計算は具体的に以下のサブステップＳ３１～サブステップＳ３４を含み、前記サブステップＳ３１では、前記ステップＳ２で得られた非平滑化グリッドの参照ロバスト勾配特徴及びレジストレーション対象ロバスト勾配特徴マップに対して２次元フーリエ変換を行って、参照ロバスト勾配特徴マップ及びレジストレーション対象ロバスト勾配特徴マップの２次元フーリエ変換結果を取得し、
前記サブステップＳ３２では、２次元フーリエ変換結果でコンベンショナル化クロスパワースペクトル密度を計算し、
前記サブステップＳ３３では、コンベンショナル化クロスパワースペクトル密度に対して２次元フーリエ逆変換を行い、相互相関特徴マップを取得し、
前記サブステップＳ３４では、最大相互相関値に対応する局所座標を非平滑化グリッドのオフセット量として取得する
ことを特徴とする請求項１に記載のマルチスペクトルカメラ向けの高速画像レジストレーション方法。
【請求項5】
前記ステップＳ５は具体的に以下のサブステップＳ５１～サブステップＳ５３を含み、前記サブステップＳ５１では、前記ステップＳ４で得られたレジストレーションパラメータ初期値を正規化全勾配に基づくオプティマイザの初期値パラメータとし、
前記サブステップＳ５２では、参照画像とレジストレーション対象画像の正規化全勾配を目的関数として、最適化問題を構築し、勾配降下法でレジストレーションパラメータに対して反復最適化を行い、
前記サブステップＳ５３では、最適化後のレジストレーションパラメータを出力する
ことを特徴とする請求項１に記載のマルチスペクトルカメラ向けの高速画像レジストレーション方法。
【請求項6】
前記サブステップＳ５２は具体的に以下のサブステップＳ５２１～サブステップＳ５２４を含み、前記サブステップＳ５２１では、現在のレジストレーションパラメータ
前記サブステップＳ５２２では、現在のレジストレーションパラメータ
前記サブステップＳ５２３では、座標変換後のレジストレーション対象画像
前記サブステップＳ５２４では、前記サブステップＳ５２１に戻り、反復終了条件を満たすまで続ける
ことを特徴とする請求項５に記載のマルチスペクトルカメラ向けの高速画像レジストレーション方法。
【請求項7】
前記ステップＳ６は具体的に以下のサブステップＳ６１～サブステップＳ６２を含み、前記サブステップＳ６１では、レジストレーションパラメータに基づいてレジストレーション対象画像に対して座標変換を行って、目的画素位置を取得し、
前記サブステップＳ６２では、目的画素位置に基づいてバイリニア補間アルゴリズムで最終的な出力画像を取得する
ことを特徴とする請求項１に記載のマルチスペクトルカメラ向けの高速画像レジストレーション方法。
【請求項8】
メモリと、１つ又は複数のプロセッサを含み、前記メモリに実行可能なコードが記憶されているマルチスペクトルカメラ向けの高速画像レジストレーション装置であって、前記プロセッサは前記実行可能なコードを実行するときに、請求項１～７のいずれか１項に記載のマルチスペクトルカメラ向けの高速画像レジストレーション方法を実施することに用いられる
ことを特徴とするマルチスペクトルカメラ向けの高速画像レジストレーション装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マルチスペクトル画像の処理分野に属し、特にマルチスペクトルカメラ向けの高速画像レジストレーション方法及び装置に関する。
【背景技術】
【0002】
従来のシングルセンサビデオカメラはベイヤーフォーマットで画像収集を行い、各画素点がＲＧＢの３つの成分のうちの１つの成分のみを収集し、他の２つの成分に対して近傍の画素点情報に基づいて補間推定を行うため、実際に取得された画像に一定の色歪みが存在する。色再現性が高い画像形成効果を取得するために、マルチスペクトルカメラは分光プリズムシステムを用い、光を複数の帯域に分け、マルチセンサでそれぞれ収集し、個別に画像形成する。物理的な画像形成光路の影響を受けるため、サブスペクトル帯域画像の間にパラメータ化可能なオフセットが存在し、トゥルーカラー画像を融合して生成するためにレジストレーションを必要とする。レンズ補正システムはサブスペクトル帯域画像の間の初期オフセットを大幅に改善することができるが、カメラの使用過程で、物理的な振動、温度変化等の実際の制御不可能な要因により、補正後のサブスペクトル帯域画像に二次オフセットが発生する。このような二次オフセットはランダムに発生し、発生確率が大きく、補正システムによって完全に除去されることは困難であり、生成される画像の色再現性を確保するために、ソフトウェアアルゴリズム補助で迅速な校正を行う必要がある。
【0003】
サブスペクトル帯域画像のレジストレーションはマルチスペクトル画像のレジストレーション範囲に属する。一般的な画像レジストレーションとは異なり、異なるスペクトル帯域画像の間に局所的な輝度、コントラストの差異が存在するため、画像輝度でマルチスペクトル画像のレジストレーションを直接行うことは困難である。現在、学術界では相互情報量、局所正規化相関係数等の測度を目的関数として用い、２つの帯域画像間のレジストレーションパラメータに対して最適化求解を行う。このような測度の計算は複雑さが高く、時間がかかり、工業界に普及されにくい。
【発明の概要】
【発明が解決しようとする課題】
【0004】
マルチスペクトルカメラのサブスペクトル帯域の高速画像レジストレーション問題を解決するために、本発明はマルチスペクトルカメラ向けの高速画像レジストレーション方法及び装置を提供する。本発明は正規化全勾配をレジストレーションパラメータ求解の測度として用い、該測度は画像勾配特徴に基づいて計算するものであり、計算コストが低く、速度が速いという特徴を有する。しかし、正規化全勾配目標には収束領域が小さいという問題が存在し、最適化結果を最適解に迅速に収束させるには比較的良い初期値パラメータを必要とする。このため、本発明はグリッドブロックに基づくオフセット推定、非平滑化グリッドオフセットに基づくグローバルレジストレーションパラメータ初期値フィッティング技術を用いて、レジストレーションパラメータ初期値に対して迅速な求解を行う。次に初期値パラメータを正規化全勾配に基づくレジストレーションパラメータオプティマイザに送信し、レジストレーションパラメータに対して微調整及び最適化を行う。マルチスペクトル画像の局所輝度、コントラスト差異による影響を減軽させ、グリッドブロックオフセット推定の精度を確保するために、グリッドブロックのオフセット推定はロバスト勾配特徴に基づく位相相関アルゴリズムを用いる。同類のレジストレーション方法に比べて、本発明の方法はより高いレジストレーション精度、より速いレジストレーション速度を有する。
【課題を解決するための手段】
【0005】
本発明の目的は以下の技術的解決手段によって実現される。
【0006】
本明細書の第１態様によれば、マルチスペクトルカメラ向けの高速画像レジストレーション方法を提供し、該方法は、 マルチスペクトルカメラにより収集されたマルチスペクトル帯域画像のうちの１つの帯域を参照画像として選択し、残りの帯域をレジストレーション対象画像とし、参照画像及びレジストレーション対象画像のロバスト勾配特徴をそれぞれ計算するステップＳ１と、 参照画像及びレジストレーション対象画像のロバスト勾配特徴マップをグリッドでブロック化し、非平滑化グリッドを選択するステップＳ２と、 非平滑化グリッドのオフセット量を位相相関アルゴリズムで計算するステップＳ３と、 非平滑化グリッドのグリッドオフセット量に基づいてグローバルレジストレーションパラメータ初期値をフィッティングするステップＳ４と、 レジストレーションパラメータ初期値を正規化全勾配に基づくオプティマイザに送信し、勾配降下法で反復して正確なレジストレーションパラメータを求めるステップＳ５と、 ステップＳ５で得られたレジストレーションパラメータをレジストレーション対象画像に応用して、正確にレジストレーションされた画像結果を取得するステップＳ６を含む。
【0007】
更に、ステップＳ１は具体的に、 参照画像をｆ（ｘ，ｙ）と記し、ｆ（ｘ，ｙ）のロバスト勾配特徴マップｇ（ｘ，ｙ）の計算表現式は以下のとおりであり、
（ｘ，ｙ）は画像のグローバル座標であり、ｐは指数パラメータであり、ｆx（ｘ，ｙ），ｆy（ｘ，ｙ）は、それぞれ参照画像ｆ（ｘ，ｙ）のｘ、ｙ方向に沿う勾配であって、参照画像を畳み込みカーネルで畳み込むことによって計算されて得られ、 レジストレーション対象画像をｆ′（ｘ，ｙ）と記し、ｆ′（ｘ，ｙ）のロバスト勾配特徴マップｇ′（ｘ，ｙ）の計算表現式は以下のとおりであり、
ｆx′（ｘ，ｙ），ｆy′（ｘ，ｙ）は、それぞれレジストレーション対象画像ｆ′（ｘ，ｙ）のｘ、ｙ方向に沿う勾配であって、参照画像を畳み込みカーネルで畳み込むことによって計算されて得られる。
【数1】
【数2】
【0008】
更に、ステップＳ２では、ステップＳ１で得られた参照ロバスト勾配特徴マップ及びレジストレーション対象ロバスト勾配特徴マップに対して規則的なグリッドによるブロック化を行う。
【0009】
更に、ステップＳ２では、非平滑化グリッドの選択は具体的に以下のとおりであり、 サブステップＳ２１では、ロバスト勾配特徴グリッド画像のトレーニングデータセットを作成し、すなわちロバスト勾配特徴グリッド画像セットを構築し、グリッド画像に対してカテゴリをラベル付けし、平滑化グリッド画像をカテゴリ０としてラベル付けし、非平滑化グリッド画像をカテゴリ１としてラベル付けし、 サブステップＳ２２では、平滑化及び非平滑化グリッド分類器をトレーニングし、 サブステップＳ２３では、トレーニングされた分類器でグリッドを分類し、非平滑化グリッドを選択する。
【0010】
更に、ステップＳ３では、オフセット量の計算は具体的に以下のとおりであり、 サブステップＳ３１、ステップＳ２で得られた非平滑化グリッドの参照ロバスト勾配特徴マップ及びレジストレーション対象ロバスト勾配特徴マップに対して２次元フーリエ変換を行い、参照グリッド画像及びレジストレーション対象グリッド画像の２次元フーリエ変換結果を取得し、 サブステップＳ３２では、２次元フーリエ変換結果でコンベンショナル化クロスパワースペクトル密度を計算し、 サブステップＳ３３では、コンベンショナル化クロスパワースペクトル密度に対して２次元フーリエ逆変換を行い、相互相関特徴マップを取得し、 サブステップＳ３４では、最大相互相関値に対応する局所座標を非平滑化グリッドのオフセット量として取得する。
【0011】
更に、ステップＳ４では、グローバルレジストレーションパラメータ初期値をフィッティングすることは以下のサブステップを含み、 サブステップＳ４１では、レジストレーションパラメータ線形方程式系を構築し、ｉ番目の非平滑化グリッド中心のグローバル座標を
と記し、ステップＳ３で得られた対応するオフセット量を
とし、求めるべきレジストレーションパラメータ初期値行列を
と記し、
は実数体を示し、座標変換関係に基づいて次のようになり、
すべての非平滑化グリッドに対して上記座標変換関係を応用し、行列方程
を取得し、Ｄはグリッド中心のグローバル座標行列であり、
はオフセット量行列であり、 サブステップＳ４２では、行列方程を解いて、レジストレーションパラメータ初期値行列
を取得し、Ｔは転置操作を示し、
は逆行列を求める操作を示す。
【数3】
【0012】
更に、ステップＳ５は具体的に以下のとおりであり、 サブステップＳ５１では、ステップＳ４で得られたレジストレーションパラメータ初期値を正規化全勾配に基づくオプティマイザの初期値パラメータとし、 サブステップＳ５２では、参照画像とレジストレーション対象画像の正規化全勾配を目的関数として、最適化問題を構築し、勾配降下法でレジストレーションパラメータに対して反復最適化を行い、 サブステップＳ５３では、最適化後のレジストレーションパラメータを出力する。
【0013】
更に、サブステップＳ５２は具体的に以下のとおりであり、 サブステップＳ５２１では、現在のレジストレーションパラメータ
を計算し、上付き文字ｔはｔ回目の反復を示し、
はｔ回目の反復のパラメータ調整量を示し、 サブステップＳ５２２では、現在のレジストレーションパラメータ
をレジストレーション対象画像ｆ′（ｘ，ｙ）に応用し、（ｘ，ｙ）は画像のグローバル座標であり、レジストレーション対象画像ｆ′（ｘ，ｙ）に対して座標変換を行って
を取得し、
はレジストレーション対象画像の座標変換後の新座標であり、 サブステップＳ５２３では、座標変換後のレジストレーション対象画像
と参照画像ｆ（ｘ，ｙ）の正規化全勾配のレジストレーションパラメータに対する勾配を計算して、パラメータ調整量
を取得し、 サブステップＳ５２４では、サブステップＳ５２１に戻り、反復終了条件を満たすまで続け、前記反復終了条件は反復回数が設定された最大反復回数を超えることである。
【0014】
更に、ステップＳ６は具体的に以下のとおりであり、 サブステップＳ６１では、ステップＳ５で得られたレジストレーションパラメータに基づいてレジストレーション対象画像に対して座標変換を行って、目的画素位置を取得し、 サブステップＳ６２では、目的画素位置に基づいてバイリニア補間アルゴリズムで最終的な出力画像を取得する。
【0015】
本明細書の第２態様によれば、マルチスペクトルカメラ向けの高速画像レジストレーション装置を提供し、メモリと、１つ又は複数のプロセッサを含み、前記メモリに実行可能なコードが記憶されており、前記プロセッサは前記実行可能なコードを実行するときに、第１態様に記載のマルチスペクトルカメラ向けの高速画像レジストレーション方法を実施することに用いられる。
【発明の効果】
【0016】
本発明は以下の有益な効果を有する。
【0017】
１．本発明はグリッド化のロバスト勾配特徴マップを利用し、マルチスペクトルカメラ画像のレジストレーションパラメータ初期値の迅速な推定問題を効果的に解決する。
【0018】
２．本発明は改良後の正規化全勾配に基づくレジストレーションパラメータオプティマイザを利用して、マルチスペクトル画像の高速精密化レジストレーション問題を解決する。
【図面の簡単な説明】
【0019】
【発明を実施するための形態】
【0020】
本願の技術的解決手段をよりよく理解するために、以下、図面を参照して本願の実施例を詳細に説明する。
【0021】
明らかなように、説明される実施例は単に本願の一部の実施例であり、全部の実施例ではない。本願の実施例に基づいて、当業者が創造的な労働を必要とせずに取得するすべての他の実施例は、いずれも本願の保護範囲に属する。
【0022】
マルチスペクトルカメラは分光デバイスを用いて、入力した可視光を複数のスペクトル帯域に分け、次に独立したＣＣＤセンサでフル解像度サブスペクトル帯域画像を収集する。物理的な画像形成光路が実際の使用環境の温度変換、振動等の制御不可能な要因の影響を受けるため、サブスペクトル帯域画像の間にパラメータ化可能なオフセットが存在する。レジストレーションパラメータを推定するために、本発明はマルチスペクトルカメラ向けの高速画像レジストレーション方法を提案する。図１、図２に示すように、該方法は以下のステップＳ１～Ｓ６を含む。
【0023】
ステップＳ１では、マルチスペクトルカメラでターゲットシーン画像を収集して、マルチスペクトル帯域画像を取得する。そのうちの１つの帯域画像を参照画像として選択し、残りの帯域画像をレジストレーション対象画像とし、参照画像及びレジストレーション対象画像のロバスト勾配特徴をそれぞれ計算する。
【0024】
１つの実施例では、ロバスト勾配特徴の計算方法を詳細に説明する。参照画像をｆ（ｘ，ｙ）と記し、参照画像のロバスト勾配特徴マップｇ（ｘ，ｙ）の計算表現式は以下のとおりであり、
（ｘ，ｙ）は画像のグローバル座標であり、ｐは指数パラメータであり、ｐは（０，１）を取り、本実施例でｐは０．５を取り、ｆx（ｘ，ｙ），ｆy（ｘ，ｙ）は参照画像ｆ（ｘ，ｙ）のｘ、ｙ方向に沿う勾配をそれぞれ示し、畳み込みカーネルで参照画像を畳み込むことによって計算することができ、具体的に、ｆx（ｘ，ｙ）はｘ方向のソーベル演算子
で参照画像ｆ（ｘ，ｙ）に対して２次元畳み込みを行って取得することができ、ｆy（ｘ，ｙ）はｙ方向のソーベル演算子
で参照画像ｆ（ｘ，ｙ）に対して２次元畳み込みを行って取得することができる。
【数1】
【0025】
レジストレーション対象画像をｆ′（ｘ，ｙ）と記し、レジストレーション対象画像のロバスト勾配特徴マップｇ′（ｘ，ｙ）の計算方法は参照画像と同じであり、計算表現式は以下のとおりであり、
ｆx′（ｘ，ｙ），ｆy′（ｘ，ｙ）はレジストレーション対象画像ｆ′（ｘ，ｙ）のｘ、ｙ方向に沿う勾配をそれぞれ示し、同様に、畳み込みカーネルで参照画像を畳み込むことによって計算することができる。
【数2】
【0026】
ステップＳ２では、参照画像及びレジストレーション対象画像のロバスト勾配特徴マップをグリッドでブロック化し、非平滑化グリッドを選択する。
【0027】
１つの実施例では、ステップＳ１で得られた参照ロバスト勾配特徴マップ及びレジストレーション対象ロバスト勾配特徴マップに対して規則的なグリッドによるブロック化を行い、グリッドはサイズが
の矩形であり、Ｈ，Ｗは画像の高さ及び幅をそれぞれ示し、すなわち画像を１００個のグリッド領域に規則的に分ける。
【0028】
１つの実施例では、以下の方式で非平滑化グリッドを選択する。
【0029】
サブステップＳ２１では、ロバスト勾配特徴グリッド画像のトレーニングデータセットを作成し、すなわちロバスト勾配特徴グリッド画像セットを構築し、グリッド画像に対してカテゴリをラベル付けし、平滑化グリッド画像をカテゴリ０としてラベル付けし、非平滑化グリッド画像をカテゴリ１としてラベル付けし、 サブステップＳ２２では、汎用分類器モデルで平滑化及び非平滑化グリッド分類器をトレーニングし、 サブステップＳ２３では、トレーニングされた分類器でグリッドを分類し、非平滑化グリッドを選択する。
【0030】
ステップＳ３では、非平滑化グリッドのオフセット量を位相相関アルゴリズムで計算する。
【0031】
１つの実施例では、オフセット量の計算は以下のサブステップＳ３１～サブステップＳ３４を含む。
【0032】
サブステップＳ３１では、Ｓ２で得られた非平滑化グリッドの参照ロバスト勾配特徴マップ及びレジストレーション対象ロバスト勾配特徴マップをｐｉ及びｑｉとそれぞれ記し、ｉはｉ番目の非平滑化グリッドを示す。グリッド画像に対して２次元フーリエ変換
を行って、参照グリッド画像及びレジストレーション対象グリッド画像の２次元フーリエ変換結果
及び
を取得し、 サブステップＳ３２では、コンベンショナル化クロスパワースペクトル密度
を計算し、
は
の共役結果を示し、 サブステップＳ３３では、
に対して２次元フーリエ逆変換
を行って、相互相関特徴マップ
を取得し、 サブステップＳ３４では、最大相互相関値に対応する局所座標
をｉ番目の非平滑化グリッドオフセット量として取得し、
はｉ番目の非平滑化グリッドの局所座標を示す。
【0033】
ステップＳ４では、グリッドオフセット量に基づいてグローバルレジストレーションパラメータ初期値をフィッティングする。
【0034】
１つの実施例では、以下のステップによってグローバルレジストレーションパラメータ初期値をフィッティングする。
【0035】
サブステップＳ４１では、レジストレーションパラメータに関する線形方程式系を構築し、ｉ番目の非平滑化グリッド中心のグローバル座標を
と記し、ステップＳ３で得られた対応するオフセット量を
とし、求めるべきレジストレーションパラメータ初期値行列を
と記し、
は実数体を示し、座標変換関係に基づいて次のようになり、
すべての非平滑化グリッドに対して上記座標変換関係を応用し、行列方程
を取得することができ、 グリッド中心のグローバル座標行列は
であり、オフセット量行列は
であり、Ｋは非平滑化グリッドの個数である。
【数3】
【0036】
サブステップＳ４２では、行列方程を解いて、レジストレーションパラメータ初期値行列
を取得することができ、Ｔは転置操作を示し、
は逆行列を求める操作を示す。
【0037】
ステップＳ５では、レジストレーションパラメータ初期値を、改良された正規化全勾配に基づくオプティマイザに送信し、最適化して正確なレジストレーションパラメータを求める。
【0038】
１つの実施例では、図３に示すように、以下の方式で最適なレジストレーションパラメータを求める。
【0039】
参照画像とレジストレーション対象画像の正規化全勾配を、画像がレジストレーションされたか否かを判断する目的関数とする。画像が完全にレジストレーションされた場合、参照画像とレジストレーション対象画像との間の正規化全勾配は最も小さい。レジストレーション対象画像をｆ′（ｘ，ｙ）と記し、レジストレーションの目的は１つの最適なレジストレーションパラメータ
を探して、
を最も小さくすることであり、ＮＴＧは正規化全勾配関数であり、
はレジストレーション対象画像の座標変換後の新座標であり、即ち、
、
であり、
は行列Ｍのｋ行目ｌ列目の元素値を示す。このとき、目的関数はＭに関する非凸実数値関数であり、
と簡単に示すことができ、勾配降下法で反復して最適なレジストレーションパラメータを求め、反復式は
であり、上付き文字ｔはｔ回目の反復を示し、
はｔ回目の反復のパラメータ調整量を示す。本発明は勾配降下法で反復して最適なレジストレーションパラメータを求め、その計算の複雑さがより低く、計算速度がより速い。具体的に、パラメータ調整量は
であり、
は毎回の反復ステップサイズを示し、本実施例で
を取り、
はｔ回目の反復で、正規化全勾配関数ＮＴＧのＭに関する導関数を示し、その計算式は以下のとおりであり、
は画素点（ｘ，ｙ）の重みであり、Ｌは座標行列であり、Ｔは転置操作を示し、
は座標変換後のレジストレーション対象画像
が画素点（ｘ，ｙ）で勾配を求めることを示し、
は参照画像ｆ（ｘ，ｙ）と座標変換後のレジストレーション対象画像
の差分画像を示し、
は差分画像
の画素点（ｘ，ｙ）での二次勾配特徴値であり、
は座標変換後のレジストレーション対象画像
の画素点（ｘ，ｙ）での二次勾配特徴値であり、
はロバスト関数であり、
、パラメータは
であり、
は差分画像
のｘ、ｙ方向に沿う勾配をそれぞれ示し、ｆx′，ｆy′は座標変換後のレジストレーション対象画像
のｘ、ｙ方向に沿う勾配をそれぞれ示し、
はｘ、ｙ方向の勾配操作の随伴演算子をそれぞれ示し、それぞれ演算子
及び
で画像に対して２次元畳み込みを行って取得することができる。
【数4】
【数5】
【数6】
【0040】
以上より、ステップＳ５は具体的に以下のサブステップＳ５１～サブステップＳ５３を含む。
【0041】
サブステップＳ５１では、ステップＳ４で得られたレジストレーションパラメータ初期値を正規化全勾配オプティマイザの初期値パラメータ
とし、初期化パラメータ調整量は
であり、 サブステップＳ５２では、参照画像とレジストレーション対象画像の正規化全勾配を目的関数として、最適化問題を構築し、勾配降下法でレジストレーションパラメータに対して反復最適化を行い、その具体的なステップは以下のサブステップＳ５２１～サブステップＳ５２４を含み、 サブステップＳ５２１では、現在のパラメータ
を計算し、 サブステップＳ５２２では、現在のパラメータ
をレジストレーション対象画像に応用し、レジストレーション対象画像ｆ′（ｘ，ｙ）に対して座標変換を行って、
を取得し、 サブステップＳ５２３では、座標変換後のレジストレーション対象画像
と参照画像ｆ（ｘ，ｙ）の正規化全勾配のレジストレーションパラメータに対する勾配
を計算して、パラメータ調整量
を取得し、 サブステップＳ５２４では、サブステップＳ５２１に戻り、反復終了条件を満たすまで続け、反復終了条件は反復回数が設定された最大反復回数Ｔを超えることであり、本実施例でＴ＝６であり、 サブステップＳ５３では、最適化後のレジストレーションパラメータを出力する。
【0042】
ステップＳ６では、最適化後のレジストレーションパラメータをレジストレーション対象画像に応用して、正確にレジストレーションされた画像結果を取得する。
【0043】
１つの実施例では、ステップＳ６は具体的に以下のとおりであり、 サブステップＳ６１では、ステップＳ５で得られたレジストレーションパラメータに基づいてレジストレーション対象画像ｆ′（ｘ，ｙ）に対して座標変換を行って、目的画素位置
を取得し、 サブステップＳ６２では、目的画素位置
に基づいて、バイリニア補間アルゴリズムで最終的な出力画像を取得する。
【0044】
実施効果の説明
【0045】
表１に示すように、テストを経て、本発明に係るマルチスペクトルカメラ向けの高速画像レジストレーション方法は、同類の方法に比べて、速度が速く、精度が高い等の優位性を有する。テスト時に用いられる画像のサイズは４８０×６４０画素であり、アルゴリズムの実行に用いられるプロセッサは１１ｔｈ Ｇｅｎ Ｉｎｔｅｌ（Ｒ） Ｃｏｒｅ（ＴＭ） ｉ５－１１３５Ｇ７ ＠ ２．４０ＧＨｚ ２．４２ ＧＨｚであり、メモリは１６．０ＧＢである。
【0046】
（表１） テスト結果の比較表
【0047】
図４～図７は本発明の実施効果の模式図である。図４及び図５はそれぞれ一実施例のレジストレーションなしの効果及びレジストレーション効果の模式図であり、図６及び図７はそれぞれ他の実施例のレジストレーションなしの効果及びレジストレーション効果の模式図である。本発明の高速レジストレーション方法によって校正すると、マルチスペクトルカメラにより合成されたカラー画像の色ずれ及びゴースト像の問題を大きく改善する。
【0048】
図８～図１０は本発明の平滑化及び非平滑化グリッド分類器の出力効果の模式図であり、図８、図９及び図１０はそれぞれ一実施例の原画像、ロバスト勾配特徴マップ及び非平滑化領域の効果であり、分類器はロバスト勾配特徴マップの非平滑化グリッド領域をよく選択した。
【0049】
上記のマルチスペクトルカメラ向けの高速画像レジストレーション方法の実施例に対応して、本発明はマルチスペクトルカメラ向けの高速画像レジストレーション装置の実施例を更に提供する。
【0050】
図１１を参照し、本発明の実施例が提供するマルチスペクトルカメラ向けの高速画像レジストレーション装置は、メモリと、１つ又は複数のプロセッサを含み、前記メモリに実行可能なコードが記憶されており、前記プロセッサは前記実行可能なコードを実行するときに、上記実施例のマルチスペクトルカメラ向けの高速画像レジストレーション方法を実施することに用いられる。
【0051】
本発明のマルチスペクトルカメラ向けの高速画像レジストレーション装置の実施例はデータ処理能力を備える任意の機器に応用でき、データ処理能力を備える該任意の機器はコンピュータ等のような機器又は装置であってもよい。装置の実施例はソフトウェアによって実現されてもよく、ハードウェア又はソフトウェアとハードウェアの組み合わせ方式で実現されてもよい。ソフトウェアで実現されることを例とすると、論理的な意味での１つの装置として、位置するデータ処理能力を備える任意の機器のプロセッサが不揮発性メモリにおける対応するコンピュータプログラム命令をメモリに読み込んで実行することによって形成される。ハードウェアの面から言えば、図１１に示すように、本発明のマルチスペクトルカメラ向けの高速画像レジストレーション装置が位置する、データ処理能力を備える任意の機器のハードウェア構造図であり、図１１に示されるプロセッサ、メモリ、ネットワークインタフェース、及び不揮発性メモリ以外に、実施例の装置が位置するデータ処理能力を備える任意の機器は、通常、データ処理能力を備える該任意の機器の実際の機能に基づいて、他のハードウェアを更に含んでもよく、これを繰り返して説明しない。
【0052】
上記装置の各ユニットの機能及び作用の実現過程は具体的に上記方法の対応するステップの実現過程を参照すればよく、ここで繰り返して説明しない。
【0053】
装置の実施例については、方法の実施例に基本的に対応するため、関連する部分は方法の実施例の部分の説明を参照すればよい。以上に説明される装置の実施例は単に例示的なものであり、前記分離部材として説明されるユニットは物理的に分離されてもよく、物理的に分離されなくてもよく、ユニットとして示される部材は物理ユニットであってもよく、物理ユニットでなくてもよく、１つの場所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際の需要に応じてそのうちの一部又は全部のモジュールを選択して本発明の解決手段の目的を実現することができる。当業者は創造的な労働を必要とせずに理解して実施することができる。
【0054】
本発明の実施例はコンピュータ読み取り可能な記憶媒体を更に提供し、それにプログラムが記憶されており、該プログラムがプロセッサにより実行されるときに、上記実施例のマルチスペクトルカメラ向けの高速画像レジストレーション方法を実施する。
【0055】
前記コンピュータ読み取り可能な記憶媒体は、上記いずれかの実施例に記載のデータ処理能力を備える任意の機器の内部記憶ユニット、例えばハードディスク又はメモリであってもよい。前記コンピュータ読み取り可能な記憶媒体はデータ処理能力を備える任意の機器の外部記憶機器、例えば前記機器に配置されたプラグインハードディスク、スマートメモリカード、ＳＤカード、フラッシュカード等であってもよい。更に、前記コンピュータ読み取り可能な記憶媒体はデータ処理能力を備える任意の機器の内部記憶ユニットと、外部記憶機器を含んでもよい。前記コンピュータ読み取り可能な記憶媒体は前記コンピュータプログラム及びデータ処理能力を備える前記任意の機器に必要な他のプログラムやデータを記憶することに用いられ、更に、出力された又は出力されるデータを一時的に記憶することに用いることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】