特許第6041649号(P6041649)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機株式会社の特許一覧

<>
  • 特許6041649-画像処理装置及び画像処理プログラム 図000002
  • 特許6041649-画像処理装置及び画像処理プログラム 図000003
  • 特許6041649-画像処理装置及び画像処理プログラム 図000004
  • 特許6041649-画像処理装置及び画像処理プログラム 図000005
  • 特許6041649-画像処理装置及び画像処理プログラム 図000006
  • 特許6041649-画像処理装置及び画像処理プログラム 図000007
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6041649
(24)【登録日】2016年11月18日
(45)【発行日】2016年12月14日
(54)【発明の名称】画像処理装置及び画像処理プログラム
(51)【国際特許分類】
   G06T 3/00 20060101AFI20161206BHJP
   G06T 1/00 20060101ALI20161206BHJP
【FI】
   G06T3/00 760
   G06T1/00 285
【請求項の数】7
【全頁数】16
(21)【出願番号】特願2012-267318(P2012-267318)
(22)【出願日】2012年12月6日
(65)【公開番号】特開2014-115710(P2014-115710A)
(43)【公開日】2014年6月26日
【審査請求日】2015年11月10日
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100123434
【弁理士】
【氏名又は名称】田澤 英昭
(74)【代理人】
【識別番号】100101133
【弁理士】
【氏名又は名称】濱田 初音
(74)【代理人】
【識別番号】100173934
【弁理士】
【氏名又は名称】久米 輝代
(74)【代理人】
【識別番号】100156351
【弁理士】
【氏名又は名称】河村 秀央
(72)【発明者】
【氏名】石渡 要介
(72)【発明者】
【氏名】前原 秀明
【審査官】 村松 貴士
(56)【参考文献】
【文献】 特開昭63−247875(JP,A)
【文献】 特開昭62−116282(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00 − 5/50
G01B 11/00 − 11/30
(57)【特許請求の範囲】
【請求項1】
基準画像と位置あわせを行う対象画像の分割条件にしたがって上記対象画像を分割して、互いに一部分が重複している複数の重複分割画像を生成する重複分割画像生成手段と、
上記重複分割画像生成手段により生成された重複分割画像の各画素に対応する上記基準画像の画素を特定して、上記基準画像に対する上記重複分割画像の位置ずれを計算し、その計算結果にしたがって上記基準画像に対する上記重複分割画像の位置ずれを補正する複数の位置ずれ補正手段と、
上記複数の位置ずれ補正手段による位置ずれ補正後の重複分割画像を接合する重複分割画像接合手段とを備え、
上記複数の位置ずれ補正手段は、
上記重複分割画像生成手段により生成された重複分割画像を複数のブロックに分割する画像分割手段と、
上記画像分割手段により分割されたブロックの各画素に対応する上記基準画像の画素を特定して、上記基準画像に対する上記ブロックの位置ずれを計算するとともに、上記位置ずれを補正する複数の位置ずれ計算手段と、
上記位置ずれ計算手段による位置ずれ補正後のブロックが1つの重複分割画像だけに属している場合、あるいは、位置ずれ補正後のブロックが複数の重複分割画像に属しているが、上記重複分割画像の4隅のブロックでない場合、位置ずれ補正後のブロック内の画素を移動して、上記ブロックと隣接しているブロックとの連続性を高めるスムージング処理を実施する一方、位置ずれ補正後のブロックが4隅のブロックである場合、上記スムージング処理を実施しないスムージング処理手段と
から構成されていることを特徴とする画像処理装置。
【請求項2】
スムージング処理手段は、
位置ずれ計算手段による位置ずれ補正後のブロックが1つの重複分割画像だけに属している場合、位置ずれ補正後のブロック内の画素を4方向にスムージングし、
位置ずれ補正後のブロックが複数の重複分割画像に属しているが、上記重複分割画像の4隅のブロックでない場合、位置ずれ補正後のブロック内の画素を上記複数の重複分割画像が並んでいる方向と90度異なる方向にスムージングする
ことを特徴とする請求項1記載の画像処理装置。
【請求項3】
位置ずれ計算手段は、画像分割手段により分割されたブロックと基準画像の画像相関を算出し、その画像相関に基づいて上記ブロックの各画素に対応する上記基準画像の画素を特定することを特徴とする請求項1または請求項2記載の画像処理装置。
【請求項4】
位置ずれ計算手段は、ブロックの解像度を変えながら画像相関を算出し、その画像相関が最高になる解像度を特定することで、上記ブロックの各画素に対応する上記基準画像の画素を特定することを特徴とする請求項3記載の画像処理装置。
【請求項5】
位置ずれ計算手段は、基準画像に対するブロックの位置ずれを計算して、上記位置ずれを補正したのち、上記基準画像に対する位置ずれ補正後のブロックの位置ずれを再度計算し、その計算結果にしたがって上記基準画像に対する位置ずれ補正後のブロックの位置ずれを再補正することを特徴とする請求項1から請求項4のうちのいずれか1項記載の画像処理装置。
【請求項6】
重複分割画像生成手段は、基準画像と位置あわせを行う対象画像が複数枚ある場合、複数枚の対象画像の中から、分割する対象画像を1枚ずつ順番に選択して分割することを特徴とする請求項1から請求項5のうちのいずれか1項記載の画像処理装置。
【請求項7】
基準画像と位置あわせを行う対象画像の分割条件にしたがって上記対象画像を分割して、互いに一部分が重複している複数の重複分割画像を生成する重複分割画像生成処理手順と、
上記重複分割画像生成処理手順により生成された重複分割画像の各画素に対応する上記基準画像の画素を特定して、上記基準画像に対する上記重複分割画像の位置ずれを計算し、その計算結果にしたがって上記基準画像に対する上記重複分割画像の位置ずれを補正する複数の位置ずれ補正処理手順と、
上記複数の位置ずれ補正処理手順による位置ずれ補正後の重複分割画像を接合する重複分割画像接合処理手順とをコンピュータに実行させる画像処理プログラムであって、
上記複数の位置ずれ補正処理手順は、
上記重複分割画像生成処理手順により生成された重複分割画像を複数のブロックに分割する画像分割処理手順と、
上記画像分割処理手順により分割されたブロックの各画素に対応する上記基準画像の画素を特定して、上記基準画像に対する上記ブロックの位置ずれを計算するとともに、上記位置ずれを補正する複数の位置ずれ計算処理手順と、
上記位置ずれ計算処理手順による位置ずれ補正後のブロックが1つの重複分割画像だけに属している場合、あるいは、位置ずれ補正後のブロックが複数の重複分割画像に属しているが、上記重複分割画像の4隅のブロックでない場合、位置ずれ補正後のブロック内の画素を移動して、上記ブロックと隣接しているブロックとの連続性を高めるスムージング処理を実施する一方、位置ずれ補正後のブロックが4隅のブロックである場合、上記スムージング処理を実施しないスムージング処理手順と
から構成されていることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、例えば、近い範囲を撮影している2枚の画像の位置あわせを行う際、並列処理を実施することで、処理時間の短縮を図ることが可能な画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【0002】
近年の画像取得用のセンサの発達により、様々な高解像度画像を撮影することが可能になってきている。
画像取得用のセンサとしては、二次元に配列されている画素によって一度に画像を取得するエリアセンサや、一次元に配列されている素子を動かしながら信号を取得することで画像を構成するラインセンサなどがある。
一般的には、エリアセンサよりもラインセンサの方が高解像度の画像を撮影することができる。
【0003】
また、画像取得用のセンサにより取得された画像を利用してデータを生成する技術も発展してきている。
例えば、似たような場所が撮影されている複数枚の画像を利用して、超解像画像を生成する技術などがある(例えば、非特許文献1を参照)。
一般に使用される超解像画像の生成処理では、高解像度化(再構成)のために、複数枚の画像内の各ピクセル間の位置関係を求める必要がある。
ただし、ピクセル単位で処理を行う必要があるため、画像のピクセル数が増えるほど、処理時間が増加するが、上述したように、近年の画像取得用のセンサの発達により、高解像度画像の撮影が可能になっているため(縦方向及び横方向において、数千ピクセル単位での撮影も可能になっている)、画像当りのピクセル数が増えている。
上記のような高解像度画像を利用して、超解像画像を生成する場合、各ピクセル間の位置関係を求めるには処理時間が膨大になることが想定される。
【0004】
ここで、処理時間の短縮を図る手法として、並列処理が挙げられる。
画像処理においては、対象となる画像を分割し、複数の分割画像に対して並列に処理(例えば、位置関係の計算)を実施し、その処理結果を結合するものである。
例えば、以下の特許文献1には、対象画像を分割して画像処理を行う画像処理装置が開示されている。
この画像処理装置では、画像にハーフトーン処理をかける際に画像を分割して、複数の分割画像に対して並列に処理を実施し、その処理結果を結合するようにしている。
ハーフトーン処理は、周囲の情報が必要になるため、複数の分割画像間に重なり部分を設け、重なり部分では、片方の処理結果だけを採用するようにしている。これは、ハーフトーン処理が近傍値のみに依存するためである。
【0005】
この画像処理装置では、画像にハーフトーン処理をかける際に画像を分割しているが、複数枚の画像の位置ズレ計算処理や位置関係の取得処理では、近傍値だけを使うとは限らない。
このため、画像全体の情報を使うような処理では、画像を分割して並列処理を行う場合と、並列処理を行わないで処理する場合とでは、処理結果が異なることがある。
例えば、画像自体の情報(互いの画像の色分布情報など)を使う場合、画像を分割して並列処理を行うと、並列処理を行わないで処理する場合の処理結果と異なることがある。
また、位置関係を求める際に誤差を含む情報を使う場合などでも、画像を分割して並列処理を行うと、並列処理を行わないで処理する場合の処理結果と異なることがある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−244098号公報(段落番号[0007]から[0011])
【非特許文献】
【0007】
【非特許文献1】「知っておきたいキーワード 超解像技術」http://www.ite.or.jp/data/a_j_keyword/data/FILE-20120103131407.pdf
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来の画像処理装置は以上のように構成されているので、高解像度画像を利用して、超解像画像を生成する場合でも、高解像度画像を分割して、複数の分割画像に対して並列に処理を実施するようにすれば、処理時間の短縮を図ることができる。しかし、複数の分割画像に対して並列に処理を実施する場合の処理結果が、並列処理を行わないで処理する場合の処理結果と異なってしまうことがある課題があった。
【0009】
この発明は上記のような課題を解決するためになされたもので、並列処理を行わないで処理する場合の処理結果に相当する処理結果を短時間で取得することができる画像処理装置及び画像処理プログラムを得ることを目的とする。
【課題を解決するための手段】
【0010】
この発明に係る画像処理装置は、重複分割画像生成手段により生成された重複分割画像を複数のブロックに分割する画像分割手段と、画像分割手段により分割されたブロックの各画素に対応する上記基準画像の画素を特定して、その基準画像に対する上記ブロックの位置ずれを計算するとともに、その位置ずれを補正する複数の位置ずれ計算手段と、位置ずれ計算手段による位置ずれ補正後のブロックが1つの重複分割画像だけに属している場合、あるいは、位置ずれ補正後のブロックが複数の重複分割画像に属しているが、重複分割画像の4隅のブロックでない場合、位置ずれ補正後のブロック内の画素を移動して、そのブロックと隣接しているブロックとの連続性を高めるスムージング処理を実施する一方、位置ずれ補正後のブロックが4隅のブロックである場合、スムージング処理を実施しないスムージング処理手段とから、複数の位置ずれ補正手段を構成するようにしたものである。
【発明の効果】
【0011】
この発明によれば、重複分割画像生成手段により生成された重複分割画像を複数のブロックに分割する画像分割手段と、画像分割手段により分割されたブロックの各画素に対応する上記基準画像の画素を特定して、その基準画像に対する上記ブロックの位置ずれを計算するとともに、その位置ずれを補正する複数の位置ずれ計算手段と、位置ずれ計算手段による位置ずれ補正後のブロックが1つの重複分割画像だけに属している場合、あるいは、位置ずれ補正後のブロックが複数の重複分割画像に属しているが、重複分割画像の4隅のブロックでない場合、位置ずれ補正後のブロック内の画素を移動して、そのブロックと隣接しているブロックとの連続性を高めるスムージング処理を実施する一方、位置ずれ補正後のブロックが4隅のブロックである場合、スムージング処理を実施しないスムージング処理手段とから、複数の位置ずれ補正手段を構成するようにしたので、並列処理を行わないで処理する場合の処理結果に相当する処理結果を短時間で取得することができる効果がある。
【図面の簡単な説明】
【0012】
図1】この発明の実施の形態1による画像処理装置を示す構成図である。
図2】この発明の実施の形態1による画像処理装置の位置ずれ補正部12−n(n=1,2,・・・,N)を示す構成図である。
図3】重複分割画像生成部11により対象画像POBJが分割されて生成される複数の重複分割画像DPOBJnを示す説明図である。
図4】画像分割部21による重複分割画像DPOBJnの分割例を示す説明図である。
図5】ピクセルの位置計算を説明する説明図である。
図6】スムージング処理部23による各ピクセルのスムージングを示す説明図である。
【発明を実施するための形態】
【0013】
実施の形態1.
図1はこの発明の実施の形態1による画像処理装置を示す構成図である。
図1において、基準画像格納部1は例えばRAMやハードディスクなどの記憶装置から構成されており、基準画像PSTDを記憶している。
対象画像格納部2は例えばRAMやハードディスクなどの記憶装置から構成されており、基準画像格納部1に記憶されている基準画像PSTDと位置あわせを行う画像(以下、「対象画像POBJ」と称する)を記憶している。
【0014】
分割条件格納部3は例えばRAMやハードディスクなどの記憶装置から構成されており、対象画像POBJの分割条件として、例えば、対象画像POBJの分割数(横方向分割数nx、縦方向分割数ny)や、分割画像間の重複範囲(横方向重複ピクセル数dx、縦方向重複ピクセル数dy)などを記憶している。
ベクトル情報格納部4は例えばRAMやハードディスクなどの記憶装置から構成されており、基準画像PSTD及び対象画像POBJにおける各ピクセル(画素)に対応する視線ベクトルや撮影位置情報などを含んでいるベクトル情報を記憶している。
【0015】
重複分割画像生成部11は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、分割条件格納部3により記憶されている分割条件にしたがって、対象画像格納部2に記憶されている対象画像POBJを分割して、互いに一部分が重複している複数の重複分割画像DPOBJn(n=1,2,・・・,N)を生成する処理を実施する。Nは分割数である。なお、重複分割画像生成部11は重複分割画像生成手段を構成している。
【0016】
位置ずれ補正部12−1〜12−Nは例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、重複分割画像生成部11により生成された重複分割画像DPOBJnの各ピクセルに対応する基準画像PSTDのピクセルを特定して、その基準画像PSTDに対する重複分割画像DPOBJnの位置ずれΔrを計算し、その計算結果にしたがって基準画像PSTDに対する重複分割画像DPOBJnの位置ずれΔrを補正する処理を実施する。なお、位置ずれ補正部12−1〜12−Nは位置ずれ補正手段を構成している。
【0017】
図1では、重複分割画像生成部11により生成された重複分割画像DPOBJnと同数の位置ずれ補正部12が実装されている例を示しているが、必ずしも生成された重複分割画像DPOBJnと同数である必要はない。
ただし、重複分割画像生成部11により生成された重複分割画像DPOBJnの数より、位置ずれ補正部12の実装数が少ない場合、一部の位置ずれ補正部12が複数の重複分割画像に対する処理を順番に実施する必要があるため、処理時間が多少長くなることが想定される。
【0018】
重複分割画像接合部13は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、位置ずれ補正部12−1〜12−Nによる位置ずれ補正後の重複分割画像DP’OBJ1,DP’OBJ2,・・・,DP’OBJNを接合する処理を実施する。なお、重複分割画像接合部13は重複分割画像接合手段を構成している。
【0019】
図2はこの発明の実施の形態1による画像処理装置の位置ずれ補正部12−n(n=1,2,・・・,N)を示す構成図である。
図2において、画像分割部21は重複分割画像生成部11により生成された重複分割画像DPOBJnを複数のブロックBi,jに分割する処理を実施する。なお、画像分割部21は画像分割手段を構成している。i=1,2,・・・,I、j=1,2,・・・,Jである。
【0020】
位置ずれ計算部22−1〜22−Mは画像分割部21により分割されたブロックBi,jの各ピクセルに対応する基準画像PSTDのピクセルを特定して、その基準画像PSTDに対するブロックBi,jの位置ずれΔri,jを計算するとともに、その位置ずれΔri,jを補正する処理を実施する。なお、位置ずれ計算部22−1〜22−Mは位置ずれ計算手段を構成している。
図2の例では、画像分割部21により分割されたブロックBi,jと同数の位置ずれ計算部22が実装されているものを想定しているが(M=I×J)、必ずしも分割されたブロックBi,jと同数である必要はない。
ただし、画像分割部21により分割されたブロックBi,jの数より位置ずれ計算部22の実装数が少ない場合、一部の位置ずれ計算部22が複数のブロックに対する処理を順番に実施する必要があるため、処理時間が多少長くなることが想定される。
【0021】
スムージング処理部23は位置ずれ計算部22−1〜22−Mによる位置ずれ補正後のブロックB’i,jが1つの重複分割画像だけに属している場合、あるいは、そのブロックB’i,jが複数の重複分割画像に属しているが、重複分割画像の4隅のブロックでない場合、位置ずれ補正後のブロックB’i,j内の画素を移動して、そのブロックB’i,jと隣接しているブロックとの連続性を高めるスムージング処理を実施する一方、位置ずれ補正後のブロックB’i,jが4隅のブロックである場合、上記スムージング処理を実施しない処理手段である。
また、スムージング処理部23は、スムージング処理後のブロックB”1,1〜B”I,J(スムージング処理を実施していない4隅のブロックを含む)を接合して、重複分割画像DPOBJnと同様に、互いに一部分が重複している位置ずれ補正後の重複分割画像DP’OBJn(n=1,2,・・・,N)を生成する処理を実施する。
なお、スムージング処理部23はスムージング処理手段を構成している。
【0022】
図1の例では、画像処理装置の構成要素である基準画像格納部1、対象画像格納部2、分割条件格納部3、ベクトル情報格納部4、重複分割画像生成部11、位置ずれ補正部12−1〜12−N及び重複分割画像接合部13のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像処理装置がコンピュータで構成されていてもよい。
画像処理装置がコンピュータで構成されている場合、基準画像格納部1、対象画像格納部2、分割条件格納部3及びベクトル情報格納部4をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、重複分割画像生成部11、位置ずれ補正部12−1〜12−N及び重複分割画像接合部13の処理内容を記述している画像処理プログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されている画像処理プログラムを実行するようにすればよい。
【0023】
次に動作について説明する。
分割条件格納部3には、対象画像POBJの分割条件として、例えば、対象画像POBJの分割数(横方向分割数nx、縦方向分割数ny)や、分割画像間の重複範囲(横方向重複ピクセル数dx、縦方向重複ピクセル数dy)などが記憶されている。
この実施の形態1では、位置ずれ補正部12−1〜12−Nの個数と同数の分割数が分割条件格納部3に記憶されているものとする。
ここで、図3は重複分割画像生成部11により対象画像POBJが分割されて生成される複数の重複分割画像DPOBJn(n=1,2,・・・,N)を示す説明図である。図3の例では、N=12である。
【0024】
重複分割画像生成部11は、基準画像格納部1から基準画像PSTDを取得し、対象画像格納部2から対象画像POBJを取得する。複数枚の対象画像POBJが対象画像格納部2に記憶されている場合には、対象画像POBJを1枚ずつ順番に取得して、後述する重複分割画像DPOBJnの生成処理を行う。
次に、重複分割画像生成部11は、分割条件格納部3に記憶されている分割条件を取得する。
【0025】
重複分割画像生成部11は、分割条件として、対象画像POBJの分割数(横方向分割数nx、縦方向分割数ny)と、分割画像間の重複範囲(横方向重複ピクセル数dx、縦方向重複ピクセル数dy)が記憶されていれば、対象画像POBJの分割数と分割画像間の重複範囲から、重複分割画像DPOBJnの横幅(横ピクセル数)w1と、縦幅(縦ピクセル数)h1を算出する。
w1=dx+[(w−(nx−1)×dx)/nx] (1)
h1=dy+[(h−(ny−1)×dy)/ny] (2)
式(1)(2)において、wは対象画像POBJの横幅(横ピクセル数)、hは対象画像POBJの縦幅(縦ピクセル数)である。
また、[]はガウス記号を表しており、割り切れない分については、別途、いずれかの重複分割画像DPOBJnに加える形で余りが無いようにしている。
【0026】
重複分割画像生成部11は、重複分割画像DPOBJnの横幅(横ピクセル数)w1と、縦幅(縦ピクセル数)h1を算出すると、図3に示すように、対象画像格納部2に記憶されている対象画像POBJを分割して、横幅がw1で縦幅がh1の重複分割画像DPOBJn(n=1,2,・・・,N)を生成する。
このとき、横方向に隣り合っている重複分割画像同士の重なりはピクセル数dxであり、縦方向に隣り合っている重複分割画像同士の重なりはピクセル数dyである。
図3の例では、横方向には余りαがあるため、右端の重複分割画像DPOBJnに余りαを加えており、右端の重複分割画像DPOBJnの横幅(横ピクセル数)がw1+αになっている。
また、縦方向には余りβがあるため、下端の重複分割画像DPOBJnに余りβを加えており、下端の重複分割画像DPOBJnの縦幅(縦ピクセル数)がh1+βになっている。
【0027】
重複分割画像生成部11は、複数の重複分割画像DPOBJ1〜DPOBJNを生成すると、重複分割画像DPOBJ1を位置ずれ補正部12−1、重複分割画像DPOBJ2を位置ずれ補正部12−2、・・・、重複分割画像DPOBJNを位置ずれ補正部12−Nに出力する。
なお、重複分割画像生成部11は、ベクトル情報格納部4に記憶されている基準画像PSTDに関するベクトル情報については位置ずれ補正部12−1〜12−Nに出力するが、対象画像POBJの各ピクセルに対応するベクトル情報については、対象画像POBJと同様に分割し、重複分割画像DPOBJ1の各ピクセルに対応するベクトル情報は位置ずれ補正部12−1、重複分割画像DPOBJ2の各ピクセルに対応するベクトル情報は位置ずれ補正部12−2、・・・、重複分割画像DPOBJNの各ピクセルに対応するベクトル情報は位置ずれ補正部12−Nに出力する。
【0028】
ただし、重複分割画像生成部11は、重複分割画像DPOBJnの横幅w1が3×dx以上とならず、重複分割画像DPOBJnの縦幅h1が3×dy以上とならない場合、対象画像POBJを分割せずに、その対象画像POBJ及びベクトル情報を1つの位置ずれ補正部(例えば、位置ずれ補正部12−1)に出力する。
【0029】
位置ずれ補正部12−1〜12−Nは、重複分割画像生成部11から重複分割画像DPOBJn及びベクトル情報を受けると、その重複分割画像DPOBJnの各ピクセルに対応する基準画像PSTDのピクセルを特定して、その基準画像PSTDに対する重複分割画像DPOBJnの位置ずれΔrを計算し、その計算結果にしたがって基準画像PSTDに対する重複分割画像DPOBJnの位置ずれΔrを補正する。
以下、位置ずれ補正部12−n(n=1,2,・・・,N)の処理内容を具体的に説明する。
【0030】
位置ずれ補正部12−nの画像分割部21は、重複分割画像生成部11から重複分割画像DPOBJn及びベクトル情報を受けると、その重複分割画像DPOBJnを複数のブロックBi,jに分割する。
ここで、図4は画像分割部21による重複分割画像DPOBJnの分割例を示す説明図である。
画像分割部21による重複分割画像DPOBJnの分割手順であるが、最初に、重複分割画像DPOBJnの左右dxピクセル範囲及び上下dyピクセル範囲(図4において、斜線が施されている範囲)を分割する。斜線が施されている範囲のブロックは、重複分割画像DPOBJnの4隅のブロックであり、右隣又は左隣の重複分割画像と、上隣又は下隣の重複分割画像と、右上、左上、右下又は左下の重複分割画像とに重なる可能性がある部分である。
【0031】
次に、重複分割画像DPOBJnの外周部分(4隅のブロックを除く)において、上辺及び下辺に隣接している範囲(左上隅のブロックと右上隅のブロックとの間の範囲、左下隅のブロックと右下隅のブロックとの間の範囲)を横ピクセルがdx以上で、縦ピクセルがdyとなるように分割する。
また、重複分割画像DPOBJnの外周部分(4隅のブロックを除く)において、左辺及び右辺に隣接している範囲(左上隅のブロックと左下隅のブロックとの間の範囲、右上隅のブロックと右下隅のブロックとの間の範囲)を縦ピクセルがdy以上で、横ピクセルがdxとなるように分割する。
最後に、重複分割画像DPOBJnの中央部分(図4において、網掛けが施されている範囲)を横ピクセルがdx以上で、縦ピクセルがdy以上となるように分割する。
画像分割部21により分割されたブロックBi,jでは、隣のブロックとの重なりは設けられていない。図4の例では、重複分割画像DPOBJnが20個のブロックBi,jに分割されている。
【0032】
画像分割部21は、重複分割画像DPOBJnを複数のブロックBi,jに分割すると、ブロックB1,1を位置ずれ計算部22−1、ブロックB2,1を位置ずれ計算部22−2、・・・、ブロックBI,Jを位置ずれ計算部22−Mに出力する。
なお、画像分割部21は、基準画像PSTDに関するベクトル情報については位置ずれ計算部22−1〜22−Mに出力するが、重複分割画像DPOBJnの各ピクセルに対応するベクトル情報については、重複分割画像DPOBJnと同様に分割し、ブロックB2,1の各ピクセルに対応するベクトル情報は位置ずれ計算部22−1、ブロックB2,2の各ピクセルに対応するベクトル情報は位置ずれ計算部22−2、・・・、ブロックBI,Jの各ピクセルに対応するベクトル情報は位置ずれ計算部22−Mに出力する。
【0033】
位置ずれ補正部12−nの位置ずれ計算部22−1〜22−Mは、画像分割部21からブロックBi,j及びベクトル情報を受けると、そのベクトル情報を用いて、そのブロックBi,jの各ピクセルに対応する基準画像PSTDのピクセルを特定して、その基準画像PSTDに対するブロックBi,jの位置ずれΔri,j(i=1,2,・・・,I、j=1,2,・・・,J)を計算する。
以下、位置ずれ計算部22−m(m=1,2,・・・,M)の処理内容を具体的に説明する。
ここで、図5はピクセルの位置計算を説明する説明図である。
【0034】
位置ずれ計算部22−mは、ブロックBi,jのピクセル毎に、当該ピクセルに対応するベクトル情報に含まれている視線ベクトル(撮影方向)及び撮影位置を地球中心座標系に変換することで、撮影位置を基点とする視線ベクトル(撮影方向)と、高度情報の基準となる楕円体面(一般的な数値標高モデル(DEM:Digital Elevation Model)では、地球楕円体面からの高さを高度情報として格納している)との交点Pを算出する。
撮影位置を基点とする視線ベクトルの途中に、画像の撮影箇所Q(画像中のピクセルを示す場所)があり、その位置での高度は、地球楕円体面からの高さを示す高度情報(高度情報は、外部より与えられるようにしてもよいし、位置ずれ計算部22−mが保持するようにしてもよい)に誤差がなければ、その高度情報が示す高度と一致する。
高度情報が示す高度と一致する位置が、当該ピクセルの位置Qとなるが、位置Qを直接求めることはできないため、反復計算を行いながら、交点P及び視線ベクトル(撮影方向)を利用してQ’を求める形になる。
【0035】
位置ずれ計算部22−mは、ブロックBi,jの各ピクセルの位置Qを求めると、ブロックBi,jのピクセルと同様に、基準画像PSTDに関するベクトル情報を参照して、基準画像PSTDの各ピクセルの位置を求め、ブロックBi,jの各ピクセルの位置Qが基準画像PSTDのどの位置に対応しているかを特定する。
位置ずれ計算部22−mは、ブロックBi,jのピクセルの対象画像POBJ上での座標が(x1,y1)であり、ブロックBi,jのピクセルと位置が一致している基準画像PSTDのピクセルの画像上での座標が(x0,y0)であるとすると、下記の式(3)(4)に示すように、ブロックBi,jのピクセルの横方向の位置ずれΔrと縦方向の位置ずれΔrを計算することで、各ピクセルの位置ずれΔrx,yを計算する。
Δr=x0−x1 (3)
Δr=y0−y1 (4)
Δrx,y=(Δr,Δr) (5)
【0036】
位置ずれ計算部22−mは、各ピクセルの位置ずれΔrx,yを計算すると、下記の式(6)に示すように、基準画像PSTDに対するブロックBi,jの位置ずれΔri,jを計算する。
Δri,j=(Δr1,1 Δr2,1 ・・・ Δrx,y ・・・ Δra,b) (6)
式(6)において、aはブロックBi,jの横方向のピクセル数、bはブロックBi,jの縦方向のピクセル数である。
【0037】
位置ずれ計算部22−mは、基準画像PSTDに対するブロックBi,jの位置ずれΔri,jを計算すると、基準画像PSTDに対するブロックBi,jの位置ずれΔri,jを補正する。
即ち、基準画像PSTDに対するブロックBi,jの位置ずれΔri,jがゼロになるように、ブロックBi,jにおける各ピクセルを移動させる。
位置ずれ計算部22−mは、位置ずれ補正後のブロックB’i,jをスムージング処理部23に出力する。
【0038】
位置ずれ補正部12−nのスムージング処理部23は、位置ずれ計算部22−1〜22−Mから、位置ずれ補正後のブロックB’1,1〜B’I,Jを受けると、位置ずれ補正後のブロックB’1,1〜B’I,Jに対するスムージング処理を実施する。
位置ずれ補正後のブロックB’i,jが1つの重複分割画像だけに属している場合(図4において、網掛けが施されている内周のブロックである場合)と、位置ずれ補正後のブロックB’i,jが複数の重複分割画像に属しているが、重複分割画像の4隅のブロックでない場合(重複分割画像における4隅のブロック以外の外周ブロックである場合)と、位置ずれ補正後のブロックB’i,jが重複分割画像の4隅のブロックである場合(図4において、斜線が施されているブロックである場合)とで、スムージング処理部23の処理内容が異なる。
以下、スムージング処理部23の処理内容を具体的に説明する。
図6はスムージング処理部23による各ピクセルのスムージングを示す説明図である。
【0039】
[ブロックB’i,jが1つの重複分割画像だけに属している場合]
スムージング処理部23は、図6に示すように、位置ずれ補正後のブロックB’i,jにおける各ピクセルを4方向にスムージングする。
即ち、隣り合っているブロックの境界付近では、位置ずれ補正の並列処理に伴って連続性が劣化している場合があるので、位置ずれ補正後のブロックB’i,j内のピクセルを移動して、そのブロックB’i,jと隣接しているブロックとの連続性を高めるスムージング処理を実施する。
ただし、スムージングを行う際、内周ブロック同士の境界付近では、連続性を高めるために、互いに隣の内周ブロックのピクセルの位置を考慮して、ブロックB’i,j内のピクセルを移動させるようにする。
一方、外周ブロックでは、後述するように、内周ブロックと外周ブロックが並んでいる方向へのスムージングが行われないので、内周ブロックと外周ブロックの境界付近では、外周ブロックのピクセルの位置を考慮することなく、内周ブロックBi,j内のピクセルを移動させるようにする。
【0040】
[重複分割画像における4隅のブロック以外の外周ブロック(上端又は下端の外周ブロック)の場合]
上端又は下端の外周ブロックは、上隣又は下隣の重複分割画像と重複しているため、上下方向にスムージングを行うと、後段の処理で複数の重複分割画像が接合されると、並列処理を行わないで処理する場合の処理結果と異なる不具合が生じる。
例えば、上端の外周ブロック(必要に応じて、「当該重複分割画像における上端の外周ブロック」と称する)は、上隣の重複分割画像における下端の外周ブロックと重複しており、上端の外周ブロックの各ピクセルを上下方向にスムージングを行う場合、上端の外周ブロックの1段下の内周ブロックのピクセルの位置を考慮して、各ピクセルを移動させることになるが、上端の外周ブロックを取り扱う位置ずれ補正部12では、上隣の重複分割画像における下端の外周ブロックの1段上の内周ブロックのピクセルの位置が分からないため、上隣の重複分割画像における下端の外周ブロックの1段上の内周ブロックのピクセルの位置を考慮しないで、各ピクセルを移動させることになる。
【0041】
一方、上隣の重複分割画像における下端の外周ブロックを上下方向にスムージングを行う場合、下端の外周ブロックの1段上のピクセルの位置を考慮して、各ピクセルを移動させることになるが、上隣の重複分割画像を取り扱う位置ずれ補正部12では、当該重複分割画像における上端の外周ブロックの1段下の内周ブロックのピクセルの位置が分からないため、当該重複分割画像における上端の外周ブロックの1段下の内周ブロックのピクセルの位置を考慮しないで、各ピクセルを移動させることになる。
このように、重なり関係がある上端の外周ブロックと、上隣の重複分割画像における下端の外周ブロックとでは、上下方向にスムージングを行う際に考慮する隣のブロックのピクセルの位置が異なるため、後段の処理で複数の重複分割画像が接合されると、並列処理を行わない場合の処理結果と異なる不具合が生じる。
【0042】
そのため、スムージング処理部23は、図6に示すように、上端又は下端の外周ブロックについては、左右方向についてだけスムージングを実施して、上下方向のスムージングを実施しないようにする。
ただし、スムージングを行う際、4隅のブロック以外の外周ブロック同士の境界付近では、連続性を高めるために、互いに隣の外周ブロックのピクセルの位置を考慮して、ブロックB’i,j内のピクセルを移動させるようにする。
一方、4隅のブロックでは、後述するようにスムージングが行われないので、外周ブロックと4隅のブロックの境界付近では、4隅のブロックのピクセルの位置を考慮することなく、外周ブロックB’i,j内のピクセルを移動させるようにする。
【0043】
[重複分割画像における4隅のブロック以外の外周ブロック(右端又は左端の外周ブロック)の場合]
右端又は左端の外周ブロックは、右隣又は左隣の重複分割画像と重複しているため、左右方向にスムージングを行うと、後段の処理で複数の重複分割画像が接合されると、並列処理を行わないで処理する場合の処理結果と異なる不具合が生じる。
例えば、右端の外周ブロック(必要に応じて、「当該重複分割画像における右端の外周ブロック」と称する)は、右隣の重複分割画像における左端の外周ブロックと重複しており、右端の外周ブロックの各ピクセルを左右方向にスムージングを行う場合、右端の外周ブロックの1行左の内周ブロックのピクセルの位置を考慮して、各ピクセルを移動させることになるが、右端の外周ブロックを取り扱う位置ずれ補正部12では、右隣の重複分割画像における左端の外周ブロックの1行右の内周ブロックのピクセルの位置が分からないため、右隣の重複分割画像における左端の外周ブロックの1行右の内周ブロックのピクセルの位置を考慮しないで、各ピクセルを移動させることになる。
【0044】
一方、右隣の重複分割画像における左端の外周ブロックを左右方向にスムージングを行う場合、左端の外周ブロックの1行右のピクセルの位置を考慮して、各ピクセルを移動させることになるが、右隣の重複分割画像を取り扱う位置ずれ補正部12では、当該重複分割画像における右端の外周ブロックの1行左の内周ブロックのピクセルの位置が分からないため、当該重複分割画像の右端の外周ブロックの1行左の内周ブロックのピクセルの位置を考慮しないで、各ピクセルを移動させることになる。
このように、重なり関係がある右端の外周ブロックと、右隣の重複分割画像における左端の外周ブロックとでは、左右方向にスムージングを行う際に考慮する隣のブロックのピクセルの位置が異なるため、後段の処理で複数の重複分割画像が接合されると、並列処理を行わない場合の処理結果と異なる不具合が生じる。
【0045】
そのため、スムージング処理部23は、図6に示すように、右端又は左端の外周ブロックについては、上下方向についてだけスムージングを実施して、左右方向のスムージングを実施しないようにする。
ただし、スムージングを行う際、4隅のブロック以外の外周ブロック同士の境界付近では、連続性を高めるために、互いに隣の外周ブロックのピクセルの位置を考慮して、ブロックB’i,j内のピクセルを移動させるようにする。
一方、4隅のブロックでは、後述するようにスムージングが行われないので、外周ブロックと4隅のブロックの境界付近では、4隅のブロックのピクセルの位置を考慮することなく、外周ブロックB’i,j内のピクセルを移動させるようにする。
【0046】
[ブロックB’i,jが重複分割画像の4隅のブロックである場合]
4隅のブロックは、右隣又は左隣の重複分割画像、上隣又は下隣の重複分割画像、右上隣、左上隣、右下隣又は左下隣の重複分割画像などと重複しているため、スムージングを行うと、後段の処理で複数の重複分割画像が接合されると、並列処理を行わないで処理する場合の処理結果と異なる不具合が生じる。
この不具合が生じる理由は、4隅のブロック以外の外周ブロックと同様に、スムージングを行う際に考慮する隣のブロックのピクセルの位置が異なるためである。
そのため、スムージング処理部23は、位置ずれ補正後のブロックB’i,jに対するスムージング処理を実施しない。
【0047】
スムージング処理部23は、位置ずれ補正後のブロックB’1,1〜B’I,Jに対するスムージング処理を実施すると、スムージング処理後のブロックB”1,1〜B”I,J(スムージング処理を実施していない4隅のブロックを含む)を接合して、重複分割画像DPOBJnと同様に、互いに一部分が重複している位置ずれ補正後の重複分割画像DP’OBJn(n=1,2,・・・,N)を生成し、位置ずれ補正後の重複分割画像DP’OBJnを重複分割画像接合部13に出力する。
【0048】
重複分割画像接合部13は、位置ずれ補正部12−1〜12−Nのスムージング処理部23から、位置ずれ補正後の重複分割画像DP’OBJ1,DP’OBJ2,・・・,DP’OBJNを受けると、互いに重複している部分を重ね合わせながら、位置ずれ補正後の重複分割画像DP’OBJ1,DP’OBJ2,・・・,DP’OBJNを接合して、元の対象画像POBJに相当する画像P’OBJを生成する。
なお、重複分割画像接合部13では、重複分割画像生成部11での重複分割画像の分割結果を参照して、位置ずれ補正部12−1〜12−Nの処理結果を単に並べるだけで、元の対象画像POBJに相当する画像P’OBJを生成することができる。
【0049】
以上で明らかなように、この実施の形態1によれば、重複分割画像生成部11により生成された重複分割画像DPOBJnを複数のブロックBi,jに分割する画像分割部21と、画像分割部21により分割されたブロックBi,jの各ピクセルに対応する基準画像PSTDのピクセルを特定して、その基準画像PSTDに対するブロックBi,jの位置ずれΔri,jを計算するとともに、その位置ずれΔri,jを補正する位置ずれ計算部22−1〜22−Mと、位置ずれ計算部22−1〜22−Mによる位置ずれ補正後のブロックB’i,jが1つの重複分割画像だけに属している場合、位置ずれ補正後のブロックB’i,jにおける各ピクセルを4方向にスムージングし、位置ずれ補正後のブロックB’i,jが複数の重複分割画像に属しているが、重複分割画像の4隅のブロックでない場合、複数の重複分割画像が並んでいる方向と90度異なる方向にスムージングし、位置ずれ補正後のブロックB’i,jが4隅のブロックである場合、上記スムージング処理を実施しないスムージング処理部23とから、位置ずれ補正部12−1〜12−Nを構成するようにしたので、並列処理を行わないで処理する場合の処理結果に相当する処理結果を短時間で取得することができる効果を奏する。
即ち、並列処理による処理の高速化が得られるとともに、対象画像POBJを分割しないで基準画像PSTDとの位置合わせを行った場合と同様の処理結果が得られる効果を奏する。
なお、図1の画像処理装置により位置合わせが行われた対象画像P’OBJと基準画像PSTDを用いて、超解像画像などを生成することができる。
【0050】
実施の形態2.
上記実施の形態1では、位置ずれ計算部22−mが、ベクトル情報を参照して、ブロックBi,jの各ピクセルの位置Q及び基準画像PSTDの各ピクセルの位置を求めることで、ブロックBi,jの各ピクセルに対応する基準画像PSTDのピクセルを特定するものを示したが、ブロックBi,jの位置をずらしながら(あるいは、ブロックBi,jの解像度を変えながら)、ブロックBi,jと基準画像PSTDの画像相関を算出し、その画像相関が最高になる位置(あるいは、解像度)を特定することで、ブロックBi,jの各ピクセルに対応する基準画像PSTDのピクセルを特定するようにしてもよい。
【0051】
実施の形態3.
上記実施の形態1では、位置ずれ計算部22−mが、基準画像PSTDに対するブロックBi,jの位置ずれΔri,jを計算して、その位置ずれΔri,jを補正するものを示したが、その補正を行っても、位置ずれΔri,jがゼロにならず、若干の位置ずれが残っている場合がある。
そこで、この実施の形態3では、位置ずれ計算部22−mが、基準画像PSTDに対するブロックBi,jの位置ずれΔri,jを計算して、その位置ずれΔri,jを補正したのち、基準画像PSTDに対する位置ずれ補正後のブロックB’i,jの位置ずれを再度計算し、その計算結果にしたがって基準画像PSTDに対する位置ずれ補正後のブロックB’i,jの位置ずれを再補正するようにする。
これにより、位置ずれの補正精度を高めることができる。
【0052】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【0053】
1 基準画像格納部、2 対象画像格納部、3 分割条件格納部、4 ベクトル情報格納部、11 重複分割画像生成部(重複分割画像生成手段)、12−1〜12−N 位置ずれ補正部(位置ずれ補正手段)、13 重複分割画像接合部(重複分割画像接合手段)、22−1〜22−M 位置ずれ計算部(位置ずれ計算手段)、23 スムージング処理部(スムージング処理手段)。
図1
図2
図3
図4
図5
図6