(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】撮影装置
(51)【国際特許分類】
H04N 23/60 20230101AFI20231129BHJP
H04N 23/695 20230101ALI20231129BHJP
G06T 1/00 20060101ALI20231129BHJP
【FI】
H04N23/60 500
H04N23/698
G06T1/00 280
(21)【出願番号】P 2019193712
(22)【出願日】2019-10-24
【審査請求日】2022-05-18
(73)【特許権者】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100105924
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100116274
【氏名又は名称】富所 輝観夫
(72)【発明者】
【氏名】福井 基文
【審査官】高野 美帆子
(56)【参考文献】
【文献】国際公開第2018/167966(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/60
H04N 23/698
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
狭隘部の側方の正面視画像を生成する撮影装置であって、
前記狭隘部を奥行き方向に移動しながら撮影するカメラと、
学習段階で導かれた学習済みモデルにもとづく変換器を有し、実動作中に、前記カメラから順次出力されるカメラ画像にもとづいて、前記正面視画像を生成する画像処理部と、
を備
え、
前記学習済みモデルは、学習段階において前記カメラを奥行き方向に移動しながら撮影された複数のサンプル画像のうち、所定の第1部分に狭隘部に存在する物体あるいは部分である注視部分が写っている第1画像と、所定の第2部分に前記注視部分が写っている、第1画像よりも奥側で撮影された第2画像と、のペアを利用して、前記第1画像の前記注視部分の像Xと前記第2画像の前記注視部分の像Yとの相関から導かれたものであり、前記学習済みモデルにもとづく変換器は、前記像Xから前記像Yへの変換を実行可能に構成され、
前記画像処理部は、前記実動作中に、前記カメラ画像から所定領域をクロップし、クロップした画像を前記変換器に入力して前記所定領域を高さ方向について高解像度処理した高解像度画像を生成し、前記カメラの移動にともない生成される複数の前記高解像度画像を合成し、前記正面視画像を生成することを特徴とする撮影装置。
【請求項2】
前記所定領域は、前記第1部分を含み、前記第1部分よりも高さ方向に長く定められ、
前記画像処理部は、前記カメラの移動にともない順次生成される前記高解像度画像を横方向に結合し、前記正面視画像を生成することを特徴とする請求項1に記載の撮影装置。
【請求項3】
前記所定領域は、前記第1部分の上側に隣接し、前記第2画像において前記注視部分が高さ方向にフレームアウトする部分に対応付けて定められ、
前記画像処理部は、
前記カメラが移動しながら撮影したカメラ画像のうちのひとつから前記所定領域をクリップして前記変換器に入力して高解像度な第1画像部分を生成し、
前記カメラが移動しながら撮影したカメラ画像のうち、前記第2部分に前記注視部分が写っている別のカメラ画像から、前記注視部分の範囲を選択して第2画像部分を生成し、
前記第1画像部分と前記第2画像部分とを高さ方向に連結して前記高解像度画像を生成し、
前記カメラの移動にともない複数の生成される前記高解像度画像を合成し、前記正面視画像を生成することを特徴とする請求項1に記載の撮影装置。
【請求項4】
前記画像処理部は、異なる時刻において撮影された複数の前記カメラ画像を含む画像セットにもとづいて高解像度画像を生成することを特徴とする請求項1に記載の撮影装置。
【請求項5】
前記画像セットに含まれる複数のカメラ画像それぞれについて、
同じ物体が写るべき異なる位置に所定領域が定められており、
前記画像処理部は、各カメラ画像から対応する所定領域をクロップし、クロップした画像を前記学習済みモデルに入力して高解像度中間画像を生成し、
前記複数のカメラ画像について得られた複数の高解像度中間画像を合成して、前記高解像度画像を生成することを特徴とする請求項4に記載の撮影装置。
【請求項6】
前記高解像度画像は、ベクトルデータであることを特徴とする請求項2から5のいずれかに記載の撮影装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、狭隘部に適した撮影装置に関する。
【背景技術】
【0002】
トンネルや狭い路地、室内、狭い凹部を有する構造物、間隔が狭い2枚の壁に挟まれた空間をはじめとする狭隘部において、その周辺や内部構造(以下、被写体という)を撮影したい場合がある。狭隘部においては、カメラと被写体との距離を十分にとることができないため、カメラと被写体とを正対させると、広角なレンズを用いた場合であっても、被写体の一部分がカメラに写らない状況が生じうる。
【0003】
特許文献8には、被写体に沿ってカメラを移動しながら、被写体を近くで斜め方向から撮影し、撮影画像から被写体を含む部分をクロップし、正面から撮影した画像に変換し、変換後の画像を、走査方向にならって順に繋げて合成する技術が開示される。この手法によれば、カメラを被写体に正対させた場合に比べて視野を広くすることができる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2004-312549号公報
【文献】国際公開WO08/102898号公報
【文献】特開2007-323616号公報
【文献】特開2010-073035号公報
【文献】特開2012-022652号公報
【文献】特開2012-109737号公報
【文献】特開2013-250891号公報
【文献】特開2011-126989号公報
【非特許文献】
【0005】
【文献】R. Timofte, V.D. Smet, and L. V. Gool., "A+: Adjusted Anchored Neighborhood Regression for Fast Super-Resolution. ACCV, 2014"
【文献】C. Dong, C. C. Loy, K. He, and X. Tang. "Image Super-Resolution Using Deep Convolutional Networks", TPAMI, 2016
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献8に記載の技術であっても、高さ方向の撮影範囲が十分でない状況が生じうる。この問題を解決するアプローチとして、カメラを高さ方向(ピッチング方向)にチルトさせながら撮影を行い、複数の画像を合成する方法が考えられる。しかしながらこの方法では、カメラをチルトさせる必要があるため、撮影装置全体が構造的に複雑となる。また、複数回の撮影が必要となるため、時間がかかる。
【0007】
この問題を解決する別のアプローチとして、異なる方向を向いた、あるいは高さが異なる位置に配置された複数のカメラを設けて撮影する方法が考えられる。しかしながらこの場合、複数のカメラが必要となるため、システムが複雑化し、またコストが高くなる。
【0008】
本発明は係る課題に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、狭隘部に適した撮影装置の提供にある。
【課題を解決するための手段】
【0009】
本発明のある態様は、狭隘部の側方の正面視画像を生成する撮影装置に関する。撮影装置は、狭隘部を奥行き方向に移動しながら撮影するカメラと、注視部分とカメラが相対的に遠いときのカメラの画像における注視部分の像と、注視部分とカメラが相対的に近いときのカメラの画像における注視部分の像との相関から導かれた学習済みモデルを有しており、実動作中に、カメラから順次出力されるカメラ画像にもとづいて、正面視画像を生成する画像処理部と、を備える。
【0010】
画像処理部は、カメラ画像から所定領域をクロップし、クロップした画像を学習済みモデルに入力して高解像度画像を生成し、カメラの移動にともない順次生成される高解像度画像を合成し、正面視画像を生成してもよい。
【0011】
画像処理部は、異なる時刻において撮影されたカメラ画像のペアの一方に含まれ、他方に含まれない第1領域をクロップし、クロップした画像を学習済みモデルに入力して高解像度部分画像を生成し、高解像度部分画像を、カメラ画像のペアの他方の第2領域の画像と結合して、高解像度画像を生成し、カメラの移動にともない順次生成される高解像度画像を合成し、正面視画像を生成してもよい。
【0012】
画像処理部は、異なる時刻において撮影された複数のカメラ画像を含む画像セットにもとづいて高解像度画像を生成してもよい。
【0013】
画像セットに含まれる複数のカメラ画像それぞれについて、異なる位置に所定領域が定められており、画像処理部は、各カメラ画像から対応する所定領域をクロップし、クロップした画像を学習済みモデルに入力して高解像度中間画像を生成し、複数のカメラ画像について得られた複数の高解像度中間画像を合成して、高解像度画像を生成してもよい。
【0014】
高解像度画像は、ベクトルデータであってもよい。
【0015】
なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【0016】
本発明によれば、狭隘部に適した撮影装置を提供できる。
【図面の簡単な説明】
【0017】
【
図1】
図1(a)は、実施の形態に係る撮影装置の撮影対象を説明する図であり、
図1(b)は、撮影装置の出力である最終画像を示す図である。
【
図2】実施の形態に係る撮影装置のブロック図である。
【
図3】
図3(a)は、カメラの移動を説明する図であり、
図3(b)、(c)は、
図3(a)のカメラの視点A,Bにおいて得られる2枚の画像IMG_A,IMG_Bを示す図である。
【
図4】
図4(a)、(b)は、第1比較技術および第2比較技術において得られる正面視画像を示す図である。
【
図6】
図6(a)、(b)は、超解像処理を説明する図である。
【
図7】
図7(a)~(c)は、撮影装置の動作を説明する図である。
【
図9】
図9(a)、(b)は、正面視画像合成部の処理を説明する図である。
【
図10】ディスプレイのユーザインタフェースを示す図である。
【
図11】変形例1に係る超解像処理を説明する図である。
【
図12】変形例2に係る超解像処理を説明する図である。
【発明を実施するための形態】
【0018】
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
【0019】
図1(a)は、実施の形態に係る撮影装置100の撮影対象を説明する図である。撮影装置100の撮影対象は狭隘部2(この例では道路)の側方である。撮影装置100は、狭隘部2を奥行き方向に進行しながら、両側あるいは片側を撮影する。以下では、説明の簡潔化と理解の容易化のため、撮影装置100の左側方に着目して説明する。
【0020】
図1(b)は、撮影装置100の出力である最終画像IMGfを示す図である。最終画像IMGfは、狭隘部の側方(ここでは左側方)の正面視画像であり、狭隘部2の左側に存在する複数の物体OBJ1~OBJ3が含まれている。
【0021】
図2は、実施の形態に係る撮影装置100のブロック図である。撮影装置100は、カメラ110および画像処理部120を備える。カメラ110は、撮影装置100の進行方向正面に向けられている。あるいは左側方のみを測定する場合には、カメラ110は左側にわずかに傾けて配置してもよい。
【0022】
カメラ110は、狭隘部を奥行き方向に移動しながら、連続的に撮影を行う。カメラ110は、スチルカメラであってもよいし、ビデオカメラであってもよい。
【0023】
図3(a)は、カメラの移動を説明する図である。
図3(a)には、狭隘部2を横から見た様子が示される。
図3(b)、(c)は、
図3(a)のカメラの視点A,Bにおいて得られる2枚のカメラ画像IMG_A,IMG_Bを示す図である。
【0024】
中央の物体OBJ2(この例ではビル)に着目する。手前側の視点Aから写した画像IMG_Aには、物体OBJ2の正面の全体が写っているが、そのサイズは小さいため、物体OBJ2の解像度は低いといえる。
【0025】
より被写体である物体OBJ2に近い視点Bから写した画像IMG_Bには、物体OBJ2が、画像IMG_Aよりも大きく、その細部まで高解像度で写っている。ただし物体OBJ2の正面の全体は写っていない。
【0026】
実施の形態に係る撮影装置100の画像処理を説明する前に、いくつかの比較技術を説明する。
【0027】
第1比較技術では、被写体(注視部分)に近い位置で撮影した画像から、当該被写体を含む領域(
図3(b)、(c)の領域RGN1)をクロップして、それを正面視変換して合成する。
図4(a)は、第1比較技術において得られる正面視画像を示す図である。第1比較技術では、高解像度な正面視画像を得ることができるが、被写体の上側が欠けることとなる。
【0028】
第2比較技術では、被写体から遠い位置で撮影した画像から、被写体の全体が写っている領域(
図3(b),(c)の領域RGN2)をクロップして、それを正面視変換して、合成する。
図4(b)は、第2比較技術において得られる正面視画像を示す図である。第2比較技術では、被写体の正面の全体を観察できるが、正面視変換により画像が引き伸ばされるため解像度が低下し、ピンボケのようにエッジや輪郭が滲んで見える。
【0029】
図2に戻り、本実施の形態における画像処理について説明する。画像処理部120は、カメラ110の出力にもとづいて最終画像IMGfを生成する。画像処理部120は、CPU(Central Processing Unit)などの演算処理手段と、ソフトウェアプログラムの組み合わせで実装することができる。
【0030】
画像処理部120には、機械学習によって予め生成された学習済みモデル122が実装される。学習済みモデル122の機械学習について説明する。学習済みモデル122は、画像の超解像処理に利用される。
【0031】
超解像処理は、学習データを必要としない古典的な手法(たとえばbilinear法、Lanczos法)などを用いてもよいが、その場合、精度が問題となる。そこで本実施の形態では、非特許文献1に開示されるA+法や、非特許文献2に開示されるSRCNN法などの、学習ベースの手法を採用するものとする。A+法は、学習データから、スパース辞書と呼ばれる学習モデルを構築する手法である。SRCNN法は、深層学習を使った手法である。学習画像としては、汎用コーパスを用いてもよいし、独自に用意してよい。学習済みモデル122の学習には、低解像度画像と高解像度画像のペアが必要となるが、しばしば用いられるのが、高解像度画像とそれを上述の古典的手法を用いて低解像度化した画像である。低解像度画像に対応する高解像度画像の拡大率は事前に定めた値(仮にrとする)を用いる。
【0032】
一方、学習データとして、撮影装置100が使用される環境、あるいはそれと近い環境で入手した画像を用いることもできる。
図5は、学習を説明する図である。学習段階において、カメラ110を移動させながら複数のサンプル画像SIを撮影する。このサンプル画像SIが、学習データとして使用される。狭隘部に存在するある物体あるいは部分(注視部分という)は、異なる位置から撮影された複数のサンプル画像に、異なるサイズで異なる位置に写る。
【0033】
図5において、X
#とY
#(#=1,2,…)は、同じ注視部分を含む領域を表している。ある注視部分に着目したときに、注視部分とカメラが相対的に遠いときのサンプル画像を第1画像と称する。また同じ注視部分とカメラが相対的に遠いときのサンプル画像を第2画像と称する。学習済みモデルは、第1画像における注視部分の像X
#と、第2画像における注視部分の像Y
#の相関にもとづいて導かれる。像X
#は、注視部分の広範囲かつ低解像度な画像であり、像Y
#は、注視部分の狭範囲かつ、高解像な画像である。学習済みモデル122は、XからYへの変換処理を実行するものと把握できる。この変換処理を写像fで表す。
Y
#=f(X
#)
上述のように、像X
#、Y
#のペアは、幅が1ピクセルの一次元画像(ベクトル)であってもよい。この場合、像Y
#の高さ(ピクセル数)は、像X
#の高さ(ピクセル数)のr倍である。
【0034】
像X#、Y#のペアを、幅が2ピクセル以上の二次元画像とする場合、それらの形状は異なっていてもよい。なぜならカメラの光学系によって同じ被写体までの距離や位置に応じてパースが付くため、それらの形状は異なって撮影されるからである。
【0035】
複数のサンプル画像から、複数の注視部分それぞれについて、像X#とY#のペアを学習器に入力することにより、学習済みモデルとして、変換器Y=f(X)を得ることができる。画像処理部120においては、超解像処理に加えて、デノイジング処理を施してもよい。
【0036】
図2に戻る。画像処理部120は、撮影装置100の動作中に、カメラ110の出力画像から、所定領域をクロップし、所定領域に含まれる低解像度画像を、学習済みモデルである変換器に入力する。その結果、所定領域全体を超解像処理した画像(高解像度画像)が得られる。
図6(a)、(b)は、超解像処理を説明する図である。
図6(a)は、一次元の低解像度画像IMGlを入力する場合を示す。高解像度画像IMGhは、カメラの位置が、注視部分に近づいたときに得られる画像を推定したものと把握でき、その高さh’は、低解像度画像IMGlの高さhのr倍(r>1)である。
【0037】
図6(b)は、二次元の低解像度画像を入力する場合であり、高解像度画像IMGhの高さh’は、低解像度画像IMGlの高さhのr倍である。高解像度画像IMGhの幅w’は、低解像度画像IMGlの幅wと等しくてもよいし、それより大きくてもよい。
【0038】
図2に戻る。画像処理部120は、カメラ110の移動にともなって順次生成される高解像度画像を結合し、正面視画像である最終画像IMGfを生成する。
【0039】
以上が撮影装置100の構成である。続いてその動作を説明する。
図7(a)~(c)は、撮影装置100の動作を説明する図である。
図7(a)は、ある時刻において得られたカメラ110の出力画像を示す。画像処理部120は、
図7(a)の画像の中から、所定領域RGNcを抽出する。この例では、所定領域RGNcの横幅は2ピクセル以上であり、クロップされる低解像度画像は、二次元画像データであるが、所定領域RGNcの横幅を1ピクセルとして、低解像度画像を一次元ベクトルデータとしてもよい。
【0040】
図7(b)は、領域RGNc内の画像データを、学習済みモデル122に入力して得られる高解像度画像IMGhを示す。比較のために、
図3(c)の画像IMG_Bのフレームを一点鎖線で示す。この高解像度画像IMGhは、画像IMG_Bのフレームからはみ出した部分についても、ディテールが豊富である。
【0041】
図7(c)は、
図7(b)の高解像度画像IMGhを、正面視変換した画像IMGgを示す。
図7(a)~(c)の処理を、カメラの位置を変えながら、言い換えると異なる時刻において得られたカメラ画像に対して繰り返すことで、複数の正面視高解像度画像IMGgが生成される。そしてそれらを結合することにより、
図1(b)の最終画像IMGfを得ることができる。
【0042】
続いて、撮影装置100の具体的な構成を、実施例を参照して説明する。
【0043】
図8は、実施例に係る撮影装置200のブロック図である。撮影装置200は、画像撮影部202、入力画像決定部204、鮮明化処理部206、正面視画像合成部208、画像出力部210を備える。
【0044】
入力画像決定部204は、画像の取得手段であり、
図2のカメラ110に対応する。入力画像決定部204は、カメラと、カメラを移動させる手段、カメラの位置あるいは移動距離を取得する手段、カメラの姿勢を制御する手段などを含みうる。入力画像決定部204が撮影した画像は、位置情報とともに、入力画像決定部204に入力される。
【0045】
入力画像決定部204、鮮明化処理部206、正面視画像合成部208は、
図2の画像処理部120に対応付けることができる。
【0046】
入力画像決定部204は、画像撮影部202において得られた画像および位置情報を受け、入力された画像の一部分(
図7(b)の所定領域RGNcに相当、以下、選択領域という)を選択し、それを出力する。選択領域は、カメラから遠くに位置する比較的広い範囲を撮影した領域であり、カメラから遠すぎて鮮明度(実効的な解像度)が低い領域である。選択領域は、線状(ベクトル)であってもよいし、幅をもった領域(画像)であってもよい。選択領域の画像データは、位置情報とともに鮮明化処理部206に供給される。
【0047】
鮮明化処理部206は、入力画像決定部204からの選択領域を受け、鮮明度を高めた画像を出力する。「鮮明化」とは、超解像処理のように、画像を拡大する機能や、ノイズを除去する機能(デノイジング)を含む。超解像処理の場合、選択領域がベクトルデータの場合は、その要素数を定数倍したサイズのベクトルを出力とする。選択領域が幅を持つ二次元画像データの場合は、縦方向と横方向のピクセル数を定数倍したサイズの画像を出力するものとする。鮮明化処理部206の出力は、高解像化された画像(一次元のベクトルあるいは二次元画像)およびその位置情報を含む。高解像度画像を生成する手段としては、
図2の学習済みモデル122を用いることができる。
【0048】
図9(a)、(b)は、正面視画像合成部208の処理を説明する図である。正面視画像合成部208は、鮮明化処理部206から出力される高解像度画像を、それとともに出力された位置情報を利用して繋ぎ合わせて、1枚の大きな最終画像IMGfを生成する。高解像度画像が一次元画像(ベクトル)である場合には、
図9(a)に示すように、複数の高解像度画像L1~Lnを横方向に結合すればよい。高解像度画像が二次元画像である場合には、
図9(b)に示すように、のりしろ部4を設けて貼り合わせてもよい。この場合、のりしろ部4での画素値は、対応する画素の平均値を用いたり、最大値を用いてもよい。この処理によって、正面視画像を得ることができる。貼り合わせ処理の結果、接合部において異様なエッジなどが生じる場合、それを滑らかにする後処理を行ってもよく、たとえばガウシアンフィルタやウィーナーフィルタなどを用いることができる。
【0049】
なお、貼り合わせの前処理、あるいは後処理として、正面視した画像に近づけるために、カメラの位置情報補正などの変換処理を行ってもよい。
【0050】
図8に戻る画像出力部210は、正面視画像合成部208によって得られた最終画像IMGfを出力する。画像出力部210は、ディスプレイを備え、最終画像IMGfをユーザに視覚的に提示してもよい。画像出力部210は、拡大縮小機能を有してもよい。また、最終画像が複数存在するような場合には、それらを同時に表示する機能、それらを択一的に表示する機能を備えてもよい。最終画像のサイズが大きい場合には、スライドバーなどのGUI(Graphical User Interface)によって、表示部分を変化させるようにしてもよい。
【0051】
また、画像出力部210は、ユーザにとって関心がある部分(たとえば異常部分や損傷部分)にマーカー付して強調表示する機能を有してもよい。またユーザが関心を持つ部分の位置情報を計算し、その値を表示する機能を有してもよい。なお、画像出力部210は、最終画像IMGfのデータを、記憶媒体に保存してもよい。
【0052】
図10は、ディスプレイのユーザインタフェースを示す図である。ディスプレイ300の領域302には、カメラの出力画像が表示される。この領域302と付随して、再生、停止、巻き戻しのボタン306が設けられており、領域302に表示する画像(あるいはフレーム)を制御できるようになっている。
【0053】
領域302には、マーキング308が表示可能となっている。マーキング308は、ユーザが指定する領域であり、マーキング308の表示の有無は、マーキングボタン310によって制御可能である。たとえば撮影装置200が診断装置である場合には、マーキング308で囲まれる領域が、異常検出処理の対象となり、領域内の異常箇所や損傷箇所が検出される。
【0054】
領域310には、画像処理によって得られた最終画像IMGfが表示される。領域310は、複数のコラム312に分割されてもよい。たとえば、複数のコラム312には、最終画像IMGfの異なる部分を選択的に表示してもよい。また、狭隘部の右側と左側の両方の正面視画像を生成する場合には、複数のコラム312の一方に左側面の最終画像を、他方に右側面の最終画像を表示してもよい。コラム312に、最終画像の全体が表示できない場合には、スライドバー314を表示するようにして、表示範囲をユーザが選択できるようにしてもよい。スライドバー314に加えて、あるいはそれに代えて、画像を拡大、縮小するためのボタンを追加してもよい。
【0055】
領域310にも、マーキング316が表示可能であり、マーキング316の表示部(つまり310)は、ボタン320,322によって拡大、縮小の制御が可能となっている。
【0056】
以上が撮影装置200の構成である。撮影装置200によれば、広い範囲が撮影された正面視画像を生成することができ、人間が目視で画像中のどこに何が存在するのかを発見することが容易となる。さらに歪みが殆どないため、どこに何が存在するかを、画像認識処理により自動的に見つけることが容易となる。したがって、撮影装置200の出力を利用した、目視処理や自動画像認識処理の精度を向上できる。
【0057】
撮影装置100や撮影装置200の用途は特に限定されないが、トンネルや土管、コークス炉など、測定対象が細長く、カメラを壁面に正対させることができない場合、設置することが困難な場合に広く適用できる。
【0058】
以上、本発明を実施例にもとづいて説明した。本発明は上記実施形態に限定されず、種々の設計変更が可能であり、様々な変形例が可能であること、またそうした変形例も本発明の範囲にあることは、当業者に理解されるところである。以下、こうした変形例を説明する。
【0059】
(変形例1)
これまでの超解像処理では、ひとつの注視部分の高解像度画像を、1枚の画像を利用して生成したが、変形例1では、異なる距離で撮影された複数のカメラ画像のセットを利用して、ひとつの注視部分の高解像度画像を生成する。
図11は、変形例1に係る超解像処理を説明する図である。
図11には、異なる時刻において得られる、言い換えると、同じ注視部分を異なる距離から撮影した複数(この例では3枚)のカメラ画像が示される。複数のカメラ画像それぞれに対して、同じ注視部分を包含するように、固有の領域が定められている。各カメラ画像から、固有の領域の画像をクロップし、3枚の低解像度画像IMGl1~IMGl3が生成される。3枚の低解像度画像IMGl1~IMGl3に超解像処理を施すことにより、3枚の高解像度中間画像IMGh1~IMGh3が得られる。3枚の高解像度中間画像IMGh1~IMGh3を合成し、1枚の高解像度画像IMGhが生成される。
【0060】
(変形例2)
図12は、変形例2に係る超解像処理を説明する図である。
図6(a)、(b)の超解像処理では、クロップする領域が、注視部分の全体を含むように定められていた。これに対して
図12の変形例では、注視部分の一部をクロップして、超解像処理を施す。
図12の左側は、注視部分400から遠いときに得られる画像を、
図12の右側は、注視部分400に近いときに得られる画像を示す。
図12の画像中、符号402はカメラが注視部分に近づいたときに、フレームアウトする部分を表す。この変形例では、この部分402をクロップし、クロップした画像に超解像処理を施す。その結果、カメラが注視部分に近接したときにフレームアウトする部分の高解像度な画像部分(高解像度部分画像)404が得られる。また、カメラが注視部分に近接したときに得られる画像にフレームインしている注視部分の範囲406が選択され、2つの部分404と406を結合することにより、高解像度画像IMGhを生成できる。
【符号の説明】
【0061】
2 狭隘部
100 撮影装置
110 カメラ
120 画像処理部
122 学習済みモデル
200 撮影装置
202 画像撮影部
204 入力画像決定部
206 鮮明化処理部
208 正面視画像合成部
210 画像出力部