(58)【調査した分野】(Int.Cl.,DB名)
前記撮像画像は、前記ラインセンサの画素の並びの方向を前記撮像装置の移動方向に沿わせて撮像したCT(Cross−Track)撮像画像である請求項1から請求項3のいずれか1項に記載の光感度校正装置。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。
【0011】
実施の形態1.
図1は、CT撮像の概要を示す図である。
図1では、ラインセンサ90を用いてプッシュブルーム方式で地上の画像を取得する撮像装置を進行方向に90度傾けた状態を示している。これにより、撮像装置の移動方向と画素の並びの方向とが概ね一致する。しかし、ラインセンサ90の設置位置の誤差、あるいは、光学系に存在する歪曲収差といった要因により、撮像対象のフットプリント91にずれが生じる場合がある。
【0012】
***構成の説明***
図2は、本実施の形態に係る光感度校正装置100の構成例である。
光感度校正装置100は、画像取得部1と、計算領域設定部2と、装置特性データベース3と、空間周波数特性データベース4と、校正係数算出部5と、校正係数出力部6を備える。
画像取得部1は、ラインセンサを備えた撮像装置20と接続される。撮像装置20は、具体的には、レンズおよび光学センサといった部品から構成される。画像取得部1は、撮像装置20と通信する機能を有する。画像取得部1は、撮像装置20により撮像された撮像画像51を取得する。撮像画像51は、撮像装置20のCT撮像によって得られた任意の撮像対象の画像である。具体的には、撮像画像51は、ラインセンサの画素の並びの方向を撮像装置20の移動方向に沿わせて撮像したCT撮像画像である。画像取得部1は、CT撮像画像51を校正係数算出部5へ出力する。
【0013】
計算領域設定部2は、ラインセンサに含まれる画素のうち、同一の対象を撮像しているものとみなす領域を設定画素領域52として設定する。設定画素領域52とは、ラインセンサ上の各画素間の感度偏差を計算する際に、同一の撮像対象をサンプリングしているとみなす画素の領域である。計算領域設定部2は、設定画素領域52として、最大でラインセンサ上の全画素、最小で2画素までの値を設定する。計算領域設定部2は、装置特性データベース3および空間周波数特性データベース4を参照し、設定画素領域52を設定する。計算領域設定部2は、装置特性54と空間周波数特性55とに基づいて、設定画素領域52を設定する。計算領域設定部2は、感度偏差計算領域設定部ともいう。
【0014】
校正係数算出部5は、画像取得部1により取得された撮像画像51から画素間感度偏差を計算し、画素間感度偏差を均一化する輝度感度校正係数53を算出する。すなわち、校正係数算出部5は、ラインセンサに含まれる画素を均一にする輝度感度校正係数53を算出する。校正係数算出部5は、ラインセンサに含まれる設定画素領域52のうち隣り合う2つの設定画素領域52に含まれる複数の画素の出力を均一にする各画素の校正係数を補正校正係数532として算出し、この補正校正係数532を用いて、輝度感度校正係数53を算出する。
具体的には、校正係数算出部5は、まず、設定画素領域52における画素間の感度偏差を算出する。そして、校正係数算出部5は、画素間の感度偏差を用いて、設定画素領域52における画素の出力を均一化する各画素の校正係数を領域内校正係数531として算出する。次に、校正係数算出部5は、隣り合う設定画素領域52の境界付近の画素同士で出力を均一化する補正校正係数532を計算する。そして、校正係数算出部5は、領域内校正係数531と補正校正係数532とを用いて、輝度感度校正係数53を算出する。このとき、校正係数算出部5は、補正校正係数531をそれぞれの画素が属する設定画素領域52の全体に適用する。このようにして、校正係数算出部5は、隣り合う設定画素領域52同士の出力を均一化する。校正係数算出部5は、上記処理を繰り返すことでラインセンサを構成する画素全体の出力を均一化し、放射輝度感度を均一化する輝度感度校正係数53を算出する。校正係数算出部5は、感度偏差校正係数算出部ともいう。
校正係数出力部6は、校正係数算出部5により算出された各画素の輝度感度校正係数53を出力する。
【0015】
また、光感度校正装置100は、撮像装置20の特性を装置特性54として記憶する装置特性データベース3と、撮像装置20により撮像される撮像対象の空間周波数特性55を記憶する空間周波数特性データベース4とを備える。
【0016】
光感度校正装置100は、電子回路909を備えるとともに、メモリ920、入力インタフェース930、および出力インタフェース940といった他のハードウェアを備えている。
計算領域設定部2と校正係数算出部5の機能は、電子回路909により実現される。
画像取得部1は入力インタフェース930に備えられる。
校正係数出力部6は出力インタフェース940に備えられる。
装置特性データベース3と空間周波数特性データベース4は、メモリ920に備えられる。
【0017】
電子回路909は、計算領域設定部2と校正係数算出部5の機能を実現する専用の電子回路である。
電子回路909は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、ASIC、または、FPGAである。GAは、Gate Arrayの略語である。ASICは、Application Specific Integrated Circuitの略語である。FPGAは、Field−Programmable Gate Arrayの略語である。
計算領域設定部2と校正係数算出部5の機能は、1つの電子回路で実現されてもよいし、複数の電子回路に分散して実現されてもよい。
【0018】
メモリ920は、データを一時的に記憶する記憶装置である。メモリ920の具体例は、SRAM(Static Random Access Memory)、あるいはDRAM(Dynamic Random Access Memory)である。
【0019】
入力インタフェース930は、撮像装置20と接続されるポートである。入力インタフェース930は、具体的には、USB(Universal Serial Bus)端子である。
出力インタフェース940は、ディスプレイといった出力機器のケーブルが接続されるポートである。出力インタフェース940は、具体的には、USB端子またはHDMI(登録商標)(High Definition Multimedia Interface)端子である。ディスプレイは、具体的には、LCD(Liquid Crystal Display)である。校正係数出力部6は、校正係数算出部5より得られた輝度感度校正係数53をディスプレイに出力しても良いし、外部に出力し、外部のメモリに格納しても良い。
【0020】
***動作の説明***
図3を用いて、本実施の形態に係る光感度校正装置100の動作について説明する。
ステップS101において、画像取得部1は、撮像画像51を取得する。
ステップS102において、計算領域設定部2は、装置特性データベース3を参照し、撮像装置20の特性を装置特性54として取得する。装置特性54は、フットプリント形状および中心位置ずれ量の計算に必要な情報である。装置特性54は、具体的には、画素ピッチ、歪曲収差、あるいはセンサを基板に設置する際の設置角の公差といった特性である。
ステップS103において、計算領域設定部2は、空間周波数特性データベース4を参照し、撮像対象の空間周波数特性55を取得する。本実施の形態では、計算領域設定部2は、空間周波数特性として、MTF(Modulation Transfer Function)という指標を取得する。撮像対象のMTFは、具体的には、撮像対象を直上から撮像した航空写真あるいは衛星写真から得られる。
【0021】
図4は、本実施の形態に係る画素間感度偏差の測定における誤差要因の一例を示す図である。
フットプリントの変形あるいは移動を引き起こす要因は複数存在する。具体例として、
図4に示すように、撮像装置移動方向、すなわちy軸方向と、ラインセンサ90の並びの方向が一致していない場合を考える。CT撮像を行なう場合、撮像装置移動方向とラインセンサの並びの方向が一致することが理想的である。しかし、ラインセンサの基板上への設置に際して、水平面内にセンサ設置角誤差δ[deg]が発生した状態でラインセンサが設置されることがある。このように、センサ設置角誤差δ[deg]が発生した状態でラインセンサが設置されると、撮像装置移動方向とラインセンサの並びの方向とにずれが生じる。これにより撮像対象のフットプリントもセンサ設置角誤差の分だけ回転する。よって、ラインセンサ上の各画素のサンプリング位置は画素間の距離とセンサ設置角誤差の正弦に比例した距離だけx方向に移動する。このため撮像対象の放射輝度分布の変化がx方向フットプリントサイズ以下の間隔で生じている場合、センサ設置角誤差の有無により各画素出力が変化してしまう。よって、各画素が同一の被写体を観測していることを前提として各画素出力のヒストグラムマッチングを行なう画素間感度偏差の計算結果において誤差を生じる。
【0022】
ステップS104において、計算領域設定部2は、フットプリントの変形あるいは移動による画素間感度偏差の測定誤差の低減のために、画素を任意の大きさでビニングした際の、ビニングサイズに対するナイキスト空間周波数の変化特性を求める。
図4に示すように、画素のビニングサイズが大きいほど、ビニングした領域全体のx方向の幅が大きくなる。そして、ビニングした領域を1画素としてとらえたときのナイキスト空間周波数が低くなる。これを感度偏差計算領域の広さに対する仮想的なナイキスト空間周波数の変化特性と呼称する。
【0023】
ステップS105において、計算領域設定部2は、ステップS103において取得したMTFから、任意に設定した閾値以上の値を示す最大空間周波数を求める。具体的には、閾値は、MTFが十分低く、該当する空間周波数のパターンが撮像画像に現れないと見なせる値である。例えば、周波数0[cycle/pixel]におけるMTFの値に対して1%の値と定める。
【0024】
ステップS106において、計算領域設定部2は、ステップS104で求めたナイキスト空間周波数の変化特性より、ステップS105で求めた最大空間周波数とナイキスト空間周波数が一致する感度偏差計算領域の広さを求める。例えば、
図4のようにセンサ設置角誤差が存在する場合の特性を考える場合、連続して配置されたn個の画素で構成される小領域を1つの画素とみなした際のx方向空間分解能Δx’は、以下の(式1)で表される。
Δx’=Δx(n−1)sinδ+Δycosδ (式1)
Δx,Δyはそれぞれ撮像装置20のx,y方向空間分解能である。通常、Δx=Δyである。
【0025】
また、小領域に対応するナイキスト空間周波数f
N’は、以下の(式2)で表される。f
N’=1/(2Δx’)
=(1/2)・(1/(Δx(n−1)sinδ+Δycosδ)) (式2)
フットプリントが変化する要因としてセンサ設置角誤差のみを考える場合、(式2)よりMTFがしきい値S
th以下となる空間周波数f
thがf
N’と等しくなるよう画素数nを感度偏差計算領域の広さ、すなわち設定画素領域52として決定する。
【0026】
ステップS107において、校正係数算出部5は、ステップS106で求めた設定画素領域52でセンサを区切り、区切った領域内に限ってCT撮像によって各画素が同一の撮像対象を撮像可能とみなす。
【0027】
図5は、本実施の形態に係る画素間感度偏差の測定における偏差が存在する場合の画素出力を示す図である。
設定画素領域52内の画素間に感度偏差が存在する場合、同一の撮像対象を撮像した際に
図5に示すような放射輝度感度−画素出力特性の偏差が観測される。校正係数算出部5は、同一の撮像対象、すなわち取得放射輝度が等しい撮像対象に対する各画素間の出力偏差を求め、出力偏差を均一化する領域内校正係数531を求める。すなわち、各画素で同一の被写体をサンプリングした際に、出力画素が均一になるよう、すなわち入力放射輝度に対する出力画素値特性を均一するように、各画素の領域内校正係数531を算出する。このように、校正係数算出部5は、設定画素領域52内における各画素出力が均一となるような領域内校正係数531を、設定画素領域52内の画素1つ1つに対して求める。なお、画素出力とは、電気信号あるいは画素値である。
【0028】
ステップS108において、校正係数算出部5は、ステップS107で求めた領域内校正係数531を用いて、設定画素領域52内における各画素出力を均一化する。具体的には、校正係数算出部5は、領域内校正係数531を各画素の出力値にかけることにより、各画素の出力値を補正する。
【0029】
図6は、本実施の形態に係る輝度感度校正係数53の計算手法を示す図である。
ステップS109において、校正係数算出部5は、区切った設定画素領域52同士の放射輝度感度を均一化するよう領域内校正係数531を補正する。
図6に輝度感度校正係数53の計算手法の概要を示す。なお、
図6の(1)は、ステップS107およびステップS108の処理である。
校正係数算出部5は、区切った設定画素領域52の境界に接する2画素について、同一の撮像対象を撮像可能であるとみなし、画素間感度偏差を0にするように、ステップS107で求めた領域内校正係数531を補正する補正校正係数532を求める。なお、同一の撮像対象を撮像すると見なす画素をステップS106で求めた数まで増やして画素間感度偏差を求めてもよい。校正係数算出部5は、得られた補正校正係数532をそれぞれの画素が属する設定画素領域52内のその他の画素の領域内校正係数531に対して適用する。具体的には、校正係数算出部5は、得られた補正校正係数532をそれぞれの画素が属する設定画素領域52内のその他の画素の領域内校正係数531にかけることで、各画素の輝度感度校正係数53を計算する。このように、校正係数算出部5は、隣り合う設定画素領域52同士の放射輝度感度−画素出力特性を校正し均一化する。
図6の(2),(3)は、ステップS109の処理である。
【0030】
ステップS110において、校正係数算出部5は、ラインセンサ90上の全画素の放射輝度感度−画素出力特性が均一化されるまで、ステップS109を繰り返す。また、ステップS109およびステップS110の処理を、各設定画素領域52の放射輝度感度−画素出力特性の平均を求め、各設定画素領域52の放射輝度感度−画素出力特性が平均の放射輝度感度−画素出力特性と等しくなるよう輝度感度校正係数を算出する処理に代えてもよい。なお、この場合、各設定画素領域52内の放射輝度感度−画素出力特性は、各画素で特性が等しくなるように校正されているものとする。
【0031】
ステップS111において、校正係数出力部6は、校正係数算出部5より得られた輝度感度校正係数53をディスプレイに出力する。あるいは、校正係数出力部6は、ラインセンサ90上の全画素の放射輝度感度−画素出力特性が均一化される際の、各画素の輝度感度校正係数53を外部に出力し、外部のメモリに格納しても良い。
【0032】
***他の構成***
<変形例1>
図7は、本実施の形態の変形例に係る光感度校正装置100の構成例である。
本実施の形態の変形例として、計算領域設定部2と校正係数算出部5の機能をハードウェアで構成するのではなく、各部をコンピュータで構成してもよい。光感度校正装置100は、プロセッサ910を備えるとともに、メモリ920、入力インタフェース930、および出力インタフェース940といった他のハードウェアを備える。プロセッサ910は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【0033】
光感度校正プログラムは、プロセッサ910に読み込まれ、プロセッサ910によって実行される。メモリ920には、光感度校正プログラムだけでなく、OS(Operating System)も記憶されている。プロセッサ910は、OSを実行しながら、光感度校正プログラムを実行する。光感度校正プログラムおよびOSは、補助記憶装置に記憶されていてもよい。補助記憶装置に記憶されている光感度校正プログラムおよびOSは、メモリ920にロードされ、プロセッサ910によって実行される。なお、光感度校正プログラムの一部または全部がOSに組み込まれていてもよい。
【0034】
光感度校正装置100は、プロセッサ910を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、光感度校正プログラムの実行を分担する。それぞれのプロセッサは、プロセッサ910と同じように、光感度校正プログラムを実行する装置である。
【0035】
光感度校正プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ920、補助記憶装置、または、プロセッサ910内のレジスタあるいはキャッシュメモリに記憶される。
【0036】
計算領域設定部2と校正係数算出部5の各部の「部」を「処理」、「手順」あるいは「工程」に読み替えてもよい。また画像取得処理、計算領域設定処理、校正係数算出処理および校正係数出力処理の「処理」を「プログラム」、「プログラムプロダクト」または「プログラムを記録したコンピュータ読取可能な記憶媒体」に読み替えてもよい。
光感度校正プログラムは、上記の各部の「部」を「処理」、「手順」あるいは「工程」に読み替えた各処理、各手順あるいは各工程を、コンピュータに実行させる。また、光感度校正方法は、光感度校正装置100が光感度校正プログラムを実行することにより行われる方法である。
光感度校正プログラムは、コンピュータ読取可能な記録媒体に格納されて提供されてもよい。また、光感度校正プログラムは、プログラムプロダクトとして提供されてもよい。
【0037】
プロセッサと電子回路の各々は、プロセッシングサーキットリとも呼ばれる。つまり、光感度校正装置100において、計算領域設定部2と校正係数算出部5の機能は、プロセッシングサーキットリにより実現される。
【0038】
***本実施の形態の効果の説明***
本実施の形態に係る光感度校正装置100は、ラインセンサの領域を区切り、区切った領域内に限り各画素は同一の撮像対象を撮像しているものとして輝度感度校正係数を算出する。また、本実施の形態に係る光感度校正装置100は、撮像装置の特性および撮像対象の空間周波数特性から、区切る領域の大きさを算出する。よって、本実施の形態に係る光感度校正装置100によれば、フットプリントのずれによる画素間感度偏差の計算精度低下を抑制し、画素間感度偏差を均一化する輝度感度校正係数の精度を高めることができる。
【0039】
実施の形態2.
本実施の形態では、主に、実施の形態1と異なる点について説明する。なお、実施の形態1と同様の構成には同一の符号を付し、その説明を省略する場合がある。
【0040】
***構成の説明***
図8は、本実施の形態に係る光感度校正装置100aの構成例である。
本実施の形態に係る光感度校正装置100aは、実施の形態1の光感度校正装置100の構成に加え、画像入力部7と、画像補正部8と、画像出力部9を備える。
実施の形態1では撮像画像から校正係数を算出する。本実施の形態では、撮像画像から校正係数を算出し、これを用いて、校正係数を算出したものと同一の撮像装置で取得された任意の撮像画像に対して、校正をかけた放射輝度変換係数を適用し、画質を改善する態様について説明する。
【0041】
画像入力部7には、撮像装置20と同様の装置により任意の撮像対象を撮像した取得画像56が入力される。ただし、取得画像56は、撮像画像51と異なり、CT撮像画像に限らない。
画像補正部8は、輝度感度校正係数53を用いて、取得画像56に対し、画素間の感度偏差が校正されたラジオメトリック補正を行う。具体的には、画像補正部8は、校正係数出力部6から出力された輝度感度校正係数53と、校正前の放射輝度変換係数とを用いて、取得画像56を放射輝度分布へと変換する。または、画像補正部8は、画素間の感度偏差が校正された放射輝度変換係数を用いて、取得画像56を放射輝度分布へと変換する。ここで、画像の画素値を放射輝度値へと変換することをラジオメトリック補正と呼ぶ。
画像出力部9は、画像補正部8により補正された取得画像の放射輝度分布を出力する。具体的には、画像出力部9は、画像補正部8で得られた放射輝度分布画像をディスプレイに出力しても良いし、データを外部に出力し、外部のメモリに格納してもよい。
【0042】
校正前の放射輝度変換係数では画素間の偏差が一部または全て補正されておらず、同じ放射輝度の被写体を別の画素で撮像した際にその出力にばらつきがある。出力とは、ここでは画素値、すなわち電気信号を変換して得た放射輝度値のことである。このばらつきは、実際には均一な色の道路あるいは屋根を撮像すると、画像ではわずかに縞模様が生じて見える、あるいは放射輝度の等しい物体を撮像したのに画像上では異なる放射輝度を持つ物体に見えるといった実際と異なる画像の生成に繋がる。なお、ここでの画像とは、放射輝度分布へと変換した後の画像を示す。画像の形式を取っているが、その値、すなわち画素値は撮像対象の測定放射輝度値を示している。
そこで、画素間感度偏差の校正係数を用いて放射輝度変換係数を校正し、校正された放射輝度変換係数を用いて、任意の対象を撮像した画像に対してラジオメトリック補正を行なう。これにより、上述の縞模様あるいは測定放射輝度値の誤差が抑制された画像、すなわち放射輝度分布が得られる。補正する画像における撮像対象は校正係数算出の際に撮像した画像に限らず、一度画素間感度偏差を算出してしまえば、その結果を用いて同じ撮像装置を用いて取得されたどんな画像にも補正をかけ画質の向上を図ることができる。
【0043】
以上の実施の形態1から2では、光感度校正装置の各部を独立した機能ブロックとして説明した。しかし、光感度校正装置の構成は、上述した実施の形態のような構成でなくてもよい。光感度校正装置の機能ブロックは、上述した実施の形態で説明した機能を実現することができれば、どのような構成でもよい。また、光感度校正装置は、1つの装置でなく、複数の装置から構成されたシステムでもよい。
また、実施の形態1から2のうち、複数の部分を組み合わせて実施しても構わない。あるいは、これらの実施の形態のうち、1つの部分を実施しても構わない。その他、これら実施の形態を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
すなわち、実施の形態1から2では、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【0044】
なお、上述した実施の形態は、本質的に好ましい例示であって、本発明の範囲、本発明の適用物の範囲、および本発明の用途の範囲を制限することを意図するものではない。上述した実施の形態は、必要に応じて種々の変更が可能である。