特開 2023-152203 モジュール位置制御による複数画像超解像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023152203

(43)【公開日】2023-10-16

(54)【発明の名称】モジュール位置制御による複数画像超解像システム

(51)【国際特許分類】

   H04N 23/58 20230101AFI20231005BHJP

   G03B 5/00 20210101ALI20231005BHJP

   G06T 3/40 20060101ALI20231005BHJP

   H04N 23/60 20230101ALI20231005BHJP

【ＦＩ】

H04N5/225 900

G03B5/00 D

G06T3/40 730

H04N5/232 290

【審査請求】未請求

【請求項の数】4

【出願形態】書面

(21)【出願番号】P 2022067918

(22)【出願日】2022-03-31

(71)【出願人】

【識別番号】516317182

【氏名又は名称】ＯＦＩＬＭ．Ｊａｐａｎ株式会社

(72)【発明者】

【氏名】米田 正人

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057BA02

5B057CA01

5B057CA12

5B057CA16

5B057CB01

5B057CB12

5B057CB16

5B057CC01

5B057CE08

5C122DA30

5C122EA38

5C122EA61

5C122FB03

5C122FB23

5C122FC00

5C122FH18

5C122HA82

5C122HB06

5C122HB09

5C122HB10

(57)【要約】

【課題】複数枚の画像を用いて超解像を実現するには、各画像のズレ量を正確に把握する必要がある。そのために多くのアルゴリズムが開発されているが、必ずしも十分なものではない。本発明はアルゴリズムによる解決ではなく、新たにモジュールシフトという位置制御方法を考案し、従来の位置合わせよりも２桁程度制御精度を高めることを可能とし、この課題解決に大きく貢献するものである。
【解決手段】レンズとイメージセンサにより構成されるレンズモジュールから得られる第１の画像と、このレンズモジュールを直線上に所望の移動量ΔＭで移動して得られる第２の画像と、この第２の画像のイメージセンサ上における像の位置の期待値画素移動量Δｍとする時、Δｍ＜ΔＭを満たすことを特徴とし、少なくともこの２枚の画像を用いて高解像度画像を得ることを特徴とするモジュール位置制御による複数画像超解像システムである。
【選択図】図１

【特許請求の範囲】

【請求項1】

レンズとイメージセンサにより構成されるレンズモジュールから得られる第１の画像と、このレンズモジュールを直線上に所望の移動量ΔＭで移動して得られる第２の画像と、この第２の画像のイメージセンサ上における像の位置の期待値画素移動量Δｍとする時、Δｍ＜ΔＭを満たすことを特徴とし、少なくともこの２枚の画像を用いて高解像度画像を得ることを特徴とするモジュール位置制御による複数画像超解像システム。

【請求項2】

前記Δｍと前記ΔＭが、Δｍ＝Ｋ・ｆ／Ｄ・ΔＭ（ただし、０＜｜Ｋ｜≦１、ｆ：モジュールの焦点距離、Ｄ：被写体までの距離）の関係を満たすことを特徴とする請求項１に記載のモジュール位置制御による複数画像超解像システム。

【請求項3】

複数のモジュールを有し、そのうち少なくとも１つのモジュールの移動量ΔＭ、それにともなう画素の期待値移動量Δｍとするとき、Δｍ＜ΔＭを満たすことを特徴とする移動系を有し、これら複数のモジュールからの画を合成することで高解像度画像を得ることを特徴とするモジュール位置制御による複数画像超解像システム。

【請求項4】

前記Δｍと前記ΔＭが、Δｍ＝Ｋ・ｆ／Ｄ・ΔＭ（ただし、０＜｜Ｋ｜≦１、ｆ：モジュールの焦点距離、Ｄ：被写体までの距離）の関係を満たすことを特徴とする請求項３に記載のモジュール位置制御による複数画像超解像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、モジュール位置制御による複数画像超解像システムに関する。

【背景技術】

【0002】

参考文献１は、超解像画像処理方法の例を開示する。超解像画像処理方法において、複数のフレームの画像に基づいた超解像処理が行われる。

【先行技術文献】

【参考文献】

【0003】

【参考文献１】

映像情報学メディア学会誌Ｖｏｌ．６２ Ｎｏ．３（２００８）

【発明の概要】

【発明が解決しようとする課題】

【0004】

参考文献にあるように複数枚の画像を用いて超解像を実現するには、各画像のズレ量を正確に把握する必要がある。しかしながら、正確に位置合わせをした複数枚の映像を得ることは極めて困難であり、そのため各画像の特徴点からどれくらいズレているかを算出するアルゴリズムが色々と考案されているのが現状である。

【0005】

本開示は、このような課題の解決に係るものであるが、アルゴリズム処理が不要な正確な移動による複数画像超解像システムに関するものであり、従来のアプローチとは異なるものである。特に工業カメラ等の被写体までの距離が一意的に決まるものに特化したものである。

【課題を解決するための手段】

【0006】

本開示に係る複数画像超解像システムは、レンズとイメージセンサにより構成されるレンズモジュールから得られる第１の画像と、このレンズモジュールを直線上に所望の移動量ΔＭで移動して得られる第２の画像と、この第２の画像のイメージセンサ上における像の位置の期待値画素移動量Δｍとする時、Δｍ＜ΔＭを満たすことを特徴とし、少なくともこの２枚の画像を用いて高解像度画像を得ることを特徴とするモジュール位置制御による複数画像超解像システムである。

【0007】

さらに、前記Δｍと前記ΔＭが、Δｍ＝Ｋ・ｆ／Ｄ・ΔＭ（ただし、０＜｜Ｋ｜≦１、ｆ：モジュールの焦点距離、Ｄ：被写体までの距離）の関係を満たすことを特徴とするモジュール位置制御による複数画像超解像システムである。

【発明の効果】

【0008】

本開示に係るモジュール位置制御による複数画像超解像システムによれば、極めて精度よく位置調整をした複数画像を入手することが可能となり、従来の超解像における位置合わせという大きな課題を解決することが可能となる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１に係る超解像システムのモジュール断面構造図である。

【図2A】イメージセンサの色フィルター構成図である。

【図2B】超解像処理時の画素位置の移動図である。

【図2C】一般のモジュールの断面構造図である。

【図3】イメージセンサシフト時のモジュールの断面構造図である。

【図4】ＯＩＳレンズシフト時のモジュールの断面構造図である。

【図5】実際のモジュール位置移動量対画素位置移動量の実験結果グラフ図である。

【図6】撮像面と被写体面が並行でない場合の画素移動量の説明図である。

【図7】実施の形態２の構造ならびに動作説明図である。

【発明を実施するための形態】

【0010】

本開示の対象を実施するための形態について添付の図面を参照しながら説明する。各図において、同一または相当する部分には同一の符号を付して、重複する説明は適宜に簡略化または省略する。なお、本開示の対象は以下の実施の形態に限定されることなく、本開示の趣旨を逸脱しない範囲において、実施の形態の任意の構成要素の変形、または実施の形態の任意の構成要素の省略が可能である。

【0011】

実施の形態１．
まず本発明の実施例を説明するにあたり、従来の問題点を図２Ａから図２Ｃを使って再度明確にしながら、本発明の図２Ａはイメージセンサの色フィルター構成図である。撮像面１２ａには、ＲＧＢの色フィルター２４が２次元状にはりつめられており、それぞれのフィルターが各画素の上の設置されている。

【0012】

この構成で、例えば超解像画像を得るためには、図２Ｂのように、センサ自体を画素単位で図面右に１画素移動２５、更に下に１画素移動２６ついで左に１画素移動することで、移動前の最初の画素位置に全てのフィルター（Ｒ、Ｇｒ、Ｇｂ、Ｂ）が配置されたような状態で、被写体からのその位置の１つの画素のおけるＲ、Ｇ、Ｂの光の量が測定されるわけである。

【0013】

一方、通常はこのような画素移動は行わない状態で、画を作るので、このフィルター２４の４つの画素のグループの色フィルターＲとＢの密度は１／４、Ｇ（ＧｒとＧｂ合わせたもの）は１／２であり、この４つの画素を基準として、同様に周辺の同色のフィルターから、その間に存在しないフィルターの色の値を計算する。単純には、リニア計算をおこない、両側画素の値を足して２で割って、その中間の画素の値として用いる。そのため、例えば、白と黒のストライプがあって、たまたまこの中間に位置する部分の画素が白、その両端が画素が黒に対応した光が被写体から入って来ていたとしても、従来の方法では、両端の画素の黒の値を足して２で割り、その間の位置の画素の値とすることで、その値は黒となってしまう。つまり、白と黒のストライプとは写らなくなり、すなわち解像度がおちてしまうことになる。しかし、この図２Ｂで示したように、センサー位置を正確にずらして、４つの画像の各々の色フィルターの値を読み取ることで、両端の画素から、その中間の画素の値をリニア推測する必要がなくなるので、黒と黒の中間に位置する画素が黒と誤って推測されることなく、正しく白であることがわかる。つまり、白と黒のストライプが認識可能となり、解像度の上がった画を得ることができるわけである。

【0014】

また、図２Ｃに撮像モジュールの断面構造をしめす。モジュール２０の構造は簡単のためにレンズ２４とイメージセンサ１２のみを図示している。レンズ２４のレンズ中心２１を通る被写体１０かの光３１は直進し、イメージセンサ１２の撮像面に結像する。この時の光軸Ｌと被写体１０からのレンズ２４中心への光線３１のなす角をβとする。イメージセンサ１２の中心をＣとして、その点を原点とする同図上部を正とするＹ軸座標系を考えると、この被写体の座標は、ｆ・Ｔａｎ（β）となる。この結像点２３がイメージセンサ１２の正面図１２ａに示されている。尚、被写体１０までの距離はＤである。

【0015】

さてここで通常のイメージセンサー１２の位置をずらした場合の説明を、図３のモジュール断面図を用いて行う（簡単のためにレンズは省略してある）。撮像面１２ａを紙面上方にΔＹだけずらした面が撮像面３２ｂである。先述の従来例の記述では、このズラシ量ΔＹは１画素になる。このとき、レンズ位置１４のレンズ中心１１ａは変化しないので、被写体１０からの光線３１は変化しない。

【0016】

撮像面１２ａの中心Ｃは元の位置から＋ΔＹ上がるので、結像位置１３ａの座標はｙ０からｙ１に変化し、その差が－ΔＹということになる。すなわちこの差がシフトさせなければいけない量になる。イメージセンサの高密度化に伴い、１画素の大きさは１μｍ以下になってきている。この１μｍ以下の移動量を、正確にセンサ単体を移動制御することは極めて困難である。

【0017】

また、図４には従来のＯＩＳによるΔＹだけレンズを上方向にシフトした場合のモジュール断面をしめす。この図もレンズは省略してある。レンズのシフトによりレンズ位置１４上のレンズ中心１１ａはΔＹ上がり、新たにレンズ中心４１ａに移動する。また、光軸Ｌａもあらたに光軸Ｌ４ｂに移動する。ただし、撮像面１２ｂは移動することはなく座標中心Ｃ０に変化はない。

【0018】

この状態で、レンズ移動前の光軸Ｌａと光線３１との挟角β、新しい光軸Ｌ４ｂと光線４０１の挟角β４ｂとして、あらたな結像位置４３ｂの座標ｙ１は、
ｙ１＝ΔＹ＋ｆ・Ｔａｎ（β４ｂ）
となる。ここで、
Ｔａｎ（β４ｂ）＝ΔＹ＋Ｄ・Ｔａｎ（β）
Ｔａｎ（β）＝ｙ０／ｆ
なので、
ｙ１＝ｙ０＋ｆ／Ｄ・ΔＹ＋ΔＹ
となり、画素の移動量Δｙ（＝ｙ１－ｙ０）は、
Δｙ＝ｆ／Ｄ・ΔＹ＋ΔＹ
となる。

【0019】

この画素移動量Δｙは、前述のセンサーシフトの場合と比べて、最初の項ｆ／Ｄ・ΔＹのみがことなり、この値は通常被写体距離Ｄが焦点距離ｆに比べて大きいので、この項を無視して、次の項ΔＹできまる。つまり、センサーシフトと同様に画素の移動量Δｙは、レンズの移動量ΔＹで決まるということで、極めて厳密な精度管理が必要ということになる。

【0020】

この２つのケース、つまり、イメージセンサ１２を動かすか、ＯＩＳによりレンズ２４をうごかすという従来の方法では、画素の位置ずらしのために極めて正確な制御が求められるということになる。

【0021】

そこで本発明は、このＯＩＳによるレンズ２４を移動させる場合の式の画素移動量Δｙの第１項に注目した。即ち、このｆ／Ｄ・ΔＹの項を有効に活用することができれば、ｆ／Ｄ＜＜１のためにΔＹを大きく動かしても、実際の画素のズレ量Δｙはきわめて小さいのとなる。つまり、精度をそれほど要求されない値としてΔＹをとらえても、画素の移動量Δｙを極めに小さく制御できる可能性があることになる。

【0022】

そのためには、先述の第２項ΔＹが邪魔になる。これをなんとかなくすことができないかということになる。そこで、ここにセンサーシフトの時のズレ量－ΔＹを適応することができれば、この項目がキャンセルされることになるはずである。つまり、物理的には、レンズ２４だけを動かすのではなく、イメージセンサ１２を同時に同量ΔＹだけうごかせばいいはずである。この場合の画素移動量Δｙに関して図１を用いて以下に考察する。

【0023】

同図１のレンズ位置１４、レンズ中心１１ａをΔＹ移動するとレンズ中心１１ｂとなる。これに伴い光学中心Ｃ０が光学中心Ｃ１に、光軸Ｌａから光軸Ｌ１ｂに変化する。また同時に元の位置のイメージセンサの撮像面１２ａはΔＹ移動して撮像面１２ｂになる。この時レンズ移動に伴い、被写体１０から出てレンズ中心１１ｂを通る光線１０１により新たに像の結像位置１３ｂとなる。

【0024】

さてこの状態で、レンズ移動前の光軸Ｌａと光線３１との挟角β、新しい光軸Ｌ１ｂと光線１０１の挟角β１ｂとして、あらたな撮像位置１３ｂの座標ｙ１は、
ｙ１＝ｆ・Ｔａｎ（β１ｂ）
となる。ここで、
Ｔａｎ（β１ｂ）＝（ΔＹ＋Ｄ・Ｔａｎ（β））／Ｄ
Ｔａｎ（β）＝ｙ０／ｆ
なので、
ｙ１＝ｙ０＋ｆ／Ｄ・ΔＹ
となり、画素の移動量Δｙ（＝ｙ１－ｙ０）は、
Δｙ＝ｆ／Ｄ・ΔＹ
となる。この式は期待どおり、ΔＹだけの項はなくなっている。

【0025】

またこの移動は、物理的にモジュール全体を移動させることを意味しており、従来のようにイメージセンサ１２そのものやレンズ２４を極めて正確に微少なピクセルまたはサブピクセル単位で移動させるのではなく、モジュール全体を大きく動かすことで、画素を極めて小さく精密に移動させうることを意味している。この移動は極めて容易で工業的な実用価値は非常に高いものである。

【0026】

その制御性に関して少し具体的数値で詳述するならば、以下となる。画素の期待移動量Δｙに対して、モジュールの移動量ΔＹに係数ｆ／Ｄを掛けたもので、この係数は通常～１／１００くらいとなる。例えば、焦点距離３ｍｍ程度、被写体距離Ｄは３０ｃｍとするとｆ／Ｄ＝１／１００となる。イメージセンサシフトで画素が１μｍ□として、その１／２のΔｙ＝０．５μｍ動かす制御に比べ、このモジュールシフトの場合は、Δｙ＝ｆ／Ｄ・ΔＹ＝１／１００ｘ５０μｍ＝０．５μｍとなり、５０μｍの制度で移動させればよく、はるかに制御が容易でしかも正確になる。

【0027】

図５に実際の実験結果の一例をしめす。横軸にはモジュールの移動量ΔＹをμｍ単位でしめしている。実験では２０μｍ単位で０から３００μｍまで１６点の移動測定を行った。そのときの画像移動量Δｙを縦軸にμｍ単位でプロットしたものである。この図から画素を１μｍ動かすのに、約１５０μｍ程度モジュールを動かせばいいことがわかる。また非常に綺麗な直線上に実験データがのっており、本発明の実用性の高さを示すものとなっている。

【0028】

さてここで、モジュールの撮像面が被写体面に対してΔθ傾いている場合に関して図６を用いてごくごく簡単に説明しておく。モジュールをΔＹ動かすときに、Δθ傾いたモジュールに対して、ΔＹ・ｃｏｓΔθが真の移動量になる点のみが図１との差異となる。そのため、モジュールをΔＹ移動したときの、画素移動量Δｙはｆ／Ｄ・ΔＹ・ｃｏｓΔθとなる。つまりモジュール移動量ΔＹの係数を、ｆ／Ｄからｆ／Ｄ・ｃｏｓΔθに変更するだけでこの場合も対応が可能となる。

【0029】

実施の形態２．
ついで、本発明の第２の実施形態に関して以下に簡単に述べる。実施形態１とは異なり、あらかじめもジールの位置が調整固定されているものである。これによりモジュールの移動時間が不要となり高速処理が可能となる。

【0030】

２つのモジュール７１、７２が配置されており、白黒ストライプの被写体７０を撮っている。同図ＡとＣ部分は黒を、Ｂ部分は白となっており、そこからの各々の光線７０１，７１１、７０２を介して、モジュール７１の撮像面７３のａとｃ、モジュール７２の撮像面７４のｂに結像している。

【0031】

ここで簡単のために、今回は撮像面７３と撮像面７４の上のフィルターは１次元として説明する。各々のフィルターによる撮像結果はパターン７５とパターン７６のようになっている。ここで特に重要な点は、各モジュール７１、７２のパターン７５、７６が１画素ズレた位置になるようにモジュール７２の位置が調整されているという点である。この調整に関して、実施形態１で開示したモジュール移動量ΔＹと画素移動量Δｙの関係（Δｙ＝ｆ／Ｄ・ΔＹ）を満たして位置合わせをしている。

【0032】

この状態で、モジュール７１のパターン（ａとｃが黒）の結果から、その間の画（被写体位置Ｂ）の状態を推定するために、簡単にリニア推定すると、（ａ＋ｃ）／２で黒となる。一方モジュール７１とモジュール７２と合わせると、パターン７８のように実被写体位置Ｂの白を明確に反映する形になる。ここで注意するのは、これが実現でいるのはモジュール７１とモジュール７２と位置合わせが正確にできているためである。

【0033】

この実施形態２では、モジュールを半固定にしている。半固定とは、被写体距離Ｄと焦点距離ｆの数値からあらかじめ調整を行い、そのあとダイナミックに動かすことなく、各モジュールから出力される画素データを合成処理することで、解像度の高い画を得ることができている。また、この例では２つのモジュールで原理を説明しているが、その個数に特に制限があるものではないことは云うまでもない。

【符号の説明】

【0034】

１０ 被写体、 １１ａ レンズ中心、 １２ イメージセンサ、 １２ａ 撮像面、 １３ａ 結像位置、 １４ レンズ位置、 ２４ レンズ、 ３１ 光線

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】

【図6】

【図7】