(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-07
(45)【発行日】2022-07-15
(54)【発明の名称】イメージ復元方法及び装置
(51)【国際特許分類】
H04N 5/232 20060101AFI20220708BHJP
G06T 1/00 20060101ALI20220708BHJP
H04N 1/387 20060101ALI20220708BHJP
H04N 5/225 20060101ALI20220708BHJP
【ＦＩ】
H04N5/232 290
G06T1/00 500B
H04N1/387
H04N5/225 410
【請求項の数】
18
(21)【出願番号】P 2019154767
(22)【出願日】2019-08-27
(65)【公開番号】P2020042801
(43)【公開日】2020-03-19
【審査請求日】2020-09-24
(31)【優先権主張番号】62/730,641
(32)【優先日】2018-09-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】10-2018-0153829
(32)【優先日】2018-12-03
(33)【優先権主張国・地域又は機関】KR
【前置審査】
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】趙 良鎬
(72)【発明者】
【氏名】姜 徳寧
(72)【発明者】
【氏名】南 東▲きょん▼
【審査官】佐田 宏史
(56)【参考文献】
【文献】特表２０１３－５３２８７８（ＪＰ，Ａ）
【文献】特開２００８－２４１３５５（ＪＰ，Ａ）
【文献】特開２０１０－２６３５０１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／００７０６７３（ＵＳ，Ａ１）
【文献】Youngjin Yoon et al.，"Light-Field Image Super-Resolution Using Convolutional Neural Network"，IEEE Signal Processing Letters，米国，IEEE，2017年02月15日，Vol.24, No.6，pp.848-852
【文献】河畑 則文，“ＣＮＮの構造に基づいた多視点超解像画像の最適設計と符号化画質評価”，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2018年05月18日，Vol.118, No.65，pp.15-20
【文献】村田 賢太，“第５章 ｗａｉｆｕ２ｘによる画像の超解像 深層学習が画像をきれいに拡大できるしくみ”，ＷＥＢ＋ＤＢ ＰＲＥＳＳ，日本，（株）技術評論社，2015年11月25日，Vol.89，pp.73-77
【文献】内田 雄基、外２名，“画素補間を最小限に抑えた光線の逆追跡に基づくＬｉｇｈｔ Ｆｉｅｌｄ Ｃａｍｅｒａ画像の高解像度化”，情報処理学会研究報告，日本，情報処理学会，2016年02月19日，Vol.2016-AVM-92, No.1，pp.1-6
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １／３８７，５／２２５，５／２３２
Ｇ０６Ｔ １／００，３／００，５／００
(57)【特許請求の範囲】
【請求項1】
イメージ取得部及びプロセッサを有するイメージ復元装置が実行するイメージ復元方法において、前記イメージ取得部が、オブジェクトの入力イメージを再配列することによって対象イメージを取得するステップと、
前記プロセッサが、前記取得された対象イメージから、拡張間隔を有するカーネルに対応する畳み込みレイヤを含むイメージ復元モデルに基づいて出力イメージを復元するステップであって、前記拡張間隔は、イメージセンサから離隔した前記オブジェクトの地点と前記イメージセンサとの間の距離、及び前記イメージセンサに含まれる検出エレメントの構成に基づいて決定される、ステップと、
を含むイメージ復元方法。
【請求項2】
イメージ取得部及びプロセッサを有するイメージ復元装置が実行するイメージ復元方法において、前記イメージ取得部が、オブジェクトの入力イメージを再配列することによって対象イメージを取得するステップと、
前記プロセッサが、前記取得された対象イメージから、拡張間隔を有するカーネルに対応する畳み込みレイヤを含むイメージ復元モデルに基づいて出力イメージを復元するステップであって、前記カーネルは、イメージセンサから閾値距離よりも遠く離隔した前記オブジェクトの地点から放射された光線を受信するように構成される前記イメージセンサに含まれる複数の検出エレメントの位置関係に基づいて決定される、
と、
を含むイメージ復元方法。
【請求項3】
イメージ取得部及びプロセッサを有するイメージ復元装置が実行するイメージ復元方法において、前記イメージ取得部が、オブジェクトの入力イメージを再配列することによって対象イメージを取得するステップと、
前記プロセッサが、前記取得された対象イメージから、拡張間隔を有するカーネルに対応する畳み込みレイヤを含むイメージ復元モデルに基づいて出力イメージを復元するステップえあって、前記イメージ復元モデルは、イメージセンサから最小撮影距離に位置する地点から放射された光線を受信するように構成される前記イメージセンサに含まれる複数の検出エレメントの位置関係に基づいて決定されたカーネルに対応する畳み込みレイヤを含むステップと、
を含むイメージ復元方法。
【請求項4】
前記最小撮影距離に対応するカーネルは、最大ディスパリティに対応する拡張間隔を有し、前記最大ディスパリティは、イメージセンサの最小撮影距離、前記イメージセンサの中心レンズから最外郭レンズまでの距離、及びレンズの焦点距離に基づいて決定される、請求項３に記載のイメージ復元方法。
【請求項5】
前記イメージ復元モデルは、複数のレベルに個別的に対応する複数の畳み込みレイヤをさらに含む、請求項１ないし４いずれか１項に記載のイメージ復元方法。
【請求項6】
前記イメージ復元モデルは、互いに異なる拡張間隔を個別的に有する複数のカーネルに対応する複数の畳み込みレイヤを含む、請求項１ないし５いずれか１項に記載のイメージ復元方法。
【請求項7】
前記出力イメージを復元するステップは、前記プロセッサが、前記畳み込みレイヤに基づいて前記対象イメージから特徴データを抽出するステップと、
前記プロセッサが、前記特徴データから、前記イメージ復元モデルに含まれた畳み込みレイヤ以外のレイヤに基づいて前記出力イメージを生成するステップと、
を含む、請求項１ないし６いずれか１項に記載のイメージ復元方法。
【請求項8】
前記イメージ復元モデルは、同一の拡張間隔を有する複数のカーネルに対応する複数の畳み込みレイヤをさらに含む、請求項１ないし７いずれか１項に記載のイメージ復元方法。
【請求項9】
前記出力イメージを復元するステップは、前記プロセッサが、基準複眼イメージが再配列された基準入力イメージから基準出力イメージを出力するようにトレーニングされたイメージ復元モデルに基づいて、前記対象イメージから前記出力イメージを復元するステップを含む、請求項１ないし８いずれか１項に記載のイメージ復元方法。
【請求項10】
前記対象イメージを取得するステップは、前記イメージ取得部が、複眼視野（ＣＥＶ：ｃｏｍｐｏｕｎｄ ｅｙｅ ｖｉｓｉｏｎ）イメージを取得するステップと、
前記イメージ取得部が、前記複眼視野イメージを再配列することによって前記対象イメージを生成するステップと、
を含む、請求項１ないし９いずれか１項に記載のイメージ復元方法。
【請求項11】
前記複眼視野イメージを取得するステップは、前記イメージ取得部が、アレイ形態で提供される複数のレンズを介して複数の検出エレメントで受信された光線の強度に基づいて前記複眼視野イメージを取得するステップを含む、請求項１０に記載のイメージ復元方法。
【請求項12】
前記複数のレンズは、前記複数の検出エレメントに対してずれて配置される、請求項１１に記載のイメージ復元方法。
【請求項13】
前記対象イメージを生成するステップは、前記イメージ取得部が、前記複数の検出エレメントから検出されるライトフィールド情報に基づいて前記複眼視野イメージを再配列するステップを含む、請求項１１に記載のイメージ復元方法。
【請求項14】
前記複眼視野イメージを再配列するステップは、前記イメージ取得部が、前記複数の検出エレメントで互いに類似のライトフィールド情報を検出した検出エレメントのピクセルが互いに隣接するように、前記複眼視野イメージのピクセルを再配列するステップを含む、請求項１３に記載のイメージ復元方法。
【請求項15】
前記複眼視野イメージのピクセルを再配列するステップは、前記イメージ取得部が、イメージセンサから閾値距離よりも遠い地点から放射される光線及び前記複数の検出エレメントの間の位置関係に基づいて、前記複数の検出エレメントのそれぞれに対して当該検出エレメントから検出されるライトフィールドを放出した前記オブジェクトの地点を決定するステップと、
前記イメージ取得部が、互いに隣接する再配置された地点から放出されたライトフィールド情報に対応するピクセルが隣接するように前記ピクセルを再配列するステップと、
を含む、請求項１３に記載のイメージ復元方法。
【請求項16】
請求項１ないし請求項１５に記載のいずれか一項に記載の方法を実行するための命令語を含む１つ以上のコンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体。
【請求項17】
前記イメージ復元装置において、対象イメージを取得する前記イメージ取得部と、
前記取得された対象イメージから、拡張間隔を有するカーネルに対応する畳み込みレイヤを含むイメージ復元モデルに基づいて出力イメージを復元する前記プロセッサと、
を含み、
請求項１ないし請求項１５に記載のいずれか一項に記載の方法を実行するように構成された、イメージ復元装置。
【請求項18】
イメージ取得部及びプロセッサを有するイメージ復元装置が実行するイメージ復元方法において、前記イメージ取得部が、イメージセンサと対象オブジェクトとの間の各距離に対応する対象オブジェクトの入力イメージを再配列することによって、複数の対象イメージを取得するステップと、
前記プロセッサが、前記取得された複数の対象イメージのそれぞれから、畳み込みレイヤを含むイメージ復元モデルに基づいて出力イメージを復元するステップと、
を含み、
前記イメージ復元モデルは、イメージセンサから最小撮影距離に位置する地点から放射された光線を受信するように構成される前記イメージセンサに含まれる複数の検出エレメントの位置関係に基づいて決定されたカーネルに対応する畳み込みレイヤを含む、
イメージ復元方法。
【発明の詳細な説明】
【技術分野】
【0001】
以下、イメージを復元する技術が提供される。
【背景技術】
【0002】
光学技術及びイメージ処理技術の発達に伴ってマルチメディアコンテンツ、セキュリティー及び認識など、広範囲な分野に撮影装置が活用されている。例えば、撮影装置は、モバイル機器、カメラ、車両、及びコンピュータなどに搭載され、イメージを撮影したり、オブジェクトを認識したり、機器を制御するためのデータを取得する。撮影装置の体積は、レンズのサイズ、レンズの焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）、及びセンサのサイズなどによって決定される。例えば、レンズのサイズとセンサのサイズに基づいて撮影装置の体積が調整される。センサのサイズが減少することにより、センサに入射される光量が減少し得る。そのため、イメージの解像度が低くなったり、低照度の環境における撮影が困難であることもある。撮影装置の体積を減少させるために、小型レンズから構成されたマルチレンズを用いてもよい。レンズのサイズが減少する場合、レンズの焦点距離も減少し得る。したがって、マルチレンズを介して撮影装置の体積が減少される。
【発明の概要】
【発明が解決しようとする課題】
【0003】
一実施形態に係るイメージ復元装置は、マルチレンズを介して撮影された入力イメージに対して深度が与えられなくても、入力イメージから高解像度の出力イメージを復元することにある。
【課題を解決するための手段】
【0004】
一実施形態によれば、イメージ復元方法は、オブジェクトの入力イメージを再配列することによって対象イメージを取得するステップと、前記取得された対象イメージから、拡張間隔を有するカーネルに対応する畳み込みレイヤを含むイメージ復元モデルに基づいて出力イメージを復元するステップとを含む。
【0005】
前記出力イメージを復元するステップは、複数の拡張間隔に前記畳み込みレイヤに基づいて前記出力イメージを復元するステップを含み、前記複数の拡張間隔は、イメージセンサ内に含まれる検出エレメント及び前記イメージセンサ内に含まれるレンズの構成に基づいて決定され得る。
【0006】
前記拡張間隔は、イメージセンサから離隔した前記オブジェクトの地点と前記イメージセンサとの間の距離、及び前記イメージセンサに含まれる検出エレメントの構成に基づいて決定され得る。
【0007】
前記カーネルは、イメージセンサから閾値距離よりも遠く離隔した前記オブジェクトの地点から放射された光線を受信するように構成される前記イメージセンサに含まれる複数の検出エレメントの位置関係に基づいて決定され得る。
【0008】
前記イメージ復元モデルは、イメージセンサから最小撮影距離に位置する地点から放射された光線を受信するように構成される前記イメージセンサに含まれる複数の検出エレメントの位置関係に基づいて決定されたカーネルに対応する畳み込みレイヤを含み得る。
【0009】
前記最小撮影距離に対応するカーネルは、最大ディスパリティに対応する拡張間隔を有し、前記最大ディスパリティは、イメージセンサの最小撮影距離、前記イメージセンサの中心レンズから最外郭レンズまでの距離、及びレンズの焦点距離に基づいて決定され得る。
【0010】
前記イメージ復元モデルは、複数のレベルに個別的に対応する複数の畳み込みレイヤをさらに含み得る。
【0011】
前記イメージ復元モデルは、互いに異なる拡張間隔を個別的に有する複数のカーネルに対応する複数の畳み込みレイヤを含み得る。
【0012】
前記出力イメージを復元するステップは、前記畳み込みレイヤに基づいて前記対象イメージから特徴データを抽出するステップと、前記特徴データから、前記イメージ復元モデルに含まれた畳み込みレイヤ以外のレイヤに基づいて前記出力イメージを生成するステップとを含み得る。
【0013】
前記イメージ復元モデルは、同一の拡張間隔を有する複数のカーネルに対応する複数の畳み込みレイヤをさらに含み得る。
【0014】
前記出力イメージを復元するステップは、基準複眼イメージが再配列された基準入力イメージから基準出力イメージを出力するようにトレーニングされたイメージ復元モデルに基づいて、前記対象イメージから前記出力イメージを復元するステップを含み得る。
【0015】
前記対象イメージを取得するステップは、複眼視野（ＣＥＶ：ｃｏｍｐｏｕｎｄ ｅｙｅ ｖｉｓｉｏｎ）イメージを取得するステップと、前記複眼視野イメージを再配列することによって前記対象イメージを生成するステップとを含み得る。
【0016】
前記複眼視野イメージを取得するステップは、アレイ形態で提供される複数のレンズを介して複数の検出エレメントで受信された光線の強度に基づいて前記複眼視野イメージを取得するステップを含み得る。
【0017】
前記複数のレンズは、前記複数の検出エレメントに対してずれて配置され得る。
【0018】
前記対象イメージを生成するステップは、前記複数の検出エレメントから検出されるライトフィールド情報に基づいて前記複眼視野イメージを再配列するステップを含み得る。
【0019】
前記複眼視野イメージを再配列するステップは、前記複数の検出エレメントで互いに類似のライトフィールド情報を検出した検出エレメントのピクセルが互いに隣接するように、前記複眼視野イメージのピクセルを再配列するステップを含み得る。
【0020】
前記複眼視野イメージのピクセルを再配列するステップは、イメージセンサから閾値距離よりも遠い地点から放射される光線及び前記複数の検出エレメントの間の位置関係に基づいて、前記複数の検出エレメントのそれぞれに対して当該検出エレメントから検出されるライトフィールドを放出した前記オブジェクトの地点を決定するステップと、互いに隣接する再配置された地点から放出されたライトフィールド情報に対応するピクセルが隣接するように前記ピクセルを再配列するステップとを含み得る。
【0021】
一実施形態に係るイメージ復元装置は、対象イメージを取得するイメージ取得部と、前記取得された対象イメージから、拡張間隔を有するカーネルに対応する畳み込みレイヤを含むイメージ復元モデルに基づいて出力イメージを復元するプロセッサとを含む。
【0022】
他の一実施形態に係るイメージ復元方法は、イメージセンサと対象オブジェクトとの間の各距離に対応する対象オブジェクトの入力イメージを再配列することによって、複数の対象イメージを取得するステップと、前記取得された複数の対象イメージのそれぞれから、畳み込みレイヤを含むイメージ復元モデルに基づいて出力イメージを復元するステップとを含む。
【発明の効果】
【0023】
一実施形態に係るイメージ復元装置は、マルチレンズの構造により発生するディスパリティごとに設定された様々な拡張間隔を有する畳み込みレイヤを含むイメージ復元モデルを用いて、高解像度の出力イメージを精密に復元することができる。
【0024】
一実施形態に係るイメージ復元装置は、被写体までの深度が与えられなくても、イメージ復元モデルに基づいてカメラから近いオブジェクトを鮮明な形態に復元することができる。
【図面の簡単な説明】
【0025】
【図1】一実施形態に係るイメージ復元装置の構造を示す図である。
【図2】一実施形態に係る検出エレメントがレンズを介して光線を受信する形状を示す図である。
【図3】一実施形態に係る検出エレメントに対応するピクセルの再配置を概念的に示す図である。
【図4】一実施形態に係る複眼視野イメージを再配列して対象イメージを生成する過程を説明する図である。
【図5】一実施形態に係るオブジェクトとの距離に応じて光線を受信する検出エレメントが変化することを説明する図である。
【図6】一実施形態に係るオブジェクトとの距離に応じて光線を受信する検出エレメントが変化することを説明する図である。
【図7】一実施形態に係る複眼視野イメージの再配列で近接したオブジェクトに対する解像度の低下を説明する図である。
【図8】一実施形態に係る対象イメージから出力イメージを復元する過程を説明する図である。
【図9A】一実施形態に係る畳み込みレイヤで用いられる拡張間隔を有するカーネルを説明する図である。
【図9B】一実施形態に係る畳み込みレイヤで用いられる拡張間隔を有するカーネルを説明する図である。
【図9C】一実施形態に係る畳み込みレイヤで用いられる拡張間隔を有するカーネルを説明する図である。
【図10】一実施形態に係る最大ディスパリティを説明する図である。
【図11】一実施形態に係るイメージ復元モデルの詳細構造を説明する図である。
【図12】他の一実施形態に係るイメージ復元過程を説明する図である。
【図13】一実施形態に係るイメージ復元方法を説明するフローチャートである。
【図14】一実施形態に係るイメージ復元モデルをトレーニングさせる方法を説明するフローチャートである。
【図15】一実施形態に係るイメージ復元装置の構成を説明するブロック図である。
【図16】一実施形態に係るトレーニング装置の構成を説明するブロック図である。
【図17】一実施形態に係るイメージ復元装置が実現される機器を示す図である。
【図18】一実施形態に係るイメージ復元装置が実現される機器を示す図である。
【発明を実施するための形態】
【0026】
下記で説明する実施形態は様々な変更が加えられることができる。本特許出願の範囲はこのような実施形態によって制限も限定もされることはない。各図面に提示された同じ参照符号は同じ部材を示す。
【0027】
本明細書で開示されている特定の構造的又は機能的な説明は、単に実施形態を説明するための目的として例示されたものであり、実施形態は様々な異なる形態で実施され、本明細書に説明された実施形態に限定されることはない。
【0028】
本明細書で用いる用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0029】
異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されるべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0030】
また、添付図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。
【0031】
図１は、一実施形態に係るイメージ復元装置の構造を示す図である。
【0032】
図１は、イメージ復元装置１００におけるイメージセンサの構造を主に図示する。一実施形態に係るイメージ復元装置１００によって撮影及び復元されるイメージの品質は、センサ１２０に含まれる検出エレメントの数、及び検出エレメントに入射される光量によって決定される。例えば、イメージの解像度は、センサ１２０に含まれる検出エレメントの数により決定され、イメージの感度は検出エレメントに入射される光量によって決定される。検出エレメントに入射される光量は、検出エレメントのサイズに基づいて決定される。検出エレメントのサイズが大きいほど、検出エレメントに入射される光量は増加し、センサ１２０の動的範囲が増加する。したがって、センサ１２０に含まれる検出エレメントの数が増加するにつれてセンサ１２０は高解像度のイメージを撮影することができ、検出エレメントのサイズが増加するにつれてセンサ１２０は低照度で高感度イメージ撮影に有利に作用する。
【0033】
イメージ復元装置１００の体積は、レンズ１１１の焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）ｆによって決定される。より具体的に、イメージ復元装置１００の体積は、レンズ１１１とセンサ１２０との間の間隔によって決定されるが、レンズ１１１によって屈折された光１９０を収集するために、センサ１２０は、レンズ１１１の焦点距離ｆに位置しなければならず、イメージ復元装置１００に含まれるレンズ１１１とセンサ１２０は、レンズ１１１の焦点距離ｆだけ離隔して配置されなければならない。レンズ１１１の焦点距離ｆは、イメージ復元装置１００の視野角とレンズ１１１のサイズ（例えば、レンズ１１１の口径の半径）によって決定される。例えば、視野角が固定される場合、レンズ１１１のサイズに比例して焦点距離ｆが長くなる。また、レンズ１１１のサイズは、センサ１２０のサイズに基づいて決定される。例えば、一定の視野角範囲のイメージを撮影するためには、センサ１２０のサイズが増加することによりレンズ１１１のサイズを増加させなければならない。
【0034】
前述した内容によれば、視野角及びイメージの解像度を保持しながらイメージの感度を増加させるためには、イメージ復元装置１００の体積が増加してしまう。例えば、イメージの解像度を保持しながらイメージの感度を増加させるには、センサ１２０に含まれる検出エレメントの数を保持しながら各検出エレメントのサイズを増加させなければならないため、センサ１２０のサイズが増加する。ここで、視野角の保持には、センサ１２０のサイズが増加するにつれてレンズ１１１のサイズが増加し、レンズ１１１の焦点距離ｆが長くなるため、イメージ復元装置１００の体積が増加する。
【0035】
イメージ復元装置１００の体積を減少させるために、センサ１２０の解像度を保持しながら検出エレメントのサイズを減少させたり、検出エレメントのサイズを保持しながらセンサ１２０の解像度を減少させるといった設計方法が考慮される。ただし、センサ１２０の解像度を保持しながら検出エレメントのサイズを減少させる場合、センサ１２０のサイズが減少してレンズ１１１の焦点距離ｆが短くなってイメージ復元装置１００の体積を減少させ得るが、イメージの感度は低下する。この場合、低照度の画質が減少する。また、検出エレメントのサイズを保持しながらセンサ１２０の解像度を減少させる場合、センサ１２０のサイズが減少してレンズ１１１の焦点距離ｆは短くなってイメージ復元装置１００の体積は減少されるが、イメージの解像度は低下してしまう。
【0036】
スマートフォンカメラのイメージ画質は増加しているが、まだＤＳＬＲカメラのイメージ画質より低い。スマートフォンカメラによってキャプチャーされる光量において差があるためである。ただし、光量を確保するためにセンサの大きさが増加した構造は、焦点の長さ（ｆｏｃａｌ ｌｅｎｇｔｈ）及び開口の大きさ（ａｐｅｒｔｕｒｅ ｓｉｚｅ）などが増加するため、スマートフォンのフォームファクターを満たすことができない。以下では、レンズアレイ１１０を介してスマートフォンのフォームファクターを満たしながらも、高解像度のイメージを撮影することのできるイメージ復元装置１００について説明する。
【0037】
図１を参照すると、イメージ復元装置１００は、レンズアレイ１１０及びセンサ１２０を含む。レンズアレイ１１０はレンズを含み、センサ１２０は検出エレメントを含む。
【0038】
一実施形態によれば、レンズアレイ１１０に含まれるレンズそれぞれのサイズを減少させるほど、言い換えれば、同一の広さに含まれるレンズ数を増加させるほどレンズ１１１の焦点距離ｆは小さくなり、イメージ復元装置１００の厚さは減少する。この場合、イメージ復元装置１００は、各レンズ１１１で撮影された低解像度イメージを組み合わせてオリジナルの高解像度のイメージを復元することができる。したがって、レンズアレイ１１０に含まれるレンズを分割することで、薄型カメラ（ｔｈｉｎ ｃａｍｅｒａ）を実現することができる。
【0039】
レンズアレイ１１０の個別レンズ１１１は、自体のサイズに対応するセンサ１２０の一定領域をカバーする。言い換えれば、当該領域に含まれるセンサ１２０の検出エレメントには、当該個別レンズ１１１を通過した光１９０が入射される。光１９０は、複数の光線を含む。光線１９１は、光子１０１の流れに対応する。センサ１２０の検出エレメントのそれぞれは、レンズアレイ１１０のレンズを通過した光線１９１に基づいて検出情報を生成する。例えば、検出エレメント１２１は、レンズ１１１を介して入射される光線１９１に基づいて検出情報を生成する。イメージ復元装置１００は、センサ１２０によって出力された検出情報に基づいて、イメージ復元装置１００の視野に含まれる地点に関するオリジナル色信号に対応する色情報（例えば、色値）を決定し、決定された色情報に基づいて撮影イメージを復元することができる。
【0040】
また、検出エレメント１２１は、任意の色を検出するための色フィルタを含む。検出エレメント１２１は、特定の色に対応する色値を検出情報として生成する。センサ１２０を構成する複数の検出エレメントのそれぞれは、空間的に隣接している隣接の検出エレメントと異なる色を検出するように配置される。
【0041】
検出情報の多様性が十分に確保され、イメージ復元装置１００の視野に含まれる地点に対応するオリジナル信号情報と検出情報との間に完全ランク（ｆｕｌｌ ｒａｎｋ）関係が形成されるとき、センサ１２０の最大の解像度に対応する撮影イメージが導き出される。検出情報の多様性は、レンズアレイ１１０に含まれるレンズの数及びセンサ１２０に含まれる検出エレメントの数のようなイメージ復元装置１００のパラメータに基づいて確保され得る。
【0042】
参考として、図１に図示されていないが、イメージ復元装置１００は、イメージを復元するために用いられるイメージ復元モデルを格納するメモリ、及びイメージ復元モデルを用いてイメージを復元するプロセッサを含んでもよい。
【0043】
一実施形態に係るイメージ復元装置１００は、ノイズ成分を含まない理想的な条件から除外されるイメージを撮影する実際の条件（ｒｅａｌ ｃｏｎｄｉｔｉｏｎ）に含まれる様々なノイズ成分にも強靭にイメージを復元することができる。例えば、光学的数回、製造誤差、レンズとセンサとの間の補正誤差が実際の条件として発生する可能性があり、カメラから被写体までの深度は知らされていないことがある。また、イメージ復元装置１００は、任意のパターン（例えば、ベイヤー（Ｂａｙｅｒ）パターン）などに関わらず、イメージを復元することができる。以下で説明する実施形態は、イメージ復元装置１００が多重レンズで撮影された複数の低解像度イメージを用いて高解像度のイメージを復元する動作について説明する。後述するが、複数の低解像度イメージは、複眼視野イメージの形態に示されてもよい。
【0044】
図２は、一実施形態に係る検出エレメントがレンズを介して光線を受信する形状を示す図である。
【0045】
上述したように、センサは、個別地点（ｐｏｉｎｔｓ）２３０Ｘ１～Ｘ１０に対応する光線を受信する。光線はレンズ２１０を介してセンサによって検出される。例えば、個別地点２３０のそれぞれから複数の光線が放出される。同一の地点から放出された光線は、ライトフィールド（ＬＦ：ｌｉｇｈｔ ｆｉｅｌｄ）を形成する。任意の地点から放出されたライトフィールドは、被写体上の任意の地点から反射された光線の方向及び強度を示すフィールドである。例えば、第１地点Ｘ１から放出された光線は第１ライトフィールドを形成し、第１検出エレメントＳ１、第４検出エレメントＳ４、及び第７検出エレメントＳ７に入射する。残りの地点Ｘ２乃至Ｘ１０のそれぞれから放出された光線もそれぞれそれ対応するライトフィールドを形成する。個別地点２３０は、例えば、任意のオブジェクト（例えば、被写体）上の地点であってもよい。個別地点２３０から放出される光線は、例えば、太陽光などがオブジェクトから反射した光線であってもよい。
【0046】
検出エレメント２２０（例えば、Ｓ１～Ｓ１０）は、複数のレンズを通過した光線を重複して検出することができる。例えば、図２に示されたレンズアレイでは、レンズ２１０からセンサまでの焦点距離は減少し得る。したがって、検出エレメントＳ１は、地点Ｘ１～Ｘ３から放射された光線が重なった検出情報（例えば、強度値）を生成する。イメージ復元装置は、イメージを復元するために、このような重なった検出情報を復元する必要がある。
【0047】
図２に示された検出エレメントＳ１～Ｓ１０によって生成される検出情報は、下記の数式（１）により、地点２３０のそれぞれから入射される光線に対応するオリジナル信号情報（例えば、強度値）にモデリングされる。
上述した数式（１）において、Ｓは個別検出エレメントによって検出される検出情報（例えば、検出された強度値）を指示する行列を示す。Ｘは、個別地点から検出エレメントＳ１～Ｓ１０に入射される光線に対応する信号値（例えば、入射した光線の色値）を指示する行列を示す。Ｔは、変換行列として検出エレメントＳ１～Ｓ１０によって検出された検出情報、及び入射される光に対応する信号情報間の関係を示す。図２に示された構造において、個別地点Ｘ１～Ｘ１０に対応する光線、レンズ、及び検出エレメントＳ１～Ｓ１０は、下記の数式（２）のようにモデリングされる。下記の数式（２）において、個別地点Ｘ１～Ｘ１０は、イメージセンサから無限の焦点位置（ｉｎｆｉｎｉｔｅ ｆｏｃａｌ ｐｏｉｎｔ）に配置されたものにモデリングされる。例えば、個別地点Ｘ１～Ｘ１０及びイメージセンサ間の距離は閾値距離よりも大きい。
上述した数式（２）において、説明の便宜のために、個別地点Ｘ１～Ｘ１０のそれぞれに対応する光線の信号情報（例えば、光線強度値）をＸ１～Ｘ１０に表示した。また、検出エレメントＳ１～Ｓ１０で検出された検出情報（例えば、検出強度値）もＳ１～Ｓ１０に表示した。一実施形態によれば、センサを構成する検出エレメントＳ１～Ｓ１０に対応する検出情報（例えば、色情報）と、個別地点から入射される光線Ｘ１～Ｘ１０に対応するオリジナル信号間の関係（例えば、上述した変換行列）は、上述したレンズ２１０とセンサとの間の配置、レンズアレイを構成するレンズの個数、センサを構成する検出エレメントＳ１～Ｓ１０の個数などに基づいて決定される。
【数1】
上述した数式（１）において、Ｓは個別検出エレメントによって検出される検出情報（例えば、検出された強度値）を指示する行列を示す。Ｘは、個別地点から検出エレメントＳ１～Ｓ１０に入射される光線に対応する信号値（例えば、入射した光線の色値）を指示する行列を示す。Ｔは、変換行列として検出エレメントＳ１～Ｓ１０によって検出された検出情報、及び入射される光に対応する信号情報間の関係を示す。図２に示された構造において、個別地点Ｘ１～Ｘ１０に対応する光線、レンズ、及び検出エレメントＳ１～Ｓ１０は、下記の数式（２）のようにモデリングされる。下記の数式（２）において、個別地点Ｘ１～Ｘ１０は、イメージセンサから無限の焦点位置（ｉｎｆｉｎｉｔｅ ｆｏｃａｌ ｐｏｉｎｔ）に配置されたものにモデリングされる。例えば、個別地点Ｘ１～Ｘ１０及びイメージセンサ間の距離は閾値距離よりも大きい。
【数2】
【0048】
下記の図３は、上述したモデリングに基づいて検出エレメントに対応するピクセルを再配置する動作について説明する。
【0049】
図３は、一実施形態に係る検出エレメントに対応するピクセルの再配置を概念的に示す図である。
【0050】
一実施形態によれば、複数のレンズ及び複数の検出エレメント３１１は、互いに対してずれて配置されている。例えば、レンズは整数個数の検出エレメント３１１をカバーするものではなく、非整数（ｎｏｎ－ｉｎｔｅｇｅｒ）個数の検出エレメント３１１をカバーする。一実施形態に係るマルチレンズアレイ構造は、分数整列の構造（ｆｒａｃｔｉｏｎａｌ ａｌｉｇｎｍｅｎｔ ｓｔｒｕｃｔｕｒｅ）で実現する。図３に示すように、各レンズは、光学中心軸（ＯＣＡ：ｏｐｔｉｃａｌ ｃｅｎｔｅｒ ａｘｉｓ）がそれぞれ異なる。マルチレンズアレイ構造のパラメータは、検出エレメントの個数Ｐ及びレンズの個数Ｌである。レンズの個数Ｌ及び検出エレメントの個数Ｐ間の比率Ｐ／Ｌは、実数として決定される。レンズのそれぞれは、Ｐ／Ｌに対応するピクセルオフセットと同じ個数の検出エレメントをカバーする。参考として、図３で各レンズは３．３３個の検出エレメントをカバーするものと示された。このように各レンズの光学中心軸が少しずつ異なるため、各レンズは互いに異なるライトフィールド情報を受信する。各レンズの主光線（ｃｈｉｅｆ ｒａｙ）の方向も変わるため、イメージセンサは、光学的により多くの検出情報を、ライトフィールド情報の他の組合せを検出する検出エレメントのそれぞれに基づいて取得することができる。したがって、イメージ復元装置は、このように取得された様々な検出情報を介してより高解像度のイメージを復元することができる。
【0051】
図３は、レンズ及び検出エレメント３１１間の幾何構造を示した断面図であり、第１レンズは、第１検出エレメントＳ１ないし第３検出エレメントＳ３の全てと共に、第４検出エレメントＳ４の一部（例えば、１／３に該当する部分）をカバーする。第２レンズは、第４検出エレメントＳ４の一部及び第７検出エレメントＳ７の一部と共に、第５検出エレメントＳ５及び第６検出エレメントＳ６の全てをカバーする。第３レンズは、第８検出エレメントＳ８ないし第１０検出エレメントＳ１０及び第７検出エレメントＳ７の一部をカバーする。
【0052】
上述したレンズ及び検出エレメント３１１の幾何構造により、各レンズがカバーする検出エレメント３１１は、他のレンズによってカバーされる検出エレメントが検出するライトフィールド情報と同一ではないライトフィールド情報を検出する。ライトフィールド情報は、複数のライトフィールドが組み合わせられた情報を示すことができる。例えば、第１レンズによってカバーされる第１検出エレメントＳ１は、第１地点Ｘ１～第３地点Ｘ３に対応するライトフィールドを検出する。一方、第２レンズによってカバーされる第５検出エレメントＳ５は、第３地点Ｘ３～第５地点Ｘ５に対応するライトフィールドを検出する。
【0053】
一実施形態に係るイメージ復元装置は、ライトフィールド情報間の相関性に基づいて、入力イメージのピクセルの位置を再配列することができる。例えば、イメージ復元装置は、複数の検出エレメント３１１で互いに類似のライトフィールド情報を検出した検出エレメント３１１のピクセルが互いに隣接するよう、入力イメージ（例えば、複眼視野イメージ）のピクセルを再配列することができる。
【0054】
例えば、イメージ復元装置は、図３に示すように、個別検出エレメントで検出された信号の強度値を指示するピクセルを、当該検出エレメントから検出されるライトフィールド及び他の検出エレメントから検出されるライトフィールド情報間の類似度に応じて再配列することができる。例えば、２つの検出エレメント３１１で検出された２つのライトフィールド情報が互いに同一のライトフィールドを多く含むほど、２つのライトフィールド情報間の類似度は高い。
【0055】
一実施形態によれば、イメージ復元装置は、光線を反射する被写体の地点がイメージセンサから無限の焦点位置に配置されたと仮定し、各検出エレメントから検出されるライトフィールド情報を決定する。例えば、イメージ復元装置は、イメージセンサから閾値距離よりも遠い地点から放射される光線及び複数の検出エレメント３１１間の位置関係に基づいて、複数の検出エレメント３１１のそれぞれに対して当該検出エレメントから検出されるライトフィールドを放出する地点を決定する。イメージ復元装置は、空間的に互いに隣接する地点から放出されるライトフィールドに対応するピクセルが隣接するようにピクセルを再配列することができる。
【0056】
参考として、図２において、個別地点Ｘ１～Ｘ１０は互いに隣接する順に示されたものである。例えば、第１地点Ｘ１は第２地点Ｘ２に隣接し、第２地点Ｘ２は第１地点Ｘ１及び第３地点Ｘ３に隣接する。互いに隣接する二地点は、例えば、被写体で空間的に隣接する地点であり得る。
【0057】
第１検出エレメントＳ１で検出されたライトフィールド情報及び第８検出エレメントＳ８で検出されたライトフィールド情報は、両方が第２地点Ｘ２及び第３地点Ｘ３に対応するライトフィールドを含む。したがって、第１検出エレメントＳ１及び第８検出エレメントＳ８は、互いに類似のライトフィールド情報を検出する。上述した数式（２）を互いに類似のライトフィールド情報に対応するピクセルが隣接するように再配列すると、下記の数式（３）のように示すことができる。
上述した数式（３）により再配列された検出エレメント３１２は、図３に示すように図示される。図３に示すように、第１検出エレメントＳ１は第１レンズによってカバーされ、第８検出エレメントＳ８は第３レンズによってカバーされ、第５検出エレメントＳ５は第２レンズによってカバーされる。したがって、互いに異なるレンズを通過した光線に対応する検出情報が隣接するよう、イメージ復元装置はピクセルを再配列することができる。
【数3】
【0058】
以下、図４では再配列によるイメージを説明する。
【0059】
図４は、一実施形態に係る複眼視野イメージを再配列して対象イメージを生成する過程を説明する図である。
【0060】
一実施形態に係るイメージ復元装置は、オリジナル場面４０１を上述した構造のレンズ及び検出エレメント４１０を介して撮影する。複数のレンズを通過した光線を検出することによって、イメージ復元装置は、複眼視野（ＣＥＶ：ｃｏｍｐｏｕｎｄ ｅｙｅ ｖｉｓｉｏｎ）イメージ４０２を取得する。複眼視野イメージ４０２は、昆虫の複眼を介して観測されるように、同一の場面４０１を重複的に撮影したイメージを示す。例えば、イメージ復元装置は、アレイ形態に配列された複数のレンズを介して複数の検出エレメント４１０で受信された光線の強度に基づいて複眼視野イメージ４０２を取得することができる。
【0061】
例えば、図４において、イメージセンサは、複数のレンズによってカバーされる領域に応じて検出エレメント４１０が分類される。図４において、第１レンズに対応する領域４１１ないし第９レンズに対応する領域４１９として合計９個の領域が示されており、説明の便宜のために領域４１１～４１９のそれぞれが整数個の検出エレメント４１０を含むものと示すが、これに限定されることなく、領域４１１～４１９のそれぞれが非整数個（ｆｒａｃｔｉｏｎａｌ ｎｕｍｂｅｒ）の検出エレメント４１０を含んでもよい。
【0062】
参考として、図４において、場面４０１の任意の地点から反射された光線がイメージセンサに達するピクセルをそれぞれ１番ピクセル～９番ピクセルに示す。図４で複眼視野イメージ４０２に含まれたイメージそれぞれは、複数のレンズのそれぞれに対応する。
【0063】
イメージ復元装置は、複数の検出エレメント４１０から検出されるライトフィールド情報に基づいて複眼視野イメージ４０２を再配列する。イメージ復元装置は、複眼視野イメージ４０２を再配列することで対象イメージ４０３を生成する。例えば、イメージ復元装置は、上述した数式（３）を参照して説明したように、類似のライトフィールド情報を検出するものと決定された検出エレメント４１０のピクセルを集める（ｇａｔｈｅｒ）。
【0064】
例えば、図４に示すように、再配列されたピクセル４４０で１番ピクセル～９番ピクセルが互いに隣接している。このようなピクセルの再配列を下記の数式（４）のように示す。
上述した数式（４）において、Ｓは個別検出エレメントによって検出される検出情報を指示する行列を示す。Ｘは個別地点から検出エレメント４１０に入射される光線に対応する信号値を指示する行列を示す。Ｔは変換行列として、検出エレメント４１０によって検出された検出情報及び入射される光に対応する信号情報間の関係を示す。Ｐは再配列の行列として、イメージセンサ及びオブジェクト間の距離（例えば、閾値よりも大きい距離）に基づいて類似のライトフィールド情報に対応するピクセルが隣接するように整列させる行列を示す。
【数4】
【0065】
イメージ復元装置は、上述した数式（４）により、オリジナル場面４０１を復元するために行列Ｐ・Ｔの逆行列を用いる。行列Ｐ・Ｔの逆行列が存在するためには、行列Ｐ・Ｔが完全ランクを有しなければならない。したがって、撮影装置のパラメータは、行列Ｐ・Ｔが完全ランクを有するように調整される。一実施形態に係る行列Ｐ・Ｔは逆行列が存在するため、オリジナル信号情報を指示する行列Ｘは、行列Ｐ・Ｔの逆行列及び検出エレメントによって検出された検出情報を指示する行列Ｓの積から下記の数式（５）のように算出される。
上述した数式（５）において、Ｎはノイズとして、ライトフィールド情報の検出で発生するノイズを示す。
【数5】
【0066】
一実施形態に係るイメージ復元装置は、場面４０１を撮影して取得された複眼視野イメージ４０２を再配列することで、対象イメージ４０３を生成することができる。場面４０１がイメージセンサから比較的に遠い距離に位置するオブジェクトだけを含む場合、図４に示すように、オブジェクトから反射された光線に対応するピクセルが互いに隣接するように再配列されるため、イメージ復元装置は高解像度のイメージを取得することができる。
【0067】
ただし、これはオブジェクトがイメージセンサに対して無限の焦点距離（例えば、閾値距離よりも大きい距離）以後に位置する場合を仮定したのである。以下、比較的に近い距離に対するイメージ復元動作について説明する。
【0068】
【0069】
イメージセンサに対する被写体の位置が変化すると、任意のライトフィールド情報が検出される検出エレメントも変化する。
【0070】
例えば、図５に示すように、任意の被写体５３１が無限の焦点位置である第６地点Ｘ６にある場合、第２検出エレメントＳ２、第６検出エレメントＳ６、及び第９検出エレメントＳ９から第６地点Ｘ６に対応するライトフィールドが検出される。これとは異なって、第６地点Ｘ６の方向に被写体５３２が有限の（ｆｉｎｉｔｅ）深度に位置する場合、第１検出エレメントＳ１、第６検出エレメントＳ６、及び第１０検出エレメントＳ１０から第６地点Ｘ６に対応するライトフィールドが検出される。したがって、検出エレメント５１０で同じ方向の地点に対するライトフィールドが検出される検出エレメントの位置は、イメージセンサと地点との間の距離によって変わり得る。
【0071】
図６は、３×３レンズアレイの構造で、無限の焦点位置の被写体６３１が存在する場合、イメージセンサ６１０で当該被写体６３１の任意の地点に対応するライトフィールドが検出される第１検出エレメント６９１を示す。無限の焦点位置及びイメージセンサ６１０の間の中間距離に被写体６３２が存在する場合、イメージセンサ６１０は、任意の地点に対応するライトフィールドを第２検出エレメント６９２から検出する。中間距離よりも近い距離に被写体６３３が存在する場合、イメージセンサ６１０は、第３検出エレメント６９３から被写体６３３の任意の地点に対するライトフィールドを検出する。
【0072】
一実施形態に係るイメージ復元装置は、無限の焦点位置でライトフィールド情報の相関性の高いピクセルどうしが隣接するよう再配列された対象イメージから、被写体との深度を考慮した機械学習構造を介して出力イメージを復元することができる。このように復元された出力イメージは、高解像度のイメージである。
【0073】
図７は、一実施形態に係る複眼視野イメージの再配列で近接したオブジェクトに対する解像度の低下を説明する図である。
【0074】
一実施形態によれば、イメージ復元装置は、場面７０１を撮影することによって複眼視野イメージ７０２を生成する。例えば、場面７０１は、イメージセンサに極めて近い距離、例えば、被写体のイメージを復元するための最小距離の未満に位置する詳細部分７８１を含む。最小距離は、検出エレメントの個数及び大きさ、検出エレメント及びレンズ間の距離、レンズの個数及び大きさに基づいて決定される。例えば、最小距離は、イメージセンサの最外郭レンズ及びイメージセンサの中心レンズ間の距離に基づいて決定される。また、場面７０１は、無限の焦点位置及びイメージセンサ間の中間程度の距離に対象部分７９１を含む。
【0075】
検出エレメント７１０によって検出された複眼視野イメージ７０２で、場面７０１の対象部分７９１に対応する地点から反射した光線は、第１領域７１１で１番ピクセルに対応する。同様に、対象部分７９１に対応する地点から反射した光線は、第２領域７１２で２番ピクセル、第３領域７１３で３番ピクセル、第４領域７１４で４番ピクセル、第５領域７１５で５番ピクセル、第６領域７１６で６番ピクセル、第７領域７１７で７番ピクセル、第８領域７１８で８番ピクセル、第９領域で９番ピクセルに対応する。図４に示されたものとは異なって、図７では、対象部分７９１に対応するライトフィールドのうち一部が各レンズによってカバーされる中心検出エレメントでない、その周辺の検出エレメントで検出される。
【0076】
イメージ復元装置は、図３及び図４を参照して上述したものと類似に、複眼視野イメージ７０２のピクセルを再配列する。ただし、対象部分７９１に対するピクセル７４１で対象部分７９１から誘発されたライトフィールドに対応する１番ピクセルないし９番ピクセルは、互いに隣接しないように再配列される。図３及び図４では、オブジェクトが無限の焦点位置にあると仮定したが、図７では、対象部分７９１が中間程度の位置にあるためである。したがって、複眼視野イメージ７０２が再配列された対象イメージ７０３は、オリジナルの場面に比べてブラー（Ｂｌｕｒ）に示される。
【0077】
さらに、場面の詳細部分７８１から復元された、対象イメージ７０３で近い部分７８２は、さらにブラーに復元され得る。詳細部分７８１に対して再配列されたピクセル７４２は、カメラから詳細部分７８１までの物理的距離がカメラから中間位置を有する対象位置７９１までの物理的距離よりも短いため、対象部分７９１に対して再配列されたピクセル７４１よりもさらに遠く再配列されるためである。
【0078】
一実施形態に係るイメージ復元装置は、このような距離に応じるライトフィールドの検出位置変化を考慮して、様々な拡張間隔を有するカーネルを用いた畳み込みニューラルネットワークに基づいて複眼視野イメージ７０２を高解像度に復元することができる。
【0079】
以下は、畳み込みニューラルネットワークを用いた、対象イメージ７０３の復元を説明する。
【0080】
図８は、一実施形態に係る対象イメージから出力イメージを復元する過程を説明する図である。
【0081】
一実施形態に係るイメージ復元装置は、入力レイヤ８１２に検出エレメント８１１によって検出された複眼視野イメージを再配列して対象イメージ８０３を生成する。イメージ復元装置は、対象イメージ８０３のピクセルをイメージ復元モデル８５０に入力する。
【0082】
イメージ復元装置は、上述したことにより生成された対象イメージ８０３から、イメージ復元モデル８５０に基づいて出力イメージ８０４を算出する。例えば、イメージ復元モデル８５０は、基準複眼イメージが再配列された基準入力イメージから基準出力イメージ８０４を出力するよう、トレーニングされたモデルであり得る。イメージ復元モデル８５０は、入力レイヤ、複数の隠れレイヤ、及び出力レイヤを含む。イメージ復元モデル８５０は、例えば、機械学習構造として、畳み込みニューラルネットワークを含んでもよく、隠れレイヤは、畳み込みレイヤを含む。畳み込みニューラルネットワークは、畳み込みレイヤを含むニューラルネットワークを示す。例えば、イメージ復元モデル８５０は、様々な拡張間隔を有するカーネルに対応する畳み込みレイヤを含む。カーネルは、ｎ×ｎの大きさである。ここで、ｎは１以上の整数であってもよく、以下ではｎ＝３である例示を主に説明する。様々な拡張間隔のカーネルは、下記の図９Ａ～図９Ｃを参照して詳細に説明する。
【0083】
例えば、イメージ復元装置は、イメージセンサ内でレンズ及び検出エレメントの配置構造に基づいて決定された複数の拡張間隔のそれぞれに対応するカーネルを有する畳み込みレイヤに基づいて出力イメージ８０４を算出する。例えば、拡張間隔のそれぞれは、レンズの間に誘発されたディスパリティ（ｄｉｓｐａｒｉｔｙ）のそれぞれに対応する。このような様々な拡張間隔に対応するカーネルを有する畳み込みレイヤを用いて、対象イメージ８０３に対してｎ×ｎカーネルを用いた畳み込み演算を繰り返すことで、特徴データ（例えば、イメージ特徴）を抽出することができる。イメージ復元装置は、複数のレベルに対応する畳み込みレイヤを介してより抽象化された特徴を抽出することができる。例えば、イメージ復元装置は、Ｎ個のレベルに対応する畳み込みレイヤ（例えば、Ｃｏｎｖ１～ＣｏｎｖＮ）を含む。ここで、Ｎは１以上の整数である。また、各畳み込みレイヤは、様々な拡張間隔を有する複数のカーネルに対応する隠れ出力を生成し得る。
【0084】
イメージ復元装置は、複数のレベルに対応する畳み込みレイヤの下位レベル（例えば、入力レイヤに近いレベル）から上位レベル（例えば、出力レイヤに近いレベル）に対象イメージ８０３に対応する入力データを伝播することによって、対象イメージ８０３が抽象化された特徴データを抽出することができる。また、イメージ復元装置は、このような対象イメージ８０３が抽象化された特徴データから最終的に復元された出力イメージ８０４を算出する。出力イメージ８０４のピクセル８９０は、実際の場面に類似する高解像度に復元されたピクセル値を有することができる。
【0085】
一実施形態に係るイメージ復元装置は、様々な拡張間隔を有するカーネルに対応する畳み込みレイヤを用いることによって、場面に示されるオブジェクトまでの正確な深度推定を行わなくても、高解像度の出力イメージ８０４を生成することができる。カーネルは、オブジェクトとイメージセンサとの間の距離に応じてイメージセンサに入射される光線の分布により設計された拡張間隔を有し、イメージ復元装置は、畳み込みレイヤを介してイメージの特徴を抽出しながら、上述したカーネルを介して類似のライトフィールド情報を有するピクセルフォーカシングし得る。図８に示すように、対象イメージ８０３は、多少ブラーのある形態の近いオブジェクト８８２を含むが、イメージ復元装置は、イメージ復元モデル８５０に基づいて対象イメージ８０３から鮮明な形態の近いオブジェクト８８３を含む出力イメージ８０４を算出することができる。
【0086】
参考として、対象イメージ８０３は、ライトフィールド間の相関性の高いピクセルが集まったイメージであるため、イメージ復元モデル８５０は、当該対象イメージ８０３からより高解像度の出力イメージ８０４を算出することができる。例えば、複眼視野イメージを直接ニューラルネットワークにトレーニングさせることよりも、再配列の後にトレーニングさせることがさらに有利である。複眼視野イメージがニューラルネットワークに入力される場合、復元すべきピクセル位置と相関性の低いイメージ信号がニューラルネットワークに参照されて復元されたイメージの解像度が低下されるためである。
【0087】
参考として、ニューラルネットワークは、ディープニューラルネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）の例示である。ＤＮＮは、完全接続ネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋ）、ディープ畳み込みネットワーク（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）、及びリカレントニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などを含む。ニューラルネットワークは、ディープラーニングに基づいて非線形関係にある入力データ及び出力データを互いにマッピングすることによりイメージ復元などを行う。ディープラーニングは、ビッグデータセットからイメージ復元のような問題を解決するための機械学習の方式である。ディープラーニングの教師あり（ｓｕｐｅｒｖｉｓｅｄ）又は教師なし（ｕｎｓｕｐｅｒｖｉｓｅｄ）学習を介して入力データ及び出力データを互いにマッピングすることができる。
【0088】
ニューラルネットワークは、入力レイヤ、隠れレイヤ、及び出力レイヤを含む。入力レイヤ、隠れレイヤ、及び出力レイヤはそれぞれ複数のノードを含む。図８において隠れレイヤは、畳み込みレイヤとして示されている。
【0089】
図８に示されたイメージ復元モデル８５０は、Ｎ個の隠れレイヤを含む。Ｎは１以上の整数であってもよい。また、ニューラルネットワークは、入力データを受信するための別途の入力レイヤを含むが、これに限定されることなく、入力データが隠れレイヤに直接入力されてもよい。ニューラルネットワークから出力レイヤを除いたレイヤのノードは、出力信号を送信するためのリンクを介して次のレイヤのノードと接続される。リンクの数は、次のレイヤに含まれたノードの数に対応する。
【0090】
隠れレイヤに含まれる各ノードには、以前レイヤに含まれるノードの加重された入力に関する活性関数の出力が入力される。加重された入力は、以前レイヤに含まれるノードの入力に加重値が乗算されたものである。加重値は、ニューラルネットワークのパラメータに称される。一実施形態によれば、加重値は、畳み込みレイヤでカーネル行列に含まれたカーネル要素に対応する。活性関数は、シグモイド（ｓｉｇｍｏｉｄ）、双曲線タンジェント（ｈｙｐｅｒｂｏｌｉｃ ｔａｎｇｅｎｔ；ｔａｎｈ）及びＲｅＬＵ（正規化線形関数：ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）を含み、活性関数によってニューラルネットワークに非線型性が形成される。出力レイヤに含まれる各ノードには、以前レイヤに含まれるノードの加重された入力が入力される。
【0091】
ニューラルネットワークの幅と深度が十分に大きければ、任意の関数を実現する程の容量を有することができる。ニューラルネットワークが適切なトレーニング過程を介して十分に多いトレーニングデータを学習すれば、最適な復元性能を達成することができる。
【0092】
【0093】
【0094】
カーネルは、畳み込みニューラルネットワークのパラメータとして、例えば、行列のように定義される。カーネルは、畳み込み行列とも呼んでもよく、フィルタとも呼んでもよい。カーネルは正方形の行列として、例えば、ｎ×ｎ行列に定義される。ｎは１以上の整数である。カーネルが行列（以下、カーネル行列）に定義される場合、カーネル行列は複数の要素を含む。ｎが奇数である場合、本明細書でカーネル行列において、１行目の１列目の要素（例えば、（１，１）の要素）、１行目の中間列の要素（例えば、（１、（ｎ＋１）／２）の要素）、１行目の最後列の要素（例えば、（１、ｎ）の要素）、中間行の１列目の要素（例えば、（（ｎ＋１）／２、１）の要素）、中心要素（例えば、（（ｎ＋１）／２、（ｎ＋１）／２）の要素）、中間行の最後列の要素（例えば、（（ｎ＋１）／２、ｎ）の要素）、最後行の１列目の要素（例えば、（ｎ、１）の要素）、最後行の中間列の要素（例えば、（ｎ、（ｎ＋１）／２）の要素）、及び最後行の最後列の要素（例えば、（ｎ、ｎ）の要素）は、マシンラーニングによってトレーニングされた任意の加重値（例えば、非ゼロ値（ｎｏｎ－ｚｅｒｏ ｖａｌｕｅ））を有し、残りの要素は０の値を有するが、これに限定されることはない。本明細書において、カーネル行列で非ゼロ値を有するカーネルの行列の要素をカーネル要素と示すことができる。参考として、図９Ａ～図９Ｃではカーネル要素をドット（ｄｏｔ）に表現し、残りの０の値を有する要素は空欄（ｂｌａｎｋ）に表現した。
【0095】
ニューラルネットワークを構成している畳み込みレイヤは、１つ又はそれ以上の個数のカーネルを有する。プロセッサは、畳み込みレイヤのカーネルを用いて畳み込み演算を行ってもよい。例えば、プロセッサは、カーネルを入力データに対して巡回（ｓｔｒｉｄｅ）しながら、カーネルの巡回されたピクセル位置でカーネルの要素及び入力データで当該のカーネル要素に対応する値の間の行列積を行う。このように、プロセッサは、任意のピクセル位置に対して、カーネルの要素及びそれに対応する入力データ値の行列積を算出することで、当該ピクセル位置に対する特徴値を出力することができる。
【0096】
プロセッサは、個別カーネルごとに入力データから特徴マップを抽出する。例えば、畳み込みレイヤがｍ個のカーネルを有する場合、プロセッサは、当該の畳み込みレイヤに基づいて入力データからｍ個の特徴マップを抽出する。ｍは１以上の整数である。
【0097】
カーネル行列に含まれる要素は一種の加重値として、トレーニングの対象となり得る。例えば、ニューラルネットワークの損失が最小化されるように、例えば、逆伝播によってイメージ復元モデルのトレーニングに基づいてカーネルの要素がアップデートされる。ただし、これに限定されることはない。
【0098】
カーネルの大きさは、カーネル行列の行の個数及び列の個数により決定される。例えば、カーネルが正方形の行列として、ｎ×ｎ行列から構成される場合、当該カーネルの大きさはｎ×ｎである。本明細書ではｎ＝３である場合について主に説明し、この場合、カーネル行列に含まれる要素の個数は合計９個であり得る。
【0099】
【0100】
本明細書で拡張間隔は、同じ行又は同じ列の内で任意のカーネル加重値及び他のカーネル加重値が配置された要素間の間隔を示す。
【0101】
イメージ復元モデルは、イメージセンサから閾値距離よりも遠く位置する地点で放射された光線が受信される検出エレメントの位置関係に基づいて決定されたカーネルに対応する畳み込みレイヤを含む。例えば、図９Ａは、被写体がイメージセンサから無限大の距離にあると仮定した場合について最適化されたカーネルであって、基本カーネル（ｄｅｆａｕｌｔ ｋｅｒｎｅｌ）のように示してもよい。カーネルのカーネル加重値間に離隔する拡張間隔９６１が基本値（例えば、１）であってもよい。
【0102】
図９Ｂは、拡張間隔９６２が２であるカーネル９５２を示す。図９Ｃは、拡張間隔９６３が３であるカーネル９５３を示す。ただし、カーネルの拡張間隔が図９Ａ～図９Ｃに限定されることはない。カーネルの拡張間隔はｋであり、ｋは１以上の整数である。
【0103】
さらに、イメージ復元モデルは、イメージセンサから最小撮影距離に位置する地点に放射された光線が受信される検出エレメントの位置関係に基づいて決定されたカーネルに対応する畳み込みレイヤを含む。最小撮影距離に対応するカーネルは、イメージセンサの最小撮影距離、イメージセンサの中心レンズから最外郭レンズまでの距離、及びレンズの焦点距離に基づいて算出された最大ディスパリティにより決定された拡張間隔を有する。このように、被写体がイメージセンサから最小撮影距離にあると仮定する場合に対して、算出された拡張間隔を有するカーネルを最大カーネルと示す。最大カーネルは、当該イメージセンサに対して使用され得る拡張間隔のうち最も大きい拡張間隔を有する。最大カーネルの拡張間隔は最大ディスパリティにより決定され、最大ディスパリティについては、下記の図１０を参照して詳細に説明することにする。
【0104】
上述したように、イメージ復元装置は、拡張間隔が互いに異なる数個のカーネルに対応する畳み込みレイヤを含むイメージ復元モデルに基づいて、被写体の深度により多重レンズを介して互いに異なる位置の検出エレメントから検出されるピクセル値を組み合わせて高解像度のイメージを復元することができる。
【0105】
図１０は、一実施形態に係る最大ディスパリティを説明する図である。
【0106】
ディスパリティは、任意のあるレンズに属する検出エレメント１０１０で被写体との距離に応じて光線が検出される位置が可変されるとき、可変された位置とレンズの中心位置との間の差を示す。例えば、イメージ復元モデルは、イメージセンサの幾何構造（例えば、レンズ及び検出エレメントの配置）により全ての可能なディスパリティごとの拡張間隔を有するカーネルに対応する畳み込みレイヤを含む。イメージセンサで各レンズによってカバーされる検出エレメントの個数は限定されるため、ディスパリティも離散的に示されてもよい。
【0107】
最大ディスパリティは、レンズアレイのうち最外郭レンズによってカバーされる領域に位置する検出エレメント１０１０で、無限の焦点位置から放出された光線を受信する検出エレメントと、最小撮影距離から放出された光線を受信する検出エレメントとの間のディスパリティを示す。
【0108】
最大ディスパリティは、イメージセンサの最小撮影距離、イメージセンサの中心レンズから最外郭レンズまでの距離、及びレンズの焦点距離に基づいて決定される。例えば、図１０において、被写体がイメージセンサから最小撮影距離Ｄに位置する状況を仮定する。図１０において、Ｌは中心レンズから最外郭レンズまでの距離、ｆはレンズの焦点距離を示す。ここで、最大ディスパリティは、２×ｈ＝２（Ｌ×ｆ）／Ｄで算出される。最大ディスパリティをピクセル個数の単位に表現する場合、（２×ｈ）／ｐｉｘｅｌ＿ｐｉｔｃｈに示す。ｐｉｘｅｌ＿ｐｉｔｃｈは、イメージで任意のピクセルのピッチを示す長さとして、例えば、イメージセンサに含まれた検出エレメント１０１０のそれぞれの長さ又は幅に対応する。
【0109】
一実施形態に係るイメージ復元モデルは、最大ディスパリティを基準にして決定された拡張距離、及び最大ディスパリティを基準にして決定された個数（ｎｕｍｂｅｒ）のカーネルに対応する畳み込みレイヤを含む。
【0110】
図１１は、一実施形態に係るイメージ復元モデルの詳細構造を説明する図である。
【0111】
一実施形態に係るイメージ復元装置は、上述したように、複眼視野イメージ１１０２から再配列されたイメージ１１０３（例えば、対象イメージ）を生成する。イメージ復元装置は、対象イメージからイメージ復元モデル１１５０に基づいて出力イメージ１１０４を算出する。
【0112】
例えば、イメージ復元装置は、イメージセンサ内でレンズ及び検出エレメントの配置構造に基づいて決定された複数の拡張間隔のそれぞれに対応するカーネルを有する畳み込みレイヤに基づいて、出力イメージを算出し得る。イメージ復元モデル１１５０は、検出エレメント配置構造及びイメージセンサから地点までの距離に基づいて決定された拡張間隔を有するカーネルを有する畳み込みレイヤを含む。
【0113】
イメージ復元モデル１１５０は、複数のレベル１１５１に対応する畳み込みレイヤを含む。イメージ復元モデル１１５０の入力側に近いレイヤであるほど、低いレベルに対応するレイヤである。イメージ復元モデル１１５０の出力側に近いレイヤであるほど、高いレベルに対応するレイヤである。
【0114】
また、イメージ復元モデル１１５０は、互いに異なる拡張間隔を有するカーネルのそれぞれに対応する畳み込みレイヤを含む。イメージ復元モデル１１５０は、同一の拡張間隔を有する複数のカーネルに対応する畳み込みレイヤを含む。例えば、図１１で、第１畳み込みレイヤ（１ｓｔ Ｍｕｌｔｉ－Ｄｉｌａｔｉｏｎ Ｃｏｎｖ）は同一の大きさ（例えば、３×３）のカーネルを様々な拡張間隔に含むことができる。第１畳み込みレイヤ（１ｓｔ Ｍｕｌｔｉ－Ｄｉｌａｔｉｏｎ Ｃｏｎｖ）は拡張間隔が１であるカーネルを７個、拡張間隔が１０であるカーネルを６個、拡張間隔が２１であるカーネルを７個、拡張間隔が３２であるカーネルを６個、拡張間隔が４３であるカーネルを６個、拡張間隔が５４であるカーネルを７個、拡張間隔が６５であるカーネルを６個、拡張間隔が７６であるカーネルを７個、拡張間隔が８７であるカーネルを６個、拡張間隔が９８であるカーネルを６個含む。したがって、第１畳み込みレイヤ（１ｓｔ Ｍｕｌｔｉ－Ｄｉｌａｔｉｏｎ Ｃｏｎｖ）のカーネルは、拡張間隔が１から９８まで多様であり、イメージ復元モデル１１５０は、各拡張間隔ごとに複数の特徴マップを抽出することができる。例えば、拡張間隔が１であるカーネルに対応してイメージ復元モデル１１５０は７個の特徴マップを抽出することができる。
【0115】
参考として、図１１において各レベルのレイヤは、レイヤの入力側及び出力側に畳み込みレイヤを含み、二畳み込みレイヤ間にＲｅＬＵレイヤを含むものと示したが、これに限定されることはない。
【0116】
イメージ復元モデル１１５０は、下位レイヤであるほど様々な拡張間隔のカーネルに対応する畳み込みレイヤを含み、上位レイヤであるほど減少した拡張間隔のカーネルに対応する畳み込みレイヤを含む。例えば、イメージ復元モデル１１５０は、下位レイヤから上位レイヤまで各畳み込みレイヤに対応するカーネルの拡張間隔の個数及び大きさが徐々に減少する。例えば、第２畳み込みレイヤ（２ｎｄ Ｍｕｌｔｉ－Ｄｉｌａｔｉｏｎ Ｃｏｎｖ）は、第１畳み込みレイヤ（１ｓｔ Ｍｕｌｔｉ－Ｄｉｌａｔｉｏｎ Ｃｏｎｖ）に比べて、拡張間隔が９８であるカーネルの個数が６個から２個に減少し、代わりに、拡張間隔が１であるカーネルの個数が７個から１１個に増加するよう設計されている。また、レイヤのレベルが増加するほど、カーネルの拡張間隔が徐々に減少する。最後の第１９畳み込みレイヤ（１９ｔｈ Ｍｕｌｔｉ－Ｄｉｌａｔｉｏｎ Ｃｏｎｖ）は、拡張間隔が１であるカーネルのみを６４個含んでいる。したがって、イメージ復元モデル１１５０のレイヤは、データの次元を保持しながら、カーネルの拡張間隔が徐々に減少するよう設計されることができる。上位レイヤは、より広いピクセル領域をカバーすることができる。
【0117】
一実施形態に係るイメージ復元装置は、上述した畳み込みレイヤに基づいて対象イメージから特徴データを抽出する。イメージ復元装置は、特徴データからイメージ復元モデル１１５０の残りのレイヤに基づいて出力イメージを生成する。例えば、イメージ復元装置は、イメージ復元モデル１１５０の下位レイヤから上位レイヤに向かって、対象イメージを伝えることによって最終的に出力イメージを生成することができる。イメージ復元モデル１１５０の下位レイヤから上位レイヤに伝播されるほど、より抽象化された特徴を抽出することができる。図１１に示された例示として、イメージ復元モデル１１５０で各レベルに対応する畳み込みレイヤは合計６４個の特徴マップを抽出し、イメージ復元装置は、このように抽出された特徴マップから出力イメージを生成することができる。
【0118】
カーネルの大きさは保持しながら、様々な拡張間隔のカーネルを用いることによって、イメージ復元装置は演算量が増加されることなく、高解像度のイメージを復元することができる。イメージ復元装置は、各オブジェクトに対する深度推定を行わなくても、高解像度のイメージを復元することができる。
【0119】
【0120】
図１２は、他の一実施形態に係るイメージ復元過程を説明する図である。
【0121】
一実施形態によれば、イメージ復元モデル１２５０は、単一の拡張間隔を有するカーネルに対応する畳み込みレイヤを含む。
【0122】
例えば、イメージ復元装置は、イメージセンサと対象オブジェクトとの間の距離別に入力イメージを再配列することで、他の深度に対応する複数の対象イメージ１２３１，１２３２，１２３３を取得することができる。上述したように、被写体とイメージセンサとの間の距離に応じて、互いに類似のライトフィールド情報が検出される検出エレメントの位置が変わる。互いに類似のライトフィールド情報が検出される検出エレメントの位置は、被写体とイメージセンサとの間の距離に応じるディスパリティごとに変わり得る。イメージ復元装置は、イメージセンサに示される複数のディスパリティのうち、各ディスパリティに対応する再配列の行列を用いて複眼視野イメージ１２０２を変換し得る。深度推定動作がないため、イメージ復元装置は、深度により発生し得る全てのケースに対して、複眼視野イメージ１２０２から対象イメージ１２３１，１２３２，１２３３を生成する。したがって、イメージ復元装置は、イメージセンサで示されるディスパリティの個数だけの対象イメージ１２３１，１２３２，１２３３を取得することができる。
【0123】
参考として、上述した数式（４）では、イメージセンサから無限の焦点位置にある被写体に対して撮影された複眼視野イメージ１２０２を再配列する再配列の行列について説明したが、図１２では、各ディスパリティに対応する距離ごとの再配列の行列を用いて、イメージ復元装置が被写体に対して撮影された複眼視野イメージ１２０２を再配列することができる。
【0124】
イメージ復元装置は、取得された複数の対象イメージ１２３１，１２３２，１２３３のそれぞれから、畳み込みレイヤを含むイメージ復元モデル１２５０に基づいて出力イメージ１２０４を復元する。ディスパリティごとに対象イメージ１２３１，１２３２，１２３３が生成されたため、対象イメージ１２３１，１２３２，１２３３のうち少なくとも１つは、実際の場面に示されるオブジェクトそれぞれの正確な深度に対応する。イメージ復元装置は、複数の対象イメージから単一の拡張間隔を有するカーネルに対応する畳み込みレイヤを含むイメージ復元モデル１２５０に基づいて出力イメージ１２０４を算出する。実際の場面に複数のオブジェクトが存在しても、イメージ復元装置は、トレーニングされたイメージ復元モデル１２５０を介して複数の対象イメージ１２３１，１２３２，１２３３のそれぞれから各オブジェクトの深度に対応する部分の特徴を抽出することによって、その特徴から高解像度の出力イメージ１２０４を算出することができる。
【0125】
図１～図１１において、イメージ復元装置がイメージセンサに示されるディスパリティごとに設定されたカーネルを用いて、深度情報がなくともイメージを高解像度に復元することができる。図１２では、イメージ復元装置がイメージセンサに示されるディスパリティごとに再配列の行列を決定し、再配列の行列に基づいて生成された対象イメージ１２３１，１２３２，１２３３を用いて深度情報がなくてもイメージを高解像度に復元することができる。
【0126】
図１３は、一実施形態に係るイメージ復元方法を説明するフローチャートである。
【0127】
まず、ステップＳ１３１０において、イメージ復元装置は、対象イメージを取得する。イメージ復元装置は、イメージセンサを介して実際の場面を撮影した複眼視野イメージを取得する。イメージ復元装置は、複眼視野イメージを再配列の行列を介して変換することにより対象イメージを取得し得る。
【0128】
そして、ステップＳ１３２０において、イメージ復元装置は、取得された対象イメージから拡張間隔を有するカーネルに対応する畳み込みレイヤを含むイメージ復元モデルに基づいて出力イメージを復元する。
【0129】
【0130】
図１４は、一実施形態に係るイメージ復元モデルをトレーニングする方法を説明するフローチャートである。
【0131】
まず、ステップＳ１４１０において、トレーニング装置は、トレーニングデータから基準入力イメージを生成する。例えば、トレーニングデータは、トレーニング入力及びトレーニング出力の対を含む。トレーニング出力は、任意のトレーニング入力に対して与えられたグラウンドトルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）であってもよい。一実施形態によれば、トレーニング入力は複眼視野イメージであってもよく、トレーニング出力は当該の複眼視野イメージに対する実際の場面であってもよい。トレーニング装置は、トレーニング入力、例えば、複眼視野イメージを再配列の行列を介して変換することで、基準入力イメージを生成する。基準入力イメージは、図４及び図７を参照して説明したように、再配列の行列を介してトレーニング入力が変換された対象イメージであり得る。
【0132】
そして、ステップＳ１４２０において、トレーニング装置は、イメージ復元モデルが基準入力イメージから基準出力イメージを算出するよう、拡張間隔を有するカーネルに対応する畳み込みレイヤを含むイメージ復元モデルをトレーニングする。例えば、トレーニング装置は、イメージ復元モデルの入力レイヤから出力レイヤに基準入力イメージを伝播することによって、臨時出力イメージを算出することができる。本明細書において、トレーニングが完了する前のイメージ復元モデルは臨時モデルと示し、臨時モデルの出力は臨時出力イメージと示す。トレーニング装置は、臨時出力イメージ及び基準出力イメージ間の損失を算出する。損失は様々な損失関数によって算出され、特定の関数に限定されることはない。トレーニング装置はその損失が最小化されるよう、イメージ復元モデルのパラメータ（例えば、連結加重値）をアップデートする。トレーニング装置は、損失が収斂されるまで、臨時出力イメージの算出及びそれに基づいたイメージ復元モデルのパラメータアップデートを繰り返す。
【0133】
損失が収斂されれば、トレーニング装置はトレーニングを終了し、トレーニングが完了したイメージ復元モデル及びそれに対応するパラメータを格納する。
【0134】
図１５は、一実施形態に係るイメージ復元装置の構成を説明するブロック図である。
【0135】
イメージ復元装置１５００は、プロセッサ１５１０、メモリ１５２０、及びイメージ取得部１５３０を含む。
【0136】
プロセッサ１５１０は、取得された対象イメージから拡張間隔を有するカーネルを有する畳み込みレイヤを含むイメージ復元モデルに基づいて出力イメージを復元する。ただし、プロセッサ１５１０の動作がこれに限定されることなく、図１ないし図１４を参照して説明された動作を行ってもよい。
【0137】
メモリ１５２０は、イメージ復元モデル及びパラメータを格納する。イメージ復元モデルは、トレーニングが完了したモデルであり得る。また、メモリ１５２０は、イメージ復元方法を行うために求められるデータを臨時的又は永久的に格納する。例えば、メモリ１５２０は、イメージ取得部１５３０によって取得される対象イメージ、出力イメージ、及び各畳み込みレイヤから出力される特徴データなどを格納する。
【0138】
イメージ取得部１５３０は、対象イメージを取得する。例えば、イメージ取得部１５３０は、複眼視野イメージを撮影するイメージセンサを含む。イメージセンサは、図１及び図２で上述したような構造により実現される。
【0139】
図１６は、一実施形態に係るトレーニング装置の構成を説明するブロック図である。
【0140】
トレーニング装置１６００は、プロセッサ１６１０及びメモリ１６２０を含む。
【0141】
プロセッサ１６１０は、メモリ１６２０からトレーニングデータ１６２１及びイメージ復元モデル１６２２をロードする。プロセッサ１６１０は、トレーニング入力から再配列の行列を用いて基準入力イメージを生成する。プロセッサ１６１０は、基準入力イメージからトレーニング出力を算出するように、イメージ復元モデル１６２２をトレーニングする。例えば、プロセッサ１６１０は、イメージ復元モデル１６２２に基準入力イメージを伝えることによって、臨時出力イメージを算出し、臨時出力イメージ及び基準出力イメージ間の損失が最小化されるようにイメージ復元モデル１６２２のパラメータをアップデートする。
【0142】
基準入力イメージは、再配列の行列を介してライトフィールド情報の相関性の高いピクセルが隣接するようピクセルが再配列されたイメージであるため、トレーニング装置１６００は、基準入力イメージを介してより高解像度のイメージを出力するようイメージ復元モデル１６２２をトレーニングさせることができる。
【0143】
【0144】
一実施形態に係るイメージ復元装置は、様々な技術分野に適用される。イメージ復元装置は、複数のレンズから構成されるレンズアレイ及び複数の検出エレメントで構成されるセンサが比較的に短い焦点距離で離隔するように設計される。したがって、イメージ復元装置は、高画質撮影のためにセンサの大きさが大きくなりながらも、超薄型カメラに具現することができる。このように、イメージ復元装置は、マルチレンズアレイ構造を介して減少した厚さで具現される。イメージ復元装置は、ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ、チップなどに具現されてカメラのイメージ信号プロセッサとして実現される。イメージ復元装置は、スマートフォンの前面カメラ又は後面カメラに適用される。イメージ復元装置で、大型フルフレームセンサ（Ｆｕｌｌ Ｆｒａｍｅ Ｓｅｎｓｏｒ）及びマイクロレンズアレイ（Ｍｉｃｒｏ－ｌｅｎｓ Ａｒｒａｙ）が結合した構造で携帯電話カメラに適用される。また、薄型構造又は曲がった構造で車両用として実現されてもよい。
【0145】
例えば、図１７に示すように、スマートフォン機器１７００に前面又は後面カメラとしてイメージ復元装置１７１０が実現される。イメージ復元装置１７１０のセンサはフルフレームに実現され、レンズアレイはマイクロレンズとして実現される。
【0146】
また、図１８に示すように、車両１８００に曲線を有する前面カメラ又は後面カメラとしてイメージ復元装置１８１０が実現される。ただし、これに限定されることなく、イメージ復元装置は、ＤＳＬＲカメラ、ドローン、ＣＣＴＶ、ウェブ用カメラ、３６０度撮影カメラ、映画及び放送のためのカメラ、及びＶＲ／ＡＲカメラなどに使用される。さらに、イメージ復元装置は、柔軟かつ伸縮可能カメラ（Ｆｌｅｘｉｂｌｅ／Ｓｔｒｅｔｃｈａｂｌｅ Ｃａｍｅｒａ）、虫の目カメラ、コンタクトレンズタイプ（Ｃｏｎｔａｃｔ ｌｅｎｓ ｔｙｐｅ）カメラなどのような様々な分野にも適用され得る。
【0147】
さらに、イメージ復元装置は、連続したフレームのビデオイメージで撮影された複数のフレーム情報を用いて解像度を増加するマルチフレーム超解像度のイメージ復元（Ｍｕｌｔｉ－ｆｒａｍｅ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｒｅｓｔｏｒａｔｉｏｎ）にも適用され得る。
【0148】
以上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【0149】
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの１つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは１つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
【0150】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独で又はその組合せを含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【0151】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されてよく、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって代替又は置換されたとしても適切な結果を達成することができる。
【0152】
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【0153】
１５００：イメージ復元装置
１５１０：プロセッサ
１５２０：メモリ
１５３０：イメージ取得部
１５１０：プロセッサ
１５２０：メモリ
１５３０：イメージ取得部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】