特表 2024-504261 部分反射器を活用する高倍率写真撮影における像補正及び処理のための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-31

(54)【発明の名称】部分反射器を活用する高倍率写真撮影における像補正及び処理のための方法及びシステム

(51)【国際特許分類】

   G02B 17/08 20060101AFI20240124BHJP

   G02B 13/00 20060101ALI20240124BHJP

   G03B 19/02 20210101ALI20240124BHJP

   H04N 23/55 20230101ALI20240124BHJP

   H04N 23/60 20230101ALI20240124BHJP

【ＦＩ】

G02B17/08

G02B13/00

G03B19/02

H04N23/55

H04N23/60 500

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023537592

(86)(22)【出願日】2021-12-17

(85)【翻訳文提出日】2023-08-10

(86)【国際出願番号】 US2021073018

(87)【国際公開番号】W WO2022133496

(87)【国際公開日】2022-06-23

(31)【優先権主張番号】63/126,942

(32)【優先日】2020-12-17

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/127,047

(32)【優先日】2020-12-17

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/127,052

(32)【優先日】2020-12-17

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/127,081

(32)【優先日】2020-12-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】523228059

【氏名又は名称】ルメヌイティ、エルエルシー

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】ワックス、エド

(72)【発明者】

【氏名】シャピーロ、ベンジャミン

【テーマコード（参考）】

2H054

2H087

5C122

【Ｆターム（参考）】

2H054BB02

2H087KA01

2H087LA01

2H087RA41

2H087RA44

2H087TA04

2H087TA06

5C122EA12

5C122EA21

5C122EA31

5C122EA54

5C122FB11

5C122FB13

5C122FB15

5C122FD01

5C122FE02

5C122FH06

5C122FH23

5C122GE11

5C122HA82

5C122HA88

5C122HB10

(57)【要約】

部分反射器を用いた高倍率写真撮影において像収差を低減するためのシステム及び方法がここに記載される。具体的には、携帯電話、スマートフォン、タブレット、ラップトップ、若しくは任意の他のモバイルデバイスに内蔵されているか、又はそれに含まれた撮像デバイス若しくはカメラによる。システム及び方法は、レンズを通過する光を含み、次いで、当該光の一部は、２つの部分反射器間のいくつかの部分反射を受け、次いで、当該光の一部は、撮像センサに到達する。部分反射は、より長い光路が撮像センサに到達することを可能にし、したがって、より長い焦点距離が使用されることを可能にし、それは、より高い倍率を可能にする。低減された像収差を有する像を作り出すために、部分反射器を有するシステム内の光学素子の物理パラメータを選択する方法及び実施形態が説明される。

【特許請求の範囲】

【請求項1】

撮像システムであって、
第１のレンズと、
第１の部分反射器と、
第２の部分反射器と、
センサと
を備え、前記システムが、全焦点距離を有し、前記第１のレンズと前記センサとの間の距離が、前記全焦点距離未満であり、少なくとも１つのレンズ又は部分反射器が、像収差を低減するように成形又は湾曲されている、撮像システム。

【請求項2】

少なくとも１つのレンズが、像収差を低減するために非球面形状に成形（湾曲）されている、請求項１に記載の撮像システム。

【請求項3】

少なくとも１つの部分反射器が、像収差を低減するために非球面形状に成形（湾曲）されている、請求項１に記載の撮像システム。

【請求項4】

プリズム又は角度付きミラーを更に含む、請求項１に記載の撮像システム。

【請求項5】

撮像システムであって、
２つ以上のレンズと、
第１の部分反射器と、
第２の部分反射器と、
センサと
を備え、前記システムが、全焦点距離を有し、前記第１のレンズと前記センサとの間の距離が、前記全焦点距離未満であり、一連のレンズが、像収差を低減するために使用されている、撮像システム。

【請求項6】

少なくとも１つのレンズが、像収差を低減するために非球面形状に成形（湾曲）されている、請求項５に記載の撮像システム。

【請求項7】

光の部分反射が、前記センサ上に像の合焦成分を形成する前に、成形（湾曲）されたレンズを２回以上通過する、請求項５に記載の撮像システム。

【請求項8】

少なくとも１つのレンズの焦点距離が、前記センサ上に像の合焦成分を形成するために前記光によって進行される総経路長よりも長い、請求項５に記載の撮像システム。

【請求項9】

プリズム又は角度付きミラーを更に含む、請求項５に記載の撮像システム。

【請求項10】

オブジェクトの像を生成する方法であって、
少なくとも２つの部分反射からの光の和を包有する像をセンサ上で取得するステップであって、前記光が、レンズ及び２つ以上の部分反射器に入射し、前記光が、前記２つ以上の部分反射器間で１回又は複数回の往復部分反射を受け、センサに入り、前記像が、前記センサによってキャプチャされる、ステップと、
前記センサからの前記光を処理して、前記オブジェクトの合焦した像を導出するステップと
を含む、方法。

【請求項11】

ソフトウェア及びハードウェアが、入力を処理し、前記入力が、合焦オブジェクト又はシーンと前記オブジェクト又はシーンのいくつかの非合焦コピーとの和であり、前記入力が、その出力において、前記オブジェクト又はシーンの合焦像を生成する、請求項１０に記載の方法。

【請求項12】

ソフトウェア処理が、逆畳み込みを含む、請求項１０に記載の方法。

【請求項13】

前記ソフトウェア処理が、アンシャープマスクを使用することを含む、請求項１０に記載の方法。

【請求項14】

前記ソフトウェア処理が、ハイパスフィルタリングを含む、請求項１０に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、概して、高倍率写真撮影及び撮像技術の分野に関する。より具体的には、本出願は、部分反射器の使用を含む高倍率カメラ又は撮像デバイスにおける像収差の補正のためのシステム及び方法に関する。本出願はまた、携帯電話、スマートフォン、タブレット、ラップトップ、又は任意の他のモバイルデバイスに内蔵された撮像デバイス又はカメラに関する。

【背景技術】

【0002】

デジタルカメラは、モバイルデバイスにおいて広く使用されている。それらの性能は、消費者にとって主要な差別化要因であり、市場占有率の促進要因である。したがって、モバイルデバイスの製造業者及び供給業者は、カメラ性能を改善しようと努めている。

【0003】

モバイルデバイスのカメラ性能の１つの重要な態様は、高倍率（又は高ズーム）写真撮影である。典型的には、高倍率写真撮影を達成するカメラ又は撮像デバイスは、長く大きなレンズアセンブリを有する（例えば、ＤＳＬＲカメラにおけるズームレンズ）。しかし、モバイルデバイスは、薄くコンパクトであり、長いレンズアセンブリを包有することができず、これにより、従来、それらの倍率及びズーム能力が制限されてきた。

【0004】

米国特許出願第２０２１／０２１１５６３号（Ｅｄｏ Ｗａｋｓ、Ｂｅｎｊａｍｉｎ Ｓｈａｐｉｒｏによる）は、薄く、携帯電話、スマートフォン、タブレット、ラップトップ、又は他のモバイルデバイスの厚さ内に収まることができる、カメラ又は撮像デバイスのための、オブジェクトの高倍率像を生成するためのシステム及び方法を開示している。特に、それは、光路長を増加させ、それによって、薄型カメラ又は撮像システム内における長い焦点距離及び高倍率を可能にするために、カメラ又は撮像システム内の部分反射面間の部分反射を用いることを開示している。

【0005】

本出願は、部分反射器を含み、携帯電話、スマートフォン、タブレット、ラップトップなどのモバイルデバイスに組み込まれ得るカメラ又は撮像デバイスの像収差を低減する解決策を提供する。本出願は、ハードウェア解決策（光学素子の選択並びにそれらの配置及び特性）、及びソフトウェア解決策（撮像方法及びアルゴリズムの選択）の両方を含む。

【発明の概要】

【0006】

本出願は、部分反射器を有するカメラにおける像収差を低減するためのシステム及び方法を開示する。全てのカメラ及び撮像システムは、ある程度の像収差を被る。像収差は、カメラ又は撮像デバイス又は光学システムが完璧な像を撮影することができないことに起因する、形成された像における欠陥又は不完全性を指す。像収差には、非合焦及び焦点シフト現象、コマ収差、非点収差、像面湾曲、歪み、球面収差及び色収差、波面誤差、フィールド歪み（ピンクッション歪み又は樽型歪み）、口径食、ゴースト又はフレア、回折、並びに他のタイプの収差が含まれ得る。方法及びシステムは、像収差が低減された高倍率像を生成することができる。開示された撮像又はカメラシステムは、薄くコンパクトなモバイルデバイス内に収まることができ、部分反射器を使用し得る。特に、本出願は、モバイルデバイスのための高倍率高品質写真撮影を可能にするために、部分反射器を含むカメラ又は撮像デバイスの像収差を低減するための方法及びシステムを提供する。

【0007】

他の態様は、光学素子（例えば、少なくとも１つのレンズ、２つの部分反射器）及び撮像センサ（例えば、時間積分センサ）を有するシステムであって、センサ上に合焦像を形成する光が、部分反射器間で少なくとも１回の往復部分反射を完了する、システムを提供する。光学素子の特性（場所、サイズ、形状、材料、コーティング）は、高倍率を可能にし、かつ小体積デバイスにおいて像収差を低減するように選択される。センサ上に形成された像の合焦成分を抽出し、それを処理して像収差を低減するために、像処理アルゴリズムが提供される。

【図面の簡単な説明】

【0008】

【図1】部分反射器間に少なくとも１つのレンズを有することによって球面収差を低減するための例示的なシステムを示す。

【図2】レンズ、２つの部分反射器、及びセンサを有するシステムであって、合焦した像が、部分反射器間の１回の往復反射（１０２、１０３、１０４とラベル付けされている）後に達成され、光学素子の数、タイプ、配置、形状、及び材料が、像収差を低減するように選択されている、システムを示す。

【図3】レンズ、湾曲した部分反射面を有する２つの部分反射器（２２２、２３１とラベル付けされている）、及びセンサを有するシステムであって、合焦した像が、部分反射器間の１回の往復反射後に達成される、システムを示す。光学素子の数、タイプ、配置、形状、及び材料は、像収差を低減するように選択されている。

【図4】プリズム（２００とラベル付けされている）、レンズ、２つの部分反射器、及びセンサを有するシステムであって、合焦した像が、部分反射器間の１回の往復反射後に達成され、光学素子の数、タイプ、配置、形状、及び材料が、像収差を低減するように選択されている、システムを示す。

【図5】レンズ、角度付きミラー（２０３とラベル付けされている）、２つの部分反射器、及びセンサを有するシステムであって、角度付きミラーが、部分反射器間に配置されており、合焦した像が、部分反射器間の１回の往復反射後に達成され、光学素子の数、タイプ、配置、形状、及び材料が、像収差を低減するように選択されている、システムを示す。

【図6A】２つのレンズ、及びセンサを有する従来のシステムであって、第２のレンズ（２０２とラベル付けされている）が、アクチュエータ（３０１とラベル付けされている）によって前後に移動されられて、焦点距離を変化させ、合焦及びズーミングを達成することができる、従来のシステムを示す。

【図6B】２つのレンズ（２１１、２１４）、及び２つの部分反射器（２１２、２１３）、並びにセンサ（４１１）を有するシステムであって、第２の部分反射器及び第２のレンズ（２１３及び２１４）が、アクチュエータ（３１１）によって一緒に前後に移動させられて、焦点距離を変化させ、合焦及びズーミングを達成することができる、システムを示す。

【図7A】１つの光路が存在する従来のカメラのための理想的な撮像伝達関数の概略図を示す。この伝達関数は、狭いスポット（ラベル１０６）である。

【図7B】１つ以上の部分反射及び複数の光路を有するカメラのためのより複雑な撮像伝達関数の概略図を示す。この伝達関数は、部分反射（ラベル２０７、２０８）に起因して、追加のより大きな薄暗いスポットを有する。

【発明を実施するための形態】

【0009】

本出願は、ここで、本発明の好ましい実施形態を示す添付の図面を参照して、より完全に説明される。しかしながら、本発明は、多くの異なる形態で具現化され得、本明細書に記載された実施形態に限定されるものとして解釈されるべきではない。

【0010】

レンズ、他の光学素子の物理的及び光学的限界に起因して、並びに像処理ファームウェア及びソフトウェアの限界に起因して、任意のカメラによって形成される像には常にいくらかの歪み及び収差が存在することが知られている。像収差には、非合焦及び焦点シフト現象、コマ収差、非点収差、像面湾曲、歪み、球面収差及び色収差、波面誤差、フィールド歪み（ピンクッション歪み又は樽型歪み）、口径食、ゴースト又はフレア、回折、並びに他のタイプの収差が含まれ得る。

【0011】

実施形態は、部分反射器を有するカメラ又は撮像デバイス又は光学システムからの像を改善及び補正するためのシステム及び方法を含む。これらは、例示的な場所、サイズ、形状、材料及び材料特性、表面コーティング、焦点距離、屈折率、吸収率、及び散乱率、並びにレンズ、部分反射器、プリズム、及びミラーなどのシステム光学素子の他の態様を含む、カメラ又は撮像システムの構成を開示することを含む。加えて、部分反射器を有するカメラ又は撮像システムの構成を選択するための例示的な方法が開示され、例示的な設計も開示される。更に、センサ（例えば、時間積分センサ）上に形成された像から合焦した収差低減像を抽出するための撮像処理方法及びアルゴリズムが開示される。特に、本発明の実施形態は、小型又は薄型モバイルデバイスにおいて高倍率を可能にするために部分反射器を含むカメラ又は撮像デバイスの、像収差を低減するための方法及びシステムを提供する。

【0012】

大きな焦点距離を有する単一の球面レンズは高倍率を達成することができるが、米国特許出願第２０２１／０２１１５６３号（Ｅｄｏ Ｗａｋｓ、Ｂｅｎｊａｍｉｎ Ｓｈａｐｉｒｏによる）では、部分反射器及び像処理を追加することによって、単一の球面レンズが小型又は薄型デバイスにおいて高倍率を達成することが可能になることが開示された。しかし、単一の球面レンズは、典型的には、強い球面収差も作り出す。したがって、収差を補正するために複数のレンズを使用することが有利である。例えば、一連の更に長い焦点距離のレンズを使用して、収差が低減され、例えば、球面収差が低減されるが、正味の所望の焦点距離を達成することができる。

【0013】

本明細書に開示されるように、部分反射器は、像収差を補正するための新しく新規性のある機会を作り出す。特に、部分反射器を有する光学システムは、光が光学素子を複数回訪れることを可能にし、これは、単一の光学素子が光ビームと複数回相互作用し得ることを意味する。これは、光学素子がどのように相互作用するかを根本的に変化させ、本明細書に開示される本発明の構成、構成要素選択、及び形状、並びに像処理アルゴリズムを提供する。

【0014】

通常、ある特定の焦点距離が所望される場合、その焦点距離は、より長い焦点レンズを伴う２つ以上のレンズを有し、それらを一緒に使用して所望の焦点距離を達成することによって達成され得る。そうすることの利点は、より長い焦点レンズを伴うレンズがより少ない収差を作り出し、したがって、より長い焦点レンズを伴う複数のレンズが、より少ない球面収差を伴うが同じ所望の焦点距離を達成することである。通常、光は、シーンから各レンズを通って撮像センサまで通過する際に、各レンズと１回相互作用する。

【0015】

我々は、光を光学素子のうちの１つ、いくつか、又は全てと複数回相互作用させる複数の部分反射を利用することによって、球面収差などの像収差を低減及び補正する方法を開示する。例えば、光に複数回作用するレンズは、その光に作用する同じレンズの多くのコピーのように機能することになるため、したがって、更に長い焦点距離を有するレンズが採用することができる。したがって、収差は、本明細書に開示されるように、部分反射を活用するように光学素子を設計することによって、従来のカメラシステムよりも更に低減され得る。

【0016】

実施形態：レンズを通過する複数の光が、球面像収差の低減を補助する
例示的なシステムを図１に示す。システムは、レンズ（２０１）、部分反射器（２０２）、第２のレンズ（２０３）、第２の部分反射器（２０４）、及び撮像センサ（４０１）で構成されている。入射光（１０１）は、第１のレンズを通過し、次いで、部分反射器間で所望の回数（例えば、像の合焦成分を形成するための１回の往復１０２、１０３、１０４、１０５、１０６、１０７）反射し、その光（１０８）は、センサ（４０１）によって検出される。一例では、第１のレンズの焦点距離は、光が所望の数の部分反射を受けた後にセンサに到達する、光によって進行される総経路長よりも長い。Ｋが往復部分反射の所望の回数である場合、光線は、第２のレンズを２Ｋ＋１回通過して、センサ上に所望の合焦像成分を形成することとなる。各通過において、第２のレンズ（２０３）は、ビームを部分的に集束させ、したがって、全体として、Ｋ回の往復反射後に像センサにおいて合焦した像成分を形成するのに役立つこととなる。光を、第２のレンズを複数回通過させることによって、そのレンズの焦点距離は複数回作用し、その合焦効果を増幅する。これは、より長い焦点距離が両方のレンズ（２０１及び２０３）に対して選択され得ることを意味する。更にこれは次に、球面収差が焦点距離の増加とともに減少するため、球面収差が低減され得ることを意味する。

【0017】

したがって、例示的な図１に開示されるように、部分反射器及びそれらの間のレンズは、より長い焦点距離を有するレンズの使用を可能にし、これにより、より少ない球面収差を伴うが所望の全体的なカメラの合焦を可能にするため、より少ない収差を伴う全体的なカメラの所望の焦点距離を可能にする。第２のレンズ（２０３）が２Ｋ＋１回作用し、したがって、より少ない収差を伴うが更に長い焦点距離を有し得るため、より少ない収差を伴うが所望のカメラ焦点距離に達するという利点が向上する。開示された例示的なシステムは、（各レンズがより長い焦点距離を有し得るため）より薄いレンズの使用を更に可能にし、これは、次に、撮像システムのサイズの低減を更に可能にする（薄いレンズは、厚いレンズよりも場所をとらない）。

【0018】

本出願は更に、湾曲した部分反射ミラーを使用して、低減された収差現象を伴う所望のカメラ焦点距離を達成することを開示する。部分反射を伴う場合、１つ以上の湾曲した部分反射器をより長い焦点距離で使用して、所望のカメラ焦点距離を達成することができるが、被る収差はより少ない。これは、光路が湾曲した部分反射素子を複数回、例えば、Ｋ回の往復部分反射に対してＫ＋１回訪問することになり、収差が低減されるが、各訪問が追加の合焦を引き起こすこととなるためである（湾曲した部分反射器のより長い焦点距離のため）。加えて、湾曲した反射器はまた色収差を生じさせないため、これは複数の収差を同時に軽減することを可能にする。

【0019】

また、レンズと平坦な又は湾曲した部分反射器との組み合わせを使用することも開示されている。次に、部分反射は、複数回、より長い焦点距離のレンズ、及び／若しくはより長い焦点距離の湾曲した反射器、又はその両方を訪れ、したがって、収差が低減されるが所望のカメラ焦点距離を作り出す。

【0020】

実施形態：成形されたレンズと、平坦な反射面を有する２つの部分反射器と、を有するシステム
一実施形態において、本発明は、収差を低減するために、部分反射器を有するシステムのための光学素子の成形（例えば、湾曲）を提供する。１つの例示的な実施形態では、２つの部分反射器間で１回の往復反射した後に合焦した像がセンサ上に形成されるように、２つの成形されたレンズと、反射面は平坦であるがこれらの他の表面は成形されている２つの部分反射器と、センサと、を有するシステムが開示されている。また、像収差が低減された像が形成される。

【0021】

光学素子（レンズ、部分反射器）の例示的な配置及び形状が図２に示されており、これらの素子は、合焦した像の像収差を低減するように選択されている。具体的には、入射光（１０１）は、第１のレンズ（２０１）を通過し、次いで、光（１０２）の一部は、部分反射器（２０２）を通過し、第２の部分反射器（２０３）から部分的に反射することによって、１回の意図された往復反射（１０２、１０３、１０４）を受け、次いで、光（１０５）の一部は、第２の部分反射器（２０３）及び第２のレンズ（２０４）を通過して、合焦点（１０６）においてセンサ（４０１）に到達する。単に明確にするために、光の他の経路（例えば、往復しない、２、３、４回などの往復反射）は示されておらず、理由としては、この実施形態では、それらは（４０１）センサ平面において合焦しないこととなるためである。

【0022】

この実施形態は、経験、革新、及び数理最適化の組み合わせによって選択された。具体的には、光学素子の配置、サイズ、及び形状は、高性能、並びに製造可能性及び大量生産を可能にするように選択された。例えば、レンズの曲率の程度は、標準的に利用可能なレンズ大量製造方法によるそれらの製造を可能にするように選択された。

【0023】

この実施形態では、第１のレンズ（２０１）の両面（２１１及び２１２）及び第２のレンズ（２０４）の両面（２４１及び２４２）、並びに両方の部分反射器（２０２及び２０３）の非反射面（２２１及び２３２）が、像収差を最小限に抑えるように成形（湾曲）されている。我々は、これらの湾曲形状が非球面（円のほぼ一部分ではない曲線）であり得、本明細書に開示される最適化方法によって選択されていることを開示する。しかし、この実施形態では、両方の部分反射器（２０２及び２０３）の部分反射面（２２２及び２３１）は平坦なままである。レンズ及び部分反射器の他の組み合わせが可能であり、表面の他の組み合わせが成形（湾曲）されるように又は平坦なままであるように選択することができ、合焦した像のための部分往復反射の意図された数は異なり得る（例えば、１回の代わりに２、３、４回など）ことは、光学及びレンズ設計の技術に精通している者には明らかであろう。開示された実施形態は一例であり、他の組み合わせ及び選択が可能であり、本開示によってカバーされることが理解される。

【0024】

実施形態：光学素子の形状を選択するための方法
次に、我々は、部分反射器を有するシステムのための光学素子の形状を選択する例示的な方法及び手順を開示する。

【0025】

例示的な場合では、光学素子の数及びタイプが選択され（例えば、図２における４つの光学素子）、次いで、それらの配置、形状、及び材料特性が、数学的パラメータによって表される。例えば、配置は、センサからの軸方向距離によって表され得、向きは、傾斜度によって表され得、形状は、前面及び後面の曲率（球面素子の場合）又はスプライン若しくは他の関数のパラメータ（非球面素子、例えば、図２のレンズ２０４の場合）によって表され得、材料特性は、材料の屈折率、光吸収率、及び散乱率のパラメータによって表され得る。例示的なパラメータには、光学素子形状パラメータ（厚さ、直径、曲率半径、円錐係数、及び、例えば多項式関数の高次形状係数）、材料特性（屈折率、反射、吸収、散乱などのパラメータ）、コーティング特性、波長透過率又はフィルタリングパラメータ、開口、散乱、不純物、熱係数、並びに他の光学及び材料パラメータが含まれ得る。

【0026】

光学素子を最適化する方法は、選択されたカメラメリット関数を最小化するために、選択されたフリーパラメータを最適化することを伴う。どのパラメータをフリーとして設定し、どのパラメータを固定に保持するかを選択すること、及び適切なカメラメリット関数を選択することは、技術である。本出願の発明的構成要素は、部分反射を有するカメラのための最適化のこの技術である。表面のフリーパラメータには、表面曲率半径（球面光学素子の場合）、又は円錐係数若しくは高次多項式係数（非球面素子の場合）が含まれ得るが、これらに限定されない。フリーパラメータに加えて、制約も課すことができる。例えば、焦点距離は、（図２におけるように）２つの部分反射器間に光の１回の往復反射があるとき、光が第１の光学素子からセンサまで進行する距離に一致するように制約され得る。そのような選択は、部分反射器間の光の１回の往復反射に対して合焦像成分を提供するようにシステムが選択されることを実現する。他の例示的な制約には、光学素子間の最小又は最大距離、光学素子の曲率又は厚さに対する制約、点光源からの像スポットサイズに対する制約などが含まれる。制約は、厳密であり得るか（例えば、焦点距離は、ある値に厳密に一致しなければならない）、又は範囲であり得る（例えば、焦点距離は、指定された最小値と最大値との間でなければならない）。

【0027】

我々は、メリット関数が所望のシステム光学性能を反映するように選択されることを開示する。例えば、メリット関数には、有効焦点距離、１つ又は様々なオブジェクト距離及び設定におけるＭＴＦ（光学伝達関数の絶対値）、点における又は光学フィールドの一部若しくは全体にわたるスポットサイズ、非合焦及び焦点シフト現象、コマ収差、非点収差、像面湾曲、歪み、球面及び色収差、波面誤差、フィールド歪み（ピンクッション歪み又は樽型歪み）、口径食、ゴースト又はフレア、回折、並びに他のタイプの収差、システムの一部又は全体に対する物理的長さの制約などを表すパラメータが含まれ得る。これらの量のうちの１つ、いくつか、又は全ては、異なる重み付け量によって乗算され得る。例えば、ＭＴＦ性能を口径食よりも強く強化することが望ましい場合、前者の重みが後者の重みよりも強くされ得る。

【0028】

全ての光学素子の可変パラメータ、メリット関数パラメータ、及びそれらの重み付けが選択されると、光学システムは、本明細書に開示されるように最適化され得る。これは、値を調整することによって手動で、又は自動化されたルーチンを使用することによって行うことができる。本明細書に開示されるカメラ実施形態は、発明性を使用して光学素子の数及びタイプを選択することによって、更に手動調整によって、及び開示される自動化最適化ステップによって、発明技術により選択され、反復的かつ発明的プロセスに一緒に組み合わされている。上記の選択及び組み合わせが可能であり、開示される。開示された設計は例示的なものであり、多くの修正、追加、及び変形が可能であることが更に理解される。

【0029】

本出願は、例示的なシステムのための光学素子の配置、形状、及び材料を選択するのに役立つように最適化問題を解決することを開示する。最適化問題の数学的部分は、勾配法、非線形アルゴリズム、確率的探索法、分岐限定法、ニューラルネット、遺伝的アルゴリズム、機械学習、ＡＩ（人工知能）法などの方法を含む、光学設計又は数理最適化の技術分野で知られている手段によって解くことができる。解が見つかると、素子の数が変更され、プロセスを繰り返して設計選択に到達し得る。例えば、これは、図２の実施形態及び本出願の他の図に示される素子の選択のために行われている。

【0030】

本例の発明的特徴は、光学素子の非球面表面を含む。例えば、より高次の多項式修正をレンズ表面に加えることにより、著しく改善された収差低減がもたらされ得る。我々は更に、部分反射面が平坦又は平面である必要はないことを開示する。部分反射面は、球面又は非球面の曲率を有するように作製され得る。部分反射面を平面から逸脱させることによって、光学性能の更なる改善が実現され得る。これは、物理的長さがモバイルデバイスのパッケージング要件によって制限される光学システムにとって特に有用である。

【0031】

我々は、我々の設計選択方法の例示的な開示が、例示的であることを意図しており、限定することを意図していないことに留意する。素子の数を変更すること、並びに他の光学素子の位置、形状、及び材料の選択を見出すために数理最適化を使用することを含む、他の設計選択が可能であることが理解される。特に、センサ上に合焦した像を形成する光の往復反射の数も変化し得る。設計は、１、２、３、４回などの部分反射往復に対して選択され得る。

【0032】

実施形態：成形されたレンズ及び少なくとも１つの成形（湾曲）された部分反射面を有するシステム
一実施形態では、本発明は、また像収差を低減するように成形（湾曲）された反射面も提供する。例示的な実施形態では、成形されたレンズと、成形（湾曲）された反射面を有する２つの部分反射器と、センサと、を有するシステムが開示され、それにより、合焦した像が、２つの部分反射器間の１回の往復反射後にセンサ上に形成され、像収差が低減された状態で形成される。

【0033】

光学素子の配置、サイズ、及び形状は、高性能、並びに製造可能性及び大量生産を可能にするように選択された。例えば、レンズの曲率の程度は、標準的に利用可能なレンズ大量製造方法によるそれらの製造を可能にするように選択された。

【0034】

光学素子（レンズ、部分反射器）の例示的な配置及び形状が図３に示されており、合焦した像の像収差を低減するように選択されている。具体的には、ある角度（１０１）からの入射光は、第１のレンズ（２０１）を通過し、次いで、光の一部（１０２）は、部分反射器（２０２）を通過し、第２の部分反射器（２０３）から部分的に反射することによって、１回の意図された往復反射（１０２、１０３、１０４）を受け、次いで、光の一部（１０５）は、第２の部分反射器（２０３）及び第２のレンズ（２０４）を通過して、合焦点（１０６）においてセンサ（４０１）に到達する。異なる角度からの入射光（１５１）は、同様に、レンズ（２０１）を通過し、その一部は、部分反射器（２０２）を通過し、１回の往復反射を受け、次いで、第２のレンズ（２０３）を通過し、次いで、光の一部（１５５）は、第２の部分反射器（２０４）を通って出て、センサ平面（４０１）における合焦点（１５６）に到達する。単に明確にするために、入射光の両方の角度については、意図された１回の往復の反射が示されている。光の他の経路（例えば、往復しない、２、３、４回などの往復）は示されていない。

【0035】

本出願は、部分反射器の反射面（２２２及び２３１）が、レンズ及び部分反射器の他の側面の成形に加えて、本明細書で開示される方法によって成形されていることを開示する（図２の文脈で先に開示されたように）。したがって、本出願は、非反射面の形状を選択するために本出願が開示するのと同じ方法及び手順を使用して部分反射面の形状を選択することができることを開示する。

【0036】

実施形態：プリズム、成形されたレンズ、及び少なくとも１つの成形（湾曲）された部分反射器表面を有するシステム
本出願は、部分反射器を有するシステムが、プリズム又は角度付きミラーを含み得ることを開示する。一実施形態では、本発明は、プリズム（角度付きミラーも可能である）と、２つのレンズと、部分反射面が成形された２つの部分反射器と、センサと、を有するシステムを提供し、それにより、合焦した像が、２つの部分反射器間の１回の往復反射後に、像収差が低減された状態でセンサ上に形成される。光が部分反射器表面と複数回相互作用するため、これらの表面形状のわずかな変化が、全体的な光学性能及び収差低減に著しい影響を及ぼし得る。部分反射面を非平面にすることによって、システムの光路長を同時に短く保ちながら、光学性能を更に向上させることが可能である。

【0037】

この実施形態は、経験、革新、及び数理最適化の組み合わせによって選択された。具体的には、光学素子の配置、サイズ、及び形状は、高性能、並びに製造可能性及び大量生産を可能にするように選択された。例えば、レンズの曲率の程度は、標準的に利用可能なレンズ大量製造方法によるそれらの製造を可能にするように選択された。

【0038】

光学素子（プリズム、レンズ、部分反射器）の例示的な配置及び形状が図４に示されており、合焦した像の像収差を低減するように選択されている。プリズムは、角度付き又はコーナリングミラーに置き換えられ得る。具体的には、入射光（１０１）は、プリズム（２００）によって実質的に９０度方向転換させられ、第１のレンズ（２０１）を通過し、次いで、光（１０３）の一部は、第１の部分反射器（２０２）を通過し、１回の往復部分反射（１０３、１０４）を受け、この光（１０５）の一部は、第２の部分反射器（２０３）を通り抜け、次いで、第２のレンズ（２０４）を通過し、センサ（４０１）に到達する。１回の往復部分反射を経験した光は、合焦した状態でセンサ平面（焦点１０６）に到達する。単に明確にするために、０回、２回、及び２回を超える往復部分反射の光路は示されていない。

【0039】

本出願は、２つのレンズ（２０１、２０４）の前面及び後面、並びに２つの部分反射器（２０２、２０３）の前面及び後面が、本明細書に開示される方法によって、１回の往復反射後に光を像平面（４０１）に合焦させ、更に像収差を低減し、画質を改善するように成形されていることを開示する。

【0040】

実施形態：平坦な部分反射器、成形されたレンズ、及びレンズ間の角度付きミラーを有するシステム
一実施形態では、本発明は、部分反射器間で生じる光路の９０度の方向転換を提供する。したがって、別の例示的な実施形態では、レンズと、２つの部分反射器と、それらの間の実質的に４５度の角度付きミラーと、センサと、を有するシステムが、合焦した像が２つの部分反射器間で１回の往復反射した後に像収差が低減された状態でセンサ上に形成されるように設計されている。ここでは、光を実質的に９０度方向転換させる光学素子（角度付きミラー）は、部分反射器間に位置する。光学系のセット間に方向転換ミラーを配置することによって、光学素子の数を減少させ、光学システムによって占有される全体積を減少させることができる。加えて、光路は、１回又は複数回の往復の間にミラー表面から目下複数回反射するため、このミラーの角度の小さな変化は、センサ上の像の位置に大きな影響を及ぼすこととなり、このミラーの能動的な電気機械制御を、像安定化及びオブジェクト追跡を達成するより効果的な方法にする。

【0041】

光学素子の配置、サイズ、及び形状は、高性能、並びに製造可能性及び大量生産を可能にするように選択された。例えば、レンズの曲率の程度は、標準的に利用可能なレンズ大量製造方法による製造を可能にするように選択された。

【0042】

光学素子（レンズ、部分反射器、角度付きミラー）の例示的な配置及び形状が図５に示されており、合焦した像の像収差を低減するように選択されている。具体的には、入射光（１０１）は、第１のレンズ（２０１）を通って進入し、その光の一部は、第１の部分反射器（２０２）を通過し、角度付きミラー（２０３）によって方向転換させられ、次いで、その光の一部は、往復反射を受け、そこで、反射器及び角度付きミラーの両方に反射し、その後、この光の一部は、第２の部分反射器（１０５）を出て、センサ（４０１）に到達する。１回の往復部分反射を経験した光は、合焦した状態でセンサ平面（焦点１０６）に到達する。０回及び２回以上の往復部分反射の光路は、焦点を外れてセンサに到達することとなる。単に説明を明確にするために、０回及び２回以上の往復反射に対するこれらの経路は、図５に示されていない。

【0043】

この例では、本出願は、２つのレンズ（２０１、２０５）の前面及び後面、並びに２つの部分反射器（２０２、２０４）の非反射面が成形されているが、各部分反射器の部分反射面は平坦なままであることを開示している。成形が、本明細書に開示される方法及び手順によって実行されて、１回の往復反射後に光を像平面（４０１）に合焦（１０６）させ、像収差を低減した。

【0044】

実施形態：部分反射器を有するシステムに対する、収差を低減するための他の光学パラメータの選択
部分反射を伴うシステムのための光学素子の形状及び配置を選択することに加えて、我々は、他のパラメータを選択して像収差を低減することを更に開示する。例えば、本出願は、屈折率、反射率、透過率、散乱、及び吸収などの光学特性を選択することを開示する。これらのパラメータは、範囲から、又は利用可能な値のリストから選択され得る。範囲は、利用可能又は製造可能な範囲に対応し得る。例えば、ガラス又はプラスチックレンズに対して製造され得る曲率の範囲があり得、又は非球面素子に対して、円錐又は多項式関数パラメータの範囲によって記述され得る製造可能な形状の範囲があり得る。リストからの選択は、利用可能なレンズ若しくは部分反射器の形状のリストに対応し得、かつ／又は、利用可能なガラス若しくはプラスチック材料に対する材料パラメータ（屈折率、屈折、反射率、透過率、散乱、及び吸収、並びに／又は利用可能な表面コーティングに対するパラメータ）のリストに対応し得る。本出願は、そのような値を選択することが、部分反射を伴うシステムを最適化するための技術、方法、及び手順の一部であることを開示しており、収差を低減し、像補正及び処理を補助するためにそれらを最適化することを含む。

【0045】

実施形態において、本発明は、画質を更に改善するために、従来の又は非従来のレンズ材料及び幾何学的形状を使用することを提供する。例えば、材料の屈折率がレンズ内の位置の関数として系統的に変化するように作製されたＧＲＩＮ（ＧＲａｄｉｅｎｔ ＩＮｄｅｘ）レンズのようなレンズなどが使用され得る。ＧＲＩＮレンズを記述するパラメータは、我々の開示した最適化アプローチにおけるフリーパラメータとされ得、部分反射器を有するシステムに対して最適化され得る。

【0046】

実施形態：部分反射器を有するシステムのための合焦、ズーミング、及び近接「マクロ写真撮影」
次に、焦点距離を変更する（合焦、ズーミング）改善された方法を開示する。従来のカメラでは、少なくとも１つのレンズ又は光学素子が前後に移動させられて、システムの焦点距離が変更され得る。携帯電話又はモバイルデバイスでは、レンズ又は光学素子が前後に進行することができる距離は、デバイスの厚さによって、及び／又はそれが包有するカメラの厚さによって、並びにカメラの他の要素（他のレンズ、センサ、開口、シャッタ、フィルタ、ＰＣＢ基板など）によって占められる空間によっても制限される。したがって、従来の携帯電話又はモバイルデバイスカメラにおける可能な合焦又はズーミングの程度は、制限され得る。特に、電話又はモバイルデバイスの近くにあるオブジェクトに合焦することは困難又は不可能であり得る。

【0047】

本明細書に開示される方法及びシステムは、上記の制限を克服することができる。部分反射器を有するシステムのための光学素子又は複数の光学素子の小さな前後運動は、部分反射のないシステムの場合であり得るよりも、合焦又はズーミングにおいてより大きな変化をもたらし得る（例えば、焦点距離）。図６Ａを参照すると、ここでは単に説明を明確にするために２つのレンズ（２０１及び２０２）として表されている従来のカメラでは、これらの２つのレンズ間の距離はＬＡ１であり、外側からセンサ（１０１、１０２、１０３から４０１）への光の経路は距離ＬＡ１を１回だけ横断する。したがって、第２のレンズを（アクチュエータ３０１を使用して）距離Δｘだけ機械的に移動させると、２つのレンズ間の距離もΔｘだけ変化する。これにより、ある量Δｙだけ従来のカメラの焦点距離が変化し、この利用可能な量は、合焦及びズーミングのために使用され得る。

【0048】

対照的に、次に図６Ｂを参照すると、部分反射を伴うカメラでは、２つのレンズ間の距離は、依然としてＬＡ１（ＬＢ１＋ＬＢ２＋ＬＢ３に等しい）であるが、外側からセンサ（１１１、１１２、１１３、１１４、１１５から４１１）への光の経路は、１回の往復反射の間に距離ＬＢ２を３回横断する。ここで、（アクチュエータ３１１を使用して）第２の部分反射器と第２のレンズとを一緒に距離Δｘだけ機械的に移動させると、２つのレンズ２１１と２１４との間を進行される光路距離が３Δｘだけ（従来のカメラの場合の３倍だけ）変化する。システムが代わりに２回の往復反射を使用して動作している場合、アクチュエータを距離Δｘだけ移動させると、２つのレンズ間を進行される光路距離が５Δｘだけ（従来のカメラの５倍だけ）変化し、以下同様である。したがって、部分反射により、小さな光学素子の機械的進行距離Δｘであっても、光路長がより大きく、例えば３Δｘ、５Δｘなど、（乗法的に）変化することが可能になる。したがって、焦点距離は、上述のようにΔｙだけ変化し得る従来のカメラと比較して、例えば３Δｙ、５Δｙなどだけ変化する。

【0049】

本出願はまた、他の光学素子が、単独で、又は様々な組み合わせで、レンズとともに移動させられ得ることを開示する。例えば、第２の部分反射器２１３のみをΔｘだけ移動させることは、２つのレンズ２１１と２１４との間の光路距離を、１回の往復部分反射に対しては２Δｘの距離だけ、２回の往復部分反射に対しては４Δｘの距離だけ変化させることとなる。したがって、レンズの移動に対してと同じように、部分反射器の移動に対しても有益な相乗効果が生じる。本出願は、これが、モバイルデバイス用のカメラ及び撮像システムにおける像安定化及びオートフォーカスを改善するために使用され得ることを開示し、理由としては、ここでは、光学素子の小さな移動により、ズーミング、合焦、及び像安定化のための焦点距離変化の利用可能な量が改善することとなるからである。

【0050】

したがって、部分反射を伴うシステムでは、部分反射器が距離ｄだけ移動される場合、光路長の対応する変化は２Ｋｄであり、ここでは、Ｋは往復部分反射の数である。これは、ΔＬの光路長の変化を生じさせるために、我々はｄ＝ΔＬ／２Ｋだけ部分反射器を機械的に移動させるだけでよいことを意味する。部分反射を伴う場合、必要な機械的運動は、部分反射がない場合よりも１／（２Ｋ）短い。例えば、Ｋ＝２往復の部分反射では、４分の１の運動が、部分反射のないシステムの光学素子の完全な運動と同じズーム能力を提供することとなる。

【0051】

更に、本出願は、作動される１つ以上のレンズが部分反射器間に配列され得ることを開示する。そのような実施形態では、光は、当作動されるレンズ又は複数のレンズを複数回通過し得、それにより、ズーミング、合焦、又は像安定化に対する相乗効果が提供され得る。本明細書に開示される最適化方法は、部分反射器間にそのような１つ以上の作動されるレンズを伴うシステムを設計するために用いられ得る。

【0052】

したがって、本出願は、部分反射を使用して、１つ以上の光学素子の利用可能な進行距離が、従来のカメラで可能であり得るよりも大きな合焦又はズーミング範囲をカバーすることを可能にすることを開示する。我々は更に、上述の最適化方法を用いて、部分反射器及びレンズ又は複数のレンズの形状（例えば、曲率又は非球面形状）を選択するのを助けることができ、また、どの素子をどれだけ移動させることにするかを選択して、ズーミング及び合焦が最大化され、したがって従来のカメラで可能であり得るよりもはるかに広い範囲にわたって効果的に変化させることができることを確実にし得ることを開示する。全体として、本出願は、光が少なくとも１つの光学素子と２回以上相互作用する部分反射器を有するシステムを開示し、そのようなシステムは、改善されたズーミング又は合焦範囲を可能にし、特に、カメラの近くにあるオブジェクトに合焦することも可能にする（「マクロ写真撮影」）。

【0053】

「マクロ写真撮影」に関して、現代の携帯電話カメラは、モバイルデバイスに近すぎるオブジェクトの合焦像を撮影することに対して制限を有する。例えば、ほとんどの従来の電話カメラは、オブジェクトの約４センチメートル未満の範囲内に持ってくることができず、依然として合焦した写真を得ることができない。これは、電話カメラのサイズ及びそのカメラ内のレンズの数が、そのカメラ内部のレンズをどれだけ機械的に進行させて近接したオブジェクトに合焦させることができるかを制限するためである。

【0054】

本出願は、部分反射を使用してこの制限を克服し、オブジェクトにより近くなり、より高い倍率を達成するという両方に至り、したがって二重の利益を生じることを開示する（例えば、小さなオブジェクトは、合焦したままより近くになり、かつより拡大されるという両方がもたらされ、したがって近くのオブジェクトの写真撮影を二重に改善する）。したがって、我々の開示したシステムは、例えば、小さい昆虫又は花に対して現在の電話で可能な４センチメートルよりも近くに近づけることができ、現在の携帯電話で可能であるよりも昆虫又は花を拡大することもできる。

【0055】

したがって、携帯電話のように、光学素子の機械的運動がそのサイズによって制限される小容量カメラに対して、本出願は、部分反射が利点を提供することを開示する。ここで、同じ機械的運動範囲は、より大きな範囲の合焦及びズーミングを可能にすることとなる。したがって、部分反射により、携帯電話カメラは、例えば４センチメートル離れたものよりも実質的に近いオブジェクトに合焦可能であり得る（したがって、改善された「マクロ写真撮影」を可能にする）。代替的に、同じズーム範囲が所望される全てである場合、部分反射を用いて、より少ない機械的運動がその同じズーム範囲を達成することとなり、カメラ設計が簡略化され得、コスト及び複雑さが軽減される。したがって、部分反射は、光学素子が移動させられる必要がある量を減少させることができるか、又は逆に、同じ運動範囲に対して、光学素子の機械的運動範囲の利用可能な量に対するズーム及び合焦の範囲を増加させることができる。

【0056】

実施形態：部分反射器を有するシステムのための像処理方法
実施形態において、本発明は、像収差を低減するアルゴリズムを含む、部分反射器を有する高倍率カメラシステムのための像処理方法及びアルゴリズムを提供する。本出願は、点広がり関数、アンシャープマスク、ハイパスフィルタリングの特徴付け及び使用、並びに他の方法を含む逆畳み込みを含むアルゴリズムが、像の合焦成分を抽出し得、像を処理して画質を改善するために使用し得ることを開示する。特に、それらは像収差を低減するために使用され得る。そのようなアルゴリズムは、モバイルデバイス（携帯電話、タブレット、ラップトップ）、デジタルビデオカメラ、デジタル静止画像カメラなどのための撮像システム、又は部分反射を伴う任意の他の撮像システムに組み込まれ得る。

【0057】

次に、図７Ａ及び図７Ｂを参照すると、本出願は、部分反射器を有するシステムのための逆畳み込み像補正を開示している。部分反射を伴うシステムでは、センサ上の像は、非合焦像と合焦像との和によって歪曲される（図７Ｂ）。これは、適切な伝達関数を有する像のほぼ線形の変換を構成する。本明細書で開示されるのは、合焦部分反射と非合焦部分反射との和によって歪曲されたセンサ上に形成された像から所望のもの（歪んでいない、又は最小限に歪曲された合焦像）を抽出する方法である。

【0058】

一実施形態は、像抽出が、部分反射を伴うシステムのための光学伝達関数を介した逆畳み込みを使用する、システム又は方法を含む。伝達関数は、基本的に、平面波入力に対する結像光学系の応答である。単一レンズの場合、理想的な伝達関数は、図７Ａに示すように、密に集束されたスポット（１０６）である。

【0059】

逆に、１つ以上の部分反射を有するシステムでは、伝達関数は図７Ｂのように見える。狭い焦点スポット（２０６）は、意図された数の部分反射に対するものである。それには、他の数の往復、したがって光の他の経路長に対応する複数の緩く集束されたスポット（２０７、２０８）が付随する。これらの他の光路長は、撮像センサ上に焦点がぼけた像を作り出す。したがって、空間領域において、伝達関数は、畳み込み方程式Ｃ（ｉ，ｊ）に従って、取得された像を歪曲させ、

【0060】

【数1】

式中、Ｒ（ａ，ｂ）は合焦像であり、ｈは伝達関数である。周波数領域において、この畳み込みは以下の積、
Ｃ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）Ｒ（ｕ，ｖ）となる。

【0061】

１つ以上の部分反射を伴う我々のシステムに対する合焦像を得るために、本出願は、逆畳み込みアルゴリズムである
Ｒ（ｕ，ｖ）＝Ｃ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を適用することを開示する。

【0062】

また、例えば、数値的により効率的な方法でこの逆畳み込みを実行するために、又は数値誤差を排除若しくは低減するためにも適用され得る他のアルゴリズムを使用することも開示される。

【0063】

我々は更に、部分反射を伴うシステムに対して合焦像成分を抽出するためにアンシャープマスクを使用することを開示する。このアプローチでは、我々はセンサ上の像のぼけたバージョンを元の像から減算する。ぼけたバージョンは、非合焦像の推定値を提供する。ぼかし半径及び重み付けは、最良の画質を達成するために最適化される調整可能なパラメータである。

【0064】

また、部分反射を伴うシステムのためにハイパスフィルタリング像補正を用いることも開示される。部分反射を伴うシステムでは、像の非合焦成分は、主に低周波数空間成分を有することになる。しかし、合焦像は高周波成分を有することになる。低周波数を排除することによって、我々はより高い周波数範囲に存在する合焦像の大部分を保存しながら、非合焦成分を効果的に除去し得る。したがって、本出願は、合焦像を抽出するためにハイパスフィルタリングを使用することを開示する。

【0065】

光学素子（レンズ、部分反射器、又はプリズム／角度付きミラー）を移動させることによってズーム範囲を増大させることに加えて、我々は、異なる数の部分反射往復を利用することによって更にズーム範囲を増大させることを更に開示する。異なる数の往復（例えば、ＫではなくＫ＋１往復）に対して合焦像を達成するように、我々のカメラ内で光学素子を移動させることによって、我々は撮像システムのフォームファクタを増加させることなく、より大きな焦点距離を達成し得る。例えば、システムは、最初に、１往復後に合焦像を抽出し、次いで、２往復後、次いで、３往復後などにそれを抽出し得、又は逆であってもよい。結果として生じる合焦像は、先に開示されたものと同じ方法を用いて抽出され得る。これは、光学素子を移動させることと、最も望ましい数の往復部分反射を用いることとの両方の利点を組み合わせて、ズーム及び合焦範囲を最大化し得る。

【0066】

実施形態：部分反射器を有するシステムの非合焦像成分を拒絶するためのスペクトル透過率（例えば、色）の活用
本出願は、１つ以上の部分反射器のスペクトル透過率を設計することによって、センサ上に形成された像の非合焦成分を拒絶する発明性のある方法を開示する。例示的な場合では、部分反射器が赤色光を完全に透過する（赤色光を全く反射しない）が、他の色の光を部分的に反射する（例えば、青色光及び緑色光を部分的に反射する）場合、Ｋ回の往復部分反射に依存する合焦像は赤色光を包有しないこととなる。したがって、赤色光を使用して、像のどの部分が非合焦「シングルパス」成分として減算されるべきかを判定することができ、他の周波数の光を使用して、像のどの部分が所望の合焦部分であるかを判定することができる。したがって、部分反射器において色選択を活用することにより、像の合焦部分の抽出が補助され得る。

【0067】

写真撮影、光学、及び像処理の技術に精通している人は、上記の発明の方法が、高画質を提供する方法を含む多くの方法で実施され得ることを認識するであろう。例えば、部分反射器は、狭い周波数帯域の光（例えば、赤色の特定の色合いのみ）を透過し得、その結果、合焦部分に利用できない光のスペクトルが最小化される。部分的に反射される又は部分的に反射されない色を選択すること、並びに部分反射を伴うシステムのために光の異なる色及び周波数を活用することによって合焦像成分を抽出することを含む、他の修正も可能である。

【0068】

したがって、我々は、例えば、いくつかの波長（例えば青色及び緑色）では部分的に反射性であるが、他の波長（例えば赤色）では透過性である部分反射器を更に開示する。次いで、赤色チャネルは、青色チャネル及び緑色チャネルを補正するために使用され得る非合焦像の推定値を提供する。

【0069】

実施形態：部分反射器を有するシステムのためのセンサ暗レベル
一実施形態では、本発明はまた、レンズ、部分反射器、及び時間積分センサアレイを有するシステムであって、センサアレイのいくつかの素子が、他のセンサ素子の暗レベルを設定するために光強度を測定する、システムを提供する。

【0070】

本出願は、アナログ－デジタル変換の前の暗レベル補正を含む、部分反射器を有するシステムのための暗レベル補正を可能にする特徴及び素子を開示する。１つ以上の部分反射に起因して、センサ上で複数の焦点がぼけた像を統合するとき、形成された像は、大きなバックグラウンドレベルを取得し得る。アナログ－デジタル変換の後、このバックグラウンドは、関連する画素レベルをデジタル値の上端に圧縮することによって画素深度を低減することになる。

【0071】

この画素深度の低減を排除するために、本出願は、センサ上の各点における強度をサンプリングすることを目的とする追加の画素を使用して、デジタル－アナログ変換の前に暗レベル補正を実行することを開示する。したがって、本出願は、バックグラウンド強度を部分的に測定するために追加の画素を追加することを開示する。これらの画素からの信号は、センサ素子（例えば、ＣＣＤ又はＣＭＯＳカメラ内の画素）の暗レベルを適応的に設定するために使用され得、画素深度の損失なしに元の像の再構成を可能にする。例えば、これらの画素の値を使用して、アナログ－デジタル変換の前に各信号の電圧オフセットを判定することができ、これにより、複数の非合焦反射によって引き起こされる不要なバックグラウンドが排除されることとなる。各画素は、オフセットレベルのための個々の入力として機能し得、あるいは、各オフセットは、複数の近傍画素を平均化することによって設定され得る。

【0072】

実施形態：部分反射器を有するシステムのための複数かつ変化する持続時間の露光
複数の露光を行い、より高い露光の焦点外成分を補正するために低い露光を用いることによって、画素深度を失うことなく合焦した像を再構成する方法が更に開示される。本出願は、部分反射器を有するシステムについて、像及びバックグラウンドの推定値を得るために複数の露光を行うことを開示する。部分反射器を有する例示的なシステムでは、異なる光路がこれらの部分反射器を異なる回数通過することとなる。本出願は、センサのダイナミックレンジを透過率の選択に適合させること、例えば、センサのダイナミックレンジを往復部分反射の所望の数Ｋに適合させることを開示する。

【0073】

本出願は、部分反射を伴うシステムのためにＨＤＲ（高ダイナミックレンジ）法を用いることを開示する。例示的な設定において、本出願は、シーンの１つの像を撮影し、次いで、同じシーンであるが２倍の露光で別の像を撮影し、次いで、４倍の露光でシーンの第３の像を撮影することを開示する。第１の像は、焦点外像によって生成されたバックグラウンドレベルを良好にキャプチャすることとなるが、より高い露光により、合焦像からより詳細なものが漸進的にキャプチャされる。次いで、この情報を使用して、全ての露光から合焦像を再構成することができる。次に、像をつなぎ合わせて、シーンの暗く照らされた部分と明るく照らされた部分の両方をキャプチャする（コントラストを最大化する）、高ダイナミックレンジを有する１つの合成像を作り出すことができる。光学、像処理、及び写真撮影の技術の当業者であれば、例えば、３つ以上の像、露光時間の変化などを含む、そのような方法の多くの変形が存在し、それらの変形が本開示に含まれることを認識するであろう。特定の実施形態は、異なるコンピュータプロセッサ、メモリ構成、及びデータ構造を用いて動作及び実行され得る。

【0074】

本明細書で説明する本発明の実施形態は、１つ以上の演算処理システムにおける論理ステップとして実装され得る。実装は選択の問題であり、本発明を実装する処理システムの性能要件に依存する。したがって、本明細書で説明される本発明の実施形態を構成する論理動作は、動作、ステップ、オブジェクト、又はモジュールと様々に呼ばれる。更に、論理動作は、明示的に主張されない限り、又は特定の順序が請求項の文言によって本質的に必要とされない限り、任意の順序で実行され得ることを理解されたい。

【0075】

本発明の実施形態の前述の説明は、例示及び説明の目的で提示されてきた。それは、網羅的であること又は開示された正確な形態に対して本発明を限定することを意図するものではなく、修正及び変形が、上記の教示に照らして可能であるか、又は本発明の実践から得られ得る。実施形態は、本発明の原理及びその実際の適用を説明して、当業者が本発明を様々な実施形態において、及び企図される特定の使用に適したものとしての様々な修正とともに利用することを可能にするために選択され、説明された。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【国際調査報告】