特許 6987391 モバイルデバイスを用いたＨＤＲビデオキャプチャのためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6987391

(24)【登録日】2021年12月3日

(45)【発行日】2021年12月22日

(54)【発明の名称】モバイルデバイスを用いたＨＤＲビデオキャプチャのためのシステムおよび方法

(51)【国際特許分類】

   H04N 5/235 20060101AFI20211213BHJP

   H04N 5/225 20060101ALI20211213BHJP

   G03B 15/00 20210101ALI20211213BHJP

   G03B 7/091 20210101ALI20211213BHJP

   G03B 19/06 20210101ALI20211213BHJP

【ＦＩ】

   H04N5/235 500

   H04N5/225 100

   H04N5/225 800

   H04N5/225 400

   H04N5/225 300

   G03B15/00 H

   G03B7/091

   G03B19/06

【請求項の数】10

【全頁数】16

(21)【出願番号】特願2018-561190(P2018-561190)

(86)(22)【出願日】2017年2月10日

(65)【公表番号】特表2019-512194(P2019-512194A)

(43)【公表日】2019年5月9日

(86)【国際出願番号】US2017017405

(87)【国際公開番号】WO2017139600

(87)【国際公開日】20170817

【審査請求日】2020年1月27日

(31)【優先権主張番号】15/169,012

(32)【優先日】2016年5月31日

(33)【優先権主張国】US

(31)【優先権主張番号】15/169,006

(32)【優先日】2016年5月31日

(33)【優先権主張国】US

(31)【優先権主張番号】15/178,451

(32)【優先日】2016年6月9日

(33)【優先権主張国】US

(31)【優先権主張番号】62/294,820

(32)【優先日】2016年2月12日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】518288914

【氏名又は名称】コントラスト， インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】カイザー， ウィリー シー．

(72)【発明者】

【氏名】トッチ， ノラ

(72)【発明者】

【氏名】トッチ， マイケル ディー．

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特表２０１４−５２４２９０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３５

Ｈ０４Ｎ ５／２２５

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １９／０６

(57)【特許請求の範囲】

【請求項1】

高ダイナミックレンジ（ＨＤＲ）画像捕捉のためのデバイスであって、前記デバイスは、
基板に同一平面状配列で固定される、少なくとも２つの画像センサと、
前記デバイスの開口を通して受信される入射光の少なくとも約９０％を前記画像センサ上に反射させ、それによって、高ダイナミックレンジ画像を捕捉するように構成される、光学分割システムと
を備え、
前記光学分割システムは、ビーム分割器を備え、前記ビーム分割器は、
入射光の第１の部分を第１の光路に沿って第１の反射部材に伝送することであって、前記第１の反射部材は、前記部分を前記少なくとも２つの画像センサのうちの第１の画像センサ上に反射する、ことと、
前記入射光の第２の部分を第２の光路に沿って第２の反射部材に反射することであって、前記第２の反射部材は、前記第２の部分を前記ビーム分割器を通して前記少なくとも２つの画像センサのうちの第２の画像センサ上へと反射し返す、ことと
を行うように構成され、
入射光の前記第１の部分は、前記デバイスの前記開口に入る光の約９６％を含む、デバイス。

【請求項2】

入射光の前記第２の部分は、前記デバイスの前記開口に入る光の約４％を含む、請求項１に記載のデバイス。

【請求項3】

前記画像センサは、少なくとも部分的に、前記光学分割システムから受信する光に基づいて画像データを生成するように構成される、請求項１に記載のデバイス。

【請求項4】

前記画像センサからの前記画像データを処理するように構成されるＨＤＲ処理システムをさらに備える、請求項３に記載のデバイス。

【請求項5】

前記画像センサは、集積回路の基板に固定される、請求項１に記載のデバイス。

【請求項6】

前記画像センサは、前記基板の一部に沿ってモノリシックに形成される、請求項１に記載のデバイス。

【請求項7】

前記基板は、集積回路の一部に接合される、請求項６に記載のデバイス。

【請求項8】

前記画像センサは、電荷接合素子（ＣＣＤ）画像センサまたは相補型金属酸化膜半導体（ＣＭＯＳ）画像センサである、請求項１に記載のデバイス。

【請求項9】

前記画像センサおよび前記光学分割システムは、カメラを有するモバイルデバイス内に融合される、請求項１に記載のデバイス。

【請求項10】

前記モバイルデバイスは、モバイルフォン、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、デジタルモバイルカメラ、および少なくともそれらのうちの２つの組み合わせから成る群から選択される、携帯型コンピューティングデバイスを含む、請求項９に記載のデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１６年６月９日に出願された米国特許出願第１５／１７８，４５１号の利益および優先権を主張するものであり、これは、２０１６年５月３１日に出願された米国特許出願第１５／１６９，００６号の一部継続出願であり、２０１６年５月３１日に出願された米国特許出願第１５／１６９，０１２号の一部継続出願であり、これらの両方は、２０１６年２月１２日に出願された米国特許出願第６２／２９４，８２０の利益および優先権を主張するものであり、これらの各々は、全体が参照により本明細書中に援用される。

【0002】

本発明は、概して、画像捕捉および処理に関し、より具体的には、モバイルデバイス内の高ダイナミックレンジ（ＨＤＲ）画像捕捉およびビデオ処理のためのシステムおよび方法に関する。

【背景技術】

【0003】

人間の視覚系は、高度のダイナミックレンジを伴う視覚特徴の識別および処理を行うことができる。ダイナミックレンジは、概して、最も暗い影から最も明るいハイライトまでの光強度の範囲を指す。例えば、１，０００，０００：１またはそれを上回るコントラスト比率を有する実世界場面は、人間の視覚野によって正確に処理されることができる。人間の眼は、虹彩の適合および他の方法を通して、我々の環境に遍在する幅広く動的な変化に絶えず順応する。脳は、見る人が、光の条件の広い範囲において見ることができるように、この情報を連続的に解釈する。

【0004】

しかしながら、たいていの画像取得装置は、限定された高ダイナミックレンジ（ＨＤＲ）撮像能力を有する。いくつかのカメラは、低ダイナミックレンジ（ＬＤＲ）の再現または捕捉のみ実施でき、人間の眼でそれを見るであろうような画像正確度の欠如および画像捕捉の不成功をもたらす。例えば、伝統的写真術は、撮像デバイス内の単一露光レベルでの場面内画像捕捉を含み、限定されるコントラストレンジを伴う画像をもたらす。限定されるコントラスト（またはダイナミック）レンジは、写真の明るい面内の詳細欠如（撮像デバイスが１つの露光設定を使用した場合）、および／または暗い面の詳細欠如（撮像デバイスが異なる露光設定を使用した場合）をもたらす。この効果の一般的実施例は、地上の物体が、それらの物体の詳細が見られることを可能にするように、十分に露光される一方で、空が殆ど白く見える写真である。言い換えると、高コントラスト環境の中で写真を撮影するとき、実場面内に出現するオリジナルの色、オリジナルのトーン、およびオリジナルの詳細は、高照度面または低照度面内で殆ど消滅し得る。

【0005】

上記で説明される欠点を克服する試みにおいて、いくつかの画像取得デバイスは、フレーム毎に露光を変え、次いで、ＨＤＲ画像を生成する試みにおいて、捕捉されたフレームをともに融合するための後処理技術を利用しながら、同じ場面の数フレームを捕捉するように設計されている。しかしながら、カメラ、被写体、または背景の物体は、画像取得の間、移動しており、捕捉されるフレームは相互に異なるため、ＨＤＲ融合処理の間、悪化が、そのような運動によって引き起こされ得る。したがって、従来方法を伴う重大な問題は、ＨＤＲ画像を、リアルタイムまたは近リアルタイムに生成できないことであり、さらに、ＨＤＲビデオ画像を提供するための画像取得デバイスの能力を限定する。さらに、現在のＨＤＲ撮像システムは、かさばり得、したがって、より小さく、より小型の画像取得デバイス内での使用に適し得ない。

【発明の概要】

【課題を解決するための手段】

【0006】

本発明は、モバイルデバイス内に高ダイナミックレンジ（ＨＤＲ）画像捕捉およびビデオ処理を提供するように構成される光学システムを提供する。高ダイナミックレンジは、単一の画像センサを使用して入手されることができる範囲、典型的には、深度８ビットより大きなダイナミックレンジを有することを意味する。特に、光学システムは、例えば、モバイルフォン、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、またはデジタルモバイルカメラ等の小さなモバイルデバイスにおける最適な使用を提供するために、相対的に小型の設計を含む。

【0007】

光学システムは、少なくとも２つの画像センサを介して画像を捕捉するように構成される、画像捕捉サブシステムと、画像データをディスプレイまたは他のデバイスに記憶または出力されるＨＤＲビデオデータに処理するように構成される、画像処理サブシステムとを含む。光学システムの小型の設計は、画像捕捉サブシステムの構成要素の特定の配列の結果である。特に、画像捕捉サブシステムは、基板に同一平面状配列で固定される、少なくとも２つの画像センサと、モバイルデバイスのカメラの開口を通して受信される入射光の少なくとも約９５％を画像センサ上に反射させ、それによって、高ダイナミックレンジ画像を捕捉するように構成される、光学分割モジュールとを含む。光学分割モジュールは、具体的には、入射光の第１の部分を第１の反射部材に伝送し、かつ入射光の第２の部分を第２の反射部材に反射させるように構成される、ビーム分割器を含み、第１および第２の反射部材は、入射光の少なくとも約９５％を２つの画像センサ上に伝送する。ビーム分割器は、２つの同一平面画像センサに、略同じ長さの光路を提供するために配列され、それによって、画像センサの相互の共位置合わせを維持している。

【0008】

２つまたはそれを上回る画像センサの使用は、同一の画像のための異なる光レベルが２つの異なるセンサを介して同時に捕捉され得るという点で有利であり、単一の画像センサを使用して、連続的な方式で、異なるレベルを捕捉する従来システムと対照的である。故に、２つの画像センサのそれぞれからの画像データは、同時に処理され、それによって、リアルタイムまたは近リアルタイムの改善されるＨＤＲ画像およびビデオ処理をもたらし、さらに、フレーム毎の移動を考慮することができる。さらに、同一平面に沿った画像センサの設置は、画像センサが同一基板上で相互に共位置合わせされ、かつそのように相互に相応して移動するという点で有利であり、画像捕捉サブシステムの耐久性を改善する。例えば、通常の使用の間、カメラは、不規則に移動する、または性能に影響を与え得る、カメラの内部構成要素の移動をもたらす相当量の衝撃に遭遇し得る。同一の基板上に画像センサを設置することによって、画像センサは、事実上、同一の量の移動を共有し、したがって、性能が影響を受けない状態であるであろうように、相互に整合された状態であろう。さらに、画像捕捉および画像処理サブシステムは、同一の集積回路（ＩＣ）を共有し得、それによって、さらにシステムの小型設計全体に適し、製造コストを低減し、かつ従来モバイルデバイスの中に相対的に単純に取り込むことを可能にすることで、相当量の節約を提供することができる。

【0009】

本発明の側面は、高ダイナミックレンジ（ＨＤＲ）画像捕捉のためのデバイスを含む。本デバイスは、基板に同一平面状配列で固定される、少なくとも２つの画像センサと、デバイスの開口を通して受信される入射光の少なくとも約９０％を画像センサ上に反射させ、それによって、高ダイナミックレンジ画像を捕捉するよう構成される、光学分割システムとを含む。例えば、いくつかの実施形態では、デバイスの開口を通して受信される入射光の約９５％を超えるものが、画像センサ上に反射される。

【0010】

いくつかの実施形態では、光学分割システムは、入射光の第１の部分を第１の反射部材に伝送し、かつ入射光の第２の部分を第２の反射部材に反射させるように構成されるビーム分割器を含み、第１および第２の反射部材は、入射光の少なくとも約９０％を画像センサ上に反射させる。

【0011】

いくつかの実施形態では、画像センサは、可視光のスペクトルの異なる部分を検出するように構成される。いくつかの実施形態は、入射光の第１の部分は、デバイスの開口に入る光の約９６％を含み、入射光の第２の部分は、デバイスの開口に入る光の約４％を含む。ビーム分割器は、入射光の第２の部分の９６％を第２の反射部材から画像センサ上に伝送するように位置付けられてもよい。いくつかの実施形態では、伝送される第２の部分は、デバイスの開口に入る光の約３．８４％を含む。第１および第２の反射部材はそれぞれ、反射被膜を有する基板を含む。いくつかの実施形態では、第１および第２の反射部材は、鏡である。

【0012】

画像センサは、少なくとも部分的に、光学分割システムから受信される光に基づいて画像データを生成するよう構成される。本システムはさらに、ＨＤＲ画像および／またはビデオデータを生成するように画像センサからの画像データを処理するように構成される、ＨＤＲ処理システムを備える。

【0013】

いくつかの実施形態では、画像センサは、集積回路（ＩＣ）の基板上に固定される。いくつかの実施形態では、画像センサは、基板の一部に沿ってモノリシックに形成される。画像センサは、任意の公知のプロセスを介する同一の材料から形成されてもよく、限定ではないが、リソグラフィまたはエッチングを含む。いくつかの実施形態では、基板は、集積回路（ＩＣ）の一部に接合される。画像センサは、電荷接合素子（ＣＣＤ）画像センサまたは相補型金属酸化膜半導体（ＣＭＯＳ）画像センサを含んでもよい。

【0014】

いくつかの実施形態では、画像センサおよび光学分割システムは、モバイルデバイス内に融合される。モバイルデバイスは、限定ではないが、モバイルフォン、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、デジタルモバイルカメラ、および少なくともそれらのうちの２つの組み合わせを含む、携帯型コンピューティングデバイスを含んでもよい。
本明細書は、例えば、以下の項目も提供する。
（項目１）
高ダイナミックレンジ（ＨＤＲ）画像捕捉のためのデバイスであって、前記デバイスは、
基板に同一平面状配列で固定される、少なくとも２つの画像センサと、
前記デバイスの開口を通して受信される入射光の少なくとも約９０％を前記画像センサ上に反射させ、それによって、高ダイナミックレンジ画像を捕捉するように構成される、光学分割システムと
を備える、デバイス。
（項目２）
前記光学分割システムは、入射光の第１の部分を第１の反射部材に伝送し、かつ入射光の第２の部分を第２の反射部材に反射するように構成されるビーム分割器を備え、前記第１および第２の反射部材は、入射光を前記画像センサ上に反射させる、項目１に記載のデバイス。
（項目３）
入射光の前記第１の部分は、前記デバイスの前記開口に入る光の約９６％を含む、項目２に記載のデバイス。
（項目４）
入射光の前記第２の部分は、前記デバイスの前記開口に入る光の約４％を含む、項目２に記載のデバイス。
（項目５）
前記ビーム分割器は、前記第２の反射部材からの入射光の前記第２の部分を前記画像センサに伝送するように位置付けられる、項目２に記載のデバイス。
（項目６）
前記第１および第２の反射部材のそれぞれは、反射被膜を有する基板を備える、項目２に記載のデバイス。
（項目７）
前記第１および第２の反射部材は、鏡である、項目６に記載のデバイス。
（項目８）
前記画像センサは、可視光のスペクトルの異なる部分を検出するように構成される、項目１に記載のデバイス。
（項目９）
前記デバイスの前記開口を通して受信される前記入射光の約９５％を超えるものが、前記画像センサ上に反射される、項目１に記載のデバイス。
（項目１０）
前記画像センサは、少なくとも部分的に、前記光学分割システムから受信する光に基づいて画像データを生成するように構成される、項目１に記載のデバイス。
（項目１１）
前記画像センサからの前記画像データを処理するように構成されるＨＤＲ処理システムをさらに備える、項目１０に記載のデバイス。
（項目１２）
前記画像センサは、集積回路の基板に固定される、項目１に記載のデバイス。
（項目１３）
前記画像センサは、前記基板の一部に沿ってモノリシックに形成される、項目１に記載のデバイス。
（項目１４）
前記基板は、集積回路の一部に接合される、項目１３に記載のデバイス。
（項目１５）
前記画像センサは、電荷接合素子（ＣＣＤ）画像センサまたは相補型金属酸化膜半導体（ＣＭＯＳ）画像センサである、項目１に記載のデバイス。
（項目１６）
前記画像センサおよび前記光学分割システムは、カメラを有するモバイルデバイス内に融合される、項目１に記載のデバイス。
（項目１７）
前記モバイルデバイスは、モバイルフォン、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、デジタルモバイルカメラ、および少なくともそれらのうちの少なくとも２つのものの組み合わせから成る群から選択される、携帯型コンピューティングデバイスを含む、項目１６に記載のデバイス。
（項目１８）
高ダイナミックレンジ（ＨＤＲ）画像捕捉のためのデバイスであって、前記デバイスは、
基板に同一平面状配列で固定される少なくとも２つの画像センサと、
前記デバイスの開口を通して受信される入射光の少なくとも約９０％を前記画像センサ上に反射させ、それによって、高ダイナミックレンジ画像を捕捉するよう構成される光学分割システムであって、前記光学分割システムは、入射光の一部が前記ビーム分割器を通して前記画像センサ上に伝送されるように、前記入射光の少なくとも一部を前記ビーム分割器に向けて反射し返すように構成される反射部材に反射させるように構成されるビーム分割器を備える、光学分割システムと
を備える、デバイス。
（項目１９）
高ダイナミックレンジ（ＨＤＲ）画像捕捉のためのデバイスであって、前記デバイスは、
基板に同一平面状配列で固定される少なくとも２つの画像センサと、
前記デバイスの開口を通して受信される入射光の少なくとも約９０％を前記画像センサ上に反射させ、それによって、高ダイナミックレンジ画像を捕捉するよう構成される、光学分割システムであって、前記光学分割システムは、ビーム分割器を備え、前記ビーム分割器は、前記入射光の第１の部分を前記画像センサ上に反射させるために、前記入射光の第１の部分を第１の反射部材に伝送するよう構成され、かつ前記入射光の前記第２の部分を前記ビーム分割器に反射し返し、それを通して、前記画像センサ上に伝送されるようにするために、前記入射光の第２の部分を第２の反射部材に反射するようさらに構成されている、前記光学分割システムと
を備える、デバイス。

【図面の簡単な説明】

【0015】

請求される主題の特徴および利点は、それと一貫した実施形態の以下の発明を実施するための形態から明白となり、その説明は、付随の図面を参照して検討されるべきである。

【0016】

【図1】図１は、本開示と一貫した、モバイルデバイスのための、ＨＤＲ画像捕捉およびビデオ処理を提供するためのシステムのブロック図である。

【図2】図２は、図１の画像捕捉システムをさらに詳細に図示しているブロック図である。

【図3】図３は、同一平面状配列で固定される少なくとも２つの画像センサに向けて入射光を指向するビーム分割器の実施形態の概略図である。

【図4】図４Ａおよび４Ｂは、画像センサを基板の表面内にモノリシックに形成するプロセスを図示する、基板の断面図である。

【図5】図５は、画像データの、画像捕捉サブシステムから画像処理サブシステムへの流れを含む、画像処理サブシステムをさらに詳細に例証するブロック図である。

【発明を実施するための形態】

【0017】

本開示の完全な理解のために、前述の図面と併せて、添付の請求項を含む、以下の発明を実施するための形態を参照されたい。本開示は、例示的実施形態に関連して説明されるが、本開示は、本明細書に記載される特定の形態に限定されないことが意図される。種々の省略および均等物の代用が、状況が示唆または好都合と見なし得る場合、検討されることを理解されたい。

【0018】

大要として、本開示は、概して、モバイルデバイス内に高ダイナミックレンジ（ＨＤＲ）画像捕捉およびビデオ処理を提供するように構成される、光学システムに関する。光学システムは、少なくとも２つの画像センサを介して画像を捕捉するように構成される、画像捕捉サブシステムと、画像データをディスプレイまたは他のデバイスに記憶または出力されるＨＤＲビデオデータに処理するように構成される、画像処理サブシステムとを含む。

【0019】

光学システムは、例えば、モバイルフォン、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、またはデジタルモバイルカメラ等の小さなモバイルデバイスにおける使用のために最適な、小型の設計のものである。小型の設計は、画像捕捉サブシステムの構成要素の特定の配列の結果である。特に、画像捕捉サブシステムは、基板に同一平面状配列で固定される、少なくとも２つの画像センサと、モバイルデバイスのカメラの開口を通して受信される入射光の少なくとも約９０％を画像センサ上に反射させ、それによって、高ダイナミックレンジ画像を捕捉するように構成される、光学分割モジュールとを含む。ビーム分割器は、２つの同一平面画像センサに、略同じ長さの光路を提供するために配列され、それによって、画像センサの相互の共位置合わせを維持している。

【0020】

２つまたはそれを上回る画像センサの使用は、同一の画像のための異なる光レベルが２つの異なるセンサを介して同時に捕捉され得るという点で有利であり、単一の画像センサを使用して、連続的な方式で、異なるレベルを捕捉する従来システムと対照的である。故に、２つの画像センサのそれぞれからの画像データは、同時に処理され、それによって、リアルタイムまたは近リアルタイムの改善されるＨＤＲ画像およびビデオ処理をもたらし、さらに、フレーム毎の移動を考慮することができる。さらに、同一平面に沿った画像センサの設置は、画像センサが同一基板上で相互に共位置合わせされ、かつそのように相互に相応して移動するという点で有利であり、画像捕捉サブシステムの耐久性を改善する。例えば、通常の使用の間、カメラは、不規則に移動する、または、カメラの内部構成要素の移動をもたらし、かつ性能に影響を与え得る、相当量の衝撃に遭遇し得る。同一の基板上に画像センサを設置することによって、画像センサは、事実上、同一の量の移動を共有し、したがって、性能が影響を受けない状態であるであろうように、相互に整合された状態であろう。さらに、画像捕捉および画像処理サブシステムは、同一の集積回路（ＩＣ）を共有し得、それによって、さらにシステムの小型設計全体に適し、製造コストを低減し、かつ従来モバイルデバイスの中に相対的に単純に取り込むことを可能にすることで、相当量の節約を提供することができる。

【0021】

図１は、モバイルデバイス１０にＨＤＲ画像捕捉およびビデオ処理を提供するための、光学システム１２のブロック図である。示されるように、システム１２は、例えば、モバイルフォン、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、デジタルモバイルカメラを含み得る、携帯型コンピューティングデバイス等の、カメラを有するモバイルデバイス１０内に含まれてもよい。光学システム１２は、概して、画像を捕捉するよう構成される、画像捕捉サブシステム１４と、画像捕捉サブシステム１４からの画像データをＨＤＲ画像およびビデオデータに処理するように構成される、画像処理サブシステム１６とを含む。光学システム１２はさらに、１つまたはそれを上回るプロセッサ１８と、メモリ２０と、画像捕捉サブシステム１４によって捕捉される画像データをさらなる記憶情報（長期的または一時的）のために、収集かつ分析するためのアプリケーションプログラム２２（ソフトウェア）とを含む。画像データの処理に応じて、画像処理サブシステム１６はさらに、処理されたＨＤＲ画像またはビデオデータを、光学システム１２、記憶装置２６、またはディスプレイ２８（例えば、モバイルデバイス１０上のファインダまたはディスプレイ、モバイルデバイス１０に結合される（有線または無線伝送を介して）別個のディスプレイ、または同等物）に結合されるＩ／Ｏデバイス２４に出力してもよい。

【0022】

図２は、図１の画像捕捉サブシステム１４をさらに詳しく図示するブロック図である。示されるように、画像捕捉サブシステム１４は、概して、光学分割モジュール３２と、画像センサ３４とを含んでもよい。光学分割モジュール３２は、モバイルデバイス１０のカメラの開口４０を通して受信される入射光を受信するように構成され、入射光の一部を画像センサ３４に提供する。画像センサ３４は、入射光の一部に暴露されることに応じて、画像データを、その後のＨＤＲ画像およびビデオデータへの処理のために、画像処理サブシステム１６に提供するように構成される。

【0023】

例えば、図３に示されるように、光学分割モジュール３２は、入射光を少なくとも２つの画像センサ３４（１）および３４（２）に向けて指向するように構成されるビーム分割器３６を含む。２つの画像センサを伴って示されているが、本開示と一貫したシステムは、２つを上回る（すなわち、３、４、５、６．．．１０、またはそれを上回る）画像センサを含んでもよいことに留意されたい。全体を通して使用されるように、用語「ビーム分割器」は、概して、限定ではないが、部分的反射鏡、プリズム、薄膜、および／または１つまたはそれを上回る光学被膜または層を含む、入射光の伝送および反射の両方が可能である、部分的反射光学要素を指す。故に、図３に示されるように、ビーム分割器３６は、部分的に反射する広帯域被膜を用いて第１表面３７ａ上に被膜されてもよく、また、反射防止被膜を用いて第２表面３７ｂ上に被膜されてもよい。光学分割モジュール３２はさらに、本明細書においてさらに詳細に説明されるであろうように、光の一部を画像センサ３４（１）および３４（２）に向けて反射するように構成される、第１および第２の反射部材３８、４０を含む。

【0024】

示されるように、第１および第２の画像センサ３４（１）、３４（２）は、基板４２に同一平面状配列で固定されてもよい。いくつかの実施形態では、基板４２は、集積回路（ＩＣ）に固定されてもよい（例えば、モノリシック接合技術を用いて）。本明細書においてさらに詳細に説明されるであろうように、第１および第２の画像センサ３４（１）、３４（２）は、基板４２の一部に沿ってモノリシックに形成される等（図４Ａおよび４Ｂに示される）、同一材料から、かつ同一基板上に形成されてもよい。全体を通して使用されるように、用語「画像センサ」は、概して、検出器、光学検出器、センサ、ＣＭＯＳセンサ、ＣＣＤセンサ、線形検出器アレイ、フィルム、セルロイド、または任意の他の感光性媒体もしくはデバイスを指してもよい。故に、本明細書において説明される実施形態では、第１および第２の画像センサ３４（１）、３４（２）は、光検出要素（例えば、ピクセル）のアレイを含む、電荷接合素子（ＣＣＤ）画像センサまたは相補型金属酸化膜半導体（ＣＭＯＳ）画像センサを含んでもよい。光学分割モジュール３２によって反射される入射光に暴露されることに応じて、第１および第２のセンサ３４（１）、３４（２）は、画像データを、少なくとも部分的に、そこに暴露される光の強度に基づいて生成するように構成される。ひいては、画像データは、次いで、処理されたＨＤＲ画像および／またはビデオデータに処理および変換するために、画像処理サブシステム１６に伝達される。

【0025】

図３に示されるように、入射光４６は、ビーム分割器３６に向けて光路に沿って進む。ビーム分割器３６は、入射光の第１の部分４８を第１の反射部材３８に伝送するように構成される。ひいては、第１の反射部材３８は、光路５０によって示されるように、反射表面を用いて、入射光の第１の部分４８を、画像センサの少なくとも１つ（第２の画像センサ３４（２）として示される）に向けて反射するように構成される。

【0026】

ビーム分割器３６はさらに、第１の表面３７ａ上の部分的反射被膜に起因して、入射光の第２の部分５２を第２の反射部材４０にさらに反射するように構成される。第２の反射部材４０は、光路５４によって示されるように、反射表面を用いて、入射光の第２の部分５２をビーム分割器３６に向けて反射し返すように構成される。ひいては、ビーム分割器３６は、光路５６によって示されるように、反射される入射光の第２の部分（５４によって示される）の大部分を少なくとも１つの画像センサ（第１の画像センサ３４（１）として示される）上に伝送する。

【0027】

故に、本発明のビーム分割器３６は、最初にそこから反射された光を受信するような方式で構成される。例えば、本明細書の前述で説明されたように、ビーム分割器３は、入射光４６の少なくとも一部（部分５２）を反射部材（第２の反射部材４０）に反射させるように構成され、ひいては、光のその部分を、ビーム分割器３６を通して画像センサ３４（１）および３４（２）に伝送されるように、ビーム分割器３６に反射し返す。

【0028】

ビーム分割器３６は、部分的には本発明のＨＤＲ捕捉スキームにおけるその使用に起因して、低反射率表面の結果として、光の同一部分を反射し、かつその後受信するように構成される。本構成は、捕捉スキームが、色分離、または、例えば、５０／５０のビーム分割設定でさえ含む場合、可能ではないであろう。ビーム分割器３６は、概して、少なくとも９０％の透過率と、１０％の反射率とを含み得る。したがって、画像センサ（センサ３４（２））が、光の第１の部分４８（例えば、入射光４６全体の９０％）の全体に暴露され得るように、ビーム分割器３６を通した入射光の第１の部分４８の透過およびその後のその反射（第１の反射部材３８を介した）は、妨害され得ない。入射光の第２の部分５２は、ビーム分割器３６に向けてかつそれを通して指向され返されるとき、画像センサ（センサ３４（１））が光５２の第２の部分のほぼ全体に暴露され得るように、僅かに低下し得る（例えば、光５２の第２の部分は、入射光４６全体の１０％から９％に低下し得る）。したがって、光学分割モジュール３２の構成は、特に、同一平面状画像センサ３４（１）および３４（２）に対するビーム分割器３６の設計は、モバイルデバイス１０上のカメラの開口３０を通して受信される入射光４６の大部分（例えば、少なくとも９８％）が、画像センサ３４（１）および３４（２）に提供されることを可能にする。

【0029】

５０／５０ビーム分割器構成は、本発明の設計と比較されるとき、そのような高率の光捕捉を提供することはできないであろう。例えば、５０／５０ビーム分割器設計を用いると、最初は、光の５０％が伝送される一方、５０％が反射されるであろう。光の反射される部分は、ビーム分割器を通してその中に再指向されるとき、入射光全体の約２５％に低下して終了し、それによって、入射光の２５％の損失を引き起こすであろう。

【0030】

本発明の光学分割モジュール３２の構成は、いくつかの現行のスキームに提供されるように、光の反射される部分をビ−ム分割器を迂回させる代わりに、光の反射される部分をビーム分割器を通して直線的に指向することによって、本発明が、著しい空間節約（例えば、撮像レンズからセンサまでの全光路長の削減）を成し遂げることができるという点で、光捕捉の相当量の改善を提供する。故に、本発明のシステム１２は、より低いｆ数（より大きな光採集能力）を有するレンズと互換性がある。さらに、光学分割モジュール３２の設計は、現行の光捕捉システムおよび設計がそうであるように（例えば、いくつかの設計は、センサに向けて提供されるための反射される光を、ビーム分割器を迂回させる結果になる）、入射光４６の最初のビームが「細く」あることを必要としない。したがって、本発明のシステム１２は、現行システムが直面する、撮像レンズの射出瞳サイズおよび場所をさらに制限する、ビーム幅に関する制限を受けない。

【0031】

さらに、光学分割モジュール３２および同一平面状画像センサ３４（１）、３４（２）の特定の構成は、本発明のシステム１２が、モバイルフォン、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、デジタルモバイルカメラ、および少なくともそれらのうちの２つの組み合わせ等の、モバイルデバイス内に融合されることを可能にする。例えば、モバイル用途では、撮像レンズは、多くの場合、最も外側のレンズ要素の要求されるサイズを減少させるためにレンズの前面において等、レンズの背面から比較的に遠く離れて位置される開口絞り（すなわち、瞳）を伴って設計される。しかしながら、上述で説明されるように、現行の撮像システムは、撮像レンズの開口絞りが、レンズの前面に位置される環境内で機能できないので、現行の画像捕捉システムは、十分な設計を欠き、かつモバイル使用と互換性がない。光学分割モジュール３２および同一平面状画像センサ３４（１）、３４（２）の特定の構成は、システム１２が、そのような配列内で機能することを可能にし、したがって、システム１２が、モバイルデバイスカメラ内で撮像する等、より小さいシステム用途とより互換性があるようになることを可能にする。

【0032】

上述で説明されるように、入射光の第１および第２の部分４８、５２は、異なる強度レベルを有し得る。例えば、いくつかの実施形態では、第１の部分４８は、入射光４６の９６％を含み得る一方、第２の部分５２は、入射光４６の約４％を含み得る。第２の画像センサ３４（２）が入射光の９６％に暴露され得るように、入射光の第１の部分の反射は、妨害され得ない。ビーム分割器３６を介した伝送に起因して、第１の画像センサ３４（１）に暴露される、伝送される入射光の第２の部分は、４％より僅かに小さくあってもよい（例えば、オリジナルの４％の９６％、すなわち、３．８４％）。したがって、全体で、モバイルデバイス１０上のカメラの開口３０を通して受信される入射光４６の約９９％を超えるものが、画像センサ３４（１）および３４（２）上に反射される。反射部材３８、４０等の鏡の反射率値は、１００％より低くあり得、画像センサ３４（１）および３４（２）上に反射される光全体を、本実施例では、９９％から減少させ得ることに留意されたい。ビーム分割器３６は、最初に伝送および反射される光の部分を調節するために、調整される、または別様に、異なる透過率／反射率物性を有するビーム分割器に取って代わられるように構成されることに留意されたい。例えば、ビーム分割器は、入射光の９０％を第１の反射器３８に向けて伝送し、入射光の１０％を第２の反射器４０に向けて反射してもよい。

【0033】

第１および第２の画像センサ３４（１）、３４（２）は、同一平面状配列で固定されるため、両者は、略同一量の光露光時間、但し、異なる強度で受けるように構成される。例えば、ビーム分割器３６と、第１および第２の反射器部材３８、４０との配列に起因して、画像センサ３４（１）は、概して、入射光の約３．８４％を含む、入射光の第２の部分に暴露される一方、画像センサ３４（２）は、入射光の約９６％である、入射光の第１の部分に暴露される。したがって、画像センサ３４（１）および３４（２）は実質的に異なる光レベルを伴う、実質的に等しい画像を同時に捕捉するように構成される。ビーム分割器３６と、第１および第２の反射部材３８、４０との特定の配列は、入射光路５０および５６が略同一の長さを有することをもたらし、それによって、画像センサ３４（１）および３４（２）の相互に等しい焦点を維持する。等しい焦点は、いくつかの理由のために、重要である。例えば、画像センサ３４（１）および３４（２）のそれぞれによって受信される光ビームの同一の長さを維持することによって、画像センサ３４（１）および３４（２）のそれぞれの画像データ間の唯一の違いは、光強度であるため、画像センサ３４（１）および３４（２）によって捕捉される画像データは、構造において空間的および時間的に等しい。

【0034】

故に、画像センサ３４（１）および３４（２）のそれぞれからの画像データは、次いで、同時に処理されるために画像処理サブシステムに伝送されることができる。連続的な方式とは対照的に、画像データを同時に処理することによって、現行のシステムは、画像センサからの画像データのセットのそれぞれが、関連付けられる光強度のレベルがなければ等しいため、リアルタイムまたは近リアルタイムの改善されるＨＤＲ画像およびビデオ処理を可能にする。したがって、各セットは、比較的高い光レベル（例えば、画像センサ３４（２）からの９６％）を伴う画像データと、比較的低い光レベル（例えば、画像センサ３４（１）からの３．８４％）を伴う画像データとを含み、処理は、単一のフレームの捕捉の間、直ちに実施されることができる。これは、代替の方法（例えば、高光レベルを伴うフレームを捕捉し、次いで、低光レベルを伴うフレームを捕捉し、その後、高光レベルを伴うフレームを捕捉する等）で異なる光強度で単一フレームを捕捉するための単一の画像センサに依拠し、処理が、少なくとも２つの異なるフレームが捕捉されるまで発生することができなかった、いくつかの現行のシステムよりも大幅に改善される。

【0035】

図４Ａおよび４Ｂは、画像センサ３４（１）および３４（２）を基板４２の表面内に形成するプロセスを図示する基板４２の断面図である。前述で説明されたように、画像センサ３４（１）および３４（２）は、基板４２上に同一平面状配列で固定されてもよい。いくつかの実施形態では、画像センサは、任意の公知の技術を介して基板上に形成されてもよい。例えば、画像センサが相補型金属酸化膜半導体（ＣＭＯＳ）デバイスである場合は、画像センサは、画像センサが基板４２の一部としてモノリシックに形成される、任意の公知のアディティブ法、エッチング、またはリソグラフィ技術によって形成されてもよい。画像センサを基板の一部として形成することは、画像センサを相互に同一平面状配列で正確に設置することを可能にする。

【0036】

画像センサを、基板上の同一平面に沿って設置することは、画像センサが同一基板上に相互に共位置合わせされ、かつそのように相互に相応して移動するという点で有利であり、画像捕捉サブシステムの耐久性を改善する。例えば、通常の使用の間、カメラは、不規則に移動する、または相当量の衝撃（例えば、スマートフォンを地上に落下させる、そのような移動または衝撃がカメラの内部構造要素の移動をもたらし、かつ性能に影響を与える運動活動または同等物の間の、モバイルカメラおよび物体間の衝撃）に遭遇し得る。同一の基板上に画像センサを設置することによって、画像センサは、事実上、同一の量の移動を共有し、したがって、性能が影響を受けない状態であるであろうように、相互に整合された状態であろう。

【0037】

基板４２はさらに、ＩＣに接合されてもよく、例えば、光学システム１２の１つまたはそれを上回る他の構成要素は、その上に設置されてもよい。例えば、いくつかの実施形態では、画像捕捉および画像処理サブシステム１４および１６の両方は、同一の集積回路（ＩＣ）を共有してもよく、それによって、さらに、システムの小型設計全体に適し、製造コストを低減し、かつ既存のモバイルデバイスの中に比較的に単純に取り込むことを可能にすることで、相当量の節約を提供することができる。

【0038】

図５は、画像処理サブシステム１６をさらに詳細に図示するブロック図であり、画像捕捉サブシステム１４から画像処理サブシステム１６への画像データの流れを含む。示されるように、画像処理サブシステム１６は、複数の画像センサ３４（１）−３４（ｎ）からの画像データを受信するように構成されてもよい。画像処理サブシステム１６は、ＨＤＲビデオデータを生成するように、画像データ（例えば、ＨＤＲ融合、Ｈ．２６４またはＪＰＥＧ圧縮、トーンマッピング、残留ＨＤＲピクセル値等）の処理および圧縮技術を提供するように構成される構成要素を含んでもよい。本実施例では、画像センサ３４（１）−３４（ｎ）からの画像データは、同期モジュール５８に伝送される。画像データは、検出される色強度を指示する１つまたはそれを上回るピクセルからのピクセル値等の、捕捉される画像および光強度に関連する情報を含んでもよい。同期モジュール５８は、ピクセル信号を相互に同期させるように構成され、ピクセル信号は、その時点で、次いで、色処理モジュール６０に送信される。色処理モジュール６０は、限定ではないが、線形化モジュール、色を整合させるプロセスを実行する色整合モジュール、色を補正させるプロセスを実行する色補正モジュールを含む、追加処理ステップを実施するために構成される、１つまたはそれを上回るサブモジュールを含んでもよい。色整合プロセスの目的は、２０１６年２月１２日に出願された出願第６２／２９４，８２０号（その内容は、参照することによって本明細書に組み込まれる）で議論される構成要素および処理を含む、１つのセンサから次のセンサへの色情報を保存する方法で、複数のセンサからの画像を、一度に２つの画像を融合する段階を経て、ともに融合することである。色補正情報は、次いで、例えば、トーンマッピングオペレータ（ＴＭＯ）モジュール６２によって、ＨＤＲビデオデータが次いでＩ／Ｏデバイス２４、記憶装置２６、および／またはディスプレイ２８に伝送され得る時点で、追加処理を随意に受けることができる。

【0039】

本明細書の任意の実施形態において使用されるように、用語「モジュール」は、前述の動作のいずれかを行うように構成される、ソフトウェア、ファームウェア、および／または回路を指し得る。ソフトウェアは、非一過性コンピュータ可読記憶媒体上に記録される、ソフトウェアパッケージ、コード、命令、命令セット、および／またはデータとして具現化されてもよい。ファームウェアは、メモリデバイス内でハードコード化される（例えば、不揮発性）、コード、命令もしくは命令セット、および／またはデータとして具現化されてもよい。「回路」は、本明細書の任意の実施形態において使用されるように、例えば、単独で、または任意の組み合わせにおいて、有線回路、１つまたはそれを上回る個々の命令処理コアを備えるコンピュータプロセッサ等のプログラマブル回路、状態機械回路、および／またはプログラマブル回路によって実行される命令を記憶するファームウェアを備えてもよい。モジュールは、集合的に、または個々に、例えば、集積回路（ＩＣ）、システムオンチップ（ＳｏＣ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォン等、より大きいシステムの一部を形成する、回路として具現化されてもよい。

【0040】

本明細書に説明される動作のいずれも、その上に記憶される、個々に、または組み合わせて、１つまたはそれを上回るプロセッサによって実行されると方法を行う命令を有する、１つまたはそれを上回る記憶媒体を含む、システム内に実装されてもよい。ここでは、プロセッサは、例えば、サーバＣＰＵ、モバイルデバイスＣＰＵ、および／または他のプログラマブル回路を含んでもよい。

【0041】

また、本明細書に説明される動作は、１つを上回る異なる物理的場所において、処理構造等の複数の物理的デバイスを横断して分散されてもよいことが意図される。記憶媒体は、任意のタイプの有形媒体、例えば、ハードディスク、フロッピー（登録商標）ディスク、光ディスク、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）、書換可能コンパクトディスク（ＣＤ−ＲＷ）、ならびに磁気光ディスク、読取専用メモリ（ＲＯＭ）等の半導体デバイス、動的および静的ＲＡＭ等のランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、固体ディスク（ＳＳＤ）、磁気もしくは光学カード、または電子命令を記憶するために好適な任意のタイプの媒体を含む、任意のタイプのディスクを含んでもよい。他の実施形態は、プログラマブル制御デバイスによって実行される、ソフトウェアモジュールとして実装されてもよい。記憶媒体は、非一過性であってもよい。

【0042】

本明細書に説明されるように、種々の実施形態は、ハードウェア要素、ソフトウェア要素、または任意のそれらの組み合わせを使用して実装されてもよい。ハードウェア要素の実施例は、プロセッサ、マイクロプロセッサ、回路、回路要素（例えば、トランジスタ、レジスタ、コンデンサ、インダクタ等）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット等を含んでもよい。

【0043】

本明細書全体を通して、「一実施形態」または「ある実施形態」という言及は、実施形態に関連して説明される特定の特徴、構造、または特性が、少なくとも、一実施形態に含まれることを意味する。したがって、本明細書全体を通した種々の場所における語句「一実施形態では」または「ある実施形態では」の表出は、必ずしも、同一の実施形態を参照するわけではない。さらに、特定の特徴、構造、または特性は、１つまたはそれを上回る実施形態において任意の好適な様式で組み合わせられてもよい。

【0044】

本明細書で採用される用語および表現は、限定ではなく、説明の観点において使用され、そのような用語ならびに表現の使用において、図示および説明される特徴（またはその一部）のいかなる均等物も除外することを意図するものではなく、種々の修正が、請求項の範囲内で可能性として考えられることが認識される。故に、請求項は、全てのそのような均等物を網羅するものと意図される。
参照による引用

【0045】

特許、特許出願、特許刊行物、雑誌、書籍、論文、ウェブコンテンツ等の他の文書の参照および引用が、本開示全体を通して行なわれる。そのような文書は全て、あらゆる目的のために、参照することによって、全体として本明細書に組み込まれる。
均等物

【0046】

本明細書に図示および説明されるものに加え、本発明およびその多くのさらなる実施形態の種々の修正が、本明細書に引用される科学および特許文献の参考文献を含む、本書の全内容から、当業者に明白となるであろう。本明細書における主題は、その種々の実施形態およびその均等物における本発明の実践に適合され得る、重要な情報、例示、および指針を含有する。

【図1】

【図2】

【図3】

【図4】

【図5】