特許 7286024 回転可能なリフレクターを備えた撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-25

(45)【発行日】2023-06-02

(54)【発明の名称】回転可能なリフレクターを備えた撮像システム

(51)【国際特許分類】

   H04N 23/58 20230101AFI20230526BHJP

   G02B 7/198 20210101ALI20230526BHJP

   G03B 5/00 20210101ALI20230526BHJP

   G03B 15/00 20210101ALI20230526BHJP

   H04N 23/45 20230101ALI20230526BHJP

   H04N 23/55 20230101ALI20230526BHJP

   H04N 23/60 20230101ALI20230526BHJP

   H04N 23/68 20230101ALI20230526BHJP

【ＦＩ】

H04N23/58

G02B7/198

G03B5/00 J

G03B15/00 H

G03B15/00 W

H04N23/45

H04N23/55

H04N23/60 500

H04N23/68

【請求項の数】 39

(21)【出願番号】P 2022536649

(86)(22)【出願日】2020-12-14

(65)【公表番号】

(43)【公表日】2022-12-15

(86)【国際出願番号】 US2020064931

(87)【国際公開番号】W WO2021119617

(87)【国際公開日】2021-06-17

【審査請求日】2022-08-10

(31)【優先権主張番号】17/121,239

(32)【優先日】2020-12-14

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/948,200

(32)【優先日】2019-12-14

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/959,884

(32)【優先日】2020-01-11

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/121,315

(32)【優先日】2020-12-14

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】522234806

【氏名又は名称】グラス イメージング インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ジブ アッタール

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２００１－０６９３８０（ＪＰ，Ａ）

【文献】国際公開第２０１８／２１１９２６（ＷＯ，Ａ１）

【文献】特開２０１３－２４６３１３（ＪＰ，Ａ）

【文献】特開２０１２－２４２４８８（ＪＰ，Ａ）

【文献】特開２００４－０９４０５０（ＪＰ，Ａ）

【文献】特開２００４－０５６７７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／５８

Ｇ０２Ｂ ７／１９８

Ｇ０３Ｂ ５／００

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ２３／４５

Ｈ０４Ｎ ２３／５５

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６８

(57)【特許請求の範囲】

【請求項1】

大きい方のエッジ寸法と小さい方のエッジ寸法とを含むセンサ平面アスペクト比を有するイメージセンサであって、１７：９よりも大きなアスペクト比を有するイメージセンサと、
軸の周りで前記イメージセンサに対して回転可能であり、前記イメージセンサへ外部環境のビューの一部からの光を向けるよう構成されたリフレクターであって、前記軸が前記イメージセンサの前記大きい方のエッジ寸法と実質的に平行であるリフレクターと、
前記リフレクターおよび前記イメージセンサの間に１つまたは複数のレンズを含むレンズモジュールであって、レンズモジュールの開口は非対称であり、大きい方の寸法と小さい方の寸法を含み、前記開口の前記大きい方の寸法は前記イメージセンサの前記大きい方のエッジ寸法と実質的に平行であるレンズモジュールと、
前記イメージセンサおよび前記リフレクターと結合されたコントローラであって、
前記イメージセンサへ前記外部環境の前記ビューの部分からの光を向けるために前記リフレクターを前記軸の周りで回転させ、
前記外部環境の前記ビューの前記部分の画像をキャプチャするために前記イメージセンサと前記リフレクターを同期させ、および
前記外部環境の前記ビューを含む画像を形成するために前記イメージセンサからの前記画像を結合するように構成されているコントローラとを
含む撮像システム。

【請求項2】

前記リフレクターが長方形のアスペクト比を有し、前記リフレクターの長い軸は前記イメージセンサの前記大きい方の寸法に実質的に平行である、請求項１に記載の撮像システム。

【請求項3】

前記ビューの第１の部分は前記リフレクターが前記イメージセンサに対して第１の回転位置にある間にキャプチャされ、前記ビューの第２の部分は前記リフレクターが前記イメージセンサに対して第２の異なる回転位置にある間にキャプチャされる、請求項１に記載の撮像システム。

【請求項4】

前記外部環境の画像をキャプチャするために配置された第２のイメージセンサをさらに含み、前記画像は前記外部環境の前記ビューの２または３つ以上の前記部分を含む、請求項１に記載の撮像システム。

【請求項5】

前記コントローラが前記第２のイメージセンサによってキャプチャされた画像に基づいて前記イメージセンサからの画像を結合するように構成されている、請求項４に記載の撮像システム。

【請求項6】

前記イメージセンサによってキャプチャされた前記ビューの部分が、前記イメージセンサによってキャプチャされた前記ビューの別の部分と少なくともいくらかの重複を有する、 請求項１に記載の撮像システム。

【請求項7】

前記軸は、前記イメージセンサのセンサ平面と実質的に平行である、請求項１に記載の撮像システム。

【請求項8】

前記リフレクターが両面である、請求項１に記載の撮像システム。

【請求項9】

前記リフレクターが光学フィルタを含む、請求項１に記載の撮像システム。

【請求項10】

前記リフレクターが前記軸に対して実質的に直交する別の軸の周りを回転可能である、請求項１に記載の撮像システム。

【請求項11】

前記リフレクターが前記軸に沿って移動するようにさらに構成されている、請求項１に記載の撮像システム。

【請求項12】

前記コントローラが前記撮像システムの動きを補償するために、前記軸の周りで前記リフレクターを回転させるようにさらに構成されている、請求項１に記載の撮像システム。

【請求項13】

前記コントローラが前記撮像システムの動きを補償するために、前記イメージセンサ、または、前記レンズモジュールを動かすようにさらに構成されている、請求項１に記載の撮像システム。

【請求項14】

前記レンズの入射瞳が前記リフレクターに隣接している、請求項１に記載の撮像システム。

【請求項15】

前記イメージセンサが、１つまたは複数のピクセルの上のフィルタを含む、請求項１に記載の撮像システム。

【請求項16】

前記イメージセンサおよび前記リフレクターを収容するモバイルデバイスのハウジングをさらに含み、前記モバイルデバイスはディスプレイを含み、前記外部環境の前記ビューからの光が前記リフレクターによって向けられる前に前記ディスプレイを通って伝搬する、請求項１に記載の撮像システム。

【請求項17】

第２のリフレクターをさらに含み、前記第２のリフレクターが前記イメージセンサに対して、前記軸に対して実質的に平行な第２の軸の周りで回転可能であり、前記リフレクターが前記イメージセンサの第１の部分へ光を向け、前記第２のリフレクターが前記イメージセンサの第２の異なる部分へ光を向ける、請求項１に記載の撮像システム。

【請求項18】

前記レンズモジュールのレンズ面が対称である、請求項１に記載の撮像システム。

【請求項19】

前記レンズモジュールが、前記レンズモジュールに２つの異なる焦点距離を生じさせる少なくとも２つの非対称レンズ面を含む、請求項１に記載の撮像システム。

【請求項20】

少なくとも１７：９のアスペクト比を有するイメージセンサと、
外部環境のビューの部分からの光を前記イメージセンサに向けるように配置されたリフレクターと、
前記イメージセンサと前記リフレクターとの間に配置されたレンズモジュールであって、前記レンズモジュールは、前記イメージセンサ上に前記ビューの前記部分の画像を形成するように構成されており、前記レンズモジュールは、前記レンズモジュールに２つの異なる焦点距離を生じさせる少なくとも２つの非対称レンズ面を含むものであるレンズモジュールと、
前記イメージセンサと結合され、前記外部環境の前記ビューの前記部分の前記画像をキャプチャするように前記イメージセンサに命令するよう構成されたコントローラとを含む撮像システムであって、
前記レンズモジュールの開口は非対称であり、
前記レンズモジュールの前記非対称の開口は、大きい方の寸法および小さい方の寸法を含み、
前記イメージセンサの前記アスペクト比は大きい方の寸法および小さい方の寸法を含み、
前記開口の大きい方の寸法は、前記イメージセンサの前記アスペクト比の大きい方の寸法と実質的に平行である、
撮像システム。

【請求項21】

前記リフレクターは、前記イメージセンサおよび前記撮像システムに対して回転可能である、請求項２０に記載の撮像システム。

【請求項22】

前記リフレクターは、長い軸および小さい軸を含み、
前記リフレクターの前記長い軸は、前記イメージセンサの前記アスペクト比の前記大きい方の寸法に実質的に平行である、
請求項２０に記載の撮像システム。

【請求項23】

格納された命令を含む非一時的なコンピュータ読み取り可能な記録媒体であって、前記命令は実行されたとき、少なくとも一つのプロセッサに
リフレクターを軸の周りでイメージセンサに対して第１の位置まで回転させ、前記リフレクターが前記第１の位置にある場合、外部環境に対応するビューの第１の部分からの光を前記イメージセンサに向けることと、
前記イメージセンサによって前記ビューの前記第１の部分の画像をキャプチャすることと、
前記リフレクターを前記軸の周りで前記イメージセンサに対して第２の位置まで回転させ、前記リフレクターが前記第２の位置にある場合、前記外部環境に対応する前記ビューの第２の部分からの光を前記イメージセンサに向けることと、
前記イメージセンサによって前記ビューの前記第２の部分の画像をキャプチャすることと、
前記外部環境に対応する第２のビューの画像を前記イメージセンサとは物理的に分離された第２のイメージセンサによってキャプチャすることであって、前記第２のビューは前記第１および第２の部分を含むことと、
前記外部環境の前記ビューに対応する結合画像を形成するために、前記第２のビューの前記画像に基づいて、前記第１の部分の前記画像および前記第２の部分の前記画像を結合することとを行わせる、
非一時的なコンピュータ読み取り可能な記録媒体。

【請求項24】

前記ビューの前記第２の部分が前記ビューの前記第１の部分と少なくともいくらかの重複を有する、請求項２３に記載の非一時的なコンピュータ読み取り可能な記録媒体。

【請求項25】

結合画像を形成するために前記第１の部分の前記画像と前記第２の部分の前記画像とを結合する前記命令は、前記第１の部分の前記画像と前記第２の部分の前記画像とをステッチする命令を含む、請求項２３に記載の非一時的なコンピュータ読み取り可能な記録媒体。

【請求項26】

前記イメージセンサによって前記第１の部分の前記画像をキャプチャする前記命令、または、前記イメージセンサによって前記ビューの前記第２の部分の前記画像をキャプチャする前記命令の少なくとも一つは、前記プロセッサによって実行されるとき、前記リフレクターを連続的に回転させる命令をさらに含む、請求項２３に記載の非一時的なコンピュータ読み取り可能な記録媒体。

【請求項27】

前記イメージセンサによって前記第１の部分の前記画像をキャプチャする前記命令、または、前記イメージセンサによって前記ビューの前記第２の部分の前記画像をキャプチャする前記命令の少なくとも一つは、前記プロセッサによって実行されるとき、前記リフレクターを前記イメージセンサに対して比較的静止したままとする命令をさらに含む、請求項２３に記載の非一時的なコンピュータ読み取り可能な記録媒体。

【請求項28】

前記記録媒体は
モーションセンサからの動きデータを受信することであって、前記動きデータは前記外部環境の前記ビューに対する前記イメージセンサの動きを示すことと、
前記外部環境の前記ビューに対する前記イメージセンサの動きが閾値以上であると決定されることに応答して、前記動きを補償するために前記リフレクターの前記第１の位置を調整し、前記調整された第１の位置での前記リフレクターは、前記外部環境の前記ビューの前記第１の部分からの光を前記イメージセンサに向けることと
を行わせる命令をさらに含む、請求項２３に記載の非一時的なコンピュータ読み取り可能な記録媒体。

【請求項29】

格納された命令を含む非一時的なコンピュータ読み取り可能な記録媒体であって、前記命令は実行されたとき、少なくとも一つのプロセッサに
リフレクターを軸の周りでイメージセンサに対して第１の位置まで回転させ、前記リフレクターが前記第１の位置にある場合、外部環境に対応するビューの第１の部分からの光を前記イメージセンサに向けることと、
前記イメージセンサによって前記ビューの前記第１の部分の画像をキャプチャすることと、
前記リフレクターを前記軸の周りで前記イメージセンサに対して第２の位置まで回転させ、前記リフレクターが前記第２の位置にある場合、前記外部環境に対応する前記ビューの第２の部分からの光を前記イメージセンサに向けることと、
前記イメージセンサによって前記ビューの前記第２の部分の画像をキャプチャすることと、
前記外部環境の前記ビューに対応する結合画像を形成するために、前記第１の部分の前記画像および前記第２の部分の前記画像を結合することと、
前記リフレクターを前記軸の周りで前記イメージセンサに対して第３の位置まで回転させ、前記リフレクターが前記第３の位置にある場合、前記リフレクターの反対側が前記ビューの前記第１の部分からの光を前記イメージセンサに向けることと、
前記イメージセンサによって前記ビューの前記第１の部分の第２の画像をキャプチャすることとを行わせる、
非一時的なコンピュータ読み取り可能な記録媒体。

【請求項30】

格納された命令を含む非一時的なコンピュータ読み取り可能な記録媒体であって、前記命令は実行されたとき、少なくとも一つのプロセッサに
リフレクターを軸の周りでイメージセンサに対して第１の位置まで回転させ、前記リフレクターが前記第１の位置にある場合、外部環境に対応するビューの第１の部分からの光を前記イメージセンサに向けることと、
前記イメージセンサによって前記ビューの前記第１の部分の画像をキャプチャすることと、
前記リフレクターを前記軸の周りで前記イメージセンサに対して第２の位置まで回転させ、前記リフレクターが前記第２の位置にある場合、前記外部環境に対応する前記ビューの第２の部分からの光を前記イメージセンサに向けることと、
前記イメージセンサによって前記ビューの前記第２の部分の画像をキャプチャすることと、
前記外部環境の前記ビューに対応する結合画像を形成するために、前記第１の部分の前記画像および前記第２の部分の前記画像を結合することと、
第２のリフレクターを第２の軸の周りで前記イメージセンサに対して回転させ、前記第２のリフレクターは、ビューの第３の部分からの光を前記イメージセンサに向けることと、
前記イメージセンサによって前記ビューの前記第３の部分の画像をキャプチャすることとを行わせる、
非一時的なコンピュータ読み取り可能な記録媒体。

【請求項31】

格納された命令を含む非一時的なコンピュータ読み取り可能な記録媒体であって、前記命令は実行されたとき、少なくとも一つのプロセッサに
リフレクターを軸の周りでイメージセンサに対して第１の位置まで回転させ、前記リフレクターが前記第１の位置にある場合、外部環境に対応するビューの第１の部分からの光を前記イメージセンサに向けることであって、前記第１の位置の前記リフレクターが、前記ビューの前記第１の部分からの光を前記イメージセンサの第１の部分に向けることと、
前記イメージセンサによって前記ビューの前記第１の部分の画像をキャプチャすることと、
前記リフレクターを前記軸の周りで前記イメージセンサに対して第２の位置まで回転させ、前記リフレクターが前記第２の位置にある場合、前記外部環境に対応する前記ビューの第２の部分からの光を前記イメージセンサに向けることと、
前記イメージセンサによって前記ビューの前記第２の部分の画像をキャプチャすることと、
前記外部環境の前記ビューに対応する結合画像を形成するために、前記第１の部分の前記画像および前記第２の部分の前記画像を結合することと、
前記リフレクターを前記軸の周りでおよび前記イメージセンサに対して、第３の位置まで回転させ、前記リフレクターは前記ビューの前記第１の部分からの光を前記イメージセンサの第２の部分に向けることとを行わせる、
非一時的なコンピュータ読み取り可能な記録媒体。

【請求項32】

前記記録媒体は、
赤外カメラにより前記ビューの部分の画像をキャプチャすることであって、前記リフレクターが１または複数の赤外波長に対して透明であり、前記赤外カメラと開口の間に配置されていることを行わせる命令をさらに含む、請求項２３に記載の非一時的なコンピュータ読み取り可能な記録媒体。

【請求項33】

リフレクターを軸の周りでイメージセンサに対して第１の位置まで回転させることであって、前記リフレクターが前記第１の位置にある場合、外部環境に対応するビューの第１の部分からの光を前記イメージセンサに向けることと、
前記イメージセンサによって前記ビューの前記第１の部分の画像をキャプチャすることと、
前記リフレクターを前記軸の周りでイメージセンサに対して第２の位置まで回転させることであって、前記リフレクターが前記第２の位置にある場合、前記外部環境のビューの第２の部分からの光を前記イメージセンサに向けることと、
前記イメージセンサによって前記ビューの前記第２の部分の画像をキャプチャすることと、
前記外部環境の前記ビューの第３の部分の画像を前記イメージセンサとは物理的に分離された第２のイメージセンサによってキャプチャすることであって、前記第３の部分が前記第１および第２の部分を含むことと、
前記外部環境の前記ビューに対応する結合画像を形成するために、前記ビューの前記第３の部分の前記画像に基づいて、前記第１の部分の前記画像と前記第２の部分の前記画像とを結合することとを、
含む方法。

【請求項34】

前記ビューの前記第２の部分は、前記ビューの前記第１の部分と少なくともいくらかの重複を有する、請求項３３に記載の方法。

【請求項35】

結合画像を形成するために前記第１の部分の前記画像と前記第２の部分の前記画像とを結合することは、前記第１の部分の前記画像と前記第２の部分の前記画像とをステッチすることを含む、請求項３３に記載の方法。

【請求項36】

前記イメージセンサによる前記ビューの前記第１の部分の前記画像の前記キャプチャ、または、前記イメージセンサによる前記画像の前記第２の部分の前記画像の前記キャプチャの少なくとも一方の間に、前記リフレクターが比較的静止している、請求項３３に記載の方法。

【請求項37】

モーションセンサからの動きデータを受信することであって、前記動きデータは、前記外部環境の前記ビューに対する前記イメージセンサの動きを示すことと、
前記外部環境の前記ビューに対する前記イメージセンサの前記動きが閾値を超えると決定されることに応答して、前記動きを補償するために前記リフレクターの前記第１の位置を調整することであって、前記調整された第１の位置の前記リフレクターが前記外部環境の前記ビューの前記第１の部分からの光を前記イメージセンサに向けることとを、
さらに含む、請求項３３に記載の方法。

【請求項38】

少なくとも１つのプロセッサと、
実行可能なコンピュータプログラムコードを含むコンピュータ読み取り可能な記録媒体とを含む
コンピュータシステムであって、
前記コンピュータプログラムコードは、実行されたとき、少なくとも一つのプロセッサに
リフレクターを軸の周りでイメージセンサに対して第１の位置まで回転させ、前記リフレクターが前記第１の位置にある場合、外部環境に対応するビューの第１の部分からの光を前記イメージセンサに向けることと、
前記イメージセンサによって前記ビューの前記第１の部分の画像をキャプチャすることと、
前記リフレクターを前記軸の周りで前記イメージセンサに対して第２の位置まで回転させ、前記リフレクターが前記第２の位置にある場合、前記外部環境に対応するビューの第２の部分からの光を前記イメージセンサに向けることと、
前記イメージセンサによって前記ビューの前記第２の部分の画像をキャプチャすることと、
前記外部環境に対応する第２のビューの画像を前記イメージセンサとは物理的に分離された第２のイメージセンサによってキャプチャすることであって、前記第２のビューは前記第１および第２の部分を含むことと、
前記外部環境の前記ビューに対応する結合画像を形成するために、前記第２のビューの前記画像に基づいて、前記第１の部分の前記画像および前記第２の部分の前記画像を結合することとを行わせる、
コンピュータシステム。

【請求項39】

前記ビューの前記第２の部分が前記ビューの前記第１の部分と少なくともいくらかの重複を有する、請求項３８に記載のコンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、撮像システムの分野に関し、特に、回転可能なリフレクター(reflector)を有する撮像システムに関する。
（関連出願の相互参照）

【0002】

この出願は、２０１９年１２月１４日に出願された米国仮出願第６２／９４８，２００号「イメージングデバイスのための新しいアーキテクチャ」の利益、２０２０年１月１１日に出願された米国仮出願第６２／９５９，８８４号「イメージングデバイスのための新しいアーキテクチャ」の利益、２０２０年１２月１４日に出願された米国非仮出願第１７／１２１，２３９号「回転可能なリフレクターを備えたイメージングシステム」の利益、および２０２０年１２月１４日に出願された米国非仮出願第１７／１２１，３１５号「回転可能なリフレクターを備えたイメージングシステムによる結合画像の形成」の利益を主張する。前述の全ての主題は、それらの全体が参照により本明細書に組み込まれる。

【背景技術】

【0003】

写真用カメラは、ハウジング（a housing）、感光面、および感光面上にシーン（scene）を撮像するレンズを含む。以前は、感光面はフィルムであった。モバイルデバイスや写真カメラ（例えば、一眼レフ（ＳＬＲ）カメラ、ドローンカメラ、ビデオカメラ）などの現代のデバイスでは、フィルムは、ピクセルと呼ばれる小さな領域の光の量を電気信号に変換することができるイメージセンサに置き換えられている。一般的なイメージセンサデバイスは、電荷結合デバイス（ＣＣＤ）センサおよび相補型金属酸化膜半導体（ＣＭＯＳ）センサである。

【0004】

カメラのサイズは、一般に、イメージセンサのサイズ、レンズのサイズ、およびハウジングのサイズに依存する。イメージセンサが大きくなると、レンズは大きくなる。レンズのサイズは、カメラの視野を決定するレンズの焦点距離にも依存する。また、レンズ設計も、レンズのサイズに寄与し得る。

【0005】

イメージセンサ、レンズ設計、レンズ製造、および機械筐体技術の長年の進化と技術の進歩を経て、カメラは用途によって異なるいくつかの寸法に収束した。例えば、モバイルデバイス内のカメラシステムは、３次元全てにおいて数ミリメートルであり得る。このサイズは、モバイルデバイスがパンツポケットや小さな財布などの小さなスペースに収まるほど小さいことを望んでいることに由来する場合がある。その結果、場合によっては、そのようなデバイスで使用され得る最大の撮像素子は、数ミリメートル×数ミリメートルに制限され得る。場合によっては、イメージセンサは、イメージセンサ上に画像を形成するレンズのサイズによってさらに制限され得る。これらの制限を補うために、最近のモバイルデバイスは、複数のカメラを有し得、様々なカメラを使用して、様々な視野をキャプチャし、良好な画像品質を維持しながら、ユーザがズームインなどのアクションを実行することを可能にし得る。

【0006】

前述したように、モバイルデバイスにおけるイメージセンサの大きさは制限される。そのため、イメージセンサの画像の取得中に多くの光を集める能力が制限される。センササイズに加えて、センサによってキャプチャできる光の量は、レンズ開口（aperture）および露光時間に依存し得る。長年にわたり、F/#としても知られるレンズ開口(lens aperture)は、より良い製造能力と組み立て技術のおかげで減少してきたが、モバイルデバイスにとって、レンズ開口は約F/1.8の限界に達している。これは、例えば、視野が動いたり揺れたりする場合など、画質への配慮が制限される。具体的には、カメラを静止させるユーザの能力と、シーン内の被写体の動きによって露光時間が制限され得る。光学式手振れ補正（ＯＩＳ）法は、この露光時間を長くするのに役立ち得る。しかしながら、これらのＯＩＳ法は、シーン内のオブジェクトの動きに由来するブラー効果に影響を与えることができない。

【0007】

以上の制約により、露光時間の制限は限界に達し、広角レンズでは約５０ミリ秒となる。これは、ＯＩＳ法を使用して２００－３００ミリ秒まで延長することができるが、前述のように、ＯＩＳ法はシーン内の物体を移動させることによって生じるブラー（blur）を回避することはできない。いくつかの場合では、モバイルデバイスは、短時間および長時間露光をキャプチャし、短い露光からの情報を利用して、長い露光におけるモーションブラー（motion blur）を低減するブラケティングスキームを使用する。

【0008】

したがって、露光時間、レンズ開口、およびイメージセンササイズのこれらの制限は、カメラがキャプチャすることができる光量を制限し、そのため、ノイズ、解像度、ダイナミックレンジ、色などの点で、カメラが提供可能な画質を制限する。

【図面の簡単な説明】

【0009】

開示された実施形態は、詳細な説明、添付の特許請求の範囲、および添付の図（または図面）からより容易に明らかとなる利点、および特徴を有する。図の簡単な説明は、以下のとおりである。

【0010】

【図1A】図１Ａは、一実施形態による、モバイルデバイスに含まれる撮像システムを示す図である。

【図1B】図１Ｂは、一実施形態による、モバイルデバイスに含まれる撮像システムを示す図である。

【図2A】図２Ａは、一実施形態による、外部環境のビューの異なる部分の画像をキャプチャする撮像システムを示す図である。

【図2B】図２Ｂは、一実施形態による、外部環境のビューの異なる部分の画像をキャプチャする撮像システムを示す図である。

【図2C】図２Ｃは、一実施形態による、外部環境のビューの異なる部分の画像をキャプチャする撮像システムを示す図である。

【図2D】図２Ｄは、一実施形態によるビューの一部の画像を示す図である。

【図2E】図２Ｅは、一実施形態による、図２Ｄの画像から形成された外部環境のビューの画像を示す図である。

【図3】図３は、一実施形態による、ハウジングの前方の環境の画像およびハウジングの後方の環境の画像をキャプチャする撮像システムを示す図である。

【図4】図４は、一実施形態による、外部環境からの光が撮像システムのイメージセンサに向かって伝播するのを遮断する位置にあるリフレクターを示す図である。

【図5】図５は、一実施形態による、異なるイメージセンサに向けて光を方向付けるための異なる位置にあるリフレクターを示す図である。

【図6】図６は、一実施形態による、第２のカメラを含む撮像システムを示す図である。

【図7】図７は、一実施形態による、片面にフィルタを有する両面リフレクターを示す。

【図8】図８は、一実施形態による、デュアルレンズ撮像システム８０１を示す図である。

【図9】図９は、様々な実施形態による、様々な光学フィルタを有する画像センサ上のピクセルのグループを示す図である。

【図10】図１０は、様々な実施形態による、様々な光学フィルタを有する画像センサ上のグループを示す図である。

【図11】図１１は、様々な実施形態による、様々な光学フィルタを有する画像センサ上のピクセルのグループを示す図である。

【図12】図１２は、一実施形態による、外部環境のビューの結合画像を形成する方法を示すフローチャートである。

【図13】図１３は、一実施形態による、マシン読み取り可能媒体から命令を読み取り、それらをプロセッサ（またはコントローラ）で実行することができる例示的なマシンの構成要素を示すブロック図である。

【図14A】図１４Ａは、いくつかの実施形態による、家の結合画像を示す図である。

【図14B】図１４Ｂは、いくつかの実施形態による、家の結合画像を示す図である。

【図14C】図１４Ｃは、いくつかの実施形態による、家の結合画像を示す図である。

【図14D】図１４Ｄは、いくつかの実施形態による、家の結合画像を示す図である。

【図14E】図１４Ｅは、いくつかの実施形態による、家の結合画像を示す図である。

【図14F】図１４Ｆは、いくつかの実施形態による、家の結合画像を示す図である。

【図14G】図１４Ｇは、いくつかの実施形態による、家の結合画像を示す図である。

【図15】図１５は、一実施形態による、レンズモジュールおよびイメージセンサを示す図である。

【図16A】図１６Ａは、いくつかの実施形態による、イメージセンサのピクセルのグループ上のレンズアレイのレンズを示す図である。

【図16B】図１６Ｂは、いくつかの実施形態による、イメージセンサのピクセルのグループ上のレンズアレイのレンズを示す図である。

【図17】図１７は、一実施形態による、イメージセンサのカラーフィルタアレイを示す図である。

【図18】図１８は、一実施形態による、ダイクロイックビームスプリッタを備えた撮像システムの側面図を示す図である。

【発明を実施するための形態】

【0011】

図（ＦＩＧ）および以下の説明は、例示のためのみの、好適な実施形態に関する。以下の説明から、本明細書に開示される構造、および方法の代替的な実施形態は、特許請求されているものの原理から逸脱することなく、採用され得る実行可能な代替として容易に認識されることに留意されたい。

【0012】

つぎに、いくつかの実施形態について詳細に言及し、それらの例を添付の図面に示す。可能な限り、類似または同様の参照番号が、図面において用いられ、類似または同様の機能性を示し得ることに留意されたい。図面は、例示のみを目的として、開示されているシステム（または方法）の実施形態を示している。当業者は、本明細書で例示される構造および方法の代替的な実施形態が、本明細書で説明される原理から逸脱せずに採用され得ることを、以下の記載から容易に認識するであろう。
（構成の概要）

【0013】

例示的な実施形態は、イメージセンサのサイズを著しく増加させるが、撮像システムの寸法をモバイルデバイスに適合するように十分に小さく保つ新しい撮像システム（画像キャプチャアセンブリとも呼ばれる）に関する。撮像システムは、イメージセンサ、リフレクター(reflector)、およびコントローラ(controller)を含み得る。リフレクターは、軸の周りでイメージセンサに対して回転可能であり得る。リフレクターは、外部環境のビュー(view)の一部からの光をイメージセンサに向ける。コントローラは、イメージセンサおよびリフレクターに（例えば、モータを介して）結合され得る。コントローラは、リフレクターを軸の周りに回転させて、ビューの異なる部分からの光をイメージセンサに向ける。コントローラは、イメージセンサをリフレクターと同期させて、ビューの異なる部分の画像をキャプチャする。コントローラは、イメージセンサからの画像を結合して、外部環境のビューを含む画像を形成する。

【0014】

他の例示的な実施形態は、イメージセンサ、リフレクター、および、画像処理回路を含む撮像システムに関する。リフレクターはイメージセンサに近接して配置され、第１の位置から第２の位置まで軸の周りで、イメージセンサに対して回転可能である。第１の位置では、リフレクターは、環境の第１の部分からの光をイメージセンサに向ける。第２の位置では、リフレクターは、環境の第２の部分からの光をイメージセンサに向ける。画像処理回路は、イメージセンサと結合されている。回路は、第１の画像と第２の画像を結合して、環境の合成画像を形成する。第１の画像は、環境の第１の部分（リフレクターの第１の位置でキャプチャされた）を描画し、第２の画像は、環境の第２の部分（リフレクターの第２の位置でキャプチャされた）を描画する。

【0015】

他の例示的な実施形態は、回転可能なリフレクターを有する撮像システムによって結合画像を形成することに関する。リフレクターは、軸の周りで、イメージセンサに対して第１の位置まで回転する。第１の位置では、リフレクターは、外部環境に対応するビューの第１の部分からの光をイメージセンサに向ける。イメージセンサによって、ビューの第１の部分の画像がキャプチャされる。リフレクターは、軸の周りで、イメージセンサに対して第２の位置まで回転する。第２の位置では、リフレクターは、外部環境に対応するビューの第２の部分からの光をイメージセンサに向ける。イメージセンサによって、ビューの第２の部分の画像がキャプチャされる。第１の部分の画像と第２の部分の画像とを結合して、ビューに対応する画像を形成する。

【0016】

いくつかの実施形態では、撮像システムは、イメージセンサおよびリフレクターを少なくとも含むハウジングを含む。ハウジングは、環境からの光がリフレクターに向かって伝播するウィンドウを含む。ウィンドウの平面は、イメージセンサのセンサ面に実質的に垂直であり得る。
（撮像システム）

【0017】

図１Ａ～図１Ｂは、一実施形態による、例示的なモバイルデバイス１０３に含まれる例示的な撮像システム１０１を示す図である。具体的には、図１Ａは、モバイルデバイス１０３の前面図、背面図、および側面図を示し、図１Ｂは、モバイルデバイス１０３の断面の背面図および断面の側面図を示している。モバイルデバイス１０３は、撮像システム１０１、ウィンドウ１０２を有するハウジング１１７、およびディスプレイ１１９を含む。撮像システム１０１は、回転可能なリフレクター１０５、モータ１１１、レンズモジュール１０７、イメージセンサ１０９、およびコントローラモジュール１１３を含む。

【0018】

リフレクター１０５は、ウィンドウ１０２を通過する光をレンズモジュール１０７に向けて下に向ける。レンズモジュール１０７は、イメージセンサ１０９に光を集光する。モータ１１１は、リフレクター１０５を、イメージセンサ平面に対して実質的に平行である（例えば、１度または２度以内である）軸１１５の周りで回転させる。リフレクター１０５を回転させることにより、リフレクター１０５は、外部環境の異なる部分からの光をイメージセンサ１０９の方向に向けることができる。コントローラ１１３は、イメージセンサ１０９とモータ１１１とを電気的に結合する。撮像システム１０１は、外部環境の画像を形成するために、リフレクター１０５を回転させながら外部環境のビューの部分の画像をキャプチャする。初期角度位置から最終角度位置へのリフレクター１０５の回転は、走査（scan）と称され得る。キャプチャされた画像の組は、環境のいくつかの隣接部分の情報を含み、画像を結合（例えば、ステッチ（stitching)または融合(fusing）)した後、撮像システム１０１は、所定のアスペクト比で外部環境のより大きな画像を形成する。

【0019】

ハウジング１１７は、撮像システム１０１の構成要素のうちの１つまたは複数を含む。撮像システムの構成要素の位置および向きは、ハウジング１１７およびハウジングウィンドウ１０２を基準に説明され得る。例えば、ハウジング１１７は、撮像システム１０１を含む複数の壁によって定義され、壁のうちの１つは、例えば、ウィンドウ１０２の境界によって定義される平面を有するハウジングウィンドウ１０２を含む。平面は、３次元基準系においてｙ－ｚ（またはｙｚ－）平面に平行であり得る。ハウジング１１７は、ウィンドウ１０２の平面に垂直な軸に沿って（例えばｘ軸に沿って）小さい寸法（a low profile)を有し得る。ｘ軸に沿ったハウジングの長さは、ハウジング１１７の厚さと称され、例えば５～１５ミリメートルの範囲であり得る。ハウジング１１７がモバイルデバイス１０３の一部である実施形態においては、ウィンドウ平面は、モバイルデバイス１０３のディスプレイ１１９に平行であり得る。従来の撮像システムとは異なり、イメージセンサ表面は、ウィンドウ平面に面していない。例えば、イメージセンサ面は、ウィンドウ平面に垂直であり（例えば、ｘｙ－平面に平行である）、ウィンドウ１０２の境界の外側にある。これに起因して、リフレクター１０５は、ウィンドウ１０２を通って伝搬する光をイメージセンサ面に向けるために、ウィンドウ１０２と整列され得る。レンズモジュール１０７は、リフレクター１０５とイメージセンサ１０９の間であり得る。開口面は、リフレクター１０５とレンズモジュール１０７との間であり得、ウィンドウ平面に対して垂直で、イメージセンサ面に対して平行であり得る。リフレクターは、撮像システム１０１の光路をｙｚ平面に折り畳むことを可能にする。この折り畳みは、光路を、ハウジングの厚さの限界を超えて、ハウジングの厚さよりも典型的に大きい、ハウジングの幅（例えば、ｙ軸に沿った長さ）および高さ（例えば、ｚ軸に沿った長さ）に増加させることを可能にする。したがって、リフレクター、イメージセンサ、および／またはレンズモジュール１０７の開口は、１：１ではないアスペクト比を有し得、それらの長軸は互いに平行であり得る。

【0020】

本明細書で使用される「平行」および「垂直」という用語は、完全に平行または垂直である製造による構成要素を現実的にことが困難であり得るため、実質的に平行または実質的に垂直である構成要素（例えば、１または２度以内）を指し得る。

【0021】

イメージセンサ１０９は、外部環境の一部の画像をキャプチャする撮像デバイスである。イメージセンサ１０９の例には、ＣＣＤセンサおよびＣＭＯＳセンサが含まれる。図１に示すように、イメージセンサ面は、モバイルデバイス１０３のｘｙ平面に対してｘｙ平面にあり、イメージセンサ面は、ｘｙ平面の表面から垂直方向（ｚ軸に沿って）に面し得る。この位置合わせにより、イメージセンサ１０９のセンサ面は、外部環境のビューに対面しない。イメージセンサ１０９をｘｙ平面に配置することで、従来のカメラのイメージセンサよりもイメージセンサ１０９のサイズを大きくすることができる。イメージセンサ面の小さい方の寸法（ｘ軸に沿った）は、モバイルデバイスの厚さによって制限され得、長い方の寸法（ｙ軸に沿った）は、長さが何センチメートルにもなり得るモバイルデバイスの幅によって制限され得る。これにより、イメージセンサ１０９が、１７：９（例えば、１：１０）以上のアスペクト比のような高いアスペクト比を有することができる。従来のカメラは、それほど高くないアスペクト比（例えば、２：３，３：４，または１６：９に制限されるセンサ）を有するシーンの画像を生成する。イメージセンサ１０９のアスペクト比が大きいため、イメージセンサ１０９は、シーンの狭いビューに対応する狭い画像(「画像ストリップ」)を作成し得る。モバイルデバイスにおける従来の撮像システムでは、イメージセンサのサイズは、カメラのレンズの焦点距離によって制限され得る。しかしながら、本明細書に記載されるようにイメージセンサ１０９の位置および向きを変更することによって、イメージセンサのサイズは、同じまたは類似のハウジングを有する従来の撮像システムにおけるイメージセンサよりも大きくし得る。

【0022】

上述したように、リフレクター１０５（走査ミラーとも呼ばれる）は、軸１１５の周りで回転してイメージセンサ１０９に光を向ける光学的構成要素である。一般に、軸１１５は、イメージセンサ面の長い寸法（a long dimension of）に実質的に平行であり、リフレクター１０５は、ウィンドウ１０２の中心にある。ウィンドウ１０２の面（例えば、ｙｚ平面）がイメージセンサ１０９の面（例えば、ｘｙ平面）に垂直である場合、リフレクター１０５は、イメージセンサ面に対して４５度ぐらいの位置で光をイメージセンサ１０９に向け得る。イメージセンサ１０９のアスペクト比が高いため、リフレクター１０５はまた、イメージセンサ１０９の表面全体に光が反射されることを確実にするために高いアスペクト比を有し得る。リフレクター１０５は、長方形平面を有するものとして図１Ｂに示されるが、凹状または凸状（例えば、ビューを拡大または縮小するために使用され得る）などの他の形状が可能である。

【0023】

リフレクター１０５は、本明細書において、光を「向ける(directing)」という点で説明されているが、これは説明を容易にするためのものである。リフレクター１０５は、撮像システム１０１内を伝搬する光の光学的な方向、拡大、スリム化、反射、回折、屈折、分散、増幅、減衰、結合、分離、偏光、またはそれ以外の特性を変化させ得る。これを行うために、リフレクター１０５は、反射コーティング、金属化された特徴、光学格子、ミラー、プリズム構造、フレネル構造、コーナーリフレクター、再起反射器などをその１つまたは複数の表面に含み得る。

【0024】

レンズモジュール１０７は、１つまたは複数の光学的構成要素を含み、イメージセンサ１０９上に画像を形成するように設計される。レンズモジュール１０７は、それを通過する光を拡散し、収束し（焦点に集める）、方向を変化し、およびそれ以外の方法で修正し得る。レンズモジュール１０７は、単一のレンズと同様に単純であり得、または、拡散器、位相スクリーン、ビームエクスパンダー、鏡、およびレンズ（例えば、アナモルフィックレンズ）などの追加の光学的構成要素を含み得る。いくつかの実施形態では、レンズモジュール１０７の入射瞳は、リフレクター１０５に隣接する。これは、リフレクター１０５をより小さいサイズとすることを可能にし得る。

【0025】

イメージセンサ１０９のアスペクト比が高いため、レンズモジュール１０７は、非円形および/または非対称に設計および製造され得、レンズモジュールの開口の観点から、イメージセンサ１０９の寸法に追従し得る。非対称開口を有するレンズモジュール１０７を用いることにより、それがモバイルデバイスのハウジング１１７内に収まることを可能にし得る。また、レンズモジュール１０７の焦点距離は、ｘ方向とｙ方向で異なり得る。いくつかの実施形態では、これは、撮像システム１０１において、アスペクト比を保持しない結果となるため、例えば、４：３のシーンが、８：３のイメージセンサによって撮像され得る。１つまたは複数のレンズモジュール１０７の光学的構成要素は、円筒対称性を備える表面を有し得るが、他の構成要素の開口は、長方形または別の細長い形状であり得る。レンズモジュール１０７は、ウェーハレベル技術を使用して製造され得、これは、所望のアスペクト比でレンズ表面をダイシングすることによって長方形状の光学構成要素を作成するのに有益であり得る。いくつかの実施形態では、レンズモジュール１０７は、非対称開口を有する型を作成することによって、射出成形技術を使用して製造される。レンズモジュール１０７の構成要素は、射出成形、または機械加工（例えば、ウェハーレベル技術によって）によるガラスまたはプラスチックであり得る。

【0026】

上述したように、モータ１１１は、リフレクター１０５を軸１１５の周りで回転させる。これを行うために、モータ１１１は、アクチュエータ型機構、ガルバノメータ型機構、ＭＥＭＳ型機構、電動型機構、またはステッピングモータ型機構の一つまたは複数を含み得る。いくつかの実施形態では、以下にさらに説明するように、モータ１１１は、リフレクター１０５を他の方向に移動させることができる。例えば、モータ１１１は、リフレクター１０５をｘ軸、ｙ軸、および／またはｚ軸に沿って並進および／または回転移動させることができる。

【0027】

いくつかの実施形態では、モータ１１１は、イメージセンサ１０９がシーンの一部の画像をキャプチャしている間に、動き（例えば、手の動き）を補償するために、リフレクター１０５を（例えば、いずれかの方向に数度）傾ける。例えば、ユーザがモバイルデバイス１０３をわずかに下方に傾ける場合、モータは、傾けたにもかかわらずイメージセンサ１０９がシーンの同じ部分を受信するように、リフレクター１０５を上方に傾けて動きを補償し得る。いくつかの実施形態では、撮像システム１０１は、この動きを補償するために、１つまたは複数の方向（例えば、ｘｙ平面内）においてイメージセンサ１０９をシフトさせるセンサシフト機構（例えば、別のモータ）を含む。いくつかの実施形態では、撮像システム１０１は、この動きを補償するために、１つまたは複数の方向（例えば、ｘｙ平面内）においてレンズモジュール１０７（またはその構成要素）をシフトさせるレンズシフト機構（例えば、別のモータ）を含む。撮像システム１０１が複数の動き補償機構を含む場合、コントローラ１１３は、動きを相殺するために複数の機構を連携して動作するように調整し得る。例えば、モータ１１１は、リフレクター１０５を傾けて、一方向の動きを補償し、センサシフト機構またはレンズシフト機構は、別の方向の動きを補償する。いくつかの実施形態では、リフレクター１０５は、動きを補償するために（例えば、センサまたはレンズシフト機構の代わりに）、複数の実質的に垂直な軸（例えば、ｘ軸およびｚ軸）の周りで回転する。

【0028】

モータ１１１およびシフト機構はまた、オートフォーカス機構として機能し得る。例えば、レンズシフト機構は、所望の焦点を達成するために、レンズモジュール１０７（またはその構成要素）を（例えばｚ軸に沿って）イメージセンサ１０９に近づけたり、または遠ざけたりする。別の例では、センサシフト機構は、所望の焦点を達成するために、イメージセンサ１０９を（例えば、ｚ軸に沿って）レンズモジュール１０７に近づけたり、または遠ざけたりする。

【0029】

コントローラモジュール１１３は、モータ１１１およびイメージセンサ１０９に制御信号を提供するためのソフトウェア（例えば、マシン読み取り可能媒体上または伝送信号内に具体化されたコード）および／または、ハードウェアを構成し得る。したがって、コントローラ１１３は、リフレクター１０５を回転させて、外部環境の異なる部分からの光をイメージセンサ１０９に向け、イメージセンサ１０９をリフレクター１０５と同期させて、環境の異なる部分の画像をキャプチャする。さらに、コントローラ１１３は、キャプチャされた画像を受信し得、それらを結合して外部環境のより大きな（larger)連続画像を形成し得る。

【0030】

いくつかの実施形態では、撮像システム１０１は、外部環境に対する撮像システムの動きを追跡するための１つまたは複数のモーションセンサ（例えば、加速度計、ジャイロスコープなど）を含む。コントローラモジュール１１３は、モーションセンサからの動きデータを受信し得る。決定された動きが閾値量を超える場合、モジュール１１３は、動きを補償するためにモータ１１１および／またはセンサシフト機構に命令を提供し得る。

【0031】

いくつかの実施形態では、撮像システム１０１は、モバイルデバイス１０３に含まれていない。例えば、撮像システム１０１は、モバイルデバイス１０３のケースなどのスタンドアロンデバイスに収容される。

【0032】

図２Ａ－図２Ｃは、一実施形態による、外部環境のビューの異なる部分の画像をキャプチャする撮像システムを示す図である。図２Ａ－図２Ｃの例では、外部環境は、ビューの領域内の１つまたは複数のオブジェクトを含む。この例では、説明を簡単にするために、オブジェクトは、垂直に整列された立方体２１１Ａ、球体２１１Ｂ、およびピラミッド２１１ｃである。図２Ａにおいて、リフレクター１０５は、外部環境の上部からの光をイメージセンサ１０９に向けるために、第１の回転位置（例えば、ｙｚ平面に対して角度θ₁を形成する）で傾けられる。したがって、イメージセンサ１０９は、立方体２１１Ａの画像をキャプチャする。図２Ｂでは、外部環境の中央部分からの光をイメージセンサ１０９に向けるために、リフレクターは第２の回転位置（例えば、ｙｚ平面に対して角度θ₂＞θ₁を形成する）に傾けられる。したがって、イメージセンサ１０９は、球体２１１Ｂの画像をキャプチャする。図２Ｃでは、リフレクターは、外部環境の下部からの光をイメージセンサ１０９に向けるために、第３の回転位置（例えば、ｙｚ平面に対して角度θ₃＞θ₂を形成する）で傾けられる。したがって、イメージセンサ１０９は、ピラミッド２１１Ｃの画像をキャプチャする。いくつかの例示的な実施形態では、一組の画像をキャプチャするために、リフレクターの角度θは、ｘｙ平面に対して４５度あたりの（例えば、２５～６５度）対称的な範囲とすることができる。

【0033】

図２Ｄは、一実施形態による、イメージセンサ１０９によってキャプチャされた３つの画像ストリップを示している。各画像ストリップは、リフレクター１０５が異なる回転位置にある間に各ストリップがキャプチャされた結果、外部環境の異なる部分の画像である。画像ストリップは、リフレクター１０５、レンズモジュール１０７、およびイメージセンサ１０９のアスペクト比が高いため、アスペクト比が高い。画像ストリップＡは、立方体２１１Ａの画像であり、図２Ａの画像システム１０１によってキャプチャされた。画像ストリップＢは、球体２１１Ｂの画像であり、図２Ｂの画像システム１０１によってキャプチャされた。画像ストリップＣはピラミッド２１１Ｃの画像であり、図２Ｃの画像システム１０１によってキャプチャされた。

【0034】

各画像ストリップをキャプチャするための露光時間は、ユーザの動き（ユーザが意図せずデバイス１０３を保持したまま動かす）およびシーン内で動くオブジェクトによって制限され得る。さらに、画像ストリップの総露光時間は、複数の画像ストリップのキャプチャの間の外部環境の変化の可能性によって制限され得る。画像ストリップ露光時間および総露光時間は、所定の閾値時間に制限され得、または（例えば、モバイルデバイス１０３の移動量に基づいて）動的に決定され得る。

【0035】

図２Ｅは、一実施形態による、外部環境のビューの画像２０１を示している。画像２０１は、図２Ｄに示す画像ストリップＡ－Ｃの結合（例えば、融合またはステッチ）によって形成される。結合画像２０１は、合成画像と称し得る。結合画像２０１のビューの水平領域は、ウィンドウ１０２、リフレクター１０５、レンズモジュール１０７（例えば、その開口）、および／またはイメージセンサ１０９の幅（ｙ軸に沿って）に基づき得、結合画像２０１のビューの垂直領域は、リフレクター１０５の走査範囲に基づき得る。通常、ビューの垂直領域はビューの水平領域よりも大きい。

【0036】

画像ストリップがキャプチャされるときのリフレクター１０５の位置に応じて、画像ストリップは、互いにいくらかの重複（例えば、１０－３００行のピクセル）を有し得る。重複を有する画像ストリップをキャプチャすることは、画像ストリップが環境のビューの欠落した部分でないこと（例えば、ビュー全体がキャプチャされるように）を保証するのに役立ち得、結合画像２０１のノイズ値を低減し得る。重複を有する画像ストリップをキャプチャすることは、また、画像ストリップが適切に結合されることを保証するために結合プロセスを支援し得る。例えば、コントローラ１１３は、結合処理中に画像ストリップを位置合わせするために重複部分を用いる。別の例では、環境内のオブジェクトが複数の画像ストリップのキャプチャの間に動く場合、または、モバイルデバイス１０３が複数の画像ストリップのキャプチャの間に動く場合、制御システム１０１は、この動きによって引き起こされるアーチファクトを補正するために重複部分を使用し得る。
（リフレクターの回転）

【0037】

リフレクター１０５の回転は、リフレクター１０５の初期（例えば、最大）の角度位置から、最終（例えば、最小）の角度位置まで、結合画像を形成する画像ストリップの数であるＮ回の停止を伴って回転するような離散的なものであり得る。Ｎは２ぐらい小さくし得る。Ｎは、結合される画像の所望の露光時間、ならびに/または、イメージセンサ１０９の小さい方の寸法のサイズおよび結合画像の所望のサイズもしくはアスペクト比に依存し得る。例えば、イメージセンサが２４，０００ピクセル×６，０００ピクセルを有し、最終的な結合画像が４：３のアスペクト比を有する場合、リフレクター１０５は３つの離散位置を有し、結合画像は２４，０００ピクセル×１８，０００ピクセルになる。これまでの走査の例では、画像ストリップに重複部分は含まれていなかった。Ｎを大きくすると、シーン内のいくつかの領域が、画像ストリップに複数回表示されるようになる。たとえば、６つの離散的な角度位置を使用して走査を行うと、シーン内の各ポイントが２つの画像ストリップに表示されるようになる。

【0038】

撮像システム１０１は、ビデオをキャプチャ可能であり得る。これらの場合、結合画像は、ビデオのフレームを形成し得る。ビデオフレームレートまたはプレビューフレームレートが例えば２５ＦＰＳ（１秒あたりのフレーム数）の場合、各結合画像の総露光時間は４０ミリ秒以下である。３つの離散位置の走査の場合、各位置は１３．３３ミリ秒間露光され得る。しかしながら、リフレクター１０５は、位置を変更し、停止するまでの時間が必要であり、これは、各画像ストリップの露光時間が約１０ミリ秒であり得ることを意味する。

【0039】

静止画のキャプチャでは、ユーザがキャプチャボタンを押すとユーザに表示される画像プレビューを中断して、画像プレビュー速度によって制限されるよりも長い露光を可能にする。

【0040】

上記の考察は、ビューの全領域を考慮したものである。撮像システム１０１がビューのより狭い領域をキャプチャする場合、リフレクター１０５の走査範囲を縮小し得る。例えば、ユーザが３倍ズームイン（すなわち、３倍ズーム）した場合、撮像システム１０１はいかなる走査も実行しなくてよい。したがって、リフレクター１０５は静止し得る。例えば、イメージセンサ１０９が２４，０００ピクセル×６，０００ピクセルを有し、最終的な画像が６，０００ピクセルの高さおよび４：３のアスペクト比を有する場合、リフレクター１０５は回転しなくてもよく、画像の他の寸法は８，０００ピクセルであり得る（例えば、２４，０００ピクセルの寸法のイメージセンサ１０９から読み出され、切り出される）。

【0041】

いくつかの実施形態では、リフレクター１０５の回転は、離散的ではなく連続的である。連続走査モードでは、リフレクター１０５は、キャプチャされた画像がぼやけないように十分遅く、所望のフレームレート（例えば、４０ミリ秒）で所望のビューの領域の走査を終えるのに十分な速さで連続的に回転する。連続モードでは、リフレクター１０５の回転速度は、所望のフレームレートによって決定され得る。例えば、フレームレートが３０ＦＰＳ（フレーム間で３３ミリ秒）である場合、シーン走査は、２５ミリ秒程度を要し、次いで、リフレクター１０５を回転させて初期位置に戻す。リフレクターをその初期位置に戻すことができる速度に応じて、３０ミリ秒のような他の例示的な値が可能である。リフレクター１０５が両側である実施形態では、リフレクター１０５は回転させてその初期位置に戻る必要をなくし得る。

【0042】

連続走査モードでは、外部環境における点は、走査中のピクセルのすべての行に表示され得る。イメージセンサ１０９は、連続した画像ストリップについて、各ピクセルの列によって点がキャプチャされるように、十分な画像をキャプチャし得る。例えば、イメージセンサ１０９が６，０００行のピクセルを含む場合、１回の走査中に６０００枚の画像をキャプチャし得る。そのために、例えば、イメージセンサは、１ピクセルの電荷を特定の数ミリ秒間積分する代わりに、ピクセルの変化による電荷を積分し得る。この変化（走査）がリフレクターの回転速度と同期されている場合、出力は空間内の１点に対応することができる。イメージセンサ１０９にこれを実装した例は、１ピクセル行のみを読み出すことであり、これは非常に早く実行できる。たとえば、３０ＦＰＳ（１秒あたりのフレーム数）で、６，０００行のセンサは、１行だけ読み出して１５，０００ＦＰＳを実行することができる。点がピクセルの各行によってキャプチャされるように十分な画像をキャプチャすることに代えて、ピクセルの行数よりも少ない走査中に、所定の数の画像をキャプチャし得る。
（前面および背面モード）

【0043】

いくつかの実施形態では、撮像システム１０１は、リフレクター１０５を回転させることによって、ハウジング１１７の前方および後方の外部環境の画像をキャプチャする。図３は、一実施形態による、ハウジング１１７の前方の環境の画像（前面モード中）および、ハウジング１１７の後方の環境の画像（背面モード中）をキャプチャする撮像システム１０１を示す。

【0044】

背面モードは、図１Ａおよび図１Ｂを参照して上述している。前面モードでは、回転可能リフレクター１０５は、ディスプレイ１１９を通過する光をイメージセンサ１０９に向ける。ディスプレイ１１９を通過する光を向けることによって、モバイルデバイス１０３の前面のウィンドウのノッチまたは専用領域を縮小または排除し得る。したがって、ディスプレイ１１９のサイズは、例えば、ディスプレイ１１９をモバイルデバイス１０３の前面の縁まで延長することにより増加し得る。

【0045】

いくつかの撮像システムは、ディスプレイを通過する光をキャプチャすることができるが、それらは、発光ダイオード（ＬＥＤ）および配線のようなディスプレイの構成要素がディスプレイを通過する光を回折および散乱させるため、撮像性能の貧弱さに苦しむ。しかしながら、本明細書に記載の画像システム１０１は、より大きなウィンドウ（図３に図示せず）およびより大きなレンズ開口により、ディスプレイを通過するより多くの光をキャプチャすることができる。したがって、撮像システム１０１は、モバイルデバイスの前方のシーンを撮像するための改善された性能を有する。
（不均一性補正（ＮＵＣ）モード）

【0046】

図４は、一実施形態による、外部環境からの光がイメージセンサ１０９に向かって伝播するのを遮断するように位置付けられたリフレクター１０５（不均一性補正（ＮＵＣ）モード中）を示している。具体的には、リフレクター１０５は、イメージセンサ１０９に面するように配向される（例えば、イメージセンサ平面に平行である）。ＮＵＣモードは、（例えば、モバイルデバイスがピクセルを損傷する可能性のある波長に露出している場合に）イメージセンサ１０９のピクセルを保護するために使用され得る。例えば、モバイルデバイス１０３が晴れた日にテーブルの上にある場合、太陽はセンサによって撮像され得、センサはこれに起因して損傷し得る。リフレクターの回転により太陽の放射を遮断することができることは、センサ１０９およびその光学的コーティング（例えば、フィルタ）への損傷を防止することができる。ＮＵＣはまた、イメージセンサ１０９のピクセルをゼロにしたり、風袋引きするために使用されてもよい。例えば、リフレクター１０５をイメージセンサ１０９に向けることによって、イメージセンサ１０９は、撮像システム１０１自体からのＩＲ放射を測定し得る（センサ１０９がＩＲ感度を有するか、またはセンサ１０９に隣接する熱センサがあると仮定する）。撮像システム１０１は、その時、これらの読み取り値に基づいて調整を行ない得る。例えば、撮像システム１０１は、各ピクセルのゲインおよびオフセットを調整し、これにより、より高品質でより正確な画像を生成し得る。ＣＣＤ、ＣＭＯＳ、またはその他のイメージセンサは、一般的に、固定パターンノイズ（ＦＰＮ）および暗電流を引き起こす変動を有する。例えば、ＣＭＯＳイメージセンサにおいて、ピクセルトランジスタはピクセルＦＰＮを引き起こし、カラム増幅器はカラムＦＰＮを引き起こす。センサ１０９への光を遮断し、暗い画像をキャプチャできることは、望む時にセンサパラメータをキャリブレーションするのに役立つことができる。これらのパラメータの一部は固定され、工場で較正されているが、ＦＰＮと変動の原因は温度に依存し、空間的に変化し得る。
（複数のセンサ）

【0047】

いくつかの実施形態では、撮像システム１０１は、複数のレンズモジュール１０７およびイメージセンサ１０９を含む。図５は、イメージセンサ５０９Ａへの上方と、イメージセンサ５０９Ｂへの下方へ、同時に光を向けるための異なる位置の両面リフレクター１０５を示す。したがって、図５の撮像システム１０１は、モバイルデバイスの前方および後方の画像が単一のリフレクター１０５を使用して（例えば、同時に）キャプチャされることを可能にする。リフレクター１０５を回転させることによって、コントローラ１１３は、モバイルデバイスの前面または背面からの光をセンサ５０９のいずれかに向けることができる。これとは異なり、撮像システム１０１は、単一のリフレクター１０５を共有する２つのカメラを含むことができる。これは、製造コストを削減し、システムのサイズを縮小し得る。センサ５０９またはレンズモジュールが互いに異なる場合（例えば、異なるサイズ、タイプ、光学フィルタ）、リフレクター１０５は、例えば、所与の状況またはユーザからの命令に基づいて、特定のセンサに光を向けることができる。いくつかの実施形態では、リフレクター１０５は（両面ではなく）片面であり、光をセンサ５０９Ａまたはセンサ５０９Ｂに向けるように回転する。

【0048】

いくつかの実施形態では、下部レンズモジュール１０７およびセンサ５０９Ｂは、広視野カメラ（図５では「Ｗ」とラベル付けされる）を形成し、上部レンズモジュール１０７およびセンサ５０９Ａは、より狭い視野を有する望遠カメラ（図５では「Ｔ」とラベル付けされる）を形成する。したがって、リフレクター１０５がどのように位置決めされるかに応じて、リフレクター１０５は、ＷカメラまたはＴカメラのいずれかに光を向けることができる。
（２番目（または３番目以上）のカメラ画像）

【0049】

いくつかの実施形態では、撮像システム１０１は、１つまたは複数の追加のカメラを含む。図６は、一実施形態による、画像（「２番目のカメラ画像」）をキャプチャするように構成された第２のカメラ６０１を含む撮像システム１０１を示す。図６の例では、第２のカメラ６０１は左上隅に配置されている。第２のカメラ６０１は、モバイルデバイス１０３の背面の環境の画像をキャプチャするように配置されるが、代替的に、モバイルデバイス１０３の前面の環境の画像をキャプチャするように配置され得る。第２のカメラ６０１は、イメージセンサ１０９によってキャプチャされる２つまたは３つ以上の部分を含むビューの領域を有するように位置決めまたは、構成し得る。例えば、２番目のカメラ画像のビューは、画像ストリップのステッチ領域を含むか、または、結合画像のビューよりも大きい。これにより、コントローラ１１３は、画像ストリップの処理および結合の際に、２番目のカメラ画像を参照として使用することができる。例えば、２番目のカメラ画像は、画像ストリップを処理および結合するアルゴリズムのためのグラウンドトゥルース情報（ground truth information）を提供する。例えば、コントローラ１１３は、２番目のカメラ画像を使用して、画像ストリップを整列させ、動き効果を補正する。別の例では、２番目のカメラ画像は、結合画像からの欠落情報（例えば、シーン内の動くオブジェクトの遮蔽によって引き起こされる）を埋めるために使用される。

【0050】

第２のカメラ６０１を備えた撮像システム１０１の利点は、図１４Ａ－図１４Ｇを参照してさらに説明される。図１４Ａは、家を含む結合画像を示す。結合画像は、一組の画像ストリップ（Ｐｉｃ１－５）から形成される。モバイルデバイス１０３が静止している間に、画像ストリップはキャプチャされた。したがって、画像ストリップは、家の画像を形成するために、いかなるミスマッチ(mismatches)もなしで、整列され得る。

【0051】

図１４Ｂは、別の家の結合画像を示す。この例では、モバイルデバイス１０３が、画像をキャプチャしている間に動いた。例えば、モバイルデバイス１０３を保持しているユーザは、画像ストリップをキャプターしているときに、意図せずにそれを動かした。このため、家の一部は互いに揃っていない。

【0052】

図１４Ｃは、別の家の結合画像を示す。この例では、家の画像は、隣接する画像ストリップ内の特徴およびエッジを互いに揃えることによって改善される。しかしながら、特徴およびエッジ揃えは、家が完全に揃わないことがあり得る（例えば、特徴が明瞭でない場合、またはステッチ領域が特徴を欠く場合）。

【0053】

図１４Ｄは、画像ストリップ(Ｐｉｃ１－５)を結合する前の家の結合画像（左側画像）と、第２のカメラ６０１によってキャプチャされた画像１４０５(右画像)とを示す。２番目のカメラ画像１４０３は、画像ストリップのステッチ領域を含むため、画像ストリップの結合処理を改善するために用いることができる。例えば、図１４Ｅに見られるように、２番目のカメラ画像１４０３は一時的に拡大され、画像ストリップ上にオーバーレイされて、画像ストリップを揃えるための参照またはテンプレートとして機能する。これを行うことによって、画像ストリップの位置揃えが改善され（例えば、図１４Ｆに見られるように）、したがって、家の結合画像が改善される（例えば、図１４Ｆの結合画像を図１４Ｃの結合画像と比較して）。いくつかの実施形態では、２番目のカメラ画像は、画像ストリップと比較して、解像度を欠き、ノイズが多いものであり得るため、画像ストリップの粗い位置決めの後、細かい位置揃えが、画像ストリップ間のエッジ連続性を改善するために追加され得る。

【0054】

図１４Ｇは、結合画像の例示的なビュー１４０３と比較した、２番目のカメラ画像の例示的なビュー１４０１を示す。この例では、ビュー１４０１はビュー１４０３よりも水平方向の大きさが小さいが、それでも結合画像のステッチ領域を含んでいる。いくつかの実施形態では、ビュー１４０１は、（例えば、図１４Ｇに見られるように）ビュー１４０３よりも垂直方向に大きいため、２番目のカメラ画像は、キャプチャプロセス中にモバイルデバイスが動いた場合においても、ステッチ領域を含む。ビュー１４０１の水平方向は、また、水平方向の動きを考慮するようなサイズにし得る。いくつかの実施形態では、ビュー１４０１は、結合画像のビュー１４０３全体を含む。
（画像の結合）

【0055】

このセクションでは、画像ストリップがどのように結合し得るか（登録（registration）とも称される）について説明する。登録には２つの課題があり得る。第１の課題は、画像ストリップのキャプチャ中に、シーンと撮像システム１０１が動いたり、変化したりしていない、静的シーンを登録することである。この場合、登録は、ステッチ後にストリップの境界（ステッチ領域）の特徴が連続するように、画像ストリップの位置揃えを望み得る。この場合、動きがないため、絶対差の合計（ＳＡＤ）、相関、または画像の詳細を位置揃えのために訓練されたニューラルネットワークなどの特徴マッチング操作を使用してステッチングを実行し得る。画像ストリップのグラデーションに、または、直接信号自体に適用し得る。ステッチ領域（またはライン）に、明確な特徴またはエッジが十分含まれていない場合があり得る。その場合、ステッチガイドとして、２番目のカメラ画像（第２のカメラ６０１でキャプチャされた）を使用し得る。この場合、特徴マッチングはステッチ領域に限定されず、登録されている画像ストリップ内の任意の位置にある特徴を用いて実現され得る。

【0056】

いくつかの場合には、撮像システム１０１またはシーン内のオブジェクトによる動きが発生する。これは、非連続ステッチングをもたらし得る（例えば、各画像ストリップは、連続した結合画像を形成するために、異なる量および異なる方向にシフトされる）。登録は、高密度のオプティカルフロー登録アルゴリズムを使用して実行され得るが、これらは計算量が極めて多くなり、誤差が存在し得る。第２のカメラ６０１からの２番目のカメラ画像を使用することは、連続的に見える解（例えば、別の部分に一致する必要がある人間の手の一部など）を見つける必要がなく、２番目のカメラ画像の対応する同様の領域にのみ領域を登録するだけでよいため、この登録を簡単にし得る。

【0057】

複雑なテクスチャ(textures)をステッチするための別の可能性は、画像ストリップのキャプチャ中に、リフレクター１０５をビューの領域よりもわずかに小さく回転させることによって作成されるオーバーラップを活用することである。そのような場合、ステッチラインの近くのオブジェクトは、ステッチラインの両側の両方の画像ストリップに現れ得、ステッチは、検出アルゴリズムを使用して検出することができる顔または他のオブジェクトのようなオブジェクトを通過することを回避するように、曲線（例えば、非直線）上で発生し得る。シーン内のオブジェクトが異なる画像ストリップの露光の間に移動すると、遮蔽が発生し得る。これは、撮像システム１０１により近いオブジェクトによってシーン内のいくつかの領域がブロックされることの原因となり得る。２つの画像ストリップに異なる情報があると、アーチファクトを表示せずに適切にステッチすることが困難になり得る。２番目のカメラ画像の使用は、ガイドとしての役割を務めることができ、動きによって遮蔽された領域についての欠落情報を埋めるために、典型的には中心（例えば、４５度に最も近い位置）である特定のリフレクター位置に対応する画像ストリップの１つと同時にキャプチャできる。２番目のカメラ画像は、ノイズや色などの点で異なる特性を有し得るため、正規化処理が２番目のカメラ画像からの情報をステッチされた画像にブレンドする前に実行され得る。そのような正規化は、ノイズ除去、色調、階調の操作、ぼかしなどを含み得る。
（リフレクターの変更）

【0058】

いくつかの実施形態では、リフレクター１０５の１つまたは複数の側面は、光学フィルタを含む。つぎに図７を参照すると、一実施形態による、一面側にフィルタを有する両面リフレクター１０５を示している。一面側にフィルタ７０１を有するリフレクター１０５は、コントローラ１１３がフィルタされた光で画像をキャプチャするか、またはフィルタされていない光で画像をキャプチャするかを選択することを可能にする。図７は、単一のフィルタ７０１を有するリフレクター１０５を示しているが、フィルタは、また、反対面側（例えば、異なるフィルタ）に存在し得る。さらに、図７のフィルタ７０１のサイズは、例示的な目的のために、誇張されることに留意されたい。例えば、フィルタ７０１は、リフレクター１０５の表面に塗布された薄いコーティングである。

【0059】

フィルタの種類の例としては、偏光子、色フィルタ、ニュートラルデンシティフィルタフィルタ（neutral density filter）、ＵＶ （紫外線）フィルタ、波長フィルタ（例えば、カラーフィルタ、狭帯域ＩＲ （赤外線）フィルタ、またはブロードバンドＩＲフィルタ）が挙げられる。フィルタ７０１がＩＲフィルタであれば、撮像システム１０１は、ＩＲ光またはＩＲ光なしの画像をキャプチャすることができる。ＩＲ光でキャプチャされた画像は、深度データを収集するため（図９を参照して以下で説明するように）、または低照度撮影用（より広いスペクトルを記録することは、画像品質を改善し得る）に使用され得る。コントローラ１１３は、シーン内の光レベル、シーン内の光の種類、および深度データが（例えば、ユーザまたはアプリケーションによって）所望されるかどうかに基づいて、リフレクター１０５を介して光をフィルタリングするかどうかを決定し得る。

【0060】

フィルタリングされた光で画像をキャプチャするか、フィルタリングされていない光で画像をキャプチャするかを選択する代わりに、コントローラ１１３は、他のすべての結合画像がフィルタされた光を含むようにリフレクター１０５を回転させ得る。例えば、走査を完了した後、リフレクター１０５は、その反対側が後続の走査のために光を方向付けるように回転し続ける。したがって、フィルタ７０１の種類に応じて、後続のすべての結合画像は、異なる波長を含み得る。走査間でリフレクター１０５を反転させることは、ビデオをキャプチャしながら実行され得る。例えば、フィルタ７０１がＩＲフィルタである場合、２番目ごとの結合画像はＩＲ情報を含む。このＩＲ情報は、構造化された光または飛行時間（ＴｏＦ）情報と結合して、正確であり、他の結合画像からのカラーデータと位置合わせされた深度データを作成し得る。

【0061】

いくつかの実施形態では、リフレクター１０５は両面であり、面のうちの１つは、所定の距離だけ軸１１５から逸脱している。走査間でリフレクター１０５を反転させることによって、後続の画像はビューの異なる基準点を有し得る。コントローラ１１３は、例えば、２つの異なる並んだカメラから深度が計算されるのと同じ方法で、ステレオ深度計算を実行するために、ビューの異なる基準点を有する画像を使用し得る。

【0062】

いくつかの実施形態では、リフレクター１０５の一つの面は、イメージセンサ１０９の狭い寸法に沿って焦点距離を変更するレンズを含む。これは、リフレクター１０５がモータ１１１がサポートすることができるよりも速い速度で回転することを必要とする高フレームレートビデオを記録するために有用であり得る。これらの状況では、レンズを有するリフレクター１０５の面は、狭い寸法においてビューの領域が係数（例えば、３）だけ増加するように光を方向づけることができる。これは、ビデオのキャプチャ中にリフレクター１０５が比較的静的な状態を維持することを可能にし得る。これはまた、画像ストリップの結合プロセスを排除し得る。これを達成するための代替手段は、撮像システム１０１が有するモードに基づいて、光路に出入りするレンズまたはレンズ群を追加することによる。
（デュアルレンズシステム）

【0063】

図８は、一実施形態による、デュアルレンズ撮像システム８０１を示している。デュアルレンズ撮像システム８０１は、間隔を開けて配置した２つのウィンドウ８０３と、２つのレンズモジュール８０７と、２つのリフレクター８０５と、１つのイメージセンサ８０９とを含む。上部ウィンドウ８０３Ａを通過する光は、上部リフレクター８０５Ａによって下方に向けられ、上部レンズモジュール８０７Ａを通過する。上部レンズモジュール８０７Ａを通過した後、光は、上部固定ミラー８１１Ａによってイメージセンサ８０９の上半分（センサ８０９の第１の部分とも呼ばれる）に向けられる。イメージセンサ８０９の平面は、ディスプレイ１１９の平面に平行である（例えば、ｙｚ平面内）。デュアルレンズ撮像システム８０１下半分は、上半分の鏡像であり得る。例えば、下部ウィンドウ８０３Ｂを通過する光は、下部リフレクター８０５Ｂによって上方に向けられ、下部レンズモジュール８０７Ｂを通過する。下部レンズモジュール８０７Ｂを通過した後、光は、下部固定ミラー８１１Ｂによってイメージセンサ８０９の下半分（センサ８０９の第２の部分とも呼ばれる）に向けられる。図８に示すように、撮像システム８０１は、両方のウィンドウ８０３からの光を１つのイメージセンサ８０９に向ける。このことと、イメージセンサ平面がディスプレイと平行であることから、イメージセンサ８０９は、図１Ａおよび図１Ｂを参照して説明したイメージセンサ１０９よりも大きくし得る。単一のイメージセンサ８０９を備えることは、システム８０１の電子的な構成要素の数を減らし得る。いくつかの実施形態では、システム８０１は、例えば、固定ミラー８１１を取り外し、上向きになるｘｙ平面内に上部センサを追加し、下向きになるｘｙ平面内に下部センサを追加することによって、２つのイメージセンサを含む。

【0064】

間隔を開けて配置された２つのウィンドウ８０３を有することによって、システム８０１は、単一のリフレクターを有するシステム（例えば、図１Ｂに示されているように）によって生成された結合画像よりも大きな外部環境のビューの領域を有する結合画像を生成し得る。例えば、上部リフレクター８０５Ａは、下部リフレクター８０５Ｂが向けることができない光をイメージセンサ８０９に向ける。同様に、下部リフレクター８０５Ｂは、上部リフレクター８０５Ａが向けることができない光をイメージセンサ８０９に向け得る。いくつかの実施形態では、ハウジング上のウィンドウ８０３Ａと８０３Ｂとの間の間隔は、ユーザがカメラ間で切り替えたとき、視点（point of view）の変化を減少させるために減少されるが、視点の変化は、より遠くにあるオブジェクトでは目立たなくなり得る。単一のセンサ（例えば、センサ８０９）が２つのレンズモジュールについて使用される例示的な実施形態では、ウィンドウ８０３間の間隔は、より大きくし得る。これは、レンズモジュール８０７の一方または両方がより大きな焦点距離を有する場合に有利であり得る（より大きな焦点距離は、システムがより遠いオブジェクトを撮像することを可能にし得る）。

【0065】

デュアルレンズ撮像システム８０１のウィンドウ８０３は、異なるウィンドウ８０３からキャプチャされた画像を比較することによって、システム８０１が深度情報を決定することを可能にし得る。ステレオ原理およびウィンドウ８０３間の距離は、深さの精度および範囲を決定し得る。例えば、より大きなウィンドウ８０３の分離は、より大きな距離での深さ情報の計算を可能にする。ウィンドウ８０３が数センチメートル離れている場合、システムは、数十メートル先、さらには１００メートルを超えるオブジェクトの深さ情報を決定し得る。
（ピクセルグループを有するイメージセンサ）

【0066】

いくつかの実施形態では、イメージセンサ１０９は、ＩＲフィルタを有するピクセル、偏光フィルタを有するピクセル、および広帯域フィルタを有するピクセル、ＴｏＦピクセル、ならびに、可視光ピクセル（「カラーピクセル」）などの異なるピクセルのグループ（例えば、行）を含む。イメージセンサ１０９は、異なるピクセルグループの任意の組み合わせを含み得る。異なるピクセルグループを有する例示的なイメージセンサ１０９は、以下でさらに説明される。

【0067】

図９は、ＩＲフィルタを有するカラーピクセル（「ＩＲフィルタピクセル９０１」）行の第１のグループ、および、ＩＲフィルタを有しないカラーピクセル（「ＩＲピクセル９０３」）行の第２のグループを含むイメージセンサ１０９を示している。したがって、ＩＲピクセル９０３は、ＩＲ情報を記録し得る。ＩＲ情報は、例えば、画像システム１０１がパターンプロジェクタと結合されているときには構造化光によって、または画像システム１０１が時限ＩＲ光源と結合されているときにはＴＯＦによって、深度データの生成に用いることができる。

【0068】

撮像システム１０１（例えば、コントローラ１１３を介して）は、記録されたＩＲ情報を使用して深度マップを生成し、ＩＲフィルタピクセル９０１によってキャプチャされたカラー画像上にそれをオーバーレイ（overlay）し得る。ＩＲ情報はカラー画像と同じイメージセンサ１０９上に記録されたため、ＩＲ情報はカラー画像と同様のビューを有し得る。したがって、深度マップの位置合わせは、従来のシステムよりも正確であり得る。これは、深度情報に基づいて光学ブレをエミュレートする合成被写界深度アプリケーション（ポートレートモードとしても知られる）に有用であり得る。従来のシステムは、カラーカメラと別体のＩＲカメラからのデータを結合することによって、深度マップを作成する。このため、ＩＲカメラは外部環境の異なるビューを有することになり、その結果、カラー画像との深度マップの位置合わせは、精度が落ち得る。

【0069】

十分なＩＲ情報を記録するために、わずか数行のピクセルをＩＲ波長を記録するために使用し得る。わずか数センサ行を使用し、シーンから有用なＩＲ情報を取得する能力は、ＩＲピクセル９０３が、結合されて一緒になると大きな所望のビューの領域をカバーする数個のストリップをキャプチャするように、リフレクター１０５がビューを走査することができるという事実によって可能とされる。

【0070】

図１０は、ＩＲフィルタ付きのピクセル行９０１の第１のグループと、ＩＲフィルタおよび偏光フィルタまたはコーティングを有するカラーピクセル行の第２のグループ（「偏光ピクセル１００１」）とを含むイメージセンサ１０９を示す。偏光をキャプチャすることは、例えば、空の外観がより深い色の区別を有し、および／または、表面反射が水または他の反射面から除去されるなど、画像の見栄えを改善するのに有益であり得る。

【0071】

図１１は、ＩＲフィルタピクセルの第１のグループ９０１と、ＩＲフィルタと第１の偏光フィルタとを有するカラーピクセル行の第２のグループ（「第１の偏光ピクセル１１０１」）と、ＩＲフィルタと第２の偏光フィルタとを有するカラーピクセル行の第３のグループ（「第２の偏光ピクセル１１０３」）とを含むイメージセンサ１０９を示し、第２の偏光フィルタは、第１の偏光フィルタの方向に直交する偏光方向を有する。これにより、撮像システム１０１が水平に配向されているか垂直に配向されているかにかかわらず、撮像システム１０１が所望の偏光フィルタ効果を実現することが可能になり得る。

【0072】

イメージセンサ１０９が偏光ピクセルおよび非偏光ピクセルの行を含む実施形態では、撮像システム１０１は、（偏光ピクセルデータを使用して形成された）偏光画像の画質を向上させるために非偏光ピクセルデータを使用し得る。例えば、撮像システム１０１は、外部環境のビューに関連付けられた偏光ピクセルデータを、同じビューに関連付けられた非偏光ピクセルデータと比較するためのアルゴリズムを使用する。偏光画像は、例えば低い光量のビューを撮像するときに、より低い品質を有し得るため、これは有利であり得る。

【0073】

いくつかの実施形態では、イメージセンサ１０９は、ピクセルがＩＲおよび／または紫外線波長を検出することを可能にする広帯域フィルタを有するモノクロピクセルの列を含む。フィルタの波長範囲は、これらのモノクロピクセルによって検出される光の量を制御し得る。これらのモノクロピクセル行は、低い照明条件でより多くの光を取り込み、また、すべての照明条件での解像度およびエッジ忠実度を向上させるために使用され得る。

【0074】

いくつかの実施形態では、イメージセンサ１０９は、ニュートラルデンシティフィルタを有する１つ以上のピクセルグループを含む。このようなイメージセンサ１０９を用いる場合、ニュートラルデンシティフィルタを有しないピクセルグループとニュートラルデンシティフィルタを有するピクセルグループとにより、ビューの所望の領域を撮像するように走査を適用し得る。これにより、各ピクセルグループからのピクセルデータを結合することにより、画像を融合してＨＤＲ（High-dynamic range）出力を行うことができる。

【0075】

離散走査方式の場合、リフレクター１０５は、走査中に露光のために停止する。リフレクター１０５の停止位置は、各ピクセルグループのサイズ、および結合画像の所望のビューの領域に依存し得、これは、所望のズームレベルに基づいて変化し得る。例えば、イメージセンサ１０９が第１のピクセルグループに３０００ピクセル行、第２のピクセルグループに３０００ピクセル行を有する場合、各グループが走査方向の１０度のビューの領域に対応し、走査方向の所望のビューの領域が６０度である場合、リフレクター１０５は第１のピクセルグループで６０度のビューの領域をカバーするために６つの異なる位置に停止し得る。

【0076】

撮像システム１０１は、ピクセルグループの異なる組み合わせによるシーンのカバレッジ（coverage）を確実にするために異なる走査方法を有し得る。例えば、コントローラ１１３が深度マップを形成するように指示された場合、コントローラ１１３は、シーンの一部をイメージセンサ１０９のカラーピクセルおよびＩＲピクセルに向ける第１のスキームを開始する。しかしながら、深度マップが所望されない場合（例えば、異なるアプリケーションの場合）、コントローラ１１３は、シーンの部分をカラーピクセルだけに向ける第２のスキームを開始し得る。撮像システム１０１は、外部光条件、システムロジック、ユーザ命令、および／またはアプリケーション命令などの１つまたは複数の要因に基づいて、特定の走査方法を開始し得る。
（レンズモジュールの例）

【0077】

いくつかの例示的な実施形態では、画像ストリップの所望の出力アスペクト比は、画像センサ１０９のアスペクト比とは異なる。例えば、撮像システム１０１は、アスペクト比が４：３または１６：９（または他の所望の比）のシーンを、５：１または１０：１などのはるかに高いアスペクト比でイメージセンサ１０９上に撮像する。

【0078】

そのために、レンズモジュール１０７は、Ｘ軸およびＹ軸（Ｚは、光軸）に沿って異なる焦点距離を有し得る。異なる焦点距離を達成することは、フリーフォーム光学素子（アナモルフィックレンズとしても知られる）を使用することによって、または１つの方向にのみ光学的パワーを有する円筒形光学素子を使用することによって行われ得る。このようなレンズモジュール１０７を使用した結果、センサ上の各ピクセル（対称ピクセル（例えば、正方形状）であると仮定する）は、シーン内の長方形の領域から光子を集め得る。

【0079】

Ｘ方向およびＹ方向で同様の解像度を達成するために、イメージセンサ１０９は、非対称ピクセル（例えば、長方形のピクセル）を有することが有利であり得る。別のオプションは、（例えば、コントローラモジュール１１３によって）画像センサ１０９の長い方の寸法（例えば、ｙ方向に沿って）にアナログまたはデジタルビニングを適用して、その次元（dimension）における解像度を、所望の出力アスペクト比に対応する解像度に低減することである。

【0080】

光軸に垂直な２つの次元の異なる焦点距離を有するレンズモジュール１０７を設計するために、レンズ要素表面の少なくとも２つは非対称であり得る。１つの非対称面のみを使用することは、異なる焦点距離となり得るが、焦点面も異なり得るため、単一のイメージセンサ１０９を使用して画像をキャプチャすることが困難または不可能になり得る。したがって、これらの実施形態では、レンズモジュール１０７は、非対称面を有する少なくとも２つの光学表面を有する光学設計を備え得る。

【0081】

例えば、図１５は、一実施形態による、例示的なレンズモジュール１０７およびイメージ画像センサ１０９の側面図および背面図を示す。イメージセンサ１０９は、高いアスペクト比を有し、そのことはｘ軸とｙ軸に沿った長さを比較することによって見ることができる。図１５の例示的なレンズモジュール１０７は、３つのレンズ要素を有する。レンズモジュール１０７は、ｘｚ平面ではより短い焦点距離を有し、ｙｚ平面ではより長い焦点距離を有する。これを行うために、図１５のレンズモジュール１０７は、レンズモジュール１０７が画像をイメージセンサの平面上に焦点を合わせることができることを確実にするために、少なくとも２つの非対称レンズ素子（図示せず）を有し得る。
（マイクロレンズアレイ付きイメージセンサ）

【0082】

いくつかの実施形態では、撮像システム１０１は、イメージセンサ１０９の上方、またはイメージセンサ１０９上にレンズアレイ（例えば、マイクロレンズアレイ）を含む。レンズアレイは、イメージセンサ１０９のピクセルに光を集中させるレンズ（例えば、マイクロレンズ）のアレイ（例えば、グリッド）である。各レンズは、イメージセンサ上のピクセルのサブセット（例えば、２，３，または４ピクセル）に光を集中させ得る。いくつかの実施形態では、アレイのレンズは、（例えば、ｙ軸に沿って）センサの長い寸法の２つ以上のピクセルのグループに光を集中する。これは、アレイのレンズの下の各グループ内の左右のピクセル間の視差をもたらし得る。各レンズの下に２つ以上のピクセルを使用することは、各ピクセルの対がそのサイズが異なる有効なベースラインを有するため、撮像システム１０１が生画像データから深度情報を導出する能力の観点において有利であり得る。このことについて、さらに後述する。

【0083】

この文脈で、視差は、別の画像と比較したある画像内のオブジェクトの位置のオフセットを意味し得る。例えば、レンズアレイの各レンズが２つのピクセルの別のグループの上にある場合、撮像システム１０１は２つの画像を生成することができる。例えば、左の画像はレンズの下の左のピクセルによってキャプチャされ、右の画像はレンズの下の右のピクセルによってキャプチャされる。左のピクセルはレンズ開口の左側を通して外部環境を「見る」、そして、右のピクセルはレンズ開口の右側を通して外部環境を「見る」から、左と右の画像は、ステレオカメラと同様に、それらの間に視差を有する。各レンズが３つのピクセルのグループをカバーする場合、撮像システムは、視差情報をそこから抽出するために３つの画像（例えば、左、右、および中央の画像）を生成し得る。

【0084】

レンズアレイは、開口からの位相検出およびステレオビューの作成のために使用され得る。レンズモジュール１０７の非対称開口のため、異なるピクセルは、異なる視差情報を提供し得る。イメージセンサ平面の大きな方の寸法では、視差は大きくし得、小さい方の寸法では、視差は小さくし得る。視差情報を決定することは、深度計算アルゴリズムおよび合焦（例えば、位相検出オートフォーカス（ＰＤＡＦ））にとって有益であり得る。深度計算では、誤差の低減、遮蔽効果の低減、深度計算可能範囲の拡大のために、大きな視差情報と小さな視差情報を有することは有用である。したがって、レンズアレイの使用は、短距離（例えば、１メートル未満）および長距離（例えば、２－１０メートル）の範囲でのオートフォーカスを可能にし得る。

【0085】

例えば、図１６Ａおよび図１６Ｂは、いくつかの実施形態による、イメージセンサ１０９のピクセルグループにわたるレンズアレイのレンズ１６０３を示す。例示の目的のために、アレイの単一のレンズ１６０３のみが示される。いくつかの実施形態では、レンズアレイは、センサ１０９のすべてのピクセルをカバーするのに十分なレンズを含む。図１６Ａおよび図１６Ｂの例では、レンズ１６０３は連続した３つのピクセル（ピクセル１６０５Ｌ、１６０５Ｃ、１６０５Ｒ）をカバーしている。レンズ１６０３の左側を通って伝播する光子は左ピクセル１６０５Ｌによって受光され、レンズ１６０３の右側を通って伝播する光子は右ピクセル１６０５Ｒに受光され、レンズ１６０３の中心を通って伝播する光子は中心ピクセル１６０５Ｃによって受光される。これにより、ピクセルグループ１６０５からの任意のピクセルの対を用いて、視差情報を算出することが可能となる。これは、フォーカスの目的と深度の品質に役立ち得る。右ピクセル１６０５Ｒと左ピクセル１６０５Ｌとの間の視差はより大きなものとなり得、一方、左ピクセルまたは右ピクセルと中心ピクセル１６０５Ｃとの間の視差はより小さくなり得る。他の利点の中でも、異なるベースライン対からの情報を使用することは、深度計算することができる範囲を増加させ、その精度を向上させるのに役立ち得る。
（カラーフィルタアレイ）

【0086】

いくつかの実施形態では、イメージセンサ１０９は、カラーフィルタアレイ（ＣＦＡ）を含む。ＣＦＡは、通常のベイヤパターン、または、ＣＭＯＳセンサでよく使用されるＲＧＢＹなどの他のパターンとは異なる。ＣＦＡでは、各カラーフィルタは１以上のピクセルをカバーし、カバーピクセル数はアスペクト比の差に対応する。例えば、アスペクト比が４：３のシーンを画像化するアナモフィックレンズ（例えば、モジュール１０７内）によって向けられた光を受光するアスペクト比が８：３のイメージセンサ１０９は、長い方のセンサ寸法（例えば、ｙ軸に沿って）において２つのピクセル、および、小さい方のセンサ寸法（例えばＸ軸に沿って）において１つのピクセルをカバーするＣＦＡを有することになる。別の例は、アスペクト比が４：３のシーンを画像化するアナモフィックレンズ（例えば、モジュール１０７内）によって向けられた光を受光するアスペクト比が１２：３のイメージセンサ１０９であり、長い方のセンサ寸法において３つのピクセル、および、短い方の、短い、小さい方の寸法において１つのピクセルをカバーするＣＦＡを有することになる（例えば、図１７を参照されたい）。ＣＦＡは、同じ色特性のピクセルをビニングする目的で、また、同じ色ファミリーのピクセルを使用してＰＤＡＦ（位相検出オートフォーカス）を可能にする目的でも有益である。

【0087】

例えば、図１７は、一実施形態による、イメージセンサ１０９上の例示的なＣＦＡを示す。ＣＦＡは、センサ１０９のピクセル上に赤色フィルタ１７０５、緑色フィルタ１７０３、および青色フィルタ１７０７のパターンを含む。各カラーフィルタは、横一列に３ピクセルのグループをカバーする。これは、（例えば、レンズモジュール１０７内の）非対称レンズの焦点距離の差異に対応するアスペクト比を有する分布をもたらす。ＣＦＡは、撮像システム１０１を参照して説明されるが、ＣＦＡは、他の撮像システムで使用することができる。例えば、ＣＦＡは、レンズとイメージセンサとの間にアスペクト比の差異を有する撮像システムで使用することができる。

【0088】

いくつかの実施形態では、撮像システム１０１は、レンズアレイおよびＣＦＡを含む。２×２としてグループ化された４つのピクセルをそれぞれカバーするアレイのレンズを有するイメージセンサは、ＣＦＡも２×２分布で適用されている場合に、ピクセルの各２×２グループにカラーフィルタ（例えば、赤、緑、青）が適用されているという意味で「クワドラ（quadra）」と呼ばれ得る。
（ダイクロイックビームスプリッタ（DICHROIC BEAM SPLITTER））

【0089】

図１８を参照すると、いくつかの例示的な実施形態においては、リフレクターは、ダイクロイックビームスプリッタ１８０３である。ダイクロイックビームスプリッタは、入射光の波長に依存する分割比を有する。例えば、ダイクロイックビームスプリッタ１８０３は、可視波長の光をセンサ１０９に向け、赤外線波長の光をダイクロイックビームスプリッタ１８０３の後ろに配置された赤外線カメラ１８０５に透過させる（例えば、ダイクロイックビームスプリッタ１８０３は、ウィンドウ１０２（図１８に図示せず）と赤外線カメラ１８０５との間にある）。このような設定の利点は、赤外線カメラ１８０５（例えば、ＴｏＦを使用して、または構造化光視差計算を用いる赤外線視差パターンプロジェクタに結合された場合）によって決定された深度画像が、イメージセンサ１０９によってキャプチャされた可視画像と共に位置合わせされ得ることである。したがって、（例えば、別々のカメラを持つ深度画像システムで行われるように）一方の画像を他方の画像にワープ（warp）させて、それらを位置合わせする必要をなくし得る。深度と可視（典型的には、赤色、緑色、および青色）の画像を位置合わせすることは、合成被写界深度、背景置換または除去、ポートレートモード、深度ベースの照明効果などの深度および色情報を使用する画像処理プロセスに有益であり得る。
（深度情報の例示的な使用）

【0090】

本明細書で説明されるように、深度情報は、センサ１０９上の集積化分割フォトダイオード技術（図９－図１１を参照して説明される）を使用して、ステレオカメラを使用して（例えば、レンズアレイを使用して）、または統合された深度カメラを使用して決定され得る。いくつかの実施形態では、深度情報は、レンズモジュール１０７およびその開口部によってピントがあっていないシーン内のオブジェクトに導入されるぼけ（blur）を操作するために用いられ得る。このようなぼけは、レンズ開口形状に起因して非対称であり得る。対称的なぼけ（例えば、円形のぼけ）が要求される場合、深さ情報は、ぼけの少ないまたはぼけのない画像の方向または領域におけるぼけに適用されるために使用し得る。したがって、適用されたぼけが非対称のぼけと組み合わされる場合に、画像は、円形対称のぼけを有し得る。

【0091】

いくつかの実施形態では、ハイパスフィルタまたはエッジ検出アルゴリズム（例えば、勾配ベースである）は、焦点があっている、または焦点があっていない、そして、いかなる高周波エネルギーも含んでいないオブジェクトの検出に使用される。

【0092】

いくつかの実施形態では、レンズの開口は、開口の周辺に近いほど減少する透過率を有するアポダイゼーションフィルタを含む。開口は円形ではなくし得、アポダイゼーションプロファイルは、透過率が開口の外側輪郭からの距離によって画定されるような方法で開口部形状に従い得る。アポダイゼーションの目的は、焦点が合っていないオブジェクトからの高周波情報を除去することである。これは、ポートレートモードなどの背景／前景分離に依存する画像処理プロセスにとって、画像の背景/前景分離をより良くすることを可能にし得る。
（結合画像を形成する例示的な方法）

【0093】

ここで図１２を参照すると、一実施形態による、外部環境のビューの結合画像を形成する方法を示すフローチャートである。方法は、コントローラ１１３の視点から実行され得る。方法のステップは、異なる順序で実行され得、方法は、異なるステップ、追加のステップ、またはより少ないステップを含み得る。説明されるステップのうちの１つまたは複数は、マシン読み取り可能媒体上に命令として記憶され、プロセッサによって（例えば、図１ ３を参照して説明されるように）実行され得る。

【0094】

コントローラ１１３は、リフレクター（例えば、リフレクター１０５）を軸（例えば、軸１１５）の周りで、イメージセンサ（例えば、センサ１０９）に対して第１の位置まで回転させる（１２０１）。第１の位置では、リフレクターは、外部環境に対応するビューの第１の部分からの光をイメージセンサに向ける。イメージセンサは、ビューの第１の部分の画像をキャプチャする（１２０３）。コントローラ１１３は、リフレクターを軸の周りで、イメージセンサに対して第２の位置に回転させる（１２０５）。第２の位置では、リフレクターは、外部環境に対応するビューの第２の部分からの光をイメージセンサに向ける。第２の位置は、第１の位置とは異なり得る。イメージセンサは、ビューの第２の部分の画像をキャプチャする（１２０７）。コントローラ１１３は、第１の部分の画像と第２の部分の画像とを結合して、外部環境のビューに対応する結合画像を形成する（１２０９）。コントローラ１１３は、画像ステッチを実行することにより、画像を結合し得る。

【0095】

ビューの第２の部分は、ビューの第１の部分と少なくともいくらかの重複を有し得る。

【0096】

いくつかの実施形態では、リフレクターは、イメージセンサによる第１の部分の画像のキャプチャ、またはイメージセンサによるビューの第２の部分の画像のキャプチャのうちの少なくとも１つの期間、継続的に回転される。

【0097】

いくつかの実施形態では、リフレクターは、イメージセンサによるビューの第１の部分の画像のキャプチャ、またはイメージセンサによるビューの第２の部分の画像のキャプチャのうちの少なくとも１つの期間、総体的に静止している。この文脈において、総体的に静止しているとは、イメージセンサが画像をキャプチャしている間に、リフレクターが軸の周りに２度未満回転することを示し得る。例えば、５０ミリ秒での手振れ（hand shake）効果は、最大０．２度である。したがって、リフレクターは、露光中にいずれかの方向に０．１度回転して、ハンドシェイクを補償し得る。

【0098】

画像を結合するために、コントローラ１１３は、第１の部分の画像の特徴およびエッジを第２の部分の画像の特徴およびエッジと位置合わせし得る。

【0099】

いくつかの実施形態では、コントローラ１１３は、外部環境に対応する第２のビューの画像をキャプチャする（画像１４０５は、外部環境の第２のビュー（ビュー１４０１）の例示的な画像である）。第２のビューは、第１および第２の部分の少なくともいくらか（例えば、少なくとも第１および第２の部分の画像のステッチ領域）を含む。第１の部分の画像と第２の部分の画像の結合は、第２のビューの画像に基づき得る。第２のビューの画像は、イメージセンサから物理的に分離された第２のイメージセンサによってキャプチャされ得る。

【0100】

コントローラ１１３は、外部環境のビューに対するイメージセンサの動きを示すモーションデータをモーションセンサから受信し得る。外部環境のビューに対するイメージセンサの動きが閾値を超えていると決定することに応答して、コントローラ１１３は、動きを補償するために、リフレクターの第１の位置を修正し得る。修正された第１の位置にあるリフレクターは、前記外部環境のビューの第１の部分からの光をイメージセンサに向ける。代替的または追加的に、コントローラ１１３は、リフレクターに対するイメージセンサの位置をずらし得、ずらした位置のイメージセンサは、外部環境のビューの第１の部分からの光を受光する。

【0101】

リフレクターおよびイメージセンサは、ディスプレイを有するモバイルデバイスに収容され得、光は、リフレクターによって向けられる前にディスプレイを通って伝播する。

【0102】

いくつかの実施形態では、第１の位置において、リフレクターの反対側は、第２のイメージセンサの方に光を向ける。第２のイメージセンサは、イメージセンサとは物理的に分離されている。

【0103】

いくつかの実施形態では、コントローラ１１３は、軸の周りでイメージセンサに対して第３の位置までリフレクターを回転させる。第３の位置では、リフレクターの反対側は、ビューの第１の部分からの光をイメージセンサに向ける。コントローラ１１３は、イメージセンサによって、ビューの第１の部分の第２の画像をキャプチャする。リフレクターの反対側は、波長フィルタを含み得る。

【0104】

コントローラ１１３は、第２のリフレクターを第２の軸の周りでイメージセンサに対して回転させ得る。第２のリフレクターは、外部環境のビューの第３の部分からの光をイメージセンサに向ける。コントローラ１１３は、イメージセンサによって、ビューの第３の部分の画像をキャプチャする。いくつかの実施形態では、リフレクターは、イメージセンサの第１の部分に光を向け、第２のリフレクターは、イメージセンサの第２の部分に光を向ける。

【0105】

いくつかの実施形態では、第１の位置は、ビューの第１の部分からの光をイメージセンサの第１の部分に向ける。コントローラ１１３は、リフレクターを軸の周りで、イメージセンサに対して第３の位置に回転させる。第３の位置において、リフレクターは、ビューの第１の部分からイメージセンサの第２の部分に光を向ける。イメージセンサの第２の部分は、イメージセンサの第１の部分に存在しない波長フィルタを含み得る。

【0106】

いくつかの実施形態では、リフレクターは、１つまたは複数の赤外線波長に対して透明である。コントローラは、赤外線カメラによってビューの一部分の画像をキャプチャし、リフレクターは、赤外線カメラとウィンドウとの間に配置される。
（例示的なマシンアーキテクチャ）

【0107】

ここで図１３を参照すると、図１３は、マシン読み取り可能媒体から命令を読み取り、それらをプロセッサ（またはコントローラ）において実行することが可能である例示的なマシンの構成要素を示すブロック図である。具体的には、図１３は、コンピュータシステム１３００の例示的な形態におけるモバイルデバイス１０３の模式図を示す。コンピュータシステム１３００は、本明細書で説明される方法論（またはプロセス）（例えば、図１２を参照して説明される方法）のうちのいずれか１つまたは複数をマシンに実行させるための命令１３２４（例えば、プログラムコードまたはソフトウェア）を実行するために使用することができる。代替的な実施形態において、マシンは、スタンドアロンデバイス、または他のマシンに接続する接続された（例えば、ネットワーク化された）デバイスとして動作する。ネットワーク化されたデプロイメントにおいて、マシンは、サーバー・クライアントネットワーク環境におけるサーバーマシンもしくはクライアントマシンとして、またはピア・ツー・ピア（または分散）ネットワーク環境におけるピアマシンとして動作し得る。

【0108】

マシンは、後述するように、プロセッサおよびストレージを有する処理構成要素を備えるスタンドアロンカメラであり得る。マシンはまた、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、スマートフォン、モノのインターネット（ＩｏＴ）アプライアンス、またはそのマシンによって実行されるべき動作を指定する命令１３２４（順次またはそれ以外）を実行することができる任意のマシンと結合したカメラを含むシステムの一部であり得、本明細書に記載されるように撮像システムを組み込むための小さな体積領域を有し得るシステムの一部であり得る。さらに、１つのマシンだけが示されているが、「マシン」という用語は、また、本明細書で説明される方法論のうちのいずれか１つまたは複数を実行するための命令１３２４を個々にまたは共同して実行するマシンの任意の集合を含むものと解釈される。命令は、例えば、図１－図１８に関して説明される撮像システムの構成要素、および／または画像処理システムを制御するための命令であり得る。

【0109】

例示的なコンピュータシステム１３００は、１つまたは複数の処理ユニット（一般に、プロセッサ１３０２）を含む。プロセッサ１３０２は、例えば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、コントローラ、状態マシン、１つもしくは複数の特定用途向け集積回路（ＡＳＩＣ）、１つもしくは複数の無線周波数集積回路（ＲＦＩＣ）、またはこれらの任意の組み合わせである。コンピュータシステム１３００は、また、メインメモリ１３０４を含む。コンピュータシステムは、ストレージユニット１３１６を含み得る。プロセッサ１３０２、メモリ１３０４、およびストレージユニット１３１６は、バス１３０８を介して通信する。

【0110】

さらに、コンピュータシステム１３００は、スタティックメモリ１３０６、ディスプレイドライバー１３１０（例えば、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、またはプロジェクターを駆動するために）を含むことができる。コンピュータシステム１３００は、また、英数字入力デバイス１３１２（例えば、キーボード）、カーソル制御デバイス１３１４（例えば、マウス、トラックボール、ジョイスティック、モーションセンサ、または他のポインティング機器）、信号生成デバイス１３１８（例えば、スピーカ）、およびネットワークインタフェースデバイス１３２０を含み得、これらは、また、バス１３０８を介して通信するように構成されている。

【0111】

ストレージユニット１３１６は、本明細書で説明される１つもしくは複数の方法論、または機能のいずれかを具現化する命令１３２４（例えば、ソフトウェア）が格納されるマシン読み取り可能媒体１３２２を含む。命令１３２４は、また、コンピュータシステム１３００によるその実行中に、メインメモリ１３０４内、またはプロセッサ１３０２内（例えば、プロセッサのキャッシュメモリ内）に完全にまたは少なくとも部分的に存在し得、メインメモリ１３０４、およびプロセッサ１３０２は、また、マシン読み取り可能媒体を構成する。命令１３２４は、ネットワークインタフェースデバイス１３２０を介してネットワーク１３２６の上で送信または受信され得る。

【0112】

マシン読み取り可能媒体１３２２は、例示的な一実施形態においては、１つの媒体であるように示されているが、「マシン読み取り可能媒体」という用語は、命令１３２４を格納することが可能である１つの媒体または複数の媒体（例えば、集中型または分散型データベース、もしくは関連するキャッシュおよびサーバー）を含むものと解釈される。「マシン読み取り可能媒体」という用語は、また、マシンによる実行のための命令１３２４を格納することが可能であり、マシンに本明細書に開示される１つまたは複数の方法論のうちの任意のものを実行させる任意の媒体を含むものと解釈される。「マシン読み取り可能媒体」という用語は、限定するわけではないが、固体メモリ、光学媒体、および磁気媒体の形態でのデータリポジトリを含む。
（さらなる考慮事項）

【0113】

本明細書に記載の撮像システムおよび関連するアルゴリズムは、サイズ、体積、形状、および性能の点で、従来のカメラよりもいくつかの利点を有する。例えば、他の利点の中で、本明細書に記載の撮像システムは、同等のサイズの従来のシステムよりも大きな解像度を有する画像を生成し得る。さらに、撮像システムは、画像ストリップのキャプチャ中に、システムの意図しない動きを補償するために、リフレクターを調整することができる。さらに、ハウジングの前方または後方の外部環境の画像は、リフレクターを回転させることによってキャプチャされ得る。複数の画像センサがハウジングに含まれる場合、撮像システムは、ハウジングの前方および後方の画像を同時にキャプチャし得る。これらは、本明細書に記載の撮像システムの利点のほんの一部にすぎない。

【0114】

本明細書を通じて、複数の例示は、１つの例示として説明されるコンポーネント、動作、または構造を実装し得る。１つまたは複数の方法の個々の動作が、別個の動作として図示、および説明されているが、１つまたは複数の個々の動作は、同時に実行され得、動作を図示されている順序で実行する必要はない。例示的な構成において、別個の構成要素として提示される構造および機能は、組み合わされた構造または構成要素として実装され得る。同様に、１つの構成要素として提示される構造および機能は、別個の構成要素として実装され得る。これら、および他の変形例、修正、追加、および改善は、本明細書の主題の範囲内にある。

【0115】

特定の実施形態は、本明細書において、論理またはいくつかの構成要素、モジュール、またはメカニズム、例えば、コントローラモジュール１１３を含むものとして説明される。モジュールは、ソフトウェアモジュール（例えば、マシン読み取り可能媒体上、または伝送信号内で具体化されたコード）、またはハードウェアモジュールのいずれかを構成し得る。ハードウェアモジュールは、特定の動作を実行することが可能である有形のユニットであり、特定の方法で構成、または配置され得る。例示的な実施形態において、１つもしくは複数のコンピュータシステム（例えば、スタンドアローン、クライアント、もしくはサーバーコンピュータシステム）、またはコンピュータシステムの１つもしくは複数のハードウェアモジュール（例えば、プロセッサ、もしくはプロセッサのグループ）は、本明細書で説明される特定の動作を実行するために動作するハードウェアモジュールのように、ソフトウェア（例えば、アプリケーション、またはアプリケーションの一部）によって構成され得る。

【0116】

さまざまな実施形態において、ハードウェアモジュールは、機械的に、または電子的に実装され得る。例えば、ハードウェアモジュールは、特定の動作を実行するための永続的に構成される専用の回路、または論理（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、もしくは特定用途向け集積回路（ＡＳＩＣ）などの特定用途プロセッサとして）含み得る。また、ハードウェアモジュールは、特定の動作を実行するためのソフトウェアによって一時的に構成されるプログラム可能な論理、または回路（例えば、汎用プロセッサ、もしくは他のプログラム可能なプロセッサに包含されるもの）を含み得る。ハードウェアモジュールを機械的に、専用の恒久的に構成された回路に、または一時的に構成された回路（例えば、ソフトウェアによって構成された）に実装する決定は、コストおよび時間の考慮によって決定され得ることが理解されよう。

【0117】

本明細書で説明される例示的な方法のさまざまな動作は、関連する動作を実行するように一時的に構成される（例えば、ソフトウェアによって）、または永続的に構成される１つまたは複数のプロセッサ、例えばプロセッサ１３０２によって少なくとも部分的に実行され得る。一時的に、恒久的に構成されるかにかかわらず、そのようなプロセッサは、１つまたは複数の動作または機能を実行するために動作するプロセッサ実装モジュールを構成し得る。本明細書で参照されるモジュールは、いくつかの例示的な実施形態において、プロセッサ実装モジュールを含み得る。

【0118】

１つまたは複数のプロセッサは、また、「クラウドコンピューティング」環境において、または「サービスとしてのソフトウェア」（ＳａａＳ）として関連する動作の実行をサポートするために動作し得る。例えば、少なくともいくつかの動作は、コンピュータのグループ（プロセッサを含むマシンの例示として）によって実行され得、これらの動作は、ネットワーク（例えば、インターネット）、および１つまたは複数の適切なインタフェース（例えば、アプリケーションプログラムインタフェース（ＡＰＩｓ））を介してアクセス可能である。

【0119】

特定の動作の実行は、１つのマシン内に存在するだけではなく、複数のマシンにわたって展開される、１つまたは複数のプロセッサ間で分散され得る。いくつかの例示的な実施形態において、１つもしくは複数のプロセッサまたはプロセッサ実装モジュールは、１つの地理的位置（例えば、家庭環境内、オフィス環境内、またはサーバーファーム内）に配置され得る。他の例示的な実施形態において、１つもしくは複数のプロセッサまたはプロセッサ実装モジュールは、複数の地理的位置にわたって分散され得る。

【0120】

本明細書のいくつかの部分は、マシンメモリ（例えば、コンピュータメモリ）内のビット、もしくはバイナリデジタル信号として格納されるデータに対する動作のアルゴリズム、または記号表現の観点から提示される。これらのアルゴリズム、または記号表現は、彼らの仕事の内容を他の当業者に伝えるためにデータ処理技術における当業者によって用いられる技術の例である。本明細書で用いられるように、「アルゴリズム」は、所望の結果へと導く首尾一貫した一連の動作、または同様の処理である。この文脈において、アルゴリズム、および動作は、物理量の物理的操作を含む。通常、必ずしもそういうわけではないが、このような量は、マシンによって、格納されること、アクセスされること、転送されること、組み合わされること、比較されること、もしくはその他の方法で操作されることが可能である電気的な、磁気的な、または光学的な信号の形態をとり得る。主に共通使用の理由で、「データ」、「コンテンツ」、「ビット」、「値」、「要素」、「記号」、「文字」、「用語」、「数」、または「数字」などのような単語を用いてこのような信号を参照することは、時には便利である。しかしながら、これらの単語は、単に便利なラベルであり、適切な物理量に関連付けられるべきものである。

【0121】

特に明記しない限り、「処理（processing）」、「演算（computing）」、「計算（caluculating）」、「決定（determining）」、「提示（presenting）」、または「表示（dysplaying）」などのような単語を用いる本明細書での議論は、１つまたは複数のメモリ（例えば、揮発性メモリ、不揮発性メモリ、もしくはそれらの組み合わせ）、レジスタ、または情報を受信、格納、伝送、もしくは表示する他のマシンコンポーネント内に、物理（例えば、電子、磁気、または光学）量として表現されるデータを操作もしくは転送するマシン（例えば、コンピュータ）のアクション、またはプロセスを指し得る。

【0122】

本明細書で用いられるように、「一実施形態」、または「実施形態」への参照は、この実施形態に関連して説明される特定の要素、特性、構造、または特徴が少なくとも１つの実施形態において含まれることを意味する。明細書のさまざまな箇所における「一実施形態において」というフレーズの出現は、必ずしもすべてが同一の実施形態を参照しているとは限らない。

【0123】

いくつかの実施形態は、「結合される」、および「接続される」という表現をそれらの派生語と共に用いて説明され得る。例えば、いくつかの実施形態は、２つまたは３つ以上の要素が直接物理的または電気的に接触していることを示すために「結合する」という用語を用いて説明され得る。しかしながら、「結合する」という用語は、２つまたは３つ以上の要素が互いに直接接触していないが、依然として互いに協働または相互作用することも意味し得る。実施形態は、この文脈において限定されない。

【0124】

本明細書で用いられる場合、「含む（comprises）」、「含んでいる（comprising）」、「含む（includes）」、「含んでいる（including）」、「有する（has）」、「有している（having）」、またはそれらの任意の他の変形例は、非排他的な包含をカバーすることが意図されている。例えば、要素のリストから構成されるプロセス、方法、物品、または装置は、必ずしもそれらの要素のみに限定されるのではなく、そのようなプロセス、方法、物品、もしくは装置に明示的に記載されていない、または固有の他の要素を含み得る。さらに、そうではないと明示的に述べられていない限り、「または」は、包括的な「または」を指し、排他的な「または」ではない。例えば、条件ＡまたはＢは、以下のいずれか１つによって満たされる：Ａは真（または存在する）およびＢは偽（または存在しない）、Ａは偽（または存在しない）およびＢは真（または存在する）、ならびに、ＡおよびＢの両方が真（または存在する）。

【0125】

さらに、「ａ」または「ａｎ」の使用は、本明細書における実施形態の要素およびコンポーネントを説明するために採用される。これは、単に便宜上、および本発明の一般的な意味を付与するために行われているに過ぎない。この説明は、１つまたは少なくとも１つを含むと読まれるべきであり、また、そうでないことを意味することが明らかでない限り、単数形が複数形を含む。

【0126】

本開示を読めば、当業者は、本明細書で開示される原理を通じて、結合画像を形成するためのシステムおよびプロセスのための付加的な代替的構造および機能設計を認識するであろう。このように、特定の実施形態および用途が例示され、ならびに説明されてきたが、開示された実施形態は、本明細書で開示されたとおりの構造および構成要素に限定されないことを理解されたい。当業者にとって明らかであろうさまざまな修正、変更および変形は、添付の特許請求の範囲において定義される趣旨および範囲から逸脱せずに、本明細書で開示される方法および装置の配置、動作および詳細においてなされ得る。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図14C】

【図14D】

【図14E】

【図14F】

【図14G】

【図15】

【図16A】

【図16B】

【図17】

【図18】