IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧

特許7214643多開口撮像装置、撮像システム、および多開口撮像装置を利用可能にする方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-20
(45)【発行日】2023-01-30
(54)【発明の名称】多開口撮像装置、撮像システム、および多開口撮像装置を利用可能にする方法
(51)【国際特許分類】
   G03B 5/00 20210101AFI20230123BHJP
   G03B 15/00 20210101ALI20230123BHJP
   G03B 19/07 20210101ALI20230123BHJP
   G03B 35/10 20210101ALI20230123BHJP
   G03B 37/00 20210101ALI20230123BHJP
   H04N 23/55 20230101ALI20230123BHJP
   H04N 23/45 20230101ALI20230123BHJP
   H04N 23/60 20230101ALI20230123BHJP
   H04N 23/68 20230101ALI20230123BHJP
【FI】
G03B5/00 J
G03B5/00 K
G03B15/00 H
G03B15/00 W
G03B19/07
G03B35/10
G03B37/00 A
H04N5/225 400
H04N5/225 800
H04N5/232 290
H04N5/232 480
【請求項の数】 22
(21)【出願番号】P 2019548902
(86)(22)【出願日】2018-03-01
(65)【公表番号】
(43)【公表日】2020-04-09
(86)【国際出願番号】 EP2018054997
(87)【国際公開番号】W WO2018162304
(87)【国際公開日】2018-09-13
【審査請求日】2019-10-30
【審判番号】
【審判請求日】2021-12-03
(31)【優先権主張番号】102017204035.1
(32)【優先日】2017-03-10
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】500341779
【氏名又は名称】フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100085660
【弁理士】
【氏名又は名称】鈴木 均
(72)【発明者】
【氏名】ヴィッパーマン,フランク
(72)【発明者】
【氏名】ドゥパッレ,ジャック
【合議体】
【審判長】瀬川 勝久
【審判官】野村 伸雄
【審判官】吉野 三寛
(56)【参考文献】
【文献】国際公開第2017/029329(WO,A1)
【文献】特開2016-173411(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G03B 5/00-5/08
H04N 5/222-5/257
(57)【特許請求の範囲】
【請求項1】
全視野を捕捉するように構成された多開口撮像装置(10、10’、20、30、40)であって、
画像センサ(12)と、
複数の光学チャネルを有する光学チャネル(16a~16h)のアレイ(14)であって、
光学チャネル(16a~16h)が前記全視野(70)の部分視野(72a~72d)を前記画像センサ(12)の画像センサ領域(24a~24h)に投影する光学部品(17)を含アレイ(14)と、
前記光学チャネル(16a~16h)の光路(26a~26h)を偏向させるビーム偏向手段(18)と、
前記画像センサ(12)、前記アレイ(14)、および前記ビーム偏向手段(18)の間に第1の相対運動(34、39a)を生成することにより前記画像センサ(12)によって捕捉された画像の第1の画像軸(28)に沿った揺れに対する光学画像安定化のための、また、前記画像センサ(12)、前記アレイ(14)および前記ビーム偏向手段(18)の間に第2の相対運動(38、39b)を生成することにより第2の垂直画像軸(32)に沿った揺れに対する光学画像安定化のための光学画像安定化装置(22)と、
前記第1の画像軸(28)および前記第2の垂直画像軸(32)に沿っ電子画像安定化のための電子画像安定化装置(41)と、を備え、
前記光学画像安定化装置(22)は、第1の部分視野の画像に対する前記光学画像安定化が可能な限り正確になるように前記光学画像安定化を実行するように構成されており、
前記電子画像安定化装置(41)は、前記光学画像安定化装置により前記光学画像安定化が実行されたことにより得られた画像に基づいて第2の部分視野の画像を安定化するように構成される多開口撮像装置。
【請求項2】
前記光学画像安定化装置(22)は、前記複数の光学チャネルの1つとしての基準チャネルの撮像された部分視野画像を安定化するように構成され、
前記電子画像安定化装置(41)は、チャネル個別の方法での画像特徴の動きの評価により、前記基準チャネルとは異なる光学チャネル対してのみチャネル個別の方法で電子画像安定化を実行するように構成され、
前記多開口撮像装置は、前記基準チャネルとは異なるチャネルでのみ電子画像安定化のために構成されている請求項に記載の多開口撮像装置。
【請求項3】
前記光学画像安定化装置(22)は、前記光学チャネル(16a~16d)の基準チャネルの撮像された部分視野(72a~72d)の画像を安定させるように構成され、
前記電子画像安定化装置(41)は、前記基準チャネルとは異なる光学チャネル(16a~16h)に対してのみ互いに異なるチャネル個別の方法で電子画像安定化を実行するように構成され、
前記多開口撮像装置は、前記基準チャネルとは異なるチャネルでのみ電子画像安定化のために構成されている請求項1または請求項2に記載の多開口撮像装置。
【請求項4】
前記電子画像安定化装置(41)は、チャネル個別の撮像誤差(z)を修正するために、各光学チャネル(16a~16h)に対してチャネル個別の方法での画像特徴の動きの評価により、電子画像安定化を実行するように構成されている、請求項1~請求項のいずれか一項に記載の多開口撮像装置
【請求項5】
前記電子画像安定化装置(41)は、チャネル個別の撮像誤差(z)を修正するために、各光学チャネル(16a~16h)に対して互いに異なるチャネル個別の方法により、電子画像安定化を実行するように構成されている、請求項1~請求項のいずれか一項に記載の多開口撮像装置
【請求項6】
前記チャネル個別の電子画像安定化は、前記部分視野の画像における画像特徴の動作のチャネル個別の画像評価によって実行される、請求項または請求項に記載の多開口撮像装置
【請求項7】
前記電子画像安定化装置(41)は、前記光学チャネルにおける光学部品のそれぞれの焦点距離と、前記画像センサ(12)、前記アレイ(14)、および前記ビーム偏向手段(18)の間の前記相対運動との関数としての前記チャネル個別の撮像誤差を表す所定の機能的接続に従って、各チャネルにおいて前記チャネル個別の電子画像安定化を実行するように構成される、請求項~請求項のいずれか一項に記載の多開口撮像装置
【請求項8】
前記機能的接続は線形関数である、請求項に記載の多開口撮像装置
【請求項9】
前記光学画像安定化装置(22)は、前記ビーム偏向手段の回転運動に基づいて、前記画像軸の1つに沿って前記光学画像安定化を提供するように構成されており、前記機能的接続は、前記画像軸に沿った前記電子画像安定化の範囲に前記ビーム偏向手段(18)の回転運動の回転角度を関連付けする角度関数である、請求項または請求項に記載の多開口撮像装置
【請求項10】
前記電子画像安定化装置(41)は、第1の部分視野の第1の部分画像および第2の部分視野の第2の部分画像において、マッチング特徴を識別して、前記第1の部分画像および前記第2の部分画像における特徴の動きの比較に基づいて前記電子画像安定化を提供するように構成されている、請求項~請求項のいずれか一項に記載の多開口撮像装置
【請求項11】
前記電子画像安定化装置(41)は、第1の時点における第1の部分視野(72a~72d)の第1の部分画像と、第2の時点における前記第1の部分視野の前記第1の部分画像とが一致する特徴を識別して、前記第1の部分画像内における前記特徴の動きの比較に基づいて前記電子画像安定化を提供するように構成されている、請求項~請求項10のいずれか一項に記載の多開口撮像装置
【請求項12】
異なる光学チャネル(16a~16h)において光学部品(64a~64d)の焦点距離が異なっており、ビーム偏向手段(18)の動きによって前記画像センサ領域(24a~24h)上における前記投影の異なる変化が生じ、前記電子画像安定化装置(41)は、画像特徴の動きのチャネル個別の画像評価を含むチャネル個別の電子画像安定化により、前記投影における前記異なる変化間の差を補償するように構成される、請求項1~請求項11のいずれか一項に記載の多開口撮像装置
【請求項13】
特定の光学チャネル(16a)に関連付けられた光学部品(64a)と、前記特定の光学チャネル(16a)とは別個の光学チャネル(16b)に関連付けられた光学部品(64b)とが光学特性の値の10%以下の許容範囲で少なくとも1つの同じ光学特性を含むように同じ方法で形成されている、請求項1~請求項12のいずれか一項に記載の多開口撮像装置
【請求項14】
前記第1の相対運動(34、39a)は、前記画像センサ(12)と前記アレイ(14)との間の並進相対運動(34)、前記画像センサ(12)と前記ビーム偏向手段(18)との間の並進相対運動(39a)、および前記アレイ(14)と前記ビーム偏向手段(18)の間の並進相対運動(39a)のうちの少なくとも1つを含み、前記第2の相対運動(38、39b)は、前記ビーム偏向手段(18)の回転運動(38)、前記画像センサ(12)と前記アレイ(14)との間の並進相対運動、および前記アレイ(14)と前記ビーム偏向手段(18)との間の並進相対運動(39b)のうちの少なくとも1つを含む、請求項1~請求項13のいずれか一項に記載の多開口撮像装置
【請求項15】
前記光学画像安定化装置(22)は、少なくとも1つのアクチュエータ(36、37、42)を含むとともに、直方体(55)の側面にまたがる2つの平面(52a、52b)の間に少なくとも部分的に配置されるように配置されており、前記直方体の前記側面は、互いに平行に、また前記アレイ(14)に沿って光学チャネル(16a~16h)はアレイ(14)に配置され、および前記画像センサ(12)と前記光学部品(64a~64h)との間に配置された部分の前記光学チャネル(16a~16h)の前記光路の線の一部とのライン延長方向(35、65、z)に平行に配向されるとともに、最小容積を有しつつ前記画像センサ(12)および前記アレイ(14)を含む、
請求項1~請求項14のいずれか一項に記載の多開口撮像装置
【請求項16】
前記光学画像安定化装置(22)は、前記平面(52a、52b)の間の領域から前記光学画像安定化装置の延長部の50%以下だけ延びる、請求項15に記載の多開口撮像装置
【請求項17】
前記ビーム偏向手段(18)は、第1の主面(174a)と第2の主面(174b)とを備え、第1の動作状態において、前記第1の主面(174a)により前記光学チャネル(16a~16h)の光路を前記多開口撮像装置の第1の視線方向に向け、および第2の動作状態において、前記第2の主面(174b)により前記光学チャネル(16a~16h)の光路を前記多開口撮像装置の第2の視線方向に向けるように構成されている、請求項1~請求項16のいずれか一項に記載の多開口撮像装置
【請求項18】
前記第1の主面(174a)および前記第2の主面(174b)は、60°以下の角度(δ)で互いに傾斜するように配置されている、請求項17に記載の多開口撮像装置
【請求項19】
回転運動(38)によって前記第1の動作状態および前記第2の動作状態の間の切り替えを実行するように構成されており、前記回転運動中において、前記第1の主面の第1の表面法線(51a)および前記第2の主面の第2表面法線(51b)は、画像センサ(12)に向かう方向に対して少なくとも10°の角度(γ1、γ2)を有している、請求項17または請求項18に記載の多開口撮像装置
【請求項20】
センサからセンサ信号を受信し、前記多開口撮像装置と対象物との相対運動に相関する情報に関して前記センサ信号を評価するとともに、前記情報を使用して前記光学画像安定化装置(22)または前記電子画像安定化装置(41)の制御を実行するように構成されている、請求項1~請求項19のいずれか一項に記載の多開口撮像装置
【請求項21】
請求項1~請求項20のいずれか一項に記載の第1および第2の多開口撮像装置(10、10’、20、30、40)を有し、
前記全視野(70)を、少なくとも部分的に立体的に捕捉するように構成された、第1および第2の多開口撮像装置を有する撮像システム(60、80)
【請求項22】
全視野を捕捉するように構成された多開口撮像装置(10、10’、20、30、40)を提供する方法(1100)であって、
画像センサを提供する(1110)ことと、
各光学チャネルが前記画像センサの画像センサ領域に前記全視野の部分視野を投影するための光学部品を含むようにして光学チャネルのアレイを提供する(1120)ことと、
前記光学チャネルの光路を偏向するためのビーム偏向手段を配置する(1130)ことと、
前記画像センサ、前記アレイおよび前記ビーム偏向手段間の第1の相対運動を生成することにより、第1の画像軸に沿った揺れに対する光学画像安定化を、前記画像センサ、前記アレイおよび前記ビーム偏向手段間の第2の相対運動を生成することにより第2の垂直画像軸に沿った揺れに対する光学画像安定化をもたらすために光学画像安定化装置を配置する(1140)ことと、
前記第1の画像軸および前記第2の垂直画像軸に沿っ電子画像安定化のための電子画像安定化装置を配置する(1150)ことと、を含み、
前記光学画像安定化装置(22)は、第1の部分視野の画像に対する前記光学画像安定化が可能な限り正確になるように前記光学画像安定化を実行するように構成されており、
前記電子画像安定化装置(41)は、前記光学画像安定化装置により前記光学画像安定化が実行されたことにより得られた画像に基づいて第2の部分視野の画像を安定化するように構成される方法
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、多開口撮像装置、撮像システム、および多開口撮像装置を提供する方法に関する。本発明はさらに、線形チャネル配置および小さいまたは非常に小さいサイズを有する多開口撮像システムに関する。
【背景技術】
【0002】
従来のカメラには、物体視野全体を撮像する撮像チャネルがある。
カメラには、光学式手振れ補正機能を実現するために、対物レンズとイメージセンサ間の相対的な横方向の2次元変位を可能にする適応コンポーネントがある。
【0003】
線形チャネル配置を有する多開口撮像システムは、それぞれが物体の一部のみを捕捉し、偏向ミラーを含むいくつかの撮像チャネルで構成されている。
コンパクトな実現を可能にする、オブジェクト領域または視野のマルチチャネルキャプチャのコンセプトを持つことが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、本発明の目的は、コンパクトな実現を可能にする、すなわち小さな設置スペースを有する、高画質の多開口撮像装置および多開口撮像装置を提供する方法を提供することにある。
【課題を解決するための手段】
【0005】
この目的は、独立特許請求項の主題によって解決される。
本発明の1つの発見は、上記の目的は、多開口撮像装置により捕捉された画像の光学画像安定化が、画像センサ、アレイ間の相対的な動きにより得られるという事実により解決されることを認識したことであり、既存のコンポーネントを使用できるように、光学チャネルとビーム偏向手段とを追加することより、コンパクトな構造が可能になり、高画質が実現する。
光学チャネル間の偏差は、電子画像安定化装置によってさらにバランスが取られるため、チャネル全体の光学画像安定化は、光学チャネル間で異なる電子補正によって改善される。
【0006】
一実施形態によれば、多開口撮像装置は、画像センサ、光学チャネルのアレイ、ビーム偏向手段、および光学画像安定化装置を含む。
光学チャネルのアレイの各光学チャネルは、画像センサの画像センサ領域に全視野の部分視野を投影するための光学部品を含む。
【0007】
ビーム偏向手段は、光学チャネルの光路を偏向するように構成される。
光学画像安定化装置は、画像センサ、アレイ、ビーム偏向手段間の第1の相対移動を生成することにより、第1の画像軸に沿った画像安定化を提供し、画像センサ、アレイ、ビーム偏向手段間の第2の相対移動を生成することにより、第2の画像軸に沿った画像安定化を提供する。
多開口撮像装置は、第1の画像軸および第2の画像軸に沿ったアレイの第1の光学チャネルの画像安定化のための電子画像安定化装置を含む。
【0008】
さらなる実施形態は、撮像システムおよび多開口撮像装置を提供する方法に関する。
さらに有利な実装は、従属特許請求項の主題である。
【0009】
本発明の好ましい実施形態は、添付の図面を参照して続いて説明される。
【図面の簡単な説明】
【0010】
図1a】一実施形態による多開口撮像装置の概略図を示す。
図1b】アクチュエータが画像センサに接続されている、一実施形態による多開口撮像装置の概略図を示す。
図2a】実施形態によるさらなる多開口撮像装置の概略側面断面図を示す。
図2b図2aの多開口撮像装置の概略側面断面図を示す。
図3】一実施形態による、ビーム偏向手段がさまざまなビーム偏向要素を含む、多開口撮像装置の概略上面図を示す。
図4a】一実施形態による、単一ライン方式で配置された光学チャネルを有する多開口撮像装置の概略斜視図を示す。
図4b】例えば、本明細書に記載の多開口撮像装置で捕捉され得るような、実施形態による全視野の概略図を示す。
図4c図4aの多開口撮像装置の概略斜視図を示し、光学画像安定化と電子画像安定化の組み合わせの有利な実施を説明する基礎として使用される。
図5a】一実施形態によるファセットのアレイとして形成されるビーム偏向手段の概略図を示す。
図5b】一実施形態によるビーム偏向手段の概略図を示し、図5aの図と比較して、ファセットは異なるソートを含む。
図6a】実施形態によるビーム偏向手段の有利な実装を示す図である。
図6b】実施形態によるビーム偏向手段の有利な実装を示す図である。
図6c】実施形態によるビーム偏向手段の有利な実装を示す図である。
図6d】実施形態によるビーム偏向手段の有利な実装を示す図である。
図6e】実施形態によるビーム偏向手段の有利な実装を示す図である。
図6f】実施形態によるビーム偏向手段の有利な実装を示す図である。
図7】一実施形態による撮像システムの概略斜視図を示す。
図8】一実施形態による、2つの多開口撮像装置を含む携帯機器の概略斜視図を示す。
図9】相互画像センサ、相互アレイおよび相互ビーム偏向ユニットを有する第1の多開口撮像装置および第2の多開口撮像装置を含む概略構造を示す図である。
図10a】一実施形態による電子画像安定化装置の実装の概略図を示す。
図10b】一実施形態による電子画像安定化装置の実装の概略図を示す。
図10c】一実施形態による電子画像安定化装置の実装の概略図を示す。
図10d】一実施形態による電子画像安定化装置の実装の概略図を示す。
図10e】一実施形態による電子画像安定化装置の実装の概略図を示す。
図11】多開口撮像装置を提供する実施形態による方法の概略図を示す。
【発明を実施するための形態】
【0011】
本発明の実施形態を、図面を参照して詳細に説明する前に、同一の、機能的に同一の、および機能的に同一の要素、目的および/または構造が異なる参照番号で提供されるから、異なる実施形態におけるこれらの要素の説明は、交換可能であり、および/または相互に適用可能であることに留意されたい。
【0012】
図1aは、一実施形態による多開口撮像装置10の概略図を示す。
多開口撮像装置10は、画像センサ12、光学チャネル16a~16hのアレイ14、ビーム偏向手段18、および光学画像安定化装置22を備えている。
各光学チャネル16a~16hは、画像センサ12の画像センサ領域24a~24hに全視野の部分視野を投影するための光学系64a~64hを含む。
【0013】
光学チャネルは、光路の進行として理解できる。
光路は、例えば散乱または集中によって、アレイ14に配置された光学系64a~64hの影響を受けてもよい。
【0014】
個々の光学チャネルはそれぞれ完全な結像光学系を形成し、それぞれ少なくとも1つの光学部品、または屈折、回折またはハイブリッドレンズなどの光学系を含み、多開口撮像装置で完全に取り込まれた物体全体の部分を結像できる。
これは、光学系64a~64hの1つ、いくつかまたはすべてが光学素子の組み合わせであってもよいことを意味する。
開口絞りは、光学チャネルの1つ、いくつか、またはすべてに対して配置されてもよい。
【0015】
例えば、画像センサ領域24a~24hはそれぞれ、対応する画素アレイを含むチップで形成されてもよく、画像センサ領域は、相互回路基板または相互フレックスボードなどの相互基盤または相互回路キャリアに搭載されてもよい。
あるいは、画像センサ領域24a~24hは、それぞれ、画像センサ領域24a~24hを横切って連続的に延びる相互画素アレイの一部から形成されてもよく、相互画素アレイは、例えば、単一のチップ上に形成される。
【0016】
例えば、画像センサ領域24a~24hにおいて、相互の画素アレイの画素値のみが読み出される。
これらの代替案のさまざまな組み合わせも明らかに可能であり、例えば、2つ以上のチャネル用のチップと、他のチャネル用のさらなるチップなどが存在する。
【0017】
例えば、画像センサ12のいくつかのチップの場合、これらは、1つまたはいくつかの回路基板または回路キャリアに、例えば、すべて一緒にまたはグループなどで取り付けることができる。
さらに、複数の個別の画素フィールドを含む単一のチップを使用する解決策も可能である。
別の実施形態は、個々の画素フィールドを順に含むいくつかのチップを含む。
【0018】
ビーム偏向手段18は、光学チャネル16a~16hの光路26を偏向するように構成される。
画像安定化装置22は、画像センサ12、アレイ14および偏向手段18の間の相対運動に基づいて、第1の画像軸28および第2の画像軸32に沿った光学画像安定化を可能にするように構成される。
第1の画像軸28および第2の画像軸32は、画像センサ領域24a~24hおよび/または画像センサ12の配置または向きによって影響を受ける場合がある。
【0019】
一実施形態によれば、画像軸28および画像軸32は、互いに垂直に配置され、および/または画像センサ領域24a~24dの画素の延在方向と一致する。
代替的または追加的に、画像軸28および画像軸32は、部分視野または全視野がサンプリングまたはキャプチャされる方向を示してもよい。
簡単に言えば、画像軸28および32は、多開口撮像装置10によって捕捉された画像におけるそれぞれ第1の方向および第2の方向であり得る。例えば、画像軸28および32は、互いに対して≠0°の角度を備え、例えば、空間内で同じものが互いに垂直に配置される。
【0020】
光学画像安定化は、部分的な視野または全視野が取り込まれる取込処理中に、視野が取り込まれる物体領域に対して多開口撮像装置10が移動する場合に有利であり得る。

光学画像安定化装置22は、画像の揺れを低減または防止するために、この動きを少なくとも部分的に打ち消すように構成されてもよい。
【0021】
画像軸28に沿った光学画像安定化のために、光学画像安定化装置22は、画像センサ12、アレイ14、およびビーム偏向手段18の間に第1の相対運動34を生成するように構成され得る。
画像軸32に沿った光学画像安定化のために、光学画像安定化装置22は、画像センサ12、アレイ14、およびビーム偏向手段18の間に第2の相対運動を生成するように構成される。
【0022】
第1の相対運動34に対して、光学画像安定化装置22は、アレイ14および/または画像センサ12を画像軸28に沿って変位させることにより相対運動34を生成するアクチュエータ36および/またはアクチュエータ37を含み得る。
言い換えれば、アクチュエータ36は、同じようにアレイ14を並進移動または移動させるように示されているが、さらなる実施形態によると、アクチュエータ36は、代替的または追加的に画像センサ12に接続され、画像センサ12をアレイ14に対して移動させる。
【0023】
代替的または追加的に、光学画像安定化装置は、画像軸28に沿ってビーム偏向手段18の並進運動39aを生成するように構成されたアクチュエータ42を含み得る。
この場合、光学画像安定化装置22は、画像センサ12、アレイ14、およびビーム偏向手段18の間に相対運動34が生成されるように、アクチュエータ36、37および/または42の運動を実行するように構成される。
このことは、図1aでは相対運動34がアレイ14に示されているが、代替的または追加的に、他の構成要素を動かすことができることを意味する。
【0024】
相対運動34は、ライン延長方向35に平行に、光路26に垂直に実行されてもよい。
しかしながら、例えば、さらなる成分に関して画像センサ12の電気的相互接続に可能な限り少ない力を加えるか、または全く加えないために、画像センサ12に対して並進的に移動するアレイ14を設定することが有利な場合がある。
【0025】
第2の相対運動を生成するために、光学画像安定化装置22は、ビーム偏向手段18の回転運動38を生成または可能にするように、および/または画像センサ12とアレイ14との間に画像軸32に沿った並進的な相対運動を提供し、および/またはアレイ14とビーム偏向手段18との間に並進的な相対運動を提供するように構成されてもよく、アクチュエータ36、37および/または42は、この目的のために配置されてもよい。
【0026】
回転運動38を生成するために、光学画像安定化装置22は、例えば、回転運動38を生成するように構成されたアクチュエータ42を含む場合がある。
あるいは、光学画像安定化装置22は、アクチュエータ42を用いて画像軸32に沿った並進運動39bを生成するように構成されてもよい。
【0027】
第1の相対運動34および/または39aに基づいて、それに平行な画像方向に沿って、例えば画像軸28に沿ってまたは反対に、光学画像安定化を得ることができる。
第2の相対運動38および/または39bに基づいて、画像センサ12の主側面内の回転運動38の回転軸44に垂直に配置された画像方向に沿って、例えば画像軸32に沿って、光学画像安定化を得ることができる。
【0028】
主側面は、他の側面と比較して大きなまたは最大の寸法を含む側面であると理解されてもよい。
代替的または追加的に、図3に関連して説明したような、多開口撮像装置の焦点を変更するように構成された集束手段を配置してもよい。
【0029】
光学画像安定化を得るために、並進的な相対運動として第1の相対運動および第2の相対運動を制御するように光学安定化装置22を実装することは可能であるが、回転運動38として第2の相対運動を実装することが有利な場合があるため、第2の画像軸32に沿ったコンポーネントの並進運動は回避され得る。
この方向は、いくつかの実施形態によれば、可能な限り小さく保たれるべき多開口撮像装置10の厚さ方向と平行であってもよい。
そのような目的は、回転運動によって達成され得る。
【0030】
簡単に言えば、相対運動34に垂直な並進運動の代わりに、回転運動38を使用して、第2の画像軸32に沿った光学画像安定化を得ることができる。
これにより、相対運動34に垂直な並進相対運動を可能にするための設置スペースを節約することができる。
【0031】
例えば、並進相対運動は、装置が薄い厚さで、すなわち、薄い方法で実装され得るように、装置の厚さ方向に対して垂直に配置され得る。これらは、フラットハウジングで実装できるため、モバイルデバイスの分野で特に有利である。
【0032】
多開口撮像装置10は、画像センサ領域24a~24hに投影される部分画像を電子的に安定させるように、すなわち画像データを操作するように構成された電子画像安定化装置41を備えている。
この目的のために、電子振動低減(e‐VR)、Coolpix S4、Anti-Shake-DSPおよび/またはAdvanced Shake Reduction(ASR)など、さまざまな方法を個別にまたは組み合わせて用いることができる。
電子画像安定化装置41は、アレイ14の第1の光学チャネル16a~16hの画像センサ領域24a~24hの第1の部分画像を第1の程度まで安定させるように構成される。
【0033】
さらに、電子画像安定化装置41は、アレイ14の第2の光学チャネル16a~16hの画像センサ領域24a~24hの第2の部分画像を、例えばチャネル個別の方法により、第1の範囲とは異なる第2の範囲にさらに安定させるように構成され得る。
この場合、範囲は、第1の画像軸28および第2の画像軸32に沿って実行される画像補正に関するものであり、この場合、画像軸などの周りの回転も含まれる。
【0034】
実施において、電子画像安定化装置41は、各光学チャネルに対して、すなわち、画像センサ領域24a~24hの部分画像のそれぞれに対して、チャネル個別に電子画像安定化を実行するように構成される。
これにより、第1および第2の光学チャネル16a~16hについて、異なる収差またはチャネル固有の収差さえも補正することができる。
【0035】
光学チャネルの光学部品64a~64hは、それぞれ異なる光学特性を備えてもよい。
例えば、異なる公差を製造することにより異なる光学特性が得られるため、光学系64a~64hは、焦点距離、視野角、光学直径などの1つまたはいくつかの光学特性に関して、公差範囲内で互いに最大±10%、最大±5%、または最大±3%異なる。
【0036】
製造に関連する方法において異なる光学部品64a~64hの光学特性の文脈では、画像センサ12、それぞれの光学チャネルの光学部品64a~64hおよびビーム偏向手段18の間の相対運動による光学画像安定化により、画像センサ領域24a~24d内の画像が異なる方法で変化するという事実がもたらされることが認識された。
これは、少なくとも部分的には、すべての光学チャネルに対して同じ方法で、つまりチャネル全体で実行される光学画像安定化を達成するための機械的動きにより、光学部品64a~64hを介して光路の異なる変化をもたらすという事実による。
【0037】
ここで、異なる光学特性は、画像センサ領域24a~24hの画像に異なる影響を及ぼし、チャネル個別にさえ影響を与える。
換言すれば、ビーム偏向ユニットおよび/またはアレイおよび/またはすべてのチャネルに同じように影響する画像センサの間の相対運動におけるチャネル個別の異なる画像変位は、特にチャネルの異なる焦点距離に起因する。
このことは、光学画像安定化と組み合わされた電子画像安定化により低減、すなわち、少なくとも部分的にバランスが取れるか、または補償され場合がある。
これは、焦点距離の光学特性に基づいて強調される。
【0038】
同じ合計視野に向けられた光学系の光学焦点距離の2つの異なる値により、光学画像安定化に照らした相対的な動きは、光軸の視野軸および/または視野方向が同様に変更される。
しかしながら、光学系64a~64hの焦点距離が異なるため、画像センサ領域24a~24hの部分画像は異なって移動し、部分画像を結合するとき、すなわちステッチを実行するとき、高い計算努力または収差さえももたらす場合もある。
【0039】
例えば、アレイ14は、光学チャネル16a~16hが延びるキャリア47を含んでもよい。
このために、例えば、キャリア47は不透明になるように構成されてもよく、光学チャネル16a~16h用の透明な領域を含んでもよい。
【0040】
透明領域の内側または透明領域および/または透明領域の端部領域に、光学チャネル16a~16hの光学系64a~64hを配置することができる。
代替的または追加的に、キャリア47は透明になるように形成されてもよく、例えば、ポリマー材料および/またはガラス材料を含んでもよい。
画像センサのそれぞれの画像センサ領域24a~24h上の全視野のそれぞれの部分視野の投影に影響を与える光学系(レンズ)64a~64hは、キャリア47の表面に配置することができる。
【0041】
例えば、アクチュエータ36および/または42は、空気圧アクチュエータ、油圧アクチュエータ、圧電アクチュエータ、直流モータ、ステッピングモータ、熱作動アクチュエータ、静電アクチュエータ、電歪アクチュエータ、磁歪アクチュエータまたは可動コイルドライブとして形成されてもよい。
【0042】
例えば、ビーム偏向手段18は、少なくとも領域で反射するように形成されてもよい。
例えば、ビーム偏向手段18は、偏向された光路が異なる角度を含み、全視野の異なる部分視野を捕捉するように光路26を偏向するように構成されたビュー領域またはビーム偏向要素46a~46dを含んでもよい。
異なる角度は、ビーム偏向手段18および/または光学チャネル16a~16hの光学系64a~64hによって生成され得る。
【0043】
例えば、領域46a~46dは、ファセットミラーのファセットとして形成され得る。
ファセットは、アレイ14に対して異なる傾斜を備えてもよい。
【0044】
これにより、異なるように配置された部分視野に向けて光路26を偏向、影響、駆動、および/または散乱させることができる。
あるいは、ビーム偏向手段18は、片側または両側で反射するように構成された表面、例えば鏡として構成されてもよい。
この表面は、平面になるように、または部分または平面が連続的に湾曲するように、および/または部分または平面が不連続に湾曲するように形成されてもよい。
光路26の偏向は、代替的または追加的に、光学チャネル16a~16hの光学系64a~64hによって得ることができる。
【0045】
言い換えれば、光学画像安定化のための相対的な動きは、マルチ開口カメラのすべてのチャネルで同じ機械的偏向を引き起こす。
【0046】
ただし、光学画像安定化の実際の作用メカニズムを定義する取得画像の変位は、各チャネルの結像光学系の焦点距離にさらに依存する。
したがって、同じ方法ですべてのチャネルに対して全体的に実行される光学画像安定化に加えて、チャネル個別の電子画像安定化が導入されることが認識されている。
【0047】
ビーム偏向手段は、視線方向の偏向と光学画像安定化との両方に用いられる場合がある。
ビーム偏向手段は、すべてのチャネルの領域を横切る平面であってもよく、連続または不連続プロファイルを含んでもよく、および/または部分的に平面、すなわちファセットであってもよく、個々の連続または不連続プロファイル間の遷移は、反射率を低減するための局所マスキングをさらに含んでもよく、運動によって誘発されるおよび/または熱的に誘発される収差が最小限になるように、収差を低減し、および/または構造の硬化を可能にするために機械的構造を含んでもよい。
【0048】
ビーム偏向手段の第1の位置と第2の位置との間の切り替えは、並進的に回転軸44に沿って起こり得る。
回転軸44に沿った移動は、連続的または非連続的な方法、例えば、双安定または多安定な方法で実行されてもよい。
このことは、例えば、ビーム偏向手段18が移動する位置離散位置として理解することができる。
【0049】
例えば、単安定、双安定、または多安定の位置は、アクチュエータ42または別のアクチュエータをステッピングモータとして実装することにより得られてもよい。
例えば、ビーム偏向手段18が2つの位置の間で前後に移動するように構成されている場合、例えば、位置の1つはアクチュエータのアイドル位置であってもよく、またはそれに基づいてもよい。
【0050】
例えば、アクチュエータは、それぞれの他の位置に到達すると反力を加えるばね力に関して並進運動を実行するように構成され、アクチュエータの力を除去するとビーム偏向手段をその開始位置に戻す。
これは、局所的な力の最小値を含まない力線図の領域でも安定した位置が得られることを意味する。例えば、これは最大の力である場合がある。
【0051】
代替的または追加的に、ビーム偏向手段18と隣接するハウジングまたは基板との間の磁力または機械的力に基づいて、安定した位置を得ることができる。
これは、アクチュエータ42または他のアクチュエータが、ビーム偏向手段を双安定位置または多安定位置に移動させるために、ビーム偏向手段を並進移動するように構成され得ることを意味する。
代替的に、位置の双安定配置のために単純な機械的停止が提供されてもよく、それは、定義された端位置で位置切り替えが行われる2つの端位置を定義する。
【0052】
図1bは、一実施形態による多開口撮像装置10’の概略図を示す。多開口撮像装置10に関して、多開口撮像装置10’は、アクチュエータ36が画像センサ12に機械的に接続され、画像センサ12をアレイ14に対して移動させるように構成される点で修正される。
相対運動34は、ライン延長方向35に平行に、光路26に垂直に実行されてもよい。
【0053】
図2aは、一実施形態による多開口撮像装置20の概略側面断面図を示す。
例えば、多開口撮像装置20は、アクチュエータ36および/または42が、直方体55の側面53aおよび53bが広がる2つの平面52aおよび平面52bの間に少なくとも部分的に配置されるように、アクチュエータ36および/または42が配置されるように、多開口撮像装置10を修正してもよい。
【0054】
直方体55の側面53aおよび53bは、互いに平行に、およびアレイのライン延長方向および画像センサとビーム偏向手段との間の光学チャネルの光路の一部の方向に平行に向けられてもよい。
直方体55の体積は最小限であり、画像センサ12、アレイ14、およびビーム偏向手段18、ならびにそれらの動作上の動きを依然として含む。
【0055】
アレイ14の光学チャネルは、各光学チャネルに対して同じになるように形成されてもよいし、異なっていてもよい光学系64を含む。
多開口撮像装置の容積は、平面52aと平面52bとの間の低いまたは最小の設置スペースを含み得る。
多開口撮像装置の設置スペースは、平面52aおよび/または52bの側面または延長方向に沿って大きくてもよいし、任意に大きくてもよい。
【0056】
例えば、仮想直方体の体積は、画像センサ12、単一ラインアレイ14、およびビーム偏向手段の配置によって影響を受け、本明細書に記載の実施形態によるこれらの構成要素の配置は、平面に垂直な方向に沿ったこれらのコンポーネントの設置スペース、したがって、平面52aと平面52bとの間の距離が低くなるか最小になるように実行され得る。
特に、携帯電話やタブレットなどのモバイルアプリケーションの分野では、多開口撮像装置を可能な限り薄く実装することが望まれる。
【0057】
構成要素の他の配置に関して、仮想直方体の他の側面の体積および/または距離を増加させることができる。
仮想直方体55は点線で示されている。
平面52aおよび52bは、仮想直方体55の2つの側面を含むことができ、またはそれによって広がることができる。
多開口撮像装置20の厚さ方向57は、平面52aおよび/または52bに垂直であり、および/またはy方向に平行であるように配置され得る。
【0058】
画像センサ12、アレイ14、およびビーム偏向手段18は、厚さ方向57に沿った平面52aと52bとの間の垂直距離が最小になるように配置することができ、これは単純化の理由から直方体の高さと呼ぶことができるが、制限効果はなく、体積の小型化、すなわち直方体の他の寸法は省略されてもよい。
方向57に沿った直方体55の膨張は最小であり、撮像チャネルの光学部品、すなわちアレイ14、画像センサ12およびビーム偏向手段18の方向57に沿った膨張により本質的に事前に定義され得る。
【0059】
多開口撮像装置の容積は、平面52aと平面52bとの間の低いまたは最小の設置スペースを含み得る。
多開口撮像装置の設置スペースは、平面52aおよび/または52bの側面または延長方向に沿って大きくてもよいし、任意に大きくてもよい。
【0060】
例えば、仮想直方体の体積は、画像センサ12、単一ラインアレイ14、およびビーム偏向手段の配置によって影響を受け、本明細書に記載の実施形態によるこれらの構成要素の配置は、平面に垂直な方向に沿ったこれらのコンポーネントの設置スペース、したがって、平面52aと平面52bとの間の距離が低くなるか最小になるように実行され得る。
構成要素の他の配置に関して、仮想直方体の他の側面の体積および/または距離を増加させることができる。
【0061】
多開口撮像装置のアクチュエータ、例えば、アクチュエータ36および/または42は、方向57に平行な寸法または拡張部を備えてもよい。
アクチュエータの寸法の50%以下、30%以下、または10%以下の割合は、平面52aと52bの間の領域から始まり、平面52aおよび/または52bを超えて延びてもよいし、または上記領域外に延びてもよい。
これは、アクチュエータが平面52aおよび/または平面52bをわずかに超えて延びることを意味する。
【0062】
実施形態によれば、アクチュエータは、平面52aおよび平面52bを越えて延びない。
この場合、厚さ方向または方向57に沿った多開口撮像装置10の拡張がアクチュエータによって増加しないことが有利である。
【0063】
画像安定化装置22および/またはアクチュエータ36および/または42は、厚さ方向57に平行な寸法または拡張部を含み得る。
寸法の50%以下、30%以下、または10%以下の割合は、平面52aと平面52bの間の領域から始まり、平面52aおよび/または平面52bを超えて延びるか、または例えば、アクチュエータ42のオフセット配置を示すアクチュエータ42’に対して示されるような領域外に延びてもよい。
このことは、アクチュエータ36および/または42が、わずかな方法でしか平面52aおよび/または平面52bを超えて延びないことを意味する。
【0064】
実施形態によれば、アクチュエータ36および/または42は、平面52aおよび平面52bを越えて延びない。
この場合、厚さ方向57に沿った多開口撮像装置20の拡張は、アクチュエータ36および/または42によって増大しないことが有利である。
【0065】
より明確にするために、本明細書では上、下、左、右、前または後ろなどの用語を使用しているが、これらは限定的な効果を持つことを意図していない。
これらの用語は、空間内の回転または傾斜に基づいて相互に交換可能であることが理解される。
例えば、画像センサ12からビーム偏向手段18に向かって、x方向は前方または前方であると理解することができる。
例えば、正のy方向は上にあると理解される場合がある。
画像センサ12、アレイ14、および/またはビーム偏向手段18から離れたまたは離間した正または負のz方向に沿った領域は、それぞれの構成要素の隣にあると理解することができる。
【0066】
簡単に言えば、画像安定化装置は、少なくとも1つのアクチュエータ36および/または42を含み得る。
少なくとも1つのアクチュエータ36および/または42は、それぞれ平面48内または平面52aと平面52bとの間に配置されてもよい。
【0067】
言い換えれば、アクチュエータ36および/または42は、画像センサ12、アレイ14および/またはビーム偏向手段18の前、後ろまたは隣に配置されてもよい。
実施形態によれば、アクチュエータ36および42は、平面52aと52bとの間の領域の外側に配置され、最大範囲は50%、30%または10%である。
これは、平面48に垂直な厚さ方向57に沿った少なくとも1つのアクチュエータ36および/または画像安定化装置22が、平面、または最大寸法52a~52bの間の領域外に、厚さ方向57に沿った画像安定化装置のアクチュエータ36および/または42の寸法の50%以下だけ延びることを意味する。
これにより、厚さ方向57に沿った多開口撮像装置20の小寸法化が可能になる。
【0068】
図2bは、多開口撮像装置20の概略側面断面図を示し、光路26および26’は、多開口撮像装置20の異なる視野方向を示す。
多開口撮像装置は、ビーム偏向手段18の異なる主面が交互にアレイ14に面して配置されるように、角度αだけビーム偏向手段の傾斜を変更するように構成されてもよい。
【0069】
多開口撮像装置20は、回転軸44の周りでビーム偏向手段18を傾けるように構成されたアクチュエータを含み得る。
例えば、アクチュエータは、ビーム偏向手段18を、アレイ14の光学チャネルの光路26を正のy方向に偏向させる第1の位置にビーム偏向手段18を移動させるように構成され得る。
このために、第1の位置では、ビーム偏向手段18は、例えば、>0°および<90°、少なくとも10°かつ80°以下、または少なくとも30°かつ50°以下、例えば45°、の角度αを含み得る。
【0070】
アクチュエータは、光路26’およびビーム偏向手段18の点線図によって示されているように、ビーム偏向手段18がアレイ14の光学チャネルの光路を負のy方向に偏向するように、回転軸44の周りの第2の位置でビーム偏向手段を偏向するように構成されてもよい。
例えば、ビーム偏向手段18は、第1の位置で第1の光路26または光路26’がそれぞれ偏向または反射されるように、両側で反射するように構成されてもよい。
【0071】
有利な実施形態によれば、多開口撮像装置20は、2つの位置の間で、補助側がアレイ14に関連付けられるが、主面がアレイ14に完全に面することは回避される向きで、第1の位置と第2の位置との間でスイッチを実行するように構成されている。
これは、回転運動による第1および第2の動作状態または位置の間の切り替え中に、第1の主側の表面法線51aおよび第2の主側の第2の表面法線51bが各時点において、画像センサに向かう方向に対して少なくとも10°の角度γおよびγ、および該当する場合は画像センサ12の表面法線に平行な角度を含むことも理解され得る。
このようにして、角度γおよびγの一方が0°または180°であることを回避することができ、これは、厚さ方向に沿ったビーム偏向手段18の大きなまたはほぼ最大の広がりを示し得る。
【0072】
図3は、一実施形態による多開口撮像装置30の概略上面図を示す。
多開口撮像装置10および/または20と比較して、多開口撮像装置30は、多開口撮像装置30が多開口撮像装置30の焦点を変更するように構成された集束手段54を含むように修正され得る。
これは、距離56’によって示されるように、画像センサ12とアレイ14との間の可変距離56に基づいて実行され得る。
【0073】
集束手段54は、作動時に、変形されるように、および/または画像センサ12とアレイ14との間に相対運動を提供するように構成されるアクチュエータ58を含み得る。
これは、アクチュエータ58が画像センサ12に対して正および/または負のx方向に沿ってアレイ14を変位させるように構成される多開口撮像装置30について例示的に示される。
【0074】
例えば、アレイ14は、アクチュエータ58の作動に基づいて、正または負のx方向に沿って移動し、本質的に正および/または負のz方向に沿って動かないままであるように片側で支持され得る。
例えば、アクチュエータ36の作動に基づいて、光学画像安定化のための正および/または負のz方向に沿った追加の動きが得られ得る。
【0075】
さらなる実施形態によれば、アクチュエータ58および/または集束手段54は、アレイ14に対する画像センサ12の並進変位に基づいて、x軸に沿った画像センサ12とアレイ14との間の相対運動を得るように構成される。
さらなる実施形態によれば、画像センサ12およびアレイ14を移動させることができる。
さらなる実施形態によれば、集束手段54は、少なくとも1つのさらなるアクチュエータを備えてもよい。
【0076】
例えば、第1のアクチュエータおよび第2のアクチュエータは、アレイ14の2つの対向する領域に配置されるから、アクチュエータの作動時には、可動アレイ14の(代替的にまたは付加的に画像センサ12に対する)支持の必要性が低減される。
さらに、アクチュエータ58またはさらなるアクチュエータは、単一ラインアレイ14とビーム偏向手段18との間の距離を本質的に維持するように、または追加のアクチュエータを使用しない場合でも、単一ラインアレイ14のような範囲まで、偏向手段18を正確に一定に、すなわちビームを移動するように構成され得る。
【0077】
集束手段54は、画像センサ12の表面法線に沿った画像センサ12とアレイ14との間の相対的並進運動(集束運動)によるオートフォーカス機能を可能にするように構成され得る。
この場合、ビーム偏向手段18は、アクチュエータ42またはさらなるアクチュエータの対応する建設的実施または使用により、集束運動と同時に移動することができる。
これは、アレイ14とビーム偏向手段との間の距離が変わらないままであること、および/またはビーム偏向手段18が集束運動と同じまたは同等の程度に同時または時間オフセット方式で移動し、したがって、少なくとも、多開口撮像装置によって視野をキャプチャする時点では、距離は、フォーカスを変更する前の距離と比較して変化しないことを意味する。
【0078】
これは、ビーム偏向手段18がアクチュエータ42と一緒に、すなわち同時に移動し、アレイ14とビーム偏向手段との間の距離が一定のままであるか、または補償されるように実行され得る。
これは、アレイ14とビーム偏向手段18との間の距離が変化しないままであり得ること、および/またはビーム偏向手段18が、同時または時間オフセット方式で、集束運動と同じまたは匹敵する程度に動かされてもよく、したがって、少なくとも多開口撮像装置によって視野を捕捉する時点で、アレイ14とビーム偏向手段18との間の距離は、焦点を変更する前の距離と比較して変化しないことを意味する。
あるいは、ビーム偏向手段18は、アイドル状態であってもよく、オートフォーカス動作から除外されてもよい。
【0079】
例えば、アクチュエータ58は、曲げ棒(例えば、バイモルフ、トリモルフなど)などの圧電アクチュエータとして実装されてもよい。
代替的または追加的に、集束手段54は、可動コイルドライブ、空気圧アクチュエータ、油圧アクチュエータ、直流モータ、ステッピングモータ、熱的に作動するアクチュエータまたは曲げバー、静電アクチュエータ、電歪および/または磁歪ドライブを含んでもよい。
【0080】
画像安定化装置および平面48および/または平面52aと52bとの間の領域におけるその配置に関連して説明したように、集束手段54の少なくとも1つのアクチュエータ58は、平面52aおよび平面52bの間に少なくとも部分的に配置され得る。
代替的または追加的に、少なくとも1つのアクチュエータ58は、画像センサ12、アレイ14およびビーム偏向手段18が配置される平面に配置されてもよい。
例えば、画像センサ12、アレイ14、およびビーム偏向手段18が配置される平面48に垂直な厚さ方向57に沿った集束手段54のアクチュエータ58は、平面52aおよび52bの間の領域から厚さ方向57に沿った集束手段54のアクチュエータ58の寸法の50%以下延びることができる。
【0081】
実施形態によれば、アクチュエータは、平面52aと52bとの間の領域から30%以下だけ延びている。
別の実施形態によれば、アクチュエータ54は、10%以下だけ領域から伸びるか、または領域の完全に内側に位置する。これは、厚さ方向57に沿って、集束手段54のための追加の設置スペースの必要性がないことを意味しており、有利である。
例えば、アレイ14が、そこに配置されたレンズ64a~64dを有する透明基板(キャリア)62を含む場合、アレイ14の寸法、および該当する場合、厚さ方向57に沿った多開口撮像装置30の寸法は小さくてもよいし、または最小であってもよい。
【0082】
図2aを参照すると、これは、直方体55が方向57に沿って小さな厚さを含むこと、または厚さが基板62の影響を受けないことを示す場合がある。
基板62は、個々の光学チャネルでの画像化に使用される光路を通過させることができる。
【0083】
多開口撮像装置の光学チャネルは、ビーム偏向手段18と画像センサ12との間で基板62を横断してもよい。
例えば、レンズ64a~64dは液体レンズであってもよく、すなわち、アクチュエータはレンズ64a~64dを駆動するように構成されてもよい。液体レンズは、屈折力、したがって局所長さと画像位置とを調整し、チャネルごとに個別に変更するように構成できる。
【0084】
図4aは、一実施形態による多開口撮像装置40の概略斜視図を示す。
例えば、多開口撮像装置10と比較して、アレイ14は単一ライン方式で構成されており、これは、すべての光学チャネル16a~16dがアレイ14のライン延長方向に沿って単一ラインで配置され得ることを意味する。単一行という用語は、さらに行がないことを示す場合もある。
【0085】
アレイ14の単一ラインの実施により、アレイの、そして場合によっては、厚さ方向57に沿った多開口撮像装置40の小寸法化が可能になる。
光学画像安定化装置は、共にアクチュエータ36を形成するアクチュエータ36aおよび36bを含み、このことは、本明細書に記載のアクチュエータがいくつかのアクチュエータまたは制御要素によって実装され、および/またはいくつかのアクチュエータが相互アクチュエータに組み合わされることを意味する。
【0086】
多開口撮像装置40は、ビーム偏向手段18に基づいて、異なる方向の視野を捕捉するように構成されてもよい。
例えば、ビーム偏向手段は、第1の位置Pos1および第2の位置Pos2を含んでもよい。
並進運動または回転運動に基づいて、ビーム偏向手段は、第1の位置Pos1と第2の位置Pos2との間で切り替え可能であってもよい。
【0087】
例えば、ビーム偏向手段18は、例えば並進運動66によって示されるように、並進様式で単一ラインアレイ14のライン延長方向zに沿って移動されてもよい。
例えば、並進運動66は、アレイ14の少なくとも1つのラインが配置されるライン延長方向65に本質的に平行に配置されてもよい。
例えば、並進運動は、多開口撮像装置40の異なる視野方向を得るために、光学チャネル16a~16dの光学系の前に異なるファセットを配置するために使用されてもよい。
【0088】
ビーム偏向手段18は、第1の位置Pos1において、光路26a~26dを第1の方向、例えば少なくとも部分的に正のy方向に偏向するように構成されてもよい。
ビーム偏向手段18は、第2の位置Pos2において、光路26a~26d、すなわち、各光学チャネル16a~16dの光路を異なる方向、例えば少なくとも部分的に負のy方向に沿って導くように構成されてもよい。
【0089】
例えば、アクチュエータ42は、移動方向66に沿ったビーム偏向手段18の移動に基づいて、ビーム偏向手段18を第1の位置Pos1から第2の位置Pos2に移動するように構成されてもよい。
アクチュエータ42は、移動方向66に沿った並進運動を回転運動38と重複させるように構成されてもよい。
【0090】
あるいは、多開口撮像装置40は、移動方向66に沿ってまたはそれに反対にビーム偏向手段を移動させるように構成されたさらなるアクチュエータを含んでもよい。
【0091】
図2bに関連して説明されるように、アクチュエータ42は、ビーム偏向手段18の回転に基づいてビーム偏向手段18の第1および/または第2の位置を取得するように構成されてもよい。
第1の位置Pos1と第2の位置Pos2との間の動きは、位置を切り替えるための回転運動と、方向66に沿った並進運動の両方のために、回転運動38と重なってもよい。
【0092】
図4bは、例えば、前述のような多開口撮像装置、例えば、多開口撮像装置10、20、30、または40で捕捉され得るような、全視野70の概略図を示しており、多開口撮像装置10は、全視野70をより多数または少数の部分視野72a~72dに細分することができる。
【0093】
多開口撮像装置の光学チャネルの光路は、異なる部分視野72a~72dに向けられてもよく、部分視野72a~72dは各光学チャネルに関連付けられてもよい。
例えば、個々の部分画像を全体画像に結合できるようにするために、部分視野72a~72dは互いに重なり合う。
多開口撮像装置が4つとは異なるいくつかの光学チャネルを含む場合、全視野70は4つとは異なるいくつかの部分視野を含んでもよい。
【0094】
代替的または追加的に、少なくとも1つの部分的な視野72a~72dは、3次元オブジェクトデータを取り込むことができるようにするために、ステレオカメラ、トリオカメラ、カルテットカメラを実装するため多数のモジュールの第2または多数の光学チャネル(多開口撮像装置)によって取り込まれてもよい。
【0095】
モジュールは、個別にまたはリンクされたシステムとして実装されてもよく、多開口撮像装置のハウジング内の任意の場所に配置されてもよい。
ステレオカメラ、トリオカメラ、カルテットカメラを一緒に形成するさまざまなモジュールの画像は、画素の端数だけずらされ、超解像の方法を実装するように構成される。
【0096】
多数の光学チャネルおよび/または多数の多開口撮像装置および/または多数の部分視野は、例えば任意であり、少なくとも2つ、少なくとも3つ、少なくとも4つ、少なくとも10、少なくとも20、またはそれ以上の任意の値であってもよい。
さらなるラインの光学チャネルはまた、それぞれの重複する部分領域を捕捉し、全体の視野を一緒にカバーしてもよい。
これにより、部分的に重なり合い、部分的なグループ化で全視野をカバーするチャネルで構成されるアレイカメラのステレオ構造、トリオ構造、カルテット構造などを取得できる。
【0097】
図4cは、多開口撮像装置40の概略斜視図であり、これに基づいて、光学画像安定化と電子画像安定化の組み合わせの有利な実施が説明される。
【0098】
光学画像安定化装置22はアクチュエータ36a、36bおよび42を含み、アクチュエータ36aおよび36bは、アレイ14をライン延長方向65に沿って変位させることにより、画像センサ領域24a~24dの部分視野の画像の光学画像安定化を得るように構成される。さらに、例えば、光学画像安定化装置は、回転運動38によって画像軸32に沿って光学画像安定化を得るように構成される。
【0099】
例えば、アレイ14の光学系64a~64dは、10%以下、5%以下または3%以下の許容範囲内で互いに異なる焦点距離f~fを含む。
チャネル全体の回転運動38は、異なる焦点距離f~fとともに、画像センサ領域24a~24d内の画像の異なる変位69~69をもたらす。
【0100】
これは、光学画像安定化装置22が、少なくとも1つ、いくつかの、またはすべての画像が理論的な収差のない状態から逸脱するように、チャネル全体の回転運動38により画像に異なる効果をもたらすことを意味する。
しかし、光学画像安定化装置22は、すべての画像の偏差を全体的に最小化するように構成することができ、これにより、画像のそれぞれに収差が生じるという事実につながり得る。
【0101】
あるいは、光学画像安定化装置22は、画像センサ領域22の1つで参照画像を選択し、参照画像または参照チャネルの画像が可能な限り正確になるようなアクチュエータ42の制御を実行するように構成されてもよく、収差なしとも呼ばれる。
このことは、チャネル全体の光学画像安定化により、影響を受ける画像の方向に対してチャネルを収差のない状態に保ち、他のチャネルは異なる焦点距離f~fによりこの参照画像から逸脱することを意味する。
【0102】
つまり、機械的に実現された光学画像安定化装置を使用してチャネルを補正するが、これはすべてのチャネルに対して同じ効果を有するが、すべてのチャネルを安定に保つわけではない。
これらの追加チャネルは、電子画像安定化装置でさらに修正される。
【0103】
電子画像安定化装置41は、画像センサ12、アレイ14、およびビーム偏向手段18の間の相対運動に依存する決定された機能的接続に従って、各チャネルでチャネル個別の電子画像安定化を実行するように構成されてもよい。
電子画像安定化装置41は、各画像を個別に安定させるように構成されてもよい。
このため、電子画像安定化装置41は、画像の光学的品質を向上させるために、グローバル値、例えばカメラの動きなどを用いてもよい。
【0104】
電子画像安定化装置41が光学画像安定化装置22の基準画像から開始する電子画像補正を実行するように構成されている場合、特に有利である。
異なる焦点距離は、光学画像安定化による画像の異なる変化の間の機能的接続を、好ましくは線形の形、例えば、次の形で提供し得る:
収差=f(f、相対運動)、
【0105】
つまり、収差は、焦点距離または焦点距離の差および視線方向の変更または光学画像安定化の実行された相対運動の関数として、基準チャネルに対して全体的に、または基準チャネルに対して示される。
【0106】
電子画像安定化装置41は、画像センサ12、アレイ14、およびビーム偏向手段18の間の範囲または相対運動を、焦点距離f~fまたは基準チャネルに対する焦点距離の差と結び付けて、実行される電子画像安定化に関する信頼できる情報を得ることができるとともに、機能的な接続を作成し、および/またはそれを使用することができる。
光学特性および/または機能的接続に必要なデータは、較正中に取得できる。
別の画像に対する1つの画像の変位を決定するための画像の互いの位置合わせは、部分的な視野の画像内の一致する特徴、例えばエッジの進行、物体のサイズなどを決定することによって行うこともできる。
【0107】
例えば、これは、第1の画像および第2の画像における特徴の動きの比較に基づいて電子画像安定化を提供するようにさらに構成され得る電子画像センサ41によって識別され得る。
したがって、チャネル個別の電子画像安定化は、画像詳細の動きのチャネル個別画像評価によって実行され得る。
【0108】
異なる画像での比較の代わりに、またはそれに加えて、特に時間的に離れた2つの取込画像またはフレームに関して、同じ画像で特徴の比較を実行することもできる。
光学画像安定化装置41は、第1の時点および第2の時点で対応する部分画像内の一致する特徴を識別し、第1の画像内の特徴の動きの比較に基づいて電子画像安定化を提供するように構成されてもよい。
例えば、上記比較は、相対運動によって特徴が変位され、少なくとも部分的に収差を補正するために画像が後方に変位される変位を示してもよい。
【0109】
光学画像安定化装置は、画像センサ領域24a内の画像などの基準チャネルの撮像された部分視野の画像を安定させるために使用されてもよい。
例えば、電子画像安定化装置41は、チャネル個別の方法で画像センサ領域24b、24c、および24dに投影する基準チャネルとは異なる光学チャネルに対して画像安定化を実行するように構成される。
【0110】
多開口撮像装置は、光学的に排他的に基準チャネルを安定化するように構成されてもよい。
これは、実装において、機械的に達成された光学画像安定化のみを用いることにより、参照チャネルで十分に良好な画像安定化が達成され得ることを意味する。
【0111】
他のチャネルについては、焦点距離の違いによる不十分な光学画像安定化の上述の効果を部分的または全体的に補償するために、電子画像安定化がさらに実行され、電子安定化は各チャネルで個別に実行される。
【0112】
さらなる実施形態によれば、多開口撮像装置の各チャネルが個々の電子画像安定化を含むことがさらに可能である。
多開口撮像装置の各チャネルに対して個別に実行される電子画像安定化は、個々のチャネルで実現される画像変位間の決定された機能的接続が用いるように実行されてもよい。
【0113】
例えば、チャネルの方向32に沿った変位は、別の画像の方向32に沿った変位の1.1倍、1.007倍、1.3倍または2倍または5倍である。
さらに、このチャネル個別の機能的接続は、ビーム偏向ユニットおよび/またはアレイおよび/または画像センサ間の相対運動に依存する場合があり、線形でも、画像方向に沿った電子画像安定化の範囲に対するビーム偏向手段の回転角を投影する角度関数に対応してもよい。同じ値または異なる値を用いて、方向28に対して同一の接続を実現できる。
【0114】
すべての実施形態について、実現された相対運動は、ジャイロスコープなどの対応する追加のセンサによって取り込まれてもよく、または1つ、いくつかまたはすべてのチャネルの取込画像データから導出されてもよい。
このデータまたは情報は、光学画像安定化および/または電子的画像安定化に使用することができ、このことは、例えば、多開口撮像装置が、センサからセンサ信号を受信し、多開口撮像装置と対象物との間の相対的な動きと相関する情報と比較してセンサ信号を評価するとともに、この情報を使用して光学画像安定化および/または電子画像安定化装置の制御を実行するように構成されることを意味する。
【0115】
光学画像安定化装置は、方向28および方向32に沿った安定化のためのさまざまな構成要素、例えばアレイ14およびビーム偏向手段の回転38の移動によって画像軸28および画像軸32に沿った光学画像安定化を得るように構成されてもよい。
どちらの場合でも、光学系64a~64dの違いが影響する。
電子画像安定化に関する以前の議論は、両方の相対的な動きに対して実施されてもよい。
特に、方向28および方向32を別々に見ることにより、方向28および方向32に沿った光学系64a~64d間のさまざまな偏差を考慮することが可能になる。
【0116】
本明細書で説明される実施形態は、画像センサ領域24a~24d内の部分画像に対して相互画像軸28および/または32を用いることができる。
あるいは、方向が異なる場合があり、相互に変換される場合がある。
【0117】
図5aは、ファセット46a~46hのアレイとして形成されるビーム偏向手段18の概略図を示す。例えば、ビーム偏向手段18が第1の位置に配置される場合、それぞれ番号1、2、3および4で示されるファセット46a~46dは、第1の方向に4つの光学チャネルの光路を偏向してもよい。
【0118】
ビーム偏向手段18が第2の位置を含む場合、各光学チャネルの光路は、番号1’、2’、3’および4’でそれぞれ示されるように、ファセット46e~46hに基づいて第2の方向に偏向されてもよい。
【0119】
例えば、ファセット46a~46dおよび46e~46hは、ブロックに配置されていると呼ばれる場合がある。
ライン延長方向65に沿った光学チャネルの数の延長長さに本質的に対応する距離88は、並進方向66に沿ったビーム偏向手段18の並進運動のためにカバーされてもよい。
【0120】
図4aの実施形態によれば、例えば、これは、ライン延長方向65に沿った4つの光学チャネルの拡大である。
さらなる実施形態によれば、ビーム偏向要素の数は、複数の光学チャネルと異なっていてもよい。
少なくとも2つの光学チャネルの光路を偏向するために、少なくとも1つのビーム偏向要素をビーム偏向手段の位置に構成または配置することができる。
【0121】
図5bは、ビーム偏向手段18の概略図を示しており、ファセット46a~46gは、図5aの図と比較して異なる順序を含む。
【0122】
図5bに示されるビーム偏向手段は、順序1、1’、2、2’、3、3’、4および4’によって示されるように、各光学チャネルに対する光学チャネル46a~46gの交互配置を含む。
これにより、ビーム偏向手段18が第1の位置と第2の位置との間で切り替えられるためにそれに沿って移動される距離88’が可能になる。
図5aの距離88と比較して、距離88’は小さくてもよい。
例えば、距離88’は、アレイ14の2つの隣接する光学チャネル間の距離に本質的に相当してもよい。
【0123】
例えば、2つの光学チャネルは、移動方向65に沿ったファセットの寸法に少なくとも本質的に対応する互いに対する距離またはギャップを含んでもよい。
距離88’は、例えば、少なくとも2つの光学チャネルの光路を偏向するためにビーム偏向要素がビーム偏向手段の位置に構成または配置される場合、これとは異なってもよい。
【0124】
ビーム偏向手段18の有利な実施形態は、図6a~図6fに基づいて説明される。
実装は、個別にまたは任意の組み合わせで実行できる多くの利点を示すが、これらは限定的な効果を持つことを意図したものではない。
【0125】
図6aは、本明細書に記載のビーム偏向手段におけるビーム偏向領域46の1つとして使用され得るビーム偏向要素172の概略側面断面図を示す。
【0126】
ビーム偏向要素172は、光学チャネル16a~16dの1つ、複数、またはすべてに対して動作可能であってもよく、多角形の鎖状の断面を備えてもよい。
三角形の断面が示されているが、他の多角形でもよい。
代替的または追加的に、断面は少なくとも1つの曲面を備えてもよく、収差を回避するために、特に反射面において少なくとも部分的に平面構成が有利であり得る。
【0127】
2つの主側面174aおよび174bは、角度δだけ互いに向かって傾斜していてもよい。
角度δは、1°~89°の間の値を含むことができ、好ましくは5°~60°の間の値を含み、特に好ましくは10°~30°の間の値を含む。
したがって、主側面174aおよび174bは、好ましくは、60°以下の角度で互いに対して傾斜するように配置される。
【0128】
例えば、ビーム偏向要素172は、第1の側面174a、第2の側面174b、および第3の側面174cを含む。
側面174aおよび174bなどの少なくとも2つの側面は、反射するように構成され、そのため、ビーム偏向要素172が2つの側面で反射するように構成されるように構成される。
側面174aおよび174bは、ビーム偏向要素172の主側面、すなわち側面174cよりも大きい表面を有する側面であればよい。
【0129】
言い換えれば、ビーム偏向要素172は、くさび形であり、2つの側面で反射するように形成されてもよい。
【0130】
しかしながら、表面174cよりも実質的に小さいさらなる表面は、表面174cの反対側、すなわち表面174aと174bとの間に配置されてもよい。
言い換えれば、表面174a、174b、および174cによって形成されるくさびは、任意に先細になることはなく、尖った側に表面が設けられ、したがって鈍い。
【0131】
図6bは、ビーム偏向要素172の概略側面断面図を示し、ビーム偏向要素172のサスペンションまたは変位軸176が説明されている。
ビーム偏向要素172が回転および/または並進様式でビーム偏向手段18内において可動であり得る変位軸176は、断面の表面重心178に対して偏心的に変位されてもよい。
あるいは、表面重心は、厚さ方向182およびそれに垂直な方向184に沿ったビーム偏向要素172の寸法の半分を表す点であってもよい。
【0132】
主側面174aは表面法線175aを含むことができ、一方、主側面174bは表面法線175bを含んでもよい。
ビーム偏向手段の第1の位置と第2の位置との間を切り替えるために変位軸176の周りの回転運動が使用される場合、ビーム偏向手段の回転運動は、図2bに関連して説明したように、2つの位置間でアレイ14に完全に面する主側面174aおよび174bの角度αが回避されるどちらに応じた向きになるように実行されてもよい。
【0133】
これは、回転運動による第1および第2の動作状態または位置間の変化中に、第2の主面の表面法線175aおよび表面法線175bが各時点において、図2bでは画像センサに向かう方向に対して少なくとも10°の角度γおよびγとして、また該当する場合は画像センサの表面法線に平行な角度γとして示されている角度を含んでもよいことも理解することができる。
これにより、角度の1つが0°または180°であることが回避される可能性があり、これは厚さ方向に沿ったビーム偏向手段の大きなまたはほぼ最大の広がりを表してもよい。
【0134】
例えば、変位軸176は、厚さ方向182に沿って不変であってもよく、それに垂直な方向にオフセットを含んでもよい。
あるいは、厚さ方向182に沿ったオフセットも考えられる。
例えば、変位は、変位軸176の周りのビーム偏向要素172の回転時に、表面重心178の周りの回転の場合よりも大きなアクチュエータ移動が得られるように実行することができる。
このように、変位軸176の変位により、回転時に側面174aと側面174bの間のエッジが移動する距離は、表面重心178の周りの回転と比較して同じ回転角度で増加してもよい。
【0135】
好ましくは、ビーム偏向要素172は、縁部、すなわち、側面174aと側面174bとの間のくさび形断面の尖った側面が画像センサに面するように配置される。
したがって、小さな回転運動により、異なる側面174aまたは174bはそれぞれ、光学チャネルの光路を偏向させる可能性がある。
これにより、主面が画像センサに対して垂直になることが不要であるようにビーム偏向要素172が移動するため、ビーム偏向手段のスペース要件が厚さ方向182に沿って小さくなるように回転を実行できることが明らかになる。
【0136】
側面174cは、二次側または後側と呼ばれてもよい。
いくつかのビーム偏向要素は、接続要素が側面174cに配置されるか、ビーム偏向要素の断面を貫通するように、つまり、例えば、変位軸176の領域内の偏向要素のように、ビームの内部に配置されるように、互いに接続される。
特に、保持要素は、方向182に沿ってビーム偏向要素172を超えて、またはわずかな程度、すなわち、50%以下、30%以下、または10%以下まで延びないように配置されてもよく、その結果、保持要素は増加せず、方向182に沿った構造全体の膨張を決定しない。
あるいは、厚さ方向182の拡大は、光学チャネルのレンズによって決定されてもよく、すなわち、これは、厚さの最小値を定義する寸法を含む。
ビーム偏向要素172は、ガラス、セラミック、ガラスセラミック、プラスチック、金属、またはこれらの材料および/またはさらなる材料の任意の組み合わせで形成されてもよい。
【0137】
言い換えれば、ビーム偏向要素172は、先端、すなわち主側面174aと174bとの間の縁が画像センサに向くように配置されてもよい。
ビーム偏向要素の保持は、ビーム偏向要素の背面または内部でのみ実行されるように実行されてもよく、すなわち、主側面が覆われていない。
相互保持または接続要素は、後側174cを横切って延びていてもよい。
ビーム偏向要素172の回転軸は、偏心して配置されてもよい。
【0138】
図6cは、画像センサ12と、互いに隣接して配置された光学チャネル16a~16dの単一ラインアレイ14とを含む多開口撮像装置190の概略斜視図を示す。
ビーム偏向手段18は、光学チャネルの数に対応し得る多数のビーム偏向要素172a~172dを含む。
【0139】
あるいは、例えば、少なくとも1つのビーム偏向要素が2つの光学チャネルによって使用される場合、より少ない数のビーム偏向要素が配置されてもよい。
あるいは、例えば、図5aおよび図5bに関連して説明したように、ビーム偏向手段18の偏向方向の切り替えが並進運動によって行われる場合、より多くの数を配置することもできる。
【0140】
各ビーム偏向要素172a~172dは、光学チャネル16a~16dに関連付けられ得る。
ビーム偏向要素172a~172dは、多数の要素172として形成されてもよい。
あるいは、少なくとも2つ、いくつか、またはすべてのビーム偏向要素172a~172dは、互いに一体的に形成されてもよい。
【0141】
図6dは、自由曲面として形成された断面を有するビーム偏向要素172の概略側面断面図を示す。
このように、側面174cは、保持要素の固定を可能にする凹部186を備えてもよく、凹部186はまた、突出要素、例えば舌ばねシステムのばねとして形成されてもよい。
断面は、主側面174aおよび主側面174bよりも小さな表面膨張を含み、それを互いに接続する第4の側面174dをさらに含む。
【0142】
図6eは、第1のビーム偏向要素172aと、図の方向において前者の後ろに位置する第2のビーム偏向要素172bの概略側面断面図を示す。
凹部186aおよび凹部186bは、凹部内に接続要素を配置することができるように、これらが本質的に一致するように配置されてもよい。
【0143】
図6fは、例えば、接続要素188と接続された4つのビーム偏向要素172a~172dを含むビーム偏向手段18の概略斜視図を示す。
接続要素は、アクチュエータにより並進および/または回転方式で移動可能にするために使用可能であってもよい。
接続要素188は、一体となるように構成することができ、ビーム偏向要素172a~172dでまたはその中の延在方向、例えばy方向にわたって延在することができる。
【0144】
あるいは、例えば、ビーム偏向要素172a~172dが一体に形成される場合、接続要素188は、ビーム偏向手段18の少なくとも1つの側面のみに接続されてもよい。
あるいは、アクチュエータへの接続および/またはビーム偏向要素172a~172dの接続は、他の任意の方法、例えば、接着、ブラストまたははんだ付けによっても実行されてもよい。
【0145】
図7は、一実施形態による撮像システム60の概略斜視図を示している。
撮像システム60は、多開口撮像装置10を含む。
【0146】
さらなる実施形態によれば、多開口撮像装置10の代わりに、またはそれに加えて、撮像システム60は、少なくとも1つの多開口撮像装置10’、20、30、40を含む。
撮像システム60は、平坦なハウジング92を含む。
平坦なハウジング92は、第1ハウジング方向aに沿った第1拡張部94aを含む。
平坦なハウジング92は、第2ハウジング方向bに沿った第2拡張部94bと、第3ハウジング方向cに沿った第3拡張部94cとをさらに含む。例えば、ハウジング方向aは、空間内の厚さ方向57と平行に配置されてもよい。
【0147】
ハウジング方向aに沿った平坦なハウジング92の拡張部94aは、平坦なハウジング92の最小寸法として理解され得る。
最小膨張と比較して、他のハウジング方向bおよびcに沿った他の膨張94bおよび/または94cは、ハウジング方向aに沿った拡張部94aと比較して、少なくとも3倍のサイズ、少なくとも5倍のサイズ、または少なくとも7倍のサイズを含んでもよい。
簡単に言えば、拡張部94aは、それぞれ他のハウジング方向bおよびcに沿った他の拡張部94bおよび94cよりも小さいか、著しく小さいか、または該当する場合は大きさだけ小さくてもよい。
【0148】
平坦なハウジング92は、例えば、多開口撮像装置10のビーム偏向手段に基づいて、光路26および/または26’を偏向させることができる1つまたはいくつかのダイヤフラム96a~96bを含んでもよい。
例えば、ダイヤフラムは、エレクトロクロミックダイヤフラムであってもよく、および/またはディスプレイの領域に配置されてもよい。
【0149】
撮像システム60は、携帯機器として構成されてもよい。
例えば、撮像システム60は、携帯電話またはいわゆるスマートフォンなどの携帯通信手段、タブレットコンピュータ、または携帯音楽再生装置とすることができる。
撮像システム60は、例えばナビゲーションシステム、マルチメディアシステムまたはテレビシステムで使用されるスクリーンとして実装されてもよい。
代替的または追加的に、撮像システム60は、ミラーなどの反射面の背後に配置されてもよい。
【0150】
移動通信装置の分野では、多開口撮像装置10、10’、20、30および/または40の配置が有利な場合があり、長いハウジング側面94bおよび/または94cに沿ったコンポーネントの配置に基づいて、ハウジング方向94aに沿った多開口撮像装置の拡張は小さくてもよく、そのため、撮像システム60は小さな拡張部94aを含んでもよい。
言い換えると、画像センサの相対的な2次元の横方向の動きと、従来のシステムでの視野の2次元の角度変化(スキャンに対応)を引き起こす対物レンズを、ビュー方向における1次元の変化および回転運動に置き換えることができる。
【0151】
視野方向の一次元の変更は、回転可能に支持されたミラーを別の方向に持ってくることにより、イメージングチャネルの光軸(ライン延長方向)に対するミラー(ビーム偏向手段)の方向を変えることにより実行されてもよく、ミラーの回転軸は、撮像チャネルの光軸に対して垂直および/またはほぼ垂直に延びていてもよい。
ビュー方向を上記の方向に垂直に適合させるために、画像センサおよび/またはアレイ対物レンズ(光学チャネルのアレイ)を互いに向かって横方向に移動させることができる。
両方の動きの相互作用により、2次元の光学画像安定化が達成される。
【0152】
小さな設置高さを可能にするために、移動を実現するために配置されたコンポーネント(アクチュエータなど)および画像プロセッサなどのサブシステムは、該当する場合、排他的に隣、前、および/または撮像光路によって規定される、すなわち、平面52aと平面52bの間に配置される設置スペースの背後にあり、実施形態によれば、その上方または下方に配置されなくてもよい。
これにより、光学式画像安定化のために、移動ユニット(アクチュエータ)を空間的に分離できる。
これにより、必要な部品の数を減らすことができ、したがって、カメラシステムの製造価格が低くなり、従来の構造と比較して設置高さの大幅な減少を達成することができる。
【0153】
図2aを参照すると、既知のシステムとの違いは、光学チャネルのレンズ(光学)が平面52aと平面52bとの間の距離を本質的に定義できるという事実であり得る。
これにより、デバイスの設置高さを小さくすることができ、有利である。
従来のシステムでは、レンズの主平面は平面52aおよび52bに平行であるが、アレイの光学系の主平面はそれに垂直に配置されている。
【0154】
図8は、ハウジング72と、ハウジング72内に配置された第1の多開口撮像装置10aおよび第2の多開口撮像装置10bとを含む装置80の概略斜視図を示す。
【0155】
装置80は、多開口撮像装置で立体的に、例えば、捕捉領域の重なり合う領域で、視野70全体を少なくとも部分的に捕捉するように構成される。
例えば、全視野70は、ハウジングの主側面74bに配置されており、この主側面は主側面74aとは反対側を向いている。
例えば、多開口撮像装置10aおよび10bは、主側面74bに配置されたダイヤフラム78aおよび78cが少なくとも部分的に透明である透明領域68aおよび68cを通してそれぞれ全視野70を取り込むことができる。
主側面74aに配置されたダイヤフラム78bおよび78dは、それぞれ、少なくとも部分的に光学的に透明領域68bおよび68dを閉じ、その結果、多開口撮像装置10aおよび/または10bからの取込画像を改ざんする可能性があるため、主側面74aに面する側からの迷光の範囲は、少なくとも削減される。
【0156】
多開口撮像装置10aおよび10bは、互いに空間的に離間して配置されるように示されているが、多開口撮像装置10aおよび10bは、空間的に隣接するか、または組み合わされるように配置されてもよい。
例えば、撮像装置10aおよび10bの単一ラインアレイは、互いに隣接して、または互いに平行に配置されてもよい。
【0157】
単一ラインアレイは、互いに対してラインを形成することができ、各多開口撮像装置10aおよび10bは、単一ラインアレイを含む。
撮像装置10aおよび10bは、相互ビーム偏向手段および/または相互キャリア62および/または相互画像センサ12を備えてもよい。
多開口撮像装置10aおよび/または10bの代わりに、またはそれに加えて、少なくとも多開口撮像装置10、10’、20、30および/または40を配置することができる。
【0158】
そのような相互要素、例えば、ビーム偏向手段またはアレイは、例えば、ビーム偏向手段の動きがいくつかのモジュールの光学チャネルの光学画像安定化として機能する可能性があるため、相互光学画像安定化装置によって使用される場合がある。
したがって、光学画像安定化装置は、いくつかのモジュールに対して相互に実装されてもよく、および/またはいくつかのモジュールに対して相互参照チャネルが用いられてもよい。
【0159】
透明領域68a~68dは、光学構造体が使用されない場合に光学構造体を覆う切り替え可能なダイヤフラム78a~78dをさらに含んでもよい。
ダイヤフラム78a~78dは、機械的に動かされる部分を含み得る。
機械的に動かされる部分の移動は、例えば、アクチュエータ36および45について説明されているように、アクチュエータを使用することによって実行されてもよい。
代替的または追加的に、ダイヤフラム78a~78dは電気駆動可能であってもよく、エレクトロクロミック層またはエレクトロクロミック層シリーズを含んでもよく、すなわち、エレクトロクロミックダイヤフラムとして形成されてもよい。
【0160】
図9は、例えば、撮像システム80に配置することができるような、第1の多開口撮像装置10aおよび第2の多開口撮像装置10bを含む概略構造を示す。
アレイ14aおよび14bは、単一ライン方式で形成され、相互ラインを形成する。
画像センサ12aおよび12bは、相互基板および/または相互回路基板または相互フレックス基板などの相互回路キャリアに取り付けられてもよい。
あるいは、画像センサ12aおよび12bは、互いに異なる基板を含んでもよい。
【0161】
明らかに、これらの代替物のさまざまな組み合わせも可能であり、例えば、相互画像センサ、相互アレイおよび/または相互ビーム偏向手段18を含む多開口撮像装置、ならびに別個の構成要素を含むさらなる多開口撮像装置も可能である。
【0162】
相互画像センサ、相互アレイ、および/または相互ビーム偏向手段は、より少ない数のアクチュエータを駆動することによってそれぞれのコンポーネントの動きが高精度で得られ、アクチュエータ間の同期が低減または回避されるという点で有利である。
さらに、高い熱安定性が得られ得る。
代替的または追加的に、他のおよび/または異なる多開口撮像装置10、10’、20、30および/または40は、相互アレイ、相互画像センサおよび/または相互ビーム偏向手段を備えてもよい。
【0163】
図10aは、例えば、本明細書に記載の撮像システムによって得られるような電子画像安定化の実施の初期状況の概略図であり、電子画像安定化に関する実施は制限効果のない個々の多開口撮像装置を指すこともある。
【0164】
説明した実施形態では、撮像システムは、相互光学画像安定化装置と相互電子画像安定化装置を使用する。
例示的に、各モジュールは、オブジェクト71で全視野を撮像するために、2つの光学チャネル16aおよび16b、ならびに16cおよび16dをそれぞれ含む。
制限効果を持たずに、関連する画像センサ領域における光学チャネル16aおよび16bの画像73aおよび73bはオブジェクト71の立体的なキャプチャの左画像75aと呼ばれ、光学チャネル16cおよび16dの画像73cおよび73dはオブジェクト71の立体的なキャプチャの右画像と呼ばれる。
【0165】
図10aは、画像73a~73dを取得するためにオブジェクト71が画像センサ領域に投影される収差のない状態を示す。
画像73aおよび画像73bは、例えば、ステッチングによって、多開口撮像装置によって左の全体画像77aに結合されてもよい。
【0166】
画像73cおよび画像73dは、多開口撮像装置によって右の全体画像77bに同様の方法で結合され、2つの全体画像75aおよび75bを通じてオブジェクト71に関する立体情報を決定することができる。
【0167】
ここで、図10bは、図10aの場合を示しており、オブジェクト71に対する撮像システムの相対運動は、オブジェクト71’によって示されるオブジェクト71の変化した相対位置をもたらす。
例えば、これは、オブジェクト71の動きおよび/または撮像システムの揺れである場合がある。
画像補正を無視すると、相対移動により、画像73’a~73’dの点線で示されている画像センサ領域内のオブジェクト71の画像の画像位置が変更される。
【0168】
ここで、図10aに示される画像77aおよび画像77b、すなわち、収差が補償された画像を取得することが努力されている。
揺れの補正、すなわち可能な限り最良の画像安定化が、試みられているものである。
この光路では、光学チャネルの光学系の偏差は考慮されない。
【0169】
図10cは、同一の光学パラメータを含む、すなわち同一の焦点距離を含むすべての光学チャネルの純粋な光学画像安定化が最良の画像安定化をもたらすという不変の仮定の下での画像における光学画像安定化の基礎を示している。
オブジェクト71の変位は、正の方向28および負の方向32を指す矢印79によって示されている。
光学画像安定化装置によって画像センサ、アレイ、およびビーム偏向手段の間の相対運動を生成することにより、画像73’a~73’d、したがって全体画像77aおよび77bが反対方向82a~82dおよび84a~84bは、それぞれ、動作時に、図10bによる物体の変位および図10cによる補償も、例示されたオフセットの生成を回避するために適時に実行される。
矢印84a~84dおよび77a~77bによって表される方向は、空間内の矢印79とは反対に、例えばそれぞれの部分画像の重要な点、例えば目または口の角、例えば画像中でエッジを示すように配置される。
【0170】
ここで、図10dは、光学画像安定化後、光学特性の実際の偏差を考慮した、取得された部分画像73’’a~73’’dを示している。
例えば、光学画像安定化は、画像73aが可能な限り最良の方法で補正されるように実行され、これは、光学的に安定化された画像73’’aが、少なくとも許容範囲内で収差のない画像73aに対応することを意味する光学画像安定化装置の可能性を示す。
【0171】
光学特性の偏差により、光学チャネル16aの画像安定化はチャネル16b~16dに異なる効果をもたらし、これは、光学特性の偏差が、例えば、変位を示す矢印82a~82dを引き起こすことを意味する光学的安定化に基づく画像の角度は、長さおよび/または方向に関して異なり得る。
【0172】
これは、修正画像73’aと73’b、および73’cと73’dからそれぞれ形成された結合画像77において顕著である。
光学画像の安定化による変位のずれは、部分画像がバラバラになるという事実につながり、ステッチ時にエラーを引き起こす可能性がある。
例えば、これは、全体画像77bに関連する分離された部分画像73’’cおよび部分画像73’’dによって、または正しく安定した部分画像73’’aから間隔を空けた全体画像77a内の部分画像73’’bによって示される。
言い換えると、すべてのチャネルに完全に補正されていない画像位置があるため、画像を結合するときに収差が発生する。
【0173】
チャネル16b~16cの画像において、図10eは、画像73’’’b~73’’’dによって示される、光学画像安定化を示し、これは基準チャネル16aに対して実行される。
チャネル16aから離れたチャネル16b~16dでの電子画像安定化により、光学チャネル16aでの光学画像安定化に関するそれらの偏差は少なくとも部分的に補償され、その結果、画像77aおよび77bにそれぞれ対応し得る、収差が低減された画像77’’’a、および収差のない77’’’bが取得され得る。
これは、部分的に補正された画像位置が光学画像安定化を通じて取得され、補正された画像位置が追加の電子画像安定化を通じて取得されることを意味する。
【0174】
電子画像安定化の程度は、光学チャネル16a~16d間の機能的接続を使用して、電子画像安定化装置によって実行され得る。
代替的または追加的に、電子画像安定化装置、例えば画像安定化装置41は、例えば、互いに時間的に異なるまたは互いに続く2つのフレームのマッチング特徴を考慮するとき、画像の変位の程度を決定するように構成され得る。
【0175】
図11は、多開口撮像装置を提供する方法1100の概略フロー図を示している。
ステップ1110は、画像センサを提供することを含む。
ステップ1120は、各光学チャネルが全視野の部分視野を画像センサの画像センサ領域に投影するための光学素子を含むように、光学チャネルのアレイを提供することを含む。
ステップ1130は、光学チャネルの光路を偏向させるためのビーム偏向手段を配置することを含む。
【0176】
ステップ1140は、画像センサ、アレイおよびビーム偏向手段間の第1の相対運動を生成することにより第1の画像軸に沿った画像安定化のために、および、画像センサ、アレイ、ビーム偏向手段間の第2の相対運動を生成することにより第2の画像軸に沿った画像安定化のために光学画像安定化装置を配置することを含む。
ステップ1150は、第1および第2の画像軸に沿ったアレイの第1の光学チャネルの画像安定化のために電子画像安定化装置を配置することを含む。
【0177】
本明細書で説明する実施形態は、ライン延長方向に沿った単一ラインまたは複数ラインの線形チャネル配置、画像センサとイメージング光学系との間の単軸並進運動を使用する光学画像安定化、およびビーム偏向ミラーアレイの単軸回転運動を有する多開口撮像システムを可能にする。
【0178】
上記の実施形態は、多数の4つの光学チャネルまたはその多数が配置されるように説明されたが、さらなる実施形態による多開口撮像装置は、任意の数の光学チャネル、例えば、少なくとも2つ、少なくとも3つ、少なくとも4つ、少なくとも10またはそれ以上の数の光学チャネルが配置されてもよい。
【0179】
上述した実施形態では、光学画像安定化装置22がアクチュエータ36およびアクチュエータ42を含むように説明したが、さらなる実施形態によれば、アクチュエータ36および42は相互アクチュエータとして構成することもできる。
【0180】
例えば、アクチュエータによって生成される動きは、それぞれの動きを得るために、力変換器および/または距離変換器(透過)によって画像センサ12、光学アレイ14および/またはビーム偏向手段18に向けられてもよい。
代替的または追加的に、例えば多開口撮像装置40に関連して説明したように、1つまたはいくつかの構成要素をいくつかのアクチュエータによって移動させることもできる。
【0181】
例えば、画像センサは、相補型金属酸化膜半導体(CMOS)またはそれとは異なる技術として構成されてもよい。
それぞれのアレイの光学チャネルは、それぞれの画像センサ領域に向けられる光路が光学的に変更される領域を定義するように理解されてもよい。
したがって、画像センサ領域に関連付けられた光路は、アレイの光学チャネルを通過する場合がある。
【0182】
上記で指摘したように、光路および/または光軸は、ビーム偏向手段から出発して、異なる方向に向けられてもよい。
これは、ビーム偏向手段での偏向中に、および/または光学系によって、互いに対して平行性から逸脱する方法で光路を方向付けることにより得られる場合がある。
光路および/または光軸は、ビーム偏向の前および/またはなしで平行度から逸脱する場合がある。
【0183】
以下では、この事実は、チャネルに一種の事前発散を提供できるという点で説明されている。
【0184】
この光軸の事前発散により、例えば、ビーム偏向手段のファセットのすべてのファセット傾斜が互いに異なるわけではないが、チャネルのいくつかのグループは、例えば同じ傾斜またはそれに向けられているファセットを有することが可能になるだろう。
【0185】
後者は、単一の部品として、および/または互いに連続的に融合するように、すなわち、ライン延長方向に隣接するチャネルのこのグループに割り当てられるファセットとして形成されてもよい。
【0186】
これらのチャネルの光学軸の発散は、光学チャネルの光学系の光学中心とチャネルの画像センサ領域の間の横方向のオフセットによって得られるため、これらの光学軸の発散から生じる可能性がある。例えば、事前分岐は1つの平面に制限できる。
例えば、光軸は、ビーム偏向の前および/またはなしで共通の平面に伸びることがあるが、この平面では発散的に広がり、ファセットは他の横断面で追加の発散を引き起こすだけであり、ファセットはすべてライン延長方向に平行に、上記の光軸の相互平面に対して異なるように傾斜している。
【0187】
ここで、いくつかのファセットは同じ傾斜を持ち、および/または光軸がすでに異なるチャネル、例えば、ビーム偏向の前および/またはなしで、光軸の上記の相互平面内のペアで異なるチャネルグループに相互に関連付けることができる。
簡単に言えば、光学系は、第1(画像)方向に沿った光路の(事前)発散を可能にし、ビーム偏向手段は、第2(画像)方向に沿った光路の発散を可能にする。
【0188】
例えば、上記のおそらく存在する事前発散は、光学系の光学中心をライン延長方向に沿った直線上に配置することにより達成され、画像中心領域の中心は投影の投影から外れるように配置される画像センサ領域の平面の法線に沿った画像センサ平面内の直線上の点、例えば、チャネル内の画像センサ平面内の上記直線上の点からチャネルに個別の方法で外れた点上の光学中心線の延長方向に沿った点、および/またはライン延長方向と画像センサの法線の両方に垂直な方向に沿った点に配置される。
【0189】
あるいは、ライン延長方向に沿って直線上に画像センサの中心を配置することにより、事前発散を達成し得るが、光学系の中心は、光学系の光学中心の平面の、光学中心面の直線上の点への法線、例えば、チャネル個別の方法で光学中心面の上記直線上の点から外れた点線の延長方向に沿って、および/またはライン延長方向と光学中心面の法線の両方に垂直な方向に沿って画像センサの光学中心の投影から逸脱するように配置される。
【0190】
それぞれの投影からの上述のチャネル個別偏差は、ライン延長方向にのみ延びる、すなわち、光軸は、相互平面にのみ位置し、事前発散が提供されることが好ましい。
その場合、光学中心と画像センサ領域中心はそれぞれ、線の延長方向に平行な直線上に配置されるが、中間距離は異なる。
対照的に、ライン延長方向に垂直な横方向におけるレンズと画像センサの間の横方向のずれにより、設置高さの増加をもたらした。
【0191】
ライン延長方向の純粋な面内オフセットは、設置高さを変更しないが、その結果、ファセットが少なくなる可能性があり、および/またはファセットが角度方向の傾斜のみを含む可能性があり、構造を簡素化する。
したがって、例えば、隣接する光学チャネルはそれぞれ、同じ平面内に延びる光軸を含むことができ、各光軸は互いに対して傾斜している、すなわち、事前発散が提供されている。
ファセットは、光学チャネルのグループに対して配置されてもよく、ある方向にのみ傾斜していてもよく、ライン延長方向に平行であってもよい。
【0192】
さらに、いくつかの光学チャネルは、例えば超解像の目的で、またはこれらのチャネルによって対応する部分視野がスキャンされる解像度を高めるために、同じ部分視野に関連付けられることが提供され得る。
ビーム偏向の前に、そのようなグループの光学チャネルは平行に延び、部分的な視野のファセットによって偏向される。
グループのチャネルの画像センサの画素画像は、このグループの異なるチャネルの画像センサの画素の画像間の中間位置に配置されるのが有利であろう。
【0193】
例えば、超解像を目的とせずに、ライン延長方向のすぐ隣のチャネルのグループが、部分フィールドで全体の視野を完全にカバーし、すぐ近くのチャネルのさらなるグループが、それらの部分の視野全体を完全にカバーする、立体視のみを目的とする実装も考えられる。
【0194】
したがって、上記の実施形態は、多開口撮像装置および/またはそのような多開口撮像装置を含む撮像システムの形態で、すなわち、各チャネルが部分的な視野を送信し、合計視野と部分視野は部分的に重なる単一ラインチャネル構成で実装されてもよい。
3D画像を取り込むために、ステレオ構造、トリオ構造、カルテット構造などのためのいくつかのそのような多開口撮像装置を有する構造が可能である。
【0195】
複数のモジュールは、結合線として実装されてもよい。
結合されたラインは、同一のアクチュエータと相互ビーム偏向要素を使用できる。
【0196】
光路に存在する可能性のある1つまたは複数の増幅基板は、ステレオ構造、トリオ構造、クワトロ構造を形成する可能性があるライン全体に広がる可能性がある。
複数のチャネルが同じ部分画像領域を画像化する超解像の方法を使用することができる。
また、光軸は、ビーム偏向装置を使用せずに発散的に延びるため、ビーム偏向ユニットに必要なファセットが少なくなる。
次に、ファセットは、1つの角度成分のみを含むことが有利になる。
【0197】
画像センサは、単一の部品であってもよく、結合された画素マトリックスを1つだけ、またはいくつかの不連続な画素マトリックスを含んでもよい。
画像センサは、例えば、回路基板上で互いに隣り合って配置される多くの部分的なセンサで構成されてもよい。
オートフォーカス駆動は、ビーム偏向要素が光学系と同期して移動するように、または光学素子がアイドル状態になるように実装してもよい。
【0198】
デバイスのコンテキスト内でいくつかの態様を説明したが、上記態様は対応する方法の説明も表すため、デバイスのブロックまたは構造コンポーネントも対応する方法ステップとして、またはメソッドステップの機能として理解されることを理解されたい。
それと同様に、コンテキスト内でまたは方法ステップとして説明された側面は、対応するデバイスの対応するブロックまたは詳細または機能の説明も表す。
【0199】
上述の実施形態は、単に本発明の原理の例示を表すものである。
当業者は、本明細書に記載の配置および詳細の修正および変形を理解するであろうことが理解される。
これが、本発明が実施形態の説明および議論によって本明細書に提示された特定の詳細によってではなく、添付の特許請求の範囲によってのみ制限されることが意図される理由である。
図1a
図1b
図2a
図2b
図3
図4a
図4b
図4c
図5a
図5b
図6a
図6b
図6c
図6d
図6e
図6f
図7
図8
図9
図10a
図10b
図10c
図10d
図10e
図11