▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧
特許7189992部分視野を撮像するための装置、多開口撮像装置およびそれらを提供する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-06
(45)【発行日】2022-12-14
(54)【発明の名称】部分視野を撮像するための装置、多開口撮像装置およびそれらを提供する方法
(51)【国際特許分類】
G01B 11/24 20060101AFI20221207BHJP
【ＦＩ】
G01B11/24 K
【請求項の数】
35
(21)【出願番号】P 2021052628
(22)【出願日】2021-03-26
(62)【分割の表示】P 2019555889の分割
【原出願日】2018-04-11
(65)【公開番号】P2021103181
(43)【公開日】2021-07-15
【審査請求日】2021-03-26
(31)【優先権主張番号】102017206442.0
(32)【優先日】2017-04-13
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】500341779
【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100085660
【弁理士】
【氏名又は名称】鈴木 均
(72)【発明者】
【氏名】ドゥパッレ，ジャック
(72)【発明者】
【氏名】オーバーデルスター，アレクサンダー
(72)【発明者】
【氏名】ヴィッパーマン，フランク
(72)【発明者】
【氏名】ブリュックナー，アンドレアス
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開２０１４－２２５８４３（ＪＰ，Ａ）
【文献】国際公開第２０１４／０９１９８５（ＷＯ，Ａ１）
【文献】国際公開第２０１４／０９１９８６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／２４
(57)【特許請求の範囲】
【請求項1】
画像センサ（１２）と、光学チャネルのアレイ（１４）であって、各光学チャネルが、前記画像センサ（１２）の画像センサ領域上に全視野（７０）の少なくとも１つの部分視野（７２ａ～７２ｂ）を投影するための光学系を含み、前記アレイ（１４）の第１光学チャネルは前記全視野（７０）の第１部分視野（７２ａ）を撮像するように構成され、前記アレイ（１４）の第２光学チャネルは前記全視野（７０）の第２部分視野（７２ｂ）を撮像するように構成され、第３光学チャネルは前記全視野（７０）を完全に撮像するように構成された、アレイ（１４）と、
前記撮像された部分視野（７２ａ～７２ｂ）に基づいて前記第１部分視野（７２ａ）および前記第２部分視野（７２ｂ）の画像情報を取得し、前記撮像された全視野（７０）に基づいて前記全視野（７０）の画像情報を取得し、前記全視野（７０）の結合画像情報（６１）を生成するために、前記部分視野（７２ａ～７２ｂ）の前記画像情報と前記全視野（７０）の前記画像情報とを結合するように構成された計算ユニット（３３）と、を備えた、多開口撮像装置であって、
前記多開口撮像装置は、第１走査度（ｂ×ｃ）を有する前記全視野（７０）の前記画像情報を取得して前記第１走査度（ｂ×ｃ）よりも大きい第２走査度（ｂ×ａ）を有する前記第１部分視野（７２ａ）または前記第２部分視野（７２ｂ）の前記画像情報を取得し、前記第１走査度（ｂ×ｃ）よりも大きい第３走査度を有する前記全視野（７０）の前記結合画像情報（６１）を提供するように構成され、
前記計算ユニット（３３）は、前記第１部分視野（７２ａ）および前記第２部分視野（７２ｂ）のオーバーラップ領域におけるステッチングのために前記全視野（７０）の前記画像情報を用いることにより、前記第１部分視野（７２ａ）および前記第２部分視野（７２ｂ）の前記画像情報を結合するように構成されている、
多開口撮像装置（１０、３０、６０、７０、８０、９０）。
【請求項2】
前記全視野（７０）の画像フォーマットは、前記撮像された第１部分視野（７２ａ）と前記撮像された第２部分視野（７２ｂ）との冗長性のない組み合わせに対応する、請求項１に記載の多開口撮像装置。
【請求項3】
前記第１走査度（ｂ×ｃ）を有する前記全視野（７０）の前記画像情報を取得するように構成され、前記第２走査度（ｂ×ａ）は、第１画像軸および第２画像軸（２８、３２）に沿って前記第１走査度（ｂ×ｃ）よりも少なくとも３０％大きい、請求項１又は２に記載の多開口撮像装置。
【請求項4】
前記計算ユニット（３３）は、前記全視野（７０）の前記画像情報および前記部分視野（７２ａ～７２ｂ）の前記画像情報を画像ブロックに細分化するとともに、ブロックごとに、前記全視野（７０）における第１画像ブロック（６３ｃ）に含まれる画像情報（ｘ、＊、＃）を、前記第１部分視野（７２ａ）または前記第２部分視野（７２ｂ）における第２画像ブロック（６３ａ、６３ｂ）の一致する画像情報と関連付けて、前記第１画像ブロック（６３ｃ）および前記第２画像ブロック（６３ａ、６３ｂ）を結合することにより、前記結合画像情報（６１）における前記全視野（７０）の前記画像情報の走査度を増加させるように構成されている、請求項１～３の何れか一項に記載の多開口撮像装置。
【請求項5】
前記計算ユニット（３３）は、関連付け基準が満たされる場合にのみ前記結合を実行するように前記関連付け基準を適用しながら、前記第１画像ブロック（６３ｃ）を前記第２画像ブロック（６３ａ、６３ｂ）に関連付けるとともに、前記関連付け基準が満たされない場合はいかなる結合もせずに前記第１画像ブロック（６３ｃ）内の前記全視野（７０）の前記結合画像情報（６１）を提供するように構成されている、請求項４に記載の多開口撮像装置。
【請求項6】
前記第１光学チャネルおよび前記第２光学チャネルはそれぞれ、前記全視野（７０）のうちの１つの部分視野（７２ａ～７２ｂ）を撮像するように構成された光学チャネルのグループの一部であり、前記光学チャネルのグループは、共同で前記全視野（７０）を完全に撮像するように構成されている、請求項１～５の何れか一項に記載の多開口撮像装置。
【請求項7】
前記光学チャネルのグループは、２つの部分視野（７２ａ～７２ｂ）を正確に捕捉するように構成されている、請求項６に記載の多開口撮像装置。
【請求項8】
前記第１部分視野（７２ａ）の前記画像情報を表す第１部分画像および前記第２部分視野（７２ｂ）の前記画像情報を表す第２部分画像は、第１画像軸（３２）に沿って、前記全視野（７０）の前記画像情報を表す全画像と同じ寸法を有し、第２画像軸（２８）に沿って、前記全画像と比較して異なる寸法を有する、請求項１～７のいずれか一項に記載の多開口撮像装置。
【請求項9】
単色の輝度情報を有する前記撮像された第１部分視野および第２部分視野（７２ａ～７２ｂ）を提供するように構成されている、請求項１～８のいずれか一項に記載の多開口撮像装置。
【請求項10】
前記計算ユニット（３３）は、前記全視野（７０）の前記画像情報に基づいて前記部分視野（７２ａ～７２ｂ）の前記画像情報のステッチングを実行するように構成されている、請求項１～９のいずれか一項に記載の多開口撮像装置。
【請求項11】
前記計算ユニット（３３）は、前記全視野（７０）の画像と前記第１部分視野（７２ａ）の画像との間の第１視差（８３ａ）と、前記全視野（７０）の前記画像と前記第２部分視野（７２ｂ）の画像との間の第２視差（８３ｂ）とを使用しながら、前記全視野（７０）の前記画像情報のための深度マップを生成するように構成されている、請求項１～１０のいずれか一項に記載の多開口撮像装置。
【請求項12】
前記部分視野（７２ａ～７２ｂ）は、前記全視野（７０）内のオーバーラップ領域（７３、７３ａ～７３ｅ）内でオーバーラップし、前記計算ユニット（３３）は、前記第１部分視野（７２ａ）および前記第２部分視野（７２ｂ）の前記画像情報を使用しながら、前記オーバーラップ領域（７３、７３ａ～７３ｅ）内における前記全視野（７０）の前記画像情報の深度マップを生成するように構成されている、請求項１～１１のいずれか一項に記載の多開口撮像装置。
【請求項13】
前記画像センサ（１２）と前記アレイ（１４）との間の第１相対運動（３４、３９ａ）を生成することによる第１画像軸（２８）に沿った画像安定化、および前記画像センサ（１２）と前記アレイ（１４）との間の第２相対運動（３８、３９ｂ）を生成することによる第２画像軸（３２）に沿った画像安定化のための光学画像安定化装置（２２）を備えている、請求項１～１２のいずれか一項に記載の多開口撮像装置。
【請求項14】
前記多開口撮像装置の焦点を調整するための少なくとも１つのアクチュエータ（１３４ｂ）を有する集束手段をさらに備え、前記アクチュエータ（１３４ｂ）は、前記光学チャネルの１つにおける少なくとも１つの光学系と前記画像センサ（１２）との間の相対運動をもたらすように構成されている、請求項１～１３のいずれか一項に記載の多開口撮像装置。
【請求項15】
前記第１光学チャネルおよび前記第２光学チャネルの光路（２６ａ～２６ｂ）を共同で偏向するビーム偏向手段（１８）を備えている、請求項１～１４の何れか一項に記載の多開口撮像装置。
【請求項16】
前記光学チャネルの光路（２６ａ～２６ｃ）の共有偏向のためのビーム偏向手段（１８）を含み、前記画像センサ（１２）、前記アレイ（１４）、および前記ビーム偏向手段（１８）の間の第１相対運動を生成することによる第１画像軸（２８）に沿った光学画像安定化、および前記画像センサ（１２）、前記アレイ（１４）、および前記ビーム偏向手段（１８）間の第２相対運動（３８）を生成することによる第２画像軸（３２）に沿った光学画像安定化のための光学画像安定化装置（２２）を備えている、請求項１～１５のいずれか一項に記載の多開口撮像装置。
【請求項17】
前記光学画像安定化装置（２２）は、前記第１光学チャネルおよび前記第２光学チャネルに対する第１相対運動と、前記第３光学チャネルに対する第２相対運動とを提供する、請求項１６に記載の多開口撮像装置。
【請求項18】
前記第１相対運動は、前記画像センサ（１２）と前記アレイ（１４）との間の並進相対運動、前記画像センサ（１２）と前記ビーム偏向手段（１８）との間の並進相対運動、および前記アレイ（１４）と前記ビーム偏向手段（１８）との間の並進相対運動のうちの少なくとも１つを含み、前記第２相対運動（３８）は、前記ビーム偏向手段（１８）の回転運動、前記画像センサ（１２）と前記アレイ（１４）との間の並進相対運動、および前記アレイ（１４）と前記ビーム偏向手段（１８）との間の並進相対運動のうちの少なくとも１つを含む、請求項１６または１７に記載の多開口撮像装置。
【請求項19】
前記第１画像軸（２８）および前記第２画像軸（３２）に沿った前記アレイ（１４）の前記第１光学チャネルの電子画像安定化のための電子画像安定化装置（４１）をさらに備えている、請求項１６～１８のいずれか一項に記載の多開口撮像装置。
【請求項20】
前記電子画像安定化装置（４１）は、前記第１画像軸（２８）および前記第２画像軸（３２）に沿って第１の程度まで前記第１光学チャネルを安定化させるように構成され、さらに、前記第１画像軸（２８）および前記第２画像軸（３２）に沿った第２の程度まで前記第２光学チャネルの画像安定化のために構成されている、請求項１９に記載の多開口撮像装置。
【請求項21】
前記光学画像安定化装置（２２）は、前記光学画像安定化が前記第１部分視野（７２ａ）および前記第２部分視野（７２ｂ）のうちの一つの画像に関連するように、前記第１画像軸（２８）に沿って又は前記第２画像軸（３２）に沿って前記光学画像安定化を実行するように構成されており、前記電子画像安定化装置（４１）は、前記第１部分視野（７２ａ）および前記第２部分視野（７２ｂ）のうちの一つの前記画像に対して異なる部分視野を安定させるように構成されている、請求項１９または２０に記載の多開口撮像装置。
【請求項22】
前記光学画像安定化装置（２２）は、前記第１光学チャネルと前記第２光学チャネルとを含むグループからの基準チャネルの撮像された部分視野（７２ａ～７２ｂ）の画像を安定化するように構成されており、前記電子画像安定化装置（４１）は、前記基準チャネルとは異なる光学チャネル（１６ａ～１６ｃ）に対してチャネル固有の方法で電子画像安定化を実行するように構成されており、前記多開口撮像装置は前記基準チャネルを光学的にのみ安定させるように構成されている、請求項１９～２１のいずれか一項に記載の多開口撮像装置。
【請求項23】
前記電子画像安定化装置（４１）は、チャネル固有の方法で各光学チャネル（１６ａ～１６ｃ）に対して電子画像安定化を実行するように構成されている、請求項１９～２２のいずれか一項に記載の多開口撮像装置。
【請求項24】
前記電子画像安定化装置（４１）は、前記画像センサ（１２）、前記アレイ（１４）、および前記ビーム偏向手段（１８）間の相対運動に依存する特定の機能的相関に従って、各チャネルでチャネル固有の電子画像安定化を実行するように構成されている、請求項２３に記載の多開口撮像装置。
【請求項25】
前記機能的相関は線形関数である、請求項２４に記載の多開口撮像装置。
【請求項26】
前記光学画像安定化装置（２２）は、前記ビーム偏向手段（１８）の回転運動（３８）に基づいて、２つの画像軸（２８、３２）の一方に沿った前記光学画像安定化を提供するように構成されており、前記機能的相関は、前記ビーム偏向手段（１８）の回転角を前記２つの画像軸（２８、３２）に沿った前記電子画像安定化の範囲に投影する角度関数である、請求項２４～２５のいずれか一項に記載の多開口撮像装置。
【請求項27】
前記電子画像安定化装置（４１）は、第１の時点および第２の時点において、第１部分視野（７２ａ）の第１部分画像において、一致する特徴を識別して、前記第１部分画像内における前記一致する特徴の動きの比較に基づいて前記電子画像安定化を提供するように構成されている、請求項１９～２６のいずれか一項に記載の多開口撮像装置。
【請求項28】
前記多開口撮像装置の焦点を調整するための少なくとも１つのアクチュエータを有する集束手段（８７）をさらに備え、前記アクチュエータは、前記光学チャネルの１つにおける少なくとも１つの光学系（６４ａ～６４ｃ）と前記画像センサ（１２）との間の相対運動をもたらすように構成されている、請求項１９～２７のいずれか一項に記載の多開口撮像装置。
【請求項29】
前記集束手段（８７）は、前記第１光学チャネルおよび前記第２光学チャネルに対して第３相対運動を提供するとともに、前記第３光学チャネルに対して第４相対運動を提供するように構成されている、請求項２８に記載の多開口撮像装置。
【請求項30】
前記アレイ（１４）内の前記第１部分視野（７２ａ）および前記第２部分視野（７２ｂ）を捕捉するための光学系の配列は、前記全視野（７０）を撮像する前記光学系の位置に関して対称であるか、または、
前記第１部分視野（７２ａ）および前記第２部分視野（７２ｂ）を撮像するための画像センサ領域の配置は、前記全視野（７０）を撮像するための前記画像センサ領域の位置に関して対称である、請求項１～２９の何れか一項に記載の多開口撮像装置。
【請求項31】
前記第３光学チャネルによって前記画像センサ（１２）から第１画像解像度で捕捉される前記全視野（７０）の画像情報を取得するように構成されており、前記多開口撮像装置は、最大で前記第１画像解像度で画像情報を表示するように構成された表示手段を備えている、請求項１～３０のいずれか一項に記載の多開口撮像装置。
【請求項32】
前記全視野（７０）の連続画像に基づいて、前記表示手段に前記全視野（７０）のビデオ信号を出力するように構成されている、請求項３１に記載の多開口撮像装置。
【請求項33】
前記画像センサ領域は、ライン延長方向（３５）に沿って前記画像センサ（１２）上に配置され、前記画像センサ領域は、前記ライン延長方向（３５）に垂直な画像軸（３２）に沿って、２０％の許容範囲内で同一の寸法を示す、請求項１～３２のいずれか一項に記載の多開口撮像装置。
【請求項34】
携帯電話、スマートフォン、タブレット、またはモニタとして構成されている、請求項１～３３のいずれか一項に記載の多開口撮像装置。
【請求項35】
多開口撮像装置を提供する方法（１５００）であって、
画像センサ（１２）を提供すること（１５１０）と、
光学チャネルのアレイを配置すること（１５２０）であって、各光学チャネルが全視野（７０）の少なくとも１つの部分視野を前記画像センサ（１２）の画像センサ領域に投影するための光学系を含むとともに、前記アレイの第１光学チャネルが前記全視野（７０）の第１部分視野（７２ａ）を撮像するように構成され、前記アレイの第２光学チャネルが前記全視野（７０）の第２部分視野（７２ｂ）を撮像するように構成され、第３光学チャネルは、前記全視野（７０）を完全に撮像するように構成されている、配置すること（１５２０）と、
前記撮像された部分視野（７２ａ～７２ｂ）に基づいて前記第１部分視野（７２ａ）および前記第２部分視野（７２ｂ）の画像情報を取得することであって、前記撮像された全視野（７０）に基づいて前記全視野（７０）の画像情報を取得する、取得することと、
前記全視野（７０）の結合画像情報（６１）を生成するために、前記部分視野（７２ａ～７２ｂ）の前記画像情報と前記全視野（７０）の前記画像情報とを結合することと、
を含み、
前記多開口撮像装置は、第１走査度（ｂ×ｃ）を有する前記全視野（７０）の前記画像情報を取得して前記第１走査度（ｂ×ｃ）よりも大きい第２走査度（ｂ×ａ）を有する前記第１部分視野（７２ａ）または前記第２部分視野（７２ｂ）の前記画像情報を取得し、前記第１走査度（ｂ×ｃ）よりも大きい第３走査度を有する前記全視野（７０）の前記結合画像情報（６１）を提供するように構成され、
前記第１部分視野（７２ａ）および前記第２部分視野（７２ｂ）のオーバーラップ領域におけるステッチングのために前記全視野（７０）の前記画像情報を用いることにより、前記第１部分視野（７２ａ）および前記第２部分視野（７２ｂ）の前記画像情報を結合すること、
をさらに含む、
多開口撮像装置を提供する方法（１５００）。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、全視野をマルチチャネルで捕捉するための装置、既存のカメラを補足するための補足装置、多開口撮像装置、ならびに本書に記載されている装置および多開口撮像装置を製造する方法に関する。本発明はさらに、異なる視野への対称なチャネル配置に関する。
【背景技術】
【0002】
従来のカメラはそれぞれ、オブジェクト領域全体を撮像する撮像チャネルを備えている。他のカメラには、いくつかの部分視野によって全視野を撮像するべく、いくつかの撮像チャネルを備えている。カメラからの距離が異なるオブジェクトを含む全視野の画像の正しいステッチング（一緒に播種および／または結合）を行うには、捕捉された全視野の深度マップを計算する必要がある。
【0003】
この目的で立体視捕捉を使用する場合、（人工の、中央の）参照カメラの視野を合成する必要がある場合がある。一部のオブジェクトは視線に沿って覆われる可能性があるため、これにより掩蔽または閉塞の問題が発生する可能性がある。プレビューおよび／または映像を出力するために、例えばステッチングを使用して画像処理を実行できるが、これには大量の計算費用が必要である。
【0004】
したがって、望ましいのは、上記の欠点を示さない高品質の画像を提供するという概念である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、本発明の目的は、前処理に関してほとんど費用をかけずに画像の捕捉に影響を及ぼしながら、全視野の高品質画像を提供することである。
【課題を解決するための手段】
【0006】
この目的は、独立請求項の主題によって達成される。
本発明の研究結果は、上記の目的がその画像情報で達成できることを認識したことにある。全視野の解像度は、同じ全視野の部分視野の画像情報と組み合わせることにより増加する場合があるが、全視野の画像情報は既に存在し、粗い情報として使用することができ、全体の画像情報を使用することで掩蔽アーチファクトの発生を回避することができる。
本発明の研究結果は、上記の目的がその画像情報で達成できることを認識したことにある。全視野の解像度は、同じ全視野の部分視野の画像情報と組み合わせることにより増加する場合があるが、全視野の画像情報は既に存在し、粗い情報として使用することができ、全体の画像情報を使用することで掩蔽アーチファクトの発生を回避することができる。
【0007】
一実施形態によれば、装置は、画像センサと光学チャネルのアレイとを備えている。各光学チャネルは、画像センサの画像センサ領域に全視野の部分視野を投影（撮像）するための光学系を含む。アレイの第１光学チャネルは、全視野の第１部分視野を撮像するように構成され、アレイの第２光学チャネルは、全視野の第２部分視野を撮像するように構成されている。装置は、撮像された部分視野に基づいて第１部分視野の画像情報および第２部分視野の画像情報を取得するように構成された計算ユニットを含む。計算ユニットはさらに、例えばさらなる装置から全視野の画像情報を取得し、部分視野の画像情報を全視野の画像情報と組み合わせて全視野の結合画像情報を生成するように構成される。
【0008】
部分視野の画像情報と全視野の画像情報とを組み合わせることにより、画像情報が大量にあるため、高品質の結合画像情報が得られる。さらに、全視野の画像情報は、部分画像をストリングにする必要なくユーザに表示できるため、少ない前処理費用で影響を与えることができる。
【0009】
さらなる実施形態によれば、補充装置は、そのような装置を含み、そこから全視野の画像情報を取得するためにカメラに結合されるように構成される。これにより、部分視野を追加で撮像することで、既存のカメラ（おそらくはモノカメラ）を補完し、全視野の高品質の結合画像情報を取得できる。同時に、カメラの画像は、全視野に関する情報が少なくとも大まかに存在しているので、画像処理に影響を与えるために利用することができる。
【0010】
さらなる実施形態によれば、多開口撮像装置は、画像センサ、光学チャネルのアレイを含み、各光学チャネルは、全視野の少なくとも１つの部分視野を画像センサの画像センサ領域に投影する光学系を含む。アレイの第１光学チャネルは、全視野の第１部分視野を撮像するように構成され、アレイの第２光学チャネルは、全視野の第２部分視野を撮像するように構成され、第３光学チャネルは、全視野を完全に撮像するように構成されている。
【0011】
これにより、全視野に関する画像情報の取得と、さらに同じ全視野の部分視野に関する画像情報の取得の両方が可能になり、結果として部分視野の画像領域が数回走査されるため、例えば、立体的に生成された深度マップ、したがって、高品質の画像生成が可能になる。同時に、部分視野に関する情報に加えて、全視野に関する情報があり、これによってユーザは以前の画像処理を実行せずに影響を与えることができる。
【0012】
さらなる実施形態は、全視野をマルチチャネルで捕捉するための装置を製造する方法、および多開口撮像装置を提供するための装置に関する。
【0013】
上述の実施形態は、全視野の画像および全視野の結合画像情報の主視線が変化せず、部分視野の画像によって補足されるため、掩蔽を回避または低減することができる。
さらに有利な実施形態は、従属請求項の主題である。
本発明の好ましい実施形態は、添付の図面を参照して以下に説明される。
さらに有利な実施形態は、従属請求項の主題である。
本発明の好ましい実施形態は、添付の図面を参照して以下に説明される。
【図面の簡単な説明】
【0014】
【図1】一実施形態による多開口撮像装置の概略斜視図を示す。
【図2a】一実施形態による、全視野内の部分視野の配置の概略図を示す。
【図2b】一実施形態による、全視野内の部分視野の配置の概略図を示す。
【図2c】一実施形態による、全視野内の部分視野の配置の概略図を示す。
【図3】一実施形態による、計算ユニットを含む多開口撮像装置の概略斜視図を示す。
【図5】一実施形態による、計算ユニットの可能な実装の概略図を示す。
【図7】表示手段を含むさらなる実施形態による多開口撮像装置の概略斜視図を示す。
【図8】光学安定化装置と電子画像安定化装置とを含む一実施形態による多開口撮像装置の概略斜視図を示す。
【図9】集束手段を含むさらなる実施形態による多開口撮像装置の概略斜視図を示す。
【図10】さらなる実施形態による多開口撮像装置の概略斜視図を示し、画像センサ領域は、少なくとも２つの互いに異なるチップ上に配置され、互いに対して配向される。
【図11】さらなる実施形態による多開口撮像装置の概略斜視図を示し、光学系は異なる光学長を有する。
【図12】さらなる実施形態による装置の概略斜視図を示す。
【図13】一実施形態による補充装置の概略斜視図を示す。
【図14】一実施形態による装置を提供する方法の概略フローチャートを示す。
【図15】一実施形態による多開口撮像装置を提供する方法の概略フローチャートを示す。
【発明を実施するための形態】
【0015】
本発明の実施形態が図面を参照してより詳細に説明される前に、異なる図面において、同一、機能が同一、または動作が同一の要素、目的および／または構造には、同一の参照番号が与えられており、したがって、異なる実施形態で提示された前記要素の説明は交換可能であり、および／または相互に適用可能であることに留意されたい。
【0016】
図１は、一実施形態による多開口撮像装置１０の概略斜視図を示している。多開口撮像装置１０は、複数の画像センサ領域２４ａ～２４ｃを含む画像センサ１２を備えている。画像センサ１２は、画像センサ領域２４ａ～２４ｃが共有チップの一部であるように実装されてもよいが、代替として、画像センサ１２は、画像センサ領域２４ａ～２４ｃが異なるチップ上に配置され得ることを意味するいくつかの構成要素を含んでもよい。
【0017】
代替的または追加的に、画像センサ領域２４ｂの反対側に位置する画像センサ領域２４ａおよび２４ｃ、および／または画像センサ領域２４ｂの反対側に位置する画像センサ領域２４ａは、センサ表面に関して異なるサイズ、および／または異なる数／またはサイズのピクセルを有してもよい。
【0018】
多開口撮像装置１０は、光学チャネル１６ａ～１６ｃのアレイ１４をさらに含む。各光学チャネル１６ａ～１６ｃは、全視野またはオブジェクト領域の少なくとも部分視野を画像センサ１２の画像センサ領域２４ａ～２４ｃに投影するための光学系６４ａ～６４ｃを含む。光学系６４ａ～６４ｃのうちの１つは、それぞれ、画像センサ領域２４ａ～２４ｃのうちの１つと関連付けられており、例えば集中または散乱により、光路２６ａ～２６ｃに影響を与えるように構成され、結果としてそれぞれの部分視野または全視野が画像センサ領域２４ａ～２４ｃに投影される。
【0019】
光学系６４ａ～６４ｃは、アレイ１４を形成するように共有キャリア上に配置されてもよいが、異なる方法で互いに機械的に接続されてもよく、または機械的に接触しなくてもよい。長さ、光軸に垂直な延長などのような光学チャネルの特性、および／または、例えば焦点距離、Ｆ値、開口径、収差補正、または物理的寸法等の光学系の特性は、光学チャネル１６ａ、１６ｂおよび／または１６ｃ間で変化してもよく、互いに異なっていてもよい。
【0020】
光学チャネル１６ａ～１６ｃのうちの２つは、それぞれ１つの部分視野を、関連する画像センサ領域２４ａ～２４ｃに投影するように構成される。ここで、部分視野を投影（撮像）することは、全視野が不完全な方法で映像化されることを意味する。光学チャネル１６ａ～１６ｃのさらなる光学チャネルは、全視野を完全に撮像するように構成される。多開口撮像装置１０は、例えば、光学チャネル１６ｂが全視野を完全に捕捉するように構成されるように実装される。光学チャネル１６ａおよび１６ｃは、例えば、せいぜい不完全な方法で互いにオーバーラップするか、または相互にばらばらに配置されるような、全視野のその部分視野を捕捉するように構成される。
【0021】
これは、アレイ１４の第１部分視野および第２部分視野を捕捉するための光学系６４ａおよび６４ｃの配置が、全視野の撮像を捕捉するための光学系６４ｂに関して対称であり得ること、および／または第１部分視野および第２部分視野を撮像するための画像センサ領域２４ａおよび２４ｃの配置は、全視野を撮像するための画像センサ領域２４ｂの位置に対して対称であってもよいことを意味する。視野、光学系、および画像センサ領域の間の他の関連付けも可能であるが、対称配置は、特に部分視野の追加の捕捉が中心視野に関して対称視差を可能にする、すなわち、全視野を捕捉するという利点を提供する。
【0022】
多開口撮像装置１０は、ビーム偏向領域４６ａ～４６ｃを含む任意のビーム偏向手段１８を備えていてもよく、ビーム偏向手段１８は、ビーム偏向領域４６ａ～４６ｃのそれぞれにより光路２６ａ～２６ｃを偏向するように構成される。ビーム偏向手段１８は、ビーム偏向領域４６ａ～４６ｃを含む鏡面を含み得る。あるいは、ビーム偏向領域４６ａ～４６ｃの少なくとも２つは、相互に傾斜し、複数の鏡面を形成してもよい。
【0023】
代替的または追加的に、ビーム偏向手段１８は、複数または多数のファセットを備えてもよい。ビーム偏向手段１８の利用は、捕捉される視野が、画像センサ１２とアレイ１４との間の視線とは異なる多開口撮像装置１０の方向に位置する場合に有利であり得る。代替的に、ビーム偏向手段１８が存在しない場合、全視野は、多開口撮像装置１０の視線に沿っておよび／または画像センサ１２とアレイ１４との間の方向に沿っておよびそれを超えて捕捉され得る。しかしながら、ビーム偏向手段１８を配置することにより、この目的のために画像センサ１２および／またはアレイ１４の空間配向を変更することなく、ビーム偏向手段１８を並進方式および／または回転方式で移動させることにより、多開口撮像装置１０の視線を変更することができる。
【0024】
図２ａは、例えば、多開口撮像装置１０によって捕捉することができる全視野７０内の部分視野７２ａおよび７２ｂの配置の概略図を示している。例えば、全視野７０は、光学チャネル１６ｂを使用することにより、画像センサ領域２４ｂ上に投影され得る。例えば、光学チャネル１６ａは、部分視野７２ａを捕捉し、それを画像センサ領域２４ａに投影するように構成されてもよい。光学チャネル１６ｃは、部分視野７２ｂを捕捉し、それを画像センサ領域２４ｃに投影するように構成されてもよい。このことは、光学チャネルのグループが、２つの部分視野７２ａおよび７２ｂを正確に捕捉するように構成できることを意味する。
【0025】
部分視野７２ａおよび７２ｂは、区別可能性を改善するために異なる延長部を有するように描かれているが、少なくとも画像軸２８または３２に沿って、例えば画像軸３２に沿って、同一または同等の延長部を有してもよい。部分視野７２ａおよび７２ｂの延長は、画像軸３２に沿って、全視野７０の延長と同一であってもよい。このことは、部分視野７２ａおよび７２ｂが画像軸３２に沿って全視野７０を完全に捕捉し、前者に垂直に配置された異なる画像軸２８に沿って部分的な方法で全視野を捕捉できること、および組み合わせて第２方向に沿って全視野７０の完全な捕捉が得られるように、互いにオフセットするように配置されてもよいことを意味する。
【0026】
ここで、部分視野７２ａおよび７２ｂは、互いに関してばらばらであってもよいし、またはおそらくは全視野７０の画像軸３２に沿って完全に延びるオーバーラップ領域７３においてせいぜい不完全な方法でオーバーラップしてもよい。光学チャネル１６ａおよび１６ｃを含む光学チャネルのグループは、組み合わされたときに全視野７０を完全に撮像するように構成され得る。画像軸２８は、例えば提供される画像の水平線であってもよい。簡単に言えば、画像軸２８および３２は、所望の方法で空間的に配置された２つの異なる画像軸を表す。
【0027】
図２ｂは、異なる画像軸、すなわち画像軸３２に沿って相互にオフセットするように配置され、互いにオーバーラップする部分視野７２ａおよび７２ｂの配置の概略図を示す。部分視野７２ａおよび７２ｂは、それぞれ、画像軸２８に沿っては完全に、画像軸３２に沿っては不完全な方法で全視野７０を捕捉することができる。オーバーラップ領域７３は、例えば、画像軸２８に沿って全視野７０内に完全に配置される。
【0028】
図２ｃは、それぞれ、方向２８および３２の両方で不完全な方法で全視野７０を捕捉する４つの部分視野７２ａ～７２ｄの概略図を示している。２つの隣接する部分視野７２ａおよび７２ｂは、オーバーラップ領域７３ｂでオーバーラップしている。２つのオーバーラップする部分視野７２ｂおよび７２ｃは、オーバーラップ領域７３ｃでオーバーラップしている。
【0029】
同様に、部分視野７２ｃおよび７２ｄは、オーバーラップ領域７３ｄでオーバーラップし、部分視野７２ｄは、オーバーラップ領域７３ａで部分視野７２ａとオーバーラップする。４つの部分視野のすべて７２ａ～７２ｄは、全視野７０のオーバーラップ領域７３ｅでオーバーラップしてもよい。
【0030】
全視野７０および部分視野７２ａ～７２ｄを捕捉するために、多開口撮像装置は、図１の文脈で説明したものと同様に構成することができ、アレイ１４は、例えば、４つが部分視野７２ａ～７２ｄを捕捉するためのものであり、１つが全視野７０を捕捉するためのものである５つの光学系を含み得る。
【0031】
オーバーラップ領域７３ａ～７３ｅでは、多数の画像情報項目が利用可能である。例えば、オーバーラップ領域７３ｂは、全視野７０、部分視野７２ａ、および部分視野７２ｂを介して捕捉される。全視野の画像フォーマットは、撮像された部分視野の冗長性のない組み合わせ、例えば、図２ｃの部分視野７２ａ～７２ｄの組み合わせに対応してもよく、その場合、オーバーラップ領域７３ａ～７３ｅは各場合に１回のみカウントされる。
【0032】
図２ａおよび図２ｂに関連して、これは、部分視野７２ａおよび７２ｂの冗長性のない組み合わせに適用される。オーバーラップ領域７３および／または７３ａ～７３ｅのオーバーラップは、例えば、それぞれの部分画像の最大で５０％、最大で３５％、または最大で２０％を含み得る。
【0033】
図３は、計算ユニット３３によって多開口撮像装置１０を拡張する、さらなる実施形態による多開口撮像装置３０の概略斜視図を示す。
【0034】
計算ユニット３３は、画像センサ領域２４ｂに投影され得る全視野、例えば全視野７０の画像情報に加えて、画像センサ領域２４ａおよび２４ｃに投影された部分視野、例えば部分視野７２ａおよび７２ｂに関する画像情報を意味する画像情報を画像センサ１２から取得するように構成されている。
【0035】
計算ユニット３３は、部分視野の画像情報と全視野の画像情報とを結合するように構成されている。画像情報の結合は、例えば、全視野の走査度が部分視野の走査度よりも低くなるように実行されてもよい。走査度は、部分視野または全視野の局所解像度、すなわち、オブジェクト領域のどの表面が画像センサのどの表面領域またはピクセルサイズに投影されるかを示す量を意味すると理解され得る。本明細書で説明する実装では、解像度という用語は、対応する画像センサ表面に投影される部分視野または全体視野の拡大を意味すると理解される。
【0036】
したがって、比較的大きい解像度とは、同じピクセルサイズの視野の一定の表面積がより大きな画像センサ表面に投影されること、および／または同じピクセルサイズの比較的小さいオブジェクトの表面積が一定の画像センサの表面に投影されることを意味する。画像情報を結合することにより、結合画像情報６１の走査度および／または解像度は、全視野の取得に関して増加され得る。
【0037】
図４は、例えば、多開口撮像装置１０または３０内に配置され得る画像センサ領域２４ａ～２４ｃの概略図を示す。部分視野７２ａは、例えば、画像センサ領域２４ａに投影される。部分視野７２ｂは、例えば、画像センサ領域２４ｃに投影される。全視野７０は、例えば、画像センサ領域２４ｂに投影される。部分視野７２ａおよび７２ｂの空間的配置は、例えば、図２ｂの構成に対応し得る。
【0038】
画像センサ領域２４ａ、２４ｂおよび２４ｃは、画像軸３２に沿って、同一もしくは２０％、１０％または５％の許容範囲内で同一であり、同じピクセル数に対応し得る物理的延長部ｂを有し得る。画像軸２８に沿って、画像センサ領域２４ａおよび２４ｃは、同じピクセル数に対応し得る物理的延長部ａを有し得る。延長部またはピクセルａは、画像軸２８に沿って、画像センサ領域２４ｂの延長部またはピクセル数ｃより大きくてもよい。
【0039】
部分視野７２ａおよび７２ｂは、画像軸２８に沿ってサイズが等しく、全視野７０と比較されるため、走査は、画像軸２８に沿った全視野のより高い解像度またはより高い走査度で行われる。すなわち、結果として得られる組み合わせ解像度および／または走査度が増加するように、オブジェクト領域内のより小さい領域が一定サイズのピクセルに投影される。超解像効果は、例えば、部分視野の画像のピクセルが相互サブピクセルオフセットを示す場合に実装できる。
【0040】
画像軸３２に沿って、例えば、部分視野７２ａおよび７２ｂを介して全視野７０を撮像するために、いくつかの２×ｂピクセルが使用され、ここではオーバーラップ領域７３を考慮しなければならない。しかしながら、部分視野７２ａおよび７２ｂの互いにばらばらなまたは単なる部分的なオーバーラップも、画像軸３２に沿って、画像センサ領域２４における全視野７０の捕捉と比較して増加した解像度ももたらす。
【0041】
したがって、画像センサ領域２４ａ～２４ｃの画像を結合することにより、撮像領域２４ｂで得られる解像度と比較して、全視野６１の結合画像情報を増加させることができる。画像センサ領域２４ｂ内の画像のアスペクト比は、３：４の値を有し得る。これにより、同じアスペクト比の組み合わせ画像を取得できる。
【0042】
画像センサ領域２４ａおよび／または２４ｃの解像度は、それぞれの画像軸および／または新生画像において、画像センサ領域２４ｂよりも、２０％、１０％、または正確に少なくとも３０％、少なくとも５０％、または少なくとも１００％の許容範囲内で大きくなってもよく、ここでは、オーバーラップ領域の拡張が考慮される。
【0043】
画像センサ領域２４ａ～２４ｃは、例えば、画像軸２８と平行なライン延長方向３５に沿って配置され得、および／または、多開口撮像装置１０または３０の光学系６４ａ～６４ｃは、ライン延長方向３５に沿って配置され得る。ライン延長方向３５に垂直であり、多開口撮像装置の厚さ方向であり得る方向ｚに沿って、例えば、画像センサ領域２４ａ～２４ｃは、公差範囲内で同一の延長部を有していてもよく、このことは、多開口撮像装置の追加の厚みを避けながら、全視野の捕捉の解像度の増加を得ることができることを意味する。
【0044】
言い換えれば、少なくとも３つのカメラチャネル、すなわち光学チャネルの線形対称配置を実施することができ、光学チャネルのうちの１つ、好ましくは中央の光学チャネルが全視野をカバーし、（２つの）外側チャネルはそれぞれ、視野の一部、例えば、上／下または左／右のみをカバーし、それらは一緒に全視野をカバーし、同時に視野の中心でわずかにオーバーラップする場合がある。これは、左／右および／または上／下で、高解像度の部分画像が取得されることを意味する。中央では、関連する視野全体をカバーする低解像度の画像が捕捉される。
【0045】
中央画像の解像度は、同じ画像高さに対応する短い焦点距離によって、すなわちアスペクト比を全く考慮せず、且つ同じピクセルサイズによって決定されまたは可能とされる程度に、低下する可能性がある。換言すれば、画像センサの高さ２４ａ、２４ｂ、および２４ｃは同一である。したがって、オーバーラップがない場合、画像センサ領域２４ｂの画像の高さは、２４ａと２４ｃとを合わせた画像の高さの半分だけである。したがって、同じ視野を撮像するために、画像センサ領域２４ｂ（光学チャネル２６ｂ）の光学系の焦点距離（または倍率）は、２４ａおよび２４ｃの場合の半分の長さまたはサイズであり得る。
【0046】
これは、同じピクセルサイズの場合、２４ａと２４ｃとを組み合わせた場合と比較して、２４ｂの解像度（または視野のスキャン）の半分を意味する。対応する画像幅は、単に画像の望ましいアスペクト比から得られる。
【0047】
中央カメラチャネルは、後者が計算ユニットによって作成された場合に深度マップを生成するための参照カメラである。中央チャネルに関する対称性を含む上記の配置は、深度マップにおける掩蔽に関して得られる結合された全画像の高品質化を可能にする。したがって、中央の画像は、高解像度の結合画像を計算するための基準でもあることは理にかなっている。
【0048】
少なくとも２つの高解像度の画像が、ブロックごとに低解像度の参照に挿入される。したがって、それらは、適合の精度が確保された場合、つまり部分視野と全視野とに一致する特徴が見つかった場合に使用できる素材として機能する。前記挿入は、非常に小さなブロックで行われる可能性があり、そのため、大きな深度ジャンプを含む微細なオブジェクトについても、視差関連の問題を回避することができる。
【0049】
適切なブロックは、例えば、対応関係によって検索され、これは、視差マップ、すなわち深度マップが生成されることを意味し得る。ただし、低解像度のブロックについて十分な信頼性のある高解像度のブロックが見つからない場合でも、壊滅的な影響はない。低解像度の元の画像をそのまま残すだけである。言い換えると、深度マップに存在する穴は、はっきりと見えるアーチファクトではなく、画像全体のよりぼやけた場所になる。
【0050】
言い換えると、中央の画像センサは、焦点距離が短いために、視野全体をカバーし、本質的に望ましいアスペクト比を示す低解像度の画像を捕捉する可能性がある。上記カメラは、例えば、取得された結合画像が上記カメラの遠近感を示すため、参照カメラと呼ばれることもある。
【0051】
次に続くのは、高解像度の部分画像を結合することであり、これらの画像は、部分的に重なり合う場合があり、組み合わせて、参照カメラと同じアスペクト比を示す。参照カメラを使用して部分視野の画像を結合すると、そこには、解像度が低くても本質的に正しい画像が存在するため、オーバーラップ領域で非常に正確なステッチングが可能になる。有利な実装によれば、利用可能な設計高さを最適な方法で活用するために、３つの画像センサすべての高さは同一またはほぼ同一である。
【0052】
すべてのカメラは、共有ミラー（ビーム偏向手段）を介して偏向できる。深度マップは、必要に応じて次のように計算できる。２つの高解像度部分画像のオーバーラップ領域７３では、後者と低解像度の全体画像とによって上記計算を実行することができ、残りの領域では、高解像度の部分画像の１つを低解像度の全体画像の対応する部分と組み合わせることにより、この計算を行うことができる。
【0053】
図５は、計算ユニット３３の可能な実装の概略図を示している。計算ユニット３３は、全視野７０の画像情報および部分視野７２ａおよび７２ｂの画像情報を、部分視野７２ａの画像ブロック６３ａ、部分視野７２ｂの画像ブロック６３ｂ、全視野７０の画像ブロック７３ｃに分割するように構成されてもよい。
【0054】
画像ブロックは、画像軸２８および３２の両方に沿って特定の数のピクセルを含んでもよい。ブロックは、画像軸２８および３２に沿って、例えば、最小２および最大１０００ピクセル、最小１０および最大５００ピクセル、または最小２０および最大１００ピクセルのサイズを有してもよい。
【0055】
計算ユニットは、ブロックごとに、全視野の画像ブロック内に含まれる画像情報を、第１部分視野７２ａまたは第２部分視野７２ｂの画像ブロックの一致する画像情報と関連付けるように構成されてもよく、第１画像ブロックおよび第２画像ブロックを結合することにより、結合画像情報における全視野の画像情報の解像度を増加させる。第１画像ブロックおよび第２画像ブロックは、それぞれ、そのオーバーラップ領域内の異なる部分視野の画像の一致する画像ブロックであってもよい。
【0056】
代替的または追加的に、第１ブロックまたは第２画像ブロックは全体画像のブロックであり、他のブロックは部分画像のブロックであり得る。計算ユニット３３は、例えば、全視野７０のブロック６３ｃ１のオブジェクトｘと一致するものとして、ブロック６３ａ３のｘとして示されるオブジェクトを識別するように構成される。全視野７０の解像度と比較して高い部分視野７２ａの解像度に基づいて、計算ユニットは、両方のブロック６３ａ３および６３ｃ１の画像情報を互いに結合して、当該ブロックにおいては、全視野に関して元よりも結果として高くなった解像度が得られる。
【0057】
これに関連して、結果として生じる組み合わせ解像度は、部分視野７２ａの捕捉の解像度の値に対応するか、それよりも高くなり得る。全視野７０のブロック６３ｃ２において＃で示されるオブジェクトは、例えば、部分視野７２ａのブロック６３ａ２および部分視野７２ｂのブロック６３ｂ１において、計算ユニットによって識別されるので、画像品質を改善するために、部分視野７２ａおよび７２ｂの両方の画像からの画像情報を使用することができる。
【0058】
ブロック６３ｃ３において＊で示されるオブジェクトは、計算ユニットによって、例えば部分視野７２ｂのブロック６３ｂ２において識別され、その結果、ブロック６３ｂ２の画像情報が、例えば計算ユニットによって使用され、ブロック６３ｃ３における画像情報が増加する。
【0059】
例えばブロック６３ｃ４に関して示されるように、部分視野７２ａおよび７２ｂのブロックが全視野のブロックに関連付けられない場合、計算ユニットは、少なくともブロック６３ｃ４が全体画像内に位置するように、結合された全体画像のブロックを出力するように構成されてもよい。つまり、解像度が局所的に増加していなくても、画像情報が表示される場合がある。これにより、せいぜい、画像全体にわずかな変化が生じる可能性があり、このことは、つまり、ブロック６３ｃ４の位置では、例えば、局所的に解像度が低下する可能性がある。
【0060】
計算ユニット３３は、全視野７０の画像情報に基づいて、部分視野７２ａおよび７２ｂの画像情報のステッチングを行うように構成されていてもよい。これは、全視野の全撮像が、部分視野７２ａおよび７２ｂの部分画像の相互位置合わせを少なくともサポートするために、または実行さえするために使用され得ることを意味する。
【0061】
代替的または追加的に、全視野の全画像からの情報は、部分画像からの、および／または全画像内の部分画像内のシーン内のオブジェクトの配置をサポートまたは実行するために活用されてもよい。全視野は、部分視野７２ａおよび７２ｂにも描かれている多数またはすべてのオブジェクトを含むため、それぞれの部分画像と全視野の全体画像との比較、および／またはオブジェクトの位置の比較により、画像全体に対する位置合わせが可能になるため、部分画像の相互ステッチングが可能になる。
【0062】
言い換えれば、オブジェクトが全体画像に結合された状態で既に存在するため、低解像度画像は、高解像度画像のステッチングをサポートするための基礎、すなわち、方向の基礎を常に先験的に提供する。２つの広範囲な部分画像領域の単純な結合に加えて、ステッチングは、ステッチ画像内における距離の関数として、オブジェクトがシーン内および／または背景に対して（画像内の横方向の位置に関して）異なる方法で再統合されることも意味し、このことは、シーン内の距離に関連するオブジェクトの分布に応じて、必要または望ましい場合がある。
【0063】
ここで説明する概念は、正確なステッチングに深度マップが必要な場合でも、ステッチングプロセスを大幅に簡素化する。中央の位置にカメラがないことによって引き起こされる掩蔽の問題は、少なくとも３つの光学チャネルが全視野に向けて少なくとも３つの視線を可能にするため回避できる。したがって、１つの画角での掩蔽は、１つまたは２つの他の画角によって低減または防止され得る。
【0064】
図６は、一実施形態による多開口撮像装置３０の概略上面図を示している。計算ユニット３３は、深度マップ８１を生成するように構成され得る。深度マップ８１は、全視野７０の画像情報を参照してもよい。計算ユニット３３は、深度マップを生成するために、例えば、部分視野７２ａの画像と全視野７０の画像との間の視差８３ａと、部分視野７２ａの画像と全視野７０の画像の間の視差８３ｂを活用するように構成される。これは、光学系６４ａ、６４ｂおよび６４ｃならびに画像センサ領域２４ａ、２４ｂおよび２４ｃの物理的距離により、計算ユニット３３の側で深度マップ８１を生成するために利用される異なる視野角または視点が得られることを意味する。
【0065】
計算ユニット３３は、部分視野７２ａおよび７２ｂの画像情報を用いて、部分視野７２ａおよび７２ｂがオーバーラップするオーバーラップ領域７３に深度マップ８１を生成するように構成されてもよい。これにより、個々の視差８３ａおよび８３ｂと比較して、簡略化された用語では、個々の視差の合計、ならびに高解像度（部分）画像の利用と比較して大きい視差の利用が可能になる。これは、一実施形態では、計算ユニット３３は、画像センサ領域２４ｂに投影される全視野７０の情報なしで、オーバーラップ領域７３に深度マップ８１を生成するように構成され得ることを意味する。あるいは、オーバーラップ領域７３内の全視野７０の情報の利用が可能であり、例えば、高い情報密度を達成するために有利である。
【0066】
画像センサ領域２４ａおよび２４ｃにおける投影は、２４ｂのような（例えばＲＧＢ）ベイヤーカラーフィルタ配列を利用せずに、または少なくとも均一なカラーフィルタを使用しながら、有利なさらなる発展に従って達成することができ、結果として単色輝度情報を有する第１部分視野および第２部分視野が多開口撮像装置により提供される。例えば、単色の赤外線フィルタ、紫外線フィルタ、赤フィルタ、青フィルタなどを配置してもよいし、フィルタを全く配置しなくてもよいが、２４ｂのようなベイヤ配列のような多色フィルタは配置しなくてもよい。言い換えれば、外側チャネルは全視野の画像の品質を高めるという点で細部に寄与するだけであるため、外側チャネル１６ａおよび１６ｃがカラーフィルタを含まないことが有利な場合がある。
【0067】
外側のチャネルは、輝度情報のみに貢献する。つまり、一般的なシャープネス／細部の増加に寄与するが、色情報の改善はない。これにより得られる利点は、感度の向上、したがってノイズの低減にある。これにより、例えばピクセルに重畳されるベイヤ・カラーフィルタ・パターンがないため、画像の平滑化の必要性が低くなるため、最終的に解像度および／またはシャープネスも向上するが、デベイヤリングが不要なため、輝度のみのチャネルに存在する解像度は本質的に高くなる（理想的には２倍）。事実上、カラーピクセルは白黒ピクセルのサイズの約２倍になる。ここでは、白黒ピクセルは解像度のみに使用することはできないが、白黒ピクセルを典型的なＲＧＢＧフィルタパターンと重ね合わせることにより、色の識別にも使用できるため、これは物理的には当てはまらない。
【0068】
図７は、表示手段８５を含むさらなる実施形態による多開口撮像装置７１の概略斜視図を示す。多開口撮像装置７１は、画像センサ領域２４ｂに投影される全視野７０の表示を表示手段８５で再現するように構成される。この目的のために、計算ユニット３３は、例えば、画像センサ１２からの対応する信号を表示手段８５に転送するように構成され得る。あるいは、表示手段８５は、画像センサ１２に直接結合され、画像センサ１２から対応する信号を取得してもよい。
【0069】
表示手段８５は、最大で画像センサ領域２４ｂによって提供される解像度で、全視野の画像情報を受信および出力するように構成される。好ましくは、画像センサ領域２４ｂに投影される全視野の解像度は、変更されずに表示手段８５に転送される。これにより、現在捕捉されている可能性のある画像または映像を、例えばユーザのプレビューとして表示できるため、ユーザは捕捉に影響を与えることができる。結合画像情報６１によって提供される高解像度画像は、異なる時点で表示手段８５に提供されてもよく、異なる表示手段に提供されてもよく、記憶または送信されてもよい。
【0070】
時々、すなわち必要な場合にのみ、結合画像情報６１を取得することも可能であり、そうでなければ、深度マップを必要とせず、または細部にズームインする必要がないときに例えば表示装置８５で見るなど、現在の用途に十分であれば、おそらくはより低い解像度を有する全視野７０の画像を利用することもできる。これにより、計算および時間の点である程度の費用が必要になる画像信号の組み合わせなしで画像捕捉に影響を与えることができ、このことは、表示手段８５の遅延および計算に必要なエネルギーにとって有利な効果がある。多開口撮像装置７１の部分でいくつかの画像をストリングにすることにより、画像センサ１２からビデオ信号を得て、表示手段８５に全視野のビデオ信号を出力することも可能である。
【0071】
例えば、本明細書に記載の多開口撮像装置７１または異なる多開口撮像装置、例えば、多開口撮像装置１０、３０または６０は、携帯電話、スマートフォン、タブレット、またはモニタとして形成されてもよい。
【0072】
多開口撮像装置７１は、表示装置８５上でリアルタイムのプレビューを提供してもよく、したがって、２つの外側カメラチャネルを常にアクティブにする必要はないため、電流を節約可能であり、および／または部分画像をリンクするために追加のコンピューティング費用が必要なく、これにより、プロセッサのコンデンサ使用率を削減したり、エネルギー消費を削減したりでき、バッテリ寿命も延長される。
【0073】
代替的または追加的に、生データを最初に保存し、ＰＣなどの別の計算ユニットに送信する直前になってから、および／または細部にズームインしながら表示装置で上記画像を表示するときに、高解像度画像を生成することができる。ここで、関連する画像領域に対してのみ組み合わせ画像を生成すること、または少なくとも無関係な画像領域に対して組み合わせ画像を生成しないことが可能である。関連エリアは、例えば、拡大された描写（ズーム）が望まれる画像エリアであり得る。
【0074】
したがって、個々の画像（フレーム）および映像の両方について、画像センサ領域２４ｂの画像を直接使用することができ、おそらく映像に十分な解像度を有することができる。中央のカメラに、一般的なビデオフォーマットに適した解像度、例えば、最初から１０８０ｐまたは４Ｋを提供することも考えられ、そのため、リサンプリング（サンプリングレート変換）、ビニング（隣接する画像要素の結合）またはスキップ（ピクセルのスキップ）は、通常は実行されるが、回避でき、この文脈では、高解像度の静止画像を生成できるように、解像度が十分に高い場合がある。
【0075】
図８は、光学画像安定化装置２２と電子画像安定化装置４１とを備える多開口撮像装置８０の概略斜視図を示す。画像安定化に関して以下で説明する態様は、計算ユニット３３の機能を使用しながら、制限なしに、個別にまたは組み合わせて実現することができる。
【0076】
光学画像安定化装置２２は、例えばアクチュエータ３６ａ、３６ｂおよび４２を含み、アクチュエータ３６ａおよび３６ｂは、アレイ１４をライン延長方向３５に沿って変位させることにより、画像センサ領域２４ａ～２４ｃの部分視野の画像の光学画像安定化を得るように構成される。加えて、光学画像安定化装置２２は、例えば、ビーム偏向手段１８の回転運動３８によって画像軸３２に沿って光学画像安定化を得るように構成される。
【0077】
例えば、アレイ１４の光学系６４ａおよび６４ｂは、ほぼ同一の方法で部分視野を捕捉するように、それぞれ最大１０％、最大５％または最大３％の許容範囲内で互いに異なる有効焦点距離ｆ１およびｆ３を含む。光学系６４ｂは、そこから少なくとも１０％異なる焦点距離ｆ２を有してもよい。すべてのチャネルに対して実行される回転運動３８は、焦点距離ｆ２とｆ１との差と協力して、またはｆ１とｆ３との間の焦点距離の差内で、画像センサ領域２４ａ～２４ｃの画像の異なる変位６９１～６９３をもたらす。これは、光学画像安定化装置２２が、すべてのチャネルに対して実行される回転運動３８により、画像内の異なる効果を達成し、少なくとも１つ、いくつかまたはすべての画像が理論上の収差なしの状態から逸脱することを意味する。
【0078】
光学画像安定化装置２２は、すべての画像の偏差を全体的に最小化するように構成されてもよいが、これにより、各画像に欠陥が生じる可能性がある。あるいは、光学画像安定化装置２２は、画像センサ領域２４ａ～２４ｄの１つで参照画像を選択し、参照画像または基準チャネルの画像が可能な限り正確になるようにアクチュエータ４２の制御を実行するように構成されてもよく、これは収差なしとも呼ばれる。これは、すべてのチャネルに対して実行される光学画像安定化により、影響を受ける画像軸に関してチャネルを収差なしに保ち、他のチャネルは、異なる焦点距離ｆ１～ｆ３のために上記参照画像から逸脱することを意味する。言い換えると、チャネルは、実装されている機械的光学画像安定化装置によって修正され、これは、すべてのチャネルに影響を与えるが、すべてのチャネルを安定に保つわけではない。上記さらなるチャネルは、電子画像安定化装置によってさらに修正される。
【0079】
光学画像安定化装置は、チャネル固有の方法で、および／または光学チャネルのグループ、例えば、光学チャネルの部分視野を捕捉するための光学チャネル１６ａおよび１６ｃのグループ、および全視野を捕捉するための光学チャネル１６ｂを含むグループに対して、光学チャネルの相対運動を提供するように構成され得る。
【0080】
電子画像安定化装置４１は、画像センサ１２、アレイ１４およびビーム偏向手段１８の間の相対運動に依存する特定の機能的相関に従って、各チャネルでチャネル固有の電子画像安定化を実行するように構成され得る。電子画像安定化装置４１は、各画像を個別に安定させるように構成されてもよい。このため、電子画像安定化装置４１は、画像の光学的品質を向上させるために、グローバル値、例えばカメラの動きなどを使用してもよい。
【0081】
電子画像安定化装置４１は、光学画像安定化装置２２の参照画像に基づいて電子式画像補正を実行するように構成されることが特に有利である。異なる焦点距離は、光学画像安定化によって引き起こされる画像の異なる変化間において、好ましくは線形の形、例えば、
収差＝ｆ（ｆｉ、相対運動）、
の機能的相関をもたらし、すなわち、収差は、全体的に、または基準チャネルに関連して、焦点距離または焦点距離の差、および視線を変更するため、または光学画像安定化を達成するために実行される相対運動の関数として表すことができる。
収差＝ｆ（ｆｉ、相対運動）、
の機能的相関をもたらし、すなわち、収差は、全体的に、または基準チャネルに関連して、焦点距離または焦点距離の差、および視線を変更するため、または光学画像安定化を達成するために実行される相対運動の関数として表すことができる。
【0082】
電子画像安定化装置４１は、実行される電子画像安定化に関する信頼できる情報を取得するため、および機能的相関を確立および／または活用するために、画像センサ１２、アレイ１４、およびビーム偏向手段１８の間の相対運動の程度を、焦点距離ｆ１～ｆ３、または基準チャネルに関する焦点距離の差にリンクすることができる。光学特性および／または機能的相関の必要なデータは、キャリブレーション中に取得できる。別の画像に対する画像の変位を決定するための画像の相互整列は、部分視野の画像、例えばエッジ輪郭、オブジェクトサイズなどの画像内の一致する特徴を決定することによって達成されてもよい。
【0083】
これは、例えば、第１画像および第２画像における特徴の動きの比較に基づいて電子画像安定化を提供するようにさらに構成され得る電子画像安定化装置４１によって識別され得る。したがって、チャネル固有の電子画像安定化は、画像の細部の動きのチャネル固有の画像評価によって達成され得る。
【0084】
異なる画像での比較の代わりに、またはそれに加えて、特に時間間隔を空けて撮影された２つの写真またはフレームに関して、同じ画像内の特徴の比較を実行することもできる。光学画像安定化装置４１は、第１時点および第２時点で対応する部分画像内の一致する特徴を識別し、第１画像内の特徴の動きの比較に基づいて電子画像安定化を提供するように構成され得る。比較は、例えば、相対的な動きによって特徴が変位され、画像アーチファクトを少なくとも部分的に修正するために画像が後方に変位されなければならない変位の広がりを示してもよい。
【0085】
光学画像安定化装置は、画像センサ領域２４ａ内の画像などの基準チャネルの撮像された部分視野の画像を安定させるために使用されてもよい。これは、基準チャネルが完全に光学的に安定化されることを意味する。実施形態によれば、複数の光学画像安定化装置を配置することができ、少なくともグループの光学チャネル、例えば、第１焦点距離を有する１つまたは複数の光学チャネル、例えば全視野を撮像する光学チャネル、および例えば部分視野を撮像するための第２焦点距離を有する光学チャネルの光学画像安定化を提供する。あるいは、チャネル固有の光学画像安定化も提供され得る。
【0086】
電子画像安定化装置４１は、例えば、基準チャネルとは異なり、画像センサ領域２４ｂおよび２４ｃに投影する光学チャネルに対して、チャネル固有の方法で画像安定化を実行するように構成される。多開口撮像装置は、光学的に排他的に基準チャネルを安定化するように構成されてもよい。すなわち、一実施形態では、機械的に達成される光学画像安定化のみを使用することにより、基準チャネルで十分な画像安定化を達成することができる。他のチャネルでは、焦点距離の違いによる不十分な光学画像安定化の上述の効果を完全または部分的に補償するために、追加の電子画像安定化があり、上記電子安定化は各チャネルで個別に実行される。
【0087】
さらなる実施形態によれば、多開口撮像装置の各チャネルが個々の電子画像安定化を含むことも可能である。多開口撮像装置の各チャネルに対して個別に、すなわち専用の範囲で実行される電子画像安定化は、個々のチャネルで実施される画像変位間の特定の機能的相関が活用されるように行われ得る。例えば、チャネル内の方向３２に沿った変位は、異なる画像の方向３２に沿った変位の１．１倍、１．００７倍、１．３倍、または２倍または５倍になる。さらに、このチャネル固有の機能的相関は、ビーム偏向ユニットおよび／またはアレイおよび／または画像センサ間の相対運動に依存する場合があり、線形関数でも、画像軸に沿った電子画像安定化の範囲に対するビーム偏向手段の回転角を投影する角度関数に対応してもよい。方向２８の数値が同一または異なる場合、同一の相関が得られる。
【0088】
すべての実施形態に当てはまるのは、実装された相対運動が、例えばジャイロスコープなどの対応する追加のセンサなどによって捕捉されるか、１つ、いくつか、またはすべてのチャネルの捕捉された画像データから得られることである。このデータまたは情報は、光学画像安定化装置および／または電子画像安定化装置に使用することができ、このことは、例えば、多開口撮像装置が、センサからセンサ信号を受信し、多開口撮像装置とオブジェクトとの間の相対的な動きと相関する情報に関してセンサ信号を評価するとともに、この情報を使用して光学画像安定化装置および／または電子画像安定化装置の制御を実行するように構成されることを意味する。
【0089】
光学画像安定化装置は、方向２８および方向３２に沿った安定化のための様々な構成要素、例えばアレイ１４およびビーム偏向手段１８の回転３８の移動によって画像軸２８および画像軸３２に沿った光学画像安定化を得るように構成され得る。どちらの場合でも、光学系６４ａ～６４ｃの違いが影響する。電子画像安定化に関するこれまでの説明は、両方の相対的な動きに対して実装できる。特に、方向２８および３２を互いに別々に考慮することにより、方向２８および３２に沿った光学系６４ａ～６４ｃ間の異なる偏差を考慮することが可能になる。
【0090】
本明細書で説明される実施形態は、画像センサ領域２４ａ～２４ｃ内の部分画像に対して画像軸２８および／または３２を共有することができる。あるいは、方向も異なり、互いに変換される場合がある。
【0091】
図９は、集束手段８７を含むさらなる実施形態による多開口撮像装置９０の概略斜視図を示す。集束手段８７は、１つ以上のアクチュエータ８９ａ、８９ｂおよび／または８９ｃを含むことができ、これらは、アレイ１４と画像センサ１２との間および／またはビーム偏向手段１８とアレイ１４との間および／またはビーム偏向手段１８と画像センサ１２との間の距離を変えるように構成され、画像センサ領域２４ａ、２４ｂまたは２４ｃへの画像の焦点合わせを調整する。
【0092】
光学系６４ａ、６４ｂ、および６４ｃは、一緒に移動できるように共有キャリア上に配置されるように描かれているが、少なくとも光学系６４ｂ、画像センサ領域２４ｂ、および／またはビーム偏向領域４６ｂは、他のチャネルでの焦点合わせとは異なるように、光学チャネル１６ｂの焦点合わせを調整するべく、個別に移動できる。すなわち、集束手段８７は、第１光学チャネル１６ａおよび第２光学チャネル１６ｃの相対運動と、光学チャネル１６ｂの相対運動とを調整して、これらの相対運動が互いに異なるように構成され得る。
【0093】
集束手段８７は、光学画像安定化装置２２と組み合わせることができ、すなわち、アクチュエータによって光学画像安定化装置２２および集束手段８７の両方に提供される動きは、追加の配置アクチュエータによって、または集束および光学画像安定化の両方の目的で、コンポーネント間で動きを提供する共有アクチュエータによって提供することができる。
【0094】
言い換えれば、オートフォーカス（ＡＦ）おそらくは光学画像安定化（ＯＩＳ）に別々のアクチュエータを使用することが有利である。解像度と焦点距離に関して隣接するチャネルのアーキテクチャが異なる可能性があるため、チャネル固有の作動によりチャネル固有の調整が可能になり、すべてのチャネルでオートフォーカスおよび／または画像安定化の利点が得られる場合がある。例えば、高品質で同じ焦点距離を実行するために、様々な焦点距離でのオートフォーカス機能のために、焦点を合わせる目的で、カバーされる様々な像側距離が必要である。全視野を捕捉するように構成された光学チャネルがビーム偏向手段なしで構成されるように、代替の構造形態が実装されてもよい。
【0095】
図１０は、さらなる実施形態による多開口撮像装置１００の概略斜視図を示し、画像センサ領域２４ａ～２４ｃは、互いに方向付けられる、すなわち傾斜する少なくとも２つの互いに異なるチップ上に配置される。画像センサ領域２４ｂは、光学系６４ｂと組み合わせて、おそらくは全視野７０に直接向かう第１視線を含み得る。画像センサ領域２４ａおよび２４ｃは、それらに関連付けられた光学系６４ａおよび６４ｃと組み合わせて、前者とは異なる、例えばｘ方向に沿ってそれに垂直な視線を含むことができ、光路２６ａおよび２６ｃは、ビーム偏向手段１８によって部分視野７２ａおよび７２ｂに向かって偏向される。これは、前述の多開口撮像装置に代わる構造形態を表している。
【0096】
ビーム偏向手段１８の利用は、チャネル１６ｂが結局は部分視野７２ａおよび７２ｂよりも大きい全視野を捕捉する必要があるため、部分視野を捕捉するための隣接するチャネルよりもチャネル２４ｂの方が大きい特定のミラーサイズまたは偏向表面積サイズをもたらす可能性がある。これにより、デバイスの厚さ方向に沿って、例えばいくつかの実施形態では望ましくないｚ方向に沿ってサイズが増加する場合がある。したがって、ビーム偏向手段１８の使用は、光路２６ａおよび２６ｃのみが偏向され、光路２６ｂが全視野７０に向かって直接、すなわち偏向することなく向けられるように再構成され得る。
【0097】
言い換えると、中央カメラチャネルは、偏向ミラーなしで、つまり古典的な向きで、２つの偏向された高解像度カメラチャネルの間に中央に取り付けられ、装置、例えば電話の平面から直接見えるようにする。例えば少なくとも３０％、少なくとも５０％、または少なくとも１００％の追加のチャネルの上記の高解像度に対応する０．７７および／または１／１．３、０．６６および／または１／１．５、または０．５および／または１／２の比較的低い解像度、及びそれに対応する焦点距離により、中央カメラチャネルは、このような直立構成で、横たわった構成になっている２つの外側のカメラチャネルとほぼ同じｚ方向に沿った設計高さを備えている。
【0098】
前記解決策は、中央チャネル１６ｂの視線の切り替えをおそらく妨げる可能性があるが、これは、追加のカメラチャネルを配置することによっておそらく補償され得る。アクチュエータを個別に配置することにより、オートフォーカス機能および／または光学画像安定化を配置することができる。
【0099】
さらに言い換えると、大きな視野「１」は、短い焦点距離および／または小さな倍率で「立ち上がって」撮像され、小さな部分視野「２」は、より長い焦点距離および／またはより大きな倍率で「横たわった位置でおよび折りたたまれた光路により」撮像され、それぞれの状況に最もよく適合させ得る。「１」は既に短く設計されているが、大きな視野を可能にし、ミラーを大きくすることもあり、一方で、「２」は長く設計されてもよく、視野が狭いため、小さいミラーを必要とし得る。
【0100】
図１１は、さらなる実施形態による多開口撮像装置１１０の概略斜視図を示しており、焦点距離ｆ１およびｆ３を含む光学系６４ａおよび６４ｃの画像センサ１２からの距離ｄ１は、焦点距離ｆ２を含む光学系６４ｂと画像センサ１２との間の距離ｄ２より大きい。したがって、距離ｄ１および／またはｄ２は、光学系６４ａ～６４ｃの焦点距離に適合させることができる。ビーム偏向手段１８が配置される場合、ビーム偏向手段１８のビーム偏向領域４６ａ～４６ｃは個別に制御可能であってもよい。
【0101】
図１２は、さらなる実施形態による装置１２０の概略斜視図を示す。装置１２０は、画像センサ領域２４ａおよび２４ｃを含む画像センサ１２を含む。装置１２０は、光学チャネル１６ａおよび１６ｃを含むアレイ１４をさらに含む。上述の多開口撮像装置に関連して説明したように、各光学チャネル１６ａおよび１６ｃは、それぞれ、全視野７０の部分視野７２ａおよび７２ｂをそれぞれ撮像するための光学系６４ａおよび６４ｃを含む。簡単に言えば、画像センサ１２およびアレイ１４は、全視野を撮像するための光学チャネルがない状態で構成されてもよい。
【0102】
装置１２０は、画像センサ１２から部分視野７２ａおよび７２ｂに関する画像情報を取得するように構成された計算ユニット３３を含む。計算ユニット３３はさらに、全視野７０の画像情報を含む信号９１を取得するように構成される。計算ユニット３３は、部分視野７２ａおよび７２ｂの画像情報を全視野７０の画像情報９１と結合して、全視野７０の結合画像情報６１を取得するように構成される。
【0103】
簡単に言えば、装置１２０は、既存のカメラ装置用の追加モジュールであってもよく、カメラ装置から、捕捉された全視野に関する画像信号を取得するように構成されてもよい。前記カメラ装置は、任意のカメラであり得る。したがって、装置１２０は、品質を改善するために、取得された画像信号９１が追加的に捕捉された部分視野７２ａおよび７２ｂと重ね合わされるように、外部装置の解像度を高めるように構成され得る。
【0104】
計算ユニット３３は、本明細書で説明される多開口撮像装置に関連して説明されるのと同じ機能を提供するように構成されてもよい。これは、装置１２０が、第１画像解像度で画像情報９１を取得し、より高い解像度で部分視野７２ａおよび７２ｂに関する画像情報を取得するように構成され得ることを意味する。結合画像情報６１は、高い解像度、または少なくとも画像信号９１の解像度よりも高い解像度を含むことができる。第１画像軸および第２画像軸に沿って、画像信号９１の解像度は、上述の２０％、１０％または０％の許容範囲内で、値０．７７、０．６６、および／または１／２を乗じた画像センサ領域２４ａおよび２４ｃの解像度に対応するか、それより小さくてもよい。
【0105】
計算ユニット３３は、図５に関連して説明されるように、ブロックごとに前記画像関連付けを実行するようにさらに構成されてもよい。これはまた、計算ユニット３３が、例えば類似性分析、エッジ比較などの関連付け基準を実行し、関連付け基準が満たされた場合にのみブロックの結合を実行することを意味してもよい。関連付け基準が満たされない場合、評価されたブロック内のブロックの結合が実行されないように、結合画像情報が計算ユニット３３によって提供され得る。
【0106】
計算ユニット３３は、全視野７０の画像情報に基づいて、部分視野７２ａおよび７２ｂの画像情報のステッチングを行うように構成されていてもよい。画像情報のみが評価されるので、全視野７０に関する画像情報がシステム自身の画像センサ１２または外部装置の画像センサから取得されるかどうかは、計算ユニット３３とは無関係であり得る。
【0107】
多開口撮像装置について説明したように、計算ユニットは、全視野を捕捉するためのチャネルの視線と第１部分視野の画像と間の第１視差、および／または全視野の画像と第２部分視野の画像との間の第２視差を使用しながら、全視野の画像情報の深度マップを生成するように構成されてもよい。全視野は別のカメラで撮影されたが、特に装置が画像信号９１を提供する装置と一緒に較正されている場合、特に視差が評価されるように、全視野に対する視線が含まれる。
【0108】
上述したように、計算ユニット３３は、部分視野の画像情報のみを用いて、部分視野７２ａおよび７２ｂの部分画像の重複領域に深度マップを生成するように構成されてもよい。
【0109】
装置１２０は、例えば第１方向および第２方向、例えば画像軸２８および３２に沿って画像センサ１２とアレイ１４との間に相対運動を生成することにより光学画像安定化を提供するように構成される光学画像安定化装置、例えば光学画像安定化装置２２を含むことができる。代替的または追加的に、装置１２０は、装置１２０の焦点を調整するために、集束手段、例えば、集束手段８７を含み得る。これは、光学チャネル１６ａおよび１６ｂの光学系６４ａおよび６４ｂの少なくとも一方と画像センサ１２との間に相対運動を生成することにより達成され得る。
【0110】
図１３は、一実施形態による補足装置１３０の概略斜視図を示す。補足装置１３０は、カメラまたは画像捕捉装置９３を補足するように構成され、カメラまたは画像捕捉装置９３は、画像信号９１を生成し、それを補足装置１３０に提供するように構成される。例えば、補足装置１３０は装置１２０を含み、カメラ９３に結合されるように構成される。したがって、補足装置１３０は、カメラ９３の画像処理を拡張または補足するように構成される。これは、例えば、既存のシステムの解像度を高めるために一対の外部チャネルを提供するアドオン装置であると理解することもできる。これは、上記の中央チャネルが、例えば携帯電話の供給者が知っており、理解し、確立されたサプライチェーンが存在する従来のカメラモジュールであることを意味する。
【0111】
光学系６４ａおよび６４ｃを含む外側チャネルは、前者の隣または周りに設置される追加のモジュールである。折りたたまれた光路が残る場合があり、設計の高さは古いカメラモジュールに合わせて調整される。システム全体の設計高さはカメラモジュール３３よりも薄くはならないが、追加モジュールによって解像度を上げることによる設計高さの増加を回避することもできる。代わりに、外側のチャネルは一緒になって内側のモジュールよりも大きなセンサ領域を有する。ピクセルのサイズが等しい場合、モジュールの全体的な解像度はより高くなり、結果として角度解像度はより細かくなる。したがって、モジュールはカメラ９３と比較して解像度を上げるために使用することができる。
【0112】
ここでも、実施形態において、カラーフィルタなしでセンサを構成することができる。これは、撮像された第１部分視野および第２部分視野の画像情報が単色輝度情報を備えて提供され得ることを意味する。追加のモジュールは、必ずしも必要ではないが、カメラ９３のカメラモジュールの周りに対称的に組み立てられてもよい。例えば、対角線や非対称などの他の形式のアセンブリも考えられ、画像処理によって補正することができる。深度マップは不変に生成され、光学的および／または電子画像安定化とオートフォーカスが提供され得る。
【0113】
図１４は、一実施形態によるデバイス、例えば装置１２０を提供する方法１４００の概略フローチャートを示す。ステップ１４１０は、画像センサを提供することを含む。ステップ１４２０は、各光学チャネルが全視野の少なくとも１つの部分視野を画像センサの画像センサ領域に投影するための光学系を含むように、光学チャネルのアレイを配置することを含むので、アレイの第１光学チャネルは全視野の第１部分視野を撮像するように構成され、アレイの第２光学チャネルは全視野の第２部分視野を撮像するように構成される。ステップ１４３０は、撮像された部分視野に基づいて第１部分視野と第２部分視野との画像情報を取得し、全視野の画像情報を取得し、全視野の結合画像情報を生成するために部分視野の画像情報を全視野の画像情報と結合するように構成された計算ユニットを配置することを含む。
【0114】
図１５は、一実施形態に係る多開口撮像装置、例えば多開口撮像装置１０を提供する方法１５００の概略フローチャートを示す。ステップ１５１０は、画像センサを提供することを含む。ステップ１５２０は、各光学チャネルが全視野の少なくとも１つの部分視野を画像センサの画像センサ領域に投影するための光学系を含むように光学チャネルのアレイを配置することを含み、したがって、アレイの第１光学チャネルは全視野の第１部分視野を撮像するように構成され、アレイの第２光学チャネルは全視野の第２部分視野を撮像するように構成され、第３光学チャネルは、全視野を完全に撮像するように構成されている。
【0115】
本明細書で説明する実施形態は、ステッチングプロセスを単純化するために、高解像度画像のステッチングをサポートするために低解像度画像が依然として先験的に使用されるという利点を提供する。これにより、カメラの中央配置と同じ周辺の他のチャネルの対称配置のために、深度マップでの掩蔽のより顕著なインスタンスが可能になる。これにより、最終的な結合画像のアーチファクトも少なくなる。必要な程度に解像度を下げるために、おそらくピクセルのビニングまたはスキップを使用しながら、中央チャネルから計算費用なしでライブビューを直接取得できるが、正しいアスペクト比の完全な視野は、中央チャネルがＦＯＶ全体をカバーするため、中央チャネルから既に取得され得、映像は、画像の取得との類推によって影響を受ける計算費用をかけずに中央チャネルから直接取得でき得る。
【0116】
部分視野を捕捉するための光学チャネルのグループである３つのチャネルのみの使用には、２つの部分視野を正確に捕捉するための光学チャネルが含まれ、少ないコンポーネント数、少ないセンサ、小さなデータ伝送帯域幅、小さい体積の装置または多開口撮像装置が可能になる。
【0117】
本明細書で説明する実施形態は、既知の解決策と比較して本明細書で説明する利点を提供しながら、線形チャネル配置および最小設計高さを有する多開口撮像システムとして、またはその多開口撮像システムで使用できる。
【0118】
以下において、本明細書に記載される特徴および機能性および詳細のいずれかと個々にまたは組み合わせて使用できる本発明の追加の実施形態および態様を説明する。
【0119】
一実施形態によれば、装置は、画像センサ１２と、光学チャネル１６ａ～１６ｂのアレイ１４であって、各光学チャネル１６ａ～１６ｂは、全視野７０の部分視野７２ａ～７２ｂを画像センサ１２の画像センサ領域２４ａ～２４ｂに投影するための光学系６４ａ～６４ｂを含み、アレイ１４の第１光学チャネル１６ａは全視野７０の第１部分視野７２ａを撮像するように構成され、アレイ１４の第２光学チャネル１６ｂは全視野７０の第２部分視野７２ｂを撮像するように構成されている、アレイ１４と、撮像された部分視野７２ａ～７２ｂに基づいて第１部分視野と第２部分視野との画像情報を取得し、全視野７０の画像情報を取得し、全視野の結合画像情報６１を生成するために、部分視野の画像情報を全視野の画像情報と組み合わせるように構成された計算ユニット３３と、を備えている。
【0120】
第１の実施形態を参照する第２の実施形態によれば、第１および第２光学チャネル１６ａ～１６ｂは、それぞれ全視野７０の１つの部分視野７２ａ～７２ｂを撮像するように構成された光学チャネルのグループであって、全視野７０を一緒に完全に撮像するように構成されている光学チャネルのグループの一部である。
【0121】
第２の実施形態を参照する第３の実施形態によれば、光学チャネルのグループは、２つの部分視野７２ａ～７２ｂを正確に捕捉するように構成される。
【0122】
第４の実施形態によれば、先行する実施形態のいずれか１つを参照すると、第１部分視野と第２部分視野との画像情報を表す第１部分画像および第２部分画像は、第１画像軸３２に沿って、全視野７０の画像情報を表す全画像と同じ寸法であり、第２画像軸２８に沿って、全画像と比較して異なる寸法を含む。
【0123】
第５の実施形態によれば、先行する実施形態のいずれか１つを参照すると、装置は、単色の輝度情報を有する撮像された第１部分視野と第２部分視野の画像情報を提供するように構成される。
【0124】
第６の実施形態によれば、先行する実施形態のいずれか１つを参照すると、装置は、第１走査度ｂ×ｃを有する全視野７０の画像情報を取得し、第１走査度ｂ×ｃよりも大きい第２走査度ｂ×ｃを有する第１または第２部分視野７２ａ～７２ｂの画像情報を取得し、第１走査度よりも大きい第３走査度を有する全視野７０の結合画像情報を提供するように構成される。
【0125】
第６の実施形態を参照する第７の実施形態によれば、第２走査度ｂ×ｃは、第１画像軸２８および第２画像軸３２に沿って、第１走査度より少なくとも３０％大きい。
【0126】
第８の実施形態によれば、先行する実施形態のいずれか１つを参照すると、計算ユニット３３は、全視野７０の画像情報および部分視野の画像情報を画像ブロック６３ａ、６３ｂに再分割するように構成され、全視野の第１画像ブロック６３ｃ内に含まれる画像情報ｘ、＊、＃を、ブロックごとに、第１または第２部分画像の第２画像ブロック６３ａ、６３ｂの一致する画像情報と関連付け、第１画像ブロックおよび第２画像ブロックを結合することにより、結合画像情報内の全視野７０の画像情報の走査度を増加させる。
【0127】
第８の実施形態を参照する第９の実施形態によれば、計算ユニット３３は、関連付け基準が満たされる場合にのみ結合を実行するように関連付け基準を適用しながら、第１画像ブロック６３ｃを第２画像ブロック６３ａ、６３ｂに関連付けるとともに、関連付け基準が満たされない場合はいかなる結合もせずに第１画像ブロック６３ｃ４内の全視野７０の結合画像情報６１を提供するように構成される。
【0128】
第１０の実施形態によれば、先行する実施形態のいずれか１つを参照すると、計算ユニット３３は、全視野７０の画像情報に基づいて部分視野７２ａ～７２ｂの画像情報のステッチングを実行するように構成される。
【0129】
第１１の実施形態によれば、前の実施形態のいずれか１つを参照すると、計算ユニット３３は、全視野７０の画像と第１部分視野７２ａの画像と間の第１視差８３ａと、全視野７０の画像と第２部分視野７２ｂの画像との間の第２視差８３ｂとを使用しながら、全視野７０の画像情報の深度マップを生成するように構成される。
【0130】
第１２の実施形態によれば、先行する実施形態のいずれか１つを参照すると、部分視野７２ａ～７２ｂは、全視野７０内のオーバーラップ領域７３、７３ａ～７３ｅ内でオーバーラップし、計算ユニット３３は、第１および第２部分視野７２ａ～７２ｂの画像情報を使用しながら、オーバーラップ領域７３、７３ａ～７３ｅ内の全視野７０の画像情報の深度マップを生成するように構成されている。
【0131】
第１３の実施形態によれば、先行する実施形態のいずれか１つを参照すると、装置は、画像センサ１２とアレイ１４との間の第１相対運動３４、３９ａを生成することによる第１画像軸２８に沿った画像安定化と、画像センサ１２とアレイ１４との間の第２相対運動３８、３９ｂを生成することによる第２画像軸３２に沿った画像安定化のための光学画像安定化装置２２を備えている。
【0132】
第１４の実施形態によれば、先行する実施形態のいずれか１つを参照すると、装置は、装置の焦点を調整するための少なくとも１つのアクチュエータ１３４ｂを含む集束手段をさらに備え、前記アクチュエータ１３４ｂは、光学チャネル１６ａ～１６ｂの１つにおける少なくとも１つの光学系６４ａ～６４ｂと画像センサ１２との間に相対運動を提供するように構成される。
【0133】
第１５の実施形態によれば、補充装置は、第１～第１４の実施形態のいずれか１つによる装置を備え、カメラに結合されて該カメラから全視野７０の画像情報を取得するように構成される。
【0134】
第１６の実施形態によれば、多開口撮像装置１０、３０、６０、７０、８０、９０は、画像センサ１２と、光学チャネル１６ａ～１６ｂのアレイ１４と、を備え、各光学チャネル１６ａ～１６ｂは、全視野７０の少なくとも１つの部分視野７２ａ～７２ｂを画像センサ１２の画像センサ領域２４ａ～２４ｃに投影するための光学系６４ａ～６４ｃを含み、アレイ１４の第１光学チャネル１６ａは全視野７０の第１部分視野７２ａを撮像するように構成され、アレイ１４の第２光学チャネル１６ｂは全視野７０の第２部分視野７２ｂを撮像するように構成され、第３光学チャネル１６ｃは全視野７０を完全に撮像するように構成されている。
【0135】
第１７の実施形態によれば、第１６の実施形態を再び参照すると、多開口撮像装置は、第１および第２光学チャネル１６ａ～１６ｂの光路２６ａ～２６ｂを共同で偏向するビーム偏向手段１８を含む。
【0136】
第１６または第１７の実施形態を参照する第１８の実施形態によれば、アレイ１４内の第１および第２部分視野を捕捉するための光学系６４ａ、６４ｃの配置は、全視野７０を撮像するための光学系６４ｂの位置に関して対称であり、第１および第２部分視野７２ａ～７２ｂを撮像するための画像センサ領域２４ａ、２４ｃの配置は、全視野７０を撮像するための画像センサ領域２４ｂの位置に対して対称である。
【0137】
第１６～第１８の実施形態のいずれか１つを参照する第１９の実施形態によれば、全視野７０の画像フォーマットは、撮像された第１部分視野７２ａと撮像された第２部分視野７２ｂの冗長性のない組み合わせに対応する。
【0138】
第１６～第１９の実施形態のいずれか１つを参照する第２０の実施形態によれば、多開口撮像装置は、撮像された部分視野７２ａ～７２ｂに基づいて第１および第２部分視野の画像情報を取得し、撮像された全視野７０に基づいて全視野７０の画像情報を取得し、部分視野の画像情報を全視野７０の画像情報と結合して全視野７０の結合画像情報６１を生成するように構成された計算ユニット３３を含む。
【0139】
第２０の実施形態を参照する第２１の実施形態によれば、計算ユニット３３は、全視野７０の画像情報および部分視野の画像情報を画像ブロックに細分し、ブロックごとに、全視野７０の第１画像ブロック内に含まれる画像情報を第１または第２部分視野の第２画像ブロックの一致する画像情報と関連付け、および、第１および第２画像ブロックを結合することにより、結合画像情報における全視野７０の画像情報の走査度を増加するように構成される。
【0140】
第２２の実施形態によれば、第２１の実施形態を参照すると、計算ユニット３３は、関連付け基準が満たされる場合にのみ結合を実行するように関連付け基準を適用しながら、第１画像ブロックを第２画像ブロックに関連付けるとともに、関連付け基準が満たされない場合はいかなる結合もせずに、第１画像ブロック内の全視野７０の結合画像情報を提供するように構成される。
【0141】
第２３の実施形態によれば、第２０～第２２の実施形態のいずれか１つを参照すると、計算ユニット３３は、部分視野の画像情報のステッチングを、全視野７０の画像情報に基づいて実行するように構成される。
【0142】
第２４の実施形態によれば、第２０～第２３の実施形態のいずれか１つを参照すると、計算ユニット３３は、全視野７０の画像と第１部分視野の画像との間の第１視差８３ａ、および全視野７０の画像と第２部分視野の画像との間の第２視差８３ｂを使用しながら、全視野７０の画像情報の深度マップ８１を生成するように構成される。
【0143】
第２５の実施形態によれば、第２０～第２４の実施形態のいずれか１つを参照すると、部分視野は全視野７０内のオーバーラップ領域内でオーバーラップし、計算ユニット３３は、第１および第２部分視野の画像情報を使用しながら、オーバーラップ領域内の全視野７０の画像情報の深度マップを生成するように構成される。
【0144】
第２６の実施形態によれば、第２０から第２５の実施形態のいずれか１つを参照すると、多開口撮像装置は、画像センサから第１走査度を有する全視野７０の画像情報を取得し、第１走査度よりも大きい第２走査度を有する第１または第２部分視野の画像情報をセンサから取得し、第１のスキャン度よりも大きい第３のスキャン度を有する全視野７０の結合画像情報を提供するように構成される。
【0145】
第２６の実施形態を参照する第２７の実施形態によれば、第２走査度は、第１および第２画像軸に沿って、第１走査度よりも少なくとも３０％大きい。
【0146】
第１６～第２７の実施形態のいずれか１つを参照する第２８の実施形態によれば、多開口撮像装置は、第３光学チャネルによって画像センサから第１画像解像度で捕捉される全視野７０の画像情報を取得するように構成され、多開口撮像装置は、最大で第１画像解像度で画像情報を表示するように構成された表示手段を含む。
【0147】
第２８の実施形態を参照する第２９の実施形態によれば、多開口撮像装置は、全視野７０の連続画像に基づいて表示手段上に全視野７０の映像信号を出力するように構成される。
【0148】
第１６～第２９の実施形態のいずれか１つを参照する第３０の実施形態によれば、多開口撮像装置は、光学チャネル１６ａ～１６ｃの光路２６ａ～２６ｃの共有偏向のためのビーム偏向手段１８を含み、画像センサ１２、アレイ１４およびビーム偏向手段１８の間の第１相対運動を生成することによる第１画像軸２８に沿った光学画像安定化、および画像センサ１２、アレイ１４およびビーム偏向手段１８の間に第２相対運動３８を生成することによる第２画像軸３２に沿った光学画像安定化のための光学画像安定化装置２２を含む。
【0149】
第３１の実施形態によれば、第３０の実施形態を参照すると、光学画像安定化装置２２は、第１光学チャネルおよび第２光学チャネルに対して第１相対運動を提供し、第３光学チャネルに対して第２相対運動を提供するように構成される。
【0150】
第３０または第３１の実施形態を参照する第３２の実施形態によれば、第１相対運動は、画像センサ１２とアレイ１４との間の並進相対運動、画像センサ１２とビーム偏向手段１８との間の並進相対運動、およびアレイ１４とビーム偏向手段１８の間の並進相対運動のうちの少なくとも１つを含み、第２相対運動３８は、ビーム偏向手段１８の回転運動、画像センサ１２とアレイ１４との間の並進相対運動、およびアレイ１４とビーム偏向手段１８との間の並進相対運動のうちの少なくとも１つを含む。
【0151】
第３０～３２の実施形態のいずれか１つを参照する第３３の実施形態によれば、多開口撮像装置はさらに、第１および第２画像軸２８、３２に沿ったアレイ１４の第１光学チャネル１６ａの電子画像安定化のための電子画像安定化装置４１を含む。
【0152】
第３３の実施形態を参照する第３４の実施形態によれば、電子画像安定化装置４１は、第１および第２画像軸２８、３２に沿って第１の程度に第１光学チャネル１６ａを安定させるように構成され、さらに第１および第２画像軸２８、３２に沿った第２の範囲への第２光学チャネル１６ｂの画像安定化をするように構成される。
【0153】
第３３または第３４の実施形態を参照する第３５の実施形態によれば、光学画像安定化装置２２は、前記光学画像安定化が第１の部分視野７２ａ～７２ｂの画像に関連するように光学画像安定化を実行するように構成され、電子画像安定化装置４１は、第１部分視野７２ａ～７２ｂの画像に対して第２部分視野７２ａ～７２ｂの画像を安定させるように構成されている。
【0154】
第３３～第３５の実施形態のいずれか１つを参照する第３６の実施形態によれば、光学画像安定化装置２２は、第１光学チャネル１６ａおよび第２光学チャネル１６ｂを含むグループから基準チャネルの撮像された部分視野７２ａ～７２ｂの画像を安定化するように構成され、電子画像安定化装置４１は、基準チャネルとは異なる光学チャネル１６ａ～１６ｃに対してチャネル固有の方法で電子画像安定化を実行するように構成され、多開口撮像装置は、光学的に排他的に基準チャネルを安定化するように構成される。
【0155】
第３３～第３６の実施形態のいずれか１つを参照する第３７の実施形態によれば、電子画像安定化装置４１は、各光学チャネル１６ａ～１６ｃに対してチャネル固有の方法で電子画像安定化を実行するように構成される。
【0156】
第３７の実施形態を参照する第３８の実施形態によれば、電子画像安定化装置４１は、画像センサ１２、アレイ１４、およびビーム偏向手段１８の間の相対運動に依存する特定の機能的相関に応じて各チャネルでチャネル固有の電子画像安定化を実行するように構成される。
【0157】
第３８の実施形態を参照する第３９の実施形態によれば、関数相関は線形関数である。
【0158】
第３３～第３９の実施形態のいずれか１つを参照する第４０の実施形態によれば、光学画像安定化装置２２は、ビーム偏向手段１８の回転運動３８に基づいて画像軸２８、３２の１つに沿って光学画像安定化を提供するように構成され、機能的相関は、ビーム偏向手段１８の回転角度を画像軸２８、３２に沿った電子画像安定化の程度に投影する角度関数である。
【0159】
第３３～第４０の実施形態のいずれか１つを参照する第４１の実施形態によれば、電子画像安定化装置４１は、第１時点および第２時点において、第１部分視野７２ａの第１部分画像内のマッチング特徴を識別するように構成され、第１部分画像内の一致する特徴の動きの比較に基づいて電子画像安定化を提供する。
【0160】
第１６～第４１の実施形態のいずれか１つを参照する第４２の実施形態によれば、多開口撮像装置はさらに、装置の焦点を調整するための少なくとも１つのアクチュエータ８９ａ～８９ｂを含む集束手段８７を含み、前記アクチュエータは、光学チャネル１６ａ～１６ｃの１つの少なくとも１つの光学系６４ａ～６４ｃと画像センサ１２との間に相対運動を提供するように構成される。
【0161】
第４２の実施形態に戻ったときの第４３の実施形態によれば、集束手段８７は、第１および第２光学チャネル１６ａ、１６ｂに第３相対運動を提供し、第３光学チャネル１６ｃに第４相対運動を提供するように構成される。
【0162】
第１６～第４３の実施形態のいずれか１つを参照する第４４の実施形態によれば、画像センサ領域は、ライン延長方向３５に沿って画像センサ１２上に配置され、画像センサ領域２４ａ～２４ｃは、ライン延長方向に垂直な画像軸３２に沿って、２０％の許容範囲内で同一の寸法を示す。
【0163】
第１６～第４４の実施形態のいずれか１つを参照する第４５の実施形態によれば、第１および第２光学チャネル１６ａ、１６ｂはそれぞれ、全視野７０の部分視野７２ａ～７２ｃを撮像するように構成される光学チャネルのグループの一部であり、前記光学チャネルのグループは、全視野７０を一緒に完全に撮像するように構成される。
【0164】
第４４の実施形態を参照する第４６の実施形態によれば、光学チャネルのグループは、２つの部分視野７２ａ～７２ｂを正確に捕捉するように構成される。
【0165】
第１６～第４６の実施形態のいずれか１つを参照する第４７の実施形態によれば、画像センサ１２によって提供される第１および第２部分視野７２ａ～７２ｂの画像情報を表す第１部分画像および第２部分画像は、第１画像軸３２に沿って、画像センサによって提供される全視野７０の画像情報を表す全画像と同じ寸法を有するとともに、第２画像軸２８に沿って、全画像と比較して異なる寸法を示す。
【0166】
第１６～第４７の実施形態のいずれか１つを参照する第４８の実施形態によれば、多開口撮像装置は、単色の輝度情報を有する撮像された第１および第２部分視野７２ａ～７２ｂを提供するように構成される。
【0167】
第１６～第４８の実施形態のいずれか１つを参照する第４９の実施形態によれば、多開口撮像装置は、携帯電話、スマートフォン、タブレット、またはモニタとして構成される。
【0168】
第５０の実施形態によれば、装置を提供する方法１４００は、画像センサを提供すること１４１０と、各光学チャネルが、全視野の少なくとも１つの部分視野を画像センサの画像センサ領域に投影するための光学系を含むように、光学チャネルの配列を配置すること１４２０であって、アレイの第１光学チャネルは全視野の第１部分視野を撮像するように構成されており、アレイの第２光学チャネルは全視野の第２部分視野を撮像するように構成される、配置すること１４２０と、計算された部分視野に基づいて第１および第２部分視野の画像情報を取得し、全視野の画像情報を取得し、部分視野の情報と、全視野の画像情報とを組み合わせて、全視野の画像情報を合成するように構成されるように計算ユニットを配置すること１４３０とを含む。
【0169】
第５１の実施形態によれば、多開口撮像装置を提供する方法１５００は、画像センサを提供すること１５１０と、各光学チャネルが、全視野の少なくとも１つの部分視野を画像センサの画像センサ領域に投影するための光学系を含むように、光学チャネルのアレイを配置すること１５２０と、を含み、アレイの第１光学チャネルは、全視野の第１部分視野を撮像するように構成され、アレイの第２光学チャネルは、全視野の第２部分視野を撮像するように構成され、第３光学チャネルは、全視野を完全に撮像するように構成されている。
【0170】
第５２の実施形態によれば、装置は、画像センサ１２と、光学チャネル１６ａ～１６ｂのアレイ１４であって、各光学チャネル１６ａ～１６ｂが、画像センサ１２の画像センサ領域２４ａ～２４ｂ上に全視野７０の部分視野７２ａ～７２ｂを投影するための光学系６４ａ～６４ｂを含み、アレイ１４の第１光学チャネル１６ａが、全視野７０の第１部分視野７２ａを撮像するように構成され、アレイ１４の第２光学チャネル１６ｂが、全視野７０の第２部分視野７２ｂを撮像するように構成された、アレイ１４と、撮像された部分視野７２ａ～７２ｂに基づいて第１部分視野および第２部分視野の画像情報を取得し、全視野７０の画像情報を取得し、全視野の結合画像情報６１を生成するために、部分視野の画像情報と全視野の画像情報とを結合するように構成された計算ユニット３３と、を備えている。
【0171】
第５２の実施形態を参照する第５３の実施形態によれば、第１光学チャネルおよび第２光学チャネル１６ａ～１６ｂはそれぞれ、全視野７０のうちの１つの部分視野７２ａ～７２ｂを撮像するように構成された光学チャネルのグループの一部であり、光学チャネルのグループは、共同で全視野７０を完全に撮像するように構成されている。
【0172】
第５３の実施形態を参照する第５４の実施形態によれば、光学チャネルのグループは、２つの部分視野７２ａ～７２ｂを正確に捕捉するように構成されている。
【0173】
第５２～第５４の実施形態のいずれか１つを参照する第５５の実施形態によれば、第１部分視野の画像情報を表す第１部分画像および第２部分視野の画像情報を表す第２部分画像は、第１画像方向３２に沿って、全視野７０の画像情報を表す全画像と同じ寸法を有し、第２画像方向２８に沿って、全画像と比較して異なる寸法を有する。
【0174】
第５２～第５５の実施形態のいずれか１つを参照する第５６の実施形態によれば、装置は、単色の輝度情報を有する、撮像された第１部分視野の画像情報および撮像された第２部分視野の画像情報を提供するように構成される。
【0175】
第５２～第５６の実施形態のいずれか１つを参照する第５７の実施形態によれば、装置は、第１走査度ｂ×ｃを有する全視野７０の画像情報を取得して第１走査度ｂ×ｃよりも大きい第２走査度ｂ×ａを有する第１部分視野または第２部分視野７２ａ～７２ｂの画像情報を取得し、第１走査度よりも大きい第３走査度を有する全視野７０の結合画像情報を提供するように構成されている。
【0176】
第５７の実施形態を参照する第５８の実施形態によれば、第２走査度ｂ×ａは、第１画像方向および第２画像方向２８、３２に沿って第１走査度よりも少なくとも３０％大きい。
【0177】
第５２～第５８の実施形態のいずれか１つを参照する第５９の実施形態によれば、計算ユニット３３は、全視野７０の画像情報および部分視野の画像情報を画像ブロック６３ａ、６３ｂに細分化するとともに、ブロックごとに、全視野における第１画像ブロック６３ｃに含まれる画像情報ｘ、＊、＃を、第１部分視野または第２部分視野における第２画像ブロック６３ａ、６３ｂの一致する画像情報と関連付けて、第１画像ブロックおよび第２画像ブロックを結合することにより、結合画像情報における全視野７０の画像情報の走査度を増加させるように構成されている。
【0178】
第５９の実施形態を参照する第６０の実施形態によれば、計算ユニット３３は、関連付け基準が満たされる場合にのみ結合を実行するように関連付け基準を適用しながら、第１ブロック６３ｃを第２ブロック６３ａ、６３ｂに関連付けるとともに、関連付け基準が満たされない場合はいかなる結合もせずに第１ブロック６３ｃ内の全視野７０の結合画像情報６１を提供するように構成されている。
【0179】
第５２～第６０の実施形態のいずれか１つを参照する第６１の実施形態によれば、計算ユニット３３は、全視野７０の画像情報に基づいて部分視野７２ａ～７２ｂの画像情報のステッチングを実行するように構成されている。
【0180】
第５２～第６１の実施形態のいずれか１つを参照する第６２の実施形態によれば、計算ユニット３３は、全視野７０の画像と第１部分視野７２ａの画像との間の第１視差８３ａと、全視野７０の画像と第２部分視野７２ｂの画像との間の第２視差８３ｂとを使用しながら、全視野７０の画像情報のための深度マップを生成するように構成されている。
【0181】
第５２～第６２の実施形態のいずれか１つを参照する第６３の実施形態によれば、部分視野７２ａ～７２ｂは、全視野７０内のオーバーラップ領域７３、７３ａ～７３ｅ内でオーバーラップし、計算ユニット３３は、第１部分視野および第２部分視野７２ａ～７２ｂの画像情報を使用しながら、オーバーラップ領域７３、７３ａ～７３ｅ内における全視野７０の画像情報の深度マップを生成するように構成されている。
【0182】
第５２～第６３の実施形態のいずれか１つを参照する第６４の実施形態によれば、装置は、画像センサ１２とアレイ１４との間の第１相対運動３４、３９ａを生成することによる第１画像軸２８に沿った画像安定化、および画像センサ１２とアレイ１４との間の第２相対運動３８、３９ｂを生成することによる第２画像軸３２に沿った画像安定化のための光学画像安定化装置２２を備えている。
【0183】
第５２～第６４の実施形態のいずれか１つを参照する第６５の実施形態によれば、装置は、装置の焦点を調整するための少なくとも１つのアクチュエータ１３４ｂを有する集束手段をさらに備え、アクチュエータ１３４ｂは、光学チャネル１６ａ～１６ｂの１つにおける少なくとも１つの光学系６４ａ～６４ｂと画像センサ１２との間の相対運動をもたらすように構成されている。
【0184】
第５２～第６５の実施形態のいずれか１つを参照する第６６の実施形態によれば、補充装置は、第５２～第６５の実施形態の装置を備え、カメラに結合されてカメラから全視野７０の画像情報を取得するように構成されている。
【0185】
第６７の実施形態によれば、多開口撮像装置１０、３０、６０、７０、８０、９０は、画像センサ１２と、光学チャネル１６ａ～１６ｂのアレイ１４であって、各光学チャネル１６ａ～１６ｂが、全視野７０の少なくとも１つの部分視野７２ａ～７２ｂを画像センサ１２の画像センサ領域２４ａ～２４ｃに投影するための光学系６４ａ～６４ｃを含む、アレイ１４と、を備え、アレイ１４の第１光学チャネル１６ａは全視野７０の第１部分視野７２ａを撮像するように構成され、アレイ１４の第２光学チャネル１６ｂは全視野７０の第２部分視野７２ｂを撮像するように構成され、第３光学チャネル１６ｃは全視野７０を完全に撮像するように構成されている。
【0186】
第６７の実施形態を参照する第６８の実施形態によれば、多開口撮像装置は、第１光学チャネルおよび第２光学チャネル１６ａ～１６ｂの光路２６ａ～２６ｂを共同で偏向するビーム偏向手段１８を備えている。
【0187】
第６６又は第６８の実施形態を参照する第６９の実施形態によれば、アレイ１４内の第１部分視野および第２部分視野を捕捉するための光学系６４ａ、６４ｃの配列は、全視野７０を撮像する光学系６４ｂの位置に関して対称であるか、または、第１部分視野および第２部分視野７２ａ～７２ｂを撮像するための画像センサ領域２４ａ、２４ｃの配置は、全視野７０を撮像するための画像センサ領域２４ｂの位置に関して対称である。
【0188】
第６７～第６９の実施形態のいずれか１つを参照する第７０の実施形態によれば、全視野７０の画像フォーマットは、撮像された第１部分視野７２ａと撮像された第２部分視野７２ｂとの冗長性のない組み合わせに対応する。
【0189】
第６７～第７０の実施形態のいずれか１つを参照する第７１の実施形態によれば、撮像された部分視野７２ａ～７２ｂに基づいて、第１部分視野と第２部分視野との画像情報を取得するとともに、撮像された全視野７０に基づいて全視野７０の画像情報を取得し、部分視野の画像情報を全視野７０の画像情報と組み合わせて全視野７０の結合画像情報６１を生成するように構成された計算ユニット３３を備えている。
【0190】
第７１の実施形態を参照する第７２の実施形態によれば、計算ユニット３３は、全視野７０の画像情報と部分視野の画像情報とを画像ブロックに細分化するとともに、ブロックごとに、全視野７０の第１画像ブロック内に含まれる画像情報を、第１部分視野または第２部分視野の第２画像ブロックの一致する画像情報と関連付けし、第１画像ブロックと第２画像ブロックとを結合することにより、結合画像情報における全視野７０の画像情報の走査度を増加するように構成されている。
【0191】
第７２の実施形態を参照する第７３の実施形態によれば、計算ユニット３３は、関連付け基準が満たされる場合にのみ結合を実行するように関連付け基準を適用しながら、第１ブロックを第２ブロックに関連付けるとともに、関連付け基準が満たされない場合はいかなる結合もせずに第１ブロック内の全視野７０の結合画像情報を提供するように構成されている。
【0192】
第７１～第７３の実施形態のいずれか１つを参照する第７４の実施形態によれば、計算ユニット３３は、全視野７０の画像情報に基づいて、部分視野の画像情報のステッチングを実行するように構成されている。
【0193】
第７１～第７４の実施形態のいずれか１つを参照する第７５の実施形態によれば、計算ユニット３３は、全視野７０の画像と第１部分視野の画像との間の第１視差８３ａと、全視野７０の画像と第２部分視野の画像との間の第２視差８３ｂとを使用しながら、全視野７０の画像情報の深度マップ８１を生成するように構成されている。
【0194】
第７１～第７５の実施形態のいずれか１つを参照する第７６の実施形態によれば、部分視野は、全視野７０内のオーバーラップ領域内でオーバーラップし、計算ユニット３３は、第１部分視野および第２部分視野の画像情報を使用しながら、オーバーラップ領域内における全視野７０の画像情報の深度マップを生成するように構成されている。
【0195】
第７１～第７６の実施形態のいずれか１つを参照する第７７の実施形態によれば、多開口撮像装置は、センサから第１走査度を有する全視野７０の画像情報を取得して、センサから、第１走査度よりも大きい第２走査度を有する第１部分視野または第２部分視野の画像情報を取得するとともに、第１走査度よりも大きい第３走査度を有する全視野７０の結合画像情報を提供するように構成されている。
【0196】
第７７の実施形態を参照する第７８の実施形態によれば、第２走査度は、第１画像方向および第２画像方向に沿って、第１走査度よりも少なくとも３０％大きい。
【0197】
第６７～第７９の実施形態のいずれか１つを参照する第７９の実施形態によれば、第３光学チャネルによって画像センサから第１画像解像度で捕捉される全視野７０の画像情報を取得するように構成されており、多開口撮像装置は、最大で第１画像解像度で画像情報を表示するように構成された表示手段を備えている。
【0198】
第７９の実施形態を参照する第８０の実施形態によれば、多開口撮像装置は、全視野７０の連続画像に基づいて、表示手段に全視野７０のビデオ信号を出力するように構成されている。
【0199】
第６７～第８０の実施形態のいずれか１つを参照する第８１の実施形態によれば、多開口撮像装置は、光学チャネル１６ａ～１６ｃの光路２６ａ～２６ｃの共有偏向のためのビーム偏向手段１８を含み、画像センサ１２、アレイ１４、およびビーム偏向手段１８の間の第１相対運動を生成することによる第１画像軸２８に沿った画像安定化、および画像センサ１２、アレイ１４、およびビーム偏向手段１８間の第２相対運動３８を生成することによる第２画像軸３２に沿った画像安定化のための光学画像安定化装置２２を備えている。
【0200】
第８１の実施形態を参照する第８２の実施形態によれば、光学画像安定化装置２２は、第１光学チャネルおよび第２光学チャネルに対する第１相対運動と、第３光学チャネルに対する第２相対運動とを提供する。
【0201】
第８１～第８２の実施形態のいずれか１つを参照する第８３の実施形態によれば、第１相対運動は、画像センサ１２とアレイ１４との間の並進相対運動、画像センサ１２とビーム偏向手段１８との間の並進相対運動、およびアレイ１４とビーム偏向手段１８との間の並進相対運動のうちの少なくとも１つを含み、第２相対運動３８は、ビーム偏向手段１８の回転運動、画像センサ１２とアレイ１４との間の並進相対運動、およびアレイ１４とビーム偏向手段１８との間の並進相対運動のうちの少なくとも１つを含む。
【0202】
第８１～第８３の実施形態のいずれか１つを参照する第８４の実施形態によれば、第１画像軸および第２画像軸２８、３２に沿ったアレイ１４の第１光学チャネル１６ａの画像安定化のための電子画像安定化装置４１をさらに備えている。
【0203】
第８４の実施形態を参照する第８５の実施形態によれば、電子画像安定化装置４１は、第１画像軸２８および第２画像軸３２に沿って第１の程度まで第１光学チャネル１６ａを安定化させるように構成され、さらに、第１画像軸２８および第２画像軸３２に沿った第２の程度まで第２光学チャネル１６ｃの画像安定化のために構成されている。
【0204】
第８４又は第８５の実施形態を参照する第８６の実施形態によれば、光学画像安定化装置２２は、光学画像安定化が第１の部分視野７２ａ～７２ｂの画像に関連するように光学画像安定化を実行するように構成されており、電子画像安定化装置４１は、第１部分視野７２ａ～７２ｂの画像に対して第２部分視野７２ａ～７２ｂの画像を安定させるように構成されている。
【0205】
第８４～第８６の実施形態のいずれか１つを参照する第８７の実施形態によれば、光学画像安定化装置２２は、第１光学チャネル１６ａと第２光学チャネル１６ｃとを含むグループからの基準チャネルの撮像された部分視野７２ａ～７２ｂの画像を安定化するように構成されており、電子画像安定化装置４１は、基準チャネルとは異なる光学チャネル１６ａ～１６ｃに対してチャネル固有の方法で画像安定化を実行するように構成されており、多開口撮像装置は基準チャネルを光学的にのみ安定させるように構成されている。
【0206】
第８４～第８７の実施形態のいずれか１つを参照する第８８の実施形態によれば、電子画像安定化装置４１は、チャネル固有の方法で各光学チャネル１６ａ～１６ｃに対して画像安定化を実行するように構成されている。
【0207】
第８８の実施形態を参照する第８９の実施形態によれば、電子画像安定化装置４１は、画像センサ１２、アレイ１４、およびビーム偏向手段１８間の相対運動に依存する特定の機能的相関に従って、各チャネルでチャネル固有の電子画像安定化を実行するように構成されている。
【0208】
第８９の実施形態を参照する第９０の実施形態によれば、機能的相関は線形関数である。
【0209】
第８４～第９０の実施形態のいずれか１つを参照する第９１の実施形態によれば、光学画像安定化装置２２は、ビーム偏向手段１８の回転運動３８に基づいて、画像方向２８、３２の一方に沿った光学画像安定化を提供するように構成されており、機能的相関は、ビーム偏向手段１８の回転角を画像方向２８、３２に沿った電子画像安定化の範囲に投影する角度関数である。
【0210】
第８４～第９１の実施形態のいずれか１つを参照する第９２の実施形態によれば、電子画像安定化装置４１は、第１の時点および第２の時点において、第１部分視野７２ａ～７２ｂの第１部分画像において、一致する特徴を識別して、第１画像内における特徴の動きの比較に基づいて電子画像安定化を提供するように構成されている。
【0211】
第６７～第９２の実施形態のいずれか１つを参照する第９３の実施形態によれば、装置の焦点を調整するための少なくとも１つのアクチュエータ８９ａ～８９ｂを有する集束手段８７をさらに備え、アクチュエータは、光学チャネル１６ａ～１６ｃの１つにおける少なくとも１つの光学系６４ａ～６４ｃと画像センサ１２との間の相対運動をもたらすように構成されている。
【0212】
第９３の実施形態を参照する第９４の実施形態によれば、集束手段８７は、第１光学チャネル１６ａおよび第２光学チャネル１６ｃに対して第３相対運動を提供するとともに、第３光学チャネル１６ｂに対して第４相対運動を提供するように構成されている。
【0213】
第６７～９４の実施形態を参照する第９５の実施形態によれば、画像センサ領域は、ライン延長方向３５に沿って画像センサ１２上に配置され、画像センサ領域２４ａ～２４ｃは、ライン延長方向に垂直な画像方向３２に沿って、２０％の許容範囲内で同一の寸法を示す。
【0214】
第６７～第９５の実施形態のいずれか１つを参照する第９６の実施形態によれば、第１光学チャネル１６ａおよび第２光学チャネル１６ｃはそれぞれ、全視野７０の部分視野７２ａ～７２ｃを撮像するように構成された光学チャネルのグループの一部であり、光学チャネルのグループは、共同で全視野７０を完全に撮像するように構成されている。
【0215】
第９５の実施形態を参照する第９７の実施形態によれば、光学チャネルのグループは、２つの部分視野７２ａ～７２ｂを正確に捕捉するように構成されている。
【0216】
第６７～第９７の実施形態のいずれか１つを参照する第９８の実施形態によれば、画像センサ１２によって提供される第１部分視野７２ａの画像情報を表す第１部分画像および第２部分視野７２ｂの画像情報を表す第２部分画像は、第１画像方向３２に沿って、画像センサによって提供される全視野７０の画像情報を表す全画像と同じ寸法を有するとともに、第２画像方向２８に沿って、全画像と比較して異なる寸法を示す。
【0217】
第６７～第９８の実施形態のいずれか１つを参照する第９９の実施形態によれば、多開口撮像装置は、単色の輝度情報を有する撮像された第１部分視野および第２部分視野７２ａ～７２ｂを提供するように構成されている。
【0218】
第６７～第１０９の実施形態のいずれか１つを参照する第１００の実施形態によれば、多開口撮像装置は、携帯電話、スマートフォン、タブレット、またはモニタとして構成されている。
【0219】
第１０１の実施形態によれば、装置を提供する方法１４００は、画像センサを提供すること１４１０と、光学チャネルのアレイを配置すること１４２０であって、各光学チャネルが全視野の少なくとも１つの部分視野を画像センサの画像センサ領域に投影するための光学系を含み、アレイの第１光学チャネルは、全視野の第１部分視野を撮像するように構成され、アレイの第２光学チャネルは、全視野の第２部分視野を撮像するように構成されている、配置すること１４２０と、撮像された部分視野に基づいて第１部分視野と第２部分視野との画像情報を取得するとともに、全視野の画像情報を取得し、部分視野の画像情報と全視野の画像情報とを結合して全視野の結合画像情報を生成するように構成された計算ユニットを配置すること１４３０と、を含む。
【0220】
第１０２の実施形態によれば、多開口撮像装置を提供する方法１５００は、画像センサを提供すること１５１０と、光学チャネルのアレイを配置すること１５２０であって、各光学チャネルが全視野の少なくとも１つの部分視野を画像センサの画像センサ領域に投影するための光学系を含むとともに、アレイの第１光学チャネルが全視野の第１部分視野を撮像するように構成され、アレイの第２光学チャネルが全視野の第２部分視野を撮像するように構成され、第３光学チャネルは、全視野を完全に撮像するように構成されている、配置すること１５２０と、を含む。
【0221】
一部の説明は、上／下または左／右などの相対的な方向に関連している。空間の向きが変更された場合、同じものが必要に応じて交換可能であることが理解される。これが、上記の用語が限定するものと解釈されるべきではなく、明瞭さを改善することのみを意図している理由である。
【0222】
装置の文脈内でいくつかの態様を説明したが、上記態様は対応する方法の説明も表すため、装置のブロックまたは構造的構成要素も対応する方法ステップとして、または方法ステップの機能として理解されることを理解されたい。それと同様に、文脈内でまたは方法ステップとして説明された側面は、対応する装置の対応するブロックまたは詳細または機能の説明も表す。
【0223】
上述の実施形態は、単に本発明の原理の例示を表すものである。当業者は、本明細書に記載の配置および詳細の修正および変形を理解するであろうことが理解される。これが、本発明が実施形態の説明および議論によって本明細書に提示された特定の詳細によってではなく、添付の特許請求の範囲によってのみ制限されることが意図される理由である。
【図1】
【図2a】
【図2b】
【図2c】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】