特開 2022-116089 撮像システム、方法及び用途

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022116089

(43)【公開日】2022-08-09

(54)【発明の名称】撮像システム、方法及び用途

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220802BHJP

   G02B 13/06 20060101ALI20220802BHJP

   G03B 15/00 20210101ALI20220802BHJP

   G03B 37/00 20210101ALI20220802BHJP

   H04N 5/225 20060101ALI20220802BHJP

【ＦＩ】

H04N5/232 380

G02B13/06

G03B15/00 W

G03B15/00 H

G03B37/00 A

H04N5/225 800

H04N5/225 100

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2022081329

(22)【出願日】2022-05-18

(62)【分割の表示】P 2020109314の分割

【原出願日】2015-05-05

(31)【優先権主張番号】61/989,136

(32)【優先日】2014-05-06

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】516331269

【氏名又は名称】ザカリヤ ニアジ

【氏名又は名称原語表記】Ｚａｋａｒｉｙａ Ｎｉａｚｉ

【住所又は居所原語表記】２６３２ Ｓｋｉｌｌｍａｎ Ａｖｅｎｕｅ，Ｌｏｎｇ Ｉｓｌａｎｄ Ｃｉｔｙ，Ｎｅｗ Ｙｏｒｋ １１１０１‐４４３３，Ｕ．Ｓ．Ａ

(74)【代理人】

【識別番号】100169904

【弁理士】

【氏名又は名称】村井 康司

(74)【代理人】

【識別番号】100175617

【弁理士】

【氏名又は名称】三崎 正輝

(72)【発明者】

【氏名】ザカリヤ ニアジ

(57)【要約】      （修正有）

【課題】視差を有しない多重カメラパノラマ撮像システム、方法及び用途を提供する。
【解決手段】視差を有しない物体の画像を形成するための方法であって、多重カメラパノラマ撮像システムは、並んだアレイに配置された複数の別個の撮像システムを含む。各別個の撮像システムの視野は、各隣接する別個の撮像システムの視野と結合され、更に、別個の撮像システムにおけるいずれか一撮像システムの視野のエッジにおける主光線のステンシルは、主光線のほぼ平行なステンシルの全てが、物体空間から見られた場合に共通ポイントに集束するように見えるように、別個の撮像システムの任意の隣接する撮像システムの視野のエッジにおける主光線のステンシルとほぼ平行である。
【選択図】図１２

【特許請求の範囲】

【請求項1】

物体の画像を形成するための方法であって、
パノラマ撮像システムを提供することであって、前記パノラマ撮像システムが、視野に
よってそれぞれ特徴付けられる複数の別個の撮像システムを含むことと、
主光線の平行なステンシルの全てが、物体空間から見られた場合に共通ポイントに集束
するように見えるように、前記別個の撮像システムにおける真隣の撮像システムの前記視
野のエッジにおける主光線の前記ステンシルとほぼ平行になるように、前記別個の撮像シ
ステムにおけるあらゆる撮像システムの前記視野の前記エッジにおける主光線の前記ステ
ンシルを制約することと、
を含み、
前記撮像システムが無視差である方法。

【請求項2】

２０度以下だけ平行から逸脱するように主光線の前記ステンシルの少なくとも５０％を
制約することを更に含む、請求項１に記載の方法。

【請求項3】

（ほぼ）視差のないパノラマ撮像システムを設計するための方法であって、
全体的なパノラマ撮像システムジオメトリを決定することであって、前記全体的なパノ
ラマ撮像システムが、隣接する撮像システムの前記視野が結合するように、それぞれの視
野を並んだアレイに配置する複数の別個の撮像システムを含むことと、
主光線の前記ほぼ平行なステンシルが、物体空間から見られた場合に共通ポイントに集
束するように見えるように、前記別個の撮像システムにおける一撮像システムの視野のエ
ッジにおける主光線のステンシルが、前記別個の撮像システムの隣接する一撮像システム
の前記視野のエッジにおける主光線の前記ステンシルとほぼ平行になるように前記別個の
撮像システムを設計することと、
を含む方法。

【請求項4】

前記全体的なパノラマ撮像システムが、複数の同一で別個の撮像システムを含む、請求
項３に記載の方法。

【請求項5】

前記別個の撮像システムを設計する際に、前記複数の別個の撮像システムのどの間にも
物理的な重複がないことを保証する、請求項３に記載の方法。

【請求項6】

前記別個の撮像システムを設計する際に、前記明白な集束ポイントが、各別個の撮像シ
ステムのそれぞれの画像センサの背後に位置することを保証する、請求項３に記載の方法
。

【請求項7】

多重カメラパノラマ撮像システムであって、
並んだアレイに配置された複数の別個の撮像システムであって、各別個の撮像システム
の視野が、各隣接する別個の撮像システムの視野と結合され、更に、前記別個の撮像シス
テムにおけるいずれか一撮像システムの前記視野の前記エッジにおける主光線のステンシ
ルが、主光線のほぼ平行なステンシルの全てが、物体空間から見られた場合に共通ポイン
トに集束するように見えるように、前記別個の撮像システムの任意の隣接する撮像システ
ムの前記視野の前記エッジにおける主光線のステンシルとほぼ平行である複数の別個の撮
像システムを含む多重カメラパノラマ撮像システム。

【請求項8】

複数の同一で別個の撮像システムを含む、請求項７に記載の多重カメラパノラマ撮像シ
ステム。

【請求項9】

主光線の前記ステンシルの少なくとも５０％が、２０度以下だけ平行から逸脱する、請
求項７に記載の多重カメラパノラマ撮像システム。

【請求項10】

前記別個の撮像システムのそれぞれが、画像センサを含み、更に、前記明白な集束ポイ
ントが、前記別個の撮像システムのそれぞれにおける前記画像センサの背後に位置する、
請求項７に記載の多重カメラパノラマ撮像システム。

【請求項11】

前記別個の撮像システムのどれも、物理的に重複しない、請求項７に記載の多重カメラ
パノラマ撮像システム。

【請求項12】

前記システムが、十二面体ジオメトリを有し、更に、前記システムが、３６０度ＦＯＶ
によって特徴付けられる、請求項７に記載の多重カメラパノラマ撮像システム。

【請求項13】

前記別個の撮像システムのそれぞれにおける前部レンズが、単一の隣接する自由形状の
光学装置の一部である、請求項７に記載の多重カメラパノラマ撮像システム。

【請求項14】

各画像センサが、波面センサである、請求項１０に記載の多重カメラパノラマ撮像シス
テム。

【請求項15】

前記別個の撮像システムのそれぞれが、前記撮像システムの歪み及びペッツバル湾曲に
適合するために、湾曲画像面を有する、請求項７に記載の多重カメラパノラマ撮像システ
ム。

【請求項16】

前記撮像システムによって形成された隣接する３６０度画像における歪曲収差を補正す
るためにアルゴリズムを用いることを更に含む、請求項１又は３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１４年５月６日出願の米国仮出願第６１／９８９，１３６号明細書の優
先権を主張し、その米国仮出願の主題は、その全体において参照により本明細書に援用さ
れる。

【0002】

本発明の態様及び実施形態は、最も一般的には光学撮像システム、それに関連する方法
及びその用途に関し、より具体的にはパノラマ光学撮像システム、それに関連する方法及
びその用途に関し、最も具体的には視差がゼロ又はほぼゼロのパノラマ光学撮像システム
、それに関連する方法及びその用途に関する。

【背景技術】

【0003】

視差のない現在の３６０度システムは、画像を走査するためのミラーの配置を用い、且
つ１０フレーム／秒（ｆｐｓ）の撮像速度によって制限される。Ｇｏｏｇｌｅは、そのス
トリートビューソフトウェア用の写真を撮るために、Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａに
よって開発された屈折レンズを備えた３６０度カメラを用いる。写真は、視差用に後処理
され補正されなければならず、時間がかかり、それは、Ｇｏｏｇｌｅのストリートビュー
構想を極めるＧｏｏｇｌｅの能力を低下させる。魚眼レンズは、広角撮像をもたらすが、
しかし高い歪みという代償を払ってである。歪みは、大きな球体を小さく平らな画像面に
マッピングすることの物理的な結果である。

【0004】

幾つかの会社は、パノラマ画像を撮るプロセスを単純化するための光学システムを開発
した。多数のショットを得るためにカメラを回転させるのではなく、写真の全ては、現場
における異なる部分を撮像する多数のカメラを用いて同時に捕捉される。Ｉｍｍｅｒｓｉ
ｖｅ Ｍｅｄｉａ及びＧｒｅｙｐｏｉｎｔ Ｉｍａｇｉｎｇは、１０，０００ドルと１０
０，０００ドルとの間で変わる価格で入手可能なワンショット３６０度カメラを開発した
。両社は、画像に生成されたアーチファクト（視差）を自動的に補正し、且つ１台のカメ
ラ、例えばｉＰｈｏｎｅ(登録商標)カメラによって撮られたパノラマより優れた解決法を
提供するためのソフトウェアを開発する。しかしながら、そのソフトウェアは、完全では
なく、多くのアーチファクトが、やはり画像に存在する。逸話として、Ｇｏｏｇｌｅは、
１人の人間に、グランドキャニオンのあちこちへＤｏｄｅｃａ３６０カメラ（Ｉｍｍｅｒ
ｓｉｖｅ Ｍｅｄｉａによって提供された）を持って行かせ、且つ視差によって引き起こ
されたアーチファクトのために、フレームごとに画像を補正するプログラマを雇用しなけ
ればならなかった。

【0005】

光学システムの視差及び主光線
視差は、「影響、即ち、それによって、物体の位置又は方向が、例えばカメラのファイ
ンダ及びレンズを通して様々な位置から見られた場合に、異なるように見えるという影響
」として定義される。視差は、それぞれ世界の自らの独特な見方を備えた多数のカメラか
らの画像をつなぎ合わせることの結果として生成される。

【0006】

図１を参照すると、光学システムの主光線は、物体のエッジでスタートし、開口絞りで
光軸の中心を横断し、且つ検出器において画像のエッジで終了するメリジオナル光線であ
る。従って、主光線は、画像のサイズを画定する。

【0007】

主光線は、複像をつなぎ合わせることによって生成された視差において重大な役割を果
たす。図２は、並んだ２つの光学システム（カメラ）を示す。上部のレンズユニットに関
し、正方形、三角形及び長方形が、画像の同じポイントにマッピングされるのに対し、下
部のレンズユニットに関し、それらは、図示のように３つの別個のポイントにマッピング
される。上部の撮像システムにおいて、それらが、同じ主光線によって撮像されるのに対
して、下部の撮像システムに関し、それらは、３つの別個の主光線によって撮像される。
図３において２つの画像を組み合わせると、視差が発生することになり、図４に示されて
いるような画像が生じることになる。

【0008】

視差を補正できるアルゴリズムの追求が何年も続いている。多くの解決法が開発された
が、しかし現在までの最も精巧なアルゴリズムを用いてさえ、アーチファクトは、やはり
パノラマ画像に残される。人によっては、これは、フレームごとに画像を修正するために
ソフトウェアエンジニアを雇うことかできるので、問題にならない場合がある。しかしな
がら一般消費者にとって、各画像を補正するこの選択肢は、実現可能ではない。かかるシ
ステムが、消費者市場で入手可能になり得る前に、視差を効果的に補正するより優れた解
決法が必要とされる。画像における視差を計算的にではなく光学的に低減する問題を解決
することが望ましい。

【0009】

ワンショットパノラマ撮像用に作成された現在の設計は、それらが、重複する視野を備
えた撮像システムから作成されるので、視差に悩まされる。図５は、米国特許第２，６９
６，７５８号明細書から取られた。この図は、今日利用可能な３６０度撮像システムにお
いて視差がどのように生成されるかを示す。視野は重複し、下部レンズシステム用のＦＯ
Ｖのエッジに現れる三角形は、上部の撮像システムにおいて、約０．７０７×ＦＯＶの所
に現れる。従って、三角形は、各カメラに対して異なる像点にマッピングされる。下部に
おいて、それは、完全なＦＯＶ（画像のエッジ）にマッピングされる。

【発明の概要】

【課題を解決するための手段】

【0010】

従って、本発明者は、視差がない、且つ視差が、後処理ソフトウェアによってではなく
光学的に除去されるパノラマ撮像システム及び関連する方法の利点及び利益を認識した。
かかるシステムは、地球の通りをマッピングするスケーラブルな方法を提供することと、
都市及び民間機関両方の仮想ツアーの生成を可能にすることと、高フレームレートビデオ
監視と、無人機及びタンク技術を含む軍事用途と、高い歪みの代償を払う広角撮像を提供
する魚眼レンズ用の代替と、を含む用途を有することになろう。

【図面の簡単な説明】

【0011】

【図1】光学システムの主光線を示す。主光線は、画像の高さと同様に物体の高さも画定する。

【図2】現場の画像を捕捉するために多数の屈折撮像システムが使用される場合に、なぜ視差が発生するかを示す。上部のレンズユニットにおいて、３つの物体は、同じ像点にマッピングされる。下部のレンズユニットにおいて、それらは、３つの別個の像点にマッピングされる。

【図3】（左）が、図２における上部のレンズユニットによって形成された画像を示すのに対して、右の画像は、下部のレンズユニットによって形成された画像である。

【図4】図３における２つの画像を組み合わせることから生じるであろう画像を示す。

【図5】今日作製されるカメラにおいて、視差がどのように生じるかを示す。視野は重複し、下部のレンズシステム用のＦＯＶのエッジに現れる三角形は、上部の撮像システムでは約０．７０７×ＦＯＶの所に現れる。従って、三角形は、各カメラ用に異なる像点にマッピングされる。下部において、それは、完全なＦＯＶ（画像のエッジ）にマッピングされる。

【図6】視差を有しない並んだ２つの撮像システムを示す。各システムのエッジにおける主光線は、互いに平行に位置するように制約される。従って、この線に沿って位置する物体は、画像面における同じポイントに撮像される。

【図7】図示された両方の撮像システム用の（以下で定義されるような）非視差（ＮＰ）ポイントの位置を示す。

【図8】ＦＯＶのエッジにおける主光線が平行ではなく、従ってＮＰポイントが異なる位置にあることを示す。

【図9】ＮＰポイントが画像センサの前に位置する撮像システムを示す。

【図10】各１つのＦＯＶのエッジにおける主光線が、もう一方に平行であるように整列された２つの撮像システムを示す。

【図11】ＮＰポイントが画像面の背後にある撮像システムを示す。

【図12】ＮＰポイントが同じ場所に位置する多重ユニット撮像システムを示す。

【図13】エッジ光線が各十二面体フェースに沿って位置するように制約された３６０度レンズシステムの３次元表現を示す。

【図14】レンズが五角形ではなく円である場合に生成されるであろう盲点を示す、五角形に内接された円を示す。

【図15】正五角形に外接するように最初に設計された、各システムの第１のレンズ素子を示す。

【図16】第１のレンズ素子の直径は、１．７０１３ａであるように制約され、ａは、正五角形の辺長である。

【図17】第１のレンズ素子の中心から十二面体の中心（ＮＰポイント）までの距離は、１．１１３５ａであり、ａは、五角形の辺長である。

【図18】五角形フェースの上端からＮＰポイントまでの距離は、１．３１ａであるように制約され、ａは、正五角形の辺長である。ここで、ＮＰポイントは、十二面体の中心である。

【図19】十二面体の中心に関して第１のレンズ素子に課された制約を示す図である。「ａ」は、十二面体における各正五角形の辺長である。

【図20】任意の要素の最大長さが、十二面体の中心から出る光の３１．７１７度半角円錐内に収まるように制約されることを示す図である。

【図21】十二面体の中心と五角形エッジの中心との間の十二面体の１／１２及び角度の三次元表現である。

【図22】十二面体の中心と五角形エッジのエッジとの間の十二面体の１／１２及び角度の三次元表現である。

【図23】光線１及び光線３７までの高さ示すペンタゴン形レンズ素子である。

【図24】光線１及び３７をモデルで示す現在のレンズ設計のゼマックス（Ｚｅｍａｘ）図である。

【図25】後側からの現在のレンズ設計の三次元ゼマックス図である。

【図26】側部からの三次元ゼマックス図である。

【発明を実施するための形態】

【0012】

本発明の態様は、視差を有しない多重カメラパノラマ撮像システムである。非限定的な
実施形態によれば、多重カメラパノラマ撮像システムは、並んだアレイに配置された複数
の別個の撮像システムを含み、各別個の撮像システムの視野は、各隣接する別個の撮像シ
ステムの視野と結合され、更に、別個の撮像システムにおけるいずれか一撮像システムの
視野のエッジにおける主光線のステンシルは、主光線のほぼ平行なステンシルの全てが、
物体空間から見られた場合に共通ポイントに集束するように見えるように、別個の撮像シ
ステムの任意の隣接する撮像システムの視野のエッジにおいて、主光線のステンシルとほ
ぼ平行である。様々な非限定的な実施形態において、多重カメラパノラマ撮像システムは
、以下の機構、制限、特徴を含むか、又はそれらによって単独で若しくはそれらの様々な
組み合わせで更に特徴付けられ得る。
－ 複数の同一で別個の撮像システムを含む。
－ 主光線のステンシルの少なくとも５０％が、２０度以下だけ平行から逸脱する。
－ 別個の撮像システムのそれぞれが、画像センサを含み、更に、明白な集束ポイント
は、別個の撮像システムのそれぞれにおける画像センサの背後に位置する。
－ 別個の撮像システムのどれも、物理的に重複しない。
－ システムは、十二面体ジオメトリを有し、更にシステムは、３６０度ＦＯＶによっ
て特徴付けられる。
－ 別個の撮像システムのそれぞれにおける前部レンズは、単一の隣接する自由形状の
光学装置の一部である。
－ 各画像センサは、波面センサである。
－ 別個の撮像システムのそれぞれは、撮像システムの歪み及びペッツバル湾曲に適合
するために、湾曲画像面を有する。

【0013】

本発明の態様は、視差を有しない物体の画像を形成するための方法である。非限定的な
実施形態によれば、方法は、パノラマ撮像システムを提供することであって、パノラマ撮
像システムが、視野によってそれぞれ特徴付けられる複数の別個の撮像システムを含むこ
とと、主光線の平行なステンシルの全てが、物体空間から見られた場合に共通ポイントに
集束するように見えるように、別個の撮像システムの真隣の撮像システムの視野のエッジ
における主光線のステンシルとほぼ平行になるように、別個の撮像システムにおけるあら
ゆる撮像システムの視野のエッジにおける主光線のステンシルを制約することと、を含み
、撮像システムは、無視差である。様々な非限定的な実施形態において、パノラマ撮像方
法は、以下の機構、制限、特徴、ステップを含むか、又はそれらによって単独で若しくは
それらの様々な組み合わせで更に特徴付けられ得る。
－ ２０度以下だけ平行から逸脱するように主光線のステンシルの少なくとも５０％を
制約することを更に含む。
－ 撮像システムによって形成された３６０度画像における歪曲収差を補正するために
アルゴリズムを用いることを更に含む。

【0014】

本発明の態様は、（ほぼ）視差のないパノラマ撮像システムを設計するための方法であ
る。非限定的な実施形態によれば、方法は、全体的なパノラマ撮像システムジオメトリを
決定することであって、全体的なパノラマ撮像システムが、隣接する撮像システムの視野
が結合するように、それぞれの視野を並んだアレイに配置する複数の別個の撮像システム
を含むことと、主光線のほぼ平行なステンシルが、物体空間から見られた場合に共通ポイ
ントに集束するように見えるように、別個の撮像システムにおける一撮像システムの視野
のエッジにおける主光線のステンシルが、別個の撮像システムの隣接する一撮像システム
の視野のエッジにおける主光線のステンシルとほぼ平行になるように別個の撮像システム
を設計することと、を含む。様々な非限定的な実施形態において、パノラマ撮像方法は、
以下の機構、制限、特徴、ステップを含むか、又はそれらによって単独で若しくはそれら
の様々な組み合わせによって更に特徴付けられ得る。
－ 全体的なパノラマ撮像システムは、複数の同一で別個の撮像システムを含む。
－ 別個の撮像システムを設計する際に、複数の別個の撮像システムのどの間にも物理
的な重複がないことを保証する。
－ 別個の撮像システムを設計する際に、明白な集束ポイントが、各別個の撮像システ
ムのそれぞれの画像センサの背後に位置することを保証する。

【0015】

パノラマカメラが最小の視差を達成するために、撮像システムの視野（ＦＯＶ）、重複
してはならない。従って、ＦＯＶのエッジにおける主光線は、隣接する光学システムのエ
ッジにおける主光線と平行に光学システムに接近しなければならない。

【0016】

図６は、視差を有しない並んだ２つの撮像システムを示す。各システムのエッジにおけ
る主光線は、互いに平行に位置するように制約される。従って、この線に沿って位置する
物体は、画像面における同じポイントに撮像される。これは、個々のレンズ素子を設計す
るために利用できるアプローチである。視野は、互いに重複しない。何故なら、混合角度
における主光線が、互いに平行になり、共通ポイントに集束するように制約されるからで
ある。共通ポイントは、レンズが入れられるジオメトリに依存する。換言すれば、主光線
は、物体空間からレンズシステムを見た場合に、主光線が同じポイントで光軸を横断する
ように見えるように、平行に制約される。実際には、それらは、仮想ポイントの前に位置
する画像センサにおいて光軸を横断するが、しかし物体空間からレンズシステムをのぞく
と、それらは、同じポイントで横断するように見える。

【0017】

ＮＰポイント（非視差ポイント）
前の概念の理解を助けるために、我々は、非視差ポイント（ＮＰポイント）と呼ばれる
用語を定義する。ＮＰポイントは、ＦＯＶのエッジにおける主光線が、どのように互いに
平行に位置するように物理的にされ得るか、及びそれらがどの規則に従うべきかを理解す
るために用いられる抽象概念である。ＮＰポイントは、視差のないパノラマ撮像システム
用の物体空間からシステムを見た場合に、隣接する光学システムのエッジにおける主光線
が、光軸と交差するポイントである。

【0018】

具体化された本発明によれば、各撮像システムのＮＰポイントは、同じ位置に存在しな
ければならない。即ち、隣接する光学システムの光線は、平行でなければならない。図９
は、ＮＰポイントが撮像センサの前に位置する撮像システムを示す。図１０は、各撮像シ
ステムのＦＯＶのエッジにおける主光線がもう一方と平行であるように整列された２つの
撮像システムを示す。この制約は、ＮＰポイントが、両システム用に同じ位置になければ
ならないことを意味する。ＮＰポイントが画像センサの前にある場合に、レンズ素子が重
複することなしにＮＰポイントを整列させることは不可能である。このシステムは、どん
な視差も有しないであろうが、しかしそれは、実現することが物理的に不可能である。こ
れは、光学システムを設計する場合に、要素が互いに物理的に重複しないように、ＮＰポ
イントが、撮像システムにおける全ての要素の背後にあるべきであることを示す。

【0019】

図１１は、ＮＰポイントが画像面の背後に位置するシステムを示す。この事例の場合に
、図１２に示されているように、視野が重複しないように多数の撮像システムを配置する
ことが可能である。ＮＰポイントの正確な位置は、レンズ配置のジオメトリによって決定
される。任意に位置を選ぶこと、即ち、主光線が画像面の背後で光軸を横断するように見
えるように、光線高さ及び入射角を任意に選択することによって、レンズシステムのジオ
メトリは、完全な３６０度画像を撮るために、何百ものレンズユニットを必要とする可能
性がある。ＮＰポイントの位置は、レンズ用に用いたいと人が望み得るジオメトリを検討
した後で、決定されなければならない。

【0020】

本発明の実施形態は、多重カメラパノラマ撮像システムに関し、そこにおいて、隣接す
る撮像ユニットの視野は、図７の概略図に示されているように、全撮像システムの合成視
野を形成するために結合する。従来のパノラマ撮像システムは、それらのそれぞれの視野
が、図８の概略図に示されているように重複するような方法で撮像ユニットを組み立てる
が、それは、結果としての画像における視差につながり、且つ視差を除去するように画像
をつなぎ合わせる補正ソフトウェアを必要とする。

【0021】

この例示的な実施形態において、１つの撮像ユニットのエッジに当たる光線は、両方の
撮像システムが同じエッジ光線セットを共有するように、隣接する撮像ユニットの入射光
線と平行に位置するように制約される。図１３の３次元モデルで見られるように、１つの
撮像ユニットのエッジにおける光線は、隣接する撮像ユニットのエッジにおける光線と同
じである。光線は、十二面体エッジの表面に沿って位置するように制約された灰色の線で
ある。各五角形状のレンズのエッジにおける灰色の光線は、その隣接する表面に入る光線
に一致する。エッジ光線の下の半径における全ての光線は、これらの光線が、隣接するシ
ステムからの光線と重複しないように、より小さな入射角に位置する。

【0022】

具体化されたパノラマ撮像システムは、ＮＰポイントが画像センサの背後にある撮像シ
ステムを設計する前述の技術を利用し、且つ視差が最小か又はない３６０度ＦＯＶカメラ
を作製するために、多数のレンズシステムを十二面体ジオメトリに組み合わせる。

【0023】

第１のレンズ素子は、正五角形の表面に形作られる。完全なシステムは、１２の個別の
撮像ユニットから構成され、それぞれは、五角形のエッジに沿った、且つ十二面体のジオ
メトリによって指定されたジオメトリを満たす入射角を有するように制約された光線用の
共通のＮＰポイントを備える。

【0024】

十二面体は、１２の表面を備えた多面体である。多面体は、エッジにおいて連結された
多角形の集まりからなる３次元の固体である。十二面体の各側面は、正五角形（等しい長
さの側面を備えた五角形）である。十二面体は、ジオメトリを利用してレンズシステムを
設計するために理解されなければならない幾つかの重要な幾何学的特性を有する。特性は
、なぜ第１のレンズが五角形の表面に形作られなければならないかを簡単に論じた後で、
次に順番に論じられる。

【0025】

円形に縁取られたレンズを十二面体ジオメトリにおける第１の素子として使用すること
により、エッジ光線を整列させる現在の技術を用いて３６０度視野における全ての情報を
捕捉することは不可能である。第１のレンズが、五角形に内接される際の欠けたエリア（
図１４における網掛け領域）は、盲点を生成する。視野が決して重複しないので、この情
報は、決して捕捉されない。円エリアと円エリアが内接される五角形エリアとの間の比率
は、π／５又は６２．８３％と等しいことを計算することができる。これは、我々のまわ
りの３６０度視野用に我々が記録できる最大の情報量である。レンズと五角形との間に生
成される盲点は、３６０度画像における情報のほぼ４０％を削除する。

【0026】

次の説明は、十二面体のジオメトリを示すように意図され、且つ前述のＮＰ技術及び十
二面体ジオメトリを利用してレンズシステムを生成する場合に必要であるが、しかし本明
細書で具体化される、視差のないパノラマ撮像システムを生成するために不可欠ではない
。

【0027】

特性１：正五角形に外接する円の直径
１２の個々のレンズシステムのそれぞれに関し、第１のレンズは、それが、図１５に示
されているように十二面体の正五角形のそれぞれに外接するように設計される。正五角形
に外接する円の直径は、次の通りである。
Ｄ＝ａ／ｓｉｎ（３６°）＝１．７０１３ａ

【0028】

上記の式において、「ａ」は、正五角形の辺長である。各システムの第１のレンズ素子
は、各五角形に完全に外接し、従って、各システム用の第１のレンズ素子の直径は、図１
６に示されているように１．７０１３ａとして与えられる。

【0029】

特性２：各五角形の中心に接する内接された球
内接された球の半径（十二面体フェースのそれぞれに対する接線）は、次の通りである
。

【数1】

この半径は、この設計における各レンズ用のＮＰポイントである十二面体の中心、及び
五角形のフェースの中心、即ち、その五角形を占めるシステムにおける第１のレンズ素子
の中心（光軸）と一致する五角形フェースの中心からの距離である。このポイントは、各
五角形フェースの中心にある。ＮＰポイントと十二面体の中心との間の長さは、１．１１
３５ａになるように制約され、ａは、図１７に示されているように、五角形側面の１つに
おける長さである。

【0030】

特性３：十二面体の中間半径
中間半径は、十二面体の中心及び各エッジの中間を接続するポイントである。この長さ
は、次のように与えられる。

【数2】

この式は、図１８に示されているように、五角形フェースの上端とＮＰポイントとの間
の距離を制約する。

【0031】

制約
十二面体の幾何学的特性は、十二面体を具体化する１２のレンズの設計を制約する。特
に、我々は、上記で与えられた説明に基づく次の４つのパラメータを有する。
１．第１のレンズ素子の直径：１．７０１３ａ
２．第１のレンズ素子から十二面体の中心までの距離：１．１１３５ａ
３．第１のレンズ素子の上端から十二面体の中心までの距離：１．３１ａ
４．ＦＯＶ＝３７．３７７７度
最初の３つの制約のうち任意の２つを与えられたとすると、レンズの光軸と第１のレン
ズ素子の上端との間の角度が、３７．３７７７度（図１９を参照）であることを得る。
ｔａｎ^－１（（１．７０１３／２）／１．１１３５）－３７．３７７°
我々は、３７．３７度のこの角度がレンズの視野であることを望む。これは、ＮＰポイ
ント、即ち、混合（混合角度は完全なＦＯＶである）の主光線が物体空間において光軸と
交差するポイントが、十二面体の中心に位置することを保証する。他の制約の全ては、レ
ンズ素子が、ＮＰポイントの前に位置すること、及び要素が、光の３１．７１７度半角円
錐内に入ることを保証する。

【0032】

他のレンズ素子及びセンサの直径
４つの制約が上記で与えられたとすると、我々は、十二面体ジオメトリに収まるために
第１のレンズ素子後の各レンズ素子のサイズが、何でなければならないかが分かる。先行
するレンズ素子が収まるために、どんなレンズ又はセンサ素子も、十二面体の中心で始ま
る、且つ第１のレンズ素子の直径に接する光の３１．７１７度円錐内に収まらなければな
らない。第１のレンズ素子からの距離が増加すると共に、先行するレンズ素子の直径は、
比例して減少する（図２０を参照）。

【0033】

第１のレンズ素子に先行するどんなレンズ素子又はセンサの最大部直径も、（１．１１
３５ａ－Ｄ）^＊ｔａｎ（３１．７１６度）以下であることが幾何学的に分かる。この式で
、Ｄは、第１のレンズ素子からのその素子の距離である。

【0034】

従って、ここで、我々は、このレンズシステムが、十二面体のジオメトリと一致し、且
つ３６０度撮像をできるようにする５つの制約を有する。
１．第１のレンズ素子の直径：１．３７６３ａ。
２．第１のレンズ素子から十二面体の中心までの距離：１．１１３５ａ。
３．第１のレンズ素子の上端から十二面体の中心までの距離：１．３１ａ。
４．ＦＯＶ＝３７．３７７度
５．φ_Ｌｉ＜（１．１１３５ａ－Ｄ_{ＬＩ、Ｌｉ}）ｔａｎ（３１．７１７°）
この式でφ_Ｌｉは、距離Ｄ_{ＬＩ、Ｌｉ}によって第１のレンズ素子から分離された任意の
レンズ素子の直径である。全てのレンズが、十二面体の中心から出る光の３１．７１７度
円錐内に入るように設計される上記の５つの制約が与えられたとすると、視差のないレン
ズシステムを構成することが可能である。

【0035】

システム設計
レンズ用のジオメトリが選択された。プラトンの固体は、それらが、等しいジオメトリ
及び体積の多くの固体で構成されるという特性を有する。３６０度を撮像するシステム用
に、これは、同じ複製されたレンズ設計から複合撮像システムを作製できるようにする。
十二面体ジオメトリは、それがそのジオメトリにおいてほぼ球状であるので選択された。

【0036】

１つの撮像ユニットのエッジ光線が、隣接ユニットのエッジ光線と平行に位置するため
に、それらは、同じ角度で入射しなければならない。両方の撮像ユニットによって共有さ
れる角度は、十二面体エッジ面の角度である。エッジ面の中心において、十二面体中心の
中心に対する角度は、図２１に示されているように、３１．７１７度である。エッジ面の
コーナーにおいて、十二面体中心の中心に対する角度は、図２２に示されているように、
３７．３７７度である。

【0037】

隣接する撮像ユニットに沿った光線を一致させるために、撮像ユニットの第１のレンズ
は、十二面体の表面と一致する五角形に切り込まれる。エッジの中心において、表面に当
たる光線は、３１．７１７度の入射角で入射する。エッジのコーナーにおいて、入射光線
の入射角は、３７．３７７度である。レンズのエッジに沿った全てのポイントにおいて、
入射光線の入射角は、十二面体表面のジオメトリと一致するようにされる。

【0038】

五角形レンズのエッジに沿った３７の光線用の入射角は、十二面体の中心から五角形フ
ェースの中心までの距離を知り、且つ十二面体の中心から、図２１及び２２に示されてい
るような問題のエッジポイントまでの距離を知り、三角法を用いて計算された。各光線の
高さは、五角形エッジに沿って位置するように制約された。例えば、表面１の外接円を示
す１２０ｍｍの半径を用いると、ポイント１の光線は、４８．５４ｍｍの高さ及び３１．
７１７度の入射角を有する。ポイント３７の光線は、６０ｍｍの高さ及び３７．３７７度
の入射角を有する。表Ｉは、図２３におけるポイント１～ポイント３６の３７ポイント用
の光線高さ及び入射角の値を示す。

【0039】

【表1】

【0040】

光線制約を示す図が、図２４に示されている。光線１は、４８．５４ｍｍの高さ及び３
１．７１７度の入射角を有する。光線１は、図２４においてポイント１を通過する光線で
ある。光線２は、６０ｍｍの高さ及び３７．３７７度の入射角を有し、図２４においてポ
イント３７を通過する光線である。全ての３７の光線は、上記の表に指定された光線高さ
及び角度によって制約される。このように制約されて、全ての光線は、十二面体の表面と
同じ角度でレンズに入射する。別の方法でそれらの同じ光線を見ると、我々は、光線が、
図２５及び２６に示されているように、正確な入射角で五角形ジオメトリに適切に制約さ
れることが分かる。

【0041】

[付記１]
パノラマ画像を形成するための方法であって、
複数の別個の撮像システムを並んだアレイに配置するパノラマ撮像システムを提供する
ステップであって、前記別個の撮像システムのそれぞれが、視野によって特徴付けられる
ステップと、
主光線の全てが、物体空間から見られた場合に共通ポイントに集束するように見えるよ
うに、且つ、前記複数の別個の撮像システムのそれぞれにおける前記視野が、結合される
が、しかし前記別個の撮像システムにおける真隣の撮像システムの前記視野に重複しない
ように、前記別個の撮像システムにおけるあらゆる撮像システムの前記視野のエッジに沿
って当たる複数の主光線を、前記別個の撮像システムの前記真隣の撮像システムの前記視
野の隣接するエッジに沿って当たる別の複数の主光線と実質的に平行になるように制約す
るステップと、
を含む方法。
[付記２]
２０度以下だけ平行から逸脱するように、隣接する前記別個の撮像システムの前記視野
の隣接するエッジに沿って当たる前記主光線の少なくとも５０％を制約するステップを更
に含む、
付記１に記載の方法。
[付記３]
前記別個の撮像システムのそれぞれが、前記別個の撮像システムの前記真隣の撮像シス
テムと同じ主光線セットを共有する、
付記１に記載の方法。
[付記４]
前記複数の別個の撮像システムのそれぞれが、同一である、
付記１に記載の方法。
[付記５] 前記パノラマ撮像システムを提供する前記ステップが、
中心を有する三次元幾何学的形状に、前記並んだアレイを構成するステップと、
複数のエッジを有する前部レンズを備えた前記複数の別個の撮像システムのそれぞれを
構成するステップであって、前記複数のエッジが、前記三次元幾何学的形状の中心及び前
記前部レンズの中間ポイントに対して前記エッジに沿ったポイントにおいて複数のエッジ
面角度を画定するステップと、
隣接する前部レンズにおける隣接するエッジに隣接するように、前記複数のエッジにお
ける各エッジを構成するステップと、
を含み、
前記視野に沿って当たる前記複数の主光線を制約する前記ステップが、前記エッジに沿
った前記複数の主光線のそれぞれにおける入射角を前記隣接するエッジに沿った前記エッ
ジ面角度と一致させるステップを含む、
付記１に記載の方法。
[付記６]
前記三次元形状が、十二面体であり、前記別個の撮像システムのそれぞれにおける前記
前部レンズが、五角形状を有するように構成され、前記五角形状のエッジが、長さａを有
し、前記五角形状に外接する円の直径が、ａ／ｓｉｎ（３６°）＝１．７０１３ａに等し
く、前記十二面体内に内接された球の半径が、

【数3】

に等しく、前記十二面体の中心から前記前部レンズの前記エッジにおける中間ポイントへ
の距離が、

【数4】

に等しい、
付記５に記載の方法。
[付記７]
多重カメラパノラマ撮像システムであって、
視野によって特徴付けられた、且つ並んだアレイに配置された複数の別個の撮像システ
ムであって、前記別個の撮像システムのそれぞれにおける前記視野が、結合されるが、し
かし各隣接する別個の撮像システムの前記視野に重複せず、主光線の全てが、物体空間か
ら見られた場合に共通ポイントに集束するように見えるように、前部レンズを含む前記別
個の撮像システムのそれぞれが、前記別個の撮像システムにおけるあらゆる撮像システム
の前記視野のエッジに沿って当たる前記複数の主光線を、前記別個の撮像システムの真隣
の撮像システムの前記視野の隣接するエッジに沿って当たる別の複数の主光線と実質的に
平行になるように制約するように構成された複数の別個の撮像システムを含む、
多重カメラパノラマ撮像システム。
[付記８]
隣接する別個の撮像システムの前記視野の隣接するエッジに沿って当たる前記主光線の
少なくとも５０％が、２０度以下だけ平行から逸脱する、
付記７に記載の多重カメラパノラマ撮像システム。
[付記９]
前記別個の撮像システムのそれぞれが、画像センサを含み、更に、前記共通ポイントが
、前記画像センサの背後に位置する、
付記７に記載の多重カメラパノラマ撮像システム。
[付記１０]
前記並んだアレイが、中心を有する三次元幾何学的形状を形成し、前記別個の撮像シス
テムのそれぞれにおける前記前部レンズが、前記三次元幾何学的形状の中心及び前記前部
レンズの中間ポイントに対して前記エッジに沿ったポイントにおいて複数のエッジ面角度
を画定する複数のエッジを有し、前記複数のエッジにおける各エッジが、隣接する前部レ
ンズにおける隣接するエッジに隣接するように構成され、前記複数のエッジのそれぞれに
おける前記エッジに沿った前記複数のエッジ面角度が、前記隣接する前部レンズにおける
前記隣接するエッジに沿った前記複数の主光線のそれぞれにおける入射角と一致する、
付記７に記載の多重カメラパノラマ撮像システム。
[付記１１]
前記三次元形状が、十二面体であり、前記別個の撮像システムのそれぞれにおける前記
前部レンズが、五角形状を有するように構成され、前記五角形状のエッジが、長さａを有
し、前記五角形状に外接する円の直径が、ａ／ｓｉｎ（３６°）＝１．７０１３ａに等し
く、前記十二面体内に内接された球の半径が、

【数5】

に等しく、前記十二面体の中心から前記前部レンズの前記エッジにおける中間ポイントへ
の距離が、

【数6】

に等しい、
付記１０に記載の多重カメラパノラマ撮像システム。
[付記１２]
前記別個の撮像システムのそれぞれにおける前部レンズが、単一の隣接する自由形状の
光学装置の一部である、
付記７に記載の多重カメラパノラマ撮像システム。
[付記１３]
各画像センサが、波面センサである、
付記９に記載の多重カメラパノラマ撮像システム。
[付記１４]
前記別個の撮像システムのそれぞれが、前記撮像システムの歪み及びペッツバル湾曲に
適合するために、湾曲画像面を有する、
付記７に記載の多重カメラパノラマ撮像システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【手続補正書】

【提出日】2022-06-17

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

撮像システムであって、
第１画像を形成する第１撮像装置であって、第１多角形形状を規定する複数の第１縁部を有する第１レンズを含み、前記第１レンズは、前記第１レンズの前記第１多角形形状に対応する第１多角形形状視野内からの第１入射光を捉える第１撮像装置と、
第２画像を形成する第２撮像装置であって、第２多角形形状を規定する複数の第２縁部を有する第２レンズを含み、前記第２レンズは、前記第２レンズの前記第２多角形形状に対応する第２多角形形状視野内からの第２入射光を捉える第２撮像装置と、
を備え、
前記複数の第１縁部の第１エッジは、前記複数の第２縁部の第２エッジに隣接し、共通の隣接エッジを形成し、
前記第１撮像装置及び前記第２撮像装置のそれぞれは、前記共通の隣接エッジの前記第１エッジ及び前記第２エッジに沿って入射する複数の主光線を実質的に平行に制約し、前記共通の隣接エッジに沿って視差のほとんどない又は視差のない前記第１画像及び前記第２画像を形成し、
前記第１撮像装置及び前記第２撮像装置により捉えられ結像された組み合わされた視野は、前記第１多角形状視野と前記第２多角形状視野との合成である、
撮像システム。

【請求項2】

前記複数の主光線は、前記第１エッジに沿って入射する第１の主光線と、前記第２エッジに沿って入射する第２の主光線と、を含み、
物体空間から見た時に、前記第１の主光線と前記第２の主光線とは点に向かって集束して見える、
請求項１に記載の撮像システム。

【請求項3】

前記第１レンズと前記点との間に配置され、前記第１レンズと関連付けられた第１画像センサと、
前記第２レンズと前記点との間に配置され、前記第２レンズと関連付けられた第２画像センサと、
を更に備える、
請求項２に記載の撮像システム。

【請求項4】

前記第１多角形形状及び前記第２多角形形状の少なくとも一方は、五角形である、
請求項１に記載の撮像システム。

【請求項5】

前記第１多角形形状視野内からの前記第１入射光又は前記第２多角形形状視野内の前記第２入射光は、約３１度幅から約３７度幅の角度半幅を有する、
請求項１に記載の撮像システム。

【請求項6】

前記第１レンズと前記第２レンズとは、三次元幾何学形状の一部分に適合するように並べて配列される、
請求項１に記載の撮像システム。

【請求項7】

前記第１撮像装置及び前記第２撮像装置は、前記第１撮像装置及び前記第２撮像装置の歪み及びペッツバル湾曲に適合する湾曲画像面を有する、
請求項１に記載の撮像システム。

【請求項8】

撮像システムであって、
第１多角形形状を有し、前記第１多角形形状に対応する第１多角形形状視野からの第１入射光を捉え結像する第１レンズ、を有する第１撮像装置と、
第２多角形形状を有し、前記第２多角形形状に対応する第２多角形形状視野からの第２入射光を捉え結像する第２レンズ、を有する第２撮像装置と、
を備え、
前記第１撮像装置及び前記第２撮像装置は、前記第１レンズ及び前記第２レンズの隣接エッジに沿って入射する複数の主光線を実質的に平行に制約し、前記隣接エッジに沿って視差がほとんどない又は視差がない隣接画像を形成し、
前記第１多角形形状視野及び前記第２多角形形状視野は、前記隣接エッジに沿って並ぶ隣接する視野である、
撮像システム。

【請求項9】

前記第１レンズは、三次元幾何学形状に適合する面を有し、
前記第１多角形形状視野は、前記面と前記三次元幾何学形状の中心の間の第１距離と、前記面の中心と前記第１レンズの縁部の中心との間の第２距離と、前記面の前記中心と複数の前記縁部が交わる前記第１レンズの角と第３距離と、を用いて算出される形状によって定義される、
請求項８に記載の撮像システム。

【請求項10】

前記第１多角形形状視野の縁部面角度は、前記第１レンズの縁部に沿って並ぶ、
請求項８に記載の撮像システム。

【請求項11】

前記第１レンズの前記縁部の中の第１縁部は、前記第２レンズの縁部の中の第２縁部と、共通の隣接エッジを形成し、
前記第１縁部に入射する第１主光線は、前記第２縁部に入射する第２主光線と実質的に平行である、
請求項１０に記載の撮像システム。

【請求項12】

物体空間から見た時に、前記第１主光線と前記第２主光線とは共通の点に向かって集束して見える、
請求項１１に記載の撮像システム。

【請求項13】

物体空間から見た時に、前記第１撮像装置と前記第２撮像装置とによって形成される画像は、前記共通の隣接エッジに沿って視差がほとんどない又は視差がない、
請求項１１に記載の撮像システム。

【請求項14】

前記第１レンズと前記共通の点との間に配置され、前記第１レンズと関連付けられた第１画像センサと、
前記第２レンズと前記共通の点との間に配置され、前記第２レンズと関連付けられた第２画像センサと、
を更に備える、
請求項１２に記載の撮像システム。

【請求項15】

前記第１多角形形状視野及び前記第２多角形形状視野は、互いに、組み合わされた視野を形成する、
請求項８に記載の撮像システム。

【請求項16】

第１多角形形状視野内からの前記第１入射光および第２多角形形状視野内からの前記第２入射光のうちの少なくとも１つは、名目上、約３１度幅から約３７度幅の角度半幅を有する、
請求項８に記載の撮像システム。

【請求項17】

画像センサ上に画像を形成するレンズシステムを備える撮像システムであって、
前記レンズシステムは、多角形形状の第１レンズを有し、
前記第１レンズは、前記第１レンズの前記多角形形状に対応する多角形形状視野からの入射光を捉え、
前記第１レンズの縁部は角度を有し、
前記第１レンズは、前記縁部に沿って入射する複数の主光線を前記角度に実質的に平行になるように制約する、
撮像システム。

【請求項18】

前記第１レンズは、三次元幾何学形状に適合する面を有し、
前記多角形形状視野は、前記面と前記三次元幾何学形状の中心の間の第１距離と、前記面の中心と前記第１レンズの前記縁部の中心との間の第２距離と、前記面の前記中心と複数の前記縁部が交わる前記第１レンズの角と第３距離と、を用いて算出される形状によって定義される、
請求項１７に記載の撮像システム。

【請求項19】

前記第１レンズの前記多角形形状は、五角形形状である、
請求項１７に記載の撮像システム。