特表 2015-518178 アクティブな中心窩能力を有する広角（ＦＯＶ）結像デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2015-518178(P2015-518178A)

(43)【公表日】2015年6月25日

(54)【発明の名称】アクティブな中心窩能力を有する広角（ＦＯＶ）結像デバイス

(51)【国際特許分類】

   G03B 37/00 20060101AFI20150529BHJP

   H04N 5/225 20060101ALI20150529BHJP

【ＦＩ】

   G03B37/00 A

   H04N5/225 Z

   H04N5/225 D

【審査請求】未請求

【予備審査請求】未請求

【全頁数】21

(21)【出願番号】特願2015-504728(P2015-504728)

(86)(22)【出願日】2013年4月4日

(85)【翻訳文提出日】2014年11月28日

(86)【国際出願番号】US2013035293

(87)【国際公開番号】WO2013152205

(87)【国際公開日】20131010

(31)【優先権主張番号】61/620,581

(32)【優先日】2012年4月5日

(33)【優先権主張国】US

(31)【優先権主張番号】61/620,574

(32)【優先日】2012年4月5日

(33)【優先権主張国】US

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IS,JP,KE,KG,KM,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US,UZ,VC

(71)【出願人】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ガオ， チュンユ

(72)【発明者】

【氏名】フア， ホン

【テーマコード（参考）】

2H059

5C122

【Ｆターム（参考）】

2H059BA03

5C122EA37

5C122FA01

5C122FA02

5C122FA18

5C122FB02

5C122FB06

5C122FB11

5C122FB12

5C122FB13

5C122FE02

5C122FH14

5C122GE05

5C122HA82

5C122HB01

(57)【要約】

本発明は、広角画像および中心窩画像を捕捉可能な中心窩結像システムを備え、中心窩画像は、広角画像の制御可能着目領域である。システムは、外部場に面し、外部場から入射光を受光し、光をビームスプリッタ上に集束させるように構成される、対物レンズ（１１０）と、外部場からの入射光を広角結像経路（１２５）および中心窩結像経路（１３５）内に分割するように構成される、ビームスプリッタ（１２０）と、広角結像経路（１２５）と、中心窩視覚結像経路（１３５）とを備える。広角結像経路は、第１の停止部（１２７）と、広角結像レンズ（１３０）と、広角結像センサ（１４０）とを備える。中心窩視覚結像経路は、第２の停止部（１３７）と、走査ミラー（１５０）と、中心窩結像レンズ（１６０）と、中心窩結像センサ（１７０）とを備える。

【特許請求の範囲】

【請求項1】

広角画像および中心窩画像を捕捉可能な中心窩結像システム（１００）であって、前記中心窩画像は、前記広角画像の制御可能着目領域であり、前記システムは、
ａ．外部場に面し、前記外部場から入射光を受光し、前記光をビームスプリッタ上に集束させるように構成される、対物レンズ（１１０）と、
ｂ．外部場からの入射光を広角結像経路（１２５）および中心窩結像経路（１３５）内に分割するように構成される、ビームスプリッタ（１２０）と、
ｃ．広角結像経路（１２５）であって、前記広角結像経路は、
ｉ．前記ビームスプリッタ（１２０）から前記広角経路内に受光される光の量を制限する、第１の停止部（１２７）と、
ｉｉ．前記停止部（１２７）から光を受光し、広角結像センサ上に広角画像を形成するように構成される、広角結像レンズ（１３０）と、
ｉｉｉ．前記広角結像レンズ（１３０）から光を受光するように構成される、広角結像センサ（１４０）と
を備える、広角結像経路と、
ｄ．中心窩視覚結像経路（１３５）であって、前記中心窩視覚結像経路は、
ｉ．前記ビームスプリッタ（１２０）から前記中心窩結像経路内に受光される光の量を制限する、第２の停止部（１３７）と、
ｉｉ．前記ビームスプリッタ（１２０）から光を反射させるように制御可能である、走査ミラー（１５０）と、
ｉｉｉ．前記走査ミラー（１５０）から、前記外部場の着目領域と関連付けられた前記光の一部を受光し、中心窩結像センサ上に中心窩画像を形成するように構成される、中心窩結像レンズ（１６０）と、
ｉｖ．前記中心窩結像レンズ（１６０）から光を受光するように構成される、中心窩結像センサ（１７０）と
を備える、中心窩視覚結像経路と
を備え、
前記外部場からの入射光は、前記対物レンズ（１１０）を通して、前記ビームスプリッタ（１２０）に通過し、前記ビームスプリッタ（１２０）は、前記光を前記２つの光学経路、すなわち、広角結像経路（１２５）および中心窩結像経路（１３５）に分割し、前記光は、前記第１の停止部（１２７）を通して、前記広角結像経路（１２５）に沿って、前記広角結像レンズ（１３０）に通過し、前記レンズは、前記広角画像を前記広角結像センサ（１４０）上に集束させ、前記光は、前記第２の停止部（１３７）を通して、前記中心窩結像経路（１３５）に沿って、前記走査ミラー（１５０）に通過し、前記走査ミラー（１５０）は、前記ビームスプリッタ（１２０）を通して、前記中心窩結像レンズ（１６０）に向かって、着目領域を反射させ、前記中心窩結像レンズ（１６０）は、前記中心窩画像を前記中心窩結像センサ（１７０）上に集束させ、前記２つの画像は、前記センサによって、前記着目領域の広角画像および高解像度画像として、前記センサの中に記録される、中心窩結像システム。

【請求項2】

前記対物レンズ（１１０）は、前記システムの正面に配置され、前記ビームスプリッタ（１２０）は、前記対物レンズから光を受光する対物レンズに隣接して配置され、前記ビームスプリッタ（１２０）は、前記光を前記２つの光学経路、すなわち、広角結像経路（１２５）および中心窩結像経路（１３５）に分割し、前記第１の停止部（１２７）は、前記広角結像経路（１２５）に沿って、前記ビームスプリッタ（１２０）と光学連通し、前記第２の停止部（１３７）は、前記中心窩結像経路（１３５）に沿って、前記ビームスプリッタ（１２０）と光学連通し、前記走査ミラー（１５０）は、前記第２の停止部（１３７）の位置の近傍またはそこに配置され、前記ビームスプリッタ（１２０）から、前記中心窩結像経路（１３５）に沿って光を受光し、前記光を前記ビームスプリッタ（１２０）に反射させ、前記広角結像レンズ（１３０）は、前記広角結像経路（１２５）に沿って、前記第１の停止部（１２７）に面するように配置され、前記ビームスプリッタ（１２０）から、前記第１の停止部（１２７）を通して、前記広角経路（１２５）に沿って、光を受光し、前記中心窩結像レンズ（１６０）は、前記ビームスプリッタ（１２０）に面するように配置され、前記走査ミラー（１５０）から、前記中心窩結像経路（１３５）に沿って、反射された前記ビームスプリッタ（１２０）からの光を受光し、前記広角結像センサ（１４０）は、前記広角結像レンズ（１３０）に面するように配置され、前記中心窩結像センサ（１７０）は、前記中心窩結像レンズ（１６０）に面するように配置され、前記２つの画像は、前記センサによって、前記着目領域の広角画像および高解像度画像として、前記センサの中に記録される、請求項１に記載の中心窩結像システム。

【請求項3】

前記対物レンズは、傘状または半球状形状視野を捕捉するための回転対称レンズ群である、請求項１〜２のいずれかに記載の中心窩結像システム。

【請求項4】

前記対物レンズは、必要な回転対称屈折光学要素とともに、湾曲ミラーを利用し、リング状パノラマ視野を捕捉する、請求項１〜２のいずれかに記載の中心窩結像システム。

【請求項5】

前記結像センサ（１４０）および（１７０）は、限定されないが、電荷結合素子（ＣＣＤ）、または相補型金属酸化膜半導体（ＣＭＯＳ）、または他のタイプの光感知デバイスを含む、光子を電子信号に変換する光感知ユニット（ピクセル）のアレイを含有する任意の光感知デバイスを含有する、請求項１〜２のいずれかに記載の中心窩結像システム。

【請求項6】

前記走査ミラー（１５０）は、限定されないが、音声コイルミラー、圧電ミラー、微小電子機械システム（ＭＥＭＳ）ミラーまたは他のタイプの走査ミラーを含む、走査運動が電子的に制御され得る任意のタイプの高速移動ミラーデバイスである、請求項１〜２のいずれかに記載の中心窩結像システム。

【請求項7】

前記走査ミラーは、ＸおよびＹ軸に沿った傾斜運動（２５３）および（２５４）を通して、広ＦＯＶを継続的にサンプリング可能な二重軸走査ユニット（２５２）である、請求項１〜２のいずれかに記載の中心窩結像システム。

【請求項8】

前記走査ミラーは、回転式単軸走査ユニット（２５５）であり、前記ミラーは、Ｙ軸に沿った傾斜運動（２５７）およびＺ軸に沿った回転運動（２５８）を通して、広ＦＯＶをサンプリングする、請求項１〜２のいずれかに記載の中心窩結像システム。

【請求項9】

前記走査ミラーの開口は、前記第２の停止部（１３７）の機能を果たし、前記ビームスプリッタから前記中心窩結像経路内に受光された光の量を制限する、請求項１〜２のいずれかに記載の中心窩結像システム。

【請求項10】

前記ビームスプリッタ（１２０）は、立方体またはプレートの形態であり、非偏光ビームスプリッタまたは偏光ビームスプリッタであり得る、請求項１〜２のいずれかに記載の中心窩結像システム。

【請求項11】

前記ビームスプリッタは、偏光ビームスプリッタであり、４分の１波長プレートが、前記ビームスプリッタとともに使用され、光効率を増加させ、前記４分の１波長プレートは、前記ビームスプリッタ（１２０）と前記走査ミラー（１５０）との間に位置付けられる、請求項１〜２のいずれかに記載の中心窩結像システム。

【請求項12】

付加的偏光子が、前記中心窩結像経路（１３５）および広ＦＯＶ結像経路（１２５）の両方において使用され、２つの経路間のクロストークを低減させる、請求項１〜２のいずれかに記載の中心窩結像システム。

【請求項13】

前記中心窩結像レンズは、前記中心窩画像を拡大する回転対称レンズ群である、請求項１〜２のいずれかに記載の中心窩結像システム。

【請求項14】

前記中心窩結像レンズは、非球面反射または屈折表面を含有してもよい、請求項１〜２のいずれかに記載の中心窩結像システム。

【請求項15】

前記広角結像レンズは、前記広角画像を拡大する回転対称レンズ群である、請求項１〜２のいずれかに記載の中心窩結像システム。

【請求項16】

前記広角結像レンズは、非球面反射または屈折表面を含有してもよい、請求項１〜２のいずれかに記載の中心窩結像システム。

【請求項17】

前記システムは、単一ユニットのＦＯＶを上回る指定されたＦＯＶを捕捉するために、ともにクラスタ化された少なくとも２つの広ＦＯＶ中心窩結像デバイスを備える、請求項１〜１６のいずれかに記載の中心窩結像システム。

【請求項18】

前記複数の広ＦＯＶ結像デバイスは、連続広ＦＯＶ画像を捕捉する等のために、ＦＯＶ間隙を伴わずに、複数の視点に設置される、請求項１７に記載のシステム。

【請求項19】

前記複数の広ＦＯＶ結像デバイスは、前記広ＦＯＶ画像が、単一視点から捕捉される場合のように、多面ミラーを通して、共通仮想視点に並置される、請求項１７に記載のシステム。

【請求項20】

前記走査ミラーは、走査ミラーコントローラ（１５１）によって制御され、前記走査ミラーコントローラは、マイクロプロセッサと通信することができる電子インターフェースを有する、請求項１〜２のいずれかに記載の中心窩結像システム。

【請求項21】

前記広角画像内において前記中心窩画像の標的領域を制御する方法と組み合わせられた請求項１〜２のいずれかに記載の中心窩結像システムであって、前記方法は、
ａ．前記広角画像センサから画像を受信するステップと、
ｂ．着目標的領域を検出するステップと、
ｃ．前記走査ミラーを前記着目標的に向けるステップに対応するコマンドを前記高速走査ミラー制御に生成するステップと、
ｄ．前記中心窩画像センサから画像を受信するステップと、
ｅ．前記中心窩画像内の物体を特性評価するステップと
を含む、中心窩結像システム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願）
本出願は、２０１２年４月５日に出願された米国仮出願第６１／６２０，５８１号、および２０１２年４月５日に出願された米国仮出願第６１／６２０，５７４号に対して優先権を主張する。上記文献の開示内容は、その全体として参照することによって本願明細書において援用される。

【0002】

（発明の分野）
本発明は、概して、広角（ＦＯＶ）結像デバイスに関し、より具体的には、排他的ではないが、大ＦＯＶと、はるかに高い解像度を伴う、該大ＦＯＶの内側の小ＦＯＶとを同時に捕捉可能な二重解像度広ＦＯＶ結像システムに関する。

【背景技術】

【0003】

（発明の背景）
高解像度の広角（ＦＯＶ）およびハイダイナミックレンジ（ＨＤＲ）画像のリアルタイム取得は、多くの軍事用および民間監視用途に不可欠である。例えば、十分な解像度およびフレーム率を伴うシステムが、非常に大きな動作野（例えば、球状または相補的半球状被覆領域）にわたって、同時に、全方向におけるアクティビティを監視することができる一方、物体の確実な識別および特性評価のために、１つまたは複数の着目物体に迅速にズームインすることが可能である、全方向性結像システムが、多くの監視用途において必要に迫られている。そのようなセンサは、優れた状況認識および適正な詳細分解能の両方を提供する必要がある。本タイプのセンサは、利用可能である場合、軍事および商業市場の両方において、多数の用途を見出すことができる。

【0004】

しかしながら、光学結像システムを設計するとき、有限センサ解像度およびデータ帯域幅が、最新結像システムにおいて達成可能な空間分解能およびＦＯＶに制限を課す。固定ピクセル数（ＦＯＶが広いほど、解像力が低下する）を伴うほとんどの従来の結像技法の場合、ＦＯＶと解像力との間の固有のトレードオフが周知である。実施例として、従来のクラスタベースの全方向性カメラを使用すると、１分角（〜３００マイクロラド）角度分解能を達成するために、３６０°×３６０°の球状場を被覆するために、それぞれの上に５メガピクセルセンサを伴う、少なくとも５０個の小ＦＯＶカメラ（例えば、ＦＯＶ：３３°×２５°）を要求し、これは、いかなるピクセル損失およびＦＯＶ重複もなければ、単一球状パノラマ画像に対して、最低限の２５０メガピクセルが捕捉、記憶、および伝送される結果をもたらす。２分角の角度分解能を達成するには、球状場を被覆するために、約数千個の膨大な数のカメラを要求する。その結果、カメラクラスタベースのシステムのコストおよびサイズは、数千個の高解像度カメラにわたるクラスタ化が、最新のデータ管理および画像処理技術に大きな課題を課すことは言うまでもなく、多くの監視用途にとって容認不可能となるであろう。

【0005】

中心窩技法は、ヒト視覚システムの中心窩特性と同様に、周辺面積の結像能力を失うことなく、高解像度センサを用いて、着目領域を能動的に追跡および捕捉することができる。種々の結像システムが、結像用途に中心窩技法を適用する潜在性を開拓するために開発されている。例えば、Ｓａｎｄｉｎｉ ｅｔ ａｌ．は、ヒトの網膜を模倣した空間変形分解能を伴う、網膜状ＣＭＯＳセンサを開発した（Ｇ． Ｓａｎｄｉｎｉ， Ｐ． Ｑｕｅｓｔａ， Ｄ． Ｓｃｈｅｆｆｅｒ ａｎｄ Ａ． Ｍａｎｎｕｃｃｉ，“Ａ Ｒｅｔｉｎａ−ｌｉｋｅ ＣＭＯＳ ｓｅｎｓｏｒ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎｓ，”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ｓｅｎｓｏｒ Ａｒｒａｙ ａｎｄ Ｍｕｌｔｉｃｈａｎｎｅｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ．（２０００）， ｐｐ．５１４−９）。Ｍａｒｔｉｎｅｚ ａｎｄ Ｗｉｃｋは、結像システムの広ＦＯＶの内側の中心窩領域において、収差を動的に補正するために、液晶空間光変調器を使用することを提案した（Ｔ． Ｍａｒｔｉｎｅｚ， Ｄ． Ｖ． Ｗｉｃｋ ａｎｄ Ｓ． Ｒ． Ｒｅｓｔａｉｎｏ，“Ｆｏｖｅａｔｅｄ， ｗｉｄｅ ｆｉｅｌｄ−ｏｆ−ｖｉｅｗ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ ｕｓｉｎｇ ａ ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｓｐａｔｉａｌ ｌｉｇｈｔ ｍｏｄｕｌａｔｏｒ，”Ｏｐｔ． Ｅｘｐｒｅｓｓ８， ５５５−６０（２００１）；Ｄ． Ｖ． Ｗｉｃｋ， Ｔ． Ｍａｒｔｉｎｅｚ， Ｓ． Ｒ． Ｒｅｓｔａｉｎｏ ａｎｄ Ｂ． Ｒ． Ｓｔｏｎｅ，“Ｆｏｖｅａｔｅｄ ｉｍａｇｉｎｇ ｄｅｍｏｎｓｔｒａｔｉｏｎ，”Ｏｐｔ． Ｅｘｐｒｅｓｓ １０， ６０−５（２００２））。前述のアプローチは、単一センサのみを使用して、周辺領域および中心窩領域の両方を捕捉し、システムの全体的情報処理量を制限する。代替として、Ｈｕａ ａｎｄ Ｌｉｕは、中心窩結像技術に対して、２つの別個のセンサが周辺領域および中心窩領域を捕捉するために使用される、二重センサアプローチを提案した（Ｈｏｎｇ Ｈｕａ ａｎｄ Ｓｈｅｎｇ Ｌｉｕ，“Ｄｕａｌ−Ｓｅｎｓｏｒ ｆｏｖｅａｔｅｄ ｉｍａｇｉｎｇｓｙｓｔｅｍ，”ＡＰＰＬＩＥＤ ＯＰＴＩＣＳ， Ｖｏｌ．４７，Ｎｏ．３，３１７−３２７，２００８）。単一センサアプローチと比較して、二重センサアプローチは、異なるサイズおよび異なる解像度であることができ、低コスト検出器を用いて、高情報処理量をもたらす潜在性を有する、２つの異なるセンサを使用する。二重センサアプローチの主要な不利点は、システムが、通常、大周辺ＦＯＶを達成するために制限された能力を有し、多くの場合、嵩張るシステムをもたらす、無限焦点系構造を採用することである。

【発明の概要】

【課題を解決するための手段】

【0006】

（発明の要約）
本発明は、周囲空間の広ＦＯＶビデオをリアルタイムで取得し、同時に、複数の標的の非常に高解像度の高倍率中心窩画像を高フレーム率で得ることが可能な二重センサ広ＦＯＶ中心窩結像技法に関する。適切な解像度およびフレーム率を伴う、広ＦＯＶビデオは、同時に、物体によってもたらされる差し迫った脅威を取得、検出、および追跡するために、周囲空間を観察する一方、高解像度中心窩ビデオが、実質的により高い解像度を伴って、広ＦＯＶの複数の小部分上にリアルタイムで集束され、決定的標的認識および特性評価を可能にする、リアルタイム能力を可能にする。中心窩視覚の着目領域（Ｒｏｌ）は、広ＦＯＶ画像の任意の部分にリアルタイムで操向されることができる。これらの能力は、ヒトの視覚システムの検索、追跡、および中心窩機能に類似する。中心窩能力を広ＦＯＶ結像システムに統合することによって、本発明は、高角度分解能を伴って、最大３６０°×３６０°の広視野を捕捉可能である。

【0007】

本発明は、典型的には、２つのサブシステム、すなわち、広ＦＯＶ結像サブシステムおよび中心窩結像サブシステムを含有し、２つのサブシステムは、１つのシステムとして統合され、２つの結像サブシステムは、同一の対物レンズを共有し、コンパクトかつ軽量システム設計をもたらし得る。中心窩結像サブシステム内の停止部は、ビームスプリッタを通して、広ＦＯＶ結像サブシステム内の停止部と光学的に共役する。本発明の場合、広ＦＯＶ結像サブシステムは、広角を捕捉する一方、中心窩結像サブシステムは、該広角の１つまたはいくつかの選択された部分を捕捉し、非常に高解像度のビデオをもたらし、正確な標的認識を可能にする。最新の監視システムと比較して、本発明は、比較的に低コスト、コンパクト、低電力消費、低データ帯域幅需要、ならびにＦＯＶ、解像度、およびリアルタイム取得の観点から損なわれていない高性能であるという利点を有する。

【0008】

本発明の対物レンズは、回転対称屈折光学要素を利用し、傘状ＦＯＶを捕捉する、または必要な回転対称屈折光学要素とともに、湾曲ミラーを利用し、リング状パノラマＦＯＶを捕捉してもよい。本発明の走査ミラーは、２つの傾斜運動を使用して、広ＦＯＶをサンプリングするための二重軸走査ミラーであってもよく、傾斜および回転の組み合わせられた運動を使用して、広ＦＯＶをサンプリングするための単軸走査ミラーであってもよい。

【0009】

本発明の一側面では、例示的システムは、複数の広ＦＯＶ中心窩結像ユニットを統合し、単一ユニットのものをはるかに上回るＦＯＶを達成してもよい。統合されたシステムは、単一視点特性を保有してもよく、またはそうでなくてもよい。単一視点特性が所望されるとき、多面ミラーが、事実上、統合されたシステム内の全結像ユニットの視点を単一視点に並置するために使用されてもよい。

【0010】

前述の概要および以下の発明を実施するための形態は、添付の図面と併せて熟読されることによって、さらに理解され得る。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明による、例示的光学システムを図式的に図示する。

【図2】図２は、本発明に従って使用される、走査ミラーの２つのタイプの運動を図式的に図示する。

【図3】図３は、本発明による、前述の光学システムの例示的設計を図式的に図示する。

【図4】図４は、湾曲ミラー表面を含有する、本発明による、前述の光学システムの別の例示的設計を図式的に図示する。

【図5】図５は、本発明による、画像処理パイプラインの実施例のブロック図を描写する。

【図6】図６は、本発明による、複数の結像ユニットを含有する例示的光学システムの設計レイアウトを図式的に図示する。

【発明を実施するための形態】

【0012】

（発明の詳細な説明）
本発明による実施形態は、添付の図面に関して完全に説明される。説明は、本発明の理解を提供するために記載されるものである。しかしながら、本発明は、これらの詳細を伴わずに実践されることもできることは明白であろう。さらに、本発明は、種々の形態において実装され得る。しかしながら、以下に説明される本発明の実施形態は、本明細書に記載される実施形態に限定されるものとして構築されない。むしろ、これらの実施形態、図面および実施例は、例証であり、本発明を曖昧にすることを回避することを意図する。

【0013】

本発明の主な実施形態は、広角画像および中心窩画像を捕捉可能な中心窩結像システム（１００）を備え、中心窩画像は、広角画像の制御可能着目領域であり、システムは、
ａ．外部場に面し、外部場から入射光を受光し、光をビームスプリッタ上に集束させるように構成される、対物レンズ（１１０）と、
ｂ．外部場からの入射光を広角結像経路（１２５）および中心窩結像経路（１３５）内に分割するように構成される、ビームスプリッタ（１２０）と、
ｃ．広角結像経路（１２５）であって、広角結像経路は、
ｉ．ビームスプリッタ（１２０）から広角経路内に受光される光の量を制限する、第１の停止部（１２７）と、
ｉｉ．停止部（１２７）から光を受光し、広角結像センサ上に広角画像を形成するように構成される、広角結像レンズ（１３０）と、
ｉｉｉ．広角結像レンズ（１３０）から光を受光するように構成される、広角結像センサ（１４０）と
を備える、広角結像経路と、
ｄ．中心窩視覚結像経路（１３５）であって、中心窩視覚結像経路は、
ｉ．ビームスプリッタ（１２０）から中心窩結像経路内に受光される光の量を制限する、第２の停止部（１３７）と、
ｉｉ．ビームスプリッタ（１２０）から光を反射させるように制御可能である、走査ミラー（１５０）と、
ｉｉｉ．走査ミラー（１５０）から、外部場の着目領域と関連付けられた光の一部を受光し、中心窩結像センサ上に中心窩画像を形成するように構成される、中心窩結像レンズ（１６０）と、
ｉｖ．中心窩結像レンズ（１６０）から光を受光するように構成される、中心窩結像センサ（１７０）と、
を備える、中心窩視覚結像経路と
を備える。

【0014】

いくつかの実施形態では、外部場からの入射光は、対物レンズ（１１０）を通して、ビームスプリッタ（１２０）に通過し、ビームスプリッタ（１２０）は、光を２つの光学経路、すなわち、広角結像経路（１２５）および中心窩結像経路（１３５）に分割する。広角経路内では、光は、第１の停止部（１２７）を通して、広角結像経路（１２５）に沿って、広角結像レンズ（１３０）に通過する。レンズは、広角画像を広角結像センサ（１４０）上に集束させる。中心窩視覚結像経路上では、光は、第２の停止部（１３７）を通して、中心窩結像経路（１３５）に沿って、走査ミラー（１５０）に通過し、走査ミラー（１５０）は、ビームスプリッタ（１２０）を通して、中心窩結像レンズ（１６０）に向かって、着目領域を反射させる。中心窩結像レンズ（１６０）は、中心窩画像を中心窩結像センサ（１７０）上に集束させる。

【0015】

いくつかの実施形態では、対物レンズ（１１０）は、システムの正面に配置される。ビームスプリッタ（１２０）は、対物レンズから光を受光する対物レンズに隣接して配置される。ビームスプリッタ（１２０）は、光を２つの光学経路、すなわち、広角結像経路（１２５）および中心窩結像経路（１３５）に分割する。第１の停止部（１２７）は、広角結像経路（１２５）に沿って、ビームスプリッタ（１２０）と光学連通し、第２の停止部（１３７）は、中心窩結像経路（１３５）に沿って、ビームスプリッタ（１２０）と光学連通する。走査ミラー（１５０）は、第２の停止部（１３７）の位置の近傍またはそこに配置され、ビームスプリッタ（１２０）から中心窩結像経路（１３５）に沿って光を受光し、光をビームスプリッタ（１２０）に反射させる。広角結像レンズ（１３０）は、広角結像経路（１２５）に沿って、第１の停止部（１２７）に面するように配置され、ビームスプリッタ（１２０）から、第１の停止部（１２７）を通して、広角経路（１２５）に沿って、光を受光する。中心窩結像レンズ（１６０）は、ビームスプリッタ（１２０）に面するように配置され、走査ミラー（１５０）から中心窩結像経路（１３５）に沿って反射されたビームスプリッタ（１２０）からの光を受光する。広角結像センサ（１４０）は、広角結像レンズ（１３０）に面するように配置される。中心窩結像センサ（１７０）は、中心窩結像レンズ（１６０）に面するように配置される。２つの画像は、センサによって、着目領域の広角画像および高解像度画像として、その中に記録される。

【0016】

いくつかの実施形態では、対物レンズ（１１０）は、システムの正面に位置する。ビームスプリッタ（１２０）は、対物レンズから光を受光するように、対物レンズと対物レンズ（１１０）に面した停止部（１３７）および走査ミラー（１５０）との間に位置する。走査ミラー（１５０）は、ビームスプリッタの背後に位置し、ビームスプリッタ（１２０）の中心窩画像経路から光を受光し、それをビームスプリッタ（１２０）に反射させる。広角結像レンズ（１３０）は、ビームスプリッタの広角画像経路に面する一方、中心窩結像レンズ（１６０）は、ビームスプリッタ（１２０）の中心窩画像光学経路に面する。広角結像センサ（１４０）は、広角結像レンズ（１３０）に面し、中心窩結像センサ（１７０）は、中心窩結像レンズ（１６０）に面する。

【0017】

いくつかの実施形態では、外部場からの入射光は、対物レンズ（１１０）を通して、ビームスプリッタに通過し、ビームスプリッタ（１２０）は、光の複製の１つを広角レンズ（１３０）に、光の第２の複製を走査ミラー（１５０）に伝送する。走査ミラー（１５０）は、着目領域をビームスプリッタ（１２０）に反射させ、ビームスプリッタは、光を中心窩結像レンズ（１６０）に反射させる。一方、広角結像レンズ（１３０）は、広角結像経路（１２５）内の光を広角画像センサ（１４０）に伝送する。中心窩結像レンズ（１６０）は、中心窩結像経路（１３５）内の光を中心窩結像センサ（１７０）に伝送する。したがって、２つの画像は、センサによって、着目領域の広角画像および高解像度画像として、その中に記録される。

【0018】

図１は、二重センサ広ＦＯＶ中心窩結像システムのための、本発明による、例示的システムレイアウト１００を図示する。本システムは、２つのサブシステム、すなわち、広ＦＯＶ結像サブシステムおよび中心窩結像サブシステムを含有する。広ＦＯＶ結像サブシステムは、対物レンズ１１０と、ビームスプリッタ１２０と、停止部１２７と、広ＦＯＶ結像レンズ１３０と、結像センサ１４０とを含有する。中心窩結像サブシステムは、対物レンズ１１０と、ビームスプリッタ１２０と、走査ミラー１５０と、停止部１３７と、中心窩結像レンズ１６０と、結像センサ１７０とを含有する。本例示的レイアウト１００では、２つの結像サブシステムは、同一の対物レンズ１１０ならびに光学経路１１５を共有する。ＦＯＶ１０５内の光は、対物レンズ１１０によって捕捉される。光が、対物レンズ１１０を通して通過後、光学経路１１５は、ビームスプリッタ１２０によって、２つの異なる経路、すなわち、広ＦＯＶ結像経路１２５および中心窩結像経路１３５に分割される。広ＦＯＶ結像経路１２５では、広ＦＯＶ結像レンズ１３０は、対物レンズ１１０によって捕捉されたＦＯＶ１０５内の視野全体を広ＦＯＶ結像センサ１４０上に結像させる。中心窩結像経路１３５では、走査ミラー１５０が、停止部１３７の位置またはその近傍に設置され、対物レンズ１１０によって捕捉されたＦＯＶ１０５内のいくつかの光線を反射させる。走査ミラー１５０を着目方向に向かって瞬時に傾斜させることによって、ＦＯＶ１０５の着目サブＦＯＶからの光線は、ビームスプリッタ１２０に再指向され、中心窩結像レンズ１６０に向かって反射され、中心窩結像センサ１７０上に結像される。

【0019】

本例示的レイアウト１００では、対物レンズ１１０は、連続傘状ＦＯＶ、または略半球状形状ＦＯＶ、または略球状形状ＦＯＶを捕捉するための回転対称レンズ群であってもよい。対物レンズ１１０はまた、リング状パノラマＦＯＶを捕捉するための必要な回転対称レンズとともに、湾曲ミラー表面を含有し得る。湾曲ミラーは、対称性または同等物を伴う、あるいは伴わない、球状ミラー、放物線ミラー、双曲線ミラー、円錐形ミラー、楕円形ミラー、または非球面ミラーであり得る。結像センサ１４０および１７０は、限定されないが、電荷結合素子（ＣＣＤ）、または相補型金属酸化膜半導体（ＣＭＯＳ）、または他のタイプの光感知デバイスを含む、光子を電子信号に変換する、光感知ユニット（ピクセル）のアレイを含有する、任意の光感知デバイスであることができる。走査ミラー１５０は、限定されないが、音声コイルミラー、圧電ミラー、微小電子機械システム（ＭＥＭＳ）ミラーまたは他のタイプの走査ミラーを含む、その走査運動が、電子的に制御され得る、任意のタイプの高速移動ミラーデバイスであることができる。ビームスプリッタ１２０は、立方体またはプレートの形態であり得、非偏光ビームスプリッタまたは偏光ビームスプリッタであり得る。偏光ビームスプリッタが使用されるとき、４分の１波長プレートは、ビームスプリッタとともに使用され、光効率を増加させてもよい。４分の１波長プレートは、ビームスプリッタ１２０と停止部１３７との間の空間内に位置付けられてもよい。付加的偏光子が、中心窩結像経路１３５および広ＦＯＶ結像経路１２５の両方において使用され、２つの経路間のクロストークを低減させてもよい。

【0020】

その利点の１つとして、本発明は、２つの結像サブシステムを１つの統合されたシステムに組み合わせ、２つの結像サブシステムは、同一の対物レンズを共有し、コンパクトかつ軽量システムをもたらし得る。中心窩結像サブシステム内の停止部１３７は、ビームスプリッタ１２０を通して、広ＦＯＶ結像サブシステム内の停止部１２７と光学的に共役する。本発明の場合、広ＦＯＶ結像サブシステムは、広角を捕捉する一方、中心窩結像サブシステムは、該広角の１つまたはいくつかの選択された部分を捕捉し、非常に高解像度のビデオをもたらし、正確な標的認識を可能にする。最新の監視システムと比較して、本発明は、比較的に低コスト、コンパクト、低電力消費、低データ帯域幅需要、ならびにＦＯＶ、解像度、およびリアルタイム取得の観点から損なわれていない高性能であるという利点を有する。

【0021】

本発明の一側面では、走査ミラーは、図２ａに図示されるように、ＸおよびＹ軸に沿った傾斜運動２５３および２５４を通して、広ＦＯＶを継続的にサンプリングするための二重軸走査ユニット２５２であってもよい。走査ミラーはまた、図２ｂに示されるように、回転段２５６上に搭載される、Ｚ軸に沿って回転する能力を伴う、単一軸走査ユニット２５５であってもよく、ミラーは、Ｙ軸に沿った傾斜運動２５７およびＺ軸に沿った回転運動２５８を通して、広ＦＯＶをサンプリングする。

【0022】

先行技術における二重センサアプローチと比較して、本発明は、光学停止部が、結像システムの内側にあって、レンズ群が、停止部の正面にあって、レンズ群が停止部の背後にある、通常の結像システム構造を使用する。先行技術における無限焦点系に勝る、通常結像システム構造を使用する利点は、以下である。
ａ．ある光学収差が、停止部の両側にレンズを使用することによって補正され得ることを前提として、よりコンパクトなシステムおよびより容易な設計を可能にする。
ｂ．コンパクトな形状因子を維持しながら、無限焦点系のものをはるかに上回るＦＯＶを達成可能である。

【0023】

別の有意な側面では、本発明は、それぞれ、結像システムの内側にあって、ビームスプリッタを通して生成され、広角および中心窩視覚光学経路内に位置する、一対の光学的に共役された停止部を使用する。先行技術では、停止部は、無限焦点系の入口に設置され、無限焦点系を通して生成される停止部の画像は、無限焦点系の他側にある。

【0024】

さらに別の有意な側面は、先行技術では、走査ミラーは、ＸおよびＹ傾斜軸を通してのみ制御可能である。本発明では、走査ミラーはまた、代わりに、ＸまたはＹ傾斜およびＺ回転を使用するように構成されてもよい。

【0025】

図３は、回転対称レンズのみを利用して、傘状ＦＯＶ３０５を捕捉する、本発明の例示的設計３００を図式的に図示する。本例示的設計３００では、対物レンズ３１０は、平面凹面レンズ要素のみを含有する。３要素レンズが、広ＦＯＶ結像レンズ３３０として使用される。ＸおよびＹ方向の両方に走査する、二重軸高速走査ミラー３５０が、ＦＯＶ３０５内の着目領域（ＲＯＩ）をサンプリングするために、停止部３３７の近傍に設置される。ビームスプリッタ３２０は、ワイヤグリッドタイプ偏光ビームスプリッタである。４分の１波長プレート３８０は、ビームスプリッタ３２０と走査ミラー３５０との間に設置され、波長板を２回通過後、光の偏光を変化させる。例示的実装のうちの１つでは、中心窩結像レンズ３６０は、複合レンズを使用してもよい。さらにシステム光学性能を改善するために、より多くのレンズ要素が、停止部の前後の中心窩結像経路および広ＦＯＶ結像経路の両方内に追加されてもよい。

【0026】

図４は、湾曲ミラーを利用して、リング状パノラマＦＯＶ４０５を捕捉する、本発明の例示的設計４００を図式的に図示する。本例示的設計４００では、対物レンズ４１０は、５つの光学要素を含有する。対物レンズ４１０内の第１の要素は、湾曲ミラー４１２である。湾曲ミラー４１２の光学表面は、回転対称ミラー表面であり、その表面プロファイルは、その回転軸４１４に沿った１次元多項式掃引３６０度によって説明され得る。４要素レンズが、広ＦＯＶ結像レンズ４３０として使用される。単軸高速走査ミラー４５０が、回転段に搭載され、停止部４３７近傍に設置され、図２ｂに関連して説明されるように、傾斜運動および回転運動を通して、パノラマＦＯＶ４０５を走査する。ビームスプリッタ４２０は、偏光ビームスプリッタを利用してもよい。４分の１波長プレート４８０が、ビームスプリッタ４２０と走査ミラー４５０との間に設置され、波長板を２回通過後、光の偏光を変化させる。例示的実装の１つでは、中心窩結像レンズ４６０は、複合レンズを使用してもよい。さらにシステム光学性能を改善するために、より多くのレンズ要素が、停止部前後の中心窩結像経路および広ＦＯＶ結像経路の両方内に追加されてもよい。

【0027】

図５は、本発明のために必要な画像処理パイプラインの実施例のブロック図を描写する。最初に、事象／物体検出アルゴリズムが、広ＦＯＶ画像を処理し、着目領域（Ｒｏｌ）を見出すために必要である。着目領域が識別されると、ＲＯＩの位置（角度）情報とともに、信号が、高速走査ミラーに送信され、中心窩結像センサを用いて、着目領域を再サンプリングする。画像分析アルゴリズムが、次いで、中心窩画像に適用され、ＲＯＩに関する詳細情報を収集する。分析結果は、領域を追跡し、および／またはさらなる措置を講じる必要があるかどうか判定するであろう。時として、１つまたはいくつかの画像は、ＲＯＩを特性評価するために十分ではない場合があり、走査ミラーを用いた追跡に加えて、パノラマ視野内のＲＯＩの追跡を継続する必要がある。

【0028】

図６は、システムＦＯＶを拡張するために複数の結像ユニットを含有する、例示的光学システムの設計レイアウト６００を図式的に図示する。例示的システムは、単一ユニットのものを上回る指定されたＦＯＶを捕捉するために、ともにクラスタ化された少なくとも２つの広ＦＯＶ中心窩結像デバイスを備える。設計レイアウト６００では、４つの広ＦＯＶ中心窩結像デバイス６８２−６８８が、全体的ＦＯＶを３６０度まで拡張するために使用される。結像ユニットは、相互から離れて向いたそのＦＯＶとともに搭載される。システム６００の全体的ＦＯＶ内の盲点を排除するために、結像ユニットは任意の２つの近隣ユニット間にＦＯＶ重複が存在するように搭載されることが所望される。実施例として、ユニット６８２および６８４を使用すると、ユニット６８２のＦＯＶ境界６９２は、結像ユニットからある距離において、ユニット６８４のＦＯＶ境界６９４と交差し、結像ユニットからの該距離を超えて、２つのユニット間にＦＯＶ間隙が存在しないことを確実にするはずである。

【0029】

図６に関連する本発明の一側面では、図６の例示的システムは、単一視点を保有しない。単一視点は、クラスタ内の全結像ユニットが、事実上、共通視認位置から視野全体を捕捉することを意味する一方、多視点クラスタ内の結像ユニットは、変位された視認位置から結像場を捕捉する。ある用途の場合、結像場全体が、単一視点から捕捉されなければならないことが所望される。単一視点特性を達成するために、多面ミラーが、事実上、クラスタシステム内の全結像ユニットの視点を単一視点に並置するために使用されてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】