(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2020-512581(P2020-512581A)
(43)【公表日】2020年4月23日
(54)【発明の名称】パノラマ走査範囲付きカメラ
(51)【国際特許分類】
G03B 37/02 20060101AFI20200331BHJP
G02B 7/08 20060101ALI20200331BHJP
G03B 15/00 20060101ALI20200331BHJP
G02B 7/02 20060101ALI20200331BHJP
H04N 5/225 20060101ALI20200331BHJP
H04N 5/232 20060101ALI20200331BHJP
【FI】
G03B37/02
G02B7/08 C
G03B15/00 W
G02B7/02 C
H04N5/225 400
H04N5/225 900
H04N5/232 380
H04N5/232 990
H04N5/232 290
【審査請求】有
【予備審査請求】未請求
【全頁数】25
(21)【出願番号】特願2019-549573(P2019-549573)
(86)(22)【出願日】2018年2月13日
(85)【翻訳文提出日】2019年11月11日
(86)【国際出願番号】IB2018050885
(87)【国際公開番号】WO2018167581
(87)【国際公開日】20180920
(31)【優先権主張番号】62/471,662
(32)【優先日】2017年3月15日
(33)【優先権主張国】US
(31)【優先権主張番号】62/560,684
(32)【優先日】2017年9月20日
(33)【優先権主張国】US
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】515347201
【氏名又は名称】コアフォトニクス リミテッド
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】フリードマン,ロイ
(72)【発明者】
【氏名】バチャール,ギル
(72)【発明者】
【氏名】カッツ,ルースィ
(72)【発明者】
【氏名】ジンジャー,イタマー
(72)【発明者】
【氏名】イラン,パズ
【テーマコード(参考)】
2H044
2H059
5C122
【Fターム(参考)】
2H044AC00
2H059BA03
5C122EA66
5C122FA01
5C122FA02
5C122FB02
5C122FB06
5C122FB15
5C122FH04
5C122FH18
5C122HA82
5C122HB05
(57)【要約】
光路屈曲素子(optical path folding element,OPFE)が、物体または景色からの第1の光路を、屈曲式カメラのレンズの光軸と実質的に平行な第2の光路に屈曲させ、レンズ光軸の周りで回転可能な屈曲式デジタルカメラを含むパノラマ走査範囲を有するカメラ、およびそのようなカメラを組み込むシステム。
【特許請求の範囲】
【請求項1】
a)画像センサ領域を有する画像センサを含む屈曲式デジタルカメラと、
b)レンズ光軸を有するレンズと、
c)物体または景色からの第1の光路を第2の光路に屈曲させる光路屈曲素子(optical path folding element,OPFE)と、を備え、
前記第2の光路は、前記レンズ光軸と実質的に平行であり、
前記OPFEは画像センサに対して前記レンズ光軸の周りで回転可能であるカメラ。
【請求項2】
前記OPFEは、180度までの角度で回転可能である請求項1に記載のカメラ。
【請求項3】
前記OPFEは、360度までの角度で回転可能である請求項1に記載のカメラ。
【請求項4】
前記レンズ光軸の周りで回転可能である前記OPFEは、複数の異なる画像を提供する、請求項1に記載のカメラ。
【請求項5】
前記複数の異なる画像は、パノラマビューの少なくとも一部を表す、請求項4に記載のカメラ。
【請求項6】
前記レンズは、前記画像センサ領域によって境界付けられたレンズ画像円を有する、請求項1に記載のカメラ。
【請求項7】
前記OPFEは複数の位置に回転可能であり、
前記カメラは、各OPFE位置について前記レンズ画像円によって境界付けられた視野(field of view,FOV)を有する、請求項6に記載のカメラ。
【請求項8】
変化するまたは適応する視野を有するビデオストリームを記録するように動作する、請求項1に記載のカメラ。
【請求項9】
前記レンズ光軸の周りで前記OPFEを回転させるためのアクチュエータをさらに備える、請求項1に記載のカメラ。
【請求項10】
前記アクチュエータは、ステップモータまたはボイスコイルモータを含む、請求項9に記載のカメラ。
【請求項11】
前記OPFEがプリズムである、請求項1に記載のカメラ。
【請求項12】
前記レンズは、屈曲式レンズである、請求項1〜11のいずれか1項に記載のカメラ。
【請求項13】
前記レンズは、前記OPFEに固定して取り付けられ、前記画像センサに対して前記レンズ光軸の周りで前記OPFEと共に回転可能である、請求項1〜11のいずれか1項に記載のカメラ。
【請求項14】
前記屈曲式レンズは、前記OPFEに固定して取り付けられ、前記画像センサに対して前記レンズ光軸の周りで前記OPFEと共に回転可能である、請求項12に記載のカメラ。
【請求項15】
第1の視野(field of view,FOV)を有する第1の屈曲式デジタルカメラを備え、
前記第1の屈曲式デジタルカメラは、
第1のレンズ光軸を有する第1のレンズと、
第1の画像センサと、
物体または景色からの第1の光路を第2の光路に畳む第1の光路屈曲素子(optical path folding element,OPFE)と、を含み、
前記第2の光路は、前記レンズ光軸と実質的に平行であり、
前記第1のOPFEは、前記第1の画像センサに対して前記第1のレンズ光軸の周りで回転可能であるプラットフォーム。
【請求項16】
前記第1のFOVよりも大きい第2のFOVを有する第2の屈曲式デジタルカメラをさらに備える、請求項15に記載のプラットフォーム。
【請求項17】
第2のレンズ光軸を有する第2のレンズと、物体または景色からの前記第1の光路を前記第2の光路に屈曲させる第2のOPFEとを含む第2の屈曲式デジタルカメラをさらに備え、
前記第2のOPFEは、第2のレンズ光軸の周りで回転可能である、請求項15に記載のプラットフォーム。
【請求項18】
前記第1のレンズ光軸および前記第2のレンズ光軸は平行である、請求項17に記載のプラットフォーム。
【請求項19】
前記プラットフォームがモバイル機器である、請求項15に記載のプラットフォーム。
【請求項20】
前記第1の屈曲式デジタルカメラは、モバイル機器エッジに近い側に配置され、
前記第1の屈曲式カメラは、約180度のパノラマビューを取得するように動作可能である、請求項19に記載のプラットフォーム。
【請求項21】
前記第1の屈曲式カメラは、前記モバイル機器の正面カメラとして動作可能である、請求項20に記載のプラットフォーム。
【請求項22】
前記第1の屈曲式カメラは、前記モバイル機器の背面カメラとして動作可能である、請求項20に記載のプラットフォーム。
【請求項23】
前記プラットフォームはモバイル機器であり、
前記第1の屈曲式デジタルカメラおよび前記第2の屈曲式デジタルカメラは、モバイル機器のエッジにそれぞれ近い反対側に配置され、
前記第1の屈曲式カメラおよび前記第2の屈曲式カメラのそれぞれは、約180度のパノラマビューを取得するように動作可能である、請求項17に記載のプラットフォーム。
【請求項24】
前記第1の屈曲式カメラおよび前記第2の屈曲式カメラの各々は、前記モバイル機器の正面カメラまたは背面カメラとして動作可能である、請求項23に記載のプラットフォーム。
【請求項25】
前記第1の屈曲式カメラおよび前記第2の屈曲式カメラの各々は、前記モバイル機器の背面カメラとして動作可能である、請求項23に記載のプラットフォーム。
【請求項26】
前記レンズは、前記OPFEに固定して取り付けられ、前記画像センサに対して前記レンズ光軸の周りで前記OPFEと共に回転可能である、請求項15〜25のいずれか1項に記載のプラットフォーム。
【請求項27】
前記レンズは、屈曲式レンズである、請求項15〜25のいずれか1項に記載のプラットフォーム。
【請求項28】
前記モバイル機器は、スマートフォンまたはタブレットである、請求項19〜25のいずれか1項に記載のプラットフォーム。
【請求項29】
前記モバイル機器は、スマートフォンまたはタブレットである、請求項26に記載のプラットフォーム。
【請求項30】
前記モバイル機器は、スマートフォンまたはタブレットである、請求項27に記載のプラットフォーム。
【請求項31】
前記プラットフォームは、飛行ドローンである、請求項15〜18のいずれか1項に記載のプラットフォーム。
【請求項32】
少なくとも1つのOPFEは、少なくとも180度回転するように動作可能である、請求項31に記載のプラットフォーム。
【請求項33】
前記プラットフォームは、テレビセットである、請求項15〜18のいずれか1項に記載のプラットフォーム。
【請求項34】
前記プラットフォームは、個人用電子機器である、請求項15〜18のいずれか1項に記載のプラットフォーム。
【請求項35】
前記プラットフォームは、車両システムである、請求項15〜18のいずれか1項に記載のプラットフォーム。
【請求項36】
前記第1のカメラは、前記第1のFOVを自律的に変更するように動作可能である、請求項15、20または21のいずれか1項に記載のプラットフォーム。
【請求項37】
a)画像センサと、レンズ光軸を有するレンズと、物体または景色からの第1の光路を第2の光路に屈曲させる光路屈曲素子(optical path folding element,OPFE)とを含む屈曲式デジタルカメラであって、前記第2の光路が前記レンズ光軸と実質的に平行であり、前記屈曲式デジタルカメラが本来の向きを有する、屈曲式デジタルカメラを提供するステップと、
b)前記第1の光路を所望の第1の方向に設定するために、前記画像センサに対して、第1の回転方向に前記レンズ光軸の周りで前記OPFEを回転させるステップと、
c)画像を撮影するステップと、
を含む方法。
【請求項38】
画像を撮影する前記ステップで撮影された撮影画像を、前記本来の向きに戻すようにデジタル的に回転させるステップをさらに含む、請求項37に記載の方法。
【請求項39】
前記第1の光路を所望の第1の方向に設定するために第1の回転方向に前記レンズ光軸の周りで前記OPFEを回転させる前記ステップは、前記第1の光路を180度までの第1の範囲内の複数の所望の第1の方向に設定するために、前記OPFEを回転させるステップを含み、
画像を撮影する前記ステップは、前記複数の所望の第1の方向のそれぞれの方向で画像を撮影し、それによって、調和する(matching)第1の複数の撮影画像を取得するステップを含む、請求項37に記載の方法。
【請求項40】
前記第1の複数の撮影画像から第1のパノラマ画像を構成するステップをさらに含む、請求項39に記載の方法。
【請求項41】
前記第1の光路を前記第1の範囲とは反対の180度までの第2の範囲内の複数の所望の第2の方向に設定するために、前記第1の回転方向とは反対の第2の回転方向に前記レンズ光軸の周りに前記OPFEを回転させるステップをさらに含み、
画像を取得する前記ステップは、前記複数の所望の第2の方向のそれぞれの方向で画像を撮影し、それによって、調和する第2の複数の撮影画像を取得するステップを含む、請求項39に記載の方法。
【請求項42】
前記第1の複数の撮影画像から第2のパノラマ画像を構成するステップをさらに含む、請求項41に記載の方法。
【請求項43】
前記第1のパノラマ画像および前記第2のパノラマ画像を結合パノラマ画像に結合することをさらに含む、請求項42に記載の方法。
【請求項44】
前記レンズは前記OPFEに固定して取り付けられ、
前記画像センサに対して、前記第1の回転方向に前記レンズ光軸の周りで前記OPFEを回転させる前記ステップは、前記OPFEと共に前記レンズを回転させるステップを含む、請求項37〜43のいずれか1項に記載の方法。
【請求項45】
前記レンズは、屈曲式レンズである請求項37〜43のいずれか1項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願の参照〕
本出願は、2017年3月15日に出願された米国仮特許出願第62/471,662号および2017年9月20日に出願された米国仮特許出願第62/560,684号の利益を主張し、これらの両方は、その全体が参照により本明細書に組み込まれる。
【0002】
〔分野〕
本明細書に開示される実施形態は、一般に、カメラに関し、特に、屈曲式光学系を有するデジタルカメラに基づくカメラに関する。
【背景技術】
【0003】
〔背景〕
「屈曲式カメラ(folded camera)」または「屈曲式カメラモジュール(folded camera module)」とも呼ばれる屈曲式光学系を有するコンパクトデジタルカメラが知られている(出願人の共同所有の国際特許出願PCT/IB2016/052179参照)。このような屈曲式カメラは、レンズと、光路屈曲素子(optical path folding element,OPFE)(通常はプリズムまたはミラー)と、画像センサとを含む。OPFEは、物体または景色からOPFEまでの第1の軸に沿った第1の光路を、第1の軸に実質的に直交する第2の軸に沿った第2の光路に屈曲させる。第2の軸は、レンズおよび屈曲式カメラの光軸でもある。いくつかのOPFEは、第1の軸の周り、または第1および第2の軸の両方に直交する第3の軸の周りに傾斜または回転するように設計される。OPFEがレンズの光軸の周りを回転することが知られている屈曲式カメラは知られていない。また、180度以上のパノラマ走査が可能な、屈曲式デジタルカメラに基づくカメラも知られていない。
【発明の概要】
【0004】
〔概要〕
様々な例示的な実施形態で、パノラマ走査範囲を有する屈曲式デジタルカメラに基づくカメラが提示される。いくつかの実施形態で、以下でより詳細に説明するようなパノラマ走査範囲を有する1つ以上のカメラを、プラットフォームに組み込むことができる。本明細書で用いられる「プラットフォーム」という用語は、1個の製造物を示す(「システム」としても示される)。プラットフォームは、スマートフォンまたはタブレットコンピュータ(または、単に「タブレット」)、飛行ドローン、テレビ(TV)セットまたはディスプレイ、個人用電子機器(personal electronic device,PED)、車両システム(車両)などのモバイル機器であってもよい。パノラマ走査範囲を有するカメラの各々は、180度まで又は360度までのパノラマビューを提供することができる。スマートフォンまたはタブレットに組み込まれる場合、パノラマ走査範囲を有する屈曲式カメラは、スマートフォンまたはタブレットのエッジに配置されてもよく、スマートフォンまたはタブレットの正面カメラまたは背面カメラのいずれかとして使用され得る。
【0005】
いくつかの実施形態では、上記のようなパノラマ走査範囲を有するカメラがデュアル開口(デュアルカメラ)構成で非屈曲式カメラと一緒に組み込まれてもよい。デュアル開口構成は、スマートフォンまたはタブレット、飛行ドローン、テレビセット、他のPEDなどのモバイル機器、および/または車両システムなどの他のデバイス/システムに含まれ得る。
【0006】
例示的な実施形態では、画像センサ領域を有する画像センサと、レンズ光軸を有するレンズと、物体または景色からの第1の光路を第2の光路に屈曲させるOPFEとを含む屈曲式デジタルカメラを備え、前記第2の光路は前記レンズ光軸と実質的に平行であり、前記OPFEは画像センサに対して前記レンズ光軸の周りで回転可能であるカメラが実現される。いくつかの実施形態では、OPFEはプリズムであってもよい。他の実施形態では、OPFEはミラーであってもよい。
【0007】
例示的な実施形態では、前記OPFEが180度までの角度で回転可能である。
【0008】
例示的な実施形態では、前記OPFEが360度までの角度で回転可能である。
【0009】
例示的な実施形態では、前記レンズ光軸の周りの前記OPFEの回転が、複数の異なる画像を提供する。
【0010】
例示的な実施形態では、前記複数の異なる画像が、パノラマビューの少なくとも一部を表す。
【0011】
例示的な実施形態では、前記レンズが前記画像センサ領域によって境界付けられたレンズ画像円を有する。
【0012】
例示的な実施形態では、前記OPFEが複数の位置を有し、前記カメラが各OPFE位置について前記レンズ画像円によって境界付けられた視野(field of view,FOV)を有する。
【0013】
例示的な実施形態では、カメラが、変化するまたは適応する視野を有するビデオストリームを記録するように動作可能である。
【0014】
いくつかの例示的な実施形態では、カメラが、前記レンズ光軸の周りで前記OPFEを回転させるためのアクチュエータをさらに備える。前記アクチュエータは、ステップモータまたはボイスコイルモータであってもよい。
【0015】
いくつかの例示的な実施形態では、前記レンズが屈曲式レンズ(folded lens)である。
【0016】
いくつかの例示的な実施形態では、前記レンズが前記OPFEに固定して取り付けられ、前記画像センサに対して前記レンズ光軸の周りで前記OPFEと共に回転可能である。
【0017】
いくつかの例示的な実施形態では、前記屈曲式レンズがOPFEに固定して取り付けられ、前記画像センサに対して前記レンズ光軸の周りで前記OPFEと共に回転可能である。
【0018】
例示的な実施形態では、第1の視野(field of view,FOV)を有する第1の屈曲式デジタルカメラを備え、前記第1の屈曲式デジタルカメラは、第1のレンズ光軸を有する第1のレンズと、第1の画像センサと、物体または景色からの第1の光路を第2の光路に屈曲させる第1のOPFEとを含み、前記第2の光路は前記レンズ光軸と実質的に平行であり、前記第1のOPFEは第1の画像センサに対して前記第1のレンズ光軸の周りで回転可能であるプラットフォームが提供される。
【0019】
いくつかの例示的な実施形態では、プラットフォームが、前記第1のFOVよりも大きい第2のFOVを有する第2の屈曲式デジタルカメラをさらに備える。いくつかの例示的な実施形態では、前記第1の屈曲式デジタルカメラが前記第1のFOVを自律的に変更するように動作可能である。
【0020】
いくつかの例示的な実施形態では、プラットフォームが、第2のレンズ光軸を有する第2のレンズと、物体または景色からの第1の光路を第2の光路に屈曲させる第2のOPFEとを含む第2の屈曲式デジタルカメラをさらに備え、前記第2のOPFEは第2のレンズ光軸の周りで回転可能である。このようなプラットフォームの例示的な実施形態では、前記第1のレンズ光軸および前記第2のレンズ光軸は平行である。
【0021】
いくつかの例示的な実施形態では、前記プラットフォームはモバイル機器である。いくつかのそのような実施形態では、前記第1の屈曲式デジタルカメラがモバイル機器エッジに近い側に配置され、前記第1の屈曲式カメラは約180度のパノラマビューを取得するように動作可能である。いくつかのそのような実施形態では、前記第1の屈曲式カメラが前記モバイル機器の正面カメラとして動作可能である。いくつかのそのような実施形態では、前記第1の屈曲式カメラが前記モバイル機器の背面カメラとして動作可能である。いくつかの例示的な実施形態では、前記モバイル機器がスマートフォンまたはタブレットである。
【0022】
いくつかの例示的な実施形態では、前記プラットフォームがモバイル機器であり、第1の屈曲式デジタルカメラおよび前記第2の屈曲式デジタルカメラが、モバイル機器のエッジにそれぞれ近い反対側に配置され、第1の屈曲式カメラおよび前記第2の屈曲式カメラのそれぞれが、約180度のパノラマビューを取得するように動作可能である。いくつかのそのような実施形態では、前記第1の屈曲式カメラおよび前記第2の屈曲式カメラの各々が、前記モバイル機器の正面カメラまたは背面カメラとして動作可能である。いくつかのそのような実施形態では、前記第1の屈曲式カメラおよび前記第2の屈曲式カメラの各々が、前記モバイル機器の背面カメラとして動作可能である。
【0023】
いくつかの例示的な実施形態では、前記レンズが前記OPFEに固定して取り付けられ、前記画像センサに対して前記レンズ光軸の周りで前記OPFEと共に回転可能である。いくつかの例示的な実施形態では、前記レンズが屈曲式レンズである。
【0024】
いくつかの例示的な実施形態では、前記プラットフォームが飛行ドローンである。いくつかの飛行ドローンの実施形態では、少なくとも1つのOPFEが少なくとも180度回転するように動作可能である。
【0025】
いくつかの例示的な実施形態では、前記プラットフォームはテレビセットである。
【0026】
いくつかの例示的な実施形態では、前記プラットフォームは個人用電子機器である。
【0027】
いくつかの例示的な実施形態では、前記プラットフォームは車両システムである。
【0028】
いくつかの例示的な実施形態では、画像センサと、レンズ光軸を有するレンズと、物体または景色からの第1の光路を第2の光路に屈曲させるOPFEとを含む屈曲式デジタルカメラであって、前記第2の光路が前記レンズ光軸と実質的に平行であり、前記カメラが本来の向きを有する屈曲式デジタルカメラを提供するステップと、前記第1の光路を所望の第1の方向に設定するために、画像センサに対して、第1の回転方向に前記レンズ光軸の周りで前記OPFEを回転させるステップと、画像を撮影するステップとを含む、方法が提供される。
【0029】
例示的な方法の実施形態では、方法が、画像を撮影する前記ステップで撮影された撮影画像を、本来の向きに戻すようにデジタル的に回転させるステップをさらに含む。
【0030】
いくつかの例示的な方法の実施形態では、前記第1の光路を所望の第1の方向に設定するために第1の回転方向に前記レンズ光軸の周りで前記OPFEを回転させる前記ステップは、前記第1の光路を180度までの第1の範囲内の複数の所望の第1の方向に設定するために、前記OPFEを回転させることを含み、画像を撮影する前記ステップは、前記複数の所望の第1の方向のそれぞれの方向で画像を撮影し、それによって、調和する第1の複数の撮影画像を取得するステップを含む。そのような方法の一実施形態では、前記方法が前記第1の複数の撮影画像から第1のパノラマ画像を構築するステップをさらに含む。
【0031】
いくつかの例示的な方法の実施形態では、方法が、前記第1の光路を前記第1の範囲とは反対の180度までの第2の範囲内の複数の所望の第2の方向に設定するために、前記第1の回転方向とは反対の第2の回転方向に前記レンズ光軸の周りで前記OPFEを回転させるステップをさらに含み、画像を撮影する前記ステップが、前記複数の所望の第2の方向のそれぞれの方向で画像を撮影し、それによって、調和する第2の複数の撮影画像を取得するステップを含む。いくつかのそのような方法の実施形態では、前記方法が第1の複数の撮影画像から第2のパノラマ画像を構築するステップをさらに含む。1つのそのような方法の実施形態では、前記方法が第1のパノラマ画像および前記第2のパノラマ画像を結合パノラマ画像に結合するステップをさらに含む。
【0032】
いくつかの方法の実施形態では、前記レンズが前記OPFEに固定して取り付けられ、前記第1の光路を所望の第1の方向に設定するために、前記センサに対して、第1の回転方向に前記レンズ光軸の周りで前記OPFEを回転させる前記ステップが、前記OPFEと共に前記レンズを回転させるステップを含む。
【0033】
いくつかの方法の実施形態では、レンズは屈曲式レンズである。
【図面の簡単な説明】
【0034】
本明細書に開示される実施形態の非限定的な例は、この段落の後に列挙される、本明細書に添付される図面を参照して以下に記載される。2つ以上の図に現れる同一の構造、要素、または部分は、それらが現れるすべての図において、一般に同じ数字でラベル付けされる。図面および説明は、本明細書に開示された実施形態を解明し明確にすることを意図しており、決して限定するものとみなされるべきではない。
【0035】
【
図1A】本開示の主題に係る、等角図における屈曲式カメラを含むパノラマ走査範囲を有するカメラの例示的実施形態を概略的に示す。
【
図1B】「ゼロ」プリズム位置にある
図1Aの屈曲式カメラを示す。
【
図1C】
図1Aの屈曲式カメラを示し、そのプリズムは、屈曲式カメラの光軸の周りで、ゼロ位置から30度回転されている。
【
図1E】本開示の主題に係る、レンズがプリズムに固定的に取り付けられた屈曲式カメラを含むパノラマ走査範囲を有するカメラの別の例示的な実施形態を概略的に示す。
【
図1F】本開示の主題に係る、屈曲式レンズを有する屈曲式カメラを含むパノラマ走査範囲を有するカメラのさらに別の例示的実施形態を概略的に示す。
【
図2A】画像円よりも小さく、画像円によって境界付けられた矩形画像センサを概略的に示す。
【
図2B】画像円よりも大きく、画像円の境界付けられた正方形の画像センサを概略的に示す。
【
図3A】本開示の主題に係る、パノラマビューを走査および取得するためのパノラマ走査範囲を有するカメラの使用を示す。
【
図3B】
図3Aのパノラマビューの16個の別個の画像セクションを示し、各画像セクションは、それぞれの画像円と、9:16の矩形によって画定されるそれぞれの切り取られた領域とを有する。
【
図3C】パノラマ画像にステッチされた
図3Bの画像セクションを示す。
【
図4A】本開示の主題に係る、パノラマ走査範囲を有するカメラを含むスマートフォンの例示的な実施形態を異性体図で示す。
【
図4B】
図4Aのスマートフォンのセクションの拡大切り取りを示す。
【
図4C】本開示の主題に係る、直立カメラを有するデュアル開口カメラと、パノラマ走査範囲を有する屈曲式カメラ有するカメラとを含むスマートフォンの例示的な実施形態を異性体背面図で示す。
【
図4D】
図4Cのスマートフォンのセクションの拡大切り取りを示す。
【
図5A】本開示の主題に係る、2つの屈曲式カメラを有するパノラマ走査範囲を有するカメラを含むスマートフォンの例示的な実施形態を異性体図で示す。
【
図6A】
図1Aのような屈曲式カメラを含むパノラマ走査範囲を有するカメラを搭載する飛行ドローンを頂部から等角図で示す。
【
図7A】パノラマ走査範囲を有する2つのカメラを搭載する飛行ドローンを底側から見た等角図であり、各カメラは、
図1Aのような屈曲式カメラを備える。
【
図8A】本開示の主題に係る、直立カメラと共に
図1Aのような屈曲式カメラを備えるパノラマ走査範囲を有するカメラを含むTVセットの正面図を示す。
【
図9A】FOV
W上の第1FOV
T位置について、自律的FOV
T追跡中にTVに含まれるデュアルカメラ構成におけるFOV
TおよびFOV
Wの(a)第1のユーザによって見られる画面、および(b)第2のユーザによって見られる画面を示す。;
【
図9B】
図9Aと同じ画面を示すが、ただし、FOV
W上の第2の位置のFOV
Tについて。
【
図9C】
図9Aと同じ画面を示すが、ただし、FOV
W上の第3の位置のFOV
Tについて。
【発明を実施するための形態】
【0036】
以下の詳細な説明では、完全な理解を提供するために、多数の特定の詳細が記載される。しかしながら、本開示の主題は、これらの特定の詳細なしに実施されてもよいことが当業者によって理解されるのであろう。他の例では、本開示の主題を曖昧にしないように、周知の方法は詳細に説明されていない。
【0037】
明確にするために、別個の実施形態の文脈で説明される、本開示の主題の特定の特徴は、単一の実施形態において組み合わせて提供されてもよいことが理解される。反対に、簡略化のために単一の実施形態の文脈で説明されている、本開示の主題の様々な特徴は別個に、または任意の適切な組み合わせで提供されてもよい。
【0038】
本明細書で開示される「処理ユニット」という用語は、データ処理回路を有する任意の種類の電子機器を含むように広く解釈されるべきである。これには、例えば、様々なデータ処理動作を実行することができるコンピュータメモリ(例えば、デジタル信号プロセッサ(DSP)、マイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)など)に動作可能に接続されたコンピュータ処理機器を含む。
【0039】
さらに、明確にするために「実質的に」という用語は、本明細書では許容範囲内の値の変動の可能性を暗示するために使用される。一例によれば、本明細書で使用される「実質的に」という用語は、任意の指定された値を上回るまたは下回る10%までの可能な変動を暗示すると解釈されるべきである。別の一例によれば、本明細書で使用される「実質的に」という用語は、任意の指定された値を上回るまたは下回る5%までの可能な変動を暗示すると解釈されるべきである。さらなる一例によれば、本明細書で使用される用語「実質的に」は、任意の指定された値を上回るまたは下回る2.5%までの可能な変動を暗示すると解釈されるべきである。
【0040】
以下の本文において、「デジタル回転」は光学素子の物理的回転を記述するために使用される単なる「回転」から区別するために、ソフトウェアによる画像回転を記述するために使用される。
【0041】
図1Aは、100と番号付けされた屈曲式カメラ(「屈曲式カメラモジュール」とも呼ばれる)の例示的な実施形態を等角図で概略的に示す。図示の直交X‐Y‐Z座標(「軸」)系は、以下のすべての図面にも適用される。この座標系は例示的なものである。カメラ100は、レンズアセンブリ(または単に「レンズ」)102と、光路屈曲素子(optical path folding element,OPFE)104と、画像センサ106とを含む。OPFE104は、(例示的な座標系における)X軸に実質的に平行な軸108に沿った第1の光路を(例示的な座標系における)Z軸に実質的に平行な軸110に沿った第2の光路に屈曲させる。第1の光路は、物体、景色、またはパノラマビューセクション114からOPFEまでである。軸110はレンズ102の光軸である。画像センサ106は、軸110と(平行に)整列した平面法線を有する。すなわち、画像センサ106は、第1の光路に実質的に直交する平面内に概ね位置する平面物体内に位置する。画像センサ106は、出力画像を出力する。出力画像はデモザイク処理、ホワイトバランス処理、レンズシェーディング補正処理、不良ピクセル補正処理、およびISP設計の技術分野で知られている他の処理のために、画像信号プロセッサ(ISP‐図示せず)によって処理することができる。いくつかの実施形態では、ISPが画像センサ106の一部であってもよい。光軸110は、本明細書では「屈曲式カメラ光軸」とも呼ばれる。
【0042】
いくつかの実施形態では、カメラ100は、フォーカス機構またはオートフォーカス(AF)機構(図示せず)をさらに含むことができ、これにより、レンズ102を軸110に沿って移動(または「シフト」または「作動」)させることができるので、様々な距離にある物体からの画像を画像センサ106上に焦点を合わせることができる。簡単のために、AFのみを参照して説明を続けるが、通常の(手動の)フォーカスもカバーすることを理解されたい。AF作動機構は、典型的にはボイスコイルモータ(VCM)タイプ、すなわち「VCMアクチュエータ」である。このような作動機構は、当技術分野で知られており、例えば出願人の共同所有の国際特許出願PCT/IB2015/056004および国際特許出願PCT/IB2016/055308に開示されている。しかし、これは非限定的な例であり、AF機構は、ステッピングモータ、形状記憶合金(SMA)アクチュエータ、または当技術分野で知られている他のタイプなど他のタイプであってもよい。いくつかの実施形態では、カメラ100は、AF起動機構に加えてまたは代わりに、光学画像安定化(OIS)作動機構(図示せず)を含んでもよい。OISは例えば、X‐Y平面内の2つの方向にレンズをシフトさせ、Z方向及びX方向の周りのカメラ100の傾斜を補償することによって達成されてもよい。自由度(DOF)3のOIS+フォーカス作動機構(OISについて2運動およびAFについて1が行われる)は典型的には、VCMタイプのものであり当技術分野で知られており、例えば国際特許出願PCT/US2013/076753および米国特許出願2014/0327965に開示されている。コンパクトな屈曲式カメラにおけるオートフォーカスおよびOISに関するさらなる情報は、本出願人の共同所有の国際特許出願PCT/IB2016/052143、PCT/IB2016/052179およびPCT/IB2016/053335に見出すことができる。
【0043】
既知の屈曲式カメラモジュール(例えば、PCT/IB2016/052179を参照)とは対照的に、カメラ100は画像センサに対して軸110(Z軸)の周りにOPFE104を回転させるように、すなわち、示される座標系におけるX‐Y平面において、矢印112によって示される回転を行うように設計される。OPFE104は、光学的要件(下記参照)によって必要とされる角度範囲で、場合によっては180度まで、場合によっては360度まで回転することができる。本来の「ゼロ回転」位置(
図1Bに示す)から、
図1Cは30度回転した後のOPFE104を示し、
図1Dは180度回転した後のOPFE104を示す。30度および180度の回転位置は、多くの回転位置の範囲の一例である。軸110の周りのOPFEの回転は例えば、ステッピングモータまたはVCMアクチュエータ116によって駆動され得る。本明細書に開示されるOPTEを回転するために使用できるステッピングモータは例えば、Dr. Frintz Faulhabar Gmbh and Co.製造のステッピングモータモデルFDM0620である。一緒に、カメラ100とアクチュエータ116は、パノラマスキャン範囲を有するカメラ130(
図1A)を形成する。回転VCMモータの一例は、例えば、共同所有の国際特許出願PCT/IB2017/052383およびPCT/IB2017/057706に提示される。
【0044】
いくつかの実施形態では、レンズ102が光学的に軸対称であってもよい。したがって、軸102の周りのレンズ102のいかなる回転も、システム、特に画像のいかなる光学特性も変化させない。そのような実施形態では、レンズ102がOPFE104と一緒に回転することができる。特に、
図1Eの例示的な実施形態に示すように、カメラ150では、レンズ102がOPFE104に固定的に取り付けられて(例えば、接着されて)、レンズ‐OPFEアセンブリ152を形成してもよい。
図1Fに例示的な実施形態で示されるような幾つかの実施形態において、カメラ160では、レンズおよびOPFEを組み合わせて「屈曲式レンズ(folded lens)」162(例えば、Asus Zenone Zoomを参照)を形成することができ、この場合、いくつかのレンズ要素(例えば、
図1Fに示される単一のレンズ要素164など)は、結像される物体からの軸108に沿った光路内のOPFEの前に配置され、他のレンズ要素は、画像センサに向かう光路内のOPFEの後に(すなわち、レンズアセンブリ102の要素として)配置される。そのような実施形態では、レンズ‐OPFEアセンブリ(
図1E)および/または屈曲式レンズ(
図1F)の全体が画像センサに対して回転する。以下および上記のすべての説明において、カメラ150および/または160は、用途および/または分析および/または動作方法においてカメラ100に取って代わることができる。
【0045】
「α」度だけ画像センサに対する軸110の周りにOPFE104を回転することにより、軸108(これは、回転前の本来の状態で、示される座標系においてX軸に垂直に位置付けられる)はX‐Y平面において回転され、画像センサ上の画像にa)α度だけの中心視野(field-of-view,FOV)の回転、およびb)α度だけの画像センサ上の画像の回転(当技術分野で「ロール」効果として知られる)の2つの変化がもたらされる。
【0046】
上述のようにOPFEを回転させ、その結果、第1の光路を回転させることにより、パノラマビューを撮影することができる。カメラ100は、パノラマ走査範囲を有する。パノラマビュー(および走査範囲)は、360度までであってもよい。以下で「サブビュー」、「画像セクション」または「ビューセクション」とも呼ばれる複数の写真であって、各サブビューが特定のOPFE回転位置を反映するかまたは関連する複数の写真を、取得し、「パノラマ出力画像」に「縫い合わせる」ことができる。
【0047】
レンズ102の「画像円」(
図2Aおよび
図2Bも参照)は、点150(軸110が画像センサ平面と出会う点)でセンサ平面に到達する光の量に対して十分な量の光が到達する、画像センサのセンサ平面上の円として定義される。画像円内のセンサ画素のみを出力画像に使用することができる。画像円の外側のセンサ画素は、撮影される物体/景色から十分な光を受け取らず、高品質画像にはノイズが多すぎる。画像円は、画像センサよりも大きくても小さくてもよい。
【0048】
図2Aは、(例えば)矩形(3:4のエッジ長比を有する)画像センサ106が画像円120よりも小さく、したがって画像円が画像センサを「境界付ける」一実施形態を示す。ここで、矩形のエッジは画像円の直径よりも小さく、全てのセンサ画素は画像円の内側にある。
図2Bは、(例えば)正方形の画像センサ106が画像円120よりも大きく、したがって画像センサが画像円を「境界付ける」別の一実施形態を示す。ここで、正方形のエッジは、画像円の直径よりも大きい。画像センサ上で得られる画像は、典型的には長方形であり、典型的には長辺寸法と短辺寸法との比率が3:4又は9:16である。カメラ100において、画像センサ106は画像円よりも大きく、すなわち、
図2Bのように大きい。
図2Bの画像センサ106の最小寸法は、必要な最小センサ寸法の例である。したがって、カメラ100で最大の可能な画像は、画像円120上にエッジを有する任意の境界矩形である。この矩形は以下に説明するように、異なる動作下で画像センサ106のエッジに対してある角度だけ回転させることができる。
【0049】
図2Bはまた、センサ106から取得された矩形(3:4のエッジ長比を有する)出力画像方位の3つの例、すなわち、「横」向きの画像202(矩形の長辺が水平である)、横長向きに対して30度回転された画像204、および「縦」向きの画像206(矩形の長辺が垂直である)を示す。カメラ100は、任意の単一のフレームを縦向きまたは横向きに出力するために使用されてもよい。向きの選択は、取り付けられた処理ユニット(図示せず)を使用してデジタル的に行うことができる。
【0050】
図3A、3B、および3Cはパノラマビューをスキャンし、取得するためのカメラ100の使用(使用)の方法の実施形態を示す。
図3Aは、360度(横軸)×56度(縦軸)の視野(field of view,FOV)を有するパノラマビューを示す。パノラマビューは平坦化された画像で示され、平坦化された画像は360度の円形ビューを表すことが理解される。
図3Bは、OPFE104が横軸に沿ったサブビュー間で22.5度のジャンプサイズで0度から360度まで回転されるときに、画像センサ106上で取り込まれた、パノラマビューの16個の別個のビューセクション(サブビュー)「a」から「o」を示す。別の場合には、サブビュー間で別のジャンプサイズを使用してもよい。
図3Bはさらに、各サブビューについて、それぞれの画像円120と、9:16の長方形によって画定されるそれぞれの切り取り領域132とを示す。簡単にするために、画像円120はサブビュー「a」のみにマークされ、切り取り領域132はサブビュー「e」のみにマークされる。切り取り領域は、切り取られた画像を提供する。切り取られた画像は、本来の向き(サブビュー「i」)にデジタル的に回転されてもよい。カメラ100は、サブビュー「a」〜「o」(または任意の回転角度での任意のサブビュー)のいずれかを、適切な回転後に単一のフレームとして出力してもよい。
図3Cは、パノラマ画像への
図3Bのサブビューに切り取られた画像の再構成(「縫い合わせ」)を示す。一般に、各々が所与のFOVを有する2つの隣接する画像のステッチングは、(a)2つの画像間の傾斜、回転、シフトおよび他の偏差を検出する動作、(b)少なくとも一方の画像を補正画像にデジタル変換して、偏差を補正する動作、および(c)2つの隣接する補正画像を、2つの本来の所与のFOVよりも大きい連続FOVを有する単一画像にデジタル結合することの動作を必要とする。当技術分野で知られているように、デジタル回転動作および縫い合わせ動作は、ソフトウェアを使用して行われてもよい。ソフトウェアは、処理ユニット(図示せず)上で実行されてよく、処理ユニットは、カメラ100を備えたカメラ130を搭載する機器またはシステムのチップセットの一部であってもよく、またはカメラ100を遠隔操作してもよい。なお、任意の2つの隣接する画像は、小領域で、例えば1つの画像のFOVの10%〜30%で重畳する。重畳領域は、(a)および(c)の動作に必要である。別の場合には、カメラ100が、異なるFOV、例えば、横軸において360度未満、および/または例えば、縦軸において56度超または未満でパノラマビューをスキャンするために使用されてもよい。
【0051】
別の実施形態ではカメラ100が、ビデオを撮影するために、または操作機器画面(以下の操作機器の例を参照されたい)上でビデオをプレビューするために使用されてもよい。走査能力は、ビデオ視野の選択を可能にする。以下の例(
図8〜9)は、FOV走査能力を有するビデオ記録およびストリームを示す。OPFE104が回転すると、カメラのFOVが変化し、回転画像がセンサ106上に得られる。カメラ100および付属の処理ユニット(図示せず)は、(
図3および
図9に示すように)フレームおよびビデオストリームをデジタル的に反回転して、本来の向きに整列したビデオを示すことができる。最終出力は、360度までの走査範囲を有するビデオムービーを示すことができる。
【0052】
カメラ100を備えたカメラ120のようなシステムを搭載または含むプラットフォームのいくつかの非限定的な例(例えば、スマートフォンおよ飛行ドローン)が、
図4〜
図7に示されている。
【0053】
図4Aは、例示的な一実施形態を異性体図で示し、
図4Bは、拡大切り取りセクションで示し、この実施形態において、プラットフォームは、400と番号付けされたスマートフォンなどのモバイル機器である。スマートフォン400は、カメラ100のような屈曲式カメラ100´と、アクチュエータ116のようなステッピングモータまたはVCMとを備えるパノラマ走査範囲を有するカメラ430を含む。カメラ100´は、スマートフォン400のエッジ402に近い側に配置される。
図4Bの拡大図に示された切り取り404は、カメラ100´の主要構成要素(レンズ102、プリズム104およびセンサ106)およびステッピングモータまたはVCMアクチュエータ116の主要構成要素を示す。プリズム104は、例えばガラス又はプラスチックから作られた保護パノラマ透明スクリーン406の背後に配置される。スマートフォン400で、カメラ100´の1つの使用法は、180度のパノラマ写真を撮ることであってよく、この動作は点線の半円の矢印408によって示されている。例示的な使用実施形態でスマートフォン400内のカメラ100´は、スマートフォンの「正面カメラ」および「背面カメラ」の両方として使用されることができる「正面カメラ」および「背面カメラ」は当技術分野で周知の意味を有する。
【0054】
いくつかの実施形態では、本明細書で開示されるパノラマ走査範囲を有する屈曲式カメラが、デュアル開口(または「デュアルカメラ」)カメラ構成において、非屈曲式(「直立」)非走査カメラと共に配置されてもよい。非屈曲式カメラが有するFOVは、屈曲式カメラのFOVよりも小さくても、等しくても、または大きくてもよい。屈曲式カメラおよび非屈曲式カメラを含むデュアル開口カメラは例えば、PCT/IB2015/056004に記載されている。デュアルカメラは、スマートフォンまたは他の個人用電子機器に配置されてもよい。直立カメラは、スマートフォンの正面カメラでも背面カメラでもよい。
【0055】
図4Cは、400´と番号付けされたスマートフォンの例示的な一実施形態を異性体背面図で示し、
図4Dは、拡大切り取りセクションで示し、このスマートフォン400´は、直立カメラ412と、パノラマ走査範囲100´を有する屈曲式カメラを有するカメラ430とを有するデュアル開口カメラ450を含む。図示された他のすべての構成要素は、
図4Aおよび4Bの構成要素と同様である。カメラ412はスマートフォン400´の背面カメラとして示されているが、他の実施形態(上述のように)では正面カメラであってもよい。
【0056】
図5Aは、プラットフォームが500と番号付けされたスマートフォンである例示的な実施形態を異性体図で示し、
図5Bは、背面図で示す。スマートフォン500は、カメラ100のような2つの屈曲式カメラと、結び付けられたステッピングモータまたはVCMアクチュエータ(図示せず)とを備えるパノラマ走査範囲を有するカメラ530を含む。100´aおよび100´bとマークされた2つのカメラは例えば、スマートフォン500のそれぞれのエッジ502aおよび502bに近い2つの対向する側に配置される。
図5Bはまた、各カメラの主要構成要素(レンズ102、プリズム104およびセンサ106)を示す。各ステッピングモータまたはVCMアクチュエータは、図面を簡略化するために図示されていない。各プリズム104は、例えばガラス又はプラスチックで作られたそれぞれの保護パノラマ透明スクリーン506の背後に配置される。スマートフォン500で、各カメラ100´aおよび100´bの1つの使用法は、撮影後に360度のパノラマ写真に縫い合わせることができる2つのそれぞれの180度パノラマ写真を撮ることであってもよい。
【0057】
図6A〜Dは、カメラ100を搭載する別の例示的なプラットフォームを示す。
図6A〜Dで、プラットフォームは、カメラ100のような屈曲式カメラ100´と、アクチュエータ116のようなステッピングモータまたはVCMアクチュエータとを備えるパノラマ走査範囲を有するカメラ630を搭載する飛行ドローン600である。ドローン600は、飛行して上空から写真を撮るために使用される。
図6Aはドローンを上から等角図で示し、
図6Bはドローンを下から等角図で示し、
図6Cは、
図6Bに印を付けたセクションの拡大である。
図6Dは、
図6Aの切断A‐Bに沿ったドローン600の切断側面図である。システム600では、カメラを使用して撮影角度(
図6Dにマークされる)を、+90度(上を見る、651)〜0度(前を見る、652)〜−90度(下を見る、653)および−120度(下のわずかに後ろを見る、654)の間、すなわち合計210度の間で変更する。他の例では、走査範囲は変化してもよい。ドローン600のカメラ100は、
図8および
図9を参照して後述するように、共同所有の国際特許出願PCT/IB2016/057366と同様に、物体を自動的に追跡してもよい。
【0058】
図7A〜Bは、パノラマ走査範囲を有する2つのカメラ730aおよびカメラ730bを搭載するさらに別の飛行ドローン700を示し、各カメラは、カメラ100のような屈曲式カメラと、アクチュエータ116のようなステッピングモータまたはVCMアクチュエータ(図示せず)とを備える。この構成では、2つのカメラが360度の走査範囲で写真を撮ることができる。矢印で示す撮影角度は、
図6(d)と同様である。
【0059】
図8A〜Cは、カメラ100を搭載するさらに別の例示的プラットフォームを示す。
図8A‐Cにおいて、プラットフォームはテレビ(TV)セット800である。TVセット800は、カメラ100のような屈曲式カメラと、アクチュエータ116のようなステッピングモータまたはVCMアクチュエータとを備えるパノラマ走査範囲を有するカメラ830を含む。TVセット800は、直立カメラ812およびTV画面802をさらに含む。直立カメラ812は、レンズ814および画像センサ816を含む。TVセット800は、1つ以上のスピーカおよび1つ以上のマイクロフォン、ならびに他の周知の構成要素(図示せず)をさらに含むことができる。
【0060】
図8Aは、TVセット800を正面図で示す。
図8Bは、TVセット800の隅部の拡大を示し、カメラ812および830を正面図で示す。
図8Cは、
図8Bに示される角部の等角図、およびカメラ830におけるプリズム104の可能な回転を示す。カメラ812は、広い(大きな)FOV、例えば水平面上で120〜180度のFOVを有することができ、ワイドカメラ812とも呼ばれる。カメラ812のFOVは、広いFOV(Wide FOV,FOV
W)と呼ばれる。TVセット800では、カメラ830が遠方(狭い)FOV、例えば(非限定的に)、水平面上で30〜80度のFOVを有することができる。したがって、TVセット800では、カメラ830は「テレカメラ」830とも呼ばれ、カメラ830のFOVは遠方視野(Tele FOV,FOV
T)と呼ばれる。
【0061】
TVセット800では、カメラ812およびカメラ830がTVセット800の左上隅に配置される。他の例示的な実施形態では、カメラ812およびカメラ830が、上部中央、左側または右側、底側、または後述する画面802の向こう側など、他の位置に配置されてもよい。別の例示的な一実施形態では、カメラ812およびカメラ830がケーブルを介して、またはコードレス接続を介して接続された、TVセットの外側の別個のモジュール(ボックス)内に配置されてもよい。
【0062】
例示的な使用の一実施形態では、TVセット800は、第1の場所に居る第1のユーザ(人)が、第2の場所に居る第2のユーザ(人)と通信するためにTVセット800を使用できるように、ビデオ会議のために使用されてもよい。第2のユーザは、例えばTV、スマートフォン、パーソナルコンピュータ、ノートブックまたはラップトップコンピュータなどの画面を備える任意の電子機器を使用することができる。例示的な一実施形態で、カメラ830およびカメラ812は、第1のユーザをビデオ記録するために使用されることができ、一方、第2のユーザが自分の画面上でカメラ830およびカメラ812の両方からの記録を見ることができる。
【0063】
TVセット800は、例えば被写体を自律的に追跡するためのFOV
Tの自動的な動きまたは「自動調節」のために使用されてもよい。関心のある物体または被写体を追跡するために自動遠方視野移動を実行するカメラモードは、本明細書では「自律遠隔視野追跡」と呼ばれる。本明細書で適用可能な例示的な自律追跡システムおよび方法は、スマートフォンシステムに関するPCT/IB2016/057366に記載されている。自律FOV
T移動は、関心のある物体または被写体の認識(例えば、カメラ812を介して)に応じており、遠方画像は、関心のある物体または被写体に焦点を合わせて表示する。物体認識は、当技術分野で知られている任意の方法を使用して実行され得る。
【0064】
TVセット800を用いた自律視野
T追跡シナリオの例が組9A〜組9Cに示されている。例示的な一実施形態では、カメラ812は、第1の位置の広視野画像を撮影することができる。次いで、カメラ830は、ビデオ会議中にカメラ812のFOV
W内を動き回る第1のユーザ902を追跡することができる。第2のユーザは、(1)広いFOV、(2)追跡後の遠方FOV、または(3)広いFOVと遠方FOVの両方を、自分の画面上で見ることができる。カメラは、プリズムを傾斜させて興味の物体を追跡することによって、そのFOVを変更することができるとする。理想的には、カメラは、調節可能な遠方FOVの中心にできるだけ近くなるように物体を追跡する。
【0065】
図9Aは、FOV
W上の第1のFOV
T位置を有する、自律FOV
T追跡中のテレカメラ830およびワイドカメラ812のFOVを示す。
図9Bは、FOV
W上の第2のFOV
T位置を有する
図9AのFOVを示す。
図9Cは、FOV
W上の第3のFOV
T位置を有する
図9AのFOVを示す。これらの図の各々において、興味の対象は第1のユーザ902である。
【0066】
具体例に示すように、両カメラからのビデオストリームを並べて一覧する。ここで、(a)欄は、第1のユーザが見るFOV
WおよびFOV
Tを有する画面900aを示し、一方、(b)欄は、右側に、FOV
WおよびFOV
Tを有する第2のユーザの画面900bを示し、左側に、第1のユーザの顔および体の一部並びに背景の一部の拡大遠方ビュー(画像)を示す。一般的に、(a)のFOV
Tは、(図示のように)第1のユーザ、第2のユーザ、または場面からの別のフィーチャを示すことができる。したがって、第1のユーザを示す(a)のFOV
Tは、限定するものと見なされるべきではない。一般的に、第2のユーザ(図示せず)は、カメラ812またはカメラ830のいずれか、あるいはカメラ812およびカメラ830の両方からのビデオストリームを同時に(例えば、並べて)自分の画面上で見ることができる。第2のユーザがビデオの1つのストリームのみを見る場合、ストリーム間の切り替えは、例えば、共同所有の米国特許第9185291号に記載されているように、スムーズな遷移技術を使用して行われてもよい。
【0067】
第1のユーザを追跡する決定は第1のユーザ、第2のユーザ(例えば、遠隔制御装置の使用によって)、または自動的に(例えば、顔検出を使用して)行うことができる。上述のように、テレカメラは、プリズムを回転させて興味の対象を追跡することによって、そのFOVを変更することができると仮定する。理想的にはカメラは、各図の(b)の左側に見られるように、調節可能なFOV
Tの中心にできるだけ近くなるように対象を追跡する。
【0068】
カメラ812および/またはカメラ830からのビデオストリームは、後の使用のために記録されてもよく、後の使用は、画像処理、ビデオストリームブレンディング(video stream blending)などの追加の処理を含んでもよい。
【0069】
本開示は特定の実施形態および一般的に関連する方法に関して説明されてきたが、実施形態および方法の変更および置換は当業者には明らかであろう。例えば、カメラおよびパノラマ走査範囲を有する屈曲式カメラは、スマートフォン、飛行ドローン、およびテレビセットに組み込まれた例で説明されたが、このようなカメラおよび屈曲式カメラは、車両などの他のプラットフォームに組み込まれてもよく、またはスマートフォン以外のプラットフォームに組み込まれてもよく、例えば、タブレット、ラップトップコンピュータ、ファブレット、デスクトップコンピュータ、スマートスピーカ、スマートウォッチ、電子書籍リーダ、スマートガラス、スマートヘルメット、ベビーモニタ、拡張現実システム、仮想現実システム、先進運転支援システム(ADAS)などに組み込まれてもよい。本開示は、本明細書に記載された特定の実施形態によって限定されるものではなく、添付の特許請求の範囲によってのみ限定されるものとして理解されるべきである。
【0070】
特に明記しない限り、選択のためのオプションのリストの最後の2つのメンバー間の表現「および/または」の使用は、リストされたオプションのうちの1つ以上の選択が適切であり、行われ得ることを示す。
【0071】
特許請求の範囲または明細書が「a」または「an」要素に言及する場合、そのような言及は、その要素のうちの1つのみが存在すると解釈されるべきではないことを理解されたい。
【0072】
本明細書で言及される全ての参照は、それぞれの個々の参照が参照により本明細書に組み込まれるように具体的かつ個別に示されたのと同じ程度まで、参照によりその全体が本明細書に組み込まれる。さらに、本出願における任意の参考文献の引用または識別は、そのような参考文献が本発明の先行技術として利用可能であることを容認するものとして解釈されるべきではない。
【手続補正書】
【提出日】2019年11月11日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第1の視野(field of view,FOV)を有する第1の屈曲式デジタルカメラを備え、
前記第1の屈曲式デジタルカメラは、
第1のレンズ光軸を有する第1のレンズと、
第1の画像センサと、
物体または景色からの第1の光路を第2の光路に畳む第1の光路屈曲素子(optical path folding element,OPFE)と、を含み、
前記第2の光路は、前記レンズ光軸と実質的に平行であり、
前記第1のOPFEは、前記第1の画像センサに対して前記第1のレンズ光軸の周りで回転可能であり、
当該プラットフォームは、テレビセットである、プラットフォーム。
【請求項2】
前記第1のFOVよりも大きい第2のFOVを有する第2の屈曲式デジタルカメラをさらに備える、請求項1に記載のプラットフォーム。
【請求項3】
第2のレンズ光軸を有する第2のレンズと、物体または景色からの前記第1の光路を前記第2の光路に屈曲させる第2のOPFEとを含む第2の屈曲式デジタルカメラをさらに備え、
前記第2のOPFEは、第2のレンズ光軸の周りで回転可能である、請求項1に記載のプラットフォーム。
【請求項4】
前記第1のレンズ光軸および前記第2のレンズ光軸は平行である、請求項3に記載のプラットフォーム。
【請求項5】
前記レンズは、前記OPFEに固定して取り付けられ、前記画像センサに対して前記レンズ光軸の周りで前記OPFEと共に回転可能である、請求項1〜4のいずれか1項に記載のプラットフォーム。
【請求項6】
前記第1のカメラは、前記第1のFOVを自律的に変更するように動作可能である、請求項1〜4のいずれか1項に記載のプラットフォーム。
【請求項7】
a)画像センサと、レンズ光軸を有するレンズと、物体または景色からの第1の光路を第2の光路に屈曲させる光路屈曲素子(optical path folding element,OPFE)とを含む屈曲式デジタルカメラであって、前記第2の光路が前記レンズ光軸と実質的に平行であり、前記屈曲式デジタルカメラが本来の向きを有する、屈曲式デジタルカメラを提供するステップと、
b)前記第1の光路を所望の第1の方向に設定するために、前記画像センサに対して、第1の回転方向に前記レンズ光軸の周りで前記OPFEを回転させるステップと、
c)画像を撮影するステップと、
d)画像を撮影する前記ステップで撮影された撮影画像を、前記本来の向きに戻すようにデジタル的に回転させるステップと、
を含む方法。
【請求項8】
前記第1の光路を所望の第1の方向に設定するために第1の回転方向に前記レンズ光軸の周りで前記OPFEを回転させる前記ステップは、前記第1の光路を180度までの第1の範囲内の複数の所望の第1の方向に設定するために、前記OPFEを回転させるステップを含み、
画像を撮影する前記ステップは、前記複数の所望の第1の方向のそれぞれの方向で画像を撮影し、それによって、調和する(matching)第1の複数の撮影画像を取得するステップを含む、請求項7に記載の方法。
【請求項9】
前記第1の複数の撮影画像から第1のパノラマ画像を構成するステップをさらに含む、請求項8に記載の方法。
【請求項10】
前記第1の光路を前記第1の範囲とは反対の180度までの第2の範囲内の複数の所望の第2の方向に設定するために、前記第1の回転方向とは反対の第2の回転方向に前記レンズ光軸の周りに前記OPFEを回転させるステップをさらに含み、
画像を取得する前記ステップは、前記複数の所望の第2の方向のそれぞれの方向で画像を撮影し、それによって、調和する第2の複数の撮影画像を取得するステップを含む、請求項9に記載の方法。
【請求項11】
前記第2の複数の撮影画像から第2のパノラマ画像を構成するステップをさらに含む、請求項10に記載の方法。
【請求項12】
前記第1のパノラマ画像および前記第2のパノラマ画像を結合パノラマ画像に結合することをさらに含む、請求項11に記載の方法。
【請求項13】
前記レンズは前記OPFEに固定して取り付けられ、
前記画像センサに対して、前記第1の回転方向に前記レンズ光軸の周りで前記OPFEを回転させる前記ステップは、前記OPFEと共に前記レンズを回転させるステップを含む、請求項8〜12のいずれか1項に記載の方法。
【請求項14】
前記レンズは、屈曲式レンズである請求項8〜12のいずれか1項に記載の方法。
【国際調査報告】