(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-25
(45)【発行日】2022-12-05
(54)【発明の名称】3次元360度バーチャルリアリティカメラシステム
(51)【国際特許分類】
G03B 37/04 20210101AFI20221128BHJP
H04N 5/225 20060101ALI20221128BHJP
H04N 5/247 20060101ALI20221128BHJP
H04N 5/222 20060101ALI20221128BHJP
H04N 5/232 20060101ALI20221128BHJP
G03B 37/00 20210101ALI20221128BHJP
G03B 19/07 20210101ALI20221128BHJP
G03B 15/00 20210101ALI20221128BHJP
【FI】
G03B37/04
H04N5/225 800
H04N5/247
H04N5/222 100
H04N5/232 030
H04N5/232 300
H04N5/232 290
H04N5/232 380
G03B37/00 A
G03B19/07
G03B15/00 W
【外国語出願】
(21)【出願番号】P 2021066112
(22)【出願日】2021-04-08
(62)【分割の表示】P 2018552746の分割
【原出願日】2017-01-31
【審査請求日】2021-04-28
(32)【優先日】2016-04-11
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2016-04-06
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】508178054
【氏名又は名称】メタ プラットフォームズ, インク.
(74)【代理人】
【識別番号】110002974
【氏名又は名称】弁理士法人World IP
(72)【発明者】
【氏名】カブラル、ブライアン キース
(72)【発明者】
【氏名】ブリッグス、フォレスト サミュエル
(72)【発明者】
【氏名】スー、ジョイス
(72)【発明者】
【氏名】ポゾ、アルバート パラ
(72)【発明者】
【氏名】カワード、アンドリュー
【審査官】▲うし▼田 真悟
(56)【参考文献】
【文献】中国実用新案第202794836(CN,U)
【文献】米国特許出願公開第2004/0066449(US,A1)
【文献】米国特許出願公開第2016/0086379(US,A1)
【文献】特開2012-204982(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G03B 37/00-37/04
G03B 19/07
G03B 35/18
H04N 5/222-5/257
H04N 13/204
(57)【特許請求の範囲】
【請求項1】
カメラシステムであって、
中心点の周りに配置された複数の周辺カメラであって、各カメラの光軸が1つの平面内に位置するとともに、各カメラの視野が前記中心点から見て外方を向き、閾値距離よりも外側で局所領域の一部分内の物体が少なくとも2つの周辺カメラの視野内に存在するように配置された前記複数の周辺カメラと、
前記中心点を通過する位置合わせ軸に沿った光軸を有するように配置された少なくとも1つの軸カメラと、
剛性を有する第1の板であって、前記位置合わせ軸が前記第1の板の中心に交差するように前記第1の板が前記位置合わせ軸に沿って配置されており、前記第1の板は
第1の上面と第1の底面とを含み、
前記第1の底面は、前記複数の周辺カメラの第1のマウント面に結合さ
れ、前記少なくとも1つの軸カメラは、
軸マウントを介して前記第1の板に結合され、前記第1の上面から垂直方向にオフセットされている、前記第1の板と、
を備えるカメラシステム。
【請求項2】
剛性を有する第2の板をさらに備え、前記位置合わせ軸が前記第2の板の中心に交差するように前記第2の板が前記位置合わせ軸に沿って配置されており、前記第2の板は、前記複数の周辺カメラの第2のマウント面に結合された第2の上面を含む、請求項1に記載のカメラシステム。
【請求項3】
前記第1の板と前記第2の板が円盤形である、請求項2に記載のカメラシステム。
【請求項4】
前記剛性を有する第2の板が第2の底面を含み、前記カメラシステムが、
前記第2の底面に結合され前記カメラシステムを支持するように構成された支持構造をさらに備える、請求項2に記載のカメラシステム。
【請求項5】
前記剛性を有する第2の板の第2の底面に結合され、前記中心点を通過する前記位置合わせ軸に沿った光軸を有するように配置された下部軸カメラをさらに備え、前記中心点が上部軸カメラと前記下部軸カメラとの間に位置する、請求項2に記載のカメラシステム。
【請求項6】
前記局所領域の画像情報を生成するように前記カメラシステムに指示して前記画像情報を処理サーバに供給するように構成されたカメラコントローラをさらに備え、
前記処理サーバは、前記画像情報を用いてコンテンツを生成し、生成された前記コンテンツが3次元(3D)部分と複数の2次元(2D)部分とを含み、前記3D部分が、前記複数の周辺カメラからの画像情報を用いて生成されたコンテンツの部分に対応し、前記2D部分が、前記少なくとも1つの軸カメラからの画像情報を用いて生成されたコンテンツの部分に対応する、請求項1に記載のカメラシステム。
【請求項7】
第1のグループのカメラを含む複数の軸カメラをさらに備え、
前記第1のグループのカメラは、前記平面と直交する直線に沿ってそれぞれの光軸が位置するように配置されており、前記第1のグループのカメラの全視野が前記局所領域の第2の部分を含み、且つ、前記第1のグループのカメラは、第2の閾値距離よりも外側で前記局所領域の第2の部分内の物体が前記第1のグループのカメラ内の少なくとも2つの軸カメラの視野内に存在するように配置されている、請求項1に記載のカメラシステム。
【請求項8】
前記少なくとも1つの軸カメラが前記複数の周辺カメラの各々の視野よりも大きな視野を有する、請求項1に記載のカメラシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概してカメラアセンブリに関し、詳しくはバーチャルリアリティシステムの
ための3次元(3D)360度カメラシステムに関する。
【背景技術】
【0002】
バーチャルリアリティシステムは、1つまたは複数のカメラで環境の画像および/また
は動画を取り込む。カメラによって取り込まれた画像および/または動画は、ユーザが対
話可能なバーチャルリアリティを作成するために再構築される。
【発明の概要】
【発明が解決しようとする課題】
【0003】
1つまたは複数のカメラの構成は、取り込まれた画像の品質、シームレスなバーチャル
リアリティ体験のために画像を再構築する能力に影響を及ぼす。したがって、カメラの構
成やより低品質の取り込み画像は、ユーザのバーチャルリアリティ体験に悪影響を及ぼす
可能性がある。
【課題を解決するための手段】
【0004】
カメラシステムは、局所領域の360度にわたる画像および/または動画であって、そ
の少なくとも一部分がステレオである画像および/または動画を取り込むように構成され
ている。カメラシステムは、複数の周辺カメラと、1つまたは複数の軸カメラとを含む。
また、カメラシステムは、第1の剛性板と、第2の剛性板とを含み得る。
【0005】
複数の周辺カメラは、カメラシステムの中心点の周りにリング形態で配置されている。
中心点から閾値距離を越える局所領域内の物体が少なくとも2つの周辺カメラの視野内に
存在するように、各周辺カメラの光軸が1つの平面内に位置するとともに各カメラの視野
が中心点から見て外方を向いている。したがって、複数の周辺カメラは、閾値距離を超え
る物体をステレオ方式にて撮像することができる。第1の剛性板は、複数の周辺カメラの
底面に固定され得る。このような剛性構造により、複数の周辺カメラの相対移動が最小化
される。
【0006】
1つまたは複数の軸カメラは、たとえば、上部軸カメラと下部軸カメラとを含み得る。
上部軸カメラは、第1の剛性板の上面に結合され得る。下部軸カメラは、第2の剛性板の
底面に結合され得る。いくつかの実施形態において、上部軸カメラと下部軸カメラの双方
は、各カメラの光軸が位置合わせ軸と同一直線上に位置するように配置される。いくつか
の実施形態では、複数の軸カメラは、第1の剛性板の上面に結合されるか、第2の剛性板
の底面に結合されるか、またはその両方に結合される追加のカメラを含み得る。いくつか
の実施形態では、1つまたは複数の追加の軸カメラは、上部軸カメラ、下部軸カメラ、1
つまたは複数の周辺カメラ、追加の軸カメラ、またはそれらの任意の組み合わせを用いて
ステレオ画像を提供するように配置され得る。
【0007】
複数の周辺カメラと1つまたは複数の軸カメラは、局所領域の画像情報を取り込むよう
に構成されている。カメラシステムは、処理サーバに画像情報を送り、処理サーバはその
画像情報から局所領域の3D360度コンテンツを生成する。3D360度コンテンツは
、カメラシステムの360度視野に関連付けられ、3Dでレンダリングされ得るメディア
コンテンツであり、たとえば画像、動画、オーディオ情報、またはそれらの任意の組み合
わせである。
【0008】
本発明による実施形態は、特に、カメラシステムを対象とする添付の特許請求の範囲に
開示されており、ある請求項のカテゴリ、たとえばシステムに記載の任意の特徴は、別の
請求項のカテゴリ、たとえば方法においても特許請求され得る。添付の特許請求の範囲に
おける従属項の参照は単に形式的な理由で選ばれる。しかしながら、任意の先行する請求
項に対する意図的な参照(特に多項従属)に起因する任意の主題もまた特許請求され得る
。その結果、請求項の任意の組み合わせおよびその特徴は、添付の特許請求の範囲におい
て選択された従属関係に関わりなく開示され、特許請求され得る。特許請求され得る主題
は、添付の特許請求の範囲に記載の特徴の組み合わせだけでなく、特許請求の範囲におけ
る任意の他の特徴の組み合わせも含み、特許請求の範囲に記載の各特徴は、特許請求の範
囲における任意の他の特徴かまたはそれら他の特徴の組み合わせと組み合わせることがで
きる。さらに、本明細書に記載のまたは本明細書に示されている実施形態および特徴のい
ずれも、別々の請求項において、および/または本明細書に記載のまたは本明細書に示さ
れている任意の実施形態や特徴との任意の組み合わせまたは添付の特許請求の範囲のいず
れかの特徴との任意の組み合わせで特許請求され得る。
【0009】
本発明による実施形態では、カメラシステムは、
中心点の周りにリング形態に配置された複数の周辺カメラであって、各カメラの光軸が
1つの平面内に位置するとともに各カメラの視野が前記中心点から見て外方を向き、閾値
距離よりも外側で局所領域の一部分内の物体が少なくとも2つの周辺カメラの視野内に存
在するように配置された前記複数の周辺カメラと、
前記中心点を通過する位置合わせ軸に沿った光軸を有するように配置された少なくとも
1つの軸カメラと、
剛性を有する第1の板であって、前記位置合わせ軸が前記第1の板の中心に交差するよ
うに前記第1の板が前記位置合わせ軸に沿って配置されており、前記少なくとも1つの軸
カメラの第1のマウント面に結合された第1の上面と、前記複数の周辺カメラの第1のマ
ウント面に結合された第1の底面とを含む前記第1の板と、
剛性を有する第2の板であって、前記位置合わせ軸が前記第2の板の中心に交差するよ
うに前記第2の板が前記位置合わせ軸に沿って配置されており、前記複数の周辺カメラの
第2のマウント面に結合された第2の上面を含む前記第2の板と、
を備える。
【0010】
前記第1の板と前記第2の板は円盤形であり得る。
本発明による実施形態では、カメラシステムは、前記中心点を通過する前記位置合わせ
軸に沿った光軸を有するように配置された下部軸カメラを備え得る。前記中心点は上部軸
カメラと前記下部軸カメラとの間に位置する。
【0011】
前記第2の板が第2の底面を含み得る。カメラシステムは、前記第2の底面に結合され
前記カメラシステムを支持するように構成された支持構造を備え得る。
本発明による実施形態では、カメラシステムは、前記局所領域の画像情報を生成するよ
うに前記カメラシステムに指示して前記画像情報を処理サーバに供給するように構成され
たカメラコントローラを備え得る。前記処理サーバは、前記画像情報を用いてコンテンツ
を生成する。生成された前記コンテンツは、3次元(3D)部分と複数の2次元(2D)
部分とを含む。前記3D部分は、前記複数の周辺カメラからの画像情報を用いて生成され
たコンテンツの部分に対応し、前記2D部分は、前記少なくとも1つの軸カメラからの画
像情報を用いて生成されたコンテンツの部分に対応する。
【0012】
本発明による実施形態では、カメラシステムは、第1のグループのカメラを含む複数の
軸カメラを備え得る。前記第1のグループのカメラは、前記平面と前記位置合わせ軸との
間にそれぞれの光軸が位置するように配置されている。前記第1のグループのカメラの全
視野は前記局所領域の第2の部分を含み、第2の閾値距離よりも外側で前記局所領域の第
2の部分内の物体が前記第1のグループのカメラ内の少なくとも2つの軸カメラの視野内
に存在する。
【0013】
前記少なくとも1つの軸カメラは、前記複数の周辺カメラの各々の視野よりも大きな視
野を有し得る。
本発明による実施形態では、カメラシステムは、
中心点の周りに配置された複数の周辺カメラであって、各カメラの光軸が1つの平面内
に位置するとともに、各カメラの視野が前記中心点から見て外方を向き、閾値距離よりも
外側で局所領域の一部分内の物体が少なくとも2つの周辺カメラの視野内に存在するよう
に配置された前記複数の周辺カメラと、
前記中心点を通過する位置合わせ軸に沿った光軸を有するように配置された少なくとも
1つの軸カメラと、
を備える。
【0014】
本発明による実施形態では、カメラシステムは、
剛性を有する第1の板であって、前記位置合わせ軸が前記第1の板の中心に交差するよ
うに前記第1の板が前記位置合わせ軸に沿って配置されており、上部軸カメラの第1のマ
ウント面に結合された第1の上面と、前記複数の周辺カメラの第1のマウント面に結合さ
れた第1の底面とを含む前記第1の板と、
剛性を有する第2の板であって、前記位置合わせ軸が前記第2の板の中心に交差するよ
うに前記第2の板が前記位置合わせ軸に沿って配置されており、前記複数の周辺カメラの
第2のマウント面に結合された第2の上面を含む前記第2の板と、
を備え得る。
【0015】
前記第1の板と前記第2の板は円盤形であり得る。
前記剛性を有する第2の板は第2の底面を含み得る。カメラシステムは、前記第2の底
面に結合され前記カメラシステムを支持するように構成された支持構造を備え得る。
【0016】
本発明による実施形態では、カメラシステムは、前記剛性を有する第2の板の第2の底
面に結合され、前記中心点を通過する前記位置合わせ軸に沿った光軸を有するように配置
された下部軸カメラを備え得る。前記中心点は、前記上部軸カメラと前記下部軸カメラと
の間に位置する。
【0017】
本発明による実施形態では、カメラシステムは、前記局所領域の画像情報を生成するよ
うに前記カメラシステムに指示して前記画像情報を処理サーバに供給するように構成され
たカメラコントローラを備え得る。前記処理サーバは、前記画像情報を用いてコンテンツ
を生成する。生成された前記コンテンツは、3次元(3D)部分と複数の2次元(2D)
部分とを含む。前記3D部分は、前記複数の周辺カメラからの画像情報を用いて生成され
たコンテンツの部分に対応し、前記2D部分は、前記少なくとも1つの軸カメラからの画
像情報を用いて生成されたコンテンツの部分に対応する。
【0018】
本発明による実施形態では、カメラシステムは、第1のグループのカメラを含む複数の
軸カメラを備え得る。前記第1のグループのカメラは、前記平面と前記位置合わせ軸との
間にそれぞれの光軸が位置するように配置されている。前記第1のグループのカメラの全
視野が前記局所領域の第2の部分を含み、第2の閾値距離よりも外側で前記局所領域の第
2の部分内の物体が前記第1のグループのカメラ内の少なくとも2つの軸カメラの視野内
に存在する。
【0019】
前記少なくとも1つの軸カメラは、前記複数の周辺カメラの各々の視野よりも大きな視
野を有し得る。
本発明による実施形態では、カメラシステムは、
中心点の周りに配置された複数の周辺カメラであって、各カメラの光軸が1つの平面内
に位置するとともに、各カメラの視野が前記中心点から見て外方を向き、閾値距離よりも
外側で局所領域の一部分内の物体が少なくとも2つの周辺カメラの視野内に存在するよう
に配置された前記複数の周辺カメラと、
前記中心点を通過する位置合わせ軸に沿った光軸を有するように配置された上部軸カメ
ラと、前記中心点を通過する前記位置合わせ軸に沿った光軸を有するように配置された下
部軸カメラとを含む複数の軸カメラであって、前記中心点が前記上部軸カメラと前記下部
軸カメラとの間に位置する前記複数の軸カメラと、
剛性を有する第1の板であって、前記位置合わせ軸が前記第1の板の中心に交差するよ
うに前記第1の板が前記位置合わせ軸に沿って配置されており、前記上部軸カメラの第1
のマウント面に結合された第1の上面と、前記複数の周辺カメラの第1のマウント面に結
合された第1の底面とを含む前記第1の板と、
剛性を有する第2の板であって、前記位置合わせ軸が前記第2の板の中心に交差するよ
うに前記第2の板が前記位置合わせ軸に沿って配置されており、前記複数の周辺カメラの
第2のマウント面に結合された第2の上面を含む前記第2の板と、
を備える。
【0020】
前記第2の板は第2の底面を含み得る。カメラシステムは、前記第2の底面に結合され
前記カメラシステムを支持するように構成された支持構造を備え得る。
本発明による実施形態では、カメラシステムは、前記剛性を有する第2の板の前記第2
の底面に結合されるとともに、前記中心点を通過する前記位置合わせ軸に平行な第2の光
軸を有する第2の下部軸カメラを備え得る。前記第2の下部軸カメラは、前記支持構造が
前記第2の光軸および前記位置合わせ軸に平行であり且つ前記第2の光軸と前記位置合わ
せ軸との間に位置するように配置されている。
【0021】
本発明による実施形態では、カメラシステムは、前記局所領域の画像情報を生成するよ
うに前記カメラシステムに指示して前記画像情報を処理サーバに供給するように構成され
たカメラコントローラを備え得る。前記処理サーバは、前記画像情報を用いてコンテンツ
を生成する。生成された前記コンテンツは、3次元(3D)部分と複数の2次元(2D)
部分とを含む。前記3D部分は、前記複数の周辺カメラからの画像情報を用いて生成され
たコンテンツの部分に対応し、前記2D部分は、前記複数の軸カメラからの画像情報を用
いて生成されたコンテンツの部分に対応する。
【0022】
前記複数の軸カメラは、前記平面と前記位置合わせ軸との間にそれぞれの光軸が位置す
るように配置された第1のグループのカメラを含み得る。前記第1のグループのカメラの
全視野は前記局所領域の第2の部分を含み、第2の閾値距離よりも外側で前記局所領域の
第2の部分内の物体が前記第1のグループのカメラ内の少なくとも2つの軸カメラの視野
内に存在する。
【図面の簡単な説明】
【0023】
【
図1】一実施形態によるバーチャルリアリティシステム用の3D360度画像を生成するシステムの一実施形態を示す高レベルブロック図。
【
図2A】一実施形態による画像情報を取り込むカメラアセンブリの斜視図。
【
図2B】一実施形態による
図2Aに示されたカメラアセンブリの上面図。
【
図2C】一実施形態による
図2Aに示されたカメラアセンブリの側面図。
【
図2D】一実施形態による画像情報を取り込むカメラアセンブリの側面図。
【
図3】一実施形態によるカメラシステム内のモジュールの詳細を示す高レベルブロック図。
【
図4】一実施形態による画像情報から生成される3D360度コンテンツを示す図。
【
図5】一実施形態によるカメラシステム用のユーザインターフェースを示す図。
【発明を実施するための形態】
【0024】
添付の図は、例示を目的として本開示の実施形態を示しているにすぎない。当業者であ
れば、以下の説明から、本明細書に記載されている構造および方法の代替の実施形態を、
本明細書に記載された開示の原理または主張されている利益から逸脱することなしに使用
できることを容易に理解し得る。
【0025】
図1は、一実施形態によるバーチャルリアリティシステム用の3D360度画像を生成
するためのシステム100の一実施形態を示す高レベルブロック図である。システム10
0は、ユーザデバイス110をデータストア120、カメラシステム130、および処理
サーバ140に接続するネットワーク105を含む。
図1の実施形態では、ユーザデバイ
ス110が1つだけ示されているが、このエンティティの複数のインスタンスが存在し得
る。たとえば、ネットワーク105を介してデータストア120、カメラシステム130
、および処理サーバ140に結合された複数のユーザデバイス110が存在し得る。
【0026】
ネットワーク105は、ユーザデバイス110とデータストア120とカメラシステム
130と処理サーバ140との間の通信インフラストラクチャを提供する。ネットワーク
105は、典型的にはインターネットであるが、これらのみに限定されないが、ローカル
エリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、ワイド
エリアネットワーク(WAN)、モバイル有線もしくは無線ネットワーク、プライベート
ネットワーク、または仮想プライベートネットワークを含む任意のネットワークとするこ
とができる。
【0027】
ユーザデバイス110は、ユーザがカメラシステム130用のユーザインターフェース
を見ることを可能にするコンピュータプログラムモジュール、たとえばウェブ対応ブラウ
ザ150または他の任意のクライアントアプリケーションを実行するコンピューティング
デバイスである。ユーザデバイス110は、たとえばパーソナルコンピュータ、タブレッ
トコンピュータ、スマートフォン、ラップトップコンピュータ、または他のタイプのネッ
トワーク対応デバイスとすることができる。
【0028】
データストア120は、カメラシステム130および処理サーバ140からの画像情報
を記憶する。いくつかの実施形態では、データストア120は、クラウドベースのものと
することができ、ネットワーク105を介してカメラシステム130および処理サーバ1
40によってアクセスされる。データストア120は、カメラシステム130から直接、
画像情報を受信し記憶し得るか、または画像情報が処理された後で処理サーバ140から
画像情報を受信し記憶し得る。一実施形態では、データストア120は、処理サーバ14
0の一部である。別の実施形態では、データストア120は、サードパーティのストレー
ジプロバイダによって維持されるアーカイブである。
【0029】
カメラシステム130は、カメラシステム130の周囲における局所領域の取り込まれ
た画像および/またはオーディオ情報を使用して画像情報を生成する。カメラシステム1
30は、局所領域の360度ビューを取り込むように配置されたカメラのアセンブリを含
む。
図1の実施形態では、このアセンブリは、剛性の表面または構造に取り付けられた複
数のカメラを含む。複数のカメラの少なくとも一部分は、隣り合うカメラが局所領域のス
テレオ画像を生成し得るように配置されている。カメラシステム130の実施形態につい
ては、
図2A、
図2B、
図2C、
図2D、および
図3に関して以下で詳細に説明する。
【0030】
局所領域は、カメラシステム130の周囲の環境である。たとえば、局所領域はカメラ
システム130が存在する部屋であってもよく、またはカメラシステム130は屋外にあ
ってもよく、この場合、局所領域はカメラシステム130が見ることができる屋外領域で
ある。画像情報は、カメラシステム130によって出力される情報である。画像情報は、
たとえば1つまたは複数の画像、オーディオ情報(たとえば、1つまたは複数のマイクロ
フォンによって取り込まれる音)、動画情報、メタデータ、またはそれらの任意の組み合
わせを含み得る。メタデータは、画像情報に関連付けられた追加情報である。メタデータ
は、たとえばフレームレート、露出設定(たとえば、シャッタ速度、ゲインなど)、著作
権情報、日付/時間情報、カメラ識別子、名前、ラベル、画像情報に関連付けられた他の
任意の情報、またはそれらの任意の組み合わせを含み得る。カメラシステム130は、画
像情報をバッファし記憶するメモリストレージを含む。いくつかの実施形態では、カメラ
システム130は、外部データストアに(たとえば、任意の有線接続および/または無線
接続を介して)ローカルで結合され得る。いくつかの実施形態では、カメラシステム13
0は、ネットワーク105を介して画像情報を処理サーバ140に送るように構成される
。代替の実施形態では、カメラシステム130は、画像情報を処理し、高解像度で3D3
60度コンテンツを形成するように構成される。たとえば、3D360度コンテンツの動
画コンテンツは、たとえば4K、6K,8K解像度、またはカメラシステム130によっ
てサポートされる任意の他の解像度とすることができる。
【0031】
カメラシステム130は、局所領域の画像情報を取り込むためにユーザから命令を受信
する。たとえば、カメラシステム130は、ユーザがたとえばユーザデバイス110上の
ウェブ対応ブラウザ150を使用して、ネットワーク105を介してカメラシステム13
0を制御することを可能にするウェブサーバを含むことができる。カメラシステム130
は、カメラシステム130内の1つまたは複数のカメラからの情報を使用してグローバル
露出設定(たとえば、ゲイン、シャッタ速度、絞り)を決定し、そのグローバル露出設定
をカメラシステム130内のすべてのカメラに適用する。したがって、各カメラは、その
カメラに固有の露出計にかかわらず、グローバル露出設定を使用する。カメラシステム1
30は、グローバルシャッタを使用して画像情報の取り込みを同期し、グローバルシャッ
タは、カメラシステム130内のすべてのカメラを同時に露出させる(たとえば、グロー
バル露出設定を使用する)。したがって、1フレームにおける露出と時間の両方がすべて
の画像情報にわたって一貫したものになる。
【0032】
処理サーバ140は、画像情報を使用して3D360度コンテンツを生成する。3D3
60度コンテンツは、カメラシステム130の360度視野および奥行き情報を含むその
少なくとも一部分に関連付けられたメディアコンテンツであり、3次元(3D)でレンダ
リングされ得る。3D360度コンテンツは、たとえば画像、動画、オーディオ情報、ま
たはそれらの任意の組み合わせを含み得る。処理サーバ140は、高解像度の3D360
度コンテンツを生成し得る。たとえば、3D360度コンテンツの動画コンテンツは、た
とえば4K、6K、8K解像度、またはカメラシステム130によってサポートされる任
意の他の解像度とすることができる。たとえば、3D360度コンテンツは局所領域の動
画であってもよい。動画は、カメラシステム130で撮像された画像を合体した表現であ
り、周辺カメラで撮像された画像に対応する動画の3D部分でレンダリングされる。
【0033】
処理サーバ140は、カメラシステム130、データストア120、またはそれらの任
意の組み合わせから画像情報を受信する。処理サーバ140は、コンピュータ実装命令の
セットによって実施されるアルゴリズムで3D360度コンテンツを作成するように構成
される。このアルゴリズムは、同じ時間値(たとえば、同時に取り込まれたことをメタデ
ータが示す)に関連付けられた画像情報内で画像のセットを識別し、それらの画像を3D
360度コンテンツの単一のフレームに合体する。さらに、処理サーバ140は、異なる
時間に関連付けられた3D360度コンテンツの複数のフレームをともに結合することに
よって動画ファイルを生成し得る。3D360度コンテンツは、処理サーバ140によっ
て出力され、後でアクセスするためにデータストア120内に記憶することができる。
【0034】
システム100は、ユーザが局所領域の画像情報を取り込み、たとえばバーチャルリア
リティ(VR)環境または他の任意の環境(たとえば、拡張現実および/または複合現実
)で使用され得るその局所領域の3D360度コンテンツを構築可能とすることが有益で
ある。システム100は、剛性構造、同期動作、およびウェブベースのインターフェース
を有する。カメラシステム130の剛性は、各カメラが位置合わせされ較正された後、複
数のカメラが互いに対して動くのを防止し、3D360度コンテンツを構築するために画
像情報を処理し、画像をともに融合するのをより容易にする。複数のカメラの同時性は、
グローバル設定が各カメラに適用されることを可能にし、取り込まれる画像情報の品質を
改善し、これは構築される3D360度コンテンツの品質を改善する。ウェブベースのイ
ンターフェースは、ユーザが、システム100をセットアップし、取り込み画像情報をプ
レビューし、グローバル設定を適用し、画像情報を処理し、3D360度コンテンツにア
クセスし、それを使用または記憶するための使いやすさを提供する。
【0035】
図2Aは、一実施形態による、画像情報を取り込むためのカメラアセンブリ200の斜
視図を示す。いくつかの実施形態では、カメラアセンブリ200は、システム100内の
カメラアセンブリの一実施形態である。あるいは、カメラアセンブリ200は、他の任意
のシステムの一部であり得る。カメラアセンブリ200のいくつかの実施形態は、本明細
書に記載のものとは異なる構成要素を有する。また、本明細書に記載のものとは異なる形
態で、機能が構成要素間で分散されてもよい。
【0036】
下記により詳細に記載されているように、カメラアセンブリ200は、局所領域の取り
込み画像および/またはオーディオ情報を使用して画像情報を生成する。カメラアセンブ
リ200は、天板202と、底板204と、上部軸マウント206と、下部軸マウント2
08(図示略)と、複数の周辺カメラ210と、上部軸カメラ212および下部軸カメラ
214(図示略)を含む複数の軸カメラとを含む。天板202、底板204、上部軸マウ
ント206、下部軸マウント208(図示略)、上部軸カメラ212、および下部軸カメ
ラ214(図示略)は、位置合わせ軸216に沿って位置合わせされる。複数の周辺カメ
ラ210は、位置合わせ軸216と交差する中心点218の周りにリング状に配置される
。天板202は、リング状の周辺カメラ210の上面に結合され、底板204は、リング
状の周辺カメラ210の底面に結合される。このような構成は、周辺カメラ210の振動
および過熱を防止し、3D360度コンテンツ内の3Dコンテンツの部分を生成するため
に使用される高品質画像および/または動画を周辺カメラ210が取り込むことを可能に
する剛性構造を生み出す。
【0037】
天板202は、複数の周辺カメラ210および1つまたは複数の軸カメラ(たとえば、
上部軸カメラ212)を固定するように構成される。天板202は、上面220、底面2
22、および複数の固定機構224を含む。天板202は、剛性材料から構成され、実質
的に円盤形である。剛性材料は、たとえば金属(たとえば、アルミニウム、鋼など)や、
剛性プラスチックや、他の任意の剛性材料や、またはそれらの任意の組み合わせとするこ
とができる。上面220は、上部軸マウント206の中心が位置合わせ軸216に沿って
位置するように上部軸マウント206を天板202に結合する。天板202の周囲に沿っ
て、複数の固定機構224がある。各固定機構224は、周辺カメラ210を天板202
の底面222に固定するように構成される。たとえば、固定機構224は、天板202を
複数の周辺カメラ210に結合する機械的な締結具(たとえば、ねじ、ボルト)とするこ
とができる。
【0038】
底板204は、複数の周辺カメラ210および1つまたは複数の軸カメラ(たとえば、
下部軸カメラ214)を固定するように構成され、実質的に天板202と同様である。下
部軸カメラ214は
図2Aに示されておらず、
図2Cに軸カメラ214として示されてい
る。底板204は、上面226、底面228、および複数の固定機構224を含む。底板
204は、剛性材料から構成され、実質的に円盤形である。剛性材料は、たとえば金属(
たとえば、アルミニウム、鋼など)や、剛性プラスチックや、他の任意の剛性材料や、ま
たはそれらの任意の組み合わせとすることができる。底面228は、下部軸マウント20
8(
図2Aに図示せず)の中心が位置合わせ軸216に沿って位置するように下部軸マウ
ント208を底板204に結合するように構成される。底板204の周囲に沿って追加の
複数の固定機構224が設けられ、各固定機構224は、周辺カメラ210を底板204
の上面226に固定する。さらに、底面228は、カメラシステム130に立設支持また
は取付け支持および安定性をもたらす支持構造に結合するように構成される。支持構造は
、様々なマウント(たとえば、一脚、三脚、コドラントポッド(quadrantpod)、壁面取
付けなど)とすることができる。
【0039】
軸マウントは、天板202または底板204の表面に対して直角に軸カメラ(たとえば
、上部軸カメラ212または下部軸カメラ214)を固定するように構成される。軸マウ
ントは実質的に円筒形で、中が中空である。この構成は、軸カメラが天板202または底
板204の表面から垂直方向にオフセットすることを可能にし、軸カメラ212、214
および周辺カメラ210の視野があまり重なり合わないようにすることができる。軸カメ
ラに接続するワイヤが軸マウントの中空部分内に隠されてもよい。
図2Aの実施形態では
、上部軸マウント206は天板202の上面220に結合され、下部軸マウント208は
底板210の底面214に結合される。各軸マウントは、位置合わせ軸216に沿って位
置合わせされ、軸カメラに安定性をもたらす。
【0040】
複数の周辺カメラ210は、局所領域の360度ビューの画像および/または動画を取
り込むように構成される。複数の周辺カメラ210は、位置合わせ軸216と交差する中
心点218の周りにリング状に配置される。複数の周辺カメラ210は、各周辺カメラ2
10の光軸が1つの平面内に位置するとともに各周辺カメラ210の視野が中心点218
から見て外方を向くように、中心点218の周りに配置される。各周辺カメラ210は、
隣接する周辺カメラ210の隣に、ある距離で、またある角度で配置される。この構成は
、取り込まれた画像および/または動画が、3D360度コンテンツに処理された後で、
立体視(ステレオとも称される)部分を含むことを可能にする。いくつかの実施形態では
、距離は、人の目の間の瞳孔間距離を模す。この模擬瞳孔間距離は、隣り合う周辺カメラ
210の水平方向視野間の重なり合いの量に依存する。重なり合いの量は、樽型歪曲を補
正した後の各周辺カメラ210の水平方向視野に応じた量であり、且つリング形態の周辺
カメラ210の角度間隔または数に応じた量となる。たとえば、6.4cmより大きい瞳
孔間距離(これは、人の瞳孔間距離のおよそ中間値である)を模す実施形態は、均等に離
間された14個の周辺カメラからなり、各周辺カメラは樽型歪曲を補正した後で77度以
上の水平方向視野を有する。この構成は、取り込まれた画像および/または動画が視覚か
らの人の知覚を模すことを可能にする。周辺カメラ210の数は、様々であり得る。周辺
カメラ210の数は、天板202や底板204のサイズおよび/または周辺カメラ210
のそれぞれの視野に依存し得る。
図2Aの実施形態では、リング状に形成されて周囲の3
60度ビューを取り込む14個の周辺カメラ210が設けられている。他の実施形態では
、それよりも多いまたはそれよりも少ない周辺カメラ210が設けられ得る。
【0041】
周辺カメラ210は、センサ(図示略)、レンズ230、およびカメラコントローラ(
図示略)を含む。センサは、感光性ピクセルのアレイを使用して光を取り込む電気デバイ
スであり、各ピクセルは、光を電子信号に変換する。センサは、解像度、ピクセルサイズ
および感度、光感度、シャッタのタイプ、ならびに信号処理のタイプなど、様々な特徴を
有することができる。レンズ230は、光をセンサ上に集束するのを容易にするカメラの
1つまたは複数の光学要素である。レンズは、焦点および絞りなどを固定または可変とす
ることができる特徴を有し、様々な焦点距離を有し得るとともに、光学コーティングで覆
われ得る。いくつかの実施形態は、第1のレンズをカメラから取り外すことができ、第2
のレンズをカメラに結合することができるように、交換可能なレンズを有し得る。いくつ
かの実施形態では、周辺カメラ210は、オーディオ情報を取り込むマイクロフォンを有
し得る。マイクロフォンは、カメラ内に位置していてもよいし、またはカメラの外部に位
置していてもよい。
【0042】
カメラコントローラは、センサに入射する光に基づいてカメラのための露出設定(たと
えば、絞り、ゲイン、およびシャッタ)を決定することができる。いくつかの実施形態で
は、カメラコントローラは、主カメラとして機能する。すなわち、カメラコントローラは
、複数の他のカメラを制御する。他の実施形態では、カメラコントローラは、補助カメラ
として機能する。すなわち、カメラコントローラは、第2のカメラによって制御される。
周辺カメラ210が補助カメラとして機能する実施形態では、シャッタおよび露出設定が
主カメラによってグローバルに設定される。
図2Aの実施形態では、周辺カメラ210は
、小型のフォームファクタ、高解像度(たとえば、2048×2048)、高フレームレ
ート(たとえば、毎秒90フレーム)、1インチセンサ、およびレンズ用のCマウントな
ど、いくつかの特質を含む。約50~120度の範囲の視野は一般に広視野と呼ばれ、1
20度よりも大きな視野は一般に魚眼視野と呼ばれる。各周辺カメラ210の視野は、広
視野から魚眼視野までの範囲を取ることができる。たとえば、各周辺カメラ210の視野
は、50度~180度までの範囲を取り得る。
図2Aの実施形態では、レンズ230は、
赤外光を遮断する光学コーティング、f/2.4の絞り、カメラ用のCSマウント、なら
びに92度の水平方向および垂直方向視野を有する。レンズ230の有効視野は、樽型歪
曲を補正した後で77度である。他の実施形態では、周辺カメラ210の各々は、異なる
視野を有し得る。たとえば、周辺カメラ210の各々は、180度の視野(すなわち、魚
眼レンズ)を有し得る。極端に広い視野(すなわち、魚眼)は、3D360度コンテンツ
の立体視部分を生成するのに使用される周辺カメラの数を削減し得るが、画像情報がより
大量の歪みを含む傾向があるため、画像情報の処理がより困難になる。
【0043】
アダプタ232は、カメラアセンブリ200における市販構成要素の使用を可能にする
。アダプタ232は、第1の端部で周辺カメラ210のCマウントに固定し、第2の端部
でレンズ230のCSマウントに固定することによって、周辺カメラ210をレンズ23
0に結合するように構成される。
【0044】
さらに、各周辺カメラ210は、天板202と底板204との間に周辺カメラ210を
固定する複数の固定機構を含む。これらの固定機構は、固定機構224に対する相補的な
ものであり、天板202の底面222および底板204の上面220に周辺カメラ210
を結合可能とする。
図2Aの実施形態では、周辺カメラ210の各々は、レンズ230が
中心点218から半径方向外向きを向くように配置される。周辺カメラ210は、バッテ
リ駆動式であってもよいし、ケーブルおよびケーブルインターフェース(たとえば、ユニ
バーサルシリアルバス(USB)インターフェース)を介して給電されてもよいし、また
はそれらの任意の組み合わせであってもよい。さらに、いくつかの実施形態では、カメラ
アセンブリ200の剛性および安定性を増大させるために、天板202と底板204との
間に取り付けられる支持構造が設けられてもよい。支持構造は、支柱、支持ブロック、ま
たはそれらの任意の組み合わせとすることができる。
【0045】
複数の軸カメラは、局所領域の上部ビューおよび下部ビューの画像および/または動画
を取り込むように構成される。軸カメラは、上部軸カメラ212および下部軸カメラ21
4(
図2Cに図示)を含み、これらのカメラは、それらのそれぞれの軸マウント206、
208に固定され、各軸カメラ212、214の光軸が位置合わせ軸216と同一直線上
にあるように上部軸カメラ212と下部軸カメラ214がともに位置合わせ軸216に沿
って位置合わせされるように配置される。上部軸カメラ212の視野および下部軸カメラ
214の視野は、カメラアセンブリ200の中心点218から見て外方に向けられる。
【0046】
上部軸カメラ212は、局所領域の一部分の上部ビューを提供し、一方、下部軸カメラ
214(
図2Cに示されている)は、局所領域の異なる部分の下部ビューを提供する。前
述のように、上部および下部軸カメラ212、214は、視野間の重なり合いを制限する
ように、周辺カメラ210に対して垂直方向にオフセットされる。軸カメラの数および向
きは、様々であり得る。
図2Aの実施形態では、局所領域の上部ビューおよび下部ビュー
を取り込む2つの軸カメラがある。代替の実施形態では(たとえば、
図2Dに関連して説
明されるように)、カメラアセンブリ200は、2つの下部軸カメラを含み、これらは、
第1の下部軸カメラの視野と第2の下部軸カメラの視野が、3D360度コンテンツにお
ける遮断物(occlusion)としてのカメラアセンブリ200を支持するマウントを除去す
るのに十分な重なり合いを有するように配置される。他の実施形態では、軸カメラの配置
により半球がカバーされ、球状の視野がもたらされるように、天板202および底板20
4が各々、複数の軸カメラを固定してもよい。
【0047】
軸カメラは、センサ(図示略)、レンズ234、およびカメラコントローラ(図示略)
を含む。センサは、感光性ピクセルのアレイを使用して光を取り込む電気デバイスであり
、各ピクセルは、光を電子信号に変換する。センサは、解像度、ピクセルサイズおよび感
度、光感度、シャッタのタイプ、ならびに信号処理のタイプなど、様々な特徴を有するこ
とができる。レンズ234は、光をセンサ上に集束するのを容易にするカメラの1つまた
は複数の光学要素を含む。レンズは、焦点および絞りなどを固定または可変とすることが
できる特徴を有し、様々な焦点距離を有し得るとともに、光学コーティングで覆われ得る
。いくつかの実施形態は、第1のレンズをカメラから取り外すことができ、第2のレンズ
をカメラに結合することができるように、交換可能なレンズを有し得る。いくつかの実施
形態では、軸カメラは、オーディオ情報を取り込むマイクロフォンを有し得る。マイクロ
フォンは、カメラ内に位置していてもよいし、またはカメラの外部に位置していてもよい
。
【0048】
カメラコントローラは、カメラの露出設定(たとえば、絞り、ゲイン、およびシャッタ
)を決定することが可能であり、フレームレートを制御する。いくつかの実施形態では、
カメラコントローラは主カメラとして機能する。すなわち、カメラコントローラは複数の
他のカメラを制御する。他の実施形態では、カメラコントローラは補助カメラとして機能
する。すなわち、カメラコントローラは、第2のカメラによって制御される。軸カメラが
補助カメラとして機能する実施形態では、シャッタおよび露出設定が主カメラによってグ
ローバルに設定される。
図2Aの実施形態では、軸カメラは、小型のフォームファクタ、
高解像度(たとえば、2048×2048)、高フレームレート(たとえば、毎秒90フ
レーム)、1インチセンサ、およびレンズ用のCマウントなど、いくつかの特質を含む。
各軸カメラの視野(FOV)は、120~185度の間に及び得る。代替の実施形態では
、軸カメラのFOVは、120度未満または185度超であり得る。最低でも、軸カメラ
のFOVは、周辺カメラ210によって残される穴をカバーするのに十分なほど大きなも
のでなければならない。たとえば、周辺カメラ210がx度の垂直方向FOVを有する場
合、カバー範囲内の穴を撮像するために、軸カメラは、2*(90-x)度のFOVを有
するべきである。いくつかの実施形態では、3D360度コンテンツにおいて軸カメラに
よる画像情報に対応する部分から周辺カメラ210による画像情報に対応する部分への滑
らかな移行を可能とするのに十分な重なり合いを確保するために、より大きなFOVが使
用され得る。
【0049】
図2Aの実施形態では、レンズ234は、赤外光を遮断する光学コーティング、f/1
.8~16の絞り、カメラ用のCマウント、ならびに185度の水平方向および垂直方向
視野を有する。軸カメラは、バッテリ駆動式であってもよいし、ケーブルおよびケーブル
インターフェース(たとえば、USBインターフェース)を介して給電されてもよいし、
またはそれらの任意の組み合わせであってもよい。
【0050】
カメラアセンブリ200は、局所領域の360度を見るように配置される複数の周辺カ
メラ210および軸カメラを使用して画像情報を取り込む。カメラアセンブリ200の設
定は、ユーザが遠隔でプレビューし修正することができる。画像情報は、データストア1
20に、または3D360度コンテンツを生成するために処理サーバ140に送ることが
できる。
【0051】
図2Bは、一実施形態による、
図2Aに示されているカメラアセンブリ200の上面図
を示す。
図2Bは、周辺カメラ210の構成を示し、3つの周辺カメラ210a、210
b、210cによって見えるそれぞれ視野236、視野238、視野240を強調する。
局所領域内の物体242および物体244が、周辺カメラ210a、210b、210c
によって見える。
図2Bにおける図は、参照のために使用され、実際の寸法通りに示され
ていないことがある。
【0052】
図2Aに関して説明したように、複数の周辺カメラ210は、中心点218の周りにリ
ング状に配置され、レンズ230が位置合わせ軸216と交差する中心点218から見て
外方を向くように配置される。各周辺カメラ210は、ある間隔距離にて、隣接する周辺
カメラ210から分離される。間隔距離は、隣り合う周辺カメラ210のセンサ間の距離
である。いくつかの実施形態では、間隔距離は、人の目の瞳孔間距離とほぼ同じである。
この構成は、局所領域の撮像された部分を人がどのように知覚するかを、取り込まれた画
像および/または動画が模すことを可能にする。
【0053】
複数の周辺カメラ210はリング形態に配置され、したがって、各カメラは、隣り合う
カメラに対してわずかな角度θ
1にある。たとえば、いくつかの実施形態では、角度θ
1
は25.71度であり、これは、周辺カメラ210の視野間の有意な重なり合いを可能に
する。角度θ
1および各周辺カメラ210の視野は、周辺カメラ210で撮像される局所
領域内の物体を少なくとも2つの周辺カメラ210によって見ることができるように構成
される。
図2Bに示されているように、周辺カメラ210a、210b、210cについ
てそれぞれの視野236、238、240は閾値距離で重なり合い始め、重なり合う視野
は、網掛け領域によって表されている。
図2Bの実施形態では、各周辺カメラ210は、
77度であるθ
2の視野を有する。視野236、238、240間の領域は、物体が周辺
カメラ210によって見えない盲点領域246である。
【0054】
閾値距離は、局所領域内の物体を少なくとも2つの周辺カメラ210によって見ること
ができる距離である。閾値距離は、θ1のサイズに応じて、局所領域にわたって変わる。
たとえば、物体242は、中心点218から第1の距離にあり、3つの周辺カメラ210
a、210b、210cによって見ることができるが、物体244は、第1の距離より小
さい第2の距離に位置し、周辺カメラ210aおよび周辺カメラ210b両方の視野内に
ある。周辺カメラ210および軸カメラは、閾値距離を超える環境内のあらゆる物体を少
なくとも2つの周辺カメラ210によって見ることができるように配置される。この構成
により、カメラアセンブリ200は、複数の角度から局所領域内の物体を見ること、およ
び有意な重なり合いを有する画像情報を取り込むことができ、システム100が高品質の
3D360度画像および/または動画を再構築することが可能になる。
【0055】
図2Cは、一実施形態による、
図2Aに示されているカメラアセンブリ200の側面図
を示す。
図2Aの実施形態に関して記載されているように、レンズ234は、広角θ
3の
視野を有する魚眼レンズである。
図2Cの実施形態では、角度θ
3は185度であり、こ
れは他の実施形態では様々なものとすることができる。レンズ234は、環境の上部領域
および下部領域の広いカバー範囲を有し、周辺カメラ210の視野との十分な重なり合い
を提供するように構成され、その結果、高品質の3D360度画像を作成することができ
る。いくつかの実施形態では、表面248は、テーブル上に載るための、またはカメラマ
ウントまたはスタンドに結合するための、カメラアセンブリ200用の支持構造とするこ
とができる。
【0056】
図2Dは、一実施形態による、画像情報を取り込むカメラアセンブリ250の側面図を
示す。いくつかの実施形態では、カメラアセンブリ250は、システム100内のカメラ
アセンブリ130の一実施形態である。あるいは、カメラアセンブリ250は、他の任意
のシステムの一部であり得る。カメラアセンブリ250のいくつかの実施形態は、本明細
書に記載のものとは異なる構成要素を有する。また、本明細書に記載のものとは異なる形
態で、機能が構成要素間で分散されてもよい。
【0057】
カメラアセンブリ250は、カメラアセンブリ250がマウント255および2つの下
部軸カメラ260、265を含むことを除いて、カメラアセンブリ200と実質的に同じ
である。マウント255は、カメラアセンブリ250を支持する。マウント255は、支
持体270およびプラットフォーム275を含む。支持体270は、カメラアセンブリ2
50の荷重を、安定した状態(すなわち、最小の振動)でプラットフォーム275に伝達
する。この実施形態では、支持体270は、プラットフォーム275をカメラアセンブリ
250に結合する単一の棒材である。他の実施形態では、支持体270は、複数の棒材、
またはプラットフォーム275からカメラアセンブリ250までの他の支持手段を含み得
る。支持体270は、たとえば木材、金属、プラスチックなどから構成され得る。
【0058】
プラットフォーム275は、支持体270およびカメラアセンブリ250のための安定
した基礎である。この実施形態では、プラットフォーム275は、互いに離隔された単純
な3本脚である。プラットフォーム275は、たとえば木材、金属、プラスチックなどか
ら構成され得る。代替の実施形態では、他のマウントが使用され得る。
【0059】
下部軸カメラ260、265は、下部軸カメラ214と実質的に同じである。下部軸カメラ260、265は、下部軸カメラ260の視野と下部軸カメラ265の視野が、3D360度コンテンツにおける遮断物としてのマウント255の一部または全部(たとえば、支持体270の一部分)を除去するのに十分な重なり合いを有するように配置される。
【0060】
図3は、一実施形態による、カメラシステム130内のモジュールの詳細を示す高レベ
ルブロック図である。カメラシステム130のいくつかの実施形態は、本明細書に記載の
ものとは異なる構成要素を有する。また、本明細書に記載のものとは異なる形態で、機能
がモジュール間で分散されてもよい。カメラシステム130は、カメラアセンブリ310
、データストア320、ウェブサーバ330、ユーザインターフェース340、およびカ
メラコントローラ350を含むモジュールから構成される。
【0061】
カメラアセンブリ310は、局所領域の360度を見るように配置される複数のカメラ
を使用して画像情報を取り込む。いくつかの実施形態では、カメラアセンブリ310は、
カメラアセンブリ200の一実施形態である。あるいは、カメラアセンブリ310は、3
60度をカバーし、少なくともその一部分がステレオで取り込まれる複数の画像を取り込
むように構成された任意の他のカメラアセンブリとすることができる。画像情報は、たと
えば1つまたは複数の画像、オーディオ情報、動画情報、メタデータ、またはそれらの任
意の組み合わせを含み得る。画像情報は、画像(たとえば「.jpeg」や「.tif」や「.png
」など)、オーディオ(たとえば「.aac」や「.mp3」や「.wav」など)、および/または
動画(たとえば「.mpg」や「.mov」や「.wmv」など)を様々なファイルフォーマットで取
り込むことができる。カメラアセンブリ310は、カメラコントローラ350からの命令
に応答して画像情報を取り込む。いくつかの実施形態では、カメラアセンブリ310は、
各周辺カメラ210および軸カメラから取り込まれた画像情報が確実に一貫したものであ
るようにし、均一な、自然に見える3D360度コンテンツの構築を可能にする。カメラ
アセンブリ310は、画像情報の一部または全部を取り込み、たとえばユーザインターフ
ェース340、データストア320、処理サーバ130、データストア120、またはそ
れらの任意の組み合わせに送る。
【0062】
カメラシステム130のデータストア320は、画像情報を記憶するローカルのメモリ
ストレージである。データストア320は、カメラアセンブリ310から画像情報を受信
し記憶する。いくつかの実施形態では、データストア320は、たとえば外部データスト
ア(たとえば、データストア120)、処理サーバ(たとえば、処理サーバ130)、ま
たはそれらの任意の組み合わせに画像情報をアップロードし得る。いくつかの実施形態で
は、データストア320は、バッファとして機能する。たとえば、カメラシステム130
は、外部データストアおよび/または処理サーバへのアップロードレートを超えるレート
で画像情報を生成し得る。したがって、データストア320は、外部データストアおよび
/または処理サーバへアップロードレートが確実に超えないように画像情報を一時的にバ
ッファし得る。
【0063】
ウェブサーバ330は、カメラシステム130のネットワーク105のインターフェー
スとして機能する。ウェブサーバ330は、ネットワーク105を通じてカメラアセンブ
リ310からユーザデバイス110、処理サーバ140、他の任意のエンティティ、また
はそれらの任意の組み合わせにデータを転送する。いくつかの実施形態では、カメラアセ
ンブリ310は、有線インターフェース(たとえば、USB)を使用してデータをウェブ
サーバ330に転送し得る。データは、圧縮することも非圧縮とすることもできる。
【0064】
ユーザインターフェース340は、ユーザがカメラシステム130とインターフェース
することを可能にする。いくつかの実施形態では、ユーザインターフェース340は、グ
ラフィカルユーザインターフェース(GUI)である。例示的なユーザインターフェース
について、
図5に関して下記に詳細に記載されている。ユーザインターフェース340は
、ユーザがカメラアセンブリ310によって取り込まれたデータをプレビューし、カメラ
アセンブリ310の設定を制御することを可能にする。いくつかの実施形態では、ユーザ
インターフェース340は、モバイルフォン、タブレット、PCなど、またはネットワー
ク接続を有する任意の他のデバイスのネットワーク接続を通じてアクセスされ得る。代替
の実施形態では、ユーザインターフェース340は、カメラアセンブリ310に直接結合
されるディスプレイおよび1つまたは複数の入力/出力デバイス(たとえば、マウス、キ
ーボード)を含み得る。
【0065】
カメラコントローラ350は、カメラアセンブリ310の動作を制御するように構成さ
れる。
図3の実施形態では、カメラアセンブリ310は、1つのカメラを主カメラとして
機能させ、追加のカメラを補助カメラとして機能させるように構成される。主カメラは、
カメラコントローラが複数の他のカメラのマスタとして機能させるカメラである。補助カ
メラは、カメラコントローラがマスタカメラのスレーブとして機能させるカメラである。
主カメラは、任意の周辺カメラ210または軸カメラとすることができ、
図3の実施形態
では、主カメラは、天板202に結合された上部軸カメラ212である。
【0066】
カメラコントローラ350は、カメラアセンブリ310内のカメラのための露出設定を
制御する。カメラの露出は、カメラによって取り込まれたとき画像がいかに明るく、また
は暗く見えることになるかを決定する。露出設定は、たとえば、絞りサイズ、シャッタ速
度、ゲイン、またはそれらの任意の組み合わせを含み得る。絞りサイズは、センサに到達
する光の量を制御する。シャッタ速度は、センサが光にさらされる時間の長さである。ゲ
インは、光に対するセンサの感度である。いくつかの実施形態では、カメラコントローラ
350は、カメラアセンブリ310内のカメラのそれぞれのための露出設定を決定するよ
うにカメラアセンブリ310に指示する。カメラコントローラ350は、決定された露出
設定を使用してグローバル露出設定を決定し、カメラアセンブリ310内のすべてのカメ
ラにグローバル露出設定を提供する。グローバル露出設定は、カメラアセンブリ310内
のすべてのカメラに適用される単一の露出設定である。
【0067】
代替の実施形態では、カメラコントローラ350は、主カメラにその露出設定を決定す
るように指示し、次いで、決定された露出設定をグローバル露出設定として設定し、カメ
ラアセンブリ310内のすべてのカメラにグローバル露出設定を提供する。グローバル露
出設定は、複数の周辺カメラ210および軸カメラのすべてにわたって均一な露出を提供
する。グローバル露出設定がない場合、カメラアセンブリ310内の各カメラは、異なる
露出設定で画像情報を取り込むことで、いくつかの画像は他の画像よりも明るく見えたり
または暗く見えたりし得る。これは、3D360度コンテンツを構築するために画像同士
がともにステッチングされたとき個々の画像間の非一貫性を生み出し得る。均一な露出は
、3D360度コンテンツにおける自然に見える画像および/または動画を生み出す助け
となる。
【0068】
カメラコントローラ350は、カメラアセンブリ310のグローバルシャッタを制御す
る。グローバルシャッタは、カメラアセンブリ310内の各カメラのシャッタをリンクさ
せ、その結果、各シャッタは同時に開き(すなわち、互いに1ミリ秒未満内)、カメラア
センブリ310が同期画像情報を取り込むことを可能にする。カメラコントローラ350
は、マスタトリガ信号をカメラアセンブリ310内の補助カメラへ提供するように主カメ
ラに指示し得る。マスタトリガ信号は、各補助カメラのシャッタに主カメラのシャッタと
同時に開くように指令する。カメラアセンブリ310内の周辺カメラ210および軸カメ
ラは、データが確実に同期して取り込まれるようにジェネレータロッキングケーブル(た
とえば、USB3.0ジェネレータロッキングケーブル)で接続され得る。同期画像情報
を取り込むことにより、個々の画像が確実に合致し、処理サーバ140によって正確にス
テッチングして3D360度コンテンツを構築することができる。
【0069】
図4は、一実施形態による、画像情報から生成される3D360度コンテンツを示す。
図4の実施形態では、3D360度コンテンツは、個々の画像フレーム402~430を
使用して生成された構築後画像400である。個々の画像フレーム402~430は、処
理サーバ140によって処理され、フレーム402~430から生成された画像の一部分
について3Dである360度画像を形成するように構築されている。
【0070】
フレーム402~428は、複数の周辺カメラ210によって取り込まれており、個々
のフレームは、1つの周辺カメラ210によって取り込まれる。各フレーム402~42
8は、局所領域の2次元(2D)部分を含む。複数の2D視点から局所領域を取り込んだ
画像を単一の画像に組み合わせることにより、画像内の物体が3Dに見える。フレーム4
02~428など、局所領域の360度ビューでカメラアセンブリによって取り込まれた
個々のフレームが組み合わされたとき、局所領域の3D360度ビューを示す構築後画像
400が得られる。各フレーム402~430は、
図4に示されているように、それぞれ
の隣り合うフレームと重なり合う領域を含む。フレーム402~428の重なり合う領域
は、
図2Bに関して記載されているように、周辺カメラ210の視野の重なり合いに起因
する。これらの重なり合う領域は、処理サーバ140がフレーム402~428をバーチ
ャルリアリティシステムのための360度画像にシームレスかつ正確に構築することを可
能にする。
【0071】
同様に、フレーム429、430は、複数の軸カメラによって取り込まれ、個々のフレ
ームは1つの軸カメラによって取り込まれる。
図4の実施形態では、フレーム429は、
上部軸カメラ212によって取り込まれ、フレーム430は、下部軸カメラ214によっ
て取り込まれる。各フレーム429、430は、周辺カメラ210によって取り込まれた
フレーム402~428と重なり合う領域を含み、局所領域の上部ビューおよび下部ビュ
ーを提供する。フレーム429、430の重なり合う領域は、軸カメラの視野の、周辺カ
メラ210との重なり合いに起因する。これらの重なり合う領域は、処理サーバ140が
フレーム429、430とフレーム402~428とをバーチャルリアリティシステムの
ための360度画像にシームレスかつ正確に組み合わせることを可能にする。
【0072】
さらに、
図4の実施形態では、各フレーム402~430は、処理サーバ140が個々
のフレーム402~430から構築後画像400を作成することを可能にするメタデータ
を含む。
図1に関して記載されているように、メタデータは、たとえば、フレームレート
、露出設定(たとえば、シャッタ速度、ゲインなど)、著作権情報、日付/時間情報、カ
メラ識別子、名前、ラベル、画像情報に関連付けられた任意の他の情報、またはそれらの
任意の組み合わせを含み得る。たとえば、一実施形態では、構築後画像400を作成する
ために、処理サーバ140は、各フレームのための日付/時間情報を使用し、適切なフレ
ームが組み合わされていることを確認し得る。別の実施形態では、処理サーバ140は、
フレーム同士が確実に正しい順序で組み合わされるようにするためにカメラ識別子情報を
使用し得る。各フレーム402~428とともに含まれるメタデータは、バーチャルリア
リティシステムのための360度画像を作成するために個々のフレームが確実に正しく組
み合わされるようにする。
【0073】
図5は、一実施形態による、カメラシステム130用のユーザインターフェース500
を示す。ユーザインターフェース500は、たとえばユーザインターフェース340であ
り得る。ユーザインターフェース500は、ユーザがカメラシステム130を制御するこ
とを可能にする。ユーザインターフェース500は、露出コントロール510、ファイル
タイプコントロール520、起動コントロール530、およびプレビューエリア540を
含む。
【0074】
露出コントロール510は、ユーザがカメラアセンブリ310の露出設定を制御および
調整することを可能にする。露出コントロール510は、明るさ、絞り、シャッタ、およ
びゲイン設定を含み得る。いくつかの実施形態では、露出設定は、カメラアセンブリ31
0内の主カメラから決定され得るか、またはカメラアセンブリ310内のすべてのカメラ
から決定され得る。決定された設定は、ユーザが露出コントロール510を使用して調整
することができる初期設定として働き得る。露出コントロール510が所望の設定に調整
された後で、それらの所望の設定をカメラアセンブリ310内の各カメラに提供すること
ができる。
【0075】
ファイルタイプコントロール520は、画像情報が取り込まれるフォーマットをユーザ
が制御することを可能にする。ファイルタイプコントロール520は、画像(たとえば「
.jpeg」や「.tif」や「.png」など)、オーディオ(たとえば「.aac」や「.mp3」や「.wa
v」など)、および/または動画(たとえば「.mpg」や「.mov」や「.wmv」など)のため
の様々なファイルタイプを含み得る。いくつかの実施形態は、ユーザが画像情報の個々の
各タイプについてファイルタイプを制御することを可能にし得る。
【0076】
起動コントロール530は、ユーザがカメラアセンブリ310の動作を制御することを
可能にする。起動コントロール530は、これらのみに限定されないが、カメラシステム
130の機能の中でもとりわけ、カメラアセンブリ310の電源をオンオフする、画像情
報を取り込むためにカメラアセンブリ310を起動する、カメラアセンブリ310の設定
をリセットする、取り込み画像情報の処理を開始または停止するために処理サーバ140
を起動するなどの機能を任意で含み得る。
【0077】
プレビューエリア540は、カメラアセンブリ310のカメラによって取り込まれた画
像情報から構築された画像をユーザがプレビューすることを可能にする。プレビューエリ
ア540は、ユーザがカメラアセンブリ310の所望の露出設定および/または局所領域
内のカメラアセンブリ310の所望の配置を決定する助けとなる。プレビューエリア54
0は、バーチャルリアリティシステムのための所望の3D360度コンテンツを構築する
ためにカメラアセンブリ310が確実に画像情報を取り込んでいるようにする。
【0078】
いくつかの実施形態では、ユーザインターフェース340は、ユーザが処理サーバ14
0を制御し、データストア120にアクセスし、データストア320にアクセスすること
をも可能にする。
図5の実施形態では、ユーザインターフェース340は、設定(たとえ
ば、明るさ、露出、シャッタ、ゲインなど)、画像プレビュー、および画像プレビューに
関連付けられたメタデータを含む。これらの設定は、ユーザによって修正されてもよく、
これらの設定は、カメラコントローラ350に送られ、カメラコントローラ350は、カ
メラアセンブリ310に指令し、カメラ設定を周辺カメラ210および軸カメラにグロー
バルに実装する。ユーザインターフェース340は、ネットワーク105とのネットワー
ク接続を有する任意のデバイス上でアクセスされ得る。
【0079】
[追加の構成情報]
本開示の実施形態の上記の説明は例示のために提示されており、網羅的であることも、
開示されているその形態に本開示を限定することも意図されていない。当業者であれば、
上記の開示に照らして多数の変更および変形が可能であることを理解し得る。
【0080】
この説明の一部分は、本開示の実施形態について、情報に対する動作のアルゴリズムお
よび記号表現の観点で記載している。これらのアルゴリズム説明および表現は、一般に、
データ処理技術における当業者によって、それぞれの仕事の内容を他の当業者に効率的に
伝えるために使用される。これらの動作は機能的、コンピュータ的、または論理的に記載
されるが、コンピュータプログラム、または等価の電気回路、マイクロコードなどによっ
て実装されることが理解される。さらに、動作のこれらの構成を、一般性を失うことなく
モジュールとすることが好都合であり得ることも判明している。記載の動作およびそれら
の関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、または
それらの任意の組み合わせで実施され得る。
【0081】
本明細書に記載のステップ、動作、または方法はいずれも、1つまたは複数のハードウ
ェアまたはソフトウェアモジュールにより、単独でまたは他のデバイスとの組み合わせで
実施または実装され得る。一実施形態では、ソフトウェアモジュールは、コンピュータプ
ログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で実装
され、コンピュータプログラムコードは、本明細書に記載のステップ、動作、または方法
のいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行すること
ができる。
【0082】
本開示の実施形態は、本明細書の動作を実行するための装置にも関連し得る。この装置
は、要求される目的のために特別に構築され得る、および/またはコンピュータ内に記憶
されたコンピュータプログラムによって選択的に起動もしくは再構成される汎用コンピュ
ーティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的な有形
のコンピュータ可読記憶媒体、または電子命令を記憶するのに適しコンピュータシステム
バスに結合され得る任意のタイプの媒体に記憶され得る。さらに、本明細書において参照
される任意のコンピューティングシステムは、単一のプロセッサを含み得るかまたはコン
ピューティング能力を高めるために複数のプロセッサ設計を使用するアーキテクチャであ
り得る。
【0083】
本開示の実施形態は、本明細書に記載のコンピューティング方法によって作り出される
製品にも関連し得る。そのような製品は、コンピューティング方法から得られる情報を備
え得る。その情報は、非一時的な有形のコンピュータ可読記憶媒体に記憶され、コンピュ
ータプログラム製品の任意の実施形態または本明細書に記載の他のデータの組み合わせを
含み得る。
【0084】
本明細書において使用される文言は、主に読みやすさ、および説明のために選択されて
おり、本発明の主題を描写する、または制限するために選択されていない。したがって、
本開示の範囲は詳細な説明によっては限定されず、本明細書に基づく出願に由来する特許
請求の範囲によって限定されることが意図されている。したがって、実施形態の開示は、
添付の特許請求の範囲に記載されている本開示の範囲を例示するものであることが意図さ
れており、それを限定するものではない。