特許第6557410号(P6557410)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ノキア テクノロジーズ オーユーの特許一覧

<>
  • 特許6557410-ビデオコンテンツの選択 図000004
  • 特許6557410-ビデオコンテンツの選択 図000005
  • 特許6557410-ビデオコンテンツの選択 図000006
  • 特許6557410-ビデオコンテンツの選択 図000007
  • 特許6557410-ビデオコンテンツの選択 図000008
  • 特許6557410-ビデオコンテンツの選択 図000009
  • 特許6557410-ビデオコンテンツの選択 図000010
  • 特許6557410-ビデオコンテンツの選択 図000011
  • 特許6557410-ビデオコンテンツの選択 図000012
  • 特許6557410-ビデオコンテンツの選択 図000013
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6557410
(24)【登録日】2019年7月19日
(45)【発行日】2019年8月7日
(54)【発明の名称】ビデオコンテンツの選択
(51)【国際特許分類】
   H04N 5/232 20060101AFI20190729BHJP
   H04N 21/2187 20110101ALI20190729BHJP
   H04N 21/239 20110101ALI20190729BHJP
   H04N 5/225 20060101ALI20190729BHJP
   H04N 5/247 20060101ALI20190729BHJP
   G03B 15/00 20060101ALI20190729BHJP
   G03B 17/24 20060101ALI20190729BHJP
【FI】
   H04N5/232
   H04N21/2187
   H04N21/239
   H04N5/225 800
   H04N5/232 300
   H04N5/247
   G03B15/00 U
   G03B15/00 W
   G03B17/24
【請求項の数】17
【全頁数】19
(21)【出願番号】特願2018-515483(P2018-515483)
(86)(22)【出願日】2015年9月23日
(65)【公表番号】特表2018-534826(P2018-534826A)
(43)【公表日】2018年11月22日
(86)【国際出願番号】FI2015050633
(87)【国際公開番号】WO2017051063
(87)【国際公開日】20170330
【審査請求日】2018年4月18日
(73)【特許権者】
【識別番号】315002955
【氏名又は名称】ノキア テクノロジーズ オーユー
(74)【代理人】
【識別番号】100127188
【弁理士】
【氏名又は名称】川守田 光紀
(72)【発明者】
【氏名】サロカンネル ユッハ
(72)【発明者】
【氏名】レウナマキ ユッカ
【審査官】 ▲徳▼田 賢二
(56)【参考文献】
【文献】 特開2008−306604(JP,A)
【文献】 特開2015−80186(JP,A)
【文献】 米国特許第8665333(US,B1)
【文献】 米国特許出願公開第2013/0002879(US,A1)
【文献】 何 書勉 Shumian HE,複数のカメラを用いた映像データベースにおける位置情報等を用いた映像の再構成機能 Reorganizing Video Data using Location Information on a Video Database System with Multiple Cameras,第14回データ工学ワークショップ(DEWS2003)論文集 [online],日本,電子情報通信学会データ工学研究専門委員会
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/232
G03B 15/00
G03B 17/24
H04N 5/225
H04N 5/247
H04N 21/2187
H04N 21/239
(57)【特許請求の範囲】
【請求項1】
ポジショニングタグのユーザ選択を検出することと;
選択されたタグに関連する方向情報及びタイムスタンプを読み出すことと;
前記選択されたタグに関連する方向情報を、記録エリアからビデオコンテンツをキャプチャするように構成されるカメラ配列の方向情報と比較することと;
前記記録エリアからビデオコンテンツをキャプチャするように構成される前記カメラ配列の1つ以上のカメラによってキャプチャされたビデオコンテンツを特定することと;
前記1つ以上のカメラから取得した前記特定されたビデオコンテンツを、表示用に選択することと;
を含み、ただし前記特定することは、前記選択されたタグに関連するタイムスタンプ情報に関する期間にわたって前記選択されたタグの位置と関係する前記記録エリアのセクションから、前記1つ以上のカメラがビデオコンテンツをキャプチャしていた場合に行われる、方法。
【請求項2】
前記キャプチャされたビデオコンテンツの前記選択された部分は、前記タグが位置していることが決定されるエリアをカバーするように配置されたカメラから取得されたビデオコンテンツを含む、請求項1に記載の方法。
【請求項3】
前記キャプチャされたビデオコンテンツの前記選択された部分は、前記タグが位置していることが決定されるエリアをカバーするように配置されたカメラに隣接するカメラから取得されたビデオコンテンツを含む、請求項1又は2に記載の方法。
【請求項4】
前記キャプチャされたビデオコンテンツの前記選択された部分に割り当てられるビットレートを増やすことをさらに含む、請求項1から3の何れかに記載の方法。
【請求項5】
前記キャプチャされたビデオコンテンツの残り部分に割り当てられるビットレートを減らすことをさらに含む、請求項4に記載の方法。
【請求項6】
前記方向情報及び前記タイムスタンプ情報は、前記キャプチャされたビデオコンテンツとは別のファイルに保存される、請求項1から5の何れかに記載の方法。
【請求項7】
1つ以上のカメラを特定することは、1つ以上の立体画像用カメラのペアを特定することを含む、請求項1から6の何れかに記載の方法。
【請求項8】
記録デバイス、再生デバイス、リモートサーバのうちの何れか1つから、前記選択されたビデオコンテンツを読み出すことをさらに含む、請求項1から7の何れかに記載の方法。
【請求項9】
前記1つ以上の特定のカメラから取得したビデオコンテンツを含む前記キャプチャされたビデオコンテンツの一部を表示させることをさらに含む、請求項1から8の何れかに記載の方法。
【請求項10】
前記ポジショニングタグのユーザ選択を検出することは、複数のポジショニングタグのユーザ選択を検出することを含む、請求項1から9の何れかに記載の方法。
【請求項11】
前記複数のポジショニングタグに対応する前記カメラから取得されたビデオコンテンツを含む前記キャプチャされたビデオコンテンツの一部を分割スクリーンフォーマットで表示させることをさらに含む、請求項10に記載の方法。
【請求項12】
各カメラでキャプチャされた前記ビデオコンテンツは、複合的なデータファイルの一部又は個別ファイルとしてキャプチャされる、請求項1から11の何れかに記載の方法。
【請求項13】
前記方向情報は方位角情報を含む、請求項1から12の何れかに記載の方法。
【請求項14】
前記方向情報は仰角情報を含む、請求項1から13の何れかに記載の方法。
【請求項15】
コンピューティング装置の処理手段で実行されたときに、前記コンピューティング装置に、請求項1から14の何れかに記載の方法を遂行させる命令を含む、コンピュータプログラム。
【請求項16】
処理手段及び記憶手段を備える装置であって、前記記憶手段はプログラム命令を格納し、前記プログラム命令は前記処理手段で実行されると、前記装置に、請求項1から14の何れかに記載の方法を遂行させるように構成される、装置。
【請求項17】
ポジショニングタグのユーザ選択を検出する手段と;
前記選択されたタグに関連する方向情報及びタイムスタンプ情報を読み出す手段と;
前記選択されたタグに関連する方向情報を、記録エリアからビデオコンテンツをキャプチャするように構成されるカメラ配列の方向情報と比較する手段と;
前記記録エリアからビデオコンテンツをキャプチャするように構成される前記カメラ配列の1つ以上のカメラによってキャプチャされた前記ビデオコンテンツを特定する手段と;
前記1つ以上のカメラから取得した前記特定されたビデオコンテンツを表示用に選択する手段と;
を備え、ここで前記ビデオコンテンツの特定は、前記選択されたタグに関連するタイムスタンプ情報に関する期間にわたって前記選択されたタグの位置と関係する前記記録エリアのセクションから、前記1つ以上のカメラがビデオコンテンツをキャプチャしていた場合に行われる、装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は録画されたビデオコンテンツの選択に関するものである。
【背景】
【0002】
オーディオ/ビデオの記録及び編集の分野では、データサイズの比較的大きなファイルを処理する必要が度々ある。データ量が大きくなってしまう記録装置の配置からオーディオ/ビデオコンテンツを取得する場合、ある特定の問題が発生する。この問題は、信頼性が高く、効率的で使いやすい方法で大容量のデータを管理することに対し、新しい挑戦をもたらす。
【摘要】
【0003】
第1の態様において、本明細書は、ポジショニングタグのユーザ選択を検出すること、前記選択されたポジショニングタグに関連する方向情報及びタイムスタンプ情報を読み出すこと、前記選択されたタグに関連する方向情報を、記録エリアからビデオコンテンツをキャプチャするよう構成されるカメラ配列の方向情報と比較すること、前記記録エリアからビデオコンテンツをキャプチャするように構成される前記カメラ配列の1つ以上のカメラによってキャプチャされたビデオコンテンツを特定すること、を開示する。ここで、前記選択されたタグに関連するスタンプ情報に関する期間にわたって該タグの位置に関係する前記記録エリアのセクションから、前記1つ以上のカメラがビデオコンテンツをキャプチャしていた場合に、前記特定することが行われる。
【0004】
前記キャプチャされたビデオコンテンツの前記選択部分には、カメラから取得されたビデオコンテンツを含めることができる。ここで、カメラはタグが位置していることが決定されるエリアをカバーするように配置されている。
【0005】
前記キャプチャされたビデオコンテンツの前記選択部分には、前記カメラ(タグが位置していることが決定されるエリアをカバーするように配置されているカメラ)に隣接するカメラから取得されたビデオコンテンツを含めることができる。
【0006】
本方法はさらに、前記キャプチャされたビデオコンテンツの前記選択部分に割り当てられるビットレートを増やすことを含む。
【0007】
本方法はさらに、前記キャプチャされたビデオコンテンツの残り部分に割り当てられるビットレートを減らすことを含む。
【0008】
前記方向情報及びタイムスタンプ情報は、前記キャプチャされたビデオコンテンツとは別のファイルに保存することができる。
【0009】
1つ以上のカメラを特定することには、1つ以上の立体画像用カメラのペアを特定することを含む。
【0010】
本方法はさらに、記録装置、再生装置、リモートサーバの1つから選択されたビデオコンテンツを読み出すことを含む。
【0011】
本方法はさらに、1つ以上の特定のカメラから取得したビデオコンテンツを含むキャプチャされたビデオコンテンツの一部を表示させることを含む。
【0012】
前記ポジショニングタグのユーザ選択の検出には、複数のポジショニングタグのユーザ選択の検出を含んでもよい。
【0013】
本方法はさらに、前記複数のポジショニングタグに対応するカメラから取得されたビデオコンテンツを含む、前記キャプチャされたビデオコンテンツの一部を分割スクリーンフォーマットで表示される。
【0014】
各カメラでキャプチャされた前記ビデオコンテンツは、複合的なデータファイルの一部又は個別ファイルとして記録される。
【0015】
前記方向情報には方位角を含むことができる。
【0016】
前記方向情報には仰角を含むことができる。
【0017】
第2の態様では、本明細書はコンピュータプログラムを説明する。このコンピュータプログラムがコンピューティング装置で実行された場合、コンピューティング装置は第1の態様を実行する。
【0018】
第3の態様において、本明細書は装置の説明を行う。本装置は少なくとも1つのプロセッサと、コンピュータ可読命令を有する少なくとも1つのメモリを備える。そして、前記少なくとも1つのプロセッサによって、前記コンピュータ可読命令が実行されると、前記装置に少なくとも、ポジショニングタグのユーザ選択を検出させ、前記選択されたポジショニングタグに関連する方向情報及びタイムスタンプ情報を読み出させ、前記選択されたタグに関連する方向情報を、記録エリアからビデオコンテンツをキャプチャするよう構成されるカメラ配列の方向情報と比較させ、前記記録エリアからビデオコンテンツをキャプチャするように構成される前記カメラ配列の1つ以上のカメラによってキャプチャされたビデオコンテンツを特定させる。ここで、前記選択されたタグに関連する前記スタンプ情報に関する期間にわたって該タグの位置に関係する前記記録エリアのセクションから、前記1つ以上のカメラが、ビデオコンテンツをキャプチャしていた場合、前記特定が行われる。
【0019】
第4の態様において、本明細書はコンピュータ可読コードを有するコンピュータ可読媒体の説明を行う。このコンピュータ可読コードが少なくとも1つのプロセッサによって実行された場合、ポジショニングタグのユーザ選択を検出すること、前記選択されたポジショニングタグに関連する方向情報及びタイムスタンプ情報を読み出させること、前記選択されたタグに関連する方向情報を、記録エリアからビデオコンテンツをキャプチャするよう構成されるカメラ配列の方向情報と比較させること、前記記録エリアからビデオコンテンツをキャプチャするように構成される前記カメラ配列の1つ以上のカメラによってキャプチャされたビデオコンテンツを特定させること、を遂行させる。ここで、前記選択されたタグに関連する前記スタンプ情報に関する期間にわたって該タグの位置に関係する前記記録エリアのセクションから、前記1つ以上のカメラがビデオコンテンツをキャプチャしていた場合に、前記特定が行われる。
【0020】
第5の態様において、本明細書は装置の説明を行う。この装置は、ポジショニングタグのユーザ選択を検出する手段と、前記選択されたポジショニングタグに関連する方向情報及びタイムスタンプ情報を読み出す手段と、前記選択されたタグに関連する方向情報を、記録エリアからビデオコンテンツをキャプチャするよう構成されるカメラ配列の方向情報と比較する手段と、前記記録エリアからビデオコンテンツをキャプチャするように構成される前記カメラ配列の1つ以上のカメラによってキャプチャされたビデオコンテンツを特定する手段と、前記1つ以上のカメラから取得された前記特定されたビデオコンテンツを、表示用に選択する手段とを備える。ここで、前記選択されたタグに関連する前記スタンプ情報に関する期間にわたって該タグの位置に関係する前記記録エリアのセクションから、前記1つ以上のカメラが、ビデオコンテンツをキャプチャしていた場合、前記特定が行われる。
【図面の簡単な説明】
【0021】
本明細書に記載した方法、装置、コンピュータ可読命令をより詳細に理解するために、次の添付図面と合わせて以下の説明を参照されたい。
図1】レコーディング環境を示したものである。
図2】記録装置と編集/再生装置とを示した図面である。
図3】コントローラの図面である。
図4】カメラの図面である。
図5】携帯型タグの図面である。
図6】記録装置で実行されるステップを示すフローチャートを記載したフローチャートである。
図7】再生装置で実行されるステップを示すフローチャートを記載したフローチャートである。
図8】記憶媒体を示す。
図9】他の実施形態によるカメラ配列を示す。
図10】他の実施形態によるカメラ配列を示す。
【詳細説明】
【0022】
本発明の実施形態は、記録デバイスの視野領域にあるポジショニングタグに関する方向データをキャプチャすると同時に、記録デバイスの配置にわたってビデオ及び/またはオーディオをキャプチャするためのシステムを提供する。方向データは、その後のビデオの処理過程/編集過程の少なくとも一過程で使用することができ、その結果、記録デバイスの配置によってキャプチャされた多重ストリームを効率的に処理することができる。さらに、ビデオが視聴者によってその後に視聴される場合、ポジショニングタグの無線送信から測定された相対位置に基づくビデオの一部として、特定のビューを強調することができる。
【0023】
本発明の実施形態は、無線検出されたオブジェクトの相対位置を記録すること、及び、その位置をビデオ及び/またはオーディオデータにキャプチャされたエリアと関連付けることを含む。方向無線情報の記録は、ビデオ及び/またはオーディオレコーディングファイルに追加することができる。代替として、方向無線情報とタイムスタンプとを含む独立したファイルを記録することができ、この場合、そのファイルを同時に記録したビデオ及び/またはオーディオファイルとマッチングさせる。
【0024】
図1は、レコーディング環境の一例を示す。記録装置10は、ビデオカメラ11の球状の配置と筐体とを含む。記録装置と称される一方、この装置はビデオコンテンツを記録してストレージ媒体に保存すると同時に、ライブビデオストリームをキャプチャするよう構成される。実施形態では、ビデオコンテンツが保存される場所は、記録装置自体でもよいし、ビデオ編集用コンピュータまたはリモートサーバでもよい。ビデオカメラ11は、仰角及び方位角の両方に関して360°にわたるビデオ撮影可能な範囲を提供するように配置される。すなわち、球全体にわたるものであり、ビデオ球体と称してもよい。他の実施形態では、半球状の範囲または球状のエリアの一部のみをカバーするカメラを含む配置とすることもできることに留意すべきである。
【0025】
カメラ11のそれぞれは、カメラアレイ10を囲む三次元空間の一部分をキャプチャするよう構成される。図1に示す記録装置10は、6つのカメラ11a〜11fを備える。カメラ11fは、図1には示されていないが、図2には図示されている。
【0026】
ポジショニングタグ20(例えば、BLE(Bluetooth Low Energy)タグ)は、図1に示されている。この例では、ポジショニングタグ20はユーザの時計の一部である。他の非限定的な例では、ポジショニングタグ20が動物の首輪に取り付けられ、野生動物のドキュメンタリービデオをキャプチャする手助けをしたり、または、ポジショニングタグ20を携帯電話またはキーホルダーに組み込むことも可能である。
【0027】
記録装置10及びポジショニングタグ20は、適合するあらゆるタイプの無線送信/変換技術を使用して操作するよう構成されうる。適合する技術タイプには、BR/EDR(Bluetooth Basic Rate / Enhanced Data Rate)及びBLE(Bluetooth Low Energy)が含まれるがこれに限定されない。BLE(Bluetooth Low Energy)は、Bluetoothコア仕様Ver4.0の構成要素として、Bluetooth SIGによって公表された比較的新しい無線通信技術である。適合する他の技術タイプとして、例えば、IEEE 802.11 and IEEE 802.15.4に基づく技術が含まれる。BLEの使用は、その比較的低いエネルギー消費のために特に便利である。なぜなら、殆どの携帯電話機その他の携帯型電子機器はBLE技術を使用した通信が可能であるためである。
【0028】
ポジショニングタグ20によって送信される信号/ポジショニングパケットは、HAIP(the High Accuracy Indoor Positioning)ソリューションに従う。HAIPは、例えば、http://www.in-location-alliance.comで公表されている。
【0029】
本明細書に記載の実施形態では、BLEメッセージ及びHAIPシステムを使用するが、代替として、IEEE 802.15.4等の低電力無線技術を使用してもよい。
【0030】
記録装置10は、球状座標のシステムの原点であるとみなされる。ポジショニングタグ20は、このように図1に示すX−Y平面の方位角θ、及び、Z軸に対する仰角φによって定義することができる。後述する詳細にあるように、ポジショニングタグ20は一定間隔で無線メッセージを送信する。これら無線メッセージは、記録装置10によって受信される。そして、記録装置10は受信パケットに関する到達の方位角及び仰角を定義する。記録装置10はさらに、受信パケットに関するRSSI(受信信号強度表示)を定義することができる。この情報は適当なフォーマットに保存することができる。
【0031】
図2は、記録装置10と編集及び/または再生装置15とを示した図面である。記録装置10はコントローラ13を備える。コントローラ13は記録装置10を制御する。コントローラ13は、タグ20から受信したパケットからの到達角度情報を決定するように構成される。
【0032】
図2に示す例示的な実装では、コントローラ13は、ビデオ/オーディオ記録システムの中心に搭載される。本実施形態では6つのカメラがあり、1つのレンズを備える各カメラ、及び1つのコントローラ13を備える。カメラレコーディングの出力は、コントローラ13によって保管された1つ以上のファイルに保存される。ここで、このファイルのフォーマットは未加工または特定の処理がなされている。個々のカメラの出力は、コントローラ13によって保存される個別のファイルに保存することができる。代替として、カメラの出力を、コントローラ13によって保存される単独の合成ファイルに連結することも可能である。また、方向データは1つ以上のファイルに保存される。ここで、このファイルのフォーマットは、未加工または特定の処理がなされている。ビデオデータ及び方向データは、記録装置10に局所的に保存しても、分散して保存してもよい。例えば、リモートサーバ170に保存し、再生装置15によってリモートアクセスすることが可能である。代替として、記録済み媒体及び方向データを再生装置15自体にアップロードしてもよい。
【0033】
記録装置10は通信モジュール14を備えてもよい。通信モジュール14はRFアンテナ及びRF送受信機を備え、記録装置10及びリモートサーバ170(又はコンピュータ15)の間の無線通信を可能にする。ここで、リモートサーバ170(又はコンピュータ15)は、ビデオ編集機能を有している。記録装置10は、Wi-Fi等の無線ネットワークを介して通信可能に構成されている。代替として、記録装置10がビデオ編集機能を有するコンピュータとの有線リンク(図示せず)を備えてもよい。
【0034】
記録装置10は、ユーザ入出力部12を備えてもよい。ユーザ入出力部12は、スクリーン及びキーボードを備えていてもよい。ここでキーボードは、タッチスクリーンに組み込まれていてもよい。ユーザ入出力部12を使用することで、ユーザが1つ以上のカメラ11の操作と、記録装置10の再生機能とを制御することが可能となる。ユーザ入出力部12によってユーザは、選択された1つ以上のカメラからの再生を制御することが可能となる。図7を参照して後述するように、ユーザは 装置10のスクリーンに表示されたユーザインタフェースから1つ以上のタグ20を選択可能である。そして、タグ位置に関係するビデオコンテンツの部分選択は装置10で実施されうる。
【0035】
スクリーンは1つ以上のカメラからのライブ映像を観るために使用することができる。ユーザは1つ以上のタグ20を選択し、カメラからのライブ映像を観ることができる。このカメラは、選択されたタグと関連する。選択されたビデオコンテンツは装置10、再生装置15、リモートサーバ170に保存することができる。
【0036】
編集及び/または再生装置15は、プロセッサ150及び記憶装置151を備えるコンピュータであってもよい。記憶装置151は、揮発性メモリ152及び不揮発性メモリ153を備える。不揮発性メモリ153は、OS(operating system)154と、保存されたビデオの編集用ソフトウェア155を有していてもよい。不揮発性メモリ153はさらに方向データファイル156を備える。方向データファイル156には、コントローラ13から受信した方向データが保存される。ビデオファイル157はまた、コントローラ13から受信したビデオストリームデータと共に保存することができる。代替として、ビデオファイルをリモートサーバ170で保存することができる。ビデオストリームデータは個別のファイルとして保存することができる。そして、各ビデオファイルは各カメラの出力を含む。代替として、方向データをビデオファイルの中に含ませることができる。編集及び/または再生装置15は、RF送受信機158及びRFアンテナ159をさらに備え、記録装置10及びサーバ170との無線通信を可能にする。再生装置15は、スクリーン、キーボード、スピーカー等の入出力コンポーネント160を備えるコンピュータであってもよい。ユーザは、記録装置10から受信したライブストリーム等のビデオコンテンツを観ることができる。代替として、ビデオコンテンツを再生装置15またはリモートサーバ170に保存しておき、再生することができる。
【0037】
図3は、コントローラ13の例示的なブロック図である。コントローラ13はプロセッサ300とストレージデバイス310とを備える。ストレージデバイス310は不揮発性メモリ320を備え、この不揮発性メモリ320にはコンピュータ可読コード320Aが保存される。不揮発性メモリには、Bluetoothモジュール320Bが備わっている。本発明の実施形態では、コンピュータ可読コード320Aが、コントローラ13の特定の機能によって保存や実行を行うことを可能にする。Bluetoothモジュール320Bは要求されるコードを含み、受信したBluetoothメッセージはBluetooth標準規格に従って処理されうる。ストレージデバイス310は揮発性メモリ330も備える。
【0038】
プロセッサ300は、到達方位角情報及び到達仰角情報を処理するように構成されている。プロセッサ300は、方向データを1つ以上のカメラから取得した配信ビデオに適用することができる。代替として、プロセッサ300は、1つ以上のカメラから取得した方向データ及び配信ビデオをリモートサーバに出力することができる。
【0039】
コントローラ13は、RFスイッチ341に接続する方位角アンテナアレイ340、送受信機342、到達方位角(AoA)推定モジュール343を備える。コントローラ13はさらに、RFスイッチ351に接続する仰角アンテナアレイ350、送受信機352、到達仰角(AoA)推定モジュール353を備える。
【0040】
到達角度(AoA)の推定は、受信機内の信号のコピー(物理的に別々になっている多重のアンテナによって送信されたもの)の測定時間差に基づくものである。時間差は様々な伝搬チャネル長に依存する。そして通常、実際の推定処理は、結果として生じる信号のコピーの位相差等、信号に対する二次的な影響に基づく。到達角度の位置決めは、数十センチまたは2°程度の方向予測の位置決め精度を提供することが示されている。
【0041】
プロセッサ300とアンテナ340、350との間のリンクは双方向性があり、送受信機342、352、及びアンテナ340、350はRF通信のために使用することができる。
【0042】
コントローラ13は、クロック360及びタイムスタンプ機能も備えている。コントローラ13は、受信パケットのRSSIデータを測定及び記録するように構成されうる。
【0043】
コントローラ13は参照値を保存し、方位角及び仰角を均等に監視することを可能にする。ストレージデバイス310は、方位角及び仰角における0°の相対的位置を定義する情報を保存することができる。これらの基準点から、特定のカメラによって網羅されるエリアを定義することができる。例えば、カメラ11aは方位角0〜60°、仰角0〜60°を網羅するとして定義されうる。カメラ11及びコントローラ13は、集積記録装置10を形成することができ、ここで、相対位置情報がカメラ11及び/またはコントローラ13のメモリに保存される。代替的な実施形態では、カメラ11及び/またはコントローラ13にコンパスを備えてその方向を決定し、又は/且つ、ジャイロスコープを備えて幾何学的位置を決定してもよい。
【0044】
図4は、カメラ11の1つのブロック図である。カメラ11はカメラモジュール400を備える。カメラモジュール400はビデオカメラコンポーネントを備える。このビデオカメラコンポーネントは、具体的には、レンズ、CCDアレイ、画像プロセッサを備える技術であることが知られている。各カメラ11は、コントローラ13によって制御されてもよい。いくつかの実施形態では、カメラ11は通信モジュール14からの命令を受信する。同様に、この通信モジュール14は、ビデオ編集用コンピュータから無線で命令を受信する。代替として、各カメラ11がRFアンテナと送受信機を備え、各コントローラがビデオ編集用コンピュータからの命令を直接受信し、このビデオ編集用コンピュータによって制御されてもよい。カメラ11はさらに、プロセッサ402とストレージデバイス403とを備える。ストレージデバイスは、不揮発性メモリ404及び揮発性メモリ405を備える。不揮発性メモリには、コンピュータ可読命令404Aが備わっている。クロック405をカメラに設け、タイムラインを記録済みビデオコンテンツに適用してもよい。各カメラのクロックをコントローラ13に同期させ、正確な時間管理を提供するよう保証することも可能である。カメラ11はさらに、オーディオコンテンツをキャプチャするマイクロホン406を備えてもよい。カメラは別途、ビデオプロセッサ及びオーディオプロセッサを備えていてもよい。代替として、ビデオ及びオーディオ処理機能を一つのマルチメディアプロセッサに組み込んでもよく、また、図4に示すように、カメラモジュール400及びマイクロホン406の処理機能をプロセッサ402で実現してもよい。
【0045】
図5は、ポジショニングタグ20の1つのブロック図である。ポジショニングタグ20は、BLE advertisement メッセージ等の無線メッセージを送信するための送受信機200、及びアンテナ201を備える。ポジショニングタグ20はさらに、プロセッサ210とストレージデバイス222とを備える。ストレージデバイスは、不揮発性メモリ220及び揮発性メモリ221を備える。不揮発性メモリには、Bluetoothモジュール220A及びプログラム命令220Bが備わっている。本発明の実施形態では、プログラム命令220Bによって、ポジショニングタグ20の特定の機能を保存したり、実行したりすることを可能にする。Bluetoothモジュール220Aは要求されるコードを含み、BluetoothメッセージがBluetooth標準規格に従って送信される。
【0046】
いくつかの実施形態では、ポジショニングタグ20は、携帯電話機、スマートウォッチ、電子メガネ等の移動体通信機器の構成要素を形成することができる。この場合、移動体通信機器は入力部230を備えることができ、この入力部230によってユーザは無線メッセージに含まれる付加的情報を入力することができる。例えば、ユーザは自分の名前を含ませることができる。他の例では、ポジショニングタグ20がスマートウォッチ又は携帯電話機の一部として備わり、BLEadvertisement メッセージ等の無線メッセージにあるデータフィールドとして送信されるユーザの心拍を記録することができる。
【0047】
図6は、ビデオ録画時の記録装置10の動作を示すフローチャートである。
【0048】
処理6.1では、任意であるが、コントローラ13は記録装置10の近傍にあるポジショニングデバイス20からの情報を収集することができる。ポジショニングデバイス20は、センサデータを含む無線メッセージを送信できる。このセンサデータは、近傍にあるポジショニングデバイス20の存在を記録装置10に通知する。無線メッセージは、ポジショニングデバイス20に関するセンサ情報を含むことができる。センサ情報は、例えば、ユーザが装着している装置(例えば、スマートウォッチ、電子メガネ等)のユーザ固有情報を含むことができる。ポジショニングデバイス20との接続を介したセンサデータの収集は、記録中または記録後に行うことも可能である。
【0049】
さらに、コントローラ13に多重無線送受信機または多重接続機能を備えることで、例えば、ビデオ撮影をしながら競争相手の心拍を記録することもできる。追加データは、方向ファイルとして同一のファイルに保存されるか、または、別のファイルに保存される。別のファイルで保存することの利点は、迅速に検索できることにある。検索は、特定の固有情報のみに関連する検索レコードに基づいて検索されうる。
【0050】
処理6.2では、記録が開始される。記録を開始する指示はコンピュータに入力され、そのコンピュータは記録装置10と無線通信することができる。代替として、記録装置10は、ボタン、タッチスクリーン等の入力機能を備えることができる。ビデオは、図1に示した球体状のカメラ11のそれぞれによって記録することができる。ビデオは、wmv、mov、mpegその他の適切なフォーマットでビデオファイルフォーマットに保存することができる。オーディオデータは、ビデオと同一のデータファイル、または別のファイルに記録することができる。オーディオファイルフォーマットの例としては、wav、mp3その他の適切なファイルフォーマットが使用可能である。
【0051】
処理6.3では、記録装置10が、図1に示したポジショニングタグ20等のポジショニングタグから無線メッセージを受信する。無線メッセージは識別子を含むことができ、これによって、パケットを送信したポジショニングタグを識別することができる。無線メッセージはまたさらに、テキスト等のフィールドを含むことができる。例えば、メッセージにポジショニングタグ20によって取得した心拍情報を含ませることも可能である。
【0052】
処理6.4では、到達方位角および/または到達仰角を決定する。受信信号からの信号源の方向推定は、多重アンテナの素子を用いて実行される。到達方位角及び到達仰角の推定は、コントローラ13で(図3の物理的に離れている多重のアンテナ素子340、350によって受信した)信号のコピーの測定時間差に基づくものである。時間差は様々な伝搬チャネル長に依存する。そして通常、実際の推定処理は、結果として生じる信号のコピーの位相差等、信号に対する二次的な影響に基づく。
【0053】
ポジショニングタグ20は無線メッセージを送信し、コントローラ13はパケットの受信中にアンテナの切り替えを実施する。コントローラ13は無線メッセージを解析し、パケットの受信中、振幅及び位相のサンプリングを実施する。コントローラ13は、アンテナの配置情報と共に振幅及び位相のサンプルを利用して、ポジショニングタグ20からのパケットのAoA(到達角度)を推定することができる。
【0054】
処理6.5は任意のステップである。受信したパケットのRSSI値が測定され、記録される。処理6.6では、受信したパケットにタイムスタンプが付される。処理6.7では、処理6.4、6.5、6.6で取得されたデータを保存する。データは、ビデオファイルの一部として保存される。代替として、データを別のファイルで保存することもできる。データを別のファイルに保存することは、ビデオファイルメタデータにデータを追加することをサポートするビデオフォーマットに依存しないため、有利である。
【0055】
[表1]方向データファイルのコンテンツの例
【0056】
例示的な方向データは、検出された方向信号の送信機(すなわち、ポジショニングタグ20)の識別子、測定された方向角及び仰角、RSSIの値を含む。それぞれの角度及び対応するRSSIの値は、タイムスタンプに関連する。受信した方向データパケットに適用されたタイムスタンプは、ビデオ記録に対応一致し、観測されたタグはビデオストリームと照合一致させることができる。
【0057】
表1に示すファイルコンテンツが表す実施形態では、記録装置10を包囲する球状の空間のあらゆる箇所(すなわち、方位角及び仰角の両方において0°〜360°の範囲)に設置されたタグ20から受信した無線メッセージが、1つのファイルに記録される。本例では、1つのコントローラ13が各カメラ11に接続して使用される。他の実施形態では、各カメラ11が個別のコントローラ13と接続し、カメラによって記録されるセクタ内のタグ検出イベントに関連するデータを含むファイルを、各コントローラで保持してもよい。代替として、タグ検出に関連するデータを含む1つのファイルを(ビデオ編集用コンピュータ等の)中央処理装置によって作成してもよい。このファイルは、記録装置10を包囲する球状の空間の各セクタに関連するタグデータのファイルに基づくものである。
【0058】
コントローラからの方向情報及びカメラ情報を記録することで、送信機を一体化したカメラレコーディング(360°記録)に取り入れることができる。コントローラは受信したパケット全部又はそれらの一部からデータを収集することができる。
【0059】
ビデオ/オーディオデータの一部と方向データとの間のリンクは、方向性を有する電波圏(directional radio sphere)とビデオ/オーディオ記録球体との間の関係をマッチングさせるためのセッティングに基づくと言ってよい。各カメラは球体の特定部分をビデオに記録する。カメラがカバーする球体の部分は重複していてもよい。様々な実施形態において、カメラを記録範囲に隙間なく配置することが可能である。カメラがカバーする球体の一部は、電波圏(方向性を有する球体)(radio/directional sphere)の特定の部分と合致する。所望の無線送信機が特定の方位角及び仰角で検出された場合、対応する1つまたは複数のカメラがON状態に切り替わるか、または、それらのフォーカスが無線/方向検出に従って調節される。
【0060】
図7は、ユーザがビデオコンテンツを再生及び編集したい場合に実行される動作を示す。ビデオコンテンツは、記録装置10のスクリーンにライブ配信することができる。この場合、図7に示す後続のステップは、記録装置10で実行される。代替として、ビデオコンテンツを再生装置15のスクリーンにライブ配信してもよい。この場合、図7に示す後続のステップは、再生装置15で実行される。
【0061】
他の実施形態では、ビデオコンテンツを記録したのち、再生のために再生装置15、記録装置10、またはリモートサーバ170等のローカルに保存してもよい。選択されたビデオコンテンツは、再生装置15または記録装置10に保存することができる。
【0062】
この事例では、記録装置10は球状の記録エリア全域でビデオコンテンツをキャプチャしている。図1に示すカメラ配列からのビデオコンテンツを含むビデオストリームのデータサイズは、結果的に大変大きくなる可能性がある。再生及び編集する間、ユーザは特定のタグの方向に基づくビデオを視聴することを選択できる。様々なカメラからキャプチャされたビデオコンテンツを興味のあるタグに関連する方向データとマッチングさせることで、処理が必要なビデオデータの量を削減することができる。
【0063】
処理7.1でユーザは、ビデオコンテンツの再生中に追跡したい1つ以上のポジショニングタグ20を選択する。この選択は様々な方法で実現できる。例えば、ユーザにはタグのリストが表示されるユーザインタフェースが提供されてもよい。表示用に選択されたタグは、方向データファイル156から取得することができる。方向データファイル156にはタグ識別子が含まれており、ユーザに提示される。ユーザは、追跡したいタグを少なくとも1つ選択する。
【0064】
処理7.2では、再生装置15または記録装置10が、選択されたポジショニングタグ20に関連する方向性データ及びタイムスタンプデータに対応する方向データファイル156を検索する。選択されたポジショニングタグ20に関連する方向データ及びタイムスタンプデータが読み出される。
【0065】
処理7.3では、再生装置15は選択されたタグ20の方向データを各カメラ11に関連する方向情報と比較する。処理7.4では、1つ以上のカメラが特定される。このカメラは球体状の記録エリアのセクションからビデオコンテンツを記録している。ここで、そのセクションは選択されたタグの位置に関係する。
【0066】
処理7.5では、特定された1つ以上のカメラからのビデオコンテンツを含んだビデオコンテンツの一部が選択される。そして、1つ以上のカメラ11からのビデオコンテンツが読み出される。さらに、タイムスタンプを解析し、特定のカメラのビデオコンテンツのタイムラインと比較することで、ポジショニングタグがある、特定のカメラで記録された領域で一定期間に記録されたコンテンツのみが読み出される。
【0067】
そして、処理7.5で選択されたコンテンツの一部をユーザに見せることができる。いくつかの実施形態では、表示させたいポジショニングタグをユーザが複数選択できる。ユーザが、別のカメラによってカバーされるポジションングタグを選択したと判断した場合、そのタグを同時に分割スクリーンフォーマットに表示してもよい。一例では、アイスホッケー選手がウェアラブルなポジショニングタグを装着している。ユーザは、視聴するアイスホッケー選手2名を選択する。この2名のアイスホッケー選手を同一のカメラでカバーできないと判断した場合、この2名の選手は分割スクリーンフォーマットに表示される。
【0068】
選択されたタグが設置された領域をカバーするカメラからのビデオコンテンツを読み出すと同様、選択されたタグが位置している領域をカバーするカメラに隣接するカメラからのビデオコンテンツを取得してもよい。タグは移動性が高く、ビデオ撮影範囲を迅速に移動できると便利である。
【0069】
ユーザに選択されるポジショニングタグが、ビデオ撮影範囲の種々のセクタ間を移動する場合、そのポジショギングタグが一定期間設置された領域をカバーしているカメラからのみ、ビデオコンテンツデータを読み取ることができる。この場合、タグが設置された領域をカバーしないカメラからのビデオコンテンツデータにアクセスする必要がない。
【0070】
本発明の実施形態は、ビデオ/オーディオ及び無線方向の記録を使って、記録された題材の一部のみを視聴またはダウンロードすることを可能にする。無線方向の情報は送信機の方向に基づいており、送信機はオブジェクト(例えば、人間、動物、装置)に取り付けられる。したがって、ビデオ/オーディオのレコードフォーカス領域は、ポジショニングタグ20から受信した所望の無線送信機の識別情報及びその他のデータを選択することに基づく。ユーザが追跡したい無線信号オブジェクトを決定すると、例えば、タグをカバーするカメラのビットレートを増加させる等して、高画質でこのオブジェクト(及びその近傍)を配信してもよい。他のタグまたは方向は低画質で配信して帯域幅をセーブし、ストリーミング機能を向上させることができる。さらに、選択されたタグを示さないカメラからのビデオ配信は、全くダウンロードまたは配信させないことで帯域幅をセーブすることも可能である。
【0071】
また、特定時刻の特定のオブジェクトのビデオ記録は、そのオブジェクトに関連する識別子と方向情報とを用いて効果的に検索及び視聴できる。検索スピードは、方向情報の記録を保存する軽サイズの別ファイルにすることによって早くすることができる。代替として、方向情報をビデオファイルの一部として保存してもよい。
【0072】
図9は、他の実施形態による記録装置90を示す。記録装置90は、記録デバイスの円形アレイを含む。一般に、記録装置90の操作は、記録装置10の操作と同様である。一方、円形アレイは単一面に配置され、カメラ91のそれぞれがカメラ配列90を囲む三次元空間の一部分をキャプチャするよう構成される。360°のビデオ記録を提供できるカメラ配列の一例として、GoPro360のカメラ配列がある。このような配置は、カメラの円形アレイの記録エリア内に、記録すべき領域がある場合に利点がある。単一面の配置は、半円等の特定の円形をカバーできることに留意すべきである。
【0073】
次の表2は、位置タグの検出中に作成されるファイルの例である。
[表2]
【0074】
カメラ91の全てが同一平面に設置されているため、仰角情報を収集する必要がない。よって、ファイルサイズは小さくなる。記録装置90の中に含まれるコントローラ92は、到達角度を計算して方位角を決定するのみでよい。よって、コントローラに要求される処理は、仰角も決定する場合より少ない。
【0075】
図10は、他の実施形態による記録装置1000を示す。記録装置1000はカメラのペア1001の配置を備える。カメラの各ペア1001は、第1のカメラ1001a及び第2のカメラ1002bで構成されている。第1のカメラ1001aは左目で見る画像をキャプチャするように構成され、第2のカメラ1001bは右目で見る画像をキャプチャするように構成される。記録装置1000はコントローラを備え、左目でみる画像と右目でみる画像を組み合わせて立体的な画像を形成する。各ペア1001の両方のカメラからキャプチャされた画像であることが必要なため、立体的ビデオを形成することを含む処理は比較的集中的なものとなることが理解されよう。その後の立体的ビデオの編集もまた、比較的集中的な処理である。カメラのペアの配置は、球状または円形状であってもよい。球状の配置の場合、仰角及び方位角双方のデータを記録してもよい。円形状の配置の場合、方位角のみのデータを記録してもよい。
【0076】
本実施形態では、方向データの保存は前述と同様の方法で広く実行される。
【0077】
コントローラ1002は参照値を保存し、方位角を(球状の配置の場合は仰角も)を均等に監視することを可能にする。制御モジュールは、方位角及び仰角における0°の方角を定義する情報を保存することができる。これらの基準点から、特定のカメラのペアによって網羅されるエリアを定義することができる。例えば、第1のカメラペアは方位角0〜60°、仰角0〜60°を網羅するとして定義することができる。カメラのペア及びコントローラ1002は、集積記録装置を形成することができ、ここで、方角情報がカメラ及び/またはコントローラ1002のメモリに保存される。代替的な実施形態では、カメラ及び/またはコントローラ1002がコンパスを備えてその方向を決定し、又は/且つ、ジャイロスコープを備えて幾何学的位置を決定することを可能にする。
【0078】
様々な実施形態(特に、カメラ配列が立体的なビデオコンテンツを記録するようにされている場合)の利点として、高い解像度を有するフィードを管理できること等がある。例えば、前述の配置にあるカメラは、最大約6Kの解像度を有することができる。異なるカメラからのフィードを編集する場合、いくつかの高帯域フィードの間での切り替えが必要になる場合がある。これは、カメラのペアを含む球状のカメラ配列を有する実施形態で、特に当てはまる。再生装置15での大容量フィードの間の切り替えは、より広い帯域を必要とする。さらに、フィードがリモートサーバに保存され、無線接続を介した再生装置15によってリモートアクセスされる場合、大容量フィードの間の切り替えが帯域管理及びコストの面で困難になるおそれがある。本実施形態は、検索が必要な大容量フィードを最小限のサイズにしておくことができるという利点をもたらす。
【0079】
コンピュータ可読命令、ソフトウェア、OSは、装置11、13、14、15、20、92、1002に事前にプログラミングされていてもよい。代替として、コンピュータ可読命令、ソフトウェア、OSを、磁気的なキャリア信号を介して装置11、13、14、15、20、92、1002に送信してもよいし、コンピュータプログラム製品、CD−ROM又はDVD等のメモリデバイスまたは記録装置等の物理的エンティティ(図8参照)からコピーしてもよい。コンピュータ可読命令、ソフトウェア、OSは、デバイス/装置11、13、14、15、20、92、1002が前述の機能を実行できるようなロジック及びルーチンを提供することができる。
【0080】
本明細書で使用する「メモリ」という用語は、その他の意味であることを明示しない限り、不揮発性メモリ及び揮発性メモリの両方を含むメモリに関連することを意味する。ただし、本用語はまた、1つ以上の揮発性メモリのみ、1つ以上の不揮発性メモリ、1つ以上の揮発性メモリ及び不揮発性メモリも含むことができる。揮発性メモリの例には、RAM、DRAM、SDRAM等が含まれる。不揮発性メモリの例には、ROM、PROM、EEPROM、フラッシュメモリ、光学式ストレージ、磁気的ストレージ等が含まれる。
【0081】
本開示の実施形態は、ソフトウェア、ハードウェア、アプリケーション・ロジック、又はこれらの結合として実装されうる。ソフトウェア、アプリケーションロジック、及び/またはハードウェアは、メモリ又はコンピュータメディアに存在してもよい。例示的実施形態においては、アプリケーション・ロジック、ソフトウェア、または命令セットは、種々の標準的なコンピュータ可読媒体の何れかに保持される。本出願の文脈において「コンピュータ可読媒体」はメディアや手段であって、命令を実行するコンピュータのようなシステムや装置、デバイスによって又はそれと共に使用される命令を含むことや格納すること、通信すること、伝達すること、送信することの何れかが可能な如何なるメディアや手段であってもよい。
コンピュータ可読媒体はコンピュータ可読記憶媒体を備えてもよい。それは、コンピュータのような、命令を実行するシステムや装置、デバイスによってまたはそれと共に使用される命令を含むか格納しうる、如何なる触れることが可能な媒体や手段であってもよい。
【0082】
本開示の前述の態様の様々な実施形態によれば、上記態様のいずれかによるコンピュータプログラムは、コンピュータプログラム製品に実装することができ、このコンピュータプログラム製品は触ることが可能なコンピュータ可読媒体を含む。また、このコンピュータ可読媒体は上述の機能を実装するプロセッサで使用可能な、本明細書で具現化されたコンピュータプログラムを有する。
【0083】
「コンピュータ可読記憶媒体」や「コンピュータプログラム製品」、「有形物として具現化されたコンピュータプログラム」等の用語や、「プロセッサ」、「プロセッシング回路」等の用語は、様々なアーキテクチャを有するコンピュータのみならず、特殊回路もカバーするものと理解すべきである。こうしたコンピュータのアーキテクチャには、シングル/マルチプロセッサ・アーキテクチャや、直列/並列アーキテクチャ等がある。特殊回路にはフィールドプログラマブルゲートアレイ(FPGA)や特定用途向け集積回路(ASIC)、シグナルプロセッシングデバイス、その他の処理回路等がある。コンピュータプログラムや命令、コード等の用語は、プログラマブルプロセッサやファームウェア用のソフトウェアも意味するものと理解すべきである。こうしたものとして、プロセッサに対する命令や、固定機能デバイス、ゲートアレイ、プログラマブルロジックデバイス等の構成設定といったハードウェアデバイスのプログラマブルコンテンツ等がある。
【0084】
例として、限定的ではないが、「コンピュータ可読媒体」等は非一時的なコンピュータ可読ストレージ媒体を意味する場合があり、このコンピュータ可読ストレージ媒体は、RAM、ROM、EEPROM、CD−ROM、その他の光学式ストレージ、磁気的ディスクストレージ、その他の磁気的ストレージデバイス、フラッシュメモリを含む。また、このコンピュータ可読ストレージ媒体は、命令またはデータ構造の形式で要求されるプログラムコードを保存するように使用可能で、かつ、コンピュータによってアクセス可能なあらゆるその他の媒体を含む。しかし、「コンピュータ可読ストレージ媒体」及びデータストレージ媒体は、接続、搬送波、信号その他の一時的メディアを含まず、非一時的、有形のストレージ媒体を意味すると理解すべきである。
【0085】
命令は1つ以上のプロセッサによって実行される。ここで、プロセッサには、1つ以上のデジタル信号プロセッサ(DSP)、汎用のマイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレー(FPGA)その他これに相当する集積回路または個別論理回路等がある。そのため、本明細書で使用される用語「プロセッサ」は、前述の構造または本明細書に記載した技術を実装するために適したその他のあらゆる構造を意味する。さらに、いくつかの態様では、本明細書に記載された機能が専用のハードウェア及び/又はソフトウェアモジュールで提供される場合がある。さらに、1つ以上の回路または論理要素の中で、技術が完全に実装される場合がある。
【0086】
必要に応じて、本出願で開示した様々なステップが異なる順序で、及び/又は同時に実行されてもよい。さらに必要に応じて、前述のステップの1つ又は複数が任意選択できたり、統合されたりしてもよい。
【0087】
本開示の様々な態様が独立請求項に記載されているが、前述の実施形態からの特定事項の他の組合せ、および/または独立請求項の特定事項を備える従属請求項を、請求項に明記された単なる組合せとは別に、本開示の他の態様が備えてもよい。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10