特表2020-515930(P2020-515930A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧
特表2020-515930画像処理システム、画像処理方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2020-515930(P2020-515930A)
(43)【公表日】2020年5月28日
(54)【発明の名称】画像処理システム、画像処理方法、及びプログラム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20200501BHJP
   H04N 5/222 20060101ALI20200501BHJP
【FI】
   G06T19/00 A
   H04N5/222 400
【審査請求】有
【予備審査請求】未請求
【全頁数】47
(21)【出願番号】特願2019-532763(P2019-532763)
(86)(22)【出願日】2017年12月7日
(85)【翻訳文提出日】2019年6月17日
(86)【国際出願番号】AU2017000265
(87)【国際公開番号】WO2018112498
(87)【国際公開日】20180628
(31)【優先権主張番号】15/385,191
(32)【優先日】2016年12月20日
(33)【優先権主張国】US
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100094112
【弁理士】
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100101498
【弁理士】
【氏名又は名称】越智 隆夫
(74)【代理人】
【識別番号】100106183
【弁理士】
【氏名又は名称】吉澤 弘司
(74)【代理人】
【識別番号】100128668
【弁理士】
【氏名又は名称】齋藤 正巳
(72)【発明者】
【氏名】イー ベリンダ マーガレット
(72)【発明者】
【氏名】ブルース バーティ ジャック アラン
【テーマコード(参考)】
5B050
5C122
【Fターム(参考)】
5B050AA09
5B050BA08
5B050BA12
5B050EA13
5B050EA27
5B050FA02
5C122DA02
5C122EA42
5C122FA18
5C122FH04
5C122FH11
5C122FH18
5C122FK41
5C122GC52
5C122HB01
5C122HB05
5C122HB06
(57)【要約】
仮想ビューに物体をレンダリングするコンピューター実施システム及び方法である。この方法は、物体のオクルージョン測定量の経時的な変動を求めることを含む。オクルージョン測定量は、物体による仮想ビューのオクルージョンの評価量であり、オクルージョン測定量の変動は、物体の軌道に基づいて求められる。この方法は、オクルージョン測定量の変動に基づいて、視覚効果である物体の遷移効果を決定することと、決定された遷移効果を適用して物体をレンダリングすることとも含む。この決定された遷移効果は、物体が軌道に沿って移動するときの物体の位置に従って適用される。
【選択図】図4
【特許請求の範囲】
【請求項1】
仮想ビュービデオを生成する方法であって、
仮想カメラの視野内の物体に適用される遷移効果を、該物体の軌道と、該物体の該軌道に沿った位置とに基づいて決定することと、
前記決定された遷移効果に基づいて変更された前記物体の可視性を有する、表示デバイス上に表示される前記仮想ビュービデオを生成することと、
を含む、方法。
【請求項2】
前記軌道は予測軌道である、請求項1に記載の方法。
【請求項3】
前記遷移効果は、前記物体の表示、表示なし、フェードイン、フェードアウト、透明、色変換、混色、明度、彩度、テクスチャ、及びスタイルのうちの1つである、請求項1に記載の方法。
【請求項4】
前記遷移効果は、前記仮想ビュー内の他の物体に基づいて決定される、請求項1に記載の方法。
【請求項5】
前記遷移効果を決定することは、前記物体のオクルージョン測定量の経時的な変動を求めることを更に含む、請求項1に記載の方法。
【請求項6】
前記オクルージョン測定量は、前記物体による前記仮想ビューのオクルージョンの評価量である、請求項5に記載の方法。
【請求項7】
前記オクルージョン測定量の前記変動は、前記物体の前記軌道に基づいて求められる、請求項5に記載の方法。
【請求項8】
前記オクルージョン測定量の前記変動は、2つ以上の物体が前記仮想ビューに存在する場合に、物体ごとに求められる、請求項5に記載の方法。
【請求項9】
前記オクルージョン測定量は、前記仮想ビューに対する前記物体のサイズに基づいて求められる、請求項5に記載の方法。
【請求項10】
前記遷移効果は、前記物体のタイプに基づいて決定される、請求項1に記載の方法。
【請求項11】
前記遷移効果は、前記仮想ビューに関連したクリッピング平面に対する前記物体の位置に基づいて決定される、請求項1に記載の方法。
【請求項12】
前記遷移効果は、前記物体が前記仮想ビュー内に存在する時間の量に基づいて決定される、請求項1に記載の方法。
【請求項13】
前記遷移効果は、前記物体が前記仮想ビュー内に存在する時間の量を閾値と比較することによって決定される、請求項1に記載の方法。
【請求項14】
前記遷移効果は、前記オクルージョン測定量が閾値を満たすことに基づいて適用される、請求項5に記載の方法。
【請求項15】
前記遷移効果は、オクルージョン測定量が第1の閾値を満たすときに適用され、前記オクルージョン測定量が第2の閾値を満たすときに完了する、請求項5に記載の方法。
【請求項16】
前記遷移効果は、前記オクルージョン測定量が少なくとも1つの閾値を満たすことに基づいて適用され、該少なくとも1つの閾値は、前記物体が前記仮想ビュー内の別の物体と相互作用することに基づいて変更される、請求項5に記載の方法。
【請求項17】
前記遷移効果は視覚効果である、請求項1に記載の方法。
【請求項18】
前記視野内の前記物体の前記軌道に沿った前記物体の前記位置は予測される、請求項1に記載の方法。
【請求項19】
仮想ビュービデオを生成するプログラムが記憶された非一時的コンピューター可読媒体であって、前記プログラムは、
仮想カメラの視野内の物体に適用される遷移効果を、該物体の軌道と、該物体の該軌道に沿った位置とに基づいて決定するコードと、
前記決定された遷移効果に基づいて変更された前記物体の可視性を有する、表示デバイス上に表示される前記仮想ビュービデオを生成するコードと、
を含む、非一時的コンピューター可読媒体。
【請求項20】
仮想ビュービデオを生成する装置であって、
仮想カメラの視野内の物体に適用される遷移効果を、該物体の軌道と、該物体の該軌道に沿った位置とに基づいて決定することと、
前記決定された遷移効果に基づいて変更された前記物体の可視性を有する、表示デバイス上に表示される前記仮想ビュービデオを生成することと、
を行うように構成されている、装置。
【請求項21】
複数の画像キャプチャーデバイスと、
データを記憶するメモリ及びコンピューター可読媒体と、
コンピュータープログラムを実行する、前記メモリに結合されたプロセッサと、
を備え、
前記プロセッサは、ネットワークを介して前記複数の画像キャプチャーデバイスと通信し、前記プログラムは、
仮想カメラの視野内の物体に適用される遷移効果を、該物体の軌道と、該物体の該軌道に沿った位置とに基づいて決定する命令と、
前記決定された遷移効果に基づいて変更された前記物体の可視性を有する、表示デバイス上に表示される前記仮想ビュービデオを生成する命令と、
を有する、システム。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願]
本出願は、2017年12月20日に出願された米国特許出願第15/385191号のパリ条約の優先権を主張する。この米国特許出願の全内容は、引用することによってその全体が本明細書の一部をなす。
【0002】
本発明は、仮想環境、並びに、仮想カメラの仮想ビューにおいて相互作用する物体をレンダリングするシステム及び方法に関する。また、本発明は、仮想ビューに物体をレンダリングするコンピューター可読媒体及び装置にも関する。
【背景技術】
【0003】
物理世界において物理カメラを操作するとき、カメラオペレーターには、物理カメラの周囲の他の物理物体(例えば、フィールド上の人々)が見え、カメラオペレーターは、それらの物理物体と衝突しないようにすることができる。さらに、フィールド上の人々には、物理カメラ及びカメラオペレーターが見え、それらの人々は、カメラ又はオペレーターと衝突しないようにすることができる。カメラオペレーターが、物理世界を仮想的に復元した世界に仮想的に存在するカメラである仮想カメラを制御しているシステムでは、同じアフォーダンスは存在しない。
【0004】
仮想カメラシステムの目的は、現実世界において物理カメラを物体と極めて近接させるという実際問題を伴わずに物理カメラをシミュレーションするカメラフッテージ(camera footage)をキャプチャーすることである。物理カメラは、幾つかの状況では、シーン内で発生しているものと干渉する可能性がある。仮想カメラシステムの目標は、物理カメラの視覚特性を維持しながら仮想カメラの利点を利用することである。例えば、仮想カメラシステムは、カメラオペレーターが所望する場合には、視野を対象物体で満たすことが可能であり得る。
【0005】
仮想カメラシステムは、通常、クリッピング平面、例えば、ニアクリッピング平面及びファークリッピング平面に関連付けられている。クリッピング平面は、通常、仮想カメラの画像平面に平行に向けられ、ニアクリッピング平面については仮想カメラの近くに位置決めされ、ファークリッピング平面については離れた距離に位置決めされている。クリッピング平面は、仮想カメラの視野に対する制約を提供し、物体メッシュのポリゴンが仮想カメラに可視になり、仮想カメラによってレンダリングされる箇所を規定する。ニアクリッピング平面の距離は、物体が仮想カメラに接近することを可能にする一方、物体が大きく歪んで見えないように設定される。実際には、カメラオペレーターが、この距離を知り、対象物体をニアクリッピング平面のすぐ前方に維持することは困難である。多くの場合、仮想カメラビュー内の物体は、ニアクリッピング平面と衝突し、物体のメッシュは、物体がクリッピング平面を通過するときにスライスされる。仮想カメラは、結果として、物体メッシュの内部の一部分もレンダリングしながら、物体のメッシュの一部分のみをレンダリングする。物体とクリッピング平面との衝突は、特に、仮想カメラシステムが現実的なカメラフッテージを生成するように意図されている場合に、望ましくない結果をもたらす。
【0006】
物理世界における人々は、仮想カメラの位置を感知することができず、その結果、仮想カメラと自由に衝突する可能性がある。同じことは、仮想カメラを制御するカメラオペレーターにも当てはまる。カメラオペレーターは、モニター画面を介して仮想カメラを制御する可能性が高く、状況認識のレベルが低下し、仮想カメラの周囲の物体を感知することができない。状況認識の欠如は、物体が仮想カメラを後方から通過する可能性があることを意味する。物体は、当初、カメラオペレーターの視界の外部に存在し、仮想カメラのニアクリッピング平面を通過するとき、仮想カメラの視野を即座に満たす。仮想カメラビューを即座に満たすこの侵入物体は、仮想カメラの視野において別の物体の構成を試みているときに中断を引き起こす。
【0007】
仮想物体がクリッピング平面によって視覚的にクリッピングされることに対処することが必要とされている。また、物体が仮想カメラの近くでフレームに突然現れることによって引き起こされる撹乱的(disruptive)オクルージョンを低減する方法を提案することが必要とされている。
【0008】
ビデオゲーム業界は、同様の問題に遭遇しており、上述した問題に対処する標準的な方法を開発してきた。1つの既知の方法は、物体がまず第1に互いに衝突しないことを確保する衝突半径を物体の周囲に実現するものである。衝突半径を用いることによって、物体がカメラと衝突すると、カメラは物体に当たって跳ね返ることになり、カメラオペレーターの構成が望ましくなく調整される。別の既知の方法は、物体がカメラの周囲の距離閾値を通過すると、物体をフェードアウトするものである。この方法は、全ての物体を等しく扱い、そのため、カメラの前方からカメラを通過する物体は、後方からカメラを通過する物体と同じ距離にわたってフェードアウトすることになる。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の目的は、現在の構成の少なくとも1つの不利点を実質的に克服するか又は少なくとも改善することである。
【課題を解決するための手段】
【0010】
本開示の1つの態様は、仮想ビュービデオを生成する方法であって、仮想カメラの視野内の物体に適用される遷移効果を、該物体の軌道と、該物体の該軌道に沿った位置とに基づいて決定することと、前記決定された遷移効果に基づいて変更された前記物体の可視性を有する、表示デバイス上に表示される前記仮想ビュービデオを生成することとを含む、方法を提供する。
【0011】
幾つかの態様では、前記軌道は予測軌道である。
【0012】
幾つかの態様では、前記遷移効果は、前記物体の表示、表示なし、フェードイン、フェードアウト、透明、色変換、混色、明度、彩度、テクスチャ、及びスタイルのうちの1つである。
【0013】
幾つかの態様では、前記遷移効果は、前記仮想ビュー内の他の物体に基づいて決定される。
【0014】
幾つかの態様では、前記遷移効果を決定することは、前記物体のオクルージョン測定量の経時的な変動を求めることを更に含む。
【0015】
幾つかの態様では、前記オクルージョン測定量は、前記物体による前記仮想ビューのオクルージョンの評価量である。
【0016】
幾つかの態様では、前記オクルージョン測定量の前記変動は、前記物体の前記軌道に基づいて求められる。
【0017】
幾つかの態様では、前記オクルージョン測定量の前記変動は、2つ以上の物体が前記仮想ビューに存在する場合に、物体ごとに求められる。
【0018】
幾つかの態様では、前記オクルージョン測定量は、前記仮想ビューに対する前記物体のサイズに基づいて求められる。
【0019】
幾つかの態様では、前記遷移効果は、前記物体のタイプに基づいて決定される。
【0020】
幾つかの態様では、前記遷移効果は、前記仮想ビューに関連したクリッピング平面に対する前記物体の位置に基づいて決定される。
【0021】
幾つかの態様では、前記遷移効果は、前記物体が前記仮想ビュー内に存在する時間の量に基づいて決定される。
【0022】
幾つかの態様では、前記遷移効果は、前記物体が前記仮想ビュー内に存在する時間の量を閾値と比較することによって決定される。
【0023】
幾つかの態様では、前記遷移効果は、前記オクルージョン測定量が閾値を満たすことに基づいて適用される。
【0024】
幾つかの態様では、前記遷移効果は、オクルージョン測定量が第1の閾値を満たすときに適用され、前記オクルージョン測定量が第2の閾値を満たすときに完了する。
【0025】
幾つかの態様では、前記遷移効果は、前記オクルージョン測定量が少なくとも1つの閾値を満たすことに基づいて適用され、該少なくとも1つの閾値は、前記物体が前記仮想ビュー内の別の物体と相互作用することに基づいて変更される。
【0026】
幾つかの態様では、前記遷移効果は視覚効果である。
【0027】
幾つかの態様では、前記視野内の前記物体の前記軌道に沿った前記物体の前記位置は予測される。
【0028】
本開示の別の態様は、仮想ビュービデオを生成するプログラムが記憶された非一時的コンピューター可読媒体であって、前記プログラムは、仮想カメラの視野内の物体に適用される遷移効果を、該物体の軌道と、該物体の該軌道に沿った位置とに基づいて決定するコードと、前記決定された遷移効果に基づいて変更された前記物体の可視性を有する、表示デバイス上に表示される前記仮想ビュービデオを生成するコードとを含む、非一時的コンピューター可読媒体を提供する。
【0029】
本開示の別の態様は、仮想ビュービデオを生成する装置であって、仮想カメラの視野内の物体に適用される遷移効果を、該物体の軌道と、該物体の該軌道に沿った位置とに基づいて決定することと、前記決定された遷移効果に基づいて変更された前記物体の可視性を有する、表示デバイス上に表示される前記仮想ビュービデオを生成することとを行うように構成されている、装置を提供する。
【0030】
本開示の別の態様は、複数の画像キャプチャーデバイスと、データを記憶するメモリ及びコンピューター可読媒体と、コンピュータープログラムを実行する、前記メモリに結合されたプロセッサとを備え、前記プロセッサは、ネットワークを介して前記複数の画像キャプチャーデバイスと通信し、前記プログラムは、仮想カメラの視野内の物体に適用される遷移効果を、該物体の軌道と、該物体の該軌道に沿った位置とに基づいて決定する命令と、前記決定された遷移効果に基づいて変更された前記物体の可視性を有する、表示デバイス上に表示される前記仮想ビュービデオを生成する命令とを有する、システムを提供する。
【0031】
本開示の別の態様は、仮想ビューに物体をレンダリングするコンピューター実施方法であって、前記物体のオクルージョン測定量の経時的な変動を求めることであって、前記オクルージョン測定量は、前記物体による前記仮想ビューのオクルージョンの評価量であり、前記オクルージョン測定量の前記変動は、前記物体の軌道に基づいて求められることと、前記オクルージョン測定量の前記変動に基づいて前記物体の遷移効果を決定することであって、前記遷移効果は視覚効果であることと、前記決定された遷移効果を適用して前記物体をレンダリングすることであって、前記決定された遷移効果は、前記物体が前記軌道に沿って移動するときの前記物体の位置に従って適用されることとを含む、方法を提供する。
【0032】
幾つかの態様では、前記軌道は予測軌道である。
【0033】
幾つかの態様では、前記遷移効果は、前記物体の表示、表示なし、フェードイン、フェードアウト、透明、色変換、混色、明度、彩度、テクスチャ、及びスタイルのうちの1つである。
【0034】
幾つかの態様では、前記遷移効果は、前記仮想ビュー内の他の物体に基づいて決定される。
【0035】
幾つかの態様では、前記オクルージョン測定量の前記変動は、2つ以上の物体が前記仮想ビューに存在する場合に、物体ごとに求められる。
【0036】
幾つかの態様では、前記オクルージョン測定量は、前記仮想ビューに対する前記物体のサイズに基づいて求められる。
【0037】
幾つかの態様では、前記遷移効果は、前記物体のタイプに基づいて決定される。
【0038】
幾つかの態様では、前記遷移効果は、前記仮想ビューに関連したクリッピング平面に対する前記物体の位置に基づいて決定される。
【0039】
幾つかの態様では、前記遷移効果は、前記物体が前記仮想ビュー内に存在する時間の量に基づいて決定される。
【0040】
幾つかの態様では、前記遷移効果は、前記物体が前記仮想ビュー内に存在する時間の量を閾値と比較することによって決定される。
【0041】
幾つかの態様では、前記遷移効果は、前記オクルージョン測定量が閾値を満たすことに基づいて適用される。
【0042】
幾つかの態様では、前記遷移効果は、オクルージョン測定量が第1の閾値を満たすときに適用され、前記オクルージョン測定量が第2の閾値を満たすときに完了する。
【0043】
幾つかの態様では、前記遷移効果は、前記オクルージョン測定量が少なくとも1つの閾値を満たすことに基づいて適用され、該少なくとも1つの閾値は、前記物体が前記仮想ビュー内の別の物体と相互作用することに基づいて変更される。
【0044】
本開示の別の態様は、仮想ビューに物体をレンダリングするプログラムが記憶された非一時的コンピューター可読媒体であって、前記プログラムは、前記物体のオクルージョン測定量の経時的な変動を求めるコードであって、前記オクルージョン測定量は、前記物体による前記仮想ビューのオクルージョンの評価量であり、前記オクルージョン測定量の前記変動は、前記物体の軌道に基づいて求められる、コードと、前記オクルージョン測定量の前記変動に基づいて前記物体の遷移効果を決定するコードであって、前記遷移効果は視覚効果である、コードと、前記決定された遷移効果を適用して前記物体をレンダリングするコードであって、前記決定された遷移効果は、前記物体が前記軌道に沿って移動するときの前記物体の位置に従って適用される、コードとを含む、非一時的コンピューター可読媒体を提供する。
【0045】
本開示の別の態様は、仮想ビューに物体をレンダリングする装置であって、前記物体のオクルージョン測定量の経時的な変動を求めることであって、前記オクルージョン測定量は、前記物体による前記仮想ビューのオクルージョンの評価量であり、前記オクルージョン測定量の前記変動は、前記物体の軌道に基づいて求められることと、前記オクルージョン測定量の前記変動に基づいて前記物体の遷移効果を決定することであって、前記遷移効果は視覚効果であることと、前記決定された遷移効果を適用して前記物体をレンダリングすることであって、前記決定された遷移効果は、前記物体が前記軌道に沿って移動するときの前記物体の位置に従って適用されることとを行うように構成されている、装置を提供する。
【0046】
本開示の別の態様は、複数の画像キャプチャーデバイスと、データを記憶するメモリ及びコンピューター可読媒体と、コンピュータープログラムを実行する、前記メモリに結合されたプロセッサとを備え、前記プロセッサは、ネットワークを介して前記複数の画像キャプチャーデバイスと通信し、前記プログラムは、前記複数の画像キャプチャーデバイスから受信されたデータを用いて仮想ビューを生成する命令と、前記仮想ビュー内の物体のオクルージョン測定量の経時的な変動を求める命令であって、前記オクルージョン測定量は、前記物体による前記仮想ビューのオクルージョンの評価量であり、前記オクルージョン測定量の前記変動は、前記物体の軌道に基づいて求められる、命令と、前記オクルージョン測定量の前記変動に基づいて前記物体の遷移効果を決定する命令であって、前記遷移効果は視覚効果である、命令と、前記決定された遷移効果を適用して前記物体をレンダリングする命令であって、前記決定された遷移効果は、前記物体が前記軌道に沿って移動するときの前記物体の位置に従って適用される、命令とを有する、システムを提供する。
【0047】
次に、本発明の1つ以上の実施形態を以下の図面を参照して説明する。
【図面の簡単な説明】
【0048】
図1】スポーツスタジアムを取り囲むとともに処理システムにビデオデータを供給するネットワーク化されたビデオカメラのシステムの一例を示す図である。
図2】仮想カメラの一例を示す図である。
図3】1つの例示の実施形態による、仮想ビューに物体をレンダリングする方法の概略フロー図である。
図4図3の方法において用いられるようなオクルージョン測定量を求める方法の概略フロー図である。
図5】仮想カメラの視野内の物体のオクルージョンプロファイルをプロットした一例示のグラフである。
図6A】物体が仮想カメラの前方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
図6B】物体が仮想カメラの前方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
図6C】物体が仮想カメラの前方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
図6D】物体が仮想カメラの前方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
図7A】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
図7B】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
図7C】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
図7D】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
図8A】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する代替例を示す図である。
図8B】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する代替例を示す図である。
図8C】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する代替例を示す図である。
図8D】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する代替例を示す図である。
図9A】物体が仮想カメラの近くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
図9B】物体が仮想カメラの近くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
図9C】物体が仮想カメラの近くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
図9D】物体が仮想カメラの近くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
図10A】物体が仮想カメラから遠くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
図10B】物体が仮想カメラから遠くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
図10C】物体が仮想カメラから遠くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
図10D】物体が仮想カメラから遠くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
図11A】物体が仮想カメラから遠くにおいて仮想カメラの視野を横断しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
図11B】物体が仮想カメラから遠くにおいて仮想カメラの視野を横断しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
図11C】物体が仮想カメラから遠くにおいて仮想カメラの視野を横断しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
図11D】物体が仮想カメラから遠くにおいて仮想カメラの視野を横断しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
図12A】2つの物体が仮想カメラの前方で相互作用するときに物体をレンダリングする一例示のシナリオを示す図である。
図12B】2つの物体が仮想カメラの前方で相互作用するときに物体をレンダリングする一例示のシナリオを示す図である。
図12C】2つの物体が仮想カメラの前方で相互作用するときに物体をレンダリングする一例示のシナリオを示す図である。
図12D】2つの物体が仮想カメラの前方で相互作用するときに物体をレンダリングする一例示のシナリオを示す図である。
図13A】記載の構成を実施することができる汎用コンピューターシステムの概略ブロック図である。
図13B】記載の構成を実施することができる汎用コンピューターシステムの概略ブロック図である。
【発明を実施するための形態】
【0049】
本開示は、仮想環境、並びに、仮想物体が仮想カメラ及びニアクリッピング平面に近接しているときに、仮想物体が仮想カメラの視野とどのように相互作用するのかに関する。記載の構成は、オクルージョンがカメラオペレーターの考えられ得る意図を反映していると判断された場合に、物体が視野の大部分をオクルードすることを可能にすることに関する。
【0050】
本明細書に記載の構成は、図1に例示されるようなパフォーマンス競技場の状況で用いられることを意図している。図1に示すように、システム100は、ほぼ長方形、長円形又は円形の競技フィールドが中央にあると仮定される競技場110を含み、1つ以上の環状に並んだカメラ120A〜12Xが、競技場110を取り囲むことが可能になっている。図1に見られるように、競技場110は、単一の環状に並んだカメラ120A〜120Xを備える。複数のカメラ120A〜120Xのそれぞれは、競技場110に対して所定のロケーションに配置されている。記載の構成では、競技場110はフィールドであるが、他の構成では、競技場110は、音楽ステージ、シアター、公共の会場又は私有の会場とすることができる。図1の例におけるフィールド110は、少なくとも1つの物体140を含む。物体140は、単数若しくは複数の人、ボール、車両又は任意の構造物とすることができる。
【0051】
図1に示すカメラ120A〜120Xは、フィールド110上の全ての点が多数の視点から同時にキャプチャーされるように同じ時点でフレームを取得するよう同期される。幾つかの変形形態では、図1に示す環状に並んだカメラ120A〜120X全てが用いられるわけではなく、逆に、競技場110の全周の幾つかのサブセットが用いられる。環状に並んだカメラ全てを用いない構成は、幾つかの特定の視点が事前に不要であると分かっているときに有利であり得る。
【0052】
カメラ120A〜120Xによってキャプチャーされたビデオフレームは、ネットワーク接続1321(図13A参照)を介して処理ユニット1305(図13A及び図13B参照)に利用可能にされる前に、カメラのうちの1つ、例えばカメラ120Aの近くで処理及び一時的に記憶される。処理ユニット1305は、フィールド110内の仮想カメラ150の位置、向き、ズーム及び場合によっては他のシミュレーションされたカメラ特徴を指定する制御入力をコントローラー180から受信する。コントローラー180は、通常、システム100のユーザーによって操作され、カメラ120A〜120Xのパラメーターを設定するのに適した任意のコントローラーとすることができる。図13Aに見られるように、処理ユニット1305は、コンピューターモジュール1301内に構成される。ただし、代替の実施態様では、分離したビデオ処理ユニットを用いて、記載の構成を実施することができる。
【0053】
プロセッサとも呼ばれる処理ユニット1305は、フィールド110を取り囲むカメラ120A〜120Xからの処理ユニット1305に利用可能なビデオストリームに基づいて、指定された仮想カメラビュー190を合成又は生成するように構成される。
【0054】
「仮想カメラ」という表現は、計算的に得られた機能を有するカメラに関するものである。この機能は、単に任意の単一の物理カメラの出力ではなく、物理カメラ(カメラ120A〜120X等)の間の補間等の方法によって、又は、シーンを取り囲む物理カメラ(120A〜120X)からのデータを用いて構築されるモデル化された3Dシーンからのレンダリングによって、計算的に得られる。仮想カメラは、1つ以上の物理カメラから取得されたピクセルデータを用いて、仮想ビュー、例えばビデオシーケンスをレンダリングすることに関係している。仮想ビューは、仮想カメラの視野に関するものである。物理カメラ120A〜120Xは、画像データ又はビデオデータをキャプチャーすることが可能な任意の画像キャプチャーデバイス、例えば、デジタルカメラ又はビデオカメラとすることができる。カメラ120A〜120Xは、好ましくは、例えば、スポーツ放送の放送ビデオの生成に適した高解像度カメラである。
【0055】
仮想カメラ位置の入力は、人間の仮想カメラオペレーターが生成することができ、ジョイスティック、図13Aのマウス1303等のマウス、又は複数の入力構成要素を備える専用コントローラーを含むコントローラー180等の同様のコントローラー等のユーザーインターフェースデバイスからの入力に基づくことができる。代替的に、仮想カメラ位置は、ゲームプレーの解析に基づいて完全自動で生成することができる。カメラの位置決めの幾つかの態様が人間のオペレーターによって指示され、それ以外が自動化アルゴリズムによって指示されるハイブリッド制御構成も可能である。例えば、粗い位置決めは、人間のオペレーターが実行することができ、安定化及び経路平滑化を含む微細な位置決めは、プロセッサ1305上で実行される自動化アルゴリズムが実行することができる。
【0056】
処理ユニット1305は、当該技術において知られている画像ベースレンダリング方法を用いて、フレーム合成を実現する、すなわち、仮想カメラビューをレンダリングする、ように構成されている。画像ベースレンダリング方法は、既知の幾何学的配置の一組のカメラからのピクセルデータをサンプリングし、サンプリングされたピクセル情報を合成されたフレームに組み合わせることに基づいている。要求されたフレームのサンプルベースレンダリングに加えて、処理ユニット1305は、必要に応じて、サンプリングの不備をカバーして高品質の視覚的外観のフレームを作成する領域の合成、3Dモデリング、インペインティング又は補間を行うように構成することもできる。カメラ位置制御信号を生成するコントローラーデバイス180が、処理システム100の実用的限界を認識することができるように、プロセッサ1305は、フレーム品質又は要求された視点のカメラカバレッジの完全性の形でフィードバックを提供するように構成することもできる。処理ユニット1305によって作成又はレンダリングされた仮想ビュー190のビデオストリームは、その後、制作デスク(図示せず)に提供することができる。これらのビデオストリームは、制作デスクにおいて合わせて編集され、放送ビデオが形成される。代替的に、ビデオストリームは、未編集のまま放送することもできるし、後の編纂に備えて記憶することもできる。
【0057】
上述したシステム100によって与えられる柔軟性は、スポーツカバレッジ等の放送送信においてこれまで予想されていなかった副次的な一組の問題を提起する。例えば、仮想カメラ150は、物理物体又はカメラオペレーターが特定の位置に存在する必要なく、フィールド110上で位置及び/又は向きを自由に移動させることができる。さらに、上述したように、仮想ビューにおける物体のクリッピングが発生する可能性がある。
【0058】
上述したように、仮想カメラに関係した幾つかの既知の方法は、クリッピングを回避するために閾値距離を規定する。閾値距離を規定することによって、対象物体が視野を満たすことを可能にする問題と、仮想カメラの後方から接近する物体が視野を満たし、任意の可能な対象物体をオクルードすることを防止する問題とを同時に解決することは困難である。
【0059】
図13A及び図13Bは、様々な記載の構成を実施することができる汎用コンピューターシステム1300を示している。
【0060】
図13Aに見られるように、コンピューターシステム1300は、コンピューターモジュール1301と、キーボード1302、マウスポインターデバイス1303、スキャナー1326、カメラ1327、及びマイクロフォン1380等の入力デバイスと、プリンター1315、ディスプレイデバイス1314及びラウドスピーカー1317を含む出力デバイスとを備える。外部変復調器(モデム)送受信機デバイス1316は、コンピューターモジュール1301が接続1321を介して通信ネットワーク1320に対して通信するのに用いることができる。通信ネットワーク1320は、インターネット、セルラー電気通信ネットワーク、又はプライベートWAN等のワイドエリアネットワーク(WAN)とすることができる。接続1321が電話回線である場合、モデム1316は従来の「ダイヤルアップ」モデムとすることができる。代替的に、接続1321が高容量(例えば、ケーブル)接続である場合、モデム1316はブロードバンドモデムとすることができる。通信ネットワーク1320への無線接続には、無線モデムも用いることができる。
【0061】
コンピューターモジュール1301は、通常、少なくとも1つのプロセッサユニット1305及びメモリユニット1306を備える。例えば、メモリユニット1306は、半導体ランダムアクセスメモリ(RAM)及び半導体リードオンリーメモリ(ROM)を有することができる。コンピューターモジュール1301は、ビデオディスプレイ1314、ラウドスピーカー1317及びマイクロフォン1380に結合するオーディオビデオインターフェース1307と、キーボード1302、マウス1303、スキャナー1326、カメラ1327、コントローラー180及び任意選択でジョイスティック又は他のヒューマンインターフェースデバイス(図示せず)に結合するI/Oインターフェース1313と、外部モデム1316及びプリンター1315のインターフェース1308とを含む複数の入力/出力(I/O)インターフェースも備える。幾つかの実施態様では、モデム1316は、コンピューターモジュール1301内、例えば、インターフェース1308内に組み込むことができる。コンピューターモジュール1301は、コンピューターシステム1300を、ローカルエリアネットワーク(LAN)として知られているようなローカルエリア通信ネットワーク1322に接続1323を介して結合することを可能にするローカルネットワークインターフェース1311も有する。図13Aに示すように、ローカル通信ネットワーク1322は、いわゆる「ファイアウォール」デバイス又は同様の機能のデバイスを通常は備える接続1324を介してワイドネットワーク1320にも結合することができる。ローカルネットワークインターフェース1311は、イーサネット回路カード、Bluetooth(登録商標)無線装置又はIEEE802.11無線装置を含むことができるが、非常に多くの他のタイプのインターフェースをインターフェース1311として実施することができる。
【0062】
I/Oインターフェース1308及び1313は、シリアル接続及びパラレル接続のいずれか又は双方を提供することができる。シリアル接続は、通常、ユニバーサルシリアルバス(USB)標準規格に従って実施され、対応するUSBコネクタ(図示せず)を有する。記憶デバイス1309が設けられ、通常、ハードディスクドライブ(HDD)1310を備える。フロッピーディスクドライブ及び磁気テープドライブ(図示せず)等の他の記憶デバイスも用いることができる。不揮発性データ源として機能する光ディスクドライブ1312が通常設けられる。例えば、ポータブルメモリデバイス、そのような光ディスク(例えば、CD−ROM、DVD、Blu−ray Disc(商標))、USB−RAM、ポータブル外部ハードドライブ、及びフロッピーディスクをシステム1300への適切なデータ源として用いることができる。
【0063】
コンピューターモジュール1301の構成要素1305〜1313は、通常、相互接続バス1304を介して、当業者に知られているコンピューターシステム1300の従来の動作モードをもたらすように通信する。例えば、プロセッサ1305は、接続1318を用いてシステムバス1304に結合される。同様に、メモリ1306及び光ディスクドライブ1312は、接続1319によってシステムバス1304に結合される。記載の構成を実施することができるコンピューターの例は、IBM−PC及び互換機、Sun Sparcstation、Apple Mac(商標)又は同様のコンピューターシステムを含む。
【0064】
記載の方法は、コンピューターシステム1300を用いて実施することができ、説明される図3及び図4のプロセスは、コンピューターシステム1300内で実行可能な1つ以上のソフトウェアアプリケーションプログラム1333として実施することができる。特に、図3及び図4の方法のステップは、コンピューターシステム1300内で実行されるソフトウェア1333における命令1331(図13B参照)によって実行される。ソフトウェア命令1331は、1つ以上の特定のタスクをそれぞれ実行する1つ以上のコードモジュールとして形成することができる。このソフトウェアは、2つの個別の部分に分割することもでき、第1の部分及び対応するコードモジュールは、記載の方法を実行し、第2の部分及び対応するコードモジュールは、第1の部分とユーザーとの間のユーザーインターフェースを管理する。
【0065】
ソフトウェアは、例えば、以下で説明される記憶デバイスを含むコンピューター可読媒体に記憶することができる。ソフトウェアは、コンピューター可読媒体からコンピューターシステム1300内にロードされ、その後、コンピューターシステム1300によって実行される。そのようなソフトウェア又はコンピュータープログラムが記録されたコンピューター可読媒体は、コンピュータープログラム製品である。コンピューターシステム1300におけるコンピュータープログラム製品の使用は、好ましくは、記載の構成を実施する有利な装置をもたらす。
【0066】
ソフトウェア1333は、通常、HDD1310又はメモリ1306に記憶される。ソフトウェアは、コンピューター可読媒体からコンピューターシステム1300にロードされ、コンピューターシステム1300によって実行される。したがって、例えば、ソフトウェア1333は、光ディスクドライブ1312によって読み出される光学的可読ディスク記憶媒体(例えば、CD−ROM)1325に記憶することができる。そのようなソフトウェア又はコンピュータープログラムが記録されているコンピューター可読媒体は、コンピュータープログラム製品である。コンピューターシステム1300においてコンピュータープログラム製品を用いることによって、好ましくは、記載の方法を実施する装置がもたらされる。
【0067】
幾つかの場合には、アプリケーションプログラム1333は、1つ以上のCD−ROM1325上でコード化され、対応するドライブ1312を介して読み出されることでユーザーに供給することもできるし、代替的に、ユーザーがネットワーク1320又は1322から読み出すこともできる。またさらに、ソフトウェアは、他のコンピューター可読媒体からコンピューターシステム1300内にロードすることができる。コンピューター可読記憶媒体は、記録された命令及び/又はデータを実行及び/又は処理のためにコンピューターシステム1300に提供する任意の非一時的有形記憶媒体を指す。そのような記憶媒体の例は、フロッピーディスク、磁気テープ、CD−ROM、DVD、Blu−ray(商標)ディスク、ハードディスクドライブ、ROM若しくは集積回路、USBメモリ、光磁気ディスク、又はPCMCIAカード等のコンピューター可読カードを含み、そのようなデバイスがコンピューターモジュール1301の内部にあるのか又は外部にあるのかを問わない。ソフトウェア、アプリケーションプログラム、命令及び/又はデータをコンピューターモジュール1301に提供することに同様に関与することができる一時的コンピューター可読伝送媒体又は非有形コンピューター可読伝送媒体の例には、無線伝送チャネル又は赤外線伝送チャネル、並びに別のコンピューター又はネットワーク化デバイスへのネットワーク接続、及び電子メール送信及びウェブサイト等に記録された情報を含むインターネット又はイントラネットが含まれる。
【0068】
上述したアプリケーションプログラム1333の第2の部分及び対応するコードモジュールは、ディスプレイ1314上にレンダリング又は別の方法で表される1つ以上のグラフィカルユーザーインターフェース(GUI)を実施するように実行することができる。通常はキーボード1302及びマウス1303の操作を通じて、コンピューターシステム1300及びアプリケーションのユーザーは、機能的に適合可能な方法でインターフェースを操作して、GUI(複数の場合もある)に関連したアプリケーションに制御コマンド及び/又は入力を提供することができる。ラウドスピーカー1317を介して出力される音声プロンプト及びマイクロフォン1380を介して入力されるユーザー音声コマンドを利用するオーディオインターフェース等の他の形態の機能的に適合可能なユーザーインターフェースも実施することができる。
【0069】
図13Bは、プロセッサ1305及び「メモリ」1334の詳細な概略ブロック図である。メモリ1334は、図13Aにおけるコンピューターモジュール1301がアクセスすることができる全てのメモリモジュール(HDD1309及び半導体メモリ1306を含む)を論理的に集約したものを表している。
【0070】
コンピューターモジュール1301に最初に電源が投入されると、パワーオンセルフテスト(POST)プログラム1350が実行される。POSTプログラム1350は、通常、図13Aの半導体メモリ1306のROM1349に記憶されている。ソフトウェアを記憶するROM1349等のハードウェアデバイスは、ファームウェアと呼ばれることがある。POSTプログラム1350は、適切に機能することを確保するためにコンピューターモジュール1301内のハードウェアを検査し、通常、プロセッサ1305、メモリ1334(1309、1306)、及び通常は同様にROM1349に記憶された基本入出力システムソフトウェア(BIOS)モジュール1351が正常に動作するか否かを調べる。POSTプログラム1350の実行に成功すると、BIOS1351は、図13Aのハードディスクドライブ1310を起動する。ハードディスクドライブ1310の起動によって、ハードディスクドライブ1310に常駐するブートストラップローダープログラム1352が、プロセッサ1305を介して実行される。これによって、オペレーティングシステム1353がRAMメモリ1306内にロードされ、ロードされると、オペレーティングシステム1353が動作を開始する。オペレーティングシステム1353は、プロセッサ管理、メモリ管理、デバイス管理、記憶装置管理、ソフトウェアアプリケーションインターフェース、及び汎用ユーザーインターフェースを含む様々な高レベル機能を実現するようにプロセッサ1305によって実行可能なシステムレベルアプリケーションである。
【0071】
オペレーティングシステム1353は、コンピューターモジュール1301において動作する各プロセス又は各アプリケーションが、別のプロセスに配分されたメモリと衝突することなく実行されるのに十分なメモリを有することを確保するために、メモリ1334(1309、1306)を管理する。さらに、各プロセスが有効に動作することができるように、図13Aのシステム1300において利用可能な種々のタイプのメモリは、適切に用いられなければならない。したがって、集約されたメモリ1334は、(別段の言及がない限り)メモリの特定のセグメントがどのように配分されるのかを示すことを意図したものではなく、コンピューターシステム1300によってアクセス可能なメモリの全体図及びそのようなものがどのように用いられるのかを提供することを意図したものである。
【0072】
図13Bに示すように、プロセッサ1305は、制御ユニット1339、算術論理ユニット(ALU)1340、及びキャッシュメモリと呼ばれることがあるローカルメモリ又は内部メモリ1348を含む複数の機能モジュールを備える。キャッシュメモリ1348は、通常、レジスタセクションに複数の記憶レジスタ1344〜1346を備える。1つ以上の内部バス1341は、これらの機能モジュールを機能的に相互接続する。プロセッサ1305は、通常、接続1318を用いて、システムバス1304を介して外部のデバイスと通信する1つ以上のインターフェース1342も有する。メモリ1334は、接続1319を用いてバス1304に結合される。
【0073】
アプリケーションプログラム1333は、条件付き分岐命令及びループ命令を含むことができる命令シーケンス1331を含む。プログラム1333は、当該プログラム1333の実行に用いられるデータ1332も含むことができる。命令1331及びデータ1332は、メモリロケーション1328、1329、1330及び1335、1336、1337にそれぞれ記憶される。命令1331及びメモリロケーション1328〜1330の相対サイズに応じて、特定の命令は、メモリロケーション1330に示す命令によって示されるように単一のメモリロケーションに記憶することができる。代替的に、命令は、複数の部分にセグメンテーションすることができ、これらの部分のそれぞれは、メモリロケーション1328及び1329に示す命令セグメントによって示されるように、個別のメモリロケーションに記憶される。
【0074】
一般に、プロセッサ1305には、当該プロセッサにおいて実行される一組の命令が与えられる。プロセッサ1305は、後続の入力を待機し、プロセッサ1305は、別の一組の命令を実行することによってこの入力に対処する。各入力は、入力デバイス1302、1303のうちの1つ以上によって生成されたデータ、ネットワーク1320、1302のうちの一方にわたる外部ソースから受信されたデータ、記憶デバイス1306、1309のうちの一方から取り出されたデータ、又は対応するリーダー1312内に挿入された記憶媒体1325から取り出されたデータを含む複数のソースのうちの1つ以上から提供することができる。これらは全て図13Aに示されている。幾つかの場合には、これらの一組の命令の実行によって、データが出力される場合がある。実行は、メモリ1334へのデータ又は変数の記憶を伴う場合もある。
【0075】
記載された構成は、メモリ1334内の対応するメモリロケーション1355、1356、1357に記憶された入力変数1354を用いる。記載された構成は、メモリ1334内の対応するメモリロケーション1362、1363、1364に記憶される出力変数1361を生成する。中間変数1358は、メモリロケーション1359、1360、1366及び1367に記憶することができる。
【0076】
図13Bのプロセッサ1305を参照すると、レジスタ1344、1345、1346、算術論理ユニット(ALU)1340、及び制御ユニット1339は、プログラム1333を構成する命令セット内の命令ごとに「フェッチ、デコード、及び実行」のサイクルを実行するのに必要とされるマイクロオペレーションのシーケンスを実行するようにともに動作する。フェッチ、デコード、及び実行の各サイクルは、
メモリロケーション1328、1329、1330から命令1331をフェッチするか又は読み出すフェッチ動作と、
どの命令がフェッチされたのかを制御ユニット1339が判断するデコード動作と、
制御ユニット1339及び/又はALU1340が命令を実行する実行動作と、
を含む。
【0077】
その後、次の命令の更なるフェッチ、デコード、及び実行のサイクルを実行することができる。同様に、制御ユニット1339が値をメモリロケーション1332に記憶するか又は書き込む記憶サイクルを実行することができる。
【0078】
図3及び図4のプロセスにおける各ステップ又は各サブプロセスは、プログラム1333の1つ以上のセグメントに関連付けられ、ともに動作するプロセッサ1305内のレジスタセクション1344、1345、1347、ALU1340、及び制御ユニット1339によって実行され、プログラム1333の上記セグメントの命令セット内の命令ごとにフェッチ、デコード、及び実行のサイクルが実行される。
【0079】
記載の方法は、代替的に、図3及び図4の機能又はサブ機能を実行する1つ以上の集積回路等の専用ハードウェアで実施することができる。そのような専用ハードウェアは、グラフィックプロセッサ、デジタル信号プロセッサ、又は1つ以上のマイクロプロセッサと、関連メモリとを備えることができる。
【0080】
図2は、記載の構成において用いられる仮想カメラ210(仮想カメラ150と同様のもの)の正投影図である。仮想カメラ210は視野250を有する。視野250は、エッジ220、ニアクリッピング平面230及びファークリッピング平面240によって制限される。視野250に入る物体は、仮想カメラ210に可視になる。ニアクリッピング平面230は、仮想カメラ210に近接した深度に設定される一方、ファークリッピング平面240は、カメラ210から相対的に遠方の深度に設定される。仮想カメラ210がファークリッピング平面240を有していても、記載の構成は、ニアクリッピング平面230に関係する。参照を容易にするために、以下の全ての表現は、ニアクリッピング平面、例えばニアクリッピング平面230のみに関する仮想カメラ、例えば仮想カメラ210を描写したものである。
【0081】
フィールド110を動き回っている物体は、カメラオペレーターが認識することなく、あらゆる方向から仮想カメラ210の視野250に入る可能性があり、目的とする対象物体のカメラオペレーターのフレーミングを撹乱するオクルージョンを引き起こす。
【0082】
記載の構成は、物体の軌道及び仮想カメラの視野から導出される求められたオクルージョン測定量に基づいて仮想ビューに物体をレンダリングする方法に関する。遷移効果を物体に適用することによって、物体がニアクリッピング平面によってクリッピングされているとき、仮想カメラが物体をレンダリングしないことが確保される。オクルージョン測定量を求めると、記載の構成は、視野を撹乱的にオクルードする物体に、撹乱的オクルージョンを低減する遷移効果を適用することが可能になる。本開示の文脈において、撹乱的オクルージョンは、対象となる可能性のある物体をオクルードすること又は視野の所定の部分、例えば、視野の50%よりも多くをオクルードすることに関する。
【0083】
図3は、仮想カメラ視野に物体をレンダリングする方法300を示している。方法300は、通常、ハードドライブ1310に記憶されるとともにプロセッサ1305の制御下で実行されるアプリケーション1333の1つ以上のモジュールとして実施される。
【0084】
方法300は、取得ステップ310から開始する。ステップ310において、仮想カメラ210の視野220を反映したデータが取得される。この視野データは、プロセッサ1305が図1eの例における物理カメラ120A〜120Xから受信されたビデオデータを用いることによって仮想カメラを構築することから取得される。視野データは、カメラオペレーターが、適切な場合に、コントローラー180からの入力データを用いて物理カメラ120A〜120Xのパラメーターに対して行った変更を反映するように更新される。
【0085】
方法300は、プロセッサ1305の実行下で、ステップ310から取得ステップ320に続く。ステップ320において、フィールド110上の物体の位置データが取得される。1つの構成では、物体は、スポーツフィールド上の人である。他の構成では、物体は、人ではなく、ボール若しくは車両又は或る他のタイプの物体とすることができる。物体の位置データを取得する1つの方法は、物体に取り付けられた追跡デバイス(図示せず)によるものである。追跡デバイスは、無線接続、例えば、IEEE802.11又はRFIDを通じて物体の座標を中央ロケーションに送信するGPS受信機を備える。代替の構成では、位置データは、ビデオフレームを再構築したものから抽出することができ、一例は、カメラ120A〜120Xのアレイ及び対応するビューを用いることである。アプリケーション1333は、光学式文字認識(OCR)を用いて、名前及びプレーヤーの番号等の識別特徴を物体から抽出する。代替の構成では、位置データを、構築された3Dモデルから抽出することができる。競技場が空であり、ベースラインを提供しているときに、システム100を最初に始動させることができる。物体が競技場に入場し、3Dモデルに表されると、現在の3Dモデルとベースライン3Dモデルとの間の相違が、物体の位置を示す。他の構成では、アプリケーション1333は、物体のサイズ、移動スピード、及び位置に基づく一組のルールに従って、モデルにおいて特定される物体のタイプを分類する。例えば、競技場の表面及び上空を高速に動く相対的に小さな物体は、ボールとして分類され、地面に沿って動くほぼ1.7mの高さの中程度のサイズの物体は、人として分類される。
【0086】
方法300は、プロセッサ1305の実行下で、ステップ320から決定ステップ330に続く。ステップ330において、物体の軌道が求められる。物体の軌道を求める実施態様がある。1つの構成では、アプリケーション133は、以前にキャプチャーされたイベントを仮想的に再構築したもの(リプレー)を生成し、この場合、物体の移動は知られている。別の構成では、アプリケーション133は、仮想的に再構築したもの(ライブ)をリアルタイムで生成し、この場合、物体の軌道は、予測軌道である。予測軌道は、例えば、現在の軌道に基づいて、現在の位置並びに現在のスピード及び速度を用い、次に、その後の時点を外挿して求められる。
【0087】
方法300は、プロセッサ1305の実行下で、ステップ330から決定ステップ340に続く。ステップ340において、物体のオクルージョン測定量が求められる。ステップ340において実施されるオクルージョン測定量を求める方法400が、図4に関して以下で説明される。オクルージョン測定量を求める際、ステップ340は、視覚効果である遷移効果を選択するようにも動作する。
【0088】
方法300は、プロセッサ1305の実行下で、ステップ340から適用ステップ350に続く。ステップ350において、遷移効果が、求められたオクルージョン測定量に基づいて物体に適用される。遷移効果は、軌道に沿って動く物体の位置に従って適用される。遷移効果の適用は、ビュー190等の仮想ビューに物体をレンダリングするように動作する。1つの構成では、透明遷移効果が物体に適用される。一方、他の構成は、物体の表示の有無の選択、フェードイン、フェードアウト、色変換、混色、明度、彩度、テクスチャ、視覚効果、又はスタイルの変更又は変換等の遷移効果のうちの1つ又は組み合わせを適用する。遷移効果は、物体のタイプ及び物体の相対サイズに基づくこともできる。例えば、透明遷移効果は、人に用いることができ、テクスチャ遷移効果は、ゴールポストのような構造物に用いることができ、色遷移効果は、ボールに用いることができる。
【0089】
図4は、物体のオクルージョン測定量を求める方法400を示している。方法400は、通常、ハードドライブ1310に記憶されるとともにプロセッサ1305の制御下で実行されるアプリケーション1333の1つ以上のモジュールとして実施される。
【0090】
方法400は、決定ステップ410から開始する。ステップ410において、物体のオクルージョン比が、物体が存在すると予測される仮想カメラ視野の各フレームについて求められる。オクルージョン比は、物体がシーンの背景をどの程度オクルードするのかの比に関するものである。
【0091】
オクルージョン比は、問題の物体がビュー内の唯一の物体であるかのように、(物体追跡方法を通じて)物体ごとに求められる。物体ごとにオクルージョン比を求める際、オクルージョン比を求めることは、どれくらいの量のオクルージョンが生成されたかの視聴者の印象に影響を与え得る、主要な物体の前方にある他の物体によって影響されない。
【0092】
方法400は、ステップ410から生成ステップ420に続く。ステップ420において、アプリケーション1333は、オクルージョン比の経時的な変化に基づいて、オクルージョン測定量とも呼ばれるオクルージョンプロファイルを生成するように実行される。オクルージョンプロファイル(量)は、物体による仮想ビューのオクルージョンの評価量を表す。オクルージョンプロファイルの変動が、物体の軌道に基づいて求められる。オクルージョンプロファイルの態様が、図5に関して説明される。オクルージョン比は、物体が仮想ビューをどの程度オクルードするのかの比に関するものであるので、オクルージョンプロファイルは、物体のサイズに関するものである。
【0093】
方法400は、ステップ420から割り当てステップ430に続く。ステップ430において、オクルージョン測定量が、オクルージョンプロファイルに基づいて物体に割り当てられる。例えば、選択されたオクルージョン測定量は、仮想カメラを表すデータに関連付けてメモリ1309に記憶することができる。方法400は、ステップ430の後に終了する。
【0094】
図5は、オクルージョンプロファイルのグラフ500の一例を示している。グラフ500は、視野に対する物体のオクルージョン比の経時的な変化をチャートにしている。x軸501は、時間をマッピングしている。時間は、フレーム数に関して測定することもできるし、標準タイムコードで測定することもできる。y軸502は、オクルージョン比に基づくオクルージョンの量をグラフ化している。ライン503は、物体のオクルージョンの経時的な変化をプロファイル化することによるオクルージョンプロファイルを表している。ライン504は、物体が0よりも大きなオクルージョンを有して以降、物体がピークオクルージョンに達するまでの時間の量を示している。
【0095】
ライン504の一方の端部における矢印509は、オクルージョンプロファイルの端部がグラフ500の境界を越えていることを示している。ライン505は、物体のピークオクルージョン以降、物体のオクルージョンが0に達する(例えば、クリッピング平面230によって完全にクリッピングされる)までの時間の量を示している。ライン504及び505によって示される時間は加算されて、物体が視野250内に存在する全時間が求められる。ライン504及び505によって示される時間の量は、物体のオクルージョン測定量を求める際に用いられる。2つの点線ライン506及び507は、それぞれ上側オクルージョン閾値及び下側オクルージョン閾値を表す。上側オクルージョン閾値506及び下側オクルージョン閾値507は、通常、ユーザーが特定の状況(例えば、スポーツのタイプ)又は競技場を調べることによって決定される。上側オクルージョン閾値506及び下側オクルージョン閾値507は、遷移効果を物体に適用する際に用いられる。
【0096】
図6A図6Dは、この場合には人である物体が仮想カメラの視野内から仮想カメラに接近している一例示のシナリオを示している。
【0097】
図6Aは、シーン600のトップダウンビューを示している。物体601は、軌道602に従って仮想カメラ603に接近している。仮想カメラ603は視野660を有する。点A 605、B 606、C 607及びD 608は、軌道602に沿って移動する物体601の連続した時点をそれぞれ表している。点A 605、B 606、C 607は、物体601がカメラ603のニアクリッピング平面604の前方にあるときの時点に関するものである。点D 604は、物体601がニアクリッピング平面604を通過したときの時点に関するものである。仮想カメラビューのファークリッピング平面は、参照を容易にするために図6Aから(同様に図7A図12Aからも)除外されている。
【0098】
シーケンス620(図6B)は、物体601が点A 605、B 606、C 607及びD 608にあり、記載の構成が実施されないときに、仮想カメラ601によってキャプチャー又はレンダリングされたビデオフレームを参考として示している。シーケンス620のフレームA 621、B 622、C 623及びD 624はそれぞれ、点A、B、C、及びD(605〜608)における仮想カメラ603に接近している物体625(物体601に対応する)を示している。物体625は、フレームC 623とD 624との間のフレームにおいてニアクリッピング平面604によって視覚的にクリッピングされる。
【0099】
図6Cは、ステップ420の実行の結果としての物体601のオクルージョンプロファイルの対応するグラフ630を示している。オクルージョンプロファイル631は、物体601が引き起こすオクルージョンの量を視野660に対して経時的に示している。物体601はカメラ603の視野に既に存在するので、少量のオクルージョンがプロファイル631の開始時に存在する。図6Aの点A 605、B 606、C 607及びD 608は、それぞれマーキングA 632、B 633、C 634及びD 635としてオクルージョンプロファイル631に表される。マーキングC 634は、クリッピング平面604による物体601のクリッピングが開始され、その結果、物体のオクルージョンが低下する前のピークオクルージョンの時点を表している。マーキングD 635は、物体601による瞬間オクルージョンが0に達し、物体601がビューから完全にクリッピングされたことを表している。図6Cに示すように、オクルージョンプロファイル(測定量)631は、物体601による仮想視野のオクルージョンの評価量を表し、プロファイル631の変動は、物体601の軌道602に基づいて求められる。
【0100】
ステップ430の実行によって、オクルージョン測定量が、オクルージョンプロファイル631の求められた変動に基づいて物体に割り当てられる。ライン636及び637によって示される時間の量を加算することによって、物体が視野660に存在する全時間が求められる。図6A図6Dのシナリオにおいて、アプリケーション1333は、遷移効果が、クリッピング平面604に引き起こされるあらゆる物体クリッピングを隠すことによって適用される前に、物体が視野660の可能な限り多くをオクルードすることを可能にするように実行される。物体は、ライン636によって示される時間の量を求めることによって、視野の可能な限り多くをオクルードすることを可能にされる。ライン636によって示される時間の量が、所定の閾値、例えば1秒を上回っている場合、物体601は、視野660における存在が確立しており、遷移効果を適用する時刻に達するまで存在し続ける。所定の閾値は、通常、ユーザーがシステム100を調べることによって決定される。物体の遷移効果がステップ430において求められると、ステップ350において、オクルージョン閾値638及び639を用いて、遷移効果が適用される。ステップ430は、透明等の遷移効果と、仮想カメラ603によって生成されたビデオシーケンスに遷移効果を適用する時とを選択することによって、オクルージョン測定量を割り当てるように動作する。
【0101】
ステップ350の実行における遷移効果の適用は、オクルージョン閾値638及び639(図5のオクルージョン閾値506及び507と同様のもの)に関係している。図6A図6Dの例では、アプリケーション1333は、オクルージョンプロファイル631が、マークB 633において上側オクルージョン閾値638を横切ったときに、遷移効果を開始し、マークC 634において遷移効果を完了する。図6A図6Dの例では、遷移効果は、マーキングD 635において用いられない。したがって、遷移効果は、物体601が軌道602に沿って移動するときの物体601の位置に従って適用される。
【0102】
シーケンス650(図6D)は、物体601が点A 605、B 606、C 607及びD 608に存在し、記載の構成が適用されたときに、仮想カメラ603によってキャプチャーされたフレームを示している。シーケンス650のフレームA 651、B 652、C 653及びD 654は、仮想カメラ603に接近している物体655(物体601に対応する)をそれぞれ示している。ステップ350の実行の結果として、フレームB 652において、物体655は可視であり、フレームC 653では、物体656(655に対応する)が透明となり視聴者に知覚できない(点線によって示す)ように、遷移効果が適用される。フレームC 653とD 654との間において、物体601はクリッピングされるが、物体601は透明であるので、仮想カメラ603は物体601をレンダリングしない。
【0103】
図7A図7Dは、この場合には人である物体が、仮想カメラの後方から仮想カメラに接近し、仮想カメラの視野内に入っていく一例示のシナリオを示している。
【0104】
図7Aは、シーン700のトップダウンビューを示している。物体701は、軌道702に従って仮想カメラ703に接近している。仮想カメラ703は視野760を有する。点A 705、B 706、C 707及びD 708は、軌道702に沿って移動する物体701の連続した時点をそれぞれ表している。点A 705は、物体701が仮想カメラ703のニアクリッピング平面704の後方にあるときの時点に関するものである。点B 706、C 707及びD 708は、物体701がニアクリッピング平面704を通過した時点に関するものである。
【0105】
図7Bのシーケンス720は、物体701がそれぞれ点A 705、B 706、C 707及びD 708にあり、記載の構成が実施されないときに、仮想カメラ703によってキャプチャーされたビデオフレームを参考として示している。シーケンス720のフレームA 721、B 722、C 723及びD 724は、物体725(物体701に対応する)が視野760に入り、仮想カメラ703から遠ざかっていることをそれぞれ示している。物体725は、フレームA 721とB 722との間のフレームにおいてニアクリッピング平面704によって視覚的にクリッピングされる。
【0106】
図7Cは、ステップ420の実行の結果としての物体701のオクルージョンプロファイルの対応するグラフ730を示している。オクルージョンプロファイル731は、物体701が引き起こすオクルージョンの量を経時的に示している。点A 705、B 706、C 707及びD 708は、オクルージョンプロファイル731にそれぞれマーキングA 732、B 733、C 734及びD 735として表される。物体701は、視野760の外部で始動するので、プロファイル731は、点A 732によって表されるようにゼロオクルージョンから開始する。マーキングB 734は、物体701が視野760に入り、クリッピング平面704によるクリッピングが停止した後のピークオクルージョンの時点を表している。
【0107】
ステップ430は、人701の遷移効果を選択することによってオクルージョン測定量を割り当てるように実行される。ステップ430においてライン736及び737によって示される時間の量を加算することによって、物体701が視野760に存在する全時間が求められる。図7A図7Dでは、記載の構成は、物体701が視野760に入ることによって引き起こされるあらゆる物体クリッピングを隠すように動作するが、物体701が視野760に入るときに撹乱的オクルージョンを引き起こすことを防止するようにも動作する。アプリケーション133は、ライン736によって示される時間の量に基づいて、物体701が撹乱的オクルージョンを引き起こすと判断する。ライン736によって示される時間の量が、閾値、例えば1秒未満である場合、ステップ430の実行によって、物体701が視野760に突然現れることによって視野760に撹乱が引き起こされると判断される。物体701を視野760に徐々に導入する遷移効果が割り当てられる。したがって、この遷移効果は、クリッピング平面740に対する物体701の位置に基づいて決定される。
【0108】
遷移効果が決定されると、ステップ350において、オクルージョン閾値738及び739を用いて、遷移効果が適用される。図7A図7Dの例では、ステップ350における遷移効果の適用は、オクルージョンプロファイル731が第1の閾値要件を満たす(マークC 734において上側オクルージョン閾値738を横切る)と開始し、オクルージョンプロファイルが第2の閾値要件を満たす(マークD 735において下側閾値を横切る)と完了する。
【0109】
図7Dのシーケンス750は、物体701が点A 705、B 706、C 707及びD 708に存在し、記載の構成が実施されたときに、仮想カメラ703によってレンダリングされたビデオフレーム751〜754を示している。シーケンス750のフレームA 751、B 752、C 753及びD 754は、仮想カメラ703の後方から仮想カメラ703に接近し、その後、仮想カメラ703から離れていく物体755(物体701に対応する)をそれぞれ示している。ステップ350の実行の結果、フレームC 753では、物体755は、透明となるように又は視聴者に知覚できないようにレンダリングされ(点線によって示す)、フレームD 754では、物体756(物体755に対応する)は可視である。フレームB 752とC 753との間で、物体701はクリッピングされるが、物体701が実質的に透明又は不可視になるように遷移効果が適用されるので、仮想カメラ703は、物体701をレンダリングしない。
【0110】
図8A図8Dは、この場合は人である物体が、仮想カメラの後方から当該カメラに接近し、当該仮想カメラの視野内に斜めに入っていく一例示のシナリオを示している。
【0111】
図8Aは、シーン800のトップダウンビューを示している。人である物体801は、軌道802に従って仮想カメラ803に接近している。カメラ803は視野860を有する。点A 805、B 806、C 807及びD 808は、軌道802に沿って移動する物体801の連続した時点をそれぞれ表している。点A 805は、物体801がニアクリッピング平面804の後方にあるときの時点を表している。点B 806、C 807及びD 808は、物体801がニアクリッピング平面804を通過した時点を表している。
【0112】
図8Bのシーケンス820は、物体801が点A 805、B 806、C 807及びD 808にあり、記載の方法が実施されないときに、仮想カメラ803によってキャプチャーされたビデオフレームを参考として示している。シーケンス820のフレームA 821、B 822、C 823及びD 824は、物体825(物体801に対応する)が視野860に斜めに入り、仮想カメラ803から遠ざかっていることをそれぞれ示している。物体825は、フレームA 821とフレームB 822との間のフレームにおいてニアクリッピング平面804によって視覚的にクリッピングされる。
【0113】
図8Cは、ステップ420の実行の結果としての物体801のオクルージョンプロファイルの対応するグラフ830を示している。オクルージョンプロファイル831は、物体801が引き起こすオクルージョンの量を視野860に対して経時的に示している。図8Aの点A 805、B 806、C 807及びD 808は、オクルージョンプロファイル831にそれぞれマーキングA 832、B 833、C 834及びD 835として表される。物体801は、視野860の外部で開始するので、プロファイル831は、点A 832によって表されるようにゼロオクルージョンから開始する。マーキングB 834は、物体801が視野860に入り、クリッピング平面804によるクリッピングが停止した後のピークオクルージョンの時点を表している。
【0114】
方法400は、ステップ430に続き、物体701の遷移効果を決定する。ステップ430においてライン836及び837によって示される時間の量を加算することによって、物体801が視野860に存在する全時間が求められる。図8A図8Dの例では、記載の構成は、物体801が視野860に入ることによって引き起こされるあらゆる物体クリッピングを隠すように遷移効果を選択するよう動作する。図8A及び図8Bでは、物体は、撹乱的オクルージョンを引き起こさない。なぜならば、ライン836によって示される時間の量が時間閾値(例えば、図8Cでは1秒)未満であっても、ピークオクルージョン(マークB 833)は、許容可能な限度内にあるからである。許容可能な限度は、上側オクルージョン閾値838未満で発生するオクルージョンに関するものである。
【0115】
選択された遷移効果は、ステップ350において適用される。アプリケーション1333が物体801の遷移効果を決定すると、オクルージョン閾値838及び839を用いて、遷移効果が適用される。ステップ350において、アプリケーション1333は、オクルージョンプロファイル831がオクルージョン閾値838未満でピークに達するので、マークB 833において遷移効果を開始する。アプリケーション1333は、オクルージョンプロファイル831がマークC 834において下側閾値839を横切ると、遷移を完了する。したがって、遷移効果は、オクルージョンプロファイル(量)831が少なくとも1つの閾値を満たすことに基づいて適用される。
【0116】
図8Dのシーケンス850は、物体801が点A 805、B 806、C 807及びD 808に存在し、記載の構成が実施されたときに、仮想カメラ803によってキャプチャーされたビデオフレームを示している。シーケンス850のフレームA 851、B 852、C 853及びD 854は、視野860に斜めに入り、カメラ803から遠ざかっていく物体855(物体801に対応する)をそれぞれ示している。ステップ350の実行の結果として、物体855は、フレームB 852において物体855を不可視にレンダリングする遷移効果(点線によって示される)が適用され、物体856は、フレームC 853において可視である。フレームA 851とB 852との間において、物体855はクリッピングされるが、カメラ803は、選択された遷移効果が透明又は不可視に関するものであるので、物体855をレンダリングしない。
【0117】
図9A図9Dは、この場合は人である物体が、仮想カメラに相対的に近接して、仮想カメラの視野を横断して移動している一例示のシナリオを示している。
【0118】
図9Aは、シーン900のトップダウンビューを示している。物体901は、軌道902に従って仮想カメラ903に接近している。仮想カメラ903は視野960を有する。点A 905、B 906及びC 907は、軌道902に沿って移動する物体901の連続した時点をそれぞれ表している。点A 905は、物体901が視野960に入る時点を表している。点B 906は、物体901が視野960に完全に現れている時点を表している。点C 907は、物体901が視野960から出て行く時点を表している。
【0119】
図9Bのシーケンス920は、物体801が点A 905、B 906及びC 907にあり、記載の構成が実施されないときに、仮想カメラ703によってキャプチャーされたビデオフレームを参考として示している。シーケンス920のフレームA 921、B 922及びC 923は、視野960に入り、視野960を横断して移動する物体924(物体901に対応する)を点A 905、B 906及びC 907においてそれぞれ示している。物体925は、視野960に高速に入り、その後、去って行き、フレームA 921、B 922及びC 923においてオクルージョンを引き起こす。
【0120】
図9Cは、ステップ420の実行の結果としての物体901のオクルージョンプロファイルのグラフ930を示している。オクルージョンプロファイル931は、物体901が視野960に引き起こすオクルージョンの量を経時的に示している。点A 905、B 906及びC 907は、オクルージョンプロファイル931にそれぞれマーキングA 932、B 933及びC 934として表される。マーキングB 933は、物体901が視野960に入った後のピークオクルージョンの時点を表している。
【0121】
ステップ430は、物体701に遷移効果を割り当てるように実行される。ステップ430においてライン936及び937によって示される時間の量を加算することによって、物体901が視野960に存在する全時間が求められる。図9A図9Dの例では、記載の構成は、物体901が、視野960に入るときに、撹乱的オクルージョンを引き起こすことを防止するように動作する。アプリケーション1333は、オクルージョンプロファイル931が上側オクルージョン閾値938を越えていると判断することによって、物体1333が撹乱的オクルージョンを引き起こすと判断する。物体901がオクルージョンを引き起こすと判断した後、ライン936及び937によって示される時間の量が組み合わされ、全時間が最小出現閾値(例えば、1秒)未満であると判断される。オクルージョンプロファイル831は、物体901がオクルージョンを引き起こし、視野960に相対的に高速に入って出て行くことを示しているので、アプリケーション1333は、物体901を視野960内に移行させないことを選択する。遷移効果は、物体901が視野960に関連した仮想ビューに存在する時間の量に基づいて効果的に決定される。さらに、遷移効果は、物体が仮想ビューに存在する時間の量を1秒の閾値と比較することによって決定される。閾値は、幾つかの構成では、ユーザー又は視聴者を調べることによって求めることができる。ステップ430は、「表示しない」という遷移効果、又は、幾つかの構成では透明の遷移効果を適用するように動作する。
【0122】
ステップ350は、決定された透明を適用するように実行される。図9Dにおけるシーケンス950は、物体901が点A 905、B 906及びC 907に存在し、記載の構成が実施されたときに、仮想カメラ903によってキャプチャーされたビデオフレームを示している。ステップ350の実行の結果として、フレームA 951、B 952及びC 953において、物体954は、(点線954によって示されるように)透明としてレンダリングされる。図9Dの例では、遷移効果は、オクルージョンプロファイル831がオクルージョン閾値938と939との間にあるフレームではなく、シーケンス950における全てのフレームについて適用される。
【0123】
図10A図10Dは、この場合はボールである物体が、カメラに近接して、カメラの視野を横断して移動している一例示のシナリオを示している。
【0124】
図10Aは、シーン1000のトップダウンビューを示している。物体1001であるボールは、軌道1002に従って仮想カメラ1003に接近している。仮想カメラ1003は視野1060を有する。点A 1005、B 1006及びC 1007は、軌道1002に沿って移動するボール1001の連続した時点をそれぞれ表している。点A 1005は、物体1001が視野1060に入る時点に関するものである。点B 1006は、物体1001が視野1060に完全に現れている時点を表している。点C 1007は、物体が視野1060から出て行く時点に関するものである。仮想カメラ1003はニアクリッピング平面1004を有する。点A 1005、B 1006及びC 1007は、全てクリッピング平面1004の外側にある。
【0125】
図10Bは、物体1001が点A 1005、B 1006及びC 1007にあり、記載の構成が実施されないときに、仮想カメラ1003によってキャプチャーされたビデオフレームのシーケンス1020を参考として示している。シーケンス1020のフレームA 1021、B 1022及びC 1023は、視野1060に入り、視野1060を横断して移動する物体1024(ボール1001に対応する)を点A 1005、B 1006及びC 1007においてそれぞれ示している。物体1024は、視野1060に高速に入り、その後、去って行く。
【0126】
図10Cは、ステップ420を実行した結果としての物体1001のオクルージョンプロファイルのグラフ1030を示している。オクルージョンプロファイル1031は、物体1001が引き起こすオクルージョンの量を経時的に示している。図10Aの点A 1005、B 1006及びC 1007は、オクルージョンプロファイル1031にそれぞれマーキングA 1032、B 1033及びC 1034として表される。マーキングB 1034は、物体1001が視野1060に入った後のピークオクルージョンの時点を表している。
【0127】
ステップ430は、ボール1001に遷移効果又は遷移を割り当てるように実行される。ステップ430においてライン1036及び1037によって示される時間の量を加算することによって、物体1001が視野1060に存在する全時間が求められる。マーキングB 1033によって示されるピークオクルージョンの量は、上側オクルージョン閾値1138よりも低く、物体1001が負のオクルージョン(negative occlusion)を引き起こさないことを示している。物体1001が視野1060に存在する時間の量が相対的に短いにもかかわらず、負のオクルージョンは引き起こされない。アプリケーション1333は、物体1001が視野1060に入ると直ちに、物体1001を可視にする遷移効果を割り当てる。
【0128】
図10Dのシーケンス1050は、物体1001が図10Aの点A 1005、B 1006及びC 1007に存在し、記載の構成が実施されたときに、仮想カメラ1003によってキャプチャーされたビデオフレームを示している。ステップ350の実行の結果として、物体1054(ボール1001に対応する)は、シーケンス1050のフレームA 1051、B 1052及びC 1053のそれぞれにおいて可視になる(表示される)ようにレンダリングされる。
【0129】
図11A図11Dは、この場合は人である物体が、仮想カメラから遠くにおいて、仮想カメラの視野を横断して移動している一例示のシナリオを示している。
【0130】
図11Aは、シーン1100のトップダウンビューを示している。人である物体1101は、軌道1102に従って仮想カメラ1103に接近している。仮想カメラ1103は視野1160を有する。点A 1105、B 1106及びC 1107は、軌道1102に沿って移動する物体1103の連続した時点をそれぞれ表している。点A 1105は、物体が視野1160に入る時点に関するものである。点B 1106は、物体1101が視野1160に完全に現れている時点に関するものである。点C 1107は、物体1101が視野1160から出て行く時点に関するものである。
【0131】
図11Bは、物体1101が点A 1105、B 1106及びC 1107にあり、記載の構成が実施されないときに、仮想カメラ1103によってキャプチャーされたビデオフレームのシーケンスを参考として示している。シーケンス1120のフレームA 1121、B 1122及びC 1123は、視野1160に入り、視野1160を横断して移動する物体1124(人1101に対応する)を点A 1105、B 1106及びC 1107においてそれぞれ示している。物体1124は、視野1160に入り、その後、撹乱的オクルージョンを引き起こすことなく、去って行く。
【0132】
図11Cは、ステップ420を実行した結果としての物体1101のオクルージョンプロファイルのグラフ1130を示している。オクルージョンプロファイル1131は、物体1101が引き起こすオクルージョンの量を経時的に示している。図11Aの点A 1105、B 1106及びC 1107は、オクルージョンプロファイル1131にそれぞれマーキングA 1132、B 1133及びC 1134として表される。マーキングB 1133は、物体1101が視野1160に入った後のピークオクルージョンの時点を表している。
【0133】
ステップ430は、人1101の遷移効果を割り当てるように又は決定するように実行される。ライン1136及び1137によって示される時間の量を加算することによって、物体1101が視野1160に存在する全時間が求められる。マーキングB 1133によって示されるピークオクルージョンの量は、上側オクルージョン閾値1138よりも低く、物体1101が撹乱的オクルージョンを引き起こさないことを示している。撹乱的オクルージョンは引き起こされないので、ステップ430は、物体1101が視野1160に入ると直ちに物体1101を可視にする遷移効果を決定するように実行される。
【0134】
図11Dのシーケンス1150は、物体1101が点A 1105、B 1106及びC 1107に存在し、記載の構成が実施されたときに、カメラ1103によってキャプチャーされたビデオフレームを示している。ステップ350の実行の結果として、物体1154(物体1101に対応する)は、シーケンス1150のフレームA 1151、B 1152及びC 1153のそれぞれにおいて可視としてレンダリングされる。
【0135】
図12A図12Dは、仮想カメラの視野において互いに近づく軌道上に2つの物体が存在する一例示のシナリオを示している。求められた軌道によって、これらの2つの物体の間に相互作用が生じる可能性がある。これらの物体のうちの第1のものは、仮想カメラの前方から視野内に入り仮想カメラに接近する人である。第2の物体は、カメラの後方から視野内に入り仮想カメラに接近する人である。アプリケーション1333は、各物体の軌道を求めるとともに軌道が交差すると判断することによって、2つの物体が互いにどのように相互作用するのかを求めるように実行される。
【0136】
図12Aは、シーン1200のトップダウンビューを示している。人である第1の物体1201は、軌道1202に従って後方から仮想カメラ1205に接近している。仮想カメラ1205は視野1260を有する。第2の物体1203は、軌道1204に従って前方から仮想カメラ1205に接近している。点A 1207、B 1208及びC 1209は、軌道1202に沿って移動する物体の第1の物体1201に関連した連続した時点をそれぞれ表している。点A 1207は、物体1201がカメラ1205のニアクリッピング平面1204の後方に存在する時点に関するものである。点B 1208及びC 1209は、物体1201がニアクリッピング平面1204を通過した時点に関するものである。
【0137】
図12Bにおけるシーケンス1220は、記載の構成が実施されていないときに、点A 1207、B 1208及びC 1209からカメラ1205によってキャプチャーされたビデオフレームを参考として示している。シーケンス1220のフレームA 1221は、視野1260内の第2の物体1225(人1203に対応する)のみを示している。シーケンス1220のフレームB 1222は、視野1260に入った後、第2の物体1225の前方にいる第1の物体1224(人1201に対応する)を示している。フレームA 1221とB 1222との間において、第1の物体1224のクリッピングは、仮想カメラ1205によってレンダリングされたビデオデータにおいて可視である。シーケンス1220のフレームC 1223は、第1の物体1224及び第2の物体1225が相互作用していることを示している。
【0138】
物体1201及び1203を個別に扱うために、第1の物体1201は、図7A図7Dに関して説明した人701と同様の方法で遷移効果が選択及び適用される。第2の物体1203の遷移効果が、図6A図6Dにおいて説明した手法と同様の手法を用いて割り当てられ、適用される。図6A図6D及び図7A図7Dにおいて用いられた方法が同時に実施された場合、代替のフレームC−Alt1226が、時点C 1209において仮想カメラ1205によってキャプチャーされる。相互作用点C 1209の時点において、第1の物体1227(物体1224に対応する)は、視聴者に不可視である一方、第2の物体1225は、視聴者に可視である。図12A図12Dにおいて、物体1201及び1203を個別に扱うことによって、好ましくない結果が生み出される。
【0139】
図12Cは、ステップ420の実行の結果としての図12Aの第1の物体1201及び第2の物体1203のオクルージョンプロファイルのグラフ1230を示している。第1の物体1201のオクルージョンプロファイル1231は、物体1201が引き起こすオクルージョンの量を経時的に示している。図1Aの点A 1207、B 1208及びC 1209は、オクルージョンプロファイル1231においてそれぞれマーキングA 1233、B 1234及びC 1235として表される。第1の物体1201は、視野1260の外側で始動するので、プロファイル1231は、点A 1233によって表されるようにゼロオクルージョンから開始する。マーキングB 1234は、物体1201が視野1260に入り、クリッピング平面1206によるクリッピングが停止した後のピークオクルージョンの時点を表している。
【0140】
アプリケーション1333は、ステップ430を実行して、遷移効果を割り当てるか又は選択する。ライン1236及び1237によって示される時間の量を加算することによって、物体1201が視野1260に存在する全時間が求められる。図12A図12Dの例では、アプリケーション1333は、第1の物体1201が視野1260に入ることによって引き起こされるあらゆる物体クリッピングを最初に隠す遷移効果を選択して適用するように実行される。アプリケーション1333は、第1の物体1201が視野1260に入った際に撹乱的オクルージョンを引き起こすことを防止するが、第1の物体1201が2つの物体1201及び1203の間の相互作用の時点まで可視であることも確保する遷移効果を選択して適用するようにも実行される。前述した例で言及した上側オクルージョン閾値及び下側オクルージョン閾値は、物体が互いに相互作用することに基づいて変更される。アプリケーション133は、ステップ430において、第1の物体1201がもはやクリッピングされない点に上側オクルージョン閾値1238を変更するように実行される。アプリケーション133は、マークC 1235によって表される相互作用点におけるオクルージョンのレベルに下側閾値1239を変更するようにも実行される。したがって、遷移効果は、仮想カメラ1205によってレンダリングされた仮想ビュー内の他の物体に基づいて決定される。
【0141】
第1の物体1201の遷移効果が割り当てられると、アプリケーション1333は、ステップ350において、変更されたオクルージョン閾値1238及び1239を用いてこの遷移効果を適用する。図12A及び図12Bの例では、ステップ350において、遷移効果は、上側オクルージョン閾値1238と一致するマークB 1234において適用される。アプリケーション1333は、マークC 1235によって表される相互作用点において遷移効果を完了する。マークCは、ここでは、下側オクルージョン閾値1238と一致する。図12A図12Dの例では、遷移効果は、オクルージョンプロファイル531が変更された閾値を満たすことに基づいて適用される。
【0142】
図12Dは、物体1203が点A 1207、B 1208及びC 1209に存在し、記載の構成が実施されたときに、仮想カメラ1205によってキャプチャーされたビデオフレームのシーケンスを示している。フレームA 1251は、視野1260内の第2の物体1254(物体1203に対応する)のみを示している。フレームB 1252は、視野1260に入った後、第2の物体1203の前方において実質的に透明又は不可視である第1の物体1255(人1201に対応する)を示している。フレームC 1253は、視野1260内で相互作用する、可視である第1の物体1256及び第2の物体1254を示している。
【0143】
記載の構成は、コンピューター業界及びデータ処理業界、特にライブ放送業界等の放送業界に適用可能である。
【0144】
上述した実施態様においてオクルージョンプロファイルを求め、遷移効果を選択して適用するとき、記載の構成は、仮想ビューの生成の際のクリッピング効果を削減する利点をもたらす。その結果得られるレンダリングされた仮想ビュー(例えば、ビデオデータ)は、通常、視聴者に与える不快感(jarring)が少ない。さらに、オクルージョンプロファイルを用いることによって、遷移効果は、物体の特定の軌道に従って選択される。競技場110における物体140等の撮影環境の状況は維持される。コントローラー180のオペレーターの作業負荷は効果的に削減される。なぜならば、オペレーターは、カメラの視野の内外の双方において物体の周囲の仮想カメラの位置及び近傍を絶えず管理する必要がないと同時に、コンペリングフッテージ(compelling footage)をキャプチャーするよう作業する必要もないからである。
【0145】
上記内容は、本発明の幾つかの実施形態しか説明しておらず、本発明の範囲及び趣旨から逸脱することなく、それらの実施形態に対して変更及び/又は変形を行うことができる。実施形態は例示であって、限定ではない。
図1
図2
図3
図4
図5
図6A
図6B
図6C
図6D
図7A
図7B
図7C
図7D
図8A
図8B
図8C
図8D
図9A
図9B
図9C
図9D
図10A
図10B
図10C
図10D
図11A
図11B
図11C
図11D
図12A
図12B
図12C
図12D
図13A
図13B
【手続補正書】
【提出日】2019年7月1日
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0002
【補正方法】変更
【補正の内容】
【0002】
本発明は仮想カメラに係る画像を処理するシステム及び方法に関する
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0010
【補正方法】変更
【補正の内容】
【0010】
本開示の1つの態様は、複数の撮影装置によりそれぞれ異なる方向から撮影することで得られる複数の画像に基づいて、仮想カメラの位置及び向きに応じた仮想画像を生成する画像処理システムであって、前記仮想カメラの視野内のオブジェクトに適用される画像効果を、前記オブジェクトの位置と前記仮想カメラの位置とに基づいて決定する決定手段と、前記決定手段により決定された画像効果が前記オブジェクトに適用された前記仮想画像を、前記複数の画像に基づいて生成する生成手段とを有する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0011
【補正方法】削除
【補正の内容】
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0012
【補正方法】削除
【補正の内容】
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0013
【補正方法】削除
【補正の内容】
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0014
【補正方法】削除
【補正の内容】
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0015
【補正方法】削除
【補正の内容】
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0016
【補正方法】削除
【補正の内容】
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】0017
【補正方法】削除
【補正の内容】
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】0018
【補正方法】削除
【補正の内容】
【手続補正12】
【補正対象書類名】明細書
【補正対象項目名】0019
【補正方法】削除
【補正の内容】
【手続補正13】
【補正対象書類名】明細書
【補正対象項目名】0020
【補正方法】削除
【補正の内容】
【手続補正14】
【補正対象書類名】明細書
【補正対象項目名】0021
【補正方法】削除
【補正の内容】
【手続補正15】
【補正対象書類名】明細書
【補正対象項目名】0022
【補正方法】削除
【補正の内容】
【手続補正16】
【補正対象書類名】明細書
【補正対象項目名】0023
【補正方法】削除
【補正の内容】
【手続補正17】
【補正対象書類名】明細書
【補正対象項目名】0024
【補正方法】削除
【補正の内容】
【手続補正18】
【補正対象書類名】明細書
【補正対象項目名】0025
【補正方法】削除
【補正の内容】
【手続補正19】
【補正対象書類名】明細書
【補正対象項目名】0026
【補正方法】削除
【補正の内容】
【手続補正20】
【補正対象書類名】明細書
【補正対象項目名】0027
【補正方法】削除
【補正の内容】
【手続補正21】
【補正対象書類名】明細書
【補正対象項目名】0028
【補正方法】削除
【補正の内容】
【手続補正22】
【補正対象書類名】明細書
【補正対象項目名】0029
【補正方法】削除
【補正の内容】
【手続補正23】
【補正対象書類名】明細書
【補正対象項目名】0030
【補正方法】削除
【補正の内容】
【手続補正24】
【補正対象書類名】明細書
【補正対象項目名】0031
【補正方法】削除
【補正の内容】
【手続補正25】
【補正対象書類名】明細書
【補正対象項目名】0032
【補正方法】削除
【補正の内容】
【手続補正26】
【補正対象書類名】明細書
【補正対象項目名】0033
【補正方法】削除
【補正の内容】
【手続補正27】
【補正対象書類名】明細書
【補正対象項目名】0034
【補正方法】削除
【補正の内容】
【手続補正28】
【補正対象書類名】明細書
【補正対象項目名】0035
【補正方法】削除
【補正の内容】
【手続補正29】
【補正対象書類名】明細書
【補正対象項目名】0036
【補正方法】削除
【補正の内容】
【手続補正30】
【補正対象書類名】明細書
【補正対象項目名】0037
【補正方法】削除
【補正の内容】
【手続補正31】
【補正対象書類名】明細書
【補正対象項目名】0038
【補正方法】削除
【補正の内容】
【手続補正32】
【補正対象書類名】明細書
【補正対象項目名】0039
【補正方法】削除
【補正の内容】
【手続補正33】
【補正対象書類名】明細書
【補正対象項目名】0040
【補正方法】削除
【補正の内容】
【手続補正34】
【補正対象書類名】明細書
【補正対象項目名】0041
【補正方法】削除
【補正の内容】
【手続補正35】
【補正対象書類名】明細書
【補正対象項目名】0042
【補正方法】削除
【補正の内容】
【手続補正36】
【補正対象書類名】明細書
【補正対象項目名】0043
【補正方法】削除
【補正の内容】
【手続補正37】
【補正対象書類名】明細書
【補正対象項目名】0044
【補正方法】削除
【補正の内容】
【手続補正38】
【補正対象書類名】明細書
【補正対象項目名】0045
【補正方法】削除
【補正の内容】
【手続補正39】
【補正対象書類名】明細書
【補正対象項目名】0046
【補正方法】削除
【補正の内容】
【手続補正40】
【補正対象書類名】明細書
【補正対象項目名】0047
【補正方法】削除
【補正の内容】
【手続補正41】
【補正対象書類名】明細書
【補正対象項目名】0050
【補正方法】変更
【補正の内容】
【0050】
本明細書に記載の構成は、図1に例示されるようなパフォーマンス競技場の状況で用いられることを意図している。図1に示すように、システム100は、ほぼ長方形、長円形又は円形の競技フィールドが中央にあると仮定される競技場110を含み、1つ以上の環状に並んだカメラ120A〜12Xが、競技場110を取り囲むことが可能になっている。図1に見られるように、競技場110は、単一の環状に並んだカメラ120A〜120Xを備える。複数のカメラ120A〜120Xのそれぞれは、競技場110に対して所定のロケーションに配置されている。記載の構成では、競技場110はフィールドであるが、他の構成では、競技場110は、音楽ステージ、シアター、公共の会場又は私有の会場とすることができる。図1の例におけるフィールド110は、少なくとも1つの物体140を含む。物体140は、単数若しくは複数の人、ボール、車両又は任意の構造物とすることができる。
【手続補正42】
【補正対象書類名】明細書
【補正対象項目名】0084
【補正方法】変更
【補正の内容】
【0084】
方法300は、取得ステップ310から開始する。ステップ310において、仮想カメラ210の視野220を反映したデータが取得される。この視野データは、プロセッサ1305が図の例における物理カメラ120A〜120Xから受信されたビデオデータを用いることによって仮想カメラを構築することから取得される。視野データは、カメラオペレーターが、適切な場合に、コントローラー180からの入力データを用いて物理カメラ120A〜120Xのパラメーターに対して行った変更を反映するように更新される。
【手続補正43】
【補正対象書類名】明細書
【補正対象項目名】0086
【補正方法】変更
【補正の内容】
【0086】
方法300は、プロセッサ1305の実行下で、ステップ320から決定ステップ330に続く。ステップ330において、物体の軌道が求められる。物体の軌道を求める実施態様がある。1つの構成では、アプリケーション133は、以前にキャプチャーされたイベントを仮想的に再構築したもの(リプレー)を生成し、この場合、物体の移動は知られている。別の構成では、アプリケーション133は、仮想的に再構築したもの(ライブ)をリアルタイムで生成し、この場合、物体の軌道は、予測軌道である。予測軌道は、例えば、現在の軌道に基づいて、現在の位置並びに現在のスピード及び速度を用い、次に、その後の時点を外挿して求められる。
【手続補正44】
【補正対象書類名】明細書
【補正対象項目名】0097
【補正方法】変更
【補正の内容】
【0097】
図6Aは、シーン600のトップダウンビューを示している。物体601は、軌道602に従って仮想カメラ603に接近している。仮想カメラ603は視野660を有する。点A 605、B 606、C 607及びD 608は、軌道602に沿って移動する物体601の連続した時点をそれぞれ表している。点A 605、B 606、C 607は、物体601がカメラ603のニアクリッピング平面604の前方にあるときの時点に関するものである。点D 60は、物体601がニアクリッピング平面604を通過したときの時点に関するものである。仮想カメラビューのファークリッピング平面は、参照を容易にするために図6Aから(同様に図7A図12Aからも)除外されている。
【手続補正45】
【補正対象書類名】明細書
【補正対象項目名】0098
【補正方法】変更
【補正の内容】
【0098】
シーケンス620(図6B)は、物体601が点A 605、B 606、C 607及びD 608にあり、記載の構成が実施されないときに、仮想カメラ60によってキャプチャー又はレンダリングされたビデオフレームを参考として示している。シーケンス620のフレームA 621、B 622、C 623及びD 624はそれぞれ、点A、B、C、及びD(605〜608)における仮想カメラ603に接近している物体625(物体601に対応する)を示している。物体625は、フレームC 623とD 624との間のフレームにおいてニアクリッピング平面604によって視覚的にクリッピングされる。
【手続補正46】
【補正対象書類名】明細書
【補正対象項目名】0106
【補正方法】変更
【補正の内容】
【0106】
図7Cは、ステップ420の実行の結果としての物体701のオクルージョンプロファイルの対応するグラフ730を示している。オクルージョンプロファイル731は、物体701が引き起こすオクルージョンの量を経時的に示している。点A 705、B 706、C 707及びD 708は、オクルージョンプロファイル731にそれぞれマーキングA 732、B 733、C 734及びD 735として表される。物体701は、視野760の外部で始動するので、プロファイル731は、点A 732によって表されるようにゼロオクルージョンから開始する。マーキングB 73は、物体701が視野760に入り、クリッピング平面704によるクリッピングが停止した後のピークオクルージョンの時点を表している。
【手続補正47】
【補正対象書類名】明細書
【補正対象項目名】0113
【補正方法】変更
【補正の内容】
【0113】
図8Cは、ステップ420の実行の結果としての物体801のオクルージョンプロファイルの対応するグラフ830を示している。オクルージョンプロファイル831は、物体801が引き起こすオクルージョンの量を視野860に対して経時的に示している。図8Aの点A 805、B 806、C 807及びD 808は、オクルージョンプロファイル831にそれぞれマーキングA 832、B 833、C 834及びD 835として表される。物体801は、視野860の外部で開始するので、プロファイル831は、点A 832によって表されるようにゼロオクルージョンから開始する。マーキングB 83は、物体801が視野860に入り、クリッピング平面804によるクリッピングが停止した後のピークオクルージョンの時点を表している。
【手続補正48】
【補正対象書類名】明細書
【補正対象項目名】0119
【補正方法】変更
【補正の内容】
【0119】
図9Bのシーケンス920は、物体01が点A 905、B 906及びC 907にあり、記載の構成が実施されないときに、仮想カメラ03によってキャプチャーされたビデオフレームを参考として示している。シーケンス920のフレームA 921、B 922及びC 923は、視野960に入り、視野960を横断して移動する物体924(物体901に対応する)を点A 905、B 906及びC 907においてそれぞれ示している。物体925は、視野960に高速に入り、その後、去って行き、フレームA 921、B 922及びC 923においてオクルージョンを引き起こす。
【手続補正49】
【補正対象書類名】明細書
【補正対象項目名】0121
【補正方法】変更
【補正の内容】
【0121】
ステップ430は、物体01に遷移効果を割り当てるように実行される。ステップ430においてライン936及び937によって示される時間の量を加算することによって、物体901が視野960に存在する全時間が求められる。図9A図9Dの例では、記載の構成は、物体901が、視野960に入るときに、撹乱的オクルージョンを引き起こすことを防止するように動作する。アプリケーション1333は、オクルージョンプロファイル931が上側オクルージョン閾値938を越えていると判断することによって、物体901が撹乱的オクルージョンを引き起こすと判断する。物体901がオクルージョンを引き起こすと判断した後、ライン936及び937によって示される時間の量が組み合わされ、全時間が最小出現閾値(例えば、1秒)未満であると判断される。オクルージョンプロファイル831は、物体901がオクルージョンを引き起こし、視野960に相対的に高速に入って出て行くことを示しているので、アプリケーション1333は、物体901を視野960内に移行させないことを選択する。遷移効果は、物体901が視野960に関連した仮想ビューに存在する時間の量に基づいて効果的に決定される。さらに、遷移効果は、物体が仮想ビューに存在する時間の量を1秒の閾値と比較することによって決定される。閾値は、幾つかの構成では、ユーザー又は視聴者を調べることによって求めることができる。ステップ430は、「表示しない」という遷移効果、又は、幾つかの構成では透明の遷移効果を適用するように動作する。
【手続補正50】
【補正対象書類名】明細書
【補正対象項目名】0122
【補正方法】変更
【補正の内容】
【0122】
ステップ350は、決定された透明を適用するように実行される。図9Dにおけるシーケンス950は、物体901が点A 905、B 906及びC 907に存在し、記載の構成が実施されたときに、仮想カメラ903によってキャプチャーされたビデオフレームを示している。ステップ350の実行の結果として、フレームA 951、B 952及びC 953において、物体954は、(点線954によって示されるように)透明としてレンダリングされる。図9Dの例では、遷移効果は、オクルージョンプロファイル31がオクルージョン閾値938と939との間にあるフレームではなく、シーケンス950における全てのフレームについて適用される。
【手続補正51】
【補正対象書類名】明細書
【補正対象項目名】0126
【補正方法】変更
【補正の内容】
【0126】
図10Cは、ステップ420を実行した結果としての物体1001のオクルージョンプロファイルのグラフ1030を示している。オクルージョンプロファイル1031は、物体1001が引き起こすオクルージョンの量を経時的に示している。図10Aの点A 1005、B 1006及びC 1007は、オクルージョンプロファイル1031にそれぞれマーキングA 1032、B 1033及びC 1034として表される。マーキングB 103は、物体1001が視野1060に入った後のピークオクルージョンの時点を表している。
【手続補正52】
【補正対象書類名】明細書
【補正対象項目名】0127
【補正方法】変更
【補正の内容】
【0127】
ステップ430は、ボール1001に遷移効果又は遷移を割り当てるように実行される。ステップ430においてライン1036及び1037によって示される時間の量を加算することによって、物体1001が視野1060に存在する全時間が求められる。マーキングB 1033によって示されるピークオクルージョンの量は、上側オクルージョン閾値138よりも低く、物体1001が負のオクルージョン(negative occlusion)を引き起こさないことを示している。物体1001が視野1060に存在する時間の量が相対的に短いにもかかわらず、負のオクルージョンは引き起こされない。アプリケーション1333は、物体1001が視野1060に入ると直ちに、物体1001を可視にする遷移効果を割り当てる。
【手続補正53】
【補正対象書類名】明細書
【補正対象項目名】0130
【補正方法】変更
【補正の内容】
【0130】
図11Aは、シーン1100のトップダウンビューを示している。人である物体1101は、軌道1102に従って仮想カメラ1103に接近している。仮想カメラ1103は視野1160を有する。点A 1105、B 1106及びC 1107は、軌道1102に沿って移動する物体110の連続した時点をそれぞれ表している。点A 1105は、物体が視野1160に入る時点に関するものである。点B 1106は、物体1101が視野1160に完全に現れている時点に関するものである。点C 1107は、物体1101が視野1160から出て行く時点に関するものである。
【手続補正54】
【補正対象書類名】明細書
【補正対象項目名】0136
【補正方法】変更
【補正の内容】
【0136】
図12Aは、シーン1200のトップダウンビューを示している。人である第1の物体1201は、軌道1202に従って後方から仮想カメラ1205に接近している。仮想カメラ1205は視野1260を有する。第2の物体1203は、軌道1204に従って前方から仮想カメラ1205に接近している。点A 1207、B 1208及びC 1209は、軌道1202に沿って移動する物体の第1の物体1201に関連した連続した時点をそれぞれ表している。点A 1207は、物体1201がカメラ1205のニアクリッピング平面120の後方に存在する時点に関するものである。点B 1208及びC 1209は、物体1201がニアクリッピング平面1204を通過した時点に関するものである。
【手続補正55】
【補正対象書類名】明細書
【補正対象項目名】0141
【補正方法】変更
【補正の内容】
【0141】
第1の物体1201の遷移効果が割り当てられると、アプリケーション1333は、ステップ350において、変更されたオクルージョン閾値1238及び1239を用いてこの遷移効果を適用する。図12A及び図12Bの例では、ステップ350において、遷移効果は、上側オクルージョン閾値1238と一致するマークB 1234において適用される。アプリケーション1333は、マークC 1235によって表される相互作用点において遷移効果を完了する。マークCは、ここでは、下側オクルージョン閾値123と一致する。図12A図12Dの例では、遷移効果は、オクルージョンプロファイル1231が変更された閾値を満たすことに基づいて適用される。
【手続補正56】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数の撮影装置によりそれぞれ異なる方向から撮影することで得られる複数の画像に基づいて、仮想カメラの位置及び向きに応じた仮想画像を生成する画像処理システムであって、
前記仮想カメラの視野内のオブジェクトに適用される画像効果を、前記オブジェクトの位置と前記仮想カメラの位置とに基づいて決定する決定手段と、
前記決定手段により決定された画像効果が前記オブジェクトに適用された前記仮想画像、前記複数の画像に基づいて生成する生成手段と、を有することを特徴とする画像処理システム
【請求項2】
前記決定手段は、前記オブジェクトに適用される画像効果を、前記オブジェクトの軌道と、当該軌道上における前記オブジェクトの位置とに基づいて決定することを特徴とする請求項1に記載の画像処理システム。
【請求項3】
前記画像効果は、前記オブジェクトの表示有無の変更、フェードイン、フェードアウト、透明、色変換、混色、明度の変更、彩度の変更、テクスチャの変更、及びスタイルの変更のうち少なくとも1つを含むことを特徴とする請求項1又は2に記載の画像処理システム
【請求項4】
前記画像効果は、前記仮想カメラの視野内の他のオブジェクトに基づいて決定されることを特徴とする請求項1乃至3の何れか1項に記載の画像処理システム
【請求項5】
前記画像効果は、前記オブジェクトのオクルージョン評価量の経時的な変動に基づいて決定されることを特徴とする請求項1乃至4の何れか1項に記載の画像処理システム
【請求項6】
前記オクルージョン評価量は前記仮想カメラの視野における前記オブジェクトによるオクルージョンの度合いの評価量であることを特徴とする請求項5に記載の画像処理システム
【請求項7】
前記オクルージョン評価量の前記変動は、前記オブジェクトの軌道に基づいて求められることを特徴とする請求項5又は6に記載の画像処理システム
【請求項8】
前記オクルージョン評価量の前記変動は、2つ以上のオブジェクトが前記仮想カメラの視野内に存在する場合に、オブジェクトごとに求められることを特徴とする請求項5乃至7の何れか1項に記載の画像処理システム
【請求項9】
前記オクルージョン評価量は、前記仮想カメラの視野に対する前記オブジェクトのサイズに基づいて求められることを特徴とする請求項5乃至8の何れか1項に記載の画像処理システム
【請求項10】
前記画像効果は、前記オブジェクトのタイプに基づいて決定されることを特徴とする請求項1乃至9の何れか1項に記載の画像処理システム
【請求項11】
前記画像効果は、前記仮想カメラに関連付けられたクリッピング平面に対する前記オブジェクトの位置に基づいて決定されることを特徴とする請求項1乃至10の何れか1項に記載の画像処理システム
【請求項12】
前記画像効果は、前記オブジェクトが前記仮想カメラの視野内に存在する時間の量に基づいて決定されることを特徴とする請求項1乃至11の何れか1項に記載の画像処理システム
【請求項13】
前記画像効果は、前記オブジェクトが前記仮想カメラの視野内に存在する時間の量を閾値と比較することによって決定されることを特徴とする請求項1乃至12の何れか1項に記載の画像処理システム
【請求項14】
前記画像効果は、前記オクルージョン評価量が閾値に応じた条件を満たすことに基づいて適用されることを特徴とする請求項5に記載の画像処理システム
【請求項15】
前記画像効果は、前記オクルージョン評価量が第1の閾値に応じた条件を満たすときに適用され、前記オクルージョン評価量が第2の閾値に応じた条件を満たすときに完了することを特徴とする請求項5に記載の画像処理システム
【請求項16】
前記画像効果は、前記オクルージョン評価量が少なくとも1つの閾値に応じた条件を満たすことに基づいて適用され、該少なくとも1つの閾値は、前記オブジェクトが前記仮想カメラの視野内の別のオブジェクトと相互作用することに基づいて変更されることを特徴とする請求項5に記載の画像処理システム
【請求項17】
前記画像効果は視覚効果であることを特徴とする請求項1に記載の画像処理システム
【請求項18】
前記決定手段は、前記オブジェクトに適用される前記画像効果を、前記オブジェクトの軌道上における前記オブジェクト予測された位置に基づいて決定することを特徴とする請求項1乃至17の何れか1項に記載の画像処理システム
【請求項19】
前記生成手段により生成された前記仮想画像を表示装置に表示させる表示制御手段を有することを特徴とする請求項1乃至18の何れか1項に記載の画像処理システム。
【請求項20】
前記決定手段は、前記オブジェクトの位置と前記仮想カメラの位置との距離が所定距離未満になった場合に前記オブジェクトが透明化されるように、前記オブジェクトに適用される画像効果を決定することを特徴とする請求項1に記載の画像処理システム。
【請求項21】
前記決定手段は、前記オブジェクトが前記仮想カメラの視野内において前記仮想カメラの位置の近傍から遠ざかる方向に移動する場合に、前記仮想画像において前記オブジェクトが徐々に可視化されるように、前記オブジェクトに適用される画像効果を決定することを特徴とする請求項1に記載の画像処理システム。
【請求項22】
コンピュータを、請求項1乃至21のいずれか1項に記載の画像処理システムとして機能させるためのプログラム。
【請求項23】
複数の撮影装置によりそれぞれ異なる方向から撮影することで得られる複数の画像に基づいて、仮想カメラの位置及び向きに応じた仮想画像を生成する画像処理方法であって、
前記仮想カメラの視野内のオブジェクトに適用される画像効果を、前記オブジェクトの位置と前記仮想カメラの位置とに基づいて決定する決定工程と、
前記決定工程において決定された画像効果が前記オブジェクトに適用された前記仮想画像、前記複数の画像に基づいて生成する生成工程と、を有することを特徴とする画像処理方法
【請求項24】
前記決定工程は、前記オブジェクトの位置と前記仮想カメラの位置との距離が所定距離未満になった場合に前記オブジェクトが透明化されるように、前記オブジェクトに適用される画像効果を決定することを特徴とする請求項23に記載の画像処理方法。
【請求項25】
前記決定工程は、前記オブジェクトが前記仮想カメラの視野内において前記仮想カメラの位置の近傍から遠ざかる方向に移動する場合に、前記仮想画像において前記オブジェクトが徐々に可視化されるように、前記オブジェクトに適用される画像効果を決定することを特徴とする請求項23に記載の画像処理方法。
【国際調査報告】