特許 7354185 表示制御装置、表示制御方法および表示制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-22

(45)【発行日】2023-10-02

(54)【発明の名称】表示制御装置、表示制御方法および表示制御プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230925BHJP

   G06F 3/0484 20220101ALI20230925BHJP

【ＦＩ】

G06T19/00 600

G06F3/0484

【請求項の数】 5

(21)【出願番号】P 2021101919

(22)【出願日】2021-06-18

(65)【公開番号】P2023000858

(43)【公開日】2023-01-04

【審査請求日】2021-12-17

【審判番号】

【審判請求日】2022-12-20

【早期審査対象出願】

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】西 紗記子

(72)【発明者】

【氏名】友成 愛

(72)【発明者】

【氏名】吉村 佳純

(72)【発明者】

【氏名】西 磨翁

(72)【発明者】

【氏名】田村 柾優紀

【合議体】

【審判長】畑中 高行

【審判官】樫本 剛

【審判官】木方 庸輔

(56)【参考文献】

【文献】国際公開第２０２０／０６６６８２（ＷＯ，Ａ１）

【文献】特開２０２１－５６６７９（ＪＰ，Ａ）

【文献】国際公開第２０１７／１０４１９８（ＷＯ，Ａ１）

【文献】国際公開第２０２０／１１５７８４（ＷＯ，Ａ１）

【文献】特開２０２１－８２３４４（ＪＰ，Ａ）

【文献】国際公開第２０２１／１１７３６６（ＷＯ，Ａ１）

【文献】Ｓｏｎｙ－Ｇｌｏｂａｌ， ３Ｄ実写ＡＲ “ＬｉｖｅＡｃｔｉｏｎ ＡＲ”， ｙｏｕｔｕｂｅ［ｖｉｄｅｏ］［ｏｎｌｉｎｅ］， ２０１２年８月２１日， ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝２ｒｂＴＬｒｒｇＥａＵ， 特に０：４３～１：３７

【文献】ＲＯＣＫＥＴＮＥＷＳ２４， ソニーの実写によるＡＲ（拡張現実）技術に海外ネットユーザが苦笑い「ポルノの未来は明るいな」，［ｏｎｌｉｎｅ］， ２０１２年８月２７日， ｈｔｔｐｓ：／／ｒｏｃｋｅｔｎｅｗｓ２４．ｃｏｍ／２０１２／０８／２７／２４３２９３／

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 19/00

G06F 3/0484

(57)【特許請求の範囲】

【請求項1】

周囲を撮像した撮像画像に映る被写体の３次元形状を特定する特定部と、
前記特定部によって特定される前記被写体の前記３次元形状と、実在するオブジェクトを多視点から撮影した多視点画像として表示される仮想オブジェクトを配置する配置位置とに応じて、前記撮像画像に重畳表示する前記仮想オブジェクトの表示態様を切り替えて表示する表示制御部と
を備え、
前記表示制御部は、
前記撮像画像の撮像位置の変化に応じた視点位置からみた前記仮想オブジェクトを表示するとともに、前記仮想オブジェクトが前記被写体よりも奥側に位置し、当該仮想オブジェクトが当該被写体と重なって表示される重なり領域が存在する場合には、当該仮想オブジェクトが当該被写体と重ならないように前記仮想オブジェクトの配置位置をずらして表示する
ことを特徴とする表示制御装置。

【請求項2】

前記特定部は、
前記被写体の前記３次元形状の特定に測距センサを用いること
を特徴とする請求項１に記載の表示制御装置。

【請求項3】

前記表示制御部は、
前記被写体の端と、前記仮想オブジェクトの端とを合わせるように前記表示態様を切り替えること
を特徴とする請求項１または２に記載の表示制御装置。

【請求項4】

コンピュータが実行する表示制御方法であって、
周囲を撮像した撮像画像に映る被写体の３次元形状を特定する特定工程と、
前記特定工程によって特定される前記被写体の前記３次元形状と、実在するオブジェクトを多視点から撮影した多視点画像として表示される仮想オブジェクトを配置する配置位置とに応じて、前記撮像画像に重畳表示する前記仮想オブジェクトの表示態様を切り替えて表示する表示制御工程と
を含み、
前記表示制御工程は、
前記撮像画像の撮像位置の変化に応じた視点位置からみた前記仮想オブジェクトを表示するとともに、前記仮想オブジェクトが前記被写体よりも奥側に位置し、当該仮想オブジェクトが当該被写体と重なって表示される重なり領域が存在する場合には、当該仮想オブジェクトが当該被写体と重ならないように前記仮想オブジェクトの配置位置をずらして表示する
ことを特徴とする表示制御方法。

【請求項5】

周囲を撮像した撮像画像に映る被写体の３次元形状を特定する特定手順と、
前記特定手順によって特定される前記被写体の前記３次元形状と、実在するオブジェクトを多視点から撮影した多視点画像として表示される仮想オブジェクトを配置する配置位置とに応じて、前記撮像画像に重畳表示する前記仮想オブジェクトの表示態様を切り替えて表示する表示制御手順と
をコンピュータに実行させ、
前記表示制御手順は、
前記撮像画像の撮像位置の変化に応じた視点位置からみた前記仮想オブジェクトを表示するとともに、前記仮想オブジェクトが前記被写体よりも奥側に位置し、当該仮想オブジェクトが当該被写体と重なって表示される重なり領域が存在する場合には、当該仮想オブジェクトが当該被写体と重ならないように前記仮想オブジェクトの配置位置をずらして表示する
ことを特徴とする表示制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は表示制御装置、表示制御方法および表示制御プログラムに関する。

【背景技術】

【0002】

近年、インターネットを介して提供されるコンテンツとして、拡張現実（ＡＲ；Augmented Reality）が普及しつつある。このようなＡＲにおいては、たとえば、仮想的な視点から見た多視点画像を撮像画像に対して重畳表示する（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－９５６０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、たとえば、ＡＲコンテンツ内において、たとえば、本来、手前に表示すべき対象物の手前に多視点画像のコンテンツが表示されるおそれがあり、多視点画像を適切にＡＲコンテンツに表示するうえで改善の余地があった。

【0005】

本発明は、上記に鑑みてなされたものであって、多視点画像を適切にＡＲコンテンツに表示することができる表示制御装置、表示制御方法および表示制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、特定部と、表示制御部とを備える。前記特定部は、周囲を撮像した撮像画像に映る被写体の３次元形状を特定する。前記表示制御部は、前記特定部によって特定される前記被写体の前記３次元形状と、多視点画像の仮想オブジェクトを配置する配置位置とに応じて、前記撮像画像に重畳表示する前記仮想オブジェクトの表示態様を切り替えて表示する。

【発明の効果】

【0007】

本発明によれば、多視点画像を適切にＡＲコンテンツに表示することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る表示制御処理の一例を示す図である。

【図2】図２は、実施形態に係る情報処理装置の構成例を示すブロック図である。

【図3】図３は、実施形態に係る多視点映像データベースに記憶する情報の一例を示す図である。

【図4】図４は、実施形態に係る表示制御装置の構成例を示すブロック図である。

【図5】図５は、実施形態に係る重なり領域の一例を示す模式図である。

【図6】図６は、実施形態に係る仮想オブジェクトの表示態様の一例を示す図である。

【図7】図７は、実施形態に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。

【図8】図８は、実施形態に係る表示制御装置が実行する処理手順の一例を示すフローチャートである。

【図9】図９は、実施形態に係る表示制御装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る表示制御装置、表示制御方法および表示制御プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る表示制御装置、表示制御方法および表示制御プログラムが限定されるものではない。

【0010】

［実施形態］
〔１．表示制御処理〕
まず、図１を用いて、実施形態に係る表示制御処理の一例について説明する。図１は、実施形態に係る表示制御処理の一例を示す図である。

【0011】

図１に示すように、実施形態に係る表示システムＳは、たとえば、情報処理装置１０と、表示制御装置５０とを有する。情報処理装置１０は、各表示制御装置５０に対して、各種、ＡＲ（Augmented Reality）コンテンツを配信する情報処理装置である。情報処理装置１０は、サーバ装置やクラウドシステムにより実現される。

【0012】

図１に示すように、情報処理装置１０は、多視点映像データベースを有しており、多視点映像データベースに登録された多視点映像を提供する。ここで、多視点映像とは、３次元モデルを複数の所定の視点からレンダリングした映像、あるいは、実在する被写体の周りに複数台の撮影機材を設置し撮影された映像である。また、多視点映像を構成する一つ一つの画像が多視点画像となる。

【0013】

表示制御装置５０は、たとえば、スマートフォンやＨＭＤ(Head Mount Display)などといった各種端末装置であり、情報処理装置１０から配信される多視点映像のＡＲコンテンツ１００をユーザへ視聴可能に提供する。

【0014】

たとえば、表示制御装置５０は、周囲を撮像した撮像画像Ｇに対して、情報処理装置１０から配信される多視点映像の仮想オブジェクトＯｖを重畳表示したＡＲコンテンツ１００を提供する。すなわち、表示制御装置５０は、いわゆるビデオシースルータイプのＡＲコンテンツ１００を提供する。なお、表示システムＳで提供するＡＲコンテンツ１００は、ビデオシースルータイプに限られず、光学シースルータイプであってもよい。

【0015】

ところで、たとえば、多視点映像のＡＲコンテンツを提供するにあたり、実際には対象物の手前に配置すべき多視点画像の仮想オブジェクトが対象物の奥側に配置される場合や、ＡＲコンテンツ内で仮想オブジェクトが対象物に衝突したり、対象物を突き抜けて表示されたりする場合がある。

【0016】

そこで、実施形態に係る表示制御処理では、多視点画像の仮想オブジェクトＣｖを表示する配置位置と、対象物との位置関係に基づいて、仮想オブジェクトＣｖの表示態様を切り替えることとした。

【0017】

具体的には、図１に示すように、表示制御装置５０は、情報処理装置１０から多視点映像の取得を開始する(ステップＳ０１）。つづいて、表示制御装置５０は、多視点映像の仮想オブジェクトＯｖを重畳する撮像画像Ｇに映る被写体の３次元形状を特定する特定処理を行う（ステップＳ０２）。

【0018】

表示制御装置５０は、たとえば、Ｌｉｄａｒを用いて、撮像画像Ｇの撮像範囲をスキャンすることで、撮像画像Ｇに映る被写体の３次元形状を特定する。なお、この際、たとえば、被写体の３次元形状に加え、被写体までの距離が特定される。

【0019】

つづいて、表示制御装置５０は、特定した被写体の３次元形状と、多視点映像の仮想オブジェクトＯｖを配置する配置位置に基づき、仮想オブジェクトＯｖの表示態様を切り替えつつ、ＡＲコンテンツ１００を表示する表示制御処理を実行する（ステップＳ０３）。

【0020】

図１の例では、ユーザＵから見て、仮想オブジェクトＯｖの配置位置Ａｐの手前に被写体Ｇｔが存在する場合を示す。そのため、たとえば、この場合においては、撮像画像Ｇにそのまま仮想オブジェクトＯｖを重畳表示すると、仮想オブジェクトＯｖがユーザＵから見て手前に存在する被写体Ｇｔ上に表示されてしまう。

【0021】

これに対して、たとえば、表示制御装置５０は、被写体Ｇｔのマスク画像を生成し、マスク画像とともに仮想オブジェクトＯｖを撮像画像Ｇに重畳表示することで、被写体Ｇｔを見えなくしたＡＲコンテンツ１００を表示する。

【0022】

たとえば、この場合、生成したマスク画像を仮想オブジェクトＯｖの背面に重畳したうえで、仮想オブジェクトＯｖを撮像画像Ｇに重畳表示する。これにより、表示制御装置５０では、多視点画像を適切にＡＲコンテンツ１００に表示することができる。

【0023】

なお、たとえば、表示制御装置５０は、ＡＲコンテンツ１００の表示を切り替える場合に、たとえば、被写体Ｇｔに重ならないように、仮想オブジェクトＯｖの表示サイズを小さくすることにしてもよいし、あるいは、配置位置Ａｐをずらすことにしてもよい。

【0024】

〔２－１．情報処理装置の構成例〕
次に、図２を用いて、情報処理装置１０の構成例について説明する。図２は、情報処理装置１０の構成例を示すブロック図である。図２に示すように、情報処理装置１０は、通信部２０と、記憶部３０と、制御部４０とを備える。

【0025】

通信部２０は、たとえば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、４Ｇ（Generation）、５Ｇ、ＬＴＥ（Long Term Evolution）、Ｗｉｆｉ（登録商標）若しくは無線ＬＡＮ（Local Area Network）等といった各種の無線通信網若しくは各種の有線通信網といったネットワークを介して、外部装置との間で情報の送受信を行う。

【0026】

記憶部３０は、たとえば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、多視点映像データベース３１を有する。

【0027】

多視点映像データベース３１は、多視点映像を記憶するデータベースである。図３は、多視点映像データベース３１に格納された情報の一例を示す図である。図３に示すように、多視点映像データベース３１は、「映像ＩＤ」、「画像群」、「サイズ情報」、「音声」、「音源座標」などといった項目の情報を互いに対応付けて記憶する。

【0028】

「映像ＩＤ」は、各多視点映像を識別するための識別子であり、「画像群」は、多視点映像として提供するための画像群であり、複数視点から同時に撮影された静止画像あるいは動画像をまとめたデータである。

【0029】

「サイズ情報」は、多視点映像として撮影されたオブジェクトの実際のサイズに関する情報である。「音声」は、多視点映像とともに流す音声データを示し、「音源座標」は、多視点映像における音声データの音源の座標に関する情報である。

【0030】

ＡＲコンテンツ１００として、アーティストの歌唱映像を提供する場合において、音声はアーティストが歌っている音源であり、音源座標は、アーティストの頭部(たとえば、口元)となる。

【0031】

図２の説明に戻り、制御部４０について説明する。制御部４０は、たとえば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、ＭＰＵ（Micro Processing Unit）等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

【0032】

図２に示すように、制御部４０は、選択部４１と、配信部４２とを備える。選択部４１は、各表示制御装置５０から受け取った多視点映像の配信要求に基づき、対応する多視点映像を多視点映像データベース３１から選択する。

【0033】

たとえば、配信要求には、上記の映像ＩＤに関する情報が含まれており、選択部４１は、配信要求に含まれる映像ＩＤに合致する多視点映像を多視点映像データベース３１から選択する。

【0034】

また、たとえば、多視点映像の配信中において、選択部４１は、ＡＲコンテンツ１００に対するユーザの注視点情報を各表示制御装置５０から受け取り、注視点情報に基づき、多視点映像に対する視点切替処理を行う。

【0035】

たとえば、注視点情報は、実空間における撮像画像Ｇの撮像範囲や撮像向きに関する情報であり、ＡＲコンテンツ１００に表示される実空間に関する情報である。すなわち、ＡＲコンテンツ１００におけるユーザの注視点に関する情報である。たとえば、ユーザが表示制御装置５０（たとえば、後述する外向きカメラ６１）の位置を変化させた場合に注視点が変化し、変化した向きや変化量などに関する情報が注視点情報となる。

【0036】

選択部４１は、注視点情報に基づき、多視点映像に対する視点位置を選択することで、視点切替処理を行う。これにより、選択した視点位置から見た仮想オブジェクトＯｖの多視点画像が選択される。その後、選択部４１は、注視点情報の変化に追従させて視点位置を随時切り替える処理を行う。

【0037】

配信部４２は、選択部４１によって選択された多視点映像や多視点画像を各表示制御装置５０に対して配信する。なお、配信部４２が配信する多視点映像は、時間的に連続する多視点画像であり、配信部４２は、注視点情報に基づいて設定された視点位置から見た多視点画像を連続的に配信する。また、配信部４２は、多視点映像とともに音声等に関する情報をあわせて表示制御装置５０へ配信する。

【0038】

〔２－２．表示制御装置の構成例〕
次に、図４を用いて、実施形態に係る表示制御装置５０の構成例について説明する。図４は、表示制御装置５０の構成例を示すブロック図である。図４に示すように、表示制御装置５０は、通信部６０、外向きカメラ６１、内向きカメラ６２、センサ群６３、表示部６４、音声出力部６５、記憶部７０および制御部８０を備える。なお、外向きカメラ６１、内向きカメラ６２、センサ群６３、表示部６４および音声出力部６５については、表示制御装置５０とは別の装置であってもよい。

【0039】

通信部６０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部６０は、４Ｇ（Generation）、５Ｇ、ＬＴＥ（Long Term Evolution）、Ｗｉｆｉ（登録商標）若しくは無線ＬＡＮ（Local Area Network）等といった各種の無線通信網若しくは各種の有線通信網といったネットワークを介して、外部装置との間で情報の送受信を行う。

【0040】

外向きカメラ６１は、表示制御装置５０の外側(たとえば、表示部６４の表示面とは逆側)を撮像するカメラであり、実空間を撮像する。たとえば、外向きカメラ６１によって撮像された撮像画像は、ＡＲコンテンツ１００における仮想オブジェクトＯｖの背景画像として用いられる。内向きカメラ６２は、表示制御装置５０の内側（たとえば、表示部６４の表示面側）を撮像するカメラであり、ＡＲコンテンツ１００を視聴するユーザを撮像する。

【0041】

センサ群６３は、たとえば、表示制御装置５０の姿勢や、撮像画像Ｇの被写体の３次元形状等を検出するための各種センサによって構成される。たとえば、センサ群６３には、ジャイロセンサ、Ｌｉｄａｒなどが含まれる。

【0042】

表示部６４は、たとえば、タッチパネルディスプレイであり、ＡＲコンテンツ１００等の各種映像を表示するとともに、各種ユーザ操作を受け付ける。音声出力部６５は、たとえば、サラウンドスピーカあるいはステレオスピーカであり、ＡＲコンテンツ１００とともに流れる各種音声を出力する。

【0043】

記憶部７０は、たとえば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部７０は、マップ情報記憶部７１を有する。

【0044】

マップ情報記憶部７１は、実空間のマップ情報を記憶する。たとえば、マップ情報とは、表示制御装置５０の周辺環境を示す環境地図であり、後述する自己位置推定部８１による処理結果に基づいて作成される。

【0045】

続いて、制御部８０について説明する。制御部８０は、たとえば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、ＭＰＵ（Micro Processing Unit）等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

【0046】

図４に示すように、制御部８０は、自己位置推定部８１と、表示面設定部８２と、特定部８３と、表示制御部８４と、音声制御部８５とを有する。自己位置推定部８１は、外向きカメラ６１やセンサ群６３から入力される各種情報に基づき、Ｓｌａｍ（Simultaneous Localization and Mapping）等の技術を用いて実空間の環境地図を作成するとともに、環境地図内における表示制御装置５０の座標(たとえば、ワールド座標)や姿勢を推定する。

【0047】

また、自己位置推定部８１は、作成した環境地図に関する情報をマップ情報としてマップ情報記憶部７１に格納するとともに、推定した位置や姿勢に関する情報、すなわち、上記の注視点情報を表示面設定部８２へ渡す。また、ＡＲコンテンツ１００の提供中においては、注視点情報は、情報処理装置１０へも送信される。

【0048】

表示面設定部８２は、自己位置推定部８１によって作成された環境地図に基づき、実空間において仮想オブジェクトＯｖを表示する仮想的な表示面（以下、単に表示面）を設定する。なお、表示面は、図１に示した配置位置Ａｐの一例に対応する。

【0049】

たとえば、表示面設定部８２は、ユーザ操作等によって指定された実空間における任意の面を表示面として設定する。

【0050】

表示面設定部８２は、表示面を設定すると、表示面に関する各種座標情報をマップ情報記憶部７１に書き込む。なお、たとえば、表示面は、実空間の床であるが、仮想オブジェクトＯｖの種類に応じて、ユーザの体の一部（たとえば手のひらなど）とすることにしてもよい。また、表示空間自体を実際の床から浮遊させることにしてもよい。また、表示面設定部８２は、表示する仮想オブジェクトＯｖ毎に、それぞれ独立に表示面を設定することにしてもよい。

【0051】

特定部８３は、撮像画像Ｇに映る被写体Ｇｔの３次元形状を特定する。たとえば、特定部８３は、センサ群６３のＬｉｄａｒを用いて撮像画像Ｇの撮像範囲を３次元的にスキャンすることで、被写体Ｇｔの３次元形状を特定する。

【0052】

また、特定部８３は、特定した３次元形状に基づき、撮像画像Ｇに映る被写体Ｇｔの輪郭形状を特定する。たとえば、撮像画像Ｇは、２次元(平面)であるため、特定する輪郭形状も２次元の平面情報となる。

【0053】

たとえば、特定部８３は、外向きカメラ６１による撮像画像Ｇの撮像毎に被写体Ｇｔの３次元形状および輪郭形状の特定を行い、３次元形状および輪郭形状に関する情報を表示制御部８４へ渡す。

【0054】

表示制御部８４は、撮像画像Ｇに多視点画像の仮想オブジェクトＯｖを重畳表示したＡＲコンテンツ１００を生成し、表示部６４に表示する。たとえば、表示制御部８４は、表示面設定部８２によって設定された配置位置Ａｐに仮想オブジェクトＯｖが表示されるように、ＡＲコンテンツ１００を生成する。

【0055】

また、表示制御部８４は、特定部８３によって特定される被写体Ｇｔの３次元形状と、多視点画像の仮想オブジェクトＯｖを配置する配置位置とに応じて、撮像画像Ｇに重畳表示する仮想オブジェクトＯｖの表示態様を切り替えて表示する。

【0056】

たとえば、表示制御部８４は、表示面設定部８２から配置位置Ａｐに関する情報を受け取り、特定部８３から撮像画像Ｇに映る被写体Ｇｔの３次元形状および輪郭形状に関する情報を受け取る。

【0057】

つづいて、表示制御部８４は、仮想オブジェクトが被写体Ｇｔと重なって表示される重なり領域の有無を判定する。図５は、実施形態に係る重なり領域の一例を示す模式図である。

【0058】

図５では、仮想オブジェクトＯｖを配置する配置位置Ａｐよりも手前側に被写体Ｇｔが存在する場合を示す。この場合、たとえば、配置位置Ａｐに仮想オブジェクトＯｖを配置したとすると、仮想オブジェクトＯｖの一部が被写体Ｇｔに隠れてしまう。

【0059】

すなわち、この場合においては、仮想オブジェクトＯｖの一部と被写体Ｇｔの一部とが重なって表示される重なり領域Ｆが存在する。重なり領域Ｆが存在すると、仮想オブジェクトＯｖが被写体Ｇｔ上に表示されたり、仮想オブジェクトＯｖが被写体Ｇｔに衝突しているように表示されたりする。

【0060】

そのため、たとえば、表示制御部８４は、重なり領域Ｆについてマスキングする。ここでのマスキング処理は、たとえば、重なり領域Ｆの平面形状を有するマスク画像を生成し、仮想オブジェクトＯｖの背面に重畳することを指す。なお、表示制御部８４は、被写体Ｇｔの輪郭形状に基づいて、被写体Ｇｔ全体を覆うマスク画像を生成することにしてもよい。

【0061】

また、ここでは、仮想オブジェクトＯｖの手前に存在する被写体Ｇｔとの重なり領域Ｆが存在する場合について説明したが、これに限定されず、たとえば、壁、天井、地面などといった配置位置Ａｐと同距離に存在する重なり領域についてもマスキングを行うことにしてもよい。すなわち、仮想オブジェクトＯｖが壁を突き抜けて表示されるような状況において、壁を覆うようにマスキングを行うことにしてもよい。

【0062】

また、表示制御部８４は、被写体Ｇｔの端と仮想オブジェクトＯｖとの端が一致するように、仮想オブジェクトＯｖの表示態様を切り替えて表示することにしてもよい。図６は、実施形態に係る仮想オブジェクトＯｖの表示態様の一例を示す図である。

【0063】

図６に示す例では、たとえば、劇場型のコンテンツに関する仮想オブジェクトＯｖを示している。また、図６では、演者Ｏｖ１、劇場カーテンＯｖ２、ＯＶ３をまとめて１つの仮想オブジェクトＯｖであるものとする。

【0064】

この場合、たとえば、表示制御部８４は、壁である被写体Ｇｔの端と、仮想オブジェクトＯｖの端が一致するように、仮想オブジェクトＯｖの表示態様を切り替える。これにより、たとえば、壁と壁との間が、あたかも劇場であるかのようなＡＲコンテンツ１００を提供することができる。

【0065】

また、この場合においては、たとえば、壁を舞台袖に見立てることができるので、演者Ｏｖ１が壁から出てくるかのようなＡＲコンテンツ１００を提供することができる。これにより、斬新、かつ、新規なコンテンツを提供することが可能となる。

【0066】

図４の説明に戻り、音声制御部８５について説明する。音声制御部８６は、撮像画像Ｇの撮像位置と、多視点画像において設定された音声発生源との位置関係に基づき、音声出力を制御する。たとえば、仮想オブジェクトＯｖが人物であり、その頭部に音声発生源が設定される。

【0067】

ここで、たとえば、外向きカメラ６１の撮像位置が変化すると、ＡＲコンテンツ１００における仮想オブジェクトＯｖの位置が変化し、これに伴い音声発生源の位置が変化することになる。

【0068】

そのため、音声制御部８６は、これらの位置関係に基づき、音声出力部６５の出力を制御することで、ＡＲコンテンツ１００における音声発生源の位置を一致させる処理を行う。具体的には、たとえば、撮像画像Ｇにおいて仮想オブジェクトＯｖが右側に表示される場合、ユーザの右側から音声が聞こえるように音声出力部６５を制御し、撮像画像Ｇにおいて仮想オブジェクトＯｖが手前側に表示される場合には、手前側から音声が聞こえるように音声出力部６５を制御する。

【0069】

このように、音声制御部８６は、音声発生源の位置変化にあわせて音声制御をコントロールすることで、リアリティーの高いＡＲコンテンツ１００を提供することができる。なお、音声発生源は一つに限らず、複数であってもよい。この場合、音声制御部８６は、音声発生源毎に位置関係に基づき、音声制御を行う。

【0070】

また、たとえば、音声制御部８６は、音声発生源が複数である場合には、音声発生源毎に音量等の各種調整や、音声発生源の統合などを行うことにしてもよい。また、音声制御部８６は、たとえば、音声発生源の位置を変更する操作を受け付けることにしてもよい。この場合、たとえば、当初設定された音声発生源とは別の任意の座標に音声発生源を設定することにしてもよい。

【0071】

また、音声制御部８６は、たとえば、ユーザ操作に基づき、音声の削除、追加等を行うことにしてもよい。すなわち、複数の多視点映像から任意の音声を組み合わせて出力することにしてもよい。この場合、たとえば、異なる歌手が歌っている音声を他の歌手の仮想オブジェクトＯｖか歌っているかのようなＡＲコンテンツ１００などを提供することができる。

【0072】

〔３．処理手順〕
次に、図７および図８を用いて、実施形態に係る情報処理装置１０および表示制御装置５０が実行する処理手順について説明する。まず、図７を用いて、情報処理装置１０が実行する処理手順について説明する。図７は、情報処理装置１０が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、情報処理装置１０の制御部４０によって配信要求の取得毎に繰り返し実行される。

【0073】

図７に示すように、まず、情報処理装置１０は、配信要求を受け付ける(ステップＳ１０１)。つづいて、情報処理装置１０は、受け付けた配信要求に基づき、多視点映像を配信し(ステップＳ１０２)、処理を終了する。

【0074】

なお、多視点映像の配信時において、情報処理装置１０は、注視点情報に基づき、視点位置を変更した仮想オブジェクトＯｖの多視点画像を随時選択し、選択した多視点画像を配信する。

【0075】

次に、図８を用いて、表示制御装置５０が実行する処理手順について説明する。図８は、表示制御装置５０が実行する処理手順の一例を示すフローチャートである。なお、以下に示す処理手順は、ＡＲコンテンツ１００の提供毎に表示制御装置５０の制御部８０によって実行される。

【0076】

図８に示すように、まず、表示制御装置５０は、たとえば、周囲を撮像した撮像画像Ｇを取得すると（ステップＳ２０１）、撮像画像Ｇに映る被写体Ｇｔの３次元形状特定処理を実行する（ステップＳ２０２）。

【0077】

つづいて、表示制御装置５０は、仮想オブジェクトＯｖの配置位置Ａｐと３次元形状特定処理の処理結果とに基づき、仮想オブジェクトＯｖと被写体Ｇｔとが重なって表示される重なり領域があるか否かを判定する（ステップＳ２０３）。

【0078】

表示制御装置５０は、重なり領域が存在している場合（ステップＳ２０３；Ｙｅｓ）、仮想オブジェクトＯｖの表示切替処理に進む（ステップＳ２０４）。また、表示制御装置５０は、重なり領域が存在していなかった場合（ステップＳ２０３；Ｎｏ）、ステップＳ２０４の処理を省略し、ステップＳ２０５へ進む。

【0079】

その後、表示制御装置５０は、ステップＳ２０４までの処理結果に基づいてＡＲコンテンツ１００の表示制御処理を実行し（ステップＳ２０５）、処理を終了する。

【0080】

〔４．変形例〕
上述した表示システムＳは、上記実施形態以外にも種々の異なる形態にて実施されてもよい。そこで、以下では、表示システムＳの他の実施形態について説明する。

【0081】

たとえば、表示制御装置５０は、カメラ(外向きカメラ６１および内向きカメラ６２）と分離した構成であってもよい。また、表示制御装置５０が提供するコンテンツは、ＡＲコンテンツ１００に限られず、たとえば、撮像画像Ｇに基づき、実空間をアニメーション等に変換したＶＲ（Virtual Reality）コンテンツを提供することにしてもよい。

【0082】

〔５．効果〕
上述してきたように、実施形態に係る表示制御装置５０は、周囲を撮像した撮像画像Gに映る被写体Gtの３次元形状を特定する特定部８３と、特定部８３によって特定される被写体Gtの３次元形状と、多視点画像の仮想オブジェクトＯｖを配置する配置位置Ａｐとに応じて、撮像画像Ｇに重畳表示する仮想オブジェクトＯｖの表示態様を切り替えて表示する表示制御部８４とを備える。したがって、実施形態に係る表示制御装置５０によれば、多視点画像を適切にＡＲコンテンツ１００に表示することができる。

【0083】

また、実施形態に係る表示制御装置５０において、特定部８３は、被写体Ｇｔの３次元形状の特定に測距センサ（たとえば、Ｌｉｄａｒ）を用いる。したがって、実施形態に係る表示制御装置５０によれば、３次元形状を精度よく特定することができるので、たとえば、ＡＲコンテンツ１００内において、被写体Ｇｔと仮想オブジェクトＯｖとの衝突を精度良く回避することができる。

【0084】

また、実施形態に係る表示制御装置５０において、表示制御部８４は、仮想オブジェクトＯｖが被写体Ｇｔと重なって表示される重なり領域の仮想オブジェクトをマスキングする。したがって、実施形態に係る表示制御装置５０によれば、たとえば、ＡＲコンテンツ１００内において、被写体Ｇｔと仮想オブジェクトＯｖとの衝突を回避することができるので、多視点画像を適切にＡＲコンテンツ１００に表示することができる。

【0085】

また、実施形態に係る表示制御装置５０において、表示制御部８４は、仮想オブジェクトＯｖの配置位置より手前側に被写体Ｇｔが存在する場合に、重なり領域の仮想オブジェクトＯｖをマスキングする。したがって、実施形態に係る表示制御装置５０によれば、たとえば、ＡＲコンテンツ１００内において、手前側に位置する被写体Ｇｔに仮想オブジェクトＯｖが表示される誤表示を回避することができるので、多視点画像を適切にＡＲコンテンツ１００に表示することができる。

【0086】

また、実施形態に係る表示制御装置５０において、表示制御部８４は、被写体Ｇｔの端と、仮想オブジェクトＯｖの端とを合わせるように表示態様を切り替える。したがって、実施形態に係る表示制御装置５０によれば、たとえば、被写体Ｇｔである壁を舞台袖として用いるような新たなコンテンツを提供することができる。

【0087】

また、実施形態に係る表示制御方法は、コンピュータが実行する表示制御方法であって、周囲を撮像した撮像画像に映る被写体の３次元形状を特定する特定工程と、特定工程によって特定される被写体の前記３次元形状と、多視点画像の仮想オブジェクトを配置する配置位置とに応じて、撮像画像に重畳表示する仮想オブジェクトの表示態様を切り替えて表示する表示制御工程とを含む。したがって、実施形態に係る表示制御方法によれば、多視点画像を適切にＡＲコンテンツ１００に表示することができる。

【0088】

また、実施形態に係る表示制御プログラムは、周囲を撮像した撮像画像に映る被写体の３次元形状を特定する特定手順と、特定手順によって特定される被写体の３次元形状と、多視点画像の仮想オブジェクトを配置する配置位置とに応じて、撮像画像に重畳表示する仮想オブジェクトの表示態様を切り替えて表示する表示制御手順とをコンピュータに実行させる。したがって、実施形態に係る表示制御プログラムによれば、多視点画像を適切にＡＲコンテンツ１００に表示することができる。

【0089】

〔６．ハードウェア構成〕
また、上述してきた実施形態に係る表示制御装置５０は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、実施形態に係る表示制御装置５０の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

【0090】

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0091】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワーク（通信ネットワーク）Ｎを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。

【0092】

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置（図９では、出力装置および入力装置を総称して「入出力装置」と記載する）を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

【0093】

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0094】

例えば、コンピュータ１０００が実施形態に係る表示制御装置５０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１２０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

【0095】

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0096】

〔７．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0097】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0098】

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0099】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、自己位置推定部８１は、自己位置推定部手段や自己位置推定部回路に読み替えることができる。

【符号の説明】

【0100】

１０ 情報処理装置
２０ 通信部
３０ 記憶部
３１ 多視点映像データベース
４０ 制御部
４１ 選択部
４２ 配信部
５０ 表示制御装置
７０ 記憶部
７１ マップ情報記憶部
８０ 制御部
８１ 自己位置推定部
８２ 表示面設定部
８３ 特定部
８４ 表示制御部
８５ 音声制御部
１００ ＡＲコンテンツ
Ｇ 撮像画像
Ｏｖ 仮想オブジェクト
Ａｐ 配置位置
Ｇｔ 被写体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】