特開 2024-94452 情報処理装置、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024094452

(43)【公開日】2024-07-10

(54)【発明の名称】情報処理装置、制御方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240703BHJP

【ＦＩ】

G06T19/00 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022210993

(22)【出願日】2022-12-28

(71)【出願人】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100147304

【弁理士】

【氏名又は名称】井上 知哉

(74)【代理人】

【識別番号】100148493

【弁理士】

【氏名又は名称】加藤 浩二

(72)【発明者】

【氏名】小山 誠也

(72)【発明者】

【氏名】田内 淳也

(72)【発明者】

【氏名】大屋 修司

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050DA07

5B050EA07

5B050EA28

5B050FA02

5B050FA06

(57)【要約】

【課題】実空間に存在する物体を仮想現実空間に容易に取り込むことができる情報処理装置を提供する。
【解決手段】情報処理装置は、右目用と左目用の表示部があり、左右で異なる映像を表示することで立体表示を行う表示部と、複数の視点のそれぞれから対象物を撮影して複数の撮影画像を生成する撮影部と、前記複数の撮影画像にそれぞれ含まれる前記対象物の複数の像から、前記対象物の形状を示す三次元モデルを生成する三次元化処理と、前記三次元モデルを前記表示部に表示させる仮想現実画面表示処理と、を行う制御部を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

右目用と左目用の表示部があり、左右で異なる映像を表示することで立体表示を行う表示部と、
複数の視点のそれぞれから対象物を撮影して複数の撮影画像を生成する撮影部と、
前記複数の撮影画像にそれぞれ含まれる前記対象物の複数の像から、前記対象物の形状を示す三次元モデルを生成する三次元化処理と、
前記三次元モデルを前記表示部に表示させる仮想現実画面表示処理と、
を行う制御部を備える情報処理装置。

【請求項2】

前記撮影部は、前記情報処理装置の移動経路に沿って前記対象物を撮影する
請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、
前記表示部に、仮想現実画面を表示させ、
前記三次元モデルを前記仮想現実画面に含ませて表示させる
請求項１又は２に記載の情報処理装置。

【請求項4】

前記制御部は、
前記撮影部が撮影している実空間の画像を示す実像画面を前記仮想現実画面内に含ませて表示させる撮影画像表示処理をさらに行う
請求項３に記載の情報処理装置。

【請求項5】

前記制御部は、
前記複数の視点から前記対象物を撮影する進行度を示す情報を前記表示部に表示させる
請求項４に記載の情報処理装置。

【請求項6】

前記制御部は、
前記仮想現実画面に対する操作を受け付けるユーザ操作処理をさらに行い、
前記操作は、前記対象物の撮影を開始することを指示する第１操作と、前記三次元モデルを前記仮想現実画面に含ませることを指示する第２操作と、を含む
請求項３に記載の情報処理装置。

【請求項7】

前記撮影部は、
前記対象物を撮影する第１カメラと、
ユーザの手を撮影する第２カメラと、
を含み、
前記制御部は、
前記第２カメラにより撮影された手の像の動きに基づいて前記操作を受け付ける
請求項６に記載の情報処理装置。

【請求項8】

前記移動経路は、前記対象物の周囲を一周する経路である
請求項２に記載の情報処理装置。

【請求項9】

ユーザの頭部に着用可能である
請求項１又は２に記載の情報処理装置。

【請求項10】

右目用と左目用の表示部に、左右で異なる映像を表示することで立体表示を行う工程と、
複数の視点のそれぞれから対象物を撮影して複数の撮影画像を生成する工程と、
前記複数の撮影画像にそれぞれ含まれる前記対象物の複数の像から、前記対象物の形状を示す三次元モデルを生成する工程と、
前記三次元モデルを表示部に表示させる工程と、
含む制御方法。

【請求項11】

右目用と左目用の表示部を備える情報処理装置を制御するコンピュータに、
左右で異なる映像を前記表示部に表示させることで立体表示を行う機能と、
複数の視点のそれぞれから対象物を撮影して複数の撮影画像を生成する機能と、
前記複数の撮影画像にそれぞれ含まれる前記対象物の複数の像から、前記対象物の形状を示す三次元モデルを生成する機能と、
前記三次元モデルを前記表示部に表示させる機能と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、制御方法及びプログラムに関する。

【背景技術】

【0002】

ヘッドマウントディスプレイは、ユーザが頭部に着用することで、仮想現実空間を体験させることができる。例えば、ヘッドマウントディスプレイは、現実の物体の像を仮想現実空間に含ませることで、仮想現実空間において、実空間に存在する物体が存在するようにユーザに体験させることができる。

【0003】

特許文献１は、ステレオ撮影装置から現実の物体をステレオ撮影した実写データを受信し、受信された実写データに基づいて、バーチャル３次元空間に取り込むことができるデータフォーマットで、現実の物体の三次元モデルを作成し、三次元モデルデータをユーザ又はユーザの利用するコンピュータアプリケーションに提供できる方法で出力する技術を開示する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２－０５８０４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示された技術を利用するためには、ヘッドマウントディスプレイにより、実空間の物体の三次元モデルを仮想現実空間に取り込む前に、ユーザがヘッドマウントディスプレイを着用せずに、実空間の物体を撮影し、三次元モデルデータを生成しておく必要がある。そして、そのため、特許文献１に開示された技術を利用する場合、ユーザはヘッドマウントディスプレイを着脱する手間を要する。そこで、本開示の一態様は、実空間に存在する物体を仮想現実空間に容易に取り込むことができる情報処理装置、制御方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一形態に係る情報処理装置は、右目用と左目用の表示部があり、左右で異なる映像を表示することで立体表示を行う表示部と、複数の視点のそれぞれから対象物を撮影して複数の撮影画像を生成する撮影部と、前記複数の撮影画像にそれぞれ含まれる前記対象物の複数の像から、前記対象物の形状を示す三次元モデルを生成する三次元化処理と、前記三次元モデルを前記表示部に表示させる仮想現実画面表示処理と、を行う制御部を備える。

【0007】

本開示の一形態に係る制御方法は、右目用と左目用の表示部に、左右で異なる映像を表示することで立体表示を行う工程と、複数の視点のそれぞれから対象物を撮影して複数の撮影画像を生成する工程と、前記複数の撮影画像にそれぞれ含まれる前記対象物の複数の像から、前記対象物の形状を示す三次元モデルを生成する工程と、前記三次元モデルを表示部に表示させる工程と、含む。

【0008】

本開示の一形態に係るプログラムは、右目用と左目用の表示部を備える情報処理装置を制御するコンピュータに、左右で異なる映像を前記表示部に表示させることで立体表示を行う機能と、複数の視点のそれぞれから対象物を撮影して複数の撮影画像を生成する機能と、前記複数の撮影画像にそれぞれ含まれる前記対象物の複数の像から、前記対象物の形状を示す三次元モデルを生成する機能と、前記三次元モデルを前記表示部に表示させる機能と、を実行させる。

【図面の簡単な説明】

【0009】

【図1】情報処理装置の外観の一例を示す図である。

【図2A】情報処理装置の利用態様の一例を示す図である。

【図2B】対象物の三次元モデルを含む仮想現実画面の一例を示す図である。

【図3】情報処理装置のハードウェア構成の一例を示す図である。

【図4】制御部の機能的構成の一例を示す図である。

【図5A】情報処理装置の動作の一例を示すフローチャートである。

【図5B】図５Ａに続く情報処理装置の動作の一例を示すフローチャートである。

【図6】図５Ｂに続く情報処理装置の動作の一例を示すフローチャートである。

【図7】スキャン開始ボタンを含む仮想現実画面の一例を示す図である。

【図8】第１カメラが撮影を開始した時点における仮想現実画面の一例を示す図である。

【図9】対象物の像を含む実像画面の一例を示す図である。

【図10】仮想現実画面に三次元モデルを含ませる処理をしたときの画面遷移の一例を示す図である。

【発明を実施するための形態】

【0010】

（第一実施形態）
図１～図１０を参照して、第一実施形態について説明する。なお、図面については、同一又は同様の要素には同一の符号を付し、重複する説明は省略する。

【0011】

図１は、本実施形態に係る情報処理装置１０１の外観の一例を示す図である。情報処理装置１０１は、ユーザ２０１（図２Ａ参照）が着用可能であり、仮想現実空間をユーザ２０１に体験させる装置である。例えば、情報処理装置１０１は、ユーザの頭部に装着可能であるヘッドマウントディスプレイである。情報処理装置１０１は、右目用と左目用の表示部１０２と、撮影部１０３とを備える。

【0012】

表示部１０２は、ユーザ２０１の右目の正面に配置される右目用ディスプレイと、ユーザ２０１の左目の正面に配置される左目用のディスプレイとを含んで構成される。表示部１０２は、左右で異なる映像を表示することで立体表示を行う。例えば、表示部１０２は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等により構成される。あるいは表示部１０２は一つのディスプレイで構成され、該ディスプレイ内で領域を分けてそれぞれの領域で右目用、左目用の映像の表示を行う形態であってもよい。

【0013】

撮影部１０３は、複数の視点のそれぞれから実空間に存在する対象物２０２（図２Ａ参照）を撮影して複数の撮影画像を生成する。

【0014】

図２Ａは、情報処理装置１０１の利用態様の一例を示す図である。ユーザ２０１は、情報処理装置１０１を頭部に着用した状態で、対象物２０２の周囲を移動する。その際に、撮影部１０３は、情報処理装置１０１の移動経路２０３に沿って複数の視点のそれぞれから、対象物２０２を撮影する。移動経路２０３は、対象物２０２の周囲を一周する経路である。そして、情報処理装置１０１は、複数の視点のそれぞれから撮影された対象物２０２の複数の像から、対象物２０２の形状を示す三次元モデルを生成する。

【0015】

図２Ｂ、図７、図８、図９、図１０は情報処理装置１０１が表示部１０２に表示させる仮想現実空間を示す仮想現実画面の一例を示す図である。

【0016】

図２Ｂは、三次元モデルを含む仮想現実画面２１１の一例を示す図である。情報処理装置１０１は、三次元モデル２１２を含む仮想現実画面２１１を表示部１０２に表示させる。図２Ａ及び図２Ｂに例示する通り、情報処理装置１０１は、ユーザ２０１が情報処理装置１０１を頭部に着用した状態で、実空間に存在する対象物２０２の三次元モデルを生成し、ユーザ２０１の操作に応じて、三次元モデル２１２を仮想現実画面２１１に含ませて表示させる。つまり、情報処理装置１０１は、実空間に存在する対象物２０２の三次元モデルを生成し、生成された三次元モデル２１２を含む仮想現実画面２１１を表示部１０２に表示させるまでの一連の処理を、ユーザ２０１に情報処理装置１０１を頭部に着用させた状態で実行できる。そのため、情報処理装置１０１は、ユーザ２０１に情報処理装置１０１を着脱する手間をかけさせることなく、実空間に存在する物体を仮想現実空間に容易に取り込むことができる。

【0017】

図３は、情報処理装置１０１のハードウェア構成の一例を示す図である。情報処理装置１０１は、表示部１０２と、撮影部１０３と、記憶部３０３と、制御部３０４とを備える。表示部１０２は、上記の通りであるため、詳細な説明は省略する。

【0018】

撮影部１０３は、第１カメラ３０１と、第２カメラ３０２とを含む。第１カメラ３０１は、ＲＧＢ（Red Green Blue）のフィルタを含む単眼または複数のカメラである。また、撮影部１０３は、ＬｉＤＡＲ（Light Detection And Ranging）やＴｏＦ（Time of Flight）など測距用のセンサーを補助的に有していても良い。第１カメラ３０１は、第１カメラ３０１の撮影範囲に存在する対象物２０２を撮影する。具体的には、第１カメラ３０１は、ユーザ２０１の移動経路２０３に沿って、複数の視点のそれぞれから対象物２０２を撮影する。

【0019】

第２カメラ３０２は、例えばモノクロステレオカメラである。第２カメラ３０２は、第２カメラ３０２の撮影範囲に存在するユーザ２０１の手を撮影する。あるいは第２カメラ３０２は、ユーザ２０１の手の動きの検出や手の距離の算出ができる画像を撮影できるものであればモノクロでなくともカラーのステレオカメラでもよい。また、第２カメラ３０２として３つ以上のカメラを用いて検出精度を高めてもよい。

【0020】

情報処理装置１０１は、ユーザ２０１の手の像の動きに基づいて、ユーザ２０１による仮想現実画面に対する操作を受け付ける。これにより、情報処理装置１０１は、第２カメラ３０２の撮影範囲で手を動かすことで、ユーザ２０１による仮想現実空間に対する操作を受け付けることができる。

【0021】

記憶部３０３は、各種データ、プログラム等を記録可能な記録媒体である。例えば、記憶部３０３は、ＳＳＤ（Solid State Drive）、半導体メモリ等によって構成される。記憶部３０３は、対象物２０２の三次元モデルを記憶する。

【0022】

制御部３０４は、記憶部３０３に記憶されるプログラム及びデータに従って、各種処理を実行する。例えば、制御部３０４は、ＣＰＵ（Central Processing Unit）、チップセット等のプロセッサにより構成される。

【0023】

図４は、制御部３０４の機能的構成の一例を示す図である。制御部３０４は、撮影処理と、画像認識処理と、撮影画像表示処理と、三次元化処理と、仮想現実画面表示処理と、表示制御処理と、ユーザ操作処理とを行う。例えば、制御部３０４は、撮影処理部４０１と、画像認識処理部４０２と、撮影画像表示処理部４０３と、三次元化処理部４０４と、仮想現実画面表示処理部４０５と、表示制御部４０６と、ユーザ操作処理部４０７とを備える。

【0024】

撮影処理部４０１は、第１カメラ３０１に対象物２０２を撮影させる。さらに、撮影処理部４０１は、第２カメラ３０２に、撮影範囲である実空間に存在するユーザ２０１の手を撮影させる。

【0025】

画像認識処理部４０２は、第１カメラ３０１によって生成された撮影画像から、対象物２０２の像を切り出す。さらに、画像認識処理部４０２は、第２カメラ３０２によって生成された撮影画像に基づいて、ユーザ２０１の手の像の動きを検出する。

【0026】

撮影画像表示処理部４０３は、撮影部１０３が撮影している実空間の画像を示す実像画面を仮想現実画面内に含ませて表示させる。具体的には、撮影画像表示処理部４０３は、第１カメラ３０１が撮影中の画像（スルー画像）を示す実像画面を、仮想現実画面内に含ませて表示させる。さらに、撮影画像表示処理部４０３は、複数の視点から対象物２０２を撮影する進行度を示す情報を表示させる。

【0027】

三次元化処理部４０４は、第１カメラ３０１によって生成された複数の撮影画像にそれぞれ含まれる対象物２０２の複数の像から、対象物２０２の三次元モデルを生成する。三次元モデルは、対象物２０２の形状を示す。さらに、三次元モデルは、対象物２０２のテクスチャを示してもよい。

【0028】

仮想現実画面表示処理部４０５は、三次元モデルを表示部１０２に表示させる。具体的には、仮想現実画面表示処理部４０５は、仮想現実画面を生成する。そして、仮想現実画面表示処理部４０５は、三次元モデルを仮想現実画面に含ませて表示させる。

【0029】

表示制御部４０６は、仮想現実画面、実像画面、及びユーザ２０１に提示するメッセージ等を表示部１０２に表示する処理を制御する。

【0030】

ユーザ操作処理部４０７は、仮想現実画面に対する操作を受け付ける。例えば、ユーザ操作処理部４０７は、第２カメラ３０２により撮影されたユーザ２０１の手の像の動きに基づいて、仮想現実画面に対する操作を受け付ける。仮想現実画面に対する操作は、対象物２０２の撮影を開始することを指示する第１操作を含む。さらに、仮想現実画面に対する操作は、三次元モデルを仮想現実画面に含ませることを指示する第２操作を含む。

【0031】

図５Ａ～図６は、情報処理装置１０１の動作の一例を示すフローチャートである。制御部３０４が図５Ａに例示するステップＳ５０１の処理を開始する時点において、ユーザ２０１が情報処理装置１０１を着用しているものとする。

【0032】

ステップＳ５０１において仮想現実画面表示処理部４０５は、仮想現実画面を生成する。そして、表示制御部４０６は、生成された仮想現実画面を表示部１０２に表示させる。

【0033】

ステップＳ５０２において撮影処理部４０１は、第２カメラ３０２を起動する。

【0034】

ステップＳ５０３において表示制御部４０６は、ステップＳ５０１で仮想現実画面にスキャン開始ボタン７０２（図７参照）を表示する。具体的には、表示制御部４０６は、スキャン開始ボタン７０２を含ませた仮想現実画面を表示部１０２に表示させる。

【0035】

ステップＳ５０４においてユーザ操作処理部４０７は、対象物２０２の撮影を開始することを指示する第１操作を受け付けた否かを判定する。

【0036】

例えば、画像認識処理部４０２は、第２カメラ３０２によって生成された撮影画像に基づいて、ユーザ２０１の手の像の動きを検出する。例えば、画像認識処理部４０２は、三角測量の原理等を利用して、第２カメラ３０２からユーザ２０１の手までの距離を算出する。そして、画像認識処理部４０２は、第２カメラ３０２からユーザ２０１の手までの距離の時間変化から、ユーザ２０１の手の像の動きを検出する。そして、ユーザ操作処理部４０７は、ステップＳ５０４で検出されたユーザ２０１の手の像の動きに基づいて、スキャン開始ボタン７０２を選択する操作を受け付けたか否かを判定する。ユーザ操作処理部４０７は、スキャン開始ボタン７０２を選択する操作を受け付けた場合、第１操作を受け付けたと判定する。手の像の動きに基づくとは、具体的にはユーザ２０１がユーザ２０１の手を左右上下に移動することが、仮想現実画面上のカーソルの位置を移動することに相当し、ユーザ２０１がユーザ２０１の手を前方向に少し動かすことが、仮想現実画面上のボタン等のユーザインターフェース部品を選択する操作に相当する。

【0037】

または、情報処理装置１０１は、ボタン及びキー等を備えるコントローラを、有線又は無線により情報処理装置１０１に接続可能なように構成されてもよい。その場合、当該コントローラがスキャン開始ボタン７０２を選択する操作を受け付けた場合、ユーザ操作処理部４０７は、第１操作を受け付けたと判定してもよい。

【0038】

ステップＳ５０４において第１操作が検出されない場合、制御部３０４は、処理をステップＳ５０４に戻す。一方、ステップＳ５０４において第１操作が検出された場合、ステップＳ５０５において撮影処理部４０１は、第１カメラ３０１を起動する。

【0039】

ステップＳ５０６において撮影処理部４０１は、第１カメラ３０１に撮影を開始させる。そして、撮影処理部４０１は、第１カメラ３０１に所定の時間間隔で撮影範囲を撮影させる。これにより、第１カメラ３０１は、所定の時間間隔で撮影画像を生成する。ここで、表示制御部４０６は、「仮想現実空間に取り込みたい物体を見ながら、その物体の周囲を一周歩いてください」等のメッセージを表示部１０２に表示させる。これにより、情報処理装置１０１は、対象物２０２の方に視線を向けながら対象物２０２の周囲を一周移動するようにユーザ２０１に促すことができる。ユーザ２０１が情報処理装置１０１を着用した状態で対象物２０２の方に視線を向けながら対象物２０２の周囲を一周移動することで、つまり、情報処理装置１０１が第１カメラ３０１を対象物２０２の方に向けながら対象物２０２の周囲を一周移動することで、第１カメラ３０１は、対象物２０２の周囲を一周する経路に沿って、複数の視点から対象物２０２を撮影できる。

【0040】

ステップＳ５０７において撮影画像表示処理部４０３は、第１カメラ３０１が撮影中の画像を示す実像画面を表示部１０２に表示させる。具体的には、撮影画像表示処理部４０３は、実像画面を、仮想現実画面内に含ませて表示させる。これにより、情報処理装置１０１は、仮想現実空間をユーザ２０１が体験している状態において、第１カメラ３０１の撮影範囲である実空間を投影した画面をユーザ２０１に提示できる。そして、制御部３０４は処理を図５Ｂに例示するステップＳ５０８に移行する。

【0041】

図５Ｂは、図５Ａに続く情報処理装置１０１の動作の一例を示すフローチャートである。

【0042】

ステップＳ５０８において撮影処理部４０１は、第１カメラ３０１に対象物２０２を撮影させる処理を終了するか否かを判定する。例えば、撮影処理部４０１は、対象物２０２を撮影開始してから所定時間が経過したか否かを判定する。つまり、撮影処理部４０１は、対象物２０２を撮影開始してからの経過時間により、対象物２０２を撮影する進行度を判定する。

【0043】

対象物２０２を撮影開始してから所定時間が経過していない場合、撮影処理部４０１は、第１カメラ３０１に対象物２０２を撮影させる処理を継続する。一方、対象物２０２を撮影開始してから所定時間が経過した場合、撮影処理部４０１は、第１カメラ３０１に対象物２０２を撮影させる処理を終了する。

【0044】

または、撮影処理部４０１は、第１カメラ３０１によって生成される撮影画像に含まれる対象物２０２の像の背景の変化から、対象物２０２を撮影する進行度を判定してもよい。その場合、撮影処理部４０１は、第１カメラ３０１によって生成される撮影画像に含まれる対象物２０２の像の背景の変化から、対象物２０２が撮影された視点が変化したか否かを判定する。そして、撮影処理部４０１は、対象物が撮影された視点の変化に基づいて、対象物２０２を撮影する進行度を判定してもよい。

【0045】

ステップＳ５０８において対象物２０２を撮影する処理を終了すると判定しない場合、制御部３０４は、処理をステップＳ５０８に戻す。つまり、ステップＳ５０８において対象物２０２を撮影する処理を終了すると判定しない場合、撮影処理部４０１は、第１カメラ３０１に撮影させる処理を継続する。これにより、情報処理装置１０１は、対象物２０２の周囲を移動する間に、自動的に複数の視点から対象物２０２を撮影する。その結果、情報処理装置１０１は、視点を変えて対象物２０２を撮影するための操作をユーザ２０１に行わせることなく、複数の視点から対象物２０２を撮影できる。

【0046】

一方、ステップＳ５０８において対象物２０２を撮影する処理を終了すると判定した場合、ステップＳ５０９において画像認識処理部４０２は、ユーザ２０１の移動経路に沿って複数の視点のそれぞれから撮影して生成された複数の撮影画像から、対象物２０２の複数の像を切り出す。切り出された対象物の複数の像のそれぞれは、異なる視点から撮影された対象物２０２の像である。つまり、画像認識処理部４０２は、ステップＳ５０８の処理を実行することで、ユーザ２０１の移動経路に沿って複数の視点から対象物２０２の形状等をスキャンする。

【0047】

ステップＳ５１０において三次元化処理部４０４は、切り出された対象物２０２の複数の像から、対象物２０２の形状を示す三次元モデルを生成する。例えば、三次元モデルは、対象物２０２の表面の形状を構成するメッシュデータを示す。例えば、三次元化処理部４０４は、対象物２０２の複数の像の各々から、特徴点を抽出する。そして、三次元化処理部４０４は、互いに異なる視点から撮影された対象物２０２の像について、特徴点を対応付ける。そして、三次元化処理部４０４は、対応付けられた特徴点から、対象物２０２の表面を構成するメッシュを生成し、生成されたメッシュの座標値を、三次元モデルとして生成する。さらに、三次元モデルは、対象物２０２の表面のテクスチャに関する情報を含んでもよい。

【0048】

ステップＳ５１１において三次元化処理部４０４は、生成された三次元モデルを記憶部３０３に保存する。

【0049】

以上より、ユーザ２０１が情報処理装置１０１を着用した状態で対象物２０２の周囲を一周移動することで、情報処理装置１０１は、対象物２０２の形状等をスキャンし、スキャンして生成された三次元モデルを記憶部３０３に保存できる。つまり、情報処理装置１０１は、仮想現実空間をユーザ２０１に体験させている状態において、ユーザ２０１に情報処理装置１０１を着脱させることなく、対象物２０２の形状等をスキャンして生成された三次元モデルを記憶部３０３に保存できる。

【0050】

仮に、情報処理装置１０１とは異なる専用の機器が三次元モデルを生成するとする。そして、情報処理装置１０１は、生成された三次元モデルを読み込み、読み込んだ三次元モデルを表示部１０２に表示させるとする。その場合、情報処理装置１０１が、生成された三次元モデルを読み込むために、複数のアプリケーション、又はファイルフォーマットを変換するためのソフトウェアを利用する必要が生じるおそれがある。しかし、情報処理装置１０１は、ユーザ２０１が情報処理装置１０１を着用した状態で、対象物２０２の三次元モデルを生成できるため、情報処理装置１０１とは異なる専用の機器をユーザ２０１に利用させることなく、対象物２０２の三次元モデルを生成できる。

【0051】

ステップＳ５１２において表示制御部４０６は、実像画面を表示する処理を終了する。これにより、表示部１０２においては、仮想現実画面に含まれていた実像画面が非表示となり、仮想現実画面のみが表示される。

【0052】

ステップＳ５１３において撮影処理部４０１は、第１カメラ３０１の起動を終了する。そして、制御部３０４は、処理を図６に例示するステップＳ６０１に移行する。

【0053】

図６は、図５に続く情報処理装置１０１の動作の一例を示すフローチャートである。

【0054】

ステップＳ６０１において表示制御部４０６は、仮想現実画面に召喚ボタン１００３（図１０参照）を表示する。具体的には、表示制御部４０６は、召喚ボタン１００３を含ませた仮想現実画面を表示部１０２に表示させる。

【0055】

ステップＳ６０２においてユーザ操作処理部４０７は、三次元モデルを仮想現実画面に含ませることを指示する第２操作を受け付けたか否かを判定する。例えば、画像認識処理部４０２は、第２カメラ３０２によって生成された撮影画像に基づいて、ユーザ２０１の手の像の動きを検出する。そして、ユーザ操作処理部４０７は、検出されたユーザ２０１の手の像の動きに基づいて、召喚ボタン１００３を選択する操作を受け付けた否かを判定する。ユーザ操作処理部４０７は、召喚ボタン１００３を選択する操作を受け付けた場合、第２操作を受け付けたと判定する。または、情報処理装置１０１に接続されるコントローラが、召喚ボタン１００３を選択する操作を受け付けた場合、ユーザ操作処理部４０７は、第２操作を受け付けたと判定してもよい。

【0056】

ステップＳ６０２において第２操作が検出されない場合、制御部３０４は、処理をステップＳ６０２に戻す。一方、ステップＳ６０２において第２操作が検出された場合、ステップＳ６０３において仮想現実画面表示処理部４０５は、図５に例示するステップＳ５１１で記憶部３０３に保存された三次元モデルを読み出す。

【0057】

ステップＳ６０４において仮想現実画面表示処理部４０５は、読み出された三次元モデルを仮想現実画面に含ませて表示させる。つまり、制御部３０４がステップＳ６０１～ステップＳ６０５の処理を実行することで、情報処理装置１０１は、ユーザ２０１が望む任意のタイミングで対象物２０２の形状を示す三次元モデルをユーザ２０１に提示できる。その結果、情報処理装置１０１は、ユーザ２０１が望む任意のタイミングで、対象物２０２が仮想現実空間に存在するようにユーザ２０１に体験させることができる。

【0058】

情報処理装置１０１は無線や有線により外部との通信を可能とする通信部（不図示）を備えており、携帯電話網やインターネット経由で、あるいは情報処理装置１０１同士での直接接続で、他の情報処理装置１０１と通信が出来る構成にしてもよい。

【0059】

例えば、複数のユーザ２０１のそれぞれが情報処理装置１０１を利用して仮想現実空間を体験している状況において、一人のユーザ２０１が着用する情報処理装置１０１が、旅行の土産話とともに、実空間に存在する土産物を示す三次元モデルを生成して、仮想現実画面に表示させるとする。これにより、当該一人のユーザ２０１は、仮想現実空間において、実空間に存在する土産物を他のユーザと共有できる。

【0060】

または、複数のユーザ２０１のそれぞれが情報処理装置１０１を利用して仮想現実空間を体験している状況において、一人のユーザ２０１が着用する情報処理装置１０１が、当該一人のユーザ２０１が実際に飲食しているものを示す三次元モデルを生成して、仮想現実空間に表示させるとする。これにより、当該一人のユーザ２０１は、仮想現実空間において、実際に飲食しているものを他のユーザと共有できる。

【0061】

従って、情報処理装置１０１は、複数のユーザ２０１が仮想現実空間を体験している状況において、容易に実空間に存在する物体の三次元モデルを共有できるため、仮想現実空間においてコミュニケーションの円滑化を図ることに貢献できる。

【0062】

以上より、情報処理装置１０１は、実空間に存在する物体を容易に仮想現実空間に取り込むことができる。

【0063】

図７は、スキャン開始ボタン７０２を含む仮想現実画面７０１の一例を示す図である。

【0064】

図７に例示するように、ユーザ２０１が情報処理装置１０１を頭部に着用した状態で、眼前に手をかざすことで、第２カメラ３０２は、ユーザ２０１の手を撮影する。そして、画像認識処理部４０２は、第２カメラ３０２によって撮影されたユーザ２０１の手の像に基づいて、ユーザ２０１の手の像の動きを検出する。

【0065】

表示制御部４０６は、検出されたユーザ２０１の手の像の動きに応じた位置に表示されるように、カーソル７０３を仮想現実画面７０１に含ませる。例えば、カーソル７０３は、手を示す画像又はシンボル等である。

【0066】

ユーザ２０１は、カーソル７０３がスキャン開始ボタン７０２の位置に表示されるように手を動かし、スキャン開始ボタン７０２を選択する動作を行う。その場合、ユーザ操作処理部４０７は、ユーザ２０１の手の像の動きに基づいて、スキャン開始ボタン７０２を選択する操作を受け付ける。これにより、情報処理装置１０１は、仮想現実空間においてユーザ２０１にスキャン開始ボタン７０２を選択させることできる。

【0067】

図８は、第１カメラ３０１が撮影を開始した時点における仮想現実画面８０１の一例を示す図である。

【0068】

図８に例示するように、撮影処理部４０１が第１カメラ３０１に撮影を開始させた後、仮想現実画面８０１には、実像画面８０２が含まれる。実像画面８０２には、第１カメラ３０１が撮影中の画像が示される。例えば、実像画面８０２には、対象物２０２の像８０３が含まれる。

【0069】

さらに、実像画面８０２には、対象物２０２を撮影する進行度を示す情報が含まれる。例えば、対象物２０２を撮影する進行度を示す情報は、ステータスバー８０４によって示される。

【0070】

図９は、仮想現実画面９０１の一例を示す図である。仮想現実画面９０１には、対象物２０２の像９０３を含む実像画面９０２が含まれる。像９０３は、図８に例示する像８０３とは異なる視点から撮影された対象物２０２の像を示す。さらに、実像画面９０２には、ステータスバー９０４が含まれる。ステータスバー９０４は、図８に例示するステータスバー８０４とは異なる進行度を示す。表示制御部４０６が、実像画面９０２にステータスバー９０４を含ませることで、情報処理装置１０１は、撮影の進行度をユーザ２０１に視認させることができる。そして、ステップＳ５０８において撮影処理部４０１は、第１カメラ３０１に対象物２０２を撮影させる処理を終了すると判定した場合、ステータスバー９０４は、撮影の進行度が１００％であることを示す。これにより、情報処理装置１０１は、ユーザ２０１に撮影完了を通知できる。

【0071】

図１０は、仮想現実画面１００１に三次元モデル１００２を含ませる処理をしたときの画面遷移の一例を示す図である。

【0072】

仮想現実画面１００１に召喚ボタン１００３が含まれる場合、表示制御部４０６は、ユーザ２０１の手の像の動きに応じた位置に表示されるように、カーソル１００４を三次元モデル１００２に含ませる。そして、ユーザ２０１は、カーソル１００４が召喚ボタン１００３の位置に表示されるように手を動かし、召喚ボタン１００３を選択する動作を行う。その場合、ユーザ操作処理部４０７は、ユーザ２０１の手の像の動きに基づいて、召喚ボタン１００３を選択する操作を受け付ける。これにより、情報処理装置１０１は、仮想現実空間においてユーザ２０１に召喚ボタン１００３を選択させることができる。

【0073】

召喚ボタン１００３を選択する操作が検出された場合、仮想現実画面表示処理部４０５は、三次元モデル１００２を仮想現実画面１００１に含ませて表示させる。これにより、情報処理装置１０１は、ユーザ２０１に三次元モデル１００２を視認させることができる。その結果、情報処理装置１０１は、対象物２０２が仮想現実空間に存在するようにユーザ２０１に容易に体験させることができる。

【0074】

（変形例）
本実施形態に係る情報処理装置１０１の変形例として、情報処理装置１０１は、ユーザが対象物の周囲を移動しない形態であってもよい。例えば、ユーザが、対象物２０２を回転させる。そして、回転している対象物２０２を撮影することにより、第１カメラ３０１は、複数の視点から対象物２０２を撮影し、複数の撮影画像を生成する。そして、三次元化処理部４０４は、複数の撮影画像のそれぞれに含まれる対象物２０２の複数の像から、対象物２０２の三次元モデルを生成する。これにより、本変形例に係る情報処理装置１０１は、ユーザが情報処理装置１０１を着用した場合と同様に、情報処理装置１０１単体で、三次元モデルを生成し、且つ生成された三次元モデルを仮想現実画面に含ませて表示できる。

【0075】

上記実施形態で実行される各処理は、各実施形態で例示した処理態様に限定されない。上述した機能ブロックは、集積回路等に形成された論理回路（ハードウェア）、又はＣＰＵを用いたソフトウェアの何れを用いて実現してもよい。上記実施形態で実行される各処理は、複数のコンピュータで実行されてもよい。例えば、情報処理装置１０１の制御部３０４の各機能ブロックで実行される処理は、他のコンピュータで一部の処理が実行されてもよいし、複数のコンピュータで全ての処理が分担して実行されてもよい。

【0076】

本開示は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。本開示は、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

【符号の説明】

【0077】

１０１ 情報処理装置、１０２ 表示部、１０３ 撮影部、２０１ ユーザ、２０２ 対象物、２０３ 移動経路、２１１ 仮想現実画面、２１２ 三次元モデル、３０１ 第１カメラ、３０２ 第２カメラ、３０３ 記憶部、３０４ 制御部、４０１ 撮影処理部、４０２ 画像認識処理部、４０３ 撮影画像表示処理部、４０４ 三次元化処理部、４０５ 仮想現実画面表示処理部、４０６ 表示制御部、４０７ ユーザ操作処理部、７０１ 仮想現実画面、７０２ スキャン開始ボタン、７０３ カーソル、８０１ 仮想現実画面、８０２ 実像画面、８０３ 像、８０４ ステータスバー、９０１ 仮想現実画面、９０２ 実像画面、９０３ 像、９０４ ステータスバー、１００１ 仮想現実画面、１００２ 三次元モデル、１００３ 召喚ボタン、１００４ カーソル

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】