特許 7371623 表示制御装置、プログラムおよび表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-23

(45)【発行日】2023-10-31

(54)【発明の名称】表示制御装置、プログラムおよび表示制御方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20231024BHJP

   G06T 7/00 20170101ALI20231024BHJP

   G06T 7/55 20170101ALI20231024BHJP

【ＦＩ】

G06T19/00 600

G06T7/00 C

G06T7/55

【請求項の数】 11

(21)【出願番号】P 2020521749

(86)(22)【出願日】2019-03-27

(86)【国際出願番号】 JP2019013244

(87)【国際公開番号】W WO2019230169

(87)【国際公開日】2019-12-05

【審査請求日】2022-02-16

(31)【優先権主張番号】P 2018103088

(32)【優先日】2018-05-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】山中 太記

【審査官】岡本 俊威

(56)【参考文献】

【文献】国際公開第２０１７／０５６５６７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、
前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、
前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、
を備え、
前記３次元データは、複数の視点位置で得られた複数のデプスマップを統合することで得られ、
前記信頼度は、前記３次元データを構成する前記各要素データである各ボクセルまたは各ポリゴンメッシュに関連付けられ、
前記複数のデプスマップにおいて各ボクセルが観測された回数の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を算出する信頼度算出部をさらに備える、表示制御装置。

【請求項2】

実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、
前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、
前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、
を備え、
前記３次元データは、複数の視点位置で得られた複数のデプスマップを統合することで得られ、
前記信頼度は、前記３次元データを構成する前記各要素データである各ボクセルまたは各ポリゴンメッシュに関連付けられ、
前記複数のデプスマップには、各デプスマップで観測されたボクセルに個別信頼度が設定され、
前記複数のデプスマップの各ボクセルに設定された個別信頼度の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を算出する信頼度算出部をさらに備える、表示制御装置。

【請求項3】

前記表示制御部は、画像における前記領域の視認性を低下させる表示制御を行う、請求項１または２に記載の表示制御装置。

【請求項4】

前記表示制御部は、前記画像における前記領域に透明度を設定する、請求項３に記載の表示制御装置。

【請求項5】

前記表示制御部は、前記画像における前記領域に他の表示を配置する、請求項３に記載の表示制御装置。

【請求項6】

前記領域特定部により特定される前記領域は３次元領域であり、
前記表示制御部は、前記３次元領域に対応する位置にオブジェクトを配置する、請求項１または２に記載の表示制御装置。

【請求項7】

前記３次元領域に対応する位置は、前記３次元領域と同一の位置、または前記３次元領域よりも視点位置側である、請求項６に記載の表示制御装置。

【請求項8】

コンピュータを、
実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、
前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、
前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、
として機能させるための、プログラムであって、
前記３次元データは、複数の視点位置で得られた複数のデプスマップを統合することで得られ、
前記信頼度は、前記３次元データを構成する前記各要素データである各ボクセルまたは各ポリゴンメッシュに関連付けられ、
前記コンピュータをさらに、
前記複数のデプスマップにおいて各ボクセルが観測された回数の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を算出する信頼度算出部として機能させるための、プログラム。

【請求項9】

コンピュータを、
実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、
前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、
前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、
として機能させるための、プログラムであって、
前記３次元データは、複数の視点位置で得られた複数のデプスマップを統合することで得られ、
前記信頼度は、前記３次元データを構成する前記各要素データである各ボクセルまたは各ポリゴンメッシュに関連付けられ、
前記複数のデプスマップには、各デプスマップで観測されたボクセルに個別信頼度が設定され、
前記コンピュータをさらに、
前記複数のデプスマップの各ボクセルに設定された個別信頼度の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を算出する信頼度算出部として機能させるための、プログラム。

【請求項10】

実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得することと、
前記信頼度が基準を満たさない要素データに対応する領域を特定することと、
特定された前記領域の見え方を変化させる表示制御をプロセッサにより行うことと、
を含む、表示制御方法であって、
前記３次元データは、複数の視点位置で得られた複数のデプスマップを統合することで得られ、
前記信頼度は、前記３次元データを構成する前記各要素データである各ボクセルまたは各ポリゴンメッシュに関連付けられ、
前記複数のデプスマップにおいて各ボクセルが観測された回数の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を前記プロセッサにより算出することをさらに含む、表示制御方法。

【請求項11】

実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得することと、
前記信頼度が基準を満たさない要素データに対応する領域を特定することと、
特定された前記領域の見え方を変化させる表示制御をプロセッサにより行うことと、
を含む、表示制御方法であって、
前記３次元データは、複数の視点位置で得られた複数のデプスマップを統合することで得られ、
前記信頼度は、前記３次元データを構成する前記各要素データである各ボクセルまたは各ポリゴンメッシュに関連付けられ、
前記複数のデプスマップには、各デプスマップで観測されたボクセルに個別信頼度が設定され、
前記複数のデプスマップの各ボクセルに設定された個別信頼度の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を前記プロセッサにより算出することをさらに含む、表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示制御装置、プログラムおよび表示制御方法に関する。

【背景技術】

【0002】

近年、実空間に仮想オブジェクト表示を重畳する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。例えば、ＡＲ処理を行う情報処理端末は、実空間の３次元データ、仮想オブジェクトに設定された３次元位置、および情報処理端末の３次元位置を認識し、情報処理端末の撮像により得られた実空間画像において仮想オブジェクトに設定された３次元位置に対応する位置を特定し、当該特定した位置に仮想オブジェクト表示を重畳する。これにより、ユーザは、仮想オブジェクトが実空間に存在するかのように感じることができる。このようなＡＲ処理に関しては例えば特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－２２１２５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＡＲ処理においては、仮想オブジェクトの３次元位置が実空間の物体の背後に設定されている場合、情報処理端末は仮想オブジェクト表示を実空間画像に重畳しないことが望ましい。しかし、実空間の３次元データが示す実空間の３次元構造と実際の実空間の３次元構造に差がある場合、仮想オブジェクト表示が誤って重畳される、または、重畳されるべき仮想オブジェクト表示が重畳されず、不自然なＡＲ画像が得られることがある。

【0005】

この点に関し、特許文献１には、仮想オブジェクト表示が重畳される実物体の位置や姿勢の認識の安定度に応じて仮想オブジェクト表示の態様を変化させる方法が開示されている。

【0006】

本開示では、実空間の見え方を変化させることで表示の不自然さを低減することが可能な、新規かつ改良された表示制御装置、プログラムおよび表示制御方法を提案する。

【課題を解決するための手段】

【0007】

本開示によれば、実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、を備える、表示制御装置が提供される。

【0008】

また、本開示によれば、コンピュータを、実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、として機能させるための、プログラムが提供される。

【0009】

また、本開示によれば、実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得することと、前記信頼度が基準を満たさない要素データに対応する領域を特定することと、特定された前記領域の見え方を変化させる表示制御をプロセッサにより行うことと、を含む、表示制御方法が提供される。

【発明の効果】

【0010】

以上説明したように本開示によれば、実空間の見え方を変化させることで表示の不自然さを低減することが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

【図面の簡単な説明】

【0011】

【図1】本開示の一実施形態による情報処理端末１０の外観を示す説明図である。

【図2】ＡＲ処理の具体例を示す説明図である。

【図3】情報処理端末１０の構成を示す説明図である。

【図4】信頼度を算出する第１の方法を示す説明図である。

【図5】信頼度を算出する第２の方法を示す説明図である。

【図6】情報処理端末１０の動作を示すフローチャートである。

【図7】第１の表示制御例の具体例を示す説明する。

【図8】信頼度マップの具体例を示す説明図である。

【図9】第２の表示制御例を示す説明図である。

【図10】他の第２の表示制御例を示す説明図である。

【図11】第３の表示制御例を示す説明図である。

【図12】第４の表示制御例を示す説明図である。

【図13】付加オブジェクトの配置方法を示す説明図である。

【図14】付加オブジェクトの配置方法を示す説明図である。

【図15】情報処理端末１０のハードウェア構成を示した説明図である。

【発明を実施するための形態】

【0012】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0013】

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。

【0014】

また、以下に示す項目順序に従って本開示を説明する。
１．情報処理端末の概要
２．情報処理端末の構成
３．情報処理端末の動作
４．表示制御例
４－１．第１の表示制御例
４－２．第２の表示制御例
４－３．第３の表示制御例
４－４．第４の表示制御例
５．ハードウェア構成
６．むすび

【0015】

＜１．情報処理端末の概要＞
図１は、本開示の一実施形態による情報処理端末１０の外観を示す説明図である。図１に示すように、本実施形態による情報処理端末１０は、例えばユーザＵの頭部に装着されるメガネ型のヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）により実現される。

【0016】

情報処理端末１０は、表示制御装置の一例であり、図１に示したように撮像部１３０および表示部１５０を有する。撮像部１３０は、ユーザＵの視線方向に向けられており、ユーザＵの視線方向に存在する被写体の画像を取得する。表示部１５０は、情報処理端末１０がユーザに装着された際にユーザＵの眼前に位置する。表示部１５０は、透過型のディスプレイであってもよいし、非透過型のディスプレイであってもよい。表示部１５０が透過型のディスプレイである場合、表示部１５０には仮想オブジェクト表示が配置されてもよい。一方、表示部１５０が非透過型のディスプレイである場合、表示部１５０には、撮像部１３０により得られた実空間画像、および実空間画像に重畳された仮想オブジェクト表示が表示されてもよい。いずれの場合においても、ユーザＵは、実空間に仮想オブジェクトが存在するかのような感覚を得ることが可能である。

【0017】

なお、図１においてはユーザＵの両眼の眼前に２つの表示部１５０が設けられる例を示しているが、ユーザＵの片眼の眼前にのみ１つの表示部１５０が設けられてもよい。また、図１においては表示制御装置の一例としてメガネ型の情報処理端末１０を示しているが、表示制御装置はメガネ型の情報処理端末１０に限定されない。例えば、表示制御装置は、ヘッドバンド型（頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある）のＨＭＤや、ヘルメットタイプ（ヘルメットのバイザー部分がディスプレイに相当する）のＨＭＤであってもよい。また、表示制御装置は、リストバンド型（例えばスマートウォッチ。ディスプレイがある場合または無い場合を含む）、ヘッドホン型（ディスプレイなし）、またはネックフォン型（首掛けタイプ。ディスプレイがある場合または無い場合を含む）等のウェアラブル装置により実現されてもよい。また、表示制御装置は、スマートフォン、または携帯電話などの携帯端末であってもよい。

【0018】

ここで、表示部１５０が非透過型のディスプレイである場合に実空間画像に仮想オブジェクト表示を重畳する方法について言及する。情報処理端末１０は、実空間の３次元データ、仮想オブジェクトに設定された３次元位置、および情報処理端末１０の３次元位置を認識し、情報処理端末１０により得られた実空間画像において仮想オブジェクトに設定された３次元位置に対応する位置を特定し、当該特定した位置に仮想オブジェクト表示を重畳する。

【0019】

ＡＲ処理、すなわち仮想オブジェクト表示の重畳に関し、仮想オブジェクトの３次元位置が実空間の物体の背後に設定されている場合、情報処理端末１０は仮想オブジェクト表示を実空間画像に重畳しないことが望ましい。しかし、実空間の３次元データの精度が低い場合、仮想オブジェクト表示が誤って重畳される、または、重畳されるべき仮想オブジェクト表示が重畳されず、不自然なＡＲ画像が得られることが懸念される。この点に関し、図２を参照してより具体的に説明する。

【0020】

図２は、ＡＲ処理の具体例を示す説明図である。図２に示した実物体であるソファに関し、ソファの全体に亘り精度が高い３次元データＤ１が得られており、ソファの座面上に仮想オブジェクトの３次元位置が設定されている場合、ソファの画像に仮想オブジェクト表示Ｖ１が重畳された画像Ｅ１が表示される。画像Ｅ１において、ソファの肘置きの領域に仮想オブジェクト表示Ｖ１が重畳されないことで、ユーザはソファの肘置きの後側に仮想オブジェクトが存在するように感じることができる。

【0021】

一方、３次元データＤ２において破線で示したように、ソファの肘置きの領域の認識精度が低い場合、仮想オブジェクトと肘置きの領域の前後関係の判断に誤りが生じ、結果、画像Ｅ２に示したように、不自然に欠けた仮想オブジェクト表示Ｖ２がソファの画像に重畳されることが懸念される。

【0022】

本件発明者は、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、ＡＲ処理に関して、実空間の見え方を変化させることで表示の不自然さを低減することが可能である。以下、このような本開示の実施形態による情報処理端末１０の構成および動作を順次詳細に説明する。なお、以下では、表示部１５０が非透過型のディスプレイであることを主に想定して実施形態が説明されるが、透過型のディスプレイにも同様に本開示の実施形態を適用可能である。

【0023】

＜２．情報処理端末の構成＞
図３は、情報処理端末１０の構成を示す説明図である。図３に示したように、本開示の実施形態による情報処理端末１０は、距離計測部１２０、位置推定部１２２、３次元統合部１２４、信頼度算出部１２６、信頼度つき３次元データ記憶部１２８、撮像部１３０、仮想オブジェクト記憶部１３２、領域特定部１３４、表示制御部１３６および表示部１５０を有する。

【0024】

（距離計測部）
距離計測部１２０は、複数のカメラにより得られた画像と、複数のカメラの位置関係に基づき、視点位置から実空間上の物体までの距離を計測し、デプスマップを取得する。距離計測部１２０は、多視点ステレオまたはＩＲパターン投射ステレオであってもよい。

【0025】

（位置推定部）
位置推定部１２２は、情報処理端末１０の位置を推定する。位置推定部１２２は、例えば、異なるタイミングで得られた複数の画像を比較することで視点位置の変化を推定する。位置推定部１２２は、撮像にステレオカメラまたは単眼カメラなどが用いられる場合、ＶｉｓｕａｌＳＬＡＭ（Simultaneous Localization and Mapping）を用いて撮像位置を推定してもよい。

【0026】

（３次元統合部）
３次元統合部１２４は、複数の視点位置で得られたデプスマップを統合することで実空間の３次元データを生成する。例えば、３次元統合部１２４は、３次元データとしてボクセルボリューム上のＴＳＤＦ（Ｔｒｕｎｃａｔｅｄ Ｓｉｇｎｅｄ Ｄｉｓｔａｎｃｅ Ｆｕｎｃｔｉｏｎ）、または点群（Ｐｏｉｎｔ Ｃｌｏｕｄ）などを用いることが可能である。複数の視点位置で得られたデプスマップを統合することにより、大規模な空間の３次元データを得ることが可能である。なお、事前に用意された３次元データを利用することも可能であり、この場合、視線位置とメッシュモデルの位置合わせが行われる。

【0027】

また、３次元統合部１２４は、３次元データからポリゴンメッシュを抽出する。３次元データとしてＴＳＤＦが用いられる場合、３次元統合部１２４は、Ｍａｒｃｈｉｎｇ Ｃｕｂｅｓを用いｆ（ｘ）＝０の面を抽出してもよい（ｆは距離場、ｘは３次元位置）。３次元データとして点群が用いられる場合、３次元統合部１２４は、Ｐｏｉｓｓｏｎ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎを用いてもよい。

【0028】

（信頼度算出部）
信頼度算出部１２６は、３次元データを構成する各要素データの信頼度を算出する。例えば、信頼度算出部１２６は３次元データを構成する各ボクセルの信頼度を算出する。以下、図４および図５を参照して信頼度の算出の具体例を説明する。

【0029】

図４は、信頼度を算出する第１の方法を示す説明図である。図４は部屋の平面図を示し、当該平面図において各ボクセルが模式的に示されている。高さ方向にも複数のボクセルが存在するが、説明の便宜上、高さ方向上では１つのボクセルのみが示されている。

【0030】

第１の方法は、各ボクセルが観測された回数の合計数を各ボクセルの信頼度として算出する方法である。図４に示したように、視点位置Ｐ１、Ｐ２およびＰ３でデプスマップが得られた場合を考える。この場合、視点位置Ｐ１では、ボクセルＢ５、Ｃ５、Ｃ６およびＤ６が観測され、視点位置Ｐ２では、ボクセルＢ５、Ｃ５、Ｃ６、Ｄ６およびＥ６が観測され、視点位置Ｐ３ではボクセルＥ６、Ｆ６、Ｇ５、Ｇ６、Ｈ５およびＨ６が観測される。結果、図４には、各ボクセルの信頼度として、Ｂ５＝２、Ｃ５＝２、Ｃ６＝２、Ｄ６＝２、Ｅ６＝２、Ｆ６＝１、Ｇ５＝１、Ｇ６＝１、Ｈ５＝１、Ｈ６＝１が算出された例を示している。

【0031】

図５は、信頼度を算出する第２の方法を示す説明図である。図５は、図４と同様に部屋の平面図を示し、当該平面図において各ボクセルが模式的に示されている。高さ方向にも複数のボクセルが存在するが、説明の便宜上、高さ方向上では１つのボクセルのみが示されている。

【0032】

第２の方法は、各デプスマップで観測されたボクセルに設定された個別信頼度の合計値を各ボクセルの信頼度として算出する方法である。図５に示したように視点位置Ｐ４およびＰ５でデプスマップが得られた場合を考える。この場合、視点位置Ｐ４および視点位置Ｐ５の各々で複数のボクセルが観測されるが、各ボクセルについて計測された距離の個別信頼度が異なる。個別信頼度は、例えば、ＴｏＦの反射率であってもよいし、ステレオマッチングのスコアであってもよい。結果、図５には、各ボクセルの信頼度として、Ｂ４＝２、Ｂ５＝１、Ｂ６＝１、Ｃ４＝０．２、Ｃ５＝０．２、Ｄ４＝２、Ｅ４＝２が算出された例を示している。

【0033】

なお、信頼度算出部１２６は、３次元データを構成する各要素データの信頼度として、各ポリゴンメッシュ（３角形メッシュの場合は１つの３角形）の信頼度を算出してもよい。この場合、ポリゴンメッシュには、ポリゴンメッシュに対応するボクセルまたは点の信頼度が割り当てられ得る。ポリゴンメッシュに複数のボクセルまたは複数の点が対応する場合、信頼度算出部１２６は、ポリゴンメッシュに、複数のボクセルの信頼度の平均値、または複数の点の信頼度の平均値が割り当ててもよい。

【0034】

（信頼度つき３次元データ記憶部）
信頼度つき３次元データ記憶部１２８は、３次元統合部１２４により生成された３次元データを構成する各要素データに信頼度算出部１２６により算出された信頼度を示す信頼度情報が関連付けられたデータ、すなわち、信頼度つき３次元データを記憶する。なお、信頼度情報が関連付けられる要素データは、ボクセルであってもよいし、ポリゴンメッシュであってもよい。以下では、ポリゴンメッシュに信頼度情報が関連付けられていることを主に想定して説明を進める。

【0035】

（撮像部）
撮像部１３０は、図１を参照して説明したように、ユーザの視線方向に向けられており、ユーザの視線方向に存在する被写体の画像を取得する。

【0036】

（仮想オブジェクト記憶部）
仮想オブジェクト記憶部１３２は、各仮想オブジェクトに関し、仮想オブジェクトの表示データである仮想オブジェクト表示、および仮想オブジェクトに設定された３次元位置を含む仮想表示用データを記憶する。なお、仮想オブジェクトは移動してもよく、この場合、仮想オブジェクトには動的に変化する３次元位置が設定される。

【0037】

（領域特定部）
領域特定部１３４は、３次元データにおいて信頼度が基準を満たさない要素データに対応する領域を特定する。領域特定部１３４は、例えば、信頼度つき３次元データ記憶部１２８から信頼度つき３次元データを取得する情報取得部の機能を有し、３次元データ（メッシュモデル）を情報処理端末１０の位置へ投影し、各画素に対応する要素データの信頼度を各画素に与えることで、信頼度マップを得ることができる。そして、領域特定部１３４は、信頼度マップにおいて信頼度が基準値未満である画素に基づき、信頼度が基準値未満である要素データに対応する３次元領域、または、撮像部１３０により得られた実空間画像上で特定される２次元領域を特定してもよい。

【0038】

（表示制御部、表示部）
表示制御部１３６は、仮想オブジェクト記憶部１３２に記憶された仮想表示用データを用い、撮像部１３０により得られた実空間画像に仮想オブジェクト表示を重畳し、仮想オブジェクト表示が重畳された実空間画像を表示部１５０に表示させる。さらに、表示制御部１３６は、領域特定部１３４により特定された領域の見え方を変化させる表示制御を行う。当該表示制御については「４．表示制御例」以降で詳細に説明する。本開示の実施形態の表示制御によれば、本開示の実施形態の表示制御が実装されていな端末と比較して、３次元データが示す実空間の３次元構造と実際の実空間の３次元構造に差がある場合に起こり得る仮想オブジェクト表示の不自然さを低減することが可能である。

【0039】

＜３．情報処理端末の動作＞
以上、本開示の実施形態による情報処理端末１０の構成を説明した。続いて、図６を参照し、本開示の実施形態による情報処理端末１０の動作を整理する。

【0040】

図６は、情報処理端末１０の動作を示すフローチャートである。図６に示したように、まず、距離計測部１２０が複数の視点位置で実空間のデプスマップを取得する（Ｓ３１０）。そして、３次元統合部１２４が、距離計測部１２０により取得された複数のデプスマップを統合することにより、実空間の３次元構造を表現する３次元データを生成する（Ｓ３２０）。また、信頼度算出部１２６は、３次元統合部１２４により生成された３次元データを構成する各要素データの信頼度を算出する（Ｓ３３０）。そして、信頼度つき３次元データ記憶部１２８が、信頼度つき３次元データを記憶する（Ｓ３４０）。

【0041】

その後、撮像部１３０により実空間画像が取得されると（Ｓ３５０）、領域特定部１３４が、例えば３次元データにおいて信頼度が基準を満たさない要素データに対応する領域を実空間画像上で特定する（Ｓ３６０）。そして、表示制御部１３６は、領域特定部１３４により特定された領域の見え方を変化させる表示制御を行う（Ｓ３７０）。以下、図７～図１４を参照し、表示制御部１３６による表示制御の幾つかの具体例を順次詳細に説明する。

【0042】

＜４．表示制御例＞
（４－１．第１の表示制御例）
第１の表示制御例は、実空間画像において、信頼度が基準を満たさない要素データに対応する領域（低信頼度領域）が仮想オブジェクトに設定されている位置に重なる場合に行われる表示制御例である。表示制御部１３６は、実空間画像において、低信頼度領域が仮想オブジェクトに設定されている位置に重なる場合に、仮想オブジェクト表示を実空間画像に重畳しない。具体的には、表示制御部１３６は、仮想オブジェクトに設定されている３次元位置よりも視点位置側に低信頼度領域が存在する場合に、仮想オブジェクト表示を実空間画像に重畳しなくてもよい。以下、図７を参照し、このような第１の表示制御例をより具体的に説明する。

【0043】

図７は、第１の表示制御例の具体例を示す説明する。図７に示した実物体（ソファ）の３次元データにおける肘置きの領域Ｔが低信頼度領域であり、肘置きの領域Ｔが仮想オブジェクトに設定されている位置Ｓよりも視点位置側している場合を考える。この場合、表示制御部１３６は、画像Ｅ３に示したように、実空間画像に仮想オブジェクト表示を重畳しなくてもよい。これにより、不自然な仮想オブジェクト表示の発生を抑制することが可能である。

【0044】

また、表示制御部１３６は、画像Ｅ４に示したように、仮想オブジェクトに設定されている位置と肘置きの領域Ｔとの関係により仮想オブジェクト表示が重畳されていないことを示すメッセージＭ（図７に示した例では、「表示可能エリア外です。」というメッセージ）を表示してもよい。かかる構成により、ユーザは、仮想オブジェクト表示が重畳されていない理由を混乱無しに理解することが可能である。

【0045】

（４－２．第２の表示制御例）
第２の表示制御例では、実空間画像における低信頼度領域に、低信頼度領域の視認性を低下させる表示制御が行われる。表示制御部１３６は、例えば、実空間画像における低信頼度領域に透明度を設定してもよいし、実空間画像における低信頼度領域に他の表示を配置してもよい。以下、図８～図１０を参照し、このような第２の表示制御例をより具体的に説明する。

【0046】

図８、信頼度マップの具体例を示す説明図である。図８では、説明の便宜上、信頼度マップを構成する画素数が３５個である例が示されているが、信頼度マップはより多数の画素により構成され得る。図８に示した例では、ソファの肘掛けの領域Ｔを含む画素の信頼度が０～０．５である。領域特定部１３４が信頼度「１」未満である画素に対応する領域を低信頼度領域として特定する場合、領域特定部１３４は、肘掛けの領域Ｔを低信頼度領域として特定する。

【0047】

図９は、第２の表示制御例を示す説明図である。図９に示した画像Ｅ５のように、表示制御部１３６は、低信頼度領域として特定された肘掛けの領域Ｔに透明度を設定してもよい。かかる構成により、仮想オブジェクト表示Ｖと肘掛けの領域Ｔとの前後表現に誤りがあっても、当該誤りが目立たなくなるので、ユーザに与える不自然な印象を緩和することが可能である。ここで、表示制御部１３６は、肘掛けの領域Ｔを構成する各部分に、各部分に対応する信頼度マップ上の画素の信頼度が低いほど高い透明度を設定してもよい。かかる構成により、低信頼度領域と他の領域との間で滑らかに透明度を遷移させることが可能となる。なお、低信頼度領域の視認性を低下させる表示制御は、透明度の設定に限られず、例えば、ボカシ量の制御、または色濃度の制御などであってもよい。

【0048】

図１０は、他の第２の表示制御例を示す説明図である。図１０に示した画像Ｅ６のように、表示制御部１３６は、低信頼度領域として特定された肘掛けの領域Ｔにテクスチャ表示６２を配置してもよい。かかる構成により、仮想オブジェクト表示Ｖと肘掛けの領域Ｔとの前後関係に誤りがあっても、当該誤りが目立たなくなるので、ユーザに与える不自然な印象を緩和することが可能である。ここで、表示制御部１３６は、肘掛けの領域Ｔを構成する各部分に、各部分に対応する信頼度マップ上の画素の信頼度が低いほど濃い濃度を有するテクスチャ表示６２を配置してもよい。かかる構成により、低信頼度領域と他の領域との間でテクスチャ表示６２の存在感を滑らかに遷移させることが可能である。

【0049】

（４－３．第３の表示制御例）
第３の表示制御例では、３次元データにおける低信頼度領域に対応する位置であって、特に、３次元データにおける低信頼度領域と同一の位置に、実物体の代替オブジェクトが配置される。以下、図１１を参照し、このような第３の表示制御例をより具体的に説明する。

【0050】

図１１は、第３の表示制御例を示す説明図である。表示制御部１３６は、例えば、低信頼度領域として特定された肘置きの領域Ｔに、上記代替オブジェクトとして、実物体である肘置きの形状を表現するワイヤーフレームを配置してもよい。これにより、図１１に示した画像Ｅ７のように、肘置きの領域Ｔの表示はワイヤーフレームの表示に置換される。かかる構成により、仮想オブジェクト表示Ｖがユーザに与える不自然な印象を緩和すると共に、ユーザに３次元データの精度が不十分である領域を伝えることが可能である。

【0051】

（４－４．第４の表示制御例）
第４の表示制御例でも、３次元データにおける低信頼度領域に対応する位置であって、特に、３次元データにおける低信頼度領域よりも視点位置側に、実物体を遮る付加オブジェクトが配置される。ここで、視点位置は、ユーザの近傍の位置である。本実施形態においては、距離計測部１２０および表示部１５０などが一体的に情報処理端末１０に構成され、当該情報処理端末１０がユーザに装着されるので、視点位置は情報処理端末１０の位置に対応し得る。一方、距離計測部１２０および表示部１５０が分離され、距離計測部１２０がユーザから離れて位置する場合には、視点位置は距離計測部１２０でなく表示部１５０の位置に対応し得る。以下、図１２を参照し、このような第４の表示制御例をより具体的に説明する。

【0052】

図１２は、第４の表示制御例を示す説明図である。表示制御部１３６は、例えば、低信頼度領域として特定された肘置きの領域よりも視点位置側に、上記付加オブジェクトとして、肘置きの領域を隠す雲形の付加オブジェクトを配置してもよい。これにより、図１２に示した画像Ｅ８のように、肘置きの領域の手前側に存在するように見える雲形の付加オブジェクト８２が表示される。かかる構成により、仮想オブジェクト表示Ｖが低信頼度領域との関係でユーザに与える不自然な印象を緩和することが可能である。

【0053】

ここで、図１３および図１４を参照し、付加オブジェクトの配置方法について具体的に説明する。

【0054】

図１３において、実物体８１の３次元データにおいて太線で示した範囲が低信頼度領域として特定された場合を考える。この場合、表示制御部１３６は、図１３に示したように、低信頼度領域に含まれる各ポリゴンメッシュの各頂点（ｘｉ）から法線方向に距離ｄだけオフセットした点（ｘ’ｉ）を特定する。距離ｄは、固定値であってもよいし、視点位置と実物体８１との間の距離に応じた距離（例えば、所定割合の距離）であってもよい。

【0055】

そして、図１４の左図に示したように各頂点（ｘｉ）に対応する点（ｘ’ｉ）が特定されると、表示制御部１３６は、図１４の左図に示すように各点（ｘ’ｉ）の中心に順次に付加オブジェクト８２を配置する。そして、表示制御部１３６は、全ての点（ｘ’ｉ）が付加オブジェクト８２に含まれると、付加オブジェクト８２の配置を終了する。

【0056】

なお、表示制御部１３６は、仮想オブジェクトに設定された位置と低信頼度領域とが重なる場合に上述した付加オブジェクトの配置を行ってもよい。仮想オブジェクトに設定された位置と低信頼度領域とが重なる場合に、仮想オブジェクト表示と低信頼度領域との前後表現の誤りが生じ得るからである。第２の表示制御例および第３の表示制御例についても同様に、仮想オブジェクトに設定された位置と低信頼度領域とが重なる場合に、上述した表示制御が行われてもよい。

【0057】

＜５．ハードウェア構成＞
以上、本開示の実施形態を説明した。上述した領域特定および表示制御などの情報処理は、ソフトウェアと、以下に説明する情報処理端末１０のハードウェアとの協働により実現される。

【0058】

図１５は、情報処理端末１０のハードウェア構成を示した説明図である。図１５に示したように、情報処理端末１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、入力装置２０８と、出力装置２１０と、ストレージ装置２１１と、ドライブ２１２と、撮像装置２１３と、通信装置２１５とを備える。

【0059】

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理端末１０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。ＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、上述した３次元統合部１２４、信頼度算出部１２６、領域特定部１３４および表示制御部１３６などの機能が実現され得る。

【0060】

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。情報処理端末１０のユーザは、該入力装置２０８を操作することにより、情報処理端末１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0061】

出力装置２１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。

【0062】

ストレージ装置２１１は、本実施形態にかかる情報処理端末１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置２１１は、ＣＰＵ２０１が実行するプログラムや各種データを格納する。ストレージ装置２１１は、図３を参照して説明した信頼度つき３次元データ記憶部１２８の機能を包含し得る。

【0063】

ドライブ２１２は、記憶媒体用リーダライタであり、情報処理端末１０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

【0064】

撮像装置２１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。

【0065】

通信装置２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

【0066】

なお、ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

【0067】

＜６．むすび＞
以上説明した本開示の実施形態によれば、多様な作用効果が得られる。例えば、本開示の実施形態によれば、低信頼度領域の見え方を変化させることで、仮想オブジェクト表示と低信頼度領域との前後表現に誤りがあっても、当該誤りが目立たなくなるので、ユーザに与える不自然な印象を緩和することが可能である。

【0068】

なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0069】

例えば、上記では図３に示した各構成が情報処理端末１０に含まれる例を説明したが、図３に示した一部の構成は他の装置に実装されてもよい。例えば、３次元統合部１２４、信頼度算出部１２６、領域特定部１３４または表示制御部１３６の少なくともいずれかはクラウドサーバに実装され、クラウドサーバが表示制御装置として機能してもよい。

【0070】

また、上記では、信頼度算出部１２６により算出された信頼度つき３次元データにおいて信頼度が基準を満たさない要素データに対応する領域が特定される例を説明した。しかし、上記領域の特定のために用いられる信頼度つき３次元データは、信頼度算出部１２６により算出された信頼度つき３次元データでなくてもよい。例えば、信頼度つき３次元データは他の方法、例えばネットワーク上のサーバから受信する方法で得られてもよい。また、情報処理端末１０は、信頼度の初期値が付いた３次元データをサーバから受信し、当該３次元データを処理または加工することで信頼度つき３次元データを得てもよい。

【0071】

また、本明細書の情報処理端末１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理端末１０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

【0072】

また、情報処理端末１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した情報処理端末１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

【0073】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0074】

また、以下のような構成も本開示の技術的範囲に属する。
（１）
実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、
前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、
前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、
を備える、表示制御装置。
（２）
前記表示制御部は、画像における前記領域の視認性を低下させる表示制御を行う、前記（１）に記載の表示制御装置。
（３）
前記表示制御部は、前記画像における前記領域に透明度を設定する、前記（２）に記載の表示制御装置。
（４）
前記表示制御部は、前記画像における前記領域に他の表示を配置する、前記（２）に記載の表示制御装置。
（５）
前記領域特定部により特定される前記領域は３次元領域であり、
前記表示制御部は、前記３次元領域に対応する位置にオブジェクトを配置する、前記（１）に記載の表示制御装置。
（６）
前記３次元領域に対応する位置は、前記３次元領域と同一の位置、または前記３次元領域よりも視点位置側である、前記（５）に記載の表示制御装置。
（７）
前記３次元データは、複数の視点位置で得られた複数のデプスマップを統合することで得られる、前記（１）～（６）のいずれか一項に記載の表示制御装置。
（８）
前記信頼度は、前記３次元データを構成する前記各要素データである各ボクセルまたは各ポリゴンメッシュに関連付けられる、前記（７）に記載の表示制御装置。
（９）
前記表示制御装置は、前記複数のデプスマップにおいて各ボクセルが観測された回数の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を算出する信頼度算出部をさらに備える、前記（８）に記載の表示制御装置。
（１０）
各デプスマップには、各デプスマップで観測されたボクセルに個別信頼度が設定され、
前記表示制御装置は、前記複数のデプスマップの各ボクセルに設定された個別信頼度の合計に基づいて各ボクセルまたは各ボクセルに対応するポリゴンメッシュの前記信頼度を算出する信頼度算出部をさらに備える、前記（８）に記載の表示制御装置。
（１１）
コンピュータを、
実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得する情報取得部と、
前記信頼度が基準を満たさない要素データに対応する領域を特定する領域特定部と、
前記領域特定部により特定された前記領域の見え方を変化させる表示制御を行う表示制御部と、
として機能させるための、プログラム。
（１２）
実空間の３次元データを構成する各要素データの信頼度を示す信頼度情報を取得することと、
前記信頼度が基準を満たさない要素データに対応する領域を特定することと、
特定された前記領域の見え方を変化させる表示制御をプロセッサにより行うことと、
を含む、表示制御方法。

【符号の説明】

【0075】

１０ 情報処理端末
１２０ 距離計測部
１２２ 位置推定部
１２４ 次元統合部
１２６ 信頼度算出部
１２８ ３次元データ記憶部
１３０ 撮像部
１３２ 仮想オブジェクト記憶部
１３４ 領域特定部
１３６ 表示制御部
１５０ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】