特許 7528951 表示端末装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】表示端末装置

(51)【国際特許分類】

   H04N 5/64 20060101AFI20240730BHJP

   G09G 5/00 20060101ALI20240730BHJP

   G09G 5/377 20060101ALI20240730BHJP

【ＦＩ】

H04N5/64 511A

G09G5/00 550C

G09G5/377

【請求項の数】 4

(21)【出願番号】P 2021561065

(86)(22)【出願日】2019-11-28

(86)【国際出願番号】 JP2019046514

(87)【国際公開番号】W WO2021106136

(87)【国際公開日】2021-06-03

【審査請求日】2022-11-16

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】徳武 健司

(72)【発明者】

【氏名】月岡 正明

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】特開２０１８－０２５９４２（ＪＰ，Ａ）

【文献】特開２００６－１０６９８９（ＪＰ，Ａ）

【文献】特開２０１７－０９７５７３（ＪＰ，Ａ）

【文献】特表２０１７－５３０６２６（ＪＰ，Ａ）

【文献】特開２０１６－０１９１９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／６４

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３７７

(57)【特許請求の範囲】

【請求項1】

メモリと、
現実空間の画像である第二画像を撮影する撮影部と、
前記第二画像に基づいて、現実空間における仮想オブジェクトの配置位置をソフトウェア処理により決定し、前記仮想オブジェクトの画像である第一画像と前記配置位置を示す情報とを前記メモリへ出力するＣＰＵと、
前記メモリに記憶されている最新の前記情報に基づいて、前記第一画像と最新の前記第二画像とをハードウェア処理により合成することにより合成画像を生成する合成器と、
前記合成器と直接接続され、前記合成画像を表示するディスプレイと、
を具備し、
前記撮影部は、第一ラインを介して前記ＣＰＵと接続される一方で、第二ラインを介して前記合成器と接続され、同一の時点で撮影した同一の前記第二画像を、前記第一ラインを介して前記ＣＰＵへ出力する一方で、前記第二ラインを介して前記合成器へ出力し、
ハードウェアである前記合成器は、ハードウェアである前記ディスプレイと第三ラインを介して直接接続され、
前記撮影部で撮影された前記第二画像は、前記合成器に前記第三ラインを介して直接接続された前記ディスプレイへ、前記ＣＰＵによるソフトウェア処理を施されること無く出力される、
表示端末装置。

【請求項2】

前記合成器は、前記第二画像の水平方向の１ライン毎に前記第一画像と前記第二画像とを合成する、
請求項１に記載の表示端末装置。

【請求項3】

前記撮影部及び前記合成器を有するカメラモジュール、を具備し、
前記カメラモジュール及び前記ディスプレイの双方がＭＩＰＩ規格に準拠している、
請求項１に記載の表示端末装置。

【請求項4】

前記ＣＰＵは、前記第二画像に基づいてＳＬＡＭを行うことにより環境マップとポーズグラフとを生成し、前記環境マップ及び前記ポーズグラフに基づいて前記配置位置を決定する、
請求項１に記載の表示端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示端末装置に関する。

【背景技術】

【0002】

ＡＲ（Augmented Reality）技術を利用したサービスを実現するための表示端末装置が開発されている。表示端末装置の一例としてＨＭＤ（Head Mounted Display）が挙げられ、ＨＭＤには、例えば、光学シースルー型ＨＭＤ（Optical See-Through type HMD）とビデオシースルー型ＨＭＤ（Video See-Through type HMD）とがある。

【0003】

光学シースルー型ＨＭＤでは、例えば、ハーフミラーや透明な導光板を用いた虚像光学系がユーザの眼前に保持され、その虚像光学系の内側に画像が表示される。このため、光学シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を見ている間も、ユーザの周囲の風景を視界に入れることが可能となる。よって、光学シースルー型ＨＭＤにＡＲ技術を適用することで、光学シースルー型ＨＭＤの位置や姿勢に応じて、現実空間に存在するオブジェクトの光学像に対して、テキスト、アイコンまたはアニメーション等の様々な態様の仮想的なオブジェクト（以下では「仮想オブジェクト」と呼ぶことがある）の画像（以下では「仮想オブジェクト画像」と呼ぶことがある）を合成することが可能となる。

【0004】

一方で、ビデオシースルー型ＨＭＤは、ユーザの眼を覆うようにユーザに装着され、ビデオシースルー型ＨＭＤが有するディスプレイがユーザの眼前に保持される。また、ビデオシースルー型ＨＭＤは、ユーザ前方の風景を撮影するためのカメラモジュールを有し、カメラモジュールにより撮影された風景の画像がディスプレイに表示される。このため、ビデオシースルー型ＨＭＤを装着したユーザは、ユーザ前方の風景を直接視界に入れることは困難であるが、ディスプレイに表示される画像により、ユーザ前方の風景を確認することができる。また、ビデオシースルー型ＨＭＤにＡＲ技術を適用することで、ユーザ前方の風景の画像を現実空間の背景の画像（以下では「背景画像」と呼ぶことがある）にし、ビデオシースルー型ＨＭＤの位置や姿勢に応じて、仮想オブジェクト画像を背景画像に合成することが可能となる。以下では、背景画像に仮想オブジェクト画像が合成された画像を「合成画像」と呼ぶことがある。

【先行技術文献】

【特許文献】

【0005】

【文献】特表２０１８－５１７４４４号公報

【文献】特開２０１８－１８２５１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ここで、ビデオシースルー型ＨＭＤに用いられるＡＲ技術では、背景画像に対する仮想オブジェクト画像の合成は、背景画像の分析等を含む、比較的時間を要するソフトウェア処理により行われている。このため、ビデオシースルー型ＨＭＤでは、背景画像が撮影された時点から、その背景画像を含む合成画像が表示される時点までの間に生じる遅延が大きくなってしまう。また、背景画像は、ビデオシースルー型ＨＭＤの移動に伴って随時変化する画像である。

【0007】

よって、ビデオシースルー型ＨＭＤを装着したユーザの顔の向きが変化した場合に、ディスプレイに表示される背景画像の更新のスピードがユーザの顔の向きの変化のスピードに追従できないことがある。よって例えば図１に示すように、ビデオシースルー型ＨＭＤを装着したユーザの顔の向きが向きＤ１から向きＤ２に変化した場合に、向きＤ１の時点で撮影された背景画像ＢＩが向きＤ２の時点でもディスプレイに表示されることがある。このため、ユーザの顔の向きが向きＤ２になった時点でディスプレイに表示される背景画像ＢＩがユーザ前方の実際の風景ＦＶと異なってしまうので、ユーザの違和感が大きくなってしまう。

【0008】

また、合成画像に含まれる背景画像及び仮想オブジェクト画像のうち、仮想オブジェクト画像は背景画像に合成される画像であるのに対し、背景画像は、上記のように、ビデオシースルー型ＨＭＤの移動に伴って変化する画像である。このため、ビデオシースルー型ＨＭＤの移動があった場合に、背景画像が撮影された時点から、その背景画像に合成される仮想オブジェクト画像が表示または更新される時点までの間の遅延はユーザに認識され難いのに対し、背景画像の更新の遅延はユーザに認識され易い。つまり、ユーザは、仮想オブジェクト画像の表示遅延には鈍感である一方で、背景画像の更新遅延には敏感である。よって、背景画像の更新遅延が大きくなると、ユーザの違和感が大きくなってしまう。

【0009】

そこで、本開示では、ＡＲ技術が適用されたビデオシースルー型ＨＭＤ等の表示端末装置を装着したユーザの違和感を軽減することができる技術を提案する。

【課題を解決するための手段】

【0010】

本開示によれば、表示端末装置は、ＣＰＵと、撮影部と、合成器と、ディスプレイとを有する。ＣＰＵは、現実空間における仮想オブジェクトの配置位置をソフトウェア処理により決定し、仮想オブジェクトの画像である第一画像と配置位置を示す情報とを出力する。撮影部は、現実空間の画像である第二画像を撮影する。合成器は、配置位置に基づいて第一画像と第二画像とをハードウェア処理により合成することにより合成画像を生成する。ディスプレイは、合成器と直接接続され、合成画像を表示する。

【図面の簡単な説明】

【0011】

【図1】本開示の課題の説明に供する図である。

【図2】本開示の実施形態に係る表示端末装置の構成例を示す図である。

【図3】本開示の実施形態に係る表示端末装置における処理手順の一例を示す図である。

【図4】本開示の実施形態に係る画像合成処理の説明に供する図である。

【図5】本開示の実施形態に係る画像合成処理の説明に供する図である。

【図6】本開示の技術の効果の説明に供する図である。

【発明を実施するための形態】

【0012】

以下に、本開示の実施形態について図面に基づいて説明する。なお、以下の実施形態において、同一の部位または同一の処理には同一の符号を付すことにより重複する説明を省略することがある。

【0013】

また、以下に示す項目順序に従って本開示の技術を説明する。
＜表示端末装置の構成＞
＜表示端末装置における処理手順＞
＜画像合成処理＞
［開示の技術の効果］

【0014】

＜表示端末装置の構成＞
図２は、本開示の実施形態に係る表示端末装置の構成例を示す図である。図２において、表示端末装置１は、カメラモジュール１０と、ＣＰＵ（Central Processing Unit）２０と、ディスプレイ３０と、センサーモジュール４０と、メモリ５０とを有する。カメラモジュール１０は、撮影部１１と、メモリ１２と、合成器１３とを有する。表示端末装置１は、表示端末装置１のユーザの眼を覆うようにしてユーザに装着される。表示端末装置１の一例として、ビデオシースルー型ＨＭＤや、スマートフォン、タブレット端末等のスマートデバイスが挙げられる。表示端末装置１がスマートデバイスである場合は、スマートデバイス用の頭部装着器具を用いて、スマートデバイスが、スマートデバイスのユーザの眼を覆うようにしてユーザに装着される。

【0015】

カメラモジュール１０は、ラインＬ１，Ｌ２，Ｌ３，Ｌ４を有する。撮影部１１は、ラインＬ１を介してＣＰＵ２０と接続される一方で、ラインＬ４を介して合成器１３と接続される。メモリ１２は、ラインＬ３を介してＣＰＵ２０と接続される。合成器１３は、ラインＬ２を介してディスプレイ３０と接続される。

【0016】

撮影部１１は、レンズユニットとイメージセンサーとを有し、表示端末装置１を自身の眼を覆うように装着したユーザの前方の風景の画像を背景画像として撮影し、撮影した背景画像を合成器１３及びＣＰＵ２０へ出力する。撮影部１１は、所定のフレームレートで背景画像を撮影する。撮影部１１は、同一の時点で撮影した同一の背景画像を、一方ではラインＬ４を介して合成器１３へ出力し、他方ではラインＬ１を介してＣＰＵ２０へ出力する。つまり、カメラモジュール１０は、カメラモジュール１０によって撮影された背景画像がカメラモジュール１０からＣＰＵ２０へ出力されるラインＬ１を有する。

【0017】

センサーモジュール４０は、表示端末装置１の位置や姿勢の変化を検出するために、表示端末装置１の加速度及び角速度を検出し、検出した加速度及び角速度を示す情報（以下では「センサー情報」と呼ぶことがある）をＣＰＵ２０へ出力する。センサーモジュール４０の一例として、ＩＭＵ（Inertial measurement Unit）が挙げられる。

【0018】

ＣＰＵ２０は、所定の周期で、背景画像とセンサー情報とに基づいてＳＬＡＭ（Simultaneous Localization and Mapping）を行う。すなわち、ＣＰＵ２０は、背景画像とセンサー情報とに基づいてＳＬＡＭにおける環境マップとポーズグラフとを生成し、表示端末装置１が存在する現実空間を環境マップにより認識し、認識した現実空間における表示端末装置１の位置及び姿勢をポーズグラフにより認識する。また、ＣＰＵ２０は、生成した環境マップ及びポーズグラフに基づいて、現実空間における仮想オブジェクトの配置位置、つまり、背景画像における仮想オブジェクト画像の配置位置（以下では「仮想オブジェクト配置位置」と呼ぶことがある）を決定し、決定した仮想オブジェクト配置位置を示す情報（以下では「配置位置情報」と呼ぶことがある）を仮想オブジェクト画像に対応付けてメモリ１２へ出力する。ＣＰＵ２０は、仮想オブジェクト画像及び配置位置情報をラインＬ３を介してメモリ１２へ出力する。

【0019】

メモリ５０は、ＣＰＵ２０によって実行されるアプリケーションやＣＰＵ２０が用いるデータを記憶する。例えば、メモリ５０は、仮想オブジェクトのデータ（例えば、仮想オブジェクトの形や色を再現するためのデータ）を記憶し、ＣＰＵ２０は、メモリ５０に記憶されている仮想オブジェクトのデータを用いて仮想オブジェクト画像を生成する。

【0020】

メモリ１２は、ＣＰＵ２０から所定の周期で入力される仮想オブジェクト画像及び配置位置情報を所定の時間だけ記憶する。

【0021】

合成器１３は、メモリ１２に記憶されている仮想オブジェクト画像及び配置位置情報のうち、最新の仮想オブジェクト画像及び配置位置情報に基づいて、背景画像に仮想オブジェクト画像を合成して合成画像を生成する。つまり、合成器１３は、撮影部１１から入力される最新の背景画像に対して、配置位置情報によって示される位置に、最新の仮想オブジェクト画像を合成することにより合成画像を生成する。合成器１３は、生成した合成画像をラインＬ２を介してディスプレイ３０へ出力する。つまり、カメラモジュール１０は、カメラモジュール１０によって生成された合成画像がカメラモジュール１０からディスプレイ３０へ出力されるラインＬ２を有する。

【0022】

合成器１３は、ハードウェアとして実現され、例えばワイヤードロジックを用いて作成された電子回路により実現される。つまり、合成器１３は、背景画像と仮想オブジェクト画像とをハードウェア処理により合成することにより合成画像を生成する。また、合成器１３とディスプレイ３０とはラインＬ２によりハードウェア同士で直接接続される。

【0023】

ディスプレイ３０は、合成器１３から入力される合成画像を表示する。これにより、背景画像に仮想オブジェクト画像が重畳された合成画像が、表示端末装置１を装着したユーザの眼前に表示される。

【0024】

ここで、カメラモジュール１０及びディスプレイ３０の双方は、同一のインターフェース規格に準拠しており、例えばＭＩＰＩ（Mobile Industry Processor Interface）規格に準拠する。カメラモジュール１０及びディスプレイ３０の双方がＭＩＰＩ規格に準拠する場合、撮影部１１によって撮影された背景画像はＭＩＰＩ規格によるＣＳＩ（Camera Serial Interface）を用いて合成器１３へシリアル伝送され、合成器１３によって生成された合成画像はＭＩＰＩ規格によるＤＳＩ（Display Serial Interface）を用いてディスプレイ３０へシリアル伝送される。

【0025】

＜表示端末装置における処理手順＞
図３は、本開示の実施形態に係る表示端末装置における処理手順の一例を示す図である。

【0026】

図３に示すカメラモジュールドライバ、センサーモジュールドライバ、ＳＬＡＭアプリケーション、及び、ＡＲアプリケーションはメモリ５０に記憶されており、ＣＰＵ２０によって実行されるソフトウェアである。一方で、カメラモジュール１０、センサーモジュール４０及びディスプレイ３０は、ハードウェアである。図３に示すカメラモジュールドライバはカメラモジュール１０用のドライバであり、図３に示すセンサーモジュールドライバはセンサーモジュール４０用のドライバである。

【0027】

図３において、ステップＳ１０１では、カメラモジュール１０が背景画像をＣＰＵ２０へ出力し、ステップＳ１０３では、ＣＰＵ２０へ入力された背景画像が、カメラモジュールドライバを介してＳＬＡＭアプリケーションへ渡される。

【0028】

また、ステップＳ１０１の処理と並行して、ステップＳ１０５では、センサーモジュール４０がセンサー情報をＣＰＵ２０へ出力し、ステップＳ１０７では、ＣＰＵ２０へ入力されたセンサー情報が、センサーモジュールドライバを介してＳＬＡＭアプリケーションへ渡される。

【0029】

次いで、ステップＳ１０９では、ＳＬＡＭアプリケーションが、背景画像とセンサー情報とに基づいてＳＬＡＭを行って、ＳＬＡＭにおける環境マップとポーズグラフとを生成する。

【0030】

次いで、ステップＳ１１１では、ＳＬＡＭアプリケーションが、ステップＳ１０９で生成した環境マップ及びポーズグラフをＡＲアプリケーションへ渡す。

【0031】

次いで、ステップＳ１１３では、ＡＲアプリケーションが、環境マップ及びポーズグラフに基づいて仮想オブジェクト配置位置を決定する。

【0032】

次いで、ステップＳ１１５では、ＡＲアプリケーションが、仮想オブジェクト画像と配置位置情報とをカメラモジュール１０へ出力し、カメラモジュール１０に入力された仮想オブジェクト画像及び配置位置情報は互いに対応付けられてメモリ１２に記憶される。

【0033】

ステップＳ１１７では、カメラモジュール１０は、メモリ１２に記憶されている仮想オブジェクト画像及び配置位置情報のうち、最新の仮想オブジェクト画像及び配置位置情報に基づいて、背景画像に仮想オブジェクト画像を合成して合成画像を生成する。

【0034】

次いで、ステップＳ１１９では、カメラモジュール１０は、ステップＳ１１７で生成した合成画像をディスプレイ３０へ出力する。

【0035】

次いで、ステップＳ１２１では、ディスプレイ３０は、ステップＳ１１９で入力された合成画像を表示する。

【0036】

＜画像合成処理＞
図４及び図５は、本開示の実施形態に係る画像合成処理の説明に供する図である。

【0037】

図４に示すように、合成器１３は、各フレームの背景画像ＢＩの水平方向（行方向）の１ライン毎に背景画像ＢＩに仮想オブジェクト画像ＶＩを合成することにより合成画像ＣＩを生成する。

【0038】

例えば、撮影部１１、合成器１３及びディスプレイ３０は、垂直同期信号ｖｓｙｎｃと、水平同期信号ｈｓｙｎｃとに基づいて、図５に示すように動作する。図５において、「ｖｓｙｎｃ＋１」は、垂直同期信号ｖｓｙｎｃ０の次に入力される垂直同期信号を示し、「ｖｓｙｎｃ－１」は、垂直同期信号ｖｓｙｎｃ０の１つ前に入力される垂直同期信号を示す。また、図５には、１つの垂直同期信号ｖｓｙｎｃに対して、５つの水平同期信号ｈｓｙｎｃが入力される場合を一例として示す。

【0039】

図５において、撮影部１１は、水平同期信号ｈｓｙｎｃに従って、背景画像ＢＩの各ライン毎のＹＵＶデータ（１ラインＹＵＶ）を合成器１３へ出力する。

【0040】

合成器１３は、撮影部１１から入力されたＹＵＶデータをＲＧＢデータに変換する。また、合成器１３は、水平同期信号ｈｓｙｎｃ及び配置位置情報に従って、１ライン毎に、背景画像ＢＩのＲＧＢデータに対して仮想オブジェクト画像ＶＩのＲＧＢデータ（ＶＩ ＲＧＢ）を重畳する。よって、仮想オブジェクト画像ＶＩが存在するラインでは、合成画像のＲＧＢデータ（合成ＲＧＢ）が合成器１３からディスプレイ３０へ出力されて表示され、仮想オブジェクト画像ＶＩが存在しないライン（Ｎｏ ｉｍａｇｅ）では、背景画像ＢＩのＲＧＢデータ（１ラインＲＧＢ）がそのまま合成器１３からディスプレイ３０へ出力されて表示される。

【0041】

以上、本開示の技術の実施形態について説明した。

【0042】

なお、図２には、表示端末装置１の構成として、カメラモジュール１０がメモリ１２及び合成器１３を有する構成を示した。しかし、表示端末装置１は、メモリ１２及び合成器１３の何れか一方または双方をカメラモジュール１０外に有する構成を採ることも可能である。

【0043】

［開示の技術の効果］
以上のように、本開示に係る表示端末装置（実施形態に係る表示端末装置１）は、ＣＰＵ（実施形態に係るＣＰＵ２０）と、撮影部（実施形態に係る撮影部１１）と、合成器（実施形態に係る合成器１３）と、ディスプレイ（実施形態に係るディスプレイ３０）とを有する。ＣＰＵは、現実空間における仮想オブジェクトの配置位置（実施形態に係る仮想オブジェクト配置位置）をソフトウェア処理により決定し、仮想オブジェクトの画像である第一画像（実施形態に係る仮想オブジェクト画像）と、配置位置を示す情報（実施形態に係る配置位置情報）とを出力する。撮影部は、現実空間の画像である第二画像（実施形態に係る背景画像）を撮影する。合成器は、配置位置に基づいて第一画像と第二画像とをハードウェア処理により合成することにより合成画像を生成する。ディスプレイは、合成器と直接接続され、合成画像を表示する。

【0044】

例えば、撮影部及び合成器を有するカメラモジュールは、第一画像がカメラモジュールからＣＰＵへ出力される第一ライン（実施形態に係るラインＬ１）と、合成画像がカメラモジュールからディスプレイへ出力される第二ライン（実施形態に係るラインＬ２）とを有する。

【0045】

また例えば、合成器は、第二画像の水平方向の１ライン毎に第一画像と第二画像とを合成する。

【0046】

また例えば、カメラモジュール及びディスプレイの双方がＭＩＰＩ規格に準拠している。

【0047】

また例えば、ＣＰＵは、第二画像に基づいてＳＬＡＭを行うことにより環境マップとポーズグラフとを生成し、環境マップ及びポーズグラフに基づいて配置位置を決定する。

【0048】

以上の構成によれば、撮影部で撮影された背景画像は、合成器に直接接続されたディスプレイへ、ＣＰＵによるソフトウェア処理を施されること無く出力されるため、撮影部で撮影されてから即座にディスプレイに表示される。このため、背景画像が撮影された時点から、その背景画像を含む合成画像が表示される時点までの間に生じる遅延を減少させることができる。このため、本開示に係る表示端末装置を装着したユーザの顔の向きが変化した場合に、ディスプレイに表示される背景画像の更新が、ユーザの顔の向きの変化に追従できるようになる。よって例えば図６に示すように、本開示に係る表示端末装置を装着したユーザの顔の向きが向きＤ１から向きＤ２に変化した場合に、ユーザの顔の向きが向きＤ２になった時点で撮影された背景画像ＢＩが向きＤ２の時点でディスプレイに表示される。このため、ユーザの顔の向きが向きＤ２になった時点でディスプレイに表示される背景画像ＢＩと、ユーザ前方の実際の風景ＦＶとの相違は、ユーザが認識困難な程度にまで減少する。よって、以上の構成によれば、表示端末装置を装着したユーザの違和感を軽減することができる。

【0049】

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があっても良い。

【0050】

また、開示の技術は以下のような構成も採ることができる。
（１）
現実空間における仮想オブジェクトの配置位置をソフトウェア処理により決定し、前記仮想オブジェクトの画像である第一画像と前記配置位置を示す情報とを出力するＣＰＵと、
現実空間の画像である第二画像を撮影する撮影部と、
前記配置位置に基づいて前記第一画像と前記第二画像とをハードウェア処理により合成することにより合成画像を生成する合成器と、
前記合成器と直接接続され、前記合成画像を表示するディスプレイと、
を具備する表示端末装置。
（２）
前記撮影部及び前記合成器を有するカメラモジュール、を具備し、
前記カメラモジュールは、前記第一画像が前記カメラモジュールから前記ＣＰＵへ出力される第一ラインと、前記合成画像が前記カメラモジュールから前記ディスプレイへ出力される第二ラインと、を有する、
前記（１）に記載の表示端末装置。
（３）
前記合成器は、前記第二画像の水平方向の１ライン毎に前記第一画像と前記第二画像とを合成する、
前記（１）または（２）に記載の表示端末装置。
（４）
前記カメラモジュール及び前記ディスプレイの双方がＭＩＰＩ規格に準拠している、
前記（２）に記載の表示端末装置。
（５）
前記ＣＰＵは、前記第二画像に基づいてＳＬＡＭを行うことにより環境マップとポーズグラフとを生成し、前記環境マップ及び前記ポーズグラフに基づいて前記配置位置を決定する、
前記（１）から（４）の何れか一つに記載の表示端末装置。

【符号の説明】

【0051】

１ 表示端末装置
１０ カメラモジュール
１１ 撮影部
１３ 合成器
２０ ＣＰＵ
３０ ディスプレイ
４０ センサーモジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】