特開 2024-52410 プロセッサ、情報処理方法、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024052410

(43)【公開日】2024-04-11

(54)【発明の名称】プロセッサ、情報処理方法、及び情報処理プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240404BHJP

   G06F 3/0481 20220101ALI20240404BHJP

【ＦＩ】

G06F3/01 510

G06F3/0481

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022159106

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】神谷 毅

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA16

5E555AA22

5E555AA61

5E555BA02

5E555BA06

5E555BA08

5E555BA42

5E555BA83

5E555BA87

5E555BB02

5E555BB04

5E555BB08

5E555BD02

5E555BE17

5E555CA42

5E555CA45

5E555CB45

5E555CB65

5E555CC05

5E555DA08

5E555DA09

5E555DB06

5E555DB57

5E555DC36

5E555DC37

5E555DC75

5E555FA00

(57)【要約】

【課題】透過型の表示装置のユーザに、マーキングに対応する現実空間の位置の視認を十分に即すことができるプロセッサ、情報処理方法、及び情報処理プログラムを提供する。
【解決手段】透過型の表示装置のカメラが撮影した撮影画像と、他の表示装置に表示された撮影画像に対して行われたマーキングの位置を表す情報と、透過型の表示装置が表示画像を表示可能な現実空間の領域と、現実空間におけるマーキングの位置とを比較し、現実空間におけるマーキングの現実空間における位置が、表示画像を表示可能な現実空間の領域外の場合、現実空間におけるマーキングの位置を表す情報を表示し、透過型の表示装置のユーザの視線を検出した検出結果を取得し、視線の検出結果と、マーキングの現実空間における位置、またはマーキングの現実空間における位置を表す情報とを比較し、マーキング、またはマーキングの位置を表す情報の表示状態を変更する処理を行うプロセッサ。
【選択図】図８

【特許請求の範囲】

【請求項1】

透過型の表示装置に付属するカメラが撮影した撮影画像と、
前記透過型の表示装置と異なる表示装置に表示された前記撮影画像に対して行われたマーキングの位置を表す情報と、
前記透過型の表示装置が表示画像を表示可能な現実空間の領域と、
前記現実空間における前記マーキングの位置とを比較し、
現実空間における前記マーキングの前記現実空間における位置が、前記表示画像を表示可能な現実空間の領域外の場合、前記現実空間における前記マーキングの位置を表す情報を表示し、
前記透過型の表示装置のユーザの視線を検出した検出結果を取得し、
前記視線の検出結果と、前記マーキングの前記現実空間における位置、または前記マーキングの前記現実空間における位置を表す情報とを比較し、
前記マーキングの表示状態、または前記マーキングの位置を表す情報の表示状態を変更する処理を行う
プロセッサ。

【請求項2】

前記視線の検出結果は、前記ユーザの視線の向きの情報である
請求項１に記載のプロセッサ。

【請求項3】

前記表示状態を変更する処理は、前記マーキングの前記現実空間における位置が、前記表示画像を表示可能な現実空間の領域外であるか領域内であるかに応じて表示状態を変更する処理である
請求項２に記載のプロセッサ。

【請求項4】

前記表示状態を変更する処理は、前記視線の向きの情報が、前記マーキングの位置、または前記マーキングの位置を表す情報の位置に向いていた時間に基づく処理である
請求項２に記載のプロセッサ。

【請求項5】

前記表示状態を変更する処理は、前記マーキングに付与された属性に応じて、前記情報の表示状態を変更する処理を変更する
請求項４に記載のプロセッサ。

【請求項6】

前記マーキングの前記現実空間における位置が、前記透過型の表示装置において前記表示画像を表示可能な現実空間の領域外である場合、
前記マーキングの前記現実空間における位置との距離に応じて、前記マーキングの位置を表す情報の表示形態を異ならせる
請求項２に記載のプロセッサ。

【請求項7】

透過型の表示装置に付属するカメラが撮影した撮影画像と、前記透過型の表示装置と異なる表示装置に表示された前記撮影画像に対して行われたマーキングの位置を表す情報と、前記透過型の表示装置が表示画像を表示可能な現実空間の領域と、前記現実空間における前記マーキングの位置とを比較し、
現実空間における前記マーキングの前記現実空間における位置が、前記表示画像を表示可能な現実空間の領域外の場合、前記現実空間における前記マーキングの位置を表す情報を表示し、
前記透過型の表示装置のユーザの視線を検出した検出結果を取得し、
前記視線の検出結果と、前記マーキングの前記現実空間における位置、または前記マーキングの前記現実空間における位置を表す情報とを比較し、
前記マーキングの表示状態、または前記マーキングの位置を表す情報の表示状態を変更する
処理をプロセッサが実行する情報処理方法。

【請求項8】

透過型の表示装置に付属するカメラが撮影した撮影画像と、前記透過型の表示装置と異なる表示装置に表示された前記撮影画像に対して行われたマーキングの位置を表す情報と、前記透過型の表示装置が表示画像を表示可能な現実空間の領域と、前記現実空間における前記マーキングの位置とを比較し、
現実空間における前記マーキングの前記現実空間における位置が、前記表示画像を表示可能な現実空間の領域外の場合、前記現実空間における前記マーキングの位置を表す情報を表示し、
前記透過型の表示装置のユーザの視線を検出した検出結果を取得し、
前記視線の検出結果と、前記マーキングの前記現実空間における位置、または前記マーキングの前記現実空間における位置を表す情報とを比較し、
前記マーキングの表示状態、または前記マーキングの位置を表す情報の表示状態を変更する
処理をプロセッサに実効させるための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プロセッサ、情報処理方法、及び情報処理プログラムに関する。

【背景技術】

【0002】

従来、現実空間に、画像を重ね合わせた状態で表示する、拡張現実（ＡＲ：Augmented Reality）機器等の透過型の表示装置が知られている。透過型の表示装置に付属するカメラにより撮影された画像に基づいて、透過型の表示装置のユーザに対して情報を出力する技術が知られている。

【0003】

例えば、特許文献１には、ヘッドマウントディスプレイに付属するカメラにより撮影された画像情報を受信し、画像情報に基づいて、現場側情報提示装置に対して作業支援情報を出力する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１４７１４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術では、出力された情報を透過型の表示装置のユーザに視認させるためには十分とはいえない場合がある。

【0006】

本開示は、以上の事情を鑑みて成されたものであり、透過型の表示装置のユーザに、マーキングに対応する現実空間の位置の視認を十分に即すことができるプロセッサ、情報処理方法、及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本開示の第１の態様のプロセッサは、透過型の表示装置に付属するカメラが撮影した撮影画像と、透過型の表示装置と異なる表示装置に表示された撮影画像に対して行われたマーキングの位置を表す情報と、透過型の表示装置が表示画像を表示可能な現実空間の領域と、現実空間におけるマーキングの位置とを比較し、現実空間におけるマーキングの現実空間における位置が、表示画像を表示可能な現実空間の領域外の場合、現実空間におけるマーキングの位置を表す情報を表示し、透過型の表示装置のユーザの視線を検出した検出結果を取得し、視線の検出結果と、マーキングの現実空間における位置、またはマーキングの現実空間における位置を表す情報とを比較し、マーキングの表示状態、またはマーキングの位置を表す情報の表示状態を変更する処理を行う。

【0008】

本開示の第２の態様のプロセッサは、第１の態様のプロセッサにおいて、視線の検出結果は、ユーザの視線の向きの情報である。

【0009】

本開示の第３の態様のプロセッサは、第２の態様のプロセッサにおいて、表示状態を変更する処理は、マーキングの現実空間における位置が、表示画像を表示可能な現実空間の領域外であるか領域内であるかに応じて表示状態を変更する処理である。

【0010】

本開示の第４の態様のプロセッサは、第２の態様のプロセッサにおいて、表示状態を変更する処理は、視線の向きの情報が、マーキングの位置、またはマーキングの位置を表す情報の位置に向いていた時間に基づく処理である。

【0011】

本開示の第５の態様のプロセッサは、第４の態様のプロセッサにおいて、表示状態を変更する処理は、マーキングに付与された属性に応じて、情報の表示状態を変更する処理を変更する。

【0012】

本開示の第６の態様のプロセッサは、第２の態様のプロセッサにおいて、マーキングの現実空間における位置が、透過型の表示装置において表示画像を表示可能な現実空間の領域外である場合、マーキングの現実空間における位置との距離に応じて、マーキングの位置を表す情報の表示形態を異ならせる。

【0013】

上記目的を達成するために、本開示の第７の態様の情報処理方法は、透過型の表示装置に付属するカメラが撮影した撮影画像と、透過型の表示装置と異なる表示装置に表示された撮影画像に対して行われたマーキングの位置を表す情報と、透過型の表示装置が表示画像を表示可能な現実空間の領域と、現実空間におけるマーキングの位置とを比較し、現実空間におけるマーキングの現実空間における位置が、表示画像を表示可能な現実空間の領域外の場合、現実空間におけるマーキングの位置を表す情報を表示し、透過型の表示装置のユーザの視線を検出した検出結果を取得し、視線の検出結果と、マーキングの現実空間における位置、またはマーキングの現実空間における位置を表す情報とを比較し、マーキングの表示状態、またはマーキングの位置を表す情報の表示状態を変更する処理をプロセッサが実行する情報処理方法。

【0014】

上記目的を達成するために、本開示の第８の態様の情報処理プログラムは、透過型の表示装置に付属するカメラが撮影した撮影画像と、透過型の表示装置と異なる表示装置に表示された撮影画像に対して行われたマーキングの位置を表す情報と、透過型の表示装置が表示画像を表示可能な現実空間の領域と、現実空間におけるマーキングの位置とを比較し、現実空間におけるマーキングの現実空間における位置が、表示画像を表示可能な現実空間の領域外の場合、現実空間におけるマーキングの位置を表す情報を表示し、透過型の表示装置のユーザの視線を検出した検出結果を取得し、視線の検出結果と、マーキングの現実空間における位置、またはマーキングの現実空間における位置を表す情報とを比較し、マーキングの表示状態、またはマーキングの位置を表す情報の表示状態を変更する処理をプロセッサに実効させるためのものである。

【発明の効果】

【0015】

本開示によれば、透過型の表示装置のユーザに、マーキングに対応する現実空間の位置の視認を十分に即すことができる。

【図面の簡単な説明】

【0016】

【図1】実施形態の情報処理システムの構成の一例を示す構成図である。

【図2】実施形態のＡＲグラスの構成の一例を示す構成図である。

【図3】実施形態のＡＲグラスの一例を示す斜視図である。

【図4】実施形態のスマートフォンのハードウェア構成の一例を示すブロック図である。

【図5】実施形態の画像表示装置のハードウェア構成の一例を示すブロック図である。

【図6】実施形態の情報処理装置のハードウェア構成の一例を示すブロック図である。

【図7】実施形態の情報処理装置の構成の一例を示す機能ブロック図である。

【図8】実施形態の情報処理装置のプロセッサにおいて実行される情報処理の流れの一例を表したフローチャートである。

【発明を実施するための形態】

【0017】

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

【0018】

図１を参照して、本実施形態の情報処理システム１の構成を説明する。図１に示すように、本実施形態の情報処理システム１は、ＡＲ（Augmented Reality）グラス１０、スマートフォン１２、画像表示装置１４、及び情報処理装置１６を備える。スマートフォン１２、画像表示装置１４、及び情報処理装置１６は、ネットワーク１９を介して有線通信または無線通信により接続されている。本実施形態のＡＲグラス１０が、本開示の透過型の表示装置の一例であり、本実施形態の画像表示装置１４が、本開示の透過型の表示装置と異なる表示装置の一例である。

【0019】

本実施形態の情報処理システム１は、情報処理装置１６が、ＡＲグラス１０のカメラにより現実の世界を撮影した撮影画像を、画像表示装置１４に表示させ、画像表示装置１４において撮影画像に対して行ったマーキングに関する情報をＡＲグラス１０に表示させる機能を有する。以下、ＡＲグラス１０を使用するユーザを「第１のユーザ」といい、画像表示装置１４を使用するユーザを「第２のユーザ」といい、両者を区別せずに総称する場合、単に「ユーザ」という。

【0020】

まず、図２及び図３を参照して、本実施形態のＡＲグラス１０及びスマートフォン１２の構成を説明する。図３には、本実施形態のＡＲグラス１０の一例の斜視図が示されている。図２及び図３に示すように、ＡＲグラス１０は、一対の左眼用透過部２０Ｌ及び右眼用透過部２０Ｒと、測距装置２５と、ＯＬＥＤ２６と、カメラ２７と、６ＤｏＦ（Six-Degrees of Freedom）センサ２８と、視線検出センサ２９と、を備える。

【0021】

ＯＬＥＤ２６は、右眼用透過部２０Ｒを通じてユーザによって視認される現実像の視野内に重畳的に情報を挿入するために、右眼用透過部２０Ｒに情報を表す画像（投影画像）を投影する。

【0022】

右眼用透過部２０Ｒは、右眼用レンズ２２Ｒ及び導光板２４を含む。導光板２４の一端には、ＯＬＥＤ２６から投影された投影画像に応じた光が入射される。導光板２４の中を伝播した光は、出射部（図示省略）において向きを変えて、ユーザの眼の方向に出射される。導光板２４から出射された投影画像に応じた光は、右眼用レンズ２２Ｒを透過し、ユーザの右眼に導かれ、投影像として右眼で視認する。また、ユーザは、右眼用レンズ２２Ｒを通した現実空間を現実像として右目で視認する。

【0023】

そのため、ＯＬＥＤ２６から投影画像が投影されている間は、ユーザの右眼によって視認される視認像は、右眼用レンズ２２Ｒを通した現実空間を表す現実像と、導光板２４に投影された投影画像に応じた投影像とが重畳された状態となる。また、ＯＬＥＤ２６から投影画像が投影されていない間は、ユーザによって視認される視認像は、右眼用レンズ２２Ｒ及び導光板２４を通した現実空間を表す現実像となる。

【0024】

一方、左眼用透過部２０Ｌは、左眼用レンズ２２Ｌを含む。ユーザは、左眼用レンズ２２Ｌを通した現実空間を左眼で視認する。

【0025】

測距装置２５は、ＡＲグラス１０と、周囲の領域との距離を測距するための装置である。測距装置２５としては、例えば、ＬｉＤＡＲ（Light Detection And Ranging）が挙げられる。本実施形態の測距装置２５は、カメラ２７の撮影範囲と同等の領域について、ＡＲグラス１０と、領域範囲との距離を測距し、測距した結果をスマートフォン１２に出力する。

【0026】

カメラ２７は、第１のユーザが観察する現実の世界を撮影するカメラである。カメラ２７としては、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等のデジタル式カメラが挙げられる。本実施形態では、現実の世界を表す画像をユーザに提供するため、カメラ２７はカラー画像の撮影が可能である。なお、カメラ２７の撮影範囲は、右眼用透過部２０Ｒに投影画像を表示可能な現実空間の領域と同等の大きさの領域であってもよいし、異なる大きさの領域であってもよい。なお、本実施形態において、「撮影画像」とは、カメラ２７により撮影された画像のことをいう。カメラ２７により撮影された撮影画像はスマートフォン１２に出力される。

【0027】

６ＤｏＦセンサ２８は、ＡＲグラス１０の動き、換言すると第１のユーザの頭の動き、を検出する機能を有する。６ＤｏＦセンサ２８は、検出結果をスマートフォン１２に出力する。

【0028】

視線検出センサ２９は、第１のユーザの視線を検出するセンサである。視線検出センサ２９としては、公知のセンサを適用することができ、例えば、虹彩や瞳孔の位置に基づいて第１のユーザの視線方向を検出するセンサ等が挙げられる。一例として、本実施形態のＡＲグラス１０は、第１のユーザの右眼の視線を検出する。視線検出センサ２９の検出結果は、スマートフォン１２に出力される。

【0029】

一方、スマートフォン１２は、ＡＲグラス１０のＯＬＥＤ２６から導光板２４に投影画像を投影させる制御を、ＯＬＥＤ２６に対して行う。図４には、スマートフォン１２のハードウェア構成の一例を表したブロック図が示されている。図４に示すように、スマートフォン１２は、ＣＰＵ（Central Processing Unit）４０、メモリ４２、Ｉ／Ｆ（InterFace）部４３、記憶部４４、ディスプレイ４６、及び入力装置４８を備える。ＣＰＵ４０、メモリ４２、Ｉ／Ｆ部４３、記憶部４４、ディスプレイ４６、及び入力装置４８は、システムバスやコントロールバス等のバス４９を介して相互に各種情報の授受が可能に接続されている。

【0030】

ＣＰＵ４０は、記憶部４４に記憶された画像処理プログラム４５を含む各種のプログラムをメモリ４２へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、ＣＰＵ４０は、ＯＬＥＤ２６による投影画像の表示の制御を行う。一例として本実施形態のプロセッサ４１は、ＣＰＵ４０と画像処理プログラム４５との組合せで構成される。メモリ４２は、ＣＰＵ４０が処理を実行するためのワークメモリである。

【0031】

ＣＰＵ４０において実行される画像処理プログラム４５は、記憶部４４に記憶される。また、記憶部４４には、ＯＬＥＤ２６から投影する投影画像の画像データ（図示省略）や、その他の各種情報等も記憶される。記憶部４４の具体例としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が挙げられる。

【0032】

Ｉ／Ｆ部４３は、無線通信または有線通信により、ＯＬＥＤ２６との間で各種情報の通信を行う。ディスプレイ４６及び入力装置４８はユーザインタフェースとして機能する。ディスプレイ４６は、ユーザに対して、投影画像の投影に関する各種の情報を提供する。ディスプレイ４６は特に限定されるものではなく、液晶モニタ及びＬＥＤ（Light Emitting Diode）モニタ等が挙げられる。また、入力装置４８は、投影画像の投影に関する各種の指示や、ナビゲーションにおける目的地に関する情報を入力するためにユーザによって操作される。入力装置４８は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、スマートフォン１２では、ディスプレイ４６と入力装置４８とを一体化したタッチパネルディスプレイを採用している。

【0033】

一方、画像表示装置１４は、上述したように、第２のユーザが、ＡＲグラス１０のカメラ２７が撮影した撮影画像を観察するために用いられる。

【0034】

図５には、画像表示装置１４の機能に係る構成の一例を表す機能ブロック図が示されている。図５に示すように、画像表示装置１４は、ＣＰＵ５０、メモリ５２、Ｉ／Ｆ部５３、記憶部５４、ディスプレイ５６、及び入力装置５８を備える。ＣＰＵ５０、メモリ５２、Ｉ／Ｆ部５３、記憶部５４、ディスプレイ５６、及び入力装置５８は、システムバスやコントロールバス等のバス５９を介して相互に各種情報の授受が可能に接続されている。

【0035】

ＣＰＵ５０は、記憶部５４に記憶された表示制御プログラム５５を含む各種のプログラムをメモリ５２へ読み出し、読み出したプログラムにしたがった処理を実行する。一例として本実施形態のプロセッサ５１は、ＣＰＵ５０と表示制御プログラム５５との組合せで構成される。メモリ５２は、ＣＰＵ５０が処理を実行するためのワークメモリである。

【0036】

記憶部５４には、表示制御プログラム５５、及びスマートフォン１２から受信した各種画像の画像データや、その他の各種情報等が記憶される。記憶部５４の具体例としては、ＨＤＤやＳＳＤ等が挙げられる。

【0037】

Ｉ／Ｆ部５３は、無線通信または有線通信により、情報処理装置１６との間で各種情報の通信を行う。ディスプレイ５６及び入力装置５８はユーザインタフェースとして機能する。ディスプレイ５６は、スマートフォン１２から受信した各種の画像を表示する。ディスプレイ５６は特に限定されるものではなく、液晶モニタ及びＬＥＤモニタ等が挙げられる。また、入力装置５８は、撮影画像に対するマーキングを行うために第２のユーザによって操作される。入力装置５８は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、ディスプレイ５６と入力装置５８とを一体化したタッチパネルディスプレイを採用してもよい。

【0038】

一方、情報処理装置１６は、上述したように、ＡＲグラス１０のカメラ２７が撮影した撮影画像を画像表示装置１４に表示させ、画像表示装置１４により行われたマーキングに関する情報をＡＲグラス１０に表示させる機能を有する。

【0039】

図６には、情報処理装置１６の機能に係る構成の一例を表す機能ブロック図が示されている。図６に示すように、情報処理装置１６は、ＣＰＵ６０、メモリ６２、Ｉ／Ｆ部６３、記憶部６４、ディスプレイ６６、及び入力装置６８を備える。ＣＰＵ６０、メモリ６２、Ｉ／Ｆ部６３、記憶部６４、ディスプレイ６６、及び入力装置６８は、システムバスやコントロールバス等のバス６９を介して相互に各種情報の授受が可能に接続されている。

【0040】

ＣＰＵ６０は、記憶部６４に記憶された情報処理プログラム６５を含む各種のプログラムをメモリ６２へ読み出し、読み出したプログラムにしたがった処理を実行する。一例として本実施形態のプロセッサ６１は、ＣＰＵ６０と情報処理プログラム６５との組合せで構成される。メモリ６２は、ＣＰＵ６０が処理を実行するためのワークメモリである。

【0041】

記憶部６４には、情報処理プログラム６５、及びスマートフォン１２から受信した各種画像の画像データや、その他の各種情報等が記憶される。記憶部６４の具体例としては、ＨＤＤやＳＳＤ等が挙げられる。

【0042】

Ｉ／Ｆ部６３は、無線通信または有線通信により、スマートフォン１２及び画像表示装置１４との間で各種情報の通信を行う。ディスプレイ６６及び入力装置６８はユーザインタフェースとして機能する。ディスプレイ６６は、スマートフォン１２から受信した各種の画像を表示する。ディスプレイ６６は特に限定されるものではなく、液晶モニタ及びＬＥＤモニタ等が挙げられる。入力装置６８は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、ディスプレイ６６と入力装置６８とを一体化したタッチパネルディスプレイを採用してもよい。

【0043】

次に、本実施形態における情報処理装置１６のプロセッサ６１の作用を説明する。図７には、情報処理装置１６の構成の一例を示す機能ブロック図が示されている。情報処理装置１６は。第１取得部７０、第２送信部７２、第２取得部７４、第１マーカ画像７５、投影画像生成部７８、及び第１送信部７９を備える。

【0044】

第１取得部７０は、スマートフォン１２から、測距装置２５の検出結果、カメラ２７が撮影した撮影画像、６ＤｏＦセンサ２８の検出結果、及び視線検出センサ２９の検出結果を取得する機能を有する。撮影画像は、第２送信部７２及び投影画像生成部７８に出力される。６ＤｏＦセンサ２８及び測距装置２５の検出結果は、現実位置導出部７６に出力される。視線検出センサ２９の検出結果は、投影画像生成部７８に出力される。

【0045】

第２送信部７２は、撮影画像を画像表示装置１４に出力する機能を有する。

【0046】

第２取得部７４は、画像表示装置１４において、第２のユーザが行ったマーキングの位置を表す位置情報を取得する機能を有する。位置情報は、現実位置導出部７６に出力される。

【0047】

現実位置導出部７６は、測距装置２５の検出結果及び位置情報に基づいて現実空間におけるマーキングの位置（以下、現実位置という）を導出する機能を有する。現実位置導出部７６は、例えば、撮影画像と、測距装置２５の検出結果との対応関係を参照し、撮影画像に対するマーキングの位置に応じた検出結果に基づいて、マーキングの現実位置を導出する。

【0048】

投影画像生成部７８は、ＡＲグラス１０の機種情報に応じて、ＡＲグラス１０において投影画像を表示可能な現実空間の領域（以下、表示可能領域という）と、マーキングの現実位置とを比較する。投影画像生成部７８は、マーキングの現実位置が表示可能領域内の場合、現実位置に応じたマーキングの画像を表す投影画像を生成する。一方、投影画像生成部７８は、マーキングの現実位置が表示可能領域外の場合、現実位置を表す矢印等の位置情報を表す投影画像を生成する。

【0049】

第１送信部７９は、投影画像生成部７８が生成した投影画像をスマートフォン１２に出力する機能を有する。

【0050】

図８には、情報処理装置１６のプロセッサ６１において実行される情報処理の流れの一例を表したフローチャートが示されている。

【0051】

ステップＳ１００で第１取得部７０は、ＡＲグラス１０のカメラ２７が撮影した撮影画像を、スマートフォン１２を介して取得する。また、第１取得部７０は、測距装置２５の検出結果、６ＤｏＦセンサ２８の検出結果も取得する。

【0052】

次のステップＳ１０２で第２送信部７２は、撮影画像を画像表示装置１４に出力する。画像表示装置１４では、カメラ２７が撮影した撮影画像がディスプレイ６６に表示される。第２のユーザは、ディスプレイ５６に表示された撮影画像に対して、ＡＲグラス１０の第１のユーザに示したい領域について入力装置５８を用いてマーキングする。

【0053】

ステップＳ１０４で第２取得部７４は、マーキングの位置を表す位置情報を受信したか否か判定する。受信するまでステップＳ１０４の判定が否定判定となり、受信すると肯定判定となり、ステップＳ１０６へ移行する。

【0054】

ステップＳ１０６で現実位置導出部７６は、マーキングの位置を表す情報と、ＡＲグラス１０からスマートフォン１２を介して取得した測距装置２５及び６ＤｏＦセンサ２８の検出結果に基づいて、マーキングの現実位置を導出する。

【0055】

次のステップＳ１０８で投影画像生成部７８は、現実位置が表示可能領域内であるか否かを判定する。表示可能領域ではある場合、ステップＳ１０８の判定が肯定判定となり、ステップＳ１１０へ移行する。ステップＳ１１０で投影画像生成部７８は、現実位置に応じたマーキングの投影画像を生成する。

【0056】

一方、現実位置が表示可能領域外の場合、ステップＳ１０８の判定が否定判定となり、ステップＳ１１２へ移行する。ステップＳ１１２で投影画像生成部７８は、現実位置を表す位置情報の投影画像を生成する。

【0057】

次のステップＳ１１４で第１送信部７９は、投影画像をスマートフォン１２に出力する。スマートフォン１２は、受信した投影画像をＡＲグラス１０に表示させる。また、スマートフォン１２は、視線検出センサ２９の検出結果を情報処理装置１６に出力する。

【0058】

次のステップＳ１１６で第１取得部７０は、スマートフォン１２から視線検出センサ２９の検出結果を受信する。

【0059】

次のステップＳ１１８で投影画像生成部７８は、視線検出結果に基づいて、第１のユーザがマーキングを視認したか否かを判定する。具体的には、マーキングに応じた現実空間の位置を視認したか否かを判定する。

【0060】

視認していない場合、否定判定となり、ステップＳ１２０へ移行する。ステップＳ１２０で投影画像生成部７８は、設定時間が経過したが否か判定する。投影画像を表示させてから設定時間が経過するまで否定判定となり、ステップＳ１１８に戻る。一方、設定時間が経過すると肯定判定となり、ステップＳ１２２へ移行する。ステップＳ１２２で投影画像生成部７８は、投影画像の輝度を増加させる、輝度を増加させた投影画像は、第１送信部７９によりスマートフォン１２に出力される。すなわち、投影画像生成部７８は、視線の検出結果と、マーキングの現実空間における位置、またはマーキングの現実空間における位置を表す情報とを比較し、マーキングの表示状態、またはマーキングの位置を表す情報の表示状態を変更する処理を行う。

【0061】

一方、マーキングを視認した場合、ステップＳ１１８の処理が肯定判定となり、ステップＳ１２４へ移行する。ステップＳ１２４で第１送信部７９は、投影終了指示をスマートフォン１２に出力する。これにより、ＡＲグラス１０には、マーキングの投影画像の表示が終了する。ステップＳ１２４の処理が終了すると、図８に示した情報処理が終了する。

【0062】

これにより、本実施形態の情報処理装置１６によれば、ＡＲグラス１０のユーザに、マーキングに対応する現実空間の位置の視認を十分に即すことができる。

【0063】

なお、眼鏡型情報表示装置の形状は、一般的な眼鏡の形状や用途や装着部位に限定されない。また、眼鏡型情報表示装置は、単眼型でも複眼型でもよく、上記形態では、一方の眼により投影像を視認する形態について説明したが、両眼で、投影像を視認する形態であってもよい。ゴーグルのように左右がつながった形状でもよい。また、いわゆるヘッドマウントディスプレイのように、人間の頭部に装着するものに限定されない（例えば、人の機能を模しつつ、外形は犬であるロボットで、人間の目の機能が、ロボットの膝に有るカメラで実現されるならば、本開示の制御装置は膝に装着される）。このような制御装置も、本開示の技術に含まれる。

【0064】

また、上記形態のプロセッサ６１の機能の一部、または全部を、ＡＲグラス１０が備えていてもよいし、また、画像表示装置１４が備えていてもよい。

【0065】

また、上記形態において、例えば、第１取得部７０、第２送信部７２、第２取得部７４、現実位置導出部７６、投影画像生成部７８、及び第１送信部７９といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0066】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0067】

複数の処理部を１つのプロセッサで構成する例としては、第１に、上記実施形態のようにクライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0068】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0069】

また、上記各形態では、情報処理プログラム６５が記憶部６４に予め記憶（インストール）されている態様を説明したが、これに限定されない。画像処理プログラム４５は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、情報処理プログラム６５は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【符号の説明】

【0070】

１ 情報処理システム
１０ ＡＲグラス
１２ スマートフォン
１４ 画像表示装置
１６ 情報処理装置
１９ ネットワーク
２０Ｌ 左眼用透過部、２０Ｒ 右眼用透過部
２２Ｌ 左眼用レンズ、２２Ｒ 右眼用レンズ
２４ 導光板
２５ 測距装置
２６ ＯＬＥＤ
２７ カメラ
２８ ６ＤｏＦセンサ
２９ 視線検出センサ
４０、５０、６０ ＣＰＵ
４１、５１、６１ プロセッサ
４２、５２、６２ メモリ
４３、５３、６３ Ｉ／Ｆ部
４４、５４、６４ 記憶部
４５ 画像処理プログラム
４６、５６、６６ ディスプレイ
４８、５８、６８ 入力装置
４９、５９、６９ バス
５５ 表示制御プログラム
６５ 情報処理プログラム
７０ 第１取得部
７２ 第２送信部
７４ 第２取得部
７６ 現実位置導出部
７８ 投影画像生成部
７９ 第１送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】