(58)【調査した分野】(Int.Cl.,DB名)
前記通知制御部は、前記表示オブジェクトが有する所定の領域のうち一部の領域が前記表示領域に含まれない場合に、前記見切れの発生を前記ユーザに通知させる、請求項1〜9のいずれか一項に記載の情報処理装置。
透過型の表示部の表示領域に、少なくとも一部の領域が表示される表示オブジェクトの全部が表示領域に含まれない見切れの発生検出に基づいて、前記見切れの発生をプロセッサが、所定の処理を施した前記表示オブジェクトを前記表示領域に表示させることでユーザに通知することを含む、
情報処理方法。
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0012】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0013】
なお、説明は以下の順序で行うものとする。
<<1.第一の実施形態>>
<1−1.第一の実施形態の概要>
<1−2.第一の実施形態の構成>
<1−3.第一の実施形態の動作>
<1−4.第一の実施形態の効果>
<<2.第二の実施形態>>
<2−1.第二の実施形態の概要>
<2−2.第二の実施形態の構成>
<2−3.第二の実施形態の動作>
<2−4.第二の実施形態の効果>
<<3.第三の実施形態>>
<3−1.第三の実施形態の概要>
<3−2.第三の実施形態の構成>
<3−3.第三の実施形態の動作>
<3−4.第三の実施形態の変形例>
<3−5.第三の実施形態の効果>
<<4.ハードウェア構成例>>
<<5.むすび>>
【0014】
<<1.第一の実施形態>>
<1−1.第一の実施形態の概要>
まず、
図1を参照しながら本開示の第一の実施形態に係る情報処理装置の概要を説明する。
図1は、本開示の第一の実施形態に係る情報処理装置の外観を示す説明図である。
【0015】
図1に示すように、本開示の第一の実施形態に係る情報処理装置1−1は、撮像部110と、表示部180A,180Bとを備える眼鏡型の表示デバイスである。
【0016】
情報処理装置1−1は、撮像部110が実空間を撮像することにより得られた撮像画像に基づき、表示オブジェクトを表示部180A、180Bの表示領域185A、185Bに表示する。本実施形態にかかる表示オブジェクトは、例えば、実空間に対応してユーザに提示したい情報(画像、実空間の物体に対する説明テキスト、ナビゲーションアイコン、警告エフェクト等)であってもよいし、動的に移動するゲームキャラクタや固定された建物等の3Dオブジェクトであってもよい。本実施形態に係る表示オブジェクトの更なる例に関しては後述する。
【0017】
表示部180A、180Bはそれぞれ表示領域185A、185Bを有し、表示領域185A、185Bに表示オブジェクトが表示される。表示部180A、180Bは透過型の表示部(シースルーディスプレイ)であり、ユーザは情報処理装置1−1を装着している場合であっても、表示領域185A、185Bに表示される画像と共に実空間を視認することが可能である。例えば、表示部180A、180Bは、表示領域185A、185Bにおいて光を透過する構成であり、さらに表示領域185A、185B以外の領域においても光を透過する構成であってよい。なお、表示オブジェクトが奥行きを有する3Dモデル等である場合、表示部180A、及び表示部180Bは、それぞれ、右目用、及び左目用の画像を表示することで、ユーザに両眼視差を知覚させることが可能である。
【0018】
表示オブジェクトの表示サイズによっては、見切れが発生する。本開示において見切れとは、例えば、透過型の表示部の表示領域(本実施形態においては表示部180A,180Bの表示領域185A,185B)に、少なくとも一部の領域が表示される表示オブジェクトの全部が当該表示領域に含まれない状態を意味する。
図2は見切れ発生時のユーザの視界の例を示す説明図である。
図2に示す境界R10は、表示部180A、180Bにおける表示領域185A,185Bの境界(外縁)を示している。表示部180A、180Bは透過性が高いため、ユーザは境界R10を認識することは困難である。
【0019】
図2に示す表示オブジェクトC10は、境界R10の内部(表示領域)に含まれて表示される可視領域C12と、表示領域内に含まれないため表示されない非可視領域C14、C16、C18を含む。すなわち、表示オブジェクトC10は、一部の領域(可視領域C12)が表示領域185A,185Bに表示されるが、全部が表示領域185A,185Bには含まれていないため、見切れが発生している。
【0020】
図2に示すように、見切れが発生すると、境界R10付近で表示オブジェクトC10が切れたように表示される。しかし、上述したようにユーザは境界R10を認識し難いため、見切れが発生した場合、ユーザには表示オブジェクトC10が何もない場所において途中で切れたように見え、ユーザに違和感を与える恐れがあった。
【0021】
また、例えばテキスト表示等、表示オブジェクト全体を見た場合と表示オブジェクトの一部を見た場合とで意味が異なり得る表示オブジェクトが表示される場合には、見切れによりユーザが表示オブジェクトの意味を正しく理解できない恐れがあった。
【0022】
そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態によれば、見切れが発生しているか否かをユーザにとって認識し易くするための補助UIを表示させることで、見切れによるユーザへの違和感を軽減することが可能である。以下、このような効果を有する本実施形態の構成について詳細に説明する。
【0023】
<1−2.第一の実施形態の構成>
以上、本開示の第一の実施形態に係る情報処理装置1−1の概要を説明した。続いて、本実施形態による情報処理装置1−1の構成について
図3を参照して説明する。
【0024】
図3は、本実施形態に係る情報処理装置1−1の構成例を示す説明図である。
図3に示すように、本実施形態に係る情報処理装置1−1は、撮像部110、画像認識部120、表示制御部130、記憶部170、表示部180を備える。
【0025】
(撮像部)
撮像部110は、画像を取得するカメラモジュールである。撮像部110は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を用いて実空間を撮像することにより撮像画像を取得する。例えば、本実施形態における撮像部110は、情報処理装置1−1を装着するユーザの視界と同等の画角を有してもよく、撮像部110により撮像される範囲は当該ユーザの視界と見なされてもよい。なお、撮像部110により取得された撮像画像は、画像認識部120に提供される。
【0026】
また、撮像部110は撮像素子を二つ有し、二つの画像を同時に取得するステレオカメラであってもよい。かかる場合、当該二つの撮像素子は水平に並べられ、後述する画像認識部120が取得された複数の画像をステレオマッチング法等により解析することで、実空間の三次元形状情報(深度情報)を取得することが可能となる。
【0027】
(画像認識部)
画像認識部120は、撮像部110により取得された撮像画像を解析し、実空間の三次元形状や実空間に存在する物体やマーカ等の認識を行う。例えば、画像認識部120は、同時に取得された複数画像に対するステレオマッチング法や、時系列的に取得された複数画像に対するSfM(Structure from Motion)法等を行うことで、実空間の三次元形状を認識し、三次元形状情報を取得してもよい。また、画像認識部120は、予め用意された特徴点情報と、撮像画像から検出された特徴点情報のマッチングを行うことで、実空間に存在する物体やマーカ等を認識し、当該物体やマーカ等の情報を取得してもよい。画像認識部120により取得された上記の情報は、表示制御部130に提供される。
(表示制御部)
表示制御部130は、表示部180の表示を制御する。例えば、表示制御部130は、画像認識部120から提供される実空間の三次元情報や物体情報等に基づいて、表示オブジェクトを透過型の表示部180に表示させる。
【0028】
例えば、表示制御部130は、撮像画像から検出された物体の物体情報(当該物体の種類や位置等の情報)に基づいて、表示オブジェクトを表示させてもよい。例えば、表示制御部130は、当該物体情報に基づいて、当該物体に関する説明を行うテキストデータを取得し、当該テキストデータを所定のフォントを用いてレンダリングした結果(テキスト表示)を表示オブジェクトとして表示させてもよい。
【0029】
なお、表示オブジェクトや表示オブジェクトを表示させるための情報(例えばテキストデータ等)は、記憶部170に記憶されていてもよい。また、表示制御部130は記憶部170から表示オブジェクトを直接取得してもよいし、記憶部170に記憶された情報に基づいて、表示オブジェクトを生成(例えばレンダリング)して、表示オブジェクトを表示させてもよい。
【0030】
また、表示制御部130は、表示オブジェクトの空間内位置(実空間、または仮想空間における位置)を特定する。
【0031】
空間内位置は、例えばAR(Augmented Reality)マーカや所定の物体等の実空間における物体(実物体)の位置に基づいて特定されてもよい。また、表示オブジェクトが自由に移動可能なゲームキャラクタ等のように、実物体によって固定されない場合、空間内位置はアプリケーションによって動的に設定(特定)されてもよい。
【0032】
なお、表示オブジェクトの空間内位置は、実空間、または仮想空間(仮想的な三次元空間)で設定される座標系における座標値として表現されてもよい。また、かかる場合、ユーザの位置も同様に表示オブジェクトの空間内位置が表現される座標系において設定されてもよい。例えば、ユーザの位置は、実空間で設定される座標系における情報処理装置1−1の座標値として設定されてもよい。また、空間内位置が仮想空間で設定される座標系における座標値として表現される場合、ユーザの位置は、当該仮想空間内で、表示オブジェクトをレンダリングするための仮想的な視点の座標値として表現されてもよい。
【0033】
また、表示制御部130は、ユーザの位置から所定の画角でレンダリングを行い、表示部180の表示領域に表示オブジェクトを表示させる。ここで、例えば、表示領域における当該表示オブジェクトの表示サイズは、ユーザの位置と表示オブジェクトの空間内位置によって決定される。
【0034】
例えば、実物体に応じて空間内位置が特定される場合、ユーザが当該実物体に近づくと、表示サイズは大きくなり、ユーザが当該実物体から遠ざかると、表示サイズは小さくなるように、表示制御が行われてもよい。かかる構成によれば、ユーザは当該表示オブジェクトを実物体と対応付けて知覚することが可能であり、当該表示オブジェクトをより現実的に感じることが可能である。
【0035】
また、表示領域における当該表示オブジェクトの表示位置も同様に、ユーザの位置と表示オブジェクトの空間内位置によって決定されてもよい。
【0036】
上記のように表示サイズと表示位置は、ユーザの位置と表示オブジェクトの空間内位置に基づいて決定されるため、ユーザの位置と表示オブジェクトの空間内位置によっては、見切れが発生する場合がある。例えば、表示サイズにおける高さが表示領域の高さより大きい場合には、少なくとも高さ方向において見切れが発生する。
【0037】
また、表示制御部130は、見切れが発生しているか否か(見切れの発生有無)をユーザにとって認識し易くするための補助UI(User Interface)を表示させる。例えば、表示制御部130は、補助UIとして、表示部180の表示領域の周縁部に枠を表示させてもよい。
図4は、表示制御部130が表示させる枠の例を示す説明図である。
【0038】
図4に示す枠F20は、表示制御部130が補助UIとして、表示部180の表示領域の周縁部のうち、外縁に表示させた枠である。また、
図4においても見切れが発生しており、
図2を参照して説明した表示オブジェクトC10の例と同様に、
図4に示す表示オブジェクトC20は、可視領域C22と、非可視領域C24、C26、C28を含む。
【0039】
しかし、
図4では、枠F20が表示されることで、ユーザは枠F20を通して表示オブジェクトC20が表示される空間を覗いているような感覚を受けるため、見切れが発生した場合であっても違和感が軽減する。また、ユーザは枠F20により、見切れの発生を認識し易くなるため、表示オブジェクトC20の全体が表示されておらず、表示領域外にも情報が存在することを理解可能となり、可視領域C22のみで意味を誤解してしまうことが抑制される。さらに、ユーザは枠F20により、見切れにより表示オブジェクトが切れている場所と、見切れた理由(例えば現在のユーザの位置では表示サイズが大きすぎる等)を理解し易くなるため、例えばユーザは自ら移動することで見切れを解消することできる。
【0040】
なお、表示制御部130が表示させる補助UIは上述した
図4の例に限定されない。例えば、表示制御部130が表示させる枠は実線ではなく破線や点線であってもよいし、ユーザが視認可能な範囲で薄い色や輝度、細い線としてもよい。また、表示制御部130は補助UIを常に表示させるのではなく、例えば点滅するように表示させてもよい。かかる構成によれば、ユーザの視覚をできるだけ邪魔せずに、かつ、見切れの発生を認識し易くすることが出来る。また、表示制御部130は、表示領域全体、または表示領域のうち表示オブジェクトが表示される領域を除く領域を薄く色づけする補助UIを表示させることで、見切れの発生を認識し易くしてもよい。
【0041】
(記憶部)
記憶部170は、表示オブジェクトの情報を記憶する。記憶部170に記憶される表示オブジェクトの情報は、例えば、画像、エフェクトの表示情報、マーキングの表示情報、シルエットの表示情報、テキストや3Dモデル等のレンダリング情報等を含んでもよい。
【0042】
例えば、本実施形態に係る表示オブジェクトは、実物体や他の表示オブジェクト(以下、まとめて物体と呼ぶ場合がある)の動きを強調、または演出する効果を有するエフェクト表示等であってもよい。
【0043】
また、本実施形態に係る表示オブジェクトは、物体に対応付けられたマーキング表示であってもよい。また、本実施形態に係る表示オブジェクトは、実空間、または仮想空間内での進路や、行動のお手本を示すナビゲーション表示であってもよい。また、本実施形態に係る表示オブジェクトは、物体に重畳されるシルエットや当該物体に関するセンシング結果を示すオブジェクトであってもよい。
【0044】
また、本実施形態に係る表示オブジェクトはゲームキャラクタやゲームにおけるアイテム、建物等を示す3Dオブジェクトや画像であってもよい。また、本実施形態に係る表示オブジェクトゲームやナビゲーションにおける過去の履歴を示す3Dオブジェクトや画像(例えばレースゲームにおける所謂ゴーストカー)であってもよい。
【0045】
また、本実施形態に係る表示オブジェクトは周囲の人物等の物体、当該物体に関するマニュアル、プロパティ情報(名前、速度、属性等)を示すテキストを提示するオブジェクトであってもよい。なお、係る表示オブジェクトの表示位置は、当該物体に重畳される位置であってもよいし、当該物体に重ならないような当該物体付近の位置であってもよい。
【0046】
また、本実施形態に係る表示オブジェクトは空間の任意の位置を表示位置とする仮想の広告や垂れ幕のオブジェクト等であってもよい。
【0047】
(表示部)
表示部180は、表示オブジェクトを表示する、透過型(シースルー型)のディスプレイ(表示部)である。以下では、表示部180の構成例について
図5を参照して説明する。
図5は、表示部180の構成例を示す説明図である。
【0048】
図5に示すように本実施形態に係る表示部180は、反射型の空間光変調部182、ファインダーレンズ等より成るコリメート光学系184、ホログラム型の導光板(導波路)186を有する。導光板186は、ユーザの瞳22に対し奥行き方向に相対向する光学面1862及び1864と、光学面1864に設けられ、位置に係らず均等なホログラム表面の干渉縞ピッチを有する反射型体積ホログラムグレーティング1866及び1868と、を有する。
【0049】
図5に示すように、空間光変調部182が画像を変調して射出した光は、コリメート光学系184によって画角が互いに異なる平行光束群とされ、導光板186に光学面1862から入射する。導光板186に入射された光は、反射型体積ホログラムグレーティング1866に入射し、反射型体積ホログラムグレーティング1866により回折反射される。反射型体積ホログラムグレーティング1866により回折反射された光は、導光板186内部において、光学面1862及び1864の間で全反射を繰り返しながら導光し、反射型体積ホログラムグレーティング1868に向けて進行する。反射型体積ホログラムグレーティング1868に入射した光は、回折反射により全反射条件から外れ、導光板186から射出されてユーザの瞳22に入射する。
【0050】
なお、
図1を参照して説明した表示部180の表示領域185A,185Bは、
図5に示す導光板186における反射型体積ホログラムグレーティング1868の領域に相当する。
【0051】
なお、透過型の表示部180の構成は上記の例に限定されない。例えば、表示部180は、ハーフミラー等を用いて反射させた画像を表示させる構成であってもよいし、ユーザの網膜に光を照射することで画像を表示させる構成であってもよい。
【0052】
<1−3.第一の実施形態の動作>
以上、本開示の第一の実施形態に係る情報処理装置1−1の構成例について説明した。続いて、
図6を参照して、本実施形態に係る情報処理装置1−1の動作例について、特に表示制御部130による表示制御に関する動作に着目して説明する。
図6は、本実施形態に係る情報処理装置1−1の動作例を説明するためのフローチャート図である。
【0053】
まず、表示制御部130が、表示部180の表示領域の外縁に枠(補助UI)を表示させる(S102)。続いて、表示制御部130は、表示オブジェクトを表示させる(S104)。
【0054】
なお、上記で説明した動作は一例であって、本実施形態にかかる表示制御部130の表示制御に係る動作は上記に限定されない。例えば、表示制御部130は、上記の一連の処理(ステップS102〜S104)や、オブジェクト表示処理(ステップS104)を繰り返し行うことで、現状のユーザ位置等に応じた表示オブジェクトの表示を随時更新させてもよい。
【0055】
<1−4.第一の実施形態の効果>
以上、本開示に係る第一の実施形態について説明した。本実施形態によれば、見切れが発生しているか否かをユーザにとって認識し易くするための補助UI(例えば表示領域外縁の枠等)を表示させることで、見切れが発生した際のユーザへの違和感を軽減させることが可能である。また、ユーザは見切れの発生を認識することで、表示オブジェクト全体が表示されておらず、表示領域外にも情報が存在することを理解可能となるため、表示領域に表示された表示オブジェクトの一部のみで意味を誤解してしまうことが抑制される。さらに、ユーザは見切れにより表示オブジェクトが切れている場所と、見切れた理由(例えば現在のユーザの位置では表示サイズが大きすぎる等)を理解し易くなるため、自らの移動等により表示領域の外に存在する情報を見ようとすることが可能となる。
【0056】
<<2.第二の実施形態>>
<2−1.第二の実施形態の概要>
上述した第一の実施形態では、見切れが発生しているか否かをユーザにとって認識し易くするための補助UIを表示させる例を説明した。これに対し、以下では、第二の実施形態として、表示オブジェクトに所定の処理を施すことで、見切れが発生しているか否かをユーザに認識し易くする例について説明する。
【0057】
第二の実施形態に係る情報処理装置では、表示オブジェクトのうち、表示領域の周縁部に表示される領域に対して、所定の処理が施されるように表示制御を行うことで、見切れ発生によるユーザへの違和感を軽減させる。以下では、上記の効果を奏する第二の実施形態の構成と動作を順次詳細に説明する。
【0058】
<2−2.第二の実施形態の構成>
本開示の第二の実施形態に係る情報処理装置は
図1、
図3を参照して説明した第一の実施形態に係る情報処理装置1−1と同様に、透過型の表示部を有する眼鏡型の表示デバイスである。本実施形態に係る情報処理装置は、第一の実施形態に係る情報処理装置1−1と一部において同様の構成を有するため、適宜省略しながら説明を行う。
【0059】
本実施形態に係る情報処理装置の外観は、
図1を参照して説明した第一の実施形態に係る情報処理装置1の外観と同様である。また、本実施形態に係る情報処理装置は、
図3に示した第一の実施形態に係る情報処理装置1−1と同様に、撮像部110、画像認識部120、表示制御部130、記憶部170、表示部180を備える。本実施形態に係る撮像部110、画像認識部120、記憶部170、表示部180の構成は、第一の実施形態に係る撮像部110、画像認識部120、記憶部170、表示部180の構成と実質的に同一であるため、説明を省略する。以下では、本実施形態に係る表示制御部130について、第一の実施形態に係る表示制御部130と異なる部分を中心に説明を行う。
【0060】
(表示制御部)
本実施形態に係る表示制御部130は、第一の実施形態に係る表示制御部130と同様に、表示部180の表示を制御する。
【0061】
例えば、本実施形態に係る表示制御部130は、第一の実施形態に係る表示制御部130と同様に、画像認識部120から提供される実空間の三次元情報や物体情報等に基づいて、表示オブジェクトを透過型の表示部180に表示させる。
【0062】
本実施形態に係る表示制御部130による表示オブジェクトに関する情報の取得、空間内位置の特定、レンダリングの処理については、第一の実施形態に係る表示制御部130による上記それぞれの処理と同様であるため、ここでの説明は省略する。
【0063】
また、本実施形態に係る表示制御部130は、ユーザにとって見切れの発生有無を認識し易くするため、表示オブジェクトに所定の処理を施し、上記所定の処理が施された表示オブジェクトを、表示部180の表示領域に表示させる。以下では、
図7を参照して、表示制御部130が表示オブジェクトに施す所定の処理について説明する。
【0064】
図7は本実施形態に係る表示制御部130が表示オブジェクトに所定の処理を施すために用いる処理パターンの例を示す説明図である。表示制御部130は、表示部180の表示領域に表示させる表示オブジェクトに、
図7に示す処理パターンを適用する処理を行う。
図7に示す処理パターンは、輝度が高い領域では低い透過度で表示され、輝度が低い領域では高い透過度で表示されるようにアルファフェード処理を行う透過処理のための処理パターンである。
【0065】
図7に示す周縁部E1は、表示制御部130が表示を制御可能な表示部180の表示領域の周縁部を示している。
図7に示す処理パターンにおいて、周縁部E1は、中央から遠ざかり外縁に近づくにつれて輝度が低下している。したがって、
図7に示す処理パターンを適用して上記のアルファフェード処理を行うと、周縁部E1において、中央から遠ざかり外縁に近づくにつれて透過度が高くなるように(アルファフェードされて)表示オブジェクトが表示される。
【0066】
図8は、本実施形態に係る表示制御部130が表示オブジェクトに施す所定の処理の一例を説明するための説明図である。
図8においても見切れが発生しており、
図2を参照して説明した表示オブジェクトC10の例と同様に、
図8に示す表示オブジェクトC30は、可視領域C32と、非可視領域C34、C36、C38を含む。
【0067】
表示制御部130が
図7に示す処理パターンを表示オブジェクトC30に適用して透過処理を行ったため、
図8に示す境界R30の周辺(周縁部)と重なる半透過領域C322、C324、C326(周縁領域)は、アルファフェードされて表示される。
【0068】
係る構成によれば、ユーザは半透過領域C322、C324、C326がアルファフェードされていることにより、見切れの発生を認識し易くなる。そのため、表示オブジェクトC30の全体が表示されておらず、表示領域外にも情報が存在することを理解可能となり、可視領域C32のみで意味を誤解してしまうことが抑制される。さらに、ユーザは半透過領域C322、C324、C326により、見切れにより表示オブジェクトが切れている場所と、見切れた理由(例えば現在のユーザの位置では表示サイズが大きすぎる等)を理解し易くなる。そのため、例えばユーザは自ら移動することで見切れを解消可能であることを理解することが可能となる。
【0069】
上記のアルファフェード処理は、例えば、表示制御部130が表示させるべき表示オブジェクトを特定し、レンダリングを行う際に行われてもよい。
【0070】
なお、表示制御部130が行う所定の処理は、
図7の処理パターンを用いたアルファフェード処理に限定されない。例えば、表示制御部130は、中央から遠ざかるにつれて透過度が高くなるように処理するための円形、または楕円形(例えばガウス分布状)の処理パターンを用いてアルファフェード処理を行ってもよい。また、表示制御部130は、表示領域の周縁部において、表示オブジェクトのレンダリング方法を異ならせる処理を行うことで、見切れの発生を認識し易くしてもよい。例えば、表示制御部130は、表示領域の周縁部において、ワイヤフレームレンダリングを行い、周縁部以外の領域において、ポリゴンレンダリングを行ってもよい。
【0071】
<2−3.第二の実施形態の動作>
以上、本開示の第二の実施形態に係る情報処理装置の構成例について説明した。続いて、
図9を参照して、本実施形態に係る情報処理装置の動作例について、特に表示制御部130による表示制御に関する動作に着目して説明する。
図9は、本実施形態に係る情報処理装置の動作例を説明するためのフローチャート図である。
【0072】
まず、表示制御部130は、表示オブジェクトのレンダリングの際に、
図7を参照して説明したような処理パターンを用いて、表示領域の周縁部にアルファフェード処理を行う(S202)。続いて、表示制御部130は、アルファフェード処理済みの表示オブジェクトを表示部180に表示させる(S204)。
【0073】
なお、上記で説明した動作は一例であって、本実施形態にかかる表示制御部130の表示制御に係る動作は上記に限定されない。例えば、表示制御部130は、上記の一連の処理(ステップS202〜S204)を繰り返し行うことで、現状のユーザ位置等に応じた表示オブジェクトの表示を随時更新させてもよい。
<2−4.第二の実施形態の効果>
以上、本開示に係る第二の実施形態について説明した。本実施形態によれば、表示オブジェクトに対して所定の処理を行うことで、見切れが発生しているか否かをユーザに認識し易くし、見切れが発生した際のユーザへの違和感を軽減させることが可能である。また、ユーザは見切れの発生を認識することで、表示オブジェクト全体が表示されておらず、表示領域外にも情報が存在することを理解可能となるため、表示領域に表示された表示オブジェクトの一部のみで意味を誤解してしまうことが抑制される。さらに、ユーザは見切れにより表示オブジェクトが切れている場所と、見切れた理由(例えば現在のユーザの位置では表示サイズが大きすぎる等)を理解し易くなるため、自らの移動等により表示領域の外に存在する情報を見ようとすることが可能となる。
【0074】
<<3.第三の実施形態>>
<3−1.第三の実施形態の概要>
上述した第一の実施形態、及び第二の実施形態では、見切れが発生しているか否かに関わらず、ユーザに見切れの発生有無を認識し易くさせるための処理(補助UIの表示、または所定の処理)を行う例を説明した。これに対し、以下では、第三の実施形態として、見切れの発生が検出された場合に、ユーザの情報、表示オブジェクトの情報、環境の情報等に基づいて見切れの発生の通知方法を決定し、補助UIの出力、または所定の処理を行う例を説明する。
【0075】
第三の実施形態に係る情報処理装置では、見切れの発生が検出された場合に、補助UIが表示される、または所定の処理が施されることで、見切れが発生しない場合にユーザの視覚を邪魔することなく、見切れ発生によるユーザへの違和感を軽減させる。以下では、上記の効果を奏する第三の実施形態の構成と動作を順次詳細に説明する。
【0076】
<3−2.第三の実施形態の構成>
本開示の第三の実施形態に係る情報処理装置は、
図1、
図3を参照して説明した第一の実施形態に係る情報処理装置と同様に、透過型の表示部を有する眼鏡型の表示デバイスである。まず、本実施形態に係る情報処理装置の外観は、
図1を参照して説明した第一の実施形態に係る情報処理装置1の外観と同様である。また、本実施形態に係る情報処理装置は、第一の実施形態に係る情報処理装置1−1、及び第二の実施形態に係る情報処理装置と一部において同様の構成を有するため、適宜省略しながら説明を行う。
【0077】
図10は、本実施形態に係る情報処理装置1−3の構成例を示す説明図である。
図10に示すように、本実施形態に係る情報処理装置1−3は、撮像部110、画像認識部320、表示制御部330、見切れ検出部340、センサ部350、通知方法判定部360、記憶部170、表示部180を備える。本実施形態に係る撮像部110、記憶部170、表示部180の構成は、第一の実施形態に係る撮像部110、記憶部170、表示部180の構成と実質的に同一であるため、説明を省略する。以下では、本実施形態に係る情報処理装置1−3について本実施形態に特有の構成を中心に説明を行う。
【0078】
(画像認識部)
本実施形態に係る画像認識部320は、
図3を参照して説明した画像認識部120と同様に撮像部110により取得された撮像画像を解析し、実空間の三次元形状や実空間に存在する物体やマーカ等の認識を行う。画像認識部320により取得された三次元形状情報や実空間に存在する物体やマーカの情報は、表示制御部330、及び通知方法判定部360に提供される。
【0079】
(表示制御部)
本実施形態に係る表示制御部330は、第一の実施形態に係る表示制御部130と同様に、透過型の表示部180の表示を制御する。
【0080】
例えば、本実施形態に係る表示制御部130は、第一の実施形態に係る表示制御部130と同様に、画像認識部320から提供される実空間の三次元情報や物体情報等に基づいて、表示オブジェクトを透過型の表示部180に表示させる。
【0081】
本実施形態に係る表示制御部330による表示オブジェクトに関する情報の取得、空間内位置の特定、レンダリングの処理については、第一の実施形態に係る表示制御部130による上記それぞれの処理と同様であるため、ここでの説明は省略する。
【0082】
また、表示制御部330は表示オブジェクトのレンダリングにおける画角に関する情報を見切れ検出部340に提供する。
図11A、
図11Bは、表示制御部330が見切れ検出部340に提供する画角に関する情報を説明するための説明図である。
【0083】
図11Aに示す画角範囲R40は、三次元空間内でレンダリングを行う視点Vから表示オブジェクトの表示面Pに画角θに相当する領域を投影した範囲を示している。また、
図11Bは、表示面Pにおける表示オブジェクトC40と画角範囲R40の関係を示している。上記の画角範囲R40、及び表示オブジェクトC40の情報が表示制御部330から見切れ検出部340に提供される。なお、画角範囲R40は、表示部180における表示領域に対応する。
【0084】
また、表示制御部330は、後述する見切れ検出部340による、少なくとも一部の領域が表示される表示オブジェクトの全部が表示領域に含まれない見切れの発生検出に基づいて、見切れの発生をユーザに通知させる通知制御部としての機能を有する。
【0085】
例えば、表示制御部330は、通知制御部として、後述する見切れ検出部340により見切れの発生が検出された場合に、見切れの発生をユーザに通知させてもよい。かかる構成によれば、見切れが発生しない場合にはユーザは見切れを意識する必要がないため、ユーザの視覚等を邪魔する恐れが軽減される。
【0086】
また、表示制御部330は、表示オブジェクトと表示領域の配置関係に応じた通知制御を行う。表示オブジェクトと表示領域の配置関係に応じた通知制御の例については後述する。
【0087】
また、表示制御部330は、通知方法判定部360により決定された通知方法により、見切れの発生をユーザに通知させてもよい。なお、通知方法判定部360による通知方法の決定については後述する。
【0088】
例えば、表示制御部330は、通知方法判定部360による通知方法の決定に基づき、第一の実施形態で説明したような表示部による補助UI(補助情報)の表示によりユーザに見切れの発生を通知してもよい。
【0089】
補助UI(補助情報)は、例えば第一の実施形態で説明したように、表示領域の周縁部に枠が表示されることで、ユーザに通知されてもよい。係る構成によれば、第一の実施形態で説明したように、ユーザは枠を通して表示オブジェクトが表示される空間を覗いているような感覚を受けると共に、見切れの発生や発生理由を理解することが可能となるため、見切れが発生した場合であっても違和感が軽減する。
【0090】
また、第一の実施形態においては、見切れの発生検出を行っていない例を説明したが、本実施形態では、見切れの発生検出を行っているため、見切れの発生検出に基づいて、第一の実施形態よりも多様な補助UIを用いることが可能である。以下では、
図12〜14を参照して、見切れの発生が検出された場合に表示制御部330が表示させる見切れの発生を通知するための補助UIの例を説明する。
【0091】
図12は、表示制御部330が表示させる見切れの発生を通知するための補助UIの一例を示す説明図である。
図12においても見切れが発生しており、
図2を参照して説明した表示オブジェクトC10の例と同様に、
図12に示す表示オブジェクトC50は、境界R50の内部に表示される可視領域C52と、表示されない非可視領域C54、C56、C58を含む。
【0092】
図12に示すテキスト表示U50は、表示オブジェクトC50が表示領域(境界R50の内部)に含まれる度合を示す補助UI(補助情報)である。すなわち、
図12の例において、表示制御部330は通知制御部としての機能を発揮し、表示オブジェクトが表示領域に含まれる度合を示す情報として、テキスト表示U50を表示させて、ユーザに通知させている。係る構成によれば、ユーザは、表示オブジェクトがどの程度表示領域に含まれているのかを理解することが可能となる。
【0093】
図13は、表示制御部330が表示させる見切れの発生を通知するための補助UIの他の一例を示す説明図である。
図13においても見切れが発生しており、
図2を参照して説明した表示オブジェクトC10の例と同様に、
図13に示す表示オブジェクトC60は、表示領域の境界R60の内部に表示される可視領域C62と、表示されない非可視領域C64、C66、C68を含む。
【0094】
図13に示す線分U62、U64は、表示領域の周縁部のうち、表示オブジェクトC60の見切れが発生している辺を示す補助UIである。すなわち、
図13の例において、補助UI(補助情報)は、表示領域の周縁部のうち表示オブジェクトと重なる領域を含む辺に線分が表示されることで、ユーザに通知されている。係る構成によれば、ユーザは、どこで見切れが発生しているのかをより容易に理解することが可能となる。なお、上述した
図13の例によれば、表示オブジェクトと表示領域の配置関係に応じて表示させる線分が異なるため、上述した
図13の例は、表示制御部330が行う、表示オブジェクトと表示領域の配置関係に応じた通知制御の一例でもある。
【0095】
図14は、表示制御部330が表示させる見切れの発生を通知するための補助UIの他の一例を示す説明図である。
図14においても見切れが発生しており、
図2を参照して説明した表示オブジェクトC10の例と同様に、
図14に示す表示オブジェクトC70は、表示領域の境界R70の内部に表示される可視領域C72と、表示されない非可視領域C74、C76、C78を含む。
【0096】
図14に示す縮小オブジェクトU70は、表示オブジェクトC70を表示領域に縮小表示させることで、表示オブジェクトC70の全体を示す、補助UI(補助情報)である。係る構成によれば、ユーザは見切れの発生を認識することが可能であると共に、見切れが発生した場合であっても、表示オブジェクトの全体概要を把握することが可能である。なお、表示オブジェクトを縮小せずに全体表示可能である場合(例えば、表示領域に収まる表示サイズであるが、表示位置により見切れが発生した場合)には、縮小されない表示オブジェクトが表示オブジェクトの全体を示す補助UIとして表示されてもよい。
【0097】
なお、見切れの発生が検出された場合に、本実施形態に係る表示制御部330が表示させる見切れの発生を通知するための補助UIは上記の例に限定されない。例えば、表示制御部330は、表示領域全体、または表示領域のうち表示オブジェクトが表示される領域を除く領域を薄く色づけする補助UIを表示させてもよい。また、表示制御部330は、上記で説明した複数の補助UIの例を組み合わせて表示させてもよい。
【0098】
また、表示制御部330は、通知方法判定部360による通知方法の決定に基づき、第二の実施形態で説明したように、所定の処理を施した表示オブジェクトを表示領域に表示させることでユーザに見切れの発生を通知してもよい。
【0099】
上記所定の処理は、例えば第二の実施形態で説明したように、表示オブジェクトのうち、表示領域の周縁部と重なる周縁領域に対して施されてもよい。例えば、上記所定の処理は、第二の実施形態で説明したように、表示オブジェクトのうち、周縁領域における透過度を変更する(他の領域とは異ならせる)処理であってもよい。
【0100】
なお、本実施形態に係る表示制御部330が行う所定の処理は上記の例に限定されない。例えば、所定の処理は、周縁領域におけるレンダリング方法、色、テクスチャ、透過度、模様、のうち少なくともいずれか一つを変更する処理であってもよい。また、所定の処理は、周縁領域におけるレンダリング方法、色、テクスチャ、透過度、模様、のうち少なくともいずれか一つを変更することで、周縁領域の視認性を周縁領域以外の表示オブジェクトの領域の視認性よりも低下させる処理であってもよい。係る構成によれば、ユーザに見切れの発生と、見切れが発生している発生場所を認識させることが可能である。
【0101】
また、所定の処理は、表示オブジェクト全体をフェードアウトさせ、その後非表示にさせる処理であってもよい。
【0102】
(見切れ検出部)
図10に示す見切れ検出部340は、表示制御部330から提供される画角に関する情報に基づき、見切れの発生を検出する。
【0103】
本実施形態に係る見切れ検出部340は、
図11Bを参照して説明した画角範囲R40、及び表示オブジェクトC40の情報に基づき、見切れの発生を検出する。例えば、見切れ検出部340は、表示オブジェクトC40が画角範囲R40に収まっていない場合に見切れの発生を検出してもよい。
【0104】
見切れ検出部340は、見切れの発生を検出した場合に、当該検出結果(見切れの発生検出)を表示制御部330に提供する。
【0105】
(センサ部)
図10に示すセンサ部350は、ユーザやユーザの置かれた環境に関するセンシングを行い、ユーザの情報と環境の情報を取得する。例えば、センサ部350は、マイク、GPS(Global Positioning System)センサ、加速度センサ、視覚(視線、注視点、焦点、瞬目等)センサ、生体情報(心拍、体温、血圧、脳波等)センサ、ジャイロセンサ、照度センサ等の各種センサを含んでもよい。また、センサ部350は、取得したユーザの情報と環境の情報を通知方法判定部360に提供する。
【0106】
(通知方法判定部)
通知方法判定部360は、見切れの発生の通知方法の決定(判定)を行う。例えば、通知方法判定部360は、ユーザの情報、表示オブジェクトの情報、または環境の情報に基づいて、見切れの発生の通知方法を決定(判定)してもよい。
【0107】
ここで、ユーザの情報は、例えば、ユーザの行動を示す行動情報、ユーザの動きを示す動き情報、生体情報、注視情報等を含んでもよい。行動情報は、例えば、静止中、歩行中、走行中、自動車運転中、階段昇降中等ユーザの現在の行動を示す情報であり、センサ部350により取得された加速度等のセンサ情報等から認識・取得されてもよい。また、動き情報は、移動速度、移動方向、移動加速度、コンテンツの位置への接近等の情報であり、センサ部350により取得された加速度、GPSデータ等のセンサ情報等から認識・取得されてもよい。また、生体情報は、ユーザの心拍、体温発汗、血圧、脈拍、呼吸、瞬目、眼球運動、脳波等の情報であり、センサ部350により取得されてもよい。また、注視情報は、視線、注視点、焦点、両眼の輻輳等のユーザの注視に関する情報であり、センサ部350により取得されてもよい。
【0108】
また、表示オブジェクトの情報は、例えば、表示オブジェクトの表示位置、色、アニメーション特性、表示オブジェクトの属性等の情報を含んでもよい。表示位置は、表示部180において、表示オブジェクトが表示されるべき位置であってもよい。また、色の情報は、表示オブジェクトが有する色の情報であってもよい。また、アニメーション特性の情報は、例えば、表示オブジェクトの移動速度、移動方向、軌道、更新頻度(動きの頻度)等の情報であってもよい。表示オブジェクト属性の情報は、例えば、表示オブジェクト種類(テキスト表示、画像、ゲームキャラクタ、エフェクト等)、重要度、優先度等の情報であってもよい。上述した表示オブジェクトの情報は、例えば、記憶部170に記憶され、表示制御部330を介して通知方法判定部360に提供されてもよいし、表示制御部330により算出されて、通知方法判定部360に提供されてもよい。
【0109】
また、環境の情報は、例えば、背景、周辺状況、場所、照度、高度、気温、風向き、風量、時刻等の情報を含んでもよい。背景の情報は、例えば、実空間等の背景に存在する色(背景色)や、背景に存在する情報の種類や重要度等の情報であり、撮像部110によって取得されてもよいし、または画像認識部320によって認識、及び取得が行われてもよい。また、周辺状況の情報は、ユーザ以外の人物や自動車が周辺に存在するか否かという情報や、混雑度等の情報であってもよく、画像認識部320によって認識、及び取得が行われてもよい。また、場所の情報は、例えば、屋内、屋外、水中、危険な場所等、ユーザがいる場所の特性を示す情報でもよいし、自宅、会社、慣れた場所、初めて訪れる場所等、当該場所のユーザにとっての意味を示す情報でもよい。場所の情報は、センサ部350により取得されてもよいし、画像認識部320によって認識、及び取得が行われてもよい。また、照度、高度、気温、風向き、風量、時刻(例えばGPS時刻)の情報は、センサ部350により取得されてもよい。
【0110】
以下、上記で説明した、ユーザの情報、表示オブジェクトの情報、または環境の情報に基づく、通知方法判定部360による通知方法の決定についていくつか例を挙げて説明する。
【0111】
例えば、表示オブジェクトが実空間の物体に重畳されて表示され、実物体を別の物に見せるような表示オブジェクトである場合、表示オブジェクトに所定の処理(アルファフェード等)を施すと本来の目的(実物体を別の物に見せること)が達成されない恐れがある。従って、通知方法判定部360は、表示オブジェクトが実空間の物体に重畳されて表示される表示オブジェクトであるという情報に基づいて、補助UIの表示を通知方法として決定してもよい。
【0112】
また、見切れの発生をユーザに明示したい場合には、通知方法判定部360は補助UIの表示を通知方法として決定してもよい。
【0113】
例えば、表示オブジェクトがテキスト表示である場合には、見切れが発生していることをユーザに認識させないと、ユーザは誤った情報を認識してしまう恐れがある。従って、通知方法判定部360は、表示オブジェクトがテキスト表示という表示オブジェクトの属性の情報に基づいて、補助UIの表示を通知方法として決定してもよい。
【0114】
また、表示オブジェクトが実空間の物体のサイズに合わせて表示される場合にも、見切れが発生していることをユーザに認識させないと、ユーザに表示オブジェクトが実空間の物体のサイズに合わせて表示されていることが認識されない恐れがある。従って、通知方法判定部360は、実空間の情報(環境の情報)と上記のような表示オブジェクトであるという表示オブジェクトの情報に基づいて、補助UIの表示を通知方法として決定してもよい。
【0115】
また、ユーザの視線を表示領域外へ誘導すべき場合にも、見切れが発生していることをユーザに明示的に通知させることが望ましい。従って、通知方法判定部360は、ユーザの生体情報や注視情報、環境の情報等に基づいて、ユーザの視線を表示領域外へ誘導すべきと判定可能な場合に、補助UIの表示を通知方法として決定してもよい。
【0116】
また、ユーザの焦点が表示オブジェクトに合っていない(合焦していない)、または、ユーザが表示オブジェクトを注視していない場合には、ユーザの視覚を邪魔することなく、見切れの発生を示唆することが望ましい。従って、通知方法判定部360は、ユーザの注視情報に基づいて、所定の処理を通知方法として決定してもよい。
【0117】
また、ユーザの動きや、視線の移動が大きい場合にも同様に、ユーザの視覚を邪魔することなく、見切れの発生を示唆することが望ましい。従って、通知方法判定部360は、動き(加速度等)や、ユーザの注視情報に基づいて、所定の処理を通知方法として決定してもよい。
【0118】
また、表示オブジェクトが、世界観の演出(雰囲気の演出)のためのオブジェクトである場合、途切れた表示や輪郭のボケ表示が許容され得ることがある。従って、通知方法判定部360は、表示オブジェクトの属性の情報に基づき、表示オブジェクトが上記のようなオブジェクトである場合には、所定の処理を通知方法として決定してもよい。
【0119】
また、表示オブジェクトが、リスト表示やタイル状での表示等が行われるオブジェクトである場合、境界においてアルファフェード処理等が行われていても機能や意味が損なわれないことがある。したがって、通知方法判定部360は、表示オブジェクトの属性情報に基づき、表示オブジェクトが上記のようなオブジェクトである場合には、所定の処理を通知方法として決定してもよい。
【0120】
以上、通知方法判定部360による通知方法の決定の例を説明したが、通知方法判定部360による通知方法の決定は上記の例に限定されず、上述したユーザの情報、表示オブジェクトの情報、環境の情報等の組み合わせにより多様な方法で決定されてもよい。
【0121】
<3−3.第三の実施形態の動作>
以上、本開示の第三の実施形態に係る情報処理装置の構成例について説明した。続いて、
図17を参照して、本実施形態に係る情報処理装置の動作例について、特に表示制御部330、見切れ検出部340、通知方法判定部360等による表示制御に関する動作に着目して説明する。
図15は、本実施形態に係る情報処理装置の動作例を説明するためのフローチャート図である。
【0122】
まず、見切れ検出部340が、表示制御部330から提供される画角に関する情報に基づき、見切れの発生を検出する(S304)。見切れの発生が検出されなかった場合(S304においてNO)、所定の処理が行われていない表示オブジェクトが表示される(S310)。
【0123】
一方、見切れの発生が検出された場合(S304においてYES)、通知方法判定部360により通知方法の決定が行われる(S306)。通知方法判定部360が、補助UIの表示を通知方法として決定した場合(S306においてYES)、表示制御部330は、補助UIと所定の処理が行われていない表示オブジェクトを表示部180に表示させる(S308、S310)。
【0124】
一方、通知方法判定部360が、所定の処理を通知方法として決定した場合(S306においてNO)、表示制御部330は、所定の処理を表示制御部に施し、当該所定の処理が施された表示オブジェクトを表示部180に表示させる(S312)。
【0125】
なお、上記で説明した動作は一例であって、本実施形態にかかる表示制御部330の表示制御に係る動作は上記に限定されない。例えば、表示制御部330は、上記の一連の処理(ステップS304〜S312)を繰り返し行うことで、現状のユーザ位置等に応じた表示オブジェクトの表示を随時更新させてもよい。
【0126】
<3−4.第三の実施形態の変形例>
以上、本開示の第三の実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
【0127】
(変形例1)
上記実施形態では、見切れの発生を通知する補助UI(補助情報)は、表示制御部330により表示部180に表示されてユーザに通知される例を説明したが、本実施形態は係る例に限定されない。
【0128】
例えば、補助UIは表示部180に表示されるのではなく、振動、照明(LEDの発光等)、音声等により出力されてもよい。例えば、本実施形態に係る情報処理装置は、振動、照明、音声、のうち少なくともいずれか一つを出力する出力部を有してもよい。また、本実施形態に係る情報処理装置は、振動、照明、音声、のうち少なくともいずれか一つを含む方法で、見切れの発生を通知させる通知制御部をさらに有してもよい。
【0129】
係る構成によれば、表示部180の表示を変更することなく、ユーザに見切れの発生を通知することが可能である。
【0130】
(変形例2)
上記実施形態では、見切れ検出部340が、画角範囲に表示オブジェクトが収まっているか否かに基づいて見切れの発生検出を行う例を説明したが、本実施形態は係る例に限定されない。
【0131】
例えば、見切れ検出部は、表示オブジェクトが有する所定の領域のうち一部の領域が表示領域に含まれない場合に、見切れの発生を検出してもよく、表示制御部330は、係る場合に、通知制御部としての機能を発揮して見切れの発生をユーザに通知してもよい。
【0132】
図16は本変形例による見切れの発生検出を説明するための説明図である。
図16に示す表示オブジェクトC80の全体が表示されるためには、例えば、画角範囲が領域R80のように表示オブジェクトC80の全体を含む必要がある。しかし、本変形例に係る見切れ検出部は、画角範囲が予め設定された領域R82の全てを含む場合には、画角範囲が表示オブジェクトC80の全てを含まない場合であっても見切れの発生を検出しなくてもよい。また、本変形例に係る見切れ検出部は、領域R82が画角範囲に収まらない場合には、見切れの発生を検出してもよい。例えば、所定の領域R82は、表示オブジェクトC80の重要な領域を含むように設定されてもよい。係る構成によれば、表示オブジェクトのうち、重要な領域において見切れが発生した場合のみ、見切れの発生が検出される。
【0133】
<3−5.第三の実施形態の効果>
以上、本開示に係る第二の実施形態について説明した。本実施形態によれば、見切れの発生が検出された場合に、補助UIが表示される、または所定の処理が施されることで、見切れが発生しない場合にユーザの視覚を邪魔することなく、見切れ発生によるユーザへの違和感を軽減させることが可能である。また、ユーザは見切れの発生を認識することで、表示オブジェクト全体が表示されておらず、表示領域外にも情報が存在することを理解可能となるため、表示領域に表示された表示オブジェクトの一部のみで意味を誤解してしまうことが抑制される。さらに、ユーザは見切れにより表示オブジェクトが切れている場所と、見切れた理由(例えば現在のユーザの位置では表示サイズが大きすぎる等)を理解し易くなるため、自らの移動等により表示領域の外に存在する情報を見ようとすることが可能となる。
【0134】
<<4.ハードウェア構成例>>
以上、本開示の各実施形態を説明した。上述した表示制御処理(通知制御処理)、見切れの発生検出処理、通知方法判定処理等の情報処理は、ソフトウェアと、以下に説明する情報処理装置1のハードウェアとの協働により実現される。
【0135】
図17は、情報処理装置1のハードウェア構成の一例を示す説明図である。
図17に示したように、情報処理装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、入力装置14と、出力装置15と、ストレージ装置16と、撮像装置17と、通信装置18とを備える。
【0136】
CPU11は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置1内の動作全般を制御する。また、CPU11は、マイクロプロセッサであってもよい。ROM12は、CPU11が使用するプログラムや演算パラメータ等を記憶する。RAM13は、CPU11の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバス等から構成されるホストバスにより相互に接続されている。主に、CPU11、ROM12及びRAM13とソフトウェアとの協働により、画像認識部120、320、表示制御部130、330、見切れ検出部340、通知方法判定部360、及び第三の実施形態の変形例1における通知制御部等の機能が実現される。
【0137】
入力装置14は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU11に出力する入力制御回路等から構成されている。情報処理装置1のユーザは、該入力装置14を操作することにより、情報処理装置1に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0138】
出力装置15は、例えば、液晶ディスプレイ(LCD)装置、OLED装置及びランプ等の表示装置を含む。さらに、出力装置15は、スピーカー及びヘッドホン等の音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像等を表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。出力装置15は、
図3を参照して説明した表示部180や、第三の実施形態の変形例1における出力部に対応する。
【0139】
ストレージ装置16は、データ格納用の装置である。ストレージ装置16は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置16は、CPU11が実行するプログラムや各種データを格納する。ストレージ装置16は、
図3を参照して説明した記憶部170に対応する。
【0140】
撮像装置17は、光を集光する撮影レンズ及びズームレンズ等の撮像光学系、及びCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等の信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。撮像装置17は、
図3を参照して説明した撮像部110に対応する。
【0141】
通信装置18は、例えば、通信網に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置18は、無線LAN(Local Area Network)対応通信装置、LTE(Long Term Evolution)対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース(登録商標)通信装置を含んでもよい。
【0142】
<<5.むすび>>
以上説明したように、本開示の各実施形態によれば、見切れの発生によるユーザへの違和感を軽減することが可能である。
【0143】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0144】
例えば、上記実施形態では、表示オブジェクトが眼鏡型の表示デバイスに表示される例を説明したが、本技術はかかる例に限定されない。例えば、自動車のフロントガラス等に画像を表示させる透過型のヘッドアップディスプレイにおいて本技術が適用されてもよいし、透過型かつ設置型の表示デバイスにおいて本技術が適用されてもよい。
【0145】
また、上記実施形態では、表示制御(通知制御)を行う情報処理装置が表示部を有する例を説明したが、本技術はかかる例に限定されない。例えば、表示制御(通知制御)を行う情報処理装置と、表示部を有する表示デバイスは異なる装置であってもよい。
【0146】
また、上記実施形態では、表示制御(通知制御)を行う情報処理装置が撮像部や画像認識部、記憶部等を備える例を説明したが、本技術はかかる例に限定されない。例えば、表示制御(通知制御)を行う情報処理装置は、撮像画像や画像認識結果、表示オブジェクト等の情報を他の装置から直接、またはネットワーク等を介して受け取って表示制御(表示制御)を行ってもよい。
【0147】
また、上記第三の実施形態では、補助UIの出力、または所定の処理(周縁領域のアルファフェード処理等)、のいずれかによって見切れの発生の通知が行われる例を説明したが、本技術はかかる例に限定されない。例えば、補助UIの出力と所定の処理(周縁領域のアルファフェード処理等)の両方が組み合わされて、見切れの発生の通知が行われてもよい。
【0148】
また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【0149】
また、情報処理装置1に内蔵されるCPU、ROM及びRAM等のハードウェアに、上述した情報処理装置1の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ(例えば、複数のサーバ等)が互いに連携して実行してもよい。なお、単数のコンピュータ、または、複数のコンピュータが連携するものを、「コンピュータシステム」とも称する。
【0150】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0151】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
透過型の表示部の表示領域に、少なくとも一部の領域が表示される表示オブジェクトの全部が表示領域に含まれない見切れの発生検出に基づいて、前記見切れの発生をユーザに通知させる通知制御部を備える、情報処理装置。
(2)
前記通知制御部は、前記見切れの発生が検出された場合に、前記見切れの発生を前記ユーザに通知させる、前記(1)に記載の情報処理装置。
(3)
前記通知制御部は、前記表示オブジェクトと前記表示領域は位置関係に応じた通知制御を行う、前記(1)または(2)に記載の情報処理装置。
(4)
前記見切れの発生は、前記表示部による補助情報の表示により前記ユーザに通知される、前記(1)〜(3)のいずれか一項に記載の情報処理装置。
(5)
前記補助情報は、前記表示領域の周縁部に枠が表示されることで前記ユーザに通知される、前記(4)に記載の情報処理装置。
(6)
前記補助情報は、前記表示領域の周縁部のうち前記表示オブジェクトと重なる領域を含む辺に線分が表示されることで前記ユーザに通知される、前記(4)に記載の情報処理装置。
(7)
前記補助情報は、前記表示オブジェクトの全体を示す、前記(4)に記載の情報処理装置。
(8)
前記補助情報は、前記表示オブジェクトが前記表示領域に含まれる度合を示す情報である、前記(4)に記載の情報処理装置。
(9)
前記見切れの発生は、所定の処理を施した前記表示オブジェクトが前記表示領域に表示されることで前記ユーザに通知される、前記(1)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記所定の処理は、前記表示オブジェクトのうち、前記表示領域の周縁部と重なる周縁領域に対して施される、前記(9)に記載の情報処理装置。
(11)
前記所定の処理は、前記周縁領域におけるレンダリング方法、色、明度、透過度のうち少なくともいずれか一つを変更する処理である、前記(10)に記載の情報処理装置。
(12)
前記所定の処理は、前記表示オブジェクトをフェードアウトさせることを含む、前記(9)に記載の情報処理装置。
(13)
前記見切れの発生は、振動、照明、音声、のうち少なくともいずれか一つを含む方法でユーザに通知される、前記(1)〜(12)のいずれか一項に記載の情報処理装置。
(14)
前記通知制御部は、前記表示オブジェクトが有する所定の領域のうち一部の領域が前記表示領域に含まれない場合に、前記見切れの発生を前記ユーザに通知させる、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記情報処理装置は、ユーザの情報、表示オブジェクトの情報、環境の情報、のうち少なくともいずれか一つに基づいて、前記見切れの発生の通知方法を判定する、通知方法判定部をさらに備える、前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記ユーザの情報は、ユーザの行動を示す行動情報、ユーザの動きを示す動き情報、生体情報、注視情報、のうち少なくともいずれか一つを含む、前記(15)に記載の情報処理装置。
(17)
前記表示オブジェクトの情報は、表示位置、色、表示オブジェクトの属性のうち少なくともいずれか一つの情報を含む、前記(15)または(16)に記載の情報処理装置。
(18)
前記環境の情報は、背景、照度、場所、のうち少なくともいずれか一つの情報を含む、前記(15)〜(17)のいずれか一項に記載の情報処理装置。
(19)
透過型の表示部の表示領域に、少なくとも一部の領域が表示される表示オブジェクトの全部が表示領域に含まれない見切れの発生検出に基づいて、前記見切れの発生をプロセッサがユーザに通知させることを含む、情報処理方法。
(20)
コンピュータシステムに、
透過型の表示部の表示領域に、少なくとも一部の領域が表示される表示オブジェクトの全部が表示領域に含まれない見切れの発生検出に基づいて、前記見切れの発生をユーザに通知させる、通知制御機能を実現させるための、プログラム。