特表-19176577IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2019-176577情報処理装置、情報処理方法、および記録媒体
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年9月19日
【発行日】2021年4月15日
(54)【発明の名称】情報処理装置、情報処理方法、および記録媒体
(51)【国際特許分類】
   G06F 3/01 20060101AFI20210319BHJP
   G06F 3/0484 20130101ALI20210319BHJP
   G09G 5/00 20060101ALI20210319BHJP
   G09G 5/10 20060101ALI20210319BHJP
   G09G 5/36 20060101ALI20210319BHJP
   G09G 5/02 20060101ALI20210319BHJP
   G02B 27/02 20060101ALI20210319BHJP
【FI】
   G06F3/01 510
   G06F3/0484 150
   G09G5/00 550C
   G09G5/10 B
   G09G5/36 520A
   G09G5/02 B
   G09G5/36 520E
   G09G5/00 510A
   G02B27/02 Z
【審査請求】未請求
【予備審査請求】未請求
【全頁数】46
【出願番号】特願2020-505765(P2020-505765)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2019年3月1日
(31)【優先権主張番号】特願2018-46335(P2018-46335)
(32)【優先日】2018年3月14日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】湯浅 洋史
(72)【発明者】
【氏名】相木 一磨
【テーマコード(参考)】
2H199
5C182
5E555
【Fターム(参考)】
2H199CA04
2H199CA12
2H199CA23
2H199CA42
2H199CA47
2H199CA48
2H199CA54
2H199CA64
2H199CA65
2H199CA70
2H199CA75
2H199CA77
2H199CA91
2H199CA92
2H199CA94
5C182AA02
5C182AA03
5C182AA05
5C182AA06
5C182AA22
5C182AA31
5C182AB08
5C182AB15
5C182AB35
5C182AC02
5C182AC03
5C182AC46
5C182BA03
5C182BA14
5C182BA24
5C182BA25
5C182BA27
5C182BA28
5C182BA35
5C182BA45
5C182BA46
5C182BA47
5C182BA75
5C182BC01
5C182BC25
5C182BC26
5C182CA01
5C182CA11
5C182CA22
5C182CA32
5C182CA54
5C182CB12
5C182CB54
5C182DA65
5C182DA69
5E555AA22
5E555AA64
5E555AA71
5E555AA74
5E555BA04
5E555BA38
5E555BB04
5E555BB38
5E555BC04
5E555BD01
5E555BE02
5E555BE17
5E555CA42
5E555CA44
5E555CB23
5E555DA08
5E555DA09
5E555DC09
5E555DC10
5E555DC45
5E555EA22
5E555FA00
(57)【要約】
本技術は、周辺の明るさが急に変化した場合に、周辺の環境をユーザに迅速に視認させることができるようにする情報処理装置、情報処理方法、および記録媒体に関する。
本技術の一実施形態に係る情報処理装置は、実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得する取得部と、実空間の明るさに閾値より大きい変化が生じた場合、実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、オブジェクトの形状を表す形状情報の環境情報に基づく表示制御を行う表示制御部とを備えるものである。本技術は、前方の風景に重ねて情報を表示させるHMDに適用することができる。
【特許請求の範囲】
【請求項1】
実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得する取得部と、
前記実空間の明るさに閾値より大きい変化が生じた場合、前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、前記オブジェクトの形状を表す形状情報の前記環境情報に基づく表示制御を行う表示制御部と
を備える情報処理装置。
【請求項2】
前記表示制御部は、前記形状情報を表示させた後、輝度を変化させて前記形状情報を表示させる
請求項1に記載の情報処理装置。
【請求項3】
前記表示制御部は、前記形状情報の輝度の変化を、ユーザの属性に応じて、または、前記ユーザの位置と姿勢のうちの少なくともいずれかを含む前記ユーザの状態に応じて制御する
請求項2に記載の情報処理装置。
【請求項4】
前記表示制御部は、前記形状情報として、前記オブジェクトの輪郭線を表示させる
請求項1に記載の情報処理装置。
【請求項5】
前記取得部は、前記オブジェクトの位置、前記オブジェクトまでの距離、前記オブジェクトの高さ、および、前記オブジェクトの種類のうちの少なくともいずれかに関する情報を前記環境情報として取得する
請求項1に記載の情報処理装置。
【請求項6】
前記表示制御部は、前記環境情報に基づいて特定される前記オブジェクトの危険度に応じて、前記形状情報の表示を制御する
請求項5に記載の情報処理装置。
【請求項7】
前記表示制御部は、前記形状情報としての前記オブジェクトの輪郭線を、種類、太さ、色、および階調のうちの少なくともいずれかを前記危険度に応じて変えて表示させる
請求項6に記載の情報処理装置。
【請求項8】
前記表示制御部は、前記形状情報として、前記オブジェクトの特徴点を表す情報を表示させる
請求項1に記載の情報処理装置。
【請求項9】
前記実空間の光を所定の透過率でユーザの目に導く調光部をさらに備え、
前記表示制御部は、前記閾値より大きい明るさの変化が生じた場合、透過率を上げるように前記調光部を制御する
請求項1に記載の情報処理装置。
【請求項10】
前記情報処理装置は、前記ユーザの頭部に装着されるヘッドマウントディスプレイである
請求項9に記載の情報処理装置。
【請求項11】
前記実空間を撮像する撮像部と、
前記閾値より大きい明るさの変化が生じた場合、利得を上げるとともに露光時間を長くするように前記撮像部を制御する撮像制御部と
をさらに備える請求項1に記載の情報処理装置。
【請求項12】
前記表示制御部は、前記形状情報を表示させた後、色温度を徐々に上げて前記形状情報を表示させる
請求項1に記載の情報処理装置。
【請求項13】
前記表示制御部は、前記閾値より大きい明るさの変化が生じた場合、明るさの変化が生じる前に表示させていた情報に代えて、前記形状情報を表示させる
請求項1に記載の情報処理装置。
【請求項14】
前記表示制御部は、前記実空間の明るさが所定の明るさになった場合、前記形状情報の表示を終了させる
請求項1に記載の情報処理装置。
【請求項15】
情報処理装置が、
実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得し、
前記実空間の明るさに閾値より大きい変化が生じた場合、前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、前記オブジェクトの形状を表す形状情報の前記環境情報に基づく表示制御を行う
情報処理方法。
【請求項16】
コンピュータに、
実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得し、
前記実空間の明るさに閾値より大きい変化が生じた場合、前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、前記オブジェクトの形状を表す形状情報の前記環境情報に基づく表示制御を行う
処理を実行させるためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理装置、情報処理方法、および記録媒体に関し、特に、明るさが急に変化した場合に、周辺の環境をユーザに迅速に視認させることができるようにした情報処理装置、情報処理方法、および記録媒体に関する。
【背景技術】
【0002】
ユーザの目の前の風景に画像や文字などの情報を重ねて表示させるAR(Augmented Reality)が注目されている。ARを実現するためのデバイスとして、情報を表示させるための映像光を外光に重畳してユーザに視認させる、透過型のHMD(Head Mounted Display)がある。
【0003】
特許文献1には、外光の急激な低下を検知した場合に映像光の輝度を即座に下げることで、外界の視認性を妨げないようにする技術が開示されている。外界の視認性を妨げることなく、映像光による情報の表示が輝度を下げた状態で続けられる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2017−68000号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
外光が急激に低下した場合、ユーザの視覚には暗順応が生じ、暗い環境を視認出来るまでには一定の時間がかかる。ユーザは、暗い環境を視認出来るまでの間、外界の情報を認知することができなくなる。
【0006】
また、外光が急激に低下した場合、ユーザの安全性の観点からは、外光が低下するまでに表示していた情報と同じ情報を視認させ続ける必要がない。
【0007】
本技術はこのような状況に鑑みてなされたものであり、明るさが急に変化した場合に、周辺の環境をユーザに迅速に視認させることができるようにするものである。
【課題を解決するための手段】
【0008】
本技術の一側面の情報処理装置は、実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得する取得部と、前記実空間の明るさに閾値より大きい変化が生じた場合、前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、前記オブジェクトの形状を表す形状情報の前記環境情報に基づく表示制御を行う表示制御部とを備える。
【0009】
本技術の一側面においては、実空間に存在するオブジェクトを含む環境に関する情報である環境情報が取得され、実空間の明るさに閾値より大きい変化が生じた場合、実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、オブジェクトの形状を表す形状情報の環境情報に基づく表示制御が行われる。
【発明の効果】
【0010】
本技術によれば、明るさが急に変化した場合に、周辺の環境をユーザに迅速に視認させることができる。
【0011】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0012】
図1】本技術の一実施形態に係る情報処理システムの構成例を示す図である。
図2】右目側光学系の近傍の構成を示す図である。
図3】ユーザの見え方の例を示す図である。
図4】ユーザの見え方の他の例を示す図である。
図5】透過率と表示輝度の設定例を示す図である。
図6】危険時用情報の表示例を示す図である。
図7】危険時用情報の表示に用いられる透過率と表示輝度の設定例を示す図である。
図8】表示輝度の変化の例を示す図である。
図9】表示輝度の変化の他の例を示す図である。
図10】HMDを外したときの見え方の例を示す図である。
図11】色温度の調整の例を示す図である。
図12】HMDの構成例を示すブロック図である。
図13】HMDの表示処理について説明するフローチャートである。
図14図13のステップS6において行われる危険時用情報表示処理について説明するフローチャートである。
図15】危険時用情報の強調表示の例を示す図である。
図16】危険時用情報の強調表示の他の例を示す図である。
図17】表示輝度の設定例を示す図である。
図18】危険度の評価に用いられる評価値の例を示す図である。
図19】危険度に応じた表示例を示す図である。
図20】透過率と表示輝度の設定例を示す図である。
図21】透過率と表示輝度の設定例を示す他の図である。
図22】HMDの構成例を示すブロック図である。
図23図22の構成を有するHMDによる表示制御処理について説明するフローチャートである。
図24】HMDの他の構成例を示すブロック図である。
図25図24の構成を有するHMDによる表示制御処理について説明するフローチャートである。
図26】HMDのさらに他の構成例を示すブロック図である。
図27図26の構成を有するHMDによる表示制御処理について説明するフローチャートである。
図28】HMDのさらに他の構成例を示すブロック図である。
図29図28の構成を有するHMDによる表示制御処理について説明するフローチャートである。
図30】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【0013】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.第1の実施の形態(周辺の明るさが急激に変化した場合の例)
2.第2の実施の形態(周辺の明るさが緩やかに変化した場合の例)
【0014】
<<第1の実施の形態 周辺の明るさが急激に変化した場合の例>>
<情報処理システムについて>
図1は、本技術の一実施形態に係る情報処理システムの構成例を示す図である。
【0015】
図1の情報処理システムは、情報処理装置としてのHMD(Head Mounted Display)1と、コンテンツ配信サーバ2が、インターネットなどのネットワーク3を介して接続されることによって構成される。HMD1とコンテンツ配信サーバ2の間のデータの送受信が、スマートホンやタブレット端末などの、ユーザが有する携帯端末を介して行われるようにしてもよい。
【0016】
HMD1は、透過型の表示デバイスを備えた眼鏡型のウェアラブル端末である。HMD1を頭部に装着したユーザの右目の前には、外光とともに各種の情報の光(映像光)をユーザの右目に導く右目側光学系1Rが設けられ、左目の前には、外光とともに各種の情報の光をユーザの左目に導く左目側光学系1Lが設けられる。
【0017】
HMD1は、ネットワーク3を介してコンテンツ配信サーバ2と通信を行い、コンテンツ配信サーバ2から送信されてきたデータを受信する。HMD1は、コンテンツ配信サーバ2から送信されてきたデータに基づいて、画像や文字などの各種の情報を表示(描画)し、ユーザに提示する。
【0018】
ユーザは、自分の前方の風景に重ねて、各種の情報を見ることになる。このように、HMD1はAR(Augmented Reality)に用いられるウェアラブル端末である。
【0019】
HMD1における投影方式は、虚像投影方式であってもよいし、ユーザの目の網膜に直接結像させる網膜投影方式であってもよい。
【0020】
HMD1が表示する情報は、コンテンツ配信サーバ2から送信されてきたデータに基づいて表示される情報に限られるものではない。例えば、HMD1に搭載されたメモリに記憶された情報がHMD1において表示される。また、ユーザの携帯端末に記憶されているデータやPC(Personal Computer)に記憶されているデータがHMD1により取得され、各種の情報が表示される。
【0021】
図2は、右目側光学系1Rの近傍の構成を示す図である。主な構成について説明する。
【0022】
図2に示すように、右目側光学系1Rは、透明部材によって構成される導光板12の表面側に、ガラスなどの透明基板13が貼り付けられることによって構成される。右目側光学系1Rを固定するリムから延びるテンプル部(図示せず)には表示部11が設けられ、右目側光学系1Rの表面側の、左目側光学系1L寄りの位置には、調光素子14が設けられる。
【0023】
一点鎖線で囲んで示すように、表示部11は、表示デバイス21、偏光ビームスプリッタ22、光源23、およびレンズ24から構成される。
【0024】
表示デバイス21は、LCD(Liquid Crystal Display)などにより構成される反射型の表示デバイス、もしくは、有機EL(Electro Luminescence)ディスプレイなどの自発光表示デバイスにより構成される。表示デバイス21には、ユーザに提示する、画像、文字などの各種の情報が表示される。表示デバイス21は、例えばカラー表示に対応したデバイスである。
【0025】
偏光ビームスプリッタ22は、光源23からの光の一部を反射して表示デバイス21に導くとともに、表示デバイス21より出射された光の一部を通過させ、レンズ24を介して導光板12に導く。
【0026】
導光板12の内部には、偏向部12Aと、誘電体積層膜が多数積層された多層積層構造体である偏向部12Bが構成される。偏向部12Aは、アルミニウム膜などにより構成され、偏向部12Bを構成する誘電体積層膜は、例えば、高誘電率材料としてのTiO2膜、低誘電率材料としてのSiO2膜から構成される。
【0027】
偏光ビームスプリッタ22を介して導かれた表示デバイス21からの出射光は、偏向部12Aにおいて、導光板12の内部に向けて反射される。偏向部12Aにおいて反射された光は、導光板12の内部を全反射することによって伝播し、偏向部12Bにおいて反射された後、ユーザの右目ERに向かって出射される。これにより、表示デバイス21の表示内容を表す映像光がユーザの右目ERに導かれる。
【0028】
調光素子14は、エレクトロクロミック素子41を透明電極42、透明電極43で挟むことによって構成される。透明電極42、透明電極43に印可する電圧に応じて、エレクトロクロミック素子41の酸化反応、還元反応が生じ、透過率が制御される。
【0029】
透明電極42、透明電極43に印可する電圧は、例えば、HMD1に設けられた照度センサにより検出された、周辺の照度に応じて制御される。周辺の照度に応じて透過率が調整された調光素子14を透過して、外部からの光がユーザの右目ERに導かれる。
【0030】
左目側光学系1L側にも、図2に示すような構成と同じ構成が位置を対称にして設けられる。左目側光学系1Lに設けられた表示デバイスには、右目側光学系1Rの表示デバイス21の表示内容と同じ内容の情報が表示され、映像光がユーザの左目に届けられる。
【0031】
このような構成を有するヘッドマウントディスプレイの詳細については、例えば、特開2012−252091号公報、特開2013−5201号公報に開示されている。
【0032】
このように、HMD1における情報の表示は、表示部11の表示輝度と調光素子14の透過率をそれぞれ調整して行われる。表示輝度は、情報を表示するために表示部11において用いられる輝度である。
【0033】
表示部11の表示輝度を表示内容やユーザの視覚特性に応じて調整し、適宜、輝度を抑えることにより、表示デバイス21の寿命を延ばすことが可能になる。また、調光素子14の透過率を調整し、外光の変化を適宜和らげることにより、情報の視認性を確保することが可能になる。
【0034】
<情報の表示例>
図3は、ユーザの見え方の例を示す図である。
【0035】
図3に示す状態は、いずれの情報も表示されていない状態である。この場合、外光の大部分が目に直接届き、図3に示すように、目の前の実際の風景をユーザは視認することになる。
【0036】
図3の例においては、ユーザが家のベッドルームにいるものとされている。ユーザから見て右側には2つのベッドが並び、左奥には椅子やテーブルが置かれている。
【0037】
なお、ユーザが実際に見る風景は、破線の矩形で囲んで示すような広い範囲の風景である。図3の略中央に枠Fで囲んで示す風景は、ユーザの視野全体に含まれる風景のうち、HMD1によって情報を重畳して表示することが可能な範囲の風景である。
【0038】
すなわち、HMD1の表示可能範囲は、ユーザの視野全体のうちの一部の範囲となる。その一部の範囲を用いて、各種の情報の表示が行われる。以下、HMD1の表示可能範囲内のユーザの見え方について説明する。
【0039】
図4は、ユーザの見え方の他の例を示す図である。
【0040】
図4のAは、バイクの画像が仮想オブジェクトOとして表示された場合の見え方を示している。HMD1により表示されたオブジェクトについては、ユーザは、目の前に実在するオブジェクトに重畳して、仮想的なオブジェクトとして視認することになる。仮想オブジェクトOは、二次元の画像であってもよいし、立体視が可能な三次元の画像であってもよい。
【0041】
図4のAの例においては、透過率が50%であり、表示輝度が50%とされている。
【0042】
実際にあるベッドなどの周辺物(オブジェクト)を示す線がぼかした状態で示されていることは、ベッドルームにある周辺物が、透過率を抑えた調光素子14を介して見えていることを表す。また、仮想オブジェクトOを示す線が薄い色で示されていることは、表示輝度が抑えられていることを表す。
【0043】
図4のBは、透過率を10%、表示輝度を100%とした状態の見え方を示している。図4のAより周辺物がぼかした状態で示されていることは、図4のBにおける透過率が、図4のAにおける透過率より低いことを表す。
【0044】
このような透過率と表示輝度の調整は、ユーザがいる場所を含む周辺の明るさに応じて行われる。周辺の明るさは、例えば、HMD1に設けられた照度センサにより検出された照度に基づいて判断される。HMD1に設けられたカメラにより撮像された画像の輝度に基づいて周辺の明るさが判断されるようにしてもよい。
【0045】
図5は、透過率と表示輝度の設定例を示す図である。
【0046】
図5の横軸は周辺の明るさを表し、縦軸は表示内容の視認性を表す。
【0047】
例えば、周辺の明るさが照度n1である場合、透過率を50%、表示輝度を50%とする組み合わせが用いられる。周辺の明るさが照度n1である場合、図4のAに示すような状態で情報の表示が行われる。
【0048】
なお、透過率の最大値が50%となっている理由は、調光素子14そのものの最大透過率が、材料の制限により70%程度であり、また、導光板12の出射側の反射膜の透過率が75%程度であるためである。これらの制限から、HMD1の最大の透過率が例えば50%となる。
【0049】
以下においては、適宜、調光素子14の透過率を制御するものとして説明するが、調光素子14の透過率を制御することを通じて、HMD1の全体の透過率が制御されることになる。
【0050】
また、周辺の明るさが照度n2である場合、透過率を20%、表示輝度を40%とする組み合わせが用いられる。透過率を50%、表示輝度を50%とする組み合わせが用いられる状態から、透過率を20%、表示輝度を40%とする組み合わせが用いられる状態への遷移と、その逆の遷移は、それぞれ、周辺の明るさが閾値となる明るさになったときに生じる。各状態の遷移については後に詳述する。
【0051】
周辺の明るさが照度n3である場合、透過率を20%、表示輝度を60%とする組み合わせが用いられ、周辺の明るさが照度n4である場合、透過率を20%、表示輝度を80%とする組み合わせが用いられる。
【0052】
周辺の明るさが照度n5である場合、透過率を10%、表示輝度を60%とする組み合わせが用いられ、周辺の明るさが照度n6である場合、透過率を10%、表示輝度を80%とする組み合わせが用いられる。周辺の明るさが照度n7である場合、透過率を10%、表示輝度を100%とする組み合わせが用いられる。
【0053】
周辺の明るさが明るいほど、調光素子14の透過率は、より低くなるように段階的に調整される。
【0054】
このような、透過率と表示輝度の組み合わせに関する情報がHMD1には予め設定されている。HMD1は、周辺の明るさを例えば所定の間隔で検出し、検出した明るさに応じた組み合わせを用いて、透過率と表示部11の表示輝度を調整する。
【0055】
図5に示すような組み合わせを用いた透過率と表示輝度の調整は通常時にのみ行われる。急に暗くなるなどの危険時には、通常時とは異なる設定を用いて、透過率と表示輝度が調整される。
【0056】
例えば、周辺の明るさが、閾値として設定された変化量以上、低下した場合、危険時であると判断され、危険時用情報の表示が行われる。
【0057】
<危険時用情報の表示例>
図6は、危険時用情報の表示例を示す図である。
【0058】
図6の左端に示す状態は、通常時の状態である。図5の透過率と表示輝度の組み合わせを用いて、各種の情報の表示が行われる。なお、図6の左端の例においては、いずれの情報も表示されていない。
【0059】
ここで、白抜き矢印#1の先に示すように停電が発生するなどして、周辺の明るさが急に低下した場合、白抜き矢印#2の先に示すように、周辺物の輪郭を強調するための描画が行われる。HMD1の表示モードが、通常時用の表示モードから危険時用の表示モードに切り替わり、それまで表示されていた情報に代えて、周辺物の輪郭を表す情報が危険時用情報として表示される。
【0060】
図6の右端の例においては、ベッド、椅子、テーブル、壁面の窓などのそれぞれの周辺物の輪郭を表す線の画像が、暗い風景に重畳して表示されている。縁や尖った部分などを含む輪郭を表す線の画像は所定の色で表示される。
【0061】
すなわち、通常時、HMD1においては、周辺の明るさを検出するだけでなく、カメラにより撮像された画像を解析することによって周辺物を認識し、周辺物の輪郭を構成する特徴点の情報を取得することが繰り返し行われている。周辺物の特徴点の情報は、環境情報としてHMD1のメモリに繰り返し格納される。周辺物の特徴点には、階段の踏み板の角などの、ユーザからの距離が急激に変わる点の情報も含まれる。
【0062】
また、通常時、HMD1においては、周辺物の特徴点の情報、加速度センサにより検出された加速度、および、ジャイロセンサにより検出された角速度などに基づいて、ユーザの位置と姿勢を推定することが繰り返し行われている。
【0063】
なお、これらの処理は通常時に行われるため、危険時表示のために処理の負荷や電力の消費を特段増加させるものではない。
【0064】
周辺の明るさが急に低下した場合、直前に取得された周辺物の特徴点の情報と、位置と姿勢を含むユーザの状態を表す情報に基づいて、図6の右端に示すような、周辺物の輪郭を表す情報の表示が行われることになる。
【0065】
図7は、危険時用情報の表示に用いられる透過率と表示輝度の設定例を示す図である。
【0066】
図7の横軸は時刻を表す。図7のAは周辺照度の変化を表し、図7のBは透過率の変化を表す。図7のCは表示部11の表示輝度の変化を表す。
【0067】
図7のAに示すように、例えば、時刻t1において停電が発生し、周辺照度が閾値以上低下した場合、図7のBに示すように、最大透過率になるように調整される。また、時刻t1のタイミングで、周辺物の輪郭を表す情報の表示が開始される。
【0068】
透過率は、時刻t1から所定の時間経過後に最大透過率になる。最大透過率とする状態は所定の時間だけ継続される。
【0069】
また、図7のCに示すように、表示部11の表示輝度については、時刻t1の直後の時刻t2までは、時刻t1以前の表示輝度と同じ表示輝度が設定される。表示開始直後、周辺物の輪郭を表す情報は、その前に表示されていた情報と同じ表示輝度を用いて表示されることになる。
【0070】
時刻t2以降、表示輝度は、時間の経過に伴って徐々に下げるように調整される。
【0071】
図8は、表示輝度の変化の例を示す図である。
【0072】
図8の横軸は時刻を表し、縦軸は表示輝度を表す。
【0073】
上述したように、周辺物の輪郭を表す情報の表示開始直後の時刻t2以降、表示部11の表示輝度は徐々に低下する。図8の破線L11は表示輝度を表す。
【0074】
また、実線L1は、ユーザの暗順応特性を表す。暗順応は、周辺の環境が明るい環境から暗い環境に変化した場合に、時間の経過とともに視力が徐々に確保される、視覚の変化である。
【0075】
実線L1で示す暗順応特性は、ユーザが視認するのに必要な最低限の明るさの時間変化を表す。各時刻において、実線L1で示す輝度より高い表示輝度で表示される情報については、ユーザは視認することができ、実線L1で示す輝度より低い表示輝度で表示される情報については、ユーザは視認することができない。
【0076】
図8に示すように、周辺物の輪郭を表す情報の表示に用いられる表示輝度は、徐々に低下するものの、常時、暗順応が生じているユーザにとって視認可能な値として設定される。
【0077】
これにより、ユーザは、停電によって周辺が急激に暗くなり、暗順応が生じている間でも、周辺物の輪郭を表す情報を視認することが可能になる。
【0078】
例えば図9の破線で示すように、時刻t2のタイミングで表示輝度を急激に下げるとした場合、表示輝度が、暗順応特性により表される最低限の輝度を超えることになる時刻t3までは、周辺物の輪郭を表す情報をユーザは視認することができない。図8に示すようにして表示輝度を徐々に低下させることにより、暗い環境を視認出来るまで周辺物の輪郭を表す情報を視認することができないといったことを防ぐことが可能になる。
【0079】
暗順応特性は、例えば一般的な人の特性として設定される。後述するように、年齢、視力などのユーザの属性に応じて暗順応特性が設定され、設定された暗順応特性に応じて表示輝度が調整されるようにしてもよい。
【0080】
このように、周辺が急に暗くなった場合に周辺物の輪郭を表す情報が表示されることにより、ユーザは、家具の角などの、周辺にある危険なものを把握することができる。
【0081】
また、周辺物の輪郭を表す情報が表示輝度を徐々に下げながら表示されるため、周辺物の輪郭を表す情報の表示が、暗順応を妨げてしまうといったことを防ぐことが可能となる。例えば、ユーザは、ある程度時間が経過すれば、HMD1を外したとしても、周辺の環境をすぐに視認することが可能になる。
【0082】
図10は、HMD1を外したときの見え方の例を示す図である。
【0083】
図10の上段は、表示輝度を変化させない場合の見え方を示し、下段は、図8を参照して説明したようにして表示輝度を変化させた場合の見え方を示す。
【0084】
表示輝度を変えずに、周辺物の輪郭を表す情報の表示が行われた場合、一定の表示輝度の情報がユーザの目に届き続け、暗順応が生じにくくなる。従って、白抜き矢印#11の先に示すようにユーザがHMD1を外した場合、暗順応ができていないために、周辺の環境が見えづらいままになってしまうことが起こりうる。
【0085】
白抜き矢印#21の先に示すように、周辺物の輪郭を表す情報の表示輝度を暗順応特性に合わせて抑えることにより、そのような、暗順応ができていないために、周辺の環境が見えづらいままになってしまうといったことを防ぐことが可能になる。HMD1を外した場合、白抜き矢印#22の先に示すように、それまでの間に暗順応できているため、ユーザは周辺の環境を視認することが可能となる。
【0086】
周辺物の輪郭を表す情報の表示に用いられる表示輝度を、図8に示すように曲線状(非線形)に変化させるのではなく、直線状(線形)に変化させるようにしてもよい。また、連続的に変化させるのではなく、段階的に変化させるようにしてもよい。
【0087】
表示輝度が調整されるだけでなく、色温度が調整されるようにしてもよい。
【0088】
図11は、色温度の調整の例を示す図である。
【0089】
周辺物の輪郭を表す情報の表示開始直後の時刻t2以降、色温度は、徐々に上昇するように調整される。図11の破線L21は、表示部11が描画に用いる色温度を表す。実線L1はユーザの暗順応特性を表す。
【0090】
図11に示すように、表示開始直後は、色温度が低い色で周辺物の輪郭を表す情報を表示し、時間の経過に伴って徐々に色温度を上げていくことにより、ユーザの暗順応を妨げずに、視認性を確保することが可能となる。人間の目の特性上、暗くなった直後に青色成分が強い色、すなわち色温度が高い色のものを見た場合、それにより暗順応が妨げられてしまうが、そのようなことを防ぐことが可能になる。
【0091】
以上のようにして危険時用情報を表示させるHMD1の処理についてはフローチャートを参照して後述する。
【0092】
<HMDの構成>
図12は、HMD1の構成例を示すブロック図である。
【0093】
図12に示すように、HMD1は、制御部51、モーションセンサ52、カメラ53、照度センサ54、通信部55、メモリ56、および映像表示部57から構成される。モーションセンサ52は、加速度センサ71とジャイロセンサ72から構成される。モーションセンサ52、カメラ53、照度センサ54については、HMD1に設けられるのではなく、ユーザが持つ携帯端末などの外部の装置に設けられるようにしてもよい。
【0094】
制御部51は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などにより構成される。制御部51は、ROMやメモリ56に記憶されているプログラムを実行し、HMD1の全体の動作を制御する。所定のプログラムを実行することにより、制御部51においては、位置・姿勢推定部81、周辺環境認識部82、撮像制御部83、表示制御部84、およびカウンタ85が実現される。
【0095】
位置・姿勢推定部81は、カメラ53により撮像された画像、加速度センサ71により検出された加速度、および、ジャイロセンサ72により検出された角速度に基づいて、ユーザの状態を推定する。ユーザの状態の推定には、適宜、周辺環境認識部82により認識された周辺物の特徴点の情報も用いられる。
【0096】
例えば、位置・姿勢推定部81には、各位置の周辺物に関する情報が用意されている。位置・姿勢推定部81は、周辺環境認識部82により認識された周辺物や、カメラ53により撮像された画像に写る周辺物に基づいて、ユーザの位置を推定する。
【0097】
また、位置・姿勢推定部81には、ユーザの姿勢毎の、加速度、角速度に関する情報が用意されている。位置・姿勢推定部81は、加速度センサ71により検出された加速度とジャイロセンサ72により検出された角速度に基づいて、ユーザの姿勢を推定する。
【0098】
このように、位置・姿勢推定部81が推定するユーザの状態には、ユーザの位置とユーザの姿勢のうちの少なくともいずれかが含まれる。位置と姿勢の推定結果を表す情報は表示制御部84に供給される。
【0099】
周辺環境認識部82は、カメラ53により撮像された画像を解析することによって、周辺に実在する物(周辺物)の位置、形状、特徴点などを認識する。適宜、周辺物までの距離、周辺物が置かれている高さ、周辺物の種類なども認識される。周辺環境認識部82に対しては、これらの各内容の認識に用いるための情報が用意されている。周辺環境認識部82は、周辺の物理的な環境に関する情報である環境情報を取得する取得部として機能する。
【0100】
周辺環境認識部82は、周辺物の位置、形状、特徴点、距離、高さ、および種類のうちの少なくともいずれかに関する情報を含む環境情報を表示制御部84に出力する。周辺物の位置は、例えば、HMDの位置を基準とした周辺物の相対的な位置を表し、撮像画像に基づいて取得される。周辺物にビーコンなどの通信機器をあらかじめ設置しておき、通信機器からの信号に基づいてHMDにより位置が取得されるようにしてもよい。周辺環境認識部82から出力された環境情報に含まれる周辺物の特徴点の情報は、位置・姿勢推定部81にも供給され、適宜、ユーザの位置と姿勢の推定に用いられる。
【0101】
撮像制御部83は、カメラ53を制御し、ユーザの目の前の風景を繰り返し撮像する。
【0102】
また、撮像制御部83は、周辺が急に暗くなったことを照度センサ54から供給されたデータに基づいて検出した場合、利得を上げるとともに露光時間を長くするように、カメラ53の撮像素子を制御する。撮像素子の設定を変更することにより、周辺が急に暗くなった場合でも、周辺環境の認識などに用いられる適切な画像を撮像し続けることが可能になる。
【0103】
表示制御部84は、映像表示部57の表示部11と調光素子14を制御し、画像やテキストなどの各種の情報を表示させる。表示制御部84には、図5を参照して説明したような透過率と表示輝度の組み合わせを表す情報が用意されている。表示制御部84による表示は、例えば、外部の装置から送信され、通信部55において受信されたデータ、または、メモリ56から読み出されたデータに基づいて行われる。
【0104】
また、表示制御部84は、周辺が急に暗くなったことを照度センサ54から供給されたデータに基づいて検出した場合、表示モードを危険時用の表示モードとして、危険時用情報の表示を開始する。表示制御部84は、危険時用情報の表示を開始した後、カウンタ85から供給されるカウント値により表される時間の経過に伴って表示輝度を調整したり、色温度を調整したりして、危険時用情報の表示を制御する。
【0105】
カウンタ85は、時間経過を表すカウント値を表示制御部84に出力する。
【0106】
モーションセンサ52の加速度センサ71は、HMD1の加速度を検出し、検出した加速度の情報を位置・姿勢推定部81に出力する。
【0107】
ジャイロセンサ72は、HMD1の角速度を検出し、検出した角速度の情報を位置・姿勢推定部81に出力する。
【0108】
カメラ53は、例えばHMD1の正面の所定の位置に設けられ、ユーザの前方の風景を撮像する。カメラ53は、撮像することによって得られた画像を位置・姿勢推定部81と周辺環境認識部82に出力する。
【0109】
照度センサ54は、照度を検出し、周辺の明るさを表す照度の情報を撮像制御部83と表示制御部84に出力する。
【0110】
通信部55は、無線LAN、Bluetooth(登録商標)などの通信モジュールである。通信部55は、ユーザが持っている携帯端末やコンテンツ配信サーバ2などの外部の装置と通信を行う。通信部55による通信によって、ユーザに提示する情報が取得される。
【0111】
メモリ56は、フラッシュメモリなどの記憶媒体である。メモリ56には、制御部51のCPUが実行するプログラム、ユーザに提示する情報などの各種のデータが記憶される。
【0112】
映像表示部57は、表示部11、調光素子14により構成される。映像表示部57は、表示制御部84による制御に従って動作し、右目側光学系1Rと左目側光学系1Lの各部を介して、所定の情報の映像光を外光とともにユーザの両目に届ける。
【0113】
なお、HMD1には、ユーザにより操作されるボタン、音を出力するスピーカ、ユーザの音声を検出するマイクなども設けられる。
【0114】
<HMDの動作>
ここで、図13のフローチャートを参照して、以上のような構成を有するHMD1の表示処理について説明する。
【0115】
ステップS1において、表示制御処理が行われる。ステップS1において行われる表示制御処理は、周辺の明るさの変化が小さい通常時の処理である。表示制御処理の詳細については後述する。表示制御処理により、図4を参照して説明したような状態で所定の情報が表示される。
【0116】
ステップS2において、周辺環境認識部82は、カメラ53により撮像された画像を解析することによって、周辺物の位置、形状、特徴点などを認識する。認識結果を含む環境情報は表示制御部84に供給される。
【0117】
ステップS3において、位置・姿勢推定部81は、カメラ53により撮像された画像、加速度センサ71により検出された加速度、および、ジャイロセンサ72により検出された角速度に基づいて、ユーザの位置と姿勢を推定する。位置と姿勢の推定結果を表す情報は表示制御部84に供給される。
【0118】
ステップS4において、照度センサ54は周辺照度を検出する。周辺照度を表す情報は表示制御部84に供給される。
【0119】
周辺環境認識部82による周辺物の位置、形状、特徴点などの認識処理、位置・姿勢推定部81によるユーザの位置と姿勢の推定処理、および、照度センサ54による周辺照度の検出処理は繰り返し行われる。
【0120】
ステップS5において、表示制御部84は、周辺照度が一定以上下がったか否かを判定する。周辺照度が一定以上下がったとステップS5において判定された場合、処理はステップS6に進む。
【0121】
ステップS6において、危険時用情報表示処理が行われる。危険時用情報表示処理は、上述したように、それまで表示していた情報の表示を終了し、危険時用情報を表示する処理である。危険時用情報表示処理の詳細については図14のフローチャートを参照して後述する。
【0122】
危険時用情報表示処理が行われた後、または、ステップS5において、周辺照度が一定以上下がっていないと判定された場合、ステップS1に戻り、以上の処理が繰り返される。
【0123】
例えば、各種の情報の表示を終了することがユーザにより指示された場合、または、ユーザがHMD1を外したことが検出された場合、図13の処理は終了となる。
【0124】
次に、図14のフローチャートを参照して、図13のステップS6において行われる危険時用情報表示処理について説明する。
【0125】
ステップS11において、表示制御部84は、透過率が最大になるように調光素子14を制御する。
【0126】
ステップS12において、表示制御部84は、周辺環境認識部82により認識された周辺物の輪郭を表す情報を描画する。周辺物の輪郭を表す線の画像は、例えば、位置・姿勢推定部81により推定されたユーザの位置と姿勢に応じて、実在する周辺物の輪郭に重なる位置に表示される。
【0127】
ステップS13において、表示制御部84は、カウンタ85により計測されたカウント値に基づいて、一定時間が経過したか否かを判定する。
【0128】
一定時間が経過したとステップS13において判定した場合、ステップS14において、表示制御部84は、表示輝度を下げるとともに色温度を上げて、輪郭を表す情報の描画を続ける。
【0129】
ステップS14において表示輝度と色温度を調整した後、または、ステップS13において一定時間が経過していないと判定した場合、ステップS15において、表示制御部84は、周辺照度が一定以上であるか否かを判定する。
【0130】
周辺照度が一定以上ではないとステップS15において判定した場合、ステップS12に戻り、周辺物の輪郭を表す情報の表示が続けられる。
【0131】
停電が解消することによって周辺照度が一定以上になったとステップS15において判定された場合、図13のステップS6に戻り、それ以降の処理が行われる。
【0132】
以上の処理により、停電等が生じ、周辺が急に暗くなった場合であっても、周辺の環境をユーザに迅速に視認させることが可能になる。また、表示輝度や色温度を暗順応特性に応じて制御することにより、ユーザの暗順応を妨げずに、表示物の視認性を確保することが可能となる。
【0133】
以上においては、危険時用情報として、周辺物の輪郭を表す情報が表示されるものとしたが、周辺物の表面を表す情報、周辺物の特徴点を表す情報などの、周辺物の形状を表す各種の情報が表示されるようにしてもよい。周辺物の輪郭を表す線も、周辺物の形状を表す情報である。周辺物の形状を表す形状情報には、周辺物の輪郭を表す線、周辺物の表面を表す線や色、周辺物の特徴点を表すマークなどの、各種の色、形状、模様の情報が含まれる。
【0134】
<変形例>
・危険時用情報の表示例1
実空間にある周辺物の輪郭だけではなく、暗闇において視認できないものの、危険時に必要となる情報を予め認識しておき、照度が急に低下したときにそれらの情報が表示されるようにしてもよい。危険時に必要となる情報には、例えば、部屋の出口、階段、広域避難所等の避難経路、懐中電灯の置き場などの情報がある。
【0135】
危険時に必要となる情報を認識する方法としては、カメラ53により撮像された画像に基づいて物体認識を行う方法がある。また、地図情報をHMD1に予め与えておき、GPS(Global Positioning System)により測定された位置に応じて、危険時に必要となる情報を認識する方法がある。
【0136】
・危険時用情報の表示例2
輪郭だけでなく、周辺物全体の形状を表す情報が表示されるようにしてもよい。このとき、例えば輪郭については強調表示が行われる。強調表示には、例えば、階調を変えたり、表示色を変えたり、太さを変えたり、点滅させたり、線の種類を破線や波線にしたりするなどの、各種の方法が用いられる。
【0137】
ユーザの視感度情報が予め与えられている場合、輪郭の強調表示が、ユーザの視感度情報に応じて表示方法を変えて行われるようにしてもよい。例えば、ユーザが低波長領域の色の視認性が低い場合、高波長領域の色が輪郭の強調表示に用いられる。
【0138】
・危険時用情報の表示例3
図15は、危険時用情報の強調表示の例を示す図である。
【0139】
図15の左上に示す状態は、周辺物の輪郭をそのまま表示する状態である。図15の左上の例においては、周辺物の輪郭を表す線の画像が暗い風景に重畳して表示されている。
【0140】
白抜き矢印#51の先に示すように、周辺物の輪郭を表す線のうち、ベッド、椅子、テーブルなどの危険度の高い部分の輪郭を表す線が、破線によって強調表示されるようにしてもよい。
【0141】
白抜き矢印#52の先に示すように、壁や窓等の、危険度の低い部分の輪郭を表す線の画像が非表示とされるようにしてもよい。
【0142】
白抜き矢印#53の先に示すように、周辺物までの距離に応じて、輪郭を表す線が色分けして表示されるようにしてもよい。この場合、例えば、最も近い位置にあるベッドの輪郭を表す線が最も目立つ色で表示され、次に近い位置にある椅子とテーブルの輪郭を表す線が、次に目立つ他の色で表示される。
【0143】
・危険時用情報の表示例4
図16は、危険時用情報の強調表示の他の例を示す図である。
【0144】
図16の左上に示す状態は、周辺物の輪郭をそのまま表示する状態である。
【0145】
白抜き矢印#61の先に示すように、周辺物の輪郭を表す線が、危険度に応じて階調を変えて表示されるようにしてもよい。
【0146】
白抜き矢印#62の先に示すように、周辺物の輪郭を表す線が、危険度に応じて太さを変えて表示されるようにしてもよい。
【0147】
白抜き矢印#63の先に示すように、輪郭を表す線だけでなく、角や特徴点が強調表示されるようにしてもよい。角や特徴点の強調表示は、例えば、目立つ色、目立つ形状、点滅等を用いて行われる。特徴点は、周りの部分と比べて、輝度や形状が大きく変化する部分であり、例えば、撮像された画像を解析することによって特定される。
【0148】
このように、輪郭を表す線は、線の種類、色、階調、太さを含む各要素を適宜組み合わせて表示される。
【0149】
・危険時用情報の表示例5
暗い環境において周辺照度が一瞬だけ上がるような場合、表示輝度は、一度高くなってから、徐々に下がるように調整される。
【0150】
図17は、表示輝度の設定例を示す図である。
【0151】
図17のAは周辺照度の変化を表し、図17のBはユーザにとって視認しやすい輝度を表す。図17のCは表示輝度を表す。
【0152】
例えば暗い夜道を歩いている状態で、図17のAに示すように、近くを走行する自動車のヘッドライトが目に入るなどして時刻t11において一瞬だけ明るくなった場合、図17のBに示すように、目がくらむため、どの輝度も視認しにくくなる。その後、視認しやすい輝度が一時的に上がり、再度、暗順応するまでは周辺を視認しづらい状態になる。
【0153】
図17のCに示すように、時刻t11の直後において、周辺物の輪郭の表示輝度を一度高くし、徐々に下げるように制御することにより、再度の暗順応を妨げずに、周辺物の輪郭を表示し続けることが可能になる。
【0154】
このように、周辺の明るさが急に低下したとき以外のタイミングで危険時用情報が表示されるようにしてもよい。
【0155】
・危険時用情報の表示例6
周辺物の輪郭表示を行わない場合があってもよい。例えば、天井や、天井に設置されている照明などの、ユーザの背の高さより高い位置にある周辺物は、ユーザが動いたとしてもぶつかる可能性が少ない。このような高い位置にある周辺物については、輪郭を表す線が表示されないようにしてもよい。
【0156】
・危険時用情報の表示例7
外光の強度が低い場合、ユーザの移動速度も落ちると考えられる。遠くにある周辺物については輪郭を表す線を表示させず、近くにある周辺物についてのみ、輪郭を表す線を表示させることにより、移動時の危険を低減させることができる。
【0157】
また、大型家具や柱といった、位置が変わらない周辺物については輪郭を表す線を表示させず、地震があったときに移動する可能性がある、本棚やキャスタ付きの棚などの周辺物についてのみ、輪郭を表す線を表示させ、注意喚起するようにしてもよい。位置が変わる可能性があるか否かについても、周辺環境の認識時にカメラ53により撮像された画像に基づいて特定される。
【0158】
このように、オブジェクトとしての周辺物の種類に応じて、危険時用情報の表示が制御される。周辺物の種類には、大型/小型などの大きさの種類、高い/低いなどの高さの種類、重い/軽いなどの重さの種類、可動/固定などの設置の仕方に応じた種類、材質の種類などが含まれる。
【0159】
・危険時用情報の表示例8
実空間の風景に重畳して表示させることができる位置にない周辺物の情報が危険時用情報として表示されるようにしてもよい。例えば、表示部11の表示可能範囲(図3の枠Fの範囲)外であって、カメラ53の撮影可能範囲内にある周辺物の情報を元に、避難経路がある方向の情報や、火災時に火が出ている方向の情報が表示されるようにしてもよい。また、それらの情報が、スピーカを使って、音声によって通知されるようにしてもよい。
【0160】
・危険時用情報の表示例9
周辺環境をユーザが視認できる場合、広域避難場所への経路やユーザの視野外の情報といった、直接視認できない情報のみを表示させ、周辺物の輪郭を表示させないようにしてもよい。暗順応の速度の情報や、年齢、視力といったユーザの属性に関する情報を予め入力しておき、それらの情報を用いて、周辺環境をユーザが視認できるか否かの判断が行われるようにしてもよい。
【0161】
・環境の認識の例
カメラ53の撮像素子でも検出できないほど外光が低下した場合、カメラ53を用いた周辺物の情報の取得が停止されるようにしてもよい。この場合、周辺物の情報の更新は、最後に取得された周辺物の情報を、加速度センサ71とジャイロセンサ72によるユーザの運動状態の推定結果を用いて更新するようにして行われる。
【0162】
また、撮像素子のゲインを上げたカメラ53によって撮像された画像に基づいて取得された情報と、取得済みの周辺物の情報とを組み合わせて情報の提示が行われるようにしてもよい。
【0163】
例えば、カメラ53によって撮像された画像からは認識できない、物陰に隠れた家具などの物に関する情報が表示されるようにしてもよい。ユーザからは見えない場所にある周辺物の情報を取得済みの情報に基づいて表示することにより、ユーザが動いている場合であっても、奥にある周辺物にぶつかることを回避させることができる。
【0164】
・危険時用情報の表示例10
ユーザが直接視認することができない周辺物に関する情報が危険時用情報として表示されるようにしてもよい。例えば、近くにある物の後ろに隠れた物の情報を表示させることで、近くにある物を踏み越えたり避けたりしたときに、その物の先にある物にぶつかることを回避させることができる。
【0165】
・危険時用情報の表示例11
暗い環境下におけるユーザの危険性の度合いを表す危険度を算出し、算出した危険度に応じて、危険時用情報の表示が制御されるようにしてもよい。危険度は、例えば、位置、姿勢などのユーザの状態、環境情報により表される周辺の環境に基づいて求められる。
【0166】
また、階段のような上下方向の移動が発生する箇所や、ユーザと周辺物との距離による危険度合いに応じて、表示色や階調を変えて危険時用情報が表示されるようにしてもよい。これにより、動いているユーザに、つまずき防止を促したり、近くにある物への注意を促したりすることが可能となる。
【0167】
図18は、危険度の評価に用いられる評価値の例を示す図である。
【0168】
図18に示す表は、「ユーザの姿勢」、「ユーザの移動速度」、「周辺物の凹凸」、および「ユーザの位置(周辺物との距離)」のそれぞれの状況に応じた評価値を示す表である。評価値は「0」、「1」、「2」の3段階で表され、数値が高いほど危険度が高い。
【0169】
「ユーザの姿勢」の評価値として示されるように、ユーザが座っている場合、評価値として「0」が設定され、立ち止まっている場合、評価値として「1」が設定される。また、ユーザが動いている場合、評価値として「2」が設定される。
【0170】
「ユーザの移動速度」の評価値として示されるように、ユーザが1km/h未満の速度で移動している場合、評価値として「0」が設定され、1km/h以上、3km/h以下の速度で移動している場合、評価値として「1」が設定される。また、ユーザが3km/hを超える速度で移動している場合、評価値として「2」が設定される。
【0171】
「周辺物の凹凸」の評価値として示されるように、周辺物の凹凸が10cm未満である場合、評価値として「0」が設定され、10cm以上である場合、評価値として「1」が設定される。
【0172】
「ユーザの位置」の評価値として示されるように、周辺物までの距離が2mを超えている場合、評価値が「0」として設定され、1m以上、2m以下である場合、評価値として「1」が設定される。周辺物までの距離が1m未満である場合、評価値として「2」が設定される。
【0173】
このように、危険度の評価に用いられる評価値がそれぞれの状況に応じて設定される。
【0174】
各周辺物の危険度は、例えば評価値の合計として求められる。例えば、ユーザが1km/h以上、3km/h以下の速度で動いており、10cm以上の凹凸が表面にある周辺物が、1m以上、2m以下の距離にある場合、その周辺物の危険度は「5」として求められる。
【0175】
図19は、危険度に応じた表示例を示す図である。
【0176】
図19の例においては、周辺物の輪郭を表す情報の表示方法の項目として、線の種類、線の点滅のあり/なし、階調、色、太さ、特徴点表示のあり/なし、特徴点の点滅のあり/なしが示されている。
【0177】
例えば、危険度が「0」である場合、線の種類が実線として設定され、線の点滅のあり/なしが、なしとして設定される。また、階調が最大値の半分として設定され、色が緑として設定される。太さが1pix(1画素)として設定され、特徴点表示のあり/なしが、なしとして設定される。特徴点の点滅のあり/なしが、なしとして設定される。
【0178】
危険度が「1〜2」の場合、または「3以上」である場合も、同様にして各項目の内容が設定され、周辺物の輪郭を表す情報の表示が行われる。
【0179】
このように、危険度が高いほど、より強調した形で、輪郭を表す情報が表示される。
【0180】
・危険時用情報の出力例
照度の急な低下を検出すること以外にも、サイレンの音をマイクにより検出したり、火災の発生を温度センサにより検出したりすることをトリガとして、危険時用情報の表示が行われるようにしてもよい。外部の装置から送信されてきた情報に基づいて災害の発生が検出され、そのことをトリガとして危険時用情報が表示されるようにしてもよい。
【0181】
・表示タイミングの例
外光強度がある一定値以上になった場合、ユーザが周辺環境を視認できる状況に戻ったとして、危険時用情報の表示が終了されるようにしてもよい。
【0182】
また、HMD1に搭載された装着検出用の近接センサによってユーザがHMD1を外したことが検出されたタイミングで、危険時用情報の表示が停止されるようにしてもよい。
【0183】
ユーザにより指示されたタイミングや、ユーザが広域避難所に到着したことがGPSにより測定された位置情報に基づいて検出されたタイミングで、危険時用情報の表示が停止されるようにしてもよい。
【0184】
・表示輝度の調整の例
暗順応の速度は、年齢によって変化することが知られている。具体的には、成人の場合、年齢を重ねる毎に暗順応の速度が低下する傾向にあることが知られている。
【0185】
ユーザの年齢の情報を予め設定しておくことができるようにしてもよい。この場合、表示輝度の低下速度は、ユーザの年齢に応じた暗順応特性に従って調整される。年齢だけでなく、視力、性別などの各種のユーザの属性に応じて暗順応特性が設定され、設定された暗順応特性に応じて表示輝度が調整されるようにしてもよい。
【0186】
ユーザが静止している場合と動いている場合とで特性が切り替えられるといったように、ユーザの状態に応じた特性に従って表示輝度が調整されるようにしてもよい。
【0187】
・環境の認識の例
カメラ53により撮像された画像に基づいて周辺環境が認識されるものとしたが、他のセンサを用いて、周辺環境が認識されるようにしてもよい。
【0188】
例えば、赤外線を利用したToF(Time of Flight)センサを用いて周辺環境が認識されるようにしてもよい。ToFセンサを用いることにより、可視光を検出可能な撮像素子を搭載したカメラ53では認識できないほど暗い環境においても、周辺環境を認識することが可能となる。
【0189】
・環境情報の取得
周辺の環境を表す環境情報がカメラにより撮像された画像に基づいて取得されるものとしたが、ネットワークを介して接続されるサーバから取得されるようにしてもよい。例えば、周辺物として存在するソファの型番情報が取得されている場合、型番情報に基づいて、ソファの形状の情報がサーバから取得されるようにしてもよい。ソファの型番情報は、例えばソファに内蔵された装置と通信を行うことによって取得されるようにしてもよいし、HMD1の位置情報に基づいて特定されるようにしてもよい。
【0190】
<<第2の実施の形態 周辺の明るさが緩やかに変化した場合の例>>
危険時用情報の表示が行われる危険時以外の通常時においては、図5を参照して説明した透過率と表示輝度の組み合わせを用いて、各種の情報の表示が行われる。
【0191】
<透過率と表示輝度の設定例>
図20は、透過率と表示輝度の設定例を示す図である。
【0192】
図20に示す透過率と表示輝度の組み合わせは、図5を参照して説明した組み合わせと同様である。図5の説明と重複する説明については適宜省略する。図20の横軸は周辺の明るさを表し、縦軸は表示内容の視認性を表す。周辺の明るさは、輝度または照度により表される。
【0193】
上述したように、透過率は、10%、20%、50%の3段階で設定される。一方、透過率と組み合わせて用いる表示輝度は、40%、50%、60%、80%、100%の5段階で設定される。透過率は、表示輝度の段階数より少ない段階数で調整されることになる。
【0194】
これらの透過率と表示輝度を用いて7種類の組み合わせが設定される。
【0195】
図20の左から順に示すように、状態s1は、透過率を50%、表示輝度を50%とする組み合わせが用いられる状態である。
【0196】
状態s2乃至s4は、透過率を20%として、それぞれ、表示輝度を40%、60%、80%とする組み合わせが用いられる状態である。状態s1のときより低い透過率が設定されるため、状態s2乃至s4においては、ユーザの目に届く外光がより抑えられることになる。
【0197】
状態s5乃至s7は、透過率を10%として、それぞれ、表示輝度を60%、80%、100%とする組み合わせが用いられる状態である。状態s2乃至s4のときより低い透過率が設定されるため、状態s5乃至s7においては、ユーザの目に届く外光がより抑えられることになる。
【0198】
表示輝度の調整は、表示部11(表示デバイス21)の表示期間を表すパルスのDuty比を調整することによって行われる。図12の表示制御部84は、所定のDuty比のパルスからなる制御信号を出力することによって表示部11の表示輝度を調整する。制御信号を構成するパルスのDuty比は、表示部11の表示輝度に対応する。
【0199】
例えば、Duty比が50%のパルスからなる制御信号が表示制御部84から出力された場合、表示部11の表示輝度として50%が設定される。また、Duty比が100%のパルスからなる制御信号が表示制御部84から出力された場合、表示部11の表示輝度として100%が設定される。
【0200】
透過率が1段階低くなると、Duty比もそれまでのDuty比よりも低く、すなわち、表示輝度が暗く設定される。これは、透過率が1段階下がると、調光素子14によって制限されていた外光がさらに制限され、ユーザの目に入射する光量が少なくなることにより、画像の表示輝度を下げた方が好ましいためである。このような制御を行うことにより、表示デバイス21の劣化を抑えることができる。
【0201】
図20の矢印#101として示すように、状態s1から状態s2への遷移は、周辺の明るさが明るさn12より暗い状態において、明るさn12に変化したときに生じる。一方、矢印#111として示す、状態s2から状態s1への遷移は、周辺の明るさが明るさn11より明るい状態において、明るさn11に変化したときに生じる。
【0202】
状態s1から状態s2への遷移が生じる明るさn12は、状態s2から状態s1への遷移が生じる明るさn11より明るい値として設定される。
【0203】
また、矢印#102として示すように、状態s2から状態s3への遷移は、周辺の明るさが明るさn14より暗い状態において、明るさn14に変化したときに生じる。一方、矢印#112として示す、状態s3から状態s2への遷移は、周辺の明るさが明るさn13より明るい状態において、明るさn13に変化したときに生じる。
【0204】
状態s2から状態s3への遷移が生じる明るさn14は、状態s3から状態s2への遷移が生じる明るさn13より明るい値として設定される。
【0205】
他の状態間の遷移についても同様である。例えば、矢印#106として示すように、状態s6から状態s7への遷移は、周辺の明るさが明るさn22より暗い状態において、明るさn22に変化したときに生じる。一方、矢印#116として示す、状態s7から状態s6への遷移は、周辺の明るさが明るさn21より明るい状態において、明るさn21に変化したときに生じる。
【0206】
状態s6から状態s7への遷移が生じる明るさn22は、状態s7から状態s6への遷移が生じる明るさn21より明るい値として設定される。
【0207】
このように、透過率の調整には、図20の双方向の矢印で示すようにヒステリシス特性が設定される。
【0208】
ヒステリシス特性を持たせた形で透過率が調整されることにより、少しの照度変化によって透過率が頻繁に変わり、ユーザが不快に感じてしまうことを防ぐことが可能となる。
【0209】
すなわち、明るい状態から暗い状態に変化するときの、透過率を上昇させる閾値と、暗い状態から明るい状態に変化するときの、透過率を低下させる閾値とに差をつけることにより、透過率が頻繁に変化することを防ぐことができる。
【0210】
透過率の調整だけでなく、表示輝度の調整にもヒステリシス特性が設定される。これにより、表示輝度の調整を、外光の変化に合わせて、より自然な形で行うことが可能となる。
【0211】
図21は、透過率と表示輝度の設定例を示す他の図である。
【0212】
図21の上段は、横軸を周辺の明るさ、縦軸を透過率としたときの透過率の変化を表す。なお、上述したように、ここでいう透過率は、調光素子14の透過率を調整することによって実現される、HMD1全体の透過率である。また、図21の下段は、横軸を周辺の明るさ、縦軸を表示部11の表示輝度としたときの表示輝度の変化を表す。
【0213】
透過率は、図20を参照して説明したように、周辺が暗い状態から明るい状態に変化する場合、明るさn12のときに50%から20%に変化し、明るさn18のときに20%から10%に変化する。また、透過率は、周辺が明るい状態から暗い状態に変化する場合、明るさn17のときに10%から20%に変化し、明るさn11のときに20%から50%に変化する。
【0214】
表示輝度は、図20を参照して説明したように、周辺が暗い状態から明るい状態に変化する場合、明るさn12のときに50%から40%に変化し、明るさn14のときに40%から60%に変化する。また、表示輝度は、明るさn16のときに60%から80%に変化し、明るさn18のときに80%から60%に変化する。表示輝度は、明るさn20のときに60%から80%に変化し、明るさn22のときに80%から100%に変化する。
【0215】
また、表示輝度は、周辺が明るい状態から暗い状態に変化する場合、明るさn21のときに100%から80%に変化し、明るさn19のときに80%から60%に変化する。また、表示輝度は、明るさn17のときに60%から80%に変化し、明るさn15のときに80%から60%に変化する。表示輝度は、明るさn13のときに60%から40%に変化し、明るさn11のときに40%から50%に変化する。
【0216】
通常時、HMD1においては、このような透過率と表示輝度の組み合わせを用いて、各種の情報の表示が行われる。周辺の明るさに応じた透過率と表示輝度の制御は、例えば、ユーザが動いている速度などの、ユーザの状態に応じた間隔で行われる。
【0217】
ここで、HMD1などのウェアラブル端末を屋外で使用する場合、外光が非常に強いことによって、表示が見えづらくなることがある。このような状況に対して、例えば、特開2012−252091号公報や特開2013−5201号公報には、透過率を照度センサの出力値に基づいて制御する技術が開示されている。
【0218】
調光素子として例えばエレクトロクロミック素子を用いることが考えられる。エレクトロクロミック素子は、材料の酸化反応・還元反応を利用することにより、透過率を変化させるものである。
【0219】
イオンの拡散などの化学反応を利用した調光素子は、液晶シャッターなどの素子と比較すると、透過率の変化の応答速度が数秒程度といったように遅い。応答速度が遅いことにより、明るい場所から暗い場所に移動した場合、透過率の上昇が遅れ、数秒間、ユーザの視界が暗いままになるといった状況が起こりうる。
【0220】
応答速度が遅いことの対策として、明るさの検出周期を短くするといった対策が考えられる。しかし、明るさの検出周期を短くした場合、明るさの短時間の変化にも連動して透過率が変化してしまうことになる。透過率が頻繁に変化することになって、ユーザが不快に感じてしまうことがある。
【0221】
すなわち、明るさの変化が起こるときには調光素子を素早く応答させた方が好ましいが、透過率の変化が頻繁に起こりすぎるとユーザが不快に感じることがある。
【0222】
HMD1においては、ユーザに不快感を与えるのを防ぐために、透過率と表示輝度の制御をユーザの状態に応じた間隔で行うなどの各種の処理が行われる。
【0223】
<構成例1>
図22は、HMD1の構成例を示すブロック図である。
【0224】
図22に示す構成のうち、図12を参照して説明した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【0225】
なお、図22には、HMD1の一部の構成のみが示されている。図22のHMD1には、図12を参照して説明した他の構成も含まれる。図24図26図28に示す構成についても同様である。
【0226】
図22の制御部51は、位置・姿勢推定部81と表示制御部84から構成される。表示制御部84は、透過率制御部101と表示輝度制御部102から構成される。
【0227】
位置・姿勢推定部81は、モーションセンサ52から供給されたセンサデータを解析し、ユーザの状態を推定する。位置・姿勢推定部81が推定するユーザの状態には、ユーザの動きの種類と、ユーザの動きの速さのうちの少なくともいずれかが含まれる。位置・姿勢推定部81に対しては、モーションセンサ52を構成する加速度センサ71により検出された加速度、ジャイロセンサ72により検出された角速度の情報がセンサデータとして供給される。
【0228】
例えば、明るさの変化を伴わない、首振りなどの動きが生じている状況、体が動かずにHMD1が動いている状況などの動きの種類の分類は、加速度の変化に基づいて行われる。また、加速度の積分値によって、ユーザの動きの速さが検出される。地磁気センサがモーションセンサ52に設けられ、方角に関する情報に基づいてユーザの動きの速さなどが検出されるようにしてもよい。
【0229】
位置・姿勢推定部81は、ユーザの動きの種類とユーザの動きの速さを表す情報を透過率制御部101と表示輝度制御部102に出力する。
【0230】
透過率制御部101は、位置・姿勢推定部81から供給された情報によりユーザの状態を特定し、照度センサ54により検出された周辺照度の読み出し間隔を調整する。照度センサ54による周辺照度の検出は、所定の周期で繰り返し行われる。
【0231】
透過率制御部101は、調整した読み出し間隔に従って周辺照度を読み出し、周辺照度を読み出す毎に、調光素子14の透過率を、図20等を参照して説明したようにして制御する。周辺照度の読み出し間隔を制御することにより、調光素子14の透過率の制御を行う間隔も制御されることになる。
【0232】
例えば、透過率制御部101は、ユーザが静止している場合、周辺照度の読み出しを、1秒以上といったような長い間隔で行う。ユーザが静止している場合、周辺の環境が急変するような状況はあまりなく、透過率制御部101は、透過率を制御する間隔をそれほど短くする必要がない。
【0233】
1秒以上といったような長い間隔で透過率を制御することにより、前方を一瞬遮られたような場合でも、調光素子14の透過率の制御が行われないため、ユーザに不快感を与えてしまうのを防ぐことができる。
【0234】
また、透過率制御部101は、ユーザが歩いている場合、周辺照度の読み出しを、0.1秒といったような短い間隔で行う。ユーザが歩いている場合、明るい屋外から暗い屋内に移動するなどの、明るさが異なる場所に移動することが想定されるため、透過率制御部101は、周辺照度の読み出し間隔を短く設定する。
【0235】
0.1秒以上といったような短い間隔で透過率を制御することにより、調光素子14の応答速度が遅い場合であっても、遅延感の無い動作を行わせることが可能となる。
【0236】
表示輝度制御部102は、透過率制御部101と同様にして、周辺照度の読み出し間隔と、表示輝度の制御の間隔を制御する。
【0237】
すなわち、表示輝度制御部102は、位置・姿勢推定部81から供給された情報によりユーザの状態を特定し、周辺照度の読み出し間隔を調整する。表示輝度制御部102は、調整した読み出し間隔に従って周辺照度を読み出し、周辺照度を読み出す毎に、表示部11の表示輝度を、図20等を参照して説明したようにして制御する。
【0238】
例えば、表示輝度制御部102は、ユーザが静止している場合、周辺照度の読み出しを、1秒以上といったような長い間隔で行う。また、表示輝度制御部102は、ユーザが歩いている場合、周辺照度の読み出しを、0.1秒といったような短い間隔で行う。
【0239】
ここで、図23のフローチャートを参照して、図22の構成を有するHMD1による表示制御処理について説明する。
【0240】
ステップS101において、モーションセンサ52の加速度センサ71は、HMD1の加速度を検出し、ジャイロセンサ72は、HMD1の角速度を検出する。加速度の情報および角速度の情報はモーションデータとして位置・姿勢推定部81に供給される。
【0241】
ステップS102において、位置・姿勢推定部81は、モーションセンサ52から供給されたモーションデータを解析し、ユーザの動きの種類を推定するとともに、ユーザの動きの速度を算出する。ユーザの動きの種類とユーザの動きの速度を表す情報は透過率制御部101と表示輝度制御部102に供給される。
【0242】
ステップS103において、表示制御部84(透過率制御部101と表示輝度制御部102)は、位置・姿勢推定部81から供給された情報によりユーザの状態を特定し、照度センサ54により検出された周辺照度の読み出し間隔を決定する。
【0243】
ステップS104において、表示制御部84は、決定した読み出し間隔に従って周辺照度を読み出す。
【0244】
ステップS105において、表示制御部84は、周辺照度が低下して閾値以下になったか否かを判定する。
【0245】
周辺照度が閾値以下になったとステップS105において判定した場合、ステップS106において、表示制御部84は、透過率と表示輝度を制御する。すなわち、図20図21を参照して説明した、周辺照度が閾値より低下したときの組み合わせを用いて、透過率制御部101により調光素子14の透過率が調整され、表示輝度制御部102により表示部11の表示輝度が調整される。
【0246】
一方、周辺照度が閾値以下になっていないとステップS105において判定した場合、ステップS107において、表示制御部84は、周辺照度が上昇して閾値以上になったか否かを判定する。
【0247】
周辺照度が閾値以上になったとステップS107において判定した場合、ステップS108において、表示制御部84は、透過率と表示輝度を制御する。すなわち、図20図21を参照して説明した、周辺照度が閾値より上昇したときの組み合わせを用いて、透過率制御部101により調光素子14の透過率が調整され、表示輝度制御部102により表示部11の表示輝度が調整される。
【0248】
周辺照度が閾値以上になっていないとステップS107において判定された場合、または、ステップS106,S108の処理が行われた後、ステップS101に戻り、以上の処理が繰り返される。
【0249】
以上のように、周辺照度の読み出し間隔をユーザの動きの速さに基づいて決定することにより、ユーザが歩行している場合であっても、明るさの変化に対して遅延なく、透過率と表示輝度の調整を行うことが可能となる。
【0250】
透過率と表示輝度の調整を遅延なく行うことにより、歩行時のユーザの安全性を確保することができる。
【0251】
また、静止時には、透過率と表示輝度が頻繁に変わることがなくなるため、短時間の明るさの変化に対して反応することがなくなり、透過率と表示輝度の不快な変化の発生を抑えることができる。また、透過率と表示輝度の制御を行う間隔を長くすることによって、演算リソースの削減が可能となり、消費電力の削減や、画像のレンダリングなどにリソースを分配することが可能となる。
【0252】
このような表示制御処理が、図13のステップS1において行われる。図25図27、および図29を参照して説明する表示制御処理も同様に、図13のステップS1において行われる処理となる。
【0253】
照度センサ54により検出された周辺照度の読み出し間隔が調整されるのではなく、照度センサ54による周辺照度の検出間隔が調整されるようにしてもよい。
【0254】
<構成例2>
図24は、HMD1の他の構成例を示すブロック図である。
【0255】
図24に示すHMD1の制御部51の構成は、位置・姿勢推定部81に代えて画像解析部111が設けられている点で、図22に示す構成と異なる。画像解析部111に対しては、カメラ53により撮像された画像が供給される。カメラ53による撮像は、所定の周期で繰り返し行われる。
【0256】
図24のHMD1においては、カメラ53により撮像された画像を解析することによって所定の時間経過後の明るさが予測され、予測された明るさの変化に応じて、透過率と表示輝度が制御される。
【0257】
画像解析部111は、現在の画像の中心輝度と、直前に撮像された画像の中心輝度とを比較することによって明るさの変化を検出する。中心輝度は、画像の中心を含む所定の範囲の輝度である。明るさの変化が、画像全体の輝度を用いて検出されるようにしてもよい。
【0258】
ユーザの正面方向とカメラ53の撮影方向が一致するため、移動しようとしているユーザは、移動方向、すなわち画像の中心部を向いていると考えられる。画像中心部の輝度は、所定時間後の画像全体の輝度を表しているといえる。
【0259】
画像解析部111は、画像中心部の方向をユーザの移動方向とし、画像中心部の輝度である中心輝度を、所定時間経過後の明るさを表す輝度として算出する。画像解析部111は、中心輝度の情報を透過率制御部101と表示輝度制御部102に出力する。
【0260】
透過率制御部101は、画像解析部111から供給された情報により表される中心輝度に基づいて、調光素子14の透過率を、図20等を参照して説明したようにして制御する。中心輝度に応じて処理が行われることにより、透過率がいわば先取り的に制御されることになる。
【0261】
表示輝度制御部102は、画像解析部111から供給された情報により表される中心輝度に基づいて、表示部11の表示輝度を、図20等を参照して説明したようにして制御する。中心輝度に応じて処理が行われることにより、表示部11の表示輝度が先取り的に制御されることになる。
【0262】
ここで、図25のフローチャートを参照して、図24の構成を有するHMD1による表示制御処理について説明する。
【0263】
ステップS111において、カメラ53は、周辺環境の撮像を行う。
【0264】
ステップS112において、画像解析部111は、カメラ53により撮像された画像の中心輝度を算出する。
【0265】
ステップS113において、表示制御部84は、中心輝度が低下して閾値以下になったか否かを判定する。
【0266】
中心輝度が閾値以下になったとステップS113において判定した場合、ステップS114において、表示制御部84は、透過率と表示輝度を制御する。図20図21を参照して説明した、輝度が閾値より低下したときの組み合わせを用いて、透過率制御部101により調光素子14の透過率が調整され、表示輝度制御部102により表示部11の表示輝度が調整される。
【0267】
一方、中心輝度が低下して閾値以下になっていないとステップS113において判定した場合、ステップS115において、表示制御部84は、中心輝度が上昇して閾値以上になったか否かを判定する。
【0268】
中心輝度が閾値以上になったとステップS115において判定した場合、ステップS116において、表示制御部84は、透過率と表示輝度を制御する。図20図21を参照して説明した、輝度が閾値より上昇したときの組み合わせを用いて、透過率制御部101により調光素子14の透過率が調整され、表示輝度制御部102により表示部11の表示輝度が調整される。
【0269】
中心輝度が閾値以上になっていないとステップS115において判定された場合、または、ステップS114,S116の処理が行われた後、ステップS111に戻り、以上の処理が繰り返される。
【0270】
以上の処理により、カメラ53により撮像された画像に基づいて、ユーザが所定時間経過後にいると推測される環境の明るさを予測することにより、遅延なく、透過率と表示輝度の調整を行うことが可能となる。
【0271】
<構成例3>
図26は、HMD1のさらに他の構成例を示すブロック図である。
【0272】
図26に示すHMD1の制御部51の構成は、位置・姿勢推定部81と撮像制御部83が設けられている点で、図24に示す構成と異なる。図26のHMD1においては、カメラ53による撮像間隔が、ユーザの状態に応じて調整される。また、カメラ53により撮像された画像から周辺の明るさが予測され、予測された明るさの変化に応じて、透過率と表示輝度が制御される。
【0273】
位置・姿勢推定部81は、モーションセンサ52から供給されたセンサデータを解析し、ユーザの動きの種類と、ユーザの動きの速さを検出する。位置・姿勢推定部81は、ユーザの動きの種類とユーザの動きの速さを表す情報を撮像制御部83に出力する。
【0274】
撮像制御部83は、位置・姿勢推定部81から供給された情報によりユーザの状態を特定し、カメラ53による撮像間隔を調整する。
【0275】
例えば、撮像制御部83は、ユーザが静止している場合、周辺の撮像を、1秒以上といったような長い間隔で行う。また、透過率制御部101は、ユーザが歩いている場合、周辺の撮像を、0.1秒といったような短い間隔で行う。調整された間隔に従ってカメラ53により撮像された画像は画像解析部111に供給される。
【0276】
画像解析部111は、図24の画像解析部111と同様に、カメラ53により撮像された画像の中心輝度に基づいて、明るさの変化を検出する。
【0277】
ここで、図27のフローチャートを参照して、図26の構成を有するHMD1による表示制御処理について説明する。
【0278】
ステップS121において、モーションセンサ52の加速度センサ71は、HMD1の加速度を検出し、ジャイロセンサ72は、HMD1の角速度を検出する。加速度の情報および角速度の情報はモーションデータとして位置・姿勢推定部81に供給される。
【0279】
ステップS122において、位置・姿勢推定部81は、モーションセンサ52から供給されたモーションデータを解析し、ユーザの動きの種類を推定するとともに、ユーザの動きの速度を算出する。ユーザの動きの種類とユーザの動きの速度を表す情報は撮像制御部83に供給される。
【0280】
ステップS123において、撮像制御部83は、位置・姿勢推定部81から供給された情報によりユーザの状態を特定し、カメラ53による撮像間隔を決定する。
【0281】
ステップS124において、カメラ53は、撮像制御部83により決定された撮像間隔に従って周辺環境の撮像を行う。
【0282】
ステップS125において、画像解析部111は、カメラ53により撮像された画像の中心輝度を算出する。
【0283】
ステップS126において、画像解析部111は、中心輝度が、予め設定されている時間であるd秒前の輝度から、ΔLだけ低下したか否かを判定する。ΔLは所定の輝度を表す。
【0284】
d秒前の輝度からΔLだけ低下したとステップS126において判定した場合、ステップS127において、画像解析部111は、現在のユーザの速度に基づいて、T秒後の画像全体の輝度を予測する。例えば、カメラ53により撮像された画像のうち、現在のユーザの速度に応じた範囲が設定され、設定された範囲の輝度が、T秒後の画像全体の予測輝度として求められる。
【0285】
ステップS128において、画像解析部111は、予測輝度が閾値以下であるか否かを判定する。
【0286】
予測輝度が閾値以下であるとステップS128において判定した場合、ステップS129において、表示制御部84は、透過率と表示輝度を制御する。図20図21を参照して説明した、輝度が閾値より低下したときの組み合わせを用いて、透過率制御部101により調光素子14の透過率が調整され、表示輝度制御部102により表示部11の表示輝度が調整される。
【0287】
一方、ステップS126において、中心輝度がd秒前の輝度からΔLだけ低下していないと判定した場合、ステップS130において、画像解析部111は、中心輝度が、d秒前の輝度からΔLだけ上昇したか否かを判定する。
【0288】
d秒前の輝度からΔLだけ上昇したとステップS130において判定した場合、ステップS131において、画像解析部111は、現在のユーザの速度に基づいて、T秒後の画像全体の輝度を予測する。
【0289】
ステップS132において、画像解析部111は、予測輝度が閾値以上であるか否かを判定する。
【0290】
予測輝度が閾値以上であるとステップS132において判定した場合、ステップS133において、表示制御部84は、透過率と表示輝度を制御する。図20図21を参照して説明した、輝度が閾値より上昇したときの組み合わせを用いて、透過率制御部101により調光素子14の透過率が調整され、表示輝度制御部102により表示部11の表示輝度が調整される。
【0291】
予測輝度が閾値以上ではないとステップS132において判定された場合、ステップS121に戻り、以上の処理が繰り返される。d秒前の輝度からΔLだけ上昇していないとステップS130において判定された場合、または、ステップS129,S133の処理が行われた場合も同様に、ステップS121に戻り、以上の処理が繰り返される。
【0292】
以上の処理により、透過率と表示輝度をユーザの移動に追随して調整するだけでなく、所定時間経過後の環境の明るさをユーザの状態に応じて予測して、透過率と表示輝度を調整することが可能となる。
【0293】
ユーザが歩行している場合と走っている場合とで、T秒の設定が切り替えられるようにしてもよい。例えば、ユーザが走っている場合、歩行している場合より短い時間だけ先の時間の明るさが予測される。
【0294】
<構成例4>
図28は、HMD1のさらに他の構成例を示すブロック図である。
【0295】
図28に示すHMD1の制御部51の構成は、撮像制御部83の代わりに周辺環境認識部82とロケーション情報処理部121が設けられている点で、図26に示す構成と異なる。図28のHMD1においては、ロケーション情報に基づいて所定の時間経過後の周辺の明るさが予測され、予測された明るさの変化に応じて、透過率と表示輝度が制御される。ロケーション情報は、ユーザの位置の情報である。
【0296】
位置・姿勢推定部81は、モーションセンサ52から供給されたセンサデータを解析し、ユーザの動きの種類と、ユーザの動きの速さを検出する。位置・姿勢推定部81は、ユーザの動きの種類とユーザの動きの速さを表す情報を画像解析部111とロケーション情報処理部121に出力する。
【0297】
画像解析部111は、ユーザの動きの種類とユーザの動きの速さが位置・姿勢推定部81により検出されることに応じて、カメラ53により撮像された画像を解析し、画像に写っている、周辺の環境の特徴を抽出する。画像解析部111は、周辺の環境の特徴に関する情報をロケーション情報処理部121に出力する。画像解析部111により抽出された周辺の環境の特徴は、現在位置の推定に用いられる。
【0298】
ロケーション情報処理部121は、画像解析部111から供給された情報により表される特徴に基づいて現在位置を推定する。ロケーション情報処理部121に対しては、例えば、地図情報とともに、地図上の各位置の特徴に関する情報が予め与えられている。
【0299】
ロケーション情報処理部121は、画像解析部111から供給された情報により表される特徴と、予め与えられている各位置の特徴とを照合することによって、現在位置を推定する。現在位置の推定は、適宜、位置・姿勢推定部81により検出されたユーザの状態に応じて位置を補正することによって行われる。
【0300】
ロケーション情報処理部121は、現在位置から所定の時間経過後の位置を、位置・姿勢推定部81により検出されたユーザの状態に応じて推定し、推定結果を表す情報を、現在位置の情報とともに周辺環境認識部82に出力する。
【0301】
周辺環境認識部82は、照度センサ54により検出された周辺照度を現在位置の周辺照度として特定する。
【0302】
また、周辺環境認識部82は、ロケーション情報処理部121から供給された情報により表される、所定の時間経過後の位置における周辺照度を推定する。周辺環境認識部82に対しては、例えば、地図情報とともに、地図上の各位置の周辺照度に関する情報が予め与えられている。
【0303】
周辺環境認識部82は、予め与えられている各位置の周辺照度に関する情報を参照し、ロケーション情報処理部121により推定された位置の周辺照度を特定する。例えば、現在からT秒後の位置の周辺照度が周辺環境認識部82により予測される。
【0304】
ここで、図29のフローチャートを参照して、図28の構成を有するHMD1による表示制御処理について説明する。
【0305】
ステップS141において、モーションセンサ52の加速度センサ71は、HMD1の加速度を検出し、ジャイロセンサ72は、HMD1の角速度を検出する。加速度の情報および角速度の情報はモーションデータとして位置・姿勢推定部81に供給される。
【0306】
ステップS142において、位置・姿勢推定部81は、モーションセンサ52から供給されたモーションデータを解析し、ユーザの動きの種類を推定するとともに、ユーザの動きの速度を算出する。ユーザの動きの種類とユーザの動きの速度の情報は画像解析部111とロケーション情報処理部121に供給される。
【0307】
ステップS143において、カメラ53は、周辺環境の撮像を行う。撮像された画像は画像解析部111に供給される。
【0308】
ステップS144において、画像解析部111は、カメラ53により撮像された画像を解析し、画像に写っている、周辺の環境の特徴を抽出する。周辺環境の特徴に関する情報はロケーション情報処理部121に供給される。
【0309】
ステップS145において、ロケーション情報処理部121は、画像解析部111から供給された情報により表される特徴に基づいて現在位置を推定する。
【0310】
ステップS146において、周辺環境認識部82は、照度センサ54により検出された現在位置の周辺照度を取得する。
【0311】
ステップS147において、周辺環境認識部82は、周辺照度が一定以上低下したか否かを判定する。
【0312】
例えば周辺照度が急に低下したことから、周辺照度が一定以上低下したとステップS147において判定された場合、ステップS148において、図14を参照して説明した危険時用情報表示処理が行われる。
【0313】
周辺照度が一定値以上低下していないとステップS147において判定された場合、または、ステップS148において危険時用情報表示処理が行われた場合、処理はステップS149に進む。
【0314】
ステップS149において、周辺環境認識部82は、現在のユーザの速度に基づいて、T秒後の位置の周辺照度を予測する。
【0315】
ステップS150において、周辺環境認識部82は、T秒後の位置の周辺照度が低下して閾値以下になるか否かを判定する。
【0316】
T秒後の位置の周辺照度が閾値以下になるとステップS150において判定された場合、ステップS151において、表示制御部84は、透過率と表示輝度を制御する。図20図21を参照して説明した、周辺照度が閾値より低下したときの組み合わせを用いて、透過率制御部101により調光素子14の透過率が調整され、表示輝度制御部102により表示部11の表示輝度が調整される。
【0317】
一方、ステップS150において、T秒後の位置の周辺照度が閾値以下にならないと判定した場合、ステップS152において、周辺環境認識部82は、T秒後の位置の周辺照度が上昇して閾値以上になるか否かを判定する。
【0318】
T秒後の位置の周辺照度が閾値以上になるとステップS152において判定された場合、ステップS153において、表示制御部84は、透過率と表示輝度を制御する。図20図21を参照して説明した、周辺照度が閾値より上昇したときの組み合わせを用いて、透過率制御部101により調光素子14の透過率が調整され、表示輝度制御部102により表示部11の表示輝度が調整される。
【0319】
T秒後の周辺照度が閾値以上にならないとステップS152において判定された場合、ステップS141に戻り、以上の処理が繰り返される。ステップS151,S153の処理が行われた場合も同様に、ステップS141に戻り、以上の処理が繰り返される。
【0320】
以上の処理により、ユーザが歩行している場合であっても、所定時間経過後にユーザがいると推測される位置の周辺照度を予測し、周辺照度の変化に対して遅延なく、透過率と表示輝度の調整を行うことが可能となる。
【0321】
画像を解析することによって現在位置の推定が行われるものとしたが、GPSなどを用いて現在位置の推定が行われるようにしてもよい。GPSを用いることにより、制御部51は、トンネルの出入り口付近などでの急な照度変化を予測し、透過率と表示輝度を事前に変化させることが可能となる。
【0322】
GPSを用いる場合、測位結果の精度に関する対策が必要となる。例えば、GPSの測定結果の推移から得られた速度と、モーションセンサ52により検出されたセンサデータに基づいて算出された速度に一定以上の乖離がある場合、モーションセンサ52により検出されたセンサデータに基づいて算出された速度に基づいて、測位結果が補正されるようにしてもよい。
【0323】
<変形例>
以上の表示制御は、メガネ型のウェアラブル端末ではなく、スマートホン、タブレット端末などの携帯端末に適用可能である。
【0324】
例えば、携帯端末のカメラにより撮像された画像に重ねて所定の画像を表示させる場合、カメラにより撮像された画像の透過度が調光素子14の透過度と同様にして調整され、重ねて表示される画像の表示輝度が表示部11の表示輝度と同様にして調整される。
【0325】
表示の制御を行う制御部(表示制御部84)と表示部(映像表示部57)がHMD1の内部に設けられるものとしたが、それらの構成がHMD1の外部に設けられるようにしてもよい。この場合、表示制御部が行う制御には、調光素子と表示部に対する直接の制御だけでなく、表示のための制御信号を表示部に対して出力することも含まれる。制御信号は、表示する画像データそのものである場合もあるし、画像の表示を指示する信号だけの場合もある。
【0326】
・コンピュータの構成例
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【0327】
図30は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0328】
CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003は、バス1004により相互に接続されている。
【0329】
バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、キーボード、マウスなどよりなる入力部1006、ディスプレイ、スピーカなどよりなる出力部1007が接続される。また、入出力インタフェース1005には、ハードディスクや不揮発性のメモリなどよりなる記憶部1008、ネットワークインタフェースなどよりなる通信部1009、リムーバブルメディア1011を駆動するドライブ1010が接続される。
【0330】
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを入出力インタフェース1005及びバス1004を介してRAM1003にロードして実行することにより、上述した一連の処理が行われる。
【0331】
CPU1001が実行するプログラムは、例えばリムーバブルメディア1011に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部1008にインストールされる。
【0332】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0333】
本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0334】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0335】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0336】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0337】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0338】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0339】
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
(1)
実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得する取得部と、
前記実空間の明るさに閾値より大きい変化が生じた場合、前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、前記オブジェクトの形状を表す形状情報の前記環境情報に基づく表示制御を行う表示制御部と
を備える情報処理装置。
(2)
前記表示制御部は、前記形状情報を表示させた後、輝度を変化させて前記形状情報を表示させる
前記(1)に記載の情報処理装置。
(3)
前記表示制御部は、前記形状情報の輝度の変化を、ユーザの属性に応じて、または、前記ユーザの位置と姿勢のうちの少なくともいずれかを含む前記ユーザの状態に応じて制御する
前記(1)または(2)に記載の情報処理装置。
(4)
前記表示制御部は、前記形状情報として、前記オブジェクトの輪郭線を表示させる
前記(1)乃至(3)のいずれかに記載の情報処理装置。
(5)
前記取得部は、前記オブジェクトの位置、前記オブジェクトまでの距離、前記オブジェクトの高さ、および、前記オブジェクトの種類のうちの少なくともいずれかに関する情報を前記環境情報として取得する
前記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記表示制御部は、前記環境情報に基づいて特定される前記オブジェクトの危険度に応じて、前記形状情報の表示を制御する
前記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)
前記表示制御部は、前記形状情報としての前記オブジェクトの輪郭線を、種類、太さ、色、および階調のうちの少なくともいずれかを前記危険度に応じて変えて表示させる
前記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記表示制御部は、前記形状情報として、前記オブジェクトの特徴点を表す情報を表示させる
前記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記実空間の光を所定の透過率でユーザの目に導く調光部をさらに備え、
前記表示制御部は、前記閾値より大きい明るさの変化が生じた場合、透過率を上げるように前記調光部を制御する
前記(1)乃至(8)のいずれかに記載の情報処理装置。
(10)
前記情報処理装置は、前記ユーザの頭部に装着されるヘッドマウントディスプレイである
前記(1)乃至(9)のいずれかに記載の情報処理装置。
(11)
前記実空間を撮像する撮像部と、
前記閾値より大きい明るさの変化が生じた場合、利得を上げるとともに露光時間を長くするように前記撮像部を制御する撮像制御部と
をさらに備える前記(1)乃至(10)のいずれかに記載の情報処理装置。
(12)
前記表示制御部は、前記形状情報を表示させた後、色温度を徐々に上げて前記形状情報を表示させる
前記(1)乃至(11)のいずれかに記載の情報処理装置。
(13)
前記表示制御部は、前記閾値より大きい明るさの変化が生じた場合、明るさの変化が生じる前に表示させていた情報に代えて、前記形状情報を表示させる
前記(1)乃至(12)のいずれかに記載の情報処理装置。
(14)
前記表示制御部は、前記実空間の明るさが所定の明るさになった場合、前記形状情報の表示を終了させる
前記(1)乃至(13)のいずれかに記載の情報処理装置。
(15)
情報処理装置が、
実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得し、
前記実空間の明るさに閾値より大きい変化が生じた場合、前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、前記オブジェクトの形状を表す形状情報の前記環境情報に基づく表示制御を行う
情報処理方法。
(16)
コンピュータに、
実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得し、
前記実空間の明るさに閾値より大きい変化が生じた場合、前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、前記オブジェクトの形状を表す形状情報の前記環境情報に基づく表示制御を行う
処理を実行させるためのプログラムを記録した記録媒体。
【0340】
また、本技術は、以下のような構成をとることもできる。
(A)
実空間の光を所定の透過率でユーザの目に導く調光部と、
前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部と、
前記調光部の透過率と、前記表示部が表示する前記所定の情報の輝度とを前記実空間の明るさに応じて制御することを、前記ユーザの状態に応じた間隔で行う表示制御部と
を備える情報処理装置。
(B)
前記表示制御部は、前記ユーザが静止している場合、前記ユーザが動いている場合より長い間隔で前記調光部の透過率と前記所定の情報の輝度とを制御する
前記(A)に記載の情報処理装置。
(C)
前記表示制御部は、前記ユーザが動いている場合、前記ユーザの移動速度が速いほど短くなるように前記間隔を調整する
前記(A)または(B)に記載の情報処理装置。
(D)
前記表示制御部は、予め設定された組み合わせに従って、前記調光部の透過率と前記所定の情報の輝度を制御する
前記(A)乃至(C)のいずれかに記載の情報処理装置。
(E)
前記表示制御部は、前記調光部の透過率を、前記所定の情報の輝度の切り替えに用いる段階数より少ない段階数で調整する
前記(D)に記載の情報処理装置。
(F)
複数の前記組み合わせのうちの第1の組み合わせを用いて前記所定の情報の表示を行う第1の状態から、前記実空間の明るさがより明るい場合に用いる第2の組み合わせを用いて前記所定の情報の表示を行う第2の状態に遷移するときの閾値となる前記実空間の明るさと、前記第2の状態から前記第1の状態に遷移するときの閾値となる前記実空間の明るさは、異なる明るさとして設定される
前記(D)または(E)に記載の情報処理装置。
(G)
前記第1の状態から前記第2の状態に遷移するときの閾値となる前記実空間の明るさは、前記第2の状態から前記第1の状態に遷移するときの閾値となる前記実空間の明るさより明るい
前記(F)に記載の情報処理装置。
(H)
照度センサをさらに備え、
前記表示制御部は、前記照度センサにより検出された前記実空間の明るさに応じて、前記調光部の透過率と前記所定の情報の輝度とを制御する
前記(A)乃至(G)のいずれかに記載の情報処理装置。
(I)
前記実空間を撮像する撮像部をさらに備え、
前記表示制御部は、前記撮像部により撮像された画像を解析することによって特定された前記実空間の明るさに応じて、前記調光部の透過率と前記所定の情報の輝度とを制御する
前記(A)乃至(G)のいずれかに記載の情報処理装置。
(J)
前記表示制御部は、前記ユーザの状態としての移動速度に基づいて予測された所定の時間経過後の前記実空間の明るさに応じて、前記調光部の透過率と前記所定の情報の輝度とを制御する
前記(A)乃至(G)のいずれかに記載の情報処理装置。
(K)
前記表示制御部は、前記ユーザの移動速度が速い場合、前記ユーザの移動速度が遅い場合より短い時間を前記所定の時間として予測された、前記所定の時間経過後の前記実空間の明るさに応じて、前記調光部の透過率と前記所定の情報の輝度とを制御する
前記(J)に記載の情報処理装置。
(L)
前記表示制御部は、さらに、前記ユーザの状態としての前記ユーザの位置に基づいて予測された、前記所定の時間経過後の前記実空間の明るさに応じて、前記調光部の透過率と前記所定の情報の輝度とを制御する
前記(J)または(K)に記載の情報処理装置。
(M)
前記実空間を撮像する撮像部と、
前記撮像部により撮像された画像を解析することによって特定された前記ユーザの位置に基づいて、前記実空間の明るさを予測する予測部と
をさらに備える前記(L)に記載の情報処理装置。
(N)
現在位置を測定する測位部と、
前記測位部により測定された前記ユーザの位置に基づいて、前記実空間の明るさを予測する予測部と
をさらに備える前記(L)に記載の情報処理装置。
(O)
前記情報処理装置は、前記ユーザの頭部に装着されるヘッドマウントディスプレイである
前記(A)乃至(M)のいずれかに記載の情報処理装置。
(P)
実空間の光を所定の透過率でユーザの目に導く調光部と、
前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部と
を有する情報処理装置が、
前記調光部の透過率と、前記表示部が表示する前記所定の情報の輝度とを前記実空間の明るさに応じて制御することを、前記ユーザの状態に応じた間隔で行う
情報処理方法。
(Q)
実空間の光を所定の透過率でユーザの目に導く調光部と、
前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部と
を有する情報処理装置のコンピュータに、
前記調光部の透過率と、前記表示部が表示する前記所定の情報の輝度とを前記実空間の明るさに応じて制御することを、前記ユーザの状態に応じた間隔で行う
処理を実行させるためのプログラムを記録した記録媒体。
【符号の説明】
【0341】
1 HMD, 2 コンテンツ配信サーバ, 3 ネットワーク, 11 表示部, 14 調光素子, 51 制御部, 52 モーションセンサ, 53 カメラ, 54 照度センサ, 55 通信部, 56 メモリ, 57 映像表示部, 71 加速度センサ, 72 ジャイロセンサ, 81 位置・姿勢推定部, 82 周辺環境認識部, 83 撮像制御部, 84 表示制御部, 85 カウンタ, 101 透過率制御部, 102 表示輝度制御部, 111 画像解析部, 121 ロケーション情報処理部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
【国際調査報告】