特許第5973795号(P5973795)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

特許5973795頭部装着型表示装置、画像表示システム及びプログラム
<>
  • 特許5973795-頭部装着型表示装置、画像表示システム及びプログラム 図000002
  • 特許5973795-頭部装着型表示装置、画像表示システム及びプログラム 図000003
  • 特許5973795-頭部装着型表示装置、画像表示システム及びプログラム 図000004
  • 特許5973795-頭部装着型表示装置、画像表示システム及びプログラム 図000005
  • 特許5973795-頭部装着型表示装置、画像表示システム及びプログラム 図000006
  • 特許5973795-頭部装着型表示装置、画像表示システム及びプログラム 図000007
  • 特許5973795-頭部装着型表示装置、画像表示システム及びプログラム 図000008
  • 特許5973795-頭部装着型表示装置、画像表示システム及びプログラム 図000009
  • 特許5973795-頭部装着型表示装置、画像表示システム及びプログラム 図000010
  • 特許5973795-頭部装着型表示装置、画像表示システム及びプログラム 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5973795
(24)【登録日】2016年7月22日
(45)【発行日】2016年8月23日
(54)【発明の名称】頭部装着型表示装置、画像表示システム及びプログラム
(51)【国際特許分類】
   H04N 5/64 20060101AFI20160809BHJP
   G02B 27/02 20060101ALI20160809BHJP
   G09G 5/00 20060101ALI20160809BHJP
【FI】
   H04N5/64 511A
   G02B27/02 Z
   G09G5/00 550C
   G09G5/00 530A
【請求項の数】19
【全頁数】27
(21)【出願番号】特願2012-129789(P2012-129789)
(22)【出願日】2012年6月7日
(65)【公開番号】特開2013-255102(P2013-255102A)
(43)【公開日】2013年12月19日
【審査請求日】2015年4月2日
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(72)【発明者】
【氏名】杉原 良平
(72)【発明者】
【氏名】龍田 成示
(72)【発明者】
【氏名】富田 晃央
【審査官】 西谷 憲人
(56)【参考文献】
【文献】 特開平07−140416(JP,A)
【文献】 特開平07−143522(JP,A)
【文献】 特開2007−221647(JP,A)
【文献】 特開2011−091789(JP,A)
【文献】 特開2007−163634(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/64
G02B 27/02
G09G 5/00
(57)【特許請求の範囲】
【請求項1】
ユーザーが頭部に装着して表示画像を観察可能な頭部装着型表示装置であって、
前記表示画像を表示する表示部と、
前記表示部への前記表示画像を表示するタイミングの制御処理を行う制御部と、
を含み、
前記制御部は、
前記表示画像を前記表示部に表示する表示期間と前記表示画像を非表示とする非表示期間とを交互に繰り返し、1回の前記表示期間が600ms以下になるように前記制御処理を行い、
前記ユーザーが停止状態であるか否かを判定し、前記ユーザーが停止状態であると判定した場合には、前記表示期間を600ms以上とする前記制御処理を行うことを特徴とする頭部装着型表示装置。
【請求項2】
ユーザーが頭部に装着して表示画像を観察可能な頭部装着型表示装置であって、
前記表示画像を表示する表示部と、
前記表示部への前記表示画像を表示するタイミングの制御処理を行う制御部と、
を含み、
前記制御部は、
前記表示画像を前記表示部に表示する表示期間と前記表示画像を非表示とする非表示期間とを交互に繰り返し、1回の前記表示期間が600ms以下になるように前記制御処理を行い、
両足が接地していない両足遊脚期間を前記表示期間に設定し、前記両足遊脚期間に前記表示画像を前記表示部に表示させる前記制御処理を行うことを特徴とする頭部装着型表示装置。
【請求項3】
請求項1又は2において、
前記ユーザーの動きを検出するモーションセンサーからモーションセンサー信号を取得するセンサー信号取得部を含み、
前記制御部は、
前記センサー信号取得部からのモーションセンサー信号に基づいて、前記表示期間と前記非表示期間を設定する前記制御処理を行うことを特徴とする頭部装着型表示装置。
【請求項4】
ユーザーが頭部に装着して表示画像を観察可能な頭部装着型表示装置であって、
前記表示画像を表示する表示部と、
前記表示部への前記表示画像を表示するタイミングの制御処理を行う制御部と、
前記ユーザーの動きを検出するモーションセンサーからモーションセンサー信号を取得するセンサー信号取得部と、
を含み、
前記制御部は、
前記表示画像を前記表示部に表示する表示期間と前記表示画像を非表示とする非表示期間とを交互に繰り返し、1回の前記表示期間が600ms以下になるように前記制御処理を行い、
前記センサー信号取得部からの前記モーションセンサー信号に基づいて、前記表示期間と前記非表示期間を設定する前記制御処理を行うことを特徴とする頭部装着型表示装置。
【請求項5】
ユーザーが頭部に装着して表示画像を観察可能な頭部装着型表示装置であって、
前記表示画像を表示する表示部と、
前記表示部への前記表示画像を表示するタイミングの制御処理を行う制御部と、
前記ユーザーの動きを検出するモーションセンサーからモーションセンサー信号を取得するセンサー信号取得部と、
を含み、
前記制御部は、
前記表示画像を前記表示部に表示する表示期間と前記表示画像を非表示とする非表示期間とを交互に繰り返し、前記センサー信号取得部から取得されるモーションセンサー信号に基づいて、前記表示画像の表示開始タイミングを決定する前記制御処理を行うことを特徴とする頭部装着型表示装置。
【請求項6】
請求項3乃至5のいずれかにおいて、
前記センサー信号取得部は、
前記モーションセンサー信号として加速度センサー信号を取得し、
前記制御部は、
前記センサー信号取得部から取得される前記加速度センサー信号に基づいて、前記ユーザーの動きについての加速度のピークを検出し、検出した第1のピークと第2のピークの中間タイミングを含む所定の期間を前記表示期間に設定することを特徴とする頭部装着型表示装置。
【請求項7】
請求項6において、
前記制御部は、
前記加速度の大きさが所定期間継続して所与の閾値以下であるか否かを判定し、
前記加速度の大きさが所定期間継続して所与の閾値以下であると判定した場合には、前記表示画像の表示開始タイミングを決定し、決定した前記表示開始タイミングから前記表示画像を前記表示部に表示させ、
前記加速度の大きさが所定期間継続して所与の閾値よりも大きいと判定した場合には、前記表示画像の表示終了タイミングを決定し、決定した前記表示終了タイミングに前記表示画像を非表示にさせることを特徴とする頭部装着型表示装置。
【請求項8】
請求項乃至7のいずれかにおいて、
前記制御部は、
前記モーションセンサー信号に基づいて、前記ユーザーが停止状態であるか否かを判定し、
前記ユーザーが停止状態であると判定した場合には、前記表示部に前記表示画像を表示させ続ける前記制御処理を行うことを特徴とする頭部装着型表示装置。
【請求項9】
請求項乃至8のいずれかにおいて、
前記表示部に表示される複数のアイコン画像の中からアイコン画像を選択する画像選択部を含み、
前記センサー信号取得部は、
前記モーションセンサー信号である第1のセンサー信号と、情報端末装置に設けられたセンサーから第2のセンサー信号とを取得し、
前記表示部は、
複数のアイコン画像が並んで表示される選択メニュー画面を表示し、
前記画像選択部は、
前記第1のセンサー信号と前記第2のセンサー信号とに基づいて、選択されている前記アイコン画像を、前記複数のアイコン画像のうちの他のアイコン画像に変更する処理を行うことを特徴とする頭部装着型表示装置。
【請求項10】
請求項乃至9のいずれかにおいて、
複数の表示画像を記憶する表示バッファと、
前記表示部に表示される前記表示画像を選択する画像選択部と、
を含み、
前記画像選択部は、
前記センサー信号取得部からの前記モーションセンサー信号に基づいて、前記表示バッファに記憶される前記複数の表示画像の中から前記表示画像を選択し、
前記表示部は、
選択された前記表示画像を表示することを特徴とする頭部装着型表示装置。
【請求項11】
請求項10において、
前記センサー信号取得部は、
前記表示期間内の前記ユーザーの動きを示す表示時モーションセンサー信号と、前記非表示期間内の前記ユーザーの動きを示す非表示時モーションセンサー信号とを取得し、
前記画像選択部は、
前記表示時モーションセンサー信号と前記非表示時モーションセンサー信号とに基づいて、前記表示バッファに記憶される前記複数の表示画像の中から、前記表示部に表示する前記表示画像を選択することを特徴とする頭部装着型表示装置。
【請求項12】
請求項11において、
前記画像選択部は、
前記表示時モーションセンサー信号と前記非表示時モーションセンサー信号とに基づいて、前記表示期間に前記ユーザーが向いている方位と前記非表示期間に前記ユーザーが向いている方位との方位差を表す動き情報を特定し、特定した前記動き情報に基づいて、前記表示バッファに記憶される前記複数の表示画像の中から、前記表示部に表示する前記表示画像を選択することを特徴とする頭部装着型表示装置。
【請求項13】
請求項12において、
前記画像選択部は、
前記動き情報により表される前記方位差が所与の閾値よりも小さいと判断する場合には、前記表示バッファに記憶される前記複数の表示画像の中から、前記表示部に表示する前記表示画像として、初期表示画像を選択することを特徴とする頭部装着型表示装置。
【請求項14】
請求項1乃至13のいずれかにおいて、
前記表示期間及び前記非表示期間のカウント処理を行うタイマー部を含み、
前記制御部は、
前記表示期間の前記カウント処理を前記タイマー部が開始した場合には、前記表示部に前記表示画像を表示させ、
前記タイマー部は、
前記表示期間が満了するタイミングまでの前記カウント処理を完了した場合には、前記非表示期間が満了するタイミングまでの前記カウント処理を開始し、
前記制御部は、
前記非表示期間の前記カウント処理を前記タイマー部が開始した場合には、前記表示画像を非表示にさせることを特徴とする頭部装着型表示装置。
【請求項15】
請求項1乃至14のいずれかにおいて、
前記制御部は、
前記表示画像の前記表示期間には照明光源を発光状態に設定し、前記非表示期間には前記照明光源を非発光状態に設定することで、前記表示画像の表示状態を切り替える前記制御処理を行うことを特徴とする頭部装着型表示装置。
【請求項16】
請求項1乃至15のいずれかに記載の頭部装着型表示装置と、
前記頭部装着型表示装置と通信を行う情報端末装置と、
を含むことを特徴とする画像表示システム。
【請求項17】
ユーザーが頭部に装着して表示画像を観察可能な頭部装着型表示装置を機能させるプログラムであって、
前記表示画像を表示する表示部と、
前記表示部への前記表示画像を表示するタイミングの制御処理を行う制御部として、
前記頭部装着型表示装置を機能させ、
前記制御部は、
前記表示画像を前記表示部に表示する表示期間と前記表示画像を非表示とする非表示期間とを交互に繰り返し、1回の前記表示期間が600ms以下になるように前記制御処理を行い、
前記ユーザーが停止状態であるか否かを判定し、前記ユーザーが停止状態であると判定した場合には、前記表示期間を600ms以上とする前記制御処理を行うことを特徴とするプログラム。
【請求項18】
ユーザーが頭部に装着して表示画像を観察可能な頭部装着型表示装置を機能させるプログラムであって、
前記表示画像を表示する表示部と、
前記表示部への前記表示画像を表示するタイミングの制御処理を行う制御部と、
前記ユーザーの動きを検出するモーションセンサーからモーションセンサー信号を取得するセンサー信号取得部として、
前記頭部装着型表示装置を機能させ、
前記制御部は、
前記表示画像を前記表示部に表示する表示期間と前記表示画像を非表示とする非表示期間とを交互に繰り返し、1回の前記表示期間が600ms以下になるように前記制御処理を行い、
前記センサー信号取得部からの前記モーションセンサー信号に基づいて、前記表示期間と前記非表示期間を設定する前記制御処理を行うことを特徴とするプログラム。
【請求項19】
ユーザーが頭部に装着して表示画像を観察可能な頭部装着型表示装置を機能させるプログラムであって、
前記表示画像を表示する表示部と、
前記表示部への前記表示画像を表示するタイミングの制御処理を行う制御部と、
前記ユーザーの動きを検出するモーションセンサーからモーションセンサー信号を取得するセンサー信号取得部として、
前記頭部装着型表示装置を機能させ、
前記制御部は、
前記表示画像を前記表示部に表示する表示期間と前記表示画像を非表示とする非表示期間とを交互に繰り返し、前記センサー信号取得部から取得されるモーションセンサー信号に基づいて、前記表示画像の表示開始タイミングを決定する前記制御処理を行うことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、頭部装着型表示装置、画像表示システム及びプログラム等に関係する。
【背景技術】
【0002】
スポーツなどのアスリートやヘルスケアなどを行う人に対して、運動中の様々な状態をセンシングして、その情報をユーザー(本人)にフィードバックする装置が考案されている。これによれば、フィードバック情報に基づいて、ユーザーが適切な運動を行うこと等が可能となり、運動の効果を高めることが可能になる。
【0003】
しかし、運動中は情報ディスプレイ(情報端末)を手に持つことが困難であったり、煩わしく感じたりするという問題点があった。また、頭部装着型表示装置を利用することを考えても、装置自体が大型であり、頭部を覆うような形態であったため、運動中には利用し辛いという問題点があった。
【0004】
しかし近年、頭部装着型表示装置が小型化されつつあり、屋外などのモバイル環境下で使用可能な装置も登場している。そのため、前述したような運動中にユーザーに運動状態情報等をフィードバックする手法で、HMD(ヘッドマウントディスプレイ、頭部装着ディスプレイ、Head Mounted Display)を利用することが検討されている。
【0005】
このような手法の具体例として、特許文献1では、ランニング中に走行距離や走行ペースをHMDに表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2011−067277号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
歩行や走行などの運動をしている期間に、HMDに表示画像を表示するような手法では、HMDの装着者(ユーザー)が動くことにより、HMD自体の位置も変動して、表示画像がぶれて見辛くなるという問題点がある。
【0008】
また、従来のHMDは装置自体が大型であったため、電池の大きさは問題とならなかったが、近年、小型のHMDが実用化されるに当たり、電池も小型にする必要性が高まってきた。しかし、電池を小型化した場合には、電池容量が低下してしまい、HMDの稼働時間が短くなるという問題点もある。
【0009】
本発明の幾つかの態様によれば、ユーザーが歩行又は走行をしている場合に、ぶれが軽減された表示画像の表示や省電力化が可能な頭部装着型表示装置、画像表示システム及びプログラム等を提供することができる。
【課題を解決するための手段】
【0010】
本発明の一態様は、ユーザーが頭部に装着して表示画像を観察可能な頭部装着型表示装置であって、前記表示画像を表示する表示部と、前記表示部への前記表示画像を表示するタイミングの制御処理を行う制御部と、を含み、前記制御部は、前記表示画像を前記表示部に表示する表示期間と前記表示画像を非表示とする非表示期間とを交互に繰り返し、1回の前記表示期間が600ms以下になるように前記制御処理を行う頭部装着型表示装置に関係する。
【0011】
本発明の一態様では、1回の表示期間を600ms以下に設定する。そして、600ms以下に設定した表示期間では表示画像を表示部に表示し、所定の長さの期間である非表示期間には表示画像を非表示にする。
【0012】
これにより、ユーザーが歩行又は走行をしている場合に、ぶれを軽減するように表示画像を表示することが可能となる。
【0013】
さらに、本実施形態では、表示画像を常時表示するのではなく、表示画像を瞬間的に表示することから、トータルの表示時間を短縮し、省電力化を図ることも可能となる。
【0014】
また、本発明の一態様では、前記制御部は、両足が接地していない両足遊脚期間を前記表示期間に設定し、前記両足遊脚期間に前記表示画像を前記表示部に表示させる前記制御処理を行ってもよい。
【0015】
これにより、例えば走行時に、少なくとも片方の足が接地する瞬間に表示画像を表示しないこと等が可能となり、表示画像をぶれずに見えるようにすること等が可能になる。
【0016】
また、本発明の一態様では、前記制御部は、前記ユーザーが停止状態であるか否かを判定し、前記ユーザーが停止状態であると判定した場合には、前記表示期間を600ms以上とする前記制御処理を行ってもよい。
【0017】
これにより、ユーザーが停止状態である場合には、600ms以上の期間、表示画像を表示すること等が可能になる。
【0018】
また、本発明の一態様では、ユーザーの動きを検出するモーションセンサーからモーションセンサー信号を取得するセンサー信号取得部を含み、前記制御部は、前記センサー信号取得部からのモーションセンサー信号に基づいて、前記表示期間と前記非表示期間を設定する前記制御処理を行ってもよい。
【0019】
これにより、例えばユーザーが歩行又は走行中にペースを変更した場合でも、鉛直方向の加速度のピークを避けて表示期間を設定すること等が可能になる。
【0020】
また、本発明の他の態様は、ユーザーが頭部に装着して表示画像を観察可能な頭部装着型表示装置であって、前記表示画像を表示する表示部と、前記表示部への前記表示画像を表示するタイミングの制御処理を行う制御部と、ユーザーの動きを検出するモーションセンサーからモーションセンサー信号を取得するセンサー信号取得部と、を含み、前記制御部は、前記表示画像を前記表示部に表示する表示期間と前記表示画像を非表示とする非表示期間とを交互に繰り返し、前記センサー信号取得部から取得されるモーションセンサー信号に基づいて、前記表示画像の表示開始タイミングを決定する前記制御処理を行う頭部装着型表示装置に関係する。
【0021】
本発明の他の態様では、モーションセンサー信号を取得して、モーションセンサー信号に基づいて、表示開始タイミングを決定する。
【0022】
これにより、ユーザーが装着したモーションセンサーに連動して、体の動きが少ない瞬間にタイミングを合わせた瞬間的な画面表示が可能となり、表示画像がよりぶれずに見えるようにすることが可能になる。
【0023】
さらに、本実施形態では、表示画像を常時表示するのではなく、表示画像を瞬間的に表示することから、トータルの表示時間を短縮し、省電力化を図ることが可能となる。
【0024】
また、本発明の他の態様では、前記センサー信号取得部は、前記モーションセンサー信号として加速度センサー信号を取得し、前記制御部は、前記センサー信号取得部から取得される加速度センサー信号に基づいて、ユーザーの動きについての加速度のピークを検出し、検出した第1のピークと第2のピークの中間タイミングを含む所定の期間を前記表示期間に設定してもよい。
【0025】
これにより、鉛直方向の加速度のピーク時を表示期間から除外すること等が可能になる。
【0026】
また、本発明の他の態様では、前記制御部は、前記加速度の大きさが所定期間継続して所与の閾値以下であるか否かを判定し、前記加速度の大きさが所定期間継続して所与の閾値以下であると判定した場合には、前記表示開始タイミングを決定し、決定した前記表示開始タイミングから前記表示画像を前記表示部に表示させ、前記加速度の大きさが所定期間継続して所与の閾値よりも大きいと判定した場合には、前記表示画像の表示終了タイミングを決定し、決定した前記表示終了タイミングに前記表示画像を非表示にさせてもよい。
【0027】
これにより、両足遊脚期間であるか否かを判定して、表示開始タイミングと表示終了タイミングを設定すること等が可能になる。
【0028】
また、本発明の他の態様では、前記制御部は、前記モーションセンサー信号に基づいて、前記ユーザーが停止状態であるか否かを判定し、前記ユーザーが停止状態であると判定した場合には、前記表示部に前記表示画像を表示させ続ける前記制御処理を行ってもよい。
【0029】
これにより、ユーザーが停止状態である場合には、表示画像を継続して表示すること等が可能になる。
【0030】
また、本発明の他の態様では、前記表示部に表示される複数のアイコン画像の中からアイコン画像を選択する画像選択部を含み、前記センサー信号取得部は、前記モーションセンサー信号である第1のセンサー信号と、情報端末装置に設けられたセンサーから第2のセンサー信号とを取得し、前記表示部は、複数のアイコン画像が並んで表示される選択メニュー画面を表示し、前記画像選択部は、前記第1のセンサー信号と前記第2のセンサー信号とに基づいて、選択されている前記アイコン画像を、前記複数のアイコン画像のうちの他のアイコン画像に変更する処理を行ってもよい。
【0031】
これにより、例えば表示部に表示されたアイコン画像を選択する用途と、表示期間や表示開始タイミング等を決定する用途とで、モーションセンサー信号を併用すること等が可能になる。
【0032】
また、本発明の他の態様では、複数の表示画像を記憶する表示バッファと、前記表示部に表示される前記表示画像を選択する画像選択部と、を含み、前記画像選択部は、前記センサー信号取得部からの前記モーションセンサー信号に基づいて、前記表示バッファに記憶される前記複数の表示画像の中から前記表示画像を選択し、前記表示部は、選択された前記表示画像を表示してもよい。
【0033】
これにより、モーションセンサー信号に基づいて、表示部に表示する表示画像を選択すること等が可能になり、例えばユーザーの頭部の動きに連動して表示画像を変更すること等が可能になる。
【0034】
また、本発明の他の態様では、前記センサー信号取得部は、前記表示期間内の前記ユーザーの動きを示す表示時モーションセンサー信号と、前記非表示期間内の前記ユーザーの動きを示す非表示時モーションセンサー信号とを取得し、前記画像選択部は、前記表示時モーションセンサー信号と前記非表示時モーションセンサー信号とに基づいて、前記表示バッファに記憶される前記複数の表示画像の中から、前記表示部に表示する前記表示画像を選択してもよい。
【0035】
これにより、表示期間の後の非表示期間におけるユーザーの動きを検出して、非表示期間のユーザーの動きに連動して、表示画像を変更すること等が可能になる。
【0036】
また、本発明の他の態様では、前記画像選択部は、前記表示時モーションセンサー信号と前記非表示時モーションセンサー信号とに基づいて、前記表示期間に前記ユーザーが向いている方位と前記非表示期間に前記ユーザーが向いている方位との方位差を表す動き情報を特定し、特定した前記動き情報に基づいて、前記表示バッファに記憶される前記複数の表示画像の中から、前記表示部に表示する前記表示画像を選択してもよい。
【0037】
これにより、例えば表示期間にユーザーが向いている方位と、非表示期間にユーザーが向いている方位との角度差を動き情報として算出して、算出した角度差に基づいて、次の表示期間に表示する表示画像を変更すること等が可能になる。
【0038】
また、本発明の他の態様では、前記画像選択部は、前記動き情報により表される前記方位差が所与の閾値よりも小さいと判断する場合には、前記表示バッファに記憶される前記複数の表示画像の中から、前記表示部に表示する前記表示画像として、初期表示画像を選択してもよい。
【0039】
これにより、ユーザーが特別な動作を行わずに、表示部に初期表示画像を表示させること等が可能になる。
【0040】
また、本発明の他の態様では、前記表示期間及び前記非表示期間の満了タイミングまでカウント処理を行うタイマー部を含み、前記制御部は、前記表示期間の前記カウント処理を前記タイマー部が開始した場合には、前記表示部に前記表示画像を表示させ、前記タイマー部は、前記表示期間が満了するタイミングまでの前記カウント処理を完了した場合には、前記非表示期間が満了するタイミングまでの前記カウント処理を開始し、前記制御部は、前記非表示期間の前記カウント処理を前記タイマー部が開始した場合には、前記表示画像を非表示にさせてもよい。
【0041】
これにより、処理の簡略化を図ること等が可能になり、実装コストの低減を図ること等が可能になる。
【0042】
また、本発明の他の態様では、前記制御部は、前記表示画像の前記表示期間には照明光源を発光状態に設定し、前記非表示期間には前記照明光源を非発光状態に設定することで、前記表示画像の表示状態を切り替える前記制御処理を行ってもよい。
【0043】
これにより、例えば照明光源としてLEDなどを使用する際には、定格電流以上で発光させることが可能となり、瞬間的により明るい表示を行い、視認性を向上させ、屋外の明るい環境下でも見易く表示すること等が可能となる。
【0044】
また、本発明の他の態様は、前記頭部装着型表示装置と、前記頭部装着型表示装置と通信を行う情報端末装置と、を含む画像表示システムに関係する。
【0045】
また、本発明の他の態様は、上記各部として前記頭部装着型表示装置を機能させるプログラムに関係する。
【図面の簡単な説明】
【0046】
図1図1(A)、図1(B)は、第1の実施形態のシステム構成例。
図2図2(A)、図2(B)は、表示期間を600ms以下に設定する手法の説明図。
図3】第1の実施形態の処理の流れを説明するフローチャート。
図4】第2の実施形態のシステム構成例。
図5図5(A)、図5(B)は、加速度に基づいて表示期間を設定する手法の説明図。
図6】第2の実施形態の処理の流れを説明するフローチャート。
図7図7(A)、図7(B)は、2つのセンサー信号に基づいてアイコン画像を選択する手法の説明図。
図8】第3の実施形態のシステム構成例。
図9】第3の実施形態の処理の流れを説明するフローチャート。
図10】第2の実施形態におけるユーザーの頭部の動きに伴う画面遷移の例。
【発明を実施するための形態】
【0047】
以下、第1の実施形態〜第3の実施形態について説明する。まず、各実施形態の背景と手法の概要をまとめて説明する。次に、実施形態毎にシステム構成例と手法、処理の流れを詳細に説明する。なお、以下に説明する各実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また各実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0048】
1.概要
スポーツなどのアスリートやヘルスケアなどを行う人に対して、運動中の様々な状態をセンシングして、その情報をユーザー(本人)にフィードバックする装置が考案されている。これによれば、フィードバック情報に基づいて、ユーザーが適切な運動を行うこと等が可能となり、運動の効果を高めることが可能になる。
【0049】
しかし、運動中は情報ディスプレイ(情報端末)を手に持つことが困難であったり、煩わしく感じたりするという問題点があった。また、頭部装着型表示装置を利用することを考えても、装置自体が大型であり、頭部を覆うような形態であったため、運動中には利用し辛いという問題点があった。
【0050】
しかし近年、頭部装着型表示装置が小型化されつつあり、屋外などのモバイル環境下で使用可能な装置も登場している。そのため、前述したような運動中にユーザーに運動状態情報等をフィードバックする手法で、HMD(ヘッドマウントディスプレイ、頭部装着ディスプレイ、Head Mounted Display)を利用することが検討されている。
【0051】
このような手法の具体例として、前述した特許文献1では、ランニング中に走行距離や走行ペースをHMDに表示させる技術が開示されている。
【0052】
しかし、前述した特許文献1において開示されるような手法では、歩行中又は走行中などにHMDの表示画像(表示情報)を見る際に、装着者(ユーザー)が動くことにより表示画像がぶれて見辛くなるという問題点がある。
【0053】
ここで、人間の脳は、実空間に固定されたものが見易いように、体の動きに合わせて、ぶれ補正処理を行っていると考えられる。そのため、人間は、歩行又は走行中であっても、周囲の物体、例えば机や椅子、街路樹等をぶれずにはっきりと見ることができる。
【0054】
一方、頭部に固定されたディスプレイは体の動きに合わせて一緒に動く(位置が変化する)。そのため、本来ならば、体の動きに合わせて一緒に位置が変化するHMDのディスプレイ上の表示画像に対しては、ぶれ補正処理を行う必要はないが、実際にはこのような表示画像に対しても、人間の脳はぶれ補正処理を行ってしまう。その結果、ぶれ補正処理が上手くいかず、表示画像がぶれて見えてしまうという逆効果があると考えられる。
【0055】
そこで、後述する第1の実施形態〜第3の実施形態では、常時、表示画像を表示させるのではなく、所定の期間のみに表示画像を表示させる。これにより、ぶれの影響を軽減し、表示情報を認識しやすくする。
【0056】
ここで、歩行時には、1分間に平均100歩程度のスピードで移動することが多いということが調査により判明した。この調査結果に基づけば、1歩当たりに要する時間は約600msということになる。
【0057】
そのため、後述する第1の実施形態では、1歩よりも短い時間(すなわち600ms以下の時間)で1回の画面表示を行うことにより、ぶれの影響を軽減する。
【0058】
また、歩行時や走行時においては、足を踏み出して地面に着地する瞬間に最も体全体に衝撃が伝わるため、着地時にはHMDの位置変動も大きくなる。そのため、着地の瞬間を避けて、一番動きの少ない期間に表示画像を表示すれば、歩行中や走行中であっても見易い情報表示を行うことができると考えられる。
【0059】
そのため、第2の実施形態では、加速度センサー等のモーションセンサーと連携し、モーションセンサーからの波形に基づいて、前述したような着地タイミング以外のタイミングに画面表示を開始させる。若しくは、モーションセンサーの周期的な波形に同期して、周期的に画面表示を行う。
【0060】
さらに、第3の実施形態では、タイマーを用いて、周期的に表示画像を表示させたり、非表示にしたりする。
【0061】
また、従来のHMDは装置自体が大型であったため、電池の大きさは問題とならなかったが、近年、小型のHMDが実用化されるに当たり、電池も小型にする必要性が高まってきた。しかし、電池を小型化した場合には、電池容量が低下してしまい、HMDの稼働時間が短くなるという問題点もある。第1の実施形態〜第3の実施形態では、表示画像を常時表示するのではなく、表示画像を瞬間的に表示することから、トータルの表示時間を短縮し、省電力化を図る。以下、第1の実施形態〜第3の実施形態について、詳細に説明する。
【0062】
2.第1の実施形態
2.1. システム構成例
まず、第1の実施形態において、頭部装着型表示装置100をユーザー10が装着している様子を図1(A)に示す。本実施形態では、ユーザー10が頭部に装着する頭部装着型表示装置100にモーションセンサー200を取り付けており、モーションセンサー200によりユーザー10の頭部の動きを検出できるようにしている。なお、モーションセンサー200は、必ずしも頭部装着型表示装置100やユーザー10の頭部に取り付けなければいけないわけではなく、ユーザー10の他の部位に取り付けても良い。なお、図1(A)の300は、情報端末装置を示しているが、情報端末装置300は後述する第2の実施形態の説明に用いるものである。
【0063】
次に、図1(B)に本実施形態の頭部装着型表示装置100及びこれを含む画像表示システムの構成例を示す。
【0064】
頭部装着型表示装置(表示装置)100は、表示部110と、制御部120と、センサー信号取得部130と、を含む。また、画像表示システムの例としては、頭部装着型表示装置100にモーションセンサー200を取り付けた装置等が挙げられる。なお、頭部装着型表示装置100及びこれを含む画像表示システムは、図1の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【0065】
次に各部の接続について説明する。モーションセンサー(加速度センサー)200は、センサー信号取得部130に接続されており、センサー信号取得部130は制御部120に接続されている。そして、制御部120は表示部110に接続されている。
【0066】
次に各部で行われる処理について説明する。
【0067】
まず、表示部110は、制御部120によって決定された表示期間において表示画像を表示する。表示部110は、例えば液晶ディスプレイや有機ELディスプレイ、電子ペーパーなどにより実現できる。
【0068】
また、制御部120は、表示画像を表示部に表示するタイミングの制御処理を行う。制御部120の機能は、各種プロセッサー(CPU等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムなどにより実現できる。
【0069】
さらに、センサー信号取得部130は、モーションセンサー200からモーションセンサー信号を取得する。例えば、センサー信号取得部は、有線又は無線によりモーションセンサー200等と通信を行う通信部などである。また、モーションセンサー信号としては、例えば後述する加速度センサー信号を取得する。
【0070】
ここで、モーションセンサー200は、モーションセンサー信号を検出し、センサー信号取得部130とモーションセンサー信号の送受信処理を行う。モーションセンサー200は、例えば加速度センサーである。その場合には、モーションセンサー信号として加速度センサー信号を検出する。加速度センサーは、例えば外力によって抵抗値が増減する素子等で構成され、三軸の加速度情報を検知する。また他にも、加速度センサーは、三軸の力に加えて、三軸の周りのモーメントを検出する六軸の加速度センサーであってもよい。さらに、モーションセンサーは、加速度センサーに限定されず、地磁気センサー等の方位センサーやジャイロセンサー等であってもよい。方位センサーは、センサーの向いている方位を角度(0°〜360°)で計測する。地磁気センサーは、例えば磁場の強さによって抵抗値やインピーダンス値が増減する素子等で構成され、三軸の地磁気情報を検知する。また、地磁気センサーや加速度センサー、ジャイロセンサーの機能を併せ持つセンサーを用いてもよい。
【0071】
2.2. 手法
以上の本実施形態の頭部装着型表示装置100は、ユーザー10が頭部に装着して表示画像を観察可能な頭部装着型表示装置100であって、表示画像を表示する表示部110と、表示部110への表示画像を表示するタイミングの制御処理を行う制御部120と、を含む。そして、制御部120は、表示画像を表示部110に表示する表示期間と表示画像を非表示とする非表示期間とを交互に繰り返し、1回の表示期間が600ms以下になるように制御処理を行う。
【0072】
具体例を図2(A)及び図2(B)を用いて説明する。図2(A)は、縦軸を鉛直方向の加速度の大きさ、横軸を時間として、歩行中の加速度[G]を示したグラフである。図2(A)のグラフが示す通り、歩行時には鉛直方向の加速度の大きさが逐次変化し、P1やP2のようなピークを周期的に観測することができる。具体的には、ユーザーの足が地面に接地したタイミングに、加速度の大きさがピークになる。すなわち、ピークからピークまでの期間が約1歩分の期間に相当する。そして、このように鉛直方向の加速度の大きさがピークになる時に、表示画像が最も大きくぶれて見えることが多い。
【0073】
また、統計的には、人が100歩、歩くのに要する時間は約1分であると言われており、その場合には1歩分に相当する時間は600ms程度となる。
【0074】
以上をまとめると、歩行時には、鉛直方向の加速度が大きくなる(着地時)に従って、表示画像が大きくぶれて見えるようになり、一方、鉛直方向の加速度が小さくなるに従って、表示画像があまりぶれずに見えるようになる。そして、鉛直方向の加速度は、約600ms周期で大きさがピークになるように変化する。
【0075】
従って、表示画像がぶれずに見えるようにするためには、鉛直方向の加速度が大きくなる期間を避けて、鉛直方向の加速度が小さくなる期間に表示画像を表示すれば、ぶれを軽減することができると考えられる。
【0076】
そこで、本実施形態では、前述した加速度のピーク時に表示画像を表示することを避けるために、図2(B)に示すように、1回の表示期間を600ms以下に設定する。
【0077】
ここで、1回の表示期間とは、図2(B)のように表示画像の表示と非表示を交互に繰り返す場合において、表示画像を表示部110に表示してから、表示画像を初めて非表示にするまでの期間のことを言う。具体的には、期間DP等のことである。
【0078】
そして、600ms以下に設定した表示期間DPでは表示画像を表示部110に表示し、所定の長さの期間である非表示期間NDPには表示画像を非表示にする。表示期間DP及び非表示期間NDPの長さは任意に設定可能であるが、例えば600msから表示期間DPを差し引いた期間を非表示期間NDPとして設定する等してもよい。
【0079】
また、さらにぶれの影響を軽減するためには、表示期間DPを300ms以下に設定することが望ましい。一方、表示期間があまり短すぎるとユーザーが表示画像を視認することができなくなるため、表示期間は20ms以上であることが望ましい。
【0080】
他にも、例えばユーザーが1歩に要する時間をあらかじめ計測しておき、計測(算出)した1歩分の期間から表示期間を差し引いた期間を非表示期間として設定してもよい。また、上記の周期(600ms)よりも短い期間を表示期間としてランダムに設定してもよい。なお、必ずしも1歩ごとに表示期間を設ける必要はなく、4歩に1回表示したり、一度表示してから一定時間経過後に表示したりする等してもよい。また、表示期間及び非表示期間の設定方法については、前述した方法又は後述する方法に限定されず、任意の方法により設定することが可能である。
【0081】
これにより、ユーザーが歩行又は走行をしている場合に、ぶれを軽減するように表示画像を表示することが可能となる。
【0082】
さらに、本実施形態では、表示画像を常時表示するのではなく、表示画像を瞬間的に表示することから、トータルの表示時間を短縮し、省電力化を図ることが可能となり、バッテリを小さくすること等が可能となる。その結果、ユーザーの体へかかる装置の重みを軽減して、運動時の負担を軽減すること等も可能となる。
【0083】
また、例えば走行時には、後に図5(A)及び図5(B)を用いて詳述するように両足遊脚期間が存在し、両足遊脚期間には接地時に比べて、鉛直方向の加速度の大きさが小さくなる。そのため、両足遊脚期間に表示画像を表示し、それ以外の期間に表示画像を非表示にすれば、表示画像があまりぶれて見えないようにすることができると考えられる。
【0084】
そこで、制御部120は、両足が接地していない両足遊脚期間を表示期間に設定し、両足遊脚期間に表示画像を表示部110に表示させる制御処理を行ってもよい。
【0085】
ここで、両足遊脚期間とは、両足に体の重みがかかっていない期間のことをいう。言い替えれば、両足遊脚期間とは、左足が接地している期間と右足が接地している期間の間の期間のことをいう。後述する図5(A)では、BGにより示される期間である。
【0086】
これにより、例えば走行時に、少なくとも片方の足が接地する瞬間に表示画像を表示しないこと等が可能となり、表示画像をぶれずに見えるようにすること等が可能になる。
【0087】
なお、統計的には、人は1分間に180歩〜200歩走ると言われており、その場合には1歩分に相当する時間は350ms程度となる。よって、走行時には1回の表示期間を350ms以下に設定することが望ましい。また、さらにぶれを軽減するためには、両足遊脚期間の加速度の変化が安定している期間のみ、すなわち表示期間を約175ms以下に設定することが望ましい。
【0088】
また、ユーザーが歩行又は走行等の運動をしておらず、停止状態である場合には、ユーザーの体が揺れていないことが多いため、HMDも揺れず、表示画像がぶれて見えることも少ない。そのため、ユーザーが停止状態にある時まで、表示期間を600ms以下に設定する必要はない。また、停止時には表示期間が長い方が表示画像を見やすいことも多い。
【0089】
そこで、制御部120は、ユーザー10が停止状態であるか否かを判定し、ユーザー10が停止状態であると判定した場合には、表示期間を600ms以上とする制御処理を行ってもよい。
【0090】
これにより、ユーザーが停止状態である場合には、600ms以上の期間、表示画像を表示すること等が可能になる。例えば、常時、表示画像を表示するように制御してもよい。
【0091】
さらに、加速度センサーと同期して加速度の変化が少ない期間を検出して、その期間に表示期間を合わせることで、さらにぶれを軽減することができる。
【0092】
また、ユーザーは常に一定の周期で歩行又は走行しているとは限らず、歩行又は走行中にペースを変更することもある。
【0093】
そこで、本実施形態の頭部装着型表示装置100は、ユーザー10の動きを検出するモーションセンサー200からモーションセンサー信号を取得するセンサー信号取得部130を含んでもよい。そして、制御部120は、センサー信号取得部130からのモーションセンサー信号に基づいて、表示期間と非表示期間を設定する制御処理を行ってもよい。
【0094】
これにより、例えばユーザーが歩行又は走行中にペースを変更した場合でも、鉛直方向の加速度のピークを避けて表示期間を設定すること等が可能になる。
【0095】
2.3. 処理の流れ
以下では、図3のフローチャートを用いて、本実施形態の処理の流れについて説明する。
【0096】
まず、センサー信号取得部130が加速度センサー信号を取得する(S101)。そして、センサー信号取得部130は、取得した加速度センサー信号を制御部120に通知し、制御部120は、取得した加速度センサー信号に基づいて、ユーザーが歩行又は走行しているか否かを判定する(S102)。
【0097】
次に、ステップS102において、ユーザーが歩行又は走行していないと判定された場合には、表示画像の表示期間を決定し(S103)、決定された表示期間において表示部110が表示画像を表示する(S104)。その後、表示制御処理の終了指示があるか否かを判定し(S111)、終了指示があると判定された場合には、全ての処理を終了する。一方、終了指示がないと判定された場合には、ステップS101の処理に戻る。
【0098】
ここで、終了指示とは、例えばHMDの電源をOFFにする命令(情報)や、表示制御をOFFにする命令(情報)などを指す。電源をOFFにする命令は、例えばHMDの電源スイッチ等であるI/F部を通してユーザーにより入力される。また、表示制御をOFFにする命令は、HMDやHMDと通信する情報端末に設けられた操作部を通して入力される。なお、I/F部及び操作部は、図1等には図示していない。
【0099】
さて、ステップS102において、ユーザーが歩行又は走行していると判定された場合には、制御部120は続けて、表示期間が満了したか否かを判定する(S105)。そして、表示期間が満了したと判定された場合には、表示部110は表示画像を非表示にする(S106)。その後、上記同様、終了指示があるか否かを判定し(S111)、終了指示があると判定された場合には、全ての処理を終了する。一方、終了指示がないと判定された場合には、ステップS101の処理に戻る。
【0100】
また一方で、ステップS105において、表示期間が満了していないと判定された場合には、制御部120は、所定期間継続して加速度が所定の閾値以下であるか否かを判定する(S107)。
【0101】
この時、所定期間継続して加速度が所定の閾値以下であると判定された場合には、制御部120は加速度のピークを検出し(S108)、表示開始タイミングと表示期間を決定する(S109)。そして、決定された表示開始タイミングから始まる表示期間において、表示部110が表示画像を表示する(S110)。その後、上記同様、終了指示があるか否かを判定し(S111)、終了指示があると判定された場合には、全ての処理を終了する。一方、終了指示がないと判定された場合には、ステップS101の処理に戻る。
【0102】
また、ステップS107において、所定期間継続して加速度が所定の閾値より大きいと判定された場合には、何らの表示制御を行わず、終了指示があるか否かを判定し(S111)、終了指示があると判定された場合には、全ての処理を終了する。一方、終了指示がないと判定された場合には、ステップS101の処理に戻る。
【0103】
3.第2の実施形態
3.1. システム構成例
第2の実施形態では、ユーザー10は、図1(A)と同様に頭部装着型表示装置100とモーションセンサー200とを頭部に装着し、情報端末装置300を体に装着する。なお、モーションセンサー200及び情報端末装置300の装着位置はこれに限定されず、任意の位置に装着しても良い。
【0104】
次に、第2の実施形態の頭部装着型表示装置100及びこれを含む画像表示システムの構成例を図4に示す。
【0105】
頭部装着型表示装置100は、表示部110と、制御部120と、センサー信号取得部130と、画像選択部150と、表示バッファ160とを含む。また、画像表示システムは、頭部装着型表示装置100と、モーションセンサー200と、情報端末装置300を含む。なお、頭部装着型表示装置100及びこれを含む画像表示システムは、図4の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【0106】
次に各部の接続について説明する。モーションセンサー(加速度センサー)200及び情報端末装置300のセンサー310は、センサー信号取得部130に接続されており、センサー信号取得部130は、制御部120及び画像選択部150に接続されている。そして、制御部120は、表示部110と表示バッファ160に接続されている。さらに、画像選択部150は、表示バッファ160に接続されており、表示バッファ160は表示部110に接続されている。
【0107】
次に各部で行われる処理について説明する。表示部110及び制御部120、モーションセンサー200は、第1の実施形態と同様であるため、説明を省略する。また、画像選択部150の機能については、後述する。
【0108】
センサー信号取得部130は、モーションセンサー200からのモーションセンサー信号に加えて、情報端末装置300のセンサー310からセンサー信号を取得する。
【0109】
また、表示バッファ160は、複数の表示画像や複数のアイコン画像を記憶する画像記憶領域を有しており、表示バッファ160の画像記憶領域は、所与の表示レイアウトに従って、これらの画像データを記憶する。なお、表示バッファ160の画像記憶領域は、RAM等のメモリやHDD(ハードディスクドライブ)などにより実現できる。
【0110】
また、情報端末装置300は、例えばスマートフォン等の携帯機器(電子機器)であり、センサー310を有している。センサー310は、例えば第1の実施形態のモーションセンサー200の説明において述べたいずれかのセンサー(加速度センサー、方位センサー、ジャイロセンサー等)であってもよい。
【0111】
3.2. 手法
以上の本実施形態の頭部装着型表示装置100では、ユーザー10が頭部に装着して表示画像を観察可能な頭部装着型表示装置100であって、表示画像を表示する表示部110と、表示部110への表示画像を表示するタイミングの制御処理を行う制御部120と、ユーザー10の動きを検出するモーションセンサー200からモーションセンサー信号を取得するセンサー信号取得部130と、を含む。そして、制御部120は、表示画像を表示部110に表示する表示期間と表示画像を非表示とする非表示期間とを交互に繰り返し、センサー信号取得部130から取得されるモーションセンサー信号に基づいて、表示画像の表示開始タイミングを決定する制御処理を行う。
【0112】
ここで、モーションセンサー信号とは、モーションセンサー200からセンサー信号取得部130が取得する信号のことを言う。モーションセンサー信号は、例えば加速度センサー信号や、ジャイロセンサー信号、方位センサー信号等を指す。
【0113】
次に、図5(A)及び図5(B)を用いて具体例を説明する。図5(A)は、縦軸を鉛直方向の加速度の大きさ、横軸を時間として、走行中の加速度[G]を示したグラフである。図5(A)のグラフが示す通り、歩行時同様、走行時も鉛直方向の加速度の大きさが逐次変化し、P3やP4のようなピークを周期的に観測することができる。具体的には、ユーザーの足が地面に接地したタイミングに、加速度の大きさがピークになる。すなわち、ピークからピークまでの期間が約1歩分の期間に相当する。そして、このように鉛直方向の加速度の大きさがピークになる時に、表示画像が最も大きくぶれて見えることが多い。このことも歩行時と同様である。
【0114】
また、走行時には歩行時と違い、両足遊脚期間BG(両足非接地期間)が存在する。両足遊脚期間BG(両足非接地期間)とは、前述したように、左足だけが地面に接地している左足接地期間LGと、右足だけが地面に接地している右足接地期間RGとの間の期間BGのことを指す。そして、図5(A)に示すように、両足遊脚期間BGでは、左足接地期間LGと右足接地期間RGよりも、観測される鉛直方向の加速度が小さい。すなわち、両足遊脚期間BGでは、HMDの揺れ(位置変動)も小さくなり、表示画像もぶれずに見える。
【0115】
そこで、本実施形態では、モーションセンサー信号を取得して、モーションセンサー信号に基づいて、表示開始タイミングを決定する。例えば、図5(B)に示すように、両足遊脚期間内の所定タイミングS1を表示開始タイミングとして決定して、表示期間DPを設定する。なお、表示期間DP及び非表示期間NDPの設定方法は、例えば第1の実施形態において述べた任意の方法により行う。
【0116】
これにより、ユーザーが装着したモーションセンサーに連動して、体の動きが少ない瞬間にタイミングを合わせた瞬間的な画面表示が可能となり、表示画像がよりぶれずに見えるようにすることが可能になる。また、第1の実施形態において述べた省電力化やユーザーへの負担の軽減を図ること等も可能となる。
【0117】
また、モーションセンサー信号を利用する具体的な方法として、センサー信号取得部130は、モーションセンサー信号として加速度センサー信号を取得してもよい。そして、制御部120は、センサー信号取得部130から取得される加速度センサー信号に基づいて、ユーザー10の動きについての加速度のピークを検出し、検出した第1のピークと第2のピークの中間タイミングを含む所定の期間を表示期間に設定してもよい。
【0118】
ここで、ユーザー10の動きとは、例えばユーザーの頭部の動き等を指す。
【0119】
また、第1のピークと第2のピークの中間タイミングとは、例えば図5(A)においては、第1のピークP3と第2のピークP4の間の期間における任意のタイミングMTなどを指す。前述したように、両足遊脚期間BG内の任意のタイミングMTを、第1のピークと第2のピークの中間タイミングとすれば、両足遊脚期間の一部又は全てを含む期間を表示期間として設定することができる。なお、図5(A)では、第1のピークをP3、第2のピークをP4として説明したが、第1のピークはP3以外のピークでも良いし、第2のピークはP4以外のピークでも良い。
【0120】
これにより、鉛直方向の加速度のピーク時を表示期間から除外すること等が可能になる。
【0121】
また、例えば現在が両足遊脚期間内であるか否かを判定する具体的な方法としては、以下のような方法がある。
【0122】
例えば、制御部120は、加速度の大きさが所定期間継続して所与の閾値以下であるか否かを判定してもよい。そして、加速度の大きさが所定期間継続して所与の閾値以下であると判定した場合には、制御部120は、表示開始タイミングを決定し、決定した表示開始タイミングから表示画像を表示部110に表示させてもよい。一方、加速度の大きさが所定期間継続して所与の閾値よりも大きいと判定した場合には、制御部120は、表示画像の表示終了タイミングを決定し、決定した表示終了タイミングに表示画像を非表示にさせてもよい。
【0123】
すなわち、加速度の大きさが所定期間継続して所与の閾値以下であると判定した場合には、両足遊脚期間であると判定し、制御部120は表示画像を表示させるべく、表示開始タイミングを決定する。なお、本実施形態では、両足遊脚期間になったと判定されたその瞬間を表示開始タイミングとして設定しても良いし、両足遊脚期間になったと判定したタイミングから所定期間後の任意のタイミングを表示開始タイミングとして設定しても良い。図5(B)では、例えばS1が表示開始タイミングである。
【0124】
一方で、加速度の大きさが所定期間継続して所与の閾値よりも大きいと判定した場合には、両足遊脚期間ではないと判定し、制御部120は表示画像を非表示にするべく、表示終了タイミングを決定する。なお、表示終了タイミングについても、両足遊脚期間ではないと判定されたその瞬間を表示終了タイミングとして設定しても良いし、両足遊脚期間ではないと判定したタイミングから所定期間後の任意のタイミングを表示終了タイミングとして設定しても良い。図5(B)では、例えばE1が表示終了タイミングである。
【0125】
これにより、両足遊脚期間であるか否かを判定して、表示開始タイミングと表示終了タイミングを設定すること等が可能になる。なお、表示開始タイミングと共に表示終了タイミングを設定する場合には、自動的に表示期間が特定されるため、例えば第1の実施形態において説明した方法で表示期間を設定する必要はない。
【0126】
また、第1の実施形態において説明したように、本実施形態においても、ユーザーが停止状態である場合には、表示画像がぶれて見えることも少ない。そのため、ユーザーが停止状態にある時まで、表示画像を点滅して表示させる必要はない。すなわち、表示開始タイミングや表示終了タイミングを設定する必要はない。
【0127】
よって、制御部120は、モーションセンサー信号に基づいて、ユーザー10が停止状態であるか否かを判定し、ユーザー10が停止状態であると判定した場合には、表示部110に表示画像を表示させ続ける制御処理を行ってもよい。
【0128】
これにより、ユーザーが停止状態である場合には、表示画像を継続して表示すること等が可能になる。
【0129】
さて、これまでは、表示期間や表示開始タイミング等を決定するためにモーションセンサー信号を用いる手法について述べてきたが、この他にもモーションセンサー信号を以下のような用途などにも用いることも可能である。
【0130】
例えば、表示部110が図7(A)や図7(B)に示すような選択メニュー画面DSを表示する例について説明する。この時、選択メニュー画面DSには、「この操作を実行しますか?」という問いに対する回答を示す「はい」(AIM1)、「いいえ」(AIM2)、「キャンセル」(AIM3)の3つのアイコン画像が表示されているとする。
【0131】
この時、ユーザーはAIM1〜AIM3のアイコン画像の中から、自分の意思に合致する内容を示すアイコン画像を選択するが、本実施形態では、この際にユーザーの首振り動作に連動して、アイコン画像を選択する。なお、図7(A)及び図7(B)では、アイコン画像の外枠が太枠になっている画像が選択されている状態にある。すなわち、図7(A)及び図7(B)では、どちらも「いいえ」(AIM2)のアイコン画像が選択されている。
【0132】
このようにしてアイコン画像を選択する手法の具体例としては、以下のような手法が考えられる。例えば、頭部に装着するモーションセンサー200の他に、情報端末装置300が他のセンサー310を有しており、このセンサー310から取得したセンサー信号と、モーションセンサー信号とに基づいて、ユーザーの体が向いている方向とユーザーの頭部が向いている方向の差分を算出する。そして、体に対して頭部が右側を向いていると判断した場合には、右側のアイコン(図7(A)では「キャンセル」(AIM3))を選択し、体に対して頭部が左側を向いていると判断した場合には、左側のアイコン(図7(A)では「はい」(AIM1))を選択し、体方向と頭部方向とがほぼ一致していると判断した場合には、中央のアイコン(図7(A)では「いいえ」(AIM2))を選択する。同様に、図7(B)の例においては、ユーザーの上下の首振り動作に応じて、アイコン画像を選択する。
【0133】
すなわち、本実施形態の頭部装着型表示装置100は、表示部110に表示される複数のアイコン画像の中からアイコン画像を選択する画像選択部150を含んでもよい。この時、センサー信号取得部130は、モーションセンサー信号である第1のセンサー信号と、情報端末装置300に設けられたセンサー310から第2のセンサー信号とを取得してもよい。そして、表示部110は、複数のアイコン画像が並んで表示される選択メニュー画面(例えば、図7(A)のDS)を表示してもよい。さらに、画像選択部150は、第1のセンサー信号と第2のセンサー信号とに基づいて、選択されているアイコン画像を、複数のアイコン画像のうちの他のアイコン画像に変更する処理を行ってもよい。
【0134】
これにより、例えば表示部110に表示されたアイコン画像を選択する用途と、表示期間や表示開始タイミング等を決定する用途とで、モーションセンサー信号を併用すること等が可能になる。従って、このようなアイコン画像の選択するために、頭部装着表示装置が既にモーションセンサーを有している場合においては、表示期間等を決定するためにわざわざ新たにモーションセンサーを設ける必要がなく、既存の頭部装着型表示装置の構成を利用することができる。
【0135】
また、以上の用途の他にも、モーションセンサー信号を以下のような用途などに用いることが可能である。ここで、図10を用いてその具体例を説明する。
【0136】
まず、モーションセンサーがHMDに設けられており、ユーザーがこれを頭部に装着して、運動をしているものとする。そして、HMDは表示バッファ160を含んでおり、表示バッファ160には内容が異なる複数の表示画像(INIM、OPIM1〜OPIM4)が図10のような表示レイアウトに従って記憶されている。
【0137】
この時、初期状態では、初期表示画像INIMを表示部に表示する。なお、初期表示画像INIMは、現在時刻、ユーザーの移動距離及びユーザーの心拍数などを示す画像である。また、他の表示画像OPIM1は、消費カロリとゴールまでの距離を示しており、表示画像OPIM2は、周回ラップタイムを示しており、表示画像OPIM3はユーザーの周辺の地図を示しており、表示画像OPIM4は、ユーザーの心拍数のグラフを示している。ただし、これらは一例であり、表示画像の内容はこれらに限定されない。
【0138】
次に、図5(B)の表示期間DPにおけるユーザーの動きを示すモーションセンサー信号(以下では、表示時モーションセンサー信号と呼ぶ。)と、図5(B)の非表示期間NDPにおけるユーザーの動きを示すモーションセンサー信号(以下では、非表示時モーションセンサー信号と呼ぶ。)を取得する。そして、表示時モーションセンサー信号と、非表示時モーションセンサーとに基づいて、この間のユーザーの頭部の動きを検出する。例えば、非表示期間の所定タイミングから表示期間の所定タイミングまでの間に、ユーザーの頭部が動いた角度などを算出する。
【0139】
そして、ユーザーの頭部が上方向に動いたと判断した場合、すなわち、上方向へ動いた角度が所定の閾値以上であると判断した場合には、次の表示期間に表示する表示画像をINIMからOPIM1に変更し、次の表示期間において表示部に表示する。
【0140】
同様にして、ユーザーの頭部が右方向に動いたと判断した場合には、表示画像OPIM2を、ユーザーの頭部が左方向に動いたと判断した場合には、表示画像OPIM4を、ユーザーの頭部が下方向に動いたと判断した場合には、表示画像OPIM3を、次の表示期間において表示部に表示する。
【0141】
さらに、一定時間、ユーザーの頭部が大きく動いていないと判断する場合、すなわち、ユーザーの頭部が動いた角度が所定の期間連続して、所与の閾値より小さいと判断する場合には、次の表示期間において初期表示画像INIMを表示部に表示する。これにより、初期状態へと戻る。
【0142】
すなわち、本実施形態の頭部装着型表示装置100は、複数の表示画像を記憶する表示バッファ160と、表示部110に表示される表示画像を選択する画像選択部150と、を含んでもよい。この時、画像選択部150は、センサー信号取得部130からのモーションセンサー信号に基づいて、表示バッファ160に記憶される複数の表示画像の中から表示画像を選択してもよい。そして、表示部110は、選択された表示画像を表示してもよい。
【0143】
これにより、モーションセンサー信号に基づいて、表示部に表示する表示画像を選択すること等が可能になり、例えばユーザーの頭部の動きに連動して表示画像を変更すること等が可能になる。
【0144】
また、前述したように、センサー信号取得部130は、表示期間内のユーザーの動きを示す表示時モーションセンサー信号と、非表示期間内のユーザーの動きを示す非表示時モーションセンサー信号とを取得しても良い。この時、画像選択部150は、表示時モーションセンサー信号と非表示時モーションセンサー信号とに基づいて、表示バッファ160に記憶される複数の表示画像の中から、表示部110に表示する表示画像を選択してもよい。
【0145】
ここで、表示時モーションセンサー信号とは、表示期間内のユーザーの動きを示すモーションセンサー信号のことをいう。また、センサー信号取得部が表示時モーションセンサー信号を取得するタイミングは、表示期間内には限定されず、非表示期間内や次の表示期間内などに取得してもよい。さらに、表示時モーションセンサー信号は、例えば図5(B)の表示期間DPの開始タイミングS1から終了タイミングE1までの全期間におけるユーザーの動きを示す信号であってもよいし、表示期間DP中の所定期間におけるユーザーの動きを示す信号であってもよい。
【0146】
またここで、非表示時モーションセンサー信号とは、非表示期間内のユーザーの動きを示すモーションセンサー信号のことをいう。非表示モーションセンサー信号の取得タイミング、内容などについては、表示時モーションセンサー信号と同様である。
【0147】
これにより、表示期間の後の非表示期間におけるユーザーの動きを検出して、非表示期間のユーザーの動きに連動して、表示画像を変更すること等が可能になる。
【0148】
具体的には、画像選択部150は、表示時モーションセンサー信号と非表示時モーションセンサー信号とに基づいて、表示期間にユーザーが向いている方位と非表示期間にユーザーが向いている方位との方位差を表す動き情報を特定し、特定した動き情報に基づいて、表示バッファ160に記憶される複数の表示画像の中から、表示部110に表示する表示画像を選択してもよい。
【0149】
ここで、動き情報とは、表示期間にユーザーが向いている方位と非表示期間にユーザーが向いている方位との方位差を表す情報のことである。動き情報は、例えば角度情報であってもよい。
【0150】
これにより、例えば表示期間にユーザーが向いている方位と、非表示期間にユーザーが向いている方位との角度差を動き情報として算出して、算出した角度差に基づいて、次の表示期間に表示する表示画像を変更すること等が可能になる。
【0151】
また、本実施形態の頭部装着型表示装置は、例えば運動時に装着すること等が想定されるため、できるだけ少ない操作で表示画像を変更できることが望ましい。
【0152】
そこで前述したように、画像選択部150は、動き情報により表される方位差が所与の閾値よりも小さいと判断する場合には、表示バッファ160に記憶される複数の表示画像の中から、表示部110に表示する表示画像として、初期表示画像を選択してもよい。
【0153】
なお、上記の判断は、1回の表示期間と非表示期間において判定するとは限らず、所定回数(例えば3回など)の表示期間と非表示期間に渡り、連続して方位差が所与の閾値よりも小さい場合に、初期表示画像を選択する等としてもよい。また、この判定期間は、ユーザーが表示画像の内容を読み取れるまでに要する時間などを参考にして設定してもよい。
【0154】
これにより、ユーザーが特別な動作を行わずに、表示部に初期表示画像を表示させること等が可能になる。
【0155】
また、実際に表示状態を切り替える際には、以下のような処理を行ってもよい。すなわち、制御部120は、表示画像の表示期間には照明光源を発光状態に設定し、非表示期間には照明光源を非発光状態に設定することで、表示画像の表示状態を切り替える制御処理を行ってもよい。
【0156】
本実施形態では、具体的に照明光源としてLED等を用いる。照明光源としてLEDなどを使用する際には、表示画像を常時表示する場合には、通常は定格電流以下で駆動する必要があるが、瞬間的な表示であれば、定格電流を超えた発光も可能となる。従って、瞬間的に明るい表示を行うことが可能となり、視認性をさらに向上させ、屋外の明るい環境下でも明るく見易く表示すること等が可能となる。なお、このような表示制御は、前述した第1の実施形態や後述する第3の実施形態においても行うことが可能である。
【0157】
3.3. 処理の流れ
以下では、図6のフローチャートを用いて、本実施形態の処理の流れについて説明する。
【0158】
まず、センサー信号取得部130が加速度センサー信号を取得する(S201)。そして、センサー信号取得部130は、取得した加速度センサー信号を制御部120に通知し、制御部120は、取得した加速度センサー信号に基づいて、ユーザーが歩行又は走行しているか否かを判定する(S202)。
【0159】
次に、ステップS202において、ユーザーが歩行又は走行していないと判定された場合には、表示画像の表示期間を決定し(S203)、決定された表示期間において表示部110が表示画像を表示する(S204)。その後、表示制御処理の終了指示があるか否かを判定し(S210)、終了指示があると判定された場合には、全ての処理を終了する。一方、終了指示がないと判定された場合には、ステップS201の処理に戻る。なお、終了指示は、第1の実施形態の処理の流れにおいて説明したものと同様である。また、ここまでは第1の実施形態の処理の流れと同様である。
【0160】
一方、ステップS202において、ユーザーが歩行又は走行していると判定された場合には、制御部120は続けて、所定期間継続して加速度が所定の閾値以下であるか否かを判定する(S205)。
【0161】
この時、所定期間継続して加速度が所定の閾値より大きいと判定した場合には、制御部120は表示終了タイミングを決定する(S206)。そして、表示部110は、決定された表示終了タイミングに表示画像を非表示にする(S207)。その後、終了指示があるか否かを判定し(S210)、終了指示があると判定された場合には、全ての処理を終了する。一方、終了指示がないと判定された場合には、ステップS201の処理に戻る。
【0162】
一方、ステップ205において、所定期間継続して加速度が所定の閾値以下であると判定した場合には、制御部120は、取得した加速度センサー信号に基づいて表示開始タイミングと表示期間を決定する(S208)。なお、表示開始タイミング及び表示期間の決定方法は前述した通りである。
【0163】
そして、決定された表示開始タイミングから始まる表示期間において、表示部110が表示画像を表示する(S209)。その後、上記同様、終了指示があるか否かを判定し(S210)、終了指示があると判定された場合には、全ての処理を終了する。一方、終了指示がないと判定された場合には、ステップS201の処理に戻る。
【0164】
4.第3の実施形態
4.1. システム構成例
第3の実施形態では、ユーザー10は、図1(A)と同様に頭部装着型表示装置100を頭部に装着する。本実施形態においては、モーションセンサー200及び情報端末装置300を必ずしも用いなくても良い。
【0165】
次に、第3の実施形態の頭部装着型表示装置100の構成例を図8に示す。
【0166】
頭部装着型表示装置100は、表示部110と、制御部120と、タイマー部170と、を含む。なお、頭部装着型表示装置100及びこれを含む画像表示システムは、図8の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【0167】
次に各部の接続について説明する。タイマー部170は、制御部120に接続されており、制御部120は、表示部110に接続されている。
【0168】
次に各部で行われる処理について説明する。表示部110及び制御部120は、第1の実施形態と同様であるため、説明を省略する。
【0169】
タイマー部170は、表示期間又は非表示期間のカウント処理を行う。タイマー部170の機能は、各種プロセッサー(CPU等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムなどにより実現できる。
【0170】
4.2. 手法
以上の本実施形態の頭部装着型表示装置100は、表示期間及び非表示期間の満了タイミングまでカウント処理を行うタイマー部170を含んでもよい。この時、制御部120は、表示期間のカウント処理をタイマー部170が開始した場合には、表示部110に表示画像を表示させてもよい。そして、タイマー部170は、表示期間が満了するタイミングまでのカウント処理を完了した場合には、非表示期間が満了するタイミングまでのカウント処理を開始してもよい。さらに、制御部120は、非表示期間のカウント処理をタイマー部170が開始した場合には、表示画像を非表示にさせてもよい。
【0171】
本実施形態では、タイマー部170により表示期間と非表示期間のカウント処理を行う。そのため、例えば、制御部120は、表示期間と非表示期間の設定後は、表示期間(非表示期間)が満了したか否か等の判定処理を行う必要がない。ただし、制御部120が、前述した判定処理の一部等を行ってもよい。また、制御部120は、例えばカウント処理を中止する命令がユーザーにより入力された場合等には、割り込み処理を行い、カウント処理を中止させる等してもよい。
【0172】
これにより、処理の簡略化を図ること等が可能になり、実装コストの低減を図ること等が可能になる。
【0173】
4.3. 処理の流れ
以下では、図9のフローチャートを用いて、本実施形態の処理の流れについて説明する。
【0174】
まず、制御部120は、表示期間及び非表示期間を決定する(S301)。
【0175】
次に、タイマー部170は、タイマー値を0に初期化して、タイマーをONにし、表示期間の満了タイミングまでのカウント処理を開始する(S302)。そして、表示部110は表示画像を表示する(S303)。なお、タイマー値の初期値は0であるとは限らず、任意の値に設定してもよい。その場合には、正確なカウント処理を行うために、設定したタイマー値の初期値をオフセット値として満了タイミングに加算してから、カウント処理を行う必要がある。後述する非表示期間のカウント処理についても同様である。
【0176】
次に、制御部120は、表示期間の満了タイミングまでカウントしたか否かを判定する(S304)。
【0177】
この時、表示期間の満了タイミングまでカウントしていないと判定した場合には、所定期間ウェイト(待機)し(S305)、再度ステップS304の判定処理を行う。
【0178】
一方、表示期間の満了タイミングまでカウントしたと判定した場合には、タイマー部170は、タイマー値を0に初期化して、非表示期間の満了タイミングまでのカウント処理を開始する(S306)。そして、表示部110は表示画像を非表示にする(S307)。
【0179】
次に、制御部120は、非表示期間の満了タイミングまでカウントしたか否かを判定する(S308)。
【0180】
この時、非表示期間の満了タイミングまでカウントしていないと判定した場合には、所定期間ウェイトし(S309)、再度ステップS308の判定処理を行う。
【0181】
一方、非表示期間の満了タイミングまでカウントしたと判定した場合には、制御部120は、終了指示があるか否かを判定する(S310)。終了指示があると判定した場合には、全ての処理を終了する。一方、終了指示がないと判定した場合には、ステップS302の処理に戻る。なお、終了指示は、第1の実施形態の処理の流れにおいて説明したものと同様である。
【0182】
なお、第1の実施形態〜第3の実施形態の頭部装着型表示装置及び画像表示システム等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、CPU等のプロセッサーがプログラムを実行することで、本実施形態の頭部装着型表示装置及び画像表示システム等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをCPU等のプロセッサーが実行する。ここで、情報記憶媒体(コンピューターにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(DVD、CD等)、HDD(ハードディスクドライブ)、或いはメモリー(カード型メモリー、ROM等)などにより実現できる。そして、CPU等のプロセッサーは、情報記憶媒体に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部として頭部装着型表示装置及び画像処理システム(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピューターに実行させるためのプログラム)が記憶される。
【0183】
以上のように第1の実施形態〜第3の実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、頭部装着型表示装置、画像表示システム及びプログラム等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【0184】
10 ユーザー、100 頭部装着型表示装置、110 表示部、120 制御部、
130 センサー信号取得部、150 画像選択部、160 表示バッファ、
170 タイマー部、200 モーションセンサー(加速度センサー)、
300 情報端末装置、310 センサー
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10