特許 6528263 ヘッドマウントディスプレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6528263

(24)【登録日】2019年5月24日

(45)【発行日】2019年6月12日

(54)【発明の名称】ヘッドマウントディスプレイ

(51)【国際特許分類】

   H04N 5/64 20060101AFI20190531BHJP

   G10L 25/48 20130101ALI20190531BHJP

   H04N 5/225 20060101ALI20190531BHJP

   G02B 27/02 20060101ALN20190531BHJP

【ＦＩ】

   H04N5/64 511A

   G10L25/48 100

   H04N5/225

   !G02B27/02 Z

【請求項の数】2

【全頁数】10

(21)【出願番号】特願2015-12863(P2015-12863)

(22)【出願日】2015年1月27日

(65)【公開番号】特開2016-139881(P2016-139881A)

(43)【公開日】2016年8月4日

【審査請求日】2018年1月19日

(73)【特許権者】

【識別番号】304021277

【氏名又は名称】国立大学法人 名古屋工業大学

(72)【発明者】

【氏名】須藤 正時

(72)【発明者】

【氏名】クグレ マウリシオ

(72)【発明者】

【氏名】深谷 晃輔

(72)【発明者】

【氏名】マコヴニコバ ヤナ

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開２００７−２５６９１５（ＪＰ，Ａ）

【文献】 特開２００１−０１３９４１（ＪＰ，Ａ）

【文献】 特開２０１２−１３３２５０（ＪＰ，Ａ）

【文献】 特開２０１２−００８８４２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００２／０１０３６４９（ＵＳ，Ａ１）

【文献】 国際公開第２０１１／１６１８６６（ＷＯ，Ａ１）

【文献】 特開２０１３−２１４８５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ２７／００−２７／６４

Ｇ１０Ｌ１３／００−１３／１０

Ｇ１０Ｌ１９／００−９９／００

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ５／６４−５／６５５

(57)【特許請求の範囲】

【請求項1】

情報に応じた画像を表示する表示画面部が配されてなる光学透過形または透過形ヘッドマウントディスプレイにおいて、
周囲の音を集音するマイクを、フレームに配し、
前記フレームを眼鏡型とし、
一方のレンズの内側に表示画面部を配し、表示画面部の裏面側に不透過部材を配し、
前記マイクはフレームのテンプル部に所定間隔を隔てて前後方向に二つのマイクを一対配してあり、
マイクが集音した音が、予め登録された特定の周波数である場合に、その情報に対応する点滅光または／および絵図を表示画面部に表示指示する音判別装置を、マイク、画像表示部とそれぞれ接続可能に、フレームに着脱自在に配し、
表示画面部、マイク、音判別装置に電力を供給するポータブル電源を、音判別装置に付設し、
マイクにより集音した音が、音判別装置にて特定の周波数と判別したときに、表示画面部にその情報に対応する点滅光または／および絵図を表示し、
後方画像を撮影するカメラをフレームに配し、
マイクにより集音した音が後方からであり、登録された特定の周波数と判別したときに、初めに点滅光を表示画面部に表示し、
その後、使用者の歩行が停止した状態となった際、カメラによる後方画像を表示画面部に表示することを特徴とする光学透過形または透過形ヘッドマウントディスプレイ。

【請求項2】

加速度センサーを音判別装置と接続して付設し、
この加速度センサーによる使用者の歩行停止の検知により、カメラによる後方画像を表示画面部へ表示させることを特徴とする請求項１に記載の光学透過形または透過形ヘッドマウントディスプレイ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音の大小に関わらず重要な音を可視化し、使用者に、主に危険情報を視覚的に伝えることができるヘッドマウントディスプレイに関する。

【背景技術】

【0002】

近年、使用者の頭部に装着されるタイプの画像表示装置、いわゆるヘッドマウントディスプレイ（Head Mounted Display : ＨＭＤ）が広く知られている。

【0003】

このヘッドマウントディスプレイは、使用者の眼前に配置され、画像を表示する表示部と、この表示部を支持する支持部材と、表示部に電力を供給するためのバッテリーと、から構成されている（特許文献１、２参照）。

【0004】

人（主に健常者）は脳の働きにより、音の大小に関わらず重要な音を判断し、危険を回避している。

【0005】

音の大小を画像に変換し、ディスプレイに表示する画像表示装置なるものもあった（特許文献３参照）。

【0006】

しかし、現段階ではニューラルネットワークを利用した音認識装置では音の大小に関わらず重要性の取捨選択が非常に難しい。

【0007】

また、聴覚障害者（特に中途難聴者）にとって、屋外での音の判別が難しく、後方視界は非常に重要であるが、後方から近づいて来る音を知る方法、手段が何ら確立できていない。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特許第５４１３３８５号公報

【特許文献2】特許第５０３０５９５号公報

【特許文献3】特開２０１２−１８１１７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は上記欠点に鑑み、前方視界におけるモノの陰に隠れた目視では確認できない死角の音情報をも可視化し、使用者に危険性を視覚的に伝えることができ、さらには後方の危険性も伝えることができるヘッドマウントディスプレイを提供することである。

【課題を解決するための手段】

【0010】

本発明に係るヘッドマウントディスプレイは、情報に応じた画像を表示する表示画面部が配設されてなるヘッドマウントディスプレイにおいて、周囲の音を集音するマイクを、フレームに配し、マイクが集音した音が、予め登録された特定の周波数である場合に、その情報に対応する点滅光または／および絵図を表示画面部に表示指示する音判別装置を、マイク、画像表示部とそれぞれ接続可能に、フレームに着脱自在に配し、表示画面部、マイク、音判別装置に電力を供給するポータブル電源を、音判別装置に付設し、マイクにより集音した音が、音判別装置にて特定の周波数と判別したときに、表示画面部にその情報に対応する点滅光または／および絵図を表示することを特徴とする、
または、後方画像を撮影するカメラをフレームに配し、マイクにより集音した音が後方からであり、登録された特定の周波数と判別したときに、初めに点滅光を表示画面部に表示し、その後、使用者の歩行が停止した状態となった際、カメラによる後方画像を表示画面部に表示することを特徴とする、
または、フレームを眼鏡型とし、一方のレンズの内側に表示画面部を配し、表示画面部の裏面側に不透過部材を配したことを特徴とする、
または、加速度センサーを音判別装置と接続して付設し、この加速度センサーによる使用者の歩行停止の検知により、カメラによる後方画像を表示画面部へ表示させることを特徴とするものである。

【発明の効果】

【0011】

本発明に係るヘッドマウントディスプレイによれば、マイクにより前方視界におけるモノの陰に隠れた目視では確認できない死角の音をも集音し、この音情報を可視化し、使用者に危険情報を視覚的に伝えることができる。

【0012】

また、マイクにより後方の音を集音できるため、後方の危険情報も視覚的に伝えることができる。

【0013】

また、後方画像を撮影するカメラを配することにより、後方からの危険情報を、初めに点滅光により使用者に伝えた後、使用者の歩行が停止した状態となった際には、画像にて、明確、かつ視覚的に伝えることができ、危険を早期に回避することが可能となる。

【0014】

また、フレームを眼鏡型とし、一方の眼鏡レンズの内側（顔面側）に表示画面部を、表示画面部の裏面側（眼鏡レンズ側）に不透過部材を、配することにより、表示画面部の表示を見易くすることができる。

【0015】

また、加速度センサーを配することにより、使用者の歩行停止を検知した場合にのみ、カメラによる後方画像を表示画面部へ表示させ、使用者の歩行の安全性を確保することができる。

【図面の簡単な説明】

【0016】

【図1】本発明に係るヘッドマウントディスプレイの分解斜視図であり、下部に部分拡大側面図を示す。

【図2】同、使用状態を示す３面図。

【図3】同、表示画面部に表示される絵図の説明図。

【図4】同、音を可視化するフローチャート図であり、（ａ）は音認識、（ｂ）は音方向。

【図5】別の例を示す斜視図。

【図6】さらに別の例を示す斜視図であり、下部に部分拡大図を示す。

【図7】さらに別の例を示す斜視図および正面図であり、下部にマイクの集音方向を示す。

【図8】さらに別の例を示す斜視図。

【図9】表示画面部の配置可能範囲を示す平面図。

【発明を実施するための形態】

【0017】

前方視界においてモノの陰に隠れた目視では確認できない死角の音情報の可視化、後方の危険性を伝えるという目的を、画像を表示する表示画面部と、周囲の音を集音するマイクと、後方画像を撮影するカメラと、集音した音情報に対応する点滅光、絵図または画像を表示画面部に表示指示する音判別装置と、により実現した。

【実施例1】

【0018】

本発明は、以下の実施形態に限定されるものではなく、発明の範囲を逸脱しない限り、適宜変更、修正、改良を加え得るものである。

【0019】

本発明に係るヘッドマウントディスプレイを図１−４に基づいて説明する。

【0020】

本例のヘッドマウントディスプレイ１０の基本構成は、情報に応じた画像を表示する表示画面部１２がフレーム１４に配設されてなるものである。

【0021】

本例において、フレーム１４は眼鏡型に形成され、フロント部１４ａとテンプル部１４ｂとにより構成し、さらにテンプル部１４ｂを二分割し、テンプル部１４ｂに対してテンプル部１４ｃを着脱可能とし、その着脱は接続端子構造としてある。

【0022】

周囲の音を集音するマイク１６をフレーム１４に配し、マイク１６が集音した音が、予め登録された特定の周波数である場合に、その情報に対応する点滅光および絵図を表示画面部１２に表示指示する音判別装置１８を、マイク、画像表示部１２とそれぞれ接続可能に、フレーム１４に着脱自在に配してある。

【0023】

本例において、マイク１６はフレーム１４のテンプル部１４ｂに所定間隔を隔てて前後方向に一対配してあり、このため、前後方で発する音の集音性が向上する。

【0024】

さらに、音の種類および方向の判断は、テンプル部１４ｂに配した二つのマイク１６a、１６bの水平方向の離間距離（本例では約数cmの距離が必要）の違いを利用して行われる（図４参照）。

【0025】

このため、マイク１６a、１６bは集音する音に対して水平であることが重要であるが、前後どちらか一方を水平に配置すればよい。

【0026】

予め登録されている周波数は、自動車の接近音、警笛音、自転車の接近音、ベル音、緊急車両が発するサイレン音、等である

【0027】

この際、音は任意にスマートフォン等のデジタル携帯端末を介しBluetooth（登録商標）等の近距離無線通信により登録することが可能であり、また音判別装置１８へ任意の音を登録することも可能である。

【0028】

また、音判別装置１８はフレーム１４のテンプル部１４ｂ下方に着脱自在に配してあるが、フレーム１４の他の個所とすることは自由である。

【0029】

また、加速度センサー２０が音判別装置１８に接続して付設されている。

【0030】

この加速度センサー２０は、使用者が携行し、その歩行または歩行停止を検出するためのものである。

【0031】

後方画像を撮影するカメラ２２を、フレーム１４に配してある。

【0032】

本例において、カメラ２２は後方画像を効果的に撮影するため、フレーム１４のテンプル部１４ｃ後面に配してある。

【0033】

予め後方の危険情報を使用者に点滅光により表示画面部１２に表示させて伝えた後、カメラ２２による後方画像は、使用者の歩行停止を加速度センサー２０が検知した後、表示画面部１２に表示するよう制御されている。

【0034】

それぞれが接続された表示画面部１２、マイク１６、音判別装置１８、加速度センサー２０およびカメラ２２へ、電力を供給するポータブル電源２４が、音判別装置１８に内装されている。

【0035】

本例において、ポータブル電源２４は充電式バッテリーである。

【0036】

また、表示画面部１２に表示される絵図の例が図３に示してある。

【0037】

マイク１６が集音した危険音の周波数に応じて、図３の上段左から自動車の接近、緊急車両の接近、自転車の接近、同図の下段にはその方向を示す絵図が、音判別装置１８により選択、指示される。

【0038】

なお、図中Ｌは眼鏡レンズ、Ｐはバッド、Ｈは一体型の眼鏡レンズを取付けるための凹部を示す。

【0039】

本例のヘッドマウントディスプレイ１０を使用し、使用者に危険情報を視覚的に伝える方法を説明する。

【0040】

まず、使用者は本例のヘッドマウントディスプレイを通常の眼鏡と同様に、装着する。

【0041】

その後、使用者は屋外を歩行する。

【0042】

使用者が歩行中、ヘッドマウントディスプレイ１０のマイク１６が集音した音が、音判別装置１８に予め登録された周波数である場合、その周波数に応じた危険情報を、初めに点滅光にて、次いで絵図（図３上段絵図参照）にて、表示画面部１２に表示して、使用者に危険情報を視覚的に伝える。

【0043】

この際、マイク１６が集音した音の方向も絵図（図３下段絵図参照）として表示画面部１２に表示される。

【0044】

また、前方視界においてモノの陰に隠れた目視では確認できない死角の音情報をも可視化し、絵図として表示画面部１２に表示させ、使用者に伝えることができ、このため使用者は危険を早期に回避することが可能となる。

【0045】

また、眼鏡レンズＬは透明であるため、使用者はこの表示画面部１２の表示と共に、前方視界もそのまま見ることができ、使用者の歩行に支障をきたすことはない。

【0046】

また、マイク１６が集音した音の方向が後方である場合は、カメラ２２により撮影された後方画像も表示画面部１２に表示することができる。

【0047】

このマイク１６が集音した音の種類、方向は、図４（ａ）（ｂ）に示すフローにより判断される。

【0048】

この後方画像は、加速度センサー２０が使用者の歩行停止を検知した場合にのみ、表示画面部１２に表示するように制御されているため、安全面上何ら問題はない。

【0049】

また、ポータブル電源２４の残量が少なくなる、または無くなった場合には、満充電された新たなポータブル電源と交換する。

【0050】

このポータブル電源２４は音判別装置１８内に内装されており、充電が可能、かつ取り外しができるため、容易に交換することができる。

【0051】

この際、電源残量が少なくなったことを使用者に警告するため、危険情報とは異なる点滅光、点灯または絵図を表示画面部１２に表示させることにより、いち早く交換することができる。

【0052】

このように、本発明に係るヘッドマウントディスプレイによれば、前後方のいずれの危険情報音をも視覚的に使用者に伝えることができるため、聴覚障害者（特に中途難聴者）には効果的である。

【0053】

また、ポータブル電源２４および音判別装置１８はヘッドマウントブィスプレイ本体であるフレーム１４とは別体としてあるため、重量が重くならず、通常の眼鏡と同様に装着することができ、使用性については何ら問題がない。

【0054】

なお、本例において、前方の危険情報を伝える際、点滅光および絵図を表示画面部に表示させるものであるが、点滅光による表示を点灯表示としても良く、また後方の危険情報を伝える際、後方画像を表示できるため、絵図による表示を省略することもできる。

【実施例2】

【0055】

また、図５に別の例が示してある。

【0056】

本例は、眼鏡レンズＬの形状が前例と異なり、好みのデザインを選択できるようにしたものであり、自由に取替え使用に供することができる。

【0057】

本例においても第１実施例と同様の効果を奏する。

【実施例3】

【0058】

また、図６に別の例が示してある。

【0059】

本例は、屋外での使用中、太陽光のもとでも、表示画面部１２に表示される絵図、画像を見易くするため、表示画面部１２を眼鏡レンズＬの内側（顔面側）に配し、さらに表示画面部１２の前面側（眼鏡レンズＬ側）に不透過部材２６を配し、この不透過部材２６を配した表示画面部１２をフレーム１４に着脱自在に装着したものである。

【0060】

本例においても第１実施例と同様の効果を奏する。

【実施例4】

【0061】

また、図７に別の例が示してある。

【0062】

本例は、フレーム１４のフロント部１４ａの両側前面形状および眼鏡レンズＬの形状を変更し、マイク１６ａ、１６ｂをフロント部１４ａにも配したものである。

【0063】

このため、第１実施例と同様の効果に加え、集音した音の左右方向を明確に判断することができる。

【実施例5】

【0064】

また、図８に別の例が示してある。

【0065】

本例は、音判別装置１８の制御方式および表示画面部１２へ表示する点滅光の色彩、間隔、情報絵図のデザインを、外部コントローラ２８により、逐次変更可能としたものである。

【0066】

本例においても第１実施例と同様の効果を奏すると共に、外部コントローラ２８としてスマートフォンを使用する場合には、スマートフォンから電力が得られるため、ポータブル電源を省略することも可能となる。加えて、スマートフォンが受信する地震、津波等の緊急災害情報も点滅光または絵図として使用者に伝えることができる。

【0067】

また、図９に表示画面部１２の配置可能範囲３０が示してある。

【0068】

本図によれば、フレーム１４と顔面との間に表示画面部１２が配置可能であることが理解できる。

【産業上の利用可能性】

【0069】

本発明に係るヘッドマウントディスプレイは眼鏡として使用できる他、車載用としても利用することができる。

【符号の説明】

【0070】

１０ ヘッドマウントディスプレイ
１２ 表示画面部
１４ フレーム
１４ａ フロント部
１４ｂ テンプル部
１６ マイク
１８ 音判別装置
２０ 加速度センサー
２２ カメラ
２４ ポータブル電源
２６ 不透過部材

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】