特開 2024-69836 視界補助システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024069836

(43)【公開日】2024-05-22

(54)【発明の名称】視界補助システム

(51)【国際特許分類】

   G09B 21/00 20060101AFI20240515BHJP

   G06F 3/16 20060101ALI20240515BHJP

   G06F 3/01 20060101ALI20240515BHJP

   G06F 3/04842 20220101ALI20240515BHJP

【ＦＩ】

G09B21/00 A

G06F3/16 620

G06F3/16 630

G06F3/01 510

G06F3/04842

G09B21/00 D

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022180071

(22)【出願日】2022-11-10

(71)【出願人】

【識別番号】522440049

【氏名又は名称】株式会社イージスネット

(71)【出願人】

【識別番号】522440050

【氏名又は名称】ＶＩＮＥ株式会社

(74)【代理人】

【識別番号】100174182

【弁理士】

【氏名又は名称】古田 広人

(72)【発明者】

【氏名】濱▲崎▼ 淳

(72)【発明者】

【氏名】藤田 慎也

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA22

5E555AA64

5E555AA71

5E555BA02

5E555BA05

5E555BA06

5E555BA08

5E555BB02

5E555BB05

5E555BB06

5E555BB08

5E555BC04

5E555BE08

5E555BE17

5E555CA12

5E555CA42

5E555CA47

5E555CB12

5E555CB47

5E555CB64

5E555CC03

5E555DA08

5E555DA23

5E555DB03

5E555DB51

5E555DB57

5E555DC09

5E555DC26

5E555DC35

5E555DC75

5E555DD08

5E555EA22

5E555FA00

(57)【要約】

【課題】 目に障害を有する障害者の視界を補助することができる視界補助システムを提供する。
【解決手段】 使用者の視界に対応する視界画像を連続的に撮影可能な少なくとも１つの撮影部と、視界画像に基づいて画像を生成可能な制御部と、画像を少なくとも１つの被投影部に投影する投影部と、使用者が装着した際に被投影部を使用者の眼前に保持する本体部と、を備える視界補助システムであって、制御部は、視界画像に基づいて予め設定された特定の物体が撮影されたと判定した際に、特定の物体を装飾する画像を含む特定画像を生成し、投影部を介して被投影部に特定画像を投影させる、ことを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

使用者の視界に対応する視界画像を連続的に撮影可能な少なくとも１つの撮影部と、
前記視界画像に基づいて画像を生成可能な制御部と、
前記画像を少なくとも１つの被投影部に投影する投影部と、
前記使用者が装着した際に前記被投影部を使用者の眼前に保持する本体部と、を備える視界補助システムであって、
前記制御部は、前記視界画像に基づいて前記使用者の視界に特定の物体があると判定した際に、前記特定の物体が前記使用者の視界にあることを前記使用者に報知する画像を含む特定画像を生成し、前記投影部を介して前記被投影部の前記使用者の視界における特定の物体の位置に前記特定画像を投影させる、
ことを特徴とする視界補助システム。

【請求項2】

前記制御部は、前記使用者の目前に前記特定の物体があると判定した際に、前記特定の物体を囲う枠体の画像を含む前記特定画像を生成し、前記特定の物体の予め設定された重要度に応じて前記枠体の色を異ならせる、
ことを特徴とする請求項１に記載の視界補助システム。

【請求項3】

前記制御部は、前記使用者の目前に前記特定の物体があると判定した際に、前記特定の物体を含む特定の範囲が拡大された前記特定画像を生成する、
ことを特徴とする請求項１又は請求項２のいずれか１項に記載の視界補助システム。

【請求項4】

前記制御部は、前記特定の物体が段差であると判定した際に、前記段差の角部に沿った線状の画像を含む前記特定画像を生成する、
ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の視界補助システム。

【請求項5】

前記制御部は、前記特定の物体が文字又は数字であると判定した際に、前記文字又は数字に対応した画像を含む前記特定画像を生成する、
ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の視界補助システム。

【請求項6】

使用者の音声を前記制御部に入力する音声入力部を更に備え、
前記制御部は、前記音声に基づいて特定の音声が入力されたと判定した際に、前記視界画像に基づいて前記特定の音声に対応する物体の位置を前記使用者に報知する特定画像を生成する、
ことを特徴とする請求項１乃至請求項５のいずれか１項に記載の視界補助システム。

【請求項7】

音声を外部に出力する音声出力部を更に備え、
前記制御部は、前記使用者の目前に前記特定の物体があると判定した際に、前記視界画像に前記特定の物体が撮影されたことを報知する特定音声を生成し、前記音声出力部を介して前記特定音声を外部に出力する、
ことを特徴とする請求項１乃至請求項６のいずれか１項に記載の視界補助システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想世界の情報を現実世界のそこにあるかのように存在させる複合現実を用いた視界補助システムであって、特に、視界に障害を有する障害者の視界を補助する視界補助システムに関するものである。

【背景技術】

【0002】

従来、視界補助システムは、例えば、使用者が装着した際にレンズ体を使用者の眼前に保持する眼鏡型の本体部と、眼鏡型本体部に接続される制御端末と、を備えている。使用者は、本体部を装着して制御端末を操作することにより、レンズ体に画像を投影させることが可能であり、レンズ体を介して視る背景とレンズ体に投影されて背景に重ねられた画像とから情報を得ることができる（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－０８２３６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記のような視界補助システムでは、例えば、視界の端部が霞んだり視界の全体が霞んだり等、目に障害を有する障害者の視界を補助することが望まれており、この点については改善の余地があった。

【0005】

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、目に障害を有する障害者の視界を補助することができる視界補助システムを提供することにある。

【課題を解決するための手段】

【0006】

上述の目的を達成するための有効な解決手段を以下に示す。なお、必要に応じてその作用等の説明を行う。また、理解の容易のため、発明の実施の形態において対応する構成等についても適宜示すが、何ら限定されるものではない。

【0007】

上記した目的を達成するために、本発明の請求項１に係る発明は、
使用者の視界に対応する視界画像を連続的に撮影可能な少なくとも１つの撮影部と、
前記視界画像に基づいて画像を生成可能な制御部と、
前記画像を少なくとも１つの被投影部に投影する投影部と、
前記使用者が装着した際に前記被投影部を使用者の眼前に保持する本体部と、を備える視界補助システムであって、
前記制御部は、前記視界画像に基づいて前記使用者の視界に特定の物体があると判定した際に、前記特定の物体が前記使用者の視界にあることを前記使用者に報知する画像を含む特定画像を生成し、前記投影部を介して前記被投影部の前記使用者の視界における特定の物体の位置に前記特定画像を投影させる、
ことを特徴とする視界補助システム。

【0008】

上記本発明の請求項１に係る発明の視界補助システムによれば、制御部が、視界画像に基づいて使用者の視界に特定の物体があると判定した際に、特定の物体が使用者の視界にあることを使用者に報知する画像を含む特定画像を生成し、投影部を介して被投影部の使用者の視界における特定の物体の位置に特定画像を投影させるため、使用者が特定画像に向かって視点を移動させることにより特定の物体を霞が小さい視界の中央部に移動させることができ、ひいては、使用者が特定の物体を視界の中央部で視認でき、目に障害を有する障害者の視界を補助することができる（例えば、段落［００３５］～段落［００４０］を参照）。

【0009】

上記目的を達成するために、本発明の請求項２に係る発明は、
前記制御部は、前記使用者の目前に前記特定の物体があると判定した際に、前記特定の物体を囲う枠体の画像を含む前記特定画像を生成し、前記特定の物体の予め設定された重要度に応じて前記枠体の色を異ならせる、
ことを特徴とする請求項１に記載の視界補助システム。

【0010】

上記本発明の請求項２に係る発明の視界補助システムによれば、制御部が、使用者の目前に特定の物体があると判定した際に、特定の物体を囲う枠体の画像を含む特定画像を生成し、特定の物体の予め設定された重要度に応じて枠体の色を異ならせるため、例えば、視界画像に複数の特定の物体が撮影された場合に、使用者が枠体の色に応じてより重要度の高い枠体に向かって視点を移動させることにより、重要度の高い特定の物体（例えば、信号機や予め設定された速度以上で使用者に向かってくるもの等）を霞が小さい視界の中央部に移動させることができ、ひいては、使用者が重要度の高い特定の物体を視界の中央部で目視によって視認でき、目に障害を有する障害者の視界を補助することができる（例えば、段落［００３５］～段落［００４０］を参照）。

【0011】

上記目的を達成するために、本発明の請求項３に係る発明は、
前記制御部は、前記使用者の目前に前記特定の物体があると判定した際に、前記特定の物体を含む特定の範囲が拡大された前記特定画像を生成する、
ことを特徴とする請求項１又は請求項２のいずれか１項に記載の視界補助システム。

【0012】

上記本発明の請求項３に係る発明の視界補助システムによれば、制御部が、使用者の目前に特定の物体があると判定した際に、特定の物体を含む特定の範囲が拡大された特定画像を生成するため、例えば、使用者が視界の全体に霞を有する障害者である場合に、特定の物体を含む特定の範囲が拡大された特定画像に向かって視点を移動させることにより、特定の物体を含む特定の範囲を視界の中央部に移動させることができ、ひいては、使用者が拡大された特定の物体を視認でき、目に障害を有する障害者の視界を補助することができる（例えば、段落［００４１］～段落［００５２］を参照）。

【0013】

上記目的を達成するために、本発明の請求項４に係る発明は、
前記制御部は、前記特定の物体が段差であると判定した際に、前記段差の角部に沿った線状の画像を含む前記特定画像を生成する、
ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の視界補助システム。

【0014】

上記本発明の請求項４に係る発明の視界補助システムによれば、制御部が、特定の物体が段差であると判定した際に、段差の角部に沿った線状の画像を含む特定画像を生成するため、例えば、使用者が周囲に段差があることを容易に認識できるとともに、線状の画像に向かって視点を移動させることにより、段差を視界の中央部に移動させることができ、ひいては、使用者が周囲の段差を視認し段差で躓く等の事故を抑制することができ、目に障害を有する障害者の視界を補助することができる（例えば、段落［００６６］～段落［００６９］を参照）。

【0015】

上記目的を達成するために、本発明の請求項５に係る発明は、
前記制御部は、前記特定の物体が文字又は数字であると判定した際に、前記文字又は数字に対応した画像を含む前記特定画像を生成する、
ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の視界補助システム。

【0016】

上記本発明の請求項５に係る発明の視界補助システムによれば、制御部が、特定の物体が文字又は数字であると判定した際に、文字又は数字に対応した画像を含む特定画像を生成するため、使用者が特定画像に向かって視点を移動させることにより、特定の物体である文字又は数字を視界の中央部に移動させることができ、ひいては、使用者が文字又は数字を視界の中央部で視認でき、目に障害を有する障害者の視界を補助することができる（例えば、段落［００５７］～段落［００６４］を参照）。

【0017】

上記目的を達成するために、本発明の請求項６に係る発明は、
使用者の音声を前記制御部に入力する音声入力部を更に備え、
前記制御部は、前記音声に基づいて特定の音声が入力されたと判定した際に、前記視界画像に基づいて前記特定の音声に対応する物体の位置を前記使用者に報知する特定画像を生成する、
ことを特徴とする請求項１乃至請求項５のいずれか１項に記載の視界補助システム。

【0018】

上記本発明の請求項６に係る発明の視界補助システムによれば、使用者の音声を制御部に入力する音声入力部を更に備え、制御部が、音声に基づいて特定の音声が入力されたと判定した際に、視界画像に基づいて特定の音声に対応する物体の位置を前記使用者に報知する特定画像を生成するため、使用者が特定画像に向かって視点を移動させることにより、特定の音声に対応する物体を視界の中央部に移動させることができ、ひいては、使用者が特定の音声に対応する物体を視界の中央部で視認でき、目に障害を有する障害者の視界を補助することができる（例えば、段落［００４１］～段落［００５２］を参照）。

【0019】

上記目的を達成するために、本発明の請求項７に係る発明は、
音声を外部に出力する音声出力部を更に備え、
前記制御部は、前記使用者の目前に前記特定の物体があると判定した際に、前記視界画像に前記特定の物体が撮影されたことを報知する特定音声を生成し、前記音声出力部を介して前記特定音声を外部に出力する、
ことを特徴とする請求項１乃至請求項６のいずれか１項に記載の視界補助システム。

【0020】

上記本発明の請求項７に係る発明の視界補助システムによれば、音声を外部に出力する音声出力部を更に備え、制御部が、使用者の目前に特定の物体あると判定した際に、視界画像に特定の物体が撮影されたことを報知する特定音声を生成し、音声出力部を介して特定音声を外部に出力するため、使用者が特定画像に向かって視点を移動させるよりも先に、特定の物体の情報を特定音声によって使用者に報知することができ、使用者が特定音声を確認した後に特定音声に応じて特定画像に向かって視点を移動させ特定の音声に対応する物体を視界の中央部に移動させることができ、ひいては、使用者が特定音声に対応する物体を視界の中央部で視認でき、目に障害を有する障害者の視界を補助することができる（例えば、段落［００４１］～段落［００５２］を参照）。

【発明の効果】

【0021】

このように、本発明の視界補助システムにおいては、目に障害を有する障害者の視界を補助することができる。

【図面の簡単な説明】

【0022】

【図1】本実施形態の視界補助システムの外観を示す斜視図である。

【図2】本実施形態の視界補助システムを示すブロック図である。

【図3】（ａ）は、レンズ体を介して視る健常者の視界を示す図であり、（ｂ）は、レンズ体を介して視る障害者の視界を示す図である。

【図4】（ａ）は、特定の物体を装飾する画像が投影されたレンズ体を介して視る障害者の視界を示す図であり、（ｂ）は、特定の物体を装飾する画像に向かって視点を移動させた後のレンズ体を介して視る障害者の視界を示す図である。

【図5】（ａ）は、レンズ体を介して視る健常者の視界を示す図であり、（ｂ）は、レンズ体を介して視る障害者の視界を示す図である。

【図6】（ａ）は、特定の物体を装飾する画像が投影されたレンズ体を介して視る障害者の視界を示す図であり、（ｂ）は、特定の物体を変更した後のレンズ体を介して視る障害者の視界を示す図である。

【図7】（ａ）は、レンズ体を介して視る健常者の視界を示す図であり、（ｂ）は、レンズ体を介して視る障害者の視界を示す図である。

【図8】（ａ）は、レンズ体を介して視る健常者の視界を示す図であり、（ｂ）は、レンズ体を介して視る障害者の視界を示す図である。

【図9】特定の物体を装飾する画像が投影されたレンズ体を介して視る障害者の視界を示す図である。

【図10】（ａ）は、レンズ体を介して視る健常者の視界を示す図であり、（ｂ）は、レンズ体を介して視る障害者の視界を示す図である。

【図11】（ａ）は、レンズ体を介して視る健常者の視界を示す図であり、（ｂ）は、レンズ体を介して視る障害者の視界を示す図である。

【発明を実施するための形態】

【0023】

［１．視界補助システムの全体構成］
本実施形態の視界補助システム１について、図面を参照して詳細に説明する。図１は、本実施形態の視界補助システム１の外観を示す斜視図であり、詳しくは、眼鏡型の本体部２と制御端末１０とが有線で接続された状態の視界補助システム１の外観を示す斜視図である。図２は、本実施形態の視界補助システム１を示すブロック図である。

【0024】

図１又は図２に示すように、視界補助システム１は、眼鏡型の本体部２と、本体部２に接続線８を介して接続された制御端末１０と、を備えている。眼鏡型の本体部２は、左右のレンズ体３を使用者の眼前で保持するメインフレーム２ａと、メインフレーム２ａの左右の端部から後方に延びる左右のサブフレーム２ｂとから構成されている。使用者は、左右のサブフレーム２ｂを左右の耳の上部に係合させるように本体部２を装着し、左右のレンズ体３を左右の眼前に位置させることができる。なお、サブフレーム２ｂは、メインフレーム２ａに対して内側に折り畳みが可能に構成されてもよく、非装着時に本体部２を小型化でき、例えば、本体部２の持ち運びの利便性を高めることができる。

【0025】

本体部２は、メインフレーム２ａに保持された左右のレンズ体３と、左右のレンズ体３の外側の上部に設けられた左右の深度カメラ４と、右側のレンズ体３の内側の上部に設けられたＲＧＢカメラ４ａと、メインフレーム２ａの上部に設けられた投影部５と、メインフレーム２ａの中央部に設けられたマイク６と、左右のサブフレーム２ｂの内側に設けられた左右のスピーカー７と、一方のサブフレーム２ｂの端部に設けられて深度カメラ４やＲＧＢカメラ４ａや投影部５やマイク６やスピーカー７と制御端末１０とを接続する接続線８と、を有している。本体部２には、例えば、Ｎｒｅａｌｌｉｇｈｔ（登録商標）等の複合現実グラスが採用されてもよい。なお、本体部２は、深度カメラ４やＲＧＢカメラ４ａや投影部５やマイク６やスピーカー７に電力を供給するバッテリーを更に備えてもよいし、深度カメラ４やＲＧＢカメラ４ａや投影部５やマイク６やスピーカー７と制御端末１０との接続は、接続線８に換えてＢｌｕｅｔｏｏｔｈ（登録商標）等を用いた無線接続であってもよい。

【0026】

左右のレンズ体３は、使用者が本体部２を装着した際に使用者の眼前に位置し、使用者は、透光性を有する左右のレンズ体３を介して視界を確保することができる。投影部５は、制御端末１０から出力された画像情報に基づいて左右のレンズ体３に画像を投影し、左右のレンズ体３に投影された画像は、使用者がレンズ体３を介して視認することができる。深度カメラ４は、縦横の情報に加えて奥行の情報を撮影することが可能であり、予め設定された時間毎に連続的に画像を撮影し、撮影した画像を画像情報として制御端末１０に入力する。ＲＧＢカメラ４ａは、いわゆるデジタルカメラであり、深度カメラ４と同様に、予め設定された時間毎に連続的に画像を撮影し、撮影した画像を画像情報として制御端末１０に入力する。マイク６は、周囲の音声を集音して集音した音声を音声情報として制御端末１０に入力する。スピーカー７は、制御端末１０から出力された音声情報に基づいて外部に音声を出力する。なお、本体部２に設けられるマイク６やスピーカー７に換えて、制御端末１０にマイク６やスピーカー７を設けてもよいし、使用者の頭部や耳に装着されるマイクとスピーカーとを有するヘッドセットを採用してもよく、ヘッドセットを採用する場合に、ヘッドセットは、有線又は無線で制御端末１０と接続されてもよいし、有線で本体部２を介して制御端末１０と接続されてもよい。

【0027】

制御端末１０は、外枠１０ａと、外枠１０ａ内に設けられた制御部１１やバッテリー１２と、外枠１０ａに取り付けられたタッチパネル１３と、を有している。制御端末１０は、例えば、スマートフォン型端末やタブレット型端末やノートパソコン型端末等の汎用端末であってもよいし、視界補助システム１にのみ対応する専用端末であってもよく、本実施形態では、制御端末１０にスマートフォン型端末を採用している。制御部１１は、接続線８を介して、深度カメラ４やＲＧＢカメラ４ａから画像情報が入力され、投影部５に画像情報を出力する。また、制御部１１は、接続線８を介して、マイク６から音声情報が入力され、スピーカー７に音声情報を出力する。バッテリー１２は、接続線８を介して深度カメラ４やＲＧＢカメラ４ａや投影部５やマイク６やスピーカー７に電力を供給する。タッチパネル１３は、使用者が操作することにより制御部１１に設定情報等を入力することができる。なお、制御端末１０は、より小型化が図られた際に、眼鏡型の本体部２に組み込まれる態様であってもよい。

【0028】

図３（ａ）は、レンズ体３を介して視る健常者の視界を示す図であり、図３（ｂ）は、レンズ体３を介して視る障害者の視界を示す図である。図３（ａ）に示すように、レンズ体３を介して視る健常者の視界は、視点Ｐを中心として霞み等の障害が無い鮮明領域Ｘのみによって形成されており、視界内のもの（例えば、信号や標識等）を容易に判別することが可能である。よって従来、上述の本体部２と制御端末１０とを有する視界補助システム１を用いることにより、使用者は、本体部２を装着して制御端末１０を操作し、レンズ体３に所望の画像を投影させ、レンズ体３を介して視る背景と背景に重ねられるようにレンズ体３に投影された画像とから複数の情報を得ることができる。具体的には、例えば、レンズ体３に投影されて視界の上端部に表示される着信情報と、レンズ体３を介して視る歩行者用信号が有るとの情報及び該信号の色の情報等複数の情報を同時に得ることができる。

【0029】

しかしながら、図３（ｂ）に示すように、レンズ体３を介して視る障害者の視界は、視点Ｐを中心とする中央部には霞み等の障害の無い鮮明領域Ｘが形成されるものの、鮮明領域Ｘの外側には霞み等の障害が有る不鮮明領域Ｙが形成されており、視界内において不鮮明領域Ｙのもの（例えば、信号や標識等）やそのものの状態（例えば、信号の色や標識内の文字）を容易に判別することが困難である。このため、上述の本体部２と制御端末１０とを有する視界補助システム１においては、視界の端部が霞んだり視界の全体が霞んだり等、目に障害があり不鮮明領域Ｙを有する障害者の視界を補助することが望まれている。以下、このような問題を解消することを目的に、本実施形態の視界補助システム１について説明する。

【0030】

本実施形態の視界補助システム１の制御部１１は、予め入力された設定情報や画像情報や音声情報等を記憶する記憶部１１ａと、深度カメラ４やＲＧＢカメラ４ａから入力される画像情報と記憶部１１ａに記憶される画像情報とに基づいて視界画像内の特定の物体の有無を判定する画像判定部１１ｂと、画像判定部１１ｂが視界画像内に特定の物体が有ると判定した際に記憶部１１ａに記憶される画像情報を参照して特定の物体を装飾する画像を生成する画像生成部１１ｃと、マイク６から入力される音声情報と記憶部１１ａに記憶される音声情報とに基づいて特定の音声の入力の有無を判定する音声判定部１１ｄと、画像判定部１１ｂが視界画像内に特定の物体が有ると判定した際や音声判定部１１ｄが特定の音声の入力が有ると判定した際に記憶部１１ａに記憶される音声情報を参照してスピーカー７に出力する特定音声情報を生成する音声生成部１１ｅと、を有している。

【0031】

本実施形態の画像判定部１１ｂは、深度カメラ４やＲＧＢカメラ４ａから順次入力される画像情報（視界画像）を数列に置き換えた数列情報を生成し、数列情報に記憶部１１ａに記憶される特定の物体（例えば、信号や標識等）の数列情報に近似する箇所が有るか無いかを判定する。画像判定部１１ｂは、例えば、生成した数列情報に７割以上の割合で特定の物体の数列情報が有る場合に、深度カメラ４やＲＧＢカメラ４ａから入力された画像情報に特定の物体が撮影されていると判定する。また、画像判定部１１ｂは、深度カメラ４やＲＧＢカメラ４ａから入力された画像情報に特定の物体が撮影されていると判定した際に、特定の物体の種別の情報と視界画像内の特定の物体の位置の情報とを画像生成部１１ｃに出力する。なお、画像判定部１１ｂは、例えば、特定の物体と判定した数列情報を特定の物体の数列情報として記憶部１１ａに出力し、記憶部１１ａに特定の物体の数列情報を追加で記憶させてもよく、この結果、複数の画像情報を判定することによって学習し、深度カメラ４やＲＧＢカメラ４ａから入力された画像情報に特定の物体が撮影されているか否かの判定の精度を向上させることができる。

【0032】

音声判定部１１ｄは、マイク６から順次入力される音声情報に基づいて、記憶部１１ａに記憶された特定の音声が入力されたか否かを判定する。音声判定部１１ｄは、特定の音声が入力されたと判定した際に、特定の音声に応じて画像生成部１１ｃや音声生成部１１ｅに特定の音声に応じた情報を出力する。なお、特定の音声に応じた情報の具体例については後述する。

【0033】

画像生成部１１ｃは、画像判定部１１ｂから特定の物体の種別の情報と視界画像内の特定の物体の位置の情報とが入力された際に、特定の物体の種別の情報に基づいて、記憶部１１ａに記憶される特定の物体を装飾する画像の態様（形状や色等）を決定し、視界画像内の特定の物体の位置の情報に基づいて、特定の物体を装飾する画像のサイズ及び特定の物体を装飾する画像をレンズ体３に投影する位置を決定し、これら画像情報と位置情報とを投影部５に出力する。なお、画像生成部１１ｃにて生成される特定の物体を装飾する画像の具体例については後述する。また、画像生成部１１ｃは、音声判定部１１ｄから入力される特定の音声に応じた情報に基づいて、例えば、投影部５への画像情報と位置情報の出力を停止させる。

【0034】

音声生成部１１ｅは、例えば、画像判定部１１ｂから特定の物体の種別の情報と視界画像内の特定の物体の位置の情報とが入力された際に、特定の物体の種別の情報に基づいて記憶部１１ａに記憶される特定の物体の名称の音声情報を取得し、特定の物体の位置の情報に基づいて記憶部１１ａに記憶される特定の物体が視点Ｐを中心としてどの方向に位置するかの方向の音声情報を取得し、方向の音声情報と名称の音声情報とを統合してスピーカー７に出力する。この場合に、スピーカー７は、例えば、「左方に特定の物体があり、右方に特定の物体があります」等の音声を外部（使用者）に出力する。なお、音声生成部１１ｅは、画像判定部１１ｂから入力される特定の物体の種別の情報と視界画像内の特定の物体の位置の情報とに基づいて、スピーカー７に出力する方向の音声情報と名称の音声情報とに変化がない場合には、該方向の音声情報と名称の音声情報とをスピーカー７に出力しない態様であってもよい。また、音声生成部１１ｅは、例えば、音声判定部１１ｄから特定の音声に応じた情報が入力された際に、特定の音声に応じた情報に基づいて記憶部１１ａに記憶される音声情報を取得し、該音声情報をスピーカー７に出力する。また、音声情報の具体例については後述する。

【0035】

［２．視界補助システムの動作説明］
以下、本実施形態の視界補助システム１を目に障害の有る障害者が使用した際の動作について具体的に説明する。図４（ａ）は、特定の物体を装飾する画像が投影されたレンズ体３を介して視る障害者の視界を示す図であり、図４（ｂ）は、特定の物体を装飾する画像に向かって視点Ｐを移動させた後のレンズ体３を介して視る障害者の視界を示す図であり、いずれも視界補助システム１が動作時のレンズ体３を介して視る障害者の視界を示す図である。

【0036】

図４（ａ）に示すレンズ体３を介して視る障害者の視界には、上記図３（ｂ）に示すレンズ体３を介して視る障害者の視界に比して、レンズ体３に投影された左方の装飾画像Ｚ１と右方の装飾画像Ｚ２とが追加されている。装飾画像Ｚ１は、上記図３（ａ）に示された信号機を囲うように生成されて投影された枠体の画像であり、装飾画像Ｚ２は、上記図３（ａ）に示された標識を囲うように生成されて投影された枠体の画像である。

【0037】

本例においては、深度カメラ４及びＲＧＢカメラ４ａから画像情報（視界情報）が制御部１１に入力されると、まず画像判定部１１ｂにおいて画像情報に基づいて、特定の物体が撮影されているか否かが判定される。具体的には、画像判定部１１ｂは、画像情報が入力されると記憶部１１ａに記憶されている情報を参照して、画像情報に信号機と標識とが撮影されていると判定し、信号機が撮影されているとの情報及び画像情報（視界情報）内での信号機の位置の情報と、標識が撮影されているとの情報及び画像情報（視界情報）内での標識の位置の情報と、を画像生成部１１ｃ及び音声生成部１１ｅに出力する。詳しくは、画像判定部１１ｂは、画像情報が入力されると画像情報を数列情報に変換するとともに、該数列情報内に記憶部１１ａに記憶されている信号機や標識等の特定の物体を示す数列情報と近似する部分の有無を判定し、近似する部分がある場合に画像情報に特定の物体が撮影されていると判定し、特定の物体が撮影されているとの情報及び画像情報内での特定の物体の位置の情報を画像生成部１１ｃ及び音声生成部１１ｅに出力する。

【0038】

画像生成部１１ｃでは、信号機が撮影されているとの情報及び画像情報（視界情報）内での信号機の位置の情報に基づいて記憶部１１ａに記憶されている情報を参照し、特定の物体を装飾する特定画像として、信号機の重要度に応じた赤色で形成された信号機を囲う枠体の画像情報及び位置情報を生成し、標識が撮影されているとの情報及び画像情報（視界情報）内での標識の位置の情報に基づいて記憶部１１ａに記憶されている情報を参照し、特定の物体を装飾する特定画像として、標識の重要度に応じた青色で形成された標識を囲う枠体の画像情報及び位置情報を生成し、これらの枠体の画像情報及び位置情報を投影部５に出力する。この結果、投影部５は、レンズ体３に装飾画像Ｚ１と装飾画像Ｚ２とを投影し、図４（ａ）に示すように、レンズ体３を介して視る障害者の視界には、信号機を囲う左方の装飾画像Ｚ１と標識を囲う右方の装飾画像Ｚ２とが含まれる。なお、装飾画像の枠体の色は、重要度に関することなく例えば赤色等に統一されてもよい。また、特定の物体の重要度に応じて枠体の色を変更する場合であっても、特定の物体の重要度は、例えば、マイク６やタッチパネル１３を用いて記憶部１１ａに予め設定されることが望ましく、例えば、使用者が特定を必要とするもの毎に、重要度が最も高い例えば信号機は赤色、重要度が高い例えば段差は黄色、重要度が低い例えば標識は青色等の情報が記憶部１１ａに予め設定されることが望ましい。

【0039】

また、音声生成部１１ｅでは、信号機が撮影されているとの情報及び画像情報（視界情報）内での信号機の位置の情報に基づいて記憶部１１ａに記憶されている情報を参照し、方向の音声情報と名称の音声情報として、「左方に重要度が最も高い信号機があります」との第１音声情報を生成し、標識が撮影されているとの情報及び画像情報（視界情報）内での標識の位置の情報に基づいて記憶部１１ａに記憶されている情報を参照し、方向の音声情報と名称の音声情報として、「右方に重要度が低い標識があります」との第２音声情報を生成し、第１音声情報と第２音声情報とを統合した「左方に重要度が最も高い信号機があり、右方に重要度が低い標識があります」との第３音声情報を生成し、第３音声情報をスピーカー７に出力する。この結果、スピーカー７は、「左方に重要度が最も高い信号機があり、右方に重要度が低い標識があります」との音声を外部（使用者）に向かって出力し、使用者の視界の左方に信号機があり使用者の視界の右方に標識があることを使用者に報知することができる。なお、画像判定部１１ｂは、音声生成部１１ｅに信号機が撮影されているとの情報及び画像情報（視界情報）内での信号機の位置の情報と、標識が撮影されているとの情報及び画像情報（視界情報）内での標識の位置の情報と、を出力しない態様であってもよく、バッテリー１２の消耗を抑制することができる。

【0040】

本実施形態の視界補助システム１によれば、視界に含まれる装飾画像Ｚ１とスピーカーから出力される音声とによって、図４（ｂ）に示すように、使用者は装飾画像Ｚ１に向かって視点Ｐを移動させ、霞が小さい視界の中央部である鮮明領域Ｘに特定の物体である信号機を移動させることができ、ひいては、使用者が重要度の高い特定の物体である信号機を視界の中央部である鮮明領域Ｘにて目視によって視認でき、目に障害を有する障害者の視界を補助することができる。また、例えば、深度カメラ４及びＲＧＢカメラ４ａに複数の特定の物体である信号機や標識が撮影された場合であっても、特定の物体の重要度に応じて枠体の色や音声を異ならせることができ、使用者が枠体の色や音声に応じてより重要度の高い枠体に向かって視点を移動させることにより、重要度の高い特定の物体（例えば、信号機や予め設定された速度以上で使用者に向かってくるもの等）を視界の中央部である鮮明領域Ｘにて目視によって視認でき、目に障害を有する障害者の視界を補助することができる。

【0041】

図５（ａ）は、レンズ体３を介して視る健常者の視界を示す図であり、図５（ｂ）は、レンズ体３を介して視る障害者の視界を示す図である。図５（ａ）に示すように、レンズ体３を介して視る健常者の視界は、視点Ｐを中心として霞み等の障害が無い鮮明領域Ｘのみによって形成されており、視界内のもの（例えば、商品陳列棚に並ぶ各陳列商品や値札等）を容易に判別することが可能である。これに対して、図５（ｂ）に示すように、レンズ体３を介して視る障害者の視界は、視点Ｐを中心として霞み等の障害が有る不鮮明領域Ｙのみによって形成されており、視界内のもの（例えば、商品陳列棚に並ぶ各陳列商品や値札等）を容易に判別することが困難である。以下、このような問題を解消することを目的に、本実施形態の視界補助システム１について説明する。

【0042】

本実施形態の視界補助システム１では、マイク６を介して使用者が入力する特定の音声、又はタッチパネル１３を介して使用者が入力する操作情報に応じて、レンズ体３を介する視界において、特定の物体を含む特定の範囲を拡大させてもよいし、視界の一部の特定の範囲を拡大させてもよい。図６（ａ）は、特定の物体を装飾する画像が投影されたレンズ体３を介して視る障害者の視界を示す図であり、図６（ｂ）は、特定の物体を変更した後のレンズ体３を介して視る障害者の視界を示す図であり、いずれも視界補助システム１が動作時のレンズ体３を介して視る障害者の視界を示す図である。

【0043】

図６（ａ）に示すレンズ体３を介して視る障害者の視界には、上記図５（ｂ）に示すレンズ体３を介して視る障害者の視界に比して、レンズ体３に投影された装飾画像Ｚ３が追加されている。装飾画像Ｚ３は、上記図５（ａ）に示された商品棚に陳列された特定の商品と特定の商品の周囲とが大きく見えるように拡大されて投影された画像である。なお、装飾画像Ｚ３は、円状や多角形状の枠体を有し該枠体内に拡大された画像が投影される態様であってもよいし、枠体を有しておらず任意の範囲に拡大された画像が投影される態様であってもよい。

【0044】

本例においては、マイク６を介して「拡大」との特定の音声が制御部１１に入力されると、音声判定部１１ｄにおいてマイク６から入力された「拡大」との音声情報が記憶部１１ａに記憶された特定の音声としての情報と一致するか否かが判定される。音声判定部１１ｄは、「拡大」との音声情報が記憶部１１ａに記憶された特定の音声と一致すると判定した際に、画像判定部１１ｂや画像生成部１１ｃや音声生成部１１ｅに「拡大」との特定の音声に応じた操作情報を出力する。なお、タッチパネル１３を介して「拡大」との特定の操作が制御部１１に入力された場合には、制御部１１においてタッチパネル１３から入力された「拡大」との操作情報が記憶部１１ａに記憶された特定の操作としての情報と一致するか否かが判定される。制御部１１は、「拡大」との操作情報が記憶部１１ａに記憶された特定の操作と一致すると判定した際に、画像判定部１１ｂや画像生成部１１ｃや音声生成部１１ｅに「拡大」との特定の操作に応じた操作情報を出力する。

【0045】

画像判定部１１ｂでは、「拡大」との特定の音声や特定の操作に応じた操作情報が入力されると、深度カメラ４及びＲＧＢカメラ４ａから入力される画像情報に基づいて、特定の物体が撮影されているか否かが判定される。具体的には、画像判定部１１ｂは、操作情報が入力されると画像情報に基づいて記憶部１１ａに記憶されている情報を参照して、画像情報に陳列されている複数の商品と各商品に対応する値札とが撮影されていると判定し、本例では画像情報の中央部付近に撮影されている特定の商品と値札の情報と、特定の商品と値札の位置の情報と、を画像生成部１１ｃ及び音声生成部１１ｅに出力する。詳しくは、画像判定部１１ｂは、画像情報が入力されると画像情報の中央部付近を数列情報に変換するとともに、該数列情報内に記憶部１１ａに記憶されている複数の商品の各々を示す数列情報と近似する部分の有無を判定し、近似する部分が有る場合に画像情報に特定の物体が撮影されていると判定し、特定の物体が撮影されているとの情報及び画像情報内での特定の物体の位置の情報を画像生成部１１ｃ及び音声生成部１１ｅに出力する。

【0046】

画像生成部１１ｃでは、特定の商品と値札とが撮影されているとの情報及び画像情報（視界情報）内での特定の商品と値札の位置の情報に基づいて、特定の物体を装飾する特定画像として、特定の商品と値札とを含む範囲が拡大された画像情報及び特定の商品と値札とを含む範囲の位置情報を生成し、画像情報及び位置情報を投影部５に出力する。この結果、投影部５は、レンズ体３に装飾画像Ｚ３を投影し、図６（ａ）に示すように、レンズ体３を介して視る障害者の視界には、視界の中央部に位置する商品と商品の値札とが拡大された装飾画像Ｚ３とが含まれる。なお、装飾画像Ｚ３は、レンズ体３を介して視る障害者の視界の不鮮明領域Ｙとの差別化を図るため、予め設定された色や太さの線で拡大画像を囲う枠体を含む態様であることが好ましい。また、装飾画像Ｚ３の拡大画像の倍率は使用者によって予め設定されてもよいし、例えば、装飾画像Ｚ３がレンズ体３に投影された後に、マイク６やタッチパネル１３を介して更に拡大や縮小が可能な態様であってもよい。

【0047】

また、音声生成部１１ｅでは、特定の商品と値札とが撮影されているとの情報及び画像情報（視界情報）内での特定の商品と値札の位置の情報に基づいて、名称の音声情報と数値の音声情報として、「〇〇（商品名）の値段は△△円です」との音声情報を生成し、音声情報をスピーカー７に出力する。この結果、スピーカー７は、「〇〇（商品名）の値段は△△円です」との音声を外部（使用者）に向かって出力し、使用者の視界の中央部の商品の名称と価格を使用者に報知することができる。なお、画像判定部１１ｂは、音声生成部１１ｅに特定の商品と値札とが撮影されているとの情報及び画像情報（視界情報）内での特定の商品と値札の位置の情報を出力しない態様であってもよく、バッテリー１２の消耗を抑制することができる。

【0048】

本実施形態の視界補助システム１によれば、視界に含まれる装飾画像Ｚ３とスピーカーから出力される音声とによって、図６（ａ）に示すように、使用者は陳列棚に並ぶ商品の名称とその価格を知ることができ、目に障害を有する障害者の視界を補助することができる。また、本実施形態のようにレンズ体３に拡大された画像である装飾画像Ｚ３を投影する態様は、上述の特定の物体の重要度に応じて特定の物体を囲う枠体の画像である装飾画像Ｚ１等と組み合わせてもよく、例えば、重要度の最も高い信号機が拡大された画像を重要度が最も高いことを示す赤色の枠体で囲う装飾画像をレンズ体３に投影させてもよい。

【0049】

また、マイク６やタッチパネル１３を介して「〇〇（商品名）を拡大」との操作情報が、画像判定部１１ｂや画像生成部１１ｃや音声生成部１１ｅに入力された場合に、画像判定部１１ｂでは、深度カメラ４及びＲＧＢカメラ４ａから入力される画像情報と記憶部１１ａに記憶される画像情報とに基づいて、〇〇（商品名）である特定の物体が撮影されているか否かが判定され、特定の物体が撮影されていない場合には、特定の物体が撮影されていないとの情報を画像生成部１１ｃや音声生成部１１ｅに出力する。他方、特定の物体が撮影されている場合には、画像判定部１１ｂは、画像情報の特定の商品と値札の情報と、特定の商品と値札の位置の情報と、を画像生成部１１ｃ及び音声生成部１１ｅに出力する。画像生成部１１ｃや音声生成部１１ｅは、画像判定部１１ｂから特定の物体が撮影されていないとの情報が入力された場合に、使用者にその旨を報知する装飾画像又は音声の情報を生成し、投影部５又はスピーカー７に出力する。この結果、使用者には深度カメラ４及びＲＧＢカメラ４ａから入力される画像情報に〇〇（商品名）である特定の商品が撮影されていないことを報知することができる。

【0050】

画像生成部１１ｃでは、画像情報の特定の商品と値札の情報と、特定の商品と値札の位置の情報とが画像判定部１１ｂから入力された場合に、特定の物体を装飾する特定画像として、特定の商品と値札とを含む範囲が拡大された画像情報及び特定の商品と値札とを含む範囲の位置情報を生成し、画像情報及び位置情報を投影部５に出力する。この結果、投影部５は、レンズ体３に装飾画像Ｚ４を投影し、図６（ｂ）に示すように、レンズ体３を介して視る障害者の視界には、使用者が指定した商品と商品の値札とが拡大された装飾画像Ｚ４とが含まれる。なお、装飾画像Ｚ４は、レンズ体３を介して視る障害者の視界の不鮮明領域Ｙとの差別化を図るため、予め設定された色や太さの線で拡大画像を囲う枠体を含む態様であることが好ましい。また、装飾画像Ｚ４の拡大画像の倍率は使用者によって予め設定されてもよいし、例えば、装飾画像Ｚ４がレンズ体３に投影された後に、マイク６やタッチパネル１３を介して更に拡大や縮小が可能な態様であってもよい。

【0051】

音声生成部１１ｅでは、特定の商品と値札とが撮影されているとの情報及び画像情報（視界情報）内での特定の商品と値札の位置の情報に基づいて、名称の音声情報と数値の音声情報として、「指定された〇〇（商品名）の値段は△△円です」との音声情報を生成し、音声情報をスピーカー７に出力する。この結果、スピーカー７は、「指定された〇〇（商品名）の値段は△△円です」との音声を外部（使用者）に向かって出力し、使用者の視界の指定された商品の名称と価格を使用者に報知することができる。なお、画像判定部１１ｂは、音声生成部１１ｅに特定の商品と値札とが撮影されているとの情報及び画像情報（視界情報）内での特定の商品と値札の位置の情報を出力しない態様であってもよく、バッテリー１２の消耗を抑制することができる。

【0052】

本実施形態の視界補助システム１によれば、視界に含まれる装飾画像Ｚ４とスピーカー７から出力される音声とによって、図６（ｂ）に示すように、使用者は陳列棚に並ぶ指定の商品とその価格を知ることができ、目に障害を有する障害者の視界を補助することができる。また、本実施形態のようにレンズ体３に拡大された画像である装飾画像Ｚ４を投影する態様は、上述の特定の物体の重要度に応じて特定の物体を囲う枠体の画像である装飾画像Ｚ１等と組み合わせてもよい。

【0053】

図７（ａ）は、レンズ体３を介して視る健常者の視界を示す図であり、図７（ｂ）は、レンズ体３を介して視る障害者の視界を示す図である。図７（ａ）に示すように、レンズ体３を介して視る健常者の視界は、視点Ｐを中心として霞み等の障害が無い鮮明領域Ｘのみによって形成されており、視界内のもの（例えば、商品陳列棚に並ぶ各陳列商品等）を容易に判別することが可能である。これに対して、図７（ｂ）に示すように、レンズ体３を介して視る障害者の視界は、視点Ｐを中心として霞み等の障害が有る不鮮明領域Ｙのみが形成されており、視界内のもの（例えば、商品陳列棚に並ぶ各陳列商品等）を容易に判別することが困難である。以下、このような問題を解消することを目的に、本実施形態の視界補助システム１について説明する。

【0054】

本実施形態の視界補助システム１では、マイク６を介して使用者が入力する特定の音声、又はタッチパネル１３を介して使用者が入力する操作情報に応じて、レンズ体３を介する視界において、特定の物体を含む特定の範囲を囲う枠体の装飾画像Ｚ５が表示される。具体的には、マイク６やタッチパネル１３を介して「〇〇（商品名）」との操作情報が、画像判定部１１ｂや画像生成部１１ｃや音声生成部１１ｅに入力された場合に、画像判定部１１ｂでは、深度カメラ４及びＲＧＢカメラ４ａから入力される画像情報と記憶部１１ａに記憶される画像情報とに基づいて、〇〇（商品名）である特定の物体が撮影されているか否かが判定され、特定の物体が撮影されていない場合には、特定の物体が撮影されていないとの情報が画像生成部１１ｃや音声生成部１１ｅに出力される。画像生成部１１ｃや音声生成部１１ｅは、画像判定部１１ｂから特定の物体が撮影されていないとの情報が入力された場合に、使用者にその旨を報知する装飾画像又は音声の情報を生成し、投影部５又はスピーカー７に出力する。この結果、使用者には深度カメラ４及びＲＧＢカメラ４ａから入力される画像情報に〇〇（商品名）である特定の商品が撮影されていないことを報知することができる。

【0055】

他方、特定の物体が撮影されている場合には、画像判定部１１ｂは、画像情報の特定の商品の情報と、特定の商品の位置の情報と、を画像生成部１１ｃ及び音声生成部１１ｅに出力する。画像生成部１１ｃでは、画像情報の特定の商品の情報と、特定の商品の位置の情報とが画像判定部１１ｂから入力された場合に、特定の物体を装飾する特定画像として、特定の商品を囲う枠体を含む画像情報及び特定の商品を含む範囲の位置情報を生成し、画像情報及び位置情報を投影部５に出力する。この結果、投影部５は、レンズ体３に装飾画像Ｚ５を投影し、図７（ｂ）に示すように、レンズ体３を介して視る障害者の視界には、使用者が指定した商品を囲う枠体の装飾画像Ｚ５が含まれる。なお、装飾画像Ｚ５は、レンズ体３を介して視る障害者の視界の不鮮明領域Ｙとの差別化を図るため、予め設定された色や太さの線で構成されることが好ましい。

【0056】

音声生成部１１ｅでは、特定の商品が撮影されているとの情報及び画像情報（視界情報）内での特定の商品の位置の情報に基づいて、音声情報として、「指定された〇〇（商品名）は、視界左上に位置します」との音声情報を生成し、音声情報をスピーカー７に出力する。この結果、スピーカー７は、「指定された〇〇（商品名）は、視界左上に位置します」との音声を外部（使用者）に向かって出力し、使用者が指定した商品の位置を使用者に報知することができる。

【0057】

図８（ａ）は、レンズ体３を介して視る健常者の視界を示す図であり、図８（ｂ）は、レンズ体３を介して視る障害者の視界を示す図である。図８（ａ）に示すように、レンズ体３を介して視る健常者の視界は、視点Ｐを中心として霞み等の障害が無い鮮明領域Ｘのみによって形成されており、視界内のもの（例えば、エレベーターのスイッチ等）を容易に判別することが可能である。これに対して、図８（ｂ）に示すように、レンズ体３を介して視る障害者の視界は、視点Ｐを中心として霞み等の障害が有る不鮮明領域Ｙのみによって形成されており、視界内のもの（例えば、エレベーターのスイッチ等）を容易に判別することが困難である。以下、このような問題を解消することを目的に、本実施形態の視界補助システム１について説明する。

【0058】

本実施形態の視界補助システム１では、マイク６を介して使用者が入力する特定の音声、又はタッチパネル１３を介して使用者が入力する操作情報に応じて、レンズ体３を介する視界において、特定の物体を含む特定の範囲を明確にさせてもよいし、視界の一部の特定の範囲を明確にさせてもよい。図９は、特定の物体を装飾する画像が投影されたレンズ体３を介して視る障害者の視界を示す図である。

【0059】

図９に示すレンズ体３を介して視る障害者の視界には、上記図８（ｂ）に示すレンズ体３を介して視る障害者の視界に比して、レンズ体３に投影された複数の装飾画像Ｚ６が追加されている。装飾画像Ｚ６は、上記図８（ａ）に示されたエレベーターの各種スイッチが明確になるように、各種スイッチの数字や文字の線の太さが大きくされた画像である。なお、装飾画像Ｚ６は、円状や多角形状の枠体を有し該枠体内に拡大された画像が投影される態様であってもよいし、枠体を有しておらず線の太さが大きくされた数字や文字の画像が投影される態様であってもよい。

【0060】

本例においては、マイク６を介して「ナンバー」との特定の音声が制御部１１に入力されると、音声判定部１１ｄにおいてマイク６から入力された「ナンバー」との音声情報が記憶部１１ａに記憶された特定の音声としての情報と一致するか否かが判定される。音声判定部１１ｄは、「ナンバー」との音声情報が記憶部１１ａに記憶された特定の音声と一致すると判定した際に、画像判定部１１ｂや画像生成部１１ｃや音声生成部１１ｅに「ナンバー」との特定の音声に応じた操作情報を出力する。なお、タッチパネル１３を介して「ナンバー」との特定の操作が制御部１１に入力された場合には、制御部１１においてタッチパネル１３から入力された「ナンバー」との操作情報が記憶部１１ａに記憶された特定の操作としての情報と一致するか否かが判定される。制御部１１は、「ナンバー」との操作情報が記憶部１１ａに記憶された特定の操作と一致すると判定した際に、画像判定部１１ｂや画像生成部１１ｃや音声生成部１１ｅに「ナンバー」との特定の操作に応じた操作情報を出力する。

【0061】

画像判定部１１ｂでは、「ナンバー」との特定の音声や特定の操作に応じた操作情報が入力されると、深度カメラ４及びＲＧＢカメラ４ａから入力される画像情報に基づいて、特定の物体（本例では、数字や文字等）が撮影されているか否かが判定される。具体的には、画像判定部１１ｂは、操作情報が入力されると画像情報に基づいて記憶部１１ａに記憶されている情報を参照して、画像情報に複数の数字や複数の文字が撮影されていると判定し、本例では画像情報に撮影されている各数字や文字の情報と、各数字や文字の位置の情報と、を画像生成部１１ｃ及び音声生成部１１ｅに出力する。詳しくは、画像判定部１１ｂは、画像情報が入力されると画像情報を数列情報に変換するとともに、該数列情報内に記憶部１１ａに記憶されている数字や文字を示す数列情報と近似する部分の有無を判定し、近似する部分が有る場合に画像情報に特定の物体が撮影されていると判定し、特定の物体が撮影されているとの情報及び画像情報内での特定の物体の位置の情報を画像生成部１１ｃ及び音声生成部１１ｅに出力する。

【0062】

画像生成部１１ｃでは、各数字や文字の情報及び各数字や文字の位置の情報に基づいて、特定の物体を装飾する特定画像として、各数字や文字の線が太くされた画像と各画像を囲う枠体の画像とを含む画像情報と各数字や文字の位置情報とを生成し、画像情報及び位置情報を投影部５に出力する。この結果、投影部５は、レンズ体３に複数の装飾画像Ｚ６を投影し、図９に示すように、レンズ体３を介して視る障害者の視界には、エレベーター内の階層スイッチが明確化された複数の装飾画像Ｚ６が含まれる。なお、装飾画像Ｚ６は、レンズ体３を介して視る障害者の視界の不鮮明領域Ｙとの差別化を図るため、予め設定された色や太さの線で各数字や文字を囲う枠体を含む態様であることが好ましいが、該枠体の画像を含まない態様であってもよい。また、装飾画像Ｚ６は、各数字や文字の拡大画像であってもよく、倍率は使用者によって予め設定されてもよいし、例えば、装飾画像Ｚ６がレンズ体３に投影された後に、マイク６やタッチパネル１３を介して更に拡大や縮小が可能な態様であってもよい。

【0063】

また、音声生成部１１ｅでは、各数字や文字の情報及び各数字や文字の位置の情報に基づいて、数値や文字の音声情報として、「左上から下方に、６、５、４・・・９、８、７、閉の順です」との音声情報を生成し、音声情報をスピーカー７に出力する。この結果、スピーカー７は、「左上から下方に、６、５、４・・・９、８、７、閉の順です」との音声を外部（使用者）に向かって出力し、使用者の視界のエレベーター内の階層スイッチの情報を使用者に報知することができる。なお、画像判定部１１ｂは、音声生成部１１ｅに各数字や文字の情報及び各数字や文字の位置の情報を出力しない態様であってもよく、バッテリー１２の消耗を抑制することができる。

【0064】

本実施形態の視界補助システム１によれば、視界に含まれる装飾画像Ｚ６とスピーカー７から出力される音声とによって、図９に示すように、使用者はエレベーター内の階層スイッチの数字や文字を知ることができ、目に障害を有する障害者の視界を補助することができる。また、本実施形態のようにレンズ体３に拡大された画像である装飾画像Ｚ６を投影する態様は、上述の特定の物体の重要度に応じて特定の物体を囲う枠体の画像である装飾画像Ｚ１等と組み合わせてもよい。

【0065】

以上、本発明について好適な実施形態を挙げて説明したが、本発明はこれらの実施形態に限定されるものではなく、以下に示すように、本発明の要旨を逸脱しない範囲において、種々の改良及び設計の変更が可能である。

【0066】

すなわち、上記の実施形態では、予め設定された特定の物体を枠体で囲う装飾画像Ｚ１が投影部５を介してレンズ体３に投影されていたが、例えば、特定の物体が階段や段差である場合に、画像生成部１１ｃは、階段や段差の角部に沿って延びる線状の装飾画像を、投影部５を介してレンズ体３に投影させてもよい。図１０（ａ）は、レンズ体３を介して視る健常者の視界を示す図であり、図１０（ｂ）は、レンズ体３を介して視る障害者の視界を示す図である。図１０（ａ）に示すように、レンズ体３を介して視る健常者の視界は、視点Ｐを中心として霞み等の障害が無い鮮明領域Ｘのみによって形成されており、視界内のもの（例えば、階段の段差等）を容易に判別することが可能である。これに対して、図１０（ｂ）に示すように、レンズ体３を介して視る障害者の視界は、視点Ｐを中心として霞み等の障害が有る不鮮明領域Ｙのみが形成されており、視界内のもの（例えば、階段の段差等）を容易に判別することが困難である。

【0067】

本例の視界補助システムでは、図１０（ｂ）に示すように、例えば、使用者の視界に階段の段差がある場合に、マイク６を介して使用者が入力する特定の音声、又はタッチパネル１３を介して使用者が入力する操作情報や予め入力された設定に応じて、レンズ体３を介する視界において、各段差の角部に沿って配置される線状の装飾画像Ｚ７が表示される。具体的には、マイク６やタッチパネル１３を介して「段差」との操作情報が、画像判定部１１ｂや画像生成部１１ｃや音声生成部１１ｅに入力された場合に、画像判定部１１ｂでは、深度カメラ４及びＲＧＢカメラ４ａから入力される画像情報と記憶部１１ａに記憶される画像情報とに基づいて、線状に延びる段差の縁部が撮影されているか否かが判定され、段差の縁部が撮影されていない場合には、段差の縁部が撮影されていないとの情報が画像生成部１１ｃや音声生成部１１ｅに出力される。画像生成部１１ｃや音声生成部１１ｅは、画像判定部１１ｂから段差の縁部が撮影されていないとの情報が入力された場合に、使用者にその旨を報知する装飾画像又は音声の情報を生成し、投影部５又はスピーカー７に出力する。この結果、使用者には深度カメラ４及びＲＧＢカメラ４ａから入力される画像情報に段差が撮影されていないことを報知することができる。

【0068】

他方、段差の縁部が撮影されている場合には、画像判定部１１ｂは、画像情報の段差の縁部の情報と、段差の縁部の位置の情報と、を画像生成部１１ｃ及び音声生成部１１ｅに出力する。画像生成部１１ｃでは、画像情報の段差の縁部の情報と、段差の縁部の位置の情報とが画像判定部１１ｂから入力された場合に、段差の縁部を装飾する特定画像として、段差の縁部に沿って線状に延びる線状部を含む画像情報及び段差の縁部を含む範囲の位置情報を生成し、画像情報及び位置情報を投影部５に出力する。この結果、投影部５は、レンズ体３に装飾画像Ｚ７を投影し、図１０（ｂ）に示すように、レンズ体３を介して視る障害者の視界には、段差の縁部に沿って線状に延びる装飾画像Ｚ７が含まれる。なお、装飾画像Ｚ７は、レンズ体３を介して視る障害者の視界の不鮮明領域Ｙとの差別化を図るため、予め設定された色や太さの線で構成されることが好ましい。

【0069】

音声生成部１１ｅでは、段差が撮影されているとの情報及び画像情報（視界情報）内での段差の位置の情報に基づいて、音声情報として、「段差は、視界前方に位置します」との音声情報を生成し、音声情報をスピーカー７に出力する。この結果、スピーカー７は、「段差は、視界前方に位置します」との音声を外部（使用者）に向かって出力し、段差の位置を使用者に報知することができる。

【0070】

また、上記の実施形態では、予め設定された特定の物体を枠体で囲う装飾画像Ｚ１が投影部５を介してレンズ体３に投影されていたが、画像判定部１１ｂは、深度カメラ４やＲＧＢカメラ４ａから連続的に入力される画像情報に基づいて、使用者に対して所定の速度以上で接近する特定の物体があると判定した場合に、画像生成部１１ｃに該特定の物体を枠体で囲う装飾画像を生成させてレンズ体３に投影させるとともに、音声生成部１１ｅに特定の物体が接近していることを報知するための音声を生成させてスピーカー７を介して報知させてもよく、この場合には使用者に所定の速度以上で接近する特定の物体があることを報知でき、目に障害を有する障害者の視界を補助することができる。

【0071】

また、上記の実施形態では、「拡大」や「ナンバー」等の音声入力により、各音声に応じて画像情報や音声情報を生成しているが、音声入力となる特定の音声は、例えば、「人」、「自転車」や「自動車」であってもよく、この場合に特定の物体である人、自転車又は自動車を囲う枠体の画像情報を生成してレンズ体３に投影させ、人、自転車又は自動車の位置の音声情報を生成してスピーカー７を介して報知させてもよく、使用者に人、自転車又は自動車があることを報知でき、目に障害を有する障害者の視界を補助することができる。なお、例えば、「クリア」等の音声入力により、レンズ体３に投影される装飾画像やスピーカー７から報知される音声情報の全てを停止させてもよいし、「画像クリア」等の音声入力により、レンズ体３に投影される装飾画像の全てを停止させてもよいし、「音声クリア」等の音声入力により、スピーカー７から報知される音声情報の全てを停止させてもよい。

【0072】

また、例えば、使用者の操作に応じて、現在地から目的地までの道順を示す装飾画像を、投影部５を介してレンズ体３に投影させてもよい。図１１（ａ）は、レンズ体３を介して視る健常者の視界を示す図であり、図１１（ｂ）は、レンズ体３を介して視る障害者の視界を示す図である。図１１（ａ）に示すように、レンズ体３を介して視る健常者の視界は、視点Ｐを中心として霞み等の障害が無い鮮明領域Ｘのみによって形成されており、視界内のもの（例えば、道路や道路標識等）を容易に判別することが可能である。これに対して、図１１（ｂ）に示すように、レンズ体３を介して視る障害者の視界は、視点Ｐを中心として霞み等の障害が無い鮮明領域Ｘと、鮮明領域Ｘの周囲に形成された霞み等の障害が有る不鮮明領域Ｙと、が形成されており、視界内のもの（例えば、道路や道路標識等）を容易に判別することが困難である。

【0073】

本例の視界補助システム１では、図１１（ｂ）に示すように、例えば、マイク６を介して使用者が入力する特定の音声、又はタッチパネル１３を介して使用者が入力する操作情報や予め入力された設定に応じて、レンズ体３を介する視界において、現在地から目的地までの道順を示す矢印を含む装飾画像Ｚ８が表示される。具体的には、マイク６やタッチパネル１３を介して「〇〇までの道順」との操作情報が、制御部１１に入力された場合に、制御部１１は、通信回線を介して既存の道順案内システムに接続し、現在地から〇〇（目的地）までの道順を検索し、検索した道順を道順情報として画像判定部１１ｂや画像生成部１１ｃや音声生成部１１ｅに入力する。

【0074】

画像判定部１１ｂでは、検索情報が入力された場合に、深度カメラ４及びＲＧＢカメラ４ａから入力される画像情報と記憶部１１ａに記憶される画像情報とに基づいて、歩道や階段等を含む通路が撮影されているか否かが判定され、通路が撮影されている場合に、通路の位置の情報を画像生成部１１ｃ及び音声生成部１１ｅに出力する。画像生成部１１ｃでは、検索情報及び通路の位置の情報が画像判定部１１ｂから入力された場合に、通路を装飾する特定画像として、目的地に向かって延びる矢印を含む画像情報及び通路を含む範囲の位置情報を生成し、画像情報及び位置情報を投影部５に出力する。この結果、投影部５は、レンズ体３に装飾画像Ｚ８を投影し、図１１（ｂ）に示すように、レンズ体３を介して視る障害者の視界には、通路に沿って延びる矢印からなる装飾画像Ｚ８が含まれる。なお、装飾画像Ｚ８は、レンズ体３を介して視る障害者の視界の不鮮明領域Ｙとの差別化を図るため、予め設定された色や太さの線で構成されることが好ましい。

【0075】

音声生成部１１ｅでは、検索情報及び通路の位置の情報に基づいて、音声情報として、「目的地は、視界前方の通路を〇方（矢印の向き）に進んだ先です」との音声情報を生成し、音声情報をスピーカー７に出力する。この結果、スピーカー７は、「目的地は、視界前方の通路を〇方（矢印の向き）に進んだ先です」との音声を外部（使用者）に向かって出力し、目的地の位置を使用者に報知することができる。

【符号の説明】

【0076】

１ 視界補助システム
２ 本体部
３ レンズ体
４ 深度カメラ
４ａ ＲＧＢカメラ
５ 投影部
６ マイク
７ スピーカー
１０ 制御端末
１１ 制御部
１１ａ 記憶部
１１ｂ 画像判定部
１１ｃ 画像生成部
１１ｄ 音声判定部
１１ｅ 音声生成部
１３ タッチパネル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】