特開 2024-124998 視覚支援装置、視覚支援方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024124998

(43)【公開日】2024-09-13

(54)【発明の名称】視覚支援装置、視覚支援方法及びプログラム

(51)【国際特許分類】

   G09G 5/02 20060101AFI20240906BHJP

   G02B 27/02 20060101ALI20240906BHJP

   G09G 5/00 20060101ALI20240906BHJP

   G09G 5/37 20060101ALI20240906BHJP

   H04N 5/74 20060101ALI20240906BHJP

   H04N 5/64 20060101ALI20240906BHJP

【ＦＩ】

G09G5/02 B

G02B27/02 Z

G09G5/00 510Z

G09G5/00 550C

G09G5/00 510B

G09G5/37 320

H04N5/74 Z

H04N5/64 511A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023033040

(22)【出願日】2023-03-03

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】舌野 勇亮

(72)【発明者】

【氏名】南 俊二

(72)【発明者】

【氏名】大坪 宏彰

(72)【発明者】

【氏名】勝田 寛志

(72)【発明者】

【氏名】佐藤 昌信

(72)【発明者】

【氏名】鈴木 孝典

(72)【発明者】

【氏名】野仲 一世

【テーマコード（参考）】

2H199

5C058

5C182

【Ｆターム（参考）】

2H199CA02

2H199CA04

2H199CA05

2H199CA07

2H199CA29

2H199CA34

2H199CA42

2H199CA45

2H199CA53

2H199CA66

2H199CA69

2H199CA92

2H199CA94

5C058BA18

5C058BA35

5C058EA54

5C182AA04

5C182AA06

5C182AA31

5C182AB35

5C182AC02

5C182BA01

5C182BA03

5C182BA14

5C182BC22

5C182BC25

5C182BC26

5C182CA21

5C182CA33

5C182CB03

5C182CB44

5C182DA44

5C182DA69

5C182FA68

(57)【要約】

【課題】視認対象における文字が記載されている領域を直感的に把握しやすくすることが可能な視覚支援装置、視覚支援方法及びプログラムを提供する。
【解決手段】視覚支援装置１は、ユーザに装着されて使用される。撮影ユニット３は、ユーザの視界を撮影する。画像補正部１１３は、撮影ユニット３の撮影により取得された撮影画像を補正することにより補正画像を生成する。投影ユニット７は、画像補正部１１３により生成された補正画像をユーザの網膜上に投影する。画像補正部１１３は、撮影画像での被写体に文字が記載されている場合、文字が記載されている領域を予め定めた色で着色する。
【選択図】図３

【特許請求の範囲】

【請求項1】

ユーザに装着されて使用される視覚支援装置であって、
前記ユーザの視界を撮影する撮影手段と、
前記撮影手段の撮影により取得された撮影画像を補正することにより補正画像を生成する画像補正手段と、
前記画像補正手段により生成された前記補正画像を前記ユーザの網膜上に投影する投影手段と、
を備え、
前記画像補正手段は、前記撮影画像での被写体に文字が記載されている場合、前記文字が記載されている領域を予め定めた色で着色する、
ことを特徴とする視覚支援装置。

【請求項2】

前記画像補正手段は、前記被写体に前記文字が記載されている場合、前記文字が記載されている領域内における文字部分と背景部分とのうちの一方を前記予め定めた色で着色する、
ことを特徴とする請求項１に記載の視覚支援装置。

【請求項3】

前記予め定めた色は、有彩色であり、
前記画像補正手段は、前記被写体に前記文字が記載されている場合、前記文字が記載されている領域内における前記文字部分と前記背景部分とのうちの他方を無彩色で着色する、
ことを特徴とする請求項２に記載の視覚支援装置。

【請求項4】

前記画像補正手段は、前記被写体に前記文字が記載されている場合、前記文字が記載されている領域内における前記文字部分と前記背景部分とのうちの明るい方を前記予め定めた色で着色する、
ことを特徴とする請求項２又は３に記載の視覚支援装置。

【請求項5】

前記投影手段は、
前記被写体に前記文字が記載されている場合、前記補正画像を前記ユーザの前記網膜上に投影し、
前記被写体に前記文字が記載されていない場合、前記撮影画像を前記ユーザの前記網膜上に投影する、
ことを特徴とする請求項１から３のいずれか１項に記載の視覚支援装置。

【請求項6】

前記視覚支援装置の動作モードを切り替えるモード切替手段、を更に備え、
前記画像補正手段は、前記動作モードが視覚支援モードであり、且つ、前記被写体に前記文字が記載されている場合、前記補正画像を生成する、
ことを特徴とする請求項１から３のいずれか１項に記載の視覚支援装置。

【請求項7】

ユーザに装着されて使用される視覚支援装置による視覚支援方法であって、
前記ユーザの視界を撮影して得られた撮影画像を取得する撮影画像取得ステップと、
前記撮影画像取得ステップで取得された前記撮影画像を補正することにより補正画像を生成する画像補正ステップと、
前記画像補正ステップで生成された前記補正画像を前記ユーザの網膜上に投影する投影ステップと、
を含み、
前記画像補正ステップでは、前記撮影画像での被写体に文字が記載されている場合、前記文字が記載されている領域を予め定めた色で着色する、
ことを特徴とする視覚支援方法。

【請求項8】

ユーザに装着されて使用される視覚支援装置のコンピュータを、
前記ユーザの視界を撮影して得られた撮影画像を取得する撮影画像取得手段、
前記撮影画像取得手段により取得された前記撮影画像を補正することにより補正画像を生成する画像補正手段、
前記画像補正手段により生成された前記補正画像を前記ユーザの網膜上に投影する投影制御手段、
として機能させ、
前記画像補正手段は、前記撮影画像での被写体に文字が記載されている場合、前記文字が記載されている領域を予め定めた色で着色する、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視覚支援装置、視覚支援方法及びプログラムに関する。

【背景技術】

【0002】

視覚を支援する技術が知られている。例えば、特許文献１は、網膜投影方式により網膜に画像を投影することでユーザに画像を視認させる画像表示装置を開示している。網膜投影方式は、瞳孔に光を通して網膜に画像を直接的に投影するマクスウェル視を利用する。そのため、網膜投影方式は、ＬＣＤ（Liquid Crystal Display）やＯＬＥＤ（Organic Light Emitting Diode）を使用した仮想スクリーン投影方式に比べて、フリーフォーカスのメリットを有する。これにより、前眼部異常等のロービジョンのユーザにとっても画像を見ることができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－１５９５５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような視覚を支援する技術において、ユーザが視線を向けている対象に文字が記載されている場合、ユーザが情報を収集しやすくするために、文字が記載されている領域を直感的に把握しやすくすることが求められている。

【0005】

本発明は、以上のような課題を解決するためのものであり、視認対象における文字が記載されている領域を直感的に把握しやすくすることが可能な視覚支援装置、視覚支援方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る視覚支援装置は、
ユーザに装着されて使用される視覚支援装置であって、
前記ユーザの視界を撮影する撮影手段と、
前記撮影手段の撮影により取得された撮影画像を補正することにより補正画像を生成する画像補正手段と、
前記画像補正手段により生成された前記補正画像を前記ユーザの網膜上に投影する投影手段と、
を備え、
前記画像補正手段は、前記撮影画像での被写体に文字が記載されている場合、前記文字が記載されている領域を予め定めた色で着色する、
ことを特徴とする。

【発明の効果】

【0007】

本発明によれば、視認対象における文字が記載されている領域を直感的に把握しやすくすることができる。

【図面の簡単な説明】

【0008】

【図1】実施形態１に係る視覚支援装置を正面から見た図である。

【図2】実施形態１に係る視覚支援装置を上方から見た図である。

【図3】実施形態１に係る視覚支援装置の機能的な構成を示すブロック図である。

【図4】実施形態１における撮影画像の第１の例を示す図である。

【図5】実施形態１における撮影画像の第２の例を示す図である。

【図6】実施形態１における補正画像の第１の例を示す図である。

【図7】実施形態１における補正画像の第２の例を示す図である。

【図8】実施形態１における動作モードと被写体の種類に応じた画像補正の内容を示す図である。

【図9】実施形態１に係る表示装置におけるレーザ光の光路を示す模式図である。

【図10】実施形態１に係る視覚支援装置により実行される視覚支援処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。

【0010】

（実施形態１）
図１に、実施形態１に係る視覚支援装置１の概略を示す。視覚支援装置１は、ユーザＵが視認対象を直感的に把握することができるように、ユーザＵの視覚を支援する装置である。一例として、視覚支援装置１は、弱視者や高齢者等のようなロービジョン者の視覚を支援するために使用される。

【0011】

ここで、ロービジョンは、疾病や加齢等により視覚機能が低下した状態を意味する。ロービジョン者は、例えば視力低下、視野欠損、羞明、夜盲等の症状を有しており、視認対象を認識するのが困難になり、生活に支障をきたすことが多い。視覚支援装置１は、このようなロービジョン者が視認対象を直感的に認識できるようにするために使用される。

【0012】

視覚支援装置１は、一例として眼鏡の形状をしており、ユーザＵに装着されて使用される装着型の装置である。視覚支援装置１は、撮影手段の一例である撮影ユニット３と、投影手段の一例である投影ユニット７と、を備える。

【0013】

撮影ユニット３は、いわゆるカメラであって、撮影を行うユニットである。投影ユニット７は、ユーザＵの眼球ＥＹ１内の網膜に画像を投影する網膜投影方式のユニットである。網膜投影方式は、瞳孔に光を通して網膜に画像を直接的に投影するマクスウェル視を利用する。そのため、網膜投影方式は、フリーフォーカスのメリットを有し、ロービジョン者に対する視覚支援方法の１つとして考えられている。例えば、ユーザＵの視界の画像を撮影ユニット３により撮影された画像をユーザＵの網膜上に投影することで、ユーザＵは、ロービジョン者であっても、外界を認識することができる。

【0014】

ユーザＵは、視覚支援装置１を、頭部に装着して使用する。一例として、視覚支援装置１がユーザＵに装着された際、投影ユニット７は、眼鏡のフレームの一方側である第１の眼球ＥＹ１の側に配置され、撮影ユニット３は、眼鏡のフレームの他方側である第２の眼球ＥＹ２の側に配置される。

【0015】

なお、図１では、ユーザＵの頭部の輪郭を破線で示しており、理解を容易にするため、２つの眼球ＥＹ１，ＥＹ２以外の頭部のパーツを省略している。また、図１では、ユーザＵから見て前方向が＋Ｙ方向であり、ユーザＵから見て右方向が＋Ｘ方向であり、ユーザＵから見て上方向が＋Ｚ方向であるとして説明する。以降の図でも同様である。

【0016】

図２に、視覚支援装置１を、ユーザＵの上方から見た様子を示す。理解を容易にするため、図２では、ユーザＵの２つの眼球ＥＹ１，ＥＹ２以外のパーツは省略している。

【0017】

撮影ユニット３は、ユーザＵの視界を撮影する。これにより、撮影ユニット３は、ユーザＵの視線方向に存在するユーザＵの視認対象を被写体として撮影する。撮影ユニット３は、ユーザＵの視認対象を被写体として撮影できるように、その光軸がユーザＵの前方に向けられている。

【0018】

ここで、視認対象は、ユーザＵにより視認される対象であればどのようなものであっても良いが、一例として、雑誌、書籍、文書、看板、案内板等が挙げられる。視覚支援装置１は、ユーザＵがこのような視認対象を見ている状況において使用される。

【0019】

撮影ユニット３は、図示を省略するが、被写体から発せられる可視光線を集光するレンズと、レンズを通った可視光線を受光するイメージセンサと、を備える。イメージセンサは、レンズによる集光位置に配置されており、可視光線による撮影画像を生成する。

【0020】

イメージセンサは、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のような撮像素子と、Ａ／Ｄ（Analog/Digital）変換器等のような読み出し回路と、を備える。イメージセンサに入射した可視光線は、画像素子により光電変換され、読み出し回路によりデジタル信号として読み出されて、制御ユニット５に出力される。

【0021】

なお、撮影ユニット３は、手動又は自動で回転することにより光軸の方向を変更可能であっても良い。例えば、撮影ユニット３は、眼鏡に対して回転可能に取り付けられており、Ｚ方向（鉛直方向）に延びる回転軸を軸として左右方向に回転しても良いし、Ｘ方向に延びる回転軸を軸として上下方向に回転しても良い。これにより、被写体がユーザＵの近くに存在する場合でも遠くに存在する場合でも、被写体を視野の中心に収めることができるようになる。

【0022】

視覚支援装置１は、撮影ユニット３及び投影ユニット７に加えて、制御ユニット５を備える。制御ユニット５は、視覚支援装置１の動作を制御するユニットである。制御ユニット５は、一例として、ユーザＵの衣類のポケット等に入れられて用いられる。図３に示すように、制御ユニット５は、制御部１１０と、記憶部１２０と、モード切替スイッチ１４０と、通信部１５０と、レーザモジュール１７０と、レーザドライバ１８０と、を備える。

【0023】

制御部１１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備える。ＣＰＵは、マイクロプロセッサ等を備えており、様々な処理や演算を実行する中央演算処理部である。制御部１１０において、ＣＰＵが、ＲＯＭに記憶されている制御プログラムを読み出して、ＲＡＭをワークメモリとして用いながら、制御ユニット５全体の動作を制御する。なお、制御部１１０は、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等の画像処理用のプロセッサを備えていても良い。

【0024】

記憶部１２０は、フラッシュメモリ、ハードディスク等の不揮発性メモリである。記憶部１２０は、制御部１１０によって実行されるプログラム及びデータ、及び、制御部１１０によって生成されるデータを記憶する。

【0025】

モード切替スイッチ１４０は、視覚支援装置１の動作モードを切り替えるためのスイッチである。視覚支援装置１は、動作モードとして、「視覚支援モード」と「通常モード」とを有する。視覚支援モードは、特にロービジョン者が視認対象を直感的に把握できるように、撮影ユニット３により撮影された撮影画像を補正するモードである。これに対して、通常モードは、視覚支援モードでの補正を行わないモードである。ユーザは、モード切替スイッチ１４０を指で操作することで、手軽に視覚支援装置１の動作モードを切り替えることができる。モード切替スイッチ１４０は、モード切替手段の一例である。

【0026】

通信部１５０は、制御ユニット５の外部の機器と通信するための通信インタフェースを備える。例えば、通信部１５０は、有線又は無線の通信媒体を介して撮影ユニット３と通信し、撮影ユニット３により撮影された撮影画像を取得する。また、通信部１５０は、ＬＡＮ（Local Area Network）、ＵＳＢ（Universal Serial Bus）等の周知の通信規格に則って、視覚支援装置１の外部の機器と通信することもできる。

【0027】

レーザモジュール１７０は、レーザ光源を備えており、投影ユニット７においてユーザＵの眼球ＥＹ１に入射されるレーザ光を出射する。より詳細には、レーザモジュール１７０は、レーザ光源として、Ｒ（赤色）レーザ光源、Ｇ（緑色）レーザ光源、及びＢ（青色）レーザ光源を備える。Ｒレーザ光源、Ｇレーザ光源及びＢレーザ光源は、レーザドライバ１８０から送信された画像信号に応じてそれぞれ強度変調されたレーザ光を出射する。各レーザ光源は、例えば、半導体レーザ（レーザダイオード）、固体レーザ等である。

【0028】

各レーザ光源から出射されたレーザ光は、いずれも図示を省略するが、ダイクロイックミラー等の光学系により合波され、コリメートレンズ等の光学系により平行光化され、集光レンズ等の光学系により集光されて、複合ケーブル９へ出射される。

【0029】

レーザドライバ１８０は、投影制御部１１４から受信した画像信号に基づいて、レーザモジュール１７０を駆動する。具体的に説明すると、レーザドライバ１８０は、投影制御部１１４から受信した画像信号に対応する画素値で、Ｒレーザ光源、Ｇレーザ光源及びＢレーザ光源のそれぞれを発光させる。これにより、レーザドライバ１８０は、受信した画像信号に対応する色のレーザ光をレーザモジュール１７０から出射させる。

【0030】

複合ケーブル９は、レーザモジュール１７０から出射されたレーザ光を伝送し、投影ユニット７に出射するケーブルである。複合ケーブル９は、制御ユニット５及び投影ユニット７と光学的に接続される。複合ケーブル９により伝送されたレーザ光は、図示しないコリメートレンズによって平行光化され、投影ユニット７の走査部３０に出射される。また、複合ケーブル９は、投影制御部１１４から走査部３０に送信される制御信号を伝送する。

【0031】

次に、制御部１１０の機能的な構成について説明する。図３に示すように、制御部１１０は、機能的に、撮影画像取得手段の一例である撮影画像取得部１１１と、被写体判定手段の一例である被写体判定部１１２と、画像補正手段の一例である画像補正部１１３と、投影制御手段の一例である投影制御部１１４と、を備える。制御部１１０において、ＣＰＵは、ＲＯＭに記憶されたプログラムをＲＡＭに読み出して、そのプログラムを実行して制御することにより、これら各部として機能する。

【0032】

撮影画像取得部１１１は、撮影ユニット３によりユーザＵの視界を撮影して得られた撮影画像を取得する。具体的に説明すると、撮影画像取得部１１１は、通信部１５０を介して撮影ユニット３を制御し、撮影ユニット３に撮影を行わせる。撮影画像取得部１１１は、これにより得られた撮影画像を撮影ユニット３から取得する。

【0033】

一例として、ユーザＵが視認対象として被写体ＯＢ１を見ている場合、撮影画像取得部１１１は、図４に示す撮影画像Ｐ１を取得する。被写体ＯＢ１は、雑誌、書籍、文書等の１ページであって、左側の領域Ｒ１と領域Ｒ２には文字が記載されており、右側の領域Ｒ３には文字以外の画像（図４の例では地図）が掲載されている。別の例として、ユーザＵが視認対象として建物である被写体ＯＢ２と案内板である被写体ＯＢ３とを見ている場合、撮影画像取得部１１１は、図５に示す撮影画像Ｐ２を取得する。

【0034】

図３に戻って、被写体判定部１１２は、撮影画像取得部１１１により取得された撮影画像に撮影された被写体に文字が記載されているか否かを判定する。被写体に文字が記載されている例として、具体的には、被写体が雑誌、書籍、文書、看板、案内板等のように被写体に文字列、文章等が含まれる場合が挙げられる。

【0035】

具体的には、図４に示した撮影画像Ｐ１に撮影された被写体ＯＢ１は、左側の領域Ｒ１と領域Ｒ２に文字を含んでいる。そのため、被写体判定部１１２は、被写体ＯＢ１に文字が記載されていると判定する。これに対して、図５に示した撮影画像Ｐ２に撮影された被写体ＯＢ２は文字を含んでいないが、被写体ＯＢ３は文字を含んでいる。そのため、被写体判定部１１２は、被写体ＯＢ２に文字が記載されていないと判定し、被写体ＯＢ３に文字が記載されていると判定する。

【0036】

被写体判定部１１２は、撮影部１３０により撮影された被写体に文字が記載されているか否かを判定するため、撮影部１３０により撮影された撮影画像に、文字に特有の特徴が含まれているか否かを判定する。文字に特有の特徴は、例えば、細く短いエッジが狭い領域に集中している等のような、文字に典型的に見られる特徴である。

【0037】

より詳細には、被写体判定部１１２は、第１に、適宜のエッジ検出手法を用いて、撮影ユニット３の撮影により得られた撮影画像からエッジを検出する。例えば、被写体判定部１１２は、撮影画像をグレースケール画像に変換し、グレースケール画像において、画素間で画素値が所定値以上に変化している箇所をエッジとして検出する。

【0038】

第２に、被写体判定部１１２は、検出されたエッジの特徴が、文字のエッジに特有の特徴に合致するか否かを判定する。例えば、被写体判定部１１２は、検出されたエッジの特徴が、（１）所定長以下の長さのエッジである、（２）所定幅以下の幅のエッジである、等の特徴に合致する場合に、そのエッジが文字のエッジに該当すると判定する。

【0039】

第３に、被写体判定部１１２は、撮影画像のうちの、文字のエッジに該当すると判定されたエッジが集中して存在する領域を、文字が存在する領域であると判定する。具体的に説明すると、被写体判定部１１２は、撮影画像を複数の小領域に区分しておき、小領域毎に、文字のエッジに該当すると判定されたエッジが所定本数以上存在するか否かを判定する。そして、被写体判定部１１２は、文字のエッジに該当すると判定されたエッジが所定本数以上存在する少なくとも１つの小領域を、文字が存在する領域であると判定する。

【0040】

被写体判定部１１２は、このような各小領域の判定結果に基づいて、撮影画像内の少なくとも１つの小領域に文字が存在すると判定した場合、被写体に文字が記載されていると判定する。そして、被写体判定部１１２は、撮影画像内の文字が存在する少なくとも１つの小領域を、文字が記載されている領域（文字領域）として特定し、撮影画像内の文字領域以外の領域を、文字が記載されていない領域（非文字領域）と特定する。

【0041】

被写体判定部１１２は、このような被写体に文字が記載されているか否かを判定する判定処理を、視覚支援装置１の動作モードが視覚支援モードである場合に行う。なお、上記の判定手法は一例であって、被写体判定部１１２は、撮影ユニット３により撮影された被写体に文字が記載されているか否かを判定するための判定手法として、公知の手法を含む適宜の手法を用いることができる。

【0042】

図３に戻って、画像補正部１１３は、撮影ユニット３により撮影された撮影画像を、被写体判定部１１２による判定結果に基づいて補正する。これにより、画像補正部１１３は、撮影画像を補正した補正画像を生成する。具体的には、画像補正部１１３は、被写体判定部１１２により被写体に文字が記載されていると判定された場合、文字が記載されている領域が予め定めた色で着色されるように補正画像を生成する。

【0043】

例えば、撮影ユニット３により図４に示した撮影画像Ｐ１が撮影された場合、被写体判定部１１２は、撮影画像Ｐ１での被写体ＯＢ１の領域Ｒ１と領域Ｒ２に文字が記載されていると判定する。この場合、画像補正部１１３は、撮影画像Ｐ１を補正することにより、図６に示す補正画像Ｑ１を生成する。

【0044】

一方で、撮影ユニット３により図５に示した撮影画像Ｐ２が撮影された場合、被写体判定部１１２は、撮影画像Ｐ２での被写体ＯＢ３の領域Ｒ４に文字が記載されていると判定する。この場合、画像補正部１１３は、撮影画像Ｐ２を補正することにより、図７に示す補正画像Ｑ２を生成する。

【0045】

具体的に説明すると、画像補正部１１３は、撮影画像での被写体に文字が記載されている場合、文字が記載されている領域（文字領域）内における文字部分と背景部分とのうちの一方が予め定めた色で着色されるように補正画像を生成する。ここで、文字部分は、文字を形成している線又は点の部分に相当する。また、背景部分は、文字が記載されている領域内における文字部分以外の部分である。具体的には、背景部分は、１つの文字内における線又は点以外の部分、及び、隣接する２つの文字間の部分に相当する。

【0046】

より詳細には、画像補正部１１３は、撮影画像での被写体に文字が記載されている場合、撮影画像における文字が記載されている領域の画像の色情報をグレースケールに変換する。言い換えると、画像補正部１１３は、領域内における各画素の輝度を保ちつつ、各画素の色を無彩色に変換する。そして、画像補正部１１３は、グレースケールに変換後の領域において、文字部分と背景部分とのどちらの輝度が大きいか、すなわち文字部分と背景部分とのどちらの方が明るいかを判定する。そして、画像補正部１１３は、文字部分と背景部分とのうちの明るい方を予め定めた色で着色する。

【0047】

具体的に、図４に示した領域Ｒ１内における「文字による説明…」という文字列の文字部分の色は黒色であり、背景部分の色は白色である。この場合、背景部分の輝度の方が文字部分の輝度よりも大きい、すなわち背景部分の方が文字部分よりも明るい。そのため、画像補正部１１３は、領域Ｒ１内の背景部分が予め定めた色で着色されるように補正画像Ｑ１を生成する。

【0048】

また、図５に示した領域Ｒ４の「案内板…」という文字列の文字部分の色は黒色であり、背景部分の色は白に近い薄い色である。この場合、背景部分の輝度の方が文字部分の輝度よりも大きい、すなわち背景部分の方が文字部分よりも明るい。そのため、画像補正部１１３は、領域Ｒ４内の背景部分が予め定めた色で着色されるように補正画像Ｑ２を生成する。

【0049】

一方で、図４に示した領域Ｒ２内における「タイトル」という文字列の文字部分の色は白色であり、背景部分の色は黒に近い濃い色である。言い換えると、領域Ｒ２は、いわゆる白抜きで文字が記載されている。この場合、文字部分の輝度の方が背景部分の輝度よりも大きい、すなわち文字部分の方が背景部分よりも明るい。そのため、画像補正部１１３は、領域Ｒ２内の文字部分が予め定めた色で着色されるように補正画像Ｑ１を生成する。

【0050】

ここで、予め定めた色は、有彩色である。例えば、予め定めた色として、黄色、赤色等のようなユーザＵが視認しやすい色を用いることができる。文字が記載されている領域を有彩色で着色することにより、ユーザＵは、文字が記載されている領域を容易に認識することができる。

【0051】

更に、画像補正部１１３は、被写体に文字が記載されている場合、文字が記載されている領域内における文字部分と背景部分とのうちの他方である暗い方を無彩色で着色する。ここで、文字部分と背景部分とのうちの暗い方は、具体的には、図４に示した領域Ｒ１内における文字部分、領域Ｒ２内における背景部分、及び、図５に示した領域Ｒ４内における文字部分に相当する。画像補正部１１３は、これらの部分が無彩色で着色されるように補正画像を生成する。

【0052】

ここで、無彩色は、黒色やグレー等のように彩度が０の色である。図４及び図５の例では、無彩色として黒色が採用されている。例えば、図４に示した領域Ｒ２における背景部分は、撮影画像Ｐ１では黒に近い濃い色であったのに対して、補正画像Ｑ１では黒色に着色される。有彩色（予め定めた色）及び無彩色は、工場出荷時にプリセットされたものであっても良いし、ユーザＵにより自由に設定されても良い。

【0053】

このように、画像補正部１１３は、撮影画像に撮影された被写体に文字が記載されている場合、文字が記載されている領域内の文字部分と背景部分とのうちの明るい方が有彩色で着色されるように、暗い方が無彩色で着色されるように補正画像を生成する。これにより、ユーザＵは、有彩色と無彩色とのコントラストにより文字を認識することができるため、視界内における文字が記載されている領域をより容易に把握することができるようになる。以上のような処理により、画像補正部１１３は、撮影画像から補正画像を生成する。

【0054】

なお、画像補正部１１３は、撮影画像から補正画像を生成する際、例えば図４における領域Ｒ３、及び、図５における領域Ｒ４以外の領域のように、被写体において文字が記載されていない領域（非文字領域）に対しては、補正を行わない。

【0055】

より詳細には、画像補正部１１３は、図８に示すように、視覚支援装置１の動作モードと被写体の種類に応じて撮影画像を補正する。具体的に説明すると、画像補正部１１３は、視覚支援装置１の動作モードが視覚支援モードである場合であって、且つ、被写体に文字が記載されている場合、文字が記載されている領域内における文字部分と背景部分とのうちの明るい方を有彩色で着色し、暗い方を無彩色で着色する。

【0056】

一方で、視覚支援装置１の動作モードが視覚支援モードである場合であって、且つ、被写体に文字が記載されていない場合、画像補正部１１３は、撮影画像に補正を加えない。また、視覚支援装置１の動作モードが視覚支援モード以外のモードである通常モードである場合、被写体に文字が記載されているか否かにかかわらず、画像補正部１１３は、撮影画像に補正を加えない。これらの場合、画像補正部１１３は、補正画像を生成しない。

【0057】

図３に戻って、投影制御部１１４は、投影ユニット７における画像の投影を制御する。投影制御部１１４は、レーザモジュール１７０におけるレーザ光の出射と、投影ユニット７の走査部３０におけるレーザ光の走査と、を制御する。これにより、投影制御部１１４は、投影ユニット７において、撮影ユニット３により撮影された撮影画像、又は、画像補正部１１３により生成された補正画像を、ユーザＵの網膜上に投影させる。

【0058】

具体的に説明すると、投影制御部１１４は、撮影ユニット３により撮影された撮影画像、又は、画像補正部１１３により生成された補正画像のデータを、画像信号に変換する。そして、投影制御部１１４は、レーザドライバ１８０を通して画像信号をレーザモジュール１７０に供給する。

【0059】

より詳細には、投影制御部１１４は、撮影画像又は補正画像の各画素の画素値（ＲＧＢ値）を１画素ずつ順に読み出し、読み出した画素値に対応する画像信号を生成する。そして、投影制御部１１４は、生成した画像信号を、１画素ずつ順にレーザドライバ１８０に送信する。レーザドライバ１８０は、投影制御部１１４から送信された画像信号に基づいて強度変調されたレーザ光をレーザモジュール１７０から出射させ、複合ケーブル９を通して投影ユニット７に出力させる。

【0060】

投影ユニット７は、ユーザＵの眼球ＥＹ１にレーザ光を入射させて、眼球ＥＹ１内の網膜上に画像を投影するユニットである。投影ユニット７は、レーザモジュール１７０から出射されたレーザ光を走査する走査部３０と、走査部３０により走査されたレーザ光を眼球ＥＹ１に導く導光部６０と、を備える。

【0061】

走査部３０は、眼鏡のフレームの側部に配置される。導光部６０は、眼球ＥＹ１の真正面に位置するように、眼鏡のレンズ部分であって、一例としてレンズの内側に配置される。投影ユニット７は、制御ユニット５から出射されたレーザ光を走査部３０により走査し、導光部６０を通して眼球ＥＹ１に対して正面から入射させる。

【0062】

より詳細に、図９を参照して、投影ユニット７におけるレーザ光の光路について説明する。図９に示すように、投影ユニット７において、走査部３０は、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラー３１と、反射ミラー３２と、を備える。

【0063】

走査部３０において、ＭＥＭＳミラー３１は、レーザモジュール１７０から出射されたレーザ光を走査する。具体的に説明すると、ＭＥＭＳミラー３１は、レーザモジュール１７０から出射されたレーザ光を受光し、レーザ光を反射ミラー３２に向けて反射する。ＭＥＭＳミラー３１は、反射面の角度を変化させることで、反射するレーザ光を２次元の範囲に走査させる。

【0064】

より詳細には、ＭＥＭＳミラー３１は、ＭＥＭＳ加工により形成されたミラーである。ＭＥＭＳミラー３１では、ミラー周辺に配置されたコイルに電流を流すことにより発生するローレンツ力により、ミラーの傾きを変更することができる。これにより、ＭＥＭＳミラー３１は、ミラー面に入射したレーザ光の光路を変更し、２次元の範囲に走査する。

【0065】

投影制御部１１４は、投影対象となる画像である撮影画像又は補正画像における各座標の画素の画素値に対応するレーザ光が、網膜ＲＥ上の同じ座標に対応する位置に投射されるように、レーザモジュール１７０が各画素の画素値に対応するレーザ光を出射するタイミングと、そのタイミングにおいてＭＥＭＳミラー３１がレーザ光を走査する方向と、を制御する。ＭＥＭＳミラー３１により走査されたレーザ光は、反射ミラー３２に入射し、図９において斜線が付された範囲の光路を通って、ユーザＵの眼球ＥＹ１内の網膜ＲＥ上に投射される。

【0066】

反射ミラー３２は、レーザ光の光路におけるＭＥＭＳミラー３１の後段に配置されている。反射ミラー３２は、凹状の鏡面を備え、ＭＥＭＳミラー３１により走査されたレーザ光を反射及び集光する。反射ミラー３２により反射されたレーザ光は、導光部６０に入射され、眼球ＥＹ１内の瞳孔ＰＵ付近で集束して、網膜ＲＥ上に投射される。

【0067】

導光部６０は、レーザ光の光路における反射ミラー３２の後段に配置されている。導光部６０は、走査部３０により走査されたレーザ光を眼球ＥＹ１に導くことにより、眼球ＥＹ１内の網膜ＲＥに撮影画像又は補正画像を投影する。導光部６０は、レーザ光を通すことが可能な、アクリル等の適宜の光学材料により形成されている。導光部６０は、導光リフレクタとも呼ばれる。

【0068】

ＭＥＭＳミラー３１により走査されたレーザ光は、反射ミラー３２により反射された後、導光部６０内において複数回反射しながら、－Ｘ方向に進行する。これにより、レーザ光は、導光部６０内においてユーザＵの瞳孔ＰＵから眼球ＥＹ１内に入射可能な位置まで導かれ、瞳孔ＰＵから眼球ＥＹ１内に入射する。

【0069】

眼球ＥＹ１内に入射したレーザ光は、水晶体の中心付近で集束して網膜ＲＥに投射される。これにより、網膜ＲＥに画像が結像され、ユーザＵは結像された画像である撮影画像又は補正画像を視認することができる。このようにして、導光部６０は、走査部３０により走査されたレーザ光を眼球ＥＹ１内に導き、網膜ＲＥに画像を投影する。

【0070】

このように、投影ユニット７は、撮影ユニット３により撮影された被写体の撮影画像、又は、撮影画像から生成された補正画像を、ユーザＵの眼球ＥＹ１内の網膜ＲＥ上に表示する。これにより、ユーザＵは、自身の視点を中心として撮影された被写体の画像を視認することができる。

【0071】

次に、図１０を参照して、実施形態１に係る視覚支援装置１において実行される視覚支援処理の流れを説明する。図１０に示す視覚支援処理は、視覚支援方法の一例である。

【0072】

図１０に示す視覚支援処理は、視覚支援装置１がユーザＵに装着された状態において、適宜のタイミングで繰り返し実行される。一例として、視覚支援装置１がユーザＵの頭部に装着された状態において、ユーザＵが頭部を動かして様々な被写体に視線を向ける毎に、撮影ユニット３のオートフォーカスが実行される。このようなオートフォーカスが実行されたタイミングで、図１０に示す視覚支援処理は実行される。

【0073】

視覚支援処理を開始すると、制御ユニット５において、制御部１１０は、撮影画像取得部１１１として機能し、撮影画像を取得する（ステップＳ１１）。制御部１１０は、撮影ユニット３によりユーザＵの視認対象を被写体とする撮影を行う。これにより、制御部１１０は、例えば図４に示した撮影画像Ｐ１等を撮影ユニット３から取得する。ステップＳ１１は、撮影画像取得ステップの一例である。

【0074】

撮影画像を取得すると、制御部１１０は、視覚支援装置１の現在の動作モードを判定する（ステップＳ１２）。動作モードは、ユーザＵがモード切替スイッチ１４０を操作することにより切り替えられる。制御部１１０は、現在の動作モードが視覚支援モードであるか、通常モードであるかを判定する。

【0075】

現在の動作モードが視覚支援モードであると判定した場合（ステップＳ１２；視覚支援モード）、制御部１１０は、被写体判定部１１２として機能し、撮影画像に撮影された被写体に文字が記載されているか否かを判定する（ステップＳ１３）。

【0076】

被写体に文字が記載されている場合（ステップＳ１３；ＹＥＳ）、制御部１１０は、画像補正部１１３として機能し、撮影画像を補正することにより補正画像を生成する。具体的に説明すると、制御部１１０は、撮影画像における文字が記載されている領域の色情報をグレースケールに変換する（ステップＳ１４）。

【0077】

次に、制御部１１０は、グレースケールに変換された後の画像において、文字領域を予め定めた色で着色する（ステップＳ１５）。具体的に説明すると、制御部１１０は、文字が記載されている領域内の文字部分と背景部分とのうちの明るい方を有彩色で着色し、暗い方を無彩色で着色する。これにより、制御部１１０は、例えば図６に示した補正画像Ｑ１、図７に示した補正画像Ｑ２等を生成する。ステップＳ１４，Ｓ１５は、画像補正ステップの一例である。

【0078】

補正画像を生成すると、制御部１１０は、投影制御部１１４として機能し、生成された補正画像をユーザＵの網膜ＲＥ上に投影する（ステップＳ１６）。具体的に説明すると、制御部１１０は、補正画像に基づくレーザ光をレーザモジュール１７０から出射させる。そして、制御部１１０は、投影ユニット７において、レーザ光をユーザＵの眼球ＥＹ１内に投射することで、補正画像を眼球ＥＹ１内の網膜ＲＥ上に投影する。ステップＳ１６は、投影ステップの一例である。

【0079】

一方で、ステップＳ１２で現在の動作モードが通常モードであると判定した場合（ステップＳ１２；通常モード）、及び、ステップＳ１３で被写体に文字が記載されていないと判定した場合（ステップＳ１３；ＮＯ）、制御部１１０は、ステップＳ１４における補正処理を実行しない。

【0080】

この場合、制御部１１０は、投影制御部１１４として機能し、ステップＳ１２における撮影により得られた撮影画像をユーザＵの網膜ＲＥ上に投影する（ステップＳ１７）。具体的に説明すると、制御部１１０は、撮影画像に基づくレーザ光をレーザモジュール１７０から出射させる。そして、制御部１１０は、投影ユニット７において、レーザ光をユーザＵの眼球ＥＹ１内に投射することで、撮影画像を眼球ＥＹ１内の網膜ＲＥ上に投影する。ステップＳ１７は、投影ステップの一例である。

【0081】

以上説明したように、実施形態１に係る視覚支援装置１は、撮影ユニット３の撮影により取得された撮影画像を補正することにより補正画像を生成し、生成された補正画像をユーザＵの網膜ＲＥ上に投影する。その際、視覚支援装置１は、撮影画像での被写体に文字が記載されている場合、文字が記載されている領域が予め定めた色で着色されるように補正画像を生成する。これにより、視覚支援装置１は、視認対象における文字が記載されている領域を直感的に把握しやすくすることができる。

【0082】

特に、ユーザＵがロービジョン者である場合において、文字が記載されている領域を着色することにより、ユーザＵは、視界内から文字が記載されている領域を見つけやすくなるため、容易に情報を収集することができる。これにより、例えばユーザＵが屋外に居る際に、看板や案内板等の位置をすぐに把握することができる。また、ユーザＵが雑誌、書籍、文書等を読んでいる場合において、文章が記載されている場所をすぐに把握することができる。このように、実施形態１に係る視覚支援装置１は、ロービジョン者が文字を読む行為を支援することができる。

【0083】

（変形例）
以上に本発明の実施形態について説明したが、上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

【0084】

例えば、上記実施形態では、画像補正部１１３は、撮影画像に撮影された被写体に文字が記載されている場合、補正画像において文字が記載されている領域内における文字部分と背景部分とのうちの明るい方を有彩色で着色し、暗い方を無彩色で着色した。しかしながら、画像補正部１１３は、このような着色に限らず、他の着色の仕方を採用しても良い。

【0085】

例えば、画像補正部１１３は、文字部分と背景部分とのうちの明るい方を無彩色で着色し、暗い方を有彩色で着色しても良い。或いは、画像補正部１１３は、文字部分と背景部分とのうちの一方のみを予め定めた色で着色するが、他方には着色処理を加えなくても良い。また、画像補正部１１３は、ユーザＵが直感的に把握しやすくすることが可能であれば、文字部分又は背景部分に限らず、文字が記載されている領域のどの部分を予め定めた色で着色しても良い。例えば、画像補正部１１３は、補正画像において文字が記載されている領域の縁部分を予め定めた色で着色しても良い。

【0086】

上記実施形態では、画像補正部１１３は、被写体に文字が記載されていない場合、撮影画像に補正を加えなかった。また、画像補正部１１３は、被写体に文字が記載されている場合において、文字が記載されていない領域には補正を加えなかった。しかしながら、画像補正部１１３は、これらの場合において、撮影画像に対して何らかの補正を加えて補正画像を生成しても良い。例えば、画像補正部１１３は、これらの場合において、シャープネス又は彩度を強める等のように、撮影画像における文字が記載されていない領域を見やすくする補正を加えても良い。

【0087】

上記実施形態では、視覚支援装置１は、眼鏡の形状をしていた。しかしながら、視覚支援装置１は、眼鏡の形状であることに限らず、例えば、ヘルメット状、帽子状、ゴーグル状等をしていても良い。

【0088】

上記実施形態では、投影装置２は、第１の眼球ＥＹ１の側に配置され、撮影装置１００は、第２の眼球ＥＹ２の側に配置されていた。しかしながら、撮影装置１００は、ユーザＵの視認対象を撮影できる位置であれば、第２の眼球ＥＹ１の側に配置されることに限らず、第１の眼球ＥＹ１の側に配置されても良いし、ユーザＵの額、頭上等の位置に配置されても良い。

【0089】

上記実施形態では、投影装置２は、第１の眼球ＥＹ１内の網膜ＲＥ上に撮影画像又は補正画像を投影した。しかしながら、投影装置２は、第２の眼球ＥＹ２内の網膜ＲＥ上に撮影画像又は補正画像を投影しても良いし、２つの眼球ＥＹ１，ＥＹ２の両方の網膜ＲＥ上に撮影画像又は補正画像を投影しても良い。

【0090】

上記実施形態では、制御部１１０において、ＣＰＵがＲＯＭに記憶されたプログラムを実行することによって、撮影画像取得部１１１、被写体判定部１１２、画像補正部１１３及び投影制御部１１４の各部として機能した。しかしながら、本発明において、制御部１１０は、ＣＰＵの代わりに、例えばＡＳＩＣ、ＦＰＧＡ（Field-Programmable Gate Array）、各種制御回路等の専用のハードウェアを備え、専用のハードウェアが、撮影画像取得部１１１、被写体判定部１１２、画像補正部１１３及び投影制御部１１４の各部として機能しても良い。

【0091】

また、撮影画像取得部１１１、被写体判定部１１２、画像補正部１１３及び投影制御部１１４の機能の少なくとも一部は、制御ユニット５に備えられることに限らない。例えば、撮影画像取得部１１１、被写体判定部１１２、画像補正部１１３及び投影制御部１１４の機能の少なくとも一部は、撮影ユニット３又は投影ユニット７に備えられていても良い。或いは、視覚支援装置１の外部の装置が、撮影画像取得部１１１、被写体判定部１１２、画像補正部１１３及び投影制御部１１４の機能の少なくとも一部を備えていても良い。外部の装置は、例えばパーソナルコンピュータ、クラウドサーバ等のような、インターネット等の通信ネットワークを介して視覚支援装置１と通信可能な情報処理装置である。

【0092】

なお、本発明に係る機能を実現するための構成を予め備えた視覚支援装置として提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係る視覚支援装置として機能させることもできる。すなわち、上記実施形態で例示した視覚支援装置１の制御部１１０における各機能を実現させるためのプログラムを、既存の情報処理装置等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る視覚支援装置として機能させることができる。

【0093】

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。

【0094】

以上、本発明の好ましい実施形態等について説明したが、本発明は上述した実施形態等に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施形態等に種々の変形及び置換を加えることができる。

【符号の説明】

【0095】

１…視覚支援装置、３…撮影ユニット、５…制御ユニット、７…投影ユニット、９…複合ケーブル、３０…走査部、３１…ＭＥＭＳミラー、３２…反射ミラー、６０…導光部、１１０…制御部、１１１…撮影画像取得部、１１２…被写体判定部、１１３…画像補正部、１１４…投影制御部、１２０…記憶部、１４０…モード切替スイッチ、１５０…通信部、１７０…レーザモジュール、１８０…レーザドライバ、ＥＹ１，ＥＹ２…眼球、ＯＢ１，ＯＢ２，ＯＢ３…被写体、Ｐ１，Ｐ２…撮影画像、Ｑ１，Ｑ２…補正画像、Ｒ１，Ｒ２，Ｒ３，Ｒ４…領域、ＰＵ…瞳孔、ＲＥ…網膜、Ｕ…ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】