IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社QDレーザの特許一覧

特許7427237画像投影装置、画像投影方法、プログラム
<>
  • 特許-画像投影装置、画像投影方法、プログラム 図1
  • 特許-画像投影装置、画像投影方法、プログラム 図2
  • 特許-画像投影装置、画像投影方法、プログラム 図3
  • 特許-画像投影装置、画像投影方法、プログラム 図4
  • 特許-画像投影装置、画像投影方法、プログラム 図5
  • 特許-画像投影装置、画像投影方法、プログラム 図6
  • 特許-画像投影装置、画像投影方法、プログラム 図7
  • 特許-画像投影装置、画像投影方法、プログラム 図8
  • 特許-画像投影装置、画像投影方法、プログラム 図9
  • 特許-画像投影装置、画像投影方法、プログラム 図10
  • 特許-画像投影装置、画像投影方法、プログラム 図11
  • 特許-画像投影装置、画像投影方法、プログラム 図12
  • 特許-画像投影装置、画像投影方法、プログラム 図13
  • 特許-画像投影装置、画像投影方法、プログラム 図14
  • 特許-画像投影装置、画像投影方法、プログラム 図15
  • 特許-画像投影装置、画像投影方法、プログラム 図16
  • 特許-画像投影装置、画像投影方法、プログラム 図17
  • 特許-画像投影装置、画像投影方法、プログラム 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-26
(45)【発行日】2024-02-05
(54)【発明の名称】画像投影装置、画像投影方法、プログラム
(51)【国際特許分類】
   G09G 3/02 20060101AFI20240129BHJP
   G02B 27/02 20060101ALI20240129BHJP
   G09G 5/00 20060101ALI20240129BHJP
   G09G 5/37 20060101ALI20240129BHJP
   H04N 5/64 20060101ALI20240129BHJP
【FI】
G09G3/02 A
G02B27/02 Z
G09G5/00 510B
G09G5/00 510H
G09G5/00 550H
G09G5/37 320
H04N5/64 511A
【請求項の数】 8
(21)【出願番号】P 2020028582
(22)【出願日】2020-02-21
(65)【公開番号】P2021135304
(43)【公開日】2021-09-13
【審査請求日】2022-11-08
(73)【特許権者】
【識別番号】506423051
【氏名又は名称】株式会社QDレーザ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】鈴木 誠
(72)【発明者】
【氏名】足利 英昭
【審査官】村上 遼太
(56)【参考文献】
【文献】国際公開第2018/122902(WO,A1)
【文献】特開2018-013566(JP,A)
【文献】特開2011-112678(JP,A)
【文献】特開平10-105153(JP,A)
【文献】特開2005-107871(JP,A)
【文献】特開2019-174663(JP,A)
【文献】特開2017-223943(JP,A)
【文献】特開2007-199593(JP,A)
【文献】米国特許出願公開第2002/0167461(US,A1)
【文献】特開昭61-067180(JP,A)
【文献】米国特許出願公開第2016/0270648(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G02B26/10-30/60
G02C1/00-13/00
G09G3/00-3/08
3/12
3/16
3/19-3/26
3/30
3/34
3/38-5/42
H04N5/64-5/655
(57)【特許請求の範囲】
【請求項1】
入力された画像データを記憶する記憶部と、
前記画像データに対し、前記画像データが示す画像を、前記画像の画角を維持した状態で、基準位置から等間隔の幅の領域に分割し、前記基準位置から離れるにしたがって前記領域の幅が単調に減少又は増加するように、補正を行う制御部と、
前記領域の幅の減少又は増加の度合いを変更する操作を受け付ける操作受付部と、
レーザ光線を出射する光源部を有し、前記操作受付部が受け付けた前記領域の幅の減少又は増加の度合いを変更に応じて、前記制御部による補正後の画像データが変化する様子を示す動画データに基づき、前記レーザ光線を2次元に走査し、利用者の網膜に前記動画データが示す動画を投影するレーザ照射部と、を有する画像投影装置。
【請求項2】
前記制御部は、
前記基準位置から最も近い領域の幅を、前記等間隔の幅よりも広くし、前記基準位置から離れるにしたがって前記領域の幅を等比級数的に減少又は増加させる、請求項1記載の画像投影装置。
【請求項3】
前記基準位置は、
前記画像データが示す画像の中心点を含む直線が示す位置である、請求項1又は2記載の画像投影装置。
【請求項4】
記操作受付部は、前記補正の指示を受け付け、
前記制御部は、
前記操作受付部が受け付けた指示に応じて、前記領域の幅を単調に減少又は増加させる、請求項1乃至3の何れか一項に記載の画像投影装置。
【請求項5】
前記制御部は、
前記操作受付部が受け付けた操作に応じた値を取得する操作値取得部を有し、
前記操作値取得部が取得した値に応じて、前記領域の幅の減少又は増加の度合いを変更する、請求項4記載の画像投影装置。
【請求項6】
表示部と、
前記表示部に、前記領域の幅の減少又は増加の度合いを示す値を入力させる入力画面を表示させる表示制御部と、を有する請求項1乃至5の何れか一項に記載の画像投影装置。
【請求項7】
画像投影装置による画像投影方法であって、前記画像投影装置が、
入力された画像データを記憶部に記憶する手順と、
前記画像データに対し、前記画像データが示す画像を、前記画像の画角を維持した状態で、基準位置から等間隔の幅の領域に分割し、前記基準位置から離れるにしたがって前記領域の幅が単調又は等比級数的に、減少又は増加するように、補正を行う手順と、
前記領域の幅の減少又は増加の度合いを変更する操作を受け付ける手順と、
レーザ光線を出射する光源部を有し、前記操作を受け付ける手順において受け付けた前記領域の幅の減少又は増加の度合いを変更に応じて、前記補正による補正後の画像データが変化する様子を示す動画データに基づき、前記レーザ光線を2次元に走査し、利用者の網膜に前記動画データが示す動画を投影する手順と、を有する画像投影方法。
【請求項8】
入力された画像データを記憶部に格納し、
前記画像データに対し、前記画像データが示す画像を、前記画像の画角を維持した状態で、基準位置から等間隔の幅の領域に分割し、前記基準位置から離れるにしたがって前記領域の幅が単調又は等比級数的に、に減少又は増加するように、補正を行い、
前記領域の幅の減少又は増加の度合いを変更する操作を受け付けて、前記領域の幅の減少又は増加の度合いを変更に応じて、前記補正による補正後の画像データが変化する様子を示す動画データを、網膜走査型の画像投影装置に対して出力する、処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像投影装置、画像投影方法、プログラムに関する。
【背景技術】
【0002】
網膜投影型の画像投影装置では、入力された画像データに基づくレーザ光で利用者の網膜を走査し、利用者の網膜に画像を投影することで、前眼部の屈折機能等に依存せずに、利用者に画像を視認させる。このため、網膜投影型の画像投影装置は、円錐角膜等の前眼部疾患を有する利用者に対しての視機能の支援に効果的である。
【0003】
視機能を低下させる他の疾患としては、網膜疾患がある。網膜疾患の場合は、網膜の機能が欠損している欠損領域に照射されたレーザ光は感知されない。このため、網膜疾患を有する利用者に対しては、網膜のうち、欠損領域以外の領域にレーザ光を照射する方法が提案されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2016-134668号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、網膜疾患は、中心・部分暗点や視野狭窄等、多種多様であり、視野の欠損領域の大きさや位置も、人それぞれ異なる。このため、各利用者の疾患の態様に合わせてカスタマイズした画像投影装置を提供することは困難である。
【0006】
また、例えば、カスタマイズの手法の1つとして、利用者が視認する画像の部分的な歪曲を補正することが考えられるが、この場合には、得られる画像の対称性が損なわれ、違和感が大きくなる可能性がある。このように、従来の網膜走査型の画像投影装置では、網膜疾患を有する利用者に対しては、視機能の支援が不十分であった。
【0007】
開示の技術は、上述した事情に鑑みて成されたものであり、網膜疾患を有する利用者に対する視機能を支援すること目的としている。
【課題を解決するための手段】
【0008】
開示の技術は、入力された画像データを記憶する記憶部と、前記画像データに対し、前記画像データが示す画像を、前記画像の画角を維持した状態で、基準位置から等間隔の幅の領域に分割し、前記基準位置から離れるにしたがって前記領域の幅が単調に減少又は増加するように、補正を行う制御部と、前記領域の幅の減少又は増加の度合いを変更する操作を受け付ける操作受付部と、レーザ光線を出射する光源部を有し、前記操作受付部が受け付けた前記領域の幅の減少又は増加の度合いを変更に応じて、前記制御部による補正後の画像データが変化する様子を示す動画データに基づき、前記レーザ光線を2次元に走査し、利用者の網膜に前記動画データが示す動画を投影するレーザ照射部と、を有する画像投影装置である。

【発明の効果】
【0009】
網膜疾患を有する利用者に対する視機能を支援できる。
【図面の簡単な説明】
【0010】
図1】第一の実施形態の画像投影装置のハードウェア構成を説明する図である。
図2】第一の実施形態の制御部の機能を説明する図である。
図3】第一の実施形態の画像投影装置の動作を説明するフローチャートである。
図4】第一の実施形態における画像の補正を説明するフローチャートである。
図5】第一の実施形態における画像の補正を説明する第一の図である。
図6】第一の実施形態における画像の補正を説明する第二の図である。
図7】投影用画像データの一例を示す図である。
図8】第二の実施形態の制御部の機能を説明する図である。
図9】第二の実施形態の基準位置の設定を説明する図である。
図10】第二の実施形態の画像投影装置の動作を説明するフローチャートである。
図11】第三の実施形態の画像投影装置を説明する図である。
図12】第二の実施形態の画像投影装置のハードウェア構成を説明する図である。
図13】第四の実施形態の画像投影装置を説明する図である。
図14】第四の実施形態の画像投影システムに含まれる各装置のハードウェア構成を説明する図である。
図15】第四の実施形態の端末装置の機能構成を説明する図である。
図16】端末装置の表示例を示す図である。
図17】第五の実施形態の画像投影装置を説明する図である。
図18】第五の実施形態の画像投影装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【0011】
(第一の実施形態)
以下に図面を参照して、第一の実施形態について説明する。図1は、第一の実施形態の画像投影装置のハードウェア構成を説明する図である。
【0012】
本実施形態の画像投影装置100は、マクスウェル視を利用した網膜投影型ヘッドマウントディスプレイである。マクスウェル視を利用して、利用者の網膜に画像を投影するものである。マクスウェル視とは、画像データに基づく画像用光線を一旦瞳孔の中心で収束させてから網膜上に投影することで、人の水晶体の調節機能に影響されずに、人に画像データが示す画像を視認させることができる方法である。
【0013】
また、本実施形態の画像投影装置100は、例えば、一般的な眼鏡のような形状としたフレームを有するものであっても良いし、利用者の両眼を覆うゴーグルのような形状であっても良い。
【0014】
本実施形態の画像投影装置100は、通信部20、制御部30、記憶部40、レーザ出力制御部(光線出力制御部)50、レーザ照射部60、画像入力部70、操作入力部80を有する。
【0015】
通信部20は、画像投影装置100と、外部装置との通信を行うための通信装置である。具体的には、例えば、通信部20は、ネットワーク等を介して、外部装置から画像投影装置100に投影させる画像の画像データを取得しても良い。通信部20による通信の方式は、画像投影装置100と外部装置とが通信を行うことができれば、どのような方式であっても良い。
【0016】
制御部30は、例えば、演算処理装置等であり、本実施形態の画像投影装置100の動作の全体を制御する。具体的には、制御部30は、通信部20から入力された画像データや、記憶部40に格納された画像データや、画像入力部70から入力された画像データに対して、補正を行い、補正後の画像データをレーザ出力制御部50へ出力する。
【0017】
より具体的には、本実施形態の制御部30は、画像データが示す画像のサイズ(画角)を変えずに、この画像に対し、中心部分を拡大し周辺部分を縮小する、又は、中心部分を縮小し周辺部分を拡大するように、画像データを補正する。この補正は、操作入力部80の操作に応じて行われる。制御部30は、補正後の画像データをレーザ出力制御部50へ出力する。制御部30による画像の補正の詳細は後述する。
【0018】
記憶部40は、制御部30により実行されるプログラムや、演算により取得された各種の値等を格納する。また、記憶部40は、通信部20、画像入力部70等によって入力された画像データを保持する。さらに、記憶部40は、制御部30により補正された補正後の画像データが格納されても良い。
【0019】
レーザ出力制御部50は、レーザ照射部60を制御するための演算処理装置等であっても良く、例えば、記憶部40に格納された補正後の画像データに基づくレーザ光を、予め設定された光量で、レーザ照射部60から照射させる。
【0020】
レーザ照射部60は、レーザ光を照射する光源部を有し、補正後の画像データに基づくレーザ光を2次元に走査して、予め設定された光量で利用者の眼球(網膜)160に照射することによって、画像を網膜へ投影する。
【0021】
画像入力部70は、画像投影装置100に画像データを入力するためのものである。本実施形態の画像入力部70は、例えば、カメラ等の撮像装置であっても良く、この撮像装置により撮像された画像データは、記憶部40に格納されても良い。
【0022】
また、画像入力部70は外部装置からの画像データ、動画像データをDVI(Digital Visual Interface)、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)などのインタフェースを用いて入力することもできる。
【0023】
操作入力部80は、画像投影装置100の利用者による、画像データの補正を指示する操作を受け付ける。操作入力部80が受け付けた操作は、制御部30に対する画像データの補正の指示となる。
【0024】
本実施形態の操作入力部80は、具体的には、例えば、画像データの中心部分を拡大し周辺部分を縮小する操作、又は、中心部分を縮小し周辺部分を拡大する操作を行うための操作部材であって良い。
【0025】
また、本実施形態では、操作入力部80の操作によって、連続的に画像データの中心部分の拡大の度合い及び周辺部分の縮小の度合いが変更されても良い。同様に、本実施形態では、操作入力部80の操作によって、連続的に画像データの周辺部分の拡大の度合い及び中心部分の縮小の度合いが変更されても良い。
【0026】
本実施形態では、このように、画像投影装置100の利用者の操作に応じて、画像の中心部分が拡大された補正後の画像データが示す画像、又は、画像の周辺部分が拡大された補正後の画像データが示す画像が利用者の網膜に投影される。
【0027】
さらに、本実施形態では、操作に応じて、連続的に、画像データの中心部分と周辺部分の拡大又は縮小/縮小又は拡大の度合いを変更することができる。
【0028】
したがって、本実施形態によれば、例えば、利用者が網膜疾患を有する場合であっても、利用者が自身で、画像を視認しやすい状態に画像データを補正させることができ、網膜疾患を有する利用者に対する視機能を支援することができる。
【0029】
また、本実施形態では、画角を変えないように画像データを補正するため、利用者に網膜に投影される画像の大きさは維持される。言い換えれば、本実施形態によれば、画像の全体を利用者に視認させつつ、利用者にとっての見え方をより良くすることができる。
【0030】
尚、図1では、画像投影装置100が各部を有する構成としたが、これに限定されない。例えば、通信部20、制御部30、記憶部40等は、画像投影装置100と接続されて画像投影装置100を制御する制御用端末等に設けられていても良い。この場合、画像投影装置100には、少なくとも、レーザ出力制御部50、レーザ照射部60が設けられていれば良い。
【0031】
次に、本実施形態の画像投影装置100の制御部の機能について説明する。図2は、第一の実施形態の制御部の機能を説明する図である。
【0032】
本実施形態の制御部30は、画像データ取得部31、操作値取得部32、画像補正部33、画像データ出力部34を有する。
【0033】
画像データ取得部31は、記憶部40に格納された画像データを読み出して取得する。また、画像データ取得部31は、通信部20が受信した画像データを取得する。
【0034】
操作値取得部32は、操作入力部80が受け付けた操作に応じた値を取得し、画像補正部33へ通知する。
【0035】
画像補正部33は、画像データ取得部31が取得した画像データを補正する。具体的には、本実施形態では、画像データ取得部31が取得した画像データが示す画像のサイズ(画角)を変えずに、操作値取得部32から通知された値に応じて、この画像の中心部分の拡大と周辺部分の縮小、又は、この画像の中心部分の縮小と周辺部分の拡大を行う。画像補正部33の詳細は後述する。
【0036】
画像データ出力部34は、画像補正部33により補正された補正後の画像データをレーザ出力制御部50へ出力する。以下の説明では、画像補正部33による補正が行われた後の画像データを投影用画像データと呼ぶ。
【0037】
次に、図3を参照して、本実施形態の画像投影装置100の動作について説明する。図3は、第一の実施形態の画像投影装置の動作を説明するフローチャートである。
【0038】
本実施形態の画像投影装置100の制御部30は、画像データ取得部31により、画像データを取得し、この画像データを利用者の網膜に投影させる(ステップS31)。具体的には、制御部30は、取得した画像データをレーザ出力制御部50へ出力し、レーザ出力制御部50によってレーザ照射部60を制御して、画像データに応じたレーザ光線を照射させ、画像(補正前の画像)を利用者の網膜に投影させる。
【0039】
尚、本実施形態では、例えば、制御部30において、画像データ取得部31により取得する画像データが予め設定されていても良い。具体的には、例えば、画像データ取得部31には、記憶部40に格納された画像データを取得するのか、又は、通信部20が受信した画像データを取得するのか、が予め設定されていても良い。
【0040】
また、本実施形態では、画像データ取得部31は、通信部20が画像データを受信している場合には、受信している画像データを優先的に取得し、通信部20が画像データを受信していない場合には、記憶部40に格納された画像データを取得するようにしても良い。
【0041】
続いて、制御部30は、操作値取得部32により、画像の補正を指示する操作を受け付けたか否かを判定する(ステップS32)。具体的には、制御部30は、操作値取得部32が、操作入力部80の操作に応じた値を取得したか否かを判定する。
【0042】
ステップS32において、操作を受け付けない場合、制御部30は、操作を受け付けるまで待機する。
【0043】
ステップS32において、操作を受け付けると、制御部30は、画像補正部33により、取得した画像データを補正する(ステップS33)。ステップS33の詳細は、後述する。
【0044】
続いて、制御部30は、画像補正部33から出力される投影用画像データを取得し、レーザ出力制御部50へ出力する(ステップS34)。
【0045】
続いて、レーザ出力制御部50は投影用画像データを取得すると、レーザ照射部60を制御して、投影用画像データに応じたレーザ光線を照射させ、投影用画像(補正後の画像)を利用者の網膜に投影させる(ステップS35)。
【0046】
投影する画像データが、カメラからの動画や、外部装置で再生された動画像(映像)ソースであれば、上記処理を繰り返し実行し、補正された動画像をリアルタイムに利用者の網膜に投影させることができる。
【0047】
尚、図3の例では、始めに、補正する前の画像データを、利用者の網膜に投影させるものとしたが、これに限定されない。補正する前の画像データは、利用者の網膜に投影されなくても良く、補正後の投影用画像データが利用者の網膜に投影されても良い。
【0048】
次に、図4を参照して、本実施形態の画像補正部33による画像の補正について説明する。図4は、第一の実施形態における画像の補正を説明するフローチャートである。図4は、図3に示すステップS33の詳細を示している。
【0049】
本実施形態の画像投影装置100において、制御部30の画像補正部33は、画像データ取得部31が取得した画像データが示す画像を等間隔に分割する(ステップS41)。尚、分割する方向は、縦方向と横方向の両方を等間隔に分割することが好ましいが、縦方向又は横方向の何れか一方に対して、等間隔への分割を行っても良い。
【0050】
続いて、画像補正部33は、操作値取得部32により、操作入力部80の操作に応じた値を取得する(ステップS42)。以下の説明では、操作値取得部32により取得される値を操作値と呼ぶ。
【0051】
以下に、例えば、操作入力部80が物理的な操作ボタン等であった場合について説明する。この場合、操作値取得部32は、例えば、操作ボタンが押下された回数や、操作ボタンが押下されていた時間等を操作値としても良い。また、操作入力部80が、ダイヤル等であった場合には、操作値取得部32は、ダイヤルの回転量等を操作値としても良い。
【0052】
続いて、画像補正部33は、等間隔に分割した領域の幅が、ステップS42で取得した操作値を公比とする等比数列となるように、各領域の幅を算出する(ステップS43)。
【0053】
続いて、画像補正部33は、等間隔に分割した領域の高さの値が、操作値を公比とする等比数列となるように、各領域の高さを算出する(ステップS44)。
【0054】
続いて、画像補正部33は、算出され各領域の幅と高さに基づき、各領域の幅と高さを変更し、投影用画像データを作成する(ステップS45)。
【0055】
以下に、図5図6を参照して、本実施形態の画像補正部33による画像の補正についてさらに説明する。図5は、第一の実施形態における画像の補正を説明する第一の図である。図6は、第一の実施形態における画像の補正を説明する第二の図である。
【0056】
図5は、補正を行う前の画像51の例を示し、図6は、補正を行った後の補正後の画像51A、51Bの例を示す。尚、図5図6では、説明の便宜上、一色の画像としている。また、図5図6の例では、画像を横方向に対し、等間隔に分割するものとしている。
【0057】
画像51は、画像データ取得部31が取得した画像データが示す画像である。画像補正部33は、この画像51における中心点Pを通り、且つ、画像51を2等分する線Sを特定する。尚、中心点Pは、例えば、画像51が示す長方形の重心である。次に、画像補正部33は、線Sによって分割された領域の数が左右で同数となるように、画像51を等間隔に分割する。
【0058】
図5の例では、画像補正部33は、線Sを中心(基準)に、右側の領域と左側の領域とを、それぞれ5の領域L1~L5に分割している。したがって、図5の例では、中心部分の領域とは、線Sの両側に位置する2つの領域L1である。
【0059】
ここで、線Sを基準に、右側の領域の幅と左側の領域の幅とをWtとし、右側の領域と左側の領域とを分割する数をnとし、分割された中心部分の領域の幅をWmとした場合、本実施形態では、幅Wtと幅Wmの関係は、以下の式で示される。
【0060】
Wt=Wm(1+a+a+・・・+a(n-1)) 式(1)
ここで、aは公比である。言い換えれば、aは、操作入力部80が受け付けた操作に応じて取得される操作値である。図5の例では、n=5である。また、本実施形態において、例えば、Wt=1、a=1.2とした場合、
Wm=Wt/(1+a+a+a+a)=0.1344
となる。
【0061】
次に、画像補正部33は公比a=1.2として、各領域Wnの幅を補正する。具体的には、図6(A)に示す補正後の画像51Aでは、補正後の領域L1′の幅W、補正後の領域L2′の幅W、補正後の領域L3′の幅W、補正後の領域L4′の幅Wが、公比a=1.2として、式(1)を用いて算出された状態を示している。
【0062】
図6(A)では、公比aが1よりも大きい値であるため、画像を横方向に等間隔に分割し、中心部分の分割幅を最も狭くし、中心部分から遠ざかるにつれて、分割幅が単調に増加していくように、画像が補正される。
【0063】
言い換えれば、本実施形態では、画像の画角を変えずに、画像を、基準位置を中心として等間隔の幅の領域に分割し、基準位置から遠ざかるにしたがって、領域の幅が等比級数的に増加していくように、補正する。
【0064】
本実施形態では、この補正により、補正前の画像のサイズ(画角)を維持したまま、画像の中心部分を縮小し、周辺部分に向かって画像を拡大させることができる。
【0065】
図6(B)では、公比を1未満の値として、画像51を補正した補正後の画像51Bを示している。図6(B)に示す補正後の画像51Bでは、公比aが1未満の値であるため、画像を横方向に等間隔に分割し、中心部分の分割幅を最も広くし、中心部分から遠ざかるにつれて、分割幅が単調に減少していくように、画像が補正される。
【0066】
言い換えれば、本実施形態では、画像の画角を変えずに、画像を、基準位置を中心として等間隔の幅の領域に分割し、基準位置から遠ざかるにしたがって、領域の幅が等比級数的に減少していくように、補正する。
【0067】
本実施形態では、この補正により、補正前の画像のサイズ(画角)を維持したまま、画像の中心部分を拡大し、周辺部分に向かって画像を縮小させることができる。
【0068】
このとき、公比aの範囲は、例えば、0.7<a<1.3程度であることが好ましいが、公比aの範囲は、予め設定されていればよく、この範囲に限定されない。
【0069】
また、本実施形態では、操作値取得部32が取得した操作値に応じて、公比aが決まる。このため、本実施形態では、操作入力部80に対する操作に応じて、領域の幅が等比級数的に減少又は増加する度合いが変更される。
【0070】
図5図6では分割された領域の横方向の幅が補正された場合を示したが、本実施形態では、分割された領域の縦方向の高さも同様に補正される。
【0071】
また、図5図6の例では、画像補正部33は、分割された領域の幅と高さが等比数列となるように補正するものとしたが、これに限定されない。画像補正部33は、分割された領域の幅と高さが等差数列となるように補正しても良い。この場合、操作値取得部32が取得する操作値は、公差となる。
【0072】
具体的には、この場合、図5に示す画像51の幅Wtと各領域の幅Wmの関係は、以下の式(2)のようになる。
【0073】
Wt=Wm×(n/2)+(b+2b+3b+4b) 式(2)
ここで、例えば、Wt=1、n=10、b=0.05とした場合、幅Wmは、以下のようになる。
【0074】
Wm=(2×(Lt-(10×b))/n=0.1
この場合、幅Wmの値が負になることはあり得ないため、公差bの範囲は、例えば、-0.05<b<0.05となることが好ましいが、公比bの範囲は、予め設定されていれば良く、この範囲に限定されない。
【0075】
本実施形態では、公差bが0より大きい値であれば、画像51は、中心部分の分割幅を最も狭くし、中心部分から遠ざかるにつれて、分割幅が単調に増加していくように、画像が補正される。本実施形態では、公差bが0より小さい値であれば、画像51は、中心部分の分割幅を最も広くし、中心部分から遠ざかるにつれて、分割幅が単調に減少していくように、画像が補正される。
【0076】
図7は、投影用画像データの一例を示す図である。図7(A)に示す画像71は、画像データ取得部31が取得した画像データが示す画像の一例である。画像71では、中央部分に配置された円形画像71aと、周辺部分に配置された円形画像71b、71c、71d、71eを含む。
【0077】
図7(B)に示す画像72は、画像補正部33により、画像71を示す画像データを補正した後の投影用画像データが示す画像の一例である。
【0078】
画像72では、画像71と比較して、中央部分が縮小されており、周辺部分が拡大されている。したがって、画像72を示す投影用画像データは、操作値に応じた公比を1より大きい値として、画像71を示す画像データを補正したものである。
【0079】
画像72では、画像71の中央部分を縮小することで、画像71の円形画像71aに対応する画像72aは中央部分に向かって縮められ、画像71の円形画像71b、71c、71d、71eに対応する画像72b、72c、72d、72eは、中央部分に向かって引き伸ばされる。
【0080】
このため、例えば、網膜疾患によって、画像71の円形画像71bと対応する領域の視野が欠損している利用者の網膜に対し、画像72を投影させた場合には、円形画像71bに対応する画像72bの視認が可能となる場合がある。
【0081】
図7(C)に示す画像73は、画像補正部33により、画像73を示す画像データを補正した後の投影用画像データが示す画像の一例である。
【0082】
画像73では、画像71と比較して、中央部分が拡大されており、周辺部分が縮小されている。したがって、画像73を示す投影用画像データは、操作値に応じた公比を1未満の値として、画像71を示す画像データを補正したものである。
【0083】
画像73では、画像71の中央部分を拡大することで、画像71の円形画像71aに対応する画像73aは周辺部分に向かって引き伸ばされ、画像71の円形画像71b、71c、71d、71eに対応する画像73b、73c、73d、73eは、周辺部分に向かって縮められる。
【0084】
このため、例えば、網膜疾患によって、画像71の円形画像71aと対応する領域の視野が欠損している利用者の網膜に対し、画像73を投影させた場合には、円形画像71aに対応する画像73aの視認が可能となる場合がある。
【0085】
また、本実施形態では、操作入力部80に対する操作に応じて、画像71が画像72又は画像73まで連続的に変化しても良い。この場合、画像投影装置100は、利用者に対して、操作入力部80に応じて画像71が画像72へ変化していく様子を動画として投影させても良い。また、本実施形態では、画像72から画像73までの変化、画像73から画像72までの変化のそれぞれについても、動画として利用者の網膜に投影させても良い。
【0086】
本実施形態では、このように、利用者の操作に応じて、画像の対称性を維持しながら、
自由に拡大と縮小を行うことができる。
【0087】
このため、本実施形態によれば、中心・部分暗点や視野狭窄等の網膜疾患を有する利用者が、自身の疾患の態様に合わせて、利用者自身が見やすいように、自由に画像を補正することができる。したがって、本実施形態によれば、網膜疾患を有する利用者に対する視機能の支援を効果的に行うことができる。
【0088】
また、本実施形態では、画角を変えないように画像データを補正するため、利用者に網膜に投影される画像の大きさは維持される。このため、本実施形態では、画像の全体を利用者に視認させつつ、中心部分又は周辺部分の見え方をより良くすることができる。
【0089】
(第二の実施形態)
以下に図面を参照して第二の実施形態について説明する。第二の実施形態では、補正前の画像を分割する際に、基準となる位置を設定できる点が、第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
【0090】
図8は、第二の実施形態の制御部の機能を説明する図である。本実施形態の制御部30Aは、画像データ取得部31、操作値取得部32、画像補正部33、画像データ出力部34、基準位置設定部35を有する。
【0091】
本実施形態の基準位置設定部35は、補正前の画像において、画像を等間隔に分割する際の基準位置を設定する。
【0092】
以下に、図9を参照して、基準位置について説明する。図9は、第二の実施形態の基準位置の設定を説明する図である。
【0093】
図9では、画像51において、線S1が基準として設定された場合を示している。図9の例では、線S1が画像を等間隔に分割する際の基準となるため、線S1を挟んで隣接する2つの領域L11が、中心の領域となる。
【0094】
つまり、本実施形態では、線S1を中心とした領域が、画像補正部33によって拡大又は縮小されることになる。
【0095】
尚、図9の例では、基準位置として、線S1を設定するものとしたが、これに限定されない。基準位置は、点であっても良い。基準位置として、点が設定された場合には、その点を中心にして、画像51の縦方向と横方向について、それぞれ等間隔に分割し、点を介して縦方向に隣接する領域と、点を介して横方向に隣接する領域とを中心の領域とすれば良い。
【0096】
また、基準位置が点である場合には、この点を中心とした同心円のうち、最も半径が短い円の領域と、この円と、次に半径が短い円とが重ならない領域と、を隣接する領域としても良い。
【0097】
次に、図10を参照して、本実施形態の制御部30Aの動作について説明する。図10は、第二の実施形態の画像投影装置の動作を説明するフローチャートである。
【0098】
本実施形態の制御部30Aは、画像データ取得部31により、画像データを取得し、この画像データを利用者の網膜に投影させる(ステップS1001)。
【0099】
続いて、制御部30Aは、基準位置設定部35により、画像補正部33による補正の基準となる位置を決定する(ステップS1002)。
【0100】
図10のステップS1003からステップS1005までの処理は、図3のステップS33からステップS35までの処理と同様であるから、説明を省略する。
【0101】
本実施形態では、このように、画像補正部33による補正の基準位置を任意に設定できるため、利用者の要望に応じて、利用者の網膜に投影する画像の任意の領域を拡大又は縮小させることができる。
【0102】
(第三の実施形態)
以下に図面を参照して第三の実施形態について説明する。第三の実施形態では、画像投影装置をアイウェア型とした点が、第一の実施形態と相違する。よって、以下の第三の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
【0103】
図11は、第三の実施形態の画像投影装置を説明する図である。
【0104】
本実施形態の画像投影装置100Aは、眼鏡型のフレーム110と、レーザ照射部60A、操作入力部80A、光学投影部90、カメラ95、ケーブル120と、制御装置130と、を含む。
【0105】
レーザ照射部60A、光学投影部90、カメラ95は、フレーム110に取り付けられる。レーザ照射部60Aは、ケーブル120を介して制御装置130と接続される。また、レーザ照射部60Aには、操作入力部80Aが設けられる。
【0106】
尚、図11の例では、画像投影装置100Aは、眼鏡型のフレーム110を含む形態としたが、画像投影装置100Aは、利用者の両眼を覆うゴーグルのような形状であってもよい。
【0107】
また、本実施形態の画像投影装置100Aは、ケーブル210を介して画像再生機器200と接続される。
【0108】
画像再生機器200は、例えば、タブレットコンピュータ、スマートフォン、DVD(Digital Versatile Disk)プレーヤ、カメラ、ビデオカメラ等の画像を再生して出力する機器である。
【0109】
画像投影装置100Aにおいて、制御装置130は、画像再生機器200とケーブル210でデータ通信ができるように接続されることによって画像データが入力され、入力された画像データに対して所定の処理を行ない、処理された画像データを出力する。尚、制御装置130は、画像再生機器200と無線でデータ通信ができるように接続されていてもよい。
【0110】
以下に、図12を参照して、本実施形態の画像投影装置100Aのハードウェア構成について説明する。図12は、第二の実施形態の画像投影装置のハードウェア構成を説明する図である。
【0111】
本実施形態の画像投影装置100Aは、制御装置130と、アイウェア部140と、を含む。
【0112】
制御装置130は、制御部30、記憶部40、レーザ出力制御部50、画像入力部70Aを有する。画像入力部70Aは、ケーブル210を介して画像再生機器200から画像データが入力される。本実施形態の画像入力部70Aは、例えば、HDMI(登録商標)(High-Definition Multimedia Interface)コネクタ等であっても良い。
【0113】
本実施形態のアイウェア部140は、レーザ照射部60A、光学投影部90、カメラ95、操作入力部80Aを有する。
【0114】
光学投影部90は、例えば、レーザ照射部60Aから照射されるレーザ光を利用者の眼球に向けて反射する固定式のミラーである。
【0115】
カメラ95は、画像入力部の一部であり、アイウェア部140を装着している利用者の視界の画像を撮像する。尚、本実施形態では、画像投影装置100Aは、カメラ95を有するものとしたが、画像投影装置100Aは、カメラ95を有さなくても良い。
【0116】
操作入力部80Aは、例えば、タッチセンサ等である。本実施形態では、例えば、タッチセンサの一端が操作されると、公比の値が1より大きい値から増大し、他端が操作されると、公比が1未満の値から減少するようにしても良い。
【0117】
本実施形態では、このように、構成することで、画像投影装置100Aの利用者は、画像再生機器200で再生している画像を視認している状態で、操作入力部80Aを操作することができる。したがって、本実施形態によれば、画像投影装置100Aの利用者は、画像再生機器200から出力される画像を視認しながら、画像データを自身が見やすい画像データに補正することができる。
【0118】
(第四の実施形態)
以下に図面を参照して第四の実施形態について説明する。第四の実施形態では、画像再生機器200の代わりに端末装置300を用い、端末装置300で補正の指示の受付及び画像データの補正を行う点が、第三の実施形態と相違する。よって、以下の第四の実施形態の説明では、第三の実施形態との相違点について説明し、第三の実施形態と同様の機能構成を有するものには、第三の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
【0119】
図13は、第四の実施形態の画像投影装置を説明する図である。
【0120】
本実施形態の画像投影装置100Bは、眼鏡型のフレーム110と、レーザ照射部60A、光学投影部90、カメラ95、ケーブル120と、制御装置130Aと、を含む。
【0121】
また、本実施形態の画像投影装置100Bにおいて、制御装置130Aは、ケーブル120を介して、ディスプレイ310を有する端末装置300と接続される。端末装置300は、例えば、タブレットコンピュータ、スマートフォン等である。尚、制御装置130Aは、端末装置300と無線で通信を行っても良い。
【0122】
本実施形態の画像投影装置100Bは、端末装置300とは、画像投影システム500に含まれても良い。本実施形態の画像投影システム500では、端末装置300において、画像データの補正を指示する操作の受け付けや画像データの補正を行う。
【0123】
図14は、第四の実施形態の画像投影システムに含まれる各装置のハードウェア構成を説明する図である。
【0124】
画像投影装置100Bは、制御装置130Aとアイウェア部140Aとを有する。制御装置130Aは、制御部30、記憶部40、レーザ出力制御部50、通信部75を有する。
【0125】
本実施形態の通信部75は、例えば、端末装置300と通信を行うためのUSB(Universal Serial Bus)コネクタ等であっても良い。また、通信部75は、端末装置300と無線通信を行っても良い。
【0126】
本実施形態のアイウェア部140Aは、レーザ照射部60A、光学投影部90、カメラ95を有する。
【0127】
本実施形態の端末装置300は、入力部301、出力部302、演算処理部303、記憶部304等を有する。
【0128】
入力部301は、例えば、端末装置300に対する情報を入力するためタッチパネルや操作ボタン等である。出力部302は、例えば、端末装置300から情報を出力するためものであり、ディスプレイ310等により実現される。
【0129】
演算処理部303は、例えば、CPU(Central Processing Unit)等であり、各種の演算を行う。記憶部304であり、演算処理部303によって読み出されて実行されるプログラムや、演算処理部303による演算によって生成されたデータ等が格納される。
【0130】
本実施形態の画像投影システム500では、端末装置300において、画像データの補正を行い、補正後の画像データを画像投影装置100Bに出力する。
【0131】
以下に、図15を参照して、本実施形態の端末装置300の機能について説明する。図15は、第四の実施形態の端末装置の機能構成を説明する図である。
【0132】
本実施形態の端末装置300は、第一の実施形態の制御部30の有する機能に加え、画像の補正の指示を行うための操作画面を表示させる。
【0133】
本実施形態の端末装置300は、補正処理部320を有する。補正処理部320は、記憶部304に格納されたプログラムを演算処理部303が読み出して実行することで実現される。
【0134】
本実施形態の補正処理部320は、画像データ取得部31、操作値取得部32、画像補正部33、画像データ出力部34、表示制御部36を有する。
【0135】
本実施形態の表示制御部36は、操作値を入力するための入力画面をディスプレイ(表示部)310に表示させる。尚、入力画面で入力される操作値は、公比a又は公差bそのものであっても良い。
【0136】
図16は、端末装置の表示例を示す図である。図16に示す画面311には、操作ボタン312、313、314が表示される。
【0137】
操作ボタン312は、画像の中央部分を拡大させ、周辺部分を縮小させるための操作を行うためのものであり、操作ボタン312a、312bを含む。より具体的には、操作ボタン312は、図7の画像71を画像73のようにするための操作ボタンである。
【0138】
言い換えれば、操作ボタン312は、式(1)における公比aの値を、1より大きい値から最大値までの間で変更させるための操作ボタンである。さらに言い換えれば、操作ボタン312は、式(2)における公差bの値を、0より大きい値から最大値までの間で変更させるための操作ボタンである。
【0139】
本実施形態では、画像補正部33による補正において、等比数列を用いる場合には、操作ボタン312aが操作されると、公比aの値は、現在の値よりも大きい値となり、操作ボタン312bが操作されると、公比aの値は、現在の値よりも小さい値となる。また、画像補正部33による補正において、等差数列を用いる場合には、操作ボタン312aが操作されると、公差bの値は、現在の値よりも大きい値となり、操作ボタン312bが操作されると、公差bの値は、現在の値よりも小さい値となる。
【0140】
操作ボタン313は、画像の周辺部分を拡大させ、中央部分を縮小させるための操作を行うためのものであり、操作ボタン313a、313bを含む。より具体的には、操作ボタン313は、図7の画像71を画像72のようにするための操作ボタンである。
【0141】
言い換えれば、操作ボタン312は、式(1)における公比aの値を、1未満の値から最小値までの間で変更させるための操作ボタンである。さらに言い換えれば、操作ボタン312は、式(2)における公差bの値を、0未満の値から最小値までの間で変更させるための操作ボタンである。
【0142】
ここで、中央部分を拡大、縮小させる操作ボタン312a、312bと、周辺部分を拡大、縮小させる操作ボタン313a、313bとを別々に設けるのではなく、操作ボタン312a、312bのみを設け、312aを操作したときは中心部分を拡大するとともに、周辺部は中心部の拡大率に応じて縮小されるようにしても良い。
【0143】
本実施形態では、画像補正部33による補正において、等比数列を用いる場合には、操作ボタン313aが操作されると、公比aの値は、現在の値よりも大きい値となり、操作ボタン313bが操作されると、公比aの値は、現在の値よりも小さい値となる。また、画像補正部33による補正において、等差数列を用いる場合には、操作ボタン312aが操作されると、公差bの値は、現在の値よりも大きい値となり、操作ボタン312bが操作されると、公差bの値は、現在の値よりも小さい値となる。
【0144】
操作ボタン314は、操作ボタン312、313によって補正した補正後の画像を、補正前の状態(初期状態)に戻すための操作ボタンである。具体的には、操作ボタン314は、図7の画像72や画像73を画像71に戻すための操作ボタンである。
【0145】
尚、図16に示す画面は、一例である。公比aや公差bを変更する手段は、例えば、操作ボタン312、313の代わりに、タッチパネル上に所定の領域を設け、この領域内でピンチアウト操作/ピンチイン操作を行うことで、公比aや公差bを変更する手段を実現しても良い。
【0146】
また、公比aや公差bを変更する手段は、例えば、端末装置300に設けられたハードウェアスイッチで実現しても良い。具体的には、例えば、端末装置300が有する音量調整用のハードウェアスイッチ等を用いても良い。
【0147】
本実施形態では、このように、端末装置300で画像データの補正を行うことで、画像投影装置100Bの処理負荷を軽減できる。また、画像投影装置100Bに、画像データの補正を指示するための操作部材を設ける必要がなく、画像投影装置100Bの構成を簡素化できる。
【0148】
(第五の実施形態)
以下に図面を参照して、第五の実施形態について説明する。第五の実施形態では、端末装置がレーザ照射部を有する点が、第四の実施形態と相違する。よって、以下の第五の実施形態の説明では、第四の実施形態との相違点について説明し、第四の実施形態と同様の機能構成を有するものには、第四の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
【0149】
図17は、第五の実施形態の画像投影装置を説明する図である。本実施形態の画像投影装置100Cは、端末装置300Aと、ケース400と、光学投影部90Aとを有し、端末装置300Aに光学投影部90Aが取り付けられている。端末装置300Aは、例えば、スマートフォンである。
【0150】
端末装置300Aは、筐体330、ディスプレイ(表示部)310、ホームボタン350、及びレーザ照射部60(図18参照)を含む。筐体330は、端末装置300Aの外表面のうちディスプレイ310以外の部分に存在する。ディスプレイ310は、XY平面に平行な+Z側の面にタッチパネルと重ね合わせた状態で設けられている。ホームボタン350は、ディスプレイ310の中の-Y方向側の端部でX方向の中央に設けられている。
【0151】
以下では、端末装置300Aの外表面のうち、ディスプレイ310がある+Z方向側でXY平面に平行な面と、ディスプレイ310とは反対側の-Z方向側でXY平面に平行な面とを除いた面を端末装置300Aの側面と称す。
【0152】
レーザ照射部60は、端末装置300Aの筐体330の+Y方向側の側面に設けられた開口部から+Y方向にレーザ光を出射する。レーザ照射部60が出射するレーザ光は、画像を投影可能なレーザ光である。
【0153】
レーザ照射部60は、プロジェクタ(ピコプロジェクタ)の照射部として端末装置300Aに内蔵されており、端末装置300Aの+Y方向の側面をスクリーン等に向けた状態でレーザ照射部60からレーザ光を出射し、スクリーン等に画像を投影する。
【0154】
また、本実施形態の端末装置300Aには、ディスプレイ310以外の部分を覆うケース400が取り付けられている。ケース400は、所謂ジャケットであり、一例として樹脂製である。ケース400の+Y方向側の端部には、ホルダ450が設けられている。
【0155】
ケース400は、切欠部410、420、430を有する。切欠部410は、端末装置300Aの+Y方向側の側面に対応する部分に設けられている。切欠部410は、ケース400が端末装置300Aの+Y方向側の側面を覆わないように切り欠かれた部分であり、端末装置300Aの開口部を覆わないようにした部分である。
【0156】
ホルダ450は、一例としてケース400と一体成型されており、切欠部410の縁から+Y方向に立ち上がるように延在している。
【0157】
切欠部420は、ディスプレイ310の上を覆わないように切り欠かれた部分であり、切欠部410に連通している。また、切欠部430は、端末装置300Aの-Y方向側の側面に対応する部分に設けられており、切欠部420に連通している。
【0158】
図18は、第五の実施形態の画像投影装置のハードウェア構成を示す図である。
【0159】
本実施形態の画像投影装置100Cは、制御部30B、記憶部40、レーザ出力制御部50、レーザ照射部60、画像入力部70、操作入力部80Bを有する。
【0160】
操作入力部80Bは、端末装置300Aの有するタッチパネルである。また、本実施形態では、レーザ照射部60から照射されるレーザ光を利用者の眼球に向けて反射するミラーを含む光学投影部90Aを有する。
【0161】
本実施形態の制御部30Bは、画像を投影させるためのレーザ出力制御部50の制御に加え、補正処理部320の機能を有する。
【0162】
言い換えれば、本実施形態の画像投影装置100Cは、表示部に、画像を等間隔で分割した際の領域の幅の減少又は増加の度合いを示す値を入力させる入力画面を表示させる表示制御部36を有する。
【0163】
したがって、本実施形態では、端末装置300Aのディスプレイ310に、図16で示した画面311が表示されても良い。
【0164】
本実施形態では、このように、画像投影装置100Cを、小型化することで、例えば、医療機関での待ち時間等の空いた時間に、利用者に画像投影装置100Cを貸し出すことができる。利用者は、画像投影装置100Cを用いて、利用者自身が見えやすい画像を探すことができる。
【0165】
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態にあげた構成、その他の要素との組み合わせなど、ここで示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0166】
30、30A、30B 制御部
31 画像データ取得部
32 操作値取得部
33 画像補正部
34 画像データ出力部
35 基準位置決定部
36 表示制御部
40 記憶部
50 レーザ出力制御部
60、60A レーザ照射部
70、70A 画像入力部
80、80A、80B 操作入力部
90、90A 光学投影部
100、100A~100C 画像投影装置
300、300A 端末装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18