(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024084548
(43)【公開日】2024-06-25
(54)【発明の名称】電子機器、画像処理方法及びプログラム
(51)【国際特許分類】
G09G 5/00 20060101AFI20240618BHJP
G09G 5/37 20060101ALI20240618BHJP
G02B 27/02 20060101ALI20240618BHJP
H04N 7/18 20060101ALI20240618BHJP
H04N 23/60 20230101ALI20240618BHJP
H04N 23/63 20230101ALI20240618BHJP
【FI】
G09G5/00 550C
G09G5/37 320
G02B27/02 Z
H04N7/18 U
H04N23/60 500
H04N23/63
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022198874
(22)【出願日】2022-12-13
(71)【出願人】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(72)【発明者】
【氏名】勝田 寛志
(72)【発明者】
【氏名】野仲 一世
(72)【発明者】
【氏名】南 俊二
【テーマコード(参考)】
2H199
5C054
5C122
5C182
【Fターム(参考)】
2H199CA07
2H199CA29
2H199CA34
2H199CA42
2H199CA45
2H199CA66
2H199CA69
2H199CA82
2H199CA92
2H199CA94
2H199CA96
5C054CA04
5C054CC02
5C054CD00
5C054FA00
5C054FD03
5C054FE26
5C054HA00
5C122EA61
5C122FA18
5C122FH05
5C122FH06
5C122FK12
5C122FK16
5C122FK24
5C182AA04
5C182AA06
5C182AA31
5C182AB15
5C182AB33
5C182AC43
5C182BA03
5C182BA06
5C182BA14
5C182BA29
5C182BA39
5C182BA56
5C182BC01
5C182BC22
5C182BC25
5C182CB45
5C182CC26
5C182DA02
5C182DA44
5C182DA69
(57)【要約】
【課題】撮像手段がユーザの視点とは異なる位置に配置されていても、ユーザの視点を基準として撮像された画像をユーザに表示することが可能な電子機器、画像処理方法及びプログラムを提供する。
【解決手段】位置特定部113は、ユーザの視界と対応する範囲を含む第1画像における前記ユーザの視線の中心となる位置である視線中心を特定する。画像切り抜き部114は、第1画像における、位置特定部113により特定された視線中心を基準とする領域を切り抜くことにより、第2画像を生成する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
ユーザの視界と対応する範囲を含む第1画像における前記ユーザの視線の中心となる位置である視線中心を特定する位置特定手段と、
前記第1画像における、前記位置特定手段により特定された前記視線中心を基準とする領域を切り抜くことにより、第2画像を生成する画像切り抜き手段と、
を備えることを特徴とする電子機器。
【請求項2】
対象物を撮像する撮像手段と、
前記第1画像として、前記撮像手段により撮像された前記対象物の撮像画像が前記ユーザの視点から撮像された画像となるように前記撮像画像に対して台形補正を行った画像を生成する画像補正手段と、
を更に備えることを特徴とする請求項1に記載の電子機器。
【請求項3】
前記画像補正手段は、前記撮像手段の光軸の方向と前記ユーザの視線の方向とがなす角度である第1角度と、前記撮像手段から前記対象物までの距離と、に基づいて、前記第1画像を生成する、
ことを特徴とする請求項2に記載の電子機器。
【請求項4】
前記第1角度を導出する方向導出手段、を更に備え、
前記撮像手段は、回転することにより前記光軸の方向を変更可能であり、
前記画像補正手段は、前記方向導出手段によって導出された前記第1角度に基づいて前記第2画像を生成する、
ことを特徴とする請求項3に記載の電子機器。
【請求項5】
前記位置特定手段は、前記撮像手段の光軸と前記対象物との接点と、前記視線中心と、の間の距離に基づいて、前記視線中心を特定する、
ことを特徴とする請求項2から4のいずれか1項に記載の電子機器。
【請求項6】
前記位置特定手段は、前記撮像手段の画角と、前記撮像手段と前記ユーザの視点との位置関係と、に基づいて、前記視線中心を特定する、
ことを特徴とする請求項2から4のいずれか1項に記載の電子機器。
【請求項7】
前記画像切り抜き手段により生成された前記第2画像を表示する表示手段、を更に備える、
ことを特徴とする請求項1から4のいずれか1項に記載の電子機器。
【請求項8】
前記表示手段は、前記ユーザの眼球内の網膜上に前記第2画像を表示する、
ことを特徴とする請求項7に記載の電子機器。
【請求項9】
前記画像切り抜き手段により生成された前記第2画像を表示する表示手段、を更に備え、
前記電子機器は、前記ユーザに装着されて使用され、
前記表示手段は、前記電子機器が前記ユーザに装着された際、前記ユーザの第1の眼球の側に配置され、
前記撮像手段は、前記電子機器が前記ユーザに装着された際、前記ユーザの第2の眼球の側に配置される、
ことを特徴とする請求項2から4のいずれか1項に記載の電子機器。
【請求項10】
ユーザの視界と対応する範囲を含む第1画像における前記ユーザの視線の中心となる位置である視線中心を特定する位置特定ステップと、
前記第1画像における、前記位置特定ステップで特定された前記視線中心を基準とする領域を切り抜くことにより、第2画像を生成する画像切り抜きステップと、
を含むことを特徴とする画像処理方法。
【請求項11】
コンピュータを、
ユーザの視界と対応する範囲を含む第1画像における前記ユーザの視線の中心となる位置である視線中心を特定する位置特定手段、
前記第1画像における、前記位置特定手段により特定された前記視線中心を基準とする領域を切り抜くことにより、第2画像を生成する画像切り抜き手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
撮像手段により撮像された画像をユーザに表示する技術が知られている。例えば、特許文献1は、ユーザの視界方向を撮像して映像情報を取得し、ユーザの視界方向の映像をユーザに提示する頭部装着型の映像提示装置を開示している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のような撮像手段により撮像された画像をユーザに表示する技術において、撮像手段の位置がユーザの視点と異なっている場合、撮像手段により撮像される画像は、ユーザの実際の視線方向とは異なる方向から見た画像となる。そのため、ユーザに表示される画像は、ユーザとは異なる視点から撮像された画像となる。このような事情のもと、撮像手段がユーザの視点とは異なる位置に配置されていても、ユーザの視点を基準として撮像された画像をユーザに表示することが求められている。
【0005】
本発明は、以上のような課題を解決するためのものであり、撮像手段がユーザの視点とは異なる位置に配置されていても、ユーザの視点を基準として撮像された画像をユーザに表示することが可能な電子機器、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係る電子機器は、
ユーザの視界と対応する範囲を含む第1画像における前記ユーザの視線の中心となる位置である視線中心を特定する位置特定手段と、
前記第1画像における、前記位置特定手段により特定された前記視線中心を基準とする領域を切り抜くことにより、第2画像を生成する画像切り抜き手段と、
を備えることを特徴とする。
【発明の効果】
【0007】
本発明によれば、撮像手段がユーザの視点とは異なる位置に配置されていても、ユーザの視点を基準として撮像された画像をユーザに表示することができる。
【図面の簡単な説明】
【0008】
【
図1】実施形態1に係る電子機器を正面から見た図である。
【
図2】実施形態1に係る電子機器を上方から見た図である。
【
図3】実施形態1に係る電子機器の構成を示すブロック図である。
【
図4】実施形態1における撮像画像の例を示す図である。
【
図5】実施形態1における補正画像の例を示す図である。
【
図6】実施形態1において、撮像画像の補正及び切り抜きに使用される距離及び角度を示す図である。
【
図7】実施形態1において、補正画像から切り抜き画像を生成する例を示す図である。
【
図8】実施形態1に係る表示装置におけるレーザ光の光路を示す模式図である。
【
図9】実施形態1に係る電子機器により実行される画像表示処理の流れを示すフローチャートである。
【
図10】実施形態1に係る電子機器により実行される台形補正処理の流れを示すフローチャートである。
【
図11】実施形態1に係る電子機器により実行される切り抜き処理の流れを示すフローチャートである。
【
図12】実施形態2において、撮像画像の補正及び切り抜きに使用される距離及び角度を示す図である。
【
図13】実施形態2において、補正画像から切り抜き画像を生成する例を示す図である。
【
図14】実施形態3において、撮像画像の補正及び切り抜きに使用される距離及び角度を示す図である。
【
図15】変形例に係る電子機器を上方から見た図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。
【0010】
(実施形態1)
図1に、実施形態1に係る電子機器1の概略を示す。電子機器1は、撮像装置100と表示装置2とを備える。撮像装置100は、いわゆるカメラであって、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを備え、対象物を撮像する。表示装置2は、撮像装置100により撮像された対象物の画像を表示する。
【0011】
電子機器1は、撮像装置100により撮像された画像を表示装置2によりユーザUに表示する機器である。電子機器1は、眼鏡の形状をしている眼鏡型表示器であって、ユーザUに装着されて使用される。
【0012】
なお、実施形態1において、表示装置2は、ユーザUの眼球EY1内の網膜に画像を投影する網膜投影方式の装置である。網膜投影方式は、瞳孔に光を通して網膜に画像を直接的に投影するマクスウェル視を利用する。そのため、網膜投影方式は、フリーフォーカスのメリットを有し、視覚障害者に対する視覚支援方法の1つとして考えられている。例えば、ユーザUの視界の画像を撮像装置100により撮像して得られた画像をユーザUの網膜に投影することで、ユーザUは、視覚障害者であっても、外界を認識することができる。
【0013】
ユーザUは、眼鏡の形状の電子機器1を、頭部に装着して使用する。電子機器1がユーザUに装着された際、表示装置2は、眼鏡のフレームの一方側である第1の眼球EY1の側に配置されており、撮像装置100は、眼鏡のフレームの他方側である第2の眼球EY2の側に配置されている。
【0014】
なお、
図1では、ユーザUの頭部の輪郭を破線で示しており、理解を容易にするため、2つの眼球EY1,EY2以外の頭部のパーツを省略している。また、
図1では、ユーザUから見て前方向が+Y方向であり、ユーザUから見て右方向が+X方向であり、ユーザUから見て上方向が+Z方向であるとして説明する。以降の図でも同様である。
【0015】
図2に、電子機器1を、ユーザUの上方から見た様子を示す。理解を容易にするため、
図2では、ユーザUの2つの眼球EY1,EY2以外のパーツは省略している。
【0016】
図2に示すように、撮像装置100は、対象物OBを撮像する。対象物OBは、例えば、スマートフォン、パーソナルコンピュータ等の画面、机の上に置かれた書籍や書類、壁に設けられた黒板や掲示板、工場で使用される工具や作業具等である。なお、対象物OBは、ユーザUにより視認される対象であればどのようなものであっても良い。
【0017】
対象物OBは、眼球EY1,EY2がユーザUの頭部に対して正面を向いている場合において、眼球EY1の視線方向の先に存在している。言い換えると、ユーザUは、対象物OBを正対して視線を向けている。撮像装置100は、眼鏡における端部に配置されているため、撮像装置100の撮像方向(光軸)は、眼球EY1の視線方向に対して斜めの方向となる。そのため、撮像装置100は、ユーザUの視線方向とは異なる方向から対象物OBを撮像する。
【0018】
なお、以下では理解を容易にするため、撮像装置100は、眼球EY1,EY2と同じ高さの位置に配置されているとして説明する。しかしながら、撮像装置100は、眼球EY1,EY2と異なる高さの位置に配置されていても良い。
【0019】
次に、
図3を参照して、電子機器1の構成について説明する。
図3に示すように、撮像装置100は、制御部110と、記憶部120と、撮像部130と、磁気センサ140と、通信部150と、を備える。
【0020】
制御部110は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)を備える。CPUは、マイクロプロセッサ等を備えており、様々な処理や演算を実行する中央演算処理部である。制御部110において、CPUが、ROMに記憶されている制御プログラムを読み出して、RAMをワークメモリとして用いながら、撮像装置100全体の動作を制御する。なお、制御部110は、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)等の画像処理用のプロセッサを備えていても良い。
【0021】
記憶部120は、フラッシュメモリ、ハードディスク等の不揮発性メモリである。記憶部120は、制御部110によって実行されるプログラム及びデータ、及び、制御部110によって生成されるデータを記憶する。
【0022】
撮像部130は、対象物OBを撮像することで、対象物OBの撮像画像を取得する。撮像部130は、図示を省略するが、対象物OBから発せられる可視光線を集光するレンズと、レンズを通った可視光線を受光するイメージセンサと、を備える。イメージセンサは、レンズによる集光位置に配置されており、可視光線による撮像画像を生成する。
【0023】
イメージセンサは、CCD(Charge Coupled Device)、CMOS等のような撮像素子と、A/D(Analog/Digital)変換器等のような読み出し回路と、を備える。イメージセンサに入射した可視光線は、画像素子により光電変換され、読み出し回路によりデジタル信号として読み出されて、制御部110に出力される。撮像部130は、撮像手段の一例である。
【0024】
磁気センサ140は、撮像装置100の回転中心に相当する位置に備えられる。
【0025】
より詳細には、撮像装置100及び撮像部130は、回転することにより光軸の方向を変更可能である。具体的に説明すると、撮像装置100は、眼鏡に対して回転可能に取り付けられており、Z方向(鉛直方向)に延びる回転軸を軸として、ユーザUに対して左右方向に回転することができる。後述の方向導出部111は、このように状況に応じて変化する撮像部130の光軸とユーザUの視線の方向とのなす角度を導出する。
【0026】
撮像部130の光軸の方向は、撮像部130が対象物OBにおけるユーザUが見ている位置を含む範囲を撮像できるように、ユーザUと対象物OBとの距離に応じて変更可能である。具体的には、ユーザUと対象物OBとの距離が遠いほど、撮像部130の光軸は、ユーザUの視線方向に平行となる方向に向けられる。これに対して、ユーザUと対象物OBとの距離が近いほど、撮像部130の光軸は、ユーザUの視線方向からずれた方向に向けられ、光軸の方向と視線方向とのなす角度は大きくなる。このような撮像部130の光軸の方向は、撮像部130と対象物OBとの距離に応じて制御部110により自動的に変更されても良いし、ユーザUにより手動で変更されても良い。
【0027】
通信部150は、撮像装置100の外部の機器と通信するための通信インタフェースを備える。例えば、通信部150は、有線又は無線の通信媒体を介して、表示装置2と通信する。また、通信部150は、LAN(Local Area Network)、USB(Universal Serial Bus)等の周知の通信規格に則って、電子機器1の外部の装置と通信することもできる。
【0028】
なお、撮像装置100は、ユーザからの操作入力を受け付けるタッチパネルや物理ボタン等の操作部を備えていても良い。
【0029】
制御部110は、機能的に、方向導出手段の一例である方向導出部111と、画像補正手段の一例である画像補正部112と、位置特定手段の一例である位置特定部113と、画像切り抜き手段の一例である画像切り抜き部114と、を備える。制御部110において、CPUは、ROMに記憶されたプログラムをRAMに読み出して、そのプログラムを実行して制御することにより、これら各部として機能する。
【0030】
方向導出部111は、磁気センサ140と、表示装置2内の基準磁石70と、の位置関係により、撮像部130の光軸の方向とユーザUの視線の方向とのなす角度θ1を導出する。より詳細には、方向導出部111は、磁気センサ140が検出する磁束の変化に基づいて、基準磁石70の磁気センサ140に対する相対位置を導出し、撮像部130の光軸の方向とユーザUの視線の方向とのなす角度θ1を導出する。角度θ1は、第1角度に相当する。
【0031】
画像補正部112は、撮像部130により撮像された対象物OBの撮像画像から、補正画像を生成する。補正画像は、ユーザUの視界と対応する範囲を含む第1画像であって、撮像部130により撮像された対象物OBの撮像画像がユーザUの視点から撮像した画像となるように、撮像画像に対して台形補正を行った画像である。実施形態1において、ユーザUの視点は、ユーザUの第1の眼球EY1の瞳孔の位置に相当する。
【0032】
図4に、撮像部130により撮像された対象物OBの撮像画像P1を示す。また、
図5に、画像補正部112により撮像画像P1から生成された補正画像P2を示す。
図4及び
図5では、理解を容易にするために、対象物OBが複数の正方形状の部品が縦方向及び横方向に配置されている物体である場合を例にとって説明する。以降も同様である。なお、撮像画像P1は、静止画像であることに限らず、動画像(映像)であっても良い。
【0033】
対象物OBが眼球EY1と正対している場合、撮像装置100は、対象物OBを斜めから撮像する。そのため、撮像画像P1は、
図4に示すように、対象物OBを斜めから撮像した画像となり、撮像画像P1に撮像された対象物OBは、正方形状から歪んだ形状となる。具体的には、撮像画像P1において、対象物OBのうちの、撮像装置100に近い-X側の部分が大きく、撮像装置100から遠い+X側の部分が小さくなる。
【0034】
画像補正部112は、表示装置2により表示される画像が、ユーザUの視点と同じ視点から撮像した画像となるように、撮像画像P1に対して台形補正を行う。これにより、画像補正部112は、
図5に示すように、対象物OBを正面から撮像した画像である補正画像P2を生成する。
【0035】
より詳細に説明すると、画像補正部112は、方向導出部111により導出される撮像部130の光軸の方向とユーザUの視線の方向とのなす角度θ1に基づいて、補正画像P2を生成する。
図6に、対象物OBと電子機器1との位置関係、及び、電子機器1の設計に基づいて定められる距離及び角度のパラメータを示す。
【0036】
角度θ2は、撮像装置100の画角に相当する角度である。角度θ2は、撮像装置100の光学設計により予め決められている。
【0037】
距離L6は、撮像装置100の回転中心とレンズとの間の距離である。距離L6は、撮像装置100の光学設計により予め決められている。
【0038】
距離L1は、撮像装置100のレンズから対象物OBまでの、撮像装置100の光軸上における距離であって、撮像装置100の焦点距離に相当する。画像補正部112は、撮像部130のオートフォーカス機能により対象物OBにオートフォーカスされた場合における焦点距離を、距離L1として取得する。或いは、画像補正部112は、レーザ測距機によりレンズから対象物OBまでの距離を測定することで、距離L1を取得しても良い。
【0039】
画像補正部112は、補正画像P2が画角内における左端と右端とで同じ距離から見た画像となるように、撮像画像P1に対して台形補正を行う。例えば、画像補正部112は、撮像画像P1における左端の列の各画素を、右端の列の各画素と同じ大きさにするため、縦方向(Z方向)に“cos(θ1+θ2/2)/cos(θ1-θ2/2)”倍に縮小する。或いは、画像補正部112は、撮像画像P1における右端の列の各画素を、左端の列の各画素と同じ大きさにするため、縦方向(Z方向)に“cos(θ1-θ2/2)/cos(θ1+θ2/2)”倍に拡大しても良い。また、撮像画像P1における左端及び右端以外の列の各画素についても同様に、画像補正部112は、位置に応じた倍率で拡大又は縮小する。このように台形補正をすることで、画像補正部112は、
図5に示したような、対象物OBをユーザUの視線方向である正面方向から撮像した画像である補正画像P2を生成する。
【0040】
なお、台形補正をすると、縦方向(Z方向)における画素の大きさは,厳密には一定ではなくなる。しかしながら、そのような画素の大きさの違いは、ユーザUに表示する画像の精度に大きな影響を及ぼさない。
【0041】
図3に戻って、撮像装置100において、位置特定部113は、補正画像P2におけるユーザUの視線の中心となる位置である視線中心C1を特定する。視線中心C1は、
図6に示すように、眼球EY1,EY2がユーザUの頭部に対して正面を向いている場合において、眼球EY1の視線が対象物OBと交わる点である。
【0042】
まず、位置特定部113は、補正画像P2のうちから、撮像部130の光軸と対象物OBとの接点C0を特定する。接点C0は、
図6に示すように、撮像部130の光軸、すなわちレンズの光学系画角の中心が、対象物OBと交わる点である。撮像部130において、CMOSイメージセンサの領域全体の中心位置と、レンズの光学系画角の中心とは、一致するように設計されている。そのため、位置特定部113は、補正画像P2の中心位置を、撮像部130の光軸と対象物OBとの接点C0であると特定する。
【0043】
接点C0を特定すると、位置特定部113は、
図6に示した距離及び角度のパラメータを用いて、視線中心C1を特定する。具体的には、位置特定部113は、撮像部130の光軸と対象物OBとの接点C0と、視線中心C1と、の間の距離である距離ΔLに基づいて、補正画像P2における視線中心C1を特定する。
【0044】
図6において、距離L3は、表示装置2の基準となる位置である基準磁石70の位置とユーザUの視点である眼球EY1の瞳孔の位置との間の、ユーザUの左右方向(X方向)における距離である。距離L4は、撮像装置100の回転中心と、表示装置2における基準磁石70の位置と、の間の、ユーザUの左右方向(X方向)における距離である。距離L5は、撮像装置100の回転中心とユーザUの眼球EY1,EY2の瞳孔との間の、視線方向(Y方向)における距離である。距離L3~L5は、電子機器1の設計により予め決められている。
【0045】
撮像部130の光軸と対象物OBとの接点C0と、視線中心C1と、の間の距離である距離ΔLは、距離L1,L3,L4,L6と角度θ1とを用いて、下記(1)式により表される。位置特定部113は、下記(1)式に従って、距離ΔLを計算する。
ΔL=(L4-L3)-(L1+L6)cos(90°-θ1) …(1)
【0046】
距離ΔLを計算すると、位置特定部113は、
図7に示すように、補正画像P2において、撮像部130の光軸と対象物OBとの接点C0から、横方向(X方向)に距離ΔLに相当する画素数離れた対象物OB上の地点を、ユーザUの視線中心C1と特定する
【0047】
なお、
図7の例では、縦方向(Z方向)における撮像装置100の位置とユーザUの視点とが同じであると仮定しているため、縦方向(Z方向)における視線中心C1は、補正画像P2における中央となる。
【0048】
図3に戻って、撮像装置100において、画像切り抜き部114は、画像補正部112により生成された補正画像P2から、
図7に示すような切り抜き画像P3を生成する。切り抜き画像P3は、第2画像であって、補正画像P2におけるユーザUの視線の中心となる位置である視線中心C1を基準とする領域Rの画像である。画像切り抜き部114は、領域Rの左上の座標位置を読み出し開始位置として、補正画像P2における領域R内の各画素の画素値を読み出すことで、切り抜き画像P3を生成する。
【0049】
画像切り抜き部114は、補正画像P2における、位置特定部113により特定された視線中心C1を基準とする、予め定められた大きさの領域Rを、補正画像P2から切り抜く。具体的に説明すると、画像切り抜き部114は、特定した視線中心C1を中心として、横方向(X方向)に角度±θ5に相当する大きさの領域Rを切り出す。
【0050】
ここで、領域Rの大きさは、表示装置2において表示される表示画像の大きさであって、眼球EY1のFOV(Field Of View)に対応する。
図7の例のように、横方向(X方向)における領域Rの大きさに対応する角度θ5が、視線中心C1と撮像部130の画角端との間の角度よりも小さい場合、切り抜き画像P3の全体を、補正画像P2内に収めることができる。
【0051】
このように、画像切り抜き部114は、画像補正部112により生成された補正画像P2のうちから、補正画像P2におけるユーザUの視線中心C1を基準とする領域Rを切り抜くことにより、切り抜き画像P3を生成する。これにより、画像切り抜き部114は、ユーザUと同じ視界中心で対象物OBが撮像された画像を生成する。
【0052】
図2及び
図3に戻って、表示装置2は、表示手段の一例であって、画像切り抜き部114により生成された切り抜き画像P3を表示する。具体的には、表示装置2は、網膜投影方式の装置であって、ユーザUの眼球EY1内の網膜に表示画像を投影する。
図2及び
図3に示すように、表示装置2は、投影ユニット3と、制御ユニット5と、複合ケーブル7と、を備える。
【0053】
投影ユニット3は、ユーザUの眼球EY1にレーザ光を入射させて、眼球EY1内の網膜上に画像を投影するユニットである。投影ユニット3は、レーザモジュール20から出射されたレーザ光を走査する走査部30と、走査部30により走査されたレーザ光を眼球EY1に導く導光部60と、撮像部130の光軸の方向とユーザUの視線の方向とのなす角度θ1を導出するための基準磁石70と、を備える。
【0054】
走査部30は、眼鏡のフレームの側部に配置される。導光部60は、眼球EY1の真正面に位置するように、眼鏡のレンズ部分であって、一例としてレンズの内側に配置される。投影ユニット3は、制御ユニット5から出射されたレーザ光を走査部30により走査し、導光部60を通して眼球EY1に対して正面から入射させる。
【0055】
制御ユニット5は、表示装置2を制御するユニットである。制御ユニット5は、画像データに基づいて強度変調されたレーザ光を出射して、複合ケーブル7を通して投影ユニット3に出力する。
【0056】
図3に示すように、制御ユニット5は、レーザモジュール20と、投影制御部21と、レーザドライバ23と、を備える。レーザモジュール20は、ユーザUの眼球EY1に入射されるレーザ光を出射する。レーザモジュール20は、光源の一例である。
【0057】
より詳細には、レーザモジュール20は、図示しないR(赤色)レーザ光源、G(緑色)レーザ光源、及びB(青色)レーザ光源、を備えており、レーザ光を出射する。Rレーザ光源、Gレーザ光源及びBレーザ光源は、レーザドライバ23から送信された画像信号に応じてそれぞれ強度変調されたレーザ光を出射する。各レーザ光源は、例えば、半導体レーザ(レーザダイオード)、固体レーザ等である。
【0058】
各レーザ光源から出射されたレーザ光は、いずれも図示を省略するが、ダイクロイックミラー等の光学系により合波され、コリメートレンズ等の光学系により平行光化され、集光レンズ等の光学系により集光されて、複合ケーブル7へ出射される。
【0059】
投影制御部21は、レーザモジュール20によるレーザ光の出射と走査部30によるレーザ光の走査とを制御することにより、表示装置2による画像の投影を制御する。投影制御部21は、図示を省略するが、CPU、SoC(System-on-a-Chip)、ASIC(Application Specific Integrated Circuit)等の制御回路を備えており、表示装置2における画像投影処理を統括的に制御する。
【0060】
投影制御部21は、画像切り抜き部114により生成された切り抜き画像P3のデータを撮像装置100から受信し、受信したデータを画像信号に変換する。そして、投影制御部21は、レーザドライバ23を通して画像信号をレーザモジュール20に供給する。投影制御部21は、切り抜き画像P3の各画素の画素値(RGB値)を1画素ずつ順に読み出し、読み出した画素値に対応する画像信号を生成する。そして、投影制御部21は、生成した画像信号を、1画素ずつ順にレーザドライバ23に送信する。
【0061】
レーザドライバ23は、投影制御部21から受信した画像信号に基づいて、レーザモジュール20を駆動する。具体的に説明すると、レーザドライバ23は、投影制御部21から受信した画像信号に対応する輝度で、Rレーザ光源、Gレーザ光源及びBレーザ光源のそれぞれを発光させる。これにより、レーザドライバ23は、受信した画像信号に対応する色のレーザ光をレーザモジュール20から出射させる。
【0062】
複合ケーブル7は、レーザモジュール20から出射されたレーザ光を伝送し、投影ユニット3に出射するケーブルである。複合ケーブル7は、制御ユニット5及び投影ユニット3と光学的に接続される。複合ケーブル7により伝送されたレーザ光は、図示しないコリメートレンズによって平行光化され、投影ユニット3の走査部30に出射される。また、複合ケーブル7は、投影制御部21から走査部30に送信される制御信号を伝送する。
【0063】
次に、
図8を参照して、表示装置2におけるレーザ光の光路について説明する。
図8に示すように、投影ユニット3において、走査部30は、MEMS(Micro Electro Mechanical Systems)ミラー31と、反射ミラー32と、を備える。
【0064】
走査部30において、MEMSミラー31は、レーザモジュール20から出射されたレーザ光を走査する。具体的に説明すると、MEMSミラー31は、レーザモジュール20から出射されたレーザ光を受光し、レーザ光を反射ミラー32に向けて反射する。MEMSミラー31は、反射面の角度を変化させることで、反射するレーザ光を2次元の範囲に走査させる。
【0065】
より詳細には、MEMSミラー31は、MEMS加工により形成されたミラーである。MEMSミラー31では、ミラー周辺に配置されたコイルに電流を流すことにより発生するローレンツ力により、ミラーの傾きを変更することができる。これにより、MEMSミラー31は、ミラー面に入射したレーザ光の光路を変更し、2次元の範囲に走査する。
【0066】
投影制御部21は、投影対象となる画像である切り抜き画像P3における各座標の画素の画素値に対応するレーザ光が、網膜RE上の同じ座標に対応する位置に投射されるように、レーザモジュール20が各画素の画素値に対応するレーザ光を出射するタイミングと、そのタイミングにおいてMEMSミラー31がレーザ光を走査する方向と、を制御する。MEMSミラー31により走査されたレーザ光は、反射ミラー32に入射し、
図8において斜線が付された範囲の光路を通って、ユーザUの眼球EY1内の網膜RE上に投射される。
【0067】
反射ミラー32は、レーザ光の光路におけるMEMSミラー31の後段に配置されている。反射ミラー32は、凹状の鏡面を備え、MEMSミラー31により走査されたレーザ光を反射及び集光する。反射ミラー32により反射されたレーザ光は、導光部60に入射され、眼球EY1内の瞳孔PU付近で集束して、網膜RE上に投射される。
【0068】
導光部60は、レーザ光の光路における反射ミラー32の後段に配置されている。導光部60は、走査部30により走査されたレーザ光を眼球EY1に導くことにより、眼球EY1内の網膜REに切り抜き画像P3を投影する。導光部60は、レーザ光を通すことが可能な、アクリル等の適宜の光学材料により形成されている。導光部60は、導光リフレクタとも呼ばれる。
【0069】
MEMSミラー31により走査されたレーザ光は、反射ミラー32により反射された後、導光部60内において複数回反射しながら、-X方向に進行する。これにより、レーザ光は、導光部60内においてユーザUの瞳孔PUから眼球EY1内に入射可能な位置まで導かれ、瞳孔PUから眼球EY1内に入射する。
【0070】
眼球EY1内に入射したレーザ光は、水晶体の中心付近で集束して網膜REに投射される。これにより、網膜REに画像が結像され、ユーザUは結像された画像である切り抜き画像P3を視認することができる。このようにして、導光部60は、走査部30により走査されたレーザ光を眼球EY1内に導き、網膜REに画像を投影する。
【0071】
このように、表示装置2は、撮像装置100により撮像された対象物OBの撮像画像P1に基づいて生成された切り抜き画像P3を、ユーザUの眼球EY1内の網膜RE上に表示する。これにより、ユーザUは、自身の視点を中心として撮像された対象物OBの画像を視認することができる。
【0072】
次に、
図9を参照して、電子機器1において実行される画像表示処理の流れを説明する。
図9に示す画像表示処理は、画像処理方法の一例である。
【0073】
図9に示す画像表示処理は、電子機器1がユーザUに装着された状態において、適宜のタイミングで繰り返し実行される。一例として、電子機器1がユーザUの頭部に装着された状態において、ユーザUが頭部を動かして様々な対象物に視線を向ける毎に、撮像装置100のオートフォーカスが実行される。このようなオートフォーカスが実行されたタイミングで、
図9に示す画像表示処理は実行される。
【0074】
画像表示処理を開始すると、撮像装置100において、制御部110は、撮像部130により対象物OBを撮像する(ステップS1)。一例として、制御部110は、
図4に示したような対象物OBの撮像画像P1を生成する。ステップS1は、撮像ステップの一例である。
【0075】
対象物OBを撮像すると、制御部110は、撮像画像に対して台形補正を行う(ステップS2)。ステップS2における台形補正処理の詳細は、
図10に示すフローチャートを参照して説明する。
【0076】
図10に示す台形補正処理を開始すると、制御部110は、撮像部130から対象物OBまでの距離L1を取得する(ステップS21)。例えば、制御部110は、撮像部130のオートフォーカス機能により対象物OBにオートフォーカスされた場合における焦点距離を、距離L1として取得する。
【0077】
距離L1を取得すると、制御部110は、方向導出部111として機能し、撮像部130の光軸の方向とユーザUの視線の方向とのなす角度θ1を導出する(ステップS22)。具体的に説明すると、制御部110は、磁気センサ140が検出する磁束の変化に基づいて、基準磁石70の磁気センサ140に対する相対位置を導出し、撮像部130の光軸の方向とユーザUの視線の方向とのなす角度θ1を導出する。ステップS22は、方向導出ステップの一例である。
【0078】
角度θ1を導出すると、制御部110は、画像補正部112として機能して、撮像画像P1に対して台形補正を行って、ユーザUの視点と同じ視点から撮像した画像である補正画像P2を生成する(ステップS23)。一例として、制御部110は、
図5に示したような補正画像P2を生成する。ステップS23は、画像補正ステップの一例である。
【0079】
図9に戻って、補正画像P2を生成すると、制御部110は、補正画像P2から、ユーザUの視線中心C1を基準とする領域を切り抜く(ステップS3)。ステップS3における切り抜き処理の詳細は、
図11に示すフローチャートを参照して説明する。
【0080】
図11に示す切り抜き処理を開始すると、制御部110は、位置特定部113として機能して、撮像部130の光軸と対象物OBとの接点C0と、視線中心C1と、の間の距離である距離ΔLを、上記(1)式に従って計算する(ステップS31)。具体的に説明すると、制御部110は、ステップS21で取得した距離L1と、ステップS22で導出した角度θ1と、電子機器1の設計により予め決められた距離L3,L4,L6と、に基づいて、上記(1)式に従って距離ΔLを計算する。
【0081】
距離ΔLを計算すると、制御部110は、位置特定部113として機能して、撮像部130の光軸と対象物OBとの接点C0から、距離ΔL離れた対象物OB上の地点をユーザUの視線中心C1と特定する(ステップS32)。撮像部130の光軸と対象物OBとの接点C0は、撮像装置100の光学系画角の中心と一致するように設計されているため、撮像部130の光軸と対象物OBとの接点C0は、撮像装置100の光学系画角の中心に基づいて特定される。
【0082】
視線中心C1を特定すると、制御部110は、画像切り抜き部114として機能して、補正画像P2のうちから、特定した視線中心C1を基準とする、予め定められた大きさの領域Rを、補正画像P2から切り抜く(ステップS33)。一例として、制御部110は、
図7に示したような切り抜き画像P3を生成する。ステップS32は、位置特定ステップの一例であり、ステップS33は、画像切り抜きステップの一例である。
【0083】
図9に戻って、切り抜き画像P3を生成すると、表示装置2は、生成された切り抜き画像P3をユーザUに表示する(ステップS4)。具体的に説明すると、表示装置2は、撮像装置100から切り抜き画像P3のデータを取得し、切り抜き画像P3に基づくレーザ光をユーザUの眼球EY1内に投射することで、切り抜き画像P3を眼球EY1内の網膜上に表示する。ステップS4は、表示ステップの一例である。
【0084】
以上説明したように、実施形態1に係る電子機器1は、撮像部130により撮像された対象物OBの撮像画像P1がユーザUの視点から撮像された画像となるように撮像画像P1に対して台形補正を行った画像である補正画像P2を生成し、補正画像P2のうちから、補正画像P2におけるユーザUの視線の中心となる位置を基準とする領域を切り抜くことにより、切り抜き画像P3を生成する。このように、実施形態1に係る電子機器1は、撮像画像P1から補正画像P2を生成し、更に切り抜き画像P3を生成するため、撮像部130がユーザUの視点と異なる位置に配置されていても、ユーザUの視点を基準として撮像された画像をユーザUに表示することができる。
【0085】
撮像部130をユーザUの視点とは異なる位置に配置することができるため、撮像部130の配置の自由度が向上する。例えば、撮像装置100を、電子機器1における表示装置2とは逆側に配置することができるため、電子機器1における重量バランスを適切に設計することができる。また、撮像部130の配置の自由度が向上することで、電子機器1の意匠性の向上においてもメリットがある。また、撮像装置100を回転させることができるため、ユーザUが首を振っても、撮像部130の光軸を対象物OBの方向に適切に向けることができる。
【0086】
特に、実施形態1に係る表示装置2は、ユーザUの眼球EY1内の網膜REに画像を投影する。このような網膜投影方式の装置は、ユーザUの眼球EY1の近傍で使用されるため、小型化が求められ、撮像装置100を配置可能な位置の制約が大きくなる。例えば、撮像装置100を眼鏡の中心に配置した場合、拡大及び縮小のためのレンズサイズの制約があるため、視覚障害者向けには適さない。そのため、撮像装置100は眼鏡の側面に配置されることが多くなり、撮像装置100がユーザUの視点から離れる。実施形態1に係る電子機器1は、このように撮像装置100がユーザUの視点から離れていても、撮像画像P1から補正画像P2を生成し、更に切り抜き画像P3を生成するため、ユーザUの視点を基準として撮像された画像をユーザUに表示することができる。
【0087】
(実施形態2)
次に、実施形態2について説明する。実施形態1と同様の構成及び機能については、適宜説明を省略する。
【0088】
実施形態1では、位置特定部113は、撮像部130の光軸と対象物OBとの接点C0と、視線中心C1と、の間の距離である距離ΔLに基づいて視線中心C1を特定した。
これに対して、実施形態2では、位置特定部113は、距離ΔLを計算せず、撮像部130の画角である角度θ2と、撮像部130とユーザUの視点との位置関係と、に基づいて、視線中心C1を特定する。
【0089】
図12に、実施形態2において使用される対象物OBと電子機器1との位置関係、及び、電子機器1の設計に基づいて定められる距離及び角度のパラメータを示す。
【0090】
距離L2は、撮像装置100の回転中心と対象物OBとの間の、視線方向(Y方向)における距離である。距離L2は、距離L1,L6と角度θ1とを用いて、下記(2)式により表される。位置特定部113は、下記(2)式に従って、距離L1,L6と角度θ1から距離L2を計算する。
L2=(L1+L6)cosθ1 …(2)
【0091】
角度θ3は、眼球EY1の視線の方向と、撮像部130から対象物OB上における眼球EY1の視線中心C1への方向と、のなす角度に相当する。角度θ3は、距離L4と距離L3との差“L4-L3”と、上記(2)式により計算された距離L2と、を用いて、下記(3)式のように表される。ここで、距離L4と距離L3との差“L4-L3”は、撮像部130とユーザUの視点との位置関係を示す距離に相当する。位置特定部113は、下記(3)式に従って、距離L2,L3,L4から角度θ3を計算する。
θ3=tan-1((L4-L3)/(L1+L6)cosθ1)
=tan-1((L4-L3)/L2) …(3)
【0092】
角度θ4は、撮像部130の画角端の方向と、対象物OB上における眼球EY1の視線中心C1への方向と、のなす角度に相当する。角度θ4は、撮像部130の光軸の傾きを示す角度θ1と、撮像部130の画角である角度θ2と、上述した角度θ3と、を用いて、下記(4)式により表される。位置特定部113は、下記(4)式に従って、角度θ1,θ2,θ3から角度θ4を計算する。
θ4=(θ2)/2-(θ3-θ1) …(4)
【0093】
角度θ4を計算すると、位置特定部113は、計算した角度θ4と撮像部130の画角である角度θ2とに基づいて、補正画像P2における視線中心C1を特定する。具体的に説明すると、位置特定部113は、
図13に示すように、横方向(X方向)における視線中心C1として、補正画像P2の画角端から、画角である角度θ2に対する角度θ4の割合である“θ4/θ2”だけ離れた位置を特定する。
【0094】
画像切り抜き部114は、画像補正部112により生成された補正画像P2から、
図13に示すような切り抜き画像P3を生成する。画像切り抜き部114の処理は、実施形態1と同様であるため、説明を省略する。
【0095】
このように、実施形態2では、位置特定部113は、距離ΔLを計算せず、角度θ3、θ4を計算することで、視線中心C1を特定する。これにより、実施形態1とは異なる手法により、視線中心C1を特定して、切り抜き画像P3を生成することができる。
【0096】
(実施形態3)
次に、実施形態3について説明する。実施形態1、2と同様の構成及び機能については、適宜説明を省略する。
【0097】
実施形態1、2では、ユーザUの視点は、第1の眼球EY1の瞳孔の位置であり、ユーザUの視線は、第1の眼球EY1の視線であった。これに対して、実施形態3では、ユーザUの視点は、2つの眼球EY1,EY2の間の位置であり、ユーザUの視線は、2つの眼球EY1,EY2の視線の間の直線である。
【0098】
図14に、実施形態3において、対象物OBと電子機器1との位置関係、及び、電子機器1の設計に基づいて定められる距離及び角度のパラメータを示す。実施形態3において、ユーザUの視点は、2つの眼球EY1,EY2の瞳孔の間を等間隔に分ける位置(中点)である。また、ユーザUの視線は、その位置(中点)から対象物OBに向けて延びる直線である。この場合、距離L3は、表示装置2内の基準磁石70の位置と2つの眼球EY1,EY2の瞳孔の間の中点との間の距離となるため、実施形態1における距離L3に比べて大きくなる。その他の距離及び角度のパラメータは、実施形態1、2と同様である。
【0099】
実施形態3における距離L3は、実施形態1、2と同様に、電子機器1の設計により予め決められる値を使用することができる。なお、距離L3として、撮像装置100の回転中心と表示装置2内の基準磁石70の位置との間の距離L4の半分の値を採用しても良い。
【0100】
(変形例)
以上に本発明の実施形態について説明したが、上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
【0101】
例えば、上記実施形態では、表示装置2は、ユーザUの右目である第1の眼球EY1内の網膜RE上に切り抜き画像P3を表示した。しかしながら、表示装置2は、ユーザUの左目である第2の眼球EY2内の網膜RE上に切り抜き画像P3を表示しても良いし、2つの眼球EY1,EY2の両方の網膜RE上に切り抜き画像P3を表示しても良い。
【0102】
図15に、2つの眼球EY1,EY2の両方の網膜RE上に切り抜き画像P3を表示させる場合における電子機器1の構成の例を示す。
図15に示すように、2つの眼球EY1,EY2の両方の正面の位置に、走査部30により走査されたレーザ光を2つの眼球EY1,EY2のそれぞれに入射させるための導光部60が設けられる。この場合、レーザ光を走査させるための走査部30は、ユーザUの左右の片側のみに設けられても良いし、両側に設けられていても良い。
【0103】
上記実施形態では、電子機器1は、眼鏡の形状をしていた。しかしながら、電子機器1は、眼鏡の形状であることに限らず、例えば、ヘルメット状、帽子状、ゴーグル状等をしていても良い。電子機器1がヘルメット状、帽子状、ゴーグル状等をしている場合、撮像装置100は、ユーザUの眼球EY2の側に配置されることに限らず、ユーザUの額、頭上等の位置に配置されても良い。その場合、撮像装置100は、眼球EY1,EY2よりも高い位置に配置されることになるが、上記実施形態と同様に説明することができる。
【0104】
具体的には、上記実施形態における台形補正は、撮像画像P1における左右方向(X方向)の歪みを補正するものであり、角度θ1~θ4は、XY平面内において定められる角度であった。これに対して、撮像装置100が眼球EY1,EY2よりも高い位置に配置される場合、画像補正部112により実行される台形補正は、撮像画像P1における上下方向(Z方向)の歪みの補正を含む。この場合、角度θ1~θ4を、XY平面内だけでなく、Z方向も考慮した角度とすることで、実施形態1と同様に説明することができる。
【0105】
上記実施形態では、表示装置2は、網膜投影方式でユーザUの網膜上に切り抜き画像P3を表示した。しかしながら、表示装置2は、網膜投影方式以外の方式で、ユーザUに切り抜き画像P3を表示しても良い。例えば、表示装置2は、LCD(Liquid Crystal Display)やOLED(Organic Light Emitting Diode)等を使用した仮想スクリーン投影方式で、ユーザUに切り抜き画像P3を表示しても良い。
【0106】
上記実施形態では、撮像部130は、回転することにより光軸の方向を変更可能であった。しかしながら、撮像部130の光軸の方向は、固定されていても良い。撮像部130の光軸の方向が固定されている場合、角度θ1は一定であるため、電子機器1の設計により予め決められる。そのため、この場合、撮像装置100内の磁気センサ140及び表示装置2内の基準磁石70は、設けられていなくても良いし、撮像装置100は、方向導出部111の機能を備えていなくても良い。
【0107】
上記実施形態では、撮像装置100の制御部110において、CPUがROMに記憶されたプログラムを実行することによって、方向導出部111、画像補正部112、位置特定部113及び画像切り抜き部114の各部として機能した。しかしながら、本発明において、制御部110は、CPUの代わりに、例えばASIC、FPGA(Field-Programmable Gate Array)、各種制御回路等の専用のハードウェアを備え、専用のハードウェアが、方向導出部111、画像補正部112、位置特定部113及び画像切り抜き部114の各部として機能しても良い。
【0108】
また、方向導出部111、画像補正部112、位置特定部113及び画像切り抜き部114の機能の少なくとも一部は、撮像装置100に備えられることに限らない。例えば、方向導出部111、画像補正部112、位置特定部113及び画像切り抜き部114の機能の少なくとも一部は、表示装置2に備えられていても良い。或いは、電子機器1の外部の装置が、方向導出部111、画像補正部112、位置特定部113及び画像切り抜き部114の機能の少なくとも一部を備えていても良い。外部の装置は、例えばパーソナルコンピュータ、クラウドサーバ等のような、インターネット等の通信ネットワークを介して電子機器1と通信可能な情報処理装置である。
【0109】
また、電子機器1は、方向導出部111と画像補正部112の機能を備えていなくても良い。その場合、補正画像P2ではなく、撮像部130により対象物OBが撮像された撮像画像P1が、第1画像に相当する。方向導出部111と画像補正部112の機能を備えていなくても、位置特定部113と画像切り抜き部114の機能を備えていることで、電子機器1は、撮像画像P1からユーザUの視線中心C1を基準とする領域を切り抜いた切り抜き画像P3を生成することができる。そのため、撮像部130がユーザUの視点とは異なる位置に配置されていても、ユーザUの視点を基準として撮像された画像をユーザに表示することができるという効果を得ることができる。
【0110】
また、本発明において、電子機器1は、ユーザUの視点を基準として撮像された画像をユーザUに表示する際に、道のりをガイドする道案内情報や作業手順を示す作業手順情報、表示している対象物の補足情報や詳細情報などを重畳させて表示させてもよい。
これによりユーザUがより直感的に理解できるような表示が可能となる。
【0111】
なお、本発明に係る機能を実現するための構成を予め備えた電子機器として提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係る電子機器として機能させることもできる。すなわち、上記実施形態で例示した電子機器1の制御部110における各機能を実現させるためのプログラムを、既存の情報処理装置等を制御するCPU等が実行できるように適用することで、本発明に係る電子機器として機能させることができる。
【0112】
また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板(BBS:Bulletin Board System)にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、OS(Operating System)の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。
【0113】
以上、本発明の好ましい実施形態等について説明したが、本発明は上述した実施形態等に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施形態等に種々の変形及び置換を加えることができる。
【符号の説明】
【0114】
1…電子機器、2…表示装置、3…投影ユニット、5…制御ユニット、7…複合ケーブル、20…レーザモジュール、21…投影制御部、23…レーザドライバ、30…走査部、31…MEMSミラー、32…反射ミラー、60…導光部、70…基準磁石、100…撮像装置、110…制御部、111…方向導出部、112…画像補正部、113…位置特定部、114…画像切り抜き部、120…記憶部、130…撮像部、140…磁気センサ、150…通信部、C0…接点、C1…視線中心、EY1、EY2…眼球、OB…対象物、P1…撮像画像、P2…補正画像、P3…切り抜き画像、PU…瞳孔、R…領域、RE…網膜、U…ユーザ