特開 2025-142785 画像表示システム、画像表示システムの制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025142785

(43)【公開日】2025-10-01

(54)【発明の名称】画像表示システム、画像表示システムの制御方法、およびプログラム

(51)【国際特許分類】

   A61B 3/113 20060101AFI20250924BHJP

   A61B 3/15 20060101ALI20250924BHJP

   G02B 27/02 20060101ALI20250924BHJP

【ＦＩ】

A61B3/113

A61B3/15

G02B27/02 Z

【審査請求】未請求

【請求項の数】28

【出願形態】ＯＬ

(21)【出願番号】P 2024042340

(22)【出願日】2024-03-18

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】藤崎 豊克

【テーマコード（参考）】

2H199

4C316

【Ｆターム（参考）】

2H199CA77

2H199CA96

4C316AA09

4C316AA21

4C316AB16

4C316FA14

4C316FB26

4C316FC28

4C316FY03

4C316FZ01

4C316FZ03

(57)【要約】

【課題】ユーザの眼球位置に応じて、画像を高精度に補正することが可能な画像処理システムを提供する。
【解決手段】画像処理システム（１０００）は、特定の波長の光を照明する照明部（１１）と、２次元状に配置された複数の光電変換部（２０１）を有し、照明部により照明された光の反射光の強度に関する光量分布情報を取得する光検出部（２１）と、画像を補正する演算処理部（５１）とを有し、演算処理部は、光量分布情報に基づいてユーザの眼球位置を演算し、眼球位置に関する情報と予め記憶された光学データとに基づいて、画像を補正する。
【選択図】図１

【特許請求の範囲】

【請求項1】

特定の波長の光を照明する照明部と、
２次元状に配置された複数の光電変換部を有し、前記照明部により照明された前記光の反射光の強度に関する光量分布情報を取得する光検出部と、
画像を補正する演算処理部とを有し、
前記演算処理部は、
前記光量分布情報に基づいてユーザの眼球位置を演算し、
前記眼球位置に関する情報と予め記憶された光学データとに基づいて、前記画像を補正することを特徴とする画像表示システム。

【請求項2】

前記光量分布情報は、前記照明部が前記光を照明してから前記光検出部が前記反射光を検出するまでに要する時間に関する情報、または前記時間に対応する距離に関する情報を含むことを特徴とする請求項１に記載の画像表示システム。

【請求項3】

前記光学データは、接眼光学系の光学収差情報であることを特徴とする請求項１または２に記載の画像表示システム。

【請求項4】

前記光学収差情報は、歪曲収差、軸上色収差、倍率色収差、球面収差、および像面湾曲の少なくとも一つに関する情報を含むことを特徴とする請求項３に記載の画像表示システム。

【請求項5】

前記光学データは、光線のケラレにより生じる周辺光量に関する情報であることを特徴とする請求項１または２に記載の画像表示システム。

【請求項6】

前記光線のケラレは、接眼光学系、マスク、および視野枠の少なくとも一つにより生じることを特徴とする請求項５に記載の画像表示システム。

【請求項7】

前記演算処理部は、前記眼球位置に応じた前記周辺光量の低下を抑制するように、前記画像を補正することを特徴とする請求項５に記載の画像表示システム。

【請求項8】

前記光学データは、光軸に対して回転対称なデータを含むことを特徴とする請求項１または２に記載の画像表示システム。

【請求項9】

前記光学データは、光軸に対して回転非対称なデータを含むことを特徴とする請求項１または２に記載の画像表示システム。

【請求項10】

前記演算処理部は、
前記光量分布情報に基づいて、前記反射光がユーザの眼からの第１反射光であるか、または不要な第２反射光であるかを判定し、
前記第１反射光に基づいて前記眼球位置を演算することを特徴とする請求項１または２に記載の画像表示システム。

【請求項11】

前記演算処理部は、前記強度が第１閾値よりも小さい場合、前記反射光が前記第２反射光であると判定することを特徴とする請求項１０に記載の画像表示システム。

【請求項12】

前記光量分布情報は、前記照明部が前記光を照明してから前記光検出部が前記反射光を検出するまでに要する時間に関する情報、または前記時間に対応する距離に関する情報を含み、
前記演算処理部は、前記時間または前記距離が第２閾値よりも小さい場合、前記反射光が前記第２反射光であると判定することを特徴とする請求項１０に記載の画像表示システム。

【請求項13】

前記演算処理部は、前記眼球位置に応じて前記画像を補正するか否かを判定することを特徴とする請求項１または２に記載の画像表示システム。

【請求項14】

前記演算処理部は、
前記眼球位置が所定領域の範囲内である場合、前記画像を補正せず、
前記眼球位置が前記所定領域の範囲外である場合、前記画像を補正することを特徴とする請求項１３に記載の画像表示システム。

【請求項15】

前記照明部の照射タイミングと、前記光検出部の検出タイミングとを制御するタイミング制御部を更に有することを特徴とする請求項１または２に記載の画像表示システム。

【請求項16】

前記照明部は、複数の光源を有すること特徴とする請求項１または２に記載の画像表示システム。

【請求項17】

前記複数の光電変換部のそれぞれに入射する光をカウントするカウンタを更に有することを特徴とする請求項１または２に記載の画像表示システム。

【請求項18】

前記特定の波長の中心波長をλ（ｎｍ）とするとき、
６００＜λ＜１５００
なる条件式を満足することを特徴とする請求項１または２に記載の画像表示システム。

【請求項19】

前記眼球位置は、角膜中心位置であることを特徴とする請求項１または２に記載の画像表示システム。

【請求項20】

前記照明部により照明される前記光は、パルス光であることを特徴とする請求項１または２に記載の画像表示システム。

【請求項21】

前記複数の光電変換部はそれぞれ、アバランシェダイオードであることを特徴とする請求項１または２に記載の画像表示システム。

【請求項22】

前記照明部の照射開始および前記光検出部の光検出開始の動作はそれぞれ、前記照射開始から前記光検出開始までの期間を固定した状態で複数回行われることを特徴とする請求項１または２に記載の画像表示システム。

【請求項23】

前記眼球位置に関する前記情報ごとに前記光学データを予め記憶している記憶部を更に有することを特徴とする請求項１または２に記載の画像表示システム。

【請求項24】

前記画像表示システムは、ＨＭＤに設けられていることを特徴とする請求項１または２に記載の画像表示システム。

【請求項25】

前記画像表示システムは、眼底カメラに設けられていることを特徴とする請求項１または２に記載の画像表示システム。

【請求項26】

前記画像表示システムは、移動体に設けられていることを特徴とする請求項１または２に記載の画像表示システム。

【請求項27】

照明部を用いて特定の波長の光を照明する第１ステップと、
２次元状に配置された複数の光電変換部を有する光検出部を用いて、前記照明部により照明された前記光の反射光の強度に関する光量分布情報を取得する第２ステップと、
画像を補正する第３ステップとを有し、
前記第３ステップにおいて、
前記光量分布情報に基づいてユーザの眼球位置を取得し、
前記眼球位置に関する情報と予め記憶された光学データとに基づいて、前記画像を補正することを特徴とする画像表示システムの制御方法。

【請求項28】

請求項２７に記載の画像表示システムの制御方法をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像表示システム、画像表示システムの制御方法、およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、画像表示素子に表示された画像からの光を観察者（ユーザ）の眼に導く接眼光学系と、接眼光学系の光学収差に応じた補正値を用いて画像を補正する補正処理を行う画像処理手段とを有する画像処理システムが開示されている。また特許文献１には、補正処理を行うための補正値は、予め測定（または入力）された眼の位置（眼球位置、アイレリーフ）に基づいて設定されることが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８―４９０３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のように予め測定（入力）された眼の位置に応じた補正値を用いる方法では、カメラの電子ビューファインダのようにユーザの眼と接眼光学系との間の距離が変動し得る場合、画像を高精度に補正することができない。

【0005】

そこで本発明は、ユーザの眼球位置に応じて、画像を高精度に補正することが可能な画像処理システムことを目的とする。

【課題を解決するための手段】

【0006】

本発明の一側面としての画像表示システムは、特定の波長の光を照明する照明部と、２次元状に配置された複数の光電変換部を有し、前記照明部により照明された前記光の反射光の強度に関する光量分布情報を取得する光検出部と、画像を補正する演算処理部とを有し、前記演算処理部は、前記光量分布情報に基づいてユーザの眼球位置を演算し、前記眼球位置に関する情報と予め記憶された光学データとに基づいて、前記画像を補正する。

【0007】

本発明の他の目的及び特徴は、以下の実施形態において説明される。

【発明の効果】

【0008】

本発明によれば、ユーザの眼球位置に応じて、画像を高精度に補正することが可能な画像処理システムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態における画像表示システムのブロック図である。

【図2】第１実施形態における画像表示システムの動作を示すフローチャートである。

【図3】第２実施形態における画像表示システムのブロック図である。

【図4】第２実施形態における光検出部の画素領域の構成図である。

【図5】第２実施形態における光検出部の駆動パルスの説明図である。

【図6】第２実施形態における画像表示システムの動作を示すフローチャートである。

【図7】各実施形態における画像表示システムの説明図である。

【図8】各実施形態における角膜の反射光とそれ以外の光の強度および時間の説明図である。

【図9】各実施形態における原画像および補正画像の一例である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

【0011】

（第１実施形態）
まず、図１を参照して、本発明の第１実施形態における画像表示システム１０００について説明する。図１は、画像表示システム１０００のブロック図である。画像表示システム１０００は、照明部１１、光検出部２１、タイミング制御部３１、信号処理部４１、演算処理部５１、制御部６１、表示部７１、および記憶部８１を有する。

【0012】

照明部１１は、複数の光源が配置された光源部１２を有する。複数の光源を備えることで、照明範囲を広げることができる。光源部１２は、被写体（ユーザの眼、眼球、または眼鏡など）を照明するための照明光を発する。照明部１１によって被写体を照射し、被写体からの反射光を光検出部２１で取得する。照明部１１は、ＨＭＤ（ヘッドマウントディスプレイ）または自動車（移動体）などに固定されていてもよい。照明部１１は、タイミング制御部３１から送信される発光制御信号を受信し、その発光制御信号に従って光を照射する。

【0013】

光検出部２１は、被写体から反射された光（反射光）を受光する。光検出部２１は、光学系２２で形成された被写体の光学像を取得する。センサ部２３は、光検出部２１から得られた光学像をＡ／Ｄ変換する。

【0014】

信号処理部４１は、センサ部２３から出力された信号に対して、その後の処理に適した処理を施す。信号処理部４１により施される処理は、例えばノイズ除去などの信号処理であるが、これに限定されるものではない。

【0015】

演算処理部５１は、眼球位置演算部５２を有する。眼球位置演算部５２は、強度記憶部５３および選択処理部５５を有する。強度記憶部５３は、複数の異なる位置の光源部１２から照射された光が反射した反射光のセンサ面上での結像位置を記憶している。選択処理部５５は、反射光の中から角膜からの反射光（プルキンエ像）を選択する。眼球位置演算部５２は、選択された反射光の間隔から三角測距の原理を用いて、眼球の位置を算出する。予め１つの光源から照射した際の反射光のセンサ面上で結像位置が既知であれば、同じ位置の光源からの照射した反射光のセンサ面上での結像位置のずれにより、同様に三角測距の原理を用いて、眼球の位置を算出することができる。

【0016】

また演算処理部５１は、補正画像演算部５６を有する。補正画像演算部５６は、補正値参照部５７および原画像補正部５８を有する。補正値参照部５７は、眼球位置演算部５２により演算された眼球位置に応じた光学データ（補正値）を参照する。原画像補正部５８は、その補正値を用いて原画像を補正する。

【0017】

制御部６１は、画像表示システム１０００の動作を統括的に制御する。制御部６１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含み、画像表示システム１０００の各部を制御するためのプログラムを実行する。制御部６１は、照明部１１および光検出部２１を制御するためのプログラムに従って、演算処理部５１を制御する。なお制御部６１は、信号処理部４１または演算処理部５１の少なくとも一つとともに、一つのＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などにより実現されてもよい。表示部７１は、ユーザの眼球の位置に応じた補正値を用いて補正された画像（補正画像）を表示する。

【0018】

記憶部８１は、予め眼球位置（眼球位置に関する情報）に応じた接眼光学系の光学データを記憶しているとともに、眼球の位置座標データを蓄積して記憶する。記憶部８１は、例えば、眼球位置ごとに光学データを予め記憶している。なお本実施形態において、記憶部８１の少なくとも一部をクラウド上などの外部装置に設け、光学データなどの必要なデータを通信により取得してもよい。

【0019】

次に、図２を参照して、本実施形態における画像表示システム１０００の動作について説明する。図２は、画像表示システム１０００の動作を示すフローチャートである。図２の各ステップは、主に、制御部６１の指令に基づいて、画像表示システム１０００の各部により実行される。

【0020】

まずステップＳ１０１において、照明部１１は、複数の光源を有する光源部１２から発せられる特定の波長の光（赤外光）にて、ユーザの眼（眼球）等の被写体を照明する。なお特定の波長の光は、赤外光に限定されるものではなく、他の波長の光であってもよい。続いてステップＳ１０２において、光検出部２１は、被写体からの反射光を検出し、光量分布情報を取得する。本実施形態において、光量分布情報は、反射光の強度（輝度）に関する情報を含む。続いてステップＳ１０３において、演算処理部５１は、ステップＳ１０２にて取得された光量分布情報に基づいて、反射光の反射面位置座標（反射光の結像位置情報）を演算（取得）する。

【0021】

続いてステップＳ１０４において、演算処理部５１は、光量分布情報のうち、反射光の光量（強度、輝度）が所定の閾値（強度閾値、第１閾値）以上であるか否かを判定する。反射光の光量が所定の閾値よりも小さい場合、演算処理部５１は、反射光がユーザの角膜からの反射光（第１反射光）とは異なる不要光（第２反射光）であると判定する。このとき、ステップＳ１０２へ戻り、光検出部２１は、異なる光量分布情報を取得する。一方、反射光の光量が所定の閾値以上である場合、ステップＳ１０５に進む。

【0022】

ステップＳ１０５において、演算処理部５１（選択処理部５５）は、ステップ１０４にて所定の閾値以上であると判定された反射光（第１反射光）を、角膜からの反射光として選択する。続いてステップＳ１０６において、演算処理部５１（眼球位置演算部５２）は、角膜からの反射光を複数選択し、眼球位置を示す座標（眼球の位置座標）を算出する。座標は、３次元座標（ｘ，ｙ，ｚ）であることが好ましいが、１次元座標または２次元座標であってもよい。なお本実施形態において、眼球の位置座標は、角膜中心位置を示す座標（角膜中心座標）であるが、これに限定されるものではなく、眼球位置に相当する他の座標であってもよい。続いてステップＳ１０７において、演算処理部５１は、記憶部８１と通信し、眼球の位置座標を記憶部８１に保存する。

【0023】

続いてステップＳ１０８において、演算処理部５１は、眼球位置が所定領域の範囲内であるか否かを判定する。すなわち演算処理部５１は、眼球位置に応じて画像を補正するか否かを判定する。ここで所定領域とは、眼球の基準位置（基準座標（ｘ，ｙ，ｚ）＝（０，０，０））から所定距離の範囲内の領域であるが、これに限定されるものではない。眼球位置が所定領域の範囲内である場合、演算処理部５１は画像を補正することなく、ステップＳ１１１に進む。一方、眼球位置が所定領域の範囲外である場合、ステップＳ１０９に進む。

【0024】

ステップＳ１０９において、演算処理部５１は、記憶部８１に予め保存されている光学データ（光学補正データ）を参照する。続いてステップＳ１１０において、演算処理部５１は、角膜中心座標と光学データとを用いて、原画像を補正する。続いてステップＳ１１１において、演算処理部５１は、表示部７１に画像（補正画像または原画像）を表示する。

【0025】

なお本実施形態において、記憶部８１に予め保存されている光学データは、接眼光学系の光学収差情報である。光学収差情報は、歪曲収差、軸上色収差、倍率色収差、球面収差、および像面湾曲の少なくとも一つに関する情報を含むが、これらに限定されるものではない。光学データは、接眼光学系、マスク、または視野枠などの部材（メカ部材）で光線がケラレた際の周辺光量比情報（光線のケラレにより生じる周辺光量に関する情報）であってもよい。

【0026】

本実施形態において、眼球の位置が接眼光学系の光軸上の位置にある場合、光学データは座標（位置）ごとの回転対称なデータのみでよい。これによりデータ容量を低減することができる。また本実施形態において、眼球の位置が光軸上から偏芯した位置にある場合または製造誤差を考慮する場合、光学データは回転非対称なデータであってもよい。

【0027】

（第２実施形態）
次に、図３を参照して、本発明の第２実施形態における画像表示システム１０００ａについて説明する。図３は、画像表示システム１０００ａのブロック図である。画像表示システム１０００ａは、照明部１１、光検出部２１、タイミング制御部３１、信号処理部４１、演算処理部５１ａ、制御部６１、表示部７１、および記憶部８１を有する。

【0028】

照明部１１は、複数の光源が配置された光源部１２を有する。ただし本実施形態は、これに限定されるものではなく、１つの光源のみが配置された光源部であってもよい。光源部１２は、被写体（ユーザの眼、眼球、または眼鏡など）を照明するための照明光を発する。照明光は、時間に対して光量が変化する光であり、例えばパルス光または正弦波で変調した光である。特定の波長のパルスレーザー光でもよく、またはＬＥＤパルス光でもよい。照明部１１によって被写体を照射し、被写体からの反射光を光検出部２１で取得する。照明部１１は、ＨＭＤまたは自動車（移動体）などに固定されていてもよい。照明部１１は、タイミング制御部３１から送信される発光制御信号を受信し、その発光制御信号に従って光を照射する。本実施形態において、光源部１２は、特定の波長の光を、例えば数ｐ秒～数十ｎ秒の幅で照射する。

【0029】

光検出部２１は、被写体から反射された光（反射光）を受光する。光検出部２１は、光学系２２で形成された被写体の光学像を取得する。センサ部２３は、撮像素子（光電変換素子）の各画素に入射するごとに各画素から出力される電圧パルスをカウントする（フォトンカウント）。カウントされたフォトンの数は、フォトンがカウントされたときの時刻と合わせて信号処理部４１に出力する。本実施形態において、光検出部２１は、ＴＯＦ（ＴＩＭＥ ＯＦ ＦＬＩＧＨＴ）方式を用いる。一回の受光動作を行う際に、所定の露光時間の間、センサ部２３は露光される。センサ部２３はタイミング制御部３１から送信される露光制御信号を受光し、その露光制御信号に従って露光させる。その間、光源部１２は、所定のパルス幅で１回以上照射し、センサ部２３は光を受光する。本実施形態において、照明部１１の照射開始および光検出部２１の光検出開始の動作はそれぞれ、照射開始から光検出開始までの期間を固定した状態で複数回行われることが好ましい。

【0030】

タイミング制御部３１は、照明部１１の照射タイミングと、光検出部２１の検出タイミングとを制御する。すなわちタイミング制御部３１は、照明部１１の照射のタイミングで光検出部２１が反射光を受光するように、照明部１１と光検出部２１とを制御する。

【0031】

信号処理部４１は、センサ部２３から出力された信号に対して、その後の処理に適した処理を施す。信号処理部４１により施される処理は、例えばノイズ除去などの信号処理であるが、これに限定されるものではない。また信号処理部４１は、光検出部２１から出力された電圧パルスとフォトンがカウントされた際の時間とを合わせて、取得時間をマッピングする。

【0032】

演算処理部５１ａは、眼球位置演算部５２を有する。眼球位置演算部５２は、強度記憶部５３、タイミング記憶部５４、および選択処理部５５を有し、反射光の反射位置がセンサ部２３のセンサ面に結像する位置座標を算出する。強度記憶部５３は、反射光の光量分布情報のうち反射光の強度（フォトン数）を記憶する。

【0033】

タイミング記憶部５４は、光量分布情報のうち時間または距離を記憶する。すなわち本実施形態において、光量分布情報は、照明部１１が光を照明してから光検出部２１が反射光を検出するまでに要する時間に関する情報、またはその時間に対応する距離に関する情報を含む。

【0034】

選択処理部５５は、センサ部２３から信号処理部４１を介して出力された受光信号と、受光時間、タイミング制御部３１からの照射時間およびフォトンカウント数またはそのカウント数に基づく強度に基づいて、角膜からの反射光か否かを判定する。そして選択処理部５５は、反射光のうち角膜からの反射光のみを選択する。

【0035】

また演算処理部５１ａは、補正画像演算部５６を有する。補正画像演算部５６は、補正値参照部５７および原画像補正部５８を有する。補正値参照部５７は、眼球位置演算部５２ａにより演算された眼球位置に応じた光学データ（補正値）を参照する。原画像補正部５８は、その補正値を用いて原画像を補正する。

【0036】

制御部６１は、画像表示システム１０００ａの動作を統括的に制御する。制御部６１は、ＣＰＵを含み、画像表示システム１０００ａの各部を制御するためのプログラムを実行する。制御部６１は、照明部１１および光検出部２１を制御するためのプログラムに従って、演算処理部５１ａを制御する。なお、制御部６１は、信号処理部４１または演算処理部５１ａの少なくとも一つとともに、一つのＦＰＧＡなどにより実現されてもよい。表示部７１は、ユーザの眼球の位置に応じた補正値を用いて補正された画像（補正画像）を表示する。

【0037】

記憶部８１は、予め眼球位置（眼球位置に関する情報）に応じた接眼光学系の光学データを記憶しているとともに、画像の強度データおよび時間記録データを蓄積して記憶する。記憶部８１は、例えば、眼球位置ごとに光学データを予め記憶している。なお本実施形態において、記憶部８１の少なくとも一部をクラウド上などの外部装置に設け、光学データなどの必要なデータを通信により取得してもよい。

【0038】

次に、図４を参照して、センサ部２３の画素領域について説明する。図４は、センサ部２３の画素領域の構成図である。画素領域には、ＳＰＡＤ画素１０３がＸＹ方向において２次元状に複数繰り返して配置されている。１つのＳＰＡＤ画素１０３は、光電変換部（アバランシェダイオード）２０１、クエンチ素子２０２、制御部２１０、カウンタ／メモリ２１１、および読み出し部２１２を有する。

【0039】

光電変換部２０１のカソードには、アノードに供給される電圧ＶＬよりも高い電位ＶＨに基づく電位が供給される。光電変換部２０１のアノードとカソードには、光電変換部２０１に入射したフォトンがアバランシェ増倍されるような逆バイアスがかかるように電位が供給される。このような逆バイアスの電位を供給した状態で光電変換することで、入射光によって生じた電荷がアバランシェ増倍を起こしアバランシェ電流が発生する。

【0040】

逆バイアスの電位が供給される場合において、アノード及びカソードの電位差が降伏電圧より大きいとき、光電変換部（アバランシェダイオード）２０１はガイガーモード動作となる。ガイガーモード動作を用いて単一光子レベルの微弱信号を高速検出するアバランシェダイオードがＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）である。

【0041】

制御部２１０は、光電変換部２０１から出力信号をカウントするか否かを決定する。例えば、制御部２１０は、光電変換部２０１とカウンタ／メモリ２１１との間に設けられたスイッチ（ゲート回路）である。スイッチのゲートは、パルス線１２４と接続されており、パルス線１２４に入力される信号に応じて、制御部２１０のオンとオフが切り替えられる。タイミング制御部３１からの制御信号に基づく信号がパルス線１２４に入力される。そして、スイッチのゲートは全列一括して制御される。これにより、全てのＳＰＡＤ画素１０３が一括して光検出の開始と終了が制御される。

【0042】

また制御部２１０は、スイッチではなく、論理回路で構成してもよい。例えば、論理回路として、ＡＮＤ回路を設け、ＡＮＤ回路の第１の入力を光電変換部２０１からの出力とし、第２の入力をパルス線１２４の信号とすれば、光電変換部２０１からの出力信号をカウントするか否かを切り替えることが可能となる。なお、制御部２１０は、光電変換部２０１とカウンタ／メモリ２１１との間に設ける必要はなく、カウンタ／メモリ２１１のうち、カウンタの動作と非動作を切り替える信号を入力する回路であってもよい。

【0043】

カウンタ／メモリ２１１は、制御線２１３からの制御信号に従って、光電変換部２０１に入る光子の数をカウントし、デジタルデータとして保持する。読み出し部２１２は、カウンタ／メモリ２１１と読み出し信号線１２３に接続されている。読み出し部２１２には、垂直走査回路部から制御線２１４を介して制御パルスが補給され、カウンタ／メモリ２１１のカウント値を読み出し信号線１２３に出力するか否かを切り替える。読み出し部２１２は、例えば、信号を出力するためのバッファ回路などを含む。

【0044】

読み出し信号線１２３は、光検出部２１から演算処理部５１ａに出力する信号線であっても、信号処理部４１に出力する信号線であってもよい。また、水平走査回路部と垂直走査回路部はＳＰＡＤアレイが設けられている基板に設けてもよいし、ＳＰＡＤアレイが設けられている基板とは異なる基板に設けてもよい。

【0045】

ただし本実施形態は、ＳＰＡＤ画素１０３を備えた光検出部２１に限定されるものでなく、ＳＰＡＤ以外の光電変換部を有する光検出部にも適用可能である。

【0046】

次に、図５を参照して、照明部１１からのパルス光を発光するタイミング、パルス光が被写体に照射され、反射光が光検出部２１に到達し、光検出（フォトンカウント）するタイミングについて説明する。図５は、光検出部２１の駆動パルスの説明図である。光検出部２１には、アレイ状に複数のＳＰＡＤ画素１０３が配置されており、各行に配置されている複数のＳＰＡＤの光検出タイミングは、全画素一括で制御される。すなわち、１フレームのＳＰＡＤ全画素において、図７に示される発光光のタイミングとカウント期間のタイミングは同じである。

【0047】

光検出部２１は、２次元状にＳＰＡＤ画素１０３が配置されたＳＰＡＤアレイである。このため、前述のようなタイミングチャートにより、フレームごとに、ＸＹ平面の光量分布情報（ｘ、ｙ）と、この光量分布情報を取得した時間である時間情報（ｔ）を備えた１組のデータ（光量分布情報）を取得することができる。このため、ｘ、ｙ、ｔに関する情報（光量分布情報）を取得することができる。

【0048】

次に、図６を参照して、本実施形態における画像表示システム１０００ａの動作について説明する。図６は、画像表示システム１０００ａの動作を示すフローチャートである。図６の各ステップは、主に、制御部６１の指令に基づいて、画像表示システム１０００ａの各部により実行される。

【0049】

まずステップＳ２０１において、照明部１１は、複数の光源を有する光源部１２から発せられる特定の波長の光（赤外光）にて、ユーザの眼（眼球）等の被写体を照明する。なお特定の波長の光は、赤外光に限定されるものではなく、他の波長の光であってもよい。続いてステップＳ２０２において、光検出部２１は、被写体からの反射光を検出し、光量分布情報を取得する。ここで、光量分布情報とは、各画素に入射されたフォトンのカウント数またはカウント数から算出される画像輝度値と各画素の位置座標（ピクセル座標）を指す。

【0050】

続いてステップＳ２０３において、演算処理部５１ａは、光源部１２からの発光時間とセンサ部２３での光の受光時間とを取得し、光源部１２から発光された光が被写体で反射してセンサ部２３に到達するまでの時間情報を取得する。なお、ステップＳ２０２の光量分布情報とステップＳ２０３の時間情報とを同時にセンサ部２３で取得してもよい。

【0051】

続いてステップＳ２０４において、演算処理部５１ａは、ステップＳ２０２にて取得された光量分布情報とステップＳ２０３にて取得された時間情報とに基づいて、反射光の反射面位置座標（反射光の結像位置情報）を演算（取得）する。続いてステップＳ２０５において、演算処理部５１ａは、光量分布情報のうち、反射光の光量（反射光の強度、例えば光検出部２１に到達したフォトン数）が所定の閾値（強度閾値、第１閾値）以上であるか否かを判定する。演算処理部５１ａは、反射光の光量（強度）が第１閾値よりも小さい場合、その反射光が角膜からの反射光（第１反射光）とは異なる不要光（第２反射光）であると判定する。そしてステップＳ２０２へ戻り、光検出部２１は、異なる光量分布情報を取得する。一方、演算処理部５１ａは、反射光の光量（強度）が第１閾値以上であると判定した場合、ステップＳ２０６に進む。ステップＳ２０６において、演算処理部５１ａは、所定の閾値以上の反射光を選択する。

【0052】

続いてステップＳ２０７において、演算処理部５１ａは、ステップＳ２０３にて取得された時間情報（到達時間）を参照し、時間情報が所定の閾値（時間閾値、第２閾値）以上であるか否かを判定する。ここで、時間情報は、照明部１１が光を照明してから光検出部２１が反射光を検出するまでに要する時間またはその時間に対応する距離に関する情報である。演算処理部５１ａは、時間または距離が第２閾値よりも小さい場合、反射光が角膜からの反射光（第１反射光）とは異なる不要光（第２反射光）であると判定し、ステップＳ２０２へ戻り、異なる光量分布情報が取得される。一方、演算処理部５１ａは、時間または距離が第２閾値以上である場合、ステップＳ２０８に進む。

【0053】

ステップＳ２０８において、演算処理部５１ａ（選択処理部５５）は、時間情報が第２閾値以上であると判定された反射光を、角膜からの反射光として選択する。続いてステップＳ２０９において、演算処理部５１ａは、角膜からの反射光を複数選択し、角膜中心座標を算出する。ステップＳ２１０において、記憶部８１と通信し、角膜中心座標を保存する。

【0054】

続いてステップＳ２１１において、演算処理部５１ａは、眼球位置が所定領域の範囲内であるか否かを判定する。すなわち演算処理部５１ａは、眼球位置に応じて画像を補正するか否かを判定する。ここで所定領域とは、眼球の基準位置（基準座標（ｘ，ｙ，ｚ）＝（０，０，０））から所定距離の範囲内の領域であるが、これに限定されるものではない。眼球位置が所定領域の範囲内である場合、演算処理部５１ａは画像を補正することなく、ステップＳ２１４に進む。一方、眼球位置が所定領域の範囲外である場合、ステップＳ２１２に進む。

【0055】

続いてステップＳ２１２において、演算処理部５１ａは、光学補正データを参照する。続いてステップＳ２１３において、演算処理部５１ａは、角膜中心座標に基づいて、記憶部８１に保存されている予め保存されている光学データを参照し原画像を補正する。続いてステップＳ２１４において、演算処理部５１ａは、表示部７１に画像（補正画像または原画像）を表示する。

【0056】

次に、図７および図８を参照して、各実施形態における角膜からの反射光（第１反射光）とそれ以外の不要光（第２反射光）とを分離する処理を説明する。図７は、各実施形態における画像表示システム１０００、１０００ａの説明図である。図８は、角膜の反射光（第１反射光）とそれ以外の反射光（第２反射光）の強度および時間の説明図である。

【0057】

図７において、Ｏは眼球の中心である。Ｒは、角膜の半径であり、一般的な人の目では７～８ｍｍ程度である。光源部１２から照明されたパルス光は、眼球１０５およびメガネ１０４で反射して光検出部２１に到達する。メガネ１０４では、光源部１２側の面Ｂおよび眼球側の面Ｄで１回反射する光と、内部で複数回反射して光検出部２１に到達する光とが存在する。

【0058】

これらの光のうち眼球１０５の角膜表面Ｅで反射した光は、メガネ１０４の光源側の面Ｂや眼球側の面Ｄで反射した光よりも光路長が長くなるため、光検出部２１に遅れて到達する。一方、複数回反射して、最終的にメガネ１０４の面Ｆから反射して検出２０１に到達する光は、到達時間は眼球１０５の角膜表面Ｅで反射した光と同時に到達するか、またはより遅く到達する。メガネ１０４で複数回反射した光は、眼球１０５の表面Ｅで反射した光よりも光検出部２１に到達するフォトン数が減少し、像の強度が弱くなる。

【0059】

一般に、眼球での反射は２～３％程度であり、一般的なガラスやプラスチックレンズのメガネの反射率は近赤外域でも２％以下であることが多い。このため、反射回数が多くなればなるほど、光検出部２１に到達するフォトン数が減少し、像の強度が弱くなる。なお図７では、不要光の反射としてメガネ１０４を示しているが、不要光の要因はこれに限定されるものではない。他の不要光の要因として、例えば電子ビューファインダの接眼部または液晶パネルなどが眼球１０５の前に配置される場合が考えられる。

【0060】

図８は、メガネ１０４や接眼レンズ部で反射した不要光（第２反射光）と視線検出のための角膜からの正規光（第１反射光）を光検出部２１で検出した場合のグラフを示している。図８において、縦軸は強度またはフォトン数、横軸は光源部１２から光検出部２１に到達するまでの時間または距離を示している。図８に示されるように、反射光の強度（輝度）の閾値（強度閾値、第１閾値）と到達時間の閾値（時間閾値、第２閾値）を設定する。これにより、光検出部２１で検出された光が角膜からの反射光（第１反射光）または不要な反射光（第２反射光）のいずれであるかを判定することができる。

【0061】

ユーザがメガネをかけている場合、ＣＭＯＳセンサでは、一般的に、眼からの反射光とメガネからの反射光とを判別することが困難である。その結果、メガネからの反射光を眼からの反射光として誤検出することがあり、眼球位置を高精度に検出を行うことができない。一方、本実施形態によれば、ＳＰＡＤセンサを用いることで、眼球位置を高精度に検出することができる。

【0062】

図９（ａ）は、各実施形態における眼球位置に応じた光学データを用いた補正処理を行う前（周辺光量補正前）の原画像の一例である。図９（ａ）に示されるように、眼が接眼光学系から離れると、機械的構造部材の枠またはマスクなどでケラレが生じ、周辺光量が低下する。図９（ｂ）は、各実施形態における眼球位置に応じた光学データを用いた補正処理を行った後（周辺光量補正後）の画像（補正画像）の一例である。図９（ｂ）に示されるように、眼が接眼光学系から離れても、周辺光量の低下が抑制される。

【0063】

各実施形態において、照明部１１の光源部１２により照明される特定の波長の光は、特定の波長の光の中心波長をλ（ｎｍ）とするとき、以下の条件式（１）を満足することが好ましい。

【0064】

６００＜λ＜１５００ ・・・（１）
条件式（１）は、光源部１２からの光の波長を規定している。条件式（１）を満足することで、ユーザが光を認識しにくいため好ましい。

【0065】

より好ましくは、条件式（１）の数値範囲は、以下の条件式（１ａ）のように設定される。

【0066】

６５０＜λ＜１２００ ・・・（１ａ）
更に好ましくは、条件式（１ａ）の数値範囲は、以下の条件式（１ｂ）のように設定される。

【0067】

６８０＜λ＜９００ ・・・（１ｂ）
各実施形態において、照明部１１の照射開始および光検出部２１の光検出開始の動作はそれぞれ、照射開始から光検出開始までの期間を固定した状態で複数回行われることが好ましい。

【0068】

なお各実施形態の画像表示システムは、視線検出装置に設けられる場合に限定されるものではない。例えば、ＨＭＤまたは自動車などの移動体に設けてもよい。また各実施形態の画像表示システムは、眼底カメラなどの眼科装置または眼科検査システムにも適用可能である。

【0069】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0070】

各実施形態によれば、ユーザの眼球位置に応じて、画像を高精度に補正することが可能な画像処理システム、画像処理システムの制御方法、およびプログラムを提供することができる。

【0071】

各実施形態の開示は、以下の構成および方法を含む。
（構成１）
特定の波長の光を照明する照明部と、
２次元状に配置された複数の光電変換部）を有し、前記照明部により照明された前記光の反射光の強度に関する光量分布情報を取得する光検出部と、
画像を補正する演算処理部とを有し、
前記演算処理部は、
前記光量分布情報に基づいてユーザの眼球位置を演算し、
前記眼球位置に関する情報と予め記憶された光学データとに基づいて、前記画像を補正することを特徴とする画像表示システム。
（構成２）
前記光量分布情報は、前記照明部が前記光を照明してから前記光検出部が前記反射光を検出するまでに要する時間に関する情報、または前記時間に対応する距離に関する情報を含むことを特徴とする構成１に記載の画像表示システム。
（構成３）
前記光学データは、接眼光学系の光学収差情報であることを特徴とする構成１または２に記載の画像表示システム。
（構成４）
前記光学収差情報は、歪曲収差、軸上色収差、倍率色収差、球面収差、および像面湾曲の少なくとも一つに関する情報を含むことを特徴とする構成３に記載の画像表示システム。
（構成５）
前記光学データは、光線のケラレにより生じる周辺光量に関する情報であることを特徴とする構成１または２に記載の画像表示システム。
（構成６）
前記光線のケラレは、接眼光学系、マスク、および視野枠の少なくとも一つにより生じることを特徴とする構成５に記載の画像表示システム。
（構成７）
前記演算処理部は、前記眼球位置に応じた前記周辺光量の低下を抑制するように、前記画像を補正することを特徴とする構成５または６に記載の画像表示システム。
（構成８）
前記光学データは、光軸に対して回転対称なデータを含むことを特徴とする構成１乃至７のいずれかに記載の画像表示システム。
（構成９）
前記光学データは、光軸に対して回転非対称なデータを含むことを特徴とする構成１乃至７のいずれかに記載の画像表示システム。
（構成１０）
前記演算処理部は、
前記光量分布情報に基づいて、前記反射光がユーザの眼からの第１反射光であるか、または不要な第２反射光であるかを判定し、
前記第１反射光に基づいて前記眼球位置を演算することを特徴とする構成１乃至９のいずれかに記載の画像表示システム。
（構成１１）
前記演算処理部は、前記強度が第１閾値よりも小さい場合、前記反射光が前記第２反射光であると判定することを特徴とする構成１０に記載の画像表示システム。
（構成１２）
前記光量分布情報は、前記照明部が前記光を照明してから前記光検出部が前記反射光を検出するまでに要する時間に関する情報、または前記時間に対応する距離に関する情報を含み、
前記演算処理部は、前記時間または前記距離が第２閾値よりも小さい場合、前記反射光が前記第２反射光であると判定することを特徴とする構成１０または１１に記載の画像表示システム。
（構成１３）
前記演算処理部は、前記眼球位置に応じて前記画像を補正するか否かを判定することを特徴とする構成１乃至１２のいずれかに記載の画像表示システム。
（構成１４）
前記演算処理部は、
前記眼球位置が所定領域の範囲内である場合、前記画像を補正せず、
前記眼球位置が前記所定領域の範囲外である場合、前記画像を補正することを特徴とする構成１３に記載の画像表示システム。
（構成１５）
前記照明部の照射タイミングと、前記光検出部の検出タイミングとを制御するタイミング制御部を更に有することを特徴とする構成１乃至１４のいずれかに記載の画像表示システム。
（構成１６）
前記照明部は、複数の光源を有すること特徴とする構成１乃至１５のいずれかに記載の画像表示システム。
（構成１７）
前記複数の光電変換部のそれぞれに入射する光をカウントするカウンタを更に有することを特徴とする構成１乃至１６のいずれかに記載の画像表示システム。
（構成１８）
前記特定の波長の中心波長をλ（ｎｍ）とするとき、
６００＜λ＜１５００
なる条件式を満足することを特徴とする構成１乃至１７のいずれかに記載の画像表示システム。
（構成１９）
前記眼球位置は、角膜中心位置であることを特徴とする構成１乃至１８のいずれかに記載の画像表示システム。
（構成２０）
前記照明部により照明される前記光は、パルス光であることを特徴とする構成１乃至１９のいずれかに記載の画像表示システム。
（構成２１）
前記複数の光電変換部はそれぞれ、アバランシェダイオードであることを特徴とする構成１乃至２０のいずれかに記載の画像表示システム。
（構成２２）
前記照明部の照射開始および前記光検出部の光検出開始の動作はそれぞれ、前記照射開始から前記光検出開始までの期間を固定した状態で複数回行われることを特徴とする構成１乃至２１のいずれかに記載の画像表示システム。
（構成２３）
前記眼球位置に関する前記情報ごとに前記光学データを予め記憶している記憶部を更に有することを特徴とする構成１乃至２２のいずれかに記載の画像表示システム。
（構成２４）
前記画像表示システムは、ＨＭＤに設けられていることを特徴とする構成１乃至２３のいずれかに記載の画像表示システム。
（構成２５）
前記画像表示システムは、眼底カメラに設けられていることを特徴とする請求項１乃至２３のいずれかに記載の画像表示システム。
（構成２６）
前記画像表示システムは、移動体に設けられていることを特徴とする請求項１乃至２３のいずれかに記載の画像表示システム。
（方法１）
照明部を用いて特定の波長の光を照明する第１ステップと、
２次元状に配置された複数の光電変換部を有する光検出部を用いて、前記照明部により照明された前記光の反射光の強度に関する光量分布情報を取得する第２ステップと、
画像を補正する第３ステップとを有し、
前記第３ステップにおいて、
前記光量分布情報に基づいてユーザの眼球位置を取得し、
前記眼球位置に関する情報と予め記憶された光学データとに基づいて、前記画像を補正することを特徴とする画像表示システムの制御方法。
（構成２７）
方法１に記載の画像表示システムの制御方法をコンピュータに実行させることを特徴とするプログラム。

【0072】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、各実施形態の少なくとも一部を組み合わせてもよい。

【符号の説明】

【0073】

１１ 照明部
２１ 光検出部
５１、５１ａ 演算処理部
２０１ 光電変換部
１０００、１０００ａ 画像表示システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】