特開 2023-108559 光学装置、撮像装置、光学装置の制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023108559

(43)【公開日】2023-08-04

(54)【発明の名称】光学装置、撮像装置、光学装置の制御方法、およびプログラム

(51)【国際特許分類】

   A61B 3/113 20060101AFI20230728BHJP

   G06F 3/01 20060101ALI20230728BHJP

【ＦＩ】

A61B3/113

G06F3/01 510

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022009747

(22)【出願日】2022-01-25

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】高木 心

【テーマコード（参考）】

4C316

5E555

【Ｆターム（参考）】

4C316AA21

4C316FA01

4C316FA18

4C316FB12

4C316FB21

4C316FC28

4C316FZ01

5E555AA15

5E555AA64

5E555BA21

5E555BB21

5E555BC04

5E555CA42

5E555CB65

5E555DD06

5E555EA22

5E555FA00

(57)【要約】

【課題】使用者に負荷をかけることなく、使用者の注視点位置を適切に補正することが可能な光学装置を提供する。
【解決手段】光学装置（１００）は、使用者の眼球の画像から使用者の注視点位置を推定する推定手段（１１５）と、推定手段により推定された注視点位置を示す指標を表示する表示手段（１１１）と、注視点位置の位置履歴または眼球の回転角履歴の少なくとも一つを解析する解析手段（１１９）とを有し、解析手段は、位置履歴または回転角履歴の少なくとも一つに基づいて、表示手段に表示される指標の位置を補正する。
【選択図】図１

【特許請求の範囲】

【請求項1】

使用者の眼球の画像信号から使用者の注視点位置を推定する推定手段と、
前記推定手段により推定された前記注視点位置を示す指標を表示する表示手段と、
前記注視点位置の位置履歴または前記眼球の回転角履歴の少なくとも一つを解析する解析手段と、を有し、
前記解析手段は、前記位置履歴または前記回転角履歴の少なくとも一つに基づいて、前記表示手段に表示される前記指標の位置を補正することを特徴とする光学装置。

【請求項2】

前記解析手段は、前記位置履歴または前記回転角履歴の少なくとも一つに基づいて前記注視点位置が所定の動きを示すと判定した場合、前記表示手段に表示される前記指標の位置を補正することを特徴とする請求項１に記載の光学装置。

【請求項3】

前記解析手段は、前記注視点位置が所定の時間内に所定の方向に動いている頻度が高いほど、前記所定の動きに関する評価値を大きくすることを特徴とする請求項２に記載の光学装置。

【請求項4】

前記解析手段は、前記解析手段により前記注視点位置が前記所定の動きを示すと判定された場合、前記注視点位置の移動速度ベクトルに前記評価値に基づく補正係数を掛けた補正ベクトルを用いて、前記注視点位置を補正することを特徴とする請求項３に記載の光学装置。

【請求項5】

前記解析手段は、前記注視点位置が所定の時間内に２つの異なる位置を行き来する頻度が高いほど、前記所定の動きに関する評価値を大きくすることを特徴とする請求項２に記載の光学装置。

【請求項6】

前記解析手段は、前記解析手段により前記注視点位置が前記所定の動きを示すと判定された場合、前記２つの異なる位置の間のベクトルに前記評価値に基づく補正係数を掛けた補正ベクトルを用いて、前記注視点位置を補正することを特徴とする請求項５に記載の光学装置。

【請求項7】

前記表示手段に表示される前記指標と前記推定手段により推定された前記注視点位置とのズレに関するキャリブレーションデータを取得する取得手段を更に有し、
前記解析手段は、前記位置履歴または前記回転角履歴の少なくとも一つに基づいて、前記キャリブレーションデータを補正することを特徴とする請求項１乃至６のいずれか一項に記載の光学装置。

【請求項8】

前記解析手段は、前記推定手段により推定された前記注視点位置が移動して所定の位置に到達し、かつ前記光学装置に対して所定の操作が行われた場合、前記表示手段に表示される前記指標の位置を補正しないことを特徴とする請求項１乃至７のいずれか一項に記載の光学装置。

【請求項9】

前記解析手段は、前記推定手段により推定された前記注視点位置が移動して所定の位置に到達し、かつ前記所定の位置の周辺に被写体が検出された場合、前記表示手段に表示される前記指標の位置を補正しないことを特徴とする請求項１乃至７のいずれか一項に記載の光学装置。

【請求項10】

レンズにより形成された眼球像を光電変換する眼球用撮像素子を更に有することを特徴とする請求項１乃至９のいずれか一項に記載の光学装置。

【請求項11】

撮像光学系により形成された被写体像を光電変換する撮像素子と、
請求項１乃至１０のいずれか一項に記載の光学装置と、を有することを特徴とする撮像装置。

【請求項12】

使用者の眼球の画像から使用者の注視点位置を推定する推定ステップと、
前記推定ステップにおいて推定された前記注視点位置を示す指標を表示する表示ステップと、
前記注視点位置の位置履歴または前記眼球の回転角履歴の少なくとも一つを解析する解析ステップと、
前記位置履歴または前記回転角履歴の少なくとも一つに基づいて、前記指標の位置を補正するステップと、を有することを特徴とする光学装置の制御方法。

【請求項13】

請求項１２に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光学装置、撮像装置、光学装置の制御方法、およびプログラムに関する。

【背景技術】

【0002】

従来、推定された注視点位置と実際の注視点位置とのズレを検出して補正する方法が知られている。特許文献１には、運転者が特定方向（例えば、正面方向の無限遠点）を見ている場合、その方向の代表値を求め、検出された注視点とのズレを算出する方法が開示されている。特許文献２には、使用者がボタンを押すなどのイベントが発生した場合、ボタンの中央を見ていると考え、視線ポインタの位置とボタン中央の位置とのズレを補正量に反映させる方法が開示されている

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７―００４１１７号公報

【特許文献2】特開２００６―２８５７１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された方法では、使用者から見える景色や使用者の環境などの条件に依存するため、注視点位置を適切に補正することができない場合がある。特許文献２に開示された方法では、使用者がボタンを押すなどして注視点位置を明示的に指示する必要があるため、使用者に負荷がかかる。

【0005】

そこで本発明は、使用者に負荷をかけることなく、使用者の注視点位置を適切に補正することが可能な光学装置を提供することである。

【課題を解決するための手段】

【0006】

本発明の一側面としての光学装置は、使用者の眼球の画像から使用者の注視点位置を推定する推定手段と、前記推定手段により推定された前記注視点位置を示す指標を表示する表示手段と、前記注視点位置の位置履歴または前記眼球の回転角履歴の少なくとも一つを解析する解析手段とを有し、前記解析手段は、前記位置履歴または前記回転角履歴の少なくとも一つに基づいて、前記表示手段に表示される前記指標の位置を補正する。

【0007】

本発明の他の目的及び特徴は、以下の実施形態において説明される。

【発明の効果】

【0008】

本発明によれば、使用者に負荷をかけることなく、使用者の注視点位置を適切に補正することが可能な光学装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態における撮像装置のブロック図である。

【図2】本実施形態における注視点検出処理を示すフローチャートである。

【図3】本実施形態における視線検出原理の説明図である。

【図4】本実施形態における眼球用撮像素子に投影される眼球像および眼球用撮像素子の出力強度の説明図である。

【図5】本実施形態における視線検出処理を示すフローチャートである。

【図6】本実施形態における表示手段を通して使用者に見える画面の説明図である。

【図7】本実施形態における実注視点と推定注視点とのズレを示す図である。

【図8】本実施形態における注視点位置履歴の解析処理のフローチャートである。

【図9】本実施形態における推定注視点の動きの分布を示す図である。

【図10】本実施形態における実注視点と推定注視点とのズレを示す図である。

【図11】本実施形態における推定注視点の分布を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

【0011】

まず、図１を参照して、本実施形態による光学装置の構成について説明する。図１は、本実施形態における撮像装置（光学装置）１００のブロック図である。撮像レンズ（撮像光学系）１０４は、光学像（被写体像）形成する。撮像素子１０６はＣＭＯＳセンサなどの光電変換素子であり、撮像レンズ１０４により形成された光学像を光電変換して画像信号を出力する。なお本実施形態において、撮像装置１００は撮像レンズ１０４と一体的に構成されているが、これに限定されるものではなく、撮像レンズ１０４は、撮像装置１００に対して着脱可能なレンズ装置（交換レンズ）であってもよい。

【0012】

ＣＰＵ１０２は、表示手段１１１、照明光源駆動手段１１２、記憶手段１１４、視線推定手段（推定手段）１１５、眼球用撮像素子１１７、視線履歴解析手段（解析手段）１１９、および操作手段１２４を制御する。表示手段１１１は、撮影した画像を表示するとともに、視線推定手段１１５により検出（推定）された注視点（注視点位置）を示す情報（指標）を表示する。照明光源１１３は、使用者に対して不感の赤外光を発射する発光ダイオード等の光源であり、照明光源駆動手段１１２により駆動されて使用者の眼球を照らす。使用者の眼球で反射した照明光の一部は、眼球用撮像素子１１７に集光する。記憶手段１１４は、撮像素子１０６からの画像信号、眼球用撮像素子１１７からの画像信号、視線推定手段１１５により推定された注視点位置、および視線の個人差を補正する視線補正データを記憶する。

【0013】

視線推定手段１１５は、デジタルシリアルインターフェース回路であり、眼球用撮像素子１１７からの出力信号（眼球の画像（眼球像）が結像することにより取得された信号）をＣＰＵ１０２に送信する。受光レンズ１１６は、使用者の眼球画像を光学的に眼球用撮像素子１１７上に結像させる。視線履歴解析手段１１９は、視線推定手段１１５により推定された使用者の注視点位置の履歴を解析し、注視点位置の特徴的な動き（所定の動き）を検出する（注視点位置が所定の動きを示すか否かを判定する）。操作手段１２４は、使用者が撮像装置１００に対して行う操作を受け付ける手段であり、例えば撮像装置１００に付属する不図示のボタン、ズームレバー、および撮像レンズ１０４に付属するリングなどを含む。

【0014】

次に、図３乃至図５を参照して、使用者の視線検出処理を説明する。図３は、視線検出原理の説明図である。図３において、光源１１３ａ、１１３ｂ（照明光源１１３）は、使用者に対して不感の赤外光を放射する発光ダイオード等の光源である。光源１１３ａ、１１３ｂは、使用者の眼球を照らしている。使用者の眼球で反射した照明光の一部は、受光レンズ１１６により、眼球用撮像素子１１７に集光する。

【0015】

図４（ａ）は、眼球用撮像素子１１７に投影される眼球像の説明図である。図４（ｂ）は、眼球用撮像素子１１７のＣＣＤの出力強度の説明図である。図５は、視線検出処理を示すフローチャートである。図６（ａ）～（ｃ）は、表示手段１１１を通して使用者に見える画面の説明図である。図６（ａ）において、３００は視野マスクを示す。視線推定手段１１５により推定（算出）された注視点は、図６（ａ）中の推定注視点Ａとして示される枠を出現させて表示手段１１１上に表示される。

【0016】

図５において、視線検出処理（視線検出ルーチン）が開始すると、まずステップＳ５０１において、照明光源１１３（光源１１３ａ、１１３ｂ）は、使用者の眼球３１４に向けて赤外光を放射する。赤外光によって照明された使用者の眼球像は、眼球用撮像素子１１７上に受光レンズ１１６を通して結像する。眼球用撮像素子１１７は、受光レンズ１１６により形成された眼球像を光電変換し、電気信号（画像信号）を出力する。続いてステップＳ５０２において、ＣＰＵ１０２は、眼球用撮像素子１１７から画像信号（眼球画像信号）を取得する。

【0017】

続いてステップＳ５０３において、ＣＰＵ１０２は、ステップＳ５０２にて取得した眼球画像信号に基づいて、図３に示される光源１１３ａ、１１３ｂの角膜反射像Ｐｄ、Ｐｅおよび瞳孔中心ｃに対応する点の座標（瞳孔中心位置、光源の角膜反射位置）を取得する。光源１１３ａ、１１３ｂから放射された赤外光は、使用者の眼球３１４の角膜３４２を照明する。このとき、角膜３４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ、Ｐｅは、受光レンズ１１６により集光され、眼球用撮像素子１１７上に結像する（反射像Ｐｄ’、Ｐｅ’）。同様に、瞳孔３４１の端部（瞳孔端ａ、ｂ）からの光束も眼球用撮像素子１１７上に結像する。

【0018】

図４（ａ）は眼球用撮像素子１１７から得られる反射像の画像例を示し、図４（ｂ）は図４（ａ）の画像例の領域αにおける、眼球用撮像素子１１７から得られる輝度情報例を示す。図４（ａ）において、水平方向をＸ軸、垂直方向をＹ軸とする。このとき、光源１１３ａ、１１３ｂの角膜反射像Ｐｄ、Ｐｅが結像した反射像Ｐｄ’、Ｐｅ’のＸ軸方向（水平方向）の座標をそれぞれＸｄ、Ｘｅとする。また、瞳孔３１４ｂの瞳孔端ａ、ｂからの光束が結像した像（瞳孔端ａ’、ｂ’）のＸ軸方向の座標をそれぞれＸａ、Ｘｂとする。

【0019】

図４（ｂ）の輝度情報例において、光源１１３ａ、１１３ｂの角膜反射像Ｐｄ、Ｐｅが結像した反射像Ｐｄ’、Ｐｅ’に相当する位置Ｘｄ、Ｘｅでは、極端に強いレベルの輝度が得られている。瞳孔３４１の領域に相当する、座標Ｘａ（瞳孔端ａ’の座標）から座標Ｘｂ（瞳孔端ｂ’の座標）の間の領域は、位置Ｘｄ、Ｘｅの位置を除き、極端に低いレベルの輝度が得られる。これに対し、瞳孔３４１の外側の虹彩３４３の領域に相当する、座標Ｘａよりも低いＸ座標の値を持つ領域および座標Ｘｂよりも高いＸ座標の値を持つ領域では、前記２種の輝度レベルの中間の値が得られる。Ｘ座標の位置に対する輝度レベルの変動情報から、光源１１３ａ、１１３ｂの角膜反射像Ｐｄ、Ｐｅが結像した反射像Ｐｄ’、Ｐｅ’のＸ座標Ｘｄ、Ｘｅと、瞳孔端ａ’、ｂ’の座標Ｘａ、Ｘｂを得ることができる。

【0020】

また、受光レンズ１１６の光軸に対する眼球３１４の光軸の回転角θｘが小さい場合、眼球用撮像素子１１７上に結像する瞳孔中心ｃに相当する箇所（瞳孔中心ｃ’）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。以上より、眼球用撮像素子１１７上に結像する瞳孔中心ｃ’のＸ座標、光源１１３ａ、１１３ｂの角膜反射像Ｐｄ’、Ｐｅ’の座標を推定することが可能である。

【0021】

続いて、図５のステップＳ５０４において、ＣＰＵ１０２は、眼球像の結像倍率βを算出する。結像倍率βは、受光レンズ１１６に対する眼球３１４の位置により決定される倍率であり、実質的には反射像Ｐｄ‘、Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数として求めることができる。続いてステップＳ５０５において、ＣＰＵ１０２は、眼球の回転角（眼球角度）θｘ、θｙを算出する。角膜反射像Ｐｄ、Ｐｅの中点のＸ座標と角膜３４２の曲率中心ＯのＸ座標とは略一致する。このため、角膜３４２の曲率中心Ｏと瞳孔３４１の中心ｃまでの標準的な距離をＯｃとすると、眼球３１４の光軸のＺ－Ｘ平面内の回転角θ_Ｘは、以下の式（１）から求めることができる。

【0022】

β＊Ｏｃ＊ＳＩＮθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ …（１）
また、図５および図６においては、使用者の眼球がＹ軸に垂直な平面内で回転する場合の回転角θ_Ｘを算出する例を示しているが、使用者の眼球がＸ軸に垂直な平面内で回転する場合の回転角θｙの算出方法も同様である。

【0023】

ステップＳ５０５にて使用者の眼球３１４の光軸の回転角θｘ、θｙが算出されると、ステップＳ５０６において、ＣＰＵ１０２は、補正係数データを読み込む。続いてステップＳ５０７において、ＣＰＵ１０２は、回転角θｘ、θｙを用いて、表示手段１１１上で使用者の視線の位置（注視している点の位置、注視点位置と称する）を求める。注視点位置は、表示手段１１１上での瞳孔３４１の中心ｃに対応する座標（Ｈｘ、Ｈｙ）として、以下の式（２）、（３）のように算出される。

【0024】

Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ） …（２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ） …（３）
式（２）、（３）において、係数ｍは、使用者の眼球の回転角θｘ、θｙと表示手段１１１上での位置との関係を表す定数である。すなわち係数ｍは、回転角θｘ、θｙを表示手段１１１上での瞳孔１４１の中心ｃに対応する位置座標に変換する変換係数であり、予め決定されて記憶手段１１４に記憶されている。また式（２）、（３）において、Ａｘ、Ｂｘ、Ａｙ、Ｂｙは、使用者の視線の個人差を補正する視線補正係数（補正係数データ）であり、後述するキャリブレーション作業を行うことで取得され、視線検出ルーチンが開始する前に記憶手段１１４に記憶されている。

【0025】

表示手段１１１上での瞳孔１４１の中心ｃの座標（Ｈｘ、Ｈｙ）を算出した後、ステップＳ５０８において、ＣＰＵ１０２は、ステップＳ５０７にて算出された注視点位置（注視点座標）を記憶手段１１４に記憶し、視線検出ルーチンを終了する。

【0026】

なお本実施形態では、光源１１３ａ、１１３ｂの角膜反射像を利用したレンズ素子上での注視点座標取得手法を説明したが、これに限定されるものではなく、撮像された眼球画像から眼球の回転角を取得する手法であれば、他の手法を用いてもよい。

【0027】

次に、キャリブレーション作業について説明する。キャリブレーションとは、事前に、使用者の実際の注視点位置（実注視点）と撮像装置により推定された使用者の注視点位置（推定注視点）との間に生じるズレを補正する処理（事前準備処理）である。本実施形態において、ＣＰＵ１０２は、表示手段１１１に表示される指標と視線推定手段１１５により推定された注視点位置とのズレに関するキャリブレーションデータを取得する取得手段として機能する。

【0028】

前述のように、本実施形態では、視線検出ルーチンにおいて眼球画像から眼球の回転角θｘ、θｙを取得し、瞳孔中心位置を表示手段１１１上において対応する位置に座標変換する演算を行って注視点位置を推定する。しかし、人間の眼球の形状の個人差等の要因により、視線補正係数Ａｘ、Ａｙ、Ｂｘ、Ｂｙの値を使用者によって適切な値に調整する必要がある。このような調整を行わない場合、図６（ｂ）に示されるように、使用者が実際に注視している位置（使用者の注視点Ｂの位置）と、推定（算出）された推定注視点Ｃの位置とがズレてしまう（注視点Ｂと推定注視点Ｃとの位置が異なってしまう）。例えば、図６（ｂ）の例では、使用者は注視点Ｂに位置する人物（被写体）に注視したいと考えているが、視線推定手段１１５は、使用者が背景を注視しているものと誤って推定している。そこで、撮像装置１００を使用する前に、キャリブレーション作業を行い、使用者ごとに適切な補正係数の値を取得し、記憶手段１１４に記憶させる必要がある。

【0029】

従来、キャリブレーション作業は、撮像装置１００の使用前に、図６（ｃ）に示されるように、互いに位置が異なる複数の指標を強調表示し、使用者にその指標を見てもらうことで行われる。各指標注視時に注視点検出処理を行い、算出された複数の推定注視点座標と各指標座標の位置から適切な補正係数（キャリブレーションデータ）を求める作業を行うことが、公知の技術として知られている。

【0030】

ところで、キャリブレーション作業で取得した補正係数を使用して、実際に注視している位置（実注視点）と視線検出手段１１５で推定された推定注視点とのズレを補正しても、ズレが残ることがある。これは、キャリブレーション作業時と撮影時とで、使用者と受光レンズ１１６との位置関係が大きく変わる場合などに発生することがある。以下、図２を参照して、そのズレの検出方法および補正方法（注視点検出処理）について説明する。図２は、注視点検出処理を示すフローチャートである。

【0031】

まず、ステップＳ２０１において、ＣＰＵ１０２は、図５を参照して説明した視線検出処理により注視点（注視点位置）を検出する。続いてステップＳ２０２において、ＣＰＵ１０２（視線履歴解析手段１１９）は、ステップＳ２０１にて検出された注視点位置の履歴（位置履歴）を解析する。

【0032】

ここで、図８を参照して、注視点位置履歴の解析処理を説明する。図８は、注視点位置履歴の解析処理のフローチャートである。まずステップＳ８０１において、ＣＰＵ１０２（視線履歴解析手段１１９）は、注視点の第１の特徴的な動きとして、注視点位置が所定の方向にズレ続けている（注視点位置が所定の時間、所定の方向に動いている）か否かを解析する。

【0033】

図７（ａ）～（ｃ）は、実注視点と推定注視点とのズレを示す図である。図７（ａ）において、表示手段１１１上の推定注視点７０１には注視点枠が表示されている。図７（ａ）は、使用者が実際に見ている箇所である実注視点７０２と推定注視点７０１との間にズレ（ズレベクトル７０３）が生じていることを示している。

【0034】

この状態の場合、使用者は、注視点枠が表示されている推定注視点７０１を見る傾向が高いが、その注視点枠を見てしまうと、次のフレームでは、図７（ｂ）に示されるたように実注視点７０６は注視点マーカー７０１が表示されていた位置に移動する。それに合わせて、推定注視点７０５も実注視点７０６からズレベクトル７０３だけズレた位置に移動してしまう。これをフレーム毎に繰り返すと、図７（ｃ）に示されるように、使用者の実注視点７０８がズレベクトル７０３の方向に移動し、最終的には表示手段１１１の端まで移動してしまう。

【0035】

このような状態を検出するため、フレーム間で推定注視点の水平方向（ｘ方向）および垂直方向（ｙ方向）の移動量を所定の時間（一定期間）観測し、図９（ａ）、（ｂ）に示されるように、それぞれのヒストグラムを作成する。図９（ａ）、（ｂ）は、推定注視点の動きの分布（ヒストグラム）を示す図である。図９（ａ）において、横軸はフレーム間での表示手段１１１上の推定注視点の水平方向（ｘ方向）の移動量、縦軸は一定期間に観測された回数（頻度）の合計が１になるように正規化した値をそれぞれ示す。同様に、図９（ｂ）において、縦軸はフレーム間での表示手段１１１上の推定注視点の垂直方向（ｙ方向）の移動量、縦軸は一定期間に観測された回数（頻度）を合計が１になるように正規化した値をそれぞれ示す。

【0036】

図９（ａ）、（ｂ）に示されるヒストグラムを解析し、水平方向の移動量の最頻値ｐ＿ｘ＿１が１に近いほど、また垂直方向の移動量の最頻値ｐ＿ｙ＿１が１に近いほど評価値（特徴評価値）ｆを大きくする。例えば、評価値ｆは、以下の式（４）により算出される。式（４）において、ｋ＿ｘ、ｋ＿ｙはそれぞれ、加重加算係数である。

【0037】

ｆ＝ｋ＿ｘ・ｐ＿ｘ＿１＋ｋ＿ｙ・ｐ＿ｙ＿１ …（４）
評価値ｆが大きいほど、特徴的な動きをしていることを表す。また、そのときに推定注視点が移動量をベクトルの水平成分をｘ＿１、垂直成分をｙ＿１とするズレが実注視点と推定注視点の間に発生していると判定する。

【0038】

続いて、図８のステップＳ８０２において、ＣＰＵ１０２（視線履歴解析手段１１９）は、ステップＳ８０１にて算出された評価値ｆと検出されたズレベクトル７０３（ｘ＿１、ｙ＿１）に基づいて、注視点位置のズレを補正する。本実施形態では、説明のためにズレベクトル７０３にｖ_ｄｉｆｆという記号を割り当てる。ズレベクトルｖ_ｄｉｆｆに対して、以下の式（５）で表されるズレ補正強度α（ｆ）を掛けた値を推定注視点に加えることで、実注視点と推定注視点とのズレを補正することができる。

【0039】

【数1】

【0040】

補正強度α（ｆ）は評価値ｆの関数であり、評価値ｆが大きいほど補正強度αが大きくなる。ズレベクトルｖ_ｄｉｆｆを短時間で補正すると、表示手段１１１の推定注視点に表示した注視点マーカーが急に動き使用者に違和感を与える可能性がある。このため、ズレベクトルｖ_ｄｉｆｆの大きさが閾値ｔｈ_ｄｉｆｆよりも大きい場合、ズレベクトルｖ_ｄｉｆｆに係数（補正係数）ｋと評価値ｆとを掛けた大きさだけ補正する。ただし、係数ｋと評価値ｆとを掛けた値は０以上１以下になるように設定される。ズレベクトルｖ_ｄｉｆｆの大きさが閾値ｔｈ_ｄｉｆｆよりも小さくなった場合、ズレベクトルｖ_ｄｉｆｆの大きさだけ補正する。

【0041】

このように本実施形態において、視線履歴解析手段１１９は、注視点位置が所定の時間内に所定の方向に動いている頻度が高いほど、所定の動きに関する評価値（特徴評価値）ｆを大きくする。また視線履歴解析手段１１９は、注視点位置が所定の動きを示すと判定された場合、注視点位置の移動速度ベクトル（ズレベクトルｖ_ｄｉｆｆ）に評価値に基づく補正係数（係数ｋ）を掛けた補正ベクトルを用いて、注視点位置を補正する。なお、注視点位置の補正は、特徴的な動きが検出された場合のみ行うことができるが、これに限定されるものではない。また、検出したズレで記憶手段１１４に記憶された補正係数を修正（更新）してもよい。

【0042】

続いてステップＳ８０３において、ＣＰＵ１０２（視線履歴解析手段１１９）は、注視点の第２の特徴的な動きとして、注視点位置が２か所を交互に移動する（注視点位置が所定の時間内に２つの異なる位置を行き来する）か否かを解析する。図１０を参照して、この状態が発生する場合を説明する。図１０は、実注視点と推定注視点とのズレを示す図である。図１０に示されるように、実注視点１００２と推定注視点１００１にズレが生じているが、使用者もそれを認識している場合、使用者は、実注視点１００２を注視しながら定期的に推定注視点１００１を見る。このように、第２の特徴的な動きは、推定注視点１００１に表示されている注視点枠を確認するときに発生する可能性がある。

【0043】

このような状態を検出するため、フレーム間の推定注視点を水平位置（ｘ）、垂直位置（ｙ）の一定期間観測し、図１１に示されるように、それぞれのヒストグラムを作成する。図１１は、推定注視点の分布（ヒストグラム）を示す図である。図１１において、水平方向に関し、横軸は推定注視点の表示手段１１１上の水平位置（ｘ）、縦軸は一定期間に観測された回数（頻度）の合計が１になるように正規化した値をそれぞれ示す。同様に、垂直方向に関し、縦軸は推定注視点の表示手段１１１上の垂直位置（ｙ）、横軸は一定期間に観測された回数（頻度）を合計が１になるように正規化した値をそれぞれ示す。

【0044】

ＣＰＵ１０２（視線履歴解析手段１１９）は、水平位置の頻度が最も高い位置を実注視点の水平位置（ｘ＿２）、また垂直位置の頻度が最も高い位置を実注視点の垂直位置（ｙ＿２）と判定する。またＣＰＵ１０２は、水平位置の頻度が次に高い位置を推定注視点の水平位置（ｘ＿３）、また垂直位置の頻度が次に高い位置を推定注視点の垂直位置（ｙ＿３）と判定する。

【0045】

実注視点における水平位置の最頻値ｐ＿ｘ＿２が１に近いほど、また垂直位置の最頻値ｐ＿ｙ＿２が１に近いほど評価値ｆを大きくする。例えば、評価値ｆは前述の式（４）を用いて算出される。評価値ｆが大きいほど特徴的な動きをしていることを表す。ＣＰＵ１０２（視線履歴解析手段１１９）は、ヒストグラムを解析し、頻度ｐ＿ｘ＿２とｐ＿ｘ＿３に対応する水平座標ｘ＿２、ｘ＿３の差分をｘ方向のズレ、頻度ｐ＿ｙ＿２とｐ＿ｙ＿３に対応する垂直方向の座標ｙ＿２、ｙ＿３の差分をｙ方向のズレと判定する。

【0046】

続いて、図８のステップＳ８０４において、ステップＳ８０４にて算出された評価値ｆと検出されたズレベクトル（ｘ＿３―ｘ＿２、ｙ＿３―ｙ＿２）とに基づいて、注視点位置のズレを補正する。ここで、説明のためにズレベクトルにｖ_ｄｉｆｆという記号を割り当てる。なお、補正方法はステップＳ８０２と同様であるため、その説明を省略する。

【0047】

このように本実施形態において、視線履歴解析手段１１９は、注視点位置が所定の時間内に２つの異なる位置を行き来する頻度が高いほど、所定の動きに関する評価値（特徴評価値）ｆを大きくする。また視線履歴解析手段１１９は、注視点位置が所定の動きを示すと判定された場合、２つの異なる位置の間のベクトルに評価値に基づく補正係数を掛けた補正ベクトルを用いて、注視点位置を補正する。なお、注視点位置の補正は、特徴的な動きが検出された場合のみ行うことができるが、これに限定されるものではない。また、検出したズレを用いて記憶手段１１４に記憶した補正係数をさらに修正（更新）してもよい。

【0048】

本実施形態において、図７（ａ）～（ｃ）または図１１に示されるように、実注視点に対して推定注視点が表示手段１１１の右下方向にずれている場合、使用者が視線を実際に右下に動かし、右下にいる被写体や右下のメニュー表示を見ようとしている場合もある。従って、使用者の視線の動きが第１の特徴的な動き（Ｓ８０１）や第２の特徴的な動き（Ｓ８０３）に該当しても、移動した推定注視点位置に人物、動物、高コントラストの被写体など特徴的な被写体が存在する場合には、推定注視点位置の補正を行わなくてもよい。すなわち視線履歴解析手段１１９は、視線推定手段１１５により推定された注視点位置が移動して所定の位置に到達し、かつ所定の位置の周辺に特徴的な被写体が検出された場合、表示手段１１１に表示される指標の位置を補正しないように構成してもよい。

【0049】

または、推定注視点位置が移動した後に操作手段１２４を操作し、注視点位置に対して撮像装置１００に何らかの指示（所定の操作）を与えた場合、ＣＰＵ１０２は、注視点をその位置に移動する意思があったと判定し、推定注視点位置の補正を行わなくてもよい。すなわち視線履歴解析手段１１９は、視線推定手段１１５により推定された注視点位置が移動して所定の位置に到達し、かつ撮像装置１００に対して所定の操作が行われた場合、表示手段１１１に表示される指標の位置を補正しないように構成してもよい。

【0050】

または、推定注視点位置が所定速度より速く動いている場合、ＣＰＵ１０２は、使用者は注視点枠を追っているのではなく特徴的な被写体やメニュー表示に早急に視線を移動させていると判定し、推定注視点位置の補正を行わなくてもよい。

【0051】

本実施形態では、キャリブレーション作業を事前に行い、補正係数を記憶手段１１４に記憶しておく。また本実施形態において、視線履歴解析手段１１９は、位置履歴または回転角履歴の少なくとも一つに基づいて、キャリブレーションデータを補正してもよい。ただし本実施形態は、これに限定されるものではない。事前にキャリブレーション作業を行わずに前述の特徴的な動きを検出することで、撮影時に実注視点と推定注視点のズレを検出して補正してもよい。

【0052】

本実施形態では、推定注視点位置の履歴に基づいて特徴的な動きを検出するが、使用者の眼球の回転角θｘ、θｙの履歴（回転角履歴）を用いてもよい。注視点（Ｈｘ，Ｈｙ）と眼球の回転角θｘ、θｙとの関係は、式（２）、（３）で表される。なお検出方法については、図８のステップＳ８０１、Ｓ８０３に準ずればよいため、その説明は省略する。

【0053】

以上のとおり、本実施形態の撮像装置１００は、視線推定手段１１５、表示手段１１１、および視線履歴解析手段１１９を有する。視線推定手段１１５は、使用者の眼球の画像信号から使用者の注視点位置を推定する。表示手段１１１は、視線推定手段１１５により推定された注視点位置を示す指標を表示する。視線履歴解析手段１１９は、注視点位置の位置履歴または眼球の回転角履歴の少なくとも一つを解析する。また視線履歴解析手段１１９は、位置履歴または回転角履歴の少なくとも一つに基づいて、表示手段１１１に表示される指標の位置を補正する。好ましくは、視線履歴解析手段１１９は、位置履歴または回転角履歴の少なくとも一つに基づいて注視点位置が所定の動きを示すと判定した場合、表示手段１１１に表示される指標の位置を補正する。

【0054】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0055】

本実施形態によれば、使用者に負荷をかけることなく、使用者の注視点位置を適切に（動的に）補正することが可能な光学装置、光学装置の制御方法、およびプログラムを提供することができる。

【0056】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【0057】

例えば、本発明は、ＶＲや光学シースルーＭＲ／ＡＲ用の光学装置にも適用可能である。

【符号の説明】

【0058】

１００ 撮像装置（光学装置）
１１１ 表示手段
１１５ 視線推定手段（推定手段）
１１９ 視線履歴解析手段（解析手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】