特許 7599839 電子機器、電子機器の制御方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-06

(45)【発行日】2024-12-16

(54)【発明の名称】電子機器、電子機器の制御方法、プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241209BHJP

【ＦＩ】

H04N23/60

【請求項の数】 19

(21)【出願番号】P 2020080331

(22)【出願日】2020-04-30

(65)【公開番号】P2021175149

(43)【公開日】2021-11-01

【審査請求日】2023-04-28

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】西沢 秀太

【審査官】村山 絢子

(56)【参考文献】

【文献】特開２０１５－０１３０３１（ＪＰ，Ａ）

【文献】特開２０１４－２１１７９５（ＪＰ，Ａ）

【文献】特開２００６－１５７１５４（ＪＰ，Ａ）

【文献】特開２０１９－００８５２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｈ０４Ｎ ５／２２２－５／２５７

Ｇ０６Ｆ ２１／３２

Ｇ０６Ｆ ３／０３４６

Ａ６１Ｂ ５／１１７１

(57)【特許請求の範囲】

【請求項1】

電子機器であって、
接眼ファインダーと、
ユーザの視線の特徴データを記録手段に記録するように制御する制御手段と、
光源から照射された第１の光がユーザの目において反射した光を受光することによって、当該ユーザの目の第１の画像を取得する撮像手段と、
前記電子機器の周囲の環境光の明るさが所定の明るさよりも暗い場合には、前記接眼ファインダーに接眼するようにユーザに通知する通知手段と、
ユーザの目が前記接眼ファインダーに接眼すると、前記第１の画像に基づいてユーザの虹彩パターンを検出することによってユーザを認証する認証手段と、
前記認証したユーザについて紐づけられて前記記録手段に記録された視線の特徴データを用いて、当該ユーザの視線を検出する検出手段と、
を有する、
ことを特徴とする電子機器。

【請求項2】

前記撮像手段は、光源から照射された第２の光がユーザの目において反射した光を受光することによって、当該ユーザの目の第２の画像を取得し、
前記検出手段は、前記第２の画像に基づきユーザの視線を検出する、
ことを特徴とする請求項１に記載の電子機器。

【請求項3】

ユーザの目に前記第１の光を照射する第１の光源と、
ユーザの目に前記第２の光を照射する第２の光源と、
をさらに有することを特徴とする請求項２に記載の電子機器。

【請求項4】

前記第１の光源は、ＥＶＦ（エレクトリカルビューファインダー）であり、
前記第１の光は、可視光である、
ことを特徴とする請求項３に記載の電子機器。

【請求項5】

前記第１の光と前記第２の光とは、波長が異なる、
ことを特徴とする請求項２から４のいずれか１項に記載の電子機器。

【請求項6】

前記第１の光と前記第２の光とは、光量が異なる、
ことを特徴とする請求項２から５のいずれか１項に記載の電子機器。

【請求項7】

前記第１の光は、前記第２の光よりも光量が大きい、
ことを特徴とする請求項６に記載の電子機器。

【請求項8】

前記第２の光は、赤外光である、
ことを特徴とする請求項２から７のいずれか１項に記載の電子機器。

【請求項9】

前記制御手段は、前記認証したユーザについての視線の特徴データが前記記録手段に記録されていない場合には、ユーザに視線の特徴データを登録するか否かの選択をさせる、
ことを特徴とする請求項１から８のいずれか１項に記載の電子機器。

【請求項10】

接眼ファインダーと、
ユーザの視線の特徴データを記録手段に記録するように制御する制御手段と、
ユーザの目が前記接眼ファインダーに接眼していないと、ユーザの指紋パターンを検出することによってユーザを認証し、ユーザの目が前記接眼ファインダーに接眼していると、前記指紋パターンを検出することとは異なる方法によりユーザを認証する認証手段と、
前記認証したユーザについて紐づけられて前記記録手段に記録された視線の特徴データを用いて、当該ユーザの視線を検出する検出手段と、
を有する、
ことを特徴とする電子機器。

【請求項11】

ユーザの目が前記接眼ファインダーに接眼しておらず、かつ、当該ユーザの指が前記電子機器のグリップを握っていると、前記認証手段は、ユーザの前記指紋パターンを検出することによって当該ユーザを認証する
ことを特徴とする請求項１０に記載の電子機器。

【請求項12】

前記認証手段は、前記電子機器の周囲の環境光の明るさが所定の明るさ以上である場合には、ユーザの顔のパターンを検出することによってユーザを認証する、
ことを特徴とする請求項１から１１のいずれか１項に記載の電子機器。

【請求項13】

前記検出手段は、前記認証したユーザについての視線の特徴データが前記記録手段に記録されている場合には、当該記録されている視線の特徴データを用いて、当該ユーザの視線を検出し、前記認証したユーザについての視線の特徴データが前記記録手段に記録されていない場合には、当該ユーザについての視線の特徴データを新たに取得して、当該特徴データを用いて、当該ユーザの視線を検出し、
前記制御手段は、前記検出手段が新たに取得した視線の特徴データを前記記録手段に記録するように制御する、
ことを特徴とする請求項１から１２のいずれか１項に記載の電子機器。

【請求項14】

前記認証したユーザについての視線の特徴データが前記記録手段に記録されていない場合には、前記検出手段は、予め設定された視線の特徴データを用いて、当該ユーザの視線を検出する、
ことを特徴とする請求項１から１２のいずれか１項に記載の電子機器。

【請求項15】

前記認証手段は、前記電子機器の起動時に、ユーザの認証を行う、
ことを特徴とする請求項１から１４のいずれか１項に記載の電子機器。

【請求項16】

前記視線の特徴データは、視線のずれを補正するためのキャリブレーションデータである
ことを特徴とする請求項１から１５のいずれか１項に記載の電子機器。

【請求項17】

電子機器の制御方法であって、
ユーザの視線の特徴データを記録手段に記録するように制御する制御工程と、
光源から照射された第１の光がユーザの目において反射した光を受光することによって取得した当該ユーザの目の第１の画像に基づいて、ユーザの虹彩パターンを検出することによってユーザを認証する認証工程と、
前記電子機器の周囲の環境光の明るさが所定の明るさよりも暗い場合には、ユーザの目が接眼ファインダーに接眼するようにユーザに通知する通知工程と、
ユーザの目が前記接眼ファインダーに接眼すると、前記認証したユーザについて紐づけられて記録された視線の特徴データを用いて、当該ユーザの視線を検出する検出工程と、を有する、
ことを特徴とする電子機器の制御方法。

【請求項18】

ユーザの視線の特徴データを記録手段に記録するように制御する制御工程と、
ユーザの目が接眼ファインダーに接眼していないと、ユーザの指紋パターンを検出することによってユーザを認証し、ユーザの目が前記接眼ファインダーに接眼していると、前記指紋パターンを検出することとは異なる方法によりユーザを認証する認証工程と、
前記認証したユーザについて紐づけられて前記記録手段に記録された視線の特徴データを用いて、当該ユーザの視線を検出する検出工程と、
を有する、
ことを特徴とする電子機器の制御方法。

【請求項19】

コンピュータを、請求項１から１６のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は電子機器、電子機器の制御方法、プログラムに関する。

【背景技術】

【0002】

電子機器には、視線の入力を受け付ける技術である視線入力技術がある。特許文献１には、視点位置（ユーザが見ている位置）を検出するビデオカメラが記載されている。また、生体認証には、電子機器がユーザ個人を特定する（認証する）技術があり、特許文献２には、虹彩を用いてユーザ個人を特定する虹彩認証の技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平５－０９１３９４号公報

【文献】特表平８－５０４９７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、視線入力の技術では、眼球の回転半径や瞳孔開閉時の視線のずれがユーザごとに異なるため、ユーザごとに、これらのずれを補正するためのデータであるキャリブレーションデータと呼ばれる視線の特徴データが必要である。しかし、電子機器を複数人が使用する場合には、複数人のキャリブレーションデータを事前に登録（取得）しておく必要があり、電子機器を使用するユーザが代わった際に正しく視線入力の検出ができない場合がある。

【0005】

また、複数人分のキャリブレーションデータを予め登録している場合でも、視線入力に応じた機能を利用する際に、ユーザが自身の登録内容を選択する必要があり、ユーザにとって手間であった。また、登録された複数のキャリブレーションデータのうちいずれが自身のデータであるのかをユーザが記憶しておかないと、再度キャリブレーションデータを取得する必要があるなどの手間が生じていた。

【0006】

そこで、本発明は、複数人が視線入力を利用する際に煩雑さを低減させることを目的とする。

【課題を解決するための手段】

【0007】

本発明の１つの態様は、
電子機器であって、
接眼ファインダーと、
ユーザの視線の特徴データを記録手段に記録するように制御する制御手段と、
光源から照射された第１の光がユーザの目において反射した光を受光することによって、当該ユーザの目の第１の画像を取得する撮像手段と、
前記電子機器の周囲の環境光の明るさが所定の明るさよりも暗い場合には、前記接眼ファインダーに接眼するようにユーザに通知する通知手段と、
ユーザの目が前記接眼ファインダーに接眼すると、前記第１の画像に基づいてユーザの虹彩パターンを検出することによってユーザを認証する認証手段と、
前記認証したユーザについて紐づけられて前記記録手段に記録された視線の特徴データを用いて、当該ユーザの視線を検出する検出手段と、
を有する、
ことを特徴とする電子機器である。
本発明の１つの態様は、
接眼ファインダーと、
ユーザの視線の特徴データを記録手段に記録するように制御する制御手段と、
ユーザの目が前記接眼ファインダーに接眼していないと、ユーザの指紋パターンを検出することによってユーザを認証し、ユーザの目が前記接眼ファインダーに接眼していると、前記指紋パターンを検出することとは異なる方法によりユーザを認証する認証手段と、
前記認証したユーザについて紐づけられて前記記録手段に記録された視線の特徴データを用いて、当該ユーザの視線を検出する検出手段と、
を有する、
ことを特徴とする電子機器である。

【0008】

本発明の１つの態様は、
電子機器の制御方法であって、
ユーザの視線の特徴データを記録手段に記録するように制御する制御工程と、
光源から照射された第１の光がユーザの目において反射した光を受光することによって取得した当該ユーザの目の第１の画像に基づいて、ユーザの虹彩パターンを検出することによってユーザを認証する認証工程と、
前記電子機器の周囲の環境光の明るさが所定の明るさよりも暗い場合には、ユーザの目が接眼ファインダーに接眼するようにユーザに通知する通知工程と、
ユーザの目が前記接眼ファインダーに接眼すると、前記認証したユーザについて紐づけられて記録された視線の特徴データを用いて、当該ユーザの視線を検出する検出工程と、を有する、
ことを特徴とする電子機器の制御方法である。
本発明の１つの態様は、
ユーザの視線の特徴データを記録手段に記録するように制御する制御工程と、
ユーザの目が接眼ファインダーに接眼していないと、ユーザの指紋パターンを検出することによってユーザを認証し、ユーザの目が前記接眼ファインダーに接眼していると、前記指紋パターンを検出することとは異なる方法によりユーザを認証する認証工程と、
前記認証したユーザについて紐づけられて前記記録手段に記録された視線の特徴データを用いて、当該ユーザの視線を検出する検出工程と、
を有する、
ことを特徴とする電子機器の制御方法である。

【発明の効果】

【0009】

本発明によれば、複数人が視線入力を利用する際に煩雑さを低減させることができる。

【図面の簡単な説明】

【0010】

【図1】実施形態１に係る撮像装置の構成図

【図2】実施形態１に係るキャリブレーションデータの記録等を説明する図

【図3】実施形態１に係るキャリブレーションデータの読み出しを説明する図

【図4】実施形態１に係るキャリブレーションデータの設定のフローチャート

【図5】実施形態２に係るキャリブレーションデータの読み出しを説明する図

【図6】実施形態３に係るキャリブレーションデータの記録等を説明する図

【発明を実施するための形態】

【0011】

以下に、本発明の実施の形態を、添付の図面を用いて詳細に説明する。

【0012】

＜実施形態１＞
［撮像装置の構成］
図１を参照して、本実施形態に係る撮像装置１００の構成を説明する。図１は、実施形態１に係る撮像装置１００の構成図である。ここで、撮像装置１００は、ユーザの視線入力を受け付け可能であれば、デジタルカメラなどのカメラに限らず、スマートフォンなどの他の電子機器やパーソナルコンピューターであってもよい。

【0013】

撮像装置１００は、レンズユニット１０１、撮像素子１０２、光源部１０３、画像処理回路１０９、記録部１１０、メモリ回路１１１、制御回路１１２、表示部１１３、検出部１１４、虹彩認証部１１５を有する。また、撮像装置１００は、操作部１１６、表示部１１７、視線用撮像素子１１８、バス１２０を有する。

【0014】

レンズユニット１０１は、被写体からの入射光を撮像素子１０２に集光する。レンズユニット１０１は、例えば、複数のレンズ、絞りなどを有する。

【0015】

撮像素子１０２は、レンズユニット１０１が集光した光に基づき、被写体が撮像された画像（画像データ）を取得する。光源部１０３は、被写体に対して光を照射する光源を有する。

【0016】

画像処理回路１０９（現像処理部）は、撮像素子１０２から取得した画像に対して、色マトリクス処理やガンマ処理などの現像処理を行う。なお、これらの処理において、画像処理回路１０９は、必要に応じてメモリ回路１１１に画像を記録する。そして、画像処理回路１０９は、表示部１１３、表示部１１７や記録部１１０に処理した画像を出力する。

【0017】

記録部１１０は、画像やプログラムなどを記録（記憶）する。また、記録部１１０は、ユーザごとに、虹彩の特徴を示す虹彩データと、当該虹彩データと紐づいたキャリブレーションデータを記録する。本実施形態では、キャリブレーションデータとは、ユーザごとの、眼球の回転半径や瞳孔開閉時の視線のずれなどを補正して、視点の位置（視点位置）を特定するために用いる視線の特徴データである。つまり、キャリブレーションデータとは、ユーザの目の向きと、ユーザが実際に見ている位置（視点位置）とを結びつける情報である。

【0018】

制御回路１１２は、画像処理回路１０９の画像処理や撮像素子１０２の駆動の一部の制御を実行する。また、制御回路１１２は、表示部１１３や表示部１１７の表示の制御、操作部１１６からの指示の受け取りの制御や、メモリ回路１１１や記録部１１０へのデータ受け渡しの制御を実行している。撮像素子１０２や画像処理回路１０９を制御回路１１２が制御することに限らず、撮像素子１０２や画像処理回路１０９のそれ自身が制御部を有していてもよい。

【0019】

表示部１１３および表示部１１７は、処理された画像を表示する。表示部１１７は、本実施形態では、ＥＶＦ（エレクトリカルビューファインダー）である。ユーザは、接眼ファインダー（不図示）を介して撮像装置１００の内部の表示部１１７に表示された画像を視認することができる。つまり、表示部１１３は、ユーザが接眼ファインダーに接眼していない場合に視認する表示部であり、表示部１１７は、ユーザが接眼ファインダーに接眼している場合に視認する表示部である。

【0020】

検出部１１４は、ユーザの目（目の動き）を撮像した画像に基づき、ユーザの視線（視点位置；見ている位置；視線位置）を検出する。本実施形態では、ユーザが接眼ファインダーを介して表示部１１７を覗いた状態で、ユーザの視線（視点位置）が検出される。また、検出部１１４は、ユーザごとに、キャリブレーションデータを取得する。なお、本実施形態では、ユーザは、視点位置に応じて、撮像装置１００の各機能部の操作をすることができる。例えば、表示部１１７における視点位置を検出すると、検出した位置に対して、撮像装置１００はＡＦ（オートフォーカス）を実行することができる。なお、検出部１１４は、視線用撮像素子１１８から取得するユーザの目を撮像した画像に基づき、ユーザの視点位置を検出する。

【0021】

虹彩認証部１１５は、ユーザ特有の情報（生体認証データ）である虹彩データを取得して、ユーザを認証して（虹彩認証をして）、キャリブレーションデータと虹彩データ（ユーザ個人）とを結び付ける。

【0022】

操作部１１６は、ユーザ操作に応じた操作信号を生成する。操作部１１６は、タッチパネル、ダイヤル、４方向キー、シャッターボタン、電源スイッチ、メニューボタン、再生ボタンなどを含む。

【0023】

視線用撮像素子１１８は、ユーザの視線検出に用いるための画像であって、ユーザの目を撮像した画像を取得する。視線用撮像素子１１８は、本実施形態では、赤外光に対して感度を有するＩＲ画素を含む。バス１２０は、撮像装置１００における各機能部が互いにデータをやり取りするための共通の経路である。

【0024】

［キャリブレーションデータの取得・記録のフロー］
以下では、図２を参照して、撮像装置１００が起動してから、キャリブレーションデータが取得されて、さらにキャリブレーションデータが記録部１１０に記録されるまでの処理の流れについて説明する。図２は、撮像装置１００における、キャリブレーションデータの取得・記録のフローに関する処理を実行する機能部を示している。なお、光源部１０３は、光源２０１、光源制御部２０２、プリズム２０５を有する。光源２０１は、赤外光（ＩＲ光）を照射する。光源制御部２０２は、光源２０１を制御して、ユーザの目２００に光を照射する。プリズム２０５は、表示部１１７の前に配置されており、ユーザの目２００から照射される光を屈折させて、視線用撮像素子１１８に入射させる。

【0025】

まず、光源制御部２０２が光源２０１を制御して、光源２０１からユーザの目２００に赤外光を照射する。すると、ユーザの目２００において反射した赤外光が、プリズム２０５において屈折して、視線用撮像素子１１８に入射される。視線用撮像素子１１８は、赤
外光に対して感度を有するため、ユーザの目２００を撮像した画像を取得することができる。

【0026】

検出部１１４が有するデータ検出部２０４は、虹彩認証部１１５が認証したユーザのキャリブレーションデータが記録部１１０に記録されていない場合に、視線用撮像素子１１８が取得した目２００の画像に応じて、キャリブレーションデータを取得する。なお、キャリブレーションデータを予め取得していれば、検出部１１４は、視線用撮像素子１１８が取得したユーザの目２００の画像に応じて、表示部１１７においてユーザが見ている位置（視点位置）を検出することができる。

【0027】

虹彩認証部１１５は、撮像装置１００の起動時に、視線用撮像素子１１８から画像に基づき、虹彩データを取得する。虹彩部分のパターンは、人により異なるため、そのパターンの特徴量を数値化した情報を虹彩データとして扱うことによって個人を特定することが可能である。そして、虹彩認証部１１５は、虹彩データとキャリブレーションデータを関連付けて（紐付けて）記録部１１０に記録する。なお、記録部１１０に、虹彩データに紐づけるためのキャリブレーションデータが記録されていない場合には、上述のように、データ検出部２０４がキャリブレーションデータを取得する（キャリブレーションを実行する）。なお、虹彩認証部１１５は、起動時に限らず、視線用撮像素子１１８から画像を取得した場合や、表示部１１７であるＥＶＦをユーザがのぞき込んだことを示す接眼（近眼）を接眼検出部（不図示）が検出した場合に、虹彩パターンを検出してもよい。なお、接眼検出は、例えば、接眼検出部が赤外線を物体に照射する場合に、接眼検出部が受光する、物体において反射した赤外光の光量の変化に基づいて行うことができる。

【0028】

［キャリブレーションデータの読み出しフロー］
図３は、時刻経過（タイミングＴ３１０～Ｔ３１３）に対する、キャリブレーションデータの読出しのシーケンスを示す図である。光源２０１、視線用撮像素子１１８の処理とともに、虹彩認証部１１５や検出部１１４などによる視線検出のための処理をそれぞれ示している。

【0029】

タイミングＴ３１０では、光源２０１が光をユーザの目に照射（通常照射）し、視線用撮像素子１１８がユーザの目の画像を取得する。なお、虹彩パターンを検出する際に、通常の照射（視線検出のための照射）では光量が不足する場合には、光源２０１は照射する光の出力の光量を大きくしてもよい。つまり、虹彩認証と視線検出とでは、互いに異なる光量の光が光源２０１から照射されてもよい。

【0030】

タイミングＴ３１１では、虹彩認証部１１５は、取得した目の画像から虹彩パターンを取得（抽出）する。

【0031】

タイミングＴ３１２では、制御回路１１２は、記録部１１０に抽出した虹彩パターンと一致する虹彩データが記録部１１０に記録されている場合には、記録部１１０において当該虹彩データに紐づいて記録されていたキャリブレーションデータを取得する。制御回路１１２は、取得したキャリブレーションデータを、視線検出に用いるデータとして設定（確定）する。

【0032】

タイミングＴ３１３以後では、検出部１１４は、設定したキャリブレーションデータに基づいて、視線検出用に取得した画像からユーザの視点位置を取得する（ユーザの視線を検出する）。

【0033】

［キャリブレーションデータの設定処理］
以下では、図４を用いて、キャリブレーションデータを視線検出に用いるデータとして
設定する設定処理について説明する。図４は、キャリブレーションデータの設定処理を示すフローチャートである。本フローチャートの処理は、電源スイッチがオンにされて、撮像装置１００が起動すると開始する。なお、本フローチャートの処理は、制御回路１１２が記録部１１０（記憶媒体）に格納されたプログラムを読み出して実行することによって実現される。

【0034】

Ｓ４０１において、制御回路１１２は、虹彩認証部１１５を制御して、ユーザの虹彩パターンを検出する。

【0035】

Ｓ４０２において、制御回路１１２は、Ｓ４０１にて検出した虹彩パターンと合致する虹彩データ（虹彩パターンデータ）が記録部１１０に記録されているか否かを判定する。Ｓ４０１にて検出した合致する虹彩パターンが記録されている場合にはＳ４０３に進み、そうでない場合にはＳ４０４に進む。つまり、Ｓ４０２では、虹彩パターン（虹彩認証）によって、ユーザを特定して、当該ユーザが過去にキャリブレーションを実行してキャリブレーションデータを記録部１１０に記録させているか否かが判定されている。

【0036】

Ｓ４０３において、制御回路１１２は、検出した虹彩パターンに紐づいて記録部１１０に記録されたキャリブレーションデータを、視線検出に用いるためのデータとして設定する。つまり、本実施形態では、Ｓ４０２およびＳ４０３において、制御回路１１２は、虹彩認証をして、虹彩認証されたユーザに紐づいて記録部１１０に記録されたキャリブレーションデータを、視線検出に用いるデータとして設定している。

【0037】

Ｓ４０４において、制御回路１１２は、キャリブレーションするか否かの選択画面を表示部１１７に表示する。その後、制御回路１１２は、選択画面を確認したユーザがキャリブレーションを要求（指示）したか否かを判定する。ユーザがキャリブレーションを要求した場合にはＳ４０５に進み、そうでない場合にはＳ４０７に進む。なお、キャリブレーションをするか否かをユーザに問わずに、一律にＳ４０５に進んでもよいし、または、一律にＳ４０７に進んでもよい。

【0038】

Ｓ４０５において、制御回路１１２は、検出部１１４（データ検出部２０４）を制御して、キャリブレーションデータを新たに取得する（キャリブレーションを実行する）。

【0039】

Ｓ４０６において、制御回路１１２は、Ｓ４０５にて取得したキャリブレーションデータを、視線検出に用いるデータとして設定（反映）する。また、制御回路１１２は、Ｓ４０１にて取得した虹彩データと、Ｓ４０５にて取得したキャリブレーションデータとを紐づけて記録部１１０に記録（保存）する。これによって、次回以降に、Ｓ４０５にて取得したキャリブレーションデータを、ユーザは利用することができる。

【0040】

Ｓ４０７において、制御回路１１２は、予め設定しておいた一般的なキャリブレーションデータであるスタンダードデータを、視線検出に用いるためのデータとして設定する。ここで、スタンダードデータは、一般的な人（複数の人）のキャリブレーションデータの平均的なデータであり得る。なお、スタンダードデータは、撮像装置１００の工場出荷時に設定されていてもよいし、ユーザによって事前に設定されていてもよい。また、性別、年齢別、人種別、身長別に用意された複数のスタンダードデータを記録部１１０が予め記録しており、Ｓ４０７において、ユーザが、複数のスタンダードデータから視線検出に用いるデータを選択できてもよい。

【0041】

以上のように、実施形態１では、撮像装置は、虹彩認証（個人認証）を実行して、虹彩認証をしたユーザに紐づいたキャリブレーションデータが記録部に記録されていれば、当該キャリブレーションデータを当該ユーザの視線検出に用いる。つまり、撮像装置を１度
使ったことがあるユーザであれば、起動時に虹彩データを取得することによってユーザを特定するため、撮像装置が記録している当該ユーザのキャリブレーションデータをスムーズに用いることができる。また、１度も撮像装置を利用していないユーザであっても、起動時に取得した虹彩データによって、ユーザとキャリブレーションデータとを紐づけして容易に記録（登録）しておくことができる。このため、複数人が撮像装置を用いる場合においても、スムーズに視線入力に応じた機能を使用することができる。

【0042】

＜実施形態２＞
実施形態１では、視線検出および虹彩データの取得のために、光源は赤外光を照射してたが、実施形態２では視線検出には赤外光を用いて、虹彩データの取得には可視光（ＲＧＢ）を用いる。なお、実施形態２に係る撮像装置１００の構成は、図１および図２に示すような実施形態１に係る撮像装置１００の構成と同様である。以下では、実施形態１と異なる部分のみ説明し、同一の部分についての説明は省略する。なお、可視光とは、人の目で見える波長の光であり、例えば、０．３μｍから０．７μｍまでの波長の光である。また、赤外光とは、可視光の赤色より波長が長く、人の目では見ることのできない光であり、例えば、０．７μｍから１ｍｍまでの波長の光である。

【0043】

本実施形態では、視線用撮像素子１１８は、赤外光に対する感度を有するＩＲ画素に加えて、可視光（ＲＧＢ）に対して感度を有するＲＧＢ画素を含む。ここで、本実施形態では、表示部１１７は、可視光の光源としても動作する。具体的な処理としては、視線用撮像素子１１８は、光源２０１からの赤外光の反射光をＩＲ画素で受光して、画像として検出部１１４に出力する。また、視線用撮像素子１１８は、ＥＶＦである表示部１１７からの可視光の反射光をＲＧＢ画素で受光して、画像として虹彩認証部１１５に出力する。

【0044】

以下では、図５を参照して、キャリブレーションデータの読み出しについて説明する。図５は、実施形態２におけるキャリブレーションデータの読出しのシーケンスを示す図である。本実施形態では、実施形態１に係る図３に示すシーケンスのタイミングＴ３１０における処理の代わりに、タイミングＴ５１０の処理が実行される。本実施形態では、タイミングＴ５１０において、表示部１１７が可視光を照射して、ユーザの目における当該可視光の反射光を取得することにより視線用撮像素子１１８がＲＧＢ画像をユーザの目の画像として取得する。この後のタイミングＴ３１１以降の処理は、実施形態１に係る処理と同一である。

【0045】

なお、本実施形態では、視線検出のための画像と虹彩認証のための画像との両方を視線検出用撮像素子が取得していた。しかし、これに限らず、第１の撮像素子が視線検出のための画像を取得し（赤外光を受光し）、第１の撮像素子とは異なる第２の撮像素子が虹彩認証のための画像を取得する（可視光を受光する）ような構成であってもよい。また、本実施形態では、視線検出のための光源と虹彩認証のための光源とを２つ備える構成を説明したが、１つの光源によって視線検出および虹彩認証が行われてもよい。また、赤外光および可視光のいずれも発光できる光源を採用して、虹彩認証と視線検出とで、照射タイミングを切り替えて光を照射するようにしてもよい。

【0046】

以上のように、実施形態２では、虹彩データを取得する場合には、視線を検出するための光とは異なる波長の光を用いた。このように撮像に用いる光を異ならせるすることによって、視線検出と虹彩認証とで、撮像時の解像度や露光条件を変えることが容易に可能であるため、それぞれの用途に応じた最適な条件を設定することができる。また、視線を検出する機能部と虹彩認証する機能部とを分けることが容易になるので、多様な装置に対して本実施形態を適用することができる。

【0047】

＜実施形態３＞
実施形態３では、撮像装置１００は、ユーザの特定（個人認証；識別）を虹彩認証の代わりに、指紋認証によって行う。以下では、実施形態１と同様の部分については、説明を省略し、異なる部分のみ詳細に説明する。

【0048】

本実施形態に係る撮像装置１００は、実施形態１に係る撮像装置１００の構成における虹彩認証部１１５の代わりに、指紋認証部６００を有する。なお、図６では、図２に示す光源部１０３、視線用撮像素子１１８、表示部１１７をまとめて、視線検出ブロック６１０として示している。

【0049】

視線用撮像素子１１８が撮像した画像を用いて虹彩認証部１１５が虹彩認証（個人認証）を行っていた処理に代わり、指紋検出部６０１がユーザの指紋パターンを検出して指紋認証部６００が指紋データを取得して指紋認証を行う。また、記録部１１０は、指紋データとキャリブレーションデータとを紐づけて記録する。

【0050】

つまり、本実施形態では、撮像装置１００の起動時に、制御回路１１２は、指紋検出部６０１を制御してユーザの指紋パターンを検出して、指紋認証部６００を制御して指紋データを取得する。そして、制御回路１１２は、取得した指紋データと一致する指紋データが記録部１１０に記録されている場合には、取得した指紋データに紐づいて記録されたキャリブレーションデータを、視線検出のために用いるデータとして設定する。このような処理が行われることによって、指紋を用いて個人認証が行われる場合にも、実施形態１と同様の効果を得ることができる。

【0051】

なお、本実施形態では、虹彩認証の機能を有しないようなスマートフォンなどの他の電子機器やパーソナルコンピューターに指紋認証を搭載して、キャリブレーションデータと指紋データを紐付けることも可能である。

【0052】

また、虹彩認証や指紋認証の代わりに任意の個人認証が用いられてもよい。例えば、ユーザの顔を検出して顔データを取得して、顔認証が行われてもよい。また、静脈パターンなどの生体認証等によって個人認証が行われてもよく、認証するためのデータ（生体認証データ）とキャリブレーションデータとを紐づけ可能であれば、どのような認証方法が用いられてもよい。

【0053】

以上のように、本実施形態では、虹彩認証以外の個人認証によってユーザを特定して、当該ユーザに対応したキャリブレーションデータを読み出す例を説明した。これにより、特定の個人認証によらず、キャリブレーションデータをユーザに対応づけることが可能である。例えば、実施形態１に係る撮像装置の場合では、ユーザの目が接眼していないと虹彩認証ができないが、ユーザの指がグリップを握っている場合には指紋認証（個人認証）ができる。このように、個人認証の方法を変えることにより、取得タイミングの範囲を広くできるという効果が得られる。

【0054】

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0055】

例えば、撮像装置１００の周囲の環境光の明るさが所定の明るさ以上である場合には顔認証を用いて、撮像装置１００の周囲の環境光の明るさが所定の明るさ未満（よりも暗い）場合には虹彩認証（または指紋認証）が行われてもよい。なお、撮像装置１００の周囲の環境光の明るさが所定の明るさ未満の場合には、通知部によって、ユーザに対して、接眼ファインダーに接眼するように通知してもよい。このように、複数の認証を用いること
によれば、多くの場合にユーザを認証することが可能になる。

【0056】

なお、上記の各実施形態の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

【0057】

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0058】

１００：撮像装置、１１０：記録部、１１２：制御回路、
１１４：検出部、１１５：虹彩認証部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】