(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-01
(45)【発行日】2024-11-12
(54)【発明の名称】画像処理装置、画像処理装置の制御方法、およびプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20241105BHJP
H04N 23/69 20230101ALI20241105BHJP
G03B 7/00 20210101ALI20241105BHJP
G03B 19/07 20210101ALI20241105BHJP
G03B 17/20 20210101ALI20241105BHJP
G03B 13/10 20210101ALI20241105BHJP
G02B 7/34 20210101ALN20241105BHJP
G03B 13/36 20210101ALN20241105BHJP
【ＦＩ】
H04N23/60 100
H04N23/69
G03B7/00
G03B19/07
G03B17/20
G03B13/10
G02B7/34
G03B13/36
【請求項の数】
8
(21)【出願番号】P 2020069707
(22)【出願日】2020-04-08
(65)【公開番号】P2021125867
(43)【公開日】2021-08-30
【審査請求日】2023-04-03
(31)【優先権主張番号】P 2020017856
(32)【優先日】2020-02-05
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100110412
【弁理士】
【氏名又は名称】藤元 亮輔
(74)【代理人】
【識別番号】100104628
【弁理士】
【氏名又は名称】水本 敦也
(74)【代理人】
【識別番号】100121614
【弁理士】
【氏名又は名称】平山 倫也
(72)【発明者】
【氏名】江幡 裕也
(72)【発明者】
【氏名】谷口 浩之
【審査官】村山 絢子
(56)【参考文献】
【文献】特開平０７－１５１９５０（ＪＰ，Ａ）
【文献】特開２０１４－１０３４８９（ＪＰ，Ａ）
【文献】特開平０５－１３０４７７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０－２３／７６
Ｈ０４Ｎ ２３／９０－２３／９５９
Ｈ０４Ｎ ５／２２２－５／２５７
Ｇ０３Ｂ １５／００－１５／１６
Ｇ０３Ｂ １７／１８－１７／２０
Ｇ０３Ｂ １７／３６
Ｇ０３Ｂ １９／００－１９／１６
Ｇ０３Ｂ １３／００－１３／３６
Ｇ０３Ｂ ７／００
Ｇ０２Ｂ ７／３４
(57)【特許請求の範囲】
【請求項1】
光学系を介して撮像された画像を表示する表示手段と、前記表示手段を見るユーザの注視位置を検出する検出手段と、
前記表示手段に表示されている画像のズーム位置を変更する制御手段と、を有し、
前記制御手段は、
アシスト制御の開始が指示された場合、前記表示手段に表示されている前記画像を、第１のズーム位置から前記第１のズーム位置よりも広角側の第２のズーム位置までズームアウトし、
前記アシスト制御の停止が指示された場合、ズームアウト画像を、前記検出手段により検出された前記注視位置に基づいて、前記第２のズーム位置から前記第２のズーム位置よりも望遠側の第３のズーム位置までズームインし、
前記注視位置の注視時間に基づいて、前記第２のズーム位置から前記第３のズーム位置までズームインする速度を変更することを特徴とする画像処理装置。
【請求項2】
前記制御手段は、前記注視位置が前記表示手段に表示される範囲内で、前記ズームアウト画像を前記第３のズーム位置までズームインすることを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記制御手段は、前記注視位置を包含する枠を前記表示手段に表示し、前記枠は、前記第１のズーム位置に対応する画角に対応する大きさであることを特徴とする請求項１または２に記載の画像処理装置。
【請求項4】
前記制御手段は、前記第１のズーム位置の画角枠と前記注視位置を包含する枠とが重なったと判定した場合、前記アシスト制御の停止が指示されたと判定することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項5】
前記制御手段は、ユーザによる操作手段の操作に基づいて前記アシスト制御の停止が指示されたと判定することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項6】
前記制御手段は、前記第１のズーム位置に対応する画角枠と前記注視位置を包含する枠との距離が所定の距離よりも小さくなるまでの時間に基づいて、前記第２のズーム位置から前記第３のズーム位置までズームインする速度を変更することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項7】
光学系を介して撮像された画像を表示する表示手段と、前記表示手段を見るユーザの注視位置を検出する検出手段と、前記表示手段に表示されている画像のズーム位置を変更する制御手段と、を有する画像処理装置の制御方法であって、
アシスト制御の開始指示を受けて、前記表示手段に表示されている前記画像を、第１のズーム位置から前記第１のズーム位置よりも広角側の第２のズーム位置までズームアウトするステップと、
前記アシスト制御の停止指示を受けて、ズームアウト画像を、前記検出手段により検出された前記注視位置に基づいて、前記第２のズーム位置から前記第２のズーム位置よりも望遠側の第３のズーム位置までズームインするステップと、
前記注視位置の注視時間に基づいて、前記第２のズーム位置から前記第３のズーム位置までズームインする速度を変更するステップと、を有することを特徴とする画像処理装置の制御方法。
【請求項8】
請求項７に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体が撮影画角から外れた場合に再補足するための撮影アシスト機能を有する撮像装置に関する。
【背景技術】
【0002】
従来、望遠撮影のように狭い撮影画角から外れた被写体の再補足を容易にする撮影アシスト機能を有する撮像装置が知られている。例えば、撮影画角から外れた被写体を再補足しようとして撮影者が操作部材を介して撮影アシストを開始すると、自動で広角側にズームアウトを行って被写体を捉え、その後に撮影アシストを解除すると、自動で望遠側にズームインを行う（フレーミングアシスト）。
【0003】
特許文献１には、ファインダを覗く撮影者の視線位置の情報に基づいて撮影者が意図する被写体を認識する技術が開示されている。特許文献２には、視線位置のバラつきと距離情報とに基づいて焦点制御を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００４－８３２３号公報
【文献】特許第５８２８０７０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、被写体が撮影画角から外れて再補足が必要な場合には、対象となる被写体が一時的に存在しなくなるため、特許文献１や特許文献２に開示された技術の適用は困難である。
【0006】
そこで本発明は、撮影画角から外れた被写体を再補足することを容易にして撮影機会の損失を低減することが可能な画像処理装置、撮像装置、画像処理装置の制御方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一側面としての画像処理装置は、光学系を介して撮像された画像を表示する表示手段と、前記表示手段を見るユーザの注視位置を検出する検出手段と、前記表示手段に表示されている画像のズーム位置を変更する制御手段とを有し、前記制御手段は、アシスト制御の開始が指示された場合、前記表示手段に表示されている前記画像を、第１のズーム位置から前記第１のズーム位置よりも広角側の第２のズーム位置までズームアウトし、前記アシスト制御の停止が指示された場合、ズームアウト画像を、前記検出手段により検出された前記注視位置に基づいて、前記第２のズーム位置から前記第２のズーム位置よりも望遠側の第３のズーム位置までズームインし、前記注視位置の注視時間に基づいて、前記第２のズーム位置から前記第３のズーム位置までズームインする速度を変更する。
本発明の他の目的及び特徴は、以下の実施形態において説明される。
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【0008】
本発明によれば、撮影画角から外れた被写体を再補足することを容易にして撮影機会の損失を低減することが可能な画像処理装置、撮像装置、画像処理装置の制御方法、および、プログラムを提供することができる。
【図面の簡単な説明】
【0009】
【図1】第１乃至第３の実施形態における撮像装置のブロック図である。
【図2】第１乃至第３の実施形態における撮像装置の断面図である。
【図3】各実施形態における視線検出方法の原理の説明図である。
【図4】各実施形態における眼球用撮像素子に投影される眼球像と眼球用撮像素子の出力強度を示す図である。
【図5】各実施形態における視線検出方法のフローチャートである。
【図6】第１の実施形態における制御方法のフローチャートである。
【図7】第１の実施形態における表示部の表示画面の概略図である。
【図8】第２の実施形態における制御方法のフローチャートである。
【図9】第３の実施形態における制御方法のフローチャートである。
【図10】第２および第３の実施形態における表示部の表示画面の概略図である。
【図11】第４の実施形態における撮像装置のブロック図である。
【図12】第４の実施形態における制御方法のフローチャートである。
【図13】第４の実施形態における表示部の表示画面の概略図である。
【図14】第５の実施形態における撮像装置の外観概略図である。
【図15】第５の実施形態における撮像装置の電気的構成を示すブロック図である。
【図16】第５の実施形態におけるファインダ内視野の説明図である。
【0010】
【図17】第５の実施形態における表示画角の変更図である。
【図18】第５の実施形態における撮影アシスト処理のフローチャートである。
【図19】第５の実施形態における制御方法のフローチャートである。
【図20】第６の実施形態における表示画角の変更図である。
【図21】第６の実施形態における制御方法のフローチャートである
【図22】第７の実施形態における表示画角の変更図である。
【図23】第７の実施形態における制御方法のフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【0012】
（第１の実施形態）
まず、図１および図２を参照して、本発明の第１の実施形態における撮像装置（画像処理装置）について説明する。図１は、デジタルカメラ（撮像装置）１００のブロック図である。図２は、デジタルカメラ１００の断面図である。なお、図１および図２において、対応する部位は同じ番号で表記されている。
まず、図１および図２を参照して、本発明の第１の実施形態における撮像装置（画像処理装置）について説明する。図１は、デジタルカメラ（撮像装置）１００のブロック図である。図２は、デジタルカメラ１００の断面図である。なお、図１および図２において、対応する部位は同じ番号で表記されている。
【0013】
図１において、結像光学部１０１はフォーカスレンズや防振レンズを含む複数のレンズ群および絞りなどの光学系（撮像光学系）を有する。また結像光学部１０１は、絞り制御回路２１１および焦点調節回路２１２を有する。撮影の際、結像光学部１０１は、焦点調節回路２１２でフォーカス調節、絞り制御回路２１１で露出調節を行うとともに、ブレ補正等を行い、撮像素子１０２に光学像を結像する。撮像素子１０２は、光学像を電気信号（アナログ画像信号）に変換する光電変換機能を有し、ＣＣＤセンサやＣＭＯＳセンサ等で構成される。Ａ／Ｄ変換部１０３は、撮像素子１０２からのアナログ画像信号をデジタル画像信号に変換する。変換後の画像データは後段の画像処理部１０４に入力される。バス１１６は、主に、ＣＰＵ１１４などから各ブロックの制御信号を伝送するためのシステムバスである。バス１１７は、主に、画像データを転送るためのデータバスである。
【0014】
ＣＰＵ１１４は、画像処理装置全体の制御を司るマイクロコンピュータ等で構成され、各機能ブロックに対して動作指示を行い、各種の制御処理を実行する。またＣＰＵ１１４は、各種制御処理の際に必要となる演算を行う。ＣＰＵ１１４は、バス１１６を介して、撮像素子１０２、画像処理部１０４、データ転送部１０５、メモリ制御部１０６、不揮発性メモリ制御部１０８、記録メディア制御部１１０、表示制御部１１２、および、操作部（操作手段）１１５を制御する。またＣＰＵ１１４は、バス１１６を介して、視線検出回路１２０、測光回路２０２、自動焦点検出回路２０３、および、光源駆動回路２０５を制御する。ＣＰＵ１１４を構成するマイクロコンピュータは、ＲＯＭ１０９に記録されたプログラムを実行することにより、本実施例の各処理を実現する。またＣＰＵ１１４は、結像光学部１０１のレンズや絞りの制御を行い、焦点距離等の情報を取得する。またＣＰＵ１１４は、推定手段１１４ａおよび制御手段１１４ｂを有する。推定手段１１４ａは、視線検出回路１２０および眼球用撮像素子１２１を用いて、表示部１１３における撮影者の注視位置を推定する。制御手段１１４ｂは、結像光学部１０１の焦点距離を変更する。
【0015】
データ転送部１０５は、データ転送を行う複数のＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）で構成されている。ＤＲＡＭ（メモリ）１０７は、データを記憶する記憶部であり、所定枚数の静止画像や所定時間の動画像、音声等のデータやＣＰＵ１１４の動作用の定数、プログラム等を格納するのに十分な記憶容量を備える。メモリ制御部１０６は、ＣＰＵ１１４或いはデータ転送部１０５からの指示に応じて、ＤＲＡＭ１０７へのデータ書き込み及びデータ読み出しを行う。不揮発性メモリ制御部１０８は、ＣＰＵ１１４からの指示に応じて、ＲＯＭ（不揮発性メモリ）１０９にデータの書き込み及び読み出しを行う。ＲＯＭ１０９は、電気的に消去・記録可能なメモリであり、ＥＥＰＲＯＭ等が用いられる。ＲＯＭ１０９には、ＣＰＵ１１４の動作用の定数、プログラム等が記憶される。
【0016】
画像処理部１０４は、各種画像処理部及びバッファメモリ等から構成されており、画像データに対して、倍率色収差補正、現像処理、ノイズリダクション処理、幾何変形、および、拡縮処理（リサイズ処理）などを適切に行う。また画像処理部１０４は、Ａ／Ｄ変換器１０３により変換された画像データに対して画素補正、黒レベル補正、シェーディング補正、傷補正などを適正に行う撮像補正部を備える。
【0017】
記録メディア１１１は、ＳＤカード等の記録媒体であり、記録メディア制御部１１０により制御され、画像データの記録や、記録データの読み出しを行う。表示部（表示手段）１１３は、液晶ディスプレイや電子ビューファインダーから成り、表示制御部１１２により制御され、画像処理部１０４から転送された各種の画像データ（結像光学部１０１を介して撮像された画像など）やメニュー画面などを表示する。また、静止画撮影の撮影前や、動画撮影時には、Ａ／Ｄ変換部１０３から入力された画像データをリアルタイムで処理して、表示する。
【0018】
操作手段である操作部１１５は、撮影者により操作されるスイッチやボタン、タッチパネル等を含み、電源のＯＮ／ＯＦＦ、シャッターのＯＮ／ＯＦＦ等の操作に使用される。撮影アシスト機能を実施するための専用ボタンを具備し、押下することで撮影アシストが開始される。
【0019】
光源駆動回路２０５は、撮影者の眼球を照明するための光源（照明光源）２１０（２１０ａ、２１０ｂ）を駆動する。視線検出回路１２０は、眼球用撮像素子１２１上に結像された眼球と光源２１０の角膜反射による像の位置関係に基づいて視線方向を検出する。
【0020】
図２において、１Ａはレンズ交換式カメラにおける撮影レンズ（レンズ装置）であり、図１の結像光学部１０１に相当する。本実施形態では、便宜上、撮影レンズ１Ａの内部には二枚のレンズ２１０１、２１０２が設けられているように示しているが、実際には多数のレンズで構成されている。１Ｂはカメラ筐体部（カメラ本体）である。撮像素子１０２は、デジタルカメラ１００の撮影レンズ１Ａの予定結像面に配置されている。接眼レンズ１２は、表示部１１３に表示された被写体像を観察するために配置されている。
【0021】
２１０ａ、２１０ｂは、光源の角膜反射による反射象と瞳孔の関係から視線方向を検出するための撮影者の眼球１４を照明するための光源である。光源２１０ａ、２１０ｂは、赤外発光ダイオードからなり、接眼レンズ１２の周りに配置されている。照明された眼球像と光源２１０ａ、２１０ｂの角膜反射による像は、接眼レンズ１２を透過し、光分割器１５で反射され、受光レンズ１６によってＣＣＤなどの光電素子列を２次元的に配した眼球用撮像素子１２１上に結像される。受光レンズ１６は、撮影者の眼球１４の瞳孔と眼球用撮像素子１２１を共役な結像関係に位置付けている。ＣＰＵ１１４は、視線検出回路１２０を制御し、眼球用撮像素子１２１上に結像された眼球と光源２１０ａ、２１０ｂの角膜反射による像の位置関係から後述する所定のアルゴリズムで視線方向を検出する。
【0022】
２１１１は撮影レンズ１内に設けられ絞り、２１１は絞り制御回路、２１３はレンズ駆動モーター、２１４は駆動ギヤなどからなるレンズ駆動部材である。２１５はフォトカプラーであり、レンズ駆動部材２１４に連動するパルス板２１６の回転を検知して、その回転（回転情報）を焦点調節回路２１２に伝える。焦点調節回路２１２は、回転情報とカメラ側からのレンズ駆動量の情報とに基づいて、レンズ駆動モーター２１３を所定量だけ駆動させ、撮影レンズ１Ａを合焦点位置に移動させる。２１７は、撮影レンズ１Ａとカメラ筐体１Ｂとのインターフェイスとなるマウント接点である。操作部１１５は、タッチパネル対応液晶、撮影アシストボタン、ボタン式十字キーなどの操作部材を含む。操作部１１５は、後述の撮影アシスト操作による制御などに使用される。なお本実施形態において、デジタルカメラ（撮像装置）１００は、カメラ筐体（カメラ本体）１Ｂに着脱可能な撮影レンズ（交換レンズ）１Ａであるが、本実施形態は、カメラ本体と撮影レンズとが一体的に構成された撮像装置にも適用可能である。
【0023】
次に、図３乃至図５を参照して、本実施形態における視線検出方法について説明する。図３は、視線検出方法の原理の説明図であり、視線検出を行うための光学系の説明図である。図２において、光源２１０ａ、２１０ｂは、観察者に対して不感の赤外光を放射する発光ダイオード等の光源である。光源２１０ａ、２１０ｂは、受光レンズ１６の光軸に対して略対称に配置され、観察者の眼球１４を照らしている。眼球１４で反射した照明光の一部は、受光レンズ１６により、眼球用撮像素子１２１に集光する。
【0024】
図４（ａ）は眼球用撮像素子１２１に投影される眼球像の概略図、図４（ｂ）は眼球用撮像素子１２１におけるＣＣＤの出力強度図である。図５は、視線検出ルーチン（視線検出方法）のフローチャートである。図５の視線検出ルーチンは、ＣＰＵ１１４および視線検出回路１２０を含む注視点位置推定手段（推定手段）により実行される。
【0025】
図５において、視線検出ルーチンが開始すると、まずステップＳ５０１において、ＣＰＵ１１４は、光源駆動回路２０５を制御して光源２１０ａ、２１０ｂを駆動する。光源２１０ａ、２１０ｂは、ＣＰＵ１１４の制御に従って、観察者の眼球１４に向けて赤外光を放射する。光源２１０ａ、２１０ｂからの赤外光により照明された観察者の眼球像は、眼球用撮像素子１２１上に受光レンズ１６を通して結像し、眼球用撮像素子１２１により光電変換され、眼球像は電気信号（眼球画像信号）としての処理が可能となる。続いてステップＳ５０２において、眼球用撮像素子１２１から得られた眼球画像信号は、ＣＰＵ１１４に送られる。
【0026】
続いてステップＳ５０３において、ＣＰＵ１１４は、ステップＳ５０２にて得られた眼球画像信号の情報に基づいて、図３に示される光源２１０ａ、２１０ｂの角膜反射像Ｐｄ、Ｐｅおよび瞳孔中心ｃに対応する点の座標を求める。光源２１０ａ、２１０ｂより放射された赤外光は、観察者の眼球１４の角膜１４２を照明する。このとき角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ、Ｐｅは、受光レンズ１６により集光され、眼球用撮像素子１２１上に結像する（図中の点Ｐｄ’、 Ｐｅ’）。同様に、瞳孔１４１の端部ａ、ｂからの光束も眼球用撮像素子１２１上に結像する。
【0027】
図４（ａ）は、眼球用撮像素子１２１から得られる反射像の画像例を示す。図４（ｂ）は、図４（ａ）の画像例の領域αにおける、眼球用撮像素子１２１から得られる輝度情報例を示す。図４（ａ）に示されるように、水平方向をＸ軸、垂直方向をＹ軸とする。このとき、光源２１０ａ、２１０ｂの角膜反射像が結像した像Ｐｄ’、Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ、Ｘｅとする。また、瞳孔１４ｂの端部（瞳孔端ａ、ｂ）からの光束が結像した像ａ’、ｂ’のＸ軸方向の座標をそれぞれＸａ、Ｘｂとする。図４（ｂ）の輝度情報例において、光源２１０ａ、２１０ｂの角膜反射像が結像した像Ｐｄ’、Ｐｅ’に相当する位置Ｘｄ、Ｘｅでは、強いレベルの輝度が得られている。瞳孔１４１の領域に相当する、座標ＸａからＸｂの間の領域は、位置Ｘｄ、Ｘｅを除き、低いレベルの輝度が得られる。これに対し、瞳孔１４１の外側の光彩１４３の領域に相当する、Ｘａよりも低いＸ座標の値を持つ領域およびＸｂより高いＸ座標の値を持つ領域では、前述の２種の輝度レベルの中間の値が得られる。Ｘ座標の位置に対する輝度レベルの変動情報に基づいて、光源２１０ａ、２１０ｂの角膜反射像が結像した像Ｐｄ’、Ｐｅ’のＸ座標Ｘｄ、Ｘｅと、瞳孔端の像ａ’、ｂ’のＸ座標Ｘａ、Ｘｂとを得ることができる。
【0028】
また、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘが小さい場合、眼球用撮像素子１２１上に結像する瞳孔中心ｃに相当する箇所（ｃ’とする）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。これにより、眼球用撮像素子１２１上に結像する瞳孔中心に相当するｃ’のＸ座標、光源２１０ａ、２１０ｂの角膜反射像Ｐｄ’、Ｐｅ’を見積もることができる。
【0029】
続いて、図５のステップＳ５０４において、ＣＰＵ１１４は、眼球像の結像倍率βを算出する。結像倍率βは、受光レンズ１６に対する眼球１４の位置により決まる倍率であり、実質的には角膜反射像Ｐｄ‘、Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数として求めることができる。
【0030】
続いてステップＳ５０５において、２軸の眼球回転角度（回転角θｘ、θｙ）角膜反射像Ｐｄ、Ｐｅの中点のＸ座標と角膜１４２の曲率中心ＯのＸ座標とは略一致する。このため、角膜１４２の曲率中心Ｏから瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、眼球１４の光軸のＺ－Ｘ平面内の回転角θｘは、以下の式（１）のように表される。
【0031】
θｘ＝β＊Ｏｃ＊ＳＩＮθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ … （１）
また、図３および図４においては、観察者の眼球がＹ軸に垂直な平面内で回転する場合の回転角θｘを算出する例を示しているが、観察者の眼球がＸ軸に垂直な平面内で回転する場合の回転角θｙの算出方法も同様である。
また、図３および図４においては、観察者の眼球がＹ軸に垂直な平面内で回転する場合の回転角θｘを算出する例を示しているが、観察者の眼球がＸ軸に垂直な平面内で回転する場合の回転角θｙの算出方法も同様である。
【0032】
ステップＳ５０５にて観察者の眼球１４の光軸の回転角θｘ、θｙが算出されると、ステップＳ５０６に進む。ステップＳ５０６において、ＣＰＵ１１４は、ＤＲＡＭ（メモリ）１０７に記憶された補正係数データを読み込む。続いてステップＳ５０７において、ＣＰＵ１１４は、回転角θｘ、θｙを用いて、表示部１１３上で観察者の視線の位置（注視している点の位置（注視点））を求める。注視点位置を表示部１１３上での瞳孔１４１の中心ｃに対応する座標（Ｈｘ，Ｈｙ）とすると、座標Ｈｘ、Ｈｙはそれぞれ以下の式（２）、（３）で表される。
【0033】
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ） … （２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ） … （３）
このとき、係数ｍは、デジタルカメラ１００のファインダ光学系の構成で定まる定数、すなわち回転角θｘ、θｙを表示部１１３上での瞳孔１４１の中心ｃに対応する位置座標に変換する変換係数であり、予め決定されてＤＲＡＭ１０７に記憶されている。また、Ａｘ、Ｂｘ、Ａｙ、Ｂｙは、観察者の視線の個人差を補正する視線補正係数であり、後述するキャリブレーション作業を行うことで取得され、視線検出ルーチンが開始する前にＤＲＡＭ１０７に記憶されている。
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ） … （３）
このとき、係数ｍは、デジタルカメラ１００のファインダ光学系の構成で定まる定数、すなわち回転角θｘ、θｙを表示部１１３上での瞳孔１４１の中心ｃに対応する位置座標に変換する変換係数であり、予め決定されてＤＲＡＭ１０７に記憶されている。また、Ａｘ、Ｂｘ、Ａｙ、Ｂｙは、観察者の視線の個人差を補正する視線補正係数であり、後述するキャリブレーション作業を行うことで取得され、視線検出ルーチンが開始する前にＤＲＡＭ１０７に記憶されている。
【0034】
前述のように表示部１１３上での瞳孔１４１の中心ｃの座標（Ｈｘ、Ｈｙ）を算出した後、ステップＳ５０８において、ＣＰＵ１１４は、ＤＲＡＭ１０７に算出した座標を記憶させ、図５の視線検出ルーチンを終える。また、ＣＰＵ１１４は、視線の位置がある領域にどのくらい留まっていたかを計測し、注視時間としてＤＲＡＭ１０７に記憶する。
【0035】
なお本実施形態では、光源２１０ａ、２１０ｂの角膜反射像を利用した表示素子上での注視点座標取得手法を示しているが、これに限定されるものではなく撮像された眼球画像から眼球回転角度を取得する手法を採用してもよい。
【0036】
次に、図６および図７を参照して、本実施形態における制御方法について説明する。図６は、本実施形態における制御方法のフローチャートである。図６の各ステップは、主に、ＣＰＵ１１４により実行される。図７は、本実施形態における表示部１１３の表示画面の概略図である。
【0037】
図６のフローが開始された時点で、図７（ａ）の被写体１４０３が表示部１１３に表示されている。まずステップＳ６０１において、ＣＰＵ１１４は、操作部１１５の撮影アシストボタンが押下され撮影アシスト動作（撮影アシスト制御）が開始されたか否かを判定する。撮影アシスト動作が開始していない場合、ステップＳ６０１を繰り返す。一方、撮影アシスト動作が開始した場合、ステップＳ６０２に進む。
【0038】
ステップＳ６０２において、ＣＰＵ１１４は、レンズ駆動モーター２１３を制御して、図６（ｂ）に示されるように所定の広角画角までズームアウト動作を行う。すなわち制御手段１１４ｂは、表示部１１３に表示されている画像を、第１の焦点距離から第１の焦点距離よりも広角側の第２の焦点距離までズームアウトする。なお、ズームアウト動作を行う際の焦点距離などは、撮影者が所望の値に設定することが可能である。図６（ｂ）中の１４１２は、撮影アシスト制御開始時の焦点距離での画角枠（撮影画角）を示している。撮影アシスト制御開始時の焦点距離の画角枠１４１２は、ズームアウト動作に従って、表示部１１３に表示される大きさは小さくなる。図６（ｂ）中の１４１１は、図５の視線検出ルーチンにより算出された注視点位置（注視位置）を包含する注視位置表示枠である。注視位置表示枠１４１１は、撮影アシスト制御開始時の焦点距離の画角枠１４１２と同じ大きさで表示される。図６（ｂ）において、撮影者の注視点位置は、被写体１４０２周辺となっている。
【0039】
続いてステップＳ６０３において、ＣＰＵ１１４は、撮影アシストボタンの押下が解除されて撮影アシスト動作が解除（停止）したか否かを判定する。撮影アシスト動作が解除されていない場合、ステップＳ６０３を繰り返す。一方、撮影アシストボタンの押下が解除された場合、ステップＳ６０４に進む。ステップＳ６０４において、ＣＰＵ１１４は、レンズ駆動モーター２１３を制御して、図６（ｃ）に示されるように注視位置表示枠１４１１が、画角内に内包される最大焦点距離までズームイン動作を行う。すなわち制御手段１１４ｂは、ステップＳ６０２にてズームアウトした画像（ズームアウト画像）を、推定手段１１４ａにより推定された注視位置に基づいて、第２の焦点距離から第２の焦点距離よりも望遠側の第３の焦点距離までズームインする。
【0040】
以上のように、本実施形態において、制御手段１１４ｂは、表示部１１３に表示されている画像を、第１の焦点距離から第１の焦点距離よりも広角側の第２の焦点距離までズームアウトする。そして制御手段１１４ｂは、ズームアウト画像を、推定手段１１４ａにより推定された注視位置に基づいて、第２の焦点距離から第２の焦点距離よりも望遠側の第３の焦点距離までズームインする。
【0041】
好ましくは、制御手段１１４ｂは、注視位置が表示部１１３に表示される範囲内で、ズームアウト画像を第３の焦点距離までズームインする。また好ましくは、表示部１１３は、注視位置を包含する枠（注視位置表示枠１４１１）を表示部１１３に表示する。より好ましくは、この枠は、第１の焦点距離の画角枠と同じ大きさである。また好ましくは、制御手段１１４ｂは、撮影アシスト制御を開始した場合、表示部１１３に表示されている画像を、第１の焦点距離から第２の焦点距離までズームアウトする。そして制御手段１１４ｂは、撮影アシスト動作を停止した場合、ズームアウト画像を、第２の焦点距離から第３の焦点距離までズームインする。より好ましくは、制御手段１１４ｂは、撮影者による操作部１１５の操作に基づいて撮影アシスト制御の解除命令を受けた場合、撮影アシスト制御を停止する。
【0042】
本実施形態によれば、撮影アシスト動作の解除時に撮影者の注視点位置を含む枠までズームイン動作を行う。これにより、被写体の不意の移動など中心点位置が移動した際や、異なる被写体などに注視点位置が移動した場合においてもズームイン動作により画角内から撮影対象となる被写体が外れることを防止し、撮影機会の損失を低減することができる。
【0043】
（第２の実施形態）
次に、図８および図１０を参照して、本発明の第２の実施形態について説明する。図８は、本実施形態における制御方法のフローチャートである。図１０は、本実施形態における表示部１１３の表示画面の概略図である。なお、本実施形態のデジタルカメラの構成は、第１の実施形態で説明したデジタルカメラ１００と同様の構成であるため、その説明は省略する。
次に、図８および図１０を参照して、本発明の第２の実施形態について説明する。図８は、本実施形態における制御方法のフローチャートである。図１０は、本実施形態における表示部１１３の表示画面の概略図である。なお、本実施形態のデジタルカメラの構成は、第１の実施形態で説明したデジタルカメラ１００と同様の構成であるため、その説明は省略する。
【0044】
まずステップＳ８０１において、ＣＰＵ１１４は、操作部１１５の撮影アシストボタンが押下され撮影アシスト動作（撮影アシスト制御）が開始されたか否かを判定する。撮影アシスト動作が開始していない場合、ステップＳ８０１を繰り返す。一方、撮影アシスト動作が開始した場合、ステップＳ８０２に進む。またＣＰＵ１１４は、注視点位置での注視時間を計測する。
【0045】
ステップＳ８０２において、ＣＰＵ１１４は、レンズ駆動モーター２１３を制御して、第１の実施形態と同様に所定の広角画角までズームアウト動作を行う。図８（ａ）は、ズームアウト動作後の表示部１１３に表示される画面の例を示している。図８（ａ）において、１０００は撮影アシスト制御開始時の焦点距離の画角枠、１００１はレンズの光学中心位置、１００２は図５の視線検出ルーチンにより算出された注視点位置を包含する注視位置表示枠である。
【0046】
続いてステップＳ８０３において、ＣＰＵ１１４は、撮影アシスト制御開始時の焦点距離の画角枠１０００と注視位置表示枠１００２とが重なったか否かを判定する。本実施形態では、画角枠１０００と注視位置表示枠１００２との重なった領域の面積が各枠の面積の７０％以上となったときに各枠が重なったと判定するが、これに限定されるものではない。図１０（ｂ）は、撮影者が注視位置（注視位置表示枠１００２の位置）を変えずに、デジタルカメラ１００を右方向にパン動作させたことにより撮影アシスト制御開始時の焦点距離の画角枠１０００と注視位置表示枠１００２とが重なった状態を示す。ステップＳ８０３にて画角枠１０００と注視位置表示枠１００２とが重なっていない場合、ステップＳ８０３を繰り返す。一方、画角枠１０００と注視位置表示枠１００２とが重なったと判定された場合、ステップＳ８０４に進む。
【0047】
ステップＳ８０４において、ＣＰＵ１１４は、撮影アシスト動作を解除（停止）する。すなわち制御手段１１４ｂは、第１の焦点距離の画角枠１０００と注視位置を包含する枠１００２とが重なったと判定した場合、撮影アシスト動作を停止する。なお、撮影アシスト動作の解除条件と撮影アシスト制御開始時の焦点距離の画角枠１０００と注視位置表示枠１００２とが重なったことの判定の他に、操作部１１５の撮影アシストボタンの押下が解除されたことを判定条件として加えてもよい。この判定条件を加えることで、より撮影者の意図通りの撮影アシスト動作解除タイミングを判定することができる。
【0048】
続いてステップＳ８０５において、ＣＰＵ１１４は、レンズ駆動モーター２１３を制御して、図１０（ｃ）に示されるように撮影アシスト制御開始時の焦点距離までズームイン動作を実施する。またＣＰＵ１１４は、計測された注視時間の長さに応じてレンズ駆動モーター２１３の駆動速度を上げて、撮影アシスト動作解除後のズームイン速度を速める制御をしてもよい。すなわち制御手段１１４ｂは、注視位置の注視時間に基づいて、第２の焦点距離から第３の焦点距離までズームインする速度を変更してもよい。ズームイン速度の制御により、撮影者が明確に撮影対象となる被写体を特定し、集中している場合には注視時間が長くなり、スピーディに撮影対象となる被写体にズームインすることが可能となる。一方、撮影対象となる被写体が定まらず周囲の被写体などに視線が移動し注視時間が短くなった場合には撮影アシスト制御開始時の焦点距離までのズームインが遅くなり、周囲の被写体の様子をより長く観察でき、不意の被写体変更などにも機敏に対応が可能となる。
【0049】
本実施形態によれば、撮影アシスト解除タイミングを撮影アシスト制御開始時の焦点距離の画角枠１０００と注視位置表示枠１００２が重なったタイミングで素早く判定することが可能となり、撮影機会の損失を低減することができる。
【0050】
（第３の実施形態）
次に、図９および図１０を参照して、本発明の第３の実施形態について説明する。図９は、本実施形態における制御方法のフローチャートである。図１０は、本実施形態における表示部１１３の表示画面の概略図である。なお、本実施形態のデジタルカメラの構成は、第１の実施形態で説明したデジタルカメラ１００と同様の構成であるため、その説明は省略する。また、図９のフローチャートは、第２の実施形態で説明した図８のフローチャートと同じ処理を含むため、同じ処理について重複する説明は省略する。
次に、図９および図１０を参照して、本発明の第３の実施形態について説明する。図９は、本実施形態における制御方法のフローチャートである。図１０は、本実施形態における表示部１１３の表示画面の概略図である。なお、本実施形態のデジタルカメラの構成は、第１の実施形態で説明したデジタルカメラ１００と同様の構成であるため、その説明は省略する。また、図９のフローチャートは、第２の実施形態で説明した図８のフローチャートと同じ処理を含むため、同じ処理について重複する説明は省略する。
【0051】
ステップＳ９０１は、図８のステップＳ８０１と同様である。ステップＳ９０１の撮影アシスト動作開始の判定後、ステップＳ９０２に進む。ステップＳ９０２において、ＣＰＵ１１４は、撮影アシスト制御開始時の焦点距離の画角枠１０００と注視位置表示枠１００２とが重なるまでの時間計測を開始する。
【0052】
続くステップＳ９０３、Ｓ９０４は、図８のステップＳ８０２、Ｓ８０３とそれぞれ同様である。ステップＳ９０４にて撮影アシスト制御開始時の焦点距離の画角枠１０００と注視位置表示枠１００２とが重なったと判定された場合、ステップＳ９０５に進む。ステップＳ９０５において、ＣＰＵ１１４は、ステップＳ９０２にて開始した時間計測を完了する。続くステップＳ９０６は、図８のステップＳ８０４と同様である。
【0053】
続いてステップＳ９０７において、ＣＰＵ１１４は、レンズ駆動モーター２１３を制御し、図１０（ｃ）に示されるように撮影アシスト制御開始時の焦点距離までズームイン動作を実施する。またＣＰＵ１１４は、撮影アシスト制御開始時の焦点距離（第１の焦点距離）の画角枠１０００と注視位置表示枠１００２が重なるまでの計測時間の長さに応じてレンズ駆動モーター２１３の駆動速度を変更し、撮影アシスト動作解除後のズームイン速度を変更する。すなわち、計測時間が短い場合にはズームイン速度を速くし、計測時間が長い場合にはズームイン速度を遅くする。
【0054】
以上のように、本実施形態において、制御手段１１４ｂは、注視位置の注視時間が所定の時間を超えた場合、撮影アシスト制御を停止する。好ましくは、制御手段１１４ｂは、第１の焦点距離の画角枠１０００と注視位置表示枠１００２との距離が所定の距離よりも小さくなるまでの時間に基づいて、第２の焦点距離から第３の焦点距離までズームインする速度を変更する。
【0055】
本実施形態によれば、撮影者が明確に撮影対象となる被写体を特定し、素早くデジタルカメラ１００を向けた場合には、スピーディに撮影対象となる被写体にズームインすることが可能となる。一方、撮影対象となる被写体が定まらず、ゆっくりデジタルカメラ１００を向けた場合、撮影アシスト制御開始時の焦点距離までのズームインが遅くなり、周囲の被写体の様子をより長く観察することができる。その結果、不意の被写体変更などにも機敏に対応が可能となり、撮影機会の損失を低減することができる。
【0056】
（第４の実施形態）
次に、本発明の第４の実施形態における撮像装置（画像処理装置）について説明する。本実施形態の撮像装置は、記録用のメイン撮像部とは別に、フレーミングを補助するための広角の画像を撮影するサブ撮像部を有する。なお、本実施形態における撮像装置の構成および保持撮影領域表示処理の一部は、第１の実施形態と同一であり、異なる部分のみを説明し、同一の部分についての説明は省略する。
次に、本発明の第４の実施形態における撮像装置（画像処理装置）について説明する。本実施形態の撮像装置は、記録用のメイン撮像部とは別に、フレーミングを補助するための広角の画像を撮影するサブ撮像部を有する。なお、本実施形態における撮像装置の構成および保持撮影領域表示処理の一部は、第１の実施形態と同一であり、異なる部分のみを説明し、同一の部分についての説明は省略する。
【0057】
図１１は、本実施形態におけるデジタルカメラ（撮像装置）５００のブロック図である。なお、第１の実施形態と同一の要素については同一の記号を付し、ここでの詳細な説明を省略する。図１１において、主に望遠撮影を行うメインカメラ用結像光学部５０１は、フォーカスレンズや防振レンズを含む複数のレンズ群および絞りを備えている。撮影の際、メインカメラ用結像光学部５０１は、焦点調節回路５２１２でフォーカス調整、絞り制御回路５２１１で露出調節、およびブレ補正などを行い、メインカメラ用撮像素子５０２に光学像を結像する。メインカメラ用撮像素子５０２は、光学像を電気信号（アナログ画像信号）に変換する光電変換機能を有し、ＣＣＤセンサやＣＭＯＳセンサなどで構成される。メインカメラ用Ａ／Ｄ変換部５０３は、メインカメラ用撮像素子５０２からのアナログ画像信号をデジタル画像信号に変換する。変換後の画像データは後段の画像処理部１０４に入力される。
【0058】
またデジタルカメラ５００は、広角撮影を行う目的で同様の機能を有するサブカメラ用結像光学部５０４、サブカメラ用撮像素子５０５、および、サブカメラ用Ａ／Ｄ変換部５０６を備えている。変換後の画像データは、後段の画像処理部１０４に入力される。サブカメラ用結像光学部５０４は、メインカメラ用結像光学部５０１と同様に、焦点調節回路５２１４および絞り制御回路５２１３を備えている。なお本実施形態において、画像処理部１０４以降の要素は、図１を参照して説明した第１の実施形態と同一である。
【0059】
次に、図１２および図１３を参照して、本実施形態における制御方法を説明する。図１２は、本実施形態における制御方法のフローチャートである。図１３は、本実施形態における表示部１１３の表示画面の概略図である。
【0060】
まずステップＳ１２０１において、ＣＰＵ１１４は、操作部１１５の撮影アシストボタンが押下され撮影アシスト動作（撮影アシスト制御）が開始されたか否かを判定する。撮影アシスト動作が開始していない場合、ステップＳ１２０１を繰り返す。一方、撮影アシスト動作が開始した場合、ステップＳ１２０２に進む。
【0061】
ステップＳ１２０２において、ＣＰＵ１１４は、図１３（ａ）に示されるように表示部１１３の表示画面を、メインカメラより広角側を撮影可能なサブカメラでの撮影画像（広角画像）に切り替える。図１３（ａ）において、１３０３はメインカメラの撮影画角を示し、１３０２は図５の視線検出ルーチンにより算出された注視点位置を包含する注視位置表示枠を示す。
【0062】
続いてステップＳ１２０３において、ＣＰＵ１１４は、メインカメラの撮影画角１３０３と注視位置表示枠１３０２とが重なったか否かを判定する。本実施形態では、メインカメラの撮影画角１３０３と注視位置表示枠１３０２との重なった領域の面積が各枠の面積の７０％以上となったときにメインカメラの撮影画角１３０３と注視位置表示枠１３０２とが重なったと判定するが、これに限定されるものではない。図１３（ｂ）は、撮影者が注視位置（注視位置表示枠１３０２の位置）を変えずに、デジタルカメラ１００を右方向にパン動作させたことによりメインカメラの撮影画角１３０３と注視位置表示枠１３０２とが重なった状態を示す。ステップＳ１２０３にてメインカメラの撮影画角１３０３と注視位置表示枠１３０２とが重なっていない場合、ステップＳ１２０３を繰り返す。一方、ステップＳ１２０３にてメインカメラの撮影画角１３０３と注視位置表示枠１３０２とが重なった場合、ステップＳ１２０４に進む。
【0063】
ステップＳ１２０４において、ＣＰＵ１１４は撮影アシスト動作を解除（停止）する。なお、撮影アシスト動作の解除条件とメインカメラの撮影画角１３０３と注視位置表示枠１００２とが重なったことの判定の他に、操作部１１５の撮影アシストボタンの押下が解除されたことを判定条件として加えてもよい。この判定条件を加えることで、より撮影者の意図通りの撮影アシスト動作解除タイミングを判定することができる。続いてステップＳ１２０５において、ＣＰＵ１１４は、図１３（ｃ）に示されるように表示部１１３の表示画面が、サブカメラより望遠側のメインカメラの撮影画像（望遠画角）に切り替える。
【0064】
以上のように、本実施形態において、撮像装置５００は、第１の撮像素子（メインカメラ用撮像素子５０２）および第２の撮像素子（サブカメラ用撮像素子５０５）を有する。第１の撮像素子は、第１の光学系（メインカメラ用結像光学部５０１）を介して形成された光学像を光電変換して第１の画像を取得する。第２の撮像素子は、第２の光学系（サブカメラ用結像光学部５０４）を介して形成された光学像を光電変換して第１の画像よりも広角の第２の画像を取得する。制御手段１１４ｂは、表示部１１３に第２の画像を表示する。そして制御手段１１４ｂは、第２の画像に重畳して表示された第１の画像の画角枠（メインカメラの撮影画角１３０３）と、第２の画像における注視位置を包含する枠（注視位置表示枠１３０２）とが重なったか否かを判定する。第１の画像の画角枠と注視位置を包含する枠とが重なった場合、制御手段１１４ｂは、表示部１１３に表示されている第２の画像を第１の画像に切り替える。
【0065】
本実施形態によれば、撮影アシスト解除タイミングをメインカメラの撮影画角１３０３と注視位置表示枠１００２とが重なったタイミングで素早く判断することが可能となり、撮影機会の損失を低減することができる。
【0066】
（第５の実施形態）
次に、図１４乃至図１９を参照して、本発明の第５の実施形態について説明する。図１４は本実施形態におけるデジタルカメラ（撮像装置）１００の外観概略図である。図１４（ａ）はデジタルカメラ１００の正面斜視図、図１４（ｂ）は背面斜視図をそれぞれ示す。本実施形態において、デジタルカメラ１００は、図１４（ａ）に示されるように、撮影レンズ（レンズ装置）１Ａおよびカメラ筐体部（カメラ本体）１Ｂを備えて構成されている。またカメラ筐体部１Ｂには、撮影者からの撮像操作を受ける操作部１１５の一部を構成するレリーズボタン５が配置されている。また、図１４（ｂ）に示されるように、デジタルカメラ１００の背面には、表示部１１３を、撮影者が覗きこむための接眼レンズ１２が配置されている。また、デジタルカメラ１００には、操作部１１５の一部として、後述するカメラ操作に用いられる操作部材α（タッチパネル対応液晶４１）、操作部材β（レバー式操作部材４２）、および、操作部材γ（ボタン式十字キー４３）が配置されている。操作部材α、β、γは、例えば、後述の推定注視点枠位置の手動操作による移動制御の際に用いられる。図１は、図１４（ａ）中のＹ軸とＺ軸が成すＹＺ平面でデジタルカメラ１００を切断した断面図に相当する。なお、図１及び図１４において、対応する部位は同じ番号で表記されている。
次に、図１４乃至図１９を参照して、本発明の第５の実施形態について説明する。図１４は本実施形態におけるデジタルカメラ（撮像装置）１００の外観概略図である。図１４（ａ）はデジタルカメラ１００の正面斜視図、図１４（ｂ）は背面斜視図をそれぞれ示す。本実施形態において、デジタルカメラ１００は、図１４（ａ）に示されるように、撮影レンズ（レンズ装置）１Ａおよびカメラ筐体部（カメラ本体）１Ｂを備えて構成されている。またカメラ筐体部１Ｂには、撮影者からの撮像操作を受ける操作部１１５の一部を構成するレリーズボタン５が配置されている。また、図１４（ｂ）に示されるように、デジタルカメラ１００の背面には、表示部１１３を、撮影者が覗きこむための接眼レンズ１２が配置されている。また、デジタルカメラ１００には、操作部１１５の一部として、後述するカメラ操作に用いられる操作部材α（タッチパネル対応液晶４１）、操作部材β（レバー式操作部材４２）、および、操作部材γ（ボタン式十字キー４３）が配置されている。操作部材α、β、γは、例えば、後述の推定注視点枠位置の手動操作による移動制御の際に用いられる。図１は、図１４（ａ）中のＹ軸とＺ軸が成すＹＺ平面でデジタルカメラ１００を切断した断面図に相当する。なお、図１及び図１４において、対応する部位は同じ番号で表記されている。
【0067】
図１５は、デジタルカメラ１００の電気的構成を示すブロック図である。なお図１５において、図１と同一のものは同一番号を付している。ＣＰＵ１１４には、視線検出回路１２０、測光回路２０２、自動焦点検出回路２０３、信号入力回路２０４、表示制御部１１２、光源駆動回路２０５、追尾回路２０７、認識回路２０８、画像処理回路２０９が接続されている。またＣＰＵ１１４は、撮影レンズ１Ａ内に配置された焦点調節回路２１２および絞り制御回路２１１と、マウント接点２１７を介して信号の伝達が行われる。ＣＰＵ１１４に付随したメモリ部４は、撮像素子１０２および眼球用撮像素子１２１からの撮像信号の記憶機能及び、後述する視線の個人差を補正する視線補正データの記憶機能を有している。
【0068】
視線検出回路１２０は、眼球用撮像素子１２１（ＣＣＤ－ＥＹＥ）からの眼球像が結像することによる出力をＡ／Ｄ変換し、この像情報をＣＰＵ１１４に送信する。ＣＰＵ１１４は、視線検出に必要な眼球像の各特徴点を後述する所定のアルゴリズムに従って抽出し、更に各特徴点の位置から撮影者の視線を算出する。測光回路２０２は、測光センサの役割も兼ねる撮像素子１０２から得られる信号を元に、被写界の明るさに対応した輝度信号出力を増幅後、対数圧縮、Ａ／Ｄ変換し、被写界輝度情報として、ＣＰＵ１１４に送る。
【0069】
自動焦点検出回路２０３は、撮像素子１０２におけるＣＣＤの中に含まれる、位相差検出のために使用される複数の画素からの信号電圧をＡ／Ｄ変換し、ＣＰＵ１１４に送る。ＣＰＵ１１４は、前記複数の画素の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差ＡＦとして知られる公知の技術である。本実施例では、一例として、図１６のファインダ内視野像で示した箇所に対応する撮像面上の位置に１８０か所の焦点検出ポイントがあるとする。
【0070】
追尾回路２０７は、ＣＰＵ１１４の制御により、画像を入力して、被写体を追尾する回路であり、画像情報の追尾枠の情報をＣＰＵ１１４に送信する。なお、追尾処理は、例えば、ＳＡＤ（Ｓｕｍ Ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）により、２枚の画像間の類似度を求めて追尾が行われる。また、追尾回路２０７には、ＳＡＤ以外の追尾処理を用いても良い。認識回路２０８は、入力画像に対して、被写体認識する回路であり、例えば人物の顔検出や動物の検出を行う。画像処理回路２０９は、入力画像に対して、各種画像処理部及びバッファメモリ等から構成されており、画像データに対して、倍率色収差補正、現像処理、ノイズリダクション処理、幾何変形、拡縮といったリサイズなどの処理を適切に行う。その他、画像処理回路２０９は、画像データに対して画素補正、黒レベル補正、シェーディング補正、傷補正などを適正に行う補正部等を備える。
【0071】
信号入力回路２０４には、レリーズボタン５の第一ストロークでＯＮし、カメラの測光、測距、視線検出動作等を開始するためのスイッチＳＷ１と、レリーズボタンの第二ストロークでＯＮし、レリーズ動作を開始するためのスイッチＳＷ２が接続される。前記信号が信号入力回路２０４に入力され、ＣＰＵ１１４に送信される。操作部材α（タッチパネル対応液晶４１）、操作部材β（レバー式操作部材４２）、操作部材γ（ボタン式十字キー４３）は、ＣＰＵ１１４にその操作信号が伝わる構成となっており、それに応じて後述する推定注視点枠位置の移動操作制御等が行われる。
【0072】
図１６は、ファインダ視野内の説明図であり、表示部１１３が動作した状態を示す。図１６において、３００は視野マスク、４００は焦点検出領域、４００１～４１８０は表示部１１３に示されるスルー画像に、撮像面上における複数の焦点検出ポイントに対応する位置に重ねて表示した１８０個の測距点視標を示す。また、それらの指標の内、現在の推定注視点位置に対応する指標を図における推定注視点Ａのように枠を出現させた表示を行う。なお、本実施形態の視線検出方法は、第１の実施形態において図３乃至図５を参照して説明したとおりである。
【0073】
図１６を参照して、キャリブレーション作業について説明する。前述のように、視線検出ルーチンにおいて眼球画像から眼球の回転角度θｘ、θｙを取得し、瞳孔中心位置を表示部１１３上において対応する位置に座標変換する演算を行って注視点位置を推定している。
【0074】
しかし、人間の眼球の形状の個人差等の要因により、視線補正係数Ａｘ，Ａｙ，Ｂｘ，Ｂｙの値を撮影者によって適切な値に調整しなければ、図１６（ｂ）に示したように、撮影者が実際に注視している位置Ｂと演算された推定注視点Ｃの位置にずれが生じてしまう。上記例では位置Ｂの人物に注視したいにも関わらず、背景が注視されているとカメラ側が誤って推定しており、適切な焦点検出および調整ができない状態となっている。そこで、カメラによって撮像を行う前に、キャリブレーション作業を行い、使用者に適切な補正係数の値を取得し、カメラに記憶させる必要がある。
【0075】
従来、キャリブレーション作業は、撮像前にファインダ視野内に図１６（ｃ）のような位置の異なる複数の指標を強調表示し、観察者にその指標を見てもらうことで行う。各視標注視時に注視点検出フローを行い、算出された複数の推定注視点座標と各視標座標の位置から適切な前記係数の値を求める作業を行うことが公知の技術として知られている。
【0076】
【0077】
図１７は、本実施形態における表示画角の変更図であり、撮影時に自動で表示画角のズームアウト、ズームインを行った場合（撮影アシストを行った場合）を示す。図１８は、撮影アシスト処理のフローチャートである。図１８の各ステップは、主に、ＣＰＵ１１４により実行される。
【0078】
図１７（ａ）中の８００は、電子ズームの場合は、撮像素子１０２で捉えた画像であり、光学式ズームの場合は、撮像素子１０２で捉える画角外の撮影シーンを模式的に示す。８０１は、表示部１１３で表示している表示画像を示す。８０２は、撮影者が、撮影したい被写体を表している。図１７（ｂ）の８０３の点線枠は、警告表示を示し、表示部１１３に表示されている画像の枠を、例えば赤で点滅表示させていることを示す。図１７（ａ）は、運動会のお遊戯を撮影している例であり、手振れにより、撮影被写体８０２が、表示部１１３の表示から外れてしまった状態を示す。図１７（ｂ）は、後述する撮影アシスト処理フローにて、撮影被写体８０２を見失ったことを検知して、表示画角を広角側にすることを事前に撮影者に教えるために表示の最外角を点滅表示させる状態を示す。図１７（ｃ）は、図１７（ｂ）の警告表示後に、表示画角を広げたときの状態を示す。なお図１７（ｃ）では、撮影被写体８０２が見つかっているが、見つかるまで画角を段階的に広げるものとする。図１７（ｄ）は、その後、撮影者が、撮影被写体８０２を表示部１１３の中心位置に戻すことによって、図１７（ａ）の画角まで画角を戻した状態を示す。
【0079】
次に、図１８を用いて、具体的な撮影アシスト処理について説明する。なお本実施形態において、ズーム動作は光学式ズームであるとして説明するが、これに限定されるものではない。ズーム動作を電子ズームで行う場合、画像処理回路２０９で画像をトリミングして画角を変更することで同じ動作となる。この点は、前述の第１乃至第４の実施形態でも同様である。
【0080】
撮影アシスト処理が開始されると、ＣＰＵ１１４は、ステップＳ１００の撮影被写体見失い判定処理を行う。撮影被写体見失い判定処理は、図１９を参照して後述するが、本処理を行うことで、被写体を見失ったか否かを判定する。続いてステップＳ１０１において、ＣＰＵ１１４は、撮影被写体見失い判定処理の結果を元に、撮影者が被写体を見失ったかどうかの判定を行う。撮影者が被写体を見失ったと判定した場合、ステップＳ１０２へ進む。一方、撮影者が被写体を見失っていない（撮影者が撮影被写体を捉えている）と判定した場合、何もせずに処理を終える。
【0081】
続いてステップＳ１０２において、ＣＰＵ１１４は、予めカメラメニューで設定される撮影アシストの自動で画角を変更する時に警告表示を行うか行わないかのモードであり、その警告表示モードを設定しているか判定する。警告表示モードに設定されている場合、ステップＳ１０３へ進む。一方、警告表示モードに設定されていない場合、ステップＳ１０５へ進む。
【0082】
ステップＳ１０３において、ＣＰＵ１１４は、図１７（ｂ）に示されるように、表示部１１３へ警告表示を閾値（ｃ）秒間行う。続いてステップＳ１０４において、ＣＰＵ１１４は、ステップＳ１００と同様に再度、撮影被写体見失い判定処理を行う。続いてステップＳ１０５において、ＣＰＵ１１４は、ステップＳ１０１と同様の判定または、最大画角に到達したか判定を行う。被写体を見失ったと判定した場合、または、最大画角であると判定した場合、ステップＳ１０６へ進む。一方、被写体を見失っていない（撮影者が撮影被写体を捉えている）と判定し、かつ、最大画角ではないと判定した場合、何もせずに処理を終える。
【0083】
ステップＳ１０６において、ＣＰＵ１１４は、図１７（ｃ）に示されるように、レンズ駆動モーター２１３を制御して、所定の画角まで表示するため、ズームアウトする。続いてステップＳ１０７において、ＣＰＵ１１４は、ステップＳ１００と同様に再度、撮影被写体見失い判定処理を行う。続いてステップＳ１０８において、ＣＰＵ１１４は、ステップＳ１０１と同様の判定を行う。被写体を見失ったと判定した場合、ステップＳ１０２へ戻る。すなわち、被写体を見失っている場合、被写体が見つかるまで、ステップＳ１０２～Ｓ１０６を繰り返し、画角を段階的に広げる動作となる。これは、１度で最大画角に広げると探す被写体が多くなることを回避するためである。一方、被写体を見失っていないと判定した場合、ステップＳ１０９へ進む。
【0084】
ステップＳ１０９において、ＣＰＵ１１４は、レンズ駆動モーター２１３を制御して、注視領域が含まれる画角までズームインする。続いてステップＳ１１０において、ＣＰＵ１１４は、ズームアウト前の画角か否かを判定する。ズームアウト前の画角に戻ったと判定した場合、処理を終える。処理を終えたときの表示形態が、図１７（ｄ）となる。一方、ズームアウト前の画角でない場合、ステップＳ１１１へ進む。ステップＳ１１１において、ＣＰＵ１１４は、撮影者が撮影被写体８０２を画面の中心に捕えようと、カメラをパンニングしたか否かを判定する。カメラをパンニングしたと判定した場合、ステップＳ１０９へ戻る。一方、カメラをパンニングしたと判定していない場合、ステップＳ１１２へ進む。なお、ステップＳ１１１の判定は、撮影被写体８０２が画面内の中心方向に位置したか否かにより行っても良い。
【0085】
ステップＳ１１２において、ＣＰＵ１１４は、閾値（ｄ）時間以上同じ画角か否か、または、レリーズボタン５を押し込まれて撮影動作を行ったか否かを判定する。閾値（ｄ）時間以上同じ画角であるか、または、撮影動作を行った場合、処理を終える。一方、閾値（ｄ）時間以上同じ画角ではなく、かつ撮影動作を行っていない場合、ステップＳ１１１へ戻る。処理を終えた時の表示形態が、図１７（ｄ）となる。
【0086】
【0087】
まずステップＳ２００において、ＣＰＵ１１４は、閾値（ａ）時間以内に注視点の移動回数を計測するためのタイマーをリセットしてからスタートさせる。続いてステップＳ２０１において、ＣＰＵ１１４は、視線検出ルーチンで検出した注視点があるか否かを判定する。注視点がある場合、ステップＳ２０２へ進む。一方、注視点がない場合、ステップＳ２０３へ進む。
【0088】
ステップＳ２０２において、ＣＰＵ１１４は、閾値（ｅ）秒以内にステップＳ２０１で判定した注視点が移動したか否かを判定する。注視点が移動した場合、ステップＳ２０３へ進む。一方、注視点が移動していない場合、ステップＳ２０６へ進む。
【0089】
ステップＳ２０３において、ＣＰＵ１１４は、最初の注視点を検出してから閾値（ａ）秒以内か否かを判定する。最初の注視点を検出してから閾値（ａ）秒以内である場合、ステップＳ２０４へ進む。一方、最初の注視点を検出してから閾値（ａ）秒以内でない場合、ステップＳ２００へ戻る。
【0090】
ステップＳ２０４において、ＣＰＵ１１４は、注視点が閾値（ｂ）回以上移動したか否かを判定する。注視点が閾値（ｂ）回以上移動した場合、ステップＳ２０５へ進む。一方、注視点が閾値（ｂ）回以上移動していない場合、ステップＳ２０１へ戻る。ステップＳ２０５において、ＣＰＵ１１４は、被写体を見失ったと判定し、処理を終える。ステップＳ２０６において、ＣＰＵ１１４は、撮影被写体がいると判定し、処理を終える。
【0091】
以上のように、本実施形態の撮影被写体見失い判定処理では、ある規定時間以内に、注視点がある領域を移動していることを元に見失い判定を行う。本実施形態によれば、被写体の見失いを検出して、撮影タイミングを逃す可能性を軽減することが可能となる。
【0092】
（第６の実施形態）
次に、図２０および図２１を参照して、本発明の第６の実施形態について説明する。本実施形態は、注視点、および認識回路２０８で被写体を認識した結果を用いる点で、第５の実施形態とは異なる。
次に、図２０および図２１を参照して、本発明の第６の実施形態について説明する。本実施形態は、注視点、および認識回路２０８で被写体を認識した結果を用いる点で、第５の実施形態とは異なる。
【0093】
図２０は、本実施形態における表示画角の変更図であり、図１７と同じ場面を示している。図２０（ａ）の顔枠１０００は、認識回路２０８で、認識した被写体の顔に対して、顔枠を示している。また、図２０（ａ）は、番号を付していないが、表示画像８０１の被写体に顔枠が表示されていることを示している。なお、本実施例では、顔枠として説明するが、認識回路２０８で検出した被写体枠を表示しても良い。図２０（ｂ）の顔枠１００２は、撮影者がすでに注視した顔枠を点線で示し、顔枠１００１は撮影者が注視していない顔枠である。なお、注視した顔枠１００２を点線で示しているが、注視した枠と注視していない枠の判定が、撮影者が認識できるのであれば、どのような表示形態であっても良く、例えば、注視した顔枠を消すでも良い。図２０（ｃ）は、図１７（ｃ）と同様に、表示画角を広げたときの図である。
【0094】
【0095】
まずステップＳ３００において、ＣＰＵ１１４は、顔または被写体枠を表示する。なお、撮影アシスト処理開始前に事前に顔または被写体枠が表示されている場合、ステップＳ３００を行わなくても良い。続いてステップＳ３０１において、ＣＰＵ１１４は、視線検出ルーチンで検出した注視点の近傍にある顔または被写体枠をステップＳ３０２の判定対象とする。続いてステップＳ３０２において、ＣＰＵ１１４は、顔または被写体枠を注視しているか否かを判定する。なお、注視した枠の中心から閾値（ｆ）画素以内にある顔枠は、同時に見えている可能性が高いため、注視したとみなすることも可能とする。顔または被写体枠を注視している場合、ステップＳ３０３へ進む。一方、顔または被写体枠を注視していない場合、ステップＳ３０４へ進む。
【0096】
ステップＳ３０３において、ＣＰＵ１１４は、閾値（ｅ）秒以内に注視点が移動したか否かを判定する。なお、顔または被写体枠の大きさに応じて閾値（ｅ）を変更しても良い。閾値（ｅ）秒以内に注視点が移動した場合、ステップＳ３０４へ進む。一方、閾値（ｅ）秒以内に注視点が移動していない場合、ステップＳ３０７へ進む。
【0097】
ステップＳ３０４において、ＣＰＵ１１４は、注視点が移動する前の顔または被写体枠、すなわちステップＳ３０１にて対象とした枠に関して、図２０（ｂ）の顔枠１００２のように表示形態を変更する。続いてステップＳ３０５において、ＣＰＵ１１４は、表示部１１３で表示している画像上の顔または被写体枠を全て確認したか否かを判定する。なお、顔または被写体枠の大きさに応じて、１つの顔または被写体枠に対して注視する回数を変更しても良い。これは、被写体が小さいと撮影者が一度見てはいるが、本来撮影した被写体にも関わらず見逃している可能性を救うためである。表示画面上の顔または被写体枠を全て確認した場合、ステップＳ３０６へ進む。一方、確認していない顔または被写体枠が存在する場合、ステップＳ３０１へ戻る。ステップＳ３０６において、ＣＰＵ１１４は、被写体を見失ったと判定し、処理を終える。ステップＳ３０７において、ＣＰＵ１１４は、撮影被写体がいると判定し、処理を終える。
【0098】
以上のように、本実施形態の撮影被写体見失い判定処理では、被写体枠に対して、注視しているか否かに応じて被写体の見失いの判定を行う。本実施形態によれば、判定被写体の見失いを検出して、撮影タイミングを逃す可能性を軽減することが可能となる。また、顔枠を表示し、撮影者が顔枠に対して注視したか否かを判定しやすい表示形態とすることで、同じ被写体の確認を何度も行うことを防止することができる。
【0099】
【0100】
図２２は、本実施形態における表示画角の変更図である。図２２（ａ）は、レーシングカー（被写体）が右上から左下へ移動時のある時間を切り取ったときの表示部１１３の表示画面を示す。認識回路２０８で認識した被写体枠１３００として、各被写体の四隅に枠が表示されている。図２２（ｂ）は、図２２（ａ）で撮影被写体８０２が存在しないと判定して、表示部１１３で表示する画像の画角を広げ、画角を広げたことにより、撮影被写体８０２が画角に入ってきた状態を示す。また、被写体枠１３０２は、撮影者がすでに注視した顔枠を点線で示している。なお、注視した被写体枠１３０２を点線で示しているが、注視した枠と注視していない枠の判定が、撮影者が認識できるのであれば、どのような表示形態であっても良く、例えば、注視した枠を消しても良い。図２２（ｃ）は、図１７（ｄ）と同様に、撮影被写体８０２が入りきる画角かあるいはズームアウト前の画角、この場合図２２（ａ）の画角までズームインした状態を示す。
【0101】
【0102】
まずステップＳ４００において、ＣＰＵ１１４は、被写体枠を表示する。なお、撮影アシスト処理開始前に事前に被写体枠が表示されている場合、ステップＳ４００を行わなくても良い。続いてステップＳ４０１において、ＣＰＵ１１４は、視線検出ルーチンで検出した注視点の近傍にある被写体をステップＳ４０２の判定対象とする。続いてステップＳ４０２において、ＣＰＵ１１４は、前フレームと現フレームからブロックマッチング法などにより被写体の動きベクトル（動き情報）を算出する。なお、動きベクトル算出は別の方法を用いても良い。続いてステップＳ４０３において、ＣＰＵ１１４は、視線検出で用いた画像の前フレームと現フレームからステップＳ４０２と同様の方法により被写体の動きベクトルを算出する。なお、動きベクトル算出は、ステップＳ４０２と異なる方法を用いても良い。
【0103】
続いてステップＳ４０４において、ＣＰＵ１１４は、ステップＳ４０２で算出した被写体の動きベクトルと，ステップＳ４０３で算出した注視点の動きベクトルが同じか否かを判定する。被写体の動きベクトルと注視点の動きベクトルとが同じである場合、ステップＳ４０５へ進む。一方、被写体の動きベクトルと注視点の動きベクトルとが異なる場合、ステップＳ４０６へ進む。
【0104】
ステップＳ４０５において、ＣＰＵ１１４は、動体の被写体を注視していると判定して、ステップＳ４０７へ進む。ステップＳ４０６において、ＣＰＵ１１４は、動体の被写体を注視していないと判定して、ステップＳ４０８へ進む。ステップＳ４０７において、ＣＰＵ１１４は、閾値（ｅ）秒以内に注視点が移動したか否かを判定する。なお、被写体枠の大きさに応じて閾値（ｅ）を変更しても良い。閾値（ｅ）秒以内に注視点が移動した場合、ステップＳ４０８へ進む。一方、閾値（ｅ）秒以内に注視点が移動していない場合、ステップＳ４１１へ進む。
【0105】
ステップＳ４０８において、ＣＰＵ１１４は、注視点が移動する前の被写体枠、すなわちステップＳ４０１で対象とした被写体枠に関して、図２２（ｂ）の被写体枠１３０２のように表示形態を変更する。続いてステップＳ４０９において、ＣＰＵ１１４は、表示部１１３で表示している画像上の被写体枠を全て確認したか否かを判定する。なお、被写体枠の大きさに応じて、１つの被写体枠に対して注視する回数を変更しても良い。これは、被写体が小さいと撮影者が一度見てはいるが、本来撮影した被写体にも関わらず見逃している可能性を救うためである。表示画面上の被写体枠の全てについて確認済みである場合、ステップＳ４１０へ進む。一方、まだ確認していない被写体枠が存在する場合、ステップＳ４０１へ戻る。ステップＳ４１０において、ＣＰＵ１１４は、被写体を見失ったと判定し、処理を終える。ステップＳ４１１において、ＣＰＵ１１４は、撮影被写体が存在すると判定し、処理を終える。
【0106】
以上、説明したように、撮影被写体見失い判定処理では、被写体枠の動きベクトルと注視点の動きベクトルとを用いて被写体（動体）を注視しているか否かを判定し、かつ注視点の移動に応じて被写体の見失いの判定を行う。本実施形態によれば、判定被写体の見失いを検出して、撮影タイミングを逃す可能性を軽減することが可能となる。
【0107】
以上のように、第５乃至第７の実施形態において、制御手段（ＣＰＵ１１４）は、注視位置が変更されたと判定した場合、画角を変更する。好ましくは、制御手段は、注視位置が閾値時間内に閾値回数以上変更されたと判定した場合、画角を変更する。また好ましくは、制御手段は、画像をトリミングして画角を変更するか、または光学系を駆動して結像位置を変更することで、画角を変更する。
【0108】
また、第５乃至第７の実施形態において、制御手段は、注視位置が変更されたと判定した場合、表示手段（表示部１１３）に警告表示を行う。好ましくは、制御手段は、注視位置が閾値時間内に閾値回数以上変更されたと判定した場合、警告表示を行う。
【0109】
好ましくは、画像処理装置は、画像から被写体を認識する認識手段（認識回路２０８）を有する。制御手段は、注視位置が認識手段により認識された被写体の位置であって、かつ注視位置が閾値時間内に閾値回数以上変更されたと判定した場合、画角を変更する。また好ましくは、制御手段は、注視位置が認識手段により認識された被写体の位置であって、注視位置が閾値時間内に閾値回数以上変更されたと判定した場合、警告表示を行う。また好ましくは、制御手段は、認識手段により認識された第１の被写体および第２の被写体のそれぞれに対して表示手段に被写体認識情報を表示する。そして制御手段は、注視位置が認識手段により認識された第１の被写体および第２の被写体のそれぞれ位置である場合、被写体認識情報の表示方法を変更する。より好ましくは、制御手段は、第１の被写体の注視時間が閾値以下であり、かつ注視位置が第１の被写体から第２の被写体へ移動したと判定した場合、第１の被写体に関する被写体認識情報の表示方法を変更する。また好ましくは、制御手段は、認識手段により認識された被写体の動き情報と、注視位置の動き情報とに基づいて、注視位置が認識手段により認識された被写体の位置であるか否かを判定する。すなわち制御手段は、被写体の動き情報と注視位置の動き情報との一致度が閾値以上である場合、注視位置が認識手段により認識された被写体の位置であると判定する。
【0110】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0111】
各実施形態の画像処理装置は、撮影アシスト機能の解除判定の条件に注視位置の情報を利用し、撮影アシスト機能の解除後に注視位置が画角内に内包される焦点距離までズームイン制御を行うことができる。このため各実施形態によれば、撮影画角から外れた被写体を再補足することを容易にして撮影機会の損失を低減することが可能な画像処理装置、撮像装置、制御方法、および、プログラムを提供することが可能である。
【0112】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【0113】
１００ 撮像装置（画像処理装置）
１１３ 表示部（表示手段）
１１４ａ 推定手段
１１４ｂ 制御手段
１１３ 表示部（表示手段）
１１４ａ 推定手段
１１４ｂ 制御手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
