(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-25
(45)【発行日】2025-05-08
(54)【発明の名称】電子機器
(51)【国際特許分類】
H04N 23/60 20230101AFI20250428BHJP
H04N 23/67 20230101ALI20250428BHJP
H04N 23/70 20230101ALI20250428BHJP
G03B 7/091 20210101ALI20250428BHJP
G02B 7/28 20210101ALI20250428BHJP
G03B 17/18 20210101ALI20250428BHJP
G03B 17/02 20210101ALI20250428BHJP
【FI】
H04N23/60
H04N23/60 500
H04N23/67
H04N23/70
G03B7/091
G02B7/28 Z
G03B17/18
G03B17/02
(21)【出願番号】P 2021000771
(22)【出願日】2021-01-06
【審査請求日】2023-12-25
(31)【優先権主張番号】P 2020038856
(32)【優先日】2020-03-06
(33)【優先権主張国・地域又は機関】JP
【前置審査】
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】山中 陽平
【審査官】門田 宏
(56)【参考文献】
【文献】特開2015-149552(JP,A)
【文献】特開平07-295017(JP,A)
【文献】特開2015-049544(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222- 5/257
H04N 23/00
H04N 23/40 -23/76
H04N 23/90 -23/959
G03B 7/00 - 7/30
G02B 7/28 - 7/40
G03B 17/18 -17/20
G03B 17/02
(57)【特許請求の範囲】
【請求項1】
表示手段を見るユーザーの視線による視線入力を受け付ける視線入力手段と、
所定の撮像制御により撮像され得られた画像を取得する取得手段と、
前記取得手段により取得される画像を前記表示手段に表示する表示制御手段と、
ユーザーの手による第1の操作入力を受け付ける第1の操作部材と、
ユーザーの手による前記第1の操作入力とは異なる第2の操作入力を受け付ける第2の操作部材と、
前記表示制御手段により前記画像が前記表示手段に表示されており、前記画像の一部に視線入力がされている状態で、
前記第1の操作入力があった場合、前記画像の前記一部に基づいて前記所定の撮像制御の設定を行い、
前記第2の操作入力があった場合、前記画像の前記一部に画像処理を行う
制御手段と、
を有することを特徴とする電子機器。
【請求項2】
前記所定の撮像制御の設定は、前記画像の前記一部に対応する被写体に合焦させるための焦点検出領域の設定である
ことを特徴とする請求項1に記載の電子機器。
【請求項3】
前記所定の撮像制御の設定は、前記画像の前記一部に表示されたアイコンに対応する撮像パラメータの設定である
ことを特徴とする請求項1に記載の電子機器。
【請求項4】
前記撮像パラメータは、絞り値、シャッター速度および焦点距離の少なくともいずれか1つを含む
ことを特徴とする請求項3に記載の電子機器。
【請求項5】
前記画像処理は、前記表示手段に表示される画像の前記一部の輝度を高くする処理である
ことを特徴とする請求項1~4のいずれか1項に記載の電子機器。
【請求項6】
前記制御手段は、前記一部の輝度が閾値より低い場合に、前記一部の輝度を当該閾値の輝度まで高くする
ことを特徴とする請求項
1~4のいずれか1項に記載の電子機器。
【請求項7】
前記画像処理は、前記表示手段に表示される画像の前記一部の画像処理パラメータを変更する処理である
ことを特徴とする請求項1~6のいずれか1項に記載の電子機器。
【請求項8】
前記画像処理は、前記表示手段に表示される画像の前記一部に対する処理である
ことを特徴とする請求項1~7のいずれか1項に記載の電子機器。
【請求項9】
前記制御手段は、
前記第2の操作入力があった場合、前記表示手段に表示される画像の前記一部に画像処理を行い、
記録媒体に記録する画像は前記画像処理を行わずに記録する
ことを特徴とする請求項1~8のいずれか1項に記載の電子機器。
【請求項10】
前記表示制御手段は、前記画像の前記一部に対応するインジケーターを表示する
ことを特徴とする請求項1~9のいずれか1項に記載の電子機器。
【請求項11】
表示手段を見るユーザーの視線による視線入力を受け付けるステップと、
所定の撮像制御により撮像され得られた画像を取得するステップと、
取得される画像を前記表示手段に表示するステップと、
ユーザーの手による第1の操作入力を受け付けるステップと、
ユーザーの手による前記第1の操作入力とは異なる第2の操作入力を受け付けるステップと、
前記画像が前記表示手段に表示されており、前記画像の一部に視線入力がされている状態で、
前記第1の操作入力があった場合、前記画像の前記一部に基づいて前記所定の撮像制御の設定を行い、
前記第2の操作入力があった場合、前記画像の前記一部に画像処理を行う
ステップと、
を有することを特徴とする電子機器の制御方法。
【請求項12】
コンピュータを、請求項1~10のいずれか1項に記載の電子機器の各手段として機能させるためのプログラム。
【請求項13】
コンピュータを、請求項1~10のいずれか1項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は電子機器に関し、特に視線入力を受け付け可能な電子機器に関する。
【背景技術】
【0002】
ユーザーが自身の視線によって操作(以下、視線入力)を行う電子機器が知られている。特にデジタルカメラやゲーム機などの電子機器に対して、ユーザーが即時的に操作指示を行いたい場合に、視線入力は有効である。
【0003】
特許文献1では、ユーザーが注目しているユーザー注目領域を判別し、その判別結果に基づいて、ゲーム画像内におけるユーザー注目領域の明るさと、ユーザー注目領域以外の非注目領域の明るさとを差別化するように制御することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
カメラに関する機能(技術)として、視線入力による合焦制御(視線入力を受け付け、視線位置(視線入力のあった位置)に応じたAF枠位置でピント合わせを行うという制御)を連続撮影中などにおいて常に行う機能が提案されている。この機能では、ユーザーは、表示されたライブビュー画像のうち、ピントを合わせたい(合焦させたい)被写体から視線を逸らさずに、当該被写体を見続ける必要がある。
【0006】
また、特許文献1に開示の技術を用いれば、ライブビュー画像のうち、視線入力による注目領域の輝度を制御することが可能となる(視線入力による輝度制御)。
【0007】
しかしながら、視線入力による合焦制御を常に行う電子機器に対して、視線入力による輝度制御の機能を追加すると、合焦制御などを好適に(操作性良く)行えないことがある。例えば、ユーザーが、ピントを合わせたい被写体Aとは異なる被写体Bの輝度を制御するために、ライブビュー画像における被写体Bを見たとする。この場合に、ユーザーの意図どおりに被写体Bの輝度を制御することができるが、ユーザーの意図に反してピント合わせの対象が被写体Aから被写体Bに切り替わってしまう。また、ユーザーは、フレーミング(構図)を確認するために、ピントを合わせたい被写体以外を確認することがある。このような確認が行われた場合も、ユーザーの意図に反してピント合わせの対象が切り替わってしまう。
【0008】
本発明は、視線入力による合焦制御と輝度制御といった複数の制御(処理)を好適に(操作性良く)行うことのできる電子機器を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の電子機器は、表示手段を見るユーザーの視線による視線入力を受け付ける視線入力手段と、所定の撮像制御により撮像され得られた画像を取得する取得手段と、前記取得手段により取得される画像を前記表示手段に表示する表示制御手段と、ユーザーの手に
よる第1の操作入力を受け付ける第1の操作部材と、ユーザーの手による前記第1の操作入力とは異なる第2の操作入力を受け付ける第2の操作部材と、前記表示制御手段により前記画像が前記表示手段に表示されており、前記画像の一部に視線入力がされている状態で、前記第1の操作入力があった場合、前記画像の前記一部に基づいて前記所定の撮像制御の設定を行い、前記第2の操作入力があった場合、前記画像の前記一部に画像処理を行う制御手段と、を有することを特徴とする。
【発明の効果】
【0010】
本発明によれば、視線入力による合焦制御と輝度制御といった複数の制御(処理)を好適に(操作性良く)行うことができる。
【図面の簡単な説明】
【0011】
【
図3】撮影モード処理のフローチャートの一部である。
【
図4】撮影モード処理のフローチャートの一部である。
【
図5】撮影モード処理のフローチャートの一部である。
【
図6】視線位置による撮像設定値変更の一例である。
【発明を実施するための形態】
【0012】
<デジタルカメラ100の外観図>
以下、図面を参照して本発明の好適な実施形態を説明する。
図1(A),1(B)に、本発明を適用可能な装置の一例としてのデジタルカメラ100の外観を示す。
図1(A)はデジタルカメラ100の前面斜視図であり、
図1(B)はデジタルカメラ100の背面斜視図である。
【0013】
表示部28は、デジタルカメラ100の背面に設けられた表示部であり、画像や各種情報を表示する。タッチパネル70aは、表示部28の表示面(タッチ操作面)に対するタッチ操作を検出することができる。ファインダー外表示部43は、デジタルカメラ100の上面に設けられた表示部であり、シャッター速度や絞りをはじめとするデジタルカメラ100の様々な設定値を表示する。シャッターボタン61は撮影指示を行うための操作部材である。モード切替スイッチ60は、各種モードを切り替えるための操作部材である。端子カバー40は、デジタルカメラ100を外部機器に接続するコネクタ(不図示)を保護するカバーである。
【0014】
メイン電子ダイヤル71は回転操作部材であり、メイン電子ダイヤル71を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ72は、デジタルカメラ100の電源のONとOFFを切り替える操作部材である。サブ電子ダイヤル73は回転操作部材であり、サブ電子ダイヤル73を回すことで、選択枠(カーソル)の移動や画像送りなどが行える。4方向キー74は、上、下、左、右部分をそれぞれ押し込み可能に構成され、4方向キー74の押した部分に応じた処理が可能である。SETボタン75は、押しボタンであり、主に選択項目の決定などに用いられる。
【0015】
動画ボタン76は、動画撮影(記録)の開始や停止の指示に用いられる。AEロックボタン77は押しボタンであり、撮影待機状態でAEロックボタン77を押下することにより、露出状態を固定することができる。拡大ボタン78は、撮影モードのライブビュー表示(LV表示)において拡大モードのONとOFFを切り替えるための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル71を操作することにより、ライブビュー画像(LV画像)の拡大や縮小を行える。再生モードにおいては、拡大ボタン78は、再生画像を拡大したり、その拡大率を増加させるたりするための操作ボタンとして機能する。再生ボタン79は、撮影モードと再生モードとを切り替えるための操作ボタンである。撮影モード中に再生ボタン79を押下することで再生モードに遷移し、記録媒体20
0(後述)に記録された画像のうち最新の画像を表示部28に表示させることができる。メニューボタン81は押しボタンであり、メニューボタン81が押されると各種の設定が可能なメニュー画面が表示部28に表示される。ユーザーは、表示部28に表示されたメニュー画面と、4方向キー74やSETボタン75、マルチコントローラー(MC)65などとを用いて直感的に各種設定を行うことができる。MC65は、8方向への方向指示の操作と、中央部分の押し込み操作とを受け付け可能である。
【0016】
通信端子10は、デジタルカメラ100がレンズユニット150(後述;着脱可能)側と通信を行うための通信端子である。接眼部16は、接眼ファインダー(覗き込み型のファインダー)の接眼部であり、ユーザーは、接眼部16を介して内部のEVF29(Electric View Finder;後述)に表示された映像を視認することができる。接眼検知部57は、接眼部16にユーザー(撮影者)が接眼しているか否かを検知する接眼検知センサーである。蓋202は、記録媒体200(後述)を格納するスロットの蓋である。グリップ部90は、ユーザーがデジタルカメラ100を構える際に右手で握りやすい形状とした保持部である。グリップ部90を右手の小指、薬指、中指で握ってデジタルカメラ100を保持した状態で、右手の人差指で操作可能な位置にモード切替スイッチ60やシャッターボタン61、メイン電子ダイヤル71、動画ボタン76などが配置されている。また、同じ状態で、右手の親指で操作可能な位置に、MC65やタッチパネル70a、サブ電子ダイヤル73、4方向キー74、SETボタン75、AEロックボタン77、拡大ボタン78、再生ボタン79などが配置されている。
【0017】
<デジタルカメラ100の構成ブロック図>
図2は、デジタルカメラ100の構成例を示すブロック図である。レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ103は通常、複数枚のレンズから構成されるが、
図2では簡略して一枚のレンズのみで示している。通信端子6は、レンズユニット150がデジタルカメラ100側と通信を行うための通信端子であり、通信端子10は、デジタルカメラ100がレンズユニット150側と通信を行うための通信端子である。レンズユニット150は、これら通信端子6,10を介してシステム制御部50と通信する。そして、レンズユニット150は、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り1の制御を行う。また、レンズユニット150は、レンズシステム制御回路4によってAF駆動回路3を介してレンズ103を変位させることで焦点を合わせる。
【0018】
シャッター101は、システム制御部50の制御で撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
【0019】
撮像部22は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子(撮像センサー)である。撮像部22は、システム制御部50にデフォーカス量情報を出力する撮像面位相差センサーを有していてもよい。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。
【0020】
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の処理(画素補間、縮小といったリサイズ処理、色変換処理、等)を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行い、システム制御部50は、画像処理部24により得られた演算結果に基づいて露光制御や測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理、等が行われる。画像処理部24は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
【0021】
メモリ制御部15は、A/D変換器23、画像処理部24、メモリ32間のデータの送受信を制御する。A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介してメモリ32に書き込まれる。あるいは、A/D変換器23からの出力データは、画像処理部24を介さずにメモリ制御部15を介してメモリ32に書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28やEVF29に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【0022】
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に書き込まれた表示用の画像データはメモリ制御部15を介して表示部28やEVF29により表示される。表示部28とEVF29のそれぞれは、LCDや有機EL等の表示器上で、メモリ制御部15からの信号に応じた表示を行う。A/D変換器23によってA/D変換されメモリ32に蓄積されたデータを表示部28またはEVF29に逐次転送して表示することで、ライブビュー表示(LV)が行える。以下、ライブビュー表示で表示される画像をライブビュー画像(LV画像)と称する。
【0023】
視線検出部160は、接眼部16におけるユーザーの視線を検出する。視線検出部160は、ダイクロイックミラー162、結像レンズ163、視線検知センサー164、視線検出回路165、赤外発光ダイオード166により構成される。なお、視線の検出に応じて、システム制御部50が所定の処理を実行することも可能であるため、視線検出部160は、操作部70の一部であるともいえる。
【0024】
本実施形態では、視線検出部160は、角膜反射法と呼ばれる方式で視線を検出する。角膜反射法とは、赤外発光ダイオード166から発した赤外光が眼球(目)161で反射した反射光(特に角膜で反射した反射光)と、眼球(目)161の瞳孔との位置関係から、視線の向きや位置などを検出する方式である。なお、角膜反射法に限らず、視線の向きや位置などを検出する様々な方式を用いることができる。例えば、黒目と白目で光の反射率が異なることを利用する強膜反射法と呼ばれる方式を用いることができる。
【0025】
赤外発光ダイオード166は、ファインダー画面内におけるユーザーの視線位置を検出するための発光素子であり、接眼部16に接眼したユーザーの眼球(目)161に赤外光を照射する。赤外発光ダイオード166から発した赤外光は眼球(目)161で反射し、その赤外反射光はダイクロイックミラー162に到達する。ダイクロイックミラー162は、赤外光だけを反射して、可視光を透過させる。光路が変更された赤外反射光は、結像レンズ163を介して視線検知センサー164の撮像面に結像する。結像レンズ163は、視線検知光学系を構成する光学部材である。視線検知センサー164は、CCD型イメージセンサー等の撮像デバイスから構成される。
【0026】
視線検知センサー164は、入射された赤外反射光を電気信号に光電変換して視線検出回路165へ出力する。視線検出回路165は少なくとも1つのプロセッサーを含み、視線検知センサー164の出力信号に基づき、ユーザーの眼球(目)161の画像または動きからユーザーの視線位置を検出し、検出情報をシステム制御部50に出力する。
【0027】
ファインダー外表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
【0028】
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えば、FLash-ROM等である。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、本実施形態にて後述する各種フロー
チャートを実行するためのコンピュータープログラムのことである。
【0029】
システム制御部50は、少なくとも1つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ100全体を制御する。システム制御部50は、前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52は例えばRAMであり、システム制御部50は、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等をシステムメモリ52に展開する。また、システム制御部50は、メモリ32、表示部28、EVF29等を制御することにより表示制御も行う。
【0030】
システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【0031】
電源制御部80は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出などを行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
【0032】
記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【0033】
通信部54は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部54は、Bluetooth(登録商標)やBluetooth Low Energyでも外部機器と通信可能である。通信部54は撮像部22で撮像した画像(LV画像を含む)や、記録媒体200に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することもできる。
【0034】
姿勢検知部55は、重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部55である加速度センサーやジャイロセンサーを用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
【0035】
接眼検知部57は、接眼ファインダー(ファインダー)の接眼部16に対する目(物体)161の接近(接眼)および離脱(離眼)を検知する(接近検知)、接眼検知センサーである。システム制御部50は、接眼検知部57で検知された状態に応じて、表示部28とEVF29の表示(表示状態)/非表示(非表示状態)を切り替える。より具体的には、少なくともデジタルカメラ100が撮影待機状態で、かつ、撮像部22で撮像されたライブビュー画像の表示先の切替設定が自動切替設定である場合において、非接眼中は表示先を表示部28として表示をオンとし、EVF29は非表示とする。また、接眼中は表示先をEVF29として表示をオンとし、表示部28は非表示とする。接眼検知部57とし
ては、例えば赤外線近接センサーを用いることができ、EVF29を内蔵するファインダーの接眼部16への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部57の投光部(不図示)から投光した赤外線が物体で反射して赤外線近接センサーの受光部(不図示)で受光される。受光された赤外線の量によって、物体が接眼部16からどの距離まで近づいているか(接眼距離)も判別することができる。このように、接眼検知部57は、接眼部16への物体の近接距離を検知する接眼検知を行う。本実施形態では、接眼検知部57の投光部および受光部は、前述の赤外発光ダイオード166および視線検知センサー164とは別体のデバイスであるものとする。ただし、赤外発光ダイオード166は接眼検知部57の投光部を兼ねてもよく、視線検知センサー164は接眼検知部57の受光部を兼ねてもよい。本実施形態では、非接眼状態(非接近状態)から、接眼部16に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。そして、接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。そして、離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部57には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。
【0036】
システム制御部50は、視線検出部160からの出力に基づいて、接眼部16への以下の操作、あるいは状態を検出できる。
・接眼部16へ向けられていなかった視線が新たに接眼部16へ向けられたこと、すなわち視線入力の開始。
・接眼部16へ視線入力している状態。
・接眼部16へ注視(例えば、ユーザーの視線位置の移動量が所定時間内に所定の移動量を超えない視線入力)している状態。
・接眼部16へ向けられていた視線を外したこと、すなわち視線入力の終了。
・接眼部16へ何も視線入力していない状態。
【0037】
これらの操作・状態や、接眼部16に視線が向いている位置(方向)は内部バスを通じてシステム制御部50に通知され、システム制御部50は、通知された情報に基づいて接眼部16上にどのような操作(視線操作)が行われたかを判定する。
【0038】
操作部70は、ユーザーからの操作(ユーザー操作)を受け付ける入力部であり、システム制御部50に各種の動作指示を入力するために使用される。
図2に示すように、操作部70は、モード切替スイッチ60、シャッターボタン61、電源スイッチ72、タッチパネル70a、及び、その他の操作部材70bを含む。その他の操作部材70bは、MC65、メイン電子ダイヤル71、サブ電子ダイヤル73、4方向キー74、SETボタン75、動画ボタン76、AEロックボタン77、拡大ボタン78、再生ボタン79、メニューボタン81、等を含む。
【0039】
モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが
含まれていてもよい。
【0040】
シャッターボタン61は、第1シャッタースイッチ62と第2シャッタースイッチ64を備える。第1シャッタースイッチ62は、シャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部50は、第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を開始する。第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから、撮像された画像を画像ファイルとして記録媒体200に書き込むまでの、一連の撮影処理の動作を開始する。
【0041】
タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aは、光の透過率が表示部28の表示を妨げないように構成され、表示部28の表示面の上層に取り付けられる。そして、タッチパネル70aにおける入力座標と、表示部28の表示面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザーインターフェース)を提供できる。システム制御部50は、タッチパネル70aへの以下の操作、あるいは状態を検出できる。
【0042】
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと、すなわちタッチの開始(以下、タッチダウン(Touch-Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態(以下、タッチオン(Touch-On)と称する)。
・指やペンがタッチパネル70aをタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)。
・タッチパネル70aへタッチしていた指やペンがタッチパネル70aから離れた(リリースされた)こと、すなわちタッチの終了(以下、タッチアップ(Touch-Up)と称する)。
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)。
【0043】
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
【0044】
これらの操作・状態や、タッチパネル70a上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知される。そして、システム制御部50は通知された情報に基づいてタッチパネル70a上にどのような操作(タッチ操作)が行われたかを判定する。タッチムーブについてはタッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定するものとする。タッチパネル70a上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが
検出されるとフリックが行われたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。更に、複数箇所(例えば2点)を共にタッチして(マルチタッチして)、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものであってもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
【0045】
システム制御部50は、操作部70に対するユーザー操作に応じて、タッチ操作による指標位置(AF位置(AF枠の位置)など)の指定方法を、絶対位置指定または相対位置指定に設定することができる。例えば、絶対位置指定の場合には、システム制御部50は、タッチパネル70aがタッチされると、そのタッチ位置に対応付けられた指標位置を設定する。つまり、タッチ操作が行われる位置座標(入力座標)と、表示部28の位置座標(表示座標)とが対応付けられる。一方、相対位置指定の場合には、タッチ操作が行われる位置座標と表示部28の位置座標とは対応付けられない。相対位置指定では、システム制御部50は、タッチパネル70aに対するタッチダウンの位置に拘わらず、現在設定されている指標位置からタッチムーブの移動方向にタッチムーブの移動量に応じた距離だけ、指標位置を移動させる。
【0046】
<デジタルカメラ100の動作>
図3,4は、デジタルカメラ100で行われる撮影モード処理の詳細を示すフローチャートである。この処理は、システム制御部50が不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開して実行することにより実現される。例えば、デジタルカメラ100を撮影モードで起動したり、システム制御部50が撮影モードに切り替えたりすると、システム制御部50はフラグや制御変数等を初期化した後、撮像部22で撮像されたライブビュー画像を表示部28やEVF29に表示する。また、システム制御部50は、カメラ設定値に基づいて、カメラ設定値を示す情報アイコンをライブビュー画像に重畳して表示する。その後、システム制御部50は、
図3,4の撮影モード処理を開始する。
【0047】
図3のS301では、システム制御部50は、操作部70に対し、視線検出機能の有効/無効を切り替える操作がなされたか否かを判定する。操作がなされた場合はS302に進み、そうでない場合はS303に進む。
【0048】
S302では、システム制御部50は、S301での操作に応じて、視線検出機能の有効/無効を切り替えるようにカメラ設定値を変更する。
【0049】
S303では、システム制御部50は、操作部70に対し、視線ポインタ表示の有効/無効を切り替える操作がなされたか否かを判定する。操作がなされた場合はS304に進み、そうでない場合はS305に進む。視線ポインタは、接眼部16(EVF29の表示面)における視線位置(視線入力のあった位置)を示す表示アイテム(インジケーター)であり、視線位置に表示される。
【0050】
S304では、システム制御部50は、S303での操作に応じて、視線ポインタ表示の有効/無効を切り替えるようにカメラ設定値を変更する。
【0051】
S305では、システム制御部50は、操作部70に対し、第1シャッタースイッチ62の押下(ON)に応じて視線位置を確定する視線位置確定機能の有効/無効を切り替え
る操作がなされたか否かを判定する。操作がなされた場合はS306に進み、そうでない場合はS307に進む。
【0052】
S306では、システム制御部50は、S305での操作に応じて、視線位置確定機能の有効/無効を切り替えるようにカメラ設定値を変更する。
【0053】
S307では、システム制御部50は、操作部70に対し、AF方式の設定を切り替える操作がなされたか否かを判定する。操作がなされた場合はS308に進み、そうでない場合はS309に進む。
【0054】
S308では、システム制御部50は、S307での操作に応じて、AF方式の設定を切り替えるようにカメラ設定値を変更する。
【0055】
S309では、システム制御部50は、視線検出機能が有効であるか否かを判定する。有効である場合はS310に進み、そうでない場合はS312(
図4)に進む。
【0056】
S310では、システム制御部50は、視線ポインタ表示が有効であるか否かを判定する。有効である場合はS311に進み、そうでない場合はS312(
図4)に進む。
【0057】
S311では、システム制御部50は、視線検出部160から視線位置の情報を取得し、EVF29の表示面における視線位置に視線ポインタを表示する。
【0058】
S312では、システム制御部50は、現在のレンズID(レンズユニット150を識別する識別情報(個体情報))と、現在設定されている絞り値とを取得する。例えば、システム制御部50は、レンズIDや絞り値をレンズユニット150から取得する。システム制御部50は、レンズユニット150からのレンズIDや絞り値の取得と、システムメモリ52へのレンズIDや絞り値の記録とを、事前に行ってもよい。そして、S312では、システム制御部50は、レンズIDや絞り値をシステムメモリ52から取得してもよい。
【0059】
S313では、システム制御部50は、AF対象固定設定が有効であるか否かを判定する。AF対象固定設定は、AF対象(合焦させる被写体;ピント(フォーカス;焦点)を合わせる被写体)を固定する設定(機能)である。有効である場合はS314に進み、そうでない場合はS315に進む。AF対象は、対応する被写体に合焦させるための焦点検出領域とも言える。
【0060】
システム制御部50は、操作部70に対する操作(操作入力)に応じて、AF対象固定設定の有効/無効を切り替えることができる。例えば、AF-ONボタン、AELボタン、AF-SELボタン、タッチパネル、マルチコントローラー、OTP、絞り込みボタン等、シャッターボタン61を押しながら操作可能な操作部材への操作に応じて、AF対象固定設定の有効/無効が切り替えられる。AF対象固定設定を有効にする操作部材と、AF対象固定設定を無効にする操作部材とは、互いに異なっていてもよいし、そうでなくてもよい。システム制御部50は、特定の操作部材(1つの操作部材)に対する操作に応じて、AF対象固定設定の有効/無効をトグルで切り替えてもよい。具体的には、システム制御部50は、AF対象固定設定が無効であれば、特定の操作部材に対する操作に応じてAF対象固定設定を有効にし、AF対象固定設定が有効であれば、特定の操作部材に対する操作に応じてAF対象固定設定を無効にしてもよい。ユーザーは、AF対象固定設定の有効/無効をメニュー画面から切り替えることもできる。
【0061】
本実施形態では、AF対象固定設定が無効の場合に、システム制御部50は、ライブビ
ュー画像のうち、視線位置(視線入力のあった位置)に表示された被写体をAF対象として決定し、決定した被写体に合焦させるように制御する。このため、AF対象とされている被写体とは異なる被写体を見るように視線位置が変われば、視線位置の被写体にAF対象が切り替わる。そして、システム制御部50は、AF対象固定設定を無効から有効に切り替えると、合焦させていた被写体(AF対象固定設定の切り替え前のAF対象)にAF対象を固定して、当該被写体への合焦を継続するように制御する。AF対象固定設定が有効の場合には、AF対象とされている被写体とは異なる被写体を見るように視線位置が変わっても、AF対象は切り替わらない。
【0062】
S314では、システム制御部50は、視線位置に依らず、AF対象を固定する。こうすることで、AF対象以外に視線をずらしてもAF対象は切り替わらないため、フレーミング(構図)の確認等が可能となり、ユーザーの意図に合った操作が可能となる。
【0063】
S315では、システム制御部50は、視線位置に応じてAF対象を決定する。AF対象とされている被写体とは異なる被写体を見るように視線位置が変わた場合には、システム制御部50は、視線位置の被写体にAF対象を切り替える。
【0064】
レンズユニット150(レンズの種類、絞り、等)に依っては、ライブビュー画像の中心から端にかけて、ライブビュー画像の輝度が低下することがある(周辺減光)。S316では、システム制御部50は、S312で取得したレンズIDと絞り値に基づいて周辺減光の輝度低下量(画像の中心から端にかけての画像の輝度の低下量)を算出し、輝度低下量が所定の閾値以上であるか否かを判定する。なお、輝度低下量は、S312で算出されてもよい。輝度低下量が閾値以上である場合はS317に進み、そうでない場合(輝度低下量が閾値未満である場合)はS313に進む。
【0065】
S317では、システム制御部50は、画像処理部24を用いて、ライブビュー画像から、視線位置に存在する被写体の領域を検出する。例えば、システム制御部50は、ライブビュー画像を予め定められた複数の領域に分割し、領域ごとの色や輝度の情報に基づいて、領域ごとに視線位置の領域との類似度を算出する。そして、システム制御部50は、類似度が所定の閾値よりも高い領域からなる領域を、視線位置に存在する被写体の領域として決定する。
【0066】
S318では、システム制御部50は、画像処理部24を用いて、S317で検出した領域(視線領域)と他の領域とを区別するマスクを生成する。マスクは、視線領域にのみ処理を施し、他の領域(視線領域とは異なる領域)に対する処理を無効にするためのものである。本実施形態では、視線領域の画素値が1であり、他の領域の画素値が0であるビットマップ画像が、マスクとして生成される。
【0067】
なお、視線領域は、視線位置に存在する被写体の領域に限らない。例えば、視線領域は、視線位置に存在する被写体を含む、当該被写体よりも大きい領域であってもよい。視線領域は、視線位置からの距離が所定距離(所定の画素数分の距離)以下の複数の画素からなる領域など、視線位置を含む他の領域であってもよい。視線領域のサイズは、予め定められた固定サイズであってもよいし、視線位置に存在する被写体の表示サイズ(ライブビュー画像上でのサイズ)などに応じて決定・変更されてもよい。例えば、視線領域は、視線位置に存在する被写体の表示サイズが大きいほど大きくてもよい。視線領域の形状は特に限定されず、真円、楕円などの円形であってもよいし、三角形、六角形などの多角形であってもよい。
【0068】
S319では、システム制御部50は、画像処理部24を用いて、ライブビュー画像のうち、S318で生成したマスクによって特定される視線領域(視線位置に基づく領域)
の輝度を変更する。本実施形態では、システム制御部50は、周辺減光の輝度低下量(S316で算出;像高に応じた光量)に基づく変更量で、視線領域の輝度を変更する(高める)。視線領域(画素)の輝度は、例えば、画素値に対するゲイン値の乗算や、画素値に対するオフセット値の加算などによって変更される。これにより、例えば、視線領域の輝度が閾値より低い場合に、視線領域の輝度は当該閾値の輝度に補正される。他の領域(視線領域とは異なる領域)の輝度は変更されない。なお、視線領域の輝度の変更方法は特に限定されない。例えば、視線領域の各画素の輝度を一律に上げ下げしてもよいし、所定の輝度に近づけたりしてもよい。
【0069】
また、本実施形態では視線領域(視線位置に基づく領域)の輝度を表示画像への画像処理で制御しているが、ディスプレイ装置本体による局所輝度制御(表示輝度の部分制御)でも実現可能である。例えば、表示部28とEVF29のそれぞれは、LCDや有機EL等の表示器上で、視線領域のサイズ信号に基づいて表示輝度を局所的に制御してもよい。
【0070】
また、本実施形態では、視線領域の画像の明るさを制御しているが、それ以外にも視線領域の画像を部分的に画像処理するものであれば、本発明の目的は達成できる。例えば、部分的に行う画像処理としてホワイトバランス、色変換、拡大表示処理、先鋭化処理などがある。視線領域の画像処理パラメータを変更すれば、画像処理自体が画像全体に対して行ってもよい。システム制御部50は、画像処理部24を用いて、ライブビュー画像のうち、S318で生成したマスクによって特定される視線領域(視線位置に基づく領域)に部分的に画像処理を行い、処理後の画像をライブビュー画像として順次EVF29に表示する。
【0071】
図3,4の撮影モード処理開始後に、システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号を読み出し、撮像された画像を画像ファイルとして記録媒体200に書き込む。このとき、上述した視線領域(画素)への輝度制御(部分的な画像処理)は、記録する画像には行わない。あるいは記録画像として、部分的な画像処理が行われた画像と行われていない画像を両方記録する構成としても良い。
【0072】
以上述べたように、本実施形態によれば、視線入力による合焦制御(視線位置に応じた被写体に合焦させる制御)は、AF対象固定設定が無効である場合に行われ、AF対象固定設定が有効である場合には行われない。一方で、視線入力による輝度制御(視線領域の輝度の制御)は、AF対象固定設定が有効であるか否かに拘わらずに行われる。これにより、視線入力による合焦制御と輝度制御を好適に(操作性良く)行うことができる。例えば、視線入力による輝度制御のみを行いたい場合に、視線入力による合焦制御がユーザーの意図に反して行われてしまうということを抑制することができる。
【0073】
また、本実施形態では視線入力による合焦制御と輝度制御に基づいて詳述してきたが、ライブビュー画像に表示される情報アイコンを視線入力により選択し、電子ダイヤルやボタンを操作することで、撮像パラメータの設定を変更してもよい。例えば、
図6のように、ユーザーがカメラ設定値を示すライブビュー画像に表示されるシャッター速度や絞りなどの情報アイコンを注視している場合、システム制御部50は、EVF29に当該注視されている情報アイコンを選択状態(強調表示等)にさせる。この状態でユーザーが例えば電子ダイヤルを回すことで、当該情報アイコンに対応する撮像パラメータ、例えばシャッター速度や絞り、焦点距離などの設定値が変更されてもよい。
【0074】
なお、システム制御部50が行うものとして説明した上述の各種制御は1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサーや回路)が処理を分担することで、装置全体の制御を行ってもよい。
【0075】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【0076】
例えば、周辺減光の輝度低下量が所定の閾値以上であるという条件を満たす場合に視線領域の輝度を変更する例を説明したが、当該条件が満たされているか否かに拘わらず、視線領域の輝度を変更してもよい。つまり、
図4のS316を省略し、S317~S319の処理が常に行われるようにしてもよい。視線領域の輝度を変更するか否かを切り替えるための条件として、他の条件を用いてもよい。また、視線位置に応じてAF対象を決定しない場合にAF対象の被写体を固定する例を説明したが、視線位置に応じてAF対象を決定しない場合にAF位置(合焦させる位置)を固定するなどしてもよい。また、AF対象固定設定などの各種設定の有効/無効をユーザー操作に応じて切り替える例を説明したが、各種設定の有効/無効を撮影シーンなどに応じて自動で切り替えるなどしてもよい。
【0077】
また、他のAF制御の方法として、本実施形態のようにAF対象設定に常に視線位置を反映させるのではなくユーザーの操作によって切り替えてもよい。例えば、
図7のように、シャッタースイッチ信号SW1(あるいは他の独立した操作部材からの操作)が入力されている場合に、視線位置に表示された被写体にAF枠が移り、AF対象として決定するような実施形態にすることも可能である。
【0078】
図4の処理の代わりに、
図5の処理を行うようにしてもよい。
図5の処理によれば、視線入力による合焦制御と、視線入力による輝度制御とのそれぞれが選択的に実行されるため、操作性や利便性がより向上する。
【0079】
S320では、システム制御部50は、AF対象固定設定が有効であるか否かを判定する。有効である場合はS321に進み、そうでない場合はS322に進む。
【0080】
S321では、システム制御部50は、視線位置に依らず、AF対象を固定する。
【0081】
S322では、システム制御部50は、視線位置に応じてAF対象を決定する。
【0082】
S323では、システム制御部50は、輝度補正設定が有効であるか否かを判定する。輝度補正設定は、視線領域の輝度を変更(補正)する設定である。有効である場合はS324に進み、そうでない場合はS326に進む。AF対象固定設定と同様に、システム制御部50は、操作部70に対する操作に応じて、輝度補正設定の有効/無効を切り替えることができる。但し、輝度補正設定の有効/無効を切り替える操作部材は、AF対象固定設定の有効/無効を切り替える操作部材と異なる。
【0083】
S324では、システム制御部50は、画像処理部24を用いて、視線領域と他の領域とを区別するマスクを生成する。例えば、視線位置からの距離が所定距離(所定の画素数分の距離)以下の複数の画素からなる領域を視線領域として、視線領域の画素値が1であり、他の領域の画素値が0であるビットマップ画像が、マスクとして生成される。
【0084】
S325では、システム制御部50は、画像処理部24を用いて、ライブビュー画像のうち、S324で生成したマスクによって特定される視線領域の輝度を変更する。例えば、システム制御部50は、視線領域のうち、所定の輝度よりも輝度が低い領域の輝度を、当該所定の輝度に高める。他の領域(視線領域とは異なる領域)の輝度は変更されない。
【0085】
S326では、システム制御部50は、画像処理部24を用いて、視線領域の輝度補正
を解除する。これにより、視線領域の輝度は、S325で変更される前の輝度となる。
【0086】
また、上述した実施形態においては、本発明をデジタルカメラ(撮像装置)に適用した場合を例にして説明したが、これはこの例に限定されず、視線入力を受け付け可能な電子機器であれば適用可能である。例えば、本発明は、パーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、プリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、映像プレーヤーなどに適用可能である。また、本発明は、ヘッドマウントディスプレイ(HMD)などのウェアラブル機器、表示装置(投影装置を含む)、タブレット端末、スマートフォン、AIスピーカー、家電装置、車載装置、医療機器などにも適用可能である。視線入力を受け付ける処理は、視線を検出する処理であってもよいし、外部機器で検出された視線の情報を取得する処理であってもよい。本発明が適用された電子機器は、所定の撮像制御により撮像され得られた画像を取得できればよく、撮像自体は外部機器で行われてもよい。
【0087】
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【符号の説明】
【0088】
100:デジタルカメラ 50:システム制御部 160:視線検出部