(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022190236
(43)【公開日】2022-12-26
(54)【発明の名称】電子機器、電子機器の制御方法、プログラム、記憶媒体
(51)【国際特許分類】
H04N 5/232 20060101AFI20221219BHJP
G03B 15/00 20210101ALI20221219BHJP
G02B 7/28 20210101ALI20221219BHJP
【FI】
H04N5/232
H04N5/232 290
H04N5/232 127
G03B15/00 Q
G02B7/28 N
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2021098471
(22)【出願日】2021-06-14
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100124442
【弁理士】
【氏名又は名称】黒岩 創吾
(72)【発明者】
【氏名】船津 慶大
【テーマコード(参考)】
2H151
5C122
【Fターム(参考)】
2H151EA03
5C122EA42
5C122EA65
5C122FD01
5C122FD13
5C122GA01
5C122GA23
5C122HA13
5C122HA35
(57)【要約】
【課題】 最適な追尾開始位置を設定できるようにする。
【解決手段】 追尾停止の際に直前まで追尾していた位置に前記追尾開始位置を設定する第1の処理と、追尾停止の際に予め決められた追尾開始位置に追尾開始位置を設定する第2の処理を制御する制御工程を備え、追尾停止の際の状態に応じて、第1の処理と第2の処理を切り換えて実行する。
【選択図】
図11
【特許請求の範囲】
【請求項1】
画像における追尾対象を追尾する追尾手段と、
追尾開始位置を移動する移動手段と、
前記追尾開始位置から前記追尾手段による追尾を開始する追尾開始手段と、
前記追尾手段による追尾を停止する追尾停止手段と、
前記追尾停止の際に直前まで追尾していた位置に前記追尾開始位置を設定する第1の処理と、前記追尾停止の際に予め決められた追尾開始位置に前記追尾開始位置を設定する第2の処理を制御する制御手段と、を備え、
前記追尾停止の際の状態に応じて、前記第1の処理と前記第2の処理を切り換えて実行することを特徴とする電子機器。
【請求項2】
前記追尾停止の際の状態として、ピントの追従を行っている場合は、前記第1の処理による前記追尾開始位置の設定をし、ピントの追従を行っていない場合は、前記第2の処理による前記追尾開始位置の設定をすることを特徴とする請求項1に記載の電子機器。
【請求項3】
前記追尾停止手段は、ユーザー操作に応じて追尾の停止を実行することを特徴とする請求項1または2に記載の電子機器。
【請求項4】
前記追尾停止手段は、追尾対象を見失った場合、追尾の信頼度が所定値未満となった場合、または、追尾対象が切り替わった場合に、自動的に追尾停止を実行することを特徴とする請求項1または2に記載の電子機器。
【請求項5】
前記追尾開始手段は、AFの処理の実行中に発動することが可能であることを特徴とする請求項1乃至4のいずれか1項に記載の電子機器。
【請求項6】
前記AFの処理は、撮影準備指示がされた状態において開始されることを特徴とする請求項5に記載の電子機器。
【請求項7】
前記撮影準備指示がされた状態は、シャッターボタンが半押しされた状態であることを特徴とする請求項6に記載の電子機器。
【請求項8】
前記撮影準備指示が保持されている状態であると、追尾対象の被写体についてコンティニアスAFを行うAF手段を有することを特徴とする請求項6または7に記載の電子機器。
【請求項9】
前記画像は撮像手段で撮像されているライブビュー画像であることを特徴とする請求項1乃至8のいずれか1項に記載の電子機器。
【請求項10】
前記電子機器は、前記撮像手段を有することを特徴とする請求項9に記載の電子機器。
【請求項11】
画像における追尾対象を追尾する追尾工程と、
追尾開始位置を移動する移動工程と、
前記追尾開始位置から前記追尾対象の追尾を開始する追尾開始工程と、
前記追尾対象の追尾を停止する追尾停止工程と、
前記追尾停止の際に直前まで追尾していた位置に前記追尾開始位置を設定する第1の処理と、前記追尾停止の際に予め決められた追尾開始位置に前記追尾開始位置を設定する第2の処理を制御する制御工程と、を備え、
前記追尾停止の際の状態に応じて、前記第1の処理と前記第2の処理を切り換えて実行することを特徴とする電子機器の制御方法。
【請求項12】
コンピュータを、請求項1から10のいずれか1項に記載された電子機器の各手段として機能させるためのプログラム。
【請求項13】
コンピュータを、請求項1から10のいずれか1項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は電子機器、電子機器の制御方法、プログラム、記憶媒体に関するものである。
【背景技術】
【0002】
近年、自動的に追尾対象となる被写体を検出して追尾を実行する機能を備えたデジタルカメラ等の電子機器が登場している。このような機器では、表示画面上に表示される被写体の位置や大きさを示す指標(枠表示等)を随時、更新することで、ユーザーに追尾状態を示す。
【0003】
また、特に、フォーカスレンズを備えたデジタルカメラなどの撮像装置では、AFエリア(AF枠)を被写体に自動追尾させながらフォーカス制御することで、被写体を追従してピントを合わせ続ける機能も備わったものがある。
【0004】
また、自動的に被写体を検出して追尾を実行する機能の他に、ユーザーが事前に追尾を開始する位置を設定して追尾開始操作をすることで、設定した位置付近の被写体を追尾する機能も知られている。これにより、ユーザーの好みのタイミングで追尾を開始することができる。
【0005】
特許文献1では、AF枠自動追尾が実行されていない場合には、AF枠が撮影画像の中央に固定される。ユーザーが、所定の被写体を追尾対象としてAF枠自動追尾を実行したい場合には、その被写体が中央のAF枠の範囲に含まれるようにカメラの撮影画角操作を行い、追尾開始を指示すれば、その被写体が追尾対象としてAF枠自動追尾が開始されるようになる。そして、ユーザーが追尾停止を指示すると、AF枠自動追尾の処理を停止し、AF枠が撮像範囲の中央に戻されて固定され、AF枠自動追尾が実行されなくなる。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1の方法では、ユーザーが追尾停止を指示すると追尾開始位置がもとの中央AF枠位置に戻ってしまい、追尾の連続性が途切れてシャッターチャンスを逃してしまうことがあった。
【0008】
そこで、本発明は、最適な追尾開始位置を設定できるようにすることを目的とする。
【課題を解決するための手段】
【0009】
本発明の技術的特徴として、画像における追尾対象を追尾する追尾工程と、追尾開始位置を移動する移動工程と、前記追尾開始位置から前記追尾手段による追尾を開始する追尾開始工程と、前記追尾手段による追尾を停止する追尾停止工程と、前記追尾停止の際に直前まで追尾していた位置に前記追尾開始位置を設定する第1の処理と、前記追尾停止の際に予め決められた追尾開始位置に前記追尾開始位置を設定する第2の処理を制御する制御工程と、を備え、前記追尾停止の際の状態に応じて、前記第1の処理と前記第2の処理を切り換えて実行することを特徴とする。
【発明の効果】
【0010】
本発明によれば、最適な追尾開始位置を設定できる。
【図面の簡単な説明】
【0011】
【
図2】デジタルカメラの構成例を示すブロック図である。
【
図3】設定値を変更するメニューに関する図である。
【
図4】追尾の発動と機能呼び出しのボタンカスタマイズ機能を設定するメニューに関する図である。
【
図5】撮影情報表示と設定値を示すアイコンを示す図である。
【
図6】AF(操作)発動前後の枠表示を示した図である。
【
図7】AFエリアとトラッキング設定の組み合わせによる枠表示を示す図である。
【
図8】サーボAFの場合の状態遷移を示す図である。
【
図9】ワンショットAFの場合の状態遷移を示す図である。
【
図10】サーボAFの場合の制御を示すフローチャートである。
【
図11】ワンショットAFの場合の制御を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【0013】
●デジタルカメラの構成
図1(a)、(b)に本発明を適用可能な装置(電子機器)の一例としてのデジタルカメラ100の外観図を示す。
図1(a)はデジタルカメラ100の前面斜視図であり、
図1(b)はデジタルカメラ100の背面斜視図である。
図1において、表示部28は画像や各種情報を表示する、カメラ背面に設けられた表示部である。タッチパネル70aは、表示部28の表示面(操作面)に対するタッチ操作を検出することができる。ファインダー外表示部43は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン61は撮影指示を行うための操作部である。モード切替スイッチ60は各種モードを切り替えるための操作部である。端子カバー40は外部機器との接続ケーブルとデジタルカメラ100とを接続するコネクタ(不図示)を保護するカバーである。
【0014】
メイン電子ダイヤル71は回転操作部材であり、このメイン電子ダイヤル71を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ72はデジタルカメラ100の電源のON及びOFFを切り替える操作部材である。サブ電子ダイヤル73は回転操作部材であり、選択枠の移動や画像送りなどを行える。十字キー74は、上、下、左、右部分をそれぞれ押し込み可能な4方向に押し込み可能な押しボタンを有する十字キー操作部材(4方向キー)である。十字キー74の押下した方向に押した部分に応じた操作が可能である。SETボタン75は押しボタンであり、主に選択項目の決定などに用いられる。動画ボタン76は、動画撮影(記録)の開始、停止の指示に用いられる。AEロックボタン77は撮影待機状態で押下することにより、露出状態を固定することができる。拡大ボタン78は撮影モードのライブビュー表示において拡大モードのON、OFFを行うための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル71を操作することにより、ライブビュー画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。再生ボタン79は撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン79を押下することで再生モードに移行し、記録媒体200に記録された画像のうち最新の画像を表示部28に表示させることができる。メニューボタン81は、押下することにより各種の設定可能なメニュー画面が表示部28に表示される。ユーザーは、表示部28に表示されたメニュー画面と、十字キー74やSETボタン75、またはマルチコントローラー(以下、MC)65を用いて直感的に各種設定を行うことができる。MC65は、八方向への方向指示と、中央部分の押し込み操作を受け付け可能である。
【0015】
通信端子10はデジタルカメラ100が後述するレンズユニット150(着脱可能)と通信を行う為の通信端子である。接眼部16は、接眼ファインダー(覗き込み型のファインダー)の接眼部であり、ユーザーは、接眼部16を介して内部のEVF(Electric View Finder)29に表示された映像を視認することができる。接眼検知部57は接眼部16にユーザーが接眼しているか否かを検知する接眼検知センサーである。蓋202は記録媒体200を格納したスロットの蓋である。
【0016】
グリップ部90は、ユーザーがデジタルカメラ100を構えた際に右手で握りやすい形状とした保持部である。グリップ部90を右手の小指、薬指、中指で握ってデジタルカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン61、メイン電子ダイヤル71が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル73が配置されている。
【0017】
図2は、本実施形態によるデジタルカメラ100の構成例を示すブロック図である。
図2において、レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ103は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子6はレンズユニット150がデジタルカメラ100と通信を行う為の通信端子である。レンズユニット150は、この通信端子6と前述の通信端子10を介してシステム制御部50と通信し、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り1の制御を行う。その後、AF駆動回路3を介して、レンズ103を変位させることで焦点を合わせる。
【0018】
シャッター101は、システム制御部50の制御で撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
【0019】
撮像部22は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。
【0020】
画像処理部24は、A/D変換器23からのデータ、または、後述するメモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理を行う。画像処理部24により得られた演算結果に基づいてシステム制御部50が露光制御、焦点調節制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
【0021】
メモリ制御部15は、A/D変換器23、画像処理部24、メモリ32間のデータ送受を制御する。A/D変換器23からの出力データは、画像処理部24およびメモリ制御部15を介して、あるいは、メモリ制御部15を介してメモリ32に直接書き込まれる。
【0022】
メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に書き込まれた表示用の画像データはメモリ制御部15を介して表示部28、EVF29により表示される。表示部28、EVF29は、LCDや有機EL等の表示器上に、メモリ制御部15からの信号に応じた表示を行う。A/D変換器23によってA/D変換されメモリ32に蓄積されたデータを、表示部28またはEVF29に逐次転送して表示することで、ライブビュー表示(LV表示)を行える。以下、ライブビューで表示される画像をライブビュー画像(LV画像)と称する。
【0023】
赤外発光ダイオード166は、ファインダー画面内におけるユーザーの視線位置を検出するための発光素子であり、接眼部16に接眼したユーザーの眼球(目)161に赤外光を照射する。赤外発光ダイオード166から発した赤外光は眼球(目)161で反射し、その赤外反射光はダイクロイックミラー162に到達する。ダイクロイックミラー162は赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、結像レンズ163を介して視線検知センサー164の撮像面に結像する。結像レンズ163は視線検知光学系を構成する光学部材である。視線検知センサー164は、CCD型イメージセンサ等の撮像デバイスから成る。
【0024】
視線検知センサー164は、入射された赤外反射光を電気信号に光電変換して視線検出回路165へ出力する。視線検出回路165は少なくとも1つのプロセッサーを含み、視線検知センサー164の出力信号に基づき、ユーザーの眼球(目)161の画像または動きからユーザーの視線位置を検出し、検出情報をシステム制御部50に出力する。このようにダイクロイックミラー162、結像レンズ163、視線検知センサー164、赤外発光ダイオード166、視線検出回路165により視線検出ブロック160が構成される。
【0025】
本実施形態では視線検出ブロック160を用いて、角膜反射法と呼ばれる方式で視線を検出する。角膜反射法とは、赤外発光ダイオード166から発した赤外光が眼球(目)161の特に角膜で反射した反射光と、眼球(目)161の瞳孔との位置関係から、視線の向き・位置を検出する方式である。この他にも黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式など、様々な視線の向き・位置を検出する方式がある。なお、視線の向き・位置を検出できる方式であれば、上記以外の視線検出手段の方式を用いてもよい。
【0026】
ファインダー外液晶表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
【0027】
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばFlash-ROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータープログラムのことである。
【0028】
システム制御部50は、少なくとも1つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ100全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52には、例えばRAMが用いられ、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等が展開される。また、システム制御部50はメモリ32、表示部28等を制御することにより表示制御も行う。
【0029】
システムタイマー53は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【0030】
ユーザーからの操作を受け付ける入力部としての各種操作部材には、少なくとも以下の操作部が含まれる。操作部70としての、シャッターボタン61、MC65、タッチパネル70a、メイン電子ダイヤル71、サブ電子ダイヤル73、十字キー74、SETボタン75、動画ボタン76、AEロックボタン77、拡大ボタン78、再生ボタン79、メニューボタン81。また、モード切替スイッチ60、電源スイッチ72もユーザーからの操作を受け付ける操作部材である。
【0031】
操作部70、モード切替スイッチ60、電源スイッチ72は、システム制御部50に各種の動作指示を入力するための操作手段として機能する。
【0032】
モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)、がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【0033】
また、シャッターボタン61は、第1シャッタースイッチ62と第2シャッタースイッチ64の2段スイッチとなっている。
【0034】
第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を開始する。
【0035】
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから撮像された画像を画像ファイルとして記録媒体200に書き込むまでの一連の撮影処理の動作を開始する。
【0036】
電源制御部80は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
【0037】
記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【0038】
通信部54は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部54は、Bluetooth(登録商標)やBluetooth Low Energyでも外部機器と通信可能である。通信部54は撮像部22で撮像した画像(ライブビュー画像を含む)や、記録媒体200に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。
【0039】
姿勢検知部55は重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部55である、加速度センサーやジャイロセンサーを用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
【0040】
接眼検知部57はファインダーの接眼部16に対する目(物体)161の接近(接眼)および離脱(離眼)を検知する(接近検知)、接眼検知センサーである。システム制御部50は、接眼検知部57で検知された状態に応じて、表示部28とEVF29の表示(表示状態)/非表示(非表示状態)を切り替える。より具体的には、少なくともデジタルカメラ100が撮影待機状態、かつ、撮像部22で撮像されたライブビュー画像の表示先の切替設定が自動切替設定である場合において、非接眼中は表示先を表示部28として表示をオンとし、EVF29は非表示とする。また、接眼中は表示先をEVF29として表示をオンとし、表示部28は非表示とする。接眼検知部57は、例えば赤外線近接センサーを用いることができ、EVF29を内蔵するファインダーの接眼部16への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部57の投光部(不図示せず)から投光した赤外線が反射して赤外線近接センサーの受光部(不図示せず)に受光される。受光された赤外線の量によって、物体が接眼部16からどの距離まで近づいているか(接眼距離)も判別することができる。このように、接眼検知部57は、接眼部16への物体の近接距離を検知する接眼検知を行う。なお、本実施形態では接眼検知部57の投光部および受光部は前述の赤外発光ダイオード166および視線検知センサー164とは別体のデバイスであるものとする。ただし、接眼検知部57の投光部を赤外発光ダイオード166で兼ねてもよい。また、受光部を視線検知センサー164で兼ねてもよい。非接眼状態(非接近状態)から、接眼部16に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部57には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。
【0041】
システム制御部50は視線検出ブロック160からの出力に基づいて以下の操作、あるいは状態を検知できる。
・接眼部16に接眼したユーザーの視線が新たに入力(検出)されたこと。すなわち、視線入力の開始。
・接眼部16に接眼したユーザーの視線入力がある状態であること。
・接眼部16に接眼したユーザーが注視している状態であること。
・接眼部16に接眼したユーザーが入力していた視線を外したこと。すなわち、視線入力の終了。
・接眼部16に接眼したユーザーが何も視線入力していない状態。
【0042】
ここで述べた注視とは、ユーザーの視線位置が所定時間内に所定の移動量を超えなかった場合のことを指す。
【0043】
タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aは光の透過率が表示部28の表示を妨げないように構成され、表示部28の表示面の上層に取り付けられる。そして、タッチパネル70aにおける入力座標と、表示部28の表示画面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザーインターフェース)を提供できる。システム制御部50はタッチパネル70aへの以下の操作、あるいは状態を検出できる。
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと。すなわち、タッチの開始(以下、タッチダウン(Touch-Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態であること(以下、タッチオン(Touch-On)と称する)。
・タッチパネル70aを指やペンでタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)。
・タッチパネル70aへタッチしていた指やペンを離したこと。すなわち、タッチの終了(以下、タッチアップ(Touch-Up)と称する)。
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)。
【0044】
タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
【0045】
これらの操作・状態や、タッチパネル70a上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知される。システム制御部50は通知された情報に基づいてタッチパネル70a上にどのような操作(タッチ操作)が行なわれたかを判定する。タッチムーブについてはタッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。更に、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
【0046】
接眼状態でタッチムーブ操作が行われると、ユーザーはタッチムーブ操作に応じた位置指標の位置の指定方法を、絶対位置指定と相対位置指定のいずれかに設定することができる。例えば位置指標がAF枠とすると、絶対位置指定の場合、タッチパネル70aがタッチされると、タッチされた位置(座標入力された位置)に対応付けられたAF位置が設定される。つまり、タッチ操作が行われた位置座標と、表示部28の位置座標とが対応づけられる。一方相対位置指定の場合は、タッチ操作が行われた位置座標と表示部28の位置座標とは対応付けられない。相対位置指定では、タッチパネル70aに対するタッチダウン位置に関わらず、現在設定されているAF位置からタッチムーブの移動方向にタッチムーブの移動量に応じた距離だけ、タッチ位置を移動させる。
【0047】
●設定画面
図3は表示部28またはEVF29に表示される設定値を変更するためのメニューに関する図である。
【0048】
図3(a)はメニューでの設定画面であり、301~305は各設定項目と設定値を示す。
【0049】
301の設定項目はAF動作で、AF発動後(撮影準備指示後)にフォーカスをロックする「ワンショットAF」、フォーカスを追従させる「サーボAF」を設定することができる。
【0050】
302の設定項目はAFエリアで、AFを行う領域の大きさを設定することができる。設定値が多い場合はさらに深い階層に潜って専用画面(
図3(b))で設定する。
図3(b)のように、設定値が並んでいる中からユーザーが設定値を選択する(306)。
【0051】
303の設定項目はトラッキング設定で、AF発動後(撮影準備指示後)に追尾を行うか否かを設定することができる。AF発動前(撮影準備指示前)のAFエリアから追尾する被写体を決定し、AF発動後(撮影準備指示後)はAFエリアの大きさを全域に広げて画面全体で追尾を行う。またこの設定によって、主被写体を検出している場合は主被写体に検出枠を表示してユーザーに通知する。主被写体決めについては304の検出する被写体の設定によって判断する。
【0052】
304の設定項目は検出する被写体設定で、主被写体を決定するために優先する対象となる種別を選択する。本実施形態では
図3(d)のように、「人物」「動物優先」「乗物優先」「しない」から設定することが可能である(310)。311のように設定値によってはさらに詳細設定を行うこともできる。ここで、画像処理部24は、撮像した画像データを用いて特定の被写体を検知することができる。本実施形態では特定の被写体として、人物や犬、野鳥などの動物、乗物さらにその被写体内における主要領域を検出する(スポット検出する)ものとする。例えば人物におけるスポット検出とは、胴体、頭部、瞳、顔の検出である。また、例えば動物におけるスポット検出とは、瞳、顔、体の検出である。また、例えばスポット検出は、乗物優先が選択されているときに設定することができ、車のドライバー、電車の先頭車両、飛行機のコックピットが優先して検出される。これらの検出方法は機械学習による学習手法や画像処理による認識処理などが用いられる。
【0053】
例えば、機械学習の種類としては、以下がある。
(1)サポートベクターマシーン(Support Vector Machine)
(2)畳み込みニューラルネットワーク(Covolutional Neural Network)
(3)再起型ニューラルネットワーク(Recurrent Neural Network)
【0054】
また、認識処理の例としては、例えば顔を検知する場合、画像データで表される各画素の階調色から肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法などもある。さらに、本発明に適用可能な主要領域の検出手法については、これらの手法に限るものではなく、他の手法を用いてもよい。
【0055】
図3(c)ように、AFエリア(309)とトラッキング(308)設定を同時に設定する画面もあり、ここでは背景にライブビューのスルー画が表示されており、AFエリア307の表示を見ながら設定を変更することができる。
【0056】
●ボタンカスタマイズ機能
図4は表示部28またはEVF29に表示される追尾の発動と機能の呼び出しのボタンカスタマイズ機能を設定するメニューに関する図である。
【0057】
追尾の発動のボタンカスタマイズとしては、例えば
図4(a)の401のように、ユーザーにより、画面上の割り当てたい操作部材(例えばボタン)に現在の処理対象となる位置を示すカーソル(指標)が合わせられると、
図4(b)の402のように、割り当てられる機能を選択可能に表示する。この図ではSETボタンに「トラッキング開始停止」を割り当てている。トラッキング開始停止は、トラッキング設定に関わらず、AFエリアの位置を基準に追尾を開始する機能、および開始された追尾を停止する機能である。撮影待機中(SW0)から、AF発動中(第1シャッタースイッチ保持中SW1ON)、サーボAF連写中(SW2ON)にも、本機能を発動することができる。
【0058】
また、例えば、
図4(c)の403のように、ユーザーにより、画面上の割り当てたいボタンに、カーソルが合わせられると、
図4(d)の404のように、割り当てられる機能を選択可能に表示する。この図ではAEL(AEロック)ボタンに「登録機能の呼出」を割り当てる。
【0059】
登録機能の呼び出しは、事前にユーザーが登録した機能を呼び出す機能である。
図4(d)の405がユーザーにより押下されると、
図4(e)の詳細設定画面が開く。
図4(e)の406はチェックボックスになっており、ユーザーが呼び出したい設定項目407と設定値408を設定し、406にチェックをすることで呼び出す機能を登録できる。図ではAF動作は「ワンショット」、呼び出し位置は「HP(ホームポジション)」が登録される。なお、各項目を設定しているときに他の項目が登録できないことを示すグレーアウト表示をしてもよい。例えば、
図4(e)ではAFエリアは登録できないことを示すグレーアウト表示となっている。また、例えば
図4(e)のトラッキング設定やスポット検出のように、ユーザーによりチェックが付けられない場合には、現在の設定値からの変更は行われない。
【0060】
●撮影情報表示と設定値を示すアイコン
図5は表示部28またはEVF29に表示される撮影情報表示と設定値を示すアイコンを説明するための図である。
【0061】
図5(a)は表示部28の表示画面の例である。501はAFエリアとトラッキング設定、502はAF動作の設定、503は検出する被写体の設定、504は瞳検出の設定を示すアイコンである。505はトラッキング発動状態を示すアイコンである。501~505を確認することで現在の設定や状態が分かるようになっている。
【0062】
図5(b)はアイコン表示のリストの一例である。506のようにAFエリアとトラッキング設定の組み合わせによって表現されたアイコンを501に表示する。507、508、509のように設定値に応じて準備されたアイコンを502~504に表示する。510のようにトラッキングの制御状態を示すアイコンを505に表示する。
【0063】
●AF発動前後の枠表示
図6は表示部28またはEVF29に表示されるAF発動前後の枠表示を示した図である。
【0064】
図6では、AF発動前後で枠表示をそれぞれ異なる表現にしているが、同一の場合もありうる。またAF動作がワンショットAFの場合は緑色、サーボAFの場合は青色のように色で区別してもよい。
【0065】
601はスポットや1点、領域拡大といった狭い領域を表すAFエリア枠である。AF発動前は矩形であり、AF発動後は602のように太い矩形となる。
【0066】
603はゾーンや全域といった広い領域を表すAFエリア枠である。AF発動前は括弧[]で囲まれた領域603を示し、AF発動後は603の領域内でピントが合っている部分のみ604のように小さな矩形枠を表示する。領域内で複数の矩形枠604を表示することができる。また全域のように画面の全体の領域を表す場合はAF発動前に括弧603の表示をしないこともある。
【0067】
605は検出枠を示す。これは検出する特定の被写体の設定によって自動的に検出された被写体に対して枠の表示を行う。図では「人物」の設定になっており、人の顔に枠が表示されている。瞳検出の設定によっては瞳の領域に検出枠605を表示することも可能である。また「動物」「乗物」に設定されている場合は、動物の全身や顔、乗物に対して検出枠を表示する。AF発動後は検出枠605に合わせて矩形で枠表示606を行う。なお本実施形態では602と区別するため、点線で表現している。検出枠はフレームごとに更新して、被写体を追尾することができるが、ワンショットのAF発動後のみ合焦した位置で枠位置が固定される。
【0068】
607は追尾枠(トラッキング枠)を示す。これはユーザーが検出枠605を選択した場合や、ユーザー操作によって追尾対象を選択した場合に表示する。ユーザーの選択操作としては、タッチパネル70aへの操作位置を基準とした選択、トラッキング開始操作による選択、複数の検出枠からの十字ボタンによる選択など複数の操作がある。AF発動後は点線の二重矩形(608)で表現する。追尾枠も検出枠同様に、フレームごとに更新して、被写体を追尾することができるが、ワンショットのAF発動後のみ合焦した位置で枠位置が固定される。
【0069】
●AFエリアとトラッキング設定の組み合わせに応じた枠表現
図7はAFエリアとトラッキング設定の組み合わせに応じた枠表現を示す図である。
【0070】
トラッキング『しない』の場合のAFエリアとの組み合わせが状態7-A~I、トラッキング『する』の場合のAFエリアとの組み合わせが状態7-J~Rであり、それぞれ「AFエリア枠」「検出枠」「追尾枠」がアクティブの条件を図示する。
【0071】
まず、状態7-A~Iのトラッキング『しない』の場合について説明する。
【0072】
AFエリア枠がアクティブになる場合は、1点のAFエリア枠701やゾーンのAFエリア枠702などそれぞれの設定に応じたAFエリア枠が表示される(7-A、7-B、7-C)。
【0073】
トラッキング『しない』の場合は被写体検出処理を行わないため、検出枠がアクティブになることはない。このため状態7-D、7-E、7-Fでは枠表示は行われない。説明の都合上、
図7の状態7-D、7-E、7-Fは、画面がグレーになっているが、ライブビュー表示は行われる。
【0074】
また、ユーザーの選択によって被写体が選択された場合は、追尾枠703が表示される(7-G、7-H、7-I)。ここでの追尾枠は、タッチパネル70aへの操作位置を基準に追尾を開始した際の追尾枠や、トラッキング開始の操作位置を基準に追尾を開始した際の追尾枠などが該当する。
【0075】
次に、状態7-J~Rのトラッキング『する』の場合について説明する。
【0076】
状態7-J~Oでは、トラッキング『する』の場合は主被写体が検出されている場合はAFエリア枠と検出枠が両方表示され、AF発動時に実際にピントを合わせる枠をアクティブとする。また主被写体が検出されていない場合は、AFエリア枠のみ表示され、トラッキング『しない』のパターンと同じである。
【0077】
主被写体が検出されている場合のAF発動時に実際にピントを合わせる枠の選択は次のように行う。
【0078】
まずAFエリア枠内に検出枠が重なっていない条件ではAFエリア枠がアクティブとなる(7-J、7-K、7-L)。なお、AFエリアが画面全域の場合にAFエリア内に被写体が検出されていない場合もAFエリア枠内に検出枠が重なっていない条件として、AFエリア全域がアクティブとなる(7-L)が、AFエリアが画面全域のため枠表示が行われない。このため、説明の都合上、画面がグレーになっているが、ライブビュー表示は行われる。AFエリア枠がアクティブとなる場合は(704)や(706)のAFエリア枠が実線で表示され、検出枠が透過の線(705)で表現される。AF発動時にはAFエリア枠のほうでピント調整を行う。
【0079】
次にAFエリア枠内に検出枠が重なる条件では検出枠がアクティブとなる(7-M、7-N、7-O)。なお瞳検出やスポット検出などの場合は、瞳やスポット部分がAFエリアに重なっていなくても、顔や被写体を構成する全身がAFエリア枠に重なっている場合であれば、検出枠がアクティブになることがある。検出枠がアクティブの場合は、検出枠が実線(707)で表現され、AFエリア枠が透過の線(708)で表現される。
【0080】
ユーザーの選択によって被写体が選択された場合であって、トラッキング『する』の場合、主被写体が検出されているときは、追尾実行中(7-P、7-Q、7-R)は追尾枠がアクティブであり追尾枠のみ表示される(709)。また主被写体が検出されていないときは、トラッキング『しない』のパターンと同じように、追尾枠が表示される。
【0081】
●サーボAFの場合の状態遷移
図8はサーボAFの場合の状態遷移を示す図である。
【0082】
図8(a)の状態8-A~Rはトラッキング設定『する』の場合、
図8(b)の状態8-a~rはトラッキング設定『しない』の場合の状態遷移である。
【0083】
<トラッキングする場合>
8-Aは、撮影待機状態(SW0)を示し、801から805は設定値や状態値を示すアイコンである。ここでは1点AF×トラッキングする(801)、AF動作がサーボAF(802)、検出する被写体が人物(803)、瞳検出がOFF(804)、トラッキング状態がOFF(805)である。806がAFエリア枠で、807が検出枠であり、AFエリア内に検出枠が重なっているため、検出枠がアクティブになりAFエリア枠は非アクティブとなる。この状態で「トラッキング開始操作」が行われた場合は8-Bへ進み、AF操作(撮影準備操作SW1)が行われた場合は8-Gへ進む。
【0084】
8-Bは、追尾枠808を被写体の動きに応じて更新する。また805のアイコンがONに切り替わる。この状態で「トラッキングの停止」操作が行われた場合は8-Aに戻り、AF操作(撮影準備操作SW1)が行われた場合は8-Gへ進む。
【0085】
8-Cは、被写体の動きに合わせて追尾枠809を更新する。ここで「トラッキングの停止」操作が行われた場合は8-Dへ進み、AF操作(撮影準備操作SW1)が行われた場合は8-Hへ進む。
【0086】
8-Dは、810がAFエリア枠で、811が検出枠であり、ここではAFエリア枠がアクティブである。この状態で「枠移動操作」が行われた場合は8-Eへ進む。
【0087】
8-Eは、812がAFエリア枠で、813が検出枠であり、ここではAFエリア枠がアクティブである。この状態で「トラッキング開始」操作が行われた場合は8-Fへ進み、AF操作が行われた場合は8-Kへ進む。
【0088】
8-Fは、追尾枠814を被写体の動きに応じて更新する。また805のアイコンがONに切り替わる。この状態で「トラッキングの停止」操作が行われた場合は8-Eに戻り、AF操作(撮影準備操作SW1)が行われた場合は8-Kへ進む。
【0089】
8-Gは、追尾枠815を被写体の動きに応じて更新しながら、ピントを合わせ続ける(コンティニアスAF)。また805のアイコンがONに切り替わる。この状態で追尾対象の被写体が動くと8-Hへ進み、「トラッキングの停止」操作が行われた場合は8-Qへ進み、AF解除(撮影準備操作SW1の解除)が行われた場合は8-Aに戻り、撮影操作(SW2)が行われた場合は8-Lへ進む。
【0090】
8-QではAFエリア826でピントを合わせ続ける。トラッキング状態はOFFとなる。この状態で撮影操作(SW2)が行われると8-Rへ進む。
【0091】
8-Hは、追尾枠816を被写体の動きに応じて更新しながらピントを合わせ続ける。この状態で「トラッキングの停止」操作が行われた場合は8-Iへ進み、撮影操作(SW2)が行われた場合は8-Mへ進み、AF解除(撮影準備操作SW1の解除)が行われた場合は8-Dに戻る。
【0092】
8-Iでは、AFエリア817でピントを合わせ続ける。トラッキング状態はOFFとなる。この状態で撮影操作(SW2)が行われると8-Nへ進み、AF解除(撮影準備操作SW1の解除)が行われると8-Dに戻る。
【0093】
8-Jでは、ユーザーの操作に応じてAFエリア818を移動する。移動の際エリア内でピントを合わせ続ける。この状態で撮影操作(SW2)が行われると8-Oへ進み、AF解除(撮影準備操作SW1の解除)が行われると8-Eに戻り、「トラッキングの開始」操作が行われた場合は8-Kへ進む。
【0094】
8-Kは、追尾枠819を被写体の動きに応じて更新しながらピントを合わせ続ける。この状態で「トラッキングの停止」操作が行われた場合は8-Jに戻り、撮影操作(SW2)が行われた場合は8-Pへ進み、AF解除(撮影準備操作SW1の解除)が行われた場合は8-Eまたは8-Fに戻る。
【0095】
8-Lでは、追尾枠821を被写体の動きに応じて更新しながらピントを合わせ続け撮影を行う。撮影中であることは820の表示によって判断できる。連写の設定になっている場合は、ピント位置を追従しながら撮影を継続する。この状態で追尾対象の被写体が動くと8-Mへ進み、撮影操作(SW2)を解除すると8-Gに戻り、「トラッキングの停止」操作が行われると8-Rに戻る。
【0096】
8-Rでは、AFエリア827でピントを合わせ続け撮影を行う。トラッキング状態はOFFとなる。この状態で「トラッキング開始」操作が行われると8-Lへ進み、撮影操作(SW2)を解除すると8-Qに戻る。
【0097】
8-Mでは、追尾枠822を被写体の動きに応じて更新しながらピントを合わせ続け撮影を行う。この状態で撮影操作(SW2)を解除すると8-Hに戻り、「トラッキングの停止」操作が行われると8-Nに進む。
【0098】
8-Nでは、AFエリア823でピントを合わせ続け撮影を行う。トラッキング状態はOFFとなる。この状態で「枠移動」操作が行われると8-Oへ進み、撮影操作(SW2)を解除すると8-Iに戻る。
【0099】
8-Oでは、AFエリア824でピントを合わせ続け撮影を行う。この状態で撮影操作(SW2)を解除すると8-Jに戻り、「トラッキングの開始」操作が行われると8-Pへ進む。
【0100】
8-Pでは、追尾枠825を被写体の動きに応じて更新しながらピントを合わせ続け撮影を行う。この状態で撮影操作(SW2)を解除すると8-Kに戻り、「トラッキングの停止」操作が行われると8-Oに戻る。
【0101】
<トラッキングしない場合>
図8(b)は、撮影待機状態を示し、801aから805aは設定値や状態値を示すアイコンである。ここでは1点AF×トラッキングする(801a)、AF動作がサーボAF(802a)、検出する被写体が人物(803a)、瞳検出がOFF(804a)、トラッキング状態がOFF(805a)である。806aがAFエリア枠である。この状態で「トラッキング開始操作」が行われた場合は8-bへ進み、AF操作(撮影準備操作SW1)が行われた場合は8-qへ進む。
【0102】
8-bは、追尾枠808aを被写体の動きに応じて更新する。また805aのアイコンがONに切り替わる。この状態で「トラッキングの停止」操作が行われた場合は8-aに戻り、AF操作(撮影準備操作SW1)が行われた場合は8-gへ進む。
【0103】
8-cは、被写体の動きに合わせて追尾枠809aを更新する。ここで「トラッキングの停止」操作が行われた場合は8-dへ進み、AF操作(撮影準備操作SW1)が行われた場合は8-hへ進む。
【0104】
8-dは、810aがAFエリア枠である。この状態で「枠移動操作」が行われた場合は8-eへ進む。
【0105】
8-eは、812aがAFエリア枠である。この状態で「トラッキング開始」操作が行われた場合は8-fへ進み、AF操作が行われた場合は8-jへ進む。
【0106】
8-fは、追尾枠814aを被写体の動きに応じて更新する。また805aのアイコンがONに切り替わる。この状態で「トラッキングの停止」操作が行われた場合は8-eに戻り、AF操作(撮影準備操作SW1)が行われた場合は8-kへ進む。
【0107】
8-gは、追尾枠815aを被写体の動きに応じて更新しながらピントを合わせ続ける。また805aのアイコンがONに切り替わる。この状態で追尾対象の被写体が動くと8-hへ進み、「トラッキングの停止」操作が行われた場合は8-qへ進み、AF解除が行われた場合は8-bに戻り、撮影操作(SW2)が行われた場合は8-lへ進む。
【0108】
8-qではAFエリア826aでピントを合わせ続ける。トラッキング状態はOFFとなる。この状態で撮影操作(SW2)が行われると8-rへ進む。
【0109】
8-hは、追尾枠816aを被写体の動きに応じて更新しながらピントを合わせ続ける。この状態で「トラッキングの停止」操作が行われた場合は8-iへ進み、撮影操作(SW2)が行われた場合は8-mへ進み、AF解除(撮影準備操作SW1の解除)が行われた場合は8-dに戻る。
【0110】
8-iでは、AFエリア817aでピントを合わせ続ける。トラッキング状態はOFFとなる。この状態で撮影操作(SW2)が行われると8-nへ進み、AF解除(撮影準備操作SW1の解除)が行われると8-dに戻る。
【0111】
8-jでは、ユーザーの操作に応じてAFエリア818aを移動する。移動の際エリア内でピントを合わせ続ける。この状態で撮影操作(SW2)が行われると8-oへ進み、AF解除(撮影準備操作SW1の解除)が行われると8-eに戻り、「トラッキングの開始」操作が行われた場合は8-kへ進む。
【0112】
8-kは、追尾枠819aを被写体の動きに応じて更新しながらピントを合わせ続ける。この状態で「トラッキングの停止」操作が行われた場合は8-jに戻り、撮影操作(SW2)が行われた場合は8-pへ進み、AF解除(撮影準備操作SW1の解除)が行われた場合は8-eまたは8-fに戻る。
【0113】
8-lでは、追尾枠821aを被写体の動きに応じて更新しながらピントを合わせ続け撮影を行う。撮影中であることは820aの表示によって判断できる。連写の設定になっている場合は、ピント位置を追従しながら撮影を継続する。この状態で追尾対象の被写体が動くと8-mへ進み、撮影操作(SW2)を解除すると8-gに戻り、「トラッキングの停止」操作が行われると8-rに戻る。
【0114】
8-rでは、AFエリア827aでピントを合わせ続け撮影を行う。トラッキング状態はOFFとなる。この状態で「トラッキング開始」操作が行われると8-lへ進み、撮影操作(SW2)を解除すると8-qに戻る。
【0115】
8-mでは、追尾枠822aを被写体の動きに応じて更新しながらピントを合わせ続け撮影を行う。この状態で撮影操作(SW2)を解除すると8-hに戻り、「トラッキングの停止」操作が行われると8-nに戻る。
【0116】
8-nでは、AFエリア823aでピントを合わせ続け撮影を行う。トラッキング状態はOFFとなる。この状態で「枠移動」操作が行われると8-oへ進み、撮影操作(SW2)を解除すると8-iに戻る。
【0117】
8-oでは、AFエリア824aでピントを合わせ続け撮影を行う。この状態で撮影操作(SW2)を解除すると8-jに戻り、「トラッキングの開始」操作が行われると8-pへ進む。
【0118】
8-pでは、追尾枠825aを被写体の動きに応じて更新しながらピントを合わせ続け撮影を行う。この状態で撮影操作(SW2)を解除すると8-kに戻り、「トラッキングの停止」操作が行われると8-oに戻る。
【0119】
●ワンショットAFの場合の状態遷移
図9はワンショットAFの場合の状態遷移を示す図である。
【0120】
図9(a)の状態9-A~Oはトラッキング設定『する』の場合、
図9(b)の状態9-a~oはトラッキング設定『しない』の場合の状態遷移である。
【0121】
<トラッキングする場合>
9-Aでは、901から905は設定値や状態値を示すアイコンである。ここでは1点AF×トラッキングする(901)、AF動作がワンショットAF(902)、検出する被写体が人物(903)、瞳検出がOFF(904)、トラッキング状態がOFF(905)である。906はAFエリアで、907は検出枠である。AFエリア内に検出枠が重なっているため、検出枠がアクティブになり、AFエリア枠は非アクティブとなる。この状態で「トラッキング開始」操作が行われた場合は9-Bへ進み、AF操作(撮影準備操作SW1)が行われた場合は9-Fへ進む。
【0122】
9-Bでは、追尾枠908で被写体の追尾を行う。905のアイコンがONに切り替わる。この状態で「トラッキングの停止」操作が行われた場合は9-Aに戻り、AF操作(撮影準備操作SW1)が行われた場合は9-Gへ進み、被写体が画面XY方向に動くと9-Cへ進む。
【0123】
9-Cでは、被写体の動きに合わせて追尾枠909が更新される。この状態で「トラッキングの停止」操作が行われた場合は9-Dへ進み、AF操作(撮影準備操作SW1)が行われた場合は9-Hへ進む。
【0124】
9-Dでは、910がAFエリア、911が検出枠である。AFエリア外に検出枠があるため、AFエリア枠がアクティブとなり、検出枠は非アクティブとなる。この状態で「トラッキング開始」操作が行われた場合は9-Eへ進み、AF操作(撮影準備操作SW1)が行われた場合は9-Iへ進む。
【0125】
9-Eでは、追尾枠912を追尾対象の被写体の動きに合わせて更新する。905のアイコンがONに切り替わる。この状態で「トラッキング停止」操作が行われた場合は9-Dへ戻り、AF操作(撮影準備操作SW1)が行われた場合は9-Jへ進む。
【0126】
9-Fでは、検出枠913でワンショットAFを行い、ピント位置をロックする。この状態で撮影操作(SW2)が行われると9-Kへ進み、「トラッキング開始」操作が行われると9-Gへ進む。AF操作(撮影準備操作SW1)が解除されると9-Aに戻る。
【0127】
9-Gでは、追尾枠914でワンショットAFを行い、ピント位置をロックする。この状態で「トラッキングの停止」操作が行われた場合は9-Fに戻り、撮影操作(SW2)が行われると9-Lへ進み、AF操作(撮影準備操作SW1)が解除されると9-Bに戻る。
【0128】
9-Hでは、追尾枠915でワンショットAFを行い、ピント位置をロックする。この状態で「トラッキングの停止」操作が行われた場合は9-Iへ進み、撮影操作(SW2)が行われると9-Mへ進み、AF操作(撮影準備操作SW1)が解除されると9-Cに戻る。
【0129】
9-Iでは、AFエリア916でワンショットAFを行い、ピント位置をロックする。この状態で「トラッキングの開始」操作が行われた場合は9-Jへ進み、撮影操作(SW2)が行われると9-Nへ進み、AF操作(撮影準備操作SW1)が解除されると9-Dに戻る。
【0130】
9-Jでは、追尾枠917でワンショットAFを行い、ピント位置をロックする。905のアイコンがONに切り替わる。この状態で「トラッキングの停止」操作が行われた場合は9-Iへ戻り、撮影操作(SW2)が行われると9-Oへ進む。AF操作(撮影準備操作SW1)が解除されると9-Eに戻る。
【0131】
9-Kでは、ピント位置をロックしたまま撮影を行う。このとき913の検出枠は非表示となる。918は撮影中であることを示す表現である。この状態で「トラッキングの停止」操作などの操作は行えなくなり、撮影操作(SW2)を解除すると9-Fに戻る。
【0132】
9-Lでは、ピント位置をロックしたまま撮影を行う。このとき914の検出枠は非表示となる。この状態で「トラッキングの停止」操作などの操作は行えなくなり、撮影操作(SW2)を解除すると9-Gに戻る。
【0133】
9-Mでは、ピント位置をロックしたまま撮影を行う。このとき915の追尾枠は非表示となる。この状態で「トラッキングの停止」操作などの操作は行えなくなり、撮影操作(SW2)を解除すると9-Hに戻る。
【0134】
9-Nでは、ピント位置をロックしたまま撮影を行う。このとき916のAFエリアは非表示となる。この状態で「トラッキングの停止」操作などの操作は行えなくなり、撮影操作(SW2)を解除すると9-Iに戻る。
【0135】
9-Oでは、ピント位置をロックしたまま撮影を行う。このとき917の追尾枠は非表示となる。この状態で「トラッキングの停止」操作などの操作は行えなくなり、撮影操作(SW2)を解除すると9-Jに戻る。
【0136】
<トラッキングしない場合>
9-aでは、901aから905aは設定値や状態値を示すアイコンである。ここでは1点AF×トラッキングしない(901a)、AF動作がワンショットAF(902a)、検出する被写体が人物(903a)、瞳検出がOFF(904a)、トラッキング状態がOFF(905a)である。906aはAFエリアである。この状態で「トラッキング開始」操作が行われた場合は9-bへ進み、AF操作(撮影準備操作SW1)が行われた場合は9-fへ進む。
【0137】
9-bでは、追尾枠907aで被写体の追尾を行う。905のアイコンがONに切り替わる。この状態で「トラッキングの停止」操作が行われた場合は9-aに戻り、AF操作(撮影準備操作SW1)が行われた場合は9-gへ進み、被写体が画面XY方向に動くと9-cへ進む。
【0138】
9-cでは、被写体の動きに合わせて追尾枠908aが更新される。この状態で「トラッキングの停止」操作が行われた場合は9-dへ進み、AF操作(撮影準備操作SW1)が行われた場合は9-hへ進む。
【0139】
9-dでは、909aがAFエリアである。この状態で「トラッキング開始」操作が行われた場合は9-eへ進み、AF操作(撮影準備操作SW1)が行われた場合は9-iへ進む。
【0140】
9-eでは、追尾枠910aを追尾対象の被写体の動きに合わせて更新する。905のアイコンがONに切り替わる。この状態で「トラッキング停止」操作が行われた場合は9-dへ戻り、AF操作(撮影準備操作SW1)が行われた場合は9-jへ進む。
【0141】
9-fでは、AFエリア911aでワンショットAFを行い、ピント位置をロックする。この状態で撮影操作(SW2)が行われると9-kへ進み、「トラッキング開始」操作が行われると9-gへ進む。AF操作(撮影準備操作SW1)が解除されると9-aに戻る。
【0142】
9-gでは、追尾枠912aでワンショットAFを行い、ピント位置をロックする。この状態で「トラッキングの停止」操作が行われた場合は9-fに戻り、撮影操作(SW2)が行われると9-lへ進み、AF操作(撮影準備操作SW1)が解除されると9-bに戻る。
【0143】
9-hでは、追尾枠913aでワンショットAFを行い、ピント位置をロックする。この状態で「トラッキングの停止」操作が行われた場合は9-iへ進み、撮影操作(SW2)が行われると9-mへ進み、AF操作(撮影準備操作SW1)が解除されると9-cに戻る。
【0144】
9-iでは、AFエリア914aでワンショットAFを行い、ピント位置をロックする。この状態で「トラッキングの開始」操作が行われた場合は9-jへ進み、撮影操作(SW2)が行われると9-nへ進み、AF操作(撮影準備操作SW1)が解除されると9-dに戻る。
【0145】
9-jでは、追尾枠915aでワンショットAFを行い、ピント位置をロックする。905のアイコンがONに切り替わる。この状態で「トラッキングの停止」操作が行われた場合は9-iへ戻り、撮影操作(SW2)が行われると9-oへ進む。AF操作(撮影準備操作SW1)が解除されると9-eに戻る。
【0146】
9-kでは、ピント位置をロックしたまま撮影を行う。このとき911aのAFエリアは非表示となる。916aは撮影中であることを示す表現である。この状態で「トラッキングの停止」操作などの操作は行えなくなり、撮影操作(SW2)を解除すると9-fに戻る。
【0147】
9-lでは、ピント位置をロックしたまま撮影を行う。このとき912aの追尾枠は非表示となる。この状態で「トラッキングの停止」操作などの操作は行えなくなり、撮影操作(SW2)を解除すると9-gに戻る。
【0148】
9-mでは、ピント位置をロックしたまま撮影を行う。このとき913aの追尾枠は非表示となる。この状態で「トラッキングの停止」操作などの操作は行えなくなり、撮影操作(SW2)を解除すると9-hに戻る。
【0149】
9-nでは、ピント位置をロックしたまま撮影を行う。このとき914aのAFエリアは非表示となる。この状態で「トラッキングの停止」操作などの操作は行えなくなり、撮影操作(SW2)を解除すると9-iに戻る。
【0150】
9-oでは、ピント位置をロックしたまま撮影を行う。このとき915aの追尾枠は非表示となる。この状態で「トラッキングの停止」操作などの操作は行えなくなり、撮影操作(SW2)を解除すると9-jに戻る。
【0151】
●サーボAFの場合の制御フロー
図10はサーボAFの場合の制御を示すフローチャートである。各処理はシステム制御部50が不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行することにより実現される。
【0152】
以下のフローチャートについて、処理や制御についてはシステム制御部50によって行われる。
【0153】
S1001では、追尾開始位置を記憶領域(メモリ)から読み出しを行う。
【0154】
S1002では、追尾開始位置の移動操作があったかを判定する。移動操作があればS1003へ進み、移動操作がなければS1004へ進む。実施形態としての移動操作としては、8方向キーや十字ボタンによる枠移動、タッチによる枠移動などが挙げられる。
【0155】
S1003では、追尾開始位置の移動操作に基づいて、追尾開始位置の更新を行う。(例:8-DからE)
【0156】
S1004では、追尾開始操作があったかを判定する。追尾開始操作があればS1005へ進み、なければS1006へ進む。実施形態としての追尾開始操作としては、ボタンカスタマイズ機能の「トラッキングの開始」が挙げられる。
【0157】
S1005では、追尾開始位置より被写体の検出を行い、主被写体を決定して追尾を開始する。追尾開始時には追尾開始位置(AFエリア枠)は非表示となり、追尾枠が表示される。(例:8-EからF)
【0158】
S1006では、追尾が継続されているかを判定する。追尾が継続されている場合は、S1007へ進み、追尾が継続されていない場合はS1008へ進む。
【0159】
S1007では追尾枠の更新を行う。被写体の動きに合わせて追尾枠を更新する。(例:8-BからC)
【0160】
S1008では、追尾停止操作があったかを判定する。追尾停止操作があればS1009へ進み、なければS1010へ進む。
【0161】
S1009では追尾枠の停止を行う。このとき追尾枠を非表示にして、追尾開始位置(AFエリア枠)を表示する。このとき、記憶している追尾開始位置を読み出し追尾開始位置を設定する。(例:8-CからD)
【0162】
S1010では、撮影準備操作があったかを判定する。撮影準備操作があればS1011へ進み、なければS1031へ進む。実施形態としての撮影準備操作はSW1やSW2操作が挙げられる。(例:8-AからJ)
【0163】
S1011では、フロー内で制御する位置変更フラグと自動トラッキングフラグをOFFにする。
【0164】
S1012では、追尾開始位置をメモリに一時的に記憶させる。フロー内では開始位置Tempと定義する。
【0165】
S1013では、トラッキング設定による追尾開始(自動トラッキング)を発動するかを判定する。判定条件としては、追尾でない状態で、トラッキング設定「する」で撮影待機状態から撮影準備状態に遷移したときである。自動トラッキングを発動する場合は、S1014へ進み、発動しない場合はS1016へ進む。
【0166】
S1014では、追尾開始位置より被写体の検出を行い、主被写体を決定して追尾を開始する。追尾開始時には追尾開始位置(AFエリア枠)は非表示となり、追尾枠が表示される。(例:8-AからG)
S1015では、自動トラッキングフラグをONにする。
【0167】
S1016では、追尾開始位置の移動操作があったかを判定する。移動操作があればS1017へ進み、移動操作がなければS1019へ進む。実施形態としての移動操作としては、8方向キーや十字ボタンによる枠移動、タッチによる枠移動などが挙げられる。
【0168】
S1017では、追尾開始位置の移動操作に基づいて、追尾開始位置の更新を行う。(例:8-IからJ)
【0169】
S1018では、位置変更フラグをONにする。
【0170】
S1019では、追尾開始操作があったかを判定する。追尾開始操作があればS1020へ進み、なければS1021へ進む。実施形態としての追尾開始操作としては、ボタンカスタマイズ機能の「トラッキングの開始」が挙げられる。
【0171】
S1020では、追尾開始位置より被写体の検出を行い、主被写体を決定して追尾を開始する。追尾開始時には追尾開始位置(AFエリア枠)は非表示となり、追尾枠が表示される。(例:8-JからK)
【0172】
S1021では、追尾が継続されているかを判定する。追尾が継続されている場合は、S1022へ進み、追尾が継続されていない場合はS1023へ進む。
【0173】
S1022では追尾枠の更新を行う。被写体の動きに合わせて追尾枠を更新する。(例:8-GからH)
【0174】
S1023では、追尾停止操作があったかを判定する。追尾停止操作があればS1024へ進み、なければS1027へ進む。
【0175】
S1024では、追尾中の追尾枠の中心位置を追尾開始位置として設定する。本実施形態の特徴的な処理で、撮影準備状態では追尾の継続性を重視するため、このような処理を行う。
【0176】
S1025では、追尾枠の停止を行う。このとき追尾枠を非表示にして、S1024で設定した位置に追尾開始位置(AFエリア枠)を表示する。(例:8-HからI)
【0177】
S1026では、自動トラッキングフラグをOFFにする。なお第二の実施形態としてはS1026での処理を行わず、S1014のトラッキングを明確にして制御を変えることで、分かりやすい仕様にする。
【0178】
S1027では、AF動作を行うかを判定する。AF動作を行う場合はS1028へ進み、行わなければS1029へ進む。
【0179】
S1028では、AF動作を行う。実施形態としてのAF動作は、サーボ動作が挙げられる。サーボ動作であれば、ピントを追従するために毎度サーボ動作を実行する。
【0180】
S1029では、撮影操作があったかを判定する。撮影操作があればS1030へ進み、なければS1031へ進む。
【0181】
S1030では、撮影動作を行う。実施形態としての撮影動作は、SW2で撮影を行う。(例:8-GからL)
S1031では、撮影準備状態が解除されたか判定する。撮影準備状態が解除されるとS1032へ進み、解除されていないとS1016に戻る。
【0182】
S1032では、自動トラッキングフラグの状態を判定する。フラグがONの場合はS1033へ進み、フラグがOFFの場合はS1034へ進む。
【0183】
S1033では、追尾枠の停止を行う。このとき追尾枠を非表示にして、S1024で設定した位置に追尾開始位置(AFエリア枠)を表示する。(例:8-GからA)
S1034では、位置変更フラグの状態を判定する。位置変更フラグがONの場合はS1036へ進み(例:8-JからE)、OFFの場合はS1035へ進む。
【0184】
S1035では、追尾開始位置を開始位置Tempに設定する。(例:8-IからD)
S1036では、本フローの終了を判定する。終了する場合はS1037へ進み、終了しない場合はS1002に戻る。
【0185】
S1037では、追尾開始位置を記憶領域(メモリ)に記憶させて処理を終了する。
【0186】
●ワンショットAFの場合の制御フロー
図11はワンショットAFの場合の制御を示すフローチャートである。各処理はシステム制御部50が不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行することにより実現される。
【0187】
以下のフローチャートについて、処理や制御についてはシステム制御部50によって行われる。
【0188】
S1101では、追尾開始位置(AFエリア)を記憶領域(メモリ)から読み出しを行う。
【0189】
S1102では、追尾開始位置の移動操作があったかを判定する。移動操作があればS1103へ進み、移動操作がなければS1104へ進む。実施形態としての移動操作としては、8方向キーや十字ボタンによる枠移動、タッチによる枠移動などが挙げられる。
【0190】
S1103では、追尾開始位置の移動操作に基づいて、追尾開始位置の更新を行う。
【0191】
S1104では、追尾開始操作があったかを判定する。追尾開始操作があればS1105へ進み、なければS1106へ進む。実施形態としての追尾開始操作としては、ボタンカスタマイズ機能の「トラッキングの開始」が挙げられる。
【0192】
S1105では、追尾開始位置より被写体の検出を行い、主被写体を決定して追尾を開始する。追尾開始時には追尾開始位置(AFエリア枠)は非表示となり、追尾枠が表示される。(例:9-DからE、aからb)
【0193】
S1106では、追尾が継続されているかを判定する。追尾が継続されている場合は、S1107へ進み、追尾が継続されていない場合はS1108へ進む。
【0194】
S1107では追尾枠の更新を行う。被写体の動きに合わせて追尾枠を更新する。(例:9-BからC)
【0195】
S1108では、追尾停止操作があったかを判定する。追尾停止操作があればS1109へ進み、なければS1110へ進む。
【0196】
S1109では追尾枠の停止を行う。このとき追尾枠を非表示にして、追尾開始位置(AFエリア枠)を表示する。このとき、記憶している追尾開始位置を読み出し追尾開始位置を設定する。(例:9-CからD)
【0197】
S1110では、撮影準備操作があったかを判定する。撮影準備操作があればS1011へ進み、なければS1031へ進む。実施形態としての撮影準備操作はSW1やSW2操作が挙げられる。(例:9-AからF)
【0198】
S1111では、追尾開始位置の移動操作があったかを判定する。移動操作があればS1017へ進み、移動操作がなければS1019へ進む。実施形態としての移動操作としては、中央戻し操作による位置移動が挙げられる。なお他の実施形態としては8方向の操作部材などで位置移動を行ってもよい。
【0199】
S1112では、追尾開始位置の移動操作に基づいて、追尾開始位置の更新を行う。
【0200】
S1113では、追尾開始操作があったかを判定する。追尾開始操作があればS1114へ進み、なければS1115へ進む。実施形態としての追尾開始操作としては、ボタンカスタマイズ機能の「トラッキングの開始」が挙げられる。
【0201】
S1114では、追尾開始位置より被写体の検出を行い、主被写体をロックする。被写体ロック時は、追尾開始位置(AFエリア枠)は非表示となり、追尾枠が表示される。(例:9-fからg)
【0202】
S1115では、追尾停止操作があったかを判定する。追尾停止操作があればS1116へ進み、なければS1117へ進む。
【0203】
S1116では、主被写体ロックを解除する。なお解除時は内部的な追尾状態もOFFとする。(例:9-gからf)
【0204】
S1117では、AF動作を行うかを判定する。AF動作を行う場合はS1118へ進み、行わなければS1119へ進む。
【0205】
S1118では、AF動作を行う。実施形態としてのAF動作は、ワンショット動作が挙げられる。ワンショット動作であれば、撮影準備状態で一度行い、合焦後はピント位置をロックする。(例9-aからf)
【0206】
S1119では、撮影操作があったかを判定する。撮影操作があればS1120へ進み、なければS1122へ進む。
【0207】
S1120では、撮影動作を行う。実施形態としての撮影動作は、SW2で撮影を行う。(例:8-FからK)
【0208】
S1121では、撮影操作が継続されたか判定する。撮影操作が継続されているとS1120に戻り、継続されていないとS1122へ進む。連続撮影に設定されていて、SW2が保持されている間は、ワンショットAFではピント位置を固定したまま撮影を繰り返す。
【0209】
S1122では、撮影準備状態が解除されたか判定する。撮影準備状態が解除されるとS1123へ進み、解除されていないとS1111に戻る。
【0210】
S1123では、本フローの終了を判定する。終了する場合はS1124へ進み、終了しない場合はS1102に戻る。
【0211】
S1124では、追尾開始位置を記憶領域(メモリ)に記憶させて処理を終了する。
【0212】
上述したように、追尾停止時に撮影準備状態が継続されている間は追尾の連続性を優先してもとの追尾開始位置に戻らず、追尾被写体付近(直前まで追尾していた位置)を開始位置として停止する。また、撮影待機状態であれば追尾開始位置をもとの位置に戻す。これにより、最適な追尾開始位置を設定することができる。これにより、快適な操作性を実現する。特にデジタルカメラにおいて撮影する対象を決定する手段として有効であり、これによりシャッターチャンスを逃さない快適な撮影が可能になる。
【0213】
なお、本実施形態では、画面上の位置や大きさを示す指標として表示枠を矩形で表す例を説明したが、必ずしも矩形である必要はなく、例えば、円形、六角形など任意の形状であってよい。また、位置だけを示す十字のクロスといった照準のような表示であってもよい。
【0214】
また、システム制御部50は、撮影設定と検出設定を組み合わせた撮影条件に基づいてメタデータを生成し、撮像部22で撮像された画像データに付加して記録媒体200に記録することが可能である。記録された画像の表示の際には、画像データに関連して記録されているメタデータの表示を行うようにしてもよい。記録される画像データやメタデータ等は、例えば、Exif(ExchangeableImage File Format)等の規格に従って記録される。
【0215】
また、追尾停止は、ユーザーによる「トラッキングの停止」操作により行われることだけを説明したが、追尾対象を見失った場合、追尾の信頼度が所定値未満となった場合、または、追尾対象が切り替わった場合に、自動的に追尾停止を実行するようにしてもよい。
【0216】
また、システム制御部50が行うものとして説明した上述の各種の制御は1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
【0217】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【0218】
また、上述した実施形態においては、本発明をデジタルカメラ100に適用した場合を例にして説明したが、これはこの例に限定されず、画像処理に関する制御を行うことができるような表示制御装置であれば適用可能である。すなわち、本発明は携帯電話端末や携帯型の画像ビューワ、PC、ファインダーを備えるプリンタ装置、表示部を有する家電、デジタルフォトフレーム、プロジェクター、タブレットPC、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。
【0219】
(その他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。
【符号の説明】
【0220】
100 デジタルカメラ
150 レンズユニット
50 システム制御部
28 表示部
70a タッチパネル
22 撮像部
32 メモリ
70 操作部
77 AEロックボタン
78 拡大ボタン
75 SETボタン
79 再生ボタン