(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-26
(45)【発行日】2024-09-03
(54)【発明の名称】撮像装置、および撮像制御方法
(51)【国際特許分類】
H04N 23/667 20230101AFI20240827BHJP
H04N 23/69 20230101ALI20240827BHJP
H04N 23/695 20230101ALI20240827BHJP
H04N 23/54 20230101ALI20240827BHJP
H04N 23/55 20230101ALI20240827BHJP
G03B 15/00 20210101ALI20240827BHJP
G03B 5/00 20210101ALI20240827BHJP
G02B 7/08 20210101ALI20240827BHJP
【FI】
H04N23/667
H04N23/69
H04N23/695
H04N23/54
H04N23/55
G03B15/00 P
G03B15/00 Q
G03B5/00 J
G02B7/08 Z
(21)【出願番号】P 2021524780
(86)(22)【出願日】2020-05-26
(86)【国際出願番号】 JP2020020762
(87)【国際公開番号】W WO2020246317
(87)【国際公開日】2020-12-10
【審査請求日】2023-04-18
(31)【優先権主張番号】P 2019104613
(32)【優先日】2019-06-04
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110001357
【氏名又は名称】弁理士法人つばさ国際特許事務所
(72)【発明者】
【氏名】中尾 大輔
(72)【発明者】
【氏名】野口 翔平
(72)【発明者】
【氏名】高鳥 二郎
(72)【発明者】
【氏名】海老 紘彰
【審査官】高野 美帆子
(56)【参考文献】
【文献】特開2015-043558(JP,A)
【文献】特開2016-048864(JP,A)
【文献】特開2003-256836(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/667
H04N 23/69
H04N 23/695
H04N 23/54
H04N 23/55
G03B 15/00
G03B 5/00
G02B 7/08
(57)【特許請求の範囲】
【請求項1】
撮像部と、
ズーム部と、
フレーミング部と、
前記ズーム部および前記フレーミング部のうちの一方がユーザ操作により操作される場合は、前記ズーム部および前記フレーミング部のうち前記ユーザ操作により操作されていない方を、被写体の動きに応じて制御する制御部と
を備え
、
前記制御部は、前記被写体が所定の撮影範囲から外れると予測された場合において、前記ズーム部が前記ユーザ操作により操作されている場合には前記フレーミング部を制御して前記被写体が前記所定の撮影範囲から外れないようにフレーミング調整を行い、かつ、前記ユーザ操作によるズームイン操作を無効化する
撮像装置。
【請求項2】
前記フレーミング部は、前記ズーム部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行う
請求項1に記載の撮像装置。
【請求項3】
前記ズーム部は、前記フレーミング部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行う
請求項1に記載の撮像装置。
【請求項4】
前記フレーミング部は、前記ズーム部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行い、
前記ズーム部は、前記フレーミング部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行う
請求項1に記載の撮像装置。
【請求項5】
前記被写体の動きに基づいて、前記被写体が所定の撮影範囲から外れるか否かを予測する予測処理部、をさらに備える
請求項1に記載の撮像装置。
【請求項6】
前記制御部は、前記被写体が所定の撮影範囲から外れないように、前記ズーム部および前記フレーミング部のうち前記ユーザ操作により操作されていない方を、前記被写体の動きに応じて制御する
請求項1に記載の撮像装置。
【請求項7】
レンズ部をさらに備え、
前記ズーム部は、前記レンズ部を駆動して光学的なズーミングを行うレンズ駆動部と、撮像信号に基づいて電子的なズーミングを行う画像処理部との少なくとも1つを含む
請求項1に記載の撮像装置。
【請求項8】
レンズ部をさらに備え、
前記フレーミング部は、前記撮像部および前記レンズ部のうち少なくとも一方を駆動して手振れ補正を行う手振れ補正部と、撮像装置全体の姿勢を調整可能な姿勢調整機構との少なくとも1つを含む
請求項1に記載の撮像装置。
【請求項9】
前記ズーム部または前記フレーミング部による前記被写体の動きに応じたフレーミング調整の調整限界が近づいたことを警告する表示部、をさらに備える
請求項1に記載の撮像装置。
【請求項10】
レンズ部と、
前記レンズ部を駆動することによって前記ズーム部の前記ユーザ操作を可能にするズームリングと、前記レンズ部に設けられた操作ボタンとの少なくとも1つを含むズーム操作部と
をさらに備える
請求項1に記載の撮像装置。
【請求項11】
シャッタボタン、をさらに備え、
前記制御部は、前記シャッタボタンが半押しされた場合に前記被写体の動きに応じた制御を行う
請求項1に記載の撮像装置。
【請求項12】
前記制御部は、前記フレーミング部が前記ユーザ操作により操作される場合において、前記被写体が所定の撮影範囲から外れないと予測される場合には、前記ズーム部を制御して所定のズーム位置を維持する制御を行う
請求項1に記載の撮像装置。
【請求項13】
前記制御部による前記被写体の動きに応じた制御を、前記フレーミング部および前記ズーム部のうちいずれを制御して行うかを設定する第1の設定部、をさらに備える
請求項1に記載の撮像装置。
【請求項14】
前記制御部による前記被写体の動きに応じた制御を行うか否かを設定する第2の設定部、をさらに備える
請求項1に記載の撮像装置。
【請求項15】
前記予測処理部は、前記被写体が前記所定の撮影範囲に占める割合に応じて、前記所定の撮影範囲から外れるか否かを予測する対象の大きさを変更する
請求項5に記載の撮像装置。
【請求項16】
前記予測処理部は、
前記被写体全体または前記被写体の特定部位が前記所定の撮影範囲に占める割合が十分に小さいと判断される場合には、前記所定の撮影範囲から外れるか否かを予測する対象を、現在予測している対象よりも大きい対象に変更し、
前記被写体の特定部位が前記所定の撮影範囲内に納まらないと判断される場合には、前記所定の撮影範囲から外れるか否かを予測する対象を、現在予測している対象よりも小さい対象に変更する
請求項
15に記載の撮像装置。
【請求項17】
撮像部、ズーム部、およびフレーミング部を備える撮像装置において、前記ズーム部および前記フレーミング部のうちの一方がユーザ操作により操作される場合は、前記ズーム部および前記フレーミング部のうち前記ユーザ操作により操作されていない方を、被写体の動きに応じて制御
し、
前記被写体が所定の撮影範囲から外れると予測された場合において、前記ズーム部が前記ユーザ操作により操作されている場合には前記フレーミング部を制御して前記被写体が前記所定の撮影範囲から外れないようにフレーミング調整を行い、かつ、前記ユーザ操作によるズームイン操作を無効化する
撮像制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ズーミングおよびフレーミングを行うことが可能な撮像装置、および撮像制御方法に関する。
【背景技術】
【0002】
一般に、撮像装置ではユーザによる操作によって手動でズーミングおよびフレーミングを行うことが可能となっている。また、最適な構図で撮影されるように、撮像装置側でズーミングおよびフレーミングを自動で行う技術がある(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【0004】
ユーザが手動でズーミングまたはフレーミングの操作を行ってフレーミング調整を行うことは困難である。
【0005】
フレーミング調整を容易に行うことが可能な撮像装置、および撮像制御方法を提供することが望ましい。
【0006】
本開示の一実施の形態に係る撮像装置は、撮像部と、ズーム部と、フレーミング部と、ズーム部およびフレーミング部のうちの一方がユーザ操作により操作される場合は、ズーム部およびフレーミング部のうちユーザ操作により操作されていない方を、被写体の動きに応じて制御する制御部とを備える。制御部は、被写体が所定の撮影範囲から外れると予測された場合において、ズーム部がユーザ操作により操作されている場合にはフレーミング部を制御して被写体が所定の撮影範囲から外れないようにフレーミング調整を行い、かつ、ユーザ操作によるズームイン操作を無効化する。
【0007】
本開示の一実施の形態に係る撮像制御方法は、撮像部、ズーム部、およびフレーミング部を備える撮像装置において、ズーム部およびフレーミング部のうちの一方がユーザ操作により操作される場合は、ズーム部およびフレーミング部のうちユーザ操作により操作されていない方を、被写体の動きに応じて制御し、被写体が所定の撮影範囲から外れると予測された場合において、ズーム部がユーザ操作により操作されている場合にはフレーミング部を制御して被写体が所定の撮影範囲から外れないようにフレーミング調整を行い、かつ、ユーザ操作によるズームイン操作を無効化する。
【0008】
本開示の一実施の形態に係る撮像装置、または撮像制御方法では、ズーム部およびフレーミング部のうちの一方がユーザ操作により操作される場合は、ズーム部およびフレーミング部のうちユーザ操作により操作されていない方が、被写体の動きに応じて制御される。
【図面の簡単な説明】
【0009】
【
図1】本開示の第1の実施の形態に係る撮像装置の構成の概要を示すブロック図である。
【
図2】第1の実施の形態に係る撮像装置が適用されるカメラの構成の一具体例を示すブロック図である。
【
図3】第1の実施の形態に係る撮像装置における、ズーミング優先モードによるフレーミング調整の概要を示す説明図である。
【
図4】第1の実施の形態に係る撮像装置における、フレーミング優先モードによるフレーミング調整の概要を示す説明図である。
【
図5】一般的な自動露出制御の概要と第1の実施の形態に係る撮像装置によるフレーミング調整の概要とを比較して示す説明図である。
【
図6】第1の実施の形態に係る撮像装置によって、ズーミング優先モードによるフレーミング調整を行う場合の基本的な動作フローの一例を示す流れ図である。
【
図7】第1の実施の形態に係る撮像装置によって、特定部位に対してズーミング優先モードによるフレーミング調整を行う場合の動作フローの一例を示す流れ図である。
【
図8】第1の実施の形態に係る撮像装置によって、特定部位、かつ指定領域に対してズーミング優先モードによるフレーミング調整を行う場合の動作フローの一例を示す流れ図である。
【
図9】第1の実施の形態に係る撮像装置によって、フレーミング優先モードによるフレーミング調整を行う場合の基本的な動作フローの一例を示す流れ図である。
【
図10】第1の実施の形態に係る撮像装置によって、フレーミング優先モードによるフレーミング調整を、指定ズーム位置を維持しつつ行う場合の動作フローの一例を示す流れ図である。
【
図11】第1の実施の形態に係る撮像装置によって、特定部位に対してフレーミング優先モードによるフレーミング調整を、指定ズーム位置を維持しつつ行う場合の動作フローの一例を示す流れ図である。
【
図12】第2の実施の形態に係る撮像装置によって、フレーミング調整のオン/オフ切替とフレーミング調整の動作モードの選択とを自動で行う場合の動作フローの一例を示す流れ図である。
【
図13】第3の実施の形態に係る撮像装置によって、ズーミング優先モードによるフレーミング調整を行いつつ、特定の場合にズームイン操作を無効化する場合の基本的な動作フローの一例を示す流れ図である。
【
図14】第4の実施の形態に係る撮像装置によって、ズーミング優先モードによるフレーミング調整を行いつつ、フレーミング調整の対象となる特定部位の段階的切替を行う場合の動作フローの一例を示す流れ図である。
【発明を実施するための形態】
【0010】
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(
図1~
図11)
1.1 第1の実施の形態に係る撮像装置の構成
1.2 第1の実施の形態に係る撮像装置、および撮像制御方法の動作
1.3 効果および変形例
2.第2の実施の形態(
図12)
3.第3の実施の形態(
図13)
4.第4の実施の形態(
図14)
5.その他の実施の形態
【0011】
<1.第1の実施の形態>
[1.1 第1の実施の形態に係る撮像装置の構成]
(撮像装置の構成の概要)
図1は、本開示の第1の実施の形態に係る撮像装置の構成の概要を示している。
【0012】
第1の実施の形態に係る撮像装置は、撮像部1と、ズーム部2と、フレーミング部3と、ズーム操作部4と、フレーミング操作部5と、予測処理部6と、フレーミング調整制御部7と、レンズ部8と、フレーミング調整設定部9とを備えている。
【0013】
撮像部1は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を含んでいる。撮像部1は、被写体を撮影して撮像信号を出力する。
【0014】
ズーム部2は、被写体に対するズーミングを行う。なお、第1の実施の形態に係る撮像装置において、被写体とは、被写体全体または被写体の特定部位であってもよい。ズーム部2は、ズーム操作部4を介してユーザ操作により操作することが可能となっている。ズーム部2は、フレーミング部3がユーザ操作により操作される場合に、被写体の動きに応じた処理を行う。ズーム部2は例えば、レンズ部8を駆動して光学的なズーミングを行うレンズ駆動部と、撮像部1からの撮像信号に基づいて電子的なズーミングを行う画像処理部との少なくとも1つを含んでいてもよい。
【0015】
フレーミング部3は、被写体に対するフレーミングを行う。フレーミング部3は、フレーミング操作部5を介してユーザ操作により操作することが可能となっている。フレーミング部3は、ズーム部2がユーザ操作により操作される場合に、被写体の動きに応じた処理を行う。フレーミング部3は例えば、撮像部1およびレンズ部8のうち少なくとも一方を駆動して手振れ補正を行う手振れ補正部と、撮像装置全体の姿勢を調整可能な姿勢調整機構との少なくとも1つを含んでいてもよい。姿勢調整機構は、調整機構を備えた雲台や三脚等であってもよい。
【0016】
ズーム操作部4は、ズーム部2に対してズーミングの操作を行う。ズーム操作部4は、ユーザによって操作される部分であり、例えば、レンズ部8を駆動してズーム部2のユーザ操作を可能にするズームリングと、レンズ部8に設けられた操作ボタンとの少なくとも1つを含んでいてもよい。
【0017】
フレーミング操作部5は、ユーザによって操作される部分であり、フレーミング部3に対してフレーミングの操作を行う。
【0018】
予測処理部6は、被写体の動きを認識し、被写体が所定の撮影範囲から外れるか否かを予測する。
【0019】
フレーミング調整制御部7は、本開示の技術における「制御部」の一具体例に相当する。フレーミング調整制御部7は、ズーム部2およびフレーミング部3のうちの一方がユーザ操作により操作される場合は、ズーム部2およびフレーミング部3のうちユーザ操作により操作されていない方を、被写体の動きに応じて制御する。フレーミング調整制御部7は、被写体が所定の撮影範囲から外れないように、ズーム部2およびフレーミング部3のうちユーザ操作により操作されていない方を、被写体の動きに応じて制御する。フレーミング調整制御部7は、被写体の動きに応じた制御の一例として、具体的には、予測処理部6によって被写体が所定の撮影範囲から外れると予測された場合において、ズーム部2がユーザ操作による操作に基づいてズーミングを行っている場合に、フレーミング部3を制御して被写体が所定の撮影範囲から外れないようにフレーミング調整を行う。以下、このように、ユーザによるズーミング操作を優先してフレーミング調整を行う動作モードを「ズーミング優先モード」ともいう。
【0020】
また、フレーミング調整制御部7は、被写体の動きに応じた制御の一例として、具体的には、予測処理部6によって被写体が所定の撮影範囲から外れると予測された場合において、フレーミング部3がユーザ操作による操作に基づいてフレーミングを行っている場合に、ズーム部2を制御して被写体が所定の撮影範囲から外れないようにフレーミング調整を行う。以下、このように、ユーザによるフレーミング操作を優先してフレーミング調整を行う動作モードを「フレーミング優先モード」ともいう。
【0021】
フレーミング調整制御部7は、フレーミング部3がユーザ操作により操作される場合において、予測処理部6によって被写体が所定の撮影範囲から外れないと予測された場合には、ズーム部2を制御して所定のズーム位置を維持する制御を行うようにしてもよい。
【0022】
第1の実施の形態に係る撮像装置は、撮像部1に対してシャッタ動作を指示するシャッタボタン、をさらに備えていてもよい。フレーミング調整制御部7は、シャッタボタンが半押しされた場合に、被写体の動きに応じた制御であるフレーミング調整を行うようにしてもよい。
【0023】
レンズ部8は、被写体の光学像を形成する。レンズ部8は、ズーミングが可能なズームレンズを有することが好ましい。また、レンズ部8は、絞り調整、およびフォーカス調整が可能なレンズ構成であることが好ましい。
【0024】
フレーミング調整設定部9は例えば、撮影時の動作モードの設定等を行うためのモードダイヤルや本体操作ボタン等を含んでいる。フレーミング調整設定部9は、例えば、被写体の動きに応じた制御であるフレーミング調整を行う際の動作モード等の設定を行う。
【0025】
なお、第1の実施の形態に係る撮像装置は、
図1に示した一部の構成要素が外部に設けられた構成であってもよい。例えば予測処理部6が撮像装置に対して外部に設けられていてもよい。
【0026】
(撮像装置が適用されるカメラの構成の一具体例)
図2は、第1の実施の形態に係る撮像装置が適用されるカメラの構成の一具体例を示している。
【0027】
第1の実施の形態に係るカメラは、カメラ本体100と、カメラ本体100の姿勢を制御する画角調整ユニット50とを備えている。第1の実施の形態に係るカメラは、別体センサ60をさらに備えていてもよい。
【0028】
カメラ本体100は、撮像素子部10と、レンズ部20と、レンズIF(インタフェース)23と、処理部30と、トリガーIF(インタフェース)41と、表示部42と、記録媒体43とを備えている。表示部42や記録媒体43は、カメラ本体100とは別体として構成されていてもよい。
【0029】
撮像素子部10は、露光部11と、撮像素子アクチュエータ12と、手振れ補正制御部13とを備えている。
【0030】
露光部11は、
図1の構成における撮像部1の一具体例に相当する。露光部11は、CCDやCMOS等の撮像素子を含み、被写体を撮影して撮像信号を出力する。
【0031】
撮像素子アクチュエータ12は、
図1の構成における手振れ補正を行う場合のフレーミング部3の一具体例に相当する。撮像素子アクチュエータ12は、手振れ補正制御部13による制御に従って、露光部11の撮像素子を駆動(移動)させることにより光学的な手振れ補正を行う。
【0032】
レンズ部20は、
図1の構成におけるレンズ部8の一具体例に相当する。レンズ部20は、ズーミングが可能なズームレンズを有する。また、レンズ部20は、絞り調整、およびフォーカス調整が可能なレンズ構成となっている。また、レンズ部20は、光学的な手振れ補正が可能なレンズ構成となっている。
【0033】
レンズ部20は、レンズアクチュエータ21と、レンズアクチュエータ制御部22とを備えている。
【0034】
レンズアクチュエータ21は、
図1の構成における光学的なズーミングを行う場合のズーム部2の一具体例に相当する。また、レンズアクチュエータ21は、
図1の構成における手振れ補正を行う場合のフレーミング部3の一具体例に相当する。レンズアクチュエータ21は、レンズアクチュエータ制御部22による制御に従って、レンズ部20のレンズを駆動(移動)させることにより光学的なズーミングやフォーカス調整等を行う。また、レンズアクチュエータ21は、手振れ補正制御部13およびレンズアクチュエータ制御部22による制御に従って、レンズ部20のレンズを駆動(移動)させることにより光学的な手振れ補正を行う。
【0035】
レンズアクチュエータ制御部22は、レンズアクチュエータ21を制御してレンズ部20を構成するレンズを駆動して、ズーミング、フォーカス調整、および光学的な手振れ補正等を行わせる。
【0036】
レンズIF23は例えば、操作ボタン、ズームリング、およびズームリング接触感知センサ等を含んでいる。レンズIF23は、
図1の構成におけるズーム操作部4およびフレーミング操作部5の一具体例に相当する。
【0037】
手振れ補正制御部13は、撮像素子アクチュエータ12を制御して露光部11の撮像素子を移動(光軸シフト等)させることにより光学的な手振れ補正を行わせる。また、手振れ補正制御部13は、レンズアクチュエータ制御部22と共にレンズアクチュエータ21を制御してレンズ部20のレンズを移動(光軸シフト等)させることにより光学的な手振れ補正を行わせる。
【0038】
処理部30は、認識・予測処理部31と、処理実施判定部32と、画像現像処理部33とを含んでいる。
【0039】
認識・予測処理部31は、
図1の構成における予測処理部6の一具体例に相当する。認識・予測処理部31は、被写体全体または被写体の特定部位の動きを認識し、被写体全体または被写体の特定部位が所定の撮影範囲から外れるか否かを予測する。認識・予測処理部31は、露光部11からの撮像信号に基づいて、認識、予測処理を行うが、認識、予測処理は高速であることが望ましい。このため、認識・予測処理部31には、画素の間引きなどにより高速に読み出された画像データが入力されることが望ましい。認識・予測処理部31は、別体センサ60からのセンサ信号に基づいて認識、予測処理を行うようにしてもよい。別体センサ60による撮影画角範囲は撮像素子部10による撮影画角範囲よりも広角であることが望ましい。これにより、より広い撮影画角範囲の認識、予測処理を行うことが可能となる。認識・予測処理部31は、認識、予測した結果に基づいて、トリガーIF41等から設定された動作モードによる制御がなされるように、手振れ補正制御部13、レンズアクチュエータ制御部22、および姿勢制御アクチュエータ制御部52を制御する。
【0040】
処理実施判定部32は、トリガーIF41からのトリガー信号に基づいて、トリガーIF41で設定された動作モードによる各種処理を認識・予測処理部31および画像現像処理部33に対して実施させる。
【0041】
画像現像処理部33は、
図1の構成における電子的なズーミングを行う場合のズーム部2の一具体例に相当する。画像現像処理部33は、露光部11からの撮像信号に基づいて、記録媒体43への記録に適した画像データを生成する。また、画像現像処理部33は、露光部11からの撮像信号に基づいて、表示部42への表示に適した画像データを生成する。また、画像現像処理部33は、電子的なズーミングを行う場合には、画像の拡大処理等を行う。露光部11から画像現像処理部33に入力される撮像信号は、全画素読み出しされた通常の画像データである。
【0042】
トリガーIF41は、例えばシャッタボタンやモードダイヤル等を含んでいる。トリガーIF41は、
図1の構成におけるフレーミング調整設定部9の一具体例に相当する。
【0043】
表示部42は例えば、液晶ディスプレイや有機(Electro Luminescence)ディスプレイ等で構成され、撮影された画像データを表示する。また、表示部42は、フレーミング調整制御部7によるフレーミング調整の調整限界が近づいたことを警告するような表示を行うようにしてもよい。
【0044】
記録媒体43は、撮影された画像データを記録可能な、例えば半導体記録素子等の記録媒体である。記録媒体43は、カメラ本体100内に内蔵される内蔵形式のものであってもよいし、カメラ本体100内に対して取り外し可能なカード形式等の外部記録媒体であってもよい。
【0045】
画角調整ユニット50は、姿勢制御アクチュエータ51と、姿勢制御アクチュエータ制御部52とを含んでいる。画角調整ユニット50は、例えば雲台や三脚等を含んでいる。
【0046】
姿勢制御アクチュエータ51は、
図1の構成におけるカメラ全体の姿勢を調整する場合のフレーミング部3の一具体例に相当する。姿勢制御アクチュエータ51は、姿勢制御アクチュエータ制御部52による制御に従って、雲台や三脚等を駆動(移動)させることによりカメラ本体100を移動させてフレーミングを行う。
【0047】
姿勢制御アクチュエータ制御部52は、姿勢制御アクチュエータ51を制御して雲台や三脚等を駆動してフレーミングを行わせる。
【0048】
認識・予測処理部31、手振れ補正制御部13、レンズアクチュエータ制御部22、および姿勢制御アクチュエータ制御部52はそれぞれ、
図1の構成におけるフレーミング調整制御部7の一具体例に相当する。
【0049】
[1.2 第1の実施の形態に係る撮像装置、および撮像制御方法の動作]
ここでは、第1の実施の形態に係る撮像装置、および撮像制御方法による動作として、主として被写体の動きに応じた制御であるフレーミング調整を行う動作に係る動作例を説明する。また、主として
図1に示した構成を例にして説明する。
【0050】
第1の実施の形態に係る撮像装置では、予測処理部6で被写体の動きを自動で認識し、フレーミング調整制御部7が、ズーム部2またはフレーミング部3のどちらかを自動で調整することで被写体を所定の撮影範囲内に維持し続ける。所定の撮影範囲とは、撮影画角範囲全体であってもよいし、後述する
図8の動作例に示すような、あらかじめ設定された指定領域であってもよい。
【0051】
ズーミング優先モードの場合には、ユーザが手動でズーミングを調整し、フレーミング調整制御部7はフレーミング部3を制御して被写体がフレームアウトしないようなフレーミング調整を行う。フレーミング優先モードでは、ユーザが手動でフレーミングを調整し、フレーミング調整制御部7はズーム部2を制御して被写体がフレームアウトしないようなフレーミング調整を行う。
【0052】
フレーミング調整の対象は、
図3および
図4に示したように、例えば人や動物等の被写体の全体であってもよいし、被写体の特定部位であってもよい。例えば人や動物等の被写体における顔や目等であってもよい。また、被写体または被写体の特定部位が複数、存在してもよい。
【0053】
図3は、第1の実施の形態に係る撮像装置における、ズーミング優先モードによるフレーミング調整の概要を示している。
図4は、第1の実施の形態に係る撮像装置における、フレーミング優先モードによるフレーミング調整の概要を示している。
【0054】
図3の場合、被写体70が鳥である場合を例にしている。
図3の場合、ユーザが手動でズーミングを調整している場合(
図3(A))において、被写体70が撮影画角範囲から外れそうになる(
図3(B))ことを予測処理部6が予測すると、フレーミング調整制御部7がフレーミング部3を制御して被写体70がフレームアウトしないようなフレーミング調整を自動で行っている(
図3(C))。
【0055】
図4の場合、被写体が複数の部位に別れている。
図4の場合、サッカーをしている場面であり、被写体71(選手)と被写体72(ボール)とが存在する。
図4の場合、ユーザが手動でフレーミングを調整している場合(
図4(A))において、被写体72が撮影画角範囲から外れた(
図4(B))ことを予測処理部6が認識し、フレーミング調整制御部7がズーム部2を制御して被写体72が撮影画角範囲内に入るようにズームアウトすることによって、フレーミング調整を自動で行っている(
図4(C))。このように、本開示の技術は、被写体が複数の部位に別れていても有効である。
【0056】
図5は、一般的な自動露出制御の概要(
図5(A))と第1の実施の形態に係る撮像装置によるフレーミング調整の概要(
図5(B))とを比較して示している。
【0057】
シャッタスピードとアパーチャとのいずれか一方をユーザが操作し、他方を撮像装置側が自動で調節する自動露出制御の技術がある。ユーザがシャッタスピードを操作する場合はシャッタ優先モード、ユーザがアパーチャを操作する場合はアパーチャ優先モードとなる。これに対して、第1の実施の形態に係る撮像装置では、フレーミングとズーミングとのいずれか一方をユーザが操作し、他方を撮像装置側が自動で調節する技術である。ユーザがフレーミングを操作する場合はフレーミング優先モード、ユーザがズーミングを操作する場合はズーミング優先モードとなる。
【0058】
一般に、ユーザがズーミングとフレーミングとを同時に操作することは難しい。例えば、ユーザがズーミングしている場合において、被写体自身が早く動くとき、被写体がフレームアウトしやすい。また、第1の被写体を追っかけているときに第2の被写体が出現した場合に両方を撮影することは難しい。第1の実施の形態に係る撮像装置では、ズーミングとフレーミングとのいずれか一方を自動で制御することにより、そのような場合であっても、フレーミング調整を容易に行うことが可能となる。
【0059】
(ズーミング優先モードの動作例)
図6は、第1の実施の形態に係る撮像装置によって、ズーミング優先モードによるフレーミング調整を行う場合の基本的な動作フローの一例を示している。
【0060】
まず、予測処理部6が被写体を自動で特定する(ステップS101)。また、フレーミング調整設定部9によってユーザが被写体を手動で指定してもよい。次に、撮像装置は、ズーミング優先モードによる動作を開始する(ステップS102)。
【0061】
次に、ユーザによるズーミング操作、ユーザによるフレーミング操作、または被写体の移動によって被写体の位置が変化する(ステップS103)と、予測処理部6は、被写体が撮影画角から外れそうか否か、または外れたか否かを認識、予測する(ステップS104)。なお、被写体が複数の場合は、被写体同士が近づいたり離れたりすることがある。予測処理部6が被写体が撮影画角から外れそうではない、または外れてはいないと認識、予測する場合(ステップS104;N)には、ステップS103の処理に戻る。
【0062】
予測処理部6によって、被写体が撮影画角から外れそう、または外れたと認識、予測された場合(ステップS104;Y)には、フレーミング調整制御部7はフレーミング部3を制御して光軸調整を行い、撮影画角から被写体が外れない方向(基本的には画面中心方向に被写体が来る方向)にフレーミング調整を行う(ステップS105)。
【0063】
次に、フレーミング調整制御部7はフレーミング調整の調整限界の範囲内であるか否かを判断する(ステップS106)。
【0064】
フレーミング調整制御部7は、フレーミング調整の調整限界の範囲内ではないと判断した場合(ステップS106;N)には、ズーミング優先モードによるフレーミング調整の制御を解除(停止)する(ステップS109)。
【0065】
一方、フレーミング調整の調整限界の範囲内であると判断した場合(ステップS106;Y)であっても、調整限界が近い場合には、フレーミング調整制御部7は、必要に応じて表示部42(
図2)に、フレーミング調整の調整限界が近づいたことを警告するような表示や、調整限界の度合い、フレーミング調整を緩和するフレーミング方向等を表示させる(ステップS107)。フレーミング調整制御部7は、例えば、どの方向にユーザがフレーミングをずらせば調整の余裕が生まれるか等を、色やテキスト、画像等で知らせるような表示を表示部42(
図2)に行わせる。また、ユーザによるズーミング操作やユーザによるフレーミング操作によって、明るさやフォーカスなどが変化することがあるので、フレーミング調整制御部7は、必要に応じてレンズアクチュエータ21(
図2)等を制御して、絞りやフォーカスなどを自動で調整(ステップS108)し、ステップS103の処理に戻る。
【0066】
図7は、第1の実施の形態に係る撮像装置によって、特定部位に対してズーミング優先モードによるフレーミング調整を行う場合の動作フローの一例を示している。この動作フローでは、フレーミング調整制御部7は、被写体全体ではなく、目や顔などの特定部位(物体)を撮影画角範囲内に納め続けるようなフレーミング調整を行う。この場合、被写体全体は撮影画角範囲から外れても問題ではなく、アップ写真なども可能となる。
【0067】
まず、予測処理部6が被写体の特定部位を自動で特定する(ステップS121)。また、フレーミング調整設定部9によってユーザが被写体の特定部位を手動で指定してもよい。次に、撮像装置は、ズーミング優先モードによる動作を開始する(ステップS122)。
【0068】
次に、ユーザによるズーミング操作、ユーザによるフレーミング操作、または特定部位の移動によって特定部位の位置が変化する(ステップS123)と、予測処理部6は、特定部位が撮影画角から外れそうか否か、または外れたか否かを認識、予測する(ステップS124)。予測処理部6が特定部位が撮影画角から外れそうではない、または外れてはいないと認識、予測する場合(ステップS124;N)には、ステップS123の処理に戻る。
【0069】
予測処理部6によって、特定部位が撮影画角から外れそう、または外れたと認識、予測された場合(ステップS124;Y)には、フレーミング調整制御部7はフレーミング部3を制御して光軸調整を行い、撮影画角から特定部位が外れない方向(基本的には画面中心方向に特定部位が来る方向)にフレーミング調整を行う(ステップS125)。
【0070】
次に、フレーミング調整制御部7はフレーミング調整の調整限界の範囲内であるか否かを判断する(ステップS126)。
【0071】
フレーミング調整制御部7は、フレーミング調整の調整限界の範囲内ではないと判断した場合(ステップS126;N)には、ズーミング優先モードによるフレーミング調整の制御を解除(停止)する(ステップS129)。
【0072】
一方、フレーミング調整の調整限界の範囲内であると判断した場合(ステップS126;Y)であっても、調整限界が近い場合には、フレーミング調整制御部7は、必要に応じて表示部42(
図2)に、フレーミング調整の調整限界が近づいたことを警告するような表示や、調整限界の度合い、フレーミング調整を緩和するフレーミング方向等を表示させる(ステップS127)。フレーミング調整制御部7は、例えば、どの方向にユーザがフレーミングをずらせば調整の余裕が生まれるか等を、色やテキスト、画像等で知らせるような表示を表示部42(
図2)に行わせる。また、ユーザによるズーミング操作やユーザによるフレーミング操作によって、明るさやフォーカスなどが変化することがあるので、フレーミング調整制御部7は、必要に応じてレンズアクチュエータ21(
図2)等を制御して、絞りやフォーカスなどを自動で調整(ステップS128)し、ステップS123の処理に戻る。
【0073】
図8は、第1の実施の形態に係る撮像装置によって、特定部位、かつ指定領域に対してズーミング優先モードによるフレーミング調整を行う場合の動作フローの一例を示している。この動作フローでは、フレーミング調整制御部7は、特定部位を撮影画角範囲内に維持するのではなく、特定部位を、フレーミング調整設定部9によってあらかじめ設定された指定領域に維持するようなフレーミング調整を行う。この動作フローでは、より精密な構図を維持することができる。
【0074】
まず、予測処理部6が被写体の特定部位を自動で特定する(ステップS131)。また、フレーミング調整設定部9によってユーザが被写体の特定部位を手動で指定してもよい。次に、撮像装置は、ズーミング優先モードによる動作を開始する(ステップS132)。
【0075】
次に、ユーザによるズーミング操作、ユーザによるフレーミング操作、または特定部位の移動によって特定部位の位置が変化する(ステップS133)と、予測処理部6は、特定部位が指定領域から外れそうか否か、または外れたか否かを認識、予測する(ステップS134)。予測処理部6が特定部位が指定領域から外れそうではない、または外れてはいないと認識、予測する場合(ステップS134;N)には、ステップS133の処理に戻る。
【0076】
予測処理部6によって、特定部位が指定領域から外れそう、または外れたと認識、予測された場合(ステップS134;Y)には、フレーミング調整制御部7はフレーミング部3を制御して光軸調整を行い、指定領域から特定部位が外れない方向(基本的には画面中心方向に特定部位が来る方向)にフレーミング調整を行う(ステップS135)。
【0077】
次に、フレーミング調整制御部7はフレーミング調整の調整限界の範囲内であるか否かを判断する(ステップS136)。
【0078】
フレーミング調整制御部7は、フレーミング調整の調整限界の範囲内ではないと判断した場合(ステップS136;N)には、ズーミング優先モードによるフレーミング調整の制御を解除(停止)する(ステップS139)。
【0079】
一方、フレーミング調整の調整限界の範囲内であると判断した場合(ステップS136;Y)であっても、調整限界が近い場合には、フレーミング調整制御部7は、必要に応じて表示部42(
図2)に、フレーミング調整の調整限界が近づいたことを警告するような表示や、調整限界の度合い、フレーミング調整を緩和するフレーミング方向等を表示させる(ステップS137)。フレーミング調整制御部7は、例えば、どの方向にユーザがフレーミングをずらせば調整の余裕が生まれるか等を、色やテキスト、画像等で知らせるような表示を表示部42(
図2)に行わせる。また、ユーザによるズーミング操作やユーザによるフレーミング操作によって、明るさやフォーカスなどが変化することがあるので、フレーミング調整制御部7は、必要に応じてレンズアクチュエータ21(
図2)等を制御して、絞りやフォーカスなどを自動で調整(ステップS138)し、ステップS133の処理に戻る。
【0080】
(フレーミング優先モードの動作例)
図9は、第1の実施の形態に係る撮像装置によって、フレーミング優先モードによるフレーミング調整を行う場合の基本的な動作フローの一例を示している。
【0081】
まず、予測処理部6が被写体を自動で特定する(ステップS201)。また、フレーミング調整設定部9によってユーザが被写体を手動で指定してもよい。次に、撮像装置は、フレーミング優先モードによる動作を開始する(ステップS202)。
【0082】
次に、ユーザによるフレーミング操作、または被写体の移動によって被写体の位置が変化する(ステップS203)と、予測処理部6は、被写体が撮影画角から外れそうか否か、または外れたか否かを認識、予測する(ステップS204)。なお、被写体が複数の場合は、被写体同士が近づいたり離れたりすることがある。予測処理部6が被写体が撮影画角から外れそうではない、または外れてはいないと認識、予測する場合(ステップS204;N)には、ステップS203の処理に戻る。
【0083】
予測処理部6によって、被写体が撮影画角から外れそう、または外れたと認識、予測された場合(ステップS204;Y)には、フレーミング調整制御部7はズーム部2を制御してレンズ駆動によってズームアウトを行い、撮影画角から被写体が外れないようにズーム位置を調整することによって、フレーミング調整を行う(ステップS205)。
【0084】
次に、フレーミング調整制御部7はフレーミング調整の調整限界の範囲内であるか否かを判断する(ステップS206)。
【0085】
フレーミング調整制御部7は、フレーミング調整の調整限界の範囲内であると判断した場合(ステップS206;Y)には、ステップS203の処理に戻る。一方、フレーミング調整の調整限界の範囲内ではないと判断した場合(ステップS206;N)には、ユーザによるフレーミング操作によって、明るさやフォーカスなどが変化することがあるので、フレーミング調整制御部7は、必要に応じてレンズアクチュエータ21(
図2)等を制御して、絞りやフォーカスなどを自動で調整(ステップS207)した後、フレーミング優先モードによるフレーミング調整の制御を解除(停止)する(ステップS208)。
【0086】
図10は、第1の実施の形態に係る撮像装置によって、フレーミング優先モードによるフレーミング調整を、指定ズーム位置を維持しつつ行う場合の動作フローの一例を示している。この動作フローでは、フレーミング調整設定部9によってあらかじめ指定ズーム位置を指定するか、所定の指定ズーム位置をあらかじめ記憶しておく。フレーミング調整制御部7は、被写体が撮影画角範囲から外れない限りは、そのズーム位置を可能な限り維持するが、画角から外れそうになりズームアウトした後も、再度、撮影画角範囲に余裕ができればズームインし、元の指定ズーム位置の維持に努める制御を行う。
【0087】
まず、予測処理部6が被写体を自動で特定する(ステップS221)。また、フレーミング調整設定部9によってユーザが被写体を手動で指定してもよい。また、フレーミング調整設定部9によってあらかじめ指定ズーム位置を指定するか、所定の指定ズーム位置をあらかじめ記憶しておく。次に、撮像装置は、フレーミング優先モードによる動作を開始する(ステップS222)。
【0088】
次に、ユーザによるフレーミング操作、または被写体の移動によって被写体の位置が変化する(ステップS223)と、予測処理部6は、被写体が撮影画角から外れそうか否か、または外れたか否かを認識、予測する(ステップS224)。なお、被写体が複数の場合は、被写体同士が近づいたり離れたりすることがある。
【0089】
予測処理部6が被写体が撮影画角から外れそうではない、または外れてはいないと認識、予測する場合(ステップS224;N)には、次に、フレーミング調整制御部7は、指定ズーム位置にあっていないか否かを判断する(ステップS229)。フレーミング調整制御部7は、指定ズーム位置にあっていると判断した場合(ステップS229;N)には、ステップS223の処理に戻る。一方、指定ズーム位置にあっていないと判断した場合(ステップS229;Y)には、フレーミング調整制御部7はズーム部2を制御してレンズ駆動によってズームイン、またはズームアウトを行い、指定ズーム位置となるようにズーム位置を調整(ステップS230)した後、ステップS223の処理に戻る。
【0090】
また、予測処理部6によって、被写体が撮影画角から外れそう、または外れたと認識、予測された場合(ステップS224;Y)には、フレーミング調整制御部7はズーム部2を制御してレンズ駆動によってズームアウトを行い、撮影画角から被写体が外れないようにズーム位置を調整することによって、フレーミング調整を行う(ステップS225)。
【0091】
次に、フレーミング調整制御部7はフレーミング調整の調整限界の範囲内であるか否かを判断する(ステップS226)。
【0092】
フレーミング調整制御部7は、フレーミング調整の調整限界の範囲内であると判断した場合(ステップS226;Y)には、ステップS223の処理に戻る。一方、フレーミング調整の調整限界の範囲内ではないと判断した場合(ステップS226;N)には、ユーザによるフレーミング操作によって、明るさやフォーカスなどが変化することがあるので、フレーミング調整制御部7は、必要に応じてレンズアクチュエータ21(
図2)等を制御して、絞りやフォーカスなどを自動で調整(ステップS227)した後、フレーミング優先モードによるフレーミング調整の制御を解除(停止)する(ステップS228)。
【0093】
図11は、第1の実施の形態に係る撮像装置によって、特定部位に対してフレーミング優先モードによるフレーミング調整を、指定ズーム位置を維持しつつ行う場合の動作フローの一例を示している。この動作フローでは、フレーミング調整設定部9は、被写体全体ではなく、目や顔などの特定部位(物体)を撮影画角範囲内に納め続けるようなフレーミング調整を行う。
【0094】
まず、予測処理部6が被写体の特定部位を自動で特定する(ステップS231)。また、フレーミング調整設定部9によってユーザが被写体の特定部位を手動で指定してもよい。また、フレーミング調整設定部9によってあらかじめ指定ズーム位置を指定するか、所定の指定ズーム位置をあらかじめ記憶しておく。次に、撮像装置は、フレーミング優先モードによる動作を開始する(ステップS232)。
【0095】
次に、ユーザによるフレーミング操作、または特定部位の移動によって特定部位の位置が変化する(ステップS233)と、予測処理部6は、特定部位が撮影画角から外れそうか否か、または外れたか否かを認識、予測する(ステップS234)。なお、特定部位が複数の場合は、特定部位同士が近づいたり離れたりすることがある。
【0096】
予測処理部6が特定部位が撮影画角から外れそうではない、または外れてはいないと認識、予測する場合(ステップS234;N)には、次に、フレーミング調整制御部7は、指定ズーム位置にあっていないか否かを判断する(ステップS239)。フレーミング調整制御部7は、指定ズーム位置にあっていると判断した場合(ステップS239;N)には、ステップS233の処理に戻る。一方、指定ズーム位置にあっていないと判断した場合(ステップS239;Y)には、フレーミング調整制御部7はズーム部2を制御してレンズ駆動によってズームイン、またはズームアウトを行い、指定ズーム位置となるようにズーム位置を調整(ステップS240)した後、ステップS233の処理に戻る。
【0097】
また、予測処理部6によって、特定部位が撮影画角から外れそう、または外れたと認識、予測された場合(ステップS234;Y)には、フレーミング調整制御部7はズーム部2を制御してレンズ駆動によってズームアウトを行い、撮影画角から特定部位が外れないようにズーム位置を調整することによって、フレーミング調整を行う(ステップS235)。
【0098】
次に、フレーミング調整制御部7はフレーミング調整の調整限界の範囲内であるか否かを判断する(ステップS236)。
【0099】
フレーミング調整制御部7は、フレーミング調整の調整限界の範囲内であると判断した場合(ステップS236;Y)には、ステップS233の処理に戻る。一方、フレーミング調整の調整限界の範囲内ではないと判断した場合(ステップS236;N)には、ユーザによるフレーミング操作によって、明るさやフォーカスなどが変化することがあるので、フレーミング調整制御部7は、必要に応じてレンズアクチュエータ21(
図2)等を制御して、絞りやフォーカスなどを自動で調整(ステップS237)した後、フレーミング優先モードによるフレーミング調整の制御を解除(停止)する(ステップS238)。
【0100】
[1.3 効果および変形例]
以上説明したように、第1の実施の形態に係る撮像装置、および撮像制御方法によれば、フレーミング調整を容易に行うことが可能となる。
【0101】
第1の実施の形態に係る撮像装置、および撮像制御方法では、フレーミング調整の動作中に、自動でシャッタを切るような動作を追加することも可能である。例えば、ズーミング優先モードによる動作中に、被写体が撮影画角から外れそうとなったタイミングで自動でシャッタを切るような動作を行うようにしてもよい。
【0102】
また、第1の実施の形態に係る撮像装置、および撮像制御方法では、フレーミング調整の動作中に、動画編集時の利便性向上のために、被写体が撮影画角範囲内に入った後、出ていく瞬間に画像データ中にトリミングフラグを立てるようなことも可能である。
【0103】
また、第1の実施の形態に係る撮像装置、および撮像制御方法では、あらかじめ登録されたテンプレートの構図に合わせるようなフレーミング調整を行うことも可能である。この場合、テンプレートの構図を複数、用意しておき、ユーザがカメラ本体100の操作ボタン等から任意のテンプレートを選択可能にしてもよい。
【0104】
また、第1の実施の形態に係る撮像装置、および撮像制御方法における、フレーミング優先モードによるフレーミング調整の技術を、動画撮影時のドリーズームの自動化に使うようにしてもよい。ドリーズームとは、被写体のサイズは一定としながらも、背景の遠近感だけを変化させるという撮影手法である。
【0105】
従来は構図を行う上で、ユーザがズーミングとフレーミングとを同時に制御する必要があった。しかしながら、被写体の動きが早い、または予測が難しい動きをしている場合には画角が安定せず、場合によってはフレームアウトを起こしてしまうことがある。第1の実施の形態に係る撮像装置、および撮像制御方法によれば、ズーミングとフレーミングとの一方をユーザが行い、他方を撮像装置側が自動制御することで人間の構図決定の意図を反映しつつ、負担を軽減することができる。この際、撮像装置側でのズーミングとフレーミングとの自動制御には物体認識や物体追尾技術を用いることで、単なる手振れ補正ではなく、構図としての安定化を実現することができる。
【0106】
第1の実施の形態に係る撮像装置、および撮像制御方法によれば、静止画では撮影機会の増大につながり、動画撮影においては画角の安定化を実現することで、撮影者の負担を低減すると共に写真または映像の質的向上に寄与することができる。
【0107】
第1の実施の形態に係る撮像装置、および撮像制御方法によれば、フレーミング調整の対象を被写体全体ではなく特定部位(目・顔など)にすることで、注目位置を撮影画角範囲内に納め続けることができる。この場合、被写体サイズを超えるズーミングをユーザが行っても、フレーミング調整の動作はし続ける。例えば、目をフレーミング調整の対象にすることで、バストアップや顔のアップなどにも適用可能となる。動物の目などでもその恩恵は大きい。また、フレーミング調整による光軸維持範囲を画角全体ではなく、画角内の指定領域にすることで、さらに構図として安定した写真や動画を得ることができる。指定領域を限りなく狭くした場合、フレーミング調整の対象を画面から動かすことなくズーミングまたはフレーミングが可能となる。例えば動物の目をフレーミング調整の対象としてズーミング優先モードでズーミングした場合、光軸の調整範囲内であれば、動物の目が画角の1点で動くことなくズームする連写画像や動画を撮影することが簡単にできるようになる。これはズーミング優先モードだけでなく、フレーミング優先モードでも同様にメリットが大きい。
【0108】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
【0109】
<2.第2の実施の形態>
次に、本開示の第2の実施の形態に係る撮像装置、および撮像制御方法について説明する。なお、以下では、上記第1の実施の形態に係る撮像装置、および撮像制御方法の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
【0110】
本開示の第2の実施の形態に係る撮像装置の基本的な構成は、
図1および
図2に示した構成と略同様であってもよい。
【0111】
第2の実施の形態に係る撮像装置において、フレーミング調整設定部9は例えば、モードダイヤルや本体操作ボタン等を含んでいてもよい。
【0112】
第2の実施の形態に係る撮像装置において、フレーミング調整設定部9は、フレーミング調整制御部7による被写体の動きに応じた制御であるフレーミング調整を、フレーミング部3およびズーム部2のうちいずれを制御して行うかを設定する第1の設定部を含んでいてもよい。また、フレーミング調整設定部9は、フレーミング調整制御部7によるフレーミング調整を行うか否かを設定する第2の設定部を含んでいてもよい。
【0113】
第2の実施の形態に係る撮像装置では、ズーミング優先モードとフレーミング優先モードとを自動的に切り替え可能である。例えばユーザがズーム操作部4(
図1)またはレンズIF23(
図2)におけるズームリングを動かす、またはズーム操作部4(
図1)またはレンズIF23(
図2)における特定のボタンを押している間は自動でズーミング優先モードとし、他の場合はフレーミング優先モードとするようなことも可能である。
【0114】
図12は、第2の実施の形態に係る撮像装置によって、フレーミング調整のON/OFF切替とフレーミング調整の動作モードの選択とを自動で行う場合の動作フローの一例を示している。
【0115】
第2の実施の形態に係る撮像装置では、フレーミング調整設定部9(
図1)やトリガーIF41(
図2)に設けられたモードダイヤルまたはメニューによって、「ズーミング優先」設定、「フレーミング優先」設定、「ズーミング優先/フレーミング優先自動切替」設定、「フレーミング調整 ON/OFF」設定の各設定を選択することができる。
【0116】
「ズーミング優先」設定、「フレーミング優先」設定、「ズーミング優先/フレーミング優先自動切替」設定を選択していても、他のインタフェースによって独立にフレーミング調整の機能自体をON/OFFすることができる。例として、「フレーミング調整 ON/OFF」設定のインタフェースとしてレンズIF23(
図2)またはトリガーIF41(
図2)におけるボタンによってON/OFFを瞬時に切り替えることが挙げられる。また、シャッタボタンを半押ししている間はフレーミング調整がONとなり、半押しを解除するとOFFにすることなども考えられる。
【0117】
「ズーミング優先/フレーミング優先自動切替」設定では、ユーザの動作によって「ズーミング優先」設定と「フレーミング優先」設定とが自動で切り替わり、モードダイヤルやメニューボタンによる操作を必要としない。例としては「ズームリングを動作中はズーミング優先モード、離して一定時間が経過するとフレーミング優先モード」とすることや、「ズームリングに指が接触しているときはズーミング優先モード、接触していないときはフレーミング優先モード」とすることなどが挙げられる。
【0118】
「フレーミング優先」設定時にはフレーミング調整制御部7によるズーム部2の制御によって、ズームイン、ズームアウトが自動で動作する。それによってズームリングが動作するとユーザの使用感が落ちるため、フレーミング優先時にはズーム動作のフィードバックをズームレンズには行わないこともできる。
【0119】
以下、
図12の動作フローを例に説明する。まず、予測処理部6が被写体を自動で特定する(ステップS301)。また、フレーミング調整設定部9によってユーザが被写体を手動で指定してもよい。
【0120】
次に、フレーミング調整制御部7は、「ズーミング優先」の設定がなされているか否かを判断する(ステップS302)。フレーミング調整制御部7は、「ズーミング優先」の設定がなされていると判断した場合(ステップS302;Y)には、次に、「フレーミング調整 ON/OFF」の現在設定がONであるか否かを判断する(ステップS306)。フレーミング調整制御部7は、「フレーミング調整 ON/OFF」の現在設定がONではないと判断した場合(ステップS306;N)には、ズーミング優先モードを解除(停止)する(ステップS308)。また、フレーミング調整制御部7は、「フレーミング調整 ON/OFF」の現在設定がONであると判断した場合(ステップS306;Y)には、ズーミング優先モードによる動作を開始する(ステップS309)。
【0121】
一方、「ズーミング優先」の設定がなされていないと判断した場合(ステップS302;N)には、フレーミング調整制御部7は、次に、「フレーミング優先」の設定がなされているか否かを判断する(ステップS303)。フレーミング調整制御部7は、「フレーミング優先」の設定がなされていると判断した場合(ステップS303;Y)には、次に、「フレーミング調整 ON/OFF」の現在設定がONであるか否かを判断する(ステップS307)。フレーミング調整制御部7は、「フレーミング調整 ON/OFF」の現在設定がONではないと判断した場合(ステップS307;N)には、ズーミング優先モードを解除(停止)する(ステップS308)。また、フレーミング調整制御部7は、「フレーミング調整 ON/OFF」の現在設定がONであると判断した場合(ステップS307;Y)には、フレーミング優先モードによる動作を開始する(ステップS310)。
【0122】
また、「フレーミング優先」の設定がなされていないと判断した場合(ステップS303;N)には、フレーミング調整制御部7は、次に、「ズーミング優先/フレーミング優先自動切替」の設定がなされているか否かを判断する(ステップS304)。フレーミング調整制御部7は、「ズーミング優先/フレーミング優先自動切替」の設定がなされていないと判断した場合(ステップS304;N)には、ズーミング優先モードを解除(停止)する(ステップS308)。また、フレーミング調整制御部7は、「ズーミング優先/フレーミング優先自動切替」の設定がなされていると判断した場合(ステップS304;Y)には、次に、ズームリングが動作中か、またはズームリングに指が接触しているか否かを判断する(ステップS305)。フレーミング調整制御部7は、ズームリングが動作中か、またはズームリングに指が接触していると判断した場合(ステップS305;Y)には、上記ステップS306の処理に進む。また、フレーミング調整制御部7は、ズームリングが動作中か、またはズームリングに指が接触していないと判断した場合(ステップS305;N)には、上記ステップS307の処理に進む。
【0123】
その他の構成、動作および効果は、上記第1の実施の形態に係る撮像装置、および撮像制御方法と略同様であってもよい。
【0124】
<3.第3の実施の形態>
次に、本開示の第3の実施の形態に係る撮像装置、および撮像制御方法について説明する。なお、以下では、上記第1または第2の実施の形態に係る撮像装置、および撮像制御方法の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
【0125】
本開示の第3の実施の形態に係る撮像装置の基本的な構成は、
図1および
図2に示した構成と略同様であってもよい。
【0126】
第3の実施の形態に係る撮像装置において、フレーミング調整制御部7は、予測処理部6によって被写体が所定の撮影範囲から外れると予測された場合において、ズーム部2がユーザ操作により操作されている場合にはフレーミング部3を制御して被写体が所定の撮影範囲から外れないようにフレーミング調整を行い、かつ、ユーザ操作によるズームイン操作を無効化するようにしてもよい。
【0127】
図13は、第3の実施の形態に係る撮像装置によって、ズーミング優先モードによるフレーミング調整を行いつつ、特定の場合にズームイン操作を無効化する場合の基本的な動作フローの一例を示している。
【0128】
図13の動作フローは、
図6の動作フローに対して、ステップS110とステップS111とが追加されている。以下、
図6の動作フローとは異なる部分について説明する。
【0129】
予測処理部6によって、被写体が撮影画角から外れそう、または外れたと認識、予測された場合(ステップS104;Y)には、フレーミング調整制御部7は、次に、ユーザによるズームイン操作を無効化(ズームアウト操作は有効のまま)(ステップS110)した後、ステップS105の処理に進む。ズームイン操作の無効化としては、例えばズームリングや操作ボタンを無効化する。
【0130】
一方、予測処理部6によって、被写体が撮影画角から外れそうではない、または外れてはいないと認識、予測された場合(ステップS104;N)には、フレーミング調整制御部7は、次に、ズームインが無効化されていればズームイン操作を有効化(ステップS111)した後、ステップS103の処理に進む。
【0131】
その他の構成、動作および効果は、上記第1または第2の実施の形態に係る撮像装置、および撮像制御方法と略同様であってもよい。
【0132】
<4.第4の実施の形態>
次に、本開示の第4の実施の形態に係る撮像装置、および撮像制御方法について説明する。なお、以下では、上記第1ないし第3のいずれかの実施の形態に係る撮像装置、および撮像制御方法の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
【0133】
本開示の第4の実施の形態に係る撮像装置の基本的な構成は、
図1および
図2に示した構成と略同様であってもよい。
【0134】
第4の実施の形態に係る撮像装置において、予測処理部6は、被写体全体または被写体の特定部位が所定の撮影範囲に占める割合に応じて、所定の撮影範囲から外れるか否かを予測する対象の大きさを変更するようにしてもよい。
【0135】
予測処理部6は、被写体全体または被写体の特定部位が所定の撮影範囲に占める割合が十分に小さいと判断される場合には、所定の撮影範囲から外れるか否かを予測する対象を、現在予測している対象よりも大きい対象に変更するようにしてもよい。また、予測処理部6は、被写体の特定部位が所定の撮影範囲内に納まらないと判断される場合には、所定の撮影範囲から外れるか否かを予測する対象を、現在予測している対象よりも小さい対象に変更するようにしてもよい。
【0136】
図14は、第4の実施の形態に係る撮像装置によって、ズーミング優先モードによるフレーミング調整を行いつつ、フレーミング調整の対象となる特定部位の段階的切替を行う場合の動作フローの一例を示している。フレーミング調整の対象となる特定部位が、大きい順に、「被写体全体」、「顔」、「目」となる場合を例に説明する。なお、フレーミング調整の対象となる特定部位は、フレーミング調整設定部9などから任意に設定可能である。
【0137】
まず、予測処理部6が被写体の特定部位を自動で特定する(ステップS401)。また、フレーミング調整設定部9によってユーザが被写体の特定部位を手動で指定してもよい。次に、撮像装置は、ズーミング優先モードによる動作を開始する(ステップS402)。
【0138】
次に、ユーザによるズーミング操作、ユーザによるフレーミング操作、または特定部位の移動によって特定部位の位置が変化する(ステップS403)と、次に、予測処理部6は、特定部位が撮影画角に対して十分に小さいか否かを判断する(ステップS404)。予測処理部6は、特定部位が撮影画角に対して十分に小さいと判断した場合(ステップS404;Y)には、特定部位の変更(例えば特定部位が「目」であれば「顔」に、「顔」であれば「被写体全体」に変更)(ステップS405)を行った後、ステップS403の処理に戻る。
【0139】
一方、予測処理部6は、特定部位が撮影画角に対して十分に小さくはないと判断した場合(ステップS404;N)には、次に、特定部位が撮影画角内に納まり切らなくなりそうか否かを判断する(ステップS406)。予測処理部6は、特定部位が撮影画角内に納まり切らなくなりそうであると判断した場合(ステップS406;Y)には、特定部位の変更(例えば特定部位が「被写体全体」であれば「顔」に、「顔」であれば「目」に変更)(ステップS407)を行った後、ステップS403の処理に戻る。
【0140】
予測処理部6は、特定部位が撮影画角内に納まり切らなくなりそうではないと判断した場合(ステップS406;N)には、次に、特定部位が撮影画角から外れそうか否か、または外れたか否かを認識、予測する(ステップS408)。予測処理部6が特定部位が撮影画角から外れそうではない、または外れてはいないと認識、予測する場合(ステップS408;N)には、ステップS423の処理に戻る。
【0141】
予測処理部6によって、特定部位が撮影画角から外れそう、または外れたと認識、予測された場合(ステップS408;Y)には、フレーミング調整制御部7はフレーミング部3を制御して光軸調整を行い、撮影画角から特定部位が外れない方向(基本的には画面中心方向に特定部位が来る方向)にフレーミング調整を行う(ステップS409)。
【0142】
次に、フレーミング調整制御部7はフレーミング調整の調整限界の範囲内であるか否かを判断する(ステップS410)。
【0143】
フレーミング調整制御部7は、フレーミング調整の調整限界の範囲内ではないと判断した場合(ステップS410;N)には、ズーミング優先モードによるフレーミング調整の制御を解除(停止)する(ステップS413)。
【0144】
一方、フレーミング調整の調整限界の範囲内であると判断した場合(ステップS410;Y)であっても、調整限界が近い場合には、フレーミング調整制御部7は、必要に応じて表示部42(
図2)に、フレーミング調整の調整限界が近づいたことを警告するような表示や、調整限界の度合い、フレーミング調整を緩和するフレーミング方向等を表示させる(ステップS411)。フレーミング調整制御部7は、例えば、どの方向にユーザがフレーミングをずらせば調整の余裕が生まれるか等を、色やテキスト、画像等で知らせるような表示を表示部42(
図2)に行わせる。また、ユーザによるズーミング操作やユーザによるフレーミング操作によって、明るさやフォーカスなどが変化することがあるので、フレーミング調整制御部7は、必要に応じてレンズアクチュエータ21(
図2)等を制御して、絞りやフォーカスなどを自動で調整(ステップS412)し、ステップS403の処理に戻る。
【0145】
その他の構成、動作および効果は、上記第1ないし第3のいずれかの実施の形態に係る撮像装置、および撮像制御方法と略同様であってもよい。
【0146】
<5.その他の実施の形態>
本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
【0147】
例えば、本技術は以下のような構成を取ることもできる。
以下の構成の本技術によれば、フレーミング調整を容易に行うことが可能となる。
【0148】
(1)
撮像部と、
ズーム部と、
フレーミング部と、
前記ズーム部および前記フレーミング部のうちの一方がユーザ操作により操作される場合は、前記ズーム部および前記フレーミング部のうち前記ユーザ操作により操作されていない方を、被写体の動きに応じて制御する制御部と
を備える
撮像装置。
(2)
前記フレーミング部は、前記ズーム部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行う
上記(1)に記載の撮像装置。
(3)
前記ズーム部は、前記フレーミング部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行う
上記(1)または(2)に記載の撮像装置。
(4)
前記フレーミング部は、前記ズーム部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行い、
前記ズーム部は、前記フレーミング部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行う
上記(1)ないし(3)のいずれか1つに記載の撮像装置。
(5)
前記被写体の動きに基づいて、前記被写体が所定の撮影範囲から外れるか否かを予測する予測処理部、をさらに備える
上記(1)ないし(4)のいずれか1つに記載の撮像装置。
(6)
前記制御部は、前記被写体が所定の撮影範囲から外れないように、前記ズーム部および前記フレーミング部のうち前記ユーザ操作により操作されていない方を、前記被写体の動きに応じて制御する
上記(1)ないし(5)のいずれか1つに記載の撮像装置。
(7)
レンズ部をさらに備え、
前記ズーム部は、前記レンズ部を駆動して光学的なズーミングを行うレンズ駆動部と、撮像信号に基づいて電子的なズーミングを行う画像処理部との少なくとも1つを含む
上記(1)ないし(6)のいずれか1つに記載の撮像装置。
(8)
レンズ部をさらに備え、
前記フレーミング部は、前記撮像部および前記レンズ部のうち少なくとも一方を駆動して手振れ補正を行う手振れ補正部と、撮像装置全体の姿勢を調整可能な姿勢調整機構との少なくとも1つを含む
上記(1)ないし(7)のいずれか1つに記載の撮像装置。
(9)
前記ズーム部または前記フレーミング部による前記被写体の動きに応じたフレーミング調整の調整限界が近づいたことを警告する表示部、をさらに備える
上記(1)ないし(8)のいずれか1つに記載の撮像装置。
(10)
レンズ部と、
前記レンズ部を駆動することによって前記ズーム部の前記ユーザ操作を可能にするズームリングと、前記レンズ部に設けられた操作ボタンとの少なくとも1つを含むズーム操作部と
をさらに備える
上記(1)ないし(9)のいずれか1つに記載の撮像装置。
(11)
シャッタボタン、をさらに備え、
前記制御部は、前記シャッタボタンが半押しされた場合に前記被写体の動きに応じた制御を行う
上記(1)ないし(10)のいずれか1つに記載の撮像装置。
(12)
前記制御部は、前記フレーミング部が前記ユーザ操作により操作される場合において、前記被写体が所定の撮影範囲から外れないと予測される場合には、前記ズーム部を制御して所定のズーム位置を維持する制御を行う
上記(1)ないし(11)のいずれか1つに記載の撮像装置。
(13)
前記制御部による前記被写体の動きに応じた制御を、前記フレーミング部および前記ズーム部のうちいずれを制御して行うかを設定する第1の設定部、をさらに備える
上記(1)ないし(12)のいずれか1つに記載の撮像装置。
(14)
前記制御部による前記被写体の動きに応じた制御を行うか否かを設定する第2の設定部、をさらに備える
上記(1)ないし(13)のいずれか1つに記載の撮像装置。
(15)
前記制御部は、前記被写体が所定の撮影範囲から外れると予測された場合において、前記ズーム部が前記ユーザ操作により操作されている場合には前記フレーミング部を制御して前記被写体が前記所定の撮影範囲から外れないようにフレーミング調整を行い、かつ、前記ユーザ操作によるズームイン操作を無効化する
上記(1)ないし(14)のいずれか1つに記載の撮像装置。
(16)
前記予測処理部は、前記被写体が前記所定の撮影範囲に占める割合に応じて、前記所定の撮影範囲から外れるか否かを予測する対象の大きさを変更する
上記(5)に記載の撮像装置。
(17)
前記予測処理部は、
前記被写体全体または前記被写体の特定部位が前記所定の撮影範囲に占める割合が十分に小さいと判断される場合には、前記所定の撮影範囲から外れるか否かを予測する対象を、現在予測している対象よりも大きい対象に変更し、
前記被写体の特定部位が前記所定の撮影範囲内に納まらないと判断される場合には、前記所定の撮影範囲から外れるか否かを予測する対象を、現在予測している対象よりも小さい対象に変更する
上記(16)に記載の撮像装置。
(18)
撮像部、ズーム部、およびフレーミング部を備える撮像装置において、前記ズーム部および前記フレーミング部のうちの一方がユーザ操作により操作される場合は、前記ズーム部および前記フレーミング部のうち前記ユーザ操作により操作されていない方を、被写体の動きに応じて制御する
撮像制御方法。
【0149】
本出願は、日本国特許庁において2019年6月4日に出願された日本特許出願番号第2019-104613号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
【0150】
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。