特許 7450343 撮像装置及びその制御方法、プログラム、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-07

(45)【発行日】2024-03-15

(54)【発明の名称】撮像装置及びその制御方法、プログラム、記憶媒体

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240308BHJP

   G03B 15/00 20210101ALI20240308BHJP

   G03B 17/00 20210101ALI20240308BHJP

   G03B 17/38 20210101ALI20240308BHJP

   G03B 17/56 20210101ALI20240308BHJP

   H04N 23/611 20230101ALI20240308BHJP

   H04N 23/69 20230101ALI20240308BHJP

   H04N 23/695 20230101ALI20240308BHJP

【ＦＩ】

H04N23/60 100

G03B15/00 F

G03B15/00 P

G03B15/00 Q

G03B15/00 R

G03B17/00 B

G03B17/38 B

G03B17/56 B

H04N23/611

H04N23/69

H04N23/695

【請求項の数】 17

(21)【出願番号】P 2019083208

(22)【出願日】2019-04-24

(65)【公開番号】P2020182075

(43)【公開日】2020-11-05

【審査請求日】2022-04-15

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】中川 晃生

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２００７－０２７９４５（ＪＰ，Ａ）

【文献】特開２０１３－１８３３０６（ＪＰ，Ａ）

【文献】特開２０１４－１９２７４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６９

Ｈ０４Ｎ ２３／６９５

Ｈ０４Ｎ ２３／６１１

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／００

Ｇ０３Ｂ １７／５６

Ｇ０３Ｂ １７／３８

(57)【特許請求の範囲】

【請求項1】

撮像装置の周囲の空間の画像を取得する撮像手段と、
前記撮像手段により取得された画像に基づいて前記撮像装置の周囲がどんな空間なのかを判定する判定手段と、
前記判定手段による判定結果に基づいて撮影ポイントを探索する探索手段と、
前記探索手段により探索された撮影ポイントに対して、写真撮影に適した構図を割り出す構図割出手段と、
前記構図割出手段により割り出された構図で、前記撮像手段に撮像を行わせる制御手段と、
を備えることを特徴とする撮像装置。

【請求項2】

前記探索手段は、前記判定手段により判定された空間の内容に紐づけられた撮影ポイントの情報に基づいて前記撮影ポイントを探索することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記判定手段は、前記撮像手段により取得された画像に基づいて前記撮像装置の周囲の空間の特徴を検出し、検出された特徴を、機械学習により学習されたデータに基づいて評価することにより、前記空間の内容を判定することを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

前記構図割出手段は、前記探索手段により探索された撮影ポイントについて、ズーム制御、パン制御、チルト制御の少なくともいずれかを行うことにより、前記写真撮影に適した構図を割り出すことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項5】

前記探索手段により探索された撮影ポイントから特定の被写体を検出する被写体検出手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。

【請求項6】

前記被写体検出手段は、事前に学習した識別情報に基づいて前記特定の被写体を検出することを特徴とする請求項５に記載の撮像装置。

【請求項7】

前記被写体検出手段は、前記構図割出手段により割り出された構図の中に前記特定の被写体が存在するか否かを判定することを特徴とする請求項５または６に記載の撮像装置。

【請求項8】

前記制御手段は、前記構図割出手段により割り出された構図の中に前記特定の被写体が存在する場合に、前記撮像手段に撮像を行わせることを特徴とする請求項７に記載の撮像装置。

【請求項9】

前記被写体検出手段は、前記構図割出手段により割り出された構図の中に前記特定の被写体が存在する場合に、該特定の被写体の大きさ、向き、表情が撮影に適するか否かを判定することを特徴とする請求項７に記載の撮像装置。

【請求項10】

前記制御手段は、前記特定の被写体の大きさ、向き、表情が撮影に適すると判定された場合に、前記撮像手段に撮像を行わせることを特徴とする請求項９に記載の撮像装置。

【請求項11】

前記被写体検出手段は、前記構図割出手段により割り出された構図の中に前記特定の被写体が存在しなかった場合に、ユーザーに対して通知を行うことを特徴とする請求項７に記載の撮像装置。

【請求項12】

前記被写体検出手段は、検出した前記特定の被写体の移動に合わせて被写体追跡を行い、被写体の軌跡情報から、前記構図割出手段により割り出された構図の中で被写体が今後移動するか否かを予測することを特徴とする請求項７乃至１１のいずれか１項に記載の撮像装置。

【請求項13】

前記被写体検出手段は、前記構図割出手段により割り出された構図の中で被写体が今後移動しないと予測した場合に、ユーザーに対して通知を行うことを特徴とする請求項１２に記載の撮像装置。

【請求項14】

撮影ポイント、被写体の少なくともいずれかを機械学習する学習手段をさらに備えることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。

【請求項15】

撮像装置の周囲の空間の画像を取得する撮像手段を備える撮像装置を制御する方法であって、
前記撮像手段により取得された画像に基づいて前記撮像装置の周囲がどんな空間なのかを判定する判定工程と、
前記判定工程による判定結果に基づいて撮影ポイントを探索する探索工程と、
前記探索工程により探索された撮影ポイントに対して、写真撮影に適した構図を割り出す構図割出工程と、
前記構図割出工程により割り出された構図で、前記撮像手段に撮像を行わせる制御工程と、
を有することを特徴とする撮像装置の制御方法。

【請求項16】

請求項１５に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

【請求項17】

請求項１５に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力映像を解析し、自動で撮影を行う撮像装置に関する。

【背景技術】

【0002】

近年、ユーザが撮影指示を与えることなく定期的および継続的に撮影を行う自動撮影カメラが開発され、実用化が進んでいる。例えばストラップ等でユーザの身体に装着された状態で用いられ、ユーザが日常生活で目にする光景を一定時間間隔で映像として記録するライフログカメラと呼ばれるカメラが知られている。また、このようなカメラにおいては、カメラが自動で撮影するべき被写体を判断する機能も設けられている。

【0003】

例えば特許文献１には、撮影された被写体の写り具合に応じたスコアを撮影毎に累積させ、撮影対象の複数の被写体のうち優先して撮影する被写体を決定する技術が開示されている。この動作により、被写体、撮影者及びその他関係者にとって有益な写真を効率的に自動撮影する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－７０５０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１で開示されている技術では、どの被写体を主体として撮影するかを判断しており、撮影すべき場所に着目した判断は行っていない。例えばイベント会場に居ても、近くにある記念撮影スポットを装置が自律的に見つけ出すことはできない。

【0006】

本発明は、上述した課題に鑑みてなされたものであり、その目的は、よりユーザーの好みに合った撮影を自動的に行うことができる撮像装置を提供することである。

【課題を解決するための手段】

【0007】

本発明に係わる撮像装置は、撮像装置の周囲の空間の画像を取得する撮像手段と、前記撮像手段により取得された画像に基づいて前記撮像装置の周囲がどんな空間なのかを判定する判定手段と、前記判定手段による判定結果に基づいて撮影ポイントを探索する探索手段と、前記探索手段により探索された撮影ポイントに対して、写真撮影に適した構図を割り出す構図割出手段と、前記構図割出手段により割り出された構図で、前記撮像手段に撮像を行わせる制御手段と、を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、よりユーザーの好みに合った撮影を自動的に行うことができる撮像装置を提供することが可能となる。

【図面の簡単な説明】

【0009】

【図1】本発明の撮像装置の第１の実施形態であるカメラの外観を模式的に示す図。

【図2】第１の実施形態のカメラのブロック構成を示す図。

【図3】第１の実施形態における機械学習処理部の構成を示すブロック図。

【図4】入力映像の一例を示した図。

【図5】図４の構成物の評価結果の組み合わせから挙げられる空間の候補を示したグラフ。

【図6】空間判定部での空間判定処理の動作を示すフローチャート。

【図7】空間が判定された場合の、撮影ポイント候補リストを示す図。

【図8】撮影ポイントと機械学習モデルの対照表を示す図。

【図9】入力映像をパンしながら撮影ポイントを探索する例を示す図。

【図10】撮影ポイント探索部での探索処理の動作を示すフローチャート。

【図11】三分割法のグリッドに従い、撮影ポイントを配置した例を示す図。

【図12】構図割出部での割出処理の動作を示すフローチャート。

【図13】機械学習処理部全体での動作を示すフローチャート。

【図14】第２の実施形態における機械学習処理部の構成を示すブロック図。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるカメラ１００の外観を模式的に示す図である。カメラ１００は、鏡筒１０１、チルト回転ユニット１０２、パン回転ユニット１０３、制御ボックス１０４を備えて構成される。

【0012】

鏡筒１０１は、被写体像を結像させる撮影光学系としての撮影レンズ群や撮像素子を含み、固定部である制御ボックス１０４に対して、撮影の向きを変更可能に取り付けられている。具体的には、鏡筒１０１は、制御ボックス１０４に対して回転駆動できる機構であるチルト回転ユニット１０２と、パン回転ユニット１０３とを介して、制御ボックス１０４に取り付けられている。

【0013】

チルト回転ユニット１０２は、鏡筒１０１を図１（ｂ）に示すピッチ方向に回転できるモータ駆動機構を備えている。また、パン回転ユニット１０３は、鏡筒１０１を図１（ｂ）に示すヨー方向に回転できるモータ駆動機構を備えている。

【0014】

制御ボックス１０４は、鏡筒１０１に含まれる撮影レンズ群、チルト回転ユニット１０２、パン回転ユニット１０３を制御するための全体制御部、不揮発性メモリなどの記録媒体などを備えている。

【0015】

図１（ｂ）は、第１の実施形態における回転軸の定義を説明するための図である。

【0016】

水平の軸(Ｘ軸)まわりの回転をピッチ、垂直の軸(Ｙ軸)まわりの回転をヨー、奥行き方向の軸(Ｚ軸)まわりの回転をロールと呼ぶ。本実施形態におけるカメラ１００では、チルト回転ユニット１０２により鏡筒１０１の向きをピッチ方向に回動させ、パン回転ユニット１０３によりヨー方向に回動させる。

【0017】

図２は、鏡筒１０１、チルト回転ユニット１０２、パン回転ユニット１０３、制御ボックス１０４を備えるカメラ１００のブロック構成を示す図である。

【0018】

鏡筒１０１は、レンズユニット１１１および撮像部１１２を備えて構成され、チルト回転ユニット１０２、パン回転ユニット１０３によって、チルト方向、パン方向に回転駆動制御される。レンズユニット１１１は、変倍を行うズームレンズやピント調整を行う焦点調節レンズなどで構成され、レンズ制御部１２１によって駆動制御される。撮像部１１２は、各レンズ群を通して入射する光を受ける撮像素子を備え、撮像素子が受光量に応じて出力する信号をＡ／Ｄ変換し、デジタル画像データとして画像処理部１２３に出力する。撮像素子は、ＣＣＤ、ＣＭＯＳイメージセンサ等からなる。

【0019】

チルト回転ユニット１０２は、前述した図１（ｂ）のピッチ方向に鏡筒１０１を回転させるモータ駆動機構を備え、パン回転ユニット１０３は、ヨー方向に鏡筒１０１を回転させるモータ駆動機構を備える。そして、鏡筒回転駆動部１２２からの駆動指示に応じて鏡筒１０１を回転動作させる。

【0020】

制御ボックス１０４は、レンズ制御部１２１、鏡筒回転駆動部１２２、画像処理部１２３、画像メモリ１２４、記録部１２５、外部メモリ１２６、機械学習処理部１２７、全体制御部１２８、メモリ１２９を備える。ＣＰＵを有する全体制御部１２８は、制御ボックス１０４内に配置されている各ブロックを制御する。あるいは、各ブロックは、全体制御部１２８内のＣＰＵ自体がそのブロックの機能を果たすことにより実現される。また、後述するカメラ１００の動作は、全体制御部１２８内のＣＰＵがメモリ１２９に記憶されたプログラムを実行することにより実現される。

【0021】

撮像部１１２の撮像素子により生成された映像信号は、画像処理部１２３により色変換処理、画素補間処理等の各画像処理が行われ、ＤＲＡＭ等で構成された画像メモリ１２４に保持される。画像メモリ１２４上の画像データは記録部１２５を通じて、メモリカード等の外部記録媒体１２６に記録される。機械学習処理部１２７は映像信号が入力され、各種機械学習を伴った処理を行う。

【0022】

図３は、第１の実施形態における機械学習処理部１２７の構成を示す図である。

【0023】

シーケンス制御部２０１は、後述する空間判定部２０２、撮影ポイント探索部２０３、構図割出部２０４の一連の処理を順次実行するために、入力映像を渡したり、レンズ制御部１２１へのレンズ制御指示を行う。

【0024】

空間判定部２０２は、入力映像を解析することにより映像内の構成物を抽出し、構成物の組み合わせから特徴を見つけ出して、装置が置かれた場所がどんな場所（空間）なのかを判定する。記念写真として撮影すべき内容（以降、撮影ポイントと呼ぶ）はその空間に相関して変化するため、空間に応じた撮影ポイントの対照情報を記憶しておくことにより、撮影ポイントを定めることができる。撮影ポイント探索部２０３では、パン、チルト、ズーム等を行って入力映像を切り替えながら、カメラ１００の周囲から撮影ポイントを探索する。撮影ポイントを発見したら、構図割出部２０４により、撮影に適した構図を割り出す。

【0025】

次に、空間判定部２０２での処理の流れについて説明する。

【0026】

空間判定部２０２は、画像処理部１２３によりノイズ補正処理、歪み補正処理、輪郭強調処理、明るさや色合い調整処理等が行われた入力映像から、物体認識処理により構成物を抽出する。

【0027】

図４は、入力映像の一例を示す図であり、神社の納涼祭りの光景を表したものである。枠３０１、枠３０２、枠３０３で囲まれた対象物は、物体認識処理で抽出された構成物である。ここで、物体認識処理は特定のアルゴリズムに限定されず、ＯｐｅｎＣＶのような一般的な画像認識アルゴリズムを備えたソフトウェアと、機械学習モデルを用意することにより実現可能である。

【0028】

機械学習モデルにより、枠３０１は神社の鳥居、枠３０２は提灯、枠３０３は食べ物名と評価され、更に構成物の組み合わせ評価によって空間の判定を行う。

【0029】

図５は、図４に示される構成物の評価結果の組み合わせから挙げられる空間の候補を示したグラフである。構成物の内容次第で複数の候補が挙がる可能性があり、最終的にはその中で最も評価値が高いものを、その空間の内容として判定する。なお、入力映像から得られる特徴量が乏しい場合は、構成物を抽出しても空間の候補に結びつかない場合がある。その場合は空間判定失敗と判定し、次の撮影ポイント探索部２０３の処理へは進まない。例えば、一旦装置をスリープさせ、一定時間が経過したこと、移動を検知したこと（衝撃等により検知）、ユーザーからの指示などをトリガとして、再度空間判定処理を行う。

【0030】

図６は、空間判定部２０２での空間判定処理の動作を示すフローチャートである。

【0031】

Ｓ５００１では、空間判定を行うために撮像部１１２において、映像信号を取得する。Ｓ５００２では、撮像部１１２から出力される映像信号に対して、画像処理部１２３においてノイズ低減処理、歪み補正処理、輪郭強調処理、明るさや色合い調整処理等の画像処理を行う。

【0032】

Ｓ５００３では、画像処理部１２３で処理された映像信号が機械学習処理部１２７に入力される。機械学習処理部１２７では、空間判定部２０２において、入力された映像信号に対して画像認識アルゴリズムと機械学習モデルが適用され、構成物が抽出される。Ｓ５００４では、各構成物の組み合わせの評価が行われる。Ｓ５００５では、空間の候補が挙げられた場合は、その中で最も評価値が高いものがその空間の内容として判定され、処理が終了する。空間の候補が挙げられなかった場合は、Ｓ５００６において空間判定処理を一旦停止し、前述したように、一定時間が経過したことなどをトリガとして、再度空間判定処理を実行する。

【0033】

次に、撮影ポイント探索部２０３での処理の流れについて説明する。

【0034】

空間判定部２０２の判定により写真撮影に適した空間が定まることにより、空間に応じた撮影ポイントの割り出しが可能になる。撮影ポイントは１通りとは限らず、空間によってその候補数は異なる。

【0035】

図７は、空間が納涼祭りと判定された場合の、撮影ポイントの候補リストの例を示す図である。撮影ポイント候補リスト６０１において、撮影ポイント候補列は空間に応じた撮影ポイントの候補を示し、優先度列は撮影ポイント候補が複数見つかった場合に最終的な撮影ポイントを決定する際の優先度を示す。

【0036】

撮影ポイント探索部２０３では、パン、チルト等を行いながら撮像部１１２で得られた入力映像について、構成物の抽出、構成物の評価を行い、撮影ポイント候補リストに載っている撮影ポイントを探索する。この際、空間判定部２０２で用いた機械学習モデルを流用することもできるが、幅広い空間の判定に用いる目的で作成されたモデルであるため、処理効率や検出精度の点から撮影ポイントの探索向けに用いるには最適とは言い難い。ここでは、撮影ポイントの探索に適した機械学習モデルを利用する例について説明する。

【0037】

図８は、撮影ポイントと機械学習モデルの対照表（以下、対照表）７０１を示す図である。

【0038】

対照表７０１において、機械学習モデル列に示したモデルは、撮影ポイント列に示した撮影ポイントの探索に特化した学習を行ったモデルとなっている。例えば撮影ポイントがやぐらである場合、提灯、太鼓、紅白幕等のやぐらの構成部品画像や、やぐら全体画像を学習データセットとして重点的に用いて作成したモデルを利用する。これにより、やぐらの評価を高速で行うことができるため、パン、チルト等で入力映像を切り替えながら大量のデータの評価を行う撮影ポイント探索部２０３での処理に適している。ただし、モデルを必ず撮影ポイント毎に変更しなければならないというわけではなく、例えば類似の複数の撮影ポイントに対応できるモデルを作成してもよい。

【0039】

図９は、納涼会の会場風景において、入力映像をパンしながら撮影ポイントを探索する例を示す図である。

【0040】

図９において、入力映像はフレーム８０１を起点とし、フレーム８０２まで右方向にパンしながら推移する。まず、最初のフレーム８０１において撮影ポイント候補リスト６０１に掲載された撮影ポイントを探索する。探索は撮影ポイント候補リスト６０１の優先度順、つまりやぐら→屋台→ＸＸＸの順に行われる。フレーム８０１での探索が終わったら、一定量右方向にパンして得られた新たな入力映像に対して同様の探索が行われ、最終的にフレーム８０２に至る。この探索により撮影ポイントとして屋台８０３、やぐら８０４が検出される。

【0041】

図１０は、撮影ポイント探索部２０３での探索処理の動作を示すフローチャートである。

【0042】

まず、Ｓ９００１において、映像が撮影ポイント探索部２０３に入力される。Ｓ９００２では、撮影ポイント候補リスト６０１から探索対象の撮影ポイント候補を取得する。Ｓ９００３では、撮影ポイントと機械学習モデルの対照表７０１から、使用するモデルを特定し、必要に応じて学習モデル切替えを行う。

【0043】

Ｓ９００４では、Ｓ９００３で選択したモデルを用いて、入力映像の評価を行う。Ｓ９００５では、撮影ポイントを発見できたか否かを判定する。発見できなかった場合はＳ９００６へ進み、発見できた場合はＳ９００７へ進む。

【0044】

Ｓ９００６では、別の撮影ポイント候補を探すために別のモデルを評価する必要があるかどうかを撮影ポイント候補リスト６０１、撮影ポイントと機械学習モデルの対照表７０１から判定する。他にも評価すべきモデルがある場合はＳ９００２へ戻り、他に評価すべきモデルがない場合はＳ９００８へ進む。

【0045】

Ｓ９００７では見つかった撮影ポイントの候補を保持し、Ｓ９００８へ進む。Ｓ９００８では入力映像を変更して撮影ポイントの探索を続ける必要があるか否かを判定する。この判定では、例えばレンズ駆動制御により周囲を３６０°見渡せる装置であれば、一周するまで探索を続ける条件にしてもよいし、一周する前に撮影ポイントを一定数発見したら探索を切り上げるようにしてもよい。

【0046】

探索を続ける必要がある場合はＳ９００９へ進み、不要の場合はＳ９０１０へ進む。Ｓ９００９では入力映像の切替えを行い、Ｓ９００１へ戻る。Ｓ９０１０では保持した撮影ポイント候補の中から実際に撮影を行うポイントを選定する。これは最も優先度の高い撮影ポイントを選んでもよいし、発見した全ての撮影ポイントで撮影するようにしてもよい。

【0047】

次に、構図割出部２０４の処理の流れについて説明する。

【0048】

構図がよいとされるレイアウトを決める方法として、従来より、ファイグリッド、三分割法、フィボナッチスパイラル等の手法が知られている。例えば三分割法はフレームを縦、横に均等に三分割し、４つの交点やその近傍に主要な被写体を配置する技法である。他の手法を用いることも可能であるが、以下では三分割法を例に挙げて説明する。

【0049】

図１１は、三分割法のグリッド１００１に従い、撮影ポイントのやぐら８０４を配置した例を示す図である。やぐら８０４自体は既に撮影ポイント探索部で見つけているため、あとはズーム制御、パン制御、チルト制御などを行って、三分割法に沿った配置に割り当てることは比較的容易に行える。

【0050】

さらに、一般的に構図がよいとされる画像群をデータセットとして機械学習したモデルを作成することにより、評価値を得ることができる。例えば、構図の候補が複数存在する場合、そのモデルを使用することでどれが最も良い構図かの評価を行うことができる。

【0051】

図１２は、構図割出部２０４での割出処理の動作を示すフローチャートである。

【0052】

Ｓ１１０１では、撮影ポイントが構図上の適切な位置に来るように、ズーム動作、パン動作等を行う。Ｓ１１０２では、適切な構図を学習済みのモデルを用いて構図を評価する。Ｓ１１０３では、他に別の構図候補があるか否かを判定し、ある場合はＳ１１０１へ戻る。他に構図候補がない場合は、Ｓ１１０４へ進む。Ｓ１１０４では、評価した構図の中で最も評価値が高かった構図で撮影を行う。

【0053】

図１３は、機械学習処理部１２７の全体での処理を示すフローチャートである。

【0054】

Ｓ１２０１では、撮像部１１２により映像を取得する。Ｓ１２０２では、機械学習処理部１２７内の空間判定部２０２により、入力映像の構成物から空間判定を行う。Ｓ１２０３では、空間判定ができたか否かをチェックし、空間判定ができなかった場合はＳ１２０１へ戻る。空間判定ができた場合はＳ１２０４へ進む。Ｓ１２０４では、撮影ポイント探索部２０３により、撮影ポイントを探索する。Ｓ１２０５では、構図割出部２０４により、適切な構図を割り出す。

【0055】

以上説明したように、上記の第１の実施形態によれば、機械学習モデルを用いて空間を判定することにより、被写体だけでなく、撮影に向いた空間を撮影候補として選択することができる。これにより、よりユーザーの好みに合った自動撮影を行うことが可能となる。

【0056】

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。この第２の実施形態では、被写体も含めて撮影判断を行う。図１４は、第２の実施形態における機械学習処理部１２７の構成を示す図である。

【0057】

シーケンス制御部１３０１では、後述する空間判定部１３０２、撮影ポイント探索部１３０３、構図割出部１３０４、被写体検出部１３０５、被写体通知部１３０６の一連の処理を順次実行するために、入力映像を渡したり、レンズ制御部１２１へのレンズ制御指示を行う。

【0058】

空間判定部１３０２、撮影ポイント探索部１３０３、構図割出部１３０４はそれぞれ第１の実施形態の空間判定部２０２、撮影ポイント探索部２０３、構図割出部２０４と同等であるため説明を省略する。

【0059】

被写体検出部１３０５では、事前に学習した被写体とする人物の特徴量データの学習結果に基づいて、入力映像から被写体検出を行う。ここで特徴量データとはその人物の全身撮影、顔のみ、笑顔等の教師データセット（識別情報）を指し、それらを学習フェーズにおいて機械学習しておく。そして認識フェーズでは、入力映像から構成物の特徴抽出を行い、学習した被写体が検出されることにより被写体の認識が行われる。

【0060】

本実施形態では、構図割出部１３０４で割り出した構図に対して被写体検出部１３０５での検出を行う。ここで被写体が検出されなかった場合は、被写体通知部１３０６においてユーザーへ通知を行う。

【0061】

通知の方法は複数考えられる。例えば、カメラ１００がスピーカーを有している場合は、音による通知でもよいし、ＬＥＤを有している場合は、ＬＥＤの点滅等により通知することもできる。

【0062】

また、ユーザーが所有しているスマートフォンとカメラ１００を予め連携させておき、スマートフォンへ通知を送るようにしてもよい。その場合は、構図割出部１３０４によって割り出した構図で撮影した画像を一緒に送信することにより、被写体を構図へ誘導することも可能である。また、構図の候補が複数ある場合にそれら候補の情報を送信し、ユーザーに選択させることも可能である。

【0063】

また、構図割出部１３０４で割り出した構図の中で被写体が検出されたことを条件として直ちに撮影をするのではなく、被写体の顔の向きや表情、構図上の大きさのバランス等の評価基準を設け、一定の閾値をクリアした場合のみ撮影を行うといった制御も可能である。

【0064】

なお、被写体検出部１３０５は、検出した被写体の移動に合わせて被写体追跡を行い、被写体の軌跡情報から、構図割出部で割り出した構図の中で被写体が今後移動するかどうかを予測するようにしてもよい。また、この場合に、構図割出部１３０４で割り出した構図の中で被写体が今後移動しないと予測した場合に、ユーザーに対して通知を行うようにしてもよい。

【0065】

以上説明したように、第２の実施形態によれば、空間を判断して撮影候補を決めた後に、その中に必要な被写体が含まれているかを判断することができ、ユーザーにとってより好ましい映像を撮影することが可能となる。

【0066】

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

【0067】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0068】

１００：カメラ、１０１：鏡筒、１１１：レンズユニット、１１２：撮像部、１２３：画像処理部、１２７：機械学習処理部、１２８：全体制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】