(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-25
(45)【発行日】2024-11-05
(54)【発明の名称】撮像装置、情報処理装置、制御方法およびプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20241028BHJP
G03B 17/02 20210101ALI20241028BHJP
G03B 17/18 20210101ALI20241028BHJP
G03B 7/00 20210101ALI20241028BHJP
【ＦＩ】
H04N23/60 100
G03B17/02
G03B17/18
G03B7/00
【請求項の数】
19
(21)【出願番号】P 2020085497
(22)【出願日】2020-05-14
(65)【公開番号】P2021180433
(43)【公開日】2021-11-18
【審査請求日】2023-04-26
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】植野 大優
【審査官】村山 絢子
(56)【参考文献】
【文献】特開２０１１－１１８７６９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０－２３／７６
Ｈ０４Ｎ ２３／９０－２３／９５９
Ｈ０４Ｎ ５／２２２－５／２５７
Ｇ０３Ｂ １５／００－１５／０３５
Ｇ０３Ｂ１５／０６－１５／１６
Ｇ０３Ｂ １７／０２
Ｇ０３Ｂ １７／１８－１７／２０
Ｇ０３Ｂ ７／００－７／３０
(57)【特許請求の範囲】
【請求項1】
所定の操作部材に所定の撮影機能を割り当てるカスタマイズ機能を有する撮像装置であって、ユーザの撮影操作により撮影画像情報を取得する取得手段と、
前記撮影画像情報に基づいて推定処理を行った結果であるユーザに推奨するカスタマイズ機能に適した操作部材を推定する推定手段と、
ユーザに推奨するカスタマイズ機能と、当該カスタマイズ機能に適した操作部材をユーザに提示する提示手段と、を有し、
前記撮影画像情報にはユーザの撮影操作による操作履歴情報が含まれており、
前記操作部材は、ユーザが物理的に操作可能な部材またはタッチ操作を検出可能な部材であり、
前記推定処理の結果は、前記操作部材に割り当てることが可能な複数の撮影機能と、当該複数の撮影機能を推奨する理由を含み、
前記提示手段は、前記操作部材に割り当てることが可能な複数の撮影機能と、当該複数の撮影機能を推奨する理由を提示し、
前記推定手段は、前記撮影画像情報と前記操作履歴情報と前記操作部材に割り当てる撮影機能との関係が対応付けられた情報を用いて学習を行って得られたモデルに基づいてユーザに推奨するカスタマイズ機能を推定することを特徴とする撮像装置。
【請求項2】
前記推定手段は、前記複数の撮影機能を割り当てることが可能な操作部材を推定することを特徴とする請求項１に記載の撮像装置。
【請求項3】
前記推定手段は、ユーザがファインダーを用いた撮影機能をファインダーを覗きながら操作できる操作部材に割り当てるような推定を行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項4】
前記操作履歴情報は、撮影設定情報を含むことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項5】
外部装置に対して、前記撮影画像情報を送信する送信手段と、前記外部装置から、前記ユーザに推奨するカスタマイズ機能の推定結果を受信する受信手段と、をさらに有することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項6】
所定の操作部材に所定の撮影機能を割り当てるカスタマイズ機能を有する撮像装置であって、
ユーザの撮影操作により撮影画像情報を取得する取得手段と、
外部装置に対して、前記撮影画像情報を送信する送信手段と、
前記外部装置から、前記撮影画像情報に基づいてユーザに推奨するカスタマイズ機能を推定する推定処理を行った結果を受信する受信手段と、
前記ユーザに推奨するカスタマイズ機能に適した操作部材を推定する推定手段と、を有し、
前記撮影画像情報にはユーザの撮影操作による操作履歴情報が含まれており、
前記操作部材は、ユーザが物理的に操作可能な部材またはタッチ操作を検出可能な部材であり、
前記推定処理では、前記撮影画像情報と前記操作履歴情報と前記操作部材に割り当てる撮影機能との関係が対応付けられた情報を用いて学習を行って得られたモデルに基づいてユーザに推奨するカスタマイズ機能を推定することを特徴とする撮像装置。
【請求項7】
前記取得手段は、撮影画像が所定の条件を満たす場合に前記撮影画像情報を保存し、前記送信手段は、前記外部装置に対して、前記取得手段が保存した前記撮影画像情報を送信することを特徴とする請求項６に記載の撮像装置。
【請求項8】
前記所定の条件は、撮影画像に白飛びが発生している場合、撮影画像中の所定の被写体が暗く、所定の被写体を除く背景が明るい場合、撮影画像中の所定の被写体が静態と動態が切り替わる場合の少なくともいずれかであることを特徴とする請求項７に記載の撮像装置。
【請求項9】
前記所定の被写体は、人物、人物の顔、動物のいずれかであることを特徴とする請求項８に記載の撮像装置。
【請求項10】
所定の操作部材に所定の撮影機能を割り当てるカスタマイズ機能を有する撮像装置から撮影画像情報を取得する取得手段と、前記撮像装置から取得した撮影画像情報に基づいてユーザに推奨するカスタマイズ機能を推定する推定手段と、を有し、
前記撮影画像情報にはユーザの撮影操作による操作履歴情報が含まれており、
前記推定手段は、前記撮影画像情報と前記操作履歴情報と前記操作部材に割り当てる撮影機能との関係が対応付けられた情報を用いて学習を行って得られたモデルに基づいてユーザに推奨するカスタマイズ機能を推定することを特徴とする情報処理装置。
【請求項11】
前記撮像装置から取得した撮影画像情報を保存する保存手段と、前記ユーザに推奨するカスタマイズ機能の推定結果を前記撮像装置に送信する送信手段と、をさらに有することを特徴とする請求項１０に記載の情報処理装置。
【請求項12】
前記モデルの学習は、ユーザの操作履歴情報を反映または反映しないで行うことを特徴とする請求項１０に記載の情報処理装置。
【請求項13】
前記推定手段による推定結果は、前記操作部材に割り当てることが可能な複数の撮影機能と、当該複数の撮影機能を推奨する理由を含むことを特徴とする請求項１０から１２のいずれか１項に記載の情報処理装置。
【請求項14】
前記操作履歴情報は、撮影設定情報を含むことを特徴とする請求項１０から１３のいずれか１項に記載の情報処理装置。
【請求項15】
所定の操作部材に所定の撮影機能を割り当てるカスタマイズ機能を有する撮像装置の制御方法であって、ユーザの撮影操作により撮影画像情報を取得するステップと、
前記撮影画像情報に基づいて推定処理を行った結果であるユーザに推奨するカスタマイズ機能に適した操作部材を推定するステップと、
ユーザに推奨するカスタマイズ機能と、当該カスタマイズ機能に適した操作部材をユーザに提示するステップと、を有し、
前記撮影画像情報にはユーザの撮影操作による操作履歴情報が含まれており、
前記操作部材は、ユーザが物理的に操作可能な部材またはタッチ操作を検出可能な部材であり、
前記推定処理の結果は、前記操作部材に割り当てることが可能な複数の撮影機能と、当該複数の撮影機能を推奨する理由を含み、
前記提示するステップでは、前記操作部材に割り当てることが可能な複数の撮影機能と、当該複数の撮影機能を推奨する理由を提示し、
前記推定処理では、前記撮影画像情報と前記操作履歴情報と前記操作部材に割り当てる撮影機能との関係が対応付けられた情報を用いて学習を行って得られたモデルに基づいてユーザに推奨するカスタマイズ機能を推定することを特徴とする制御方法。
【請求項16】
所定の操作部材に所定の撮影機能を割り当てるカスタマイズ機能を有する撮像装置の制御方法であって、
ユーザの撮影操作により撮影画像情報を取得するステップと、
外部装置に対して、前記撮影画像情報を送信するステップと、
前記外部装置から、前記撮影画像情報に基づいてユーザに推奨するカスタマイズ機能を推定する推定処理を行った結果を受信するステップと、
前記ユーザに推奨するカスタマイズ機能に適した操作部材を推定するステップと、を有し、
前記撮影画像情報にはユーザの撮影操作による操作履歴情報が含まれており、
前記操作部材は、ユーザが物理的に操作可能な部材またはタッチ操作を検出可能な部材であり、
前記推定処理では、前記撮影画像情報と前記操作履歴情報と前記操作部材に割り当てる撮影機能との関係が対応付けられた情報を用いて学習を行って得られたモデルに基づいてユーザに推奨するカスタマイズ機能を推定することを特徴とする制御方法。
【請求項17】
情報処理装置が実行する制御方法であって、所定の操作部材に所定の撮影機能を割り当てるカスタマイズ機能を有する撮像装置から撮影画像情報を取得するステップと、
前記撮像装置から取得した撮影画像情報に基づいてユーザに推奨するカスタマイズ機能を推定するステップと、を有し、
前記撮影画像情報にはユーザの撮影操作による操作履歴情報が含まれており、
前記推定するステップでは、前記撮影画像情報と前記操作履歴情報と前記操作部材に割り当てる撮影機能との関係が対応付けられた情報を用いて学習を行って得られたモデルに基づいてユーザに推奨するカスタマイズ機能を推定することを特徴とする制御方法。
【請求項18】
コンピュータを、請求項１から９のいずれか１項に記載された撮像装置として機能させるためのプログラム。
【請求項19】
コンピュータを、請求項１０から１４のいずれか１項に記載された情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定の操作部材に所定の撮影機能を割り当てるカスタマイズ機能を設定する技術に関する。
【背景技術】
【0002】
デジタルカメラなどの撮像装置において、ユーザが操作部材に所望の機能を割り当てることにより、ユーザは、ある機能が割り当てられた操作部材を操作するだけで所望の機能を実行することができるカスタマイズ機能が知られている。カスタマイズ機能を用いることで、ユーザはメニュー画面上で設定を切り替えることなく、所望の機能を割り当てた操作部材を操作するだけで即座に撮影設定を変更することが可能となる。
【0003】
特許文献１には、複数のレリーズボタンに機能を割り当てることが可能で、操作したレリーズボタンに応じて設定を変更して撮影する方法が記載されている。これにより、ユーザはメニュー画面で設定変更することなく、即座に設定を切り替えて撮影することが可能である。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００４－５３７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１では、複数のレリーズボタンに異なる機能を割り当てることが可能であるだけで、どのような機能を割り当てることが有用であるかをユーザが熟知している必要がある。
【0006】
このような背景に鑑みて、操作部材に割り当てる機能をユーザに推奨することも考えられるが、単純にメニュー画面での設定変更回数に基づいて操作部材に割り当てる機能を推奨するだけでは、ユーザが機能の内容を知らない場合にはどの機能を設定したらよいのかわからず、適切な設定を行うことが困難である。
【0007】
本発明は、上記課題に鑑みてなされ、その目的は、機能の内容を知らないユーザであっても、適切な操作部材に適切な機能を割り当てられるようになる技術を実現することである。
【課題を解決するための手段】
【0008】
上記課題を解決し、目的を達成するために、本発明は、所定の操作部材に所定の撮影機能を割り当てるカスタマイズ機能を有する撮像装置であって、ユーザの撮影操作により撮影画像情報を取得する取得手段と、前記撮影画像情報に基づいて推定処理を行った結果であるユーザに推奨するカスタマイズ機能に適した操作部材を推定する推定手段と、ユーザに推奨するカスタマイズ機能と、当該カスタマイズ機能に適した操作部材をユーザに提示する提示手段と、を有し、前記撮影画像情報にはユーザの撮影操作による操作履歴情報が含まれており、前記操作部材は、ユーザが物理的に操作可能な部材またはタッチ操作を検出可能な部材であり、前記推定処理の結果は、前記操作部材に割り当てることが可能な複数の撮影機能と、当該複数の撮影機能を推奨する理由を含み、前記提示手段は、前記操作部材に割り当てることが可能な複数の撮影機能と、当該複数の撮影機能を推奨する理由を提示し、前記推定処理では、前記撮影画像情報と前記操作履歴情報と前記操作部材に割り当てる撮影機能との関係が対応付けられた情報を用いて学習を行って得られたモデルに基づいてユーザに推奨するカスタマイズ機能を推定する。
【発明の効果】
【0009】
本発明によれば、機能の内容を知らないユーザであっても、適切な部材に適切な機能を割り当てられるようになり、より良い静止画や動画を撮影することができるようになる。
【図面の簡単な説明】
【0010】
【図1】本実施形態の撮像装置を含むシステム構成図。
【図2】本実施形態の撮像装置の外観図。
【図3】本実施形態の撮像装置の内部構成を示すブロック図。
【図4】本実施形態の撮像装置のソフトウェア構成図。
【図5】本実施形態の学習モデルに対する入出力データを示す概念図。
【図6】本実施形態の学習モデルを利用したシステムの処理手順を示す概念図。
【図7】本実施形態の撮像装置の処理を示すフローチャート。
【図8】本実施形態の記憶サーバの処理を示すフローチャート。
【図9】本実施形態の推定サーバの処理を示すフローチャート。
【図10】本実施形態のカスタマイズ設定画面を例示する図。
【図11A】学習処理に用いられる入力データと教師データの組み合わせを示すデータテーブルを示す図。
【図11B】学習処理に用いられる入力データと教師データの組み合わせを示す学習データテーブルを示す図。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0012】
以下に、本発明の撮像装置を、静止画や動画を撮影可能なデジタル一眼レフカメラに適用し、本発明の情報処理装置をサーバコンピュータに適用した実施の形態について、添付図面を参照して詳細に説明する。
【0013】
＜システム構成＞まず、図１を参照して、本実施形態のシステム構成について説明する。
【0014】
本実施形態のシステムは、デジタルカメラ１０と、記憶サーバ２０と、推定サーバ３０を含む。デジタルカメラ１０はネットワーク４０を介して記憶サーバ２０へ操作履歴情報を送信する。記憶サーバ２０は、デジタルカメラ１０から受信した操作履歴情報を記憶し、デジタルカメラ１０よりも処理性能の高い推定サーバ３０へ推定処理を要求する。推定サーバ３０は、記憶サーバ２０に蓄積された撮影画像情報に加えて、撮影設定情報を含む操作履歴情報を入力データとし、図１１Ａおよび図１１Ｂで後述するカスタマイズ機能を教師データとすることで、操作履歴情報に対してユーザに推奨するカスタマイズ機能を出力する学習済みモデルを生成する。撮影画像情報は、撮影画像の白飛びの有無や、顔が暗く背景が明るい逆光の有無、静態と動態が切り替わる鳥や子供のような被写体の有無などの情報を含む。また、操作履歴情報は、ＩＳＯ感度設定、露出補正設定、ゼブラ設定、ＡＦ（オートフォーカス）モードの切り替え設定、オートライティングオプティマイザ設定、カスタマイズ設定などの撮影設定情報を含む情報を含む。
【0015】
推定サーバ３０は、複数の入力データと教師データとを紐づけし、ニューラルネットワークを用いて学習処理を実行することで学習済みモデルを生成する。学習済みモデルは、システムを稼働する前に生成してもよいし、システムが稼働中に所定のタイミングで生成し直してもよい。これによりシステム稼働中に学習済みモデルを生成し直すことができるため精度の高い推定が可能になる。
【0016】
また、本実施形態では記憶サーバ２０が操作履歴情報を記憶し、推定サーバ３０が学習処理を行っているが、各サーバの機能を入れ替えることや、同一の機器内で実行するように構成してもよい。また、サーバに限らず、スマートフォンなどのユーザ端末でも適用可能である。
【0017】
【0018】
【0019】
図２において、背面表示部１０１は、画像や各種情報を表示するファインダー外表示部であり、カメラ本体の背面に設けられたＬＣＤなどの表示デバイスである。また、背面表示部１０１は、静止画撮影後の静止画再生や記録中の動画表示、及びライブビュー表示機能を併せ持っている。背面表示部１０１には、タッチパネル２７０ａが設けられている。タッチパネル２７０ａは、背面表示部１０１の表示面（タッチパネル２７０ａのタッチ操作面）対する接触（タッチ操作）を検出可能なタッチ操作部材である。
【0020】
ファインダー外表示部２４３は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン１０２は撮影指示を行うための操作部である。モード切替スイッチ１０３は各種モードを切り替えるための回転ダイヤル式の操作部である。端子カバー１０４は外部機器とデジタルカメラ１０をＵＳＢなどのケーブルを介して接続するためのコネクタ（不図示）を保護するカバー部材である。メイン電子ダイヤル１０５は図３で後述する操作部２７０に含まれる回転操作部材であり、このメイン電子ダイヤル１０５を回すことで、シャッター速度や絞りなどの設定値が変更できる。
【0021】
電源スイッチ１０６はデジタルカメラ１０の電源のオン／オフを切り替える操作部材である。サブ電子ダイヤル１０７も図３で後述する操作部２７０に含まれる回転操作部材であり、選択枠の移動や画像送りなどが行える。十字キー１０８も図３で後述する操作部２７０に含まれる移動指示部材であり、上、下、左、右の４方向に押し込み可能な押しボタンを有する４方向操作ボタンである。十字キー１０８の押下した方向に押した部分に応じた操作が可能である。ＳＥＴボタン１０９も図３で後述する操作部２７０に含まれる押しボタンであり、主に選択項目の決定などに用いられる。
【0022】
録画ボタン１１０も図３で後述する操作部２７０に含まれ、動画撮影（記録）の開始、停止の指示に用いられる。ＡＥロックボタン１１２も図３で後述する操作部２７０に含まれ、撮影待機状態で押下することにより、露出状態を固定することができる。拡大／縮小ボタン１１１も図３で後述する操作部２７０に含まれ、撮影モードのライブビュー表示において拡大モードのオン、オフを行うための操作ボタンである。拡大モードをオンとしてからメイン電子ダイヤル１０５を操作することにより、ライブビュー画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。
【0023】
再生ボタン１１３も図３で後述する操作部２７０に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン１１３を押下することで再生モードに移行し、記録媒体２５０に記録された画像のうち最新の画像を背面表示部１０１に表示させることができる。メニューボタン１１４も図３で後述する操作部２７０に含まれ、押下することにより各種の設定可能なメニュー画面が背面表示部１０１に表示される。ユーザは、背面表示部１０１に表示されたメニュー画面と、十字キー１０８やＳＥＴボタン１０９またはマルチコントローラ１１５を用いて直感的に各種設定を行うことができる。
【0024】
タッチバー１１５（マルチファンクションバー）も図３で後述する操作部２７０に含まれる、タッチ操作を受け付けることが可能なライン状のタッチ操作部材（ラインタッチセンサ）である。タッチバー１１５は、右手の人差し指でシャッターボタン１０２を押下可能なようにグリップ部１１６を右手で握った状態（右手の小指、薬指、中指で握った状態）で、右手の親指でタッチ操作可能（タッチ可能）な位置に配置されている。すなわち、タッチバー１１５は接眼部２１６に接眼してファインダーを覗き、いつでもシャッターボタン１０２を押下できるように構えた状態（撮影姿勢）で操作可能な位置に配置されている。タッチバー１１５は、タッチバー１１５に対するタップ操作（タッチして所定期間以内に移動せずに離す操作）、左右へのスライド操作（タッチした後、タッチしたままタッチ位置を移動する操作）などを受け付け可能な受付部である。タッチバー１１５は、タッチパネル２７０ａとは異なる操作部材であり、表示機能は備えていない。
【0025】
マルチファンクションボタン１１８も図３で後述する操作部２７０に含まれ、グリップ部１１６を右手で握った状態で、人差し指で操作可能な位置に配置されている。すなわち、マルチファンクションボタン１１８は、接眼部２１６に接眼してファインダーを覗きながら操作可能な位置に配置されている。
【0026】
グリップ部１１６は、ユーザがデジタルカメラ１０を構えた際に右手で握りやすい形状を有する。グリップ部１１６を右手の小指、薬指、中指で握ってデジタルカメラ１０を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン１０２、メイン電子ダイヤル１０５が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル１０７およびタッチバー１１５が配置されている。蓋１１７はデジタルカメラ１０に対して記録媒体２５０を着脱するためにスロットを開閉する部材である。
【0027】
通信端子２１０はデジタルカメラ１０がレンズユニット２００と通信を行うための電気的接点である。接眼部２１６は、覗き込み型の接眼ファインダーである。ユーザは、接眼部２１６を介してファインダー内表示部２２９である電子ビューファインダー（ＥＶＦ）に表示された画像を視認可能であり、図３で後述するレンズユニット２００を通じて取り込んだ被写体像の焦点や構図の確認を行うことができる。
【0028】
接眼検知部２１７は、接眼部２１６の近傍に配置され、接眼部２１６への何らかの物体の接近を検知することができる。接眼検知部２１７は、例えば赤外線近接センサが用いられる。
【0029】
サムレスト部１１９（親指待機位置）は、デジタルカメラ１０の背面側の、どの操作部材も操作しない状態でグリップ部１１６を握った右手の親指を置きやすい箇所に設けられたグリップ部材である。サムレスト部１１９は、保持力（グリップ感）を高めるためのラバー部材などで構成される。
【0030】
ＡＦフレーム選択ボタン１２０は図３で後述する操作部２７０に含まれ、十字キー１０８などを操作してピントを合わせるＡＦ位置（枠）を選択することができる。
【0031】
【0032】
図３において、レンズユニット２００は撮影レンズ２０７を搭載し、デジタルカメラ１０に対して着脱可能である。撮影レンズ２０７は通常、複数枚のレンズから構成されるが、ここでは簡略して１枚のレンズのみで示している。通信端子２０６はレンズユニット２００がデジタルカメラ１０と通信を行うための電気的接点である。通信端子２１０はデジタルカメラ１０がレンズユニット２００と通信を行うための電気的接点である。レンズユニット２００は、通信端子２０６を介してシステム制御部２０１と通信し、内蔵されたレンズ制御部２０４が絞り駆動回路２０２を制御して絞り２０５を駆動し、ＡＦ駆動回路２０３を制御して撮影レンズ２０７の位置を変位させることで焦点を合わせる。
【0033】
フォーカルプレーンシャッター２２１は、システム制御部２０１の指示に応じて撮像部２２２での露光時間を自由に制御できる。撮像部２２２は被写体像を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子で構成されたイメージセンサである。Ａ／Ｄ変換器２２３は、撮像部２２２から出力されるアナログ信号をデジタル信号に変換する。
【0034】
画像処理部２２４は、Ａ／Ｄ変換器２２３からのデータ、又は、メモリ制御部２１５からのデータに対して所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２２４では、撮像した画像データを用いて所定の演算処理が行われ、システム制御部２０１は演算結果に基づいて露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２２４では更に、撮像した画像データを用いて所定の演算処理を行い、演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【0035】
メモリ制御部２１５は、Ａ／Ｄ変換器２２３、画像処理部２２４、メモリ２３２の間のデータの授受を制御する。Ａ／Ｄ変換器２２３から出力されるデジタルデータは、画像処理部２２４およびメモリ制御部２１５を介して、あるいは、メモリ制御部２１５を介してメモリ２３２に直接書き込まれる。メモリ２３２は、撮像部２２２およびＡ／Ｄ変換器２２３から得られる画像データや、背面表示部１０１またはファインダー内表示部２２９に表示するための画像表示用のデータを格納する。メモリ２３２は、所定枚数の静止画や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。また、メモリ２３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。
【0036】
Ｄ／Ａ変換器２１９は、メモリ２３２に格納されている画像表示用のデータをアナログ信号に変換して背面表示部１０１またはファインダー内表示部２２９に供給する。メモリ２３２に書き込まれた表示用の画像データはＤ／Ａ変換器２１９を介して背面表示部１０１やファインダー内表示部２２９により表示される。背面表示部１０１やファインダー内表示部２２９は、表示デバイスにＤ／Ａ変換器２１９からのアナログ信号に応じた表示を行う。このように、メモリ２３２に格納されたデジタル信号をアナログ信号に変換し、背面表示部１０１またはファインダー内表示部２２９に逐次転送して表示することで、ライブビュー（ＬＶ）表示（スルー画像表示）を行うＥＶＦとして機能する。
【0037】
ファインダー外表示部２４３には、ファインダー外表示部駆動回路２４４を介して、撮影時のシャッター速度や絞りなどのカメラの様々な情報が表示される。
【0038】
不揮発性メモリ２５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュＲＯＭなどが用いられる。不揮発性メモリ２５６には、システム制御部２０１の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述するフローチャートを実行するためのプログラムのことである。
【0039】
システム制御部２０１は、少なくとも１つのプロセッサおよび／または少なくとも１つの回路からなる演算処理装置であり、デジタルカメラ１０全体を統括して制御する。システム制御部２０１は、不揮発性メモリ２５６に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。システムメモリ２５２には、例えばＲＡＭが用いられ、システム制御部２０１の動作用の定数、変数、不揮発性メモリ２５６から読み出したプログラムなどが展開を展開するワークメモリとしても使用される。また、システム制御部２０１は、メモリ２３２、Ｄ／Ａ変換器２１９、背面表示部１０１、ファインダー内表示部２２９などを制御することにより表示制御も行う。システムタイマー２５３は各種制御に用いる時間や、内蔵時計の時間を計測する計時部である。
【0040】
モード切替スイッチ１０３、第１シャッタースイッチ２１１、第２シャッタースイッチ２１２、操作部２７０はシステム制御部２０１に各種の指示を入力するための操作手段である。モード切替スイッチ１０３は、システム制御部２０１の動作モードを、静止画撮影モード、動画記録モード、再生モードのいずれかに切り替える。静止画撮影モードには、例えば、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）が含まれる。また、静止画撮影モードには、例えば、撮影シーン別の撮影設定となる各種シーンモード、カスタムモードなどが含まれる。
【0041】
ユーザは、モード切替スイッチ１０３を操作することにより、これらの撮影モードのいずれかに直接切り替えるか、モード切替スイッチ１０３で動作モードの一覧画面に一旦切り替えた後に、一覧表示された複数の撮影モードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画記録モードや再生モードにも複数のモードが含まれていてもよい。
【0042】
第１シャッタースイッチ２１１は、デジタルカメラ１０に設けられたシャッターボタン１０２の操作途中、いわゆる半押し（撮影準備指示）でオンとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。
【0043】
第２シャッタースイッチ２１２は、シャッターボタン１０２の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部２０１は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２２からの信号読み出しから撮像された画像を画像ファイルとして記録媒体２５０に書き込むまでの一連の撮影処理の動作を開始する。
【0044】
操作部２７０は、ユーザからの各種操作を受け付けて、システム制御部２０１へ通知する各種スイッチ、ボタンなどの操作部材からなり、少なくとも以下の操作部材が含まれる。シャッターボタン１０２、モード切替スイッチ１０３、メイン電子ダイヤル１０５、電源スイッチ１０６、サブ電子ダイヤル１０７、十字キー１０８、ＳＥＴボタン１０９、録画ボタン１１０、拡大／縮小ボタン１１１、ＡＥロックボタン１１２、再生ボタン１１３、メニューボタン１１４、タッチバー１１５、マルチファンクションボタン１１８、ＡＦフレーム選択ボタン１２０。
【0045】
電源制御部２８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２８０は、その検出結果およびシステム制御部２０１の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２５０を含む各部へ供給する。
【0046】
電源部２３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプタ等からなる。記録媒体Ｉ／Ｆ２１８は、メモリカードやハードディスク等の記録媒体２５０とのインターフェースである。記録媒体２５０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【0047】
通信部２５４は、無線アンテナや有線ケーブルによって外部機器と通信可能に接続し、画像や音声の送受信を行う。通信部２５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットにも接続可能である。通信部２５４は撮像部２２２で撮像された画像データ（ライブビュー画像を含む）や、記録媒体２５０に記録されている画像ファイルを外部機器に送信でき、また、外部機器から画像データやその他の各種情報を受信できる。なお、通信部２５４は、無線ＬＡＮに限らず、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ、ＷｉｒｅｌｅｓｓＵＳＢなどの無線通信モジュール、あるいは、ＵＳＢケーブルやＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４などの有線接続手段を用いてもよい。
【0048】
姿勢検知部２５５は重力方向に対するデジタルカメラ１０の姿勢を検知する。姿勢検知部２５５で検知された姿勢に基づいて、撮像部２２２で撮影された画像が、デジタルカメラ１０を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部２０１は、姿勢検知部２５５で検知された姿勢に応じた向き情報を撮像部２２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部２５５としては、加速度センサやジャイロセンサなどを用いることができる。姿勢検知部２５５は、加速度センサやジャイロセンサを用いることで、デジタルカメラ１０の動き（パン、チルト、持ち上げ、静止など）を検知することも可能である。
【0049】
なお、操作部２７０の１つとして、背面表示部１０１に対するタッチ操作を検出可能なタッチパネル２７０ａを有する。タッチパネル２７０ａと背面表示部１０１とは一体的に構成することができる。例えば、タッチパネル２７０ａを光の透過率が背面表示部１０１の表示を妨げないように構成し、背面表示部１０１の表示面の上層に取り付ける。そして、タッチパネル２７０ａにおける入力座標と、背面表示部１０１上の表示座標とを対応付ける。これにより、あたかもユーザが背面表示部１０１上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。システム制御部２０１はタッチパネル２７０ａへの以下の操作、あるいは状態を検出できる。
【0050】
・タッチパネル２７０ａにタッチしていなかった指やペンが新たにタッチパネル２７０ａにタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）。
【0051】
・タッチパネル２７０ａを指やペンでタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）。
【0052】
・タッチパネル２７０ａを指やペンでタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）。
【0053】
・タッチパネル２７０ａへタッチしていた指やペンを離したこと。すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）。
【0054】
・タッチパネル２７０ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）。
【0055】
タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
【0056】
これらの操作・状態や、タッチパネル２７０ａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部２０１に通知され、システム制御部２０１は通知された情報に基づいてタッチパネル２７０ａ上にどのような操作（タッチ操作）が行われたかを判定する。
【0057】
タッチムーブについてはタッチパネル２７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル２７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作（ドラッグ）が行われたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル２７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる（ドラッグに続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。
【0058】
タッチパネル２７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
【0059】
接眼検知部２１７は接眼部２１６に対する目（物体）の接近（接眼）および離反（離眼）を検知する（接近検知）。システム制御部２０１は、接眼検知部２１７で検知された状態に応じて、背面表示部１０１とファインダー内表示部２２９の表示（表示状態）／非表示（非表示状態）を切り替える。システム制御部２０１は、少なくとも撮影モード、かつ、表示先の切替が自動である場合において、非接眼中は表示先を背面表示部１０１とし、ファインダー内表示部２２９は非表示とする。また、接眼中は表示先をファインダー内表示部２２９とし、背面表示部１０１は非表示とする。
【0060】
物体が接近した場合は、接眼検知部２１７の投光部（図示せず）から照射された赤外光が反射して赤外線近接センサの受光部（図示せず）に入射される。赤外線近接センサで受光される赤外光の入射光量によって、接眼部２１６への何らかの物体の接近の検出と、物体が接眼部２１６からどの程度の距離まで近づいているか（接眼距離）を判別することができる。接眼部２１６への物体の接近を検知するとシステム制御部２０１がファインダー内表示部２２９の表示を開始させることが可能となる。これにより、ユーザが接眼部２１６を覗いたときにファインダー内表示部２２９を極力遅延なく表示可能となる。
【0061】
また、接眼検知部２１７は、非接眼状態（非接近状態）から、接眼部２１６に対して所定距離以内に近づく物体を検出した場合に接眼を検出したと判定し、システム制御部２０１に接眼検知通知を送信する。また、接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に離眼が検出したと判定し、システム制御部２０１に離眼検知通知を送信する。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。これにより、システム制御部２０１は、接眼検知部２１７が検出した接眼状態もしくは離眼状態に応じて背面表示部１０１とファインダー内表示部２２９の表示制御を行う。
【0062】
なお、接眼検知部２１７は赤外線近接センサに限らず、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサを用いてもよい。
【0063】
【0064】
本実施形態の情報処理装置３００は、記憶サーバ２０および推定サーバ３０を構成するハードウェアである。なお、記憶サーバ２０および推定サーバ３０をそれぞれ単一の情報処理装置で実現してもよいし、必要に応じて複数の情報処理装置に各機能を分散して実現するようにしてもよい。記憶サーバ２０および推定サーバ３０を複数の情報処理装置で構成する場合は、互いに通信可能に接続される。
【0065】
図３において、システムバス３０１は各部３０２～３０９を相互にデータ通信可能に接続する。制御部３０２は情報処理装置３００全体を制御する、例えばＣＰＵやＭＰＵなどの演算処理装置である。不揮発性メモリ３０３はプログラムやパラメータを格納するＲＯＭである。ワークメモリ３０４は外部記憶装置またはネットワーク４０などから供給されるプログラムやデータを一時記憶するＲＡＭである。記憶装置３０５は情報処理装置３００に内蔵されたハードディスクやメモリカードなどの補助記憶装置、あるいは情報処理装置３００に対して着脱可能な光ディスク、磁気や光カード、ＩＣカードなどの外部記憶装置である。通信部３０６はネットワーク４０などの回線に接続するためのネットワークインターフェースである。操作部３０７はユーザの操作を受け付け、各種データを入力するポインティングデバイスやキーボードなどの入力デバイスとのインターフェースである。表示部３０８は情報処理装置３００の保持するデータや供給されたデータを表示するためのディスプレイなどの表示装置とのインターフェースである。演算部３０９はデータをより多く並列処理することで効率的な演算を行うことができるＧＰＵなどである。ディープラーニングのような学習モデルを用いて複数回にわたって学習を行う場合には、演算部３０９で処理を行うことが有効である。
【0066】
なお、後述する情報処理装置３００の処理は制御部３０２が記憶装置３０５またはネットワーク４０などから取得したプログラムを読み出して実行し、各種デバイスを制御することにより実現される。
【0067】
【0068】
デジタルカメラ１０は、データ送受信部４０１、ＵＩ表示制御部４０２、撮像制御部４０３、画像生成部４０４を有する。データ送受信部４０１は、デジタルカメラ１０で撮影した撮影画像情報や撮影設定情報などを含む操作履歴情報を情報処理装置３００に送信し、情報処理装置３００から推定結果であるユーザに推奨するカスタマイズ機能（推奨カスタマイズ機能）を受信する。ＵＩ表示制御部４０２は、デジタルカメラ１０で撮影した画像やカスタマイズ設定画面などを表示する。撮像制御部４０３は、デジタルカメラ１０の撮影処理を実行する。画像生成部４０４は、撮像制御部４０３により撮影処理が行われた画像データに各種の画像処理などを行い、画像ファイルを生成する。
【0069】
記憶サーバ２０はデータ記憶部４５１、データ管理部４５２、データ送受信部４５３を有する。データ記憶部４５１は、デジタルカメラ１０から受信した操作履歴情報を不揮発性メモリ３０３に記憶する。データ管理部４５２は、操作履歴情報の登録や削除などの管理を行う。データ送受信部４５３は、デジタルカメラ１０からの操作履歴情報の受信やデジタルカメラ１０へのカスタマイズ機能の推定結果の送信を行う。
【0070】
推定サーバ３０は、データ記憶部４６１、学習部４６２、推定部４６３を有する。データ記憶部４６１は、学習部４６２での学習処理の結果と、推定部４６３での推定処理の結果を不揮発性メモリ３０３に記憶する。学習部４６２は、推奨カスタマイズ機能の推定処理に用いるニューラルネットワークに教師データを学習させるための学習プログラムを実行する。推定部４６３は、学習済みモデルを用いて推奨カスタマイズ機能の推定処理を実行する。また、学習部４６２は、学習モデルを含む学習プログラムを実行する場合に、制御部３０２と演算部３０９が協働して演算を行うことで学習処理を実行する。なお、学習部４６２の処理は制御部３０２と演算部３０９のいずれかで行ってもよい。また、推定部４６３の処理も制御部３０２と演算部３０９のいずれかで行ってもよい。
【0071】
また、学習部４６２は、誤差検出部と更新部を備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、教師データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと教師データとの誤差を演算するようにしてもよい。更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
【0072】
図１１Ａ、１１Ｂは、学習処理に用いられる入力データと教師データの組み合わせを示すデータテーブルである。
【0073】
図１１Ａは入力データとして、白飛び撮影回数、ＩＳＯ感度設定を高ＩＳＯ感度に変更した回数、ゼブラ設定変更回数、露出補正設定変更回数、カスタマイズ設定変更回数を例として挙げている。また、図１１Ａは、それぞれの入力があった場合の最適なカスタマイズ機能と、推奨する根拠としての入力データに対する教師データの相関関係を示している。
【0074】
図１１Ａでは、入力データとしてユーザが白飛び画像を撮影した回数が１回で、ゼブラ機能（自然画に輝度に対応した縞模様を重畳させることで白飛びを防ぐことのできる機能）の設定変更回数が０回であれば、ゼブラ機能を知らないと判断し、ゼブラ機能を操作部材に割り当てるべきと推奨している。
【0075】
また、上記条件のゼブラ機能設定の変更回数が０回から１回に変わり、カスタマイズ設定の変更回数が０回であれば、ゼブラ機能の存在は知っているが、部材をゼブラ機能にカスタマイズできることを知らないと判断し、ゼブラ機能を操作部材に割り当てるべきと推奨している。
【0076】
また、上記条件のカスタマイズ設定の変更回数が０回から１回に変われば、ユーザはゼブラ機能の存在を知っており、操作部材で即座に切り替えられることも知っているが、露出の変え方を知らないために白飛び画像を撮影していると判断し、露出を調整することのできる露出補正設定を推奨している。
【0077】
図１１Ｂは入力データとして、静態と動態が切り替わる被写体画像撮影回数、顔が暗く背景が明るい逆光画像撮影回数、ＡＦ動作切り替え設定回数、オートライティングオプティマイザ設定回数、カスタマイズ設定回数を例として挙げており、それぞれの入力があった場合の最適なカスタマイズ機能と、推奨する根拠としての入力データに対する教師データの相関関係を示している。
【0078】
図１１Ｂでは、撮影画像中の被写体が人物や人物の顔や動物（例えば、鳥や子供）の場合に、静態に適したワンショットＡＦと動態に適したサーボＡＦを素早く切り替えることのできるＡＦモード切り替え機能を推奨している。また、逆光画像を撮影しているユーザには、顔を適切な明るさに画像処理を行うオートライティングオプティマイザ設定を推奨している。
【0079】
図５は、本実施形態の学習モデルに対する入出力データを示している。
【0080】
入力データ５０１はユーザの撮影操作により取得した撮影画像を含む操作履歴情報である。出力データ５０２は最適なカスタマイズ機能を示すスコアである。スコアは数値０～１の中で確率として出力され、ユーザに最適なカスタマイズ機能であると推定されたならば１に近い数値となって出力される。なお、学習フェーズにおける学習方法は、例えば熟練度の高いユーザが用意した操作履歴情報に対するカスタマイズ機能の組み合わせを教師データとして学習させる。これを学習部４６２が演算部３０９を用いて数万人分のパターンを用意して学習させ、その後、例えば数千人のテスト用操作履歴情報を用意して評価し正解率が所定以上になるまで繰り返して行う。これは推定フェーズにおける出力についても同様である。また本実施形態ではユーザの操作履歴情報を学習部４６２での処理に反映していないが、ユーザの操作履歴情報を学習部４６２での処理に反映してもよい。
【0081】
【0082】
まず、デジタルカメラ１０が記憶サーバ２０にユーザの操作履歴情報を送信する。記憶サーバ２０は、デジタルカメラ１０から受信した操作履歴情報をデータ記憶部４５１に保存し、推定サーバ３０に操作履歴情報を送信する。推定サーバ３０は、操作履歴情報に基づいて最適なカスタマイズ機能のスコアを、学習済みモデルを用いて算出し、推定結果を記憶サーバ２０に送信する。記憶サーバ２０は、推定結果をデジタルカメラ１０に送信する。
【0083】
このような手順で最適なカスタマイズ機能を推定することで、処理負荷の大きいカスタマイズ機能のスコアの算出が可能となる。また、処理負荷がデジタルカメラ１０でも十分処理できる場合には、推定演算をデジタルカメラ１０で実施することも可能である。また、デジタルカメラ１０が十分な記憶容量を有していれば、操作履歴情報をデジタルカメラ１０に記憶することも可能である。
【0084】
【0085】
図７の処理は、システム制御部２０１が不揮発性メモリ２５６に格納されたプログラムをシステムメモリ２５２に展開して実行し、デジタルカメラ１０の各部を制御することにより実現される。
【0086】
Ｓ７０１では、システム制御部２０１は、撮影設定変更指示が行われたか否かを判定する。制御部２０１は、撮影設定変更指示が行われたと判定した場合は処理をＳ７０２へ進め、撮影設定変更指示が行われていないと判定した場合は処理をＳ７０４へ進める。撮影設定の一例としては、ＩＳＯ感度設定、露出補正設定、ゼブラ設定、ＡＦ動作切り替え設定、オートライティングオプティマイザ設定、カスタマイズ設定などが挙げられる。
【0087】
Ｓ７０２では、システム制御部２０１は、ＩＳＯ感度設定、露出補正設定、ゼブラ設定、ＡＦ動作切り替え設定、オートライティングオプティマイザ設定、カスタマイズ設定などの撮影設定を変更し、システムメモリ２５２に記憶する。
【0088】
Ｓ７０３では、システム制御部２０１は、変更した撮影設定の変更回数を示す撮影設定情報を操作履歴情報としてシステムメモリ２５２に記憶する。本実施形態では操作履歴情報のデータ量が大きくなることに鑑み、デジタルカメラ１０に操作履歴情報を一時記憶し、記憶サーバ２０に長期記憶するような構成としている。しかしながら、デジタルカメラ１０のメモリ容量が十分に大きい場合には操作履歴情報をデジタルカメラ１０に長期記憶してもよい。また、本実施形態では撮影設定の変更回数を操作履歴情報として記憶しているが、変更回数ではなく、設定の利用時間や、設定を利用して撮影した回数などを操作履歴情報としてもよいとする。
【0089】
Ｓ７０４では、システム制御部２０１は、シャッターボタン１０２が押下されたか否か、つまり撮影指示がされたか否かを判定する。システム制御部２０１は、シャッターボタン１０２が押下されたと判定した場合は処理をＳ７０５へ進め、シャッターボタン１０２が押下されていないと判定した場合は処理をＳ７１２へ進める。
【0090】
Ｓ７０５では、システム制御部２０１は、撮像制御部４０３により撮像された画像データから、画像生成部４０４により撮影画像ファイルを生成し、記録媒体２５０に記憶する。
【0091】
Ｓ７０６では、システム制御部２０１は、Ｓ７０５で生成された撮影画像が白飛びしているか否かを判定する。システム制御部２０１は、撮影画像が白飛びしていると判定した場合は処理をＳ７０７へ進め、撮影画像が白飛びしていないと判定した場合は処理をＳ７０８へ進める。
【0092】
Ｓ７０７では、システム制御部２０１は、白飛び撮影した回数を操作履歴情報としてシステムメモリ２５２に記憶する。本実施形態では、白飛び撮影した回数を操作履歴情報に記憶しているが、撮影後に白飛び撮影画像が削除された回数などを操作履歴情報としてもよいとする。
【0093】
Ｓ７０８では、システム制御部２０１は、Ｓ７０５で生成された撮影画像が顔は暗く、背景が明るい逆光画像か否かを判定する。システム制御部２０１は、撮影画像が顔は暗く、背景が明るい逆光画像であると判定した場合は処理をＳ７０９へ進め、撮影画像が顔は暗く、背景が明るい逆光画像でないと判定した場合は処理をＳ７１０へ進める。
【0094】
Ｓ７０９では、システム制御部２０１は、顔は暗く、背景が明るい逆光画像の撮影回数を操作履歴情報としてシステムメモリ２５２に記憶する。本実施形態では、顔は暗く、背景が明るい逆光画像の撮影回数を操作履歴情報に記憶しているが、撮影後に逆光画像が削除された回数などを操作履歴情報としてもよい。
【0095】
Ｓ７１０では、システム制御部２０１は、Ｓ７０５で生成された撮影画像が子供や鳥のような静態と動態が切り替わる被写体か否かを判定する。システム制御部２０１は、撮影画像が子供や鳥のような静態と動態が切り替わる被写体であると判定した場合は処理をＳ７１１へ進め、撮影画像が子供や鳥のような静態と動態が切り替わる被写体ではないと判定した場合は処理をＳ７１２へ進める。
【0096】
Ｓ７１１では、システム制御部２０１は、子供や鳥のような静態と動態が切り替わる被写体を撮影した回数を操作履歴情報としてシステムメモリ２５２に記憶する。本実施形態では、子供や鳥のような静態と動態が切り替わる被写体画像を撮影した回数を操作履歴情報に記憶しているが、撮影後に静態と動態が切り替わる被写体画像を削除した回数などを操作履歴情報としてもよい。
【0097】
Ｓ７１２では、システム制御部２０１は、ユーザ操作によりカスタマイズ機能の推定指示が行われたか否かを判定する。システム制御部２０１は、カスタマイズ機能の推定指示が行われたと判定した場合は処理をＳ７１３へ進め、カスタマイズ機能の推定指示が行われていないと判定した場合は処理をＳ７１４へ進める。
【0098】
Ｓ７１３では、システム制御部２０１は、データ送受信部４０１により、記憶サーバ２０に操作履歴情報を送信する。ここで送信する操作履歴情報は撮影設定や撮影画像情報などに基づいている。
【0099】
Ｓ７１４では、システム制御部２０１は、データ送受信部４０１により、推定サーバ３０における推定結果としての推奨カスタマイズ機能を記憶サーバ２０から受信したか否かを判定する。システム制御部２０１は、推奨カスタマイズ機能を記憶サーバ２０から受信したと判定した場合は処理をＳ７１５へ進め、推奨カスタマイズ機能を記憶サーバ２０から受信していないと判定した場合は処理をＳ７１７へ進める。
【0100】
Ｓ７１５では、システム制御部２０１は、Ｓ７１４で受信した推奨カスタマイズ機能に適した操作部材を推定する。推奨カスタマイズ機能に適した操作部材の推定処理は、機械学習された学習済みモデルを用いてもよいが、ルックアップテーブル（ＬＵＴ）などのルールベースの処理を行ってもよい。ＬＵＴを用いる場合には、例えば、入力データと出力データとの関係を予めＬＵＴとして作成し、作成したＬＵＴをデジタルカメラ１０の不揮発性メモリ２５６に格納しておけばよい。推奨カスタマイズ機能に適した操作部材の推定は、このＬＵＴを参照して、出力データを取得することで実行できる。つまりＬＵＴは、推奨カスタマイズ機能に適した操作部材の推定処理と同等の処理を行うためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することが可能である。
【0101】
詳しくは、撮影機能に関する推奨カスタマイズ機能として露出補正機能を情報処理装置３００から受信した場合、ファインダーを覗いてライブビュー画像を確認しながら使用する可能性が高い。このため、ファインダーの近くにありブラインドでも操作しやすいマルチファンクションボタン１１８に割り当てることでユーザの利便性が向上する。また、初期値からカスタマイズ機能が変更されている操作部材は意図的に変えられていると判定し、初期値からカスタマイズ機能が変更されていない操作部材に優先的に割り当てるように推定することも可能である。
【0102】
さらに、カスタマイズ機能は、物理的に操作可能な部材だけでなく、タッチパネルなどのタッチ操作を検出可能な部材に割り当てることも可能であり、さらに細かくタッチダウンやタッチアップなどタッチ操作ごとに機能割り当てすることも可能である。
【0103】
また、本実施形態では推奨カスタマイズ機能に適した操作部材の推定をデジタルカメラ１０で実行したが、記憶サーバ２０や推定サーバ３０で実行することも可能である。
【0104】
Ｓ７１６では、システム制御部２０１は、ＵＩ表示制御部４０２により、図１０に例示するカスタマイズ設定画面を背面表示部１０１に表示する。図１０において、カスタマイズ設定画面１０００には、１００１のように推定部４６３において学習済みモデルによって算出されたスコアに基づいて優先度の高い推奨候補機能を複数提示可能なこと、１００２のように推奨する理由を提示可能なこと、１００３のようにどの部材にどの機能を割り当てるのが適しているかを提示可能である。
【0105】
Ｓ７１７では、システム制御部２０１は、デジタルカメラ１０の処理を終了するための電源オフを指示されたか否かを判定する。システム制御部２０１は、電源オフが指示されたと判定した場合は処理を終了し、電源オフが指示されていないと判定した場合は処理をＳ７０１へ戻す。
【0106】
なお、図７の処理の中でモードダイヤルなどが回転されるなどの異常な操作が行われた場合は、途中で処理が中断されることもある。
【0107】
【0108】
図８の処理は、情報処理装置３００の制御部３０２が不揮発性メモリ３０３に格納されたプログラムをワークメモリ３０４に展開して実行し、記憶サーバ２０の各部を制御することにより実現される。
【0109】
Ｓ８０１では、制御部３０２は、デジタルカメラ１０から操作履歴情報を受信したかを判定する。制御部３０２は、デジタルカメラ１０から操作履歴情報を受信したと判定した場合は処理をＳ８０２へ進め、デジタルカメラ１０から操作履歴情報を受信していないと判定した場合は処理をＳ８０４へ進める。
【0110】
Ｓ８０２では、制御部３０２は、データ記憶部４５１によりデジタルカメラ１０から受信した操作履歴情報をワークメモリ３０４に記憶する。
【0111】
Ｓ８０３では、制御部３０２は、データ管理部４５２により推定サーバ３０へ操作履歴情報を送信する。
【0112】
Ｓ８０４では、制御部３０２は、推定サーバ３０から送信された推定結果である推奨カスタマイズ機能を受信したか判定する。制御部３０２は、推定サーバ３０から推定結果を受信したと判定した場合は処理をＳ８０５へ進め、推定サーバ３０から推定結果を受信していないと判定した場合は処理をＳ８０６へ進める。
【0113】
Ｓ８０５では、制御部３０２は、データ送受信部４５３により、推定サーバ３０から受信した推定結果である推奨カスタマイズ機能をデジタルカメラ１０へ送信する。
【0114】
Ｓ８０６では、制御部３０２は、処理を終了するための電源オフを指示されたか否かを判定する。制御部３０２は、電源オフを指示されたと判定した場合は処理を終了し、電源オフを指示されていないと判定した場合は処理をＳ８０１へ戻す。
【0115】
なお、図８の処理の中で異常な操作が行われた場合は、途中で処理が中断されることもある。
【0116】
【0117】
図９の処理は、情報処理装置３００の制御部３０２が不揮発性メモリ３０３に格納されたプログラムをワークメモリ３０４に展開して実行し、推定サーバ３０の各部を制御することにより実現される。
【0118】
Ｓ９０１では、制御部３０２は、操作履歴情報を記憶サーバ２０から受信したか判定する。制御部３０２は、操作履歴情報を記憶サーバ２０から受信したと判定した場合は処理をＳ９０２へ進め、操作履歴情報を記憶サーバ２０から受信していないと判定した場合は処理をＳ９０４へ進める。
【0119】
Ｓ９０２では、制御部３０２は、Ｓ９０１で受信した操作履歴情報に基づいて推定部４６３により推奨カスタマイズ機能の推定処理を実行する。推定部４６３は前述したように熟練度の高いユーザが用意した操作履歴情報に対するカスタマイズ機能の組み合わせを事前に学習部４６２において教師データとして学習させた学習済みモデルを利用して推定処理を行う。これによりユーザの操作履歴情報からユーザが抱えている課題を発見し、最適なカスタマイズ機能を提示できるようになる。これは例えば白飛び画像で困っているユーザに、熟練度の高いユーザがその解決策としてゼブラ機能を提案することと同等の効果が得られる。
【0120】
また、推定部４６３では、機械学習された学習済みモデルを用いた処理を実行したが、ルックアップテーブル（ＬＵＴ）等のルールベースの処理を行ってもよい。ＬＵＴを用いる場合には、例えば、画像および付帯情報と改善効果との関係を予めＬＵＴとして作成し、作成したＬＵＴをデータ記憶部４６１に格納しておけばよい。推定部４６３では、データ記憶部４６１に格納されたＬＵＴを参照して、出力データを取得することができる。つまりＬＵＴは、推定部４６３と同等の処理をするためのプログラムとして、制御部３０２や演算部３０９などと協働で動作することにより、上述した処理を実現する。
【0121】
Ｓ９０３では、制御部３０２は、推定部４６３における推定結果である推奨カスタマイズ機能を記憶サーバ２０送信する。
【0122】
Ｓ９０４では、制御部３０２は、処理を終了するための電源オフを指示されたか否かを判定する。制御部３０２は、電源オフを指示されたと判定した場合は処理を終了し、電源オフを指示されていないと判定した場合は処理をＳ９０１へ戻す。
【0123】
【0124】
なお、図９の処理の中で異常な操作が行われた場合は、途中で処理が中断されることもある。
【0125】
以上説明したように、本実施形態によれば、撮影画像情報を含む操作履歴情報に基づいて撮影機能に関する推奨カスタマイズ機能を推定し、推奨カスタマイズ機能に適した操作部材を推定した結果をユーザに提示する。これにより、機能の内容を知らないユーザであっても、適切な部材に適切な機能を割り当てることができるようになり、より良い静止画や動画を撮影することができるようになる。
【0126】
なお、本実施形態においては、デジタルカメラ１０と記憶サーバ２０と推定サーバ３０がそれぞれの処理を分担して制御する例を説明したが、全ての処理を１つのハードウェアで行ってもよいし、複数のハードウェアが処理を分担することで、全体の制御を行ってもよい。
【0127】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【0128】
また、上述した実施形態においては、本発明をデジタルカメラなどの撮像装置やサーバコンピュータなどの情報処理装置に適用した場合を例にして説明したが、この例に限定されず、カメラ機能を備える装置であれば適用可能である。すなわち、本発明は、カメラ機能を備えるパーソナルコンピュータやタブレット端末、携帯電話やその一種であるスマートフォンなどにも適用可能である。
【0129】
［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0130】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0131】
１０…デジタルカメラ、２０…記憶サーバ、３０…推定サーバ、２０１…システム制御部、３００…情報処理装置、３０２…制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】