特許 7511352 情報処理システム、撮像装置及びその制御方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-27

(45)【発行日】2024-07-05

(54)【発明の名称】情報処理システム、撮像装置及びその制御方法、プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240628BHJP

   G06T 7/00 20170101ALI20240628BHJP

   H04N 5/77 20060101ALI20240628BHJP

   H04N 5/92 20060101ALI20240628BHJP

【ＦＩ】

H04N23/60 300

G06T7/00 Q

G06T7/00 350C

H04N5/77

H04N5/92

【請求項の数】 21

(21)【出願番号】P 2020016493

(22)【出願日】2020-02-03

(65)【公開番号】P2021125750

(43)【公開日】2021-08-30

【審査請求日】2023-01-27

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】▲高▼橋 亮

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０１０－０３５１７７（ＪＰ，Ａ）

【文献】特開２０１３－１４３６６１（ＪＰ，Ａ）

【文献】特開２０１８－０４５３５０（ＪＰ，Ａ）

【文献】特開２００５－１６５６６２（ＪＰ，Ａ）

【文献】特開２００５－０４５６００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ５／７７

Ｈ０４Ｎ ５／９２

(57)【特許請求の範囲】

【請求項1】

撮像装置と情報処理装置とが通信可能に構成された情報処理システムであって、
前記撮像装置は、
被写体像を撮像する撮像手段と、
前記撮像手段で撮像された撮像画像に対して、第１の評価を行う第１の評価手段と、
前記撮像画像に対応するよりサイズの小さい画像を前記情報処理装置に送信する第１の送信手段と、を備え、
前記情報処理装置は、
前記第１の送信手段により送信された前記画像を受信する受信手段と、
前記画像に対して、第２の評価を行う第２の評価手段と、
前記第２の評価の評価結果を前記撮像装置に送信する第２の送信手段と、を備え、
前記撮像装置は、前記第２の評価の評価結果を受信し、前記撮像画像に対する前記第１の評価の評価結果と前記画像に対する前記第２の評価の評価結果とを用いて、前記撮像画像の仕分けを行う仕分け手段をさらに備え、
前記第１の評価は、少なくともピントの良し悪しに関する評価であることを特徴とする情報処理システム。

【請求項2】

前記仕分け手段は、前記撮像画像を残すか残さないかを決定することを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記第２の評価手段で行う評価は、少なくとも構図または表情の良し悪しに関する評価であることを特徴とする請求項１または２に記載の情報処理システム。

【請求項4】

前記撮像装置は、ユーザが前記撮像画像の評価において重視する観点を選択する選択手段をさらに備え、前記仕分け手段は、前記選択手段の選択内容に応じて前記撮像画像の仕分けを行うことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。

【請求項5】

前記選択手段によって、ユーザが構図または表情を重視する選択を行った場合は、前記仕分け手段は、前記第２の評価の評価結果を重視して前記撮像画像の仕分けを行うことを特徴とする請求項４に記載の情報処理システム。

【請求項6】

前記選択手段によって、ユーザがピントを重視する選択を行った場合は、前記仕分け手段は、前記第１の評価の評価結果を重視して前記撮像画像の仕分けを行うことを特徴とする請求項４に記載の情報処理システム。

【請求項7】

前記仕分け手段は、前記第１の評価の評価結果と前記第２の評価の評価結果がともに所定の値以上である前記撮像画像を、残す画像として仕分けることを特徴とする請求項２に記載の情報処理システム。

【請求項8】

前記仕分け手段は、残す画像として仕分けられた前記撮像画像に、送信予約タグを付加することを特徴とする請求項２または７に記載の情報処理システム。

【請求項9】

前記第２の評価手段における評価は、少なくとも表情の判定に特化した学習モデルを用いて行われることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。

【請求項10】

前記第１の送信手段は、前記第１の評価手段での評価結果が所定の閾値以上だった前記撮像画像を、前記情報処理装置に送信することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。

【請求項11】

情報処理装置と通信可能な撮像装置であって、
被写体像を撮像する撮像手段と、
前記撮像手段で撮像された撮像画像に対して、第１の評価を行う評価手段と、
前記撮像画像に対応するよりサイズの小さい画像を前記情報処理装置に送信する送信手段と、
前記情報処理装置により、前記画像に対して行われる第２の評価の評価結果を受信する受信手段と、
前記撮像画像に対する前記第１の評価の評価結果と、受信した前記画像に対する前記第２の評価の評価結果とを用いて、前記撮像画像の仕分けを行う仕分け手段と、
を備え、
前記第１の評価は、少なくともピントの良し悪しに関する評価であることを特徴とする撮像装置。

【請求項12】

前記仕分け手段は、前記撮像画像を残すか残さないかを決定することを特徴とする請求項１１に記載の撮像装置。

【請求項13】

前記第２の評価は、少なくとも構図または表情の良し悪しに関する評価であることを特徴とする請求項１１または１２に記載の撮像装置。

【請求項14】

ユーザが前記撮像画像の評価において重視する観点を選択する選択手段をさらに備え、前記仕分け手段は、前記選択手段の選択内容に応じて前記撮像画像の仕分けを行うことを特徴とする請求項１１乃至１３のいずれか１項に記載の撮像装置。

【請求項15】

前記選択手段によって、ユーザが構図または表情を重視する選択を行った場合は、前記仕分け手段は、前記第２の評価の評価結果を重視して前記撮像画像の仕分けを行うことを特徴とする請求項１４に記載の撮像装置。

【請求項16】

前記選択手段によって、ユーザがピントを重視する選択を行った場合は、前記仕分け手段は、前記第１の評価の評価結果を重視して前記撮像画像の仕分けを行うことを特徴とする請求項１４に記載の撮像装置。

【請求項17】

前記仕分け手段は、前記第１の評価の評価結果と前記第２の評価の評価結果がともに所定の値以上である前記撮像画像を、残す画像として仕分けることを特徴とする請求項１２に記載の撮像装置。

【請求項18】

前記仕分け手段は、残す画像として仕分けられた前記撮像画像に、送信予約タグを付加することを特徴とする請求項１２または１７に記載の撮像装置。

【請求項19】

前記送信手段は、前記第１の評価の評価結果が所定の閾値以上だった前記撮像画像を、前記情報処理装置に送信することを特徴とする請求項１１乃至１８のいずれか１項に記載の撮像装置。

【請求項20】

被写体像を撮像する撮像手段を備え、情報処理装置と通信可能な撮像装置を制御する方法であって、
前記撮像手段で撮像された撮像画像に対して、第１の評価を行う評価工程と、
前記撮像画像をに対応するよりサイズの小さい画像前記情報処理装置に送信する送信工程と、
前記情報処理装置により、前記画像に対して行われる第２の評価の評価結果を受信する受信工程と、
前記撮像画像に対する前記第１の評価の評価結果と、受信した前記画像に対する前記第２の評価の評価結果とを用いて、前記撮像画像の仕分けを行う仕分け工程と、
を有し、
前記第１の評価は、少なくともピントの良し悪しに関する評価であることを特徴とする撮像装置の制御方法。

【請求項21】

コンピュータを、請求項１１乃至１９のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、大量の画像からユーザにとって望ましい画像を抽出する情報処理システムに関する。

【背景技術】

【0002】

近年、画像のバックアップ用として、それらの画像をクラウドなどのネットワーク上のサーバー（以下サーバー、またはクラウド）に保管する方法が知られている。サーバーの容量は増加傾向であるため、ユーザは撮影した大量の画像をそのままサーバーに保管することが可能である。しかし、サーバー側のサービスによっては、所定容量以上保管する場合には有料となる場合があるため、無料範囲内で必要な画像のみをバックアップできることが望ましい。そのため、不要な画像を簡単な方法で除外する仕組みや、撮影した直後にも簡単な方法でベストショット画像であるか否かの判定ができること、が求められている。ここで、ユーザが不要と考える画像は、一般的に、ピントの合っていない画像や人物の表情が優れない画像などである。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－３５１７７号公報

【文献】特開２０１８－４５３５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１には、デジタルカメラなどの撮影装置内部で撮影した画像を自動的に評価することが記載されており、その評価は露出やボケやブレの状態に基づいて行われる。つまり、少なくともカメラ内部でピンボケ画像を除外することが可能である。しかしこの方法では、ユーザにとって好ましい画像かどうか、つまり構図や表情の良し悪しまでを評価することはできない。

【0005】

また、特許文献２には、表情識別の学習モデルに対して、識別対象である人間の属性に応じて表情算出のスコア方法を変更する方法が記載されている。特許文献２によれば、少なくとも良い表情の画像を、クラウド等の機械学習（ＡＩ）の学習モデルに推定処理させることで判定可能である。しかしこの方法では、表情に関しては信頼性の高いベストショット画像を判定することが可能であるが、ピントの状態も合わせて判定することはできない。

【0006】

ピント判定と表情判定を撮影直後に同時に実現させるには、カメラ内部で全て判定することは難しく、ピントの良し悪しの判定も、表情判定と同様にクラウド上での学習モデルを活用した結果と組み合わせて行うことが考えられる。しかし、撮影直後にカメラ外でベストショット判定処理をするためには、通信環境にもよるが、画像サイズを小さくして送信する必要がある。画像サイズが小さいとシャープネスが甘くなり、正しいピンボケ判定ができない可能性や、主被写体ではない部分に対してピント判定がなされてしまう可能性がある。また、主被写体以外の領域の意図したボケを好ましくないボケと誤判定するなど、カメラ外部でのピント判定はカメラ内部で行うよりも難しい場合がある。以上のことから、撮影直後にピント判定と構図・表情のなどのピント以外の判定を組み合わせて画像の仕分けをするのは難しいといった課題がある。

【0007】

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影直後にユーザの望む画像だけを残し、サーバーなどへのバックアップデータ容量を増やさない情報処理システムを提供することである。

【課題を解決するための手段】

【0008】

本発明に係わる情報処理システムは、撮像装置と情報処理装置とが通信可能に構成された情報処理システムであって、前記撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段で撮像された撮像画像に対して、第１の評価を行う第１の評価手段と、前記撮像画像に対応するよりサイズの小さい画像を前記情報処理装置に送信する第１の送信手段と、を備え、前記情報処理装置は、前記第１の送信手段により送信された前記画像を受信する受信手段と、前記画像に対して、第２の評価を行う第２の評価手段と、前記第２の評価の評価結果を前記撮像装置に送信する第２の送信手段と、を備え、前記撮像装置は、前記第２の評価の評価結果を受信し、前記撮像画像に対する前記第１の評価の評価結果と前記画像に対する前記第２の評価の評価結果とを用いて、前記撮像画像の仕分けを行う仕分け手段をさらに備え、前記第１の評価は、少なくともピントの良し悪しに関する評価であることを特徴とする。

【発明の効果】

【0009】

本発明によれば、撮影直後にユーザの望む画像だけを残し、サーバーなどへのバックアップデータ容量を増やさない情報処理システムを提供することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係わる情報処理システムの構成を示す図。

【図2】情報処理システムを構成する各装置のハードウェア構成を示す図。

【図3】図２のハードウェア構成の各ブロックとプログラムを利用することで実現されるソフトウェア構成を示す図。

【図4】学習モデルの概念図。

【図5】情報処理システムの動作の流れを示す図。

【図6】カメラ側の処理の流れを示すフローチャート。

【図7】情報処理装置側の処理の流れを示すフローチャート。

【図8】カメラ内部における仕分け処理の流れを示すフローチャート。

【図9】仕分けの対象となる画像の一例を示す図。

【図10】仕分け処理に関連する画像抽出条件の設定画面を示す図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

図１は、本発明の一実施形態に係わる情報処理システムの構成を示す図である。

【0013】

図１において、カメラ１００は、ネットワーク１０４を経由して画像管理サーバー１０５へ画像を送信する。画像管理サーバー１０５は、ネットワーク１０４を経由して、逐一ベストショット（以下、ＢＳと表現することもある）推定サーバー１０６に画像を送信する。ベストショット推定サーバー１０６は、入力画像に対するベストショットスコア値を算出し、その結果を、ネットワーク１０４を経由して、画像管理サーバー１０５へ返信する。そして、画像管理サーバー１０５は、カメラ１００へその情報を通知する。なお、画像管理サーバー１０５とベストショット推定サーバー１０６は同一の機器内に存在するように構成してもよい。本実施形態では、情報処理装置２００内に、画像管理サーバー１０５とベストショット推定サーバー１０６が存在し、カメラ１００と情報処理装置２００はネットワーク１０４等を経由して通信可能であるものとする。

【0014】

図２は、図１に示す情報処理システムを構成する各装置のハードウェア構成を示す図である。

【0015】

図２において、撮影レンズ１０３は、ズームレンズ、フォーカスレンズを含むレンズ群を有する。シャッター１０１は、絞り機能を備えるシャッターである。撮像部２２は、光学像（被写体像）を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子を備える。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。バリア１０２は、デジタルカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

【0016】

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間処理、縮小といったリサイズ処理、色変換処理等を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、焦点検出制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

【0017】

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られ、Ａ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

【0018】

また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して、表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号を、Ｄ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダが実現される。これにより、スルー画像表示（ライブビュー表示）を行うことができる。

【0019】

不揮発性メモリ５６は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態において後述する各種フローチャートの動作を実行するためのコンピュータプログラムのことである。

【0020】

システム制御部５０は、少なくとも１つのプロセッサーを有する制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することにより、後述する本実施形態の各処理を実現する。システムメモリ５２には、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

【0021】

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

【0022】

モード切替スイッチ６０、シャッターボタン６３、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

【0023】

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、これらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

【0024】

第１シャッタースイッチ６１は、デジタルカメラ１００に設けられたシャッターボタン６３の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり、第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

【0025】

第２シャッタースイッチ６２は、シャッターボタン６３の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体１５０に画像データを書き込むまでの一連の撮影処理の動作を開始する。

【0026】

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして動作する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンを用いて直感的に各種設定を行うことができる。４方向ボタンは上ボタン、下ボタン、左ボタン、右ボタン、中央のＳＥＴボタンを有する。

【0027】

コントローラホイールは、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイールを回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイールが回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイールは回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール自体は回転せず、コントローラホイール上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

【0028】

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１５０を含む各部へ供給する。

【0029】

電源部３０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池やＬｉイオン電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体１５０とのインターフェースである。記録媒体１５０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。

【0030】

通信部５４は、無線または有線ケーブルによって外部機器と接続され、映像信号や音声信号等の送受信を行う。通信部５４は無線ＬＡＮ（Local Area Network）やインターネットとも接続可能である。通信部５４は撮像部２２で撮像した画像（スルー画像を含む）や、記録媒体１５０に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。

【0031】

姿勢検知部５５は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録することが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。

【0032】

また、図２において、情報処理装置２００は、画像管理サーバー１０５、ベストショット推定サーバー１０６を構成するハードウェアである、なお、画像管理サーバー１０５、ベストショット推定サーバー１０６は、それぞれ単一の情報処理装置で実現してもよいし、必要に応じて複数の情報処理装置に各機能を分散して実現するようにしてもよい。複数の情報処理装置で構成される場合は、互いに通信できるようにLocal Area Network（ＬＡＮ）などで接続される。

【0033】

図２において、システムバス２０１は、２０２～２０９の各デバイスを通信できるように接続する。制御部２０２は、情報処理装置２００全体を制御し、例えばCentral Processing Unit（ＣＰＵ）から構成される。ＲＯＭ２０３は、変更を必要としないプログラムやパラメータを格納するRead Only Memoryである。ＲＡＭ２０４は、外部記憶装置またはネットワーク１０４などから供給されるプログラムやデータを一時記憶するRandom Access Memoryである。ＨＤＤ２０５は、情報処理装置２００に固定して設置されたハードディスクやメモリカード、あるいは情報処理装置２００から着脱可能な光ディスク、磁気や光カード、ＩＣカードなどを含む外部記憶装置である。ＮＣ２０６は、ネットワーク１０４などの回線に接続するためのネットワークインターフェースである。入力部２０７は、ユーザの操作を受け、各種データを入力する、ポインティングデバイスやキーボードなどの入力デバイスとのインターフェースである。表示部２０８は、情報処理装置２００の保持するデータや供給されたデータを表示するためのディスプレイなどの表示装置とのインターフェースである。ＧＰＵ２０９は、データをより多く並列処理することで効率的な演算を行うことができる制御部であり、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵ２０９で処理を行うことが有効である。

【0034】

なお、以降の情報処理装置２００の処理は、ＣＰＵ２０２が外部記憶装置２０５またはネットワーク１０４などから供給されるプログラムを読み出して起動し、これらにしたがって各種デバイスを制御することにより実行される。

【0035】

図３は、図２のハードウェア構成図で示した各ブロックとプログラムを利用することで実現されるソフトウェア構成を示す図である。データ送信部３０１は、カメラ１００で撮影した画像データや画像ＩＤなどの付帯情報をカメラ１００外に送信する。ＵＩ表示部３０２は、カメラ１００で撮影した画像や付帯情報を表示する。撮像部３０３は、カメラ１００において撮影処理を行う。画像処理部３０４は、撮像部３０３で撮影した後の画像処理や画像の仕分け処理などを行う。

【0036】

画像管理サーバー１０５内のデータ記憶部３５１は、カメラ１００側から送信されてきた画像や画像ＩＤなどの付帯情報をＲＯＭ２０３に保存する。画像データ管理部３５２は、ベストショット推定サーバー１０６でベストショットを判定する画像の管理を行う。データ送受信部３５３は、カメラ１００側へ画像データや画像の付帯情報を送信する。ベストショット推定サーバー１０６内のデータ記憶部３６１は、ベストショット画像の推定のために学習部３６２で用いるデータの記憶をＧＰＵ２０９の指示により行う。推定部３６３は、ベストショット推定サーバー１０６でのベストショット判定を行う箇所であり、その処理はＧＰＵ２０９が行う。

【0037】

学習部３６２による処理には、ＣＰＵ２０２に加えてＧＰＵ２０９を用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ２０２とＧＰＵ２０９が協働して演算を行うことで学習を行う。なお、学習部３６２の処理は、ＣＰＵ２０２またはＧＰＵ２０９のみにより行われてもよい。また、推定部３６３も学習部３６２と同様にＧＰＵ２０９を用いてもよい。

【0038】

図４は、本実施形態における学習モデル（表情や構図に特化した学習モデル）を用いた入出力の構造を示す概念図であり、入力データ４０１は、画像データである。出力データ４０２は、例えば表情のベストショットスコア値４０２１または構図のベストショットスコア値４０２２である。

【0039】

スコア値については、数値０～１の中で確率として出力され、表情判定の場合、良い表情と推定されれば１に近い数値となって出力される。なお、学習フェーズにおける学習の詳細は、前述の特許文献１～２に記載したように公知であるため、詳細な説明は省略する。

【0040】

ベストショット判定で行う表情判定に関する学習では、例えば表情の良い画像に対してはハイスコア（表情が良いという評価）のタグを付けたものを教師データとして学習させる。また、表情の悪い画像に対してはロースコアタグをつけた教師データとして学習させる。これを、学習部３６２でＧＰＵ２０９を用いて数万枚の画像について学習させ、その後、例えば数千枚のテスト画像を用意して評価し、正解率が所定以上になるまで繰り返し学習を行う。構図に関するベストショット判定の学習、および推定フェーズにおける出力についても同様である。

【0041】

図５は、図４に示した学習モデルの構造を利用したシステムの動作を説明する図である。まず、カメラ１００が、画像管理サーバー１０５へ評価対象の画像データ（サムネイルまたは縮小画像）とそのデータに関連する画像ＩＤを送信する（矢印５０１）。画像管理サーバー１０５は、画像ＩＤをデータ記憶部３５１に一時保持すると同時にベストショット推定サーバー１０６に画像データを送信する（矢印５０２）。続いて、ベストショット推定サーバー１０６において、表情や構図などに関するベストショットスコア値を、学習モデルを用いることで算出する（矢印５０３）。そして、その結果を画像管理サーバー１０５に返信する（矢印５０４）。画像管理サーバー１０５は、その結果を画像ＩＤと関連付けてカメラ１００へ送信する（矢印５０５）。図５に示す動作が行われることにより、カメラ１００内では実現できない表情や構図などのベストショット画像スコア値を導き出すことが可能となる。

【0042】

図６は、カメラ１００側の処理のフローチャートであり、各処理はシステム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。

【0043】

ステップＳ６０１では、システム制御部５０は、撮像部２２で撮像した画像データ（撮像画像データ）を表示部２８に表示する。つまり撮影時のライブビュー画面を表示する。

【0044】

ステップＳ６０２では、システム制御部５０は、シャッターボタン６３が押下されて、第２シャッタースイッチ６２がＯＮされたか否か、つまり撮影指示がなされたか否かを判定する。システム制御部５０は、押下されたと判断した場合は、処理をステップＳ６０３へ進め、押下されていないと判断した場合は、処理をステップＳ６１０へ進める。

【0045】

ステップＳ６０３では、システム制御部５０は、シャッターボタン６３が押されたタイミングでの撮影処理を行う。

【0046】

ステップＳ６０４では、システム制御部５０は、ステップＳ６０３で撮影された画像データから画像ファイルを生成する。画像そのものは本画像として保存し、さらに表示用画像として同ファイル内にサムネイル画像（本画像よりも小さいサイズ）を残す。

【0047】

ステップＳ６０５では、システム制御部５０は、通信部５４（データ送受信部３０１）により画像管理サーバー１０５に画像データを送信する。その際、送信するデータとして、ステップＳ６０４で生成した画像ファイル内のサムネイル画像を送信する。また、サムネイル画像のデータだけでなく、画像ＩＤも併せて送信する。

【0048】

ステップＳ６０６では、システム制御部５０は、ステップＳ６０４で生成した画像ファイル内の本画像から被写体を検出する。ここでの検出処理は、撮影時に主被写体位置を記憶しておきその値を抽出する。

【0049】

ステップＳ６０７では、システム制御部５０は、ステップＳ６０６において検出した主被写体のＡＦ評価値から、デフォーカス（ぼけ）量を算出する。

【0050】

ステップＳ６０８では、システム制御部５０は、ステップＳ６０７で算出したデフォーカス量（ぼけ量）をカメラ判定スコアに正規化する。ここで、正規化では、たとえば０～１００の数字（例えば１００点満点に正規化）を、カメラ内のベストショット判定スコア（評価結果）とし、０点が大ぼけ画像、１００点がぼけていない画像とする。つまり、主被写体のぼけ量を導き出せたことになる。

【0051】

ステップＳ６０９では、システム制御部５０は、ステップＳ６０８のカメラ１００内のベストショット判定スコアを、ステップＳ６０４で生成した画像ファイルにタグ付けする。

【0052】

ステップＳ６１０では、システム制御部５０は、画像管理サーバー１０５からのベストショット判定結果が受信されたか否かを判定する。システム制御回路５０は、受信されたと判断した場合は、処理をステップＳ６１１へ進め、受信されていないと判断した場合は、処理をステップＳ６１３へ進める。

【0053】

ステップＳ６１１では、システム制御部５０は、画像管理サーバー１０５から送られたベストショット判定スコアを、同時に配信された画像ＩＤに関連する画像のファイルにタグ付けする。ここで、ステップＳ６０５でサムネイルデータと同時に送った画像ＩＤがベストショット判定スコアに関連付けられた形で画像管理サーバー１０５から受信される。なお、画像管理サーバー１０５から受信した時点で、その画像ＩＤに関連する画像がカメラ１００内に存在しない場合も考えられる。しかし、サムネイル画像を用いてデータのやりとり（送受信）や情報処理装置２００側の解析を行っているため、その処理の時間は短く、存在しない可能性は低いと考えられる。

【0054】

ステップＳ６１２では、システム制御部５０は、画像の仕分け処理を行う。画像の仕分け処理の詳細に関しては、図８のフローチャートを用いて後述する。

【0055】

ステップＳ６１３では、システム制御部５０は、カメラ１００の処理を終了させるか否かを判定する。システム制御部５０は、カメラ処理を終了すると判断した場合は、カメラモードを終了させて電源をＯＦＦさせ、カメラ処理を終了しないと判断した場合は、処理をステップＳ６０２へ戻す。

【0056】

なお、本実施形態では、システム制御部５０は、図３のデータ送受信部３０１にステップＳ６０５の処理を行わせ、撮像部３０３にステップＳ６０１とステップＳ６０３の処理を行わせ、それ以外の処理を画像処理部他３０４に行わせる。

【0057】

図７は、情報処理装置２００側の処理（学習モデル活用における推定フェーズにおける詳細な流れ）を示すフローチャートであり、各処理はＣＰＵ２０２がＲＯＭ２０３に格納されたプログラムをＲＡＭ２０４に展開して実行することにより実現される。

【0058】

ステップＳ７０１では、情報処理装置２００のＣＰＵ２０２（以下、ＣＰＵ２０２）は、カメラ１００から送信されたサムネイル画像と画像ＩＤを受信したか否かを判定する。。ＣＰＵ２０２は、受信したと判断した場合は、処理をステップＳ７０２に進め、受信していないと判断した場合は、処理をステップＳ７０５に進める。

【0059】

ステップＳ７０２では、ＣＰＵ２０２は、ステップＳ７０１で受信したサムネイル画像を推定部３６３に入力する。また、同時に受信した画像ＩＤをデータ記憶部３６１に保持する。

【0060】

ステップＳ７０３では、ＣＰＵ２０２は、ＧＰＵ２０９を用い、推定部３６３の機能により、ベストショット判定処理を行う。そして、推定部３６３からの出力である、表情のベストショットスコア４０２１と構図のベストショットスコア４０２２（評価結果）をデータ記憶部３６１に保持する。

【0061】

ステップＳ７０４では、ＣＰＵ２０２は、データ記憶部３６１に保持されている画像ＩＤと、ステップＳ７０３でのベストショットスコア４０２１，４０２２とを関連付けて、データ送受信部３５３により、カメラ１００へ送信する。

【0062】

ステップＳ７０５では、ＣＰＵ２０２は、処理を終了するか否かを判定する。ＣＰＵ２０２は、処理を終了する指示、つまり情報処理装置２００のシャットダウン指示があったと判断した場合は、情報処理装置２００をシャットダウンさせ、終了する指示がないと判断した場合は、処理をステップＳ７０１へ戻す。そして、カメラ１００側からのデータ送信を受けるまで待機する。

【0063】

図８は、カメラ１００側の画像の仕分け処理に関するフローチャートであり、図９、図１０も参照して動作について説明する。なお、各処理はシステム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。

【0064】

ステップＳ８０１では、システム制御部５０は、ある一つの画像に対し、画像ファイルのタグ情報からカメラ１００内のベストショットスコア値と情報処理装置２００でのベストショットスコア値を取得し、それぞれのスコアがともに第１の閾値未満か否かを判定する。システム制御部５０は、ともに第１の閾値未満であると判断した場合は、処理をステップＳ８０２へ進め、そうではないと判断した場合は、処理をステップＳ８０３へ進める。

【0065】

ステップＳ８０２では、システム制御部５０は、ステップＳ８０１で判断の対象とした画像を、「残さない画像」として仕分ける。ここで、残さない画像と判定されると、システム制御部５０は、例えばカメラ１００においてゴミ箱フォルダに移動する、または強制的に消去するといった処理を別途行う。そして、仕分け処理を終了する。

【0066】

ここで、ステップＳ８０１とステップＳ８０２において具体的に何が行われたかを図９を用いて説明する。図９は、５枚の画像（画像Ａから画像Ｅ）に対して、カメラ１００内のベストショット判定と情報処理装置２００側のベストショット判定の結果を表す表を示し、さらにそれぞれの画像がどのように仕分け判定されるかを示している。

【0067】

例えば、画像Ｅは、カメラ１００内のスコアは３０点で、情報処理装置２００側でのスコアは２０点である。ステップＳ８０１の判定において第１の閾値が４０点である場合、判定に用いられた画像が画像Ｅの場合は、ステップＳ８０２へ進むことになる。逆に、画像Ａから画像Ｄの場合は、ステップＳ８０３へ進むことになる。

【0068】

画像Ｅはカメラ１００内でのスコアも情報処理装置２００側でのスコアも低スコアであるため、この画像は失敗画像である可能性が高い。画像一枚一枚を目で確認したときに有用な画像であるかもしれないが、大量の画像から有用な画像を抽出するためには、スコアが低い画像Ｅは除外していくほうが効率的である。そのため、画像ＥはステップＳ８０２で残さない画像と判定（例えばゴミ箱フォルダに移動）される。

【0069】

ステップＳ８０３では、システム制御部５０は、ある一つの画像に対し、画像ファイルのタグ情報からカメラ１００内のベストショットスコア値と情報処理装置２００でのベストショットスコア値を取得し、それぞれのスコアがともに第２の閾値以上か否かを判定する。システム制御部５０は、ともに第２の閾値以上であると判断した場合は、処理をステップＳ８０４へ進め、そうではないと判断した場合は、処理をステップＳ８０５へ進める。

【0070】

ステップＳ８０４では、システム制御部５０は、ステップＳ８０３で判断の対象とした画像を、「残す画像」として仕分ける（決定する）。ここで、残す画像と判定されると、システム制御部５０は、例えば送信予約タグをつけておくなど、自動バックアップ予約する画像扱いにしておく。そして、仕分け処理を終了する。

【0071】

ここで、ステップＳ８０３とステップＳ８０４において具体的に何が行われたかについても、図９を用いて補足説明する。例えば、第２の閾値を７０点とすると、ステップＳ８０３からステップＳ８０４に進む画像は画像Ｃとなる。このような画像はカメラ１００内におけるピント（ぼけていない）判定もハイスコアでかつ、情報処理装置２００側で行う、表情や構図のベストショット判定もハイスコアであるため、有用な画像である可能性が高い。そのため、仕分けにおいて残す画像としておくことが効率的である。

【0072】

ステップＳ８０５では、システム制御部５０は、ある一つの画像に対し、画像ファイルのタグ情報からカメラ１００内のベストショットスコア値と情報処理装置２００でのベストショットスコア値を取得し、カメラ１００側のスコアが第２の閾値以上で、かつ情報処理装置２００側のスコアが第１の閾値未満であるか否かを判定する。システム制御部５０は、カメラ１００側のスコアが第２の閾値以上で、かつ情報処理装置２００側のスコアが第１の閾値未満であると判断した場合は、処理をステップＳ８０６へ進め、そうではないと判断した場合は、処理をステップＳ８０９へ進める。

【0073】

ステップＳ８０６では、システム制御部５０は、ベストショット抽出条件がピント重視（ピント重視の観点）であるか否かを判定する。システム制御部５０は、ピント重視であると判断した場合は、処理をステップＳ８０７へ進め、そうではないと判断した場合は、処理をステップＳ８０８へ進める。

【0074】

図９の場合、このステップＳ８０６の判定処理に流れてくる画像は画像Ａである。ここで、ベストショット抽出条件に関して図１０を用いて説明する。ベストショット抽出条件とは、カメラ１００内の設定画面でユーザが自由に選択できるものとする。例えば、主被写体のピントが合っていることを第１優先に考えるユーザは、構図や表情がそれほど良くなくても画像の仕分けとしては残してほしいと考えることがある（選択内容）。その場合、ユーザはあらかじめカメラの設定画面でピントを重視する選択をしておくことで、所望の仕分け結果を得られるようにすることが可能である。一方、ピント精度はあまりよくなくても、よい表情を（たとえば笑顔や雰囲気のある表情）を残してほしいと考えるユーザもいるため、そのようなユーザは表情を重視する選択をしておくことで、所望の仕分け結果を得られるようにすることが可能となる。続くステップＳ８０７以降の処理でそのことを示している。

【0075】

ステップＳ８０７では、システム制御部５０は、ステップＳ８０４と同様に、ステップＳ８０６で判断の対象とした画像を、「残す画像」として仕分ける。そして、例えば送信予約タグをつけておくなど、自動バックアップ予約する画像扱いにしておく。

【0076】

ステップＳ８０８では、システム制御部５０は、ステップＳ８０２と同様に、ステップＳ８０６で判断の対象とした画像を、「残さない画像」として仕分ける。そして、例えばカメラ１００においてゴミ箱フォルダに移動する、または強制的に消去するといった処理を別途行う。

【0077】

ステップＳ８０９では、システム制御部５０は、ステップＳ８０６と同様の処理を行う。図９の場合、このステップＳ８０９の判定処理に流れてくる画像は、画像Ｂと画像Ｄである。システム制御部５０は、ピント重視であると判断した場合は、処理をステップＳ８１０へ進め、そうではないと判断した場合は、処理をステップＳ８１１へ進める。

【0078】

ステップＳ８１０では、システム制御部５０は、ステップＳ８０２と同様に、ステップＳ８０９で判断の対象とした画像を、「残さない画像」として仕分ける。そして、例えばカメラ１００においてゴミ箱フォルダに移動する、または強制的に消去するといった処理を別途行う。

【0079】

ステップＳ８１１では、システム制御部５０は、ステップＳ８０４と同様に、ステップＳ８０９で判断の対象とした画像を、「残す画像」として仕分ける。そして、例えば送信予約タグをつけておくなど、自動バックアップ予約する画像扱いにしておく。

【0080】

ステップＳ８０５以降についてまとめると、画像Ａは、ピントを重視するユーザは残してほしいと考えるが、表情を重視するユーザは残さないでほしいと考える可能性がある。そのため、ステップＳ８０７、ステップＳ８０８の処理を行うことが効率的である。なお、画像Ｂ、画像Ｄの場合も同様である。

【0081】

このように仕分け処理を行うことにより、不要な画像を除外しつつ、意図した画像を残すことが可能となり、バックアップデータ容量を増やさないで済むといった効果を得ることが可能となる。

【0082】

なお、前述のステップＳ６０５とステップＳ６０６～ステップＳ６０９の処理の順番を逆にし、ステップＳ６０９で行って算出したスコアが所定閾値以上の場合に、ステップＳ６０５の処理を行うようにしてもよい。画像を送るのが先か、カメラ１００内でのベストショット判定が先かについては、撮影した画像をいち早く解析したい場合は、ステップＳ６０５を先に行うほうがよい。一方、即時性よりも必要なものだけを解析したい（情報処理装置２００で処理する場合は通信料が発生する可能性があり費用を抑えたい）場合はステップＳ６０５の処理を後回しにするのが効果的である。その場合は、先にカメラ１００内のスコアを判定し、所定閾値以上のスコア値の画像を情報処理装置２００に送信し、その後の情報処理装置２００側のスコアと組み合わせて残す残さないを導きだすようにすればよい。

【0083】

このようにすることで、撮影直後に不要な画像を除外しつつ、意図した画像を残すことが可能となり、バックアップデータ容量を増やさないで済むといった効果を得ることが可能となる。

【0084】

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

【0085】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0086】

１００：カメラ、１０４：ネットワーク、１０５：画像管理サーバー、１０６：ベストショット推定サーバー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】