特許 7607476 情報処理システム及びその制御方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-19

(45)【発行日】2024-12-27

(54)【発明の名称】情報処理システム及びその制御方法、プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241220BHJP

【ＦＩ】

H04N23/60 500

【請求項の数】 13

(21)【出願番号】P 2021038577

(22)【出願日】2021-03-10

(65)【公開番号】P2022138605

(43)【公開日】2022-09-26

【審査請求日】2024-02-28

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】佐藤 紀章

【審査官】櫃本 研太郎

(56)【参考文献】

【文献】国際公開第２０１９／１８８５７３（ＷＯ，Ａ１）

【文献】特開２０１５－１７１０４２（ＪＰ，Ａ）

【文献】特開２０１５－２１３２５５（ＪＰ，Ａ）

【文献】特開２００７－１８８２３８（ＪＰ，Ａ）

【文献】特開２０１４－１２３３９０（ＪＰ，Ａ）

【文献】国際公開第２０１５／１２５４０５（ＷＯ，Ａ１）

【文献】特開２０１９－０９１９９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７、

２３／００、２３／４０－２３／９５９

Ｇ０６Ｔ １／００－１／４０、

３／００－５／９４

Ｈ０４Ｎ ９／０１－９／７８，２３／１０，２３／１２－２３／１７，

２５／１０－２５／１７，２５／６１１

Ｈ０４Ｎ １／３８－１／４０９、５／９１－５／９５６

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／００－４０／２０

Ｇ０６Ｑ ５０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

画像を現像する第１の現像手段と、
前記第１の現像手段により現像した現像画像よりも良好な現像画像が得られる第２の現像手段と、
前記第１の現像手段の代わりに前記第２の現像手段を使用することにより得られる現像画像の画質の改善効果を推定する推定手段と、
前記推定手段により推定された改善効果に基づく内容を通知する通知手段と、
を備えることを特徴とする情報処理システム。

【請求項2】

前記通知手段から前記改善効果に基づく内容の通知を受けて、ユーザーに前記第２の現像手段を使用するか否かを問い合わせる問い合わせ手段をさらに備えることを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記問い合わせ手段は、前記通知手段から通知された前記改善効果に基づく内容に含まれる前記改善効果の推定値が所定の閾値を超える場合に、ユーザーに前記第２の現像手段を使用するか否かを問い合わせることを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記問い合わせ手段は、さらに、前記第２の現像手段の利用状況に空きがあるか否かに基づいて、ユーザーに前記第２の現像手段を使用するか否かを問い合わせることを特徴とする請求項３に記載の情報処理システム。

【請求項5】

前記問い合わせ手段は、前記通知手段から通知された前記改善効果に基づく内容に含まれる前記改善効果の推定値が、予めユーザーにより設定された値を超える場合、ユーザーに前記第２の現像手段を使用するか否かを問い合わせずに、前記第２の現像手段に現像を行う指示を出力することを特徴とする請求項２に記載の情報処理システム。

【請求項6】

前記問い合わせ手段は、さらに、前記第２の現像手段の利用状況に空きがあるか否かに基づいて、前記第２の現像手段に現像を行う指示を出力することを特徴とする請求項５に記載の情報処理システム。

【請求項7】

前記第１の現像手段により現像した現像画像に対する、前記第２の現像手段により現像した現像画像の画質の改善効果を算出する算出手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。

【請求項8】

現像されるべき画像またはその画像の付帯情報を入力とし、前記算出手段により算出された改善効果を教師データとして、前記第２の現像手段による画質の改善効果を学習する学習手段をさらに備えることを特徴とする請求項７に記載の情報処理システム。

【請求項9】

前記推定手段は、前記学習手段により前記第２の現像手段による画質の改善効果を学習して生成された学習済みモデルを用いて、前記第１の現像手段の代わりに前記第２の現像手段を使用することにより得られる現像画像の画質の改善効果を推定することを特徴とする請求項８に記載の情報処理システム。

【請求項10】

前記付帯情報は、検出した被写体の種類の情報、検出した被写体の距離の情報、ＩＳＯ感度の情報、Ａｖ値の情報、光学補正のＯＮ／ＯＦＦの情報、オンラインアルバムの利用履歴の情報、印刷サービスの利用履歴の情報の少なくとも１つを含むことを特徴とする請求項８または９に記載の情報処理システム。

【請求項11】

前記第２の現像手段による現像処理は、課金を伴う現像処理であることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理システム。

【請求項12】

画像を現像する第１の現像手段と、前記第１の現像手段により現像した現像画像よりも良好な現像画像が得られる第２の現像手段と、を備える情報処理システムを制御する方法であって、
前記第１の現像手段の代わりに前記第２の現像手段を使用することにより得られる現像画像の画質の改善効果を推定する推定工程と、
前記推定工程において推定された改善効果に基づく内容を通知する通知工程と、
を有することを特徴とする情報処理システムの制御方法。

【請求項13】

コンピュータを、請求項１乃至１１のいずれか一項に記載の情報処理システムの各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データの現像処理技術に関するものである。

【背景技術】

【0002】

近年、画像処理技術の発達に伴い、ＲＡＷ画像データを現像する場合、従来よりもノイズが少ない精細な現像結果を得られるようになってきている。しかし、良好な現像結果を得るための現像処理方法には、現像処理のための演算負荷が大きく、撮像装置では実現できないような現像処理方法が存在する。

【0003】

特許文献１には、撮像装置では実現できない現像処理方法をネットワーク上のサーバーで実現する技術が開示されている。サーバーが画像を受信すると、サーバーで現像した画像であるか否かを判定し、サーバーで現像した画像でない場合には、サーバーで現像した画像で上書きする。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－９２５７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の特許文献１に開示された技術では、サーバーで実際に現像処理を行って見なければ、サーバーでの現像画質が撮像装置での現像画質をどの程度上回るのかがわからない。そのため、サーバーでの現像画質と撮像装置での現像画質に差異が少ない画像であっても、サーバー上で現像することになるため、支払ったサーバーの使用料に対する画質の改善効果の満足度が低い場合があった。

【0006】

本発明は上述した課題に鑑みてなされたものであり、その目的は、画質の改善効果が高い画像のみをサーバー上で現像する画像として選択することができる情報処理システムを提供することである。

【課題を解決するための手段】

【0007】

本発明に係わる情報処理システムは、画像を現像する第１の現像手段と、前記第１の現像手段により現像した現像画像よりも良好な現像画像が得られる第２の現像手段と、前記第１の現像手段の代わりに前記第２の現像手段を使用することにより得られる現像画像の画質の改善効果を推定する推定手段と、前記推定手段により推定された改善効果に基づく内容を通知する通知手段と、を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、画質の改善効果が高い画像のみをサーバー上で現像する画像として選択することが可能となる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係わる情報処理システムの構成を示す図。

【図2】図１に示す情報処理システムを構成する各装置のハードウェア構成を示す図。

【図3】図２のハードウェア構成とプログラムを利用することで実現されるソフトウェア構成を示す図。

【図4】学習モデルを用いた入出力の構造を示す概念図。

【図5】学習モデルの構造を利用した情報処理システムの動作を説明する図。

【図6】学習フェーズにおける学習の詳細な流れを示すフローチャート。

【図7】画像情報の一例を示す図。

【図8】推定フェーズにおける推定の詳細な流れを示すフローチャート。

【図9】ユーザーインタフェースの一例を示す図。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

図１は、本発明の一実施形態に係わる情報処理システムの構成を示す図である。

【0012】

図１において、デジタルカメラ１０２は、インターネット１００およびローカルネットワーク１０１を介して現像サーバー１０３にＲＡＷ画像データを送信する。現像サーバー１０３は、デジタルカメラ１０２から受信した画像データを現像するサーバーであり、デジタルカメラ１０２よりも良好な現像結果（現像画像）をクライアント端末１０４へ提供することが可能である。

【0013】

改善効果算出サーバー１０５は、デジタルカメラ１０２の現像結果と現像サーバー１０３の現像結果を比較して改善効果を算出するサーバーであり、現像サーバー１０３が受信した画像と改善効果とを関連付けてデータ収集サーバー１０６に蓄積する。

【0014】

改善効果推定サーバー１０７は、現像サーバー１０３が現像しようとしている画像の改善効果を推定するサーバーであり、データ収集サーバー１０６に蓄積された情報に基づいて改善効果を推定する。たとえば、改善効果推定サーバー１０７はデータ収集サーバー１０６に蓄積された受信画像または受信画像の付帯情報（検出した被写体の種類や距離などの検出情報、ＩＳＯ感度やＡｖ値などの撮影情報、光学補正のＯＮ／ＯＦＦなどの現像情報、オンラインアルバムや印刷サービスの利用履歴情報など）を入力データとし、改善効果を教師データとして、改善効果を出力する学習済モデルを生成する。具体的には、改善効果推定サーバー１０７は、複数の入力データと教師データとを関連付け、ＳＶＭアルゴリズムを用いて学習することで学習済モデルを生成する。学習済みモデルは、情報処理システムを稼働する前にあらかじめ生成しておいてもよいし、システムの稼働中に所定のタイミングで生成し直してもよい。デジタルカメラ１０２の種類によって画像に対する改善効果が変化する場合があるため、システムの稼働中に学習済みモデルを生成し直すことでより精度の高い推定が可能となる。

【0015】

図２は、図１に示す情報処理システムを構成する各装置のハードウェア構成を示す図である。

【0016】

図２において、レンズユニット１５０は、光学系を搭載し、デジタルカメラ１０２のカメラ本体１０２ａに対して交換可能に装着されるレンズユニットである。レンズ１５１は通常、複数枚のレンズから構成されるが、ここでは簡略化して一枚のレンズのみで示している。通信端子６はレンズユニット１５０がカメラ本体１０２ａと通信を行うための通信端子であり、通信端子１０はカメラ本体１０２ａがレンズユニット１５０と通信を行うための通信端子である。レンズシステム制御回路４は、通信端子６，１０を介してカメラ本体１０２ａのシステム制御部５０と通信し、駆動回路２を介して絞り１の制御を行い、ＡＦ駆動回路３を介してレンズ１５１の位置を変化させて焦点調節を行う。

【0017】

ＡＥセンサー１７は、レンズユニット１５０を通して被写体の輝度を測光する。焦点検出部１１は、システム制御部５０にデフォーカス量情報を出力する。システム制御部５０は、そのデフォーカス量情報に基づいてレンズユニット１５０を制御し、位相差ＡＦ（オートフォーカス）を行う。

【0018】

クイックリターンミラー１２（以下、ミラー１２）は、露光、ライブビュー撮影、動画撮影の際に、システム制御部５０からの指示に基づいて、不図示のアクチュエータによりアップダウンされる。ミラー１２は、レンズ１５１から入射した光束を、ファインダー１６へ導く状態と撮像部２２へ導く状態とに切替えるためのミラーである。ミラー１２は、通常時は、レンズ１５１からの光を反射してファインダー１６へと導くように配置されているが、撮影が行われる場合やライブビュー表示の場合には、撮像部２２へと光束を導くように上方に跳ね上がり光路中から待避する（ミラーアップ）。したがって、表示部２８を用いたライブビュー撮影モードと、ファインダー１６を用いた光学ファインダー撮影モードとを同時に利用することはできない。また、ミラー１２は、その中央部が光の一部を透過するハーフミラーとなっており、光束の一部が焦点検出を行うための焦点検出部１１に入射するように透過される。

【0019】

撮影者は、ペンタプリズム１４とファインダー１６を介して、フォーカシングスクリーン１３を観察することにより、レンズユニット１５０を通して得られる被写体の光学像の焦点や構図を確認することが可能となる。

【0020】

シャッター２０は、システム制御部５０の制御により、撮像部２２の露光時間を制御するフォーカルプレーンシャッターである。

【0021】

撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子を有する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ画像信号をデジタル画像データに変換する。

【0022】

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

【0023】

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介して直接メモリ３２に書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

【0024】

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１９は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１９を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１９からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号を、Ｄ／Ａ変換器１９においてアナログ信号に変換し、表示部２８に逐次転送して表示することで、電子ビューファインダー機能が実現される。電子ビューファインダー機能を用いることにより、スルー画像表示（ライブビュー表示）を行うことができる。

【0025】

ファインダー内液晶表示部４１には、ファインダー内表示部駆動回路４２を介して、現在オートフォーカスが行われている焦点検出領域を示す枠（ＡＦ枠）や、カメラの設定状態を表すアイコンなどが表示される。ファインダー外液晶表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。

【0026】

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態において後述する各種フローチャートを実行するためのプログラムのことである。

【0027】

システム制御部５０は、デジタルカメラ１０２全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することにより、後述する本実施形態の各処理を実現する。システムメモリ５２には、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１９、表示部２８等を制御することにより表示制御も行う。

【0028】

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、第１シャッタースイッチ６２及び第２シャッタースイッチ６４を有するシャッターボタン６１、操作部７０は、システム制御部５０に各種の動作指示を入力するための操作手段である。

【0029】

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、これらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを、他の操作部材を用いて選択するようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

【0030】

第１シャッタースイッチ６２は、デジタルカメラ１０２に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

【0031】

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体１８０に画像データを書き込むまでの一連の撮影処理の動作を開始する。

【0032】

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンを用いて直感的に各種設定を行うことができる。

【0033】

操作部７０は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部７０には、シャッターボタン６１、メイン電子ダイヤル７１、電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５、ＬＶボタン７６、拡大ボタン７７、縮小ボタン７８、再生ボタン７９、ＩＳＯ設定ボタン８１、メニューボタン８２等が含まれる。

【0034】

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量等の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１８０を含む各部へ供給する。

【0035】

電源部３０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池やＬｉイオン電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ/Ｆ１８は、メモリカードやハードディスク等の記録媒体１８０とのインターフェースである。記録媒体１８０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

【0036】

通信部５４は、無線または有線ケーブルによって接続され、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Local Area Network）やインターネットとも接続可能である。通信部５４は撮像部２２で撮像した画像（スルー画像を含む）や、記録媒体１８０に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。

【0037】

姿勢検知部５５は、重力方向に対するデジタルカメラ１０２の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１０２を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別することが可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加することや、画像を回転して記録することが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。

【0038】

一方、図２において、情報処理装置２００は、現像サーバー１０３、クライアント端末１０４、改善効果算出サーバー１０５、データ収集サーバー１０６、改善効果推定サーバー１０７を構成するハードウェアである、なお、それぞれ単一の情報処理装置で実現してもよいし、必要に応じて複数の情報処理装置に各機能を分散して実現するようにしてもよい。複数の情報処理装置で構成される場合は、互いに通信できるようにLocal Area Network（ＬＡＮ）などで接続される。

【0039】

図２において、システムバス２０１は、情報処理装置２００の各構成デバイス２０２～２０９を相互に通信できるように接続する。ＣＰＵ（Central Processing Unit）２０２は、情報処理装置２００全体を制御する制御部である。ＲＯＭ（Read Only Memory）２０３は、変更を必要としないプログラムやパラメータを格納するメモリである。ＲＡＭ（Random Access Memory）２０４は、外部記憶装置またはネットワーク１００，１０１などから供給されるプログラムやデータを一時記憶するメモリである。外部記憶装置２０５は、情報処理装置２００に固定して設置されたハードディスクやメモリカード、あるいは情報処理装置２００から着脱可能な光ディスク、磁気カードや光カードやＩＣカードなどを含む記憶装置である。

【0040】

ネットワークインターフェース（ＮＩＣ）２０６は、情報処理装置２００を、ネットワーク１００，１０１などの回線に接続するためのインターフェースである。入力部２０７は、利用者の操作を受け、各種データを入力するポインティングデバイスやキーボードなどの入力デバイスとのインターフェースである。表示部２０８は、情報処理装置２００が保持するデータや供給されたデータを表示するためのディスプレイなどの表示装置とのインターフェースである。ＧＰＵ２０９は、データをより多く並列処理することで効率的な演算を行うことができる制御部である。ＧＰＵ２０９は、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合に用いられる。

【0041】

なお、以降の処理は情報処理装置２００のＣＰＵ２０２が外部記憶装置２０５またはネットワーク１００，１０１などから供給されるプログラムを読み出して起動し、これらにしたがって各種デバイスを制御することにより実現される。

【0042】

図３は、図２のハードウェア構成図で示したハードウェア資源とプログラムを利用することで実現されるソフトウェア構成を示す図である。

【0043】

図３において、デジタルカメラ１０２のデータ送信部３０１は、デジタルカメラ１０２で撮影した画像や付帯情報を送信する。ＵＩ表示部３０２は、デジタルカメラ１０２でのユーザーインターフェースを表示する表示部であり、デジタルカメラ１０２で撮影した画像や付帯情報を表示する。

【0044】

クライアント端末１０４のウェブブラウザ３１１は、現像サーバー１０３に現像を指示する。ウェブブラウザ３１１は、たとえば、デジタルカメラ１０２が送信した画像を閲覧して、現像サーバー１０３で現像する画像を選択し、現像する画像枚数に応じた料金を支払うことなどに用いられる。ウェブブラウザ３１１では、データ収集サーバー１０６にアクセスして外部へ公開する設定を行う操作や印刷サービスへの転送操作など、図１のシステムには記載していない外部のサービスにアクセスする操作を行うこともできる。

【0045】

現像サーバー１０３のデータ受信部３２１は、デジタルカメラ１０２から画像や付帯情報を受信する。現像部３２２は、デジタルカメラ１０２から受信した画像を現像する。現像部３２２は、デジタルカメラ１０２での現像処理よりもノイズが少ない精細な現像結果を得ることができる現像処理部であり、デジタルカメラ１０２の画像を現像部３２２で現像し直すことにより画質が改善される。画像データ管理部３２３は、デジタルカメラ１０２から受信した画像や付帯情報および現像部３２２で現像した結果を管理する。データ記憶部３２４は、外部記憶装置２０５に保存されているプログラムを読み出して一時記憶したり、データ受信部３２１で受信した画像や付帯情報および現像部３２２で現像した結果を保存したりする。

【0046】

データ収集サーバー１０６のデータ送受信部３３１は、画像データ管理部３２３が管理する受信画像や現像サーバー１０３の現像結果などをデータ記憶部３３２に記憶させる。

【0047】

改善効果算出サーバー１０５の改善効果算出部３４１は、データ収集サーバー１０６が管理する受信画像と現像サーバー１０３の現像結果とから改善効果を算出して、データ収集サーバー１０６に保存させる。データ記憶部３４２は、改善効果の算出方法を保存する。改善効果は、既存技術を用いて測定したノイズ特性や鮮鋭性、色再現特性、階調再現特性などの少なくとも一つの尺度を用いて評価する。

【0048】

改善効果推定サーバー１０７の推定部３５１は、画像データ管理部３２３が管理する受信画像を現像サーバー１０３で現像した際に得られる改善効果を、学習部３５３で学習した学習済モデルを用いて推定する。学習用データ生成部３５２は、データ収集サーバー１０６に蓄積された受信画像または受信画像の付帯情報（検出した被写体の種類や距離などの検出情報、ＩＳＯ感度やＡｖ値などの撮影情報、光学補正のＯＮ／ＯＦＦなどの現像情報、オンラインアルバムや印刷サービスの利用履歴など）を入力データとし、改善効果算出サーバー１０５で算出した改善効果を教師データとして、学習用データを生成する。学習部３５３は、学習用データ生成部３５２が生成した入力データと教師データとを関連付けて、ＳＶＭアルゴリズムを用いて学習することで学習済モデルを生成する。データ記憶部３５４は、学習用データ生成部３５２が生成した学習用データや学習部３５３が学習した学習済モデルを保存する。

【0049】

本実施形態では、学習部３５３による処理にはＣＰＵ２０２に加えてＧＰＵ２０９を用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ２０２とＧＰＵ２０９が協働して演算を行うことで学習を行う。なお、学習部３５３の処理はＣＰＵ２０２またはＧＰＵ２０９のみにより行われてもよい。また、推定部３５１の処理も学習部３５３と同様にＧＰＵ２０９を用いて行ってもよい。

【0050】

図４は、本実施形態の学習モデルを用いた入出力の構造を示す概念図であり、入力データ４０１は画像情報である。入力データ４０１には、データ収集サーバー１０６に蓄積された受信画像または受信画像の付帯情報（検出した被写体の種類や距離などの検出情報、ＩＳＯ感度やＡｖ値などの撮影情報、光学補正のＯＮ／ＯＦＦFなどの現像情報、オンラインアルバムや印刷サービスの利用履歴など）を用いる。出力データ４０２は改善効果算出サーバー１０５が算出する改善効果と同様であり、受信画像を現像サーバー１０３で現像した際に得られる改善効果の予測値（推定値）である。

【0051】

図５は、図４に示した学習モデルの構造を利用した情報処理システムの動作を説明する図である。Ｓ１で示すように、デジタルカメラ１０２が現像サーバー１０３へ画像情報を送信すると、Ｓ２で示すように、現像サーバー１０３は受信した画像情報をデータ収集サーバー１０６に保存する。さらに、Ｓ３で示すように、現像サーバー１０３は改善効果推定サーバー１０７に画像情報を送信して改善効果の推定を要求する。改善効果推定サーバー１０７は、Ｓ４で示すように、受信した画像情報に基づいて改善効果を推定し、Ｓ５で示すように、現像サーバー１０３へ推定した改善効果に基づく内容を送信（通知）する。現像サーバー１０３は、Ｓ６で示すように、受信した改善効果に基づく内容に含まれる改善効果の推定値が所定の値を超える場合、クライアント端末１０４へ現像サーバー１０３で現像した際に得られる改善効果が高い旨を伝え、現像サーバー１０３の使用料に対する課金を提案する。この改善効果が高い旨をクライアント端末１０４へ伝える際には、改善効果の高低だけでなく具体的に改善効果の推定値そのものを伝えてもよい。

【0052】

また、本実施形態の現像システムの現像サービスは、ある月に所定の枚数までであれば一定の金額で何枚でも現像できるサブスクリプションサービスとしてユーザーに提供されてもよい。この場合、現像サーバー１０３は、さらに、現像サーバー１０３の利用状況に空きがあるか否かに基づいて、ユーザーに現像サーバー１０３の使用料に対する課金を提案するようにしてもよい。

【0053】

現像サーバー１０３は毎月、ユーザー毎に何枚現像したかを示す情報を保持しており、今月に現像された画像が所定の枚数に達している場合は、空きがないとして、追加で現像する場合は従量制課金を促すよう提案する。また、今月に現像された画像が所定の枚数に達していない場合は、所定の枚数まで何枚現像できるかを示し、ユーザーにサービスを満喫してもらうことを促してもよい。例えば、提案の結果、クライアント端末１０４にて図９（ａ）のようなＧＵＩを表示する。図９（ａ）の画面では、所定の枚数に達するまであと２１枚の画像を現像可能であることを示す。また、この提案では、ある程度以上の改善効果が見込める画像をリストアップしてクライアント端末１０４に提案する。これにより、すべての画像をリストアップする場合に比べて、現像サーバー１０３による無駄な現像処理を行う虞が低減され、より効率的な現像サーバ１０３の利用が可能となる。

【0054】

Ｓ７で示すように、クライアント端末１０４から課金に対する許可が得られた場合、Ｓ８で示すように、現像サーバー１０３は画像を現像する。Ｓ９で示すように、現像サーバー１０３は現像結果をデータ収集サーバー１０６に保存し、Ｓ１０で示すように、データ収集サーバー１０６は改善効果算出サーバー１０５へ画像情報と現像結果を送信して、改善効果の算出を要求する。Ｓ１１で示すように、改善効果算出サーバー１０５は、受信した画像情報と現像結果とに基づいて、改善効果を算出する。Ｓ１２で示すように、改善効果算出サーバー１０５は、改善効果の算出結果をデータ収集サーバー１０６に送信し、データ収集サーバー１０６は、受信した改善効果を保存する。

【0055】

図５に示す動作を行うことにより、クライアント端末１０４に対する高い宣伝効果が得られる。さらに、改善効果を推定して改善効果の高いものだけを現像するよう提案する構成とした。このようにしたのは以下の理由による。すなわち、デジタルカメラ１０２から受信した画像をあらかじめ現像サーバー１０３で現像してクライアント端末１０４へ課金に対する許可を求めた場合、許可が得られなかった画像に対して発生した現像サーバー１０３の使用料が損失となる。一方、任意の画像についてクライアント端末１０４へ課金に対する許可を求めた場合、デジタルカメラ１０２の現像結果と現像サーバー１０３の現像結果との差が小さい画像に対する顧客満足度が低下する。そこで、現像サーバー１０３よりも低いコストで運用できる改善効果推定サーバー１０７を用いて改善効果を推定し、改善効果が高いと予測される画像についてのみ課金に対する許可を求めることで顧客満足度を向上させる。

【0056】

図６は、学習フェーズにおける学習の詳細な流れを示すフローチャートであり、改善効果推定サーバー１０７の学習部３５３で実行される動作を示している。なお、学習部３５３は、ＣＰＵ２０２が、外部記憶装置２０５から供給されるプログラムを実行することにより実現されるため、以下では、ＣＰＵ２０２が各動作を実行するものとして説明する。

【0057】

ステップＳ６０１では、ＣＰＵ２０２は、学習フラグをＯＦＦにリセットする。ステップＳ６０２では、ＣＰＵ２０２は、データ収集サーバー１０６から図７に示したような画像情報とその画像を現像したときに得られるカメラでの現像結果からの改善効果とを取得する。図７（ａ）に示した画像情報は画像の付帯情報であり、ファイル名およびファイルパスを用いて画像を取得する構成としている。図７（ｂ）は入力データである画像をヒストグラムに加工して学習する例を示している。

【0058】

ステップＳ６０３では、ＣＰＵ２０２は、推定部３５１に出力データとしての推定値の算出を指示する。ステップＳ６０４では、ＣＰＵ２０２は、推定部３５１の出力データとデータ収集サーバー１０６から取得した改善効果とを比較し、その差（誤差）が所定の閾値よりも大きいか否かを判定する。

【0059】

ステップＳ６０４において、ＣＰＵ２０２は、誤差が閾値よりも大きい（Ｓ６０４でＹｅｓ）と判断した場合には、処理をステップＳ６０５に進め、そうでない（Ｓ６０４でＮｏ）と判断した場合には処理をステップＳ６０７に進める。

【0060】

ステップＳ６０５において、ＣＰＵ２０２は、データ収集サーバー１０６から取得した画像情報を入力データとし、データ収集サーバー１０６から取得した改善効果を教師データとして学習を行う。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、これらのアルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。ステップＳ６０６において、ＣＰＵ２０２は、学習フラグをＯＮにセットする。

【0061】

ステップＳ６０７において、ＣＰＵ２０２は、ステップＳ６０２で取得したデータが最終データであるか否かを判定する。ステップＳ６０７において、ＣＰＵ２０２は、最終データである（Ｓ６０７でＹｅｓ）と判定した場合には、ステップＳ６０８へ処理を進め、最終データでない（Ｓ６０７でＮｏ）と判定した場合にはステップＳ６０２へ処理を戻す。

【0062】

ステップＳ６０８において、ＣＰＵ２０２は、学習フラグを判定し、学習フラグがＯＮである（Ｓ６０８でＹｅｓ）と判定した場合には、ステップＳ６０１へ処理を戻し、学習フラグがＯＦＦである（Ｓ６０８でＮｏ）と判定した場合には、処理を終了する。

【0063】

なお、上記では、データ収集サーバー１０６が保持しているデータを順に取得して学習する例を示したが、取得したデータの誤差が小さくなるまでステップＳ６０４とステップＳ６０５を繰り返してもよい。

【0064】

現像サーバー１０３の現像処理におけるノイズリダクションの効果がデジタルカメラ１０２よりも強い場合、ノイズ特性の改善により改善効果の数値が高くなる。ノイズの発生量はＩＳＯ感度との相関が高いため、改善効果推定サーバー１０７が出力する改善効果の推定値はＩＳＯ感度が高い画像ほど高くなる。

【0065】

また、現像サーバー１０３の現像処理は常に最新の技術を採用するため、デジタルカメラ１０２の発売時期やファームウェアのバージョンが古い画像ほど改善効果の数値が高くなる。改善効果推定サーバー１０７が出力する改善効果の推定はデジタルカメラ１０２の発売時期やファームウェアのバージョンが古い画像ほど高くなる。

【0066】

上記の２つの例では画像の付帯情報による推定を示したが、階調再現特性の改善効果は画像の特徴による影響が大きい。現像サーバー１０３の現像処理によりデジタルカメラ１０２の現像結果よりも広いダイナミックレンジを再現できる場合、画像の暗部および飽和部付近の画素が多いほど改善効果が高くなる。このような画像の特徴も、学習部３５３によって、図７（ｂ）に示したヒストグラムのように学習済データに取り込まれ、推定部３５１の出力として再現される。

【0067】

図８は、推定フェーズにおける推定の詳細な流れを示すフローチャートであり、改善効果推定サーバー１０７の推定部３５１で実行される動作を示している。なお、推定部３５１は、ＣＰＵ２０２が、外部記憶装置２０５から供給されるプログラムを実行することにより実現されるため、以下では、ＣＰＵ２０２が各動作を実行するものとして説明する。

【0068】

ステップＳ８０１において、ＣＰＵ２０２は、現像サーバー１０３から画像および付帯情報を取得する。ステップＳ８０２において、ＣＰＵ２０２は、改善効果を推定し、処理を終了する。

【0069】

図９は、クライアント端末１０４に表示するＵＩ（User Interface）を示す図である。図９（ａ）は課金に対する許可を求めるＵＩを示し、「Ｙｅｓ」が選択された場合には、現像サーバー１０３で現像を開始する。この画面は図５のＳ６を受けてクライアント端末１０４に表示される。図９（ａ）の例では、改善効果の高いことが推定された画像がリストアップされて表示される。ユーザーはこれらの画像のすべてを現像するよう指示してもよいし、画像の内容をみてより性能の高い現像を必要とするものを選択して現像を指示してもよい。この場合、例えば画像を選択する指示を入力したことに応じて画像にチェックマークが重畳表示され、「選択された画像を現像しますか？」といったメッセージを表示する。そのうえで、ユーザーが「ＹＥＳ」を選択すれば、改善効果が高いと推定された画像のうち、ユーザーが必要とするもののみを現像サーバー１０３にて現像処理することができる。

【0070】

図９（ｂ）は課金に対する許可をあらかじめ設定するＵＩを示し、指定した改善効果が得られる場合には図９（ａ）を表示せずに現像サーバー１０３で現像を開始する。このとき、さらに、現像サーバー１０３の利用状況に空きがあるか否かに基づいて、現像サーバー１０３で現像を開始するようにしてもよい。

【0071】

（その他の実施形態）
なお、上述した各処理部のうち、推定部３５１では、機械学習された学習済みモデルを用いて推定処理を実行したが、ルックアップテーブル（ＬＵＴ）等のルールベースの処理を行ってもよい。その場合には、例えば、画像および付帯情報と改善効果との関係をあらかじめＬＵＴとして作成する。そして、この作成したＬＵＴをデータ記憶部３５４に格納しておくとよい。推定部３５１の処理を行う場合には、この格納されたＬＵＴを参照して、出力データを取得することができる。つまりＬＵＴは、上記の処理部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、上記の処理部の処理を行う。

【0072】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１または複数のプロセッサーまたは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータまたは分離した複数のプロセッサーまたは回路のネットワークを含みうる。

【0073】

プロセッサーまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

【0074】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0075】

１００：インターネット、１０１：ローカルネットワーク、１０２：カメラ、１０３：現像サーバー、１０４：クライアント端末、１０５：改善効果算出サーバー、１０６：データ収集サーバー、１０７：改善効果推定サーバー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】