特許 7438779 画像処理装置、画像処理システム、および、それらの制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-16

(45)【発行日】2024-02-27

(54)【発明の名称】画像処理装置、画像処理システム、および、それらの制御方法

(51)【国際特許分類】

   H04N 1/00 20060101AFI20240219BHJP

   H04N 23/60 20230101ALI20240219BHJP

   H04N 23/63 20230101ALI20240219BHJP

【ＦＩ】

H04N1/00 127A

H04N23/60

H04N23/63

【請求項の数】 18

(21)【出願番号】P 2020022218

(22)【出願日】2020-02-13

(65)【公開番号】P2021129198

(43)【公開日】2021-09-02

【審査請求日】2023-02-10

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】津山 和也

【審査官】橋爪 正樹

(56)【参考文献】

【文献】特開２００７－２０８４３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／００

Ｈ０４Ｎ ２３／００－２３／９５９

(57)【特許請求の範囲】

【請求項1】

第１の画像データを外部装置に送信し、前記第１の画像データに対して第１の画像処理が行われることで生成された第２の画像データを前記外部装置から受信する通信手段と、
前記第２の画像データを加工する画像処理手段と、
前記画像処理手段による加工のレベルを設定する制御手段と、
前記外部装置による前記第１の画像処理の適用量を調整するためのユーザインタフェースと、を有し、
前記制御手段は、前記ユーザインタフェースによって前記適用量が調整されると、前記画像処理手段に、調整された前記適用量に応じたレベルで前記第２の画像データを加工させることを特徴とする画像処理装置。

【請求項2】

前記制御手段は、前記画像処理手段が前記第２の画像データを加工することで生成された画像データに基づく画像を、表示手段に表示させることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記制御手段は、前記ユーザインタフェースを介して前記適用量の調整が完了したことに対応する指示があった場合に、前記通信手段に、前記適用量を示すデータを前記外部装置に送信させることを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記制御手段は、前記適用量の調整が完了したことに対応する指示があるまでは、前記ユーザインタフェースによって前記適用量が調整されることに応じて、前記画像処理手段に、調整された前記適用量に応じたレベルで前記第２の画像データを加工しなおさせることを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記通信手段は、前記外部装置が、前記外部装置に送信した前記適用量を示すデータに応じたレベルで前記第１の画像処理を行うことによって生成した第４の画像データを、受信することを特徴とする請求項３または４に記載の画像処理装置。

【請求項6】

前記第４の画像データは、前記外部装置が、前記第１の画像データに対して、前記適用量を示すデータに応じたレベルで前記第１の画像処理を行うことによって生成した画像データであることを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記第４の画像データは、前記外部装置が、前記第１の画像データを包含する画像データに対して、前記適用量を示すデータに応じたレベルで前記第１の画像処理を行うことによって生成した画像データであることを特徴とする請求項５に記載の画像処理装置。

【請求項8】

前記第２の画像データは、前記外部装置が、前記第１の画像データに対して、前記適用量の最大値に応じたレベルで前記第１の画像処理を行うことによって生成した画像データであることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記画像処理手段は、前記第２の画像データと、前記第１の画像処理が行われていない第３の画像データを、前記適用量に応じた合成比率で合成することによって、前記第２の画像データを加工することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

前記第３の画像データは、前記画像処理手段が、前記第１の画像データに第２の画像処理を行うことによって生成した画像データであり、
前記第１の画像処理は、前記第２の画像処理よりも負荷の高い画像処理であることを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記第３の画像データは、前記第１の画像データと同じ画像データであることを特徴とする請求項９に記載の画像処理装置。

【請求項12】

前記第１の画像処理は、機械学習におけるディープラーニングを利用した画像処理であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。

【請求項13】

前記第１の画像処理は、ノイズ抑圧処理、高解像度化処理、あるいは、光学収差補正処理のすくなくともいずれかであることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。

【請求項14】

前記外部装置はサーバであることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。

【請求項15】

互いに通信可能な画像処理装置と外部装置からなる画像処理システムにおいて、
前記外部装置は、前記画像処理装置と通信するための第１の通信手段と、画像データに対して第１の画像処理を行う第１の画像処理手段と、を有し、
前記画像処理装置は、前記外部装置と通信するための第２の通信手段と、画像データを加工する第２の画像処理手段と、前記第２の画像処理手段による加工のレベルを設定する制御手段と、前記外部装置による前記第１の画像処理の適用量を調整するためのユーザインタフェースと、を有し、
前記画像処理装置の前記第２の通信手段が、第１の画像データを前記外部装置に送信し、
前記外部装置の前記第１の画像処理手段が、前記第１の通信手段を介して受信した前記第１の画像データに対して前記第１の画像処理を行うことで第２の画像データを生成し、
前記外部装置の前記第１の通信手段が、前記第２の画像データを前記画像処理装置に送信し、
前記画像処理装置の前記制御手段が、前記ユーザインタフェースによって前記適用量が調整されると、前記第２の画像処理手段に、調整された前記適用量に応じたレベルで前記第２の画像データを加工させ、前記第２の画像データを加工させることで生成された画像データに基づく画像を表示手段に表示させることを特徴とする画像処理システム。

【請求項16】

画像処理装置の制御方法において、
第１の画像データを外部装置に送信する工程と、
前記第１の画像データに対して第１の画像処理が行われることで生成された第２の画像データを前記外部装置から受信する工程と、
前記第２の画像データを加工する工程と、
ユーザインタフェースを介して、前記外部装置による前記第１の画像処理の適用量が調整されると、調整された前記適用量に応じたレベルで前記第２の画像データを加工しなおす工程と、を有する特徴とする画像処理装置の制御方法。

【請求項17】

互いに通信可能な画像処理装置と外部装置からなる画像処理システムの制御方法において、
前記画像処理装置が、第１の画像データを前記外部装置に送信する工程と、
前記外部装置が、前記画像処理装置から受信した前記第１の画像データに対して第１の画像処理を行うことで第２の画像データを生成する工程と、
前記外部装置が、前記第２の画像データを前記画像処理装置に送信する工程と、
前記画像処理装置が、前記第２の画像データを加工する工程と、
前記画像処理装置が、ユーザインタフェースを介して、前記外部装置による前記第１の画像処理の適用量を調整するための指示を受け付ける工程と、
前記画像処理装置が、前記適用量を調整するための指示を受け付けると、調整された前記適用量に応じたレベルで、前記第２の画像データを加工しなおす工程と、
前記第２の画像データを加工することで生成された画像データに基づく画像を、表示手段に表示させる工程と、を有することを特徴とする画像処理システムの制御方法。

【請求項18】

コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、外部装置に画像データを送信し、外部装置にて画像データに画像処理を行う技術に関する。

【背景技術】

【0002】

デジタルカメラ等の撮像装置は、撮影や画像の再生に係る処理を実行するための、様々なハードウェアを内蔵している。

【0003】

撮像装置の機能や性能は新機種の登場とともに向上しており、ユーザがこれらの性能や機能を利用するためには、新機種の撮像装置を入手する必要があった。しかしながら、新機種が登場するたびに、ユーザが撮像装置を買い替えることはユーザに経済的に大きな負担を与える。このため、現在ユーザが所有している撮像装置を高性能化することについての要求があった。

【0004】

これに対し、スマートフォンやタブレット型の端末装置では、新たなアプリケーションをインストールすることで、端末装置の機能を高性能化することができる。しかしながら、新たなアプリケーションをダウンロードしたとしても、そのアプリケーションを実行するために使用する端末装置内のハードウェアの性能は変わらないため、向上できる性能の範囲には限界があった。

【0005】

これに対し、特許文献１には、撮像装置での撮影により得られた画像データを、画像処理に係る付帯情報とともにサーバに出力することで、サーバに画像処理を実行させる技術が開示されている。即ち、特許文献１の撮像装置は、画像処理をサーバに行わせることができるため、撮像装置のハードウェアの性能によらずに、高性能な画像処理を行った画像データを得ることができる。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００３－２５９２８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、サーバで画像処理することで生成された画像データが、必ずしもユーザの意図に一致するわけではない。例えば、ユーザが意図していない被写体や背景まで像が鮮明になってしまったり、補正レベルが向上することで画像の雰囲気が変わってしまったりすることがある。また、機械学習を利用した画像処理においては、機械学習に用いた画像データの群に含まれないような、特殊なシーンや被写体であった場合には、好適な画像処理が行われない可能性がある。そのため、サーバで適用した画像処理の結果を、ユーザが確認し、サーバにおける画像処理の適用量を調整できるようにする必要がある。

【0008】

ここで、上述した特許文献１では、例えば、ユーザがサーバにおける画像処理の結果を確認するには、サーバが実行した画像処理の結果を、サーバからユーザが使用する端末装置へ送信しなければならない。そのため、ユーザが端末装置を用いてサーバ上で行われる画像処理の適用量を調整する場合には、端末装置が調整された適用量をサーバへ送信し、サーバはその適用量に従って画像処理を実行し、その画像処理の結果を端末装置へ送信する必要がある。ユーザは、端末装置でサーバから送信された画像処理の結果を確認し、画像処理の結果がユーザの意図通りになっていなければ、再びユーザが端末装置を用いて画像処理の適用量を調整し、端末装置が調整された適用量をサーバへ送信する必要がある。このような構成では、ユーザが画像処理の適用量を調整するたびに、ユーザ端末とサーバの間の通信が必要となり、通信量の増加を招くことになり、処理に要する時間も増えてしまう。

【0009】

そこで本発明の目的は、通信量の増加を招くことなく、外部装置における画像処理の適用量を容易に調整することを可能にした画像処理装置を提供することである。

【課題を解決するための手段】

【0010】

上記目的を達成するため、本願発明に係る画像処理装置は、第１の画像データを外部装置に送信し、前記第１の画像データに対して第１の画像処理が行われることで生成された第２の画像データを前記外部装置から受信する通信手段と、前記第２の画像データを加工する画像処理手段と、前記画像処理手段による加工のレベルを設定する制御手段と、前記外部装置による前記第１の画像処理の適用量を調整するためのユーザインタフェースと、を有し、前記制御手段は、前記ユーザインタフェースによって前記適用量が調整されると、前記画像処理手段に、調整された前記適用量に応じたレベルで前記第２の画像データを加工させることを特徴とする。

【0011】

同様に、上記目的を達成するため、本願発明に係る画像処理システムは、互いに通信可能な画像処理装置と外部装置からなり、前記外部装置は、前記画像処理装置と通信するための第１の通信手段と、画像データに対して第１の画像処理を行う第１の画像処理手段と、を有し、前記画像処理装置は、前記外部装置と通信するための第２の通信手段と、画像データを加工する第２の画像処理手段と、前記第２の画像処理手段による加工のレベルを設定する制御手段と、前記外部装置による前記第１の画像処理の適用量を調整するためのユーザインタフェースと、を有し、前記画像処理装置の前記第２の通信手段が、第１の画像データを前記外部装置に送信し、前記外部装置の前記第１の画像処理手段が、前記第１の通信手段を介して受信した前記第１の画像データに対して前記第１の画像処理を行うことで第２の画像データを生成し、前記外部装置の前記第１の通信手段が、前記第２の画像データを前記画像処理装置に送信し、前記画像処理装置の前記制御手段が、前記ユーザインタフェースによって前記適用量が調整されると、前記第２の画像処理手段に、調整された前記適用量に応じたレベルで前記第２の画像データを加工させ、前記第２の画像データを加工させることで生成された画像データに基づく画像を表示手段に表示させることを特徴とする。

【発明の効果】

【0012】

本発明によれば、通信量の増加を招くことなく、外部装置における画像処理の適用量を容易に調整することを可能にした画像処理装置を提供することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施形態に係る画像処理装置である撮像装置１００と、外部装置である第１のサーバ２００および第２のサーバ３００を含む画像処理システムの構成を示す図である。

【図2】本発明の実施形態に係る撮像装置１００の機能構成を示すブロック図である。

【図3】本発明の実施形態に係る第１のサーバ２００の機能構成を示す図である。

【図4】サーバ２００を用いて画像処理を行う場合の、撮像装置１００の処理を示すフローチャートである。

【図5】サーバ２００を用いて画像処理を行う場合の、撮像装置１００の処理を示すフローチャートである。

【図6】サーバ２００の処理を示すフローチャートである。

【図7】表示装置２０８が、画像とともに、サーバ２００における画像処理の適用量のパラメータを調整するためのスライダを表示する様子を示す図である。

【図8】撮像装置１００からサーバ２００に送信される画像データの一部の領域を示す図である。

【発明を実施するための形態】

【0014】

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

【0015】

なお、以下の実施形態では、外部装置に補正処理を実行してもらうことが可能な画像処理装置の例として撮像装置を用いて、この撮像装置に、本発明を適用したケースについて説明をする。しかし、本発明は、画像処理を外部装置に実行させ、装置内で画像処理の前後の画像データを合成することが可能な任意の機器に適用可能である。例えば、いわゆるカメラ付き携帯電話、スマートフォン、タブレット端末、ＰＣ端末などにも本発明は適用可能である。なお、装置が必ずしも撮影機能を有する必要はなく、撮像装置から画像データを受け取る装置であっても本発明を適用することができる。

【0016】

図１は、本発明の実施形態に係る、互いに通信可能な画像処理装置と外部装置を含む画像処理システムの構成を示す図である。

【0017】

本実施形態の画像処理システムは、画像処理装置の一例としての撮像装置１００と、外部装置としての第１のサーバ２００および第２のサーバ３００で構成される。本実施形形態における撮像装置１００はデジタルカメラであるものとする。撮像装置１００、第１のサーバ２００、および、第２のサーバ３００は、ネットワーク４００を介して互いに接続される。なお、本実施形態では撮像装置１００に対する、所謂クラウドサービスを提供する外部装置として、第１のサーバ２００を用いる例をあげて説明を行うが、外部装置の数はこれに限られるものではない。また、本実施形態では、撮像装置１００は無線ネットワークを介して外部装置に接続するものとして説明するが、外部装置と有線接続されるものであってもよい。

【0018】

図２は、本発明の実施形態に係る撮像装置１００の機能構成を示すブロック図である。

【0019】

ＣＰＵ１０１は、撮像装置１００が有する各ブロックの動作を制御する。具体的にはＣＰＵ１０１は、ＲＯＭ１０２に記憶されている動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

【0020】

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、撮影処理や再生処理等の撮像装置１００で行われる各処理の動作プログラムを記憶する。またＲＯＭ１０２は、撮像装置１００が有する各ブロックの動作に必要なパラメータやユーザ設定情報を記憶する。

【0021】

ＲＡＭ１０３は、揮発性メモリであり、撮像装置１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等が格納される格納領域としても用いられる。

【0022】

撮像光学系１０４は、撮像装置１０５に光学像を結像させるためのレンズ装置である。図２では撮像光学系１０４を簡潔に記載しているが、この撮像光学系１０４はズームレンズ装置でも単焦点レンズ装置でもよく、あるいは、防振機構を備えたレンズ装置であってもよい。

【0023】

撮像素子１０５は、例えばＣＣＤやＣＭＯＳセンサ等で構成され、撮像光学系１０４により受光面に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換器１０６に出力する。

【0024】

Ａ／Ｄ変換器１０６は、入力されたアナログ画像信号に対してＡ／Ｄ変換処理を適用し、得られたデジタル画像信号（画像データ）を出力し、ＲＡＭ１０３に記憶させる。

【0025】

通信回路１０７は、撮像装置１００が有する、外部装置である第１のサーバ２００および第２のサーバ３００との通信インタフェースである。通信回路１０７は、所定のプロトコルに従って、外部装置に実行させる処理を指示する命令等を送信したり、外部装置に処理を実行させる画像データ及び外部装置により処理が実行されて生成された画像データの送受信を行ったりする。

【0026】

表示装置１０８は、例えば小型ＬＣＤや有機ＥＬディスプレイ等の、撮像装置１００が有するモニタである。表示装置１０８は、ＣＰＵ１０１の指示に従い、Ａ／Ｄ変換器１０６から出力された後に所定の画像処理が適用されて得られた画像データ、あるいは、記憶媒体１０９に記憶されている画像データ等を用いて、画像を表示する。

【0027】

記憶媒体１０９は、例えば撮像装置１００が有する内蔵メモリや、メモリカードなどの記憶装置である。記憶装置は撮像装置１００に内蔵されていても、着脱可能であってもよい。撮像装置１００において撮影された画像データは、基本的には予め定められた処理が適用された後、記憶媒体１０９に記憶される。

【0028】

入力Ｉ／Ｆ（インタフェース）１１０は、シャッタボタン、モードダイアル、および、メニューボタン等の撮像装置１００が有するユーザインタフェースである。入力Ｉ／Ｆ１１０の一部は、タッチパネル式の表示装置１０８と兼用であってもよい。入力Ｉ／Ｆ１１０は、ユーザによる操作を検出すると、操作に対応する制御信号を生成してＣＰＵ１０１に伝送する。

【0029】

画像処理回路１１１は、Ａ／Ｄ変換器１０６から出力された画像データ、あるいは、記憶媒体１０９から読み出した画像データに対して、予め定められた画像処理を行う。予め定められた画像処理としては、センサ特性補正処理、光学収差補正処理、ノイズ抑圧処理、リサイズ処理、および、圧縮処理などがある。

【0030】

図３は、本発明の実施形態に係る第１のサーバ２００の機能構成を示す図である。なお、以下の説明では、第１のサーバ２００および第２のサーバ３００は、図３に示す同一の構成を有するものとし、ここでは第１のサーバ２００の構成について説明する。

【0031】

ＣＰＵ２０１は、第１のサーバ２００が有する各ブロックの動作を制御する。具体的にはＣＰＵ２０１は、ＲＯＭ２０２あるいは記憶媒体２０６に記憶された、予め定められた処理の各々についての動作プログラムを読み出し、ＲＡＭ２０３に展開して実行することにより、各ブロックの動作を制御する。なお、以下の説明では、動作プログラムの各々はＲＯＭ２０２に記憶されているものとする。

【0032】

ＲＯＭ２０２は、例えば書き換え可能な不揮発性メモリである。ＲＯＭ２０２は、予め定められた処理の動作プログラムに加え、各ブロックの動作に必要な動作パラメータを記憶する。

【0033】

ＲＡＭ２０３は、揮発性メモリである。ＲＡＭ２０３は、動作プログラムの展開領域としてだけでなく、第１のサーバ２００が有する各ブロックの動作において出力された中間データを格納する。

【0034】

画像処理回路２０４は、例えばＧＰＵで構成されており、通信回路２０５を介して所得した画像データや、記憶媒体２０６に記憶された画像データに対して、撮像装置１００が実行可能な画像処理よりも、高負荷かつ高性能な画像処理を行うことができる。画像処理回路２０４が行う画像処理としては、例えば、機械学習におけるディープラーニングを利用したノイズ抑圧処理、高解像度化処理、あるいは、光学収差補正処理などがある。また、画像処理回路２０４は、撮像装置１００の画像処理回路１１１が実行する、予め定められた画像処理も実行することができる。

【0035】

通信回路２０５は、第１のサーバ２００が有する、撮像装置１００および第２のサーバ３００との通信インタフェースである。通信回路２０５は、所定のプロトコルに従って、画像データや実行する処理を指示する命令等を受信、あるいは受信した命令に従って処理を実行後の画像データを送信する。

【0036】

記憶媒体２０６は、例えばＨＤＤやＳＳＤ等の第１のサーバ２００に着脱可能に接続された記憶装置である。ＣＰＵ２０１の指示に応じて、撮像装置１００より受信した画像データが記憶媒体２０６に記憶される。

【0037】

本実施形態における画像処理装置である撮像装置１００と外部装置である第１のサーバ２００（以下、サーバ２００という）を用いた画像処理について、図４乃至図６のフローチャートを用いて説明を行う。

【0038】

図４および図５は、サーバ２００を用いて画像処理を行う場合の、撮像装置１００の処理を示すフローチャートである。このフローチャートは、ＣＰＵ１０１が予めＲＯＭ２０２に記憶された動作プログラムを実行することによって実施される。なお、図４乃至図６の説明において、ステップをＳと記載する。

【0039】

Ｓ４０１において、ＣＰＵ１０１は画像データを取得する。撮像装置１００が撮影モードであれば、撮像素子１０５およびＡ／Ｄ変換器１０６を用いて画像データを生成してもよいし、再生モードであれば、記憶媒体１０９から画像データを読み出してもよい。撮像装置１００の代わりにタブレット端末やＰＣ端末を用いた場合には、他の端末装置から画像データを受信してもよい。

【0040】

Ｓ４０２において、ＣＰＵ１０１は、撮像装置１００が外部装置であるサーバ２００における画像処理を利用する設定になっているかを判定し、利用する設定になっていればＳ４０３に進み、利用する設定になっていなければＳ４１６に進む。ユーザは、例えば、撮像装置１００のメニュー画面から、サーバ２００における画像処理を利用する設定に切り替える。あるいは、サーバ２００における画像処理が事前に登録されたユーザのみを対象としたものであれば、ユーザが撮像装置１００を介して、サーバ２００が管理する所定のサイトにログインすることによって、サーバ２００における画像処理を利用する設定になっていると判定する。

【0041】

Ｓ４０３において、ＣＰＵ１０１は、通信回路１０７を介して取得した画像データをサーバ２００に送信する。

【0042】

Ｓ４０４において、ＣＰＵ１０１は、画像データに対して撮像装置１００の内部における画像処理が必要であるかを判定し、必要である場合にはＳ４０５に進み、Ｓ４０５で画像処理回路１１１に画像データに対して画像処理を行わせる。Ｓ４０４において、画像処理が必要でないと判定された場合には、Ｓ４０５をとばしてＳ４０６に進む。この画像処理は、例えばセンサ特性補正処理や、光学収差補正処理であり、Ｓ４０１で取得した画像データがＲＡＷデータである場合に、これらの画像処理が行われる。Ｓ４０１で取得した画像データが既に現像処理が適用された画像データであれば、Ｓ４０４を省略することができる。

【0043】

Ｓ４０６において、ＣＰＵ１０１は、通信回路１０７を介して、サーバ２００から、サーバ２００によって画像処理が適用された高画質画像データを受信するまで待機し、高画質画像データを受信したらＳ４０７に進む。この高画質画像データは、サーバ２００が、Ｓ４０３においてサーバ２００に送信した画像データに対して、Ｓ４０３と同様の画像処理に加え、撮像装置１００で行うことができない高性能な画像処理を適用することによって生成された画像データである。サーバ２００が適用する高性能な画像処理は、ユーザが入力Ｉ／Ｆ１１０を用いて指示することで画像処理の適用量（レベル）を調整することが可能である。ここで、Ｓ４０６で受信する高画質画像データは、適用量を最大値とした場合の画像処理が適用された画像データである。ＣＰＵ１０１は、Ｓ４０６の処理を終えると、図５のＳ４０７に進む。

【0044】

Ｓ４０７において、ＣＰＵ１０１は、画像処理回路１１１に、Ｓ４０６で受信した高画質画像データの加工を行わせる。具体的には、ＣＰＵ１０１は、画像処理回路１１１に、高性能な画像処理の適用量を示すパラメータに応じた比率で、Ｓ４０１で取得した、あるいは、Ｓ４０５で画像処理を適用した画像データと、Ｓ４０６で受信した高画質画像データとを合成させる。例えば、撮像装置１００がＳ４０１で取得した、あるいは、Ｓ４０５で画像処理を適用した画像データの座標ｉ、ｊにおける信号レベルをＩｐ（ｉ、ｊ）とし、Ｓ４０６で受信した高画質画像データの座標ｉ、ｊにおける信号レベルをＩｑ（ｉ、ｊ）とする。適用量をα（αは０以上１以下）とすると、合成後の画像データの座標ｉ、ｊにおける信号レベルＩｏ（ｉ、ｊ）は、式１で表すことができる。

【0045】

Ｉｏ（ｉ、ｊ）＝（１－α）×Ｉｐ（ｉ、ｊ）＋α×Ｉｑ（ｉ、ｊ）・・・（式１）
例えば、サーバ２００による高性能な画像処理の適用量が７０％に設定されていれば、αは０．７に設定される。本実施形態では、αの初期値は、適用量を最大値（１００％）にした場合に相当する１．０に設定されている。

【0046】

ここで、撮像装置１００がＳ４０３においてＲＡＷデータをサーバ２００に送信するとともに、このＲＡＷデータにＳ４０５でセンサ特性補正処理を行うものとする。サーバ２００がこのＲＡＷデータを受信し、撮像装置１００と同じセンサ特性補正処理を行ってから、ディープラーニングを利用したノイズ抑圧処理を行うようにすれば、この適用量は、ディープラーニングを利用したノイズ抑圧処理の適用レベルを示すことになる。つまり、この適用量は、サーバ２００によって適用された画像処理のうち、撮像装置１００によって適用された画像処理とは異なる、サーバ２００のみで行われた画像処理を、どの程度のレベルで、画像データに適用するかを示している。

【0047】

そのため、サーバ２００は、撮像装置１００において、どの画像処理の適用量の調整を可能にするかに応じて、サーバ２００にて適用する画像処理を変更することができる。例えば、サーバ２００にて行われるノイズ抑圧処理について適用量を調整可能にする場合には、サーバ２００はそれ以外の画像処理については撮像装置１００と同じ方法で行うようにすればよい。あるいは、サーバ２００にて行われる光学収差補正とノイズ抑圧処理について、まとめて適用量を調整可能にしたい場合には、サーバ２００はそれ以外の画像処理については撮像装置１００と同じ方法で行うようにすればよい。あるいは、適用量を調整したい画像処理以外は撮像装置１００において画像処理してから、サーバ２００に画像データを送信することで、サーバ２００は適用量を調整する対象である画像処理のみを行えばよいことになる。

【0048】

なお、本実施形態では、サーバ２００から受信した画像データを加工するために、サーバ２００から受信した画像データと、撮像装置１００の内部の画像データを合成する処理について説明を行ったが、これに限られるわけではない。この合成処理によって得られる画像データと同様の画像データが得られるのであれば、サーバ２００から受信した画像データに対して、フィルタ処理等の加工処理を行うようにしてもよい。例えば、サーバで行われる画像処理が高解像度化処理であれば、適用量に応じて、サーバ２００から受信した画像データに対して解像度を低下させるフィルタ処理を適用するようにしてもよい。あるいは、サーバで行われる画像処理が光学収差補正処理であれば、適用量に応じて、サーバ２００から受信した画像データに対して光学収差を付与するフィルタ処理を適用するようにしてもよい。

【0049】

Ｓ４０８において、ＣＰＵ１０１は、Ｓ４０７で生成された画像データを用いて、表示装置１０８に画像を表示する。ただし、このＳ４０８で表示された画像は、設定された適用量でノイズ抑圧処理を行った画像データに基づく画像と、完全に一致するわけではない。サーバ２００の画像処理回路２０４で行う画像処理は、高負荷かつ高性能な画像処理であるため、画像処理の適用量を変更することで、画像処理に用いる様々なパラメータが複雑に変化する。そのため、単に、撮像装置１００の画像データと、サーバ２００から受信した高画質画像データを、適用量に応じて合成したからといって、その適用量でサーバ２００における画像処理を行った画像データと等しくなるわけではない。しかしながら、画像データの合成を行うことで、その適用量でサーバ２００における画像処理を行った画像データに対して、かなり類似した画像データを生成することができる。そのため、表示装置１０８を用いて、Ｓ４０７で生成した画像データに基づく画像をユーザに見せることで、サーバ２００におけるその適用量での画像処理のおおよその効果を、ユーザは認識することができるようになる。さらに、撮像装置１００の表示装置１０８には、通常、モニタのサイズに収まるように縮小された画像データに基づく画像が表示される。その結果、表示装置１０８に表示される状況においては、合成することで生成された画像データに基づく画像と、サーバ２００において画像処理を行った画像データに基づく画像は、ほぼ一致する。

【0050】

Ｓ４０９において、ＣＰＵ１０１は、ユーザから表示装置１０８に表示した画像に対応する画像データを保存する指示があるか否かを判定し、指示があればＳ４１２に進み、指示が無ければＳ４１０に進む。例えば、ＣＰＵ１０１は、ユーザが、表示装置１０８に表示された記録を指示するアイコンにタッチした場合に、画像データを保存する指示があると判定する。

【0051】

Ｓ４１０において、ＣＰＵ１０１は、入力Ｉ／Ｆ１１０を介して、ユーザからサーバ２００における画像処理の適用量の調整の指示があるかを判定し、指示があればＳ４１１に進み、指示がなければＳ４０９に戻る。図７に、サーバ２００における画像処理の適用量を調整するためのユーザインタフェースの一例を示す。図７は、表示装置２０８が、Ｓ４０７で生成した画像データに基づく画像とともに、サーバ２００における画像処理の適用量のパラメータを調整するためのスライダを表示する様子を示している。表示装置２０８はタッチパネルであり、画像の下に表示されたスライダを、ユーザが移動させることで、適用量のパラメータを調整することができる。あるいは、スライダの右側にある適用量を示すエリアをユーザがタッチしてから、不図示の十字キーなどを操作することによって、適用量のパラメータを調整することができる。

【0052】

Ｓ４１１において、ＣＰＵ１０１は、ユーザによって調整された適用量のパラメータに応じて、Ｓ４０７における合成比率を再設定し、Ｓ４０７に戻る。

【0053】

ＣＰＵ１０１は、Ｓ４０７において、新たに設定された合成比率で、撮像装置１００がＳ４０１で取得した、あるいは、Ｓ４０５で画像処理を適用した画像データと、Ｓ４０６で受信した高画質画像データとを、画像処理回路１１１に合成しなおす。そして、Ｓ４０８において、ＣＰＵ１０１は、Ｓ４０７で生成された画像データを用いて、表示装置１０８に画像を表示することで、ユーザがサーバ２００におけるその適用量での画像処理のおおよその効果を認識することができる。

【0054】

ここで、撮像装置１００は、Ｓ４０７に進む前に、サーバ２００から、適用量を最大値とした場合の画像処理が適用された高画質画像データを受け取っている。そのため、適用量を０％から１００％までの全ての範囲において、合成比率を変更するだけで、それぞれの適用量でサーバ２００における画像処理を行った画像データと類似する画像データを生成することができる。そのため、サーバ２００による画像処理も、サーバ２００から撮像装置１００に画像データを送信する処理も、それぞれ１回で済む。

【0055】

再び、Ｓ４０９において、ユーザから表示装置１０８に表示した画像に対応する画像データを保存する指示があれば、Ｓ４１２に進む。ユーザが画像を保存する指示を出したということは、ユーザによる適用量の調整が完了したと判断できる。Ｓ４１２では、Ｓ４１１において適用量が初期値（１００％）から変更されているか否かを判定し、適用量が初期値から変更されていればＳ４１３に進む。適用量が初期値から変更されていなければ、Ｓ４１３をとばしてＳ４１４に進む。

【0056】

Ｓ４１３において、ＣＰＵ１０１は、Ｓ４１１にて設定した合成比率に対応する、サーバ２００による画像処理の適用量を、通信回路１０７を用いてサーバ２００に送信する。

【0057】

Ｓ４１４において、ＣＰＵ１０１は、サーバ２００がＳ４１３で送信した適用量で画像処理を行うことで生成された画像データを、サーバ２００から受信するまで待機し、この画像データを受け取ると、Ｓ４１５に進む。

【0058】

Ｓ４１５において、ＣＰＵ１０１はサーバ２００から受け取った、Ｓ４１３で送信した適用量で画像処理を行うことで生成された画像データを、記憶媒体１０９に記憶する。このとき、ＣＰＵ１０１は、表示装置１０８にこの画像データに基づく画像を表示させてもよい。そして、このフローチャートを終了する。

【0059】

図４に戻り、Ｓ４０２において、ＣＰＵ１０１は、撮像装置１００が外部装置であるサーバ２００における画像処理を利用する設定になっていなければ、Ｓ４１６に進む。

【0060】

Ｓ４１６において、ＣＰＵ１０１は、画像データに対して撮像装置１００の内部における画像処理が必要であるかを判定し、必要である場合にはＳ４１７に進む。Ｓ４１７で画像処理回路１１１に画像データに対して、Ｓ４０５と同様の画像処理を行わせ、図５のＳ４１５に進む。Ｓ４１６において、画像処理が必要でないと判定された場合には、Ｓ４１７をとばしてＳ４１５に進み、画像データを記憶媒体１０９に記憶する。

【0061】

図６は、サーバ２００の処理を示すフローチャートである。

【0062】

Ｓ６０１において、ＣＰＵ２０１は、通信回路２０５を介して、撮像装置１００から画像データを受信したか否かを判定する。これは、撮像装置１００の図４のＳ１０３における処理に対応しており、撮像装置１００から画像データが送信されていれば、Ｓ６０２に進み、送信されていなければＳ６０６に進む。

【0063】

Ｓ６０２において、ＣＰＵ２０１は通信回路２０５を介して受信した画像データを記憶媒体２０６に記憶する。

【0064】

Ｓ６０３において、ＣＰＵ２０１は、画像処理回路２０４に、通信回路２０５を介して受信した画像データに対して、撮像装置１００では実施できない高性能な処理を含む画像処理を行わせて、高画質画像データを生成する。そして、Ｓ６０４に進む。このＳ６０３における画像処理としては、前述したように、機械学習におけるディープラーニングを利用したノイズ抑圧処理、高解像度化処理、あるいは、光学収差補正処理などである。また、このサーバ２００にて適用する画像処理は、撮像装置１００において、どの画像処理の適用量の調整ができるかに応じて、画像処理の適用レベルを変更することができる。ただし、このＳ６０３では、ＣＰＵ２０１は、画像処理回路２０４に、受信した画像データに対して、適用量を最大値に設定した、すなわち適用レベルを最大にした画像処理を行わせる。

【0065】

Ｓ６０６において、ＣＰＵ２０１は、通信回路２０５を介して、撮像装置１００から、サーバ２００における画像処理の適用量を受信したか否かを判定する。これは、撮像装置１００の図５のＳ４１３における処理に対応しており、撮像装置１００から調整後の適用量が送られてきていればＳ６０６に進み、送られてきていなければＳ６０１に戻る。

【0066】

Ｓ６０６において、ＣＰＵ２０１は、受信した適用量に応じて、画像処理回路２０４における画像処理のためのパラメータを変更する。画像処理が複雑であれば、適用量と画像処理のパラメータの大きさの関係は非線形になるため、予め適用量ごとにパラメータを用意しておくことが望ましい。

【0067】

Ｓ６０７において、ＣＰＵ２０１は、画像処理回路２０４に、Ｓ６０２で記憶した画像データに対して、Ｓ６０６で設定したパラメータを用いた画像処理を行なわせ、受信した適用量に対応する高画質画像データを生成し、Ｓ６０４に進む。

【0068】

Ｓ６０４において、ＣＰＵ２０１は、通信回路２０５を介して、Ｓ６０３にて生成した高画質画像データ、あるいは、Ｓ６０７で生成した高画質画像データを撮像装置１００に送信する。ここで、サーバ２００は、生成した高画質画像データを撮像装置１００に送信するだけでなく、サーバ２００の記憶媒体２０６に記憶し、後でユーザが任意のタイミングで記憶した高画質画像データにアクセスできるようにしてもよい。

【0069】

以上説明したように、本実施形態の撮像装置１００は、サーバ２００における画像処理の適用量に応じて、サーバ２００における画像処理によって生成された高画質画像データと、サーバ２００における画像処理が施されていない画像データを合成する。撮像装置１００は、サーバ２００における画像処理の適用量が変更された場合に、それに応じてこれらの画像データの合成比率を変更する。こうすることで、撮像装置１００の内部で、任意の適用量でサーバ２００における画像処理を行った画像データと類似する画像データを生成することが可能となる。そのため、サーバ２００における画像処理の適用量を複数回変更しても、サーバ２００が新たな画像データを複数回生成することも、撮像装置１００とサーバ２００の間で画像データを複数回通信することもなくなる。このように、本実施形態によれば、通信量の増加を招くことなく、外部装置における画像処理の適用量を容易に調整することを可能にした画像処理装置を提供することが可能となる。

【0070】

さらに、サーバ２００における画像処理の適用量が確定した場合に、サーバ２００がその適用量に応じて画像処理を行って再び高画質画像データを生成することで、ユーザは、所望する効果のレベルで、かつ、高画質である画像データを得ることができる。

【0071】

なお、撮像装置１００は、図４のＳ４０３において、画像データの一部のみをサーバ２００に送信し、サーバ２００はこの一部の画像データのみに対して画像処理を行うようにしてもよい。図８に、撮像装置１００からサーバ２００に送信される画像データの一部の領域を示す。ユーザが、設定した適容量に対応する、サーバ２００における画像処理の効果を確認するのであれば、必ずしも画像データの全体をユーザに提示する必要はなく、画像データの中央部分の領域や、ピントを合わせる際に注目した領域だけであってもよい。撮像装置１００はサーバ２００に、画像データの一部の領域８０１に相当する画像データ８０２のみを送信する。サーバ２００は受け取った画像データ８０２に対して適用量を最大値としたパラメータを用いて画像処理を行って、一部の領域８０１に対応する高画質画像データを生成する。撮像装置１００は、一部の領域に対応する高画質画像データと、サーバ２００による画像処理が行われていない画像データ８０２を合成し、ユーザに合成後の画像データを提示する。さらに、ユーザが適用量を調整した場合は、その適用量に応じた合成比率で、一部の領域に対応する高画質画像データと、サーバ２００による画像処理が行われていない画像データ８０２を合成し、ユーザに合成後の画像を提示する。

【0072】

撮像装置１００は、ユーザから画像データの保存の指示があった場合に、一部の領域８０１を包含する画像データの全体を、調整後の適用量とともにサーバ２００に送信する。そして、サーバ２００は、画像データ全体に対して、送信された適用量に応じたパラメータで画像処理を行い、生成された高画質画像データを撮像装置１００に送信する。このようにすることで、ユーザから画像データの保存の指示がある前における、撮像装置１００とサーバ２００の間の通信量、および、サーバ２００の処理負荷を軽減することが可能となる。

【0073】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0074】

１００ 撮像装置
２００、３００ サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】