特許 7403279 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-14

(45)【発行日】2023-12-22

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20231215BHJP

【ＦＩ】

G06T1/00 500A

【請求項の数】 12

(21)【出願番号】P 2019199242

(22)【出願日】2019-10-31

(65)【公開番号】P2021071989

(43)【公開日】2021-05-06

【審査請求日】2022-10-26

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】鈴木 宏史

【審査官】渡部 幸和

(56)【参考文献】

【文献】特開２００４－０３０２５１（ＪＰ，Ａ）

【文献】特開２００５－２２３８５５（ＪＰ，Ａ）

【文献】特開２００１－２７５０３１（ＪＰ，Ａ）

【文献】特許第６１６４５６４（ＪＰ，Ｂ１）

【文献】特開２００９－０７１６２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

画像データに対して画像処理を適用可能な画像処理手段と、
外部機器と通信する通信手段と、
制御手段とを有し、
前記制御手段は、
前記画像データに対する画像処理のうち、前記画像処理手段で適用する第１の画像処理と、前記外部機器で適用する第２の画像処理とを、適用する画像処理の内容もしくは前記外部機器と通信するデータ量に基づいて決定し、
前記第２の画像処理を適用するために、前記画像データを前記通信手段を通じて前記外部機器に送信し、
前記第２の画像処理が適用された前記画像データを、前記通信手段を通じて前記外部機器から受信し、
前記第２の画像処理が適用された前記画像データに対して、前記第１の画像処理を適用するように前記画像処理手段を制御し、
前記制御手段は、ユーザの指示に応じて適用する画像処理については前記第１の画像処理として決定し、前記画像データに対して１度適用する画像処理については前記第２の画像処理として決定する、
ことを特徴とする画像処理装置。

【請求項2】

前記ユーザの指示に応じて適用する画像処理が、彩度、階調、色相、コントラスト、明るさ、または鮮鋭度の調整およびリサイズの１つ以上を含むことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記制御手段は、撮像光学系または撮像素子に起因する画質劣化を補正する画像処理については前記外部機器で適用することを決定することを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記撮像光学系または撮像素子に起因する画質劣化を補正する画像処理が、光学収差を補正する画像処理、ノイズを補正する画像処理、撮像光学系に含まれる絞りに起因する回折現象による解像感の低下を補正する画像処理および、光学ローパスフィルタに起因する解像感の低下を補正する画像処理の１つ以上を含むことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

画像データに対して画像処理を適用する画像処理手段と、
外部機器と通信する通信手段と、
前記画像データに対する画像処理を、前記画像処理手段で適用するか、前記外部機器で適用するかを、適用する画像処理の内容もしくは前記外部機器と通信するデータ量に基づいて制御する制御手段と、
を有し、
前記制御手段は、
前記通信手段を通じて前記外部機器に前記画像データを送信する場合、第１のデータ形式で送信し、
前記外部機器では、画像処理後の画像データが前記第１のデータ形式である画像処理を適用するように制御する、
ことを特徴とする画像処理装置。

【請求項6】

前記画像処理手段は、前記第１のデータ形式よりもデータ量が多い第２のデータ形式の画像データに対して画像処理を適用することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記外部機器が共用ネットワーク上に存在することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

画像処理装置であって、
画像データに対して画像処理を適用する画像処理手段と、
共用ネットワーク上に存在する外部機器と通信する通信手段と、
前記画像データに対する画像処理を、前記画像処理手段で適用するか、前記外部機器で適用するかを、適用する画像処理の内容もしくは前記外部機器と通信するデータ量に基づいて制御する制御手段と、を有し、
前記制御手段は、前記画像処理手段で適用する画像処理を、前記画像処理装置から見て前記共用ネットワークより手前に存在する前記外部機器とは別の外部機器に適用するように制御することを特徴とする画像処理装置。

【請求項9】

画像データに対して画像処理を適用可能な画像処理手段を有する画像処理装置が実行する画像処理方法であって、
前記画像データに対する画像処理のうち、前記画像処理手段で適用する第１の画像処理と、通信可能な外部機器で適用する第２の画像処理とを、適用する画像処理の内容もしくは前記外部機器と通信するデータ量に基づいて決定する工程と、
前記第２の画像処理を適用するために、前記画像データを前記外部機器に送信する工程と
前記第２の画像処理が適用された前記画像データを前記外部機器から受信する工程と、
前記第２の画像処理が適用された前記画像データに対して、前記第１の画像処理を適用するように前記画像処理手段を制御する工程と、を有し、
前記決定する工程では、ユーザの指示に応じて適用する画像処理については前記第１の画像処理として決定し、前記画像データに対して１度適用する画像処理については前記第２の画像処理として決定する、
ことを特徴とする画像処理方法。

【請求項10】

画像データに対して画像処理を適用可能な画像処理手段を有する画像処理装置が実行する画像処理方法であって、
前記画像データに対する画像処理を、前記画像処理手段で適用するか、通信可能な外部機器で適用するかを、適用する画像処理の内容もしくは前記外部機器と通信するデータ量に基づいて制御する工程と、
前記外部機器に前記画像データを第１のデータ形式で送信する工程と、
画像処理後の画像データが前記第１のデータ形式である画像処理を適用するように前記外部機器を制御する工程と、を有することを特徴とする画像処理方法。

【請求項11】

画像データに対して画像処理を適用可能な画像処理手段を有する画像処理装置が実行する画像処理方法であって、
前記画像データに対する画像処理を、前記画像処理手段で適用するか、通信可能な外部機器で適用するかを、適用する画像処理の内容もしくは前記外部機器と通信するデータ量に基づいて制御する工程と、
前記画像データに対する画像処理を、前記画像処理手段で適用するか、共用ネットワーク上に存在する外部機器で適用するかを、適用する画像処理の内容もしくは前記外部機器と通信するデータ量に基づいて制御する工程を有し、
前記制御する工程は、前記画像処理手段で適用する画像処理を、前記画像処理装置から見て前記共用ネットワークより手前に存在する前記外部機器とは別の外部機器に適用するように制御する工程を有する、ことを特徴とする画像処理方法。

【請求項12】

コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

通信可能に接続された、処理能力の高い外部機器に画像処理の適用を依頼することにより、端末で画像処理を適用するよりも高速に画像処理の実行結果を取得可能とする技術が開発されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－１２８２５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

外部機器に画像処理の適用を依頼する場合、依頼ごとに、処理対象の画像データを外部機器との間で送受信する必要がある。画像データのデータ量が大きくなると、送受信に要する時間も増加する。特に、外部機器が共用ネットワーク上に存在する場合、画像データの送受信に要する時間は共用ネットワークのトラフィック状況によってさらに増加する場合がある。また、外部機器との通信が従量制課金の対象であったり、外部機器に画像処理の適用を依頼することが有料である場合、依頼ごとに費用が発生する。一方で、全ての画像処理を端末で適用する場合、端末の処理能力によっては画像処理に要する時間が非常に長くなり、使い勝手が低下する可能性がある。

【0005】

本発明はこのような課題に鑑みてなされたものであり、外部機器に画像処理を適切に依頼することが可能な画像処理装置および画像処理方法の提供を目的とする。

【課題を解決するための手段】

【0006】

上述の目的は、画像データに対して画像処理を適用可能な画像処理手段と、外部機器と通信する通信手段と、制御手段とを有し、制御手段は、画像データに対する画像処理のうち、画像処理手段で適用する第１の画像処理と、外部機器で適用する第２の画像処理とを、適用する画像処理の内容もしくは外部機器と通信するデータ量に基づいて決定し、第２の画像処理を適用するために、画像データを通信手段を通じて外部機器に送信し、第２の画像処理が適用された画像データを、通信手段を通じて外部機器から受信し、第２の画像処理が適用された画像データに対して、第１の画像処理を適用するように画像処理手段を制御し、制御手段は、ユーザの指示に応じて適用する画像処理については第１の画像処理として決定し、画像データに対して１度適用する画像処理については第２の画像処理として決定する、ことを特徴とする画像処理装置によって達成される。

【発明の効果】

【0007】

本発明によれば、外部機器に画像処理を適切に依頼することが可能な画像処理装置および画像処理方法を提供することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る画像処理システムの構成例を示す模式図

【図2】実施形態に係るＰＣ１０１の機能構成例を示すブロック図

【図3】実施形態に係るＰＣ１０１とサーバ１０３の動作に関するフローチャート

【図4】実施形態に係るＰＣ１０１の画像編集ＧＵＩの例を示す図

【図5】第２実施形態における画像データのデータ形式に関する図

【発明を実施するための形態】

【0009】

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0010】

なお、以下の実施形態では、本発明をコンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）で実施する場合に関して説明する。しかし、本発明はネットワークに接続可能な任意の電子機器に対して適用可能である。このような電子機器には、デジタル（ビデオ）カメラ、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダなどが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。

【0011】

●（第１実施形態）
図１は、第１実施形態に係る画像処理システム１００の構成に関する模式図である。画像処理システム１００は、ＰＣ１０１とサーバ１０３とがネットワーク１０２で通信可能に接続された構成を有する。ネットワーク１０２は例えば、インターネットのような不特定多数の機器が共用ネットワークまたは公衆ネットワークである。したがって、ＰＣ１０１から見てサーバ１０３は共用ネットワーク上に存在する外部機器である。

【0012】

ＰＣ１０１は汎用コンピュータであり、デスクトップ型、ノート型、タブレット型などさまざまな形態をとりうる。ＰＣ１０１は、画像処理の対象となる画像データを保持し、ユーザから画像データに対して実行すべき画像処理に関する指示を受け付ける。また、ＰＣ１０１は、ネットワーク１０２を介してサーバ１０３と通信可能である。

【0013】

サーバ１０３は、ＰＣ１０１に対して外部の画像処理装置として振る舞う。あるいは、サーバ１０３は画像処理ソフトウェアをサービスとして提供するクラウドサーバであってよい。サーバ１０３は、ＰＣ１０１から受信した画像データに対してＰＣ１０１からの指示に従った（あるいは予めＰＣ１０１から設定された）画像処理を適用し、画像処理を適用した画像データをＰＣ１０１に返送する。ＰＣ１０１は、サーバ１０３から受信した画像データに基づく表示を実施する。

【0014】

図２は、ＰＣ１０１の機能構成例を示すブロック図である。制御部２０１は、例えばＣＰＵなどのマイクロプロセッサであり、ＲＯＭ２０２や記録部２０６に記憶されたプログラムをＲＡＭ２０３に読み出して実行することにより、ＰＣ１０１が有する各ブロックの動作を制御する。なお、プログラムは、ネットワーク１０２を通じて受信してもよい。

【0015】

ＲＯＭ２０２は、電気的に書き替え可能な不揮発性メモリである。ＲＯＭ２０２は、制御部２０１が実行可能なプログラムや、プログラムの実行に必要なパラメータ、各種の設定値、ＧＵＩデータなどを記憶する。

【0016】

ＲＡＭ２０３は、電気的に書き換え可能な揮発性メモリである。ＲＡＭ２０３は、プログラム、プログラムの実行中に用いられる各種の情報、各ブロックが生成するデータなどの一時的な記憶に用いられる。また、ＲＡＭ２０３の一部は表示部２０７のビデオメモリとして用いられてもよい。

【0017】

送受信部２０４は、ＰＣ１０１のネットワークインタフェースである。制御部２０１は、送受信部２０４を通じてネットワーク１０２上の機器（サーバ１０３を含む）と通信することができる。

【0018】

画像処理部２０５は、ＲＡＭ２０３に記憶されている画像データに対し、様々な画像処理を適用することができる。例えば、画像データがカメラによる撮影で得られたものである場合、前処理、色補間処理、補正処理、検出処理、データ加工処理を適用することができる。前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、画像の輝度を補正する処理、撮影に用いられたレンズの光学系の収差を補正する処理、色を補正する処理などが含まれる。検出処理には、特徴領域（たとえば顔領域や人体領域）の検出および追尾処理、人物の認識処理などが含まれる。データ加工処理には、スケーリング処理、符号化および復号処理などが含まれる。なお、これらは画像処理部２０５が適用可能な画像処理の例示であり、画像処理部２０５が適用可能な画像処理を限定するものではない。なお、撮影に用いられた機器の情報など、画像データから取得できない情報については、例えば画像データが格納されているデータファイルなどから取得することができる。

【0019】

記録部２０６は、メモリカードとカードリーダの組み合わせ、ハードディスクドライブ、ＳＳＤなどである。記録部２０６は、制御部２０１の制御に従い、データを記録したり記録されたデータを読み出したりする。

【0020】

表示部２０７は、ＬＣＤ等の表示デバイスを有し、ＲＡＭ２０３のビデオメモリ領域に書き込まれているデータに基づく表示を行う。
指示入力部２０８は、キーボード、タッチパネル、マウス、スイッチ、ボタン、ダイヤルなど、ユーザが操作可能な入力デバイスの総称である。指示入力部２０８の操作は制御部２０１が検出する。
なお、サーバ１０３も基本的な機能構成はＰＣ１０１と同様であってよい。

【0021】

本実施形態において制御部２０１は、画像データに適用する画像処理の内容に応じて、ＰＣ１０１（制御部２０１または画像処理部２０５）で適用するか、サーバ１０３に適用を依頼するかを決定する。
ここではその一例として、制御部２０１は、ユーザの指示に応じた処理レベルや処理パラメータに基づいて実行する画像処理についてはＰＣ１０１で適用する。ユーザの指示とは無関係に実行する、あるいは、ユーザはオンとオフのみを指示する画像処理についてはサーバ１０３で適用することを決定する。あるいは、制御部２０１は、繰り返し適用されうる画像処理についてはＰＣ１０１で適用し、１回だけ適用される画像処理についてはサーバ１０３で適用することを決定する。

【0022】

ユーザの指示とは無関係に実行する、あるいは、ユーザはオンとオフのみを指示する画像処理、もしくは１回だけ適用される画像処理には、例えば、撮影時に用いた装置（特には撮像素子や撮影レンズ）の特性に起因して適用される画像処理が含まれる。具体的には、欠陥画素補正、ノイズ低減処理、色補間処理、ガンマ補正処理、光学収差の補正処理などがあるが、これらに限定されない。

【0023】

また、ユーザの指示に応じた処理レベルや処理パラメータに基づいて実行する画像処理、もしくは繰り返して適用されうる画像処理には、例えば、いわゆるレタッチ処理として適用される画像処理が含まれる。具体的には、トーンカーブの調整、色相、彩度、明るさの調整、ホワイトバランス調整などがあるが、これらに限定されない。

【0024】

なお、ユーザの指示に応じた処理レベルや処理パラメータに基づいて実行する画像処理、もしくは繰り返して適用されうる画像処理であっても、予め定められた、処理負荷が大きい画像処理はサーバ１０３に適用を依頼するようにしてもよい。また、ＰＣ１０１の現在の処理負荷が閾値以上の場合には、通常はＰＣ１０１で適用する画像処理についても、サーバ１０３に適用を依頼するようにしてもよい。

【0025】

サーバ１０３に適用を依頼する画像処理と、画像処理部２０５や制御部２０１が適用する画像処理との情報は、例えばＲＯＭ２０２に予め記憶しておくことができる。制御部２０１は、画像データに適用すべき画像処理に応じてＲＯＭ２０２を参照して、画像処理を適用すべき場所を特定し、特定した場所で画像処理を適用するために必要な処理を実行する。必要な処理は例えば特定した場所へ画像データや画像処理に必要な情報を送信する処理である。

【0026】

このように、ユーザの指示に応じた処理レベルや処理パラメータに基づいて実行する画像処理、もしくは繰り返して起用されうる画像処理についてはＰＣ１０１で適用するようにする。これにより、ＰＣ１０１とサーバ１０３との間の通信データ量を効果的に削減することができ、往復の通信時間に起因する処理の遅れがユーザ指示に対する応答性に与える影響を低減することができる。

【0027】

図３は、本実施形態に係る画像処理システム１００の動作に関するフローチャートである。ＰＣ１０１の処理は例えば画像処理アプリケーションの実行が指示されたことによって開始される。

【0028】

Ｓ３０１において制御部２０１は、表示部２０７に画像データの選択画面を表示する。例えば制御部２０１は、例えば記録部２０６の予め定められたディレクトリに記録されている画像データの選択可能な一覧を表示部２０７に表示する。一覧は個々の画像データについて、ファイル名、記録日時、サムネイル画像などの項目を含むものであってよい。

【0029】

Ｓ３０２において制御部２０１は、指示入力部２０８の操作を検出し、検出した操作にしたがって、ユーザが選択した画像データを特定する。

【0030】

Ｓ３０３において制御部２０１は、Ｓ３０２でユーザが選択した画像データを、送受信部２０４を通じてサーバ１０３へ送信する。ここでは、画像データに必ず適用する画像処理が、サーバ１０３で適用する画像処理を含んでいるものとする。制御部２０１は、サーバ１０３に対し、画像データとともに、画像処理に必要な情報を送信する。画像処理に必要な情報には例えば画像データを撮影した装置や撮影条件に関する情報などである。なお、どのような画像処理を適用するかについてはサーバ１０３に対して明示してもよいし、サーバ１０３が適用する画像処理を把握している場合などは画像処理の内容を明示しなくてもよい。

【0031】

Ｓ３０４でサーバ１０３は、ＰＣ１０１から送信された画像データを受信し、画像処理を適用する。Ｓ３０４でサーバ１０３は、上述したように、画像データに対して１度適用する画像処理を適用する。ここでは、一例として、画像データの撮影に使用された撮像光学系および撮像素子に起因する画質劣化を補正する画像処理を適用する。このような画像処理の詳細については後述する。

【0032】

Ｓ３０５でサーバ１０３は、画像処理を適用した画像データをＰＣ１０１へ送信する。
Ｓ３０６で制御部２０１は、サーバ１０３から受信した画像データに基づいて表示用画像データを生成し、画像編集用のＧＵＩとともに表示部２０７に表示する。ユーザは指示入力部２０８の操作を通じて画像編集用のＧＵＩを操作し、彩度や階調の調整など、希望する画像処理の適用をＰＣ１０１に指示することができる。

【0033】

Ｓ３０７で制御部２０１は、指示入力部２０８の操作に応じたパラメータに基づいて、画像データに対して画像処理を適用するように画像処理部２０５を制御する。画像処理部２０５は画像処理を適用した画像データを制御部２０１に送信する。制御部２０１は画像処理を適用した画像データで表示を更新する。

【0034】

Ｓ３０８で制御部２０１は、指示入力部２０８を通じて画像処理の終了がユーザから指示された場合には例えば画像処理後の画像データを記録部２０６に記録して処理を終了する。一方、制御部２０１は、指示入力部２０８を通じて画像処理の終了の指示が検出されなければ、指示入力部２０８を通じた他の指示入力を待機する。

【0035】

なお、図３では最初に１度サーバ１０３で画像処理を適用した後は、ＰＣ１０１で画像処理を適用するものとして記載している。しかし、Ｓ３０６でユーザから処理負荷の大きな画像処理が指示された場合や、ＰＣ１０１の負荷が高い状態などでは、サーバ１０３にさらに画像処理の適用を依頼してもよい。

【0036】

次に、Ｓ３０４でサーバ１０３が適用する画像処理およびＳ３０７でＰＣ１０１が適用する画像処理の例について説明する。
まず、Ｓ３０４においてサーバ１０３が適用可能な画像処理の例として、画像データの撮影に用いられた撮像光学系に起因する光学収差を補正する画像処理と、撮像素子に起因するノイズを補正する画像処理について説明する。

【0037】

光学収差を補正する画像処理について説明する。光学収差は撮影に用いられたレンズユニットが有する光学部材の形状や材質、ズームレンズであればズーム位置などの条件に起因して発生する。そのため、レンズユニットの種類、撮影条件（特に絞り値）、ズーム位置（画角）に関する情報から、画像データを構成する各画素データを補正するための補正値を特定することができる。補正値はサーバ１０３がテーブルとして保持していてもよいし、ネットワーク１０２上の他の機器から取得してもよい。補正値やそれを用いた補正方法は例えば特開２０１１－２１７０８７号公報に記載されるような、公知の方法を用いることができる。

【0038】

次にノイズを補正する画像処理について説明する。ノイズは画像データの撮影に用いられた撮像素子の特性や、撮影条件（特に撮影感度）などの条件に起因して発生する。そのため、撮像素子の種類、撮影条件（特に撮影感度）に関する情報から、画像データを構成する各画素データを補正するための補正値を特定することができる。補正値はサーバ１０３がテーブルとして保持していてもよいし、ネットワーク１０２上の他の機器から取得してもよい。補正値やそれを用いた補正方法は例えば特開２０１３－０２６６６９号公報に記載されるような、公知の方法を用いることができる。

【0039】

光学収差やノイズを補正する画像処理は、周辺の画素を用いた２次元空間フィルタ処理を画素ごとに適用するといった計算量の多い処理である。また、これらの画像処理は基本的に画像データに対して１度適用すれば足りる。ネットワーク１０２上で画像処理サービスを提供するサーバ１０３の画像処理能力は一般にＰＣ１０１よりも高い。そのため、これらの画像処理はサーバ１０３で適用することによる処理時間の低減効果が大きい。

【0040】

ここでは、Ｓ３０４において、サーバ１０３が、光学収差を補正する画像処理と、ノイズを補正する画像処理との両方を適用するものとしたが、いずれか１つを適用してもよい。また、サーバ１０３で適用可能な、撮像光学系または撮像素子に起因する画質劣化を補正する画像処理はこれらに限定されない。例えば、撮像光学系に含まれる絞りに起因する回折現象による解像感の低下を補正する画像処理や、光学ローパスフィルタに起因する解像感の低下を補正する画像処理など、他の画像処理も適用可能である。さらに、色補間処理など、基本的に１度適用する画像処理についても、サーバ１０３で適用することができる。

【0041】

次に、Ｓ３０７においてＰＣ１０１が適用可能な画像処理の例として、彩度を調整する画像処理と、階調を調整する画像処理とについて説明する。図４（ａ）は、Ｓ３０６でＰＣ１０１が提示する画像編集用のＧＵＩのうち、彩度調整用のＧＵＩの例を示している。

【0042】

彩度調整用のＧＵＩ４０１は、スライダー４０２を有する。制御部２０１は、スライダー４０２のつまみ４０３を移動させる指示入力部２０８の操作（例えば、つまみ４０３を指すカーソル４１０の移動操作）を検出すると、操作に応じてつまみ４０３の表示位置を移動させる。なお、表示部２０７がタッチディスプレイであれば、制御部２０１は、つまみ４０３を移動させるタッチ操作（例えばつまみ４０３のドラッグ操作）を検出してもよい。そして、操作が検出されなくなった際のつまみ４０３の表示位置に応じた彩度を判別し、画像処理部２０５に対し、表示画像４２０に対応する画像データに変更後の彩度を適用するように指示する。画像処理部２０５は画像データに彩度を変更する処理を適用する。また、画像処理部２０５は変更後の画像データに基づいて新しい表示用の画像データを生成し、新しい表示用の画像データによってＲＡＭ２０３のビデオメモリを更新する。これにより、ユーザは自身が指示した彩度が適用された表示画像４２０を確認することができる。

【0043】

図４（ｂ）は、Ｓ３０６でＰＣ１０１が提示する画像編集用のＧＵＩのうち、階調調整用のＧＵＩの例を示している。階調調整用のＧＵＩ４０４はトーンカーブ４０５のグラフを含む。制御部２０１は、トーンカーブ４０５は制御点４０６を移動させる指示入力部２０８の操作（例えば、制御点４０６を指すカーソル４１０の移動操作）を検出すると、操作に応じて制御点４０６の表示位置を移動させる。なお、表示部２０７がタッチディスプレイであれば、制御部２０１は、制御点４０６を移動させるタッチ操作（例えば制御点４０６のドラッグ操作）を検出してもよい。制御部２０１は、左右方向の移動操作を検出すると、制御点４０６だけをトーンカーブ上で移動させる。また制御部２０１は、上下方向の移動操作を検出すると、制御点４０６の位置を上下に移動させるとともに、移動後の制御点４０６の位置に応じてトーンカーブを変形させる。なお、制御点４０６は複数設定可能であってよい。

【0044】

そして、制御部２０１は、画像処理部２０５に対し、操作が検出されなくなった際のトーンカーブの形状に応じた階調変換を、表示画像４２０に対応する画像データに適用するように指示する。画像処理部２０５は画像データの階調特性を変更する処理を適用する。また、画像処理部２０５は変更後の画像データに基づいて新しい表示用の画像データを生成し、新しい表示用の画像データでＲＡＭ２０３のビデオメモリを更新する。これにより、ユーザは自身が指示した階調特性の変更が適用された表示画像４２０を確認することができる。

【0045】

彩度や階調の調整は、表示画像を確認しながら、意図する結果が得られるように試行錯誤的に行われることが多い。つまり、彩度や階調の調整に関する画像処理は繰り返し実行されることが多く、また、使い勝手を考慮すると、調整の結果が直ちに表示画像に変換されることが望ましい。さらに、彩度や階調の調整に関する画像処理は、処理対象の画素単体の情報のみを用いて実施可能であるため、光学収差の補正などと比較すると計算量は少ない。そのため、画像データの送受信を繰り返しながらサーバ１０３で画像処理を適用するよりも、ＰＣ１０１で画像処理を適用することのメリットが大きい。

【0046】

なお、ＰＣ１０１で実施する画像処理は、彩度および階調の調整の一方又は両方であってよい。また、彩度および階調の調整に限らず、色相、コントラスト、明るさ、鮮鋭度、リサイズなど、試行錯誤的に実行されることの多い他の任意の画像処理の１つ以上をＰＣ１０１で適用してもよい。

【0047】

以上説明したように、本実施形態によれば、外部機器と通信可能に接続された画像処理装置において、画像データに適用する画像処理の内容に応じて、外部機器に画像処理の適用を依頼するか、自身で適用するかを判別するようにした。そのため、全ての画像処理について外部機器に適用を依頼する場合よりも、外部機器との通信に要する時間に起因する処理時間の増加を抑制することができる。

【0048】

●（第２実施形態）
次に、本発明の第２実施形態について説明する。第１の実施形態では、画像処理をＰＣ１０１で適用するかサーバ１０３で適用するかを、主に処理時間の短縮という観点から画像処理の内容に応じて判別した。本実施形態では、サーバ１０３との通信がデータ量に応じた従量制課金の対象である場合について説明する。画像処理システム１００の構成やＰＣ１０１の構成については第１実施形態と同様であってよいため、以下では本実施形態に特有な動作について重点的に説明する。

【0049】

本実施形態では、サーバ１０３で画像データに対して複数の画像処理を順次適用する過程でデータ形式が変化する場合、サーバ１０３で適用する画像処理を、データ量が多くなるデータ形式に変化する前の段階までにとどめるようにする。あるいは、ＰＣ１０１からサーバ１０３に送信する画像処理前の画像データのデータ形式よりも、サーバ１０３からＰＣ１０１に送信する画像処理後の画像データのデータ形式が、データ量の多いデータ形式にならない範囲で、サーバ１０３が画像処理を適用する。

【0050】

例えば、ＰＣ１０１からサーバ１０３に第１のデータ形式で画像データを送信し、サーバ１０３で画像データにＡ→Ｂ→Ｃという順番で適用可能な３種類の画像処理Ａ～Ｃがあるものとする。また、画像処理Ａ，Ｂは第１のデータ形式で、画像処理Ｃは第１のデータ形式よりもデータ量が多い第２のデータ形式で、それぞれ処理結果を出力するものとする。この場合、サーバ１０３では画像処理Ａ～Ｃのうち画像処理Ａ，Ｂを適用し、画像処理ＣについてはＰＣ１０１で行うようにする。サーバ１０３で画像処理Ａ～Ｃを全て適用した場合、サーバ１０３からＰＣ１０１へ返送される画像データは第２のデータ形式であり、第１のデータ形式よりも送信データ量が増加する。サーバ１０３では画像処理Ｂまでを適用するようにすれば、サーバ１０３からＰＣ１０１へ返送される画像データを第１のデータ形式とすることができ、通信データ量を削減できる。

【0051】

例えば、画像データが撮影によって得られたものである場合、ＲＡＷデータであるか、現像処理後のデータであるかによって画像データのデータ形式は異なりうる。原色ベイヤ配列のカラーフィルタを備えた撮像素子を用いた撮影で得られたＲＡＷデータは、画素ごとにＲ（赤）、Ｇ（緑）、Ｂ（青）のいずれか１つの色成分のみを、１２ビット／画素もしくは１４ビット／画素の深度で有することが多い。
一方、現像処理（色補間処理）後の画像データは、画素ごとにＲＧＢの３成分を８ビット／成分（２４ビット／画素）、もしくはＹ成分とＵまたはＶ成分とを８ビット／成分（１６ビット／画素）の深度で有することが多い。

【0052】

図５に、各データ形式の例を模式的に示す。ここでは画素ごとに１つの色成分を１４ビット深度で有するデータ形式をＢａｙｅｒ形式（１４ビット／画素）、画素ごとにＹ成分とＵまたはＶ成分とをそれぞれ８ビット深度で有するデータ形式をＹＵＶ４２２形式（１６ビット／画素）とする。

【0053】

例えば、第１実施形態で説明したように、画像データに対して光学収差を補正する画像処理と、ノイズを補正する画像処理との両方を適用する場合を考える。ここで、光学収差を補正する画像処理はＢａｙｅｒ形式の画像データを対象とし、ノイズを補正する画像処理がＹＵＶ４２２形式の画像データを対象とするものとする。

【0054】

この場合、図３に示したフローチャートのＳ３０３ではＰＣ１０１からサーバ１０３にＢａｙｅｒ形式の画像データを送信する。そして、Ｓ３０４でサーバ１０３は、光学収差を補正する画像処理を行い、Ｂａｙｅｒ形式の画像データをＳ３０５で返送する。そして、ＰＣ１０１の制御部２０１は、光学収差が補正された画像データに対し、Ｓ３０６の実行前に、ノイズを補正する画像処理を画像処理部２０５によって適用する。画像処理部２０５は、画像データをＢａｙｅｒ形式からＹＵＶ４２２形式に変換してからノイズを補正する画像処理を適用する。ノイズを補正する画像処理の結果として、Ｂａｙｅｒ形式の画像データが得られる場合には、第１実施形態と同様に画像処理を適用すればよい。

【0055】

なお、本実施形態においても、サーバ１０３に対して適用を依頼する画像処理と、ＰＣ１０１で適用する画像処理とについては、予めＲＯＭ２０２に記憶しておくものとする。本実施形態では、画像処理結果として出力される画像データのデータ形式に応じて、サーバ１０３に対して適用を依頼する画像処理と、ＰＣ１０１で適用する画像処理とを予め定めることができる。サーバ１０３に適用を依頼する画像処理は、複数のデータ形式のうち、データ量の最も多いデータ形式以外のデータ形式を対象とするものとすることができる。なお、連続的に適用される複数の画像処理については、途中の段階における画像データの形式に関わらず、最終的に得られる画像データの形式がデータ量の最も多いデータ形式でなければ、サーバ１０３に適用を依頼する画像処理とすることができる。

【0056】

本実施形態によれば、外部機器で適用する画像処理の範囲を、画像処理前よりもデータ量が増加しない範囲にとどめるようにした。そのため、外部機器に画像処理の適用を依頼する場合に、画像処理前よりもデータ量が増加した画像処理後の画像データが外部機器から返送されることを回避できる。そのため、外部機器との通信が従量制課金の対象である場合に、通信費用を節約することができる。

【0057】

なお、サーバ１０３による画像処理が有料である場合には、ＰＣ１０１で不可能であるか、時間がかかりすぎる画像処理についてのみサーバ１０３で適用するようにしてもよい。この場合もどの画像処理をサーバ１０３に依頼するかを予めＲＯＭ２０２に登録しておくことができる。

【0058】

（その他の実施形態）
実施形態に係る画像処理システム１００は、ＰＣ１０１が適用しない画像処理はサーバ１０３で適用するものであった。しかし、ＰＣ１０１で適用するものとして説明した画像処理を、ＰＣ１０１から見てネットワーク１０２よりも手前に存在する（例えばローカルネットワーク上もしくは直接接続された）第２の外部機器で実行するように構成してもよい。この場合、ＰＣ１０１と第２の外部機器との間で画像データを送受信する必要があるが、ネットワーク１０２を通じたサーバ１０３との通信より高速かつ安定した通信が可能であるため、通信時間による処理時間の遅れは小さく、また変動も小さい。

【0059】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0060】

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0061】

１００…画像処理システム、１０１…ＰＣ、１０２…ネットワーク、１０３…サーバ、２０１…Ａ／Ｄ変換部、２０２…ＲＯＭ、２０３…ＲＡＭ、２０４…送受信部、２０５…画像処理部、２０６…記録部、２０７…表示部、２０８…指示入力部

【図1】

【図2】

【図3】

【図4】

【図5】