(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-05
(45)【発行日】2024-08-14
(54)【発明の名称】プログラム、情報処理装置および情報処理システム
(51)【国際特許分類】
H04N 23/60 20230101AFI20240806BHJP
G06T 1/00 20060101ALI20240806BHJP
【FI】
H04N23/60 300
G06T1/00 510
(21)【出願番号】P 2020154917
(22)【出願日】2020-09-15
【審査請求日】2023-07-21
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】有山 隆暁
【審査官】櫃本 研太郎
(56)【参考文献】
【文献】特開2012-147303(JP,A)
【文献】国際公開第2019/188573(WO,A1)
【文献】特開2017-126914(JP,A)
【文献】特開2007-174039(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222-5/257
H04N 23/00、23/40-23/76
H04N 23/90-23/959
G06T 1/00-7/90
G03B 7/00-7/30
(57)【特許請求の範囲】
【請求項1】
調整対象RAW画像に対する画質調整処理の画質調整値を示す画質調整情報に基づいて前記調整対象RAW画像とは異なる分析対象RAW画像に対して画質調整処理を行うことで、撮像装置で取得される撮像画像の画質設定パラメータの決定のために前記分析対象RAW画像とともに用いられる調整済分析対象画像を生成する分析対象画質調整部としてコンピュータを機能させる、
プログラム。
【請求項2】
前記画質調整情報は、色調整、明るさ調整、トーン調整、シャープネス調整、ノイズ調整 のうち少なくとも1つの調整値を示す情報を含む、
請求項1に記載のプログラム。
【請求項3】
前記分析対象画質調整部は、前記調整対象RAW画像に対する画質調整処理と同じ画質調整処理を前記分析対象RAW画像に対して行うことで前記調整済分析対象画像を生成する、
請求項1に記載のプログラム。
【請求項4】
前記画質調整情報は、複数の画質調整項目の調整値を示す情報であり、
前記分析対象画質調整部は、前記複数の画質調整項目のうちユーザにより選択された画質調整項目の調整値を示す選択画質調整情報に基づいて、前記調整済分析対象画像を生成する、
請求項1に記載のプログラム。
【請求項5】
前記分析対象RAW画像は、前記コンピュータを備える装置と異なる外部装置から提供される画像である、
請求項1に記載のプログラム。
【請求項6】
前記画質調整情報は、複数の画質調整項目の調整値を示す情報であり、
前記分析対象RAW画像は、複数の画像領域を有し、
前記複数の画像領域のそれぞれが前記複数の画質調整項目の少なくとも1つに対応する、
請求項1に記載のプログラム。
【請求項7】
前記分析対象画質調整部は、ユーザによる画質設定反映の操作に応じて、前記画質調整情報に基づいて前記調整済分析対象画像を生成する、
請求項1に記載のプログラム。
【請求項8】
前記分析対象画質調整部は、前記調整済分析対象画像と、前記調整対象RAW画像の画像内容の種類を示す画像種類情報とを関連付ける、
請求項1に記載のプログラム。
【請求項9】
前記画質設定パラメータは前記調整対象RAW画像の画像内容の種類を示す画像種類情報ごとに決定される、
請求項1に記載のプログラム。
【請求項10】
前記画像種類情報は、被写体の種類を示す情報を含む、
請求項8に記載のプログラム。
【請求項11】
前記分析対象画質調整部は、前記調整対象RAW画像の撮影条件を示す撮影条件情報に基づいて、前記分析対象RAW画像の候補である複数の分析対象RAW候補画像から前記分析対象RAW画像を選択する、
請求項1に記載のプログラム。
【請求項12】
前記分析対象RAW画像および前記調整済分析対象画像に基づいて前記画質設定パラメータを決定する画質設定パラメータ決定部として前記コンピュータを機能させる、
請求項1に記載のプログラム。
【請求項13】
前記画質設定パラメータ決定部は、前記画質設定パラメータに基づいて前記分析対象RAW画像に対して画質調整処理を行うことで生成された調整済画像の画質の評価を示す第1の画質評価値と、前記調整済分析対象画像の画質の評価を示す第2の画質評価値と、の差分が所定値以下になるように前記画質設定パラメータを決定する、
請求項12に記載のプログラム。
【請求項14】
前記第1の画質評価値および第2の画質評価値は、色再現性、コントラスト、解像感、ノイズ感の少なくとも1つを評価する評価値である、
請求項13に記載のプログラム。
【請求項15】
前記画質調整情報に基づいて前記調整対象RAW画像に対する画質調整処理を実行する調整対象画質調整部として前記コンピュータを機能させる、
請求項1に記載のプログラム。
【請求項16】
前記画質調整値は前記調整対象RAW画像に対するユーザによる画質調整操作により決定される、
請求項1に記載のプログラム。
【請求項17】
調整対象RAW画像に対する画質調整処理の画質調整値を示す画質調整情報に基づいて前記調整対象RAW画像とは異なる分析対象RAW画像に対して画質調整処理を行うことで、撮像装置で取得される撮像画像の画質設定パラメータの決定のために前記分析対象RAW画像とともに用いられる調整済分析対象画像を生成する分析対象画質調整部を備える、
情報処理装置。
【請求項18】
情報処理装置とサーバを有し、
前記情報処理装置は、
調整対象RAW画像に対する画質調整処理の画質調整値を示す画質調整情報に基づいて前記調整対象RAW画像とは異なる分析対象RAW画像に対して画質調整処理を行うことで、撮像装置で取得される撮像画像の画質設定パラメータの決定のために前記分析対象RAW画像とともに用いられる調整済分析対象画像を生成する分析対象画質調整部を備え、
前記サーバは、
前記分析対象RAW画像および前記分析対象画質調整部で生成された前記調整済分析対象画像に基づいて前記画質設定パラメータを決定する画質設定パラメータ決定部を備える
情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、プログラム、情報処理装置および情報処理システムに関し、詳しくは、ユーザの好みの画質を撮像装置に良好に反映できるプログラム等に関する。
【背景技術】
【0002】
ユーザがデジタルカメラやスマートフォンで写真を撮影した時に得られる画像の出力形態として大きくJPG(Joint Photographic Experts Group)とRAWの2種類に大別される。JPGはカメラの信号処理を施した形態であり、PC(personal computer)上の画像閲覧用アプリケーションのほとんどが対応している汎用的なフォーマットである。
【0003】
RAWは、その後加工や編集を前提としたフォーマットである。ユーザは自由に自分の好きなようにRAW現像アプリケーションの調整項目を調整することで、好みの画質に仕上げることができる特徴がある。RAWデータを好ましい画質に加工した写真は広く世の中に出回っており、それを鑑賞するユーザは多くの好ましい画質の写真に触れる機会が増えている。
【0004】
JPGは即時性が高いが拡張性が低く、RAWは即時性が低く手間がかかるが拡張性が高いと言える。RAWデータを加工した時と同じ画質の撮像画像を即時に取得できれば、ユーザの手間を低減できると同時に、ユーザが好みの画質の撮像画像を撮影時にいつでも取得することができるメリットがある。
【0005】
例えば、特許文献1には、画像データの付帯情報としてのサムネイル画像データに対して予め設定された複数の処理内容を用いた画像編集処理を実行して得られた複数の画像を提示し、ユーザが画像データの加工内容を予測可能とし、ユーザが好みの画像を容易に取得可能とすることが記載されている。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
本技術の目的は、ユーザの好みの画質を撮像装置(カメラ)に良好に反映可能とすることにある。
【課題を解決するための手段】
【0008】
本技術の概念は、
調整対象RAW画像に対する画質調整処理の画質調整値を示す画質調整情報に基づいて前記調整対象RAW画像とは異なる分析対象RAW画像に対して画質調整処理を行うことで、撮像装置で取得される撮像画像の画質設定パラメータの決定のために前記分析対象RAW画像とともに用いられる調整済分析対象画像を生成する分析対象画質調整部としてコンピュータを機能させる、
プログラムにある。
【0009】
本技術は、コンピュータを、分析対象画像を生成する分析対象画質調整部として機能させるプログラムである。分析対象画質調整部では、撮像装置で取得される撮像画像の画質設定パラメータの決定のために分析対象RAW画像とともに用いられる調整済分析対象画像が生成される。この場合、調整済分析対象画像は、調整対象RAW画像に対する画質調整処理の画質調整値を示す画質調整情報に基づいて、調整対象RAW画像とは異なる分析対象RAW画像に対して画質調整処理を行うことで生成される。
【0010】
このように本技術においては、分析対象RAW画像に対して調整対象RAW画像に対する画質調整処理の画質調整値を示す画質調整情報に基づいて画質調整処理を行うことで、撮像装置で取得される撮像画像の画質設定パラメータの決定のために分析対象RAW画像とともに用いられる調整済分析対象画像が生成される。この場合、分析に適した分析対象RAW画像および調整済分析対象画像を用いて撮像画像の画質設定パラメータを決定でき、より精度よくユーザの好みの画質を撮像装置に反映できる。
【0011】
なお、本技術において、例えば、画質調整情報は、色調整、明るさ調整、トーン調整、シャープネス調整、ノイズ調整 のうち少なくとも1つの調整値を示す情報を含む、ようにされてもよい。これにより、色調整、明るさ調整、トーン調整、シャープネス調整、ノイズ調整の少なくとも1つに対応したユーザの好みの画質を撮像装置に反映できる。
【0012】
また、本技術において、例えば、分析対象画質調整部は、調整対象RAW画像に対する画質調整処理と同じ画質調整処理を分析対象RAW画像に対して行うことで調整済分析対象画像を生成する、ようにされてもよい。これにより、ユーザが好みの画質に設定した画像に施した画質調整処理と同様の画質調整処理を撮像装置に反映できる。
【0013】
また、本技術において、例えば、画質調整情報は、複数の画質調整項目の調整値を示す情報であり、分析対象画質調整部は、複数の画質調整項目のうちユーザにより選択された画質調整項目の調整値を示す選択画質調整情報に基づいて、調整済分析対象画像を生成する、ようにされてもよい。これにより、ユーザが選択した画質調整項目に対応した画質を撮像装置に反映できる。
【0014】
また、本技術において、例えば、分析対象RAW画像は、コンピュータを備える装置と異なる外部装置から提供される画像である、ようにされてもよい。この場合、外部装置において、適宜、分析対象RAW画像を修正・変更することができ、またコンピュータを備える装置におけるメモリ容量を少なく抑えることができる。
【0015】
また、本技術において、例えば、画質調整情報は、複数の画質調整項目の調整値を示す情報であり、分析対象RAW画像は、複数の画像領域を有し、複数の画像領域のそれぞれが複数の画質調整項目の少なくとも1つに対応する、ようにされてもよい。これにより、1つの分析対象RAW画像で、複数の画質調整項目を合わせるための画質設定パラメータを精度よく算出(決定)できる。
【0016】
また、本技術において、例えば、分析対象画質調整部は、ユーザによる画質設定反映の操作 に応じて、画質調整情報に基づいて調整済分析対象画像を生成する、ようにされてもよい。この場合、分析対象RAW画像に反映する画質調整情報を、ユーザが調整対象RAW画像に対して好みの画質とするための画質調整処理を行った際の画質調整値を示すものとすることができる。
【0017】
また、本技術において、例えば、分析対象画質調整部は、調整済分析対象画像と、調整対象RAW画像の画像内容の種類を示す画像種類情報とを関連付ける、ようにされてもよい。これにより、調整対象RAW画像の画像内容の種類ごとに異なる画質調整処理を撮像装置に反映できる。
【0018】
また、本技術において、例えば、画質設定パラメータは調整対象RAW画像の画像内容の種類を示す画像種類情報ごとに決定される、ようにされてもよい。これにより、調整対象RAW画像の画像内容の種類ごとに異なる画質調整処理を撮像装置に反映できる。この場合、例えば、画像種類情報は、被写体の種類を示す情報を含む、ようにされてもよい。これにより、被写体の種類ごとに異なる画質調整処理を撮像装置に反映できる。
【0019】
また、本技術において、例えば、分析対象画質調整部は、調整対象RAW画像の撮影条件を示す撮影条件情報に基づいて、分析対象RAW画像の候補である複数の分析対象RAW候補画像から分析対象RAW画像を選択する、ようにされてもよい。この場合、調整対象RAW画像の撮影条件に適した分析対象RAW画像を選択することで、より精度よくユーザの好みの画質を撮像装置に反映できる。
【0020】
また、本技術において、例えば、分析対象RAW画像および調整済分析対象画像に基づいて画質設定パラメータを決定する画質設定パラメータ決定部として前記コンピュータを機能させる、ようにされてもよい。これにより、本プログラムで画質設定パラメータを決定することができる。
【0021】
また、本技術において、例えば、画質設定パラメータ決定部は、画質設定パラメータに基づいて分析対象RAW画像に対して画質調整処理を行うことで生成された調整済画像の画質の評価を示す第1の画質評価値と、調整済分析対象画像の画質の評価を示す第2の画質評価値と、の差分が所定の値以下になるように画質設定パラメータを決定する、ようにされてもよい。この場合、画質設定パラメータの合わせ込みを人手で実施するのは多大な工数がかかるのに対し、本システムを用いることにより人手を用いずに画質設定パラメータを良好に算出(決定)することができる。
【0022】
また、本技術において、例えば、第1の画質評価値および第2の画質評価値は、色再現性、コントラスト、解像感、ノイズ感の少なくとも1つを評価する評価値である、ようにされてもよい。これにより、色再現性、コントラスト、解像感、ノイズ感の少なくとも1つの画質を合わせるように画質設定パラメータを決定することができる。
【0023】
また、本技術において、例えば、画質調整情報に基づいて調整対象RAW画像に対する画質調整処理を実行する調整対象画質調整部として前記コンピュータを機能させる、ようにされてもよい。これにより、本プログラムで調整対象RAW画像の画質調整処理をすることができる。
【0024】
また、本技術において、例えば、画質調整値は調整対象RAW画像に対するユーザによる画質調整操作により決定される、ようにされてもよい。これにより、ユーザによる画質調整操作を分析対象RAW画像に対する画質調整処理に反映できる。
【0025】
また、本技術の他の概念は、
調整対象RAW画像に対する画質調整処理の画質調整値を示す画質調整情報に基づいて前記調整対象RAW画像とは異なる分析対象RAW画像に対して画質調整処理を行うことで、撮像装置で取得される撮像画像の画質設定パラメータの決定のために前記分析対象RAW画像とともに用いられる調整済分析対象画像を生成する分析対象画質調整部を備える、
情報処理装置にある。
【0026】
また、本技術のさらに他の概念は、
情報処理装置とサーバを有し、
前記情報処理装置は、
調整対象RAW画像に対する画質調整処理の画質調整値を示す画質調整情報に基づいて前記調整対象RAW画像とは異なる分析対象RAW画像に対して画質調整処理を行うことで、撮像装置で取得される撮像画像の画質設定パラメータの決定のために前記分析対象RAW画像とともに用いられる調整済分析対象画像を生成する分析対象画質調整部を備え、
前記サーバは、
前記分析対象RAW画像および前記分析対象画質調整部で生成された前記調整済分析対象画像に基づいて前記画質設定パラメータを決定する画質設定パラメータ決定部を備える
情報処理システムにある。
【図面の簡単な説明】
【0027】
【
図1】実施の形態としての情報処理システムの構成例を示すブロック図である。
【
図2】PCのアプリケーション1およびアプリケーション2の処理を説明するための図である。
【
図4】PC(クラウドサーバ)の構成例を示すブロック図である。
【
図5】PCとクラウドサーバの機能ブロック図の一例を示す図である。
【
図6】ユーザの画質調整操作に係るPCのUI表示の一例を示す図である。
【
図7】ユーザの画質調整操作に係るPCのUI表示の一例を示す図である。
【
図8】ユーザの画質調整操作に係るPCのUI表示の一例を示す図である。
【
図9】ユーザの画質調整操作に係るPCのUI表示の一例を示す図である。
【
図10】ユーザの画質調整操作に係るPCのUI表示の一例を示す図である。
【
図11】ユーザの画質調整操作に係るPCのUI表示の一例を示す図である。
【
図12】画質設定パラメータのカメラへの取り込みを説明するための図である。
【
図13】ユーザの画質調整操作に係るPCのUI表示の一例を示す図である。
【
図14】PCとクラウドサーバの機能ブロック図の他の一例を示す図である。
【
図15】複数の画質設定パラメータの保持の一例を説明するための図である。
【
図16】複数の画質設定パラメータの保持の他の一例を説明するための図である。
【
図17】調整対象RAW画像と被写体の種類との対応付けをユーザが手動で行う場合について説明するための図である。
【
図18】調整対象RAW画像と被写体の種類(人物)との対応付けをユーザが手動で行う場合における処理の一例を概略的に示すフローチャートである。
【
図19】調整対象RAW画像と被写体の種類との対応付けを自動で行う場合について説明するための図である。
【
図20】調整対象RAW画像と被写体の種類(人物)との対応付けを自動で行う場合における処理の一例を概略的に示すフローチャートである。
【
図21】カメラに多くの画像内容の種類に対応した画質設定パラメータを持たせる場合について説明するための図である。
【
図22】カメラに多くの画像内容の種類に対応した画質設定パラメータを持たせて使用する場合における処理の一例を概略的に示すフローチャートである。
【
図23】PCとクラウドサーバの機能ブロック図の他の一例を示す図である。
【
図24】PCとクラウドサーバの機能ブロック図の他の一例を示す図である。
【発明を実施するための形態】
【0028】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
【0029】
<1.実施の形態>
[情報処理システム]
図1は、実施の形態としての情報処理システム10の構成例を示している。この情報処理システム10は、カメラ100と、PC200と、クラウドサーバ300を有している。カメラ100とPC200は所定のデジタルインタフェース、例えばUSBケーブルで接続されている。PC200は、インターネット等のネットワーク400を介して、クラウドサーバ300に接続されている。また、カメラ100は、ネットワーク400を介して、クラウドサーバ300に接続可能とされている。
【0030】
カメラ100は、被写体の撮影に係るRAW画像に現像処理を施してJPGファイルを生成して、記録媒体に記録し、あるいは必要に応じて外部機器に送信する。また、カメラ100は、被写体の撮影に係るRAW画像に基づいてRAW画像ファイルを生成して、記録媒体に記録し、あるいは必要に応じて外部機器に送信する。なお、ここでは、JPRGファイルを生成するとしているが、その他のファイル、例えばBMPファイルであってもよい。以下では、JPGファイルが生成されるものとして説明する。
【0031】
PC200は、アプリケーション1およびアプリケーション2を有する。アプリケーション1は、
図2(a)に概略的に示すように、被写体の撮影に係るRAW画像(調整対象RAW画像)に現像処理を施して出力画像としてのJPGファイルを生成する。なお、ここでは、JPRGファイルを生成するとしているが、その他のファイル、例えばBMPファイルであってもよい。以下では、JPGファイルが生成されるものとして説明する。
【0032】
この場合、ユーザの画質調整操作に基づいて画質調整が行われ、ユーザの好みの画質が得られるように現像される。ユーザは、例えば、色調整、明るさ調整、トーン調整、シャープネス調整、ノイズ調整等の操作をする。
【0033】
ここで、アプリケーション1における現像とカメラ100内における現像について説明する。
アプリケーション1での現像とカメラ100内での現像における信号処理は、精度や処理順序・アルゴリズム等の差異があることが一般的である。処理自体が異なるとしても、ユーザがアプリケーション1で好みの画像の仕上げたものに最も近い画像をカメラ100で撮影したときに得られるようにするというのが本技術の特徴である。
【0034】
この場合、PC200の表示部には、調整対象RAW画像と共に出力画像が表示され、ユーザは、出力画像の画質が好みの画質にあるか否かを確認できる。ユーザは、例えば、画質調整操作の結果、出力画像の画質が好みの画質になったときに、PC200の表示部に表示されている「カメラに反映」のボタンを押下げ操作することで、アプリケーション2の処理、さらにはカメラ100で取得される撮像画像の画質設定パラメータの算出処理に遷移させることができる。
【0035】
上述のユーザが「カメラに反映」のボタンを押し下げる操作は、ユーザによる画質設定反映の操作に該当する。この操作に応じて、アプリケーション1はアプリケーション2に画質調整情報を通知する。そして、アプリケーション2は、分析対象RAW画像に現像処理を施して、調整済分析対象画像を生成する。これにより、分析対象RAW画像に反映する画質調整情報を、ユーザが調整対象RAW画像に対して好みの画質とするための画質調整処理を行った際の画質調整値を示すものとすることができる。
【0036】
この場合、画質調整値は、上述したように調整対象RAW画像に対するユーザによる画質調整操作により決定されたものであり、ユーザによる画質調整操作を分析対象RAW画像に対する画質調整処理に反映できる。
【0037】
アプリケーション2は、
図2(b)に概略的に示すように、分析に適したRAW画像(分析対象RAW画像)に現像処理を施して出力画像としてのJPGファイルを生成する。この場合の現像処理は、アプリケーション1における現像処理と同様の処理であり、アプリケーション1における画質調整処理の画質調整値を示す画質調整情報に基づいて画質調整処理が行わる。これにより、アプリケーション2における出力画像は、調整済分析対象画像となる。
【0038】
この場合、調整対象RAW画像に対する画質調整処理と同じ画質調整処理を分析対象RAW画像に対して行うことで調整済分析対象画像を生成してもよい。これにより、ユーザが好みの画質に設定した画像に施した画質調整処理と同様の画質調整処理をカメラ100に反映できる。
【0039】
上述したようにアプリケーション1における現像処理に関連して、ユーザは、例えば、色調整、明るさ調整、トーン調整、シャープネス調整、ノイズ調整等の操作をする。アプリケーション2の現像処理における画質調整処理は上述したようにアプリケーション1における画質調整処理の画質調整値を示す画質調整情報に基づいて行われるが、この画質調整情報は、色調整、明るさ調整、トーン調整、シャープネス調整、ノイズ調整の少なくとも一つの調整値を示す情報を含んでいてもよい。これにより、色調整、明るさ調整、トーン調整、シャープネス調整、ノイズ調整の少なくとも一つに対応したユーザの好みの画質をカメラ100に反映できる。
【0040】
ここで、分析対象RAW画像について説明する。この分析対象RAW画像は、色再現性、コントラストを合わせる部分、解像感、ノイズ感を合わせる部分、など、画質設定パラメータ(パラメータ群)を精度よく算出するために作成される。この分析対象RAW画像は、一般画像を加工したものから内容を予測するよりもより正確に処理内容を反映できるのが特徴である。
【0041】
この分析対象RAW画像自体に制限はなく、例えばより細かい色の違いを算出するために作成したり、より細かいコントラストの差を算出するために作成したり、目的に応じて形態を決めることができる。
【0042】
上述のアプリケーション1における画質調整処理の画質調整値を示す画質調整情報は、複数の画質調整項目の調整値を示す情報である。ここで、画質調整項目には、例えば、色再現性、コントラスト、解度感、ノイズ感などがある。分析対象RAW画像は、例えば、複数の画像領域を有し、複数の画像領域のそれぞれが複数の画質調整項目の少なくとも1つに対応するものとされる。これにより、1つの分析対象RAW画像で、複数の画質調整項目を合わせるための画質設定パラメータを精度よく算出することができる。
【0043】
分析対象RAW画像は、例えば、
図2(b)に示すように、色再現性、コントラスト、ノイズ感を評価するために、一般に広く使われるマクベスチャートのような色パッチがならんだ画像領域(チャート)を盛り込んでおくことが考えられる。また、分析対象RAW画像は、このマクベスチャートの代わりに、色再現性、コントラスト、ノイズ感をそれぞれ評価するための画像領域を盛り込んだものとしてもよい。
【0044】
分析対象RAW画像については、何か1つに定義する必要はなく、評価する項目に応じて、適宜使用する画像を変えてもよい。例えば、色再現を精度よく評価したいのであれば色パッチの画像領域を含んだ画像を用い、色再現性および解像感の双方を評価したいのであれば、双方の評価を精度よく行い得る画像領域を含んだ画像を用いる、といったことが可能である。
【0045】
PC200は、分析対象RAW画像として、自身のメモリ(記憶部)に保持しているものを使用することもできるが、外部装置、例えばクラウドサーバ300から提供されるようにされてもよい。このように外部装置から提供されるようにすることで、適宜、分析対象RAW画像を修正・変更することができ、PC200におけるメモリ容量を少なく抑えることができる。
【0046】
図1に戻って、クラウドサーバ300は、分析対象RAW画像とPC200のアプリケーション2で生成された調整済分析対象画像とを用いて、カメラ100で取得される撮像画像の画質設定パラメータを決定する。
【0047】
この場合、画質設定パラメータに基づいて分析対象RAW画像に対して画質調整処理を行うことで生成された調整済画像の画質の評価を示す第1の画質評価値と、調整済分析対象画像の画質の評価を示す第2の画質評価値との差分が所定の値以下になるように、画質設定パラメータが決定される。例えば、第1の画質評価値および第2の画質評価値は、色再現性、コントラスト、解像感、ノイズ感の少なくとも1つを評価する評価値とされる。
【0048】
クラウドサーバ300で決定された画質設定パラメータは、クラウドサーバ300からPC200を介して、あるいはクラウドサーバ300から直接的に、カメラ100に供給されて、用いられる。これにより、カメラ100では、PC200のアプリケーション1でユーザの画質調整操作に基づいて画質調整処理が行われて得られた出力画像と同等の画質を持つ撮像画像を得ることが可能となる。
【0049】
「カメラの構成例」
図3は、カメラ100の構成例を示している。カメラ100は、制御部101と、メモリ102と、操作部103と、表示部104と、記録/再生部105と、通信部106を有している。また、カメラ100は、光学系111と、イメージャ112と、RAWデータ処理部113と、RAW現像部114と、JPG生成部115と、RAW生成部116を有している。なお、ここで示す構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【0050】
制御部101は、CPU(Central Processing Unit)を備えており、カメラ100の全体を制御する。メモリ102は、CPUの制御プログラムを記憶する。また、このメモリ102は、CPUの作業領域を構成し、CPUによる処理の途中結果や最終結果を記憶する。また、このメモリ102は、クラウドサーバ300で生成されて後述通信部106で受信された画質設定パラメータを記憶する。
【0051】
操作部103は、操作ボタンやタッチパネル等で構成されており、ユーザがカメラ100に対して種々の操作を行い得る部分である。表示部104は、液晶パネル、有機ELパネル等で構成されており、撮像画像の他、メニュー画面や設定画面等を表示する。操作部103および表示部104は、ユーザインタフェースを構成している。
【0052】
記録/再生部105は、後述するように生成されたJPGファイルやRAW画像ファイルを、記録メディアに記録し、必要に応じて再生する。この場合、記録メディアは、メモリカード等のリムーバブルな記録メディアであってもよい。通信部106は、外部機器と有線または無線で通信をする。この実施の形態においては、PC200と通信をしたり、ネットワーク400を介してクラウドサーバ300と通信をしたりする。
【0053】
光学系111は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構等を備える。この光学系111により、被写体からの光(入射光)が導かれてイメージャ112に集光される。イメージャ112は、例えば、CMOS(Complementary Metal Oxide Semiconductor)型やCCD(Charge Coupled Device)型などのイメージャである。イメージャ112は、デジタルデータとしての撮像信号を後段のRAWデータ処理部113に出力する。
【0054】
RAWデータ処理部113は、イメージャ112から出力されたRAWデータに対して、画素欠陥補正、混色補正およびフリッカ補正などの処理をする。RAW現像部114は、RAWデータ処理部113で処理されたRAWデータに対して現像を行って、YCデータを得る処理をする。
【0055】
RAW現像部114は、明るさ調整部121と、同時化処理部122と、ホワイトバランス調整部125と、シャープネス/ノイズ調整部124と、色/コントラスト調整部125と、YC生成部126を有している。
【0056】
明るさ調整部121は、設定されたパラメータに応じて、RAWデータに対して、明るさ調整をする。同時化処理部122は、明るさ調整部121から出力されるRAWデータに対して、各画素についての画像データが、R(赤),G(緑),B(青)の全ての色成分を有するように色分離処理をする。例えば、ベイヤー配列のカラーフィルタを用いたイメージャ112の場合は、色分離処理としてデモザイク処理が行われる。
【0057】
ホワイトバランス調整部123は、設定されたパラメータに応じて、同時化処理部122から出力されるR,G,Bの画像データ(3原色データ)に対して、ホワイトバランス調整をする。シャープネス/ノイズ調整部124は、設定されたパラメータに応じて、ホワイトバランス調整部123から出力されるR,G,Bの画像データに対して、シャープネスやノイズを調整する。
【0058】
色/コントラスト調整部125は、設定されたパラメータに応じて、シャープネス/ノイズ調整部124から出力されるR,G,Bの画像データに対して、色やコントラストを調整する。YC生成部126は、色/コントラスト調整部125から出力されるR,G,Bの画像データに対して色階調再現処理やガンマ処理を行った後に、このR,G,Bの画像データを、所定の計算式に従って、YC信号(輝度信号(Y)と色差信号(Cb,Cr))に変換する。
【0059】
JPG生成部115は、RAW現像部114(YC生成部126)から出力されるYC信号に基づいてJPGファイルを生成する。このように生成されたJPGファイルは、記録/再生部105で記録メディアに記録され、必要に応じて再生されて、画像表示に使用され、あるいは通信部106を通じて外部装置に送信される。
【0060】
なお、RAW現像部114の各調整部におけるパラメータに関しては、ユーザは操作部103を操作することで調整できる。また、RAW現像部114の各調整部におけるパラメータとして、ユーザの操作に基づいて、クラウドサーバ300で決定された画質設定パラメータを設定できる。この場合、カメラ100では、PC200のアプリケーション1でユーザの画質調整操作に基づいて画質調整処理が行われて得られた出力画像と同等の画質を持つ撮像画像(JPG画像)を得ることが可能となる。
【0061】
RAW生成部116は、RAWデータ処理部113で処理されたRAWデータに基づいて、RAWデータファイルを生成する。このRAWデータファイルに含まれるRAWデータは、非圧縮RAWデータあるいは圧縮RAWデータのいずれであってもよい。このように生成されたRAWデータファイルは、記録/再生部105で記録メディアに記録され、必要に応じて再生されて、通信部106を通じて外部装置に送信される。
【0062】
「PCの構成例」
図4は、PC200の構成例を示している。PC200は、CPU201と、ROM202と、RAM203と、バス204と、入出力インタフェース205と、操作部206と、表示部207と、記憶部208と、ドライブ209と、接続ポート210と、通信部211を有している。なお、ここで示す構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【0063】
CPU201は、例えば、演算処理装置または制御装置として機能し、ROM202、RAM203、記憶部208、またはリムーバブル記録媒体501に記録された各種プログラムに基づいて各構成要素の動作全般またはその一部を制御する。
【0064】
ROM202は、CPU201に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM203には、例えば、CPU201に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的または永続的に格納される。
【0065】
CPU201、ROM202、RAM203は、バス204を介して相互に接続される。一方、バス204には、入出力インタフェース205を介して種々の構成要素が接続される。
【0066】
操作部206は、ユーザの操作入力を受け付けるとともに受け付けた操作入力に対応する操作信号をCPU201に出力する。操作部206には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、操作部206には、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。
【0067】
表示部207は、液晶ディスプレイや有機ELディスプレイにより構成され、CPU201の制御の下、各種の情報を表示する。ここで、操作部206および表示部207は、ユーザインタフェースを構成する。
【0068】
記憶部208は、各種のデータを格納するための装置である。記憶部208としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等が用いられる。
【0069】
ドライブ209は、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体501に記録された情報を読み出し、またはリムーバブル記録媒体501に情報を書き込む装置である。
【0070】
リムーバブル記録媒体501は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体501は、例えば、非接触型ICチップを搭載したICカード、または電子機器等であってもよい。
【0071】
接続ポート210は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、HDMI(High-Definition Multimedia Interface)ポート、SCSI(Small Computer System Interface)ポート、RS-232Cポート、または光オーディオ端子等のような外部接続機器502を接続するためのポートである。外部接続機器502は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、またはICレコーダ等である。
【0072】
通信部211は、ネットワーク503に接続するための通信デバイスであり、例えば、有線または無線LAN、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または各種通信用のモデム等である。
【0073】
なお、クラウドサーバ300の構成に関しては、PC200と同様の構成となるので、その構成例についての説明は省略する。
【0074】
「PCとクラウドサーバにおける処理」
図5は、PC200とクラウドサーバ300の機能ブロック図の一例を示している。この機能ブロック部を参照して、PC200とクラウドサーバ300における処理をさらに説明する。
【0075】
PC200のアプリケーション1は、RAW現像部211とファイル生成部212を有する。RAW現像部211は、被写体の撮影に係るRAW画像である調整対象RAW画像に現像処理を施して出力画像を得る。この調整対象RAW画像は、例えば、リムーバブル記録媒体501(
図4参照)から読み出すことで得られる。
【0076】
この現像処理に関連して、ユーザの画質調整操作に基づいて画質調整が行われ、ユーザの好みの画質が得られるように現像される。ユーザは、例えば、色調整、明るさ調整、トーン調整、シャープネス調整、ノイズ調整等の操作をする。
【0077】
表示部207には、現像処理を施して得られた出力画像が表示される。この出力画像の画質は、ユーザの画質調整操作に伴って変化する。そのため、ユーザは、表示部207に表示される出力画像を参照して、好みの画質が得られるように画質調整を行うことができる。表示部207には、さらに、ユーザの画質調整操作のためのUI表示も行われる。ユーザは、このUI表示に基づいて、画質調整操作を簡単かつ適切に行うことができる。
【0078】
ここで、画質調整の履歴を記憶しておく。この画質調整の履歴には、どの調整項目をどの順番でそれぞれどの程度の調整を行ったかの情報を含んでいる。各調整項目の最終的な調整値ではなく、画質調整の履歴を記憶しておくのは、この画質調整の履歴を画質調整情報として用いることで、アプリケーション2で、アプリケーション1における画質調整を完全に再現するためである。これは、各調整項目の調整順によって調整結果が変わることが有り得ることを考慮したものである。
【0079】
なお、ユーザによる画質調整操作において、ある調整結果を起点に画質調整操作(画質の微調整操作)を行って、最終的な調整結果を得ることも考えられる。この場合、ある調整結果に関して、それが得られた際の画質調整の履歴と調整対象RAW画像が対応付けて保存される。そして、ユーザがある調整結果を起点に調整操作を行う場合、保存されている調整対象RAW画像に対して、保存されている画質調整の履歴に基づいて画質調整が行われてある調整結果が再現され、ユーザはその状態から画質調整を行って最終的な調整結果を得ることができる。この場合、新たな画質調整の履歴が、保存されている画質調整の履歴に追加されて、最終的な画質調整の履歴とされる。
【0080】
ファイル生成部212は、RAW現像部211から出力されるYC信号に基づいて画像ファイル(JPGファイル)を生成する。この画像ファイルは、ドライブ209でリムーバブル記録媒体501に記録され、必要に応じて再生されて、例えば、画像表示に使用され、あるいは外部装置に送信される。
【0081】
アプリケーション1は、PC200の表示部207(
図4参照)に表示される「カメラに反映」のボタンの押下げ操作に応じて、画質調整情報をアプリケーション2に通知する。この調整情報には、上述の画質調整の履歴が含まれる。なお、この画質調整情報に、画質調整の履歴ではなく、各調整項目の最終的な調整値を含めることも考えられる。
【0082】
PC200のアプリケーション2は、RAW現像部221とファイル生成部222を有する。RAW現像部221は、アプリケーション1におけるRAW現像部221と同様の構成である。RAW現像部221は、分析対象RAW画像(分析に適したRAW画像)に現像処理を施して、出力画像としての調整済分析対象画像を得る。このRAW現像部221は、分析対象画質調整部を構成している。
【0083】
分析対象RAW画像は、メモリ213から読み出すことで得られる。このメモリ213は、例えばRAM203(
図4参照)で構成される。アプリケーション2(PC200)は、クラウドサーバ300の分析対象RAW画像メモリ301から使用すべき分析対象RAW画像を取得し、メモリ213に記憶しておく。
【0084】
ここで、アプリケーション2で使用される分析対象RAW画像として、アプリケーション1で使用される調整対象RAW画像と撮影条件(ISO感度、絞り、シャッター速度の他、カメラの機種等も含む)が合ったものを用いることで、クラウドサーバ300で決定される画質設定パラメータの精度を上げることができる。特に、ISO感度を合わせることで、完成する画像のノイズ感を合わせることができる。
【0085】
そこで、アプリケーション2において、分析対象画質調整部を構成するRAW現像部221は、クラウドサーバ301の分析対象RAW画像メモリ301に記憶されている分析対象RAW画像の候補である複数の分析対象RAW候補画像から、調整対象RAW画像の撮影条件を示す撮影条件情報に基づいて、使用すべき分析対象RAW画像を選択する。この場合、例えば、調整対象RAW画像には撮影条件情報が付加されており、また分析対象RAW画像メモリ301に記憶されている複数の分析対象RAW画像にも撮影条件情報が付加されている。
【0086】
この場合、アプリケーション2で使用される分析対象RAW画像として、アプリケーション1で使用される調整対象RAW画像と撮影条件が完全に一致したものを使用できない場合も想定される。
【0087】
ISO感度が合っていない場合について説明する。例えば、高感度ISO50000で撮影されたノイジーな調整対象RAW画像に対し、ユーザが強くノイズリダクションをかけて好みの画像に仕上げたとする。分析対象RAW画像が低感度ISO100で撮影された画像の場合、同じノイズリダクションを掛けると、著しく解像感の劣化した画像となる。
【0088】
この場合、ユーザにどこまでの調整項目を反映させるかを選択させることをオプションとして選ばせておくことで解決できる。主にISO感度によって変化してしまう解像感、ノイズ感に対応するシャープネス調整、ノイズ調整については反映させないことを、ユーザに勧めることもできる。一方、この場合、全体の画像の印象を左右する色調整、明るさ調整、コントラスト調整、各種エフェクトについては反映させる。
【0089】
また、調整対象RAW画像や分析対象RAW画像の一方または双方に撮影条件情報の付加がなく、その素性が分からない場合について説明する。この場合、上述したISO感度があっていない場合と同様の懸念がある。よって、ユーザにどこまでの調整項目を反映させるかを選択させることをオプションとして選ばせておくことで解決できる。主に調整対象RAW画像の素性により変化してしまう解像感、ノイズ感に対応するシャープネス調整、ノイズ調整については反映させないことを、ユーザに勧めることもできる。一方、この場合、全体の画像の印象を左右する色調整、明るさ調整、コントラスト調整、各種エフェクトについては反映させる。
【0090】
ファイル生成部222は、RAW現像部221から出力される調整済分析対象画像(YC信号)に基づいて画像ファイル(JPGファイル)を生成する。アプリケーション2は、この画像ファイルを、カメラ100で取得される撮像画像の画質設定パラメータを算出(決定)するためにクラウドサーバ300に送信する。なお、この場合、JPGファイルではなく、YC信号の状態で送信することも考えられる。
【0091】
クラウドサーバ300は、分析対象RAW画像メモリ301の他に、RAW現像部302と、パラメータ算出部303を有している。そして、パラメータ算出部303は、画像評価システム304と、画質設定パラメータ自動チューニングシステム305を有している。
【0092】
RAW現像部302は、カメラ100のRAW現像部114(
図3参照)と同様の構成である。RAW現像部302は、PC200のアプリケーション2で使用したと同じ分析対象RAW画像を分析対象RAW画像メモリ301から取得し、現像処理を施して、出力画像(YC信号)としての調整済画像を得る。
【0093】
パラメータ算出部303は、RAW現像部302からの調整済画像と、PC200のアプリケーション2から送られてくる調整済分析対象画像の画像ファイル(JPGファイル)に基づいて、RAW現像部302に設定する画質設定パラメータを算出(決定)する。この場合、調整済画像の画質評価値(第1の画質評価値)と、調整済分析対象画像の画質評価値(第2の画質評価値)と、の差分が所定の値以下になるように画質設定パラメータが算出(決定)される。
【0094】
画質評価システム304は、調整済画像および調整済分析対象画像の画質評価を行って、それぞれ、第1の画質評価値および第2の画質評価値を得る。そして、画質評価システム304は、第1の画質評価値と第2の画質評価値の差分を示す画質差分指標を計算する。ここで、第1の画質評価値および第2の画質評価値は、色再現性、コントラスト、解像感、ノイズ感の少なくとも1つを評価する評価値とされる。これにより、色再現性、コントラスト、解像感、ノイズ感の少なくとも1つの画質を合わせるように画質設定パラメータを決定することができる。
【0095】
画質設定パラメータ自動チューニングシステム305は、遺伝的アルゴリズム(GA:Genetic Algorithms)、シミュレーテッド アニーリング(SA)などの非線形最適化アルゴリズムを用いて、画質評価システム304で計算された画質差分指標(例えば、SSIM:structural similarity)で算出)に基づき、その差分が小さくなるように、RAW現像部302の仮画質設定パラメータを算出する。画質設定パラメータ自動チューニングシステム305で求められた仮画質設定パラメータはRAW現像部302に反映される。
【0096】
画質設定パラメータ自動チューニングシステム305は、新たな画質差分指標に基づいて、RAW現像部302の仮画質設定パラメータを求めることを繰り返し、最適化を行って、画質設定パラメータを算出する。この場合、例えば、画質差分指標が閾値を超えた場合、仮画質設定パラメータは、画質設定パラメータとして保存される。画質設定パラメータの合わせ込みを人手で実施するのは多大な工数がかかるのに対し、本システムを用いることにより人手を用いずに画質設定パラメータを良好に算出(決定)することが出来る。
【0097】
クラウドサーバ300は、画質設定パラメータ自動チューニングシステム305で算出(決定)された画質設定パラメータの情報であるパラメータ情報を、PC200に送信する。PC200は、このパラメータ情報をメモリ213に取り込み、その後、アプリケーション1を介して、カメラ100に送る。なお、クラウドサーバ300におけるパラメータ算出部303は、上述したように画質評価システム304および画質設定パラメータ自動チューニングシステム305で構成されるものに限定されるものではない。
【0098】
「PCの表示例」
図6は、PC200の表示部207(
図4参照)の表示の一例を示している。矢印P1は、出力画像の表示領域を示している。また、矢印P2は、画質調整操作のためのUI表示領域を示している。この例において、ユーザは、UI表示に基づいて、色調整、明るさ調整、トーン調整、シャープネス調整、ノイズ調整の操作を行うことができ、さらに各種エフェクトの選択操作も可能となっている。
【0099】
ユーザは、
図7に示すように、画質調整操作のためのUI表示領域P1において、各パラメータを調整して、出力画像の画質を所望の画質に仕上げることができる。画質調整操作の結果、出力画像の画質が好みの画質になり、その画質をカメラ100に反映させたい場合に、ユーザは、
図8に示すように、「ファイル」のプルダウンメニューから「カメラへ反映」を選択する。これにより、
図9に示すように、表示部207に、カメラ100にパラメータを反映するための「カメラに反映」のボタンが現れる。
【0100】
ユーザが「カメラに反映」のボタンを押し下げ操作することで、上述したように、PC200のアプリケーション2の処理、さらにはクラウドサーバ300の画質設定パラメータの算出の処理に移っていく。この場合、
図10に示すように、クラウドサーバ300で画質設定パラメータが算出されるまでの進捗具合を示すプログレスバーが表示される。このプログレスバーにより、ユーザは、処理の進捗状態を知ることができる。
【0101】
クラウドサーバ300で画質設定パラメータの算出が完了すると、
図11に示すように、表示部207において、プログレスバーの部分の表示は「完了!!」になると共に、クラウドサーバ300で算出された画質設定パラメータをカメラ100に送信して設定するための「設定送信」のボタンが現れる。なお、プログレスバーの部分の表示が「完了!!」となるとき、例えば、クラウドサーバ300で算出された画質設定パラメータは、クラウドサーバ300からPC200が送信されて、メモリ213に取り込まれた状態となっている。
【0102】
なお、カメラ100においてユーザがRAW現像部114に画質設定パラメータを設定する際に、複数の設定の中から一つの設定を選択して行うことが可能とされる。PC200からカメラ100に上述したようにクラウドサーバ300で算出された画質設定パラメータを送信する場合、カメラ100においては、予め、ユーザ操作により、PC200から送られてくる画質設定パラメータをどの設定として保持するかの選択操作が行われる。
【0103】
図12(a)は、その際にカメラ100の表示部104に表示されるカメラ設定メニューの一例を示している。ユーザは、このカメラ設定メニューにおいて、どの設定に画質設定パラメータを取り込むかをチェックする。図示の例においては、「設定1に取り込み」のチェックボックスにチェックされた状態を示している。このようにどの設定に画質設定パラメータを取り込むかをチェックした後に、ユーザが「取り込み」のボタンの押し下げ操作を行うと、カメラ設定メニューには、
図12(b)に示すように、「取り込みスタンバイOK」の表示がなされる。
【0104】
このようにカメラ100が「取り込みスタンバイOK」の状態で、
図12(c)に示すようにPC200の表示部207に表示されている「設定送信」のボタンがユーザにより押し下げ操作がされると、PC200からカメラ100への画質設定パラメータの取り込みが開始される。このとき、カメラ設定メニューには、
図12(d)に示すように、プログレスバーが表示される。このプログレスバーにより、ユーザは、取り込みの進捗状態を知ることができる。そして、取り込みが完了すると、カメラ設定メニューには、
図12(e)に示すように、「取り込み完了!!」の表示がなされ、ユーザはPC200からカメラ100への画質設定パラメータの取り込みが完了したことを知ることができる。
【0105】
なお、上述では、PC200の表示部207において「ファイル」のプルダウンメニューから「カメラへ反映」が選択された場合(
図8参照)、
図9に示すようにPC200の表示部207に「カメラに反映」のボタンだけが表示される例を示した。
【0106】
しかし、
図13に示すように、アプリケーション1でRAW現像に関連してユーザにより操作される複数の画質調整項目のうち、アプリケーション2に反映させる画質調整項目をユーザが選択可能とするチェックボックスをさらに表示することも考えられる。図示の例においては、「色調整」、「明るさ調整」、「コントラスト調整」のチェックボックスにチェックされた状態を示している。これにより、ユーザは、アプリケーション2に反映させる画質調整項目を任意に選択でき、ユーザが選択した画質調整項目に対応した画質をカメラ100に反映できる。
【0107】
また、このようにアプリケーション2に反映させる画質調整項目をユーザが選択可能である場合、分析対象画質調整部を構成するRAW現像部221は、ユーザが選択した画質調整項目に応じてアプリケーション2で使用する分析対象RAW画像を選択し、ユーザが選択した画質調整項目に対応した画質をカメラ100に精度よく反映させるための画質設定パラメータをクラウドサーバ300で算出(決定)させるようにしてもよい。例えば、ユーザが選択した画質調整項目に対応した画質が色再現性である場合には、アプリケーション2で使用する分析対象RAW画像は色再現性を精度よく評価し得る画像領域を盛り込んだものとされる。
【0108】
以上説明したように、
図1に示す情報処理システム10において、PC200のアプリケーション2は、分析対象RAW画像に対して調整対象RAW画像に対する画質調整処理の画質調整値を示す画質調整情報に基づいて画質調整処理を行うことで、カメラ100で取得される撮像画像の画質設定パラメータの決定のために分析対象RAW画像とともに用いられる調整済分析対象画像を生成する。そのため、分析に適した分析対象RAW画像および調整済分析対象画像を用いて撮像画像の画質設定パラメータを決定でき、より精度よくユーザの好みの画質をカメラ100に反映できる。
【0109】
なお、
図5に示すPC200とクラウドサーバ300の機能ブロック図においては、クラウドサーバ300で算出された画質設定パラメータをPC200経由でカメラ200に送信する例を示している。しかし、クラウドサーバ300で算出された画質設定パラメータを、ネットワーク400を介して、カメラ100に直接送信することも考えられる。
図14は、その場合におけるPC200とクラウドサーバ300の機能ブロック図の一例を示している。この
図14において、
図5と対応する部分には同一符号を付し、その詳細説明は省略する。
【0110】
また、上述では、PC200において、分析対象RAW現像にアプリケーション1で得られた画質調整情報に基づいて現像処理を行って調整済分析対象画像を生成する処理をアプリケーション2で行っている。しかし、このアプリケーション2の処理も、アプリケーション1で行うことも考えられる。この場合、アプリケーション1の処理とアプリケーション2の処理を1つのアプリケーション(プログラム)で処理できる。
【0111】
この場合、例えば、アプリケーション2はアプリケーション1に組み込まれ、ユーザが「カメラに反映」のボタンの押し下げ操作を行うタイミングで、分析対象RAW画像に現像処理を行って得られた調整済分析対象画像がクラウドサーバ300に送信されて、画質設定パラメータを算出するために使用される。ここで、分析対象RAW画像の現像処理における画質調整項目の反映については、「カメラに反映」のボタンの押し下げ操作があるまでは、調整対象RAW画像の現像処理における画質調整項目の反映と並行して行われてもよく、あるいは「カメラに反映」のボタンの押し下げ操作がされるタイミングで調整履歴をもとに一気に全てを反映させてもよい。
【0112】
また、上述していないが、PC200におけるアプリケーション1は、「カメラに反映」のボタンの押し下げ操作がなければ、通常のRAW編集アプリケーションとして機能する。「カメラに反映」のボタンの表示、非表示は、切り替え対応することも可能である。
【0113】
また、上述していないが、「カメラに反映」のボタンの押し下げ操作は、編集途中である程度の完成度に達したと思えるタイミングでその都度実施してもよい。ある程度完成度の高い調整項目を中心に微調整を加えた候補をいくつも作ることができ、また全く別なバリエーションを作ることもできる。
【0114】
また、上述していないが、アプリケーション2で使用する分析対象RAW画像は、アプリケーション1を更新する際などにクラウドサーバ300で画質設定パラメータを算出しやすいように随時更新することができる。
【0115】
また、上述では、PC200において、アプリケーション1の現像処理における画質調整をユーザ操作による行うものであるが、この部分をプロやクリエータに実施してもらうことも考えられる。また、アプリケーション1の処理が外部装置において行われて、PC200に外部装置から画質調整情報を供給する構成も考えられる。
【0116】
また、上述では、カメラ100では、PC200で「カメラに反映」のボタンが押下げ操作される毎に、クラウドサーバ300で生成された画質設定パラメータが、予め選択された設定として取り込まれる(
図12参照)。
【0117】
これにより、
図15に示すように、カメラ100は、複数の設定の画質設定パラメータをメモリ102に保持した状態となり得る。この状態において、ユーザは、カメラ100の表示部104に表示されるカメラ設定メニューから所望の画質設定パラメータを選択して、RAW現像部104に設定して使用する。図示の例においては、「設定1:×××設定」が選択された状態を示している。なお、この場合において、カメラ設定メニューにおける各設定の名称はユーザが任意に付けることができる。
【0118】
この場合、複数の設定の画質設定パラメータをメモリ102に保持する代わりに、
図16に示すように、クラウドサーバ300に保持しておき、ユーザがカメラ100の表示部104に表示されるカメラ設定メニューから所望の画質設定パラメータを選択したタイミングで、当該画質設定パラメータをクラウドサーバ300からカメラ100に取り込み、RAW現像部104に設定して使用することも考えられる。このようにクラウドサーバ300で保持するようにすることで、カメラ100におけるメモリ102の容量を抑えることができる。
【0119】
<2.変形例>
なお、上述実施の形態においては、調整対象RAW画像の画像内容の種類については考慮されていない。ユーザは、調整対象RAW画像毎に最適な処理が毎回同じわけではなく、様々な状況で異なることが予想される。変わる条件として考えられるのは、(1)被写体(人物、風景、夜景、など)、(2)気持の表現(暖色、寒色、硬調、軟調、など)、(3)その画像そのものの性質(ノイズ感、解像感、カラフル、色味が少ない、など)、などである。
【0120】
この場合、クラウドサーバ300において、画質設定パラメータの算出(決定)を調整対象RAW画像の画像内容の種類を示す画像種類情報ごとに行って、カメラ100において、RAW現像部114に撮像画像の画像内容の種類に応じた画質設定パラメータを設定して使用可能とすることが考えられる。これにより、調整対象RAW画像の画像内容の種類ごとに異なる画質調整処理をカメラ100に反映できる。ここで、画像種類情報が被写体の種類を示す情報を含むことで、被写体の種類ごとに異なる画質調整処理をカメラ100に反映できる。
【0121】
この場合、アプリケーション2で生成される調整済分析対象画像と、調整対象RAW画像の画像内容の種類を示す画像種類情報(メタ情報)を関連付けることで、調整対象RAW画像の画像内容の種類ごとに異なる画質調整処理をカメラ100に反映できる。
【0122】
画質設定パラメータの算出(決定)を調整対象RAW画像の画像内容の種類を示す画像種類情報ごとに行う場合、カメラ100が持つ被写体認識機能と紐づけて、カメラ100のRAW現像部114に設定する画質設定パラメータを変えるソリューションが考えられる。
【0123】
最初に、調整対象RAW画像と被写体の種類との対応付けをユーザが手動で行う場合について説明する。この場合、
図17に概略的に示すように、ユーザは、PC200における「カメラの反映」のボタンの操作を行う際に、どの被写体の種類に対応させるかを、対応するボタンの押し下げ操作を行うことで選択する。図示の例においては、ユーザは被写体の種類が人物であるとして、「カメラに反映(人物)」のボタンが押し下げ操作された状態を示している。
【0124】
この場合、アプリケーション1からアプリケーション2に画質調整情報が通知される際には、この画質調整情報には被写体の種類を示す画像種類情報(メタ情報)が付加される。そして、アプリケーション2では、分析対象RAW画像にRAW現像処理が行われる際に、アプリケーション1から通知される画質調整情報に基づいて画質調整処理が行われて、調整済分析対象画像が生成される。この調整済分析対象画像にも上述の被写体の種類を示す画像種類情報(メタ情報)が付加される。
【0125】
アプリケーション2からクラウドサーバ300には、このように被写体の種類を示す画像種類情報(メタ情報)が付加された調整済分析対象画像が送られ、クラウドサーバ300においては、被写体の種類ごとに、画質設定パラメータが生成される。そして、このようにクラウドサーバ300で生成された画質設定パラメータは、被写体の種類を示す画像種類情報(メタ情報)が付加された状態で、カメラ100に送信されて、被写体の種類ごとに保持される。
【0126】
カメラ100では、被写体の認識処理がされ、認識された被写体に応じた画質設定パラメータが読み出されてRAW現像部114に設定されて使用される。これにより、被写体の種類に応じた画質調整処理をカメラ100に反映できる。
【0127】
図18のフローチャートは、例えば、調整対象RAW画像と被写体の種類(人物)との対応付けをユーザが手動で行う場合における処理の流れを概略的に示している。
【0128】
ステップST1において、アプリケーション1で、調整対象RAW画像に対してRAW現像処理をする。この際、ユーザ操作により、画質調整が行われる。次に、ステップST2において、アプリケーション1で、ユーザは、被写体の種類が人物であると判断して、「カメラに反映(人物)」のボタンを選択して押し下げる操作をする。
【0129】
次に、ステップST3において、アプリケーション2で、アプリケーション1から通知される画質調整情報に基づいて、分析対象RAW画像に対してRAW現像処理をする。これにより、被写体(人物)に対応した調整済分析対象画像が生成される。次に、ステップST4において、画質設定パラメータ自動チューニングシステムは、被写体(人物)に対応した画質設定パラメータを算出(決定)する。この画質設定パラメータは、カメラ100に送られて保持される。
【0130】
次に、ステップST5において、カメラ100は、被写体を人物と認識する。次に、ステップST6において、カメラ100は、被写体(人物)に対応した画質設定パラメータをRAW現像部114に設定し、その画質設定パラメータでRAW現像を行って、撮像画像を得る。
【0131】
次に、調整対象RAW画像と被写体の種類との対応付けを自動で行う場合について説明する。この場合、被写体の種類の識別は、調整対象RAW画像に付加されている画像種類情報(メタ情報)、あるいはアプリケーション1における調整対象RAW画像に対する被写体の種類の認識処理情報、に基づいて行われる。
【0132】
この場合、
図19に概略的に示すように、被写体の種類の識別結果に基づいて、対応する「カメラの反映」のボタンが明示的に他とは異なる状態となる。図示の例においては、被写体の種類が人物であると自動識別された状態を示している。なお、この場合、自動識別された被写体の種類に対応した「カメラの反映」のボタンのみが表示されてもよい。
【0133】
ユーザは、PC200におけるカメラの反映の操作を行う際に、自動識別された被写体の種類に対応した「カメラの反映」のボタンの押下げ操作をする。以降の動作についは、上述した調整対象RAW画像と被写体の種類との対応付けをユーザが手動で行う場合と同様である。
【0134】
図20のフローチャートは、例えば、調整対象RAW画像と被写体の種類(人物)との対応付けを自動で行う場合における処理の流れを概略的に示している。
【0135】
ステップST11において、アプリケーション1で、被写体の種類を識別する。次に、ステップST12において、アプリケーション1で、調整対象RAW画像に対してRAW現像処理をする。この際、ユーザ操作により、画質調整が行われる。次に、ステップST3において、アプリケーション1で、ユーザは、自動識別に対応した「カメラに反映(人物)」のボタンを押し下げる操作をする。
【0136】
次に、ステップST14において、アプリケーション2で、アプリケーション1から通知される画質調整情報に基づいて、分析対象RAW画像に対してRAW現像処理をする。これにより、被写体(人物)に対応した調整済分析対象画像が生成される。次に、ステップST15において、画質設定パラメータ自動チューニングシステムは、被写体(人物)に対応した画質設定パラメータを算出(決定)する。この画質設定パラメータは、カメラ100に送られて保持される。
【0137】
次に、ステップST16において、カメラ100は、被写体を人物と認識する。次に、ステップST17において、カメラ100は、被写体(人物)に対応した画質設定パラメータをRAW現像部114に設定し、その画質設定パラメータでRAW現像を行って、撮像画像を得る。
【0138】
上述においては、カメラ100が被写体の種類に応じた画質設定パラメータを持つことができる例を示したが、カメラ100にさらに多くの画像内容の種類に対応した画質設定パラメータを持たせることも考えられる。
【0139】
この場合、
図21に概略的に示すように、ユーザは、PC200におけるカメラの反映の操作を行う際に、対応させるべき画像内容の種類が定義された「カメラに反映」のボタンを押下げ操作する。この場合、ユーザは、各ボタンに画像内容の種類を定義でき、また必要に応じてその定義を変更できる。ここで、画像内容の種類には、上述した被写体の他、気持ちの表現、画像そのものの性質等を含めることができる。
【0140】
画像内容の種類が定義された所定の「カメラに反映」のボタンが押下げ操作されて、アプリケーション1からアプリケーション2に画質調整情報が通知される際には、この画質調整情報には画像内容の種類を示す画像種類情報(メタ情報)が付加される。そして、アプリケーション2では、分析対象RAW画像にRAW現像処理が行われる際に、アプリケーション1から通知される画質調整情報に基づいて画質調整処理が行われて、調整済分析対象画像が生成される。この調整済分析対象画像にも上述の画像内容の種類を示す画像種類情報(メタ情報)が付加される。
【0141】
アプリケーション2からクラウドサーバ300には、このように画像内容の種類を示す画像種類情報(メタ情報)が付加された調整済分析対象画像が送られ、クラウドサーバ300においては、画像内容の種類ごとに、画質設定パラメータが生成される。そして、このようにクラウドサーバ300で生成された画質設定パラメータは、画像内容の種類を示す画像種類情報(メタ情報)が付加された状態で、カメラ100に送信されて、画像内容の種類ごとに保持される。
【0142】
カメラ100では、ユーザは、複数の画像内容の種類に対応した画質設定パラメータから、使用したい画像内容の種類の画質設定パラメータを選択して、RAW現像部114に設定することが行われる。これにより、カメラ100において、ユーザが所望する画質設定パラメータに基づいたRAW現像を行って撮像画像を得ることができる。
【0143】
図22のフローチャートは、例えば、ユーザが所定の画像内容の種類を選択し、カメラ100においてその所定の画像内容の種類に対応した画質設定パラメータを用いる場合における処理の流れを概略的に示している。
【0144】
ステップST21において、調整対象RAW画像に対してRAW現像処理をする。この際、ユーザ操作により、画質調整が行われる。次に、ステップST22において、アプリケーション1で、ユーザは、所定の画像内容の種類が定義された「カメラに反映」のボタンを選択して押下げ操作する。図示の例においては、「カメラに反映(×対応)」のボタンを選択した場合を示している。
【0145】
次に、ステップST23において、アプリケーション2で、アプリケーション1から通知される画質調整情報に基づいて、分析対象RAW画像に対してRAW現像処理をする。これにより、所定の画像内容の種類に対応した調整済分析対象画像が生成される。次に、ステップST24において、画質設定パラメータ自動チューニングシステムは、所定の画像内容の種類に対応した画質設定パラメータを算出(決定)する。この画質設定パラメータは、カメラ100に送られて保持される。
【0146】
次に、ステップST25において、カメラ100で、ユーザは、所定の画像内容の種類に対応した画質設定パラメータを選択して、RAW現像部114に設定する。次に、ステップST26において、カメラ100で、その所定の画像内容の種類に対応した画質設定パラメータでRAW現像を行って、撮像画像を得る。
【0147】
また、上述実施の形態においては、PC200がアプリケーション1およびアプリケーション2を有する例を示した。しかし、アプリケーション2がクラウドサーバ300に存在する例も考えられる。
【0148】
図23は、その場合におけるPC200とクラウドサーバ300の機能ブロック図の一例を示している。この
図23において、
図5、
図14と対応する部分には同一符号を付して示している。この
図23の例においては、アプリケーション2がPC200からクラウドサーバ300に移ったことを除き、
図14の例と同様に構成され、同様に動作するので、詳細説明については省略する。
【0149】
なお、この
図23の例においては、クラウドサーバ300で算出された画質設定パラメータを、ネットワーク400を介して、カメラ100に直接送信する例を示しているが、
図5の例のように、クラウドサーバ300で算出された画質設定パラメータをPC200経由でカメラ200に送信する例も考えられる。
【0150】
また、この
図23の例においては、アプリケーション2とは別個に画質設定パラメータを決定する画質設定パラメータ決定部(RAW現像部、パラメータ算出部303)を有する構成となっているが、アプリケーション2に、この画質設定パラメータ決定部を含めることも考えられる。この場合、アプリケーション2の処理と画質設定パラメータを決定する処理を1つのアプリケーション(プログラム)で処理できる。
【0151】
また、上述実施の形態においては、PC200がアプリケーション1およびアプリケーション2を有する例を示した。しかし、アプリケーション1およびアプリケーション2がクラウドサーバ300に存在する例も考えられる。
【0152】
図24は、その場合におけるPC200とクラウドサーバ300の機能ブロック図の一例を示している。この
図24において、
図5、
図14と対応する部分には同一符号を付して示している。この
図24の例においては、アプリケーション1およびアプリケーション2がPC200からクラウドサーバ300に移ったことを除き、
図14の例と同様に構成され、同様に動作するので、詳細説明については省略する。
【0153】
なお、この
図24の例においては、クラウドサーバ300で算出された画質設定パラメータを、ネットワーク400を介して、カメラ100に直接送信する例を示しているが、
図5の例のように、クラウドサーバ300で算出された画質設定パラメータをPC200経由でカメラ200に送信する例も考えられる。
【0154】
また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0155】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0156】
また、本技術は、以下のような構成を取ることもできる。
(1)調整対象RAW画像に対する画質調整処理の画質調整値を示す画質調整情報に基づいて前記調整対象RAW画像とは異なる分析対象RAW画像に対して画質調整処理を行うことで、撮像装置で取得される撮像画像の画質設定パラメータの決定のために前記分析対象RAW画像とともに用いられる調整済分析対象画像を生成する分析対象画質調整部としてコンピュータを機能させる、
プログラム。
(2)前記画質調整情報は、色調整、明るさ調整、トーン調整、シャープネス調整、ノイズ調整 のうち少なくとも1つの調整値を示す情報を含む、
前記(1)に記載のプログラム。
(3)前記分析対象画質調整部は、前記調整対象RAW画像に対する画質調整処理と同じ画質調整処理を前記分析対象RAW画像に対して行うことで前記調整済分析対象画像を生成する、
前記(1)または(2)に記載のプログラム。
(4)前記画質調整情報は、複数の画質調整項目の調整値を示す情報であり、
前記分析対象画質調整部は、前記複数の画質調整項目のうちユーザにより選択された画質調整項目の調整値を示す選択画質調整情報に基づいて、前記調整済分析対象画像を生成する、
前記(1)から(3)のいずれかに記載のプログラム。
(5)前記分析対象RAW画像は、前記コンピュータを備える装置と異なる外部装置から提供される画像である、
前記(1)から(4)のいずれかに記載のプログラム。
(6)前記画質調整情報は、複数の画質調整項目の調整値を示す情報であり、
前記分析対象RAW画像は、複数の画像領域を有し、
前記複数の画像領域のそれぞれが前記複数の画質調整項目の少なくとも1つに対応する、
前記(1)から(5)のいずれかに記載のプログラム。
(7)前記分析対象画質調整部は、ユーザによる画質設定反映の操作に応じて、前記画質調整情報に基づいて前記調整済分析対象画像を生成する、
前記(1)から(6)のいずれかに記載のプログラム。
(8)前記分析対象画質調整部は、前記調整済分析対象画像と、前記調整対象RAW画像の画像内容の種類を示す画像種類情報とを関連付ける、
前記(1)から(7)のいずれかに記載のプログラム。
(9)前記画質設定パラメータは前記調整対象RAW画像の画像内容の種類を示す画像種類情報ごとに決定される、
前記(1)から(8)のいずれかに記載のプログラム。
(10)前記画像種類情報は、被写体の種類を示す情報を含む、
前記(8)または(9)に記載のプログラム。
(11)前記分析対象画質調整部は、前記調整対象RAW画像の撮影条件を示す撮影条件情報に基づいて、前記分析対象RAW画像の候補である複数の分析対象RAW候補画像から前記分析対象RAW画像を選択する、
前記(1)から(10)のいずれかに記載のプログラム。
(12)前記分析対象RAW画像および前記調整済分析対象画像に基づいて前記画質設定パラメータを決定する画質設定パラメータ決定部として前記コンピュータを機能させる、
前記(1)から(11)のいずれかに記載のプログラム。
(13)前記画質設定パラメータ決定部は、前記画質設定パラメータに基づいて前記分析対象RAW画像に対して画質調整処理を行うことで生成された調整済画像の画質の評価を示す第1の画質評価値と、前記調整済分析対象画像の画質の評価を示す第2の画質評価値と、の差分が所定の値以下になるように前記画質設定パラメータを決定する、
前記(12)に記載のプログラム。
(14)前記第1の画質評価値および第2の画質評価値は、色再現性、コントラスト、解像感、ノイズ感の少なくとも1つを評価する評価値である、
前記(13)に記載のプログラム。
(15)前記画質調整情報に基づいて前記調整対象RAW画像に対する画質調整処理を実行する調整対象画質調整部として前記コンピュータを機能させる、
前記(1)から(14)のいずれかに記載のプログラム。
(16)前記画質調整値は前記調整対象RAW画像に対するユーザによる画質調整操作により決定される、
前記(1)から(15)のいずれかに記載のプログラム。
(17)調整対象RAW画像に対する画質調整処理の画質調整値を示す画質調整情報に基づいて前記調整対象RAW画像とは異なる分析対象RAW画像に対して画質調整処理を行うことで、撮像装置で取得される撮像画像の画質設定パラメータの決定のために前記分析対象RAW画像とともに用いられる調整済分析対象画像を生成する分析対象画質調整部を備える、
情報処理装置。
(18)調整対象RAW画像に対する画質調整処理の画質調整値を示す画質調整情報に基づいて前記調整対象RAW画像とは異なる分析対象RAW画像に対して画質調整処理を行うことで、撮像装置で取得される撮像画像の画質設定パラメータの決定のために前記分析対象RAW画像とともに用いられる調整済分析対象画像を生成する分析対象画質調整手順を有する、
情報処理方法。
(19)情報処理装置とサーバを有し、
前記情報処理装置は、
調整対象RAW画像に対する画質調整処理の画質調整値を示す画質調整情報に基づいて前記調整対象RAW画像とは異なる分析対象RAW画像に対して画質調整処理を行うことで、撮像装置で取得される撮像画像の画質設定パラメータの決定のために前記分析対象RAW画像とともに用いられる調整済分析対象画像を生成する分析対象画質調整部を備え、
前記サーバは、
前記分析対象RAW画像および前記分析対象画質調整部で生成された前記調整済分析対象画像に基づいて前記画質設定パラメータを決定する画質設定パラメータ決定部を備える
情報処理システム。
【符号の説明】
【0157】
10・・・情報処理システム
100・・・カメラ
101・・・制御部
102・・・メモリ
103・・・操作部
104・・・表示部
105・・・記録/再生部
106・・・通信部
111・・・光学系
112・・・イメージャ
113・・・RAWデータ処理部
114・・・現像処理部
115・・・JPG生成部
116・・・RAW生成部
121・・・明るさ調整部
122・・・同時化処理部
123・・・ホワイトバランス調整部
124・・・シャープネス/ノイズ調整部
125・・・色/コントラスト調整部
126・・・YC生成部
200・・・PC
201・・・CPU
202・・・ROM
203・・・RAM
204・・・バス
205・・・入出力インタフェース
206・・・操作部
207・・・表示部
208・・・記憶部
209・・・ドライブ
210・・・接続ポート
211・・・通信部
211・・・RAW現像部
212・・・ファイル生成部
213・・・メモリ
221・・・RAW現像部
222・・・ファイル生成部
300・・・クラウドサーバ
301・・・分析対象RAW画像メモリ
302・・・RAW現像部
303・・・パラメータ算出部
304・・・画質評価システム
305・・・画質設定パラメータ自動チューニングシステム
400・・・ネットワーク
501・・・リムーバブル記録媒体
502・・・外部接続機器
503・・・ネットワーク