特表-18092711IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧
再表2018-92711画像処理装置、画像処理方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2018年5月24日
【発行日】2019年10月17日
(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム
(51)【国際特許分類】
   H04N 1/407 20060101AFI20190920BHJP
   G06T 5/00 20060101ALI20190920BHJP
   H04N 5/232 20060101ALI20190920BHJP
   H04N 5/235 20060101ALI20190920BHJP
【FI】
   H04N1/407
   G06T5/00 740
   H04N5/232 290
   H04N5/232 300
   H04N5/235 500
   H04N5/232 030
【審査請求】有
【予備審査請求】未請求
【全頁数】82
【出願番号】特願2018-551611(P2018-551611)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年11月13日
(31)【優先権主張番号】62/423,335
(32)【優先日】2016年11月17日
(33)【優先権主張国】US
(31)【優先権主張番号】特願2017-164937(P2017-164937)
(32)【優先日】2017年8月30日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100106116
【弁理士】
【氏名又は名称】鎌田 健司
(74)【代理人】
【識別番号】100115554
【弁理士】
【氏名又は名称】野村 幸一
(72)【発明者】
【氏名】小塚 雅之
(72)【発明者】
【氏名】柏木 吉一郎
(72)【発明者】
【氏名】山本 雅哉
(72)【発明者】
【氏名】上坂 靖
(72)【発明者】
【氏名】森 美裕
【テーマコード(参考)】
5B057
5C077
5C122
【Fターム(参考)】
5B057AA11
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE11
5B057CG02
5B057CH11
5B057CH16
5B057DA08
5B057DA16
5B057DC22
5C077LL19
5C077MM27
5C077PP15
5C077PP43
5C077TT08
5C077TT09
5C122DA04
5C122EA21
5C122FH01
5C122GB02
5C122GB03
5C122GB06
5C122GC38
5C122GC52
5C122HB01
5C122HB08
(57)【要約】
高品位な印刷物を印刷するための静止画データを得ることができる画像処理装置を提供する。画像処理装置は、撮像により得られ輝度範囲が第1のダイナミックレンジで定義された第1静止画データ、および印刷装置の印刷能力を示す能力情報を取得する取得部と、取得部により取得された第1静止画データを、取得部により取得された能力情報が示す印刷能力に応じて、第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換する変換部と、変換部により変換された第2静止画データを印刷装置に出力する出力部と、を備える。
【特許請求の範囲】
【請求項1】
撮像により得られ、輝度範囲が第1のダイナミックレンジで定義された第1静止画データと、印刷装置の印刷能力を示す能力情報とを取得する取得部と、
前記取得部により取得された前記第1静止画データを、前記取得部により取得された前記能力情報が示す前記印刷能力に応じて、前記第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換する変換部と、
前記変換部により変換された前記第2静止画データを前記印刷装置に出力する出力部と、を備える、
画像処理装置。
【請求項2】
前記取得部は、前記能力情報として、前記印刷装置で印刷に用いる用紙の種類を示す紙情報を取得し、
前記変換部は、
複数の用紙の種類と、当該用紙に光を照射したときに当該用紙で反射される前記光の反射輝度との関係を参照することで、前記取得部により取得された前記紙情報が示す用紙の種類に対応する前記反射輝度を特定し、
特定した前記反射輝度を最大輝度とする輝度範囲を前記第2のダイナミックレンジとして、前記第1静止画データから前記第2静止画データへ変換する、
請求項1に記載の画像処理装置。
【請求項3】
前記取得部は、前記能力情報として、前記印刷装置で印刷に用いる用紙がスキャンされることにより得られたスキャン画像を取得し、
前記変換部は、
前記取得部により取得された前記スキャン画像の輝度に基づいて、前記用紙に光を照射したときに当該用紙で反射される前記光の反射輝度を特定し、
特定した前記反射輝度を最大輝度とする輝度範囲を前記第2のダイナミックレンジとして、前記第1静止画データから前記第2静止画データへ変換する、
請求項1に記載の画像処理装置。
【請求項4】
前記取得部は、前記能力情報として、前記印刷装置で印刷に用いる用紙に当該印刷装置が特定のパターンを印刷して得られた印刷結果を取得し、
前記変換部は、前記取得部により取得された前記印刷結果に応じて決定した輝度範囲を前記第2のダイナミックレンジとして、前記第1静止画データから前記第2静止画データへ変換する、
請求項1に記載の画像処理装置。
【請求項5】
前記取得部は、前記第1静止画データを取得すると共に、さらに、前記第1のダイナミックレンジよりも輝度範囲が狭い第3のダイナミックレンジで定義された第3静止画データを取得し、
前記第1静止画データの最大輝度が前記用紙に対応する前記反射輝度よりも小さい場合、前記変換部は、前記第1静止画データから前記第2静止画データへの変換を行わず、前記出力部は、前記取得部により取得された前記第3静止画データを前記印刷装置に出力する、
請求項2から4のいずれか1項に記載の画像処理装置。
【請求項6】
前記第1のダイナミックレンジは、HDR(High Dynamic Range)である、
請求項1から5のいずれか1項に記載の画像処理装置。
【請求項7】
前記画像処理装置は、さらに、前記印刷装置を備える、
請求項1から6のいずれか1項に記載の画像処理装置。
【請求項8】
撮像により得られ、輝度範囲が第1のダイナミックレンジで定義された第1静止画データを取得し、
印刷装置の印刷能力を示す能力情報を取得し、
取得した前記第1静止画データを、取得した前記能力情報が示す前記印刷能力に応じて、前記第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換し、
変換した前記第2静止画データを前記印刷装置に出力する、
画像処理方法。
【請求項9】
請求項8に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置および画像処理方法に関する。
【背景技術】
【0002】
特許文献1は、露出の異なる複数の画像を合成することにより、ダイナミックレンジの広いHDR(High Dynamic Range)静止画を記録する撮像装置を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2015−056807号公報
【発明の概要】
【0004】
特許文献1に開示された技術では、高品位な印刷物を印刷するための静止画データを得ることが難しい。
【0005】
本開示は、高品位な印刷物を印刷するための静止画データを得ることができる画像処理装置および画像処理方法を提供する。
【0006】
本開示における画像処理装置は、撮像により得られ輝度範囲が第1のダイナミックレンジで定義された第1静止画データと印刷装置の印刷能力を示す能力情報とを取得する取得部と、前記取得部により取得された前記第1静止画データを、前記取得部により取得された前記能力情報が示す前記印刷能力に応じて、前記第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換する変換部と、前記変換部により変換された前記第2静止画データを前記印刷装置に出力する出力部と、を備える。
【0007】
本開示における画像処理方法は、撮像により得られ輝度範囲が第1のダイナミックレンジで定義された第1静止画データを取得し、印刷装置の印刷能力を示す能力情報を取得し、取得した前記第1静止画データを、取得した前記能力情報が示す前記印刷能力に応じて、前記第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換し、変換した前記第2静止画データを前記印刷装置に出力する。
【0008】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【0009】
本開示における画像処理装置および画像処理方法は、高品位な印刷物を印刷するための静止画データを得ることができる。
【図面の簡単な説明】
【0010】
図1図1は、映像技術の進化について説明するための模式図である。
図2図2は、HDR表示技術について説明するための模式図である。
図3A図3Aは、PQ(Perceptual Quantization)方式を説明するための模式図である。
図3B図3Bは、HLG(Hybrid Log Gamma)方式を説明するための模式図である。
図4図4は、HDRに対応しているHDR画像の一例と、SDR(Standard Dynamic Range)に対応しているSDR画像の一例とを比較して示した図である。
図5図5は、画像撮像時の輝度の尺度の一例を示す図である。
図6図6は、撮像された画像の輝度の一例を示す図である。
図7A図7Aは、図6で示した原画像をSDR画像にマスタリングした結果の輝度の一例を示す図である。
図7B図7Bは、原信号値をSDR信号値に変換する(マスタリングする)ための、原信号値とSDR信号値との関係の一例を模式的に示す図である。
図8A図8Aは、図6で示した原画像をHDR画像にマスタリングした結果の輝度の一例を示す図である。
図8B図8Bは、原信号値をHDR信号値に変換する(マスタリングする)ための、原信号値とHDR信号値との関係の一例を模式的に示す図である。
図9図9は、HDRまたはSDRに対応した撮像装置と、撮像装置によって得られる画像データのファイルフォーマットと、画像データを表示する表示装置または画像データを印刷する印刷装置と、について説明するための模式図である。
図10図10は、2つの画像を合成することによりダイナミックレンジを拡大した画像を得るHDR撮影モードについて説明するための模式図である。
図11図11は、2つの画像を合成することによりダイナミックレンジを拡大した画像を得るHDR撮影モードについて説明するための模式図である。
図12図12は、HDR表示用に撮像されたHDR画像について説明するための模式図である。
図13図13は、SDR印刷装置に画像を印刷させる場合の課題について説明するための模式図である。
図14図14は、実施の形態1における画像処理装置のハードウェア構成の一例を模式的に示すブロック図である。
図15図15は、実施の形態1における画像処理装置の機能構成の第1の例を模式的に示すブロック図である。
図16図16は、実施の形態1におけるテストパターンを用紙に印刷した結果の一例を示す図である。
図17図17は、実施の形態1に示す変換部における、第1のダイナミックレンジから第2のダイナミックレンジへ変換するための、第1のダイナミックレンジの信号値と第2のダイナミックレンジの信号値との関係の一例を模式的に示す図である。
図18図18は、実施の形態1における画像処理装置の動作の一例を示すフローチャートである。
図19図19は、実施の形態1の変形例1における画像処理装置の機能構成の一例を模式的に示すブロック図である。
図20図20は、実施の形態1の変形例2における画像処理装置の機能構成の一例を模式的に示すブロック図である。
図21図21は、実施の形態1の変形例3における画像処理装置の機能構成の一例を模式的に示すブロック図である。
図22図22は、実施の形態1(または変形例1〜5)における画像処理装置の実施例を説明するための模式図である。
図23図23は、実施の形態における表示装置と印刷装置との間の通信プロトコルの第1の例を模式的に示す図である。
図24図24は、実施の形態における表示装置と印刷装置との間の通信プロトコルの第2の例を模式的に示す図である。
図25図25は、実施の形態における表示装置と印刷装置との間の通信プロトコルの第3の例を模式的に示す図である。
図26図26は、実施の形態における表示装置と印刷装置との間の通信プロトコルの第4の例を模式的に示す図である。
【発明を実施するための形態】
【0011】
(本開示の目的)
本開示は、HDR(High Dynamic Range)表示技術と、HDR撮像技術との2つの技術を使い、HDR静止画という新たなユーザ価値と新たな写真文化を提供するためのものである。上記の新たなユーザ価値とは、臨場感を向上させ、かつ、白飛び(明るい領域の階調が損なわれた状態、白潰れともいう)および黒潰れ(暗い領域の階調が損なわれた状態)等が低減された静止画データを生成することである。また、上記の新たな写真文化とは、HDR静止画の撮像に対応しているカメラで撮像することにより得られたHDR静止画を、HDR表示に対応する表示装置(以下、「HDR表示装置」という)に表示して鑑賞することである。HDR表示装置としては、例えば、HDRTV(HDRテレビジョンセット)、HDR対応タブレット端末、HDR対応スマートフォン、HDR対応PC(Personal Computer)、HDR対応ディスプレイ、等である。なお、HDR静止画は、HDR写真ともいう。
【0012】
本開示は、SDR表示には対応しているがHDR表示には対応していない表示装置(以下、「SDR表示装置」という)およびSDR静止画の印刷には対応しているがHDR静止画の印刷には対応していない印刷装置(以下、「SDR印刷装置」という)においても表示または印刷が可能な静止画データを生成することができる画像処理装置および画像処理方法を提供する。つまり、本開示は、HDR静止画の画像処理に対応した装置に対してだけでなく、SDR静止画の画像処理には対応しているがHDR静止画の画像処理には対応していない装置に対しても、HDR静止画の再生を行うことが可能な静止画データを提供することで、HDR静止画データの利便性を向上させることができる画像処理装置および画像処理方法を提供する。なお、本開示において、HDR静止画の再生は、HDR静止画の表示、および、HDR静止画を画像処理することによる印刷、を含む。つまり、本開示において、再生は、表示および印刷を含む。
【0013】
(HDR表示技術の背景)
図1は、映像技術の進化について説明するための模式図である。
【0014】
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれていた。そして、従来の720×480画素のStandard Definition (SD)映像に代えて、1920×1080画素のHigh Definition(HD)映像が普及している。
【0015】
近年、更なる高画質化のために、3840×2160画素のUltra High Definition(UHD)映像、あるいは、さらに画素数が多い4096×2160画素の映像(いわゆる、4K映像)が提案されている。また、4K映像とともに、輝度範囲(以下、「ダイナミックレンジ」ともいう)の拡張、色域の拡大、フレームレートの増加、等も検討されている。
【0016】
ダイナミックレンジに関しては、暗部階調を維持しつつ、現行のテレビジョン信号での表現が困難な鏡面反射光等の明るい光を、より現実に近い明るさで表現するための方式として、HDR(High Dynamic Range)が提案されている。これまでのテレビジョン信号は、SDR(Standard Dynamic Range)と呼ばれ、最大輝度が100nitであった。一方、HDRでは、1000nit以上まで最大輝度を拡大することが想定されている。そして、SMPTE(Society of Motion Picture and Television Engineers)、ITU−R(International Telecommunication Union−Radiocommunication Sector)等において、マスタリングディスプレー用の規格の標準化も進行中である。HDRの具体的な適用先としては、HDやUHDと同様に、放送やパッケージメディア(Blu−ray(登録商標) Disc等)、インターネット配信、等がある。
【0017】
(HDR表示技術)
図2は、HDR表示技術について説明するための模式図である。
【0018】
HDRは、単なる非常に明るいテレビジョンセットを実現するための方式ではない。HDRとは、映像の輝度範囲(ダイナミックレンジ)を、SDRの一例であるBT.709(Broadcasting Service (Television) 709)の規格で定められた0.1nit−100nitから、例えばSMPTE(Society of Motion Picture and Television Engineers:米国映画テレビ技術者協会)におけるST2084で定められた0−10,000nitに拡張して、従来は表現できなかった、明るい太陽、空、および光線の反射等の輝度の高い画像の表現を可能にしたり、明るい部分と暗い部分とを同時に記録することを可能にしたりする方式である。なお、ここでいう輝度とは、光学的な輝度のことであり、光源の明るさを表す物理量のことである。HDRには、撮像後にグレーディング処理(映像の色やトーンを調整する処理)を行う映像(パッケージされる映像)およびIP(Internet Protocol)配信される映像等に適したST2084(PQ方式)と、ライブ放送の映像およびユーザに撮像された映像に適したHybrid Log Gamma(HLG方式)との2つの方式がある。
【0019】
このように、HDRの表示技術には、SDRとHDRとの互換性を実現できるHLG方式と、SDRとHDRとの単純な表示互換性がないPQ方式とがある。なお、PQ方式は、HDR10方式ともいう。
【0020】
図3Aは、PQ方式を説明するための模式図である。図3Bは、HLG方式を説明するための模式図である。
【0021】
図3Aに示すように、PQ方式は、SDRとHDRとの互換性がない方式である。この方式の場合、SDRとHDRとは、個別にグレーディングされて個別に伝送される。また、この方式の場合、Ultra HD Blu−ray(登録商標)で再生された映像を、SDRTV(SDRには対応しているが、HDRには対応していないテレビジョンセット)に表示させる場合は、HDRの映像データをSDRの映像データに変換するSDR変換が必要となる。
【0022】
図3Bに示すように、ITU−R(The ITU Radiocommunication Sector:国際電気通信連合 無線通信部門)の2100 Hybrid Log Gamma(HLG)は、SDRとHDRとの互換性を有する方式である。この方式の場合、HLG用のグレーディングが行われ、HLG用ストリームのみが伝送される。HLG用ストリームは、SDRに対する互換性がある。このため、HDRの映像データを、SDRTVに表示させる場合に、HDRの映像データをSDRの映像データに変換するSDR変換は不要である。
【0023】
図4は、HDRに対応しているHDR画像の一例と、SDRに対応しているSDR画像の一例とを比較して示した図である。図4には、室内の比較的暗い景色と窓の外の比較的明るい景色とが混在する、明暗差が相対的に大きい1枚の画像を、HDR画像とSDR画像とで示す。
【0024】
HDR画像は、HDR静止画データまたはHDR動画データを再生することで得られる画像である。SDR画像は、SDR静止画データまたはSDR動画データを再生することで得られる画像である。図4の上段に例示するように、HDR画像では、窓の外の比較的明るい景色と、室内の比較的暗い景色とが、ともに適切な明るさで表現されている。一方、SDR画像では、図4の下段に例示するように、窓の外の比較的明るい景色が表現されるように露出が調整されている場合、室内の比較的暗い景色は、暗くなりすぎて一部に黒潰れが生じ、見えにくくなっている。仮に、室内の景色が適切に表現されるように露出が調整された場合は、窓の外の景色は、明るくなりすぎて一部に白飛びが生じ、見えにくくなってしまう(図示せず)。このように、HDR画像は、SDR画像において実現が困難であった、比較的明るい景色と比較的暗い景色とが混在する、明暗差が相対的に大きい1枚の画像において白飛びと黒潰れとの両方を低減した階調性の高い画像を実現することができる。
【0025】
図5は、画像撮像時の輝度の尺度の一例を示す図である。
【0026】
被写体をカメラで撮像する場合、一般的には、図5に示すように、反射率が18%になる18%グレーを明るさの基準点とする。18%グレーは、明るさの基準になる基準反射率である。図5に示すStop数は、輝度を相対的に表しており、18%グレーにおける輝度を基準点とし、基準点のStop数を0とする。Stop数は、輝度が2倍になる毎に1ずつ増加し、輝度が1/2倍になる毎に1ずつ減少するように定義されている。
【0027】
被写体をカメラで撮像するときに、カメラのイメージセンサ(例えば、CMOS(complementary Metal−Oxide Semiconductor)、またはCCD(Charge Coupled Device)、等)から得られる輝度は、絞り、シャッタースピード、感度設定、等による露出に応じて変化する。つまり、イメージセンサから得られる輝度は、同じ明るさの被写体を撮像したとしても、露出に応じて異なる値となる。このために、Stop数の値自体は絶対的な値ではなく、相対的な値である。つまり、Stop数では、輝度を表すことはできない。
【0028】
また、カメラで被写体を撮像するときには、通常は、被写体の明るさに応じて、露出が調整される。例えば、図5の(1)に暗い被写体の一例として示す夜のシーンをカメラで撮像する場合は、一般的には、画像の大部分を占める暗い領域の黒潰れを起こさないようにするために、シャッタースピードを遅くする、絞りを開ける、等の設定により、暗い領域の階調が表され、画像における面積が比較的少ない明るい領域は白飛びさせるような露出の調整を、カメラに対して行う。
【0029】
図5の(2)に中程度の明るさの被写体の一例として示す昼の室内のシーンをカメラで撮像する場合は、一般的には、暗い部分と明るい部分とのバランスが良くなるような露出の調整を、カメラに対して行う。
【0030】
図5の(3)に明るい被写体の一例として示す昼の屋外のシーンをカメラで撮像する場合は、一般的には、シャッタースピードを速くする、絞りを絞る、等の設定により、画像の大部分を占める明るい領域の白飛びを防ぐような露出の調整を、カメラに対して行う。
【0031】
このようにして得られた相対的な輝度を、絶対的な輝度に変換するためには、露出の基準点からの相対関係を計算する必要がある。
【0032】
図6は、撮像された画像の輝度の一例を示す図である。
【0033】
図6に示す撮像された画像を、以下、原画像70とする。原画像70では、明るさの基準になる0 Stopに対応する輝度18nitを有する画素の領域を領域Aとして示す。また、原画像70では、2.3 Stopsに対応する輝度90nitを有する画素の領域を領域Bとして示す。また、原画像70では、ほぼ黒の−3 Stopsに対応する輝度2.3nitを有する画素の領域を領域Cとして示す。また、原画像70では、6 Stopsに対応する輝度1150nitを有する画素の領域を領域Dとして示す。領域Dには、太陽を撮像することで得られた画素が含まれており、非常に明るい輝度(例えば、原画像70において最も明るい輝度)が得られている。また、原画像70では、4 Stopsに対応する輝度290nitを有する画素の領域を領域Eとして示す。領域Eで示される領域には、鏡面反射を起こしている場所を撮像することで得られた画素が含まれている。
【0034】
次に、原画像70をSDR画像へ変換するSDRグレーディング処理(マスタリング処理)について説明する。
【0035】
SDRグレーディング処理は、カメラで撮像された、100nit以上の高輝度成分を有するコンテンツの映像(原画像)を、BT.709等の放送規格に適合するように変換する処理であり、原画像に対してニーカーブ処理を施すことで実現される。ニーカーブ処理は、ニーカーブによって入力信号を変換する処理であり、ニーカーブは、一定値(ニーポイント)以上の入力信号に対してゲインを圧縮して出力する入出力変換カーブである。SDRグレーディング処理では、原画像における一定値(ニーポイント)以下の輝度に対してはゲインを1とし(すなわち、入力される輝度をそのまま出力し)、一定値(ニーポイント)以上の輝度に対しては、所定の輝度に収まるようにゲインを圧縮する。所定の輝度は、例えば、処理後の画像を表示する表示装置で表示可能な最大輝度であってもよく、処理後の画像をBT.709に適合させる場合は100nitであってもよい。したがって、例えば、原画像70に対してSDRグレーディング処理を施す場合、通常のグレーディング処理で、ニーポイント(例えば、80nit前後)までは現画像70の輝度をそのままリニアに保持し、ニーポイント以上の輝度は、現画像70の最高輝度が100nitに収まるように、各輝度を低減する。
【0036】
図7Aは、図6で示した原画像70をSDR画像71にマスタリングした結果の輝度の一例を示す図である。図7Bは、原信号値をSDR信号値に変換する(以下、「マスタリングする」ともいう)ための、原信号値とSDR信号値との関係の一例を模式的に示す図である。なお、原信号値とは、原画像(例えば、原画像70)の0nit〜最大輝度(例えば、1150nit)の輝度範囲における輝度(以下、「原画像の輝度」という)であり、SDR信号値とは、SDRの輝度範囲における輝度(以下、「SDRの輝度」という)である。なお、図7Bでは、原信号値の最大値を10000としているが、原信号値の最大値は原画像によって変化する。例えば、図6に示した原画像70に関しては、原信号値の最大値は1150である。
【0037】
原画像70において、0 Stopに対応する画素は、明るさの基準になる基準輝度を有する画素である。このため、原画像70からSDR画像71へのマスタリングにより、原画像70をSDR画像71に変換した後も、原画像70における0 Stopに対応する原画像70の輝度(18nit)を、変更せずに、SDRの輝度(18nit)とする(図7AのSDR画像71において領域Aで示す領域を参照)。
【0038】
ここでは、図7Bに示すニーカーブによって、原画像70からSDR画像71へのマスタリングを行う例を説明する。ただし、図7Bに示す原信号値の最大値は10000ではなく1150となる。また、ニーポイントは90とする。このマスタリングでは、原画像70の90nitに対応する原画像70の輝度以下の輝度範囲(0〜90nit)においては、原画像70の輝度を、変更せずに、SDRの輝度とする。すなわち、原画像70において0〜90nitの画素は、マスタリング後のSDR画像71でも、0〜90nitの画素となる。また、原画像70の90nitに対応する原画像70の輝度より大きい原画像70の輝度範囲(90〜1150nit)においては、原画像70の輝度を、90〜100nitの輝度範囲のSDRの輝度に、線形変換する。すなわち、原画像70において90〜1150nitの画素は、マスタリング後のSDR画像71では、90〜100nitの画素となる。
【0039】
例えば、原画像70において90nitに対応する画素は、原画像70からSDR画像71へのマスタリングにより、原画像70をSDR画像71に変換した後も、原画像70における90nitに対応する原画像70の輝度を、変更せずに、SDRの輝度とする(図7AのSDR画像71において領域Bで示す領域を参照)。
【0040】
また、例えば、原画像70において2.3nitに対応する画素は、原画像70からSDR画像71へのマスタリングにより、原画像70をSDR画像71に変換した後も、上述と同様に、原画像70における2.3nitに対応する原画像70の輝度を、変更せずに、SDRの輝度とする(図7AのSDR画像71において領域Cで示す領域を参照)。
【0041】
一方、例えば、原画像70において1150nitに対応する画素は、原画像70からSDR画像71へのマスタリングにおいて、原画像70における1150nitに対応する原画像70の輝度を、SDRの最大輝度である100nitに変換する(図7AのSDR画像71においてDで示す領域を参照)。
【0042】
また、例えば、原画像70において290nitに対応する画素は、原画像70からSDR画像71へのマスタリングにおいて、原画像70における290nitに対応する原画像70の輝度を、95nitに変換する(図7AのSDR画像71において領域Eで示す領域を参照)。
【0043】
図8Aは、図6で示した原画像70をHDR画像72にマスタリングした結果の輝度の一例を示す図である。図8Bは、原信号値をHDR信号値に変換する(マスタリングする)ための、原信号値とHDR信号値との関係の一例を模式的に示す図である。なお、HDR信号値とは、HDRの輝度範囲における輝度(以下、「HDRの輝度」という)である。なお、この実施例では、原画像70からHDR画像72へのマスタリングにおいて、2000nitまでの輝度をHDRの輝度とすることが許されているものとする。一方、上述したように、原画像70の最大輝度は1150nitである。そのため、HDR画像72においては、原画像70の輝度をそのまま保持できる。
【0044】
原画像70において、0 Stopに対応する画素は、明るさの基準になる基準輝度を有する画素である。そのため、その画素に関しては、原画像70からHDR画像72へのマスタリングにより、原画像70をHDR画像72に変換した後も、原画像70における輝度を変更せずに、HDRの輝度とする(図8AのHDR画像72において領域Aで示す領域)。
【0045】
同様に、例えば、原画像70において90nitに対応する画素と、原画像70において2.3nitに対応する画素と、原画像70において1150nitに対応する画素と、原画像70において290nitに対応する画素と、のそれぞれに関しても、原画像70からHDR画像72へのマスタリングにより原画像70をHDR画像72に変換した後も、原画像70の輝度を、変更せずに、HDRの輝度とする(図8AのHDR画像72において領域B、領域C、領域D、領域Eで示す領域を参照)。
【0046】
図9は、HDRまたはSDRに対応した撮像装置と、撮像装置によって得られる画像データのファイルフォーマットと、画像データを表示する表示装置または画像データを印刷する印刷装置と、について説明するための模式図である。
【0047】
図9に示すHDR撮像装置10は、HDRでの撮像に対応している。HDR撮像装置10は、HDR撮像部11と、SDR撮像部14と、変換部12と、JPEG圧縮部13と、を備える。HDR撮像装置10は、HDR撮像部11においてHDR撮影モードで撮像されて得られた画像データが、SDR表示装置40で表示されること、またはSDR印刷装置50で印刷されることに対応できるように構成されている。具体的には、HDR撮像装置10では、HDR撮像部11においてHDR撮影モードで撮像されて得られたHDR画像のHDR静止画データが、変換部12においてSDR静止画データに変換される。そして、HDR撮像装置10では、変換部12での変換により得られたSDR静止画データが、JPEG圧縮部13においてJPEG圧縮され、その圧縮により得られたJPEGフォーマットのSDR静止画データが出力される。また、HDR撮像装置10では、SDR撮像部14において従来の撮映モード(SDR撮映モード)で撮像されて得られたSDR画像のSDR静止画データについても、JPEG圧縮部13でJPEG圧縮され、圧縮により得られたJPEGフォーマットのSDR静止画データが出力される。
【0048】
SDR撮像装置20は、SDR撮像部21と、JPEG圧縮部22と、を備える。SDR撮像装置20では、HDR撮像装置10において従来の撮映モード(SDR撮映モード)で撮像が行われる場合と同様に、SDR撮像部21での撮像で得られたSDR画像のSDR静止画データが、JPEG圧縮部22でJPEG圧縮され、その圧縮により得られたJPEGフォーマットのSDR静止画データが出力される。
【0049】
したがって、HDR表示装置30、SDR表示装置40、およびSDR印刷装置50では、HDR撮像によるHDR静止画データがSDR変換されて得られたSDR静止画データ、または、SDR撮像によるSDR静止画データを取得して、当該SDR静止画データによるSDR画像を再生(表示または印刷)する。
【0050】
次に、HDR撮影モードについて図10および図11を用いて説明する。
【0051】
図10および図11は、2つの画像を合成することにより輝度範囲(ダイナミックレンジ)を拡大した画像を得るHDR撮影モードについて説明するための模式図である。
【0052】
スマートフォンおよびデジタルカメラ等には、輝度範囲(ダイナミックレンジ)が広い映像を撮像できるHDR撮影モードを有するものがある。HDR撮影モードでは、図10および図11の(a)に示すように、輝度範囲(ダイナミックレンジ)が広いHDR画像データを得るために、2重露光(同一被写体を互いに異なる露光状態で複数回撮像する手法)等で得られた2つのSDR画像が、SDRで定められた輝度範囲に収まるように合成される。これにより、図10および図11の(b)に示すように、HDR画像をSDR表示装置で表示することが可能になる。
【0053】
次に、図12を用いて、HDR表示用に撮像されたHDR画像について説明する。
【0054】
図12は、HDR表示用に撮像されたHDR画像について説明するための模式図である。
【0055】
図12に示すように、HDR表示用のHDR画像は、撮像の対象となるシーンの明るさが、SDR撮影モードよりも広い輝度範囲(ダイナミックレンジ)で、撮像される。この撮像により得られた画像データにグレーディング処理が施されてHDR表示用のHDR画像が生成され、そのHDR画像が各装置に伝送されて再生される。HDR画像は、SDR画像よりも輝度範囲(ダイナミックレンジ)が広いため、そのままではSDR表示装置で表示することはできない。HDR画像をSDR表示装置で表示するためには、HDR画像からSDR画像への変換が必要となる。
【0056】
一方、図10および図11を用いて説明したHDR撮影モードでは、合成後の画像は、SDRで定められた輝度範囲に収まるように生成されているため、HDR表示装置30とSDR表示装置40(またはSDR印刷装置50)との双方で再生することが可能である。
【0057】
図9に戻って説明を続ける。近年、HDR画像を表示するためのHDR画像データを、SDR変換をせずに表示することができる、HDRTV等のHDR表示装置が提案されている。
【0058】
一方、HDR撮影モード(HDR撮像機能)を有するカメラでは、HDRTVとは異なり、主に、逆光補正等を目的としてHDR技術が使用されている。そして、そのカメラでHDR技術を使用して撮像された静止画像は、SDR表示装置またはSDR印刷装置で再生されることがある。そのため、そのカメラは、映像用のHDR画像データを生成することが可能な撮像素子を備え、HDR技術を用いた撮像が可能であるにも関わらず、HDR撮影モードで撮像したHDR画像をSDR変換し、SDR静止画データを出力する場合がある。このように、HDR撮像機能を有するカメラでは、HDRTVの表示能力を活かすような輝度範囲(ダイナミックレンジ)が広いHDR画像データを生成することが可能であるにもかかわらず、HDR画像データが生成されていない場合があった。
【0059】
図13は、SDR印刷装置50に画像を印刷させる場合の課題について説明するための模式図である。
【0060】
HDRTV(例えば、HDR表示装置30)のHDR表示機能を活かすためには、HDR表示用のHDR画像データが生成されたときに、HDR画像データをSDR画像データに変換せず、そのままのHDR画像データをHDRTVで表示すればよい。
【0061】
図13に示すHDR撮像装置10Aは、HDR撮像部11と、SDR撮像部14と、変換部12と、JPEG圧縮部13と、HDR画像補正部15と、HEVC(High Efficiency Video coding)圧縮部16と、を備える。HDR撮像装置10Aは、HDR画像データを生成するために、HDR画像補正部15においてHDR画像補正を行う。
【0062】
HDR画像補正部15では、例えば、HDR撮像部11で撮像が行われることにより得られたRAWデータを、PQカーブ等のHDR−EOTF(HDR−Electro−Optical Transfer Function)を用いて、HDRTV(例えば、HDR10規格に対応したHDR表示装置30)で表示可能な10ビット画像に変換する。そして、HDR撮像装置10Aは、HDR画像補正部15により得られたHDR画像データを、例えば、HEVC圧縮部16からHDMI(登録商標、High−Definition Multimedia Interface)経由でHDRTV(例えば、HDR表示装置30)に出力する。これにより、そのHDR画像データを受信したHDRTV(例えば、HDR表示装置30)では、そのHDR画像データに応じたHDR画像が表示される。
【0063】
また、HDR画像データに対して疑似HDR変換を行い、疑似HDR変換によって得られたSDR形式の疑似HDR画像をSDR表示装置40に出力することで、SDR表示装置40に、SDR画像データを表示させるよりも高品位な画像を表示させることができる。なお、疑似HDR変換とは、HDR画像を、SDR表示装置40が表示できる最大輝度値に合わせた輝度範囲(ダイナミックレンジ)を有するSDR形式の画像(疑似HDR画像)へ変換することである。
【0064】
しかしながら、SDR印刷装置50においては、HDR画像データを高品位に印刷することができない。そのため、SDR印刷装置50では、従来のSDR撮影モードで撮像が行われることで得られたSDR画像データを印刷する。つまり、SDR印刷装置50では、高品位なHDR画像データが得られたとしても、高品位なHDR画像データによる高品位な画像を印刷することができない。
【0065】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明、および実質的に同一の構成に対する重複説明等を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0066】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0067】
また、各図は、必ずしも厳密に図示されたものではなく、本開示をわかりやすく示すために適宜省略等を行った模式図である。また、各図において、実質的に同じ構成要素については同じ符号を付し、説明を省略または簡略化する場合がある。
【0068】
(1.実施の形態1)
本実施の形態では、SDR印刷装置50において高品位な画像を印刷できるようにするための静止画データを生成する画像処理装置を開示する。
【0069】
(1−1.構成)
図14は、実施の形態1における画像処理装置100のハードウェア構成の一例を模式的に示すブロック図である。
【0070】
図14に示すように、画像処理装置100は、ハードウェア構成として、CPU(Central Processing Unit)101と、メインメモリ102と、ストレージ103と、入力IF(Interface)104と、通信IF(Interface)105と、を備える。
【0071】
CPU101は、ストレージ103等に記憶された制御プログラムを実行するプロセッサである。
【0072】
メインメモリ102は、CPU101が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。メインメモリ102は、例えば半導体メモリ等によって構成することができる。
【0073】
ストレージ103は、制御プログラムおよびコンテンツ等を保持する不揮発性の記憶領域である。ストレージ103は、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ、等によって構成することができる。
【0074】
入力IF104は、キーボード、マウス、タッチパッド、ボタン、タッチパネル、等である。
【0075】
通信IF105は、通信ネットワークを介して他の装置と通信する通信インタフェースである。他の装置とは、例えば、後述する印刷装置200、入力装置300等である。通信IF105は、例えば、IEEE802.11a、b、g、n規格に適合した無線LAN(Local Area Network)インタフェースであるが、第3世代移動通信システム(3G)、第4世代移動通信システム(4G)、または、LTE(登録商標、LONG Term Evolution)等の移動通信システムで利用される通信規格に適合した無線通信インタフェースであってもよいし、Bluetooth(登録商標)規格に適合した無線通信インタフェースであってもよい。また、通信IF105は、有線LANインタフェース、USB(Universal Serial Bus)インタフェース等の有線通信インタフェースであってもよい。
【0076】
図15は、実施の形態1における画像処理装置の機能構成の第1の例を模式的に示すブロック図である。
【0077】
画像処理装置100は、取得部110と、変換部120と、出力部130と、を備える。画像処理装置100は、撮像装置に組み込まれた装置として実現されてもよいし、単独の装置として実現されてもよい。また、画像処理装置100には、印刷装置200が、有線接続または無線接続されている。印刷装置200は、図9に示したSDR印刷装置50の一例である。
【0078】
取得部110は、撮像により得られた第1静止画データD1と、印刷装置200の印刷能力を示す能力情報I1と、を取得する。第1静止画データD1は、輝度範囲が第1のダイナミックレンジで定義された静止画データである。第1のダイナミックレンジは、例えば、HDR(High Dynamic Range)である。
【0079】
取得部110は、能力情報I1として、例えば、印刷装置200で印刷に用いる用紙(または、印刷装置200に設定されている用紙)の種類を示す紙情報を取得してもよい。紙情報は、例えば、ユーザが印刷装置200に画像を印刷させる際の指示(以下、「印刷指示」ともいう)に含まれていてもよい。
【0080】
また、取得部110は、印刷装置200で印刷に用いる用紙に特定のパターン(以下、「テストパターン」ともいう)を印刷することにより得られる印刷結果を能力情報I1として取得してもよい。取得部110は、ユーザが、印刷結果を画像処理装置100(または、印刷装置200)に入力することで、当該印刷結果を取得してもよい。この印刷結果については後述する。
【0081】
取得部110は、第1静止画データD1を、例えば、画像処理装置100に有線接続または無線接続された、撮像装置、情報端末、または記憶装置、等から取得してもよい。第1静止画データD1を取得する取得部110は、例えば、通信IF105(図14参照)により実現されてもよい。
【0082】
取得部110は、例えば、能力情報I1としての紙情報を含む印刷指示を、ユーザからの入力操作を受け付けることにより取得してもよい。能力情報I1を取得する取得部110は、例えば、入力IF104(図14参照)により実現されてもよい。なお、取得部110は、印刷指示を取得せずに能力情報I1を取得してもよい。
【0083】
変換部120は、取得部110により取得された第1静止画データD1を、取得部110により取得された能力情報I1が示す印刷能力に応じて、第2静止画データD2に変換する。第2静止画データD2は、第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された静止画データである。
【0084】
変換部120は、能力情報I1が、用紙の種類を示す情報を含む紙情報である場合、予め定められた関係を示す情報を参照することで、取得部110により取得された紙情報が示す用紙の種類に対応する反射輝度を特定する。なお、当該予め定められた関係を示す情報は、複数の用紙の種類と、複数の用紙の種類のそれぞれに対応している反射輝度との関係を示した情報である。そして、変換部120は、紙情報により特定された反射輝度を最大輝度とする輝度範囲(ダイナミックレンジ)を第2のダイナミックレンジとして、第1静止画データD1を第2静止画データD2へ変換する。なお、反射輝度とは、用紙に規定の輝度の光を照射したときに当該用紙で反射される当該光の輝度のことである。規定の輝度は、例えば、一般的な室内の明るさを表す輝度で定義されてもよく、あるいは、その他の任意に定められた輝度であってもよい。そして、当該予め定められた関係(複数の用紙の種類と反射輝度との関係)を示す情報は、予め、複数の種類の用紙のそれぞれに、規定の輝度の光を照射し、各用紙で反射された光の輝度を計測した結果から得ることができる。当該予め定められた関係を示す情報は、例えば、複数の用紙の種類と反射輝度との関係を表したテーブルにより示されてもよく、ストレージ103に記憶されていてもよい。また、当該予め定められた関係を示す情報は、外部の情報処理装置(図示せず)から通信ネットワークを介して取得されてもよい。
【0085】
変換部120は、取得部110により取得された能力情報I1が印刷結果を示す情報を含む場合、その印刷結果に応じて決定した輝度範囲(ダイナミックレンジ)を、第2のダイナミックレンジとする。そして、変換部120は、その第2のダイナミックレンジに基づき、第1静止画データD1を第2静止画データD2へ変換する。
【0086】
変換部120は、例えば、CPU101、メインメモリ102、ストレージ103(図14参照)、等により実現されてもよい。変換部120は、半導体集積回路等で構成された専用回路により実現されてもよい。
【0087】
出力部130は、変換部120により第1静止画データD1から変換された第2静止画データD2を、印刷装置200に出力する。出力部130は、例えば、通信IF105(図14参照)により実現されてもよい。
【0088】
印刷装置200は、画像処理装置100からの第2静止画データD2およびユーザからの印刷指示を受信する。そして、印刷装置200は、受信した印刷指示において指定された種類の用紙に、受信した第2静止画データD2が示す静止画を印刷する。
【0089】
なお、画像処理装置100は、印刷装置200に、テストパターンを印刷させるための印刷指示を出力し、印刷装置200にそのテストパターンの印刷を実行させてもよい。また、画像処理装置100は、ディスプレイ(図示せず)を備えていてもよい。あるいは、画像処理装置100にディスプレイが接続されていてもよい。そして、画像処理装置100は、テストパターンの印刷を実行させる印刷指示を印刷装置200に出力した後に、テストパターンが用紙に印刷されることで得られる印刷結果をユーザに入力してもらうための入力指示を、ディスプレイに表示してもよい。この入力指示は、例えば、テストパターンが印刷された用紙から得られる印刷結果の入力をユーザに促す、メッセージ、画像、またはUI(User Interface)、等であってもよい。
【0090】
図16は、実施の形態1におけるテストパターン150を用紙に印刷した結果の一例を示す図である。
【0091】
本実施の形態では、特定のパターン(テストパターン)として、例えば図16に示すテストパターン150が、印刷装置200で印刷に用いる用紙P1に印刷される。図16に一例として示すテストパターン150には、パターン1〜3と、パターン4〜6と、が含まれている。パターン1〜3は、図16に示すように、用紙P1において、左側上段(図16における左側上段)の領域に、縦方向に並列に3本の比較基準となる黒が配置され、各黒の右側の領域にグレーが配置され、各グレーの濃さが上から順に薄くなるパターンである。すなわち、パターン1〜3は、用紙P1の左側(図16における左側)に配置された3本の黒を比較基準として、各黒の右側に配置されたグレーが、濃いグレーから薄いグレーに3段階で変化するパターンである。パターン4〜6は、図16に示すように、用紙P1において、左側下段(図16における左側下段)の領域に、縦方向に並列に3本の比較基準となる白が配置され、各白の右側の領域にグレーが配置され、各グレーの濃さが上から順に薄くなるパターンである。すなわち、パターン4〜6は、用紙P1の左側(図16における左側)に配置された3本の白を比較基準として、各白の右側に配置されたグレーが、薄いグレーからさらに薄いグレーに3段階で変化するパターンである。なお、図16に示すように、パターン1〜6には、パターン1〜6を互いに区別するための数字1〜6が並記されている。
【0092】
なお、パターン1〜6の配置位置は何ら図16に示す配置位置に限定されない。各パターンが横方向に配置されていてもよい。また、パターン1〜6以外のパターンがテストパターン150に含まれていてもよい。また、テストパターン150に含まれるパターンの数は5以下であってもよく、7以上であってもよい。例えば、パターン1〜6に加えて、グレーの濃さがより細かく変化した単数または複数のパターンが、図16に示すテストパターン150にさらに含まれていてもよい。
【0093】
画像処理装置100においては、例えば、テストパターン150が印刷された用紙P1を参照し、比較基準の黒または白とグレーとの階調を判別できるパターン(または、判別できないパターン)の番号を画像処理装置100(または、印刷装置200)に入力することをユーザに促す入力指示が、例えばディスプレイ等を通して、ユーザに示される。一方、画像処理装置100には、パターン1〜3の各番号とパターン4〜6の各番号との組み合わせ(例えば、9通りの組み合わせ)と、輝度範囲(ダイナミックレンジ)とが対応付けられたテーブルが、例えばストレージ103等に記憶されている。そして、その入力指示に従った入力操作がユーザにより行われることで、画像処理装置100は、パターン1〜6の番号の組み合わせを取得する。このようにして得られた番号の組み合わせを、本実施の形態では「印刷結果」という。この番号の組み合わせは、印刷結果の一例である。なお、図16に示すテストパターン150では、番号に代えて、例えば、アルファベット、記号、その他の文字、またはそれらの組み合わせ、等が用いられてもよい。
【0094】
画像処理装置100では、パターン1〜6の番号の例えば9通りの組み合わせのそれぞれに予め対応付けられている輝度範囲の中から、ユーザによって入力された2つの番号(すなわち、パターン1〜3のいずれかの番号とパターン4〜6のいずれかの番号)に対応する1つの輝度範囲が、当該用紙に対応する第2のダイナミックレンジとして選択される。それらの動作の具体的な一例を示す。例えば、画像処理装置100において、ユーザに、パターン1〜3のうちの階調を判別できる最も小さいパターンの番号と、パターン4〜6のうちの階調を判別できる最も大きいパターンの番号とを入力することを促す入力指示が、ディスプレイ等を通して、示される。そして、画像処理装置100は、その入力指示に従ってユーザから入力された2つパターンの番号に基づき、そのパターンの番号の組合せに予め対応付けられた輝度範囲を選択し、選択した輝度範囲を第2のダイナミックレンジとする。このようにして、第2のダイナミックレンジが、画像処理装置100において決定される。
【0095】
図17は、実施の形態1に示す変換部120における、第1のダイナミックレンジから第2のダイナミックレンジへ変換するための、第1のダイナミックレンジの信号値と第2のダイナミックレンジの信号値との関係の一例を模式的に示す図である。なお、第1のダイナミックレンジの信号値は、例えば、HDRにおける輝度であり、第2のダイナミックレンジの信号値は、HDRの最大輝度よりも小さい最大輝度を有する輝度範囲(ダイナミックレンジ)の輝度である。
【0096】
表示装置では、画素毎に、光の3原色であるRGB(Red、Green、Blue)の発光の強弱が調整されることで、画像が表示される。そのため、表示装置では、画像は絶対輝度で表現される。一方、印刷装置では、用紙に、CMYK(Cyan、Magenta、Yellow、blacK)を含む複数の塗料が印刷されることで、画像が表示される。用紙に印刷された画像は、用紙に塗布された塗料に応じて反射した光の輝度で表現される。そのため、その画像における最大輝度は、塗料が塗布されていない白(用紙の白)の領域の輝度となる。また、用紙の種類(用紙の反射率)、用紙へ照射される光の輝度、用紙へ照射される光の角度、等によって、用紙において反射される光の明るさは変化する。
【0097】
したがって、輝度範囲(ダイナミックレンジ)が拡張された高品位な画像を用紙に印刷するためには、用紙の種類、画像が印刷された用紙を設置する環境を照射する光源の種類および明るさ、等を想定した上で、HDR画像の信号レベルを第1のダイナミックレンジから第2のダイナミックレンジへ変換する変換処理を行うことが有効である。
【0098】
変換部120は、例えば、図17に示すように、第1のダイナミックレンジを、用紙の表現能力の上限(すなわち、用紙の白で表現される輝度)を最大輝度とした第2のダイナミックレンジへ変換する処理を行うことで、第1静止画データD1としてのHDR画像データを、第2静止画データD2へ変換する。用紙の白で表現される最大輝度は、例えば、用紙の反射率から求めることができる。変換部120は、例えば、用紙の反射率を用いて、規定の輝度の光が当該用紙の白で反射したときの反射光の輝度(以下、「反射輝度」という)を算出し、算出した反射輝度を当該用紙の表現能力の上限としてもよい。
【0099】
また、変換部120は、第1静止画データD1における最大輝度を取得し、第1静止画データD1における最大輝度が反射輝度となるように、輝度範囲(ダイナミックレンジ)を変換することにより、第1静止画データD1を第2静止画データD2へ変換してもよい。
【0100】
(1−2.動作)
図18は、実施の形態1における画像処理装置100の動作の一例を示すフローチャートである。
【0101】
取得部110は、第1静止画データD1を取得する(ステップS101)。
【0102】
取得部110は、能力情報I1を取得する(ステップS102)。
【0103】
変換部120は、取得部110により取得された第1静止画データD1を、取得部110により取得された能力情報I1が示す印刷能力に応じた第2のダイナミックレンジに基づき、第2静止画データD2に変換する(ステップS103)。
【0104】
出力部130は、変換部120により第1静止画データD1から変換された第2静止画データD2を、印刷装置200に出力する(ステップS104)。
【0105】
(1−3.効果等)
以上のように、本実施の形態において、画像処理装置は、撮像により得られ輝度範囲が第1のダイナミックレンジで定義された第1静止画データと印刷装置の印刷能力を示す能力情報とを取得する取得部と、取得部により取得された第1静止画データを、取得部により取得された能力情報が示す印刷能力に応じて、第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換する変換部と、変換部により変換された第2静止画データを印刷装置に出力する出力部と、を備える。
【0106】
また、本実施の形態において、画像処理方法は、撮像により得られ輝度範囲が第1のダイナミックレンジで定義された第1静止画データを取得し、印刷装置の印刷能力を示す能力情報を取得し、取得した第1静止画データを、取得した能力情報が示す印刷能力に応じて、第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換し、変換した第2静止画データを印刷装置に出力する。
【0107】
なお、画像処理装置100は画像処理装置の一例である。第1静止画データD1は第1静止画データの一例である。印刷装置200は印刷装置の一例である。能力情報I1は能力情報の一例である。取得部110は取得部の一例である。第2静止画データD2は第2静止画データの一例である。変換部120は変換部の一例である。出力部130は出力部の一例である。
【0108】
例えば、実施の形態1に示した例では、画像処理装置100は、撮像により得られ輝度範囲が第1のダイナミックレンジで定義された第1静止画データD1と印刷装置200の印刷能力を示す能力情報I1とを取得する取得部110と、取得部110により取得された第1静止画データD1を、取得部110により取得された能力情報I1が示す印刷能力に応じて、第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データD2に変換する変換部120と、変換部120により変換された第2静止画データD2を印刷装置200に出力する出力部130と、を備える。
【0109】
また、実施の形態1に示した例では、画像処理装置100で実行される画像処理方法は、撮像により得られ輝度範囲が第1のダイナミックレンジで定義された第1静止画データD1を取得し(ステップS101)、印刷装置200の印刷能力を示す能力情報I1を取得し(ステップS102)、取得した第1静止画データD1を、取得した能力情報I1が示す印刷能力に応じて、第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データD2に変換し(ステップS103)、変換した第2静止画データD2を印刷装置200に出力する(ステップS104)。
【0110】
このように構成された画像処理装置100は、第1静止画データD1を、印刷装置200の印刷能力に応じて決定された第2のダイナミックレンジで定義された第2静止画データD2に変換し、当該第2静止画データD2を印刷装置200に出力することができる。このため、画像処理装置100は、印刷装置200の印刷能力に応じた輝度範囲(ダイナミックレンジ)で、第1静止画データD1に基づく画像を、印刷装置200に印刷させることができる。よって、画像処理装置100は、第1静止画データD1に基づく画像を、印刷装置200に高品位に印刷させることができる。
【0111】
当該画像処理装置において、取得部は、能力情報として、印刷装置で印刷に用いる用紙の種類を示す紙情報を取得してもよい。変換部は、複数の用紙の種類と、当該用紙に光を照射したときに当該用紙で反射される当該光の反射輝度との関係を参照することで、取得部により取得された紙情報が示す用紙の種類に対応する反射輝度を特定してもよい。そして、変換部は、特定した反射輝度を最大輝度とする輝度範囲を第2のダイナミックレンジとして、第1静止画データから第2静止画データへ変換してもよい。
【0112】
例えば、実施の形態1に示した例では、画像処理装置100において、取得部110は、能力情報I1として、印刷装置200で印刷に用いる用紙の種類を示す紙情報を取得する。変換部120は、複数の用紙の種類と、当該用紙に光を照射したときに当該用紙で反射される当該光の反射輝度との関係を参照することで、取得部110により取得された紙情報が示す用紙の種類に対応する反射輝度を特定する。そして、変換部120は、特定した反射輝度を最大輝度とする輝度範囲を第2のダイナミックレンジとして、第1静止画データD1から第2静止画データD2へ変換する。
【0113】
このように構成された画像処理装置100は、第1静止画データD1を、印刷装置200で印刷に用いる用紙の種類に基づく第2のダイナミックレンジで定義された第2静止画データD2に変換し、当該第2静止画データD2を印刷装置200に出力することができる。このため、画像処理装置100は、第1静止画データD1に基づく画像を、当該用紙の表現能力に応じた輝度範囲(ダイナミックレンジ)で、印刷装置200に印刷させることができる。よって、画像処理装置100は、第1静止画データD1に基づく画像を、印刷装置200に高品位に印刷させることができる。
【0114】
当該画像処理装置において、取得部は、能力情報として、印刷装置で印刷に用いる用紙に当該印刷装置が特定のパターンを印刷して得られた印刷結果を取得してもよい。変換部は、取得部により取得された当該印刷結果に応じて決定した輝度範囲を第2のダイナミックレンジとして、第1静止画データから第2静止画データへ変換してもよい。
【0115】
なお、図16に示すテストパターン150は特定のパターンの一例である。図16に示すテストパターン150が印刷された用紙P1を参照したユーザから画像処理装置100が得られるパターン1〜6の番号の組み合わせは、印刷結果の一例である。
【0116】
例えば、実施の形態1に示した例では、画像処理装置100において、取得部110は、能力情報I1として、印刷装置200で印刷に用いる用紙に印刷装置200が特定のパターンを印刷して得られた印刷結果を取得する。変換部120は、取得部110により取得された当該印刷結果に応じて決定した輝度範囲を第2のダイナミックレンジとして、第1静止画データD1から第2静止画データD2へ変換する。
【0117】
このように構成された画像処理装置100では、印刷装置200で印刷に用いる用紙に特定のパターンを印刷し、特定のパターンが印刷された用紙P1に基づく印刷結果をユーザから取得し、取得された印刷結果に応じて、第2のダイナミックレンジを決定することができる。そして、画像処理装置100は、第1静止画データD1を、その第2のダイナミックレンジで定義された第2静止画データD2に変換して、当該第2静止画データD2を印刷装置200に出力することができる。つまり、画像処理装置100は、印刷装置200で印刷に用いる用紙の表現能力(すなわち、当該用紙の白で表現される輝度を最大輝度とした輝度範囲)を容易に推定でき、当該用紙の表現能力に適した輝度範囲(ダイナミックレンジ)を第2のダイナミックレンジとすることで、第2のダイナミックレンジを容易に決定することができる。このため、画像処理装置100は、第1静止画データD1に基づく画像を、印刷装置200に高品位に印刷させることができる。
【0118】
当該画像処理装置において、第1のダイナミックレンジは、HDRであってもよい。
【0119】
例えば、実施の形態1に示した例では、画像処理装置100において、第1のダイナミックレンジは、HDRである。
【0120】
したがって、この画像処理装置100は、HDRに対応している第1静止画データD1の輝度範囲(ダイナミックレンジ)を極力損なわずに、第1静止画データD1に基づく画像を、高品位に印刷装置200に印刷させることができる。
【0121】
(1−4.実施の形態1の変形例)
次に、図19図21を参照しながら、実施の形態1の変形例1〜5について説明する。なお、以下の説明において、実施の形態1で説明した構成要素と実質的に同じ構成要素には、その構成要素と同じ符号を付与し、説明を省略する。また、以下の説明において、画像処理装置100A、100B、100Cは、それぞれが画像処理装置の一例である。取得部110A、110B、110Cは、それぞれが取得部の一例である。変換部120Cは変換部の一例である。印刷装置200A、200Bは、それぞれが印刷装置の一例である。
【0122】
(1−4−1.変形例1)
まず、実施の形態1の変形例1について説明する。
【0123】
図19は、実施の形態1の変形例1における画像処理装置100Aの機能構成の一例を模式的に示すブロック図である。
【0124】
画像処理装置100Aは、取得部110Aと、変換部120と、出力部130と、を備える。変形例1における画像処理装置100Aは、実施の形態1における画像処理装置100と比較して、能力情報I1を入力装置300から取得する点が画像処理装置100と異なる。画像処理装置100Aにおけるその他の構成は、実施の形態1における画像処理装置100と実質的に同じであるので詳細な説明を省略する。
【0125】
取得部110Aは、実施の形態1の画像処理装置100における取得部110と同様に、第1静止画データD1と、能力情報I1と、を取得する。
【0126】
取得部110Aは、実施の形態1の画像処理装置100における取得部110と同様に、第1静止画データD1を、例えば、画像処理装置100Aに有線接続または無線接続された、撮像装置、情報端末、または記憶装置、等から取得してもよい。第1静止画データD1を取得する取得部110Aは、例えば、通信IF105(図14参照)により実現されてもよい。
【0127】
取得部110Aは、能力情報I1を、例えば、画像処理装置100Aに有線接続または無線接続された入力装置300から取得してもよい。取得部110Aが取得する能力情報I1は、実施の形態1と同様に、紙情報であってもよいし、印刷結果であってもよい。能力情報I1を取得する取得部110Aは、例えば、通信IF105(図14参照)により実現されてもよい。
【0128】
入力装置300は、例えば、ユーザが印刷指示を印刷装置200に出力するための情報端末であり、例えば、スマートフォン、タブレット端末、またはPC、等である。入力装置300は、入力IFおよび通信IFを備えており(図示せず)、当該入力IFにおいて入力された紙情報を含む印刷指示を、当該通信IFを用いて画像処理装置100Aに送信する。入力装置300が備える入力IFは、例えば、入力IF104(図14参照)と同様の構成であってもよい。また、入力装置300が備える通信IFは、画像処理装置100Aと通信可能な構成であればよく、例えば、通信IF105(図14参照)と同様の構成であってもよい。
【0129】
このように、画像処理装置100Aは、外部の入力装置300を介して能力情報I1を含む印刷指示を取得してもよい。また、画像処理装置100Aは、ユーザによって入力装置300に入力された印刷結果を、入力装置300から取得してもよい。
【0130】
(1−4−2.変形例2)
次に、実施の形態1の変形例2について説明する。
【0131】
図20は、実施の形態1の変形例2における画像処理装置100Bの機能構成の一例を模式的に示すブロック図である。
【0132】
画像処理装置100Bは、取得部110Bと、変換部120と、出力部130と、を備える。変形例2における画像処理装置100Bは、実施の形態1における画像処理装置100と比較して、能力情報I1を印刷装置200Aから取得する点が画像処理装置100と異なる。画像処理装置100Bにおけるその他の構成は、実施の形態1における画像処理装置100と実質的に同じであるので詳細な説明を省略する。
【0133】
取得部110Bは、実施の形態1における取得部110および変形例1における取得部110Aと同様に、第1静止画データD1と、能力情報I1と、を取得する。
【0134】
取得部110Bは、実施の形態1の画像処理装置100における取得部110と同様に、第1静止画データD1を、例えば、画像処理装置100Bに有線接続または無線接続された、撮像装置、情報端末、または記憶装置、等から取得してもよい。第1静止画データD1を取得する取得部110Bは、例えば、通信IF105(図14参照)により実現されてもよい。
【0135】
取得部110Bは、能力情報I1を、例えば、画像処理装置100Bに有線接続または無線接続された印刷装置200Aから取得してもよい。取得部110Bが取得する能力情報I1は、実施の形態1および変形例1と同様に、紙情報であってもよいし、印刷結果であってもよい。能力情報I1を取得する取得部110Bは、例えば、通信IF105(図14参照)により実現されてもよい。
【0136】
印刷装置200Aは、ユーザが印刷指示を印刷装置200Aに入力するための入力IF201を備える。印刷装置200Aは、入力IF201への印刷指示をユーザから受け付けると、当該印刷指示を、印刷装置200Aが備える通信IF(図示せず)を介して、画像処理装置100Bに送信する。入力IF201は、例えば、タッチパネル、入力ボタン、およびディスプレイ、等のうちの1つまたは複数を備えて構成される。印刷装置200Aが備える通信IFは、画像処理装置100Bと通信可能な構成であればよく、例えば、通信IF105(図14参照)と同様の構成であってもよい。
【0137】
このように、画像処理装置100Bは、印刷装置200Aを介して能力情報I1を含む印刷指示を取得してもよい。また、画像処理装置100Bは、ユーザによって印刷装置200Aに入力された印刷結果を、印刷装置200Aから取得してもよい。
【0138】
(1−4−3.変形例3)
次に、実施の形態1の変形例3について説明する。
【0139】
図21は、実施の形態1の変形例3における画像処理装置100Cの機能構成の一例を模式的に示すブロック図である。
【0140】
画像処理装置100Cは、取得部110Cと、変換部120Cと、出力部130と、を備える。変形例3における画像処理装置100Cは、変形例2における画像処理装置100Bと比較して、能力情報I1とは異なる能力情報I2を印刷装置200Bから取得する点が画像処理装置100Bと異なる。また、変形例3における画像処理装置100Cは、変換部120Cにおける処理が、変形例2における変換部120における処理とは異なる。画像処理装置100Cにおけるその他の構成は、変形例2における画像処理装置100Bと実質的に同じであるので詳細な説明を省略する。
【0141】
取得部110Cは、第1静止画データD1と、能力情報I2と、を取得する。
【0142】
取得部110Cは、実施の形態1の画像処理装置100における取得部110と同様に、第1静止画データD1を、例えば、画像処理装置100Cに有線接続または無線接続された、撮像装置、情報端末、または記憶装置、等から取得してもよい。第1静止画データD1を取得する取得部110Cは、例えば、通信IF105(図14参照)により実現されてもよい。
【0143】
取得部110Cは、能力情報I2を、画像処理装置100Cに有線接続または無線接続された印刷装置200Bから取得する。具体的には、取得部110Cは、能力情報I2として、印刷装置200Bで印刷に用いる用紙(例えば、印刷前の、何も印刷されていない用紙)が印刷装置200Bのスキャナ202でスキャンされることにより得られたスキャン画像を取得する。取得部110Cは、例えば、通信IF105(図14参照)により実現される。
【0144】
変換部120Cは、取得部110Cにより取得されたスキャン画像の輝度(反射輝度)に基づいて、スキャナ202でスキャンされた用紙に対応する最大輝度を特定する。そして、変換部120Cは、その最大輝度に基づき第2のダイナミックレンジを決定する。すなわち、変換部120Cは、能力情報I2に基づき特定した反射輝度を最大輝度とする輝度範囲(ダイナミックレンジ)を第2のダイナミックレンジとして、第1静止画データを第2静止画データへ変換する。変換部120Cは、例えば、CPU101、メインメモリ102、ストレージ103、等により(図14参照)実現される。
【0145】
変換部120Cは、スキャナ202の種類に応じて変換処理を変更してもよい。変換部120Cは、例えば、スキャナ202が有する光源の明るさと、スキャナ202が有するイメージセンサの感度との少なくとも一方に応じて、得られた画像の輝度を補正してもよい。変換部120Cは、例えば、スキャナ202が有する光源の明るさが明るいほど、得られた画像の輝度が小さくなるように、画像の輝度を補正してもよい。また、変換部120Cは、例えば、スキャナ202が有するイメージセンサの感度が高いほど、得られた画像の輝度が小さくなるように、画像の輝度を補正してもよい。なお、この場合、画像処理装置100Cは、スキャナ202の種類を表す情報と、画像の輝度を補正するための補正処理を表す情報とを予め関係付けた補正情報を、ストレージ103に記憶していてもよい。また、画像処理装置100Cは、印刷装置200Bからスキャナ202の種類を表す情報を取得し、取得したスキャナ202の種類を表す情報に対応する補正処理を補正情報から特定し、特定した補正処理を行うことで、スキャナ202の種類に応じた変換処理を行ってもよい。なお、本変形例において、補正情報は、ストレージ103に記憶されていなくてもよい。画像処理装置100Cは、補正情報を、外部の情報処理装置から通信IF105(図14参照)を介して取得してもよい。
【0146】
印刷装置200Bは、スキャナ202を備えている。印刷装置200Bは、印刷装置200Bで印刷に用いる用紙(例えば、印刷前の、何も印刷されていない用紙)をスキャナ202でスキャンすることにより、スキャン画像を得ることができる。印刷装置200Bは、得られたスキャン画像を、能力情報I2として、印刷装置200Bが備える通信IF(図示せず)を介して、画像処理装置100Cに送信する。
【0147】
例えば、画像処理装置100Cは、ディスプレイを備えていてもよい。そして、画像処理装置100Cは、スキャン指示をディスプレイに表示させてもよい。このスキャン指示は、画像処理装置100Cに接続されている印刷装置200Bが備えるスキャナ202で、印刷装置200Bで印刷に用いる用紙をスキャンするようにユーザに促す、メッセージ、画像、またはUI、等であってもよい。この場合、画像処理装置100Cは、画像処理装置100Cに接続されている印刷装置200Bと有線通信または無線通信することで、印刷装置200Bがスキャナ202を備えているか否かを判定してもよい。また、画像処理装置100Cは、ユーザに用紙のスキャンを促すスキャン指示をディスプレイに表示し、印刷装置200Bにおいて用紙のスキャンが行われ、当該スキャンで用紙のスキャン画像が得られた場合に、印刷装置200Bに対して、得られたスキャン画像を画像処理装置100Cに送信させる制御を行ってもよい。
【0148】
以上のように、本変形例の画像処理装置おいて、取得部は、能力情報として、印刷装置で印刷に用いる用紙がスキャンされることにより得られたスキャン画像を取得してもよい。変換部は、取得部により取得された当該スキャン画像の輝度に基づいて、当該用紙に光を照射したときに当該用紙で反射される当該光の反射輝度を特定し、特定した反射輝度を最大輝度とする輝度範囲を第2のダイナミックレンジとして、第1静止画データから第2静止画データへ変換してもよい。
【0149】
なお、能力情報I2は能力情報の一例である。
【0150】
例えば、変形例3に示した例では、画像処理装置100Cにおいて、取得部110Cは、能力情報I2として、印刷装置200Bで印刷に用いる用紙がスキャンされることにより得られたスキャン画像を取得する。変換部120Cは、取得部110Cにより取得された当該スキャン画像の輝度に基づいて、当該用紙に光を照射したときに当該用紙で反射される当該光の反射輝度を特定し、特定した反射輝度を最大輝度とする輝度範囲を第2のダイナミックレンジとして、第1静止画データD1から第2静止画データD2へ変換する。
【0151】
このように構成された画像処理装置100Cでは、印刷装置200Bで印刷に用いる用紙を、スキャナ202でスキャンすることによりスキャン画像を取得し、取得されたスキャン画像に応じて、第2のダイナミックレンジを決定することができる。そして、画像処理装置100Cは、第1静止画データD1を、その第2のダイナミックレンジで定義された第2静止画データD2に変換し、当該第2静止画データD2を印刷装置200Bに出力することができる。つまり、画像処理装置100Cは、印刷装置200Bで印刷に用いる用紙の表現能力(すなわち、当該用紙の白で表現される輝度を最大輝度とした輝度範囲)を容易に推定でき、当該用紙の表現能力に適した輝度範囲(ダイナミックレンジ)を第2のダイナミックレンジとすることで、第2のダイナミックレンジを容易に決定することができる。このため、画像処理装置100Cは、第1静止画データD1に基づく画像を、印刷装置200Bに高品位に印刷させることができる。
【0152】
なお、画像処理装置100Cは、ユーザによって印刷装置200Bに入力された印刷結果を、印刷装置200Bから取得してもよい。
【0153】
(1−4−4.変形例4)
次に、実施の形態の変形例4について説明する。
【0154】
実施の形態1(および実施の形態1の変形例1〜3)では、画像処理装置100(100A、100B、または100C)は、印刷装置200(200A、または200B)とは別体の独立した装置である構成例を説明したが、本開示は何らこの構成に限定されない。例えば、画像処理装置100または画像処理装置100Aに印刷装置200が組み込まれていてもよく、画像処理装置100Bに印刷装置200Aが組み込まれていてもよく、画像処理装置100Cに印刷装置200Bが組み込まれていてもよい。この場合、画像処理装置100(100A、100B、または100C)において、印刷装置200(200A、または200B)と通信可能な通信IF105は省略されてもよい。
【0155】
(1−4−5.変形例5)
次に、実施の形態1の変形例5について説明する。
【0156】
実施の形態1および変形例1〜4では、変換部120(120C)が、第1静止画データD1を第2静止画データD2に変換する処理を行う構成例を説明したが、本開示は何らこの構成に限定されない。
【0157】
変換部120(120C)は、第1静止画データD1の最大輝度が、用紙に対応する反射輝度(紙情報により特定される反射輝度、または、スキャン画像から取得される反射輝度)よりも小さい場合、第1静止画データD1から第2静止画データD2への変換を行わなくてもよい。
【0158】
この場合、取得部110(110A、110B、または110C)は、第1静止画データD1を取得すると共に、さらに、第1のダイナミックレンジよりも輝度範囲(ダイナミックレンジ)が狭い第3のダイナミックレンジで定義された第3静止画データD3を取得する(図22参照)。第3のダイナミックレンジは、例えば、SDR(Standard Dynamic Range)である。
【0159】
なお、取得部110(110A、110B、または110C)は、第3静止画データD3を、第1静止画データD1を取得するときと同様に、画像処理装置100(100A、100B、または100C)に有線接続または無線接続された、撮像装置、情報端末、または記憶装置、等から取得してもよい。例えば、被写体を撮像して第1静止画データD1を生成する撮像装置(例えば、図9に示すHDR撮像装置10、等)が、その被写体の撮像時に、第1静止画データD1とともに第3静止画データD3も生成することができる場合は、取得部110(110A、110B、または110C)は、その撮像装置から第3静止画データD3を取得することができる。
【0160】
そして、出力部130は、取得部110(110A、110B、または110C)により取得された第3静止画データD3を、印刷装置200(200A、または200B)に出力する。
【0161】
すなわち、変形例5における画像処理装置において、取得部は、第1静止画データを取得すると共に、さらに、第1のダイナミックレンジよりも輝度範囲が狭い第3のダイナミックレンジで定義された第3静止画データを取得してもよい。第1静止画データの最大輝度が当該用紙に対応する反射輝度よりも小さい場合、変換部は、第1静止画データから第2静止画データへの変換を行わず、出力部は、取得部により取得された第3静止画データを印刷装置に出力してもよい。
【0162】
なお、第3静止画データD3は第3静止画データの一例である。
【0163】
例えば、変形例5に示した例では、画像処理装置100(100A、100B、または100C)において、取得部110(110A、110B、または110C)は、第1静止画データD1を取得すると共に、さらに、第1のダイナミックレンジよりも輝度範囲が狭い第3のダイナミックレンジで定義された第3静止画データD3を取得する。第1静止画データD1の最大輝度が当該用紙に対応する反射輝度よりも小さい場合、変換部120(120C)は、第1静止画データD1から第2静止画データD2への変換を行わず、出力部130は、取得部110(110A、110B、または110C)により取得された第3静止画データD3を印刷装置200(200A、または200B)に出力する。
【0164】
このように構成された画像処理装置100(100A、100B、または100C)は、HDRの第1静止画データD1の最大輝度が、用紙に対応する反射輝度よりも小さい場合に、SDRの第3静止画データD3を印刷装置200(200A、または200B)に出力し、第3静止画データD3による画像を印刷装置200(200A、または200B)に印刷することができる。
【0165】
例えば、第1静止画データD1の最大輝度が、印刷装置200(200A、または200B)で印刷に用いる用紙に対応する反射輝度よりも小さく、そのために、第1静止画データD1から第2静止画データD2への変換処理を行っても、高品位な画像を印刷装置200(200A、または200B)において印刷できない場合がある。そのような場合に、画像処理装置100(100A、100B、または100C)は、第1静止画データD1から第2静止画データD2への変換処理を行わず、SDRの第3静止画データD3を印刷装置200(200A、または200B)に出力する。そのため、変形例5に示す構成例によれば、画像処理装置100(100A、100B、または100C)において、変換処理に係る負荷を低減することができる。
【0166】
(1−5.まとめ)
図22は、実施の形態1(または変形例1〜5)における画像処理装置100(100A、100B、または100C)の実施例を説明するための模式図である。
【0167】
図22に示すように、画像処理装置100(100A、100B、または100C)は、HDR画像である第1静止画データD1を取得して、HDR表示装置30にそのまま出力する。HDR表示装置30は、HDRに対応しているため、第1静止画データD1を高品位に表示することができる。
【0168】
また、画像処理装置100(100A、100B、または100C)は、第1静止画データD1と、SDR印刷装置50の能力情報I1(I2)とを取得する。そして、画像処理装置100(100A、100B、または100C)は、取得した能力情報I1(I2)に基づいて第1静止画データD1を第2静止画データD2に変換し、変換した第2静止画データD2をSDR印刷装置50に出力する。SDR印刷装置50は、第1静止画データD1をそのまま印刷することはできない。しかし、SDR印刷装置50は、画像処理装置100(100A、100B、または100C)において第1静止画データD1から変換された第2静止画データD2には対応しているため、第2静止画データD2を用いて第2静止画データD2に基づく画像を用紙に印刷することができる。また、第2静止画データD2は、SDR画像である第3静止画データD3よりも広い輝度範囲(ダイナミックレンジ)で定義されているため、第3静止画データD3によるSDR画像よりも高品位な画像を用紙に印刷することができる。
【0169】
また、画像処理装置100(100A、100B、または100C)は、第1静止画データD1の最大輝度が、用紙に対応する反射輝度よりも小さい場合は、第1静止画データD1から第2静止画データD2への変換を行わず、第3静止画データD3をSDR印刷装置50に出力する。SDR印刷装置50は、SDR画像である第3静止画データD3に対応しているため、第3静止画データD3による画像を、そのまま印刷することができる。
【0170】
(1−6.通信プロトコルの例)
次に、図23図26を参照しながら、本実施の形態における通信プロトコルの例(第1の例〜第4の例)について説明する。なお、以下の説明において、互いに実質的に同じ構成要素には同じ符号を付与し、重複する説明を省略する。
【0171】
図23は、実施の形態における表示装置400と印刷装置500との間の通信プロトコルの第1の例を模式的に示す図である。
【0172】
表示装置400は、例えば、テレビジョンセット、ビデオレコーダ、ビデオプレーヤ、またはデジタルカメラ、等の画像表示機能または画像再生機能を有する装置である。印刷装置500は、プリンタ等の印刷機能を有する装置である。
【0173】
表示装置400の通信プロトコルは、下位から順に、物理層としてのUSB物理層440、トランスポート層としてのPTP Transport層430、変換層としてのDPS Layer420、および、アプリ層としてのDPS application層410を備えて構成される。印刷装置500の通信プロトコルは、下位から順に、物理層としてのUSB物理層540、トランスポート層としてのPTP Transport層530、変換層としてのDPS Layer520、および、アプリ層としてのDPS application層510を備えて構成される。なお、図23では、物理層としてUSB物理層440、540が利用され、表示装置400と印刷装置500との間がUSB接続される構成例を示しているが、表示装置400と印刷装置500との間は、無線通信(例えば、Wi−Fi)で接続されてもよい。
【0174】
図23では、トランスポート層で、ISO15740として規定されているPicture Transfer Protocol(PTP)が利用される構成例を示している。変換層は、アプリ層に対するI/F(InterFace)を規定し、アプリ層からの入出力をPTPプロトコルに変換する。DPS層には、表示装置400と印刷装置500との間で相互に対応する機能を有するかどうかのネゴシエーションを行う、DPS Discoveryが存在する。DPS Layer420にはDPS Discovery421が存在し、DPS Layer520にはDPS Discovery521が存在する。
【0175】
表示装置400と印刷装置500との間がUSB接続される場合には、表示装置400および印刷装置500へのUSBケーブルの接続を契機としてPTPでの相互接続が確立してから、表示装置400および印刷装置500は、相互に、DPS Discovery421、521によって接続相手を確認する。このあと、印刷対象となる静止画を保持する表示装置400は、Storage Server412として、Storage Client511となる印刷装置500に対してファイルを提供する。印刷装置500は、Print Server512として、Print Client411となる表示装置400からの要求を受け付ける。表示装置400のPrint Client411は、Print Server512に対して、プリンタの能力を問い合わせ、適宜、その問合せの結果を、表示装置400のUI(User Interface)上で表示する。
【0176】
また、表示装置400で静止画の一覧表示等がなされ、その表示の中から印刷の対象となる静止画がユーザに選択されることによって、ユーザから印刷の指示が表示装置400に対してなされた場合は、表示装置400は、指示された静止画の印刷をPrint Server512に対して要求する。印刷装置500は、Storage Client511として、表示装置400のStorage Server412に、印刷の指示がなされた静止画に対応するファイルを要求する。表示装置400は、その要求に応じて、保持する静止画をファイルとして印刷装置500に通知する。
【0177】
図24は、実施の形態における表示装置400Aと印刷装置500Aとの間の通信プロトコルの第2の例を模式的に示す図である。
【0178】
表示装置400Aは、第1の例と同様に、例えば、テレビジョンセット、ビデオレコーダ、ビデオプレーヤ、またはデジタルカメラ、等の画像表示機能または画像再生機能を有する装置である。印刷装置500Aは、第1の例と同様に、プリンタ等の印刷機能を有する装置である。
【0179】
表示装置400Aの通信プロトコルは、下位から順に、TCP/IP層440A、UPnP層430A、Control Middle層420A、および、アプリ層410Aを備えて構成される。印刷装置500Aの通信プロトコルは、下位から順に、TCP/IP層540A、UPnP層530A、Control Middle層520A、および、アプリ層510Aを備えて構成される。
【0180】
表示装置400Aおよび印刷装置500Aの通信プロトコルは、物理層(図示せず)としてWi−Fiを利用し、その上のトランスポート層としてTCP/IP層440A、540Aを採用している。そして、表示装置400Aおよび印刷装置500Aは、TCP/IP層440A、540の上で、相互に接続相手を発見するためのプロトコルとしてUPnPを利用している。表示装置400Aおよび印刷装置500AがUPnP層430A、530Aの機能によって相互に接続相手を認識した後で、印刷ジョブの制御等を行うControl Middle層420A、520Aの助けを得て、実際の印刷データが、表示装置400Aと印刷装置500Aとの間でやり取りされる。なお、プリンタは、機種毎に独自の印刷命令を有しており、PC(Personal Computer)では、プリント毎の印刷命令の差異をドライバで吸収することができる。テレビジョンセットまたはビデオレコーダ等の表示装置400Aでは、そのようなPCとは異なり、ドライバをインストールするという仕組みを取ることが難しい。したがって、表示装置400Aは、汎用的な印刷用記述言語を用いてもよい。
【0181】
このような言語の例として、W3Cで規定されたXHTML−printがある。XHTML−printを用いた印刷では、表示装置400Aは、XHTML−printコンテンツ411Aに基づいて印刷の指示を作成し、作成した印刷指示を印刷装置500Aに送付する。印刷装置500Aでは、XHTML−printで記述されたその印刷指示に基づき、XHTML描画処理部511Aにおいて画像ファイルまたはテキスト文字列等のレイアウト、ラスタライズ処理を行い、実際に印刷を行うデータを生成する。印刷処理部512Aは、こうして得られたデータを印刷する。
【0182】
図25は、実施の形態における表示装置400Bと印刷装置500Bとの間の通信プロトコルの第3の例を示す図である。
【0183】
表示装置400Bは、第1の例および第2の例と同様に、例えば、テレビジョンセット、ビデオレコーダ、ビデオプレーヤ、またはデジタルカメラ、等の画像表示機能または画像再生機能を有する装置である。また、印刷装置500Bは、第1の例および第2の例と同様に、プリンタ等の印刷機能を有する装置である。なお、印刷装置500Bは、第1静止画データD1を印刷する際に、HDRには対応しておらずSDRにしか対応していない装置である。
【0184】
表示装置400Bの通信プロトコルは、下位から順に、Wi−Fi層440B、PTP Transport層430、DPS Layer420、および、DPS application層410Bを備えて構成される。印刷装置500Bの通信プロトコルは、下位から順に、Wi−Fi層540B、PTP Transport層530、DPS Layer520、および、DPS application層510を備えて構成される。
【0185】
第3の例に示す表示装置400Bと印刷装置500Bとの間の通信プロトコルは、第1の例で示したPTPを用いた通信プロトコルをベースとする。表示装置400BのPrint Client411は、印刷装置500BのPrint Server512との通信によって、接続相手である印刷装置500Bの機能を把握する。
【0186】
例えば、印刷装置500Bが、8bits JPGのようなSDR静止画データしか取り扱えない装置であった場合、表示装置400Bは、表示装置400Bが保持するHDR静止画データを、そのまま印刷装置500Bに渡すことはできない。そのような場合、表示装置400Bは、表示装置400Bが保持するHDR静止画データを、印刷装置500Bの機能にあわせてGrading Module413Bで調整し、8bits JPGファイルとする。すなわち、表示装置400Bは、印刷装置500Bの機能にあわせてHDR静止画データから8bits JPGファイルを作成する。
【0187】
表示装置400Bは、印刷装置500BのStorage Client511からの要求に対する応答として、HDR静止画データから得られた8bits JPGファイルを印刷装置500Bに提供する。つまり、第3の例に示す表示装置400Bは、実施の形態1および変形例1〜5において説明した画像処理装置100、100A〜100Cのいずれかを含む構成である。
【0188】
なお、上述の例では、表示装置400Bが印刷装置500Bの機能に合わせて8bits JPGファイルの静止画データを作成する構成を説明したが、本開示はこの構成に限定されない。表示装置400Bは、あらかじめHDR静止画ファイルに対応する8bits JPGファイルを作成しておいてもよい。例えば、8bits JPGファイルしか受け付けられない印刷装置に対応するためには、デジタルカメラは、撮像により得られた画像を、HDRに対応している第1静止画データD1と8bits JPGファイル(例えば、第3静止画データD3)との両方のフォーマットで生成することが望ましい。
【0189】
ただし、sRGBおよびBT.709等の標準的な表示環境が規定されている表示装置400Bとは異なり、印刷装置500Bでは、印刷に使用する用紙およびインクの種類等によって印刷の品質に差が生じる可能性がある。そのため、表示装置400Bは、印刷装置500Bの設定や能力に応じて、HDR静止画ファイルから8bits JPGファイルを作成する際のグレーディングの方法を変更した方がよい場合がある。したがって、表示装置400Bは、印刷装置500Bの設定や能力に応じて、都度、8bits JPGファイルを作成してもよい。
【0190】
なお、印刷装置500Bは、印刷装置200(200A、または200B)であってもよい。
【0191】
図26は、実施の形態における表示装置400Cと印刷装置500Cとの間の通信プロトコルの第4の例を模式的に示す図である。
【0192】
第4の例において、表示装置400Cは、第3の例と同様に、例えば、テレビジョンセット、ビデオレコーダ、ビデオプレーヤ、またはデジタルカメラ、等の画像表示機能または画像再生機能を有する装置である。また、印刷装置500Cは、第3の例と同様に、プリンタ等の印刷機能を有する装置であり、第1静止画データD1を印刷する際に、HDRには対応しておらずSDRにしか対応していない装置である。
【0193】
表示装置400Cの通信プロトコルは、下位から順に、Wi−Fi層440B、PTP Transport層430、DPS Layer420、および、DPS application層410を備えて構成される。印刷装置500Cの通信プロトコルは、下位から順に、Wi−Fi層540B、PTP Transport層530、DPS Layer520、および、DPS application層510Cを備えて構成される。
【0194】
第4の例に示す表示装置400Cと印刷装置500Cとの間の通信プロトコルは、第3の例に示した構成と比較して、第3の例において表示装置400BのGrading Module413Bが行っていた処理を、印刷装置500CのGrading Module513Cが行う点が異なる。つまり、第4の例に示す印刷装置500Cは、実施の形態1および変形例1〜5において説明した画像処理装置100、100A〜100Cのいずれかを含む構成である。
【0195】
表示装置400CのStorage Server412は、印刷装置500CのStorage Client511からの要求に対する応答として、HDR静止画データを、そのまま印刷装置500Cに提供する。印刷装置500Cでは、受信したHDR静止画データを、印刷装置500Cで使用する用紙およびインクの種類、および印刷品質に関する設定、等に応じて、Grading Module513Cが適切にグレーディングして印刷する。
【0196】
なお、印刷装置500Cは、印刷装置200(200A、または200B)であってもよい。
【0197】
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1および変形例1〜5を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態1および変形例1〜5で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【0198】
そこで、以下、他の実施の形態を例示する。
【0199】
第1静止画データD1で使用されている輝度情報に関しては、絶対的な輝度値が用いられているとしたが、第2静止画データD2が生成される際に、絶対的な輝度値に代えて、撮像された写真の明暗部各部のSTOP数から算出された輝度が用いられてもよい。つまり、変換部120(120C)は、第1静止画データD1の絶対輝度を用いずに、相対輝度を用いて、第1静止画データD1を第2静止画データD2に変換してもよい。
【0200】
実施の形態では、印刷能力を、用紙単体の反射率等で示される能力として説明した。しかし、印刷能力を、印刷装置の印刷特性を加えた加算特性としてもよい。つまり、印刷能力には、印刷装置のインクの特性、およびインクの吐出の特性、等も考慮されてもよい。そして、第1静止画データD1の第1のダイナミックレンジと、用紙の種類、光源の種類および明るさ、およびインクの特性等により表現可能な輝度範囲(ダイナミックレンジ)と、が考慮されて、第1静止画データD1が第2静止画データD2に変換されてもよい。
【0201】
変換部120によって信号の変換処理が行われる代わりに、信号の変換処理と同等の効果を得られるように、印刷装置のインク吐出量が制御されてもよい。つまり、第2静止画データD2を生成する代わりに、第2静止画データD2を印刷した場合と同等の印刷物が印刷装置により出力されるように、印刷装置のインク吐出量が制御されてもよい。
【0202】
実施の形態1および変形例1〜5において、各構成要素は、専用のハードウェア(例えば、半導体集積回路を含む電子回路)で構成されてもよく、あるいは、各構成要素に適したソフトウェアプログラムをプロセッサが実行することによって実現されてもよい。各構成要素は、CPU(Central Processing Unit)またはプロセッサ等のプログラム実行部が、ハードディスクまたは半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0203】
また、各実施の形態で図面に示したブロック図における機能ブロックの分割は、単なる一例に過ぎない。例えば、複数の機能ブロックが1つの機能ブロックとして実現されたり、あるいは、1つの機能ブロックが複数に分割されたり、または、一部の機能が他の機能ブロックに移されたりしてもよい。また、複数の機能ブロックの機能を、単一のハードウェアまたはソフトウェアが、並列に処理してもよく、または時分割に処理してもよい。また、複数の機能ブロックの一部の機能がハードウェアで実現され、残りの機能がソフトウェアで実現されてもよい。
【0204】
また、実施の形態で図面に示したフローチャートにおける各ステップが実行される順序は、単なる一例に過ぎず、実施の形態で説明した順序とは異なる順序で各ステップが実行されてもよい。また、上記ステップの一部が、他のステップと同時に(すなわち、並列に)実行されてもよい。
【0205】
ここで、上記各実施の形態の画像処理方法を実現するソフトウェアは、次のようなプログラムである。
【0206】
すなわち、このプログラムは、コンピュータに、撮像により得られ輝度範囲が第1のダイナミックレンジで定義された第1静止画データを取得し、印刷装置の印刷能力を示す能力情報を取得し、取得した第1静止画データを、取得した能力情報が示す印刷能力に応じて、第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換し、変換した第2静止画データを印刷装置に出力する画像処理方法を実行させる。
【0207】
また、上記画像処理方法と、当該画像処理方法をコンピュータに実行させるコンピュータプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本開示の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリ、等を挙げることができる。コンピュータプログラムは、上記記録媒体に記録されたものに限定されず、電気通信回線、無線または有線通信回線、インターネット等のネットワーク、等を経由して伝送されてもよい。
【0208】
また、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されてもよい。
【0209】
また、上記の各装置を構成する構成要素の一部または全部は、1つのLSI(Large Scale Integration:大規模集積回路)で構成されてもよい。
【0210】
また、各処理部は、LSIまたはICに限定されるものではなく、専用回路または汎用プロセッサで実現されてもよい。あるいは、回路構成をプログラムすることが可能なFPGA(Field Programmable Gate Array)、または、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサで実現されてもよい。
【0211】
また、上記のプログラムを、記録媒体に記録して頒布または流通させてもよい。例えば、頒布されたプログラムを装置類にインストールして、装置類のプロセッサに実行させることで、装置類に各種処理を行わせることが可能となる。
【0212】
また、本開示におけるコンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネット等のネットワーク、データ放送、等を経由して伝送してもよい。
【0213】
また、本開示は、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号を、ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施してもよい。
【0214】
また、実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【0215】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【0216】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0217】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【0218】
本開示は、高品位な印刷物を印刷するための静止画データを得ることができる画像処理装置および画像処理方法に適用可能である。具体的には、テレビジョンセットまたはディスプレイ等の映像表示装置、ビデオレコーダまたはビデオプレーヤ等の映像再生装置、デジタルカメラまたはビデオカメラ等の撮像装置、スマートフォンまたはタブレットコンピュータ等の端末装置、プリンタ等の印刷装置、または、PCまたはサーバ等のコンピュータ装置、等に、本開示は適用可能である。
【符号の説明】
【0219】
1,2,3,4,5,6 パターン
10,10A HDR撮像装置
11 HDR撮像部
12 変換部
13 JPEG圧縮部
14 SDR撮像部
15 HDR画像補正部
16 HEVC圧縮部
20 SDR撮像装置
21 SDR撮像部
22 JPEG圧縮部
30 HDR表示装置
40 SDR表示装置
50 SDR印刷装置
100,100A,100B,100C 画像処理装置
101 CPU
102 メインメモリ
103 ストレージ
104 入力IF
105 通信IF
110,110A,110B,110C 取得部
120,120C 変換部
130 出力部
150 テストパターン
200,200A,200B 印刷装置
201 入力IF
202 スキャナ
300 入力装置
400,400A,400B,400C 表示装置
410,410B,510,510C DPS application層
410A,510A アプリ層
411 Print Client
411A XHTML−printコンテンツ
412 Storage Server
413B,513C Grading Module
420,520 DPS Layer
420A,520A Control Middle層
421,521 DPS Discovery
430,530 PTP Transport層
430A,530A UPnP層
431A,531A UPnP Discovery
440,540 USB物理層
440A,540A TCP/IP層
440B,540B Wi−Fi層
500,500A,500B,500C 印刷装置
511 Storage Client
512 Print Server
511A XHTML描画処理部
512A 印刷処理部
D1 第1静止画データ
D2 第2静止画データ
D3 第3静止画データ
I1,I2 能力情報
P1 用紙
図1
図2
図3A
図3B
図4
図5
図6
図7A
図7B
図8A
図8B
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26

【手続補正書】
【提出日】2018年3月28日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
撮像により得られ、輝度範囲が第1のダイナミックレンジで定義された第1静止画データと、印刷装置で印刷に用いる用紙の種類を示す紙情報とを取得する取得部と、
前記取得部により取得された前記第1静止画データを、複数の用紙の種類と、当該用紙に光を照射したときに当該用紙で反射される前記光の反射輝度との関係を参照することで、前記取得部により取得された前記紙情報が示す用紙の種類に対応する前記反射輝度を特定し、特定した前記反射輝度を最大輝度とする、前記第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換する変換部と、
前記変換部により変換された前記第2静止画データを前記印刷装置に出力する出力部と、を備える、
画像処理装置。
【請求項2】
撮像により得られ、輝度範囲が第1のダイナミックレンジで定義された第1静止画データと、印刷装置で印刷に用いる用紙がスキャンされることにより得られたスキャン画像とを取得する取得部と、
前記取得部により取得された前記第1静止画データを、前記スキャン画像の輝度に基づいて、前記用紙に光を照射したときに当該用紙で反射される前記光の反射輝度を特定し、特定した前記反射輝度を最大輝度とする、前記第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データへ変換する変換部と、
前記変換部により変換された前記第2静止画データを前記印刷装置に出力する出力部と、を備える、
画像処理装置。
【請求項3】
撮像により得られ、輝度範囲が第1のダイナミックレンジで定義された第1静止画データと、印刷装置で印刷に用いる用紙に特定のパターンを印刷して得られた印刷結果とを取得する取得部と、
前記取得部により取得された前記第1静止画データを、前記取得部により取得された前記印刷結果に応じて決定した輝度範囲を有するとともに前記第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データへ変換する変換部と、
前記変換部により変換された前記第2静止画データを前記印刷装置に出力する出力部と、を備える、
画像処理装置。
【請求項4】
前記取得部は、前記第1静止画データを取得すると共に、さらに、前記第1のダイナミックレンジよりも輝度範囲が狭い第3のダイナミックレンジで定義された第3静止画データを取得し、
前記第1静止画データの最大輝度が前記用紙に対応する前記反射輝度よりも小さい場合、前記変換部は、前記第1静止画データから前記第2静止画データへの変換を行わず、前記出力部は、前記取得部により取得された前記第3静止画データを前記印刷装置に出力する、
請求項1から3のいずれか1項に記載の画像処理装置。
【請求項5】
前記第1のダイナミックレンジは、HDR(High Dynamic Range)である、
請求項1から4のいずれか1項に記載の画像処理装置。
【請求項6】
前記画像処理装置は、さらに、前記印刷装置を備える、
請求項1から5のいずれか1項に記載の画像処理装置。
【請求項7】
撮像により得られ、輝度範囲が第1のダイナミックレンジで定義された第1静止画データを取得し、
印刷装置で印刷に用いる用紙の種類を示す紙情報を取得し、
取得した前記第1静止画データを、複数の用紙の種類と、当該用紙に光を照射したときに当該用紙で反射される前記光の反射輝度との関係を参照することで、前記取得部により取得された前記紙情報が示す用紙の種類に対応する前記反射輝度を特定し、特定した前記反射輝度を最大輝度とする、前記第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換し、変換した前記第2静止画データを前記印刷装置に出力する、
画像処理方法。
【請求項8】
請求項7に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項9】
(削除)

【手続補正書】
【提出日】2019年4月11日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置および画像処理方法に関する。
【背景技術】
【0002】
特許文献1は、露出の異なる複数の画像を合成することにより、ダイナミックレンジの広いHDR(High Dynamic Range)静止画を記録する撮像装置を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2015−056807号公報
【発明の概要】
【0004】
特許文献1に開示された技術では、高品位な印刷物を印刷するための静止画データを得ることが難しい。
【0005】
本開示は、高品位な印刷物を印刷するための静止画データを得ることができる画像処理装置および画像処理方法を提供する。
【0006】
本開示における画像処理装置は、撮像により得られ輝度範囲が第1のダイナミックレンジで定義された第1静止画データと印刷装置の印刷能力を示す能力情報とを取得する取得部と、前記取得部により取得された前記第1静止画データを、前記取得部により取得された前記能力情報が示す前記印刷能力に応じて、前記第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換する変換部と、前記変換部により変換された前記第2静止画データを前記印刷装置に出力する出力部と、を備える。
【0007】
本開示における画像処理方法は、撮像により得られ輝度範囲が第1のダイナミックレンジで定義された第1静止画データを取得し、印刷装置の印刷能力を示す能力情報を取得し、取得した前記第1静止画データを、取得した前記能力情報が示す前記印刷能力に応じて、前記第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換し、変換した前記第2静止画データを前記印刷装置に出力する。
【0008】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【0009】
本開示における画像処理装置および画像処理方法は、高品位な印刷物を印刷するための静止画データを得ることができる。
【図面の簡単な説明】
【0010】
図1図1は、映像技術の進化について説明するための模式図である。
図2図2は、HDR表示技術について説明するための模式図である。
図3A図3Aは、PQ(Perceptual Quantization)方式を説明するための模式図である。
図3B図3Bは、HLG(Hybrid Log Gamma)方式を説明するための模式図である。
図4図4は、HDRに対応しているHDR画像の一例と、SDR(Standard Dynamic Range)に対応しているSDR画像の一例とを比較して示した図である。
図5図5は、画像撮像時の輝度の尺度の一例を示す図である。
図6図6は、撮像された画像の輝度の一例を示す図である。
図7A図7Aは、図6で示した原画像をSDR画像にマスタリングした結果の輝度の一例を示す図である。
図7B図7Bは、原信号値をSDR信号値に変換する(マスタリングする)ための、原信号値とSDR信号値との関係の一例を模式的に示す図である。
図8A図8Aは、図6で示した原画像をHDR画像にマスタリングした結果の輝度の一例を示す図である。
図8B図8Bは、原信号値をHDR信号値に変換する(マスタリングする)ための、原信号値とHDR信号値との関係の一例を模式的に示す図である。
図9図9は、HDRまたはSDRに対応した撮像装置と、撮像装置によって得られる画像データのファイルフォーマットと、画像データを表示する表示装置または画像データを印刷する印刷装置と、について説明するための模式図である。
図10図10は、2つの画像を合成することによりダイナミックレンジを拡大した画像を得るHDR撮影モードについて説明するための模式図である。
図11図11は、2つの画像を合成することによりダイナミックレンジを拡大した画像を得るHDR撮影モードについて説明するための模式図である。
図12図12は、HDR表示用に撮像されたHDR画像について説明するための模式図である。
図13図13は、SDR印刷装置に画像を印刷させる場合の課題について説明するための模式図である。
図14図14は、実施の形態1における画像処理装置のハードウェア構成の一例を模式的に示すブロック図である。
図15図15は、実施の形態1における画像処理装置の機能構成の第1の例を模式的に示すブロック図である。
図16図16は、実施の形態1におけるテストパターンを用紙に印刷した結果の一例を示す図である。
図17図17は、実施の形態1に示す変換部における、第1のダイナミックレンジから第2のダイナミックレンジへ変換するための、第1のダイナミックレンジの信号値と第2のダイナミックレンジの信号値との関係の一例を模式的に示す図である。
図18図18は、実施の形態1における画像処理装置の動作の一例を示すフローチャートである。
図19図19は、実施の形態1の変形例1における画像処理装置の機能構成の一例を模式的に示すブロック図である。
図20図20は、実施の形態1の変形例2における画像処理装置の機能構成の一例を模式的に示すブロック図である。
図21図21は、実施の形態1の変形例3における画像処理装置の機能構成の一例を模式的に示すブロック図である。
図22図22は、実施の形態1(または変形例1〜5)における画像処理装置の実施例を説明するための模式図である。
図23図23は、実施の形態における表示装置と印刷装置との間の通信プロトコルの第1の例を模式的に示す図である。
図24図24は、実施の形態における表示装置と印刷装置との間の通信プロトコルの第2の例を模式的に示す図である。
図25図25は、実施の形態における表示装置と印刷装置との間の通信プロトコルの第3の例を模式的に示す図である。
図26図26は、実施の形態における表示装置と印刷装置との間の通信プロトコルの第4の例を模式的に示す図である。
【発明を実施するための形態】
【0011】
(本開示の目的)
本開示は、HDR(High Dynamic Range)表示技術と、HDR撮像技術との2つの技術を使い、HDR静止画という新たなユーザ価値と新たな写真文化を提供するためのものである。上記の新たなユーザ価値とは、臨場感を向上させ、かつ、白飛び(明るい領域の階調が損なわれた状態、白潰れともいう)および黒潰れ(暗い領域の階調が損なわれた状態)等が低減された静止画データを生成することである。また、上記の新たな写真文化とは、HDR静止画の撮像に対応しているカメラで撮像することにより得られたHDR静止画を、HDR表示に対応する表示装置(以下、「HDR表示装置」という)に表示して鑑賞することである。HDR表示装置としては、例えば、HDRTV(HDRテレビジョンセット)、HDR対応タブレット端末、HDR対応スマートフォン、HDR対応PC(Personal Computer)、HDR対応ディスプレイ、等である。なお、HDR静止画は、HDR写真ともいう。
【0012】
本開示は、SDR表示には対応しているがHDR表示には対応していない表示装置(以下、「SDR表示装置」という)およびSDR静止画の印刷には対応しているがHDR静止画の印刷には対応していない印刷装置(以下、「SDR印刷装置」という)においても表示または印刷が可能な静止画データを生成することができる画像処理装置および画像処理方法を提供する。つまり、本開示は、HDR静止画の画像処理に対応した装置に対してだけでなく、SDR静止画の画像処理には対応しているがHDR静止画の画像処理には対応していない装置に対しても、HDR静止画の再生を行うことが可能な静止画データを提供することで、HDR静止画データの利便性を向上させることができる画像処理装置および画像処理方法を提供する。なお、本開示において、HDR静止画の再生は、HDR静止画の表示、および、HDR静止画を画像処理することによる印刷、を含む。つまり、本開示において、再生は、表示および印刷を含む。
【0013】
(HDR表示技術の背景)
図1は、映像技術の進化について説明するための模式図である。
【0014】
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれていた。そして、従来の720×480画素のStandard Definition (SD)映像に代えて、1920×1080画素のHigh Definition(HD)映像が普及している。
【0015】
近年、更なる高画質化のために、3840×2160画素のUltra High Definition(UHD)映像、あるいは、さらに画素数が多い4096×2160画素の映像(いわゆる、4K映像)が提案されている。また、4K映像とともに、輝度範囲(以下、「ダイナミックレンジ」ともいう)の拡張、色域の拡大、フレームレートの増加、等も検討されている。
【0016】
ダイナミックレンジに関しては、暗部階調を維持しつつ、現行のテレビジョン信号での表現が困難な鏡面反射光等の明るい光を、より現実に近い明るさで表現するための方式として、HDR(High Dynamic Range)が提案されている。これまでのテレビジョン信号は、SDR(Standard Dynamic Range)と呼ばれ、最大輝度が100nitであった。一方、HDRでは、1000nit以上まで最大輝度を拡大することが想定されている。そして、SMPTE(Society of Motion Picture and Television Engineers)、ITU−R(International Telecommunication Union−Radiocommunication Sector)等において、マスタリングディスプレー用の規格の標準化も進行中である。HDRの具体的な適用先としては、HDやUHDと同様に、放送やパッケージメディア(Blu−ray(登録商標) Disc等)、インターネット配信、等がある。
【0017】
(HDR表示技術)
図2は、HDR表示技術について説明するための模式図である。
【0018】
HDRは、単なる非常に明るいテレビジョンセットを実現するための方式ではない。HDRとは、映像の輝度範囲(ダイナミックレンジ)を、SDRの一例であるBT.709(Broadcasting Service (Television) 709)の規格で定められた0.1nit−100nitから、例えばSMPTE(Society of Motion Picture and Television Engineers:米国映画テレビ技術者協会)におけるST2084で定められた0−10,000nitに拡張して、従来は表現できなかった、明るい太陽、空、および光線の反射等の輝度の高い画像の表現を可能にしたり、明るい部分と暗い部分とを同時に記録することを可能にしたりする方式である。なお、ここでいう輝度とは、光学的な輝度のことであり、光源の明るさを表す物理量のことである。HDRには、撮像後にグレーディング処理(映像の色やトーンを調整する処理)を行う映像(パッケージされる映像)およびIP(Internet Protocol)配信される映像等に適したST2084(PQ方式)と、ライブ放送の映像およびユーザに撮像された映像に適したHybrid Log Gamma(HLG方式)との2つの方式がある。
【0019】
このように、HDRの表示技術には、SDRとHDRとの互換性を実現できるHLG方式と、SDRとHDRとの単純な表示互換性がないPQ方式とがある。なお、PQ方式は、HDR10方式ともいう。
【0020】
図3Aは、PQ方式を説明するための模式図である。図3Bは、HLG方式を説明するための模式図である。
【0021】
図3Aに示すように、PQ方式は、SDRとHDRとの互換性がない方式である。この方式の場合、SDRとHDRとは、個別にグレーディングされて個別に伝送される。また、この方式の場合、Ultra HD Blu−ray(登録商標)で再生された映像を、SDRTV(SDRには対応しているが、HDRには対応していないテレビジョンセット)に表示させる場合は、HDRの映像データをSDRの映像データに変換するSDR変換が必要となる。
【0022】
図3Bに示すように、ITU−R(The ITU Radiocommunication Sector:国際電気通信連合 無線通信部門)の2100 Hybrid Log Gamma(HLG)は、SDRとHDRとの互換性を有する方式である。この方式の場合、HLG用のグレーディングが行われ、HLG用ストリームのみが伝送される。HLG用ストリームは、SDRに対する互換性がある。このため、HDRの映像データを、SDRTVに表示させる場合に、HDRの映像データをSDRの映像データに変換するSDR変換は不要である。
【0023】
図4は、HDRに対応しているHDR画像の一例と、SDRに対応しているSDR画像の一例とを比較して示した図である。図4には、室内の比較的暗い景色と窓の外の比較的明るい景色とが混在する、明暗差が相対的に大きい1枚の画像を、HDR画像とSDR画像とで示す。
【0024】
HDR画像は、HDR静止画データまたはHDR動画データを再生することで得られる画像である。SDR画像は、SDR静止画データまたはSDR動画データを再生することで得られる画像である。図4の上段に例示するように、HDR画像では、窓の外の比較的明るい景色と、室内の比較的暗い景色とが、ともに適切な明るさで表現されている。一方、SDR画像では、図4の下段に例示するように、窓の外の比較的明るい景色が表現されるように露出が調整されている場合、室内の比較的暗い景色は、暗くなりすぎて一部に黒潰れが生じ、見えにくくなっている。仮に、室内の景色が適切に表現されるように露出が調整された場合は、窓の外の景色は、明るくなりすぎて一部に白飛びが生じ、見えにくくなってしまう(図示せず)。このように、HDR画像は、SDR画像において実現が困難であった、比較的明るい景色と比較的暗い景色とが混在する、明暗差が相対的に大きい1枚の画像において白飛びと黒潰れとの両方を低減した階調性の高い画像を実現することができる。
【0025】
図5は、画像撮像時の輝度の尺度の一例を示す図である。
【0026】
被写体をカメラで撮像する場合、一般的には、図5に示すように、反射率が18%になる18%グレーを明るさの基準点とする。18%グレーは、明るさの基準になる基準反射率である。図5に示すStop数は、輝度を相対的に表しており、18%グレーにおける輝度を基準点とし、基準点のStop数を0とする。Stop数は、輝度が2倍になる毎に1ずつ増加し、輝度が1/2倍になる毎に1ずつ減少するように定義されている。
【0027】
被写体をカメラで撮像するときに、カメラのイメージセンサ(例えば、CMOS(complementary Metal−Oxide Semiconductor)、またはCCD(Charge Coupled Device)、等)から得られる輝度は、絞り、シャッタースピード、感度設定、等による露出に応じて変化する。つまり、イメージセンサから得られる輝度は、同じ明るさの被写体を撮像したとしても、露出に応じて異なる値となる。このために、Stop数の値自体は絶対的な値ではなく、相対的な値である。つまり、Stop数では、輝度を表すことはできない。
【0028】
また、カメラで被写体を撮像するときには、通常は、被写体の明るさに応じて、露出が調整される。例えば、図5の(1)に暗い被写体の一例として示す夜のシーンをカメラで撮像する場合は、一般的には、画像の大部分を占める暗い領域の黒潰れを起こさないようにするために、シャッタースピードを遅くする、絞りを開ける、等の設定により、暗い領域の階調が表され、画像における面積が比較的少ない明るい領域は白飛びさせるような露出の調整を、カメラに対して行う。
【0029】
図5の(2)に中程度の明るさの被写体の一例として示す昼の室内のシーンをカメラで撮像する場合は、一般的には、暗い部分と明るい部分とのバランスが良くなるような露出の調整を、カメラに対して行う。
【0030】
図5の(3)に明るい被写体の一例として示す昼の屋外のシーンをカメラで撮像する場合は、一般的には、シャッタースピードを速くする、絞りを絞る、等の設定により、画像の大部分を占める明るい領域の白飛びを防ぐような露出の調整を、カメラに対して行う。
【0031】
このようにして得られた相対的な輝度を、絶対的な輝度に変換するためには、露出の基準点からの相対関係を計算する必要がある。
【0032】
図6は、撮像された画像の輝度の一例を示す図である。
【0033】
図6に示す撮像された画像を、以下、原画像70とする。原画像70では、明るさの基準になる0 Stopに対応する輝度18nitを有する画素の領域を領域Aとして示す。また、原画像70では、2.3 Stopsに対応する輝度90nitを有する画素の領域を領域Bとして示す。また、原画像70では、ほぼ黒の−3 Stopsに対応する輝度2.3nitを有する画素の領域を領域Cとして示す。また、原画像70では、6 Stopsに対応する輝度1150nitを有する画素の領域を領域Dとして示す。領域Dには、太陽を撮像することで得られた画素が含まれており、非常に明るい輝度(例えば、原画像70において最も明るい輝度)が得られている。また、原画像70では、4 Stopsに対応する輝度290nitを有する画素の領域を領域Eとして示す。領域Eで示される領域には、鏡面反射を起こしている場所を撮像することで得られた画素が含まれている。
【0034】
次に、原画像70をSDR画像へ変換するSDRグレーディング処理(マスタリング処理)について説明する。
【0035】
SDRグレーディング処理は、カメラで撮像された、100nit以上の高輝度成分を有するコンテンツの映像(原画像)を、BT.709等の放送規格に適合するように変換する処理であり、原画像に対してニーカーブ処理を施すことで実現される。ニーカーブ処理は、ニーカーブによって入力信号を変換する処理であり、ニーカーブは、一定値(ニーポイント)以上の入力信号に対してゲインを圧縮して出力する入出力変換カーブである。SDRグレーディング処理では、原画像における一定値(ニーポイント)以下の輝度に対してはゲインを1とし(すなわち、入力される輝度をそのまま出力し)、一定値(ニーポイント)以上の輝度に対しては、所定の輝度に収まるようにゲインを圧縮する。所定の輝度は、例えば、処理後の画像を表示する表示装置で表示可能な最大輝度であってもよく、処理後の画像をBT.709に適合させる場合は100nitであってもよい。したがって、例えば、原画像70に対してSDRグレーディング処理を施す場合、通常のグレーディング処理で、ニーポイント(例えば、80nit前後)までは現画像70の輝度をそのままリニアに保持し、ニーポイント以上の輝度は、現画像70の最高輝度が100nitに収まるように、各輝度を低減する。
【0036】
図7Aは、図6で示した原画像70をSDR画像71にマスタリングした結果の輝度の一例を示す図である。図7Bは、原信号値をSDR信号値に変換する(以下、「マスタリングする」ともいう)ための、原信号値とSDR信号値との関係の一例を模式的に示す図である。なお、原信号値とは、原画像(例えば、原画像70)の0nit〜最大輝度(例えば、1150nit)の輝度範囲における輝度(以下、「原画像の輝度」という)であり、SDR信号値とは、SDRの輝度範囲における輝度(以下、「SDRの輝度」という)である。なお、図7Bでは、原信号値の最大値を10000としているが、原信号値の最大値は原画像によって変化する。例えば、図6に示した原画像70に関しては、原信号値の最大値は1150である。
【0037】
原画像70において、0 Stopに対応する画素は、明るさの基準になる基準輝度を有する画素である。このため、原画像70からSDR画像71へのマスタリングにより、原画像70をSDR画像71に変換した後も、原画像70における0 Stopに対応する原画像70の輝度(18nit)を、変更せずに、SDRの輝度(18nit)とする(図7AのSDR画像71において領域Aで示す領域を参照)。
【0038】
ここでは、図7Bに示すニーカーブによって、原画像70からSDR画像71へのマスタリングを行う例を説明する。ただし、図7Bに示す原信号値の最大値は10000ではなく1150となる。また、ニーポイントは90とする。このマスタリングでは、原画像70の90nitに対応する原画像70の輝度以下の輝度範囲(0〜90nit)においては、原画像70の輝度を、変更せずに、SDRの輝度とする。すなわち、原画像70において0〜90nitの画素は、マスタリング後のSDR画像71でも、0〜90nitの画素となる。また、原画像70の90nitに対応する原画像70の輝度より大きい原画像70の輝度範囲(90〜1150nit)においては、原画像70の輝度を、90〜100nitの輝度範囲のSDRの輝度に、線形変換する。すなわち、原画像70において90〜1150nitの画素は、マスタリング後のSDR画像71では、90〜100nitの画素となる。
【0039】
例えば、原画像70において90nitに対応する画素は、原画像70からSDR画像71へのマスタリングにより、原画像70をSDR画像71に変換した後も、原画像70における90nitに対応する原画像70の輝度を、変更せずに、SDRの輝度とする(図7AのSDR画像71において領域Bで示す領域を参照)。
【0040】
また、例えば、原画像70において2.3nitに対応する画素は、原画像70からSDR画像71へのマスタリングにより、原画像70をSDR画像71に変換した後も、上述と同様に、原画像70における2.3nitに対応する原画像70の輝度を、変更せずに、SDRの輝度とする(図7AのSDR画像71において領域Cで示す領域を参照)。
【0041】
一方、例えば、原画像70において1150nitに対応する画素は、原画像70からSDR画像71へのマスタリングにおいて、原画像70における1150nitに対応する原画像70の輝度を、SDRの最大輝度である100nitに変換する(図7AのSDR画像71においてDで示す領域を参照)。
【0042】
また、例えば、原画像70において290nitに対応する画素は、原画像70からSDR画像71へのマスタリングにおいて、原画像70における290nitに対応する原画像70の輝度を、95nitに変換する(図7AのSDR画像71において領域Eで示す領域を参照)。
【0043】
図8Aは、図6で示した原画像70をHDR画像72にマスタリングした結果の輝度の一例を示す図である。図8Bは、原信号値をHDR信号値に変換する(マスタリングする)ための、原信号値とHDR信号値との関係の一例を模式的に示す図である。なお、HDR信号値とは、HDRの輝度範囲における輝度(以下、「HDRの輝度」という)である。なお、この実施例では、原画像70からHDR画像72へのマスタリングにおいて、2000nitまでの輝度をHDRの輝度とすることが許されているものとする。一方、上述したように、原画像70の最大輝度は1150nitである。そのため、HDR画像72においては、原画像70の輝度をそのまま保持できる。
【0044】
原画像70において、0 Stopに対応する画素は、明るさの基準になる基準輝度を有する画素である。そのため、その画素に関しては、原画像70からHDR画像72へのマスタリングにより、原画像70をHDR画像72に変換した後も、原画像70における輝度を変更せずに、HDRの輝度とする(図8AのHDR画像72において領域Aで示す領域)。
【0045】
同様に、例えば、原画像70において90nitに対応する画素と、原画像70において2.3nitに対応する画素と、原画像70において1150nitに対応する画素と、原画像70において290nitに対応する画素と、のそれぞれに関しても、原画像70からHDR画像72へのマスタリングにより原画像70をHDR画像72に変換した後も、原画像70の輝度を、変更せずに、HDRの輝度とする(図8AのHDR画像72において領域B、領域C、領域D、領域Eで示す領域を参照)。
【0046】
図9は、HDRまたはSDRに対応した撮像装置と、撮像装置によって得られる画像データのファイルフォーマットと、画像データを表示する表示装置または画像データを印刷する印刷装置と、について説明するための模式図である。
【0047】
図9に示すHDR撮像装置10は、HDRでの撮像に対応している。HDR撮像装置10は、HDR撮像部11と、SDR撮像部14と、変換部12と、JPEG圧縮部13と、を備える。HDR撮像装置10は、HDR撮像部11においてHDR撮影モードで撮像されて得られた画像データが、SDR表示装置40で表示されること、またはSDR印刷装置50で印刷されることに対応できるように構成されている。具体的には、HDR撮像装置10では、HDR撮像部11においてHDR撮影モードで撮像されて得られたHDR画像のHDR静止画データが、変換部12においてSDR静止画データに変換される。そして、HDR撮像装置10では、変換部12での変換により得られたSDR静止画データが、JPEG圧縮部13においてJPEG圧縮され、その圧縮により得られたJPEGフォーマットのSDR静止画データが出力される。また、HDR撮像装置10では、SDR撮像部14において従来の撮映モード(SDR撮映モード)で撮像されて得られたSDR画像のSDR静止画データについても、JPEG圧縮部13でJPEG圧縮され、圧縮により得られたJPEGフォーマットのSDR静止画データが出力される。
【0048】
SDR撮像装置20は、SDR撮像部21と、JPEG圧縮部22と、を備える。SDR撮像装置20では、HDR撮像装置10において従来の撮映モード(SDR撮映モード)で撮像が行われる場合と同様に、SDR撮像部21での撮像で得られたSDR画像のSDR静止画データが、JPEG圧縮部22でJPEG圧縮され、その圧縮により得られたJPEGフォーマットのSDR静止画データが出力される。
【0049】
したがって、HDR表示装置30、SDR表示装置40、およびSDR印刷装置50では、HDR撮像によるHDR静止画データがSDR変換されて得られたSDR静止画データ、または、SDR撮像によるSDR静止画データを取得して、当該SDR静止画データによるSDR画像を再生(表示または印刷)する。
【0050】
次に、HDR撮影モードについて図10および図11を用いて説明する。
【0051】
図10および図11は、2つの画像を合成することにより輝度範囲(ダイナミックレンジ)を拡大した画像を得るHDR撮影モードについて説明するための模式図である。
【0052】
スマートフォンおよびデジタルカメラ等には、輝度範囲(ダイナミックレンジ)が広い映像を撮像できるHDR撮影モードを有するものがある。HDR撮影モードでは、図10および図11の(a)に示すように、輝度範囲(ダイナミックレンジ)が広いHDR画像データを得るために、2重露光(同一被写体を互いに異なる露光状態で複数回撮像する手法)等で得られた2つのSDR画像が、SDRで定められた輝度範囲に収まるように合成される。これにより、図10および図11の(b)に示すように、HDR画像をSDR表示装置で表示することが可能になる。
【0053】
次に、図12を用いて、HDR表示用に撮像されたHDR画像について説明する。
【0054】
図12は、HDR表示用に撮像されたHDR画像について説明するための模式図である。
【0055】
図12に示すように、HDR表示用のHDR画像は、撮像の対象となるシーンの明るさが、SDR撮影モードよりも広い輝度範囲(ダイナミックレンジ)で、撮像される。この撮像により得られた画像データにグレーディング処理が施されてHDR表示用のHDR画像が生成され、そのHDR画像が各装置に伝送されて再生される。HDR画像は、SDR画像よりも輝度範囲(ダイナミックレンジ)が広いため、そのままではSDR表示装置で表示することはできない。HDR画像をSDR表示装置で表示するためには、HDR画像からSDR画像への変換が必要となる。
【0056】
一方、図10および図11を用いて説明したHDR撮影モードでは、合成後の画像は、SDRで定められた輝度範囲に収まるように生成されているため、HDR表示装置30とSDR表示装置40(またはSDR印刷装置50)との双方で再生することが可能である。
【0057】
図9に戻って説明を続ける。近年、HDR画像を表示するためのHDR画像データを、SDR変換をせずに表示することができる、HDRTV等のHDR表示装置が提案されている。
【0058】
一方、HDR撮影モード(HDR撮像機能)を有するカメラでは、HDRTVとは異なり、主に、逆光補正等を目的としてHDR技術が使用されている。そして、そのカメラでHDR技術を使用して撮像された静止画像は、SDR表示装置またはSDR印刷装置で再生されることがある。そのため、そのカメラは、映像用のHDR画像データを生成することが可能な撮像素子を備え、HDR技術を用いた撮像が可能であるにも関わらず、HDR撮影モードで撮像したHDR画像をSDR変換し、SDR静止画データを出力する場合がある。このように、HDR撮像機能を有するカメラでは、HDRTVの表示能力を活かすような輝度範囲(ダイナミックレンジ)が広いHDR画像データを生成することが可能であるにもかかわらず、HDR画像データが生成されていない場合があった。
【0059】
図13は、SDR印刷装置50に画像を印刷させる場合の課題について説明するための模式図である。
【0060】
HDRTV(例えば、HDR表示装置30)のHDR表示機能を活かすためには、HDR表示用のHDR画像データが生成されたときに、HDR画像データをSDR画像データに変換せず、そのままのHDR画像データをHDRTVで表示すればよい。
【0061】
図13に示すHDR撮像装置10Aは、HDR撮像部11と、SDR撮像部14と、変換部12と、JPEG圧縮部13と、HDR画像補正部15と、HEVC(High Efficiency Video coding)圧縮部16と、を備える。HDR撮像装置10Aは、HDR画像データを生成するために、HDR画像補正部15においてHDR画像補正を行う。
【0062】
HDR画像補正部15では、例えば、HDR撮像部11で撮像が行われることにより得られたRAWデータを、PQカーブ等のHDR−EOTF(HDR−Electro−Optical Transfer Function)を用いて、HDRTV(例えば、HDR10規格に対応したHDR表示装置30)で表示可能な10ビット画像に変換する。そして、HDR撮像装置10Aは、HDR画像補正部15により得られたHDR画像データを、例えば、HEVC圧縮部16からHDMI(登録商標、High−Definition Multimedia Interface)経由でHDRTV(例えば、HDR表示装置30)に出力する。これにより、そのHDR画像データを受信したHDRTV(例えば、HDR表示装置30)では、そのHDR画像データに応じたHDR画像が表示される。
【0063】
また、HDR画像データに対して疑似HDR変換を行い、疑似HDR変換によって得られたSDR形式の疑似HDR画像をSDR表示装置40に出力することで、SDR表示装置40に、SDR画像データを表示させるよりも高品位な画像を表示させることができる。なお、疑似HDR変換とは、HDR画像を、SDR表示装置40が表示できる最大輝度値に合わせた輝度範囲(ダイナミックレンジ)を有するSDR形式の画像(疑似HDR画像)へ変換することである。
【0064】
しかしながら、SDR印刷装置50においては、HDR画像データを高品位に印刷することができない。そのため、SDR印刷装置50では、従来のSDR撮影モードで撮像が行われることで得られたSDR画像データを印刷する。つまり、SDR印刷装置50では、高品位なHDR画像データが得られたとしても、高品位なHDR画像データによる高品位な画像を印刷することができない。
【0065】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明、および実質的に同一の構成に対する重複説明等を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0066】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0067】
また、各図は、必ずしも厳密に図示されたものではなく、本開示をわかりやすく示すために適宜省略等を行った模式図である。また、各図において、実質的に同じ構成要素については同じ符号を付し、説明を省略または簡略化する場合がある。
【0068】
(1.実施の形態1)
本実施の形態では、SDR印刷装置50において高品位な画像を印刷できるようにするための静止画データを生成する画像処理装置を開示する。
【0069】
(1−1.構成)
図14は、実施の形態1における画像処理装置100のハードウェア構成の一例を模式的に示すブロック図である。
【0070】
図14に示すように、画像処理装置100は、ハードウェア構成として、CPU(Central Processing Unit)101と、メインメモリ102と、ストレージ103と、入力IF(Interface)104と、通信IF(Interface)105と、を備える。
【0071】
CPU101は、ストレージ103等に記憶された制御プログラムを実行するプロセッサである。
【0072】
メインメモリ102は、CPU101が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。メインメモリ102は、例えば半導体メモリ等によって構成することができる。
【0073】
ストレージ103は、制御プログラムおよびコンテンツ等を保持する不揮発性の記憶領域である。ストレージ103は、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ、等によって構成することができる。
【0074】
入力IF104は、キーボード、マウス、タッチパッド、ボタン、タッチパネル、等である。
【0075】
通信IF105は、通信ネットワークを介して他の装置と通信する通信インタフェースである。他の装置とは、例えば、後述する印刷装置200、入力装置300等である。通信IF105は、例えば、IEEE802.11a、b、g、n規格に適合した無線LAN(Local Area Network)インタフェースであるが、第3世代移動通信システム(3G)、第4世代移動通信システム(4G)、または、LTE(登録商標、LONG Term Evolution)等の移動通信システムで利用される通信規格に適合した無線通信インタフェースであってもよいし、Bluetooth(登録商標)規格に適合した無線通信インタフェースであってもよい。また、通信IF105は、有線LANインタフェース、USB(Universal Serial Bus)インタフェース等の有線通信インタフェースであってもよい。
【0076】
図15は、実施の形態1における画像処理装置の機能構成の第1の例を模式的に示すブロック図である。
【0077】
画像処理装置100は、取得部110と、変換部120と、出力部130と、を備える。画像処理装置100は、撮像装置に組み込まれた装置として実現されてもよいし、単独の装置として実現されてもよい。また、画像処理装置100には、印刷装置200が、有線接続または無線接続されている。印刷装置200は、図9に示したSDR印刷装置50の一例である。
【0078】
取得部110は、撮像により得られた第1静止画データD1と、印刷装置200の印刷能力を示す能力情報I1と、を取得する。第1静止画データD1は、輝度範囲が第1のダイナミックレンジで定義された静止画データである。第1のダイナミックレンジは、例えば、HDR(High Dynamic Range)である。
【0079】
取得部110は、能力情報I1として、例えば、印刷装置200で印刷に用いる用紙(または、印刷装置200に設定されている用紙)の種類を示す紙情報を取得してもよい。紙情報は、例えば、ユーザが印刷装置200に画像を印刷させる際の指示(以下、「印刷指示」ともいう)に含まれていてもよい。
【0080】
また、取得部110は、印刷装置200で印刷に用いる用紙に特定のパターン(以下、「テストパターン」ともいう)を印刷することにより得られる印刷結果を能力情報I1として取得してもよい。取得部110は、ユーザが、印刷結果を画像処理装置100(または、印刷装置200)に入力することで、当該印刷結果を取得してもよい。この印刷結果については後述する。
【0081】
取得部110は、第1静止画データD1を、例えば、画像処理装置100に有線接続または無線接続された、撮像装置、情報端末、または記憶装置、等から取得してもよい。第1静止画データD1を取得する取得部110は、例えば、通信IF105(図14参照)により実現されてもよい。
【0082】
取得部110は、例えば、能力情報I1としての紙情報を含む印刷指示を、ユーザからの入力操作を受け付けることにより取得してもよい。能力情報I1を取得する取得部110は、例えば、入力IF104(図14参照)により実現されてもよい。なお、取得部110は、印刷指示を取得せずに能力情報I1を取得してもよい。
【0083】
変換部120は、取得部110により取得された第1静止画データD1を、取得部110により取得された能力情報I1が示す印刷能力に応じて、第2静止画データD2に変換する。第2静止画データD2は、第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された静止画データである。
【0084】
変換部120は、能力情報I1が、用紙の種類を示す情報を含む紙情報である場合、予め定められた関係を示す情報を参照することで、取得部110により取得された紙情報が示す用紙の種類に対応する反射輝度を特定する。なお、当該予め定められた関係を示す情報は、複数の用紙の種類と、複数の用紙の種類のそれぞれに対応している反射輝度との関係を示した情報である。そして、変換部120は、紙情報により特定された反射輝度を最大輝度とする輝度範囲(ダイナミックレンジ)を第2のダイナミックレンジとして、第1静止画データD1を第2静止画データD2へ変換する。なお、反射輝度とは、用紙に規定の輝度の光を照射したときに当該用紙で反射される当該光の輝度のことである。規定の輝度は、例えば、一般的な室内の明るさを表す輝度で定義されてもよく、あるいは、その他の任意に定められた輝度であってもよい。そして、当該予め定められた関係(複数の用紙の種類と反射輝度との関係)を示す情報は、予め、複数の種類の用紙のそれぞれに、規定の輝度の光を照射し、各用紙で反射された光の輝度を計測した結果から得ることができる。当該予め定められた関係を示す情報は、例えば、複数の用紙の種類と反射輝度との関係を表したテーブルにより示されてもよく、ストレージ103に記憶されていてもよい。また、当該予め定められた関係を示す情報は、外部の情報処理装置(図示せず)から通信ネットワークを介して取得されてもよい。
【0085】
変換部120は、取得部110により取得された能力情報I1が印刷結果を示す情報を含む場合、その印刷結果に応じて決定した輝度範囲(ダイナミックレンジ)を、第2のダイナミックレンジとする。そして、変換部120は、その第2のダイナミックレンジに基づき、第1静止画データD1を第2静止画データD2へ変換する。
【0086】
変換部120は、例えば、CPU101、メインメモリ102、ストレージ103(図14参照)、等により実現されてもよい。変換部120は、半導体集積回路等で構成された専用回路により実現されてもよい。
【0087】
出力部130は、変換部120により第1静止画データD1から変換された第2静止画データD2を、印刷装置200に出力する。出力部130は、例えば、通信IF105(図14参照)により実現されてもよい。
【0088】
印刷装置200は、画像処理装置100からの第2静止画データD2およびユーザからの印刷指示を受信する。そして、印刷装置200は、受信した印刷指示において指定された種類の用紙に、受信した第2静止画データD2が示す静止画を印刷する。
【0089】
なお、画像処理装置100は、印刷装置200に、テストパターンを印刷させるための印刷指示を出力し、印刷装置200にそのテストパターンの印刷を実行させてもよい。また、画像処理装置100は、ディスプレイ(図示せず)を備えていてもよい。あるいは、画像処理装置100にディスプレイが接続されていてもよい。そして、画像処理装置100は、テストパターンの印刷を実行させる印刷指示を印刷装置200に出力した後に、テストパターンが用紙に印刷されることで得られる印刷結果をユーザに入力してもらうための入力指示を、ディスプレイに表示してもよい。この入力指示は、例えば、テストパターンが印刷された用紙から得られる印刷結果の入力をユーザに促す、メッセージ、画像、またはUI(User Interface)、等であってもよい。
【0090】
図16は、実施の形態1におけるテストパターン150を用紙に印刷した結果の一例を示す図である。
【0091】
本実施の形態では、特定のパターン(テストパターン)として、例えば図16に示すテストパターン150が、印刷装置200で印刷に用いる用紙P1に印刷される。図16に一例として示すテストパターン150には、パターン1〜3と、パターン4〜6と、が含まれている。パターン1〜3は、図16に示すように、用紙P1において、左側上段(図16における左側上段)の領域に、縦方向に並列に3本の比較基準となる黒が配置され、各黒の右側の領域にグレーが配置され、各グレーの濃さが上から順に薄くなるパターンである。すなわち、パターン1〜3は、用紙P1の左側(図16における左側)に配置された3本の黒を比較基準として、各黒の右側に配置されたグレーが、濃いグレーから薄いグレーに3段階で変化するパターンである。パターン4〜6は、図16に示すように、用紙P1において、左側下段(図16における左側下段)の領域に、縦方向に並列に3本の比較基準となる白が配置され、各白の右側の領域にグレーが配置され、各グレーの濃さが上から順に薄くなるパターンである。すなわち、パターン4〜6は、用紙P1の左側(図16における左側)に配置された3本の白を比較基準として、各白の右側に配置されたグレーが、薄いグレーからさらに薄いグレーに3段階で変化するパターンである。なお、図16に示すように、パターン1〜6には、パターン1〜6を互いに区別するための数字1〜6が並記されている。
【0092】
なお、パターン1〜6の配置位置は何ら図16に示す配置位置に限定されない。各パターンが横方向に配置されていてもよい。また、パターン1〜6以外のパターンがテストパターン150に含まれていてもよい。また、テストパターン150に含まれるパターンの数は5以下であってもよく、7以上であってもよい。例えば、パターン1〜6に加えて、グレーの濃さがより細かく変化した単数または複数のパターンが、図16に示すテストパターン150にさらに含まれていてもよい。
【0093】
画像処理装置100においては、例えば、テストパターン150が印刷された用紙P1を参照し、比較基準の黒または白とグレーとの階調を判別できるパターン(または、判別できないパターン)の番号を画像処理装置100(または、印刷装置200)に入力することをユーザに促す入力指示が、例えばディスプレイ等を通して、ユーザに示される。一方、画像処理装置100には、パターン1〜3の各番号とパターン4〜6の各番号との組み合わせ(例えば、9通りの組み合わせ)と、輝度範囲(ダイナミックレンジ)とが対応付けられたテーブルが、例えばストレージ103等に記憶されている。そして、その入力指示に従った入力操作がユーザにより行われることで、画像処理装置100は、パターン1〜6の番号の組み合わせを取得する。このようにして得られた番号の組み合わせを、本実施の形態では「印刷結果」という。この番号の組み合わせは、印刷結果の一例である。なお、図16に示すテストパターン150では、番号に代えて、例えば、アルファベット、記号、その他の文字、またはそれらの組み合わせ、等が用いられてもよい。
【0094】
画像処理装置100では、パターン1〜6の番号の例えば9通りの組み合わせのそれぞれに予め対応付けられている輝度範囲の中から、ユーザによって入力された2つの番号(すなわち、パターン1〜3のいずれかの番号とパターン4〜6のいずれかの番号)に対応する1つの輝度範囲が、当該用紙に対応する第2のダイナミックレンジとして選択される。それらの動作の具体的な一例を示す。例えば、画像処理装置100において、ユーザに、パターン1〜3のうちの階調を判別できる最も小さいパターンの番号と、パターン4〜6のうちの階調を判別できる最も大きいパターンの番号とを入力することを促す入力指示が、ディスプレイ等を通して、示される。そして、画像処理装置100は、その入力指示に従ってユーザから入力された2つパターンの番号に基づき、そのパターンの番号の組合せに予め対応付けられた輝度範囲を選択し、選択した輝度範囲を第2のダイナミックレンジとする。このようにして、第2のダイナミックレンジが、画像処理装置100において決定される。
【0095】
図17は、実施の形態1に示す変換部120における、第1のダイナミックレンジから第2のダイナミックレンジへ変換するための、第1のダイナミックレンジの信号値と第2のダイナミックレンジの信号値との関係の一例を模式的に示す図である。なお、第1のダイナミックレンジの信号値は、例えば、HDRにおける輝度であり、第2のダイナミックレンジの信号値は、HDRの最大輝度よりも小さい最大輝度を有する輝度範囲(ダイナミックレンジ)の輝度である。
【0096】
表示装置では、画素毎に、光の3原色であるRGB(Red、Green、Blue)の発光の強弱が調整されることで、画像が表示される。そのため、表示装置では、画像は絶対輝度で表現される。一方、印刷装置では、用紙に、CMYK(Cyan、Magenta、Yellow、blacK)を含む複数の塗料が印刷されることで、画像が表示される。用紙に印刷された画像は、用紙に塗布された塗料に応じて反射した光の輝度で表現される。そのため、その画像における最大輝度は、塗料が塗布されていない白(用紙の白)の領域の輝度となる。また、用紙の種類(用紙の反射率)、用紙へ照射される光の輝度、用紙へ照射される光の角度、等によって、用紙において反射される光の明るさは変化する。
【0097】
したがって、輝度範囲(ダイナミックレンジ)が拡張された高品位な画像を用紙に印刷するためには、用紙の種類、画像が印刷された用紙を設置する環境を照射する光源の種類および明るさ、等を想定した上で、HDR画像の信号レベルを第1のダイナミックレンジから第2のダイナミックレンジへ変換する変換処理を行うことが有効である。
【0098】
変換部120は、例えば、図17に示すように、第1のダイナミックレンジを、用紙の表現能力の上限(すなわち、用紙の白で表現される輝度)を最大輝度とした第2のダイナミックレンジへ変換する処理を行うことで、第1静止画データD1としてのHDR画像データを、第2静止画データD2へ変換する。用紙の白で表現される最大輝度は、例えば、用紙の反射率から求めることができる。変換部120は、例えば、用紙の反射率を用いて、規定の輝度の光が当該用紙の白で反射したときの反射光の輝度(以下、「反射輝度」という)を算出し、算出した反射輝度を当該用紙の表現能力の上限としてもよい。
【0099】
また、変換部120は、第1静止画データD1における最大輝度を取得し、第1静止画データD1における最大輝度が反射輝度となるように、輝度範囲(ダイナミックレンジ)を変換することにより、第1静止画データD1を第2静止画データD2へ変換してもよい。
【0100】
(1−2.動作)
図18は、実施の形態1における画像処理装置100の動作の一例を示すフローチャートである。
【0101】
取得部110は、第1静止画データD1を取得する(ステップS101)。
【0102】
取得部110は、能力情報I1を取得する(ステップS102)。
【0103】
変換部120は、取得部110により取得された第1静止画データD1を、取得部110により取得された能力情報I1が示す印刷能力に応じた第2のダイナミックレンジに基づき、第2静止画データD2に変換する(ステップS103)。
【0104】
出力部130は、変換部120により第1静止画データD1から変換された第2静止画データD2を、印刷装置200に出力する(ステップS104)。
【0105】
(1−3.効果等)
以上のように、本実施の形態において、画像処理装置は、撮像により得られ輝度範囲が第1のダイナミックレンジで定義された第1静止画データと印刷装置の印刷能力を示す能力情報とを取得する取得部と、取得部により取得された第1静止画データを、取得部により取得された能力情報が示す印刷能力に応じて、第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換する変換部と、変換部により変換された第2静止画データを印刷装置に出力する出力部と、を備える。
【0106】
また、本実施の形態において、画像処理方法は、撮像により得られ輝度範囲が第1のダイナミックレンジで定義された第1静止画データを取得し、印刷装置の印刷能力を示す能力情報を取得し、取得した第1静止画データを、取得した能力情報が示す印刷能力に応じて、第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換し、変換した第2静止画データを印刷装置に出力する。
【0107】
なお、画像処理装置100は画像処理装置の一例である。第1静止画データD1は第1静止画データの一例である。印刷装置200は印刷装置の一例である。能力情報I1は能力情報の一例である。取得部110は取得部の一例である。第2静止画データD2は第2静止画データの一例である。変換部120は変換部の一例である。出力部130は出力部の一例である。
【0108】
例えば、実施の形態1に示した例では、画像処理装置100は、撮像により得られ輝度範囲が第1のダイナミックレンジで定義された第1静止画データD1と印刷装置200の印刷能力を示す能力情報I1とを取得する取得部110と、取得部110により取得された第1静止画データD1を、取得部110により取得された能力情報I1が示す印刷能力に応じて、第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データD2に変換する変換部120と、変換部120により変換された第2静止画データD2を印刷装置200に出力する出力部130と、を備える。
【0109】
また、実施の形態1に示した例では、画像処理装置100で実行される画像処理方法は、撮像により得られ輝度範囲が第1のダイナミックレンジで定義された第1静止画データD1を取得し(ステップS101)、印刷装置200の印刷能力を示す能力情報I1を取得し(ステップS102)、取得した第1静止画データD1を、取得した能力情報I1が示す印刷能力に応じて、第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データD2に変換し(ステップS103)、変換した第2静止画データD2を印刷装置200に出力する(ステップS104)。
【0110】
このように構成された画像処理装置100は、第1静止画データD1を、印刷装置200の印刷能力に応じて決定された第2のダイナミックレンジで定義された第2静止画データD2に変換し、当該第2静止画データD2を印刷装置200に出力することができる。このため、画像処理装置100は、印刷装置200の印刷能力に応じた輝度範囲(ダイナミックレンジ)で、第1静止画データD1に基づく画像を、印刷装置200に印刷させることができる。よって、画像処理装置100は、第1静止画データD1に基づく画像を、印刷装置200に高品位に印刷させることができる。
【0111】
当該画像処理装置において、取得部は、能力情報として、印刷装置で印刷に用いる用紙の種類を示す紙情報を取得してもよい。変換部は、複数の用紙の種類と、当該用紙に光を照射したときに当該用紙で反射される当該光の反射輝度との関係を参照することで、取得部により取得された紙情報が示す用紙の種類に対応する反射輝度を特定してもよい。そして、変換部は、特定した反射輝度を最大輝度とする輝度範囲を第2のダイナミックレンジとして、第1静止画データから第2静止画データへ変換してもよい。
【0112】
例えば、実施の形態1に示した例では、画像処理装置100において、取得部110は、能力情報I1として、印刷装置200で印刷に用いる用紙の種類を示す紙情報を取得する。変換部120は、複数の用紙の種類と、当該用紙に光を照射したときに当該用紙で反射される当該光の反射輝度との関係を参照することで、取得部110により取得された紙情報が示す用紙の種類に対応する反射輝度を特定する。そして、変換部120は、特定した反射輝度を最大輝度とする輝度範囲を第2のダイナミックレンジとして、第1静止画データD1から第2静止画データD2へ変換する。
【0113】
このように構成された画像処理装置100は、第1静止画データD1を、印刷装置200で印刷に用いる用紙の種類に基づく第2のダイナミックレンジで定義された第2静止画データD2に変換し、当該第2静止画データD2を印刷装置200に出力することができる。このため、画像処理装置100は、第1静止画データD1に基づく画像を、当該用紙の表現能力に応じた輝度範囲(ダイナミックレンジ)で、印刷装置200に印刷させることができる。よって、画像処理装置100は、第1静止画データD1に基づく画像を、印刷装置200に高品位に印刷させることができる。
【0114】
当該画像処理装置において、取得部は、能力情報として、印刷装置で印刷に用いる用紙に当該印刷装置が特定のパターンを印刷して得られた印刷結果を取得してもよい。変換部は、取得部により取得された当該印刷結果に応じて決定した輝度範囲を第2のダイナミックレンジとして、第1静止画データから第2静止画データへ変換してもよい。
【0115】
なお、図16に示すテストパターン150は特定のパターンの一例である。図16に示すテストパターン150が印刷された用紙P1を参照したユーザから画像処理装置100が得られるパターン1〜6の番号の組み合わせは、印刷結果の一例である。
【0116】
例えば、実施の形態1に示した例では、画像処理装置100において、取得部110は、能力情報I1として、印刷装置200で印刷に用いる用紙に印刷装置200が特定のパターンを印刷して得られた印刷結果を取得する。変換部120は、取得部110により取得された当該印刷結果に応じて決定した輝度範囲を第2のダイナミックレンジとして、第1静止画データD1から第2静止画データD2へ変換する。
【0117】
このように構成された画像処理装置100では、印刷装置200で印刷に用いる用紙に特定のパターンを印刷し、特定のパターンが印刷された用紙P1に基づく印刷結果をユーザから取得し、取得された印刷結果に応じて、第2のダイナミックレンジを決定することができる。そして、画像処理装置100は、第1静止画データD1を、その第2のダイナミックレンジで定義された第2静止画データD2に変換して、当該第2静止画データD2を印刷装置200に出力することができる。つまり、画像処理装置100は、印刷装置200で印刷に用いる用紙の表現能力(すなわち、当該用紙の白で表現される輝度を最大輝度とした輝度範囲)を容易に推定でき、当該用紙の表現能力に適した輝度範囲(ダイナミックレンジ)を第2のダイナミックレンジとすることで、第2のダイナミックレンジを容易に決定することができる。このため、画像処理装置100は、第1静止画データD1に基づく画像を、印刷装置200に高品位に印刷させることができる。
【0118】
当該画像処理装置において、第1のダイナミックレンジは、HDRであってもよい。
【0119】
例えば、実施の形態1に示した例では、画像処理装置100において、第1のダイナミックレンジは、HDRである。
【0120】
したがって、この画像処理装置100は、HDRに対応している第1静止画データD1の輝度範囲(ダイナミックレンジ)を極力損なわずに、第1静止画データD1に基づく画像を、高品位に印刷装置200に印刷させることができる。
【0121】
(1−4.実施の形態1の変形例)
次に、図19図21を参照しながら、実施の形態1の変形例1〜5について説明する。なお、以下の説明において、実施の形態1で説明した構成要素と実質的に同じ構成要素には、その構成要素と同じ符号を付与し、説明を省略する。また、以下の説明において、画像処理装置100A、100B、100Cは、それぞれが画像処理装置の一例である。取得部110A、110B、110Cは、それぞれが取得部の一例である。変換部120Cは変換部の一例である。印刷装置200A、200Bは、それぞれが印刷装置の一例である。
【0122】
(1−4−1.変形例1)
まず、実施の形態1の変形例1について説明する。
【0123】
図19は、実施の形態1の変形例1における画像処理装置100Aの機能構成の一例を模式的に示すブロック図である。
【0124】
画像処理装置100Aは、取得部110Aと、変換部120と、出力部130と、を備える。変形例1における画像処理装置100Aは、実施の形態1における画像処理装置100と比較して、能力情報I1を入力装置300から取得する点が画像処理装置100と異なる。画像処理装置100Aにおけるその他の構成は、実施の形態1における画像処理装置100と実質的に同じであるので詳細な説明を省略する。
【0125】
取得部110Aは、実施の形態1の画像処理装置100における取得部110と同様に、第1静止画データD1と、能力情報I1と、を取得する。
【0126】
取得部110Aは、実施の形態1の画像処理装置100における取得部110と同様に、第1静止画データD1を、例えば、画像処理装置100Aに有線接続または無線接続された、撮像装置、情報端末、または記憶装置、等から取得してもよい。第1静止画データD1を取得する取得部110Aは、例えば、通信IF105(図14参照)により実現されてもよい。
【0127】
取得部110Aは、能力情報I1を、例えば、画像処理装置100Aに有線接続または無線接続された入力装置300から取得してもよい。取得部110Aが取得する能力情報I1は、実施の形態1と同様に、紙情報であってもよいし、印刷結果であってもよい。能力情報I1を取得する取得部110Aは、例えば、通信IF105(図14参照)により実現されてもよい。
【0128】
入力装置300は、例えば、ユーザが印刷指示を印刷装置200に出力するための情報端末であり、例えば、スマートフォン、タブレット端末、またはPC、等である。入力装置300は、入力IFおよび通信IFを備えており(図示せず)、当該入力IFにおいて入力された紙情報を含む印刷指示を、当該通信IFを用いて画像処理装置100Aに送信する。入力装置300が備える入力IFは、例えば、入力IF104(図14参照)と同様の構成であってもよい。また、入力装置300が備える通信IFは、画像処理装置100Aと通信可能な構成であればよく、例えば、通信IF105(図14参照)と同様の構成であってもよい。
【0129】
このように、画像処理装置100Aは、外部の入力装置300を介して能力情報I1を含む印刷指示を取得してもよい。また、画像処理装置100Aは、ユーザによって入力装置300に入力された印刷結果を、入力装置300から取得してもよい。
【0130】
(1−4−2.変形例2)
次に、実施の形態1の変形例2について説明する。
【0131】
図20は、実施の形態1の変形例2における画像処理装置100Bの機能構成の一例を模式的に示すブロック図である。
【0132】
画像処理装置100Bは、取得部110Bと、変換部120と、出力部130と、を備える。変形例2における画像処理装置100Bは、実施の形態1における画像処理装置100と比較して、能力情報I1を印刷装置200Aから取得する点が画像処理装置100と異なる。画像処理装置100Bにおけるその他の構成は、実施の形態1における画像処理装置100と実質的に同じであるので詳細な説明を省略する。
【0133】
取得部110Bは、実施の形態1における取得部110および変形例1における取得部110Aと同様に、第1静止画データD1と、能力情報I1と、を取得する。
【0134】
取得部110Bは、実施の形態1の画像処理装置100における取得部110と同様に、第1静止画データD1を、例えば、画像処理装置100Bに有線接続または無線接続された、撮像装置、情報端末、または記憶装置、等から取得してもよい。第1静止画データD1を取得する取得部110Bは、例えば、通信IF105(図14参照)により実現されてもよい。
【0135】
取得部110Bは、能力情報I1を、例えば、画像処理装置100Bに有線接続または無線接続された印刷装置200Aから取得してもよい。取得部110Bが取得する能力情報I1は、実施の形態1および変形例1と同様に、紙情報であってもよいし、印刷結果であってもよい。能力情報I1を取得する取得部110Bは、例えば、通信IF105(図14参照)により実現されてもよい。
【0136】
印刷装置200Aは、ユーザが印刷指示を印刷装置200Aに入力するための入力IF201を備える。印刷装置200Aは、入力IF201への印刷指示をユーザから受け付けると、当該印刷指示を、印刷装置200Aが備える通信IF(図示せず)を介して、画像処理装置100Bに送信する。入力IF201は、例えば、タッチパネル、入力ボタン、およびディスプレイ、等のうちの1つまたは複数を備えて構成される。印刷装置200Aが備える通信IFは、画像処理装置100Bと通信可能な構成であればよく、例えば、通信IF105(図14参照)と同様の構成であってもよい。
【0137】
このように、画像処理装置100Bは、印刷装置200Aを介して能力情報I1を含む印刷指示を取得してもよい。また、画像処理装置100Bは、ユーザによって印刷装置200Aに入力された印刷結果を、印刷装置200Aから取得してもよい。
【0138】
(1−4−3.変形例3)
次に、実施の形態1の変形例3について説明する。
【0139】
図21は、実施の形態1の変形例3における画像処理装置100Cの機能構成の一例を模式的に示すブロック図である。
【0140】
画像処理装置100Cは、取得部110Cと、変換部120Cと、出力部130と、を備える。変形例3における画像処理装置100Cは、変形例2における画像処理装置100Bと比較して、能力情報I1とは異なる能力情報I2を印刷装置200Bから取得する点が画像処理装置100Bと異なる。また、変形例3における画像処理装置100Cは、変換部120Cにおける処理が、変形例2における変換部120における処理とは異なる。画像処理装置100Cにおけるその他の構成は、変形例2における画像処理装置100Bと実質的に同じであるので詳細な説明を省略する。
【0141】
取得部110Cは、第1静止画データD1と、能力情報I2と、を取得する。
【0142】
取得部110Cは、実施の形態1の画像処理装置100における取得部110と同様に、第1静止画データD1を、例えば、画像処理装置100Cに有線接続または無線接続された、撮像装置、情報端末、または記憶装置、等から取得してもよい。第1静止画データD1を取得する取得部110Cは、例えば、通信IF105(図14参照)により実現されてもよい。
【0143】
取得部110Cは、能力情報I2を、画像処理装置100Cに有線接続または無線接続された印刷装置200Bから取得する。具体的には、取得部110Cは、能力情報I2として、印刷装置200Bで印刷に用いる用紙(例えば、印刷前の、何も印刷されていない用紙)が印刷装置200Bのスキャナ202でスキャンされることにより得られたスキャン画像を取得する。取得部110Cは、例えば、通信IF105(図14参照)により実現される。
【0144】
変換部120Cは、取得部110Cにより取得されたスキャン画像の輝度(反射輝度)に基づいて、スキャナ202でスキャンされた用紙に対応する最大輝度を特定する。そして、変換部120Cは、その最大輝度に基づき第2のダイナミックレンジを決定する。すなわち、変換部120Cは、能力情報I2に基づき特定した反射輝度を最大輝度とする輝度範囲(ダイナミックレンジ)を第2のダイナミックレンジとして、第1静止画データを第2静止画データへ変換する。変換部120Cは、例えば、CPU101、メインメモリ102、ストレージ103、等により(図14参照)実現される。
【0145】
変換部120Cは、スキャナ202の種類に応じて変換処理を変更してもよい。変換部120Cは、例えば、スキャナ202が有する光源の明るさと、スキャナ202が有するイメージセンサの感度との少なくとも一方に応じて、得られた画像の輝度を補正してもよい。変換部120Cは、例えば、スキャナ202が有する光源の明るさが明るいほど、得られた画像の輝度が小さくなるように、画像の輝度を補正してもよい。また、変換部120Cは、例えば、スキャナ202が有するイメージセンサの感度が高いほど、得られた画像の輝度が小さくなるように、画像の輝度を補正してもよい。なお、この場合、画像処理装置100Cは、スキャナ202の種類を表す情報と、画像の輝度を補正するための補正処理を表す情報とを予め関係付けた補正情報を、ストレージ103に記憶していてもよい。また、画像処理装置100Cは、印刷装置200Bからスキャナ202の種類を表す情報を取得し、取得したスキャナ202の種類を表す情報に対応する補正処理を補正情報から特定し、特定した補正処理を行うことで、スキャナ202の種類に応じた変換処理を行ってもよい。なお、本変形例において、補正情報は、ストレージ103に記憶されていなくてもよい。画像処理装置100Cは、補正情報を、外部の情報処理装置から通信IF105(図14参照)を介して取得してもよい。
【0146】
印刷装置200Bは、スキャナ202を備えている。印刷装置200Bは、印刷装置200Bで印刷に用いる用紙(例えば、印刷前の、何も印刷されていない用紙)をスキャナ202でスキャンすることにより、スキャン画像を得ることができる。印刷装置200Bは、得られたスキャン画像を、能力情報I2として、印刷装置200Bが備える通信IF(図示せず)を介して、画像処理装置100Cに送信する。
【0147】
例えば、画像処理装置100Cは、ディスプレイを備えていてもよい。そして、画像処理装置100Cは、スキャン指示をディスプレイに表示させてもよい。このスキャン指示は、画像処理装置100Cに接続されている印刷装置200Bが備えるスキャナ202で、印刷装置200Bで印刷に用いる用紙をスキャンするようにユーザに促す、メッセージ、画像、またはUI、等であってもよい。この場合、画像処理装置100Cは、画像処理装置100Cに接続されている印刷装置200Bと有線通信または無線通信することで、印刷装置200Bがスキャナ202を備えているか否かを判定してもよい。また、画像処理装置100Cは、ユーザに用紙のスキャンを促すスキャン指示をディスプレイに表示し、印刷装置200Bにおいて用紙のスキャンが行われ、当該スキャンで用紙のスキャン画像が得られた場合に、印刷装置200Bに対して、得られたスキャン画像を画像処理装置100Cに送信させる制御を行ってもよい。
【0148】
以上のように、本変形例の画像処理装置おいて、取得部は、能力情報として、印刷装置で印刷に用いる用紙がスキャンされることにより得られたスキャン画像を取得してもよい。変換部は、取得部により取得された当該スキャン画像の輝度に基づいて、当該用紙に光を照射したときに当該用紙で反射される当該光の反射輝度を特定し、特定した反射輝度を最大輝度とする輝度範囲を第2のダイナミックレンジとして、第1静止画データから第2静止画データへ変換してもよい。
【0149】
なお、能力情報I2は能力情報の一例である。
【0150】
例えば、変形例3に示した例では、画像処理装置100Cにおいて、取得部110Cは、能力情報I2として、印刷装置200Bで印刷に用いる用紙がスキャンされることにより得られたスキャン画像を取得する。変換部120Cは、取得部110Cにより取得された当該スキャン画像の輝度に基づいて、当該用紙に光を照射したときに当該用紙で反射される当該光の反射輝度を特定し、特定した反射輝度を最大輝度とする輝度範囲を第2のダイナミックレンジとして、第1静止画データD1から第2静止画データD2へ変換する。
【0151】
このように構成された画像処理装置100Cでは、印刷装置200Bで印刷に用いる用紙を、スキャナ202でスキャンすることによりスキャン画像を取得し、取得されたスキャン画像に応じて、第2のダイナミックレンジを決定することができる。そして、画像処理装置100Cは、第1静止画データD1を、その第2のダイナミックレンジで定義された第2静止画データD2に変換し、当該第2静止画データD2を印刷装置200Bに出力することができる。つまり、画像処理装置100Cは、印刷装置200Bで印刷に用いる用紙の表現能力(すなわち、当該用紙の白で表現される輝度を最大輝度とした輝度範囲)を容易に推定でき、当該用紙の表現能力に適した輝度範囲(ダイナミックレンジ)を第2のダイナミックレンジとすることで、第2のダイナミックレンジを容易に決定することができる。このため、画像処理装置100Cは、第1静止画データD1に基づく画像を、印刷装置200Bに高品位に印刷させることができる。
【0152】
なお、画像処理装置100Cは、ユーザによって印刷装置200Bに入力された印刷結果を、印刷装置200Bから取得してもよい。
【0153】
(1−4−4.変形例4)
次に、実施の形態の変形例4について説明する。
【0154】
実施の形態1(および実施の形態1の変形例1〜3)では、画像処理装置100(100A、100B、または100C)は、印刷装置200(200A、または200B)とは別体の独立した装置である構成例を説明したが、本開示は何らこの構成に限定されない。例えば、画像処理装置100または画像処理装置100Aに印刷装置200が組み込まれていてもよく、画像処理装置100Bに印刷装置200Aが組み込まれていてもよく、画像処理装置100Cに印刷装置200Bが組み込まれていてもよい。この場合、画像処理装置100(100A、100B、または100C)において、印刷装置200(200A、または200B)と通信可能な通信IF105は省略されてもよい。
【0155】
(1−4−5.変形例5)
次に、実施の形態1の変形例5について説明する。
【0156】
実施の形態1および変形例1〜4では、変換部120(120C)が、第1静止画データD1を第2静止画データD2に変換する処理を行う構成例を説明したが、本開示は何らこの構成に限定されない。
【0157】
変換部120(120C)は、第1静止画データD1の最大輝度が、用紙に対応する反射輝度(紙情報により特定される反射輝度、または、スキャン画像から取得される反射輝度)よりも小さい場合、第1静止画データD1から第2静止画データD2への変換を行わなくてもよい。
【0158】
この場合、取得部110(110A、110B、または110C)は、第1静止画データD1を取得すると共に、さらに、第1のダイナミックレンジよりも輝度範囲(ダイナミックレンジ)が狭い第3のダイナミックレンジで定義された第3静止画データD3を取得する(図22参照)。第3のダイナミックレンジは、例えば、SDR(Standard Dynamic Range)である。
【0159】
なお、取得部110(110A、110B、または110C)は、第3静止画データD3を、第1静止画データD1を取得するときと同様に、画像処理装置100(100A、100B、または100C)に有線接続または無線接続された、撮像装置、情報端末、または記憶装置、等から取得してもよい。例えば、被写体を撮像して第1静止画データD1を生成する撮像装置(例えば、図9に示すHDR撮像装置10、等)が、その被写体の撮像時に、第1静止画データD1とともに第3静止画データD3も生成することができる場合は、取得部110(110A、110B、または110C)は、その撮像装置から第3静止画データD3を取得することができる。
【0160】
そして、出力部130は、取得部110(110A、110B、または110C)により取得された第3静止画データD3を、印刷装置200(200A、または200B)に出力する。
【0161】
すなわち、変形例5における画像処理装置において、取得部は、第1静止画データを取得すると共に、さらに、第1のダイナミックレンジよりも輝度範囲が狭い第3のダイナミックレンジで定義された第3静止画データを取得してもよい。第1静止画データの最大輝度が当該用紙に対応する反射輝度よりも小さい場合、変換部は、第1静止画データから第2静止画データへの変換を行わず、出力部は、取得部により取得された第3静止画データを印刷装置に出力してもよい。
【0162】
なお、第3静止画データD3は第3静止画データの一例である。
【0163】
例えば、変形例5に示した例では、画像処理装置100(100A、100B、または100C)において、取得部110(110A、110B、または110C)は、第1静止画データD1を取得すると共に、さらに、第1のダイナミックレンジよりも輝度範囲が狭い第3のダイナミックレンジで定義された第3静止画データD3を取得する。第1静止画データD1の最大輝度が当該用紙に対応する反射輝度よりも小さい場合、変換部120(120C)は、第1静止画データD1から第2静止画データD2への変換を行わず、出力部130は、取得部110(110A、110B、または110C)により取得された第3静止画データD3を印刷装置200(200A、または200B)に出力する。
【0164】
このように構成された画像処理装置100(100A、100B、または100C)は、HDRの第1静止画データD1の最大輝度が、用紙に対応する反射輝度よりも小さい場合に、SDRの第3静止画データD3を印刷装置200(200A、または200B)に出力し、第3静止画データD3による画像を印刷装置200(200A、または200B)印刷することができる。
【0165】
例えば、第1静止画データD1の最大輝度が、印刷装置200(200A、または200B)で印刷に用いる用紙に対応する反射輝度よりも小さく、そのために、第1静止画データD1から第2静止画データD2への変換処理を行っても、高品位な画像を印刷装置200(200A、または200B)において印刷できない場合がある。そのような場合に、画像処理装置100(100A、100B、または100C)は、第1静止画データD1から第2静止画データD2への変換処理を行わず、SDRの第3静止画データD3を印刷装置200(200A、または200B)に出力する。そのため、変形例5に示す構成例によれば、画像処理装置100(100A、100B、または100C)において、変換処理に係る負荷を低減することができる。
【0166】
(1−5.まとめ)
図22は、実施の形態1(または変形例1〜5)における画像処理装置100(100A、100B、または100C)の実施例を説明するための模式図である。
【0167】
図22に示すように、画像処理装置100(100A、100B、または100C)は、HDR画像である第1静止画データD1を取得して、HDR表示装置30にそのまま出力する。HDR表示装置30は、HDRに対応しているため、第1静止画データD1を高品位に表示することができる。
【0168】
また、画像処理装置100(100A、100B、または100C)は、第1静止画データD1と、SDR印刷装置50の能力情報I1(I2)とを取得する。そして、画像処理装置100(100A、100B、または100C)は、取得した能力情報I1(I2)に基づいて第1静止画データD1を第2静止画データD2に変換し、変換した第2静止画データD2をSDR印刷装置50に出力する。SDR印刷装置50は、第1静止画データD1をそのまま印刷することはできない。しかし、SDR印刷装置50は、画像処理装置100(100A、100B、または100C)において第1静止画データD1から変換された第2静止画データD2には対応しているため、第2静止画データD2を用いて第2静止画データD2に基づく画像を用紙に印刷することができる。また、第2静止画データD2は、SDR画像である第3静止画データD3よりも広い輝度範囲(ダイナミックレンジ)で定義されているため、第3静止画データD3によるSDR画像よりも高品位な画像を用紙に印刷することができる。
【0169】
また、画像処理装置100(100A、100B、または100C)は、第1静止画データD1の最大輝度が、用紙に対応する反射輝度よりも小さい場合は、第1静止画データD1から第2静止画データD2への変換を行わず、第3静止画データD3をSDR印刷装置50に出力する。SDR印刷装置50は、SDR画像である第3静止画データD3に対応しているため、第3静止画データD3による画像を、そのまま印刷することができる。
【0170】
(1−6.通信プロトコルの例)
次に、図23図26を参照しながら、本実施の形態における通信プロトコルの例(第1の例〜第4の例)について説明する。なお、以下の説明において、互いに実質的に同じ構成要素には同じ符号を付与し、重複する説明を省略する。
【0171】
図23は、実施の形態における表示装置400と印刷装置500との間の通信プロトコルの第1の例を模式的に示す図である。
【0172】
表示装置400は、例えば、テレビジョンセット、ビデオレコーダ、ビデオプレーヤ、またはデジタルカメラ、等の画像表示機能または画像再生機能を有する装置である。印刷装置500は、プリンタ等の印刷機能を有する装置である。
【0173】
表示装置400の通信プロトコルは、下位から順に、物理層としてのUSB物理層440、トランスポート層としてのPTP Transport層430、変換層としてのDPS Layer420、および、アプリ層としてのDPS application層410を備えて構成される。印刷装置500の通信プロトコルは、下位から順に、物理層としてのUSB物理層540、トランスポート層としてのPTP Transport層530、変換層としてのDPS Layer520、および、アプリ層としてのDPS application層510を備えて構成される。なお、図23では、物理層としてUSB物理層440、540が利用され、表示装置400と印刷装置500との間がUSB接続される構成例を示しているが、表示装置400と印刷装置500との間は、無線通信(例えば、Wi−Fi)で接続されてもよい。
【0174】
図23では、トランスポート層で、ISO15740として規定されているPicture Transfer Protocol(PTP)が利用される構成例を示している。変換層は、アプリ層に対するI/F(InterFace)を規定し、アプリ層からの入出力をPTPプロトコルに変換する。DPS層には、表示装置400と印刷装置500との間で相互に対応する機能を有するかどうかのネゴシエーションを行う、DPS Discoveryが存在する。DPS Layer420にはDPS Discovery421が存在し、DPS Layer520にはDPS Discovery521が存在する。
【0175】
表示装置400と印刷装置500との間がUSB接続される場合には、表示装置400および印刷装置500へのUSBケーブルの接続を契機としてPTPでの相互接続が確立してから、表示装置400および印刷装置500は、相互に、DPS Discovery421、521によって接続相手を確認する。このあと、印刷対象となる静止画を保持する表示装置400は、Storage Server412として、Storage Client511となる印刷装置500に対してファイルを提供する。印刷装置500は、Print Server512として、Print Client411となる表示装置400からの要求を受け付ける。表示装置400のPrint Client411は、Print Server512に対して、プリンタの能力を問い合わせ、適宜、その問合せの結果を、表示装置400のUI(User Interface)上で表示する。
【0176】
また、表示装置400で静止画の一覧表示等がなされ、その表示の中から印刷の対象となる静止画がユーザに選択されることによって、ユーザから印刷の指示が表示装置400に対してなされた場合は、表示装置400は、指示された静止画の印刷をPrint Server512に対して要求する。印刷装置500は、Storage Client511として、表示装置400のStorage Server412に、印刷の指示がなされた静止画に対応するファイルを要求する。表示装置400は、その要求に応じて、保持する静止画をファイルとして印刷装置500に通知する。
【0177】
図24は、実施の形態における表示装置400Aと印刷装置500Aとの間の通信プロトコルの第2の例を模式的に示す図である。
【0178】
表示装置400Aは、第1の例と同様に、例えば、テレビジョンセット、ビデオレコーダ、ビデオプレーヤ、またはデジタルカメラ、等の画像表示機能または画像再生機能を有する装置である。印刷装置500Aは、第1の例と同様に、プリンタ等の印刷機能を有する装置である。
【0179】
表示装置400Aの通信プロトコルは、下位から順に、TCP/IP層440A、UPnP層430A、Control Middle層420A、および、アプリ層410Aを備えて構成される。印刷装置500Aの通信プロトコルは、下位から順に、TCP/IP層540A、UPnP層530A、Control Middle層520A、および、アプリ層510Aを備えて構成される。
【0180】
表示装置400Aおよび印刷装置500Aの通信プロトコルは、物理層(図示せず)としてWi−Fiを利用し、その上のトランスポート層としてTCP/IP層440A、540Aを採用している。そして、表示装置400Aおよび印刷装置500Aは、TCP/IP層440A、540の上で、相互に接続相手を発見するためのプロトコルとしてUPnPを利用している。表示装置400Aおよび印刷装置500AがUPnP層430A、530Aの機能によって相互に接続相手を認識した後で、印刷ジョブの制御等を行うControl Middle層420A、520Aの助けを得て、実際の印刷データが、表示装置400Aと印刷装置500Aとの間でやり取りされる。なお、プリンタは、機種毎に独自の印刷命令を有しており、PC(Personal Computer)では、プリント毎の印刷命令の差異をドライバで吸収することができる。テレビジョンセットまたはビデオレコーダ等の表示装置400Aでは、そのようなPCとは異なり、ドライバをインストールするという仕組みを取ることが難しい。したがって、表示装置400Aは、汎用的な印刷用記述言語を用いてもよい。
【0181】
このような言語の例として、W3Cで規定されたXHTML−printがある。XHTML−printを用いた印刷では、表示装置400Aは、XHTML−printコンテンツ411Aに基づいて印刷の指示を作成し、作成した印刷指示を印刷装置500Aに送付する。印刷装置500Aでは、XHTML−printで記述されたその印刷指示に基づき、XHTML描画処理部511Aにおいて画像ファイルまたはテキスト文字列等のレイアウト、ラスタライズ処理を行い、実際に印刷を行うデータを生成する。印刷処理部512Aは、こうして得られたデータを印刷する。
【0182】
図25は、実施の形態における表示装置400Bと印刷装置500Bとの間の通信プロトコルの第3の例を示す図である。
【0183】
表示装置400Bは、第1の例および第2の例と同様に、例えば、テレビジョンセット、ビデオレコーダ、ビデオプレーヤ、またはデジタルカメラ、等の画像表示機能または画像再生機能を有する装置である。また、印刷装置500Bは、第1の例および第2の例と同様に、プリンタ等の印刷機能を有する装置である。なお、印刷装置500Bは、第1静止画データD1を印刷する際に、HDRには対応しておらずSDRにしか対応していない装置である。
【0184】
表示装置400Bの通信プロトコルは、下位から順に、Wi−Fi層440B、PTP Transport層430、DPS Layer420、および、DPS application層410Bを備えて構成される。印刷装置500Bの通信プロトコルは、下位から順に、Wi−Fi層540B、PTP Transport層530、DPS Layer520、および、DPS application層510を備えて構成される。
【0185】
第3の例に示す表示装置400Bと印刷装置500Bとの間の通信プロトコルは、第1の例で示したPTPを用いた通信プロトコルをベースとする。表示装置400BのPrint Client411は、印刷装置500BのPrint Server512との通信によって、接続相手である印刷装置500Bの機能を把握する。
【0186】
例えば、印刷装置500Bが、8bits JPGのようなSDR静止画データしか取り扱えない装置であった場合、表示装置400Bは、表示装置400Bが保持するHDR静止画データを、そのまま印刷装置500Bに渡すことはできない。そのような場合、表示装置400Bは、表示装置400Bが保持するHDR静止画データを、印刷装置500Bの機能にあわせてGrading Module413Bで調整し、8bits JPGファイルとする。すなわち、表示装置400Bは、印刷装置500Bの機能にあわせてHDR静止画データから8bits JPGファイルを作成する。
【0187】
表示装置400Bは、印刷装置500BのStorage Client511からの要求に対する応答として、HDR静止画データから得られた8bits JPGファイルを印刷装置500Bに提供する。つまり、第3の例に示す表示装置400Bは、実施の形態1および変形例1〜5において説明した画像処理装置100、100A〜100Cのいずれかを含む構成である。
【0188】
なお、上述の例では、表示装置400Bが印刷装置500Bの機能に合わせて8bits JPGファイルの静止画データを作成する構成を説明したが、本開示はこの構成に限定されない。表示装置400Bは、あらかじめHDR静止画ファイルに対応する8bits JPGファイルを作成しておいてもよい。例えば、8bits JPGファイルしか受け付けられない印刷装置に対応するためには、デジタルカメラは、撮像により得られた画像を、HDRに対応している第1静止画データD1と8bits JPGファイル(例えば、第3静止画データD3)との両方のフォーマットで生成することが望ましい。
【0189】
ただし、sRGBおよびBT.709等の標準的な表示環境が規定されている表示装置400Bとは異なり、印刷装置500Bでは、印刷に使用する用紙およびインクの種類等によって印刷の品質に差が生じる可能性がある。そのため、表示装置400Bは、印刷装置500Bの設定や能力に応じて、HDR静止画ファイルから8bits JPGファイルを作成する際のグレーディングの方法を変更した方がよい場合がある。したがって、表示装置400Bは、印刷装置500Bの設定や能力に応じて、都度、8bits JPGファイルを作成してもよい。
【0190】
なお、印刷装置500Bは、印刷装置200(200A、または200B)であってもよい。
【0191】
図26は、実施の形態における表示装置400Cと印刷装置500Cとの間の通信プロトコルの第4の例を模式的に示す図である。
【0192】
第4の例において、表示装置400Cは、第3の例と同様に、例えば、テレビジョンセット、ビデオレコーダ、ビデオプレーヤ、またはデジタルカメラ、等の画像表示機能または画像再生機能を有する装置である。また、印刷装置500Cは、第3の例と同様に、プリンタ等の印刷機能を有する装置であり、第1静止画データD1を印刷する際に、HDRには対応しておらずSDRにしか対応していない装置である。
【0193】
表示装置400Cの通信プロトコルは、下位から順に、Wi−Fi層440B、PTP Transport層430、DPS Layer420、および、DPS application層410を備えて構成される。印刷装置500Cの通信プロトコルは、下位から順に、Wi−Fi層540B、PTP Transport層530、DPS Layer520、および、DPS application層510Cを備えて構成される。
【0194】
第4の例に示す表示装置400Cと印刷装置500Cとの間の通信プロトコルは、第3の例に示した構成と比較して、第3の例において表示装置400BのGrading Module413Bが行っていた処理を、印刷装置500CのGrading Module513Cが行う点が異なる。つまり、第4の例に示す印刷装置500Cは、実施の形態1および変形例1〜5において説明した画像処理装置100、100A〜100Cのいずれかを含む構成である。
【0195】
表示装置400CのStorage Server412は、印刷装置500CのStorage Client511からの要求に対する応答として、HDR静止画データを、そのまま印刷装置500Cに提供する。印刷装置500Cでは、受信したHDR静止画データを、印刷装置500Cで使用する用紙およびインクの種類、および印刷品質に関する設定、等に応じて、Grading Module513Cが適切にグレーディングして印刷する。
【0196】
なお、印刷装置500Cは、印刷装置200(200A、または200B)であってもよい。
【0197】
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1および変形例1〜5を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態1および変形例1〜5で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【0198】
そこで、以下、他の実施の形態を例示する。
【0199】
第1静止画データD1で使用されている輝度情報に関しては、絶対的な輝度値が用いられているとしたが、第2静止画データD2が生成される際に、絶対的な輝度値に代えて、撮像された写真の明暗部各部のSTOP数から算出された輝度が用いられてもよい。つまり、変換部120(120C)は、第1静止画データD1の絶対輝度を用いずに、相対輝度を用いて、第1静止画データD1を第2静止画データD2に変換してもよい。
【0200】
実施の形態では、印刷能力を、用紙単体の反射率等で示される能力として説明した。しかし、印刷能力を、印刷装置の印刷特性を加えた加算特性としてもよい。つまり、印刷能力には、印刷装置のインクの特性、およびインクの吐出の特性、等も考慮されてもよい。そして、第1静止画データD1の第1のダイナミックレンジと、用紙の種類、光源の種類および明るさ、およびインクの特性等により表現可能な輝度範囲(ダイナミックレンジ)と、が考慮されて、第1静止画データD1が第2静止画データD2に変換されてもよい。
【0201】
変換部120によって信号の変換処理が行われる代わりに、信号の変換処理と同等の効果を得られるように、印刷装置のインク吐出量が制御されてもよい。つまり、第2静止画データD2を生成する代わりに、第2静止画データD2を印刷した場合と同等の印刷物が印刷装置により出力されるように、印刷装置のインク吐出量が制御されてもよい。
【0202】
実施の形態1および変形例1〜5において、各構成要素は、専用のハードウェア(例えば、半導体集積回路を含む電子回路)で構成されてもよく、あるいは、各構成要素に適したソフトウェアプログラムをプロセッサが実行することによって実現されてもよい。各構成要素は、CPU(Central Processing Unit)またはプロセッサ等のプログラム実行部が、ハードディスクまたは半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0203】
また、各実施の形態で図面に示したブロック図における機能ブロックの分割は、単なる一例に過ぎない。例えば、複数の機能ブロックが1つの機能ブロックとして実現されたり、あるいは、1つの機能ブロックが複数に分割されたり、または、一部の機能が他の機能ブロックに移されたりしてもよい。また、複数の機能ブロックの機能を、単一のハードウェアまたはソフトウェアが、並列に処理してもよく、または時分割に処理してもよい。また、複数の機能ブロックの一部の機能がハードウェアで実現され、残りの機能がソフトウェアで実現されてもよい。
【0204】
また、実施の形態で図面に示したフローチャートにおける各ステップが実行される順序は、単なる一例に過ぎず、実施の形態で説明した順序とは異なる順序で各ステップが実行されてもよい。また、上記ステップの一部が、他のステップと同時に(すなわち、並列に)実行されてもよい。
【0205】
ここで、上記各実施の形態の画像処理方法を実現するソフトウェアは、次のようなプログラムである。
【0206】
すなわち、このプログラムは、コンピュータに、撮像により得られ輝度範囲が第1のダイナミックレンジで定義された第1静止画データを取得し、印刷装置の印刷能力を示す能力情報を取得し、取得した第1静止画データを、取得した能力情報が示す印刷能力に応じて、第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換し、変換した第2静止画データを印刷装置に出力する画像処理方法を実行させる。
【0207】
また、上記画像処理方法と、当該画像処理方法をコンピュータに実行させるコンピュータプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本開示の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリ、等を挙げることができる。コンピュータプログラムは、上記記録媒体に記録されたものに限定されず、電気通信回線、無線または有線通信回線、インターネット等のネットワーク、等を経由して伝送されてもよい。
【0208】
また、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されてもよい。
【0209】
また、上記の各装置を構成する構成要素の一部または全部は、1つのLSI(Large Scale Integration:大規模集積回路)で構成されてもよい。
【0210】
また、各処理部は、LSIまたはICに限定されるものではなく、専用回路または汎用プロセッサで実現されてもよい。あるいは、回路構成をプログラムすることが可能なFPGA(Field Programmable Gate Array)、または、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサで実現されてもよい。
【0211】
また、上記のプログラムを、記録媒体に記録して頒布または流通させてもよい。例えば、頒布されたプログラムを装置類にインストールして、装置類のプロセッサに実行させることで、装置類に各種処理を行わせることが可能となる。
【0212】
また、本開示におけるコンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネット等のネットワーク、データ放送、等を経由して伝送してもよい。
【0213】
また、本開示は、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号を、ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施してもよい。
【0214】
また、実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【0215】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【0216】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0217】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【0218】
本開示は、高品位な印刷物を印刷するための静止画データを得ることができる画像処理装置および画像処理方法に適用可能である。具体的には、テレビジョンセットまたはディスプレイ等の映像表示装置、ビデオレコーダまたはビデオプレーヤ等の映像再生装置、デジタルカメラまたはビデオカメラ等の撮像装置、スマートフォンまたはタブレットコンピュータ等の端末装置、プリンタ等の印刷装置、または、PCまたはサーバ等のコンピュータ装置、等に、本開示は適用可能である。
【符号の説明】
【0219】
1,2,3,4,5,6 パターン
10,10A HDR撮像装置
11 HDR撮像部
12 変換部
13 JPEG圧縮部
14 SDR撮像部
15 HDR画像補正部
16 HEVC圧縮部
20 SDR撮像装置
21 SDR撮像部
22 JPEG圧縮部
30 HDR表示装置
40 SDR表示装置
50 SDR印刷装置
100,100A,100B,100C 画像処理装置
101 CPU
102 メインメモリ
103 ストレージ
104 入力IF
105 通信IF
110,110A,110B,110C 取得部
120,120C 変換部
130 出力部
150 テストパターン
200,200A,200B 印刷装置
201 入力IF
202 スキャナ
300 入力装置
400,400A,400B,400C 表示装置
410,410B,510,510C DPS application層
410A,510A アプリ層
411 Print Client
411A XHTML−printコンテンツ
412 Storage Server
413B,513C Grading Module
420,520 DPS Layer
420A,520A Control Middle層
421,521 DPS Discovery
430,530 PTP Transport層
430A,530A UPnP層
431A,531A UPnP Discovery
440,540 USB物理層
440A,540A TCP/IP層
440B,540B Wi−Fi層
500,500A,500B,500C 印刷装置
511 Storage Client
512 Print Server
511A XHTML描画処理部
512A 印刷処理部
D1 第1静止画データ
D2 第2静止画データ
D3 第3静止画データ
I1,I2 能力情報
P1 用紙
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
撮像により得られ、輝度範囲が第1のダイナミックレンジで定義された第1静止画データと、印刷装置で印刷に用いる用紙の種類を示す紙情報とを取得する取得部と、
前記取得部により取得された前記第1静止画データを、複数の用紙の種類と、当該用紙に光を照射したときに当該用紙で反射される前記光の反射輝度との関係を参照することで、前記取得部により取得された前記紙情報が示す用紙の種類に対応する前記反射輝度を特定し、特定した前記反射輝度を最大輝度とする、前記第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換する変換部と、
前記変換部により変換された前記第2静止画データを前記印刷装置に出力する出力部と、を備える、
画像処理装置。
【請求項2】
撮像により得られ、輝度範囲が第1のダイナミックレンジで定義された第1静止画データと、印刷装置で印刷に用いる用紙がスキャンされることにより得られたスキャン画像とを取得する取得部と、
前記取得部により取得された前記第1静止画データを、前記スキャン画像の輝度に基づいて、前記用紙に光を照射したときに当該用紙で反射される前記光の反射輝度を特定し、特定した前記反射輝度を最大輝度とする、前記第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データへ変換する変換部と、
前記変換部により変換された前記第2静止画データを前記印刷装置に出力する出力部と、を備える、
画像処理装置。
【請求項3】
撮像により得られ、輝度範囲が第1のダイナミックレンジで定義された第1静止画データと、印刷装置で印刷に用いる用紙に特定のパターンを印刷して得られた印刷結果とを取得する取得部と、
前記取得部により取得された前記第1静止画データを、前記取得部により取得された前記印刷結果に応じて決定した輝度範囲を有するとともに前記第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データへ変換する変換部と、
前記変換部により変換された前記第2静止画データを前記印刷装置に出力する出力部と、を備える、
画像処理装置。
【請求項4】
前記取得部は、前記第1静止画データを取得すると共に、さらに、前記第1のダイナミックレンジよりも輝度範囲が狭い第3のダイナミックレンジで定義された第3静止画データを取得し、
前記第1静止画データの最大輝度が前記用紙に対応する前記反射輝度よりも小さい場合、前記変換部は、前記第1静止画データから前記第2静止画データへの変換を行わず、前記出力部は、前記取得部により取得された前記第3静止画データを前記印刷装置に出力する、
請求項1から3のいずれか1項に記載の画像処理装置。
【請求項5】
前記第1のダイナミックレンジは、HDR(High Dynamic Range)である、
請求項1から4のいずれか1項に記載の画像処理装置。
【請求項6】
前記画像処理装置は、さらに、前記印刷装置を備える、
請求項1から5のいずれか1項に記載の画像処理装置。
【請求項7】
撮像により得られ、輝度範囲が第1のダイナミックレンジで定義された第1静止画データを取得し、
印刷装置で印刷に用いる用紙の種類を示す紙情報を取得し、
取得した前記第1静止画データを、複数の用紙の種類と、当該用紙に光を照射したときに当該用紙で反射される前記光の反射輝度との関係を参照することで、前記取得部により取得された前記紙情報が示す用紙の種類に対応する前記反射輝度を特定し、特定した前記反射輝度を最大輝度とする、前記第1のダイナミックレンジよりも輝度範囲が狭い第2のダイナミックレンジで定義された第2静止画データに変換し、
変換した前記第2静止画データを前記印刷装置に出力する、
画像処理方法。
【請求項8】
請求項7に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【手続補正3】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
図1
図2
図3A
図3B
図4
図5
図6
図7A
図7B
図8A
図8B
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
【国際調査報告】