IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7431596画像処理装置、画像処理方法およびプログラム
<>
  • 特許-画像処理装置、画像処理方法およびプログラム 図1
  • 特許-画像処理装置、画像処理方法およびプログラム 図2
  • 特許-画像処理装置、画像処理方法およびプログラム 図3
  • 特許-画像処理装置、画像処理方法およびプログラム 図4
  • 特許-画像処理装置、画像処理方法およびプログラム 図5
  • 特許-画像処理装置、画像処理方法およびプログラム 図6
  • 特許-画像処理装置、画像処理方法およびプログラム 図7
  • 特許-画像処理装置、画像処理方法およびプログラム 図8
  • 特許-画像処理装置、画像処理方法およびプログラム 図9
  • 特許-画像処理装置、画像処理方法およびプログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-06
(45)【発行日】2024-02-15
(54)【発明の名称】画像処理装置、画像処理方法およびプログラム
(51)【国際特許分類】
   G06T 5/92 20240101AFI20240207BHJP
   H04N 1/407 20060101ALI20240207BHJP
【FI】
G06T5/00 740
H04N1/407
【請求項の数】 23
(21)【出願番号】P 2020015536
(22)【出願日】2020-01-31
(65)【公開番号】P2021124767
(43)【公開日】2021-08-30
【審査請求日】2023-01-13
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】宮▲崎▼ 真一
【審査官】鈴木 肇
(56)【参考文献】
【文献】国際公開第2018/092711(WO,A1)
【文献】特開2002-016816(JP,A)
【文献】特開2019-080156(JP,A)
【文献】特開2020-004268(JP,A)
【文献】特開2010-004267(JP,A)
【文献】米国特許出願公開第2017/0330312(US,A1)
【文献】特開2019-204439(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00-1/40
G06T 3/00-5/50
H04N 1/40-1/409
H04N 1/46-1/62
(57)【特許請求の範囲】
【請求項1】
輝度のダイナミックレンジが定義されておらず、相対的な輝度値に基づいて各画素の階調が定義されているハイダイナミックレンジ(HDR)画像を表すHDRデータを取得する第1取得手段と、
前記HDRデータに基づいて印刷を行うための印刷情報を取得する第2取得手段と、
前記HDRデータの相対輝度値を絶対輝度値に変換することによって前記HDRデータのダイナミックレンジを定義するための輝度情報を設定する設定手段と、
前記設定された輝度情報に基づいて、前記HDRデータの輝度のダイナミックレンジを定義する第1変換を行い、前記第1変換が行われた前記HDRデータの輝度のダイナミックレンジを、前記印刷情報に基づく印刷に対応するダイナミックレンジに変換する第2変換を行う変換手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記印刷情報は、前記変換手段による変換後のダイナミックレンジを特定するための情報であることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記印刷情報は、印刷される用紙の種類を示す情報を含むことを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記第1取得手段により取得される前記HDRデータは、撮像側での輝度変換後のデータであることを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
【請求項5】
前記第1取得手段により取得される前記HDRデータは、出力側での輝度変換前のデータであることを特徴とする請求項に記載の画像処理装置。
【請求項6】
前記変換手段は、前記出力側での輝度変換を実行し、前記輝度変換が実行されたHDRデータに対してダイナミックレンジの変換を行うことを特徴とする請求項に記載の画像処理装置。
【請求項7】
表示装置の表示情報を取得する第3取得手段、をさらに備え、
前記設定手段は、前記表示情報に基づいて、前記輝度情報を設定する、
ことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
【請求項8】
前記第3取得手段が複数の前記表示装置の表示情報を取得する場合、前記設定手段は、複数の表示装置に対応する表示情報に基づいて、前記輝度情報を設定することを特徴とする請求項に記載の画像処理装置。
【請求項9】
記輝度情報を保持する記憶手段、をさらに備えることを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
【請求項10】
前記変換手段は、ダイナミックレンジを変換するための変換情報を用いてダイナミックレンジの変換を行うことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
【請求項11】
前記変換手段は、所定の輝度範囲において、入力輝度と出力輝度とが一致するように、前記HDRデータの輝度のダイナミックレンジを、前記印刷情報に基づく印刷に対応するダイナミックレンジに変換することを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
【請求項12】
前記HDRデータにより表される画像を領域分割する分割手段、をさらに備え、
前記変換手段は、前記分割手段により分割された領域ごとに定められた、ダイナミックレンジを変換するための変換情報を用いてダイナミックレンジの変換を行うことを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。
【請求項13】
前記分割手段は、前記HDRデータにより表される画像の低周波成分に対して領域分割を行うことを特徴とする請求項12に記載の画像処理装置。
【請求項14】
前記HDRデータにより表される画像の高周波成分に対してコントラスト補正を行う手段、をさらに備えることを特徴とする請求項13に記載の画像処理装置。
【請求項15】
前記変換手段によりダイナミックレンジの変換が行われたデータに基づいて印刷の制御を行う印刷制御手段、をさらに備えることを特徴とする請求項1乃至14のいずれか1項に記載の画像処理装置。
【請求項16】
前記HDRデータは、HLG(Hybrid Log Gamma)方式で定められたデータであることを特徴とする請求項1乃至15のいずれか1項に記載の画像処理装置。
【請求項17】
前記第3取得手段は、複数の表示装置それぞれの表示情報を取得し、
前記設定手段は、前記複数の表示装置のうちの最も狭い輝度のダイナミックレンジに対応する表示装置の表示情報を前記輝度情報として設定することを特徴とする請求項7又は8に記載の画像処理装置。
【請求項18】
前記第3取得手段は、複数の表示装置それぞれの最大輝度値と最小輝度値とを表示情報として取得することを特徴とする請求項7又は8又は17に記載の画像処理装置。
【請求項19】
前記設定手段は、前記HDRデータのメタデータ部から前記輝度情報を取得することを特徴とする請求項1乃至18のいずれか1項に記載の画像処理装置。
【請求項20】
印刷の後、前記メタデータ部における前記輝度情報は上書きされることを特徴とする請求項19に記載の画像処理装置。
【請求項21】
前記変換手段は、前記第1変換において、前記輝度情報が示す絶対輝度値が最大輝度値になるように前記HDRデータの輝度値を変換することを特徴とする請求項1乃至20のいずれか1項に記載の画像処理装置。
【請求項22】
輝度のダイナミックレンジが定義されておらず、相対的な輝度値に基づいて各画素の階調が定義されているハイダイナミックレンジ(HDR)画像を表すHDRデータを取得する第1取得工程と、
前記HDRデータに基づいて印刷を行うための印刷情報を取得する第2取得工程と、
前記HDRデータの相対輝度値を絶対輝度値に変換することによって前記HDRデータのダイナミックレンジを定義するための輝度情報を設定する設定工程と、
前記設定された輝度情報に基づいて、前記HDRデータの輝度のダイナミックレンジを定義する第1変換を行い、前記第1変換が行われた前記HDRデータの輝度のダイナミックレンジを、前記印刷情報に基づく印刷に対応するダイナミックレンジに変換する第2変換を行う変換工程と、
を有することを特徴とする画像処理方法。
【請求項23】
請求項1乃至21のいずれか1項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ハイダイナミックレンジデータを処理可能な画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
特許文献1には、高ダイナミックレンジ(High Dynamic Range:HDR)の静止画HDRデータの輝度ダイナミックレンジを、それより狭い印刷用紙の反射輝度で決まるダイナミックレンジの静止画データに変換することが記載されている。HDRデータは、動画や静止画などの撮像データとして用いられ、HDRデータを表示するディスプレイでは、表示可能な最大輝度が向上しており、画像のハイライト側からシャドウ側までを同時に高画質に表示することが可能となっている。
【0003】
ところで、HDRデータの映像伝達関数としては、例えばITU-R(国際電気通信連合無線通信部門)の勧告BT.2100(非特許文献1)において、Hybrid Log Gamma(HLG)とPerceptual Quantization(PQ)の2つが規定されている。伝達関数では、映像の伝達において階調の不連続性が視覚的に検知されないように伝達関数とビット数が定義されている。
【0004】
映像方式は、撮像側での光-電気伝達関数(Opto-Electronic Transfer Function:OETF)、表示側での電気-光伝達関数(Electro-Optical Transfer Function:EOTF)、シーン光から表示光の総合特性を表す光-光伝達関数(Opto-Optical Transfer Function:OOTF)で規定されている。
【0005】
HLG方式は、黒から白の間を相対的な階調として扱い、上記撮像側のOETFを規定する方式である。表示側のEOTFは、OETFの逆関数とシーン光から表示光の総合特性を表すOOTFで構成される。HLG方式では、OOTFの特性を決定するシステムガンマは、輝度成分にのみ適用される。また、システムガンマは、最大輝度値が異なるディスプレイでの見えの違いを考慮してディスプレイの輝度に応じて決定される。また、PQ方式は、表示側の輝度を最大10000cd/mの絶対値で表し、上記表示側のEOTFを規定する方式である。撮像側のOETFは、OOTFとEOTFの逆関数から構成される。
【0006】
一方、印刷出力のダイナミックレンジは、HDRデータのダイナミックレンジに比べて狭い場合が多い。近年、表示輝度レンジの広いHDRディスプレイが登場するまでは、標準ダイナミックレンジ(Standard Dynamic Range:SDR)のディスプレイが主流であった。従来、SDRデータをディスプレイに表示する際の最大輝度値は100cd/m固定で考えることが通常であった。それに対して、HDRデータをディスプレイに表示する輝度の最大値は、HDRデータが規定する輝度やHDRディスプレイの最大輝度値によって可変である。
【先行技術文献】
【特許文献】
【0007】
【文献】国際公開第2018/092711号
【非特許文献】
【0008】
【文献】Recommendation ITU-R BT.2100-2(07/2018)Image parameter values for high dynamic range television for use in production and international programme exchange
【発明の概要】
【発明が解決しようとする課題】
【0009】
上述のHDRデータがHLG方式の場合、輝度の相対値で階調が規定されたデータである。このHDRデータがHDRディスプレイに表示された場合、HDRディスプレイが再現可能な広い輝度ダイナミックレンジで表示され、高いコントラストで高画質な出力が得られる。一方で、印刷出力で再現できる輝度ダイナミックレンジは狭い。輝度の相対値で階調が規定されるHDRデータが印刷装置で印刷される場合、HDRデータが持つ輝度ダイナミックレンジが印刷装置の輝度ダイナミックレンジに相対的に線形に変換される。その結果、印刷された画像はコントラストが低く、本来印刷で得たい画像と異なってしまう。
【0010】
本発明は、ハイダイナミックレンジ(HDR)画像を表すHDRデータに基づいて印刷出力を行う際の画質の劣化を防ぐ画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
上記課題を解決するため、本発明に係る画像処理装置は、輝度のダイナミックレンジが定義されておらず、相対的な輝度値に基づいて各画素の階調が定義されているハイダイナミックレンジ(HDR)画像を表すHDRデータを取得する第1取得手段と、前記HDRデータに基づいて印刷を行うための印刷情報を取得する第2取得手段と、前記HDRデータの相対輝度値を絶対輝度値に変換することによって前記HDRデータのダイナミックレンジを定義するための輝度情報を設定する設定手段と、前記設定された輝度情報に基づいて、前記HDRデータの輝度のダイナミックレンジを定義する第1変換を行い、前記第1変換が行われた前記HDRデータの輝度のダイナミックレンジを、前記印刷情報に基づく印刷に対応するダイナミックレンジに変換する第2変換を行う変換手段とを備えることを特徴とする。
【発明の効果】
【0012】
本発明によれば、ハイダイナミックレンジ(HDR)画像を表すHDRデータに基づいて印刷出力を行う際の画質の劣化を防ぐことができる。
【図面の簡単な説明】
【0013】
図1】プリントシステムの全体構成を示す図である。
図2】画像処理部の構成を示す図である。
図3】画像処理を示すフローチャートである。
図4】変換カーブを示す図である。
図5】ユーザインタフェース画面を示す図である。
図6】画像処理を示すフローチャートである。
図7】変換カーブを示す図である。
図8】ダイナミックレンジ変換処理を用いた処理を示すフローチャートである。
図9】ダイナミックレンジ変換処理を示すフローチャートである。
図10】変換カーブを示す図である
【発明を実施するための形態】
【0014】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0015】
[第1実施形態]
[システム構成]
図1は、本実施形態における画像処理装置を適用したプリントシステムの全体構成を示す図である。本プリントシステムは、パーソナルコンピュータ装置(情報処理装置)101(以下、「PC」ともいう)と表示装置102と出力装置103を含む。
【0016】
PC101には、ディスプレイI/Fを介して、表示装置102が接続されている。表示装置102は、HDR((High Dynamic Range)ディスプレイであり、PC101とHDMIインタフェースで接続されている。PC101と表示装置102の接続は、HDR((High Dynamic Range)データを伝送できる規格であれば、HDMIインタフェースに限定されるものではなく、その他の接続形式でも良い。また、PC101と表示装置102の間で伝送される表示情報(後述)は、ディスプレイIF113を介して、HDMIインタフェースとは異なる伝送路のUSB(Universal Serial Bus)ケーブルを用いて伝送される。しかしながら、表示情報の伝送形式は、表示装置102とPC101もしくは出力装置103との間で情報を双方向で通信できれば、USBケーブルに限定されるものではない。
【0017】
また、PC101には、ネットワークやUSBケーブルまたはローカルバスなどのインタフェースを介して、出力装置103が接続されている。本実施形態では、出力装置103の一例としてインクジェット記録方式のプリンタ(画像処理装置)を用いた構成を説明する。PC101は、出力装置103への印刷制御指示、必要な情報およびデータの転送などを行う。記憶装置105は、OS、システムプログラム、各種アプリケーションソフトウェア、本実施形態に必要なパラメータデータ等を記憶管理している。記憶装置105は、例えば、ハードディスクやフラッシュROMで構成される。CPU104は、作業メモリ107を用いて、記憶装置105に記憶されたソフトウェアやプログラムを読み出して処理を実行する。ユーザインタフェースとなる操作部(以下、「UI」ともいう)106は、処理の実行に関してユーザによる入力を受け付け、ユーザに対する表示を行う。操作部106は、キーボードやマウス等の入力機器を含む。また、データ入出力装置108は、SDカード等の外部記録媒体とのデータの入出力を行い、例えば、撮像装置のデータが記憶された外部記憶媒体とのデータの入出力が可能である。また、不図示の撮像装置がデータ入出力装置108やデータ転送部109へ直接接続されるようにして、外部記憶媒体を介さず、撮像装置とのデータの入出力を行っても良い。
【0018】
出力装置103は、データ転送部109、プリンタ制御部112、画像処理部110、印刷部111を含み、印刷データをPC101から受信する。本実施形態では、印刷データは、入力画像データであるHDRデータ、ターゲット情報、記録媒体の固有データである画像処理パラメータとプリンタ制御データ、ユーザが操作部106上で選択した印刷品位や記録媒体等の印刷情報を含む。ここで、記録媒体とは、例えば、印刷用紙等の紙メディアである。
【0019】
データ転送部109は、PC101から受信した印刷データから、HDRデータと、ターゲット情報と、画像処理パラメータを取得して画像処理部110に送り、プリンタ制御データを取得してプリンタ制御部112に送る。本実施形態では、PC101内で記憶装置105に記憶されているHDRデータが、出力装置103が受信する入力画像データとなる。また、本実施形態では、画像処理部110は、出力装置102内に構成されているが、PC101内で構成されても良い。
【0020】
また、画像処理パラメータやプリンタ制御データは、PC101の記憶装置105や、出力装置103内の不図示の記憶装置(ハードディスクやROM等)に記憶されている。これらが、印刷データ内の印刷情報に基づいて選択され、画像処理部110、プリンタ制御部112に送られる構成でも良い。プリンタ制御部112は、プリンタ制御データに従って、印刷部111の動作を制御する。印刷部111における印刷は、インクジェット記録方式により行われる。本実施形態では、印刷部111における印刷としてインクジェット記録方式を例として説明するが、電子写真方式等、他の記録方式であっても良い。表示装置102は、画像表示を制御するディスプレイコントローラ114を有しており、例えば、ディスプレイコントローラ114は、表示データを生成する。
【0021】
図2は、本実施形態における画像処理部110の構成を示す図である。本実施形態の画像処理部110では、まず、HDRデータと印刷情報がダイナミックレンジ変換部201に入力される。ターゲット情報設定部202は、ターゲット情報を設定し、ダイナミックレンジ変換部201に入力する。ダイナミックレンジ変換部201は、後述するように、入力された各情報を用いて、HDRデータを、出力画像生成部203に入力可能なダイナミックレンジの画像データに変換する。入力されるHDRデータのハイダイナミックレンジに対して、出力画像生成部203に入力される画像データのダイナミックレンジは、輝度レンジとしては狭くなる。出力画像生成部203に入力されるダイナミックレンジとは、例えば、SDRデータの最大輝度100cd/mとするダイナミックレンジである。また、ユーザが設定した用紙情報により特定される反射輝度を最大値としたダイナミックレンジとしても良い。本実施形態では、ダイナミックレンジ変換部201では、SDRデータのダイナミックレンジへ変換されるとする。
【0022】
次に、出力画像生成部203は、ダイナミックレンジ変換部201から出力される画像データ(RGBデータ)に対して、印刷部111の記録ヘッドで記録するためのデータを生成する。
【0023】
図3は、本実施形態における画像処理を示すフローチャートである。S301では、ダイナミックレンジ変換部201は、HDRデータのRGBデータを取得する。上述した通り、HDRデータの映像伝達関数としては、例えばITU-R(国際電気通信連合無線通信部門)の勧告BT.2100において、Hybrid Log Gamma(HLG)とPerceptual Quantization(PQ)の2つが規定されている。本実施形態のHDRデータは、上述した輝度の相対値で階調を規定しているHLG方式で記録されている。この段階では、RGBの各要素について輝度の相対値で階調を規定している。本実施形態ではHLG方式としているが、相対的に階調を規定していればその他の形式でも良い。本実施形態では、S301で取得されたHDRデータは、HDRディスプレイである表示装置102での表示にも用いられる。
【0024】
S302では、ダイナミックレンジ変換部201は、ターゲット情報設定部202で設定されたターゲット情報を取得する。ターゲット情報とは、入力されたHDRデータを、絶対値で階調が規定されるデータに変換可能な情報である。本実施形態では、ターゲット情報は、輝度ダイナミックレンジ情報とシステムガンマ情報を含む。輝度ダイナミックレレンジ情報は、例えば、最大輝度値として1000cd/m、最小輝度値として0cd/mの情報を含む。システムガンマ情報とは、BT.2100に準拠するという情報を含む。これらの情報がダイナミックレンジ変換部201に入力される。ターゲット情報は、変更されない限り、その情報が画像処理部110で保持される。保持された値を印刷時に適用することにより、複数枚印刷した際でも、印刷物の再現性を確保することができる。
【0025】
S303では、ダイナミックレンジ変換部201は、印刷情報を取得する。印刷情報は、ダイナミックレンジ変換後のダイナミックレンジを特定するための情報である。本実施形態では、印刷情報として、例えば印刷モード情報を取得し、印刷モード情報に基づいて、出力画像生成部203への入力がsRGBのSDRデータであることを特定する。その結果、SDRデータとして最大輝度値100cd/mが変換後の輝度ダイナミックレンジであることが特定される。印刷情報は、例えば、用紙の種類を示す情報を取得し、用紙の種類から特定される反射輝度を特定可能な情報であれば良く、印刷時の輝度ダイナミックレンジ情報が取得可能な情報であれば、他の情報でも良い。また、印刷物は、観察環境においては、様々な照度の照明が照射される場合がある。照明が照射される場合には、用紙の輝度ダイナミックレンジは、特に紙白の明るさが上がることにより広がる。そのため、照明が照射された場合の用紙の反射輝度を印刷時の輝度ダイナミックレンジ情報として取得しても良い。
【0026】
S304では、ダイナミックレンジ変換部201は、S302で取得したターゲット情報、S303で取得した印刷情報に基づいて、HDRデータから輝度ダイナミックレンジを変換した画像データを生成する。つまり、本実施形態では、ターゲット情報から得られた1000cd/mを最大輝度値とする輝度ダイナミックレンジから、印刷情報から得られた100cd/mを最大輝度値とする輝度ダイナミックレンジへのダイナミックレンジ変換処理が行われる。上記のように、ダイナミックレンジ変換後の輝度ダイナミックレンジは、印刷情報から特定される輝度の絶対値で表されるものとなる。
【0027】
本実施形態のHDRデータは、上述したHLG方式の伝達関数(OETF)で変換されたデータである。また、ターゲット情報により、BT.2100に準拠していると設定されている。そのため、ダイナミックレンジ変換部201は、HDRデータを、式(1)で定まるHLG方式のEOTF(OETFの逆関数)とOOTFを用いて、HDRデータの輝度信号レベルxを輝度信号レベルyに輝度変換する。Lはディスプレイの最大輝度値であり、Lは黒に対するディスプレイの輝度値である。本実施形態では、Lは0とする。E‘はHLG方式の信号であり、xは0から1のレンジに正規化された信号である。αはユーザゲインのための変数であり、Yは正規化された輝度、Eは0から1に正規化されたリニア光信号である。
・・・(1)
次に、ダイナミックレンジ変換部201は、OOTF処理により得られたデータを1000cd/mを最大輝度値とするデータとして、印刷情報から得られた100cd/mを最大輝度値とする輝度ダイナミックレンジへのダイナミックレンジ変換処理を行う。本実施形態では、ダイナミックレンジ変換部201は、OOTF処理により得られたRGBデータを、下記の式(2)(3)(4)により輝度(Y)と色差(CbCr)のデータに変換する。
【0028】
Y=0.29900×R+0.58700×G+0.114400×B ・・・(2)
Cb=-0.16874×R-0.33126×G+0.50000×B ・・・(3)
Cr=0.50000×R-0.41869×G-0.081×B ・・・(4)
ダイナミックレンジ変換部201は、変換された輝度Yのデータに対して図4(a)の実線で示すグラフ(横軸は入力輝度、縦軸は出力輝度)に示される変換カーブに基づいて輝度Y‘への輝度ダイナミックレンジ変換を行う。図4(a)の一点破線は、入力と出力がリニアな状態を示している。本実施形態では、図4(a)の実線のように、暗部から特定の輝度まではリニアでの変換が行われ、ハイライト部では、Log特性での変換が行われる。図4(a)の変換情報に示すように、HDRデータのハイライト領域を再現しつつ、画像のコントラストを維持するダイナミックレンジ圧縮処理を行うことが望ましい。また、図4(b)は、HDRデータが持つ輝度ダイナミックレンジを印刷装置の輝度ダイナミックレンジに相対的に線形に変換する場合である。図4(b)では、入力されるHDRデータの輝度ダイナミックレンジは定義されておらず、相対的に線形に変換されるため、出力されるSDRデータのコントラストは低い。一方、ターゲット情報からHDRデータの輝度ダイナミックレンジが定義され、図4(a)の輝度ダイナミックレンジ変換で出力されるSDRデータのコントラストは、図4(b)に比較すると高くなる。ダイナミックレンジ変換部201は、変換された輝度Y‘と色差成分を合わせて、式(5)(6)(7)によりRGBに変換する。
【0029】
R=Y +1.40200×Cr ・・・(5)
G=Y-0.34414×Cb-0.71414×Cr ・・・(6)
B=Y+1.77200×Cb ・・・(7)
上記では、輝度ダイナミックレンジの圧縮について説明したが、色域に関してもHDRデータの広色域な空間(例えばITU-R BT.2020)からSDRの色域(例えばITU-R BT.709)に色域圧縮処理を行う。
【0030】
次に、S305では、出力画像生成部203は、印刷部111に出力する出力画像データを生成する。例えば、出力画像生成部203は、S304で出力されたSDRデータ(RGBデータ)をデバイス依存のRGBデータに変換する色変換処理を行う。そして、出力画像生成部203は、デバイス依存のRGBデータからインク色データに変換するインク色分解処理、記録装置の階調特性に線形的に対応づけられるように階調補正を行う階調補正処理を行う。さらに、出力画像生成部203は、インク色データをインクドットのON/OFFの情報であるハーフトーン処理、記録ヘッドの各記録走査で記録される2値データを生成するマスクデータ変換処理等を行う。
【0031】
次に、S306では、出力画像生成部203は、生成した出力画像データを印刷部111に送り、その結果、記録媒体上に画像が出力される。
【0032】
本実施形態によれば、HLG方式のHDRデータの印刷時に、ターゲット情報を設定することで、相対値で階調が規定されるデータを絶対値で階調が規定されるデータに変換する。さらに、絶対値で階調が規定されたデータを印刷情報で決まる印刷時の輝度ダイナミックレンジまで絶対値でダイナミックレンジ変換したデータを生成する。その結果、コントラストが高い高画質な印刷出力を得ることができる。
【0033】
本実施形態では、ターゲット情報は、画像処理部110で保持された固定値が設定される例を示したが、ターゲット情報は、表示装置102から所定のタイミングで情報を取得して保持するようにしても良い。その場合、取得する情報は、ディスプレイの輝度ダイナミックレンジ情報とシステムガンマ情報とし、BT.2100対応という情報をディスプレイから取得して画像処理部110で保持する。また、上述したガンマ値γは、ディスプレイでユーザが設定している場合があるため、ガンマ値をディスプレイから取得するようにしても良い。その場合、取得する情報は、入力されたHDRデータを絶対値で階調が規定されるデータに変換可能な情報であれば良い。
【0034】
本実施形態では、ターゲット情報は、画像処理部110で保持される構成を説明したが、HDRデータから取得する構成としても良い。具体的には、出力装置103や印刷アプリが、印刷完了時にHDRデータのメタデータ部(例えばExif等)にターゲット情報を上書きしたHDRデータを生成する。そして、この上書きされたHDRデータがS301において取得され、S302では、HDRデータのメタデータ部を読み取った結果がターゲット情報として取得される。このような構成により、複数回の印刷時でもコントラストが高い高画質な印刷出力が得られるとともに、複数回の印刷時でもターゲット情報が変わらないため、再現性ある印刷出力を得ることができる。
【0035】
また、ターゲット情報は、図5に示すようなユーザインタフェースを介してユーザから受け付けるようにしても良い。図5(a)に示すように、ユーザが「表示情報の取得」ボタンを押すと、上述したようにターゲット情報を表示装置102から取得する。HDRデータはディスプレイに表示されており、出力装置103で印刷するユーザが、印刷アプリもしくは出力装置103のパネルの印刷ボタンを押した時点で、ダイナミックレンジ変換部201は、その時の表示装置102のディスプレイ表示状態を記録した表示情報を、表示装置102から若しくはPC101を介して取得する。また、表示情報がディスプレイと連動してPC101に適時保存されている場合、ダイナミックレンジ変換部201は、PC101から取得しても良い。また、表示情報は、印刷アプリや出力装置103が起動した時点で取得され、表示装置102側で表示の設定変更があれば、そのタイミングで再取得するようにしても良い。即ち、印刷時にユーザが見ているディスプレイ(表示装置102)の表示状態を取得できるようにしても良い。また、本実施形態では、PC101に1台のディスプレイが接続されているが、1台のPCに対して複数のディスプレイが接続される場合もある。複数のディスプレイで拡張表示(複数のディスプレイにまたがるような表示)されている場合は、HDRデータの印刷プレビューが表示されているディスプレイを認識し、その表示情報を取得する。また、複数のディスプレイで複製表示(複数のディスプレイで同一の表示)されている場合は、ユーザが表示情報を取得するディスプレイを選択するようにしても良いし、優先的に表示情報を取得するディスプレイが予め定められるようにしても良い。また、図5(b)(c)に示すように、ユーザがターゲット情報をプルダウンメニュー等で選択・入力することによりターゲット情報を取得しても良い。その結果、ターゲット情報をユーザが任意に選択することが可能となる。なお、図5(a)~(c)の画面は、例えば出力装置103やPC101に構成されるようにしても良い。
【0036】
[第2実施形態]
以下、第1実施形態について第1実施形態と異なる点について説明する。本実施形態では、ターゲット情報を複数の表示装置102の情報に基づいて設定する。
【0037】
本実施形態では、図3のS302でのターゲット情報の設定において、複数台の表示装置102の表示情報を用いて設定する例を説明する。本実施形態では、ディスプレイが接続されたPCや、スマートフォン、タブレット等の3台の表示装置102がLANケーブルや通信回線等によってネットワークで接続されている。本実施形態では、S302においてダイナミックレンジ変換部201は、3台の表示装置102の輝度ダイナミックレンジ情報の輝度情報である最大輝度値、最小輝度値を取得する。ダイナミックレンジ変換部201は、複数の表示装置102の表示情報を、図5(c)のようなUI上でのユーザ入力を受け付けることにより取得するようにしても良い。また、ダイナミックレンジ変換部201は、ディスプレイに接続されているPC、スマートフォン、タブレット内の管理ソフトから表示装置102の表示情報を取得し、その情報をネットワークを介して自動的に取得するようにしても良い。その際、表示情報を取得するタイミングは、例えば、出力装置103で印刷するユーザが、印刷アプリもしくは出力装置103のパネルの印刷ボタンを押下した時点で、その時のディスプレイ表示状態を記録した表示情報を、表示装置102から若しくはPC101を介して取得する。また、ネットワークを介して表示情報の取得を適時行っており、印刷ボタンを押下した時点での複数台の表示装置102の表示情報を用いるようにしても良い。また、本実施形態での複数台の表示装置102の接続先は、PC、スマートフォン、タブレットなど異なる装置であるが、上述したような複数の表示装置102が1つのPC101に接続されている構成でも良い。また、複数の表示装置102が接続されているPC101が、ネットワーク上で複数ある構成でも良い。
【0038】
本実施形態で取得される表示情報は、例えば、ディスプレイAの最大輝度値が2000cd/m、ディスプレイBの最大輝度値が1500cd/m、ディスプレイCの最大輝度値が1000cd/mである。また、3台のディスプレイの全てについて、最小輝度は0cd/mとする。本実施形態では、例えば、3台の中で輝度ダイナミックレンジが最も狭いディスプレイCの最大輝度値1000cd/mと最小輝度値0cd/mをターゲット情報として設定する。
【0039】
本実施形態によれば、複数の表示装置102の中で最も輝度ダイナミックレンジの狭い表示装置の輝度ダイナミックレンジ情報をターゲット情報として設定する。そのような構成により、コントラストが高い高画質な印刷出力が得られるとともに、いずれのディスプレイでも表示可能なデータに対する印刷出力を得ることができる。
【0040】
また、複数の表示装置102の中で最も輝度ダイナミックレンジの広い表示装置102の輝度ダイナミックレンジ情報をターゲット情報として設定しても良い。そのような構成により、最もコントラストが高く表示される表示装置に対応した印刷出力を得ることができる。
【0041】
また、複数の表示装置102の輝度ダイナミックレンジの平均値をターゲット情報として設定しても良い。例えば、最大輝度値1500cd/m、最小輝度値0cd/mを輝度ダイナミックレンジ情報として設定する。そのような構成により、バランスのとれた印刷出力を得ることができる。また、平均値以外の統計値が用いられても良い。
【0042】
本実施形態では、複数の表示装置102の輝度ダイナミックレンジの広さに応じてターゲット情報を設定した。しかしながら、複数の表示装置102の間で最小輝度値よりも最大輝度値の方がばらつきが大きい場合には、輝度ダイナミックレンジの広さは最大輝度値のみから判断しても良い。
【0043】
[第3実施形態]
以下、第3実施形態について第1及び第2実施形態と異なる点について説明する。本実施形態では、第1実施形態での処理と、PQ方式のHDRデータが入力された場合の処理とを切り替える構成を説明する。
【0044】
図6のS301で取得するHDRデータ(RGBデータ)は、本実施形態では上述した輝度の絶対値で階調を規定しているPQ方式で記録されている。また、本実施形態では、HDRデータには10000cd/mまで情報が記録されている。
【0045】
PQ方式では、輝度の絶対値で階調が規定されているため、HDRデータ自体で輝度ダイナミックレンジが決定される。そのため、S301の後のS601で、PQ方式のように輝度の絶対値で階調が規定されたHDRデータがS301で取得されたと判定された場合、S302はスキップされる。
【0046】
S303は図3のS303における説明と同じである。
【0047】
S304では、ダイナミックレンジ変換部201は、S303で取得した印刷情報に基づいて、HDRデータから輝度ダイナミックレンジを変換したデータを生成する。PQ形式のHDRデータが取得された場合、ダイナミックレンジ変換部201は、HDRデータが持つ10000cd/mを最大輝度値とする輝度ダイナミックレンジの情報を、S303で取得した印刷情報から得られた100cd/mを最大輝度値とする輝度ダイナミックレンジへ変換する。HDRデータは、式(8)で定まるPQ方式のEOTFを用いて、HDRデータの輝度信号レベルxを輝度信号レベルyに輝度変換する。本実施形態のLは0とする。E‘はPQ方式の信号であり、xは0から1のレンジに正規化された信号である。
・・・(8)
次に、ダイナミックレンジ変換部201は、EOTF処理により変換されたデータを10000cd/mを最大輝度値とするデータとして、100cd/mを最大輝度値とする輝度ダイナミックレンジへのダイナミックレンジ変換処理を行う。本実施形態では、変換された輝度Yのデータに対して、図7の変換カーブで変換を行うことで、変換後のSDRデータが得られる。
【0048】
S305とS306は、第1実施形態での図3のS305とS306における説明と同じである。
【0049】
本実施形態によれば、HLG形式のHDRデータとPQ形式のHDRデータに応じて処理を切り替えることが可能であり、HDRデータの伝達関数に応じた最適な印刷出力を得ることができる。
【0050】
本実施形態では、YCbCrを用いて輝度ダイナミックレンジ変換を行ったが、ICtCpを用いて輝度ダイナミックレンジ変換を行っても良い。ICtCpは、ハイダイナミックレンジで広色域信号を目的とする色空間である。Iは輝度成分であり、CtCpは色差成分である。輝度成分Iは、広い輝度範囲の視覚特性を考慮した情報となっている。その結果、ICtCp色空間を用いることで、人間の視覚特性を考慮した輝度ダイナミックレンジ変換が可能になる。
【0051】
また、本実施形態では、図4に示す特性で輝度ダイナミックレンジ変換を行う代わりに、図8図9のフローチャートに示す処理でダイナミックレンジ変換処理を行っても良い。
【0052】
図8のS801では、ダイナミックレンジ変換部201は、OOTF処理により得られたRGBデータを式(2)(3)(4)により、輝度と色差成分に分離する。
【0053】
S802では、ダイナミックレンジ変換部201は、輝度に変換されたデータに対して、低周波成分と高周波成分に分離する処理を行う。これは、Retinex理論に基づいて、低周波成分と高周波成分で処理を切り替えるためである。Retinex理論とは、人間の脳が色や光をどのように捉えるかをモデル化したものである。この理論では、目に入る光の強度は、物体の反射率と物体を照らす照明光の積で表され、人が感じる明るさや色は、絶対的な光学量よりも周辺からの相対的な変化量に大きく依存しているとする。絶対的な光学量とは物体を照らす照明光であり、相対的な変化量とは物体の反射率である。
【0054】
S802では、ダイナミックレンジ変換部201は、物体を照らす照明光成分として画像の低周波成分を抽出する。低周波成分を作成するためには、ローパスフィルタを適用する。処理方法は、空間フィルタを適用しても良いし、一旦、FFTにより空間周波数に変換し、フィルタ処理後にIFFTで戻しても良い。対象とする周波数は、印刷物を鑑賞する際の用紙サイズ、鑑賞距離から、人間の視覚特性を考慮し、決定すれば良い。高周波成分については、逆のハイパスフィルタを適用してもよいし、得られた低周波成分を元の画像から除算することで取得しても良い。
【0055】
S803では、ダイナミックレンジ変換部201は、入力と出力の輝度ダイナミックレンジの情報に基づき、低周波成分に対し、ダイナミックレンジ変換処理を実施する。S803の処理の詳細については、図9を用いて後述する。
【0056】
S804では、ダイナミックレンジ変換部201は、高周波成分に対し、コントラスト補正処理を実施する。コントラスト補正処理とは、得られた画像に対し、係数kを乗じる処理である。入力データに忠実に近づける場合はk=1付近とし、さらに印刷物のインクの滲みなどの劣化を考慮したい場合は、1以上の値を係数kに設定する。
【0057】
S805では、ダイナミックレンジ変換部201は、低周波成分に対してダイナミックレンジ変換が行われた画像データと、高周波成分に対してコントラスト補正が行われた画像データとの合成を行う。その結果、所定のダイナミックレンジに圧縮され、コントラストが補正された輝度画像が得られる。
【0058】
S806では、ダイナミックレンジ変換部201は、輝度成分と色差成分を合わせて、式(5)(6)(7)によりRGBデータに変換する。S806の後、図8の処理を終了する。
【0059】
次に、S803のダイナミックレンジ変換処理を、図9のフローチャートを用いて説明する。
【0060】
S901では、ダイナミックレンジ変換部201は、圧縮レンジを算出する。本実施形態では、ターゲット情報から得られた1000cd/mを最大輝度値とする輝度ダイナミックレンジから、印刷情報から得られた100cd/mを最大輝度値とする輝度ダイナミックレンジへのダイナミックレンジ変換処理を行う。また、ダイナミックレンジ変換部201は、露出輝度値YaをHDRデータのメタデータから取得する。これは、画像撮影時にユーザが露出を設定した点であり、本実施形態では、露出輝度値Yaを18cd/mとする。
【0061】
S902では、ダイナミックレンジ変換部201は、HDRデータの画像を領域分割する。領域分割は、予め決められた所定の矩形サイズで分割しても良いし、輝度画像の情報から類似の輝度画素でグループピングしても良い。後者の場合、領域分割された特定の輝度レンジのコントラストを復元することになり、よりコントラストの保持された画像が得られる。また、輝度データのみではなく、RGBデータを用いても良い。それにより、RGBデータにより画像の認識を行い、認識された領域種別に合ったコントラストの復元方法が可能となる。
【0062】
S903では、ダイナミックレンジ変換部201は、S802で分割された領域ごとに変換カーブを作成する。図10(a)、(b)、(c)は、変換カーブの一例を示す図である。図10(a)は、ある領域の変換カーブを表したグラフである。横軸は入力輝度を示し、縦軸は出力輝度を示し、太線は変換カーブを示す。棒グラフで示されているのは、領域における輝度分布であり、所定の輝度範囲の度数に相当する(右の縦軸に対応)。変換前の輝度ダイナミックレンジをDi、変換後の輝度ダイナミックレンジをDoとして図中に示されている。変換カーブの傾きが1、つまり45度の場合は、入力輝度値と出力輝度値とが一致し、その部分での画像変化が起きない。つまり、ダイナミックレンジ変換前のコントラストが保持される。傾きが小さくなるにつれ(角度として45度未満)、変換後のコントラストは変換前のコントラストに比べて低下する。好適な変換後の画像を得るためには、コントラストの保持が必要であり、傾き1にすることが望ましい。ここでは低周波成分を取り扱っているため、低周波成分のコントラスト保持のために、できる限り傾き1の変換を行う必要がある。図10(b)は、別の領域の変換カーブを表しているが、輝度分布が高輝度側に偏っている。図10(a)と同様、輝度分布の度数に応じ、度数の高い輝度グループに1に近い傾きを割り当てている。図10(c)は、一様に輝度が分布している領域の変換カーブを表している。この場合は、度数の高い輝度グループであっても傾きを1に割り当てることができない。変換後の輝度ダイナミックレンジDoが狭いため、特定の輝度グループに傾き1を割りあててしまうと、別の輝度グループの傾きが0に近くなってしまうためである。このような場合は、平均的に傾きを割り当てて、その中で極端に0に近づくことがないように、度数に応じた傾きの分配を行うことになる。また、画像中の領域の異なる図10(a)から図10(c)において、共通の箇所が存在する。例えば、S901で取得した露出設定輝度Yaであるが、変換後の輝度値が常に一定のYa‘になるような変換カーブが作成されている。これにより、高輝度側は階調を再現することを実現しつつ、ユーザーが撮影時に設定した露出輝度は保持される。
【0063】
S904では、ダイナミックレンジ変換部201は、領域分割した全ての領域に対し、変換カーブを作成したか否かの判定を行う。作成していないと判定された場合、S903からの処理を繰り返し、全て作成されていると判定された場合、S905に進む。
【0064】
S905では、ダイナミックレンジ変換部201は、作成した変換カーブを用いて、画素ごとのダイナミックレンジの圧縮処理を実施する。その際、領域間で階調の不連続な箇所が出ないように周囲の領域の情報を考慮しながら実施する。具体的には領域と同程度のウインドウを当てはめ、ウインドウに含まれる面積で重み付けを行い、その比率に基づいてダイナミックレンジの圧縮処理を実施する。また、単純な面積比率であると、境界にハロなどの画像弊害が発生するため、対象領域の平均輝度により重みを変化させても良い。つまり、対象画素に比べ、周囲領域の平均輝度が異なるほど、重みを小さくするようにすると画像弊害を抑止できる。
【0065】
S906では、ダイナミックレンジ変換部201は、全ての画素においてS905の処理が実施されたか否かの判定を行う。全ての画素において処理が実施されていないと判定された場合、S905からの処理を繰り返し、全ての画素において処理が実施されたと判定された場合、図9の処理を終了する。
【0066】
このように、Retinex理論に基づいて高周波成分と低周波成分に分離し、低周波数成分に対して画像の領域ごとに変換カーブによって輝度ダイナミックレンジ変換することで、人間の視覚特性を考慮した高コントラストな画像を生成することができる。
【0067】
上記の実施形態では、BT.2100の規格に準拠したHDRデータを印刷する例を示した。しかしながら、BT.2100の規格に限定されることはなく、その他の規格に準拠した処理を行っても良いし、OETF・EOTFの伝達のみでも良い。例えば、伝達関数としてHLG方式とPQ方式の例を示したが、輝度を相対値、または絶対値で階調を規定しているHDRデータを扱う伝達関数であればその他の方式でも良い。その場合は、式(1)、式(8)に示した伝達関数・システムガンマはその規格に準拠した形となる。また、規格に準拠せず、伝達関数のみ(OETFとEOTF)を適用する形でも良い。
【0068】
本実施形態では、輝度ダイナミックレンジ変換の処理方法の例として、図4図7図8の例を示したが、これに限らず輝度ダイナミックレンジの変換を行う方法であればどのような方法でも良い。
【0069】
また、ダイナミックレンジ変換処理での入出力の輝度ダイナミックレンジは、各実施形態で例示した(1000cd/m等)輝度ダイナミックレンジに限定されるものではない。また、各実施形態での表示装置102とは、スマートフォンや装置に取り付けられたパネルやタッチパネル等、情報を表示する装置であればディスプレイに限られず、どのような形態の装置でも良い。
【0070】
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0071】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0072】
101 情報処理装置: 102 表示装置: 103 出力装置: 110 画像処理部: 201 ダイナミックレンジ変換部: 202 ターゲット情報設定部: 203 出力画像生成部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10