(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024164693
(43)【公開日】2024-11-27
(54)【発明の名称】画像処理装置及びその制御方法、撮像装置、プログラム、記憶媒体
(51)【国際特許分類】
H04N 23/60 20230101AFI20241120BHJP
H04N 23/63 20230101ALI20241120BHJP
H04N 9/00 20060101ALI20241120BHJP
【FI】
H04N23/60 300
H04N23/60 500
H04N23/63
H04N9/00 A
【審査請求】未請求
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2023080363
(22)【出願日】2023-05-15
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】田島 寛士
【テーマコード(参考)】
5C122
【Fターム(参考)】
5C122EA17
5C122FG03
5C122FH01
5C122FK08
5C122FK24
5C122FK39
5C122HB01
5C122HB05
(57)【要約】
【課題】画質劣化を抑えたHDR画像とSDR画像を1ポートで同時に伝送し、HDR画像とSDR画像の混在表示を可能にする技術を提供する。
【解決手段】HDR画像(High Dynamic Range 画像)のOETF(Opto-Electro Transfer Function)を、表示手段の発光特性に基づくOETFへ変換する第1の変換と、SDR画像(Standard Dynamic Range 画像)のOETFを、表示手段の発光特性のOETFへ変換する第2の変換との少なくとも1つを行う第1の変換手段と、第1の変換により変換されたHDR画像と、第2の変換により変換されたSDR画像とを表示手段に送信する送信手段と、を備える。
【選択図】
図5
【特許請求の範囲】
【請求項1】
HDR画像(High Dynamic Range 画像)のOETF(Opto-Electro Transfer Function)を、表示手段の発光特性に基づくOETFへ変換する第1の変換と、SDR画像(Standard Dynamic Range 画像)のOETFを、前記表示手段の発光特性のOETFへ変換する第2の変換との少なくとも1つを行う第1の変換手段と、
前記第1の変換により変換されたHDR画像と、前記第2の変換により変換されたSDR画像とを前記表示手段に送信する送信手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記第1の変換と前記第2の変換では、前記表示手段の発光特性の逆変換を行うことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第1の変換により変換されたHDR画像と、前記第2の変換により変換されたSDR画像とを同時に表示する表示手段をさらに備えることを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記HDR画像と、前記SDR画像とを、前記第1及び第2の変換により変換する前に合成する合成手段をさらに備えることを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記合成手段により合成された合成画像を、HDR表示領域とSDR表示領域に分割する分割手段をさらに備えることを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記第1の変換では、前記HDR表示領域を、前記表示手段の発光特性に基づくOETFへ変換することを特徴とする請求項5に記載の画像処理装置。
【請求項7】
前記第2の変換では、前記SDR表示領域を、前記表示手段の発光特性に基づくOETFへ変換することを特徴とする請求項5に記載の画像処理装置。
【請求項8】
前記第1の変換により変換されたHDR画像と、前記第2の変換により変換されたSDR画像とを合成する合成手段をさらに備えることを特徴とする請求項1に記載の画像処理装置。
【請求項9】
前記SDR画像に対して、HDRのOETFへの変換を行う第2の変換手段をさらに備えることを特徴とする請求項1に記載の画像処理装置。
【請求項10】
前記第2の変換手段により変換されたSDR画像と、前記HDR画像とを合成する合成手段をさらに備えることを特徴とする請求項9に記載の画像処理装置。
【請求項11】
、前記第1の変換手段は、前記合成手段により合成された画像に対して、前記第1の変換を行うことを特徴とする請求項10に記載の画像処理装置。
【請求項12】
前記表示手段がOLED(Organic Light Emitting Diode)から成り、HDRのEOTF(Electro-Optical Transfer Function)がSMPTE STANDARD 2084に基づき、SDRのEOTFがRECOMMENDATION ITU-R BT.709に基づくことを特徴とする請求項1に記載の画像処理装置。
【請求項13】
前記送信手段は、1ポートで構成され、伝送する信号の規格が、MIPIまたはSub-LVDSに準拠することを特徴とする請求項1に記載の画像処理装置。
【請求項14】
撮像手段と、
請求項1乃至13のいずれか1項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項15】
HDR画像(High Dynamic Range 画像)のOETF(Opto-Electro Transfer Function)を、表示手段の発光特性に基づくOETFへ変換する第1の変換と、SDR画像(Standard Dynamic Range 画像)のOETFを、前記表示手段の発光特性のOETFへ変換する第2の変換との少なくとも1つを行う第1の変換工程と、
前記第1の変換により変換されたHDR画像と、前記第2の変換により変換されたSDR画像とを前記表示手段に送信する送信工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項16】
請求項15に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項17】
請求項15に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データの生成および伝送を行う画像処理装置に関する。
【背景技術】
【0002】
近年、一眼タイプのデジタルカメラが一眼レフタイプからミラーレスタイプへ移行している。そのため、接眼ファインダーが光学ファインダー(Optical View Finder:以降OVFと表記)から電子ファインダー(Electronic View Finder:以降EVFと表記)に移り変わってきている。
【0003】
OVFでは、レンズから入射された光そのものを見るのに対し、EVFでは、画像処理エンジンで処理された画像をEVFの表示部に表示して見るため、OVFとEVFでは被写体の見え方に差異が生じることがある。
【0004】
また、近年、HDR(High Dynamic Range)と呼ばれるダイナミックレンジの広い画像コンテンツの需要が増加している。一方、HDR以前の画像コンテンツはSDR(Standard Dynamic Range)と呼ばれる。
【0005】
HDRは、SMPTE STANDARD 2084(以後、SMPTE ST 2084と表記)という国際規格において、表示に10ビット以上の画像データが必要であると定義されている。一方、SDRは、RECOMMENDATION ITU-R BT.709(以後、ITU BT.709と表記)という国際規格において、表示に8ビット以上の画像データが必要とされている。
【0006】
ここで、表示部においてHDR画像とSDR画像を混在して複数枚表示したい場合がある。特許文献1は、ダイナミックレンジの異なる複数の画像を並べて表示部に表示する際に、出力する画像のダイナミックレンジを、出力先で表示可能なダイナミックレンジに応じて変換する技術について開示している。
【先行技術文献】
【特許文献】
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
表示装置が業務用モニタのような大規模なデバイスである場合、消費電力や発熱などのハードウェアの観点での制約が少ないため、演算回路のビット精度を10ビット以上確保することは容易である。そのため、SMPTE ST 2084に準拠したHDR表示を行うことが可能である。
【0009】
一方で、EVFのような小規模なデバイスでは、消費電力や発熱などの問題から、演算精度が10ビット以上の回路を構築することが困難である。また、データの入力インタフェースの割り当てに、画像データの解像度、フレームレートを優先しているため、データの入力インタフェースは10ビット未満となる。この場合、演算時に量子化誤差が発生し、主に低輝度域においてHDR画像の階調を維持することが困難である。
【0010】
また、EVFは、MIPI(登録商標)(Mobile Industry Processor Interface)やSub-LVDS(Sub-Low Voltage Differential Signal)などの単一の信号を入力とする入力インタフェースを備える。そのため、現状では画質劣化を抑えたHDR画像とSDR画像を1ポートで同時に伝送し、表示することは困難である。
【0011】
本発明は上述した課題に鑑みてなされたものであり、その目的は、画質劣化を抑えたHDR画像とSDR画像を1ポートで同時に伝送し、HDR画像とSDR画像の混在表示を可能にする技術を提供することである。
【課題を解決するための手段】
【0012】
本発明に係わる画像処理装置は、HDR画像(High Dynamic Range 画像)のOETF(Opto-Electro Transfer Function)を、表示手段の発光特性に基づくOETFへ変換する第1の変換と、SDR画像(Standard Dynamic Range 画像)のOETFを、前記表示手段の発光特性のOETFへ変換する第2の変換との少なくとも1つを行う第1の変換手段と、前記第1の変換により変換されたHDR画像と、前記第2の変換により変換されたSDR画像とを前記表示手段に送信する送信手段と、を備えることを特徴とする。
【発明の効果】
【0013】
本発明によれば、画質劣化を抑えたHDR画像とSDR画像を同時に1ポートで伝送し、HDR画像とSDR画像の混在表示が可能となる。
【図面の簡単な説明】
【0014】
【
図5】第1の実施形態に係る撮像装置のブロック図。
【
図7】第1の実施形態における画像処理のフローチャート
【
図8】第1の実施形態における画像処理結果を示す図。
【
図9】HDR画像とSDR画像が混在したサムネイル表示を示す図。
【
図10】第2の実施形態に係る撮像装置のブロック図。
【
図11】第2の実施形態における画像処理のフローチャート。
【
図12】第2の実施形態における画像処理結果を示す図。
【
図13】第3の実施形態に係る撮像装置のブロック図。
【
図14】第3の実施形態における画像処理のフローチャート。
【
図15】第3の実施形態における画像処理結果を示す図。
【発明を実施するための形態】
【0015】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0016】
(第1の実施形態)
図1は、従来の一般的な撮像装置における、画像入力から表示までの処理を実現するためのブロック図である。
【0017】
AD(Analog Digital)変換器1202は、画像入力部1201から入力された画像データをアナログ信号からデジタル信号に変換する。
【0018】
OETF(Opto-Electro Transfer Function)変換部1203は、デジタル信号をOETF変換する。
【0019】
DA(Digital Analog)変換器1204は、OETF変換された画像データをアナログ信号に変換する。
【0020】
EOTF(Electro-Optical Transfer Function)変換部1205は、アナログ信号をEOTF変換する。表示素材1206は、EOTF変換された画像データを表示する。
【0021】
表示素材1206は、ブラウン管、液晶、OLED(Organic Light Emitting Diode)などから成り、材料や構成により独自の発光特性を有している。ブラウン管や液晶などの表示素材は、ITU BT.709で定義されているEOTFに近い発光特性を有している。一方、OLEDの発光特性は、トランジスタのスイッチング特性に依存しており、その発光特性はSMPTE ST 2084で定義されているEOTFに近い。EOTF変換器1205は、表示素材1206が有する発光特性に応じて、アナログ信号が表示素材1206の発光輝度に変換される処理を行う。
【0022】
OETF変換器1203では、表示素材1206の発光特性によるEOTF変換器1205と逆の特性を持つ変換を行う。あらかじめ画像データに対してOETF変換器1203による変換を適用しておくことで、EOTF変換器1205の特性と打ち消しあう。これにより、表示素材1206に表示される画像は画像入力部1201で入力された画像と同じ見え方になる。
【0023】
図2は、SMPTE ST 2084、ITU BT.709、OLED素材の発光特性の一例を示すEOTFのグラフである。縦軸は最大発光輝度に対する割合、横軸はDA変換器1204に入力するコード値を10ビットで表している。OLED素材の発光特性は、SMPTE ST 2084のEOTFに近い。
【0024】
図3は、SMPTE ST 2084、ITU BT.709、OLED素材の発光特性の一例を示すOETFのグラフである。縦軸は変換後のコード値、横軸は最大発光輝度に対する割合を表している。OETFはEOTFの逆関数となっている。SMPTE ST 2084のOETFは人間が輝度変化で量子化ステップを視認できないよう定義されている。
【0025】
図4は、入力画像の輝度を最大輝度に対する割合で表現したデータに対して、SMPTE ST 2084、ITU BT.709、OLED素材の発光特性それぞれのOETFに則して8ビット(256階調)のコード値を割り当て、比較したものである。SMPTE ST 2084とOLED素材の発光特性は、低輝度域に多くのコード値が割り当てられているが、ITU BT.709は、低輝度域へのコード値の割り当てが少ない。この場合、入力画像の低輝度域の階調を維持することが困難であるため、トーンジャンプなどの画質劣化が生じる。
【0026】
図5は、本発明の画像処理装置の第1の実施形態である撮像装置1の構成例を説明するブロック図である。
【0027】
第1の実施形態の撮像装置1は、画像生成部100、10ビット精度未満のデジタル信号を伝送するデータ伝送路120、表示部130を備えて構成される。
【0028】
画像生成部100は、センサー部(撮像素子)101、AD変換部102、センサー補正部103、現像部104、OETF変換部105、記録再生部106、記録媒体107、画像合成部108、領域分割部109、第1のOETF変換部110、第2のOETF変換部111、送信部112、CPU113、操作部114を備えて構成される。なお、第1のOETF変換部110は、HDR(High Dynamic Range)発光特性のOETF変換部であり、第2のOETF変換部111は、SDR(Standard Dynamic Range)発光特性のOETF変換部である。
【0029】
センサー部101は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサで構成され、2次元に配置された複数の画素を備える。それぞれの画素には、赤(R)、緑(G)、青(B)の3色のカラーフィルターが配置されている。センサー部101は、カラーフィルターを透過した光をアナログの電気信号に変換する光電変換処理を行う。
【0030】
AD変換部102は、光電変換処理によって得られたアナログの電気信号をデジタル信号からなる画像データに変換するAD変換処理を行う。
【0031】
センサー補正部103は、AD変換処理によって得られた画像データに対して修復処理を行う。例えば、センサー部101における欠落画素や取得した画素値が最大(最小)で信頼性が低いと判断される画素に対し、周辺の画素値を用いて画素値を補間する。また、暗電流補正など、所定のオフセット値を減算する処理を行う。
【0032】
現像部104は、修復処理後の画像データに対して、輝度と色差からなる色空間への変換、ノイズの除去、光学的な歪みの補正などの現像処理を行う。
【0033】
OETF変換部105は、現像された画像データに対して、ITU BT.709やSMPTE ST 2084などの一般化された規格に準拠したOETFへの変換を行う。さらに、OETF変換部105は、どの規格のOETFへ変換したかを、OETF情報として画像データに付与する。
【0034】
記録再生部106は、記録媒体107から読み出した画像データの再生を行う。記録媒体107は、OETF変換部105でOETF変換された画像データを読み書き可能な装置である。記録媒体107としては、SDカード(登録商標)、microSDカード(登録商標)等が用いられる。記録媒体107は、画像生成部100から取り外し可能であり、画像生成部100以外の装置(パーソナルコンピュータ等)に装着することが可能である。なお、記録媒体107は、画像生成部100に対して着脱不可能な内蔵式の記録媒体でもよい。
【0035】
画像合成部108は、背景画像やGUI画像をデータとして保持しており、記録再生部106を通じて読み出した画像データと合成する。また、複数の画像データを読み出した場合、複数の画像データを1枚の画像に合成する。さらに、合成時に重畳部分のOETF情報を更新する。
【0036】
領域分割部109は、画像合成部108で合成された画像データと、画像データが領域ごとに有するOETF情報に基づき、画像データをHDR表示領域とSDR表示領域に分割する。画像全体をHDR表示したりSDR表示したりする場合は、分割を行わないこともできる。
【0037】
第1のOETF変換部110は、領域分割部109で分割されたHDR表示領域を検出して、SMPTE ST 2084のOETFから表示素材134の発光特性に基づくOETFへ変換する。
【0038】
第2のOETF変換部111は、領域分割部109で分割されたSDR表示領域を検出して、ITU BT.709のOETFから表示素材134の発光特性に基づくOETFへ変換する。
【0039】
ここで、
図6を用いて、第1のOETF変換部110の詳細処理について説明する。
図6では、表示素材134の画素がRGBの3色で構成されている例を示しているが、シアン、マゼンタ、イエローなどの他の色が使われている場合でも同様である。
【0040】
図6(a)は、第1のOETF変換部110の入力画像データがRGBデータの場合の第1のOETF変換部における処理を説明する図である。
【0041】
表示部130の発光特性はRGBそれぞれで異なるため、第1のOETF変換部110-01、110-02、110-03において、RGBそれぞれの発光特性逆変換を行う。WB調整部110-04で、発光特性逆変換が行われたRGBデータのホワイトバランスを調整し、出力する。発光特性逆変換とホワイトバランスの処理順序は、逆でも良く、また同時に行ってもよい。第2のOETF変換部111についても同様の処理が行われる。
【0042】
図6(b)は、第1のOETF変換部110の入力画像データがYCCデータの場合の第1のOETF変換部110における処理を説明する図である。YCC・RGB変換部110-05において、入力されたYCCデータをRGBデータに変換する。RGB変換後の処理は、
図6(a)と同様である。RGB・YCC変換部110-06で、ホワイトバランス調整されたRGBデータをYCCデータに変換し、出力する。第2のOETF変換部111についても同様の処理が行われる。
【0043】
送信部112は、変換が適用された画像データを、データ伝送路120を通じて表示部130へ送信する。
【0044】
CPU113は、画像生成部100が有する上記の各ブロックとその他のブロックに、不図示の内部バスを介して接続されている。CPU113は画像生成部100全体の処理を制御する。なお、本実施形態では、CPU113は、表示部130の各ブロックの制御も行う。
【0045】
操作部114は、不図示の内部バスを介してCPU113に接続されている。操作部114は、ユーザ操作を受け付ける入力部としての各種操作部材を有する。操作部114は、撮影を開始するための撮影開始ボタン、記録媒体107に記録された画像を再生するための再生開始ボタンなどを含む。また、操作部114は、表示部130にGUI(Graphical User Interface)として表示され、ユーザ操作に応じて各種機能を実行するための機能ボタンを有する。機能ボタンは、記録媒体107に記録された画像の再生時にHDR画像とSDR画像を左右に並べて表示するDR比較表示機能の開始ボタン、記録媒体107に記録された複数の画像を一覧として表示するサムネイル表示機能の開始ボタンなどを含む。
【0046】
データ伝送路120の伝送規格は、MIPI、Sub-LVDS等が用いられる。本実施形態におけるデータ伝送路120は、8ビット精度とする。ビット精度とは、物理的なビット幅を意味するものではなく、実質的なビット幅を意味する。例えば、10ビット幅の伝送路が8ビットの有効データと2ビットの0詰めにより構成される場合は8ビット精度となる。
【0047】
表示部130は、受信部131、DA変換部132、EOTF変換部133、表示素材134を備えて構成される。
【0048】
受信部131は、データ伝送路120を通じて、画像生成部100から画像データを受信する。
【0049】
DA変換部132は、デジタル信号からなる画像データをアナログの電気信号へ変換するDA変換を行う。DA変換部132は、変換後の電気信号を、表示素材134へ伝送する。伝送された電気信号の強度に基づき、表示素材134が持つ各画素の発光素材の発光強度を決定する。
【0050】
EOTF変換部133は、表示素材134が持つ発光特性に基づくEOTF変換を行う。DA変換部132から伝送されてきた画素ごとの電気信号に基づき、表示素材134が発光して表示が行われるのであるが、EOTF変換部133では、表示素材134が持つ電気的な特性に基づき、電気信号から発光輝度へ非線形の変換が行われる。
【0051】
表示素材134は、2次元に配置された複数の画素を備える。それぞれの画素に対応する発光素材が発光することで、画像を表示する。本実施形態の表示素材には、ブラウン管、液晶、OLED等が用いられる。
【0052】
次に、記録媒体107に保存したSDR画像とHDR画像を左右に並べて表示部130に表示するDR比較表示機能を実現する場合の処理について、
図7のフローチャートを用いて説明する。また、
図8に
図7のフローにおける各機能ブロックの画像処理結果を示す。
【0053】
図7のフローチャートにおける各処理は、操作部114がDR比較機能開始のユーザ操作を受けつけたことをCPU113が検知することで開始され、CPU113が画像生成部100及び表示部130の各ブロックを制御することにより実現される。
【0054】
ステップS302では、CPU113は、記録再生部106を制御し、記録媒体107からHDR画像データを読み出す。読み出された画像データは、記録再生部106を通じて画像データとして再生される。
【0055】
ステップS303では、CPU113は、画像合成部108を制御し、読み出された画像データと画像合成部108があらかじめデータとして保持する背景画像データを合成する。
【0056】
ステップS304では、CPU113は、同時に表示する画像データの読み出しと合成が完了しているか否かを判定する。同時に表示する画像データの読み出しと合成が完了していない場合は(S304:NO)、ステップS302~S304の処理を繰り返す。本実施形態では、ステップS302~S304において、HDR画像データと同時に表示するSDR画像データを読み出し、背景画像データと合成したHDR・SDR合成画像を生成する。
【0057】
また、このとき、メニューやスクロールバーなど、画像合成部108がデータとして保持する所望のGUIを合成してもよい。ここでは、GUI合成の例として、画像の表示形式を識別するためのアイコンを合成することを考える。
【0058】
ステップS302~S304の処理結果を、
図8(a)に示す。領域401は背景画像データ、領域402はHDR画像データ、領域403はSDR画像データ、領域404は画像がHDR表示されていることを示すアイコン、領域405は画像がSDR表示されていることを示すアイコンである。領域401、領域403、領域404、領域405のOETFはITU BT.709のOETFであり、領域402のOETFはSMPTE ST 2084のOETFである。
【0059】
一方、ステップS304で、同時に表示する画像データの読み出しと合成が完了している場合は(S304:YES)、合成結果であるHDR・SDR合成画像を領域分割部109へ伝送する。
【0060】
ステップS305では、CPU113は、領域分割部109を制御し、画像合成部108で生成されたHDR・SDR合成画像について、HDR表示領域とSDR表示領域に分割する。
【0061】
本実施形態では、画像合成部108において、各画像の合成時に座標情報、合成順情報を付与し、これらの情報に基づき、重畳部分のOETF情報を更新する。領域分割部109は、画素ごとのOETF情報に基づき、HDR表示用のOETFである場合は、HDR表示領域と判定する。
【0062】
処理結果を
図8(b)に示す。領域406はHDR表示領域、領域407はSDR表示領域を示す。従って、本実施形態では、HDR画像はHDR表示領域、SDR画像およびGUI画像はSDR表示領域に割り当てられる。このとき、領域406のOETFはSMPTE ST 2084、領域407のOETFはITU BT.709と判定される。
【0063】
そして、領域分割後の画像データと、HDR表示領域であるかSDR表示領域であるかの判定結果を表す領域情報を、第1のOETF変換部110へ伝送する。
【0064】
ステップS306では、CPU113は、第1のOETF変換部110を制御し、領域分割部109から伝送された画像データと領域情報に基づき、HDR表示領域を検出する。そして、HDR表示領域について、SMPTE ST 2084のOETFから表示素材134の発光特性に基づくOETFへの変換を行う。そして、変換後のデータを第2のOETF変換部111へ伝送する。
【0065】
ステップS307では、CPU113は、第2のOETF変換部111を制御して、第1のOETF変換部110から伝送された画像データと領域情報に基づき、SDR表示領域を検出する。そして、SDR表示領域について、ITU BT.709のOETFから表示素材134の発光特性に基づくOETFへの変換を行う。
【0066】
ステップS306、S307の処理結果を
図8(c)に示す。変換後の領域406、領域407のOETFは表示素材134の発光特性に基づくOETFとなる。
【0067】
ステップS308では、CPU113は、第2のOETF変換部111を制御して、変換した画像データを送信部112、データ伝送路120を通じて表示部130へ送信する。
【0068】
ステップS309では、CPU113は、受信部131を制御して、データ伝送路120で伝送された画像データを受信する。
【0069】
ステップS310では、CPU113は、DA変換部132を制御して、デジタル信号からなる画像データをアナログ信号へ変換する。
【0070】
ステップS311では、CPU113は、EOTF変換部133を制御して、画像データに表示素材134が持つ発光特性に基づくEOTF変換を適用し、表示素材134における画素ごとの発光輝度を決定する。
【0071】
ステップS312では、CPU113は、表示素材を発光させることで、表示部130に画像を表示する。
【0072】
なお、ここまでの説明では、HDRのEOTFをSMPTE ST 2084として説明してきたが、HDRのEOTFはSMPTE ST 2084に限定されるものではない。SDRと比較して、暗部階調の割り当てが多い場合、そのEOTFはHDRのEOTFとなり得る。
【0073】
なお、上記では一例として、
図8(a)で表されるような、表示部130の左右にSDR画像とHDR画像を並べて表示する画像表示状態を実現する処理について説明した。しかし、
図9で表されるようなHDR画像とSDR画像が混在したサムネイル表示についても、同様の処理で実現が可能である。
【0074】
また、記録媒体107から読み出す画像データは単数でも複数でもよく、HDR画像とSDR画像が混在していても混在していなくてもよい。
【0075】
以上説明したように、本実施形態によれば、HDR・SDR合成画像データをHDR表示領域とSDR表示領域に分割し、領域ごとに表示素材の発光特性に基づくOETFに変換することで、HDR画像とSDR画像を1ポートで伝送し、混在表示することが可能となる。
【0076】
(第2の実施形態)
図10は、本発明の画像処理装置の第2の実施形態である撮像装置2の構成例を説明するブロック図である。第1の実施形態と同様の箇所については、同一の符号を付して、説明を省略する。
【0077】
第2の実施形態の撮像装置2は、画像生成部600、10ビット精度未満のデジタル信号を伝送するデータ伝送路120、表示部130を備えて構成される。
【0078】
第2の実施形態では、画像生成部600は、領域分割部109を有さず、第1の実施形態に対して、第1のOETF変換部110および第2のOETF変換部111と画像合成部108の接続順を変更した構成となっている。
【0079】
第2の実施形態では、読み出した画像データを第1のOETF変換部601および第2のOETF変換部602で表示素材134の発光特性に基づくOETFに変換する。その後、画像合成部603において、背景画像、HDR画像、SDR画像を合成する。
【0080】
第1の実施形態と同様に、記録媒体107に保存したSDR画像とHDR画像を左右に並べて表示部130に表示するDR比較表示機能を実現する場合の処理について、
図11のフローチャートを用いて説明する。また、
図12に、
図11のフローにおける画像処理結果を示す。
【0081】
図11のフローチャートに示される処理は、操作部114がDR比較機能開始のユーザ操作を受けつけたことをCPU113が検知することで開始され、CPU113が画像生成部600及び表示部130の各ブロックを制御することにより実現される。
【0082】
ステップS702では、CPU113は、記録再生部106を制御し、記録媒体107からHDR画像データを読み出す。読み出された画像データは、記録再生部106を通じて画像データとして再生される。
【0083】
ステップS703では、CPU113は、読み出した画像データのOETFがHDRであるか否かを判定する。CPU113は、読み出した画像データのOETFがHDRである場合は(S703:YES)、ステップS704に進み、第1のOETF変換部601へ画像データを送る。
【0084】
ステップS704では、CPU113は、第1のOETF変換部601を制御し、画像データに対して、SMPTE ST 2084のOETFから表示素材134が持つ発光特性に基づくOETFへの変換を行う。その後、OETF変換後の画像データを画像合成部603へ送る。
【0085】
ステップS706では、CPU113は、画像合成部603を制御し、第1のOETF変換部601によるOETF変換後のHDR画像データと画像合成部603があらかじめデータとして保持する背景画像データを合成する。背景画像データのOETFは、あらかじめ表示素材134の発光特性に基づくOETFに変換されているものとする。
【0086】
処理結果を
図12(a)に示す。領域801は背景画像データ、領域802は表示素材134の発光特性OETFに変換後のHDR画像を示す。
【0087】
ステップS707では、CPU113は、同時に表示する画像データの読み出しと合成が完了しているか否かを判定する。同時に表示する画像データの読み出しと合成が完了していない場合は(S707:NO)、ステップS702~S706の処理を繰り返す。本実施形態では、ステップS702~S706において、HDR画像データと同時に表示するSDR画像データを読み出し、表示素材134の発光特性に基づくOETFに変換した後、背景画像データと合成する。
【0088】
ステップS702では、CPU113は、記録再生部106を制御し、記録媒体107からSDR画像データを読み出す。読み出された画像データは、記録再生部106を通じて画像データとして再生される。
【0089】
ステップS703では、CPU113は、読み出した画像データのOETFがHDRであるか否かを判定する。読み出した画像データのOETFがSDRであると判定されると(S703:NO)、ステップS705に進み、第2のOETF変換部602に画像データを送る。
【0090】
ステップS705では、CPU113は、第2のOETF変換部602を制御し、画像データに対して、ITU BT.709のOETFから表示素材134が持つ発光特性に基づくOETFへの変換を行う。その後、OETF変換後の画像データを画像合成部603へ送る。
【0091】
ステップS706では、CPU113は、画像合成部603を制御し、第2のOETF変換部602によるOETF変換後のSDR画像データを、背景画像データと合成し、HDR・SDR合成画像を生成する。
【0092】
処理結果を
図12(b)に示す。領域803は、表示素材134の発光特性に基づくOETFに変換後のSDR画像を示す。
【0093】
また、このときメニューやスクロールバーなど、画像合成部603がデータとして保持する所望のGUI画像を合成してもよい。なお、GUI画像のOETFは、あらかじめ表示素材134の発光特性に基づくOETFに変換されているものとする。
【0094】
ステップS707では、CPU113は、同時に表示する画像データの読み出しと合成が完了しているか否かを判定する。表示部130に表示する全ての画像データの読み出しと合成が完了している場合は(S707:YES)、ステップS708に進み、画像データを送信部112、データ伝送路120を通じて表示部130へ送る。全ての画像データの読み出しと合成が完了していない場合は(S707:NO)、ステップS702~S708を繰り返す。
【0095】
ステップS709では、CPU113は、受信部131を制御して、データ伝送路120で伝送された画像データを受信する。
【0096】
ステップS710では、CPU113は、DA変換部132を制御して、デジタル信号からなる画像データをアナログ信号へ変換する。
【0097】
ステップS711では、CPU113は、EOTF変換部133を制御して、画像データに表示素材134が持つ発光特性に基づくEOTF変換を適用し、表示素材134における画素ごとの発光輝度を決定する。
【0098】
ステップS712では、CPU113は、表示素材を発光させることで、表示部130に画像を表示する。
【0099】
以上により、第1の実施形態とは別の構成で、HDR画像とSDR画像を1ポートで伝送し、混在表示することが可能となる。
【0100】
(第3の実施形態)
図13は、本発明の画像処理装置の第3の実施形態である撮像装置3の構成例を説明するブロック図である。第1の実施形態と同様の箇所については、同一の符号を付して、説明を省略する。
【0101】
第3の実施形態の撮像装置3は、画像生成部900、10ビット精度未満のデジタル信号を伝送するデータ伝送路120、表示部130を備えて構成される。
【0102】
第3の実施形態では、画像生成部600は、第2のOETF変換部111を有さず、第1の実施形態に対して、SDR・HDR変換部901が追加されている。また、第1のOETF変換部110と画像合成部108の接続順を変更した構成となっている。
【0103】
SDR・HDR変換部901は、SDR画像のOETFをITU BT.709のOETFからSMPTE ST 2084のOETFへ変更する。
【0104】
第3の実施形態では、HDR画像とSDR画像を混在して表示部130に表示する際、SDR・HDR変換部901においてSDR画像のOETFを一度HDRのOETFに変換する。その後、画像合成部902において、HDR画像、HDRのOETFに変換されたSDR画像、背景画像を合成する。そして、第1のOETF変換部903において、合成後の画像データを表示素材134の発光特性に基づくOETFへ変換する。
【0105】
表示素材134の発光特性がHDRのEOTFに近い場合で、且つ記録媒体107に保存したSDR画像とHDR画像を左右に並べて表示部130に表示するDR比較表示機能を実現する場合の処理について、
図14のフローチャートを用いて説明する。また、
図15に
図14のフローにおける画像処理結果を示す。
【0106】
図14に記載のフローチャートで表される処理は、操作部114がDR比較機能開始のユーザ操作を受けつけたことをCPU113が検知することで開始され、CPU113が画像生成部900及び表示部130の各ブロックを制御することにより実現される。
【0107】
ここで、表示素材134の発光特性がHDRのEOTFに近いとは、表示素材134の発光特性とHDRのEOTFとの差の平方和が、表示素材134の発光特性とSDRのEOTFとの差の平方和より小さいことを意味する。
【0108】
ステップS1002では、CPU113は、記録再生部106を制御し、記録媒体107からHDR画像データを読み出す。読み出された画像データは、記録再生部106を通じて画像データとして再生される。
【0109】
ステップS1003では、読み出した画像データのOETFがHDRであるか否かを判定する。読み出した画像データのOETFがHDRであると判定すると(S1003:YES)、ステップS1005に進み、画像データを画像合成部902へ送る。
【0110】
ステップS1005では、CPU113は、画像合成部902を制御し、伝送された画像データと画像合成部902があらかじめデータとして保持する背景画像データを合成する。背景画像データのOETFは、あらかじめSMPTE ST 2084のOETFに変換されているものとする。
【0111】
この処理結果を
図15(a)に示す。領域1101は背景画像データ、領域1102は記録媒体から読み出したHDR画像データを示す。
【0112】
ステップS1006では、CPU113は、同時に表示する画像データの読み出しと合成が完了しているか否かを判定する。同時に表示する画像データの読み出しと合成が完了していない場合は(S1006:NO)、ステップS1002~S1006の処理を繰り返す。本実施形態では、ステップS1002~S1006において、HDR画像データと同時に表示するSDR画像データを読み出し、背景画像データと合成する。
【0113】
ステップS1002では、CPU113は、記録再生部106を制御し、記録媒体107からSDR画像データを読み出す。読み出された画像データは、記録再生部106を通じて画像データとして再生される。
【0114】
ステップS1003では、読み出した画像データのOETFがSDRであると判定すると(S1003:YES)、記録再生部106は、SDR・HDR変換部へ画像データを送る。
【0115】
ステップS1004では、CPU113は、SDR・HDR変換部901を制御し、読み出したSDR画像データをITU BT.709のOETFからSMPTE ST 2084のOETFへ変換する。SDR・HDR変換部901は、変換後の画像データを画像合成部902へ伝送する。
【0116】
ステップS1005では、CPU113は、画像合成部902を制御し、変換後のSDR画像データを背景画像データと合成してHDR・SDR合成画像を生成する。この処理結果を
図15(b)に示す。領域1103は変換後のSDR画像を示す。
【0117】
また、このとき、メニューやスクロールバーなど画像合成部902がデータとして保持する所望のGUI画像を合成してもよい。なお、GUI画像のOETFは、あらかじめSMPTE ST 2084のOETFに変換されているものとする。
【0118】
ステップS1006では、CPU113は、同時に表示する画像データの読み出しと合成が完了しているか否かを判定する。表示部130に表示する全ての画像データの読み出しと合成が完了したら(S1006:YES)、第1のOETF変換部903へ画像データを伝送する。
【0119】
ステップS1007では、CPU113は、第1のOETF変換部903を制御し、伝送された画像データのOETFをSMPTE ST 2084から表示素材134の発光特性に基づくOETFへ変換する。その処理結果を
図15(c)に示す。
【0120】
ステップS1008では、CPU113は、変換後の画像データを、送信部112、データ伝送路120を通じて表示部130へ送信する。
【0121】
ステップS1009では、CPU113は、受信部131を制御して、データ伝送路120で伝送された画像データを受信する。
【0122】
ステップS1010では、CPU113は、DA変換部132を制御して、デジタル信号からなる画像データをアナログ信号へ変換する。
【0123】
ステップS1011では、CPU113は、EOTF変換部133を制御して、画像データに表示素材134が持つ発光特性に基づくEOTF変換を適用し、表示素材134における画素ごとの発光輝度を決定する。
【0124】
ステップS1012では、CPU113は、表示素材を発光させることで、表示部130に画像を表示する。
【0125】
以上により、第1及び第2の実施形態とは別の構成で、HDR画像とSDR画像を1ポートで伝送し、混在表示することが可能となる。
【0126】
本明細書の開示は、以下の画像処理装置及びその制御方法、プログラム、記憶媒体を含む。
【0127】
(項目1)
HDR画像(High Dynamic Range 画像)のOETF(Opto-Electro Transfer Function)を、表示手段の発光特性に基づくOETFへ変換する第1の変換と、SDR画像(Standard Dynamic Range 画像)のOETFを、前記表示手段の発光特性のOETFへ変換する第2の変換との少なくとも1つを行う第1の変換手段と、
前記第1の変換により変換されたHDR画像と、前記第2の変換により変換されたSDR画像とを前記表示手段に送信する送信手段と、
を備えることを特徴とする画像処理装置。
【0128】
(項目2)
前記第1の変換と前記第2の変換では、前記表示手段の発光特性の逆変換を行うことを特徴とする項目1に記載の画像処理装置。
【0129】
(項目3)
前記第1の変換により変換されたHDR画像と、前記第2の変換により変換されたSDR画像とを同時に表示する表示手段をさらに備えることを特徴とする項目1または2に記載の画像処理装置。
【0130】
(項目4)
前記HDR画像と、前記SDR画像とを、前記第1及び第2の変換により変換する前に合成する合成手段をさらに備えることを特徴とする項目1乃至3のいずれか1項目に記載の画像処理装置。
【0131】
(項目5)
前記合成手段により合成された合成画像を、HDR表示領域とSDR表示領域に分割する分割手段をさらに備えることを特徴とする項目4に記載の画像処理装置。
【0132】
(項目6)
前記第1の変換では、前記HDR表示領域を、前記表示手段の発光特性に基づくOETFへ変換することを特徴とする項目5に記載の画像処理装置。
【0133】
(項目7)
前記第2の変換では、前記SDR表示領域を、前記表示手段の発光特性に基づくOETFへ変換することを特徴とする項目5に記載の画像処理装置。
【0134】
(項目8)
前記第1の変換により変換されたHDR画像と、前記第2の変換により変換されたSDR画像とを合成する合成手段をさらに備えることを特徴とする項目1乃至3のいずれか1項目に記載の画像処理装置。
【0135】
(項目9)
前記SDR画像に対して、HDRのOETFへの変換を行う第2の変換手段をさらに備えることを特徴とする項目1乃至3のいずれか1項目に記載の画像処理装置。
【0136】
(項目10)
前記第2の変換手段により変換されたSDR画像と、前記HDR画像とを合成する合成手段をさらに備えることを特徴とする項目9に記載の画像処理装置。
【0137】
(項目11)
、前記第1の変換手段は、前記合成手段により合成された画像に対して、前記第1の変換を行うことを特徴とする項目10に記載の画像処理装置。
【0138】
(項目12)
前記表示手段がOLED(Organic Light Emitting Diode)から成り、HDRのEOTF(Electro-Optical Transfer Function)がSMPTE STANDARD 2084に基づき、SDRのEOTFがRECOMMENDATION ITU-R BT.709に基づくことを特徴とする項目1乃至11のいずれか1項目に記載の画像処理装置。
【0139】
(項目13)
前記送信手段は、1ポートで構成され、伝送する信号の規格が、MIPIまたはSub-LVDSに準拠することを特徴とする項目1乃至12のいずれか1項目に記載の画像処理装置。
【0140】
(項目14)
撮像手段と、
項目1乃至13のいずれか1項目に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【0141】
(項目15)
HDR画像(High Dynamic Range 画像)のOETF(Opto-Electro Transfer Function)を、表示手段の発光特性に基づくOETFへ変換する第1の変換と、SDR画像(Standard Dynamic Range 画像)のOETFを、前記表示手段の発光特性のOETFへ変換する第2の変換との少なくとも1つを行う第1の変換工程と、
前記第1の変換により変換されたHDR画像と、前記第2の変換により変換されたSDR画像とを前記表示手段に送信する送信工程と、
を有することを特徴とする画像処理装置の制御方法。
【0142】
(項目16)
項目15に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【0143】
(項目17)
項目15に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【0144】
(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
【0145】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0146】
1,2,3 撮像装置、100:画像生成部、101:センサー部、102:AD変換部、103:センサー補正部、104:現像部、105:OETF変換部、106:記録再生部、107:記録媒体、108:画像合成部、109:領域分割部、110:第1のOETF変換部、111:第2のOETF変換部、112:送信部、113:CPU、114:操作部、120:データ伝送路、130:表示部、131:受信部、132:DA変換部、133:EOTF変換部、134:表示素材