特許7508135画像処理方法、画像処理装置、電子機器、及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-21
(45)【発行日】2024-07-01
(54)【発明の名称】画像処理方法、画像処理装置、電子機器、及びコンピュータプログラム
(51)【国際特許分類】
G06T 3/4053 20240101AFI20240624BHJP
G06T 5/40 20060101ALI20240624BHJP
H04N 1/407 20060101ALI20240624BHJP
【ＦＩ】
G06T3/4053
G06T5/40
H04N1/407 740
【請求項の数】
7
(21)【出願番号】P 2022520267
(86)(22)【出願日】2020-10-20
(65)【公表番号】
(43)【公表日】2022-12-02
(86)【国際出願番号】 CN2020122203
(87)【国際公開番号】W WO2021143241
(87)【国際公開日】2021-07-22
【審査請求日】2022-03-31
(31)【優先権主張番号】202010038997.5
(32)【優先日】2020-01-14
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
【氏名又は名称原語表記】ＴＥＮＣＥＮＴ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＺＨＥＮ） ＣＯＭＰＡＮＹ ＬＩＭＩＴＥＤ
【住所又は居所原語表記】３５／Ｆ，Ｔｅｎｃｅｎｔ Ｂｕｉｌｄｉｎｇ，Ｋｅｊｉｚｈｏｎｇｙｉ Ｒｏａｄ，Ｍｉｄｗｅｓｔ Ｄｉｓｔｒｉｃｔ ｏｆ Ｈｉ－ｔｅｃｈ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７，ＣＨＩＮＡ
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】李 志成
【審査官】岡本 俊威
(56)【参考文献】
【文献】中国特許第１０７４９２０７０（ＣＮ，Ｂ）
【文献】特表２０１８－５１８７３５（ＪＰ，Ａ）
【文献】特開２００８－１９１８８４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ３／４０－ ３／４０９２
Ｇ０６Ｔ ５／４０
Ｈ０４Ｎ １／４０－ １／４０９
(57)【特許請求の範囲】
【請求項1】
電子機器が実行する画像処理方法であって、原画像における、色特徴値が各色特徴区間内にある画素点の数に基づいて、前記原画像に対応する第１ヒストグラムを取得するステップと、
前記原画像のアップサンプリング画像における、色特徴値が前記各色特徴区間内にある画素点の数に基づいて、前記アップサンプリング画像に対応する第２ヒストグラムを取得するステップと、
前記第１ヒストグラムおよび前記第２ヒストグラムにおける色分布状況が最も近い前記各色特徴区間の間の対応関係を示すマッチング関係に基づいて、前記第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間をそれぞれ決定するステップであって、前記第２ヒストグラムにおけるいずれか１つの色特徴区間について、前記第１ヒストグラムにおける各色特徴区間に対応する比率と、前記いずれか１つの色特徴区間に対応する比率との差を決定し、前記第１ヒストグラムにおける、指定条件を満たす差に対応する色特徴区間の中から、前記いずれか１つの色特徴区間にマッチするターゲット色特徴区間を決定するステップを含み、前記第１ヒストグラムにおける各色特徴区間に対応する比率は、前記原画像における、色特徴値が対応の色特徴区間内にある画素点の数と、前記原画像に含まれる画素点の総数との比率であり、前記第２ヒストグラムにおける各色特徴区間に対応する比率は、前記アップサンプリング画像における、色特徴値が対応の色特徴区間内にある画素点の数と、前記アップサンプリング画像に含まれる画素点の総数との比率である、ステップと、
前記第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間に基づいて、前記アップサンプリング画像における前記各色特徴区間にある画素点の色特徴値を処理することにより、ターゲット画像を取得するステップと、
を含む方法。
【請求項2】
前記指定条件を満たす少なくとも２つの差が存在する場合、前記第１ヒストグラムにおける、指定条件を満たす差に対応する色特徴区間の中から、前記いずれか１つの色特徴区間にマッチするターゲット色特徴区間を決定する前記ステップは、前記第１ヒストグラムにおける、前記少なくとも２つの差のそれぞれに対応する色特徴区間を決定するステップと、
決定した少なくとも２つの色特徴区間の中から、前記いずれか１つの色特徴区間とのレベル差が最小となる色特徴区間を選択して、前記いずれか１つの色特徴区間にマッチするターゲット色特徴区間として決定するステップと、を含む、
請求項１に記載の方法。
【請求項3】
前記指定条件を満たす差が１つだけ存在する場合、前記第１ヒストグラムにおける、指定条件を満たす差に対応する色特徴区間の中から、前記いずれか１つの色特徴区間にマッチするターゲット色特徴区間を決定する前記ステップは、第１ヒストグラムにおける、前記指定条件を満たす前記差に対応する色特徴区間を、前記いずれか１つの色特徴区間にマッチするターゲット色特徴区間として決定するステップを含む、
請求項１に記載の方法。
【請求項4】
前記色特徴値は、画素点の階調値、画素点の輝度値、画素点の色値の少なくとも１つを含む、請求項１乃至３のいずれか１項に記載の方法。
【請求項5】
画像処理装置であって、原画像における、色特徴値が各色特徴区間内にある画素点の数に基づいて、前記原画像に対応する第１ヒストグラムを取得する第１統計モジュールと、
前記原画像のアップサンプリング画像における、色特徴値が前記各色特徴区間内にある画素点の数に基づいて、前記アップサンプリング画像に対応する第２ヒストグラムを取得する第２統計モジュールと、
前記第１ヒストグラムおよび前記第２ヒストグラムにおける色分布状況が最も近い前記各色特徴区間の間の対応関係を示すマッチング関係に基づいて、前記第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間をそれぞれ決定するマッチングモジュールであって、前記第２ヒストグラムにおけるいずれか１つの色特徴区間について、前記第１ヒストグラムにおける各色特徴区間に対応する比率と、前記いずれか１つの色特徴区間に対応する比率との差を決定し、前記第１ヒストグラムにおける、指定条件を満たす差に対応する色特徴区間の中から、前記いずれか１つの色特徴区間にマッチするターゲット色特徴区間を決定することを含み、前記第１ヒストグラムにおける各色特徴区間に対応する比率は、前記原画像における、色特徴値が対応の色特徴区間内にある画素点の数と、前記原画像に含まれる画素点の総数との比率であり、前記第２ヒストグラムにおける各色特徴区間に対応する比率は、前記アップサンプリング画像における、色特徴値が対応の色特徴区間内にある画素点の数と、前記アップサンプリング画像に含まれる画素点の総数との比率である、マッチングモジュールと、
前記第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間に基づいて、前記アップサンプリング画像における前記各色特徴区間にある画素点の色特徴値を処理することにより、ターゲット画像を取得する処理モジュールと、
を含む装置。
【請求項6】
メモリと、１つ又は複数のプロセッサとを備える電子機器であって、メモリには、コンピュータ可読命令が記憶され、コンピュータ可読命令は、プロセッサによって実行されると、１つ又は複数のプロセッサに、請求項１乃至４のいずれか１項に記載の方法を実行させる電子機器。
【請求項7】
請求項１乃至４のいずれか１項に記載の方法をコンピュータに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０２０年１月１４日に中国特許庁に提出された、出願番号が第２０２０１００３８９９７．５号であり、発明の名称が「画像処理方法、装置、電子機器、及び記憶媒体」である、中国特許出願に基づく優先権を主張し、その全ての内容が、参照することにより本願に組み込まれている。
【0002】
本願は、コンピュータの技術分野に関し、特に画像処理方法、装置、電子機器、及び記憶媒体に関する。
【背景技術】
【0003】
画像処理の分野では、高解像度の画像を取得したり、圧縮画像の解像度を復元したりすること、即ち、画像に対してアップサンプリング処理を行うことが、しばしば必要になる。従来のアップサンプリングアルゴリズムは、主に、補間アルゴリズム、又は深層学習に基づくアルゴリズムなどがある。その基本原理は、いずれも、近傍の画素点の色特徴値に基づいて、挿入される画素点の色特徴値を計算することである。
【発明の概要】
【発明が解決しようとする課題】
【0004】
これらのアルゴリズムでは、局所的な近傍の画素点の色情報のみに基づいて、挿入される画素点の色情報を計算するため、アップサンプリング後の画像に顕著なジャギー及び色エッジノイズなどが発生し、アップサンプリング画像の品質及び表示効果が低下する。
【課題を解決するための手段】
【0005】
画像処理方法であって、
原画像における、色特徴値が各色特徴区間内にある画素点の数に基づいて、前記原画像に対応する第１ヒストグラムを取得するステップと、
前記原画像のアップサンプリング画像における、色特徴値が前記各色特徴区間内にある画素点の数に基づいて、前記アップサンプリング画像に対応する第２ヒストグラムを取得するステップと、
前記第１ヒストグラムと前記第２ヒストグラムとに基づいて、前記第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間をそれぞれ決定するステップと、
前記第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間に基づいて、前記アップサンプリング画像における前記各色特徴区間にある画素点の色特徴値を処理することにより、ターゲット画像を取得するステップと、を含む。
原画像における、色特徴値が各色特徴区間内にある画素点の数に基づいて、前記原画像に対応する第１ヒストグラムを取得するステップと、
前記原画像のアップサンプリング画像における、色特徴値が前記各色特徴区間内にある画素点の数に基づいて、前記アップサンプリング画像に対応する第２ヒストグラムを取得するステップと、
前記第１ヒストグラムと前記第２ヒストグラムとに基づいて、前記第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間をそれぞれ決定するステップと、
前記第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間に基づいて、前記アップサンプリング画像における前記各色特徴区間にある画素点の色特徴値を処理することにより、ターゲット画像を取得するステップと、を含む。
【0006】
画像処理装置であって、
原画像における、色特徴値が各色特徴区間内にある画素点の数に基づいて、前記原画像に対応する第１ヒストグラムを取得する第１統計モジュールと、
前記原画像のアップサンプリング画像における、色特徴値が前記各色特徴区間内にある画素点の数に基づいて、前記アップサンプリング画像に対応する第２ヒストグラムを取得する第２統計モジュールと、
前記第１ヒストグラムと前記第２ヒストグラムとに基づいて、前記第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間をそれぞれ決定するマッチングモジュールと、
前記第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間に基づいて、前記アップサンプリング画像における前記各色特徴区間にある画素点の色特徴値を処理することにより、ターゲット画像を取得する処理モジュールと、を含む。
原画像における、色特徴値が各色特徴区間内にある画素点の数に基づいて、前記原画像に対応する第１ヒストグラムを取得する第１統計モジュールと、
前記原画像のアップサンプリング画像における、色特徴値が前記各色特徴区間内にある画素点の数に基づいて、前記アップサンプリング画像に対応する第２ヒストグラムを取得する第２統計モジュールと、
前記第１ヒストグラムと前記第２ヒストグラムとに基づいて、前記第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間をそれぞれ決定するマッチングモジュールと、
前記第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間に基づいて、前記アップサンプリング画像における前記各色特徴区間にある画素点の色特徴値を処理することにより、ターゲット画像を取得する処理モジュールと、を含む。
【0007】
メモリと、１つ又は複数のプロセッサとを備える電子機器であって、メモリには、コンピュータ可読命令が記憶され、コンピュータ可読命令は、プロセッサによって実行されると、上記画像処理方法のステップを１つ又は複数のプロセッサに実行させる。
【0008】
コンピュータ可読命令を記憶した１つ又は複数の不揮発性コンピュータ可読記憶媒体であって、コンピュータ可読命令は、１つ又は複数のプロセッサによって実行されると、上記画像処理方法のステップを１つ又は複数のプロセッサに実行させる。
【図面の簡単な説明】
【0009】
本願の実施例の構成をより明確に説明するために、以下に、本願の実施例に必要な図面を簡単に紹介する。明らかに、以下に紹介される図面は本願のいくつかの実施例を示しているに過ぎず、当業者であれば、創造的な労働をすることなく、これらの図面から他の図面を得ることもできる。
【0010】
【図1A】本願の一実施例で提供される画像処理方法の応用シナリオの模式図である。
【図1B】本願の他の実施例で提供される画像処理方法の応用シナリオの模式図である。
【図1C】本願の一実施例で提供される画像処理方法がニューラルネットワークに適用される場合の模式図である。
【図1D】本願の他の実施例で提供される画像処理方法がニューラルネットワークに適用される場合の模式図である。
【図2】本願の一実施例で提供される画像処理方法の手順の模式図である。
【図3】本願の一実施例で提供される画像に対応する階調値、及び階調値を統計して得られたヒストグラムである。
【図4】本願の一実施例で提供される第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間を決定する手順の模式図である。
【図5】本願の一実施例で提供されるアップサンプリング画像とターゲット画像との対応図である。
【図6】本願の一実施例で提供される画像処理装置の構成の模式図である。
【図7】本願の一実施例で提供される電子機器の構成の模式図である。
【発明を実施するための形態】
【0011】
本願の実施例の目的、構成、及びメリットをより明確にするために、以下、本願の実施例の図面を参照しながら、本願の実施例の構成を明確かつ完全に説明する。
【0012】
以下、理解を容易にするために、本願の実施例に係る用語を解釈する。
【0013】
ヒストグラム（Ｈｉｓｔｏｇｒａｍ）とは、質量分布プロファイルとも呼ばれ、統計レポートグラフであり、高さが異なる一連の縦方向の縞又は線分でデータ分布状況を示し、一般的に、横軸でデータタイプを示し、縦軸で分布状況を示す。本願では、色特徴値を複数の色特徴区間に予め分割し（即ち、ヒストグラムの横軸は、色特徴区間である）、１つの画像における、色特徴値が各色特徴区間にある画素点の数を統計することにより、該画像の色特徴分布状況を示すヒストグラムを取得する。
【0014】
ＲＧＢとは、産業界の色基準であり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）という３つの色チャネルの変化及びそれらの相互の重畳によって様々な色を取得するものである。ＲＧＢは、即ち、赤、緑、青という３つのチャネルの色を表す。この基準は、ほとんど人間の視力で感知可能なほぼ全ての色を含み、最も広く適用される色システムの１つである。
【0015】
ＹＵＶとは、色コーディング方法であり、各ビデオ処理コンポーネントでよく使用される。ＹＵＶでは、写真又はビデオをコーディングする際に、人間の感知能力を考慮して、色度の帯域幅を低減することを可能にする。ＹＵＶは、ｔｒｕｅ－ｃｏｌｏｒ色空間（ｃｏｌｏｒ ｓｐａｃｅ）をコンパイルした種類であり、Ｙ’ＵＶ、ＹＵＶ、ＹＣｂＣｒ、ＹＰｂＰｒなどは、いずれもＹＵＶと呼ばれてもよく、互いに重なっている部分がある。「Ｙ」は、輝度（Ｌｕｍｉｎａｎｃｅ又はＬｕｍａ）、即ち階調値を表し、「Ｕ」と「Ｖ」は、色度（Ｃｈｒｏｍｉｎａｎｃｅ又はＣｈｒｏｍａ）を表し、映像の色相及び彩度を記述することを役割として、画素の色を指定するためのものである。
【0016】
ＣＩＥＬａｂとは、ＣＩＥの１つの色システム、表色系である。ＣＩＥＬａｂに基づくことは、この色システムに基づくことを意味し、基本的に、ある色の数値情報を決定するために用いられる。Ｌａｂモードは、１９７６年に国際照明委員会（ＣＩＥ）によって公布された色モードであり、ＣＩＥ組織が決定した、理論的に人間の目で見える全ての色を含む色モードである。Ｌａｂモードは、ＲＧＢとＣＭＹＫという２つの色モードの不足を補い、Ｐｈｏｔｏｓｈｏｐでは、ある色モードから他の色モードに切り替えるときに使用される内部色モードである。Ｌａｂモードも、３つのチャネルで構成される。１つ目のチャネルは、明度、即ち「Ｌ」である。ａチャネルの色は、赤色から深緑色であり、ｂチャネルの色は、青色から黄色である。表現される色範囲について、最も広いのはＬａｂモードであり、次はＲＧＢモードであり、最も狭いのはＣＭＹＫモードである。つまり、Ｌａｂモードは、定義される色が最も多く、光線及び機器とは関係ないとともに、処理速度が、ＲＧＢモードと同様に速く、ＣＭＹＫモードよりも数倍速い。
【0017】
色特徴区間とは、色特徴に対応する色特徴値の範囲を分割して得られた複数の区間範囲である。本願において、色特徴は、画素点の階調、輝度、色などの、画素点の色特徴を示すデータであってもよい。例えば、色特徴が画素点の階調であり、階調値の範囲が０～２５５である場合、０～２５５の階調値の範囲を複数の区間範囲に分割して、各区間範囲それぞれを１つの色特徴区間としてもよい。例えば、０～１５を１つの色特徴区間とし、１６～３１を１つの色特徴区間とし、このように類推して、合計１６個の連続的な色特徴区間ｂ１～ｂ１６を得ることができる。説明を容易にするために、色特徴区間ｂｉのレベルをｉと記してもよい。
【0018】
サブサンプリング（ｓｕｂｓａｍｐｌｅｄ）とは、ダウンサンプリング（ｄｏｗｎｓａｍｐｌｅｄ）とも呼ばれてもよく、画像を表示領域の大きさに適合させ、又は、原画像に対応するサムネイルを生成するように、画像の解像度を低下させ、即ち、画像の画素点の数を削減することを目的とする。
【0019】
アップサンプリング（ｕｐｓａｍｐｌｉｎｇ）とは、画像超解像（Ｉｍａｇｅ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）であってもよく、画像を高解像度の応用の場合に適応させ、又は、原画像から失われた細部を復元することができるように、画像の解像度を向上させ、即ち、画像の画素点の数を増加することを目的とする。実際の適用では、画像補間（ｉｎｔｅｒｐｏｌａｔｉｎｇ）、又は深層学習に基づくアルゴリズムによって、画像に対してアップサンプリング処理を行うことができる。一般的な補間アルゴリズムは、最近傍補間、双線形補間、バイキュービック補間、平均値補間、中央値補間などの方法がある。
【0020】
通常、高解像度の画像を取得する必要がある場合、原画像をアップサンプリングすることにより、原画像におけるより多くの細部を復元又は再構成し、さらに、より高い解像度の表示機器に表示してもよい。又は、ニューラルネットワークを利用して画像を処理する際に、入力画像の解像度がニューラルネットワークの入力サイズに適することを保証するために、通常、まず入力画像をサブサンプリングしてからニューラルネットワークに入力し、次に、ニューラルネットワークの出力画像をアップサンプリングすることにより、出力画像の解像度を元の解像度に復元する。ニューラルネットワークにおいても、少なくとも１つのサブサンプリングネットワーク層を設け、処理過程において画像の解像度を低下させることにより処理効率を向上させ、少なくとも１つのアップサンプリングネットワーク層を設けることにより、サブサンプリング画像の解像度を復元するようにしてもよい。
【0021】
図面における任意の要素の数は、いずれも、限定ではなく例示のためのものであり、任意の名称は、いずれも、区別のみのためのものであり、何らの制限的な意味も有しない。
【0022】
具体的な実践過程において、関連するアップサンプリングアルゴリズムは、主に、画像補間アルゴリズム、又は深層学習に基づくアルゴリズムなどがある。任意の補間アルゴリズムの基本原理は、いずれも、近傍の画素点の色特徴値に基づいて、挿入される画素点の色特徴値を算出することであるが、深層学習に基づくアルゴリズムの基本原理も、ニューラルネットワークによって近傍の画素点の間の関係を学習することにより、挿入される画素点を取得することである。これらのアルゴリズムでは、局所的な近傍の画素点の色情報のみに基づいて、挿入される画素点の色情報を計算するため、アップサンプリング後の画像に顕著なジャギー及び色エッジノイズなどが発生する。また、画像エッジには、上、下、左、右のうちの１つ又は２つの方向が欠いている近傍画素セットがある。現在のアルゴリズムでは、利用可能な近傍の画素点で充填することしかできないため、画像エッジにおける画素点の効果と予想との差が大きくなる。これらは、共にアップサンプリング画像の品質及び表示効果を低下させる。
【0023】
このため、本願は、画像処理方法を提供する。該方法は、原画像における、色特徴値が各色特徴区間内にある画素点の数に基づいて、原画像に対応する第１ヒストグラムを取得するステップと、原画像のアップサンプリング画像における、色特徴値が各色特徴区間内にある画素点の数に基づいて、アップサンプリング画像に対応する第２ヒストグラムを取得するステップと、第１ヒストグラムと第２ヒストグラムとに基づいて、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間をそれぞれ決定するステップと、各色特徴区間にマッチするターゲット色特徴区間に基づいて、アップサンプリング画像における各色特徴区間にある画素点の色特徴値を処理することにより、ターゲット画像を取得するステップと、を含む。上記画像処理方法において、第１ヒストグラムは、原画像における色特徴分布状況を示すヒストグラムであり、第２ヒストグラムは、アップサンプリング画像の色特徴分布状況を示すヒストグラムである。第１ヒストグラム及び第２ヒストグラムに掲示された色特徴分布状況に基づいて、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間を決定し、次に、アップサンプリング画像に対応するターゲット画像の色特徴分布状況をできるだけ原画像の色特徴分布状況に一致させるように、マッチするターゲット色特徴区間に基づいて、アップサンプリング画像における画素点の色特徴値を１つずつ調整することにより、アップサンプリング画像に対応するターゲット画像を取得する。該方法は、アップサンプリング画像に現れるジャギーや色エッジノイズなどを顕著に弱め、アップサンプリング画像の品質及び表示効果を向上させ、画像の細部をより良く復元することができ、処理方式が簡単かつ効率的であり、特に処理効率に対する要求が高い応用の場合、例えば、ビデオのリアルタイム伝送に適する。
【0024】
本願の実施例の設計思想を紹介した後、以下に、本願の実施例の構成を適用可能な応用シナリオについて簡単に紹介する。説明すべきものとして、以下に紹介する応用シナリオは、限定ではなく、本願の実施例を説明するためのものに過ぎない。具体的に実施する際に、実際のニーズに応じて、本願の実施例で提供される構成を柔軟に応用することが可能である。
【0025】
図１Ａを参照する。図１Ａは、本願の実施例で提供される画像処理方法の応用シナリオの模式図である。この応用シナリオは、端末機器１０１－１、端末機器１０１－２、…、端末機器１０１－ｎを含む複数の端末機器と、バックグラウンドサーバ１０２とを含む。ここで、各端末機器とバックグラウンドサーバ１０２とは、無線又は有線のネットワークを介して接続され、端末機器は、デスクトップコンピュータ、スマートフォン、モバイルコンピュータ、タブレットコンピュータ、メディアプレーヤ、スマートウェアラブルデバイス、テレビ、監視カメラなどを含むが、これらに限定されない。バックグラウンドサーバは、１台のサーバ、複数台のサーバで構成されるサーバクラスタ、又はクラウドコンピューティングセンタであってもよい。端末機器は、画像又はビデオをバックグラウンドサーバ１０２にアップロードしたり、バックグラウンドサーバ１０２から画像又はビデオを取得したりすることができる。画像又はビデオを収集又は伝送する過程において、限られた帯域幅を効率的に利用するために、低解像度の画像又はビデオを伝送し、次に、受信側で低解像度の画像又はビデオを高解像度の画像又はビデオに変換するようにしてもよい。端末機器又はバックグラウンドサーバ１０２は、いずれも、画像又はビデオをアップサンプリングする際に、本願で提供される画像処理方法を参照して、アップサンプリング後の画像に対して強化処理を行うことができる。具体的な応用シナリオは、ビデオ生放送、ビデオ伝送、画像伝送などに限定されない。
【0026】
当然のことながら、２台の端末機器の間で画像又はビデオを直接伝送してもよい。例えば、監視カメラは、収集したビデオに対してサブサンプリング処理を行った後に監視ディスプレイに伝送し、監視ディスプレイは、サブサンプリングされたビデオに対してアップサンプリング処理を行うことにより、高解像度のビデオを取得して表示する。
【0027】
図１Ｂを参照する。図１Ｂは、本願の実施例で提供される画像処理方法の応用シナリオの模式図である。ここで、端末機器１１１には、画像処理アプリケーションがインストールされ、該画像処理アプリケーションには、本願で提供される画像処理方法に対応するソフトウェア機能モジュールが埋め込まれる。ユーザが端末機器１１１内の画像処理アプリケーションを使用して原画像に対応する高解像度の画像（即ち、アップサンプリング画像）を取得する際に、本願で提供される画像処理方法により、原画像のヒストグラムと、アップサンプリング画像のヒストグラムとに基づいて、アップサンプリング画像を処理することにより、高解像度の画像を取得することができる。例えば、圧縮された画像又はビデオ、汚損された写真、解像度の低い監視ビデオ又は写真などに対して、上記画像処理アプリケーションによって画像を復元及び再構成することができる。端末機器１１１は、デスクトップコンピュータ、モバイルコンピュータ、タブレットコンピュータ、スマートフォンなどの、画像処理アプリケーションを実行可能な機器を含むが、これらに限定されない。
【0028】
本願で提供される画像処理方法は、画像閲覧ソフトウェア又は画像編集ソフトウェアに埋め込まれてもよい。ユーザが画像閲覧ソフトウェア又は画像編集ソフトウェアによって画像を閲覧する過程において、ユーザが画像のいくつかの細部に焦点を合わせる必要がある場合、画像の拡大縮小変換を行うことができる。このとき、画像閲覧ソフトウェア又は画像編集ソフトウェアは、原画像のヒストグラムと、アップサンプリング画像のヒストグラムとに基づいて、アップサンプリング画像を処理することにより、高解像度の画像を取得することができる。
【0029】
本願で提供される画像処理方法は、レーダ画像、衛星リモートセンシング画像、天文観測画像、地質探査データ画像、生物学・医学の切片、顕微画像などの特別な画像、日常の人物風景画像、及びビデオの処理に広く適用することができる。
【0030】
本願で提供される画像処理方法は、ニューラルネットワークに適用することもできる。例えば、図１Ｃを参照すると、ニューラルネットワークを利用して画像を処理する際に、入力画像の解像度がニューラルネットワークの入力サイズに適することを保証するために、通常、まず入力画像をサブサンプリングしてからニューラルネットワークに入力し、次に、ニューラルネットワークの出力画像をアップサンプリングすることにより、出力画像の解像度を入力画像の解像度に復元する。ターゲット画像の品質及び表示効果を向上させるために、本願で提供される画像処理方法を利用して、アップサンプリング画像に対して強化処理を行うことにより、ターゲット画像を取得してもよい。また、図１Ｄを参照すると、ニューラルネットワークは、少なくとも１回のサブサンプリング処理をさらに含んでもよく、処理過程において画像の解像度を低下させることにより処理効率を向上させるとともに、少なくとも１回のアップサンプリング処理により、画像の解像度を復元する。この場合、本願で提供される画像処理方法を利用してアップサンプリング処理後の画像を処理するために、アップサンプリングネットワーク層の後に１つの強化処理層を追加してもよい。これにより、アップサンプリング画像の品質を向上させ、処理後の画像を次のネットワーク層に入力して処理する。
【0031】
当然のことながら、本願の実施例で提供される方法は、上記の応用シナリオに限定されず、他の可能な応用シナリオにも適用することができる。本願の実施例はこれを限定しない。上記の応用シナリオでの各機器が実現できる機能は、後続の方法の実施例で併せて説明するが、ここではこれ以上の説明を省略する。
【0032】
以下、本願の実施例で提供される構成をさらに説明するために、図面及び具体的な実施形態を参照しながらそれを詳細に説明する。本願の実施例では、以下の実施例又は図面に示す方法の操作ステップが提供されているが、通常の労働、又は創造性が不要な労働に基づいて、前記方法は、より多く又はより少ない操作ステップを含んでもよい。論理的に必要な因果関係が存在しないステップにおいて、これらのステップの実行順序は、本願の実施例で提供される実行順序に限定されない。
【0033】
以下、上記の応用シナリオを参照して、本願の実施例で提供される構成を説明する。
【0034】
図２を参照すると、本願の実施例で提供される画像処理方法は、上記の応用シナリオにおける端末機器又はバックグラウンドサーバに適用することができ、具体的に以下のステップを含む。
【0035】
Ｓ２０１では、原画像における、色特徴値が各色特徴区間内にある画素点の数に基づいて、原画像に対応する第１ヒストグラムを取得する。
【0036】
本願の実施例において、原画像は、アップサンプリング処理前の画像であってもよく、原画像は、１枚の単一の画像であってもよいし、ビデオにおける１フレーム１フレームの画像であってもよい。
【0037】
本願の実施例における色特徴は、画素点の色特性を示す特徴であり、例えば、画素点の階調、輝度、色などであってもよい。それに応じて、色特徴値は、画素点の階調値、画素点の輝度値、画素点の色値などの少なくとも１つを含む。
【0038】
具体的に実施する際に、色値は、画像に使用される色システムに基づいて決定することができる。例えば、画像が階調画像である場合、画像における各画素点の色特徴は、階調値を含んでもよい。この場合、１つの画像に対して、階調値に対応するヒストグラムを取得することができる。画像がＲＧＢを用いて色を記述する場合、画像における各画素点の色特徴は、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）という３つの色特徴を含む。この３つの色特徴をそれぞれ統計してもよく、即ち、１つの画像に対して、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）という３つの色特徴にそれぞれ対応する３つのヒストグラムを取得することができる。カラー画像の場合、式ｇｒａｙ＝Ｒ×０．２９９＋Ｇ×０．５８７＋Ｂ×０．１１４によって、カラー画像における各画素点の階調値を得ることができる。
【0039】
具体的に実施する際に、色特徴区間は、当業者が、具体的な応用シナリオと、色特徴に対応する特徴値の範囲とに基づいて予め設定してもよく、１つの色特徴区間は、１つの色特徴値又は１つの色特徴値範囲に対応してもよい。例えば、色特徴が画素点の階調であり、階調値の範囲が０～２５５である場合、各階調値それぞれを１つの色特徴区間としてもよく、即ち、合計２５６個の階調区間を得ることができる。０～２５５の階調値の範囲を複数の領域に分割して、各領域それぞれを１つの色特徴区間としてもよい。例えば、０～１５を１つの色特徴区間とし、１６～３１を１つの色特徴区間とし、このように類推して、合計１６個の色特徴区間ｂ１～ｂ１６を得ることができる。図３を参照する。図３は、１つの画像における各画素点の階調値を示す。該画像に対して、階調値が上記１６個の色特徴区間内にある画素点の数を統計することにより、該画像の階調値に対応するヒストグラムを取得する。
【0040】
Ｓ２０２では、原画像のアップサンプリング画像における、色特徴値が各色特徴区間内にある画素点の数に基づいて、アップサンプリング画像に対応する第２ヒストグラムを取得する。
【0041】
本願の実施例におけるアップサンプリング画像は、原画像に対してアップサンプリング処理を行って得られた画像である。本願は、具体的なアップサンプリング処理方法を限定しない。
【0042】
説明すべきものとして、第１ヒストグラムと第２ヒストグラムにおける色特徴区間は、同じである。
【0043】
Ｓ２０３では、第１ヒストグラムと第２ヒストグラムとに基づいて、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間をそれぞれ決定する。
【0044】
Ｓ２０４では、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間に基づいて、アップサンプリング画像における各色特徴区間にある画素点の色特徴値を処理することにより、ターゲット画像を取得する。
【0045】
本願の実施例において、第１ヒストグラムは、原画像における色特徴分布状況を示すヒストグラムであり、第２ヒストグラムは、アップサンプリング画像の色特徴分布状況を示すヒストグラムである。
【0046】
具体的に実施する際に、第１ヒストグラム及び第２ヒストグラムに掲示された色特徴分布状況に基づいて、第２ヒストグラムにおける各色特徴区間と、第１ヒストグラムにおける色特徴区間とのマッチング関係を決定することができる。該マッチング関係は、第１ヒストグラム及び第２ヒストグラムにおける色特徴分布状況が最も近い色特徴区間の間の対応関係を掲示する。マッチング関係に基づいて、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間を決定する。次に、アップサンプリング画像に対応するターゲット画像の色特徴分布状況をできるだけ原画像の色特徴分布状況に一致させるように、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間に基づいて、アップサンプリング画像における画素点の色特徴値を１つずつ調整することにより、アップサンプリング画像に対応するターゲット画像を取得する。
【0047】
具体的に実施する際に、第２ヒストグラムにおけるある色特徴区間がそのマッチするターゲット色特徴区間と同じである場合、アップサンプリング画像における該色特徴区間にある画素点の色特徴値を調整する必要がない。
【0048】
１枚の原画像のアップサンプリング画像に対して、複数の色特徴を同時に調整してもよい。この場合、この複数の色特徴のうちの各色特徴に対して、原画像の各色特徴に対する第１ヒストグラムと、アップサンプリング画像の各色特徴に対する第２ヒストグラムとを取得し、次に、各色特徴に対応する第１ヒストグラム及び第２ヒストグラムに基づいて、アップサンプリング画像における各色特徴の色特徴値をそれぞれ調整する。
【0049】
例えば、アップサンプリング画像における輝度及び階調を調整する必要がある場合、原画像の輝度に対応する第１ヒストグラムＶＬ１、原画像の階調に対応する第１ヒストグラムＶＧ１、アップサンプリング画像の輝度に対応する第２ヒストグラムＶＬ２、アップサンプリング画像の階調に対応する第２ヒストグラムＶＧ２を取得する。次に、第１ヒストグラムＶＬ１及び第２ヒストグラムＶＬ２に基づいて、第２ヒストグラムにおける各輝度区間にマッチするターゲット輝度区間をそれぞれ決定し、各輝度区間にマッチするターゲット輝度区間に基づいて、アップサンプリング画像Ｐ１における、各輝度区間にある画素点の輝度値を、各輝度区間にマッチするターゲット輝度区間に対応する輝度値に調整することにより、画像Ｐ２を取得する。続いて、第１ヒストグラムＶＧ１及び第２ヒストグラムＶＧ２に基づいて、第２ヒストグラムにおける各階調区間にマッチするターゲット階調区間をそれぞれ決定し、各階調区間にマッチするターゲット階調区間に基づいて、画像Ｐ２における、各階調区間にある画素点の階調値を、各階調区間にマッチするターゲット階調区間に対応する階調値に調整することにより、ターゲット画像Ｐ３を取得する。
【0050】
例えば、画像にＹＵＶ色コーディングが使用される場合、原画像の色特徴Ｙ、Ｕ、Ｖにそれぞれ対応する第１ヒストグラムと、アップサンプリング画像の色特徴Ｙ、Ｕ、Ｖにそれぞれ対応する第２ヒストグラムとを取得することができる。色特徴Ｙに対応する第１ヒストグラム及び第２ヒストグラムに基づいて、色特徴Ｙに対応する第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間をそれぞれ決定し、各色特徴区間にマッチするターゲット色特徴区間に基づいて、アップサンプリング画像Ｐ１における、色特徴Ｙに対応する第２ヒストグラムの各色特徴区間にある画素点の色特徴Ｙの数値を処理することにより、画像Ｐ２を取得する。次に、色特徴Ｕに対応する第１ヒストグラム及び第２ヒストグラムに基づいて、色特徴Ｕに対応する第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間をそれぞれ決定し、各色特徴区間にマッチするターゲット色特徴区間に基づいて、画像Ｐ２における、色特徴Ｕに対応する第２ヒストグラムの各色特徴区間にある画素点の色特徴Ｕの数値を処理することにより、画像Ｐ３を取得する。最後に、色特徴Ｖに対応する第１ヒストグラム及び第２ヒストグラムに基づいて、色特徴Ｖに対応する第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間をそれぞれ決定し、各色特徴区間にマッチするターゲット色特徴区間に基づいて、画像Ｐ３における、色特徴Ｖに対応する第２ヒストグラムの各色特徴区間にある画素点の色特徴Ｖの数値を処理することにより、ターゲット画像を取得する。
【0051】
本願の実施例で提供される画像処理方法は、アップサンプリング画像に現れるジャギーや色エッジノイズなどを顕著に弱め、アップサンプリング画像の品質及び表示効果を向上させ、画像の細部をより良く復元することができ、処理方式が簡単かつ効率的であり、特に処理効率に対する要求が高い応用の場合、例えば、ビデオのリアルタイム伝送に適する。
【0052】
具体的に実施する際に、第２ヒストグラムにおける各色特徴区間と、第１ヒストグラムにおける色特徴区間とのマッチング関係を様々な方式で決定してもよい。これにより、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間を決定する。
【0053】
１つの可能な実施形態では、第１ヒストグラムと第２ヒストグラムでそれぞれ統計された各色特徴区間に対応する比率に基づいて、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間を決定してもよい。ここで、第１ヒストグラムにおける各色特徴区間に対応する比率は、原画像における、色特徴値が対応の色特徴区間内にある画素点の数と、原画像に含まれる画素点の総数との比率であり、第２ヒストグラムにおける各色特徴区間に対応する比率は、アップサンプリング画像における、色特徴値が対応の色特徴区間内にある画素点の数と、アップサンプリング画像に含まれる画素点の総数との比率である。
【0054】
これに基づき、ステップＳ２０３は、具体的に、第２ヒストグラムにおけるいずれか１つの色特徴区間について、第１ヒストグラムにおける各色特徴区間に対応する比率と、いずれか１つの色特徴区間に対応する比率との差を決定し、第１ヒストグラムにおける、指定条件を満たす差に対応する色特徴区間の中から、いずれか１つの色特徴区間にマッチするターゲット色特徴区間を決定するステップを含む。
【0055】
具体的に実施する際に、指定条件は、第２ヒストグラムにおけるいずれか１つの色特徴区間に対応する全ての差のうちの最小値であってもよい。例えば、第１ヒストグラム及び第２ヒストグラムは、いずれも、１６個の色特徴区間ｂ１～ｂ１６を含む。第２ヒストグラムにおける色特徴区間ｂ１を例として、第２ヒストグラムにおける色特徴区間ｂ１の比率と、第１ヒストグラムにおける各色特徴区間に対応する比率との差をそれぞれ計算して、合計１６個の差を得ることができる。この１６個の差の中から最小の差を選択し、第１ヒストグラムにおける、該差に対応する色特徴区間を、第２ヒストグラムにおける色特徴区間ｂ１にマッチするターゲット色特徴区間として決定する。例えば、最小の差が、第２ヒストグラムにおける色特徴区間ｂ１の比率と、第１ヒストグラムにおける色特徴区間ｂ３の比率との差である場合、第２ヒストグラムにおける色特徴区間ｂ１にマッチするターゲット色特徴区間は、ｂ３である。
【0056】
具体的に実施する際に、第２ヒストグラムにおけるいずれか１つの色特徴区間に対応する全ての差を小さい順にソートしてもよい。この場合、指定条件は、上位Ｎ個の差であってもよい。ここで、Ｎは１以上であり、且つ色特徴区間の総数よりも小さい。Ｎの具体的な値は、当業者が実際の応用シナリオに応じて決定してもよい。本願の実施例はこれを限定しない。例えば、第１ヒストグラム及び第２ヒストグラムは、いずれも、１６個の色特徴区間ｂ１～ｂ１６を含み、且つＮ＝３である。第２ヒストグラムにおける色特徴区間ｂ１を例として、第２ヒストグラムにおける色特徴区間ｂ１の比率と、第１ヒストグラムにおける各色特徴区間に対応する比率との差をそれぞれ計算して、合計１６個の差を得ることができる。この１６個の差を小さい順にソートし、上位３つの差を選択する。第１ヒストグラムにおける、上位３つの差に対応する色特徴区間がｂ１、ｂ３、ｂ１０であるとすると、ｂ１、ｂ３、ｂ１０の中から、１つの色特徴区間を、第２ヒストグラムにおける色特徴区間ｂ１にマッチするターゲット色特徴区間として決定する。
【0057】
具体的に実施する際に、指定条件は、差が差閾値よりも小さいことであってもよい。即ち、第１ヒストグラムにおける、差閾値よりも小さい差に対応する色特徴区間を、第２ヒストグラムにおける、該差に対応する色特徴区間にマッチするターゲット色特徴区間として決定する。第２ヒストグラムにおける色特徴区間ｂ１を例として、第２ヒストグラムにおける色特徴区間ｂ１の比率と、第１ヒストグラムにおける色特徴区間ｂ４の比率との差が差閾値よりも小さくて、第２ヒストグラムにおける色特徴区間ｂ１の比率と、第１ヒストグラムにおける色特徴区間ｂ２の比率との差が差閾値よりも小さい場合、色特徴区間ｂ２とｂ４の中から、１つの色特徴区間を第２ヒストグラムにおける色特徴区間ｂ１にマッチするターゲット色特徴区間として決定する。
【0058】
上記の実施形態で提供される画像処理方法は、第１ヒストグラムと第２ヒストグラムにおける各色特徴区間の比率の差に基づいて、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間を簡単かつ効率的に決定することができ、アップサンプリング画像に現れるジャギーや色エッジノイズなどを顕著に弱め、アップサンプリング画像の品質及び表示効果を向上させ、画像の細部をより良く復元することができる。
【0059】
さらに、第２ヒストグラムにおけるいずれか１つの色特徴区間について、指定条件を満たす差が１つだけ存在する場合、第１ヒストグラムにおける、指定条件を満たす該差に対応する色特徴区間を、該いずれか１つの色特徴区間にマッチするターゲット色特徴区間として決定し、所定条件を満たす少なくとも２つの差が存在する場合、第１ヒストグラムにおける、少なくとも２つの差のそれぞれに対応する色特徴区間を決定し、決定した少なくとも２つの色特徴区間の中から、該いずれか１つの色特徴区間とのレベル差が最小となる色特徴区間を選択して、該いずれか１つの色特徴区間にマッチするターゲット色特徴区間として決定する。
【0060】
本願の実施例において、２つの色特徴区間の間のレベル差が小さいほど、この２つの色特徴区間で表される色特徴値が近いことを示す。階調値を例として、色特徴区間ｂ１に対応する階調値範囲が０～１５であり、色特徴区間ｂ２に対応する階調値範囲が１６～３１であり、色特徴区間ｂ１６に対応する階調値範囲が２４０～２５５であり、明らかに、色特徴区間ｂ１と色特徴区間ｂ２との階調値がより近い。同一の画像において複数の色特徴区間の比率が同じである状況が存在する可能性があるため、第２ヒストグラムにおける１つの色特徴区間に対して、第１ヒストグラムにおいて複数の色特徴区間の比率が該第２ヒストグラムにおける該色特徴区間の比率と同じ又は近い可能性があるが、それと近い色特徴区間のみが所望の調整後のターゲット色特徴区間である。
【0061】
第２ヒストグラムにおける色特徴区間ｂ１を例として、第２ヒストグラムにおける色特徴区間ｂ１の比率と、第１ヒストグラムにおける各色特徴区間に対応する比率との差をそれぞれ計算して、合計１６個の差値ｄ１，１、ｄ１，２、…ｄ１，ｉ、…ｄ１，１６を得ることができる。ここで、ｄ１，ｉは、第２ヒストグラムにおける色特徴区間ｂ１の比率と、第１ヒストグラムにおける色特徴区間ｂｉの比率との差を表す。上記１６個の差のうち、ｄ１，２及びｄ１，５が指定条件を満たす場合、第１ヒストグラムにおける、第２ヒストグラムにおける色特徴区間ｂ１にマッチする色特徴区間は、それぞれ、ｂ２及びｂ５である。この場合、色特徴区間ｂ２と色特徴区間ｂ１とのレベル差が、色特徴区間ｂ５と色特徴区間ｂ１とのレベル差よりも小さく、即ち、色特徴区間ｂ２に対応する色特徴値が、色特徴区間ｂ１に対応する色特徴値とより近いため、第２ヒストグラムにおける色特徴区間ｂ１にマッチするターゲット色特徴区間は、ｂ２である。
【0062】
さらに、上述したヒストグラムマッチングの発明構想に基づいて、マッチングの正確さを向上させるために、第１ヒストグラムと第２ヒストグラムで統計された色特徴値の分布状況に基づいて、いくつかのアルゴリズムで第１ヒストグラムと第２ヒストグラムにおける色特徴区間のマッピング関係を決定してもよい。マッピング関係に基づいて、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間を決定することができる。
【0063】
例えば、以下の式によって、第１ヒストグラムと第２ヒストグラムにおける色特徴区間のマッピング関係を決定することができる。
【0064】
【数1】
【数2】
【0065】
実際の応用において、マッピング関係F(i)は、上記に列挙された式に限定されず、パラメータａ及びｃも、上記に列挙された方式に限定されない。例えば、マッピング関係は、
であってもよく、又は、
であってもよい。
【数3】
【数4】
【0066】
ここで、MAXは、最大値を求める関数であり、F(i)≧1を保証する。
【0067】
上記の実施形態で提供される画像処理方法では、第１ヒストグラムと第２ヒストグラムにおける各色特徴区間の比率の差を基に、色特徴区間の間のレベル差を参照して、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間を決定し、マッチングの正確さをさらに向上させる。
【0068】
他の可能な実施形態では、原画像の第１ヒストグラムと、アップサンプリング画像の第２ヒストグラムとに基づいて、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間を計算してもよい。ここで、第１ヒストグラムで統計されるのは、原画像における、色特徴値が各色特徴区間内にある画素点の数であり、第２ヒストグラムで統計されるのは、アップサンプリング画像における、色特徴値が各色特徴区間内にある画素点の数である。
【0069】
これに基づいて、図４を参照すると、ステップＳ２０３は、以下のステップを含んでもよい。
【0070】
Ｓ４０１では、第１ヒストグラムに基づいて、原画像における画素点の色特徴区間に対応する第１平均値及び第１分散を決定し、第２ヒストグラムに基づいて、アップサンプリング画像における画素点の色特徴区間に対応する第２平均値及び第２分散を決定する。
【0071】
具体的に実施する際に、第１平均値
であり、第１分散
であり、第２平均値
であり、第２分散
である。ここで、ｎは、色特徴区間の総数であり、V1[i]は、第１ヒストグラムＶ１におけるｉ番目の色特徴区間ｂｉの比率を表し、V2[i]は、第２ヒストグラムＶ２におけるｉ番目の色特徴区間ｂｉの比率を表す。
【数1】
【数2】
【数3】
【数4】
【0072】
Ｓ４０２では、第１平均値、第１分散、第２平均値、及び第２分散に基づいて、第１ヒストグラムにおける色特徴区間と、第２ヒストグラムにおける色特徴区間との第１マッピング関係を決定する。
【0073】
具体的に実施する際に、第１マッピング関係は、
F(i)=round(α(i-E2)+E1)であってもよい。
F(i)=round(α(i-E2)+E1)であってもよい。
【0074】
ここで、α=D2/D1であり、roundは、四捨五入して整数を求める関数であり、V2(i)は、第２のヒストグラムにおける、色特徴値が色特徴区間ｂｉ内にある画素点の数である。F(i)は、即ち、第２のヒストグラムＶ２におけるｉ番目の色特徴区間ｂｉにマッチするターゲット色特徴区間に対応するインデックス番号である。例えば、F(1)=2である場合、第２のヒストグラムＶ２における色特徴区間ｂ１にマッチするターゲット色特徴区間は、ｂ２である。
【0075】
具体的に実施する際に、第１マッピング関係は、
F(i)=MID(round(α(i-E2)+E1),1,n)であってもよい。
F(i)=MID(round(α(i-E2)+E1),1,n)であってもよい。
【0076】
ここで、α=D2/D1であり、MIDは、round(α(V2[i]-E2)+E1)、１、及びｎという３つの数の中央値を求める関数であり、１≦F(i)≦nを保証し、roundは、四捨五入して整数を求める関数である。
【0077】
Ｓ４０３では、第１マッピング関係に基づいて、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間を決定する。
【0078】
具体的に実施する際に、F(1)=2とすると、第２ヒストグラムＶ２における色特徴区間ｂ１にマッチするターゲット色特徴区間は、ｂ２であり、F(2)=4とすると、第２ヒストグラムＶ２における色特徴区間ｂ２にマッチするターゲット色特徴区間は、ｂ４であり、このように類推して、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間が取得される。
【0079】
上記の実施形態で提供される画像処理方法は、直接的に、第１ヒストグラムと第２ヒストグラムにおける各色特徴区間の比率に基づいて、第１ヒストグラムと第２ヒストグラムにおける各色特徴区間のマッピング関係を計算し、マッピング関係に基づいて、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間を決定し、処理方式が簡単かつ効率的である。
【0080】
上記のいずれか１つの実施形態を基にして、ステップＳ２０４は、具体的に、各色特徴区間それぞれが１つの色特徴値に対応する場合、アップサンプリング画像における各色特徴区間にある画素点の色特徴値を、各色特徴区間にマッチするターゲット色特徴区間に対応する色特徴値にそれぞれ調整することにより、ターゲット画像を取得するステップを含む。
【0081】
色特徴が画素点の階調である場合を例として説明する。階調値の範囲が０～２５５であるとすると、各階調値それぞれを１つの色特徴区間とし、即ち、合計２５６個の階調区間ｂ１～ｂ２５６を得ることができる。即ち、各階調区間それぞれは、１つの階調値に対応する。仮に、第２ヒストグラムにおける階調区間ｂ１にマッチするターゲット階調区間がｂ２であるとすると、アップサンプリング画像における階調区間ｂ１にある画素点の階調値０を、ターゲット階調区間ｂ２に対応する階調値１に変更し、第２ヒストグラムにおける階調区間ｂ２にマッチするターゲット階調区間がｂ２であるとすると、アップサンプリング画像における階調区間ｂ２にある画素点の階調値を調整する必要がない。
【0082】
上記のいずれか１つの実施形態を基にして、ステップＳ２０４は、具体的に、各色特徴区間それぞれが１つの色特徴値範囲に対応する場合、第２ヒストグラムにおける各色特徴区間に対応する色特徴値範囲と、各色特徴区間にマッチするターゲット色特徴区間に対応する色特徴値範囲との第２マッピング関係をそれぞれ決定し、アップサンプリング画像における各色特徴区間にある画素点の色特徴値を、第２マッピング関係に基づいて決定した色特徴値に調整するステップを含む。
【0083】
色特徴が画素点の階調である場合を例として説明する。階調値の範囲が０～２５５であるとすると、０～２５５の階調値の範囲を１６個の領域に分割して、各領域それぞれを１つの色特徴区間とし、例えば、０～１５を１つの色特徴区間とし、１６～３１を１つの色特徴区間とし、このように類推して、合計１６個の色特徴区間ｂ１～ｂ１６を得ることができる。第２ヒストグラムにおける階調区間ｂ１にマッチするターゲット階調区間は、ｂ２であり、階調区間ｂ１の色特徴値範囲は、０～１５であり、ターゲット階調区間ｂ２の色特徴値範囲は、１６～３１であり、両者間の第２マッピング関係は、０→１６、１→１７、…、１５→３１である。このため、第２ヒストグラムにおける階調区間ｂ１における階調値が０である画素点の階調値を１６に調整し、第２ヒストグラムにおける階調区間ｂ１における階調値が１である画素点の階調値を１７に調整し、このように類推する。
【0084】
図５を参照する。図５は、１枚のアップサンプリング画像、及び本願の実施例で提供される画像処理方法によって取得された、該アップサンプリング画像に対応するターゲット画像である。図５における処理前後の２枚の画像の比較から分かるように、アップサンプリング画像に比べて、本願の実施例で提供される画像処理方法によって取得されたターゲット画像には、顕著なジャギー及び色エッジノイズが現れることなく、ターゲット画像の品質及び表示効果が元のアップサンプリング画像よりも優れ、画像の細部をより良く復元することが可能である。
【0085】
図６に示すように、上記の画像処理方法と同じ発明構想に基づき、本願の実施例は、第１統計モジュール６０１と、第２統計モジュール６０２と、マッチングモジュール６０３と、処理モジュール６０４とを含む画像処理装置６０をさらに提供する。
【0086】
第１統計モジュール６０１は、原画像における、色特徴値が各色特徴区間内にある画素点の数に基づいて、原画像に対応する第１ヒストグラムを取得する。
【0087】
第２統計モジュール６０２は、原画像のアップサンプリング画像における、色特徴値が各色特徴区間内にある画素点の数に基づいて、アップサンプリング画像に対応する第２ヒストグラムを取得する。
【0088】
マッチングモジュール６０３は、第１ヒストグラムと第２ヒストグラムとに基づいて、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間をそれぞれ決定する。
【0089】
処理モジュール６０４は、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間に基づいて、アップサンプリング画像における各色特徴区間にある画素点の色特徴値を処理することにより、ターゲット画像を取得する。
【0090】
任意選択的に、マッチングモジュール６０３は、具体的に、第２ヒストグラムにおけるいずれか１つの色特徴区間について、第１ヒストグラムにおける各色特徴区間に対応する比率と、いずれか１つの色特徴区間に対応する比率との差を決定し、第１ヒストグラムにおける、指定条件を満たす差に対応する色特徴区間の中から、いずれか１つの色特徴区間にマッチするターゲット色特徴区間を決定し、第１ヒストグラムにおける各色特徴区間に対応する比率は、原画像における、色特徴値が対応の色特徴区間内にある画素点の数と、原画像に含まれる画素点の総数との比率であり、第２ヒストグラムにおける各色特徴区間に対応する比率は、アップサンプリング画像における、色特徴値が対応の色特徴区間内にある画素点の数と、アップサンプリング画像に含まれる画素点の総数との比率である。
【0091】
任意選択的に、マッチングモジュール６０３は、具体的に、指定条件を満たす少なくとも２つの差が存在する場合、第１ヒストグラムにおける、少なくとも２つの差のそれぞれに対応する色特徴区間を決定し、決定した少なくとも２つの色特徴区間の中から、いずれか１つの色特徴区間とのレベル差が最小となる色特徴区間を選択して、いずれか１つの色特徴区間にマッチするターゲット色特徴区間として決定する。
【0092】
任意選択的に、マッチングモジュール６０３は、具体的に、
第１ヒストグラムに基づいて、原画像における画素点の色特徴区間に対応する第１平均値及び第１分散を決定し、
第２ヒストグラムに基づいて、アップサンプリング画像における画素点の色特徴区間に対応する第２平均値及び第２分散を決定し、
第１平均値、第１分散、第２平均値、及び第２分散に基づいて、第１ヒストグラムにおける色特徴区間と、第２ヒストグラムにおける色特徴区間との第１マッピング関係を決定し、
第１マッピング関係に基づいて、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間を決定する。
第１ヒストグラムに基づいて、原画像における画素点の色特徴区間に対応する第１平均値及び第１分散を決定し、
第２ヒストグラムに基づいて、アップサンプリング画像における画素点の色特徴区間に対応する第２平均値及び第２分散を決定し、
第１平均値、第１分散、第２平均値、及び第２分散に基づいて、第１ヒストグラムにおける色特徴区間と、第２ヒストグラムにおける色特徴区間との第１マッピング関係を決定し、
第１マッピング関係に基づいて、第２ヒストグラムにおける各色特徴区間にマッチするターゲット色特徴区間を決定する。
【0093】
任意選択的に、処理モジュール６０４は、具体的に、
各色特徴区間それぞれが１つの色特徴値に対応する場合、アップサンプリング画像における各色特徴区間にある画素点の色特徴値を、各色特徴区間にマッチするターゲット色特徴区間に対応する色特徴値にそれぞれ調整することにより、ターゲット画像を取得し、
各色特徴区間それぞれが１つの色特徴値範囲に対応する場合、第２ヒストグラムにおける各色特徴区間に対応する色特徴値範囲と、各色特徴区間にマッチするターゲット色特徴区間に対応する色特徴値範囲との第２マッピング関係をそれぞれ決定し、アップサンプリング画像における各色特徴区間にある画素点の色特徴値を、第２マッピング関係に基づいて決定した色特徴値に調整する。
各色特徴区間それぞれが１つの色特徴値に対応する場合、アップサンプリング画像における各色特徴区間にある画素点の色特徴値を、各色特徴区間にマッチするターゲット色特徴区間に対応する色特徴値にそれぞれ調整することにより、ターゲット画像を取得し、
各色特徴区間それぞれが１つの色特徴値範囲に対応する場合、第２ヒストグラムにおける各色特徴区間に対応する色特徴値範囲と、各色特徴区間にマッチするターゲット色特徴区間に対応する色特徴値範囲との第２マッピング関係をそれぞれ決定し、アップサンプリング画像における各色特徴区間にある画素点の色特徴値を、第２マッピング関係に基づいて決定した色特徴値に調整する。
【0094】
任意選択的に、色特徴値は、画素点の階調値、画素点の輝度値、画素点の色値の少なくとも１つを含む。
【0095】
本願の実施例で提供される画像処理装置は、上記の画像処理方法とは、同じ発明構想を採用し、同じ有益な効果を取得することができる。ここでは、これ以上の説明を省略する。
【0096】
上記の画像処理方法と同じ発明構想に基づき、本願の実施例は、電子機器をさらに提供する。該電子機器は、具体的に、図１Ａ、図１ｂにおける端末機器又はサーバなどであってもよい。図７に示すように、該電子機器７０は、プロセッサ７０１と、メモリ７０２とを備えてもよい。メモリ７０２には、コンピュータ可読命令が記憶され、コンピュータ可読命令は、プロセッサ７０１によって実行されると、プロセッサ７０１に上記画像処理方法のステップを実行させる。ここで、画像処理方法のステップは、上述した各実施例の画像処理方法におけるステップであってもよい。
【0097】
プロセッサ７０１は、汎用プロセッサ、例えば、中央処理装置（ＣＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントであってもよく、本願の実施例に開示された各方法、ステップ、及び論理ブロック図を実現又は実行することができる。汎用プロセッサは、マイクロプロセッサや一般的な任意のプロセッサなどとしてもよい。本願の実施例と結び付けて開示された方法のステップは、ハードウェアプロセッサによって実行されるように直接的に具現化してもよく、又は、プロセッサにおけるハードウェアとソフトウェアモジュールとの組み合わせによって実行されてもよい。
【0098】
メモリ７０２は、不揮発性コンピュータ可読記憶媒体として、不揮発性ソフトウェアプログラム、不揮発性コンピュータ実行可能プログラム、及びモジュールを記憶するために用いられてもよい。メモリは、少なくとも１つのタイプの記憶媒体を含むことができ、例えば、フラッシュメモリ、ハードディスク、マルチメディアカード、カード型メモリ、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクなどを含んでもよい。メモリは、命令又はデータ構造の形態の所望のプログラムコードを搬送又は記憶するために使用することができ、コンピュータによってアクセス可能な任意の他の媒体であるが、これに限定されない。本願の実施例におけるメモリ７０２は、回路、又は記憶機能を実現可能な他の任意の装置であってもよく、プログラム命令及び／又はデータを記憶するために用いられる。
【0099】
本願の実施例では、コンピュータ可読記憶媒体が提供されている。このコンピュータ可読記憶媒体は、上記電子機器に用いられるコンピュータ可読命令を記憶するために用いられ、コンピュータ可読命令が、プロセッサによって実行されると、プロセッサに上記の画像処理方法のステップを実行させる。
【0100】
一実施例では、コンピュータ可読記憶媒体に記憶されたコンピュータ可読命令を含むコンピュータプログラム製品又はコンピュータ可読命令が提供されている。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から、該コンピュータ可読命令を読み取る。プロセッサは、該コンピュータ可読命令を実行することにより、該コンピュータ機器に上記の各方法の実施例におけるステップを実行させる。
【0101】
上記コンピュータ可読記憶媒体は、コンピュータがアクセス可能な任意の利用可能な媒体又はデータ記憶機器であってもよく、磁気メモリ（例えば、フロッピーディスク、ハードディスク、磁気テープ、光磁気ディスク（ＭＯ）など）、光学メモリ（例えば、ＣＤ、ＤＶＤ、ＢＤ、ＨＶＤなど）、及び半導体メモリ（例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、不揮発性メモリ（ＮＡＮＤ ＦＬＡＳＨ）、ソリッドステートディスク（ＳＳＤ））などを含むが、これらに限定されない。
【0102】
上記のように、上記の実施例は、本願の構成を詳細に説明するためのものに過ぎないが、上記の実施例の説明は、単に本願の実施例の方法の理解を助けるためのものであり、本願の実施例を限定するものと理解すべきではない。当業者であれば容易に想到できる変更又は置換えは、いずれも本願の実施例の保護範囲内に含まれるべきである。
【符号の説明】
【0103】
１０１－１ 端末機器
１０１－２ 端末機器
１０１－ｎ 端末機器
１０２ バックグラウンドサーバ
１１１ 端末機器
６０ 画像処理装置
７０ 電子機器
６０１ 第１統計モジュール
６０２ 第２統計モジュール
６０３ マッチングモジュール
６０４ 処理モジュール
７０１ プロセッサ
７０２ メモリ
１０１－２ 端末機器
１０１－ｎ 端末機器
１０２ バックグラウンドサーバ
１１１ 端末機器
６０ 画像処理装置
７０ 電子機器
６０１ 第１統計モジュール
６０２ 第２統計モジュール
６０３ マッチングモジュール
６０４ 処理モジュール
７０１ プロセッサ
７０２ メモリ
【図1A】
【図1B】
【図1C】
【図1D】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】