特許 7146985 画像処理方法、画像処理装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-26

(45)【発行日】2022-10-04

(54)【発明の名称】画像処理方法、画像処理装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム製品

(51)【国際特許分類】

   G06T 1/00 20060101AFI20220927BHJP

   H04N 1/60 20060101ALI20220927BHJP

   G06T 9/00 20060101ALI20220927BHJP

   H04N 9/67 20060101ALI20220927BHJP

【ＦＩ】

G06T1/00 510

H04N1/60 020

G06T9/00 200

H04N9/67 A

【請求項の数】 13

(21)【出願番号】P 2021040312

(22)【出願日】2021-03-12

(65)【公開番号】P2021099868

(43)【公開日】2021-07-01

【審査請求日】2021-03-12

(31)【優先権主張番号】202010305880.9

(32)【優先日】2020-04-17

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002468

【氏名又は名称】特許業務法人後藤特許事務所

(72)【発明者】

【氏名】王 康康

【審査官】豊田 好一

(56)【参考文献】

【文献】特開２０１６－１１５３０４（ＪＰ，Ａ）

【文献】特開２０１５－１５４４２５（ＪＰ，Ａ）

【文献】特開２０１６－１７８５５３（ＪＰ，Ａ）

【文献】特開２０１０－０３４７１３（ＪＰ，Ａ）

【文献】特開２０１２－１０８８９８（ＪＰ，Ａ）

【文献】特開２０１２－１７５３１０（ＪＰ，Ａ）

【文献】特開２０１１－１５５６９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １／４６－６２

Ｇ０６Ｔ ９／００

Ｈ０４Ｎ ９／６７

(57)【特許請求の範囲】

【請求項1】

処理対象の画像を取得することと、
前記処理対象の画像を３チャンネルＹＵＶ画像に変換することと、
前記３チャンネルＹＵＶ画像におけるＹチャンネル画像、Ｕチャンネル画像及びＶチャンネル画像に畳み込み演算を行い、それぞれＲチャンネル画像、Ｇチャンネル画像及びＢチャンネル画像を生成して、３チャンネルＲＧＢ画像を取得することと、
前記３チャンネルＲＧＢ画像を前処理することと、を含み、
前記処理対象の画像を３チャンネルＹＵＶ画像に変換することは、
前記処理対象の画像を第１のＹチャンネル画像とＵＶチャンネル画像に分割することと、
前記第１のＹチャンネル画像を調整して、次元が（Ｎ，１，Ｗ，Ｈ）のＹチャンネル画像を取得することと、
前記ＵＶチャンネル画像を分離して、次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とを取得することと、
前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とをそれぞれ２倍サンプリングして、次元が（Ｎ，１，Ｗ，Ｈ）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ，Ｈ）のＶチャンネル画像とを取得することと、
次元が（Ｎ，１，Ｗ，Ｈ）のＹチャンネル画像、Ｕチャンネル画像、Ｖチャンネル画像を合成して、次元が（Ｎ，３，Ｗ，Ｈ）のＹＵＶ画像を取得することと、を含み、
ここで、前記Ｎは前記処理対象の画像の個数を表し、前記１は前記Ｙチャンネル画像、前記Ｕチャンネル画像又は前記Ｖチャンネル画像のチャンネルが１つであることを表し、前記３は前記ＹＵＶ画像のチャンネルが３つであることを表し、前記Ｗは前記処理対象の画像の幅に等しく、前記Ｈは前記処理対象の画像の高さに等しい、ことを特徴とする画像処理方法。

【請求項2】

前記ＵＶチャンネル画像を分離して、次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とを取得することは、
前記ＵＶチャンネル画像を、次元が（Ｎ，２，Ｗ＊Ｈ＊０．２５）のＵＶチャンネル画像に調整することと、
前記次元が（Ｎ，２，Ｗ＊Ｈ＊０．２５）のＵＶチャンネル画像を分離して、次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＶチャンネル画像とを取得することと、
前記次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＵチャンネル画像を、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像に調整すると共に、前記次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＶチャンネル画像を、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像に調整することと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とをそれぞれ２倍サンプリングして、次元が（Ｎ，１，Ｗ，Ｈ）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ，Ｈ）のＶチャンネル画像とを取得することは、
ｎｅａｒｅｓｔ補間関数を利用して、それぞれ前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とに対して２倍の最近隣アップサンプリングを行って、前記次元が（Ｎ，１，Ｗ，Ｈ）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ，Ｈ）のＶチャンネル画像とを取得することを含む、ことを特徴とする請求項１に記載の方法。

【請求項4】

前記３チャンネルＲＧＢ画像を前処理することは、
バッチ正規化関数を利用して前記３チャンネルＲＧＢ画像を前処理することを含む、ことを特徴とする請求項１に記載の方法。

【請求項5】

前記バッチ正規化関数は、下式に示すとおりであり、

【数1】

ここで、前記ｏｕｔｐｕｔは前処理後の画像の画素値を表し、前記ｉｎｐｕｔは前処理前の画像の画素値を表し、前記ｓｃａｌｅはズーム率を表し、前記ｂｉａｓはバイアス値を表し、前記ｍｅａｎは平均値を表し、前記ｖａｒｉａｎｃｅは分散を表し、前記ｅｐｓｉｌｏｎは予め設定された除算値安定係数を表す、ことを特徴とする請求項４に記載の方法。

【請求項6】

前記の３チャンネルＲＧＢ画像を取得することの後に、
前記３チャンネルＲＧＢ画像のサイズを調整することをさらに含み、
前記３チャンネルＲＧＢ画像を前処理することは、
サイズ調整後の３チャンネルＲＧＢ画像を前処理することを含む、ことを特徴とする請求項１に記載の方法。

【請求項7】

処理対象の画像を取得する取得モジュールと、
前記処理対象の画像を３チャンネルＹＵＶ画像に変換する変換モジュールと、
前記３チャンネルＹＵＶ画像におけるＹチャンネル画像、Ｕチャンネル画像及びＶチャンネル画像に畳み込み演算を行い、それぞれＲチャンネル画像、Ｇチャンネル画像及びＢチャンネル画像を生成して、３チャンネルＲＧＢ画像を取得する演算モジュールと、
前記３チャンネルＲＧＢ画像を前処理する前処理モジュールと、を含み、
前記変換モジュールは、
前記処理対象の画像を第１のＹチャンネル画像とＵＶチャンネル画像に分割する分割ユニットと、
前記第１のＹチャンネル画像を調整して、次元が（Ｎ，１，Ｗ，Ｈ）のＹチャンネル画像を取得する調整ユニットと、
前記ＵＶチャンネル画像を分離して、次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とを取得する分離ユニットと、
前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とをそれぞれ２倍サンプリングして、次元が（Ｎ，１，Ｗ，Ｈ）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ，Ｈ）のＶチャンネル画像とを取得するサンプリングユニットと、
次元が（Ｎ，１，Ｗ，Ｈ）のＹチャンネル画像、Ｕチャンネル画像、Ｖチャンネル画像を合成して、次元が（Ｎ，３，Ｗ，Ｈ）のＹＵＶ画像を取得する合成ユニットと、を含み、
ここで、前記Ｎは前記処理対象の画像の個数を表し、前記１は前記Ｙチャンネル画像、前記Ｕチャンネル画像又は前記Ｖチャンネル画像のチャンネルが１つであることを表し、前記３は前記ＹＵＶ画像のチャンネルが３つであることを表し、前記Ｗは前記処理対象の画像の幅に等しく、前記Ｈは前記処理対象の画像の高さに等しい、ことを特徴とする画像処理装置。

【請求項8】

前記分離ユニットは、
前記ＵＶチャンネル画像を、次元が（Ｎ，２，Ｗ＊Ｈ＊０．２５）のＵＶチャンネル画像に調整する第１の調整サブユニットと、
前記次元が（Ｎ，２，Ｗ＊Ｈ＊０．２５）のＵＶチャンネル画像を分離して、次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＶチャンネル画像とを取得する分離サブユニットと、
前記次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＵチャンネル画像を、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像に調整すると共に、前記次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＶチャンネル画像を、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像に調整する第２の調整サブユニットと、を含む、ことを特徴とする請求項７に記載の装置。

【請求項9】

前記サンプリングユニットは、ｎｅａｒｅｓｔ補間関数を利用して、それぞれ前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とに対して２倍の最近隣アップサンプリングを行って、前記次元が（Ｎ，１，Ｗ，Ｈ）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ，Ｈ）のＶチャンネル画像とを取得する、ことを特徴とする請求項７に記載の装置。

【請求項10】

前記前処理モジュールは、バッチ正規化関数を利用して前記３チャンネルＲＧＢ画像を前処理する、ことを特徴とする請求項７に記載の装置。

【請求項11】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されたメモリとを含み、
前記メモリには、前記少なくとも１つのプロセッサに実行可能で、前記少なくとも１つのプロセッサによって実行されると、請求項１～６のいずれか１項に記載の方法を前記少なくとも１つのプロセッサに実行させる命令が記憶されている、ことを特徴とする電子機器。

【請求項12】

コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、請求項１～６のいずれか１項に記載の方法をコンピュータに実行させる、ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項13】

コンピュータプログラムを含むコンピュータプログラム製品であって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１～６のいずれか１項に記載の方法が実現される、ことを特徴とするコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、画像処理の技術分野に関し、特に、画像処理方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

従来のコンピュータビジョン技術では、画像前処理は不可欠である。現在、一般的な画像前処理方式は、処理対象の画像における各画素点に対して、データフォーマット整理、ＲＧＢ変換、データ正規化等のフローを順に行うことである。しかしながら、この方式は、処理時間が多くかかるため、処理速度が遅い。

【発明の概要】

【0003】

本願の実施例は、従来の画像前処理方式の処理速度が遅いという問題を解決するために、画像処理方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体を提供する。

【0004】

上記技術的問題を解決するために、本願は、以下のように実現される。

【0005】

第１の態様では、本願の実施例に係る画像処理方法は、
処理対象の画像を取得することと、
前記処理対象の画像を３チャンネルＹＵＶ画像に変換することと、
前記３チャンネルＹＵＶ画像におけるＹチャンネル画像、Ｕチャンネル画像及びＶチャンネル画像に畳み込み演算を行い、それぞれＲチャンネル画像、Ｇチャンネル画像及びＢチャンネル画像を生成して、３チャンネルＲＧＢ画像を取得することと、
前記３チャンネルＲＧＢ画像を前処理することと、を含む。

【0006】

これにより、画像前処理プロセスでは、変換して取得された３チャンネルＹＵＶ画像におけるＹチャンネル画像、Ｕチャンネル画像及びＶチャンネル画像を畳み込み演算により処理して、３チャンネルＲＧＢ画像を生成し、かつ該３チャンネルＲＧＢ画像を前処理することにより、ＹＵＶ画像をＲＧＢ画像に変換する時間を短縮して、画像前処理の速度を向上させることができる。

【0007】

好ましくは、前記の前記処理対象の画像を３チャンネルＹＵＶ画像に変換することは、
前記処理対象の画像を第１のＹチャンネル画像とＵＶチャンネル画像に分割することと、
前記第１のＹチャンネル画像を調整して、次元が（Ｎ，１，Ｗ，Ｈ）のＹチャンネル画像を取得することと、
前記ＵＶチャンネル画像を分離して、次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とを取得することと、
前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とをそれぞれ２倍サンプリングして、次元が（Ｎ，１，Ｗ，Ｈ）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ，Ｈ）のＶチャンネル画像とを取得することと、
次元が（Ｎ，１，Ｗ，Ｈ）のＹチャンネル画像、Ｕチャンネル画像、Ｖチャンネル画像を合成して、次元が（Ｎ，３，Ｗ，Ｈ）のＹＵＶ画像を取得することと、を含み、
ここで、前記Ｎは前記処理対象の画像の個数を表し、前記１は前記Ｙチャンネル画像、前記Ｕチャンネル画像又は前記Ｖチャンネル画像のチャンネルが１つであることを表し、前記３は前記ＹＵＶ画像のチャンネルが３つであることを表し、前記Ｗは前記処理対象の画像の幅に等しく、前記Ｈは前記処理対象の画像の高に等しい。

【0008】

これにより、上記分離、サンプリング、合成のプロセスにより、後続きの畳み込み演算の要求を満たす３チャンネルＹＵＶ画像を効率的に取得することができる。

【0009】

好ましくは、前記の前記ＵＶチャンネル画像を分離して、次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とを取得することは、
前記ＵＶチャンネル画像を、次元が（Ｎ，２，Ｗ＊Ｈ＊０．２５）のＵＶチャンネル画像に調整することと、
前記次元が（Ｎ，２，Ｗ＊Ｈ＊０．２５）のＵＶチャンネル画像を分離して、次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＶチャンネル画像とを取得することと、
前記次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＵチャンネル画像を、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像に調整すると共に、前記次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＶチャンネル画像を、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像に調整することと、を含む。

【0010】

これにより、ＵＶチャンネル画像の分離を正確に実現することができる。

【0011】

好ましくは、前記の前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とをそれぞれ２倍サンプリングして、次元が（Ｎ，１，Ｗ，Ｈ）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ，Ｈ）のＶチャンネル画像とを取得することは、
ｎｅａｒｅｓｔ補間関数を利用して、それぞれ前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とに対して２倍の最近隣アップサンプリングを行って、前記次元が（Ｎ，１，Ｗ，Ｈ）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ，Ｈ）のＶチャンネル画像とを取得することを含む。

【0012】

これにより、ｎｅａｒｅｓｔ補間関数を利用して２倍の最近接サンプリングを行うことにより、所望のＵチャンネル画像とＶチャンネル画像を正確にサンプリングして取得することができる。

【0013】

好ましくは、前記の前記３チャンネルＲＧＢ画像を前処理することは、
バッチ正規化関数を利用して前記３チャンネルＲＧＢ画像を前処理することを含む。

【0014】

これにより、バッチ正規化関数により、３チャンネルＲＧＢ画像の一括前処理を実現することができるため、前処理プロセスを加速させることができる。

【0015】

好ましくは、前記バッチ正規化関数は、下式に示すとおりであり、

【数1】

ここで、前記ｏｕｔｐｕｔは前処理後の画像の画素値を表し、前記ｉｎｐｕｔは前処理前の画像の画素値を表し、前記ｓｃａｌｅはズーム率を表し、前記ｂｉａｓはバイアス値を表し、前記ｍｅａｎは平均値を表し、前記ｖａｒｉａｎｃｅは分散を表し、前記ｅｐｓｉｌｏｎは予め設定された除算値安定係数を表す。

【0016】

好ましくは、前記の３チャンネルＲＧＢ画像を取得することの後に、前記方法は、
前記３チャンネルＲＧＢ画像のサイズを調整することをさらに含み、
前記の前記３チャンネルＲＧＢ画像を前処理することは、
サイズ調整後の３チャンネルＲＧＢ画像を前処理することを含む。

【0017】

第２の態様では、本願の実施例に係る画像処理装置は、
処理対象の画像を取得する取得モジュールと、
前記処理対象の画像を３チャンネルＹＵＶ画像に変換する変換モジュールと、
前記３チャンネルＹＵＶ画像におけるＹチャンネル画像、Ｕチャンネル画像及びＶチャンネル画像に畳み込み演算を行い、それぞれＲチャンネル画像、Ｇチャンネル画像及びＢチャンネル画像を生成して、３チャンネルＲＧＢ画像を取得する演算モジュールと、
前記３チャンネルＲＧＢ画像を前処理する前処理モジュールと、を含む。

【0018】

好ましくは、前記変換モジュールは、
前記処理対象の画像を第１のＹチャンネル画像とＵＶチャンネル画像に分割する分割ユニットと、
前記第１のＹチャンネル画像を調整して、次元が（Ｎ，１，Ｗ，Ｈ）のＹチャンネル画像を取得する調整ユニットと、
前記ＵＶチャンネル画像を分離して、次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とを取得する分離ユニットと、
前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とをそれぞれ２倍サンプリングして、次元が（Ｎ，１，Ｗ，Ｈ）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ，Ｈ）のＶチャンネル画像とを取得するサンプリングユニットと、
次元が（Ｎ，１，Ｗ，Ｈ）のＹチャンネル画像、Ｕチャンネル画像、Ｖチャンネル画像を合成して、次元が（Ｎ，３，Ｗ，Ｈ）のＹＵＶ画像を取得する合成ユニットと、を含み、
ここで、前記Ｎは前記処理対象の画像の個数を表し、前記１は前記Ｙチャンネル画像、前記Ｕチャンネル画像又は前記Ｖチャンネル画像のチャンネルが１つであることを表し、前記３は前記ＹＵＶ画像のチャンネルが３つであることを表し、前記Ｗは前記処理対象の画像の幅に等しく、前記Ｈは前記処理対象の画像の高さに等しい。

【0019】

好ましくは、前記分離ユニットは、
前記ＵＶチャンネル画像を、次元が（Ｎ，２，Ｗ＊Ｈ＊０．２５）のＵＶチャンネル画像に調整する第１の調整サブユニットと、
前記次元が（Ｎ，２，Ｗ＊Ｈ＊０．２５）のＵＶチャンネル画像を分離して、次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＶチャンネル画像とを取得する分離サブユニットと、
前記次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＵチャンネル画像を、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像に調整すると共に、前記次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＶチャンネル画像を、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像に調整する第２の調整サブユニットと、を含む。

【0020】

好ましくは、前記サンプリングユニットは、具体的には、ｎｅａｒｅｓｔ補間関数を利用して、それぞれ前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とに対して２倍の最近隣アップサンプリングを行い、前記次元が（Ｎ，１，Ｗ，Ｈ）であるＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ，Ｈ）のＶチャンネル画像とを取得する。

【0021】

好ましくは、前記前処理モジュールは、具体的には、バッチ正規化関数を利用して前記３チャンネルＲＧＢ画像を前処理する。

【0022】

好ましくは、前記バッチ正規化関数は、下式に示すとおりであり、

【数2】

ここで、前記ｏｕｔｐｕｔは前処理後の画像の画素値を表し、前記ｉｎｐｕｔは前処理前の画像の画素値を表し、前記ｓｃａｌｅはズーム率を表し、前記ｂｉａｓはバイアス値を表し、前記ｍｅａｎは平均値を表し、前記ｖａｒｉａｎｃｅは分散を表し、前記ｅｐｓｉｌｏｎは予め設定された除算値安定係数を表す。

【0023】

好ましくは、前記装置は、
前記３チャンネルＲＧＢ画像のサイズを調整する調整モジュールをさらに含み、
前記前処理モジュールは、具体的には、サイズ調整後の３チャンネルＲＧＢ画像を前処理する。

【0024】

第３の態様では、本願の実施例に係る電子機器は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されたメモリとを含み、
前記メモリには、前記少なくとも１つのプロセッサに実行可能で、前記少なくとも１つのプロセッサによって実行されると、上述した画像処理方法を前記少なくとも１つのプロセッサに実行させる命令が記憶されている。

【0025】

第４の態様では、本願の実施例に係る、非一時的なコンピュータ読み取り可能な記憶媒体には、上述した画像処理方法をコンピュータに実行させるコンピュータ命令が記憶されている。

【0026】

上記出願における一実施例は、画像前処理プロセスでは、変換して取得された３チャンネルＹＵＶ画像におけるＹチャンネル画像、Ｕチャンネル画像及びＶチャンネル画像を畳み込み演算により処理して、３チャンネルＲＧＢ画像を生成し、かつ該３チャンネルＲＧＢ画像を前処理することにより、ＹＵＶ画像をＲＧＢ画像に変換する時間を短縮して、画像前処理の速度を向上させるという利点又は有益な効果を有する。処理対象の画像を取得し、前記処理対象の画像を３チャンネルＹＵＶ画像に変換し、前記３チャンネルＹＵＶ画像におけるＹチャンネル画像、Ｕチャンネル画像及びＶチャンネル画像に畳み込み演算を行い、それぞれＲチャンネル画像、Ｇチャンネル画像及びＢチャンネル画像を生成して、３チャンネルＲＧＢ画像を取得し、そして前記３チャンネルＲＧＢ画像を前処理する技術手段を採用しているため、従来の画像前処理方式の処理速度が遅いという技術的問題を解消し、さらに画像前処理速度を向上させる技術的効果を達成する。

【0027】

以下、上記好ましい方式の他の効果を、具体的な実施例を参照しながら説明する。

【図面の簡単な説明】

【0028】

図面は、本解決手段をよりよく理解するためのものであり、本願を限定するものではない。

【0029】

【図1】本願の実施例に係る画像処理方法のフローチャートである。

【図2】本願の具体例に係る畳み込み演算プロセスの概略図である。

【図3】本願の具体例に係る画像変換及び前処理プロセスのフローチャートである。

【図4】本願の実施例に係る画像処理方法を実現する画像処理装置のブロック図である。

【図5】本願の実施例に係る画像処理方法を実現する電子機器のブロック図である。

【発明を実施するための最良の形態】

【0030】

以下、図面を参照しながら、本願の例示的な実施例を説明し、理解を容易にするための本願の実施例の様々な詳細を含むが、それらが単なる例示的なものと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明された実施例に対して様々な変更及び修正を行うことができることを理解すべきである。同様に、明確さと簡潔さのために、以下の説明では、公知の機能及び構造についての説明を省略する。

【0031】

本願の明細書及び特許請求の範囲における用語「第１」、「第２」などは、類似した対象を区別するためのものであり、必ずしも特定の順序又は優先順位を説明するためのものではない。ここで説明する本願の実施例が、ここでの図示説明又は説明以外の順序でも実施できるように、このように使用されるデータは、適宜入れ替えてもよいことを理解されたい。また、用語「含む」、「備える」及びそれらのいかなる変形は、非排他的な包含をカバーすることを意図し、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は装置は、明確に示されたステップ又はユニットに限定されず、明確に示されていないか又はこれらのプロセス、方法、システム、製品又は装置に固有の他のステップ又はユニットを含んでもよい。

【0032】

図１を参照すると、図１は、本願の実施例に係る画像処理方法のフローチャートであり、該方法は、電子機器に適用され、図１に示すように、以下のステップ１０１～１０４を含む。

【0033】

ステップ１０１では、処理対象の画像を取得する。

【0034】

本実施例では、本願の処理対象の画像は、撮像装置によって取得されてもよいし、サーバ装置等の他の装置から直接取得されてもよい。処理対象の画像のタイプについては、本発明は、限定せず、例えば、顔画像、オブジェクト画像、風景画像等であってよい。

【0035】

一実施形態では、処理対象の画像を取得した後、処理対象の画像のフォーマットを調整し、例えば、処理対象の画像のフォーマットを、次元が（Ｗ＊Ｈ＊１．５）で、データタイプが８ビットの符号なし整数型（ｕｉｎｔ８）である配列に調整する。Ｗは、処理対象の画像の幅に等しく、Ｈは、処理対象の画像の高さに等しい。

【0036】

ステップ１０２では、上記処理対象の画像を３チャンネルＹＵＶ画像に変換する。

【0037】

このステップで変換して取得されたＹＵＶ画像は、次元が（Ｎ，３，Ｗ，Ｈ）のＹＵＶ画像であってよい。Ｎは処理対象の画像の個数を表し、３は該ＹＵＶ画像のチャンネルが３つであることを表し、Ｗは該ＹＵＶ画像の幅を表し（処理対象の画像の幅に等しく）、Ｈは該ＹＵＶ画像の高さを表す（処理対象の画像の高さに等しい）。

【0038】

ＹＵＶ画像のフォーマットは、ＹＵＶ４４４、ＹＵＶ４２２、ＹＵＶ４２０、ＮＶ１２等の複数の種類を含んでよい。異なるＹＵＶ画像フォーマットは、異なる画素配列方式を有する。例えば、本実施例におけるＹＵＶ画像フォーマットは、ＹＵＶ４２０を選択することができ、その画素配列方式は、全てのＹチャンネル画素とＵＶチャンネル画素を列に交互に配列することである。

【0039】

ステップ１０３では、前記３チャンネルＹＵＶ画像におけるＹチャンネル画像、Ｕチャンネル画像及びＶチャンネル画像に畳み込み演算を行い、それぞれＲチャンネル画像、Ｇチャンネル画像及びＢチャンネル画像を生成して、３チャンネルＲＧＢ画像を取得する。

【0040】

本実施例では、このステップでは、次のような畳み込み関数（ｃｏｎｖ２ｄ）を利用して、３チャンネルＹＵＶ画像に畳み込み演算を行い、それぞれＲチャンネル画像、Ｇチャンネル画像、Ｂチャンネル画像を生成して、以下の３チャンネルＲＧＢ画像を取得することができる。

【0041】

【数3】

ここで、ＲＧＢ＿ｉｍｇは、３チャンネルＲＧＢ画像を表し、ＹＵＶ＿ｉｍｇは、３チャンネルＹＵＶ画像を表し、ｗ及びｂは、決定されたパラメータ行列を表し、

【数4】

は、畳み込み符号を表す。この部分の畳み込み演算については、畳み込みカーネルの次元は（１，１，３，３）であり、すなわち畳み込みカーネルサイズは１＊１であり、入力チャンネル数は３であり、出力チャンネル数は３である。

【0042】

一実施形態では、上記ｗパラメータ行列は、［［１、０、１．１３９８３］、［１、－０．３９４６５、－０．５８０６０］、［１、２．０３２１１、０］］として選択されてよく、上記ｂパラメータ行列は、［－１２８＊１．１３９８３、１２８＊０．３９４６５＋１２８＊０．５８０６０、－１２８＊２．０３２１１］として選択されてよい。この場合、図２に示すように、対応する畳み込み演算プロセス（入力が３チャンネルＹＵＶ画像であり、出力が３チャンネルＲＧＢ画像である）は、
Ｒ＝Ｙ＋１．１３９８３＊（Ｖ－１２８）と、
Ｇ＝Ｙ－０．３９４６５＊（Ｕ－１２８）－０．５８０６０＊（Ｖ－１２８）と、
Ｂ＝Ｙ＋２．０３２１１＊（Ｕ－１２８）と、を含んでよい。

【0043】

ステップ１０４では、前記３チャンネルＧＢ画像を前処理する。

【0044】

本実施例では、前処理後の画像は、画像オブジェクト検出、ビデオオブジェクト検出及び分析等に用いることができる。該前処理は、画像正規化処理を含んでよい。このステップにおける前処理プロセスは、バッチ正規化関数を利用して該３チャンネルＲＧＢ画像を前処理することであってよい。これにより、バッチ正規化関数により、３チャンネルＲＧＢ画像の一括前処理を実現することができ、前処理プロセスを加速させることができる。

【0045】

好ましくは、該バッチ正規化関数は、

【数5】

であってよい。ここで、ｏｕｔｐｕｔは前処理後の画像の画素値を表し、ｉｎｐｕｔは前処理前の画像の画素値を表し、ｓｃａｌｅはズーム率を表し、ｂｉａｓはバイアス値を表し、ｍｅａｎは平均値を表し、ｖａｒｉａｎｃｅは分散を表し、ｅｐｓｉｌｏｎは予め設定された除算値安定係数を表す。該ｓｃａｌｅ、ｂｉａｓ、ｍｅａｎ、ｖａｒｉａｎｃｅ及びｅｐｓｉｌｏｎは、予め設定されてよい。

【0046】

好ましい実施形態として、上記バッチ正規化関数におけるパラメータ設定は、具体的には、ｓｃａｌｅが［１／σ、１／σ、１／σ］に等しく、ｂｉａｓが［μ１／σ、μ２／σ、μ３／σ］に等しく、ｍｅａｎが［０、０、０］に等しく、ｖａｒｉａｎｃｅが［０．９９９９９５、０．９９９９９５、０．９９９９９５］に等しく、ｅｐｓｉｌｏｎが１ｅ－５に等しいものとすることができる。さらに、μ値は１２８であってよいし、σ値は２５６であってよい。ｅｐｓｉｌｏｎを１ｅ－５に設定する理由は、いくつかの場合で、ｅｐｓｉｌｏｎが１ｅ－５より小さいことを許可しないことである。

【0047】

好ましくは、３チャンネルＲＧＢ画像を取得する前記ステップの後に、前記方法は、前記３チャンネルＲＧＢ画像のサイズを、指定されたサイズに調整するステップをさらに含む。前記３チャンネルＲＧＢ画像を前処理する上記ステップは、サイズ調整後の３チャンネルＲＧＢ画像を前処理するステップを含んでよい。これにより、調整された画像のサイズが均一であることを保証し、前処理速度を向上させることができる。

【0048】

好ましい実施形態として、３チャンネルＲＧＢ画像を前処理する前に、まず、ｒｅｓｉｚｅ関数を呼び出して該３チャンネルＲＧＢ画像のサイズを調整し、即ち、該３チャンネルＲＧＢ画像を指定されたサイズに調整することができる。該ｒｅｓｉｚｅ関数の具体的な形式については、従来の一般的な形式を採用することができ、ここでは限定しない。

【0049】

本願の実施例に係る画像処理方法は、画像前処理プロセスでは、変換して取得された３チャンネルＹＵＶ画像におけるＹチャンネル画像、Ｕチャンネル画像及びＶチャンネル画像を畳み込み演算により処理して、３チャンネルＲＧＢ画像を生成し、かつ該３チャンネルＲＧＢ画像を前処理することにより、ＹＵＶ画像をＲＧＢ画像に変換する時間を短縮して、画像前処理の速度を向上させることができる。

【0050】

本願の実施例では、上記ステップ１０２における処理対象の画像を３チャンネルＹＵＶ画像に変換するプロセスは、以下を含むことができる。

【0051】

処理対象の画像を第１のＹチャンネル画像とＵＶチャンネル画像に分割し、この分割プロセスは、指針リダイレクトと理解することができ、該第１のＹチャンネル画像の次元は（Ｗ＊Ｈ）であってよく、該ＵＶチャンネル画像の次元は（Ｗ＊Ｈ＊０．５）であってよく、
上記第１のＹチャンネル画像を調整して、次元が（Ｎ，１，Ｗ，Ｈ）のＹチャンネル画像を取得し、ここで、Ｎは処理対象の画像の個数を表し、１は該Ｙチャンネル画像のチャンネルが１つであることを表し、Ｗは該Ｙチャンネル画像の幅を表し、Ｈは該Ｙチャンネル画像の高さを表し、好ましくは、本実施例では、ｒｅｓｈａｐｅ関数を呼び出して第１のＹチャンネル画像を調整することができ、
前記ＵＶチャンネル画像を分離して、次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像を取得し、ここで、１は該Ｙチャンネル画像又はＶチャンネル画像のチャンネルが１つであることを表し、該Ｗ＊０．５は該Ｙチャンネル画像又はＶチャンネル画像の幅を表し、該Ｈ＊０．５は該Ｙチャンネル画像又はＶチャンネル画像の高さを表し、好ましくは、本実施例では、ｓｐｌｉｔ関数を呼び出してＵＶチャンネル画像を分離することができ、
前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とをそれぞれ２倍サンプリングして、次元が（Ｎ，１，Ｗ，Ｈ）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ，Ｈ）のＶチャンネル画像とを取得し、ここで、１は該Ｙチャンネル画像又はＶチャンネル画像のチャンネルが１つであることを表し、該Ｗは該Ｙチャンネル画像又はＶチャンネル画像の幅を表し、該Ｈは該Ｙチャンネル画像又はＶチャンネル画像の高さを表し、
次元が（Ｎ，１，Ｗ，Ｈ）のＹチャンネル画像、Ｕチャンネル画像、Ｖチャンネル画像を合成して、次元が（Ｎ，３，Ｗ，Ｈ）のＹＵＶ画像を取得し、ここで、３は該ＹＵＶチャンネル画像のチャンネルが３つであることを表し、該Ｗは該ＹＵＶ画像の幅を表し、当該Ｈは該ＹＵＶ画像の高さを表し、好ましくは、本実施例では、ｃｏｎｃａｔ関数を呼び出して、次元が（Ｎ，１，Ｗ，Ｈ）のＹチャンネル画像、Ｕチャンネル画像、Ｖチャンネル画像を合成し、次元が（Ｎ，３，Ｗ，Ｈ）のＹＵＶ画像を取得することができる。

【0052】

これにより、上記分離、サンプリング及び合成のプロセスにより、後続きの畳み込み演算の要求を満たす３チャンネルＹＵＶ画像を効率的に取得することができる。

【0053】

なお、上記ｒｅｓｈａｐｅ関数は、従来の呼び出し形式を採用することができ、指定された行列を特定の次元の行列に変換することができ、かつ行列中の要素数を変化させずに、行列の行数、列数、次元数を再調整することができる。上記ｓｐｌｉｔ関数は、従来の呼び出し形式を採用することができ、ＵＶチャンネル画像を分離してＵチャンネル画像とＶチャンネル画像を取得することができる。上記ｃｏｎｃａｔ関数は、従来の呼び出し形式を採用することができ、一般的には、２つ以上の配列を接続して新たな配列を取得する。

【0054】

好ましくは、ＵＶチャンネル画像の分離を正確に実現するために、ＵＶチャンネル画像を分離して、次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とを取得する上記プロセスは、以下のとおりであってよい。

【0055】

前記ＵＶチャンネル画像を、次元が（Ｎ，２，Ｗ＊Ｈ＊０．２５）のＵＶチャンネル画像に調整し、ここで、Ｗ＊Ｈ＊０．２５は、該ＵＶチャンネル画像の幅がＷ＊０．５で、該ＵＶチャンネル画像の高さがＨ＊０．５であることを表し、２は該ＵＶチャンネル画像のチャンネルが２つであることを表し、
前記次元が（Ｎ，２，Ｗ＊Ｈ＊０．２５）のＵＶチャンネル画像を分離して、次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＶチャンネル画像とを取得し、ここで、Ｗ＊Ｈ＊０．２５は、該Ｕチャンネル画像の幅がＷ＊０．５で、該Ｕチャンネル画像の高さがＨ＊０．５であることを表すか、又は該Ｖチャンネル画像の幅がＷ＊０．５で、該Ｖチャンネル画像の高さがＨ＊０．５であることを表し、１は該Ｕチャンネル画像又はＶチャンネル画像のチャンネルが１つであることを表し、好ましくは、本実施例では、ｓｐｌｉｔ関数を呼び出して次元が（Ｎ，２，Ｗ＊Ｈ＊０．２５）のＵＶチャンネル画像を分離することができ、
上記次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＵチャンネル画像を、次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像に調整すると共に、上記次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＶチャンネル画像を、次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像に調整し、好ましくは、本実施例では、ｒｅｓｈａｐｅ関数を呼び出して次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＵチャンネル画像又はＶチャンネル画像を調整することができる。

【0056】

好ましくは、次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とをそれぞれ２倍サンプリングする上記プロセスは、以下のとおりであってよい。ｎｅａｒｅｓｔ補間関数を利用して、それぞれ次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とに対して２倍の最近隣アップサンプリングを行ｘつて、次元が（Ｎ，１，Ｗ，Ｈ）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ，Ｈ）のＶチャンネル画像とを取得する。これにより、ｎｅａｒｅｓｔ補間関数を利用して２倍の最近接サンプリングを行うことにより、所望のＵチャンネル画像とＶチャンネル画像を正確にサンプリングして取得することができる。

【0057】

以下、図３を参照しながら本願の具体例の画像変換及び前処理プロセスを説明する。

【0058】

本願の具体例では、処理対象の画像の個数が１であることを例とすると、処理対象の画像のサイズが１０８０＊１９２０であり、ニューラルネットワーク予測ライブラリにおける関数を呼び出すことにより画像変換及び前処理プロセスを実現し、かつニューラルネットフレームワーク（例えば、ＰａｄｄｌｅＰａｄｄｌｅ）により説明する。図３に示すように、該ニューラルネットワークフレームワークは、入力層と、モジュール１と、モジュール２と、モジュール３（畳み込み層）と、モジュール４と、モジュール５（バッチ正規化層）とを含み、対応するプロセスは、以下を含んでよい。

【0059】

入力層について、まず、処理対象の画像１０８０＊１９２０を順に、次元が（１０８０＊１９２０）のＹチャンネル画像と、次元が（５４０＊９６０＊２）のＵＶチャンネル画像との２つの部分に分割し、そして、ｒｅｓｈａｐｅ関数を呼び出して次元が（１０８０＊１９２０）のＹチャンネル画像を調整して、次元が（１，１，１０８０，１９２０）のＹチャンネル画像を取得して入力ノード１の入力とする共に、次元が（１，１，５４０＊９６０＊２）のＵＶチャンネル画像を入力ノード２の入力とする。

【0060】

モジュール１について、まず、ｓｐｌｉｔ関数を呼び出して入力ノード２のＵＶチャンネル画像を分離して、次元が（１，１，５４０＊９６０）のＵチャンネル画像と次元が（Ｎ，１，５４０＊９６０）のＶチャンネル画像とを取得し、そして、ｒｅｓｈａｐｅ関数を呼び出して次元が（１，１，５４０＊９６０）のＵチャンネル画像を次元が（１，１，５４０，９６０）のＵチャンネル画像に調整すると共に、ｒｅｓｈａｐｅ関数を呼び出して次元が（１，１，５４０＊９６０）のＶチャンネル画像を次元が（１，１，５４０，９６０）のＶチャンネル画像に調整する。

【0061】

モジュール２について、まず、ｎｅａｒｅｓｔ補間関数を利用して、次元が（１，１，５４０，９６０）のＵチャンネル画像と、次元が（１，１，５４０，９６０）のＶチャンネル画像とに対してそれぞれ２倍の最近隣アップサンプリングを行って、次元が（１，１，１０８０，１９２０）のＵチャンネル画像と、次元が（１，１，１０８０，１９２０）のＶチャンネル画像とを取得し、そして、ｃｏｎｃａｔ関数を呼び出して、次元が（１，１，１０８０，１９２０）のＹチャンネル画像と、Ｕチャンネル画像と、Ｖチャンネル画像とを合成して、次元が（１，３，１０８０，１９２０）のＹＵＶ画像を取得する。

【0062】

モジュール３について、畳み込み関数ｃｏｎｖ２ｄを呼び出し、次元が（１，３，１０８０，１９２０）のＹＵＶ画像に畳み込み演算を行い、それぞれＲチャンネル画像、Ｇチャンネル画像、Ｂチャンネル画像を生成して、次元が（１，３，１０８０，１９２０）のＲＧＢ画像を取得する。

【0063】

モジュール４について、ｒｅｓｉｚｅ＿ｂｉｌｉｎｅａｒ関数を呼び出し、この次元が（１，３，１０８０，１９２０）のＲＧＢ画像のサイズを調整し、次元が（１，３，２１６，３８４）のＲＧＢ画像に調整する。

【0064】

モジュール５について、バッチ正規化関数Ｂａｔｃｈ＿ｎｏｒｍを利用して該次元が（１，３，２１６，３８４）のＲＧＢ画像を前処理して、次元が（１，３，２１６，３８４）の正規化ＲＧＢ画像を取得する。

【0065】

これにより、ニューラルネットワーク予測ライブラリにおける関数を呼び出すことにより、画像前処理の速度を大幅に向上させることができる。

【0066】

図４を参照すると、図４は、本願の実施例に係る画像処理装置の構成概略図であり、図４に示すように、該画像処理装置４０は、
処理対象の画像を取得する取得モジュール４１と、
前記処理対象の画像を３チャンネルＹＵＶ画像に変換する変換モジュール４２と、
前記３チャンネルＹＵＶ画像におけるＹチャンネル画像、Ｕチャンネル画像及びＶチャンネル画像に畳み込み演算を行い、それぞれＲチャンネル画像、Ｇチャンネル画像及びＢチャンネル画像を生成して、３チャンネルＲＧＢ画像を取得する演算モジュール４３と、
前記３チャンネルＲＧＢ画像を前処理する前処理モジュール４４と、を含む。

【0067】

好ましくは、前記変換モジュール４２は、
前記処理対象の画像を第１のＹチャンネル画像とＵＶチャンネル画像に分割する分割ユニットと、
前記第１のＹチャンネル画像を調整して、次元が（Ｎ，１，Ｗ，Ｈ）のＹチャンネル画像を取得する調整ユニットと、
前記ＵＶチャンネル画像を分離して、次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とを取得する分離ユニットと、
前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とをそれぞれ２倍サンプリングして、次元が（Ｎ，１，Ｗ，Ｈ）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ，Ｈ）のＶチャンネル画像とを取得するサンプリングユニットと、
次元が（Ｎ，１，Ｗ，Ｈ）のＹチャンネル画像、Ｕチャンネル画像、Ｖチャンネル画像を合成して、次元が（Ｎ，３，Ｗ，Ｈ）のＹＵＶ画像を取得する合成ユニットと、を含み、
ここで、前記Ｎは前記処理対象の画像の個数を表し、前記１は前記Ｙチャンネル画像、前記Ｕチャンネル画像又は前記Ｖチャンネル画像のチャンネルが１つであることを表し、前記３は前記ＹＵＶ画像のチャンネルが３つであることを表し、前記Ｗは処理対象の画像の幅に等しく、前記Ｈは処理対象の画像の高さに等しい。

【0068】

好ましくは、上記分離ユニットは、
前記ＵＶチャンネル画像を、次元が（Ｎ，２，Ｗ＊Ｈ＊０．２５）のＵＶチャンネル画像に調整する第１の調整サブユニットと、
前記次元が（Ｎ，２，Ｗ＊Ｈ＊０．２５）のＵＶチャンネル画像を分離して、次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＵチャンネル画像と、次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＶチャンネル画像とを取得する分離サブユニットと、
前記次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＵチャンネル画像を、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像に調整すると共に、前記次元が（Ｎ，１，Ｗ＊Ｈ＊０．２５）のＶチャンネル画像を、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像に調整する第２の調整サブユニットと、を含む。

【0069】

好ましくは、前記サンプリングユニットは、具体的には、ｎｅａｒｅｓｔ補間関数を利用して、それぞれ前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ＊０．５，Ｈ＊０．５）のＶチャンネル画像とに対して２倍の最近隣アップサンプリングを行い、前記次元が（Ｎ，１，Ｗ，Ｈ）のＵチャンネル画像と、前記次元が（Ｎ，１，Ｗ，Ｈ）のＶチャンネル画像とを取得する。

【0070】

好ましくは、前記前処理モジュール４４は、具体的には、バッチ正規化関数を利用して前記３チャンネルＲＧＢ画像を前処理する。

【0071】

好ましくは、前記バッチ正規化関数は、下式に示すとおりであり、

【数6】

ここで、前記ｏｕｔｐｕｔは前処理後の画像の画素値を表し、前記ｉｎｐｕｔは前処理前の画像の画素値を表し、前記ｓｃａｌｅはズーム率を表し、前記ｂｉａｓはバイアス値を表し、前記ｍｅａｎは平均値を表し、前記ｖａｒｉａｎｃｅは分散を表し、前記ｅｐｓｉｌｏｎは予め設定された除算値安定係数を表す。

【0072】

好ましくは、前記装置は、
前記３チャンネルＲＧＢ画像のサイズを調整する調整モジュールをさらに含み、
前記前処理モジュール４４は、具体的には、サイズ調整後の３チャンネルＲＧＢ画像を前処理する。

【0073】

理解できるように、本願の実施例に係る画像処理装置４０は、上記図１に示す方法の実施例において実現された各プロセスを実現し、かつ同様の効果を達成することができ、重複を避けるため、ここでは説明を省略する。

【0074】

本願の実施例によれば、本願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。

【0075】

図５に示すように、本願の実施例に係る画像処理方法を実現する電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及びその他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを意図する。電子機器は、パーソナルデジタル処理、セルラー電話、スマートフォン、ウェアラブルデバイス及びその他の類似するコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。本明細書で示されたコンポーネント、それらの接続及び関係と、それらの機能とは、例示的なものに過ぎず、本明細書で説明及び／又は要求された本願の実現を限定していることを意図するものではない。

【0076】

図５に示すように、該電子機器は、１つ以上のプロセッサ５０１と、メモリ５０２と、各コンポーネントを接続し高速インタフェース及び低速インタフェースを含むインタフェースと、を含む。各コンポーネントは、異なるバスを介して互いに接続され、かつ共通のマザーボード上に取り付けられてもよく、必要に応じて他の方式で取り付けられてもよい。プロセッサは、電子機器内で実行された、外部入力／出力装置（例えば、インタフェースに結合された表示機器）上にＧＵＩのグラフィック情報を表示するようにメモリ内又はメモリ上に記憶された命令を含む命令を処理することができる。他の実施形態では、必要があれば、複数のプロセッサ及び／又は複数のバスを、複数のメモリ及び複数のストレージと共に使用することができる。同様に、それぞれが必要な動作を提供する複数の電子機器（例えば、サーバアレイ、ブレードサーバのグループ又はマルチプロセッサシステム）を接続することができる。図５において、１つのプロセッサ５０１を例とする。

【0077】

メモリ５０２は、本願に係る非一時的なコンピュータ読み取り可能な記憶媒体である。前記メモリには、少なくとも１つのプロセッサに実行可能で、前記少なくとも１つのプロセッサに本願に係る画像処理方法を実行させる命令が記憶されている。本願の非一時的なコンピュータ読み取り可能な記憶媒体は、本願に係る画像処理方法をコンピュータに実行させるコンピュータ命令を記憶している。

【0078】

メモリ５０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュール、例えば、本願の実施例における画像処理方法に対応するプログラム命令／モジュール（例えば、図４に示す取得モジュール４１、変換モジュール４２、演算モジュール４３及び前処理モジュール４４）を記憶することができる。プロセッサ５０１は、メモリ５０２に記憶された非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの各機能アプリケーション及びデータ処理を実行し、即ち、上記方法の実施例における画像処理方法を実現する。

【0079】

メモリ５０２は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶できるプログラム記憶領域と、電子機器の使用中に作成されたデータなどを記憶できるデータ記憶領域とを含んでよい。また、メモリ５０２は、高速ランダムアクセスメモリを含んでもよく、少なくとも１つの磁気ディスクメモリ装置、フラッシュメモリ装置、又は他の非一時的な固体メモリ装置などの非一時的なメモリを含んでもよい。いくつかの実施例では、メモリ５０２は、好ましくは、プロセッサ５０１に対して遠隔的に配置されたメモリを含み、これらの遠隔メモリは、ネットワークを介して電子機器に接続することができる。上記ネットワークの例は、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク及びそれらの組み合わせを含むが、これらに限定されない。

【0080】

画像処理方法の電子機器は、入力装置５０３及び出力装置５０４をさらに含んでよい。プロセッサ５０１、メモリ５０２、入力装置５０３及び出力装置５０４は、バス又は他の方式で接続することができ、図５において、バスによる接続を例とする。

【0081】

入力装置５０３は、入力された数字又は文字情報を受信すると共に、画像処理方法の電子機器のユーザ設定及び機能制御に関連するキー信号入力を生成することができ、入力装置は、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ以上のマウスボタン、トラックボール、ジョイスティックである。出力装置５０４は、表示機器、補助照明装置（例えば、ＬＥＤ）及び触覚フィードバック装置（例えば、振動モータ）などを含んでよい。該表示機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイなどを含んでよいが、これらに限定されない。いくつかの実施形態では、表示機器は、タッチスクリーンであってよい。

【0082】

本明細書で説明されたシステム及び技術の各実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び／又は解釈できる１つ以上のコンピュータプログラムにおける実施を含んでよく、該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってよく、記憶システム、少なくとも１つの入力装置及び少なくとも１つの出力装置からデータと命令を受信し、かつデータと命令を該記憶システム、該少なくとも１つの入力装置及び該少なくとも１つの出力装置に伝送することができる。

【0083】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、かつこれらのコンピュータプログラムを、高レベルのプロセス及び／又はオブジェクト指向のプログラミング言語、及び／又はアセンブリ／機械言語を用いて実施することができる。本明細書で使用された用語「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」は、機械命令及び／又はデータをプログラマブルプロセッサに提供する任意のコンピュータプログラム製品、機器及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジック装置（ＰＬＤ））を指し、機械読み取り可能な信号としての機械命令を受信する機械読み取り可能な媒体を含む。用語「機械読み取り可能な信号」は、機械命令及び／又はデータをプログラマブルプロセッサに提供する任意の信号を指す。

【0084】

ユーザとの対話を提供するために、本明細書で説明されたシステム及び技術をコンピュータ上で実施することができ、該コンピュータは、ユーザに情報を表示する表示装置（例えば、ＣＲＴ（ブラウン）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードと、ポインティング装置（例えば、マウス又はトラックボール）とを含み、ユーザは、該キーボードと該ポインティング装置により入力をコンピュータに提供することができる。他のタイプの装置は、ユーザとの対話を提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック又は触覚フィードバック））であってよく、また、任意の形式（音響入力、音声入力又は触覚入力を含む）でユーザからの入力を受信することができる。

【0085】

本明細書で説明されたシステム及び技術を、バックエンドコンポーネントを含むコンピュータシステム（例えば、データサーバとして）、又はミドルウェアコンポーネントを含むコンピュータシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピュータシステム（例えば、ユーザが本明細書で説明されたシステム及び技術の実施形態と対話できるグラフィカルユーザインタフェース又は該ウェブブラウザを有するユーザコンピュータ）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント又はフロントエンドコンポーネントの任意の組み合わせを含むコンピュータシステムにおいて実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介してシステムのコンポーネントを互いに接続することができる。通信ネットワークの例として、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットが挙げられる。

【0086】

コンピュータシステムは、クライアントとサーバを含んでよい。クライアントとサーバは、一般的に、互いに離れ、かつ、通常通信ネットワークを介して対話する。対応するコンピュータ上で実行し、互いにクライアント－サーバの関係を有するコンピュータプログラムによりクライアントとサーバの関係を生成する。

【0087】

本願の実施例の技術手段によれば、画像前処理プロセスでは、変換して取得された３チャンネルＹＵＶ画像におけるＹチャンネル画像、Ｕチャンネル画像及びＶチャンネル画像を畳み込み演算により処理して、３チャンネルＲＧＢ画像を生成し、かつ該３チャンネルＲＧＢ画像を前処理することにより、ＹＵＶ画像をＲＧＢ画像に変換する時間を短縮して、画像前処理の速度を向上させることができる。

【0088】

なお、上記様々な形式のフローを用いて、ステップを改めて順序付けしたり、追加したり、削除したりしてよい。例えば、本願において開示されている技術手段の所望の結果を実現する限り、本願に記載された各ステップは、並列的に実行されてもよく、順次実行されてもよく、異なる順序で実行されてもよく、本明細書は限定しない。

【0089】

上記具体的な実施例は、本願の保護範囲を限定するものではない。当業者は、設計要件及びその他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び置換を行うことができることを理解すべきである。本願の精神及び原則の範囲内で行われる修正、同等置換、改善などは、いずれも本願の保護範囲に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】