特許 7467034 画像処理方法、画像処理装置、画像処理システム、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-05

(45)【発行日】2024-04-15

(54)【発明の名称】画像処理方法、画像処理装置、画像処理システム、およびプログラム

(51)【国際特許分類】

   H04N 19/86 20140101AFI20240408BHJP

   H04N 19/85 20140101ALI20240408BHJP

   H04N 1/41 20060101ALI20240408BHJP

【ＦＩ】

H04N19/86

H04N19/85

H04N1/41

【請求項の数】 18

(21)【出願番号】P 2019109207

(22)【出願日】2019-06-12

(65)【公開番号】P2020028111

(43)【公開日】2020-02-20

【審査請求日】2022-05-31

(31)【優先権主張番号】P 2018152003

(32)【優先日】2018-08-10

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】木村 良範

【審査官】鉢呂 健

(56)【参考文献】

【文献】特開２０１３－２５８４６５（ＪＰ，Ａ）

【文献】特開２０１７－１６９２３３（ＪＰ，Ａ）

【文献】特開２００８－１１８４６２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３０１９３４（ＵＳ，Ａ１）

【文献】特開２０１８－０８２２９９（ＪＰ，Ａ）

【文献】特開２０１４－０５３８５７（ＪＰ，Ａ）

【文献】CAVIGELLI, Lukas et al.，CAS-CNN: A Deep Convolutional Neural Networkfor Image Compression Artifact Suppression，2017 International Joint Conference on Neural Networks (IJCNN)，IEEE，2017年07月03日，pp.752-759，Electronic ISBN:978-1-5090-6182-2

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

Ｈ０４Ｎ １／４１

(57)【特許請求の範囲】

【請求項1】

入力画像にノイズ成分を加えることで第１の画像を生成する第１のステップと、
前記第１の画像を画像圧縮することで第２の画像を生成する第２のステップと、
前記第２の画像を畳み込みニューラルネットワークに入力し、該第２の画像における前記画像圧縮に伴う画質劣化を低減することで出力画像を生成する第３のステップと、を有し、
前記第３のステップにおいて、前記出力画像は、ノイズ除去フィルタを用いた処理によって前記ノイズ成分に対応する前記第２の画像におけるノイズ成分を低減することで生成されることを特徴とする画像処理方法。

【請求項2】

前記ノイズ成分は、前記入力画像の画素値に対するノイズ成分であることを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記第１のステップにおいて、前記入力画像の画素値をランダムに変動させることで前記第１の画像を生成することを特徴とする請求項２に記載の画像処理方法。

【請求項4】

前記ノイズ成分の分布は、前記入力画像のＩＳＯ感度に基づいて決定されることを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。

【請求項5】

前記ノイズ成分の分布は、前記画像圧縮における圧縮率に応じて決定されることを特徴とする請求項１から４のいずれか一項に記載の画像処理方法。

【請求項6】

前記ノイズ成分は、複数の正弦波を重ね合わせた成分であることを特徴とする請求項１から５のいずれか一項に記載の画像処理方法。

【請求項7】

前記ノイズ成分は、加法性白色ガウスノイズであることを特徴とする請求項１から５のいずれか一項に記載の画像処理方法。

【請求項8】

前記ノイズ成分は、ショットノイズであることを特徴とする請求項１から５のいずれか一項に記載の画像処理方法。

【請求項9】

前記ノイズ成分の分布は、ガウス分布またはポアソン分布であることを特徴とする請求項１から５のいずれか一項に記載の画像処理方法。

【請求項10】

前記ノイズ成分は、前記入力画像に含まれるノイズ成分とは異なる成分であることを特徴とする請求項１から９のいずれか１項に記載の画像処理方法。

【請求項11】

前記ノイズ成分は、予め記憶された二次元のノイズデータの一部を切り出すことによって取得されることを特徴とする請求項１から１０のいずれか一項に記載の画像処理方法。

【請求項12】

前記画像圧縮は、ＪＰＥＧ、ＭＰＥＧ、ＡＶＩ、ＭＯＶ、ＰＮＧおよびＧＩＦの少なくとも１つであることを特徴とする請求項１から１１のいずれか１項に記載の画像処理方法。

【請求項13】

前記第３のステップにおいて、加重平均フィルタを前記第２の画像に適用することで前記出力画像が生成されることを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理方法。

【請求項14】

請求項１乃至１３のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

【請求項15】

入力画像にノイズ成分を加えることで第１の画像を生成する付加部と、
前記第１の画像を画像圧縮することで第２の画像を生成する圧縮部と、
前記第２の画像を畳み込みニューラルネットワークに入力し、該第２の画像における前記画像圧縮に伴う画質劣化を低減することで出力画像を生成する再構成部と、を有し、
前記再構成部は、ノイズ除去フィルタを用いた処理によって前記ノイズ成分に対応する前記第２の画像におけるノイズ成分を低減することで前記出力画像を生成することを特徴とする画像処理装置。

【請求項16】

二次元のノイズデータを記憶する記憶部を更に有し、
前記付加部は、前記二次元のノイズデータの一部を切り出すことにより前記ノイズ成分を取得することを特徴とする請求項１５に記載の画像処理装置。

【請求項17】

入力画像にノイズ成分が加えられた第１の画像を画像圧縮することで生成された第２の画像を受信する受信部と、
前記第２の画像を畳み込みニューラルネットワークに入力し、該第２の画像における前記画像圧縮に伴う画質劣化を低減することで出力画像を生成する再構成部と、を有し、
前記再構成部は、ノイズ除去フィルタを用いた処理によって前記ノイズ成分に対応する前記第２の画像におけるノイズ成分を低減することで前記出力画像を生成することを特徴とする画像処理装置。

【請求項18】

第１の画像処理装置と第２の画像処理装置を含む画像処理システムであって、
前記第２の画像処理装置は、
入力画像にノイズ成分を加えることで第１の画像を生成する付加部と、
前記第１の画像を画像圧縮することで第２の画像を生成する圧縮部と、
前記第２の画像を前記第１の画像処理装置に送信する送信部と、を有し、
前記第１の画像処理装置は、
前記第２の画像を受信する受信部と、
前記第２の画像を畳み込みニューラルネットワークに入力し、該第２の画像における前記画像圧縮に伴う画質劣化を低減することで出力画像を生成する再構成部と、を有し、
前記再構成部は、ノイズ除去フィルタを用いた処理によって前記ノイズ成分に対応する前記第２の画像におけるノイズ成分を低減することで前記出力画像を生成することを特徴とする画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像圧縮に伴う弊害（疑似輪郭）を除去するための画像処理方法、画像処理装置、画像処理システム、およびプログラムに関する。

【背景技術】

【0002】

データ量を削減するためにデジタル画像を圧縮する画像圧縮を実行する場合、データ圧縮率を高めると、ブロックごとに処理することで生じるブロックノイズや高周波成分を削減することで生じるリンギングなどの弊害が生じる。近年、人工知能の１つである深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ；ＤＬ）を用いた画像処理方法が提案されている。非特許文献１では、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＣＮＮ）により、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）による画像圧縮で生じる弊害を除去する方法が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】Ｃｈａｒ Ｄｏｎｇ、Ｙｕｂｉｎ Ｄｅｎｇ、Ｃｈｅｎ Ｃｈａｎｇｅ Ｌｏｙ、Ｘｉａｏｏｕ Ｔａｎｇ、「Ｃｏｍｐｒｅｓｓｉｏｎ Ａｒｔｉｆａｃｔｓ Ｒｅｄｕｃｔｉｏｎ ｂｙ ａ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ」、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、ｐｐ．５７６－５８４、２０１５年

【文献】Ｌｕｋａｓ Ｃａｖｉｇｅｌｌｉ、Ｐａｓｃａｌ Ｈａｇｅｒ、Ｌｕｃａ Ｂｅｎｉｎｉ、「ＣＡＳ－ＣＮＮ： Ａ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ Ａｒｔｉｆａｃｔ Ｓｕｐｐｒｅｓｓｉｏｎ」、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｕｅｒａｌ Ｎｅｔｗｏｒｋｓ、２０１７年

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像圧縮に伴う弊害（劣化）の１つとして、疑似輪郭が知られている。疑似輪郭とは、圧縮画像において本来滑らかに濃淡が変化すべき部分で、急激に濃淡変化が生じ、疑似的な境界線として見られる弊害のことである。例えば、朝焼けや夕日などグラデーションがなだらかに変化する画像を、データ圧縮率を高めてＪＰＥＧにより画像圧縮した場合、疑似輪郭は頻繁に見られる。ブロックノイズやリンギングなどの弊害とは異なり、疑似輪郭は広範囲に渡って発生する。そのため、ガウシアンフィルタなど局所的な領域しか考慮できない古典的な画像処理方法では、疑似輪郭には対応できない。また、非特許文献１の画像処理方法では、広範囲の相関を考慮することができるが、そのためにはＣＮＮを多層化する必要があり、学習と画像処理に時間がかかるため現実的でない。

【0005】

本発明は、画像圧縮に伴う画質劣化を低減可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一側面としての画像処理方法は、入力画像にノイズ成分を加えることで第１の画像を生成する第１のステップと、第１の画像を画像圧縮することで第２の画像を生成する第２のステップと、第２の画像を畳み込みニューラルネットワークに入力し、該第２の画像における画像圧縮に伴う画質劣化を低減することで出力画像を生成する第３のステップと、を有し、第３のステップにおいて、出力画像は、ノイズ除去フィルタを用いた処理によってノイズ成分に対応する第２の画像におけるノイズ成分を低減することで生成されることを特徴とする。

【0008】

また、本発明の他の側面としての画像処理装置は、入力画像にノイズ成分を加えることで第１の画像を生成する付加部と、第１の画像を画像圧縮することで第２の画像を生成する圧縮部と、第２の画像を畳み込みニューラルネットワークに入力し、該第２の画像における画像圧縮に伴う画質劣化を低減することで出力画像を生成する再構成部と、を有し、再構成部は、ノイズ除去フィルタを用いた処理によってノイズ成分に対応する第２の画像におけるノイズ成分を低減することで出力画像を生成することを特徴とする。

【0009】

また、本発明の他の側面としての画像処理装置は、入力画像にノイズ成分が加えられた第１の画像を画像圧縮することで生成された第２の画像を受信する受信部と、第２の画像を畳み込みニューラルネットワークに入力し、該第２の画像における画像圧縮に伴う画質劣化を低減することで出力画像を生成する再構成部と、を有し、再構成部は、ノイズ除去フィルタを用いた処理によってノイズ成分に対応する第２の画像におけるノイズ成分を低減することで出力画像を生成することを特徴とする。

【0011】

また、本発明の他の側面としての画像処理システムは、第１の画像処理装置と第２の画像処理装置を含む画像処理システムであって、第２の画像処理装置は、入力画像にノイズ成分を加えることで第１の画像を生成する付加部と、第１の画像を画像圧縮することで第２の画像を生成する圧縮部と、第２の画像を第１の画像処理装置に送信する送信部と、を有し、第１の画像処理装置は、第２の画像を受信する受信部と、第２の画像を畳み込みニューラルネットワークに入力し、第２の画像における画像圧縮に伴う画質劣化を低減することで出力画像を生成する再構成部と、を有し、再構成部は、ノイズ除去フィルタを用いた処理によってノイズ成分に対応する第２の画像におけるノイズ成分を低減することで出力画像を生成することを特徴とする。

【発明の効果】

【0012】

本発明によれば、画像圧縮に伴う画質劣化を低減可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供することができる。

【図面の簡単な説明】

【0013】

【図1】画像処理システムの概略図である。

【図2】画像処理システムのブロック図である。

【図3】画像処理方法を示すフローチャートである。

【図4】画像処理による効果を説明するための図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

【0015】

図１は、本発明の実施形態に係る画像処理システム１００の概略図である。画像処理システム１００は、第１の画像処理装置２００および第２の画像処理装置３００を有する。第２の画像処理装置３００は例えばスマートフォン等のユーザ端末である。第１の画像処理装置２００は第２の画像処理装置３００と有線または無線により接続されたサーバ等である。

【0016】

図２は、本実施形態の画像処理システム１００のブロック図である。

【0017】

第１の画像処理装置２００は、画像処理部２０１、通信部（受信部）２０２、記憶部２０３を有する。第２の画像処理装置３００は、画像処理部３０１、記憶部３０２、通信部（送信部）３０３を有する。

【0018】

本実施形態の画像処理システム１００は、第１の画像処理装置２００と第２の画像処理装置３００が一連の画像処理を行うことで機能を発現するように構成されたものである。以下に述べる一連の画像処理は、第２の画像処理装置３００からの指示を契機として行われるものである。第２の画像処理装置３００からの指示は例えば第２の画像処理装置３００のユーザの意思により行われる。

【0019】

第２の画像処理装置３００の画像処理部３０１は、ノイズ付加部３０１ａと画像圧縮部３０１ｂを有する。ノイズ付加部３０１ａは、画像処理部３０１ａが取得した画像の各画素値にノイズ成分を付加（加算）する機能を有する。画像圧縮部３０１ｂは所定の圧縮率でノイズが付加された画像を圧縮する機能を有する。画像処理部３０１は、例えば、ＣＰＵやＧＰＵ、またはその両方から構成される。

【0020】

また、第２の画像処理装置３００の記憶部３０２は、ノイズ付加部３０１ａにより付加されるノイズ成分に関する情報を記憶している。記憶部３０２には、ノイズ成分に関する情報のほかに、処理対象である画像を記憶していても良い。

【0021】

また、第２の画像処理装置３００の通信部３０３は、第１の画像処理装置２００に対して画像を送信する機能を有する。

【0022】

第１の画像処理装置２００の画像処理部２０１は、再構成部２０１ａを有する。再構成部２０１ａは、後述のように、圧縮された画像に対して画像圧縮により生じた画質劣化を低減させる処理（再構成処理）を行う機能を有する。画像処理部２０１は、例えば、ＣＰＵやＧＰＵ、またはその両方から構成される。

【0023】

また、第１の画像処理装置２００の通信部２０２は、第２の画像処理装置３００から送信された画像を受信する機能を有する。

【0024】

また、第１の画像処理装置２００の記憶部２０３は、再構成部２０１ａにおける再構成処理に用いられる情報を記憶している。再構成処理に用いられる情報とは、後述のように、予め学習された畳み込みニューラルネットワークに関する情報（例えば各層の重みやバイアス）であり得る。

【0025】

次に、本実施形態の画像処理システム１００で行われる画像処理について説明する。
本実施形態では、第２の画像処理装置３００の画像処理部３０１は、記憶部３０２に記憶されたデジタル画像データである入力画像を取得する。入力画像は、カラー画像でもモノクロ画像でもよい。そして、ノイズ付加部３０１ａは、ノイズ成分を入力画像の各画素値に加えることで第１の画像を生成する。すなわち第１の画像は入力画像の画素値をランダムに変動させることで生成される。

【0026】

ノイズ成分は、高周波成分を含むノイズ成分であり、入力画像に元々含まれているノイズ成分とは異なる成分である。ノイズ成分は、例えば、それぞれが異なる正弦波の重ね合わせでもよい。それぞれが異なるとは、水平・垂直周波数、振幅および位相の少なくとも１つが異なることをいう。また、ノイズ成分は、加法性白色ガウスノイズや輝度値に応じたショットノイズでもよい。ノイズ成分の強度分布はガウス分布やポアソン分布とすることができる。特に、加法性白色ガウスノイズは、簡易に生成可能であるため、ノイズ成分として使用することが望ましい。

【0027】

また、加えるノイズ成分の量は、入力画像に元々含まれているノイズの量や入力画像が撮影されたときのＩＳＯ感度から決定してもよい。加えるノイズ成分の量とは、例えば、加法性白色ガウスノイズの分散や標準偏差である。加えるノイズ成分の量は、例えば、入力画像に含まれるノイズの量を決定する要因の１つである、カメラのイメージセンサ感度（ＩＳＯ感度）に基づいて決定してもよい。また、画像圧縮部３０１ｂで行われる画像圧縮処理におけるデータ圧縮率に基づいて決定してもよい。

【0028】

なお、ノイズ付加部３０１ａが入力画像に対してノイズ成分を加える範囲は、入力画像全域でもよいし、一部でもよい。入力画像の一部にノイズ成分を加える場合、加える範囲はユーザが指定してもよいし、入力画像に含まれているノイズの量に基づいてノイズ付加部３０１ａが自動的に決定してもよい。

【0029】

ノイズ成分は、ノイズ付加部３０１ａにより生成される。このとき、記憶部３０２に二次元データとしてのノイズデータ（二次元ノイズデータ。例えばノイズを画像化したもの。）を記憶させておき、ノイズ付加部３０１ａは記憶部３０２に記憶された二次元ノイズデータの一部を切り出すことによってノイズ成分を生成しても良い。

【0030】

このとき、記憶部３０２に記憶される二次元ノイズデータは、入力画像のサイズより大きなサイズを有することが好ましい。また、ノイズ付加部３０１ａは入力画像の大きさや入力画像に含まれるノイズの量に応じてノイズ成分の全てを使用するか、一部を使用するかを決定してもよい。さらに、大きさや成分が異なる複数の二次元ノイズデータを記憶部３０２に記憶させておき、ノイズ付加部３０１ａは、入力画像の大きさや入力画像に含まれるノイズの量に応じて使用する二次元ノイズデータを選択し、さらに選択された二次元ノイズデータの全てを使用するか、一部を使用するかを決定するようにしても良い。このように、二次元ノイズデータをあらかじめ生成して記憶させておくことで、本実施形態の画像処理を行うたびにノイズ成分を生成する処理を行う必要がなくなる。また、その場合、ノイズ成分を入力画像よりも大きなサイズとし、一部を切り抜いて使用することで、常にノイズ成分が一定になることを防ぐことができ、疑似的にランダムなノイズ成分を付加することが可能となる。

【0031】

続いて、画像圧縮部３０１ｂは、ノイズ付加部３０１ａにより生成された第１の画像を画像圧縮して第２の画像を生成する。画像圧縮は、ＪＰＥＧであってもよい。ＪＰＥＧでは、画像の高周波成分を削減することで、データ量を削減する。具体的には、まず画像を８×８画素のブロックに分割した後、ブロックごとに離散コサイン（ＤＣＴ）変換する。次に、ＤＣＴ係数の高周波成分を削減（量子化）した後、ハフマン符号によるエントロピー符号化がなされ画像圧縮される。なお、デジタル画像を圧縮しデータ量を削減することは、符号化（ｅｎｃｏｄｉｎｇ）とも呼ばれる。また、画像圧縮は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）またはＭＯＶであってもよい。また、画像圧縮は、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）またはＧＩＦ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）であってもよい。

【0032】

そして、通信部３０３は、画像圧縮部３０１ｂにより生成された第２の画像を第１の画像処理装置２００に送信する。

【0033】

第１の画像処理装置２００の再構成部２０１ａは、通信部２０２によって受信された第２の画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する。画像圧縮のデータ圧縮率を高めると、ブロックノイズ、リンギングおよび疑似輪郭などの弊害が生じる。そのため、再構成部２０１ａは第２の画像からこれらの画像圧縮に伴う劣化を除去することで第２の画像に対して画質が向上した出力画像を生成する。このような弊害を除去するために、従来から様々な画像処理方法が提案されている。例えば、ガウシアンフィルタ（加重平均フィルタ）などを適用してブロックノイズを平滑化する方法や、自然画像の自己相似性を用いたノイズ除去フィルタなどでリンギングを除去する方法（Ｎｏｎ－Ｌｏｃａｌ Ｍｅａｎｓ）などが提案されている。本実施例では、これらの方法を用いても良い。

【0034】

ただし、これらの古典的な画像処理方法では、圧縮された画像における被写体と劣化（ノイズやアーティファクト）とを見分けることが難しい場合がある。そのため、近年では、例えば、非特許文献１に開示されているように、ＤＬを用いた画像処理方法が提案されている。好ましくは、本実施例では再構成部２０１ａはＤＬを用いた処理を行う。

【0035】

非特許文献１に開示された方法では、まず多くの画像とそれらをＪＰＥＧによる画像圧縮により劣化させた圧縮画像の組からなる訓練データセットを用意する。次に、訓練データセットを用いて、圧縮画像とそこに生じた弊害を見分けるようにＣＮＮのネットワークパラメータを生成（学習）する。最後に、学習により生成したネットワークパラメータを用いて、ＣＮＮにより圧縮画像を画像処理することで、ＪＰＥＧによる画像圧縮に伴う弊害を除去した画像を得ることができる。また、非特許文献２では、ＪＰＥＧによる画像圧縮に伴う弊害を回復する方法（ＣＡＳ－ＣＮＮ）が開示されている。非特許文献２の方法では、非特許文献１よりも多層のＣＮＮを用いることで、画像とそれらをＪＰＥＧによる画像圧縮により劣化させた圧縮画像との、高度に非線形な関係が学習できる。これにより、非特許文献２によれば非特許文献１より、ＪＰＥＧによる画像圧縮に伴う弊害を高精度に除去することができる。ＤＬを用いた画像処理方法によれば、古典的な画像処理方法より、画像圧縮に伴う弊害を高精度に除去することができる。

【0036】

本実施形態では、再構成部２０１ａは、非特許文献２で開示されたＣＡＳ－ＣＮＮを使用して出力画像を生成するが、本発明はこれに限定されない。ガウシアンフィルタ（加重平均フィルタ）や自然画像の自己相似性を用いたノイズ除去フィルタなどを用いる古典的な画像処理方法を使用してもよい。

【0037】

一般に、画像圧縮では高周波成分を削減することでデータ量を削減するものであるため、入力画像中に含まれる被写体の高周波成分が少なかった場合、入力画像内の低周波成分が削減されてしまう場合がある。その結果、画質に大きな影響を与えるおそれがある。これは人間が持つ視覚的な特性によるものである。

【0038】

これに対し、本実施形態では第２の画像処理装置３００のノイズ付加部３０１ａにおいて、入力画像に、ノイズ成分（高周波成分）を加えている。これにより、画像圧縮部３０１ｂの画像圧縮での低周波成分の削減が緩和され、画像圧縮が画質に影響を与える影響を低減させることができる。入力画像に対してノイズ成分を加える操作は、画像の画素値方向（深さ方向）へランダムな変動を加えてぼかしている操作であるいうこともできる。これにより、画像圧縮により生じる疑似輪郭の輪郭線はぼけて視覚的に見えづらくなる。すなわち、ノイズ付加部３０１ａによって付加されるノイズ成分は、画像圧縮に伴う画質劣化を軽減するように機能するものである。

【0039】

そして本実施形態では、圧縮された第２の画像を第１の画像処理装置２００側で再構成処理することで、画像圧縮に伴う画質劣化を効果的に低減させている。

【0040】

さらに、本実施形態では、第２の画像処理装置３００側でノイズ付加と画像圧縮を行い、第１の画像処理装置２００側で再構成処理を行う構成をとっている。このため、第２の画像処理装置３００が第１の画像処理装置２００側へ画像を送信する際の送信時間を短縮しつつ、第１の画像処理装置２００に高品位な画像を取得させることが可能となる。

【0041】

なお、本実施形態では、画像処理システム１００は、２つの装置から構成されているが、システム全体として少なくともノイズ付加部３０１ａ、画像圧縮部３０１ｂおよび再構成部２０１ａを有していれば、本発明の効果を得ることが可能である。したがって、画像処理システム１００は、１つの装置から構成されていてもよいし、３つ以上の装置から構成されていてもよい。また、本実施形態では、第２の画像処理装置３００はスマートフォンであり、第１の画像処理装置２００はスマートフォンと有線または無線で接続されたサーバであるが、本発明はこれに限定されない。例えば、第２の画像処理装置３００は、入力画像を取得し、ノイズ成分を付加する機能を有する監視カメラであってもよい。この場合、第１の画像処理装置２００は、サーバであってもよいし、監視カメラを制御する制御装置であってもよい。

【0042】

また、本実施例では第１の画像を生成する際に入力画像に付加される成分をノイズ成分と称しているが、入力画像に対して高周波成分を付加することができ、画像圧縮が画質に影響を与える影響を低減させることのできる成分であれば、ノイズとして識別されない成分でもよい。

【0043】

次に、図３を参照して、本実施形態の画像処理方法について説明する。図３は、本発明の実施形態に係る画像処理方法を示すフローチャートである。図３に示すフローチャートは第２の画像処理装置３００からの指示を契機として行われる。

【0044】

ステップＳ４０１では、第２の画像処理装置３００の画像処理部３０１は、記憶部３０２から入力画像を取得する。

【0045】

ステップＳ４０２では、ノイズ付加部３０１ａは、入力画像に画像圧縮に伴う弊害（疑似輪郭）の発生を軽減するためのノイズ成分を加えて第１の画像を生成する。

【0046】

ステップＳ４０３では、画像圧縮部３０１ｂは、第１の画像を画像圧縮して第２の画像を生成する。

【0047】

ステップＳ４０４では、第２の画像処理装置３００の通信部３０３は、画像圧縮部３０１ｂにより生成された第２の画像を第１の画像処理装置２００に送信する。

【0048】

ステップＳ５０１では、第１の画像処理装置２００の通信部２０２は、第２の画像処理装置３００から送信された第２の画像を受信する。

【0049】

ステップＳ２０３では、再構成部２０１ａは、第２の画像から画像圧縮に伴う弊害を除去する再構成処理を行い、出力画像を生成する。

【0050】

以上の処理により、画像圧縮によりデータの送信速度を高めつつ、画像圧縮による画質劣化を低減させた高品位な画像を第１の画像処理装置２００に取得させることが可能となる。第１の画像処理装置２００により再構成処理がなされた出力画像は、例えばＷｅｂサービスに使用されたり、プリントされてユーザに配送されたりしても良い。

【0051】

なお、本実施形態では入力画像にノイズ成分を加えているため、ステップＳ５０２の再構成処理でノイズ成分が除去されることが好ましい。すなわち、ステップＳ４０１により画像圧縮による画質劣化が小さくなるようにしつつ、ステップＳ５０２で画像圧縮に伴う画質劣化とともにノイズ低減処理が行われるとよい。

【0052】

次に、本実施形態の画像処理システム１００の画像処理による効果について述べる図４は、本実施形態の効果を説明するための数値計算結果を示す図である。

【0053】

図４の例では、ノイズ成分として、入力画像の画素値に対して２％の標準偏差を有する加法性白色ガウスノイズを用いた。なお、入力画像の画素値は［０ １］の範囲に規格化し、ノイズ成分を加えることで取得される第１の画像の画素値も、この範囲内に収まるように規格化した。第１の画像の画素値が負値をとる場合は０にした。

【0054】

画像圧縮として、ＪＰＥＧを行った。ＪＰＥＧのデータ圧縮率を規定する値ＱＦ（Ｑｕａｌｉｔｙ Ｆａｃｔｏｒ）として６５を用いた。ＱＦは一般に１～１００の値を取り、１００に近いほどデータ圧縮率が小さいことを表している。

【0055】

第２の画像から画像圧縮に伴う劣化を除去する画像処理方法として、非特許文献２で開示されているＣＡＳ－ＣＮＮを用いた。

【0056】

図４（ａ）は、本実施形態による画像処理結果を示している。図４（ｂ）は、図３（ａ）の黒実線で示される対角断面図である。図４（ｃ）は、従来技術による画像処理結果を示している。図４（ｄ）は、図４（ｃ）の黒実線で示される対角断面図である。なお、図４（ｃ）に示す画像を得る際、ステップＳ４０２に相当する処理は行っていないがステップＳ４０３およびステップＳ５０２に相当する処理を実行した。すなわち、入力画像をＱＦ６５でＪＰＥＧにより画像圧縮し、取得される画像に生じる画像圧縮に伴う劣化をＣＡＳ－ＣＮＮで除去した。図４に示されるように、本実施形態によれば、従来技術では除去できていない疑似輪郭を除去することが可能である。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0057】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【符号の説明】

【0058】

２０１ａ 再構成部

【図1】

【図2】

【図3】

【図4】