ホーム > 特許ランキング > 学校法人金沢工業大学
▶ 学校法人金沢工業大学の特許一覧 ▶ 北菱電興株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023013490
(43)【公開日】2023-01-26
(54)【発明の名称】画像処理装置、画像処理方法、プログラム及び記憶媒体
(51)【国際特許分類】
G06T 5/00 20060101AFI20230119BHJP
【ＦＩ】
G06T5/00 740
【審査請求】有
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2021117710
(22)【出願日】2021-07-16
(11)【特許番号】
(45)【特許公報発行日】2023-01-12
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 学校法人金沢工業大学 令和２年度 プロジェクトデザインＩＩＩ発表審査会の予稿集 「プロジェクトデザインＩＩＩ プロジェクトレポート 配光の影響を低減する画像処理に関する研究」 令和３年１月２５日
(71)【出願人】
【識別番号】593165487
【氏名又は名称】学校法人金沢工業大学
(71)【出願人】
【識別番号】000242530
【氏名又は名称】北菱電興株式会社
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】竹井 義法
(72)【発明者】
【氏名】松田 崇志
(72)【発明者】
【氏名】酒元 一幸
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CB01
5B057CB08
5B057CB12
5B057CC01
5B057CE01
5B057CE18
5B057DA17
5B057DB02
5B057DB06
5B057DB09
(57)【要約】
【課題】画像内の明るい領域と暗い領域の画質を保持しながら、明度のダイナミックレンジを拡大する。
【解決手段】画像処理装置１は、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するピクセル抽出部１０と、各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換する変換部１２と、各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加する雑音印加部１４と、印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力する閾値適用部１６と、比較結果から復元画像を生成する復元画像生成部１８と、を備える。
【選択図】図６
【解決手段】画像処理装置１は、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するピクセル抽出部１０と、各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換する変換部１２と、各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加する雑音印加部１４と、印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力する閾値適用部１６と、比較結果から復元画像を生成する復元画像生成部１８と、を備える。
【選択図】図６
【特許請求の範囲】
【請求項1】
複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するピクセル抽出部と、
前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換する変換部と、
前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加する雑音印加部と、
前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力する閾値適用部と、
前記比較結果から復元画像を生成する復元画像生成部と、を備えることを特徴とする画像処理装置。
前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換する変換部と、
前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加する雑音印加部と、
前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力する閾値適用部と、
前記比較結果から復元画像を生成する復元画像生成部と、を備えることを特徴とする画像処理装置。
【請求項2】
前記雑音印加部と前記閾値適用部とは、サミングネットワークにより構成されることを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満ときも、前記各画像ピクセルの明度が閾値以上のときも、正の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満ときも、前記各画像ピクセルの明度が閾値以上のときも、正の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項4】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満ときも、前記各画像ピクセルの明度が閾値以上のときも、負の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満ときも、前記各画像ピクセルの明度が閾値以上のときも、負の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項5】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満ときは正の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは負の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満ときは正の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは負の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項6】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満ときは負の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは正の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満ときは負の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは正の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項7】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満ときは一定であり、
前記各画像ピクセルの明度が閾値以上のときは正の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満ときは一定であり、
前記各画像ピクセルの明度が閾値以上のときは正の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項8】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満ときは正の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは一定であることを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満ときは正の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは一定であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項9】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満ときは負の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは一定であることを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満ときは負の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは一定であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項10】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満ときは一定であり、
前記各画像ピクセルの明度が閾値以上のときは負の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満ときは一定であり、
前記各画像ピクセルの明度が閾値以上のときは負の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項11】
前記各画像ピクセルの明度と印加雑音強度との関係を記憶する記憶部を備えることを特徴とする請求項１から１０のいずれかに記載の画像処理装置。
【請求項12】
各画像ピクセルの明度と、印加雑音強度と、復元画像と、を学習データとして機械学習することにより、元画像が入力されたときに、印加雑音強度を出力する学習部を備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項13】
前記元画像のＨＳＶ色空間のＶ成分の分布に基づいて閾値を決定する閾値決定部を備えることを特徴とする請求項１から１２のいずれかに記載の画像処理装置。
【請求項14】
ピクセル抽出部と、変換部と、雑音印加部と、閾値適用部と、復元画像生成部と、を備えた画像処理装置を用いて画像処理を行う画像処理方法であって、
前記ピクセル抽出部で、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するステップと、
前記変換部で、前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換するステップと、
前記雑音印加部で、前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップと、
前記閾値適用部で、前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップと、
前記復元画像生成部で、前記比較結果から復元画像を生成するステップと、を備えることを特徴とする画像処理方法。
前記ピクセル抽出部で、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するステップと、
前記変換部で、前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換するステップと、
前記雑音印加部で、前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップと、
前記閾値適用部で、前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップと、
前記復元画像生成部で、前記比較結果から復元画像を生成するステップと、を備えることを特徴とする画像処理方法。
【請求項15】
ピクセル抽出部と、変換部と、雑音印加部と、閾値適用部と、復元画像生成部と、を備えた画像処理装置を用いた画像処理をコンピュータに実行させるプログラムであって、
前記ピクセル抽出部で、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するステップと、
前記変換部で、前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換するステップと、
前記雑音印加部で、前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップと、
前記閾値適用部で、前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップと、
前記復元画像生成部で、前記比較結果から復元画像を生成するステップと、をコンピュータに実行させるプログラム。
前記ピクセル抽出部で、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するステップと、
前記変換部で、前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換するステップと、
前記雑音印加部で、前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップと、
前記閾値適用部で、前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップと、
前記復元画像生成部で、前記比較結果から復元画像を生成するステップと、をコンピュータに実行させるプログラム。
【請求項16】
ピクセル抽出部と、変換部と、雑音印加部と、閾値適用部と、復元画像生成部と、を備えた画像処理装置を用いた画像処理をコンピュータに実行させるプログラムを記憶した記憶媒体であって、
前記ピクセル抽出部で、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するステップと、
前記変換部で、前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換するステップと、
前記雑音印加部で、前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップと、
前記閾値適用部で、前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップと、
前記復元画像生成部で、前記比較結果から復元画像を生成するステップと、をコンピュータに実行させるプログラムを記憶した記憶媒体。
前記ピクセル抽出部で、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するステップと、
前記変換部で、前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換するステップと、
前記雑音印加部で、前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップと、
前記閾値適用部で、前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップと、
前記復元画像生成部で、前記比較結果から復元画像を生成するステップと、をコンピュータに実行させるプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、プログラム及び記憶媒体に関する。
【背景技術】
【0002】
雑音に埋もれた微弱な信号に雑音を印加することにより、隠れていた信号を抽出する技術として、確率共鳴現象が知られている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】田中航二：「確率共鳴の基礎的概念とその応用」、大阪商業大学論集、第５巻（Ｎｏ．１）、２００９、ｐｐ．３７９－３９１
【非特許文献2】小島範子他：「確率共鳴を用いたオートチューニング画像強調法の提案」、電気学会論文誌Ｃ、第１３８巻（Ｎｏ．１１）、２０１８、ｐｐ．１４２５－１４３４
【非特許文献3】Ｒａｊｉ Ｋｕｍａｒ Ｊｈａ ｅｔ ａｌ．：“Ｄａｒｋ ａｎｄ ｌｏｗ－ｃｏｎｔｒａｓｔ ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ ｕｓｉｎｇ ｄｙｎａｍｉｃ ｓｔｏｃｈａｓｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｎ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ ｄｏｍａｉｎ、”ＡＰＳＩＰＡ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｉｇｎａｌ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ, Ｖｏｌ.２、ｅ６、２０１３,ｐｐ.１－１８
【非特許文献4】Ｊ．Ｊ．Ｃｏｌｌｉｎｓ ｅｔ ａｌ．：“Ｓｔｏｃｈａｓｔｉｃ ｒｅｓｏｎａｎｃｅ ｗｉｔｈｏｕｔ ｔｕｎｉｎｇ、”Ｎａｔｕｒｅ、Ｖｏｌ．３７６、１９９５、ｐｐ．２３６－２３８
【発明の概要】
【発明が解決しようとする課題】
【0004】
明るい領域と暗い領域とが混在する画像においては、視認性を改善するために、暗い領域の明るさ（以下、「明度」ともいう）を引き上げて、明度のダイナミックレンジを拡大することが必要となる。従来は、明るい領域の画質が破綻することを防ぐために、局所的に異なる画像処理を行ったり、複数枚の画像から１枚の画像を生成したりすることが行われてきた。この場合、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）などの画像処理は複数画素を含むブロックごとに行われるため、画像内の周辺情報の影響を受け、ハロー効果が発生するなどの問題がある。
【0005】
画像強調の手法として、後述する確率共鳴現象を用いたものが提案されている（例えば、非特許文献２及び３参照）。
【0006】
非特許文献２に記載の技術では、要素数を画像の平均値と中央値によって決定することで、画像の強調具合を調整している。このとき、雑音強度と閾値との関係は一定である。また実験の対象として、グレースケール画像を用いており、カラー画像への応用は実現できないという課題がある。
【0007】
非特許文献３は、暗くコントラストが低い画像強調として、双安定系の確率共鳴を応用したアルゴリズムを提案している。このアルゴリズムは、反復回数を定量的な性能評価指標によって決定することで、画像の強調具合を調整する。その際、外部からの雑音印加は行わず、内部の雑音のみを用いている。このとき内部の雑音によってパラメータを決定するためにＤＣＴを使用する。このアルゴリズムは、カラー画像も対象としたコントラスト復元を実現することができる。しかしながら、ＤＣＴを用いた空間的処理を必要とするため、最適なブロックサイズの決定や空間処理に起因する画質の低下が原理的に回避できないという課題がある。
【0008】
本発明はこうした状況に鑑みてなされたものであり、その目的は、画像内の明るい領域と暗い領域の画質を保持しながら、明度のダイナミックレンジを拡大することにある。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明のある態様の画像処理装置は、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するピクセル抽出部と、各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換する変換部と、各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加する雑音印加部と、印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力する閾値適用部と、比較結果から復元画像を生成する復元画像生成部と、を備える。
【0010】
この態様によると、画像内の明るい領域と暗い領域の画質を保持しながら、明度のダイナミックレンジを拡大することができる。
【0011】
ある実施の形態では、雑音印加部と閾値適用部とは、サミングネットワークにより構成される。
【0012】
ある実施の形態では、各画像ピクセルの明度と印加雑音強度との関係は、各画像ピクセルの明度が閾値未満ときも、各画像ピクセルの明度が閾値以上のときも、正の相関を持つ。
【0013】
ある実施の形態では、各画像ピクセルの明度と印加雑音強度との関係は、各画像ピクセルの明度が閾値未満ときも、各画像ピクセルの明度が閾値以上のときも、負の相関を持つ。
【0014】
ある実施の形態では、各画像ピクセルの明度と印加雑音強度との関係は、各画像ピクセルの明度が閾値未満ときは正の相関を持ち、各画像ピクセルの明度が閾値以上のときは負の相関を持つ。
【0015】
ある実施の形態では、各画像ピクセルの明度と印加雑音強度との関係は、各画像ピクセルの明度が閾値未満ときは負の相関を持ち、各画像ピクセルの明度が閾値以上のときは正の相関を持つ。
【0016】
ある実施の形態では、各画像ピクセルの明度と印加雑音強度との関係は、各画像ピクセルの明度が閾値未満ときは一定であり、各画像ピクセルの明度が閾値以上のときは正の相関を持つ。
【0017】
ある実施の形態では、各画像ピクセルの明度と印加雑音強度との関係は、各画像ピクセルの明度が閾値未満ときは正の相関を持ち、各画像ピクセルの明度が閾値以上のときは一定である。
【0018】
ある実施の形態では、各画像ピクセルの明度と印加雑音強度との関係は、各画像ピクセルの明度が閾値未満ときは負の相関を持ち、各画像ピクセルの明度が閾値以上のときは一定である。
【0019】
ある実施の形態では、各画像ピクセルの明度と印加雑音強度との関係は、各画像ピクセルの明度が閾値未満ときは一定であり、各画像ピクセルの明度が閾値以上のときは負の相関を持つ。
【0020】
ある実施の形態の画像処理装置は、各画像ピクセルの明度と印加雑音強度との関係を記憶する記憶部を備える。
【0021】
ある実施の形態の画像処理装置は、各画像ピクセルの明度と、印加雑音強度と、復元画像と、を学習データとして機械学習することにより、元画像が入力されたときに、印加雑音強度を出力する学習部を備える。
【0022】
ある実施の形態の画像処理装置は、元画像のＨＳＶ色空間のＶ成分の分布に基づいて閾値を決定する閾値決定部を備える。
【0023】
本発明の別の態様は、画像処理方法である。この方法は、ピクセル抽出部と、変換部と、雑音印加部と、閾値適用部と、復元画像生成部と、を備えた画像処理装置を用いて画像処理を行う画像処理方法であって、ピクセル抽出部で、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するステップと、変換部で、各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換するステップと、雑音印加部で、各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップと、閾値適用部で、印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップと、復元画像生成部で、比較結果から復元画像を生成するステップと、を備える。
【0024】
この態様によると、画像処理装置を用いて、画像内の明るい領域と暗い領域の画質を保持しながら、明度のダイナミックレンジを拡大することができる。
【0025】
本発明のさらに別の態様は、プログラムである。このプログラムは、ピクセル抽出部と、変換部と、雑音印加部と、閾値適用部と、復元画像生成部と、を備えた画像処理装置を用いた画像処理をコンピュータに実行させるプログラムであって、ピクセル抽出部で、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するステップと、変換部で、各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換するステップと、雑音印加部で、各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップと、閾値適用部で、印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップと、復元画像生成部で、比較結果から復元画像を生成するステップと、をコンピュータに実行させる。
【0026】
この態様によると、画像内の明るい領域と暗い領域の画質を保持しながら、明度のダイナミックレンジを拡大するためのプログラムをコンピュータで実行することができる。
【0027】
本発明のさらに別の態様は、記憶媒体である。この記憶媒体は、ピクセル抽出部と、変換部と、雑音印加部と、閾値適用部と、復元画像生成部と、を備えた画像処理装置を用いた画像処理をコンピュータに実行させるプログラムを記憶した記憶媒体であって、ピクセル抽出部で、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するステップと、変換部で、各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換するステップと、雑音印加部で、各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップと、閾値適用部で、印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップと、復元画像生成部で、比較結果から復元画像を生成するステップと、をコンピュータに実行させるプログラムを記憶する。
【0028】
この態様によると、画像内の明るい領域と暗い領域の画質を保持しながら、明度のダイナミックレンジを拡大するためのプログラムを記憶することができる。
【0029】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。また、上述した各要素を適宜組み合わせたものも、本件特許出願によって特許による保護を求める発明の範囲に含まれうる。
【発明の効果】
【0030】
本発明によれば、画像内の明るい領域と暗い領域の画質を保持しながら、明度のダイナミックレンジを拡大することができる。
【図面の簡単な説明】
【0031】
【図1】印加する雑音強度を変えたときの入力信号と出力信号とを示す図である。
【図2】確率共鳴現象システムの構成を示す模式図である。
【図3】線形システムと確率共鳴現象システムとに関し、雑音強度と相関係数との関係を示す図である。
【図4】サミングネットワークの構成を示す模式図である。
【図5】チャネル数の異なるサミングネットワークに関し、雑音強度と相関係数との関係を示す図である。
【図6】第１の実施の形態に係る画像処理装置の機能ブロック図である。
【図7】印加雑音特性の例を示す図である。
【図9】様々な印加雑音特性の例を示す図である。
【図11】第２の実施の形態に係る画像処理装置の機能ブロック図である。
【図12】第３の実施の形態に係る画像処理装置の機能ブロック図である。
【図13】第４の実施の形態に係る画像処理装置の機能ブロック図である。
【図14】第５の実施の形態に係る画像処理方法のフローチャートである。
【発明を実施するための形態】
【0032】
以下、本発明を好適な実施の形態をもとに各図面を参照しながら説明する。実施の形態及び変形例では、同一又は同等の構成要素、部材には同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示す。また、各図面において実施の形態を説明する上で重要でない部材の一部は省略して表示する。また、第１、第２などの序数を含む用語が多様な構成要素を説明するために用いられるが、こうした用語は一つの構成要素を他の構成要素から区別する目的でのみ用いられ、この用語によって構成要素が限定されるものではない。
【0033】
具体的な実施の形態を説明する前に、先ず基礎となる知見を述べる。確率共鳴現象とは、微弱な信号に雑音を印加することによって、この微弱な信号に対する反応が向上する現象である。図１に、ある時系列信号に関する入力パルス信号、出力パルス信号及び閾値を示す。左の図は、雑音を印加しないときの入力信号、すなわちオリジナルの入力信号と、出力信号と、を示す。この場合、入力信号が微弱で信号全体が閾値を下回っているため、出力信号には波形が観測されない。右の上段の図は、閾値に対して適当な強度の雑音（例えば、ガウシアン白色ノイズ）を印加したときの、入力信号と出力信号とを示す。この場合、出力信号には入力信号と類似した波形が観測され、確率共鳴現象が発生していることが分かる。これにより、微弱な信号から、雑音に埋もれて隠れていた情報を得ることができる。右の下段の図は、閾値に対して強すぎる（すなわち、過大な）雑音を印加したときの、入力信号と出力信号とを示す。この場合、入力信号全体が閾値を超えるため、入力信号と出力信号との間の相関が失われてしまっている。従って微弱な信号から、隠れていた情報を得ることはできない。このように、基本的には確率共鳴現象を適切に実現するためには、印加する雑音強度を適切な値に調整することが必要であることが分かる。
【0034】
図２に、確率共鳴現象を実現するためのシステム１００の構成を模式的に示す。このシステム１００は、入力信号への雑音印加部１０２と、閾値適用部１０４と、を備える。閾値適用部１０４は、非線形素子を含んで構成される。本明細書で用いる「非線形素子」という用語は、入力の大きさに関わらず０又は１を出力する素子とする（以下同様）。閾値適用部１０４の非線形素子は、（雑音が印加された）入力信号と閾値とを比較し、入力信号の方が大きければ出力信号として１を出力し、小さければ０を出力する。
【0035】
図３に、図２のタイプの確率共鳴システムを使った場合と、線形システム（すなわち、雑音を印加した入力信号に、閾値を適用せずに出力するシステム）を使った場合とに関し、印加する雑音強度と、入力と出力との間の相関係数（以下、「相関係数」略記する）との関係を示す。線形システムでは、与える雑音強度の増加とともに、相関係数は単調に減少する。一方、確率共鳴システムでは、雑音強度を０から増加されると、相関係数は増加する。その後雑音強度がＩＰのとき相関係数は最大値を示し、さらに雑音強度を増加させると相関係数は減少する。このことから、図２のタイプの確率共鳴システムの場合、雑音強度が概ねＩＰとなるように調整すると有利であることが分かる。
【0036】
図２のタイプの確率共鳴システムに対し、雑音強度の調整を必要とすることなく、高い入出力相関を得ることのできる技術としてサミングネットワーク（Ｓｕｍｍｉｎｇ Ｎｅｔｗｏｒｋ）が提案されている（例えば、非特許文献４参照）。図４に、サミングネットワークの構成を模式的に示す。
【0037】
図４のサミングネットワークは、複数（Ｎ個）の雑音印加部と、各雑音印加部に対応する閾値適用部と、加算部と、を備える。各雑音印加部とこれに対応する各閾値適用部は図２の確率共鳴現象システムとして機能し、入力信号を並列処理する。各閾値適用部から得られるＮチャネル分の出力は加算器で足し合わされ、Ｎで規格化される。
【0038】
図５に、図４のタイプのサミングネットワークを使ったときの、印加雑音強度と相関係数との関係を示す。ここではチャネル数Ｎが１０、１００、１００の場合を示す。図示されるように、チャネル数を増加させるとともに、相関係数のピーク値が高くなり、雑音強度の増加に伴う相関係数の減少も緩やかになる。従って、十分なチャネル数のサミングネットワークを使うことにより、雑音強度の調整を必要とすることなく、高い入出力相関を得られることが期待できる。
【0039】
［第１の実施の形態］
図６に、第１の実施の形態に係る画像処理装置１の機能ブロック図を示す。画像処理装置１は、ピクセル抽出部１０と、変換部１２と、雑音印加部１４と、閾値適用部１６と、復元画像生成部１８と、を備える。
図６に、第１の実施の形態に係る画像処理装置１の機能ブロック図を示す。画像処理装置１は、ピクセル抽出部１０と、変換部１２と、雑音印加部１４と、閾値適用部１６と、復元画像生成部１８と、を備える。
【0040】
ピクセル抽出部１０は、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出する。元画像は、明るい領域と暗い領域とが混在するものが効果的であるが、これに限られない。以下の処理は、抽出された画像ピクセルごとに実施される。
【0041】
変換部１２は、各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換する。ＲＧＢ色空間は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色からなる色空間である。ＲＧＢカラーモデルでは、これらの３原色を加法混合して色を表現する。一方、ＨＳＶ色空間は、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の３成分からなる色空間である。ＨＳＶ色空間は、人間の色認識と似たものであることから、ＲＧＢ色空間より人間の感性に近い処理を行うことができる。
【0042】
ＲＧＢ色空間からＨＳＶ色空間への変換は、式（１）、（２）、（３）によって行われる。ここで、ＭＩＮは［Ｒ、Ｇ、Ｂ］の中で最小となるものの値であり、ＭＡＸは［Ｒ、Ｇ、Ｂ］の中で最大となるものの値である。ここで［Ｒ、Ｇ、Ｂ］は、それぞれ０～１の範囲にある。この変換によって得られるＨＳＶ色空間において、Ｈは０～３６０の範囲にあり、Ｓ及びＶは０～１の範囲にある。なお色相（Ｈ）は円で表現されるため、Ｈ＝０とＨ＝３６０とは等しい。
【数1】
【数2】
【数3】
【0043】
ＨＳＶ色空間からＲＧＢ色空間への変換は、式（４）によって行われる。Ｒ、Ｇ、Ｂ］及び［Ｈ、Ｓ、Ｖ］の範囲は、上記と同様である。
【数4】
【0044】
雑音印加部１４は、各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加する。画像ピクセルの明度と印加雑音強度との具体的な関係については後述する。
【0045】
閾値適用部１６は、印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力する。閾値適用部１６には、図２に示す非線形素子を使うことができる。
【0046】
復元画像生成部１８は、比較結果から復元画像を生成する。
【0047】
図７に、画像ピクセルの明度と印加雑音強度との関係の一例を示す。ここでは、印加雑音として平均の値が０であるガウシアン白色ノイズを用いる。雑音強度の値は、このホワイトガウスノイズの分散で表す。以下、点Ｐ１（画像ピクセルの明度が最小となる点）、点Ｐ２（画像ピクセルの明度が閾値となる点）、点Ｐ３（画像ピクセルの明度が最大となる点）の３点を定め、これらの点を直線で結ぶことにより、印加雑音強度を与えるものとする。Ｐ１、Ｐ２、Ｐ３における雑音強度をそれぞれＶＰ１、ＶＰ２、ＶＰ３と表記する。さらに閾値ＶＰ２は、ＶＰ２＝５０／２５５（≒０．２）として、固定的に定めておく（以下の他の例でも同様）。
【0048】
図７では、ＶＰ１＝０．０２、ＶＰ３＝０．３である。この場合、画像ピクセルの明度と印加雑音強度との関係（以下「印加雑音特性」ともいう）は、点Ｐ２を変曲点に持つ傾きが正の直線で示される。すなわち印加雑音強度は、画像ピクセルの明度が閾値未満ときも、閾値以上のときも、ともに画像ピクセルの明度に対して正の相関を持つ。
【0049】
図８に、図７の印加雑音特性を与えたときの元画像と復元画像の例を示す。（ａ）は元画像であり、（ｂ）はＲＧＢ成分全体に確率共鳴現象を発現させた復元画像であり、（ｃ）はＶ成分においてのみ確率共鳴現象を発現させた復元画像である。（ａ）の元画像には、明るい領域と暗い領域とが顕著に混在する。特に暗い領域の苺の画像などは、全体が黒く潰れてしまっており、ほとんど視認できない。これは、暗い部分の画像情報が雑音に埋もれていることを示す。（ｂ）の復元画像では、暗い領域に関しては、明度が引き上げられて視認性が改善している。しかしながら画像全体が白色を帯びており、特に明るい領域で画質が劣化している。色相も元画像と異なる。（ｃ）の復元画像では、暗い領域の明度が引き上げられて視認性が向上しているとともに、画像全体が白色を帯びていることもない。色相も元画像のものをほぼ保っている。このように（ｃ）の復元画像では、画像内の明るい領域と暗い領域の画質を保持しながら、明度のダイナミックレンジを拡大することを実現している。
【0050】
雑音印加部１４と閾値適用部１６とは、サミングネットワークにより構成されてもよい。この場合、雑音強度の調整を必要とすることなく、高い入出力相関を得ることができるので、容易に復元画像の画質を向上することができる。
【0051】
図９に、ＶＰ１及びＶＰ３の値を変えることによって得た、９種類の様々な印加雑音特性の例を示す。
（ａ）は、ＶＰ１＝０．０２、ＶＰ３＝０．０２のものである。この特性は、画像ピクセルの明度が閾値未満ときは正の相関を持ち、閾値以上のときは負の相関を持つ。
（ｂ）は、ＶＰ１＝０．１０、ＶＰ３＝０．０２のものである。この特性は、画像ピクセルの明度が閾値未満ときは一定であり、閾値以上のときは負の相関を持つ。
（ｃ）は、ＶＰ１＝０．３５、ＶＰ３＝０．０２のものである。この特性は、画像ピクセルの明度が閾値未満ときも、閾値以上のときも、ともに負の相関を持つ。
（ｄ）は、ＶＰ１＝０．０２、ＶＰ３＝０．１０のものである。この特性は、画像ピクセルの明度が閾値未満ときは正の相関を持ち、閾値以上のときは一定である。
（ｅ）は、ＶＰ１＝０．１０、ＶＰ３＝０．１０のものである。この特性は、画像ピクセルの明度が閾値未満ときも、閾値以上のときも一定である。
（ｆ）は、ＶＰ１＝０．３５、ＶＰ３＝０．１０のものである。この特性は、画像ピクセルの明度が閾値未満ときは負の相関を持ち、閾値以上のときは一定である。
（ｇ）は、ＶＰ１＝０．０２、ＶＰ３＝０．３５のものである（図７の印加雑音特性と同じである）。この特性は、画像ピクセルの明度が閾値未満ときも、閾値以上のときも、ともに正の相関を持つ。
（ｈ）は、ＶＰ１＝０．１０、ＶＰ３＝０．３５のものである。この特性は、画像ピクセルの明度が閾値未満ときは一定であり、閾値以上のときは正の相関を持つ。
（ｉ）は、ＶＰ１＝０．３５、ＶＰ３＝０．３５のものである。この特性は、画像ピクセルの明度が閾値未満ときは負の相関を持ち、閾値以上のときは正の相関を持つ。
（ａ）は、ＶＰ１＝０．０２、ＶＰ３＝０．０２のものである。この特性は、画像ピクセルの明度が閾値未満ときは正の相関を持ち、閾値以上のときは負の相関を持つ。
（ｂ）は、ＶＰ１＝０．１０、ＶＰ３＝０．０２のものである。この特性は、画像ピクセルの明度が閾値未満ときは一定であり、閾値以上のときは負の相関を持つ。
（ｃ）は、ＶＰ１＝０．３５、ＶＰ３＝０．０２のものである。この特性は、画像ピクセルの明度が閾値未満ときも、閾値以上のときも、ともに負の相関を持つ。
（ｄ）は、ＶＰ１＝０．０２、ＶＰ３＝０．１０のものである。この特性は、画像ピクセルの明度が閾値未満ときは正の相関を持ち、閾値以上のときは一定である。
（ｅ）は、ＶＰ１＝０．１０、ＶＰ３＝０．１０のものである。この特性は、画像ピクセルの明度が閾値未満ときも、閾値以上のときも一定である。
（ｆ）は、ＶＰ１＝０．３５、ＶＰ３＝０．１０のものである。この特性は、画像ピクセルの明度が閾値未満ときは負の相関を持ち、閾値以上のときは一定である。
（ｇ）は、ＶＰ１＝０．０２、ＶＰ３＝０．３５のものである（図７の印加雑音特性と同じである）。この特性は、画像ピクセルの明度が閾値未満ときも、閾値以上のときも、ともに正の相関を持つ。
（ｈ）は、ＶＰ１＝０．１０、ＶＰ３＝０．３５のものである。この特性は、画像ピクセルの明度が閾値未満ときは一定であり、閾値以上のときは正の相関を持つ。
（ｉ）は、ＶＰ１＝０．３５、ＶＰ３＝０．３５のものである。この特性は、画像ピクセルの明度が閾値未満ときは負の相関を持ち、閾値以上のときは正の相関を持つ。
【0052】
図１０に、図９の（ａ）～（ｉ）の印加雑音特性にそれぞれ対応する復元画像を示す。印加雑音特性の与え方により、明度のダイナミックレンジの拡大に関し、様々な効果が得られることが分かる。図１０では、傾向として、右にある復元画像ほど暗い領域が強調され、上にある復元画像ほど明度全体が引き上げられている。
【0053】
［第２の実施の形態］
図１１に、第２の実施の形態に係る画像処理装置２の機能ブロック図を示す。画像処理装置２は、図６の画像処理装置１の構成に追加して、記憶部２０を備える。記憶部２０は、各画像ピクセルの明度と印加雑音強度との関係（印加雑音特性）を記憶する。例えば記憶部２０は、図９に示されるような様々な印加雑音特性を記憶してよい。記憶部２０は、任意の仕方で印加雑音特性を記憶してよい。例えば、ユーザが手動で新たな印加雑音特性を記憶部２０に入力してもよい。あるいは、印加雑音特性のデータが、外部のデータベースから記憶部２０に自動的にアップロードされてもよい。
図１１に、第２の実施の形態に係る画像処理装置２の機能ブロック図を示す。画像処理装置２は、図６の画像処理装置１の構成に追加して、記憶部２０を備える。記憶部２０は、各画像ピクセルの明度と印加雑音強度との関係（印加雑音特性）を記憶する。例えば記憶部２０は、図９に示されるような様々な印加雑音特性を記憶してよい。記憶部２０は、任意の仕方で印加雑音特性を記憶してよい。例えば、ユーザが手動で新たな印加雑音特性を記憶部２０に入力してもよい。あるいは、印加雑音特性のデータが、外部のデータベースから記憶部２０に自動的にアップロードされてもよい。
【0054】
この実施の形態によれば、様々な印加雑音特性を持つ雑音を元画像に適用することができる。
【0055】
［第３の実施の形態］
図１２に、第３の実施の形態に係る画像処理装置３の機能ブロック図を示す。画像処理装置３は、図６の画像処理装置１の構成に追加して、学習部２２を備える。学習部２２は、各画像ピクセルの明度と、印加雑音強度と、復元画像と、を学習データとして機械学習することにより、元画像が入力されたときに、印加雑音強度を出力する。
図１２に、第３の実施の形態に係る画像処理装置３の機能ブロック図を示す。画像処理装置３は、図６の画像処理装置１の構成に追加して、学習部２２を備える。学習部２２は、各画像ピクセルの明度と、印加雑音強度と、復元画像と、を学習データとして機械学習することにより、元画像が入力されたときに、印加雑音強度を出力する。
【0056】
各画像ピクセルの明度と、印加雑音強度と、復元画像との間には、何らかの関係があると考えられる。従って、各画像ピクセルの明度と、印加雑音強度と、復元画像と、を教師データとして機械学習を行うことにより、最適な明度対雑音強度プロファイルの決定ができると考えられる。機械学習は、既知のＡＩにより行われてよい。ＡＩの具体的な手法は特に限定されないが、例えば深層学習を適用してもよい。この実施の形態では、復元画像を生成するための各画像ピクセルの明度と、印加雑音強度の組を大量に用意し、これらを学習データとしてＡＩに学習させる。これによりＡＩは、元画像を入力したときに、最適な復元画像を生成する印加雑音特性を計算して出力することができる。
【0057】
この実施の形態によれば、元画像を与えたときに、最適な復元画像を生成することのできる印加雑音特性を機械学習を用いて予測することができる。
【0058】
［第４の実施の形態］
図１３に、第４の実施の形態に係る画像処理装置４の機能ブロック図を示す。画像処理装置４は、図６の画像処理装置１の構成に追加して、閾値決定部２４を備える。閾値決定部２４は、元画像のＨＳＶ色空間のＶ成分の分布に基づいて閾値を決定する。
図１３に、第４の実施の形態に係る画像処理装置４の機能ブロック図を示す。画像処理装置４は、図６の画像処理装置１の構成に追加して、閾値決定部２４を備える。閾値決定部２４は、元画像のＨＳＶ色空間のＶ成分の分布に基づいて閾値を決定する。
【0059】
この実施の形態によれば、閾値を元画像のＨＳＶ色空間のＶ成分の分布に基づいて決定するので、通常行われる２値化処理等に対し、本発明により好適な閾値を与えることができる。
【0060】
［第５の実施の形態］
図１４に、第５の実施の形態に係る画像処理方法のフローチャートを示す。この方法は、ピクセル抽出部と、変換部と、雑音印加部と、閾値適用部と、復元画像生成部と、を備えた画像処理装置を用いて画像処理を行う画像処理方法である。ステップＳ１で本方法は、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出する。ステップＳ２で本方法は、各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換する。ステップＳ３で本方法は、各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加する。ステップＳ４で本方法は、印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力する。ステップＳ５で本方法は、比較結果から復元画像を生成する。
図１４に、第５の実施の形態に係る画像処理方法のフローチャートを示す。この方法は、ピクセル抽出部と、変換部と、雑音印加部と、閾値適用部と、復元画像生成部と、を備えた画像処理装置を用いて画像処理を行う画像処理方法である。ステップＳ１で本方法は、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出する。ステップＳ２で本方法は、各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換する。ステップＳ３で本方法は、各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加する。ステップＳ４で本方法は、印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力する。ステップＳ５で本方法は、比較結果から復元画像を生成する。
【0061】
この実施の形態によれば、画像処理装置を用いて、画像内の明るい領域と暗い領域の画質を保持しながら、明度のダイナミックレンジを拡大することができる。
【0062】
［第６の実施の形態］
第６の実施の形態は、プログラムである。このプログラムは、ピクセル抽出部と、変換部と、雑音印加部と、閾値適用部と、復元画像生成部と、を備えた画像処理装置を用いた画像処理をコンピュータに実行させるプログラムである。このプログラムは、以下のステップＳ１～ステップＳ５をコンピュータに実行させる。ステップＳ１では、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出する。ステップＳ２では、各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換する。ステップＳ３では、各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加する。ステップＳ４では、印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力する。ステップＳ５では、比較結果から復元画像を生成する。
第６の実施の形態は、プログラムである。このプログラムは、ピクセル抽出部と、変換部と、雑音印加部と、閾値適用部と、復元画像生成部と、を備えた画像処理装置を用いた画像処理をコンピュータに実行させるプログラムである。このプログラムは、以下のステップＳ１～ステップＳ５をコンピュータに実行させる。ステップＳ１では、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出する。ステップＳ２では、各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換する。ステップＳ３では、各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加する。ステップＳ４では、印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力する。ステップＳ５では、比較結果から復元画像を生成する。
【0063】
この実施の形態によれば、画像内の明るい領域と暗い領域の画質を保持しながら、明度のダイナミックレンジを拡大するためのプログラムをコンピュータで実行することができる。
【0064】
［第７の実施の形態］
第７の実施の形態は、記憶媒体である。この記憶媒体は、ピクセル抽出部と、変換部と、雑音印加部と、閾値適用部と、復元画像生成部と、を備えた画像処理装置を用いた画像処理をコンピュータに実行させるプログラムを記憶する。このプログラムは、以下のステップＳ１～ステップＳ５をコンピュータに実行させる。ステップＳ１では、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出する。ステップＳ２では、各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換する。ステップＳ３では、各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加する。ステップＳ４では、印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力する。ステップＳ５では、比較結果から復元画像を生成する。
第７の実施の形態は、記憶媒体である。この記憶媒体は、ピクセル抽出部と、変換部と、雑音印加部と、閾値適用部と、復元画像生成部と、を備えた画像処理装置を用いた画像処理をコンピュータに実行させるプログラムを記憶する。このプログラムは、以下のステップＳ１～ステップＳ５をコンピュータに実行させる。ステップＳ１では、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出する。ステップＳ２では、各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換する。ステップＳ３では、各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加する。ステップＳ４では、印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力する。ステップＳ５では、比較結果から復元画像を生成する。
【0065】
この実施の形態によれば、画像内の明るい領域と暗い領域の画質を保持しながら、明度のダイナミックレンジを拡大するためのプログラムを記憶することができる。
【0066】
なお本発明における計算過程は、深層学習向けアクセラレータと高い親和性を持つ。実際、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）による高速化が可能であること、非線形素子を介した信号を束ねる過程はニューラルネットワークそのものである点に注意されたい。
【0067】
以上、本発明を上述の各実施の形態を参照して説明したが、本発明は上述の各実施の形態に限定されるものではなく、各実施の形態の構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。また、当業者の知識に基づいて各実施の形態における組合せや工程の順番を適宜組み替えることや各種の設計変更等の変形を各実施の形態に対して加えることも可能であり、そのような変形が加えられた実施の形態も本発明の範囲に含まれうる。
【0068】
実施の形態では、点Ｐ１、Ｐ２、Ｐ３の３点を定め、これらの点を直線で結ぶことにより、印加雑音強度を与えた。印加雑音強度は、これに限られず、画像ピクセルの明度（ｘ軸）－印加雑音強度（ｙ軸）の平面上で、任意の好適な曲線を描くことにより与えられてもよい。この変形例によれば、印加雑音特性を定めるときの自由度が向上する。
【0069】
確率共鳴現象を発現する系の非線形素子は、深層学習における活性化関数と関連する。上記の実施の形態では、単純な閾値系（ステップ関数）を説明した。しかし、これに限られず、シグモイド関数等を非線形素子として用いても確率共鳴現象が発現することは確認されており、近年の深層学習等において用いられる種々の活性化関数を適用できる可能性もある。
【0070】
こうした変形例は、実施の形態と同様の作用、効果を奏する。
【0071】
上述した各実施の形態と変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる各実施の形態及び変形例それぞれの効果をあわせもつ。
【符号の説明】
【0072】
１・・画像処理装置。
２・・画像処理装置。
３・・画像処理装置。
４・・画像処理装置。
１０・・ピクセル抽出部。
１２・・変換部。
１４・・雑音印加部。
１６・・閾値適用部。
１８・・復元画像生成部。
２０・・記憶部。
２２・・学習部。
２４・・閾値決定部。
１００・・確率共鳴現象システム。
１０２・・雑音印加部。
１０４・・閾値適用部。
Ｓ１・・画像ピクセルを抽出するステップ。
Ｓ２・・ＲＧＢ色空間をＨＳＶ色空間に変換するステップ。
Ｓ３・・各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップ。
Ｓ４・・各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップ。
Ｓ５・・復元画像を生成するステップ。
２・・画像処理装置。
３・・画像処理装置。
４・・画像処理装置。
１０・・ピクセル抽出部。
１２・・変換部。
１４・・雑音印加部。
１６・・閾値適用部。
１８・・復元画像生成部。
２０・・記憶部。
２２・・学習部。
２４・・閾値決定部。
１００・・確率共鳴現象システム。
１０２・・雑音印加部。
１０４・・閾値適用部。
Ｓ１・・画像ピクセルを抽出するステップ。
Ｓ２・・ＲＧＢ色空間をＨＳＶ色空間に変換するステップ。
Ｓ３・・各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップ。
Ｓ４・・各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップ。
Ｓ５・・復元画像を生成するステップ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【手続補正書】
【提出日】2022-11-09
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するピクセル抽出部と、
前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換する変換部と、
前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加する雑音印加部と、
前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力する閾値適用部と、
前記比較結果から復元画像を生成する復元画像生成部と、を備え、
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のとき正または負の相関を持つかまたは一定であり、前記各画像ピクセルの明度が閾値以上のとき正または負の相関を持つかまたは一定であることを特徴とする画像処理装置。
前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換する変換部と、
前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加する雑音印加部と、
前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力する閾値適用部と、
前記比較結果から復元画像を生成する復元画像生成部と、を備え、
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のとき正または負の相関を持つかまたは一定であり、前記各画像ピクセルの明度が閾値以上のとき正または負の相関を持つかまたは一定であることを特徴とする画像処理装置。
【請求項2】
前記雑音印加部と前記閾値適用部とは、サミングネットワークにより構成されることを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のときも、前記各画像ピクセルの明度が閾値以上のときも、正の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満のときも、前記各画像ピクセルの明度が閾値以上のときも、正の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項4】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のときも、前記各画像ピクセルの明度が閾値以上のときも、負の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満のときも、前記各画像ピクセルの明度が閾値以上のときも、負の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項5】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のときは正の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは負の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満のときは正の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは負の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項6】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のときは負の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは正の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満のときは負の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは正の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項7】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のときは一定であり、
前記各画像ピクセルの明度が閾値以上のときは正の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満のときは一定であり、
前記各画像ピクセルの明度が閾値以上のときは正の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項8】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のときは正の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは一定であることを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満のときは正の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは一定であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項9】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のときは負の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは一定であることを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満のときは負の相関を持ち、
前記各画像ピクセルの明度が閾値以上のときは一定であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項10】
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のときは一定であり、
前記各画像ピクセルの明度が閾値以上のときは負の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
前記各画像ピクセルの明度が閾値未満のときは一定であり、
前記各画像ピクセルの明度が閾値以上のときは負の相関を持つことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項11】
前記各画像ピクセルの明度と印加雑音強度との関係を記憶する記憶部を備えることを特徴とする請求項１から１０のいずれかに記載の画像処理装置。
【請求項12】
各画像ピクセルの明度と、印加雑音強度と、復元画像と、を学習データとして機械学習することにより、元画像が入力されたときに、印加雑音強度を出力する学習部を備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項13】
前記元画像のＨＳＶ色空間のＶ成分の分布に基づいて閾値を決定する閾値決定部を備えることを特徴とする請求項１から１２のいずれかに記載の画像処理装置。
【請求項14】
ピクセル抽出部と、変換部と、雑音印加部と、閾値適用部と、復元画像生成部と、を備えた画像処理装置を用いて画像処理を行う画像処理方法であって、
前記ピクセル抽出部で、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するステップと、
前記変換部で、前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換するステップと、
前記雑音印加部で、前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップと、
前記閾値適用部で、前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップと、
前記復元画像生成部で、前記比較結果から復元画像を生成するステップと、を備え、
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のとき正または負の相関を持つかまたは一定であり、前記各画像ピクセルの明度が閾値以上のとき正または負の相関を持つかまたは一定であることを特徴とする画像処理方法。
前記ピクセル抽出部で、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するステップと、
前記変換部で、前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換するステップと、
前記雑音印加部で、前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップと、
前記閾値適用部で、前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップと、
前記復元画像生成部で、前記比較結果から復元画像を生成するステップと、を備え、
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のとき正または負の相関を持つかまたは一定であり、前記各画像ピクセルの明度が閾値以上のとき正または負の相関を持つかまたは一定であることを特徴とする画像処理方法。
【請求項15】
ピクセル抽出部と、変換部と、雑音印加部と、閾値適用部と、復元画像生成部と、を備えた画像処理装置を用いた画像処理をコンピュータに実行させるプログラムであって、
前記ピクセル抽出部で、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するステップと、
前記変換部で、前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換するステップと、
前記雑音印加部で、前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップと、
前記閾値適用部で、前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップと、
前記復元画像生成部で、前記比較結果から復元画像を生成するステップと、をコンピュータに実行させ、
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のとき正または負の相関を持つかまたは一定であり、前記各画像ピクセルの明度が閾値以上のとき正または負の相関を持つかまたは一定であることを特徴とするプログラム。
前記ピクセル抽出部で、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するステップと、
前記変換部で、前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換するステップと、
前記雑音印加部で、前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップと、
前記閾値適用部で、前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップと、
前記復元画像生成部で、前記比較結果から復元画像を生成するステップと、をコンピュータに実行させ、
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のとき正または負の相関を持つかまたは一定であり、前記各画像ピクセルの明度が閾値以上のとき正または負の相関を持つかまたは一定であることを特徴とするプログラム。
【請求項16】
ピクセル抽出部と、変換部と、雑音印加部と、閾値適用部と、復元画像生成部と、を備えた画像処理装置を用いた画像処理をコンピュータに実行させるプログラムを記憶した記憶媒体であって、
前記ピクセル抽出部で、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するステップと、
前記変換部で、前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換するステップと、
前記雑音印加部で、前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップと、
前記閾値適用部で、前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップと、
前記復元画像生成部で、前記比較結果から復元画像を生成するステップと、をコンピュータに実行させ、
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のとき正または負の相関を持つかまたは一定であり、前記各画像ピクセルの明度が閾値以上のとき正または負の相関を持つかまたは一定であるプログラムを記憶した記憶媒体。
前記ピクセル抽出部で、複数の画像ピクセルを含むカラーの元画像から画像ピクセルを抽出するステップと、
前記変換部で、前記各画像ピクセルのＲＧＢ色空間をＨＳＶ色空間に変換するステップと、
前記雑音印加部で、前記各画像ピクセルの明度に応じた強度の印加雑音を当該画像ピクセルのＶ成分に印加するステップと、
前記閾値適用部で、前記印加雑音の印加された各画像ピクセルのＶ成分を所定の閾値と比較して比較結果を出力するステップと、
前記復元画像生成部で、前記比較結果から復元画像を生成するステップと、をコンピュータに実行させ、
前記各画像ピクセルの明度と印加雑音強度との関係は、
前記各画像ピクセルの明度が閾値未満のとき正または負の相関を持つかまたは一定であり、前記各画像ピクセルの明度が閾値以上のとき正または負の相関を持つかまたは一定であるプログラムを記憶した記憶媒体。