特許 7145651 画像処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-22

(45)【発行日】2022-10-03

(54)【発明の名称】画像処理装置及びプログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20220926BHJP

   H04N 5/243 20060101ALI20220926BHJP

【ＦＩ】

G06T5/00 730

H04N5/243

【請求項の数】 4

(21)【出願番号】P 2018105000

(22)【出願日】2018-05-31

(65)【公開番号】P2019211847

(43)【公開日】2019-12-12

【審査請求日】2020-12-02

(73)【特許権者】

【識別番号】000236056

【氏名又は名称】三菱電機ビルソリューションズ株式会社

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】特許業務法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】富田 智子

(72)【発明者】

【氏名】横田 守真

(72)【発明者】

【氏名】岩村 光貴

(72)【発明者】

【氏名】野村 由梨

(72)【発明者】

【氏名】栗原 康平

(72)【発明者】

【氏名】鈴木 大祐

【審査官】山口 大志

(56)【参考文献】

【文献】特開２０１５－１５６６００（ＪＰ，Ａ）

【文献】特開２０１０－２３９６００（ＪＰ，Ａ）

【文献】特開２００４－１４０６９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ ５／２４３

(57)【特許請求の範囲】

【請求項1】

補正対象の画像のうち輝度閾値以上の明領域を所定の暗画像生成用輝度値にクリッピングして暗画像を生成する生成手段と、
前記暗画像に対して局所分散処理を行うことで局所分散値を算出する算出手段と、
前記画像を前記局所分散値の逆数に所定の定数を乗算することで算出される暗領域用指標値に基づき補正する補正手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記生成手段は、前記画像のうち輝度閾値未満の暗領域を所定の明画像生成用輝度値にクリッピングして明画像を生成し、
前記算出手段は、前記明画像に対して局所分散処理を行うことで局所分散値を算出し、
前記補正手段は、前記画像を更に前記明画像に対応する局所分散値の逆数に所定の定数を乗算することで算出される明領域用指標値に基づき補正する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像の属性に基づき前記輝度閾値を設定する設定手段を有することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

コンピュータを、
補正対象の画像のうち輝度閾値以上の明領域を所定の暗画像生成用輝度値にクリッピングして暗画像を生成する生成手段、
前記暗画像に対して局所分散処理を行うことで局所分散値を算出する算出手段、
前記画像を前記局所分散値の逆数に所定の定数を乗算することで算出される暗領域用指標値に基づき補正する補正手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及びプログラム、特に画像の視認性の改善に関する。

【背景技術】

【0002】

監視カメラ等により撮影された画像は、例えば逆光等撮影時の状況やノイズによって視認性が低下してしまう場合がある。特に、監視カメラにより撮影された動画像に視認性の低下は致命的なので視認性の改善が期待される。

【0003】

映像データに対して視認性改善処理を行う場合、画像の視認性を解析し、視認性に応じて処理の強度を制御することで処理の効果を高めることができる。

【0004】

従来では、画像の局所領域毎に統計量を解析し、解析結果を基に局所毎に強度の異なる補正を行う技術が提案されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１５－００５００１号公報

【文献】特開２０１５－１５６６００号公報

【文献】特開２０１４－０６０５７８号公報

【文献】特開２０１８－０１４６３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ここで、夜のシーンで画像中に街灯などの照明光を含むような明暗差の大きい画像の視認性を解析する場合を考える。例えば、特許文献１では、統計量として輝度ヒストグラムを採用しているが、照明光などの明領域を含む暗領域に着目すると、その暗領域は明暗差が大きく視認性が高いと判断されるため、必ずしも画像の視認性の改善に最適な解析に繋がるとは限らなかった。

【0007】

また、画像全体が鮮明になることが好ましいが、監視カメラにより撮影された画像の場合、監視目的錠、夜間の画像や物陰の物体等を確認するために少なくとも暗い部分の画像の視認性を改善することが望まれる。

【0008】

本発明は、局所分散処理を利用して明暗が混在する画像の視認性のより一層の改善を図ることを目的とする。

【課題を解決するための手段】

【0009】

本発明に係る画像処理装置は、補正対象の画像のうち輝度閾値以上の明領域を所定の暗画像生成用輝度値にクリッピングして暗画像を生成する生成手段と、前記暗画像に対して局所分散処理を行うことで局所分散値を算出する算出手段と、前記画像を前記局所分散値の逆数に所定の定数を乗算することで算出される暗領域用指標値に基づき補正する補正手段と、を有するものである。

【0010】

また、前記生成手段は、前記画像のうち輝度閾値未満の暗領域を所定の明画像生成用輝度値にクリッピングして明画像を生成し、前記算出手段は、前記明画像に対して局所分散処理を行うことで局所分散値を算出し、前記補正手段は、前記画像を更に前記明画像に対応する局所分散値の逆数に所定の定数を乗算することで算出される明領域用指標値に基づき補正するものである。

【0011】

また、前記画像の属性に基づき前記輝度閾値を設定する設定手段を有するものである。

【0012】

本発明に係るプログラムは、コンピュータを、補正対象の画像のうち輝度閾値以上の明領域を所定の暗画像生成用輝度値にクリッピングして暗画像を生成する生成手段、前記暗画像に対して局所分散処理を行うことで局所分散値を算出する算出手段、前記画像を前記局所分散値の逆数に所定の定数を乗算することで算出される暗領域用指標値に基づき補正する補正手段、として機能させるためのものである。

【発明の効果】

【0013】

本発明によれば、局所分散処理を利用して明暗が混在する画像の視認性、特に暗領域の画像を改善することができる。

【0014】

また、明領域の画像も合わせて改善することができる。

【0015】

また、画像の種類に応じて明領域となる画像の範囲を調整することができる。

【図面の簡単な説明】

【0016】

【図1】本発明に係る画像処理装置の一実施の形態を示すブロック構成図である。

【図2】本実施の形態における画像処理装置のハードウェア構成図である。

【図3】本実施の形態における視認性改善処理を示すフローチャートである。

【図4】本実施の形態における明暗画像生成部における処理を説明するために用いる図である。

【図5】本実施の形態において補正した画像を生成する処理の過程を示す概念図である。

【発明を実施するための形態】

【0017】

以下、図面に基づいて、本発明の好適な実施の形態について説明する。

【0018】

図１は、本発明に係る画像処理装置の一実施の形態を示すブロック構成図である。本実施の形態における画像処理装置１０は、パーソナルコンピュータ（ＰＣ）等の従前から存在する汎用的なハードウェア構成で実現できる。

【0019】

図２は、本実施の形態における画像処理装置１０のハードウェア構成図である。本実施の形態における画像処理装置１０は、図２に示すＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４、入力手段として設けられたマウス２５とキーボード２６及び表示手段として設けられたディスプレイ２７をそれぞれ接続する入出力コントローラ２８、通信手段として設けられたネットワークインタフェース（ＩＦ）２９を内部バス３０に接続して構成される。

【0020】

図１に戻り、画像処理装置１０は、画像取得部１１、閾値設定部１２、明暗画像生成部１３、局所分散値算出部１４及び画像補正部１５を有している。なお、本実施の形態の説明に用いない構成要素については図から省略している。画像取得部１１は、補正対象とする画像を取得する。閾値設定部１２は、画像を暗領域と明領域とに二分割するための輝度閾値を設定する。明暗画像生成部１３は、画像取得部１１により取得された画像のうち輝度閾値以上の明領域を所定の暗画像生成用輝度値にクリッピングして暗画像を生成する。また、画像のうち輝度閾値未満の暗領域を所定の明画像生成用輝度値にクリッピングして明画像を生成する。局所分散値算出部１４は、局所分散処理を行うことで暗画像及び明画像それぞれに対して局所分散値を算出する。画像補正部１５は、各局所分散値から算出される暗領域用指標値及び明領域用指標値に基づき補正対象の画像を補正する。

【0021】

画像処理装置１０における各構成要素１１～１５は、画像処理装置１０を形成するコンピュータと、コンピュータに搭載されたＣＰＵ２１で動作するプログラムとの協調動作により実現される。また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、ＣＤ－ＲＯＭやＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのＣＰＵがプログラムを順次実行することで各種処理が実現される。

【0022】

次に、本実施の形態における画像処理装置１０が実施する視認性改善処理について図３に示すフローチャートを用いて説明する。

【0023】

画像取得部１１は、ユーザにより指定された補正処理対象の画像を取得する（ステップ１１０）。画像の取得先は、ネットワーク経由で受信してもよいし、ＵＳＢメモリ等の記録媒体から読み取ってもよいし、事前に保存されているＨＤＤ２４から読み出してもよい。画像の取得経路については、特に限定する必要はない。

【0024】

続いて、明暗画像生成部１３は、取得された画像から明画像と暗画像を生成するが（ステップ１２０）、明画像と暗画像を生成するためには輝度閾値を用いることになるので、輝度閾値が閾値設定部１２によって事前設定されている必要がある。閾値設定部１２による輝度閾値の設定方法については後述することにする。

【0025】

ところで、画像は、各画素の輝度値によって明領域と暗領域とに区別することができる。例えば、輝度値が階調０～２５５で表される白黒画像が取得されたとして、その画像用の輝度閾値として１２８が設定されているとする。この場合、「明領域」というのは、輝度値が輝度閾値以上、すなわち輝度値１２８～２５５である画素のみを含む領域を指す。これに対し、「暗領域」というのは、輝度値が輝度閾値未満、すなわち輝度値０～１２７である画素のみを含む領域を指す。以下、図４を用いて明暗画像生成部１３が明画像と暗画像を生成する際の処理について説明する。

【0026】

図４（ａ）には、画像取得部１１により取得される入力画像（画像取得部１１が取得した画像）の一例とこの入力画像における輝度値をグラフ形式で示す図が含まれている。この入力画像を２次元座標で表現すると、入力画像におけるＹ軸方向（図面上方向）に並ぶ各画素の輝度値は同値である。そして、グラフで示しているように、入力画像は、Ｘ軸方向（図面右方向）に行くに連れ（Ｘ座標値が大きくなるに連れ）、輝度値が０から２５５まで一様に増加している。

【0027】

明暗画像生成部１３は、この入力画像から明画像と暗画像を生成する。前述したように、輝度閾値を１２８とすると、明領域に含まれる各画素の輝度値を暗画像生成用輝度値にクリッピングして暗画像を生成する。本実施の形態では、輝度閾値を参照に暗画像における最高輝度値を１上回る１２８を暗画像生成用輝度値に設定する。このようにして生成された暗画像を図４（ｂ）に示す。図４（ｂ）から明らかなように輝度値が１２８以上の全ての画素の輝度値は１２８に変換される。

【0028】

また、明暗画像生成部１３は、暗領域に含まれる各画素の輝度値を明画像生成用輝度値にクリッピングして明画像を生成する。本実施の形態では、輝度閾値を参照に明画像における最低輝度値を１下回る１２７を明画像生成用輝度値に設定する。このようにして生成された明画像を図４（ｃ）に示す。図４（ｃ）から明らかなように輝度値が１２7以下の全ての画素の輝度値は１２７に変換される。

【0029】

明暗画像生成部１３は、以上のようにして入力画像から暗画像と明画像を生成する。図４では、説明の便宜上、Ｙ軸方向の輝度値は同値で、Ｘ軸方向の輝度値を一様に変化している入力画像を例にして説明した。実際の撮影画像では、画像内において複数の明領域と暗領域が散在していることが想定できるが、明暗画像生成部１３は、全ての明領域及び暗領域に前述した処理を行って暗画像と明画像を生成する。

【0030】

ここで、閾値設定部１２による輝度閾値の設定方法について説明する。前述したように、輝度閾値は、入力画像を明領域と暗領域に分類する際に参照される。明領域と暗領域に二分化するので、上記例のように階調の中央値を固定的に採用してもよい。ただ、画像の属性によって適宜設定するようにしてもよい。例えば、全体的に暗い画像は、明るく補正する領域(暗領域)を狭くして補正処理の負荷軽減を図りたいような場合には、輝度閾値を相対的に小さい値に設定する。例えば、入力画像の輝度の中央値又は平均値を輝度閾値として設定する。あるいは、ユーザが画像を参照して入力手段を利用して輝度閾値を設定するようにしてもよい。

【0031】

明暗画像生成部１３が明画像と暗画像を生成すると、続いて、局所分散値算出部１４は、局所分散処理を実施して明画像及び暗画像それぞれの局所分散値ｖａｒ（ｘ）を次式にて算出する（ステップ１３０）。

【数1】

但し、Ωは入力画像Ｉのある画素ｘを中心とした局所領域を示す。局所領域は、例えば５×５画素や１０×１０画素などの正方形状の領域で形成してよいが、局所領域の形状や大きさは、これに限る必要はない。

【0032】

本実施の形態では、暗画像を生成する際、明領域に含まれる各画素の輝度値を暗画像生成用輝度値に設定した。暗画像生成用輝度値に設定しないで暗領域と明領域との境界近傍にある画像に対して局所分散値を算出すると、分散値が大きくなる傾向にあり、結果的に視認性が改善された画像が得られない可能性がある。そこで、本実施の形態では、有効な暗画像の局所分散値を算出できるように、明領域に含まれる各画素の輝度値を暗画像生成用輝度値に変換してから局所分散値を算出するようにした。これは、暗領域と明領域が入り混じる画像において特に有効である。

【0033】

局所分散値算出部１４は、暗画像に対して局所毎に局所分散値を算出すると、これらの平均値を算出し、この平均局所分散値を暗画像局所分散値とする。また、局所分散値算出部１４は、明画像に対して局所毎に局所分散値を算出すると、これらの平均値を算出し、この平均局所分散値を明画像局所分散値とする（ステップ１４０）。なお、局所分散値を画像補正部１５に渡して平均局所分散値を画像補正部１５で算出させてもよい。

【0034】

続いて、画像補正部１５は、画像取得部１１により取得された入力画像の視認性を改善するために、暗領域用指標値／明領域用指標値を用いて入力画像を補正する（ステップ１５０）。暗領域用指標値は、暗画像局所分散値から求める。暗画像局所分散値が小さいほど画像は劣化していると考えられ、画像が劣化しているほど相対的に強い強度で補正したい。そのため、画像補正部１５は、暗画像局所分散値の逆数に所定の定数を乗算することで暗領域用指標値を設定する。明領域用指標値に対しても同様に、画像補正部１５は、明画像局所分散値の逆数に所定の定数を乗算することで明領域用指標値を設定する。そして、画像補正部１５は、入力画像のうち暗領域に対しては暗領域用指標値に基づき補正を行い、明領域に対しては明領域用指標値に基づき補正を行う。なお、暗領域用指標値／明領域用指標値を局所分散値算出部１４に算出させてもよい。

【0035】

以上説明した視認性改善処理について図５に示す画像の例を用いて説明する。

【0036】

図５（ａ）には、画像処理装置１０への入力画像として、監視カメラにより夜間に撮影された動画像の一フレーム分の画像が模式的に示されている。入力画像は、監視領域である駐車場の画像であり、枠線で区切られている駐車スペースに止められている車両３１と、人３２と、電灯３３と、を映し出している。入力画像のうち、車両３１のタイヤ及び画像全体(背景)を暗領域、人３２、電灯３３及びその周囲３３ａを明領域の例として示している。明暗画像生成部１３は、この入力画像から図５（ｂ）及び図５（ｃ）に示すように暗画像及び明画像を生成する。そして、画像補正部１５は、局所分散値算出部１４が算出した暗画像局所分散値／明画像局所分散値から暗領域用指標値／明領域用指標値を算出する。ここでは、明領域に含まれている画像は補正対象外とし、暗領域に含まれている画像の視認性を改善したいとする。この場合、画像補正部１５は、車両３１のタイヤ及び画像全体(背景)のうち視認性の改善対象としたい画像を特定し、その特定した暗領域に含まれる各画素の輝度値に暗領域用指標値を乗算することによって該当する画素の輝度値を補正する。図５（ｄ）には、画像全体(背景)を補正対象として得た出力画像の例が示されている。なお、視認性の改善対象としたい画像の特定方法は、種々の方法を利用してよく、本実施の形態においては、特に限定しない。例えば、テクスチャの少ない暗領域を対象としてもよいし、ユーザが指定してもよい。

【0037】

仮に、明領域に含まれている画像を補正したい場合、画像補正部１５は、該当する明領域の画素の輝度値に明領域用指標値を乗算することによって該当する画素の輝度値を補正すればよい。このように、本実施の形態においては、暗領域又は明領域の少なくとも一方を補正対象とすることが可能である。

【0038】

また、上記説明から明らかなように、本実施の形態では、暗画像／明画像を、補正のパラメータとして用いる暗領域用指標値／明領域用指標値を算出するために生成しており、出力画像（補正画像）の生成に利用するものではない。

【0039】

なお、本実施の形態では、入力画像を輝度閾値によって暗領域と明領域に二分割するようにしたが、複数の輝度閾値を設定して複数の領域に分割するようにしてもよい。例えば、階調０～２５４の白黒画像に対し輝度閾値８５，１７０を設定し、暗領域０～８４、中領域８５～１６９、明領域１７０～２５４を生成する。このとき、暗領域に対しては輝度値８５以上の画素の輝度値を８５に変換する。明領域に対しては輝度値１７０未満の画素の輝度値を１６９に変換する。そして、中領域に対しては輝度値１７０以上の画素の輝度値を１７０に変換すると共に輝度値８５未満の画素の輝度値を８４に変換する。

【符号の説明】

【0040】

１０ 画像処理装置、１１ 画像取得部、１２ 閾値設定部、１３ 明暗画像生成部、１４ 局所分散値算出部１５ 画像補正部、２１ ＣＰＵ、２２ ＲＯＭ、２３ ＲＡＭ、２４ ハードディスクドライブ（ＨＤＤ）、２５ マウス、２６ キーボード、２７ ディスプレイ、２８ 入出力コントローラ、２９ ネットワークインタフェース（ＩＦ）、３０ 内部バス。

【図1】

【図2】

【図3】

【図4】

【図5】