特許 7197210 画像補正システム、画像補正方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-19

(45)【発行日】2022-12-27

(54)【発明の名称】画像補正システム、画像補正方法、及びプログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20221220BHJP

   H04N 5/232 20060101ALI20221220BHJP

【ＦＩ】

G06T5/00 730

H04N5/232 290

【請求項の数】 10

(21)【出願番号】P 2021029532

(22)【出願日】2021-02-26

(65)【公開番号】P2022130888

(43)【公開日】2022-09-07

【審査請求日】2021-02-26

(73)【特許権者】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】玉井 潤一

【審査官】山口 大志

(56)【参考文献】

【文献】特開２０１８－１９５０７９（ＪＰ，Ａ）

【文献】特開２００６－０１９９２８（ＪＰ，Ａ）

【文献】特開２００９－１１６６１１（ＪＰ，Ａ）

【文献】特開２０１３－０５１７３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１／４０

３／００－５／５０

Ｇ０９Ｇ ５／００－５／３６

５／３７７－５／４２

Ｈ０４Ｎ １／４０－１／４０９

１／４６－１／６２

５／２２２－５／２５７

(57)【特許請求の範囲】

【請求項1】

着目対象が一部領域に含まれる元画像から着目対象を抽出する抽出部と、
抽出された着目対象の画像である着目対象画像領域に対して、当該着目対象画像領域外の領域とは異なる色変換処理を行うことにより画質を補正する補正部と、を備え、
前記着目対象画像領域における色値に対する画素の頻度分布を示す着目対象画像領域ヒストグラムを生成する生成部を更に備え、
前記補正部は、前記着目対象画像領域に対する色変換処理において、前記着目対象画像領域ヒストグラムの拡張を行い、
前記生成部は、前記着目対象画像領域とその周辺とを含む周辺領域における色値に対する画素の頻度分布を示す周辺領域ヒストグラムを更に生成し、
前記補正部は、前記拡張後の着目対象画像領域ヒストグラムにおける最小色値及び最大色値が、前記周辺領域ヒストグラムにおける最小色値及び最大色値のそれぞれに対応するように前記拡張を行う
画像補正システム。

【請求項2】

着目対象が一部領域に含まれる元画像から着目対象を抽出する抽出部と、
抽出された着目対象の画像である着目対象画像領域に対して、当該着目対象画像領域外の領域とは異なる色変換処理を行うことにより画質を補正する補正部と、を備え、
前記着目対象画像領域における色値に対する画素の頻度分布を示す着目対象画像領域ヒストグラムを生成する生成部を更に備え、
前記補正部は、前記着目対象画像領域に対する色変換処理において、前記着目対象画像領域ヒストグラムの拡張を行い、
前記補正部は、前記着目対象画像領域ヒストグラムを所定の色値毎に複数の区間に分割し、前記分割された各区間の面積と前記着目対象画像領域ヒストグラム全体の面積との面積比を前記区間毎に算出し、前記算出された面積比が前記拡張の前後で等しくなるように前記拡張を行う
画像補正システム。

【請求項3】

前記補正部は、前記各区間における頻度が前記拡張の前後で等しくなるように前記拡張を行う
請求項２に記載の画像補正システム。

【請求項4】

前記補正部は、前記着目対象画像領域内のコントラストを向上させるように前記色変換処理を行う
請求項１～３のいずれか１項に記載の画像補正システム。

【請求項5】

前記補正部は、前記着目対象画像領域外の領域に対しては色変換処理を行わず、前記着目対象画像領域に対しては前記色変換処理を行う
請求項１～４のいずれか１項に記載の画像補正システム。

【請求項6】

前記補正部は、所定のガンマテーブルを生成し、前記生成されたガンマテーブルを用いて前記色変換処理を行う
請求項１～５のいずれか１項に記載の画像補正システム。

【請求項7】

着目対象が一部領域に含まれる元画像から着目対象を抽出する抽出ステップと、
抽出された着目対象の画像である着目対象画像領域に対して、当該着目対象画像領域外の領域とは異なる色変換処理を行うことにより画質を補正する補正ステップと、を備え、
前記着目対象画像領域における色値に対する画素の頻度分布を示す着目対象画像領域ヒストグラムを生成する生成ステップを更に備え、
前記補正ステップでは、前記着目対象画像領域に対する色変換処理において、前記着目対象画像領域ヒストグラムの拡張を行い、
前記生成ステップでは、前記着目対象画像領域とその周辺とを含む周辺領域における色値に対する画素の頻度分布を示す周辺領域ヒストグラムを更に生成し、
前記補正ステップでは、前記拡張後の着目対象画像領域ヒストグラムにおける最小色値及び最大色値が、前記周辺領域ヒストグラムにおける最小色値及び最大色値のそれぞれに対応するように前記拡張を行う
画像補正方法。

【請求項8】

着目対象が一部領域に含まれる元画像から着目対象を抽出する抽出ステップと、
抽出された着目対象の画像である着目対象画像領域に対して、当該着目対象画像領域外の領域とは異なる色変換処理を行うことにより画質を補正する補正ステップと、を備え、
前記着目対象画像領域における色値に対する画素の頻度分布を示す着目対象画像領域ヒストグラムを生成する生成ステップを更に備え、
前記補正ステップでは、前記着目対象画像領域に対する色変換処理において、前記着目対象画像領域ヒストグラムの拡張を行い、
前記補正ステップでは、前記着目対象画像領域ヒストグラムを所定の色値毎に複数の区間に分割し、前記分割された各区間の面積と前記着目対象画像領域ヒストグラム全体の面積との面積比を前記区間毎に算出し、前記算出された面積比が前記拡張の前後で等しくなるように前記拡張を行う
画像補正方法。

【請求項9】

着目対象が一部領域に含まれる元画像から着目対象を抽出する抽出ステップと、
抽出された着目対象の画像である着目対象画像領域に対して、当該着目対象画像領域外の領域とは異なる色変換処理を行うことにより画質を補正する補正ステップと、を備え、
前記着目対象画像領域における色値に対する画素の頻度分布を示す着目対象画像領域ヒストグラムを生成する生成ステップを更に備え、
前記補正ステップでは、前記着目対象画像領域に対する色変換処理において、前記着目対象画像領域ヒストグラムの拡張を行い、
前記生成ステップでは、前記着目対象画像領域とその周辺とを含む周辺領域における色値に対する画素の頻度分布を示す周辺領域ヒストグラムを更に生成し、
前記補正ステップでは、前記拡張後の着目対象画像領域ヒストグラムにおける最小色値及び最大色値が、前記周辺領域ヒストグラムにおける最小色値及び最大色値のそれぞれに対応するように前記拡張を行う画像補正方法をコンピュータに実行させる
プログラム。

【請求項10】

着目対象が一部領域に含まれる元画像から着目対象を抽出する抽出ステップと、
抽出された着目対象の画像である着目対象画像領域に対して、当該着目対象画像領域外の領域とは異なる色変換処理を行うことにより画質を補正する補正ステップと、を備え、
前記着目対象画像領域における色値に対する画素の頻度分布を示す着目対象画像領域ヒストグラムを生成する生成ステップを更に備え、
前記補正ステップでは、前記着目対象画像領域に対する色変換処理において、前記着目対象画像領域ヒストグラムの拡張を行い、
前記補正ステップでは、前記着目対象画像領域ヒストグラムを所定の色値毎に複数の区間に分割し、前記分割された各区間の面積と前記着目対象画像領域ヒストグラム全体の面積との面積比を前記区間毎に算出し、前記算出された面積比が前記拡張の前後で等しくなるように前記拡張を行う画像補正方法をコンピュータに実行させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像補正システム、画像補正方法、及びプログラムに関する。

【背景技術】

【0002】

近年、映像業界では、高解像度及び高コントラストの映像が主流となっている。コントラストを高める技術として、ＨＤＲ（High Dynamic Range）などを含む映像改善技術が知られている。関連する技術として、例えば、特許文献１は、被写体領域の明暗差を考慮したガンマ特性（非線形変換特性）を得ることが可能な画像処理装置を開示する。

【0003】

特許文献１が開示する画像処理装置は、画像から所定の被写体領域を検出する検出手段と、被写体領域における高輝度領域と低輝度領域の明暗差を表す値を取得する取得手段と、を備えている。また、この画像処理装置は、非線形変換特性を有する新たなガンマカーブを生成する生成手段と、生成された新たなガンマカーブを用いて画像の輝度レベルを変換する変換手段と、を更に備えている。当該生成手段は、それぞれが非線形変換特性を有し、輝度レンジによって互いに傾きが異なる複数のガンマカーブを、明暗差を表す値を用いて補間することで、当該新たなガンマカーブを生成する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－１２１０１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１が開示する技術では、生成された新たなガンマカーブを用いて、画像全体の輝度レベルを変換する。このようにすることで、被写体領域の明暗の強さに応じた適切なガンマ特性を用いて、被写体領域を含む画像全体を変換することができる。したがって、例えば人の顔領域のような、平らではない領域を被写体領域とする場合でも、当該領域における明暗差を考慮してＨＤＲを適用することができるので、当該領域に対して適切な画質を実現することができる。

【0006】

しかし、画像全体に対してＨＤＲを適用した場合、被写体領域ではコントラストの改善効果が得られるが、それ以外の領域については、意図しない画質の変化が生じるという問題がある。

【0007】

本開示の目的は、上述した課題を鑑み、画質の補正を適切に行うことが可能な画像補正システム、画像補正方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

本開示にかかる画像補正システムは、
着目対象が一部領域に含まれる元画像から着目対象を抽出する抽出部と、
抽出された着目対象の画像である着目対象画像領域に対して、当該着目対象画像領域外の領域とは異なる色変換処理を行うことにより画質を補正する補正部と、を備えるものである。

【0009】

本開示にかかる画像補正方法は、
着目対象が一部領域に含まれる元画像から着目対象を抽出する抽出ステップと、
抽出された着目対象の画像である着目対象画像領域に対して、当該着目対象画像領域外の領域とは異なる色変換処理を行うことにより画質を補正する補正ステップと、を備えるものである。

【0010】

本開示にかかるプログラムは、
着目対象が一部領域に含まれる元画像から着目対象を抽出する抽出ステップと、
抽出された着目対象の画像である着目対象画像領域に対して、当該着目対象画像領域外の領域とは異なる色変換処理を行うことにより画質を補正する補正ステップと、を備える画像補正方法をコンピュータに実行させるものである。

【発明の効果】

【0011】

本開示にかかる画像補正システム、画像補正方法、及びプログラムは、画質の補正を適切に行うことを可能とする。

【図面の簡単な説明】

【0012】

【図1】実施形態１にかかる画像補正システムの構成を示すブロック図である。

【図2】実施形態１にかかる画像補正システムの処理を示すフローチャートである。

【図3】実施形態２にかかる画像補正システムが行う処理の概要を示す図である。

【図4】実施形態２にかかる画像補正システムの構成を示すブロック図である。

【図5】実施形態２における着目対象画像領域及び周辺領域の抽出処理を示す図である。

【図6】実施形態２において生成される２つのヒストグラムを示す図である。

【図7】実施形態２にかかる着目対象画像領域ヒストグラムを示す図である。

【図8】実施形態２にかかる周辺領域ヒストグラムを示す図である。

【図9】実施形態２における着目対象画像領域のヒストグラム拡張を示す図である。

【図10】実施形態２にかかる着目対象画像領域ヒストグラムの拡張前後における各区間の頻度及び面積比を示す図である。

【図11】実施形態２にかかる画像補正前後の画像を示す図である。

【図12】実施形態２にかかる画像補正システムの処理を示すフローチャートである。

【図13】実施形態２にかかる画像補正システム等のハードウエア構成例を示す図である。

【発明を実施するための形態】

【0013】

＜実施形態１＞
以下、図面を参照して本開示の実施形態について説明する。図１は、本実施形態にかかる画像補正システム１０の構成を示すブロック図である。同図に示されるように、画像補正システム１０は、抽出部１１及び補正部１２を備えている。
抽出部１１は、着目対象が一部領域に含まれる元画像から着目対象を抽出する。補正部１２は、抽出部１１において抽出された着目対象の画像である着目対象画像領域に対して、当該着目対象画像領域外の領域とは異なる色変換処理を行うことにより画質を補正する。

【0014】

図２は、画像補正システム１０が行う処理を示すフローチャートである。まず、抽出部１１は、着目対象が一部領域に含まれる元画像から着目対象を抽出する（Ｓ１１）。次に、補正部１２は、Ｓ１１の処理において抽出された着目対象の画像である着目対象画像領域に対して、当該着目対象画像領域外の領域とは異なる色変換処理を行うことにより画質を補正する（Ｓ１２）。

【0015】

以上のように、本実施形態にかかる画像補正システム１０は、着目対象画像領域とそれ以外の領域とで異なる色変換処理を行うので、着目対象画像領域外で意図しない画質の変化を生じさせることなく、画質の補正を適切に行うことができる。

【0016】

＜実施形態２＞
実施形態２は、上述した実施形態１の具体例である。以下では、図面を用いて本実施形態にかかる画像補正システム１０００について説明する。

【0017】

図３は、画像補正システム１０００が行う処理の概要を示す図である。画像補正システム１０００は、画像補正装置１００及び撮像装置３００を備えている。画像補正システム１０００では、画像補正装置１００が撮像装置３００から画像データを取得し、画像データにおける各画素の色値を変換する色変換処理を行うことで画像補正処理を行う。色値は、各画素におけるＲ値、Ｇ値、及び、Ｂ値の組み合わせが用いられてよい。画像補正システム１０００は、このような処理を行うことで、当該画像データの画質の改善を実現するシステムである。

【0018】

補正前の画像データを元画像２００とすると、元画像２００には、一部領域に着目対象が含まれている。ここでは、図３に示されるような円筒が着目対象であるものとして説明を行う。画像補正装置１００は、元画像２００から着目対象を抽出し、当該着目対象の画像である着目対象画像領域２１０を取得する。

【0019】

ここで、元画像２００において、着目対象画像領域２１０とは異なる領域を、着目対象外画像領域２９０とする。画像補正装置１００は、着目対象画像領域２１０に対して、着目対象外画像領域２９０とは異なる色変換処理を行うことにより、元画像２００の画質を補正する。このようにすることで、画像補正装置１００は、各領域に適した画質補正を行うことができる。画像補正装置１００は、着目対象画像領域２１０及び着目対象外画像領域２９０のいずれか一方にのみ色変換処理を行ってもよいし、それぞれに対して異なる色変換処理を行ってもよい。

【0020】

本実施形態では、画像補正装置１００は、着目対象外画像領域２９０に対しては色変換処理を行わず、着目対象画像領域２１０に対しては色変換処理を行うこととする。画像補正装置１００は、例えば、着目対象画像領域２１０に対し、当該領域内のコントラストを向上させるように色変換処理を行う。

【0021】

例えば、図３に示されるように、元画像２００が全体的に暗い画像であり、元画像２００における着目対象画像領域２１０が明瞭でないとする。画像補正装置１００は、着目対象画像領域２１０に対して色変換処理を行うことで、着目対象画像領域２１０のコントラストを向上させる補正を行う。このようにすることで、補正後の補正画像２０１において、補正前よりも明瞭な着目対象画像領域２１０を得ることができる。

【0022】

同図下段に示されるように、画像補正装置１００が行う画像補正処理には、着目対象の抽出、ヒストグラム生成、ガンマテーブル生成、及びガンマテーブルによる補正の各処理を含み得る。これらの詳細な説明については後述する。

【0023】

続いて、画像補正システム１０００の各構成について説明する。図４は、画像補正システム１０００の構成を示すブロック図である。画像補正システム１０００は、画像補正装置１００及び撮像装置３００を備えている。画像補正装置１００及び撮像装置３００は、それぞれの機能が同一の装置に集約されていてもよい。また、画像補正装置１００の各機能部は、複数の装置を用いて分散処理されていてもよい。

【0024】

撮像装置３００は、所定の領域を撮像して画像データを取得し、取得した画像データを画像補正装置１００に送信する装置である。撮像装置３００は、例えば、定点カメラでもよいし、手動または自動で視野を変更可能なカメラでもよい。また、撮像装置３００は、携帯可能な情報端末であってもよい。例えば、撮像装置３００は、スマートフォン、タブレット、カメラ付き携帯電話などを含み得る。撮像装置３００は、物体、人物、動物、又は建築物などが含まれる風景などを撮像して２次元画像データを取得し、取得された２次元画像データを画像補正装置１００に送信する。撮像する対象は、上記に限らず、どのようなものでもよい。撮像装置３００は、静止画に限らず、動画を撮像してもよい。

【0025】

画像補正装置１００は、撮像装置３００から画像データを取得し、当該画像データに対し所定の画像補正処理を行う装置である。画像補正装置１００は、狭義の実施形態１にかかる画像補正システム１０を構成する。図４に示されるように、画像補正装置１００は、取得部１１０、抽出部１２０、生成部１３０、補正部１４０、及び表示部１５０を備えている。

【0026】

取得部１１０は、撮像装置３００から、画像データを取得する。ここでは、撮像装置３００から取得した画像データを元画像２００とする。元画像２００は、着目対象を一部領域に含んでいる。取得部１１０は、取得した元画像２００を記憶部（不図示）に記憶してもよいし、ユーザの要求に応じて表示部１５０に出力してもよい。

【0027】

抽出部１２０は、実施形態１の抽出部１１に相当するものである。抽出部１２０は、取得部１１０において取得された元画像２００から着目対象を抽出する。また、抽出部１２０は、着目対象とその周辺とを含む周辺領域を抽出する。

【0028】

図５は、抽出部１２０における着目対象及びその周辺領域の抽出処理を示す図である。抽出部１２０は、元画像２００から、Deep Learningなどの公知の技術を用いて、着目対象を抽出する。ここでは、着目対象として円柱が示されている。ここで、抽出部１２０において抽出された着目対象の画像を着目対象画像領域２１０とする。また、着目対象画像領域２１０とその周辺とを含む領域を周辺領域２２０とする。

【0029】

着目対象の抽出処理において、抽出部１２０は、例えば、物体、人物、動物、又は建築物などを個別認識することが可能であってよい。また、着目対象は、これらの全体部分に限らず、一部分であってもよい。例えば、抽出部１２０は、着目対象として、人の全身を抽出してもよいし、人の顔部分のみを抽出してもよい。抽出部１２０は、予め学習された機械学習モデルを用いて、上記のような着目対象を抽出する。

【0030】

周辺領域２２０は、例えば、図５に示されるように、着目対象画像領域２１０を包含する矩形領域であってよい。これに限らず、周辺領域２２０は、着目対象画像領域２１０を、所定の画素数だけ外側に向かって拡張した領域であってもよい。周辺領域２２０は、矩形領域に限らず、円形領域などであってもよい。また、周辺領域２２０は、着目対象画像領域２１０を包含していなくともよい。例えば、周辺領域２２０の輪郭の一部が着目対象画像領域２１０の輪郭と重複していてもよい。上記に限らず、抽出部１２０は、任意の方法を用いて周辺領域２２０を抽出してよい。

【0031】

なお、元画像２００のうち、着目対象画像領域２１０以外の領域は、図３を用いて説明した着目対象外画像領域２９０に相当する。

【0032】

生成部１３０は、着目対象画像領域２１０における色値に対する画素の頻度分布を示す着目対象画像領域ヒストグラムＨ１０を生成する。また、生成部１３０は、周辺領域２２０における色値に対する画素の頻度分布を示す周辺領域ヒストグラムＨ２０を生成する。図６は、着目対象画像領域２１０及び周辺領域２２０から、着目対象画像領域ヒストグラムＨ１０及び周辺領域ヒストグラムＨ２０がそれぞれ生成されることを示す図である。一般的に、画像はＲＧＢのデータを有しているが、本実施形態では、生成部１３０は、ＲＧＢのいずれかの最大値を用いて各ヒストグラムを生成することとする。

【0033】

補正部１４０は、実施形態１の補正部１２に相当するものである。補正部１４０は、着目対象画像領域２１０に対して、着目対象画像領域２１０以外の領域とは異なる色変換処理を行うことにより画質を補正する。

【0034】

まず、補正部１４０は、生成部１３０において生成された着目対象画像領域ヒストグラムＨ１０及び周辺領域ヒストグラムＨ２０において、それぞれの最大色値及び最小色値を算出する。

【0035】

図７は、着目対象画像領域ヒストグラムＨ１０を示す図である。補正部１４０は、着目対象画像領域ヒストグラムＨ１０において、最小色値Ｈ１０ｍｉｎ及び最大色値Ｈ１０ｍａｘを算出する。補正部１４０は、着目対象画像領域ヒストグラムＨ１０の両端の値を最小色値Ｈ１０ｍｉｎ及び最大色値Ｈ１０ｍａｘとして算出してよい。これに限らず、補正部１４０は、所定の閾値を設けて、着目対象画像領域ヒストグラムＨ１０の両端よりも内側の色値を最小色値Ｈ１０ｍｉｎ及び最大色値Ｈ１０ｍａｘとして算出してもよい。

【0036】

図８は、周辺領域ヒストグラムＨ２０を示す図である。補正部１４０は、着目対象画像領域ヒストグラムＨ１０と同様にして、周辺領域ヒストグラムＨ２０における最小色値Ｈ２０ｍｉｎ及び最大色値Ｈ２０ｍａｘを算出する。本実施形態において、周辺領域２２０は、着目対象画像領域２１０を包含する矩形領域である。また、着目対象画像領域２１０の周辺は、着目対象画像領域２１０とはある程度、色味の違いがあるものとする。そのため、周辺領域ヒストグラムＨ２０は、着目対象画像領域ヒストグラムＨ１０と比較して、最小色値及び最大色値間の幅が広くなっているものとする。

【0037】

補正部１４０は、着目対象画像領域ヒストグラムＨ１０の拡張を行うことで、着目対象画像領域２１０に対する色変換処理を行う。図９は、着目対象画像領域ヒストグラムＨ１０の拡張を示す図である。補正部１４０は、同図上段に示される着目対象画像領域ヒストグラムＨ１０を、同図下段に示される補正後の着目対象画像領域ヒストグラムＨ１１のように拡張する拡張処理を行う。

【0038】

ここで、補正部１４０は、拡張後の着目対象画像領域ヒストグラムＨ１１における最小色値Ｈ１１ｍｉｎ及び最大色値Ｈ１１ｍａｘが、周辺領域ヒストグラムＨ２０における最小色値Ｈ２０ｍｉｎ及び最大色値Ｈ２０ｍａｘのそれぞれに対応するように、当該拡張処理を行う。このようにすることで、補正部１４０は、周辺領域２２０の色値を考慮して、着目対象画像領域２１０の色変換処理を行うことができる。したがって、色変換処理後に得られる画像においては、補正後の着目対象画像領域２１０と、その周辺の画像領域との間に生じる違和感を軽減することができる。

【0039】

なお、ここでは、最小色値Ｈ１１ｍｉｎ及び最大色値Ｈ１１ｍａｘが、最小色値Ｈ２０ｍｉｎ及び最大色値Ｈ２０ｍａｘのそれぞれに対応するようにヒストグラム拡張を行うこととしたが、これに限られない。補正部１４０は、最小色値Ｈ２０ｍｉｎ及び最大色値Ｈ２０ｍａｘに代えて、他の色値を２点抽出し、抽出された色値間の幅がヒストグラム拡張前後において維持されるように補正を行ってもよい。また、補正部１４０は、３点以上の色値を抽出して、複数区間において異なる拡張処理を行うようにしてもよい。

【0040】

また、図９に示されるように、補正部１４０は、着目対象画像領域ヒストグラムＨ１０を所定の色値毎に複数の区間に分割する。分割するための所定の色値は、予め設定されていてもよいし、ヒストグラムの幅を所定の数で等分するなどしてもよい。また、間隔の異なる区間が存在してもよい。

【0041】

補正部１４０は、分割された各区間の面積と着目対象画像領域ヒストグラムＨ１０全体の面積との面積比を区間毎に算出する。補正部１４０は、算出された面積比が拡張の前後で等しくなるように拡張処理を行う。例えば、同図に示されるように、着目対象画像領域ヒストグラムＨ１０において分割された各区間を１０ａ、１０ｂ、１０ｃ・・・とし、これらに対応する拡張後の着目対象画像領域ヒストグラムＨ１１における各区間を１１ａ、１１ｂ、１１ｃ・・・とする。

【0042】

図１０は、拡張処理前後における各区間の頻度及び面積比の一例を示す図である。ここでは、対応する各区間における画素の頻度は、拡張処理の前後において等しくなっている。そのため、各区間の面積と、各ヒストグラム全体の面積との面積比も、拡張前後において等しい。ここでは、各区間における頻度が拡張の前後で等しくなるように拡張を行ったが、これに限られない。

【0043】

補正部１４０は、上記のようなヒストグラム拡張を実現することが可能な、所定のガンマテーブル５０を生成する。補正部１４０は、生成したガンマテーブル５０を記憶部に記憶しておき、色変換処理の際にこれを参照してもよい。

【0044】

補正部１４０は、生成されたガンマテーブル５０を用いて、着目対象画像領域２１０に対して色変換処理を行う。補正部１４０は、着目対象画像領域２１０外の領域である着目対象外画像領域２９０に対しては、色変換処理を行わない。このようにすることで、着目対象画像領域２１０内のコントラストを向上させて画質を改善させつつ、着目対象外画像領域２９０の画質は補正前の状態を保持することができる。

【0045】

補正部１４０は、色変換処理により補正後の画像データを取得する。補正後の画像データを補正画像２０１とする。補正部１４０は、補正画像２０１を表示部１５０に出力する。

【0046】

なお、上述の説明では、補正部１４０は、着目対象外画像領域２９０に対しては色変換処理を行わず、着目対象画像領域２１０に対してのみ当該処理を行ったが、これに限られない。補正部１４０は、着目対象画像領域２１０及び着目対象外画像領域２９０の双方に対して色変換処理を行ってもよい。例えば、着目対象画像領域２１０に対しては、上述のような補正を行い、着目対象外画像領域２９０に対しては、より画質の変化が少ない補正を行ってもよい。

【0047】

また、元画像２００内に着目対象が複数ある場合には、補正部１４０は、それぞれの着目対象画像領域２１０に対して、上記のような色変換処理を行ってよい。補正部１４０は、複数の着目対象画像領域２１０のいずれにも含まれない領域に対しては色変換処理を行わない、又はより画質の変化を生じにくい補正処理を行う。このようにすることで、複数の着目対象画像領域２１０に対しては画質を改善しつつ、それ以外の領域の画質を維持することができる。

【0048】

さらに、補正部１４０は、抽出部１２０において抽出された着目対象が人であるか、又は物体であるか、などの属性に応じて補正内容を異なるものにしてもよい。このようにすることで、着目対象の属性に応じて、より適切な補正を行うことができる。

【0049】

表示部１５０は、取得部１１０から受け取った元画像２００及び補正部１４０から受け取った補正画像２０１を表示する。表示部１５０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどを含み得る。図１１は、補正前後の画像の例を示す図である。ここでは、着目対象外画像領域２９０に対しては補正を行わず、着目対象画像領域２１０に対してのみ補正を行うので、補正画像２０１では、着目対象画像領域２１０がより明瞭となっている。表示部１５０は、元画像２００及び補正画像２０１を別の画面上に表示してもよいし、同一画面上に表示してもよい。

【0050】

続いて、図１２に示されるフローチャートを用いて、画像補正装置１００が行う処理を説明する。
まず、取得部１１０（図４を参照）は、撮像装置３００から元画像２００を取得する（Ｓ１０１）。元画像２００は、一部領域に着目対象を含んでいる。

【0051】

次に、抽出部１２０は、着目対象画像領域２１０及び周辺領域２２０を抽出する（Ｓ１０２）。着目対象画像領域２１０は、Deep Learningなどの技術を用いて抽出されてよい。周辺領域２２０は、例えば、着目対象画像領域２１０を包含する矩形領域などであってよい。

【0052】

続いて、生成部１３０は、着目対象画像領域ヒストグラムＨ１０及び周辺領域ヒストグラムＨ２０を生成する（Ｓ１０３）。着目対象画像領域ヒストグラムＨ１０は、着目対象画像領域２１０における色値に対する画素の頻度分布を示すヒストグラムである。周辺領域ヒストグラムＨ２０は、周辺領域２２０における色値に対する画素の頻度分布を示すヒストグラムである。

【0053】

補正部１４０は、着目対象画像領域ヒストグラムＨ１０及び周辺領域ヒストグラムＨ２０の最小色値及び最大色値をそれぞれ算出する（Ｓ１０４）。補正部１４０は、着目対象画像領域ヒストグラムＨ１０を所定の色値毎に複数の区間に分割し、分割された各区間の面積と、当該ヒストグラム全体の面積との面積比を区間毎に算出する（Ｓ１０５）。

【0054】

補正部１４０は、所定の条件を満たすガンマテーブル５０を生成する（Ｓ１０６）。具体的には、ガンマテーブル５０は、補正部１４０が行う色変換処理において、以下に示される条件を満たすように生成される。

【0055】

まず、ガンマテーブル５０は、ヒストグラム拡張後の着目対象画像領域ヒストグラムＨ１１における最小色値及び最大色値が、周辺領域ヒストグラムＨ２０における最小色値及び最大色値のそれぞれに対応するように生成される。

【0056】

また、ガンマテーブル５０は、Ｓ１０５の処理において算出された、各区間における面積と当該ヒストグラム全体の面積との面積比とが拡張前後で等しくなるように生成される。例えば、ガンマテーブル５０は、各区間における頻度が拡張前後で等しくなるように生成される。

【0057】

補正部１４０は、生成されたガンマテーブル５０を用いて、着目対象画像領域２１０に対して色変換処理を行う（Ｓ１０７）。ここで、補正部１４０は、着目対象外画像領域２９０に対しては色変換処理を行わず、着目対象画像領域２１０に対してのみ色変換処理を行う。このようにすることで、補正部１４０は、着目対象画像領域２１０内のコントラストを向上させつつ、着目対象外画像領域２９０に対しては元画像２００の画質を保持したまま、画質の補正を行うことができる。これに限らず、補正部１４０は、着目対象外画像領域２９０に対し、着目対象画像領域２１０とは異なる何らかの色変換処理を行ってもよい。

【0058】

補正部１４０は、補正後の画像を表示部１５０に出力する（Ｓ１０８）。表示部１５０は、補正後の画像を表示してよい。

【0059】

以上説明したように、本実施形態にかかる画像補正システム１０００では、元画像２００から着目対象画像領域２１０を抽出し、当該領域に対してのみ、コントラストを向上させるように色変換処理を行い、それ以外の領域については色変換処理を行わない。このようにすることで、着目対象画像領域２１０の画像品質を向上させつつ、着目対象画像領域２１０以外の領域の画像品質を保持することができる。

【0060】

また、着目対象画像領域２１０の抽出においては、予め学習された機械学習モデルを用いるので、ユーザが着目する可能性が高い物体などを対象として画質の改善を行うことができる。

【0061】

更に、画像補正システム１０００では、色変換処理において、着目対象画像領域２１０及びその周辺を含む周辺領域２２０におけるヒストグラムをそれぞれ生成し、これらに基づいてヒストグラムの拡張処理を行う。ヒストグラムは、拡張後の着目対象画像領域２１０における最小色値及び最大色値が、周辺領域２２０の最小色値及び最大色値にそれぞれ対応するように拡張される。また、ヒストグラムは、各区間における面積と当該ヒストグラム全体の面積との面積比とが拡張前後で等しくなるように拡張される。このようにすることで、補正後の画像において、着目対象画像領域２１０とその周辺との間に生じる違和感を軽減することができるので、画質の補正を適切に行うことができる。

【0062】

＜ハードウエアの構成例＞
画像補正装置１００及び撮像装置３００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、画像補正システム１０００等の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、更に説明する。

【0063】

図１３は、画像補正装置１００等を実現するコンピュータ５００のハードウエア構成を例示するブロック図である。コンピュータ５００は、画像補正装置１００等を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータであってもよい。

【0064】

例えば、コンピュータ５００に対して所定のアプリケーションをインストールすることにより、コンピュータ５００で、画像補正装置１００等の各機能が実現される。上記アプリケーションは、画像補正装置１００等の機能構成部を実現するためのプログラムで構成される。

【0065】

コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。

【0066】

プロセッサ５０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ５０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス５０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

【0067】

入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

【0068】

ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。

【0069】

ストレージデバイス５０８は、画像補正装置１００等の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、画像補正装置１００等の各機能構成部を実現する。

【0070】

プロセッサの各々は、アルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ（compact disc）、又はＤＶＤ（digital versatile disk）などの光ディスク媒体、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0071】

なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の説明では、静止画を用いて説明を行ったが、動画に対して同様の処理を行ってもよい。抽出された着目対象画像領域に対する補正に用いるガンマテーブルをリアルタイムに更新することで、動画においても着目対象を明瞭に表示することができる。動画内で着目対象が移動するような場合には、着目対象をリアルタイムで補正することできるので、着目対象の動きを容易に捉えることができる。例えば、夜間に撮像された防犯カメラ映像などにおいては、着目対象の人の動線だけでなく、その表情までもより明瞭に把握することができる。

【0072】

これに限らず、本開示にかかる画像補正システムは、例えば、アミューズメントパーク、カメラ内蔵のＬＳＩ（Large Scale Integration）、又は各種センサ類など、様々なものに対し適用されてもよい。

【符号の説明】

【0073】

１０ 画像補正システム
１１ 抽出部
１２ 補正部
５０ ガンマテーブル
１００ 画像補正装置
１１０ 取得部
１２０ 抽出部
１３０ 生成部
１４０ 補正部
１５０ 表示部
２００ 元画像
２０１ 補正画像
２１０ 着目対象画像領域
２２０ 周辺領域
２９０ 着目対象外画像領域
３００ 撮像装置
５００ コンピュータ
５０２ バス
５０４ プロセッサ
５０６ メモリ
５０８ ストレージデバイス
５１０ 入出力インタフェース
５１２ ネットワークインタフェース
１０００ 画像補正システム
Ｈ１０ 着目対象画像領域ヒストグラム
Ｈ１１ 着目対象画像領域ヒストグラム
Ｈ２０ 周辺領域ヒストグラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】