特開 2023-172980 画像表示装置及び画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023172980

(43)【公開日】2023-12-07

(54)【発明の名称】画像表示装置及び画像表示方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20231130BHJP

【ＦＩ】

G06T7/70 Z

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022084883

(22)【出願日】2022-05-25

(71)【出願人】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100147304

【弁理士】

【氏名又は名称】井上 知哉

(74)【代理人】

【識別番号】100148493

【弁理士】

【氏名又は名称】加藤 浩二

(72)【発明者】

【氏名】神田 貴史

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096CA01

5L096DA02

5L096DA04

5L096FA15

5L096FA69

5L096GA51

5L096HA11

5L096JA03

(57)【要約】

【課題】特定色に関する画質の調整を適切に行う画像表示装置及び画像表示方法等の提供。
【解決手段】画像表示装置は、入力画像を取得する画像取得部と、入力画像から所定のオブジェクトを検出するオブジェクト検出部と、所定のオブジェクトのサイズを求めるサイズ取得部と、所定のオブジェクトのサイズに基づいて、所定のオブジェクトが有する特定色に関して画質を調整するか否かを判定する判定部と、特定色に関して入力画像の少なくとも一部の領域の画質を調整する画質調整部と、画質が調整された入力画像を表示パネルに表示する制御を行う表示制御部と、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

入力画像を取得する画像取得部と、
前記入力画像から所定のオブジェクトを検出するオブジェクト検出部と、
前記所定のオブジェクトのサイズを求めるサイズ取得部と、
前記所定のオブジェクトの前記サイズに基づいて、前記所定のオブジェクトが有する特定色に関して画質を調整するか否かを判定する判定部と、
前記判定部において前記画質の調整を行うと判定された場合、前記特定色に関して、前記入力画像の少なくとも一部の領域の前記画質を調整する画質調整部と、
前記画質が調整された前記入力画像を表示パネルに表示する制御を行う表示制御部と、
を含む画像表示装置。

【請求項2】

請求項１において、
前記判定部は、
前記所定のオブジェクトの前記サイズが所定サイズより大きい場合、前記特定色に関する前記画質の調整を行うと判定する画像表示装置。

【請求項3】

請求項１において、
前記判定部は、
前記所定のオブジェクトの前記サイズに基づいて指標値を求め、前記指標値と所与の閾値とに基づいて、前記特定色に関する前記画質の調整を行うか否かを判定する画像表示装置。

【請求項4】

請求項３において、
前記判定部は、
前記入力画像から前記所定のオブジェクトが複数検出された場合、少なくとも１つの前記所定のオブジェクトの前記サイズに基づいて、前記指標値を求める画像表示装置。

【請求項5】

請求項４において、
前記判定部は、
前記入力画像から検出された前記所定のオブジェクトの位置に基づいて、前記指標値を求める画像表示装置。

【請求項6】

請求項３乃至５の何れか一項において、
前記入力画像のシーンを判定し、シーン判定結果を取得するシーン取得部を含み、
前記判定部は、
前記サイズに基づくサイズ指標値と、前記シーン判定結果に基づくシーン指標値を取得し、前記サイズ指標値及び前記シーン指標値に基づいて、前記指標値を求める画像表示装置。

【請求項7】

請求項６において、
前記シーン取得部は、
前記入力画像が、前記所定のオブジェクトに対応するシーンである確からしさを、前記シーン判定結果として取得する画像表示装置。

【請求項8】

請求項６において、
前記判定部は、
前記サイズ指標値に対して第１重みにより重み付けを行い、前記シーン指標値に対して第２重みによる重み付けを行い、重み付け後の前記サイズ指標値及び重み付け後の前記シーン指標値に基づいて、前記指標値を求める画像表示装置。

【請求項9】

請求項６において、
前記シーン取得部は、
前記入力画像が、アニメーションである確からしさを表す前記シーン判定結果を取得し、
前記判定部は、
前記入力画像が前記アニメーションである前記確からしさに基づいて、前記サイズ指標値及び前記シーン指標値の少なくとも一方に対して、重み付け処理を行う画像表示装置。

【請求項10】

請求項３乃至５の何れか一項において、
前記判定部は、
前記指標値に対して、時系列的な変動を抑制するフィルタ処理を行い、
前記画質調整部は、
前記フィルタ処理後の前記指標値に基づいて、前記画質を調整する画像表示装置。

【請求項11】

請求項１乃至５の何れか一項において、
前記画質調整部は、
前記入力画像のうち、前記オブジェクト検出部によって検出された前記所定のオブジェクトに対応する領域の前記画質を調整し、且つ、他の領域の前記画質を調整しない、画像表示装置。

【請求項12】

請求項１乃至５の何れか一項において、
前記画質調整部は、
前記入力画像のうち、前記オブジェクト検出部によって検出された前記所定のオブジェクトに対応する領域、及び、前記所定のオブジェクトに対応しない領域を含む領域の前記画質を調整する、画像表示装置。

【請求項13】

入力画像を取得し、
前記入力画像から所定のオブジェクトを検出し、
前記所定のオブジェクトのサイズを求め、
前記所定のオブジェクトの前記サイズに基づいて、前記所定のオブジェクトが有する特定色に関する画質を調整するか否か判定し、
前記画質の調整を行うと判定された場合、前記特定色に関して、前記入力画像の少なくとも一部の領域の前記画質を調整し、
前記画質が調整された前記入力画像を表示パネルに表示する制御を行う、
画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像表示装置及び画像表示方法等に関する。

【背景技術】

【0002】

従来、画像中の特定色に関して画質の調整を行う手法が知られている。例えば特許文献１には、顔の肌色等の特定色が含まれる画素数をカウントした結果に基づき、特定色の画素数の割合が大きい場合は、特定色領域に好適な補正を行う手法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４－２９７６１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の手法は、肌色等の特定色の画素情報に基づいて、補正を行うか否かを判定する。しかし、マスクやサングラス等で顔の一部が隠れる、顔がぼやけている等の状況では、肌色の画素数が少なくなる。そのため特許文献１の手法では、入力画像に占める顔の割合が大きい場合でも、顔の肌色に好適な補正を行えない可能性がある。

【0005】

本開示のいくつかの態様によれば、特定色に関する画質の調整を適切に行う画像表示装置及び画像表示方法等を提供できる。

【課題を解決するための手段】

【0006】

本開示の一態様は、入力画像を取得する画像取得部と、前記入力画像から所定のオブジェクトを検出するオブジェクト検出部と、前記所定のオブジェクトのサイズを求めるサイズ取得部と、前記所定のオブジェクトの前記サイズに基づいて、前記所定のオブジェクトが有する特定色に関して画質を調整するか否かを判定する判定部と、前記判定部において前記画質の調整を行うと判定された場合、前記特定色に関して、前記入力画像の少なくとも一部の領域の前記画質を調整する画質調整部と、前記画質が調整された前記入力画像を表示パネルに表示する制御を行う表示制御部と、を含む画像表示装置に関係する。

【0007】

本開示の他の態様は、入力画像を取得し、前記入力画像から所定のオブジェクトを検出し、前記所定のオブジェクトのサイズを求め、前記所定のオブジェクトの前記サイズに基づいて、前記所定のオブジェクトが有する特定色に関する画質を調整するか否か判定し、前記画質の調整を行うと判定された場合、前記特定色に関して、前記入力画像の少なくとも一部の領域の前記画質を調整し、前記画質が調整された前記入力画像を表示パネルに表示する制御を行う、画像表示方法に関係する。

【図面の簡単な説明】

【0008】

【図1】画像表示装置の一例であるテレビ受信装置の外観例である。

【図2】画像表示装置の一例であるテレビ受信装置の構成例である。

【図3】画像表示装置の構成例である。

【図4】画像表示装置の処理を説明するフローチャートである。

【図5】オブジェクト検出結果の例である。

【図6】サイズ指標値の取得処理を説明するフローチャートである。

【図7】サイズ統計量とサイズ指標値の関係例である。

【図8A】特定色に関する画質調整の要否判定処理を説明するフローチャートである。

【図8B】特定色に関する画質調整の要否判定処理を説明するフローチャートである。

【図9A】指標値の時系列変化の例である。

【図9B】ヒステリシス処理結果の時系列変化の例である。

【図9C】チャタリングフィルタ処理結果の時系列変化の例である。

【図10】画像表示装置の構成例である。

【図11】画像表示装置の処理を説明するフローチャートである。

【図12】シーン判定の入出力を説明する図である。

【図13】シーン判定結果（シーン指標値）とオブジェクト検出結果の例である。

【図14】指標値の取得処理を説明するフローチャートである。

【発明を実施するための形態】

【0009】

以下、本実施形態について図面を参照しつつ説明する。図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

【0010】

１．第１実施形態
１．１ システム構成
図１は、本実施形態に係る画像表示装置１００の一例であるテレビ受信装置１０の構成例を示す図である。テレビ受信装置１０は、例えばテレビジョン放送の放送波を受信し、受信した放送波に基づく映像を表示パネル１６に表示する装置である。なお図１はテレビ受信装置１０の外観構成の一例であり、具体的な形状については種々の変形実施が可能である。

【0011】

図２は、テレビ受信装置１０のハードウェア構成例を示す図である。テレビ受信装置１０は、プロセッサー１１、チューナー１２、通信インターフェイス１３、メモリー１４、操作インターフェイス１５、表示パネル１６を含む。ただし、テレビ受信装置１０の構成は図２に限定されず、一部の構成を省略する、他の構成を追加する等の種々の変形実施が可能である。

【0012】

プロセッサー１１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等、各種のプロセッサーを用いることが可能である。またプロセッサー１１は、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを含んでもよい。プロセッサー１１は、テレビ受信装置１０の各部に接続され、各部の制御を実行する。

【0013】

チューナー１２は、特定の周波数のテレビジョン放送の放送波を受信するインターフェイス及び、受信した放送波に対する処理を実行する回路等を含む。例えばここでのインターフェイスは、アンテナケーブルを接続するための端子である。またここでの回路等は、ＲＦ（Radio Frequency）回路、復号化を行う復号回路、アナログ／デジタル変換を行うＡ／Ｄ変換回路等を含んでもよい。チューナー１２は、アンテナからテレビジョン放送の放送波に対応する信号を受信し、当該信号に基づく映像信号をプロセッサー１１に出力する。ここでの映像信号は、例えば時系列的に取得される複数の画像の集合である。

【0014】

通信インターフェイス１３は、例えばＩＥＥＥ８０２．１１等の通信方式に従った通信を行うインターフェイスであり、狭義には当該通信方式に従った通信を行うための通信チップである。例えばテレビ受信装置１０は、通信インターフェイス１３を介してインターネット等の公衆通信網と通信を行う。具体的には、テレビ受信装置１０は、公衆通信網を介してコンテンツサーバーに接続し、当該コンテンツサーバーから映画等の映像コンテンツを受信する処理を行ってもよい。

【0015】

メモリー１４は、プロセッサー１１のワーク領域であって、種々の情報を記憶する。メモリー１４は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリーであってもよいし、レジスタであってもよいし、ＨＤＤ（Hard Disk Drive）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。

【0016】

操作インターフェイス１５は、ユーザーがテレビ受信装置１０を操作する際に用いられるインターフェイスであり、テレビ受信装置１０の筐体に設けられるボタンであってもよいし、リモコンとの通信に用いられるインターフェイス（例えば赤外線の受信装置）であってもよい。

【0017】

表示パネル１６は、画像を表示するディスプレイである。表示パネル１６は、例えば液晶ディスプレイであってもよいし、有機ＥＬディスプレイであってもよいし、他の方式のディスプレイであってもよい。

【0018】

図３は、本実施形態に係る画像表示装置１００の構成例を示す図である。画像表示装置１００は、画像取得部１１０、オブジェクト検出部１２０、サイズ取得部１３０、判定部１５０、画質調整部１６０、表示制御部１７０を含む。ただし、画像表示装置１００の構成は図３に限定されず、構成の追加や省略等の変形実施が可能である。

【0019】

本実施形態の画像表示装置１００は、例えば図２に示したテレビ受信装置１０に対応する。例えば画像表示装置１００の各部は、テレビ受信装置１０のプロセッサー１１により実現されてもよい。例えばメモリー１４は、プログラムと各種のデータ等を記憶する。より具体的には、メモリー１４はコンピューターによって読み取り可能な命令を格納しており、当該命令をプロセッサー１１が実行することによって、図３に示した画像表示装置１００の各部の機能が処理として実現される。画像表示装置１００の各部とは、画像取得部１１０、オブジェクト検出部１２０、サイズ取得部１３０、判定部１５０、画質調整部１６０、表示制御部１７０を含む。また画像表示装置１００の各部は、図１０を用いて後述するシーン取得部１４０を含んでもよい。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサー１１のハードウェア回路に対して動作を指示する命令であってもよい。

【0020】

画像取得部１１０は、入力画像を取得する。ここでの入力画像は、表示パネル１６での表示対象となる画像を表す。例えば入力画像は、アンテナ及びチューナー１２を介して取得されるテレビジョン放送の映像信号に含まれる画像であってもよい。ここでの映像信号は、高精細度テレビジョン放送における符号化等に関する規格であるＲｅｃ．７０９（ＢＴ．７０９）に従った信号であってもよい。Ｒｅｃ．７０９では、例えばＲＧＢ色空間パラメーターが規定されている。

【0021】

以下、入力画像がテレビジョン放送の映像信号に対応する例について説明する。ただし本実施形態の手法はこれに限定されない。例えば入力画像は、通信インターフェイス１３がコンテンツサーバーから取得した映像信号に含まれる画像であってもよい。またテレビ受信装置１０はＢＤ（Blu-ray Disc、登録商標）等のメディアの再生装置に接続され、当該メディアから読み出された映像信号に含まれる画像が入力画像として用いられてもよい。

【0022】

またオブジェクト検出部１２０は、入力画像から所定のオブジェクトを検出する。ここでの所定のオブジェクトは例えば人物の顔である。ただし、所定のオブジェクトは青空、緑の景色等、他のオブジェクトであってもよい。なお、緑の景色とは、例えば草木等の植物がある景色を表す。

【0023】

例えば人物の顔を対象とする場合、オブジェクト検出部１２０は、目、口、鼻等の顔に含まれるパーツを検出し、検出されたパーツの種類や位置関係に基づいて入力画像から人物の顔を検出してもよい。例えばオブジェクト検出部１２０は、パーツの位置関係に基づいて、人物の顔の輪郭を検出することによって、顔に対応する領域を特定してもよい。オブジェクト検出では、当該オブジェクトの有無だけでなく、入力画像のうち、所定のオブジェクトが存在する位置、範囲を特定する処理が実行される。また画像からオブジェクト検出を行う際に、機械学習の結果が用いられてもよい。例えば、入力画像の一部に検出窓を設定し、当該検出窓に含まれる領域に顔があるか否かを判定する畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が用いられてもよい。検出窓のサイズや形状を変えながら処理を繰り返すことによって、入力画像から所定のオブジェクトを検出することが可能になる。なおニューラルネットワークを用いた手法として、リアルタイム検出に適したＹＯＬＯ（You Only Look Once）等の種々の手法が知られており、本実施形態ではそれらを広く適用できる。その他、オブジェクト検出の手法は上記の例に限定されず、公知の手法を広く適用することが可能である。

【0024】

サイズ取得部１３０は、オブジェクト検出部１２０によって検出された所定のオブジェクトのサイズを取得する。例えばオブジェクト検出の結果として、図５を用いて後述するように、所定のオブジェクトを包含する矩形領域Ｄ１等が検出されている場合、サイズ取得部１３０は、当該矩形領域の縦方向の長さ（画素数）と横方向の長さ（画素数）の積に基づいてサイズを取得できる。

【0025】

判定部１５０は、所定のオブジェクトのサイズに基づいて、特定色に関する画質を調整するか否かを判定する。具体的な判定手法については図６～図８Ｂ等を用いて後述する。

【0026】

画質調整部１６０は、画質の調整を行うと判定された場合、所定のオブジェクトが有する特定色に関して、入力画像の少なくとも一部の領域の画質を調整する。例えば、所定のオブジェクトから人がイメージとして記憶する色である記憶色が知られている。記憶色は、実際のオブジェクトの色とは異なる場合がある。この場合、実際の色に忠実に画像を表示した場合、記憶色と異なるため、当該画像を見たユーザーが違和感を覚える可能性がある。よって画質調整部１６０は、所定のオブジェクトに含まれる特定色に対して、当該特定色の色味を記憶色に近づけるような画質の調整処理を実行してもよい。例えば人物の肌色については、記憶色の彩度が実際より低いことが知られているため、画質調整部１６０は肌色領域の彩度を下げる画質の調整処理を行ってもよい。また青空や緑の景色は、記憶色の彩度が実際よりも高いことが知られているため、画質調整部１６０は空に対応する青色領域、緑の景色に対応する緑色領域の彩度を上げる画質の調整処理を行ってもよい。また画質の調整は彩度の調整に限定されず、明度や色相の調整を含んでもよい。また本実施形態における特定色に関する画質の調整は、記憶色に基づく調整に限定されない。

【0027】

また上述したテレビジョン放送の規格によって決まる色空間は、表示パネル１６が表現可能な色空間に比べて狭いことがある。この場合、入力画像をそのまま表示すると、表示パネル１６が鮮やかな色を表現する能力を有していたとしても、当該能力を発揮できない可能性がある。よって画質調整部１６０は、オブジェクトの検出結果とは関係なく、入力画像に対して明度及び彩度の少なくとも一方を上げる画質の調整処理を行ってもよい。例えば画質調整部１６０は、所定のオブジェクトの特定色に関する調整処理と、オブジェクトによらない調整処理の両方を組み合わせることによって、入力画像に対する画質の調整を行ってもよい。

【0028】

表示制御部１７０は、画質調整部１６０において画質が調整された入力画像を表示パネル１６に表示する制御を行う。例えば表示制御部１７０は、画像信号と、表示パネル１６に含まれる駆動回路の制御タイミングを指示するタイミング制御信号とを、表示パネル１６に出力する。なお判定部１５０の判定によっては特定色に関する画質調整は省略されてもよく、ここで表示対象となる画像は、特定色に関する調整が行われていない画像であってもよい。

【0029】

なお以上では画像表示装置１００がテレビ受信装置１０である例を説明したが、これには限定されない。例えば画像表示装置１００は、セットトップボックス等の装置に対応してもよい。この場合、表示制御部１７０が行う表示制御とは、表示パネル１６を有する機器（テレビ受信装置１０、ディスプレイ等）に対して、画質の調整後の入力画像を出力する制御であってもよい。

【0030】

本実施形態の手法では、上述したようにオブジェクト検出の結果に基づいて、所定のオブジェクトの特定色に関する画質の調整が行われる。オブジェクト検出の手法は上記の通り種々考えられるが、所定のオブジェクトの一部が隠れる場合等にも、当該所定のオブジェクトを精度よく検出できるため、特定色に関する画質調整の要否を適切に判定することが可能になる。例えば所定のオブジェクトが顔である場合、顔の一部がマスクやサングラス等で隠れることによって肌色の画素数が少なくなった場合にも、当該顔のサイズが大きければ画質調整が必要と判定できる。結果として、特定色に対応する色の画素の数、当該色の画素が連続する領域等を用いる従来手法に比べて、画質調整に漏れが生じることを抑制できる。

【0031】

また、本実施形態の画像表示装置１００が行う処理の一部又は全部は、プログラムによって実現されてもよい。画像表示装置１００が行う処理とは、例えばテレビ受信装置１０のプロセッサー１１が行う処理である。

【0032】

本実施形態に係るプログラムは、例えばコンピューターによって読み取り可能な媒体である非一時的な情報記憶装置（情報記憶媒体）に格納できる。情報記憶装置は、例えば光ディスク、メモリーカード、ＨＤＤ、或いは半導体メモリーなどによって実現できる。半導体メモリーは例えばＲＯＭである。画像表示装置１００、プロセッサー１１等は、情報記憶装置に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶装置は、画像表示装置１００の各部としてコンピューターを機能させるためのプログラムを記憶する。コンピューターは、入力装置、処理部、記憶部、出力部を備える装置である。具体的には本実施形態に係るプログラムは、図４等を用いて後述する各ステップを、コンピューターに実行させるためのプログラムである。

【0033】

例えば本実施形態に係るプログラムは、画像表示装置１００の画像取得部１１０、オブジェクト検出部１２０、サイズ取得部１３０、判定部１５０、画質調整部１６０、表示制御部１７０として、コンピューターを機能させる。

【0034】

また本実施形態の手法は、以下の各ステップを含む画像表示方法に適用されてもよい。画像処理方法は、入力画像を取得するステップと、入力画像から所定のオブジェクトを検出するステップと、所定のオブジェクトのサイズを求めるステップと、所定のオブジェクトのサイズに基づいて、所定のオブジェクトが有する特定色に関する画質を調整するか否か判定するステップと、画質の調整を行うと判定された場合、特定色に関して、入力画像の少なくとも一部の領域の画質を調整するステップと、画質が調整された入力画像を表示パネルに表示する制御を行うステップを含む。例えば画像表示方法は、図４、図６、図８Ａ、図８Ｂ等を用いて後述する各ステップを含んでもよい。

【0035】

１．２ 処理の詳細
図４は、本実施形態に係る画像表示装置１００の処理を説明するフローチャートである。図４に示す処理は、例えば時系列の画像の集合である映像情報が取得された場合に、各フレームの画像を対象として実行されてもよい。

【0036】

まずステップＳ１０１において、画像取得部１１０は入力画像を取得する。例えば画像取得部１１０は、チューナー１２等を介して取得された映像情報のうち、所与の１フレームの画像を取得し、オブジェクト検出部１２０に出力する。

【0037】

ステップＳ１０２において、オブジェクト検出部１２０は、画像取得部１１０から取得した入力画像を対象として、所定のオブジェクトを検出するオブジェクト検出処理を行う。ここでの処理は、上述したように、所定のオブジェクトに含まれる構造（目、鼻等）に基づいてオブジェクトの輪郭を検出する処理であってもよいし、ＣＮＮ、ＹＯＬＯ等の機械学習を適用した処理であってもよいし、他のオブジェクト検出手法を用いた処理であってもよい。

【0038】

図５は、オブジェクト検出部１２０のオブジェクト検出処理によって取得される検出結果の例を説明する図である。図５における画像ＩＭが、入力画像に対応する。図５の例では入力画像（画像ＩＭ）に、２人の人物の顔Ｆ１及びＦ２が含まれていた。この場合、オブジェクト検出部１２０は、例えば顔Ｆ１を包含する矩形領域Ｄ１、及び顔Ｆ２を包含する矩形領域Ｄ２を、オブジェクト検出処理の検出結果として取得する。例えば検出結果は、矩形領域を特定する情報であり、矩形領域の基準点の座標（例えば左上の座標と右下の座標）の組であってもよいし、矩形領域の基準点の座標（例えば左上の座標）と縦及び横方向の長さの組であってもよいし、他の情報であってもよい。所定のオブジェクトが複数検出された場合、各所定のオブジェクトについて矩形領域を特定する情報が求められる。例えば検出結果は、検出された所定のオブジェクトの数と、各所定のオブジェクトに対応する矩形領域を特定する情報と、を含んでもよい。

【0039】

なお、検出結果は矩形領域に限定されない。例えばオブジェクト検出処理が、目や鼻等の構造から顔の輪郭を検出する処理である場合、オブジェクト検出部１２０は、当該輪郭によって囲まれる領域を検出結果として取得してもよい。またニューラルネットワークを用いた処理では、検出窓毎に処理を行うのではなく、入力画像の各画素について、当該画素が顔に属するか否かの確からしさが求められてもよい。この場合、検出結果は、顔に属する確からしさが所定閾値以上の画素の集合であってもよく、形状は矩形に限定されない。例えば検出結果は、検出された所定のオブジェクトの数と、各所定のオブジェクトに対応する領域を特定する情報と、を含んでもよい。オブジェクト検出部１２０は、検出結果をサイズ取得部１３０に出力する。

【0040】

ステップＳ１０３において、サイズ取得部１３０は、オブジェクト検出部１２０によって検出された所定のオブジェクトのサイズを求める。図５に示すように複数のオブジェクトが検出されている場合、オブジェクト検出部１２０は、それぞれについてサイズを求める。ここでのサイズは大きさを表す情報であり、矩形領域の縦方向の長さと横方向の長さの積であってもよいし、検出結果に含まれる画素数の合計であってもよい。サイズ取得部１３０は、求めたサイズを判定部１５０に出力する。例えばサイズ取得部１３０は、検出された所定のオブジェクトの数と、各所定のオブジェクトのサイズを判定部１５０に出力してもよい。

【0041】

ステップＳ１０４において、判定部１５０は、サイズ取得部１３０から出力されたサイズに基づいて、所定のオブジェクトに含まれる特定色に関する画質の調整を行うか否かを判定する。

【0042】

例えば判定部１５０は、所定のオブジェクトのサイズが所定サイズより大きい場合、特定色に関する画質の調整を行うと判定してもよい。このようにすれば、特定色に該当する画素数によらず、所定のオブジェクト自体のサイズに基づいて、特定色の調整を行うか否かを判定できる。そのため、所定のオブジェクトが入力画像において大きく撮像されていれば、仮にマスク等によって肌色領域の一部が遮蔽されたとしても、当該所定のオブジェクトに起因する特定色の調整が行われる。そのため、例えば人物の顔が大きく映し出される画像を表示する際に、肌色の画質調整が行われる蓋然性を高くできる。例えば、大きく表示されるオブジェクトに含まれる特定色が記憶色から乖離することを抑制できるため、表示される画像を見たユーザーが違和感を覚えることを抑制できる。一方、所定のオブジェクトが小さい場合、当該所定のオブジェクトがユーザーに与える影響は小さいため、画質の調整は省略が可能である。

【0043】

例えば判定部１５０は、所定のオブジェクトのサイズに基づいて指標値を求め、指標値と所与の閾値とに基づいて、特定色に関する画質の調整を行うか否かを判定してもよい。このようにすれば、サイズが大きいか否かの判定を適切に実行することが可能になる。また指標値の算出手法や閾値を調整することによって、特定色に関する画質の調整を行うか否かの判断基準を柔軟に変更することが可能になる。例えばステップＳ１０４の処理は、指標値を算出する処理と、当該指標値に基づいて特定色に関する画質の調整の要否を判定する処理とを含んでもよい。以下、各処理の例について説明する。

【0044】

図６は、ステップＳ１０４における判定処理のうち、サイズに関する指標値であるサイズ指標値を求める処理を説明するフローチャートである。まずステップＳ２０１において、判定部１５０は、検出された所定のオブジェクトの数が１以上であるかを判定する。

【0045】

検出された所定のオブジェクトの数が１以上である場合（ステップＳ２０１：Ｙｅｓ）、判定部１５０は、ステップＳ２０２において、サイズ取得部１３０から出力された各所定のオブジェクトのサイズに基づいて、サイズ統計量を算出する。

【0046】

例えば判定部１５０は、検出された１または複数の所定のオブジェクトのうち、最も大きい所定のオブジェクトのサイズをサイズ統計量として求めてもよい。あるいは判定部１５０は、１または複数の所定のオブジェクトのサイズの合計値、平均値、中央値等をサイズ統計量として求めてもよい。この際、合計値等の算出に用いる所定のオブジェクトは、検出された所定のオブジェクトの全てであってもよいし、サイズの大きさの上位ｎ個（ｎは２以上の整数）であってもよい。ここでのｎは固定値であってもよいし、検出された所定のオブジェクトの数に応じて動的に決定される値であってもよい。あるいは判定部１５０は、１または複数の所定のオブジェクトのうち、サイズの上位ｎ個のなかでの最小値をサイズ統計量として求めてもよい。

【0047】

また判定部１５０は、上述した最大値の、入力画像全体に対する割合をサイズ統計量として求めてもよい。例えば、判定部１５０は、入力画像の解像度に基づいて、入力画像のサイズを求めてもよい。入力画像のサイズとは縦方向での画素数と、横方向での画素数の積である。例えば、検出された所定のオブジェクトのサイズの最大値をＢとし、入力画像のサイズをＡとしたとき、サイズ統計量を表す値Ｃは、Ｃ＝（Ｂ／Ａ）×１００であってもよい。またここでのＢは、上述したように、合計値、平均値、中央値、最小値等の値に置き換えられてもよい。

【0048】

なお判定部１５０は、入力画像から検出された所定のオブジェクトの位置に基づいて、指標値を求めてもよい。例えば判定部１５０は、上記のサイズ統計量の算出に所定のオブジェクトの位置を用いてもよい。例えば判定部１５０は、サイズ取得部１３０が求めた各所定のオブジェクトのサイズに対して、位置に応じた重みを乗じた上で、上述したサイズ統計量を求めてもよい。例えば判定部１５０は、所定のオブジェクトの位置が入力画像の中心に近いほど値が大きく、中心から離れるほど値が小さくなる重みを用いてもよい。例えば同じサイズのオブジェクトであっても、入力画像に中心に近いオブジェクトは相対的にサイズが大きく評価され、中心から遠いオブジェクトは相対的にサイズが小さく評価される。このようにすれば、サイズ統計量の算出において、ユーザーに注目されやすいオブジェクトの寄与度を相対的に大きくできるため、例えば注目されやすいオブジェクトの画質の調整漏れを抑制することが可能になる。

【0049】

サイズ統計量の算出後、ステップＳ２０３において、判定部１５０はサイズ統計量と、所与の閾値ＴＨとの比較処理に基づいて、サイズ指標値を求める。ここでのサイズ指標値はサイズの大小を表す指標であり、例えばサイズが大きいほど値が大きくなる情報である。またここでの閾値は、例えば０より大きく１００以下の値であってもよい。

【0050】

例えば、サイズ統計量が閾値ＴＨ以上である場合（ステップＳ２０３：Ｙｅｓ）、ステップＳ２０４において、判定部１５０はサイズ指標値の値を１００に設定する。一方、サイズ統計量が閾値ＴＨ未満である場合（ステップＳ２０３：Ｎｏ）、ステップＳ２０５において、判定部１５０は補間処理に基づいてサイズ指標値を決定する。

【0051】

図７は、サイズ統計量、閾値ＴＨ、サイズ指標値の関係例を示す図である。例えば図７に示すように、ステップＳ２０５において、判定部１５０は線形補間によってサイズ指標値を求めてもよい。ただし、図７はサイズ統計量、閾値ＴＨ、サイズ指標値の関係の一例であり、他の関係に基づいてサイズ指標値が求められてもよい。例えばサイズ統計量が閾値ＴＨ未満の範囲において、非線形関数を用いた補間処理が行われてもよい。

【0052】

また検出された所定のオブジェクトの数が０個である場合（ステップＳ２０１：Ｎｏ）、ステップＳ２０６において、サイズ指標値の値は０に設定される。

【0053】

以上のように、判定部１５０は、入力画像から所定のオブジェクトが複数検出された場合、少なくとも１つの所定のオブジェクトのサイズに基づいて、指標値を求めてもよい。例えば上記のように、オブジェクトの最大サイズが指標値算出に用いられてもよいし、２以上のオブジェクトのサイズの平均値等が指標値算出に用いられてもよい。このようにすれば、所定のオブジェクトが複数ある場合にも、入力画像における所定のオブジェクトのサイズを適切に評価することが可能になる。換言すれば、入力画像に含まれる所定のオブジェクトの数によらず、所定のオブジェクトがユーザーに与える影響を適切に数値化することが可能になる。

【0054】

なお図７に示したように、本実施形態ではサイズ統計量からサイズ指標値への変換処理が行われてもよい。サイズ統計量は例えば最大値が１００となる値であるが、現実の入力画像では人物の顔が画像全体を覆うケースは多くない。例えば上述したＢはＡよりも小さい値となりやすく、サイズ統計量が１００やその近傍の値となる蓋然性が低い。その点、図７の例におけるサイズ指標値では、最大値である１００近傍の値も適切に用いられる。即ち、サイズ指標値への変換を行うことによって、数値範囲（例えば０以上１００以下）における値のばらつき具合を調整することが可能になる。特に、第２実施形態において後述するように、サイズ指標値を、シーン指標値等の他の指標値と比較する場合、各指標値の数値範囲の中でのばらつき具合を揃えることによって、大小関係を適切に比較することが可能になる。ただし、判定部１５０は、サイズ統計量そのものをサイズ指標値として用いることも妨げられない。この場合、図６のステップＳ２０３～Ｓ２０５は省略が可能であり、ステップＳ２０２で求められたサイズ統計量がそのままサイズ指標値となる。

【0055】

図８Ａは、ステップＳ１０４における判定処理のうち、指標値に基づいて特定色に関する画質調整の要否を判定する処理を説明するフローチャートである。ここでの処理は、指標値と所与の閾値ＴＨ０とに基づく処理であってもよい。指標値とは上述したサイズ指標値である。またここでの所与の閾値ＴＨ０は、サイズ統計量との比較に用いられる閾値ＴＨとは異なる情報であるが、閾値ＴＨ０と、上述した閾値ＴＨが同じ値に設定されることは妨げられない。

【0056】

図８Ａに示すように、まずステップＳ３０１において、サイズ指標値が閾値ＴＨ０以上であるかを判定する。図７の例であれば、サイズ指標値は０以上１００以下の値であり、ＴＨ０は、０より大きく１００以下の範囲で設定されてもよい。

【0057】

サイズ指標値が閾値ＴＨ０以上である場合（ステップＳ３０１：Ｙｅｓ）、ステップＳ３０２において、判定部１５０は、特定色に関する画質の調整を行うと判定する。サイズ指標値が閾値ＴＨ０未満である場合（ステップＳ３０１：Ｎｏ）、ステップＳ３０３において、判定部１５０は、特定色に関する画質の調整を行わないと判定する。このようにすれば、サイズ指標値の大きさに基づいて、特定色に関する画質調整の要否を判定することが可能になる。

【0058】

また指標値に基づいて特定色に関する画質調整の要否を判定する処理は図８Ａに示した処理に限定されない。図８Ｂは、ステップＳ１０４における判定処理のうち、指標値と所与の閾値とに基づいて、特定色に関する画質の調整を行うか否かを判定する他の処理を説明するフローチャートである。

【0059】

ステップＳ４０１に示すように、判定部１５０は、指標値に対して、時系列的な変動を抑制するフィルタ処理を行ってもよい。判定部１５０は、フィルタ処理後の指標値に基づいて、画質を調整するか否かを判定する。サイズ指標値の時系列的な変動を抑制することによって、例えばサイズ指標値が閾値の近傍で細かく変動した場合であっても、判定結果の頻繁な変化を抑制できる。特定色の画質が頻繁に変化することを抑制できるため、ユーザーに与える違和感を抑制できる。

【0060】

ここでのフィルタ処理は、指標値の変化方向に応じて異なる複数の閾値を用いた閾値判定を行うヒステリシス処理と、同じ値が所定回数以上取得されることを条件に値を変更するチャタリングフィルタ処理と、を含んでもよい。このようにすれば、指標値の時系列的な変動を適切に抑制できる。なお、以下ではチャタリングフィルタ処理が同じ値が所定回数以上、連続して取得されることを条件に値を変更する処理である例について説明する。

【0061】

図９Ａ～図９Ｃは、ステップＳ４０１のフィルタ処理の具体例を説明する図である。図９Ａは、指標値の時系列的な変化の例を説明する図である。図９Ａの横軸は時間を表し、縦軸は指標値を表す。本実施形態における指標値は、上述したサイズ指標値である。図９Ａにおいて、タイミングｔ１～ｔ１１は、それぞれサイズ指標値が求められるタイミングであり、例えば映像信号におけるフレームに対応する。以下ではヒステリシス処理の処理結果を、第１処理結果と表記する。

【0062】

例えばヒステリシス処理では、判定部１５０は、現在の第１処理結果が０である場合、第１処理結果を１に増加させるか否かを、相対的に大きい閾値ＴＨ１との比較処理に基づいて判定する。例えば判定部１５０は、サイズ指標値が閾値ＴＨ１以上であると判定された場合に、第１処理結果として１を出力する。また判定部１５０は、サイズ指標値が閾値ＴＨ１未満であると判定された場合に、第１処理結果として０の出力を継続する。

【0063】

また判定部１５０は、現在の第１処理結果が１である場合、第１処理結果を０に減少させるか否かを、閾値ＴＨ１に比べて小さい閾値ＴＨ２との比較処理に基づいて判定する。例えば判定部１５０は、サイズ指標値が閾値ＴＨ２未満であると判定された場合に、第１処理結果として０を出力する。また判定部１５０は、サイズ指標値が閾値ＴＨ２以上であると判定された場合に、第１処理結果として１の出力を継続する。

【0064】

以上をまとめると、判定部１５０は、サイズ指標値が閾値ＴＨ１以上である場合に第１処理結果として１を出力し、サイズ指標値が閾値ＴＨ２未満である場合に第１処理結果として０を出力し、サイズ指標値が閾値ＴＨ２以上、閾値ＴＨ１未満である場合に、１タイミング前の第１処理結果と同じ値の出力を継続する。

【0065】

図９Ｂは、図９Ａに示す指標値に対して、閾値ＴＨ１及びＴＨ２を用いたヒステリシス処理を行った処理結果を示す図である。タイミングｔ１では、サイズ指標値が閾値ＴＨ２未満であるため、判定部１５０は第１処理結果として０を出力する。タイミングｔ２、ｔ３も同様であり、判定部１５０は第１処理結果として０を出力する。

【0066】

タイミングｔ４では、サイズ指標値が閾値ＴＨ２以上、ＴＨ１未満である。この場合、１タイミング前の第１処理結果の出力が継続されるため、判定部１５０は第１処理結果として０を出力する。

【0067】

タイミングｔ５において、サイズ指標値が閾値ＴＨ１以上と判定される。よって判定部１５０は、第１処理結果として１を出力する。

【0068】

タイミングｔ６では、サイズ指標値が閾値ＴＨ２以上、ＴＨ１未満である。この場合、１タイミング前の第１処理結果の出力が継続されるため、判定部１５０は第１処理結果として１を出力する。タイミングｔ７も同様である。

【0069】

タイミングｔ８において、サイズ指標値が閾値ＴＨ２未満と判定される。よって判定部１５０は、第１処理結果として０を出力する。

【0070】

以下同様であり、判定部１５０は、タイミングｔ９及びｔ１０において第１処理結果として１を出力し、タイミングｔ１１において第１処理結果として０を出力する。

【0071】

図９Ａに示したように、この例ではサイズ指標値の変動度合いが大きいが、ヒステリシス処理を行うことによって値の変動が抑制される。例えば図９Ａの例では閾値ＴＨ１またはＴＨ２をまたぐ値の変動が多く見られるものの、図９Ｂに示すようにヒステリシス処理の処理結果における値の変動はｔ５、ｔ８、ｔ１１の３回に抑制される。

【0072】

図９Ｃは、図９Ｂに示すヒステリシス処理の処理結果に対して、チャタリングフィルタ処理を行った処理結果を示す図である。以下、説明の便宜上、チャタリングフィルタ処理の処理結果を第２処理結果とも表記する。例えば判定部１５０は、１タイミング前の第２処理結果と異なる入力値が所定回数連続して取得されたことを条件として、第２処理結果の値を入力値に変更する。換言すれば、第２処理結果と異なる入力値が取得されたとしても、連続回数が所定回数未満であれば、入力値は第２処理結果に反映されない。図９Ｃは、所定回数として３回が設定された場合の例であるが、所定回数の値は種々の変形実施が可能である。また第２処理結果の初期値は０であるものとする。

【0073】

図９Ｂに示したようにタイミングｔ１～ｔ４では、入力値である第１処理結果の値が０であり、１タイミング前の第２処理結果の値が０である。よって図９Ｃに示すように、判定部１５０は、第２処理結果として０の出力を継続する。

【0074】

タイミングｔ５では、入力値である第１処理結果の値が１であり、１タイミング前の第２処理結果の値である０と異なる。よって判定部１５０は、連続回数が所定回数以上であるかを判定する。ここでは連続回数が１であり、所定回数である３より小さいため、入力値は反映されない。結果として、図９Ｃに示すように、判定部１５０は、第２処理結果として０の出力を継続する。

【0075】

タイミングｔ６でも、入力値である第１処理結果の値が１であり、１タイミング前の第２処理結果の値である０と異なる。この場合、連続回数が２に増加するが、所定回数である３より小さいため、入力値は反映されない。結果として、図９Ｃに示すように、判定部１５０は、第２処理結果として０の出力を継続する。

【0076】

タイミングｔ７では、入力値である第１処理結果の値が１であり、第２処理結果の値である０と異なる。この場合、連続回数が３に増加するため、所定回数である３以上となり、入力値が第２処理結果に反映される。結果として、図９Ｃに示すように、判定部１５０は、第２処理結果として１を出力する。

【0077】

タイミングｔ８以降では、１タイミング前の第２処理結果が１であるため、入力値が０である連続回数と所定回数の比較が行われる。例えばｔ８及びｔ１１では入力値として０が取得されるが、いずれも連続回数は１であり、所定回数である３より小さいため、入力値は反映されない。結果として、図９Ｃに示すように、判定部１５０は、タイミングｔ８～ｔ１１において、第２処理結果として１の出力を継続する。

【0078】

図９Ｂと図９Ｃの比較から分かるように、チャタリングフィルタ処理を行うことによって短期的な値の変動が処理結果に反映されなくなるため、指標値の時系列的な変動をさらに抑制することが可能になる。

【0079】

図８Ｂに戻って説明を続ける。ステップＳ４０２において、判定部１５０は、フィルタ処理後の値である第２処理結果が１であるかを判定する。第２処理結果が１である場合（ステップＳ４０２：Ｙｅｓ）、ステップＳ４０３において、判定部１５０は、特定色に関する画質の調整を行うと判定する。第２処理結果が０である場合（ステップＳ４０２：Ｎｏ）、ステップＳ４０４において、判定部１５０は、特定色に関する画質の調整を行わないと判定する。このようにすれば、サイズ指標値の時系列的な変動を抑制した上で、特定色に関する画質調整の要否を判定することが可能になる。

【0080】

図６～図８Ｂを用いて上述した処理によって、図４のステップＳ１０４に示した判定部１５０の処理が終了する。判定部１５０は、特定色に関する画質の調整を行うか否かの判定結果を、画質調整部１６０に出力する。

【0081】

ステップＳ１０５において、画質調整部１６０は、特定色に関する画質の調整を行うという判定結果が得られたかを判定する。判定部１５０が特定色に関する画質の調整を行うと判定した場合（ステップＳ１０５：Ｙｅｓ）、ステップＳ１０６において、画質調整部１６０は、入力画像に対して、特定色に関する画質の調整を行う。例えば所定のオブジェクトが人物の顔である場合、記憶色が実際の色よりも薄いため、画質調整部１６０は肌色に対応する色の画素の彩度を低下させる処理を行う。また所定のオブジェクトが青空や緑の景色である場合、記憶色が実際の色よりも濃いため、画質調整部１６０は青色や緑色の画素の彩度を増加させる処理を行う。

【0082】

なおステップＳ１０６において、画質調整部１６０は、入力画像のうち、オブジェクト検出部１２０によって検出された所定のオブジェクトに対応する領域の画質を調整し、且つ、他の領域の画質を調整しなくてもよい。このようにすれば、特定色に関する画質の補正対象を所定のオブジェクトに限定できる。例えば人物の肌とは異なる肌色の物体が画像に含まれる場合に、当該物体に対する画質の調整を行わないため、ユーザーに違和感を与えることを抑制できる。

【0083】

なおここでの所定のオブジェクトに対応する領域とは、例えば図５に示した検出結果である矩形領域Ｄ１や矩形領域Ｄ２そのものであるが、厳密に一致しなくてもよい。例えば顔Ｆ１を対象とした特定色に関する画質の調整は、矩形領域Ｄ１の一部が除外された領域を対象として実行されてもよい。例えば調整対象の領域は、Ｄ１のうちの所定割合以上を含む領域であってもよい。あるいは調整対象の領域は、矩形領域Ｄ１の近傍の領域を含んでもよい。例えば調整対象の領域は、当該領域に占める矩形領域Ｄ１以外の領域の割合が所定割合未満となる領域であってもよい。

【0084】

あるいは、画質調整部１６０は、入力画像のうち、オブジェクト検出部１２０によって検出された所定のオブジェクトに対応する領域、及び所定のオブジェクトに対応しない領域を含む領域の画質を調整してもよい。ここでの画質調整の対象となる領域は、入力画像全体のサイズに対して、所定割合以上のサイズを有する領域であってもよい。例えば画質調整部１６０は、入力画像全体を対象として、特定色に関する画質を調整してもよい。このようにすれば、画質調整の対象となる領域を厳密に設定する必要がないため、処理負荷の軽減が可能である。

【0085】

また判定部１５０が特定色に関する画質の調整を行わないと判定した場合（ステップＳ１０５：Ｎｏ）、画質調整部１６０は、ステップＳ１０６に示した特定色に関する画質の調整をスキップする。

【0086】

なお図４には不図示であるが、画質調整部１６０は、特定色に限定せずに、入力画像の明度及び彩度の少なくとも一方を上げる処理を実行してもよい。このようにすれば、テレビジョン放送の規格によらず、鮮やかな色を表現することが可能になる。例えば画質調整部１６０は、特定色に関する画質の調整を行う場合、特定色に関する画質調整と、特定色に限定しない画質調整の両方を行ってもよい。また画質調整部１６０は、特定色に関する画質の調整を行わない場合、特定色に限定しない画質調整のみを行ってもよい。

【0087】

ステップＳ１０７において、表示制御部１７０は、画質調整後の入力画像を表示パネル１６に表示する制御を行う。ここでの画質調整後の入力画像とは、狭義には特定色に関する画質の調整が行われた入力画像である。ただし、画質調整後の入力画像は、特定色に関する画質調整と特定色に限定しない画質調整の両方が行われた入力画像であってもよいし、特定色に限定しない画質調整のみが行われた入力画像であってもよい。

【0088】

２．第２実施形態
図１０は本実施形態に係る画像表示装置１００の構成例を示す図である。図３に示した構成と比較した場合、シーン取得部１４０が追加された構成となる。シーン取得部１４０は、画像取得部１１０から出力された入力画像のシーンを判定し、シーン判定結果を取得する。例えば後述するように、シーン取得部１４０は、複数の候補シーンのそれぞれについて、入力画像が当該候補シーンに該当する確からしさを判定してもよい。ここでの候補シーンは、人物の顔、青空、緑の景色、アニメーション等を含む。

【0089】

画像取得部１１０は、入力画像をオブジェクト検出部１２０及びシーン取得部１４０に出力する点を除いて第１実施形態と同様である。判定部１５０は、サイズ指標値に加えて、シーン取得部１４０におけるシーン判定結果に基づいて、特定色に関する画質調整の要否を判定する。判定部１５０における処理の詳細については後述する。オブジェクト検出部１２０、サイズ取得部１３０、画質調整部１６０及び表示制御部１７０については第１実施形態と同様である。

【0090】

図１１は、本実施形態に係る画像表示装置１００の処理を説明するフローチャートである。図１１に示す処理は、例えば時系列の画像の集合である映像情報が取得された場合に、各フレームの画像を対象として実行されてもよい。

【0091】

まずステップＳ５０１において、画像取得部１１０は入力画像を取得する。ステップＳ５０２において、オブジェクト検出部１２０は、画像取得部１１０から取得した入力画像を対象として、所定のオブジェクトを検出するオブジェクト検出処理を行う。ステップＳ５０３において、サイズ取得部１３０は、オブジェクト検出部１２０によって検出された所定のオブジェクトのサイズを求める。ステップＳ５０１～Ｓ５０３の処理は、図４のステップＳ１０１～Ｓ１０３と同様である。例えばステップＳ５０３において、サイズ取得部１３０は、検出された所定のオブジェクトの数と、各所定のオブジェクトのサイズを判定部１５０に出力する。

【0092】

ステップＳ５０４において、シーン取得部１４０は、入力画像のシーンを判定し、シーン判定結果を取得する。例えばシーン取得部１４０は、機械学習によって取得される分類モデルを用いてシーン判定を行ってもよい。ただし以下で説明する処理はシーン判定の一例であり、シーン判定はＳＶＭ（Support Vector Machine）等の他の機械学習を用いて実行されてもよいし、機械学習とは異なる手法によって実行されてもよい。なおステップＳ５０２及びＳ５０３に示す処理と、ステップＳ５０４に示す処理は、並列に実行されてもよいし、シーケンシャルに実行されてもよい。

【0093】

図１２は、シーン判定における入出力を説明する図である。シーン判定は、例えば上述したＣＮＮを用いた分類モデルを用いて実行されてもよい。ＣＮＮの入力は、画像取得部１１０から出力された入力画像である。なお、入力は入力画像そのものに限定されず、入力画像に対して何らかの前処理が行われた結果であってもよい。

【0094】

ＣＮＮの出力は、例えば複数の候補シーンのそれぞれに関する確からしさであってもよい。ここでの候補シーンは、例えば上述した人物の顔、青空、緑の景色、アニメーションを含む。また候補シーンはこれに限定されず、建物、食べ物、動物等、種々のシーンを含むことが可能である。例えばＣＮＮは、入力画像のシーンが人物の顔である確からしさ、入力画像のシーンが青空である確からしさ、入力画像のシーンが緑の景色である確からしさ、入力画像のシーンがアニメーションである確からしさの４つの値を出力する。各値は、例えば０以上１００以下の数値であってもよい。以下、人物の顔である確からしさを顔シーン判定値、青空である確からしさを青空シーン判定値、緑の景色である確からしさを緑シーン判定値、アニメーションである確からしさをアニメシーン判定値と表記する。

【0095】

例えばＣＮＮは、訓練データに基づく機械学習によって取得される。ここでの訓練データは、学習用画像に対して、シーン分類結果が正解データとして付与されたデータである。シーン分類結果は、例えば学習用画像を閲覧したユーザーが入力することによって取得される。例えば、学習用画像は人物の顔を撮像した画像である、とユーザーが判断した場合、正解データとして、顔シーン判定値が１００であり、青空シーン判定値、緑シーン判定値、及びアニメシーン判定値が０となるデータが付与される。また青空と人物の顔が１枚の学習用画像に含まれるように、１つの画像が複数のシーンに対応してもよい。この例では、正解データとして、顔シーン判定値及び青空シーン判定値が１００であり、緑シーン判定値及びアニメシーン判定値が０となるデータが付与される。なお画像分類を行う学習済モデルを生成する手法は広く知られており、本実施形態ではそれらの手法を広く適用可能である。

【0096】

例えば画像表示装置１００は不図示の記憶部を含み、当該記憶部は学習済モデルであるＣＮＮを記憶する。なおここでの記憶部は、図２に示したテレビ受信装置１０のメモリー１４であってもよい。シーン取得部１４０は、記憶部からＣＮＮを読み出し、入力画像をＣＮＮに入力することによって、顔シーン判定値、青空シーン判定値、緑シーン判定値、及びアニメシーン判定値の４つの値を求める。シーン取得部１４０は、これらの値の少なくとも１つを、シーン判定結果として判定部１５０に出力する。

【0097】

判定部１５０は、サイズ取得部１３０から出力されたサイズ、及び、シーン取得部１４０から出力されたシーン判定結果に基づいて、所定のオブジェクトに含まれる特定色に関する画質の調整を行うか否かを判定する。例えば判定部１５０は、サイズに基づくサイズ指標値と、シーン判定結果に基づくシーン指標値を取得し、サイズ指標値及びシーン指標値に基づいて、指標値を求めてもよい。判定部１５０は、当該指標値に基づいて、特定色に関する画質調整の要否を判定する。このようにすればオブジェクト検出の結果と、シーン判定結果という異なる情報に基づいて画質調整の要否を判定できる。そのため、判定精度を向上させることが可能になる。

【0098】

この際、シーン取得部１４０は、入力画像が、所定のオブジェクトに対応するシーンである確からしさを、シーン判定結果として求めてもよい。そして判定部１５０は、所定のオブジェクトに対応するシーンである確からしさを、シーン指標値として取得してもよい。例えば、所定のオブジェクトが人物の顔である場合、シーン取得部１４０は、シーン判定結果として少なくとも顔シーン判定値を含む情報を取得し、判定部１５０は、顔シーン判定値をシーン指標値として取得する。また所定のオブジェクトが青空である場合、シーン取得部１４０は、シーン判定結果として少なくとも青空シーン判定値を含む情報を取得し、判定部１５０は、青空シーン判定値をシーン指標値として取得してもよい。同様に、所定のオブジェクトが緑の景色である場合、シーン取得部１４０は、シーン判定結果として少なくとも緑シーン判定値を含む情報を取得し、判定部１５０は、緑シーン判定値をシーン指標値として取得する。このようにすれば、所定のオブジェクトに関するオブジェクト検出の結果と、所定のオブジェクトに関するシーン判定の結果とを指標値算出に用いることが可能になる。同じオブジェクトについて、異なる判定の結果を用いるため、画質調整の要否判定の精度を向上させることが可能になる。

【0099】

ここでオブジェクト検出とシーン判定の相違点について説明する。例えばオブジェクト検出は、所定のオブジェクトが存在するか否かに加えて、具体的な位置やサイズを求める処理であり、場合によっては目、鼻等のパーツのような詳細な形状の検出処理を含む。そのため、所定のオブジェクトに関して、シーン判定より詳細な情報を求めることが可能であるし、所定のオブジェクトの検出精度が高い。一方、シーン判定は、入力画像全体として、候補シーンの特徴にどの程度合致しているかを求める処理である。そのため、具体的なオブジェクトの数、サイズ、位置等までは求められないが、図１２に示すように、種々の候補シーンに関する判定が可能である。

【0100】

図１３は、入力画像の態様と、顔シーン判定値、オブジェクト検出結果の関係例を示す図である。顔シーン判定値は上述したように入力画像が人物の顔を含むシーンである確からしさを表す０以上１００以下の数値である。オブジェクト検出結果は、入力画像からオブジェクトが検出されたか否かを表す。

【0101】

図１３に示すように、顔を遮るような物体がない通常の態様で撮像された場合、顔シーン判定値はある程度高い値となり、オブジェクト検出の結果として顔が検出される。よってこの場合は、オブジェクト検出結果に基づくサイズ指標値と、シーン指標値（顔シーン判定値）のいずれについても、入力画像に含まれる所定のオブジェクト（人物の顔）を反映した情報となる。

【0102】

また、マスク等により鼻や口が遮蔽された場合、人物が斜めを向いている場合、ゴーグル等により目が遮蔽された場合、顔の周辺に字幕が表示される場合等には、図１３に示すように顔シーン判定値が低下する可能性がある。これは、顔の一部のパーツが遮蔽される、字幕等の他の情報が混在することによって、入力画像が、顔を含むシーンらしい状態から乖離するためと考えられる。この場合、シーン指標値は入力画像に含まれる所定のオブジェクト（人物の顔）を適切に反映しておらず、シーン指標値のみを用いると、肌色に関する画質調整が不要と判定される可能性がある。一方で、オブジェクト検出では、一部のパーツが欠けたとしても、残りのパーツの検出は可能であるため、顔領域を適切に検出できる。また顔の方向が正面でないことで画像上でのパーツ形状がゆがむ、字幕等の他の情報が混在する等の場合も同様であり、オブジェクト検出が可能である。そのため、これらの態様で人物の顔が映し出される入力画像を対象とする場合、オブジェクト検出結果に基づくサイズ指標値を用いることによって、画質の調整漏れが生じることを抑制できる。なお、図１３に示した顔シーン判定値は一例であり、「鼻／口隠し」、「斜め下を向く」、「目隠し」、及び「顔の下に字幕」の場合に、顔シーン判定値が必ず低下するとは限らない。即ち、これらの場合の何れかに該当する場合であっても、シーン判定により人物の顔を含むシーンが適切に検出される場合があってもよい。

【0103】

また人物にピントが合わないことによって画像上での人物の顔がぼやけている場合、例えばパーツ検出が適切に行えないため、所定のオブジェクトが非検出と判定される可能性がある。この場合、オブジェクト検出結果に基づくサイズ指標値のみを用いると、肌色に関する画質調整が不要と判定される可能性がある。一方で、ピントが合っていない状態では細かい構造が潰れるかもしれないが、入力画像全体の傾向としてはピントが合った状態からの乖離が少ない。シーン判定では入力画像全体として顔を含むシーンである確からしさが判定されるため、ピントが合っていない状態であっても、人物を含む画像であれば顔シーン判定値は高く判定されやすい。そのため、シーン指標値を用いることによって、画質の調整漏れが生じることを抑制できる。なお、図１３は、「ピンボケ」の場合にオブジェクト検出処理による顔検出ができない可能性があることを示すものであり、「ピンボケ」の場合であっても、オブジェクト検出処理により人物の顔が適切に検出される場合があってもよい。

【0104】

図１３の例から分かるように、オブジェクト検出とシーン判定はそれぞれ好適な顔の態様が異なる。よって、オブジェクト検出に基づくサイズ指標値と、シーン判定に基づくシーン指標値の両方を併用することによって、入力画像における顔の態様によらず、特定色に関する画質調整の要否を適切に判定することが可能になる。

【0105】

例えば図１１のステップＳ５０５において、判定部１５０は第１実施形態と同様の手法によってサイズ指標値を求めるとともに、シーン取得部１４０からの出力に基づいてシーン指標値を取得する。そして判定部１５０は、サイズ指標値とシーン指標値のうちの最大値を、特定色に関する画質調整の要否判定に用いる指標値として取得してもよい。例えば、図１２の例であれば、鼻／口隠し、斜め下を向く、目隠し、顔の下に字幕、等の態様ではサイズ指標値が指標値として用いられやすくなり、ピンボケの態様ではシーン指標値が指標値として用いられやすくなる。このようにすれば、入力画像の態様が変化したとしても、当該態様に適した情報が指標値として用いられるため、特定色に関する画質の調整漏れが生じることを抑制できる。

【0106】

指標値が求められた後の処理は第１実施形態と同様であってもよい。例えば判定部１５０は、図８Ａに示したように、指標値と閾値ＴＨ０との比較処理に基づいて、特定色に関する画質調整を行うか否かを判定してもよい。あるいは判定部１５０は、図８Ｂに示したように、指標値の時系列変化を抑制する処理を行った上で（ステップＳ４０１）、処理後の値に基づいて特定色に関する画質調整を行うか否かを判定してもよい。例えば判定部１５０は、複数のフレームのそれぞれにおいてサイズ指標値とシーン指標値を取得し、いずれか大きい方を当該フレームでの指標値として求める。そして求めた時系列の指標値に対して、図９Ａ～図９Ｃを用いて上述した処理を行うことによって、時系列変化が抑制された指標値を求めてもよい。

【0107】

ステップＳ５０６～Ｓ５０８の処理については、図４のステップＳ１０５～Ｓ１０７と同様であるため詳細な説明は省略する。

【0108】

またシーン判定を行う場合、ステップＳ５０５において判定部１５０は複数の候補シーンに関するシーン判定を行い、ステップＳ５０７において画質調整部１６０は当該シーン判定の結果に従って特定色に関する画質調整を行ってもよい。以下、具体例について説明する。

【0109】

以上の説明では、人物の顔の検出結果に基づくサイズ指標値と、シーン指標値である顔シーン判定値を用いて、人物の肌色に関する画質調整を行う例を説明した。この場合、青空の青色領域、及び、緑の景色の緑色領域を特定色とする画質調整は省略されてもよい。しかし図１２を用いて上述したように、シーン判定の結果は、青空を含むシーンである確からしさ（青空シーン判定値）や緑の景色を含むシーンである確からしさ（緑シーン判定値）を含んでもよい。そして青空や緑の景色は、記憶色が実際の色よりも鮮やかであるため、青空の青色や緑の景色の緑色の画質を調整することが有用である。よって青空シーン判定値や緑シーン判定値に基づいて、特定色に関する画質調整の要否が判定されてもよい。例えば、青空シーン判定値が大きい場合には青空の青色領域の彩度を上げ、緑シーン判定値が大きい場合には緑の景色の緑色領域の彩度を上げる画質調整が行われてもよい。このようにすれば、オブジェクト検出の対象とならないオブジェクトに含まれる特定色についても、画質調整の要否を判定することが可能になる。

【0110】

所定のオブジェクトが変化する場合も同様である。例えば所定のオブジェクトが青空である場合、判定部１５０は、青空の検出結果に基づくサイズ指標値及び青空シーン判定値の大きい方に基づいて、青色領域の彩度を上げるか否かを判定する。そして判定部１５０は、人物の顔及び緑の景色については、顔シーン判定値及び緑シーン判定値をそのまま用いて、肌色領域及び緑色領域に関する画質調整の要否を判定してもよい。

【0111】

また所定のオブジェクトは２以上であってもよい。例えばオブジェクト検出部１２０は、人物の顔の検出処理と、青空の検出処理の両方を行ってもよい。この場合、判定部１５０は、人物の顔の検出結果に基づくサイズ指標値及び顔シーン判定値に基づいて、肌色領域の彩度を下げるか否かを判定する。また判定部１５０は、青空の検出結果に基づくサイズ指標値及び青空シーン判定値に基づいて、青色領域の彩度を上げるか否かを判定する。また判定部１５０は、緑の景色については、緑シーン判定値をそのまま用いて、緑の景色の緑色領域に関する画質調整の要否を判定してもよい。

【0112】

当然、オブジェクト検出部１２０は、人物の顔、青空、緑の景色のそれぞれを所定のオブジェクトとしてオブジェクト検出処理を行ってもよい。この場合、判定部１５０は、肌色領域、青色領域、緑色領域のすべてについて、オブジェクト検出結果とシーン判定結果の両方を用いて、画質調整の要否を判定する。

【0113】

以上のように本実施形態では、所定のオブジェクトは人物の顔であってもよいし、青空であってもよいし、緑の景色であってもよいし、これ以外のオブジェクトであってもよい。また特定色に関する画質調整の対象となるオブジェクトは１つに限定されず、例えば上述したように、人物の顔、青空、緑の景色のうちの２以上が対象となってもよい。この際、オブジェクト検出処理の対象となるオブジェクトについては、オブジェクト検出結果とシーン判定結果が併用されることによって、画質調整の要否判定の精度向上が可能になる。

【0114】

３．第３実施形態
第２実施形態では、オブジェクト検出結果に基づくサイズ指標値と、シーン判定結果に基づくシーン指標値が取得された場合に、その値の大きい方が指標値として用いられる例を説明した。しかし指標値を取得する手法はこれに限定されない。以下、具体例について説明する。なお図１１に示した処理のうち、ステップＳ５０５を除いた処理については、第２実施形態と同様である。

【0115】

図１４は、本実施形態における指標値の取得処理を説明するフローチャートである。なお図１４に示す処理の前に、判定部１５０は、サイズ指標値およびシーン指標値を取得しているものとする。

【0116】

ステップＳ６０１において、判定部１５０は、サイズ指標値に対して第１重みにより重み付けを行う。またステップＳ６０２において、判定部１５０は、シーン指標値に対して第２重みによる重み付けを行う。ここでの重み付けとはサイズ指標値に第１重みを乗ずる処理、及び、シーン指標値に第２重みを乗ずる処理であるが、他の重み付け処理が行われてもよい。また、ここで第１重みと第２重みは同じ値であってもよいし、異なる値であってもよい。本実施形態の判定部１５０は、ステップＳ６０５において後述するように、重み付け後のサイズ指標値及び重み付け後のシーン指標値に基づいて、指標値を求める。

【0117】

このようにすれば、サイズ指標値とシーン指標値のそれぞれについて、画質調整の要否判定への寄与度を補正することが可能になる。例えば、第１重みは０以上１以下の値であってもよく、値が０に近いほどサイズ指標値の値が小さくなるため、サイズ指標値の寄与度が小さくなる。また第２重みは０以上１以下の値であってもよく、値が０に近いほどシーン指標値の値が小さくなるため、シーン指標値の寄与度が小さくなる。また第１重み及び第２重みの少なくとも一方が１以上の値となってもよい。本実施形態の手法によれば、サイズ指標値とシーン指標値のどちらを重視するかを柔軟に決定することが可能になる。

【0118】

例えば、第１重みは第２重みよりも大きい値であってもよい。この場合、サイズ指標値をシーン指標値に比べて重視する処理が可能になる。例えば図１３に示したように、入力画像における所定のオブジェクト（例えば人物の顔）の態様は種々考えられるが、シーン判定に比べて、オブジェクト検出が対応可能な範囲が広い可能性がある。即ち、特定色に関する画質調整の要否判定において、オブジェクト検出に基づくサイズ指標値は、シーン指標値に比べて信頼性の高い情報である可能性がある。よって第１重みを第２重みよりも大きくすることによって、より信頼できる情報を重視した処理を実現できる。ただし本実施形態の処理はこれに限定されず、第１重みと第２重みの値が同じになってもよいし、第２重みを第１重みより大きくしてもよい。

【0119】

また図１２に示したように、シーン取得部１４０は、入力画像が、アニメーションである確からしさを表すシーン判定結果を取得してもよい。ここでのシーン判定結果は、例えば上述したアニメシーン判定値である。そして判定部１５０は、入力画像がアニメーションである確からしさに基づいて、サイズ指標値及びシーン指標値の少なくとも一方に対して、重み付け処理を行ってもよい。例えば判定部１５０は、アニメシーン判定値が大きい場合、値が小さい場合に比べて、サイズ指標値及びシーン指標値の少なくとも一方が小さくなるような第３重みを用いた重み付け処理を行ってもよい。ここで指標値を小さくする重みとは、特定色に関する画質の調整を行わないと判定される方向の重みと言い換えてもよい。なお図１４では、判定部１５０は、ステップＳ６０３において、サイズ指標値に対する重み付け処理を行い、ステップＳ６０４において、シーン指標値に対する重み付け処理を行う例を示したが、ステップＳ６０３及びＳ６０４の何れか一方が省略されてもよい。

【0120】

例えば判定部１５０は、第３重みとして０以上１未満の重みを設定してもよい。例えば第３重みはアニメシーン判定値が所与の閾値以上の場合に０となり、所与の閾値未満の場合に１となる値であってもよい。この場合、入力画像がアニメーションである蓋然性が高いと判定された場合に、サイズ指標値とシーン指標値の少なくとも一方の値が０に設定される。このようにすれば、例えばアニメーションにおける肌色領域に対して画質調整が行われることを抑制できる。アニメーションでは肌色に相当する画素の画質を調整することによって、かえってユーザーに違和感を与える可能性があるため、第３重みを用いることによって当該違和感の発生を抑制できる。

【0121】

なお判定部１５０は、サイズ指標値とシーン指標値の両方に第３重みを乗ずる重み付けを行ってもよい。このようにすれば、両方の指標値が小さくなるため、特定色に関する画質調整が行われにくくなる。ただし本実施形態における処理はこれに限定されず、判定部１５０は、サイズ指標値とシーン指標値の何れか一方に第３重みを乗ずる重み付けを行ってもよい。

【0122】

また第３重みは、０と１の２値に限定されない。例えば第３重みは、アニメシーン判定値が０の場合に１、１００の場合に０となり、アニメシーン判定値が０より大きく１００未満の範囲では線形補間が行われてもよい。このようにすれば、アニメシーン判定値の大小に応じた柔軟な重み付けが可能になる。なお第３重みの範囲はこれに限定されず、アニメシーン判定値が１００の場合に０より大きい値が設定されてもよい。例えばアニメシーン判定値が１００の場合の第３重みの値を０．５に設定することによって、第３重みは０．５以上１以下の範囲で設定されてもよい。またアニメシーン判定値が０の場合の第３重みを１より小さい値に設定することによって、第３重みの上限値が変更されてもよい。また、アニメシーン判定値が０より大きく１００未満の範囲での補間処理は線形補間に限定されず、非線形関数を用いた補間処理が行われてもよい。

【0123】

なお図１４において、サイズ指標値に関する処理（ステップＳ６０１及びＳ６０３）と、シーン指標値に関する処理（ステップＳ６０２及びＳ６０４）は、並列に実行されてもよいし、シーケンシャルに実行されてもよい。重み付け処理の完了後、ステップＳ６０５において、判定部１５０は、重み付け後のサイズ指標値及びシーン指標値に基づいて、特定色に関する画質調整の要否を判定するための指標値を取得する。具体的には、判定部１５０は、重み付け後のサイズ指標値と重み付け後のシーン指標値を比較し、大きい方の値を指標値として取得する。指標値取得後の処理については第１実施形態や第２実施形態と同様であり、図８Ａに示した処理が実行されてもよいし、図８Ｂに示した処理が実行されてもよい。

【0124】

また以上では、アニメーションである確からしさに応じて、サイズ指標値及びシーン指標値の少なくとも一方に適用する第３重みを調整する例を説明した。ただし本実施形態では、アニメーションである確からしさに基づいて、他の画質調整が行われてもよい。例えば画質調整部１６０は、アニメーションである確からしさに基づいて、特定色に関する画質調整の具体的な内容を変更してもよい。例えば上述した例では、特定色に関する画質調整とは、特定色の表現を記憶色に近づける調整である。これに対して画質調整部１６０は、例えばアニメーションである確からしさが所定未満である場合には、特定色の表現を記憶色に近づける調整を行い、アニメーションである確からしさが所定以上である場合には、特定色を記憶色とは異なる色に近づける調整を行ってもよい。より広義には、画質調整部１６０は、アニメーションである確からしさ（アニメシーン判定値）に基づいて、特定色に関する画質調整における目標色を決定してもよい。ここで目標色とは、明度、彩度及び色相の値の組によって特定される情報である。このようにすれば、入力画像（映像信号）がアニメーションである場合とそれ以外の場合とで、それぞれに好適な画質調整を実現することが可能になる。またアニメシーン判定値は、特定色とは異なる色の画質調整における目標色の決定に用いられてもよい。その他、具体的な処理については種々の変形実施が可能である。

【0125】

なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また画像表示装置、テレビ受信装置等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

【符号の説明】

【0126】

１０…テレビ受信装置、１１…プロセッサー、１２…チューナー、１３…通信インターフェイス、１４…メモリー、１５…操作インターフェイス、１６…表示パネル、１００…画像表示装置、１１０…画像取得部、１２０…オブジェクト検出部、１３０…サイズ取得部、１４０…シーン取得部、１５０…判定部、１６０…画質調整部、１７０…表示制御部、Ｄ１，Ｄ２…矩形領域、Ｆ１，Ｆ２…顔、ＩＭ…画像、ｔ１～ｔ１１…タイミング

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9A】

【図9B】

【図9C】

【図10】

【図11】

【図12】

【図13】

【図14】