IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エルジー エレクトロニクス インコーポレイティドの特許一覧

特開2022-49641ディスプレイ装置及びその方法{A DISPLAY DEVICE AND METHOD OF THE SAME}
<>
  • 特開-ディスプレイ装置及びその方法{A  DISPLAY  DEVICE  AND  METHOD  OF  THE  SAME} 図1
  • 特開-ディスプレイ装置及びその方法{A  DISPLAY  DEVICE  AND  METHOD  OF  THE  SAME} 図2
  • 特開-ディスプレイ装置及びその方法{A  DISPLAY  DEVICE  AND  METHOD  OF  THE  SAME} 図3
  • 特開-ディスプレイ装置及びその方法{A  DISPLAY  DEVICE  AND  METHOD  OF  THE  SAME} 図4
  • 特開-ディスプレイ装置及びその方法{A  DISPLAY  DEVICE  AND  METHOD  OF  THE  SAME} 図5
  • 特開-ディスプレイ装置及びその方法{A  DISPLAY  DEVICE  AND  METHOD  OF  THE  SAME} 図6
  • 特開-ディスプレイ装置及びその方法{A  DISPLAY  DEVICE  AND  METHOD  OF  THE  SAME} 図7
  • 特開-ディスプレイ装置及びその方法{A  DISPLAY  DEVICE  AND  METHOD  OF  THE  SAME} 図8
  • 特開-ディスプレイ装置及びその方法{A  DISPLAY  DEVICE  AND  METHOD  OF  THE  SAME} 図9
  • 特開-ディスプレイ装置及びその方法{A  DISPLAY  DEVICE  AND  METHOD  OF  THE  SAME} 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022049641
(43)【公開日】2022-03-29
(54)【発明の名称】ディスプレイ装置及びその方法{A DISPLAY DEVICE AND METHOD OF THE SAME}
(51)【国際特許分類】
   G06T 1/00 20060101AFI20220322BHJP
   H04N 9/64 20060101ALI20220322BHJP
   G09G 5/10 20060101ALI20220322BHJP
   G09G 5/02 20060101ALI20220322BHJP
   G09G 5/36 20060101ALI20220322BHJP
   G09G 5/06 20060101ALI20220322BHJP
【FI】
G06T1/00 510
G06T1/00 340A
H04N9/64 F
G09G5/10 B
G09G5/02 B
G09G5/36 520P
G09G5/06
【審査請求】有
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2020213164
(22)【出願日】2020-12-23
(11)【特許番号】
(45)【特許公報発行日】2022-02-10
(31)【優先権主張番号】10-2020-0118894
(32)【優先日】2020-09-16
(33)【優先権主張国・地域又は機関】KR
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.HDMI
2.ブルートゥース
3.BLUETOOTH
4.ZIGBEE
(71)【出願人】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】LG ELECTRONICS INC.
【住所又は居所原語表記】128, Yeoui-daero, Yeongdeungpo-gu, 07336 Seoul,Republic of Korea
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100159259
【弁理士】
【氏名又は名称】竹本 実
(72)【発明者】
【氏名】キム キュリ
【テーマコード(参考)】
5B057
5C066
5C182
【Fターム(参考)】
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE11
5B057CE17
5B057CH07
5B057CH18
5B057DA16
5B057DB02
5B057DB06
5B057DB09
5B057DC25
5B057DC30
5C066AA03
5C066CA05
5C066EA03
5C066EC05
5C066KA11
5C066KD06
5C182AB01
5C182AB08
5C182AB11
5C182AB14
5C182AB33
5C182AB37
5C182AC13
5C182AC38
5C182AC43
5C182AC46
5C182BA01
5C182BA03
5C182BA14
5C182BA29
5C182BA35
5C182BA54
5C182BA75
5C182BC22
5C182BC25
5C182BC26
5C182CA01
5C182CA22
5C182CA32
5C182CA33
5C182CA34
5C182CA36
5C182CB44
5C182CC24
5C182DA18
(57)【要約】      (修正有)
【課題】映像のエンハンスメントにより発生する色の歪みを防止することことができるディスプレイ装置を提供する。
【解決手段】ディスプレイ装置100は、映像を出力するディスプレイ180と、映像の輝度を補正して輝度補正映像を獲得する輝度変換部1701と、映像に含まれた人物を検出し、人物の検出の有無に応じて輝度補正映像の色相にゲイン値を適用して色相補正映像を獲得し、ディスプレイ180を通じて色相補正映像または輝度補正映像を出力する制御部170と、を含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
映像を出力するディスプレイ部と、
前記映像の輝度を補正して輝度補正映像を獲得する輝度変換部と、
前記映像に含まれた人物を検出し、前記人物の検出の有無に応じて前記輝度補正映像の色相にゲイン値を適用して色相補正映像を獲得し、前記ディスプレイ部を通じて前記色相補正映像または前記輝度補正映像を出力する制御部と、
を含む、ディスプレイ装置。
【請求項2】
前記輝度変換部は、
前記映像に含まれた単位ピクセルのそれぞれに対応する輝度値を獲得し、線形または非線形区間を含むルックアップテーブルを通じて前記輝度値に対応する補正輝度値を獲得し、
前記補正輝度値に基づいて、前記単位ピクセルのそれぞれの輝度値を補正した輝度補正映像を獲得する、請求項1に記載のディスプレイ装置。
【請求項3】
前記制御部は、
前記映像に人物が検出されていない場合、前記ディスプレイ部を通じて前記輝度補正映像を出力する、請求項2に記載のディスプレイ装置。
【請求項4】
前記制御部は、前記映像に人物が検出された場合、人物検出領域を抽出し、前記人物検出領域のサイズに対応する前記ゲイン値を獲得し、前記輝度補正映像の色相に前記ゲイン値を乗じて前記色相補正映像を獲得し、前記ディスプレイ部を通じて前記色相補正映像を出力する、請求項1に記載のディスプレイ装置。
【請求項5】
前記人物検出領域のサイズに対応するゲイン値を示したゲインテーブルを記憶するメモリをさらに含む、請求項4に記載のディスプレイ装置。
【請求項6】
前記人物検出領域のサイズに対応するゲイン値は、
前記人物検出領域のサイズが予め設定された第1値以下である場合、第1ゲイン値を有し、
前記人物検出領域のサイズが予め設定された第1値を超える場合、前記第1ゲイン値より小さい値を有する、請求項4に記載のディスプレイ装置。
【請求項7】
前記人物検出領域のサイズに対応するゲイン値は、
前記人物検出領域のサイズが予め設定された第1値である場合、第1ゲイン値を有し、
前記人物検出領域のサイズが予め設定された第2値である場合、第2ゲイン値を有し、
前記人物検出領域のサイズが予め設定された第3値である場合、第3ゲイン値を有し、
前記第1値は、前記第2値より小さく、
前記第2値は、前記第3値より小さく、
前記第1ゲイン値は、前記第2ゲイン値より大きく、
前記第2ゲイン値は、前記第3ゲイン値より大きい、請求項4に記載のディスプレイ装置。
【請求項8】
前記第1ゲイン値から前記第2ゲイン値までの傾きは、前記第2ゲイン値から前記第3ゲイン値までの傾きより大きい、請求項7に記載のディスプレイ装置。
【請求項9】
前記制御部は、前記映像に複数の人物が検出された場合、前記複数の人物検出領域をそれぞれ抽出し、前記複数の人物検出領域のサイズの和に対応するゲイン値を獲得し、前記輝度補正映像の色相に前記ゲイン値を乗じて前記色相補正映像を獲得し、前記ディスプレイ部を通じて前記色相補正映像を出力する、請求項1に記載のディスプレイ装置。
【請求項10】
色相を色座標に変換する色座標変換部をさらに含み、
前記色座標変換部は、
前記映像の色相を第1色座標値にマッピングし、
前記輝度補正映像を第2色座標値にマッピングし、
前記第1色座標値から前記第2色座標値に向う方向は、色が薄くなる方向を追従する、請求項1に記載のディスプレイ装置。
【請求項11】
前記制御部は、オブジェクト検出アルゴリズム、ニューラルネットワーク(Neural Network)、アダブースト(Adaboost)、サポートベクターマシン(Support Vector Machine)のうち少なくとも1つの分流器を利用して前記映像に含まれた人物を検出する、請求項1に記載のディスプレイ装置。
【請求項12】
映像の輝度を補正して輝度補正映像を獲得するステップと、
前記映像に含まれた人物を検出するステップと、
前記人物の検出の有無に応じて前記輝度補正映像の色相を補正して色相補正映像を獲得するステップと、
前記色相補正映像を出力するステップと、
を含む、ディスプレイ装置の動作方法。
【請求項13】
前記輝度補正映像を獲得するステップは、
前記映像に含まれた単位ピクセルのそれぞれに対応する輝度値を獲得するステップと、
ルックアップテーブルを利用して輝度値に対応する補正輝度値を獲得するステップと、
前記補正輝度値に基づいて輝度補正映像を獲得するステップと、
を含む、請求項12に記載のディスプレイ装置の動作方法。
【請求項14】
前記色相補正映像を獲得するステップは、
前記映像に人物が検出された場合、人物検出領域を抽出するステップと、
前記人物検出領域のサイズに対応するゲイン値を獲得するステップと、
前記輝度補正映像の色相に前記ゲイン値を乗じて前記色相補正映像を獲得するステップと、
を含む、請求項12に記載のディスプレイ装置の動作方法。
【請求項15】
前記人物を検出するステップは、オブジェクト検出アルゴリズム、ニューラルネットワーク(Neural Network)、アダブースト(Adaboost)、サポートベクターマシン(Support Vector Machine)のうち少なくとも1つの分流器を利用して前記映像に含まれた人物を検出するステップを含む、請求項12に記載のディスプレイ装置の動作方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ディスプレイ装置及び方法に関するものであり、より詳しくは、映像の色相を補正して出力する映像を補正するディスプレイ装置及び方法に関するものである。
【背景技術】
【0002】
ディスプレイ装置は、ユーザが視聴できる映像を受信、処理及び表示する機能を備えた装置である。ディスプレイ装置は、例えば、放送局から送出される放送信号のうちユーザが選択した放送信号を受信し、受信された信号から映像信号を分離し、再び分離された映像信号をディスプレイに表示する。
【0003】
一方、ディスプレイ装置は、ユーザに対象物の形や色が遠距離からも識別を容易にする視認性、自然な色相及び鮮明な画質の映像を提供することが重要である。
【0004】
このために、映像エンハンスメント(Image enhancement)、色彩強化(Color enhancement)、ホワイトバランス調節、ルックアップテーブルを利用した映像の輝度変換及びカラーゲイン(Color gain)を利用した色感調整のような多様な方法が提供されている。
【0005】
一方、上記方法のうち代表的な方法は、映像の輝度を補正して、出力される映像を強化(Enhancement)する方法であるが、この方法は、人物の肌色または人物の肌色と類似する色感を有する対象に過剰なエンハンスメント(Enhancement)が適用されることで、色の歪み(Color distortion)が生じて鮮明な映像を提供できない問題が発生した。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示の目的は、映像のエンハンスメント(Enhancement)により発生する色の歪みを防止することにある。
【0007】
本開示の目的は、AIモデルを利用した顔検出を通じて映像の色相を補正することで、映像の特定の部分に色の歪みが発生することを防止することにある。
【課題を解決するための手段】
【0008】
本開示の実施例に係るディスプレイ装置は、映像を出力するディスプレイ部と、前記映像の輝度を補正して輝度補正映像を獲得する輝度変換部と、前記映像に含まれた人物を検出し、前記人物の検出の有無に応じて前記輝度補正映像の色相にゲイン値を適用して色相補正映像を獲得し、前記ディスプレイ部を通じて前記色相補正映像または前記輝度補正映像を出力する制御部とを含むことができる。
【0009】
また、前記輝度変換部は、前記映像に含まれた単位ピクセルのそれぞれに対応する輝度値を獲得し、線形または非線形区間を含むルックアップテーブルを通じて前記輝度値に対応する補正輝度値を獲得し、前記補正輝度値に基づいて、前記単位ピクセルのそれぞれの輝度値を補正した輝度補正映像を獲得することができる。
【0010】
また、制御部は、前記映像に人物が検出されていない場合、前記ディスプレイ部を通じて前記輝度補正映像を出力することができる。
【0011】
また、制御部は、前記映像に人物が検出された場合、人物検出領域を抽出し、前記人物検出領域のサイズに対応する前記ゲイン値を獲得し、前記輝度補正映像の色相に前記ゲイン値を乗じて前記色相補正映像を獲得し、前記ディスプレイ部を通じて前記色相補正映像を出力することができる。
【0012】
また、ディスプレイ装置は、前記人物検出領域のサイズに対応するゲイン値を示したゲインテーブルを記憶するメモリをさらに含むことができる。
【0013】
また、前記人物検出領域のサイズに対応するゲイン値は、前記人物検出領域のサイズが予め設定された第1値以下である場合、第1ゲイン値を有し、前記人物検出領域のサイズが予め設定された第1値を超える場合、前記第1ゲイン値より小さい値を有することができる。
【0014】
また、前記人物検出領域のサイズに対応するゲイン値は、前記人物検出領域のサイズが予め設定された第1値である場合、第1ゲイン値を有し、前記人物検出領域のサイズが予め設定された第2値である場合、第2ゲイン値を有し、前記人物検出領域のサイズが予め設定された第3値である場合、第3ゲイン値を有し、前記第1値は、前記第2値より小さく、前記第2値は、前記第3値より小さく、前記第1ゲイン値は、前記第2ゲイン値より大きく、前記第2ゲイン値は、前記第3ゲイン値より大きくてもよい。
【0015】
また、第1ゲイン値から前記第2ゲイン値までの傾きは、前記第2ゲイン値から前記第3ゲイン値までの傾きより大きくてもよい。
【0016】
また、前記制御部は、前記映像に複数の人物が検出された場合、前記複数の人物検出領域をそれぞれ抽出し、前記複数の人物検出領域のサイズの和に対応するゲイン値を獲得し、前記輝度補正映像の色相に前記ゲイン値を乗じて前記色相補正映像を獲得することができる。
【0017】
また、ディスプレイ部を通じて前記色相補正映像を出力することができる。
【0018】
また、ディスプレイ装置は、色相を色座標に変換する色座標変換部をさらに含み、前記色座標変換部は、前記映像の色相を第1色座標値にマッピングし、前記輝度補正映像を第2色座標値にマッピングし、前記第1色座標値から前記第2色座標値に向う方向は、色が薄くなる方向を追従することができる。
【0019】
また、前記制御部は、オブジェクト検出アルゴリズム、ニューラルネットワーク(Neural Network)、アダブースト(Adaboost)、サポートベクターマシン(Support Vector Machine)のうち少なくとも1つの分流器を利用して前記映像に含まれた人物を検出することができる。
【0020】
本開示の実施例に係るディスプレイ装置の動作方法は、映像の輝度を補正して輝度補正映像を獲得するステップと、前記映像に含まれた人物を検出するステップと、前記人物の検出の有無に応じて前記輝度補正映像の色相を補正して色相補正映像を獲得するステップと、前記色相補正映像を出力するステップとを含むことができる。
【0021】
また、輝度補正映像を獲得するステップは、前記映像に含まれた単位ピクセルのそれぞれに対応する輝度値を獲得するステップと、ルックアップテーブルを利用して輝度値に対応する補正輝度値を獲得するステップと、前記補正輝度値に基づいて輝度補正映像を獲得するステップとを含むことができる。
【0022】
また、前記色相補正映像を獲得するステップは、前記映像に人物が検出された場合、人物検出領域を抽出するステップと、前記人物検出領域のサイズに対応する前記ゲイン値を獲得するステップと、前記輝度補正映像の色相に前記ゲイン値を乗じて前記色相補正映像を獲得するステップとを含むことができる。
【発明の効果】
【0023】
本開示は、カラーゲイン(color gain)に基づいた色相補正映像を生成し、色相補正映像を出力することで、ユーザに映像エンハンスメント(image enhancement)の副作用(side effect)である色の歪みが除去された映像を提供することができる。
【0024】
本開示は、人物検出の有無に応じてカラーゲイン(color gain)を異なるように使用することで、出力する映像に最適化された映像エンハンスメントを提供することができる。
【0025】
本開示は、人物が検出された場合、人物が検出された領域のサイズに対応してカラーゲイン値を異なるように設定することで、出力する映像に最適化された映像エンハンスメントを提供することができる。
【図面の簡単な説明】
【0026】
図1】本開示の一実施例に係るディスプレイ装置の構成をブロック図で示したものである。
図2】本開示の一実施例に係る遠隔制御装置のブロック図である。
図3】本開示の一実施例に係る遠隔制御装置の実際の構成例を示したものである。
図4】本開示の実施例に応じて遠隔制御装置を活用する例を示したものである。
図5】本開示の実施例に係るフローチャートである。
図6】本開示の実施例に係る輝度補正映像の生成過程を示した図面である。
図7】本開示の実施例に係る人物が含まれた映像において輝度補正映像の生成過程を示した図面である。
図8】本開示の実施例に係る人物が含まれた映像において色相補正映像の生成過程を示した図面である。
図9】本開示の実施例に係るゲインテーブルを示した図面である。
図10】本開示の実施例に係る色座標系を示した図面である。
【発明を実施するための形態】
【0027】
以下、本発明に係る実施例について、図面を参照してより詳しく説明する。以下の説明で用いられる構成要素に対する接尾辞「モジュール」及び「部」は、明細書を容易に作成するために付与また混用されるものとして、それ自体で互いに区別される意味または役割を有するものではない。
【0028】
図1は、本発明の一実施例に係るディスプレイ装置の構成をブロック図で示したものである。
【0029】
図1を参照すると、ディスプレイ装置100は、放送受信部130、外部装置インターフェース部135、記憶部140、ユーザ入力インターフェース部150、制御部170、無線通信部173、音声獲得部175、ディスプレイ部180、オーディオ出力部185、電源供給部190を含むことができる。
【0030】
放送受信部130は、チューナー131、復調部132及びネットワークインターフェース部133を含むことができる。
【0031】
チューナー131はチャンネル選局命令に応じて特定放送チャンネルを選局することができる。チューナー131は、選局された特定放送チャンネルに対する放送信号を受信することができる。
【0032】
復調部132は、受信した放送信号をビデオ信号、オーディオ信号、放送プログラムに関連したデータ信号に分離することができ、分離されたビデオ信号、オーディオ信号及びデータ信号を出力可能な形態に復元することができる。
【0033】
ネットワークインターフェース部133は、ディスプレイ装置100をインターネット網を含む有無線ネットワークと連結するためのインターフェースを提供することができる。ネットワークインターフェース部133は、接続されたネットワークまたは接続されたネットワークにリンクされた他のネットワークを通じて、他のユーザまたは他の電子機器とデータを送信または受信することができる。
【0034】
ネットワークインターフェース部133は接続されたネットワークまたは接続されたネットワークにリンクされた他のネットワークを通じて、所定のウェブページに接続することができる。即ち、ネットワークを通じて所定のウェブページに接続して、当該サーバーとデータを送信または受信することができる。
【0035】
そして、ネットワークインターフェース部133は、コンテンツ提供者またはネットワーク運営者が提供するコンテンツまたはデータを受信することができる。即ち、ネットワークインターフェース部133は、ネットワークを通じてコンテンツ提供者またはネットワーク提供者から提供される映画、広告、ゲーム、VOD、放送信号等のコンテンツ及びそれに関連した情報を受信することができる。
【0036】
また、ネットワークインターフェース部133は、ネットワーク運営者が提供するファームウェアのアップデート情報及びアップデートファイルを受信することができ、インターネットまたはコンテンツ提供者またはネットワーク運営者にデータを送信することができる。
【0037】
ネットワークインターフェース部133は、ネットワークを通じて、公衆に公開(open)されたアプリケーションのうち所望のアプリケーションを選択して受信することができる。
【0038】
外部装置インターフェース部135は、隣接する外部装置内のアプリケーションまたはアプリケーションリストを受信し、制御部170または記憶部140に伝達することができる。
【0039】
外部装置インターフェース部135は、ディスプレイ装置100と外部装置の間の連結経路を提供することができる。外部装置インターフェース部135は、ディスプレイ装置100に無線または有線連結された外部装置から出力された映像、オーディオのうち1つ以上を受信して制御部170に伝達することができる。外部装置インターフェース部135は、複数の外部入力端子を含むことができる。複数の外部入力端子は、RGB端子、1つ以上のHDMI(High Definition Multimedia Interface)端子、コンポーネント(Component)端子を含むことができる。
【0040】
外部装置インターフェース部135を通じて入力された外部装置の映像信号は、ディスプレイ部180を通じて出力されてもよい。外部装置インターフェース部135を通じて入力された外部装置の音声信号は、オーディオ出力部185を通じて出力されてもよい。
【0041】
外部装置インターフェース部135に連結可能な外部装置は、セットトップボックス、ブルーレイプレーヤー、DVDプレーヤー、ゲーム機、サウンドバー、スマートフォン、PC、USBメモリ、ホームシアターのうちいずれか1つであってもよいが、これは例示に過ぎない。
【0042】
また、ディスプレイ装置100に予め登録された他のユーザまたは他の電子機器のうち選択されたユーザまたは選択された電子機器に、ディスプレイ装置100に記憶された一部のコンテンツデータを送信することができる。
【0043】
記憶部140は、制御部170内の各信号処理及び制御のためのプログラムを記憶し、信号処理された映像、音声またはデータ信号を記憶することができる。
【0044】
また、記憶部140は、外部装置インターフェース部135またはネットワークインターフェース部133から入力される映像、音声またはデータ信号を臨時記憶するための機能をすることもでき、チャンネル記憶機能を通じて所定のイメージに関する情報を記憶することもできる。
【0045】
記憶部140は、外部装置インターフェース部135またはネットワークインターフェース部133から入力されるアプリケーションまたはアプリケーションリストを記憶することができる。
【0046】
ディスプレイ装置100は、記憶部140内に記憶されているコンテンツファイル(動画ファイル、静止映像ファイル、音楽ファイル、文書ファイル、アプリケーションファイル等)を再生してユーザに提供することができる。
【0047】
ユーザ入力インターフェース部150は、ユーザが入力した信号を制御部170に伝達したり、制御部170からの信号をユーザに伝達することができる。例えば、ユーザ入力インターフェース部150はブルートゥース(Bluetooth)、WB(Ultra Wideband)、ジグビー(ZigBee)方式、RF(Radio Frequency)通信方式または赤外線(IR)通信方式等多様な通信方式に応じて、遠隔制御装置200から電源のオン/オフ、チャンネル選択、画面設定等の制御信号を受信して処理したり、制御部170からの制御信号を遠隔制御装置200に送信するように処理することができる。
【0048】
また、ユーザ入力インターフェース部150は、電源キー、チャンネルキー、ボリュームキー、設定キー等のローカルキー(図示されない)から入力される制御信号を制御部170に伝達することができる。
【0049】
制御部170で映像処理された映像信号は、ディスプレイ部180に入力されて当該映像信号に対応する映像として表示されてもよい。また、制御部170で映像処理された映像信号は、外部装置インターフェース部135を通じて外部出力装置に入力されてもよい。
【0050】
制御部170で処理された音声信号は、オーディオ出力部185にオーディオ出力されてもよい。また、制御部170で処理された音声信号は、外部装置インターフェース部135を通じて外部出力装置に入力されてもよい。
【0051】
他に、制御部170は、ディスプレイ装置100内の全般的な動作を制御することができる。
【0052】
また、制御部170は、ユーザ入力インターフェース部150を通じて入力されたユーザ命令または内部プログラムによってディスプレイ装置100を制御することができ、ネットワークに接続してユーザが所望するアプリケーションまたはアプリケーションリストをディスプレイ装置100内にダウンロードできるようにすることができる。
【0053】
制御部170は、ユーザが選択したチャンネル情報等が処理した映像または音声信号と一緒にディスプレイ部180またはオーディオ出力部185を通じて出力されるようにする。
【0054】
また、制御部170は、ユーザ入力インターフェース部150を通じて受信した外部装置映像再生命令に応じて、外部装置インターフェース部135を通じて入力される外部装置、例えばカメラまたはビデオカメラからの映像信号または音声信号がディスプレイ部180またはオーディオ出力部185を通じて出力されるようにする。
【0055】
一方、制御部170は、映像を表示するようにディスプレイ部180を制御することができ、例えばチューナー131を通じて入力される放送映像、または外部装置インターフェース部135を通じて入力される外部入力映像、またはネットワークインターフェース部を通じて入力される映像、または記憶部140に記憶された映像がディスプレイ部180にて表示されるように制御することができる。この場合、ディスプレイ部180に表示される映像は停止映像または動画であってもよく、2D映像または3D映像であってもよい。
【0056】
また、制御部170は、ディスプレイ装置100内に記憶されたコンテンツまたは受信された放送コンテンツ、外部から入力される外部入力コンテンツが再生されるように制御することができ、コンテンツは、放送映像、外部入力映像、オーディオファイル、停止映像、接続されたウェブ画面及び文書ファイル等多様な形態であってもよい。
【0057】
無線通信部173は、有線または無線通信を通じて外部機器と通信を行うことができる。無線通信部173は、外部機器と近距離通信(Short range communication)を行うことができる。このために、無線通信部173は、ブルートゥース(Bluetooth)、BLE(Bluetooth Low Energy)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)、UWB(Ultra Wideband)、ZigBee、NFC(Near Field Communication)、Wi‐Fi(Wireless-Fidelity)、Wi‐Fi Direct、Wireless USB(Wireless Universal Serial Bus)技術のうち少なくとも1つを利用して近距離通信を支援することができる。このような無線通信部173は、近距離無線通信網(Wireless Area Networks)を通じてディスプレイ装置100と無線通信システムの間、ディスプレイ装置100と他のディスプレイ装置100の間またはディスプレイ装置100とディスプレイ装置100(または、外部サーバー)が位置したネットワークの間の無線通信を支援することができる。近距離無線通信網は、近距離無線個人通信網(Wireless Personal Area Networks)であってもよい。
【0058】
ここで、他のディスプレイ装置100は、本発明によるディスプレイ装置100とデータを相互交換可能な(または、連動可能な)ウェアラブルデバイス(wearable device)、例えばスマートウォッチ(smartwatch)、スマートグラス(smart glass)、HMD(head mounted display)、スマートフォンのような移動端末機であってもよい。無線通信部173は、ディスプレイ装置100の周辺の通信可能なウェアラブルデバイスを感知(または、認識)することができる。さらに、制御部170は、感知されたウェアラブルデバイスが本発明によるディスプレイ装置100と通信するように認証された(authenticated)デバイスである場合、ディスプレイ装置100で処理されるデータの少なくとも一部を、無線通信部173を通じてウェアラブルデバイスに送信することができる。よって、ウェアラブルデバイスのユーザは、ディスプレイ装置100で処理されるデータを、ウェアラブルデバイスを通じて利用することができる。
【0059】
音声獲得部175は、オーディオを獲得することができる。音声獲得部175は、少なくとも1つのマイク(図示されない)を含むことができ、マイク(図示されない)を通じてディスプレイ装置100の周辺のオーディオを獲得することができる。
【0060】
ディスプレイ部180は、制御部170で処理された映像信号、データ信号、OSD信号または外部装置インターフェース部135で受信される映像信号、データ信号等をそれぞれR、G、B信号に変換して駆動信号を生成することができる。
【0061】
一方、図1に図示されたディスプレイ装置100は、本発明の一実施例に過ぎないので、図示された構成要素のうちの一部は、実際具現されるディスプレイ装置100の仕様に応じて統合、追加または省略されてもよい。
【0062】
即ち、必要に応じて、2以上の構成要素が1つの構成要素に統合されてもよく、或いは1つの構成要素が2以上の構成要素に細分されて構成されてもよい。また、各ブロックで行う機能は、本発明の実施例を説明するためのものであり、その具体的な動作や装置は、本発明の権利範囲を制限するものではない。
【0063】
本発明のさらに別の実施例によれば、ディスプレイ装置100は、図1に図示されたものと違って、チューナー131と復調部132を備えず、ネットワークインターフェース部133または外部装置インターフェース部135を通じて映像を受信して再生することもできる。
【0064】
例えば、ディスプレイ装置100は、放送信号または多様なネットワークサービスに応じたコンテンツを受信するため等のようなセットトップボックス等のような映像処理装置と映像処理装置から入力されるコンテンツを再生するコンテンツ再生装置とに分離されて具現されてもよい。
【0065】
この場合、以下で説明する本発明の実施例に係るディスプレイ装置の動作方法は、図1を参照して説明したようなディスプレイ装置100だけではなく、分離されたセットトップボックス等のような映像処理装置またはディスプレイ部180及びオーディオ出力部185を備えるコンテンツ再生装置のうちいずれか1つによって実行されてもよい。
【0066】
オーディオ出力部185は、制御部170で音声処理された信号の入力を受けて音声として出力する。
【0067】
電源供給部190は、ディスプレイ装置100全般にわたって該当電源を供給する。特に、システムオンチップ(System On Chip:SOC)の形態に具現できる制御部170と、映像表示のためのディスプレイ部180及びオーディオ出力のためのオーディオ出力部185等に電源を供給することができる。
【0068】
具体的に、電源供給部190は、交流電源を直流電源に変換するコンバータと、直流電源のレベルを変換するDC/DCコンバータを備えることができる。
【0069】
次に、図2図3を参照して、本発明の一実施例に係る遠隔制御装置に対して説明する。
【0070】
図2は、本発明の一実施例に係る遠隔制御装置のブロック図であり、図3は、本発明の一実施例に係る遠隔制御装置の実際の構成例を示したものである。
【0071】
まず、図2を参照すると、遠隔制御装置200は、指紋認識部210、無線通信部220、ユーザ入力部230、センサー部240、出力部250、電源供給部260、記憶部270、制御部280、音声獲得部290を含むことができる。
【0072】
図2を参照すると、無線通信部220は、前述した本発明の実施例に係るディスプレイ装置のうち任意のいずれか1つと信号を送受信する。
【0073】
遠隔制御装置200は、RF通信規格に応じてディスプレイ装置100と信号を送受信できるRFモジュール221を備え、IR通信規格に応じてディスプレイ装置100と信号を送受信できるIRモジュール223を備えることができる。また、遠隔制御装置200は、ブルートゥース通信規格に応じてディスプレイ装置100と信号を送受信できるブルートゥースモジュール225を備えることができる。また、遠隔制御装置200は、NFC(Near Field Communication)通信規格に応じてディスプレイ装置100と信号を送受信できるNFCモジュール227を備え、WLAN(Wireless LAN)通信規格に応じてディスプレイ装置100と信号を送受信できるWLANモジュール229を備えることができる。
【0074】
また、遠隔制御装置200は、ディスプレイ装置100に、遠隔制御装置200の動き等に関する情報が含まれた信号を無線通信部220を通じて伝送する。
【0075】
一方、遠隔制御装置200は、ディスプレイ装置100が伝送した信号をRFモジュール221を通じて受信することができ、必要に応じてIRモジュール223を通じてディスプレイ装置100に電源のオン/オフ、チャンネル変更、ボリューム変更等に関する命令を伝送することができる。
【0076】
ユーザ入力部230は、キーパッド、ボタン、タッチパッドまたはタッチスクリーン等で構成されてもよい。ユーザは、ユーザ入力部230を操作して遠隔制御装置200にディスプレイ装置100と関連した命令を入力することができる。ユーザ入力部230がハードキーボタンを備える場合、ユーザはハードキーボタンのプッシュ動作を通じて遠隔制御装置200にディスプレイ装置100と関連した命令を入力することができる。これについては、図3を参照して説明する。
【0077】
図3を参照すると、遠隔制御装置200は、複数のボタンを含むことができる。複数のボタンは、指紋認識ボタン212、電源ボタン231、ホームボタン232、ライブボタン233、外部入力ボタン234、音量調節ボタン235、音声認識ボタン236、チャンネル変更ボタン237、確認ボタン238及び戻るボタン239を含むことができる。
【0078】
指紋認識ボタン212は、ユーザの指紋を認識するためのボタンであってもよい。一実施例として、指紋認識ボタン212はプッシュ動作が可能であり、プッシュ動作及び指紋認識動作を受信することもできる。電源ボタン231は、ディスプレイ装置100の電源をオン/オフするためのボタンであってもよい。ホームボタン232は、ディスプレイ装置100のホーム画面に移動するためのボタンであってもよい。ライブボタン233は、リアルタイム放送プログラムをディスプレイするためのボタンであってもよい。外部入力ボタン234は、ディスプレイ装置100に連結された外部入力を受信するためのボタンであってもよい。音量調節ボタン235は、ディスプレイ装置100が出力する音量のレベルを調節するためのボタンであってもよい。音声認識ボタン236は、ユーザの音声を受信し、受信された音声を認識するためのボタンであってもよい。チャンネル変更ボタン237は、特定放送チャンネルの放送信号を受信するためのボタンであってもよい。確認ボタン238は、特定機能を選択するためのボタンであってもよく、戻るボタン239は前の画面に戻るためのボタンであってもよい。
【0079】
図2を再説明する。
【0080】
ユーザ入力部230がタッチスクリーンを備える場合、ユーザは、タッチスクリーンのソフトキーをタッチして、遠隔制御装置200にディスプレイ装置100と関連した命令を入力することができる。また、ユーザ入力部230は、スクロールキーや、JOGキー等ユーザが操作できる多様な種類の入力手段を備えることができ、本実施例は、本発明の権利範囲を制限するものではない。
【0081】
センサー部240は、ジャイロセンサー241または加速度センサー243を備えることができ、ジャイロセンサー241は、遠隔制御装置200の動きに関する情報をセンシングすることができる。
【0082】
例えば、ジャイロセンサー241は、遠隔制御装置200の動作に関する情報をx、y、z軸を基準としてセンシングすることができ、加速度センサー243は、遠隔制御装置200の移動速度等に関する情報をセンシングすることができる。一方、遠隔制御装置200は距離測定センサーをさらに備えることができ、ディスプレイ装置100のディスプレイ部180との距離をセンシングすることができる。
【0083】
出力部250は、ユーザ入力部230の操作に対応またはディスプレイ装置100から伝送した信号に対応する映像または音声信号を出力することができる。出力部250を通じて、ユーザは、ユーザ入力部230の操作の有無またはディスプレイ装置100の制御の有無を認知することができる。
【0084】
例えば、出力部250は、ユーザ入力部230が操作されるか、無線通信部220を通じてディスプレイ装置100と信号が送受信されると、点灯されるLEDモジュール251、振動を発生する振動モジュール253、音響を出力する音響出力モジュール255または映像を出力するディスプレイモジュール257を備えることができる。
【0085】
また、電源供給部260は、遠隔制御装置200に電源を供給し、遠隔制御装置200が所定時間の間動いていない場合、電源供給を中断することで、電源の無駄遣いを減らすことができる。電源供給部260は、遠隔制御装置200に備えられた所定のキーが操作された場合に、電源供給を再開することができる。
【0086】
記憶部270は、遠隔制御装置200の制御または動作に必要な多様なプログラム、アプリケーションデータ等が記憶される。もし、遠隔制御装置200がディスプレイ装置100とRFモジュール221を通じて無線で信号を送受信する場合、遠隔制御装置200とディスプレイ装置100は、所定周波数帯域を通じて信号を送受信する。
【0087】
遠隔制御装置200の制御部280は、遠隔制御装置200とペアリングされたディスプレイ装置100と信号を無線で送受信できる周波数帯域等に関する情報を記憶部270に記憶して参照することができる。
【0088】
制御部280は、遠隔制御装置200の制御に関連した諸般事項を制御する。制御部280は、ユーザ入力部230の所定のキーの操作に対応する信号またはセンサー部240でセンシングした遠隔制御装置200の動きに対応する信号を無線通信部220を通じてディスプレイ装置100に伝送することができる。
【0089】
また、遠隔制御装置200の音声獲得部290は、音声を獲得することができる。
【0090】
音声獲得部290は、少なくとも1つ以上のマイク291を含むことができ、マイク291を通じて音声を獲得することができる。
【0091】
次に図4を説明する。
【0092】
図4は、本発明の実施例に応じて遠隔制御装置を活用する例を示したものである。
【0093】
図4の(a)は、遠隔制御装置200に対応するポインタ205がディスプレイ部180に表示されることを例示する。
【0094】
ユーザは、遠隔制御装置200を上下左右に動いたり回転することができる。ディスプレイ装置100のディスプレイ部180に表示されたポインタ205は、遠隔制御装置200の動きに対応する。このような遠隔制御装置200は、図面のように、3D空間上の動きに応じて当該ポインタ205が移動して表示されるので、空間リモコンであると称することができる。
【0095】
図4の(b)は、ユーザが遠隔制御装置200を左に移動すると、ディスプレイ装置100のディスプレイ部180に表示されたポインタ205もこれに対応して左に移動することを例示する。
【0096】
遠隔制御装置200のセンサーを通じて感知された遠隔制御装置200の動きに関する情報は、ディスプレイ装置100に伝送される。ディスプレイ装置100は、遠隔制御装置200の動きに関する情報からポインタ205の座標を算出することができる。ディスプレイ装置100は、算出した座標に対応するようにポインタ205を表示することができる。
【0097】
図4の(c)は、遠隔制御装置200内の特定ボタンを押した状態で、ユーザが遠隔制御装置200をディスプレイ部180から遠くなるように移動する場合を例示する。これによって、ポインタ205に対応するディスプレイ部180内の選択領域がズームインされて拡大表示されてもよい。
【0098】
これとは逆に、ユーザが遠隔制御装置200をディスプレイ部180に近くなるように移動する場合、ポインタ205に対応するディスプレイ部180内の選択領域がズームアウトされて縮小表示されてもよい。
【0099】
一方、遠隔制御装置200がディスプレイ部180から遠くなる場合、選択領域がズームアウトされ、遠隔制御装置200がディスプレイ部180に近くなる場合、選択領域がズームインされてもよい。
【0100】
また、遠隔制御装置200内の特定ボタンを押した状態では、上下左右の移動の認識が排除されてもよい。即ち、遠隔制御装置200がディスプレイ部180から遠くまたは接近するように移動する場合、上下左右の移動は認識されず、前後の移動のみが認識されるようにすることができる。遠隔制御装置200内の特定ボタンを押していない状態では、遠隔制御装置200の上下左右の移動に応じてポインタ205のみが移動することになる。
【0101】
一方、ポインタ205の移動速度や移動方向は、遠隔制御装置200の移動速度や移動方向に対応してもよい。
【0102】
一方、本明細書におけるポインタは、遠隔制御装置200の動作に対応して、ディスプレイ部180に表示されるオブジェクトを意味する。よって、ポインタ205で、図面に図示された矢印の形状以外に多様な形状のオブジェクトが可能である。例えば、点、カーソル、プロンプト、厚いアウトライン等を含む概念であってもよい。そして、ポインタ205がディスプレイ部180の上の横軸と縦軸のいずれか1つの地点(point)に対応して表示されるのは勿論、線(line)、面(surface)等複数の地点に対応して表示されるのも可能である。
【0103】
一方、図1を参照すると、本開示のディスプレイ装置100は、出力する映像の輝度を補正して輝度補正映像を生成する輝度変換部1701と、映像に含まれた特定物体を検出するための物体検出部1702と、映像に特定物体が検出された場合、ゲイン値を利用して映像の色相を補正して色相補正映像を生成する色相補正部1703と、ピクセルパラメータを色座標でマッピングする色座標変換部1704をさらに含むことができる。
【0104】
このとき、制御部170は、ディスプレイ装置100の全般的な動作を制御することができ、輝度変換部1701、物体検出部1702、色相補正部1703及び色座標変換部1704を制御することができ、実施例によって輝度変換部1701、物体検出部1702、色相補正部1703及び色座標変換部1704の動作を制御部170が行うことも可能であろう。
【0105】
また、本開示の実施例の説明において、ピクセルの輝度値(0~255)を調整して輝度補正映像を獲得し、色相値を調整して色相補正映像を獲得するが、これは例示に過ぎず、本願発明の実施例を輝度値と色相値とに分けられたカラーモデルに限定させるものではない。
【0106】
即ち、本願発明の実施例によって輝度または色相値を補正する際に、カラーモデル(color model)のパラメータを調整することで、輝度または色相が補正されればよく、輝度と色相が互いに関連したカラーモデルも用いることができる。
【0107】
例えば、グレーモデル、RGBモデル、HSVモデル、YCbCrモデル等輝度と色相を補正できるカラーモデルを使用するディスプレイ装置に全部適用できる。
【0108】
一方、本開示の実施例において、カラーモデルのうちYCbCrのように、輝度値(Y)と色相(CbCr)値を別途のパラメータとして備えたカラーモデルを用いることが好ましい。
【0109】
図5は、本開示の実施例に係るフローチャートである。
【0110】
図5を参照すると、ディスプレイ装置100の制御部170は、映像を獲得することができる(S510)。具体的に、前記映像は、チューナー131、ネットワークインターフェース部133及び外部機器インターフェース部135のうちいずれか1つから受信された映像データを含むことができる。
【0111】
輝度変換部1701は、獲得した映像の輝度を調節して輝度補正映像を生成することができる(S520)。具体的に、輝度変換部1701は、映像に含まれた単位ピクセルのそれぞれに対応する輝度値を獲得することができる。
【0112】
輝度変換部1701は、獲得した輝度値に対応するマッピング値に応じて補正輝度値を獲得することができる。このとき、マッピング値は予め決定された値であってもよい。
【0113】
具体的に、輝度値を補正された輝度値に変換するためのマッピング値は、線形または非線形区間を含むルックアップテーブルを通じて決定されてもよい。
【0114】
このとき、ルックアップテーブルは、輝度値と補正輝度値が対応するグラフを意味することができ、ディスプレイ装置が出力する映像に基づいてグラフの形状または形が可変する。
【0115】
輝度変換部1701は、前記補正輝度値に基づいて、前記単位ピクセルのそれぞれの輝度値を補正した輝度補正映像を獲得することができる。
【0116】
具体的に、輝度変換部1701は、単位ピクセルのそれぞれの輝度値に対応する補正輝度値を獲得し、映像に含まれた全てのピクセルに補正輝度値を適用することで、輝度補正映像を獲得することができる。
【0117】
一方、前記マッピング値またはマッピングテーブルは、ディスプレイ装置の出庫過程で予め決定されてもよく、マッピング値またはマッピングテーブルはディスプレイ装置の記憶部140に記憶されてもよい。
【0118】
以下、輝度補正映像を生成する例示を図6で説明する。
【0119】
図6は、本開示の実施例に係る輝度補正映像の生成過程を示した図面である。
【0120】
図6を参照すると、輝度変換部1701は、映像610に含まれた単位ピクセルのそれぞれに対応する輝度値を獲得することができる。例えば、輝度値の範囲が0から255であり、映像610に含まれた複数の単位ピクセルのうち第1ピクセルの輝度値611が「50」であり、第2ピクセルの輝度値612が「100」であり、第3ピクセルの輝度値613が「200」であるとすると、輝度変換部1701は、ルックアップテーブル620を利用して前記映像610の第1ピクセルの輝度値611、第2ピクセルの輝度値612及び第3ピクセルの輝度値613に対応する補正輝度値621、622、623を獲得することができる。
【0121】
具体的に、ルックアップテーブル620は、線形または非線形区間を含み、輝度値が入力されると、輝度値をそのまま出力する第1区間と、輝度値が入力されると、入力された輝度値より低い輝度値を出力する第2区間と、輝度値が入力されると、入力された輝度値より高い輝度値を出力する第3区間のうち少なくとも1つを含むことができる。
【0122】
本開示の実施例により、図6のルックアップテーブル620を参照すると、少なくとも1つの第1区間と少なくとも1つの第3区間の組み合わせからなるルックアップテーブル620が開示されている。
【0123】
輝度変換部1701は、ルックアップテーブル620を利用して第1ピクセルの輝度値611に対応する第1補正輝度値621を獲得することができる。同様に、輝度変換部1701は、第2ピクセルの輝度値612に対応する第2補正輝度値622を獲得し、第3ピクセルの輝度値613に対応する第3補正輝度値623を獲得することができる。
【0124】
例えば、第1補正輝度値621は、第1ピクセルの輝度値611と同一な「50」、第2補正輝度値622は、第2ピクセルの輝度値612より大きい「125」、第3補正輝度値623は、第3ピクセルの輝度値613と同一な「200」を有するようにマッピングされてもよい。
【0125】
輝度変換部1701は、ルックアップテーブル620を利用して映像に含まれた複数の単位ピクセルのそれぞれの補正輝度値を獲得し、最終輝度補正映像630を獲得することができる。
【0126】
このとき、輝度補正映像630の第1ピクセル631は、第1補正輝度値621を有することができ、映像610の第1ピクセル611と同一な輝度値を有することができる。
【0127】
また、輝度補正映像630の第2ピクセル632は、第2補正輝度値622を有することができ、映像610の第2ピクセル612より高い輝度値を有することができる。
【0128】
また、輝度補正映像630の第3ピクセル633は、第3補正輝度値623を有することができ、映像610の第3ピクセル613と同一な輝度値を有することができる。
【0129】
図5を再説明する。
【0130】
図5を参照すると、物体検出部1702は、映像に含まれた物体を検出することができる(S530)。具体的に、物体検出部1702は、AIモデルを利用して映像に含まれた人物を検出することができる。このとき、人物は顔情報を含むことができる。
【0131】
本開示の実施例に係るAIモデルは、オブジェクト検出アルゴリズム(Object detection)等オブジェクトを検出できる多様なアルゴリズムを含むことができ、ニューラルネットワーク(Neural Network)、アダブースト(Adaboost)、サポートベクターマシン(Support Vector Machine)のうち少なくとも1つの分流器を利用して前記映像に含まれた人物を検出することができる。
【0132】
一方、AIモデルの役割を制御部170がすることも可能である。
【0133】
前記AIモデルは、ディスプレイ装置の記憶部140に記憶されて、無線通信部173を利用して外部のサーバーや外部装置から受信されてもよい。
【0134】
制御部170は、前記人物の検出の有無に応じて前記輝度補正映像の色相にゲイン値を適用して色相補正映像を獲得することができる。
【0135】
本開示の実施例によれば、映像に人物が含まれていないことで物体検出部1702が人物を検出できなかった場合(S530のNO)、制御部170は、ディスプレイ部180を通じてS520ステップで獲得した輝度補正映像を出力することができる(S541)。
【0136】
制御部170は、映像において顔が検出されていない場合、輝度が補正された輝度補正映像を出力することで、既存の映像より輝度及び色感がエンハンスメント(enhancement)された映像を出力することができる。S541の場合、映像において顔が検出されていない場合であるので、輝度補正による人物検出領域の色の歪みも発生することがない。
【0137】
本開示の実施例によれば、人物が含まれた映像において物体検出部1702が人物を検出した場合(S530のYES)、制御部170は、人物検出領域を抽出することができる。
【0138】
具体的に、物体検出部1702は、先述したオブジェクト検出アルゴリズムまたはAIモデルの分流器等を通じて人物を検出することができる。
【0139】
制御部170は、物体検出部1702が検出した物体のうちの人物を分類(classification)し、人物に分類された領域を地域化(localization)することができる。このとき、地域化した領域は、人物検出領域であってもよい。
【0140】
例えば、制御部170は、人物に分類された領域にバウンディングボックス(bounding box)を生成して、人物が検出された領域を抽出することができる。このとき、バウンディングボックスは、中心点(x、y)を基準として幅(w)と高さ(h)を有することができる。
【0141】
制御部170は、人物が検出された領域のサイズに対応するゲイン値を獲得することができる。このとき、人物が検出された領域のサイズは、生成されたバウンディングボックスの幅(w)と高さ(h)の乗で算出することができる。
【0142】
本開示の実施例に係るゲイン値は、人物が検出された領域のサイズに応じて同一値または異なる値を有することができ、0以上1以下の値を有することができる。
【0143】
人物が検出された領域のサイズとゲイン値の関係は、ゲインテーブルに示され、ゲインテーブルは、ディスプレイ装置の記憶部140に記憶される。
【0144】
ゲイン値が獲得される過程は、図8~9で具体的に後述する。
【0145】
制御部170は、ゲイン値が獲得された以後、前記輝度補正映像の色相に前記ゲイン値を乗じて前記色相補正映像を獲得することができる(S540)。
【0146】
このとき、先述したように、ゲイン値は1以下の値を有するので、色相補正映像は輝度補正映像より暗く、または、色相に関連したパラメータが薄く設定される。
【0147】
上記のように、輝度補正映像にゲイン値を乗じて色相が一層調整(ダウン)された色相補正映像を生成することで、輝度補正によって人物の肌色において色の歪み(color distortion)を最小化することができる。
【0148】
以後、制御部170は、ディスプレイ部180を通じて色相補正映像を出力することができる(S550)。
【0149】
以下、図7でゲイン値を適用していない輝度補正映像の出力結果を説明し、図8でゲイン値を適用して獲得された色相補正映像の出力結果を説明する。
【0150】
図7は、人物が検出された映像において色相補正が行われていない場合に出力される映像と、図8の色相補正が行われた映像との出力結果を比較するための図面である。
【0151】
図7を参照すると、物体検出部1702は、獲得した映像710において人物711を検出することができる。
【0152】
制御部170は、物体検出部1702が検出した人物711領域のうちの顔の部分を地域化して、人物に分類された領域にバウンディングボックス712を生成することができる。
【0153】
例えば、制御部170は、人物に分類された領域にバウンディングボックス(bounding box)を生成して、人物が検出された領域712を抽出することができる。このとき、バウンディングボックスは、中心点(x、y)を基準として幅(w)と高さ(h)を有することができる。
【0154】
輝度変換部1701は、図6で説明したように、ルックアップテーブル720を利用して映像710に含まれた単位ピクセルのそれぞれの補正輝度値を獲得することができる。
【0155】
例えば、輝度変換部1701は、映像710の第1ピクセルの輝度値711に対応する補正輝度値722を獲得することができる。映像710に含まれた単位ピクセルのそれぞれの補正輝度値が獲得されると、輝度変換部1701は輝度補正映像730を獲得することができる。
【0156】
輝度補正映像730は、映像710に含まれた少なくとも1つのピクセルにおいて輝度値に関連したパラメータが高く設定され、輝度値に関連したパラメータが高く設定されることで、輝度補正映像730の人物731領域で色の歪み(color distortion)が発生することがある。
【0157】
前記図7のように、輝度補正映像730で発生する問題点を解決するために、以下、図8で本開示のゲイン値に応じた色相補正映像が獲得される過程を説明する。
【0158】
図8を参照すると、物体検出部1702は、獲得した映像810から人物811を検出することができる。
【0159】
制御部170は、物体検出部1702が検出した人物811領域のうち顔の部分を地域化して、人物に分類された領域にバウンディングボックス812を生成することができる。
【0160】
例えば、制御部170は、人物に分類された領域にバウンディングボックス812を生成して、人物が検出された領域を抽出することができる。
【0161】
輝度変換部1701は、図6で説明したように、ルックアップテーブル820を利用して映像810に含まれた単位ピクセルのそれぞれの補正輝度値を獲得することができる。
【0162】
例えば、映像810の第1ピクセルの輝度値821に対応する補正輝度値822を獲得することができる。映像810に含まれた単位ピクセルのそれぞれの補正輝度値が獲得されると、輝度変換部1701は輝度補正映像を獲得することができる。
【0163】
制御部170は、人物811が検出された領域812のサイズ831に対応するゲイン値832を獲得することができる。このとき、人物が検出された領域のサイズ831は、生成されたバウンディングボックスの幅と高さの乗で算出することができる。
【0164】
このとき、人物が検出された領域のサイズ831は、人物の顔が検出された領域のサイズを含むことができ、顔が検出された領域のサイズとゲイン値832の対応関係はゲインテーブル830示される。
【0165】
このとき、ゲインテーブル830は、映像の種類によって多様に設計され、当該実施例は、図9で説明する。
【0166】
制御部170は、獲得したゲイン値832を輝度補正映像の色相に乗じることで、色相補正映像840を獲得することができる。
【0167】
具体的に、制御部170は、獲得したゲイン値832を輝度補正映像に含まれた単位ピクセルのそれぞれの色相パラメータに乗じて、ゲイン値832が付与された単位ピクセルのそれぞれの色相パラメータを組合せることで、色相補正映像840を獲得することができる。
【0168】
このとき、ゲイン値832は、0から1の間の値を有するので、輝度補正映像より色相補正映像840の輝度または色相に関連したパラメータ値が減少し、それにより人物検出領域841の色の歪み発生を最小化することができる。
【0169】
一方、本開示の実施例において、映像に複数の人物が検出された場合、制御部170は、複数の人物検出領域をそれぞれ抽出し、前記複数の人物検出領域のサイズの和に対応するゲイン値を獲得し、前記輝度補正映像の色相に前記ゲイン値を乗じて前記色相補正映像を獲得することができる。
【0170】
例えば、複数の人物が検出された場合、制御部170は、複数の人物の顔をそれぞれ抽出し、抽出された顔のそれぞれのバウンディングボックスの幅の和を人物が検出された領域のサイズ831として獲得することができる。
【0171】
制御部170は、人物が検出された領域のサイズ831に対応するゲイン値832を獲得し、輝度補正映像の色相にゲイン値832を乗じて色相補正映像を獲得できる。
【0172】
以後、色相補正映像が獲得されると、本開示の制御部170は、ディスプレイ部180を通じて前記色相補正映像を出力することができる(S550)。
【0173】
一方、図5では、ルックアップテーブルに応じた輝度補正映像を生成した後(S520)、人物検出(S530)を行うが、これは例示に過ぎず、映像から人物検出を先に行った後、ルックアップテーブルに応じた輝度補正映像を生成してもよい。
【0174】
また、物体検出部1702は、映像から物体検出を行ったり、輝度補正映像から物体検出を行うことも可能である。
【0175】
図9は、本開示の実施例に係るゲインテーブルを示した図面である。
【0176】
図9を参照すると、多様なゲインテーブルの例示のうち第1ゲインテーブル(a)、第2ゲインテーブル(b)及び第3ゲインテーブル(c)を示す。
【0177】
第1ゲインテーブル(a)を参照すると、人物検出領域のサイズに対応するゲイン値は、人物検出領域のサイズが予め設定された第1値911以下である場合、第1ゲイン値921を有し、人物検出領域のサイズが予め設定された第1値911を超える第2値912である場合、前記第1ゲイン値921より小さい値である第2ゲイン値922を含むことができる。
【0178】
具体的に、制御部170は、第1ゲインテーブル(a)を利用して、人物検出領域がサイズが予め設定された値を超えると、ゲイン値を減少させて色相補正映像を獲得することができる。
【0179】
第1ゲインテーブル(a)は、映像に含まれた人物検出領域のサイズが予め設定された第1値より小さい場合、色の歪み(color distortion)がほとんど発生しないという実験データに基づいて、色相補正映像生成に使用することができる。
【0180】
第2ゲインテーブル(b)を参照すると、人物検出領域のサイズに対応するゲイン値は、人物検出領域のサイズが予め設定された第1値913である場合、第1ゲイン値923を有し、人物検出領域のサイズが予め設定された第2値914である場合、第2ゲイン値924を有し、人物検出領域のサイズが予め設定された第3値915である場合、第3ゲイン値925を有することができる。
【0181】
このとき、第1値913は、前記第2値914より小さく、前記第2値914は、前記第3値915より小さくてもよい。また、第1ゲイン値923は、第2ゲイン値924より大きく、前記第2ゲイン値924は、前記第3ゲイン値925より大きくてもよい。
【0182】
また、第1ゲイン値923、第2ゲイン値924及び第3ゲイン値925との関係において、第1ゲイン値923から前記第2ゲイン値924までの傾きは、第2ゲイン値924から前記第3ゲイン値925までの傾きより大きくてもよい。
【0183】
即ち、第2ゲインテーブル(b)において、第1値913から第2値914までの傾きが第2値914から第3値915までの傾きより急である。
【0184】
具体的に、制御部170は、第2ゲインテーブル(b)を利用して、人物検出領域がサイズが増加するほどゲイン値を減少させて色相補正映像を獲得することができる。
【0185】
また、制御部170は、人物検出領域のサイズが増加するほどゲイン値を減少させると共に、その減少比率は、特定区間別に異なるように設定して色相補正映像を獲得することができる。
【0186】
第2ゲインテーブル(b)は、映像に含まれた人物検出領域の存在の有無によって色の歪み(color distortion)の影響が大きいという実験データと、予め設定された値以上人物検出領域のサイズが存在する場合、色の歪みの増加程度が減少するという実験データに基づいて、色相補正映像生成に使用することができる。
【0187】
一方、第3ゲインテーブル(c)は、第2ゲインテーブル(b)において第3値915より大きい第4値916が存在する場合、第3ゲイン値925から第4値916に対応する第4ゲイン値926までの傾きが第2ゲイン値924から第3ゲイン値925までの傾きより増加する場合を示した例示である。
【0188】
このように、ユーザの設定によりゲインテーブル(a、b、c)は多様に設計することができ、本開示の図9に図示したゲインテーブルの形態に限定して解釈してはならない。
【0189】
以下、図10で、本開示の人物検出領域のサイズに応じたゲイン値の適用結果、色相補正映像において色相に係るパラメータが変更される実験例示を説明する。
【0190】
図10は、本開示の実施例に係る色座標系を示した図面である。
【0191】
本開示の実施例に係るディスプレイ装置は、色相を色座標に変換する色座標変換部1704をさらに含むことができる。
【0192】
色座標変換部は、映像から獲得されるピクセルの色相値を色空間(color space)に変換して座標系に示すことができる。
【0193】
図10を参照すると、本開示の色相補正映像を人物検出領域のサイズが小さい映像から人物検出領域のサイズが大きい映像の順に(a)、(b)、(c)と並べて、同じピクセル位置の色相を色座標変換した。
【0194】
具体的に、色座標変換部1704は、輝度補正映像(a)の色相を第1色座標値1001にマッピングし、輝度補正映像(b)を第2色座標値1002にマッピングし、輝度補正映像(c)を第3色座標値1003にマッピングすることができる。
【0195】
このとき、第1色座標値1001から前記第2色座標値1002に向かう方向は、色が薄くなる方向を追従することを観察できる。
【0196】
また、第2色座標値1002から第3色座標値1003に向かう方向は、色が薄くなる方向を追従することを観察できる。
【0197】
前記実験結果に基づいて、本開示のディスプレイ装置100は、人物検出の有無に応じてゲイン値を獲得し、前記ゲイン値を利用して色相補正映像を獲得することで、色の歪みが発生することを防止することができる。
【0198】
一方、本開示の実施例に係るディスプレイ装置の動作方法は映像の輝度を補正して輝度補正映像を獲得するステップと、前記映像に含まれた人物を検出するステップと、前記人物の検出の有無に応じて前記輝度補正映像の色相を補正して色相補正映像を獲得するステップと、前記色相補正映像を出力するステップとを含むことができる。
【0199】
また、輝度補正映像を獲得するステップは、前記映像に含まれた単位ピクセルのそれぞれに対応する輝度値を獲得するステップと、ルックアップテーブルを利用して輝度値に対応する補正輝度値を獲得するステップと、前記補正輝度値に基づいて輝度補正映像を獲得するステップとを含むことができる。
【0200】
また、前記色相補正映像を獲得するステップは、前記映像に人物が検出された場合、人物検出領域を抽出するステップと、前記人物検出領域のサイズに対応する前記ゲイン値を獲得するステップと、前記輝度補正映像の色相に前記ゲイン値を乗じて前記色相補正映像を獲得するステップとを含むことができる。
【0201】
本発明はプログラム記録媒体にコンピュータが読み取ることができるコードとして具現されてもよい。コンピュータで読み取ることができる記録媒体は、コンピュータシステムが読み取ることができるデータを記憶する全ての記録媒体を含むことができる。コンピュータで読み取り可能な媒体の例としては、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、シリコンディスクドライブ(SDD)、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、CD-ROM、磁気テープ、フロッピーディスク及び光学データ記憶装置を挙げることができる。また、コンピュータは、ディスプレイ装置100の制御部170を含むことができる。
【0202】
以上の説明は、本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野における通常の知識を有する者であれば、本発明の本質的な特性を逸脱しない範囲内で多様な修正及び変形が可能である。
【0203】
従って、本発明に開示された実施例は、本発明の技術思想を限定するためのものではなく、本発明を説明するためのものであり、このような実施例によって、本発明の技術思想の範囲が限定されるものではない。
【0204】
本発明の保護範囲は、添付された請求の範囲によって解釈されるべきであり、それと同等な範囲内にある全ての技術思想は、本発明の権利範囲に含まれると解釈されるべきである。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10