特許第6068384号(P6068384)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三星電子株式会社の特許一覧

特許6068384収集された情報に基づいた映像処理方法及びその装置
<>
  • 特許6068384-収集された情報に基づいた映像処理方法及びその装置 図000002
  • 特許6068384-収集された情報に基づいた映像処理方法及びその装置 図000003
  • 特許6068384-収集された情報に基づいた映像処理方法及びその装置 図000004
  • 特許6068384-収集された情報に基づいた映像処理方法及びその装置 図000005
  • 特許6068384-収集された情報に基づいた映像処理方法及びその装置 図000006
  • 特許6068384-収集された情報に基づいた映像処理方法及びその装置 図000007
  • 特許6068384-収集された情報に基づいた映像処理方法及びその装置 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6068384
(24)【登録日】2017年1月6日
(45)【発行日】2017年1月25日
(54)【発明の名称】収集された情報に基づいた映像処理方法及びその装置
(51)【国際特許分類】
   H04N 5/58 20060101AFI20170116BHJP
   H04N 9/64 20060101ALI20170116BHJP
   G09G 5/00 20060101ALI20170116BHJP
   G09G 5/02 20060101ALI20170116BHJP
   G09G 5/10 20060101ALI20170116BHJP
【FI】
   H04N5/58
   H04N9/64 F
   G09G5/00 550C
   G09G5/02 B
   G09G5/10 B
【請求項の数】35
【全頁数】19
(21)【出願番号】特願2014-58742(P2014-58742)
(22)【出願日】2014年3月20日
(65)【公開番号】特開2014-183596(P2014-183596A)
(43)【公開日】2014年9月29日
【審査請求日】2014年3月20日
(31)【優先権主張番号】61/803,595
(32)【優先日】2013年3月20日
(33)【優先権主張国】US
(31)【優先権主張番号】10-2013-0102015
(32)【優先日】2013年8月27日
(33)【優先権主張国】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】廉 智 英
(72)【発明者】
【氏名】李 ▲みん▼ 祐
(72)【発明者】
【氏名】金 宗 浩
(72)【発明者】
【氏名】朴 賢 煕
(72)【発明者】
【氏名】▲ペ▼ 學 均
(72)【発明者】
【氏名】張 ソル−ギ
(72)【発明者】
【氏名】朴 正 ▲ふん▼
【審査官】 大室 秀明
(56)【参考文献】
【文献】 特開2009−229952(JP,A)
【文献】 特開2009−267929(JP,A)
【文献】 特開2008−085996(JP,A)
【文献】 特開2003−324756(JP,A)
【文献】 特開2006−270417(JP,A)
【文献】 特開2007−057599(JP,A)
【文献】 特開2010−191058(JP,A)
【文献】 特開2011−150127(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09G 5/00−5/36
G09G 5/377−5/42
H04N 5/50−5/63
H04N 9/44−9/78
(57)【特許請求の範囲】
【請求項1】
映像を処理する方法において、
前記映像の特性情報を獲得する段階と、
前記映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得する段階と、
前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理する段階と、を含み、
前記特性情報は、前記映像のカテゴリ情報を含み、
前記カテゴリ情報に応じて、映像処理アルゴリズムの処理パラメータが異なり、
前記周辺環境情報は、ユーザと前記ディスプレイ装置との距離情報を含み、
前記映像を処理する段階は、前記距離情報に基づき、前記映像の画質に対する改善程度を決定し、前記決定された改善程度によって前記映像を処理する段階と、を含む、
ことを特徴とする映像処理方法。
【請求項2】
前記特性情報は、前記映像のホワイトポイント、ガンマ値、色温度及び色領域情報のうち少なくとも一つを含むことを特徴とする請求項1に記載の映像処理方法。
【請求項3】
前記特性情報は、前記特性情報の変化量についての情報をさらに含み、
前記変化量は、以前の映像と現在の映像との少なくとも一つの特性情報の差値であることを特徴とする請求項2に記載の映像処理方法。
【請求項4】
前記周辺環境情報は、前記ディスプレイ装置の周辺環境の輝度情報、及び周辺照明の色相情報のうち少なくとも一つを含み、
前記改善程度によって決定された前記映像の細密感強度によって前記映像が処理される、ことを特徴とする請求項1に記載の映像処理方法。
【請求項5】
前記周辺環境情報を獲得する段階は、
前記ユーザの身体部位のうち特定の部位を認識する段階と、
前記認識された身体部位のサイズ値を、所定の時間間隔で少なくとも一回以上獲得する段階と、
前記獲得したサイズ値の平均値を求める段階と、
前記平均値に基づいて、前記ユーザと前記ディスプレイ装置との間の距離情報を獲得する段階と、を含むことを特徴とする請求項4に記載の映像処理方法。
【請求項6】
前記映像を処理する段階は、
前記特性情報と、前記周辺環境情報とに基づいて、映像処理アルゴリズムのパラメータを決定する段階と、
前記決定されたパラメータを利用して、前記映像を処理する段階と、を含むことを特徴とする請求項1に記載の映像処理方法。
【請求項7】
前記パラメータを決定する段階は、
前記特性情報と、前記周辺環境情報とを入力値とし、前記パラメータを出力値とする所定の数学的関係を利用して、前記パラメータを決定する段階を含むことを特徴とする請求項6に記載の映像処理方法。
【請求項8】
前記パラメータを決定する段階は、
それぞれの特性情報及び周辺環境情報の値によって決定可能なパラメータ値を含むルックアップテーブルを利用して、前記パラメータを決定する段階を含むことを特徴とする請求項6に記載の映像処理方法。
【請求項9】
前記映像処理アルゴリズムは、前記映像の画質を制御できる鮮明度改善、コントラスト制御、ノイズ低減及び彩度制御のうち少なくとも一つを含むことを特徴とする請求項6に記載の映像処理方法。
【請求項10】
前記映像を処理する段階は、
前記特性情報と、前記周辺環境情報とに基づいて、前記映像の物理的特徴を決定する段階と、
前記決定された物理的特徴を利用して、前記映像を処理する段階と、を含むことを特徴とする請求項1に記載の映像処理方法。
【請求項11】
前記決定される物理的特徴は、色温度、ガンマ値、ホワイトポイント及びプライマリーカラーのうち少なくとも一つを含むことを特徴とする請求項10に記載の映像処理方法。
【請求項12】
前記映像を処理する段階は、
所定の時間間隔で獲得された映像の特性情報と、前記周辺環境情報のうち少なくとも一つが基準値以上に変化することを感知すれば、前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理する段階を含むことを特徴とする請求項1に記載の映像処理方法。
【請求項13】
前記映像の特性情報を獲得する段階は、
所定の単位に属する映像の特性情報を獲得する段階を含み、
前記映像を処理する段階は、
前記特性情報と、前記周辺環境情報とに基づいて、所定の単位別に映像を処理する段階を含むことを特徴とする請求項1に記載の映像処理方法。
【請求項14】
前記映像は、フレーム、シーン及びシーケンスのうちいずれか一つの単位で処理されることを特徴とする請求項13に記載の映像処理方法。
【請求項15】
前記映像を処理する段階は、
前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理するための変数を段階的に増減させることによって、前記映像を処理する段階を含むことを特徴とする請求項1に記載の映像処理方法。
【請求項16】
前記処理された映像をディスプレイする段階をさらに含むことを特徴とする請求項1に記載の映像処理方法。
【請求項17】
前記映像は、ユーザインターフェース画面、ウェブページ画面、及びアプリケーション実行画面のうちいずれか一つを含む前記ディスプレイ装置でディスプレイ可能な画面を含むことを特徴とする請求項1に記載の映像処理方法。
【請求項18】
映像の特性情報を獲得する映像特性情報獲得部と、
前記映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得する周辺環境情報獲得部と、
前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理する映像処理部と、を備え、
前記特性情報は、前記映像のカテゴリ情報を含み、
前記カテゴリ情報に応じて、映像処理アルゴリズムの処理パラメータが異なり、
前記周辺環境情報は、ユーザと前記ディスプレイ装置との距離情報を含み、
前記映像を処理する段階は、前記距離情報に基づき、前記映像の画質に対する改善程度を決定し、前記決定された改善程度によって前記映像を処理する段階と、を含む、
ことを特徴とする映像処理装置。
【請求項19】
前記特性情報は、前記映像のホワイトポイント、ガンマ値、色温度及び色領域情報のうち少なくとも一つを含むことを特徴とする請求項18に記載の映像処理装置。
【請求項20】
前記特性情報は、前記特性情報の変化量についての情報をさらに含み、
前記変化量は、以前の映像と現在の映像との少なくとも一つの特性情報の差値であることを特徴とする請求項19に記載の映像処理装置。
【請求項21】
前記周辺環境情報は、前記ディスプレイ装置の周辺環境の輝度情報、及び周辺照明の色相情報のうち少なくとも一つを含み、
前記改善程度によって決定された前記映像の細密感強度によって前記映像が処理される、ことを特徴とする請求項18に記載の映像処理装置。
【請求項22】
前記映像処理装置は、
前記ユーザの身体部位のうち特定の部位を認識するセンサ部をさらに備え、
前記周辺環境情報獲得部は、前記認識された身体部位のサイズ値を、所定の時間間隔で少なくとも一回以上獲得し、前記獲得したサイズ値の平均値を求め、前記平均値に基づいて、前記ユーザと前記ディスプレイ装置との間の距離情報を獲得することを特徴とする請求項21に記載の映像処理装置。
【請求項23】
前記映像処理部は、
前記特性情報と、前記周辺環境情報とに基づいて、映像処理アルゴリズムのパラメータを決定し、前記決定されたパラメータを利用して、前記映像を処理するアルゴリズム処理部を備えることを特徴とする請求項18に記載の映像処理装置。
【請求項24】
前記アルゴリズム処理部は、前記特性情報と、前記周辺環境情報とを入力値とし、前記パラメータを出力値とする所定の数学的関係を利用して、前記パラメータを決定することを特徴とする請求項23に記載の映像処理装置。
【請求項25】
前記アルゴリズム処理部は、それぞれの特性情報及び周辺環境情報の値によって決定可能なパラメータ値を含むルックアップテーブルを利用して、前記パラメータを決定することを特徴とする請求項23に記載の映像処理装置。
【請求項26】
前記映像処理アルゴリズムは、前記映像の画質を制御する鮮明度改善、コントラスト制御、ノイズ低減及び彩度制御のうち少なくとも一つを含むことを特徴とする請求項23に記載の映像処理装置。
【請求項27】
前記映像処理部は、
前記特性情報と、前記周辺環境情報とに基づいて、前記映像の物理的特徴を決定し、前記決定された物理的特徴を利用して、前記映像を処理する物理的特徴処理部を備えることを特徴とする請求項18に記載の映像処理装置。
【請求項28】
前記決定される物理的特徴は、色温度、ガンマ値、ホワイトポイント及びプライマリーカラーのうち少なくとも一つを含むことを特徴とする請求項27に記載の映像処理装置。
【請求項29】
前記映像処理装置は、
所定の時間間隔で獲得された映像の特性情報と、前記周辺環境情報のうち少なくとも一つが基準値以上に変化することを感知する変化量探知部をさらに備え、
前記映像処理部は、前記変化量探知部により、前記映像の特性情報と、前記周辺環境情報のうち少なくとも一つが基準値以上に変化することが感知されれば、前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理することを特徴とする請求項18に記載の映像処理装置。
【請求項30】
前記映像特性情報獲得部は、所定の単位に属する映像の特性情報を獲得し、
前記映像処理部は、前記特性情報と、前記周辺環境情報とに基づいて、所定の単位別に映像を処理することを特徴とする請求項18に記載の映像処理装置。
【請求項31】
前記映像は、フレーム、シーン及びシーケンスのうちいずれか一つの単位で処理されることを特徴とする請求項30に記載の映像処理装置。
【請求項32】
前記映像処理部は、前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理するための変数を段階的に増減させることによって、前記映像を処理することを特徴とする請求項18に記載の映像処理装置。
【請求項33】
前記映像処理装置は、
前記処理された映像をディスプレイするディスプレイ部をさらに備えることを特徴とする請求項18に記載の映像処理装置。
【請求項34】
前記映像は、ユーザインターフェース画面、ウェブページ画面、及びアプリケーション実行画面のうちいずれか一つを含む前記ディスプレイ装置でディスプレイ可能な画面を含むことを特徴とする請求項18に記載の映像処理装置。
【請求項35】
コンピュータに、請求項1ないし17のうちいずれか一項に記載の方法を遂行させるためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、収集された情報に基づいて処理された映像をディスプレイする方法及びその装置に関する。
【背景技術】
【0002】
ディスプレイ装置は、映像の鮮明度あるいはディテールを改善するために処理された映像をディスプレイする。
映像処理装置は、映像の画質を改善するために、映像を処理することによって、映像の画質がさらに向上したものと認識される映像がディスプレイされる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の目的は、ディスプレイされる映像の特性情報、またはディスプレイ装置の周辺環境情報に基づいて処理する方法及び該装置を提供することにある。
【課題を解決するための手段】
【0004】
本発明の一実施形態において、映像処理方法は、映像の特性情報を獲得する段階と、前記映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得する段階と、前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理する段階と、を含むことを特徴とする。
【0005】
前記特性情報は、前記映像のホワイトポイント、ガンマ値、色温度及び色領域情報のうち少なくとも一つを含むことを特徴とする。
【0006】
前記特性情報は、前記特性情報の変化量についての情報をさらに含み、前記変化量は、以前の映像と現在の映像との少なくとも一つの特性情報の差値であることを特徴とする。
【0007】
前記周辺環境情報は、前記ディスプレイ装置の周辺環境の輝度情報、周辺照明の色相情報、及びユーザと前記ディスプレイ装置との間の距離情報のうち少なくとも一つを含むことを特徴とする。
【0008】
前記周辺環境情報を獲得する段階は、前記ユーザの身体部位のうち特定の部位を認識する段階と、前記認識された身体部位のサイズ値を、所定の時間間隔で少なくとも一回以上獲得する段階と、前記獲得したサイズ値の平均値を求める段階と、前記平均値に基づいて、前記ユーザと前記ディスプレイ装置との間の距離情報を獲得する段階と、を含むことを特徴とする。
【0009】
前記映像を処理する段階は、前記特性情報と、前記周辺環境情報とに基づいて、映像処理アルゴリズムのパラメータを決定する段階と、前記決定されたパラメータを利用して、前記映像を処理する段階と、を含むことを特徴とする。
【0010】
前記パラメータを決定する段階は、前記特性情報と、前記周辺環境情報とを入力値とし、前記パラメータを出力値とする所定の数学的関係を利用して、前記パラメータを決定する段階を含むことを特徴とする。
【0011】
前記パラメータを決定する段階は、それぞれの特性情報及び周辺環境情報の値によって決定可能なパラメータ値を含むルックアップテーブルを利用して、前記パラメータを決定する段階を含むことを特徴とする。
【0012】
前記映像処理アルゴリズムは、前記映像の画質を制御する鮮明度改善、コントラスト制御、ノイズ低減及び彩度制御のうち少なくとも一つを含むことを特徴とする。
【0013】
前記映像を処理する段階は、前記特性情報と、前記周辺環境情報とに基づいて、前記映像の物理的特徴を決定する段階と、前記決定された物理的特徴を利用して、前記映像を処理する段階と、を含むことを特徴とする。
【0014】
前記決定される物理的特徴は、色温度、ガンマ値、ホワイトポイント及びプライマリーカラーのうち少なくとも一つを含むことを特徴とする。
【0015】
前記映像を処理する段階は、所定の時間間隔で獲得された映像の特性情報と、前記周辺環境情報のうち少なくとも一つが基準値以上に変化することを感知すれば、前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理する段階を含むことを特徴とする。
【0016】
前記映像の特性情報を獲得する段階は、所定の単位に属する映像の特性情報を獲得する段階を含み、前記映像を処理する段階は、前記特性情報と、前記周辺環境情報とに基づいて、所定の単位別に映像を処理する段階を含むことを特徴とする。
【0017】
前記映像は、フレーム、シーン及びシーケンスのうちいずれか一つの単位で処理されることを特徴とする。
【0018】
前記映像を処理する段階は、前記特性情報と、前記周辺環境情報とに基づいて、前記映像を処理するための変数を段階的に増減させることによって、前記映像を処理する段階を含むことを特徴とする。
前記処理された映像をディスプレイする段階をさらに含むことを特徴とする。
【発明の効果】
【0019】
本発明によれば、映像処理装置は、ディスプレイ装置の周辺環境情報だけでなく、ディスプレイ映像自体の特性情報をさらに考慮して、映像を処理することによって、該ディスプレイ装置は、改善された画質の映像をディスプレイすることができる。
また、本発明によれば、ディスプレイ装置は、ディスプレイ装置の周辺環境情報、または映像の特性情報に基づいて決定された最適の映像処理アルゴリズムのパラメータによって、映像処理アルゴリズムが適用された映像をディスプレイすることができる。
【図面の簡単な説明】
【0020】
図1】本発明の一実施形態による映像処理方法を示すフローチャートである。
図2】本発明の一実施形態による、映像処理アルゴリズムを利用した映像処理方法を示すフローチャートである。
図3】本発明の一実施形態による、映像の物理的特徴を利用した映像処理方法を示すフローチャートである。
図4】本発明の一実施形態による、収集された情報の変化量に基づいた映像処理方法を示すフローチャートである。
図5】本発明の一実施形態による、ユーザの視聴距離を獲得する方法を示すフローチャートである。
図6】本発明の一実施形態による映像処理装置の内部構造を示すブロック図である。
図7】本発明の一実施形態による映像処理装置の内部構造を示すブロック図である。
【発明を実施するための形態】
【0021】
以下、本発明の望ましい実施形態について、添付図面を参照しつつ詳細に説明する。ただし、以下の説明及び添付図面において、本発明の要旨を不明確にする可能性のある公知の機能または構成に係わる詳細な説明は省略する。また、図面全体にわたり、同一の構成要素は、可能な限り同一の図面符号で示してあるということに留意しなければならない。
【0022】
以下で説明する本明細書及び特許請求の範囲で使用された用語や単語は、一般的や辞書的な意味に限定して解釈されるものではなく、発明者が、自身の発明を最善の方法で説明するための用語でもって適切に定義することができるという原則にのっとり、本発明の技術的思想に符合する意味及び概念として解釈されなければならない。従って、本明細書に記載された実施形態、及び図面に図示された構成は、本発明の最も望ましい一実施形態に過ぎず、本発明の技術的思想をいずれも代弁するものではないので、本出願時において、それらを代替する多様な均等物と変形例とがあるということを理解しなければならない。
【0023】
本明細書で、本発明の原理の「一実施形態」または「実施形態」というのは、本発明の原理の少なくとも1つの実施形態に含まれる実施形態と共に説明した特別な特性、構造、特徴などを意味するのである。それゆえ、本明細書全般にわたって多様なところに記載される「一実施形態において」または「実施形態において」という語句は、必ずしもいずれも同一の実施形態を示すものではない。
【0024】
本明細書全般にわたって使用される「映像」という用語は、「映像」という用語自体だけではなく、「フレーム」、「フィールド」及び「スライス」として関連分野で周知のビデオイメージ情報の多様な形態を説明するための包括的な用語として使用される。
【0025】
本発明の一実施形態において処理される「映像」は、写真や動画だけではなく、ディスプレイ装置でディスプレイされる一部画面または全体画面を含む。本明細書では、便宜上「映像」でもって統一して記載したが、以下で説明する「映像」は、本来の意味である写真や動画だけではなく、ユーザ・インターフェースやウェブページのような、ディスプレイされることができる画面自体も含む。
【0026】
本発明の一実施形態によって映像処理装置によって処理された映像は、ディスプレイ装置で伝送され、ディスプレイ装置でディスプレイされる。または、映像処理装置内に含まれたディスプレイ部で、本発明の一実施形態によって処理された映像がディスプレイされる。
【0027】
以下、添付された図面を参照しつつ、本発明の望ましい実施形態について説明する。
【0028】
図1は、本発明の一実施形態による映像処理方法を示したフローチャートである。図1を参照すれば、本発明の一実施形態によって映像を処理する映像処理装置は、段階S101で、ディスプレイ装置でディスプレイされる映像の特性情報を獲得することができる。
【0029】
本発明の一実施形態において、映像の特性情報は、映像の色相と係わる視覚的な特性情報を含み、映像の輝度(brightness)、ホワイトポイント、ガンマ値(gamma value)、色温度及び色域(color gamut)のうち一つを含んでもよい。
【0030】
映像の輝度は、映像の明るさ程度であって、数値で表示される。
【0031】
映像のホワイトポイントとは、映像において白色に表示されたところの、カラー領域での位置を意味する。ホワイトポイントが変更されれば、映像の輝度が異なる。
【0032】
ガンマ値は、映像の明暗を表現する階調(gray scale)表現の範囲を示し、ガンマ値の調整は、映像のコントラストを変化させもする。
【0033】
色温度は、映像の色を温度で表現したものであり、色温度が高いほど青色を、低いほど赤色を帯びる。
【0034】
色域は、全体光の領域において、映像に表示される色空間領域を意味する。例えば、映像がRGBまたはCMYK(cyan,magenta,yellow,black)のうちいずれの色相体系によって表示されたかということにより、色域が異なる。
【0035】
さらに、映像の特性情報は、映像の内容によって分類される映像のカテゴリー情報を、さらに含んでもよい。本発明の一実施形態において、映像のカテゴリーは、ニュース、スポーツ、ドキュメンタリー、映画のような映像に含まれた内容によって分類される。映像処理装置は、映像のカテゴリーにより、最適の映像をディスプレイするために、映像処理の条件、例えば、映像処理アルゴリズムのパラメータや映像の物理的特徴を決定し、決定された値によって、映像を処理することができる。
【0036】
また、段階S103で、映像処理装置は、映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得することができる。
【0037】
本発明の一実施形態において、ディスプレイ装置の周辺環境情報は、周辺照明情報及びユーザ情報を含んでもよい。該周辺照明情報は、ディスプレイ装置周辺の照明に係わる特性情報であり、周辺照明の輝度、照度、色温度情報、色相情報を含む。ユーザ情報は、ディスプレイ装置を使用するユーザに係わる情報を含み、例えば、ディスプレイ装置とユーザとの距離情報、ユーザの視力情報または年齢情報を含んでもよい。
【0038】
ユーザに係わる情報は、視聴距離情報を含むことにより、映像処理装置は、視聴距離によって、映像の物理的特徴や、映像処理アルゴリズムのパラメータを決定することができる。
【0039】
例えば、映像処理装置は、視聴距離が短いと判断される場合、映像をさらに暗くしたり、あるいは細密感の改善処理時、細密感強度を低くして映像を処理することができる。すなわち、視聴距離が短くなるほど、認知される映像画質の改善程度を低くすることができる。鮮明度改善アルゴリズムによって、映像のエッジが強調されたり、あるいはさらに明らかに見えるように映像が処理される場合、エッジ周囲に、エッジを強調するための暈(halo)のようなアーティファクト(artifact)が生じるようにする。生じたアーティファクトが目にさらに敏感に観察され始める時点から、ユーザは、映像の画質がさらに劣化したと認識することができるので、視聴距離が短くなるほど、映像画質の改善程度が低く処理されることが望ましい。
【0040】
また、ユーザに係わる情報は、ユーザの視力や年齢情報をさらに含むことにより、映像処理装置は、ユーザの視力によって、映像の物理的特徴や映像処理アルゴリズムのパラメータを決定することができる。詳細に説明すれば、映像処理装置は、ユーザの視力が良好ではないか、あるいは高齢であって視力が良好ではないと判断される場合には、映像の輝度をさらに明るく処理したり、あるいは映像の彩度をさらに高くして、ユーザが映像をさらに良好に認識するように映像を処理することができる。また、ユーザの視力情報によって映像処理装置は、視聴距離が短くなっても、鮮明度やエッジ強調のような映像画質の改善程度を高く設定し、ユーザが映像の画質を良好に認識することが可能なように、映像を処理することができる。
【0041】
段階S105で、映像処理装置は、段階S101及び段階S103で獲得した映像の特性情報及び周辺環境情報に基づいて、ディスプレイ装置でディスプレイされる映像を処理することができる。
【0042】
本発明の一実施形態において、該映像処理装置は、映像の特性情報及び周辺環境情報に基づいて、映像処理アルゴリズムのパラメータまたは映像の物理的特徴を決定し、決定された値によって、映像を処理することができる。
【0043】
映像処理装置は、映像がディスプレイされるディスプレイ装置の周辺環境情報だけではなく、ディスプレイされる映像自体の特性情報に基づいて、映像を処理することができる。従って、本発明の一実施形態による映像処理装置は、周辺環境情報だけ考慮しての処理より、さらに良好な画質を有する映像を出力することができる。
【0044】
一方、本発明の一実施形態において、映像処理装置によって処理される「映像」は、動画または写真映像に制限されるものではなく、ディスプレイ装置でディスプレイされる画面自体も含んでもよい。すなわち、ディスプレイ装置に表示されるユーザ・インターフェース画面、アプリケーションの使用画面またはウェブページ画面も、本発明の一実施形態による映像処理装置によって、現在画面の特性情報、またはディスプレイ装置の現在周辺環境情報に基づいて処理される。
【0045】
該映像処理装置は、本発明の一実施形態によって、自動的に映像を処理したり、あるいはユーザにおすすめ設定値を知らせ、ユーザが映像処理いかんを決定するように、提供することができる。推奨される設定値は、映像処理のために決定される映像処理アルゴリズムのパラメータ、及び映像の物理的特徴に含まれた変数のうち一つ以上が含まれる。おすすめ設定値は、制限された範囲内で決定されるように設定され、ユーザ設定による画質低下を防止することができる。
【0046】
本発明の一実施形態において、映像処理装置は、映像が処理されることによって発生しうるフリッカ(flicker)現象を防止するために、特性情報と周辺環境情報とに基づいて、映像を処理するための変数を段階的に変化させて映像を処理することができる。従って、該映像処理装置は、映像処理アルゴリズムのパラメータ、または映像の物理的特徴に含まれた変数を、一定時間または一定フレーム数の映像で徐々に増減させ、映像を処理することができる。
【0047】
図2は、本発明の一実施形態による映像処理アルゴリズムを利用した映像処理方法を示したフローチャートである。図2の段階S201,S203及びS207は、図1の段階S101,S103及びS105と対応するものであり、重複説明は省略する。図2を参照すれば、本発明の一実施形態による映像処理装置は、段階S201で、ディスプレイ装置でディスプレイされる映像の特性情報を獲得することができる。
【0048】
そして、段階S203で、該映像処理装置は、映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得することができる。
【0049】
段階S205で、該映像処理装置は、段階S201または段階S203で獲得した映像の特性情報や周辺環境情報を利用して、映像処理アルゴリズムのパラメータを決定することができる。
【0050】
該映像処理アルゴリズムは、エッジまたはテクスチャ(texture)のような映像の特定領域を検出し、前記検出された領域のピクセル値を処理することにより、映像の鮮明度またはディテールを改善させることができるアルゴリズムを含む。映像処理アルゴリズムは、設定によって、映像の全体領域または選択された一部領域に適用される。
【0051】
本発明の一実施形態において、映像処理に利用される映像処理アルゴリズムは、鮮明度改善、ディテール改善、コントラスト制御、ノイズ低減、彩度制御のような映像画質処理のアルゴリズムを含んでもよい。
【0052】
映像処理アルゴリズムは、原本映像において映像を処理するための特定領域を検出するための基準値(threshold)、またはアルゴリズムの強度を決定することができるパラメータを含む。ユーザが認知することができる映像の鮮明度またはディテールは、映像の特性及び周辺環境によって異なることがあるので、本発明の一実施形態によれば、該映像処理装置は、映像の特性情報及び周辺環境情報を考慮して、最適の映像処理アルゴリズムのパラメータを決定することができる。
【0053】
例えば、鮮明度改善のための映像処理アルゴリズムのパラメータは、映像輝度が明るく、映像輝度と周辺環境の輝度との差が大きいほど、映像の鮮明度強度が小さく処理されるパラメータ値として決定することが、ユーザがディスプレイされた映像を認識するのにさらに容易である。
【0054】
映像処理アルゴリズムは、開発者が当該機器に合わせた一定範囲の一次最適値のパラメータを提供し、一次最適値の範囲内で、ユーザの二次制御が可能である。かような2段階のパラメータ決定は、ユーザの便宜性を低下させ、アルゴリズムの最適化された性能を導き出し難い。従って、本発明の一実施形態によれば、映像処理装置は、周辺環境情報、または映像自体の物理的な特性情報を利用して、リアルタイムで映像を処理することにより、アルゴリズムの性能を極大化することができる。また、ユーザの制御なしに、自動的に映像が処理されるので、利便性も高くなる。
【0055】
段階S205で、該映像処理装置は、既定のLUT(lookup table)または数学的関係によって、映像処理アルゴリズムのパラメータを決定することができる。
【0056】
LUTは、与えられた演算に対して、事前に計算された結果の配列を含むデータ構造であり、LUTは、映像処理装置が、与えられた演算に係わる結果を計算する時間よりさらに短時間で値を取得するように使用される。本発明の一実施形態によれば、該映像処理装置は、段階S201及び段階S203で獲得された映像の特性情報と周辺環境情報とによって、LUTで、映像処理アルゴリズムのパラメータを決定することができる。
【0057】
該映像処理装置は、段階S205で、LUT以外に、段階S201及び段階S203で獲得された映像の特性情報と周辺環境情報とを入力値に、映像処理アルゴリズムのパラメータを出力値にする所定の数学的関係を利用して、パラメータを決定することもできる。
【0058】
例えば、鮮明度改善のための映像処理アルゴリズムの場合、映像の輝度が、200cd/mであり、パラメータが200であるとき、最適映像として処理可能な基準値として、映像の輝度により、パラメータ値が変更されるものと見なす。このとき、パラメータ値は、鮮明度の強度と比例する。
【0059】
映像の輝度が、基準値である200cd/mから300cd/mに変更される場合、パラメータ値が150で決定され、決定されたパラメータ値によって映像が処理される。これは、映像の輝度が明るさほど、鮮明度改善映像処理アルゴリズムによって処理された映像に生じたアーティファクトが一層認識されるので、パラメータ値を低下させ、処理された映像の画質がさらに良好であると認識されるのである。
【0060】
一方、映像の輝度がそのままであるが、周辺照明の明度が明るくなれば、鮮明度の強度が高くなることにより、映像の画質がさらに良好であると認識される。従って、パラメータ値を上昇させて映像を処理することができる。
【0061】
また、平均的なユーザの視聴距離より20%以上視聴距離が短い場合、鮮明度改善映像処理アルゴリズムによって処理された映像に生じたアーティファクトがさらに良好に認識されるので、パラメータ値を低下させ、処理された映像の画質がさらに良好であると認識される。
【0062】
段階S207で、該映像処理装置は、段階S205で決定された映像処理パラメータにより、映像処理アルゴリズムを利用して、映像を処理することができる。このとき、該映像処理装置は、現在ディスプレイされている映像を即座に処理し、処理された映像をディスプレイしたり、あるいは特定シーンの最初の映像や、シーケンスの最初の映像部分のように適切な瞬間の映像を処理することができる。該映像処理装置は、シーン単位やシーケンス単位、またはディスプレイ画面を処理する場合には、所定時間間隔で多数の映像をグルーピングし、グループ単位で映像を、段階S205で決定されたパラメータにより、映像処理アルゴリズムを利用して処理することができる。
【0063】
または、ディスプレイ装置でディスプレイされている画面の転換が生じるとき、該映像処理装置は、現在転換された画面から次の画面への転換が生じるまで適用するパラメータを決定し、決定されたパラメータにより、画面を処理することができる。該映像処理装置によって処理された映像は、ディスプレイ装置でディスプレイされる。
【0064】
図3は、本発明の一実施形態による映像の物理的特徴を利用した映像処理方法を示したフローチャートである。図3の段階S301,S303及びS307は、図1の段階S101、S103及びS105と対応するものであり、重複説明は省略する。図3を参照すれば、本発明の一実施形態による映像処理装置は、段階S301で、ディスプレイ装置でディスプレイされる映像の特性情報を獲得することができる。
【0065】
そして、段階S303で、該映像処理装置は、映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得することができる。
【0066】
段階S305で、該映像処理装置は、段階S301または段階S303で獲得した映像の特性情報や周辺環境情報に基づいて、映像の物理的特徴を決定することができる。
【0067】
段階S305で決定される物理的特徴は、段階S301で獲得される映像の特性情報と同一に、映像の色相に係わる視覚的な特性情報を含んでもよい。例えば、段階S305で決定される物理的特徴は、映像の輝度、ホワイトポイント、ガンマ値、色温度、色域及びRGBカラープライマリーのうち一つを含んでもよい。
【0068】
例えば、映像処理装置は、映像の輝度またはカテゴリーに基づいて、ユーザが最も認識しやすい映像のホワイトポイント、ガンマ値、色温度などの映像の物理的特徴値を決定することができる。映像のカテゴリーがスポーツである場合、明暗対比の程度が高くてこそ、ディスプレイされるボールや選手の姿が、ユーザによってさらに認識されるので、該映像処理装置は、映像の明暗対比が高くなるように、ガンマ値を決定することができる。
【0069】
また、映像処理装置は、ユーザの視聴距離、周辺照明の特性情報を含む周辺環境情報に基づいて、映像の輝度や色温度を含む物理的特徴値を決定することができる。例えば、該映像処理装置は、ユーザの視聴距離が遠いほど、または周辺照明が明るさほど、映像の輝度をさらに明るく決定することにより、ユーザをして映像の画質が良好であると認識させることが可能である。
【0070】
段階S307で、該映像処理装置は、段階S305で決定された物理的特徴値により、映像を処理することができる。
【0071】
このとき、該映像処理装置は、現在ディスプレイされている映像を即座に処理し、処理された映像をディスプレイしたり、あるいは特定シーンの最初の映像や、シーケンスの最初の映像部分のように適切な瞬間の映像を処理することができる。該映像処理装置は、シーン単位やシーケンス単位、またはディスプレイ画面を処理する場合には、所定時間間隔で多数の映像をグルーピングし、グループ単位で、映像を段階S305で決定された物理的特徴により、映像を処理することができる。
【0072】
または、ディスプレイ装置でディスプレイされている画面の転換が生じるとき、該映像処理装置は、現在転換された画面から次の画面への転換が生じるまで適用する映像の物理的特徴値を決定し、決定された値により、画面を処理することができる。映像処理装置によって処理された映像は、ディスプレイ装置でディスプレイされる。
【0073】
図4は、本発明の一実施形態による、収集された情報の変化量に基づいた映像処理方法を示したフローチャートである。図4の段階S401,S403及びS409は、図1の段階S101,S103及びS105と対応するものであり、重複説明は省略する。図4を参照すれば、本発明の一実施形態による映像処理装置は、段階S401で、ディスプレイ装置でディスプレイされる映像の特性情報を獲得することができる。
【0074】
そして、段階S403で、該映像処理装置は、映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得することができる。
【0075】
段階S405で、該映像処理装置は、段階S401または段階S403で獲得した映像の特性情報や周辺環境情報に含まれた値のうち一つ以上が、以前の映像または以前時点で獲得された値と、基準値以上の差がある否かということ判断することができる。
【0076】
段階S405での判断結果によって、基準値以上の差がある場合には、段階S409で映像処理装置は、段階S401または段階S403で獲得した映像の特性情報や周辺環境情報に基づいて、映像を処理することができる。
【0077】
なお、基準値以上の差がない場合には、段階S407で、該映像処理装置は、所定時間間隔で、映像の特性情報や周辺環境情報を獲得することができる。段階S407で獲得した情報は、段階S405で、以前の映像または以前の時点で獲得された情報と比較され、差があるか否かということが判断される。
【0078】
本発明の一実施形態によれば、該映像処理装置は、所定時間間隔で、映像の特性情報や周辺環境情報を獲得するが、獲得された情報が、以前情報に比べて、基準値以上の差がある場合にのみ映像処理を行う。従って、映像処理装置は、画質改善が必要な場合にのみ、映像処理を行う。
【0079】
図5は、本発明の一実施形態による、ユーザの視聴距離を獲得する方法を示したフローチャートである。
【0080】
本発明の一実施形態において、視聴距離は、映像がディスプレイされるディスプレイ装置とユーザとの距離を意味する。以下では、説明の便宜上、ディスプレイ装置が、映像処理装置内に含まれているものとして説明する。
【0081】
図5を参照すれば、段階S501で、映像処理装置は、視聴距離の獲得に利用されるユーザの所定身体部位を認識することができる(S501)。このとき、該映像処理装置は、近接センサ、イメージセンサ及び赤外線センサのうち一つ以上を含み、センサを利用して、ユーザの身体部位を認識することができる。
【0082】
段階S503で、該映像処理装置は、段階S501で認識された身体部位の大きさを獲得することができる。身体部位の大きさは、直径、広さ、円周を測定した値で決定される。
【0083】
段階S505で、映像処理装置は、段階S501で認識された身体部位に係わる基準値が存在する否かということを判断することができる。
【0084】
基準値が存在する場合には、段階S507で、該映像処理装置は、基準値を利用して、段階S503で獲得した身体部位の大きさと対応する視聴距離を獲得することができる。該基準値は、獲得された身体部位の大きさと対応する視聴距離を獲得するように、身体部位の大きさ別に、対応する視聴距離値を含む。
【0085】
なお、基準値が存在しない場合には、段階S509で、該映像処理装置は、ユーザによって設定された値、または映像処理装置のセンサによって獲得された値を利用して、獲得された身体部位の大きさと対応する視聴距離を獲得することができる。一般的に、身体部位の大きさが大きくなるほど、視聴距離が短くなる。
【0086】
さらに、段階S509で獲得した視聴距離を利用して、該映像処理装置は、視聴距離を獲得するのに基準になる所定身体部位の基準値を設定することにより、その後、該設定された基準値を利用して、視聴距離を容易に求めることができる。
【0087】
該映像処理装置は、身体部位を所定時間間隔で何回か認識し、各認識された結果から獲得された視聴距離の平均値を、ユーザの視聴距離として決定することができる。従って、該映像処理装置は、身体部位の認識エラーによる誤差を最小化することができる。
【0088】
また、該映像処理装置は、一つ以上の身体部位を認識し、一つ以上の視聴距離を獲得し、視聴距離の平均値を、視聴距離として決定することができる。該映像処理装置は、一つ以上の身体部位を認識し、各身体部位に対応する視聴距離の平均値を、ユーザの視聴距離として決定することにより、視聴距離をさらに高い正確度でもって獲得することができる。
【0089】
例えば、該映像処理装置は、ユーザの頭の部位を認識し、頭の部位のサイズ変化により、ユーザの視聴距離を決定することができる。また、該映像処理装置は、ユーザの手や足を認識し、手や足のサイズ変化により、ユーザの視聴距離を決定することができる。該映像処理装置は、各身体部位別に決定された視聴距離の平均値を、視聴距離として決定することができる。
【0090】
視聴距離は、ユーザの身体部位から獲得されるが、さらにユーザのリモートコントローラや携帯電話のような端末装置によっても獲得される。すなわち、赤外線センサやイメージセンサを含む端末装置によって決定された視聴距離を、端末装置から映像処理装置が受信することができる。または、端末装置によって伝送された赤外線を映像処理装置で受信することにより、視聴距離が決定されもする。該映像処理装置は、端末装置によって獲得された視聴距離と、身体部位認識によって獲得された視聴距離との平均を求めることにより、視聴距離をさらに高い正確度でもって決定することができる。
【0091】
以上の説明では、ディスプレイ装置が、映像処理装置内に含まれているということを基準にして行ったが、該ディスプレイ装置は、ユーザを認識することができるセンサを具備し、該センサが獲得した情報を、映像処理装置に伝送することにより、映像処理装置で、ユーザとディスプレイ装置との視聴距離を獲得することも可能である。該ディスプレイ装置は、イメージセンサやカメラセンサを含み、ユーザの身体部位を認識し、認識された身体部位と係わる情報、例えば、ディスプレイ装置で獲得したユーザ身体部位の映像データを映像処理装置に伝送することができる。
【0092】
前述の映像処理装置の内部構造について、図6及び図7を参照しつつ説明する。
【0093】
図6は、本発明の一実施形態による映像処理装置の内部構造を示したブロック図である。図6を参照すれば、本発明の一実施形態による映像処理装置600は、映像特性情報獲得部610、周辺環境情報獲得部620及び映像処理部630を含んでもよい。
【0094】
映像特性情報獲得部610は、ディスプレイ装置でディスプレイされる映像の特性情報を獲得することができる。
【0095】
周辺環境情報獲得部620は、映像がディスプレイされるディスプレイ装置の周辺環境情報を獲得することができる。該周辺環境情報は、周辺照明情報及びユーザ情報を含んでもよい。該周辺照明情報は、ディスプレイ装置周辺の光に係わる情報であり、光の輝度、強度、色温度情報などを含む。ユーザ情報は、ディスプレイ装置を視聴するユーザに係わる情報であり、ユーザの視聴距離や視力、年齢情報を含む。
【0096】
映像処理部630は、映像特性情報獲得部610や周辺環境情報獲得部620によって獲得された映像特性情報または周辺環境情報に基づいて、映像を処理することができる。映像処理部630は、動画や写真に限らず、ディスプレイされるユーザ・インターフェース画面やウェブページ画面も、本発明の一実施形態によって処理可能である。
【0097】
映像処理部630によって処理された映像640は、映像処理装置600の外部に位置したディスプレイ装置(図示せず)に伝送したり、あるいは映像処理装置600内のディスプレイ部(図示せず)でディスプレイされる。
【0098】
ディスプレイ装置は、映像処理装置600によって、本発明の一実施形態によって処理された映像を、映像処理装置600から受信し、ディスプレイすることができる。
【0099】
または、映像処理装置600内のディスプレイ部で処理された映像640をディスプレイすることができる。
【0100】
または、クラウドサーバが、本発明の一実施形態による映像処理装置600の構成を含み、ディスプレイ装置から制御信号が発せられれば、クラウドサーバでその制御信号を受信して映像を処理し、処理された映像をさらにディスプレイ装置に伝送し、ディスプレイ装置は、処理された映像をディスプレイすることができる。
【0101】
図7は、本発明の一実施形態による映像処理装置の内部構造を示したブロック図である。図7の映像特性情報獲得部710、周辺環境情報獲得部720及び映像処理部730は、図6の特性情報獲得部610、周辺環境情報獲得部620及び映像処理部630と対応するものであり、重複説明は省略する。
【0102】
図7の映像処理装置700は、映像特性情報獲得部710、周辺環境情報獲得部720、映像処理部730、センサ部740、変化量探知部750及びディスプレイ部760を含んでもよい。
【0103】
映像特性情報獲得部710は、ディスプレイ部760でディスプレイされる映像の特性情報を獲得することができる。
【0104】
周辺環境情報獲得部720は、映像がディスプレイされるディスプレイ部760の周辺環境情報を獲得することができる。
【0105】
センサ部740は、周辺環境情報獲得部720と連結され、ディスプレイ部760の周辺環境情報を獲得するための情報を収集し、収集された情報を、周辺環境情報獲得部720に伝達することができる。センサ部740は、赤外線センサ、照度センサ、索引式感知センサ、イメージセンサ、アンビエント照度センサ(ambient light sensor)、近接センサのうち一つ以上を含んでもよい。
【0106】
照度センサやアンビエント照度センサは、ディスプレイ部760の周辺照明の輝度強度を測定することができる。
【0107】
索引式感知センサは、ディスプレイ部760の周辺照明の色領域または色温度のような周辺照明の色と係わる情報を認識することができる。索引式感知センサは、RGBセンサ、カラーセンサを含んでもよい。
【0108】
イメージセンサ、近接センサは、ユーザの身体部位を認識することができる。イメージセンサは、ユーザの身体部位を撮影した映像を獲得することができ、近接センサは、電磁気的な変化を感知し、ユーザの身体部位の近接を認識することができる。
【0109】
赤外線センサは、リモートコントローラまたは携帯電話のような端末装置(図示せず)に具備され、端末装置から伝送された赤外線を、映像処理装置700で受信することにより、視聴距離が獲得される。または、映像処理装置700から伝送された赤外線を、端末装置で受信することにより、視聴距離が獲得される。該端末装置は、映像処理装置700を使用するユーザが携帯している装置であり、映像処理装置700がユーザの視聴距離を決定するのに利用される。
【0110】
変化量探知部750は、映像特性情報獲得部710及び周辺環境情報獲得部720と連結され、映像特性情報獲得部710や周辺環境情報獲得部720によって獲得された映像特性情報または周辺環境情報の変化量を探知することができる。すなわち、変化量探知部750は、以前時点または以前映像の映像特性情報または周辺環境情報と比較し、現在獲得された映像特性情報または周辺環境情報の変化量が基準値以上であるか否かということを判断することができる。変化量が基準値以上であると判断されれば、変化量探知部750は、映像処理部730に、現在獲得された映像特性情報または周辺環境情報を伝送することにより、伝送された情報によって処理された映像がディスプレイ部760でディスプレイされる。
【0111】
映像処理部730は、映像特性情報獲得部710や周辺環境情報獲得部720によって獲得された映像特性情報または周辺環境情報に基づいて、映像を処理することができる。映像処理部730は、アルゴリズム処理部731と物理的特徴処理部730とを含んでもよい。
【0112】
アルゴリズム処理部731は、映像特性情報または周辺環境情報に基づいて、映像処理アルゴリズムのパラメータを決定し、決定されたパラメータにより、映像処理アルゴリズムを利用して、映像を処理することができる。
【0113】
物理的特徴処理部732は、映像特性情報または周辺環境情報に基づいて、映像の物理的特徴を決定し、決定された映像の物理的特徴により、映像を処理することができる。
【0114】
ディスプレイ部760は、映像処理部730によって処理された映像を受信し、ディスプレイすることができる。
【0115】
本発明は、コンピュータで読み取り可能な記録媒体にコンピュータ(情報処理機能を有する装置をいずれも含む)で読み取り可能なコードでもって具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録装置の例としては、ROM(read-only memory)、RAM(random-access memory)、CD(compact disc)−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などがある。
【0116】
たとえ前述の多様な実施形態に適用される本発明の新規特徴に焦点を合わせて説明したとしても、本技術分野の当業者であるならば、本発明の範囲を外れずに、前述の装置及び方法の形態、並びに細部事項で、多様な削除、代替及び変更が可能であるということを理解するであろう。従って、本発明の範囲は、前述のところよりは、特許請求の範囲によって定義される。特許請求の範囲の均等範囲内のあらゆる変形は、本発明の範囲に含まれるものである。
【産業上の利用可能性】
【0117】
本発明の収集された情報に基づいた映像処理方法及びその装置は、例えば、映像処理関連の技術分野に効果的に適用可能である。
【符号の説明】
【0118】
600,700 映像処理装置
610,710 映像特性情報獲得部
620,720 周辺環境情報獲得部
630,730 映像処理部
731 アルゴリズム処理部
732 物理的特性処理部
740 センサ部
750 変化量探知部
760 ディスプレイ部
図1
図2
図3
図4
図5
図6
図7