特許 5909542 画像捕獲表示システム、ビデオ画像内の関心領域を用いてシステム同期型輝度制御を実行する方法、およびメタデータの使用

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5909542

(24)【登録日】2016年4月1日

(45)【発行日】2016年4月26日

(54)【発明の名称】画像捕獲表示システム、ビデオ画像内の関心領域を用いてシステム同期型輝度制御を実行する方法、およびメタデータの使用

(51)【国際特許分類】

   H04N 21/431 20110101AFI20160412BHJP

   H04N 21/235 20110101ALI20160412BHJP

   H04N 21/435 20110101ALI20160412BHJP

【ＦＩ】

   H04N21/431

   H04N21/235

   H04N21/435

【請求項の数】22

【全頁数】21

(21)【出願番号】特願2014-240872(P2014-240872)

(22)【出願日】2014年11月28日

(62)【分割の表示】特願2009-548428(P2009-548428)の分割

【原出願日】2008年1月30日

(65)【公開番号】特開2015-97392(P2015-97392A)

(43)【公開日】2015年5月21日

【審査請求日】2014年12月19日

(31)【優先権主張番号】60/887,346

(32)【優先日】2007年1月30日

(33)【優先権主張国】US

(31)【優先権主張番号】60/945,667

(32)【優先日】2007年6月22日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】509216120

【氏名又は名称】ファーガソン パテント プロパティーズ リミテッド ライアビリティ カンパニー

(74)【代理人】

【識別番号】100082005

【弁理士】

【氏名又は名称】熊倉 禎男

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(72)【発明者】

【氏名】ファーガソン ジェームズ エル

(72)【発明者】

【氏名】ファーガソン ジョン ディー

【審査官】 矢野 光治

(56)【参考文献】

【文献】 特開２００６−１９５６５１（ＪＰ，Ａ）

【文献】 特開２００２−０９９２５０（ＪＰ，Ａ）

【文献】 特開２００２−２０７４７４（ＪＰ，Ａ）

【文献】 特開平１１−２９６６８０（ＪＰ，Ａ）

【文献】 特開２００１−１５７１７９（ＪＰ，Ａ）

【文献】 特開平１１−３２６８６６（ＪＰ，Ａ）

【文献】 特開２００４−１９８５１２（ＪＰ，Ａ）

【文献】 国際公開第９８／０３９９１４（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００１／００２３４３６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

表示システムの表示装置に画像を表示する方法であり、
表示用の画像を表す画像データ及び前記画像内の関心領域を表す符号化メタデータを含む入力信号を受信する段階であり、前記関心領域が前記画像の全体よりも小さい段階と、
前記画像内の関心領域を決定するための前記符号化メタデータを復号化する段階であり、前記関心領域が関心領域の画像データによって表される段階と、
前記関心領域の画像データに対する画素のグレースケール分布範囲及び平均輝度を決定する段階と、
前記関心領域の画像に基づいて、画像に対する表示プロファイルを決定する段階であって、前記表示プロファイルが、前記関心領域の画像データによって表された前記関心領域に対する前記決定されたグレースケール分布範囲を伸張するための情報及び前記関心領域に対するバックライトの照射輝度を調整するための照射調整情報を提供する、段階と、
画像のグレースケール分布範囲を伸長し且つ同時に表示装置用のバックライトによる照射輝度を調整することにより、リアルタイムに前記画像データによって表された画像の全体に、前記表示プロファイルを適用する段階と、
前記表示装置上に前記適用された表示プロファイルに基づいて前記画像を表示する段階と、を含む前記方法。

【請求項2】

前記表示装置が、画像信号受信器を更に含む前記表示システムの一構成要素であり、前記関心領域が、前記表示プロファイルに基づいて前記画像信号受信器で定められる、請求項１記載の方法。

【請求項3】

前記関心領域を示す前記符号化メタデータが、前記画像を発生するカメラで発生される、請求項１記載の方法。

【請求項4】

前記関心領域を示す前記符号化メタデータが、前記画像を編集している間に発生される、請求項１記載の方法。

【請求項5】

前記関心領域を示す前記符号化メタデータが、前記画像を発生するビデオレコーダで発生される、請求項１記載の方法。

【請求項6】

前記関心領域を示すメタデータを符号化することが、前記関心領域が選択されることにより、行われる、請求項１記載の方法。

【請求項7】

前記関心領域を示すメタデータを符号化することが、アルゴリズムを使用して、自動的に行われる、請求項１記載の方法。

【請求項8】

前記画像のグレー濃淡度範囲を伸長することが、補間することを含む、請求項１記載の方法。

【請求項9】

前記表示システムによって受信されるビデオ信号ストリームに前記表示プロファイルを与えることを更に含む、請求項１記載の方法。

【請求項10】

前記表示プロファイルが、前記符号化メタデータに含まれる、請求項１記載の方法。

【請求項11】

前記符号化メタデータが、ビデオ信号ストリームの未使用の空間に提供される、請求項１記載の方法。

【請求項12】

前記符号化メタデータが、前記ビデオ信号ストリーム内のビデオ画像とは分かれてビデオ信号ストリームに、提供される、請求項１１記載の方法。

【請求項13】

前記照射調整情報及び前記決定されたグレー濃淡度範囲における増加が、画像が得られる場所で準備される、請求項１記載の方法。

【請求項14】

前記照射調整情報及び前記決定されたグレー濃淡度範囲における増加が、画像が準備されるか、又は表示用に用意される場所で準備される、請求項１記載の方法。

【請求項15】

前記照射調整情報及び前記決定されたグレー濃淡度範囲における増加が、画像を表示することが意図された表示システムで準備される、請求項１記載の方法。

【請求項16】

前記画像のより合焦していない他の部分と比較して、前記画像の比較的によく合焦している部分を使用して、前記関心領域を決定する、請求項１記載の方法。

【請求項17】

顔認識ソフトウェアを使用して、前記画像中の顔を前記関心領域に決定する、請求項１記載の方法。

【請求項18】

画像の動く背景部分に対して前記画像内の比較的静止している物体を使用して、前記関心領域を決定することを含む、請求項１記載の方法。

【請求項19】

画像の静止背景部分に対して前記画像内の比較的動いている物体を使用して、前記関心領域を決定することを含む、請求項１記載の方法。

【請求項20】

画像の比較的暗い部分に対して前記画像の比較的明るい部分を使用して、前記関心領域を決定する、請求項１記載の方法。

【請求項21】

画像の比較的カラフルでない部分に対して前記画像の比較的カラフルな部分を使用して、前記関心領域を決定する、請求項１記載の方法。

【請求項22】

表示用の画像を表す画像データ及び画像内の関心領域を示す符号化メタデータを受信するように構成された表示システムであり、前記関心領域が前記画像の全体よりも小さく、前記表示システムが、前記画像のグレー濃淡度を調整し、且つ前記関心領域に基づいて表示装置の照射を調整することができ、前記表示システムが、
パッシブ表示装置と、
画像を表示するために、前記パッシブ表示装置を照射し且つ前記パッシブ表示装置と協働する調整可能な照射源と、
前記符号化メタデータを復号して、前記画像内にあって、関心領域の画像データによって表される関心領域を決定するように構成された復号化器と、
前記パッシブ表示装置と前記照射源と連携する表示制御装置であり、
関心領域の画像データに対する画像のグレースケール分布範囲及び平均輝度を決定し、
前記関心領域の画像データに基づいて、前記画像に対する表示プロファイルを決定し、前記表示プロファイルが、前記関心領域の画像データによって表される前記関心領域に対する前記決定されたグレースケール分布範囲を伸長するための情報及び前記関心領域に対するバックライトの照射輝度を調整するための照射調整情報を含み、
前記表示プロファイルを、前記画像データによって表される前記画像の全体に適用し、
前記画像のグレースケール分布範囲を伸長し、且つ同時に、表示装置用のバックライトによる照射輝度をリアルタイムに調整して、前記適用された表示プロファイルに基づいて前記画像を表示するように構成された、前記表示制御装置とからなる、表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は概して上記のように画像捕獲表示システムおよび関心領域からの情報を利用する方法に関し、特に、画像捕獲表示システムおよびビデオ画像内の関心領域から得られたメタデータを用いてシステム同期型輝度制御を実行する方法に関する。

【背景技術】

【0002】

あるタイプの表示システム、例えばビデオ画像システムまたは他の表示システムの構造は、照射源（光源と呼ぶこともある）とピクシル化（ｐｉｘｉｌａｔｅｄ）パッシブ表示装置とを含む。照射源からの出射光が表示装置を透過すると同時にこの出射光の強度をピクセル毎に変調することによって画像が形成される。このような表示システムの一例は、液晶表示装置（ＬＣＤと呼ぶこともある）に基づいたものである。システム同期型輝度制御（ＳＳＢＣと呼ぶこともある）（およびこのアプローチの変形例）は、バックライトの輝度とＬＣＤの画素のグレーレベルとを入力画像の内容に基づいてリアルタイムに同時に調整する手段である。表示装置に表示するビデオ信号を用意することに関連してＳＳＢＣアプローチを用いる例によると、ビデオ信号を調整することにより例えばグレースケールを伸張し、それにより表示装置などを照射する光の強度を変更することができる。これらの調整を行う目的は、フレーム間のコントラスト比（ダイナミックコントラストと呼ぶ）を上げること、細部または細部の可視性を向上させること、および画像中の明るい領域または暗い領域の輪郭をぼかすことである。ＳＳＢＣ装置および方法の例は例えば、１９９８年２月１０日発行の米国特許第５，７１７，４２２号、２００４年１１月９日発行の米国特許第６，８１６，１４１ Ｂ１号および２００４年１１月８日出願の同時係属中の米国特許出願シリアルナンバー１０／９８３，４０３に開示されており、これらの開示内容全体を参考のため本明細書中に援用する。

【発明の概要】

【課題を解決するための手段】

【0003】

簡単に述べると、本発明の一局面によると、画像内の関心領域が規定され、この関心領域に関する情報を用いて画像の特性が表示用に決定される。
別の局面によると、画像内の関心領域は、ほぼまたは完全にＳＳＢＣ計算のためのみに用いられ、ＳＳＢＣ調整は表示システムの表示装置または表示装置側で実行することができる。関心領域の規定は、人による創作的入力により、またはアルゴリズムを用いて自動的に行うことができる。

【0004】

別の局面によると、ビデオ画像およびＳＳＢＣ調整はビデオストリーム内で符号化される。
別の局面によると、ビデオ画像およびＳＳＢＣ調整はメタデータとしてビデオストリーム内で符号化される。
別の局面によると、ビデオ画像およびＳＳＢＣ調整はビデオ画像とは別のメタデータとしてビデオストリーム内で符号化される。

【0005】

別の局面によると、ビデオ画像および関心領域の規定（例えば人による創作的入力、アルゴリズムの自動実行またはその他の手段によって決定された）はビデオストリームで送信される。ＳＳＢＣ計算は、ほぼまたは完全に関心領域の内容のみに基づいて表示システムの表示装置または表示装置側で実行される。ＳＳＢＣ調整は表示装置側で実行される。
別の局面によると、関心領域を識別するルールは、表示システムの表示装置または表示装置側でハードウェア内にアルゴリズムとして含まれる。ＳＳＢＣ計算は、ほぼまたは完全に関心領域の内容のみに基づいて表示装置または表示装置側で実行される。ＳＳＢＣ調整は表示装置または表示装置側で実行される。

【0006】

別の局面によると、関心領域に関する情報を用いて画像ソースにおいて画像のＳＳＢＣ「プロファイル」が計算される。画像ソースとは、画像が得られる、または最初に作成または調整される箇所および／または装置であって、画像を提示して見せる（例えば表示装置、プロジェクタなどにより）箇所および／または装置（例えば表示装置、プロジェクタなど）ではない。

【0007】

本発明の一局面によると、画像内の関心領域が規定され、画像ソースでこの領域に基づいて画像フレームのＳＳＢＣ「プロファイル」が計算される。
別の局面によると、画像ソースで計算されたＳＳＢＣ「プロファイル」情報は、符号化されて入力画像となったメタデータとして送信される。
別の局面によると、受信装置は所望のＳＳＢＣ調整を実行する手段の基礎としてメタデータを復号化し使用する。

【0008】

別の局面によると、受信装置（例えば表示システム）は所望のＳＳＢＣ調整を実行する手段の基礎としてメタデータを復号化し使用する。
別の局面によると、受信装置（例えばプレーヤ装置）は、表示装置に供給される信号内で所望のＳＳＢＣ調整を実行して画像を提示するために、メタデータを復号化し使用する。
別の局面によると、画像の関心領域に関する情報は、ビデオ信号または画像を表す別の信号を有するメタデータとして供給され、このメタデータは所望のＳＳＢＣ調整を実行する手段の基礎として用いられる。

【0009】

別の局面によると、受信装置（例えば表示システム）は、画像の関心領域に関する情報を表すメタデータを、所望のＳＳＢＣ調整を実行する手段の基礎として復号化し使用する。
別の局面によると、受信装置（例えばプレーヤ装置）は、表示装置に供給される信号内で所望のＳＳＢＣ調整を実行して画像を提示するために、画像の関心領域に関する情報を表すメタデータを復号化し使用する。

【0010】

本発明のこれらおよびさらなる特徴は以下の記載および添付の図面を参照することにより明らかとなる。明細書および図面では、本発明の原理を採用し得るいくつかの様式を示すものとして本発明の特定の実施形態を詳細に開示している。しかし本発明の範囲はこれに従って限定されるものではないことが理解される。むしろ本発明は添付の請求の範囲の思想および条件内に含まれる変更、改変および均等物をすべて含む。

【0011】

実施形態に関して記載する、および／または示す特徴は１以上の他の実施形態で、および／または他の実施形態の特徴と組み合わせてまたはそれに代えて同一または類似の様式で用いることができる。
用語「包含する」は本明細書において、記載した特徴、整数、工程またはコンポーネントの存在を特定するが１以上の他の特徴、整数、工程、コンポーネントまたはこれらの群の存在または追加を排除するものではない。

【0012】

本発明の多くの局面は以下の図面を参照することにより、よりよく理解できる。図面中のコンポーネントは必ずしも一定の比例に応じて描かれているわけではなく、本発明の原理を明確に示すために強調している箇所がある。同様に本発明のある図面またはある実施形態に示す構成要件および特徴は１以上の追加の図面または実施形態に示す構成要件および特徴と組み合わせることができる。さらに複数の図面を通して、同様の参照符号は対応するパーツを示す。

【図面の簡単な説明】

【0013】

【図1】図１は、関心領域を有する画像または風景を模式的に示す図である。

【図2】図２は、画像捕獲表示システムの模式的ブロック図である。

【図3】図３は、存在する可能性のある２５６のグレー濃淡度と各グレー濃淡度における画素数を示す、正常画像の例のヒストグラムを表すグラフである。

【図4】図４は、低コントラスト画像の一例のヒストグラムを表すグラフである。

【図5】図５は、薄暗いまたは比較的暗い画像の一例のヒストグラムを表すグラフである。

【図6】図６は、比較的明るい画像の一例のヒストグラムを表すグラフである。

【図7】図７は、ＳＳＢＣ調整した薄暗い画像のヒストグラムを表すグラフである。

【図8】図８は、本発明の実施形態による方法を示す模式的フローチャートである。

【図9】図９は、本発明の実施形態であって、画像の関心領域（または画像自体）の特性に関するメタデータがＳＳＢＣ演算を行い、それに従って光源およびグレーレベルを調整する受信器（例えば表示装置）に供給される実施形態による画像捕獲表示システムの一部を示す模式的ブロック図である。

【図10】図１０は、本発明の実施形態であって、ビデオプレーヤなどがＳＳＢＣ演算を行い、それに従って表示システムが追加の演算を行うことなく光源およびグレーレベルを調整する実施形態による画像捕獲表示システムの模式的ブロック図である。

【発明を実施するための形態】

【0014】

まず図１に、画像１０を矩形で示す。画像は、カメラレンズを通して見える画像、フィルムカメラでフィルムが受け取る画像、またはデジタルカメラが感知するデジタル画像などのいずれでもよい。図１に示す画像１０は実際には、カメラなどが捉えるまたは感知するより前の実生活中の風景であってもよい。画像１０中に関心領域１１がある。例えば画像１０が人物とその他の背景とを表している場合、関心領域１１はその人物の顔または身体全体、曇り空を飛ぶ飛行機、庭の花などのいずれであってもよい。関心領域１１は画像１０全体の中で、例えば映画の監督または編集者が見る人に注目してもらいたいと考える部分である。関心領域１１は画像１０全体、例えばフルスクリーン画像であってもよく、画像全体よりも小さい部分であってもよい。

【0015】

以下に、本発明のいくつかの例示的実施形態をより詳細に述べる。関心領域情報（例えば関心領域の画像特性）を用いて、画像のＳＳＢＣプロファイルを決定する（例えば演算する）ことができる。関心領域は例えば本明細書に記載するようないくつかの様式でシステム内の異なる部分において選択することができる。システム内の異なる部分とは例えば本明細書に記載するように、画像が得られる部分、画像が表示用に用意される部分（例えばＣＤ、ＤＶＤ、テープ等、プレーヤ、表示装置など）である。ＳＳＢＣプロファイルは、システム内の異なる部分で用意する（例えば演算または計算する）ことができる。システムの異なる部分とは例えば本明細書に記載するように、画像が得られる部分、画像が表示用に用意される部分、表示装置などである。関心領域および／またはＳＳＢＣプロファイルに関する情報はビデオストリームに（例えばメタデータとして）供給することができ、画像が表示用に用意される部分、表示装置などで用いられる。

【0016】

以下にさらに述べるように、関心領域１１は画像１０を撮影している人物が選択することができ、画像を捉えるまたは感知するために用いているカメラまたは他の機器を適切に調整して画像の特定の部分または画像全体を関心領域として識別することによって選択することができる。あるいは関心領域１１は画像１０の編集中に、コンピュータまたは他の編集機器を用いている人物が選択することもできる。例えば、関心領域を強調する、境界線または形状で取り囲む、または適切な編集ソフトウェアなどを用いることなどにより選択することができる。関心領域１１は、例えば特定された基準に従って関心領域を選択するようにプログラムされたソフトウェアによって自動的に選択することもできる。以下では便宜上、画像１０は入力画像（例えば画像１０のビデオ信号、コンピュータグラフィック信号またはその他の表現形態）とも呼ぶ。入力画像はカメラ、アニメーションまたはその他のソース（例えばＣＤ、ＤＶＤ、テープ、固体メモリなどの保存媒体）によって供給されてもよい。

【0017】

図２に、画像捕獲表示システム１２を模式的ブロック図として示す。便宜上、システム１２は画像ソース部または画像ソース１３と画像出力部または受信装置１４とを含むものとする。画像出力部または受信装置１４（以下では「受信装置」または「出力部」とも呼ぶ）は例えば表示装置（例えばパッシブ表示装置またはその他の表示装置）であり得る。
例えば画像ソース部１３は、表示システムのうち画像が得られる部分であってもよく、受信装置または出力部は、画像を示す表示装置および／または表示装置上に示すべき画像を用意するデバイス（例えばＣＤ、ＤＶＤ、ブルーレイ（「Ｂｌｕ−ｒａｙ（登録商標）」などとも呼ぶ）またはテーププレーヤなど）であってもよい。

【0018】

本発明の一実施形態では、画像ソース部１３において画像１０の関心領域１１が規定され、その関心領域に基づいて画像フレームのＳＳＢＣプロファイルが計算され、ＳＳＢＣ情報が、符号化されて入力画像になったメタデータとして送信される。本発明の一実施形態では、受信装置１４がメタデータを復号化し、所望のＳＳＢＣ調整を実行する基礎として用いる。このアプローチは１以上の利点を提供することができる。例えば、所望の調整が適切に計算および符号化されて入力画像になることを保証することができる。さらにＳＳＢＣの計算および符号化の負担、並びにこのような計算を可能にするために要する関連ハードウェア費用をソース（例えば画像ソース部１３）に移すことによりシステムコストを低減することができる。各ソース画像に対する計算および符号化が画像ソース部１３で一度行われるため、個々の表示装置で毎回行う必要がなくなる。上記アプローチはさらに関心領域特性に基づく画像調整を容易にする。各表示装置での簡素なメタデータ復号化プロセスは、画像の適切な表示を保証する。ＳＳＢＣ法は、独立した照明源および画像ソースによって構成される表示装置に適用可能である。

【0019】

本発明の実施形態によると、ＳＳＢＣデータまたは情報並びに関心領域に関する選択情報および選択ルールはメタデータとして、または別の形態で供給することができる。メタデータを使用してもよいがしなくてもよい例を以下に述べる。
画像内の関心領域はほぼまたは完全にＳＳＢＣ計算のみに用いることができる。ＳＳＢＣ調整は表示システムの表示装置または表示装置側（出力部とも呼ぶ）で実行することができる。関心領域の規定は、人による創作的入力により、またはアルゴリズムを用いて自動的に行うことができる。

【0020】

ビデオ画像およびＳＳＢＣ調整はビデオストリーム内で符号化される。
ビデオ画像および関心領域の規定（例えば人による創作的入力、アルゴリズムの自動的実行、またはその他の手段によって決定される）はビデオストリームで送信することができ、ＳＳＢＣ計算はほぼまたは完全に関心領域の内容のみに基づいて表示システムの表示装置または表示装置側で行うことができる。ＳＳＢＣ調整は表示装置側で実行される。

【0021】

関心領域を識別するためのルールは表示システムの表示装置または表示装置側でハードウェアにアルゴリズムとして含めることができる。ＳＳＢＣ計算はほぼまたは完全に関心領域の内容のみに基づいて表示装置または表示装置側で行うことができる。ＳＳＢＣ調整は表示装置または表示装置側で実行される。

【0022】

本発明の実施形態に記載するように、画像内の関心領域および関心領域の画像特性または特徴は、ＳＳＢＣ調整を演算する基礎として用いることができる。関心領域はいくつかの様式で規定可能であり、例えば以下の方法がある。
画像のインフォーカス部：被写界深度の狭い画像が生成可能である。このような画像では、関心領域がよく合焦しており、画像の他の部分（例えば関心領域よりも観察者に近い、または遠い部分）は合焦していない。

【0023】

顔：顔が画像の大部分を占めている場合、それが関心領域となる可能性が高い。様々な顔認識ソフトウェアプログラムおよびアルゴリズムが入手可能であり、例えば顔が画像全体を占めるのか、画像の一部分を占めるのかを認識することができ、あるいは画像が顔であることのみならず、その顔が特定の個人に属する特定の顔であることを認識することができる。
動く背景上の静止しているもの：例えば、動いている車に乗っている人物のクローズアップ画像を考える。車外の風景という動く背景に対して人物の画像は比較的静止しており、静止しているものが関心領域である。

【0024】

静止背景上の動いているもの：野原を動いている馬と乗り手を考える。動いているものが関心領域である。
他は明るくない画像内の明るい領域：他は暗いステージでスポットライトを浴びて立っている歌手を考える。画像内の照らされた部分が関心領域である。
他はカラフルでない画像内のカラフルな領域：曇り空を飛ぶ明るいまたは多色の複数の風船を考える。カラフルな領域が関心領域である。

【0025】

本発明の別の実施形態では、画像ソース部１３において画像１０内の関心領域１１が規定され、関心領域の特性（例えばコントラスト、輝度、色などのうちの１以上）に関する情報が、符号化されて入力画像を表す信号になったメタデータとして送信され、出力部１４（例えば表示装置、表示装置によって表示または投影される信号を供給するプレーヤなど）に供給される。出力部においてメタデータを復号化することができ、適切なＳＳＢＣ演算を行うことができる。例えば入力信号を表す信号はビデオ信号であってもよく、メタデータをビデオ信号と組み合わせることができる。所望のＳＳＢＣプロファイルを得てＳＳＢＣ調整を行うために出力部１４で実行される演算は、出力部でＳＳＢＣエフォート全体（例えばコントラスト、輝度、色の決定、および演算の実行）を行う場合ほど複雑である必要はなく時間がかかる必要もない。

【0026】

上記した２つの実施形態では、表示または投影された画像またはそれ以外の形態で供給または使用された画像に関連してＳＳＢＣ特徴の利点を効果的に用いることができる。また都合のよいことに、画像調整は関心領域の特性に基づいて行うことができる。これにより、画像全体を向上させることができ、および／または、例えば画像が表示、投影、またはその他の形態で観察者に対して提示または供給されるときに、観察者の注意を関心領域に集める、または向けることを補助することができる。さらに画像（例えばメタデータを有するビデオ信号）が出力部４に供給される前に、関心領域が写真家、編集者などによって選択されてもよい。

【0027】

画像ソース部１３は、画像を捉える、または感知するカメラ１５を含んでもよく、その他の画像ソース（例えば、アニメーション化された画像またはその他の画像表現）を含んでもよい。その他の画像表現とは例えば、コンピュータグラフィクス信号でもよく、または実際いかなる画像ソースでもよい。画像ソース部はさらに演算または計算装置１６を含む。これは例えばコンピュータ（例えばプロセッサ、パーソナルコンピュータ、またはその他のコンピュータ）であり、関連する周辺パーツおよび／または内部パーツ（例えばメモリ１７、表示装置兼入力／出力装置１８）を含む可能性がある。表示装置兼入力／出力装置１８とは例えば、キーボード、表示装置、マウス、トラックボール、および／またはジョイスティックなどである。

【0028】

コンピュータ１６、メモリ１７、および表示装置兼入力／出力装置１８を用いて、例えば手動（例えば装置のオペレータによる）または自動で入力画像１０の関心領域１１を選択することができ、関心領域のＳＳＢＣプロファイルを演算することができ、ＳＳＢＣプロファイルまたは情報を供給すること、または関心領域の特性（例えばコントラスト、輝度、色などのうちの１以上）に関する情報をメタデータとして信号内に供給することができる。この信号とは例えば、画像出力部１４に供給するビデオ信号である。当業者であれば適切な演算プログラムソフトウェアまたはコードなどを適切な言語で記述して本明細書に開示する工程および機能を実施することができる。

【0029】

システム１２の他の様々な部分もまたプロセッサなどを含むことにより、本明細書に記載する様々な機能を実施する（例えば関心領域を決定する、関心領域の画像特性を決定する、および／または関心領域の画像特性に基づいてＳＳＢＣプロファイルを演算する）ことができる。これらは本明細書の他の箇所に記載する。
「捕捉画像」すなわち記録されたビデオ画像の内容は例えば分析することができる。例えばこの分析を行うために用いられる手段は画像内容のヒストグラムであり、このヒストグラムにおいて画素の「グレー濃淡度」が、「画素数」すなわち表示装置内でそのグレー濃淡度値を有する画素の数に対してプロットされる。図３から図７を参照して述べる実施例において、グレー濃淡度は最も暗いレベル１から最も明るいレベル２５６までの範囲に亘る。

【0030】

図３はヒストグラム３３である。ヒストグラム３３では、捕捉画像が「正常」である。
「正常」とは、本明細書で提示する実施例では、利用可能なグレー濃淡度全体に亘って画素の輝度がほぼ均一である画像を意味する。図３から図７では、グレー濃淡度をＸ軸（図示するグラフまたはチャートの水平軸）に沿って示し、所与のグレー濃淡度を有する画素の数をＹ軸（図示するグラフまたはチャートの垂直軸）に沿ってプロットしている。図４は低コントラスト画像のヒストグラム３４である。この画像では利用可能なグレー濃淡度の限定された部分のみが用いられていることに留意されたい。図５は薄暗い画像のヒストグラム３５である。

【0031】

この画像はグレー濃淡度の低いレベルのみで構成されていることに留意されたい。図６は明るい画像のヒストグラム３６である。この画像はグレー濃淡度の高いレベルのみで構成されていることに留意されたい。薄暗い画像と明るい画像とが低コントラスト画像に似ている点は、表示装置が生成可能なグレースケール範囲の狭い一部分のみを用いているという点である。画像内でグレー濃淡度の限定された範囲を用いた場合、画像内で微妙な明るさの違いを表示することができないかもしれない。その結果、「輪郭形成」と呼ばれる視覚的に望ましくない状態が起こる。

【0032】

いくつかのタイプのビデオ表示システムは２つの構成要件、すなわち照射源およびこれから独立したパッシブピクシル化表示装置から構成される。（パッシブ表示装置は光を出射するというよりも変調する。）このタイプの表示システムの例はバックライト型ＬＣＤであり、これは直視型ＬＣＤテレビ、モニタおよびラップトップコンピュータなどの製品、ならびに投影テレビに基づくマイクロディスプレイ（ＨＴＰＳ、ＬＣＯＳ、ＤＬＰ）に共通して見られる。このような表示システムの従来の実施形態では、照射源の輝度が一定に保持され、画像内の様々なグレー濃淡度はＬＣＤによる画素毎の変調で達成されている。

【0033】

ＳＳＢＣは「捕捉画像」の内容をリアルタイムで分析し照射源の輝度と画像のグレー濃淡度範囲とをリアルタイムで同時に調整するプロセスである。例えば入力ビデオ画像の内容をリアルタイムで分析することができ、フレーム間のコントラスト比を上げて利用可能なグレー濃淡度をよりよく利用するような様式で、照射源の輝度と画像のグレー濃淡度範囲とをリアルタイムで同時に調整する。このプロセスは例えば以下のように進められる。
・ヒストグラムを生成することによって入力画像または「捕捉画像」を分析し、それにより１フレームのビデオの各グレーレベルにおける画素数を決定する。

【0034】

画素およびグレーレベルの分布を特徴づけていくつかの階級に分類するためにアルゴリズムを用いることができる。例えば画素のグレースケール分布範囲および画像の平均輝度は制御アルゴリズムで計算し用いることができる。この目的のために、例えばＳＳＢＣ特徴を有するテレビの製造者らにより様々なアルゴリズムが開発され用いられてきた。上記目的のために将来他のアルゴリズムが開発されることもあり得る。

【0035】

・入力画像または「捕捉画像」のヒストグラム分布またはグレースケール範囲を伸張して、表示された画像が利用可能なグレーレベルのより広い範囲を用いることができるようにすることも可能である。伸張は、例えば非線形ガンマ関数またはガンマタイプの関数を適用することによって達成可能である。表示システムでガンマを調整する手法は公知である。表示装置にガンマ特性またはガンマ調整を適用するために用いられる実際の非線形ガンマ関数またはこのタイプの関数に似た関数は、表示装置の特性に依存し得、当業者がそれに従って記述することができる。ヒストグラム分布またはグレースケール範囲が伸張できるだけでなく、他のアルゴリズムによって追加のグレーレベルを補間し、伸張した画像に挿入することができることにも留意されたい。追加のグレーレベルは輪郭形成を減少させる傾向がある。

【0036】

・ヒストグラム伸張によって起こる輝度変化を補償するために、照射源に対する調整を同時に行う。例えば適切な光強度をパッシブ表示装置に供給して、出力画像が見られるべきまたは投影されるべき所望の輝度を得ることができる。
ＳＳＢＣ調整の結果、表示装置に送るべき「ＳＳＢＣをソースとする処理および符号化ずみ画像」が生成される。

【0037】

・このプロセスの一例として、ＳＳＢＣ調整された薄暗いビデオ画像のヒストグラム３７を図７に示す。例えば図５に示す薄暗い画像では、画像で用いられるグレー濃淡度は範囲１は約レベル７から約レベル４９に亘る範囲１内にある。ＳＳＢＣ調整により薄暗いビデオ画像を伸張しグレー濃淡度のレベル数を拡大または増加させるため、またはグレー濃淡度のレベル数は維持するが図示する薄暗い画像の範囲を広げてより広い濃淡度レベルを得るために、図７に示すようにグレー濃淡度を範囲２（例えば約レベル５から約レベル２５０）に広げる。

【0038】

ＳＳＢＣ調整の後、あらゆるビデオ画像条件において、利用可能なグレー濃淡度のより広い部分が表示可能となる。その結果表示装置で見ることができるようになる画像を「表示画像」と呼ぶことができる。
図８に、ＳＳＢＣがビデオ信号に適用される典型的なプロセスの概略を示すフローチャート３８を示す。ヘッドエンド４０（内容生成および記録を行う）で画像を分析し、適切なＳＳＢＣ計算を行い符号化してビデオ信号にする。画像の捕捉、編集、記録、および圧縮／符号化工程を例えばブロック４０に示す。ブロック４０の工程は画像ソース部１３（図１）で行うことができる。その後符号化ＳＳＢＣ情報を有するビデオ信号を保存するか、ブロック４１に示すように送信する。

【0039】

これは様々な放送、衛星、インターネットなどによる送信、および／または様々な保存手段（例えばＣＤ、ＤＶＤ、ブルーレイ、ＨＤ ＤＶＤなど）を介して行われる。最後に受信側４２で、ＳＳＢＣされたビデオ画像を供給し画像を表示する。ブロック４２の工程、メタデータの復号化、ビデオ信号のＳＳＢＣ処理、照射および表示のＳＳＢＣ調整は例えば出力部１４（図１）で行うことができる。

【0040】

ＳＳＢＣ法を用いた従来の表示システムでは、ＳＳＢＣ分析および計算は表示装置の位地で行われるため、「インディスプレイアプローチ」または「インディスプレイシステム」と呼ぶことができる。このアプローチは、デジタル制御回路の全コストが各表示装置に課せられることを必要とする。さらにＳＳＢＣ調整の性質を、コンテンツクリエータではなく表示装置設計者の手に委ねる。すなわちアーティストではなくエンジニアの手に委ねる。

【0041】

本発明は、ＳＳＢＣ計算が多くの異なるビデオ表示システムに対して完全に且つ適切に達成されることを補助するために用いることができる。本発明において、ＳＳＢＣ計算およびそれに関する実行および決定は、画像クリエータおよびビデオエンジニア（例えば表示装置を設計するビデオエンジニア）の両方から行うことができる。

【0042】

従来のインディスプレイＳＳＢＣシステムでは、画像輝度およびグレーレベルに対する適切な調整を決定する手順は、適切なＳＳＢＣ計算と呼ばれることがあり、様々な製造者、機関および個人が画像分析手段を開発し、その結果、多くの異なるアルゴリズムが開発されてきた。インディスプレイＳＳＢＣ用の様々なアプローチは異なる方法を用い、画質を異なる度合い（例えば異なる表示装置に対して同じではない度合い）にまで向上させた。

【0043】

インディスプレイＳＳＢＣ調整に関連する負担またはコストがある。なぜならビデオ信号が分析されＳＳＢＣ計算が達成されるのは受信側においてであるからであり、すなわちビデオ表示装置において、またはビデオ表示装置内で共存する回路によってであるからである。このアプローチは、入力画像分析およびアルゴリズム適用のための適切な回路が、すべてのビデオ表示システムに含まれるべきであることを意味する。ＳＳＢＣを実行する費用は個々のビデオ表示システムユニットに完全に課せられる。

【0044】

本発明の一局面によると、ビデオ画像はソースで処理することができ、入ってくるビデオ信号は適切なＳＳＢＣ実行に関する情報によって符号化される。本発明のこれらの局面は、個々のビデオ表示装置内の回路が（少なくとも）ＳＳＢＣ計算を行う必要性を低減する傾向にある。本明細書にさらに述べるように、ＳＳＢＣプロセスは、「変調」ビデオ信号（例えばＳＳＢＣ画質または向上を達成するためにＳＳＢＣに従って変調された）が従来の（例えば非ＳＳＢＣイネーブルの）ビデオ表示装置でも適切に表示することができるような様式で行うことができる。

【0045】

本発明の一局面によると、本明細書に記載するように、適切なＳＳＢＣ計算が行われ、適切なＳＳＢＣ実行を特定する情報がシステムのヘッドエンド（例えば画像ソース部１３（図１））で生成される。それにより各受信器での計算回路の必要性が取り除かれる。これらの局面は、得られた変調ビデオ信号が従来の（非ＳＳＢＣイネーブルの）表示装置で適切に表示されるような様式で達成することができる。これらの局面を達成するアプローチの例は、本明細書の別の箇所で述べるように画像内の可視「関心領域」に基づいてＳＳＢＣ調整を行うことである。

【0046】

直視型および投影型ＬＣＤ表示装置にＳＳＢＣを適用してＳＳＢＣの利点を得ることができる。理由は、これらのタイプの表示システムでは照射源とパッシブピクシル化表示装置とが別々のものだからである。

【0047】

水平面における各個人の視野は平均すると約１５０度（例えば鼻まで約６０度、横に約９０度）である。垂直面の視野は約１２０度（例えば上に約６０度、下に約６０度）である。但し視野内で人間の目／脳システムの注意はいつの時点でも「関心領域」と呼ばれる、より狭い領域に合焦している。観察者がビデオディスプレイを見ているときでも、通常この状態である。すなわち表示装置内ではそのサイズにかかわらず、人間の目／脳は画像のサイズとは無関係に画像のサブ領域に合焦する。サブ領域のサイズおよび位置は時間と共に変化し得るが、観察者が画像から知覚する主要且つ最も詳細な情報は通常、関心領域からのものである。すなわち画像全体の質に対する観察者の印象は関心領域内の画質によって決定される。

【0048】

本発明の一実施形態によると、観察者に高質の画像を供給するために、例えばＳＳＢＣ法を用いて関心領域内の画質を最適化するか、または少なくとも向上させる。関心領域外の画質調整は、観察者による画質決定にとって、関心領域内の画質調整ほど重要ではない。

【0049】

用語「メタデータ」について一般的に用いられる定義には様々なものがある。いくつかの簡単な定義は以下の通りである。
・メタデータはデータに関するデータである。
・メタデータはデータに関する情報である。
・メタデータは情報に関する情報である。

【0050】

メタデータならびにその使用および価値の一例は以下の通りである。「１２３４５」は、さらなる状況がない場合は意味のないデータである。「この番号はＺＩＰコード（郵便番号）である」というような追加の情報が供給されると（メタデータ）、「１２３４５」はＮｅｗ Ｙｏｒｋ州ＳｃｈｅｎｅｃｔａｄｙにあるＧｅｎｅｒａｌ Ｅｌｅｃｔｒｉｃ社の工場を意味することがわかる。

【0051】

メタデータのより高度な定義は以下の通りである。
メタデータは、公に入手可能であり且つ情報を有するものの特性を記載することにより、記載されたものの識別、発見、評価および管理を補助する、任意の構造化符号化データである。

【0052】

メタデータはビデオ技術で用いられる。ビデオでのメタデータの役割を詳しく述べるために、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐが開発したＩＳＯ規格であるＭＥＰＧ−７を考える。ＭＰＥＧ−７は複数の模範の一体化を可能にする固定型および可動性ウェブ用のマルチメディア規格であると説明することができる。別の言い方で多少補足して説明すると、ＭＰＥＧ−７は情報の意味の解釈をある程度サポートするマルチメディアコンテンツデータを記載するための規格であって、デバイスまたはコンピュータコードに伝達可能であるか、またはこれらによってアクセス可能である。

【0053】

ＭＰＥＧ−７規格でメタデータがどのように具現化されるかをさらに詳細に説明すると以下のようになる。ＭＰＥＧ−７は基本構造と記述子とから構成される視覚記述ツール（Ｖｉｓｕａｌ Ｄｅｓｃｒｉｐｔｉｏｎ Ｔｏｏｌｓ）を含む。これらは基本的視覚特性、すなわち色、質感、形状、動き、局部化および顔認識をカバーする。ＭＰＥＧ−７マルチメディア記述スキーム（ＤＳ）はオーディオビジュアル（ＡＶ）コンテンツを記述し注解するメタデータ構造である。ＤＳは検索、索引づけ、フィルタリングおよびアクセスを容易にするために、ＡＶコンテンツの記述およびコンテンツ管理に関連する重要な概念をＸＭＬ（広範囲の適用分野をサポートする汎用マークアップ言語）で記述するという標準化された様式を提供する。ＤＳはＭＰＥＧ−７記述定義言語を用いて定義され、文書またはストリームとして例示される。その結果得られる記述はテキスト形態（例えば人が読める形態であって、編集、検索、フィルタリング用）または圧縮バイナリ形態（例えば保存または送信用）で表すことができる。

【0054】

ＭＰＥＧ−７記述子は主に低レベルのオーディオ特徴またはビジュアル特徴（例えば、色、質感、動き、オーディオエネルギーなど）およびＡＶコンテンツの属性（例えば、位置、時間、質など）を記述するために設計されている。低レベルの特徴用のほとんどの記述子は応用分野で自動的に抽出されると予想される。

【0055】

他方ＭＰＥＧ−７ＤＳは、主により高いレベルのＡＶ特徴（例えば、領域、セグメント、物体、イベント）およびその他の創造、製造、使用などに関する不変メタデータを記述するために設計されている。ＤＳは複数の記述子とＤＳとを一体化することにより、および記述コンポーネント間の関係を示すことによって、より複雑な記述を生成する。ＭＰＥＧ−７ではＤＳはマルチメディア、オーディオまたはビジュアルドメインに関連するものとして分類される。典型的にはマルチメディアＤＳは、オーディオビジュアルデータとおそらくテキストデータとの組み合わせから構成されるコンテンツを記述する。オーディオＤＳまたはビジュアルＤＳはそれぞれ特に、オーディオドメインまたはビジュアルドメイン独特の特徴を参照する。

【0056】

メタデータに関するこれらのコメントをより一般的な文言で言い換え、ビデオに焦点を当てると以下のようになる。メタデータはビデオ信号と共に送信される追加の情報である。データは、ビデオ信号中の未使用の「空間」を占有する。受信システムは画像に影響を与えることなく、この追加の情報を無視することができる。他方受信システムが適切にイネーブルされると、メタデータは解釈可能となり画像に関するさらなる情報を供給することができる。原則としてこの追加情報は表示装置の位置で用いることができ、ビデオ画像の質を調整する。

【0057】

画像捕獲表示システムは例えば図２に参照符号１２で示すように、以下のプロセスまたは方法を実施するために用いることができる。
・ソース（例えば画像ソース１３）で、各ビデオフレーム１０の関心領域１１を規定する。ソースとは例えば、画像生成、画像編集、画像記録または画像送信を行う点であり得る。

【0058】

・ソースで、回路（例えばコンピュータ１６）と関連周辺機器およびソフトウェアとが、関心領域内の画質を最適化するために必要なバックライトの輝度とグレーレベルを含む画像画素データとに対する調整を計算する。本明細書に述べるように、画質を最適化するということは、例えば本明細書に記載するＳＳＢＣアプローチを用いて画質を少なくとも向上させる（例えば表示装置によって示される画像データのグレーレベルの数を増加または伸張させ、それに対応させてパッシブ表示装置を照射する光源の照射レベル（輝度または強度）を調整する）ことを意味する。

【0059】

・ソースで、この情報をメタデータとして符号化する。
・ビデオ信号と共にメタデータを、例えば参照符号５１（図２）で示すように記録する（ＣＤ、ＤＶＤまたはインターネット配信のために保存する）または例えば参照符号５２で示すように送信する。ビデオ信号およびメタデータは、例えば画像ソース部１３の出力５３に供給することができる。

【0060】

・表示装置５４で、回路が、メタデータが命令するバックライトの輝度とグレーレベルを含む画素情報とを復号化する。
・表示装置で、５２からの送信信号またはＣＤ／ＤＶＤ／テープまたはその他の媒体プレーヤ５５からの信号を受信した回路がバックライト５６の輝度およびＬＣＤのグレーレベルを調整して、例えば、命令に従ってパッシブ表示装置５７によって表示を提供するようにする。

【0061】

開示する手順を用いて何が達成されるかを考える。
・ＳＳＢＣ計算は、ソース１３において且つソース１３によって行われるため、画像クリエータ、エディタ、エンコーダまたはブロードキャスタによって、１４による表示画像が意図したように見えるように最適化することができる。
・ソース１３で行われるＳＳＢＣ調整は画像クリエータの芸術的意図に一致するように選択することができることに留意されたい。

【0062】

・システム１２は関心領域１１内の画質を最適化または少なくとも向上させる。従って観察者は画質の全体的向上を知覚する。画質の最適化または向上は例えば、グレースケールの拡張または伸張、画像のコントラストおよび／または輝度の向上、画像内に供給されたおよび／または画像内に見られる細部の向上、最高および／または最低レベルの設定（例えば画像の輝度、コントラストなど）、コントラストに対する重み付けなどを含む。
・上記の機能はソース１３で行われるため、ＳＳＢＣ計算の負担は一度かかるだけである。これにより各受信器での計算回路の必要性がなくなり、従ってシステム全体のコストが低減される。

【0063】

・ＳＳＢＣイネーブルでない表示システムはメタデータを無視することに留意されたい。このようなシステムに表示される画像はメタデータの存在に影響を受けない。
異なるレベルのメタデータ命令は、高精細テレビから携帯電話の表示装置まで広範囲の表示画像を向上させるために符号化することができる。

【0064】

図９に示すように、本発明の別の実施形態では、メタデータは関心領域特性に関する情報を含む。この特性は例えば、関心領域のコントラスト、輝度、色などを含む。このような「特性メタデータ」はソース部１３によって供給することができる。図９において、特性メタデータはソース部１３（図２）から１６ａに供給される。特性メタデータを有するビデオ信号をブロック５３’に示す。このビデオ信号はシステム１２ａの出力部１４への入力として供給される。出力部１４は、プレーヤ（例えばＣＤ、ＤＶＤ、テープ、ブルーレイなど）または表示装置５５’、光源５６およびパッシブ表示装置５７を含む。プレーヤまたは表示システム５５’は光源および表示装置と連動し、コンピュータ６０およびメモリ６１を含んで、表示装置を照射する適切な光強度と、出力部１４での修正された（例えば伸張された）グレー濃淡度とを演算する。

【0065】

これにより１６ａで受信された関心領域情報に従って調整された画像が供給される。本実施形態では、ＳＳＢＣイネーブルの受信器１４はバックライト５６の輝度およびパッシブ表示装置５７のグレー濃淡度に対して必要な調整を計算する能力を有する。本実施形態の利点は、受信器の個々のモデルおよび型がその独自の表示特性に適した調整を実行することができることを含む。ガンマ調整はそれぞれの表示装置内で行われ、それにより入ってくる信号が処理され表示装置上に表示される際に、表示装置のガンマ特性が考慮される。本発明は同様に、受信したメタデータまたは関心領域データに基づいてＳＳＢＣなどの方法を実行する際に、表示装置の独自の特性を考慮することができる。

【0066】

そのため本実施形態は、訂正が適切に識別され最適に実行されることを保証する。本実施形態は、例えば各受信器での変更を計算する能力を維持する必要があるなどの理由で図１の実施形態ほどのコスト低減につながらないかもしれないが、計算に必要な時間を短縮することはできる。なぜなら、ソース１３によって画像特性が供給されるからであり、および／または場合によっては画像１０全体よりも小さい関心領域１１に対してのみ計算を実行すればよいからである。

【0067】

図１０に示す本発明の別の実施形態は、より高度なビデオプレーヤ（例えばＤＶＤ、ブルーレイまたはＨＤ ＤＶＤプレーヤ）におけるＳＳＢＣ計算能力を含む。レコーダ５１で記録され得るビデオ信号は、画像特性メタデータ（例えばブロック５３’で示す関心領域のメタデータ）を含んでもよい。本実施形態では、ビデオプレーヤ５５’はＤＶＤなどを再生するだけでなく、ＳＳＢＣ画像分析を行いビデオストリームに適切なメタデータを追加する。ＳＳＢＣイネーブルの表示装置はメタデータ情報を適切に復号化し、より向上した画像を提示する。

【0068】

本発明のさらなるいくつかの実施形態は以下の通りである。
一実施形態では、メタデータ符号化の例は、すべての命令を供給することを含む。表示装置は、計算をする必要がないという点である意味「データ処理能力を持たない」表示装置である。すべての命令はデータ処理能力を持たない表示装置に供給される。本実施形態では、ＳＳＢＣ計算はヘッドエンド１３（図１）または４０（図８）で行われる。計算は関心領域１１またはその他の基準のいずれに基づいてもよい。計算は人からの入力を利用してもよく、ソフトウェアアルゴリズムによって自動的に行われてもよい。ビデオストリームはメタデータと共に保存または送信される。命令は表示装置側１４で受信されると、さらなる処理も解釈もされることなく直接実行される。これがＳＳＢＣイネーブルの「データ処理能力を持たない」表示装置であると考えられる。

【0069】

このアプローチのいくつかの利点は以下を含む。
・表示装置側のハードウェアおよびソフトウェアのコストを低減する。
・符号化が画像クリエータによりコンテンツソースで行われるため「間違いがない」。

【0070】

本発明は、ＳＳＢＣプロファイル情報に応答する表示装置またはＳＳＢＣプロファイル情報に応答できない表示装置のいずれにも用いることができる。そのため本発明を用いると、関心領域および／またはＳＳＢＣプロファイル情報がビデオ信号データストリームの未使用部分のメタデータとして表示装置に供給された場合でもこのメタデータが表示装置の性能に影響を与えることはない。従ってこの意味で本発明は下位互換性を有し、関心領域の画像特性またはＳＳＢＣプロファイルに基づいて画像特性または画像信号を調整することができる表示システムと共に用いることもでき、さらにこのような調整が不可能な表示システムと共に用いることもできる。後者の場合、関心領域および／またはＳＳＢＣ情報は表示装置に無視される可能性があり、表示装置は当該関心領域および／またはＳＳＢＣ情報を見ないか、または考慮しない。

【0071】

別の実施形態では、命令が表示装置内のルックアップテーブルに供給される。ルックアップテーブルは表示装置モデルに特異的であり得る。本実施形態では、ＳＳＢＣ計算はヘッドエンド１３または４０で行われる。計算は関心画像領域１１またはその他の基準のいずれに基づいてもよい。計算は人からの入力を利用してもよく、ソフトウェアアルゴリズムによって自動的に行われてもよい。ビデオストリームはメタデータと共に保存または送信される。必要な調整は表示装置側１４で受信されると、表示装置の型またはモデル独自のルックアップテーブルを参照して行われる。このようにしてＳＳＢＣ調整が表示装置で実行され、光源強度およびパッシブ表示装置のグレーレベルを含む表示画像が「ルックアップ」テーブル内の、またはルックアップテーブルに見られる値に基づいて調整され、表示装置の型またはモデルに合わせて画像を向上または最適化するのに役立つ。

【0072】

このアプローチのいくつかの利点は以下を含む。
・表示装置側１４（上記では出力部または受信器とも呼ぶ）のスペクトル全体に同一の符号化システムが適用される。
・システムは「階層」を有する。すなわち、いくつかの高度な表示装置側がメタデータ内で符号化されたルックアップテーブル情報の全体を用いることができるが、その他のより単純な表示装置側はサブセットしか用いることができない。

【0073】

別の実施形態では、メタデータがスマートディスプレイによって計算される。本実施形態では、関心領域１１の規定またはその他の基準がメタデータとしてビデオストリームと共に保存または送信される。ＳＳＢＣ調整は表示装置側１４で受信されると、媒体プロセッサ（例えばテレビの場合）内またはモジュールコントローラ（例えばＬＣＤの場合）内でソフトウェアアルゴリズムによって計算される。その後ＳＳＢＣ調整は、特定の表示装置の型またはモデル独自の態様で、直接表示装置上でまたはルックアップテーブルを介して実行される。

【0074】

メタデータを生成する位置については、ＳＳＢＣ計算が表示装置側１４で（関心領域１１またはその他の基準のいずれかに基づいて）行われる様々な実施形態において、機能が複数のタイプのデバイス（例えば画像を表示装置に供給するプレーヤまたはその他のデバイス）で実行される。これは有用である。なぜなら「遺産」ビデオ（元々ＳＳＢＣで作成されなかったビデオも含む）の大半はＳＳＢＣイネーブルの表示装置で表示される前に処理しなければならないからである。ＳＳＢＣ計算および符号化機能を行うことができるデバイスの例は以下を含む。

【0075】

・ＤＶＤプレーヤ
・ブルーレイプレーヤ
・ＨＤ ＤＶＤプレーヤ
・コンピュータ
・ケーブルまたは衛星ボックス
・セットトップボックスのデジタルチューナ
・ビデオゲームコンソール

【0076】

関心領域１１のサイズはフレキシキブルであることに留意されたい。極端な場合、関心領域１１は画像全体を占め、そのためＳＳＢＣ調整計算に用いられる最も初歩的な手順となる。
さらに本明細書に述べる本発明の特徴は静止画のみならず複数の画像（例えば映画、ビデオなど）にも適用されることが理解される。

【0077】

メタデータは計算時間と表示装置側１４での遅れを短縮する。例えば画像の画素数が多くてＳＳＢＣ調整計算用のアルゴリズムが複雑な場合を考える。ＳＳＢＣ調整が表示装置側１４で実行されるのであれば、表示システムの画像処理能力がビデオレートに対する要望についていけなくなることが考えられる。このような場合、画像に視覚的アーティファクトが導入される。これがメタデータアプローチの潜在的利点を示している。計算はヘッドエンド１４または４０で行われビデオ信号と共に送信されるため、計算の負担は表示装置側１４から取り除かれる。このようにして例えばＳＳＢＣイネーブルのビデオをフルビデオレートで表示するシステム１２の能力が保証される。

【0078】

いくつかの異なる且つ潜在的にかなり独特のタイプのビデオ資料があり、これらは以下を含む。
・映画−アクション、ドラマ、ロマンティック
・スポーツ−屋内、屋外
・ビデオゲーム
・アニメーション
・ブロードキャストＴＶ−トークショウ、シチュエーションコメディ

【0079】

本発明の実施形態で用いられる方法およびシステムの例は、これらの異なるタイプのビデオ材料であって別のＳＳＢＣルックアップテーブルを有するビデオ材料を適切に表示する本発明の能力を高める。選択されるテーブルはユーザまたはメタデータに含まれるコンテンツクリエータの仕様によって決定される。
本発明を、カラーディスプレイおよびカラー画像を表すビデオ信号、白黒ディスプレイおよび白黒画像を表すビデオ信号、あるいは他の特定のタイプの表示装置またはビデオ信号に特に言及することなく、概して述べているが、本発明の特徴はカラーディスプレイ、白黒ディスプレイ、および／または他のタイプの表示装置と共に、ならびに様々なタイプの信号（例えばビデオ信号、ＭＰＥＧフォーマット信号など）と共に用いることができることが理解される。

【0080】

コンピュータプログラミングの当業者、特に表示システムならびに／または他の電気および／または電子デバイスでの応用プログラミングの当業者であれば、本明細書に記載する様々な特徴および論理機能を操作し実施するための（例えば本明細書に記載するシステムのコンピュータ１６および他のパーツで用いるための）適切なコンピュータプログラムソフトウェアまたはコードを用意することができることが明らかである。従って特定のプログラムコードに関する詳細は簡潔のため省略する。

【0081】

いくつかの好ましい実施形態に関して本発明を示し説明してきたが、当業者であれば本明細書を読み理解することにより均等物および改変例を考えつくことが理解される。本発明はこれらすべての均等物および改変例を含み、以下の特許請求の範囲によってのみ限定される。

【0082】

本発明のうちの複数の部分はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実行可能であることが理解される。詳細な実施形態では、複数の工程または方法を、メモリに保存されて適切な命令実行システムによって実行されるソフトウェアまたはファームウェアで実行することができる。例えば別の実施形態におけるようにハードウェアで実行する場合、当該分野で公知である以下の技術のいずれかまたはその組み合わせを用いることができる：データ信号に対して論理機能を実行する論理ゲートを有するディスクリート論理回路、適切な組み合わせ論理ゲートを有する特定用途集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など。

【0083】

フローチャート内の任意のプロセスまたは方法の記載またはブロックは、プロセス中の特定の論理機能または工程を実行するための１以上の実行可能命令を含むモジュール、セグメントまたはコードの一部分を表すと理解することができる。別の実行は、本発明の好ましい実施形態であって、機能が図示したり記載したりしたものとは別の順序で実行される実施形態の範囲に含まれる。上記別の順序で実行されるとは、含まれる機能に依存して実質的に同時に実行される場合または逆の順序で実行される場合を含む。これは本発明の分野の知識をある程度有する当業者であれば理解するはずである。

【0084】

図面のフロー図に示した論理および／または工程は、例えば論理機能を実行する実行可能命令の秩序立ったリストと考えることができ、命令実行システム、装置またはデバイス（例えばコンピュータベースのシステム、プロセッサを含むシステム、または命令実行システム、装置またはデバイスからの命令を呼び出して命令を実行することができるその他のシステム）によって、またはこれらに関連して用いられるコンピュータ読み取り可能媒体で具現化することができる。この文書において、「コンピュータ読み取り可能媒体」とは、命令実行システム、装置またはデバイスによって、またはこれらに関連して用いられるプログラムを含有、保存、通信、伝搬または伝達することが可能ないずれの手段であってもよい。コンピュータ読み取り可能媒体は例えば、電子、磁気、光学、電磁、赤外線または半導体のシステム、装置、デバイスまたは伝搬媒体であり得るがこれらに限定されない。

【0085】

コンピュータ読み取り可能媒体のより具体的な例（すべてを網羅しているわけではないリスト）は以下を含む：１以上のワイヤを有する電気接続（電子）、ポータブルコンピュータディスク（磁気）、ランダムアクセスメモリ（ＲＡＭ）（電子）、リードオンリーメモリ（ＲＯＭ）（電子）、イレーサブルプログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）（電子）、光ファイバ（光学）、およびポータブルコンパクトディスクリードオンリーメモリ（ＣＤＲＯＭ）（光学）。コンピュータ読み取り可能媒体は、プログラムが印刷された紙またはその他の適切な媒体であってもよいことに留意されたい。なぜならプログラムは例えば紙またはその他の媒体を光学的に走査することにより電子的に捕捉し、その後コンパイル、解釈または他の処理を必要に応じて適切な態様で行い、その後コンピュータメモリに保存することができるからである。

【0086】

上記の説明および添付の図面は、本発明の様々な特徴を示している。当業者であれば上記に記載し図面に示した様々な工程および手順を実行するために適切なコンピュータコードを用意できることが理解される。さらに上記の様々な端末、コンピュータ、サーバ、およびネットワークなどは実際いずれのタイプでもよく、コンピュータコードは本明細書の開示による装置を用いて本発明を実施するために用意することができることが理解される。

【0087】

本発明の特定の実施形態を本明細書に開示している。当業者であれば、本発明は他の実施形態では他の適用を有し得ることを容易に認識する。実際多くの実施形態および実行が可能である。以下の請求の範囲は本発明の範囲を上記の特定の実施形態に限定するものではない。さらに「〜する手段」という表現は構成要件および請求項のｍｅａｎｓ−ｐｌｕｓ−ｆｕｎｃｔｉｏｎに対する解釈を呼び起こすが、特に「〜する手段」という表現を用いていない構成要件は、その請求項が他に「手段」という語を含んでいたとしても、ｍｅａｎｓ−ｐｌｕｓ−ｆｕｎｃｔｉｏｎ要件と解釈すべきではない。

【0088】

本発明を特定の好ましい実施形態に関して示し述べてきたが、当業者であれば本明細書および添付の図面を読み理解することにより、均等な変更および改変を考えつくことは明らかである。特に上記の構成要件（コンポーネント、アセンブリ、デバイス、コンポジションなど）によって行われる様々な機能について、これらの構成要件を記載するために用いた用語（「手段」を含む）は、特に断らない限り、記載した構成要件の特定の機能を実行するいずれの構成要件（すなわち機能的に均等な構成要件）にも対応する。このことはたとえ本明細書に記載された本発明の例示的実施形態の機能を実行する構成であってここで開示された構成に対して、構造的に均等でないものにも適用される。さらに本発明の特定の特徴を１または複数の実施形態に関して上記したが、このような特徴は他の実施形態の１以上の他の特徴と組み合わせることができ、これは所与のまたは特定の適用に対して望まれる得、有利であり得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】