特許 7262877 オーバーレイ指示を用いた適応的ハイダイナミックレンジ・トーンマッピング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-14

(45)【発行日】2023-04-24

(54)【発明の名称】オーバーレイ指示を用いた適応的ハイダイナミックレンジ・トーンマッピング

(51)【国際特許分類】

   G06T 5/00 20060101AFI20230417BHJP

   H04N 5/66 20060101ALI20230417BHJP

   G09G 5/00 20060101ALI20230417BHJP

   G09G 5/10 20060101ALI20230417BHJP

   G09G 5/14 20060101ALI20230417BHJP

   G09G 5/02 20060101ALI20230417BHJP

【ＦＩ】

G06T5/00 730

H04N5/66 A

G09G5/00 555D

G09G5/00 520A

G09G5/10 B

G09G5/14 E

G09G5/02 B

G09G5/00 550X

【請求項の数】 8

(21)【出願番号】P 2020505347

(86)(22)【出願日】2018-08-01

(65)【公表番号】

(43)【公表日】2020-10-08

(86)【国際出願番号】 KR2018008749

(87)【国際公開番号】W WO2019027252

(87)【国際公開日】2019-02-07

【審査請求日】2021-06-23

(31)【優先権主張番号】62/540,012

(32)【優先日】2017-08-01

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/005,474

(32)【優先日】2018-06-11

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100154922

【弁理士】

【氏名又は名称】崔 允辰

(74)【代理人】

【氏名又は名称】木内 敬二

(72)【発明者】

【氏名】ヨン－テグ・キム

(72)【発明者】

【氏名】ソンナム・オ

(72)【発明者】

【氏名】スージー・ヒョン

(72)【発明者】

【氏名】リ・タオ

【審査官】橘 高志

(56)【参考文献】

【文献】国際公開第２０１６／０７４９９９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１６／０００５２０１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０３４８２４７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ ５／６６

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／１０

Ｇ０９Ｇ ５／１４

Ｇ０９Ｇ ５／０２

(57)【特許請求の範囲】

【請求項1】

ビデオトーンマッピング（video tone mapping）のための方法であって、
グラフィックが、ハイダイナミックレンジ（high dynamic range：ＨＤＲ）シーン（scene）の画像データ上に、オーバーレイされているか否かを示すオーバーレイ指示（overlay indication）を、入力データストリーム（input data stream）から受信する過程、前記ＨＤＲシーンのトーンマッピングメタデータ（tone mapping metadata）を受信する過程、及び
前記オーバーレイ指示に基づいて、第１トーンマッピングされたビデオを生成する第１トーンマッピング機能、又は第２トーンマッピングされたビデオを生成する第２トーンマッピング機能を用いることによって、ビデオストリーム（video stream）を処理する過程
を含み、
前記第１トーンマッピング機能は、グラフィックが、前記ＨＤＲシーンの画像データ上にオーバーレイされていないときに使用され、前記第１トーンマッピング機能は、前記ＨＤＲシーンのトーンマッピングメタデータを使用し、
前記第２トーンマッピング機能は、グラフィックが、前記ＨＤＲシーンの画像データ上にオーバーレイされているときに使用され、前記第２トーンマッピング機能は、前記オーバーレイされているグラフィックのトーンマッピングメタデータ及び前記ＨＤＲシーンのトーンマッピングメタデータを使用し、
前記オーバーレイされているグラフィックのトーンマッピングメタデータは、前記ＨＤＲシーンの画像データ上にオーバーレイされているグラフィックを含む入力データストリームの値の最大輝度を推定することにより獲得されることを特徴とする、ビデオトーンマッピングのための方法。

【請求項2】

前記オーバーレイ指示は、前記グラフィックが、画像データ上でオーバーレイされているか否かを明示するオーバーレイフラグ（overlay flag）を含むことを特徴とする、請求項１に記載のビデオトーンマッピングのための方法。

【請求項3】

前記オーバーレイされているグラフィックは、ピクチャーインピクチャーデータストリーム（picture-in-picture data stream）の画像データに相当することを特徴とする、請求項１に記載のビデオトーンマッピングのための方法。

【請求項4】

前記最大輝度は、前記ビデオストリームに含まれているピクセルのｍａｘ（Ｒ、Ｇ、Ｂ）の最大値を示すことを特徴とする、請求項１に記載のビデオトーンマッピングのための方法 。

【請求項5】

装置であって、
コマンド（instruction）を記憶するメモリと、
グラフィックが、ハイダイナミックレンジ（high dynamic range：ＨＤＲ）シーン（scene）の画像データ上に、オーバーレイされているか否かを示すオーバーレイ指示（overlay indication）を、入力データストリーム（input data stream）から受信し、
前記ＨＤＲシーンのトーンマッピングメタデータ（tone mapping metadata）を受信し、及び
前記オーバーレイ指示に基づいて、第１トーンマッピングされたビデオを生成する第１トーンマッピング機能、又は第２トーンマッピングされたビデオを生成する第２トーンマッピング機能を用いることによって、ビデオストリーム（video stream）を処理するように構成されるプロセスを含む前記コマンドを実行する少なくとも一つのプロセッサと、
を含み、
前記第１トーンマッピング機能は、グラフィックが、前記ＨＤＲシーンの画像データ上にオーバーレイされていないときに使用され、前記第１トーンマッピング機能は、前記ＨＤＲシーンのみに、トーンマッピングメタデータを使用し、
前記第２トーンマッピング機能は、グラフィックが、前記ＨＤＲシーンの画像データ上にオーバーレイされているときに使用され、前記第２トーンマッピング機能は、前記オーバーレイされているグラフィックのトーンマッピングメタデータと、前記ＨＤＲシーンのトーンマッピングメタデータとを使用し、
前記オーバーレイされているグラフィックのトーンマッピングメタデータは、前記ＨＤＲの画像データシーン上にオーバーレイされているグラフィックを含む入力データストリームの値の最大輝度を推定することにより獲得されることを特徴とする装置。

【請求項6】

前記オーバーレイ指示は、前記グラフィックが、画像データ上でオーバーレイされているか否かを明示するオーバーレイフラグ（overlay flag）を含むことを特徴とする、請求項５に記載の装置。

【請求項7】

前記オーバーレイされているグラフィックは、ピクチャーインピクチャーデータストリーム（picture-in-picture data stream）の画像データに相当することを特徴とする、請求項５に記載の装置。

【請求項8】

前記最大輝度は、前記ビデオストリームに含まれているピクセルの ｍａｘ（Ｒ、Ｇ、Ｂ）の最大値を示すことを特徴とする、請求項５に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、ビデオトーンマッピングのための方法及びその装置に関する。また、一つ又はそれ以上の実施形態は、一般に、ハイダイナミックレンジ（high dynamic range：ＨＤＲ）シーン（scene）上のグラフィックオーバーレイに関し、特に、トーンマッピングを適用するために、ＨＤＲシーンのオーバーレイグラフィック指示（overlay graphics indication）を提供することに関する。

【背景技術】

【0002】

グラフィックは、ブルーレイディスク（blu-ray disc、ＢＤ）プレーヤー（ＢＤＰ）、セットトップボックス（set top box、ＳＴＢ）、又はブロードキャストでダイナミックＴＭメタデータ（dynamic TM metadata）を有するＨＤＲシーンにオーバーレイできる。現在、オーバーレイグラフィックに関する情報は、トーンマッピング（tone mapping）が発生する受信機に、ＨＤＲシーンと共に配信されない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

一つ又はそれ以上の実施形態は、ＴＭを適用するために、ハイダイナミックレンジ（ＨＤＲ）シーンのオーバーレイグラフィック指示（overlay graphics indication）を提供することに関する。

【課題を解決するための手段】

【0004】

いくつかの実施形態において、ビデオトーンマッピング（video tone mapping）のための方法は、グラフィックが、ＨＤＲシーン（scene）の画像データ上にオーバーレイされているか否かを示すオーバーレイ指示（overlay indication）を、入力データストリーム（input data stream）から受信する過程を含む。前記オーバーレイ指示に基づいて、ハードウェアプロセッサは、第１トーンマッピングされたビデオを生成する第１トーンマッピング機能、又は、第２トーンマッピングされたビデオを生成する第２トーンマッピング機能を用いることによって、ビデオストリーム （video stream）を処理（プロセッシング）する。

【0005】

いくつかの実施形態では、装置は、コマンド（instruction）を格納するメモリを含む。少なくとも一つのプロセッサは、グラフィックが、ＨＤＲシーンの画像データ上に、オーバーレイされているか否かを示すオーバーレイ指示を、入力データストリームから受信し；及び、前記オーバーレイ指示に基づいて、第１トーンマッピングされたビデオを生成する第１トーンマッピング機能、又は、第２トーンマッピングされたビデオを生成する第２トーンマッピング機能を用いることによって、ビデオストリームを処理するように構成されているプロセスを含む前記コマンドを実行する。

【0006】

いくつかの実施形態では、プロセッサによって実行されるとき、ハードウェアプロセッサが、入力データストリームから、グラフィックが、ＨＤＲシーンの画像データ上に、オーバーレイされているか否かを示すオーバーレイ指示を受信する過程を含む方法を実行するプログラムを含んでいる非一時的なプロセッサ読み取り可能媒体が提供される。前記オーバーレイ指示に基づいて、前記ハードウェアプロセッサは、第１トーンマッピングされたビデオを生成する第１トーンマッピング機能、又は第２トーンマッピングされたビデオを生成する第２トーンマッピング機能を用いることによって、ビデオストリームを処理する。

【0007】

一つ又はそれ以上の実施形態のこれら及び他の特徴、側面及び利点は、以下の説明、添付の特許請求の範囲及び添付の図面を参照して理解されるであろう。

【図面の簡単な説明】

【0008】

【図1】いくつかの実施形態による、オーバーレイ向上メカニズム（overlay enhancement mechanism）を備えた電子システムを示す。

【図2】いくつかの実施形態による、システムの例示的な高レベルのブロック図を示す。

【図3】ハイダイナミックレンジ（ＨＤＲ）シーン上に、オーバーレイされた例示的なグラフィックを示す。

【図4】ダイナミックトーンマッピング（ＴＭ）が適用されたＨＤＲシーン上に、オーバーレイされた例示的なグラフィックを示す。

【図5】いくつかの実施形態による、オーバーレイ指示が適用されたＨＤＲシーン上に、オーバーレイされた例示的なグラフィックを示す。

【図6】いくつかの実施形態による、適応的ＴＭが適用された、オーバーレイ指示が適用されたＨＤＲシーン上に、オーバーレイされた例示的なグラフィックを示す。

【図7】いくつかの実施形態による、ＨＤＲシーン及びＴＭ機能アプリケーションのグラフィックオーバーレイのオーバーレイ指示を挿入するためのグラフィックオーバーレイ処理のブロック図を示す。

【図8】いくつかの実施形態による、オーバーレイ指示のなし場合にダイナミックＴＭが適用され、オーバーレイ指示について、適応的ＴＭが適用されるＨＤＲシーン上に、オーバーレイされた例示的なグラフィックを示す。

【図9】いくつかの実施形態による、ＴＭアプリケーションを用いるＨＤＲシーンのオーバーレイ処理のブロック図を示す。

【図10】開示された実施形態の実施に有用なコンピュータシステムを含む情報処理システムを示す例示的な高レベルのブロック図である。

【発明を実施するための形態】

【0009】

以下の説明は、一つ又はそれ以上の実施形態の一般的な原理を例示する目的でなされたものであり、本明細書で請求される発明の概念を限定するものではない。さらに、本明細書で説明される特定の特徴は、様々な可能な組み合わせ及び置換のそれぞれで説明される他の特徴と組み合わせて使用することができる。本明細書において、特に明確に定義されていない限り、全ての用語には、本明細書から暗示される意味、並びに当業者によって理解される意味及び／又は辞書、論文などで定義される意味を含む、可能な限り広い解釈が与えられるべきである。

【0010】

いくつかの実施形態は、トーンマッピング（ＴＭ）アプリケーション（application）のためのハイダイナミックレンジ（ＨＤＲ）シーン（scene）のオーバーレイグラフィック指示（overlay graphics indication）を提供する。いくつかの実施形態において、ビデオトーンマッピング（video tone mapping）のための方法は、グラフィックが、ＨＤＲシーン（scene）の画像データ上に、オーバーレイされているか否かを示すオーバーレイ指示（overlay indication）を、入力データストリーム（input data stream）から受信する過程を含んでいる。前記オーバーレイ指示に基づいて、ハードウェアプロセッサは、第１トーンマッピングされたビデオを生成する第１トーンマッピング機能、又は第２トーンマッピングされたビデオを生成する第２トーンマッピング機能を用いることによって、ビデオストリーム（video stream）を処理する。

【0011】

当業者は、画像情報が表現されるフォーマット（format）が、いくつかの実施形態では重要でないことを認識する。一例として、いくつかの実施形態において、画像情報は、Ｉ （Ｘ、Ｙ）のフォーマットで提示され、ここで、Ｘ及びＹは、前記画像に含まれているピクセルの位置を定義する二つの座標である。３Ｄ画像情報は、前記ピクセルの色相に関連する情報を有するＩ（Ｘ、Ｙ、Ｚ）が、フォーマットで提示でき、Ｘ、Ｙ、Ｚ は、前記画像に含まれているピクセルの位置を定義する３つの座標である。一実施形態において、前記画像情報は、また強度（intensity）又は輝度（brightness）の要素を含む。

【0012】

説明の目的のために、ここで使われる用語「水平（horizontal）」とは、「図（ＦＩＧ）」の図面の名称で示されているように、図面を見たときに表示される水平方向を示す。用語「垂直（vertical）」とは、 先に定義されたような水平に垂直な方向を指す。「上方（above）」、「下方（below）」、「底部（bottom）」、「上端（top）」、「側（side）」、「上側（higher）」、「下側（lower）」、「上部の（upper）」、「直上に（over）」及び「下に（under）」のような用語は、図面に示されているように、前記水平に関連して定義される。

【0013】

ここで呼ばれる用語「画像」とは、２次元の画像、３次元の画像、ビデオフレーム（video frame）、コンピュータファイル表現、カメラからの画像又はそれらの組み合わせを含んでもよい。一例として、前記画像は、マシン読み取り可能のデジタルファイル（machine readable digital file）、物理的写真、デジタル写真、モーションピクチャーフレーム（motion picture frame）、ビデオフレーム、x－レイ画像、スキャンされた画像、又はそれらの組み合わせであってもよい。前記画像は、長方形アレイ（rectangular array）に配列されたピクセル（pixel）から生成されることができる。前記画像は、前記行の方向に沿うｘ軸と、前記列の方向に沿うｙ軸とを含むことができる。前記用語「画像」とは、静止画（still image）、又はビデオの動画、即ち、前記ビデオ自体を指す後者を示してもよい。前記用語「画像」は、静止画（例えば、写真）又はビデオの他に、ディスプレイ上に、ディスプレイ可能な部分又はフルスクリーン画像を含んでもよい。また、前記用語「画像」は、元々、静止画（例えば、写真）又はビデオの他に、ユーザーインターフェース又はウェブページのようなディスプレイ可能なスクリーン画像自体を含んでもよい。

【0014】

用語「色領域（color gamut）」とは、前記全体の光領域で画像としてディスプレイ可能な色空間の領域を指す。一例として、領域情報（gamut information）は、前記画像がディスプレイされるＧＢＲ（緑、青、赤）及びＣＭＹＫ（シアン、マゼンタ、イェロー、黒）の色システムのうちいずれか一つによって変更できる。前記色領域情報に基づいて、画像は、広い色領域画像と、狭い色領域画像とに分類することができる。一例として、前記広い色領域画像は、広い色領域の画像を指す場合があり、ＤＣＰ（digital cinema package）、ＤＣＩ（digital cinema initiatives）、AdobeＲＧＢ色システム、又は高光度及び広い色領域でマスターされたＨＤＲ画像を有する画像を含んでもよい。前記狭い色領域画像は、狭い色領域の画像を指す場合があり、色レベル又はｓＲＧＢ色システムを有する画像を含んでもよい。

【0015】

一般に、用語「ダイナミックレンジ（dynamic range）」とは、物理的に測定された量の最大値対最小値の比を指す。一例として、画像のダイナミックレンジは、前記画像で最も明るい部分と、最も暗い部分との比率を指す。他の例として、ディスプレイ装置のダイナミックレンジは、スクリーンから発せられ得る光の最小輝度と、その最大輝度との比を指す。現実の世界では、ダイナミックレンジは、０ニット（nit）に近い完全な暗闇から、日光に近い非常に高い輝度までである。

【0016】

画像の最小輝度に対する画像の最大輝度の比率が高いほど、画像は、ローダイナミックレンジ画像、スタンダードダイナミックレンジ画像、及びハイダイナミックレンジ画像に分類できる。例えば、一つのピクセルのＲ、Ｇ、Ｂコンポーネントのそれぞれについて、１６ビット以下のビット深度（bit depth）を有する画像は、ローダイナミックレンジ画像を示すことができる。加えて、一つのピクセルのＲ、Ｇ、Ｂコンポーネントのそれぞれについて、３２ビット以上のビット深度を有する画像は、ローダイナミックレンジ画像からハイダイナミックレンジ画像を示すことができる。

【0017】

ハイダイナミックレンジ画像を補正せずに、ローダイナミックレンジを有するディスプレイ装置上に表示すると、ハイダイナミックレンジ画像の元の意図が歪曲されて表示される場合がある。用語「トーンマッピング（ＴＭ）」とは、画像のダイナミックレンジの変換の動作を指す。ＴＭは、画像処理及びコンピュータグラフィックで用いられる技術で、 より制限されたダイナミックレンジを有する媒体で、ＨＤＲ画像の外観を近似するために、ある色のセットを別の色にマッピングする。ＴＭは、元のシーン（scene）コンテンツを認識するのに重要な画像の詳細と、色の外観を保持しながら、シーンの放射輝度（scene radiance）からディスプレイ可能なレンジへの強いコントラストの低下（contrast reduction）の問題を解決する。ＴＭは、画像のダイナミックレンジを狭める動作を示してもよい。一例として、前記ＴＭは、ＨＤＲ画像を、ローダイナミックレンジ画像に変換する動作を示してもよい。追加に、ＴＭは、画像のダイナミックレンジを広げる動作を示してもよい。一例として、ＴＭは、ローダイナミックレンジ画像を、ＨＤＲ画像に変換する動作を示してもよい。画像のダイナミックレンジが、画像のディスプレイされるディスプレイ装置のダイナミックレンジに含まれていない場合、ディスプレイ装置は、トーンマッピングされた画像を用いて、元の画像の意図を保持することができる。

【0018】

図１は、いくつかの実施形態におけるオーバーレイ向上メカニズム（overlay enhancement mechanism）を使用する電子システム５０を示している。電子システム５０は、クライアント（client）又はサーバのような第２デバイス５６に繋がっている、クライアント又はサーバのような第１デバイス５２を含む。第１デバイス５２は、無線又は有線ネットワークのような通信経路５４を介して、第２デバイス５６と通信することができる。

【0019】

一例として、第１デバイス５２は、ＵＤテレビ（ＵＤＴＶ）、４Ｋ ＴＶ、８Ｋ ＴＶなどの超高精細（ＵＤ）、４Ｋ（８Ｋなど）ディスプレイ装置、タブレットデバイス（tablet device）、スマートフォン、パーソナルデジタルアシスタント（personal digital assistant：ＰＤＡ）、ノートパソコン、液晶ディスプレイ（liquid crystal display：ＬＣＤ）システム、ウェアラブルデバイス（wearable device）、モバイルコンピューティングデバイス、プロジェクションデバイス（projection device）、又はその他の多機能ディスプレイ又はエンターテインメント（entertainment）デバイスのような ＤＵ、４Ｋ（８Ｋ、など）ディスプレイのような多様なディスプレイデバイスのうちいずれか一つであってもよい。第１デバイス５２は、第２デバイス５６と通信するために、直接に又は間接に、通信経路５４に連結してもよく、又はスタンドアローン（stand-alone）デバイスであってもよい。

【0020】

説明の目的として、電子システム５０は、第１デバイス５２をディスプレイデバイスとして説明したが、第１デバイス５２が、多様な他のタイプのデバイスであってもよいということが理解されるだろう。一例として、第１デバイス５２は、また画像又はマルチメディアプレゼンテーションを、プレゼントするデバイスであってもよい。マルチメディアプレゼンテーションは、サウンド（sound）、一連のストリーミング画像（streaming image）、又はビデオフィード（video feed）、又はそれらの組み合わせを含むプレゼンテーションであってもよい。一例として、第１デバイス５２は、ＵＤＴＶ、又は任意の他のタイプのＵＤディスプレイデバイス（例えば、モニター、ビデオパネル、ＨＵＤ、スマートフォン、タブレットデバイス、ビデオデバイス、ゲームデバイス（gaming device）など）であってもよい。

【0021】

第２デバイス５６は、様々な中央集中型コンピューティングデバイス又は分散型コンピューティングデバイス、画像又はビデオ送信デバイスのうちいずれか一つであってもよい。一例として、第２デバイス５６は、マルチメディアコンピュータ、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、ビデオゲームコンソール、グリッドコンピューティングリソース（grid-computing resources）、仮想コンピュータリソース、クラウドコンピューティングリソース（cloud computing resource）、ルータ、スウィッチ、ピア－ツ－ピア（peer-to-peer）分散コンピューティングデバイス、メディアプレイバックデバイス（media playback device）、デジタルビデオディスク（digital video disk：ＤＶＤ）プレーヤー、３Ｄ対応のＤＶＤプレーヤー（three-dimension enabled ＤＶＤ player）、ブルーレイディスクプレーヤー（blu-ray disc player：ＢＤＰ）、カメラ又はビデオカメラのような記録デバイス、又はそれらの組み合わせであってもよい。他の例において、前記第２デバイス５６は、テレビ受信機、セットトップボックス（set top box： ＳＴＢ）、ケーブルボックス、衛星放送受信アンテナ、又はインターネット対応機器（web enabled device）のような放送又は生放送（live）ストリーム信号を受信する信号受信機であってもよい。

【0022】

第２デバイス５６は、単一のルーム（room）に中央集中していてもよく、他のルームに分散していてもよく、他の地形的位置に分散していてもよく、通信ネットワークなどに内蔵されていてもよい。第２デバイス５６は、第１デバイス５２と通信するために、通信経路５４に連結する手段を持っていてもよい。

【0023】

説明の目的上、電子システム５０は、第２デバイス５６をコンピューティングデバイスとして説明したが、第２デバイス５６は、他のタイプのデバイスであってもよいことが理解されるだろう。また、説明の目的のために、電子システム５０は、通信経路５４のエンドポイント（end point）として、第１デバイス５２と、第２デバイス５６とを示しているが、電子システム５０は、第１デバイス５２、第２デバイス５６、及び通信経路５４間の他のパーティション（partition）を有してもよいことが理解される。一例として、第１デバイス５２、第２デバイス５６、又はそれらの組み合わせは、また通信経路５４の一部として機能してもよい。

【0024】

通信経路５４は、様々なネットワーとなり得る。一例として、通信経路５４は、無線通信、有線通信、光、超音波、又はそれらの組み合わせを含んでもよい。衛星通信、セルラー通信、ブルートゥース（登録商標）（BLUETOOTH（登録商標））、赤外線データ協会（Infrared Data Association standard：ＩｒＤＡ）、ＷｉＦｉ（wireless fidelity）、ＷｉＭＡＸ （worldwide interoperability for microwave access）は、通信経路５４に含まれ得る無線通信の例である。イーサネット（登録商標）、デジタル加入者線（digital subscriber line：ＤＳＬ）、ＦＴＴＨ（fiber to the home）、高画質のマルチメディアインターフェース（high-definition multimedia interface：ＨＤＭＩ（登録商標））ケーブル、ＰＯＴＳ（plain old telephone service）は、通信経路５４に含まれ得る有線通信の例である。

【0025】

また、通信経路５４は、多数のネットワークトポロジー（topology）及び距離を横切ることができる。一例として、通信経路５４は、ダイレクトリンク、パーソナルエリアネットワーク（personal area network：ＰＡＮ）、近距離通信ネットワーク（local area network：ＬＡＮ）、メトロポリタンエリアネットワーク（metropolitan area network： ＭＡＮ）、広域ネットワーク（wide area network：ＷＡＮ）、又はそれらの組み合わせを含んでもよい。

【0026】

図２は、いくつかの実施形態による、システム２００の高レベルのブロック図を示している。いくつかの実施形態において、システム２００は、オーバーレイ向上プロセッサ７００（例えば、集積回路（ＩＣ）、ハードウェア回路、マルチコアプロセッサ、特定用途向け集積回路（application specific IC： ＡＳＩＣ）、ＣＰＵ、ハイブリッドデバイス、アプリケーションプログラミングインターフェース（application programming interface：ＡＰＩ）など）を用いて（例えば、図１の通信経路５４から）、入力ノード２０１から受信される入力ソース（input source）２１０（又は、図１のデバイス５２又は５６）からの入力ビデオ画像を処理し、出力ノード２４０から（例えば、通信経路５４で）ビデオ画像を出力し、出力ソース２５０（又は図１のデバイス５２）上に、前記画像をディスプレイすることができる。いくつかの実施形態において、前記出力ソース２５０のディスプレイは、前記画像又はマルチメディアプレゼンテーション（multi-media presentation）を、プレゼント（present）する物理的デバイスとなり得る。一例として、前記ディスプレイは、ＬＣＤパネル、プラズマスクリーン（plasma screen）、プロジェクションスクリーン、ヘッドアップディスプレイ（heads-up-display：ＨＵＤ）などを含むスクリーンであってもよい。別の実施形態において、前記ディスプレイは、物体又は反射デバイス上にプロジェクトされてもよい。

【0027】

いくつかの実施形態において、前記入力ビデオ画像は、入力ソース２１０から提供でき、 無線で又は有線インターフェース（例えば、図１の通信経路５４）を介して送／受信でき、 非圧縮／圧縮ビデオコンテンツ（uncompressed/compressed video content）を含んでもよい。いくつかの実施形態では、システム２００におけるビデオイメージングコンテンツの有線又は無線通信は、イーサネット（登録商標）、電話機（例えば、ＰＯＴＳ）、ケーブル、電力ライン、光ファイバーシステム、及び／又はコード分割多重接続（code division multiple access（ＣＤＭＡ）又はＣＤＭＡ２０００）通信システム、周波数分割多元接続（frequency division multiple access：ＦＤＭＡ）システム、ＧＳＭ（登録商標）／汎用パケット無線サービス（general packet radio service：ＧＰＲＳ）/拡張データＧＳＭ（登録商標）環境（enhanced data GSM（登録商標） environment：ＥＤＧＥ）のような時分割多元接続（time division multiple access：ＴＤＭＡ）システム、ＴＥＴＲＡ（terrestrial trunked radio）携帯電話システム、広帯域コード分割多重接続（wideband code division multiple access： ＷＣＤＭＡ（登録商標））システム、高いビットレート（１ｘＥＶ－ＤＯ（enhanced voice-data only）又は１ｘＥＶ－ＤＯ ゴールドマルチキャスト（Gold Multicast））システム、電気電子技術者協会（Institute of Electrical and Electronics Engineers：ＩＥＥＥ）802.11x システム、デジタルマルチメディア放送（digital multimedia broadcasting：ＤＭＢ）システム、 直交周波数分割多元接続（orthogonal frequency division multiple access：ＯＦＤＭ）システム、ＤＶＢ－Ｈ（digital video broadcasting-handheld）システムなどを含む無線システムのうちいずれか一つ又はそれ以上での通信を含んでもよい。

【0028】

いくつかの実施形態において、ビデオ入力ソース２１０は、無線ネットワーク（一例として、インターネット、近距離通信ネットワーク（local area network：ＬＡＮ）、広域ネットワーク（wide-area network：ＷＡＮ）、パーソナルエリアネットワーク（personal area network：ＰＡＮ）、キャンパス無線ネットワーク（campus wireless network：ＣＡＮ）、メトロポリタンエリアネットワーク（metropolitan area network：ＭＡＮ）など、一例として、図１の通信経路５４）を介して送信することができる。入力ソース２１０は、クラウドベースのシステム（cloud-based system）、サーバ、放送局、ビデオデバイス／プレーヤー、ビデオカメラ、モバイルデバイス、などから発生できる。

【0029】

いくつかの実施形態において、入力ソースからのビデオ画像入力は、入力ノード２０１に到着する前に、（例えば、デコーダ／エンコーダを介して）デコード／エンコードすることができる。出力ノード２４０から出力ソース２５０に出力される前記ビデオ画像は、出力ノード２４０に到着する前に、エンコード／デコードすることができる。いくつかの実施形態において、出力ソース２５０は、無線で又は有線インターフェースを介して、出力ノード２４０から出力画像を受信できる。

【0030】

いくつかの実施形態において、入力ソース２１０からの圧縮ビデオ画像コンテンツは、放送、コンピュータネットワーク、ＤＶＤ又は他のコンピュータ読み取り可能な記憶媒体、又はビデオ信号の任意の他の適切なソースからのアナログ又はデジタルビデオを提供することができる。一実施形態において、入力ソース２１０からの圧縮ビデオ（ＡＴＳＣ （Advanced Television Systems Committee）放送のような）は、無線周波数インターフェース、コンピュータネットワーク、コンポーネントビデオケーブル、デジタルビジュアルインターフェース（digital visual interface：ＤＶＩ）又はＨＤＭＩ（登録商標）ビデオインターフェースなどのような有線又は無線リンクを介して受信機に連結できる。一実施形態において、入力ソース２１０からの非圧縮ビデオ画像は、ビデオカメラ、又は任意の適切なビデオインターフェースにより受信機に連結されるディスクドライブのようなメモリデバイスのうち一つ又はそれ以上を含んでもよい。入力ソース２１０からの非圧縮ビデオは、輝度（luminance）及びクロミナンス（chrominance）の形態、赤、緑、青などのような個々の色度、又は任意の他の適切な形態を含むアナログ又はデジタルの形で非圧縮ビデオを提供することができる。

【0031】

いくつかの実施形態において、入力ソース２１０から入力ビデオコンテンツのデジタル ビデオフォーマットは、他のフレームレート（frame rate）、ピクセルの別の数の線及び行（row）、インターレース（interlaced） 又は非－インターレース（non-interlaced）などを含んでもよい。一例として、映画は、一般に、２４ｆｐｓ（frames per second）フォーマットで作成され、ＮＴＳＣ（National Television System Committee）は、秒当り３０フレームであり、ＰＡＬ（phase alternating line）は、秒当り５フレームである。前記フォーマットは、インターレースされてもよく、プログレッシブ（progressive）されてもよい。一例として、（デジタルビデオ放送スタンダードによってサポートされているような）高画質フォーマットは、出力ソース２５０のディスプレイデバイスのフォーマットに適切なフォーマットに変更できる。出力ソース２５０のディスプレイデバイスは、ＮＴＳＣ、ＰＡＬ、ＡＴＳＣ、ＤＶＢ／Ｔ、などを受信するか、又は７０Ｈｚ、７５Ｈｚ、８０Ｈｚなどのようなフレームレートで実行されるデバイスをディスプレイするように構成され得る。

【0032】

いくつかの実施形態において、プロセッサ（例えば、図２、図７のオーバーレイ向上プロセッサ７００、図１０のプロセッサ１００１）は、次の手順を行うことができる。グラフィックが、ＨＤＲシーンの画像データ上で、オーバーレイされているか否かを示す制御信号は、入力データストリームから受信できる。ビデオ信号に相応するビデオストリームが獲得できる。前記制御信号に基づいて、前記プロセッサは、第１トーンマッピングされたビデオを生成する第１ＴＭ機能（例えば、ダイナミックＴＭ機能）、又は第２トーンマッピングされたビデオを生成する第２ＴＭ機能（例えば、適応的ＴＭ機能）を用いることによって、前記ビデオストリームを処理することができる。

【0033】

前記第１ＴＭ機能は、グラフィックがオーバーレイされていないときに使用される。前記第１ＴＭ機能は、ＨＤＲシーンのみにＴＭメタデータを使用する（つまり、グラフィックオーバーレイは使用しない）。前記第２ＴＭ機能は、グラフィックがオーバーレイされているときに使用される。前記第２ＴＭ機能は、オーバーレイされたグラフィックにＴＭメタデータを使用し、ＨＤＲシーンにＴＭメタデータを使用する。前記オーバーレイされたグラフィックのＴＭメタデータは、前記ＨＤＲシーン上にオーバーレイされたグラフィックを含む入力データストリームの全ての値の最大輝度を推定することにより獲得される。 いくつかの実施形態において、オーバーレイフラグ入力は、前記グラフィックが画像データ上で、オーバーレイされているか否かの可否を明示する。いくつかの実施形態において、前記オーバーレイされたグラフィックは、ピクチャーインピクチャー（picture-in-picture：ＰＩＰ）データストリームの画像データに対応し得る。最大輝度は、前記ビデオストリームに含まれているピクセルのｍａｘ（Ｒ、Ｇ、Ｂ）の最大値を示す。

【0034】

図３は、ＨＤＲシーン３１０の上に、オーバーレイされている例示的グラフィック３３０を示している。グラフィック３３０は、一例として、ＢＤＰ、ＳＴＢ、又は放送でダイナミックＴＭメタデータ３１５を有するＨＤＲシーン３１０に適用されるオーバーレイ３２０の機能を用いて、オーバーレイすることができる。結果３１１は、オーバーレイされたグラフィック３３０を有するＨＤＲシーン３１０である。しかしながら、前記オーバーレイされた、グラフィック３３０に関する情報は、現在、ＴＭアプリケーションが発生されている、受信機にＨＤＲシーン３１０と共に配信されない。

【0035】

図４は、ダイナミックＴＭ４２０が適用されたＨＤＲシーン４１０上に、オーバーレイされた例示的グラフィック４３０を示している。ダイナミックＴＭメタデータ４１５を有するＨＤＲシーン４１０が示されている。ダイナミックＴＭメタデータ４１５は、ＨＤＲシーン４１０のメタデータのみを含んでいるため、ダイナミックＴＭ４２０が、ダイナミックＴＭメタデータ４１５を用いて、ＨＤＲシーン４１０に適用されると、前記オーバーレイされたグラフィック４３０のダイナミックＴＭ結果は、不確実である。発生される問題は、それらの値の最大値（シーンの輝度）４５０を超過するグラフィックピクセルに対して深刻なクリッピング（clipping）が発生されることである。その結果、ＨＤＲシーン４１１は、ダイナミックＴＭ４２０からの結果が悪いオーバーレイグラフィック４３１を表示する。前記グラフは、ターゲットピーク（target peak）４４０、グラフィックピクセル４６０の輝度、及び、前記クリッピングを示している曲線４７０を示す。

【0036】

図５は、いくつかの実施形態による、オーバーレイ指示５３０が適用されたＨＤＲシーン５１０上に、オーバーレイされたグラフィック４４０の実例５１１を示している。ＨＤＲシーン５１０は、オーバーレイ機能５２０に適用されるダイナミックＴＭメタデータ５１５を含む。前記クリッピング問題を解決するために、いくつかの実施形態は、グラフィックが、前記ＴＶ、受信機、デバイスなどによってオーバーレイされるとき、前記デバイス（例えば、ＢＤＰ、ＳＴＢ、放送局など）に対して、オーバーレイ_フラグ（overlay_flag）、ビットマップ、信号などのようなオーバーレイ指示５３０を送信することを提供する。例えば、グラフィックが、前記デバイスによりオーバーレイされることを示すために、「Overlay_flag」は、１と設定してもよい。

【0037】

図６は、いくつかの実施形態による、適応的ＴＭ６２０が適用される、オーバーレイ指示（例えば、Overlay_Flag ＝１）が送信されるＨＤＲシーン６１０上に、オーバーレイされた一例のグラフィック６３０を示している。前記受信機が、前記オーバーレイ指示（例えば、Overlay_Flag ＝１）を受信する場合、グラフィック適応的ＴＭ６２０は、適応的ＴＭ６２０の後に、ＨＤＲシーン６１１のグラフィック６３１の部分を適切にレンダーリングする。前記グラフは、グラフィックピクセル６６０のターゲットピーク（target peak）６４０、グラフィックの最大値（グラフィック輝度）６５０を示している。曲線６７０は、 解決された（一例として、図４での）クリッピング問題を示している。

【0038】

図７は、いくつかの実施形態による、ＨＤＲシーン、及び、ＴＭ機能アプリケーションのグラフィックオーバーレイの オーバーレイ指示７６０（例えば、Overlay_Flag、制御信号、ビットマップ、など）を挿入するグラフィックオーバーレイ処理７００のブロック図を示している。グラフィックオーバーレイ処理７００について、ＨＤＲシーンの入力７１０は、ダイナミックＴＭメタデータ７２０、及び、オーバーレイ指示７６０と共に、受信される。いくつかの実施形態において、ＨＤＲシーンの入力７１０と、ダイナミックＴＭメタデータ７２０とは、ダイナミックＴＭ機能７３０で提供されることで、出力ａを招き；推定グラフィック最大値の機能７５０は、 オーバーレイグラフィックｘ７１１及びオーバーレイ指示７６０を考慮して、グラフィック最大値（グラフィック輝度）を推定する。グラフィック最大値７５５は、出力ｂを招くグラフィックＴＭ機能７４０の入力である。いくつかの実施形態において、出力ａ及びｂと、オーバーレイ指示７６０とは、マルチプレクサ （multiplexor：ＭＵＸ）７７０の入力であり、ここで、ＨＤＲＴＭ出力７８０=ａ（１－Overlay_Flag）＋ｂ（Overlay_Flag）である。グラフィック最大値７５５は、受信機から推定することができ、ここで、前記入力シーンにおいて、ｘ７１１の全ての値に対して、 Ｇｒａｐｈｉｃ ｍａｘ = ｍａｘ（ｘ、Ｓｃｅｎｅ Ｍａｘ）であることに留意すべきである。いくつかの実施形態において、推定されたグラフィック最大値７５０のブロックは、オーバーレイ指示７６０の設定時にのみ（例えば、Overlay_Flag＝１の場合にのみ）、処理（プロセッシング）を提供する。グラフィック最大値７５０は、オーバーレイ指示が設定されないとき（例えば、Overlay_Flag=0の場合）、前記シーンの最大値と同一である。いくつかの実施形態において、無限インパルス応答（infinite impulse response：ＩＩＲ）フィルターリング方式は、推定グラフィック最大値の機能７５０と結合され得る。

【0039】

図８は、いくつかの実施形態による、ＨＤＲシーン８１０上に、オーバーレイされた一例のグラフィック８３０を示しており、ダイナミックＴＭ７３０は、オーバーレイ指示のない場合に適用され、適応的ＴＭ６２０は、オーバーレイ指示７６０について適用される。ＰＩＰは、ＳＴＢ又はＴＶ放送局での共通ビデオ処理である。二つのＨＤＲコンテンツが、ＰＩＰでミックスされるとき、実際の選択は、前記メインＨＤＲピクチャー（main HDR picture）のダイナミックメタデータを送信することである。この場合において、前記クリッピング（clipping）問題は、前記サーブピクチャー（sub-picture）に含まれている前記ＨＤＲピクチャー（即ち、ＨＤＲシーン８１１に含まれているＰＩＰシーン８３１）に対して発生することができる。いくつかの実施形態において、オーバーレイ指示７６０は、 ＨＤＲシーン８１２に含まれているＰＩＰシーン８３２を招く適応的ＴＭ６２０の機能を適用するために使用できる。

【0040】

いくつかの実施形態において、サーブシーン（ＰＩＰ８３０）が、ＨＤＲシーン８１０の画像上に、オーバーレイされているか否かを示す前記オーバーレイ指示７６０は、制御信号で送信でき、入力データストリームから受信できる。ビデオ信号に相当するビデオストリームが獲得できる。前記制御信号及びオーバーレイ指示７６０に基づいて、グラフィックオーバーレイ処理７００のプロセッサは、第１トーンマッピングされたビデオＨＤＲシーン８１１を生成する第１ＴＭ機能（例えば、ダイナミックＴＭ機能７３０）、又は第２トーンマッピングされたビデオＨＤＲシーン８１２を生成する第２ＴＭ機能（例えば、適応的ＴＭ機能６２０）を用いることによって、ビデオストリームを処理することができる。

【0041】

いくつかの実施形態において、前記第１ＴＭ機能は、グラフィックがオーバーレイされているときに使用される。前記第１ＴＭ機能（例えば、ダイナミックＴＭ機能７３０）は、ＨＤＲシーン８１０にのみ、ＴＭメタデータを使用する。前記第２ＴＭ機能（例えば、適応的ＴＭ機能６２０）は、グラフィックがオーバーレイされている場合に使用される。前記第２ＴＭ機能は、前記オーバーレイされるグラフィックのＴＭメタデータ及び前記ＨＤＲシーンのＴＭメタデータを使用する。前記オーバーレイされるグラフィックのＴＭメタデータは、ＨＤＲシーン８１０上にオーバーレイされるグラフィック８３０を含む前記入力データストリームの全ての値の最大輝度を推定することにより獲得される。

【0042】

図９は、いくつかの実施形態による、ＴＭアプリケーションを用いるＨＤＲシーンのオーバーレイ処理のプロセス９００のブロック図を示している。ブロック９１０において、グラフィックが、ＨＤＲシーンの画像データ上に、オーバーレイされているか否かを示すオーバーレイ指示（例えば、オーバーレイフラグ、ビットマップ、制御信号など）が、入力データストリームから受信される。ブロック９２０において、前記オーバーレイ指示に基づいて、ハードウェアプロセッサ（例えば、図２、図７のオーバーレイ向上プロセッサ７００、図１０のプロセッサ１００１）は、第１トーンマッピングされたビデオを生成する第１トーンマッピング機能（例えば、ダイナミックＴＭ機能）、又は第２トーンマッピングされたビデオを生成する第２トーンマッピング機能（例えば、適応的ＴＭ機能）を用いて、ビデオストリームを処理する。

【0043】

いくつかの実施形態では、プロセス９００において、前記第１トーンマッピング機能は、グラフィックが、前記ＨＤＲシーン上に、オーバーレイされていないときに使用され、前記第１トーンマッピング機能は、ＨＤＲシーンにのみ、トーンマッピングデータを使用する。いくつかの実施形態では、プロセス９００において、前記第２トーンマッピング機能は、グラフィックが、前記ＨＤＲシーン上にオーバーレイされているときに使用され、前記第２トーンマッピング機能は、前記オーバーレイされているグラフィックのトーンマッピングメタデータ及び前記ＨＤＲシーンのトーンマッピングメタデータを使用する。

【0044】

いくつかの実施形態では、プロセス９００において、前記オーバーレイされているグラフィックのトーンマッピングメタデータは、前記ＨＤＲシーン上にオーバーレイされるグラフィックを含む前記入力データストリームの全ての値の最大輝度を推定することにより獲得される。プロセス９００において、前記オーバーレイ指示は、前記グラフィックが画像データ上にオーバーレイされているか否かを明示するオーバーレイフラグを含んでもよい。

【0045】

いくつかの実施形態では、プロセス９００において、前記オーバーレイされているグラフィックは、ピクチャーインピクチャー（picture-in-picture）データストリームについての画像データに相当する。プロセス９００において、最大輝度は、前記ビデオストリームに含まれているピクセルのｍａｘ（Ｒ、Ｇ、Ｂ）の最大値を示す。

【0046】

図１０は、開示の実施形態を具現するのに有用なコンピュータシステム１０００を含む情報処理システムを示している高レベルのブロック図である。コンピュータシステム１０００は、図１のデバイス５２、５６、又は図２のデバイス２１０、２５０に纏められてもよい。前記コンピュータシステム１０００は、一つ又はそれ以上のプロセッサ１００１（例えば、図２のプロセッサ７００）を含み、（ビデオ、グラフィック、テキスト、及び他のデータをディスプレイする）電子ディスプレイデバイス１００２、メインメモリ１００３（例えば、ランダムアクセスメモリ（random access memory：ＲＡＭ））、格納デバイス１００４（例えば、ハードディスクドライブ）、取り外し可能なストレージデバイス１００５（例えば、取り外し可能なストレージドライブ、取り外し可能なメモリモジュール、磁気テープドライブ、光ディスクドライブ、それに記憶されているコンピュータソフトウェア、及び／又は データを有するコンピュータ読み取り可能媒体）、ユーザーインターフェースデバイス１００６（例えば、キーボード、タッチスクリーン、キーパッド、ポインティングデバイス（pointing device））、及び通信インターフェース１００７（例えば、モデム、（イーサネット（登録商標）カードのような）ネットワークインターフェース、通信ポート、又はＰＣＭＣＩＡスロット（slot）及びカード）をさらに含んでもよい。通信インターフェース１００７は、ソフトウェア及びデータが、前記コンピュータシステムと、外部デバイスとの間に（例えば、図１の通信経路５４を介して）伝達されることを許す。システム１０００は、前述のようなデバイス／モジュール１００１がこの通信インターフェース１００７を介して連結される通信インフラストラクチャー（infrastructure）１００８（例えば、通信バス（bus）、クロスオーバーバー（cross-over bar、又はネットワーク）をさらに含む。

【0047】

通信インターフェース１００７を介して伝達される情報は、信号を運ぶ通信リンクを介して、通信インターフェース１００７により受信されることの可能な電子、電磁気、光、又は他の信号のような信号の形態となってもよく、又は有線又はケーブル、光ファイバー、電話線、セルラー電話リンク、無線周波数（radio frequency：ＲＦ）リンク、及び／又は他の通信チャンネルを用いて具現できる。本明細書におけるブロック図及び／又はフローチャートを示すコンピュータプログラムコマンドは、コンピュータ、プログラム可能データ処理装置、又は処理デバイスにロードされて、それに行われる一連の動作が、コンピュータ具現プロセスを生成するようにできる。

【0048】

いくつかの実施形態において、７００（図７）の処理命令コマンドは、プロセッサ１００１による実行のために、メモリ１００３、格納デバイス１００４、及び取り外し可能なストレージデバイス１００５上に、プログラムコマンドとして格納されてもよい。

【0049】

本開示の一実施形態によると、プロセッサによって実行されるとき： ハードウェアプロセッサは、入力データストリーム（input data stream）から、グラフィックがハイダイナミックレンジ（high dynamic range：ＨＤＲ）シーン（scene）の画像データ上に、オーバーレイされているか否かを示すオーバーレイ指示（overlay indication）を受信する過程；及び、前記オーバーレイ指示に基づいて、前記ハードウェアプロセッサが、第１トーンマッピングされたビデオを生成する第１トーンマッピング機能、又は第２トーンマッピングされたビデオを生成する第２トーンマッピング機能を用いることによって、ビデオストリーム（video stream）を処理する過程を含む方法を行うプログラムを含んでなる非一時的プロセッサ読み取り可能媒体を提供する。

【0050】

ここで、前記第１トーンマッピング機能は、グラフィックが前記ＨＤＲシーン上に、オーバーレイされていないときに使用され、前記第１トーンマッピング機能は、前記ＨＤＲシーンのみにトーンマッピングメタデータを使用する。

【0051】

ここで、前記第２トーンマッピング機能は、グラフィックが前記ＨＤＲシーン上に、オーバーレイされているときに使用され、前記第２トーンマッピング機能は、前記オーバーレイされているグラフィックのトーンマッピングメタデータ（tone mapping metadata）、及び、前記ＨＤＲシーンのトーンマッピングメタデータ（tone mapping metadata）を使用し、前記オーバーレイされているグラフィックのトーンマッピングメタデータは、前記ＨＤＲのシーン上にオーバーレイされているグラフィックを含む入力データストリームの全ての値の最大輝度を推定することにより獲得される。

【0052】

ここで、前記オーバーレイ指示は、前記グラフィックが画像データ上で、オーバーレイされているか否かを明示するオーバーレイフラグ（overlay flag）を含む。

【0053】

ここで、前記オーバーレイされているグラフィックは、ピクチャーインピクチャー データストリーム（picture-in-picture data stream）の画像データに相当する。

【0054】

ここで、最大輝度は、前記ビデオストリームに含まれているピクセルのｍａｘ（Ｒ、Ｇ、Ｂ）の最大値を示す。

【0055】

実施形態は、フローチャートの説明、及び／又は方法、装置（システム）及びコンピュータプログラム製品を参照して説明した。このような説明／図の各ブロック又はその組み合わせは、コンピュータプログラムコマンドにより具現できる。プロセッサとして提供されるとき、前記コンピュータプログラムコマンドは、前記プロセッサを介して実行する前記コマンドが、前記フローチャート及び／又はブロック図で明示された機能／動作を具現するための手段を生成できるようにマシンを生成する。前記フローチャート／ブロック図における各ブロックは、ハードウェア及び／又はソフトウェアモジュール又はロジックを示してもよい。対案的な具現において、前記ブロックで言及された機能は、図面で言及された手順から外れて、同時に発生できる。

【0056】

前記用語「コンピュータプログラム媒体」、「コンピュータ使用可能な媒体」、「コンピュータ読み取り可能媒体」及び「コンピュータプログラム製品」は、一般にメインメモリ、補助メモリ、リムーバブルストレージドライブ、ハードディスクドライブにインストールされたハードディスク及び信号のような媒体を示すのに用いられる。このようなコンピュータプログラム製品は、前記コンピュータシステムにソフトウェアを提供するための手段である。前記コンピュータ読み取り可能の媒体は、前記コンピュータシステムが、前記コンピュータ読み取り可能媒体から、データ、コマンド、メッセージ又はメッセージパケット、及び他のコンピュータ読み取り可能な情報を読み取ることを許す。前記コンピュータ読み取り可能媒体は、例えば、フロッピーディスク、ＲＯＭ、フラッシュメモリ、ディスクドライブメモリ、ＣＤ－ＲＯＭ及び他の永久記憶装置のような非揮発性メモリを含んでもよい。これは、一例として、コンピュータシステム間に、データ及びコンピュータコマンドのような情報を伝送するのに有用である。コンピュータプログラムコマンドは、コンピュータ読み取り可能媒体に格納することができ、コンピュータ、他のプログラム可能のデータ処理装置又は他のデバイスが、特定の方式で機能するように指示することができ、前記コンピュータ読み取り可能媒体に記憶されているコマンドは、前記フローチャート及び／又はブロック図のブロックに明示された機能／アクションを具現するコマンドを含む製品を生成する。

【0057】

前記実施形態の側面は、システム、方法、又はコンピュータプログラム製品から実装できるということが、当業者により認識されるだろう。したがって、前記実施形態の側面は、完全なハードウェアの実施形態、完全なソフトウェアの実施形態、ここで、「回路」、「モジュール」、又は「システム」と一般的に称され得るソフトウェア及びハードウェアの側面を結合する実施形態の形を取ることができる。また、前記実施形態の側面は、一つ又はそれ以上のコンピュータ読み取り可能媒体に実装されるコンピュータ読み取り可能プログラムコードを有する上記一つ又はそれ以上のコンピュータ読み取り可能媒体に実装されるコンピュータプログラム製品の形態を取ってもよい。

【0058】

一つ又はそれ以上のコンピュータ読み取り可能媒体の任意の組み合わせを使用してもよい。前記コンピュータ読み取り可能媒体は、コンピュータ読み取り可能の記憶媒体となってもよい。コンピュータ読み取り可能の記憶媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体システム、装置、又はデバイス、或いは前述のようなものの任意の適切な組み合わせとなってもよく、これに限定されない。前記コンピュータ読み取り可能の記憶媒体のより非制限的な具体例は、次のようである：一つ又はそれ以上の有線を有する電子連結、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（random access memory：ＲＡＭ）、リードオンリーメモリ（read-only memory：ＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、携帯用コンパクトディスクリードオンリーメモリ（compact disc read-only memory：ＣＤ－ＲＯＭ）、光記憶装置、磁気保存デバイス、又は前述のようなものの任意の適合な組み合わせ。本開示の文脈において、コンピュータ読み取り可能な記憶媒体は、コマンド（instruction）実行システム、装置、又はデバイスによる使用のための、又はコマンド実行システム、装置、又はデバイスとの連結における使用のためのプログラムを含むか、又は記憶可能な任意の有形的（tangible）記憶媒体となってもよい。

【0059】

一つ又はそれ以上の実施形態の側面についての動作を行うコンピュータプログラムコードは、ジャバ（Java（登録商標））、スモールトーク（Smalltalk）、C++ などのようなオブジェクト指向のプログラミング言語（object oriented programming language）と、前記「Ｃ」プログラミング言語のような一般的な手続きプログラミング言語（procedural programming language）、又は類似のプログラミング言語を含む、一つ又はそれ以上のプログラミング言語の任意の組み合わせで書き込むことができる。前記プログラムコードは、前記ユーザーのコンピュータ上で全体的に、前記ユーザーのコンピュータ上で部分的に、スタンドアローン（stand-alone）ソフトウェアパッケージとして、前記ユーザーのコンピュータ上で部分的に、遠隔コンピュータ上で部分的に、又は前記遠隔コンピュータ、又はサーバ上で全体的に実行されてもよい。後者のシナリオにおいて、前記遠隔コンピュータは、ＬＡＮ又はＷＡＮを含む任意のタイプのネットワークを介して、前記ユーザーのコンピュータに連結してもよく、又は 前記連結は（一例として、前記インターネットサービス提供者を使って、前記インターネットを介して）外部のコンピュータに行ってもよい。

【0060】

一つ又はそれ以上の実施形態の側面は、フローチャートの説明、及び／又は方法、装置（システム）及びコンピュータプログラム製品を参照して、以上で説明されている。前記フローチャートの図示及び／又はブロック図、及び前記フローチャート図示及び／又はブロック図が、ブロックの組み合わせの各ブロックは、コンピュータプログラムコマンドにより具現できるということが理解される。このようなコンピュータプログラムコマンドは、特殊目的のコンピュータ、又はマシン（machine）を生成する他のプログラム可能のデータ処理装置で提供でき、したがって、前記コンピュータ又は他のプログラム可能のデータ処理装置のプロセッサを介して実行される前記コマンドは、前記フローチャート及び／又はブロック図のブロックで明示されている機能／動作を具現する手段を生成する。このようなコンピュータプログラムコマンドは、またコンピュータ、他のプログラム可能のデータ 処理装置、又は特定の方式で機能する他のデバイスを指示できるコンピュータ読み取り可能媒体に格納でき、したがって、前記コンピュータ読み取り可能媒体に記憶されているコマンドは、前記フローチャート及び／又はブロック図のブロックで明示されている機能／動作を具現するコマンドを含む製造物品を生成する。

【0061】

前記コンピュータプログラムコマンドは、またコンピュータ、他のプログラム可能のデータ処理装置、又は他のデバイスにロードされて、一連の動作の段階が、前記コンピュータ、他のプログラム可能の装置、又は他のデバイスで行われて、コンピュータ実装のプロセスを生成するようにすることができ、したがって、 前記コンピュータ、又は他のプログラム可能の装置で実行される前記コマンドは、前記フローチャート及び／又はブロック図のブロックで明示された機能／動作を具現するためのプロセスを提供する。

【0062】

図面での前記フローチャート及びブロック図は、様々な実施形態によるシステム、方法及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性及び動作を示している。これに関連して、前記フローチャート又はブロック図における各ブロックは、前記記載の論理機能（複数可）を実装するための一つ又はそれ以上の実行可能なコマンドを含むモジュール、セグメント、又はコマンドの一部を示すことができる。いくつかの代替的な具体例では、 前記ブロックで記載された機能は、図面に記載された順序から外れて発生することができる。一例として、連続的に図示されている二つのブロックは、事実上、実質的に同時に実行できるか、又は前記ブロックは、前記関連の機能に応じて、時々逆の順序で実行することができる。また、前記ブロック図及び／又はフローチャートに図示の各ブロックと、前記ブロック図及び／又はフローチャートに図示のブロックの組み合わせは、前記明示された機能又は動作を行うか、あるいは特殊目的のハードウェア及びコンピュータコマンドの組み合わせを行う特殊目的のハードウェア基盤のシステムにより実装できることに留意すべきである。

【0063】

単数のエレメントの請求項における参照は、そのように明確に明示していない場合は、「ただ一つ（one and only）」を意味する意図を持つものではなく、むしろ「一つ又はそれ以上（one or more）」"を意味する意図を持つ。当該技術分野における当業者によって現在知られている、あるいは後で知られるようになる、上記で説明した好ましい実施形態のエレメントに対する全ての構造的及び機能的均等物は、提示されている請求項によって含まれるようにする意図を持つ。

【0064】

ここで使用される用語は、単に特定の実施例を説明する目的のために存在し、本発明を限定しようとする意図を持たない。ここで使用されるような、単数の形態、「a」、「an」、及び「the」は、文脈上明らかに別の断りのない限り、複数の形態を含む意図を有する。また、本明細書で使われるとき、「含む（comprises）」及び／又は「含んでいる（comprising）」という用語は、言及された特徴、整数、ステップ、動作、エレメント、及び／又はコンポーネントの存在を明示するが、一つ又はそれ以上の他の特徴、整数、動作、エレメント、コンポーネント及び／又はそれらのグループの存在又は追加を排除するものではないことが理解されるだろう。

【0065】

以下の請求項に含まれている全ての手段（means）又はステッププラス機能（step plus function）要素の対応する構造、材料、動作、及び均等物は、具体的に請求される他の請求エレメントと組み合わせて、前記の機能を実行するための任意の構造、材料、又は動作を含む意図を有する。前記実施形態の説明は、例示及び説明の目的のために提示されたが、開示されている形態の実施形態について、徹底的に意図されているわけではなく、またそれに限定されるものではない。多くの修正及び変形が、本発明の範囲及び思想から逸脱することなく、その技術分野における当業者に明らかであろう。

【0066】

前記実施形態は、その特定のバージョンを参照して説明されたが、他のバージョンも可能である。したがって、添付の請求項の思想及び範囲は、ここに含まれている好適のバージョンの説明に限定されてはいけない。

【符号の説明】

【0067】

1001 プロセッサ
1002 ディスプレイデバイス
1003 メモリ
1004 格納デバイス
1005 取り外し可能なストレージデバイス
1006 ユーザーインターフェースデバイス
1007 通信インターフェース
1008 通信インフラストラクチャー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】