特許 6430646 ＷＦＤにおける補助コンテンツを出力する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6430646

(24)【登録日】2018年11月9日

(45)【発行日】2018年11月28日

(54)【発明の名称】ＷＦＤにおける補助コンテンツを出力する方法及び装置

(51)【国際特許分類】

   H04N 21/235 20110101AFI20181119BHJP

   H04N 21/2662 20110101ALI20181119BHJP

   H04N 21/436 20110101ALI20181119BHJP

   H04N 21/6437 20110101ALI20181119BHJP

【ＦＩ】

   H04N21/235

   H04N21/2662

   H04N21/436

   H04N21/6437

【請求項の数】8

【全頁数】39

(21)【出願番号】特願2017-531509(P2017-531509)

(86)(22)【出願日】2015年12月9日

(65)【公表番号】特表2018-508129(P2018-508129A)

(43)【公表日】2018年3月22日

(86)【国際出願番号】KR2015013464

(87)【国際公開番号】WO2016093623

(87)【国際公開日】20160616

【審査請求日】2017年6月12日

(31)【優先権主張番号】62/090,379

(32)【優先日】2014年12月11日

(33)【優先権主張国】US

(31)【優先権主張番号】62/166,663

(32)【優先日】2015年5月26日

(33)【優先権主張国】US

(31)【優先権主張番号】62/167,251

(32)【優先日】2015年5月27日

(33)【優先権主張国】US

(31)【優先権主張番号】62/166,696

(32)【優先日】2015年5月27日

(33)【優先権主張国】US

(31)【優先権主張番号】62/167,269

(32)【優先日】2015年5月28日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】パク キウォン

(72)【発明者】

【氏名】リ ピョンチュ

(72)【発明者】

【氏名】キム トンチョル

(72)【発明者】

【氏名】パク ヒョンヒ

(72)【発明者】

【氏名】リム テソン

【審査官】 久保 光宏

(56)【参考文献】

【文献】 国際公開第２０１４／１８２４１１（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１３／０２４２１１７（ＵＳ，Ａ１）

【文献】 米国特許第６８９４７０６（ＵＳ，Ｂ１）

【文献】 Wi-Fi Alliance Technical Committee Wi-Fi Display Technical Task Group，"Wi-Fi Display Technical Specification Version 1.0.0"，Wi-Fi Alliance，２０１２年 ８月２４日，Pages 1-149

【文献】 平田寛将（外５名），「ＩＰマルチキャスト放送における加入ナビゲーションシステム」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，２００８年 ５月２２日，Vol.108, No.60，第３７〜４１頁，ISSN:0913-5685

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ２１／００−２１／８５８

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

ＷＦＤにおいて補助データを出力する方法であって、
ＷＦＤソースがＷＦＤシンクとのＷＦＤ接続を設定するステップと、
前記ＷＦＤ接続を設定するステップの後、前記ＷＦＤソースがＲＴＳＰに基づいて構成されたＲＴＳＰパラメータ要求メッセージを前記ＷＦＤシンクに送信するステップと、
前記ＷＦＤソースが前記ＲＴＳＰパラメータ要求メッセージに対する応答としてＲＴＳＰパラメータ応答メッセージを前記ＷＦＤシンクから受信するステップと、
前記ＷＦＤソースが送信ストリームを前記ＷＦＤシンクに送信するステップと、
を含み、
前記ＲＴＳＰパラメータ応答メッセージは、前記ＷＦＤシンクのネイティブ解像度に関する情報、及び前記ＷＦＤシンクの最大ビデオ解像度に関する情報を含み、
前記送信ストリームは、第１の解像度のビデオデータを含むビデオストリームと第２の解像度の補助データを含む補助ストリームをオーバーレイ多重化して構成され、
前記第２の解像度は、前記ＷＦＤシンクのネイティブ解像度、前記ＷＦＤシンクの最大ビデオ解像度、及び前記ＷＦＤソースの最大解像度の最小値に基づいて決定される、方法。

【請求項2】

前記補助データは、サブタイトルデータとユーザインターフェースデータを含む、請求項１に記載の方法。

【請求項3】

前記ＷＦＤシンクのネイティブ解像度に関する情報は、コンシューマー エレクトロニクス アソシエーション（ＣＥＡ）、ビデオ エレクトロニクス スタンダーズ アソシエーション（ＶＥＳＡ）及びハンドヘルド（ＨＨ）フォーマットの１つに対する解像度／リフレッシュレートのインデックスにより示される、請求項１に記載の方法。

【請求項4】

前記ＲＴＳＰパラメータ応答メッセージは、前記補助ストリームのフォーマットに関する情報を更に含み、前記補助ストリームのフォーマットは、前記ＷＦＤシンクによりサポートされる、請求項１に記載の方法。

【請求項5】

ＷＦＤにおいて補助データを送信するためのＷＦＤソースであって、
無線信号を送信及び受信するＲＦ部と、
前記ＲＦ部と動作可能に結合されたプロセッサと、を含み、
前記プロセッサは、
ＷＦＤシンクとのＷＦＤ接続を設定し、
前記ＷＦＤ接続の設定後、ＲＴＳＰに基づいて構成されたＲＴＳＰパラメータ要求メッセージを前記ＷＦＤシンクに送信し、
前記ＲＴＳＰパラメータ要求メッセージに対する応答としてＲＴＳＰパラメータ応答メッセージを前記ＷＦＤシンクから受信し、
送信ストリームを前記ＷＦＤシンクに送信するよう構成され、
前記ＲＴＳＰパラメータ応答メッセージは、前記ＷＦＤシンクのネイティブ解像度に関する情報、及び前記ＷＦＤシンクの最大ビデオ解像度に関する情報を含み、
前記送信ストリームは、第１の解像度のビデオデータを含むビデオストリームと第２の解像度の補助データを含む補助ストリームをオーバーレイ多重化して構成され、
前記第２の解像度は、前記ＷＦＤシンクのネイティブ解像度、前記ＷＦＤシンクの最大ビデオ解像度、及び前記ＷＦＤソースの最大解像度の最小値に基づいて決定される、ＷＦＤソース。

【請求項6】

前記補助データは、サブタイトルデータとユーザインターフェースデータを含む、請求項５に記載のＷＦＤソース。

【請求項7】

前記ＷＦＤシンクのネイティブ解像度に関する情報は、コンシューマー エレクトロニクス アソシエーション（ＣＥＡ）、ビデオ エレクトロニクス スタンダーズ アソシエーション（ＶＥＳＡ）及びハンドヘルド（ＨＨ）フォーマットの１つに対する解像度／リフレッシュレートのインデックスにより示される、請求項５に記載のＷＦＤソース。

【請求項8】

前記ＲＴＳＰパラメータ応答メッセージは、前記補助ストリームのフォーマットに関する情報を更に含み、前記補助ストリームのフォーマットは、前記ＷＦＤシンクによりサポートされる、請求項５に記載のＷＦＤソース。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、無線通信に関し、より詳しくは、ＷＦＤ（ＷｉＦｉ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）ｄｉｓｐｌａｙ）における補助コンテンツを出力する方法及び装置に関する。

【背景技術】

【0002】

現在、モバイル機器の性能は、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）と立ち並ぶほど著しく向上したが、画面大きさにおいては限界がある。特に、スマートフォンは、携帯性が重要であるため、６インチ程度が画面大きさのマジノ線であるといわれており、６インチのディスプレイは、マルチメディアコンテンツを楽しむユーザ立場で依然として小さい画面である。

【0003】

したがって、モバイル機器での映像を大画面のＴＶ（ｔｅｌｅｖｉｓｉｏｎ）またはモニタで見ることができるようにする技術が研究されている。このような技術は、無線ディスプレイ送信技術という用語で表現されることができる。無線ディスプレイ送信技術は、大いに、コンテンツ送信とミラーリング（スクリーンキャスティング）とに分けられる。コンテンツ送信は、モバイル機器の画面をそのまま送信することではなく、ＶＯＤ（Ｖｉｄｅｏ ｏｎ Ｄｅｍａｎｄ）サービスと連係されなければならない。コンテンツ送信は、映像を信号で送る方式であり、ミラーリングは、コンテンツファイルをストリーミングで遠隔機器に送ってＴＶのような大画面ディスプレイに再び表示させる方式である。

【0004】

ミラーリング（スクリーンキャスティング）は、名称の通りにモバイル機器に表示された画面を鏡に照らしたように同時に表示させる方式である。プレゼンテーションをする時、Ｄ−ｓｕｂ（Ｄ−Ｓｕｂｍｉｎｉａｔｕｒｅ、ＲＧＢ）、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のような有線方式で連結してコンピュータ画面をプロジェクタに投射する方式と類似する。ミラーリング方式は、リアルタイムで特定サービスに従属されずに、元画面のピクセル情報をそのまま無線で送信することができるという長所がある。

【0005】

ワイパイを利用した無線ディスプレイ送信技術としてワイパイミラキャスト（ＷｉＦｉ Ｍｉｒａｃａｓｔ）が研究されている。ミラキャストは、ワイパイ協会（ＷｉＦｉ ａｌｌｉａｎｃｅ）がつくった無線映像送信規格であり、且つ無線ディスプレイ送信技術である。ミラキャストでは画面と音声を圧縮して無線ＬＡＮで送り、ドングル（ｄｏｎｇｌｅ）や一体型タイプでできた受信機に圧縮を解除して画面に表示するミラーリング（スクリーンキャスティング）技術の一類型である。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的は、ＷＦＤにおける補助コンテンツを出力する方法を提供することである。

【0007】

本発明の他の目的は、ＷＦＤにおける補助コンテンツを出力する装置を提供することである。

【課題を解決するための手段】

【0008】

前述した本発明の目的を達成するための本発明の一側面による、ＷＦＤ（ＷｉＦｉ ｄｉｓｐｌａｙ）における補助コンテンツを出力する方法は、ＷＦＤソースがＷＦＤシンクにサービス能力（ｓｅｒｖｉｃｅ ｃａｐａｂｉｌｉｔｙ）を探索するためのＷＦＤサービス探索要求フレームを送信するステップ、前記ＷＦＤソースが前記ＷＦＤシンクから前記ＷＦＤサービス探索要求フレームに対する応答としてＷＦＤサービス探索応答フレームを受信するステップ、前記ＷＦＤソースが前記ＷＦＤサービス探索応答フレームに基づいて前記ＷＦＤシンクとＷＦＤ接続（ｃｏｎｎｅｃｔｉｏｎ）を設定するステップ、前記ＷＦＤソースが前記ＷＦＤ接続以後、前記ＷＦＤシンクと能力交渉（ｃａｐａｂｉｌｉｔｙ ｎｅｇｏｔｉａｔｉｏｎ）手順のためにＲＴＳＰ（ｒｅａｌ ｔｉｍｅ ｓｔｒｅａｍｉｎｇ ｐｒｏｔｏｃｏｌ）に基づくＲＴＳＰパラメータ要求メッセージを前記ＷＦＤシンクに送信するステップ、前記ＷＦＤソースが前記ＲＴＳＰパラメータ要求メッセージに対する応答としてＲＴＳＰパラメータ応答メッセージを前記ＷＦＤシンクに送信するステップ、及び前記ＷＦＤソースが前記能力交渉手順以後、第１の解像度のビデオデータを含むビデオストリーム、第２の解像度の補助データを含む補助ストリームをオーバーレイ多重化した送信ストリームを前記ＷＦＤシンクに送信するステップを含み、前記ＷＦＤ探索応答フレームは、前記第２の解像度の決定のための第２の解像度関連情報を含み、前記ＲＴＳＰパラメータ応答フレームは、前記第２の解像度関連情報を含む。

【0009】

一方、前記補助データは、サブタイトルデータ、ユーザインターフェースデータを含み、前記第２の解像度と関連した情報は、前記ＷＦＤシンクのネイティブ解像度（ｎａｔｉｖｅ ｒｅｓｏｌｕｔｉｏｎ）に対する情報を含み、前記第１の解像度は、前記ＷＦＤソースのネイティブ解像度に基づいて決定され、前記第２の解像度は、前記ＷＦＤシンクのネイティブ解像度に基づいて決定される。

【0010】

また、前記補助データは、サブタイトルデータ、ユーザインターフェースデータを含み、前記第２の解像度と関連した情報は、前記ＷＦＤシンクの前記補助データに対してサポートされる最大解像度に対する情報を含み、前記第１の解像度は、前記ＷＦＤソースのネイティブ解像度に基づいて決定され、前記第２の解像度は、前記ＷＦＤシンクの前記補助データに対してサポートされる前記最大解像度に対する情報に基づいて決定される。

【0011】

また、前記ビデオデータは、前記ＷＦＤシンクで再スケーリングされて前記第１の解像度と異なる解像度で出力され、前記補助データは、前記ＷＦＤシンクで前記再スケーリングすることなく前記第２の解像度で出力される。

【0012】

また、前記ＷＦＤソースが前記ＷＦＤシンクからＵＩＢＣ（ｕｓｅｒ ｉｎｐｕｔ ｂａｃｋ ｃｈａｎｎｅｌ）を介して前記ＷＦＤシンク上でユーザ動作によるユーザ動作情報を受信するステップ、及び前記ＷＦＤソースが前記ユーザ動作情報に対応される動作を実行するステップをさらに含み、前記ユーザ動作情報は、ストリーム情報を含み、前記ストリーム情報は、前記ユーザ動作が前記ＷＦＤシンクで出力される前記ビデオデータ及び前記補助データの各々に基づくオーバーレイされた複数のイメージのうちどのイメージ上で実行されるかを指示する識別情報を含む。

【0013】

前述した本発明の目的を達成するための本発明の他の側面による、ＷＦＤ（ＷｉＦｉ ｄｉｓｐｌａｙ）における補助データを送信するＷＦＤソースにおいて、前記ＷＦＤは、無線信号を送信及び受信するＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）部、及び前記ＲＦ部と動作可能なように（ｏｐｅｒａｔｉｖｅｌｙ）結合されたプロセッサを含み、前記プロセッサは、ＷＦＤシンクにサービス能力（ｓｅｒｖｉｃｅ ｃａｐａｂｉｌｉｔｙ）を探索するためのＷＦＤサービス探索要求フレームを送信し、前記ＷＦＤシンクから前記ＷＦＤサービス探索要求フレームに対する応答としてＷＦＤサービス探索応答フレームを受信し、前記ＷＦＤサービス探索応答フレームに基づいて前記ＷＦＤシンクとＷＦＤ接続（ｃｏｎｎｅｃｔｉｏｎ）を設定し、前記ＷＦＤ接続以後、前記ＷＦＤシンクと能力交渉（ｃａｐａｂｉｌｉｔｙ ｎｅｇｏｔｉａｔｉｏｎ）手順のためにＲＴＳＰ（ｒｅａｌ ｔｉｍｅ ｓｔｒｅａｍｉｎｇ ｐｒｏｔｏｃｏｌ）に基づくＲＴＳＰパラメータ要求メッセージを前記ＷＦＤシンクに送信し、前記ＲＴＳＰパラメータ要求メッセージに対する応答としてＲＴＳＰパラメータ応答メッセージを前記ＷＦＤシンクに送信し、前記能力交渉手順以後、第１の解像度のビデオデータを含むビデオストリーム、第２の解像度の補助データを含む補助ストリームをオーバーレイ多重化した送信ストリームを前記ＷＦＤシンクに送信するように具現され、前記ＷＦＤ探索応答フレームは、前記第２の解像度の決定のための第２の解像度関連情報を含み、前記ＲＴＳＰパラメータ応答フレームは、前記第２の解像度関連情報を含む。

【0014】

一方、前記補助データは、サブタイトルデータ、ユーザインターフェースデータを含み、前記第２の解像度と関連した情報は、前記ＷＦＤシンクのネイティブ解像度（ｎａｔｉｖｅ ｒｅｓｏｌｕｔｉｏｎ）に対する情報を含み、前記第１の解像度は、前記ＷＦＤソースのネイティブ解像度に基づいて決定され、前記第２の解像度は、前記ＷＦＤシンクのネイティブ解像度に基づいて決定される。

【0015】

また、前記補助データは、サブタイトルデータ、ユーザインターフェースデータを含み、前記第２の解像度と関連した情報は、前記ＷＦＤシンクの前記補助データに対してサポートされる最大解像度に対する情報を含み、前記第１の解像度は、前記ＷＦＤソースのネイティブ解像度に基づいて決定され、前記第２の解像度は、前記ＷＦＤシンクの前記補助データに対してサポートされる前記最大解像度に対する情報に基づいて決定される。

【0016】

また、前記ビデオデータは、前記ＷＦＤシンクで再スケーリングされて前記第１の解像度と異なる解像度で出力され、前記補助データは、前記ＷＦＤシンクで前記再スケーリングすることなく前記第２の解像度で出力される。

【0017】

また、前記プロセッサは、前記ＷＦＤシンクからＵＩＢＣ（ｕｓｅｒ ｉｎｐｕｔ ｂａｃｋ ｃｈａｎｎｅｌ）を介して前記ＷＦＤシンク上でユーザ動作によるユーザ動作情報を受信し、前記ユーザ動作情報に対応される動作を実行するように具現され、前記ユーザ動作情報は、ストリーム情報を含み、前記ストリーム情報は、前記ユーザ動作が前記ＷＦＤシンクで出力される前記ビデオデータ及び前記補助データの各々に基づくオーバーレイされた複数のイメージのうちどのイメージ上で実行されるかを指示する識別情報を含む。

【発明の効果】

【0018】

ＷＦＤ（ＷｉＦｉ ｄｉｓｐｌａｙ）ソースでＷＦＤシンクに補助コンテンツを送信する時、ＷＦＤシンクでサポート可能な解像度を有する補助コンテンツを含む補助ストリームを送信することができる。したがって、ＷＦＤシンクの解像度に合わせて適応的に補助コンテンツがＷＦＤシンクのディスプレイ上で出力されることができる。

【図面の簡単な説明】

【0019】

【図1】ワイパイダイレクトサービス（ＷＦＤＳ）フレームワーク構成要素を示す概念図である。

【図2】ＷＦＤネットワークを示す概念図である。

【図3】ＷＦＤセッションを示す概念図である。

【図4】ＷＦＤセッション設定方法を示す概念図である。

【図5】ＷＦＤソースとＷＦＤシンクとの間のネットワークを示す概念図である。

【図6】ＷＦＤ能力交換及び交渉手順を示す概念図である。

【図7】ＷＦＤセッション確立手順を示す概念図である。

【図8】本発明の実施例に係るＭＰＥＧ−ＴＳに基づく複数のストリームを送信及び受信する方法を示す概念図である。

【図9】本発明の実施例に係るＭＰＥＧ−ＴＳに基づくオーバーレイ多重化（ｏｖｅｒｌａｙ Ｍｕｘ）の問題点を示す概念図である。

【図10】本発明の実施例に係るＭＰＥＧ−ＴＳに基づくオーバーレイ多重化の問題点を示す概念図である。

【図11】本発明の実施例に係るユーザインターフェース及びサブタイトルの設定方法を示す概念図である。

【図12】本発明の実施例に係るＷＦＤソースのユーザインターフェース情報及びサブタイトル情報の送信方法を示す概念図である。

【図13】本発明の実施例に係る最適のユーザインターフェース及びサブタイトルを設定する方法を示す概念図である。

【図14】本発明の実施例に係るＵＩＢＣに基づくＷＦＤソース及びＷＦＤシンクの動作を示す概念図である。

【図15】本発明の実施例に係るＵＩＢＣに基づくＷＦＤソース及びＷＦＤシンクの動作を示す概念図である。

【図16】本発明の実施例に係る補助ストリームのための解像度を決定する方法を示す概念図である。

【図17】本発明の実施例に係る補助ストリームのための解像度を決定する方法を示す概念図である。

【図18】本発明の実施例に係る補助ストリームのための解像度を決定する方法を示す概念図である。

【図19】本発明の実施例が適用されることができる無線装置を示すブロック図である。

【発明を実施するための形態】

【0020】

既存の無線ＬＡＮシステムではアクセスポイント（ａｃｃｅｓｓ ｐｏｉｎｔ、ＡＰ）がハブとして機能するインフラストラクチャ（ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）ＢＳＳ（ｂａｓｉｃ ｓｅｒｖｉｃｅ ｓｅｔ）内での装置（ＡＰ及びＳＴＡ（ｓｔａｔｉｏｎ））間の動作が主に定義された。ＡＰは、無線／有線連結のための物理階層サポート機能、ネットワーク上の装置に対するルーティング機能、装置をネットワークに追加／除去する機能、サービス提供機能などを担当することができる。即ち、既存の無線ＬＡＮシステムにおいて、ネットワーク内の装置は、ＡＰを介して連結されるものであり、相互間に直接連結されるものではない。

【0021】

装置間の直接連結をサポートするための技術としてワイパイダイレクト（Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ）標準が定義されている。ワイパイダイレクトは、既存の無線ＬＡＮシステムで基本的に要求されるアクセスポイント無しで装置（ｄｅｖｉｃｅ）（または、ＳＴＡ（ｓｔａｔｉｏｎ））間に互いに容易に連結できるようにする直接通信技術である。ワイパイダイレクトが使われる場合、複雑な設定過程無しで装置間に連結が設定されてユーザに多様なサービスを提供することができる。

【0022】

ＷＦＡ（Ｗｉ−Ｆｉ Ａｌｌｉａｎｃｅ）ではＷｉ−Ｆｉ Ｄｉｒｅｃｔリンクを利用した多様なサービス（例えば、センド（Ｓｅｎｄ）、プレイ（Ｐｌａｙ）、ディスプレイ（Ｄｉｓｐｌａｙ）、プリント（Ｐｒｉｎｔ）等）をサポートするワイパイダイレクトサービス（ＷＦＤＳ）が研究されている。ＷＦＤＳによると、アプリケーションは、ＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｐｌａｔｆｏｒｍ）というサービスプラットフォームにより制御または管理されることができる。

【0023】

ＷＦＤＳがサポートされるＷＦＤＳ装置は、ディスプレイ装置、プリンタ、デジタルカメラ、プロジェクタ及びスマートフォンなどのような無線ＬＡＮシステムをサポートする装置を含む。また、ＷＦＤＳ装置は、ＳＴＡ及びＡＰを含むことができる。ＷＦＤＳネットワーク内のＷＦＤＳ装置は、互いに直接連結されることができる。

【0024】

図１は、ワイパイダイレクトサービス（ＷＦＤＳ）フレームワーク構成要素を示す概念図である。

【0025】

図１を参照すると、ＷＦＤＳフレームワークは、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ階層１００、ＡＳＰ１２０、サービス階層１４０、アプリケーション階層１６０を含むことができる。

【0026】

Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ階層１００は、ワイパイダイレクト標準で定義されたＭＡＣ（ｍｅｄｉｕｍ ａｃｃｅｓｓ ｃｏｎｔｒｏｌ）階層である。Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ階層１００の下位にはＷｉ−Ｆｉ ＰＨＹと互換される物理階層（図示せず）により無線連結が構成されることができる。Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ階層１００の上位にはＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｐｌａｔｆｏｒｍ）１２０が定義される。

【0027】

ＡＳＰ１２０は、共通共有プラットフォーム（ｃｏｍｍｏｎ ｓｈａｒｅｄ ｐｌａｔｆｏｒｍ）であり、その上位のアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ）階層１６０とその下位のＷｉ−Ｆｉ Ｄｉｒｅｃｔ階層１００との間でセッション（ｓｅｓｓｉｏｎ）管理、サービスの命令処理、ＡＳＰ間の制御及びセキュリティ機能を遂行する。

【0028】

ＡＳＰ１２０の上位にはサービス（Ｓｅｒｖｉｃｅ）階層１４０が定義される。例えば、サービス階層１４０では４個の基本サービスであるセンド（Ｓｅｎｄ）、プレイ（Ｐｌａｙ）、ディスプレイ（Ｄｉｓｐｌａｙ）、プリント（Ｐｒｉｎｔ）サービス及びサードパーティーアプリケーションで定義されたサービスがサポートされることができる。それだけでなく、サービス階層１４０は、ワイパイシリアルバス（Ｗｉ−Ｆｉ Ｓｅｒｉａｌ Ｂｕｓ、ＷＳＢ）、ワイパイドッキング（Ｗｉ−Ｆｉ Ｄｏｃｋｉｎｇ）、または隣接認知ネットワーク（Ｎｅｉｇｈｂｏｒ Ａｗａｒｅｎｅｓｓ Ｎｅｔｗｏｒｋｉｎｇ、ＮＡＮ）をサポートすることもできる。

【0029】

アプリケーション階層１６０は、ユーザインターフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ、ＵＩ）を提供することができ、情報を人間が認識可能な形態で表現し、ユーザの入力を下位階層に伝達することができる。

【0030】

以下、本発明の実施例では、ＷＦＤＳのうち、ワイパイディスプレイ（ＷＦＤ：Ｗｉ−Ｆｉ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）ｄｉｓｐｌａｙ）がより具体的に開示される。

【0031】

ＷＦＤ標準は、高い品質と低いレイテンシーを満たさせながら、オーディオ／ビデオ（ＡＶ：ａｕｄｉｏ／ｖｉｄｅｏ）データを装置間に送信するために定義された。Ｗｉ−Ｆｉデバイスは、ホームネットワーク、オフィスネットワーク、またはホット−スポットネットワークに接続せずに、ＷＦＤ標準が適用されたＷＦＤネットワーク（ＷＦＤセッション）を介してピアツーピア（ｐｅｅｒ ｔｏ ｐｅｅｒ）方式で互いに連結されることができる。以下、ＷＦＤ標準によってデータを送信及び受信する装置は、ＷＦＤ装置という用語で表現されることができる。ＷＦＤネットワーク内のＷＦＤ装置は、ＷＦＤ装置に対する情報（例えば、能力情報（ｃａｐａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ））を互いに探索し、ＷＦＤセッションを設定した後、ＷＦＤセッションを介してコンテンツをレンダリング（ｒｅｎｄｅｒｉｎｇ）することができる。

【0032】

ＷＦＤセッションは、コンテンツを提供するソース装置（ｓｏｕｒｃｅ ｄｅｖｉｃｅ）及びコンテンツを受信してレンダリングするシンク装置（ｓｉｎｋ ｄｅｖｉｃｅ）間のネットワークである。ソース装置はＷＦＤソース、シンク装置はＷＦＤシンクという用語で表現されることもできる。ＷＦＤソースは、ＷＦＤソースのディスプレイ（または、スクリーン）上に存在するデータをＷＦＤシンクのディスプレイでミラーリング（ｍｉｒｒｏｒｉｎｇ）することができる。

【0033】

ＷＦＤソースとＷＦＤシンクは、相互間に第１のシーケンスメッセージを交換してデバイス探索及びサービス探索手順を実行することができる。ＷＦＤソースとＷＦＤシンクとの間のデバイス探索及びサービス探索手順が完了した以後、ＷＦＤソース及びＷＦＤシンクの各々にインターネットプロトコル（ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ、ＩＰ）アドレスが割り当てられることができる。ＷＦＤソースとＷＦＤシンクとの間には送信制御プロトコル（ＴＣＰ：ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｎｔｒｏｌ ｐｒｏｔｏｃｏｌ）連結が確立され、以後ＷＦＤソース及びＷＦＤシンクに対するリアルタイムストリーミングプロトコル（ＲＴＳＰ：ｒｅａｌ ｔｉｍｅ ｓｔｒｅａｍｉｎｇ ｐｒｏｔｏｃｏｌ）及びリアルタイムプロトコル（ＲＴＰ：ｒｅａｌ ｔｉｍｅ ｐｒｏｔｏｃｏｌ）スタックが活性化されることができる。

【0034】

ＷＦＤソースとＷＦＤシンクとの間に能力交渉手順（ｃａｐａｂｉｌｉｔｙ ｎｅｇｏｔｉａｔｉｏｎ ｐｒｏｃｅｄｕｒｅ）は、ＲＴＳＰを介して実行され、能力交渉手順が実行される間に、ＷＦＤソースとＷＦＤシンクは、ＲＴＳＰベースのメッセージ（Ｍ（ｍｅｓｓａｇｅ）１乃至Ｍ４）を交換することができる。以後ＷＦＤソースとＷＦＤシンクは、ＷＦＤセッション制御メッセージを交換することができる。また、ＷＦＤソースとＷＦＤシンクとの間にはＲＴＰを介したデータセッションが確立されることができる。ＷＦＤネットワークではデータ伝達（ｄａｔａ ｔｒａｎｓｐｏｒｔ）のためにユーザデータグラムプロトコル（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ、ＵＤＰ）が使われることができる。

【0035】

図２は、ＷＦＤネットワークを示す概念図である。

【0036】

図２を参照すると、ＷＦＤソース２００とＷＦＤシンク２５０は、ＷＦＤ装置であって、ＷｉＦｉ−Ｐ２Ｐに基づいて連結されることができる。

【0037】

ここで、ＷＦＤソース２００は、ＷｉＦｉ Ｐ２Ｐ（ｐｅｅｒ ｔｏ ｐｅｅｒ）リンクを介してマルチメディアコンテンツのストリーミングをサポートする装置であり、ＷＦＤシンク２５０は、Ｐ２Ｐリンクを介してＷＦＤソース２００からマルチメディアコンテンツを受信し、イメージ及び／またはサウンドを生成する手順を実行する装置を意味する。イメージ及び／またはサウンドを生成する手順は、レンダリングという用語で表現されることができる。

【0038】

ＷＦＤシンク２５０は、プライマリ（ｐｒｉｍａｒｙ）シンクとセカンダリ（ｓｅｃｏｎｄａｒｙ）シンクとに区分されることができる。特に、セカンダリシンクは、ＷＦＤソース２００と独立的に連結されると、オーディオペイロードのみをレンダリングすることができる。

【0039】

図３は、ＷＦＤセッションを示す概念図である。

【0040】

図３の上段の１番目は、オーディオ−単独（ａｕｄｉｏ ｏｎｌｙ）セッションである。ＷＦＤソース３００は、オーディオ単独セッションを介してプライマリシンク３０５またはセカンダリシンク３１０のうちいずれか一つと連結されることができる。

【0041】

図３の上段の２番目は、ビデオ−単独（ｖｉｄｅｏ−ｏｎｌｙ）セッションである。ＷＦＤソース３２０は、プライマリシンク３２５と連結されることができる。

【0042】

図３の上段の３番目は、オーディオ及びビデオセッションであって、ビデオ−単独（ｖｉｄｅｏ−ｏｎｌｙ）セッションと同様に、ＷＦＤソース３４０は、プライマリシンク３４５と連結されることができる。

【0043】

図３の上段の４番目は、カップルドシンク（Ｃｏｕｐｌｅｄ ＷＦＤ Ｓｉｎｋ）動作でセッション連結を開示する。カップルドシンク（Ｃｏｕｐｌｅｄ ＷＦＤ Ｓｉｎｋ）動作でプライマリシンク３６５は、ビデオをレンダリングし、セカンダリシンク３７０は、オーディオを各々レンダリングすることができる。または、プライマリシンク３６５がビデオ及びオーディオを両方ともレンダリングすることもできる。

【0044】

このようなＷＦＤセッションは、以下の図４に示すような手順を実行した後に確立されることができる。

【0045】

図４は、ＷＦＤセッション設定方法を示す概念図である。

【0046】

図４を参照すると、ＷＦＤ装置探索手順（ＷＦＤ Ｄｅｖｉｃｅ Ｄｉｓｃｏｖｅｒｙ）Ｓ４０１、ＷＦＤサービス探索手順（ＷＦＤ Ｓｅｒｖｉｃｅ Ｄｉｓｃｏｖｅｒｙ）Ｓ４０２、ＷＦＤ接続セットアップ手順（ＷＦＤ Ｃｏｎｎｅｃｔｉｏｎ Ｓｅｔｕｐ）Ｓ４０３、能力交換及び交渉手順（Ｃａｐａｂｉｌｉｔｙ Ｅｘｃｈａｎｇｅ ａｎｄ Ｎｅｇｏｔｉａｔｉｏｎ）Ｓ４０４が実行された以後、ＷＦＤセッションが設定されることができる。

【0047】

具体的に、ＷＦＤ装置探索手順Ｓ４０１において、ＷＦＤソースは、ＷＦＤ装置探索手順を介してＷＦＤのためのピア装置、即ち、ＷＦＤシンクをさがすことができる。

【0048】

ＷＦＤソース及びＷＦＤシンクによりＷＦＤ装置探索のために送信されるビーコンフレーム、プローブ要求フレーム及びプローブ応答フレームなどは、ＷＦＤ ＩＥ（Ｉｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔ）を含むことができる。ここで、ＷＦＤ ＩＥは、装置タイプ、装置状態などのＷＦＤと関連した情報を含む情報要素である。

【0049】

ＷＦＤソースは、ＷＦＤ ＩＥを含むプローブ要求フレームをＷＦＤシンクに送信することができ、ＷＦＤシンクは、プローブ要求フレームに対する応答としてＷＦＤ ＩＥを含むプローブ応答フレームを送信することができる。もし、ＷＦＤ装置がインフラストラクチャＡＰと連係されてＷｉ−Ｆｉ Ｐ２Ｐ装置で動作する場合、プローブ要求フレームにはＷＦＤ ＩＥ及びＰ２Ｐ情報要素が含まれることができる。プローブ要求フレームに対する応答であるプローブ応答フレームは、プローブ要求フレームが受信されたチャネルを介して送信され、Ｐ２Ｐ ＩＥ及びＷＦＤ ＩＥを両方とも含むことができる。

【0050】

言及されないＷＦＤ装置探索と関連した内容は、「Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ Ｔｅｃｈｎｉｃａｌ Ｓｐｅｃｉｆｉｃａｔｉｏｎ」及び／または「Ｗｉ−Ｆｉ Ｐｅｅｒ−ｔｏ−Ｐｅｅｒ（Ｐ２Ｐ）Ｔｅｃｈｎｉｃａｌ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ Ｓｅｒｖｉｃｅ Ａｄｄｅｎｄｕｍ」文書に従い、これは以下の説明にも適用される。

【0051】

ＷＦＤサービス探索手順Ｓ４０２ではＷＦＤ装置探索を実行したＷＦＤソース及びＷＦＤシンクの相互間のサービス能力に対する探索が実行されることができる。例えば、ＷＦＤソースがＷＦＤ能力（ｃａｐａｂｉｌｉｔｙ）に対する情報を含むサービス探索要求フレームを送信すると、ＷＦＤシンクは、サービス探索要求フレームに対する応答としてＷＦＤ能力に対する情報を含むサービス探索応答フレームが送信されることができる。ＷＦＤサービス探索手順は、選択的な手順である。

【0052】

ＷＦＤサービス探索手順の実行のためにＷＦＤ装置探索手順に利用されるプローブ要求フレーム及びプローブ応答フレームは、ＷＦＤ装置がサービス探索手順をサポートする能力を備えているかどうかを指示する情報を含むことができる。

【0053】

ＷＦＤ接続セットアップ手順Ｓ４０３において、ＷＦＤ装置探索手順、そして選択的にＷＦＤサービス探索手順を実行したＷＦＤ装置は、ＷＦＤ接続セットアップのためのＷＦＤ装置を選択することができる。政策（ｐｏｌｉｃｙ）またはユーザ入力などによってＷＦＤ接続セットアップのためのＷＦＤ装置が選択された後、ＷＦＤ接続のためにＷｉ−Ｆｉ Ｐ２Ｐ及びＴＤＬＳ（ｔｕｎｎｅｌｅｄ ｄｉｒｅｃｔ ｌｉｎｋ ｓｅｒｖｉｃｅ）うちいずれか一つの接続方法（ｃｏｎｎｅｃｔｉｖｉｔｙ ｓｃｈｅｍｅ）が使われることができる。ＷＦＤ装置は、接続優先順（ｐｒｅｆｅｒｒｅｄ ｃｏｎｎｅｃｔｉｖｉｔｙ）情報及びＷＦＤ情報要素と共に伝達される連係したＢＳＳＩＤ（ｂａｓｉｃ ｓｅｒｖｉｃｅ ｓｅｔ ｉｄｅｎｔｉｆｉｅｒ）副要素（ｓｕｂｅｌｅｍｅｎｔ）に基づいて接続方法を決定することができる。

【0054】

図５は、ＷＦＤソースとＷＦＤシンクとの間のネットワークを示す概念図である。

【0055】

図５の上段ではＷｉ−Ｆｉ Ｐ２Ｐに基づくＷＦＤソース５００とＷＦＤシンク５１０との間の連結が開示され、図５の下段ではＴＤＬＳリンクに基づくＷＦＤソース５５０とＷＦＤシンク５６０との間の連結が開示されている。

【0056】

図５の上段のように、ＡＰは、ＷＦＤソース５００とＷＦＤシンク５１０に共通され、または異なる。または、ＡＰは、存在しない場合もある。図５の下段のように、ＴＤＬＳリンクを使用してＷＦＤ接続を実行する場合、ＷＦＤソース５５０とＷＦＤシンク５６０は、同じＡＰと連結を維持しなければならない。

【0057】

ＷＦＤ能力交換及び交渉手順は、ＷＦＤ装置間にＷＦＤ接続セットアップ手順以後に実行されることができる。ＷＦＤ能力交換及び交渉を介してＷＦＤソース及びＷＦＤシンクは、相互がサポートするコーデック、コーデックのプロファイル情報、コーデックのレベル情報及び解像度情報のうち少なくとも一つ以上の情報を相互間に交換することができる。ＷＦＤ能力交換及び交渉は、ＲＴＳＰ（Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）を利用したメッセージを交換により実行されることができる。また、ＷＦＤセッション間のオーディオ／ビデオペイロードを定義するパラメータセットを決定することができる。ＷＦＤ能力交換及び交渉手順は、後述する図６に示すように、ＲＴＳＰ Ｍ１からＲＴＳＰ Ｍ４メッセージの交換により実行されることができる。

【0058】

ＷＦＤ交換及び交渉手順以後、ＷＦＤセッション確立手順が実行されることができる。

【0059】

図６は、ＷＦＤ能力交換及び交渉手順を示す概念図である。

【0060】

図６を参照すると、ＷＦＤソースは、ＲＳＴＰ手順及びＷＦＤ能力交渉を開始するためのＲＴＳＰ Ｍ１要求メッセージを送信することができる（ステップＳ６０１）。

【0061】

ＲＴＳＰ Ｍ１要求メッセージは、ＷＦＤシンクでサポートするＲＴＳＰメソッド（ｍｅｔｈｏｄｓ）セット（ｓｅｔ）を決定するためのＲＴＳＰ ＯＰＴＩＯＮＳ要求を含むことができる。ＲＴＳＰ Ｍ１要求メッセージを受信したＷＦＤシンクは、自分がサポートするＲＴＳＰメソッドが列挙されたＲＴＳＰ Ｍ１応答メッセージを送信することができる（ステップＳ６０２）。

【0062】

その次に、ＷＦＤシンクは、ＷＦＤソースでサポートするＲＴＳＰメソッドセットを決定するためのＲＴＳＰ Ｍ２要求メッセージを送信することができる（ステップＳ６０３）。

【0063】

ＲＴＳＰ Ｍ２要求メッセージが受信されると、ＷＦＤソースは、自分がサポートするＲＴＳＰメソッドが列挙されたＲＴＳＰ Ｍ２応答メッセージで応答できる（ステップＳ６０４）。

【0064】

ＷＦＤソースは、知りたいＷＦＤ能力の目録を明示したＲＴＳＰ Ｍ３要求メッセージ（ＲＴＳＰ ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ要求メッセージ）を送信することができる（ステップＳ６０５）。

【0065】

ＲＴＳＰ Ｍ３要求メッセージが受信されると、ＷＦＤシンクは、ＲＴＳＰ Ｍ３応答メッセージ（ＲＴＳＰ ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ応答メッセージ）で応答できる（ステップＳ６０６）。

【0066】

ＲＴＳＰ Ｍ３応答メッセージに基づいて、ＷＦＤソースは、ＷＦＤセッションの間に使われる最適のパラメータセットを決定し、決定されたパラメータセットを含むＲＴＳＰ Ｍ４要求メッセージ（ＲＴＳＰ ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ要求メッセージ）をＷＦＤシンクに送信することができる。

【0067】

ＲＴＳＰ Ｍ４要求メッセージを受信したＷＦＤシンクは、ＲＴＳＰ Ｍ４応答メッセージ（ＲＴＳＰ ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ応答メッセージ）を送信することができる（ステップＳ６０７）。

【0068】

図７は、ＷＦＤセッション確立手順を示す概念図である。

【0069】

図７では、ＷＦＤ能力交換及び交渉を実行したＷＦＤソース／ＷＦＤシンクは、ＷＦＤセッションを確立することができる。具体的に、ＷＦＤソースは、ＲＴＳＰ ＳＥＴパラメータ要求メッセージ（ＲＴＳＰ Ｍ５ Ｔｒｉｇｇｅｒ ＳＥＴＵＰ ｒｅｑｕｅｓｔ）をＷＦＤシンクに送信することができる（Ｓ７０１）。

【0070】

ＷＦＤシンクは、ＲＴＳＰ ＳＥＴパラメータ要求メッセージに対する応答としてＲＴＳＰ Ｍ５応答メッセージ（ＲＴＳＰ Ｍ５ ｒｅｓｐｏｎｓｅ ｍｅｓｓａｇｅ）を送信することができる（ステップＳ７０２）。

【0071】

トリガパラメータ設定（ＳＥＴＵＰ）を含むＲＴＳＰ Ｍ５メッセージが成功的に交換されると、ＷＦＤシンクは、ＲＴＳＰ ＳＥＴＵＰ要求メッセージ（ＲＴＳＰ Ｍ６ ｒｅｑｕｅｓｔ）をＷＦＤソースに送信することができる（ステップＳ７０３）。

【0072】

ＲＴＳＰ Ｍ６要求メッセージが受信されると、ＷＦＤソースは、ＲＴＳＰ ＳＥＴＵＰ応答メッセージ（ＲＴＳＰ Ｍ６ｒｅｓｐｏｎｓｅ）で応答できる（ステップＳ７０４）。

【0073】

ＲＴＳＰ Ｍ６応答メッセージの状態コードの設定を介してＲＴＳＰセッションの成功的な構築が指示されることができる。

【0074】

ＲＴＳＰ Ｍ６メッセージの成功的な交換以後、ＷＦＤシンクは、ＲＴＰストリームを受信する準備ができたことを知らせるために、ＲＴＳＰ ＰＬＡＹ要求メッセージ（ＲＴＳＰ Ｍ７ ｒｅｑｕｅｓｔ ｍｅｓｓａｇｅ）をソース装置に送信することができ（ステップＳ７０５）、ＷＦＤソースは、ＲＴＳＰ ＰＬＡＹ応答メッセージ（ＲＴＳＰ Ｍ７ ｒｅｓｐｏｎｓｅ ｍｅｓｓａｇｅ）で応答できる（ステップＳ７０６）。ＲＴＳＰ ＰＬＡＹ応答メッセージの状態コードに基づいてＷＦＤセッションの成功的な確立が指示されることができる。

【0075】

ＷＦＤセッションが確立された後、ＷＦＤソースは、ＷＦＤシンクでサポートする少なくとも一つのＲＴＳＰパラメータに対する能力を取得するためのＲＴＳＰ Ｍ３要求メッセージ（ＲＴＳＰ ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ要求メッセージ）、ＡＶ（Ａｕｄｉｏ／Ｖｉｄｅｏ）フォーマット更新のためのＷＦＤソース及びＷＦＤシンク間の能力再交渉のためにＷＦＤセッションに対応する少なくとも一つのＲＴＳＰパラメータ値を設定するためのＲＴＳＰ Ｍ４要求メッセージ、ＷＦＤシンクがＲＴＳＰ ＰＡＵＳＥ要求メッセージ（ＲＴＳＰ Ｍ９要求メッセージ）を送信するようにトリガするＲＴＳＰ Ｍ５要求メッセージ、ＷＦＤソースがＷＦＤ待機モード（ｓｔａｎｄｂｙ ｍｏｄｅ）に進入することを指示するＲＴＳＰ Ｍ１２要求メッセージ、ＵＩＢＣ（ｕｓｅｒ ｉｎｐｕｔ ｂａｃｋ ｃｈａｎｎｅｌ）で使われる入力タイプ、入力装置及び他のパラメータを選択するためのＲＴＳＰ Ｍ１４要求メッセージまたはＵＩＢＣ（ｕｓｅｒ ｉｎｐｕｔ ｂａｃｋ ｃｈａｎｎｅｌ）を活性化（ｅｎａｂｌｅ）または非活性化（ｄｉｓａｂｌｅ）するためのＲＴＳＰ Ｍ１５要求メッセージなどをＷＦＤシンクに送信することができる。ＷＦＤソースから前述したＲＴＳＰ要求メッセージを受信したＷＦＤシンクは、ＲＴＳＰ応答メッセージで応答できる。

【0076】

その次に、ＷＦＤシンクは、オーディオ／ビデオストリーミングを開始（または、再開）するためのＲＴＳＰ Ｍ７要求メッセージ（ＲＴＳＰ ＰＬＡＹ要求メッセージ）、ＷＦＤソースからＷＦＤシンクに送信されるオーディオ／ビデオストリーミングの一時中断のためのＲＴＳＰ Ｍ９要求メッセージ（ＲＴＳＰ ＰＡＵＳＥ要求メッセージ）、ＷＦＤソースにオーディオレンダリング装置を変更することを要求するためのＲＴＳＰ Ｍ１０要求メッセージ、活性コネクタタイプ（ａｃｔｉｖｅ ｃｏｎｎｅｃｔｏｒ ｔｙｐｅ）の変更を指示するＲＴＳＰ Ｍ１１要求メッセージ、ＷＦＤシンクがＷＦＤ待機モードに進入したことを指示するＲＴＳＰ Ｍ１２要求メッセージ、ＷＦＤソースにＩＤＲ（ｉｎｓｔａｎｔａｎｅｏｕｓ ｄｅｃｏｄｉｎｇ ｒｅｆｒｅｓｈ）をリフレッシュすることを要求するＭ１３要求メッセージ、ＵＩＢＣで使われる入力タイプ、入力装置及び他のパラメータを選択するためのＲＴＳＰ Ｍ１４要求メッセージまたはＵＩＢＣの活性化（ｅｎａｂｌｅ）または非活性化（ｄｉｓａｂｌｅ）のためのＲＴＳＰ Ｍ１５要求メッセージなどをＷＦＤソースに送信することができる。ＷＦＤシンクから前記列挙されたＲＴＳＰ要求メッセージを受信したＷＦＤソースは、ＲＴＳＰ応答メッセージで応答できる。

【0077】

ＷＦＤセッションが構築されてオーディオ／ビデオストリーミングが開始されると、ＷＦＤソース及びＷＦＤシンクは、両方とも共通にサポートするコーデックを利用してオーディオ／ビデオストリーミングを進行することができる。ＷＦＤソースとＷＦＤシンクが共通にサポートするコーデックを利用することによって両者間の相互運用性（ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ）が保障されることができる。

【0078】

ＷＦＤ通信は、ＷＦＤ ＩＥに基づいており、ＷＦＤ ＩＥのフォーマットは、以下の表１のように定義されることができる。

【0079】

【表1】

【0080】

要素ＩＤ（ｅｌｅｍｅｎｔ ＩＤ）フィールド、長さ（Ｌｅｎｇｔｈ）フィールド、ＷＦＤ特定のＯＵＩフィールド、ＷＦＤ ＩＥのタイプ／バージョンを示すＯＵＩタイプフィールド及びＷＦＤ副要素（ｓｕｂｅｌｅｍｅｎｔ）フィールドからなる。ＷＦＤ副要素フィールドは、以下の表２のような形式を有する。

【0081】

【表2】

【0082】

副要素ＩＤは、以下の表３のように定義されることができる。

【0083】

【表3】

【0084】

表３を参照すると、１オクテットの副要素ＩＤフィールドは、ＷＦＤ副要素がどのような情報を含むかを指示することができる。具体的に、副要素ＩＤフィールドの値０、１、…、１０は、副要素の各々がＷＦＤ Ｄｅｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ ｓｕｂｅｌｅｍｅｎｔ、Ａｓｓｏｃｉａｔｅｄ ＢＳＳＩＤ ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ Ａｕｄｉｏ Ｆｏｒｍａｔｓ ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ Ｖｉｄｅｏ Ｆｏｒｍａｔｓ ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ ３Ｄ Ｖｉｄｅｏ Ｆｏｒｍａｔｓ ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ Ｃｏｎｔｅｎｔ Ｐｒｏｔｅｃｔｉｏｎ ｓｕｂｅｌｅｍｅｎｔ、Ｃｏｕｐｌｅｄ Ｓｉｎｋ Ｉｎｆｏｒｍａｔｉｏｎ ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ Ｅｘｔｅｎｄｅｄ Ｃａｐａｂｉｌｉｔｙ ｓｕｂｅｌｅｍｅｎｔ、Ｌｏｃａｌ ＩＰ Ａｄｄｒｅｓｓ ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ Ｓｅｓｓｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ｓｕｂｅｌｅｍｅｎｔ、Ａｌｔｅｒｎａｔｉｖｅ ＭＡＣ Ａｄｄｒｅｓｓ ｓｕｂｅｌｅｍｅｎｔであることを示すことができる。ここで、ＷＦＤ Ｄｅｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ ｓｕｂｅｌｅｍｅｎｔは、ＷＦＤ装置とのペアリング及びセッション生成を試みるかを決定するのに必要な情報を含むことができる。Ａｓｓｏｃｉａｔｅｄ ＢＳＳＩＤ ｓｕｂｅｌｅｍｅｎｔは、現在連係したＡＰのアドレスを指示するために使われることができる。ＷＦＤ Ａｕｄｉｏ Ｆｏｒｍａｔｓ ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ Ｖｉｄｅｏ Ｆｏｒｍａｔｓ ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ ３Ｄ Ｖｉｄｅｏ Ｆｏｒｍａｔｓ ｓｕｂｅｌｅｍｅｎｔの各々は、オーディオ、ビデオ、３Ｄビデオに関連したＷＦＤ装置の能力（ｃａｐａｂｉｌｉｔｙ）を指示するために使われることができる。ＷＦＤ Ｃｏｎｔｅｎｔ Ｐｒｏｔｅｃｔｉｏｎ ｓｕｂｅｌｅｍｅｎｔは、コンテンツ保護方法と関連した情報を伝達し、Ｃｏｕｐｌｅｄ Ｓｉｎｋ Ｉｎｆｏｒｍａｔｉｏｎ ｓｕｂｅｌｅｍｅｎｔは、ｃｏｕｐｌｅｄシンクの状態、ＭＡＣアドレスなどに対する情報を伝達することができる。ＷＦＤ Ｅｘｔｅｎｄｅｄ Ｃａｐａｂｉｌｉｔｙ ｓｕｂｅｌｅｍｅｎｔは、その他のＷＦＤ装置の多様な能力情報を伝達するために使われ、Ｌｏｃａｌ ＩＰ Ａｄｄｒｅｓｓ ｓｕｂｅｌｅｍｅｎｔは、ＴＤＬＳセットアップ過程でＷＦＤピアにＩＰアドレスを伝達するために使われることができる。ＷＦＤ Ｓｅｓｓｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ｓｕｂｅｌｅｍｅｎｔは、ＷＦＤグループ内のＷＦＤ装置情報技術者のリストなどの情報を含むことができる。ＷＦＤ接続方法が装置探索で使われるものと異なるインターフェース（例えば、ＭＡＣアドレス）を必要とする場合、Ａｌｔｅｒｎａｔｉｖｅ ＭＡＣ Ａｄｄｒｅｓｓ ｓｕｂｅｌｅｍｅｎｔが関連情報を伝達することができる。

【0085】

以下、本発明の実施例ではＷＦＤ（または、ミラキャスト（ｍｉｒａｃａｓｔ））を介したユーザ入力（ｕｓｅｒ ｉｎｐｕｔ、ＵＩ）及びサブタイトル（ｓｕｂｔｉｔｌｅ）に対する情報を送信する方法が開示される。

【0086】

特に、ＵＩイメージ／サブタイトルの各々は、基礎ストリーム（ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）としてパケットタイジングされて別途のＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）で生成された後、ＭＰＥＧ２−ＴＳ（ｔｒａｎｓｐｏｒｔ ｓｔｒｅａｍ）の多重化部を介してビデオストリームにオーバーレイ（ｏｖｅｒｌａｙ）及び多重化（ＭＵＸ）されて送信されることができる。本発明の実施例では、ＷＦＤソースにより送信されたＵＩイメージ／サブタイトルがＷＦＤシンクで最適化されて設定されるための方法が開示される。

【0087】

本発明の実施例によると、ＷＦＤソースは、ＷＦＤシンクのネイティブ解像度（ｎａｔｉｖｅ ｒｅｓｏｌｕｔｉｏｎ）を認知してＷＦＤシンクに最適化された解像度を有するＵＩストリーム及びサブタイトルストリームを送信することができる。このような方法に基づいてＷＦＤシンクは、画質低下無しでＷＦＤシンクのディスプレイ上で最適の大きさを有するＵＩイメージ／サブタイトルイメージをＷＦＤシンクのディスプレイ上に出力することができる。

【0088】

また、以下、本発明の実施例では、ＵＩイメージ及びサブタイトルイメージがビデオイメージにオーバーレイ（ｏｖｅｒｌａｙ）される場合、ＷＦＤシンクでＵＩＢＣデータ（または、ＵＩＢＣボディフォーマット）にオーバーレイと関連した情報を含んで送信する方法が開示される。オーバーレイと関連した情報は、オーバーレイインデックス、ストリームインデックスなどを含むことができる。ＵＩＢＣを介して送信されるＵＩＢＣデータに含まれるオーバーレイと関連した情報に基づいてＷＦＤソースがＷＦＤシンク上で実行されるユーザの動作の意図を正確に認知することができる。

【0089】

ＷＦＤソースで送信される一つのＭＰＥＧ２−ＴＳで多重化（ｍｕｌｔｉｐｌｅｘｉｎｇ）されたストリームは、複数個のオーディオストリーム／ビデオストリーム、ＵＩストリーム、サブタイトルストリームを含み、ＷＦＤシンクは、一つのＭＰＥＧ２−ＴＳで多重化されたストリームを逆多重化（ｄｅｍｕｌｔｉｐｌｅｘｉｎｇ）し、複数個の互いに異なるストリームをアルファブレンディング（ａｌｐｈａ−ｂｌｅｎｄｉｎｇ）という方法でオーバーレイしてＷＦＤシンクのディスプレイ上に出力することができる。

【0090】

ＭＰＥＧ２−ＴＳは、複数のストリームをオーバーレイ多重化するための送信ストリームに対する一つの例示であり、ＭＰＥＧ２−ＴＳの代わりに他のフォーマット（または、構造（ｓｔｒｕｃｔｕｒｅ））の送信ストリームがオーディオストリーム／ビデオストリーム、ＵＩストリーム、サブタイトルストリームなどを多重化して送信するために使われることもできる。

【0091】

図８は、本発明の実施例に係るＭＰＥＧ−ＴＳに基づく複数のストリームを送信及び受信する方法を示す概念図である。

【0092】

図８を参照すると、ビデオストリーム８００、オーディオストリーム８１０、サブタイトルストリーム８２０、ユーザインターフェースストリーム８３０は、オーバーレイ多重化されてＭＰＥＧ２−ＴＳ８４０で生成されることができる。

【0093】

ビデオストリーム８００は、ビデオデータを含み、オーディオストリーム８１０は、オーディオデータを含み、サブタイトルストリーム８２０は、サブタイトルデータを含み、ユーザインターフェースストリーム８３０は、ユーザインターフェースに対するデータを含むことができる。

【0094】

ビデオストリーム８００、オーディオストリーム８１０、サブタイトルストリーム８２０、ユーザインターフェースストリーム８３０は、個別的なＥＳ（ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）であり、複数のＥＳの各々は、互いに異なるフォーマット、互いに異なる解像度、互いに異なるビットレートを有することができる。複数のＥＳの各々は、パケット化されて複数のＰＥＳの各々で生成されることができ、複数のＰＥＳの各々は、オーバーレイ多重化されてＭＰＥＧ２−ＴＳで生成されることができる。

【0095】

ＷＦＤソースは、生成されたＭＰＥＧ２−ＴＳ８４０をＷｉＦｉダイレクト（ＷｉＦｉ Ｐ２Ｐ（ｐｅｅｒ ｔｏ ｐｅｅｒ））に基づいてＷＦＤシンクに送信することができる。

【0096】

ＷＦＤシンクは、ＭＰＥＧ２−ＴＳ８４０をＷｉＦｉダイレクトに基づいて受信することができる。ＷＦＤシンクにおけるＭＰＥＧ２−ＴＳ８４０は、逆多重化されてビデオストリーム８５０、オーディオストリーム８６０、サブタイトルストリーム８７０、ユーザインターフェースストリーム８８０に再び分離されることができる。分離されたビデオストリーム８５０、オーディオストリーム８６０、サブタイトルストリーム８７０、ユーザインターフェースストリーム８８０は、アルファブレンディング（または、オーバーレイ）に基づいて再生されることができる。

【0097】

図９は、本発明の実施例に係るＭＰＥＧ−ＴＳに基づくオーバーレイ多重化（ｏｖｅｒｌａｙ Ｍｕｘ）の問題点を示す概念図である。

【0098】

前述したように、ＭＰＥＧ２−ＴＳに基づく複数のＥＳのオーバーレイ時、複数のＥＳの各々は、互いに異なる解像度を有することができる。大部分のＷＦＤシンクは、受信したビデオストリーム（または、ビデオデータ）／サブタイトルストリーム（または、サブタイトルデータ）／ユーザインターフェースストリーム（または、ユーザインターフェースデータ）の解像度がＷＦＤシンクのネイティブ解像度（ｎａｔｉｖｅ ｒｅｓｏｌｕｔｉｏｎ）と合わない場合、ネイティブ解像度に合うように受信したビデオストリーム／サブタイトルストリーム／ユーザインターフェースストリームの解像度が再スケーリング（ｒｅｓｃａｌｉｎｇ）（アップスケーリングまたはダウンスケーリング）されることができる。

【0099】

以下、説明の便宜上、ビデオストリーム／サブタイトルストリーム／ユーザインターフェースストリームの解像度が再スケーリングされるという表現を使用するが、このような表現は、ビデオストリームに含まれるビデオデータの解像度／サブタイトルストリームに含まれるサブタイトルデータの解像度／ユーザインターフェースストリームに含まれるユーザインターフェースデータの解像度が再スケーリングされることを意味する。

【0100】

ビデオストリームが再スケーリングされる場合、ユーザには大きい拒否感がない。しかし、ユーザインターフェースストリームやサブタイトルストリームが再スケーリングされる場合、ユーザにあまりにも大きい、またはあまりにも小さいユーザインターフェースイメージ／サブタイトルイメージがＷＤＦシンク上でディスプレイされることができる。

【0101】

図９では、ＷＦＤシンクのネイティブ解像度に合うように受信したビデオストリーム／サブタイトルストリーム／ユーザインターフェースストリームの解像度がアップスケーリングされた場合が開示される。

【0102】

図９を参照すると、ＷＦＤシンクのネイティブ解像度が１９２０×１０８０であり、ＷＦＤソースのネイティブ解像度が６４０×４８０である場合が仮定される。このような場合、ＷＦＤソースにより送信される複数のＥＳを含むＭＰＥＧ２−ＴＳに含まれるビデオストリーム、サブタイトルストリームまたはユーザインターフェースストリームの解像度は、６４０×４８０である。

【0103】

６４０×４８０の解像度を有するビデオストリーム、サブタイトルストリーム及びユーザインターフェースストリームを受信したＷＦＤシンクは、ＷＦＤシンクのネイティブ解像度を考慮して６４０×４８０の解像度を有するビデオストリーム、サブタイトルストリーム及びユーザインターフェースストリームを１９２０×１０８０にアップスケールリング９００することができる。

【0104】

このような場合、ビデオイメージは、ＷＦＤシンクで大きい異質感無しで出力されることができるが、ユーザインターフェースイメージとサブタイトルイメージは、あまりにも大きくなる。例えば、ＷＦＤソースでは、ユーザの可視性及び操作容易度のために画面の比率に比べて相対的に大きいイメージのサブタイトル及びユーザインターフェースが活用されることができ、ＷＦＤシンクでこのような比率を考慮せずにＷＦＤシンクのネイティブ解像度を考慮してサブタイトルイメージ及びユーザインターフェースイメージをアップスケールリング９００する場合、サブタイトルイメージ及びユーザインターフェースイメージがあまりにも大きくなる。それだけでなく、サブタイトルイメージとユーザインターフェースイメージのアップスケールリング９００によりサブタイトルイメージとユーザインターフェースイメージの解像度がＷＦＤシンクのディスプレイの解像度と差が大きい場合、文字可読性が落ちてユーザが一層異質感を大きく感じるようになる。

【0105】

図１０は、本発明の実施例に係るＭＰＥＧ−ＴＳに基づくオーバーレイ多重化の問題点を示す概念図である。

【0106】

図１０では、ＷＦＤシンクのネイティブ解像度に合うように受信したビデオストリーム／サブタイトルストリーム／ユーザインターフェースストリームの解像度がダウンスケーリング１０００された場合が開示される。

【0107】

図１０を参照すると、ＷＦＤシンクのネイティブ解像度が１９２０×１０８０であり、ＷＦＤソースのネイティブ解像度が４０９６×２１６０である場合が仮定される。このような場合、ＷＦＤソースにより送信される複数のＥＳを含むＭＰＥＧ２−ＴＳに含まれるビデオストリーム、サブタイトルストリーム、ユーザインターフェースストリームの解像度は、４０９６×２１６０である。

【0108】

４０９６×２１６０の解像度を有するビデオストリーム、サブタイトルストリーム及びユーザインターフェースストリームを受信したＷＦＤシンクは、ＷＦＤシンクのネイティブ解像度を考慮して４０９６×２１６０の解像度を有するビデオストリーム、サブタイトルストリーム及びユーザインターフェースストリームを１９２０×１０８０にダウンスケーリング１０００することができる。

【0109】

このような場合、ビデオストリームは、ＷＦＤシンクでユーザに大きい異質感無しで出力されることができるが、ユーザインターフェースとサブタイトルが同じ場合、あまりにも小さくなる。例えば、ＷＦＤソースでは、ユーザの可視性及び操作容易度のために画面の比率に比べて相対的に小さいサブタイトル及びユーザインターフェースが活用されることができ、ＷＦＤシンクでこのような比率を考慮せずにＷＦＤシンクのネイティブ解像度を考慮してサブタイトル及びユーザインターフェースをダウンスケーリング１０００をする場合、サブタイトル及びユーザインターフェースがあまりにも小さくなる。

【0110】

即ち、図９及び図１０に示すように、ＷＦＤソースがＷＦＤシンクのネイティブ解像度を考慮せずに、オーバーレイエンコーディングを実行してＥＳ／ＰＥＳを送信する場合、ＷＦＤシンク上で不要に大きいまたは小さいユーザインターフェースイメージ、サブタイトルイメージが出力されることができる。本発明の実施例では、画面上にオーバーレイして出力されるサブタイトルイメージ／ユーザインターフェースイメージの大きさをＷＦＤシンクに合わせて調整するための方法が開示される。

【0111】

図１１は、本発明の実施例に係るユーザインターフェース及びサブタイトルの設定方法を示す概念図である。

【0112】

図１１では、ＷＦＤソースがＷＦＤシンクのネイティブ解像度に対する情報を取得するための方法が開示される。前述したように、ユーザインターフェースとサブタイトルがオーバーレイして送信される場合、ＷＦＤシンクのディスプレイに最適化されたユーザインターフェースとサブタイトルの設定及び表示方法が必要である。

【0113】

本発明の実施例によると、ソースＷＦＤは、オーバーレイエンコーディング（ｏｖｅｒｌａｙ ｅｎｃｏｄｉｎｇ）時、ＷＦＤシンクのネイティブ解像度に合うサブタイトルストリームとユーザインターフェースストリームに基づいてオーバーレイエンコーディングを実行することができる。

【0114】

即ち、ＷＦＤシンクは、ＷＦＤソースから受信したビデオストリームに対してのみ再スケーリング（アップスケールリング／ダウンスケーリング）を実行することができる。サブタイトルストリームとユーザインターフェースストリームは、ＷＦＤシンクのネイティブ解像度を考慮してＷＦＤソースにより送信されるため、サブタイトルストリームとユーザインターフェースストリームに対しては、ＷＦＤシンクは、ネイティブ解像度に基づく再スケーリングを実行しない。

【0115】

即ち、ＷＦＤシンクは、ＷＦＤシンクのネイティブ解像度に合うサブタイトルストリーム及びユーザインターフェースストリームをＷＦＤソースから受信し、再スケーリングすることなくそのまま出力することができる。したがって、サブタイトルとユーザインターフェースに対する画質損失無しでＷＦＤシンクの解像度に適応的に合うサブタイトルイメージ及びユーザインターフェースイメージがＷＦＤシンクに提供されることができる。

【0116】

ＷＦＤソースは、ＷＦＤサービス探索手順及びＲＴＳＰ能力交渉手順上でＷＦＤシンクのネイティブ解像度に対する情報を取得することができる。

【0117】

図１１を参照すると、ＷＦＤソースは、ＷＦＤサービス探索要求フレーム１１００をＷＦＤシンクに送信することができる。ＷＦＤシンクは、ＷＦＤサービス探索要求フレーム１１００に対する応答としてＷＦＤサービス探索応答フレーム１１２０を送信することができる。ＷＦＤサービス探索応答フレーム１１２０は、ＷＦＤシンクのネイティブ解像度に対する情報を含むことができる。例えば、ＷＦＤサービス探索応答フレーム１１２０は、ＷＦＤビデオフォーマット副要素（ＷＦＤ Ｖｉｄｅｏ Ｆｏｒｍａｔｓ ｓｕｂｅｌｅｍｅｎｔ）に含まれるネイティブ解像度／リフレッシュレートビットマップを介してＷＦＤシンクのネイティブ解像度に対する情報を伝達することができる。

【0118】

または、ＷＦＤソースは、ＲＴＳＰ Ｍ３要求メッセージ（または、Ｍ３ ＲＴＳＰ ＧＥＴ ＰＡＲＡＭＥＴＥＲ Ｒｅｑｕｅｓｔ）１１４０を送信し、ＷＦＤシンクは、ＲＴＳＰ Ｍ３要求メッセージ１１４０に対する応答としてＲＴＳＰ Ｍ３応答メッセージ（または、Ｍ３ ＲＴＳＰ ＧＥＴ ＰＡＲＡＭＥＴＥＲ Ｒｅｓｐｏｎｓｅ）１１６０を送信することができる。そのとき、ＲＴＳＰ Ｍ３応答メッセージ１１６０は、ＷＦＤシンクのネイティブ解像度に対する情報を含むことができる。

【0119】

図１２は、本発明の実施例に係るＷＦＤソースのユーザインターフェース情報及びサブタイトル情報の送信方法を示す概念図である。

【0120】

図１２を参照すると、ＷＦＤソースは、ＷＦＤシンクのネイティブ解像度を認知することができ、ＷＦＤソースは、ＷＦＤシンクに対してＷＦＤシンクの解像度に合う最適（ｏｐｔｉｍａｌ）のユーザインターフェースデータ及び最適のサブタイトルデータの各々に対するＥＳをパケット化して多重化してＷＦＤシンクに送信することができる。

【0121】

ＷＦＤソースがＷＦＤシンクのネイティブ解像度に基づいて決定された最適の解像度のサブタイトルストリーム及びユーザインターフェースストリームをビデオストリームとオーバーレイして送信する場合、ＷＦＤシンクは、ＷＦＤシンクのディスプレイ上でサブタイトル及びユーザインターフェースを最適化して出力することができる。

【0122】

このような方法が使われる場合、ユーザは、ビデオストリーム（または、ビデオデータ）の解像度と独立的な解像度を有するＷＦＤシンクのネイティブ解像度に合うサブタイトルストリーム及びユーザインターフェースストリームを受信することができる。即ち、ＷＦＤシンクは、ユーザインターフェースとサブタイトルを画質低下無しでディスプレイ上で出力することができる。

【0123】

そのために、ＷＦＤソースは、格納部（ｓｔｏｒａｇｅ）１２００に多様な解像度／設定のユーザインターフェースデータ及びサブタイトルデータの設定セットを含むことができる。ＷＦＤソースは、ユーザインターフェースデータ及びサブタイトルデータの設定セットでＷＦＤソースのネイティブ解像度に最適であるユーザインターフェース及びサブタイトルを選択してＷＦＤシンクに送信することができる。

【0124】

例えば、ＷＦＤソースの格納部１２００には多様な解像度（２０４８×Ｎ、１９２０×Ｎ、１６８０×Ｎ、１２８０×Ｎ等）の水平方向のユーザインターフェース情報／水平方向のサブタイトル情報が格納されることができる。また、ＷＦＤソースの格納部１２００には多様な解像度（Ｎ×２０４８、Ｎ×１９２０、Ｎ×１６８０、Ｎ×１２８０等）の垂直方向のユーザインターフェース情報／垂直方向のサブタイトル情報が格納されることができる。

【0125】

ＷＦＤソースは、ＷＦＤサービス探索手順及びＲＴＳＰ能力交渉手順上でＷＦＤシンクのネイティブ解像度に対する情報だけでなく、選好するユーザインターフェース及びサブタイトルの方向に対する情報を取得し、解像度及びユーザインターフェース及びサブタイトルの方向に対する情報に基づいて最適のサブタイトルストリーム及びユーザインターフェースストリームをＷＦＤシンクに送信することができる。

【0126】

図１３は、本発明の実施例に係る最適のユーザインターフェース及びサブタイトルを設定する方法を示す概念図である。

【0127】

図１３において、ＷＦＤソースは、ＷＦＤソースのユーザインターフェースデータ及びサブタイトルデータの設定セット（ｃｏｎｆｉｇｕｒａｔｉｏｎ ｓｅｔ）に基づいてＷＦＤシンクに合うようにユーザインターフェースの位置を調整することができる。

【0128】

例えば、図１２に示すように、ユーザインターフェースデータ及びサブタイトルデータの設定セットが垂直方向のユーザインターフェースデータ及びサブタイトルデータと水平方向のユーザインターフェースデータ及びサブタイトルデータとを含む場合、ＷＦＤソースとＷＦＤシンクとの間の交渉（ｎｅｇｏｔｉａｔｉｏｎ）によって水平または垂直方向のユーザインターフェースデータ及びサブタイトルデータがＷＦＤソースからＷＦＤシンクに送信されることができる。

【0129】

図１３を参照すると、ＷＦＤソースは、エンコーディング／ストリーミングするビデオストリームの解像度と独立的にＷＦＤシンクのネイティブ解像度に基づいて決定された解像度の垂直または水平方向のサブタイトルデータ／ユーザインターフェースデータの各々を各々のストリームで生成してビデオストリームと共にオーバーレイ多重化してＭＰＥＧ２−ＴＳを介して送信することができる。

【0130】

ＷＦＤシンクは、ＭＰＥＧ２−ＴＳに対する逆多重化を実行した後、ビデオストリームに対してのみ再スケーリング（アップスケールリング／ダウンスケーリング）してディスプレイ上で出力することができる。また、ＷＦＤシンクは、ＭＰＥＧ２−ＴＳに対する逆多重化を介して分離したサブタイトルストリーム及びユーザインターフェースストリームの各々に対しては再スケーリング手順無しで即座に出力することができる。

【0131】

図１４は、本発明の実施例に係るＵＩＢＣに基づくＷＦＤソース及びＷＦＤシンクの動作を示す概念図である。

【0132】

図１４では、ＷＦＤソースがビデオストリーム、サブタイトルストリームユーザインターフェースストリームをオーバーレイエンコーディング（ｏｖｅｒｌａｙ ｅｎｃｏｄｉｎｇ）して送信する場合、ＵＩＢＣ（ｕｓｅｒ ｉｎｐｕｔ ｂａｃｋ ｃｈａｎｎｅｌ）を介してユーザのＷＦＤシンクに対する入力信号をＷＦＤソースに伝達するための方法が開示される。ＵＩＢＣは、ＷＦＤシンクに存在するユーザインターフェースでユーザ動作に基づくユーザ入力情報を入力した場合、ユーザ入力情報をＷＦＤソースに伝達するためのチャネルである。

【0133】

以下、既存のＵＩＢＣを介したＷＦＤシンク及びＷＦＤソース間の通信において、ユーザ入力情報の解釈の問題点が開示される。

【0134】

図１４を参照すると、ＷＦＤソースが二つの互いに異なるユーザインターフェース（ＵＩ１、ＵＩ２）の各々に対する複数のユーザインターフェースストリームの各々をＭＰＥＧ２−ＴＳにオーバーレイする場合、ＷＦＤシンクは、ディスプレイ上でどこでもＵＩ１イメージ１４００及びＵＩ２イメージ１４５０を出力することができる。

【0135】

ＷＦＤシンクは、ＷＦＤシンクのディスプレイを基準にしてユーザ入力信号に対するＸ座標、Ｙ座標をＵＩＢＣを介して送信し、ＷＦＤソースは、ＷＦＤシンクのディスプレイを基準にするユーザ入力信号による動作を正確に解釈することができない。例えば、ユーザがＷＦＤシンクのディスプレイ上で左側マウスボタンを押してクリック状態を設定してＵＩ１イメージ１４００を選択した以後、マウスを動いてＵＩ１イメージ１４００を他の位置に移動させ、左側マウスボタンの押しを解除してクリック状態を解除する場合が仮定されることができる。

【0136】

このような場合、ＷＦＤシンクは、ＷＦＤシンクのディスプレイ上の（１０、２００）位置で左側マウスダウン信号が生成されることを指示するＬｅｆｔ ｍｏｕｓｅ Ｄｏｗｎ（１０、２００）信号（ステップＳ１４１０）を生成し、マウスがＷＦＤシンクのディスプレイ上の（１７００、８００）位置に移動することを指示するＭｏｕｓｅ ｍｏｖｅ（１７００、８００）信号（ステップＳ１４２０）を生成し、（１７１０、８２０）の位置で左側マウスアップ信号が生成されることを指示するＬｅｆｔ ｍｏｕｓｅ Ｕｐ（１７１０、８２０）信号（ステップＳ１４３０）を順次に生成してＷＦＤソースに送信することができる。

【0137】

しかし、ビデオストリームとオーバーレイして送信したＵＩ１に対するユーザインターフェースストリーム１に基づくＵＩ１イメージ１４００とＵＩ２に対するユーザインターフェースストリーム２に基づくＵＩ２イメージ１４５０の各々がＷＦＤシンクのディスプレイ上へのどの位置に出力されるかは、ＷＦＤシンクの決定に従うため、ＷＦＤソースは、ユーザ入力信号によるユーザの意図を正確に解釈することができない。また、既存のように包括タイプ（ｇｅｎｅｒｉｃ ｔｙｐｅ）のＵＩＢＣパケットが生成される場合、ＷＦＤソースは、ＵＩ１及びＵＩ２のうちどのＵＩに対するユーザ動作であるかに対しても正確に認知することができない。

【0138】

図１５は、本発明の実施例に係るＵＩＢＣに基づくＷＦＤソース及びＷＦＤシンクの動作を示す概念図である。

【0139】

図１５では、図１４で開示した既存のＵＩＢＣを介したＷＦＤシンク及びＷＦＤソース間の通信において、ユーザ入力情報の解釈の問題点を解決するための方法が開示される。ＵＩＢＣベースの動作のために、ＷＦＤシンクは、既存の座標情報及び追加的な情報（オーバーレイインデックス（ｏｖｅｒｌａｙ ｉｎｄｅｘ）またはＭＰＥＧ２−ＴＳストリーム識別子（ＭＰＥＧ２ＴＸ ｓｔｒｅａｍ ｉｄ）、ストリームタイプ（ｓｔｒｅａｍ ｔｙｐｅ）、説明タグ（ｄｅｓｃｒｉｐｔｉｏｎ ｔａｇ）等）をＵＩＢＣを介してＷＦＤソースに送信してユーザ入力情報を伝達することができる。

【0140】

図１５を参照すると、ＷＦＤソースは、ＷＦＤシンクが送信するＵＩＢＣメッセージのＵＩＢＣ包括入力ボディ（ＵＩＢＣ ｇｅｎｅｒｉｃ ｉｎｐｕｔ ｂｏｄｙ）内に含まれるストリーム情報（ｓｔｒｅａｍ ｉｎｆｏｒｍａｔｉｏｎ）に基づいて現在ＷＦＤシンクを介してユーザがどのＵＩに対してどのような動作を実行したかに対する情報を取得することができる。

【0141】

具体的に、ＵＩＢＣ包括入力ボディは、以下の表４のような構成を含むことができる。

【0142】

【表4】

【0143】

以上の表４において、ストリーム情報（ｓｔｒｅａｍ ｉｎｆｏｒｍａｔｉｏｎ）は、以下の表５のようなフィールドを含むことができる。

【0144】

【表5】

【0145】

即ち、ＷＦＤソースは、ストリーム情報フィールドに含まれるオーバーレイインデックス情報に基づいてＷＦＤシンクでユーザが指示したＵＩに対する情報を取得することができる。また、ＷＦＤソースは、ストリーム情報フィールドに含まれるストリームＩＤ情報、ストリームタイプ情報に基づいてユーザが指示したＵＩに対する情報を取得することができる。

【0146】

説明タグは、複数のオーバーレイＩＤ（または、ストリームＩＤ）の各々により指示されるＵＩイメージ／サブタイトルイメージ／ビデオイメージの各々に対するユーザの動作で生成されたユーザ入力信号（または、ユーザ入力情報）を理解するための詳細情報を含むことができる。例えば、説明タグは、オーバーレイＩＤに対応されるＷＦＤシンクのディスプレイ上で出力されるイメージで可能なＸ座標及びＹ座標に対する情報を含むことができる。例えば、説明タグに含まれるＸ座標、Ｙ座標の値は、ＷＦＤシンクで出力されるＵＩイメージの横／縦の大きさに対応されることができる。例えば、ＵＩ１のイメージ（ＵＩイメージ１）１５００の大きさが４００×２００であり、ＷＦＤシンクのディスプレイ上でユーザがＵＩイメージ１ １５００上でユーザ入力信号を発生させた場合、発生可能なＸ座標、Ｙ座標は（０、０）から最大（４００、２００）の範囲に含まれることができる。

【0147】

図１５のように、ＷＦＤシンクは、ＵＩＢＣ包括入力ボディ内にストリーム情報を含んで送信することができる。ＷＦＤソースは、ストリーム情報に基づいてＷＦＤシンクがどのＵＩイメージ上で動作したかに対して決定できる。例えば、ＷＦＤシンクは、ＵＩイメージ１ １５００上の特定部分座標（３９０、２００）に対して左側マウスダウンをしてクリックし（ステップＳ１５１０）、ビデオストリームに基づくビデオイメージを基準にして特定部分座標（１７００、８００）にマウスを移動し（ステップＳ１５２０）、ＵＩイメージ２ １５５０上の特定位置座標（２００、１００）でＭｏｕｓｅ ｕｐ動作をすることができる（ステップＳ１５３０）。

【0148】

このように、ＷＦＤシンクは、全体画面を基準にする座標値伝達でないオーバーレイされる各々のイメージ（または、オーバーレイされるストリーム）（例えば、ＵＩイメージ）を基準にする座標を伝達することができる。したがって、ＷＦＤシンクのディスプレイ上で各オーバーレイされるＵＩの位置が変更される場合、ＷＦＤソースは、ＷＦＤシンクから送信されるＵＩＢＣ包括入力ボディ内にストリーム情報に基づいてユーザ入力信号によるユーザ動作を正確に解釈（または、決定）することができる。

【0149】

また、本発明の実施例ではユーザインターフェース及びサブタイトルがオーバーレイ多重化に基づいて送信される場合、ＷＦＤシンクのディスプレイに最適化されたＵＩとサブタイトルの設定及び出力のために下記のような方法が使われることができる。ＵＩとサブタイトルは、補助コンテンツ（ａｕｘｉｌｉａｒｙ ｃｏｎｔｅｎｔｓ）、ＵＩとサブタイトルのためのストリームは、補助ストリーム（ａｕｘｉｌｉａｒｙ ｃｏｎｔｅｎｔｓ）という用語で表現されることができる。ＷＦＤソースでサポート可能な補助コンテンツ（補助ストリーム）の解像度とＷＦＤシンクのネイティブ解像度（または、パネル解像度）を比較し、二つのうち解像度が低いものがＷＦＤシンクで出力される補助コンテンツ（補助ストリーム）の解像度で設定されることができる。

【0150】

数式として、ＷＦＤシンクで補助コンテンツのための解像度（Ｒｅｓｏｌｕｔｉｏｎ ｆｏｒ ａｕｘｉｌｉａｒｙ ｃｏｎｔｅｎｔｓ ｉｎ ＷＦＤ ｓｉｎｋ）＝Ｍｉｎｉｍｕｍ｛ソース装置（または、ＷＦＤソース）の最大解像度（Ｓｏｕｒｃｅ ｄｅｖｉｃｅ（ＷＦＤ ｓｏｕｒｃｅ）’ｓ ｍａｘｉｍｕｍ ｒｅｓｏｌｕｔｉｏｎ）、シンク装置（または、ＷＦＤシンク）のネイティブ解像度（Ｓｉｎｋ ｄｅｖｉｃｅ（ＷＦＤ ｓｉｎｋ）’ｓ ｎａｔｉｖｅ ｒｅｓｏｌｕｔｉｏｎ）｝で表現されることができる。

【0151】

例えば、ＷＦＤソースの最大解像度が２０４８×１０８０（２ｋ）であり、ＷＦＤシンクのネイティブ解像度が３８４０×２１６０（または、４０９６×２１６０）（４ｋ）であり、シンク装置の最大解像度が２ｋである場合、ＷＦＤシンクで出力される補助コンテンツの解像度は、２ｋである。

【0152】

他の例として、ＷＦＤソースの最大解像度が４ｋであり、ＷＦＤシンクのネイティブ解像度が４ｋであり、シンク装置の最大解像度が２ｋである場合、ＷＦＤシンクで出力される補助コンテンツの解像度は、４ｋである。

【0153】

また、本発明の実施例ではユーザインターフェース及びサブタイトルがオーバーレイ多重化に基づいて送信される場合、ＷＦＤシンクのディスプレイに最適化されたＵＩとサブタイトルの設定及び出力のために下記のような方法が使われることができる。

【0154】

ＷＦＤソースの補助コンテンツ（または、補助ストリーム）のためにサポート可能な最大解像度とＷＦＤシンクの補助コンテンツ（または、補助ストリーム）のためにサポート可能な最大解像度を比較し、二つのうち低い解像度がＷＦＤシンクで出力される補助コンテンツ（または、補助ストリーム）に対する最大解像度である。

【0155】

数式として、ＷＦＤシンクで補助ストリームのための解像度（Ｒｅｓｏｌｕｔｉｏｎ ｆｏｒ ａｕｘｉｌｉａｒｙ ｓｔｒｅａｍｓ ｉｎ ＷＦＤ ｓｉｎｋ）＝Ｍｉｎｉｍｕｍ｛ソース装置（または、ＷＦＤソース）の補助ストリームの最大解像度（Ｓｏｕｒｃｅ ｄｅｖｉｃｅ（ＷＦＤ ｓｏｕｒｃｅ）’ｓ ｍａｘｉｍｕｍ ｒｅｓｏｌｕｔｉｏｎ ｏｆ ａｕｘｉｌｉａｒｙ ｓｔｒｅａｍｓ及びシンク装置（または、ＷＦＤシンク）の補助ストリームの最大解像度（Ｓｉｎｋ ｄｅｖｉｃｅ（ＷＦＤ ｓｉｎｋ）’ｓ ｍａｘｉｍｕｍ ｒｅｓｏｌｕｔｉｏｎ ｏｆ ａｕｘｉｌｉａｒｙ ｓｔｒｅａｍｓ）｝である。

【0156】

例えば、ＷＦＤソースで補助ストリームに対して最大サポート可能な解像度が２０４８×１０８０（２ｋ）であり、ＷＦＤシンクで補助ストリームに対して最大サポート可能な解像度が３８４０×２１６０（４ｋ）である場合、ＷＦＤシンクで出力される補助コンテンツの解像度は、２ｋである。

【0157】

他の例として、ＷＦＤソースで補助ストリームに対して最大サポート可能な解像度が４ｋであり、ＷＦＤシンクで補助ストリームに対して最大サポート可能な解像度が２ｋである場合、ＷＦＤシンクで出力される補助コンテンツの解像度は、４ｋである。

【0158】

図１６は、本発明の実施例に係る補助ストリームのための解像度を決定する方法を示す概念図である。

【0159】

図１６を参照すると、ＷＦＤソースは、ＷＦＤ２サービス探索（ｓｅｒｖｉｃｅ ｄｉｓｃｏｖｅｒｙ）とＲＴＳＰ能力交渉（ｃａｐａｂｉｌｉｔｙ ｎｅｇｏｔｉａｔｉｏｎ）に基づいてＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報／サポート可能な補助ストリームの最大解像度に対する情報を取得することができる。

【0160】

例えば、ＷＦＤソースは、ＷＦＤ２サービス探索要求フレーム１６００をＷＦＤシンクに送信することができる。ＷＦＤシンクは、ＷＦＤ２サービス探索要求フレーム１６００に対する応答としてＷＦＤ２サービス探索応答フレーム１６１０をＷＦＤソースに送信することができる。ＷＦＤシンクのＷＦＤ２サービス探索応答フレーム１６１０は、補助ストリームフォーマット副要素（ａｕｘｉｌｉａｒｙ ｓｔｒｅａｍ ｆｏｒｍａｔｓ ｓｕｂｅｌｅｍｅｎｔ）を含むことができる。補助ストリームフォーマット副要素は、補助ストリームコーデックビットマップ、参照オーバーレイ解像度ビットマップを含むことができる。補助ストリームコーデックビットマップは、ＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報を含み、参照オーバーレイ解像度ビットマップは、ＷＦＤシンクでサポート可能な補助ストリームの最大解像度に対する情報を含むことができる。

【0161】

また、ＲＴＳＰ Ｍ３要求メッセージ（Ｍ３ ＲＴＳＰ ＧＥＴ ＰＡＲＡＭＥＴＥＲ Ｒｅｑｕｅｓｔ）１６２０／ＲＴＳＰ Ｍ３応答メッセージ（Ｍ３ ＲＴＳＰ ＧＥＴ ＰＡＲＡＭＥＴＥＲ Ｒｅｓｐｏｎｓｅ）１６３０に基づいてＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報／サポート可能な補助ストリームの最大解像度に対する情報が取得されることもできる。

【0162】

ＲＴＳＰ Ｍ３応答メッセージ１６３０は、補助ストリームフォーマットを含むことができる。補助ストリームフォーマットは、補助ストリームコーデックビットマップ、参照オーバーレイ解像度ビットマップを含むことができる。補助ストリームコーデックビットマップは、ＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報を含み、参照オーバーレイ解像度ビットマップは、ＷＦＤシンクでサポート可能な補助ストリームの最大解像度に対する情報を含むことができる。

【0163】

補助ストリームコーデックビットマップは、以下の表６のように定義されることができる。

【0164】

【表6】

【0165】

表６を参照すると、補助ストリームコーデックビットマップは、サポートされる補助コンテンツのコーデックに対する情報を含むことができる。補助ストリームコーデックビットマップで、１番目のビットは、ＰＮＧフォーマットの補助コンテンツをサポートするかどうかに対する情報を指示し、２番目のビットは、ＪＰＥＧフォーマットの補助コンテンツをサポートするかどうかに対する情報を指示することができる。

【0166】

参照オーバーレイ解像度ビットマップは、以下の表７のように定義されることができる。

【0167】

【表7】

【0168】

表７を参照すると、参照オーバーレイ解像度ビットマップは、補助ストリームを生成するためにサポートされる解像度を示すためのビットを含むことができる。

【0169】

補助ストリームのためのサポートされる解像度／リフレッシュレートは、ＣＥＡ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ａｓｓｏｃｉａｔｉｏｎ）、ＶＥＳＡ（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ）、ＨＨ（ｈａｎｄｈｅｌｄ）フォーマットの解像度／リフレッシュレートを参照することができる。

【0170】

参照オーバーレイ解像度ビットマップの１：０ビット情報を介して参照するグラフィックフォーマットに対する情報を含み、７：２ビット情報に基づいて１：０ビット情報を介して選択されたグラフィックフォーマットでサポートされる全ての解像度に対する情報が指示されることができる。

【0171】

表８は、ＣＥＡ解像度／リフレッシュレートに対するインデックスを例示的に示す。

【0172】

【表8】

【0173】

または、本発明の実施例ではユーザインターフェース及びサブタイトルがオーバーレイ多重化に基づいて送信される場合、ＷＦＤシンクのディスプレイに最適化されたＵＩとサブタイトルの設定及び出力のために下記のような方法が使われることができる。

【0174】

ＷＦＤシンクで出力される補助コンテンツ（または、補助ストリーム）の解像度は、１）ＷＦＤソースの補助ストリームに対する最大解像度、２）ＷＦＤシンクのネイティブ解像度及びＷＦＤシンクの補助ストリームの最大解像度のうち最小値に対して１）、２）の最小値である。

【0175】

数式として、補助ストリームのための解像度（Ｒｅｓｏｌｕｔｉｏｎ ｆｏｒ ａｕｘｉｌｉａｒｙ ｓｔｒｅａｍｓ）＝Ｍｉｎｉｍｕｍ｛ソース装置（または、ＷＦＤソース）の補助ストリームの最大解像度（Ｓｏｕｒｃｅ ｄｅｖｉｃｅ（ＷＦＤ ｓｏｕｒｃｅ）’ｓ ｍａｘｉｍｕｍ ｒｅｓｏｌｕｔｉｏｎ ｏｆ ａｕｘｉｌｉａｒｙ ｓｔｒｅａｍｓ）、Ｍｉｎｉｍｕｍ［シンク装置のネイティブ解像度（Ｓｉｎｋ ｄｅｖｉｃｅ（ＷＦＤ ｓｉｎｋ）’ｓ ｎａｔｉｖｅ ｒｅｓｏｌｕｔｉｏｎ）、シンク装置（または、ＷＦＤシンク）の補助ストリームの最大解像度（Ｓｉｎｋ ｄｅｖｉｃｅ（ＷＦＤ ｓｉｎｋ）’ｓ ｍａｘｉｍｕｍ ｒｅｓｏｌｕｔｉｏｎ ｏｆ ａｕｘｉｌｉａｒｙ ｓｔｒｅａｍｓ）］｝である。

【0176】

例えば、ＷＦＤソースで補助ストリームに対して最大サポート可能な解像度が２ｋであり、ＷＦＤシンクで補助ストリームに対して最大サポート可能な解像度が２ｋであり、ＷＦＤシンクでネイティブ解像度が４ｋである場合、ＷＦＤシンクで出力される補助コンテンツの解像度は、２ｋである。

【0177】

図１７は、本発明の実施例に係る補助ストリームのための解像度を決定する方法を示す概念図である。

【0178】

図１７を参照すると、ＷＦＤソースは、ＷＦＤサービス探索手順とＲＴＳＰ能力交渉手順に基づいてＷＦＤシンクのネイティブ解像度に対する情報、ＷＦＤシンクの最大ビデオ解像度（ｍａｘ ｖｉｄｅｏ ｒｅｓｏｌｕｔｉｏｎ）に対する情報、ＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報及びサポート可能な補助ストリームの最大解像度に対する情報を取得することができる。

【0179】

例えば、ＷＦＤソースは、ＷＦＤ２サービス探索要求フレーム１７００をＷＦＤシンクに送信することができる。ＷＦＤシンクは、ＷＦＤ２サービス探索要求フレーム１７００に対する応答としてＷＦＤ２サービス探索応答フレーム１７１０をＷＦＤソースに送信することができる。ＷＦＤシンクのＷＦＤ２サービス探索応答フレーム１７１０は、ビデオフォーマット副要素（ｖｉｄｅｏ ｆｏｒｍａｔ ｓｕｂｅｌｅｍｅｎｔ）及び補助ストリームフォーマット副要素（ａｕｘｉｌｉａｒｙ ｓｔｒｅａｍ ｆｏｒｍａｔｓ ｓｕｂｅｌｅｍｅｎｔ）を含むことができる。

【0180】

ビデオフォーマット副要素（ｖｉｄｅｏ ｆｏｒｍａｔ ｓｕｂｅｌｅｍｅｎｔ）は、ＷＦＤシンクのネイティブ解像度に対する情報及びＷＦＤシンクの最大ビデオ解像度に対する情報を含むことができる。

【0181】

補助ストリームフォーマット副要素は、補助ストリームコーデックビットマップ、参照オーバーレイ解像度ビットマップを含むことができる。補助ストリームコーデックビットマップは、ＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報を含み、参照オーバーレイ解像度ビットマップは、ＷＦＤシンクでサポート可能な補助ストリームの最大解像度に対する情報を含むことができる。

【0182】

また、ＲＴＳＰ Ｍ３要求メッセージ（Ｍ３ ＲＴＳＰ ＧＥＴ ＰＡＲＡＭＥＴＥＲ Ｒｅｑｕｅｓｔ）１７２０／ＲＴＳＰ Ｍ３応答メッセージ（Ｍ３ ＲＴＳＰ ＧＥＴ ＰＡＲＡＭＥＴＥＲ Ｒｅｓｐｏｎｓｅ）１７３０に基づいてＷＦＤシンクのネイティブ解像度に対する情報、ＷＦＤシンクの最大ビデオ解像度に対する情報、ＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報及びサポート可能な補助ストリームの最大解像度に対する情報を取得することができる。

【0183】

ＲＴＳＰ Ｍ３応答メッセージ１７３０は、ビデオフォーマット及び補助ストリームフォーマットを含むことができる。

【0184】

ビデオフォーマットは、ＷＦＤシンクのネイティブ解像度に対する情報及びＷＦＤシンクの最大ビデオ解像度に対する情報を含むことができる。

【0185】

補助ストリームフォーマットは、補助ストリームコーデックビットマップ、参照オーバーレイ解像度ビットマップを含むことができる。補助ストリームコーデックビットマップは、ＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報を含み、参照オーバーレイ解像度ビットマップは、ＷＦＤシンクでサポート可能な補助ストリームの最大解像度に対する情報を含むことができる。

【0186】

ＷＦＤソースは、ＷＦＤ２サービス探索応答フレーム１７１０／ＲＴＳＰ Ｍ３応答メッセージ１７３０に含まれる情報に基づいてＷＦＤシンクに送信する補助コンテンツの解像度を決定することができる。

【0187】

以下の表９は、ビデオフォーマット副要素に含まれるＷＦＤシンクのネイティブ解像度に対する情報を示すビットマップに対する説明である。

【0188】

【表9】

【0189】

選択されたグラフィックフォーマットでサポートされる解像度に対するインデックスに基づいてＷＦＤシンクのネイティブ解像度に対する情報が指示されることができる。具体的に、ビデオフォーマット副要素ではＣＥＡ、ＶＥＳＡ、ＨＨのうち、一つの解像度／リフレッシュレートに対するインデックスを介してＷＦＤシンクのネイティブ解像度に対する情報が指示されることができる。

【0190】

ＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報及びＷＦＤシンクでサポート可能な補助ストリームの最大解像度に対する情報は、前述した表６及び表７のようなビットマップに基づいて送信されることができる。

【0191】

または、本発明の実施例ではユーザインターフェース及びサブタイトルがオーバーレイ多重化に基づいて送信される場合、ＷＦＤシンクのディスプレイに最適化されたＵＩとサブタイトルの設定及び出力のために下記のような方法が使われることができる。

【0192】

ＷＦＤシンクで出力される補助コンテンツ（または、補助ストリーム）の解像度は、１）ＷＦＤソースの最大解像度、２）ＷＦＤシンクのネイティブ解像度及びＷＦＤシンクの最大解像度の最小値に対して１）、２）の最小値である。

【0193】

数式として、ＷＦＤシンクで補助ストリームのための解像度（Ｒｅｓｏｌｕｔｉｏｎ ｆｏｒ ａｕｘｉｌｉａｒｙ ｓｔｒｅａｍｓ ｉｎ ＷＦＤ ｓｉｎｋ）＝Ｍｉｎｉｍｕｍ｛ソース装置（または、ＷＦＤソース）の最大解像度（Ｓｏｕｒｃｅ ｄｅｖｉｃｅ（ＷＦＤ ｓｏｕｒｃｅ）′ｓ ｍａｘｉｍｕｍ ｒｅｓｏｌｕｔｉｏｎ）、Ｍｉｎｉｍｕｍ［シンク装置のネイティブ解像度（Ｓｉｎｋ ｄｅｖｉｃｅ（ＷＦＤ ｓｉｎｋ）’ｓ ｎａｔｉｖｅ ｒｅｓｏｌｕｔｉｏｎ）、シンク装置（または、ＷＦＤシンク）の最大解像度（Ｓｉｎｋ ｄｅｖｉｃｅ（ＷＦＤ ｓｉｎｋ）’ｓ ｍａｘｉｍｕｍ ｒｅｓｏｌｕｔｉｏｎ）］｝である。

【0194】

ＷＦＤソースの最大解像度は、ソースにより選択される特定ＡＵＸ（ａｕｘｉｌｉａｒｙ）コーデックによりサポートされる補助ストリームに対するサポート可能な最大解像度である。

【0195】

ＷＦＤシンクの最大解像度は、ＲＴＳＰ Ｍ３応答メッセージに含まれる最大解像度情報に基づいて指示されることができる。ＷＦＤシンクの最大解像度に対する情報は、ＲＴＳＰ Ｍ３応答メッセージのｗｆｄ−ｖｉｄｅｏ−ｃｏｄｅｃｓ、ｗｆｄ−３ｄ−ｖｉｄｅｏ−ｆｏｒｍａｔｓ、ｗｆｄ−ｐｒｅｆｅｒｒｅｄ−ｄｉｓｐｌａｙ−ｍｏｄｅのようなパラメータに含まれることができる。

【0196】

ＷＦＤシンクのネイティブ解像度は、ＲＴＳＰ Ｍ３応答メッセージに含まれるネイティブ解像度情報に基づいて指示されることができる。ネイティブ解像度情報は、ＲＴＳＰ Ｍ３応答メッセージのｗｆｄ−ｖｉｄｅｏ−ｃｏｄｅｃｓ、ｗｆｄ−３ｄ−ｖｉｄｅｏ−ｆｏｒｍａｔｓ、ｗｆｄ−ｐｒｅｆｅｒｒｅｄ−ｄｉｓｐｌａｙ−ｍｏｄｅのようなパラメータに含まれることができる。

【0197】

例えば、ＷＦＤソースの最大解像度が２ｋであり、ＷＦＤシンクの最大解像度が２ｋであり、ＷＦＤシンクのネイティブ解像度が４ｋである場合、ＷＦＤシンクで出力される補助コンテンツの解像度は、２ｋである。

【0198】

図１８は、本発明の実施例に係る補助ストリームのための解像度を決定する方法を示す概念図である。

【0199】

図１８を参照すると、ＷＦＤソースは、ＷＦＤサービス探索手順とＲＴＳＰ能力交渉手順に基づいてＷＦＤシンクのネイティブ解像度に対する情報、ＷＦＤシンクの最大解像度に対する情報を取得することができる。

【0200】

例えば、ＷＦＤソースは、ＷＦＤ２サービス探索要求フレーム１８００をＷＦＤシンクに送信することができる。ＷＦＤシンクは、ＷＦＤ２サービス探索要求フレーム１８００に対する応答としてＷＦＤ２サービス探索応答フレーム１８１０をＷＦＤソースに送信することができる。ＷＦＤシンクのＷＦＤ２サービス探索応答フレーム１８１０は、ビデオフォーマット副要素を含むことができる。

【0201】

ビデオフォーマット副要素は、ＷＦＤシンクのネイティブ解像度に対する情報及びＷＦＤシンクの最大解像度に対する情報を含むことができる。

【0202】

また、ＲＴＳＰ Ｍ３要求メッセージ（Ｍ３ ＲＴＳＰ ＧＥＴ ＰＡＲＡＭＥＴＥＲ Ｒｅｑｕｅｓｔ）１８２０／ＲＴＳＰ Ｍ３応答メッセージ（Ｍ３ ＲＴＳＰ ＧＥＴ ＰＡＲＡＭＥＴＥＲ Ｒｅｓｐｏｎｓｅ）１８３０に基づいてＷＦＤシンクのネイティブ解像度に対する情報、ＷＦＤシンクの最大解像度に対する情報を取得することができる。

【0203】

ＲＴＳＰ Ｍ３応答メッセージ１８３０は、ビデオフォーマットを含むことができる。

【0204】

ビデオフォーマットは、ＷＦＤシンクのネイティブ解像度に対する情報及びＷＦＤシンクの最大解像度に対する情報を含むことができる。

【0205】

ＷＦＤソースは、ＷＦＤ２サービス探索応答フレーム１８１０／ＲＴＳＰ Ｍ３応答メッセージ１８３０に含まれる情報に基づいてＷＦＤシンクに送信する補助コンテンツの解像度を決定することができる。

【0206】

図１９は、本発明の実施例が適用されることができる無線装置を示すブロック図である。

【0207】

図１９を参照すると、無線装置は、前述した実施例を具現することができるＷＦＤソース１９００及びＷＦＤシンク１９５０である。

【0208】

ＷＦＤソース１９００は、プロセッサ１９１０、メモリ１９２０及びＲＦ部（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｕｎｉｔ）１９３０を含む。

【0209】

ＲＦ部１９３０は、プロセッサ１９１０と連結して無線信号を送信／受信することができる。

【0210】

プロセッサ１９１０は、本発明で提案された機能、過程及び／または方法を具現することができる。例えば、プロセッサ１９１０は、前述した本発明の実施例に係るＷＦＤソース１９００の動作を実行するように具現されることができる。プロセッサは、図１乃至図１８の実施例で開示したＷＦＤソース１９００の動作を実行することができる。

【0211】

例えば、プロセッサ１９１０は、ＷＦＤシンクにサービス能力（ｓｅｒｖｉｃｅ ｃａｐａｂｉｌｉｔｙ）を探索するためのＷＦＤサービス探索要求フレームを送信し、ＷＦＤシンクからＷＦＤサービス探索要求フレームに対する応答としてＷＦＤサービス探索応答フレームを受信し、ＷＦＤサービス探索応答フレームに基づいてＷＦＤシンクとＷＦＤ接続（ｃｏｎｎｅｃｔｉｏｎ）を設定することができる。

【0212】

また、プロセッサ１９１０は、ＷＦＤ接続以後、ＷＦＤシンクと能力交渉（ｃａｐａｂｉｌｉｔｙ ｎｅｇｏｔｉａｔｉｏｎ）手順のためにＲＴＳＰ（ｒｅａｌ ｔｉｍｅ ｓｔｒｅａｍｉｎｇ ｐｒｏｔｏｃｏｌ）に基づくＲＴＳＰパラメータ要求メッセージを前記ＷＦＤシンクに送信し、ＲＴＳＰパラメータ要求メッセージに対する応答としてＲＴＳＰパラメータ応答メッセージをＷＦＤシンクに送信するように具現されることができる。

【0213】

また、プロセッサ１９１０は、能力交渉手順以後、第１の解像度のビデオデータを含むビデオストリーム、第２の解像度の補助データを含む補助ストリームをオーバーレイ多重化した送信ストリームをＷＦＤシンクに送信するように具現され、前述したＷＦＤ探索応答フレームは、第２の解像度の決定のための第２の解像度関連情報を含み、ＲＴＳＰパラメータ応答フレームは、前記第２の解像度関連情報を含むことができる。

【0214】

補助データは、サブタイトルデータ、ユーザインターフェースデータを含むことができる。

【0215】

前述したように、第２の解像度と関連した情報は、ＷＦＤシンクのネイティブ解像度（ｎａｔｉｖｅ ｒｅｓｏｌｕｔｉｏｎ）に対する情報を含み、第１の解像度は、前記ＷＦＤソースのネイティブ解像度に基づいて決定され、第２の解像度は、前記ＷＦＤシンクのネイティブ解像度に基づいて決定されることができる。

【0216】

または、第２の解像度と関連した情報は、ＷＦＤシンクの補助データに対してサポートされる最大解像度に対する情報を含み、第１の解像度は、ＷＦＤソースのネイティブ解像度に基づいて決定され、第２の解像度は、ＷＦＤシンクの補助データに対してサポートされる最大解像度に対する情報に基づいて決定されることができる。

【0217】

ビデオデータは、ＷＦＤシンクで再スケーリングされて前記第１の解像度と異なる解像度で出力され、補助データは、前記ＷＦＤシンクで再スケーリングすることなく前記第２の解像度で出力されることができる。

【0218】

また、プロセッサ１９１０は、ＷＦＤシンクからＵＩＢＣ（ｕｓｅｒ ｉｎｐｕｔ ｂａｃｋ ｃｈａｎｎｅｌ）を介してＷＦＤシンク上でユーザ動作によるユーザ動作情報を受信し、ユーザ動作情報に対応される動作を実行するように具現されることができる。

【0219】

ユーザ動作情報は、ストリーム情報を含み、ストリーム情報は、ユーザ動作がＷＦＤシンクで出力されるビデオデータ及び補助データの各々に基づくオーバーレイされた複数のイメージのうちどのイメージ上で実行されるかを指示する識別情報を含むことができる。

【0220】

ＷＦＤシンク１９５０は、プロセッサ１９６０、メモリ１９７０及びＲＦ部（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｕｎｉｔ）１９８０を含む。

【0221】

ＲＦ部１９８０は、プロセッサ１９６０と連結して無線信号を送信／受信することができる。

【0222】

プロセッサ１９６０は、本発明で提案された機能、過程及び／または方法を具現することができる。例えば、プロセッサ１９６０は、前述した本発明の実施例に係るＷＦＤシンク１９５０の動作を実行するように具現されることができる。プロセッサは、図１乃至図１８の実施例でＷＦＤシンク１９５０の動作を実行することができる。

【0223】

例えば、プロセッサ１９６０は、ＷＦＤソースにＷＦＤシンクで出力される補助データの解像度を決定するための情報を送信するように具現されることができる。例えば、プロセッサ１９６０は、ＷＦＤシンクのネイティブ解像度、ＷＦＤシンクで出力可能な補助コンテンツの解像度に対する情報などをＷＦＤサービス探索応答フレーム／ＲＴＳＰベースの応答メッセージに基づいて送信するように具現されることができる。

【0224】

プロセッサ１９６０は、ＷＦＤソースから受信した送信ストリーム（ＭＰＥＧ２−ＴＳ）を逆多重化し、ビデオストリームに含まれるビデオデータは、再スケーリングして異なる解像度でディスプレイ上に出力し、補助ストリーム（サブタイトルストリーム、ユーザインターフェースストリーム）に含まれるサブタイトルデータ、ユーザインターフェースデータは、再スケーリングすることなく受信したデータと同じ解像度で出力できる。

【0225】

プロセッサ１９１０、１９６０は、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路、データ処理装置及び／またはベースバンド信号及び無線信号を相互変換する変換器を含むことができる。メモリ１９２０、１９７０は、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／または他の格納装置を含むことができる。ＲＦ部１９３０、１９８０は、無線信号を送信及び／または受信する一つ以上のアンテナを含むことができる。

【0226】

実施例がソフトウェアで具現される時、前述した技法は、前述した機能を遂行するモジュール（過程、機能など）で具現されることができる。モジュールは、メモリ１９２０、１９７０に格納され、プロセッサ１９１０、１９６０により実行されることができる。メモリ１９２０、１９７０は、プロセッサ１９１０、１９６０の内部または外部にあり、よく知られた多様な手段でプロセッサ１９１０、１９６０と連結されることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】