(58)【調査した分野】(Int.Cl.,DB名)
制御デバイスのカメラから第3の画像データを受け取って、第1のディスプレイ上の部分を選択することであって、前記第3の画像データの第1の部分は前記第1のディスプレイの画像を表し、前記制御デバイスは第2のディスプレイを有し、前記第1のディスプレイは、少なくとも1つのフレームを含む第1の画像データから生成される画像をフレーム毎に表示する、選択することと、
前記第3の画像データ内における前記第3の画像データの前記第1の部分の相対位置、前記第3の画像データの前記第1の部分のサイズ、前記第1の画像データの解像度、および前記第3の画像データの解像度に従って、前記第1のディスプレイ上の前記選択された部分に対応する前記第1の画像データ内のフレーム内の第1の部分を決定することと、
前記第1の画像データ内のフレーム内の前記第1の部分に対応する前記第1の画像データから第2の画像データを生成することと、
前記第2の画像データを前記制御デバイスに提供し、第2の画像として前記第2のディスプレイ上に表示することと、
を含む、方法。
制御デバイスを使用して第1のディスプレイ上の部分を選択することであって、前記制御デバイスは第2のディスプレイを有し、前記第1のディスプレイは、少なくとも1つのフレームを含む第1の画像データから生成される画像をフレーム毎に表示する、選択することと、
前記第1のディスプレイ上の前記選択された部分に対応する前記第1の画像データ内のフレーム内の第1の部分を決定することと、
前記第1の画像データ内のフレーム内の前記第1の部分に対応する前記第1の画像データから第2の画像データを生成することであって、前記第2の画像データは、前記第1の画像データ内のフレーム内の前記第1の部分に対応する前記第1の画像データのズームされたバージョンを表す、生成することと、
前記第2の画像データを前記制御デバイスに提供し、第2の画像として前記第2のディスプレイ上に表示することと、
を含む、方法。
前記選択することは、前記制御デバイスのカメラから第3の画像データを受け取ることを含み、前記第3の画像データの第1の部分は前記第1のディスプレイの画像を表し、前記決定することは、前記第3の画像データ内における前記第3の画像データの前記第1の部分の相対位置、および前記第3の画像データの前記第1の部分のサイズに従って、前記第1の画像データ内のフレーム内の前記第1の部分を決定することを含む、請求項2に記載の方法。
前記第3の画像データの前記第1の部分の前記サイズは、w単位の幅およびh単位の深さを含み、前記第1の画像データ内のフレーム内の前記第1の部分の幅および深さをそれぞれd単位およびe単位として決定することをさらに含み、d=(A/W)*wおよびe=(B/H)*hである、請求項4に記載の方法。
前記第2の画像データを生成することは、拡大係数に従って、前記第1の画像データ内のフレーム内の前記第1の部分に対応する前記第1の画像データを拡大することを含む、請求項5に記載の方法。
前記選択することは、前記制御デバイスのカメラから第3の画像データを受け取ることを含み、前記第3の画像データは、前記第1のディスプレイ上に表示される画像の部分を表し、前記決定することは、前記第3の画像データに対応する部分のための前記第1の画像データを探索することを含む、請求項2に記載の方法。
前記ビデオレシーバは、拡大係数に従って、前記第1の画像データ内のフレーム内の前記第1の部分に対応する前記第1の画像データをズーミングすることによって前記第2の画像データを生成する、請求項16に記載のビデオレシーバ。
少なくとも1つのフレームを含む第1の画像データを受け取り、かつ、前記第1の画像データから生成される画像をフレーム毎に第1のディスプレイ上に表示するビデオレシーバを制御する制御デバイスに使用される方法であって、前記制御デバイスは第2のディスプレイを有し、
前記制御デバイスのカメラによって取り込まれた第3の画像データを受け取ることであって、前記第3の画像データの第1の部分は、前記第1のディスプレイの画像を表す、受け取ることと、
ユーザによって選択された前記第1の画像データ内のフレーム内の第1の部分を位置決めするための情報を前記ビデオレシーバに伝送することであって、前記情報は、前記第3の画像データの前記第1の部分のサイズ、前記第3の画像データ内における前記第3の画像データの前記第1の部分の場所、および前記第2のディスプレイの解像度を含む、伝送することと、
前記第1の画像データ内のフレーム内の前記第1の部分に対応する前記第1の画像データから生成された第2の画像データを受け取ることと、
前記第2の画像データによって表される第2の画像を前記第2のディスプレイ上に表示することであって、前記第1のディスプレイは、前記第1の画像データから生成される画像のフレーム毎の表示を継続する、表示することと、
を含む、方法。
少なくとも1つのフレームを含む第1の画像データを受け取り、かつ、前記第1の画像データから生成される画像をフレーム毎に第1のディスプレイ上に表示するビデオレシーバを制御する制御デバイスに使用される方法であって、
前記制御デバイスのカメラによって取り込まれた第3の画像データを受け取ることであって、前記第3の画像データは、少なくとも1つのフレームを含む第1の画像データから生成される画像をフレーム毎に表示する前記第1のディスプレイの少なくとも部分を含む、受け取ることと、
ユーザによって選択された前記第1の画像データ内のフレーム内の第1の部分を位置決めするための情報を前記ビデオレシーバに伝送することと、
前記第1の画像データ内のフレーム内の前記第1の部分に対応する前記第1の画像データから生成された第2の画像データを受け取ることであって、前記第2の画像データは、前記第1の画像データ内のフレーム内の前記第1の部分に対応する前記第1の画像データのズームされたバージョンを表す、受け取ることと、
前記第2の画像データによって表される第2の画像を第2のディスプレイ上に表示することであって、前記第1のディスプレイは、前記第1の画像データから生成される画像のフレーム毎の表示を継続する、表示することと、
を含む、方法。
前記第3の画像データの第1の部分は前記第1のディスプレイの画像を表し、前記第1の画像データ内のフレーム内の前記第1の部分を位置決めするための前記情報は、前記第3の画像データの前記第1の部分のサイズ、および前記第3の画像データ内における前記第3の画像データの前記第1の部分の場所を含む、請求項23に記載の方法。
前記ズームされたバージョンは、拡大係数を使用して前記第1の画像データ内のフレーム内の前記第1の部分を拡大することによって生成される、請求項28に記載の方法。
前記第3の画像データ内における前記第3の画像データの前記第1の部分の前記場所は、(p,q)である前記第3の画像データ内における前記第3の画像データの前記部分の中心位置であり、前記第1の画像データの解像度はAXB単位であり、前記方法は、WXH単位である前記第3の画像データの解像度を決定すること、および前記第1の画像データ内のフレーム内の前記第1の部分の中心を(a,b)として決定することをさらに含み、a=(A/W)*pおよびb=(B/H)*qである、請求項27または31に記載の方法。
前記第1の画像データ内のフレーム内の前記第1の部分の幅および深さをそれぞれd単位およびe単位として決定することをさらに含み、d=(A/W)*wおよびe=(B/H)*hである、請求項32に記載の方法。
【発明を実施するための形態】
【0012】
図1は、本発明の1または複数の実施形態が使用され得る、例示的な環境100のブロック図である。環境100では、サーバー、ヘッドエンド、等々などのコンテンツソース102から発信される視聴覚コンテンツは、配信ネットワーク106を介して、ディスプレイデバイス114に結合されたAV配信デバイス(AVDD)108として示されているビデオレシーバに引き渡される。AV配信デバイス108は、以下でより詳細に説明されるようにコンテンツを処理し、かつ、処理されたコンテンツをディスプレイデバイス114に提供する。ディスプレイデバイス114は、例えば1または複数の2−Dまたは3−D標準解像度(SD)ディスプレイまたは高解像度(HD)ディスプレイ、モニターまたはテレビジョン受像機を含むことができる。
【0013】
配信ネットワーク106は、有線要素および無線要素の両方を含むことができ、また、例えば国立センターから1または複数の地方センターまたは局所センターへの衛星リンク伝送を含むことができる。また、配信ネットワーク106は、オーバーザエアー同報通信、衛星同報通信またはケーブル同報通信などの局所配信システムを使用した局所コンテンツ配信を含むことも可能である。配信ネットワーク106は、とりわけ光ファイバー、イーサーネット、電話回線ネットワークおよび高速広帯域インターネット型通信システムを含むことができる。
【0014】
AV配信デバイス108は様々な方法で実現されることができ、また、ディジタルビデオレコーダー(DVR)、ゲートウェイ、モデム、等々が付いた、または付いていないセットトップボックス(STB)などのネットワーク接続実施形態、DVDプレーヤー、ビデオサーバー、等々などの独立型実施形態、またはそれらの任意の組合せを含むことができる。任意選択でAV配信デバイス108は、ホームネットワーク内のクライアントまたはピアデバイスのいずれかとして構成された追加デバイスを含むホームネットワークシステムのための入口点、すなわちゲートウェイとして作用することも可能である。また、デバイス108は、ディスプレイデバイス114などの視聴覚デバイスを含んだ他のシステムまたはデバイスの中に組み込むことも可能である。
【0015】
また、AV配信デバイス108は、ハンドヘルドまたは携帯型であることが好ましい制御デバイス116に好ましくは無線でインタフェースされる。制御デバイス116は、AV配信デバイス108および/またはディスプレイデバイス114のためのユーザインタフェースを提供するように適合され得る。制御デバイス116は、図形および画像を表示することができ、また、好ましくは動画像またはビデオを同じく表示することができるディスプレイを含む。制御デバイス116は、カメラ(図示せず)、キー、およびユーザ入力を受け取り、カメラを制御し、また、取り込まれた画像をカメラから受け取るためのマイクロプロセッサ、プロセッサー、マイクロコントローラであってもよいコントローラ(図示せず)を含む。表示されるビデオは、ディスプレイデバイス114に引き渡されるビデオコンテンツのすべてまたは部分を含むことができ、また、図形は、アイコン、ユーザインタフェースウィジェット、等々を含むことができる。例示的実施形態では、制御デバイス116は、ユーザ入力ならびに画像および図形の表示の両方を許容するタッチスクリーンを含む。当然、ユーザ入力は、表示のみの機能を実施するスクリーンを備えた専用ボタン、またはそれらの任意の組合せを介して同じく提供され得る。
【0016】
制御デバイス116は、赤外線(IR)通信または無線周波数(RF)通信などの任意のよく知られている信号伝送システムを使用してAV配信デバイス108にインタフェースすることができ、また、Infra−red Data Association(IRDA)規格、Wi−Fi、Bluetooth(登録商標)、等々などの任意の適切な所有権を主張できるプロトコルまたは標準プロトコルに準拠することができる。制御デバイス116は、例えば、多くの可能性の中でもとりわけ、適切なソフトウェアを使用して構成されたタブレットコンピュータまたはスマートフォンなどの商用的に入手することができるデバイス、またはデバイス108および/または114の制御専用の個別化されたデバイスを使用して実現され得る。上で言及されたように、制御デバイス116は、制御デバイス116の動作を制御するためのコントローラ(図示せず)を含む。制御デバイス116の動作については、以下でより詳細に説明される。
【0017】
次に
図2を参照すると、AV配信デバイス108の実施形態のブロック図が示されている。簡潔にするために、それらがよく知られている範囲内においては、デバイスの動作を完全にするために必要であり得るすべての構成要素は示されていない。AV配信デバイス108はプロセッサーをベースとするシステムであり、コントローラ210およびメモリ215で示されている1または複数のプロセッサーおよび関連するメモリを含む。コントローラ210は、1または複数の記憶プログラム制御プロセッサーを表しており、本明細書において説明されている機能のための専用であっても、あるいは専用でなくてもよく、つまりコントローラ210は、AV配信デバイス108の他の機能を同じく制御することができる。さらに、デバイス108がより大きいデバイスまたはシステムの部分である場合、コントローラ210は、このデバイスまたはシステムの他の機能を制御することも可能である。
【0018】
コントローラ210は、入力ストリーム信号を記憶のため、または表示のための信号に変換するプロセスを管理する。また、コントローラ210は、記憶されているコンテンツの検索およびプレイバックを同じく管理する。さらに、コントローラ210は、コンテンツの探索を実施し、また、コンテンツを表す格子表示の生成および調整を実施する。コントローラ210は、マイクロプロセッサ、等々を使用して実現され得る。
【0019】
コントローラ210は、コントローラ210のための情報および命令コードを記憶するメモリ215と相互接続される。メモリ215は、例えば、RAM、SRAM、DRAM、ROM、プログラマブルROM(PROM)、フラッシュメモリ、電子的プログラマブルROM(EPROM)、電子的消去可能プログラマブルROM(EEPROM)、等々を含む揮発性メモリまたは不揮発性メモリを使用して実現され得る。さらに、メモリ215の実施態様は、単一のメモリデバイス、あるいは共有メモリまたは共通メモリを形成するために一体に通信接続または通信結合される複数のメモリ回路などのいくつかの可能実施形態を含むことができる。さらに、メモリ215は、多くの可能性の中でもとりわけ、コントローラ210および/またはバス通信回路機構の部分などの他の回路機構と統合され得る。
【0020】
また、メモリ215は、コンテンツを含んだ図形要素などの要素のデータベースを記憶することも可能である。データベースは、図形要素のパターンとして記憶され得る。あるいはメモリ215は、識別された記憶場所またはグループ化された記憶場所に図形要素を記憶し、かつ、アクセスまたは場所テーブルを使用して、図形要素に関連する情報の様々な部分のための記憶場所を識別することも可能である。
【0021】
メモリ215に加えて、コントローラ210は、バスまたは他の適切な構成などを介して、入力信号レシーバ202、入力ストリームプロセッサー204、オーディオ/ビデオプロセッサー206、記憶装置212、無線インタフェース216およびユーザインタフェース222を含むAV配信デバイス108の他の構成要素と相互接続される。
【0022】
動作中、視聴覚コンテンツを運ぶ信号が入力信号レシーバ202によって受け取られる。入力信号レシーバ202は、上で説明されたように、コンテンツを分配し得るいくつかの可能ネットワーク(106)のうちの任意の1または複数から受け取られた信号を受け取り、同調し、ダウン変換し、選択し、復調し、および/または復号するために使用されるいくつかの知られているレシーバ回路のうちの任意の1または複数を含むことができる。所望の入力信号は、例えばユーザ入力またはプログラミング命令などに従って、コントローラ210の制御の下で入力信号レシーバ202によって選択され、かつ、取り込まれ得る。
【0023】
復号された入力信号は、入力信号レシーバ202によって入力ストリームプロセッサー204に提供される。入力ストリームプロセッサー204は、圧縮されたディジタル信号などの受け取ったフォーマットから、ユーザに提示するためにディスプレイデバイス(114)に提供され得るフォーマットに変換するために、信号処理を実施し、かつ、処理した、受け取った信号をオーディオ/ビデオプロセッサー206に提供する。また、オーディオ/ビデオプロセッサー206は、視聴覚コンテンツを記憶装置212に記憶し、かつ、検索するための任意の必要な処理を実施する。
【0024】
入力信号レシーバ202によって受け取られたか、または記憶装置212から検索されたかのいずれかである、オーディオ/ビデオプロセッサー206からの変換された信号は、上で説明されたタイプのディスプレイデバイス(114)への準備のためにインタフェース208に提供される。インタフェース208は、赤−緑−青(RGB)インタフェースなどのアナログ信号インタフェース、および/またはHigh−Definition Multimedia Interface(HDMI(登録商標))などのディジタルインタフェースを含むことができる。ディジタルコンテンツは少なくとも1つのフレームを含み、また、解像度が規定される。
【0025】
記憶装置212は、デバイス108によって受け取られる視聴覚コンテンツを記憶し、制御デバイス(116)から、またはユーザインタフェース222から無線インタフェース216を介して受け取られるコマンド(例えば高速送りおよび巻戻しなどのナビゲーション命令)に基づくコントローラ210の制御下でのコンテンツの後の検索およびプレイバックを可能にする。記憶装置212は、ハードディスクドライブ、スタティックRAM(SRAM)またはダイナミックRAM(DRAM)などの1または複数の大容量集積電子メモリ、および/またはコンパクトディスク(CD)ドライブまたはDVDドライブなどの交換可能光ディスク記憶システムを含むことができる。
【0026】
ユーザインタフェース222は、ユーザがAV配信デバイス108と対話することができる様々なユーザ入力および出力デバイス(例えばキー、ボタン、ディスプレイ、インディケータ)を含むことができる。例示的実施形態では、ユーザインタフェース222は除去されることが可能であり、すべてのユーザ対話は、無線インタフェース216を介してAV配信デバイス108にインタフェースされる制御デバイス(116)を介して生じる。
【0027】
制御デバイス116は、ズームイン、ズームアウト、実行、停止、高速送り、巻戻し、番組選択、等々などの様々な機能を表すために使用され得る。タッチパネルを使用して実現される場合、制御デバイス116は、手の動きまたはジェスチャ、およびタッチパネルを通してコマンドに翻訳されるアクションに基づくAV配信デバイス108の動作を可能にする。制御デバイス116の実施態様に応じて、コマンドを入力するための例えば音声認識などの他の技法も同じく使用され得る。
【0028】
例示的実施形態では、制御デバイス116は、少なくとも1つのカメラ要素を同じく含む。カメラ要素は、ユーザ入力制御およびディスプレイ(例えばタッチスクリーン)とは反対側のデバイスの面に取り付けられることが好ましく、また、以下で説明されるように使用され得る。
【0029】
次に、
図3Aを参照して、AV引渡しデバイス108、ディスプレイデバイス114および制御デバイス116間の対話が説明される。動作中、ディスプレイデバイス114上に表示された画像310の領域350へのズームインを希望するユーザは、制御デバイス116のカメラ116cをその領域に向け、かつ、制御デバイス116のディスプレイ116d上の領域350
’を観察することになる。好ましいことには、制御デバイス116上に表示されたズームインされた画像は、画像310が変化すると、および/またはユーザが制御デバイスを移動してカメラ116cの向きを変えると、実時間またはほぼ実時間で更新される。同じく好ましいことには、ユーザには、制御デバイス116上のキーを押下することなどによって領域350の静止画像を観察し、および/または捕獲するオプションが与えられる。捕獲された画像は、制御デバイス116のディスプレイ(第2のディスプレイ)の解像度を有していることが好ましい第3の画像データによって表される。さらに、領域350の縦横比および/または配向は、ディスプレイ116dのそれと一致していることが好ましい。
【0030】
以下でより詳細に説明されるように、AV配信デバイス108は、制御デバイス116のカメラ116cによる第3の画像データによって取り込まれ、表された画像を使用して、第1の画像データ内のフレームから生成される画像310内の領域350に対応するソースコンテンツ内のフレーム内の第1の部分を突きとめる(第1の画像データは少なくとも1つのフレームを含む)。次に第2の画像データが第1の画像データ内のフレーム内の第1の部分から、好ましくはその固有解像度で生成され、第2の画像としてディスプレイ116d(第2のディスプレイ)上に表示するために処理され、かつ、制御デバイス116に送られる。動作中、それは、あたかも制御デバイス116のカメラ116cが関心領域350にズームインしているようにユーザに対して出現することになるが、カメラによって実際に取り込まれ画像がディジタル的に拡大されることになれば生じるであろう解像度の不正確性および損失はない。解像度のこのような損失は、例えばソースマテリアルが高解像度写真画像である場合、とりわけ顕著になる。例えば20メガピクセル画像がたったの1メガピクセルの解像度で典型的な720pテレビジョンモニター上に表示される場合を考察すると、その場合、大量の細部を損失することになる。
【0031】
上記実施形態は、静止画像を表す画像ソース(第1の画像データ)に対して適切である。ズーミングのための拡大係数は、ユーザによってセットアップされるユーザ設定データベースから見出され得る。実施形態では、取り込まれた第3の画像データの解像度がWXHピクセルであり、また、第1の画像データ内のフレーム内の第1の部分のサイズがaXbピクセルである場合、拡大係数は、第2のディスプレイ116dの幅を満たすためのW/a、または第2のディスプレイ116dの深さを満たすためのH/bのいずれかとして自動的に生成される。単位として「ピクセル」を使用しているが、「ブロック」、例えば「マクロブロック」などの他の単位も同じく使用され得る。
【0032】
例示的実施形態では、制御デバイス116は、カメラ116cによって取り込まれた、取り込まれた第3の画像データをAV配信デバイス108に送り、AV配信デバイス108は、第3の画像データを使用して、第3の画像データ内でディスプレイデバイス114のディスプレイ114dのすべてまたは部分を探索し、かつ、第3の画像データ内でディスプレイ114dの相対的な場所を使用することにより、領域350に対応する第1の画像データの第1の部分を突きとめ、それにより第1の画像データ内のフレーム内の第1の部分の場所を引き出す。好ましいことには、カメラ116cによって取り込まれる第3の画像データは、第3の画像データの第1の部分を占めるディスプレイ114d全体を含む。関心領域350は、定義済みのサイズまたは利用可能なサイズであってもよい。第1の画像データ内のフレーム内の第1の部分の点の場所によって表され得る、領域350に対応する第1の画像データ内のフレーム内の第1の部分の場所は、第3の画像データの第1の部分を占めるディスプレイデバイス114のディスプレイ114dの画像内の対応する点の場所によって決定され得る。2つの対応する点は、それぞれ、第3の画像データの第1の部分および第1の画像データ内のフレーム内の第1の部分の中心または隅のうちの1つであってもよい。画像310は、第1の画像データ内のフレームから生成される。画像310内の位置は、第1の画像データ内の対応するフレーム内に対応する位置を有しているため、関心領域(AOI:area of interest)350は、第1の画像データ内のフレーム内の第1の部分を決定する。第3の画像データ内でディスプレイ114dを探索する場合、AV配信デバイス108は、例えば、ディスプレイ114dを囲み、かつ、ディスプレイ114dの輪郭を描いているディスプレイデバイス114のフレーム114fを探索することができる。この目的のために、画像探索を実施するための任意の様々なよく知られている技法が使用され得る。ディスプレイ114d全体が画像内で取り込まれない場合、ズーミングイン機能は、ユーザがカメラ116cの位置を変え、これらの条件が満たされるまで非作動化され得る。
【0033】
カメラ116cによって取り込まれた第3の画像データ内のディスプレイ114dの相対的な場所に基づいて、AV配信デバイス108は、第1のディスプレイ114d内の画像310内の領域350に対応する第1の画像データ内のフレーム内の第1の部分を決定することができる。第3の画像データ350内にディスプレイ114dのサイズが与えられると、領域350に関連する第1の画像データ(例えばMPEGマクロブロック)内のフレーム内の第1の部分のサイズは、容易に決定され、かつ、アクセスされ得る。領域350に対応する第1の画像データの第1の部分を使用して、AV配信デバイス108は、第1の画像データ内のフレーム内の第1の部分を第2の画像データとして再生成し、かつ、第2の画像データを制御デバイス116に提供して、ディスプレイ116dによって、領域350’としてその上に示されている第2の画像として表示することができる。領域350’は、ユーザコマンドに応答して拡大され得る。領域350’が変更される場合、制御デバイスは、手動で、または自動的に、受け取られた第2の画像データから生成された画像のサイズを調整することができる。領域350’が固定されたサイズでディスプレイ116d上に表示されると(例えばディスプレイ116dの全スクリーンを占めると)、拡大は、第3の画像データ内のディスプレイ114dのサイズに従って変更され得る。例えば領域350’のサイズがRXSピクセルのサイズを有しており、また、第3の画像データ内のディスプレイ116dのサイズがwXhピクセルである場合、AV配信ヘッドは、第1の画像データ内のフレーム内の第1の部分をR/wの係数だけ自動的に拡大し、それにより領域350’の幅を合わせることができ、またはS/hの係数を使用して領域350’の深さを合わせることができる。この実施形態は、第1の画像データの解像度が第2のディスプレイ116dのそれと同じである場合に良好に動作する。
【0034】
代替では、第1の画像データ内のフレーム内の第1の部分がaXbピクセルのサイズを有している場合、AV配信デバイス108は、第1の画像データ内のフレーム内の第1の部分をR/aの係数だけ拡大し、それにより領域350’の幅を満たすことができ、またはS/bによって領域350’の深さを満たすことができる。この実施形態は、第1の画像データの解像度が第2のディスプレイ116dのそれと同じではない場合に良好に動作する。
【0035】
制御デバイス116を使用しているユーザは、AOI350に対応する第1の画像データ内のフレーム内の第1の部分を自動的に拡大し、または規定された拡大係数を使用して拡大するよう、AV配信デバイス108に命令することができる。ユーザが領域350’のサイズを変更する場合、ユーザは、AV配信デバイス108の拡大係数を変更することなく、制御デバイス116の拡大係数を変更するように制御デバイス116を構成することができる。一実施形態では、ユーザは、AV配信ヘッド108が更新されたサイズに従って自動的に拡大を変更することができるよう、領域350’の更新されたサイズをAV配信デバイス108に送るように制御デバイス116を構成することも可能である。
【0036】
次に、
図3Bおよび3Cを参照して、関心領域350に対応する第1の画像データ内のフレーム内の第1の部分の決定が説明される。
図3Bは、カメラ116cによって取り込まれた第3の画像データから生成された、中にディスプレイデバイス114を示す画像316を概略的に示したものである。ディスプレイデバイス114のディスプレイ114dを表している画像316の部分は114d’で示されている。図示されているように、画像316および画像部分114d’は長方形であり、第3の画像データ内におけるピクセルの幅はそれぞれWおよびwであり、また、第3の画像データ内におけるピクセルの高さはそれぞれHおよびhである。既に指摘されたように「ピクセル」は単位として使用されているが、「ブロック」、例えば「マクロブロック」などの他の単位も同じく使用され得る。画像316は、第3の画像データ内の点すなわちピクセル(x,y)の格子と見なされることが可能であり、その原点は、説明を分かり易くするために左下隅に存在している。原点として他の場所も同じく選択されることが可能であり、例えば第3の画像データの3つの他の隅および中心のうちのいずれかが原点として使用され得る。画像部分114d’は、点(x
o,y
o)、(x
o+w,y
o)、(x
o+w,y
o+h)および(x
o,y
o+h)に頂点を有する長方形と見なされることが可能であり、その中心は第3の画像データ内の(x
c,y
c)であり、x
c=x
o+w/2およびy
c=y
o+h/2である。これらの点は、上で言及されたような適切な画像探索技法によって決定され得る。
【0037】
上で言及されたように、第1の画像データ内のフレームから生成される画像310内のAOI350に対応する第1の画像データ内のフレーム内の第1の部分は、第3の画像データ316内の画像部分114d’の相対的な場所に基づいて決定され得る。より詳細には、第3の画像データ316内の画像部分114d’の中心の位置は、ブロック、例えば集合的に第1の画像データを形成するMPEGマクロブロックなどの画像単位の格子にマップされ得る。このような格子は
図3Cに概略的に描かれており、格子は、第1の画像データ内における幅がMブロックであり、また、高さがNブロックであり、個々のブロックは(m,n)で示され、第1の画像データ内の左下隅のブロック(1,1)で始まる。
【0038】
理解され得るように、AO
I350に対応する第1の画像データ内のフレーム内の第1の部分の中心ブロックに対応するブロック(m
c,n
c)は、以下の表現式に従って決定され得る。
【0039】
m
c=ceil[(M/W)*(W−x
c)] (1a)
n
c=ceil[(N/H)*(H−y
c)] (1b)
【0040】
このように決定されたブロック(m
c,n
c)を使用して、第1の画像データ内のフレーム内の第1の部分は、ブロック(m
c,n
c)になるように、またはブロック(m
c,n
c)およびブロック(m
c,n
c)を囲む追加ブロックを含む一組のブロックになるように選択され得る。例えば
図3Cに実例として描かれているように、AOI350に対応する第1の画像データ内のフレーム内の第1の部分は、ブロック(m
c,n
c)およびそれを直接囲んでいる8個のブロックからなっている。第1の画像データ内のフレーム内の第1の部分を表すブロックの数は、画像部分114d’のサイズに従って予め定められるか、または決定されることができる。例えば第1の画像データ内のフレーム内の第1の部分の幅はceil[M*w/W]マクロブロックであり、また、AOI350の深さはceil[N*h/H]である。このように決定された第1の画像データ内のフレーム内の第1の部分のサイズおよび場所を使用して、AV配信デバイス108は、ディスプレイ116d上の第2の画像として領域350’上に表示するための対応する第2の画像データを生成することができる。
【0041】
上で説明されたように、ユーザは、例えば制御デバイス116を使用して、AV配信デバイス108に制御デバイス116のディスプレイ116d内の領域350’の解像度(サイズ)を知らせることができ、および/または制御デバイス116は、領域350’のサイズが変更されると、更新されたサイズを自動的にAV配信デバイス108に送ることができる。この方法でAV配信デバイス108は、拡大係数がAV配信デバイス108で利用することができないか、または第1の画像内のフレーム内の第1の部分を自動的にズームするようにAV配信デバイス108が命令されると、AOI350を自動的にズームし、領域350’の幅または領域350’の深さを合わせることができる。本明細書において使用されているように、ディスプレイの幅は、ディスプレイが肖像配向または風景配向のいずれかで位置決めされ得る場合であっても、ディスプレイの深さより長い。MXN単位のサイズまたは解像度とは、幅がM単位であり、また、深さがN単位であることを意味している。
【0042】
この実施形態では、画像316内のAOI350に対応する第3の画像データ内の部分の場所は、画像316として表示された第3の画像データ内の画像部分114d’のそれに対して対称的に反対側の象限に存在している。例えばカメラ116cが右に向かって移動している場合、AOI350に対応する第1の画像データ内のフレーム内の第1の部分も同じく右に向かって移動するが、第3の画像データ内の画像部分114d’は左に向かって移動する。
【0043】
他の実施形態では、画像316内のAOI350に対応する画像内の部分の場所は、画像316として表示された第3の画像データ内の画像部分114d’の場所と一致し、また、ユーザは、画像316として表示された第3の画像データ内の画像部分114d’の場所に従ってAOI350の場所を決定する。この実施形態では、第1の画像データ内のフレーム内の第1の部分の中心ブロックは、以下の表現式に従って決定され得る。
【0044】
m
c=ceil[(M/W)*x
c] (2a)
n
c=ceil[(N/H)*yc] (2b)
【0045】
式(1a)、(1b)、(2a)および(2b)は、単位として「ブロック」を使用しているが、本発明の原理は、「ピクセル」が単位として使用される場合にも等しく適用することができることに留意されたい。その場合、(m
c,n
c)は、第1の画像データ内のフレーム内の第1の部分の中心ピクセルの場所を表す。
【0046】
例示的実施形態では、AV配信デバイス108が第1の画像データ内のフレーム内の第1の部分を突きとめると、それは、対応する領域350を表示するために、長方形、十字線または他の適切な形状などの図形をディスプレイデバイス114に表示させ、それにより制御デバイス116のカメラ116cが向けられる画像310の視覚フィードバックをユーザに提供することができる。さらに、領域350が固定されたサイズでディスプレイ116d上に表示される場合(例えば全スクリーン)、領域350の輪郭を描いている長方形などの図形のサイズは、倍率が変更されると、それに応じて変更され得る。
【0047】
他の例示的実施形態では、制御デバイス116は、ユーザがズームインすることを希望する関心領域350を選択するためのカメラ要素を有し、または使用する必要はない。このような指示は、長方形、十字線または他の適切な形状などの図形をディスプレイデバイス114のスクリーン上、および/または制御デバイス自体のスクリーン上に表示することによって提供されることが可能であり、また、ユーザは、図形を移動させて関心領域350を選択することができる。図形の移動および/または関心領域350の選択は、ジェスチャ、ソフトキーまたは実キーの押下、音声コマンド、または制御デバイス116を使用して可能な他のよく知られているユーザインタフェース技法などによって実施され得る。
【0048】
例示的実施形態では、カメラ116cによって取り込まれる第3の画像データは640×480ピクセルである。典型的な使用では、ディスプレイ114dを表しているその部分は、例えば200×120ピクセルまたは取り込まれる画像領域の約8%であってもよい。説明に役立つ動作シナリオでは、ユーザは、カメラ116cをディスプレイデバイス114に向け、かつ、取り込まれ、それによりディスプレイ116d上に表示された、好ましくは生の第3の画像データを、通常は制御デバイス116のディスプレイ116dの中央またはほぼ中央に出現するディスプレイ114dを使用して見る。例えば
図3Bを参照すると、(x
0,y
0)=(220,180)、W=640、H=480、w=200およびh=120である。ユーザは、次に、入力コマンドなどによって制御デバイス116にズームインするよう命令する。制御デバイス116は、次に、カメラ116cによって取り込まれた第3の画像データをAV配信デバイス108に送り、AV配信デバイス108は、第3の画像データを通して、第3の画像データ内の第1の部分を占めているディスプレイ114dを描いているその部分を探索し、第3の画像データ内の第1の部分のサイズおよび場所に従って、第1の画像データ内のフレーム内の第1の部分を決定し、次に、ディスプレイ116d上に第2の画像として表示するために、ディスプレイ114d上に表示された画像の領域350のズームインされた画像を表す第1の画像データ内のフレーム内の第1の部分から生成された第2の画像データを制御デバイス116に送り返す。
図3Cを参照して、例えばM=64およびN=48と仮定すると、式(1a)および(1b)から、m
c=32およびn
c=24である。
【0049】
ビデオがディスプレイ114d上に表示されると、AV配信デバイス108は、ディスプレイ114d上に表示されたビデオ内の領域350に対応する第1の画像データ内の異なるフレーム内の第1の部分のズームインされたバージョンであってもよい更新された第2の画像データを制御デバイス116に送り続ける。したがってディスプレイデバイス116dは、拡大のために選択されたディスプレイ114d上に表示されたビデオの領域350のズームインされたビデオを表示する。ユーザが新しい関心領域をディスプレイ114dの左側で綿密に見たい場合、それらは、新しい関心領域に向けるためにカメラ116cを左に向ける。この位置のカメラ116cによって取り込まれた新しい画像では、ディスプレイ114dは、第1の画像データ内のフレーム内の第1の部分を突きとめるために式(1a)および(1b)が使用される場合、その元の幅(例えば200ピクセル)の何分の一か(例えば25%)だけ右にシフトする。AV配信デバイス108は、新しい画像を処理し、かつ、ディスプレイ114dが例えば50ピクセルだけ右に移動したことを決定する。ディスプレイ114dが画像内の200×120ピクセルの領域を占めていることを決定すると、AV配信デバイス108は、第1の画像データ内のフレーム内の第1の部分を突きとめるために式(1a)および(1b)が使用されている場合、今度はズームインされたストリーミングビデオを表示サイズの25%だけ左にシフトさせる。同じシナリオで、第1の画像データ内のフレーム内の第1の部分を突きとめるために式(2a)および(2b)が使用される場合、AV配信デバイス108は、今度はズームインされたストリーミングビデオを表示サイズの25%だけ右にシフトさせる。
【0050】
図4は、本発明の例示的実施形態の動作を示す流れ図を示したものである。この例では、分かり易くするために領域350’は、第2のディスプレイ116dの全フルスクリーンであってもよいことが仮定されている。
【0051】
図4に示されているように、動作は410で始まり、制御デバイス116は、ユーザによって選択された第1のディスプレイ114d上の部分を選択する。第1の(主)ディスプレイ114dは、少なくとも1つのフレームを含む第1の画像データ(ソースコンテンツ)から生成される画像をフレーム毎に表示することができる。第1のディスプレイ114d上での部分の選択では、ユーザは、ズームイン機能を起動し(例えば制御デバイス116上の関連するアプリケーションを呼び出し、タッチスクリーンジェスチャを実施し、および/またはソフトキーまたは実キーを押下することなどによって)、かつ、制御デバイス116のカメラ116cを第1のディスプレイ上の関心領域(AOI)350に向けることができる。ズームイン機能が起動され、かつ、カメラがディスプレイ114dに向けられる順序は交換可能である。第3の画像データがカメラ116cによって取り込まれ、第1のディスプレイ114d上の選択された部分を表示する。
【0052】
ステップ420で、第1のディスプレイ114d上の選択された部分に対応する第1の画像データ内のフレーム内の第1の部分が決定される。この決定ステップは、AV配信デバイス108によって実施され得る。上で説明されたように、AV配信デバイス108は、第1のディスプレイ114d上の選択された部分を表す第3の画像データから、第1の画像データ内のフレーム内の第1の部分を決定することができる。第1の画像データが静止画像を表すより適切な一実施形態では、第3の画像データは、第1のディスプレイ114d上の画像310の部分350を表し、また、AV配信デバイス108は、第1の画像データを探索して、第3の画像データによって表された画像に対応する第1の画像データ内のフレーム内の第1の部分を見出す。第1の画像データが静止画像または動画像のいずれかを表す適切な他の実施形態では、第3の画像データは、第1のディスプレイ114dの画像を表す第1の部分を含み、また、AV配信デバイス108は、第3の画像データ内における第3の画像データの第1の部分の相対位置、および第3の画像データの第1の部分のサイズに従って、第1の画像データ内のフレーム内の第1の部分を決定する。例えば第1の画像データの解像度がAXB単位であり、また、第3の画像データの解像度がWXH単位であると仮定すると、AV配信デバイス108は、第3の画像データの第1の部分を突きとめ、また、第3の画像データ内における第3の画像データの第1の部分の中心を表す第3の画像データ内の位置(p,q)を決定し、かつ、第1の画像データ内のフレーム内の第1の部分の中心を(a,b)として決定することができ、a=(A/W)*pおよびb=(B/H)*qである。この実例における中心の位置は、第1の画像データ内のフレーム内の第1の部分の場所を表す。また、第3の画像データの第1の部分のサイズは、w単位の幅およびh単位の深さを含むと仮定すると、AV配信デバイス108は、第1の画像データ内のフレーム内の第1の部分の幅および深さをそれぞれd単位およびe単位として決定することができ、d=(A/W)*wおよびe=(B/H)*hである。
【0053】
第1の画像データ内のフレーム内の第1の部分が決定されると、AV配信デバイス108は、ステップ430で、第1の画像データ内のフレーム内の第1の部分に対応する第1の画像データから第2の画像データを生成することができる。AV配信デバイス108は、拡大係数に従って、第1の画像データ内のフレーム内の第1の部分に対応する第1の画像データを拡大することによって第2の画像データを生成することができる。拡大係数は、第3の画像データの第1の部分のサイズの幅wおよび高さhを使用して、AV配信デバイス108によって自動的に引き出され得る。例えば、拡大係数は、第2のディスプレイ116dの幅を満たすためにW/wであり、または第2のディスプレイ116dの深さを満たすためにH/hである。第1の画像データ内のフレーム内の第1の部分のサイズがaXb単位であると仮定すると、拡大係数は、既に説明されたように、第2のディスプレイ116dの幅を満たすためのW/aとして自動的に決定され、または第2のディスプレイの深さを満たすためのH/bとして自動的に決定され得る。第2のディスプレイデバイス116d上の表示は、第1のディスプレイデバイス114d上の表示に影響を及ぼさない。例えば第2のディスプレイデバイス116dは、ズームされ得る第1のフレームの部分を表示することができるが、第1のディスプレイデバイスは、第1のフレームの全フレームの表示を継続する。したがって、ユーザは、第1のフレームの全フレームを第1のディスプレイデバイス114d上で観察することができ、また、同じフレームのズームイン部分を第2のディスプレイデバイス116d上で同じく見ることができる。
【0054】
動作は、次に、ズームイン機能がアクティブである限りステップ410へループバックする。好ましいことには、ユーザがカメラを移動させる際に、制御デバイス116上のズームインされた画像の表示が実時間またはほぼ実時間で更新されるよう、ステップ410〜440を含むループが十分な頻度で反復される。好ましいことには、AV配信デバイス108は、ズームインされたビデオを表す第2の画像データを生で制御デバイス116に送る。しかしながら、関心領域350の場所は、後に遅れ得る何らかの他のレートで更新され得る。したがって、例えばズームインされたビデオは、30〜60fpsで制御デバイス116上に表示されることが可能であり、一方、制御デバイス116が第3の画像データを取り込み、かつ、AV配信デバイス108に伝送するレートは、5fps以上であってもよい。
【0055】
図5は、制御デバイス116によって実施され得る動作を示したものである。ステップ510で制御デバイス116は、制御デバイス116のカメラによって取り込まれた第3の画像データを受け取り、第3の画像は、少なくとも1つのフレームを含む第1の画像データ(ソースコンテンツ)から生成される画像をフレーム毎に表示する第1のディスプレイ114dの少なくとも部分を含み、第3の画像は、ユーザによって選択された領域350に対応する第1の画像データ内のフレーム内の第1の部分の情報を引き出すために使用される。
【0056】
ステップ520で制御デバイスは、第1の画像内のフレーム内の第1の部分を突きとめるための情報をAV配信デバイス108に伝送する。第1の画像内のフレーム内の第1の部分を突きとめるための情報は、第3の画像データ自体であってもよく、または第3の画像データがその第1の部分にディスプレイ114d全体を含んでいる場合、それは、第3の画像データの第1の部分のサイズ、および第3の画像データ内における第3の画像データの第1の部分の場所を含むことができる。第3の画像データ自体を伝送しない利点は、伝送帯域幅を節約することである。また、情報は、両方の実施形態では第2のディスプレイ116dの解像度を含むことも可能である。全スクリーンが第2のディスプレイ116d内で使用されない場合、領域350’のサイズも同じく伝送されなければならない。
【0057】
ステップ530で制御デバイス116は、第1の画像データ内のフレーム内の第1の部分に対応する第1の画像データから生成された第2の画像データを受け取る。第2の画像データは、第1の画像データ内のフレーム内の第1の部分に対応する第1の画像データのズームされたバージョンであってもよい。ステップ540で制御デバイス116は、第2の画像データから生成された第2の画像を第2のディスプレイ(116d)上に表示し、第1のディスプレイは、第1の画像データから生成される画像のフレーム毎の表示を継続する。
【0058】
図6は、AV配信デバイス108で実施され得る例示的動作を示したものである。ステップ610でAV配信デバイス108は、第1の画像データから生成される画像をフレーム毎に第1のディスプレイデバイス114d上に表示する。
【0059】
ステップ620でAV配信デバイス108は、第1の画像データ内のフレーム内の第1の部分を突きとめるための情報を制御デバイス116から受け取る。
図5に関連して上で説明されたように、制御デバイスは、第1のディスプレイの少なくとも部分を含む第3の画像データを取り込むことができる。第3の画像データは、第1のディスプレイデバイス114d上に表示された画像310の部分を含むことができ、またはディスプレイ114d全体を含むことができる。第1の画像データ内のフレーム内の第1の部分を突きとめるための情報は、第3の画像データ自体であっても、または第3の画像データ内における第1のデバイス114dのサイズおよび相対的な場所であってもよい。
【0060】
ステップ630でAV配信デバイス108は、第1の画像データ内のフレーム内の第1の部分を突きとめる。突きとめる情報が第3の画像データ自体であり、また、第3の画像データが第1のディスプレイデバイス114上に表示される画像316の部分350を含むシナリオでは、AV配信デバイス108は、第3の画像データに対応する第1の部分のための第1の画像データを探索する。
【0061】
第3の画像データが第1のディスプレイ116dの画像を表す第1の部分を含んでいる場合、AV配信デバイス108は、第3の画像データの解像度WXH、第3の画像データの第1の部分のサイズwXh、および第3の画像データ内の第1の部分の場所を決定する。場所は、任意の定義済みの場所、例えば中心場所(p,q)であってもよい。第1の画像データの解像度がAXBであると仮定すると、AV配信デバイス108は、例えば式(1a)、(1b)、(2a)および(2b)を使用して、第1の画像データ内のフレーム内の第1の部分の対応する場所を(a,b)として決定する。例えば式(2a)および(2b)が適用されると、a=(A/W)*pおよびb=(B/H)*qであり、また、式(1a)および(1b)
が適用されると、a=(A/W)*(W−p)およびb=(B/H)*(H−q)である。第1の画像データ内のフレーム内の第1の部分の幅dおよび深さeは、d=(A/W)*wおよびe=(B/H)*hとして決定され得る。
【0062】
第3の画像データが第1のディスプレイ114d全体の画像を表す第1の部分を含む実施形態では、第1の画像データ内のフレーム内の第1の部分を突きとめるための情報は、第3の画像データ自体でなくてもよい。そうではなく、それは、第3の画像内の第1の部分の場所(p,q)、第3の画像データの第1の部分のサイズwXh、および第3の画像データの解像度WXHを含む。AV配信デバイス108は、上で説明されたように、p、q、w、h、WおよびHに従って第1の画像データ内のフレーム内の第1の部分を突きとめることができる。このような実施形態は、例えば、制御デバイス116からAV配信デバイス108までの無線リンクの帯域幅がカメラ116cによって取り込まれた画像の伝送をサポートすることができない実施態様、および/またはAV配信デバイス108がカメラ116cによって取り込まれた画像内のAOI350を探索し、かつ、突きとめるための十分な処理能力を有していない実施態様の場合に望ましい。
【0063】
他の実施形態では、制御デバイス116は、カメラ116cによって取り込まれた第3の画像データを、AV配信デバイス108に第3の画像データを送る前に、画像を圧縮または単純化することなどによって予め処理することができ、したがって上で言及した帯域幅必要条件および/またはAV配信デバイス108に対する処理負荷を低減することができる。
【0064】
ステップ640でAV配信デバイス108は、第1の画像データ内のフレーム内の第1の部分に対応する第1の画像データから第2の画像データを生成する。第2の画像データは、第1の画像データ内のフレーム内の第1の部分に対応する第1の画像データのズームされたバージョンであってもよい。拡大係数は、記憶装置212に記憶され、かつ、第2の画像データを作成するためにAV配信デバイス108によって使用される。
【0065】
AV配信デバイス108は、記憶装置212またはメモリ215に記憶された設定データベースを有している。設定は、ユーザインタフェース222または制御デバイス116を使用してユーザによって入力される。設定は、拡大のための設定を含むことができ、その値は自動であっても、または拡大係数を示す数であってもよい。他の設定は、ディスプレイ116dの全スクリーンであってもよい領域350’の解像度WXHを表すことができる。自動設定では、AV配信デバイス108は、領域350’の幅を満たすためのW/wとして、または領域350’の深さを満たすためのH/hとして拡大係数を計算する。第1の画像データの解像度AXBが第2のディスプレイの解像度WXHと異なり、また、第1の画像データ内のフレーム内の第1の部分のサイズがaXbである場合、AV配信デバイス108は、領域350’の幅を満たすためのW/aとして、または領域350’の深さを満たすためのH/bとして同じく拡大係数を計算することができる。
【0066】
ステップ650でAV配信デバイス108は、第2の画像として第2のディスプレイ116d上に表示するために、第2の画像データを制御デバイスに伝送する。既に言及されたように、第2のディスプレイデバイス116d上の表示は、第1のディスプレイデバイス114d上の表示に影響を及ぼさない。例えば、第2のディスプレイデバイス116dは、第1のフレームの部分を表示することができるが、第1のディスプレイデバイスは、第1のフレームの全フレームの表示を継続する。したがって、ユーザは、第1のフレームの全フレームを第1のディスプレイデバイス114d上で観察することができ、また、同じフレームのズームイン部分を第2のディスプレイデバイス116d上で同じく見ることができる。
【0067】
既に言及されたように、ここでは、領域350’のサイズは第2のディスプレイ116dの全スクリーンをカバーすることを仮定している。領域350’が第2のディスプレイ116dの全スクリーンをカバーしていない場合、拡大係数を計算するために領域350’のサイズがAV配信デバイス108に伝送されなければならない。上で言及されたように、制御デバイス116は、領域350’のサイズを調整することにより、第2のディスプレイ上に表示された、第2の画像データから生成された画像をさらに拡大または縮小することができる。
【0068】
言及されたように、ディスプレイ116d上に表示される際の第2の画像の解像度は、ディスプレイデバイス114の解像度によって制限されるのではなく、むしろAV配信デバイス108によって受け取られ、または検索される信号を担っているコンテンツ(第1の画像データ)から得ることができる解像度に基づいている。したがって例えばAOI350が20メガピクセル画像の領域の5%を表している場合、ディスプレイ116d上に表示される際の第2の画像データ、すなわちAOI350に対応する領域350’の解像度は、720pテレビジョンモニター上に表示される際のAOI350の解像度がたったの0.05メガピクセルであっても、好ましいことには1メガピクセルである。
【0069】
上記に鑑みて、以上は、単に本発明の原理を実例で説明したものにすぎず、したがって、当業者は、本明細書においては明確に説明されていないが、本発明の原理を具体化し、また、その精神および範囲の範疇である多くの代わりの構成を工夫することができることは理解されよう。例えば個別の機能要素の文脈で示されているが、これらの機能要素は、1または複数の集積回路(IC)の中で具体化され得る。同様に、個別の要素として示されているが、いくつかの要素またはすべての要素は、記憶プログラム制御プロセッサー、例えばディジタル信号プロセッサーまたは汎用プロセッサーの中で実現されることが可能であり、記憶プログラム制御プロセッサーは、例えば1または複数のステップに対応する関連するソフトウェアを実行し、ソフトウェアは、任意の様々な適切な記憶媒体の中で具体化され得る。さらに、本発明の原理は、とりわけパーソナル計算システムを始めとする様々なタイプのデバイスおよびシステムに適用することができる。したがって、本発明の精神および範囲を逸脱することなく、説明に役立つ実施形態には多くの修正が加えられ得ること、および他の構成が工夫され得ることは理解されよう。
本発明は以下の態様を含む。
(付記1)
制御デバイス(116)を使用して第1のディスプレイ(114d)上の部分を選択するステップであって、前記制御デバイスは第2のディスプレイ(116d)を有し、前記第1のディスプレイは、少なくとも1つのフレームを含む第1の画像データから生成される画像をフレーム毎に表示する、選択するステップ(410)と、
前記第1のディスプレイ上の前記選択された部分に対応する前記第1の画像データ内のフレーム内の第1の部分を決定するステップ(420)と、
前記第1の画像データ内のフレーム内の前記第1の部分に対応する前記第1の画像データから第2の画像データを生成するステップ(430)と、
前記第2の画像データを前記制御デバイス(116)に提供し、第2の画像として前記第2のディスプレイ上に表示する(480)ステップ(440)と、
を含む、方法。
(付記2)
前記選択するステップは、前記制御デバイス(116)のカメラ(116c)から第3の画像データを受け取るステップを含み、前記第3の画像データの第1の部分は前記第1のディスプレイ(114d)の画像を表し、前記決定するステップは、前記第3の画像データ内における前記第3の画像データの前記第1の部分の相対位置、および前記第3の画像データの前記第1の部分のサイズに従って、前記第1の画像データ内のフレーム内の前記第1の部分を決定するステップを含む、付記1に記載の方法。
(付記3)
前記第1の画像データの解像度はAXB単位であり、また、前記第3の画像データの解像度はWXH単位であり、前記方法は、
前記第3の画像データの前記第1の部分を位置決めし、かつ、前記第3の画像データ内における前記第3の画像データの前記第1の部分の中心を表す前記第3の画像データ内の位置(p,q)を決定するステップと、
前記第1の画像データ内のフレーム内の前記第1の部分の中心を(a,b)として決定するステップであって、a=(A/W)*pおよびb=(B/H)*qである、決定するステップと、
をさらに含む、付記2に記載の方法。
(付記4)
前記第3の画像データの前記第1の部分の前記サイズは、w単位の幅およびh単位の深さを含み、前記決定するステップは、前記第1の画像データ内のフレーム内の前記第1の部分の幅および深さをそれぞれd単位およびe単位として決定するステップをさらに含み、d=(A/W)*wおよびe=(B/H)*hである、付記3に記載の方法。
(付記5)
前記第2の画像データを生成する前記ステップは、拡大係数に従って、前記第1の画像データ内のフレーム内の前記第1の部分に対応する前記第1の画像データを拡大するステップを含む、付記4に記載の方法。
(付記6)
wおよびhのうちの1つから前記拡大係数を決定するステップ
をさらに含む、付記5に記載の方法。
(付記7)
前記拡大係数はW/wに等しい、付記6に記載の方法。
(付記8)
前記拡大係数はH/hに等しい、付記6に記載の方法。
(付記9)
前記第1の画像データは、静止画像またはビデオフレームを表す、付記1に記載の方法。
(付記10)
前記選択するステップは、前記制御デバイス(116)のカメラ(116c)から第3の画像データを受け取るステップを含み、前記第3の画像データは、前記第1のディスプレイ(114d)上に表示される画像の部分を表し、前記決定するステップは、前記第3の画像データに対応する部分のための前記第1の画像データを探索するステップを含む、付記1に記載の方法。
(付記11)
コントローラ(210)と、
少なくとも1つのフレームを表す第1の画像データを記憶するためのメモリ(215)と、
を備えるビデオレシーバ(108)であって、前記メモリは、実行されると、少なくとも、
第1のディスプレイ(114d)が前記第1の画像データによって表される画像をフレーム毎に表示し、
制御デバイス(116)と対話して前記第1のディスプレイ上の部分(350)を選択し、
前記選択された部分に対応する前記第1の画像データ内のフレーム内の第1の部分を決定し、
前記第1の画像データ内のフレーム内の前記第1の部分に対応する前記第1の画像データから第2の画像データを生成し、かつ、
前記第2の画像データを前記制御デバイス(116)に提供し、第2の画像として第2のディスプレイ(116d)上に表示する(480)
ように前記コントローラ(210)が前記ビデオレシーバを制御することになる論理を記憶する、前記ビデオレシーバ(108)。
(付記12)
前記ビデオレシーバ(108)は、
前記制御デバイス(116)のカメラ(116c)から第3の画像データを受け取り、前記第3の画像データの第1の部分は前記第1のディスプレイ(114d)の画像を表し、前記決定するステップは、前記第3の画像データ内における前記第3の画像データの前記第1の部分の相対位置、および前記第3の画像データの前記第1の部分のサイズに従って、前記第1の画像データ内のフレーム内の前記第1の部分を決定するステップを含む、付記11に記載のビデオレシーバ(108)。
(付記13)
前記第1の画像データの解像度はAXB単位であり、前記第3の画像データの解像度はWXH単位であり、前記ビデオレシーバ(108)は、
前記第2の画像データの第2の部分を位置決めし、かつ、前記第2の画像データの前記第2の部分の中心を表す前記第2の画像データ内の位置(p,q)を決定し、
前記第1の画像データ内のフレーム内の前記第1の部分の中心を(a,b)として決定し、a=(A/W)*pおよびb=(B/H)*qである、付記12に記載のビデオレシーバ(108)。
(付記14)
前記第3の画像データの前記第1の部分の前記サイズは、w単位の幅およびh単位の深さを含み、前記ビデオレシーバ(108)は、
前記第1の画像データ内のフレーム内の前記第1の部分の幅および深さをそれぞれd単位およびe単位として決定し、d=(A/)W*wおよびe=(B/H)*hである、付記13に記載のビデオレシーバ(108)。
(付記15)
前記ビデオレシーバ(108)は、拡大係数に従って、前記第1の画像データ内のフレーム内の前記第1の部分に対応する前記第1の画像データをズーミングすることによって前記第2の画像データを生成する、付記14に記載のビデオレシーバ(108)。
(付記16)
前記ビデオレシーバ(108)は、wおよびhのうちの1つから前記拡大係数を決定する、付記15に記載のビデオレシーバ(108)。
(付記17)
前記拡大係数はW/wに等しい、付記16に記載のビデオレシーバ(108)。
(付記18)
前記拡大係数はH/hに等しい、付記16に記載のビデオレシーバ(108)。
(付記19)
前記第1の画像データは、静止画像またはビデオフレームを表す、付記11に記載のビデオレシーバ(108)。
(付記20)
少なくとも1つのフレームを含む第1の画像データを受け取り、かつ、前記第1の画像データから生成される画像をフレーム毎に第1のディスプレイ上に表示するビデオレシーバを制御する制御デバイスに使用される方法であって、
前記制御デバイスのカメラによって取り込まれた第3の画像データを受け取るステップであって、第3の画像は、少なくとも1つのフレームを含む第1の画像データから生成される画像をフレーム毎に表示する前記第1のディスプレイの少なくとも部分を含み、前記第3の画像は、ユーザによって選択された前記第1の画像データ内のフレーム内の第1の部分を位置決めするために使用される、受け取るステップ(510)と、
前記第1の画像内のフレーム内の前記第1の部分を位置決めするための情報を前記ビデオレシーバに伝送するステップ(520)と、
前記第1の画像データ内のフレームの前記第1の部分に対応する前記第1の画像データから生成された第2の画像データを受け取るステップ(530)と、
前記第2の画像データを表す第2の画像を第2のディスプレイ(116d)上に表示する(480)ステップであって、前記第1のディスプレイは、前記第1の画像データから生成される画像のフレーム毎の表示を継続する、表示するステップ(540)と、
を含む、前記方法。
(付記21)
前記第3の画像データの第1の部分は前記第1のディスプレイの画像を表し、前記第1の画像内のフレーム内の前記第1の部分を位置決めするための前記情報は、前記第3の画像データの前記第1の部分のサイズ、および前記第3の画像データ内における前記第3の画像データの前記第1の部分の場所を含む、付記20に記載の方法。
(付記22)
前記第1の画像内のフレーム内の前記第1の部分を位置決めするための前記情報は前記第2のディスプレイの解像度をさらに含む、付記21に記載の方法。
(付記23)
前記第1の画像内のフレーム内の前記第1の部分を位置決めするための前記情報は前記第3の画像データである、付記20に記載の方法。
(付記24)
前記第2の画像データは、前記第1の画像データ内のフレーム内の前記第1の部分に対応する前記第1の画像データのズームされたバージョンを表す、付記20に記載の方法。
(付記25)
前記第1の画像データは、静止画像またはビデオフレームを表す、付記20に記載の方法。
(付記26)
第1の画像データから生成される画像をフレーム毎に第1のディスプレイデバイス上に表示するステップ(610)と、
前記第1の画像データ内のフレーム内の第1の部分を位置決めするための情報を制御デバイスから受け取るステップ(620)と、
前記第1の画像データ内のフレーム内の前記第1の部分を位置決めするステップ(630)と、
前記第1の画像データ内のフレーム内の前記第1の部分に対応する前記第1の画像データから第2の画像データを生成するステップ(640)と、
第2の画像として第2のディスプレイ上に表示するために、前記第2の画像データを前記制御デバイスに伝送するステップ(650)と、
を含む、方法。
(付記27)
前記第2の画像データは、前記第1の画像データ内のフレーム内の前記第1の部分に対応する前記第1の画像データのズームされたバージョンを表す、付記26に記載の方法。
(付記28)
前記ズームされたバージョンは、拡大係数を使用して前記第1の画像データ内のフレーム内の前記第1の部分を拡大することによって生成される、付記27に記載の方法。
(付記29)
前記拡大係数はメモリに記憶される、付記28に記載の方法。
(付記30)
第3の画像データが前記制御デバイスのカメラによって取り込まれ、第3の画像は前記第1のディスプレイの少なくとも部分を含み、前記第1の画像データ内のフレーム内の前記第1の部分を位置決めするための前記情報は、wXh単位である前記第3の画像データの第1の部分のサイズ、および前記第3の画像データ内における前記第3の画像データの前記第1の部分の場所を含む、付記26に記載の方法。
(付記31)
前記第3の画像データ内における前記第3の画像データの前記第1の部分の前記場所は、(p,q)である前記第3の画像データ内における前記第3の画像データの前記部分の中心位置であり、前記第1の画像データ解像度はAXB単位であり、前記方法は、WXH単位である前記第3の画像データの解像度を決定するステップ、および前記第1の画像データ内のフレーム内の前記第1の部分の中心を(a,b)として決定するステップをさらに含み、a=(A/W)*pおよびb=(B/H)*qである、付記30に記載の方法。
(付記32)
前記第1の画像データ内のフレーム内の前記第1の部分の幅および深さをそれぞれd単位およびe単位として決定するステップをさらに含み、d=(A/W)*wおよびe=(B/H)*hである、付記31に記載の方法。
(付記33)
前記拡大係数は前記サイズに従って決定される、付記32に記載の方法。
(付記34)
前記拡大係数はW/wとして計算される、付記33に記載の方法。
(付記35)
前記拡大係数はH/hとして計算される、付記33に記載の方法。
(付記36)
前記第1の画像データは、静止画像またはビデオフレームを表す、付記26に記載の方法。