IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マーシブ テクノロジーズ,インコーポレイティドの特許一覧

特許7084450分散メディアの相互作用かつリアルタイムの可視化のためのシステムおよび方法
<>
  • 特許-分散メディアの相互作用かつリアルタイムの可視化のためのシステムおよび方法 図1
  • 特許-分散メディアの相互作用かつリアルタイムの可視化のためのシステムおよび方法 図2
  • 特許-分散メディアの相互作用かつリアルタイムの可視化のためのシステムおよび方法 図3
  • 特許-分散メディアの相互作用かつリアルタイムの可視化のためのシステムおよび方法 図4
  • 特許-分散メディアの相互作用かつリアルタイムの可視化のためのシステムおよび方法 図5
  • 特許-分散メディアの相互作用かつリアルタイムの可視化のためのシステムおよび方法 図6
  • 特許-分散メディアの相互作用かつリアルタイムの可視化のためのシステムおよび方法 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-06
(45)【発行日】2022-06-14
(54)【発明の名称】分散メディアの相互作用かつリアルタイムの可視化のためのシステムおよび方法
(51)【国際特許分類】
   H04N 7/15 20060101AFI20220607BHJP
   H04L 67/02 20220101ALI20220607BHJP
【FI】
H04N7/15 120
H04L67/02
【請求項の数】 9
【外国語出願】
(21)【出願番号】P 2020122623
(22)【出願日】2020-07-17
(62)【分割の表示】P 2018150246の分割
【原出願日】2016-04-23
(65)【公開番号】P2020174401
(43)【公開日】2020-10-22
【審査請求日】2020-07-17
(31)【優先権主張番号】14/695,796
(32)【優先日】2015-04-24
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】515233498
【氏名又は名称】マーシブ テクノロジーズ,インコーポレイティド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】クリストファー オー. ジェインズ
【審査官】鈴木 順三
(56)【参考文献】
【文献】特開2004-072741(JP,A)
【文献】特開2004-252970(JP,A)
【文献】特開2012-039288(JP,A)
【文献】特開2011-130279(JP,A)
【文献】特開平10-023383(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/10 - 7/56
H04N 21/00 - 21/858
G06F 13/00
H04L 51/00 - 67/75
(57)【特許請求の範囲】
【請求項1】
特定のメディアソースがソースコンピュータおよび宛先コンピュータを含む複数の相互接続されているコンピュータのうちの少なくとも1つのユーザによって視聴されているかどうかを示す方法であって、前記方法は、コントローラを備えるホストコンピュータにおいて行われ、前記方法は、
前記コントローラが、前記ソースコンピュータから、初期分解能を有するメディアソースストリームを受信することと、
前記コントローラが、前記メディアソースストリームを再スケーリングし、第2の分解能を有する第1の再スケーリングされたメディアソースストリームを生成することであって、前記第2の分解能は、同じ時間において共有ディスプレイ上に同時に表示されるメディアソースストリームの数および前記共有ディスプレイの分解能に基づく、ことと、
前記コントローラが、前記第1の再スケーリングされたメディアソースストリームを前記共有ディスプレイを有するホストコンピュータ上に表示することと、
前記コントローラが、前記宛先コンピュータに、前記共有ディスプレイ上の各メディアソースストリームの位置を示すソースマップを伝送することと、
前記コントローラが、前記宛先コンピュータから、前記第1の再スケーリングされたメディアソースストリームの選択を示す命令と、前記宛先コンピュータのための再スケーリング情報とを受信することと、
前記コントローラが、ユーザ名、前記第1の再スケーリングされたメディアソースストリームの選択の時間、および選択された前記メディアソースのしるしを含む第1の視聴イベントを捕捉し、前記第1の視聴イベントを第1のメタデータとして記憶することと、
前記コントローラが、前記受信された再スケーリング情報に従って、前記メディアソースストリームを再スケーリングし、前記再スケーリング情報に基づく第3の分解能を有する第2の再スケーリングされたメディアソースストリームを生成することと、
前記コントローラが、前記第2の再スケーリングされたメディアソースストリームを前記宛先コンピュータに伝送することと、
前記コントローラが、前記伝送された第2の再スケーリングされたメディアソースストリームが前記宛先コンピュータにおいてもはや表示されていないとき、第2の視聴イベントを捕捉し、前記第2の視聴イベントを第2のメタデータとして記憶することと、
前記コントローラが、前記第1および第2のメタデータを組み合わせることによって、記第1および第2のメタデータを視聴統計に変換することと、
前記伝送されたメディアソースストリームが所定期間の間視聴されたことを前記視聴統計が示す場合に前記複数の相互接続されているコンピュータのうちの1つのコンピュータのディスプレイ上にインジケータを表示するために、前記コントローラが、前記視聴統計を前記1つのコンピュータに送信することと
を含む、方法。
【請求項2】
前記コントローラが、前記相互接続されているコンピュータの各々から、前記相互接続されたコンピュータによって選択された各メディアソースストリームに対して、視聴開始時間、視聴終了時間、およびメディアIDを含むデータを収集することと、
前記コントローラが、前記収集されたデータを、前記相互接続されているコンピュータによって選択されたメディアソースストリームを現在視聴しているユーザを示す視聴イベント情報に変換することと、
前記コントローラが、前記視聴イベント情報を使用して、前記相互接続されているコンピュータによって選択されたいずれかのメディアソースストリームを視聴しているユーザのパーセンテージを示すことと
をさらに含む、請求項1に記載の方法。
【請求項3】
前記視聴統計は、前記相互接続されているコンピュータのうちの少なくとも1つと、共有ディスプレイとに送信される、請求項1に記載の方法。
【請求項4】
前記視聴統計は、選択されたメディアソースストリームを現在視聴しているユーザの数を含む、請求項1に記載の方法。
【請求項5】
前記視聴統計は、選択されたメディアソースストリームを現在視聴している全てのユーザのユーザ名を含む、請求項1に記載の方法。
【請求項6】
前記視聴統計は、選択されたメディアソースストリームを視聴している前記相互接続されているコンピュータのパーセンテージを含む、請求項1に記載の方法。
【請求項7】
前記視聴統計は、ユーザが選択されたメディアソースストリームを視聴した終了時間と開始時間との間の差を含む、請求項1に記載の方法。
【請求項8】
前記視聴統計は、選択されたメディアソースストリームを所定の時間量より長く視聴したユーザの数を含む、請求項1に記載の方法。
【請求項9】
前記相互接続されているコンピュータの各々から記憶された前記第1および第2のメタデータのデータは、対応するユーザのためのユーザ名、固有のIDを含む、請求項1に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願)
本願は、米国特許出願第14/695,796号(2015年4月24日出願)に対する優先権を主張し、上記出願の内容は、その全体が参照により本明細書に引用される。
【背景技術】
【0002】
種々の技術が、ディスプレイ上の複数のメディアソースの外観および相対的位置/スケーリング(レイアウト)を制御するために存在する。例えば、ビデオウォールスケーラおよびスイッチャは、ユーザが、単一共有ディスプレイ上のビデオソースの外観に影響を及ぼす制御コマンドをビデオルーティングシステムに投入することを可能にする。ビデオウォール制御コマンドは、必然的に、主要ディスプレイの共有外観を修正する。すなわち、メディアソースがディスプレイ上でより大きくスケーリングされる場合、その単一共有ディスプレイの全視聴者に対してスケーリングされる。その一方で、いくつかのシステムは、共有ビューと異なる個々の制御をサポートする。例えば、いくつかのビデオ遠隔会議ソフトウェアシステムは、個々のユーザが、共有ビューの不在下、それら自身のインターフェース内の文書またはウェブカメラビューのビデオストリームをスケーリングすることを可能にする。
【0003】
その結果、これらの既存の技術は、種々のメディアストリームの同期ビューを提供するホストディスプレイシステムと、接続されるソースコンピュータの各々上のその同じシステムの個々の(但し、同期される)ビューとの両方を含む分散された可視化システムの必要性に対処しない。必要とされるのは、主要共有ディスプレイ画面を修正せずに、グループ連携と共有メディアソースの各々の個々の視聴とをサポートする方法で、ユーザが、共有ディスプレイ表面を制御し、かつ同時に、接続されるデバイス上のその共有ディスプレイを視聴することを可能にする機構である。
【0004】
例えば、各々が共有ディスプレイに接続された4つのソースコンピュータが、同時に、メディアソースを共有している場合を検討する。共有ディスプレイは、1920×1080分解能画面であると仮定する。各コンピュータが、単一1920×1080分解能メディアストリームを共有しており、全4つのソースが、共有ディスプレイ上に等しく示されている場合、最大でも、任意の個々のソース分解能は、(1920/2)×(1080/2)=960×540である。これは、異なる、典型的には、異種である、メディアのソースの比較視聴のために有用であるが、情報は、必然的に、喪失される。さらに、共有ディスプレイメディアの複製を個々のコンピュータの各々上に表示するシステムは、それが制約されたユーザインターフェース内に適合するように、各表示されるメディアソースの分解能をさらに低減させ得る。
【発明の概要】
【課題を解決するための手段】
【0005】
一組のコンピュータにおける複数のユーザが、共通ディスプレイシステムに接続される種々のデバイスを使用して、メディアソースの組を連携して可視化することを可能にするシステムおよび方法が、開示される。システムは、1つ以上のソースコンピュータから同時にストリーミングされる、メディアの複数のソースをサポートし、同時可視化のために、それらのソースを共通ディスプレイ上に配列する。同時に、各ソースコンピュータは、ユーザインターフェースを介して、共有ディスプレイ上のメディアストリームの現在の配列およびレイアウトを提示される。
【0006】
システムおよび方法は、連携セッションにおける各参加者が、特定のソースメディアの高分解能ビデオをインタラクティブに選択および視聴することを可能にする技法を導入する。この方法は、以前のメディアストリーミングシステムが、典型的には、ソースコンピュータから共有ディスプレイへのメディアソースの一方向ストリーミングをサポートするが、ソースコンピュータ上での共有ディスプレイの同時可視化をサポートしないので、必要とされる。共有ディスプレイのグラフィカル表現が、ソースコンピュータ上に描写される場合でも、必然的に、ソースコンピュータディスプレイ分解能の制約、潜在的に、ユーザインターフェースにおける限界に一致するようにスケーリングされる。
本発明はさらに、例えば、以下を提供する。
(項目1)
メディアの制御および可視化を提供する方法であって、前記方法は、
ソースコンピュータから、初期分解能を有する第1のメディアソースストリームを受信することと、
前記第1のメディアソースストリームを再スケーリングし、第2の分解能を有する第2のメディアソースストリームを生成することと、
前記第2のメディアソースストリームを宛先コンピュータに伝送することと、
前記宛先コンピュータから、前記第2のメディアソースストリームの選択を示す命令と前記選択されたストリームのための再スケーリング情報とを受信することと、
前記受信された再スケーリング情報に従って、前記第2のメディアソースストリームを再スケーリングし、第3の分解能を有する第3のメディアソースストリームを生成することと、
前記第3のメディアソースストリームを前記宛先コンピュータに伝送することと
を含む、方法。
(項目2)
前記第3のメディアソースストリームを前記宛先コンピュータ上に表示することを含む、項目1に記載の方法。
(項目3)
前記宛先コンピュータに、共有ディスプレイの状態を表すソースマップを伝送することと、
前記ソースマップに従って、前記第2のメディアソースストリームを前記宛先コンピュータ上に表示することと
を含む、項目1に記載の方法。
(項目4)
前記ソースマップは、前記共有ディスプレイ上に表示される前記メディアソースストリームの相対的配列を描写するグラフィカル表現を備えている、項目3に記載の方法。
(項目5)
前記ソースマップは、前記共有ディスプレイ上の各メディアソースの相対的サイズおよび位置をエンコードするグラフィカル表現である、項目3に記載の方法。
(項目6)
前記再スケーリングされた第1のメディアソースストリームは、共有ディスプレイ上に表示される、項目1に記載の方法。
(項目7)
前記第1のメディアソースストリームは、1つ以上の他のメディアソースストリームと併せて前記共有ディスプレイ上に表示される、項目1に記載の方法。
(項目8)
前記メディアソースは、前記ソースコンピュータから前記宛先コンピュータに直接伝送される、項目1に記載の方法。
(項目9)
メディアの制御および可視化を提供する方法であって、前記方法は、
要求側クライアントコンピュータから、所有側クライアントコンピュータから生じるメディアソースストリームを検査するための要求を受信することと、
前記所有側クライアントコンピュータに、前記メディアソースストリームを前記要求側クライアントコンピュータに送信するための要求を伝送することと、
前記メディアソースストリームを送信するための要求を受信することに応答して、前記メディアソースを前記所有側クライアントコンピュータから前記要求側クライアントコンピュータに伝送することと
を含む、方法。
(項目10)
前記メディアソースストリームは、前記要求側クライアントコンピュータと前記項目のステップを行うホストコンピュータとの両方に伝送される、項目9に記載の方法。
(項目11)
特定のメディアソースがソースコンピュータおよび宛先コンピュータを含む複数の相互接続されているコンピュータのうちの1つによって検査されているかどうかを示す方法であって、前記方法は、
前記ソースコンピュータから、メディアソースストリームを受信することと、
前記宛先コンピュータから、前記メディアソースストリームの選択を示す命令を受信することと、
前記ソースコンピュータから送信されるメタデータを記憶することによって、第1の視聴イベントを捕捉することであって、前記メタデータは、ユーザ名、前記要求の時間、および要求される前記メディアソースのしるしを示す、ことと、
第1のメディアソースストリームを前記宛先コンピュータに伝送することと、
前記コンピュータのうちの1つのユーザが前記伝送されるメディアソースストリームをもはや表示していないとき、宛先コンピュータから受信されるメタデータを記憶することによって、第2の視聴イベントを捕捉することであって、前記メタデータは、前記メディアソースストリームの表示がもはや生じていないことを示す、ことと、
前記視聴イベント情報を分析することによって、前記第1および第2の視聴イベントに対する前記メタデータを視聴統計に変換することと、
前記視聴統計を前記相互接続されているコンピュータのうちの1つに送信することと
を含む、方法。
(項目12)
前記相互接続されているコンピュータの各々に対して、前記視聴イベントの各々の開始/停止時間を監視することと、
前記相互接続されているコンピュータの各々から、前記コンピュータのうちの1つによって選択された前記メディアソースストリームの各々に対して、視聴開始時間、視聴終了時間、およびメディアIDを含むデータを収集することと、
前記収集されたイベントデータを前記第1のメディアソースストリームを現在視聴しているユーザを示す視聴情報に変換することと、
前記視聴情報を使用して、前記選択されたメディアストリームのうちの任意のものを視聴しているユーザのパーセンテージを示すことと
を含む、項目11に記載の方法。
(項目13)
前記視聴統計は、前記相互接続されているコンピュータのうちの少なくとも1つと、共有ディスプレイとに送信される、項目11に記載の方法。
(項目14)
前記視聴統計は、選択されたメディアソースストリームを現在視聴しているユーザの数を含む、項目11に記載の方法。
(項目15)
前記視聴統計は、選択されたメディアソースストリームを現在視聴している全でのユーザの名前を含む、項目11に記載の方法。
(項目16)
前記視聴統計は、選択されたメディアソースストリームを視聴している前記相互接続されているコンピュータのパーセンテージを含む、項目11に記載の方法。
(項目17)
前記視聴統計は、ユーザが選択されたメディアソースストリームを視聴した総時間を含む、項目11に記載の方法。
(項目18)
前記視聴統計は、選択されたメディアソースストリームを所定の時間量より長く視聴したユーザの数を含む、項目11に記載の方法。
(項目19)
前記相互接続されているコンピュータの各々から収集された前記データは、対応するユーザのためのユーザ名、固有のIDを含む、項目11に記載の方法。
【図面の簡単な説明】
【0007】
図1図1は、システムの例示的コンポーネントを図示する、略図である。
図2図2は、システムの例示的実施形態において行われるステップの例示的組を示すフローチャートである。
図3図3-5は、4人のユーザが、システムに接続され、連携しており、複数のソースメディアファイルが共有される、例を図示する。
図4図3-5は、4人のユーザが、システムに接続され、連携しており、複数のソースメディアファイルが共有される、実施例を図示する。
図5図3-5は、4人のユーザが、システムに接続され、連携しており、複数のソースメディアファイルが共有される、実施例を図示する。
図6図6は、メディアソースが、直接、ソースコンピュータから宛先コンピュータに伝送される、例示的実施形態を示す。
図7図7は、メタデータが、クライアントコンピュータ間で伝送され、特定のソースが検査されているかどうかを示す、例示的実施形態を示す。
【発明を実施するための形態】
【0008】
システムおよび方法は、複数のソースコンピュータが特定の連携セッションに接続される環境で動作し、ソースコンピュータのうちの少なくとも1つからの1つ以上のメディアソースが、中央共有ディスプレイ上に表示され、それは、ソースコンピュータのうちの少なくとも1つ上にも表示される。システムは、メディアソースが、共有ディスプレイ上の現在のスケーリングから独立した分解能において、特定のソースコンピュータ上で視聴されることを可能にする。この機能性は、個々のユーザが所望のスケーリングにおける単一メディアソースを視聴することをサポートしながら、共有ディスプレイ表面の連携可視化を提供する。
【0009】
図1は、ホストディスプレイシステム102と、インターネット等のネットワーク130を介して、システム102と通信する1つ以上のクライアントディスプレイデバイス106(*)[「*」は、恣意的デバイスを示す、ワイルドカードである]とを備えているシステム100の例示的コンポーネントを示す。図1に示されるように、例示的実施形態では、ホストシステム102は、ホストコントローラ(デジタルプロセッサ)104と、関連付けられたデータ記憶装置110と、共有ディスプレイ103と、サーバ115とを含む。ホストコントローラ104は、サーバ115に結合され、ホストソフトウェア105を実行し、本明細書に説明されるメディアスケーリング機能性を提供する。データ記憶装置110は、ソースマップ101と、ユーザメタデータ情報を記憶するために使用される構成ファイル121とを含むデータを記憶するために使用される。ある場合には、ユーザは、共有ビューのために、単一ホストコンピュータ共有ディスプレイ103を一緒に視聴し得る。
【0010】
各ソース(または「クライアント」)コンピュータ106は、デスクトップもしくはラップトップコンピュータ、タブレット、またはスマートフォン等、デジタルプロセッサ104およびディスプレイ108を伴う任意のタイプのコンピュータ制御デバイスであり得る。クライアントソフトウェアアプリケーション107は、各ソースコンピュータ106内のメモリ111に常駐し、以下に詳細に説明されるように、システム102から受信された情報をハンドリングおよびフォーマット化するためのユーザインターフェース116を提供することと、制御情報をシステムに送信することとを含む、タスクを行う。
【0011】
図2は、システムの例示的実施形態において行われる例示的なステップの組を示すフローチャートである。図2に示されるように、ステップ203における1つ以上のソースコンピュータ106からの要求に応答して、ホストシステム102は、要求側コンピュータとのセッション接続を確立する。例示的実施形態におけるこのステップでは、各ソースコンピュータは、メタデータを送信することによって、新しいメディアソースストリームの開始を要求し、メタデータは、本来の分解能と、タイプ(静止画像またはビデオストリーム)と、潜在的に、他のデータ(ビデオストリームがエンコードされる方法を示すデータ等)とを含むストリームを含む情報を示す。システム102は、新しいストリームを拒
否することができる(例えば、許容可能ストリームの最大数を超える場合)。そうでなければ、ホストシステムは、ステップ205において、要求を肯定応答する。それに応答して、ステップ210では、ソースコンピュータ106のうちの1つ以上のものが、ホストシステム102に、初期(本来の)分解能を有するそれぞれのメディアソースストリームを送信する。
【0012】
ステップ215では、ホストシステム102は、ソースマップ101を各接続されるソースコンピュータに送信することによって、接続されるソースコンピュータ106の各々に、他の接続されるソースコンピュータ106から現在利用可能なメディアソースストリームについて知らせる。ソースマップ101は、グラフィカル表現(すなわち、共有ディスプレイ状態の画像)、メディアソース名および所有者のリスト、または共有ディスプレイ103の状態を表す他の情報を含み得る。
【0013】
一実施形態では、ステップ215において、ホストシステム102は、接続されるソースコンピュータの各々に、利用可能なソースメディアストリームのスケーリングされた/位置調整された表現である複数の「サムネイル」の形態においてソースマップ101を送信する。サムネイルは、ソースマップを描写するためのグラフィカル方法であり、所有権が、アイコンに対応するサムネイルの境界色によって示されるか、または名称をサムネイル上に表示すること等によって示されることができる。別の実施形態では、ソースマップ101は、必ずしも幾何学的に配列されない、またはサムネイルとして描写されないメディアソースのリスト(例えば、所有権情報を伴うテキスト名のリスト等)を備えている。このソースマップ伝送は、ユーザがソースコンピュータを介してホストシステムに接続し、接続されたままであるとき、ユーザ入力を伴わずに生じる。以下に詳細に説明されるように、ソースメディアストリームのうちの1つをより高い分解能において視聴するために、ユーザは、ソースマップ101内で利用可能なものとして示されるそれらから「選択
」する。
【0014】
ソースマップ101は、ユーザが、ホストディスプレイシステム102に接続される各ソースコンピュータ106上のユーザインターフェース116を介して、特定のメディアソース109を選択することを可能にする。例えば、一実施形態では、ソースマップは、ユーザインターフェース116上の各利用可能なメディアソースのグラフィカル表現である。例えば、4つのメディアソースが、ホストディスプレイシステムと共有されているとき、これらのソースの各々は、各ソースメディアのそれぞれの本来の分解能より比較的に低い分解能および低いフレームレートにおいて、接続されるソースコンピュータ上のサムネイル内に示される。
【0015】
ステップ217では、システム102は、共有ディスプレイ103上で、接続されるソースコンピュータからのメディアストリームを、ストリームのそれぞれが単一ディスプレイ画面上で視聴されることを可能にする第2の分解能おいて表示し、ステップ220では、システム102は、同様に第2の分解能において、各接続されるユーザからのストリーミングされたメディアを各接続されるソースコンピュータ106に送信する。
【0016】
ステップ225では、特定のメディアソースを選択して視聴するために、一実施形態では、ソースコンピュータ106におけるユーザは、インターフェース116を使用して、着目メディアソースに対応するソースマップ101内のサムネイルを右クリックすることによって、ソースマップ101内のメディアソースを選択する。本実施形態では、メニューが、現れ、ユーザは、「デタッチおよびズーム」オプションを選択する。例示的実施形態では、ソースマップ101は、メディアソースのファイル名、短い説明、および所有者のリストを含み得、その場合、ホストシステム102は、必ずしも、最初に、実際のメディアストリームを全ての接続されるユーザに送信するわけではない。この情報は、最初に、メディアストリーム自体の代わりに、各ユーザに送信される。そのような実施形態では、ソースマップ101は、データのみを備えている。以下に説明されるように、ユーザは、このデータを使用して、メディアソースを選定し、次いで、選択されたメディアソースストリームの受信を開始することができる。メディアソースがこのように視聴されるとき、それは、オリジナルソースビデオストリームではなくてもよいことに留意されたい。例えば、視聴されるメディアは、オリジナルメディアソースストリームより低いフレームレートにおける、静止画像の組(本来の分解能における)であり得る。
【0017】
ステップ225では、メディアソース109(*)を選択後、ソースコンピュータ106(*)のユーザは、ユーザインターフェース116を介して、再スケーリング情報を含むディスプレイパラメータを入力し、ソースコンピュータは、ホストシステム102に、選択されたメディアソースと、再スケーリング情報とを含む制御コマンドを送信する。
【0018】
ステップ230では、制御コマンドの受信に応答して、ホストシステム102は、次いで、対応して再スケーリングされたソースメディアストリームを、第3の分解能において、選択側ソースコンピュータ106(*)に伝送する。再スケーリングされたメディアストリームは、共有ディスプレイ上の現在のメディアストリーム(静止画像であり得る)のスケーリングおよび外観によって制約されず、代わりに、選択されたメディアソースのための選択されたディスプレイパラメータによって決定される。すなわち、新しく伝送される(再スケーリングされた)ソースメディアストリームは、共有ディスプレイ上103に表示される対応するメディアストリームと異なる分解能であることができ、それは、接続されるソースコンピュータ106のいずれか上のディスプレイ外観変化によって影響されない。選択側ソースコンピュータは、次いで、受信されたソースメディアストリームを第3の分解能において表示する。
【0019】
図3-5は、4人のユーザが、システムに接続され、連携しており、複数のソースメディアファイルが、共有される、例を図示する。図3の例に示されるように、3つのソースコンピュータ106(1)、106(2)、106(3)が、ホストディスプレイシステム102に接続されると仮定する。ホストディスプレイシステムに接続されるソースコンピュータは、随意に、メディアストリームを共有ディスプレイにパブリッシュすることができる。ソースコンピュータ106(1)は、2つの異なるメディアストリーム、すなわち、1920×1080であるストリーム140(A)と、1200×720であるストリーム140(B)を、分解能1080pを用いて、共有ディスプレイ103にストリーミングしていると仮定する。この例では、第2のソースコンピュータ106(2)は、1024×768メディアストリーム140(C)をストリーミングしており、ソースコンピュータ106(3)は、1920×1080分解能メディアストリーム140(D)をストリーミングしている。
【0020】
図2に示されるように、ステップ217では、ホストディスプレイシステム102は、共有ディスプレイ表面上に適合するように、着信メディアストリームをスケーリングおよび位置調整し、潜在的に、各ソースを第2の分解能に再スケーリングする。
【0021】
全4つのメディアソースが同時に表示されている場合、各ソースは、通常、図4の実施例に見られるように、共有ディスプレイ表面上で2×2配列内に適合するように再スケーリングされ、共有されているメディアストリームの組は、共有ディスプレイ103上と、図4におけるソースコンピュータ106(1)のクライアントディスプレイ108(1)上に示されるように、各接続されるソースコンピュータ106のクライアントディスプレイ108上とに同時に示される。この時点において、各入力メディアストリームは、XおよびY方向の両方に再スケーリングされている。この分解能再マッピングは、共有ディスプレイ自体の分解能に依存する。
【0022】
分解能マッピングは、以下のように定義されることができる。
【数1】
式中、SおよびSは、ディスプレイ上の共有メディアストリームの分解能である。クライアントメディアストリームの本来の分解能は、(W、H)であり、共有ディスプレイの分解能は、(D、D)であり、配列スケーリング係数は、(A、A)である。配列スケーリング係数は、他のソースおよびそれらの相対的サイズに起因して、ソースメディアフレームを共有ディスプレイに再マッピングする必要があるスケーリング変換を考慮する。4つのソースが共有ディスプレイ上に配列されている我々の例では、ソース140(D)のための分解能再マッピングは、
【数2】
である。
【0023】
この分解能は、動的であり、ソースが追加/除去される場合、または制御コマンドがストリームを共有ディスプレイ上の他の現在パブリッシュされているストリームに対して再スケーリングする場合、現在の配列係数に基づいて変化する。任意の所与のメディアソースの入力分解能にも依存する。
【0024】
例示的実施形態では、共有ディスプレイに接続されるソースコンピュータ、または共有ディスプレイを直接観察することが可能なユーザは、メディアソースが初期スケーリング変換を受ける前、最初は、メディアソースへのアクセスを有していない。このアクセスは、クライアントディスプレイ108上のクライアントソフトウェア107によって提示されるユーザインターフェース116を使用して、要求されるメディアソースを選択することによって、ソースコンピュータ106のうちの1つからのメディアソース140(D)に対する要求を通して遂行される。
【0025】
例えば、ソースコンピュータ106(1)を制御するユーザが、共有ディスプレイ103上で現在可能なもの(またはそれを上回るもの)より高い分解能において、ソース140(D)に対するメディアストリームの観察を所望する場合、そのユーザは、ユーザのソースコンピュータ106(1)上のユーザインターフェース116を介して、その要件を示し得る。
【0026】
図5は、ホストシステム102が要求を受信し、再スケーリングされたメディアストリーム140(DR3)とともに、他のメディアソースのソースコンピュータ106(2)への送信を開始する場合を描写する。図5は、図5の例における初期メディアストリームDのための3つの異なるレベルの分解能、すなわち、初期ソース分解能[ストリーム140(DR1)]と、共有ディスプレイ(デフォルト)分解能[ストリーム140(DR2)]と、再スケーリングされた分解能[ストリーム140(DR3)]との同時伝送を図示する。
【0027】
図6は、メディアソースが、ホストコンピュータシステム102自体からではなく、直接、ソースコンピュータ106から宛先コンピュータ106に伝送される例示的実施形態を示す。これは、クライアントコンピュータ106のユーザが、別のクライアントコンピュータからストリーミングされているメディアソース109の「検査すること」を欲する場合である。ここでは、ホストコンピュータシステム102は、メディエータとしての役割りを果たし、メディアは、ホストシステムからストリーミングされず、代わりに、ホストシステムは、クライアントコンピュータ(それは、「検査されるべき」メディアストリームのソースである)に、ストリームを要求を行ったクライアントコンピュータに送信することを要求する。
【0028】
図6に示されるように、ステップ603では、クライアントコンピュータ106は、検査されるべき特定のメディアソース109を要求する。ステップ605では、ホストシステム102は、メディアソースを検査するための要求を受信し、要求されるメディアストリームを最初に伝送したクライアントコンピュータ(そのストリームの所有者、すなわち、「所有側クライアントコンピュータ」)に、ストリームを要求側クライアントコンピュータに送信するための対応する要求を伝送する。要求に応答して、ステップ610では、所有側クライアントコンピュータは、矢印611によって示されるように、メディアソースの要求側クライアントコンピュータへの伝送を開始する。代替として、ステップ610では、所有側クライアントコンピュータは、矢印611および612によって示されるように、要求されるメディアソースをホストコンピュータシステムおよび要求側クライアントコンピュータの両方に伝送する。
【0029】
図7は、メタデータが、クライアントコンピュータ間で伝送され、特定のソースが検査されているかどうかと、その長さとを示す、例示的実施形態を示す。本実施形態では、ユーザは、特定のメディア要素を検査している人々の数を示す情報と、関連し得る他の統計とを視聴し得る。
【0030】
例として、それらのラップトップ(ソースクライアントコンピュータ)からのスライドプレゼンテーションおよびスプレッドシートの両方を共有している教授を検討する。教室内の生徒は、ホストコンピュータに接続し、彼ら自身のユーザインターフェースを介して、彼ら自身のソースマップ内で適切にスケーリングされた両メディアソースを閲覧することができる。最初、ソースマップ内のそれらの画像は、低分解能であり、生徒のデバイス上に適合するようにスケーリングされ、おそらく、例えば、彼らが特定のスライド内のテキストを読むことは、可能にされない。
【0031】
生徒は、随時、メディアソースをソースマップから選択し、彼らのディスプレイ全体を埋めるようにスケーリングされた高分解能においてそれを閲覧するか、または、その特定のソースの本来の分解能において、彼らがパン/ズームすることを可能にし得る。
【0032】
この例では、教授は、いくつかのスライドを示し、そして、一時停止し、スプレッドシート内の情報の議論に移行すると仮定する。生徒は、依然として、本明細書に説明される方法を使用して、スライドソースを視聴し得る。必要とされるものは、彼らが、依然として、彼ら自身のデバイス上のスライドソースをについて学習しており、現時点でスプレッドシートを見ていないので、教室内の一部の人々が、議論から「遅れ」ていないかどうかを確認することを可能にする機構である。システムは、教授のクライアントコンピュータユーザインターフェース上に示され得る、「従事」指標を提供することによって、その問題を解決する。
【0033】
図7に示されるように、ステップ703では、クライアントコンピュータ106は、「切り離し」のための特定のソースを要求し、ホストシステム102は、データ記憶装置110内に、ユーザ名および固有のIDと、要求の時間と、要求されたメディアソースストリーム140(n)とを含む、クライアントコンピュータの要求を示すメタデータ121を記憶する。このメタデータ情報は、視聴イベントと称される。「切り離し」は、特定のメディアソースをソースマップ101から選択し、したがって、より詳細な視聴のために、「切り離す」プロセスである。
【0034】
ステップ705では、クライアントコンピュータの要求に応答して、ホストシステム102は、図1-5に関して前述のように、要求に基づいて、要求側クライアントコンピュータ106に、適切に再スケーリングされた(おそらく、本来の分解能における)メディアソースストリーム140(n)を伝送する。
【0035】
ステップ710では、ユーザが、再スケーリングされた分解能において、伝送されたメディアソースをもはや視聴していないとき(クライアントコンピュータユーザインターフェース116を介して)、この状態を示すメタデータ121が、クライアントコンピュータからホストシステム102に伝送され、再スケーリングされた高分解能視聴がユーザのクライアントコンピュータ上でもはや生じていないことを示す。この状態は、視聴イベントでもあり、それは、同じクライアントコンピュータが再スケーリングされたメディアソースの表示を開始した場合、前に生じた視聴イベントに関連する。
【0036】
ステップ715では、受信されたメタデータ情報は、種々の視聴イベントを、データ記憶装置110内に記憶された蓄積された統計的情報122に組み合わせることによって、ホストコンピュータ102によって、視聴統計に変換される。一例として、視聴統計は、以下を含み得る。
「切り離された」メディアソースを現在視聴しているユーザの数
切り離されたメディアソースを現在視聴している全ユーザ名
任意のソースを切り離しモードで視聴している者と、完全メディアマップグラフィックを単に視聴している者とのクラスのパーセンテージ
ユーザが切り離しモードでソースを視聴した総時間
特定の時間量より長くソースを視聴したユーザの数
【0037】
最後に、ステップ720では、視聴統計を1つ以上のクライアントコンピュータに伝送し、ステップ725において、対応するユーザインターフェース116を使用して、それらの統計をある様式で表示することによって、視聴統計が、クライアントコンピュータまたは共有ディスプレイもしくは両方に利用可能にされる。
【0038】
例えば、ある生徒が、困惑し、5分を超えて、スライドメディアソースに「留まっている」場合、モデレータのユーザインターフェースは、その生徒に対応するアイコン上に「困惑」を示すインジケータを描写することによって、このイベントを描写し得る。
【0039】
一実施形態では、ホストシステム102は、接続されるコンピュータの各々に対して、「視聴イベント」の開始/停止時間を監視する。システム動作中、ホストシステムは、各接続されるユーザに対して、ユーザ名、そのユーザのための固有のID、視聴開始時間、視聴終了時間、およびメディアIDを含むデータを収集する。そして、蓄積されたイベントデータは、メディアを現在視聴している視聴者の数/その視聴者を示す情報に変換される。そして、この情報は、選択されたメディアストリームのうちの1つを個人的に視聴しているので、共有画面をもはや見ていないユーザのパーセンテージを示すために使用される。
【0040】
(特徴の組み合わせ)
(A1)メディアの制御および可視化を提供する方法において、方法は、ソースコンピュータから、初期分解能を有する第1のメディアソースストリームを受信することと、第1のメディアソースストリームを再スケーリングし、第2の分解能を有する第2のメディアソースストリームを生成することと、第2のメディアソースストリームを宛先コンピュータに伝送することと、宛先コンピュータから、第2のメディアソースストリームの選択を示す命令および選択されたストリームのための再スケーリング情報を受信することと、受信された再スケーリング情報に従って、第2のメディアソースストリームを再スケーリングし、第3の分解能を有する第3のメディアソースストリームを生成することと、第3のメディアソースストリームを宛先コンピュータに伝送することとを含み得る。
【0041】
(A2)上記(A1)に記載の方法において、方法は、第3のメディアソースストリームを宛先コンピュータ上に表示することを含み得る。
【0042】
(A3)上記(A1)または(A2)のいずれかに記載の方法において、方法は、宛先コンピュータに、共有ディスプレイの状態を表すソースマップを伝送することを含み得る。
【0043】
(A4)上記(A3)に記載の方法において、方法は、ソースマップに従って、第2のメディアソースストリームを宛先コンピュータ上に表示することを含み得る。
【0044】
(A5)上記(A3)または(A4)のいずれかに記載の方法において、ソースマップは、共有ディスプレイ上に表示されるメディアソースストリームの相対的配列を描写するグラフィカル表現を備え得る。
【0045】
(A6)上記(A3)から(A5)のいずれかに記載の方法において、ソースマップは、共有ディスプレイ上の各メディアソースの相対的サイズおよび位置をエンコードするグラフィカル表現を備え得る。
【0046】
(A7)上記(A1)から(A6)のいずれかに記載の方法において、再スケーリングされた第1のメディアソースストリームは、共有ディスプレイ上に表示され得る。
【0047】
(A8)上記(A1)から(A7)のいずれかに記載の方法において、第1のメディアソースストリームは、1つ以上の他のメディアソースストリームと併せて、共有ディスプレイ上に表示され得る。
【0048】
(A9)上記(A1)から(A8)のいずれかに記載の方法において、メディアソースは、直接、ソースコンピュータから宛先コンピュータに伝送され得る。
【0049】
(B1)メディアの制御および可視化を提供する方法において、方法は、要求側クライアントコンピュータから、所有側クライアントコンピュータから生じるメディアソースストリームを検査するための要求を受信することと、所有側クライアントコンピュータに、メディアソースストリームを要求側クライアントコンピュータに送信するための要求を伝送することと、メディアソースストリームを送信するための要求を受信することに応答して、メディアソースを所有側クライアントコンピュータから要求側クライアントコンピュータに伝送することとを含み得る。
【0050】
(B2)上記(B1)に記載の方法において、メディアソースストリームは、要求側クライアントコンピュータおよび上記項目のステップを行うホストコンピュータの両方に伝送され得る。
【0051】
(C1)特定のメディアソースがソースコンピュータおよび宛先コンピュータを含む複数の相互接続されているコンピュータのうちの1つによって検査されているかどうかを示す方法において、方法は、ソースコンピュータから、メディアソースストリームを受信することと、宛先コンピュータから、メディアソースストリームの選択を示す命令を受信することと、ユーザ名、要求の時間、および要求されるメディアソースのしるしを示す、ソースコンピュータから送信されるメタデータを記憶することによって、第1の視聴イベントを捕捉することと、第1のメディアソースストリームを宛先コンピュータに伝送することと、コンピュータのうちの1つのユーザが、伝送されるメディアソースストリームをもはや表示していないとき、宛先コンピュータから受信されたメタデータを記憶することによって、メディアソースストリームの表示がもはや生じていないことを示す、第2の視聴イベントを捕捉することと、視聴イベント情報を分析することによって、第1および第2の視聴イベントに対するメタデータを視聴統計に変換することと、視聴統計を相互接続されているコンピュータのうちの1つに送信することとを含み得る。
【0052】
(C2)上記(C1)に記載の方法において、方法は、相互接続されているコンピュータの各々に対して、各該視聴イベントの開始/停止時間を監視することを含み得る。
【0053】
(C3)上記(C1)または(C2)のいずれかに記載の方法において、方法は、相互接続されているコンピュータの各々から、コンピュータのうちの1つによって選択された該メディアソースストリームの各々に対して、視聴開始時間、視聴終了時間、およびメディアIDを含むデータを収集することを含み得る。
【0054】
(C4)上記(C3)に記載の方法において、方法は、収集されたイベントデータを、第1のメディアソースストリームを現在視聴しているユーザを示す視聴情報に変換することを含み得る。
【0055】
(C5)上記(C4)に記載の方法において、方法は、視聴情報を使用して、選択されたメディアストリームのうちの任意のものを視聴しているユーザのパーセンテージを示すことを含み得る。
【0056】
(C6)上記(C1)から(C5)のいずれかに記載の方法において、視聴統計は、相互接続されているコンピュータのうちの少なくとも1つと、共有ディスプレイとに送信され得る。
【0057】
(C7)上記(C1)から(C6)のいずれかに記載の方法において、該視聴統計は、選択されたメディアソースストリームを現在視聴しているユーザの数を含み得る。
【0058】
(C8)上記(C1)から(C7)のいずれかに記載の方法において、該視聴統計は、選択されたメディアソースストリームを現在視聴している全ユーザ名を含み得る。
【0059】
(C9)上記(C1)から(C8)のいずれかに記載の方法において、該視聴統計は、選択されたメディアソースストリームを視聴している相互接続されているコンピュータのパーセンテージを含み得る。
【0060】
(C10)上記(C1)から(C9)のいずれかに記載の方法において、該視聴統計は、ユーザが選択されたメディアソースストリームを視聴した総時間を含み得る。
【0061】
(C11)上記(C1)から(C10)のいずれかに記載の方法において、該視聴統計は、選択されたメディアソースストリームを所定の時間量より長く視聴したユーザの数を含み得る。
【0062】
(C12)上記(C1)から(C11)のいずれかに記載の方法において、相互接続されているコンピュータの各々から収集されたデータは、ユーザ名、対応するユーザのための固有のIDを含み得る。
【0063】
本発明のある実施形態の前述の説明は、包括的である、または本発明を開示される精密な形態に限定することを意図するものではない。請求項において使用される用語は、本発明を本明細書に開示される具体的実施形態に限定するものと解釈されるべきではなく、むしろ、本発明の範囲は、以下の請求項によって決定されるべきである。
図1
図2
図3
図4
図5
図6
図7