(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-29
(54)【発明の名称】コンテンツをキャストするためのシステムおよび方法
(51)【国際特許分類】
H04L 67/1061 20220101AFI20231121BHJP
H04L 67/51 20220101ALI20231121BHJP
【FI】
H04L67/1061
H04L67/51
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023528598
(86)(22)【出願日】2020-11-16
(85)【翻訳文提出日】2023-07-06
(86)【国際出願番号】 US2020070793
(87)【国際公開番号】W WO2022103421
(87)【国際公開日】2022-05-19
(81)【指定国・地域】
(71)【出願人】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Google LLC
【住所又は居所原語表記】1600 Amphitheatre Parkway 94043 Mountain View, CA U.S.A.
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ウー,ションジー
(72)【発明者】
【氏名】ファーボーグ,アレクサンダー・ジェイムズ
(57)【要約】
外部デバイスによるコンテンツの出力のために、ユーザデバイスから外部デバイスへのコンテンツの転送を可能にするシステムおよび方法を提供する。外部デバイスは、物理的空間において検出されてもよく、たとえば、ユーザデバイスとの以前の接続に基づいて、ユーザデバイスを含む接続されたデバイスの共有ネットワークまたは共有システムに基づいて、ユーザデバイスによって取り込まれる画像情報と外部デバイスを特定する事前に格納されたアンカー情報とに基づいて、特定され得る。外部デバイスは、たとえば、外部デバイスに関連する出力能力を含む、外部デバイスに関連する事前に格納された構成情報に基づいて、コンテンツの潜在的な出力のために選択され得る。特定された外部デバイスは、コンテンツが外部デバイスによって出力されることを検証するユーザ検証入力に応答して、転送されたコンテンツを出力し得る。
【特許請求の範囲】
【請求項1】
ユーザデバイスのプロセッサが、前記ユーザデバイス上でコンテンツを実行することと、
前記ユーザデバイスが、前記ユーザデバイスの設定範囲内にある少なくとも1つの外部デバイスを検出することと、
前記少なくとも1つの外部デバイスの出力能力と前記ユーザデバイスによって実行される前記コンテンツの出力特性とに基づいて、前記ユーザデバイスによって実行される前記コンテンツの出力のために、前記少なくとも1つの外部デバイスを特定することと、
前記少なくとも1つの外部デバイスによる出力のために、前記ユーザデバイスから前記少なくとも1つの外部デバイスに、前記コンテンツの実行を転送することとを含む、コンピュータによって実現される方法。
【請求項2】
前記ユーザデバイスの前記設定範囲内にある前記少なくとも1つの外部デバイスを検出することは、前記ユーザデバイスの視野内で前記少なくとも1つの外部デバイスを検出することを含む、請求項1に記載のコンピュータによって実現される方法。
【請求項3】
前記少なくとも1つの外部デバイスを特定することは、
前記ユーザデバイスによって取り込まれる画像情報における物理的特徴を検出することと、
検出された前記物理的特徴に基づいて、前記ユーザデバイスの位置を特定することと、
前記ユーザデバイスの特定された前記位置に基づいて、前記少なくとも1つの外部デバイスを特定することとを含む、請求項1または2に記載のコンピュータによって実現される方法。
【請求項4】
前記ユーザデバイスは、ハンドヘルドデバイスとヘッドマウント表示デバイスとを含み、
コンテンツを実行することは、前記ハンドヘルドデバイス上でコンテンツを実行することを含み、
前記画像情報における物理的特徴を検出することは、前記ヘッドマウント表示デバイスの前記視野内で取り込まれる画像情報における物理的特徴を検出することを含む、請求項3に記載のコンピュータによって実現される方法。
【請求項5】
検出された前記物理的特徴に基づいて前記ユーザデバイスの前記位置を特定することは、データベースに事前に格納され、かつサーバを介して前記ユーザデバイスがアクセス可能な特徴の比較に基づいて、前記ユーザデバイスの前記位置を特定することを含む、請求項3に記載のコンピュータによって実現される方法。
【請求項6】
前記ユーザデバイスの前記設定範囲内にある前記少なくとも1つの外部デバイスを検出することは、
前記少なくとも1つの外部デバイスを、以前に接続されたデバイスとして検出すること、
電磁波信号に基づいて、前記少なくとも1つの外部デバイスを検出すること、
共有ネットワーク内にある前記少なくとも1つの外部デバイスを検出すること、または、
以前に接続されたデバイスのネットワーク内にある前記少なくとも1つの外部デバイスを検出することのうちの少なくとも1つを含む、請求項1~5のいずれか1項に記載のコンピュータによって実現される方法。
【請求項7】
前記ユーザデバイスの前記設定範囲内にある前記少なくとも1つの外部デバイスを検出することは、前記ユーザデバイスのユーザの視野内にある前記少なくとも1つの外部デバイスを検出することを含む、請求項1~5のいずれか1項に記載のコンピュータによって実現される方法。
【請求項8】
前記少なくとも1つの外部デバイスによる出力のために、前記ユーザデバイスから前記少なくとも1つの外部デバイスに前記コンテンツの実行を転送することは、
前記ユーザデバイスから前記少なくとも1つの外部デバイスに前記コンテンツを転送する前に、ユーザ検証要求を出力することと、
前記ユーザデバイスから前記少なくとも1つの外部デバイスへの前記コンテンツの転送を検証するユーザ検証入力を受信することと、
前記ユーザ検証入力の受信に応答して、前記ユーザデバイスから前記少なくとも1つの外部デバイスに、前記コンテンツの実行を転送することとを含む、請求項1~7のいずれか1項に記載のコンピュータによって実現される方法。
【請求項9】
前記ユーザ検証要求を出力することは、視覚的要求または音響要求の少なくとも1つを出力することを含み、
前記ユーザ検証入力を受信することは、タッチ入力または音響入力の少なくとも1つを受信することを含む、請求項8に記載のコンピュータによって実現される方法。
【請求項10】
システムであって、
音声出力デバイスと画像出力デバイスとを含む出力システムと、
感知システムと、
少なくとも1つのプロセッサと、
命令を格納したメモリとを備え、前記命令は、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
前記出力システムによって、前記少なくとも1つのプロセッサによって実行されるコンテンツを出力させ、
前記感知システムによって、前記感知システムの設定範囲内にある少なくとも1つの外部デバイスを検出させ、
前記少なくとも1つの外部デバイスの出力能力と前記出力システムによって出力される前記コンテンツの出力特性とに基づいて、前記ユーザデバイスによって実行される前記コンテンツの出力のために、前記少なくとも1つの外部デバイスを特定させ、
前記少なくとも1つの外部デバイスによる出力のために、前記少なくとも1つの外部デバイスに前記コンテンツの実行を転送させる、システム。
【請求項11】
前記少なくとも1つの外部デバイスを検出する際に、前記命令は、少なくとも1つのプロセッサに、
前記感知システムによって取り込まれる画像情報に基づいて、前記少なくとも1つの外部デバイスを検出すること、
前記少なくとも1つの外部デバイスを、以前に接続されたデバイスとして検出すること、
電磁波信号に基づいて、前記少なくとも1つの外部デバイスを検出すること、
共有ネットワーク内にある前記少なくとも1つの外部デバイスを検出すること、または、
以前に接続されたデバイスのネットワーク内にある前記少なくとも1つの外部デバイスを検出することのうちの少なくとも1つを実行させる、請求項10に記載のシステム。
【請求項12】
前記感知システムによって取り込まれる画像情報に基づいて前記少なくとも1つの外部デバイスを検出する際に、前記命令は、前記少なくとも1つのプロセッサに、
前記画像情報における物理的特徴を検出させ、
検出された前記物理的特徴と、サーバを介して前記システムがアクセス可能なデータベース内の事前に格納された特徴との比較に基づいて、位置を特定させ、
特定された前記位置に基づいて、前記少なくとも1つの外部デバイスを特定させる、請求項11に記載のシステム。
【請求項13】
前記少なくとも1つの外部デバイスに前記コンテンツの実行を転送する際に、前記命令は、前記少なくとも1つのプロセッサに、
前記少なくとも1つの外部デバイスに前記コンテンツを転送する前に、ユーザ検証要求を出力させ、
前記少なくとも1つの外部デバイスへの前記コンテンツの転送を検証するユーザ検証入力を受信させ、
前記ユーザ検証入力の受信に応答して、前記少なくとも1つの外部デバイスに前記コンテンツの実行を転送させる、請求項10~12のいずれか1項に記載のシステム。
【請求項14】
前記ユーザ検証要求は、視覚的要求または音響要求の少なくとも1つを含み、前記ユーザ検証入力は、タッチ入力または音響入力の少なくとも1つを含む、請求項13に記載のシステム。
【請求項15】
前記出力システム、前記感知システム、前記少なくとも1つのプロセッサ、および前記メモリは、ネットワーク内で動作可能なハンドヘルド電子デバイスまたはヘッドマウント表示デバイスの少なくとも1つに設置されている、請求項10~14のいずれか1項に記載のシステム。
【発明の詳細な説明】
【背景技術】
【0001】
背景
接続された、またはネットワーク化された、または互換性のあるデバイスによって、ユーザは、異なるデバイスを使用してコンテンツを消費、共有および制御することができる。一部のシステムは、互換性のあるデバイスのスキャンと検出、コンテンツの共有および/またはミラーリングの開始、互換性のあるデバイスの制御などを行うために、一連のユーザ入力に依存している。このため、ユーザ体験は複雑で面倒になり、ユーザがこの機能の利用を躊躇してしまう可能性がある。
【発明の概要】
【0002】
概要
ある一般的な態様において、コンピュータによって実現される方法は、ユーザデバイスのプロセッサが、ユーザデバイス上でコンテンツを実行することと、ユーザデバイスが、ユーザデバイスの設定範囲内にある少なくとも1つの外部デバイスを検出することと、少なくとも1つの外部デバイスの出力能力とユーザデバイスによって実行されるコンテンツの出力特性とに基づいて、ユーザデバイスによって実行されるコンテンツの出力のために、少なくとも1つの外部デバイスを特定することと、少なくとも1つの外部デバイスによる出力のために、ユーザデバイスから少なくとも1つの外部デバイスに、コンテンツの実行を転送することとを含む。
【0003】
いくつかの実現例において、ユーザデバイスの設定範囲内にある少なくとも1つの外部デバイスを検出することは、ユーザデバイスの視野内で少なくとも1つの外部デバイスを検出することを含む。いくつかの実現例において、少なくとも1つの外部デバイスを特定することは、ユーザデバイスによって取り込まれる画像情報における物理的特徴を検出することと、検出された物理的特徴に基づいて、ユーザデバイスの位置を特定することと、ユーザデバイスの特定された位置に基づいて、少なくとも1つの外部デバイスを特定することとを含む。いくつかの実現例において、ユーザデバイスは、ハンドヘルドデバイスとヘッドマウント表示デバイスとを含み、コンテンツを実行することは、ハンドヘルドデバイス上でコンテンツを実行することを含み、画像情報における物理的特徴を検出することは、ヘッドマウント表示デバイスの視野内で取り込まれる画像情報における物理的特徴を検出することを含む。いくつかの実現例において、検出された物理的特徴に基づいてユーザデバイスの位置を特定することは、データベース内に事前に格納され、かつサーバを介してユーザデバイスがアクセス可能な特徴の比較に基づいて、ユーザデバイスの位置を特定することを含む。
【0004】
いくつかの実現例において、ユーザデバイスの設定範囲内にある少なくとも1つの外部デバイスを検出することは、少なくとも1つの外部デバイスを、以前に接続されたデバイスとして検出すること、電磁波信号に基づいて、少なくとも1つの外部デバイスを検出すること、共有ネットワーク内にある少なくとも1つの外部デバイスを検出すること、または以前に接続されたデバイスのネットワーク内にある少なくとも1つの外部デバイスを検出することのうちの少なくとも1つを含む。いくつかの実現例において、ユーザデバイスの設定範囲内にある少なくとも1つの外部デバイスを検出することは、ユーザデバイスのユーザの視野内にある少なくとも1つの外部デバイスを検出することを含む。
【0005】
いくつかの実現例において、少なくとも1つの外部デバイスによる出力のために、ユーザデバイスから少なくとも1つの外部デバイスにコンテンツの実行を転送することは、ユーザデバイスから少なくとも1つの外部デバイスにコンテンツを転送する前に、ユーザ検証要求を出力することと、ユーザデバイスから少なくとも1つの外部デバイスへのコンテンツの転送を検証するユーザ検証入力を受信することと、ユーザ検証入力の受信に応答して、ユーザデバイスから少なくとも1つの外部デバイスに、コンテンツの実行を転送することとを含む。いくつかの実現例において、ユーザ検証要求を出力することは、視覚的要求または音響要求の少なくとも1つを出力することを含み、ユーザ検証入力を受信することは、タッチ入力または音響入力の少なくとも1つを受信することを含む。
【0006】
他の一般的な態様において、システムは、音声出力デバイスと画像出力デバイスとを含む出力システムと、感知システムと、少なくとも1つのプロセッサと、メモリとを備える。メモリは命令を格納し、命令は、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、出力システムによって、少なくとも1つのプロセッサによって実行されるコンテンツを出力させ、感知システムによって、感知システムの設定範囲内にある少なくとも1つの外部デバイスを検出させ、少なくとも1つの外部デバイスの出力能力と出力システムによって出力されるコンテンツの出力特性とに基づいて、ユーザデバイスによって実行されるコンテンツの出力のために、少なくとも1つの外部デバイスを特定させ、少なくとも1つの外部デバイスによる出力のために、少なくとも1つの外部デバイスにコンテンツの実行を転送させる。
【0007】
いくつかの実現例において、少なくとも1つの外部デバイスを検出する際に、命令は、少なくとも1つのプロセッサに、感知システムによって取り込まれる画像情報に基づいて、少なくとも1つの外部デバイスを検出すること、少なくとも1つの外部デバイスを、以前に接続されたデバイスとして検出すること、電磁波信号に基づいて、少なくとも1つの外部デバイスを検出すること、共有ネットワーク内にある少なくとも1つの外部デバイスを検出すること、または以前に接続されたデバイスのネットワーク内にある少なくとも1つの外部デバイスを検出することのうちの少なくとも1つを実行させる。いくつかの実現例において、感知システムによって取り込まれる画像情報に基づいて少なくとも1つの外部デバイスを検出する際に、命令は、少なくとも1つのプロセッサに、画像情報における物理的特徴を検出させ、検出された物理的特徴と、サーバを介してシステムがアクセス可能なデータベース内の事前に格納された特徴との比較に基づいて、位置を特定させ、特定された位置に基づいて、少なくとも1つの外部デバイスを特定させる。
【0008】
いくつかの実現例において、少なくとも1つの外部デバイスにコンテンツの実行を転送する際に、命令は、少なくとも1つのプロセッサに、少なくとも1つの外部デバイスにコンテンツを転送する前に、ユーザ検証要求を出力させ、少なくとも1つの外部デバイスへのコンテンツの転送を検証するユーザ検証入力を受信させ、ユーザ検証入力の受信に応答して、少なくとも1つの外部デバイスにコンテンツの実行を転送させる。いくつかの実現例において、ユーザ検証要求は、視覚的要求または音響要求の少なくとも1つを含み、ユーザ検証入力は、タッチ入力または音響入力の少なくとも1つを含む。いくつかの実現例において、出力システム、感知システム、少なくとも1つのプロセッサ、およびメモリは、ネットワーク内で動作可能なハンドヘルド電子デバイスまたはヘッドマウント表示デバイスの少なくとも1つに設置されている。
【図面の簡単な説明】
【0009】
【
図1】本明細書に記載の実現例に係る例示的なシステムを示す図である。
【
図2A】
図1に示す例示的なシステムにおける例示的なユーザ電子デバイスの正面図である。
【
図2B】
図1に示す例示的なシステムにおける例示的なユーザ電子デバイスの正面図である。
【
図2C】
図1に示す例示的なシステムにおける例示的なユーザ電子デバイスの正面図である。
【
図2D】
図1に示す例示的なシステムにおける例示的なユーザ電子デバイスの正面図である。
【
図2E】
図1に示す例示的なシステムにおける例示的なユーザ電子デバイスの正面図である。
【
図3】本明細書に記載の概念を実施するように構成された例示的なシステムのブロック図である。
【
図4A】本明細書に記載の実現例に係る、外部デバイスの検出と、ユーザデバイスから特定された外部デバイスへのコンテンツの実行の転送とを示す図である。
【
図4B】本明細書に記載の実現例に係る、外部デバイスの検出と、ユーザデバイスから特定された外部デバイスへのコンテンツの実行の転送とを示す図である。
【
図4C】本明細書に記載の実現例に係る、外部デバイスの検出と、ユーザデバイスから特定された外部デバイスへのコンテンツの実行の転送とを示す図である。
【
図4D】本明細書に記載の実現例に係る、外部デバイスの検出と、ユーザデバイスから特定された外部デバイスへのコンテンツの実行の転送とを示す図である。
【
図4E】本明細書に記載の実現例に係る、外部デバイスの検出と、ユーザデバイスから特定された外部デバイスへのコンテンツの実行の転送とを示す図である。
【
図4F】本明細書に記載の実現例に係る、外部デバイスの検出と、ユーザデバイスから特定された外部デバイスへのコンテンツの実行の転送とを示す図である。
【
図5】本明細書に記載の実現例に係る例示的な方法を示すフローチャートである。
【
図6】汎用コンピュータデバイスおよび汎用モバイルコンピュータデバイスの例を示す図である。
【発明を実施するための形態】
【0010】
詳細な説明
ユーザは、たとえば、ハンドヘルドデバイス(スマートフォン等)、手および/または手首装着デバイス(スマートウォッチ、スマートブレスレット、スマートリング等)のようなウェアラブルデバイス、頭部装着デバイス(スマートグラス、ゴーグル、ヘッドセット等)、耳装着デバイス、首装着ストラップデバイス、他のモバイルデバイス(タブレットコンピューティングデバイス、ラップトップコンピューティングデバイス等)、デスクトップコンピューティングデバイス、スマートテレビ、スマートスピーカ等の多数の異なる種類のデバイスを用いて、コンテンツを消費できる。本明細書に記載の実現例に係るシステムおよび方法は、外部デバイスの検出に応答して、外部デバイスによる実行および出力のために、ユーザデバイスから検出された外部デバイスへの、ユーザデバイスによって実行および出力されるコンテンツの実行の共有および転送を可能にする。たとえば、コンテンツの実行は、ユーザデバイスの設定された近距離内または設定された範囲内の外部デバイスの検出、ユーザデバイスの視野内の外部デバイスの検出、ユーザデバイスによって収集された画像データに基づく外部デバイスの検出、共有ローカルネットワーク内の外部デバイスの検出、外部デバイスに関連付けられた設定信号強度の検出、および他のこのような検出条件に応答して、外部デバイスによる出力のために転送または共有することができる。いくつかの実現例では、コンテンツの出力の共有または転送のための外部デバイスの検出は、ユーザの介入なしに遂行される。いくつかの実現例では、コンテンツは、ユーザの介入なしに、検出された外部デバイスによる出力のために共有または転送される。いくつかの実現例では、コンテンツは、検証または確認を示すユーザ入力に応答して、検出された外部デバイスによる出力のために、共有または転送される。いくつかの実現例では、外部デバイスの検出および/または外部デバイスによる実行のためのユーザデバイスから外部デバイスへのコンテンツの転送は、接続されたデバイスのシステム内でコンテンツを消費する際のユーザ体験を強化するために、限られたユーザ介入で実施されてもよい。
【0011】
状況によっては、検出された外部デバイスによる出力のために、コンテンツの実行を共有または検出された外部デバイスに転送することによって、ユーザ体験が改善されることがある。たとえば、スマートフォンなどの携帯デバイスでコンテンツ、たとえばビデオコンテンツを閲覧しているユーザは、より大きな画像出力デバイスが利用できる場合、より大きな画像出力能力を有する、たとえば、テレビ表示画面、コンピュータ表示画面などの代替の出力デバイスでコンテンツを見ることを好むかもしれない。同様に、たとえば、イヤホン、ヘッドマウントウェアラブルの音声出力デバイス等を通して音楽を聴いているユーザは、代替の音声出力デバイスが利用可能である場合、スマートスピーカ、サウンドシステム等の代替の出力デバイスを通して音楽を聴くことを好む可能性がある。代替の出力デバイスによる出力のためのコンテンツの特定および転送が、デバイスの検出された以前の接続、共有ネットワークまたは以前に接続されたデバイスのシステム内のデバイスの検出、代替の出力デバイスに関連する事前に格納されたアンカー情報に基づく画像認識などによって促進されて、代替の出力デバイスによるコンテンツの実行のための転送を完了するために必要なユーザの対話および入力の量を低減できる場合、ユーザ体験はさらに向上し得る。したがって、出力能力という用語は、外部デバイスがタスクもしくはタスクのセットを実行できる品質を指すために使用することができ、かつ/または、外部デバイスを区別し、ならびに/または一意に定義する画像(静止画および/もしくは動画)の出力ならびに/または音声出力を指すために使用することができる。コンテンツの出力特性という用語は、出力データ(たとえば、画像データおよび/または音声データ)の特定の種類および/または出力に関連するデータ量を指すために使用することができる。
【0012】
図1は、本明細書に記載の実現例に係る、例示的なシステム100に関連してユーザを示す図である。
図1に示す例では、ユーザは、単に説明および図示の目的で、例示的なヘッドマウントディスプレイ(head mounted display:HMD)デバイス110またはスマートグラス110の形態のウェアラブルデバイス110と、例示的な手首装着デバイス130またはスマートウォッチ130の形態のウェアラブルデバイス130と、例示的な耳装着デバイス140またはイヤホン(複数可)140の形態のウェアラブルデバイス140とを装着している。
図1に示す例では、ユーザは、単に説明および図示の目的で、たとえばスマートフォン120のようなハンドヘルドデバイス120を保持している。
【0013】
例示的なシステム100は、たとえば、ネットワーク195を介して、および/もしくは代替のネットワーク(複数可)を介して、および/もしくは直接的に、互いに通信することができる1つ以上のコンピューティングデバイスならびに/または電子デバイスを含み得る。例示的なクライアントデバイスまたはユーザデバイスは、たとえば、ユーザによって装着され、かつ/または操作される例示的なデバイス110,120,130,140、ならびに、たとえば表示スクリーン150/テレビモニタ150、音声出力デバイス155/スマートスピーカ155、ラップトップまたはノートブックコンピューティングデバイス160、タブレットコンピューティングデバイス170、デスクトップコンピューティングデバイス180および他のこのようなデバイスを含む他の電子デバイスを含み得る。デバイスは、ネットワーク195を介して、1つ以上の外部リソース190にアクセスすることができる。外部リソース190は、たとえば、1つ以上のデータベース等へのアクセスを提供するサーバを含み得る。
【0014】
図2Aは、
図1においてユーザが装着する例示的なウェアラブルデバイス110、またはHMD110の正面図である。
図2Bは、
図1においてユーザが保持する例示的なハンドヘルドデバイス120、またはスマートフォン120の正面図である。
図2Cは、
図1においてユーザが装着する例示的なウェアラブルデバイス130、またはスマートウォッチ130の正面図である。
図2Dは、
図1においてユーザが装着する例示的なウェアラブルデバイス140、またはイヤホン140の斜視図である。
図2Eは、別の例示的なヘッドマウントウェアラブルデバイス110’の斜視図である。
【0015】
図2Aに示す例のHMD110またはスマートグラス110の形態のウェアラブルデバイス110は、フレーム111を含んでもよく、表示デバイス112がフレーム111に結合されている。いくつかの実現例では、音声出力デバイス113がフレーム111に結合されている。いくつかの実現例では、タッチ面114によって、HMD110のユーザ制御および入力などが可能になる。HMD110は、HMD110の動作を容易にするために、さまざまな感知システムデバイスを含む感知システム116と、さまざまな制御システムデバイスを含む制御システム117とを含み得る。制御システム117は、制御システム117のコンポーネントに動作可能に結合されたプロセッサ119と、外部デバイスおよび/またはネットワークとの通信を可能にする通信モジュール115とを含み得る。また、HMD110は、画像センサ118(すなわち、カメラ118)、深度センサ、光センサ、および他のこのような感知デバイスを含み得る。いくつかの実現例では、画像センサ118またはカメラ118は、静止画および/または動画、パターン、特徴および光などを取り込むことができる。
【0016】
同様に、
図2Eに示すウェアラブルデバイス110’は、ヘッドマウントウェアラブルデバイス110’として使用するために、ユーザが装着する眼鏡に取り付けられると示されている。しかしながら、ウェアラブルデバイス110’は、たとえば、イヤホン、ストラップ、ブレスレット、およびユーザが装着可能な他のこのようなデバイスに取り付けられ得る。いくつかの実現例では、ウェアラブルデバイス110’は、音声入力および/または出力デバイス113’(すなわち、マイクロホンおよび/またはスピーカ)と、画像センサ118’(すなわち、カメラ118’)と、深度センサと、光センサと、他のこのような感知デバイスとを含む。いくつかの実現例では、タッチ入力面114’によって、ウェアラブルデバイス110’のユーザ制御および入力などが可能になる。ウェアラブルデバイス110’は、ウェアラブルデバイス110’の動作を容易にするための制御システム117’およびプロセッサ119’と、外部デバイスおよび/またはネットワークとの通信を可能にする通信モジュール115’とを含み得る。
【0017】
図2Bに示す例におけるスマートウォッチ130の形態のウェアラブルデバイス130は、インターフェイスデバイス131を含み得る。いくつかの実現例では、インターフェイスデバイス131は、たとえば、ユーザに情報を出力することができる表示領域132を含む出力デバイスとして機能する。いくつかの実現例では、インターフェイスデバイス131は、たとえば、インターフェイスデバイス131がユーザからタッチ入力を受信できるタッチ面133を含む入力デバイスとして機能する。いくつかの実現例では、インターフェイスデバイス131は、入力デバイスおよび出力デバイスとして機能することができる。ウェアラブルデバイス130は、さまざまな感知システムデバイスを含む感知システム136を含み得る。ウェアラブルデバイス130は、デバイス130の動作を容易にするために、さまざまな制御システムデバイスを含む制御システム137と、外部デバイスおよび/またはネットワークとの通信を可能にする通信モジュール135と、プロセッサ139とを含み得る。ウェアラブルデバイス130は、画像センサ138(すなわち、カメラ138)、深度センサ、光センサ、および他のこのような感知デバイスも含み得る。いくつかの実現例では、画像センサ138またはカメラ138は、静止画および/または動画、パターン、特徴、光などを取り込むことができる。
【0018】
図2Bに示す例におけるスマートフォン120の形態のハンドヘルドデバイス120は、インターフェイスデバイス121を含み得る。いくつかの実現例では、インターフェイスデバイス121は、たとえば、ユーザに情報を出力することができる表示領域122を含む出力デバイスとして機能する。いくつかの実現例では、インターフェイスデバイス121は、たとえば、インターフェイスデバイス121がユーザからタッチ入力を受信できるタッチ面123を含む入力デバイスとして機能する。いくつかの実現例では、インターフェイスデバイス121は、入力デバイスおよび出力デバイスとして機能する。ハンドヘルドデバイス120は、さまざまな感知システムデバイスを含む感知システム126を含み得る。ハンドヘルドデバイス120は、ハンドヘルドデバイス120の動作を容易にするために、さまざまな制御システムデバイスを含む制御システム127と、外部デバイスおよび/またはネットワークとの通信を可能にする通信モジュール125と、プロセッサ129とを含み得る。ハンドヘルドデバイス120は、画像センサ128(すなわち、カメラ128)、深度センサ、光センサ、および他のこのような感知デバイスも含み得る。いくつかの実現例では、画像センサ128またはカメラ128は、静止画および/または動画、パターン、特徴、光などを取り込むことができる。
【0019】
イヤホン140の形態のウェアラブルデバイス140は、
図2Dに示されている。ウェアラブルデバイス140は、オーディオデバイス143を含み得る。いくつかの実現例では、オーディオデバイス143は、音声出力デバイス(すなわち、スピーカ)および音声入力デバイス(すなわち、マイクロホン)として機能する。いくつかの実現例では、タッチ入力面144は、ウェアラブルデバイス140のユーザ制御および入力などを可能にする。ウェアラブルデバイス140は、ウェアラブルデバイス140の動作を容易にするための制御システム147およびプロセッサ149と、外部デバイスおよび/またはネットワークとの通信を可能にする通信モジュール145とを含み得る。
【0020】
図3は、本明細書に記載の概念を実現することができる例示的なシステム300のブロック図である。
図3に示すブロック図は、たとえば、
図1に示す例示的なユーザデバイス110,120,130,140のうちの1つなどの第1の電子デバイス310が、たとえば、
図1に示す例示的な外部デバイス150,160,170,180,190のうちの1つなどの第2の電子デバイス315と通信していることを示す。
【0021】
第1の電子デバイス310は、感知システム360と制御システム370とを含み得る。感知システム360は、たとえば、光センサ、音声センサ、画像センサ、距離/近接センサ、および/または他のセンサおよび/またはセンサの異なる組み合わせ(複数可)を含む、1つ以上の異なる種類のセンサを含み得る。いくつかの実現例では、感知システム360は、画像センサおよび/または光学センサを含む。制御システム370は、たとえば、電源/一時停止制御デバイス(複数可)、オーディオおよびビデオ制御デバイス(複数可)、光学制御デバイス(複数可)、ならびに/または他のこのようなデバイスおよび/またはデバイスの異なる組み合わせ(複数可)を含み得る。感知システム360および/または制御システム370は、特定の実現例に応じて、より多くの、またはより少ないデバイスを含み得る。電子デバイス310は、感知システム360および制御システム370と通信するプロセッサ390を含み得る。プロセッサ390は、たとえば、画像センサ/光学センサによって取り込まれた画像および/または光学スキャンなど、感知システム360から受信した入力を処理してもよい。第1の電子デバイス310は、プロセッサ390によって処理され、かつ制御システム370の制御下で出力システム350によって出力されるユーザ入力を受信することができる入力システム340を含み得る。入力システム340は、たとえば、タッチ入力面、音声入力を受信できる音声入力デバイス(たとえば、感知システム360に含まれる音声センサ、またはマイクロホンを含む)、ジェスチャ認識デバイス(たとえば、感知システム360の画像センサ(複数可)によって取り込まれプロセッサ390によって処理される画像を含む)、ならびに他のこのような入力デバイスを含むさまざまな種類の入力デバイスを含み得る。出力システム350は、たとえば、表示デバイス(複数可)、音声出力デバイス(複数可)、またはスピーカ、物理的および/もしくは触覚出力デバイス、ならびに他のこのような出力デバイスなどのさまざまな種類の出力デバイスを含み得る。第1の電子デバイス310は、メモリ380と、第1の電子デバイス310と、たとえば第2の電子デバイス315を含む1つ以上の他の外部デバイス(複数可)、ネットワーク、サーバなどとの間の通信を可能にする通信モジュール330とを含み得る。
【0022】
第2の電子デバイス315は、1つ以上の異なる種類のセンサを含む感知システム365と、第2の電子デバイス315の動作を制御するための制御モジュールを含む制御システム375とを含み得る。感知システム365および/もしくは制御システム375のコンポーネントの数ならびに/または組み合わせは、特定の実施形態に応じて異なる場合がある。第2の電子デバイス315は、感知システム365および制御システム375と通信するプロセッサ395を含んでもよく、これによって、プロセッサ395が感知システム360から受信した入力を処理することができる。第2の電子デバイス315は、プロセッサ395によって処理され、かつ制御システム375の制御下で出力システム355によって出力される入力を受信することができる入力システム345を含み得る。出力システム355は、たとえば、表示デバイス(複数可)、音声出力デバイス(複数可)、またはスピーカ、物理的および/もしくは触覚的出力デバイス、ならびに他のこのような出力デバイスなどのさまざまな種類の出力デバイスを含み得る。いくつかの実現例では、第2の電子デバイス315は、メモリ385と通信モジュール335とを含み、通信モジュール335は、第2の電子デバイス315と、たとえば第1の電子デバイス310を含む1つ以上の他の外部デバイス(複数可)、ネットワーク、サーバなどとの間の通信を可能にする。
【0023】
図4A~
図4Fは、本明細書に記載の実現例に係る、外部デバイスの検出および/もしくは特定、ならびにユーザデバイスから特定された外部デバイスに対するコンテンツの実行の転送またはコンテンツのキャスティングを示す図である。
図4A~
図4Fに関して説明する例では、ユーザデバイスは、コンテンツにアクセスするために、およびコンテンツの実行を転送するために、または外部デバイスにコンテンツをキャストするために、ユーザが使用している1つまたは複数のデバイスを指し、外部デバイスは、ユーザデバイス(複数可)からコンテンツを受信および出力するように構成されている物理的空間内の1つまたは複数のデバイスを指す。
図4A~
図4Fに関して説明される例では、単に説明および図示の目的で、ハンドヘルドデバイス120およびウェアラブルデバイス110(スマートグラス110の形態)が例示的なユーザデバイスとして使用され、テレビ420が、ユーザデバイスからコンテンツを受信する例示的な外部デバイスとして使用される。説明する原則は、ユーザデバイスとして機能する他のデバイスおよび/またはデバイスの組み合わせ、ならびに外部デバイスとして機能する他のデバイスおよび/またはデバイスの組み合わせに適用することができる。
【0024】
図4Aは、例示的な物理的空間400に接近するユーザの三人称ビューである。
図4Aに示す例では、ユーザは、例示的なウェアラブルデバイス110(すなわち、HMD110/スマートグラス110)および例示的なウェアラブルデバイス130(すなわち、スマートウォッチ130)を装着している。
図4Aに示す例では、ユーザは、ハンドヘルドデバイス120を使用してコンテンツ410にアクセスしている。
図4Aに示す例示的なシナリオでは、コンテンツ410は、ハンドヘルドデバイス120の表示領域122に出力されることになるが、
図4Aでは、コンテンツ410は、単に説明および図示を容易にするために、ハンドヘルドデバイス120の外部のペインに示されている。この例では、コンテンツ410は、画像コンテンツまたはビデオコンテンツである。本明細書に記載される原則は、他のタイプのコンテンツに、および/または、コンテンツへのアクセスをユーザに提供する他の種類のユーザデバイスに、適用することができる。
【0025】
図4Bに示すように、ユーザが物理的空間400内にさらに移動すると、物理的空間400内の外部デバイスが検出され得る。たとえば、ユーザが使用しているユーザデバイス(複数可)(たとえば、ハンドヘルドデバイス120および/またはウェアラブルデバイス(複数可)110,130)と通信可能な外部デバイスが検出され得る。外部デバイス(複数可)の検出および/または特定は、ユーザデバイス(複数可)と検出された外部デバイス(複数可)との間の情報交換を可能にして、外部デバイスによる出力のために、ユーザが検出された外部デバイス(複数可)に対するコンテンツの転送または共有またはキャストすることを可能にして、改善されたユーザ体験を提供し得る。
【0026】
いくつかの実現例では、外部デバイス(複数可)は、ユーザデバイスと検出された外部デバイス(複数可)との間に以前に確立された接続またはペアリングに基づいて検出される。いくつかの実現例では、外部デバイス(複数可)は、検出された信号、たとえば、外部デバイス(複数可)によって放出される、wifi(登録商標)信号またはブルートゥース(登録商標)信号などの短距離信号、電磁信号などに基づいて検出される。いくつかの実現例では、外部デバイス(複数可)は、検出された信号強度に基づいて検出される。いくつかの実現例では、外部デバイス(複数可)は、ユーザデバイス(複数可)と外部デバイス(複数可)とが同じローカルネットワーク内にあるという判定に応答して検出される。いくつかの実現例では、ユーザデバイス(複数可)(たとえばハンドヘルドデバイス120および/またはウェアラブルデバイス110)と外部デバイス(複数可)とは、情報の交換のためにユーザデバイス(複数可)と外部デバイス(複数可)との間の通信の検出を可能にする超広帯域無線(ultra-wideband:UWB)チップを含む。いくつかの実現例では、物理的空間内の外部デバイス、特徴および/または要素は、ユーザデバイス(複数可)によって取り込まれる画像情報において検出され得る。ユーザデバイス(複数可)によって取り込まれる画像情報は、物理的空間400を定義する特徴を特定するために、事前に格納されたアンカリング情報と比較され得る。これは、物理的空間400を特定するため、ならびに特定された物理的空間400内の既知の外部デバイス(複数可)を特定するため、ならびに/または物理的空間400内の外部デバイス(複数可)を検出、位置特定および識別するために使用され得る。
【0027】
図4Bに戻ると、例示的な物理的空間400は、コーナー490を画定する物理的空間400の2つの物理的境界、すなわち壁の交点に取り付けられたテレビ420を含む。コンピューティングデバイス440のディスプレイが、椅子460の第1の側で机450の上に配置されている。ランプ480が、ソファ470の第1の側に配置されている。音声出力デバイス430またはスマートスピーカ430が、椅子460とソファ470とのそれぞれの第2の側面の間でテーブルの上に配置されている。
図4Aおよび
図4Bに示す例示的な物理的空間400における特徴とデバイスとは、単に説明および図示の目的で提供されている。本明細書に記載の原則は、より多くのまたはより少ない特徴、要素、デバイスなどが利用可能であり、かつ/または異なって配置されている状況において、実施することができる。
【0028】
上述のように、ユーザが物理的空間400内に移動すると、たとえばテレビ420およびスマートスピーカ430などのさまざまな外部デバイスが、ユーザデバイス(この例では、ハンドヘルドデバイス120および/またはHMD110)によって検出され得る。たとえば、外部デバイス(この例では、テレビ420およびスマートスピーカ430の形態)は、ユーザデバイス(複数可)との以前の接続またはペアリング(この例では、ハンドヘルドデバイス120およびHMD110の形態)、同じローカルネットワーク(たとえば、ホームネットワークまたはローカルエリアネットワーク)におけるユーザデバイス(複数可)および外部デバイス(複数可)の検出、外部デバイス(複数可)によって放出されユーザデバイス(複数可)によって検出される信号などに基づいて、検出されてもよい。いくつかの実現例では、検出された外部デバイス(複数可)は、関連する機能で特定される。たとえば、テレビ420は、画像コンテンツ(音声コンテンツと共に静止画および/またはビデオコンテンツ)を出力することができるものとして特定され得る。スマートスピーカ430は、音声コンテンツを出力することが可能であると特定され得る。ユーザデバイス(複数可)と特定された外部デバイス(複数可)のうちの1つ(または複数)との間に接続が確立されて、特定された外部デバイス(複数可)による実行のために、ユーザデバイス(複数可)から特定された外部デバイス(複数可)へのコンテンツの転送を容易にし得る。
【0029】
状況によっては、ユーザが物理的空間400に入ると、さまざまな特徴、要素およびデバイスなどが、
図4Cに示す例のHMD110の形態で、ユーザデバイスの視野V内で取り込まれる。いくつかの実現例では、ユーザデバイスによって取り込まれる画像情報は、物理的空間400内の外部デバイスを検出および特定するために使用される。たとえば、ユーザデバイスによって取り込まれる画像情報は、ユーザデバイスからのコンテンツの転送もしくは共有もしくはキャスティングに適合する、および/またはユーザデバイスから外部デバイスに転送されるコンテンツを出力することができる、物理的空間内の外部デバイスを特定するために使用され得る。
【0030】
例示的な物理的空間400は、実質的に一貫した特徴の多数の例を含み、それらは、ユーザデバイスの画像センサによって取り込まれる画像において検出可能であり、かつ、物理的空間400を識別し、物理的空間400内の外部デバイスを特定するために使用可能である。たとえば、テレビ420は、たとえば、ユーザの家のデバイスのセットアップおよび設定プロセス中に確立された、ユーザのリビングルーム(この例では、物理的空間400)におけるテレビ420の既知の配置に基づいて特定され得る。いくつかの実現例では、テレビ420は、物理的空間400のコーナー490の検出と、椅子460およびスマートスピーカ430の上の位置決めとに基づいて特定され得る。テレビ420を囲む領域に関連するこれらの物理的特徴は、物理的空間におけるテレビ420に関連するアンカリング情報を定義する実質的に一貫した物理的特徴であってよく、このように物理的空間400におけるテレビ420の後の特定を容易にし得る。
図4Dは、これらの実質的に一貫した特徴を含む、HMD110を通したテレビ420のビューを示す。同様に、スマートスピーカ430は、ソファ470と椅子460との間でコーナー490に近接するスマートスピーカ430の既知の配置に基づいて特定され得る。この種のアンカリング情報は、収集されてもよく、たとえば、上述のようにネットワークを通してサーバを介してアクセス可能なデータベースに記憶され得る。ユーザは、物理的空間400の識別のため、および物理的空間400内の外部デバイスの特定のために、格納されたアンカリング情報にアクセスし得る。ユーザは、外部デバイスによる実行のために、このように検出され特定された外部デバイスに対するコンテンツの転送、または共有、またはキャストを行い得る。
【0031】
図4A~
図4Fに示す例では、ユーザは、たとえば、ハンドヘルドデバイス120によって出力されるビデオコンテンツなどのコンテンツを消費している。ユーザが物理的空間400に入ると、ハンドヘルドデバイス120からのコンテンツ410の受信およびコンテンツ410の出力に適合する物理的空間400内の1つ以上の外部デバイスが、
図4Bおよび/または
図4Cに関して上述した態様で検出および特定され得る。すなわち、コンテンツ410を出力するために装備されている1つ以上の外部デバイス(複数可)が検出され得る。物理的空間400における外部デバイスの検出および特定に応答して、システムは、テレビ420(この例では、外部デバイス)が、ハンドヘルドデバイス120(この例では、ユーザデバイス)によって現在出力されているコンテンツ410の改善された視聴を可能にし得ると判定し得る。システムは、たとえば、以前の接続およびペアリング、ネットワーク内のデバイスの以前の構成、(コンテンツ410の出力特性と比較した)テレビ420の事前に格納された入出力能力または特性、テレビ420の事前に格納された処理能力または特性を含むアンカー情報などに基づいて、この判定を行い得る。
【0032】
この例では、ハンドヘルドデバイス120によって出力されるコンテンツ410は、画像コンテンツおよび音声コンテンツを含むビデオコンテンツ410であり得る。したがって、テレビ420は、コンテンツ410に関連する特性に基づいて、出力のために、ハンドヘルドデバイス120からのビデオコンテンツ410が転送または共有またはキャストされる可能性が高い物理的空間400内の外部デバイスとして特定され得る。いくつかの実現例では、システムは、
図4Eに示すように、問い合わせ425、またはプロンプト425、または検証要求425を生成してもよい。検証要求425は、外部デバイスへのコンテンツの意図しないまたは不注意なキャストを避けるために、キャスト前に、コンテンツ410がテレビ420に対して転送または共有またはキャストされるべきであることをユーザに確認するように要求し得る。
図4Eに示す例では、説明および図示の目的で、検証要求425は、テレビ420による視覚出力である。いくつかの実現例では、検証要求425は、異なる形式で出力される。たとえば、検証要求425は、音声出力、ビデオ出力と組み合わされた音声出力、および物理的出力などであり得る。検証要求425に応答して、ユーザは、検証入力を入力し得る。検証入力は、たとえば、HMD110における入力、ハンドヘルドデバイス120における入力等を含み得る。たとえば、検証入力は、HMD110のタッチ面114、ハンドヘルドデバイス120のタッチ面上のタッチもしくはタップ入力、または他のこのようなユーザ入力を含み得る。検証入力は、外部デバイスの音声入力デバイスもしくはマイクロホンによって検出される可聴入力または音声入力を含み得る。
図4Fに示すように、ユーザ検証入力に応答して、ハンドヘルドデバイス120によって出力されているコンテンツ410は、テレビ420によって出力され得る。
【0033】
いくつかの実現例では、ユーザデバイス(この例では、ハンドヘルドデバイス120)からのコンテンツは、ユーザの介入なしに、外部デバイス(この例では、テレビ420)に実行のために転送されてもよく、キャストされてもよい。すなわち、いくつかの実現例では、
図4Eに関して上述した検証要求425およびユーザ検証入力なしに、ユーザデバイス(この例では、ハンドヘルドデバイス120)からのコンテンツが、外部デバイス(この例では、テレビ420)による実行のために、外部デバイスに対して転送または共有またはキャストされてもよい。
【0034】
図5は、本明細書に記載の実現例に係る、外部デバイス(複数可)を検出するための、ならびに検出された外部デバイス(複数可)にコンテンツの実行および出力を転送するための例示的な方法500を示すフローチャートである。コンテンツ、たとえば、
図4A~
図4Fに関して上述したハンドヘルドデバイス120の形態のユーザデバイスによって出力されるコンテンツ410は、第1のデバイスによって実行および出力され得る(ブロック510)。1つ以上の外部デバイス(複数可)が検出され得る(ブロック520,530)。検出された外部デバイス(複数可)は、たとえばネットワーク、または他の種類の接続を介して、第1のデバイスと通信可能であり得る。いくつかの実現例では、外部デバイス(複数可)は、第1のデバイスに対する以前の接続またはペアリング、第1のデバイスとの共有ネットワーク、共有信号および/または信号強度、第1のデバイスおよび/または別のユーザデバイスによって取り込まれた画像から抽出され、事前に格納されたアンカー情報と一致した画像情報などに基づいて検出される。システムは、検出された外部デバイス(複数可)のうちの1つ以上が、第1のデバイスによって現在出力されているコンテンツの出力のために構成されていると判定することができ(ブロック540)、コンテンツの出力のために検出された外部デバイスのうちの1つを選択し得る。
【0035】
たとえば、
図4A~
図4Fに関して上述したように、システムは、物理的空間400で検出された検出済みの外部デバイスのうち、ハンドヘルドデバイス120によって現在出力されているコンテンツ410を出力することができるものを判定し得る。上述の例では、ハンドヘルドデバイス120によって出力されているコンテンツ410は、少なくとも画像コンテンツを含み、音声コンテンツも含み得る。したがって、システムは、テレビ420が、ビデオコンテンツ410の出力のために(物理的空間400で検出された外部デバイスの中で)最も適切に構成されていると判定し得る。たとえば、音声出力デバイス430またはスマートスピーカ430は、画像出力能力が制限されているか、またはその能力が全くない可能性がある。同様に、コンピューティングデバイス440は、音声出力能力が限定されているか、または全くない可能性がある。したがって、システムは、コンテンツ410の出力のために、テレビ420を第2のデバイスとして選択し得る。
【0036】
いくつかの実現例では、システムは、たとえば、コンテンツの外部デバイスへの意図しない転送または共有またはキャスティングを避けるために、第1のデバイスから第2のデバイスにコンテンツの実行を転送する前に、検証要求を出力する(ブロック550)。第1のデバイスから第2のデバイスへのコンテンツの転送を検証するユーザ入力に応答して(ブロック560)、コンテンツは、第2のデバイスによる出力のために、第2のデバイスに転送され得る(ブロック570)。
【0037】
本明細書に記載の実現例に係るシステムおよび方法は、外部デバイスによる実行および出力のために、ユーザデバイスから外部デバイスに、ユーザデバイスによって出力されるコンテンツの実行を共有および転送することを可能にする。コンテンツの実行は、ユーザデバイスの設定された近距離内、または設定範囲内の外部デバイスの検出、ユーザデバイスの視野内の外部デバイスの検出、ユーザデバイスによって収集された画像データに基づく外部デバイスの検出、共有ローカルネットワーク内の外部デバイスの検出、外部デバイスに関連付けられた設定信号強度の検出、電磁信号、および他のこのような検出条件に応答して、外部デバイスによる出力のために転送または共有され得る。外部デバイスの検出および/または外部デバイスによる実行のためのユーザデバイスから外部デバイスへのコンテンツの転送は、接続されたデバイスのシステム内でコンテンツを消費する際のユーザ体験を向上させるために、限られたユーザの介入で実施され得る。
【0038】
図6は、本明細書に記載される技法と共に使用され得る、汎用コンピュータデバイス600および汎用モバイルコンピュータデバイス650,690の一例を示す。コンピューティングデバイス600は、ラップトップ、デスクトップ、タブレット、ワークステーション、パーソナルデジタルアシスタント、テレビ、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピューティングデバイスなどのさまざまな形式のデジタルコンピュータを表すことを意図している。たとえば、コンピューティングデバイス600は、上記で言及されたサーバであってもよく、および/またはサーバとして使用されてもよい。コンピューティングデバイス650は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、および他の同様のコンピューティングデバイスなどの、さまざまな形態のモバイルデバイスを表すことを意図している。ここに示すコンポーネント、それらの接続および関係、ならびにそれらの機能は、例示に過ぎないことを意図しており、本明細書で説明および/または請求される発明の実現例を制限することを意図していない。
【0039】
コンピューティングデバイス600は、プロセッサ602と、メモリ604と、ストレージデバイス606と、メモリ604および高速拡張ポート610に接続する高速インターフェイス608と、低速バス614およびストレージデバイス606に接続する低速インターフェイス612とを含む。プロセッサ602は、半導体ベースのプロセッサであり得る。メモリ604は、半導体ベースのメモリであり得る。コンポーネント602,604,606,608,610および612の各々は、さまざまなバスを用いて相互接続され、共通のマザーボードに搭載されるか、または適宜他の方式で搭載され得る。プロセッサ602は、高速インターフェイス608に結合されたディスプレイ616などの外部入出力デバイスにGUI用のグラフィック情報を表示するために、メモリ604またはストレージデバイス606に格納された命令を含む、コンピューティングデバイス600内で実行するための命令を処理可能である。他の実現例では、複数のプロセッサおよび/または複数のバスが、複数のメモリおよび複数の種類のメモリと共に、適宜使用されてもよい。また、複数のコンピューティングデバイス600が接続されてもよく、各デバイスが必要な動作の一部を(たとえば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして)提供する。
【0040】
メモリ604は、コンピューティングデバイス600内の情報を格納する。一実現例では、メモリ604は、1つまたは複数の揮発性メモリユニットである。別の実現例では、メモリ604は、1つまたは複数の不揮発性メモリユニットである。また、メモリ604は、磁気ディスクまたは光ディスクなどの別の形態のコンピュータ読取可能媒体であってもよい。
【0041】
ストレージデバイス606は、コンピューティングデバイス600のためのマスストレージを提供することが可能である。一実現例では、ストレージデバイス606は、フロッピー(登録商標)ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイスなど、または、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイなどであってもよい。コンピュータプログラム製品は、情報担体に有形に具現化される。コンピュータプログラム製品は、実行されると、上述したような1つまたは複数の方法を実行する命令も含み得る。情報担体は、メモリ604、ストレージデバイス606、またはプロセッサ602上のメモリなどの、コンピュータ読取可能媒体または機械読取可能媒体である。
【0042】
高速コントローラ608は、コンピューティングデバイス600の帯域幅集約型の動作を管理し、低速コントローラ612は、より低い帯域幅集約型の動作を管理する。このような機能の割り当ては例示的に過ぎない。一実現例では、高速コントローラ608は、メモリ604、(たとえば、グラフィックプロセッサまたはアクセラレータを介して)ディスプレイ616、およびさまざまな拡張カード(図示せず)を受け入れることができる高速拡張ポート610に結合される。この実現例において、低速コントローラ612は、ストレージデバイス606および低速拡張ポート614に結合される。さまざまな通信ポート(たとえば、USB、Bluetooth(登録商標)、イーサネット(登録商標)、無線イーサネット)を含み得る低速拡張ポートは、キーボード、ポインティングデバイス、スキャナなどの1つ以上の入出力デバイス、またはスイッチもしくはルータなどのネットワークデバイスに、たとえば、ネットワークアダプタを介して結合され得る。
【0043】
コンピューティングデバイス600は、図示のように、多数の異なる形態で実装され得る。たとえば、標準的なサーバ666として、またはこのようなサーバのグループにおいて複数回、実装されてもよい。また、ラックサーバシステム624の一部として実装されてもよい。さらに、ラップトップコンピュータ622のようなパーソナルコンピュータに実装されてもよい。または、コンピューティングデバイス600からのコンポーネントは、デバイス650などのモバイルデバイス(図示せず)において、他のコンポーネントと組み合わされてもよい。このようなデバイスの各々は、コンピューティングデバイス600,650の1つ以上を含むことができ、システム全体は、互いに通信する複数のコンピューティングデバイス600,650で構成され得る。
【0044】
コンピューティングデバイス650は、プロセッサ652、メモリ664、ディスプレイ654などの入出力デバイス、通信インターフェイス666、およびトランシーバ668などのコンポーネントを含む。また、デバイス650は、追加のストレージを提供するために、マイクロドライブまたは他のデバイスなどのストレージデバイスを備えてもよい。コンポーネント650,652,664,654,666および668の各々は、さまざまなバスを使用して相互接続され、コンポーネントの一部は、共通のマザーボード上に、または適宜他の方式で実装され得る。
【0045】
プロセッサ652は、メモリ664に格納された命令を含む、コンピューティングデバイス650内の命令を実行することができる。プロセッサは、別個の複数のアナログプロセッサおよびデジタルプロセッサを含むチップのチップセットとして実装されてもよい。プロセッサは、たとえば、ユーザインターフェイスの制御、デバイス650によって実行されるアプリケーション、およびデバイス650による無線通信など、デバイス650の他のコンポーネントの調整のために提供されてもよい。
【0046】
プロセッサ652は、ディスプレイ654に結合された制御インターフェイス658および表示インターフェイス656を介して、ユーザと通信し得る。ディスプレイ654は、たとえば、薄膜-トランジスタ液晶ディスプレイ(Thin-Film-Transistor Liquid Crystal Display:TFT LCD)または有機発光ダイオード(Organic Light Emitting Diode:OLED)ディスプレイ、または他の適切なディスプレイ技術であってもよい。表示インターフェイス656は、グラフィカルな情報および他の情報をユーザに提示するようにディスプレイ654を駆動するための適切な回路を含み得る。制御インターフェイス658は、ユーザからコマンドを受信し、プロセッサ652に提出するためにコマンドを変換し得る。さらに、デバイス650の他のデバイスとの近距離通信を可能にするように、外部インターフェイス662がプロセッサ652と通信して提供され得る。外部インターフェイス662は、たとえば、いくつかの実現例では有線通信を、または他の実現例では無線通信を可能にしてもよく、複数のインターフェイスが使用されてもよい。
【0047】
メモリ664は、コンピューティングデバイス650内の情報を格納する。メモリ664は、1つもしくは複数のコンピュータ読取可能媒体、1つもしくは複数の揮発性メモリユニット、または1つもしくは複数の不揮発性メモリユニットのうちの1つ以上として実装することができる。拡張メモリ674はまた、たとえばSIMM(Single In Line Memory Module)カードインターフェイスを含み得る拡張インターフェイス672を通じて、デバイス650に提供および接続され得る。このような拡張メモリ674は、デバイス650のための余分な記憶空間を提供してもよいし、デバイス650のためのアプリケーションまたは他の情報を格納してもよい。具体的には、拡張メモリ674は、上述した処理を実行または補足するための命令を含むことができ、セキュアな情報を含むことができる。したがって、たとえば、拡張メモリ674は、デバイス650のセキュリティモジュールとして提供されてもよく、デバイス650の安全な使用を可能にする命令でプログラムされてもよい。さらに、セキュアアプリケーションは、識別情報をハッキング不可能な方法でSIMMカードに配置するなどの追加情報と共に、SIMMカードを経由して提供されてもよい。
【0048】
メモリは、たとえば、後述するように、フラッシュメモリおよび/またはNVRAMメモリを含み得る。ある実現例では、コンピュータプログラム製品は、情報担体に有形に具現化される。コンピュータプログラム製品は、実行されると、上述したような1つ以上の方法を実行する命令を含む。情報担体は、メモリ664、拡張メモリ674、またはプロセッサ652上のメモリなどのコンピュータ機械読取可能媒体または機械読取可能媒体であり、たとえば、トランシーバ668または外部インターフェイス662を介して受信され得る。
【0049】
デバイス650は、必要に応じてデジタル信号処理回路を含み得る通信インターフェイス666を介して、無線通信し得る。通信インターフェイス666は、GSM(登録商標)音声通話、SMS、EMS、もしくはMMSメッセージング、CDMA、TDMA、PDC、WCDMA(登録商標)、CDMA600、またはGPRSなど、さまざまなモードまたはプロトコルでの通信を可能にし得る。このような通信は、たとえば、無線周波数トランシーバ668を介して生じ得る。さらに、Bluetooth、WiFi、または他のこのようなトランシーバ(図示せず)を使用するなどして、短距離通信が生じてもよい。さらに、GPS(Global Positioning System)受信機モジュール670は、デバイス650に、デバイス650上で実行されるアプリケーションによって適宜使用され得る追加のナビゲーションおよび位置関連の無線データを提供し得る。
【0050】
また、デバイス650は、オーディオコーデック660を使用して可聴的に通信することができ、オーディオコーデックは、ユーザから音声情報を受信し、それを使用可能なデジタル情報に変換し得る。オーディオコーデック660は、同様に、たとえば、デバイス650のハンドセット内でスピーカを通してなど、ユーザに対して可聴音を生成し得る。このような音は、音声電話からの音を含んでもよく、記録された音(たとえば、音声メッセージ、音楽ファイルなど)を含んでもよく、デバイス650上で動作するアプリケーションによって生成された音を含んでもよい。
【0051】
コンピューティングデバイス650は、図示したような複数の異なる形態で実装され得る。たとえば、携帯電話680として実装されてもよい。また、スマートフォン682、パーソナルデジタルアシスタント、または他の類似のモバイルデバイスの一部として実装されてもよい。
【0052】
本明細書に記載のシステムおよび技法のさまざまな実現例は、デジタル電子回路、集積回路、特別に設計された特定用途向け集積回路(application specific integrated circuit:ASIC)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組合せで実現することができる。これらのさまざまな実現例は、ストレージシステム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスとの間でデータおよび命令の送受信を行なうように結合された、専用または汎用であり得る少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能なおよび/または解釈可能な1つ以上のコンピュータプログラムにおける実現例を含み得る。
【0053】
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている)は、プログラマブルプロセッサのための機械命令を含み、高水準手続き型および/もしくはオブジェクト指向型のプログラミング言語で、ならびに/またはアセンブリ/機械言語で実装可能である。本明細書で使用する場合、「機械読取可能媒体」および「コンピュータ読取可能媒体」という用語は、機械読取可能信号として機械命令を受信する機械読取可能媒体を含む、機械命令および/またはデータをプログラマブルプロセッサに提供するために使用される、任意のコンピュータプログラム製品、装置および/またはデバイス(たとえば、磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス(Programmable Logic Device:PLD))を指す。「機械読取可能信号」という用語は、機械命令および/またはデータをプログラマブルプロセッサに提供するために用いられる任意の信号を指す。
【0054】
ユーザとの対話を可能にするために、本明細書に記載のシステムおよび技法は、情報をユーザに表示するための表示デバイス(たとえば陰極線管(cathode ray tube:CRT)または液晶ディスプレイ(LCD)モニタ)と、ユーザによるコンピュータへの入力を可能にするキーボードおよびポインティングデバイス(たとえば、マウスまたはトラックボール)とを有するコンピュータ上で実現可能である。他の種類のデバイスも同様に、ユーザとの対話を提供するために使用可能である。たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック(たとえば、視覚フィードバック、聴覚フィードバックまたは触覚フィードバック)であり得る。また、ユーザからの入力は、音響入力、音声入力または触覚入力を含む任意の形態で受信可能である。
【0055】
本明細書に記載のシステムおよび技法は、バックエンドコンポーネント(たとえば、データサーバとして)を含む、またはミドルウェアコンポーネント(たとえば、アプリケーションサーバ)を含む、またはフロントエンドコンポーネント(たとえば、ユーザが本明細書に記載のシステムおよび技法の実装例と対話できるようなグラフィカルユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータ)を含む、またはこのようなバックエンドコンポーネント、ミドルウェアコンポーネントもしくはフロントエンドコンポーネントの任意の組み合わせにおいて実現することができる。システムのコンポーネントは、デジタルデータ通信の任意の形態または媒体(たとえば、通信ネットワーク)によって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、およびインターネットが挙げられる。
【0056】
コンピューティングシステムは、クライアントとサーバとを含み得る。クライアントとサーバとは、一般に互いに離れており、典型的には、通信ネットワークを通じて対話する。クライアント-サーバ関係は、それぞれのコンピュータ上で実行されて互いにクライアント-サーバ関係を有するコンピュータプログラムによって生じる。
【0057】
いくつかの実施形態を説明してきたが、本発明の精神および範囲から逸脱することなく、種々の変更が行なわれ得ることが理解されるだろう。
【0058】
また、図に示す論理フローは、所望の結果を達成するために、示される特定の順序または連続した順序を必要とするものではない。さらに、他のステップが設けられてもよく、または、説明したフローからステップが排除されてもよく、説明したシステムに対して他のコンポーネントが追加または除去されてもよい。
【手続補正書】
【提出日】2023-08-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ユーザデバイスのプロセッサが、前記ユーザデバイス上でコンテンツを実行することと、
前記ユーザデバイスが、前記ユーザデバイスの設定範囲内にある少なくとも1つの外部デバイスを検出することと、
前記少なくとも1つの外部デバイスの出力能力と前記ユーザデバイスによって実行される前記コンテンツの出力特性とに基づいて、前記ユーザデバイスによって実行される前記コンテンツの出力のために、前記少なくとも1つの外部デバイスを特定することと、
前記少なくとも1つの外部デバイスによる出力のために、前記ユーザデバイスから前記少なくとも1つの外部デバイスに、前記コンテンツの実行を転送することとを含む、コンピュータによって実現される方法。
【請求項2】
前記ユーザデバイスの前記設定範囲内にある前記少なくとも1つの外部デバイスを検出することは、前記ユーザデバイスの視野内で前記少なくとも1つの外部デバイスを検出することを含む、請求項1に記載のコンピュータによって実現される方法。
【請求項3】
前記少なくとも1つの外部デバイスを特定することは、
前記ユーザデバイスによって取り込まれる画像情報における物理的特徴を検出することと、
検出された前記物理的特徴に基づいて、前記ユーザデバイスの位置を特定することと、
前記ユーザデバイスの特定された前記位置に基づいて、前記少なくとも1つの外部デバイスを特定することとを含む、請求項1または2に記載のコンピュータによって実現される方法。
【請求項4】
前記ユーザデバイスは、ハンドヘルドデバイスとヘッドマウント表示デバイスとを含み、
コンテンツを実行することは、前記ハンドヘルドデバイス上でコンテンツを実行することを含み、
前記画像情報における物理的特徴を検出することは、前記ヘッドマウント表示デバイス
の視野内で取り込まれる画像情報における物理的特徴を検出することを含む、請求項3に記載のコンピュータによって実現される方法。
【請求項5】
検出された前記物理的特徴に基づいて前記ユーザデバイスの前記位置を特定することは、データベースに事前に格納され、かつサーバを介して前記ユーザデバイスがアクセス可能な特徴の比較に基づいて、前記ユーザデバイスの前記位置を特定することを含む、請求項3に記載のコンピュータによって実現される方法。
【請求項6】
前記ユーザデバイスの前記設定範囲内にある前記少なくとも1つの外部デバイスを検出することは、
前記少なくとも1つの外部デバイスを、以前に接続されたデバイスとして検出すること、
電磁波信号に基づいて、前記少なくとも1つの外部デバイスを検出すること、
共有ネットワーク内にある前記少なくとも1つの外部デバイスを検出すること、または、
以前に接続されたデバイスのネットワーク内にある前記少なくとも1つの外部デバイスを検出することのうちの少なくとも1つを含む、請求項1~5のいずれか1項に記載のコンピュータによって実現される方法。
【請求項7】
前記ユーザデバイスの前記設定範囲内にある前記少なくとも1つの外部デバイスを検出することは、前記ユーザデバイスのユーザの視野内にある前記少なくとも1つの外部デバイスを検出することを含む、請求項1~5のいずれか1項に記載のコンピュータによって実現される方法。
【請求項8】
前記少なくとも1つの外部デバイスによる出力のために、前記ユーザデバイスから前記少なくとも1つの外部デバイスに前記コンテンツの実行を転送することは、
前記ユーザデバイスから前記少なくとも1つの外部デバイスに前記コンテンツを転送する前に、ユーザ検証要求を出力することと、
前記ユーザデバイスから前記少なくとも1つの外部デバイスへの前記コンテンツの転送を検証するユーザ検証入力を受信することと、
前記ユーザ検証入力の受信に応答して、前記ユーザデバイスから前記少なくとも1つの外部デバイスに、前記コンテンツの実行を転送することとを含む、請求項1~7のいずれか1項に記載のコンピュータによって実現される方法。
【請求項9】
前記ユーザ検証要求を出力することは、視覚的要求または音響要求の少なくとも1つを出力することを含み、
前記ユーザ検証入力を受信することは、タッチ入力または音響入力の少なくとも1つを受信することを含む、請求項8に記載のコンピュータによって実現される方法。
【請求項10】
システムであって、
音声出力デバイスと画像出力デバイスとを含む出力システムと、
感知システムと、
少なくとも1つのプロセッサと、
命令を格納したメモリとを備え、前記命令は、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
前記出力システムによって、前記少なくとも1つのプロセッサによって実行されるコンテンツを出力させ、
前記感知システムによって、前記感知システムの設定範囲内にある少なくとも1つの外部デバイスを検出させ、
前記少なくとも1つの外部デバイスの出力能力と前記出力システムによって出力される前記コンテンツの出力特性とに基づいて、前記
少なくとも1つのプロセッサによって実行される前記コンテンツの出力のために、前記少なくとも1つの外部デバイスを特定させ、
前記少なくとも1つの外部デバイスによる出力のために、前記少なくとも1つの外部デバイスに前記コンテンツの実行を転送させる、システム。
【請求項11】
前記少なくとも1つの外部デバイスを検出する際に、前記命令は、少なくとも1つのプロセッサに、
前記感知システムによって取り込まれる画像情報に基づいて、前記少なくとも1つの外部デバイスを検出すること、
前記少なくとも1つの外部デバイスを、以前に接続されたデバイスとして検出すること、
電磁波信号に基づいて、前記少なくとも1つの外部デバイスを検出すること、
共有ネットワーク内にある前記少なくとも1つの外部デバイスを検出すること、または、
以前に接続されたデバイスのネットワーク内にある前記少なくとも1つの外部デバイスを検出することのうちの少なくとも1つを実行させる、請求項10に記載のシステム。
【請求項12】
前記感知システムによって取り込まれる画像情報に基づいて前記少なくとも1つの外部デバイスを検出する際に、前記命令は、前記少なくとも1つのプロセッサに、
前記画像情報における物理的特徴を検出させ、
検出された前記物理的特徴と、サーバを介して前記システムがアクセス可能なデータベース内の事前に格納された特徴との比較に基づいて、位置を特定させ、
特定された前記位置に基づいて、前記少なくとも1つの外部デバイスを特定させる、請求項11に記載のシステム。
【請求項13】
前記少なくとも1つの外部デバイスに前記コンテンツの実行を転送する際に、前記命令は、前記少なくとも1つのプロセッサに、
前記少なくとも1つの外部デバイスに前記コンテンツを転送する前に、ユーザ検証要求を出力させ、
前記少なくとも1つの外部デバイスへの前記コンテンツの転送を検証するユーザ検証入力を受信させ、
前記ユーザ検証入力の受信に応答して、前記少なくとも1つの外部デバイスに前記コンテンツの実行を転送させる、請求項10~12のいずれか1項に記載のシステム。
【請求項14】
前記ユーザ検証要求は、視覚的要求または音響要求の少なくとも1つを含み、前記ユーザ検証入力は、タッチ入力または音響入力の少なくとも1つを含む、請求項13に記載のシステム。
【請求項15】
前記出力システム、前記感知システム、前記少なくとも1つのプロセッサ、および前記メモリは、ネットワーク内で動作可能なハンドヘルド電子デバイスまたはヘッドマウント表示デバイスの少なくとも1つに設置されている、請求項10~14のいずれか1項に記載のシステム。
【請求項16】
請求項1~9のいずれか1項に記載のコンピュータによって実現される方法をコンピュータに実行させる、プログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0017
【補正方法】変更
【補正の内容】
【0017】
図2Cに示す例におけるスマートウォッチ130の形態のウェアラブルデバイス130は、インターフェイスデバイス131を含み得る。いくつかの実現例では、インターフェイスデバイス131は、たとえば、ユーザに情報を出力することができる表示領域132を含む出力デバイスとして機能する。いくつかの実現例では、インターフェイスデバイス131は、たとえば、インターフェイスデバイス131がユーザからタッチ入力を受信できるタッチ面133を含む入力デバイスとして機能する。いくつかの実現例では、インターフェイスデバイス131は、入力デバイスおよび出力デバイスとして機能することができる。ウェアラブルデバイス130は、さまざまな感知システムデバイスを含む感知システム136を含み得る。ウェアラブルデバイス130は、デバイス130の動作を容易にするために、さまざまな制御システムデバイスを含む制御システム137と、外部デバイスおよび/またはネットワークとの通信を可能にする通信モジュール135と、プロセッサ139とを含み得る。ウェアラブルデバイス130は、画像センサ138(すなわち、カメラ138)、深度センサ、光センサ、および他のこのような感知デバイスも含み得る。いくつかの実現例では、画像センサ138またはカメラ138は、静止画および/または動画、パターン、特徴、光などを取り込むことができる。
【国際調査報告】