特表 2024-520999 外部の視線検出による光漏れの低減

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-28

(54)【発明の名称】外部の視線検出による光漏れの低減

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240521BHJP

【ＦＩ】

G06F3/01 510

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023563878

(86)(22)【出願日】2022-05-24

(85)【翻訳文提出日】2023-10-17

(86)【国際出願番号】 US2022072535

(87)【国際公開番号】W WO2022251831

(87)【国際公開日】2022-12-01

(31)【優先権主張番号】17/303,197

(32)【優先日】2021-05-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ゴールドバーグ，スティーブン・ベンジャミン

(72)【発明者】

【氏名】ペイン，ジャストン

(72)【発明者】

【氏名】ショーンバーグ，マイケル

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA52

5E555BA02

5E555BE17

5E555CB65

5E555DA09

5E555DC11

5E555EA19

5E555EA22

5E555FA00

(57)【要約】

透明ディスプレイ上にコンテンツを表示する技術は、世界側に、すなわち、透明ディスプレイのユーザーから離れた方を向く、透明ディスプレイのうちのユーザー側の反対側に対して存在する個人を検出することを含む。たとえば、スマートグラスに接続された回路は、透明ディスプレイの世界側の近傍における個人の存在を検出する。それに応答して、その回路は、個人の画像を生成させ、その画像に基づいて、１組の基準を満たす状態にあるか否かとして個人を分類する。いくつかの実装形態において、その組の基準は、個人がドキュメントを見ることができるような向きにあることを含む。個人が基準を満たすことに応答して、回路は、個人の視界からドキュメントを隠蔽する。

【特許請求の範囲】

【請求項1】

透明ディスプレイのユーザー側で拡張現実（ＡＲ）システムの一部としてユーザーが閲覧するために、前記透明ディスプレイ上にコンテンツを表示することと、
前記透明ディスプレイのうちの前記ユーザー側の反対側にある前記透明ディスプレイの世界側に対して、ある状態の個人を検出することと、
前記個人が前記透明ディスプレイの前記世界側で前記コンテンツを閲覧できるかどうかを示す１組の基準を、前記個人の前記状態が、満たすかどうかを判定することと、
前記検出された個人が前記１組の基準を満たすという状態に応答して、前記コンテンツを前記個人から隠蔽するように、前記表示されたコンテンツに隠蔽動作を行うことと
を含む、方法。

【請求項2】

前記個人の前記状態は、前記透明ディスプレイの前記世界側に対する位置を含み、前記１組の基準は、前記位置が前記透明ディスプレイの外側の特定の領域にあるかどうかを含む、請求項１に記載の方法。

【請求項3】

前記個人の前記状態は、前記透明ディスプレイの軸に対する向きを含み、前記１組の基準は、前記向きが特定の角度範囲内にあることを含む、請求項１に記載の方法。

【請求項4】

前記個人の前記状態は、前記個人の眼の視線角度を含み、前記１組の基準は、前記個人の前記眼の前記視線角度が特定の角度範囲内にあることを含む、請求項１に記載の方法。

【請求項5】

前記個人の前記状態が前記１組の基準を満たすかどうかを判定することは、
前記個人の画像を表す画像データを生成することと、
前記透明ディスプレイの前記世界側に対する前記個人の前記状態を表すパラメーターの値を作成するように、前記画像データに作用することと、
前記パラメーターの前記値が既定の範囲内にあるかどうかを判定することと
を含む、請求項１に記載の方法。

【請求項6】

前記画像データに作用することは、
前記個人が前記コンテンツを閲覧できることを示すものか、または前記個人が前記コンテンツを閲覧できないことを示すものの一方として前記画像データを分類するように構成された分類エンジンに、前記画像データを入力すること
を含む、請求項５に記載の方法。

【請求項7】

前記分類エンジンを訓練することをさらに含み、前記訓練することは、
訓練画像データを取得することであって、前記訓練画像データは、（ｉ）複数の画像であって、前記複数の画像のそれぞれが、サンプル個人群のサンプル個人の画像を含み、前記画像内の前記サンプル個人は、前記透明ディスプレイの前記世界側の位置を有する、複数の画像と、（ｉｉ）前記個人が前記コンテンツを閲覧できることを示すもの、または前記個人が前記コンテンツを閲覧できないことを示すものの一方である、複数の二項分類値とを表す、訓練画像データを取得することと、
前記分類エンジンを作成するように前記訓練画像データに基づいて損失関数を最適化することと
を含む、請求項６に記載の方法。

【請求項8】

前記分類エンジンを訓練することをさらに含み、前記訓練することは、
訓練画像データを取得することであって、前記訓練画像データは、（ｉ）複数の画像であって、前記複数の画像のそれぞれが、サンプル個人群のサンプル個人の画像を含み、前記画像内の前記サンプル個人は、前記透明ディスプレイの軸に対する向きを有する、複数の画像と、（ｉｉ）前記個人が前記コンテンツを閲覧できることを示すもの、または前記個人が前記コンテンツを閲覧できないことを示すものの一方である、複数の二項分類値とを表す、訓練画像データを取得することと、
前記分類エンジンを作成するように前記訓練画像データに基づいて損失関数を最適化することと
を含む、請求項６に記載の方法。

【請求項9】

前記分類エンジンを訓練することをさらに含み、前記訓練することは、
訓練画像データを取得することであって、前記訓練画像データは、（ｉ）複数の画像であって、前記複数の画像のそれぞれが、サンプル個人群のサンプル個人の画像を含み、前記画像内の前記サンプル個人の眼は、前記透明ディスプレイの軸に対する視線角度を有する、複数の画像と、（ｉｉ）前記個人が前記コンテンツを閲覧できることを示すもの、または前記個人が前記コンテンツを閲覧できないことを示すものの一方である、複数の二項分類値とを表す、訓練画像データを取得することと、
前記分類エンジンを作成するように前記訓練画像データに基づいて損失関数を最適化することと
を含む、請求項６に記載の方法。

【請求項10】

前記コンテンツは、前記透明ディスプレイの前記ユーザー側の第１の領域に表示されており、
前記表示されたコンテンツに前記隠蔽動作を行うことは、
前記コンテンツを前記第１の領域から削除することと、
前記透明ディスプレイの前記ユーザー側の第２の領域に前記コンテンツを表示することであって、前記個人が前記状態にあるときは、前記コンテンツが前記透明ディスプレイの前記ユーザー側の前記第２の領域に表示されるときに、前記個人は前記１組の基準を満たさない、表示することと
を含む、請求項１に記載の方法。

【請求項11】

非推移的ストレージ媒体を備えるコンピュータープログラム製品であって、前記コンピュータープログラム製品は、処理回路によって実行されるときに、前記処理回路に方法を実行させるコードを含み、前記方法は、
透明ディスプレイのユーザー側で拡張現実（ＡＲ）システムの一部としてユーザーが閲覧するために、前記透明ディスプレイ上にコンテンツを表示することと、
前記透明ディスプレイのうちの前記ユーザー側の反対側にある前記透明ディスプレイの世界側に対して、ある状態の個人を検出することと、
前記個人が前記透明ディスプレイの前記世界側で前記コンテンツを閲覧できるかどうかを示す１組の基準を、前記個人の前記状態が満たすかどうかを判定することと、
前記検出された個人が前記１組の基準を満たすという状態に応答して、前記コンテンツを前記個人から隠蔽するように、前記表示されたコンテンツに隠蔽動作を行うことと
を含む、コンピュータープログラム製品。

【請求項12】

前記コンテンツは、前記透明ディスプレイの前記ユーザー側に投影され、それと同時に、前記透明ディスプレイは、前記世界側からの光が前記ディスプレイの前記ユーザー側を照らすことを可能にする、請求項１１に記載のコンピュータープログラム製品。

【請求項13】

前記透明ディスプレイの前記世界側に対して前記個人を検出することは、
前記透明ディスプレイの世界側の近傍における前記個人の存在のインジケーションを表すインジケーションデータを受信すること
を含む、請求項１１に記載のコンピュータープログラム製品。

【請求項14】

前記インジケーションデータは、可聴信号を表す可聴データを含む、請求項１３に記載のコンピュータープログラム製品。

【請求項15】

前記コンテンツは第１のコンテンツであり、前記第１のコンテンツは、前記透明ディスプレイの前記ユーザー側の第１の領域に表示されており、
前記インジケーションデータを受信することは、
第２のコンテンツを作成するように前記インジケーションデータをレンダリングすることであって、前記第２のコンテンツは、前記透明ディスプレイの前記ユーザー側の第２の領域に表示される、レンダリングすること
を含む、請求項１３に記載のコンピュータープログラム製品。

【請求項16】

前記コンテンツは第１のコンテンツであり、前記第１のコンテンツは、前記透明ディスプレイの前記ユーザー側で第１の色で表示されており、
前記インジケーションデータを受信することは、
第２のコンテンツを作成するように前記インジケーションデータをレンダリングすることであって、前記第２のコンテンツは、前記透明ディスプレイの前記ユーザー側で第２の色で表示される、レンダリングすること
を含む、請求項１３に記載のコンピュータープログラム製品。

【請求項17】

前記インジケーションデータは、前記個人がカメラを有し、前記カメラのレンズが前記透明ディスプレイに向けられていることを示す、請求項１３に記載のコンピュータープログラム製品。

【請求項18】

前記インジケーションデータは、前記個人が前記透明ディスプレイに向かって自身の頭を動かしたことを示す、請求項１３に記載のコンピュータープログラム製品。

【請求項19】

電子装置であって、前記電子装置は、
メモリーと、
前記メモリーに結合された制御回路を備え、前記制御回路は、
透明ディスプレイのユーザー側で拡張現実（ＡＲ）システムの一部としてユーザーが閲覧するために、前記透明ディスプレイ上にコンテンツを表示し、
前記透明ディスプレイのうちの前記ユーザー側の反対側である前記透明ディスプレイの世界側に対して、ある状態の個人を検出し、
前記個人が前記透明ディスプレイの前記世界側で前記コンテンツを閲覧できるかどうかを示す１組の基準を、前記個人の前記状態が満たすかどうかを判定し、
前記検出された個人が前記１組の基準を満たすという状態に応答して、前記コンテンツを前記個人から隠蔽するように、前記表示されたコンテンツに隠蔽動作を行う
ように構成されている、電子装置。

【請求項20】

前記制御回路はさらに、前記透明ディスプレイの前記世界側の近傍における対象物の画像を表す画像データを生成するように構成されており、
前記個人の前記状態が前記１組の基準を満たすかどうかを判定するように構成された前記制御回路はさらに、
前記個人が前記コンテンツを閲覧できることを示すものか、または前記個人が前記コンテンツを閲覧できないことを示すものの一方として、前記画像データを分類するように構成された分類エンジンに前記画像データを入力する
ように構成されている、請求項１９に記載の電子装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０２１年５月２４日出願の米国特許出願第１７／３０３，１９７号の継続出願であり、その利益を主張するものであり、その開示の全体を本願に引用して援用する。

【0002】

技術分野
本明細書は、透明ディスプレイからの漏れが他の個人によって見られる可能性がある、拡張現実システムにおける透明ディスプレイ上の、ユーザーが閲覧する機密性の高いコンテンツに関する。

【背景技術】

【0003】

背景
一部の拡張現実（ＡＲ）システムでは、ユーザーにコンテンツを表示するためにスマートグラスが用いられている。スマートグラスとは、ユーザーが自身の周りで見ているものと一緒にまたはそれに対して情報を付加するウェアラブルコンピューティングデバイスである。スマートグラスの視界に現れることも現れないこともある外部環境は世界側の視界として示される。

【0004】

スマートグラスは、標準的な眼鏡のレンズの代わりに、少なくとも部分的に透明なディスプレイを含むことができる。一部のスマートグラスのディスプレイは少なくとも部分的に透明である場合があるため、ＡＲ効果を有効にするためには、ディスプレイシステムを定義する光学スタックの一部としてパーシャルミラーが用いられることがある。

【発明の概要】

【0005】

概要
一般的な一態様において、本方法は、透明ディスプレイのユーザー側で拡張現実（ＡＲ）システムの一部としてユーザーが閲覧するために、透明ディスプレイ上にコンテンツを表示することを含む。本方法は、透明ディスプレイのうちのユーザー側の反対側にある透明ディスプレイの世界側に対して、ある状態の個人を検出することを含むこともできる。本方法はさらに、個人が透明ディスプレイの世界側でコンテンツを閲覧できるかどうかを示す１組の基準を、その個人の状態が満たすかどうかを判定することを含むことができる。本方法はさらに、検出された個人がその組の基準を満たすことに応答して、コンテンツを個人から隠蔽するように、表示されたコンテンツに隠蔽動作を行うことを含むことができる。

【0006】

別の一般的な態様において、コンピュータープログラム製品は、非推移的ストレージ媒体を備え、コンピューティングデバイスの処理回路によって実行されるときに、処理回路に方法を実行させるコードを含む。本方法は、透明ディスプレイのユーザー側で拡張現実（ＡＲ）システムの一部としてユーザーが閲覧するために、透明ディスプレイ上にコンテンツを表示することを含む。本方法は、透明ディスプレイのうちのユーザー側の反対側にある透明ディスプレイの世界側に対して、ある状態の個人を検出することを含むこともできる。本方法はさらに、個人が透明ディスプレイの世界側でコンテンツを閲覧できるかどうかを示す１組の基準を、その個人の状態が満たすかどうかを判定することを含むことができる。本方法はさらに、検出された個人がその組の基準を満たすことに応答して、コンテンツを個人から隠蔽するように、表示されたコンテンツに隠蔽動作を行うことを含むことができる。

【0007】

別の一般的な態様において、電子装置は、メモリーと、メモリーに結合された制御回路とを含む。制御回路は、透明ディスプレイのユーザー側で拡張現実（ＡＲ）システムの一部としてユーザーが閲覧するために、透明ディスプレイ上にコンテンツを表示し、透明ディスプレイのうちのユーザー側の反対側である透明ディスプレイの世界側に対して、ある状態の個人を検出し、個人が透明ディスプレイの世界側でコンテンツを閲覧できるかどうかを示す１組の基準を、その個人の状態が満たすかどうかを判定し、検出された個人がその組の基準を満たすという状態に応答して、コンテンツを個人から隠蔽するように、表示されたコンテンツに隠蔽動作を行うように構成されている。

【0008】

１つまたは複数の実装形態の詳細が添付の図面および以下の明細書に記載されている。他の特徴は、明細書および図面から、ならびに特許請求の範囲から明らかになる。

【図面の簡単な説明】

【0009】

【図1A】拡張現実（ＡＲ）システムで使用される例示的なスマートグラスを示す図である。

【図1B】スマートグラスの透明ディスプレイに表示された例示的なコンテンツを示す図である。

【図1C】本明細書に記載する技術的な解決策を実装するための例示的な電子環境を示す図である。

【図2A】スマートグラスのカメラの例示的な視野（ＦＯＶ）を示す図である。

【図2B】ＡＲシステムの世界側の個人がスマートグラスの透明ディスプレイ上に表示されたコンテンツを見ることができない、例示的なシナリオを示す図である。

【図2C】ＡＲシステムの世界側の個人がスマートグラスの透明ディスプレイ上に表示されたコンテンツを見ることができる、例示的なシナリオを示す図である。

【図3A】ＡＲシステムの世界側の個人がスマートグラスの回路によって検出される、例示的なシナリオを示す図である。

【図3B】ＡＲシステムの世界側において個人が検出されたという通知を示す図である。

【図3C】検出された個人がコンテンツを見ることができる可能性があるという判定による、スマートグラスの透明ディスプレイ上に表示されたコンテンツの隠蔽を示す図である。

【図4】技術的解決策に従ってＡＲシステムの世界側にいる個人からコンテンツを隠蔽するための例示的なプロセスを示すフローチャートである。

【図5】本明細書に記載する回路と共に使用できる、コンピューターデバイスおよびモバイルコンピューターデバイスの一例を示す図である。

【発明を実施するための形態】

【0010】

詳細な説明
ディスプレイにコンテンツが投影されるため、従来のスマートグラスの光学スタックは、世界側に、すなわち外部環境に、光を投影することがある。それらのコンテンツの一部は、スマートグラスの透明ディスプレイの世界側の近傍における様々な位置および様々な視線角度で個人によって見られる可能性がある。従来のスマートグラスに関する技術的課題は、従来のスマートグラスでは、ユーザーのスマートグラス上に表示されたコンテンツを個人が見ることを可能にする場合があることである。このように見ることが可能になると、特にコンテンツがユーザー個人を特定可能な情報（ＰＩＩ）を含む場合に、深刻なセキュリティー上のリスクにつながる場合がある。

【0011】

先に記載した技術的課題を解決する従来の手法とは異なり、先に記載した技術的課題に対する技術的解決策は、世界側に、すなわち、透明ディスプレイのユーザーから離れた方を向く、透明ディスプレイのうちのユーザー側の反対側に対して存在する個人を検出することを含む。たとえば、ＡＲシステムのユーザーは、ウェアラブルスマートグラスの透明ディスプレイ上に表示されたドキュメントを閲覧することができる。そのドキュメントは、透明ディスプレイの世界側の近傍にある対象物と併せてみることができる。一方で、スマートグラスに接続された回路が、透明ディスプレイの世界側の近傍における個人の存在を検出する。それに応答して、回路は、個人の画像を生成させ、その画像に基づいて、状態が１組の基準を満たすか否か、たとえば、透明ディスプレイの世界側に対して、個人が透明ディスプレイを通してドキュメントを見ることができる位置にいるかまたはできない位置にいるとして個人を分類する。いくつかの実装形態において、その組の基準は、個人がドキュメントを見ることができるような向きにあることを含む。個人が基準を満たすことに応答して、回路は、個人の視界からドキュメントを隠蔽する。

【0012】

先に記載した技術的解決策の技術的利点は、検出された個人がその組の基準を満たす場合にその個人から個人的コンテンツを隠蔽することによって、その技術的解決策がユーザーのプライバシーをより良好に保護することである。たとえば、先に記載した回路は、コンテンツをディスプレイから単純に削除することができる。あるいは、回路は、個人には視認できないと考えられるディスプレイの別の領域にそのコンテンツを動かすことができるか、または単純にそのコンテンツを不明瞭化されたコンテンツに置き換えることができる。さらに、その技術的解決策はニアリアルタイムで働くことができ、そのため、検出された個人が透明ディスプレイの世界側の近傍で動き、その組の基準を満たさなくなると、ディスプレイ上にコンテンツを復元することができる。

【0013】

いくつかの実装形態において、個人がその組の基準を満たすかどうかを判定することは、その個人の画像を表す画像データを生成することと、透明ディスプレイの世界側に対する個人の位置および／または向きを表すパラメーターの値を作成するように、画像データに作用することと、パラメーターの値が既定の範囲内にあるかどうかを判定することとを含む。

【0014】

いくつかの実装形態において、個人の状態は、透明ディスプレイの世界側に対する位置を含み、その組の基準は、その位置が透明ディスプレイの外側の特定の領域にあるかどうかを含む。いくつかの実装形態において、個人の状態は、透明ディスプレイの軸に対する向きを含み、その組の基準は、その向きが特定の角度範囲内にあることを含む。いくつかの実装形態において、個人の状態は、個人の眼の視線角度を含み、その組の基準は、個人の眼の視線角度が特定の角度範囲内にあることを含む。

【0015】

いくつかの実装形態において、画像データに作用することは、個人がコンテンツを閲覧できることを示すものか、または個人がコンテンツを閲覧できないことを示すものの一方として画像データを分類するように構成された分類エンジンに、画像データを入力することを含む。

【0016】

いくつかの実装形態において、本方法はさらに、分類エンジンを訓練することをさらに含み、訓練することは、訓練画像データを取得することであって、訓練画像データは、（ｉ）複数の画像であって、複数の画像のそれぞれが、サンプル個人群のサンプル個人の画像を含み、画像内のサンプル個人は、透明ディスプレイの世界側の位置を有する、複数の画像と、（ｉｉ）個人がコンテンツを閲覧できることを示すもの、または個人がコンテンツを閲覧できないことを示すものの一方である、複数の二項分類値とを表す、訓練画像データを取得することと、分類エンジンを作成するように訓練画像データに基づいて損失関数を最適化することとを含む。

【0017】

いくつかの実装形態において、本方法はさらに、分類エンジンを訓練することをさらに含み、訓練することは、訓練画像データを取得することであって、訓練画像データは、（ｉ）複数の画像であって、複数の画像のそれぞれが、サンプル個人群のサンプル個人の画像を含み、画像内のサンプル個人は、透明ディスプレイの軸に対する向きを有する、複数の画像と、（ｉｉ）個人がコンテンツを閲覧できることを示すもの、または個人がコンテンツを閲覧できないことを示すものの一方である、複数の二項分類値とを表す、訓練画像データを取得することと、分類エンジンを作成するように訓練画像データに基づいて損失関数を最適化することとを含む。

【0018】

いくつかの実装形態において、本方法はさらに、分類エンジンを訓練することをさらに含み、訓練することは、訓練画像データを取得することであって、訓練画像データは、（ｉ）複数の画像であって、複数の画像のそれぞれが、サンプル個人群のサンプル個人の画像を含み、画像内のサンプル個人の眼は、透明ディスプレイの軸に対する視線角度を有する、複数の画像と、（ｉｉ）個人がコンテンツを閲覧できることを示すもの、または個人がコンテンツを閲覧できないことを示すものの一方である、複数の二項分類値とを表す、訓練画像データを取得することと、分類エンジンを作成するように訓練画像データに基づいて損失関数を最適化することとを含む。

【0019】

いくつかの実装形態において、コンテンツは、透明ディスプレイの第１の領域に表示されている。このような実装形態において、表示されたコンテンツに隠蔽動作を行うことは、コンテンツを第１の領域から削除することと、透明ディスプレイの第２の領域にそのコンテンツを表示することであって、個人がその位置にあるときは、コンテンツが透明ディスプレイの第２の領域に表示されるときに個人がその組の基準を満たさない、表示することとを含む。

【0020】

いくつかの実装形態において、コンテンツは、透明ディスプレイのユーザー側に投影されており、それと同時に、透明ディスプレイは、ディスプレイのユーザー側を世界側からの光が照らすことを可能にする。

【0021】

いくつかの実装形態において、透明ディスプレイの世界側に対して個人を検出することは、透明ディスプレイの世界側の近傍における個人の存在のインジケーションを表すインジケーションデータを受信することを含む。いくつかの実装形態において、インジケーションデータは、可聴信号を表す可聴データを含む。いくつかの実装形態において、コンテンツは第１のコンテンツであり、第１のコンテンツは、透明ディスプレイの第１の領域に表示されている。いくつかの実装形態において、インジケーションデータを受信することは、第２のコンテンツを作成するようにインジケーションデータをレンダリングすることであって、第２のコンテンツは、透明ディスプレイの第２の領域に表示される、レンダリングすることを含む。いくつかの実装形態において、インジケーションデータを受信することは、第２のコンテンツを作成するようにインジケーションデータをレンダリングすることであって、第２のコンテンツは、透明ディスプレイに第２の色で表示される、レンダリングすることを含む。いくつかの実装形態において、インジケーションデータは、個人がカメラを有し、カメラのレンズが透明ディスプレイに向けられていることを示す。いくつかの実装形態において、インジケーションデータは、個人が透明ディスプレイに向かって自身の頭を動かしたことを示す。

【0022】

図１Ａは、拡張現実（ＡＲ）システムでヘッドとして使用される例示的なスマートグラス１１０を示す図である。図１Ａは、スマートグラス１１０の透明ディスプレイ１１２の世界側１１２（ａ）を示す。スマートグラス１１０は、ＡＲシステム内のヘッドマウントディスプレイ（ＨＭＤ）として使用できる。スマートグラス１１０はフレーム１１１を含み、フレーム１１１には透明ディスプレイ１１２が結合されている。いくつかの実装形態において、フレーム１１１にはオーディオ出力デバイス１１３が結合されている。いくつかの実装形態において、タッチサーフェス１１４によって、スマートグラス１１０のユーザー制御、入力などが可能である。スマートグラス１１０の動作を容易にするために、スマートグラス１１０は、様々な感知システムデバイスを含む感知システム１１６と、様々な制御システムデバイスを含む制御システム１１７とを含むことができる。制御システム１１７は、制御システム１１７のコンポーネントに動作可能なように結合されたプロセッサー１１９と、外部デバイスおよび／またはネットワークとの通信を提供する通信モジュール１１５とを含むことができる。スマートグラス１１０は、画像センサー１１８（すなわち、カメラ１１８）、深度センサー、光センサー、および他のそのような感知デバイスを含むこともできる。いくつかの実装形態において、画像センサー１１８、またはカメラ１１８は、静止画および／または動画、パターン、特徴、光などを取り込むことができる。

【0023】

いくつかの実装形態において、スマートグラス１１０の代わりに透明ディスプレイを含む任意の種類のＨＭＤを用いてよく、そのＨＭＤの形態が必ずしもウェアラブルグラスまたはウェアラブルゴーグルであるとは限らないことが留意される。たとえば、このようなＨＭＤの一つは、ＡＲコンテンツを表示し世界側環境の閲覧を可能にするように構成された、ビューファインダーを有するカメラの形態をとってよい。

【0024】

図１Ｂは、スマートグラス１１０の透明ディスプレイ１１２のユーザー側１１２（ｂ）に表示された例示的なコンテンツ１０５を示す図である。図１Ｂに示すように、コンテンツは、透明ディスプレイ１１２のユーザー側１１２（ｂ）の領域１０６に現れる。透明ディスプレイ１１２から光が漏れるせいで、コントラストがはるかに低くなるとはいえ、コンテンツ１０５は透明ディスプレイ１１２の世界側１１２（ａ）にも視認できることが留意される。

【0025】

図１Ｂは、検出された個人が１組の基準を満たすかどうか、すなわち、個人がコンテンツ１０５を見ることができるか？の判定を行うために用いられるコンピューティング回路１２０も示す。コンピューティング回路１２０は、図１Ｃに関して詳細に記載されている。しかし、いくつかの実装形態において、コンピューティング回路は、スマートグラス１１０の外部に位置する。たとえば、コンピューティング回路１２０は、スマートグラスに接続されたスマートフォンに位置してよい。

【0026】

図１Ｃは、先に記載されている改良された技術を実装できる、例示的な電子環境１００を示す図である。図１Ｃに示すように、例示的な電子環境１００はコンピューティング回路２２０を含む。

【0027】

コンピューティング回路１２０は、ネットワークインターフェース１２２、１つまたは複数の処理ユニット１２４、およびメモリー１２６を含む。ネットワークインターフェース１２２は、たとえば、ネットワークから受信される電子信号および／または光信号を変換して、コンピューティング回路１２０によって使用する電子的な形態にする、アダプターを含む。１組の処理ユニット１２４は、１つまたは複数の処理チップおよび／または処理アセンブリーを含む。メモリー１２６は、揮発性メモリー（たとえば、ＲＡＭ）と、１つまたは複数のＲＯＭ、ディスクドライブ、ソリッドステートドライブなどの不揮発性メモリーとの両方を含む。１組の処理ユニット１２４およびメモリー１２６は一緒にコントロール回路を形成し、そのコントロール回路は、本明細書に記載するような様々な方法および機能を実行するように構成および配置されている。

【0028】

いくつかの実施形態において、コンピューティング回路１２０のコンポーネントの１つまたは複数は、メモリー１２６に格納された命令を処理するように構成されたプロセッサー（たとえば、処理ユニット１２４）を含むことができる。図１Ｃに示すようなこのような命令の例には、個人検出マネージャー１３０、分類マネージャー１４０、および隠蔽マネージャー２５０が含まれる。さらに、図１Ｃに示すように、メモリー１２６は様々なデータを格納するように構成されており、そのことをそのようなデータを使用するそれぞれのマネージャーに関して説明する。

【0029】

個人検出マネージャー１３０は、透明ディスプレイの世界側で人間の個人を検出する検出動作を行うように構成されている。いくつかの実装形態において、個人の検出は、たとえばＡＲシステムのスマートグラス用の透明ディスプレイと関連するカメラ、たとえば図１Ａのカメラ１１８の視野（ＦＯＶ）内にその個人がいるときに行われて、個人検出データ１３２が作成される。たとえば、カメラは、そのＦＯＶ内の世界側環境の画像を継続的にまたは定期的に作成することができる。個人検出マネージャー１３０は、いくつかの実装形態において、ＦＯＶを走査し、返ってくる走査ビームの反射を受信することによって、そのＦＯＶ内の対象物を検出するように構成されている。いくつかの実装形態において、個人検出マネージャー１３０は、検出された対象物が人間の個人であるかどうかを判定するためにコンピュータービジョンアルゴリズムを採用するように構成されている。

【0030】

いくつかの実装形態において、個人検出マネージャー１３０は、透明ディスプレイのカメラのＦＯＶ（すなわち、透明ディスプレイのＦＯＶ）において個人を検出したことに応答してインジケーション（すなわち、インジケーションデータ）を生成するように構成されている。いくつかの実装形態において、インジケーションは視覚的である。いくつかの実装形態において、視覚インジケーションは、ＬＥＤからの光の形態をとる。いくつかの実装形態において、視覚インジケーションは、表示されたコンテンツの色の変化の形態をとる。いくつかの実装形態において、視覚インジケーションは、透明ディスプレイに表示される付加的なコンテンツの形態をとる。いくつかの実装形態において、インジケーションは、透明ディスプレイ、たとえば図１Ａのオーディオ出力デバイス１１３と関連する、スピーカーから再生される可聴信号を含む。

【0031】

いくつかの実装形態において、インジケーションを生成することに加えて、個人検出マネージャー１３０は、透明ディスプレイの世界側における、検出された個人を含むシーンを表す画像データを生成するように構成されている。いくつかの実装形態において、そのシーンは個人の近傍の形態をとり、そのようなシーンは、たとえば、ＦＯＶおよびカメラに対する、検出された個人の位置および向きを示す。いくつかの実装形態において、そのシーンは、検出された個人のクローズアップショットの形態をとり、そのようなシーンは、たとえば、視線方向を示す。

【0032】

いくつかの実装形態において、個人検出マネージャー１３０は、ＦＯＶ内における、検出された個人の頭の動きを検出するように構成されている。ディスプレイに向かう頭の動きは、透明ディスプレイの世界側からコンテンツを閲覧しようとする試みを示す場合がある。その検出は、いくつかの実装形態において、カメラからのビデオ画像の連続したフレームを比較することを含む。

【0033】

個人検出データ１３２は、透明ディスプレイの世界側の近傍における、個人の検出結果を表す。たとえば、個人検出データ１３２は、視覚、聴覚、およびそれ以外のインジケーションを提供することに関係するデータを含む。図１Ｃに示すように、個人検出データ１３２は画像データ１３４も含む。

【0034】

いくつかの実装形態において、画像データ１３４は、ＦＯＶおよび周囲環境における透明ディスプレイの世界側の近傍の画像を表す。いくつかの実装形態において画像データ１３４は、透明ディスプレイの世界側の近傍における個人の検出があるときにのみメモリーに格納される。いくつかの実装形態において、画像データ１３４は、透明ディスプレイと関連するカメラのＦＯＶにおける個人の画像を表し、このような画像は、ＦＯＶおよびカメラに対する個人の位置および向きについての情報を提供する。ただし、いくつかの実装形態において、画像データ１３４は、個人のクローズアップ写真を表し、そのようなクローズアップ写真は、視線方向についての情報を提供する。

【0035】

いくつかの実装形態において、画像データ１３４は、ある期間にわたって撮ったビデオのフレームを表すビデオデータを含む。このようなビデオデータは、透明ディスプレイの世界側の近傍にいる間の個人のモーションを判定するのに有用な場合がある。たとえば、このようなビデオデータを用いると、個人検出マネージャー１３０は、フレームを比較して、検出された個人が自身の頭を動かしたかどうかを検証することができる。このように、最初のうちは個人が透明ディスプレイ上のコンテンツを見るような位置または向きになかったとしても、その個人が自身の視線角度を調節することでコンテンツを閲覧しようとする場合がある。

【0036】

分類マネージャー１４０は、検出された個人が１組の基準を満たすかどうかを判定し、したがって分類データ１４４を作成するように構成されており、その組の基準は、その個人が透明ディスプレイ上のコンテンツを世界側から見ることができるかどうかを示す。

【0037】

いくつかの実装形態において、分類マネージャー１４０は、画像データ１３４をニューラルネットワークに、たとえば既定数の層を有する畳み込みニューラルネットワーク（ＣＮＮ）に入力して、分類データ１４４を作成するように構成されている。このようなニューラルネットワークは、画像データ１２４によって表される画像における検出された個人が１組の基準を満たすかどうかという分類結果を作成するように構成されている。いくつかの実装形態において、分類結果は、検出された個人が透明ディスプレイの領域内のコンテンツを閲覧できるかどうかを示す。このような実装形態において、分類マネージャーは、訓練マネージャー１４１および予測マネージャー１４２を含む。

【0038】

訓練マネージャー１４１は、訓練データ１４５に基づいて、分類エンジン、すなわちニューラルネットワークを生成するように構成されている。たとえば、いくつかの実装形態において、訓練データ１４５は、透明ディスプレイの世界側の近傍における個人の画像と、個人が透明ディスプレイ上のコンテンツを見ることができるか否かを示す対応するインジケーターとを表す。次いで、訓練マネージャー１４１は、ニューラルネットワークの隠れ層内のノードの重みを調節して、既定の損失関数を最適化する。いくつかの実装形態において、損失関数は顔の大きさを距離と関係付けて、ディスプレイによって生成される世界側の感知可能な視界空間に対する傍観者の位置を分類エンジンが推定できるようにする。いくつかの実装形態において、分類エンジンは、カメラの視界空間と、ディスプレイの世界側の感知可能な視界空間との間のキャリブレーションを学習する。さらなる詳細は図３Ａ～図３Ｃに関して示す。分類データ１４４には、訓練マネージャー１４１によって調節される重み、およびニューラルネットワークのアーキテクチャーを表す他のデータが含まれる。

【0039】

予測マネージャー１４２は、画像データ１３４によって表される画像を、透明ディスプレイ上のコンテンツを閲覧できる個人を含むか否かに分類するように構成されている。図１Ｃに示すように、分類データ１４４は、予測マネージャー１４２から出力される予測データ１４６を含み、予測データ１４６は、画像データ１３４に対応する予測結果を表す。

【0040】

いくつかの実装形態において、分類マネージャー１４０は、ルックアップテーブルに基づいて分類データを作成するように構成されている。たとえば、ルックアップテーブルは、いくつかの実装形態において、透明ディスプレイの世界側および透明ディスプレイのユーザー側の近傍における領域、向きの角度、視線角度などの識別子を表すフィールドを有する。その場合に、分類マネージャー１４０は、画像データ１３４に基づいてそれらのフィールドの値を抜き出すように構成されている。次いで、予測データ１４６は、その組の基準が満たされたかどうかをルックアップテーブルが示すかどうかを示す。

【0041】

隠蔽マネージャー１５０は、基準を満たす、すなわち、透明ディスプレイの世界側の近傍にいる間に透明ディスプレイ上のコンテンツを閲覧できるものとして分類された個人から、コンテンツを隠蔽するように構成されている。いくつかの実装形態において、隠蔽マネージャー１５０は、個人がその組の基準を満たすものとして分類されたことに応答して、コンテンツを透明ディスプレイから削除する。いくつかの実装形態において、隠蔽マネージャー１５０は、個人がその組の基準を満たすものとして分類されたことに応答して、その個人によってコンテンツが見られることがない点まで、コンテンツのコントラストを低下させる。

【0042】

いくつかの実装形態において、隠蔽マネージャー１５０は、個人がその組の基準を満たすものとして分類されたことに応答して、ディスプレイのうちの個人によって見られないと判定される領域にコンテンツを動かす。その場合は、いくつかの実装形態において、それが、コンテンツを表示してよい透明ディスプレイを画定する。たとえば、透明ディスプレイの第１の領域に表示されたコンテンツが個人によって閲覧できる場合は、隠蔽マネージャーは、個人がコンテンツを見ることができないと判定された第２の領域にコンテンツを動かすことができる。いくつかの実装形態において、判定はルックアップテーブルを介して行われる。いくつかの実装形態において、判定は先に説明したような分類エンジンを介して行われる。

【0043】

図２Ａは、スマートグラス２１０のカメラ２１２の視野（ＦＯＶ）２１４を含む、例示的な世界側環境２００の上面図を示す図であり、スマートグラス２１０は軸２１８を有する。図２Ａに示すように、世界側環境２００は、スマートグラス２１０の世界側の近傍にある。ＦＯＶ２１４は、図２Ａにおいて、上から見たときに三角形の領域として表されている。いくつかの実装形態において、ＦＯＶ２１４は、世界側環境２００のうちの、たとえば、円弧、放物線アーチなどの曲線によって範囲が定められる、三角形以外の形状を有する領域をカバーする。いくつかの実装形態において、コンピューティング回路１２０はＦＯＶ２１４についての情報を格納し、その情報には世界側環境２００内におけるＦＯＶ２１４の形状および範囲を含む。いくつかの実装形態において、コンピューティング回路１２０は、カメラパラメーターならびにユーザーの身体および頭の向きに基づいて、ＦＯＶ２１４の形状および範囲を判定する。

【0044】

透明ディスプレイ２１０からの光漏れを画定する領域２１６の境界を示す線もやはり図２Ａに示されている。透明ディスプレイ２１０上に表示されるどのコンテンツも領域２１６内に投影される。個人の位置、向き、および眼の視線角度によっては、個人は領域２１６内のコンテンツを見ることができる。

【0045】

図２Ｂは、スマートグラス２１０のカメラ２１２のＦＯＶ２１４を含む、例示的な世界側環境２００の上面図を示す図である。図２Ｂに示すように、世界側環境２００には、個人２２２、個人２２６、および個人２３２という３人の個人がいる。図２Ｂにおいて、個人２２２、２２６、および２３２はそれぞれ、スマートグラス２１０上のコンテンツを閲覧することができない。たとえば、個人２２２は、そのＦＯＶ２２４がスマートグラス２１０に向かって方向付けられていても、スマートグラス２１０の透明ディスプレイ上の任意の領域を見るために適した軸２１８に対する入射角にはないため、スマートグラス２１０上のコンテンツを閲覧できないものとして個人２２２を分類することができる。個人２２６は、ＦＯＶ２１４の縁部におり、そのＦＯＶ２２８がスマートグラス２１０から離れた方に方向付けられており、透明ディスプレイ上のどのコンテンツも閲覧できない。個人２３２は、ＦＯＶにおらず、したがって、カメラ２１２によって検出することができない。

【0046】

図２Ｃは、ＡＲシステムの世界側の個人が、スマートグラスの透明ディスプレイ上に表示されたコンテンツを見ることができる、例示的なシナリオを示す図である。図２Ｃに示すように、世界側環境２００には、個人２４２および個人２４６という２人の個人がいる。個人２４２は、透明ディスプレイのある領域、つまり左部分のコンテンツを閲覧できるものとして分類される。というのは、個人２４２は、軸２１８に対してその方向にある視線から生じるＦＯＶ２４４を有するからである。個人２４６も、透明ディスプレイの左部分上のコンテンツを閲覧できるものとして分類される。というのは、個人２４６のＦＯＶ２４８によって、透明ディスプレイのその部分からの像を個人２４６が見ることが可能になるからである。

【0047】

図３Ａは、スマートグラス１１０の世界側の近傍にいる個人３０２がスマートグラス１１０の回路１２０によって検出されるという、例示的なシナリオを示す図である。図３Ａに示すように、スマートグラス１１０の透明ディスプレイのユーザー側の領域１０６にはコンテンツ１０５がある。

【0048】

図３Ｂは、スマートグラス１１０の世界側の近傍において個人３０２が検出されたという通知３１０を示す図である。図３Ｂに示すように、通知３１０は、透明ディスプレイの異なる領域における視覚的な通知である。いくつかの実装形態において、その代わりに、通知３１０は、スマートグラス１１０に搭載されたＬＥＤからの光に位置する。いくつかの実装形態において、その代わりに、通知３１０は、スマートグラス１１０のスピーカーから出される可聴信号の形態をとる。

【0049】

図３Ｃは、検出された個人３０４がコンテンツ１０５を見ることができるという判定による、スマートグラス１１０の透明ディスプレイ上に表示されたコンテンツの隠蔽３２０を示す図である。図３Ｃに示すように、隠蔽３２０は、スマートグラス１１０の透明ディスプレイからコンテンツ１０５を削除するという形態をとる。いくつかの実装形態において、隠蔽３２０は、透明ディスプレイの異なる領域へのコンテンツ１０５の移動の形態をとり、その異なる領域は、個人３０４が新たな位置ではコンテンツ１０５を見ることができなくなるように選択される。

【0050】

図４は、ＡＲシステムの世界側にいる個人からコンテンツを隠蔽する例示的な方法４００を示すフローチャートである。方法４００は、図１Ｃに関して記載されている、コンピューティング回路１２０のメモリー１２６に常駐し１組の処理ユニット１２４によって動作する、ソフトウェア構造体によって行うことができるか、またはコンピューティング回路１２０のメモリーに常駐するソフトウェア構造体によって行うことができる。

【0051】

４０２で、コンピューティング回路１２０は、透明ディスプレイのユーザー側（たとえば、ユーザー側１１２（ｂ））で拡張現実（ＡＲ）システムの一部としてユーザーが閲覧するために、透明ディスプレイ（たとえば、スマートグラス１１０の透明ディスプレイ１１２）上にコンテンツ（たとえば、コンテンツ１０５）を表示する。

【0052】

４０４で、個人検出マネージャー１３０は、透明ディスプレイの世界側（たとえば、世界側１１２（ｂ））に対して個人を検出し、その透明ディスプレイの世界側は、透明ディスプレイのうちのユーザー側の反対側にあり、その個人はある状態にある。

【0053】

４０６で、個人検出マネージャー１３０は、個人の状態が１組の基準を満たすかどうかを判定し、その組の基準は、個人が透明ディスプレイの世界側でコンテンツを閲覧できるかどうかを示す。

【0054】

いくつかの実装形態において、その組の基準は、透明ディスプレイの軸に対する個人の向きが特定の角度範囲内にあることを含む。いくつかの実装形態において、透明ディスプレイの軸は、透明ディスプレイに垂直の向きにある。いくつかの実装形態において、軸は、透明ディスプレイの世界側に向かって方向付けられている。

【0055】

いくつかの実装形態において、その組の基準は、個人の眼の視線角度が特定の角度範囲内にあることを含む。

【0056】

いくつかの実装形態において、分類マネージャー１４０は、その組の基準を満たすか否かで個人を分類する。事実上、分類は、個人がコンテンツを閲覧できるかまたはできないかである。

【0057】

４０８で、検出された個人がその組の基準を満たすことに応答して、いくつかの実装形態において、図３Ｃに示すように、隠蔽マネージャー１５０は、表示されるコンテンツに隠蔽動作を行ってコンテンツを個人から隠蔽する。

【0058】

図５は、ここで記載した技術と共に使用できる、汎用コンピューターデバイス５００および汎用モバイルコンピューターデバイス５５０の一例を示す。

【0059】

図５に示すように、コンピューティングデバイス５００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバー、ブレードサーバー、メインフレーム、および他の適切なコンピューターなど、様々な形態のデジタルコンピューターを表すものである。コンピューティングデバイス５５０は、携帯情報端末、携帯電話、スマートフォン、および他の同様のコンピューティングデバイスなど、様々な形態のモバイルデバイスを表すものである。ここに示すコンポーネント、それらの接続および関係、ならびにそれらの機能は、単なる例示を意図しており、本書で説明するおよび／または特許請求する本発明の実装形態を限定する意図はない。

【0060】

コンピューティングデバイス５００は、プロセッサー５０２と、メモリー５０４と、ストレージデバイス５０６と、メモリー５０４および高速拡張ポート５１０に接続している高速インターフェース５０８と、低速バス５１４およびストレージデバイス５０６に接続している低速インターフェース５１２とを含む。コンポーネント５０２、５０４、５０６、５０８、５１０、および５１２はそれぞれ、様々なバスを用いて相互接続されており、共通のマザーボード上にまたは必要に応じて他の手法で搭載することができる。プロセッサー５０２は、メモリー５０４またはストレージデバイス５０６に格納された命令を含む、コンピューティングデバイス５００内で実行される命令を処理して、高速インターフェース５０８に結合されたディスプレイ５１６などの外部入力／出力デバイスにＧＵＩのためのグラフィカル情報を表示することができる。他の実装形態において、複数のプロセッサーおよび／または複数のバスは、必要に応じて複数のメモリーおよび各種メモリーと共に使用してよい。また、各デバイスが（たとえば、サーバーバンク、ブレードサーバーのグループ、またはマルチプロセッサーシステムとして）必要な動作の一部を提供する状態で、複数のコンピューティングデバイス５００を接続することができる。

【0061】

メモリー５０４は、コンピューティングデバイス５００内に情報を格納する。一実装形態において、メモリー５０４は、１つまたは複数の揮発性メモリーユニットである。別の実装形態において、メモリー５０４は、１つまたは複数の不揮発性メモリーユニットである。メモリー５０４は、磁気ディスクまたは光ディスクなど、別の形態のコンピューター可読媒体でもよい。

【0062】

ストレージデバイス５０６は、コンピューティングデバイス５００のためのマスストレージを提供することができる。一実装形態において、ストレージデバイス５０６は、ストレージエリアネットワークまたは他の構成におけるデバイスを含む、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリーもしくは他の同様のソリッドステートメモリーデバイス、またはデバイスのアレイなどの、コンピューター可読媒体でよいかまたはコンピューター可読媒体を含むことができる。コンピュータープログラム製品は、情報担体において明確に実施できる。コンピュータープログラム製品は、実行されるときに先に記載したような１つまたは複数の方法を実行する命令を含むことができる。情報担体は、メモリー５０４、ストレージデバイス５０６、またはプロセッサー５０２上のメモリーなど、コンピューター可読媒体または機械可読媒体である。

【0063】

高速コントローラー５０８はコンピューティングデバイス５００のための帯域幅集約型動作を管理し、低速コントローラー５１２は帯域幅集約型ではない動作を管理する。このような機能の割り当ては単なる例示である。一実装形態において、高速コントローラー５０８は、メモリー５０４に、ディスプレイ５１６に（たとえば、グラフィックスプロセッサーまたはアクセラレーターを介して）、および様々な拡張カード（図示せず）を受容できる高速拡張ポート５１０に結合されている。本実装形態において、低速コントローラー５１２は、ストレージデバイス５０６および低速拡張ポート５１４に結合されている。様々な通信ポート（たとえば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット、ワイヤレスイーサネット）を含むことができる低速拡張ポートは、たとえばネットワークアダプターを介して、キーボード、ポインティングデバイス、スキャナー、またはスイッチもしくはルーターなどのネットワーキングデバイスなど、１つまたは複数の入力／出力デバイスに結合されていてよい。

【0064】

コンピューティングデバイス５００は、図に示すようにいくつかの異なる形態で実装することができる。たとえば、標準的なサーバー５２０として、またはそのようなサーバーのグループにおいて複数回実装することができる。ラックサーバーシステム５２４の一部として実装することもできる。さらに、ラップトップコンピューター５２２などのパーソナルコンピューターに実装することができる。あるいは、コンピューティングデバイス５００からのコンポーネントは、デバイス５５０などのモバイルデバイス内の他のコンポーネント（図示せず）と組み合わせることができる。このようなデバイスはそれぞれ、コンピューティングデバイス５００、５５０のうちの１つまたは複数を含んでよく、システム全体は、互いに通信する複数のコンピューティングデバイス５００、５５０から構成することができる。

【0065】

コンピューティングデバイス５５０は、他にもコンポーネントはあるが、プロセッサー５５２、メモリー５６４、ディスプレイ５５４などの入力／出力デバイス、通信インターフェース５６６、およびトランシーバー５６８を含む。デバイス５５０は、付加的なストレージを提供するために、マイクロドライブまたは他のデバイスなどのストレージデバイスを備えることもできる。コンポーネント５５０、５５２、５６４、５５４、５６６、および５６８はそれぞれ、様々なバスを用いて相互接続されており、それらのコンポーネントのいくつかは、共通のマザーボード上にまたは必要に応じて他の手法で搭載することができる。

【0066】

プロセッサー５５２は、メモリー５６４に格納された命令を含む命令をコンピューティングデバイス４５０内で実行することができる。プロセッサーは、別々の複数のアナログおよびデジタルのプロセッサーを含むチップのチップセットとして実装されてよい。プロセッサーは、ユーザーインターフェースの制御、デバイス５５０によって動作されるアプリケーション、およびデバイス５５０によるワイヤレス通信など、たとえば、デバイス５５０の他のコンポーネントの調整を行うことができる。

【0067】

プロセッサー５５２は、ディスプレイ５５４に結合された制御インターフェース５５８およびディスプレイインターフェース５５６を通して、ユーザーと通信することができる。ディスプレイ５５４は、たとえば、ＴＦＴ ＬＣＤ（薄膜トランジスター液晶ディスプレイ）もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術でよい。ディスプレイインターフェース５５６は、グラフィカル情報および他の情報をユーザーに提示するようにディスプレイ５５４を駆動する適切な回路を備えることができる。制御インターフェース５５８は、ユーザーからのコマンドを受信し、それらを変換してプロセッサー５５２に送信することができる。さらに、他のデバイスとのデバイス５５０の近距離通信を可能にするようにプロセッサー５５２と通信する外部インターフェース５６２が設けられてよい。外部インターフェース５６２は、たとえば、いくつかの実装形態においてワイヤード通信を提供するか、または他の実装形態においてワイヤレス通信を提供でき、複数のインターフェースを使用することもできる。

【0068】

メモリー５６４は、コンピューティングデバイス５５０内に情報を格納する。メモリー５６４は、１つもしくは複数のコンピューター可読媒体、１つもしくは複数の揮発性メモリー、または１つもしくは複数の不揮発性メモリーのうちの１つまたは複数として実装することができる。拡張メモリー５７４を設けてもよく、拡張メモリー５７４は、たとえばＳＩＭＭ（シングルインラインメモリーモジュール）カードインターフェースを含むことができる拡張インターフェース５７２を通してデバイス５５０に接続することができる。このような拡張メモリー５７４は、デバイス５５０のための追加的なストレージ空間を提供することができるか、またはデバイス５５０のためのアプリケーションもしくは他の情報を格納することもできる。詳細には、拡張メモリー５７４は、上記で説明したプロセスを実行または補足する命令を含むことができ、セキュアな情報を含むこともできる。このように、たとえば、拡張メモリー５７４は、デバイス５５０のためのセキュリティーモジュールとして設けられてよく、デバイス５５０のセキュアな使用を可能にする命令を用いてプログラムされてよい。さらに、ハッキング不可能な手法でＳＩＭＭカードに識別情報を配置するなど、ＳＩＭＭカードを介して、セキュアなアプリケーションを付加的な情報と共に提供することができる。

【0069】

メモリーは、以下で論じるように、たとえば、フラッシュメモリーおよび／またはＮＶＲＡＭメモリーを含むことができる。一実装形態において、コンピュータープログラム製品は、情報担体において明確に実施できる。コンピュータープログラム製品は、実行されるときに上記で説明したような１つまたは複数の方法を実行する命令を含む。情報担体は、たとえばトランシーバー５６８または外部インターフェース５６２を通して受信できる、メモリー５６４、拡張メモリー５７４、またはプロセッサー５５２上のメモリーなど、コンピューター可読媒体または機械可読媒体である。

【0070】

デバイス５５０は、通信インターフェース５６６を通してワイヤレスで通信することができ、これは必要な場合はデジタル信号処理回路を含むことができる。通信インターフェース５６６は、とりわけ、ＧＳＭ音声通話、ＳＭＳ、ＥＭＳ、またはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳなどの様々なモードまたはプロトコルの下で通信を提供することができる。このような通信は、たとえば、無線周波数トランシーバー５６８を通して行うことができる。さらに、短距離通信は、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、または他のこのようなトランシーバー（図示せず）などを用いて行うことができる。さらに、ＧＰＳ（全地球測位システム）レシーバーモジュール５７０は、付加的なナビゲーション関連およびロケーション関連のワイヤレスデータをデバイス５５０に提供でき、これは、必要に応じて、デバイス５５０上で動作するアプリケーションによって使用することができる。

【0071】

デバイス５５０は、オーディオコーデック５６０を用いて可聴通信することもでき、オーディオコーデック５６０は、ユーザーからの発話情報を受信し、それを使用可能なデジタル情報に変換することができる。オーディオコーデック５６０は、同様に、たとえばデバイス５５０のハンドセット内のスピーカーなどを通して、ユーザーに可聴音を生成することができる。このような音には、音声通話からの音が含まれてよく、録音された音（たとえば、ボイスメッセージ、音楽ファイルなど）が含まれてよく、デバイス５５０上で動作するアプリケーションによって生成される音も含まれてよい。

【0072】

コンピューティングデバイス５５０は、図に示すように、いくつかの異なる形態で実装することができる。たとえば、携帯電話５８０として実装することができる。スマートフォン５８２、携帯情報端末、または他の同様のモバイルデバイスの一部として実装することもできる。

【0073】

ここに記載するシステムおよび技術の様々な実装形態は、デジタル電子回路、集積回路、特別設計のＡＳＩＣ（特定用途向け集積回路）、コンピューターハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせにおいて実現することができる。それらの様々な実装形態は、少なくとも１つのプログラム可能なプロセッサーを含むプログラム可能なシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータープログラムにおける実装形態を含むことができ、そのプロセッサーは、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信し、それらにデータおよび命令を伝送するために専用または汎用で結合することができる。

【0074】

それらのコンピュータープログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られている）は、プログラム可能なプロセッサーのための機械命令を含み、高レベルの手続き型および／もしくはオブジェクト指向のプログラミング言語で、ならびに／またはアセンブリー言語／機械言語で実装することができる。本明細書で用いるように、「機械可読媒体」、「コンピューター可読媒体」という用語は、機械命令を機械可読信号として受信する機械可読媒体を含む、プログラム可能なプロセッサーに機械命令および／またはデータを提供するために用いられる任意のコンピュータープログラム製品、装置および／またはデバイス（たとえば、磁気ディスク、光ディスク、メモリー、プログラム可能論理回路（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令および／またはデータをプログラム可能なプロセッサーに提供するために用いられる任意の信号を指す。

【0075】

ユーザーとの対話を提供するために、ここに記載するシステムおよび技術は、ユーザーに情報を表示するためのディスプレイデバイス（たとえば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニター）と、ユーザーがそれによってコンピューターに入力を提供できるキーボードおよびポインティングデバイス（たとえば、マウスまたはトラックボール）とを有するコンピューターに実装することができる。他の種類のデバイスを用いて、ユーザーとの対話を提供することもできる。たとえば、ユーザーに提供されるフィードバックは、任意の形態の感覚フィードバック（たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）とすることができ、ユーザーからの入力は、音響、音声、または触覚の入力を含む任意の形態で受信することができる。

【0076】

ここに記載するシステムおよび技術は、バックエンドコンポーネント（たとえば、データサーバーとして）を含むか、もしくはミドルウェアコンポーネント（たとえば、アプリケーションサーバー）を含むか、もしくは、フロントエンドコンポーネント（たとえば、ここに記載するシステムおよび技術の実装形態とユーザーがそれを通して対話できる、グラフィカルユーザーインターフェースまたはウェブブラウザーを有するクライアントコンピューター）を含むコンピューティングシステムにおいて、またはこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、もしくはフロントエンドコンポーネントの任意の組み合わせにおいて実装することができる。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信（たとえば、通信ネットワーク）によって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、およびインターネットが含まれる。

【0077】

コンピューティングシステムは、クライアントおよびサーバーを含むことができる。クライアントおよびサーバーは、一般に互いから遠隔であり、典型的には通信ネットワークを通して対話する。クライアントとサーバーとの関係は、それぞれのコンピューターで動作し、互いにクライアントとサーバーとの関係を有する、コンピュータープログラムによって生じる。

【0078】

図２に戻ると、いくつかの実装形態において、メモリー２２６は、ランダムアクセスメモリー、ディスクドライブメモリー、フラッシュメモリーなど、任意のタイプのメモリーとすることができる。いくつかの実装形態において、メモリー２２６は、コンピューティング回路２２０のコンポーネントと関連付けられた２つ以上のメモリーコンポーネント（たとえば、２つ以上のＲＡＭコンポーネントまたはディスクドライブメモリー）として実装することができる。いくつかの実装形態において、メモリー２２６はデータベースメモリーとすることができる。いくつかの実装形態において、メモリー２２６は、非ローカルメモリーとすることができるか、またはそれを含むことができる。たとえば、メモリー２２６は、複数のデバイス（図示せず）によって共有されるメモリーとすることができるか、またはそれを含むことができる。いくつかの実装形態において、メモリー２２６は、ネットワーク内のサーバーデバイス（図示せず）と関連付けることができ、コンピューティング回路２２０のコンポーネントにサーブするように構成することができる。

【0079】

圧縮コンピューター１２０のコンポーネント（たとえば、モジュール、処理ユニット２２４）は、１つまたは複数のタイプのハードウェア、ソフトウェア、ファームウェア、オペレーティングシステム、ランタイムライブラリーなどを含むことができる１つまたは複数のプラットフォーム（たとえば、１つまたは複数の同様のまたは異なるプラットフォーム）に基づいて動作するように構成することができる。いくつかの実装形態において、コンピューティング回路２２０のコンポーネントは、クラスター型デバイス（たとえば、サーバーファーム）内で動作するように構成することができる。このような実装形態において、コンピューティング回路２２０のコンポーネントの機能および処理は、そのクラスター型デバイスのいくつかのデバイスに分散することができる。

【0080】

コンピューティング回路２２０のコンポーネントは、属性を処理するように構成された任意のタイプのハードウェアおよび／またはソフトウェアとすることができるか、またはそれらを含むことができる。いくつかの実装形態において、図２のコンピューティング回路２２０のコンポーネントに示されているコンポーネントのうちの１つまたは複数の部分は、ハードウェアベースのモジュール（たとえば、デジタル信号プロセッサー（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、メモリー）、ファームウェアモジュール、および／またはソフトウェアベースのモジュール（たとえば、コンピューターコードのモジュール、コンピューターで実行できるコンピューター可読命令のセット）とすることができるか、またはそれらを含むことができる。たとえば、いくつかの実装形態において、コンピューティング回路２２０のコンポーネントの１つまたは複数の部分は、少なくとも１つのプロセッサー（図示せず）によって実行するように構成されたソフトウェアモジュールとすることができるか、またはそれを含むことができる。いくつかの実装形態において、コンポーネントの機能は、図３に示すものとは異なるモジュールおよび／または異なるコンポーネントに含めることができる。

【0081】

図示していないが、いくつかの実装形態において、コンピューティング回路２２０のコンポーネント（またはその一部）は、たとえば、データセンター（たとえば、クラウドコンピューティング環境）、コンピューターシステム、１つまたは複数のサーバー／ホストデバイス内などで、動作するように構成することができる。いくつかの実装形態において、コンピューティング回路２２０のコンポーネント（またはその一部）は、ネットワーク内で動作するように構成することができる。このように、コンピューティング回路２２０のコンポーネント（またはその一部）は、１つもしくは複数のデバイスおよび／または１つもしくは複数のサーバーデバイスを含むことができる、様々なタイプのネットワーク環境内で機能するように構成することができる。たとえば、ネットワークは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）などとすることができるか、またはそれらを含むことができる。ネットワークは、たとえば、ゲートウェイデバイス、ブリッジ、スイッチなどを用いて実装される、ワイヤレスネットワークおよび／またはワイヤレスネットワークとすることができるか、またはそれらを含むことができる。ネットワークは、１つまたは複数のセグメントを含むことができ、かつ／またはインターネットプロトコル（ＩＰ）および／もしくはプロプライエタリプロトコルなどの様々なプロトコルに基づく部分を有することができる。ネットワークは、インターネットの少なくとも一部分を含むことができる。

【0082】

いくつかの実施形態において、コンピューター１２０のコンポーネントの１つまたは複数は、メモリーに格納された命令を処理するように構成されたプロセッサーとすることができるか、またはそれらを含むことができる。たとえば、ＥＭ放射マネージャー２３０（および／またはその一部分）、前景抽出マネージャー２４０（および／またはその一部分）、および機械学習マネージャー２５０（および／またはその一部分）は、１つまたは複数の機能を実装するためにプロセスに関連する命令を実行するように構成されたプロセッサーとメモリーとの組み合わせとすることができる。

【0083】

実施形態をいくつか説明してきた。しかし、本明細書の精神および範囲から逸脱することなく様々な修正を行うことができることが理解されよう。

【0084】

ある要素が別の要素の上にある、それに接続される、電気接続される、結合される、または電気結合されると表現されるときは、そのある要素は直接的にその別の要素の上にあるか、接続されるかまたは結合されてもよく、１つまたは複数の介在要素が存在してもよいことも理解される。それとは異なり、ある要素が直接的に別の要素の上にある、直接的にそれに接続される、または直接的に結合されると表現されるときは、介在要素は存在しない。直接的にその上にある、直接的にそれに接続される、または直接的に結合されるという用語は、詳細な説明を通して使用されていない場合もあるが、直接的にその上にある、直接的にそれに接続される、または直接的に結合されるように示されている要素は、そのように表現できる。本願の請求項は、明細書に記載されているかまたは図に示されている例示的な関係を列挙するために補正される可能性がある。

【0085】

記載されている実装形態の一定の特徴を本明細書に記載された通りに示してきたが、ここで多数の修正例、代替例、変更例、および等価物が当業者には明らかである。したがって、添付の特許請求の範囲が、本実装形態の範囲内にあるそのような修正例および変更例をすべて包含するものであることを理解されたい。それらは限定ではなく単なる例示として提示されており、形態および細部に様々な変更を行うことができることを理解されたい。本明細書に記載されている装置および／または方法のいずれかの部分は、互いに排他的な組み合わせを除き、任意の組み合わせで組み合わせてよい。本明細書に記載する実装形態は、記載されている様々な実装形態の機能、コンポーネント、および／または特徴の、様々な組み合わせおよび／または下位組み合わせを含むことができる。

【0086】

さらに、図に示した論理の流れは、望ましい結果を達成するために、示されている特定の順序、または連続した順序である必要はない。さらに、他のステップが提供されてよく、または記載した流れからステップが省略されてよく、記載されたシステムに他のコンポーネントが追加されても削除されてもよい。したがって、他の実施形態は、添付の特許請求の範囲内にある。

【図1A】

【図1B】

【図1C】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【国際調査報告】