ホーム > 特許ランキング > ＩＮＮＯＶＥＧＡ ＩＮＣ．
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-21
(54)【発明の名称】聴覚拡張を備えるディスプレイ眼鏡類
(51)【国際特許分類】
G06F 3/01 20060101AFI20231114BHJP
G06F 3/16 20060101ALI20231114BHJP
G09G 5/00 20060101ALI20231114BHJP
【ＦＩ】
G06F3/01 510
G06F3/16 650
G06F3/16 620
G09G5/00 510A
G09G5/00 550C
G09G5/00 510Q
G09G5/00 510B
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022581693
(86)(22)【出願日】2021-06-23
(85)【翻訳文提出日】2023-02-27
(86)【国際出願番号】 US2021038731
(87)【国際公開番号】W WO2022005851
(87)【国際公開日】2022-01-06
(31)【優先権主張番号】16/915,951
(32)【優先日】2020-06-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】511054525
【氏名又は名称】イノヴェガ，インク．
【氏名又は名称原語表記】ＩＮＮＯＶＥＧＡ ＩＮＣ．
(74)【代理人】
【識別番号】100124039
【弁理士】
【氏名又は名称】立花 顕治
(72)【発明者】
【氏名】レガートン ジェロメ エー．
(72)【発明者】
【氏名】マーシュ ジェイ
(72)【発明者】
【氏名】ウィリー ステファン
【テーマコード（参考）】
5C182
5E555
【Ｆターム（参考）】
5C182AA02
5C182AA03
5C182AA04
5C182AA31
5C182AB33
5C182AC02
5C182AC38
5C182BA01
5C182BA03
5C182BA04
5C182BA06
5C182BA14
5C182BA35
5C182BA56
5C182BA66
5C182BA75
5C182DA69
5E555AA11
5E555AA46
5E555BA02
5E555BA88
5E555BB02
5E555BE08
5E555CA47
5E555CB64
5E555DA08
5E555DA09
5E555DB41
5E555DB57
5E555DC09
5E555DC10
5E555EA23
5E555FA00
(57)【要約】
いくつかの実施形態は、聴覚拡張を備えるディスプレイ眼鏡類を提供する。一般に、開示される一態様は、頭部装着型装置であって、マイクロホンと、装着者にとって視認可能なディスプレイパネルと、頭部装着型装置の装着者の視線の方向を決定するように構成された視線追跡装置と、決定された方向からマイクロホンによって収集された音からスピーチを抽出し、抽出されたスピーチをディスプレイパネル上に提示するように構成されたコントローラとを備える頭部装着型装置を特徴とする。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
頭部装着型装置であって、マイクロホンと、
装着者にとって視認可能なディスプレイパネルと、
前記頭部装着型装置の装着者の視線の方向を決定するように構成された視線追跡装置と、
前記装着者の頭部の側方および後方からのさらなる音を収集するように構成されたさらなるマイクロホンと、
聴覚トランスデューサと、
コントローラであって、
前記決定された方向から前記マイクロホンによって収集された音からスピーチを抽出し、
前記抽出されたスピーチを前記ディスプレイパネル上に提示し、
前記さらなるマイクロホンによって収集されたさらなる音が所定のキーワードを表していることに応答して、前記さらなる音を表す音声を前記聴覚トランスデューサに供給する
ように構成されたコントローラと
を備え、前記聴覚トランスデューサは、前記さらなる音声を表現する、
頭部装着型装置。
【請求項2】
前記コントローラは、前記抽出されたスピーチを前記ディスプレイパネル上にテキストとして提示するようにさらに構成される、請求項１に記載の頭部装着型装置。
【請求項3】
前記コントローラは、前記テキストを複数の単語として同時に前記ディスプレイパネル上に提示するようにさらに構成される、請求項２に記載の頭部装着型装置。
【請求項4】
前記コントローラは、前記テキストを時系列にて提示される単一の単語として前記ディスプレイパネル上に提示するようにさらに構成される、請求項２に記載の頭部装着型装置。
【請求項5】
前記コントローラは、前記抽出されたスピーチを前記ディスプレイパネル上に手信号として提示するようにさらに構成される、請求項１に記載の頭部装着型装置。
【請求項6】
頭部装着型装置であって、マイクロホンと、
装着者にとって視認可能なディスプレイパネルと、
前記頭部装着型装置の装着者の視線の方向を決定するように構成された視線追跡装置と、
前記装着者の頭部の側方および後方からのさらなる音を収集するように構成されたさらなるマイクロホンと、
聴覚トランスデューサと、
コントローラであって、
前記決定された方向から前記マイクロホンによって収集された音からスピーチを抽出し、
前記抽出されたスピーチを前記ディスプレイパネル上に提示する
ように構成されたコントローラと、
前記抽出した単語を前記ディスプレイパネル上に投影するように構成された軸外プロジェクタと
を備え、
前記ディスプレイパネルは、半透過拡散器を備える、
頭部装着型装置。
【請求項7】
前記ディスプレイパネルは、透明、および
遮蔽型
の一方である、請求項１に記載の頭部装着型装置。
【請求項8】
前記マイクロホンは、指向性マイクロホンである、請求項１に記載の頭部装着型装置。
【請求項9】
前記マイクロホンは、マイクロホン素子のアレイを備える、請求項１に記載の頭部装着型装置。
【請求項10】
聴覚トランスデューサをさらに備え、
前記コントローラは、前記分離された音を表す音声を前記聴覚トランスデューサに供給するようにさらに構成され、前記聴覚トランスデューサは、前記音声を表現する、
請求項１に記載の頭部装着型装置。
【請求項11】
前記聴覚トランスデューサを備える補聴器システムをさらに備える、請求項１０に記載の頭部装着型装置。
【請求項12】
聴覚トランスデューサをさらに備え、
前記コントローラは、前記抽出されたスピーチを表す音声を前記聴覚トランスデューサに供給するようにさらに構成され、前記聴覚トランスデューサは、前記音声を表現する、
請求項１に記載の頭部装着型装置。
【請求項13】
前記聴覚トランスデューサは、スピーカと、
耳スピーカと、
骨伝導聴覚システムと
のうちの少なくとも１つを備える、請求項１２に記載の頭部装着型装置。
【請求項14】
前記頭部装着型装置は、眼鏡である、請求項１に記載の頭部装着型装置。
【請求項15】
前記頭部装着型装置は、拡張現実ヘッドセットである、請求項１に記載の頭部装着型装置。
【請求項16】
コンピューティングコンポーネントのハードウェアプロセッサによって実行することができる命令をエンコードした非一時的な機械可読記憶媒体であって、前記ハードウェアプロセッサに頭部装着型装置に関する方法を実行させるための命令を含んでおり、
前記方法は、
前記頭部装着型装置の装着者の視線の方向を決定するステップと、
前記決定された方向から発せられる音を収集するステップと、
前記収集された音からスピーチを抽出するステップと、
前記抽出されたスピーチを前記頭部装着型装置のディスプレイパネル上に提示するステップであって、前記ディスプレイパネルは前記装着者にとって視認可能であるステップと、
前記テキストを軸外プロジェクタを使用して前記ディスプレイパネル上に投影するステップと
を含み、
前記ディスプレイパネルは、半透過拡散器である、
非一時的な機械可読記憶媒体。
【請求項17】
前記方法は、前記抽出されたスピーチを前記ディスプレイパネル上にテキストとして提示するステップ
をさらに含む、
請求項１６に記載の非一時的な機械可読記憶媒体。
【請求項18】
前記方法は、前記テキストを複数の単語として同時に前記ディスプレイパネル上に提示するステップ
をさらに含む、請求項１７に記載の非一時的な機械可読記憶媒体。
【請求項19】
前記方法は、前記テキストを時系列にて提示される単一の単語として前記ディスプレイパネル上に提示するステップ
をさらに含む、請求項１７に記載の非一時的な機械可読記憶媒体。
【請求項20】
前記ディスプレイパネルは、透明、および
遮蔽型
の一方である、請求項１６に記載の非一時的な機械可読記憶媒体。
【請求項21】
前記方法は、前記抽出されたスピーチを前記ディスプレイパネル上に手信号として提示するステップ
をさらに含む、請求項１６に記載の非一時的な機械可読記憶媒体。
【請求項22】
前記方法は、前記収集された音を表す音声を、前記頭部装着型装置の聴覚トランスデューサへと供給するステップ
をさらに含み、
前記聴覚トランスデューサは、前記音声を表現する、請求項１６に記載の非一時的な機械可読記憶媒体。
【請求項23】
前記方法は、前記抽出されたスピーチを表す音声を、前記頭部装着型装置の聴覚トランスデューサへと供給するステップをさらに含み、前記聴覚トランスデューサは、前記音声を表現する、
請求項１６に記載の非一時的な機械可読記憶媒体。
【請求項24】
コンピューティングコンポーネントのハードウェアプロセッサによって実行することができる命令をエンコードした非一時的な機械可読記憶媒体であって、前記ハードウェアプロセッサに頭部装着型装置に関する方法を実行させるための命令を含んでおり、
前記方法は、
前記頭部装着型装置の装着者の視線の方向を決定するステップと、
前記決定された方向から発せられる音を収集するステップと、
前記収集された音からスピーチを抽出するステップと、
前記抽出されたスピーチを前記頭部装着型装置のディスプレイパネル上に提示するステップであって、前記ディスプレイパネルは、前記装着者にとって視認可能であるステップと、
前記装着者の頭部の側方および後方からのさらなる音を収集するステップと、
前記さらなる音が所定のキーワードを表していることに応答して、前記さらなる音を表すさらなる音声を前記頭部装着型装置の聴覚トランスデューサへと供給するステップと
を含み、前記聴覚トランスデューサは、前記さらなる音声を表現する、
非一時的な機械可読記憶媒体。
【請求項25】
前記頭部装着型装置は、眼鏡である、請求項１６に記載の非一時的な機械可読記憶媒体。
【請求項26】
前記頭部装着型装置は、拡張現実ヘッドセットである、請求項１６に記載の非一時的な機械可読記憶媒体。
【請求項27】
頭部装着型装置であって、前記頭部装着型装置の装着者にとって視認可能なディスプレイパネルと、
前記頭部装着型装置の装着者の視線の方向を決定するように構成された視線追跡装置と、
前記決定された方向の人物の口の画像を撮影するカメラと、
前記画像からスピーチを抽出し、
前記抽出されたスピーチを前記ディスプレイパネル上に提示する
ように構成されたコントローラと
を備える、頭部装着型装置。
【請求項28】
前記コントローラは、前記抽出されたスピーチをテキストまたは手信号として提示するようにさらに構成される、請求項２７に記載の頭部装着型装置。
【請求項29】
前記カメラは、前記人物の口の画像を撮影するようにさらに構成され、前記コントローラは、前記人物の口の前記画像からスピーチを抽出するようにさらに構成される、請求項２７に記載の頭部装着型装置。
【請求項30】
前記方法は、前記カメラは、前記人物の手の画像を撮影するようにさらに構成されることと、
前記コントローラは、前記人物の手の前記画像からスピーチを抽出するようにさらに構成されることと
をさらに含む、請求項２７に記載の頭部装着型装置。
【請求項31】
コンピューティングコンポーネントのハードウェアプロセッサによって実行することができる命令をエンコードした非一時的な機械可読記憶媒体であって、前記ハードウェアプロセッサに頭部装着型装置に関する方法を実行させるための命令を含んでおり、
前記方法は、
前記頭部装着型装置の装着者の視線の方向を決定するステップと、
前記決定された方向の人物の画像を撮影するステップと、
前記画像からスピーチを抽出するステップと、
前記抽出されたスピーチを、前記装着者にとって視認可能な前記頭部装着型装置のディスプレイパネル上に提示するステップと
を含む、非一時的な機械可読記憶媒体。
【請求項32】
前記方法は、前記抽出されたスピーチをテキストまたは手信号として提示するステップ
をさらに含む、請求項３１に記載の非一時的な機械可読記憶媒体。
【請求項33】
前記方法は、前記人物の口の画像を撮影するステップと、
前記人物の口の前記画像からスピーチを抽出するステップと
をさらに含む、請求項３１に記載の非一時的な機械可読記憶媒体。
【請求項34】
前記方法は、前記人物の手の画像を撮影するステップと、
前記人物の手の前記画像からスピーチを抽出するステップと
をさらに含む、請求項３１に記載の非一時的な機械可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２０年６月２９日に出願された米国特許出願第１６／９１５，９５１号の優先権を主張し、その内容は、その全体が参照によって本明細書に組み込まれる。
本出願は、２０２０年６月２９日に出願された米国特許出願第１６／９１５，９５１号の優先権を主張し、その内容は、その全体が参照によって本明細書に組み込まれる。
【0002】
開示される技術は、一般に、ディスプレイ眼鏡類に関し、より詳細には、いくつかの実施形態は、聴覚機能を有するディスプレイ眼鏡類に関する。
【発明の概要】
【0003】
一般に、開示される一態様は、頭部装着型装置であって、マイクロホンと、装着者にとって視認可能なディスプレイパネルと、頭部装着型装置の装着者の視線の方向を決定するように構成された視線追跡装置と、決定された方向からマイクロホンによって収集された音からスピーチを抽出し、抽出されたスピーチをディスプレイパネル上に提示するように構成されたコントローラとを備える頭部装着型装置を特徴とする。
【0004】
頭部装着型装置の実施形態は、以下の特徴のうちの１つ以上を含むことができる。いくつかの実施形態において、コントローラは、抽出されたスピーチをディスプレイパネル上にテキストとして提示するようにさらに構成される。いくつかの実施形態において、コントローラは、テキストを複数の単語として同時にディスプレイパネル上に提示するようにさらに構成される。いくつかの実施形態において、コントローラは、テキストを時系列にて提示される単一の単語としてディスプレイパネル上に提示するようにさらに構成される。いくつかの実施形態において、コントローラは、抽出されたスピーチをディスプレイパネル上に手信号として提示するようにさらに構成される。いくつかの実施形態は、抽出された単語をディスプレイパネルに投影するように構成された軸外プロジェクタを備え、ディスプレイパネルは、半透過拡散器を備える。いくつかの実施形態において、ディスプレイパネルは、透明または遮蔽型の一方である。いくつかの実施形態において、マイクロホンは、指向性マイクロホンである。いくつかの実施形態において、マイクロホンは、マイクロホン素子のアレイを備える。いくつかの実施形態は、聴覚トランスデューサを備え、コントローラは、分離された音を表す音声を聴覚トランスデューサに供給するようにさらに構成され、聴覚トランスデューサは、音声を表現する。いくつかの実施形態は、聴覚トランスデューサを備える補聴器システムを備える。いくつかの実施形態は、聴覚トランスデューサを備え、コントローラは、抽出されたスピーチを表す音声を聴覚トランスデューサに供給するようにさらに構成され、聴覚トランスデューサは、音声を表現する。いくつかの実施形態において、聴覚トランスデューサは、スピーカ、耳スピーカ、および骨伝導聴覚システムのうちの少なくとも１つを備える。いくつかの実施形態は、装着者の頭部の側方および後方からさらなる音を収集するように構成されたさらなるマイクロホンと、聴覚トランスデューサとを備え、コントローラは、さらなるマイクロホンによって収集されたさらなる音が所定のキーワードを表すことに応答して、さらなる音を表す音声を聴覚トランスデューサに供給するようにさらに構成され、聴覚トランスデューサは、さらなる音声を表現する。いくつかの実施形態において、頭部装着型装置は、眼鏡である。いくつかの実施形態において、頭部装着型装置は、拡張現実ヘッドセットである。
【0005】
一般に、開示される一態様は、コンピューティングコンポーネントのハードウェアプロセッサによって実行することができる命令をエンコードした非一時的な機械可読記憶媒体を特徴とし、機械可読記憶媒体は、ハードウェアプロセッサに頭部装着型装置に関する方法を実行させるための命令を含み、この方法は、頭部装着型装置の装着者の視線の方向を決定することと、決定された方向から発せられる音を収集することと、収集された音からスピーチを抽出することと、抽出されたスピーチを装着者にとって視認可能な頭部装着型装置のディスプレイパネル上に提示することとを含む。
【0006】
非一時的な機械可読記憶媒体の実施形態は、以下の特徴のうちの１つ以上を含むことができる。いくつかの実施形態において、この方法は、抽出されたスピーチをディスプレイパネル上にテキストとして提示することをさらに含む。いくつかの実施形態において、この方法は、テキストを複数の単語として同時にディスプレイパネル上に提示することをさらに含む。いくつかの実施形態において、この方法は、テキストを時系列にて提示される単一の単語としてディスプレイパネル上に提示することをさらに含む。いくつかの実施形態において、この方法は、テキストを軸外プロジェクタを使用してディスプレイパネルへと投影することをさらに含み、ディスプレイパネルは、半透過拡散器である。いくつかの実施形態において、ディスプレイパネルは、透明または遮蔽型の一方である。いくつかの実施形態において、この方法は、抽出されたスピーチをディスプレイパネル上に手信号として提示することをさらに含む。いくつかの実施形態において、この方法は、収集された音を表す音声を頭部装着型装置の聴覚トランスデューサへと供給することをさらに含み、聴覚トランスデューサは、音声を表現する。いくつかの実施形態において、この方法は、抽出されたスピーチを表す音声を頭部装着型装置の聴覚トランスデューサへと供給することをさらに含み、聴覚トランスデューサは、音声を表現する。いくつかの実施形態において、この方法は、装着者の頭部の側方および後方からさらなる音を収集することと、さらなる音が所定のキーワードを表すことに応答して、さらなる音を表すさらなる音声を頭部装着型装置の聴覚トランスデューサに供給することとをさらに含み、聴覚トランスデューサは、さらなる音声を表現する。いくつかの実施形態において、頭部装着型装置は、眼鏡である。いくつかの実施形態において、頭部装着型装置は、拡張現実ヘッドセットである。
【0007】
一般に、開示される一態様は、頭部装着型装置であって、頭部装着型装置の装着者にとって視認可能なディスプレイパネルと、頭部装着型装置の装着者の視線の方向を決定するように構成された視線追跡装置と、決定された方向の人物の口の画像を撮影するカメラと、画像からスピーチを抽出し、抽出されたスピーチをディスプレイパネル上に提示するように構成されたコントローラとを備える、頭部装着型装置を特徴とする。
【0008】
頭部装着型装置の実施形態は、以下の特徴のうちの１つ以上を含むことができる。いくつかの実施形態において、コントローラは、抽出されたスピーチをテキストまたは手信号として提示するようにさらに構成される。いくつかの実施形態において、カメラは、人物の口の画像を撮影するようにさらに構成され、コントローラは、人物の口の画像からスピーチを抽出するようにさらに構成される。いくつかの実施形態において、この方法は、カメラが人物の手の画像を撮影するようにさらに構成されること、およびコントローラが人物の手の画像からスピーチを抽出するようにさらに構成されることをさらに含む。
【0009】
一般に、開示される一態様は、コンピューティングコンポーネントのハードウェアプロセッサによって実行することができる命令をエンコードした非一時的な機械可読記憶媒体を特徴とし、機械可読媒体は、ハードウェアプロセッサに頭部装着型装置に関する方法を実行させるための命令を含んでおり、この方法は、頭部装着型装置の装着者の視線の方向を決定することと、決定された方向の人物の画像を撮影することと、画像からスピーチを抽出することと、抽出されたスピーチを装着者にとって視認可能な頭部装着型装置のディスプレイパネル上に提示することとを含む。
【0010】
非一時的な機械可読記憶媒体の実施形態は、以下の特徴のうちの１つ以上を含むことができる。いくつかの実施形態において、この方法は、抽出されたスピーチをテキストまたは手信号として提示することをさらに含む。いくつかの実施形態において、この方法は、人物の口の画像を撮影することと、人物の口の画像からスピーチを抽出することとをさらに含む。いくつかの実施形態において、この方法は、人物の手の画像を撮影することと、人物の手の画像からスピーチを抽出することとをさらに含む。
【図面の簡単な説明】
【0011】
本開示が、１つ以上のさまざまな実施形態に従って、以下の図を参照して詳細に説明される。図は、単に例示を目的として提供されており、典型的な実施形態または例示的な実施形態を示しているにすぎない。
【0012】
【図1】本開示の技術のいくつかの実施形態による使用事例を示す図である。
【0013】
【0014】
【図3】本開示の技術のいくつかの実施形態による多方向マイクロホンを備えるディスプレイ眼鏡類を示している。
【0015】
【図4】本開示の技術のいくつかの実施形態による複数の狭角マイクロホンを備えるディスプレイ眼鏡類を示す図である。
【0016】
【図5】本開示の技術のいくつかの実施形態によるカメラおよび複数の狭角マイクロホンを備えるディスプレイ眼鏡類を示している。
【0017】
【図6】本開示の技術の実施形態による例示的な聴覚拡張プロセスを示す図である。
【0018】
【図7】本開示の技術の実施形態によるキーワードベースの聴覚拡張プロセスを示す図である。
【0019】
【図8】本開示の技術の実施形態による読唇画像ベースの聴覚拡張プロセスを示す図である。
【0020】
【図9】本開示の技術の実施形態による手信号読み取り画像ベースの聴覚拡張プロセスを示す図である。
【0021】
【図10】本開示に記載された実施形態の種々の特徴を実装するために使用することができる例示的なコンピューティングコンポーネントの図である。
【0022】
図面は、網羅的ではなく、本開示を開示された正確な形態に限定するものではない。
【発明を実施するための形態】
【0023】
多数の人々が、或る程度の難聴を患っている。難聴は、耳または聴覚系のどこかの部分が適切に機能していない場合に生じ得る。米国疾病管理予防センター（ＣＤＣ）が、４種類の難聴を特定している。伝音性の難聴は、何らかの原因で音が外耳または中耳を通過できないことで引き起こされる。感音性の難聴は、内耳または聴覚神経に問題が存在する場合に生じる。混合性の難聴は、伝音性および感音性の両方の難聴の組み合わせである。聴覚神経障害スペクトラム障害は、音が正常に耳に入るが、内耳または聴覚神経の損傷のために、音が脳が理解できるやり方では体系化されない場合に生じる難聴である。
【0024】
難聴の人々を助けるために、補聴器が開発されてきた。従来の補聴器は、きわめて有益であるが、多くの方向から音を集めるため、聴取者が関心対象の音を分離して知覚することが困難である。
【0025】
本開示の技術は、難聴の人々にとって有益であるが、難聴でない人々にとっても有益である。例えば、本開示の技術は、難聴でないユーザが、本来であればユーザが知覚することができない音およびスピーチを、知覚することを可能にすることができる。
【0026】
本開示の技術の実施形態は、ユーザの視線の方向に従って関心対象の音を収集および分離することができるディスプレイ眼鏡類を提供する。すなわち、本開示のディスプレイ眼鏡類は、ユーザが見つめている方向を決定し、その方向からの音を収集および分離することができる。いくつかの実施形態において、ディスプレイ眼鏡類は、スピーチ認識を実行することができ、スピーチを、例えばテキストおよび手信号などの形態で、ディスプレイ眼鏡類のディスプレイ上に提示することができる。いくつかの実施形態において、ディスプレイ眼鏡類は、ユーザのために、分離された音を、例えばディスプレイ眼鏡類のイヤピース内の音として表現することもできる。いくつかの実施形態において、ディスプレイ眼鏡類は、ユーザのために、認識されたスピーチを、例えばディスプレイ眼鏡類のイヤピース内の音として表現することができる。
【0027】
ディスプレイ眼鏡類は、マイクロホンを使用して音を収集することができる。種々の実施形態において、任意のマイクロホン技術が使用されてよい。例えば、マイクロホン技術は、コンデンサ、エレクトレットコンデンサ、ダイナミック、リボン、カーボン、圧電、光ファイバ、レーザ、液体、微小電気機械システム（ＭＥＭＳ）など、およびこれらの組み合わせを含むことができる。種々の実施形態が、例えば、ポーラ、無指向性、単一指向性、カージオイド、ハイパーカージオイド、スーパーカージオイド、サブカージオイド、ローブ状、双方向、ショットガン、境界または圧力域マイクロホン（ＰＺＭ）など、およびこれらの組み合わせを含むさまざまなマイクロホンパターンを使用することができる。複数のマイクロホンおよびマイクロホン素子を有する実施形態においては、マイクロホンまたはマイクロホン素子の選択が、視線、ジェスチャ、声、または他のユーザインターフェース制御によって制御されてよい。
【0028】
種々の実施形態は、聴覚を改善するために音響変調を使用することができる。例えば、音響変調は、異なる周波数に対して異なる音量レベルを選択することを含むことができる。音響変調は、視線方向、ジェスチャ、声、または他のユーザインターフェース制御に従ってユーザによって制御されてもよい。このようにして、ユーザは、所望の音の知覚を向上させ、不要な音を低減または排除するように、音を混合することができる。
【0029】
いくつかの実施形態において、ディスプレイ眼鏡類は、ユーザの視線にある人物の画像を撮影するためのカメラを含むことができ、読唇技術を使用して画像から人物のスピーチを抽出することができる。これらの実施形態において、ディスプレイ眼鏡類は、認識されたスピーチをテキスト、手信号、音、またはこれらの組み合わせとしてユーザに提示することができる。
【0030】
図１が、本開示の技術のいくつかの実施形態による使用事例を示している。図１の上部に、ディスプレイ眼鏡類のユーザによって知覚される例示的なシーン１０２が示されている。例示的なシーン１０２において、４名の人々が同時に話しており、４名のスピーチが、左側から右側へとそれぞれ「音声１」、「音声２」、「音声３」、および「音声４」と示されている。この例において、ユーザの視線は、レチクル１０６によって示されるとおり、右側の人物に位置している。
【0031】
図１の下部に、例示的なシーン１０２に関してディスプレイ眼鏡類が生じさせる例示的な表示１０４が示されている。例示的な表示１０４は、４名の人物を含む。さらに、例示的な表示１０４は、「音声４」として示される右側の人物のスピーチのテキストを提示する。この例において、ディスプレイ眼鏡類は、例示的なシーン１０２内の右側の人物の音声を分離し、その人物のスピーチを認識し、そのスピーチをテキストとして例示的な表示１０４に提示している。
【0032】
図２が、本開示の技術のいくつかの実施形態による図１の使用事例をさらに示している。図２の上部に、図１の例示的なシーン１０２と同様であるが、異なる時点における例示的なシーン２０２が示されている。例示的なシーン２０２において、やはり４名の人々が同時に話している。この例において、ユーザの視線は、レチクル２０６によって示されるとおり、左から２番目の人物に位置している。
【0033】
図２の下部に、例示的なシーン２０２に関してディスプレイ眼鏡類が生じさせる例示的な表示２０４が示されている。例示的な表示２０４は、４名の人物を含む。さらに、例示的な表示２０４は、「音声２」として示される左から２番目の人物のスピーチのテキストを提示する。この例において、ディスプレイ眼鏡類は、例示的なシーン２０２内の左から２番目の人物の音声を分離し、その人物のスピーチを認識し、そのスピーチをテキストとして例示的な表示２０４に提示している。
【0034】
図３が、本開示の技術のいくつかの実施形態による多方向マイクロホンを備える例示的なディスプレイ眼鏡類を示している。図３を参照すると、ディスプレイ眼鏡類３００を、眼鏡３０２を使用して実装することができる。眼鏡は、前部、１つ以上のテンプル、および１つ以上のレンズを含むことができる。前部をユーザの鼻梁に載せることができる。各々のテンプルを、ユーザの耳に載せることができる。しかしながら、記載された実施形態は、眼鏡を使用して実装されているが、他の実施形態が、ユーザの頭部に装着することができる任意の構造を使用して実装されてよいことを、理解されたい。例えば、そのような構造として、片眼鏡、眼鏡、ヘッドバンド、帽子、マスク、拡張現実ヘッドセット、眼上または眼内に配置される網膜ディスプレイ生成装置、などを挙げることができる。
【0035】
ディスプレイ眼鏡類３００は、１つ以上の視線追跡装置３０４を含むことができる。視線追跡装置３０４は、眼球の向きを検知し、その位置に基づいてユーザの視線の方向を判定する従来の視線追跡装置として実装されてよい。しかしながら、この技術に代え、あるいは加えて、他の視線追跡技術が使用されてもよい。例として、瞳孔追跡、眼の他の身体構造的特徴の追跡、コンタクトレンズにおける目印の追跡、コンタクトレンズまたは眼内レンズにおける加速度計からのデータの使用、などが挙げられる。しかしながら、任意の種類の視線追跡装置を使用することが可能である。本明細書において使用されるとき、「コンタクトレンズ」という用語は、眼組織と接触するレンズを意味し、角膜内レンズ、眼内レンズ、などを含み得る。
【0036】
ディスプレイ眼鏡類３００は、１つ以上のマイクロディスプレイパネル３０６を含むことができる。各々のマイクロディスプレイパネル３０６は、ユーザの眼の休息時視線の上方または範囲内に配置されてよい。各々のマイクロディスプレイパネル３０６は、例えばＬＣＤ、ＬＣＯＳ、またはＯＬＥＤディスプレイパネルなどのデジタル表示パネルとして実装されてよい。しかしながら、本明細書に記載の機能を実行することができる任意の種類のディスプレイが使用されてよい。ディスプレイは、導波路技術、ライトフィールド技術、軸外投影、ホログラフィック反射、フェムトプロジェクタ、あるいは眼の近く、眼の上、または眼内に画像を生成する任意の他の手段を利用することができる。マイクロディスプレイパネル３０６は、透明であっても、遮蔽型であってもよい。透明なディスプレイは、幾何光学、導波路リレー、投影を有する半透過拡散器、マルチピンポイント反射器、直接網膜投影、レンズ内フェムトプロジェクタ、などの技術を、いずれもＭＥＭＳスキャナ、ＬＣＯＳ、ＯＬＥＤ、ＬＣＤ、およびＬＥＤとの何らかの組み合わせにて使用することができる。遮蔽型のディスプレイは、幾何光学、導波路リレー、投影を有する反射拡散器、マルチピンポイント反射器、などの技術を、いずれもＭＥＭＳスキャナ、ＬＣＯＳ、ＯＬＥＤ、ＬＣＤ、およびＬＥＤとの何らかの組み合わせにて、遮蔽シールドと組み合わせて使用することができる。
【0037】
いくつかの実施形態において、ディスプレイ眼鏡類３００は、ユーザがマイクロディスプレイパネル３０６を透明状態と遮蔽状態との間で遷移させることを可能にするユーザインターフェースを含むことができる。いくつかの実施形態において、ディスプレイ眼鏡類３００は、マイクロディスプレイパネル３０６上にテキストおよび手信号などの画像を投影するように構成された軸外プロジェクタを含むことができる。そのような実施形態において、マイクロディスプレイパネル３０６は、半透過拡散器を備えることができる。いくつかの実施形態においては、マイクロディスプレイパネル３０６の全部または一部が、コンタクトレンズ内または眼内レンズ内に配置されてよい。
【0038】
ディスプレイ眼鏡類３００は、多方向マイクロホン３０８を含むことができる。マイクロホン３０８は、ディスプレイ眼鏡類３００の前部、例えば眼鏡３０２の鼻ピースに取り付けられてよい。多方向マイクロホン３０８のカバー範囲は、ユーザの必要に応じて選択されてよい。多方向マイクロホン３０８は、１つ以上の素子を含むことができる。多方向マイクロホン３０８は、図３に示されるように、異なる方向を向くように扇状パターンにて配置された複数の素子を含んでもよい。各素子は、例えばローブ状パターンなどの指向性パターンを使用することができる。各素子は、異なるチャネルを有することができる。各チャネルは、視線方向、他の手段、などによって変調されてよい。
【0039】
ディスプレイ眼鏡類３００は、１つ以上の聴覚トランスデューサを含むことができる。図３の例において、聴覚トランスデューサは、ユーザの耳の近くで眼鏡３０２のテンプル上に取り付けられた１対のスピーカ３１０として実装されてよい。いくつかの実施形態において、聴覚トランスデューサは、スピーカ、耳スピーカ、骨伝導聴覚システムなど、およびこれらの組み合わせとして実装されてもよい。いくつかの実施形態において、聴覚トランスデューサは、補聴器システムの一部であってもよい。
【0040】
いくつかの実施形態において、ディスプレイ眼鏡類３００は、コントローラ３１２を含むことができる。コントローラ３１２は、視線追跡装置３０４によって生成されたデータを処理して、ユーザの視線の方向を決定することができる。コントローラ３１２は、マイクロホン３０８によって収集された音を処理することができる。コントローラ３１２は、音声を生成し、音声をスピーカ３１０に供給することができる。コントローラ３１２は、表示を生成し、表示をマイクロディスプレイパネル３０６に供給することができる。コントローラ３１２は、一方のテンプル内、および／またはディスプレイ眼鏡類３００の何らかの他の部分に配置されてよい。
【0041】
いくつかの実施形態において、ディスプレイ眼鏡類３００は、ユーザの視野の外側から発せられる音を撮影するための１つ以上の後方／側方マイクロホン３１８を含むことができる。これらのマイクロホン３１８は、図３に示されるように、眼鏡３０２のテンプルの後部に配置されてよい。
【0042】
図３の実施形態の全体または一部が、本明細書に記載の他の実施形態と併せて使用されてもよいことを、理解すべきである。
【0043】
図４が、本開示の技術のいくつかの実施形態による複数の狭角マイクロホンを備えるディスプレイ眼鏡類を示している。図４を参照すると、ディスプレイ眼鏡類４００を、眼鏡４０２を使用して実装することができる。眼鏡は、前部、１つ以上のテンプル、および１つ以上のレンズを含むことができる。前部をユーザの鼻梁に載せることができる。各々のテンプルを、ユーザの耳に載せることができる。しかしながら、記載された実施形態は、眼鏡を使用して実装されているが、他の実施形態が、ユーザの頭部に装着することができる任意の構造を使用して実装されてよいことを、理解されたい。例えば、そのような構造として、ヘッドバンド、帽子、マスク、などを挙げることができる。
【0044】
ディスプレイ眼鏡類４００は、例えば、上述したように、１つ以上の視線追跡装置３０４、１つ以上のマイクロディスプレイパネル３０６、１つ以上の聴覚トランスデューサ、１つ以上の後方／側方マイクロホン３１８、およびコントローラ３１２を含むことができる。
【0045】
ディスプレイ眼鏡類４００は、複数の狭角マイクロホン４０８を含むことができる。マイクロホン３０８は、ディスプレイ眼鏡類４００の前部に沿って取り付けられてよい。マイクロホン３０８の角度βは、ユーザの必要に応じて選択されてよい。
【0046】
図４の実施形態の全体または一部が、本明細書に記載の他の実施形態と併せて使用されてもよいことを、理解すべきである。
【0047】
図５が、本開示の技術のいくつかの実施形態によるカメラおよび複数の狭角マイクロホンを備えるディスプレイ眼鏡類を示している。図５を参照すると、ディスプレイ眼鏡類５００を、眼鏡５０２を使用して実装することができる。眼鏡は、前部、１つ以上のテンプル、および１つ以上のレンズを含むことができる。前部をユーザの鼻梁に載せることができる。各々のテンプルを、ユーザの耳に載せることができる。しかしながら、記載された実施形態は、眼鏡を使用して実装されているが、他の実施形態が、ユーザの頭部に装着することができる任意の構造を使用して実装されてよいことを、理解されたい。例えば、そのような構造として、ヘッドバンド、帽子、マスク、などを挙げることができる。
【0048】
ディスプレイ眼鏡類５００は、例えば、上述したように、１つ以上の視線追跡装置３０４、１つ以上のマイクロディスプレイパネル３０６、１つ以上の聴覚トランスデューサ、１つ以上の後方／側方マイクロホン３１８、およびコントローラ３１２を含むことができる。ディスプレイ眼鏡類５００は、例えば、上述したように、複数の狭角マイクロホン４０８を含むことができる。
【0049】
ディスプレイ眼鏡類５００は、カメラ５１０を含むことができる。コントローラ３１２が、カメラ５１０から画像を受信することができ、それらの画像を処理することができる。コントローラ３１２は、受信および／または処理した画像に基づいて、マイクロディスプレイパネル３０６に画像を供給することができる。カメラ５１０は、デジタルカメラなどとして実装されてよい。しかしながら、本明細書に記載の機能を実行することができる任意の種類のカメラが使用されてよい。いくつかの実装形態においては、カメラ５１０を、カメラ５１０の画像撮影と同時または後の時点のいずれかにおけるマイクロディスプレイパネル３０６のための供給源として使用することができる。
【0050】
図５の実施形態の全体または一部が、本明細書に記載の他の実施形態と併せて使用されてもよいことを、理解すべきである。
【0051】
図６が、本開示の技術のいくつかの実施形態による例示的な聴覚拡張プロセス６００を示している。プロセス６００を、例えば、図３、図４、および図５のディスプレイ眼鏡類によって実行することができる。本明細書に開示されるプロセスの要素は、特定の順序で提示される。しかしながら、各プロセスの１つ以上の要素が、異なる順序で実行されても、同時に実行されても、あるいは省略されてもよいことを、理解すべきである。
【0052】
図６を参照すると、プロセス６００は、６０２において、視線方向を決定することを含むことができる。視線方向は、ディスプレイ眼鏡類のユーザが見つめている方向を表す。図３、図４、および図５の例において、視線方向を、視線追跡装置３０４から受信した信号に基づいて、ディスプレイ眼鏡類のコントローラ３１２によって決定することができる。
【0053】
プロセス６００は、６０４において、視線方向から発せられる音を収集することを含むことができる。図３の例においては、広角マイクロホン３０８によって音を収集することができ、広角マイクロホン３０８は、収集された音を表す聴覚信号をコントローラ３１２に供給することができる。図４および図５の例においては、狭角マイクロホン４０８のうちの１つ以上によって音を収集することができ、狭角マイクロホン４０８は、収集された音を表す聴覚信号をコントローラ３１２に供給することができる。いくつかの実施形態において、コントローラ３１２は、視線方向を向いた１つ以上のマイクロホン２０８をオンにし、他のマイクロホン２０８をオフにすることによって、視線方向から発せられる音を分離することができる。いくつかの実施形態において、コントローラ３１２は、複数のマイクロホン２０８およびビーム形成技術を使用して、視線方向から発せられる音を分離することができる。これらの技術の代え、あるいは加えて、他の技術が使用されてもよい。
【0054】
再び図６を参照すると、プロセス６００は、６０６において、収集された音からスピーチを抽出することを含むことができる。図３、図４、および図５の例において、コントローラ３１２が、収集された音からスピーチを抽出することができる。スピーチを、例えば従来のスピーチ認識技術などの任意の技術を使用して、収集された音から抽出することができる。
【0055】
再び図６を参照すると、プロセス６００は、６０８において、抽出されたスピーチをディスプレイ眼鏡類の１つ以上のディスプレイパネル上に提示することを含むことができる。提示は、リアルタイムまたはほぼリアルタイムであってよい。図３、図４、および図５の例において、コントローラ３１２は、抽出されたスピーチをマイクロディスプレイパネル３０６のうちの１つ以上に提示することができる。いくつかの実施形態においては、抽出されたスピーチを、テキストとして提示することができる。例えば、テキストは、例えば文章の形態で、複数の単語として同時に提示されてよい。別の例として、テキストは、時系列の単語として提示されてもよい。すなわち、一度に１つの単語が提示される。いくつかの実施形態において、抽出されたスピーチは、例えばアメリカ手話（ＡＳＬ）による手信号として提示されてもよい。いくつかの実施形態において、ディスプレイ眼鏡類は、スピーチを別の言語に翻訳することができ、その言語のテキストを提示することができる。
【0056】
いくつかの実施形態において、ディスプレイパネルにおける抽出されたスピーチの提示に加えて、ディスプレイ眼鏡類は、収集された音または抽出されたスピーチを、ユーザに音として提示することもできる。再び図６を参照すると、プロセス６００は、６１０において、分離された音または抽出されたスピーチを表す音声をディスプレイ眼鏡類の聴覚トランスデューサに供給することを含むことができる。プロセス６００は、６１２において、音声トランスデューサで音声を表すことを含むことができる。図３、図４、および図５の例において、コントローラ３１２は、収集された音または抽出されたスピーチを表す音声を、音声をユーザのために音として表す１つ以上のスピーカ３１０に供給することができる。さまざまな実施形態において、音を、スピーカ、耳スピーカ、骨伝導聴覚システム、人工内耳、または他の聴力改善装置など、およびこれらの組み合わせによって表すことができる。いくつかの実施形態において、ディスプレイ眼鏡類は、スピーチを別の言語に翻訳することができ、その言語でのスピーチを提示することができる。プロセス６００は、６０２において続くことができる。
【0057】
いくつかの実施形態において、ディスプレイ眼鏡類は、ユーザの側方および／または後方からの音を収集し、収集された音を表す音声をディスプレイ眼鏡類のコントローラに提供する１つ以上の側方および／または後方マイクロホンを含むことができる。コントローラは、収集された音に対してスピーチ認識を実行し、１つ以上の所定のキーワードを認識すると、音および／またはスピーチをユーザに提示することができる。図７が、本開示の技術の実施形態によるキーワードベースの聴覚拡張プロセス７００を示している。
【0058】
図７を参照すると、プロセス７００は、７０２において、着用者の頭部の側方および後方から音を収集することを含むことができる。図３、図４、および図５の例において、着用者の頭部の側方および後方を向くように配置されてよい１つ以上の広角マイクロホン３１８が、音を収集でき、音を表す音声をコントローラ３１２に提供することができる。
【0059】
再び図７を参照すると、プロセス７００は、７０４において、収集された音の中にキーワードが存在するかどうかを判定することを含むことができる。キーワードは、例えば、ユーザの名前を含むことができる。いくつかの実施形態において、ディスプレイ眼鏡類は、ユーザが所定のキーワードのうちの１つ以上を設定することを可能にするユーザインターフェースを含む。図３、図４、および図５の例において、コントローラ３１２は、収集された音に対してスピーチ認識を実行することができ、単語マッチング技術を使用して、スピーチ内の認識された単語のいずれかが１つ以上の所定のキーワードと一致するかどうかを判定することができる。しかしながら、任意の適切な技術が使用されてよい。
【0060】
キーワードが検出されない場合、プロセス７００は、７０２において、音の収集を続けることを含むことができる。しかしながら、キーワードが検出されると、プロセス７００は、７０６において、ユーザにキーワードに対する注意喚起を行うことを含むことができる。いくつかの実施形態において、注意喚起は、音声を表す聴覚トランスデューサに音を表す音声を供給することを含むことができる。図３、図４、および図５の例において、コントローラ３１２は、収集された音声または認識されたスピーチを、音声をユーザのために音として表す１つ以上のスピーカ３１０に供給することができる。いくつかの実施形態において、注意喚起は、キーワードを、例えばテキストや手信号などの形態で、ディスプレイ眼鏡類の１つ以上のディスプレイ上に提示することを含むことができる。図３、図４、および図５の例において、コントローラ３１２は、キーワードをマイクロディスプレイパネル３０６のうちの１つ以上に提示することができる。いくつかの実施形態において、キーワードは、音として、またはディスプレイ上に、音が生じる方向を示すために中心から外して提示されてもよい。ユーザにキーワードに対する注意喚起をした後に、プロセス７００は、７０２において続くことができる。
【0061】
いくつかの実施形態において、ディスプレイ眼鏡類は、話している人々の画像を撮影するためのカメラを含むことができ、撮影した画像からの読唇技術を使用することができる。図８が、本開示の技術の実施形態による読唇画像ベースの聴覚拡張プロセス８００を示している。
【0062】
図８を参照すると、プロセス８００は、８０２において、視線方向を決定することを含むことができる。視線方向は、ディスプレイ眼鏡類のユーザが見つめている方向を表す。図３、図４、および図５の例において、視線方向を、視線追跡装置３０４から受信した信号に基づいて、ディスプレイ眼鏡類のコントローラ３１２によって決定することができる。
【0063】
プロセス８００は、８０４において、視線方向にある人物の口の画像を撮影することを含むことができる。図５の例において、画像をカメラ５３０によって撮影することができ、カメラ５３０は、撮影した画像を表すビデオ信号をコントローラ３１２に供給することができる。
【0064】
再び図８を参照すると、プロセス８００は、８０６において、撮影した画像からスピーチを抽出することを含むことができる。図５の例において、コントローラ３１２が、撮影した画像からスピーチを抽出することができる。スピーチを、例えば従来の読唇技術などの任意の技術を使用して、撮影した画像から抽出することができる。それらの技術を、例えば、機械学習モデルにおいて人工知能技術を使用して実施することができる。
【0065】
再び図８を参照すると、プロセス８００は、８０８において、抽出されたスピーチをディスプレイ眼鏡類の１つ以上のディスプレイパネル上に提示することを含むことができる。提示は、リアルタイムまたはほぼリアルタイムであってよい。図５の例において、コントローラ３１２が、例えば上述したように、抽出されたスピーチをマイクロディスプレイパネル３０６のうちの１つ以上に提示することができる。
【0066】
例えば上述したように、いくつかの実施形態において、ディスプレイパネルにおける抽出されたスピーチの提示に加えて、ディスプレイ眼鏡類は、収集された音または抽出されたスピーチを、ユーザに音として提示することもできる。プロセス８００は、８０２において続くことができる。
【0067】
いくつかの実施形態において、ディスプレイ眼鏡類は、人々の手の動きの画像を撮影するためのカメラを含むことができ、撮影した画像からの手信号読み取り技術を使用することができる。図９が、本開示の技術の実施形態による手信号読み取り画像ベースの聴覚拡張プロセス９００を示している。
【0068】
図９を参照すると、プロセス９００は、９０２において、視線方向を決定することを含むことができる。視線方向は、ディスプレイ眼鏡類のユーザが見つめている方向を表す。図３、図４、および図５の例において、視線方向を、視線追跡装置３０４から受信した信号に基づいて、ディスプレイ眼鏡類のコントローラ３１２によって決定することができる。
【0069】
プロセス９００は、９０４において、視線方向にある人物の手の画像を撮影することを含むことができる。図５の例において、画像をカメラ５３０によって撮影することができ、カメラ５３０は、撮影した画像を表すビデオ信号をコントローラ３１２に供給することができる。
【0070】
再び図９を参照すると、プロセス９００は、９０６において、撮影した画像からスピーチを抽出することを含むことができる。図５の例において、コントローラ３１２が、撮影した画像からスピーチを抽出することができる。スピーチを、例えば従来の手信号読み取り技術などの任意の技術を使用して、撮影した画像から抽出することができる。それらの技術を、例えば、機械学習モデルにおいて人工知能技術を使用して実施することができる。
【0071】
再び図９を参照すると、プロセス９００は、９０８において、抽出されたスピーチをディスプレイ眼鏡類の１つ以上のディスプレイパネル上に提示することを含むことができる。提示は、リアルタイムまたはほぼリアルタイムであってよい。図５の例において、コントローラ３１２が、例えば上述したように、抽出されたスピーチをマイクロディスプレイパネル３０６のうちの１つ以上に提示することができる。例えば、抽出されたスピーチを、手信号として提示することができる。
【0072】
例えば上述したように、いくつかの実施形態において、ディスプレイパネルにおける抽出されたスピーチの提示に加えて、ディスプレイ眼鏡類は、収集された音または抽出されたスピーチを、ユーザに音として提示することもできる。プロセス９００は、９０２において続くことができる。
【0073】
図１０が、本明細書に記載の実施形態を実施することができる例示的なコンピュータシステム１０００のブロック図を示している。コンピュータシステム１０００は、情報を通信するためのバス１００２または他の通信機構と、情報を処理するためのバス１００２に接続された１つ以上のハードウェアプロセッサ１００４とを含む。ハードウェアプロセッサ１００４は、例えば、１つ以上の汎用マイクロプロセッサであってよい。
【0074】
コンピュータシステム１０００は、プロセッサ１００４によって実行される情報および命令を格納するためのバス１００２に接続されたランダムアクセスメモリ（ＲＡＭ）、キャッシュ、および／または他の動的記憶装置などのメインメモリ１００６をさらに含む。メインメモリ１００６は、プロセッサ１００４によって実行される命令の実行中に一時変数または他の中間情報を格納するために使用されてもよい。そのような命令は、プロセッサ１００４にとってアクセス可能な記憶媒体に記憶されると、コンピュータシステム１０００を、命令において指定された動作を実行するようにカスタマイズされた専用マシンにする。
【0075】
コンピュータシステム１０００は、プロセッサ１００４のための静的な情報および命令を格納するためのバス１００２に接続された読み出し専用メモリ（ＲＯＭ）１００８または他の静的記憶装置をさらに含む。磁気ディスク、光ディスク、またはＵＳＢサムドライブ（フラッシュドライブ）などの記憶装置１０１０が提供され、情報および命令を格納するためにバス１００２に接続される。
【0076】
コンピュータシステム１０００を、コンピュータユーザに情報を表示するために、液晶ディスプレイ（ＬＣＤ）（または、タッチスクリーン）などのディスプレイ１０１２にバス１００２を介して接続することができる。英数字および他のキーを含む入力デバイス１０１４が、情報およびコマンド選択をプロセッサ１００４に伝えるためにバス１００２に接続される。別の種類のユーザ入力デバイスは、プロセッサ１００４に方向情報およびコマンド選択を伝え、ディスプレイ１０１２上のカーソル移動を制御するためのマウス、トラックボール、またはカーソル方向キーなどのカーソル制御部１０１６である。いくつかの実施形態においては、カーソル制御部と同じ方向情報およびコマンド選択を、カーソルによらずにタッチスクリーン上でタッチを受信することによって実現してもよい。
【0077】
コンピューティングシステム１０００は、コンピューティングデバイスによって実行される実行可能ソフトウェアコードとして大容量記憶装置に格納されてよいＧＵＩを実装するためのユーザインターフェースモジュールを含むことができる。このモジュールおよび他のモジュールは、例として、ソフトウェアコンポーネント、オブジェクト指向ソフトウェアコンポーネント、クラスコンポーネントおよびタスクコンポーネント、プロセス、関数、属性、手順、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数などのコンポーネントを含むことができる。
【0078】
一般に、「コンポーネント」、「エンジン」、「システム」、「データベース」、「データストア」、などの単語は、本明細書において使用されるとき、ハードウェアまたはファームウェアに具現化されたロジック、あるいは、おそらくは入口点および出口点を有し、例えばＪａｖａ、Ｃ、またはＣ＋＋などのプログラミング言語で記述されたソフトウェア命令の集合を指すことができる。ソフトウェアコンポーネントは、実行可能プログラムへとコンパイルおよびリンクされてよく、動的リンクライブラリにインストールされてよく、あるいは、例えばＢＡＳＩＣ、Ｐｅｒｌ、またはＰｙｔｈｏｎなどのインタープリタ式プログラミング言語で記述されてよい。ソフトウェアコンポーネントが、他のコンポーネントまたはソフトウェアコンポーネント自身から呼び出し可能であってよく、さらには／あるいはイベントまたは割り込みの検出に応答して呼び出されてよいことが理解されよう。コンピューティングデバイス上で実行されるように構成されたソフトウェアコンポーネントは、コンパクトディスク、デジタルビデオディスク、フラッシュドライブ、磁気ディスク、または任意の他の有形の媒体などのコンピュータ可読媒体上で提供されてよく、あるいはデジタルダウンロードとして提供されてよい（当初は圧縮形式またはインストール可能形式で格納されていて、実行に先立ってインストール、解凍、または復号が必要であってもよい）。そのようなソフトウェアコードは、一部分または全体が、実行用のコンピューティングデバイスのメモリデバイス上に、コンピューティングデバイスによる実行のために格納されてよい。ソフトウェア命令は、ＥＰＲＯＭなどのファームウェアに埋め込まれてもよい。ハードウェア構成要素は、ゲートおよびフリップフロップなどの接続された論理ユニットから構成されてよく、さらには／あるいはプログラマブルゲートアレイまたはプロセッサなどのプログラマブルユニットから構成されてよいことが、さらに理解されよう。
【0079】
コンピュータシステム１０００は、カスタマイズされたハードワイヤードロジック、１つ以上のＡＳＩＣまたはＦＰＧＡ、ファームウェア、および／またはコンピュータシステムとの組み合わせにおいてコンピュータシステム１０００を専用マシンにし、あるいは専用マシンとなるようにプログラムするプログラムロジックを使用して、本明細書に記載の技術を実施することができる。一実施形態によれば、本明細書の技術は、メインメモリ１００６に含まれる１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ１００４に応答して、コンピュータシステム１０００によって実行される。そのような命令は、記憶装置１０１０などの別の記憶媒体からメインメモリ１００６に読み込まれてもよい。メインメモリ１００６に含まれる命令のシーケンスの実行は、プロセッサ１００４に本明細書に記載のプロセスの各ステップを実行させる。代替的な実施形態においては、ハードワイヤード回路を、ソフトウェア命令に代え、あるいはソフトウェア命令と組み合わせて使用することができる。
【0080】
本明細書において使用されるとき、「非一時的媒体」という用語および同様の用語は、マシンを特定のやり方で動作させるデータおよび／または命令を格納する任意の媒体を指す。そのような非一時的媒体は、不揮発性媒体および／または揮発性媒体を含むことができる。不揮発性媒体は、例えば、記憶装置１０１０などの光ディスクまたは磁気ディスクを含む。揮発性媒体は、メインメモリ１００６などのダイナミックメモリを含む。非一時的媒体の一般的な形態として、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または任意の他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光学データ記憶媒体、穴のパターンを有する任意の物理的媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップまたはカートリッジ、ならびにそれらのネットワーク化バージョンを含む。
【0081】
非一時的媒体は、伝送媒体とは異なるが、伝送媒体と共に使用されてよい。伝送媒体は、非一時的媒体間の情報の転送に関与する。例えば、伝送媒体は、バス１００２を含むワイヤなど、同軸ケーブル、銅線、および光ファイバを含む。伝送媒体は、電波および赤外線データ通信中に生成されるものなどの音波または光波の形態をとることができる。
【0082】
コンピュータシステム１０００は、バス１００２に接続された通信インターフェース１０１８をさらに含む。ネットワークインターフェース１０１８は、１つ以上のローカルネットワークに接続された１つ以上のネットワークリンクに結合する双方向データ通信を提供する。例えば、通信インターフェース１０１８は、対応する種類の電話回線にデータ通信接続を提供するための統合サービスデジタルネットワーク（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、またはモデムであってよい。別の例として、ネットワークインターフェース１０１８は、互換のＬＡＮへのデータ通信接続を提供するためのローカルエリアネットワーク（ＬＡＮ）カード（または、ＷＡＮと通信するＷＡＮコンポーネント）であってもよい。無線リンクが実装されてもよい。任意のそのような実装形態において、ネットワークインターフェース１０１８は、さまざまな種類の情報を表すデジタルデータストリームを搬送する電気、電磁、または光信号を送信および受信する。
【0083】
ネットワークリンクは、典型的には、１つ以上のネットワークを介して他のデータデバイスへのデータ通信を提供する。例えば、ネットワークリンクは、ローカルネットワークを介して、ホストコンピュータまたはインターネットサービスプロバイダ（ＩＳＰ）が稼働させるデータ機器への接続を提供することができる。ＩＳＰは、今や一般に「インターネット」と呼ばれているワールドワイドパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワークおよびインターネットのどちらも、デジタルデータストリームを搬送する電気、電磁、または光信号を使用する。コンピュータシステム１０００へとデジタルデータを搬送し、コンピュータシステム１０００からデジタルデータを搬送する種々のネットワークを介した信号、ならびにネットワークリンク上の通信インターフェース１０１８を介した信号が、伝送媒体の例示的な形態である。
【0084】
コンピュータシステム１０００は、ネットワーク、ネットワークリンク、および通信インターフェース１０１８を介して、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例においては、サーバが、インターネット、ＩＳＰ、ローカルネットワーク、および通信インターフェース１０１８を介して、アプリケーションプログラムのための要求されたコードを送信することができる。
【0085】
受信されたコードは、受信されたときにプロセッサ１００４によって実行されても、さらには／あるいは後の実行のために記憶装置１０１０または他の不揮発性記憶装置に格納されてもよい。
【0086】
これまでの箇所で説明したプロセス、方法、およびアルゴリズムの各々は、コンピュータハードウェアを含む１つ以上のコンピュータシステムまたはコンピュータプロセッサによって実行されるコードコンポーネントに具現化され、全体または一部が自動化されてよい。１つ以上のコンピュータシステムまたはコンピュータプロセッサは、関連の動作の「クラウドコンピューティング」環境における実行または「ソフトウェア・アズ・ア・サービス」（ＳａａＳ）としての実行をサポートするように動作することもできる。プロセスおよびアルゴリズムは、一部または全体が特定用途向け回路に実施されてもよい。上述した種々の特徴およびプロセスは、互いに独立して使用されても、さまざまなやり方で組み合わせられてもよい。さまざまな組み合わせおよび部分的な組み合わせが、本開示の範囲に含まれるように意図されており、いくつかの実装形態においては、特定の方法またはプロセスブロックが省略されてもよい。また、本明細書に記載の方法およびプロセスは、いかなる特定の順序にも限定されず、それらに関連するブロックまたは状態は、適切な他の順序で実行されても、並列に実行されても、何らかの他の様相で実行されてもよい。ブロックまたは状態が、開示された例示的な実施形態に追加されても、あるいは開示された例示的な実施形態から削除されてもよい。特定の動作またはプロセスの実行が、単一のマシン内に存在するだけでなく、いくつかのマシンにまたがって展開されて、コンピュータシステムまたはコンピュータプロセッサ間に分散されてもよい。
【0087】
本明細書において使用されるとき、回路は、任意の形態のハードウェア、またはハードウェアとソフトウェアとの組み合わせを利用して実装されてよい。例えば、１つ以上のプロセッサ、コントローラ、ＡＳＩＣ、ＰＬＡ、ＰＡＬ、ＣＰＬＤ、ＦＰＧＡ、論理コンポーネント、ソフトウェアルーチン、または他の機構を実装して、回路を構成することができる。実装において、本明細書に記載の種々の回路が個別の回路として実装されても、あるいは記載の機能および特徴の一部または全体が１つ以上の回路間で共有されてもよい。機能のさまざまな特徴または要素が、個別に説明され、あるいは別個の回路として請求項に記載されるかもしれないが、これらの特徴および機能を１つ以上の共通の回路間で共有することが可能であり、そのような説明は、そのような特徴または機能を実装するために別個の回路が必要であることを要件とするものでも、示唆するものでもない。回路の全体または一部がソフトウェアを使用して実装される場合、そのようなソフトウェアを、コンピュータシステム１０００など、そのようなソフトウェアに関して説明した機能を実行することができるコンピューティングシステムまたは処理システムで動作するように実装することができる。
【0088】
本明細書において使用されるとき、「または」という用語は、包括的な意味または排他的な意味のいずれかで解釈され得る。さらに、単数形でのリソース、動作、または構造の説明を、複数形を除外するように理解すべきではない。とりわけ「・・・できる（ｃａｎ）」、「・・・可能（ｃｏｕｌｄ）」、「・・・でよい（ｍｉｇｈｔ）」、または「・・・であり得る（ｍａｙ）」などの条件付きの言語は、とくに明記されない場合、または使用される文脈においてそのようでないと理解される場合を除き、一般に、特定の実施形態が特定の特徴、要素、および／またはステップを含むが、他の実施形態は含まないことを知らせるように意図されている。
【0089】
本明細書において使用される用語および語句、ならびにそれらの変形は、とくに明示的に述べられない限り、限定ではなく非排他として解釈されるべきである。「従来の」、「伝統的な」、「通常の」、「標準的な」、「既知の」などの修飾語、および同様の意味の用語は、記載された項目を所与の期間または所与の時点で利用可能な項目に限定するものとして解釈されるべきではなく、むしろ、現在または将来の任意の時点において利用可能または既知であってよい従来の技術、伝統的な技術、通常の技術、または標準的な技術を包含するように理解されるべきである。いくつかの事例において「１つ以上の・・・」、「少なくとも・・・」、「・・・であるが、・・・に限定されない」、などの広がる用語および表現、あるいは他の同様の表現が存在するが、そのような表現を、そのような広がる表現が存在しない事例においてより狭い場合が意図され、あるいは求められていることを意味すると解釈すべきではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【国際調査報告】