IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ スクウェア パンダ インコーポレイテッドの特許一覧

<>
  • 特表-言語教授機械 図1
  • 特表-言語教授機械 図2
  • 特表-言語教授機械 図3
  • 特表-言語教授機械 図4
  • 特表-言語教授機械 図5
  • 特表-言語教授機械 図6
  • 特表-言語教授機械 図7
  • 特表-言語教授機械 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-01
(54)【発明の名称】言語教授機械
(51)【国際特許分類】
   G09B 19/06 20060101AFI20221124BHJP
   G06F 3/16 20060101ALI20221124BHJP
   G10L 21/01 20130101ALI20221124BHJP
   G10L 13/10 20130101ALI20221124BHJP
   G09B 5/04 20060101ALI20221124BHJP
   A61B 3/113 20060101ALI20221124BHJP
   A61B 5/11 20060101ALI20221124BHJP
   A61B 5/16 20060101ALI20221124BHJP
   G06F 3/01 20060101ALI20221124BHJP
   G10L 13/00 20060101ALN20221124BHJP
【FI】
G09B19/06
G06F3/16 610
G06F3/16 620
G10L21/01
G10L13/10 114
G10L13/10 111Z
G09B5/04
A61B3/113
A61B5/11 320
A61B5/11 230
A61B5/16 110
G06F3/01 510
G06F3/01 515
G10L13/00 100Z
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2022519679
(86)(22)【出願日】2020-09-10
(85)【翻訳文提出日】2022-05-27
(86)【国際出願番号】 US2020050113
(87)【国際公開番号】W WO2021067020
(87)【国際公開日】2021-04-08
(31)【優先権主張番号】62/907,921
(32)【優先日】2019-09-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520303140
【氏名又は名称】ラーニング スクエアード インコーポレイテッド
【氏名又は名称原語表記】Learning Squared, Inc.
【住所又は居所原語表記】935 Benecia Avenue Sunnyvale, California 94085 USA
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【弁理士】
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】バトラー、アンドリュー
(72)【発明者】
【氏名】ブラウ-マッキャンドリス、ベラ
(72)【発明者】
【氏名】リー、キャリー
【テーマコード(参考)】
2C028
4C038
4C316
5E555
【Fターム(参考)】
2C028AA01
2C028BA03
2C028BA04
2C028BB04
2C028BB06
2C028BC01
2C028BD01
4C038PP01
4C038PP03
4C038PR04
4C038PS00
4C038PS01
4C038PS03
4C038PS05
4C038PS07
4C038VA04
4C038VA16
4C038VA17
4C038VA18
4C038VB04
4C038VB05
4C038VB07
4C038VB09
4C038VB12
4C038VC05
4C038VC20
4C316AA21
4C316FA19
4C316FC04
4C316FC28
5E555AA26
5E555AA46
5E555AA71
5E555AA76
5E555BA02
5E555BA03
5E555BA05
5E555BA06
5E555BA17
5E555BA38
5E555BA88
5E555BA89
5E555BB02
5E555BB03
5E555BB05
5E555BB06
5E555BB17
5E555BB38
5E555BC04
5E555CA42
5E555CA47
5E555CB44
5E555CB64
5E555CB66
5E555CB67
5E555CB69
5E555CB70
5E555CC01
5E555CC03
5E555DA01
5E555DA23
5E555DB41
5E555DB53
5E555DB57
5E555DC13
5E555DC84
5E555DD01
5E555EA05
5E555EA11
5E555EA14
5E555EA22
5E555EA23
5E555FA00
(57)【要約】
1組の機械が、言語教授ラボとして機能する。適切なハードウェア、ソフトウェア、アクセサリ、またはそれらの任意の適切な組合せによって構成されると、そうした言語教授ラボは、ビデオストリーム、オーディオストリーム、熱撮像データ、アイトラッカデータ、息アネモメータ、バイオセンサデータ、加速度計データ、深さセンサデータ、またはそれらの任意の適切な組合せなどのデータの複数のソースおよび種類にアクセスする。アクセスされたデータから、言語教授ラボは、ユーザが、例えば、語句、言い回し、または文章を発音していることを検出する。他の装置、システム、および方法も開示される。
【特許請求の範囲】
【請求項1】
方法であって、
機械の1または複数のプロセッサが、いずれもヘッドセットによって提供される外部ビデオストリームおよび内部ビデオストリームならびにオーディオストリームにアクセスする工程であって、前記ヘッドセットは、外向きカメラと、内向きカメラと、マイクロフォンと、を備え、前記外向きカメラは、前記ヘッドセットの着用者から離れて広がる外側視野を有するとともに前記外側視野から前記外部ビデオストリームを生成し、前記内向きカメラは、前記着用者に向かって広がる内側視野を有するとともに前記内側視野から前記内部ビデオストリームを生成する、工程と、
前記機械の前記1または複数のプロセッサが、前記内側視野におけるマウスジェスチャとのおよび語句の候補発音との前記外側視野における視覚的イベントの同時発生を検出する工程であって、前記視覚的イベントは前記外部ビデオストリームにおいて表されており、前記マウスジェスチャは前記内部ビデオストリームにおいて表されており、前記候補発音は前記オーディオストリームにおいて表されている、工程と、
前記機械の前記1または複数のプロセッサが、前記視覚的イベントは、データベースによって、前記語句に、また前記語句の基準発音に関連付けられていることを決定する工程と、
前記機械の前記1または複数のプロセッサが、前記マウスジェスチャとのおよび前記語句の前記候補発音との前記視覚的イベントの検出された前記同時発生に応答して、前記ヘッドセットに、前記語句の前記基準発音を前記着用者に対し提示させる提示工程と、を備える、方法。
【請求項2】
前記提示工程は、
前記語句の前記基準発音に含まれている1組の基準音素にアクセスする工程と、
前記ヘッドセットにおけるスピーカに、前記基準発音に含まれている前記1組の基準音素を再生させる工程と、を含む、請求項1に記載の方法。
【請求項3】
前記ヘッドセットの前記外向きカメラは、前記外側視野において前記語句をキャプチャし、
検出された前記同時発生において、前記外側視野における前記視覚的イベントは、前記語句を手書きすること、前記語句をなぞること、前記語句を指さすこと、前記語句をタッチすること、前記語句に下線を引くこと、および前記語句を強調すること、のうちの1つ以上を手が行うことを含む、請求項1に記載の方法。
【請求項4】
前記ヘッドセットの前記内向きカメラは、前記内側視野において前記着用者の口をキャプチャし、
検出された前記同時発生において、前記内側視野における前記マウスジェスチャは、前記着用者の前記口が、前記語句の前記候補発音に含まれている対応する候補音素を発声するように各々構成されている複数の口の形状からなる候補の組の形状に順次なることを含む、請求項1に記載の方法。
【請求項5】
前記ヘッドセットの前記内向きカメラは、前記内側視野において前記着用者の口をキャプチャし、
前記方法は、
前記内側視野の一部をクロッピングすることによって前記マウスジェスチャを匿名化する工程であって、クロッピングされた前記一部は、前記ヘッドセットの前記着用者のいずれの目も示すことなく前記マウスジェスチャを示す、工程をさらに備え、
検出された前記同時発生において、前記内側視野における匿名化された前記マウスジェスチャは、前記内側視野のクロッピングされた前記一部内にて検出される、請求項1に記載の方法。
【請求項6】
前記語句の前記基準発音に含まれている対応する基準音素を発声するように各々構成されている、複数の口の形状からなる基準の組にアクセスする工程と、
ディスプレイスクリーンに、アクセスされた口の形状の前記基準の組を前記ヘッドセットの前記着用者に対し表示させる表示工程と、をさらに備える、請求項1に記載の方法。
【請求項7】
前記ヘッドセットおよび前記ディスプレイスクリーンは、同時に、前記語句の前記基準発音を前記ヘッドセットの前記着用者に対し提示し、アクセスされた口の形状の前記基準の組を前記ヘッドセットの前記着用者に対し表示する、請求項6に記載の方法。
【請求項8】
前記表示工程は、口の形状の前記基準の組を、前記着用者の口を示す画像と組み合わせる工程と、前記ディスプレイスクリーンに、前記画像と口の形状の前記基準の組との得られた組合せを表示させる工程と、を含む、請求項6に記載の方法。
【請求項9】
前記ヘッドセットの前記外向きカメラは、前記外側視野において前記語句を表す物理模型をキャプチャし、
検出された前記同時発生において、前記外側視野における前記視覚的イベントは、前記物理模型をタッチすること、前記物理模型を掴むこと、前記物理模型を移動させること、および前記物理模型を回転させること、のうちの1つ以上を手が行うことを含む、請求項1に記載の方法。
【請求項10】
前記ヘッドセットの前記外向きカメラは、前記外側視野において前記着用者の手をキャプチャし、
検出された前記同時発生において、前記外側視野における前記視覚的イベントは、前記候補発音の訂正のための訂正要求を示すトリガジェスチャを前記手が行うことを含む、請求項1に記載の方法。
【請求項11】
前記提示工程によって、前記着用者の前記手によって行われた前記トリガジェスチャによって示された前記要求が満たされる、請求項10に記載の方法。
【請求項12】
前記マウスジェスチャとのおよび前記語句の前記候補発音との前記視覚的イベントの検出された前記同時発生に応答して提示された前記基準発音は、前記語句の非常に明瞭な発音を含む、請求項1に記載の方法。
【請求項13】
前記外向きカメラは、熱画像コンポーネントを備え、
検出された前記同時発生において、前記外側視野における前記視覚的イベントは、前記ヘッドセットの前記着用者の手の熱画像に基づいて検出される、請求項1に記載の方法。
【請求項14】
前記内向きカメラは、熱画像コンポーネントを備え、
検出された前記同時発生において、前記内側視野における前記マウスジェスチャは、前記ヘッドセットの前記着用者の舌の熱画像に基づいて検出される、請求項1に記載の方法。
【請求項15】
前記ヘッドセットは、さらなる視野を有するとともに前記さらなる視野における前記着用者の目の配向をキャプチャするように構成されているアイトラッキングカメラをさらに備え、
前記方法は、
前記着用者の前記目が見ている方向を、前記着用者の前記目の配向に基づいて決定する工程をさらに備え、
検出された前記同時発生において、前記外側視野における前記視覚的イベントは、前記着用者の前記目が見ている決定された前記方向に基づいて検出される、請求項1に記載の方法。
【請求項16】
前記ヘッドセットは、前記ヘッドセットの前記着用者の息の速度を検出するように構成されているアネモメータをさらに備え、
前記提示工程は、前記ヘッドセットの前記着用者の検出された前記息の速度に基づく、請求項1に記載の方法。
【請求項17】
前記ヘッドセットは、前記ヘッドセットの前記着用者のストレスレベルを検出するように構成されているバイオセンサをさらに備え、
前記方法は、
前記ヘッドセットの前記着用者が休憩をとる指標の提示を、前記着用者の検出された前記ストレスレベルに基づいてトリガする工程をさらに備える、請求項1に記載の方法。
【請求項18】
前記ヘッドセットは、前記ヘッドセットの前記着用者の肌条件を検出するように構成されているバイオセンサに対し通信可能に結合されており、
前記方法は、
前記基準発音が前記着用者に対し提示される再生速度を、前記バイオセンサによって検出された前記肌条件に基づいて決定する工程をさらに備え、
前記提示工程は、前記基準発音が、前記肌条件に基づいて決定された前記再生速度にて再生させられることを含む、請求項1に記載の方法。
【請求項19】
前記ヘッドセットは、前記ヘッドセットの前記着用者の心拍数を検出するように構成されているバイオセンサに対し通信可能に結合されており、
前記方法は、
前記基準発音が前記着用者に対し提示される再生速度を、前記バイオセンサによって検出された前記心拍数に基づいて決定する工程をさらに備え、
前記提示工程は、前記基準発音が、前記心拍数に基づいて決定された前記再生速度にて再生させられることを含む、請求項1に記載の方法。
【請求項20】
前記ヘッドセットは、前記ヘッドセットの前記着用者の脳波図を生成するように構成されているバイオセンサに対し通信可能に結合されており、
前記方法は、
前記基準発音が前記着用者に対し提示される再生速度を、前記バイオセンサによって検出された前記脳波図に基づいて決定する工程をさらに備え、
前記提示工程は、前記基準発音が、前記脳波図に基づいて決定された前記再生速度にて再生させられることを含む、請求項1に記載の方法。
【請求項21】
前記ヘッドセットは、前記ヘッドセットの前記着用者によって着用されたカラーに備えられた1組の加速度計に対し通信可能に結合されており、
前記方法は、
前記カラーにおける前記1組の加速度計によって生成された加速度計データに基づいて筋肉運動のパターンを検出する工程をさらに備え、
前記提示工程は、検出された前記筋肉運動のパターンに基づく、請求項1に記載の方法。
【請求項22】
前記ヘッドセットは、前記ヘッドセットの前記着用者によって着用されたカラーに備えられた1組の神経筋電気筋肉刺激器に対し通信可能に結合されており、
検出された前記筋肉運動のパターンは、前記語句の前記候補発音を発声する際に前記着用者によってなされた筋肉運動の候補パターンであり、
前記方法は、
前記語句の前記基準発音を発声するように構成されている筋肉運動の基準パターンにアクセスする工程をさらに備え、
アクセスされた前記筋肉運動の基準パターンに基づいて、前記カラーにおける前記神経筋電気筋肉刺激器に、前記着用者の1組の筋肉を刺激させる、請求項21に記載の方法。
【請求項23】
前記ヘッドセットは、レーザ光のスポットを前記外側視野においてオブジェクトの表面上に出現させることによって前記外側視野において前記オブジェクトを示すように構成されている外向きレーザエミッタを備え、
前記ヘッドセットの前記外向きカメラは、前記レーザ光のスポットと前記外側視野において示された前記オブジェクトとをキャプチャするように構成されており、
示された前記オブジェクトは、前記データベースによって、前記語句および前記語句の前記基準発音に関連付けられており、
検出された前記同時発生において、前記外側視野における前記視覚的イベントは、前記レーザ光のスポットが、前記外側視野において示された前記オブジェクトの前記表面上に出現することを含む、請求項1に記載の方法。
【請求項24】
前記ヘッドセットは、前記外側視野におけるオブジェクトに対する距離を検出するように構成されている立体深さセンサを備え、
前記ヘッドセットの前記外向きカメラは、前記ヘッドセットの前記着用者の手が、前記外側視野における前記距離にある前記オブジェクトをタッチすることによって前記オブジェクトを示すことをキャプチャするように構成されており、
示された前記オブジェクトは、前記データベースによって、前記語句および前記語句の前記基準発音に関連付けられており、
検出された前記同時発生において、前記外側視野における前記視覚的イベントは、前記着用者の前記手が、前記外側視野において示された前記オブジェクトをタッチすることを含む、請求項1に記載の方法。
【請求項25】
前記語句の候補発音における候補音素の、前記語句の前記基準発音における基準音素との比較を行う工程と、
前記候補音素の前記基準音素との前記比較に基づいて、発音チュートリアルを前記ヘッドセットの前記着用者に推薦する工程と、をさらに備える、請求項1に記載の方法。
【請求項26】
命令を備える機械可読媒体であって、前記命令は、機械の1または複数のプロセッサによる実行時、前記機械に、
いずれもヘッドセットによって提供される外部ビデオストリームおよび内部ビデオストリームならびにオーディオストリームにアクセスする工程であって、前記ヘッドセットは、外向きカメラと、内向きカメラと、マイクロフォンと、を備え、前記外向きカメラは、前記ヘッドセットの着用者から離れて広がる外側視野を有するとともに前記外側視野から前記外部ビデオストリームを生成し、前記内向きカメラは、前記着用者に向かって広がる内側視野を有するとともに前記内側視野から前記内部ビデオストリームを生成する、工程と、
前記内側視野におけるマウスジェスチャとのおよび語句の候補発音との前記外側視野における視覚的イベントの同時発生を検出する工程であって、前記視覚的イベントは前記外部ビデオストリームにおいて表されており、前記マウスジェスチャは前記内部ビデオストリームにおいて表されており、前記候補発音は前記オーディオストリームにおいて表されている、工程と、
前記視覚的イベントは、データベースによって、前記語句に、また前記語句の基準発音に関連付けられていることを決定する工程と、
前記マウスジェスチャとのおよび前記語句の前記候補発音との前記視覚的イベントの検出された前記同時発生に応答して、前記ヘッドセットに、前記語句の前記基準発音を前記着用者に対し提示させる工程と、を備える、動作を行わせる、機械可読媒体。
【請求項27】
システムであって、
1または複数のプロセッサと、
命令を記憶しているメモリと、を備え、前記命令は、前記1または複数のプロセッサのうちの1つ以上のプロセッサによる実行時、前記システムに、
いずれもヘッドセットによって提供される外部ビデオストリームおよび内部ビデオストリームならびにオーディオストリームにアクセスする工程であって、前記ヘッドセットは、外向きカメラと、内向きカメラと、マイクロフォンと、を備え、前記外向きカメラは、前記ヘッドセットの着用者から離れて広がる外側視野を有するとともに前記外側視野から前記外部ビデオストリームを生成し、前記内向きカメラは、前記着用者に向かって広がる内側視野を有するとともに前記内側視野から前記内部ビデオストリームを生成する、工程と、
前記内側視野におけるマウスジェスチャとのおよび語句の候補発音との前記外側視野における視覚的イベントの同時発生を検出する工程であって、前記視覚的イベントは前記外部ビデオストリームにおいて表されており、前記マウスジェスチャは前記内部ビデオストリームにおいて表されており、前記候補発音は前記オーディオストリームにおいて表されている、工程と、
前記視覚的イベントは、データベースによって、前記語句に、また前記語句の基準発音に関連付けられていることを決定する工程と、
前記マウスジェスチャとのおよび前記語句の前記候補発音との前記視覚的イベントの検出された前記同時発生に応答して、前記ヘッドセットに、前記語句の前記基準発音を前記着用者に対し提示させる工程と、を備える、動作を行わせる、システム。
【請求項28】
システムであって、
1または複数のプロセッサと、
命令を記憶しているメモリと、を備え、前記命令は、前記1または複数のプロセッサのうちの1つ以上のプロセッサによる実行時、前記システムに、
ヘッドセットによって両方が提供されるビデオストリームおよびオーディオストリームにアクセスする工程であって、前記ヘッドセットは、内向きカメラと、マイクロフォンと、を備え、前記内向きカメラは、前記ヘッドセットの着用者に向かって広がる内側視野を有するとともに前記内側視野から前記ビデオストリームを生成する、工程と、
前記内側視野におけるマウスジェスチャの、語句の候補発音との同時発生を検出する工程であって、前記マウスジェスチャは前記ビデオストリームにおいて表されており、前記候補発音は前記オーディオストリームにおいて表されている、工程と、
前記語句は、データベースによって、前記語句の基準発音に相関していることを決定する工程と、
前記語句の前記候補発音との前記マウスジェスチャの検出された前記同時発生に応答して、前記ヘッドセットに、前記語句の前記基準発音を前記着用者に対し提示させる工程と、を備える、動作を行わせる、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に開示される主題は、言語の教授を容易にする特定用途機械であって、そうした特定用途機械のソフトウェア構成されコンピュータ化された変形を含む、特定用途機械の技術分野に関し、また、そうした特定用途機械を言語の教授を容易にする他の特定用途機械と比較して向上させる技術に関する。特に、本開示は、語句の発音などの1または複数の言語スキルを1または複数のユーザ(例えば、生徒、子供、またはそれらの任意の適切な組合せ)に対して教授することを容易にするシステムおよび方法に対処する。
【背景技術】
【0002】
機械は、ユーザと対話する過程において、言語レッスンがディスプレイスクリーン上に示され、機械によって言語レッスンを示すGUIにおいて出現した語句を大声でユーザに読ませることを促すグラフィカルユーザインタフェース(GUI)を提示することによって言語スキルを教授するように構成されてよい。
【0003】
いくつかの実施形態は、例として示され、添付の図面の図における限定として示されるものではない。
【図面の簡単な説明】
【0004】
図1】いくつかの例示的な実施形態に係る、サーバ機械(例えば、言語教授サーバ機械)を動作させるのに適したネットワーク環境を示すネットワーク図。
図2】いくつかの例示的な実施形態に係る、サーバ機械とともに用いるのに適したヘッドセットのコンポーネントを示すブロック図。
図3】いくつかの例示的な実施形態に係る、サーバ機械とともに用いるのに適したデバイスのコンポーネントを示すブロック図。
図4】いくつかの例示的な実施形態に係る、サーバ機械のコンポーネントを示すブロック図。
図5】いくつかの例示的な実施形態に係る、言語スキル(例えば、語句の発音)を教授する方法を行う際のサーバ機械の動作を示すフローチャート。
図6】いくつかの例示的な実施形態に係る、言語スキル(例えば、語句の発音)を教授する方法を行う際のサーバ機械の動作を示すフローチャート。
図7】いくつかの例示的な実施形態に係る、言語スキル(例えば、語句の発音)を教授する方法を行う際のサーバ機械の動作を示すフローチャート。
図8】機械可読媒体からの命令を読取可能であり本明細書において説明される方法のうちの任意の1または複数を行うことができる、いくつかの例示的な実施形態に係る、機械のコンポーネントを示すブロック図。
【発明を実施するための形態】
【0005】
例示的な方法(例えば、アルゴリズム)は、言語を教授するのを容易にし、例示的なシステム(例えば、特定用途ソフトウェアによって構成された特定用途機械)は、言語を教授するのを容易にするように構成されている。例は、可能な変形形態を代表するに過ぎない。明示的に述べられない限り、構造(例えば、モジュールなどの構造的コンポーネント)は、随意であり、組み合わされまたはさらに再分割されてよく、動作(例えば、プロシージャ、アルゴリズム、または他の機能)は、順次変化してよく、または組み合わされもしくは再分割されてよい。以下の記載では、説明の目的のため、多くの特有の詳細が、様々な例示的な実施形態の十分な理解を提供するように説明される。しかしながら、本発明の主題が、これらの具体的な詳細なしに実施されてよいことが、当業者には明らかである。
【0006】
1または複数の機械(例えば、コンピュータまたは他のデバイス)からなる組は、1または複数のユーザ用の言語教授ラボ(例えば、完全にまたは部分的にウェアラブル、ポータブル、またはモバイルの言語教授研究室)として集合的に機能するように、適切なハードウェアおよびソフトウェアによって構成されてよい。そうした言語教授ラボは、例えば、口頭理解が筆記理解に先立つこと、言語の学習では聴覚音素が早く(例えば、最初に)生じること、環境雑音からの聴覚的分離(例えば、1または複数のイヤフォンによる)が言語の学習を容易にし得ること、口頭暗唱はユーザが話された音素とその音素の聴覚の記憶とを比較することを可能にすること(例えば、フィードバックループにおいて)、および、口の動き(例えば、ユーザの口による機械的な動き)が口頭の発音に関連付けられること、を含む、様々な命令原理のうちの1または複数に基づいて動作してよい。したがって、言語教授ラボの1または複数の機械は、複数のデータソースおよびデータ種類(例えば、ビデオストリーム、オーディオストリーム、熱画像データ、アイトラッカデータ、息アネモメータデータ、バイオセンサデータ、加速度計データ、深さセンサデータ、またはそれらの任意の適切な組合せ)にアクセスし、アクセスされたデータからユーザが発音したものを検出し、その語句、言い回し、または文章の基準(例えば、正しいまたは標準的な)発音の提示を行うように構成されてよい。基準発音の提示は、基準発音のオーディオを再生すること、基準発音を話す役者のビデオを再生すること、基準発音を話す口または顔のアニメーション化された模型を表示すること、基準発音を話すユーザの自身の口または顔の画像によりマッピングされたそうしたアニメーション化された模型のテクスチャを表示すること、またはそれらの任意の適切な組合せを含んでよい。
【0007】
図1は、いくつかの例示的な実施形態に係る、サーバ機械110(例えば、言語教授サーバ機械)を動作させるのに適したネットワーク環境100を示すネットワーク図である。ネットワーク環境100は、サーバ機械110と、データベース115と、ヘッドセット120と、デバイス130とを備え、すべてがネットワーク190を通じて互いに対し通信可能に結合されている。サーバ機械110は、データベース115の有無によらず、クラウド118(例えば、単一のサーバとして機能するように構成されている複数の機械からなる地理的に分散した組)のすべてまたは一部を形成してよい。クラウド118は、ネットワークベースのシステム105(例えば、1または複数のネットワークベースのサービスをヘッドセット120、デバイス130、またはその両方に提供するように構成されているクラウドベースのサーバシステム)のすべてまたは一部を形成してよい。サーバ機械110、データベース115、ヘッドセット120、およびデバイス130は、図8を参照して以下に記載される通り、特定用途(例えば、特殊化した)コンピュータシステムに、全体においてまたは一部において、各々実装されてよい。
【0008】
図1には、人(例えば、子供、生徒、言語学習者、またはそれらの任意の適切な組合せ)であり得るユーザ132も示される。より一般には、ユーザ132は、人間ユーザ(例えば、人間)、機械ユーザ(例えば、ソフトウェアプログラムによってデバイス130と対話するように構成されているコンピュータ)、またはそれらの任意の適切な組合せ(例えば、機械によって補助される人間または人間によって監督される機械)であってよい。ユーザ132は、デバイス130に関連付けられており、またデバイス130のユーザであってよい。例えば、デバイス130は、ユーザ132が所有する、デスクトップコンピュータ、ビークルコンピュータ、ホームメディアシステム(例えば、ホームシアタシステムまたは他のホームエンタテインメントシステム)、タブレットコンピュータ、ナビゲーションデバイス、ポータブルメディアデバイス、スマートフォン、またはウェアラブルデバイス(例えば、スマートウォッチ、スマートグラス、スマートクロージング、またはスマートジュエリー)であってよい。同様に、ユーザ132は、ヘッドセット120に関連付けられており、またヘッドセット120の着用者であってよい。例えば、ヘッドセット120は、ユーザ132の頭部に着用され、そこから動作してよい。いくつかの例示的な実施形態では、ヘッドセット120およびデバイスは、有線ローカルもしくはプライベートネットワーク、無線ネットワーク接続、またはそれらの任意の適切な組合せを通じてなど、互いに対し通信可能に結合されている(例えば、ネットワーク190から独立して)。
【0009】
図1に示されるシステムまたは機械(例えば、データベース、ヘッドセット、およびデバイス)のうちのいずれかは、そのシステムまたは機械(例えば、特定用途アプリケーション、オペレーティングシステム、ファームウェア、ミドルウェア、または他のソフトウェアプログラムのうちの1または複数のソフトウェアモジュールとしてなど、特定用途ソフトウェアによって構成されまたはプログラムされている)についての本明細書に記載された機能のうちの1または複数を行うように改変されている特定用途(例えば、特殊化したまたは非従来的および非一般的な)コンピュータを含むか、またはそれらに実装されてよい。例えば、本明細書に記載される方法のうちの任意の1または複数を実装することができる特定用途コンピュータシステムが、図8を参照して以下に説明され、それに応じて、そうした特定用途コンピュータは、本明細書において説明される方法のうちの任意の1または複数を行うための手段であってよい。そうした特定用途コンピュータの技術分野内では、本明細書において説明される機能を行うように本明細書において説明される構造によって特に改変されている(例えば、特定用途ソフトウェアによって構成されている)特定用途コンピュータは、本明細書において説明される構造を有しないか、または本明細書において説明される機能を行うことができない他の特定用途コンピュータと比較して、技術的に改良される。したがって、本明細書において説明されるシステムおよび方法に従って構成されている特定用途機械は、同様の特定用途機械の技術に対する改良を提供する。
【0010】
本明細書において用いられる際、「データベース」は、データストレージリソースであり、テキストファイル、表、スプレッドシート、関係データベース(例えば、オブジェクト関係データベース)、トリプルストア、階層データストア、またはそれらの任意の適切な組合せとして構造化されたデータを記憶してよい。さらに、図1に示されたシステムまたは機械のうちの任意の2つ以上は、単一のシステムまたは機械へと組み合わされてよい。任意の単一のシステムまたは機械について本明細書に記載される機能は、複数のシステムまたは機械間に再分割されてよい。
【0011】
ネットワーク190は、システム、機械、データベース、およびデバイス間(例えば、サーバ機械110とデバイス130との間)の通信を可能にするネットワークであってよい。したがって、ネットワーク190は、有線ネットワーク、無線ネットワーク(例えば、モバイルまたはセルラネットワーク)、またはそれらの任意の組合せであってよい。ネットワーク190は、プライベートネットワーク、パブリックネットワーク(例えば、インターネット)、またはそれらの任意の適切な組合せを構成する1または複数の部分を含んでよい。したがって、ネットワーク190は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、携帯電話ネットワーク(例えば、セルラネットワーク)、有線電話ネットワーク(例えば、プレインオールドテレフォンサービス(POTS)ネットワーク)、無線データネットワーク(例えば、WiFiネットワークまたはWiMaxネットワーク)、またはそれらの任意の適切な組合せを組み込む1または複数の部分を含んでよい。ネットワーク190の任意の1または複数の部分は、送信媒体により情報を通信してよい。本明細書において用いられる際、「送信媒体」は、機械による(例えば、そうした機械の1または複数のプロセッサによる)実行のための命令を通信(例えば、送信)することができる任意の無形の(例えば、一過性の)媒体を呼び、デジタルまたはアナログ通信信号またはそうしたソフトウェアの通信を行う他の無形媒体を含む。
【0012】
図2は、いくつかの例示的な実施形態に係る、ヘッドセット120のコンポーネントを示すブロック図である。ヘッドセット120は、内向きカメラ210(例えば、ヘッドセット120の着用時にユーザ132の口を向いた、または見るように配向された)、外向きカメラ220(例えば、ヘッドセット120の着用時にユーザ132の前方のエリアを向いた、または見るように配向された)と、マイクロフォン230(例えば、ユーザ132の口を向いた、または口付近に位置した)と、スピーカ240(例えば、ヘッドフォン、イヤフォン(earpiece)、イヤフォン(earbud)、またはそれらの任意の適切な組合せなどのオーディオスピーカ)と、を備えるように示される。ヘッドセットのいくつかの例示的な実施形態(例えば、いくつかのスピーチセラピー用途について)は、外向きカメラ220を省略するまたは外向きカメラ220のビデオストリームを無視する。
【0013】
ヘッドセット120はまた、熱撮像装置250と、アイトラッカ251(例えば、ヘッドセット120の着用時にユーザ132の片目または両目を向いた、または見るように配向された)と、アネモメータ252(例えば、ヘッドセット120の着用時にユーザ132の口を向いた、または口付近に位置した息アネモメータ)と、1または複数のバイオセンサ253の組(例えば、ユーザ132がヘッドセット120を着用している時に、心拍数(HR)、ガルヴァニック皮膚反応(GSR)、他の皮膚条件、またはそれらの任意の適切な組合せを測定するように位置するまたは構成される)と、を備えるように示される。
【0014】
示される例示的な実施形態では、ヘッドセット120は、1または複数の加速度計254(例えば、ヘッドセット120の着用時に、例えば、ユーザ132の口、ユーザ132の舌、ユーザ132の喉、またはそれらの任意の適切な組合せの運動を測定するように位置したまたは構成された)と、筋肉刺激器255(例えば、ヘッドセット120の着用時に、ユーザ132の1または複数の筋肉をシミュレーションするように位置したまたは構成された1または複数の神経筋電気筋肉刺激器の組)と、レーザ256(例えば、ヘッドセット120の着用時に、ユーザ132の前のエリアに向かってレーザビームを発するように向いたまたは配向された低電力または子供に安全なレーザポインタ)と、深さセンサ257(例えば、ヘッドセット120の着用時に、ユーザ132の前のエリアにおける深さデータを検出するように向けられたまたは配向された赤外または他の種類の深さセンサ)と、をさらに備える。図2に示されるように、ヘッドセット120の様々な上記のコンポーネントまたはそれらの任意のサブグループが、互いと通信する(例えば、バス、共有メモリ、またはスイッチにより)ように構成されている。
【0015】
図3は、いくつかの例示的な実施形態に係る、デバイス130のコンポーネントを示すブロック図である。デバイス130は、読取命令モジュール310(例えば、1または複数の読取チュートリアルを提示する際にユーザ132と対話するように構成されているソフトウェア制御ハードウェア)と、発声命令モジュール320(例えば、1または複数のスピーチチュートリアルを提示する際にユーザ132と対話するように構成されているソフトウェア制御ハードウェア)と、命令ゲームモジュール330(例えば、1または複数の命令ゲームを提示する際にユーザ132と対話するように構成されているソフトウェア制御ハードウェア)と、ディスプレイスクリーン340(例えば、タッチスクリーンまたは他のディスプレイスクリーン)と、を備えるように示される。図3に示されるように、デバイス130の様々な上記のコンポーネントまたはそれらの任意のサブグループが、互いと通信する(例えば、バス、共有メモリ、またはスイッチにより)ように構成されている。
【0016】
図3に示されるように、読取命令モジュール310、発声命令モジュール320、命令ゲームモジュール330、またはそれらの任意の組合せは、デバイス130上に(例えば、デバイス130によってネットワーク190を介して受信されているデータに応答してまたはそのデータの結果として)記憶されている(例えば、インストールされている)アプリ300(例えば、モバイルアプリ)のすべてまたは一部を形成してよい。さらに、1または複数のプロセッサ399(例えば、ハードウェアプロセッサ、デジタルプロセッサ、またはそれらの任意の適切な組合せ)が、アプリ300、読取命令モジュール310、発声命令モジュール320、命令ゲームモジュール330、またはそれらの任意の適切な組合せに含まれてよい(例えば、一時的にまたは永久に)。
【0017】
図4は、いくつかの例示的な実施形態に係る、サーバ機械110のコンポーネントを示すブロック図である。サーバ機械110は、データアクセスモジュール410と、データ解析モジュール420と、発音訂正モジュール430と、を備えるように示され、すべてが互いと通信する(例えば、バス、共有メモリ、またはスイッチにより)ように構成されている。
【0018】
図4に示されるように、データアクセスモジュール410、データ解析モジュール420、および発音訂正モジュール430は、サーバ機械110上に(例えば、ネットワーク190を介して受信されているデータに応答してまたはそのデータの結果として)記憶されている(例えば、インストールされている)アプリ400(例えば、サーバ側アプリ)のすべてまたは一部を形成してよい。さらに、1または複数のプロセッサ499(例えば、ハードウェアプロセッサ、デジタルプロセッサ、またはそれらの任意の適切な組合せ)が、アプリ400、読取命令モジュール410、発声命令モジュール420、命令ゲームモジュール430、またはそれらの任意の適切な組合せに含まれてよい(例えば、一時的にまたは永久に)。
【0019】
本明細書に記載されるコンポーネント(例えば、モジュール)のうちの任意の1または複数は、ハードウェアだけ(例えば、必要に応じて、プロセッサ399のうちの1もしくは複数、またはプロセッサ499のうちの1もしくは複数)またはハードウェアとソフトウェアとの組合せを用いて実装されてよい。例えば、本明細書に記載される任意のコンポーネントは、必要に応じて、そのコンポーネントが本明細書に記載される動作を行うように構成されたプロセッサ399または499の1または複数の配列(例えば、プロセッサ399または499のうちの、またはそれらの間の)を物理的に備えてよい。別の例として、本明細書に記載される任意のコンポーネントは、必要に応じて、そのコンポーネントが本明細書に記載される動作を行うように、プロセッサ399または499の1または複数の配列を構成するソフトウェア、ハードウェア、またはその両方を備えてよい。したがって、本明細書に記載される様々なコンポーネントは、様々な時点にてプロセッサ399または499の様々な配列を、または様々な時点にてプロセッサ399または499の単一の配列を構成する。本明細書に記載される各コンポーネント(例えば、モジュール)は、そのコンポーネントが本明細書に記載される動作を行うための手段の例である。さらに、本明細書に記載される任意の2つ以上のコンポーネントは、単一のコンポーネントへと組み合わされてよい。単一のコンポーネントについて本明細書に記載される機能は、複数のコンポーネント間に再分割されてよい。さらに、様々な例示的な実施形態によれば、単一のシステムまたは機械(例えば、単一のデバイス)内に実装されるように本明細書に記載されるコンポーネントは、複数のシステムまたは機械(例えば、複数のデバイス)にわたって分散してよい。
【0020】
様々な例示的な実施形態によれば、ヘッドセット120、サーバ機械110、デバイス130、またはそれらの任意の組合せは、ユーザ132用のモバイル言語学習ラボとして機能する。そうした言語学習ラボは、1または複数の言語スキルにおける命令、それらの言語スキルにおける訓練、またはその両方をユーザ132に提供する。この言語学習ラボは、発音解析、文脈の読取、運動筋肉記憶回想解析、聴覚的フィードバック、再生オブジェクト識別、手書き認識、ジェスチャ認識、アイトラッキング、バイオメトリクス解析、またはそれらの任意の適切な組合せを提供することによって向上し得る。
【0021】
図5図7は、いくつかの例示的な実施形態に係る、言語スキル(例えば、語句の発音)を教授する方法500を行う際のサーバ機械110の動作を示すフローチャートである。方法500における動作は、サーバ機械110、ヘッドセット120、デバイス130、またはそれらの任意の適切な組合せによって、図2図4に関して上記されたコンポーネント(例えば、モジュール)を用いて、またはそれらの任意の適切な組合せを用いて行われてよい。図5に示されるように、方法500は、動作510,520,530および540を備える。
【0022】
動作510では、データアクセスモジュール410は、2つのビデオストリームおよびオーディオストリームにアクセスする。特に、アクセスされたストリームは、外向きカメラ220、内向きカメラ210、およびマイクロフォン230を備えるヘッドセット120によっていずれも提供された、外部および内部ビデオストリーム(例えば、外部ビデオストリームおよび内部ビデオストリーム)およびオーディオストリームであるか、それらを含む。ヘッドセット120の外向きカメラ220は、ヘッドセット120の着用者(例えば、ユーザ132)から離れて広がる外側視野を有する。外向きカメラ220は、外側視野に基づいて(例えば、外側視野を用いて、または外側視野から)外部ビデオストリームを生成する。ヘッドセット120の内向きカメラ210は、ヘッドセット120の着用者に向かって広がる内側視野を有する。内向きカメラ210は、内側視野に基づいて(例えば、内側視野を用いて、または内側視野から)内部ビデオストリームを生成する。オーディオストリームは、マイクロフォン230によって生成される。ヘッドセットが外向きカメラ220を省略するまたは外部ビデオストリーム(例えば、いくつかのスピーチセラピー用途について)を無視する例示的な実施形態では、データアクセスモジュール410は、外部ビデオストリームを同様に省略するまたは無視する。
【0023】
動作520では、データ解析モジュール420は、動作510においてアクセスされたストリームに基づいて、3つの同時発生、すなわち、外側視野における視覚的イベント、内側視野におけるマウスジェスチャ、および語句の候補発音が検出される。視覚的イベントは、アクセスされた外部ビデオストリームにおいて表され、マウスジェスチャはアクセスされた内部ビデオストリームにおいて表され、候補発音は、アクセスされたオーディオストリームにおいて表される。ヘッドセットが外向きカメラ220を省略するまたは外部ビデオストリーム(例えば、いくつかのスピーチセラピー用途について)を無視する例示的な実施形態では、データ解析モジュール420は、2つのこと、すなわち、内側視野におけるマウスジェスチャおよび語句の候補発音の同時発生を検出する。
【0024】
動作530では、発音訂正モジュール430は、視覚的イベントがデータベース115によって語句に関連付けられており、語句の基準発音に関連付けられていることを決定する(例えば、データベース115をクエリすることによって)。この決定は、随意では、外部視野内において、語句の出現を認識すること(例えば、随意の文字認識により)またはその語句に関連付けられたオブジェクトを認識すること(例えば、形状認識により)によって行われてよい。ヘッドセットが外向きカメラ220を省略するまたは外部ビデオストリーム(例えば、いくつかのスピーチセラピー用途について)を無視する例示的な実施形態では、発音訂正モジュール430は、語句がその語句の基準発音に関連付けられていることを決定する(例えば、データベース115をクエリすることによって)。
【0025】
動作540では、発音訂正モジュール430は、マウスジェスチャを伴い語句の候補発音を伴う視覚的イベントの検出された同時発生に応答して、ヘッドセット120に、語句の基準発音を着用者に対し提示させる(例えば、例えば、遠隔操作信号によりトリガする、制御する、命令する)。ヘッドセットが外向きカメラ220を省略するまたは外部ビデオストリーム(例えば、いくつかのスピーチセラピー用途について)を無視する例示的な実施形態では、発音訂正モジュール430は、語句の候補発音を伴うマウスジェスチャの検出された同時発生に応答して、ヘッドセット120に、その語句の基準発音を提示させる。
【0026】
図6に示されるように、前に記載された動作の任意の1または複数に加えて、方法500は、動作620,621,622,623,640,641,650,651および660のうちの1または複数を備えてよい。動作620,621,622および623のうちの1または複数は、動作520の一部(例えば、先行タスク、サブルーチン、または部分)として行われてよい。動作520では、データ解析モジュール420が、内側視野におけるマウスジェスチャを伴う、またオーディオストリームに候補発音を伴う、外側視野における視覚的イベントの3通りの同時発生を検出する。
【0027】
動作620では、視覚的イベントを検出する工程のすべてまたは一部として、データ解析モジュール420は、ハンドジェスチャ、すなわちユーザ132の手によってなされ可視の語句(例えば、外側視野内におけるデバイス130によって表示された)上またはその語句付近にて生じたタッチを検出する。近さについての関連する閾値は、可視の語句を外側視野において可視である任意の他の語句から識別するのに十分な距離であってよい。例えば、検出されたハンドジェスチャは、可視の語句を指さしてよく、または可視の語句を識別してよい(例えば、可視の語句を読むまたは発音する際の補助の要求を示すように)。例えば、検出されたハンドジェスチャは、可視の語句に向いてよく、または可視の語句を識別してよい(例えば、可視の語句を読むまたは発音する際の補助の要求を示すように)。さらなる例として、データ解析モジュール420は、可視の語句を手書きするまたはなぞるユーザ132の手を検出してよい(例えば、可視の語句を読むまたは発音する際の補助の要求を示すように)。またさらなる例として、データ解析モジュール420は、可視の語句に下線を引くまたは可視の語句を強調(ハイライト)するユーザ132の手を検出してよい(例えば、可視の語句を読むまたは発音する際の補助の要求を示すように)。したがって、外側視野において検出された視覚的イベントは、語句を手書きする、語句をなぞる、語句を指さす、語句をタッチする、語句に下線を引く、語句を強調する、またはそれらの任意の適切な組合せを行うユーザ132の手を含んでよい。検出されたハンドジェスチャまたはハンドタッチに応答して、ハンドジェスチャまたはハンドタッチによって識別された可視の語句は、マイクロフォン230によって生成されたオーディオストリームにおいて候補発音が表される語句として扱われてよい。
【0028】
動作621では、視覚的イベントを検出する工程のすべてまたは一部として、データ解析モジュール420は、語句を表す物理オブジェクトをタッチするまたはその物理オブジェクトを移動させるユーザ132の手を検出する。ここで、物理オブジェクトは、外側視野内において可視である。例えば、物理オブジェクトは、馬または犬などの動物の模型であってよい。または、物理オブジェクトは、語句が上にプリントされたまたは表示された玩具またはブロックであってよい。物理オブジェクトの移動は、外側視野内の空間における回転、外側視野内の空間における並進、もしくはその両方であってよく、またはそれらを含んでよい。したがって、外側視野において検出された視覚的イベントは、物理オブジェクト(例えば、物理模型)をタッチする、物理オブジェクトを掴む、物理オブジェクトを移動させる、物理オブジェクトを回転させる、または任意の適切な組合せを行う、ユーザ132の手を含んでよい。ユーザ132の手による物理オブジェクトの検出されたタッチまたは移動に応答して、その物理オブジェクトに関連付けられている(例えば、物理オブジェクトによって表示されているまたはデータベース115によって物理オブジェクトに関連付けられている)語句は、マイクロフォン230によって生成されたオーディオストリームにおいて候補発音が表されている語句として扱われてよい。
【0029】
動作622では、視覚的イベントを検出する工程のすべてまたは一部として、データ解析モジュール420は、外側視野内においてユーザ132の手によって行われたトリガジェスチャを検出する。例えば、トリガジェスチャは、所定の手の形状、1または複数の指による所定のポーズ、手による所定の動き、もしくはそれらの任意の適切な組合せを行うことであってよく、またはそれらを含んでよい。検出されたトリガジェスチャに応答して、マイクロフォン230によって生成されたオーディオストリームにおいて候補発音が表されている語句は、その語句を読み取るまたは発音する補助を要求する(例えば、マイクロフォン230によって生成されたオーディオストリームにおいて表されている候補発音の訂正を要求する)ように識別されてよい。
【0030】
動作623では、視覚的イベントを検出する工程のすべてまたは一部として、データ解析モジュール420は、外側視野における物理オブジェクトの表面上のレーザスポット(例えば、レーザ光の輝点)を検出する。例えば、ヘッドセット120は、外側視野におけるオブジェクトの表面上にレーザのスポットが出現するようにすることによって外側視野におけるオブジェクトを示すように構成されている、外向きレーザ256(例えば、レーザポインタまたは他のレーザエミッタ)を備えてよい。また、ヘッドセット120の外向きカメラ220は、レーザ光のスポットおよび外側視野における示されたオブジェクトをキャプチャするように構成されてよい。したがって、外側視野において検出された視覚的イベントは、外側視野における物理オブジェクトの表面上に出現しているレーザ光のスポットを含んでよい。物理オブジェクトの表面上に出現しているレーザ光の検出されたスポットに応答して、物理オブジェクトに関連付けられている(例えば、データベース115によって物理オブジェクトに関連付けられている)語句は、マイクロフォン230によって生成されたオーディオストリームにその語句についての候補発音が表されている語句として扱われてよい。
【0031】
動作640および641のうちの1または複数は、動作540の一部(例えば、先行タスク、サブルーチン、または部分)として行われてよい。動作540では、発音訂正モジュール430は、ヘッドセット120に、ヘッドセット120の着用者(例えば、ユーザ132)に対し語句の基準発音を提示させる。
【0032】
動作640では、発音訂正モジュール430は、語句の基準発音に含まれる1組の基準音素にアクセスする。その1組の基準音素は、データベース115に記憶され、データベース115からアクセスされてよい。
【0033】
動作641では、発音訂正モジュール430は、ヘッドセット120におけるスピーカ240に、動作640においてアクセスされた1組の基準音素を再生させる。図7に関して以下に説明されるように、基準音素が再生される速度は、異なってよく、また様々な要因に基づいて決定されてよい。図6を参照すると、動作650,651および660のうちの1または複数は、動作510の後の任意の時点にて行われてよく、示される例示的な実施形態を通じて、動作540の後に行われるそれらの動作を示してよい。
【0034】
動作650では、発音訂正モジュール430は、各々が語句の基準発音に含まれる対応する基準音素を話すように構成されている、口の形状の基準の組(口の形状の画像または模型)にアクセスする。口の形状の基準の組は、データベース115に記憶され、データベース115からアクセスされてよい。いくつかの例示的な実施形態では、発音訂正モジュール430は、口の形状の基準の組と組み合わせる(例えば、その組に対しテクスチャマッピングする、またはその組によりモーフィングする)ために、ユーザ自身の口または顔の画像にもアクセスする(例えば、データベース115から)。
【0035】
動作651では、発音訂正モジュール430は、ディスプレイスクリーンに、アクセスされた口の形状の基準の組をヘッドセット120の着用者に対し表示させる。いくつかの例示的な実施形態では、ヘッドセット120およびディスプレイスクリーン(例えば、ディスプレイスクリーン340)は、語句の基準発音をヘッドセット120の着用者に対し同時に提示させられ(例えば、オーディオ形態により)、アクセスされた口の形状の基準の組をヘッドセット120の着用者に対し表示させられる(例えば、ディスプレイスクリーン340上に視覚的形態により)。いくつかの例示的な実施形態では、発音訂正モジュール430は、口の形状の基準の組を、ユーザ自身の口または顔の画像と組み合わせ(例えば、テクスチャマッピングする、またはモーフィングする)、ディスプレイスクリーンに、得られた組合せを提示させる(例えば、語句の基準発音をと同時に)。
【0036】
動作660では、ヘッドセット120の内向きカメラ210が、内側視野におけるヘッドセット120の着用者の口をキャプチャしている。また、データ解析モジュール420は、内側視野の一部をクロッピングすることによってマウスジェスチャを匿名化する。得られたクロッピングされた部分は、ヘッドセット120の着用者のいずれの目も示すことなくマウスジェスチャを示す。この限定された記載は、顔認証ソフトウェアによって使用可能な顔の特徴(例えば、片目または両目)をキャプチャするのを避けるのが有益である状況など、着用者のプライバシが維持されるのに重要である状況において有用であり得る。そうした例示的な実施形態では、内側視野において匿名化されたマウスジェスチャは、内側視野のクロッピングされた部分内において検出される。
【0037】
図7に示されるように、前に記載された動作のうちの任意の1または複数に加えて、方法500は、動作710,711,712,713,714,715,716,730,750,751,760および761のうちの1または複数を含んでよい。動作710~716のうちの1または複数は、動作520の前に行われてよい。動作520では、データ解析モジュール420が、外側視野における視覚的イベントの、内側視野におけるマウスジェスチャとの、およびオーディオストリームにおける候補発音との3通りの同時発生を検出する。様々な例示的な実施形態によれば、同時発生の検出は、動作710~716のうちの1または複数においてアクセスされたデータによって検出可能な1または複数の要因(例えば、条件)にさらに基づいてよい。
【0038】
動作710では、データアクセスモジュール410は、ヘッドセット120の着用者(例えば、ユーザ)の手の熱画像にアクセスする。例えば、外向きカメラ220は、外側視野内のオブジェクトの熱撮像コンポーネントをキャプチャするように構成された熱撮像コンポーネント(例えば、熱撮像装置250または同様のもの)を備えてよく、または、熱撮像コンポーネント(例えば、熱撮像装置250)は、ヘッドセット120の別個のコンポーネントであってよく、外側視野におけるオブジェクトの熱画像をキャプチャするように向けられてよい。したがって、外側視野における視覚的イベントは、ヘッドセットの着用者の手の熱画像に基づいて検出されてよい。
【0039】
動作711では、データアクセスモジュール410は、ヘッドセット120の着用者(例えば、ユーザ132)の口の熱画像(例えば、舌を示す、または舌、舌の部分、もしくはその両方の形状を示す)にアクセスする。例えば、内向きカメラ210は、内側視野内のオブジェクトの熱画像をキャプチャするように構成されている熱撮像コンポーネント(例えば、熱撮像装置250または同様のもの)を備えてよい。または、熱撮像コンポーネント(例えば、熱撮像装置250)は、ヘッドセット120の別個のコンポーネントであってよく、内側視野におけるオブジェクトの熱画像をキャプチャするように向けられてよい。したがって、内側視野におけるマウスジェスチャは、ヘッドセット120の着用者の口の熱画像に基づいて検出されてよい。
【0040】
動作712では、データアクセスモジュール410は、ヘッドセット120の着用者(例えば、ユーザ132)の目の配向を示すアイトラッカデータにアクセスする。例えば、ヘッドセット120は、アイトラッキングカメラ(例えば、アイトラッカ251)をさらに備えてよい。アイトラッキングカメラは、さらなる視野を有してよく、さらなる視野における着用者の片目または両目の配向をキャプチャするように構成されてよい。したがって、データ解析モジュール420は、着用者の片目または両目が見ている方向を、アイトラッカデータに示されている目の配向に基づいて決定してよい。また、外側視野における視覚的イベントは、着用者の目が見ている観察方向に基づいて検出されてよい。例えば、決定された観察方向は、視覚的イベント(例えば、マイクロフォン230によって生成されたオーディオストリームにおいて候補発音が表されている語句の曖昧さ回避または識別)を検出するための基礎であってよい。
【0041】
動作713では、データアクセスモジュール410は、ヘッドセット120の着用者(例えば、ユーザ132)の1または複数の息の速度を示すアネモメータデータにアクセスする。例えば、ヘッドセット120は、ヘッドセット120の着用者の口に入るまたは口から出る息の速度を検出するように構成されているアネモメータ(例えば、アネモメータ252)を備えてよい。したがって、動作540においてヘッドセット120に語句の基準発音を提示させる工程は、ヘッドセット120の着用者の検出された息の速度に基づいてよい。例えば、アネモメータデータがその語句の不適切な呼吸を示す場合、発音訂正モジュール430は、その語句の非常に明瞭な基準発音を生成するもしくはその基準発音にアクセス(例えば、データベース115から)してよく、または、その語句の非常に明瞭な基準発音を取得し、その非常に明瞭な発音をヘッドセット120の着用者に対し提示(例えば、再生)してよい。
【0042】
動作714では、データアクセスモジュール410は、ヘッドセット120の着用者(例えば、ユーザ132)の1または複数の生理学的条件を示すバイオセンサデータにアクセスする。バイオセンサデータは、ヘッドセット120に備えられているまたはヘッドセット120に対し通信可能に結合されている1または複数のバイオセンサ(例えば、バイオセンサ253)からアクセスされてよい。例えば、バイオセンサ253のうちの1または複数は、ヘッドセット120内に位置してよく、ヘッドセット120に対し通信可能に結合されてよく、または着用者の心拍数、着用者のガルヴァニック皮膚反応、着用者の1または複数他の肌条件(例えば、温度または弾性)、着用者の脳波、着用者の1または複数の脳状態、もしくはそれらの任意の適切な組合せを計測するように構成されてよい。したがって、発音訂正モジュール430は、アクセスされたバイオセンサデータに示された情報に基づいて、語句の基準発音が再生される(例えば、着用者に対して)速度を決定してよい。
【0043】
動作715では、データアクセスモジュール410は、ヘッドセット120の着用者(例えば、ユーザ132)による1または複数の筋肉運動を示す加速度計データにアクセスする。加速度計データは、ヘッドセット120に備えられているまたはヘッドセット120に対し通信可能に結合されている1または複数の加速度計(例えば、加速度計254)からアクセスされてよい。例えば、加速度計254のうちの1または複数は、ヘッドセット120内に位置してよく、ヘッドセット120に対し通信可能に結合されてよく(例えば、ヘッドセット120の着用者によって着用されたカラー(首襟)に備えられる)、または着用者によって語句の候補発音が行われている間になされる1または複数の筋肉運動を検出する(例えば、測定によって)ように構成されてよい。したがって、発音訂正モジュール430は、アクセスされた加速度計データに基づいて、筋肉運動のパターンを検出してよい。また、動作時にヘッドセット120に語句の基準発音を提示させる工程は、検出された筋肉運動のパターンに基づいてよい。例えば、加速度計データが、その語句の候補発音が行われる際に筋肉運動の不適切なパターンを示す場合、発音訂正モジュール430は、その語句の非常に明瞭な基準発音を生成するもしくはその基準発音にアクセス(例えば、データベース115から)してよく、または、その語句の非常に明瞭な基準発音を取得し、その非常に明瞭な発音をヘッドセット120の着用者に対し提示(例えば、再生)してよい。
【0044】
動作716では、データアクセスモジュール410は、外側視野におけるオブジェクトに対する距離を示す深さセンサデータにアクセスする。深さセンサデータは、ヘッドセット120に備えられているまたはヘッドセット120に対し通信可能に結合されている1または複数の深さセンサ(例えば、深さセンサ257)からアクセスされてよい。例えば、深さセンサ257は、外側視野内の物理オブジェクトに対する距離を検出するように構成されている立体赤外深さセンサであってよい。いくつかの例示的な状況では、ヘッドセット120の外向きカメラ220は、深さセンサによって検出された距離にある物理オブジェクトをタッチすることによって外側視野における物理オブジェクトを示す、ヘッドセット120の着用者(例えば、ユーザ132)の手をキャプチャするように構成されている。さらに、示されたオブジェクトは、マイクロフォン230によって生成されたオーディオストリームに候補発音が表されている語句に関連付けられていてよく、その語句の基準発音にも関連付けられていてよい。したがって、外側視野における視覚的イベントは、外側視野における示されたオブジェクトをタッチする着用者の手であってよく、またはその手を含んでよい。
【0045】
動作730では、発音訂正モジュール430は、語句の基準発音が再生される速度を決定する。例えば、発音訂正モジュール430は、基準発音についての再生速度(例えば、1x,0.9x,1.2xまたは0.5x)を決定してよい。また、再生速度は、動作712~715のうちの1または複数からの結果に基づいて決定されてよい。一例として、データ解析モジュール420は、ヘッドセット120の着用者(例えば、ユーザ132)が、語句の候補発音を行う際のストレスの状態、疲労、フラストレーション、または他の生理学的に検出可能な状態を示したことを検出してよい。また、この検出は、動作712においてアクセスされたアイトラッカデータ、動作713においてアクセスされたアネモメータデータ、動作714においてアクセスされたバイオセンサデータ、動作715においてアクセスされた加速度計データ、またはそれらの任意の適切な組合せに基づいてよい。検出された状態に基づいて、発音訂正モジュール430は、基準発音の再生速度を変化させてよい。したがって、動作540においてヘッドセット120に語句の基準発音を提示させる工程は、動作730において決定された再生速度に基づいてよい。また、基準発音は、結果的に、その再生速度にて再生されてよい。
【0046】
ある例示的な実施形態では、発音訂正モジュール430は、動作730を行う際、基準発音が再生される速度が、ゼロまたは速度についてナル値であることを決定する。特に、データ解析モジュール420が、語句の候補発音を行う際に十分に高いストレスの状態、疲労、フラストレーション、または他の生理学的に検出可能な状態を検出する(例えば、閾値レベルを超える)場合、発音訂正モジュール430は、着用者(例えば、ユーザ132)が休憩をとることと、回復時間の期間後に語句の候補発音を行うことを再開することと、の示唆、推薦、または他の指標をトリガする。そうした状況では、語句の基準発音の再生は、省略されてよく、または、休憩をとるためのトリガされた示唆、推薦、または他の指標により置き換えられてよい。
【0047】
動作750では、発音訂正モジュール430は、語句の基準発音を話すように構成された筋肉運動の基準パターンにアクセスする。例えば、筋肉運動の基準パターンは、データベース115に記憶されてよく、またデータベース115からアクセスされてよい。
【0048】
動作751では、発音訂正モジュール430は、1または複数の筋肉刺激器(例えば、神経筋電気筋肉刺激器であるまたは神経筋電気筋肉刺激器を含み得る筋肉刺激器255)に、ヘッドセット120の着用者(例えば、ユーザ132)の1または複数の筋肉からなる組を刺激させる。一例として、筋肉刺激器255は、ヘッドセット120に備えられてよく、ヘッドセット120に対し通信可能に結合されてよく(例えば、ヘッドセット120に対し通信可能に結合されているカラーに備えられる)、または着用者の筋肉の組を刺激するように構成されてよい。したがって、筋肉の組は、筋肉運動の基準パターンに従って運動させられてよい(例えば、神経筋電気刺激(NMES)により)。いくつかの例示的な実施形態では、筋肉の動きのこの原因は、動作540の1または複数の繰り返しとともに行われる。動作540では、語句の基準発音は、ヘッドセット120の着用者に対し提示される(例えば、着用者が語句の基準発音をどのように明瞭に発音するかまたは行うかを練習するのを補助するように)。
【0049】
動作760では、発音訂正モジュール430は、語句の候補発音を語句の基準発音と比較する。この比較は、候補発音に含まれる順次第1の音素が基準発音に含まれる対応する第1の音素と比較されるように、候補発音に含まれる順次第2の音素が基準発音に含まれる対応する第2の音素と比較されるようになど、音素ごとの基準にてなされてよい。
【0050】
動作761は、動作760において行われた比較に基づいて、発音訂正モジュール430は、ヘッドセット120の着用者(例えば、ユーザ132)に対し発音チュートリアルを推薦する。例えば、発音訂正モジュールは、発音チュートリアルが着用者に対し推薦されている指標(例えば、ダイアログボックス、アラート、オーディオメッセージ、それらの任意の適切な組合せ)を提示させてよい。いくつかの例示的な実施形態では、着用者は、推薦の受諾に反応することが可能である。また、推薦の受諾に応答して、発音訂正モジュール430は、読取命令モジュール310に、語句を読む際に用いられる1または複数の読取スキルを教授する読取チュートリアルの提示を開始させてよく、発声命令モジュール320に、語句を発音する際に用いられる1または複数の発声スキルを教授するスピーチチュートリアルの提示を開始させてよく、命令ゲームモジュール330に、読取スキルまたは発声スキルのうちの1または複数を教授する命令ゲームを開始させてよく、またはそれらの任意の適切な組合せを行わせてよい。
【0051】
様々な例示的な実施形態によれば、本明細書において記載される方法のうちの1または複数は、言語の教授を容易にしてよく、または別の視点から、言語の学習を容易にしてよい。さらに、本明細書において記載される方法のうちの1または複数は、音素、語句、文、またはそれらの任意の適切な組合せの適切な発音を聞く、練習する、および訂正する際に、ユーザ132に命令するのを容易にしてよい。したがって、本明細書において記載される方法のうちの1または複数は、前から存在するシステムおよび方法の性能と比較して、言語の学習者の学習を容易にすることによって、言語の教授を容易にしてよい。
【0052】
これらの効果が集約して考慮されるとき、本明細書において記載される方法のうちの1または複数は、言語指導または言語学習に伴うある努力または資源の必要性を取り除き得る。言語スキルを学習する際にユーザによって、そうした言語スキルを教授する言語教師によって、またはその両方によってなされる努力は、本明細書において記載される方法のうちの1または複数を実装する特定用途機械の使用によって減少し得る。1または複数のシステムまたは機械(例えば、ネットワーク環境100内の)によって用いられるコンピュータ資源は、同様に減少し得る(例えば、本明細書において説明される構造を有しないまたは本明細書において説明される機能を行うことができないシステムまたは機械と比較して)。そうしたコンピュータ資源の例は、プロセッササイクル、ネットワークトラフィック、計算容量、メインメモリ使用量、グラフィクスレンダリング容量、グラフィックメモリ使用量、データストレージ容量、電力消費量、および冷却容量を含む。
【0053】
図8は、いくつかの例示的な実施形態による、機械可読媒体822(例えば、非一過性の機械可読媒体、機械可読記憶媒体、コンピュータ可読記憶媒体、またはそれらの任意の適切な組み合わせ)から命令824を読み取ることができ、本明細書で議論される方法論のうちの任意の1つまたは複数を全体または部分的に実行することができる、機械800の構成要素を示すブロック図である。具体的には、図8は、コンピュータシステム(例えば、コンピュータ)の例示的な形態の機械800を示しており、その中では、機械800に本明細書で論じられる方法論のうちの任意の1つまたは複数を実行させるための命令824(例えば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリ、または他の実行可能コード)が、全体または部分的に実行され得る。
【0054】
代替的な実施形態では、機械800は、スタンドアロンデバイスとして動作するか、または他の機械に通信可能に結合(例えば、ネットワーク化)されてもよい。ネットワーク化された展開では、機械800は、サーバ・クライアントネットワーク環境におけるサーバ機械またはクライアント機械の能力で動作してもよく、あるいは、分散型(例えば、ピアツーピア)ネットワーク環境におけるピア機械として動作してもよい。機械800は、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ(PC)、タブレットコンピュータ、ラップトップコンピュータ、ネットブック、携帯電話、スマートフォン、セットトップボックス(STB)、パーソナルデジタルアシスタント(PDA)、ウェブアプライアンス、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、または、その機械が取るべきアクションを指定する命令824を順次またはその他の方法で実行することができる任意の機械であってもよい。さらに、単一の機械のみが図示されているが、「機械」という用語は、個別にまたは共同で命令824を実行して、本明細書で議論される任意の1つまたは複数の方法論のすべてまたは一部を実行する、任意の機械の集合体も含むとみなされるものとする。
【0055】
機械800は、プロセッサ802(例えば、1つまたは複数の中央処理装置(CPU)、1つまたは複数のグラフィックス処理装置(GPU)、1つまたは複数のデジタル信号プロセッサ(DSP)、1つまたは複数の特定用途向け集積回路(ASIC)、1つまたは複数の無線周波数集積回路(RFIC)、またはそれらの任意の適切な組み合わせ)、メインメモリ804、およびスタティックメモリ806を備えており、これらは、バス808を介して互いに通信するように構成されている。プロセッサ802は、プロセッサ802が本明細書に記載されている方法論のうちの任意の1つまたは複数を全体的または部分的に実行するように構成可能であるように、命令824の一部または全部によって一時的または恒久的に構成可能なソリッドステートデジタルマイクロ回路(例えば、電子的、光学的、またはその両方)を含む。例えば、プロセッサ802の1つまたは複数のマイクロ回路のセットは、本明細書に記載された1つまたは複数のモジュール(例えば、ソフトウェアモジュール)を実行するように構成可能であってもよい。いくつかの例示的な実施形態では、プロセッサ802は、複数のコアのそれぞれが、本明細書で説明した方法論のうちの任意の1つまたは複数を全体または部分的に実行することができる別個のプロセッサとして動作する、マルチコアCPU(例えば、デュアルコアCPU、クアッドコアCPU、8コアCPU、または128コアCPU)である。本明細書に記載された有益な効果は、少なくともプロセッサ802を有する機械800によって提供されてもよいが、これらの同じ有益な効果は、プロセッサレスの機械が本明細書に記載された方法論のうちの1つまたは複数を実行するように構成されている場合、プロセッサを含まない別の種類の機械(例えば、純粋な機械システム、純粋な油圧システム、または機械-油圧ハイブリッドシステム)によって提供されてもよい。
【0056】
機械800はさらに、グラフィックディスプレイ810(例えば、プラズマディスプレイパネル(PDP)、発光ダイオード(LED)ディスプレイ、液晶ディスプレイ(LCD)、プロジェクタ、陰極線管(CRT)、またはグラフィックまたはビデオを表示することができる任意の他のディスプレイ)を備えてもよい。また、機械800は、英数字入力デバイス812(例えば、キーボードまたはキーパッド)、ポインタ入力デバイス814(例えば、マウス、タッチパッド、タッチスクリーン、トラックボール、ジョイスティック、スタイラス、モーションセンサ、アイトラッキングデバイス、データグローブ、または他のポインティングインスツルメント)、データストレージ816、オーディオ生成デバイス818(例えば、サウンドカード、アンプ、スピーカ、ヘッドフォンジャック、またはそれらの任意の適切な組み合わせ)、およびネットワークインタフェースデバイス820を備えていることができる。
【0057】
データストレージ816(例えば、データストレージデバイス)は、本明細書に記載されている方法論または機能のうちの任意の1つまたは複数を具現化する命令824が格納されている機械可読媒体822(例えば、有形かつ非一時的な機械可読記憶媒体)を含む。また、命令824は、機械800によるその実行の前または実行中に、完全にまたは少なくとも部分的に、メインメモリ804内、スタティックメモリ806内、プロセッサ802内(例えば、プロセッサのキャッシュメモリ内)、またはそれらの任意の適切な組み合わせに存在してもよい。したがって、メインメモリ804、スタティックメモリ806、およびプロセッサ802は、機械可読媒体(例えば、有形および非一時的な機械可読媒体)と見なされてもよい。命令824は、ネットワークインタフェースデバイス820を介して、ネットワーク190上で送信または受信されてもよい。例えば、ネットワークインタフェースデバイス820は、任意の1つまたは複数の転送プロトコル(例えば、ハイパーテキスト転送プロトコル(HTTP))を使用して、命令824を通信してもよい。
【0058】
いくつかの例示的な実施形態では、機械800は、ポータブルコンピューティングデバイス(例えば、スマートフォン、タブレットコンピュータ、またはウェアラブルデバイス)であってもよく、1つまたは複数の追加の入力構成要素(入力部)830(例えば、センサまたはゲージ)を有してもよい。このような入力構成要素830の例には、画像入力部(例えば、1つまたは複数のカメラ)、音声入力部(例えば、1つまたは複数のマイク)、方位入力部(例えば、コンパス)、位置入力部(例えば、全地球測位システム(GPS)受信機など)、方向計(ジャイロスコープなど)、動き検出部(1つまたは複数の加速度計など)、高度検出部(高度計など)、温度入力部(温度計など)、およびガス検出部(ガスセンサなど)が含まれる。これらの入力構成要素830のいずれか1つまたは複数によって収集された入力データは、本明細書に記載されているモジュールのいずれかによってアクセス可能であり、使用可能であってもよい(例えば、ユーザの好み、適用される規制、またはそれらの任意の適切な組み合わせに従って実装された、オプトイン同意またはオプトアウト同意などの適切なプライバシ通知および保護を伴う)。
【0059】
本明細書で使用されるように、「メモリ」という用語は、データを一時的または恒久的に保存することができる機械可読媒体を意味し、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、バッファメモリ、フラッシュメモリ、およびキャッシュメモリを含むが、これらに限定されないと捉えてよい。機械可読媒体822は、例示的な実施形態では単一の媒体であることが示されているが、「機械可読媒体」という用語は、命令を格納することができる単一の媒体または複数の媒体(例えば、集中型または分散型のデータベース、または関連するキャッシュおよびサーバ)を含むものとみなされるべきである。また、「機械可読媒体」という用語は、機械800の1つまたは複数のプロセッサ(例えば、プロセッサ802)によって実行されたときに、命令824が本明細書に記載された方法論のうちの任意の1つまたは複数を機械800に全部または一部実行させるように、機械800による実行のための命令824を運ぶ(例えば、記憶または通信する)ことができる任意の媒体、または複数の媒体の組合せを含むとみなされるものとする。したがって、「機械可読媒体」とは、単一の記憶デバイスまたはデバイスだけでなく、複数の記憶デバイスまたはデバイスを含むクラウドベースのストレージシステムまたはストレージネットワークも指す。「機械可読媒体」という用語は、それに応じて、ソリッドステートメモリチップ、光ディスク、磁気ディスク、またはそれらの任意の適切な組み合わせの例示的な形態の1つまたは複数の有形かつ非一時的なデータリポジトリ(例えば、データボリューム)を含むが、これらに限定されないものとする。
【0060】
本明細書で使用される「非一過性の」機械可読媒体は、それ自体を伝播する信号を特に除外する。様々な例示的な実施形態によれば、機械800による実行のための命令824は、キャリア媒体(例えば、機械可読キャリア媒体)を介して通信され得る。このようなキャリア媒体の例には、非一時的なキャリア媒体(例えば、或る場所から別の場所に物理的に移動可能なソリッドステートメモリなどの非一時的な機械可読記憶媒体)および一時的なキャリア媒体(例えば、命令824を通信する搬送波または他の伝搬信号)が含まれる。
【0061】
特定の例示的な実施形態は、モジュールを含むものとして本明細書に記載されている。モジュールは、ソフトウェアモジュール(例えば、機械可読媒体または伝送媒体に格納されたまたはその他の方法で具現化されたコード)、ハードウェアモジュール、またはそれらの任意の適切な組み合わせを構成することができる。「ハードウェアモジュール」とは、特定の動作を行うことができる有形の(例えば、非一時的な)物理的構成要素(例えば、1つまたは複数のプロセッサのセット)であり、特定の物理的な方法で構成または配置されていてもよい。様々な例示的実施形態において、1つまたは複数のコンピュータシステムまたはその1つまたは複数のハードウェアモジュールは、ソフトウェア(例えば、アプリケーションまたはその一部)によって、そのモジュールについて本明細書に記載されている動作を実行するように動作するハードウェアモジュールとして構成されてもよい。
【0062】
いくつかの例示的な実施形態では、ハードウェアモジュールは、機械的、電子的、油圧的、またはそれらの任意の適切な組み合わせで実装されてもよい。例えば、ハードウェアモジュールは、特定の動作を実行するように恒久的に構成された専用回路または論理を備えてもよい。ハードウェアモジュールは、フィールドプログラマブルゲートアレイ(FPGA)やASICなどの専用プロセッサであってもよいし、それを備えていてもよい。また、ハードウェアモジュールは、特定の動作を行うようにソフトウェアによって一時的に構成されたプログラマブルな論理または回路を備えていてもよい。一例として、ハードウェアモジュールは、CPUや他のプログラマブルプロセッサに包含されるソフトウェアを備えてもよい。ハードウェアモジュールを機械的に、油圧的に、専用の恒久的に構成された回路に、または一時的に構成された回路(例えば、ソフトウェアによって構成されたもの)に実装するという決定は、コストおよび時間を考慮して行われることがあることを理解されたい。
【0063】
したがって、「ハードウェアモジュール」という語句は、本明細書に記載されている特定の方法で動作したり、特定の動作を実行したりするように、物理的に構築されたり、恒久的に構成されたり(例えば、ハードワイヤード)、一時的に構成されたり(例えば、プログラムされたり)する有形の実体を包含すると理解すべきである。さらに、本明細書では、「ハードウェア実装されたモジュール」という表現は、ハードウェアモジュールを意味する。ハードウェアモジュールが一時的に構成される(例えば、プログラムされる)例示的な実施形態を考慮すると、ハードウェアモジュールの各々は、時間内の任意の1つのインスタンスで構成またはインスタンス化される必要はない。例えば、ハードウェアモジュールが、ソフトウェアによって特殊用途プロセッサになるように構成されたCPUを含む場合、CPUは、異なる時間にそれぞれ異なる特殊用途プロセッサ(例えば、それぞれが異なるハードウェアモジュールに含まれる)として構成されてもよい。ソフトウェア(例えば、ソフトウェアモジュール)は、それに応じて、例えば、或る時点では特定のハードウェアモジュールになるかまたはその他の方法で構成され、異なる時点では異なるハードウェアモジュールになるかまたはその他の方法で構成されるように、1つまたは複数のプロセッサを構成してもよい。
【0064】
ハードウェアモジュールは、他のハードウェアモジュールに情報を提供し、他のハードウェアモジュールから情報を受け取ることができる。したがって、記述されたハードウェアモジュール同士は、通信可能に結合されているとみなすことができる。複数のハードウェアモジュールが同時期に存在する場合、通信は、2つ以上のハードウェアモジュール同士間またはそれら同士間の信号伝送(例えば、回路およびバスを介して)によって達成されてもよい。複数のハードウェアモジュールが異なる時期に構成またはインスタンス化される実施形態では、そのようなハードウェアモジュール同士間の通信は、例えば、複数のハードウェアモジュールがアクセスできるメモリ構造への情報の保存および取得を通じて達成されてもよい。例えば、1つのハードウェアモジュールは、或る動作を実行し、その動作の出力を、通信可能に結合されたメモリ(例えば、メモリデバイス)に格納することができる。後日、別のハードウェアモジュールがメモリにアクセスし、保存された出力を取り出して処理することができる。また、ハードウェアモジュールは、入力デバイスまたは出力デバイスとの通信を開始することができ、リソース(例えば、コンピューティングリソースからの情報のコレクション)上で動作することができる。
【0065】
本明細書に記載されている例示的な方法の様々な動作は、関連する動作を実行するように一時的に(例えば、ソフトウェアによって)構成されているか、または恒久的に構成されている1つまたは複数のプロセッサによって、少なくとも部分的に実行されてもよい。一時的または恒久的に構成されているかどうかにかかわらず、そのようなプロセッサは、本明細書に記載されている1つまたは複数の動作または機能を実行するように動作するプロセッサ実装モジュールを構成してもよい。本明細書では、「プロセッサ実装済みモジュール」とは、ハードウェアが1つまたは複数のプロセッサを含むハードウェアモジュールを指す。したがって、プロセッサはハードウェアの一例であるため、本明細書で説明する動作は、少なくとも部分的にプロセッサ実装、ハードウェア実装、またはその両方であってもよく、本明細書で説明する方法のいずれか1つまたは複数の中の少なくとも一部の動作は、1つまたは複数のプロセッサ実装モジュール、ハードウェア実装モジュール、またはそれらの任意の適切な組み合わせによって実行されてもよい。
【0066】
さらに、そのような1つまたは複数のプロセッサは、「クラウドコンピューティング」環境において、またはサービスとして(例えば、「サービスとしてのソフトウェア」(SaaS)の実装内で)、動作を実行してもよい。例えば、本明細書で説明する方法のいずれか1つまたは複数内の少なくともいくつかの動作は、(例えば、複数のプロセッサを含む複数の機械の例として)コンピュータのグループによって実行されてもよく、これらの動作は、ネットワーク(例えば、インターネット)を介して、および1つまたは複数の適切なインタフェース(例えば、アプリケーションプログラムインタフェース(API))を介してアクセス可能である。特定の動作の実行は、単一の機械内にのみ存在するか、または複数の機械にまたがって展開されるかにかかわらず、1つまたは複数のプロセッサに分散されてもよい。いくつかの例示的な実施形態では、1つまたは複数のプロセッサまたはハードウェアモジュール(例えば、プロセッサ実装モジュール)は、単一の地理的な場所(例えば、家庭環境、オフィス環境、またはサーバファーム内)に配置されてもよい。他の例示的な実施形態では、1つまたは複数のプロセッサまたはハードウェアモジュールは、多数の地理的な場所に分散していてもよい。
【0067】
本明細書では、複数のインスタンスが、単一のインスタンスとして記述された構成要素、動作、または構造を実装することがある。1つまたは複数の方法の個々の動作が別々の動作として図示および説明されているが、個々の動作の1つまたは複数が同時に実行されてもよく、動作が図示された順序で実行されることを要求するものではない。例示された構成において、個別の構成要素および機能として提示された構造およびその機能は、結合された機能を持つ結合された構造または構成要素として実装されてもよい。同様に、単一の構成要素として提示された構造と機能は、別々の構成要素と機能として実装されてもよい。これらおよびその他の変形、修正、追加、および改良は、本明細書の主題の範囲内に入る。
【0068】
本明細書で議論される主題の一部は、メモリ(例えば、コンピュータメモリまたは他の機械メモリ)内のビットまたはバイナリデジタル信号として格納されたデータに対する動作のアルゴリズムまたは記号的表現の観点から提示されてもよい。このようなアルゴリズムまたは記号的表現は、データ処理技術に精通した当業者が、自分の仕事の本質を当業者に伝えるために使用する技術の例である。本明細書では、「アルゴリズム」とは、所望の結果を導く自己矛盾のない一連の動作または同様の処理のことである。この文脈では、アルゴリズムと動作は、物理量の物理的な動作を含む。必ずしもそうではないが、このような量は、電気信号、磁気信号、または光学信号の形をしており、機械によって保存、アクセス、転送、結合、比較、またはその他の方法で動作することができる。「データ」、「コンテンツ」、「ビット」、「値」(バリュー)、「要素」(エレメント)、「シンボル」、「キャラクター」、「用語」(ターム)、「数」(ナンバー)、「ナンバリング」(ヌーメラル)などの言葉を使って、このような信号を参照することは、主に一般的な使用方法の理由から、時に便利である。しかし、これらの言葉は単なる便利なラベルであり、適切な物理量と関連付けられるべきものである。
【0069】
特に明記しない限り、「アクセスする」、「処理する」、「検出する」、「コンピューティングする」、「計算する」、「決定する」(判定する)、「生成する」、「提示する」、「表示する」などの言葉を用いた本明細書の議論は、機械(例えば、コンピュータ)によって実行可能なアクションまたはプロセスを指す。機械(例えば、コンピュータ)は、情報を受信、保存、送信、または表示する1つまたは複数のメモリ(例えば、揮発性メモリ、不揮発性メモリ、またはそれらの適切な組み合わせ)、レジスタ、または他の機械構成要素内の物理的(例えば、電子的、磁気的、または光学的)量として表されるデータを操作または変換する。さらに、特に明記しない限り、本明細書では、特許文書で一般的なように、「a」または「an」という用語を、1つのインスタンスというよりも1つまたは複数のインスタンスを含む意味で使用している。最後に、本明細書では、特に明記しない限り、接続詞「または」は、非排他的な「または」を意味する。
【0070】
以下の列挙された説明は、本明細書で議論される方法、機械可読媒体、およびシステム(例えば、機械、デバイス、または他のデバイス)の様々な例を説明するものである。
第1の実施例は、方法であって、
機械の1または複数のプロセッサが、いずれもヘッドセットによって提供される外部ビデオストリームおよび内部ビデオストリームならびにオーディオストリームにアクセスする工程であって、前記ヘッドセットは、外向きカメラと、内向きカメラと、マイクロフォンと、を備え、前記外向きカメラは、前記ヘッドセットの着用者から離れて広がる外側視野を有するとともに前記外側視野から前記外部ビデオストリームを生成し、前記内向きカメラは、前記着用者に向かって広がる内側視野を有するとともに前記内側視野から前記内部ビデオストリームを生成する、工程と、
前記機械の前記1または複数のプロセッサが、前記内側視野におけるマウスジェスチャとのおよび語句の候補発音との前記外側視野における視覚的イベントの同時発生を検出する工程であって、前記視覚的イベントは前記外部ビデオストリームにおいて表されており、前記マウスジェスチャは前記内部ビデオストリームにおいて表されており、前記候補発音は前記オーディオストリームにおいて表されている、工程と、
前記機械の前記1または複数のプロセッサが、前記視覚的イベントは、前記データベースによって、前記語句に、また前記語句の基準発音に関連付けられていることを決定する工程と、
前記機械の前記1または複数のプロセッサが、前記マウスジェスチャとのおよび前記語句の前記候補発音との前記視覚的イベントの検出された前記同時発生に応答して、前記ヘッドセットに、前記語句の前記基準発音を前記着用者に対し提示させる提示工程と、を備える、方法を提供する。
【0071】
第2の実施例は、第1の実施例に係る方法であって、
前記提示工程は、
前記語句の前記基準発音に含まれている1組の基準音素にアクセスする工程と、
前記ヘッドセットにおけるスピーカに、前記基準発音に含まれている前記1組の基準音素を再生させる工程と、を含む、方法を提供する。
【0072】
第3の実施例は、第1の実施例または第2の実施例に係る方法であって、
前記ヘッドセットの前記外向きカメラは、前記外側視野において前記語句をキャプチャし、
検出された前記同時発生において、前記外側視野における前記視覚的イベントは、前記語句を手書きすること、前記語句をなぞること、前記語句を指さすこと、前記語句をタッチすること、前記語句に下線を引くこと、および前記語句を強調すること、のうちの1つ以上を手が行うことを含む、方法を提供する。
【0073】
第4の実施例は、第1~第3の実施例のいずれかに係る方法であって、
前記ヘッドセットの前記内向きカメラは、前記内側視野において前記着用者の口をキャプチャし、
検出された前記同時発生において、前記内側視野における前記マウスジェスチャは、前記着用者の前記口が、前記語句の前記候補発音に含まれている対応する候補音素を発声するように各々構成されている複数の口の形状からなる候補の組の形状に順次なることを含む、方法を提供する。
【0074】
第5の実施例は、第1~第4の実施例のいずれかに係る方法であって、
前記ヘッドセットの前記内向きカメラは、前記内側視野において前記着用者の口をキャプチャし、
前記方法は、
前記内側視野の一部をクロッピングすることによって前記マウスジェスチャを匿名化する工程であって、クロッピングされた前記部分は、前記ヘッドセットの前記着用者のいずれの目も示すことなく前記マウスジェスチャを示す、工程をさらに備え、
検出された前記同時発生において、前記内側視野における匿名化された前記マウスジェスチャは、前記内側視野のクロッピングされた前記部分内にて検出される、方法を提供する。
【0075】
第6の実施例は、第1~第5の実施例のいずれかに係る方法であって、
前記語句の前記基準発音に含まれている対応する基準音素を発声するように各々構成されている、複数の口の形状からなる基準の組にアクセスする工程と、
ディスプレイスクリーンに、アクセスされた口の形状の前記基準の組を前記ヘッドセットの前記着用者に対し表示させる表示工程と、をさらに備える、方法を提供する。
【0076】
第7の実施例は、第6の実施例に係る方法であって、
前記ヘッドセットおよび前記ディスプレイスクリーンは、同時に、前記語句の前記基準発音を前記ヘッドセットの前記着用者に対し提示し、アクセスされた口の形状の前記基準の組を前記ヘッドセットの前記着用者に対し表示する、方法を提供する。
【0077】
第8の実施例は、第1~第7の実施例のいずれかに係る方法であって、
前記表示工程は、口の形状の前記基準の組を、前記着用者の口を示す画像と組み合わせる工程と、前記ディスプレイスクリーンに、前記画像と口の形状の前記基準の組との得られた組合せを表示させる工程と、を含む、方法を提供する。
【0078】
第9の実施例は、第1~第8の実施例のいずれかに係る方法であって、
前記ヘッドセットの前記外向きカメラは、前記外側視野において前記語句を表す物理模型をキャプチャし、
検出された前記同時発生において、前記外側視野における前記視覚的イベントは、前記物理模型をタッチすること、前記物理模型を掴むこと、前記物理模型を移動させること、および前記物理模型を回転させること、のうちの1つ以上を手が行うことを含む、方法を提供する。
【0079】
第10の実施例は、第1~第9の実施例のいずれかに係る方法であって、
前記ヘッドセットの前記外向きカメラは、前記外側視野において前記着用者の手をキャプチャし、
検出された前記同時発生において、前記外側視野における前記視覚的イベントは、前記候補発音の訂正のための訂正要求を示すトリガジェスチャを前記手が行うことを含む、方法を提供する。
【0080】
第11の実施例は、第10の実施例に係る方法であって、
前記提示工程によって、前記着用者の前記手によって行われた前記トリガジェスチャによって示された前記要求が満たされる、方法を提供する。
【0081】
第12の実施例は、第1~第11の実施例のいずれかに係る方法であって、
前記マウスジェスチャとのおよび前記語句の前記候補発音との前記視覚的イベントの検出された前記同時発生に応答して提示された前記基準発音は、前記語句の非常に明瞭な発音を含む、方法を提供する。
【0082】
第13の実施例は、第1~第12の実施例のいずれかに係る方法であって、
前記外向きカメラは、熱画像コンポーネントを備え、
検出された前記同時発生において、前記外側視野における前記視覚的イベントは、前記ヘッドセットの前記着用者の手の熱画像に基づいて検出される、方法を提供する。
【0083】
第14の実施例は、第1~第13の実施例のいずれかに係る方法であって、
前記内向きカメラは、熱画像コンポーネントを備え、
検出された前記同時発生において、前記内側視野における前記マウスジェスチャは、前記ヘッドセットの前記着用者の舌の熱画像に基づいて検出される、方法を提供する。
【0084】
第15の実施例は、第1~第14の実施例のいずれかに係る方法であって、
前記ヘッドセットは、さらなる視野を有するとともに前記さらなる視野における前記着用者の目の配向をキャプチャするように構成されているアイトラッキングカメラをさらに備え、
前記方法は、
前記着用者の前記目が見ている方向(例えば、観察方向)を、前記着用者の前記目の配向に基づいて決定する工程をさらに備え、
検出された前記同時発生において、前記外側視野における前記視覚的イベントは、前記着用者の前記目が見ている決定された前記方向に基づいて検出される、方法を提供する。
【0085】
第16の実施例は、第1~第15の実施例のいずれかに係る方法であって、
前記ヘッドセットは、前記ヘッドセットの前記着用者の息の速度を検出するように構成されているアネモメータをさらに備え、
前記提示工程は、前記ヘッドセットの前記着用者の検出された前記息の速度に基づく、方法を提供する。
【0086】
第17の実施例は、第1~第16の実施例のいずれかに係る方法であって、
前記ヘッドセットは、前記ヘッドセットの前記着用者のストレスレベルを検出するように構成されているバイオセンサをさらに備え、
前記方法は、
前記ヘッドセットの前記着用者が休憩をとる指標の提示を、前記着用者の検出された前記ストレスレベルに基づいてトリガする工程をさらに備える、方法を提供する。
【0087】
第18の実施例は、第1~第17の実施例のいずれかに係る方法であって、
前記ヘッドセットは、前記ヘッドセットの前記着用者の肌条件を検出するように構成されているバイオセンサに対し通信可能に結合されており、
前記方法は、
前記基準発音が前記着用者に対し提示される再生速度を、前記バイオセンサによって検出された前記肌条件に基づいて決定する工程をさらに備え、
前記提示工程は、前記基準発音が、前記肌条件に基づいて決定された前記再生速度にて再生させられることを含む、方法を提供する。
【0088】
第19の実施例は、第1~第18の実施例のいずれかに係る方法であって、
前記ヘッドセットは、前記ヘッドセットの前記着用者の心拍数を検出するように構成されているバイオセンサに対し通信可能に結合されており、
前記方法は、
前記基準発音が前記着用者に対し提示される再生速度を、前記バイオセンサによって検出された前記心拍数に基づいて決定する工程をさらに備え、
前記提示工程は、前記基準発音が、前記心拍数に基づいて決定された前記再生速度にて再生させられることを含む、方法を提供する。
【0089】
第20の実施例は、第1~第19の実施例のいずれかに係る方法であって、
前記ヘッドセットは、前記ヘッドセットの前記着用者の脳波図を生成するように構成されているバイオセンサに対し通信可能に結合されており、
前記方法は、
前記基準発音が前記着用者に対し提示される再生速度を、前記バイオセンサによって検出された前記脳波に基づいて決定する工程をさらに備え、
前記提示工程は、前記基準発音が、前記脳波図に基づいて決定された前記再生速度にて再生させられることを含む、方法を提供する。
【0090】
第21の実施例は、第1~第20の実施例のいずれかに係る方法であって、
前記ヘッドセットは、前記ヘッドセットの前記着用者によって着用されたカラーに備えられた1組の加速度計に対し通信可能に結合されており、
前記方法は、
前記カラーにおける前記1組の加速度計によって生成された加速度計データに基づいて筋肉運動のパターンを検出する工程をさらに備え、
前記提示工程は、検出された前記筋肉運動のパターンに基づく、方法を提供する。
【0091】
第22の実施例は、第21の実施例に係る方法であって、
前記ヘッドセットは、前記ヘッドセットの前記着用者によって着用されたカラーに備えられた1組の神経筋電気筋肉刺激器に対し通信可能に結合されており、
検出された前記筋肉運動のパターンは、前記語句の前記候補発音を発声する際に前記着用者によってなされた筋肉運動の候補パターンであり、
前記方法は、
前記語句の前記基準発音を発声するように構成されている筋肉運動の基準パターンにアクセスする工程をさらに備え、
アクセスされた前記筋肉運動の基準パターンに基づいて、前記カラーにおける前記神経筋電気筋肉刺激器に、前記着用者の1組の筋肉を刺激させる、方法を提供する。
【0092】
第23の実施例は、第1~第22の実施例のいずれかに係る方法であって、
前記ヘッドセットは、レーザ光のスポットを前記外側視野においてオブジェクトの表面上に出現させることによって前記外側視野において前記オブジェクトを示すように構成されている外向きレーザエミッタを備え、
前記ヘッドセットの前記外向きカメラは、前記レーザ光のスポットと前記外側視野において示された前記オブジェクトとをキャプチャするように構成されており、
示された前記オブジェクトは、前記データベースによって、前記語句および前記語句の前記基準発音に関連付けられており、
検出された前記同時発生において、前記外側視野における前記視覚的イベントは、レーザ光のスポットが、前記外側視野において示された前記オブジェクトの前記表面上に出現することを含む、方法を提供する。
【0093】
第24の実施例は、第1~第23の実施例のいずれかに係る方法であって、
前記ヘッドセットは、前記外側視野におけるオブジェクトに対する距離を検出するように構成されている立体深さセンサを備え、
前記ヘッドセットの前記外向きカメラは、前記ヘッドセットの前記着用者の手が、前記外側視野における前記距離にある前記オブジェクトをタッチすることによって前記オブジェクトを示すことをキャプチャするように構成されており、
示された前記オブジェクトは、前記データベースによって、前記語句および前記語句の前記基準発音に関連付けられており、
検出された前記同時発生において、前記外側視野における前記視覚的イベントは、前記着用者の手ガ、前記外側視野において示された前記オブジェクトをタッチすることを含む、方法を提供する。
【0094】
第25の実施例は、第1~第24の実施例のいずれかに係る方法であって、
前記語句の候補発音における候補音素の、前記語句の前記基準発音における基準音素との比較を行う工程と、
前記候補音素の前記基準音素との前記比較に基づいて、発音チュートリアルを前記ヘッドセットの前記着用者に推薦する工程と、をさらに備える、方法を提供する。
【0095】
第26の実施例は、命令を備える機械可読媒体(例えば、非一時的な機械可読記憶媒体)であって、前記命令は、機械の1または複数のプロセッサによる実行時、前記機械に、
いずれもヘッドセットによって提供される外部ビデオストリームおよび内部ビデオストリームならびにオーディオストリームにアクセスする工程であって、前記ヘッドセットは、外向きカメラと、内向きカメラと、マイクロフォンと、を備え、前記外向きカメラは、前記ヘッドセットの着用者から離れて広がる外側視野を有するとともに前記外側視野から前記外部ビデオストリームを生成し、前記内向きカメラは、前記着用者に向かって広がる内側視野を有するとともに前記内側視野から前記内部ビデオストリームを生成する、工程と、
前記内側視野におけるマウスジェスチャとのおよび語句の候補発音との前記外側視野における視覚的イベントの同時発生を検出する工程であって、前記視覚的イベントは前記外部ビデオストリームにおいて表されており、前記マウスジェスチャは前記内部ビデオストリームにおいて表されており、前記候補発音は前記オーディオストリームにおいて表されている、工程と、
前記視覚的イベントは、データベースによって、また前記語句の基準発音に関連付けられていることを決定する工程と、
前記視覚的イベントの前記マウスジェスチャとのおよび前記語句の前記候補発音との検出された前記同時発生に応答して、前記ヘッドセットに、前記語句の前記基準発音を前記着用者に対し提示させる工程と、を備える、動作を行わせる、機械可読媒体を提供する。
【0096】
第27の実施例は、システム(例えば、コンピュータシステム)であって、
1または複数のプロセッサと、
命令を記憶しているメモリと、を備え、前記命令は、前記1または複数のプロセッサのうちの1つ以上のプロセッサによる実行時、前記システムに、
いずれもヘッドセットによって提供される外部ビデオストリームおよび内部ビデオストリームならびにオーディオストリームにアクセスする工程であって、前記ヘッドセットは、外向きカメラと、内向きカメラと、マイクロフォンと、を備え、前記外向きカメラは、前記ヘッドセットの着用者から離れて広がる外側視野を有するとともに前記外側視野から前記外部ビデオストリームを生成し、前記内向きカメラは、前記着用者に向かって広がる内側視野を有するとともに前記内側視野から前記内部ビデオストリームを生成する、工程と、
前記内側視野におけるマウスジェスチャとのおよび語句の候補発音との前記外側視野における視覚的イベントの同時発生を検出する工程であって、前記視覚的イベントは前記外部ビデオストリームにおいて表されており、前記マウスジェスチャは前記内部ビデオストリームにおいて表されており、前記候補発音は前記オーディオストリームにおいて表されている、工程と、
前記視覚的イベントは、データベースによって、また前記語句の基準発音に関連付けられていることを決定する工程と、
前記視覚的イベントの前記マウスジェスチャとのおよび前記語句の前記候補発音との検出された前記同時発生に応答して、前記ヘッドセットに、前記語句の前記基準発音を前記着用者に対し提示させる工程と、を備える、動作を行わせる、システムを提供する。
【0097】
第28の実施例は、システム(例えば、コンピュータシステム)であって、
1または複数のプロセッサと、
命令を記憶しているメモリと、を備え、前記命令は、前記1または複数のプロセッサのうちの1つ以上のプロセッサによる実行時、前記システムに、
ヘッドセットによって両方が提供されるビデオストリームおよびオーディオストリームにアクセスする工程であって、前記ヘッドセットは、内向きカメラと、マイクロフォンと、を備え、前記内向きカメラは、前記ヘッドセットの着用者に向かって広がる内側視野を有するとともに前記内側視野から前記ビデオストリームを生成する、工程と、
前記内側視野におけるマウスジェスチャの、語句の候補発音との同時発生を検出する工程であって、前記マウスジェスチャは前記ビデオストリームにおいて表されており、前記候補発音は前記オーディオストリームにおいて表されている、工程と、
前記語句は、データベースによって、前記語句の基準発音に関連付けられていることを決定する工程と、
前記語句の前記候補発音との前記マウスジェスチャの検出された前記同時発生に応答して、前記ヘッドセットに、前記語句の前記基準発音を前記着用者に対し提示させる工程と、を備える、動作を行わせる、システムを提供する。
【0098】
第29の実施例は、前記の実施例のうちのいずれか1つにおいて行われる動作(例えば、方法動作)を実施するように機械を制御するための機械可読命令を搬送するキャリア媒体を提供する。
図1
図2
図3
図4
図5
図6
図7
図8
【国際調査報告】