IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー・インタラクティブエンタテインメント エルエルシーの特許一覧

特表2022-529856タッチパッド入力を備えたゲームコントローラ
<>
  • 特表-タッチパッド入力を備えたゲームコントローラ 図1
  • 特表-タッチパッド入力を備えたゲームコントローラ 図2
  • 特表-タッチパッド入力を備えたゲームコントローラ 図3
  • 特表-タッチパッド入力を備えたゲームコントローラ 図4
  • 特表-タッチパッド入力を備えたゲームコントローラ 図5
  • 特表-タッチパッド入力を備えたゲームコントローラ 図6
  • 特表-タッチパッド入力を備えたゲームコントローラ 図7
  • 特表-タッチパッド入力を備えたゲームコントローラ 図8
  • 特表-タッチパッド入力を備えたゲームコントローラ 図8A
  • 特表-タッチパッド入力を備えたゲームコントローラ 図8B
  • 特表-タッチパッド入力を備えたゲームコントローラ 図9
  • 特表-タッチパッド入力を備えたゲームコントローラ 図10
  • 特表-タッチパッド入力を備えたゲームコントローラ 図11
  • 特表-タッチパッド入力を備えたゲームコントローラ 図12
  • 特表-タッチパッド入力を備えたゲームコントローラ 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-06-24
(54)【発明の名称】タッチパッド入力を備えたゲームコントローラ
(51)【国際特許分類】
   G06F 3/023 20060101AFI20220617BHJP
   G06F 3/02 20060101ALI20220617BHJP
   G06F 3/04886 20220101ALI20220617BHJP
   A63F 13/22 20140101ALI20220617BHJP
   A63F 13/214 20140101ALI20220617BHJP
   G06N 20/10 20190101ALI20220617BHJP
【FI】
G06F3/023 460
G06F3/023 470
G06F3/02 E
G06F3/0488 160
A63F13/22
A63F13/214
G06N20/10
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021563633
(86)(22)【出願日】2020-04-14
(85)【翻訳文提出日】2021-12-10
(86)【国際出願番号】 US2020028099
(87)【国際公開番号】W WO2020219300
(87)【国際公開日】2020-10-29
(31)【優先権主張番号】16/396,379
(32)【優先日】2019-04-26
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518187455
【氏名又は名称】ソニー・インタラクティブエンタテインメント エルエルシー
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】ジャオ、チェン
(72)【発明者】
【氏名】ユー、チャン-シェン
【テーマコード(参考)】
5B020
5E555
【Fターム(参考)】
5B020AA02
5B020AA17
5B020BB02
5B020DD04
5B020DD11
5B020DD29
5B020FF17
5B020FF53
5B020GG23
5B020HH22
5E555AA11
5E555BA20
5E555BB20
5E555BC17
5E555CA15
5E555CA22
5E555CB14
5E555CB16
5E555CB20
5E555CB44
5E555CB62
5E555CC03
5E555CC24
5E555DA01
5E555DB06
5E555DB16
5E555DC26
5E555FA16
(57)【要約】
【課題】ゲームコントローラ(200)は、タッチパッド(204)を含む。
【解決手段】画面(212)上の仮想キーボード(216)を見ているユーザ(206)は、弱いタッチ(300)で画面上のカーソルを移動させ、次に強いタッチ(302)でカーソルを移動させ、かつ位置データをプロセッサに送信して、仮想キーボードから文字を入力することができる。機械学習を使用して、次の文字または次の単語が予測される。
【選択図】図1
【特許請求の範囲】
【請求項1】
少なくとも1つのプロセッサと、
一時的信号ではなく、かつ命令を含む少なくとも1つのコンピュータストレージと、
を備える装置であって、
前記命令は、前記少なくとも1つのプロセッサにより、
コンピュータシミュレーションコントローラのタッチパッドでタッチ信号を受信することと、
第1の圧力を示す前記タッチ信号に応じて、前記コントローラから離れたディスプレイ上でカーソルを移動させるが、文字の選択は確立しないことと、
前記第1の圧力よりも大きい第2の圧力を示す前記タッチ信号に応じて、第1の英数字の選択を確立し、前記第1の英数字を前記ディスプレイ上に提示することと、
を実行可能である、前記装置。
【請求項2】
前記プロセッサは、前記コンピュータシミュレーションコントローラ内に組み込まれる、請求項1に記載の装置。
【請求項3】
前記プロセッサは、前記コンピュータシミュレーションコントローラと通信するように構成されたコンピュータシミュレーションコンソール内に組み込まれる、請求項1に記載の装置。
【請求項4】
前記命令は、
前記第2の圧力を示す前記タッチ信号に応じて、前記ディスプレイ上で前記カーソルを移動させること、
を実行可能である、請求項1に記載の装置。
【請求項5】
前記命令は、
前記第1の圧力を示す前記タッチ信号に応じて、前記ディスプレイ上でキーボードの画像を拡大すること、
を実行可能である、請求項1に記載の装置。
【請求項6】
前記命令は、
前記第1の英数字を、少なくとも第1のニューラルネットワーク(NN)に入力することと、
前記第1のNNから、少なくとも第1の予測英数字を含む予測英数字シーケンスを受信することと、
を実行可能である、請求項1に記載の装置。
【請求項7】
前記命令は、
前記第1の英数字の隣に、少なくとも前記第1の予測英数字を含む前記予測英数字シーケンスを、前記ディスプレイ上に提示すること、
を実行可能である、請求項6に記載の装置。
【請求項8】
前記第1のNNは、複数の長・短期記憶(LSTM)ネットワークを備える、請求項6に記載の装置。
【請求項9】
コンピュータシミュレーションコントローラから、タッチ信号を受信することと、
第1の圧力を示す前記タッチ信号に応じて、前記ディスプレイ上でカーソルを移動させることと、
前記第1の圧力よりも大きい第2の圧力を示す前記タッチ信号に応じて、少なくとも第1の文字を確立することと、
前記ディスプレイ上に前記第1の文字を提示することと、
を含む方法。
【請求項10】
前記第1の文字を、少なくとも第1のニューラルネットワーク(NN)に入力することと、
前記第1のNNにより生成された少なくとも第1の予測文字を、前記ディスプレイ上に提示することと、
を含む、請求項9に記載の方法。
【請求項11】
前記第1のNNにより生成された前記第1の予測文字を含む少なくとも予測文字シーケンスを、前記ディスプレイ上に提示すること、
を含む、請求項10に記載の方法。
【請求項12】
ネットワーク上のコンピュータシミュレーションプレーヤにより入力されたテキストを使用して、前記第1のNNをトレーニングすること、
を含む、請求項9に記載の方法。
【請求項13】
前記トレーニングは、少なくとも1つの双方向長・短期記憶(LSTM)ネットワークを使用して、コンピュータシミュレーションプレーヤにより入力された前記テキストを処理することを含む、請求項12に記載の方法。
【請求項14】
前記第1のNNが使用可能なシミュレーション辞書からの単語を前記第1のNNに入力して、前記第1の予測文字を生成すること、
を含む、請求項10に記載の方法。
【請求項15】
前記第1のNNが使用可能な前記コンピュータシミュレーションコントローラに以前入力された単語を前記第1のNNに入力して、前記第1の予測文字を生成すること、
を含む、請求項10に記載の方法。
【請求項16】
少なくとも1つの双方向長・短期記憶(LSTM)ネットワークにより生成された文字シーケンスモデルであって、前記第1のNNが使用可能な前記文字シーケンスモデルからのデータを、前記第1のNNに入力して、前記第1の予測文字を生成すること、
を含む、請求項10に記載の方法。
【請求項17】
少なくとも1つのコンピュータシミュレーションコントローラと、
前記コンピュータシミュレーションコントローラにより支持された少なくとも1つのタッチパッドと、
命令を含む少なくとも1つのコンピュータストレージと、
を備えるアセンブリであって、
前記命令は、少なくとも1つのプロセッサにより、
前記タッチパッド上のタッチ入力に応じて、ディスプレイ上に英数字を提示することと、
前記タッチパッド上の前記タッチ入力に応じて前記ディスプレイ上に提示される前記英数字に少なくとも部分的に基づいて、予測英数字を前記ディスプレイ上に提示することと、
を実行可能である、前記アセンブリ。
【請求項18】
前記プロセッサを含む少なくとも1つのコンピュータシミュレーションコントローラであって、前記ディスプレイ及び前記コンピュータシミュレーションコントローラと通信するように構成された、前記少なくとも1つのコンピュータシミュレーションコントローラを備える、請求項17に記載のアセンブリ。
【請求項19】
前記プロセッサは、前記コンピュータシミュレーションコントローラ内に組み込まれる、請求項17に記載のアセンブリ。
【請求項20】
前記プロセッサは、前記タッチパッド上の前記タッチ入力により生成された信号を受信するように構成された少なくとも1つのネットワークサーバに組み込まれる、請求項17に記載のアセンブリ。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、概して、コンピュータ技術に必然的に根ざし、かつ具体的な技術的改善をもたらす、技術的に独創性のある非定型的解決策に関する。具体的には、本出願は、タッチパッド入力を備えたコンピュータシミュレーションコントローラに関する。
【背景技術】
【0002】
深層学習と称されることもある機械学習は、データの理解、検出、及び/または分類に関連する様々な有用なアプリケーションに使用することができる。
【発明の概要】
【0003】
ゲーム業界などのコンピュータシミュレーション業界には、マルチデータエントリモードが存在し得、これは、機械学習の恩恵を受けて精度及び堅牢性を向上させることができる。
【0004】
従って、装置は、少なくとも1つのプロセッサと、一時的信号ではなく、かつ命令を含む少なくとも1つのコンピュータストレージと、を含み、命令は、プロセッサにより、コンピュータシミュレーションコントローラのタッチパッド上でタッチ信号を受信することを、実行可能である。命令は、第1の圧力を示すタッチ信号に応じて、コントローラから離れたディスプレイ上でカーソルを移動させるが、文字の選択は確立しないことを、実行可能である。命令はまた、第1の圧力よりも大きい第2の圧力を示すタッチ信号に応じて、第1の英数字の選択を確立し、第1の英数字をディスプレイ上に提示することを、実行可能である。
【0005】
例示的な実施形態では、プロセッサは、コンピュータシミュレーションコントローラ内に組み込まれる。あるいは、プロセッサは、コンピュータシミュレーションコントローラと通信するように構成されたコンピュータシミュレーションコンソール内に組み込まれ得る。
【0006】
いくつかの実施態様では、命令は、第2の圧力を示すタッチ信号に応じて、ディスプレイ上でカーソルを移動させることを、実行可能であり得る。命令は、第1の圧力を示すタッチ信号に応じて、ディスプレイ上でキーボードの画像を拡大することを、実行可能であり得る。
【0007】
特定の実施形態では、命令は、第1の英数字を少なくとも第1のニューラルネットワーク(NN)に入力し、第1のNNから、少なくとも第1の予測英数字を含む予測英数字シーケンスを受信することを、実行可能であり得る。このような実施形態では、命令は、第1の英数字の隣に、少なくとも第1の予測英数字を含む予測英数字シーケンスを、ディスプレイ上に提示することを、実行可能であり得る。必要に応じて、第1のNNは、複数の長・短期記憶(LSTM)ネットワークを含み得る。
【0008】
別の態様では、方法は、コンピュータシミュレーションコントローラからタッチ信号を受信することと、第1の圧力を示すタッチ信号に応じて、ディスプレイ上でカーソルを移動させることと、を含む。方法はまた、第1の圧力よりも大きい第2の圧力を示すタッチ信号に応じて、少なくとも第1の文字を確立することと、ディスプレイ上に第1の文字を提示することと、を含む。
【0009】
別の態様では、アセンブリは、少なくとも1つのコンピュータシミュレーションコントローラと、コンピュータシミュレーションコントローラにより支持された少なくとも1つのタッチパッドと、タッチパッド上のタッチ入力に応じてディスプレイ上に英数字を提示することを少なくとも1つのプロセッサにより実行可能である命令を有する少なくとも1つのコンピュータストレージと、を含む。命令は、タッチパッド上のタッチ入力に応じてディスプレイ上に提示される英数字に少なくとも部分的に基づいて、予測英数字をディスプレイ上に提示するように、実行され得る。
【0010】
本出願の構造及び動作の両方についての詳細は、添付図面を参照することで最もよく理解でき、図面では、同様の参照番号は、同様の部分を指す。
【図面の簡単な説明】
【0011】
図1】本発明の原理と一致する、例示的なシステムのブロック図である。
図2】直接に、または例えばコンピュータゲームコンソールを介して、ゲームコントローラと通信するTVまたは他のオーディオビデオデバイスなどのディスプレイに提示されるテキストを入力するために使用されるタッチパッドを備えたコンピュータシミュレーションコントローラの斜視図である。
図3】コントローラのタッチパッドに対する弱い押下及び強い押下を示す概略図である。
図4図3に関する本発明の原理と一致する、例示的なロジックのフローチャートである。
図5】本発明の原理と一致する、ロジックフローチャート、データ構造、及び処理コンポーネントの組み合わせである。
図6図5のヒートマップと称されるデータ構造の概略図であり、使用中のステップを示す。
図7図5のヒートマップと称されるデータ構造の概略図であり、使用中のステップを示す。
図8図5のヒートマップと称されるデータ構造の概略図であり、使用中のステップを示す。
図8A図5のヒートマップと称されるデータ構造の概略図であり、使用中のステップを示す。
図8B図5のヒートマップと称されるデータ構造の概略図であり、使用中のステップを示す。
図9】現在のユーザ入力に基づいて予測される次の単語を出力するための複数の長・短期記憶(LSTM)ネットワークとして構成された例示的なニューラルネットワーク(NN)のブロック図である。
図10】トレーニング後の図9のNNの動作を示す概略図である。
図11】トレーニング後の図9のNNの動作を示す概略図である。
図12】トレーニング後の図9のNNの動作を示す概略図である。
図13】本発明の原理と一致する、例示的な全体ロジックのフローチャートである。
【発明を実施するための形態】
【0012】
本開示は、概して、分散コンピュータゲームネットワーク、拡張現実(AR)ネットワーク、仮想現実(VR)ネットワーク、ビデオブロードキャスティング、コンテンツ配信ネットワーク、仮想マシン、並びに人工ニューラルネットワーク及び機械学習アプリケーションなど、これらに限定されない一般消費者向け電子製品(CE)デバイスネットワークの態様を含むコンピュータエコシステムに関する。
【0013】
本明細書のシステムは、サーバコンポーネントとクライアントコンポーネントとを含み得、これらは、クライアントコンポーネントとサーバコンポーネントとの間でデータが交換され得るように、ネットワークを介して接続される。クライアントコンポーネントには、ARヘッドセット、VRヘッドセット、Sony PlayStation(登録商標)などのゲームコンソール及び関連マザーボード、ゲームコントローラ、ポータブルテレビ(例えばスマートTV、インターネット対応TV)、ラップトップ及びタブレットコンピュータなどのポータブルコンピュータ、並びにスマートホン及び下記で論じられる追加例を含む他のモバイルデバイスを含む1つ以上のコンピューティングデバイスが含まれ得る。これらのクライアントデバイスは、様々な動作環境で作動し得る。例えば、クライアントコンピュータのうちのいくつかは、例を挙げると、Orbis(登録商標)もしくはLinux(登録商標)オペレーティングシステム、Microsoft(登録商標)のオペレーティングシステム、またはUnix(登録商標)オペレーティングシステム、またはApple, Inc.(登録商標)製もしくはGoogle(登録商標)製のオペレーティングシステムを採用し得る。これらの動作環境を使用して、下記に論じられるインターネットサーバによりホストされるウェブサイトにアクセスできるMicrosoft(登録商標)製もしくはGoogle(登録商標)製のブラウザ、またはMozilla(登録商標)もしくは他のブラウザプログラムなど、1つ以上のプログラム/アプリケーションが実行され得る。また、本発明の原理による動作環境を使用して、本発明の原理を実施する1つ以上のコンピュータゲームプログラム/アプリケーション及び他のプログラム/アプリケーションが実行され得る。
【0014】
サーバ及び/またはゲートウェイは、1つ以上のプロセッサを含み得、1つ以上のプロセッサは、インターネットなどのネットワークを介してデータを送受信するようにサーバを構成する命令を実行する。付加的または代替的に、クライアントとサーバは、ローカルイントラネットまたは仮想プライベートネットワークを介して接続され得る。サーバまたはコントローラは、Sony PlayStation(登録商標)といったゲームコンソール及び/またはその1つ以上のマザーボード、パーソナルコンピュータなどにより、インスタンス化され得る。
【0015】
クライアントとサーバとの間でネットワークを介して情報が交換され得る。そのために、及びセキュリティのために、サーバ及び/またはクライアントは、ファイアウォール、ロードバランサ、テンポラリストレージ、及びプロキシ、並びに信頼性及びセキュリティのための他のネットワークインフラストラクチャを含み得る。1つ以上のサーバは、本発明の原理に従って、ネットワークユーザがクラウドソーシングによる通信を行うように、オンラインソーシャルウェブサイトまたはビデオゲームウェブサイトなどの安全なコミュニティをネットワークユーザに提供する方法を実施する装置を形成し得る。
【0016】
本明細書で使用される命令は、システムで情報を処理するためのコンピュータ実施ステップを指す。命令は、ソフトウェア、ファームウェア、またはハードウェアで実施され、システムのコンポーネントにより実行される任意の種類のプログラム化されたステップを含み得る。
【0017】
プロセッサは、アドレスライン、データライン、及び制御ラインなどの様々なライン、並びにレジスタ及びシフトレジスタにより、ロジックを実行することができる任意の従来の汎用シングルチッププロセッサまたは汎用マルチチッププロセッサであり得る。
【0018】
本明細書において、フローチャートを介して説明されるソフトウェアモジュール、及びユーザインターフェースは、様々なサブルーチン、プロシージャなどを含み得る。本開示を限定することなく、特定のモジュールにより実行されると述べられるロジックは、他のソフトウェアモジュールに再配分されてもよく、及び/または単一モジュール内に一緒に組み合わされてもよく、及び/または共有可能なライブラリで利用可能な状態にされてもよい。
【0019】
上記のように、本明細書で記述される本発明の原理は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせで実施され得、ゆえに、例示的なコンポーネント、ブロック、モジュール、回路、及びステップは、これらの機能の観点から説明される。
【0020】
上記で示唆されたことに加えて、後述されるロジックブロック、モジュール、及び回路は、本明細書で説明される機能を実行するように設計された、汎用プロセッサ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、または例えば特定用途向け集積回路(ASIC)、個別ゲート、もしくはトランジスタロジックなどの他のプログラムマブルロジックデバイス、個別ハードウェアコンポーネント、あるいはこれらの任意の組み合わせにより、実装または実行され得る。プロセッサは、コントローラもしくはステートマシン、またはコンピューティングデバイスの組み合わせにより、実施され得る。
【0021】
後述される機能及び方法は、ハードウェア回路またはソフトウェア回路で実施され得る。ソフトウェアで実施される場合、機能及び方法は、Java(登録商標)、C#、またはC++などのこれに限定されない好適な言語で記述され得、コンピュータ可読記憶媒体により格納または送信され得、コンピュータ可読記憶媒体の例には、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、コンパクトディスク読み出し専用メモリ(CD-ROM)、またはデジタル多用途ディスク(DVD)などの他の光学ディスクストレージ、磁気ディスクストレージ、またはリムーバブルサムドライブを含む他の磁気ストレージデバイスなどが挙げられる。接続により、コンピュータ可読媒体が確立され得る。このような接続には、例として、光ファイバ及び同軸ワイヤを含むハードワイヤケーブル、並びにデジタル加入者線(DSL)及びツイストペア線が含まれ得る。このような接続には、赤外線及び無線を含む無線通信接続が含まれ得る。
【0022】
一実施形態に含まれるコンポーネントは、他の実施形態において、任意の好適な組み合わせで使用することができる。例えば、本明細書で説明され及び/または図に描かれる様々なコンポーネントのいずれも、組み合わされてもよく、交換されてもよく、または他の実施形態から除外されてもよい。
【0023】
「A、B、及びCのうちの少なくとも1つを有するシステム」(同様に「A、B、またはCのうちの少なくとも1つを有するシステム」及び「A、B、Cのうちの少なくとも1つを有するシステム」)には、Aのみ、Bのみ、Cのみ、AとB共に、AとC共に、BとC共に、及び/またはAとBとC共に、などを有するシステムが含まれる。
【0024】
ここで具体的に図1を参照すると、本発明の原理による、上記で言及され下記でさらに説明される例示的なデバイスのうちの1つ以上を含み得る例示的なシステム10が示される。システム10に含まれる例示的なデバイスのうちの第1のデバイスは、TVチューナー(同等にTVを制御するセットトップボックス)を備えたインターネット対応TVなどのこれに限定されないオーディオビデオデバイス(AVD)12といった一般消費者向け電子製品(CE)デバイスである。しかし、AVD12は、代替的に、例えばインターネット対応コンピュータ化冷蔵庫、洗濯機、または乾燥機などの電化製品または家庭用品であってもよい。また、AVD12は、代替的に、コンピュータ制御型インターネット対応(「スマート」)電話、タブレットコンピュータ、ノートブックコンピュータ、拡張現実(AR)ヘッドセット、仮想現実(VR)ヘッドセット、インターネット対応すなわち「スマート」グラス、別の種類のウェアラブルコンピュータ制御型デバイス、例えばコンピュータ制御型インターネット対応腕時計、コンピュータ制御型インターネット対応ブレスレット、コンピュータ制御型インターネット対応ミュージックプレーヤ、コンピュータ制御型インターネット対応ヘッドホン、インプラント可能皮膚用デバイスなどのコンピュータ制御型インターネット対応インプラント可能デバイス、他のコンピュータ制御型インターネット対応デバイスなどであってもよい。いずれにせよ、AVD12は、本発明の原理を実施する(例えば本発明の原理を実施するために他の一般消費者向け電子製品(CE)デバイスと通信し、本明細書で説明されるロジックを実行し、本明細書で説明されるいずれかの他の機能及び/または動作を実行する)ように構成されることを理解されたい。
【0025】
従って、このような原理を実施するために、図1に示されるコンポーネントのうちのいくつかまたは全てにより、AVD12は確立され得る。例えば、AVD12は、1つ以上のディスプレイ14を含み得、これは、高解像度または超高解像度「4K」以上のフラットスクリーンが実装され得、ディスプレイ上のタッチを介してユーザ入力信号を受信するタッチ対応であり得る。AVD12は、本発明の原理に従ってオーディオを出力するための1つ以上のスピーカ16と、AVD12を制御するようにAVD12に可聴コマンドを入力するための、オーディオ受信器/マイクロホンなどの少なくとも1つの追加入力デバイス18と、を含み得る。例示的なAVD12はまた、1つ以上のプロセッサの制御下でインターネット、WAN、LANなどの少なくとも1つのネットワーク22を介して通信するための1つ以上のネットワークインターフェース20を含み得る。従って、インターフェース20は、Wi-Fi(登録商標)送受信器であり得るが、これに限定されず、Wi-Fi(登録商標)送受信器は、非限定的にメッシュネットワーク送受信器などの無線コンピュータネットワークインターフェースの例である。さらに、ネットワークインターフェース20は、例えば有線もしくは無線のモデムもしくはルータであり得る、または、例えば無線電話送受信器、もしくは上記のWi-Fi(登録商標)送受信器などの他の好適なインターフェースであり得ることに、留意されたい。
【0026】
1つ以上のプロセッサは、本発明の原理を実施するためにAVD12を制御するが、これには、例えばディスプレイ14を制御してディスプレイ14上に画像を提示し、ディスプレイ14から入力を受信するなど、本明細書に説明されるAVD12の他の素子が含まれることを理解されたい。1つ以上のプロセッサは、中央処理装置(CPU)24、並びにグラフィックスカード25A上のグラフィックス処理装置(GPU)25を含み得る。
【0027】
上記に加えて、AVD12はまた、別の一般消費者向け電子製品(CE)デバイスに(例えば有線接続を用いて)物理的に接続するための、例えば高解像度マルチメディアインターフェース(HDMI(登録商標))ポートまたはUSBポートなどの1つ以上の入力ポート26、及び/または、AVD12からのオーディオをヘッドホンを介してユーザに提供するように、ヘッドホンをAVD12に接続するためのヘッドホンポートを含み得る。例えば、入力ポート26は、オーディオビデオコンテンツのケーブルソースまたは衛星ソース26aに、有線または無線を介して接続され得る。従って、ソース26aは、例えば、別個のもしくは統合されたセットトップボックス、または衛星受信器であり得る。あるいは、ソース26aは、チャネル割り当て目的でユーザがお気に入りとみなし得るコンテンツを含むゲームコンソールまたはディスクプレーヤであってもよい。ソース26aは、ゲームコンソールとして実装される場合、CEデバイス44に関連して後述されるコンポーネントのうちのいくつかまたは全てを含み得、本明細書で説明されるロジックのうちのいくつかまたは全てを実施し得る。
【0028】
AVD12はさらに、一時的信号ではないディスクベースストレージまたはソリッドステートストレージなどの1つ以上のコンピュータメモリ28を含み得、これらは、いくつかの事例では、AVDのシャシー内にスタンドアロンデバイスとして、またはAVプログラムを再生するためにAVDのシャシーの内部もしくは外部のパーソナルビデオレコーディングデバイス(PVR)もしくはビデオディスクプレーヤとして、またはリムーバブルメモリ媒体として、具現化される。また、いくつかの実施形態では、AVD12は、位置受信器すなわち所在地受信器を含み得、これは、携帯電話受信器、GPS受信器、及び/または高度計30などであるがこれらに限定されず、例えば少なくとも1つの衛星または携帯電話中継塔から地理的位置情報を受信し、情報をプロセッサ24に提供し、及び/またはプロセッサ24と連動して、AVD12が配置されている高度を特定するように構成される。しかし、例えばAVD12の所在地を全3次元で特定するために、本発明の原理による、携帯電話受信器、GPS受信器、及び/または高度計以外の別の好適な位置受信器が使用されてもよいことを、理解されたい。
【0029】
AVD12の説明を続けると、いくつかの実施形態では、AVD12は、1つ以上のカメラ32を含み得、これは、例えば熱画像カメラ、ウェブカメラなどのデジタルカメラ、赤外線(IR)カメラ、及び/またはAVD12に統合されたカメラであり得、本発明の原理に従って写真/画像及び/またはビデオを生成するようにプロセッサ24により制御可能であり得る。また、AVD12は、ブルートゥース(登録商標)(登録商標)送受信器34と他の近距離無線通信(NFC)素子36とを含み得、これらは、ブルートゥース(登録商標)及び/またはNFC技術をそれぞれ使用して、他のデバイスと通信する。例示的なNFC素子は、無線周波数識別(RFID)素子であり得る。
【0030】
さらにまた、AVD12は、プロセッサ24に入力を提供する1つ以上の補助センサ37を含み得る(例えば加速度計、ジャイロスコープ、サイクロメータなどのモーションセンサ、あるいは磁気センサ、赤外線(IR)センサ、光学センサ、速度及び/またはケイデンスセンサ、ジェスチャセンサ(例えばジェスチャコマンドを感知する)など)。AVD12は、地上波(OTA)TV放送を受信し、プロセッサ24に入力を提供するOTA TV放送ポート38を含み得る。前述に加えて、AVD12はまた、赤外線データ協会(IRDA)デバイスなどの赤外線(IR)送信器及び/またはIR受信器及び/またはIR送受信器42を含み得ることに留意されたい。AVD12に電力供給を行うために、バッテリ(図示せず)が設けられ得る。
【0031】
さらに図1を参照すると、AVD12に加えて、システム10は、1つ以上の他の一般消費者向け電子製品(CE)デバイス類を含み得る。一例では、AVD12に直接及び/または後述のサーバを通して送信されるコマンドを介して、AVD12にコンピュータゲームのオーディオ及びビデオを送信するために、第1のCEデバイス44が使用され得るが、第2のCEデバイス46も、第1のCEデバイス44と同様のコンポーネントを含み得る。示される例では、第2のCEデバイス46は、図示されるようにユーザ47が装着するARまたはVRヘッドセットとして構成され得る。示される例では、2つのCEデバイス44、46のみが図示されるが、より少ないまたはより多いデバイスも本発明の原理に従って使用されてもよいことが理解されよう。
【0032】
示される例では、3つのデバイス12、44、46は全て、例えば自宅内の安全なもしくは暗号化されたネットワーク、エンターテインメントネットワーク、もしくはWi-Fi(登録商標)などのネットワークのメンバーである、または少なくとも特定の場所で互いに近接して存在し、本明細書で説明されるように互いと及びサーバと通信可能であると想定される。しかし、本発明の原理は、明確に別段の主張がない限り、特定の場所またはネットワークに限定されない。
【0033】
非限定的な例示の第1のCEデバイス44は、上記のデバイスのうちのいずれか1つ、例えば、スマートホン、デジタルアシスタント、ポータブル無線ラップトップコンピュータもしくはノートブックコンピュータ、またはゲームコントローラ(「コンソール」とも称される)により確立され得、従って、後述されるコンポーネントのうちの1つ以上を有し得る。第2のCEデバイス46は、ARヘッドセット、VRヘッドセット、「スマート」インターネット対応グラス、またはさらにはブルーレイプレーヤといったビデオディスクプレーヤ、及びゲームコンソールなどにより、確立され得るが、これらに限定されない。またさらに、いくつかの実施形態では、第1のCEデバイス44は、例えばAV再生及び一時停止コマンドをAVD12に発令するためのリモートコントロール(RC)であり得る、または第1のCEデバイス44は、タブレットコンピュータ、図1に示されるデバイスのうちの別のデバイスにより実施されるゲームコンソールと有線または無線リンクを介して通信し、AVD12上のビデオゲームの提示を制御するゲームコントローラ、パーソナルコンピュータ、無線電話などのより洗練されたデバイスであり得る。
【0034】
従って、第1のCEデバイス44は、1つ以上のディスプレイ50を含み得、これは、ディスプレイ50上のタッチを介してユーザ入力信号を受信するタッチ対応であり得る。付加的または代替的に、ディスプレイ(複数可)50は、ARヘッドセットディスプレイまたは「スマート」グラスディスプレイまたは「ヘッドアップ」ディスプレイ、並びにVRヘッドセットディスプレイ、あるいはAR及び/またはVR画像を提示するように構成された他のディスプレイなど、少なくとも部分的に透明なディスプレイであり得る。
【0035】
第1のCEデバイス44はまた、本発明の原理に従ってオーディオを出力するための1つ以上のスピーカ52と、例えば第1のCEデバイス44を制御するように第1のCEデバイス44に可聴コマンドを入力するための、例えばオーディオ受信器/マイクロホンなどの少なくとも1つの追加入力デバイス54と、を含み得る。例示的な第1のCEデバイス44はさらに、1つ以上のCEデバイスプロセッサ58の制御下で、ネットワーク22を介して通信するための1つ以上のネットワークインターフェース56を含み得る。従って、インターフェース56は、Wi-Fi(登録商標)送受信器であり得るが、これに限定されず、Wi-Fi(登録商標)送受信器は、メッシュネットワークインターフェースを含む無線コンピュータネットワークインターフェースの例である。プロセッサ58は、本発明の原理を実施するために第1のCEデバイス44を制御するが、これには、例えばディスプレイ50を制御してディスプレイ50上に画像を提示し、ディスプレイ50から入力を受信するなど、本明細書に説明される第1のCEデバイス44の他の素子が含まれることを理解されたい。さらに、ネットワークインターフェース56は、例えば有線もしくは無線のモデムもしくはルータであり得る、または、無線電話送受信器、もしくは上記のWi-Fi(登録商標)送受信器などの他の好適なインターフェースであり得ることに、留意されたい。
【0036】
またさらに、プロセッサ(複数可)58に加えて、第1のCEデバイス44はまた、グラフィックスカード55A上にグラフィックス処理ユニット(GPU)55を含み得ることに留意されたい。グラフィックス処理ユニット55は、とりわけ、ディスプレイ50上にAR及び/またはVR画像を提示するように構成され得る。
【0037】
上記に加えて、第1のCEデバイス44はまた、別のCEデバイスに(例えば有線接続を用いて)物理的に接続するための、例えばHDMI(登録商標)ポートまたはUSBポートなどの1つ以上の入力ポート60、及び/または、ヘッドホンを第1のCEデバイス44に接続して、第1のCEデバイス44からのオーディオをヘッドホンを介してユーザに提供するためのヘッドホンポートを含み得る。第1のCEデバイス44はさらに、ディスクベースストレージまたはソリッドステートストレージなどの1つ以上の有形コンピュータ可読記憶媒体62を含み得る。また、いくつかの実施形態では、第1のCEデバイス44は、位置受信器すなわち所在地受信器を含み得、これは、携帯電話及び/またはGPS受信器及び/または高度計64などであるがこれらに限定されず、例えば、三角測量を使用して、少なくとも1つの衛星及び/または携帯電話中継塔から地理的位置情報を受信し、情報をCEデバイスプロセッサ58に提供し、及び/またはCEデバイスプロセッサ58と連動して、第1のCEデバイス44が配置されている高度を特定するように構成される。しかし、例えば、第1のCEデバイス44の所在地を全3次元で特定するために、携帯電話及び/またはGPS受信器及び/または高度計以外の別の好適な位置受信器が、本発明の原理に従って使用されてもよいことを、理解されたい。
【0038】
第1のCEデバイス44の説明を続けると、いくつかの実施形態では、第1のCEデバイス44は、1つ以上のカメラ66を含み得、これは、例えば熱画像カメラ、IRカメラ、ウェブカメラなどのデジタルカメラ、及び/または第1のCEデバイス44に統合された別の種類のカメラであり得、本発明の原理に従って写真/画像及び/またはビデオを生成するようにCEデバイスプロセッサ58により制御可能であり得る。また、第1のCEデバイス44は、ブルートゥース(登録商標)送受信器68と他の近距離無線通信(NFC)素子70とを含み得、これらは、ブルートゥース(登録商標)及び/またはNFC技術をそれぞれ使用して、他のデバイスと通信する。例示的なNFC素子は、無線周波数識別(RFID)素子であり得る。
【0039】
さらにまた、第1のCEデバイス44は、CEデバイスプロセッサ58に入力を提供する1つ以上の補助センサ72を含み得る(例えば加速度計、ジャイロスコープ、サイクロメータなどのモーションセンサ、あるいは磁気センサ、赤外線(IR)センサ、光学センサ、速度及び/またはケイデンスセンサ、ジェスチャセンサ(例えばジェスチャコマンドを感知する)など)。第1のCEデバイス44は、例えば1つ以上の気候センサ74(例えば気圧計、湿度センサ、風センサ、光センサ、温度センサなど)及び/または1つ以上の生体センサ76などのさらに他のセンサを含み得、これらは、CEデバイスプロセッサ58に入力を提供する。前述に加えて、いくつかの実施形態では、第1のCEデバイス44はまた、赤外線データ協会(IRDA)デバイスなどの赤外線(IR)送信器及び/またはIR受信器及び/またはIR送受信器78を含み得ることに留意されたい。第1のCEデバイス44に給電するために、バッテリ(図示せず)が設けられ得る。CEデバイス44は、前述の通信モード及び関連コンポーネントのうちのいずれかを介して、AVD12と通信し得る。
【0040】
第2のCEデバイス46は、CEデバイス44に関して示されるコンポーネントのうちのいくつかまたは全てを含み得る。一方または両方のCEデバイスは、1つ以上のバッテリにより電力供給され得る。
【0041】
ここで、上記の少なくとも1つのサーバ80を参照すると、これは、少なくとも1つのサーバプロセッサ82と、ディスクベースストレージまたはソリッドステートストレージなどの少なくとも1つの有形コンピュータ可読記憶媒体84とを含む。実施態様では、媒体84は、1つ以上のソリッドステートストレージドライブ(SSD)を含む。サーバはまた、少なくとも1つのネットワークインターフェース86を含み、これにより、ネットワーク22を介して図1の他のデバイスとの通信が可能となり、実際に、本発明の原理に従ってサーバとクライアントデバイスとの間の通信が促進され得る。ネットワークインターフェース86は、例えば、有線もしくは無線のモデムもしくはルータ、Wi-Fi(登録商標)送受信器、または無線電話送受信器などの他の好適なインターフェースであり得ることに、留意されたい。ネットワークインターフェース86は、サーバプロセッサ82を通ることなく、いわゆる「ファブリック」などのネットワークに媒体84を直接接続するリモートダイレクトメモリアクセス(RDMA)インターフェースであり得る。ネットワークは、イーサネット(登録商標)ネットワーク及び/またはファイバチャネルネットワーク及び/またはインフィニバンドネットワークを含み得る。通常、サーバ80は、物理サーバ「スタック」に配置され得る「ブレード」と称される複数のコンピュータに、複数のプロセッサを含む。
【0042】
従って、いくつかの実施形態では、サーバ80は、インターネットサーバまたは「サーバファーム」全体であり得、「クラウド」機能を含んで実行し得、これにより、例えば本明細書で開示されるドメイン適応などの例示的な実施形態では、システム10のデバイスがサーバ80を介して「クラウド」環境にアクセスし得る。付加的または代替的に、サーバ80は、図1に示される他のデバイスと同じ部屋または近くに存在する1つ以上のゲームコンソールまたは他のコンピュータにより、実施され得る。
【0043】
図2は、システム200を示し、そのコンポーネントは、図1に示される好適なコンポーネントを組み込み得る。PlayStation(登録商標)コントローラ、Xbox(登録商標)コントローラ、または他のコントローラなどのコンピュータシミュレーションコントローラ202は、タッチパッド204を含み得、タッチパッド204は、手206のタッチ信号を受信し得、コンピュータシミュレーションコンソール210及び/またはインターネット対応TVなどのディスプレイデバイス212と、有線経路及び/または無線経路208を介して通信し得る。下記でさらに説明されるように、ユーザは、タッチパッド204を操作して、ディスプレイデバイスと直接信号通信を介して、またはシミュレーションコンソール210を介して、ディスプレイデバイス212に提示する英数字214を生成し得る。より具体的には、タッチパッド204を操作することにより、ユーザは、ディスプレイデバイス212に提示される仮想キーボード216の文字の上に画面カーソルを移動させて、英数字214を入力することができる。仮想キーボード216は、QWERTY配列を有し得るが、これに限定されない。
【0044】
図3に概略的に示されるように、本発明の原理では、2種類のタッチ、すなわち「弱」押下300(タッチパッドに弱い圧力をかける、または圧力ゼロでタッチパッド上に触れている)と、弱押下より強い圧力の「強」押下302とが企図され、「弱」押下300では、ディスプレイデバイス212上の画面カーソルは、ディスプレイデバイスに位置データ(すなわちいずれかの特定の仮想キーの選択を示す信号)を送信することなく、仮想キーボード216上の所望の位置に移動され、「強」押下302では、ディスプレイデバイス212上の画面カーソルは、「強」押下302に応じて移動され、仮想キーの選択を示す位置データがディスプレイデバイスに送信され得る。このように、ユーザは、タッチパッド204から目を離し、タッチパッド上で自分の指を動かしながら仮想キーボード216を見て、可視画面カーソルを仮想キーボード上の所望の文字へ移動させ、次に強く押下することで、その文字を選択することができる。各個の「次の」文字がディスプレイに表示されない場合があるが、むしろ次の「最も可能性のある単語」は、ユーザが「スワイプ」を終了した後に表示される場合があることに留意されたい。「最も熱い」キー(ヒートマップに基づく)は、トレースだけでなく、仮想キーボード上でも強調表示され得る。さらに、「スワイプ」は、トレースを形成する連続的な強押下として定義される。
【0045】
図4は、上記の説明を念頭に置いた例示的なロジックを示す。ロジックは、シミュレーションコントローラ202内のプロセッサ、シミュレーションコンソール210内のプロセッサ、及びディスプレイデバイス212内のプロセッサのうちの1つ以上により実行され得る。
【0046】
状態400から開始して、タッチパッド204の押下が受信されたか否かが判定される。これは、タッチパッド204に対応付けられた1つ以上の近接センサからの信号がタッチパッド204に対する指の接触を示すか否かを判定することにより、及び/またはタッチパッド204に対応付けられた1つ以上の圧力センサからの信号が少なくとも第1の閾値圧力の圧力を示すか否かを判定することにより、行われ得る。
【0047】
タッチが受信されたと判定されると、ロジックは状態402に進み、タッチが弱押下であるか強押下であるかを判定し、これは、例えば少なくとも閾値圧力のタッチを示すタッチパッド204に対応付けられた圧力センサからの信号により示され、通常、この閾値圧力は、状態400で使用される任意の閾値圧力より大きくなるように設定される。タッチが閾値を満たさない場合、ロジックは、ブロック404に移動して、弱押下を返す。いくつかの実施態様では、ロジックは、状態406に進んで、弱押下が、例えば期間閾値内、例えば過去5分以内で、初めての弱押下であるか否かを判定し得、そうである場合、ロジックは、ブロック408に移動して、ディスプレイデバイス212上の仮想キーボード216の画像を拡大し得る。いずれの場合でも、テスト結果が否定的である場合の状態406から、またはブロック408から、ロジックは、ブロック410に移動して、押下位置情報を送信することなく画面カーソルを動かす。
【0048】
他方、状態402のテストで強押下が受信されたと判定された場合、その判定はブロック412にて返され、画面カーソルはタッチに従って移動され、ユーザがシミュレーションコントローラ200のタッチパッド204を強く押下したことにより選択された仮想キーボードの位置を示す位置情報も送信され得る。
【0049】
図5は、上記で示唆されたハードウェアブロックとソフトウェアブロックの組み合わせを示す。弱押下502及び強押下504を表す信号を出力するために、1つ以上の近接センサ及び/または圧力センサ500がタッチパッド204に設けられる。弱押下502は、指の焦点ポイント506を確立する。強押下504は、センサ(複数可)500により検出されるタッチパッド上のポイントを確立する。弱押下はカーソルの焦点ポイントを表し、一方「センサによるポイント」は「センサにより送信される連続ポイント」を意味する。
【0050】
510にて、図6図8を参照して下記でさらに論じられるヒートマップアルゴリズムにアクセスし、強押下504に従って文字シーケンス512が出力される。文字シーケンス512は、辞書514と共に、削減ブロック516に入力され、削減ブロック516は、文字シーケンス512の修正形または完了形を成す可能性があり得る候補リストを削減する。辞書514は、本質的に、誤入力された単語を訂正するために使用され得る文字シーケンスの辞書及び/またはシソーラスであり、例えば、辞書514は、「thw」を「the」に相関させて、「thw」の入力に応じて単語「the」を返し得る。
【0051】
削減された候補リスト516は、予測単語(複数可)を出力して画面上に提示するモジュール518に提供され、これによりユーザは、予測単語(複数可)の全ての文字を入力することなく、自身が所望する入力を選択により完了することができる。モジュール518は、下記でさらに説明されるように、1つ以上のニューラルネットワーク(NN)により確立され得る。予測単語(複数可)を生成するために、モジュール518は、コンテキストユーザブロック520から入力を受信し得、コンテキストユーザブロック520は、以前の入力の繰り返しの可能性があると推測される、現在の入力を含むユーザが使用した以前の単語列を提供し、例えば「do you」は、以前の入力では複数回「know what I mean」が続いたことがあり、この情報は、モジュール518のトレーニング及び実行に役立てるために入力され得る。
【0052】
さらに、図5の右側に示されるように、同様のトレーニング/実行支援がモジュール518に入力され得る。具体的には、他のコンピュータゲーマーのクエリ及びチャットデータ522が、双方向長・短期記憶(BILSTM)524などの文字ベースNNに入力され、共通入力文字列のパターンが学習され、機械学習文字シーケンスモデル526に提供され得る。このモデル526は、次の予測単語(複数可)をレンダリングする際、モジュール518に入力され得る、またはモジュール518によりアクセスされ得る。
【0053】
図6図8Bは、図5のヒートマップアルゴリズム510の使用を示す。基本的に、指の「スワイプ」(強押下)の「経路」または「結合ポイント」、及び各文字の確率は、スワイプに沿って特定の時間間隔で、「減算及び累積」される。各時間間隔にて、最も確率の高い文字が抽出され、これはまた、下記でさらに詳しく述べられるように、特定の閾値を超えた場合にのみ、シーケンスに追加され得る。
【0054】
図6図8Bでは、仮想キーボード216の可能な仮想キーボードレイアウトの一例として、開示を明確にするために、QWERTYキーボードの左上隅にある最初の4文字(すなわち、Q、その隣の「W」、その左下の「A」、及び右下の「S」)のみが示されていることを理解されたい。図示される例示的なヒートマップ510では、特定の文字のヒートマップの各領域は、3×3のグリッドで合計9つの区分(幾何学的矩形として示される)に分割され、特定の文字の中央区分600は、カーソルが中央領域にある時にその文字が所望されている確率が1であることを示す。対照的に、ヒートマップ510は、文字の中央区分600を囲む境界区分602では、1未満であるがゼロより大きい確率を示し、確率は、中央区分600の文字及び境界区分602に直接隣接する文字(複数可)に対応付けられる(あるいは別の文字に隣接していない境界区分の場合、1未満の確率のみが中央区分の文字に対応付けられる)。
【0055】
図7の700に示されるように、弱押下を使用して、目的の入力の開始文字の位置を決定する。次に、図8の800に示されるように、強押下を使用して、開始文字、示される例では「Q」の選択が指示される。これにより、「Q」は確率1で選択され、周囲の文字(示される例では「W」、「A」、及び「S」)は選択されない、すなわち確率0であるというデータが収集される。
【0056】
図8A及び図8Bは、その後のスワイプの結果を示す。図8Aでは、スワイプは、図8で始まる位置から、手の画像により示される位置804まで、802で示される。ここで、ユーザは、自身の指を文字「A」に向かって動かした。これにより、図8Aに示されるアルゴリズムを使用して、境界区分602上のスワイプ経路に従って、新たなヒートマップ統計が集計される。「Q」の確率は、「W」(ゼロ)、「A」(0.3)、及び「S」(ゼロ)の確率よりも高いため、シーケンスは「Q」を返す。
【0057】
図8Bは、手の画像により示される位置808までスワイプが続けられたことを、806で示す。これにより、図8Bに示されるアルゴリズムを使用して、境界区分602上のスワイプ経路に従って、さらなるヒートマップ統計が集計される。「A」の確率は、「W」(ゼロ)、「Q」(0.3)、及び「S」(ゼロ)の確率よりも高いため、シーケンスは「A」を返し、これは図8Aで「Q」が返された後に追加され、結果、シーケンスは「QA」となる。
【0058】
従って、指の「スワイプ」(強押下)の「経路」または「結合ポイント」が追跡され、各文字の確率が、スワイプに沿って特定の時間間隔で、減算及び累積されることが、ここで理解されよう。文字の確率が閾値確率(例えば確率0.4)を満たすとシーケンスに追加されるという条件のいくつかの実施形態では、各時間間隔で、最も高い確率の文字が抽出される。
【0059】
図9は、例えば図5のNNベースモジュールのうちのいずれかで使用され得る例示的なNNアーキテクチャを示す。NNのネットワーク900は、ヒートマップから確率904の入力文字902を受信して、確率908に対応付けられた時間分散予測文字906を出力し得る。示される例では、図示される一連の長・短期記憶(LSTM)910などのそれぞれのリカレントNN(RNN)に、各文字902は入力され得る。図9の右側に示されるLSTM910は、入力ゲート912、忘却ゲート914、及び出力ゲート916を含み得、これらは全て、図9のギリシャ文字σで示されるシグモイド関数を実行し得る。ゲート912は、新たな値がセルに流入する範囲を制御し、忘却ゲート914は、値がセルに残る範囲を制御し、出力ゲート916は、LSTMユニットの出力活性化関数を計算するためにセル内の値が使用される範囲を制御する。
【0060】
示されるように、入力される現在の値xと、以前の反復から非表示状態のht-1とが、3つのゲート全てに入力される。入力ゲート912のシグモイド関数の出力は、第1の結合演算子920にて、双曲線正接関数918と結合され得、これは要素ごとの積であり得る。第1の結合演算子920の出力は、第3の結合演算子924にて第2の結合演算子922の出力と、必要に応じて合計することにより、結合される。第3の結合演算子924の出力は、忘却ゲート914の出力と結合するために、第2の結合演算子922にフィードバックされ得る。さらに、第3の結合演算子924の出力は、必要に応じて双曲線正接関数926により演算され、次いで第4の結合演算子928にて出力ゲート916の出力と結合され、後続の反復で使用するために非表示状態のベクトル930がレンダリングされ得る。
【0061】
図10図12は、予測テキストを生成するためのネットワーク900の使用のシーケンスを示す。下側に示される文字1000の行は、仮想キーボード216のキーの強押下から、及び/または以前予測された文字及び/または単語の選択から、受信された入力を表す。これらは、トレーニング済みのネットワーク900に入力される。1002に示されるヒートマップの文字相関確率を使用して、次の予測文字1004が生成され、モデルにフィードバックされる。図10図12に示されるシーケンスでは、「play」という最初の入力に対し予測文字が生成され、その結果、「PlayStation(登録商標)」という単語が生成された。
【0062】
図13は、本発明の原理と一致する、例示的なロジックのフローチャートである。本明細書で説明されるNNシステム(複数可)は、ブロック1300にてトレーニングされる。ブロック1302に移動すると、タッチパッド上で強押下が受信され、ブロック1304にて、必要に応じてヒートマップを使用して、タッチパッドに基づいて文字が確立される。ブロック1306にて、文字はNNシステムに入力され、ブロック1308にて、NNシステムは、予測文字または予測単語または予測単語列を出力する。ブロック1310にて、予測文字/単語は画面上に提示される。
【0063】
状態1312にて、ユーザが予測を受諾しない場合、状態1314にて、予測は提示から除外され得る。ユーザが予測を受諾した場合、ブロック1316にて、受諾された予測が確定され、強押下により確立された文字の後に順番に提示される。
【0064】
本発明の原理は、数ある中でも画像、ビデオ、及びオーディオのデータ処理を行うための全ての可能な深層学習ベースの方法で、使用され得る。
【0065】
従って、前述の詳細説明から理解され得るように、本発明の原理は、本明細書で説明される技術的解決策により、ニューラルネットワークの適応及びトレーニングを向上させる。
【0066】
本発明の原理は、いくつかの例示的な実施形態を参照して説明されたが、これらは限定を意図するものではなく、本明細書で特許請求される発明の主題を実施するために、様々な代替的構成が使用されてもよいことが、理解されよう。
図1
図2
図3
図4
図5
図6
図7
図8
図8A
図8B
図9
図10
図11
図12
図13
【国際調査報告】