(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022138131
(43)【公開日】2022-09-22
(54)【発明の名称】手書きフィードバック
(51)【国際特許分類】
G06F 40/109 20200101AFI20220914BHJP
G06V 30/19 20220101ALI20220914BHJP
【FI】
G06F40/109
G06K9/62 G
【審査請求】未請求
【請求項の数】15
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022031689
(22)【出願日】2022-03-02
(31)【優先権主張番号】21305281.4
(32)【優先日】2021-03-09
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】501436665
【氏名又は名称】ソシエテ ビック
【氏名又は名称原語表記】SOCIETE BIC
(74)【代理人】
【識別番号】110001656
【氏名又は名称】特許業務法人谷川国際特許事務所
(72)【発明者】
【氏名】ダフィー デビッド
(72)【発明者】
【氏名】ライト クリストファー-ジョン
(72)【発明者】
【氏名】ジャイルズ ビアード ティモシー
(72)【発明者】
【氏名】ラウ ワイ キース
(72)【発明者】
【氏名】シュナベル ウィリアム アンドルー
【テーマコード(参考)】
5B064
5B109
【Fターム(参考)】
5B064AB04
5B064BA06
5B064DD06
5B109RA01
(57)【要約】 (修正有)
【課題】手書きテキストに基づいてフィードバックを生成するコンピュータ実装方法及びそれを実行するシステムを提供する。
【解決手段】コンピュータ実装方法は、手書きテキストを含む筆記動作において使用される筆記具を初期化し110、手書きテキストを捕捉及び処理してデジタルテキストデータを生成し120、デジタルテキストデータに関連付けられた少なくとも1つの手書きテキスト属性を識別し130、少なくとも1つの手書きテキスト属性を事前定義されたテキスト特徴属性と比較し140、比較した少なくとも1つの手書きテキスト属性及び事前定義されたテキスト特徴属性に基づいて、テキスト特徴を生成し150、テキスト特徴を使用してデジタルテキストデータを変更し160、修正されたデジタルテキストデータに基づいて、ユーザへのフィードバックを生成する170。
【選択図】
図1
【特許請求の範囲】
【請求項1】
手書きテキストに基づいてフィードバックを生成するためのコンピュータ実装方法(100)であって、
手書きテキストを含む筆記動作において使用される筆記具(10)を初期化するステップ(110)と、
前記手書きテキストを捕捉および処理して、デジタルテキストデータを生成するステップ(120)と、
前記デジタルテキストデータに関連付けられた少なくとも1つの手書きテキスト属性を識別するステップ(130)と、
前記少なくとも1つの手書きテキスト属性を事前定義されたテキスト特徴属性と比較するステップ(140)と、
前記比較された少なくとも1つの手書きテキスト属性および事前定義されたテキスト特徴属性に基づいて、テキスト特徴を生成するステップ(150)と、
前記テキスト特徴を使用して前記デジタルテキストデータを修正するステップ(160)と、
前記修正されたデジタルテキストデータに基づいて、ユーザ(U)へのフィードバックを生成するステップ(170)と、を含む、コンピュータ実装方法(100)。
【請求項2】
前記手書きテキストが、前記筆記具(10)を使用してユーザ(U)によって筆記媒体上に書かれたテキストによって提供される、請求項1に記載の方法(100)。
【請求項3】
前記フィードバックが、表示ユニットを備えるユーザインターフェースサブシステム(40)を介してユーザ(U)に対して表示される視覚的フィードバックである、請求項1または2に記載の方法(100)。
【請求項4】
前記筆記具(10)を初期化すること(110)が、入力データを捕捉することを含む、先行請求項のいずれか一項に記載の方法(100)。
【請求項5】
入力データを捕捉することが、入力アルゴリズム(111)を適用することを含む、請求項4に記載の方法(100)。
【請求項6】
前記手書きテキストを捕捉および処理すること(120)が、捕捉サブシステム(20)からの追跡データを捕捉することを含み、前記捕捉サブシステム(20)が、筆記動作中に前記筆記具(10)の追跡データを生成するように構成されている、先行請求項のいずれか一項に記載の方法(100)。
【請求項7】
前記捕捉サブシステム(20)が、容量感応表面、加速度計、ジャイロスコープ、磁力計、力センサ、および/または光学センサを含む1つ以上のセンサを備える、請求項6に記載の方法(100)。
【請求項8】
前記追跡データが、前記筆記具(10)の動き追跡データを備え、前記動き追跡データが、前記筆記具(10)の位置、前記筆記具(10)の動きの方向、前記筆記具(10)の動きの速度、前記筆記具(10)の動きの加速度、前記筆記具(10)に作用する力、前記筆記具(10)の取り扱いモード、前記筆記具(10)の使用モードのうちの1つ以上を備える、請求項6または7に記載の方法(100)。
【請求項9】
前記デジタルテキストデータに関連付けられた少なくとも1つの手書きテキスト属性を識別すること(130)が、手書き属性識別アルゴリズム(131)を適用することを含む、先行請求項のいずれか一項に記載の方法(100)。
【請求項10】
手書きテキストに基づいてフィードバックを生成するためのシステム(1)であって、
手書きテキストを実行するためにユーザ(U)によって動作されるように構成された筆記具(10)と、
前記手書きテキストを捕捉するように構成された捕捉サブシステム(20)と、
処理サブシステム(30)であって、
-前記手書きテキストをデジタルテキストデータに処理し、
-前記デジタルテキストデータに関連付けられた少なくとも1つの手書きテキスト属性を識別し、
-前記少なくとも1つの手書きテキスト属性を事前定義されたテキスト特徴属性と比較し、
-前記比較された少なくとも1つの手書きテキスト属性および事前定義されたテキスト特徴属性に基づいて、テキスト特徴を生成し、
-前記テキスト特徴を使用して前記デジタルテキストデータを修正するように構成された、処理サブシステム(30)と、
前記修正されたデジタルテキストデータに基づいてフィードバックを生成し、かつ前記生成されたフィードバックを前記ユーザ(U)に対して再生するように構成されたユーザインターフェースサブシステム(40)と、を備える、システム(1)。
【請求項11】
前記捕捉サブシステム(20)が、筆記動作中に前記筆記具(10)の追跡データを生成するように構成されている、請求項10に記載のシステム(1)。
【請求項12】
前記追跡データが、前記筆記具(10)の動き追跡データ、筆記媒体および/または前記筆記具(10)の視覚データ、ならびに容量感応表面の容量感応表面データのうちの1つ以上を備える、請求項11に記載のシステム(1)。
【請求項13】
各々がテキスト特徴を生成するために必要とされる事前定義された属性重み付けを有する事前定義されたテキスト特徴属性を備えるテキスト特徴属性データベース(142)、または各々が事前定義された属性重み付けを有する事前定義されたテキスト特徴属性を備えるテキスト特徴属性データベース(142)へのリンクをさらに備える、請求項10~12のいずれか一項に記載のシステム(1)。
【請求項14】
前記処理サブシステム(20)が、関連する事前定義されたテキスト特徴を選択するように構成されたテキスト特徴選択アルゴリズム(141)を実行するように構成されており、前記関連する事前定義されたテキスト特徴の各々が、関連付けられた事前定義されたテキスト特徴属性と、事前定義された属性重み付けと、を有する、請求項10~13のいずれか一項に記載のシステム(1)。
【請求項15】
前記システム(1)が、請求項1~9のいずれか一項に記載の手書きテキストに基づいてフィードバックを生成するための前記コンピュータ実装方法(100)を実行するように構成されている、請求項10~14のいずれか一項に記載のシステム(1)。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2021年3月9日に出願された欧州特許出願第21305281.4号からの優先権を主張し、その内容は、この参照によりその全体が本明細書に組み込まれる。
【0002】
本開示は、筆記動作の分野、より具体的には、手書きテキストに基づいてフィードバックを生成するためのコンピュータ実装方法、およびコンピュータ実装方法を実行するように構成されたシステムに関する。
【背景技術】
【0003】
近年、テキストを理解する、または様々な入力パラメータに基づいて出力テキストの形式で視覚的フィードバックを作成するためのアルゴリズムが登場している。例として、商用フォント製品は典型的に、筆記体、幅、または角度などの具体的な属性要件によって設計され、設計者によって手作業で作成される。新しいアルゴリズムは、既存のフォントを編集し、かつ異なるフォント間で補間することにより、新しいフォントスタイルでグリフ画像を作成するなど、同様のタスクを実行することが可能である。より具体的には、そのような新しいフォントまたはフォントスタイルは、入力属性および対応する重み値のセットに基づいて合成することができる。同様の例は、ユーザの好みおよび/または入力テキストの言語的もしくは意味的特徴に基づいて、デフォルト画像の画像または画像スタイルの変更を生成するように構成可能な画像生成アルゴリズムである。このようなアルゴリズムは、ウェブベースであり、ほぼリアルタイムで実行可能である。
【0004】
他の研究分野では、訓練を受けていない目には気付かない可能性のあるユーザに関する情報をリアルタイムで推測するために、ユーザの手書きを分析し、かつデータを抽出することが可能である、アルゴリズムが開発されている。そのようなデータは、ユーザの感情状態、例えば、ポジティブ、ニュートラル、またはネガティブな気分を判定するために使用され得る。
【0005】
しかしながら、ユーザの手書き動作中は、現状、手書きの改善のための重要な指標となり得る特定の機能または手書きの変更をユーザに通知するための、または内省のために現在の感情状態をユーザに通知するためのオプションはない。さらに、ユーザの手書きの特徴の評価は、訓練を受けていないユーザにとっては、典型的に、識別不能であり、専門家による分析が必要になる場合がある。加えて、感情状態および整然さを考慮した手書きの評価は、リアルタイムの改善または内省を可能にしない、長いプロセスになる可能性がある。
【0006】
よって、本開示の目的は、ユーザの手書きのリアルタイムおよび/または修正されたデジタルフィードバックを可能にするように構成されたコンピュータ実装方法および/またはシステムを提供することである。本開示の別の目的は、ユーザの手書きを分析し、かつユーザの手書きに関連付けられた身体的および/または心理的特徴をユーザに通知することが可能な、コンピュータ実施方法および/またはシステムを提供することである。
【発明の概要】
【0007】
本開示は、請求項1に記載の手書きテキストに基づいてフィードバックを生成するためのコンピュータ実装方法、および請求項10に記載の手書きテキストに基づいてフィードバックを生成するためのシステムに関する。従属請求項は、本開示の好ましい実施形態を示している。
【0008】
本開示の第1の態様によれば、手書きテキストに基づいてフィードバックを生成するためのコンピュータ実装方法が提供され、本方法は、手書きテキストを含む筆記動作において使用される筆記具を初期化するステップと、手書きテキストを捕捉かつ処理して、デジタルテキストデータを生成するステップと、を含む。本方法は、デジタルテキストデータに関連付けられた少なくとも1つの手書きテキスト属性を識別するステップと、少なくとも1つの手書きテキスト属性を事前定義されたテキスト特徴属性と比較するステップと、比較された少なくとも1つの手書きテキスト属性および事前定義されたテキスト特徴属性に基づいて、テキスト特徴を生成するステップと、をさらに含む。加えて、本方法は、テキスト特徴を使用してデジタルテキストデータを変更するステップと、修正されたデジタルテキストデータに基づいて、ユーザへのフィードバックを生成するステップと、を含む。ユーザは、手書きの微妙な変化、より具体的には、筆記具を使用して手書きテキストを実行する際に、リアルタイムのフィードバックを受容することができる。それにより、手書きの読みやすさ、および/または内省のためのユーザの心の状態(例えば、ニュートラル、ポジティブ、またはネガティブな気分、不安)に関する有益なフィードバックを改善することができる。詳細には、ユーザによって実行された手書きテキストおよびそれに関連付けられた微妙な変更を参照する継続的なフィードバックを可能にすることは、学習の加速および手書きの改善につながり得る。フィードバックは、手書きテキストから導出されたユーザの気分および感情状態についての内省をユーザに提供し得る。
【0009】
実施形態では、テキストの特徴は、フォントであり得る。フィードバックは視覚的フィードバックであり得、より具体的には、視覚的フィードバックは、出力テキストを含み得る。実施形態では、出力テキストは、フォントを備え得る。
【0010】
手書きテキストは、筆記媒体上で筆記具を使用してユーザが書いたテキストによって提供され得る。より具体的には、手書きテキストは、少なくとも1つのコミュニケーション言語に関して意味論的および/または言語学的に解釈可能であり得る。
【0011】
実施形態では、筆記媒体は、紙のシートまたはデジタルシートであり得る。筆記具は、ボールペン、万年筆、フェルトペン、ブラシ、鉛筆、またはデジタルペンであり得る。
【0012】
フィードバックは、表示ユニットを備えるユーザインターフェースサブシステムを介してユーザに表示される視覚的フィードバックであり得る。
【0013】
筆記具の初期化は、より具体的には、ユーザインターフェースサブシステムを介して、入力データを捕捉することを含み得る。さらに、入力データを捕捉することは、入力アルゴリズムを適用することを含み得る。入力アルゴリズムは、評価されるべき少なくとも1つの選好を識別するようにユーザを案内するユーザインターフェースサブシステムを介して少なくとも1つのユーザ相互作用を促すように構成することができる。より詳細には、識別された選好は、手書きテキストに関連付けられた少なくとも1つの物理的選好および/または少なくとも1つの心理的選好を含み得る。さらに、入力アルゴリズムは、ユーザ相互作用を介して少なくとも1つの識別された選好を受容するように構成することができる。識別された選好は、例えば、手書きの改善および/または感情的な心の状態に関する情報の導出など、ユーザのニーズに基づいてユーザに提供されるより適応されたフィードバックにつながり得る。
【0014】
実施形態では、入力アルゴリズムは、ユーザに筆記動作を開始するように、および/または筆記媒体を選択するように案内するユーザインターフェースサブシステムを介して、少なくとも1つのユーザ相互作用を促すように構成することができる。
【0015】
手書きテキストの捕捉および処理は、捕捉サブシステムから追跡データを捕捉することを含み得、捕捉サブシステムは、筆記動作中に筆記具の追跡データを生成するように構成することができる。
【0016】
追跡データは、筆記具の動き追跡データ、筆記媒体および/または筆記具の視覚データ、および容量感応表面の容量感応表面データのうちの1つ以上を備え得る。
【0017】
捕捉サブシステムは、容量感応表面、加速度計、ジャイロスコープ、磁力計、力センサ、および/または光学センサを含む1つ以上のセンサを備え得る。
【0018】
動き追跡データは、筆記具の位置、筆記具の動きの方向、筆記具の動きの速度、筆記具の動きの加速、筆記具に作用する力、筆記具の取り扱いモード、および筆記具の使用モードのうちの1つ以上を備え得る。
【0019】
一実施形態では、追跡データを捕捉することは、捕捉サブシステムを介して追跡データを継続的に監視することを含み得、より具体的には、追跡データは、タイムスタンプを備え得る。
【0020】
実施形態では、捕捉サブシステムは、筆記具および/または外部デバイスに統合することができる。一実施形態では、外部デバイスは、ユーザインターフェースサブシステムの一部であり得る。
【0021】
実施形態では、捕捉サブシステムは、デジタルシート、より具体的には、タッチパッド、タッチスクリーン、またはグラフィックタブレットを備え得る。
【0022】
手書きテキストの捕捉および処理は、追跡データをデジタルテキストデータに変換するように構成された筆記デジタル化アルゴリズムを適用することを備え得る。より詳細には、筆記デジタル化アルゴリズムは、追跡データを手書き特徴ベクトルのセットに変換し、かつ手書き特徴ベクトルのセットをベクトルから文字へのマッピングを介してデジタルテキストデータに変換するように構成することができる。
【0023】
実施形態では、手書き特徴ベクトルのセットは、線幅特徴ベクトル、文字高さ特徴ベクトル、パフォーマンス時間特徴ベクトル、文字間隔特徴ベクトル、筆記体特徴ベクトル、角度特徴ベクトル、および/または流動性特徴ベクトルのうちの1つ以上を備え得る。
【0024】
実施形態では、デジタルテキストデータは、少なくとも1つの索引付けされた文字、単語、および/または文を備え得る。
【0025】
デジタルテキストデータに関連付けられた少なくとも1つの手書きテキスト属性を識別することは、手書き属性識別アルゴリズムを適用することを含み得る。
【0026】
手書き属性識別アルゴリズムは、デジタルテキストデータを処理することによって、より具体的には、手書き特徴ベクトルのセットを処理することによって、少なくとも1つの手書きテキスト属性を判定するように構成することができる。実施形態では、手書き属性識別アルゴリズムは、それぞれの手書き特徴ベクトルの優位性に基づいて、手書き特徴ベクトルのセットのうちの少なくとも1つの関連する手書き特徴ベクトルを判定するように構成することができる。手書き属性識別アルゴリズムは、少なくとも1つの関連する手書き特徴ベクトルを選択するように構成することができる。
【0027】
手書き属性識別アルゴリズムは、判定された関連する特徴ベクトルおよびそれらの優位性に基づいて、少なくとも1つの手書きテキスト属性を属性重み付けに関連付けるように構成することができ、より具体的には、属性重み付けは、特徴から属性へのマッピングによって判定される。実施形態では、少なくとも1つの手書きテキスト属性は、物理的属性および/または心理的属性を備え得る。
【0028】
少なくとも1つの手書きテキスト属性を事前定義されたテキスト特徴属性と比較することは、テキスト特徴選択アルゴリズムを適用することを含み得る。
【0029】
事前定義されたテキスト特徴属性は、テキスト特徴属性データベースに格納することができる。テキスト特徴属性データベースは、事前定義されたテキスト特徴属性の各々について事前定義された属性重み付けを備え得る。
【0030】
実施形態では、事前定義されたテキスト特徴属性は、少なくとも1つの手書きテキスト属性に関連する識別子を備え得る。テキスト特徴選択アルゴリズムは、識別子に基づいて、少なくとも1つの手書きテキスト属性に関連付けられた関連する事前定義されたテキスト特徴属性を検索および選択するように構成することができる。
【0031】
テキスト特徴選択アルゴリズムは、少なくとも1つの手書きテキスト属性に基づいて、および/または識別された選好に基づいて、関連する事前定義されたテキスト特徴属性の事前定義された属性重み付けの1つ以上を変更するように構成することができる。事前定義された属性重み付けは、識別された選好に基づいて変更することができるため、ユーザは、ユーザの選好に合わせて、より焦点を絞ったフィードバックを体験することができる。
【0032】
テキスト特徴を生成することは、複数の事前定義されたテキスト特徴を備えるテキスト特徴データベースから少なくとも1つの事前定義されたテキスト特徴を選択するように構成されたテキスト特徴選択アルゴリズムを適用することを含み得る。
【0033】
テキスト特徴選択アルゴリズムは、少なくとも1つの手書きテキスト属性、識別された選好、および/または関連する事前定義されたテキスト特徴属性に基づいて、少なくとも1つの事前定義されたテキスト特徴を選択するように構成することができる。
【0034】
実施形態では、テキスト特徴選択アルゴリズムは、少なくとも1つの手書きテキスト属性、選好、および/または関連する事前定義されたテキスト特徴属性の変更に基づいて、少なくとも1つの事前定義されたテキスト特徴を連続的に適合させるように構成することができる。これにより、筆記動作が進むにつれて、ユーザは、リアルタイムのフィードバック、より具体的には視覚的フィードバックを経験することができる。
【0035】
テキスト特徴を生成することは、少なくとも1つの事前定義されたテキスト特徴のスタイル転送を実行するように訓練されたテキスト特徴生成ネットワークを適用することを含み得る。
【0036】
テキスト特徴を使用してデジタルテキストデータを修正することは、テキスト特徴を使用することによってデジタルテキストデータを変換するように構成されたテキスト特徴生成ネットワークを適用することを含み得る。実施形態では、テキスト特徴生成ネットワークは、デジタルテキストデータを、変更された所定のテキスト特徴属性重み付けに基づいて、変換可能なベクトル画像に変換するように構成することができる。
【0037】
修正されたデジタルテキストデータに基づいてユーザへのフィードバックを生成することは、修正されたデジタルテキストデータをフィードバックデータにレンダリングするように構成されたレンダリングアルゴリズムを適用し、ユーザインターフェースサブシステム上でフィードバックデータを再生することを含み得る。実施形態では、フィードバックは視覚的フィードバックであり得、修正されたデジタルテキストデータに基づいてユーザへのフィードバックを生成することは、ユーザインターフェースサブシステム上に視覚的フィードバックを表示することをさらに含み得る。
【0038】
本開示の第2の態様によれば、手書きテキストに基づいてフィードバックを生成するためのシステムが提供され、これは、手書きテキストを実行するためにユーザによって動作されるように構成された筆記具と、手書きテキストを捕捉するように構成された捕捉サブシステムと、を備える。さらに、システムは、手書きテキストをデジタルテキストデータに処理し、デジタルテキストデータに関連付けられた少なくとも1つの手書きテキスト属性を識別し、少なくとも1つの手書きテキスト属性を事前定義されたテキスト特徴属性と比較し、比較された少なくとも1つの手書きテキスト属性および事前定義されたテキスト特徴属性に基づいて、テキスト特徴を生成し、テキスト特徴を使用してデジタルテキストデータを修正するように構成された処理サブシステムを備える。さらに、システムは、修正されたデジタルテキストデータに基づいてフィードバックを生成し、生成されたフィードバックをユーザに対して再生するように構成されたユーザインターフェースサブシステムを備える。
【0039】
実施形態では、テキストの特徴はフォントであり得る。フィードバックは、出力テキストを含む視覚的フィードバックであり得る。
【0040】
筆記具は、筆記媒体上で使用されるように構成することができ、より具体的には、筆記媒体は、紙のシートまたはデジタルシートであり得る。実施形態では、筆記具は、ボールペン、万年筆、フェルトペン、ブラシ、鉛筆、またはデジタルペンであり得る。
【0041】
ユーザインターフェースサブシステムは、表示ユニットを備え得、より具体的には、表示ユニットは、容量感応表面を備え得る。
【0042】
捕捉サブシステムは、筆記動作中に筆記具の追跡データを生成するように構成することができる。実施形態では、追跡データは、筆記具の動き追跡データ、筆記媒体および/または筆記具の視覚データ、および容量感応表面の容量感応表面データのうちの1つ以上を備え得る。
【0043】
捕捉サブシステムは、容量感応表面、加速度計、ジャイロスコープ、磁力計、力センサ、および/または光学センサを含む1つ以上のセンサを備え得る。
【0044】
実施形態では、動き追跡データは、筆記具の位置、筆記具の動きの方向、筆記具の動きの速度、筆記具の動きの加速度、筆記具に作用する力、筆記具の取り扱いモード、および筆記具の使用モードのうちの1つ以上を備え得る。
【0045】
一実施形態では、捕捉サブシステムは、捕捉サブシステムを介して追跡データを継続的に監視するように構成することができ、より具体的には、追跡データは、タイムスタンプを備え得る。
【0046】
実施形態では、捕捉サブシステムは、筆記具および/または外部デバイスに統合することができる。一実施形態では、外部デバイスは、ユーザインターフェースサブシステムの一部であり得る。
【0047】
捕捉サブシステムは、デジタルシート、より具体的には、タッチパッド、タッチスクリーン、またはグラフィックタブレットを備え得る。
【0048】
捕捉サブシステムは、少なくとも1つの光学センサを使用することによって、手書きテキストの画像および/またはビデオを捕捉するように構成することができる。一実施形態では、捕捉サブシステムは、システムのユーザによって提供される時系列の手書きテキストを、より具体的には、筆記が進行するにつれて捕捉するようにさらに構成することができる。
【0049】
システムは、捕捉サブシステムとユーザインターフェースサブシステムとの間でデータを送信するように構成されたデータ取り扱いサブシステムをさらに備え得る。
【0050】
実施形態では、データ取り扱いサブシステムは、データを受信および/または送信するように構成された第1のデータ取り扱いサブシステムを備え得、より具体的には、第1のデータ取り扱いサブシステムは、筆記具および/または外部デバイスに統合することができる。
【0051】
データ取り扱いサブシステムは、第1のデータ取り扱いサブシステムにデータを受信および/または送信するように構成された第2のデータ取り扱いサブシステムを備え得、より具体的には、第2のデータ取り扱いサブシステムは、ユーザインターフェースサブシステムの一部であり得る。
【0052】
捕捉サブシステムは、追跡データを生成し、かつ第1のデータ取り扱いサブシステムおよび/または第2のデータ取り扱いサブシステムに送信するように構成することができる。
【0053】
処理サブシステムは、データを処理するように構成された処理ユニットを備え得、より具体的には、処理サブシステムは、データ取り扱いサブシステムおよび/またはユーザインターフェースサブシステムの筆記具の一部であり得る。
【0054】
ユーザインターフェースサブシステムは、システムのユーザからの入力を受信するように構成することができ、より具体的には、ユーザインターフェースサブシステムは、ユーザ選択を可能にするように構成することができる。
【0055】
処理サブシステムは、追跡データに基づいてデジタルテキストデータを生成するように構成された筆記デジタル化アルゴリズムを実行するように構成することができる。実施形態では、筆記デジタル化アルゴリズムは、筆記具の動作に対応する追跡データに基づいて、手書きテキストを仮想的に再生するように構成することができる。
【0056】
実施形態では、デジタルテキストデータは、少なくとも1文字の文字列に関するテキストおよび/またはベクトルグラフィックもしくはビットマップに関するテキストのうちの1つ以上を備え得る。
【0057】
処理サブシステムは、捕捉されたデジタルテキストデータに基づいて少なくとも1つの手書きテキスト属性を識別するように構成された手書き属性識別アルゴリズムを実行するように構成することができる。
【0058】
システムは、テキスト特徴を生成するために必要とされる事前定義された属性重み付けを各々が有する事前定義されたテキスト特徴属性を備えるテキスト特徴属性データベース、または各々が事前定義された属性重み付けを有する事前定義されたテキスト特徴属性を備えるテキスト特徴属性データベースへのリンクをさらに備え得る。
【0059】
さらに、システムは、各々が事前定義されたテキスト特徴属性と、事前定義された属性重み付けと、を有する、複数の事前定義されたテキスト特徴を備えるテキスト特徴データベース、または各々が事前定義されたテキスト特徴属性と、事前定義された属性重み付けと、を有する、複数の事前定義されたテキスト特徴を備えるテキスト特徴データベースへのリンクを備え得る。
【0060】
処理サブシステムは、関連する事前定義されたテキスト特徴を選択するように構成されたテキスト特徴選択アルゴリズムを実行するように構成することができ、関連する事前定義されたテキスト特徴の各々が、関連付けられた事前定義されたテキスト特徴属性と、事前定義された属性重み付けと、を有する。
【0061】
実施形態では、テキスト特徴選択アルゴリズムは、事前定義されたテキスト特徴属性を少なくとも1つの手書きテキスト属性と比較および/または関連付けることによって、関連する事前定義されたテキスト特徴を判定するように構成することができる。より具体的には、事前定義された属性重み付けは、比較されかつ関連付けられた事前定義されたテキスト特徴属性および少なくとも1つの手書きテキスト属性に基づいて変更することができる。
【0062】
処理サブシステムは、少なくとも1つの事前定義されたテキスト特徴のスタイル転送を実行し、かつスタイル転送に基づいてテキスト特徴を生成するように構成されたテキスト特徴生成ネットワークを実行するように構成することができる。
【0063】
処理サブシステムは、生成されたテキスト特徴でデジタルテキストデータを修正するように構成されたテキスト特徴生成ネットワークを実行するように構成することができ、より具体的には、テキスト特徴生成ネットワークは、変更された所定の属性重み付けに基づいて、デジタルテキストデータを変換可能なベクトル画像に変換するように構成することができる。
【0064】
実施形態では、処理サブシステムは、修正されたデジタルテキストデータをフィードバックデータにレンダリングするように構成されたレンダリングアルゴリズムを実行するように構成することができる。
【0065】
システムは、本開示の第1の態様について説明した実施形態に従って、手書きテキストに基づいてフィードバックを生成するためのコンピュータ実装方法を実行するように構成することができる。
【図面の簡単な説明】
【0066】
他の特徴は、本開示の一部を形成する添付の図面から明らかになるであろう。図面は、本開示をさらに説明し、当業者がそれを実施できるようにすることを意図している。しかしながら、これらの図面は、非限定的な例として意図されている。異なる図における共通の参照符号は、類似または同様の機能を示す。
【0067】
【
図1】本開示の第1の態様によるコンピュータ実装方法の概要である。
【
図2】コンピュータ実装方法のプロセスフロー図である。
【
図3】コンピュータ実装方法のプロセスフロー図である。
【
図4】本開示の第2の態様による筆記具システムの概略図である。
【発明を実施するための形態】
【0068】
本開示による手書きテキストに基づくフィードバックを生成するためのコンピュータ実装方法およびシステムの実施形態を、以下の図面を参照して説明する。
【0069】
図1は、本開示の第1の態様によるコンピュータ実装方法100の概要である。手書きテキストに基づいてフィードバックを生成するためのコンピュータ実装方法100は、手書きテキストを含む筆記動作において使用される筆記具10を初期化するステップ110と、手書きテキストを捕捉および処理してデジタルテキストデータを生成するステップ120と、デジタルテキストデータに関連付けられた少なくとも1つの手書きテキスト属性を識別するステップ130と、を含む。さらに、方法100は、少なくとも1つの手書きテキスト属性を事前定義されたテキスト特徴属性と比較するステップ140と、比較された少なくとも1つの手書きテキスト属性および事前定義されたテキスト特徴属性に基づいて、テキスト特徴を生成するステップ150と、テキスト特徴を使用して、デジタルテキストデータを修正するステップ160と、を含む。加えて、方法100は、修正されたデジタルテキストデータに基づいてユーザUへのフィードバックを生成するステップ170を含む。
【0070】
本開示の第1の態様による方法100は、ユーザUによって提供された手書きテキストおよび関連付けられた属性の軽微な差異に基づいて修正されたテキスト特徴を使用した、ユーザUが書いているもののデジタルバージョンの生成を介して、ユーザUが、リアルタイムで進化するフィードバックを受容することを可能にする。ユーザ固有の属性、より具体的には、手書きテキスト属性は、ユーザの手書きテキストから継続的に抽出することができ、テキスト特徴生成ネットワークによって使用して、手書きテキスト属性に基づいて事前定義された(またはデフォルトの)テキスト特徴を選択および変更することができる。対応するフィードバックを生成し、ユーザUに対して再生することができる。記載の方法100は、例えば、ユーザUが、より具体的には、筆記具10を使用して手書きテキストを実行する際に、手書きの微妙な変化についてのリアルタイムフィードバックを受容可能であることを提供し得る。それにより、手書きの読みやすさ、および/または内省のためのユーザの心の状態(例えば、ニュートラル、ポジティブ、ネガティブな気分または不安)に関する有益なフィードバックを改善することができる。詳細には、ユーザUによって実行された手書きテキストおよび関連付けられた微妙な変更を参照した継続的なフィードバックの有効化は、手書きの学習を加速することにつながり得る。さらに、フィードバックは、手書きテキストから導出されたユーザの気分および感情状態についての内省をユーザUに提供し得る。
【0071】
上記の属性は、ユーザの手書きテキストから導出され、テキスト特徴を作成するための基本的な構成要素を形成し得る品質である。手書きテキスト属性は、ユーザUの書き方に固有の視覚的および非視覚的特性(または物理的または心理的特性)の推測される意味に関係する。手書きテキスト属性は、例えば、以下でより詳細に説明するように、文字の高さ、手書きテキストを実行する(詳細には、文字および/または単語および/または文を実行する)時間、文字または単語を実行する間の時間(例えば、ユーザによる筆記動作中の筆記具10の空中時間)、文字間隔、手書きテキストの角度から導出すことができる。例えば、文字の高さがより低く、筆記が速く(手書きテキストを実行する時間が短い)、文字の間隔が狭い場合は、ユーザUのネガティブな感情を示している可能性がある(ニュートラルまたはポジティブな感情を有するユーザUの手書きテキストと比較して)。事前定義されたテキスト特徴属性は、デフォルトのテキスト特徴の視覚スタイルを定義および包含する基本的な構成要素を形成する。各事前定義されたテキスト特徴属性は、変更可能な事前定義された属性重み付けを備える。事前定義されたテキスト特徴属性は、例えば、セリフ、角度、劇的、および/または斜体を含み得る。例として、角度および劇的なものを含むテキスト特徴は、怒りおよび感情的なフィードバックをもたらす可能性がある。手書き属性、事前定義されたテキスト特徴属性、およびテキスト特徴について、以下で詳細に説明する。
【0072】
示されている実施形態では、テキスト特徴は、フォントであり得る。フィードバックは、出力テキストを含む視覚的フィードバックであり得る。実施形態では、出力テキストはフォントを備え得る。他の実施形態では、フィードバックは、ユーザに対して再生される音声フィードバック(例えば、サウンドフィードバック)であり得る。手書きテキストは、筆記具10を使用してユーザUによって筆記媒体上に書かれたテキストによって提供され得、より具体的には、手書きテキストは、少なくとも1つの通信言語に関して意味的および/または言語的に解釈可能であり得る。筆記媒体は、紙のシートまたはデジタルシートであり得る。筆記具10は、ボールペン、万年筆、フェルトペン、ブラシ、鉛筆、またはデジタルペンであり得る。視覚的フィードバックは、表示ユニットを備えるユーザインターフェースサブシステム40を介してユーザUに対して表示することができる。フィードバックが音声フィードバックである場合、ユーザインターフェースサブシステム40は、ユーザへの音声フィードバックを再生するように構成することができ、例えば、ユーザインターフェースサブシステム40は、少なくとも1つの音声放出構成要素を含み得る。例えば、少なくとも1つの音声放出構成要素は、音を再生するように構成されたスピーカーであり得る。
【0073】
図2および3は、コンピュータ実装方法100のプロセスフロー図である。筆記具10を初期化するステップ110は、より具体的には、ユーザインターフェースサブシステム40を介して、入力データを捕捉することを含む。入力データを捕捉することは、入力アルゴリズム111を適用することを含む。入力アルゴリズム111は、評価されるべき少なくとも1つの選好を識別するようにユーザUを案内するユーザインターフェースサブシステム40を介して、少なくとも1つのユーザ相互作用112を促すように構成することができる。識別された選好は、手書きテキストに関連付けられた少なくとも1つの物理的選好および/または少なくとも1つの心理的選好を含み得る。入力アルゴリズム111は、ユーザ相互作用112を介して、少なくとも1つの識別された選好を受容するようにさらに構成することができる。評価されるべき少なくとも1つの物理的選好は、手書きの読みやすさまたは整然さの改善であり得、例えば、個々の文字の高さの一貫性が方法100によって評価され得る。少なくとも1つの心理的選好を評価することは、具体的な感情的属性または手書きスタイルの特質を検出することを含み得、例えば、ユーザが書いている特定のトピックについて、ユーザの怒りが増大したときに、ユーザの注意を警告する。実施形態では、入力アルゴリズム111は、ユーザUに筆記動作を開始するように、および/または筆記媒体を選択するように案内するユーザインターフェースサブシステム40を介して、少なくとも1つのユーザ相互作用112を促すように構成することができる。
【0074】
図1~3に示される第2のステップを参照すると、手書きテキストを捕捉および処理すること120は、捕捉サブシステム20からの追跡データを捕捉することを含み、捕捉サブシステム20は、筆記動作中に筆記具10の追跡データを生成するように構成することができる。追跡データは、筆記具10の動き追跡データ、筆記媒体および/または筆記具10の視覚データ、および容量感応表面の容量感応表面データのうちの1つ以上を備え得る。動き追跡データは、筆記具10の位置、筆記具10の動きの方向、筆記具10の動きの速度、筆記具10の動きの加速度、筆記具10に作用する力、筆記具10の取り扱いモード、および筆記具10の使用モードのうちの1つ以上を備え得る。追跡データを捕捉することは、捕捉サブシステム20を介して追跡データを継続的に監視することを含み得、より具体的には、追跡データは、タイムスタンプを備え得る。捕捉サブシステム20の詳細な実施形態を、以下のシステム1を参照して説明する。
【0075】
図1~3に示されるように、手書きテキストを捕捉および処理すること120は、追跡データをデジタルテキストデータに変換するように構成された筆記デジタル化アルゴリズム121を適用することを含む。実施形態では、筆記デジタル化アルゴリズム121は、追跡データを手書き特徴ベクトルのセットに変換し、かつ手書き特徴ベクトルのセットを、ベクトルから文字へのマッピングを介してデジタルテキストデータに変換するように構成することができる。手書き特徴ベクトルのセットは、とりわけ、線幅特徴ベクトル、文字高さ特徴ベクトル、パフォーマンス時間特徴ベクトル、文字間隔特徴ベクトル、筆記体特徴ベクトル、角度特徴ベクトル、および/または流動性特徴ベクトルのうちの1つ以上を備え得る。
図3は、手書きテキストからリストされ、かつ導出された特徴ベクトルv
nを示す。実施形態では、デジタルテキストデータは、少なくとも1つの索引付けされた文字、単語、および/または文を備え得る。変換された文字は、メモリに格納され得る単語および文の再構成を提供するために索引付けすることができる。デジタルテキストデータはプレーンテキストであり得、生成されたテキスト特徴、より具体的にはフォントを伴って、後で適用および変換するために使用することができる。
【0076】
デジタルテキストデータに関連付けられた少なくとも1つの手書きテキスト属性を識別すること130は、手書き属性識別アルゴリズム131を適用することを含む。手書き属性識別アルゴリズム131は、デジタルテキストデータ、より具体的には、手書き特徴ベクトルのセットを処理することによって、少なくとも1つの手書きテキスト属性を判定するように構成することができる。それにより、手書き属性識別アルゴリズム131は、それぞれの手書き特徴ベクトルの優位性に基づいて、手書き特徴ベクトルのセットの少なくとも1つの関連する手書き特徴ベクトルを判定するように構成することができる。優位性は、手書きテキストに依存する可能性があり、例えば、優位性は、文字の高さがより大きいこと、または手書きテキストの文字間の距離が大きいことを指す。手書き属性識別アルゴリズム131は、少なくとも1つの関連する手書き特徴ベクトルを選択するように構成することができる。少なくとも1つの手書き特徴ベクトルを使用して、物理的および/または心理的な手書きテキスト属性を判定することができる。例えば、
図3に示すように、手書き属性「ネガティブな感情」は、文字の高さがより低く、文字の筆記がより速く、文字の間隔が狭いことで定量化することができる。手書き属性識別アルゴリズム131は、判定された関連する特徴ベクトルおよびそれらの優位性に基づいて、少なくとも1つの手書きテキスト属性を属性重み付けに関連付けるようにさらに構成することができ、より具体的には、属性重み付けは、特徴から属性のマッピングによって判定することができる。少なくとも1つの手書きテキスト属性は、物理的な属性および/または心理的な属性であり得る。
図3に示される例を参照すると、手書き属性識別アルゴリズム131は、手書きテキストが、より低い文字の高さと、速い筆記と、文字の狭い間隔と、を含むことを判定することができ、かつこれらの特徴ベクトルを、ユーザUの手書きテキスト属性「ネガティブな感情」と関連付けることができる。手書きテキストが角度特徴ベクトルにおいて捕捉された角度の高い値を備える場合、手書きテキスト属性は、角度に対して高い属性重み付けに関連付けられた物理的な手書きテキスト属性「高角度」も備え得る。
【0077】
少なくとも1つの手書きテキスト属性を事前定義されたテキスト特徴属性と比較すること140は、テキスト特徴選択アルゴリズム141を適用することを含む。事前定義されたテキスト特徴属性は、テキスト特徴属性データベース142内に格納することができる。テキスト特徴属性データベース142は、事前定義されたテキスト特徴属性の各々に対して事前定義された属性重み付けを備え得る。テキスト特徴、より具体的には、フォントを生成するためには、事前定義されたテキスト特徴属性および関連付けられた重み付けが必要である。各事前定義されたテキスト特徴(例えば、デフォルトのテキスト特徴)は、事前定義されたテキスト特徴属性とそれぞれの重み付けによって定義することができる。事前定義されたテキスト特徴属性は、少なくとも1つの手書きテキスト属性に関連する識別子を備え得る。識別子は、心理的な手書きテキスト属性、例えば、ネガティブな感情と、テキスト特徴属性データベース142内に格納された事前定義されたテキスト特徴属性とのリンクであり得る。テキスト特徴選択アルゴリズム141は、識別子に基づいて少なくとも1つの手書きテキスト属性に関連付けられた関連する事前定義されたテキスト特徴属性を検索および選択するように構成することができる。
図3に示される例では、識別子は、手書きテキスト属性「ネガティブな感情」が、テキスト特徴選択アルゴリズム141によって選択される、関連する事前定義されたテキスト特徴属性「角度」および「劇的」に関連付けられることを示し得る。
【0078】
テキスト特徴選択アルゴリズム141は、少なくとも1つの手書きテキスト属性に基づいて、および/または識別された選好に基づいて、関連する事前定義されたテキスト特徴属性の事前定義された属性重み付けの1つ以上を変更するように構成することができる。事前定義されたテキスト特徴属性の対応する重み付けは、手書きテキスト属性および/またはユーザ選好に基づいて、参照テキスト特徴に必要な変換を適用するための基礎として使用することができる。例えば、ポジティブな感情に関連する手書きテキスト属性は、ユーザUがネガティブな感情のみの通知を望んでいる場合に重み付けを下げて、ユーザUにより焦点を絞ったフィードバックを提供することができる。少なくとも1つの手書きテキスト属性に関連付けられた事前定義されたテキスト特徴属性に加えて、デフォルトのテキスト特徴属性のリストを使用して、参照(またはデフォルト)テキスト特徴を作成することができる。これにより、ユーザに関連するテキスト特徴の変更をより目立ち得るように表示することができる。
図3に示す例に戻って、手書きテキスト属性「ネガティブな感情」には、関連付けられた事前定義された属性重み付けを高い値に変更できるように、「角度」および「劇的」の高い重み付けが必要になる。選択された事前定義されたテキスト特徴属性および変更された事前定義された属性重み付けに加えて、他のデフォルトのテキスト特徴属性および関連付けられたデフォルト属性重み付けを選択して、テキスト特徴を作成することができる。
【0079】
テキスト特徴を生成すること150は、複数の事前定義されたテキスト特徴を備えるテキスト特徴データベース143から少なくとも1つの事前定義されたテキスト特徴を選択するように構成されたテキスト特徴選択アルゴリズム141を適用することを含む。各事前定義されたテキスト特徴は、事前定義されたテキスト特徴属性および関連する事前定義された属性重み付けでラベル付けすることができる。テキスト特徴選択アルゴリズム141は、少なくとも1つの手書きテキスト属性、識別された選好、および/または関連する事前定義されたテキスト特徴属性に基づいて、少なくとも1つの事前定義されたテキスト特徴を選択するように構成することができる。言い換えれば、テキスト特徴選択アルゴリズム141は、どの事前定義されたテキスト特徴が、関連する事前定義されたテキスト特徴属性およびユーザ選好に厳密に一致するかを判定するように構成することができる。実施形態では、手書きテキストに関連付けられたテキスト特徴を生成するために、複数の事前定義されたテキスト特徴を選択することができる。
【0080】
図3に示すように、事前定義された各テキスト特徴は、複数の事前定義されたテキスト特徴属性と、関連する属性重み付けと、を備える。テキスト特徴選択アルゴリズム141は、事前定義されたテキスト特徴属性「劇的」および「角度」に対して高い属性重み付けを有する1つ以上の事前定義されたテキスト特徴を選択するように構成することができる。しかしながら、すでに上記で説明したように、それぞれの事前定義されたテキスト特徴は、他のデフォルトのテキスト特徴属性および関連付けられたデフォルトの属性重み付けも有し得ることに留意されたい。テキスト特徴選択アルゴリズム141は、少なくとも1つの手書きテキスト属性、選好、および/または関連する事前定義されたテキスト特徴属性の変更に基づいて、少なくとも1つの事前定義されたテキスト特徴を継続的に適応させるように構成することができる。より具体的には、事前定義されたテキスト特徴は、1つ以上の事前定義された属性重み付けを変更することに基づいて、継続的に適応させることができる。適応は、テキスト特徴のリアルタイムの強調変更を提供し得る。
【0081】
テキスト特徴を生成すること150は、少なくとも1つの事前定義されたテキスト特徴のスタイル転送を実行するように訓練されたテキスト特徴生成ネットワーク151を適用することを含む。テキスト特徴生成ネットワーク151は、ニューラルネットワークであり得る。生成されたテキスト特徴は、入力としてそれぞれの重み付けを伴う事前定義されたテキスト特徴属性を有する少なくとも1つの事前定義されたテキスト特徴をとることによって生成することができる。スタイル転送を実行することにより、新しいグリフ画像を生成することができる。複数の事前定義されたテキスト特徴が選択される場合、テキスト特徴生成ネットワーク151は、テキスト特徴を生成するために、複数の事前定義されたテキスト特徴の事前定義されたテキスト特徴属性および関連付けられた(および変更された)事前定義された属性重み付けを補間するように構成することができる。
【0082】
テキスト特徴を使用してデジタルテキストデータを変更すること160は、テキスト特徴を使用することによってデジタルテキストデータを変換するように構成されたテキスト特徴生成ネットワーク151を適用することを含む。より詳細には、テキスト特徴生成ネットワーク151は、デジタルテキストデータを、変更された所定のテキスト特徴属性重み付けに基づいて変換可能なベクトル画像に変換するように構成することができる。このような変換には、例として、1)「怒り」属性を表現するための筆記角度の鋭さおよび線の太さの増加、2)「成熟」属性を表現するためのセリフの包含、および/または3)「カジュアル」属性を表現するためのスクリプト化されたテキスト特徴における筆記体の増加、が含まれる。
図3に示される実施形態に関して、手書きテキスト属性「ネガティブな感情」は、多量に重み付けされた「怒り」テキスト特徴につながる可能性があり、これは、筆記の角度の鋭さおよび線の太さを増大させ得る。
【0083】
修正されたデジタルテキストデータに基づいてフィードバックを生成すること170は、修正されたデジタルテキストデータをフィードバックデータにレンダリングするように構成されたレンダリングアルゴリズム171を適用することと、ユーザインターフェースサブシステム40上でフィードバックデータを再生することと、を含み得る。実施形態では、フィードバックは視覚的フィードバックであり得、修正されたデジタルテキストデータに基づいて、ユーザに対してフィードバックを生成すること170は、ユーザインターフェースサブシステム40上に視覚的フィードバックを表示することをさらに含み得る。この場合、レンダリングアルゴリズム171は、修正されたデジタルテキストデータを視覚的フィードバックデータにレンダリングするように構成することができる。
【0084】
説明された方法100は、コンピュータまたはコンピュータのネットワークを含むか、またはそれらを介して実行可能であり得、コンピュータまたはコンピュータのネットワークは、少なくとも1つのプロセッサおよび少なくとも1つのメモリを備える。記述された手続き型論理は、少なくとも1つのメモリ内に実行可能コードの形式で保持され、少なくとも1つのプロセッサによって実行され得る。システムおよびサブシステムは、少なくとも1つのプロセッサにデータを送信することができ、例えば、それらはまた、少なくとも1つのプロセッサから命令を受信することもできる。これにより、プロセッサは、ユーザが開始した、および/または自動的に生成されたクエリをシステムに向けることができる。システムは、特定のハードウェア環境に限定されない。よって、ネットワークを介して結合された分散デバイスは、本明細書に記載の技術を実行することができる。本開示はまた、プロセッサによって実行されると、本明細書に記載の技術を実装する命令を定義する電気信号およびコンピュータ可読媒体を含む。より具体的には、上記のようなプロセッサは、データ処理ユニットであり得るか、またはそれを備え得る。
【0085】
図4は、本開示の第2の態様によるシステム1の概略図であり、これは、上記のコンピュータ実装方法100を実行するように構成されている。手書きテキストに基づいてフィードバックを生成するためのシステム1は、手書きテキストを実行するためにユーザUによって動作されるように構成された筆記具10と、手書きテキストを捕捉するように構成された捕捉サブシステム20と、を備える。システム1は、手書きテキストをデジタルテキストデータに処理し、デジタルテキストデータに関連付けられた少なくとも1つの手書きテキスト属性を識別し、少なくとも1つの手書きテキスト属性を事前定義されたテキスト特徴属性と比較し、比較された少なくとも1つの手書きテキスト属性および事前定義されたテキスト特徴属性に基づいて、テキスト特徴を生成し、テキスト特徴を使用してデジタルテキストデータを修正するように構成された処理サブシステム30をさらに備える。加えて、システム1は、修正されたデジタルテキストデータに基づいてフィードバックを生成し、かつ生成されたフィードバックをユーザUに対して再生するように構成されたユーザインターフェースサブシステム40を備える。テキスト特徴は、フォントであり得る。実施形態では、フィードバックは、出力テキストを含む視覚的フィードバックであり得、より具体的には、出力テキストは、フォントを備え得る。システム1は、手書きテキストに基づいてフィードバックを生成するための筆記具システムであり得る。他の実施形態では、フィードバックは、音声フィードバックであり得る。この場合、ユーザインターフェースサブシステム40は、少なくとも1つの音声放出構成要素を介して、生成された音声フィードバックをユーザに対して再生するように構成することができる。例えば、少なくとも1つの音声放出構成要素は、音を再生するように構成されたスピーカーであり得る。
【0086】
図4に示されるように、システム1は、捕捉サブシステム20とユーザインターフェースサブシステム40との間でデータを送信するように構成されたデータ取り扱いサブシステム50、60をさらに備える。データ取り扱いサブシステム50、60は、データを受信および/または送信するように構成された第1のデータ取り扱いサブシステム50を備える。実施形態では、第1のデータ取り扱いサブシステム50は、筆記具10および/または外部デバイスに統合することができる。データ取り扱いサブシステム50、60は、第1のデータ取り扱いサブシステム50にデータを受信および/または送信するように構成された第2のデータ取り扱いサブシステム60を備える。一実施形態では、第2のデータ取り扱いサブシステム60は、ユーザインターフェースサブシステム40の一部であり得る。
【0087】
筆記具10は、筆記媒体上で使用されるように構成されており、より具体的には、筆記媒体は、紙のシートまたはデジタルシートであり得る。実施形態では、筆記具10は、ボールペン、万年筆、フェルトペン、ブラシ、鉛筆、またはデジタルペン(例えば、スマートペン)であり得る。筆記具10は、本体11を備え得る。本体11は、円筒形であり得、より具体的には、本体11は、円形の断面を備える。しかしながら、実施形態では、本体11は、三角形、四角形、長方形、または多角形の断面を有し得る。本体11は、本体11の第1の端部に接続されたペン先12を備え得、これは、正方向にロックする、非正方向にロックする、および/または接着結合によって、本体11に接続することができる。実施形態では、ペン先は、本体11に解放可能に接続することができ、または本体11と一体的に形成することができる。本体11は、第1の端部に対して本体11の反対側に、第2の端部を備え得る。
図4に示すように、第1のデータ取り扱いサブシステム50は、本体11内に配置することができる。より具体的には、第1のデータ取り扱いサブシステム50は、本体11の第2の端部に近接して配置することができる。他の実施形態では、第1のデータ取り扱いサブシステム50は、第1の端部に近接して、および/または12に近接して配置することができる。他の実施形態では、筆記具10は、外部デバイスと一緒に使用することができる。
【0088】
さらに、本体11は、ペン先12(および/または第1の端部)に近接して配置されたグリップ13を備え得る。グリップ13は、筆記動作中のユーザUの筆記具10の取り扱いを容易にすることができる。実施形態では、グリップ13は、本体11の外周表面上に配置することができ、本体11内に延在し得る。グリップ13は、第1の端部に近接する位置から、本体11の長さ全体にわたって第2の端部に向かって少なくとも部分的に本体11上に配置することができる。実施形態では、グリップ13は、本体11の全周にわたって配置することができる。他の実施形態では、グリップは、それぞれ、本体11の円周にわたって少なくとも部分的に延在する複数のグリップ要素を備え得る。筆記動作中、ユーザUは、グリップ13において筆記具10を保持することができる。一例では、グリップは、本体11の円周に関して互いに離間された2つのグリップ要素を備え得る。別の実施形態では、グリップ13は、本体11の円周に対して約120°の角度で互いに離間された3つのグリップ要素を備え得る。
【0089】
実施形態では、本体11は、管状本体であり得、筆記具10は、流体組成物、例えば、インクを貯蔵するための流体リザーバを備え得る。ペン先12は、流体リザーバと流体連通し得る。いくつかの実施形態では、流体連通は、リザーバおよびペン先12を接続するチャネルによって、またはリザーバ内に延在し、流体(より具体的にはインク)をリザーバからペン先12に搬送するように構成された芯状または多孔性要素を備えるペン先12によって確立することができる。実施形態では、筆記具10、より具体的には、ペン先12は、流体の流れを防止する状態と流体の流れを可能にする状態との間で切り替わるように構成された弁要素(図示せず)をさらに備え得る。弁要素は、リザーバから筆記媒体への、または筆記媒体に向かう流体組成物の流れを制御するように構成することができる。しかしながら、筆記具10がスマートデバイス、例えば、スマートペンとして提供される場合、流体リザーバおよび/または流体組成物および/または弁要素は省略され得る。
【0090】
ユーザインターフェースサブシステム40は、表示ユニットを備え得、より具体的には、表示ユニットは、容量感応表面を備え得る。捕捉サブシステム20は、筆記動作中に筆記具10の追跡データを生成するように構成されている。言い換えれば、追跡データは、例えば、筆記媒体に対する筆記動作における筆記具10の具体的な位置、配向、および/または移動を指し得る。追跡データは、筆記具10の動き追跡データ、筆記媒体および/または筆記具10の視覚データ、および容量感応表面の容量感応表面データのうちの1つ以上を備え得る。よって、追跡データは、筆記具10の動きデータを含むだけでなく、(ユーザUによって使用される)筆記具10によって実行される手書きテキストの視覚データおよび/またはデジタルシート上で筆記具10を伴って実行される手書きテキストの容量感応表面データも含み得る。捕捉サブシステム20は、捕捉サブシステム20を介して追跡データを継続的に監視するように構成することができる。実施形態では、追跡データは、タイムスタンプを備え得る。
【0091】
捕捉サブシステム20は、筆記具10および/または外部デバイスに統合することができる。実施形態では、外部デバイスは、ユーザインターフェースサブシステム40の一部であり得る。一実施形態では、捕捉サブシステム20は、デジタルシート、より具体的には、タッチパッド、タッチスクリーン、またはグラフィックタブレットを備え得る。捕捉サブシステム20は、より具体的には筆記動作が進行するにつれて、システム1のユーザUによって提供される時系列の手書きテキストを捕捉するようにさらに構成することができる。捕捉サブシステム20は、筆記具10の追跡データを生成し、かつ第1のデータ取り扱いサブシステム50および/または第2のデータ取り扱いサブシステム60に送信するように構成することができる。実施形態では、捕捉サブシステム20は、筆記具10の本体11内に配置することができる。捕捉サブシステム20は、本体11内の第1の端部と第2の端部との間、および/またはペン先12内に配置することができる。より具体的には、捕捉サブシステム20は、本体11に沿って、ペン先12と第1のデータ取り扱いサブシステム50との間、および/または第1のデータ取り扱いサブシステム50と第2の端部との間に配置することができる。上記のように、捕捉サブシステム50は、外部デバイスに統合することもできる。よって、実施形態では、2つ以上の捕捉サブシステム50を提供することができる。外部デバイスは、容量感知センサ(タッチスクリーンなど)を伴う容量感応表面を含むデジタルデバイスであり得る。筆記動作中、筆記具10は、外部デバイスの容量感応表面上で動作させることができ、追跡データ、より具体的には、容量感応表面データは、筆記具10が容量感応表面と接触するときに生成することができる。外部デバイスは、第1のデータ取り扱いサブシステム50および/または第2のデータ取り扱いサブシステム60にデータを送信および/または受信するように構成することができる。他の実施形態では、外部デバイスは、画像捕捉デバイス、例えば、デジタルカメラおよび/またはスマートフォンであり得る。実施形態では、1つ以上の外部デバイスを提供することができる。
【0092】
実施形態では、捕捉サブシステム20は、筆記具10の追跡データを生成するように構成された1つ以上のセンサを備え得る。1つ以上のセンサは、容量感応表面センサ、加速度計、ジャイロスコープ、磁力計、力センサ、および/または光学センサを含み得る。動き追跡データは、筆記具10の位置、筆記具10の動きの方向、筆記具10の動きの速度、筆記具10の動きの加速度、筆記具10に作用する力、筆記具10の取り扱いモード、および筆記具10の使用モードのうちの1つ以上を備え得る。加速度計は、位置デッドレコニングに使用可能な筆記具10の加速度データを生成することができ、これは、事前に判定された位置、速度の推定、経時にわたる進行方向および進路を使用することによって、筆記具10の現在位置を算定するプロセスである。回転センサ、より具体的にはジャイロスコープは、筆記媒体に対する筆記具10の配向および/または角速度を測定するように構成することができる。実施形態では、1つ以上のセンサは、少なくとも1つの光学センサを含み得る。捕捉サブシステム20は、少なくとも1つの光学センサを使用することによって、手書きテキストの画像および/またはビデオを捕捉するように構成することができる。少なくとも1つの光学センサは、光学データを処理することによって筆記具10を追跡するためのコンピュータビジョンと組み合わせることができる。実施形態では、少なくとも1つの光学センサは、筆記具のペン先に近接して配置することができる(例えば、カメラ)。一実施形態では、光学センサは、外部デバイス、例えば、スマートフォンに統合された、および/またはユーザインターフェースサブシステム40に統合されたデジタルカメラであり得る。
【0093】
処理サブシステム30は、データを処理するように構成された処理ユニットを備え得、より具体的には、処理サブシステム30は、筆記具10、データ取り扱いサブシステム50、60、および/またはユーザインターフェースサブシステム40に統合することができる。データ処理ユニットは、ユーザインターフェースサブシステム40によって生成されたデータを処理するように構成することができる。上記のように、ユーザインターフェースサブシステム40は、ユーザUにフィードバック、より具体的には、視覚的フィードバックを提供するように構成される表示ユニットを備え得る。ユーザインターフェースサブシステム40は、システム1のユーザUからの入力を受容するように構成することができ、より具体的には、ユーザインターフェースサブシステム40は、ユーザ選択を可能にするように構成することができる。さらに、ユーザインターフェースサブシステム40は、容量感応表面(例えば、タッチスクリーン)を備え得、これを介して、ユーザUは、筆記媒体を選択し、および/または上記のように選好を識別し得る。
【0094】
システム1は、第1の電源をさらに備え得、第1の電源は、第1のデータ取り扱いサブシステム50および/または捕捉サブシステム20に電力を供給するように構成することができる。第1の電源は、本体11内に配置され得、かつ充電式電池とすることができる。他の実施形態では、電源は、筆記具10に対する外部構成要素として配置することができ、かつ筆記具10、より具体的には、ワイヤを介して第1のデータ取り扱いサブシステム50および/または捕捉サブシステム20に接続することができる。
【0095】
実施形態では、処理サブシステム30は、追跡データに基づいてデジタルテキストデータを生成するように構成された筆記デジタル化アルゴリズム121を実行するように構成することができる。上記のように、追跡データは、筆記具10の動き追跡データ、画像処理によって提供される手書きテキストの視覚データ、および/またはデジタルシートへの入力、より具体的には、容量感応表面上で動作されている筆記具によって生成される容量感応センサデータを含む。デジタルテキストデータは、生成されたテキスト特徴、より具体的には生成されたフォントを伴って後で適用および変換するためのプレーンテキストの形式であり得る。実施形態では、書込みデジタル化アルゴリズム121は、筆記具10の動作に対応する追跡データに基づいて、手書きテキストを仮想的に再生するように構成することができる。デジタルテキストデータは、追跡データに基づき得、かつ例えば、筆記体、角度および流動性などの特徴の分析のための一連の手書きテキストパラメータ(例えば、圧力、方向、加速度)のベクトルを含み得る。デジタルテキストデータは、少なくとも1文字の文字列に関するテキストおよび/またはベクトルグラフィックもしくはビットマップに関するテキストの1つ以上を備え得る。
【0096】
実施形態では、処理サブシステム30は、上記の方法について説明したように、捕捉されたデジタルテキストデータに基づいて、少なくとも1つの手書きテキスト属性を識別するように構成された手書き属性識別アルゴリズム131を実行するように構成することができる。
【0097】
システム1は、各々がテキスト特徴を生成するために必要とされる事前定義された属性重み付けを有する事前定義されたテキスト特徴属性を備えるテキスト特徴属性データベース142、または各々が事前定義された属性重み付けを有する事前定義されたテキスト特徴属性を備えるテキスト特徴属性データベース142へのリンクをさらに備え得る。実施形態では、システム1は、各々が事前定義されたテキスト特徴属性と、事前定義された属性重み付けと、を有する、複数の事前定義されたテキスト特徴を備えるテキスト特徴データベース143、または各々が事前定義されたテキスト特徴属性と、事前定義された属性重み付けと、を有する、複数の事前定義されたテキスト特徴を備えるテキスト特徴データベース143へのリンクをさらに備え得る。
【0098】
テキスト特徴選択アルゴリズム141は、事前定義されたテキスト特徴属性を少なくとも1つの手書きテキスト属性と比較および/または関連付けることによって、関連する事前定義されたテキスト特徴を判定するように構成することができ、より具体的には、事前定義された属性重み付けは、比較されかつ関連付けられた事前定義されたテキスト特徴属性および少なくとも1つの手書きテキスト属性に基づいて変更することができる。
【0099】
さらに、処理サブシステム30は、少なくとも1つの事前定義されたテキスト特徴のスタイル転送を実行し、かつスタイル転送に基づいてテキスト特徴を生成するように構成されたテキスト特徴生成ネットワーク151を実行するように構成することができる。処理サブシステム30は、生成されたテキスト特徴でデジタルテキストデータを修正するように構成されたテキスト特徴生成ネットワーク151を実行するように構成することができ、より具体的には、テキスト特徴生成ネットワーク151は、変更された所定の属性重み付けに基づいて、デジタルテキストデータを変換可能なベクトル画像に変換するように構成することができる。
【0100】
実施形態では、処理サブシステム30は、修正されたデジタルテキストデータをフィードバックデータにレンダリングするように構成されたレンダリングアルゴリズム171を実行するように構成することができる。
【0101】
前述のように、システム1は、上記のコンピュータ実装方法100を実行するように構成されている。より具体的には、処理サブシステム30は、コンピュータ実装方法100について説明されたアルゴリズムを実行するように構成することができる。コンピュータ実装方法100について説明された特徴および実施形態は、システム1にも適用することができ、かつその逆もあり得ることに留意されたい。
【0102】
本開示は上記で説明されており、かつ添付の特許請求の範囲で定義されているが、本開示は、代替的に、以下の実施形態に従って定義され得ることを理解されたい。
1.手書きテキストに基づいてフィードバックを生成するためのコンピュータ実装方法(100)であって、
手書きテキストを含む筆記動作において使用される筆記具(10)を初期化するステップ(110)と、
手書きテキストを捕捉および処理して、デジタルテキストデータを生成するステップ(120)と、
デジタルテキストデータに関連付けられた少なくとも1つの手書きテキスト属性を識別するステップ(130)と、
少なくとも1つの手書きテキスト属性を事前定義されたテキスト特徴属性と比較するステップ(140)と、
比較された少なくとも1つの手書きテキスト属性および事前定義されたテキスト特徴属性に基づいて、テキスト特徴を生成するステップ(150)と、
テキスト特徴を使用してデジタルテキストデータを修正するステップ(160)と、
修正されたデジタルテキストデータに基づいて、ユーザ(U)へのフィードバックを生成するステップ(170)と、を含む、コンピュータ実装方法(100)。
2.テキスト特徴が、フォントである、実施形態1に記載の方法(100)。
3.フィードバックが、出力テキストを含む視覚的フィードバックである、実施形態1または2に記載の方法(100)。
4.手書きテキストが、筆記具(10)を使用してユーザ(U)によって筆記媒体上に書かれたテキストによって提供され、より具体的には、手書きテキストが、少なくとも1つの通信言語に関して意味的および/または言語的に解釈可能である、先行実施形態のいずれか1つに記載の方法(100)。
5.筆記媒体が、紙のシートまたはデジタルシートである、実施形態4に記載の方法(100)。
6.筆記具(10)が、ボールペン、万年筆、フェルトペン、ブラシ、鉛筆、またはデジタルペンである、先行実施形態のいずれか1つに記載の方法(100)。
7.フィードバックが、表示ユニットを備えるユーザインターフェースサブシステム(40)を介してユーザ(U)に対して表示される視覚的フィードバックである、先行実施形態のいずれか1つに記載の方法(100)。
8.筆記具(10)を初期化すること(110)が、より具体的には、ユーザインターフェースサブシステム(40)を介して入力データを捕捉することを含む、実施形態7に記載の方法(100)。
9.入力データを捕捉することが、入力アルゴリズム(111)を適用することを含む、実施形態8に記載の方法(100)。
10.入力アルゴリズム(111)が、評価されるべき少なくとも1つの選好を識別するようにユーザ(U)を案内するユーザインターフェースサブシステム(40)を介して、少なくとも1つのユーザ相互作用(112)を促すように構成されており、より具体的には、識別された選好が、手書きテキストに関連付けられた少なくとも1つの物理的選好および/または少なくとも1つの心理的選好を備え、かつユーザ相互作用(112)を介して少なくとも1つの識別された選好を受容するように構成されている、実施形態9に記載の方法(100)。
11.入力アルゴリズム(112)が、ユーザ(U)に筆記動作を開始するように、および/または筆記媒体を選択するように案内するユーザインターフェースサブシステム(40)を介して、少なくとも1つのユーザ相互作用(112)を促すように構成されている、実施形態9または10に記載の方法(100)。
12.手書きテキストを捕捉および処理すること(120)が、捕捉サブシステム(20)からの追跡データを捕捉することを含み、捕捉サブシステム(20)が、筆記動作中に筆記具(10)の追跡データを生成するように構成されている、先行実施形態のいずれか1つに記載の方法(100)。
13.追跡データが、筆記具(10)の動き追跡データ、筆記媒体および/または筆記具(10)の視覚データ、および容量感応表面の容量感応表面データのうちの1つ以上を備える、実施形態12に記載の方法(100)。
14.捕捉サブシステム(20)が、容量感応表面、加速度計、ジャイロスコープ、磁力計、力センサ、および/または光学センサを含む1つ以上のセンサを備える、実施形態12または13に記載の方法(100)。
15.動き追跡データが、筆記具(10)の位置、筆記具(10)の動きの方向、筆記具(10)の動きの速度、筆記具(10)の動きの加速度、筆記具(10)に作用する力、筆記具(10)の取り扱いモード、および筆記具(10)の使用モードのうちの1つ以上を備える、実施形態13または14に記載の方法(100)。
16.追跡データを捕捉することが、捕捉サブシステム(20)を介して追跡データを連続的に監視することを含み、より具体的には、追跡データがタイムスタンプを備える、実施形態12~15のいずれか1つに記載の方法(100)。
17.捕捉サブシステム(20)が、筆記具(10)および/または外部デバイスに統合されている、実施形態12~16のいずれか1つに記載の方法(100)。
18.外部デバイスが、ユーザインターフェースサブシステム(40)の一部である、実施形態17および7に記載の方法(100)。
19.捕捉サブシステム(20)が、デジタルシート、より具体的には、タッチパッド、タッチスクリーン、またはグラフィックタブレットを備える、実施形態12~18のいずれか1つに記載の方法(100)。
20.手書きテキストを捕捉および処理すること(120)が、追跡データをデジタルテキストデータに変換するように構成された筆記デジタル化アルゴリズム(121)を適用することを含む、実施形態12~19のいずれか1つに記載の方法(100)。
21.筆記デジタル化アルゴリズム(121)が、追跡データを手書き特徴ベクトルのセットに変換し、かつ手書き特徴ベクトルのセットを、ベクトルから文字へのマッピングを介してデジタルテキストデータに変換するように構成されている、実施形態20に記載の方法(100)。
22.手書き特徴ベクトルのセットが、線幅特徴ベクトル、文字高さ特徴ベクトル、パフォーマンス時間特徴ベクトル、文字間隔特徴ベクトル、筆記体特徴ベクトル、角度特徴ベクトル、および/または流動性特徴ベクトルのうちの1つ以上を備える、実施形態21に記載の方法(100)。
23.デジタルテキストデータが、少なくとも1つの索引付けされた文字、単語、および/または文を備える、実施形態21または22に記載の方法(100)。
24.デジタルテキストデータに関連付けられた少なくとも1つの手書きテキスト属性を識別すること(130)が、手書き属性識別アルゴリズム(131)を適用することを含む、先行実施形態のいずれか1つに記載の方法(100)。
25.実施形態21に従属する場合、手書き属性識別アルゴリズム(131)が、デジタルテキストデータ、より具体的には、手書き特徴ベクトルのセットを処理することによって、少なくとも1つの手書きテキスト属性を判定するように構成されている、実施形態24に記載の方法(100)。
26.手書き属性識別アルゴリズム(131)が、それぞれの手書き特徴ベクトルの優位性に基づいて、手書き特徴ベクトルのセットの少なくとも1つの関連する手書き特徴ベクトルを判定するように構成されている、実施形態25に記載の方法(100)。
27.手書き属性識別アルゴリズム(131)が、少なくとも1つの関連する手書き特徴ベクトルを選択するように構成されている、実施形態26に記載の方法(100)。
28.手書き属性識別アルゴリズム(131)が、判定された関連する特徴ベクトルおよびそれらの優位性に基づいて、少なくとも1つの手書きテキスト属性を属性重み付けに関連付けるように構成されており、より具体的には、属性重み付けが、特徴から属性のマッピングによって判定される、実施形態26または27に記載の方法(100)。
29.少なくとも1つの手書きテキスト属性が、物理的属性および/または心理的属性を備える、実施形態25~28のいずれか1つに記載の方法(100)。
30.少なくとも1つの手書きテキスト属性を事前定義されたテキスト特徴属性と比較すること(140)が、テキスト特徴選択アルゴリズム(141)を適用することを含む、先行実施形態のいずれか1つに記載の方法(100)。
31.事前定義されたテキスト特徴属性が、テキスト特徴属性データベース(142)に格納されており、テキスト特徴属性データベース(142)が、事前定義されたテキスト特徴属性の各々に対する事前定義された属性重み付けを備える、先行実施形態のいずれか1つに記載の方法(100)。
32.事前定義されたテキスト特徴属性が、少なくとも1つの手書きテキスト属性に関する識別子を備え、テキスト特徴選択アルゴリズム(141)が、識別子に基づいて、少なくとも1つの手書きテキスト属性に関連付けられた関連する事前定義されたテキスト特徴を検索および選択するように構成されている、実施形態30または31に記載の方法(100)。
33.テキスト特徴選択アルゴリズム(141)が、少なくとも1つの手書きテキスト属性に基づいて、および/または識別された選好に基づいて、関連する事前定義されたテキスト特徴属性の事前定義された属性重み付けの1つ以上を変更するように構成されている、実施形態32および10に記載の方法(100)。
34.テキスト特徴を生成することが、複数の事前定義されたテキスト特徴を備えるテキスト特徴データベース(143)から少なくとも1つの事前定義されたテキスト特徴を選択するように構成されたテキスト特徴選択アルゴリズム(141)を適用することを含む、先行実施形態のいずれか1つに記載の方法(100)。
35.テキスト特徴選択アルゴリズム(141)が、少なくとも1つの手書きテキスト属性、識別された選好、および/または関連する事前定義されたテキスト特徴属性に基づいて、少なくとも1つの事前定義されたテキスト特徴を選択するように構成されている、実施形態34および10に記載の方法(100)。
36.テキスト特徴選択アルゴリズム(141)が、少なくとも1つの手書きテキスト属性の変化、選好、および/または関連する事前定義されたテキスト特徴属性に基づいて、少なくとも1つの事前定義されたテキスト特徴を連続的に適合させるように構成されている、実施形態34および10または35に記載の方法(100)。
37.テキスト特徴を生成すること(150)が、少なくとも1つの事前定義されたテキスト特徴のスタイル転送を実行するように訓練されたテキスト特徴生成ネットワーク(151)を適用することを含む、実施形態34~36のいずれか1つに記載の方法(100)。
38.テキスト特徴を使用してデジタルテキストデータを修正すること(160)が、テキスト特徴を使用することによってデジタルテキストデータを変換するように構成されたテキスト特徴生成ネットワーク(151)を適用することを含む、実施形態37に記載の方法(100)。
39.テキスト特徴生成ネットワーク(151)が、変更された所定のテキスト特徴属性重み付けに基づいて変換可能なベクトル画像にデジタルテキストデータを変換するように構成されている、実施形態38に記載の方法(100)。
40.修正されたデジタルテキストデータに基づいてユーザに対してフィードバックを生成すること(170)が、修正されたデジタルテキストデータをフィードバックデータにレンダリングするように構成されたレンダリングアルゴリズム(171)を適用することと、ユーザインターフェースサブシステム(40)上でフィードバックデータを再生することと、を含む、先行実施形態のいずれか1つに記載の方法(100)。
41.フィードバックが視覚的フィードバックであり、修正されたデジタルテキストデータに基づいて、ユーザに対してフィードバックを生成すること(170)は、ユーザインターフェースサブシステム(40)上に視覚的フィードバックを表示することをさらに含む、先行請求項のいずれか一項に記載の方法(100)。
42.手書きテキストに基づいてフィードバックを生成するためのシステム(1)であって、
手書きテキストを実行するためにユーザ(U)によって動作されるように構成された筆記具(10)と、
手書きテキストを捕捉するように構成された捕捉サブシステム(20)と、
処理サブシステム(30)であって、
-手書きテキストをデジタルテキストデータに処理し、
-デジタルテキストデータに関連付けられた少なくとも1つの手書きテキスト属性を識別し、
-少なくとも1つの手書きテキスト属性を事前定義されたテキスト特徴属性と比較し、
-比較された少なくとも1つの手書きテキスト属性および事前定義されたテキスト特徴属性に基づいて、テキスト特徴を生成し、
-テキスト特徴を使用してデジタルテキストデータを修正するように構成された、処理サブシステム(30)と、
修正されたデジタルテキストデータに基づいてフィードバックを生成し、かつ生成されたフィードバックをユーザ(U)に対して再生するように構成されたユーザインターフェースサブシステム(40)と、を備える、システム(1)。
43.テキスト特徴が、フォントである、実施形態42に記載のシステム(1)。
44.フィードバックが、出力テキストを含む視覚的フィードバックである、実施形態42または43に記載のシステム(1)。
45.筆記具(10)が、筆記媒体上で使用されるように構成されており、より具体的には、筆記具が、紙のシートまたはデジタルシートである、実施形態42~44のいずれか1つに記載のシステム(1)。
46.筆記具(10)が、ボールペン、万年筆、フェルトペン、ブラシ、鉛筆、またはデジタルペンである、実施形態42~45のいずれか1つに記載のシステム(1)。
47.ユーザインターフェースサブシステム(40)が、表示ユニットを備え、より具体的には、表示ユニットが、容量感応表面を備える、実施形態42~46のいずれか1つに記載のシステム(1)。
48.捕捉サブシステム(20)が、筆記動作中に筆記具(10)の追跡データを生成するように構成されている、実施形態42~47のいずれか1つに記載のシステム(1)。
49.追跡データが、筆記具(10)の動き追跡データ、筆記媒体および/または筆記具(10)の視覚データ、および容量感応表面の容量感応表面データのうちの1つ以上を備える、実施形態48に記載のシステム(1)。
50.捕捉サブシステム(20)が、容量感応表面、加速度計、ジャイロスコープ、磁力計、力センサ、および/または光学センサを含む1つ以上のセンサを備える、実施形態42~49のいずれか1つに記載のシステム(1)。
51.動き追跡データが、筆記具(10)の位置、筆記具(10)の動きの方向、筆記具(10)の動きの速度、筆記具(10)の動きの加速度、筆記具(10)に作用する力、筆記具(10)の取り扱いモード、および筆記具(10)の使用モードのうちの1つ以上を備える、実施形態49または50に記載のシステム(1)。
52.捕捉サブシステム(20)が、捕捉サブシステム(20)を介して追跡データを連続的に監視するように構成されており、より具体的には、追跡データがタイムスタンプを備える、実施形態48~51のいずれか1つに記載のシステム(1)。
53.捕捉サブシステム(20)が、筆記具(10)および/または外部デバイスに統合されている、実施形態42~52のいずれか1つに記載のシステム(1)。
54.外部デバイスが、ユーザインターフェースサブシステム(40)の一部である、実施形態53に記載のシステム(1)。
55.捕捉サブシステム(20)が、デジタルシート、より具体的には、タッチパッド、タッチスクリーン、またはグラフィックタブレットを備える、実施形態42~54のいずれか1つに記載のシステム(1)。
56.捕捉サブシステム(20)が、少なくとも1つの光学センサを使用することによって、手書きテキストの画像および/またはビデオを捕捉するように構成されている、実施形態50~55のいずれか1つに記載のシステム(1)。
57.捕捉サブシステム(20)が、システム(1)のユーザによって提供される時系列の手書きテキストを、より具体的には、筆記が進行するにつれて捕捉するようにさらに構成されている、実施形態42~56のいずれか1つの実施形態システム(1)。
58.捕捉サブシステム(20)とユーザインターフェースサブシステム(40)との間でデータを送信するように構成されたデータ取り扱いサブシステム(50、60)をさらに備える、実施形態42~57のいずれか1つに記載のシステム(1)。
59.データ取り扱いサブシステム(50、60)が、データを受信および/または送信するように構成された第1のデータ取り扱いサブシステム(50)を備え、より具体的には、第1のデータ取り扱いサブシステム(50)が、筆記具(10)および/または外部デバイスに統合されている、実施形態58に記載のシステム(1)。
60.データ取り扱いサブシステム(50、60)が、第1のデータ取り扱いサブシステム(50)にデータを受信および/または送信するように構成された第2のデータ取り扱いサブシステム(60)を備え、より具体的には、第2のデータ取り扱いサブシステム(60)が、ユーザインターフェースサブシステム(40)の一部である、実施形態58または59に記載のシステム(1)。
61.捕捉サブシステム(20)が、追跡データを生成し、かつ第1のデータ取り扱いサブシステム(50)および/または第2のデータ取り扱いサブシステム(60)に送信するように構成されている、実施形態60に記載のシステム(1)。
62.処理サブシステム(30)が、データを処理するように構成された処理ユニットを備え、より具体的には、処理サブシステム(30)が筆記具(10)、データ取り扱いサブシステム(50、60)、および/またはユーザインターフェースサブシステム(40)の一部である、実施形態58~61のいずれか1つに記載のシステム(1)。
63.ユーザインターフェースサブシステム(40)が、システム(1)のユーザ(U)からの入力を受信するように構成されており、より具体的には、ユーザインターフェースサブシステム(40)が、ユーザ選択を可能にするように構成されている、実施形態42~62のいずれか1つに記載のシステム(1)。
64.処理サブシステム(30)が、追跡データに基づいてデジタルテキストデータを生成するように構成された筆記デジタル化アルゴリズム(121)を実行するように構成されている、実施形態48~63のいずれか1つに記載のシステム(1)。
65.筆記デジタル化アルゴリズム(121)が、筆記具(10)の動作に対応する追跡データに基づいて、手書きテキストを仮想的に再生するように構成されている、実施形態64に記載のシステム(1)。
66.デジタルテキストデータが、少なくとも1文字の文字列に関するテキスト、および/またはベクトルグラフィックまたはビットマップに関するテキストのうちの1つ以上を含む、実施形態42~65のいずれか1つに記載のシステム(1)。
67.処理サブシステム(30)が、捕捉されたデジタルテキストデータに基づいて少なくとも1つの手書きテキスト属性を識別するように構成された手書き属性識別アルゴリズム(131)を実行するように構成されている、実施形態42~66のいずれか1つに記載のシステム(1)。
68.各々がテキスト特徴を生成するために必要とされる事前定義された属性重み付けを有する事前定義されたテキスト特徴属性を備えるテキスト特徴属性データベース(142)、または各々が事前定義された属性重み付けを有する事前定義されたテキスト特徴属性を備えるテキスト特徴属性データベース(142)へのリンクをさらに備える、実施形態42~67のいずれか1つに記載のシステム(1)。
69.各々が事前定義されたテキスト特徴属性と、事前定義された属性重み付けと、を有する、複数の事前定義されたテキスト特徴を備えるテキスト特徴データベース(143)、または各々が事前定義されたテキスト特徴属性と、事前定義された属性重み付けと、を有する、複数の事前定義されたテキスト特徴を備えるテキスト特徴データベース(143)へのリンクをさらに備える、実施形態42~68のいずれか1つに記載のシステム(1)。
70.処理サブシステム(20)が、関連する事前定義されたテキスト特徴を選択するように構成されたテキスト特徴選択アルゴリズム(141)を実行するように構成されており、関連する事前定義されたテキスト特徴の各々が、関連付けられた事前定義されたテキスト特徴属性と、事前定義された属性重み付けと、を有する、実施形態42~69のいずれか1つに記載のシステム(1)。
71.テキスト特徴選択アルゴリズム(141)が、事前定義されたテキスト特徴属性を少なくとも1つの手書きテキスト属性と比較および/または関連付けることによって、関連する事前定義されたテキスト特徴を判定するように構成されており、より具体的には、事前定義された属性重み付けは、比較されかつ関連付けられた事前定義されたテキスト特徴属性および少なくとも1つの手書きテキスト属性に基づいて変更される、実施形態70に記載のシステム(1)。
72.処理サブシステム(30)が、少なくとも1つの事前定義されたテキスト特徴のスタイル転送を実行し、かつスタイル転送に基づいてテキスト特徴を生成するように構成されたテキスト特徴生成ネットワーク(151)を実行するように構成されている、実施形態42~71のいずれか1つに記載のシステム(1)。
73.処理サブシステム(30)が、生成されたテキスト特徴でデジタルテキストデータを修正するように構成されたテキスト特徴生成ネットワーク(151)を実行するように構成されており、より具体的には、テキスト特徴生成ネットワーク(151)は、変更された所定の属性重み付けに基づいて、デジタルテキストデータを変換可能なベクトル画像に変換するように構成されている、実施形態42~72のいずれか1つに記載のシステム(1)。
74.処理サブシステム(30)が、修正されたデジタルテキストデータをフィードバックデータにレンダリングするように構成されたレンダリングアルゴリズム(171)を実行するように構成されている、実施形態42~73のいずれか1つに記載のシステム(1)。
75.システム(1)が、実施形態1~41のいずれか1つに記載の手書きテキストに基づいてフィードバックを生成するためのコンピュータ実装方法(100)を実行するように構成されている、実施形態42~74のいずれか1つに記載のシステム(1)。
【0103】
参照番号
U ユーザ
1 システム
10 筆記具
11 本体
12 ペン先
13 グリップ
20 捕捉サブシステム
30 処理サブシステム
40 ユーザインターフェースサブシステム
50 第1のデータ取り扱いサブシステム
60 第2のデータ取り扱いサブシステム
100 コンピュータ実装方法
110 筆記具を初期化する
111 入力アルゴリズム
112 ユーザ相互作用
120 手書きテキストを捕捉および処理する
121 筆記デジタル化アルゴリズム
130 少なくとも1つの手書きテキスト属性を識別する
131 手書き属性識別アルゴリズム
140 少なくとも1つの手書きテキスト属性を事前定義されたテキスト特徴属性と比較する
141 テキスト特徴選択アルゴリズム
142 テキスト特徴属性データベース
143 テキスト特徴データベース
150 テキスト特徴を生成する
151 テキスト特徴生成ネットワーク
160 テキスト特徴を使用してデジタルテキストデータを修正する
170 フィードバックを生成する
171 レンダリングアルゴリズム
【外国語明細書】