特許第6141887号(P6141887)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クゥアルコム・インコーポレイテッドの特許一覧

特許6141887書き込まれた内容のための空間的に関係する注釈の表示
<>
  • 特許6141887-書き込まれた内容のための空間的に関係する注釈の表示 図000002
  • 特許6141887-書き込まれた内容のための空間的に関係する注釈の表示 図000003
  • 特許6141887-書き込まれた内容のための空間的に関係する注釈の表示 図000004
  • 特許6141887-書き込まれた内容のための空間的に関係する注釈の表示 図000005
  • 特許6141887-書き込まれた内容のための空間的に関係する注釈の表示 図000006
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6141887
(24)【登録日】2017年5月12日
(45)【発行日】2017年6月7日
(54)【発明の名称】書き込まれた内容のための空間的に関係する注釈の表示
(51)【国際特許分類】
   G06F 3/0488 20130101AFI20170529BHJP
   G06F 3/0481 20130101ALI20170529BHJP
   G09G 5/00 20060101ALI20170529BHJP
   G09G 5/377 20060101ALI20170529BHJP
   G09G 5/36 20060101ALI20170529BHJP
【FI】
   G06F3/0488 130
   G06F3/0481
   G09G5/00 510H
   G09G5/36 520M
   G09G5/36 520D
【請求項の数】12
【全頁数】17
(21)【出願番号】特願2014-559869(P2014-559869)
(86)(22)【出願日】2012年2月29日
(65)【公表番号】特表2015-516611(P2015-516611A)
(43)【公表日】2015年6月11日
(86)【国際出願番号】US2012027089
(87)【国際公開番号】WO2013130060
(87)【国際公開日】20130906
【審査請求日】2015年2月13日
【前置審査】
(73)【特許権者】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】QUALCOMM INCORPORATED
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100109830
【弁理士】
【氏名又は名称】福原 淑弘
(74)【代理人】
【識別番号】100158805
【弁理士】
【氏名又は名称】井関 守三
(74)【代理人】
【識別番号】100112807
【弁理士】
【氏名又は名称】岡田 貴志
(72)【発明者】
【氏名】キム、セン・ウォク
(72)【発明者】
【氏名】マーティ、ステファン・ジェイ.
(72)【発明者】
【氏名】ディ、センソ・ダビデ
【審査官】 円子 英紀
(56)【参考文献】
【文献】 特開2004−252561(JP,A)
【文献】 特開2000−132590(JP,A)
【文献】 特表2007−525663(JP,A)
【文献】 特開2010−108452(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/048−3/0489
G06F 3/042
G09G 5/00
G09G 5/36
G09G 5/377
(57)【特許請求の範囲】
【請求項1】
コンピューティングシステムであって、
電子筆記用具から書込み面上で与えられた書き込まれた内容を表す手書きデータを受信することであって、前記書込み面がコンピューティングデバイスのディスプレイからオフスクリーンである、受信することと、
前記書き込まれた内容の一部分に対応する注釈を判断するために前記手書きデータを分析すること
を行うためのプロセッサと、
前記ディスプレイのある位置において前記注釈をレンダリングするための前記コンピューティングデバイス上のディスプレイであって、前記注釈の前記位置が、前記書込み面上の書き込まれた内容の前記部分の位置に空間的に関係する、ディスプレイと
を備えるコンピューティングデバイスを備え、
前記注釈は、前記書き込まれた内容を改善するために情報のフィードバックを与え
前記注釈は、ウェブ検索を実行するためのトリガ、前記書き込まれた内容の前記部分に対応するアプリケーションを開くためのトリガ、または単語の定義、のうちの少なくとも1つを含む、コンピューティングシステム。
【請求項2】
前記注釈を判断するために前記手書きデータを分析するために、前記プロセッサが、前記手書きデータ内のキーワードを認識するためのものであり、
前記コンピューティングデバイスが、前記プロセッサに関連付けられた記憶領域をさらに備え、前記プロセッサが、前記記憶領域中の前記キーワードの関連付けに基づいて前記注釈を判断する、請求項1に記載のコンピューティングシステム。
【請求項3】
前記コンピューティングデバイスは、書き込まれた内容を表す前記手書きデータが前記書込み面上で与えられるとき、前記注釈をリアルタイムでレンダリングする、請求項1に記載のコンピューティングシステム。
【請求項4】
前記コンピューティングデバイスの前記ディスプレイが、注釈なしの手書きデータのためには、手書きデータをレンダリングしない、請求項1に記載のコンピューティングシステム。
【請求項5】
前記電子筆記用具から前記書込み面上で与えられた書き込まれた内容を表す前記手書きデータを受信することは、三角測量および三辺測量のうちの少なくとも1つを実行するための命令をさらに備える、請求項1に記載のコンピューティングシステム。
【請求項6】
コンピューティングデバイスによって実行される方法であって、
電子筆記用具から書込み面上で与えられた書き込まれた内容を表す手書きデータを受信することであって、前記書込み面が前記コンピューティングデバイスのディスプレイからオフスクリーンである、受信することと、
前記手書きデータをデジタルデータに変換することと、
前記書き込まれた内容の一部分に対応する注釈を判断するために前記デジタルデータを分析することと、
前記書込み面のサイズを判断することと前記サイズを前記コンピューティングデバイス上の前記ディスプレイのサイズに対応するように変換することとによって、前記書込み面を前記コンピューティングデバイス上の前記ディスプレイに対応するように調整することと、
前記コンピューティングデバイスの前記ディスプレイのある位置において前記注釈を表示することであって、前記注釈の前記位置が、前記書込み面上の前記書き込まれた内容の前記部分の位置に空間的に関係する、表示することと
を備え、
前記注釈は、前記書き込まれた内容を改善するために情報のフィードバックを与え
前記注釈は、ウェブ検索を実行するためのトリガ、前記書き込まれた内容の前記部分に対応するアプリケーションを開くためのトリガ、または単語の定義、のうちの少なくとも1つを含む、方法。
【請求項7】
前記書込み面上で与えられた書き込まれた内容を表す前記手書きデータを受信することは、超音波三角測量、無線周波数(RF)三角測量、赤外線(IR)三角測量、および赤外線ドットのうちの少なくとも1つを実行することをさらに備える、請求項に記載の方法。
【請求項8】
コンピューティングデバイスのプロセッサによって実行可能な命令を用いて符号化された、非一時的な機械可読記憶媒体であって、
電子筆記用具から書込み面上で与えられた書き込まれた内容を表す手書きデータを受信することであって、前記書込み面が前記コンピューティングデバイスのディスプレイからオフスクリーンである、受信することと、
前記書き込まれた内容の一部分に対応する注釈を判断するために前記手書きデータを分析することと、
前記コンピューティングデバイスの前記ディスプレイのある位置において前記注釈を表示することであって、前記注釈の前記位置が、前記書込み面上の前記書き込まれた内容の前記部分の位置に空間的に関係する、表示することと
を行うための命令を備え、
前記注釈は、前記書き込まれた内容を改善するために情報のフィードバックを与え
前記注釈は、ウェブ検索を実行するためのトリガ、前記書き込まれた内容の前記部分に対応するアプリケーションを開くためのトリガ、または単語の定義、のうちの少なくとも1つを含む、非一時的な機械可読記憶媒体。
【請求項9】
前記書込み面のサイズを判断することと、前記サイズを前記コンピューティングデバイス上の前記ディスプレイのサイズに対応するように変換することとによって、前記書込み面を前記コンピューティングデバイス上の前記ディスプレイに対応するように調整するための命令をさらに備える、請求項に記載の命令を含む非一時的な機械可読記憶媒体。
【請求項10】
分析するための前記命令が、前記手書きデータをデジタルデータに変換するための命令をさらに備える、請求項に記載の非一時的な機械可読記憶媒体。
【請求項11】
前記手書きデータを受信するための前記命令が、超音波三角測量、無線周波数(RF)三角測量、赤外線(IR)三角測量、および赤外線ドットのうちの少なくとも1つ実行するための命令をさらに備える、請求項に記載の非一時的な機械可読記憶媒体。
【請求項12】
前記コンピューティングデバイス上の前記ディスプレイが、注釈なしの手書きデータのためには、手書きデータをレンダリングしない、請求項に記載の非一時的な機械可読記憶媒体。
【発明の詳細な説明】
【背景技術】
【0001】
[0001]今日の技術において、コンピューティングデバイスのユーザは、一般に、ユーザの書く能力を改善し、ユーザの書き込んだことをさらに理解するために、これらのデバイスがフィードバックを与えることを当てにしている。コンピューティングデバイスは、スペルおよび文法の誤りなど、フィードバックをディスプレイ上で与え得る。
【0002】
[0002]添付の図面において、同様の数字は、同様の構成要素またはブロックを指す。以下の発明を実施するための形態では以下の図面を参照する。
【図面の簡単な説明】
【0003】
図1】[0003]書込み面上の書き込まれた内容の一部分の位置に空間的に関係する位置においてレンダリングされた注釈を含むコンピューティングデバイス上の例示的なディスプレイのブロック図。
図2】[0004]分析するために書込み面上の書き込まれた内容を表す手書きデータを受信し、ディスプレイ上で注釈をレンダリングするための例示的なコンピューティングデバイスのブロック図。
図3】[0005]書込み面上で与えられた書き込まれた内容を表す手書きデータを受信することに基づいて注釈を表示するための、およびプロセッサに関連付けられた記憶領域内のキーワードの関連付けに基づいて注釈を判断するためのプロセッサに関連付けられた記憶領域を含む、例示的なコンピューティングデバイスのブロック図。
図4】[0006]書込み面上で与えられた書き込まれた内容を表す手書きデータを受信し、書込み面上の書き込まれた内容の一部分の位置に空間的に関係する位置において注釈を表示するためのコンピューティングデバイスであって、超音波三角測量、無線周波数三角測量、赤外線三角測量、および赤外線ドットのうちの少なくとも1つを使用して手書きデータを受信する、コンピューティングデバイスのブロック図。
図5】[0007]書込み面上で与えられた手書きデータを受信し、分析するためにその手書きをデジタルデータに変換し、注釈を表示するためにコンピューティングデバイス上で実行される例示的な方法のフローチャート。
【発明を実施するための形態】
【0004】
[0008]コンピューティングデバイスのディスプレイ上でユーザの手書きに対応するフィードバックを与えることによって、ユーザは、教育的および報知的エクスペリエンスを有し得る。1つのソリューションは、スタイラスなど、コンピューティングデバイスに依存する筆記用具とともにディスプレイを利用してユーザにフィードバックを与えることである。コンピューティングデバイスは、ディスプレイのスクリーン上でのユーザからの書込みを受信し、スクリーン上での表示のためにこのオンスクリーン書込みをデジタル化する。しかしながら、このソリューションは、ユーザがディスプレイからオフスクリーンで手書きすることを可能にしない。
【0005】
[0009]別のソリューションでは、電子筆記用具が、ユーザの手書きをオフスクリーンで記録し、それに応答して、コンピューティングデバイスが、その手書きをテキストに変換し、変換されたテキストとともに文法またはスペルの訂正を表示する。このソリューションでは、ユーザは、オフスクリーン書込み面上の書込みのその部分に関するフィードバックを閲覧することが可能でなく、さらに、ユーザが同じ誤りを犯すことが助長されることがある。さらに、これらのソリューションは、文脈上の用法において単語をさらに理解するために使用され得る明示的補助フィードバックを与えない。たとえば、フィードバックは、つづりを間違えた単語に下線を引くことを含むことがあるが、その単語の意味をユーザに知らせないことがある。これは、これらのタイプのソリューションを使用する際にユーザが得る知識のタイプを限定する。
【0006】
[0010]これらの問題に対処するために、本明細書で開示する例示的な実施形態は、電子筆記用具から手書きデータを受信するためのプロセッサをもつコンピューティングデバイスを提供する。手書きデータはコンピューティングデバイスのディスプレイからオフスクリーンの書込み面上で与えられ、ユーザがディスプレイからオフスクリーンで書き込むことが可能になる。ユーザが手書きデータをオフスクリーンで与えることを可能にすることにより、コンピューティングデバイスは、書込み面上で与えられた書き込まれた内容を表す、電子筆記用具のロケーションと移動とを追跡することが可能になる。これは、さらに、電子用具がコンピューティングデバイスにワイヤレス接続されることを可能にする。
【0007】
[0011]さらに、プロセッサは、書き込まれた内容(すなわち、ユーザの書込み)の一部分に対応する注釈(すなわち、フィードバック)を判断するために手書きデータを分析する。さらに、コンピューティングデバイス上のディスプレイは、書込み面上の書き込まれた内容の上記部分の位置に空間的に関係するディスプレイ上の位置において注釈をレンダリングする。書込み面上の書き込まれた内容の上記部分の位置に空間的に関係する注釈という条件で、ユーザは、書き込まれた内容の上記部分に対応するフィードバックを即時に閲覧し得る。これは、ユーザが将来の誤りを防ぐためにその手書きにおける何らかの誤りを閲覧することを可能にし、また、ユーザの手書きに有用な文脈を与える。たとえば、ユーザは、ユーザの手書き中に頭字語から単語まで含め得、したがって、コンピューティングデバイスは、ユーザがその単語に関して一層学習することまたはその頭字語の正しい用法を確認することを助けるために、その単語の完全な定義の注釈を表示し得る。さらに、コンピューティングデバイスのユーザにディスプレイ上でフィードバックをレンダリングすることによって、コンピューティングデバイスは、手書きされた内容を分析し、ユーザの手書きの文脈をどのように改善すべきかの提案を用いてフォローアップする。
【0008】
[0012]別の実施形態では、コンピューティングデバイスは、書込み面のサイズを判断することと、そのサイズをコンピューティングデバイスのサイズに対応するように変換することとによって、書込み面上のある位置に対して注釈を調整し得る。これにより、そのデバイスは、ディスプレイと書込み面との間の異なるサイズにもかかわらず、書き込まれた内容の上記部分に空間的に関係するディスプレイ上の注釈をレンダリングすることが可能になる。たとえば、コンピューティングデバイス上のディスプレイはセルフォンスクリーンを含み得、したがって、これは書込み面よりもサイズがはるかに小さいことがある。
【0009】
[0013]さらなる実施形態では、コンピューティングデバイスは、手書きデータなしに注釈をレンダリングする。この実施形態では、コンピューティングデバイスは、書込み面上で与えられた書き込まれた内容なしにディスプレイ上の注釈を与える。この実施形態は、ユーザの手書きに関する訂正および支援のために、ある種の忠告をユーザに与える。さらに、これは、ユーザが、ディスプレイ上の書き込まれた内容の全コピーで気を散らされるのではなくフィードバックに直接集中することをも可能にする。
【0010】
[0014]しかも、さらなる実施形態では、注釈は、ウェブ検索を実行するためのトリガ、アプリケーションを開くためのトリガ、リンク、単語の定義、および単語の訂正のうちの少なくとも1つを含み得る。この実施形態では、コンピューティングデバイスのディスプレイ上でレンダリングされた注釈は、ユーザがユーザの書込みを理解し、改善することを助けるためのパーソナルアシスタントとして動作する。さらに、注釈はユーザのニーズを予期し得る。たとえば、ユーザは、単語に関して一層知ることを望み得、したがって、リンクを与えることによって、デバイスは、ユーザが自分で単語検索を実行するステップをスキップすることを可能にする。
【0011】
[0015]要約すれば、本明細書で開示する例示的な実施形態は、書込み面上の書き込まれた内容の上記部分の位置に空間的に関係する位置において注釈をレンダリングすることによって、より有益な教育的および報知的エクスペリエンスをユーザに提供する。注釈は、ユーザの書込みを改善し、理解するために、ユーザに明示的方法でフィードバックを与える。さらに、例示的な実施形態は、ユーザが、ディスプレイからオフスクリーンで書込みを行うことを可能にし、ユーザが、常時ワイヤード接続の制約なしにフリーハンドでユーザの書込みを行うことを可能にする。
【0012】
[0016]次に図面を参照すると、図1は、書込み面106上で与えられた書き込まれた内容の部分108a、108b、および108cの位置に空間的に関係する位置において注釈110a、110b、および110cをレンダリングするディスプレイ104を含む例示的なコンピューティングデバイス102のブロック図である。コンピューティングデバイス102の実施形態は、クライアントデバイス、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップ、モバイルデバイス、タブレット、または注釈110a〜110cをレンダリングするためのディスプレイ104を含むのに好適な他のコンピューティングデバイスを含む。
【0013】
[0017]ディスプレイ104は、注釈110a〜110eをレンダリングするためにコンピューティングデバイス102に関連付けられたディスプレイである。ディスプレイ104は、注釈110a〜110cを含む、コンテンツをユーザに出力するための回路およびスクリーンを含む。ディスプレイ104の実施形態は、コンピューティングスクリーン、コンピューティングモニタ、パネル、プラズマスクリーン、液晶ディスプレイ(LCD)、薄膜、投影、または注釈110a〜110cをレンダリングすることが可能な他のディスプレイ技術を含む。
【0014】
[0018]注釈110a〜110cは、ユーザに与えられたフィードバックと見なされ、書込み面106上の書き込まれた内容の部分108a〜108cの位置に空間的に関係するディスプレイ120上の位置においてレンダリングされる。図1は、注釈110a〜110cをレンダリングするものとしてディスプレイ104を示しているが、ディスプレイ104が任意の数の注釈を出力し得るので、実施形態はこの例に限定されるべきではない。一実施形態では、注釈110a〜110cは、ウェブ検索を実行するためのトリガ110b、アプリケーションを開くためのトリガ110c、リンク110c、単語の定義110b、および単語の訂正110aのうちの少なくとも1つを含み得る。さらなる実施形態では、注釈110a〜110cは、書き込まれた内容108a〜108cを表す手書きデータなしに表示される。たとえば、この実施形態では、書込み面106の上部の挨拶は、対応する注釈がないので、ディスプレイ104上で含まれない。この点について、注釈110a〜110cは手書きデータなしにレンダリングされ、したがって、コンピューティングデバイス102のユーザは、ユーザの書込みを改善し、理解することに集中することが可能になる。さらに、注釈110a〜110cは、それぞれ、書き込まれた内容の部分108a〜108cの各々に対応する。たとえば、ディスプレイ104の上部の近くの注釈110aは、同じく書込み面106の上部の近くの書き込まれた内容の部分108aの位置に対応する。
【0015】
[0019]書込み面106は、コンピューティングデバイス102のディスプレイ104からオフスクリーンのエリアであり、そこで、コンピューティングデバイス102のユーザは、書き込まれた内容の部分108a〜108cを手書きし得る。書込み面106は、ユーザが電子筆記用具を用いて書き込まれた内容108a〜108cを記すために利用し得る面を指す。したがって、書込み面は、たとえば、ノートブック、紙、またはユーザがそれの上に物理的に書き込む別の材料であり得る。代替的に、書込み面106は、テーブルの表面など、ユーザが書込みをシミュレートすることを可能にするのに好適な何らかの平坦面であり得る。
【0016】
[0020]書込み面106上の書き込まれた内容の部分108a〜108cは、書込み面106上で与えられたユーザの書込みと見なされる。詳細には、ユーザは、書き込まれた内容の部分108a〜108cの各々を作成するために電子筆記用具を利用し得る。さらに、書き込まれた内容の部分108a〜108cを表す手書きデータがコンピューティングデバイス102によって受信される。これについて後の図において詳細に説明する。書き込まれた内容の部分108a〜108cは、108aなどの書き込まれた内容の単一の部分、108a〜108cの組合せを含み得、または、それは、図1に示されていない書き込まれた内容の追加の部分を含み得る。書き込まれた内容の部分108a〜108cは、書込み面206上の任意のエリア内に位置し得る。たとえば、書き込まれた内容の部分108aは、右上コーナーまたは左下コーナーなどに位置し得る。
【0017】
[0021]手書きされた内容の部分108a〜108cは、ディスプレイ104上の注釈110a〜110の各々の位置に対応し、その位置に空間的に関係する。空間的に関係するとは、ディスプレイ102上の注釈110a〜110cの各々の位置と、書込み面108上の書き込まれた内容の対応する部分108a〜108cの位置との間の表示関係を指す。詳細には、その空間関係は、書き込まれた内容の部分108a〜108cの各々の位置に関してディスプレイ104上の注釈110a〜110cをどのようにレンダリングすべきかを指定する。たとえば、書き込まれた内容の部分108aは、ステファン(Stefan)が元気であるかを質問し、書込み面106の上部の近くの位置において書き込まれる。その結果、書き込まれた内容の部分108aの文法を訂正する注釈110aは、ディスプレイ104の上部の近くの位置において表示され、したがって書き込まれた内容の部分108aの位置に空間的に関係する。別の例では、単語RFIDについて説明し、この単語の定義へのリンクを含む注釈110bは、ディスプレイ104の中間の近くにある。したがって注釈110bは、書き込まれた内容の部分108bの位置に空間的に関係する位置において表示される。さらに、注釈110cに対応する書き込まれた内容の部分108cは、書込み面106の下部に向かう位置において、ユーザがオフィスを訪問する時間について説明する。注釈110cは、ディスプレイ104の下部に向かって注釈110cの位置を表示することによって、書き込まれた内容のこの部分108cに空間的に関係する。
【0018】
[0022]図2は、プロセッサ216とディスプレイ204とを含む例示的なコンピューティングデバイス202のブロック図である。コンピューティングデバイス202は、注釈210を判断するためにモジュール218において分析するために電子筆記用具212から書き込まれた内容208を表す手書きデータ214を受信する。注釈210は、書込み面206上の書き込まれた内容の一部分208の位置に空間的に関係する位置においてディスプレイ204上でレンダリングされる。コンピューティングデバイス202は、構造および機能が図1のコンピューティングデバイス102と同様であり得る。
【0019】
[0023]書込み面206は、コンピューティングデバイス202のディスプレイ204からオフスクリーンの面であり、電子筆記用具212が書き込まれた内容208を作成するために使用される。書込み面206は、構造および機能が図1の書込み面106と同様であり得る。
【0020】
[0024]書き込まれた内容208は、電子筆記用具212を用いて書込み面206上で与えられる。書き込まれた内容208は、筆記用具212を使用してユーザによって与えられた書き込まれた内容の部分を含む。書き込まれた内容208は、書込み面206上で、ディスプレイ204からオフスクリーンで生成される。したがって、ユーザは、書き込まれた内容208を作成するために書込み面に接触するために電子筆記用具212を利用し得る。たとえば、図示のように、ユーザは、ステファンに宛てられたメモを作成するために電子筆記用具212を利用し得る。
【0021】
[0025]電子筆記用具212は、書込み面206上の書き込まれた内容208を生成するためにユーザによって利用される電子デバイスである。さらに、電子筆記用具212は、ワイヤレスにまたはケーブルなどのワイヤード接続を介して、コンピューティングデバイス208に手書きデータ214を送信する。電子筆記用具212は、書込み面206上の電子筆記用具212の先端のロケーションと移動とを示す信号をコンピューティングデバイス202に送信するための回路および/または内部電子的構成要素を含み得る。たとえば、電子筆記用具212は、コンピューティングデバイス202によって検出可能な超音波信号を放出するためのスピーカーを含み得る。別の例では、電子筆記用具212は、コンピューティングデバイス202に信号を送信するための無線周波数(RF)エミッタおよび/または赤外線(IR)エミッタを含み得る。電子筆記用具212の実施形態は、デジタルペン、デジタルペンシル、スタイラス、電子筆記器具、または書込み面206上の書き込まれた内容208を作成することと、コンピューティングデバイス202に手書きデータ214を送信することとが可能な他の電子筆記用具212を含む。
【0022】
[0026]手書きデータ214は、書込み面206上で与えられた書き込まれた内容208を表し、電子筆記用具212からコンピューティングデバイス202に送信される。詳細には、手書きデータ214は、電子筆記用具212の先端が書込み面206に接触しているときの座標を含み得る。書込み面206に接触している電子筆記用具212の先端のロケーションと移動とを含む、これらの座標を受信することによって、コンピューティングデバイス202は、モジュール218において分析するためにそれらの座標を書き込まれた内容208またはデジタルテキストに変換する。それらの座標は、コンピューティングデバイス202のディスプレイ204からオフスクリーンである、書込み面206上の書き込まれた内容208を表す。一実施形態では、電子筆記用具212は、手書きデータ214をプロセッサ216に送信し、これは、三角測量および/または三辺測量のうちの少なくとも1つを実行することを含む。この実施形態では、プロセッサ216は、電子筆記用具212の先端のロケーションとすでに知られている基準点との間の角度および/または距離を測定することによって、そのロケーションを判断する。別の実施形態では、電子筆記用具212は、超音波三角測量、無線周波数(RF)三角測量、赤外線(IR)三角測量、および赤外線(IR)ドットのうちの少なくとも1つを実行することによって、プロセッサ216に手書きデータ214を送信する。この実施形態について図4においてより詳細に説明する。
【0023】
[0027]プロセッサ216は、ディスプレイ204上でレンダリングすべき注釈210を判断するためにモジュール218において分析するために電子筆記用具212から手書きデータ214を受信する。一実施形態では、プロセッサ216は、手書きデータ214の座標を受信し、モジュール218において分析するためにその座標をデジタルテキストに変換する。プロセッサ216の実施形態は、マイクロチップ、チップセット、電子回路、マイクロプロセッサ、半導体、マイクロコントローラ、中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)、視覚処理ユニット(VPU)、またはモジュール218において分析するために手書きデータ214を受信することが可能な他のプログラマブルデバイスを含む。
【0024】
[0028]モジュール218は、注釈210を判断するために電子筆記用具212から受信された手書きデータ214を分析する。一実施形態では、モジュール218は、分析するために手書きデータ214をデジタルデータに変換することを含む。モジュール218の別の実施形態では、手書きデータは、書込み面206上の電子筆記用具212のロケーションと移動との座標を含む。この実施形態では、モジュール218は、これらの座標をテキストに変換することを含む。モジュール218の実施形態は、電子筆記用具212によって送信された手書きデータを分析するためにプロセッサ216によって実行可能な命令のセットを含む。別の実施形態では、モジュール218は、書き込まれた内容のその部分208に関連する注釈210を判断するために手書きデータの文脈を分析する。さらなる実施形態では、モジュール218は、キーワードについて手書きデータを分析することによって注釈を判断する。その場合、キーワードを認識すると、プロセッサは、そのキーワードに注釈210を関連付ける記憶領域から注釈210を取得し得る。この実施形態について図3においてより詳細に説明する。
【0025】
[0029]注釈210は、書き込まれた内容の部分208の位置に空間的に関係する位置においてディスプレイ204上でレンダリングされる。たとえば、書き込まれた内容の一部分208が右下コーナーに位置し得、したがって、対応する注釈210は、ディスプレイ204上の右下コーナーに向かう位置においてレンダリングされるであろう。一実施形態では、コンピューティングデバイス202上のディスプレイ204は、書き込まれた内容208を表す手書きデータ214が書込み面206上で与えられるとき、注釈210をリアルタイムでレンダリングする。この実施形態では、コンピューティングデバイス202は、ユーザが書き込まれた内容208を生成している間、即時のフィードバック(すなわち、注釈)をレンダリングする。注釈210は、構造および機能が図1に記載の注釈110a〜110cと同様であり得る。
【0026】
[0030]コンピューティングデバイス202の構成要素のうちの1つとして含まれるディスプレイ204は、コンピューティングデバイス202のユーザに注釈210をレンダリングする。ディスプレイ204は、機能および構造が図1に記載のディスプレイ104と同様であり得る。
【0027】
[0031]図3は、キーワード322を認識することに基づいてディスプレイ304上でレンダリングすべき注釈310を識別するために記憶領域320に関連付けられたプロセッサ316を含む例示的なコンピューティングデバイス302のブロック図である。さらに、プロセッサ316は、モジュール318において電子筆記用具312から受信された手書きデータを分析することによってキーワード322を認識する。さらに、電子筆記用具312は、ディスプレイ304からオフスクリーンの書込み面306上の書き込まれた内容308を表す手書きデータ314を送信する。コンピューティングデバイス302は、構造および機能が、それぞれ図1および図2中のコンピューティングデバイス102および202と同様であり得る。
【0028】
[0032]書込み面306は、電子筆記用具312の先端が書込み面306に接触しているとき、書き込まれた内容308を与える。電子筆記用具312は、プロセッサ316に手書きデータ314を送信する。書込み面306および書き込まれた内容308は、構造および機能が、それぞれ図1および図2に記載の書込み面106および206ならびに書き込まれた内容の部分108a〜108cおよび書き込まれた内容の部分208と同様であり得る。電子筆記用具312および手書きデータ314は、構造および機能が、図2に記載の電子筆記用具212および手書きデータ214と同様であり得る。
【0029】
[0033]プロセッサ316は、注釈310を判断するためにモジュール318において分析するために手書きデータ314を受信する。プロセッサ316は、構造および機能が図2に記載のプロセッサ216と同様であり得る。モジュール318は、機能が図2に記載のモジュール218と同様であり得る。
【0030】
[0034]記憶領域320は、注釈310に関連付けられたキーワード322を記憶および/または維持する。より詳細には、プロセッサ316は、記憶領域320中のキーワード322とのテキストの関連付けに基づいて注釈310を判断する。プロセッサ316は、注釈310を取得するために、キーワード322をネットワーク上のまたはコンピューティングデバイス302上に常駐する記憶領域320と通信し得る。たとえば、キーワード「1月」は、プロセッサ316がその単語の文脈を分析するようにシグナリングし得る。したがって、プロセッサ316は、記憶領域320中でキーワード322「1月」を探すことによってカレンダーアプリケーションを開くためのトリガを含み得る注釈310を取得し得る。記憶領域320は、単一の注釈310に関連付けられたいくつかのキーワードを含み得る。前の例に合わせて、単語「木曜日」または「午後8時」は日付を示し、したがって、プロセッサ316は、カレンダーアプリケーションを開くためのトリガを含み得る注釈310を取得するために記憶領域320中でこれらの単語を探し得る。記憶領域320の実施形態は、ローカルストレージ、ウェブストレージ、メモリ、メモリバッファ、キャッシュ、不揮発性メモリ、揮発性メモリ、ランダムアクセスメモリ(RAM)、電気消去可能プログラマブル読取り専用メモリ(EEPROM(登録商標))、ストレージドライブ、コンパクトディスク読取り専用メモリ(CDROM)、またはキーワード322を注釈310に関連付けることが可能な他の物理的記憶デバイスを含む。
【0031】
[0035]キーワード322は、プロセッサ316が注釈310を取得するために、記憶領域320内の注釈310に関連付けられる。一実施形態では、キーワード322は普遍的または包括的用語を含み得る。たとえば、日付、時間、および/またはスケジュールに関係するキーワードは、カレンダーアプリケーションを開くためのトリガを含むための注釈310との関連付けを示す。別の実施形態では、キーワード322は、コンピューティングデバイス302のユーザにとって個人化された用語であり得る。たとえば、ユーザは、人名を含むためのキーワード322を望み得、注釈310は、その友人のソーシャルネットワーキングサイトへのリンクを与えるであろう。
【0032】
[0036]注釈310は、プロセッサ318によって取得され、書込み面306上の書き込まれた内容の部分308の位置に空間的に関係するディスプレイ304上の位置においてレンダリングされる。注釈310は、構造および機能が、それぞれ図1および図2に記載の注釈110a〜110cおよび210と同様であり得る。
【0033】
[0037]ディスプレイ304は、コンピューティングデバイス302のユーザに注釈310をレンダリングする。ディスプレイ304は、それぞれ図1および図2に記載のディスプレイ104および204の構造および機能において同様であり得る。
【0034】
[0038]図4は、手書きデータを受信し、超音波三角測量、無線周波数(RF)三角測量、赤外線(IR)三角測量、および赤外線(IR)ドットのうちの少なくとも1つを実行するための例示的なコンピューティングデバイス400のブロック図である。さらに、コンピューティングデバイス400は、注釈を判断するために手書きデータを分析し、ディスプレイ上で注釈をレンダリングする。コンピューティングデバイス400は、プロセッサ402と機械可読記憶媒体404とを含むが、それは、当業者に好適であろう他の構成要素をも含み得る。たとえば、コンピューティングデバイス400は、図3に記載の記憶領域320を含み得る。さらに、コンピューティングデバイス400は、それぞれ図1図3に記載のコンピューティングデバイス102、202、および302の構造および機能において同様であり得る。
【0035】
[0039]プロセッサ402は、命令406、408、410、412、414、416、418、420、および422をフェッチし、復号し、実行し得る。プロセッサ402は、機能および構造が、それぞれ図1および図2に記載のプロセッサ216および316と同様であり得る。詳細には、プロセッサ402は、手書きデータを受信するための命令406を実行し、さらに、超音波三角測量命令408、無線周波数(RF)三角測量命令410、赤外線(IR)三角測量命令412、および赤外線(IR)ドット命令414のうちの少なくとも1つを実行する。プロセッサ402はまた、注釈を判断するために手書きデータを分析する命令416、その手書きをデジタルデータに変換する命令418、書込み面をコンピューティングデバイスディスプレイに対応するように調整する命令420、およびディスプレイ上で注釈を表示する命令422を実行する。
【0036】
[0040]機械可読記憶媒体404は、プロセッサ402がフェッチし、復号し、実行するための命令406、408、410、412、414、416、418、420、および422を含み得る。機械可読記憶媒体404は、電子、磁気、光の、メモリ、ストレージ、フラッシュドライブ、あるいは実行可能な命令を含んでいるまたは記憶する他の物理デバイスであり得る。したがって、機械可読記憶媒体404は、たとえば、ランダムアクセスメモリ(RAM)、電気消去可能プログラマブル読取り専用メモリ(EEPROM)、ストレージドライブ、メモリキャッシュ、ネットワークストレージ、コンパクトディスク読取り専用メモリ(CDROM)などを含み得る。したがって、機械可読記憶媒体404は、機械可読記憶媒体404の命令をフェッチし、復号し、および/または実行するために、独立しておよび/またはプロセッサ402とともに利用され得る、アプリケーションおよび/またはファームウェアを含み得る。アプリケーションおよび/またはファームウェアは、機械可読記憶媒体404に記憶され、および/またはコンピューティングデバイス400の別のロケーションに記憶され得る。
【0037】
[0041]命令406は、コンピューティングデバイス400が電子筆記用具から手書きデータを受信することを含む。手書きデータは、書込み面に接触している間の電子筆記用具212の先端のロケーションと移動とを示すための座標を含む。これは、一実施形態では、手書きデータが、書込み面上で与えられた書き込まれた内容を表すことを可能にする。命令406は、電子筆記用具の先端の移動とロケーションとを判断するために三角測量および/または三辺測量のうちの少なくとも1つを実行することをさらに含む。別の実施形態では、命令406は、命令408〜414のうちの少なくとも1つを実行するための命令をさらに含む。たとえば、コンピューティングデバイスは、手書きデータを受信し、無線周波数(RF)三角測量命令410を実行し得る。
【0038】
[0042]命令408は、超音波三角測量を実行することを含む。命令408のこの実施形態では、電子筆記用具は、超音波信号を放出するスピーカーを含む。コンピューティングデバイス400は、放出された超音波信号を受信するための、マイクロフォンなどの受信機を含み得る。さらに、コンピューティングデバイス400は、判断されたエリア(すなわち、書込み面)内の電子筆記用具のロケーションと移動とを判断するために、放出された超音波信号のタイミングおよび/または強度の差を判断し得る。代替として、スピーカーはコンピューティングデバイス400上にあり、受信機は電子筆記用具上にある。
【0039】
[0043]命令410は、無線周波数(RF)三角測量を実行することを含む。命令410のこの実施形態では、電子筆記用具は、コンピューティングデバイスに無線周波数(RF)信号を送信するための無線周波数(RF)エミッタを含む。コンピューティングデバイス400は、RF信号を受信するための受信機を含み、書込み面内の電子筆記用具のロケーションと移動とを示すためにタイミング、周波数、および/または強度の差を判断し得る。代替として、エミッタはコンピューティングデバイス400上にあり、受信機は電子筆記用具上にある。
【0040】
[0044]命令412は、赤外線(IR)三角測量を実行することを含む。命令412のこの実施形態では、電子筆記用具は、赤外線(IR)信号を放出する赤外線エミッタを含み、コンピューティングデバイス400は、赤外線(IR)信号を受信するためのIR検出器を含む。さらに、この実施形態では、コンピューティングデバイス400は、書込み面内の電子筆記用具の移動とロケーションとをさらに判断するために、IR信号のタイミング、周波数、および/または強度での差を判断し得る。代替として、エミッタはコンピューティングデバイス400上にあり、検出器は電子筆記用具上にある。
【0041】
[0045]命令414は、赤外線(IR)ドットを実行することを含む。命令414のこの実施形態では、電子筆記用具は、書込み面上でIRドットを検出するカメラを含む。さらにこの実施形態では、IRドットはパターンを作成し得、このパターンは、電子筆記用具がコンピューティングデバイス400に対する電子筆記用具の位置を判断するために使用される。
【0042】
[0046]命令416は、注釈を判断するために命令406において受信された手書きデータを分析することを含む。一実施形態では、命令416は、手書きデータを分析することを含み、手書きデータをデジタルデータに変換するための命令418をさらに含む。この実施形態では、手書きデータは座標を含み得、したがって、これらの座標は分析のためにデジタルデータに変換される。
【0043】
[0047]命令418は、手書きデータをデジタルデータに変換することを含む。命令418の一実施形態では、電子筆記用具から受信された書き込まれた内容を表す手書きデータは、テキストに変換される座標を含み、そのテキストは、注釈を判断するためにコンピューティングデバイス400によって分析される。
【0044】
[0048]命令420は、書込み面をコンピューティングデバイス400に関連付けられたディスプレイに対応するように調整することを含む。さらに、命令420は、コンピューティングデバイス400が書込み面のサイズをコンピューティングデバイス400上のディスプレイのサイズに対応するように変換することを含む。この実施形態は、書込み面とコンピューティングデバイス400のディスプレイとが異なるサイズであり、したがって、注釈が、異なるサイズにかかわらず、書き込まれた内容の部分の位置に空間的に関係する位置において表示される、状況を可能にする。一実施形態では、命令420は、命令406より前にまたはそれと同時に行われ得る。別の実施形態では、命令420は、命令416および420と同時に行われ得る。
【0045】
[0049]命令422は、コンピューティングデバイス400のディスプレイ上で命令416において判断された注釈を表示することを含む。詳細には、注釈は、書き込まれた内容の上記部分の位置に空間的に関係する位置において表示される。
【0046】
[0050]図5は、手書きデータを受信することと、手書きデータをデジタルデータに変換することと、表示すべき注釈を判断するために手書きデータを分析することとを行うためにコンピューティングデバイス上で実行される例示的な方法のフローチャートである。図5について、図1図4に記載のコンピューティングデバイス102、202、302、および400上で実行されるものとして説明するが、それは、当業者には明らかであるように他の好適な構成要素上でも実行され得る。たとえば、図5は、図4中の機械可読記憶媒体404など、機械可読記憶媒体上の実行可能な命令の形態で実装され得る。
【0047】
[0051]動作502において、コンピューティングデバイスは、電子筆記用具から書込み面上で与えられた書き込まれた内容を表す手書きデータを受信する。動作502の一実施形態では、コンピューティングデバイスは、書込み面に接触しているときの電子筆記用具の移動とロケーションとを示す座標を含む手書きデータを受信する。それらの座標は、コンピューティングデバイスのディスプレイからオフスクリーンである、書込み面上の書き込まれた内容を表す。動作502の別の実施形態では、電子筆記用具は、書き込まれた内容を表すテキストを含む手書きデータを送信する。
【0048】
[0052]動作504において、コンピューティングデバイスは、動作502において受信された手書きデータをデジタルデータに変換する。一実施形態では、手書きデータは座標を含み、したがって、コンピューティングデバイスは、それらの座標を、書き込まれた内容を表す、デジタルテキストなどのデジタルデータに変換する。別の実施形態では、コンピューティングデバイスは、書き込まれた内容を表すテキストを受信し、したがってそのテキストをデジタルデータに変換する。
【0049】
[0053]動作506において、コンピューティングデバイスは、書込み面上で与えられた書き込まれた内容の一部分に対応する注釈を判断するために、動作504において生成されたデジタルデータを分析する。動作506の一実施形態では、コンピューティングデバイスは、キーワードを認識するためにデジタルデータを分析する。この実施形態では、コンピューティングデバイスは、記憶領域内のキーワードの関連付けに基づいて注釈を判断するためにローカル記憶領域またはネットワーク記憶領域と通信し得る。
【0050】
[0054]動作508において、コンピューティングデバイスは、書込み面をコンピューティングデバイス上のディスプレイに対応するように調整する。詳細には、動作508において、コンピューティングデバイスは、コンピューティングデバイス上のディスプレイのサイズを書込み面のサイズに対応するように変換する。一実施形態では、動作508は、動作502において手書きデータを受信するより前に行われる。別の実施形態では、動作508は、動作510において注釈を表示するより前に行われる。さらなる実施形態では、動作508は、動作502、504、506、および510と同時に行われ得る。
【0051】
[0055]動作510において、コンピューティングデバイスは、動作508において判断された注釈を表示する。さらに、動作510において、注釈は、書込み面上の書き込まれた内容の上記部分の位置に空間的に関係する位置においてディスプレイ上でレンダリングされる。
【0052】
[0056]本明細書で詳細に説明する実施形態は、書込み面上の書き込まれた内容の上記部分の位置に空間的に関係する位置において注釈をレンダリングすることによって、より教育的および報知的エクスペリエンスをユーザに提供する。注釈は、ユーザの書込みを改善し、理解するために、ユーザに明示的方法でフィードバックを与える。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
コンピューティングデバイスのプロセッサによって実行可能な命令で符号化された非一時的機械可読記憶媒体であって、前記記憶媒体は、
電子筆記用具から書込み面上で与えられた書き込まれた内容を表す手書きデータを受信することであって、前記書込み面が前記コンピューティングデバイスのディスプレイからオフスクリーンである、受信することと、
前記書き込まれた内容の一部分に対応する注釈を判断するために前記手書きデータを分析することと、
前記コンピューティングデバイスの前記ディスプレイのある位置において前記注釈を表示することであって、前記注釈の前記位置が、前記書込み面上の前記書き込まれた内容の前記部分の位置に空間的に関係する、表示することと
を行うための命令を備える、非一時的機械可読記憶媒体。
[C2]
前記書込み面のサイズを判断することと、前記サイズを前記コンピューティングデバイス上の前記ディスプレイのサイズに対応するように変換することとによって、前記書込み面を前記コンピューティングデバイス上の前記ディスプレイに対応するように調整するための命令をさらに備える、C1に記載の前記命令を含む非一時的機械可読記憶媒体。
[C3]
分析するための前記命令が、前記手書きデータをデジタルデータに変換するための命令をさらに備える、C1に記載の非一時的機械可読記憶媒体。
[C4]
前記手書きデータを受信するための前記命令が、超音波三角測量、無線周波数(RF)三角測量、赤外線(IR)三角測量、および赤外線ドットのうちの少なくとも1つを実行するための命令をさらに備える、C1に記載の非一時的機械可読記憶媒体。
[C5]
前記注釈が、ウェブ検索を実行するためのトリガ、アプリケーションを開くためのトリガ、リンク、単語の定義、および単語の訂正のうちの少なくとも1つを含む、C1に記載の非一時的機械可読記憶媒体。
[C6]
前記コンピューティングデバイス上の前記ディスプレイが、前記手書きデータなしに前記注釈を表示する、C1に記載の非一時的機械可読記憶媒体。
[C7]
プロセッサを備えるコンピューティングデバイスであって、前記プロセッサは、
電子筆記用具から書込み面上で与えられた書き込まれた内容を表す手書きデータを受信することであって、前記書込み面が前記コンピューティングデバイスのディスプレイからオフスクリーンである、受信することと、
前記書き込まれた内容の一部分に対応する注釈を判断するために前記手書きデータを分析することと
を行うためのものである、コンピューティングデバイスと、
前記コンピューティングデバイス上のディスプレイであって、前記ディスプレイのある位置において前記注釈をレンダリングするためのものであり、前記注釈の前記位置が、前記書込み面上の書き込まれた内容の前記部分の位置に空間的に関係する、ディスプレイとを備えるコンピューティングシステム。
[C8]
前記手書きデータを送信するための前記コンピューティングデバイスに関連付けられた電子筆記用具
をさらに備える、C7に記載のコンピューティングシステム。
[C9]
前記注釈を判断するために前記手書きデータを分析するために、前記プロセッサが、前記手書きデータ内のキーワードを認識するためのものであり、
前記コンピューティングデバイスが、前記プロセッサに関連付けられた記憶領域をさらに備え、前記プロセッサが、前記記憶領域中の前記キーワードの関連付けに基づいて前記注釈を判断する、
C7に記載のコンピューティングシステム。
[C10]
前記コンピューティングデバイスは、書き込まれた内容を表す前記手書きデータが前記書込み面上で与えられるとき、前記注釈をリアルタイムでレンダリングする、C7に記載のコンピューティングシステム。
[C11]
前記コンピューティングデバイス上の前記ディスプレイが、前記手書きデータなしに前記注釈をレンダリングする、C7に記載のコンピューティングシステム。
[C12]
前記電子筆記用具から前記書込み面上で与えられた書き込まれた内容を表す前記手書きデータを受信するために、三角測量および三辺測量のうちの少なくとも1つを実行するための命令をさらに備える、C7に記載のコンピューティングシステム。
[C13]
コンピューティングデバイスによって実行される方法であって、前記方法は、
電子筆記用具から書込み面上で与えられた書き込まれた内容を表す手書きデータを受信することであって、前記書込み面が前記コンピューティングデバイスのディスプレイからオフスクリーンである、受信することと、
前記手書きデータをデジタルデータに変換することと、
前記書き込まれた内容の一部分に対応する注釈を判断するために前記デジタルデータを分析することと、
前記書込み面のサイズを判断することと、前記サイズを前記コンピューティングデバイス上の前記ディスプレイのサイズに対応するように変換することとによって、前記書込み面を前記コンピューティングデバイス上の前記ディスプレイに対応するように調整することと、
前記コンピューティングデバイスの前記ディスプレイのある位置において前記注釈を表示することであって、前記注釈の前記位置が、前記書込み面上の前記書き込まれた内容の前記部分の位置に空間的に関係する、表示することと
を備える、方法。
[C14]
前記書込み面上で与えられた書き込まれた内容を表す前記手書きデータを受信するために、超音波三角測量、無線周波数(RF)三角測量、赤外線(IR)三角測量、および赤外線ドットのうちの少なくとも1つを実行することをさらに備える、C13に記載の方法。
[C15]
前記注釈が、ウェブ検索を実行するためのトリガ、アプリケーションを開くためのトリガ、リンク、単語の定義、および単語の訂正のうちの少なくとも1つを含む、C13に記載の方法。
図1
図2
図3
図4
図5