特許 7508446 インクアノテーション共有方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-21

(45)【発行日】2024-07-01

(54)【発明の名称】インクアノテーション共有方法及びシステム

(51)【国際特許分類】

   G06F 3/04883 20220101AFI20240624BHJP

   G06F 3/0483 20130101ALI20240624BHJP

【ＦＩ】

G06F3/04883

G06F3/0483

【請求項の数】 11

(21)【出願番号】P 2021514812

(86)(22)【出願日】2020-03-04

(86)【国際出願番号】 JP2020009050

(87)【国際公開番号】W WO2020213277

(87)【国際公開日】2020-10-22

【審査請求日】2023-03-01

(31)【優先権主張番号】62/835,118

(32)【優先日】2019-04-17

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000139403

【氏名又は名称】株式会社ワコム

(74)【代理人】

【識別番号】100176072

【弁理士】

【氏名又は名称】小林 功

(74)【代理人】

【識別番号】100169225

【弁理士】

【氏名又は名称】山野 明

(72)【発明者】

【氏名】井出 信孝

【審査官】星野 裕

(56)【参考文献】

【文献】特開２００４－１５１８９９（ＪＰ，Ａ）

【文献】特開２０１３－２２２３２４（ＪＰ，Ａ）

【文献】特開２０１４－０８１８００（ＪＰ，Ａ）

【文献】特開２００３－０５８１３７（ＪＰ，Ａ）

【文献】特開２０００－０２９９０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８

(57)【特許請求の範囲】

【請求項1】

システムで実行されるインクアノテーション共有方法であって、
前記システムは、第１のユーザが操作する第１の端末と、第２のユーザが操作する第２の端末と、インクアノテーションの共有システムと、を含み構成され、
前記インクアノテーションは、電子書籍に対するアノテーションを示すストロークデータ群と、前記ストロークデータ群に対応するメタデータと、を含み、
前記メタデータは、ユーザを特定するユーザ識別子と、電子書籍を特定する書籍識別子と、前記アノテーションの箇所を示す箇所データを含み、
前記第１の端末が、第１のユーザの操作により生成された前記インクアノテーションを前記共有システムに送信する送信ステップを実行し、
前記第１の端末と前記第２の端末とは、表示解像度、表示領域、フォントサイズ又は段組みを含む表示設定が異なり、
前記共有システムが、
前記インクアノテーションに含まれる前記ユーザ識別子及び前記書籍識別子の値に基づいて、前記第１のユーザが構成する前記電子書籍に関するグループのメンバである第２のユーザを特定する特定ステップ、及び
前記第２のユーザが操作する前記第２の端末に対して、前記第１の端末の前記表示設定とは異なる前記第２の端末の前記表示設定に従って前記インクアノテーションを供給する供給ステップ、
を実行し、
前記第２のユーザが、前記電子書籍を取得していないユーザであるが、前記共有システムに登録されたグループのメンバである場合、
前記供給ステップでは、前記第２の端末が前記電子書籍を取得していないにもかかわらず、前記第２の端末に対して前記インクアノテーションを供給するインクアノテーション共有方法。

【請求項2】

前記書籍識別子は、ＩＳＢＮ（International Standard Book Number）である、
請求項１に記載のインクアノテーション共有方法。

【請求項3】

前記供給ステップでは、前記インクアノテーションをデジタルインクフォーマットに変換した状態で前記共有システムに送信する、
請求項１に記載のインクアノテーション共有方法。

【請求項4】

前記第１の端末は、前記電子書籍を表示可能な表示装置と、指を検出するタッチセンサと、ペンを検出するペンセンサと、前記タッチセンサ及び前記ペンセンサにそれぞれ接続される集積回路と、を含み構成され、
前記集積回路が、
前記表示装置を用いて前記電子書籍の一部分であるテキストを表示する表示ステップと、
前記タッチセンサ及び前記ペンセンサを用いて、前記テキストに対するアノテーションの箇所を特定する操作を検出する検出ステップと、
前記タッチセンサ又は前記ペンセンサのうちのいずれのセンサが前記操作を検出したかについて判定を行う判定ステップと、
前記アノテーションの箇所を示す箇所データを、前記判定の結果を識別するための操作識別データとともに出力する出力ステップと、
を実行する
請求項１に記載のインクアノテーション共有方法。

【請求項5】

前記アノテーションは、
前記操作識別データが、前記タッチセンサが前記操作を検出したことを示す値である場合、第１の描画イフェクトを施して表示されるとともに、
前記操作識別データが、前記ペンセンサが前記操作を検出したことを示す値である場合、前記第１の描画イフェクトとは異なる第２の描画イフェクトを施して表示される、
請求項４記載のインクアノテーション共有方法。

【請求項6】

前記第２の描画イフェクトは、前記箇所データに対応する前記アノテーションの箇所に、テキスト文字の配列方向に直交する方向への揺らぎ成分を含むように非均一化された、ハイライト、下線又は囲み線を施すイフェクトである、
請求項５に記載のインクアノテーション共有方法。

【請求項7】

前記非均一化は、人間による直線の手書きパターンに関する機械学習を通じて構築された学習済みモデルに従って前記揺らぎ成分を付与することで行われる、
請求項６に記載のインクアノテーション共有方法。

【請求項8】

前記第１の端末は、前記ペンセンサにより特定の操作を検出した場合、手書き入力が可能なウィンドウを起動する起動ステップをさらに実行する、
請求項４に記載のインクアノテーション共有方法。

【請求項9】

前記インクアノテーションは、前記ウィンドウ内の手書き入力により施された前記アノテーションを示すストロークデータ群と、前記ストロークデータ群に対応するメタデータと、を含み、
前記メタデータは、前記箇所データと、前記操作識別データと、を含み、
前記出力ステップでは、前記インクアノテーションをデジタルインクフォーマットに変換した状態で外部に送信する、
請求項８に記載のインクアノテーション共有方法。

【請求項10】

第１のユーザが操作する第１の端末と、第２のユーザが操作する第２の端末と、インクアノテーションの共有システムと、を含み構成され、
前記インクアノテーションは、電子書籍に対するアノテーションを示すストロークデータ群と、前記ストロークデータ群に対応するメタデータと、を含み、
前記メタデータは、ユーザを特定するユーザ識別子と、電子書籍を特定する書籍識別子と、前記アノテーションの箇所を示す箇所データを含み、
前記第１の端末が、第１のユーザの操作により生成された前記インクアノテーションを前記共有システムに送信する送信ステップを実行し、
前記第１の端末と前記第２の端末とは、表示解像度、表示領域、フォントサイズ又は段組みを含む表示設定が異なり、
前記共有システムが、
前記インクアノテーションに含まれる前記ユーザ識別子及び前記書籍識別子の値に基づいて、前記第１のユーザが構成する前記電子書籍に関するグループのメンバである第２のユーザを特定する特定ステップ、及び
前記第２のユーザが操作する前記第２の端末に対して、前記第１の端末の前記表示設定とは異なる前記第２の端末の前記表示設定に従って前記インクアノテーションを供給する供給ステップ、
を実行し、
前記第２のユーザが、前記電子書籍を取得していないユーザであるが、前記共有システムに登録されたグループのメンバである場合、
前記供給ステップでは、前記第２の端末が前記電子書籍を取得していないにもかかわらず、前記第２の端末に対して前記インクアノテーションを供給するシステム。

【請求項11】

前記第１の端末は、前記電子書籍を表示可能な表示装置と、指を検出するタッチセンサと、ペンを検出するペンセンサと、前記タッチセンサ及び前記ペンセンサにそれぞれ接続される集積回路と、を含み構成され、
前記集積回路が、
前記表示装置を用いて前記電子書籍の一部分であるテキストを表示する表示ステップと、
前記タッチセンサ及び前記ペンセンサを用いて、前記テキストに対するアノテーションの箇所を特定する操作を検出する検出ステップと、
前記タッチセンサ又は前記ペンセンサのうちのいずれのセンサが前記操作を検出したかについて判定を行う判定ステップと、
前記アノテーションの箇所を示す箇所データを、前記判定の結果を識別するための操作識別データとともに出力する出力ステップと、
を実行する、請求項１０に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子書籍に対して施されたアノテーション、特にペンを用いて入力されたインクアノテーションを共有する方法及びシステムに関する。

【背景技術】

【0002】

電子ペンから生成されるデジタルインクは、従来のペンが紙の上に筆跡を残すように、電子ペンの軌跡を再現するために用いられるデータである。デジタルインクとして、特許文献１には、コンピュータ内部のデータモデルとしてオブジェクト指向に基づくデジタルインクの例が、特許文献２にはデジタルインクのシリアライズフォーマットの例がそれぞれ開示されている。

【0003】

さらに、デジタルインクに、単なる筆跡を再現するためのデータという枠を超え、人間の行動の軌跡として「いつ、誰が、どこで、どんな状況で」書いたのかを記録可能としたデジタルインクデータが知られている。例えば、特許文献３には、デジタルインクとして、軌跡を示すストロークデータを誰が書いたのかを特定可能にするデジタルインクが、特許文献４には、ストロークデータを入力した際のコンテキストデータとして、著者、ペンＩＤ、時刻情報、ＧＰＳ（Global Positioning System）で取得された地域情報、などの情報を取得し、それらをメタデータとして記録可能にするデジタルインクが開示されている。

【0004】

ところで、電子書籍に含まれるテキストの一部分の箇所にハイライトを付したり、ハイライトの箇所に関連付けてテキストを付したりする、アノテーションを付することのできる電子書籍端末が知られている。特許文献１には、電子書籍に付されたハイライトやテキストなどのアノテーションをブックグループのメンバ間で共有するシステムが開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】米国特許第０７１５８６７５号明細書

【文献】米国特許第０７３９７９４９号明細書

【文献】特許第５８８６４８７号公報

【文献】米国特許第０９２５１１３０号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

テキストにより入力されたアノテーションではなく、ペンで手書きをすることで施されるアノテーション（以下、「インクアノテーション」ともいう）の場合、そのインクアノテーション自体にそれなりの創作的価値がある。つまり、インクアノテーションを電子書籍の管理システムと分離し、電子書籍の供給元が異なるユーザあるいは電子書籍を所持しないユーザにも共有可能とすることが望ましい。

【0007】

また、電子書籍は、端末の表示解像度やフォントサイズなどの表示設定に応じて異なった段組みで表示がされる。このような表示設定の違う電子書籍端末間であっても、アノテーションがハイライトであればハイライトがペンにより手書きされたことを認識可能な態様でインクアノテーションを共有できることが望ましい。また、電子書籍の端末の表示設定やペン対応の種別に関わらず、アノテーションが手書きされた絵（つまり、ストロークデータ）であればその著作物が認識可能な態様でインクアノテーションを共有できることが望ましい。

【課題を解決するための手段】

【0008】

第１の本発明におけるインクアノテーション共有方法は、システムで実行される方法であって、前記システムは、第１のユーザが操作する第１の端末と、第２のユーザが操作する第２の端末と、インクアノテーションの共有システムと、を含み構成され、前記インクアノテーションは、電子書籍に対するアノテーションを示すストロークデータ群と、前記ストロークデータ群に対応するメタデータと、を含み、前記メタデータは、ユーザを特定するユーザ識別子と、電子書籍を特定する書籍識別子と、前記アノテーションの箇所を示す箇所データを含み、前記第１の端末が、第１のユーザの操作により生成された前記インクアノテーションを前記共有システムに送信する送信ステップを実行し、前記共有システムが、前記インクアノテーションに含まれる前記ユーザ識別子及び前記書籍識別子の値に基づいて、前記第１のユーザが構成する前記電子書籍に関するグループのメンバである第２のユーザを特定する特定ステップ、及び前記第２のユーザが操作する前記第２の端末に対して、前記インクアノテーションを供給する供給ステップを実行する。

【0009】

第２の本発明におけるシステムは、第１のユーザが操作する第１の端末と、第２のユーザが操作する第２の端末と、インクアノテーションの共有システムと、を含み構成され、前記インクアノテーションは、電子書籍に対するアノテーションを示すストロークデータ群と、前記ストロークデータ群に対応するメタデータと、を含み、前記メタデータは、ユーザを特定するユーザ識別子と、電子書籍を特定する書籍識別子と、前記アノテーションの箇所を示す箇所データを含み、前記第１の端末が、第１のユーザの操作により生成された前記インクアノテーションを前記共有システムに送信する送信ステップを実行し、前記共有システムが、前記インクアノテーションに含まれる前記ユーザ識別子及び前記書籍識別子の値に基づいて、前記第１のユーザが構成する前記電子書籍に関するグループのメンバである第２のユーザを特定する特定ステップ、及び前記第２のユーザが操作する前記第２の端末に対して、前記インクアノテーションを供給する供給ステップを実行する。

【0010】

第３の本発明におけるインクアノテーション共有方法は、電子書籍端末を用いて入力されたインクアノテーションを共有する方法であって、前記電子書籍端末は、電子書籍を表示可能な表示装置と、指を検出するタッチセンサと、ペンを検出するペンセンサと、前記タッチセンサ及び前記ペンセンサにそれぞれ接続される集積回路と、を含み構成され、前記集積回路が、前記表示装置を用いて前記電子書籍の一部分であるテキストを表示する表示ステップと、前記タッチセンサ及び前記ペンセンサを用いて、前記テキストに対するアノテーションの箇所を特定する操作を検出する検出ステップと、前記タッチセンサ又は前記ペンセンサのうちのいずれのセンサが前記操作を検出したかについて判定を行う判定ステップと、前記アノテーションの箇所を示す箇所データを、前記判定の結果を識別可能な態様で出力する出力ステップと、を実行する。

【0011】

第４の本発明におけるシステムは、電子書籍端末を用いたシステムであって、前記電子書籍端末は、電子書籍を表示可能な表示装置と、指を検出するタッチセンサと、ペンを検出するペンセンサと、前記タッチセンサ及び前記ペンセンサにそれぞれ接続される集積回路と、を含み構成され、前記集積回路が、前記表示装置を用いて前記電子書籍の一部分であるテキストを表示する表示ステップと、前記タッチセンサ及び前記ペンセンサを用いて、前記テキストに対するアノテーションの箇所を特定する操作を検出する検出ステップと、前記タッチセンサ又は前記ペンセンサのうちのいずれのセンサが前記操作を検出したかについて判定を行う判定ステップと、前記アノテーションの箇所を示す箇所データを、前記判定の結果を識別可能な態様で出力する出力ステップと、を実行する。

【発明の効果】

【0012】

第１及び第２の本発明によれば、複数の異なる電子書籍の供給元であっても同じ電子書籍のタイトルを購入した人同士で手書きされたインクアノテーションを共有すること、あるいは、電子書籍を購入していないユーザにも芸術性のある手書き図形を含むインクアノテーションを共有することができる。

【0013】

第３及び第４の本発明によれば、アノテーション箇所を特定する操作がペンによる場合に、アノテーションの共有を受けた人が、ハイライト指定などのアノテーションが手書きペンで入力されたものであることを判別することができる。

【図面の簡単な説明】

【0014】

【図1】インクアノテーションを共有するシステム概要図である。

【図2】電子書籍端末の動作に関するフローチャートである。

【図3A】電子書籍端末及び端末におけるアノテーションの表示状態を示す図である。

【図3B】電子書籍端末及び端末におけるアノテーションの表示状態を示す図である。

【図4A】電子書籍端及び端末のアノテーションの表示状態を示す図である。

【図4B】電子書籍端及び端末のアノテーションの表示状態を示す図である。

【図5】インクアノテーションの供給に係るＵＩ部品を示す図である。

【図6】デジタルインクのフォーマットに従ったインクアノテーションのデータ構造図である。

【図7】共有システムで実行されるインクアノテーションの共有方法に関するフローチャートである。

【図8】インクアノテーションの表示方法に関するフローチャートである。

【図9】図８のフローチャートを通じて端末に表示されるインクアノテーションを示す図である。

【図10】第１及び第２の描画イフェクトの一例を示す図である。

【発明を実施するための形態】

【0015】

本発明におけるインクアノテーション共有方法及びシステムについて、添付の図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素及びステップに対して可能な限り同一の符号を付するとともに、重複する説明を省略する場合がある。なお、本発明は、以下に示す実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。

【0016】

＜実施形態の説明＞
図１は、インクアノテーションを共有するシステム概要図である。このシステムは、第１の端末（以下、「電子書籍端末１０１」ともいう）と、第２の端末（以下、単に「端末２０１，２０２」ともいう）と、インクアノテーションの共有システム３００と、を含み構成される。

【0017】

電子書籍端末１０１は、図示しない表示装置、指を検出するタッチセンサ、ペンを検出するペンセンサ及びこれらを制御する集積回路を含み構成される。この電子書籍端末１０１は、第１の電子書籍サービス１００に加入する第１のユーザｕ１によって操作される。

【0018】

端末２０１は、上記した表示装置、タッチセンサ及び集積回路を含み構成される一方、ペンセンサを有していない。この端末２０１は、第２の電子書籍サービス２００に加入する第２のユーザｕ２によって操作される。また、端末２０１は、電子書籍端末１０１とは表示設定が異なっている。この「表示設定」には、例えば、表示解像度、表示領域（フォントの大きさ、段組みなど）が含まれる。

【0019】

端末２０２は、電子書籍に特化していない汎用的な表示端末、例えばスマートフォンである。この端末２０２は、電子書籍を所有するユーザｕ１，ｕ２とは別の第３のユーザｕ３によって操作される。ユーザｕ３は、インクアノテーションの共有システム３００が提供するサービスにおいてグループ（ｇ１）のメンバであるが、電子書籍を所有していない。

【0020】

共有システム３００は、ネットワーク上で分散あるいは集合して構築されるコンピュータにより実現されるシステムである。この共有システム３００は、後述する図７で示すインクアノテーション共有方法を実行し、第１のユーザｕ１が電子書籍（e-Book#1）に対して行った手書きアノテーションＡを、その電子書籍について第１のユーザｕ１が属するグループのメンバである第２のユーザｕ２又は第３のユーザｕ３に共有する。すなわち、グループは、電子書籍とユーザとの組により構成され、電子書籍の供給元から独立したインクアノテーション供給サービスを運営するシステムにより管理されている。

【0021】

図２は、電子書籍端末１０１の動作に関するフローチャートである。

【0022】

ステップＳ２０１において、電子書籍端末１０１は、書籍識別子ＢＩＤの値が「ｂ１」である電子書籍を取得する。書籍識別子ＢＩＤは、例えば、ＩＳＢＮ （International Standard Book Number）である。

【0023】

ステップＳ２０３において、電子書籍端末１０１は、電子書籍e-Book#1の所定の表示位置（ユーザの閲覧位置）に応じて、表示設定に従って表示テキストｄｔを表示する。図３Ａ及び図４Ａには、電子書籍端末１０１で表示される表示テキストｄｔの一例が示されている。

【0024】

ステップＳ２０５において、電子書籍端末１０１は、表示テキストdtに対して、アノテーションを施す操作Ｓが行われたか否かを判定する。アノテーションを施す操作Ｓが検出された場合(Ｓ２０５がＹＥＳ)、ステップＳ２０７において、電子書籍端末１０１は、アノテーションが施された箇所Ｐを示す箇所データを生成する。箇所Ｐの特定方法は様々であるが、電子書籍が所定の書籍フォーマットに従ったＸＭＬ（eXtensible Markup Language）構造を有する場合、電子書籍全体の中で、該当する箇所Ｐを示す段落位置に対応する値を有するタグの位置で章や節を把握し、その節のうち開始文字と終了文字位置を特定する方法が用いられてもよい。また、ページ番号等が固定されて流通されている場合は、ページ番号やそのページ内における座標により箇所Ｐを特定する方法が用いられてもよい。

【0025】

ステップＳ２０９において、電子書籍端末１０１は、箇所Ｐを特定する操作Ｓが、ペンセンサにより実行されたか否かを判定する。操作Ｓがタッチセンサなどによる場合には、電子書籍端末１０１は、操作識別データＳＴに「non-pen（非手書き）」をセットする（ステップＳ２１１）。逆に、操作Ｓがペンセンサによる場合には、電子書籍端末１０１は、操作識別データＳＴに「pen（手書き又はインク）」をセットする（ステップＳ２１３）。

【0026】

図３Ａ、図３Ｂ、及び図１０（Ｅ１の段）は、操作Ｓがペンセンサではないセンサ（例えば、タッチセンサ）により実行された場合、電子書籍端末１０１及び端末２０１の表示状態を示している。図３Ａは、例として指によりアノテーションの箇所Ｐとして「ＤＥＦ…ＵＶＷ」を特定した状態を示している。指はペンに比してパネルに接触する面積や径が大きいため、テキストを構成する各文字の細かい位置を指定することは難しい。そこで、電子書籍端末１０１は、特定された位置に図に示すように、テキスト文字の配列方向（図１０の矢印ｄ方向）に沿った、いわば人間らしさの感じにくい、線分を用いてハイライト（あるいは下線）による第１の描画イフェクトＥ１を施してアノテーションＡ１を行う。

【0027】

これに対して、図４Ａ、図４Ｂ、及び図１０（Ｅ２の段）は、操作Ｓがペンセンサにより実行された場合、電子書籍端末１０１及び端末２０１のそれぞれの表示状態を示している。ペンは指に比して径が小さいため、文字の細かい位置を指定することができる。例えば、文字に対して下線、囲み線、二重線を引くなどの細かい操作をすることができる。図４Ａに示すように、電子書籍端末１０１の側では、ペンで特定された位置に、テキスト方向に沿って、ハイライト、下線又は囲みによるアノテーションＡ１が施される。つまり、第１のユーザｕ１による操作Ｓに対して忠実にアノテーションＡ１が施される。ところが、図４Ｂに示すように、表示設定の異なる端末２０１の側では、電子書籍端末１０１における座標データ群をそのまま用いた場合、段組みの違いから、目論見とは異なる位置にハイライトによるアノテーションＡ１が施される。

【0028】

そこで、ステップＳ２１３において、電子書籍端末１０１は、操作Ｓのために用いたペンの座標データ群は含めず、アノテーションの箇所Ｐとともに、その位置に手書きによるアノテーションが施されたものであること（pen）を操作識別データＳＴの値に設定してインクアノテーションＩＡを生成する。例えば、電子書籍端末１０１は、図５の「共有（SHARE）」部品５０３へのコンタクトなどをきっかけに、生成したインクアノテーションＩＡを送信する（ステップＳ２１７）。

【0029】

なお、電子書籍端末１０１は、ステップＳ２１７の実行に先立ち、ステップＳ２１５として、手書き領域の起動条件を満たすか否かを判定してもよい。この判定は、ハイライトなどのアノテーションを施した箇所Ｐに、更なる手書きによるアノテーションデータを入力する要求を受け付けるためである。例えば、電子書籍端末１０１は、図５のＵＩ部品５０を表示し、特定した箇所Ｐをコピーや切り取りに用いる「選択（SELECT）」部品５０１や、さらに「手書きをする」かの入力を受け付けるＵＩ部品５０２を起動してもよい。図５の右側は、第１のユーザｕ１が、ＵＩ部品５０を用いて、「手書きをする」を選択した場合に、ステップＳ２１９にて電子書籍端末１０１が表示する手書き入力ウィンドウ５０４の例を示している。

【0030】

図２に戻って、ステップＳ２２１において、電子書籍端末１０１は、この手書き入力ウィンドウ５０４で入力されたペン座標データ群ｓｄを、アノテーションの箇所Ｐ及び操作識別データＳＴとともに出力する。ペン座標データ群ｓｄは、ハイライトに用いたアノテーションＡ１とは異なり、段組みに関係がなく、この座標系内部の座標が意味を成すデータである。従って、アノテーションＡ１を施した箇所Ｐの特定操作とは異なり、今度はペン座標群そのもの（あるいはそれにより生成されたラスタデータ）を共有しておく必要があるためである。

【0031】

繰り返しになるが、ステップＳ２２１においてもＳ２１７においても、アノテーションが施された箇所Ｐは送信されるが、この箇所Ｐを特定するためのペン操作時に取得されたペン座標群は含めないで出力する。これにより、インクアノテーションＩＡのデータ量を削減することが可能になる。

【0032】

なお、この手書き入力ウィンドウ５０４が起動されている間に、手書き入力ウィンドウ５０４内に入力された座標データ群ｓｄは、座標値をそのまま送信してもよいし、米国特許公開２０１６／０２９２５００号明細書に開示されたような、デジタルインクのフォーマットに加工して送信してもよい。

【0033】

図６は、デジタルインクのフォーマットに従ったインクアノテーションＩＡのデータ構造図である。デジタルインクは、ペンダウンからペンアップまでを一連とする摺動操作の軌跡を１つのストロークデータ（パスデータ）として表現し、それらの集合をストロークデータ群ＳＤとして保持する。また、それらのストロークデータ群ＳＤに対してメタデータＭＤを付与することが可能である。このメタデータＭＤには、アノテーションＡ２を手書き入力した著者が第１のユーザｕ１であることに加え、ユーザ識別子ＵＩＤ、書籍識別子ＢＩＤ、及び、箇所Ｐが含まれる。なお、手書き入力ウィンドウ５０４が開かれた場合には、手書きであることがデータから判別できるので、メタデータＭＤには操作識別データＳＴが含まれなくてもよい。

【0034】

図７は、共有システム３００で実行されるインクアノテーションＩＡの共有方法に関するフローチャートである。

【0035】

ステップＳ７０１において、共有システム３００は、第１のユーザｕ１が操作する電子書籍端末１０１から、デジタルインクで構成されたインクアノテーションＩＡを取得する。次に、ステップＳ７０３において、共有システム３００は、インクアノテーションＩＡに含まれたユーザ識別子ＵＩＤ及び書籍識別子ＢＩＤの値に基づいて、図１の例であれば、電子書籍に関するグループのメンバである第２のユーザｕ２及び第３のユーザｕ３を特定する。最後に、ステップＳ７０５において、共有システム３００は、各メンバが操作する端末２０１，２０２に対してインクアノテーションＩＡを供給する。

【0036】

上記した動作により、複数の異なる電子書籍の供給元であっても同じ電子書籍のタイトルを購入した人同士で手書きされたインクアノテーションＩＡを共有すること、あるいは、電子書籍を購入していないユーザにも芸術性のある手書き図形を含むインクアノテーションＩＡを共有することができる。

【0037】

図８は、インクアノテーションＩＡの表示方法に関するフローチャートである。図９は、図８のフローチャートを通じて端末２０１に表示されるインクアノテーションＩＡを示す図である。

【0038】

ステップＳ８０１において、端末２０１は、電子書籍を取得する。ここでは、書籍識別子ＢＩＤの値「ｂ１」に対応する「e-Book#1」を取得したとする。ステップＳ８０３において、端末２０１は、ユーザｕ２の読み込み位置に応じて表示テキストｄｔを表示する。表示設定の違いやユーザ毎の読了位置の違いから、第２のユーザｕ２の表示テキストｄｔ２は、通常では、第１のユーザｕ１の表示テキストｄｔ１と同じように表示されない（図４Ａ及び図４Ｂ参照）。

【0039】

ステップＳ８０５において、端末２０１は、インクアノテーションＩＡを取得する。ステップＳ８０７において、値が「non-pen」である操作識別データＳＴがインクアノテーションＩＡに含まれる場合、端末２０１は、箇所Ｐに対して第１の描画イフェクトＥ１でハイライトを行う（ステップＳ８０９）。図３Ａ及び図３Ｂで説明した通り、この第１の描画イフェクトＥ１は、テキスト文字の配列方向（図１０のｄ方向）に沿うように均一化された、ハイライト、下線又は囲みを施すことに相当する。

【0040】

一方、ステップＳ８０７において、値が「pen」である操作識別データＳＴがインクアノテーションＩＡに含まれる場合、端末２０１は、箇所Ｐに対して第２の描画イフェクトＥ２でハイライトを行う（ステップＳ８１１）。図１０に示すように、第２の描画イフェクトＥ２は、箇所Ｐに対応するテキスト部分に対して文字の配列方向（ｄ方向） に完全には沿わないように、テキスト文字の配列方向（ｄ方向）に対して９０度より小さく斜めに交わる成分を少なくとも一部に有するランダムに非均一化された、ハイライトＥ２１ａ, Ｅ２１ｂ、下線Ｅ２２、又は囲み線Ｅ２３を施すイフェクトである。

【0041】

第２の描画イフェクトＥ２の不均一さは、例えば、人間がまっすぐに直線を引いた場合に生ずる震えや揺れを教師データ（学習用データ）として学習された学習済みモデルに従って生成されてもよい。また、間欠カオス法など疑似的に１／ｆ揺らぎを実現する演算により、箇所Ｐの表示にあわせてもよい。この第２の描画イフェクトＥ２による表示により、段組みの異なる表示がされていてもハイライトによるアノテーションＡ１を付されるので、第２のユーザｕ２は、この箇所Ｐにペンによる手書き入力がされていることを容易に把握できる。

【0042】

ステップＳ８０９において、端末２０１は、第２の描画イフェクトＥ２を施した箇所Ｐにて所定の操作Ｓがあるか否かを判定し、タッチなどの操作があった場合（Ｓ８０９のＹＥＳ）、インクアノテーションＩＡに含まれるストロークデータ群ＳＤが示す画像データを取得し、図９の右側に示すように、これをアノテーションＡ２として該当する箇所Ｐの周辺の位置に表示する（ステップＳ８１７）。

【0043】

このように、アノテーションの箇所Ｐを特定する操作Ｓがペンによる場合に、アノテーションの共有を受けた人が、ハイライト指定などのアノテーションが手書きペンで入力されたものであることを判別することができる。なお、第２の描画イフェクトＥ２の不均一さとして、人間がまっすぐに直線を引いた場合に生ずる震えや揺らぎを再現することで、段組みやフォントが違うような表示がされていても、同一の箇所Ｐに対して人間らしい自然な、いわば「柔らかいＵＩ」に基づいた、柔らかいアノテーション表示を行うことができる。

【0044】

＜実施形態のまとめ＞
以上のように、図１のシステムは、第１のユーザｕ１が操作する電子書籍端末１０１（第１の端末）と、第２，第３のユーザｕ２，ｕ３が操作する端末２０１，２０２（第２の端末）と、インクアノテーションＩＡの共有システム３００と、を含み構成される。インクアノテーションＩＡは、電子書籍に対するアノテーションを示すストロークデータ群ＳＤと、ストロークデータ群ＳＤに対応するメタデータＭＤと、を含み、メタデータＭＤは、ユーザを特定するユーザ識別子ＵＩＤと、電子書籍を特定する書籍識別子ＢＩＤと、アノテーションの箇所Ｐを示す箇所データを含む。

【0045】

そして、電子書籍端末１０１が、ユーザｕ１の操作により生成されたインクアノテーションＩＡを共有システム３００に送信する送信ステップ（Ｓ７０１）を実行し、共有システム３００が、インクアノテーションＩＡに含まれるユーザ識別子ＵＩＤ及び書籍識別子ＢＩＤの値に基づいて、ユーザｕ１が構成する電子書籍に関するグループのメンバ（ユーザｕ２，ｕ３）を特定する特定ステップ（Ｓ７０３）、及びユーザｕ２，ｕ３が操作する端末２０１，２０２に対して、インクアノテーションＩＡを供給する供給ステップ（Ｓ７０５）を実行する。

【0046】

また、ユーザｕ２，ｕ３は、第１のユーザｕ１とは電子書籍の取得先が異なるユーザ又は電子書籍を取得していないユーザであるが、共有システム３００に登録されたグループのメンバであってもよい。また、書籍識別子ＢＩＤは、ＩＳＢＮであってもよい。また、供給ステップ（Ｓ７０５）では、インクアノテーションＩＡをデジタルインクフォーマットに変換した状態で共有システム３００に送信してもよい。

【0047】

図１のシステムの一部を構成する電子書籍端末１０１は、電子書籍を表示可能な表示装置と、指を検出するタッチセンサと、ペンを検出するペンセンサと、タッチセンサ及びペンセンサにそれぞれ接続される集積回路と、を含み構成される。そして、集積回路が、表示装置を用いて電子書籍の一部分であるテキストｄｔを表示する表示ステップ（Ｓ２０３）と、タッチセンサ及びペンセンサを用いて、テキストｄｔに対するアノテーションの箇所Ｐを特定する操作Ｓを検出する検出ステップ（Ｓ２０５）と、タッチセンサ又はペンセンサのうちのいずれのセンサが操作Ｓを検出したかについて判定を行う判定ステップ（Ｓ２０９）と、アノテーションの箇所Ｐを示す箇所データを、判定の結果を識別可能な態様で出力する出力ステップ（Ｓ２１７，Ｓ２２１）を実行する。

【0048】

また、出力ステップ（Ｓ２１７，Ｓ２２１）では、判定の結果を識別するための操作識別データＳＴを付加して箇所データを出力してもよい。また、アノテーションは、操作識別データＳＴが、タッチセンサが操作Ｓを検出したことを示す値である場合、第１の描画イフェクトＥ１を施して表示されるとともに、操作識別データＳＴが、ペンセンサが操作Ｓを検出したことを示す値である場合、第１の描画イフェクトＥ１とは異なる第２の描画イフェクトＥ２を施して表示されてもよい。また、第２の描画イフェクトＥ２は、箇所データに対応するアノテーションの箇所Ｐに、テキスト文字の配列方向（ｄ方向）に直交する方向への揺らぎ成分を含むように非均一化された、ハイライト、下線又は囲み線を施すイフェクトであってもよい。また、非均一化は、人間による直線の手書きパターンに関する機械学習を通じて構築された学習済みモデルに従って揺らぎ成分を付与することで行われてもよい。

【0049】

また、電子書籍端末１０１は、ペンセンサにより特定の操作Ｓを検出した場合、手書き入力が可能な手書き入力ウィンドウ５０４を起動する起動ステップ（Ｓ２１９）をさらに実行してもよい。また、インクアノテーションＩＡは、手書き入力ウィンドウ５０４内の手書き入力により施されたアノテーションを示すストロークデータ群ＳＤと、ストロークデータ群ＳＤに対応するメタデータＭＤと、を含み、メタデータＭＤは、箇所データと、操作識別データＳＴと、を含み、出力ステップ（Ｓ２２１）では、インクアノテーションＩＡをデジタルインクフォーマットに変換した状態で外部に送信してもよい。

【0050】

＜符号の説明＞
１０１‥電子書籍端末（第１の端末）、２０１，２０２‥端末（第２の端末）、３００‥共有システム、Ａ１，Ａ２‥アノテーション、Ｅ１‥第１の描画イフェクト、Ｅ２‥第２の描画イフェクト、ＩＡ‥インクアノテーション

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】