IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ワコムの特許一覧

特許7615034デジタルインク処理システム、方法、装置及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-07
(45)【発行日】2025-01-16
(54)【発明の名称】デジタルインク処理システム、方法、装置及びプログラム
(51)【国際特許分類】
   G06F 16/903 20190101AFI20250108BHJP
   G06F 3/041 20060101ALI20250108BHJP
   G06V 30/19 20220101ALI20250108BHJP
   G06Q 50/20 20120101ALI20250108BHJP
   G06F 3/04883 20220101ALN20250108BHJP
【FI】
G06F16/903
G06F3/041 595
G06V30/19
G06Q50/20
G06F3/04883
【請求項の数】 13
(21)【出願番号】P 2021545609
(86)(22)【出願日】2020-09-11
(86)【国際出願番号】 JP2020034425
(87)【国際公開番号】W WO2021049602
(87)【国際公開日】2021-03-18
【審査請求日】2023-09-05
(31)【優先権主張番号】P 2019167137
(32)【優先日】2019-09-13
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000139403
【氏名又は名称】株式会社ワコム
(74)【代理人】
【識別番号】100176072
【弁理士】
【氏名又は名称】小林 功
(74)【代理人】
【識別番号】100169225
【弁理士】
【氏名又は名称】山野 明
(72)【発明者】
【氏名】能美 司
(72)【発明者】
【氏名】藤巻 秀樹
(72)【発明者】
【氏名】西山 正剛
【審査官】星野 裕
(56)【参考文献】
【文献】特開2014-052914(JP,A)
【文献】特開2010-113656(JP,A)
【文献】特開2001-350396(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 16/903
G06F 3/041
G06V 30/19
G06Q 10/00-99/00
G06F 3/048
(57)【特許請求の範囲】
【請求項1】
電子ペンと、
ディスプレイを介した前記電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するコンピュータと、
を備え、
前記コンピュータはプロセッサを有し、
前記プロセッサは、
指示されたストロークの纏まりを機械学習がなされた識別器を用いて解釈することで付与される意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求し、
検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御する、デジタルインク処理システム。
【請求項2】
前記プロセッサは、前記ストロークに対する前記電子ペンの指示操作が有効化された前記ストロークを、有効化される前と比べて強調して前記ディスプレイに表示するように制御する、
請求項1に記載のデジタルインク処理システム。
【請求項3】
前記プロセッサは、前記意味属性が付与されたストロークに対して前記電子ペンの指示操作を有効化する、
請求項1に記載のデジタルインク処理システム。
【請求項4】
前記コンピュータから送信された前記デジタルインクを解析することで、前記ストロークに対して前記意味属性を付与するデジタルインクサーバをさらに備え、
前記プロセッサは、前記デジタルインクサーバから前記意味属性を示す意味データを取得したストロークに対して前記電子ペンの指示操作を有効化する、
請求項3に記載のデジタルインク処理システム。
【請求項5】
前記プロセッサは、マーク又はアノテーションを付与するユーザの操作がなされたストロークに対して前記電子ペンの指示操作を有効化する、
請求項1に記載のデジタルインク処理システム。
【請求項6】
コンテンツを利用IDと対応付けて記憶するコンテンツサーバをさらに備え、
前記プロセッサは、前記利用ID及び前記意味属性を含むデータを前記コンテンツサーバに送信して検索を要求することで、前記意味属性に関連しかつ利用が許可されたコンテンツを前記コンテンツサーバから取得する、
請求項1に記載のデジタルインク処理システム。
【請求項7】
前記プロセッサは、同一の利用IDにおける前記意味属性の出現度合いに応じて異なるコンテンツを取得する、
請求項6に記載のデジタルインク処理システム。
【請求項8】
前記利用IDは、前記電子ペンを識別するためのペンIDである、
請求項6又は7に記載のデジタルインク処理システム。
【請求項9】
第1ペンIDが付与された第1電子ペンを用いてデジタルインクが生成され、かつ前記第1ペンIDとは異なる第2ペンIDが付与された第2電子ペンを用いる場合、
前記プロセッサは、前記デジタルインクの編集を禁止又は制限する一方、前記ストロークに対する前記電子ペンの指示操作は受け付ける、
請求項8に記載のデジタルインク処理システム。
【請求項10】
前記コンテンツサーバは、コンテンツのユーザ及び提供事業者に対して、コンテンツの利用状況に応じた課金処理を行う、
請求項6に記載のデジタルインク処理システム。
【請求項11】
ディスプレイを介した電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するプロセッサが、
指示されたストロークの纏まりを機械学習がなされた識別器を用いて解釈することで付与される意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求するステップと、
検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御するステップと、
を実行する、デジタルインク処理方法。
【請求項12】
ディスプレイを介した電子ペンによる入力に応じて、ストロークを生成する処理装置であり、
プロセッサを有し、
前記プロセッサは、
指示されたストロークの纏まりを機械学習がなされた識別器を用いて解釈することで付与される意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求し、
検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御する、処理装置。
【請求項13】
ディスプレイを介した電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するプロセッサに、
指示されたストロークの纏まりを機械学習がなされた識別器を用いて解釈することで付与される意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求するステップと、
検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御するステップと、
を実行させる、デジタルインク処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルインクを処理するデジタルインク処理システム、方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1では、パーソナルコンピュータを含む情報処理装置の画面上に表示された情報の少なくとも一部を検索キーに設定した検索を行い、その検索結果を画面上にポップアップ表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2015-114955号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ストロークの集合体を記述するデジタルインクにおいて、一群のストロークによって初めて意味が生じる場合が多い。しかしながら、デジタルインクの編集中に、検索キーに相当する箇所を指示して検索を試みると、意味をなさない検索キー又は意味が誤った検索キーが設定される場合があり、適切な検索結果が得られないという問題がある。
【0005】
本発明の目的は、デジタルインクを用いた検索の際に、検索結果が有意義であって関連性の高い情報をユーザに提示可能なデジタルインク処理システム、方法及びプログラムを提供することである。
【課題を解決するための手段】
【0006】
第1の本発明におけるデジタルインク処理システムは、電子ペンと、ディスプレイを介した前記電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するタブレットと、を備え、前記タブレットはプロセッサを有し、前記プロセッサは、前記ストロークに対する前記電子ペンの指示操作を有効化し、前記電子ペンの指示操作を有効化した後に、指示されたストロークが有する意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求し、検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御する。
【0007】
また、前記プロセッサは、前記指示操作が有効化された前記ストロークを、有効化される前と比べて強調して前記ディスプレイに表示するように制御してもよい。
【0008】
また、前記プロセッサは、前記意味属性が付与されたストロークに対して前記電子ペンの指示操作を有効化してもよい。
【0009】
また、当該システムは、前記タブレットから送信された前記デジタルインクを解析することで、前記ストロークに対して前記意味属性を付与するデジタルインクサーバをさらに備え、前記プロセッサは、前記デジタルインクサーバから前記意味属性を示す意味データを取得したストロークに対して前記電子ペンの指示操作を有効化してもよい。
【0010】
また、前記プロセッサは、マーク又はアノテーションを付与するユーザの操作がなされたストロークに対して前記電子ペンの指示操作を有効化してもよい。
【0011】
また、当該システムは、コンテンツを利用IDと対応付けて記憶するコンテンツサーバをさらに備え、前記プロセッサは、前記利用ID及び前記意味属性を含むデータを前記コンテンツサーバに送信して検索を要求することで、前記意味属性に関連しかつ利用が許可されたコンテンツを前記コンテンツサーバから取得してもよい。
【0012】
また、前記プロセッサは、同一の利用IDにおける前記意味属性の出現度合いに応じて異なるコンテンツを取得してもよい。
【0013】
また、前記利用IDは、前記電子ペンを識別するためのペンIDであってもよい。
【0014】
また、第1ペンIDが付与された第1電子ペンを用いてデジタルインクが生成され、かつ前記第1ペンIDとは異なる第2ペンIDが付与された第2電子ペンを用いる場合、前記プロセッサは、前記デジタルインクの編集を禁止又は制限する一方、前記指示操作は受け付けてもよい。
【0015】
また、前記コンテンツサーバは、コンテンツのユーザ及び提供事業者に対して、コンテンツの利用状況に応じた課金処理を行ってもよい。
【0016】
第2の本発明におけるデジタルインク処理方法は、ディスプレイを介した電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するプロセッサが、前記ストロークに対する前記電子ペンの指示操作を有効化するステップと、前記電子ペンの指示操作を有効化した後に、指示されたストロークが有する意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求するステップと、検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御するステップと、を実行する。
【0017】
第3の本発明におけるデジタルインク処理プログラムは、ディスプレイを介した電子ペンによる入力に応じて、ストロークを記述するデジタルインクを生成するプロセッサに、前記ストロークに対する前記電子ペンの指示操作を有効化するステップと、前記電子ペンの指示操作を有効化した後に、指示されたストロークが有する意味属性に関連するコンテンツを検索し又は該検索を外部のサーバに要求するステップと、検索により得られたコンテンツを前記ストロークと併せて前記ディスプレイに表示するように制御するステップと、を実行させる。
【発明の効果】
【0018】
本発明によれば、デジタルインクを用いた検索の際に、検索結果が有意義であって関連性の高い情報をユーザに提示することができる。
【図面の簡単な説明】
【0019】
図1】本発明の一実施形態におけるデジタルインク処理システムの全体構成図である。
図2図1に示すデジタルインクサーバ、コンテンツサーバ、及びユーザ端末のブロック図である。
図3】デジタルインク処理システムの意味解釈動作に関するシーケンス図である。
図4A】ストロークの集合体を可視化した模式図である。
図4B】デジタルインクのデータ構造の一例を示す図である。
図5A】ストロークの分類結果を示す図である。
図5B図5Aで分類されたグループに対する意味属性の付与結果を示す図である。
図6A】ユーザ端末の表示における第1の状態変化を示す遷移図である。
図6B】ユーザ端末の表示における第1の状態変化を示す遷移図である。
図7A】ユーザ端末の表示における第2の状態変化を示す遷移図である。
図7B】ユーザ端末の表示における第2の状態変化を示す遷移図である。
図8】デジタルインク処理システムのコンテンツ引用動作に関するシーケンス図である。
図9A】電子ペン情報が有するデータ構造の一例を示す図である。
図9B】コンテンツ管理情報が有するデータ構造の一例を示す図である。
図10A】ユーザ端末の表示における第3の状態変化を示す遷移図である。
図10B】ユーザ端末の表示における第3の状態変化を示す遷移図である。
図11A】手書き入力を行ったユーザ端末とは異なるユーザ端末の動作の一例を示す図である。
図11B】手書き入力を行ったユーザ端末とは異なるユーザ端末の動作の一例を示す図である。
図12A】デジタルインク処理システムの動作の第1改良例を示す図である。
図12B】デジタルインク処理システムの動作の第1改良例を示す図である。
図13A】デジタルインク処理システムの動作の第2改良例を示す図である。
図13B】デジタルインク処理システムの動作の第2改良例を示す図である。
図14】学習支援サービス時に発生する課金フローの第1例を示す模式図である。
図15】学習支援サービス時に発生する課金フローの第2例を示す模式図である。
【発明を実施するための形態】
【0020】
[デジタルインク処理システム10の構成]
図1は、本発明の一実施形態におけるデジタルインク処理システム10の全体構成図である。図2は、図1に示すデジタルインクサーバ20、コンテンツサーバ30、及びユーザ端末40のブロック図である。デジタルインク処理システム10は、学生などのユーザが電子ノートを用いて効率的に学習するための「学習支援サービス」を提供可能に構成される。このデジタルインク処理システム10は、具体的には、デジタルインクサーバ20と、コンテンツサーバ30と、1台又は複数台のユーザ端末40と、1本又は複数本の電子ペン50と、を含んで構成される。
【0021】
デジタルインク(あるいはインクデータ)のデータ形式、いわゆる「インク記述言語」として、例えば、WILL(Wacom Ink Layer Language)、InkML(Ink Markup Language)、ISF(Ink Serialized Format)が挙げられる。このデジタルインクをJSON(JavaScript(登録商標)Object Notation)のデータ構造形式を用いて記述することで、様々なソフトウェアやプログラミング言語間でのデータのやり取りが容易になる。
【0022】
デジタルインクサーバ20は、デジタルインクInkの処理に関する統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、デジタルインクサーバ20を単体のコンピュータとして図示しているが、これに代わって、デジタルインクサーバ20は、分散システムを構築するコンピュータ群であってもよい。
【0023】
デジタルインクサーバ20は、具体的には、通信部21と、制御部22と、記憶部23と、を含んで構成される。通信部21は、外部装置に対して電気信号を送受信するインターフェースである。制御部22は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)を含む処理演算装置によって構成される。制御部22は、記憶部23に格納されたプログラムを読み出して実行することで、デジタルインクInkの「処理エンジン」として機能する。記憶部23は、非一過性であり、かつコンピュータ読み取り可能な記憶媒体、例えば、ハードディスクドライブ(HDD:Hard Disk Drive)又はソリッドステートドライブ(SSD:Solid State Drive)から構成される。これにより、記憶部23は、デジタルインクサーバ20が取り扱う様々なデータを記憶する。
【0024】
コンテンツサーバ30は、教科書や辞書を含む教育用コンテンツの提供に関する統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、コンテンツサーバ30を単体のコンピュータとして図示しているが、これに代わって、コンテンツサーバ30は、分散システムを構築するコンピュータ群であってもよい。
【0025】
コンテンツサーバ30は、具体的には、通信部31と、制御部32と、記憶部33と、を含んで構成される。通信部31は、外部装置に対して電気信号を送受信するインターフェースである。制御部32は、CPUやGPUを含む処理演算装置によって構成される。制御部32は、記憶部33に格納されたプログラムを読み出して実行することで、ユーザに適したコンテンツを検索及び提供可能に構成される。
【0026】
ユーザ端末40は、電子ノートとして機能する端末であって、例えば、タブレット、スマートフォン、パーソナルコンピュータで構成される。ユーザ端末40は、具体的には、タッチパネルディスプレイ41と、タッチIC(Integrated Circuit)44と、表示駆動IC45と、ホストプロセッサ46と、メモリ47と、通信モジュール48と、を含んで構成される。
【0027】
タッチパネルディスプレイ41は、コンテンツを可視的に出力可能な表示パネル42と、表示パネル42の表示画面に重ねて配置されるセンサ電極43と、を含んで構成される。表示パネル42は、モノクロ画像又はカラー画像を表示可能であり、例えば、液晶パネル、有機EL(Electro-Luminescence)パネルであってもよい。センサ電極43は、X-Yセンサ座標系におけるX軸の位置を検出するための複数のXライン電極と、Y軸の位置を検出するための複数のYライン電極と、を面状に配置してなる。
【0028】
タッチIC44は、センサ電極43の駆動制御を行う集積回路である。タッチIC44は、ホストプロセッサ46から供給された制御信号に基づいてセンサ電極43を駆動させる。これにより、タッチIC44は、電子ペン50の状態を検出する「ペン検出機能」や、ユーザの指などによるタッチを検出する「タッチ検出機能」を実行する。
【0029】
表示駆動IC45は、表示パネル42の駆動制御を行う集積回路である。表示駆動IC45は、ホストプロセッサ46から供給されたフレーム単位の画像信号に基づいて表示パネル42を駆動させる。これにより、表示パネル42の表示領域内に画像が表示される。この画像には、ユーザが電子ペン50を用いて書き込んだ筆記線の他にも、アプリケーションウィンドウ、アイコン、カーソルが含まれ得る。
【0030】
ホストプロセッサ46は、MPU(Micro-Processing Unit)やCPUを含む処理演算装置によって構成される。ホストプロセッサ46は、メモリ47に格納されたプログラムを読み出して実行することで、タッチIC44からのデータを用いてデジタルインクInkを生成する処理、当該デジタルインクInkが示す描画内容を表示させるためのインク再生処理などを行う。
【0031】
メモリ47は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。ここで、コンピュータ読み取り可能な記憶媒体は、光磁気ディスク、ROM、CD-ROM、フラッシュメモリ等の可搬媒体、コンピュータシステムに内蔵されるHDD、SSDなどの記憶装置である。
【0032】
通信モジュール48は、有線通信又は無線通信を用いて、外部装置に対して電気信号を送受信可能に構成される。これにより、例えば、ユーザ端末40は、ネットワークNWを経由して、デジタルインクサーバ20に向けてデジタルインクInkを送受信し、コンテンツサーバ30から関連コンテンツC1,C2を受信することができる。
【0033】
電子ペン50は、ペン型のポインティングデバイスであり、ユーザ端末40との間で形成される静電結合を介して一方向又は双方向に通信可能に構成されている。ユーザは、電子ペン50を把持し、タッチパネルディスプレイ41のタッチ面にペン先を押し当てながら移動させることで、ユーザ端末40に絵や文字を書き込むことができる。この電子ペン50は、例えば、アクティブ静電結合方式(AES)又は電磁誘導方式(EMR)のスタイラスである。
【0034】
[デジタルインク処理システム10の動作]
この実施形態におけるデジタルインク処理システム10は、以上のように構成される。続いて、このデジタルインク処理システム10の第1,第2動作について、主に図3図8のシーケンス図を参照しながら説明する。この「第1動作」は、ストロークの纏まりを解釈して意味属性(あるいは、セマンティクス属性)を自動的に付与する「意味解釈」に関わる動作を意味する。また、「第2動作」は、意味属性に関連するコンテンツを適時に引用して表示する「コンテンツ引用」に関わる動作を意味する。
【0035】
<第1動作:意味解釈動作>
まず、デジタルインク処理システム10の第1動作、すなわち意味解釈動作について説明する。この第1動作は、ユーザ端末40(より詳しくは、ホストプロセッサ46)及びデジタルインクサーバ20(より詳しくは、制御部22)の協働により実行される。
【0036】
図3のステップS01において、ユーザ端末40は、電子ペン50の識別情報(以下、ペンIDという)を用いた認証を行う。電子ペン50から受信して得られたペンIDが既に登録されている場合、ユーザ端末40は、当該電子ペン50によるデジタルインクInkの編集を許可する。一方、ペンIDが登録されていない場合、ユーザ端末40は、当該電子ペン50によるデジタルインクInkの編集を許可しない。
【0037】
ステップS02において、ユーザ端末40は、ステップS01で編集が許可されている電子ペン50を用いた入力、つまりユーザによる様々な筆記操作を受け付ける。この筆記操作には、例えば、ストロークの追加・削除・変更、アイコンの選択、マーク・アノテーションの付与などが含まれる。
【0038】
ステップS03において、ユーザ端末40は、ステップS02で受け付けた筆記操作を反映させるため、定期的又は不定期にデジタルインクInkを更新する。前者の例として、直近の更新時点から所定の時間が経過した場合が挙げられる。後者の例として、ユーザによる更新の指示操作を受け付けた場合が挙げられる。
【0039】
ステップS04において、ユーザ端末40は、ステップS02での筆記操作を通じて得られたデータを用いて、例えば、WILL(Ver.3.0)形式のデジタルインクInkを生成する。
【0040】
図4Aは、ストロークの集合体G0を可視化した模式図である。ここで、集合体G0は、手書きによる買い物リストを示しており、上から順に、「milk」、「bread」、「eggs」及び「apples」の品目から構成される。図4Bは、デジタルインクInkのデータ構造の一例を示す図である。デジタルインクInkは、[1]文書メタデータ(document metadata)、[2]意味データ(ink semantics)、[3]装置データ(devices)、[4]ストロークデータ(strokes)、[5]分類データ(groups)、及び[6]文脈データ(contexts)を順次配列してなるデータ構造を有する。
【0041】
デジタルインクInkの生成時には、文書メタデータ、装置データ、ストロークデータ、及び文脈データが既に決定されているが、意味データ及び分類データがまだ決定されていない。つまり、このデジタルインクInkは、後述する(1)ストロークの分類、及び(2)意味属性の付与、が行われていない。以下、分類データ及び意味データが空白状態であるデジタルインクInkを「付与前インク」と称する場合がある。
【0042】
ステップS05において、ユーザ端末40は、ステップS04で生成された付与前インクをペンIDに紐付けた状態で、デジタルインクサーバ20に向けて送信する。
【0043】
ステップS06において、デジタルインクサーバ20は、ステップS05でユーザ端末40から送信されたデータを受信することで、付与前インク及びペンIDをそれぞれ取得する。
【0044】
ステップS07において、デジタルインクサーバ20は、ステップS06で取得された付与前インクに含まれるストロークデータを解析し、ストロークの分類を行う。具体的には、デジタルインクサーバ20は、ストロークデータにより特定されるストロークの順番・位置・形状、又は電子ペン50の筆圧などの関係から、ストロークの集合体G0を1つ又は複数のグループ(例えば、G1~G5の5つのグループ)に分類する。この分類により、グループとストローク要素の間の包含関係、又は、グループ同士の間の包含関係を記述する分類データが得られる。
【0045】
ステップS08において、デジタルインクサーバ20は、ステップS07で分類されたストロークのグループG1~G5に対して意味属性を付与する処理を行う。具体的には、デジタルインクサーバ20は、機械学習がなされた識別器(例えば、階層型ニューラルネットワーク)を用いて、グループG1~G5の意味属性をそれぞれ推定して付与する。この処理により、分類されたグループ毎に、種類及び値のペアからなる意味属性を記述する分類データが得られる。
【0046】
例えば、上記した識別器は、ストロークの特徴量(例えば、始点・経由点・終点の座標、曲率など)を入力し、意味属性のラベルを出力するように構成される。「種類」の一例として、テキスト(言語の種類も含む)、図(図形の種類も含む)、数式、化学式、リスト、表などが挙げられる。「値」の一例として、手書きされた文字又は文字列(例えば、「milk」)、手書きされた物体の名称(例えば、鉛筆のイラストに対する「鉛筆」)などが挙げられる。
【0047】
図5Aは、ストロークの分類結果を示す図である。本図から理解されるように、集合体G0はグループG1を包含するとともに、グループG1は4つのグループG2~G5から構成される。図5Bは、図5Aで分類されたグループに対する意味属性の付与結果を示す図である。グループG1の種類は「LIST」であり、値は「NULL」である。グループG2の種類は「LIST_ITEM」であり、値は「milk」である。グループG3の種類は「LIST_ITEM」であり、値は「bread」である。グループG4の種類は「LIST_ITEM」であり、値は「eggs」である。グループG5の種類は「LIST_ITEM」であり、値は「apples」である。
【0048】
図3のステップS09において、デジタルインクサーバ20は、ステップS07で得られた分類データ及びステップS08で得られた意味データを追加するように、付与前インクを更新する。以下、分類データ及び意味データが追記されたデジタルインクInkを「付与後インク」と称する場合がある。
【0049】
ステップS10において、デジタルインクサーバ20は、ステップS09で更新された付与後インクをユーザ端末40に向けて送信する。
【0050】
ステップS11において、ユーザ端末40は、ステップS10でデジタルインクサーバ20から送信されたデータを受信することで、分類データ及び意味データを含む付与後インクを取得する。
【0051】
ステップS12において、ユーザ端末40は、ステップS11で取得された付与後インクをメモリ47に格納する。
【0052】
ステップS13において、ユーザ端末40は、ストロークの分類に関する判定条件を満たすことを確認し、少なくとも1つのグループに対する指示操作を有効化する。この「判定条件」は、例えば、デジタルインクサーバ20から意味データを取得したことである。この場合、意味属性の値が有効(NULL以外)であるグループG2~G5が有効化の対象として選択される。なお、意味属性の値が無効(NULL)であり意味が特定されていないグループG1や、筆記の途中のため意味をなしていない1本又は複数本のストロークは、指示操作の有効化が保留される点に留意する。
【0053】
ステップS14において、ユーザ端末40は、ステップS13で有効化されたストロークのグループG2~G5を、有効化される前と比べて強調して表示する。この「強調表示」とは、ユーザにより視認されやすい態様で表示することを意味し、例えば、表示色の変更、ストローク幅の拡大、指示マークの付加などが挙げられる。
【0054】
図6A及び図6Bは、ユーザ端末40の表示における第1の状態変化を示す遷移図である。より詳しくは、図6Aは有効化される前の表示状態を示すとともに、図6Bは有効化された後の表示状態を示している。図6Bの例では、ストロークの集合体G0のうち、グループG2~G5に対応する4箇所にそれぞれアンダーラインが追加されている。これにより、ユーザは、「milk」、「bread」、「eggs」及び「apples」の4つの単語に対する指示操作が有効化されたことを一目で把握することができる。
【0055】
以上のようにして、デジタルインク処理システム10の第1動作が終了する。デジタルインク処理システム10は、この第1動作の終了を契機として、第2動作を開始することができる。
【0056】
なお、上記した例では、ユーザ端末40がデジタルインクサーバ20から意味データを取得したことを契機として指示操作が有効化されるが、判定条件はこの例に限られない。例えば、判定条件は、ユーザ端末40自身がデジタルインクInkを解析することで分類データ又は意味データを取得したことでもよいし、自動又は手動によりデジタルインクInkの保存を行うタイミングが到来したことでもよい。また、判定条件は、ユーザ端末40がストロークの集合体G0の少なくとも一部に対してマーク又はアノテーションを付与する操作を受け付けたことでもよい。
【0057】
図7A及び図7Bは、ユーザ端末40の表示における第2の状態変化を示す遷移図である。図7Aに示すように、ストロークの集合体G0のうちいずれの箇所も有効化されていない状態で、ユーザが、電子ペン50を用いて「eggs」の箇所を投げ輪(いわゆるラッソ)で囲む筆記操作を行う。そうすると、ストロークの集合体G0と併せて、「eggs」の有効化の要否を確認するウィンドウ60が新たに表示される。ここで、ウィンドウ60内の[ON]ボタンをタッチすることで、ユーザ端末40の表示状態が図7Aから図7Bに遷移する。
【0058】
図7Bに示すように、ストロークの集合体G0のうち、グループG4に対応する1つの単語(eggs)に蛍光マーカが追加されている。これにより、ユーザは、「eggs」の単語に対する指示操作のみが有効化されたことを一目で把握することができる。
【0059】
<第2動作:コンテンツ引用動作>
続いて、デジタルインク処理システム10の第2動作、すなわちコンテンツ引用動作について説明する。この第2動作は、ユーザ端末40(より詳しくは、ホストプロセッサ46)及びコンテンツサーバ30(より詳しくは、制御部32)の協働により実行される。
【0060】
図8のステップS21において、ユーザ端末40は、電子ペン50を用いて、タッチパネルディスプレイ41上に表示されているストロークの集合体G0のうち、有効化されているグループG2~G5のいずれかを指示する操作(つまり、指示操作)を受け付ける。この指示操作は、例えば、図6B又は図7Bにおいて、「eggs」(グループG4)の箇所を長押しする操作であってもよい。
【0061】
ステップS22において、ユーザ端末40は、メモリ47に記憶された付与後インクを読み出して、ステップS21で指示されたグループG4の意味属性を取得する。具体的には、ユーザ端末40は、付与後インクの分類データを解析することで、電子ペン50の指示位置に対応するグループIDを特定する。そして、ユーザ端末40は、付与後インクの意味データを解析することで、グループIDに対応する意味属性を特定する。
【0062】
ステップS23において、ユーザ端末40は、電子ペン50から送信されたデータ信号をセンサ電極43により受信することで、電子ペン50のペンIDを取得する。
【0063】
ステップS24において、ユーザ端末40は、ステップS22で取得された意味データを、ステップS23で取得されたペンIDに紐付けた状態で、コンテンツサーバ30に向けて送信する。つまり、ユーザ端末40は、コンテンツサーバ30に対してコンテンツの検索を要求する。
【0064】
ステップS25において、コンテンツサーバ30は、ステップS24でユーザ端末40から送信されたデータを受信することで、ペンID及び意味属性をそれぞれ取得する。
【0065】
ステップS26において、コンテンツサーバ30は、ステップS25で取得された意味属性及びペンIDを用いてコンテンツの検索を行う。具体的には、コンテンツサーバ30は、[1]ペンIDを用いたコンテンツの検索と、[2]意味属性を用いたコンテンツ内の検索、を順次行う。ここでは、ペンIDが、コンテンツの利用許否を判定するための識別情報(以下、利用ID)として機能する。この利用IDは、ペンIDの他に、ユーザ端末40の識別情報(以下、端末ID)、ユーザの識別情報(以下、ユーザID)、又はこれらの組み合わせであってもよい。
【0066】
図9Aは、電子ペン情報62が有するデータ構造の一例を示す図である。電子ペン情報62は、電子ペン50の識別情報である「ペンID」と、ユーザが所属する「学校」と、ユーザに該当する「学年/学級」との間の対応関係を示している。このペンIDは、コンテンツの利用状況を管理するための利用IDに相当する。「学校」の例として、小学校、中学校、高校、大学、予備校などが挙げられる。「学年/学級」は、学校の種類に応じて、様々な学年又は学級が選択され得る。
【0067】
図9Bは、コンテンツ管理情報64が有するデータ構造の一例を示す図である。コンテンツ管理情報64は、ユーザが所属する「学校」と、ユーザに該当する「学年/学級」と、利用可能な「コンテンツ種類」の間の対応関係を示している。「学校」及び「学年/学級」はそれぞれ、基本的には電子ペン情報62と同様に定義される。また、コンテンツの種類の一例として、教科書・参考書・問題集を含む書籍名、科目名、出版社名などが挙げられる。
【0068】
コンテンツサーバ30は、電子ペン情報62及びコンテンツ管理情報64を読み出し、「学校」及び「学年/学級」を検索キーとして照合することで、ペンIDに対応する少なくとも1種類のコンテンツを取得する。そして、コンテンツサーバ30は、様々な検索手法を用いて、検索対象のコンテンツの中から、検索キーとしての「意味属性(の値)」と一致又は近似する情報(以下、「関連コンテンツC1」という)を取得する。
【0069】
図8のステップS27において、コンテンツサーバ30は、ステップ26の検索結果としての関連コンテンツC1をペンIDに紐付けた状態で、ユーザ端末40に向けて送信する。
【0070】
ステップS28において、ユーザ端末40は、ステップS27でコンテンツサーバ30から送信されたデータを受信することで、関連コンテンツC1及びペンIDをそれぞれ取得する。
【0071】
ステップS29において、ユーザ端末40は、ステップS28で取得された関連コンテンツC1をメモリ47に一時的に格納する。
【0072】
ステップS30において、ユーザ端末40は、検索により得られた関連コンテンツC1をストロークの集合体G0と併せてタッチパネルディスプレイ41上に同時に表示する。
【0073】
図10A及び図10Bは、ユーザ端末40の表示における第3の状態変化を示す遷移図である。より詳しくは、図10Aは関連コンテンツC1が出現する前の表示状態を示すとともに、図10Bは関連コンテンツC1が出現した後の表示状態を示している。両方の図から理解されるように、「eggs」の箇所に対する指示操作を行うことで、「eggs」の周辺(ここでは、右下方)に関連コンテンツC1が併せて表示される。この関連コンテンツC1は、英語で表記された「eggs」と、日本語で表記された「意味:卵」からなる。
【0074】
ユーザは、電子ペン50を用いて指示した英単語「eggs」の日本語訳が「卵(複数形)」であることを簡単に確認することができる。このように、デジタルインク処理システム10が提供する学習支援サービスを通じて、学習の効率がより高められる。
【0075】
ところで、電子ノートの管理者は、学校内にいるユーザに電子ノートを貸し出す一方、電子ノートを学校外に持ち出すことを禁止する管理を行う場合がある。そこで、コンテンツの利用IDをペンIDと対応付けておくことで、ユーザは、家の中であっても上記の学習支援サービスを受けることができる。
【0076】
図11Aは、ユーザ端末40Bが、電子ペン50を用いて手書き入力を行ったユーザ端末40Aと異なっている場合を示している。例えば、ユーザは、学校から持ち帰った同一の電子ペン50を用いて、デジタルインクInkの編集を行うことができる。あるいは、デジタルインク処理システム10は、デジタルインクInkの「装置データ」の中に含まれる端末IDを参照し、値が一致しないユーザ端末40Bを用いたデジタルインクInkの編集を制限又は禁止するように構成されてもよい。
【0077】
一方、図11Bに示すように、ユーザが電子ペン50を用いて該当領域を指示すると、ユーザ端末40Bは、ユーザ端末40Aの場合と同様に、関連コンテンツC1をタッチパネルディスプレイ41上に表示することができる。これにより、ユーザ端末40Aを自由に移動させることが難しい状況であっても、ユーザは、自身の電子ペン50を携帯することで、様々な場所で学習支援サービスを受けることができる。
【0078】
[動作の改良例]
以下、デジタルインク処理システム10の動作の改良例について、図12A図13Bを参照しながら説明する。
【0079】
<第1改良例>
ユーザの学習が進んで習熟度が増すにつれて、そのユーザが知りたい情報が次第に変わっていくことが想定される。そこで、ユーザ端末40が、ユーザの習熟度に応じて異なる関連コンテンツC1,C2を表示するように構成されてもよい。例えば、図8のシーケンス図において、ステップS23,S24の間に、追加のステップS31が設けられてもよい。
【0080】
図8のステップS31において、ユーザ端末40は、ステップS22で取得された意味属性の「値」(例えば、eggs)をキーワードとする意味データ内の検索を行う。この検索の対象は、編集中のデジタルインクInkに限られず、自身のメモリ47又はデジタルインクサーバ20に格納されているデジタルインクInkが含まれてもよい。例えば、ユーザ端末40は、キーワードに一致又は近似する「値」の個数をカウントし、その回数を「出現度合い」として算出する。その後、ステップS24,S25において、ユーザ端末40とコンテンツサーバ30との間で、出現度合いを含むデータの送受信が行われる。
【0081】
ステップS26において、コンテンツサーバ30は、ステップS25で取得されたペンID、意味属性、及び出現度合いを用いてコンテンツの検索を行う。具体的には、コンテンツサーバ30は、[1]ペンIDを用いたコンテンツの検索と、[2]出現度合いを用いたコンテンツの選定と、[3]意味属性を用いたコンテンツ内の検索、を順次行う。
【0082】
図12Aは、判定テーブル66が有するデータ構造の一例を示す図である。判定テーブル66は、出現度合いを示す「出現回数」と、典型的なユーザの「習熟度」の間の対応関係を示している。本図の例では、この判定テーブル66は、[1]出現回数が9回未満である場合に習熟度が低く、[2]出現回数が10回以上であって20回未満である場合に習熟度が中程度であり、[3]出現回数が20回以上である場合に習熟度が高い、という判定基準を記述する。なお、本図では、出現度合いの一例として出現回数が挙げられているが、これと併せて又はこれとは別に、出現の頻度が用いられてもよい。
【0083】
コンテンツサーバ30は、この判定テーブル66を用いて出現度合いからユーザの習熟度を特定した後、ペンIDに対応する複数種類のコンテンツの中から、その習熟度に応じたコンテンツを選定する。例えば、習熟度がより高いユーザの場合、図10Bに示す関連コンテンツC1とは異なる関連コンテンツC2が取得されたとする。その後、上記と同様にして、ステップS27~S29が実行される。
【0084】
ステップS30において、ユーザ端末40は、検索により得られた関連コンテンツC2を、ストロークの集合体G0と併せてタッチパネルディスプレイ41上に表示する。図12Bに示すように、指示操作が行われた「eggs」の周辺の位置に、関連コンテンツC2が併せて表示される。この関連コンテンツC2は、英単語「eggs」を用いた例文「Birds lay eggs.」の文字列からなる。
【0085】
このように、同一の利用ID(ここでは、ペンID)における意味属性の出現度合いに応じて異なる関連コンテンツC1,C2を表示させることで、習熟度が異なる個々のユーザに適した情報を提示することができる。なお、出現度合いとユーザの関心度との間にも高い相関性があるので、上記した習熟度の場合と同様の表示を行うことは有効である。
【0086】
<第2改良例>
電子ノートは個人で使用する物であるため、他人が自分の電子ノートを勝手に編集できる状況は好ましくない場合がある。そこで、ユーザ端末40が、電子ペン50A,50BのペンIDに応じて編集権限を変更可能に構成されてもよい。
【0087】
図13Aに示すように、ユーザ端末40により認識された電子ペン50BのペンID(例えば、ID=002)が、手書き入力に用いられた電子ペン50AのペンID(例えば、ID=001)と異なっている。この場合、ユーザ端末40は、デジタルインクInkの編集が制限される旨のメッセージ70を、タッチパネルディスプレイ41上に表示する。ユーザ端末40は、メッセージ70が表示された状態において、電子ペン50Bを用いたデジタルインクInkの編集を禁止又は制限する。ここで、「禁止」とは、編集に関する操作を受け付けない動作を意味する。また、「制限」とは、編集に関する機能の一部を実行できないようにする動作を意味する。
【0088】
一方、図13Bに示すように、ユーザが電子ペン50Bを用いて該当領域を指示すると、ユーザ端末40は、電子ペン50Aの場合と同様に、関連コンテンツC1をタッチパネルディスプレイ41上に表示する。これにより、自分の電子ノートが勝手に編集されることが防止されるとともに、自分以外の者であってもコンテンツ引用サービスを受けることができる。
【0089】
[学習支援サービスの課金フロー]
ところで、上記した学習支援サービスの提供に伴って、[1]意味解釈サービスの利用料、[2]コンテンツ引用サービスの利用料のやり取りがそれぞれ発生する。以下、デジタルインクサーバ20、コンテンツサーバ30、ユーザ端末40、及び事業者側サーバ80の間で行われる課金フローについて説明する。
【0090】
ここで、事業者側サーバ80は、コンテンツの提供事業者(例えば、出版社)が管理するサーバである。なお、説明の便宜上、ユーザ端末40が課金フローに関与しているが、これと併せて又はこれとは別に、個々のユーザ端末40を管理する学校側サーバ(不図示)がこの課金フローに関与してもよい。
【0091】
<第1例>
図14は、学習支援サービス時に発生する課金フローの第1例を示す模式図である。
[T11]ユーザ端末40は、意味解釈サービスを利用する度に、デジタルインクサーバ20にアクセスする。
[T12]デジタルインクサーバ20は、利用料の締め日毎/ユーザ毎に、意味解釈サービスの利用状況を集計し、所定の課金規則に従って当該サービスの利用料を課金する課金処理を行う。
[T13]デジタルインクサーバ20は、各々のユーザ端末40に対して、課金処理により決定された利用料を請求する旨を通知する。この通知を受けたユーザが支払期間内に入金することで、ユーザによる利用料の支払いが完了する。
【0092】
[T14]一方、ユーザ端末40は、コンテンツ引用サービスを利用する度に、コンテンツサーバ30にアクセスする。
[T15]コンテンツサーバ30は、利用料の締め日毎/ユーザ毎に、コンテンツ引用サービスに伴うコンテンツの利用状況を集計する。
[T16]コンテンツサーバ30は、事業者側サーバ80に対して、ユーザ毎のコンテンツの利用状況を通知する。
[T17]事業者側サーバ80は、利用状況の集計結果に基づき、所定の課金規則に従ってコンテンツの利用料を課金する課金処理を行う。
[T18]事業者側サーバ80は、各々のユーザ端末40に対して、課金処理により決定された利用料を請求する旨を通知する。この通知を受けたユーザが支払期間内に入金することで、ユーザによる利用料の支払いが完了する。
[T19]事業者側サーバ80は、コンテンツサーバ30に対して、所定の契約規則(例えば、コンテンツの利用料に比例する従量制)に従って、サービスプラットフォームの提供料金を支払う旨を通知する。
【0093】
<第2例>
図15は、学習支援サービス時に発生する課金フローの第2例を示す模式図である。
[T21]ユーザ端末40は、意味解釈サービスを利用する度に、デジタルインクサーバ20にアクセスする。
[T22]デジタルインクサーバ20は、利用料の締め日毎/ユーザ毎に、意味解釈サービスの利用状況を集計し、所定の課金規則に従ってサービスの利用料を課金する課金処理を行う。
[T23]デジタルインクサーバ20は、各々のユーザ端末40に対して、課金処理により決定された利用料を請求する旨を通知する。この通知を受けたユーザが支払期間内に入金することで、ユーザによる利用料の支払いが完了する。
【0094】
[T24]一方、ユーザ端末40は、コンテンツ引用サービスを利用する度に、コンテンツサーバ30にアクセスする。
[T25]コンテンツサーバ30は、利用料の締め日毎/ユーザ毎に、コンテンツ引用サービスに伴うコンテンツの利用状況を集計し、所定の課金規則に従って当該コンテンツの利用料を課金する課金処理を行う。
[T26]コンテンツサーバ30は、各々のユーザ端末40に対して、課金処理により決定された利用料を請求する旨を通知する。この通知を受けたユーザが支払期間内に入金することで、ユーザによる利用料の支払いが完了する。
[T27]コンテンツサーバ30は、事業者側サーバ80に対して、コンテンツの利用料からサービスプラットフォームの提供料金を差し引いた額を支払う旨を通知する。
【0095】
[変形例]
なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。
【0096】
上記した実施形態では、デジタルインク処理システム10は、学生向けの教育を支援する学習支援サービスを提供するように構成されているが、サービスの種類又は対象ユーザは上記した例に限られない。
【0097】
上記した実施形態では、デジタルインクサーバ20がストロークの分類及び意味属性の付与を行っているが、ユーザ端末40は、デジタルインクサーバ20の代わりに、分類、あるいは分類と付与の両方を実行可能に構成されてもよい。例えば、ユーザ端末40は、自身がデジタルインクInkを解析して意味属性を取得してもよいし、ユーザによる手動の入力操作によって意味属性を取得してもよい。
【0098】
上記した実施形態では、意味データが定義されているデジタルインクInkを例に挙げて説明したが、意味データが定義されていないデジタルインクInkを用いてもよい。この場合、デジタルインクInk及び意味データを互いに紐付けて管理することで、上記した実施形態と同様の動作を実現することができる。
【0099】
[実施形態のまとめ]
以上のように、デジタルインク処理システム10は、電子ペン50と、タッチパネルディスプレイ41を介して電子ペン50による筆記操作を受け付け、ストロークの集合体G0を記述するデジタルインクInkを生成可能に構成されるユーザ端末40と、を含んで構成される。ユーザ端末40は、タッチパネルディスプレイ41上に表示されている集合体G0の中から、ストロークの分類に関する判定条件を満たすストロークのグループG2~G5に対する電子ペン50の指示操作を有効化する一方、判定条件を満たさないストロークのグループG1に対する指示操作の有効化を保留し、有効化された指示操作を受け付けると、指定されたグループG2~G5が有する意味属性に関連するコンテンツを検索し又は該検索を外部に要求し、検索により得られた関連コンテンツC1,C2を集合体G0と併せてタッチパネルディスプレイ41上に表示する。
【0100】
また、デジタルインク処理方法及びプログラムによれば、ユーザ端末40が、タッチパネルディスプレイ41上に表示されているストロークの集合体G0の中から、ストロークの分類に関する判定条件を満たすストロークのグループG2~G5を指示する電子ペン50の指示操作を有効化する一方、判定条件を満たさないストロークのグループG1に対する指示操作の有効化を保留するステップ(S13)と、有効化された指示操作を受け付けると(S21)、グループG2~G5に付与された意味属性に関連するコンテンツを検索し又は該検索を外部に要求し(S24)、検索により得られた関連コンテンツC1,C2を集合体G0と併せてタッチパネルディスプレイ41上に表示するステップ(S30)と、を実行する。
【0101】
このように、ストロークの分類に関する判定条件を満たすストロークのグループG2~G5を指示する電子ペン50の指示操作のみを有効化するので、判定条件を適切に設けることで、纏まりとして意味をなす確度が高くなるように分類されたグループG2~G5に限ってコンテンツの検索が許可される。これにより、デジタルインクInkを用いた検索の際に、検索結果が有意義であって関連性の高い情報をユーザに提示することができる。
【0102】
また、ユーザ端末40は、指示操作が有効化されたグループG2~G5を、有効化される前と比べて強調して表示してもよい。これにより、ユーザは、視覚を通じて、指示操作が有効化された旨及びその位置を認識しやすくなる。
【0103】
また、判定条件は、ストロークのグループG2~G5に対して意味属性が付与されたことであってもよい。これにより、付与された意味属性を検索キーとして検索可能となり、ユーザにとってより意味のある検索結果が得られる。
【0104】
また、デジタルインクサーバ20は、ユーザ端末40から送信されたデジタルインクInkを解析することで、グループG2~G5に対して意味属性を付与し、判定条件は、デジタルインクサーバ20から意味属性を示す意味データを取得したことであってもよい。ユーザ端末40に代わってデジタルインクサーバ20が意味属性を付与することで、ユーザ端末40による解析の負荷が軽減される。
【0105】
また、判定条件は、グループG2~G5に対してマーク又はアノテーションを付与するユーザの操作を受け付けたことであってもよい。これにより、マーク又はアノテーションを通じて、操作を行ったユーザにとって意味を見出したストロークの纏まりを指定可能となり、より正確な意味属性が得られやすくなる。
【0106】
また、コンテンツサーバ30は、コンテンツを利用IDと対応付けて記憶し、ユーザ端末40は、利用ID及び意味属性を含むデータをコンテンツサーバ30に送信して検索を要求することで、意味属性に関連しかつ利用が許可された関連コンテンツC1,C2をコンテンツサーバ30から取得してもよい。
【0107】
また、ユーザ端末40は、同一の利用IDにおける意味属性の出現度合いに応じて異なる関連コンテンツC1,C2を取得してもよい。ユーザの習熟度又は関心度との相関性が高い出現度合いを考慮することで、習熟度又は関心度が異なるユーザに適した情報を選択して提示することができる。
【0108】
また、利用IDは、電子ペン50を識別するためのペンIDであってもよい。これにより、利用可能なコンテンツと電子ペン50を対応付けることが可能となり、同一の電子ペン50を用いることで、ユーザ端末40A,40Bに依存することなく同一の関連コンテンツC1,C2が提示される。
【0109】
また、第1ペンIDが付与された電子ペン50Aを用いてデジタルインクInkが生成され、かつ第1ペンIDとは異なる第2ペンIDが付与された電子ペン50Bを用いる場合、ユーザ端末40は、デジタルインクInkの編集を禁止又は制限する一方、電子ペン50Bによる指示操作は受け付けてもよい。ユーザが生成したデジタルインクInkが勝手に編集されることが防止されるとともに、ユーザ以外の者に対しても当該ユーザの場合と同一の関連コンテンツC1,C2が提示される。
【0110】
また、コンテンツサーバ30は、コンテンツのユーザ及び提供事業者に対して、コンテンツの利用状況に応じた課金処理を行ってもよい。これにより、1つの装置によって、コンテンツの管理及び利用料の管理を一元的に行うことができる。
【0111】
[符号の説明]
10 デジタルインク処理システム、20 デジタルインクサーバ、30 コンテンツサーバ、40,40A,40B ユーザ端末、41 タッチパネルディスプレイ、50,50A,50B 電子ペン、80 事業者側サーバ、C1,C2 関連コンテンツ、G0 集合体、G1~G5 グループ、Ink デジタルインク

図1
図2
図3
図4A
図4B
図5A
図5B
図6A
図6B
図7A
図7B
図8
図9A
図9B
図10A
図10B
図11A
図11B
図12A
図12B
図13A
図13B
図14
図15