特開 2024-135675 情報処理システム、情報処理装置および制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024135675

(43)【公開日】2024-10-04

(54)【発明の名称】情報処理システム、情報処理装置および制御方法

(51)【国際特許分類】

   G06F 3/04883 20220101AFI20240927BHJP

   G06T 11/80 20060101ALI20240927BHJP

   G09G 3/34 20060101ALI20240927BHJP

   G09G 5/00 20060101ALI20240927BHJP

   G09G 3/20 20060101ALI20240927BHJP

【ＦＩ】

G06F3/04883

G06T11/80 E

G09G3/34 C

G09G5/00 510H

G09G5/00 550C

G09G3/20 691D

G09G3/20 691B

G09G3/20 612R

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023046477

(22)【出願日】2023-03-23

(71)【出願人】

【識別番号】505205731

【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100206081

【弁理士】

【氏名又は名称】片岡 央

(72)【発明者】

【氏名】河野 誠一

(72)【発明者】

【氏名】山▲ざき▼ 充弘

(72)【発明者】

【氏名】吉冨 圭一

(72)【発明者】

【氏名】野村 良太

(72)【発明者】

【氏名】鈴木 義従

(72)【発明者】

【氏名】今西 芳充

【テーマコード（参考）】

5B050

5C080

5C182

5E555

【Ｆターム（参考）】

5B050BA06

5B050BA18

5B050DA09

5B050FA02

5B050FA08

5B050FA14

5C080AA06

5C080AA10

5C080AA13

5C080DD08

5C080EE17

5C080GG02

5C080GG12

5C080JJ01

5C080JJ02

5C080KK07

5C080KK08

5C080KK31

5C080KK34

5C182AA02

5C182AA03

5C182AA23

5C182AA24

5C182AB02

5C182AB08

5C182AB37

5C182AC02

5C182AC03

5C182BA01

5C182BA06

5C182BA35

5C182BA65

5C182BA75

5C182BC22

5C182BC25

5C182BC26

5C182CB47

5E555AA24

5E555AA26

5E555BA02

5E555BA04

5E555BB02

5E555BB04

5E555BC04

5E555CA12

5E555CB10

5E555DB53

5E555DC11

5E555DC13

5E555DC45

5E555FA00

(57)【要約】

【課題】描画入力における操作感を向上する。
【解決手段】タッチセンサは、ディスプレイと重なり合い、入力デバイスとの接触位置を検出し、コントローラは、接触位置をサンプリングし、ホストシステムは、接触位置の軌跡を生成し、コントローラは、前サンプルの接触位置から現サンプルの接触位置に対応する軌跡の部分を取得する前に、前サンプルの接触位置と現サンプルの接触位置への線分をディスプレイに表示させる。本実施形態は、情報処理システム、情報処理装置および制御方法など、いずれの態様でも実現することができる。
【選択図】図２

【特許請求の範囲】

【請求項1】

ホストシステム、コントローラ、タッチセンサおよびディスプレイを備え、
前記タッチセンサは、前記ディスプレイと重なり合い、入力デバイスとの接触位置を検出し、
前記コントローラは、前記接触位置をサンプリングし、
前記ホストシステムは、前記接触位置の軌跡を生成し、
前記コントローラは、
前記軌跡のうち、前サンプルの接触位置から現サンプルの接触位置に対応する部分を取得する前に、前サンプルの接触位置から現サンプルの接触位置への線分を前記ディスプレイに表示させる
情報処理システム。

【請求項2】

前記コントローラは、前記線分を前記軌跡よりも細い幅で表示させる
請求項１に記載の情報処理システム。

【請求項3】

前記コントローラは、前記線分を前記軌跡と同一の線種で表示させる
請求項１に記載の情報処理システム。

【請求項4】

前記コントローラは、前記ディスプレイに表示させた線分のうち前記軌跡から乖離した部分を消去する
請求項２に記載の情報処理システム。

【請求項5】

前記ディスプレイは、電気泳動ディスプレイである
請求項１に記載の情報処理システム。

【請求項6】

前記入力デバイスをさらに備え、
前記入力デバイスは、前記ホストシステムから描画の要否を示す描画制御情報を取得し、当該描画制御情報を前記コントローラに出力し、
前記コントローラは、前記描画制御情報に基づいて前記線分の表示の要否を判定する
請求項１に記載の情報処理システム。

【請求項7】

前記描画制御情報は、前記軌跡を表す描画モードを示す描画モード情報を含み、
前記コントローラは、前記描画モードに従って前記線分を表示させる
請求項６に記載の情報処理システム。

【請求項8】

ホストシステム、コントローラ、タッチセンサおよびディスプレイを備え、
前記タッチセンサは、前記ディスプレイと重なり合い、入力デバイスとの接触位置を検出し、
前記コントローラは、前記タッチセンサから前記接触位置をサンプリングし、
前記ホストシステムは、前記接触位置の軌跡を生成し、
前記コントローラは、
前記軌跡のうち、前サンプルの接触位置から現サンプルの接触位置に対応する部分を取得する前に、前サンプルの接触位置から現サンプルの接触位置への線分を前記ディスプレイに表示させる
情報処理装置。

【請求項9】

ホストシステム、コントローラ、タッチセンサおよびディスプレイを備え、
前記タッチセンサが前記ディスプレイと重なり合う情報処理システムにおける制御方法であって、
前記タッチセンサは、入力デバイスとの接触位置を検出し、
前記コントローラは、前記接触位置をサンプリングし、
前記ホストシステムは、前記接触位置の軌跡を生成し、
前記コントローラは、前記軌跡のうち、前サンプルの接触位置から現サンプルの接触位置に対応する部分を取得する前に、前サンプルの接触位置と現サンプルの接触位置への線分を前記ディスプレイに表示させる
制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、情報処理システム、情報処理装置および制御方法、例えば、描画された図形の表示に関する。

【背景技術】

【0002】

電気泳動ディスプレイ（Electro Phoretic Display）は、可塑性を有する柔軟な素材で構成されることを特徴とし、電子ペーパ（ＥＰＤ：Electric Paper Display）、電子インク（Ｅ－Ｉｎｋ）ディスプレイ、などとも呼ばれる。ＥＰＤは、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機エレクトロルミネッセンスディスプレイ（ＯＬＥＤ：Organic Luminescence Display）などの他種の表示デバイスよりも消費電力が少ないという利点を有する。特許文献１には、各種の携帯型の情報処理端末、ウェアラブル型の情報処理端末、電子ＰＯＰ（Point of Purchase advertising）、電子棚札、電子ポスター、などの情報処理装置における表示デバイスとしてＥＰＤを採用することで、消費電力の抑制が可能となる点について記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－６４４２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ＥＰＤは、いわゆる「遅いデバイス」である。ＥＰＤのリフレッシュレートは、典型的には８Ｈｚ程度である。これに対し、ＬＣＤやＯＬＥＤのリフレッシュレートは、６０Ｈｚ～１２０Ｈｚ程度である。入力デバイスを用いて任意に描かれる図形を表示する場合、ＥＰＤでは、操作から表示までの可視化遅延（visible rendering latency）がユーザにより顕著に感知されうる。かかる遅延により、手書き入力におけるユーザ体験（ＵＸ：User Experience）、特に操作感が害されうる。ＬＣＤまたはＯＬＥＤでは、遅延を補償するために入力される軌跡を予測して表示し、誤差が顕著な部分を消去することも考えられるが、ＥＰＤでは現実的ではない。図４に例示されるように、予測される軌跡に生ずる誤差が大きくなりがちであるうえ直ちに消去されないため、予測誤差が顕著に視認され、却ってユーザに違和感を与えかねない。

【課題を解決するための手段】

【0005】

本願は上記の課題を解決するためになされたものであり、本願の一態様に係る情報処理システムは、ホストシステム、コントローラ、タッチセンサおよびディスプレイを備え、前記タッチセンサは、前記ディスプレイと重なり合い、入力デバイスとの接触位置を検出し、前記コントローラは、前記接触位置をサンプリングし、前記ホストシステムは、前記接触位置の軌跡を生成し、前記コントローラは、前記軌跡のうち、前サンプルの接触位置から現サンプルの接触位置に対応する部分を取得する前に、前サンプルの接触位置から現サンプルの接触位置への線分を前記ディスプレイに表示させる。

【0006】

上記の情報処理システムにおいて、前記コントローラは、前記線分を前記軌跡よりも細い幅で表示させてもよい。

【0007】

上記の情報処理システムにおいて、前記コントローラは、前記線分を前記軌跡と同一の線種で表示させてもよい。

【0008】

上記の情報処理システムにおいて、前記コントローラは、前記線分のうち前記軌跡から乖離した部分を消去してもよい。

【0009】

上記の情報処理システムにおいて、前記ディスプレイは、電気泳動ディスプレイであってもよい。

【0010】

上記の情報処理システムは、前記入力デバイスをさらに備え、前記入力デバイスは、前記ホストシステムから描画の要否を示す描画制御情報を取得し、当該描画制御情報を前記コントローラに出力し、前記コントローラは、前記描画制御情報に基づいて前記線分の表示の要否を判定してもよい。

【0011】

上記の情報処理システムは、前記描画制御情報は、前記軌跡を表す描画モードを示す描画モード情報を含み、前記コントローラは、前記描画モードに従って前記線分を表示させてもよい。

【0012】

本願の第２態様に係る情報処理装置は、ホストシステム、コントローラ、タッチセンサおよびディスプレイを備え、前記タッチセンサは、前記ディスプレイと重なり合い、入力デバイスとの接触位置を検出し、前記コントローラは、前記タッチセンサから前記接触位置をサンプリングし、前記ホストシステムは、前記接触位置の軌跡を生成し、前記コントローラは、前記軌跡のうち、前サンプルの接触位置から現サンプルの接触位置に対応する部分を取得する前に、前サンプルの接触位置から現サンプルの接触位置への線分を前記ディスプレイに表示させる。

【0013】

本願の第３態様に係る制御方法は、ホストシステム、コントローラ、タッチセンサおよびディスプレイを備え、前記タッチセンサが前記ディスプレイと重なり合う情報処理システムにおける制御方法であって、前記タッチセンサは、入力デバイスとの接触位置を検出し、前記コントローラは、前記接触位置をサンプリングし、前記ホストシステムは、前記接触位置の軌跡を生成し、前記コントローラは、前記軌跡のうち、前サンプルの接触位置から現サンプルの接触位置に対応する部分を取得する前に、前サンプルの接触位置から現サンプルの接触位置への線分を前記ディスプレイに表示させる。

【発明の効果】

【0014】

本願の実施形態によれば、描画入力における操作感を向上する。

【図面の簡単な説明】

【0015】

【図1】第１の実施形態に係る情報処理システムの機能構成例を示すブロック図である。

【図2】第１の実施形態に係る情報処理装置の概略構成例を示すブロック図である。

【図3】筆記入力による軌跡の表示例を示す説明図である。

【図4】筆記入力による軌跡の予測例を示す説明図である。

【図5】第１の実施形態に係る描画処理の例を示すフローチャートである。

【図6】第２の実施形態に係る情報処理システムの機能構成例を示す概略ブロック図である。

【発明を実施するための形態】

【0016】

＜第１の実施形態＞
以下、本願の実施形態について、図面を参照して説明する。まず、本願の第１の実施形態に係る情報処理システムＳ１の構成例について説明する。図１は、本実施形態に係る情報処理システムＳ１の機能構成例を示す概略ブロック図である。
情報処理システムＳ１は、情報処理装置１０と表示装置４０を備える。情報処理装置１０と表示装置４０は、無線または有線で各種のデータを送受信可能に接続される。情報処理装置１０は、コンピュータシステムを有する電子機器の一例である。情報処理装置１０は、パーソナルコンピュータ、タブレット端末、携帯電話機、などのいずれの形態で実現されてもよい。情報処理装置１０は表示装置４０と一体に構成されてもよいし、表示装置４０とは別個のハードウェアとして構成されてもよい。

【0017】

情報処理装置１０は、表示装置４０からペンデータを取得する。ペンデータは、所定の周期でサンプリングされた接触位置を示すデータである。接触位置は、ディスプレイ４６（後述）の表示面のうち、入力デバイス５０が接触した位置である。情報処理装置１０は、サンプルごとの接触位置からなる時系列に基づいて接触位置の軌跡を生成する。情報処理装置１０は、生成した軌跡を表す表示データを表示装置４０に出力する。

【0018】

表示装置４０は、タッチセンサ４４とディスプレイ４６を備える電子機器の一例である。本実施形態では、ディスプレイ４６としてＥＰＤが採用される。ディスプレイ４６の表示面にタッチセンサ４４の検出面が覆われるように、両者が重なり合う。表示装置４０は、いわゆるフレキシブルディスプレイとして構成されうる。

【0019】

タッチセンサ４４は、検出面において入力デバイス５０が接触した位置を所定の周期で検出し（サンプリング）、検出した位置を接触位置として示すペンデータを生成する。表示装置４０は、生成したペンデータを情報処理装置１０に出力する。
表示装置４０は、サンプルごとに、前サンプルの接触位置と現サンプルの接触位置に基づく線画をディスプレイ４６に表示する（仮描画：pre-rendering）。その後、表示装置４０は、情報処理装置１０から入力される表示データに示される軌跡をディスプレイ４６に表示する（標準描画：actual rendering）。また、表示装置４０は、仮描画に際し、ディスプレイ４６に表示させた線画を消去する。本願では、「現サンプル」とは、その時点における最新のサンプルを指し、「前サンプル」とは、現サンプルの直前、つまり、次に新しいサンプルを指す。

【0020】

入力デバイス５０は、ユーザに把持され、文字、記号、図形などのデータ入力または編集に用いられる。入力デバイス５０の一端が、タッチセンサ４４の検出面に接触することで、接触位置に基づいて形成される図形を検出させる。入力デバイス５０は、検出面との接触位置を検出させることができれば、電子機器に限られず、いかなる器具であってもよい。入力デバイス５０は、典型的には、ペン形状を有する操作媒体であり、筆記デバイスとして構成されうる。入力デバイス５０は、スタイラス、デジタルペン、などのいずれの形態を有していてもよい。入力デバイス５０は、触覚フィードバック機能（haptic feedback function）を有してもよいし、有していなくてもよい。

【0021】

次に、情報処理装置１０のハードウェア構成例について説明する。
情報処理装置１０は、プロセッサ１１と、メインメモリ１２と、フラッシュメモリ１３と、ＰＣＨ２１と、オーディオシステム２４と、マイクロホン２５と、スピーカ２６と、ベースバンドチップ２７と、通信部２８と、入出力部２９とを備える。

【0022】

プロセッサ１１は、情報処理装置１０全体の機能を制御する。プロセッサ１１として、例えば、１個以上のＣＰＵ（Central Processing Unit）が適用される。プロセッサ１１は、所定のプログラムを実行し、メインメモリ１２と、その他のハードウェアと協働し、ホストシステム１００（後述）の機能を奏する。
なお、本願では、プロセッサ１１、または、その他のハードウェアがプログラムに記述された指令で指示される処理を実行することを、「プログラムを実行する」、「プログラムの実行」などと呼ぶことがある。

【0023】

メインメモリ１２は、プロセッサ１１の作業領域、即ち、実行されるプログラム、各種設定データの読み込み領域、プログラムの実行により取得した処理データの書き込み領域として利用される書き込み可能メモリである。メインメモリ１２は、例えば、複数個のＤＲＡＭ（Dynamic Random Access Memory）チップを含んで構成される。実行プログラムには、ＯＳ、周辺機器等を制御するための各種デバイスドライバ、各種サービス／ユーティリティ、アプリ、などが含まれる。

【0024】

プロセッサ１１、および、メインメモリ１２は、情報処理装置１０の中核となるコンピュータシステム、つまり、ホストシステムをなすシステムデバイスとして機能する。情報処理装置１０のコンピュータシステムは、ハードウェアとしてシステムデバイスと、ＯＳ、スケジュール・タスクなどのソフトウェアと、を含んで構成される。

【0025】

フラッシュメモリ１３には、各種のプログラムとデータを記憶させておく。各種のプログラムには、例えば、ファームウェア、デバイスドライバ、サービス／ユーティリティ、アプリ、などが含まれる。これらのプログラムは、プロセッサ１１により実行される。記憶されるデータには、プロセッサ１１における処理対象となるデータ、処理により生成されるデータが含まれる。生成されるデータは、最終データの他、あるステップよりも後続するステップで用いられる中間データも含まれうる。

【0026】

ＰＣＨ（Platform Controller Hub）２１は、１個または複数のコントローラを備え、複数のデバイスと各種のデータを入出力できるように接続可能とする。ＰＣＨ２１は、例えば、ＵＳＢ、シリアルＡＴＡ（Advanced Technology Attachment）、ＳＰＩ（Serial Peripheral Interface）バス、ＰＣＩ（Peripheral Component Interconnect）バス、ＰＣＩ－Ｅｘｐｒｅｓｓバス、および、ＬＰＣ（Low Pin Count）などのバスコントローラのいずれか１個または組み合わせを含む。接続先となる複数のデバイスは、例えば、後述するオーディオシステム２４、ベースバンドチップ２７および入出力部２９が含まれる。

【0027】

オーディオシステム２４は、音声信号に対する処理、入力、出力、記録、再生、符号化、および、復号などの処理を行う。オーディオシステム２４は、例えば、オーディオＩＣ（Integrated Circuit）を備える。オーディオシステム２４には、マイクロホン２５とスピーカ２６が接続されている。オーディオシステム２４には、プロセッサ１１、マイクロホン２５またはベースバンドチップ２７から音声信号が入力されうる。オーディオシステム２４は、自部に記録した音声信号を読み出す。オーディオシステム２４は、取得した音声信号をスピーカ２６またはプロセッサ１１に出力することができる。

【0028】

マイクロホン２５は、自部に到来する音を収音し、収音された音の音声信号をオーディオシステム２４に出力する。
スピーカ２６は、オーディオシステム２４から入力される音声信号に基づいて音を提示する。

【0029】

ベースバンドチップ２７は、通信部２８を用いた通信を制御するための専用ＩＣである。ベースバンドチップ２７は、例えば、４Ｇ（第４世代無線通信システム）、５Ｇ（第５世代無線通信システム）などの公衆無線通信システム、ＩＥＥＥ８０２．１１に規定された構内無線通信ネットワークなどを用いた通信を実現する。ベースバンドチップ２７は、プロセッサ１１からの制御に従い、通信部２８を用いて通信ネットワークを経由した他の機器と各種のデータを送受信可能に接続し、各種のデータを送受信する。

【0030】

通信部２８は、通信ネットワークと無線または有線で接続するための無線通信モジュールである。通信部２８は、無線通信に用いられる電波を送受信するアンテナを備えてもよい。通信部２８は、例えば、ＩＥＥＥ８０２．１１に規定された無線通信方式を用いることができる。

【0031】

入出力部２９は、他のデバイス（主に表示装置４０）と各種のデータを所定の入出力方式を用いて入出力可能に無線または有線で接続するインタフェースを備える。入出力部２９は、例えば、ＵＳＢ（Universal Serial Bus）３．０、３．１、などに規定された入出力方式を用いることができる。

【0032】

次に、本実施形態に係る表示装置４０のハードウェア構成例について説明する。
表示装置４０は、コントローラ４２、タッチセンサ４４、ディスプレイ４６および入出力部４８を備える。

【0033】

コントローラ４２は、所定のファームウェアを実行して表示装置４０の機能を実現するための処理と、その機能を制御するための処理を行う。コントローラ４２は、例えば、タイミングコントローラを備える。コントローラ４２は、情報処理装置１０から入出力部４８を経由して入力される表示データで示される表示画面をディスプレイ４６に表示させる（描画処理）。コントローラ４２は、表示データで指示される画素ごとの信号値を特定し、特定した信号値に対応する輝度で、その画素を発光させる。
コントローラ４２は、タッチセンサ４４から入力される検出信号に示される接触位置を所定のサンプリング周期ごとにサンプリングし、サンプルごとの接触位置を示すペンデータを取得する。コントローラ４２は、取得したペンデータを、入出力部４８を用いて情報処理装置１０に出力する。

【0034】

タッチセンサ４４は、他の物体が接触した位置を検出する。タッチセンサに接触する他の物体は、主に入力デバイス５０である。タッチセンサ４４は、幅または長さよりも格段に少ないシート状の形状を有する。タッチセンサ４４の表面の大部分には、検出面が設定される。タッチセンサ４４は、複数の検出素子を有し、個々の検出素子が検出面内の異なる位置に配置される。タッチセンサ４４は、所定のサンプリング周期ごとに、検出面のうち他の物体と接触した領域を検出し、検出した領域の代表点（例えば、受信）を接触位置として定める。

【0035】

タッチセンサ４４は、定めた接触位置を示すペンデータを生成し、生成したペンデータを所定の入出力方式を用いてコントローラ４２に出力する。入出力方式として、例えば、Ｉ２Ｃ（Inter-Integrated Circuit）方式などのシリアル通信方式を用いることができる。これに対し、コントローラ４２は、シリアル通信コントローラを備え、画素ごとに接触の有無を示す検出信号を取得し、接触ありと判定された画素が分布する領域を接触領域として定め、接触領域の重心を接触位置として定める。タッチセンサ４４は、抵抗膜方式、静電容量方式、など、いずれの動作原理が採用されてもよい。

【0036】

ディスプレイ４６は、コントローラ４２の制御に従い、表示データで指示される模様を表示する。ディスプレイ４６は、シート状の形状を有する。ディスプレイ４６は、複数の画素を有し、個々の画素が表示面内の異なる位置に配置される。個々の画素は、コントローラ４２から指示される輝度で発光する。ディスプレイ４６は、例えば、ＴＴＬ（Transistor Transistor Logic、トランジスタ・トランジスタ・ロジック）回路を備える。ＴＴＬは、個々の画素に対する信号値に対応する駆動電力の供給に用いられる。個々の画素は、供給された駆動電力に相応する輝度で発光する。これに対し、コントローラ４２は、ＴＴＬコントローラを備え、画素ごとの信号値に対応する電位を有する電気信号をＴＴＬに印加する。

【0037】

入出力部４８は、他のデバイスと各種のデータを所定の入出力方式を用いて入出力可能に無線または有線で接続するインタフェースを備える。入力元および出力先となる他のデバイスは、主に情報処理装置１０である。入出力部４８は、入力元または出力先となる他のデバイスと同じ入出力方式を用いる。これに対し、コントローラ４２は、ＵＳＢコントローラを備え、ＵＳＢの規定に従って入力元からの入力データを、入出力部４８を用いて取得し、かつ、当該規定に従って出力データを生成し、生成した出力データを出力先に出力する。

【0038】

次に、本実施形態に係る情報処理システムＳ１の機能構成例について説明する。図２は、本実施形態に係る情報処理システムＳ１の概略構成例を示すブロック図である。
情報処理装置１０は、ホストシステム１００と入出力部２９を備える。ホストシステム１００は、ペンデータ取得部１０２、描画処理部１０４、後処理部１０６および描画設定部１０８を備える。

【0039】

ペンデータ取得部１０２は、表示装置４０から入出力部２９を経由して入力されるペンデータを待ち受ける。ペンデータ取得部１０２は、取得したペンデータを描画処理部１０４に出力する。
描画処理部１０４には、ペンデータ取得部１０２からペンデータが入力される。描画処理部１０４は、ペンデータに示されるサンプルごとの接触位置を特定する。描画処理部１０４は、所定の関数を用いて現サンプルまでのサンプルごとの接触位置に基づく曲線を軌跡として生成する。所定の関数として、複数個の接触位置を通過し、これらの接触位置間を順に結ぶ曲線を与える関数が利用可能である。ペンデータ取得部１０２は、例えば、バーンスタイン基底関数（Bernstein bases）の線形結合を用いて接触位置間の座標を補間してベジェ（Bezier）曲線を生成する。ペンデータ取得部１０２は、多項式を用いて順接する２個の接触位置で挟まれる区間ごとに接触位置間の座標を補間してスプライン（spline）曲線を生成してもよい。

【0040】

描画処理部１０４は、生成した軌跡を所定の描画モードを用いて表現する表示データを生成し、生成した表示データを表示装置４０に入出力部２９を経由して出力する。これにより、表示装置４０に生成した軌跡を表示させることができる（標準描画）。描画モードとして、描画と消去の区別、線種、色、線幅、などのいずれか、または、それらのいずれかの組み合わせが指示されうる。描画モードは、予め描画処理部１０４に設定されてもよいし、描画設定部１０８により指示されてもよい。標準描画による軌跡の表示は、仮描画（後述）による線画の表示よりも遅延する。描画処理部１０４は、生成した表示データを後処理部１０６に出力する。

【0041】

生成した軌跡は曲線からなるため、仮描画による隣接サンプル間を結ぶ線分と空間的に完全に重なり合うとは限らない（図３参照）。そこで、後処理部１０６は、現サンプルまでの線画のうち、生成した軌跡で網羅されずに乖離した部分、即ち、軌跡と空間的に重ならずに、線分がはみ出た部分を不要図形として特定する（後処理）。後処理部１０６は、描画処理部１０４から入力される表示データを用いて軌跡が占める領域を特定することができる。後処理部１０６は、ペンデータ取得部１０２から入力されるペンデータに基づいて仮描画により表示される線画を特定することができる。ペンデータに示されるサンプルごとの接触位置から、順接する２個の接触位置の組ごとに、２個の接触位置を両端とする線分が特定され、個々の線分が連接してなる図形が仮描画による線画に相当する。後処理部１０６は、接触位置に基づいて線画を生成せず、既存の線画を取得してもよい。後処理部１０６は、例えば、表示装置４０の表示制御部４２２から、仮描画の際にディスプレイ４６に表示させた線画を示す線画データを取得してもよい。

【0042】

後処理部１０６は、特定した不要図形の消去を示す不要図形データを表示装置４０に入出力部２９を経由して出力する。これにより、表示装置４０に表示させた仮描画図形のうち、軌跡から乖離した不要図形を消去させることができる（不要図形消去）。なお、後処理ならびに不要図形消去の周期は、接触位置のサンプリング周期より長くてもよい。後処理の周期は、例えば、ディスプレイ４６のリフレッシュレート（例えば、６０Ｈｚ程度）と等しくする。但し、後処理の周期は、視覚情報の視認に要する提示時間よりも短いことが、好適である。

【0043】

描画設定部１０８は、各種の入力デバイスから入力される操作データに基づいて描画モードを特定し、特定した描画モードを描画処理部１０４に設定する。描画モードは、１以上の要素項目を含み、要素項目ごとに複数の候補項目のいずれか１通りで特定される。描画設定部１０８は、例えば、各候補項目を表す画面部品を配置した所定の描画設定画面をディスプレイ４６に表示させる描画設定部１０８は、描画設定画面の表示中において、操作データで指示される位置を表示領域内に含む画面部品に対応する候補項目を特定することにより、描画モードを選択することができる。描画設定部１０８は、操作データとして、表示装置４０から取得されるペンデータを適用してもよい。要素項目には、例えば、描画と消去の区別、線種、色、線幅などがある。描画設定部１０８は、特定した描画モードを示す描画モード情報を表示装置４０に設定する。表示装置４０に設定される描画モードは、仮描画における線分の表示に適用されうる。描画モード情報は、ブラシ情報（brush information）とも呼ばれる。描画モードは、物理的な筆記具により表示される筆跡の特徴であってもよく、その特徴もしくは描画モードが筆記具の種類（例えば、ボールペン、蛍光ペン、ブラシ（筆）、マーカ、など）を用いて区別されてもよい。また、消去は「消しゴム」として特定されてもよい。

【0044】

表示装置４０のコントローラ４２は、タッチセンサ４４、ディスプレイ４６、入出力部４８は、所定のファームウェアを実行し、メモリその他のハードウェアと協働し、表示制御部４２２の機能を奏する。
表示制御部４２２は、ペンデータに基づく描画に関する処理を実行する。表示制御部４２２は、入力デバイス５０がタッチセンサ４４の検出面に接触した検出位置を一定のサンプリング周期でサンプリングし、接触位置の時系列を示すペンデータを取得する。表示制御部４２２は、サンプルごとに前サンプルの接触位置から現サンプルの接触位置への線分を含む線画を生成する。表示制御部４２２は、生成した線画をディスプレイ４６の表示面に表示させる（仮描画）。図３において、×印は接触位置の各サンプルを例示する。入力デバイス５０の先端Ｔに最も近接する×印が現サンプルを示す。仮描画により、隣接するサンプル間の線分を順次連接してなる線画が表示される。

【0045】

図２に戻り、表示制御部４２２は、取得したペンデータを情報処理装置１０に入出力部４８を用いて送信する（ペンデータ転送）。送信したペンデータは、情報処理装置１０において主に接触位置の軌跡の生成に用いられる。
表示制御部４２２には、生成された軌跡を表す表示データが情報処理装置１０から入出力部４８を用いて入力される。表示制御部４２２は、表示データに示される軌跡をディスプレイ４６の表示面に表示させる（標準描画）。

【0046】

表示制御部４２２には、表示させた線分のうち、軌跡で網羅されない不要図形を示す不要図形データが情報処理装置１０から入出力部４８を用いて入力される。表示制御部４２２は、不要図形データに示される不要図形を特定する。後処理部１０６は、ディスプレイ４６に表示させた線画のうち、特定した不要図形を消去する（不要図形消去）。不要図形が消去されることで、仮描画によりユーザに違和感をもたらすことを回避することができる。後処理部１０６は、不要図形の消去の際、不要図形が占める領域において、線画の表示前に表示されていた背景画像の一部分である部分背景の表示を回復させてもよい。

【0047】

表示制御部４２２には、情報処理装置１０から入出力部４８を用いて描画モード情報が入力されることがある。表示制御部４２２は、描画モード情報で示される描画モードを設定し、仮描画における線画の描画モードとして適用する。仮描画による線画が標準描画による軌跡と同じ態様で表示されるので、両者が明確に識別されなくなるため、両者の差異が並置されることよる違和感を解消または軽減することができる。

【0048】

次に、筆記入力による軌跡の表示例について説明する。図３は、筆記入力による軌跡の表示例を示す説明図である。図３は、入力デバイス５０の先端をタッチセンサ４４の検出面に接触させながら、左方から右方への移動中にディスプレイ４６の表示面に表示される軌跡と線分を例示する。図３の例では、標準描画による軌跡と仮描画による線分を区別するため、両者が異なる線幅で表示されている。入力デバイス５０の先端Ｔから、表示済の軌跡の右端までに生じる距離は、接触位置の検出から軌跡の生成を経て、生成した軌跡の表示まで処理遅延（標準描画遅延）に起因する。本実施形態では、標準描画による軌跡が表示される前に、仮描画により線分Ｓｅｇが表示される。接触位置の検出から仮描画による線分Ｓｅｇの表示までの処理遅延（仮描画遅延）が、接触位置の検出から標準描画による軌跡の表示までの処理遅延（標準描画遅延）よりも短くなることで、入力デバイス５０の先端Ｔと表示済みの線分Ｓｅｇの端との距離が短くなり、操作感を向上させることができる。標準描画により表示される軌跡と、仮描画により表示される線分Ｓｅｇともに共通の接触位置に基づくため、線分Ｓｅｇの大部分は軌跡により上書きされる。なお、図３の例では、仮描画による線分Ｓｅｇの幅を標準描画による軌跡の幅より細い。軌跡は曲線からなるため、線分Ｓｅｇの幅が軌跡と等しい場合よりも、軌跡から線分Ｓｅｇがはみ出た部分をなす不要図形の発生を回避または抑制することができる。また、仮描画による線分Ｓｅｇと標準描画による軌跡の線種を共通にすることで、両者の差異による違和感を解消または軽減することができる。

【0049】

次に、本実施形態に係る描画処理の例について説明する。図５は、本実施形態に係る描画処理の例を示すフローチャートである。
（ステップＳ１０２）表示装置４０の表示制御部４２２は、所定のサンプリング周期ごとに入力デバイス５０のタッチセンサ４４との接触位置を検出し、検出した接触位置を示すペンデータを取得する。
（ステップＳ１０４）表示制御部４２２は、前サンプルの接触位置から現サンプルの接触位置を結ぶ線分を含む線画（線分Ｓｅｇ）をディスプレイ４６に表示させる（仮描画）。

【0050】

（ステップＳ１０６）表示制御部４２２は、取得したペンデータを情報処理装置１０のホストシステム１００に出力する。
（ステップＳ１０８）ホストシステム１００のペンデータ取得部１０２は、表示装置４０からペンデータを取得する。
（ステップＳ１１０）描画処理部１０４は、取得したペンデータに示されるサンプルごとの接触位置に基づく曲線を軌跡として生成し、生成した軌跡を設定されている描画モードで表す表示データを生成する（描画処理）。描画処理部１０４は、生成した表示データを表示装置４０に出力する。
（ステップＳ１１２）表示装置４０の表示制御部４２２には、情報処理装置１０から表示データが入力され、入力される表示データに示される軌跡をディスプレイ４６に表示させる（標準描画）。即ち、表示制御部４２２は、同じサンプリングによるペンの接触位置を示すペンデータから、ステップＳ１０４による仮描画を行うとともに、ステップＳ１１２による標準描画も実行する。

【0051】

（ステップＳ１１４）後処理部１０６は、仮描画で表示された線分Ｓｅｇのうち、標準描画により表示される軌跡とは重ならない部分を不要図形として特定する。後処理部１０６は、特定した不要図形の消去を示す不要図形データを表示装置４０に出力してもよい（後処理）。本ステップならびに次ステップの処理は、仮描画による線分Ｓｅｇが、標準描画による軌跡により完全に覆われない場合に実行されればよい。
（ステップＳ１１６）表示制御部４２２には、情報処理装置１０から不要図形データが入力され、ディスプレイ４６に表示させた図形のうち、不要図形を消去する（不要図形消去）。その後、ステップＳ１０２に戻る。

【0052】

＜第２の実施形態＞
次に、本願の第２の実施形態に係る情報処理システムＳ１の構成例について説明する。以下の説明では、上記の実施形態との差異点を主とする。上記の実施形態と共通の構成、処理については、共通の符号を付し、特に断らない限り、その説明を援用する。

【0053】

コントローラ４２の表示制御部４２２は、タッチセンサ４４から取得されたペンデータで指示される接触位置に基づく線画をディスプレイ４６に仮描画させる。表示制御部４２２は、接触位置が描画対象とする所定の描画領域に含まれる場合、仮描画を実行し、接触位置が描画領域に含まれない場合、仮描画を実行しない。描画領域は、個々の表示画面により異なりうる。情報処理装置１０のホストシステム１００により実行されるアプリケーションにより描画処理が指示されることがあるが、コントローラ４２へのアクセスまで考慮されていないことが通例である。表示制御部４２２に適切な描画領域が設定されないと、仮描画の要否を的確に判定できないおそれがある。

【0054】

そこで、本実施形態に係る情報処理システムＳ１において、表示装置４０のコントローラ４２は、情報処理装置１０から仮描画の要否を示す描画制御情報を、入力デバイス５０を経由して取得する。入力デバイス５０を描画中に振動させる触覚提示機能に係る入出力機能（Haptic API）が、描画制御情報の伝送に用いられてもよい。触覚提示機能は、タッチセンサ４４への接触に応じて振動する機能である。入力デバイス５０は、情報処理装置１０から入力される振動制御情報に基づいて振動する。振動制御情報には、少なくとも振動の要否を示す情報が含まれる。振動の要否は、接触位置が描画領域に含まれるか否かに相当する。また、描画モードは、設定画面において指示される位置（例えば、ボタン、などの画面部品）に基づいて選択されることがある。その位置の設定も、個々のアプリケーションにより異なりうる。

【0055】

図６は、本実施形態に係る情報処理システムＳ１の機能構成例を示す概略ブロック図である。情報処理システムＳ１は、情報処理装置１０、表示装置４０および入力デバイス５０を備える。本実施形態の説明では、入力デバイス５０が触覚提示機能を有するデバイスペンである場合を主とする。振動制御情報には、入力デバイス５０の振動特性を示す情報が含まれてもよい。個々の振動特性は、ディスプレイ４６に表示する軌跡の描画モードに対応付けられてもよい。振動特性は、その描画モードの模擬（シミュレーション）対象とする物理的な筆記具の種類で指示されてもよい。

【0056】

情報処理装置１０のホストシステム１００は、アプリケーションを実行し、表示装置４０から取得されたペンデータに示される接触位置が、当該アプリケーションにより設定された描画領域に含まれるか否かを判定する。実行対象のアプリケーションおよびアプリケーションの実行は、ユーザの操作に応じて指示される。ホストシステム１００は、描画領域接触位置に基づいて描画処理を行い、描画領域外の接触位置に基づく描画処理を行わない。ホストシステム１００は、描画処理の要否を示す描画制御情報を入力デバイス５０に出力する。ホストシステム１００は、ユーザの操作に応じて、予め定めた複数の描画モードからいずれか１通りの描画モードを選択し、選択した描画モードを示す描画モード情報を描画制御情報に含めて入力デバイス５０に出力してもよい。ホストシステム１００は、アプリケーションに従い描画処理を行う場合、または、描画モードを選択する際、ペンデータ取得部１０２、描画処理部１０４、後処理部１０６および描画設定部１０８を呼び出し、それらの処理を実行させてもよい。

【0057】

入力デバイス５０は、デバイス制御部５２、振動部５５および入出力部５８を備える。
デバイス制御部５２は、入力デバイス５０の機能を制御する。デバイス制御部５２は、例えば、ＭＣＵ（Micro Controller Unit）を備え、所定のプログラムを実行して、その機能を実現する。ＭＣＵは、プロセッサ、メモリ、および、入出力インタフェースを備える。

【0058】

デバイス制御部５２には、情報処理装置１０から入出力部５８を用いて描画制御情報が入力され、入力された描画制御情報を中継し、表示装置４０に出力する。
デバイス制御部５２は、入力された描画制御情報に基づいて振動部５５を振動させるための駆動信号を取得する。デバイス制御部５２は、取得した駆動信号を振動部５５に出力する。

【0059】

デバイス制御部５２には、例えば、基準振動波形情報を設定しておく。基準振動波形情報は、予め定めた基準とする振動特性を有する基準振動波形を示す情報である。デバイス制御部５２は、基準振動波形情報を参照し、描画要（振動要）を示す描画制御情報（例えば、送信ＡＰＩ）が入力されるとき、その基準振動波形を示す駆動信号を振動部５５に出力する。デバイス制御部５２は、描画否（振動否）を示す描画制御情報（例えば、停止ＡＰＩ）が入力されるとき、その基準振動波形を示す駆動信号を振動部５５に出力する。

【0060】

デバイス制御部５２には、描画モードごとに描画モード別振動波形情報を予め設定しておいてもよい。描画モード別振動波形情報は、個々の描画モードに対応する振動特性を有する振動波形を示す情報である。デバイス制御部５２は、描画モード別振動波形情報を参照し、描画制御情報で指示される描画モードを特定し、特定した描画モードに係る描画モード別振動波形を示す駆動信号を振動部５５に出力する。描画モードは、例えば、波形ＩＤ（wave ID）を用いて指示されてもよい。波形ＩＤは、個々の描画モード別振動波形を示す識別情報とみなすこともできる。

【0061】

振動部５５は、デバイス制御部５２から入力される駆動信号に従って振動する。振動部５５は、例えば、ＤＡＣ（Digital-to-Analog Converter）、アンプ、および、アクチュエータを備える。ＤＡＣは、デバイス制御部５２から入力されるディジタルの駆動信号をアナログの駆動信号に変換する。ＤＡＣは、変換した駆動信号をアンプに出力する。アンプは、ＤＡＣから入力される駆動信号の振幅を調整し、振幅を調整した駆動信号をアクチュエータに出力する。アクチュエータは、アンプから入力される駆動信号に従って振動を発生する。アクチュエータは、例えば、ピエゾ素子などの圧電振動子を備える。

【0062】

入出力部５８は、他の機器と無線または有線で各種のデータを入出力するための入出力インタフェースを備える。他の機器は、主に、情報処理装置１０と表示装置４０である。入出力部５８は、例えば、ＩＥＥＥ８０２．１５．１に規定された無線通信方式を用いて情報処理装置１０および表示装置４０との通信を実行可能とする。

【0063】

表示装置４０の表示制御部４２２は、入力デバイス５０を中継して入力される描画制御情報に従って仮描画の要否を判定する。表示制御部４２２は、仮描画要と判定するとき、ペンデータに示される接触位置に基づいて仮描画を行い、仮描画否と判定するとき、仮描画を行なわない。描画制御情報に描画モード情報が含まれる場合には、表示制御部４２２は、描画モード情報で指示される描画モードに従って仮描画を行う。

【0064】

従って、表示装置４０に描画領域がアプリケーションにより設定されなくても、入力デバイス５０を経由して通知される描画制御情報に基づいて仮描画の要否を的確に判定することができる。また、描画制御情報に含まれる描画モードに従って仮描画を実行することができる。なお、入力デバイス５０では、振動部５５が省略され、触覚フィードバック機能を有していなくてもよい。その場合でも、デバイス制御部５２は、情報処理装置１０から表示装置４０に出力される描画制御情報を中継する。

【0065】

以上に説明したように、本実施形態に係る情報処理システムＳ１は、ホストシステム１００、コントローラ４２、タッチセンサ４４およびディスプレイ４６を備え、タッチセンサ４４は、ディスプレイ４６と重なり合い、入力デバイス５０との接触位置を検出する。コントローラ４２は、接触位置をサンプリングし、ホストシステム１００は、接触位置の軌跡を生成する。コントローラ４２は、生成された軌跡のうち、前サンプルの接触位置から現サンプルの接触位置に対応する部分を取得する前に、前サンプルの接触位置から現サンプルの接触位置への線分をディスプレイ４６に表示させる。
ディスプレイ４６は、電気泳動ディスプレイであってもよい。情報処理システムＳ１は、当該ホストシステム１００と、表示装置４０を含む情報処理装置１０として構成されてもよい。
この構成によれば、前サンプルの接触位置から現サンプルの接触位置に対応する軌跡の部分が取得される前に、前サンプルの接触位置と現サンプルの接触位置への線分がディスプレイ４６に仮に表示される（仮描画）。前サンプルの接触位置から現サンプルの接触位置までの線分の表示（標準描画）までに要する遅延時間を、前サンプルの接触位置から現サンプルの接触位置に対応する軌跡の部分の表示までに要する遅延時間よりも低減することができる。そのため、描画入力における操作感が向上する。また、仮描画に係る線画は、標準描画に係る軌跡は、共通の接触位置に基づくため、過去の接触位置に基づいて予測される軌跡よりも、既存の接触位置に基づいて生成される軌跡との差異を低減することができる。

【0066】

コントローラ４２は、仮描画に係る線分を標準描画に係る軌跡よりも細い幅で表示させてもよい。
軌跡は一般的に曲線からなるため、仮描画に係る線分と幅が等しいと、両者が重なり合わない部分が生じる。仮描画に係る線分の幅を軌跡よりも細くすることで、軌跡で覆われない領域を解消または減少することができる。軌跡で覆われない領域によりユーザにもたらされる違和感を解消または低減することができる。

【0067】

コントローラ４２は、仮描画に係る線分を標準描画に係る軌跡と同一の線種で表示させてもよい。
表示態様を軌跡と共通にすることで、仮描画に係る線分が目立たなくなるため、仮描画に係る線分によりユーザにもたらされる違和感を低減することができる。

【0068】

コントローラ４２は、ディスプレイ４６に表示させた線分のうち、表示させた軌跡から乖離した部分を消去してもよい。
この構成によれば、仮描画に係る線分のうち標準描画に係る軌跡に覆われずにはみ出した部分を消去することで、その部分の表示によりユーザにもたらされる違和感を解消することができる。

【0069】

入力デバイス５０は、ホストシステム１００から描画の要否を示す描画制御情報を取得し、当該描画制御情報をコントローラ４２に出力し、コントローラ４２は、描画制御情報に基づいて線分の表示の要否を判定してもよい。
この構成によれば、コントローラ４２は、ホストシステム１００から入力デバイス５０を経由して通知された描画制御情報に基づいて、ペンデータに基づく仮描画の要否を判定することができる。そのため、ホストシステム１００で実行されるプログラムにおいてペンデータが仮描画に係るか否かを知得できない場合でも、コントローラ４２は仮描画の要否を判定することができる。また、描画制御情報の伝達において、触覚提示機能に係る制御情報と同様な手順を用いることで経済的な実現を図ることができる。

【0070】

描画制御情報は、軌跡を表す描画モードを示す描画モード情報を含み、コントローラ４２は、その描画モードに従って線分を表示させてもよい。
この構成によれば、コントローラ４２は、ホストシステム１００から入力デバイス５０を経由して通知された描画制御情報により描画モードが伝達される。そのため、ホストシステム１００から指示される描画モードを用いた仮描画をより確実に実現することができる。描画モードの伝達において、触覚提示機能に係る制御情報と同様な手順を用いることで経済的な実現を図ることができる。

【0071】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上述の実施形態において説明した各構成は、任意に組み合わせることができる。

【符号の説明】

【0072】

Ｓ１…情報処理システム、１０…情報処理装置、２９…入出力部、４０…表示装置、４２…コントローラ、４４…タッチセンサ、４６…ディスプレイ、４８…入出力部、５２…デバイス制御部、５５…振動部、５８…入出力部、１００…ホストシステム、１０２…ペンデータ取得部、１０４…描画処理部、１０６…後処理部、１０８…描画設定部、４２２…表示制御部、

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2024-05-10

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ホストシステム、コントローラ、タッチセンサ、電気泳動ディスプレイおよび入力デバイスを備え、
前記タッチセンサは、前記電気泳動ディスプレイと重なり合い、前記入力デバイスとの接触位置を検出し、
前記コントローラは、前記接触位置をサンプリングし、
前記ホストシステムは、前記接触位置の軌跡を生成し、
前記接触位置が実行中のアプリケーションにより設定された描画領域に含まれるか否かに基づいて描画の要否を判定し、当該描画の要否を示す描画制御情報を前記コントローラに出力し、
前記コントローラは、
前サンプルの接触位置から現サンプルの接触位置への線分の前記電気泳動ディスプレイへの表示の要否を、前記描画制御情報に基づいて判定し、
表示要と判定するとき、前記軌跡のうち、前サンプルの接触位置から現サンプルの接触位置に対応する部分を取得する前に、前サンプルの接触位置から現サンプルの接触位置への線分を前記電気泳動ディスプレイに表示させる
情報処理システム。

【請求項2】

前記コントローラは、前記線分を前記軌跡よりも細い幅で表示させる
請求項１に記載の情報処理システム。

【請求項3】

前記コントローラは、前記線分を前記軌跡と同一の線種で表示させる
請求項１に記載の情報処理システム。

【請求項4】

前記コントローラは、前記電気泳動ディスプレイに表示させた線分のうち前記軌跡から乖離した部分を消去する
請求項２に記載の情報処理システム。

【請求項5】

前記描画制御情報は、前記軌跡を表す描画モードを示す描画モード情報を含み、
前記コントローラは、前記描画モードに従って前記線分を表示させる
請求項１に記載の情報処理システム。

【請求項6】

ホストシステム、コントローラ、タッチセンサおよび電気泳動ディスプレイを備え、
前記タッチセンサは、前記電気泳動ディスプレイと重なり合い、入力デバイスとの接触位置を検出し、
前記コントローラは、前記タッチセンサから前記接触位置をサンプリングし、
前記ホストシステムは、前記接触位置の軌跡を生成し、
前記接触位置が実行中のアプリケーションにより設定された描画領域に含まれるか否かに基づいて描画の要否を判定し、当該描画の要否を示す描画制御情報を前記コントローラに出力し、
前記コントローラは、
前サンプルの接触位置から現サンプルの接触位置への線分の前記電気泳動ディスプレイへの表示の要否を、前記描画制御情報に基づいて判定し、
表示要と判定するとき、前記軌跡のうち、前サンプルの接触位置から現サンプルの接触位置に対応する部分を取得する前に、前サンプルの接触位置から現サンプルの接触位置への線分を前記電気泳動ディスプレイに表示させる
情報処理装置。

【請求項7】

ホストシステム、コントローラ、タッチセンサ、電気泳動ディスプレイおよび入力デバイスを備え、
前記タッチセンサが前記電気泳動ディスプレイと重なり合う情報処理システムにおける制御方法であって、
前記タッチセンサは、前記入力デバイスとの接触位置を検出し、
前記コントローラは、前記接触位置をサンプリングし、
前記ホストシステムは、前記接触位置の軌跡を生成し、
前記接触位置が実行中のアプリケーションにより設定された描画領域に含まれるか否かに基づいて描画の要否を判定し、当該描画の要否を示す描画制御情報を前記コントローラに出力し、
前記コントローラは、
前サンプルの接触位置から現サンプルの接触位置への線分の前記電気泳動ディスプレイへの表示の要否を、前記描画制御情報に基づいて判定し、
表示要と判定するとき、前記軌跡のうち、前サンプルの接触位置から現サンプルの接触位置に対応する部分を取得する前に、前サンプルの接触位置と現サンプルの接触位置への線分を前記電気泳動ディスプレイに表示させる
制御方法。