特開 2024-8833 表示装置、操作方法、プログラム、表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024008833

(43)【公開日】2024-01-19

(54)【発明の名称】表示装置、操作方法、プログラム、表示システム

(51)【国際特許分類】

   G06F 3/0488 20220101AFI20240112BHJP

   G06F 3/04883 20220101ALI20240112BHJP

   G06F 3/041 20060101ALI20240112BHJP

【ＦＩ】

G06F3/0488

G06F3/04883

G06F3/041 580

G06F3/041 595

G06F3/041 560

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023071657

(22)【出願日】2023-04-25

(31)【優先権主張番号】P 2022109882

(32)【優先日】2022-07-07

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】北澤 和紀

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA09

5E555AA16

5E555BA01

5E555BA28

5E555BB01

5E555BB28

5E555BC07

5E555BC09

5E555CA13

5E555CA14

5E555CB10

5E555CB11

5E555CB12

5E555CB22

5E555CB59

5E555CB74

5E555CC01

5E555CC03

5E555CC11

5E555DB41

5E555DB56

5E555DC13

5E555EA11

5E555EA14

5E555FA00

(57)【要約】

【課題】ストロークデータの入力と外部装置の操作の切り替えが不要な表示装置を提供すること。
【解決手段】本発明は、外部装置６から入力される映像を表示できる表示装置２であって、タッチパネルにしきい値未満に接近した入力手段の座標を検出する検出部と、前記入力手段の座標が前記映像の領域であり、所定の条件を満たす場合、前記外部装置に前記座標を送信する通信部と、前記入力手段の座標が前記映像の領域であり、前記所定の条件を満たさない場合、前記座標に基づくストロークデータを前記映像に重ねて表示する表示制御部と、を有することを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

外部装置から入力される映像を表示できる表示装置であって、
タッチパネルにしきい値未満に接近した入力手段の座標を検出する検出部と、
所定の条件を満たす場合、前記外部装置に前記入力手段の座標を送信する通信部と、
前記所定の条件を満たさない場合、前記入力手段の座標に基づくストロークデータを前記映像に重ねて表示する表示制御部と、
を有することを特徴とする表示装置。

【請求項2】

前記タッチパネルに接触した前記入力手段の座標を検出する接触検出部を有し、
前記所定の条件を満たす場合、前記通信部は、前記外部装置に前記タッチパネルに接触した前記入力手段の座標を送信し、
前記所定の条件を満たさない場合、前記表示制御部は、前記タッチパネルに接触した前記入力手段の前記座標に基づくストロークデータを前記映像に重ねて表示することを特徴とする請求項１に記載の表示装置。

【請求項3】

前記所定の条件を満たす場合とは、前記入力手段が指であることであり、
前記所定の条件を満たさない場合とは、前記入力手段が前記指より細い棒状部材であることである請求項２に記載の表示装置。

【請求項4】

前記所定の条件を満たす場合とは、前記入力手段が相対的に細い第一の棒状部材であることであり、
前記所定の条件を満たさない場合とは、前記入力手段が相対的に太い第二の棒状部材であることである請求項３に記載の表示装置。

【請求項5】

前記タッチパネルの前記映像の領域に接触した前記入力手段の面積がしきい値以上の場合、前記入力手段が指であると判断し、
前記タッチパネルの前記映像の領域に接触した前記入力手段の面積がしきい値未満の場合、前記入力手段が前記棒状部材であると判断する判断部を有することを特徴とする請求項４に記載の表示装置。

【請求項6】

前記タッチパネルの前記映像の領域に接触した前記入力手段から、接触信号を受信しない場合、前記入力手段が指であると判断し、
前記タッチパネルの前記映像の領域に接触した前記入力手段から、前記接触信号を受信した場合、前記入力手段が前記棒状部材であると判断する判断部を有することを特徴とする請求項３に記載の表示装置。

【請求項7】

前記タッチパネルの前記映像の領域に接触した前記入力手段の押圧力がしきい値以上でない場合、前記入力手段が指であると判断し、
前記タッチパネルの前記映像の領域に接触した前記入力手段の前記押圧力がしきい値以上である場合、前記入力手段が前記棒状部材であると判断する判断部を有することを特徴とする請求項４に記載の表示装置。

【請求項8】

前記接触検出部は、同時と見なせるタイミングで前記タッチパネルの前記映像の領域に接触した２つの前記入力手段の座標を検出した場合、前記入力手段が指であると判断し、
前記接触検出部が、前記タッチパネルの前記映像の領域に接触した１つのみの前記入力手段の座標を検出した場合、前記入力手段が前記棒状部材であると判断する判断部を有することを特徴とする請求項３に記載の表示装置。

【請求項9】

前記表示制御部は、画面全体のうちの一部領域に予め前記映像を表示しており、
前記タッチパネルに接触した前記入力手段の座標が前記一部領域である場合のみ、前記所定の条件を判断し、
前記タッチパネルに接触した前記入力手段の座標が前記一部領域でない場合、前記表示制御部は、前記座標に基づくストロークデータを表示することを特徴とする請求項２～８のいずれか１項に記載の表示装置。

【請求項10】

前記一部領域は前記画面全体において移動可能であることを特徴とする請求項９に記載の表示装置。

【請求項11】

前記表示制御部が、前記外部装置からの映像を表示していない場合、
前記所定の条件に関わらず、前記タッチパネルに接触した前記入力手段の座標に基づくストロークデータを表示することを特徴とする請求項１に記載の表示装置。

【請求項12】

前記所定の条件を満たす場合とは、前記タッチパネルにしきい値未満に接近し、かつ、前記検出部が、前記映像の領域に対して接触する前の前記入力手段の非接触座標を検出した場合であり、
前記所定の条件を満たさない場合とは、接触検出部が、前記映像の領域に対して前記入力手段が接触した座標を検出した場合であることである請求項１に記載の表示装置。

【請求項13】

前記所定の条件を満たす場合とは、接触検出部が、前記映像の領域に対して前記入力手段が接触した座標を検出した場合であり、
前記所定の条件を満たさない場合とは、前記タッチパネルにしきい値未満に接近し、かつ、前記検出部が、前記映像の領域に対して接触する前の前記入力手段の非接触座標を検出した場合であることである請求項１に記載の表示装置。

【請求項14】

前記タッチパネルに対ししきい値未満に接近し、かつ、前記タッチパネルに接触する前の前記入力手段の非接触座標を検出する非接触座標検出部を有し、
前記入力手段の前記非接触座標が前記映像の領域である場合、前記通信部は、前記タッチパネルに接触した前記入力手段の座標を前記外部装置に送信し、
前記接触検出部が前記タッチパネルに接触した前記入力手段の座標を検出し、前記座標が前記映像の領域である場合、前記表示制御部は、前記座標に基づくストロークデータを前記映像に重ねて表示することを特徴とする請求項１２に記載の表示装置。

【請求項15】

前記入力手段は、指、又は、前記指より細い棒状部材であることを特徴とする請求項１２～１４のいずれか１項に記載の表示装置。

【請求項16】

前記入力手段の座標を前記外部装置が有するディスプレイ上の座標に変換する座標変換部を有し、
前記通信部は、前記所定の条件を満たす場合、前記座標変換部が変換した座標を前記外部装置に送信することを特徴とする請求項１に記載の表示装置。

【請求項17】

前記所定の条件を満たす場合、前記ストロークデータを含むストローク画像レイヤに対する入力を有効にせず、前記通信部は、前記外部装置に、前記タッチパネルにおいて外部映像レイヤの外部映像領域に接触した前記入力手段の座標を送信し、
前記所定の条件を満たさない場合、前記ストローク画像レイヤに対する入力を有効にすると共に、前記タッチパネルに接触した前記入力手段の前記座標に基づくストロークデータを含むストローク画像レイヤを前記外部映像レイヤに重ねたデータを出力することで、前記ストロークデータを前記映像に重ねて表示する、前記請求項１に記載の表示装置。

【請求項18】

外部装置から入力される映像を表示できる表示装置が行う操作方法であって、
検出部が、タッチパネルにしきい値未満に接近した入力手段の座標を検出するステップと、
所定の条件を満たす場合、通信部が、前記外部装置に前記座標を送信するステップと、
前記所定の条件を満たさない場合、表示制御部が、前記座標に基づくストロークデータを前記映像に重ねて表示するステップと、
を有することを特徴とする操作方法。

【請求項19】

外部装置から入力される映像を表示できる表示装置を、
タッチパネルにしきい値未満に接近した入力手段の座標を検出する検出部と、
所定の条件を満たす場合、前記外部装置に前記座標を送信する通信部と、
前記所定の条件を満たさない場合、前記座標に基づくストロークデータを前記映像に重ねて表示する表示制御部、
として機能させるためのプログラム。

【請求項20】

外部装置から入力される映像を表示できる表示装置と、情報処理装置とがネットワークを介して通信する表示システムであって、
前記表示装置は、
タッチパネルにしきい値未満に接近した入力手段の座標を検出する検出部と、
前記入力手段の座標と前記映像の領域の座標を前記情報処理装置に送信し、所定の条件を満たすか否かの判断結果を受信する第二通信部と、
所定の条件を満たす場合、前記外部装置に前記座標を送信する通信部と、
前記所定の条件を満たさない場合、前記座標に基づくストロークデータを前記映像に重ねて表示する表示制御部と、を有し、
前記情報処理装置は、
前記表示装置から受信した、前記入力手段の座標と前記映像の領域の座標に基づいて、所定の条件を満たすか否かを判断した前記判断結果を前記表示装置に送信することを特徴とする表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置、操作方法、プログラム、及び、表示システムに関する。

【背景技術】

【0002】

タッチパネル式のディスプレイにユーザーがスタイラスペンや指などの入力手段でストロークデータを描画し、いくつかのストロークデータで形成される手書きデータを表示する電子黒板などの表示装置が知られている。また、表示装置には、ＰＣ（Personal Computer）などの外部装置が送信する映像を画面に表示する機能を有しているものがある。

【0003】

ユーザーが表示装置に対して行う操作により映像を送信している外部装置を操作する技術が知られている（例えば、特許文献１参照。）。特許文献１には、表示装置のディスプレイ上の特定の領域にスタイラスペンが触れた場合、その座標情報を外部装置に送信する技術が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術は、ストロークデータの入力と外部装置の操作をユーザーが切り替える必要があるという問題があった。ストロークデータの入力及び外部装置の操作のいずれもタッチパネルに対する同じような操作であるため、表示装置が自動判別することが困難だった。このため、表示装置が外部装置の映像を表示している場合、ユーザーが映像上にストロークデータを手書きするのか、外部装置を操作するのかを、ユーザーがボタン等の操作で明示的に指定する必要があった。

【0005】

本発明は、上記課題に鑑み、ストロークデータの入力と外部装置の操作の切り替えが不要な表示装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題に鑑み、本発明は、外部装置から入力される映像を表示できる表示装置であって、タッチパネルにしきい値未満に接近した入力手段の座標を検出する検出部と、所定の条件を満たす場合、前記外部装置に前記座標を送信する通信部と、前記所定の条件を満たさない場合、前記座標に基づくストロークデータを前記映像に重ねて表示する表示制御部と、を有することを特徴とする。

【発明の効果】

【0007】

ストロークデータの入力と外部装置の操作の切り替えが不要な表示装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】手書き入力と外部装置の操作の切り替えについて表示装置が行う処理の概略を説明する図である。

【図2】通信システムの全体構成図の一例である。

【図3】表示装置のハードウェア構成図の一例である。

【図4】表示装置が表示する各画像レイヤの構成図の一例である。

【図5】外部映像の表示例を説明する図である。

【図6】表示装置が有する機能をブロックに分けて説明する機能ブロック図の一例である。

【図7】ディスプレイにおける接触座標から外部装置のディスプレイにおける接触座標への変換方法を説明する図である。

【図8】外部装置が、表示装置から送信された接触座標により受け付け可能な操作の一例を示す図である。

【図9】入力手段がディスプレイと接触した面積により判断部が入力手段を判断する方法を説明する図である。

【図10】スタイラスペンが表示装置と通信できることを利用して判断部が入力手段を判断する方法を説明する図である。

【図11】ディスプレイに対する押圧力により判断部が入力手段を判断する方法を説明する図である。

【図12】入力手段が２つの場合、指であると判断する判断方法を説明する図である。

【図13】入力手段がスタイラスペン又は指のいずれであるかを接触面積で判断する処理を説明するフローチャート図の一例である。

【図14】入力手段がスタイラスペン又は指のいずれであるかを接触信号の有無で判断する処理を説明するフローチャート図の一例である。

【図15】入力手段がスタイラスペン又は指のいずれであるかを押圧力で判断する処理を説明するフローチャート図の一例である。

【図16】入力手段がスタイラスペン又は指のいずれであるかを２つの入力手段が検出されるかどうかで判断する処理を説明するフローチャート図の一例である。

【図17】タッチイベントかペンイベントかに応じて、ストロークデータの手書き入力と外部装置への接触座標の送信の切り替えを行う処理を説明するフローチャート図の一例である。

【図18】ホバリングによる非接触座標の検出を説明する図である。

【図19】入力手段がディスプレイに接触したか否かに応じて、タッチイベントかペンイベントかを判断部が判断する処理を説明するフローチャート図の一例である。

【図20】表示システムの構成例を示す図である。

【図21】コンピュータの一例のハードウェア構成を示す図である。

【図22】図２０の表示システムにおける、表示装置と情報処理装置の機能ブロック図の一例である。

【図23】情報処理装置を有する表示システムの全体的な動作を示すシーケンス図の一例である。

【発明を実施するための形態】

【0009】

以下、本発明を実施するための形態の一例として、表示装置と表示装置が行う操作方法について説明する。

【実施例0010】

＜手書き入力と外部装置の操作の切り替え＞
図１は、手書き入力と外部装置の操作の切り替えについて表示装置２が行う処理の概略を説明する図である。図１（ａ）に示すように、表示装置２と外部装置６がＨＤＭＩ（登録商標）等のケーブルで接続されている。外部装置６が表示している画面を表示装置２が大画面で表示することができる。ユーザーとしては、表示装置２が表示する外部映像に対しストロークデータを手書きしたい場合もあるし、表示装置２のタッチパネル機能を使って、外部装置６で動作しているアプリケーションを操作したい場合もある。

【0011】

このような場合、従来は、ユーザーが外部映像に手書きするか、外部装置６を操作するかを、ユーザーがボタン等の操作で明示的に指定する必要があり、操作工数が多くなっていた。そこで、本実施例の表示装置２は、所定の条件を満たすか否かにより、外部映像へのストロークデータか、外部装置６の操作かを判断する。本実施例の所定の条件は、入力手段が指かスタイラスペンかである。

【0012】

図１（ｂ）に示すように、指１１による入力（タッチイベント）を検出した場合、表示装置２は、指１１の座標を外部装置６のディスプレイ１５の座標に変換して外部装置６にＵＳＢ(Universal Serial Bus)経由で送信する。図１（ｃ）に示すように、スタイラスペンによる入力（ペンイベント）を検出した場合、表示装置２はスタイラスペンによるストロークデータの手書きを受け付けてストロークデータを表示する。

【0013】

なお、入力手段が指１１かスタイラスペン４かの判断方法として、後述するように例えば以下の方法がある。
・入力手段の接触面積
・入力手段の接触幅あるいは径
・接触信号の有無
・入力手段のディスプレイに対する押圧力
・２つの接触座標（入力手段）が検出されるか否か
このように本実施例では、ユーザーが指１１又はスタイラスペン４を使い分けて操作することで、表示装置２が自動的にストロークデータの手書き入力と外部装置６の操作を自動的に判別するので、ユーザーはストロークデータの手書き入力と外部装置６の操作の切り替えのための操作が不要となる。

【0014】

＜用語について＞
イベントとは、表示装置２がユーザーによる処理要求を受け付けることをいう。イベントには、ペンイベント及びタッチイベントがある。イベントはユーザーによる処理要求を受け付けることで開始し、処理要求に応じた処理が終了するとイベントも終了する。ペンイベントとは、接触座標に基づいたストロークデータの入力を受け付けるイベントをいう。タッチイベントとは、接触座標又は非接触座標に基づく外部装置６の操作を受け付けるイベントをいう。実施例１、３では、説明の便宜上、スタイラスペン４の接触をペンイベント、指１１の接触をタッチイベントと判断するが、この関係は逆でもよい。実施例２では、入力手段の種類とペンイベント又はタッチイベントとの間に対応はない（赤外線遮断方式と静電容量方式の場合、入力手段は指１１とスタイラスペン４のどちらでもよく、電磁誘導方式の場合、入力手段はスタイラスペン４である）。

【0015】

外部装置とは、表示装置２とは別体の装置であり、有線又は無線で表示装置２と通信可能な装置をいう。外部装置は例えばＰＣ等である。

【0016】

タッチパネルとは、入力手段により接触された座標又は入力手段がしきい値未満に接近した際の座標の入力を受け付ける受付装置（受付手段、受付表示手段）である。タッチパネルは、座標だけでなく、接触面積や圧力を検出できてよい。タッチパネルは、タッチ画面、タッチスクリーン等ともいう。

【0017】

座標とは、原点を基準として任意の点の位置を指定するために与えられる数の組をいう。数の組は、２次元では２つの数の組、３次元では３つの数の組である。本実施形態では、ディスプレイ内の座標が主に使用されるので数の組は、２つの数の組である。

【0018】

映像（映像データ）とは、ディスプレイやスクリーンなどに映し出される画像である。映像は、静止画でもよいし動画でもよい。

【0019】

接触とは近づいて触れることをいう。接触は、スタイラスペン又はタッチパネルの少なくとも一方が接触を検出するために最小限必要な圧力や変形を伴ってよい。すなわち、視覚的にスタイラスペンがディスプレイに接していても、接触とは判断されない場合があってよい。

【0020】

非接触とは、触れていないことをいう。接触を検出するために最小限必要な圧力や変形を伴わない状態では、視覚的にスタイラスペンがディスプレイに接していても、非接触と判断される場合があってよい。

【0021】

棒状部材とは、棒のような形状の部材をいうが、本実施形態では、スタイラスペンの代用となり得る部材であればよい。棒状部材は他の用途に使用されるものでもよい。例えば、筆記具は紙に筆記するモノだが、スタイラスペンの代用になり得る。

【0022】

接触信号とは、スタイラスペンが表示装置２のディスプレイへ押圧された時に、スタイラスペンが押圧されたことを示すため表示装置２に送信する電気的な信号である。押圧先は必ずしも表示装置２のディスプレイでなくてもよい。

【0023】

押圧力とは、スタイラスペンをディスプレイに圧して押さえ付ける際の圧力をいう。押圧力は、検出された圧力そのままでもよいし、スタイラスペンがディスプレイに接触した面積で検出された圧力を割った単位面積当たりの値でもよい。

【0024】

画面全体とは、ディスプレイのうち映像を表示可能な有効画素領域の全体をいう。画面全体は、有効画素領域のうち一部領域（例えば表示内容が固定されておりストロークデータの表示ができない）を除いてもよい。一部領域とは、画面全体より小さい一部の領域をいう。一部領域の場所は固定でなくてよい。一部領域の形状は矩形でなく、円形等でもよいし、ユーザーが指定できてもよい。

【0025】

重ねて表示するとは、映像の上に別の映像が重なって表示されることをいう。視線側の映像は視認可能に表示され、視線に対し奥側の映像は視認が困難になる。視線に対し奥側の映像を視認可能にする方法として、視線側の映像の透明度を調整する方法がある。重ねて表示する方法としてレイヤを使用する方法がある。ストローク画像のレイヤを外部映像のレイヤよりも視線側に配置することで、外部映像にストロークデータが重なって表示される。

【0026】

入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、スタイラスペン４、人の指１１や手、棒状部材などがある。スタイラスペン４は、棒状部材であればよくバッテリーを有して静電容量を変化させたり、表示装置２と通信したりすることまでは要さない。ただし、スタイラスペン４がバッテリーを有する電子ペンであってもよい。

【0027】

ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークという。ストロークは、ディスプレイに接触することなく、ユーザーの動きを追跡することを含む。この場合、ユーザーが、例えばマウスやポインティングデバイスを使用して、ユーザーのジェスチャ、ユーザーの手又は足によるボタンの押下、又は他の方法で、ストロークを開始させてもよい。更に、ユーザーは、同じ又は異なるジェスチャ、ボタンを離す、又はマウスやポインティングデバイスを使用して、ストロークを終了させてもよい。

【0028】

ストロークデータとは、ユーザーがストロークにより入力したデータであり、入力手段の座標の軌跡に基づいてディスプレイに表示されるデータである。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。手書き入力は、タッチインターフェース、指やスタイラスペンなどの触覚オブジェクト、又はユーザーの体を使って実行されてもよい。また、手書き入力は、ジェスチャーベースの入力、手の動きの追跡入力、又はユーザーによる他のタッチフリー入力など、他のタイプの入力を介して実行されてもよい。

【0029】

外部装置６とは、表示装置２とは別体の装置である。外部装置６は、映像を表示装置２に送信して表示させ、表示装置２から接触座標により操作を受け付ける装置であればよい。

【0030】

所定の条件とは、入力手段が指１１か否か判断するための条件、又は、入力手段が非接触状態か否かを判断するための条件である。入力手段として指１１を用いて入力されたと判断した場合が、所定の条件を満たす場合の一例である。所定の条件を満たす場合は、以下の何れかであってもよい。
・タッチパネルに対する接触面積、あるいは、接触領域の幅が一定以上であること
・接触信号が有ること
・押圧力（変形量など）が一定以上であること
・接触座標が一定の数以上であること
一方、入力手段として指以外であるスタイラスペンや棒状部材などで入力されたと判断した場合が、所定の条件を満たさない場合の一例である。所定の条件を満たさない場合は、以下の何れかであってもよい。
・タッチパネルに対する接触面積、あるいは、接触領域の幅が一定以下（未満）であること
・接触信号が無いこと
・押圧力（変形量など）が一定以下（未満）であること
・接触座標が一定の数以下（未満）であること

【0031】

＜システム構成例＞
図２は、本実施例の通信システムの全体構成図である。なお、図２では、説明を簡略化するために、２台の表示装置２ａ，２ｂ及びこれに付随するスタイラスペン４ａ，４ｂ等を示しているだけであって、３台以上の表示装置２やスタイラスペン等が利用されてもよい。

【0032】

図２に示されているように、通信システム１は、複数の表示装置２ａ，２ｂ、複数のスタイラスペン４ａ，４ｂ、ＵＳＢメモリ５ａ，５ｂ、外部装置(Personal Computer)６ａ，６ｂ、テレビ（ビデオ）会議端末７ａ，７ｂ、及びＰＣ８を有する。また、表示装置２ａ，２ｂ、及びＰＣ８は、通信ネットワーク９を介して通信可能に接続されている。更に、複数の表示装置２ａ，２ｂには、それぞれディスプレイ３ａ，３ｂが設けられている。

【0033】

また、表示装置２ａには、スタイラスペン４ａによって生じたイベント（ディスプレイ３ａにスタイラスペン４ａのペン先、又は、スタイラスペン４ａのペン尻のタッチ）による描画された画像を、ディスプレイ３ａに表示させることができる。なお、スタイラスペン４ａだけでなく、ユーザーの手Ｈａ（以下、指１１を含む）等によって生じたイベント（拡大、縮小、ページめくり等）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。

【0034】

また、表示装置２ａには、ＵＳＢメモリ５ａが接続可能であり、表示装置２ａはＵＳＢメモリ５ａからＰＤＦ等の電子ファイルを読み出したり、表示装置２ａはＵＳＢメモリ５ａに電子ファイルを記録したりすることができる。また、表示装置２ａには、DisplayPort（登録商標）、DVI(Digital Visual Interface)、HDMI(High－Definition Multimedia Interface。登録商標)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル１０ａ１を介して、外部装置６ａが接続されている。更に、表示装置２ａは、ＵＳＢケーブル、ＵＳＢ Ｔｙｐｅ－Ｃ等の通信ケーブル１０ａ３を介して、外部装置６ａと接続されている。表示装置２ａは、ディスプレイ３ａに対する入力手段の接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、通信ケーブル１０ａ３を介して外部装置６ａに送信する。

【0035】

ケーブル１０ａ１と通信ケーブル１０ａ３が一本にまとめられてもよい。この場合、ケーブルとしては、ＬＡＮケーブル（１対１通信でもよいし、ネットワーク接続でもよい）やＵＳＢ Ｔｙｐｅ－Ｃケーブル等が使用されてよい。

【0036】

同じく、表示装置２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、外部装置６ａ、及びテレビ会議端末７ａは、無線ＬＡＮ、Bluetooth（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、表示装置２ａと通信してもよい。

【0037】

一方、表示装置２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた表示装置２ｂ、スタイラスペン４ｂ、ＵＳＢメモリ５ｂ、外部装置６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザーの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。

【0038】

これにより、一の拠点で表示装置２ａのディスプレイ３ａ上に描画された画像は、他の拠点で表示装置２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で表示装置２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で表示装置２ａのディスプレイ３ａ上に表示される。このように、通信システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。

【0039】

なお、以下では、複数の表示装置２のうち任意の表示装置２を示す場合には「表示装置２」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ３」と示す。複数のスタイラスペンのうち任意のスタイラスペンを示す場合には「スタイラスペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数の外部装置のうち任意の外部装置を示す場合には「外部装置６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザーの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。

【0040】

また、本実施例では、表示装置２の一例として、電子黒板を説明するが、これに限るものではなく、表示装置２の他の例として、表示装置２は、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、外部装置６の一例として、ノートＰＣを説明するが、これに限るものではなく、外部装置６の他の例として、外部装置６は、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、ＬＡＮ(Local Area Network)、携帯電話通信網等が含まれる。また、本実施例では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、記録媒体は、ＳＤカード等の各種記録メディアであってもよい。

【0041】

＜表示装置のハードウェア構成＞
続いて、図３を用いて、本実施例の表示装置２のハードウェア構成を説明する。なお、図３は、表示装置２のハードウェア構成図である。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ/Ｆ２０５、及び、外部機器接続Ｉ／Ｆ(Interface)２０６を備えている。

【0042】

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。

【0043】

ＳＳＤ２０４は、ＯＳや表示装置２用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。したがって、表示装置２は、普段は汎用的な情報処理装置として利用されるが、ユーザーがアプリケーションプログラムを実行すると、表示装置２の専用機と同様、ユーザーが手書きすることができる。

【0044】

ネットワークＩ/Ｆ２０５は、通信ネットワーク９との通信を制御する。外部機器接続Ｉ/Ｆ２０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢメモリ５、外付け機器（マイク２４０、スピーカ２５０、カメラ２６０）である。

【0045】

また、表示装置２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、及び近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２及び選択スイッチ類２２３を備えている。

【0046】

これらのうち、キャプチャデバイス２１１は、外付けの外部装置６のディスプレイ１５に表示されている映像を静止画又は動画として取り込む。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの映像をディスプレイ３等へ出力するために画面表示の制御及び管理を行う。接触センサ２１４は、ディスプレイ３上にスタイラスペン４やユーザーの手Ｈ等が接触したことを検出する。センサコントローラ２１５は、接触センサ２１４の処理を制御する。

【0047】

接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。また、接触センサ２１４は、スタイラスペン４が先端から送信する電磁波を受信することで、スタイラスペン４が接触する前にスタイラスペン４の座標を検出する。

【0048】

電子ペンコントローラ２１６は、スタイラスペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ２２２は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、ディスプレイ３の表示の明暗や色合い等を調整するためのスイッチ群である。

【0049】

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図３に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0050】

なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検出することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検出して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、スタイラスペン４のペン先及びペン尻だけでなく、スタイラスペン４のユーザーが握る部分や、その他のスタイラスペンの部分のタッチの有無を判断するようにしてもよい。

【0051】

＜レイヤの構成＞
図４は、表示装置２が表示する各画像レイヤの構成図である。図４に示すように、表示装置２は、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、外部映像（Ｃ）、及び、背景画像（Ｄ）を重畳して１つの画像を表示する。（Ａ）（Ｂ）（Ｃ）（Ｄ）の各画像レイヤは、ＵＩ画像レイヤ、ストローク画像レイヤ、外部映像レイヤ、背景画像レイヤである。各レイヤは以下のデータ（メニューボタン、ストロークデータ、外部装置６が入力した画像データ、背景の画像データ）を含むように表示処理及び入力処理される。

【0052】

ＵＩ画像（Ａ）は、ＵＩ（ユーザーインターフェイス）画像であり、ユーザーが操作するメニューボタン等を表示する。

【0053】

ストローク画像（Ｂ）は、ユーザーが手書きした１つ以上のストロークデータ（手書きデータ）が表示された画像である。

【0054】

外部映像（Ｃ）は、外部装置６が入力した画像（静止画、動画）である。外部装置６にはサーバーが含まれてもよい。外部装置６は、外部映像を表示装置２に入力し、表示装置２から接触座標で操作可能な装置であればよい。外部装置６が表示装置２に送信する外部映像は、デスクトップ画面や任意のアプリケーションの画面でよい。すなわち、外部装置６が表示している画面が外部映像である。したがって、外部映像がどのようなものかは、外部装置６がどのようなアプリケーションを実行しているかに依存する。また、外部装置６が表示していないが、表示装置２に送信することができる映像であり、再生や一時停止などの操作を接触座標で受け付けることができれば、本実施例の外部映像に含まれる。

【0055】

背景画像（Ｄ）は、予め保持されている無地、グリッド表示等、手書きの際に背景となる画像である。なお、保存された静止画など、予め保持されている画像は背景画像となりうる。

【0056】

表示装置２は、４つのレイヤを選択的に表示することもできる。例えば、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、外部映像（Ｃ）、又は背景画像（Ｄ）のうち、１つ以上の任意の画像を表示させることができる。

【0057】

＜外部映像の表示例＞
図５は、外部映像の表示例を説明する図である。図５（ａ）では、外部映像１１０を表示装置２がディスプレイ３の全面に表示している。図５（ｂ）では、外部映像１１０を表示装置２がディスプレイ３の画面全体のうち一部領域４０に表示している。一部領域４０とは、外部映像１１０が表示されている領域である。

【0058】

本実施例によれば、ユーザーが明示的にストロークデータの手書き入力と外部装置６の操作を切り替えなくても、以下のような操作が可能になる。
・図５（ａ）（ｂ）のいずれの場合でも、ユーザーはスタイラスペン４を用いて、外部映像１１０にストロークデータ５１，５２を手書きできる。
・また、ユーザーは、図５（ｂ）において、外部映像１１０が表示されている一部領域４０以外の領域に対し、指１１又はスタイラスペン４を用いてストロークデータ５３を手書きできる。
・ユーザーは、外部映像１１０が表示されている一部領域４０に対し、指１１を用いて外部装置６を操作できる。

【0059】

なお、表示装置２はストロークデータ５１，５２をテキストデータに変換したり、図形や表に変換したりすることもできる。また、いったん、一部領域４０に手書きしたストロークデータ５１，５２を移動したり拡大・縮小したりすることもできる。

【0060】

図５（ａ）（ｂ）に示すように、ディスプレイ３の右端及び下端にはＵＩ画像（Ａ）に相当するメニュー領域６０がある。右端には、ユーザーが操作するボタン類６１がまとめられている。ボタン類６１は、ストロークデータの色、太さ、線種などの設定、ネットワーク設定、アンドゥ・リドゥ、消しゴム、等のユーザーが使用する頻度が高いボタンである。下端には、ページに関する情報６２が表示されている。ページとは、ディスプレイ３の１画面分に表示された内容をいう。ユーザーがディスプレイ３の広さを超えてストロークデータ等を手書きできる場合でも、その全体をページという。ページに関する情報６２は、各ページのサムネイル画像、新規ページ追加ボタンなどである。ユーザーは、ボタン類６１及びページに関する情報６２の位置を移動可能である。

【0061】

なお、ユーザーは、図５（ａ）ように外部映像１１０を全面に表示する状態と図５（ｂ）のように一部領域４０に表示する状態とを手動で切り替えることができる。また、ユーザーは、図５（ｂ）のように一部領域４０が表示される位置を移動可能であり、一部領域４０の大きさを拡大又は縮小したりできる。

【0062】

＜機能について＞
図６は、表示装置２が有する機能をブロックに分けて説明する機能ブロック図の一例である。図６に示すように、表示装置２は、外部映像入力部２１、接触検出部２２、通信部２３、重畳画像生成部２４、ストロークデータ描画部２５、解析部２６、座標変換部２７、表示制御部２８、判断部２９、及び、非接触座標検出部３０を有している。表示装置２が有するこれらの機能は、例えば、図３に示したＣＰＵ２０１がＳＳＤ２０４からＲＡＭ２０３に展開されたプログラムを実行することで実現される機能又は手段である。

【0063】

外部映像入力部２１は、ＣＰＵ２０１によるプログラムの実行とキャプチャデバイス２１１等により実現され、外部装置６が継続的に送信する外部映像の入力を受け付ける。入力される外部映像は、主に外部装置６が自機のディスプレイに表示している画面の映像であるが、外部装置６が保存しているコンテンツを表示装置２に送信してもよい。外部映像入力部２１は外部映像を重畳画像生成部２４に入力する。

【0064】

なお、外部映像入力部２１は、無線ＬＡＮ、有線ＬＡＮ又はMiracast（登録商標）等の通信経由で送信された外部映像の入力を受け付けてもよい。

【0065】

接触検出部２２は、ＣＰＵ２０１によるプログラムの実行と接触センサ２１４等により実現され、スタイラスペン４又は指１１が接触したディスプレイの座標を検出する。この座標は、スタイラスペン４又は指１１の太さに応じた広がりを有している。接触検出部２２は、ストロークデータ描画部２５、解析部２６、及び座標変換部２７に、接触座標を入力する。なお、接触検出部２２は後述の非接触座標検出部３０と共に検出部３９を構成する。

【0066】

ストロークデータ描画部２５は、接触検出部２２から入力された接触座標を基にストロークデータを作成する。ストロークデータ描画部２５は、時系列に入力される接触座標を補間し、設定された太さや色のストロークデータを作成する。ストロークデータ描画部２５はストロークデータを重畳画像生成部２４に入力する。なおストロークデータ描画部２５は、ストロークデータをストローク画像レイヤとして作成し重畳画像生成部２４に入力してもよい。

【0067】

重畳画像生成部２４は、外部映像入力部２１から入力された外部映像に、ストロークデータ描画部２５から入力されたストロークデータを重畳して（合成して）、ディスプレイ３への出力データを作成し、表示制御部２８に入力する。表示制御部２８は、出力データをディスプレイ３に表示する。なお重畳画像生成部２４は、前述の各画像レイヤを作成・管理してもよい。外部映像入力部２１から入力された外部映像を外部映像レイヤとして作成すると共に、ストロークデータを含むストローク画像レイヤを外部映像レイヤに重畳して（合成して）ディスプレイ３への出力データを作成し、表示制御部２８に入力してもよい。

【0068】

解析部２６は、入力手段が指１１かスタイラスペン４であるかを判断するための情報を取得して、判断部２９に入力する。判断するための情報は、入力手段の接触面積、接触信号の有無、入力手段のディスプレイに対する押圧力、又は、２つの接触座標（入力手段）が検出されるか否か、等である。

【0069】

例えば、解析部２６は、接触検出部２２から入力された広がりがある接触座標に基づいて、スタイラスペン４又は指１１が接触した接触面積を決定する。面積は、接触座標の外接矩形の面積など、広がりがある接触座標と相関するものであればよい。接触信号は、電子ペンコントローラ２１６がスタイラスペン４から受信したディスプレイ３への押圧時の信号である。解析部２６は電子ペンコントローラ２１６を介して接触信号を取得する。押圧力は、ディスプレイ３のタッチパネルが検出する圧力である。解析部２６は接触検出部２２から押圧力を取得する。２つの接触座標については、接触センサ２１４がマルチタッチ対応であれば、解析部２６は、接触検出部２２が検出した接触座標の数だけ接触座標を取得できる。

【0070】

判断部２９は、接触面積としきい値を比較し、タッチイベント（指が接触）かペンイベント（スタイラスペン４が接触）かを判断する。一般に、指１１の方がスタイラスペン４より太いので、接触面積がしきい値以上であれば指１１と、接触面積がしきい値未満であればスタイラスペン４と判断する。また、判断部２９は、接触信号を受信しない場合はタッチイベント（指１１が接触）、受信した場合はペンイベント（スタイラスペン４が接触）と判断する。また、判断部２９は、押圧力がしきい値以上でない場合に指１１と、押圧力がしきい値以上である場合にスタイラスペン４と判断する。また、判断部２９は、ほぼ同時に２つの接触座標を検出した場合に指１１と、そうでない場合にスタイラスペン４と判断する。

【0071】

座標変換部２７は、ディスプレイ３における接触座標を、外部装置６のディスプレイ１５における接触座標に変換する。変換の詳細は図７において説明する。座標変換部２７は、通信部２３に変換後の接触座標を入力する。

【0072】

通信部２３は、通信ケーブル１０ａ３を介して変換後の接触座標を、外部装置６に送信する。外部装置６は変換後の接触座標を受信し、外部装置６のＯＳや動作しているアプリケーションに対する操作を受け付ける。外部装置６のＯＳは、ポインティングデバイスを用いた自機に対する直接の操作を受け付けることができる。ポインティングデバイスとは、マウス、トラックボール、又はタッチパネルなど、座標を指定した操作を受け付ける装置又は機能である。したがって、外部装置６は、接触座標を処理する特別なアプリケーションがなくでも、接触座標を自機に対するポインティングデバイスの操作と同様に扱うことができる。外部装置６が接触座標で受け付け可能な操作の一例を図８に示す。

【0073】

非接触座標検出部３０は、入力手段がホバーした非接触座標を検出する。換言すると、非接触座標検出部３０は入力手段がディスプレイ３に対し、しきい値未満に存在するが接触していない状態（接触する前）の非接触座標を検出する。ホバー操作とは、画面に触れず、指１１又はスタイラスペン４が浮いた状態で行う操作である。表示装置２は、ホバー操作を受け付けることができる。詳細は実施例２にて説明する。

【0074】

なお、外部装置６は、ホバー操作可能でもそうでなくてもよい。外部装置６におけるホバー操作は、例えば、対象物にマウスカーソルを重ねたマウスオーバーと同じ操作である。

【0075】

＜ディスプレイにおける接触座標から外部装置のディスプレイにおける接触座標への変換＞
図７は、ディスプレイ３における接触座標から外部装置６のディスプレイ１５における接触座標への変換方法を説明する図である。例えば、ディスプレイ３における座標の原点（０，０）を表示装置２の左上のコーナーとする。外部映像が表示される一部領域４０の左上のコーナーの座標を（ａ，ｂ）とする。また、一部領域４０の高さをＨ、幅をＷとする。以上から、一部領域４０における任意の座標（ｘ、ｙ）は、外部装置６のディスプレイ１５の座標（Ｘ，Ｙ）に以下のように変換される。
Ｘ＝（ｘ－ａ）/Ｗ Ｙ＝（ｙ－ｂ）/Ｈ

【0076】

座標変換部２７はこの式でディスプレイ３における座標を、外部装置６のディスプレイ１５における接触座標に変換する。なお、ディスプレイ３の全体に外部映像が表示されている場合、座標変換部２７が座標変換を行わなくてもよい。例えば、表示装置２のディスプレイ３と外部装置６のディスプレイ１５が同じ画素数の場合、座標変換が不要である。また、外部装置６がディスプレイ３の画素数を既知である場合、外部装置６が座標変換することができる。

【0077】

＜接触座標により外部装置において可能な操作の例＞
図８は、外部装置６が、表示装置２から送信された接触座標により受け付け可能な操作の一例を示す。なお、必ずしも図８に示す全ての操作が可能である必要はない。また、外部装置６はスタイラスペン４又は指１１のどちらでも操作できるものとし、これらを入力手段と称して説明する。
・タップは、画面上の対象に１つの入力手段で軽く触れ、対象から離す操作をいう。マウスでは、この操作をクリックという。
・プレスアンドホールドは、１つの入力手段で画面上の対象に触れ続け、円が表示された後に対象から離す操作をいう。右クリックメニューが表示される。マウスでは、この操作を右クリックという。
・プレスアンドタップは、１つの入力手段で画面上の対象に触れたまま、もう１つの入力手段で画面をタップする操作をいう。右クリックメニューが表示される。マウスでは、この操作を右クリックという。
・ダブルタップは、画面上の対象を入力手段により２回連続でタップする操作をいう。ユーザーがフォルダを開いたり、プログラムを実行したりするときに使用される。マウスでは、この操作をダブルクリックという。
・ドラッグは、入力手段で画面上の対象に触れ、離さずに目的の場所まで動かして入力手段を対象から離す操作をいう。アイコンの移動や範囲選択などで使用される。マウスではドラッグという。
・パンは、入力手段で画面上に軽くタッチした状態で動かす操作をいう。画面に表示しきれない大きなページや画像を動かし、隠れていた部分を表示する操作をいう。マウスでは、この操作をスクロールという。
・フリックは、入力手段で画面に触れ、払うように動かす操作をいう。入力手段を動かした方向に表示内容をスクロールさせ、ページをめくる際に使用される。
・ズームは、拡大又は縮小する操作をいう。拡大は間隔を開く（拡げる）、縮小は間隔を閉ざす（狭める）ことである。拡大の場合は、１つの入力手段で画面に触れたまま、別のもう1つの入力手段で画面に触れ、２つの入力手段の間隔を開くように動かす操作をいう。縮小の場合は、逆に２つの入力手段でつまむように動かす操作である。マウスでは、この操作はCtrl＋スクロールホイールの操作が相当する。
・回転は、１つの入力手段で画面に触れたまま、もう１つの入力手段で画面に触れ、最初に触れた入力手段を中心にして円を描くように動かす操作をいう。

【0078】

＜入力手段の判断例＞
＜＜接触面積＞＞
次に，図９～図１２を参照して入力手段の判断方法を説明する。図９は、入力手段がディスプレイ３と接触した面積により判断部２９が入力手段（スタイラスペン４、指１１）を判断する方法を説明する図である。

【0079】

図９（ａ）は入力手段が指１１の場合の接触面積６５を示し、図９（ｂ）は入力手段がスタイラスペン４の場合の接触面積６６を示す。入力手段が指１１の場合、指１１は先端が丸みを帯びており、また、指１１のディスプレイ３からの反作用で先端が変形して広い接触面積６５でディスプレイ３と接触する。入力手段がスタイラスペン４の場合、スタイラスペン４は先端が細くなるようデザインされており、また、スタイラスペン４はディスプレイ３からの反作用で変形しにくいので、狭い接触面積６５でディスプレイ３と接触する。したがって、判断部２９は接触面積６５，６６としきい値とを比較して入力手段がスタイラスペン４か指１１かを判断できる。しきい値としては適宜、決定されればよいが、一例として、１０［mm^２］等でよい。判断部２９は接触面積６５がしきい値以上の場合、指１１と判断し、接触面積６５がしきい値未満の場合、スタイラスペン４と判断する。しきい値は、接触領域の幅（接触領域における最大幅や最大径など）であってもよい。

【0080】

なお、接触面積に基づく判断では、指１１とスタイラスペン４の区別だけでなく、相対的に細いスタイラスペン４（第一の棒状部材の一例）と相対的に太いスタイラスペン４（第二の棒状部材の一例）との区別が可能である。

【0081】

＜＜接触信号の有無＞＞
次に、図１０を参照して接触信号の有無による入力手段の判断方法を説明する。図１０は、スタイラスペン４が表示装置２と通信できることを利用して判断部２９が入力手段（スタイラスペン４、指１１）を判断する方法を説明する図である。図１０において、スタイラスペン４はバッテリーを内蔵した電子ペン６７である。

【0082】

電子ペン６７は、先端に可動部を有し、ディスプレイ３に接触すると可動部が長手方向に移動する。可動部は移動により接触検出センサに接触する。なお、可動部と接触検出センサとの間には、バネ等の弾性部材が設けられており、可動部がディスプレイ３から離されると、その弾性力によって元の位置に戻る。

【0083】

接触検出センサは、可動部がディスプレイ３に接触したことを検出するセンサである。接触検出センサは例えば圧力センサでよい。可動部が接触検出センサに接触すると、当該接触検出センサ内の電流の抵抗値が変化する。電子ペン６７が有するマイコンが抵抗値の変化を検出すると、抵抗値の変化を電圧に変換し、電圧をデジタル値である接触信号に変換する。電子ペン６７はこの接触信号を表示装置２に送信する。接触信号には電子ペン６７を識別する識別情報などが含まれていてよい。

【0084】

したがって、図１０（ａ）に示すように電子ペン６７がディスプレイ３に接触していない場合、表示装置２は接触信号を受信しない。図１０（ｂ）に示すように電子ペン６７がディスプレイ３に接触している場合、表示装置２は接触信号を受信する。図１０（ｂ）に示すように指１１がディスプレイ３に接触している場合、表示装置２は接触信号を受信しない。以上から、判断部２９は、以下のように入力手段を判断できる。
・解析部２６がディスプレイ３への入力手段の接触を検出しているが、接触信号を受信しない場合、判断部２９は指１１と判断する。
・解析部２６がディスプレイ３への入力手段の接触を検出しており、接触信号を受信した場合、判断部２９はスタイラスペン４と判断する。

【0085】

＜＜押圧力＞＞
次に、図１１を参照して押圧力による入力手段の判断方法を説明する。図１１に示すように、ディスプレイ３が感圧式の場合、押圧力により入力手段を判断できる。図１１は、ディスプレイ３に対する押圧力により判断部２９が入力手段（スタイラスペン４、指１１）を判断する方法を説明する図である。

【0086】

図１１（ａ）は入力手段が指１１の場合のディスプレイ３の変形量Ｄ１を示し、図１１（ｂ）は入力手段がスタイラスペン４の場合のディスプレイ３の変形量Ｄ２を示す。入力手段が指１１の場合、指１１は先端が丸みを帯びており、また、指１１のディスプレイ３からの反作用で先端が変形して広い面積でディスプレイ３と接触する。このため、ディスプレイ３は指１１の大きさに応じた広い範囲で浅く変形する。この場合、押圧力は小さい。入力手段がスタイラスペン４の場合、スタイラスペン４は先端が細くなるようデザインされており、また、スタイラスペン４はディスプレイ３からの反作用で変形しにくいので、狭い面積でディスプレイ３と接触する。このため、ディスプレイ３は狭い範囲で深く変形する。この場合、押圧力は大きい。したがって、判断部２９は押圧力としきい値とを比較して入力手段がスタイラスペン４か指１１かを判断できる。判断部２９は押圧力がしきい値以上でない場合、指１１と判断し、押圧力がしきい値以上の場合、スタイラスペン４と判断する。

【0087】

なお、押圧力に基づく判断では、指１１とスタイラスペン４の区別だけでなく、主に先端において、細いスタイラスペン４（第一の棒状部材の一例）と太いスタイラスペン４（第二の棒状部材の一例）との区別が可能である。

【0088】

＜＜接触座標の数＞＞
次に、図１２を参照して接触座標の数による入力手段の判断方法を説明する。図１２は、入力手段（接触座標）が２つの場合、指１１であると判断する判断方法を説明する図である。ズーム操作など、ユーザーが二本の指１１で外部映像１１０を操作する場合がある。ズーム操作をユーザーが２つのスタイラスペン４で行うことは希なので、判断部２９は入力手段が２つの場合、指１１であると判断してよい。

【0089】

なお、複数のユーザーがそれぞれスタイラスペン４を保持し、ディスプレイ３にスタイラスペン４を接触させる場合もある。しかし、複数のユーザーがそれぞれほぼ同時にディスプレイ３にスタイラスペン４を接触させることは希である。したがって、判断部２９は、入力手段が２つであり、ほぼ同時に接触した場合、指１１であると判断してよい。ほぼ同時とは同時と見なせる程度のタイミングの違いしかないことをいう（例えば１秒未満）。あるいは、更に、２つの入力手段による接触座標の距離が一定以内の場合に、判断部２９が、入力手段が指１１であると判断してもよい。

【0090】

一方、判断部２９は、入力手段（接触座標）が１つのみの場合、スタイラスペン４であると判断する。しかし、入力手段（接触座標）が１つのみであるから、スタイラスペン４で操作したとは限らないので、入力手段（接触座標）の数で判断する場合、ユーザーはズーム操作に限らず常に二本の指１１で外部映像１１０を操作するとよい。

【0091】

なお、ユーザーが三本以上の指１１をディスプレイ３に接触させた場合も、二本の場合と同様に処理してよい。

【0092】

＜入力手段の判断手順＞
続いて、図１３～図１６を参照して、判断部２９が、入力手段を判断する処理を説明する。

【0093】

＜＜接触面積による判断＞＞
図１３は、入力手段がスタイラスペン４又は指１１のいずれであるかを接触面積で判断する処理を説明するフローチャート図である。図１３の処理は、例えば表示装置２の電源がオンの場合に実行される。

【0094】

解析部２６は指１１又はスタイラスペン４が接触したか否か判断する（Ｓ１）。ステップＳ１の判断がＮｏの場合、図１３の処理は終了する。

【0095】

ステップＳ１の判断がＹｅｓの場合、解析部２６は一部領域４０に対する接触か否か判断する（Ｓ２）。一部領域４０は外部映像が表示されている領域なので、その座標は既知である。ステップＳ２の判断がＮｏの場合、一部領域４０以外への入力なので、指１１かスタイラスペン４かに関わらずストロークデータの入力やメニュー操作と判断される（Ｓ６）。

【0096】

ステップＳ２の判断がＹｅｓの場合、判断部２９は入力手段の接触面積がしきい値以上か否か判断する（Ｓ３）。入力手段の接触面積がしきい値以上と判断されることは、所定の条件を満たす場合に相当する。入力手段の接触面積がしきい値以上でないと判断されることは、所定の条件を満たさない場合に相当する。

【0097】

接触面積がしきい値以上の場合、判断部２９は入力手段を指１１と判断し、タッチイベントを生成する（Ｓ４）。なお、手の側面（掌外沿）の接触を消しゴムと扱う表示装置２では、接触面積がしきい値以上でかつ一定未満であることを判断するとよい。

【0098】

接触面積がしきい値以上でない場合、判断部２９は入力手段をスタイラスペン４と判断し、ペンイベントを生成する（Ｓ５）。

【0099】

図１３の処理によれば、スタイラスペン４がバッテリー等で動作する電子ペンでなくても、ユーザーが指１１とスタイラスペン４を使い分けることで、表示装置２が入力手段を判断できる。

【0100】

＜＜接触信号の有無による判断＞＞
図１４は、入力手段がスタイラスペン４又は指１１のいずれであるかを接触信号の有無で判断する処理を説明するフローチャート図である。なお、図１４の説明においては主に図１３との相違を説明する。ステップＳ１１、Ｓ１２、Ｓ１６の処理は図１３のステップＳ１、Ｓ２、Ｓ６と同様でよい。

【0101】

ステップＳ１３において、判断部２９は接触信号を受信しないかどうか判断する（Ｓ１３）。接触信号を受信しないと判断されることは、所定の条件を満たす場合に相当する。接触信号を受信したと判断されることは、所定の条件を満たさない場合に相当する。

【0102】

接触信号を受信しない場合、判断部２９は入力手段を指１１と判断し、タッチイベントを生成する（Ｓ１４）。

【0103】

接触信号を受信した場合、判断部２９は入力手段がスタイラスペン４と判断し、ペンイベントを生成する（Ｓ１５）。

【0104】

図１４の処理によれば、スタイラスペン４がバッテリー等で動作する電子ペンであれば、面積の算出などを行わなくても、入力手段が指１１かスタイラスペン４かを確実に判断できる。

【0105】

なお、スタイラスペン４が電子ペンであり、ペン先とペン尻などの異なる部位で押圧した場合に、異なる信号を表示装置２に送信する場合がある。この場合、判断部２９は、ペン先の押圧信号をペンイベントと判断し、ペン尻の押圧信号をタッチイベントと判断することができる。ユーザーが１つのスタイラスペン４のペン先とペン尻を使い分けることで、表示装置２がタッチイベントかペンイベントかを確実に判断できる。

【0106】

接触信号の有無による入力手段の判断方法では、プロジェクター型の表示装置２にも適用できる。プロジェクター型の表示装置２は、通常のホワイトボード（タッチパネルでない）にプロジェクターが映像を投影する表示装置である。スタイラスペン４の座標はホワイトボードに水平な光軸を有するカメラと、書き込み時のみスタイラスペン４が送信する超音波により決定される。カメラによりスタイラスペン４の方向が分かり、超音波の到達時間で距離が分かる。スタイラスペン４の座標が分かるので、プロジェクターがストロークデータを投影できる。入力手段が指の場合、超音波が送信されないので、判断部２９は超音波の有無で入力手段を判断できる。

【0107】

＜＜押圧力による判断＞＞
図１５は、入力手段がスタイラスペン４又は指１１のいずれであるかを押圧力で判断する処理を説明するフローチャート図である。なお、図１５の説明においては主に図１３との相違を説明する。ステップＳ２１、Ｓ２２、Ｓ２６の処理は図１３のステップＳ１、Ｓ２、Ｓ６と同様でよい。

【0108】

ステップＳ２３において、判断部２９は押圧力がしきい値未満か否か判断する（Ｓ２３）。押圧力がしきい値未満と判断されることは、所定の条件を満たす場合に相当する。押圧力がしきい値未満でないと判断されることは、所定の条件を満たさない場合に相当する。

【0109】

押圧力がしきい値未満の場合、判断部２９は入力手段を指１１と判断し、タッチイベントを生成する（Ｓ２４）。

【0110】

押圧力がしきい値未満でない場合、判断部２９は入力手段をスタイラスペン４と判断し、ペンイベントを生成する（Ｓ２５）。

【0111】

図１５の処理によれば、スタイラスペン４がバッテリー等で動作する電子ペンでなくても、ユーザーが指１１とスタイラスペン４を使い分けることで、表示装置２が入力手段を判断できる。

【0112】

＜＜入力手段の数による判断＞＞
図１６は、入力手段がスタイラスペン４又は指１１のいずれであるかを２つの入力手段が検出されるかどうかで判断する処理を説明するフローチャート図である。なお、図１６の説明においては主に図１３との相違を説明する。ステップＳ３１、Ｓ３２、Ｓ３６の処理は図１３のステップＳ１、Ｓ２、Ｓ６と同様でよい。

【0113】

ステップＳ３３において、判断部２９はほぼ同時に２つの接触座標が検出されたか否か判断する（Ｓ３３）。ほぼ同時に２つの接触座標が検出されたと判断されることは、所定の条件を満たす場合に相当する。ほぼ同時に２つの接触座標が検出されたと判断されないことは、所定の条件を満たさない場合に相当する。

【0114】

ほぼ同時に２つの接触座標が検出された場合、判断部２９は入力手段を指１１と判断し、タッチイベントを生成する（Ｓ３４）。

【0115】

ほぼ同時に２つの接触座標が検出されない場合、判断部２９は入力手段をスタイラスペン４と判断し、ペンイベントを生成する（Ｓ３５）。

【0116】

図１６の処理によれば、スタイラスペン４がバッテリー等で動作する電子ペンでなくても、ユーザーが二本の指１１で操作するか、スタイラスペン４を使い分けることで、表示装置２が入力手段を判断できる。

【0117】

＜ストロークデータの手書き入力と外部装置への接触座標の送信の切り替え＞
続いて、図１７を参照して、ストロークデータの手書き入力と外部装置６への接触座標の送信の切り替え処理を説明する。図１７は、タッチイベントかペンイベントかに応じて、ストロークデータの手書き入力と外部装置６への接触座標の送信の切り替えを行う処理を説明するフローチャート図である。図１７の処理は、例えば表示装置２の電源がオンの場合に実行される。

【0118】

まず、判断部２９は、外部映像入力部２１が外部映像の入力を受け付けているか否か判断する（Ｓ５１）。外部映像入力部２１に外部映像が入力された場合、キャプチャデバイス２１１が映像信号を受信するので、映像信号の有無により判断できる。なお、外部映像入力部２１に外部映像が入力されたか否かには、ケーブル１０ａ１が表示装置２に接続されているか否かも含む。この場合、キャプチャデバイス２１１はケーブル１０ａ１が有する処理の信号線の電圧によりケーブル１０ａ１が接続されているかどうかを判断できる。

【0119】

ステップＳ５１の判断がＮｏの場合、判断部２９は、メニュー領域であればメニューの操作と判断し、メニュー領域以外のディスプレイ３の全体に対しては、入力手段にかかわらずペンイベントであると判断する（Ｓ５４）。

【0120】

ステップＳ５１の判断がＹｅｓの場合、判断部２９はタッチイベント又はペンイベントのどちらが検出されたか判断する（Ｓ５２）。タッチイベントが検出されることは、所定の条件を満たす場合に相当する。ペンイベントが検出されることは、所定の条件を満たさない場合に相当する。

【0121】

ペンイベントが検出された場合（所定の条件を満たさない場合）、判断部２９は一部領域４０に対しストロークデータの手書き入力があったと判断する（Ｓ５３）。ストロークデータ描画部２５がストロークデータを描画し、重畳画像生成部２４に入力する。なお、重畳画像生成部２４は、ペンイベントが検出された場合（所定の条件を満たさない場合）、ストローク画像レイヤに対する入力を有効にすると共に、タッチパネルに接触した入力手段の座標に基づくストロークデータを含むストローク画像レイヤを、外部映像レイヤに重ねて表示制御部２８へ出力し、表示制御部２８は重畳画像生成部２４から出力されたデータを表示する。

【0122】

タッチイベントが検出された場合（所定の条件を満たす場合）、判断部２９は一部領域４０に対し外部装置６の操作が入力されたと判断する（Ｓ５５）。座標変換部２７は、ディスプレイ３における接触座標を外部装置６のディスプレイ１５における接触座標に変換する。また重畳画像生成部２４は、タッチイベントが検出された場合（所定の条件を満たす場合）、ストローク画像レイヤに対する入力を有効にしないか、ストローク画像レイヤに対する入力を無効にしてもよい。

【0123】

通信部２３は外部装置６のディスプレイ１５における接触座標に変換された接触座標を外部装置６に送信する（Ｓ５６）。また通信部２３は、外部装置に、タッチパネルにおいて外部映像レイヤの外部映像領域に接触した入力手段の座標を送信してもよい。

【0124】

＜主な効果＞
このように、表示装置２は、一部領域４０に対するタッチイベントかペンイベントかにより、一部領域４０に対するストロークデータの入力か、外部装置６の操作かを判断し、ストロークデータの手書き入力と外部装置６への接触座標の送信の切り替えを行うことができる。このため、ユーザーは手書き入力と、外部装置６の操作の切り替えのための操作が不要となる。

【実施例0125】

本実施例では、表示装置２が非接触座標を検出可能であることを利用して、一部領域４０に対するストロークデータの入力か、外部装置６の操作かを判断できる表示装置２について説明する。本実施例の所定の条件は、入力手段がタッチパネルに接触したか、していないかである。

【0126】

本実施例においては、上記の実施例にて説明した図３のハードウェア構成図、及び、図６に示した機能ブロック図を援用できるものとして説明する。

【0127】

図１８は、ホバリングによる非接触座標の検出を説明する図である。図１８（ａ）は入力手段が指１１の場合を、図１８（ｂ）は入力手段がスタイラスペン４の場合をそれぞれ示す。例えば赤外線遮断方式などのタッチパネルでは、指１１でもスタイラスペン４でも非接触状態の入力手段の非接触座標を検出できる。静電容量方式や電磁誘導方式の場合も表示装置２は静電容量や電圧の変化により非接触座標を検出できる。入力手段が非接触であると判断された場合が、所定の条件を満たす場合である。入力手段が接触したと判断した場合が、所定の条件を満たさない場合である。
各方式において、指１１又はスタイラスペン４がディスプレイ３と非接触であること又は接触したと判断する方法を説明する。
赤外線遮断方式：赤外線が遮断されていない状態から赤外線が遮断された状態に変化したことが検出された場合に、非接触が検出される。赤外線が遮断された状態において、表示装置２が接触信号を受信した場合（この場合は入力手段がスタイラスペン４に限られる）又は接触センサ２１４が静電容量又は電圧が大きくなる一定以上の変化を検出した場合（この場合、入力手段は指１１又はスタイラスペン４のどちらでもよい）に接触が検出される。
静電容量方式：入力手段は指１１又はスタイラスペン４のどちらでもよい。指１１（又は電磁波を先端から送信しないスタイラスペン４）の場合、接触センサ２１４が静電容量の僅かな増大を検出した場合、あるいは一定値以下の静電容量を検出している場合に、非接触が検出される。接触センサ２１４が非接触を検出している状態から、静電容量が大きくなる一定以上の変化（接触により静電容量が急激に大きくなる）を検出した場合又は接触信号を受信した場合、あるいは一定値以上の静電容量を検出した場合に接触が検出される。スタイラスペン４が先端から電磁波を送信する場合、接触センサ２１４が電磁波を検出していない状態から電磁波を検出した場合に、非接触が検出される。電磁波が検出されている状態において、接触センサ２１４が、静電容量が大きくなる一定以上の変化（接触により静電容量が急激に大きくなる）を検出した場合又は接触信号を受信した場合に接触が検出される。
電磁誘導方式：入力手段がスタイラスペン４であり、先端から電磁波を送信することが前提である。接触センサ２１４が電磁波を検出していない状態から電磁波を検出した場合、あるいは一定値以下の電磁波を検出している場合に、非接触が検出される。電磁波が検出されている状態において、接触センサ２１４が、電圧が大きくなる一定以上の変化（接触により電圧が急激に大きくなる）を検出した場合又は接触信号を受信した場合、あるいは一定値以上の電磁波を検出した場合に接触が検出される。
なお、タッチパネルには、これらの他、抵抗膜方式、超音波弾性波方式等があり、それぞれの方式に適した方法で接触と非接触が検出されてよい。

【0128】

図１８に示すように、非接触座標検出部３０は、指１１又はスタイラスペン４の先端とディスプレイ３との距離がしきい値Ｔｈ未満となると、指１１又はスタイラスペン４の非接触座標を検出する。そして、本実施例の判断部２９は、ディスプレイ３に入力手段が触れていない場合はタッチイベントであると判断し、ディスプレイ３に触れている場合はペンイベントであると判断する。

【0129】

赤外線遮断方式で指１１又はスタイラスペン４が接近したことを検出する場合、しきい値Ｔｈは図１８（ａ）（ｂ）で同じになる。しきい値Ｔｈは、赤外線を照射及び受光できる最大の高さである。静電容量方式では、入力手段が指１１かスタイラスペン４かによってしきい値Ｔｈが異なってよい。静電容量方式のしきい値Ｔｈは接触センサ２１４が静電容量の変化を検出できる距離である。

【0130】

電磁誘導方式では、図１８（ｂ）に示すように入力手段がスタイラスペン４であることが前提になる（図１８（ａ）のように指１１の接近を表示装置２は検出できない）。電磁誘導方式では、しきい値Ｔｈは接触センサ２１４が電磁波を検出できる距離である。なお、赤外線遮断方式、静電容量方式、及び電磁誘導方式では、しきい値Ｔｈが異なっていてよい。

【0131】

したがって、ユーザーは外部装置６を操作したい場合は、一部領域４０に接触しないように指１１又はスタイラスペン４のいずれでも外部装置６を操作でき、一部領域４０に手書きしたい場合は、一部領域４０に接触させた指１１又はスタイラスペン４のいずれでもストロークデータを手書きできる。ユーザーは指１１からスタイラスペン４に又はこの逆に持ち変えることなく、ストロークデータの手書き入力と外部装置６の操作を切り替えできる。

【0132】

図１９は、入力手段がディスプレイ３に接触したか否かに応じて、タッチイベントかペンイベントかを判断部２９が判断する処理を説明するフローチャート図である。図１９の処理は表示装置２が起動中に実行される。

【0133】

まず、非接触座標検出部３０は、ディスプレイ３に対ししきい値Ｔｈ以内に近づいた入力手段を検出したか否か判断する（Ｓ６１）。非接触座標検出部３０が入力手段を検出した時点では、入力手段はディスプレイ３に接触していない。

【0134】

ステップＳ６１の判断がＹｅｓの場合、判断部２９は非接触状態の入力手段の座標が一部領域４０に含まれるか否か判断する（Ｓ６２）。一部領域４０は外部映像が表示されている領域なので、その座標は既知である。ステップＳ６２の判断がＮｏの場合、一部領域４０以外へのホバー操作なので、何も操作されないか、又は、非接触座標に応じた操作が受け付けられる。

【0135】

ステップＳ６２の判断がＹｅｓの場合、判断部２９は入力手段がディスプレイ３に接触したか否か判断する（Ｓ６３）。入力手段がしきい値Ｔｈ以内に近づき、ディスプレイ３に接触しないと判断されることが、所定の条件を満たす場合に相当する。ディスプレイ３に接触したと判断されることが、所定の条件を満たさない場合に相当する。

【0136】

入力手段がディスプレイ３に接触した場合、判断部２９はペンイベントを生成する（Ｓ６４）。

【0137】

入力手段がディスプレイ３に接触していない場合、判断部２９はタッチイベントを生成する（Ｓ６５）。

【0138】

なお、ユーザーがストロークデータを入力する場合も外部装置６を操作する場合も、入力手段が少なくとも一時的に非接触状態になることは同じである。このため、ユーザーがストロークデータを入力しようとした場合も、判断部２９が一時的に非接触座標を検出して、通信部２３が外部装置６に非接触座標を送信するおそれがある。これを防ぐため、判断部２９は、入力手段のディスプレイ３への接近速度や接近加速度を監視し、接近速度や接近加速度がしきい値より大きいかどうかで、タッチイベントかペンイベントかを判断するとよい。ユーザーがストロークデータを入力しようとした場合、接近速度や接近加速度は大きいが、ユーザーが外部装置６を操作しようとした場合、接近速度や接近加速度は小さい。したがって、判断部２９は接近速度や接近加速度がしきい値以上ならペンイベントと、しきい値未満ならタッチイベントと判断できる。

【0139】

あるいは、判断部２９は、非接触状態が一定時間以上継続した場合に、タッチイベントと判断してもよい。

【0140】

タッチイベント又はペンイベントと判断された場合の処理は実施例１の図１７と同様でよい。図１７を参照して説明する。

【0141】

判断部２９は、外部映像入力部２１が外部映像の入力を受け付けているか否か判断する（Ｓ５１）。判断方法は実施例１と同様でよい。

【0142】

ステップＳ５１の判断がＮｏの場合、判断部２９は、入力手段にかかわらずホバー操作又は接触によるメニュー領域への操作と判断し、メニュー領域以外のディスプレイ３の全体に対しては、入力手段にかかわらずホバー操作又は接触による操作であると判断する（Ｓ５４）。

【0143】

ステップＳ５１の判断がＹｅｓの場合、判断部２９はタッチイベント又はペンイベントのどちらが検出されたか判断する（Ｓ５２）。

【0144】

ペンイベントが検出された場合、判断部２９は一部領域４０に対しストロークデータの手書き入力があったと判断する（Ｓ５３）。ストロークデータ描画部２５がストロークデータを描画し、重畳画像生成部２４に入力する。

【0145】

タッチイベントが検出された場合、判断部２９は一部領域４０に対し外部装置６の操作が入力されたと判断する（Ｓ５５）。座標変換部２７は、ディスプレイ３における座標を外部装置６のディスプレイ１５における接触座標に変換する。

【0146】

通信部２３は外部装置６のディスプレイ１５における座標に変換された接触座標を外部装置６に送信する（Ｓ５６）。

【0147】

なお、本実施例では、ペンイベントが検出された場合、ストロークデータ描画部２５がストロークデータを描画し、タッチイベントが検出された場合、通信部２３が接触座標を外部装置６に送信しているが、この関係は逆でもよい。表示装置２は、ペンイベントが検出された場合に接触座標を外部装置に送信し、タッチイベントが検出された場合に一部領域４０に対しストロークデータを手書きしてもよい。また、この場合、ペンイベントとタッチイベントの定義が入れ替わる。ペンイベントとは、接触座標又は非接触座標に基づく外部装置６の操作を受け付けるイベントをいう。タッチイベントとは、接触座標に基づいたストロークデータの入力を受け付けるイベントをいう。

【0148】

＜主な効果＞
したがって、本実施例によれば、入力手段が非接触状態か否かに応じて、一部領域４０への手書き入力か、外部装置６の操作かを自動的に切り替えることができる。