(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-24
(45)【発行日】2024-07-02
(54)【発明の名称】表示装置、表示方法およびプログラム
(51)【国際特許分類】
G06F 3/04883 20220101AFI20240625BHJP
G06F 3/04845 20220101ALI20240625BHJP
【FI】
G06F3/04883
G06F3/04845
(21)【出願番号】P 2020123983
(22)【出願日】2020-07-20
【審査請求日】2023-05-11
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】五十嵐 佳苗
(72)【発明者】
【氏名】藤岡 進
【審査官】滝谷 亮一
(56)【参考文献】
【文献】特開平10-177450(JP,A)
【文献】特開2019-220155(JP,A)
【文献】特開2013-065125(JP,A)
【文献】特開2014-102628(JP,A)
【文献】星野 未知,500円でわかる ウィンドウズ10便利技 ,日本,株式会社学研プラス,2015年12月31日,第16ページ
【文献】三浦 衛,iPad仕事術! 2018,日本,スタンダーズ株式会社,2017年11月10日,第28ページ
【文献】早瀬 敦,iPhone 完全マスターガイド iOS 13のすべて,日本,株式会社英和出版社 ,2019年11月01日,第43ページ
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/04883
G06F 3/04845
(57)【特許請求の範囲】
【請求項1】
入力手段によって手書きデータの入力を受け付ける受付手段と、
前記受付手段が受け付けた第1手書きデータの入力の後に入力を受け付けた第2手書きデータに対する所定の操作を受け付けた場合に、表示部に表示された前記第2手書きデータに基づく画像の表示態様を変更する制御手段と、を備え
、
前記第2手書きデータを対する前記所定の操作は、前記入力手段が前記第2手書きデータに基づく画像の領域内に接触する時間が、長押しの基準を示す時間以上であるか、または前記長押しの基準を示す時間を超過している操作である、
表示装置。
【請求項2】
前記制御手段は、前記第2手書きデータに対する前記所定の操作を受け付けた場合に、前記第1手書きデータ及び前記第2手書きデータが、複数の手書きデータを区別するための所定の条件を満たすときは、前記表示部に表示された前記第2手書きデータに基づく前記画像の表示態様を変更する、
請求項
1に記載の表示装置。
【請求項3】
前記所定の条件は、前記第1手書きデータが入力されてから前記第2手書きデータが入力されるまでの時間が、所定の時間以上であるという条件又は前記所定の時間を超過したという条件である、
請求項
2に記載の表示装置。
【請求項4】
前記所定の条件は、前記第1手書きデータが入力された位置と前記第2手書きデータが入力された位置とが、所定の位置関係であるという条件である、
請求項
2に記載の表示装置。
【請求項5】
前記位置関係は、前記第2手書きデータの入力された前記位置が、前記第1手書きデータの入力された前記位置の下方という関係である、
請求項
4に記載の表示装置。
【請求項6】
前記位置関係は、前記第1手書きデータの入力された前記位置を示す座標点と、前記第2手書きデータが入力された前記位置を示す座標点との間の距離が所定の長さ以上であること又は前記所定の長さを超過したという条件である、
請求項
4に記載の表示装置。
【請求項7】
前記所定の条件は、前記第1手書きデータの入力後であって、前記第2手書きデータの入力前に、第3手書きデータが入力されたという条件であって、
前記制御手段は、前記第3手書きデータが入力された位置と、前記第2手書きデータが入力された位置とが、所定の位置関係であるときは、前記第2手書きデータに基づく前記画像の表示態様を変更する、
請求項
2に記載の表示装置。
【請求項8】
前記所定の条件は、前記第1手書きデータの入力を受け付けた機器と、前記第2手書きデータの入力を受け付けた機器が異なるという条件である、
請求項
2に記載の表示装置。
【請求項9】
前記制御手段は、前記第2手書きデータを示す前記所定の操作を受け付けた場合に、
前記第1手書きデータが入力されてから前記第2手書きデータが入力されるまでの時間が、所定の時間以上でないとき、または前記第1手書きデータが入力された位置と前記第2手書きデータが入力された位置とが、所定の位置関係でないときは、前記表示部に表示された前記第1手書きデータ及び前記第2手書きデータの表示態様を変更する、
請求項
2から8のいずれか1項に記載の表示装置。
【請求項10】
表示装置が実行する表示方法であって、
入力手段によって手書きデータの入力を受け付けるステップと、
受け付けた第1手書きデータの入力の後に入力を受け付けた第2手書きデータに対
して、前記入力手段が前記第2手書きデータに基づく画像の領域内に接触する時間が、長押しの基準を示す時間以上であるか、または前記長押しの基準を示す時間を超過している操作を受け付けた場合に、表示部に表示された前記第2手書きデータに基づく画像の表示態様を変更するステップと、を備える、
表示方法。
【請求項11】
表示装置が備えるコンピュータに、
入力手段によって手書きデータの入力を受け付けるステップと、
受け付けた第1手書きデータの入力の後に入力を受け付けた第2手書きデータに対
して、前記入力手段が前記第2手書きデータに基づく画像の領域内に接触する時間が、長押しの基準を示す時間以上であるか、または前記長押しの基準を示す時間を超過している操作を受け付けた場合に、表示部に表示された前記第2手書きデータに基づく画像の表示態様を変更するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、表示方法およびプログラムに関する。
【背景技術】
【0002】
ペンなどの入力手段による手書きデータの入力を受け付けて、手書きデータに基づく画像を表示する表示装置が開発されている。例えば、テキストボックスによる文字の入力を受け付けた後に、テキストボックスが押されたことを検知すると、テキストボックス内の文字色の濃度を変える表示装置が開示されている(例えば、特許文献1)。
【発明の概要】
【発明が解決しようとする課題】
【0003】
表示装置に表示される第1手書きデータに基づく画像と、第1手書きデータの入力後に入力された第2手書きデータに基づく画像と、を見分けることができるように、第2手書きデータに基づく画像の表示態様を変更したいという要望がある。
【0004】
このような要望に対して、従来の技術を適用しても、複数の手書きデータを区別することが困難であるため、例えば、第2手書きデータに基づく画像が第1手書きデータに基づく画像に重なる位置になるように第2手書きデータが入力された場合、表示態様を変更したい第2手書きデータに対して、簡単な操作で第2手書きデータに基づく画像の表示態様を変更することができないという問題がある。
【0005】
開示の技術は、第1手書きデータの入力後に入力された第2手書きデータに基づく画像表示態様の変更操作を簡易化することを目的とする。
【課題を解決するための手段】
【0006】
開示の技術は、入力手段によって手書きデータの入力を受け付ける受付手段と、前記受付手段が受け付けた第1手書きデータの入力の後に入力を受け付けた第2手書きデータに対する所定の操作を受け付けた場合に、表示部に表示された前記第2手書きデータに基づく画像の表示態様を変更する制御手段と、を備え、前記第2手書きデータを対する前記所定の操作は、前記入力手段が前記第2手書きデータに基づく画像の領域内に接触する時間が、長押しの基準を示す時間以上であるか、または前記長押しの基準を示す時間を超過している操作である、表示装置である。
【発明の効果】
【0007】
第1手書きデータの入力後に入力された第2手書きデータに基づく画像の表示態様の変更操作を簡易化することができる。
【図面の簡単な説明】
【0008】
【
図2】表示装置のハードウェア構成の一例を示す図である。
【
図4】第一の実施形態に係る表示装置の機能の一例を示す図である。
【
図5】第一の実施形態に係る表示態様変更処理のフローの一例を示す図である。
【
図6】第一の実施形態に係る表示態様変更処理の結果を説明するための図である。
【
図7】第二の実施形態に係る表示装置の機能の一例を示す図である。
【
図8】第二の実施形態に係る表示態様変更処理のフローの一例を示す図である。
【
図9】第二の実施形態に係る表示態様変更処理の結果を説明するための図である。
【
図10】第二の実施形態の変形例に係る表示態様変更処理の結果を説明するための図である。
【
図11】第三の実施形態に係る表示装置の機能の一例を示す図である。
【
図12】第三の実施形態に係る表示態様変更処理のフローの一例を示す図である。
【
図13】第三の実施形態に係る表示態様変更処理の結果を説明するための図である。
【
図14】第四の実施形態に係る表示システムの全体構成の一例を示す図である。
【
図15】第四の実施形態に係る表示装置の機能の一例を示す図である。
【
図16】第四の実施形態に係る表示態様変更処理のフローの一例を示す図である。
【
図17】表示装置の他の構成例を示す第一の図である。
【
図18】表示装置の他の構成例を示す第二の図である。
【
図19】表示装置の他の構成例を示す第三の図である。
【
図20】表示装置の他の構成例を示す第四の図である。
【発明を実施するための形態】
【0009】
(第一の実施形態)
以下に図面を参照して、本発明の実施の形態について説明する。
【0010】
まず、本実施形態に係る用語について説明する。手書きデータとは、ディスプレー上でユーザーが入力手段を連続的に移動させた座標点列を軌跡として表示したデータである。また、ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークといい、ストロークにより手書きされたデータをストロークデータという。ストロークデータは、座標点列を示す座標群とも言える。
【0011】
手書きデータは1つ以上のストロークデータを有する。具体的には、手書きデータは、ストロークが終了してから次のストロークを開始するまでの時間、すなわち、入力手段をディスプレーから離してから接触させるまでの時間が、所定の時間よりも短い複数のストロークデータをまとめたデータである。したがって、手書きデータは、手書きデータが有するストロークデータが示す座標群を含む。
【0012】
入力手段は、ディスプレーの座標を指定して手書きデータを入力するための手段である。例えば、ペン、人の指や手、棒状部材などは、入力手段の一例である。
【0013】
差し替えとは、1つ以上の文字を別の1つ以上の文字に変更することをいう。入れ替えとは、2つ以上の文字を有する文字列内の文字と文字を入れ替えることをいう。
【0014】
ドラッグとはマウスのボタンを押したまま動かす操作であり、ドロップとは、目的の場所でマウスのボタンを放す操作である。ドラッグにより文字は移動される。ドロップにより文字の位置が決定される。
【0015】
次に、表示装置の構成について説明する。
【0016】
【0017】
(a)では、表示装置2の一例として、壁につり下げられた横長の電子黒板として使用される表示装置2を示している。
【0018】
(b)は壁につり下げられた縦長の電子黒板として使用される表示装置2を示している。
【0019】
(c)は机230に平置きされた表示装置2を示す。表示装置2は厚みが1cm程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、容易に移動できる。
【0020】
表示装置2には表示部の一例としてのディスプレー220が設置されている。ユーザーUは、ペン2500を用いて、ディスプレー220に文字等を手書きする(入力、描画ともいう)ことができる。
【0021】
図2は、表示装置のハードウェア構成の一例を示す図である。
【0022】
表示装置2は、情報処理装置又はコンピュータの構成を有している。表示装置2は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、及び、SSD(Solid State Drive)204を備えている。
【0023】
CPU201は、表示装置2全体の動作を制御する。ROM202は、CPU201やIPL(Initial Program Loader)等のCPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。SSD204は、表示装置2用のプログラム等の各種データを記憶する。
【0024】
また、表示装置2は、ディスプレーコントローラー213、タッチセンサーコントローラー215、タッチセンサー216、ディスプレー220、電源スイッチ227、チルトセンサー217、シリアルインタフェース218、スピーカー219、マイク221、無線通信装置222、赤外線I/F223、電源制御回路224、ACアダプター225、及びバッテリー226を備えている。
【0025】
ディスプレーコントローラー213は、出力画像をディスプレー220等へ出力するために画面表示の制御及び管理を行う。タッチセンサー216は、ディスプレー220上にペン2500やユーザーの手等(ペンやユーザーの手は入力手段となる)が接触したことを検知する。また、タッチセンサー216はペンIDを受信する。
【0026】
タッチセンサーコントローラー215は、タッチセンサー216の処理を制御する。タッチセンサー216は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば、光学式の場合、ディスプレー220の上側両端部に設置された2つ受発光装置が、ディスプレー220に平行して複数の赤外線を放射し、ディスプレー220の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。
【0027】
タッチセンサー216は、物体によって遮断された2つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー215に出力し、タッチセンサーコントローラー215が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー215は通信ユニット215aを有しており、ペン2500と無線で通信することができる。
【0028】
例えば、Bluetooth(登録商標)などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット215aに予め1つ以上のペン2500を登録しておくと、ユーザーはペン2500を表示装置2と通信させる接続設定を行わなくても通信できる。
【0029】
電源スイッチ227は、表示装置2の電源のON/OFFを切り換えるためのスイッチである。チルトセンサー217は、表示装置2の傾き角度を検出するセンサーである。主に、表示装置2が
図5(a)、
図5(b)、又は、
図5(c)のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。
【0030】
シリアルインタフェース218はUSBなどの外部との通信インタフェースである。外部からの情報の入力などに使用される。スピーカー219は音声の出力に使用され、マイク221は音声の入力に使用される。無線通信装置222は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置222はWi-FiやBluetooth(登録商標)などで通信するが、通信規格は問われない。無線通信装置222はアクセスポイントを形成しており、ユーザーが入手したSSID(Service Set Identifier)とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。
【0031】
なお、無線通信装置222には2つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
aのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。bのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。
【0032】
赤外線I/F223は隣に配置された表示装置2を検出する。赤外線の直進性を利用して、隣に配置された表示装置2のみを検出できる。赤外線I/F223は各辺に1つずつ設けられることが好ましく、表示装置2のどの方向に他の表示装置2が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置2に過去に手書きされた手書き情報(1つのディスプレー220の広さを1ページとして別のページの手書き情報)等を表示できる。
【0033】
電源制御回路224は表示装置2の電源であるACアダプター225とバッテリー226を制御する。ACアダプター225は商用電源が共有する交流を直流に変換する。
【0034】
ディスプレー220がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー226による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置2を使用することが可能になる。
【0035】
更に、表示装置2は、バスライン210を備えている。バスライン210は、
図2に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0036】
なお、タッチセンサー216は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなど種々の検出手段を用いてもよい。タッチセンサー216は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン2500は、細長いペン型である必要はない。
【0037】
【0038】
電源を内蔵して表示装置2に命令を送信できるペン2500をアクティブペンという(電源を内蔵しないペンをパッシブペンという)。
図3のペン2500は、物理的なスイッチがペン先に一つ、ペン尻に一つ、ペン側面に二つあり、ペン先が筆記用、ペン尻が消去用、ペン側面はユーザー機能割り当て用である。本実施形態のペン2500は不揮発性のメモリーを有しており、他のペンと重複しないペンIDを記憶している。
【0039】
なお、スイッチ付きのペンであれば、ユーザーの表示装置2の操作手順を減らすことも可能である。スイッチ付きのペンとは主にアクティブペンを言うが、電磁誘導方式では電源を内蔵しないパッシブペンでもLC回路だけで電力を発生できるため、アクティブペンだけでなく電磁誘導方式のパッシブペンを含む。電磁誘導方式以外の光学方式、赤外線方式、及び、静電容量方式のスイッチのあるペンはアクティブペンである。
【0040】
なお、ペン2500のハードウェア構成は、通信機能とマイコンを備えた一般的な制御方式と同様である。ペン2500の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン2500は、筆圧検知、傾き検知、ホバー機能(ペンが触れる前にカーソルを表示)、などの機能を有していてよい。
【0041】
図4は、第一の実施形態に係る表示装置の機能の一例を示す図である。
【0042】
表示装置2は、接触位置検出部21と、接触時間計測部22と、描画データ生成部23と、接触領域判定部24と、入力時刻間隔判定部25と、表示制御部26と、データ記録部27と、ネットワーク通信部28と、操作受付部29と、記憶部30と、を備える。
【0043】
表示装置2が有する各機能は、
図2に示されている各構成要素のいずれかが、SSD204からRAM203上に展開されたプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。
【0044】
接触位置検出部21は、ペン2500が接触した位置の座標を検出する。接触位置検出部21は、タッチセンサーコントローラー215とタッチセンサー216により実現される。接触位置検出部21は、入力手段によって手書きデータの入力を受け付ける受付手段の一例である。
【0045】
接触時間計測部22は、タッチセンサー216が光を検知している状態から検知できない状態になった時をスタート時点として、タッチセンサー216が再び光を検知する状態になるまでの時間、すなわち光が遮断された時間を計測する。これによって、接触時間計測部22は、ペン2500が接触している時間を計測する。接触時間計測部22は、CPU201、タッチセンサー216等により実現される。
【0046】
描画データ生成部23は、ペン2500のペン先が接触した座標を接触位置検出部21から短い時間間隔で複数回に亘って取得して、取得した複数の座標を補間することによって接続された画像を示描画データを生成する。すなわち、描画データ生成部23は、手書きデータに基づく画像を示す描画データを生成する。描画データ生成部23は、CPU201により実現される。
【0047】
接触領域判定部24は、入力手段の接触位置が、ディスプレー220に表示されている手書きデータに基づく画像の領域内であるか否かを判定する。手書きデータに基づく画像の領域とは、手書きデータに基づく画像が外接する矩形等の形状の内側の領域である。なお、画像が外接する形状は、矩形以外でも良く、例えば、楕円、多角形等の形状であっても良い。接触領域判定部24は、CPU201、タッチセンサー216等により実現される。
【0048】
入力時刻間隔判定部25は、接触領域判定部24が、手書きデータ(第2手書きデータ)に基づく画像の領域内であると判定された場合であって、接触時間計測部22が計測した時間(接触時間Ta)が、長押しの基準を示す時間(長押し基準時間T1)を超過している場合に、第2手書きデータより前に入力された手書きデータ(第1手書きデータ)が入力されてから、第2手書きデータが入力されるまでの時間(入力時刻間隔Tb)が、あらかじめ規定された時間(判定基準時間T2)を超過したか否かを判定する。入力時刻間隔判定部25は、CPU201により実現される。
【0049】
表示制御部26は、手書きデータに基づく画像、ユーザーが操作するための操作メニューなどをディスプレー220に表示する。そして、表示制御部26は、入力時刻間隔判定部25によって入力時刻間隔Tbが判定基準時間T2を超過したと判定された第2手書きデータに基づく画像(第2画像)の表示態様を変更する。表示制御部26はCPU201、ディスプレーコントローラー213等により実現される。
【0050】
接触時間計測部22、描画データ生成部23、接触領域判定部24、入力時刻間隔判定部25、表示制御部26等は、協働して、表示部に表示された第2手書きデータに基づく画像(第2画像)の表示態様を変更する制御手段として機能する。
【0051】
データ記録部27は、表示装置2に手書きされた手書きデータ、変換された文字列、校正履歴(後述する画像データ)、及び、PCの画面、ファイル等を記憶部30に記録する。データ記録部27はCPU201により実現される。
【0052】
ネットワーク通信部28は、LAN(Local Area Network)等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。ネットワーク通信部28は無線通信装置222により実現される。
【0053】
操作受付部29は、ディスプレー220に表示された操作用のボタン等に対するペン2500等の入力手段による操作を受け付ける。
【0054】
記憶部30は、SSD204やRAM203などに構築され、データ記録部27が記録する上記の情報を記憶する。具体的には、記憶部30は、判定基準情報90と、表示態様設定情報91と、を記憶する。
【0055】
判定基準情報90は、入力時刻間隔判定部25による判定の基準となる情報である。具体的には、判定基準情報90は長押し基準時間T1、判定基準時間T2等を示す情報を含む。
【0056】
表示態様設定情報91は、第2画像の変更後の表示態様の設定を示す情報である。表示態様とは、色、線の太さ等の表示の態様である。第2手書きデータが文字を示すデータとして認識されている場合には、第2画像の表示態様は、フォント、斜体、太字等の文字の書式であっても良い。表示態様設定情報91は、ユーザーの操作によって、変更可能となっていても良い。また、表示態様設定情報91は、変更前の色が黒、変更後の色が赤などのように、変更前と後の表示態様がともに設定されていても良く、また、変更前の色が黒の場合は変更後の色が赤で、変更前の色がグレーの場合は変更後の色が黒といったように、変更前の表示態様ごとに変更後の表示態様が設定されていても良い。
【0057】
次に、本実施形態に係る表示装置の動作について説明する。
【0058】
図5は、第一の実施形態に係る表示態様変更処理のフローの一例を示す図である。
【0059】
表示装置2は、ユーザーからのペン2500等の操作を受けて、手書きデータ(第1手書きデータ)の入力を受け付ける(ステップS101)。具体的には、接触位置検出部21が、ペン2500等の接触位置を検出する。
【0060】
次に、表示装置2は、第1手書きデータに基づく画像(第1画像)を表示する(ステップS102)。具体的には、描画データ生成部23が、ステップS101で検出された接触位置に沿った描画データ(第1手書きデータ)を生成する。そして、表示制御部26は、ディスプレー220に第1画像を表示させる。
【0061】
続いて、入力時刻間隔判定部25は、判定に使用する入力時刻間隔Tbを取得するために、タイマーをスタートする(ステップS103)。
【0062】
続いて、表示装置2は、ユーザーからのペン2500等の操作を受けて、手書きデータ(第2手書きデータ)の入力を受け付ける(ステップS104)。具体的には、接触位置検出部21が、ペン2500等の接触位置を検出する。
【0063】
そして、入力時刻間隔判定部25は、タイマーをストップし、入力時刻間隔TbをRAM203に保存する(ステップS105)。入力時刻間隔Tbは、タイマーがスタートしてからストップするまでの経過時間によって算出される。
【0064】
次に、表示装置2は、第2手書きデータに基づく画像(第2画像)を表示する(ステップS106)。具体的には、描画データ生成部23が、ステップS103で検出された接触位置に沿った描画データ(第2手書きデータ)を生成する。そして、表示制御部26は、ディスプレー220に第2画像を表示させる。
【0065】
次に、表示装置2は、ペン2500等による第2画像への接触を検知する(ステップS107)。具体的には、接触位置検出部21が、ディスプレー220におけるペン2500等の接触された位置を検出し、接触領域判定部24が、接触された位置が第2画像の領域内であると判定すると、表示装置2は、ペン2500等による第2画像への接触を検知したものとする。
【0066】
次に、表示装置2の接触時間計測部22は、ペン2500等による第2画像への接触時間Taを測定する(ステップS108)。そして、表示装置2は、接触時間Taが長押し基準時間T1を超過したか否かを判定する(ステップS109)。
【0067】
表示装置2は、接触時間Taが長押し基準時間T1を超過していないと判定すると(ステップS109:No)、ステップS106の処理に戻り、接触時間Taの測定を続ける。そして、表示装置2が、接触時間Taが長押し基準時間T1を超過したと判定すると(ステップS109:Yes)、入力時刻間隔判定部25は、入力時刻間隔Tbが判定基準時間T2を超過したか否かを判定する(ステップS110)。
【0068】
入力時刻間隔判定部25が、入力時刻間隔Tbが判定基準時間T2を超過したと判定すると(ステップS110:Yes)、表示制御部26は、第2画像の表示態様を変更する(ステップS111)。この場合、第1手書きデータおよび第2手書きデータが時間の間隔を空けて入力されたため、区別することができるためである。なお、変更後の表示態様は、表示態様設定情報91に基づいて決定される。
【0069】
また、入力時刻間隔判定部25が、入力時刻間隔Tbが判定基準時間T2を超過しなかったと判定すると(ステップS110:No)、表示制御部26は、第1画像および第2画像の表示態様を変更する(ステップS112)。この場合、第1手書きデータおよび第2手書きデータが時間的に短い間隔で入力されたため、区別することができないためである。
【0070】
図6は、第一の実施形態に係る表示態様変更処理の結果を説明するための図である。
【0071】
表示態様変更処理の開始時点において、一例として、
図6(a)に示すように、ディスプレー220に表示された画面300に手書きデータに基づく画像が含まれている。そして、表示態様変更処理のステップS101およびステップS102が実行されると、
図6(b)に示すように、第1手書きデータに基づく第1画像301が画面300に表示される。
【0072】
続いて、表示態様変更処理のステップS103からステップS106までが実行されると、
図6(c)に示すように、第2手書きデータに基づく第2画像302が画面300に表示される。
【0073】
そして、
図6(d)に示すように、表示態様変更処理のステップS107において、接触領域判定部24は、ペン2500等の接触位置303が第2画像302の領域内であると判定し、表示態様変更処理のステップS108およびステップS109において、接触時間計測部22が計測した接触時間Taが長押し基準時間T1を超過していると判定される。
【0074】
そして、表示態様変更処理のステップS110において、入力時刻間隔判定部25が、第1手書きデータおよび第2手書きデータの入力時刻間隔Tbが判定基準時間T2を超過したと判定すると、表示態様変更処理のステップS111において、表示制御部26は、
図6(e)に示すように、第2画像302の表示態様を変更する。
【0075】
本実施形態に係る表示装置2によれば、第1手書きデータおよび第2手書きデータの入力された時刻に基づいて、第1手書きデータと第2手書きデータとを判別して、第2画像302の表示態様を変更することができる。
【0076】
これによって、例えば、
図6(e)に示すように、表示された位置が重なっている場合や、非常に近接している場合であっても、第2画像302の表示態様のみを変更することができる。
【0077】
第1手書きデータが入力されてから第2手書きデータが入力されるまでの時間が所定の時間以上であること又は所定の時間を超過したという条件は、複数の手書きデータを区別するための所定の条件の一例である。
【0078】
本実施形態において、第2手書きデータに対する所定の操作として、第2画像302の領域内をペン2500等により長押しする操作が規定されている例を示した。しかし、本発明の範囲はこれに限られず、あらかじめ規定された操作であれば、長押しでなくても良い。例えば、ダブルタップ、トリプルタップ等の操作であっても良い。
【0079】
本実施形態において、接触時間Taが長押し基準時間T1を超過しているか否かの判定は、接触時間Taが長押し基準時間T1以上であるか否かの判定であっても良い。同様に、入力時刻間隔Tbが判定基準時間T2を超過したか否かの判定は、入力時刻間隔Tbが判定基準時間T2以上であるか否かの判定であっても良い。
【0080】
(第二の実施形態)
以下に図面を参照して、第二の実施形態について説明する。第二の実施形態は、第1手書きデータおよび第2手書きデータの入力された位置が所定の位置関係であるか否かを判定する点が、第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
【0081】
図7は、第二の実施形態に係る表示装置の機能の一例を示す図である。
【0082】
本実施形態に係る表示装置2は、第一の実施形態に係る入力時刻間隔判定部25の代わりに、位置関係判定部31をさらに備える。
【0083】
位置関係判定部31は、第1手書きデータが入力された位置と第2手書きデータが入力された位置とが、所定の位置関係であるか否かを判定する。具体的には、位置関係判定部31は、それぞれの手書きデータが入力された位置を、手書きデータに含まれる座標に基づいて特定する。例えば、位置関係判定部31は、手書きデータに含まれるすべてのX座標の平均値と、Y座標の平均値とを算出して、算出されたX座標の平均値とY座標の平均値とによって示される位置を手書きデータが入力された位置とする。なお、以下の説明では、ディスプレー220の上方向をY軸正方向、右方向をX軸正方向とする。
【0084】
また、本実施形態に係る判定基準情報90は、第1手書きデータが入力された位置と第2手書きデータが入力された位置とが所定の位置関係であるか否かを、位置関係判定部31が判定するための基準となる情報である。
【0085】
判定基準情報90は、例えば、第2手書きデータの入力された位置が、第1手書きデータの入力された位置の下方であるという位置関係を示す情報である。具体的には、判定基準情報90は、第2手書きデータに含まれるY座標の平均値が、第1手書きデータに含まれるY座標の平均値よりも小さいという位置関係を示す情報であっても良い。
【0086】
次に、本実施形態に係る表示装置2の動作について説明する。
【0087】
図8は、第二の実施形態に係る表示態様変更処理のフローの一例を示す図である。
【0088】
本実施形態に係る表示態様変更処理のステップS201からステップS207までは、第一の実施形態に係る表示態様変更処理のステップS101-S102、ステップS104およびステップS106-ステップS109までと同様である。ステップS207の処理に続いて、位置関係判定部31は、第1手書きデータが入力された位置と第2手書きデータが入力された位置とが所定の位置関係であるか否かを判定する(ステップS208)。
【0089】
そして、位置関係判定部31が、所定の位置関係であると判定すると(ステップS208:Yes)、表示制御部26は、第2画像の表示態様を変更する(ステップS209)。
【0090】
また、位置関係判定部31が、所定の位置関係でないと判定すると(ステップS208:No)、表示制御部26は、第1画像および第2画像の表示態様を変更する(ステップS210)。
【0091】
図9は、第二の実施形態に係る表示態様変更処理の結果を説明するための図である。
【0092】
表示態様変更処理の開始時点において、一例として、
図9(a)に示すように、ディスプレー220に表示された画面300に手書きデータに基づく画像が含まれている。そして、表示態様変更処理のステップS201およびステップS202が実行されると、
図9(b)に示すように、第1手書きデータに基づく第1画像301が画面300に表示される。
【0093】
続いて、表示態様変更処理のステップS203およびステップS204が実行されると、第2手書きデータに基づく第2画像302が画面300に表示される。そして、表示態様変更処理のステップS105において、接触領域判定部24は、ペン2500等の接触位置303が第2画像302の領域内であると判定し、表示態様変更処理のステップS206およびステップS207において、接触時間計測部22が計測した接触時間Taが長押し基準時間T1を超過していると判定される。
【0094】
そして、表示態様変更処理のステップS208において、位置関係判定部31が、第1手書きデータが入力された位置と第2手書きデータが入力された位置とが所定の位置関係であると判定すると、表示態様変更処理のステップS209において、表示制御部26は、
図9(c)に示すように、第2画像302の表示態様を変更する。
【0095】
本実施形態に係る表示装置2によれば、第1手書きデータが入力された位置と第2手書きデータが入力された位置との位置関係に基づいて、第1手書きデータと第2手書きデータとを判別して、第2画像302の表示態様を変更することができる。これによって、例えば、第1手書きデータおよび第2手書きデータの入力された時刻が近い場合であっても、位置関係によっては、第2画像302の表示態様のみを変更することができる。
【0096】
また、判定基準情報90は、第2手書きデータの入力された位置が、第1手書きデータの入力された位置の下方であるという位置関係を規定している場合、例えば、
図9(c)に示すように、横書きの文字列を示す手書きデータが入力された場合には、文字列ごとに表示態様を変更することができる。
【0097】
なお、第2手書きデータの入力された位置が、第1手書きデータの入力された位置の下方であるという位置関係は、上述した具体例以外の関係であっても良い。例えば、判定基準情報90は、第2手書きデータに含まれるストロークデータのすべてのY座標が、第1手書きデータに含まれるストロークデータのどのY座標よりも小さいという位置関係を示す情報であっても良い。
【0098】
第1手書きデータが入力された位置と第2手書きデータが入力された位置とが所定の位置関係であるという条件は、複数の手書きデータを区別するための所定の条件の一例である。
【0099】
また、所定の位置関係は、他でも良い。例えば、所定の位置関係は、第2手書きデータの入力された位置が、第1手書きデータの入力された位置の左方であるという位置関係であっても良い。そのようにすれば、縦書きの文字列を示す手書きデータが入力された場合には、文字列ごとに表示態様を変更することができる。
【0100】
また、所定の位置関係は、第1手書きデータの入力された位置を示す座標点と第2手書きデータの入力された位置を示す座標点との間の距離dtが、所定の長さを超過しているという位置関係であっても良い。
【0101】
具体的には、距離dtは、第2手書きデータに含まれるストロークデータのすべての座標点と、第1手書きデータに含まれるストロークデータのすべての座標点との間の距離のうち、最小の距離である。
【0102】
この場合、第1手書きデータの入力された位置を示す座標点は、第1手書きデータに含まれるストロークデータのすべての座標点のうち、第2手書きデータのすべての座標点に最も近い座標点である。
【0103】
同様に、第2手書きデータの入力された位置を示す座標点は、第2手書きデータに含まれるストロークデータのすべての座標点のうち、第1手書きデータのすべての座標点に最も近い座標点である。
【0104】
図10は、第二の実施形態の変形例に係る表示態様変更処理の結果を説明するための図である。
【0105】
表示態様変更処理の開始時点において、一例として、
図10(a)に示すように、ディスプレー220に表示された画面300に手書きデータに基づく画像が含まれている。そして、表示態様変更処理のステップS201およびステップS202が実行されると、第1手書きデータに基づく第1画像301が画面300に表示される。
【0106】
続いて、表示態様変更処理のステップS203およびステップS204が実行されると、
図10(b)に示すように、第2手書きデータに基づく第2画像302が画面300に表示される。そして、表示態様変更処理のステップS205において、接触領域判定部24は、ペン2500等の接触位置303が第2画像302の領域内であると判定し、表示態様変更処理のステップS206およびステップS207において、接触時間計測部22が計測した接触時間Taが長押し基準時間T1を超過していると判定される。
【0107】
そして、表示態様変更処理のステップS208において、位置関係判定部31が、第1手書きデータが入力された位置と第2手書きデータが入力された位置が所定の位置関係であると判定すると、表示態様変更処理のステップS209において、表示制御部26は、
図10(c)に示すように、第2画像302の表示態様を変更する。
【0108】
本変形例に係る表示装置2によれば、第1手書きデータが入力された位置を示す座標点と第2手書きデータの入力された位置を示す座標点との間の距離dtが、所定の長さを超過したか否かに基づいて、第1手書きデータと第2手書きデータとを判別して、第2画像302の表示態様を変更することができる。
【0109】
これによって、例えば、
図10(c)に示すように、離れた位置に入力された複数の手書きデータを判別して、第2画像302の表示態様を変更することができる。
【0110】
距離dtは、第2手書きデータに含まれるストロークデータの座標の平均値を示す座標点と、第1手書きデータに含まれるストロークデータの座標の平均値を示す座標点との間の距離としても良い。
【0111】
本実施形態において、距離dtが所定の長さを超過したか否かの判定は、距離dtが所定の長さ以上であるか否かの判定であっても良い。
【0112】
本実施形態において、位置関係判定部31は、第1手書きデータの入力された位置および第2手書きデータの入力された位置を、ストロークデータに含まれる座標に基づき決定するものとしたが、これに限定されない。第1手書きデータの入力された位置および第2手書きデータの入力された位置は、ディスプレーにおいて第1画像が描画された位置と、第2画像が描画された位置と、に基づいて決定しても良い。位置関係判定部31が処理するタイミングでは、第1画像および第2画像がすでに表示されているため、描画された位置を示すデータは、RAM203等に格納されている。
【0113】
(第三の実施形態)
以下に図面を参照して、第三の実施形態について説明する。第三の実施形態は、第1手書きデータ、第2手書きデータおよび他の手書きデータの入力順序に基づいて所定の条件を満たすか否かをさらに判定する点が、第二の実施形態と相違する。よって、以下の第三の実施形態の説明では、第二の実施形態との相違点についてのみ説明し、第二の実施形態と同様の機能構成を有するものには、第二の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
【0114】
図11は、第三の実施形態に係る表示装置の機能の一例を示す図である。
【0115】
本実施形態に係る表示装置2は、入力順序判定部32をさらに備える。
【0116】
入力順序判定部32は、第1手書きデータの入力後であって、第2手書きデータの入力前に、他の手書きデータ(第3手書きデータ)が入力されたか否かを判定する。
【0117】
また、本実施形態に係る判定基準情報90は、第1手書きデータの入力後であって、第2手書きデータの入力前に、第3手書きデータが入力されたか否かを入力順序判定部32が判定するための基準となる情報である。
【0118】
次に、本実施形態に係る表示装置2の動作について説明する。
【0119】
図12は、第三の実施形態に係る表示態様変更処理のフローの一例を示す図である。
【0120】
本実施形態に係る表示態様変更処理のステップS301およびステップS302は、第二の実施形態に係る表示態様変更処理のステップS201およびステップS202と同様である。ステップS302の処理に続いて、表示装置2は、第3手書きデータが入力されたか否かを判定する(ステップS303)。
【0121】
表示装置2は、第3手書きデータが入力されたと判定すると(ステップS303:Yes)、第3手書きデータの入力を受け付ける(ステップS304)。そして、表示装置2は、第3手書きデータに基づく画像(第3画像)を表示する(ステップS305)。
【0122】
また、表示装置2は、第3手書きデータが入力されていないと判定すると(ステップS303:No)、ステップS304およびステップS305の処理をスキップする。
【0123】
続く、ステップS306からステップS309までの処理は、第二の実施形態に係る表示態様変更処理のステップS203からステップS207までと同様である。
【0124】
ステップS309の処理に続いて、入力順序判定部32は、第1手書きデータの入力後であって、第2手書きデータの入力前に、第3手書きデータが入力されたか否かを判定する(ステップS311)。
【0125】
そして、入力順序判定部32が、第3手書きデータが入力されたと判定すると(ステップS311:Yes)、位置関係判定部31は、第3手書きデータが入力された位置と第2手書きデータが入力された位置とが所定の位置関係であるか否かを判定する(ステップS312)。
【0126】
そして、位置関係判定部31が、所定の位置関係であると判定すると(ステップS312:Yes)、表示制御部26は、第2画像の表示態様を変更する(ステップS315)。
【0127】
また、位置関係判定部31が、所定の位置関係でないと判定すると(ステップS312:No)、第2画像および第3画像の表示態様を変更する(ステップS314)。
【0128】
また、入力順序判定部32が、第3手書きデータが入力されていないと判定すると(ステップS311:No)、位置関係判定部31は、第1手書きデータが入力された位置と第2手書きデータが入力された位置とが所定の位置関係であるか否かを判定する(ステップS313)。
【0129】
そして、位置関係判定部31が、所定の位置関係であると判定すると(ステップS313:Yes)、表示制御部26は、第2画像の表示態様を変更する(ステップS315)。
【0130】
また、位置関係判定部31が、所定の位置関係でないと判定すると(ステップS313:No)、表示制御部26は、第1画像および第2画像の表示態様を変更する(ステップS316)。
【0131】
図13は、第三の実施形態に係る表示態様変更処理の結果を説明するための図である。
【0132】
表示態様変更処理の開始時点において、一例として、
図13(a)に示すように、ディスプレー220に表示された画面300に手書きデータに基づく画像が含まれている。そして、表示態様変更処理のステップS301およびステップS302が実行されると、第1手書きデータに基づく第1画像301が画面300に表示される。
【0133】
続いて、表示態様変更処理のステップS303からステップS305までが実行されると、第3手書きデータに基づく第3画像304が画面300に表示され、表示態様変更処理のステップS306およびステップS307が実行されると、第2手書きデータに基づく第2画像302が画面300に表示される。
【0134】
そして、表示態様変更処理のステップS308において、
図13(b)に示すように、接触領域判定部24は、ペン2500等の接触位置303が第2画像302の領域内であると判定し、表示態様変更処理のステップS309およびステップS310において、接触時間計測部22が計測した接触時間Taが長押し基準時間T1を超過していると判定される。
【0135】
そして、表示態様変更処理のステップS311において、入力順序判定部32が、第1手書きデータの入力後であって、第2手書きデータの入力前に、第3手書きデータが入力されたと判定する。
【0136】
続いて、表示態様変更処理のステップS312において、位置関係判定部31が、第3手書きデータが入力された位置と第2手書きデータが入力された位置とが所定の位置関係であると判定する。例えば、第3手書きデータが入力された位置を示す座標点と第2手書きデータが入力された位置を示す座標点との間の距離dtが所定の長さを超過していると判定する。
【0137】
すると、表示態様変更処理のステップS315において、表示制御部26は、
図13(c)に示すように、第2画像302の表示態様を変更する。
【0138】
本実施形態に係る表示装置2によれば、第1手書きデータ、第2手書きデータおよび第3手書きデータの入力された順序に基づいて、第1手書きデータと第2手書きデータとを判別して、第2画像302の表示態様を変更することができる。
【0139】
これによって、例えば、第1手書きデータおよび第2手書きデータの入力された時刻が近い場合や、第1手書きデータと第2手書きデータの入力された位置が近い場合であっても、入力された順序によっては、第2画像302の表示態様のみを変更することができる。
【0140】
第1手書きデータの入力後であって、第2手書きデータの入力前に第3手書きデータが入力されたという条件は、複数の手書きデータを区別するための所定の条件の一例である。
【0141】
なお、本実施形態において、第1手書きデータと第2手書きデータとを入力順序判定部32の判定によって区別し、第2手書きデータと第3手書きデータとを位置関係判定部31の判定によって区別する例を示したが、第2手書きデータと第3手書きデータを区別するための条件は他でも良い。
【0142】
例えば、表示装置2が入力時刻間隔判定部25を備え、入力時刻間隔判定部25が、第3手書きデータが入力されてから第2手書きデータが入力されるまでの時間に基づいて判定しても良い。
【0143】
(第四の実施形態)
以下に図面を参照して、第四の実施形態について説明する。第四の実施形態は、第1手書きデータの入力を受け付けた機器と第2手書きデータの入力を受け付けた機器が異なるか否かを判定する点が、第一の実施形態と相違する。よって、以下の第四の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
【0144】
図14は、第四の実施形態に係る表示システムの全体構成の一例を示す図である。
【0145】
表示システム1は、表示装置2aと表示装置2bとを備える。表示装置2aおよび表示装置2bを区別しないときは、総称して表示装置2という。
【0146】
表示装置2は、通信ネットワーク3を介して、互いに通信可能に接続されている。表示装置2は、遠隔会議等に使用され、入力された手書きデータ等を互いに通信して、同一の画面を表示する。
【0147】
図15は、第四の実施形態に係る表示装置の機能の一例を示す図である。
【0148】
本実施形態に係るネットワーク通信部28は、通信ネットワーク3を介して、他の表示装置2に自機に入力された手書きデータを送信する。また、ネットワーク通信部28は、他の表示装置2に入力された手書きデータを受信する。受信した手書きデータは、入力を受け付けた機器を示す属性情報を含む。
【0149】
また、本実施形態に係る表示装置2は、第一の実施形態に係る入力時刻間隔判定部25の代わりに、入力機器判定部33をさらに備える。
【0150】
入力機器判定部33は、第1手書きデータの入力を受け付けた機器と、第2手書きデータの入力を受け付けた機器が異なるかを判定する。
【0151】
また、本実施形態に係る判定基準情報90は、第1手書きデータの入力を受け付けた機器と、第2手書きデータの入力を受け付けた機器が異なるか否かを入力機器判定部33が判定するための基準となる情報である。
【0152】
次に、本実施形態に係る表示装置2の動作について説明する。
【0153】
図16は、第四の実施形態に係る表示態様変更処理のフローの一例を示す図である。
【0154】
本実施形態に係る表示態様変更処理のステップS401からステップS407までは、第一の実施形態に係る表示態様変更処理のステップS101-S102、ステップS104およびステップS106-ステップS109までと同様である。ステップS407の処理に続いて、入力機器判定部33は、第1手書きデータの入力を受け付けた機器と、第2手書きデータの入力を受け付けた機器が異なるか否かを判定する(ステップS408)。
【0155】
そして、入力機器判定部33が、入力を受け付けた機器が異なると判定すると(ステップS408:Yes)、表示制御部26は、第2画像の表示態様を変更する(ステップS409)。
【0156】
また、入力機器判定部33が、入力を受け付けた機器が同じであると判定すると(ステップS408:No)、表示制御部26は、第1画像および第2画像の表示態様を変更する(ステップS410)。
【0157】
表示態様変更処理の開始時点において、一例として、
図6(a)に示すように、ディスプレー220に表示された画面300に手書きデータに基づく画像が含まれている。そして、表示態様変更処理のステップS401およびステップS402が実行されると、
図6(b)に示すように、第1手書きデータに基づく第1画像301が画面300に表示される。第1手書きデータは、例えば、表示装置2aが入力を受け付けた手書きデータである。
【0158】
続いて、表示態様変更処理のステップS403およびステップS404が実行されると、
図6(c)に示すように、第2手書きデータに基づく第2画像302が画面300に表示される。第2手書きデータは、例えば、表示装置2bが入力を受け付けた手書きデータである。
【0159】
そして、表示態様変更処理のステップS405において、
図6(d)に示すように、接触領域判定部24は、ペン2500等の接触位置303が第2画像302の領域内であると判定し、表示態様変更処理のステップS406およびステップS407において、接触時間計測部22が計測した接触時間Taが長押し基準時間T1を超過していると判定される。
【0160】
そして、表示態様変更処理のステップS408において、入力機器判定部33が、第1手書きデータの入力を受け付けた機器と第2手書きデータの入力を受け付けた機器が異なると判定すると、表示態様変更処理のステップS409において、表示制御部26は、
図6(e)に示すように、第2画像302の表示態様を変更する。
【0161】
本実施形態に係る表示装置2によれば、第1手書きデータおよび第2手書きデータの入力を受け付けた機器に基づいて、第1手書きデータと第2手書きデータとを判別して、第2画像302の表示態様を変更することができる。
【0162】
これによって、例えば、第1手書きデータおよび第2手書きデータの入力された時刻が近い場合や、入力された位置が近い場合であっても、入力を受け付けた機器によっては、第2画像302の表示態様のみを変更することができる。
【0163】
第1手書きデータの入力を受け付けた機器と第2手書きデータの入力を受け付けた機器が異なるという条件は、複数の手書きデータを区別するための所定の条件の一例である。
【0164】
以下では表示装置2の他の構成例について説明する。
【0165】
上述した各実施形態では、表示装置2が大型のタッチパネルを有するものとして説明されているが、表示装置2はタッチパネルを有するものに限られない。
【0166】
図17は、表示装置の他の構成例を示す第一の図である。
【0167】
図17では、通常のホワイトボード413の上辺にプロジェクター411が設置されている。このプロジェクター411が表示装置2に相当する。通常のホワイトボード413とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。
【0168】
プロジェクター411は超短焦点の光学系を有しており、10cm程度から歪みの少ない映像をホワイトボード413に投影できる。この映像は、無線又は有線で接続されたPC400-1から送信されてもよいし、プロジェクター411が記憶していてもよい。
【0169】
ユーザーは専用の電子ペン2501を使ってホワイトボード413に手書きする。電子ペン2501は、ユーザーが手書きのためにホワイトボード413に押しつけるとスイッチがONになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター411はカメラを有しており、発光部を撮像して画像を解析し電子ペン2501の方向を特定する。また、電子ペン2501は発光と共に音波を発信しており、プロジェクター411は音波の到達時間により距離を算出する。方向と距離により電子ペン2501の位置を特定できる。電子ペン2501の位置には手書きされたデータが描画(投影)される。
【0170】
プロジェクター411はメニュー430を投影するので、ユーザーが電子ペン2501でボタンを押下すると、プロジェクター411が電子ペン2501の位置とスイッチのON信号により押下されたボタンを特定する。例えば、保存ボタン431が押下されると、ユーザーが手書きした手書きされたデータ(座標点列)がプロジェクター411で保存される。プロジェクター411は、予め定められたサーバー412又はUSBメモリー2600等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー430は表示されなくてもよい。
【0171】
図18は、表示装置の他の構成例を示す第二の図である。
【0172】
表示装置2として、端末装置600、画像投影装置700A、及び、ペン動作検出装置810を有する。
【0173】
端末装置600は、画像投影装置700A及びペン動作検出装置810と有線で接続されている。画像投影装置700Aは、端末装置600により入力された画像データをスクリーン800に投影させる。
【0174】
ペン動作検出装置810は、電子ペン820と通信を行っており、スクリーン800の近傍における電子ペン820の動作を検出する。具体的には、電子ペン820は、スクリーン800上において、電子ペン820が示している点を示す座標情報を検出し(検出方法は
図17と同様でよい)、端末装置600へ送信する。
【0175】
端末装置600は、ペン動作検出装置810から受信した座標情報に基づき、電子ペン820によって入力される手書きデータの画像データを生成し、画像投影装置700Aによって手書きデータの画像をスクリーン800に描画させる。
【0176】
また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン820によって入力された手書きデータの画像とを合成した重畳画像を示す重畳画像データを生成する。
【0177】
図19は、表示装置の他の構成例を示す第三の図である。
【0178】
図19の例では、表示装置2として、端末装置600と、ディスプレー800Aと、ペン動作検出装置810とを有する。
【0179】
ペン動作検出装置810は、ディスプレー800Aの近傍に配置され、ディスプレー800A上に、電子ペン820Aが示している点を示す座標情報を検出し(検出方法は
図26と同様でよい)、端末装置600へ送信する。なお、
図28の例では、電子ペン820Aは、端末装置600によってUSBコネクタを介して充電されても良い。
【0180】
端末装置600は、ペン動作検出装置810から受信した座標情報に基づき、電子ペン820Aによって入力される手書きデータの画像を示す画像データを生成し、ディスプレー800Aに表示させる。
【0181】
図20は、表示装置の他の構成例を示す第四の図である。
【0182】
図20の例では、表示装置2として、端末装置600と、画像投影装置700Aとを有する。
【0183】
端末装置600は、電子ペン820Bと無線通信(Bluetooth(登録商標)等)を行って、スクリーン800上において電子ペン820Bが示す点の座標情報を受信する。座標情報は、スクリーン800に形成された微小な位置情報を電子ペン820Bが読み取ってもよいし、スクリーン800から座標情報を受信してもよい。
【0184】
そして、端末装置600は、受信した座標情報に基づき、電子ペン820Bにより入力される手書きデータの画像の画像データを生成し、画像投影装置700Aに手書きデータの画像を投影させる。
【0185】
また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン820によって入力された手書きデータの画像とを合成した重畳画像を示す重畳画像データを生成する。
【0186】
以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。
【0187】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0188】
文字列は文字コードとして、手書きデータは座標点データとして表示装置2に保存される。また、各種の記憶媒体に保存したり、ネットワーク上の記憶装置に保存したりしておいて、後で、表示装置2からダウンロードして再使用することができる。再使用する表示装置2はどの表示装置でもよく、一般的な情報処理装置でもよい。したがって、ユーザーは手書きした内容を異なる表示装置2で再現して会議などを継続することができる。
【0189】
また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置2は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークデータとしてプロジェクターが描画(投影)する。
【0190】
また、
図4などの構成例は、表示装置2による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置2の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
【0191】
また、表示装置2が行う処理の一部を、表示装置2とネットワークを介して接続されたサーバーが行ってもよい。
【0192】
また、本実施形態において、比較の対象として閾値が例示されていたとしても閾値は例示された値には限定されない。このため、本実施形態では、全ての閾値に関し、閾値未満と閾値以下という記載は同等の意味を持ち、閾値超過と閾値以上という記載は同等の意味を持つ。例えば、閾値を11とした場合の閾値未満という記載は閾値が10である場合の閾値以下と同等の意味を持つ。また、閾値を10とした場合の閾値超過という記載は閾値が11である場合の閾値以上と同等の意味を持つ。
【0193】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)や従来の回路モジュール等のデバイスを含むものとする。
【0194】
上記で説明した実施形態の各機能は、表示装置2の備えるCPU201の動作を規定するOS(Operating system)上で動作するアプリケーションプログラムによって実現され得る。
【0195】
尚、本実施形態が適用される装置は、タッチ操作によって、オブジェクトを操作する機能を備えた表示装置であれば良く、電子黒板に限定されにない。本実施形態が適用される表示装置は、例えば、PJ(Projector:プロジェクタ)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、ネットワーク家電、自動車(Connected Car)、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、ウェアラブルPC等であってもよい。
【0196】
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0197】
1 表示システム
2 表示装置
21 接触位置検出部
22 接触時間計測部
23 描画データ生成部
24 接触領域判定部
25 入力時刻間隔判定部
26 表示制御部
27 データ記録部
28 ネットワーク通信部
29 操作受付部
30 記憶部
31 位置関係判定部
32 入力順序判定部
33 入力機器判定部
【先行技術文献】
【特許文献】
【0198】