IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023112497
(43)【公開日】2023-08-14
(54)【発明の名称】表示装置、表示方法、プログラム
(51)【国際特許分類】
   G06F 3/14 20060101AFI20230804BHJP
   G06F 3/0487 20130101ALI20230804BHJP
   H04N 1/00 20060101ALI20230804BHJP
【FI】
G06F3/14 400
G06F3/14 310A
G06F3/0487
H04N1/00 127Z
H04N1/00 C
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022014314
(22)【出願日】2022-02-01
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】袴谷 未来
【テーマコード(参考)】
5B069
5C062
5E555
【Fターム(参考)】
5B069AA20
5B069BB11
5B069LA03
5C062AA05
5C062AA13
5C062AA35
5C062AA37
5C062AB20
5C062AB25
5C062AB38
5C062AB41
5C062AB42
5C062AB43
5C062AB44
5C062AB46
5C062AC02
5C062AC04
5C062AC05
5C062AC22
5C062AC42
5C062AC58
5C062AE15
5C062AF12
5E555AA63
5E555BA28
5E555BB04
5E555BC09
5E555CA50
5E555CB74
5E555CC22
5E555DA01
5E555FA00
(57)【要約】
【課題】異なる識別情報を表示する表示装置を提供すること。
【解決手段】端末装置30と通信できる表示装置2であって、予め設定されているタイミングが経過するごとに異なる第一の識別情報を表示する表示制御部と、前記端末装置に入力された第二の識別情報を前記端末装置から受信する通信部と、を有し、前記通信部は、前記第一の識別情報と前記第二の識別情報が一致する場合、前記端末装置との通信を行い、一致しない場合、前記端末装置との通信を制限することを特徴とする。
【選択図】図1
【特許請求の範囲】
【請求項1】
端末装置と通信できる表示装置であって、
予め設定されているタイミングが経過するごとに異なる第一の識別情報を表示する表示制御部と、
前記端末装置に入力された第二の識別情報を前記端末装置から受信する通信部と、を有し、
前記通信部は、前記第一の識別情報と前記第二の識別情報が一致する場合、前記端末装置との通信を行い、一致しない場合、前記端末装置との通信を制限することを特徴とする表示装置。
【請求項2】
前記第一の識別情報と前記第二の識別情報が一致する場合、前記端末装置から位置情報を取得する位置情報受付部、を有し、
前記位置情報受付部が受け付けた位置情報を前記表示制御部が表示することを特徴とする請求項1に記載の表示装置。
【請求項3】
前記表示装置の移動を検出する移動検出部を有し、
前記移動検出部が前記表示装置の移動を検出した場合、前記表示制御部は、前記端末装置から位置情報を送信するよう促す旨を表示することを特徴とする請求項2に記載の表示装置。
【請求項4】
前記位置情報受付部が前記端末装置からすでに前記位置情報を取得している状態で、任意の端末装置から別の位置情報を取得した場合、
前記表示制御部は、保存済みの前記位置情報と任意の端末装置から取得した別の位置情報の選択を受け付ける画面を表示することを特徴とする請求項2又は3に記載の表示装置。
【請求項5】
保存済みの前記位置情報と任意の端末装置から取得した別の位置情報が同じ場合、
前記表示制御部は、前記画面を表示しないことを特徴とする請求項4に記載の表示装置。
【請求項6】
前記表示制御部が表示した表示データの保存の際、前記表示制御部は、前記表示データに前記位置情報を対応づけるか否かを受け付ける画面を表示することを特徴とする請求項2~5のいずれか1項に記載の表示装置。
【請求項7】
前記表示装置が起動した際に前記位置情報が保存されている場合、前記表示制御部は、保存されている前記位置情報を表示することを特徴とする請求項2~6のいずれか1項に記載の表示装置。
【請求項8】
入力手段により入力された手書きデータを文字列候補に変換する文字認識部を有し、
前記文字認識部が前記手書きデータを「現在地」「場所」「位置情報」又はこれらのひらがな、カタカナに変換した場合、前記表示制御部は、前記位置情報受付部が受け付けた前記位置情報を前記文字列候補として表示することを特徴とする請求項2~7のいずれか1項に記載の表示装置。
【請求項9】
他の表示装置との連結を検出する連結検出部と、
前記連結検出部が前記他の表示装置との連結を検出した場合、前記位置情報受付部が受け付けた前記位置情報を前記他の表示装置に送信する表示装置間通信部と、を有することを特徴とする請求項2~8のいずれか1項に記載の表示装置。
【請求項10】
前記表示制御部は、前記表示装置が起動するごとに異なる前記第一の識別情報を表示することを特徴とする請求項1~9のいずれか1項に記載の表示装置。
【請求項11】
端末装置と通信できる表示装置が行う表示方法であって、
表示制御部が、予め設定されているタイミングが経過するごとに異なる第一の識別情報を表示するステップと、
通信部が、前記端末装置に入力された第二の識別情報を前記端末装置から受信するステップと、
前記通信部が、前記第一の識別情報と前記第二の識別情報が一致する場合、前記端末装置との通信を行い、一致しない場合、前記端末装置との通信を制限するステップと、
を有することを特徴とする表示方法。
【請求項12】
端末装置と通信できる表示装置を、
予め設定されているタイミングが経過するごとに異なる第一の識別情報を表示する表示制御部と、
前記端末装置に入力された第二の識別情報を前記端末装置から受信する通信部、として機能させ、
前記通信部は、前記第一の識別情報と前記第二の識別情報が一致する場合、前記端末装置との通信を行い、一致しない場合、前記端末装置との通信を制限することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、表示方法、及び、プログラムに関する。
【背景技術】
【0002】
ペンや指等の入力手段でタッチパネルに手書きされたデータを表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は屋内や屋外に配置され、複数のユーザーにより電子黒板などとして利用される。
【0003】
2つのデバイスを連携する技術が知られている(例えば、特許文献1参照。)。特許文献1には、医療デバイスの動的ディスプレー上に連携コードを表示し、医療デバイスに対して所定範囲内に位置する携帯デバイスが連携コードを読み取ると、医療デバイスが携帯デバイスから送信された命令に応答するためのペアリングが行われる技術が開示されています。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術には、表示される識別情報が毎回、同じであるという問題がある。仮に動的ディスプレーが表示する連携コードが毎回同じ場合、連携コードが漏洩し、医療デバイスに対して所定範囲内に位置しない携帯デバイスとペアリングされるおそれがある。
【0005】
本発明は、上記課題に鑑み、異なる識別情報を表示する表示装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題に鑑み、本発明は、端末装置と通信できる表示装置であって、予め設定されているタイミングが経過するごとに異なる第一の識別情報を表示する表示制御部と、前記端末装置に入力された第二の識別情報を前記端末装置から受信する通信部と、を有し、前記通信部は、前記第一の識別情報と前記第二の識別情報が一致する場合、前記端末装置との通信を行い、一致しない場合、前記端末装置との通信を制限することを特徴とする。
【発明の効果】
【0007】
異なる識別情報を表示する表示装置を提供することができる。
【図面の簡単な説明】
【0008】
図1】表示装置が位置情報を取得する手順を説明する概略図である。
図2】表示システムの概略構成図の一例である。
図3】表示装置のハードウェア構成図の一例である。
図4】端末装置のハードウェア構成図の一例である。
図5】表示装置と端末装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である。
図6】操作ガイドと操作ガイドが表示する選択可能候補の一例を示す図である。
図7】表示装置が表示する入力画面の一例を示す図である。
図8】表示装置と接続した端末装置が表示するPIN入力画面の一例を示す図である。
図9】端末装置が表示するメニューリスト画面の一例を示す図である。
図10】表示装置が携帯端末から位置情報を受信するまでの処理を説明するシーケンス図の一例である。
図11】表示装置が位置情報を受信した際に行う処理を説明するフローチャート図の一例である。
図12図11のステップS2で、電源オン時に位置情報が保存されている場合に、表示装置が表示する位置情報通知画面の一例を示す図である。
図13図11のステップS6で表示される更新実施確認画面の一例を示す図である。
図14図11のステップS9で表示される、加速度センサーにより移動が検出された場合の移動検出画面の一例を示す図である。
図15図11のステップS11で表示される、表示データ保存時に表示される保存選択画面の一例を示す図である。
図16】予測変換機能により、手書きデータに基づく位置情報の表示を説明する図である。
図17】ユーザーが「現在地」「場所」「位置情報」等を手書きした場合の表示装置の処理を説明するフローチャート図の一例である。
図18】表示装置が位置情報を保存済みであることを示す位置情報マークの表示例を示す図である。
図19】表示制御部が位置情報マークを表示する手順を説明するフローチャート図の一例である。
図20】2台以上の表示装置が連結された場合の文字認識について説明する図である。
図21】本実施形態の表示装置の右側面図の一例である。
図22】表示装置が連結された際のシステム構成図の一例である。
図23】連結した表示装置が位置情報を共有する手順を説明するフローチャート図の一例である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態の一例として、表示装置及び表示装置が行う表示方法について図面を参照しながら説明する。
【0010】
<表示装置と位置情報について>
本実施形態の表示装置の説明の便宜上、表示装置と位置情報について説明する。本実施形態で説明される表示装置が、屋外の工事現場や災害現場等に持ち運ばれ、作業進捗管理や災害対応等の目的で使用されることがある。表示装置には無線機能も搭載され、複数の現場や本部と遠隔で通信し、情報を共有するような用途でも使用できる。また、表示装置のディスプレーに電子ペーパーが採用された場合、消費電力が低いため工事現場や災害現場等において電源を確保しやすい(バッテリー動作可能)。
【0011】
しかし、表示装置が本体にGNSS(Global Navigation Satellite System)を有していない場合、位置情報を取得することができない。スマートフォンなどと同様にSIMカードを内蔵して3G,4G、5G等で携帯電話基地局との通信が可能であれば電波測位による位置測定が可能だが、SIMカードを装着できない表示装置も多い。
【0012】
工事現場や災害現場等における利用(以下、現場利用という)を想定した強度や防水・防塵機能を装備するためにはアンテナスリットや外部アンテナコネクタを設けることができないため、GNSSアンテナ等を設けることが難しい。また、GNSSの測位衛星や携帯電話基地局との通信は消費電流が大きいため、電子ペーパーのメリットである低消費電力の利点を十分に生かすことができなくなってしまう。
【0013】
表示装置が位置を検出できないと、現場で正確な位置情報の記録を残すことができない。また、表示装置やクラウド上に保存された表示データ(表示装置に手書きされた情報を含む)をユーザーが検索する際に、位置情報からの検索ができず、ファイル名や手書きデータを確認して探す必要がある。
【0014】
表示装置が位置情報を取得できれば、住所が不確定な災害現場や工事現場等で、表示データに一定の精度の位置情報を紐づけることが可能になるため、本部と現場を接続した遠隔会議等において、本部や各現場が互いの現場の正確な位置情報を確認することが可能になる。また、表示データに位置情報が対応付けられることで、保存後に大量の表示データから該当データを探す際に位置情報をもとに表示データの検索が可能になる。
【0015】
<表示装置の位置情報の取得方法>
図1は、表示装置2が位置情報を取得する手順を説明する概略図である。表示装置2と端末装置30はWi-Fi(無線LAN)やBluetooth(登録商標)による通信機能を有している。端末装置30はGNSSによる位置の検出機能を有している。
【0016】
(1) 表示装置2は好ましくは起動するごとに異なるPIN(Personal Identification Number)を表示する。
【0017】
(2) 端末装置30のユーザーはPINを端末装置30に入力する。
【0018】
(3) 端末装置30はPINを表示装置2に送信する。
【0019】
(4) 表示装置2は、受信したPIN(第二の識別情報の一例)と表示したPIN(第一の識別情報の一例)が一致するかを検証し、一致する場合、端末装置30から位置情報を受信し、現在の位置情報として保存する。
【0020】
従って、表示装置2は、GNSSや携帯電話基地局との通信ができなくても、Wi-Fi等で接続した端末装置30から位置情報を受信することにより現在の位置情報を保存することができる。
【0021】
また、表示装置2が表示するPINは、所定のタイミングで変更されるので、該PINが入力された端末装置30は表示装置2の画面が見える範囲に存在することが保証され、より表示装置2に近い正確な位置情報を取得することが可能である。
【0022】
<用語について>
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。
【0023】
ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。ストロークにより手書きされたデータはストロークデータという。手書きデータは1つ以上のストロークデータを有するストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという場合がある。
【0024】
文字列は、手書きデータから変換された1つ以上の文字コードである。文字には、数字、アルファベット、及び、記号等が含まれる。
【0025】
予め設定されているタイミングとは、PINを変更するタイミングであり、管理者等により表示装置2に設定されている。予め設定されているタイミングは、例えば、表示装置2の起動ごと、一定期間の経過、ユーザーが指示したタイミング、表示したPINが使用された(端末装置から送信された)タイミングなどでよい。
【0026】
位置情報は、表示装置がある場所をユーザーが把握できる情報である。位置情報は、例えば住所でよいが、座標、ランドマーク、地域名、建物名、建屋と階数、建屋と部屋番号などでもよい。
【0027】
表示装置が表示する識別情報は、表示装置が見える範囲にいるユーザーが携帯する端末装置と通信することを保証するための情報である。本実施形態では、PINという用語で説明される。
【0028】
<システム構成例>
図2を参照して、表示システム100の構成について説明する。図2は、表示システム100の概略構成図の一例である。表示システム100は、表示装置2を有し、表示装置2と端末装置30とが近距離無線で通信する。無線の通信方式は、例えばWi-Fi(無線LAN)、Bluetooth(登録商標)、赤外線通信、可視光通信、又は、ICカード通信などでよい。また、Wi-Fiの場合、通信方式は、アドホックモードでもよいし、インフラストラクチャモードでもよい。
【0029】
表示装置2は、ペンや指等の入力手段でタッチパネルに手書きされたデータをディスプレーに表示する。本実施形態の表示装置2は、現場で複数人が利用する大型のディスプレーを備え、電子黒板として利用されることが想定される。表示装置2は、位置検出機能(GNSSや携帯電話基地局との通信機能)を有していないことが想定されているが、有していてもよい。この場合、表示装置2は自機の位置検出機能を使用せずに、電力消費を抑え、端末装置30と同じ位置情報を使用する。また、表示装置2は、タッチパネルと近距離無線通信機能を有している装置であればよい。例えば、表示装置2は、タブレット端末、ノートPC(Personal Computer)、PDA(Personal Digital Assistant)、ゲーム機等でもよい。
【0030】
また、表示装置2は、プロジェクタとタッチパネルを有さないホワイトボードとにより実現されてもよい。この場合、プロジェクタは、カメラやセンサーで入力手段の接触位置を検出する。
【0031】
表示装置2は、自動で又はユーザーの操作に応じて、Wi-Fi通信において端末装置30が必要とするSSIDとPINを表示する。ユーザーは少なくともPINを端末装置30に入力することで、端末装置30が表示装置2とWi-Fiで通信できる。
【0032】
また、表示装置2は他の表示装置2とタイル状に連結されることができる。表示装置2はベゼルを除けばほぼ全体がディスプレーなので、複数の表示装置2が連結されるとユーザーが広い画面を使用できる。表示装置2と他の表示装置2は互いの辺に設けられた赤外線I/Fでデータ通信を行い、2つのディスプレーを1つのディスプレーとして表示データを表示する。例えば、連結された複数の表示装置2は、大きな図面などを縮小せずに表示できる。表示装置2と他の表示装置2は、2つのディスプレーを1つのディスプレーとして表示データを表示するだけでなく、2つのディスプレーに同じ内容を表示したり、異なるページを表示したりできる。
【0033】
図2では、2つの表示装置2が連結されているが、3つ以上の表示装置2が連結される場合もある。
【0034】
端末装置30は、位置検出機能と無線通信機能を有する情報処理装置である。端末装置30は、PINの入力と、位置の検出に使用される。端末装置30は、例えば、スマートフォンであるが、撮像装置(デジタルカメラ)、タブレット端末、ノートPC、携帯電話、ゲーム機、PDA、ウェアラブルPC等であってもよい。
【0035】
端末装置30では、表示装置2と通信するためにWebブラウザや専用アプリがインストールされている。ユーザーはこれらを起動し、位置情報を表示装置2に送信する。
【0036】
<装置のハードウェア構成>
続いて、図3を用いて、表示装置2のハードウェア構成を説明する。表示装置2は図示するように情報処理装置又はコンピュータの構成を有している。図3は、表示装置2のハードウェア構成図の一例である。図3に示されているように、表示装置2は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、及び、SSD(Solid State Drive)204を備えている。
【0037】
これらのうち、CPU201は、表示装置2全体の動作を制御する。ROM202は、IPL(Initial Program Loader)等のCPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。SSD204は、OSや表示装置2用のプログラム等の各種データを記憶するが、これらのデータはROM202に記憶されていてもよい。。なお、このプログラムは汎用的なOS(Windows(登録商標)、Mac OS(登録商標)、Android(登録商標)、iOS(登録商標)等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。すなわち、表示装置2は情報処理装置でもよい。
【0038】
また、表示装置2は、ディスプレーコントローラー213、タッチセンサーコントローラー215、タッチセンサー216、ディスプレー220、電源スイッチ227、チルトセンサー217、シリアルインターフェース218、スピーカ219、マイク221、無線通信装置222、赤外線I/F223、電源制御回路224、ACアダプター225、バッテリー226、及び、加速度センサー228を備えている。
【0039】
ディスプレーコントローラー213は、出力画像をディスプレー220等へ出力するために画面表示の制御及び管理を行う。タッチセンサー216は、ディスプレー220上にペン2500やユーザーの手等(ペンやユーザーの手は入力手段となる)が接触したことを検知する。また、タッチセンサー216はペンIDを受信する。
【0040】
タッチセンサーコントローラー215は、タッチセンサー216の処理を制御する。タッチセンサー216は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法を説明する。例えば、光学式の場合、ディスプレー220の上側両端部に設置された2つ受発光装置が、ディスプレー220に平行して複数の赤外線を放射する。赤外線はディスプレー220の周囲に設けられた反射部材によって反射される。受光素子は放射した光の光路と同一の光路上を戻って来る光を受光する。
【0041】
タッチセンサー216は、物体によって遮断された2つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー215に出力し、タッチセンサーコントローラー215が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー215は通信ユニット215aを有しており、ペン2500と無線で通信することができる。例えば、Bluetooth(登録商標)などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット215aに予め1つ以上のペン2500を登録しておくと、ユーザーはペン2500を表示装置2と通信させる接続設定を行わなくても通信できる。
【0042】
電源スイッチ227は、表示装置2の電源のON/OFFを切り換えるためのスイッチである。チルトセンサー217は、表示装置2の傾き角度を検出するセンサーである。チルトセンサー217は加速度センサー228と同じ機能を有してもよい。主に、表示装置2が縦置き、横置き又は、平置きのいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。
【0043】
シリアルインターフェース218はUSBやLANインターフェースなどの外部との通信インターフェースである。シリアルインターフェース218は、外部からの情報の入力などに使用される。スピーカ219は音声の出力に使用され、マイク221は音声の入力に使用される。無線通信装置222は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置222はWi-FiやBluetooth(登録商標)などで通信するが、通信規格は問われない。無線通信装置222はアクセスポイントを形成しており、ユーザーが入手したSSID(Service Set Identifier)とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。
【0044】
なお、無線通信装置222に2つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
aのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。b.のアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。
【0045】
赤外線I/F223は隣に配置された表示装置2を検出する。赤外線I/F223は、赤外線の直進性を利用して、隣に配置された表示装置2のみを検出できる。赤外線I/F223は各辺に1つずつ設けられることが好ましく、表示装置2のどの方向に他の表示装置2が配置されたのかを検出できる(本実施形態では、3辺に配置)。隣の表示装置2は、過去に手書きされた手書きデータ(1つのディスプレー220の広さを1ページとして別のページの手書きデータ)を表示できる。
【0046】
電源制御回路224は表示装置2の電源であるACアダプター225とバッテリー226を制御する。ACアダプター225は商用電源が供給する交流を直流に変換する。
【0047】
ディスプレー220がいわゆる電子ペーパーの場合、画像が描画された後の画像を維持するためにほとんど又は一切電力を消費しないので、バッテリー226による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置2を使用することが可能になる。
【0048】
更に、表示装置2は、バスライン210を備えている。バスライン210は、図3に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0049】
なお、タッチセンサー216は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルでもよい。タッチセンサー216は、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルでもよい。タッチセンサー216は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。
【0050】
タッチセンサー216は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン2500は、細長いペン型である必要はない。
【0051】
加速度センサー228は、表示装置2に生じた、少なくとも水平方向の加速度を検出する。すなわち、加速度センサー228は、接地面に対し水平な方向に生じた加速度を検出でき、移動の有無の判断を可能にする。加速度センサー228がチルトセンサー217を兼ねてもよい。
なお、この表示装置2の構成はあくまで一例であり、この構成に限定されない。
【0052】
<<端末装置>>
図4は、端末装置30のハードウェア構成図である。図4に示されているように、端末装置30は、CPU401、ROM402、RAM403、EEPROM404、CMOSセンサー405、撮像素子I/F406、加速度・方位センサー407、メディアI/F409、GPS受信部411を備えている。
【0053】
これらのうち、CPU401は、端末装置30全体の動作を制御する。ROM402は、IPL等のCPU401の駆動に用いられるプログラムを記憶する。RAM403は、CPU401のワークエリアとして使用される。EEPROM404は、CPU401の制御に従って、端末装置30用プログラム等の各種データの読み出し又は書き込みを行う。CMOS(Complementary Metal Oxide Semiconductor)センサー405は、CPU401の制御に従って被写体(主に自画像)を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、CMOSセンサーは、CCD(Charge Coupled Device)センサー等の撮像手段であってもよい。撮像素子I/F406は、CMOSセンサー405の駆動を制御する回路である。加速度・方位センサー407は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサー等の各種センサーである。メディアI/F409は、フラッシュメモリ等の記録メディア408に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部411は、GPS衛星からGPS信号を受信する。
【0054】
また、端末装置30は、遠距離通信回路412、CMOSセンサー413、撮像素子I/F414、マイク415、スピーカ416、音入出力I/F417、ディスプレー418、外部機器接続I/F(Interface)419、近距離通信回路420、近距離通信回路420のアンテナ420a、及びタッチパネル421を備えている。
【0055】
これらのうち、遠距離通信回路412は、通信ネットワークを介して、他の機器と通信する回路である。CMOSセンサー413は、CPU401の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F414は、CMOSセンサー413の駆動を制御する回路である。マイク415は、音を電気信号に変える内蔵型の回路である。スピーカ416は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F417は、CPU401の制御に従ってマイク415及びスピーカ416との間で音信号の入出力を処理する回路である。ディスプレー418は、被写体の画像や各種アイコン等を表示する液晶や有機EL(Electro Luminescence)などの表示手段の一種である。外部機器接続I/F419は、各種の外部機器を接続するためのインターフェースである。近距離通信回路420は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。タッチパネル421は、利用者がディスプレー418を押下することで、スマートフォン4を操作する入力手段の一種である。
【0056】
また、端末装置30は、バスライン410を備えている。バスライン410は、図4に示されているCPU401等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0057】
<機能について>
次に、図5を用いて表示装置2と端末装置30の機能について説明する。図5は、表示装置2と端末装置30が有する機能をブロック状に分けて説明する機能ブロック図の一例である。
【0058】
<<表示装置>>
表示装置2は、接触位置検出部11、描画データ生成部12、文字認識部13、表示制御部14、データ記録部15、通信部16、操作受付部17、検証部18、Webサーバー機能部19、位置情報受付部20、移動検出部21、連結検出部22、及び、表示装置間通信部23を有している。表示装置2が有する各機能は、図3に示されている各構成要素のいずれかが、SSD204からRAM203上に展開されたプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。
【0059】
接触位置検出部11はタッチセンサー216に対しペン2500が接触した位置の座標を検出する。描画データ生成部12はペン2500のペン先が接触した座標を接触位置検出部11から取得する。描画データ生成部12はこの座標点列を補間することで接続してストロークデータを生成する。
【0060】
文字認識部13はユーザーが手書きした1つ以上のストロークデータ(手書きデータ)に対し文字認識処理を行い、文字コードに変換する。文字認識部13は、ユーザーのペン操作と並行して文字(日本語だけでなく英語などの多国語)、数字、記号(%、$、&など)、図形(線、丸、三角など)等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。
【0061】
表示制御部14は手書きデータ、手書きデータから変換された文字列、及び、ユーザーが操作するための操作メニューなどをディスプレーに表示する。
【0062】
データ記録部15は、表示装置2に手書きされた手書きデータ、変換された文字列、及び、PCの画面、ファイル等を表示データ記憶部2001に記憶する。手書きデータ、文字列(図形も含む)、及び、PCの画面などの画像、ファイル等は表示データとして扱われる。手書きデータについては手書きの中断による時間的な区切り、手書き場所の違いによる距離的な区切りに応じて一まとまりのストロークデータが1つの表示データとなる。本実施形態のデータ記録部15は、位置情報を表示データに対応付けて保存することができる。
【0063】
通信部16はWi-Fi等の近距離無線通信により、端末装置30と通信する。また、通信部16は有線LANに接続して通信することもできる。また、通信部16は、端末装置30が有する携帯電話基地局との通信機能を利用して、インターネットに接続することもできる(端末装置30がテザリング機能に対応している必要がある)。通信部16は、他の拠点に配置された他の表示装置2と手書きデータ、変換された文字列、及び、PCの画面、ファイル等と共有できる。
【0064】
検証部18は予め設定されているタイミングが経過するごとに異なるPINを発行すると共に、通信部16が受信したPINと発行したPINが一致するか否かを判断する。一致する場合、端末装置30との通信が可能になるか、又は、端末装置30から受信した位置情報を表示データに対応付けて保存してよいと判断する。なお、予め設定されているタイミングは、表示装置2の起動ごと、一定期間の経過、ユーザーが指示したタイミング、表示したPINが使用された(端末装置から送信された)タイミングなどでよい。
【0065】
Webサーバー機能部19は、端末装置30に対しWebサーバ(HTMLサーバ、WWWサーバともいう)の機能を提供する。すなわち、Webサーバー機能部19は端末装置30から送信されたHTTPリクエストを解釈してHTTPレスポンス(Webページ)を送信する。これにより、端末装置30はWebページを表示できる。なお、Webサーバー機能部19はWebアプリを実行してもよい。Webページが静的なWebドキュメントのみであるのに対し、Webアプリは、利用者の要求に応じて表示データを動的に変えることができる。
【0066】
位置情報受付部20は、端末装置30又は他の表示装置2から位置情報を取得した場合、位置情報記憶部2002に保存する。位置情報受付部20は、位置情報の同一判断なども行う。
【0067】
移動検出部21は、加速度センサー228が出力する信号に基づいて、表示装置2が移動させられたか否かを判断する。移動検出部21は、水平方向に生じた加速度を積算して速度に変換し、速度と時間の積から移動量を検出する。
【0068】
連結検出部22は、赤外線I/F223が隣に配置された表示装置2を検出した場合、2つ以上の表示装置2が連結されたと判断する。連結検出部22は、どの辺に他の表示装置2が連結されたのかも検出できる。
【0069】
表示装置間通信部23は、赤外線I/F223を介して、他の表示装置2と通信する。本実施形態では、表示装置間通信部23により位置情報の共有が行われるが、後述するサーバー9を経由して共有されてもよい。
【0070】
また、表示装置2は、図3に示されているSSD204やRAM203などに構築される記憶部2000を有し、記憶部2000には表示データ記憶部2001と位置情報記憶部2002が構築されている。
【0071】
【表1】
表1は表示データ記憶部2001が保持する表示データを模式的に示す。表示データは、表示装置2が表示する各種のデータである。
【0072】
・データIDは表示データを識別する識別情報である。
【0073】
・種別は表示データの種類であり、手書き、文字、図形、画像、等がある。手書きはストロークデータ(座標点列)である。文字は手書きデータから変換された文字列(文字コード)である。文字列をテキストデータという場合もある。図形は、三角や四角など手書きデータから変換された幾何学的な形状である。画像は、PCやインターネットなどから取り込まれたJpeg、Png、Tiffなどの画像データである。
【0074】
・表示装置2の1画面をページと称する。ページの項目はそのページ番号である。
【0075】
・座標は、表示装置2の所定の原点を基準とする表示データの位置を示す。表示データの位置は例えば表示データの外接矩形の左上頂点である。座標は例えば、ディスプレーの画素単位で表される。
【0076】
・サイズは表示データの外接矩形の幅と高さである。
【0077】
・位置情報は、各ページが保存された際に、ページごとに保存される位置情報である。位置情報は住所に変換されていることが好ましいが、座標等であってもよい。
【0078】
【表2】
表2は位置情報記憶部2002が保持する位置情報を模式的に示す。なお、位置情報は保存されていない場合もある。
【0079】
<<端末装置>>
端末装置30は、位置情報取得部31、表示制御部32、操作受付部33、及び、通信部34を有している。端末装置30が有する各機能は、図4に示されている各構成要素のいずれかが、EEPROM404からRAM403上に展開されたプログラムに従ったCPU401からの命令によって動作することで実現される機能又は手段である。このプログラムは、Webブラウザ又は表示装置2に専用のアプリのいずれでもよい。
【0080】
通信部34は、Wi-Fi等の近距離無線通信により、表示装置2と通信する。なお、端末装置30は、携帯電話基地局と通信することもでき、ゲートウェイを介してインターネットに接続できる。
【0081】
表示制御部32は、表示装置2内のWebサーバー機能からWebページやWebアプリを取得し、ディスプレーに表示する。操作受付部33は、WebページやWebアプリなど端末装置30に対する操作を受け付ける。
【0082】
位置情報取得部31は、GNSSで運用される測位衛星から受信する信号に基づいて端末装置30の位置(座標)を検出する。位置情報取得部31は、携帯電話基地局が発信する電波の強度に基づいて位置を検出してもよい。表示装置2が屋内にある場合、位置情報取得部31は、IMES(Indoor MEssaging System)により位置情報を取得できる。
【0083】
<選択可能候補の表示例>
続いて、図6を参照して、文字認識により表示される操作ガイド500について説明する。なお、操作ガイド500が表示する文字列候補539は辞書によって様々である。現場や用途に応じた辞書が用意されるため、以下は一例に過ぎない。
【0084】
図6は、操作ガイドと操作ガイドが表示する選択可能候補530の一例である。ユーザーが手書きデータ504を手書きすることで(ペンアップからの時間を測定するタイマーのタイムアウトにより)、操作ガイド500が表示される。操作ガイド500は、操作ヘッダー520、操作コマンドの候補510、手書き認識文字列候補506、変換文字列候補507、文字列/予測変換の候補508、及び、手書きデータ矩形領域表示503を有している。選択可能候補530は、操作コマンドの候補510、手書き認識文字列候補506、変換文字列候補507、文字列/予測変換の候補508である。操作コマンドの候補510を除く選択可能候補530を文字列候補539という。
【0085】
操作ヘッダー520はボタン501、509、502、505を有する。ボタン501は予測変換と、「カナ変換」の切り替え操作を受け付ける。ボタン502は候補表示のページ操作を受け付ける。図6の例では候補表示のページ数は3ページあり、現在は1ページ目を表示している。ボタン505は操作ガイド500の消去を受け付ける。ユーザーがボタン505を押下すると接触位置検出部11が受け付けて表示制御部14にその旨を通知し、表示制御部14が手書きデータ504以外の表示を消去する。
【0086】
ボタン509は一括表示消去を受け付ける。ユーザーがボタン509を押下すると接触位置検出部11が受け付けて表示制御部14にその旨を通知し、表示制御部14が手書きデータを含め、図6に示されているすべての表示を消去して、ユーザーが最初から手書きをしなおすことを可能にする。
【0087】
手書きデータ504はユーザーが手書きした「ぎ」という文字である。手書きデータ504を囲む手書きデータ矩形領域表示503が表示される。図6の例では点線枠で手書きデータ矩形領域表示503が表示されている。手書きデータ504はリアルタイムに文字認識され、文字列候補539が確率降順で並ぶ。
【0088】
手書き認識文字列候補506、変換文字列候補507、文字列/予測変換の候補508にはそれぞれの文字列候補が確率降順で並んでいる。手書き認識文字列候補506の「ぎ」は認識結果の候補である。この例では、表示装置2が正しく「ぎ」を認識している。変換文字列候補507は「ぎ」又は「ぎ」が漢字に変換された場合に「ぎ」又はこの漢字を含む文字列候補である。この例の「技量試」とは「技術量産試作」の略名である。文字列/予測変換の候補508は手書き認識文字列候補506又は変換文字列候補507から生成される、ユーザーが選択することが予想される文字列候補である。文字列/予測変換の候補508は、必ずしも「ぎ」「ぎから変換された漢字」を含まなくてよい。
【0089】
操作コマンドの候補510は操作コマンドの候補である。操作コマンドとは、表示装置2に対する命令である。図6の例では行頭文字の「》」511が操作コマンドの候補であることを示している。操作コマンドは、予め、手書き認識文字列候補506、変換文字列候補507に対応付けられており、対応付けられている手書き認識文字列候補506、変換文字列候補507が表示される場合、表示される。図6では、「ぎ」の文字列候補である「議事録」が操作コマンドと対応付けられていた。このように操作コマンドの候補510は、変換された文字列を含む操作コマンド定義データが見つかる場合に表示されるため、常に表示されるとは限らない。
【0090】
<表示装置の画面例>
図7は、表示装置2が表示する入力画面600の一例を示す。入力画面600は、主に、手書き領域601、メニューボタン602、ズームパンウィンドウ表示603、ページ数表示604、ページナビ表示605、及び、情報表示エリア606を有している。
【0091】
手書き領域601は、ユーザーがペン2500で任意に手書きする領域である。手書きデータは自動的に文字列に変換される。ユーザーの操作で手書きデータが文字列に変換されてもよい。
【0092】
メニューボタン602は、手書きデータの線種602a、線の色602b、取り消し602c、やり直し602d、ゴースト除去602e、回転602f、手書き認識602g、削除602h等をユーザーが選択するアイコンを表示する。
・手書きデータの線種602aは手書きデータの線種(太さ、実線・点線等)の変更を受け付けるアイコンである。
・線の色602bは、手書きデータの色の変更を受け付けるアイコンである。なお、電子ペーパーの場合、モノクロが主流なので色の違いは線種で表される。
・取り消し602cは、最後に入力された操作の取り消しを受け付けるアイコンである。
・やり直し602dは、取り消した操作を再度実行する操作を受け付けるアイコンである。
・ゴースト除去602eは、電子ペーパーで生じるゴースト(消去しきれないで残る灰色の表示データの跡)を削除するため、画面の全体を初期化し、ゴースト除去602eを押下する前の表示データを再表示する操作を受け付けるアイコンである。
・回転602fは画面を90度ずつ回転させる操作を受け付けるアイコンである。
・手書き認識602gは手書きデータに対する文字認識を受け付けるアイコンである。
・削除602hは、現在表示中のページ又はその一部を削除する(ゴミ箱に移動)する操作を受け付けるアイコンである。
【0093】
ズームパンウィンドウ表示603は、手書き領域をズーム(拡大)したり、パン(縮小)したりする操作を受け付けるアイコンである。
【0094】
ページ数表示604は、現在の手書きデータが何ページ目かを示す。
【0095】
ページナビ表示605は、手書き領域の右端に各ページのサムネイルを表示するためのボタンである。
【0096】
情報表示エリア606は、今日の日付606a、時刻606b、IPアドレス606c、SSID606d、PIN606eなどを表示するエリアである。IPアドレス606cは表示装置2に端末装置30が接続するためのIPアドレスである。SSID606dは、表示装置2が提供するアクセスポイントの識別子である。PIN606eは端末装置30がアクセスポイントに接続するための暗号キー(パスワード)である。PIN606eは、暗号キー(パスワード)とは別に表示されてもよい。暗号キーとPINが異なることでセキュリティを向上できる。
【0097】
ユーザーはこのIPアドレス606eを端末装置30で動作するWebブラウザに入力する。また、ユーザーはIPアドレス606eを遠隔地にいるユーザーに伝え、別の表示装置2との遠隔会議や隣接する表示装置2との連結表示が可能である。
【0098】
<端末装置の画面例>
図8(a)は、表示装置2と接続した端末装置30が表示するPIN入力画面610の一例である。端末装置30によってPIN入力画面610は様々なので、図8(a)は一例である。PIN入力画面610は、SSID欄611、PIN入力欄612、送信ボタン613、及び、キャンセルボタン614を有している。ユーザーがPIN入力欄612にPINを入力し、送信ボタン613を押下すると、表示装置2をアクセスポイントとして端末装置30がWi-Fiで接続できる。
【0099】
なお、図8(b)に示すように、表示装置2と端末装置30がWi-Fi等で通信した後に、PIN入力が求められてもよい。図8(b)はPIN入力画面610の変形例である。表示装置2と接続した端末装置30のWebブラウザに上記のIPアドレスを入力すると、端末装置30がPIN入力画面620を表示する。
【0100】
PIN入力画面620は、PIN入力欄622、送信ボタン623、及び、キャンセルボタン624を有している。ユーザーがPIN入力欄622にPINを入力し、送信ボタン623を押下すると、PINによる認証が行われる。
【0101】
本実施形態では、図8(a)のように、PIN入力で表示装置2をアクセスポイントとして端末装置30がWi-Fiで通信する場合を説明する。
【0102】
図9に示すように、端末装置30がWi-Fiで通信を開始した後、ユーザーがWebブラウザにIPアドレスを入力すると、端末装置30が表示装置2のWebサーバー機能部19にリダイレクトされ、メニューリスト画面630を表示する。図9は、端末装置30が表示するメニューリスト画面630の一例である。メニューリスト画面630は、メニューリストを表示する。
【0103】
・位置情報送信メニュー631は、端末装置30が端末装置30の位置情報を表示装置2に送信するためのメニューである。ユーザーが位置情報送信メニューを押下すると、位置情報取得部31が位置情報を取得し、又は、最後に取得してある位置情報を表示装置2に送信する。
【0104】
・アップロードメニュー632は、端末装置30が有するファイルの表示装置2へのアップロードを行うためのメニューである。
【0105】
・ダウンロードメニュー633は、表示装置2が表示している画面のダウンロードを行いpdfファイルとして保存するためのメニューである。
【0106】
・ビューアー634は、表示装置2が表示している画面を端末装置30がリアルタイムに表示するためのメニューである。ユーザーは表示装置2と離れた場所にいても画面を閲覧でき、かつ、次々と手書きデータが追加されても端末装置30で閲覧できる。
【0107】
・リモコン635は、ゴースト除去、回転、手書き認識、削除等をユーザーが端末装置30で操作するためのメニューである。
【0108】
・管理者用設定636は、管理者権限で設定可能なSSIDの設定、PINの桁数の設定などを行うためのメニューである。
【0109】
<動作手順>
次に、図10に基づいて、端末装置30が表示装置2と通信し、表示装置2が携帯端末から位置情報を受信するまでの全体的な流れを説明する。
【0110】
図10は、表示装置2が携帯端末から位置情報を受信するまでの処理を説明するシーケンス図の一例である。
【0111】
S101:表示装置2の検証部18は、電源ONにて起動したことを契機に好ましくは毎回異なるPIN606eを発行し、表示制御部14が表示する。PIN606eは必ずしも毎回異なる必要はない。また、PIN606eは、日付や時刻を利用して発行されてよい。ユーザーはある程度PINを予想できる。
【0112】
S102:ユーザーはPIN入力画面610にPIN606eを入力し、送信ボタン613を押下する。端末装置30の操作受付部33が操作を受け付ける。
【0113】
S103:端末装置30の通信部34はPIN606eを表示装置2に送信する。表示装置2の通信部16はPIN606eを受信し、検証部18が表示したPINと受信したPINが一致するか否かを検証する。図10では一致したものとする。これにより、端末装置30が表示装置2のアクセスポイントに接続した。通信部11は、端末装置30と通信を行う。なお、表示したPINと受信したPINが一致しないと検証部18が判断した場合、通信部16は端末装置30との通信を制限する。制限とは例えばPINの通信は許可するがその他の情報は送受信しないことをいう。
【0114】
S104:ユーザーはWebブラウザに表示装置2のIPアドレス606cを入力する。端末装置30の操作受付部33が操作を受け付ける。
【0115】
S105~S107:端末装置30の通信部34がIPアドレスに接続すると、表示装置2の通信部16は端末装置30をWebサーバー機能部19へリダイレクトさせる。これにより表示装置2は、httpからhttps通信に切り替えるなどセキュリティを向上できる。
【0116】
S108:表示装置2のWebサーバー機能部19は通信部16を介して、メニューリスト画面630の画面情報を端末装置30に送信する。端末装置30の通信部34がメニューリスト画面630の画面情報を受信し、表示制御部32が表示する。
【0117】
S109:ユーザーはメニューリスト画面630の位置情報送信メニュー631を押下する。端末装置30の操作受付部33が操作を受け付ける。
【0118】
S110:端末装置30の位置情報取得部31が現在の位置情報を取得する。測位衛星との通信が困難な場合、位置情報取得部31は最後に取得した位置情報を読み出してもよい。この場合、位置情報取得部31は、ユーザーに最後に取得した位置情報を使用するかを問い合わせるとよい。
【0119】
S111:端末装置30の通信部34は位置情報を表示装置2に送信する。表示装置2の位置情報受付部20は、通信部16を介して位置情報を受信する。
【0120】
以上で、表示装置2が端末装置30の位置情報を取得できた。なお、表示装置2が位置情報を受信した場合の詳細な処理については図11にて説明する。
【0121】
図11は、表示装置2が位置情報を受信した際に行う処理を説明するフローチャート図である。
【0122】
表示装置2は電源のオンにより起動すると、位置情報受付部20が位置情報を保存済みか否か判断する(S1)。すなわち、位置情報受付部20は位置情報記憶部2002に位置情報が保存済みかどうか判断する。
【0123】
位置情報を保存済みの場合、表示制御部14は、保存済みの位置情報を含む位置情報通知画面640を表示する(S2)。こうすることで、電源オフの間に表示装置2が移動されても、ユーザーが起動時に位置情報を確認できる。位置情報通知画面640の一例を図12に示す。
【0124】
次に、位置情報受付部20は、端末装置30から位置情報を受信したか否か判断する(S3)。通信部16が位置情報を受信した場合、位置情報受付部20が位置情報記憶部2002に位置情報を保存する(S4)。ここでは、位置情報記憶部2002に位置情報が記憶されていない状態を説明する。すでに、位置情報記憶部2002に位置情報が記憶されている場合、ステップS6で説明するように、位置情報は、ユーザーが上書きする操作を行うと上書きされる。
【0125】
位置情報記憶部2002に位置情報が記憶されている状態で、通信部16が、端末装置30から保存している位置情報とは異なる位置情報を受信した場合、表示制御部14が位置情報の更新実施確認画面650を表示する(S5、S6)。更新実施確認画面650の一例を図13に示す。
【0126】
更新実施確認画面650は、位置情報が更新されたか(つまり表示装置2が移動したか)否かをユーザーに問い合わせる画面である。なお、ステップS5で位置情報を送信する端末装置30は、ステップS3で位置情報を送信した端末装置30と同じでも異なってもよい。ただし、表示装置2には複数の端末装置30が同時に接続できるので、別の端末装置30が位置情報を送信する可能性の方が高い。また、同じユーザーが何度も位置情報を送信することは少ない。
【0127】
操作受付部17が位置情報の更新実施の選択を受け付けた場合(S7のYes)、処理はステップS4に戻り、位置情報受付部20は新たな位置情報を位置情報記憶部2002に上書き保存する(S4)。
【0128】
操作受付部17が位置情報の更新実施の選択を受け付けない場合(S7のNo)、ステップS5で受信された位置情報は破棄される。
【0129】
次に、移動検出部21は加速度センサー228が検出する信号に基づいて、表示装置2の移動を検出したか否かを判断する(S8)。表示装置2は消費電力が少ないため、バッテリー駆動可能であり、電源オンのまま移動される場合がある。なお、わずかな移動は無視されてよい。例えば、一定以上の加速度が10秒など一定以上継続する移動が検出された場合に、移動検出部21が移動を検出する。
【0130】
移動検出部21が移動を検出した場合、表示制御部14が移動検出画面660を表示する(S9)。移動検出画面660の一例を図14に示す。
【0131】
移動検出画面660の表示に対し、ユーザーが位置情報を表示装置2に送信する場合がある。この場合、図13の更新実施確認画面650が表示される。
【0132】
操作受付部17が位置情報の更新実施の選択を受け付けた場合(S10のYes)、処理はステップS4に戻り、位置情報受付部20は新たな位置情報を記憶部に保存する(S4)。
【0133】
ユーザーが位置情報を表示装置2に送信しない場合(S10のNo)、位置情報は更新されない。
【0134】
ユーザーが表示データを保存する操作を行うと、表示制御部14は、表示データ保存方法の選択を受ける保存選択画面670を表示する(S11)。ユーザーはこれにより、表示データの保存方法を選択する。保存選択画面670の一例を図15に示す。
【0135】
ユーザーが位置情報を含めると入力した場合、データ記録部15は表示データに位置情報を添付し表示データと対応付けて保存する(S12)。
【0136】
ユーザーが表示データを保存しないと入力した場合、データ記録部15は表示データも位置情報も保存しない。
【0137】
ユーザーが位置情報を含めないと入力した場合、データ記録部15は表示データに位置情報を添付しないで表示データを保存する(S13)。
【0138】
表示装置2は、電源がオフされるまで(S14)、図11のフローチャート図の処理を繰り返す。電源がオフされたら処理を終了する。電源オフの場合、原則的に、位置情報記憶部2002の位置情報は削除されないが、ユーザー操作により削除されてよい。
【0139】
<画面例>
図12は、図11のステップS2で、電源オン時に位置情報が保存されている場合に、表示装置2が表示する位置情報通知画面640の一例である。位置情報通知画面640は入力画面にポップアップ表示される。位置情報通知画面640は「現在保存中の位置情報は以下です」というメッセージ641、現在、保存されている位置情報642、及び、OKボタン643を有している。ユーザーは位置情報642が、現在地として妥当か否かを判断し、必要に応じて端末装置30を操作して、位置情報を送信できる。
【0140】
図13は、図11のステップS6で表示される更新実施確認画面650の一例を示す。更新実施確認画面650も任意の画面(位置情報を受信したタイミングで決まる)にポップアップ表示される。更新実施確認画面650が表示されている間、接触位置検出部11は更新実施確認画面650以外への入力を受け付けない。
【0141】
更新実施確認画面650は、「位置情報が複数受信されました。選択して下さい。」というメッセージ651と、2つの位置情報652を表示している。更新実施確認画面650は、既に位置情報を受信し保存済みであるが、更に、異なる位置情報が送信されてきた場合、どちらを選択するかをユーザーに確認する画面である。
【0142】
表示制御部14は、2回目以降に送られてきた位置情報が既に保存されている位置情報と一致した場合は、更新実施確認画面650を表示しない。端末装置30が2台以上の場合も同様である。
【0143】
これにより複数の端末装置30のうち1台のGNSSが誤作動してしまっている場合に、ユーザーが表示装置2でより正確な位置情報を選択することが可能である。
【0144】
なお、表示装置2が複数の位置情報を保存できてもよい。この場合、ユーザーは表示データに添付される位置情報を特定しておけばよい。複数の位置情報を保存しておくことで、頻繁に決まった位置を移動するような用途の場合に、ユーザーは位置情報の再度の送信を省略できる。
【0145】
図14は、図11のステップS9で表示される、加速度センサー228により移動が検出された場合の移動検出画面660の一例である。移動検出画面660は移動の検出時に位置情報を送信するよう促す画面である。移動検出画面660は、「本体の移動を検出しました。正しい位置情報を管理するために再度位置情報を送って下さい。」というメッセージ661を有している。ユーザーは、メッセージ661に応じて端末装置30から位置情報を送信するので、表示装置2が移動された場合に、気づかないでそのまま使用することを抑制し、正しい位置情報に更新できる。
【0146】
図15は、図11のステップS11で表示される、表示データ保存時に表示される保存選択画面670の一例である。保存選択画面670は、「クラウドに文書を保存します。保存の際文書名に現在の位置情報を付加しますか?」というメッセージ674、付加ボタン671、付加しないボタン672、及び、保存しないボタン673を有している。ユーザーは、表示装置2に位置情報が保存されている場合、位置情報を付加するか、付加しないかを選択できる。
【0147】
ここではファイルを保存する場合を説明する。付加しないボタン672が押下された場合、データ記録部15は、ファイル名に例えば「YYMMDD_hhmm」のように日時情報を自動設定する。表示装置2に位置情報が保存されており、保存時に付加ボタン671が押下された場合、データ記録部15は、「YYMMDD_hhmm_東京都大田区中馬込1丁目」のようにファイル名に、位置情報(図15では住所)を付加する。
【0148】
<手書きデータに基づく位置情報の表示>
図16に示すように、保存した位置情報を文字認識部13が利用して、文字列候補539として表示できる。図16(a)は、予測変換機能により、手書きデータ683に基づく位置情報の表示を説明する図である。上記のように、表示装置2の文字認識部13は、手書きデータ683をリアルタイムに文字列に変換できる。例えば、ユーザーが「げんざいち」「現在地」「場所」「位置情報」等と手書きすると、表示制御部14は、位置情報記憶部2002に保存された位置情報を文字列候補に表示する。図16(a)では、「げんざいち」という手書きデータ683に対し、「現在地」684、「東京都大田区中馬込1丁目」685、「現在値」686、「げんざいち」687という文字列候補539が表示されている。
【0149】
図16(b)に示すようにユーザーが「東京都大田区中馬込1丁目」685を選択すると、手書きした場所である拠点名欄688に「東京都大田区中馬込1丁目」と表示される。この機能により、ユーザーは煩雑な住所なども、「場所」などと手書きするだけで正しい住所を容易に入力することが可能である。
【0150】
なお、図16(a)(b)では、表682が表示されている。この表682は、表示制御部14が決まった初期設定用のページを読み込んで自動的に表示する。表には、No,年齢、性別、傷病名、処置・状態、トリアージという列見出しに対し、それぞれセルが配置されている。各セルには、列見出しに応じたフォーマットが設定されている。拠点名欄688についてもフォーマットが設定されている。フォーマットは、数字、性別、アルファベットなどである。文字列候補は、手書きデータが入力されたセルのフォーマットに応じて文字認識するので、認識精度を向上できる。
【0151】
また、表示制御部14は、ユーザーが選択した文字列候補がセルに収まるように、文字列候補の文字サイズを変更して、セル内に文字列候補を表示する。従って、表示装置2は、各セルに、清書された文字をはみ出さないように表示できる。
【0152】
図17は、ユーザーが「現在地」「場所」「位置情報」等を手書きした場合の表示装置2の処理を説明するフローチャート図である。
【0153】
まず、ユーザーがペン2500で手書きすると接触位置検出部11がペンの接触を検出し、ユーザーがペンアップすることで表示制御部14が手書きデータの認識結果(操作ガイド)の表示を開始する(S41)。
【0154】
文字認識部13は、手書きの1ストロークごとに文字認識をバックグラウンドで行っており、ペンアップから一定時間の経過を契機に、認識結果を確定する(S42)。文字認識とは手書きデータの文字コードへの変換である。
【0155】
文字認識部13は「現在値」「場所」「位置情報」又はこれらのひらがな、カタカナが文字列候補539となる手書きデータが入力されたか否かを判断する(S43)。すなわち、文字認識部13は、手書き認識文字列候補506、変換文字列候補507、又は、文字列/予測変換の候補508に「現在値」「場所」「位置情報」又はこれらのひらがな、カタカナが含まれるか否かを判断する。
【0156】
ステップS43の判断がYesの場合、文字認識部13は位置情報を保存済みか否か判断する(S44)。
【0157】
ステップS44の判断がYesの場合、文字認識部13は位置情報記憶部2002に保存されている位置情報を文字列候補539に表示する(S45)。なお、位置情報は、例えば文字列/予測変換の候補508として表示されてもよいし、その他の文字列候補として表示されてもよい。
【0158】
<位置情報マークの表示>
また、図18に示すように、表示装置2が位置情報を保存済みであることを表示すれば、ユーザーは文字列候補に位置情報を表示させられることが分かる。図18は、表示装置2が位置情報を保存済みであることを示す位置情報マーク690の表示例を示す図である。位置情報を保存した表示装置2は、図18に示すように、位置情報マーク690を表示する。位置情報マーク690は常に表示されてもよいし、ユーザー操作で表示されてもよい。位置情報マーク690はどこに表示されてもよいし、図18のデザインは一例である。ユーザーは、現在、表示装置2が端末装置30から受信した位置情報を保存済みかどうか判別できる。
【0159】
また、ユーザーが位置情報マーク690をタップ等すると、保存されている位置情報がポップアップ等で表示されてよい。
【0160】
図19は、表示制御部14が位置情報マーク690を表示する手順を説明するフローチャート図である。表示制御部14は位置情報記憶部2002に位置情報が保存済みか否かを判断する(S31)。
【0161】
位置情報を保存済みの場合(S31のYes)、表示制御部14は位置情報マーク690を表示する(S32)。
【0162】
<2台以上の表示装置が連結された場合の位置情報の共有>
表示装置2は画面を広く使えるようにタイル状に連結することができる。この場合、連結された表示装置2が位置情報も共有できると、ユーザーはどの表示装置2に手書きしても文字列候補539に位置情報を表示できる。
【0163】
図20は、2台以上の表示装置2が連結された場合の文字認識について説明する図である。表示装置2が単体の場合と同様に、表示装置2が連結された場合も、端末装置30と表示装置2が近距離無線通信する。表示装置2Aに端末装置30から位置情報が受信された場合、例えば赤外線I/F223を介して表示装置2Aから表示装置2Bへ位置情報を共有する。
【0164】
表示装置2B側でユーザーが「現在地」「場所」「位置情報」等と手書きした場合、単体の場合と同様に、表示装置2Bは文字列候補539に位置情報(住所)を表示する。ユーザーが位置情報を選択すると保存された位置情報が文字列として表示される。従って、連結時には、ユーザーはどの表示装置2に手書きしても文字列候補539に位置情報を表示できる。
【0165】
図21図22を参照して複数の表示装置2の連結について説明する。図21は、本実施形態の表示装置2の右側面図である。右側側面121は、ディスプレーに向かって右側に位置する。右側側面121は、ディスプレーに対して垂直な垂直側面121aと、ディスプレーの垂直方向に対して傾斜した傾斜側面121bを有する。垂直側面121aは、YZ平面に平行な面である。傾斜側面121bは、垂直側面121aの背面側端部121a1から、YZ平面に対して正面から見て左側に傾斜した面である。
【0166】
右側側面121は、垂直側面121aに赤外線センサー窓131を有する。赤外線I/F223は、赤外線センサー窓131を介して赤外線の信号の送信と受信を行う。連結検出部22は赤外線通信を検出した場合に、他の表示装置2の連結を検出する。
【0167】
図22は、表示装置2の連結時のシステム構成図である。本実施形態の表示装置2では、設計の都合上、表示装置2の三辺にのみ赤外線I/F223が配置されている。このため、2つの赤外線I/F223同士を対向させて複数の表示装置2が連結されると、互いの表示装置2の上下が逆になる。図22(a)では、同じ文字を表示装置2A,2Bが表示しているが文字の上下が逆である。2つの表示装置2で1つの画像を大きく表示する場合も、表示装置2Bが表示する部分は画像の上下が逆になる。
【0168】
そこで、表示装置2A、2Bの一方が画像を回転する必要が生じる。しかし、画像処理は処理負荷が大きいので、サーバー9が画像処理を行う方法が採用される場合がある。
(1) 表示装置2AはLANを経由してサーバー9に接続し、表示する画像の回転要求と共に画像データ、赤外線I/F223で受信した表示装置2BのIPアドレスをサーバー9に送信する。
(2) サーバー9は、画像データを180度回転させ、表示装置2Bに送信する。
【0169】
こうすることで、図22(b)に示すように、互いの表示装置2の上下が逆に連結されても、表示装置2A,Bが同じ向きに画像を表示できる。
【0170】
なお、図22では表示装置2A,2Bが同じ画像を表示しているが、1つの画像を2つの表示装置2A,2Bが大きく表示する場合も同様である。
(1) 表示装置2Aは表示する画像の分割と回転要求と共に画像データ、及び、赤外線I/F223で受信した表示装置2BのIPアドレスをサーバー9に送信する。
(2) サーバー9は、画像データを二等分して、他方を180度回転させ、一方を表示装置2Aに、他方を表示装置2Bに送信する。こうすることで、互いの表示装置2の上下が逆に連結されても、表示装置2A,2Bが1つの画像を同じ向きに表示できる。
【0171】
図23は、連結した表示装置2が位置情報を共有する手順を説明するフローチャート図である。なお、図23の処理は表示装置2Bの処理に相当する。
【0172】
連結検出部22は、自機が他の表示装置2と連結したか否かを判断する(S21)。連結していない場合(S21のNo)、図23の処理は終了する。
【0173】
連結検出部22が連結を検出した場合(S21のYes)、表示装置間通信部23は、他機から位置情報を取得する(S22)。他機が位置情報を保存していない場合は、取得できない。
【0174】
そして、位置情報受付部20は、自機、他機の位置情報の保存状態を判断する(S23)。
【0175】
まず、自機と他機の双方が位置情報を保存している場合、表示制御部14は更新実施確認画面650を表示し、ユーザーによる選択を受け付ける(S24)。自機と他機の双方の位置情報が同じ場合、表示制御部14は更新実施確認画面650を表示しなくてよい。
【0176】
自機のみが位置情報を保存している場合、位置情報受付部20は自機の位置情報をそのまま使用すると判断する(S25)。
【0177】
他機のみが位置情報を保存している場合、位置情報受付部20は他機の位置情報を位置情報記憶部2002に保存する(S26)。
【0178】
以上のような処理により、連結された表示装置2間で位置情報を共有することができる。
【0179】
<主な効果>
以上説明したように、表示装置2は、GNSSや携帯電話基地局との通信ができなくても、Wi-Fi等で接続した端末装置30から位置情報を受信することにより現在の位置情報を保存することができる。
【0180】
また、表示装置2が表示するPINは、所定のタイミングで変更されるので、該PINが入力された端末装置30は表示装置2の画面が見える範囲に存在することが保証され、より表示装置2に近い正確な位置情報を取得することが可能である。
【0181】
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0182】
例えば、本実施形態の表示方法は、タッチパネルを有する情報処理装置であれば好適に適用できる。また、表示装置と同様の機能を有する装置を、電子黒板、電子ホワイトボード、電子情報ボード、インタラクティブボードなどともいう。タッチパネルを搭載した情報処理装置としては、例えば、PJ(Projector:プロジェクタ)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPC又はデスクトップPC等であってもよい。
【0183】
また、本実施形態では、表示装置2が行う処理の一部をサーバーが行ってもよい。例えば、表示装置はストローク情報をサーバーに送信し、サーバーから操作ガイド500に表示する情報を取得して表示する。
【0184】
また、本実施形態では、表示装置2がペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置2は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークとしてプロジェクタが描画(投影)する。
【0185】
また、図5などの構成例は、表示装置2による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置2の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
【0186】
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【0187】
2 表示装置
30 端末装置
100 表示システム
【先行技術文献】
【特許文献】
【0188】
【特許文献1】特表2018-505730号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23