(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024036128
(43)【公開日】2024-03-15
(54)【発明の名称】表示装置、ペン入力システム、方法、及びプログラム
(51)【国際特許分類】
G06F 3/04883 20220101AFI20240308BHJP
G06F 3/03 20060101ALI20240308BHJP
G06F 3/0346 20130101ALI20240308BHJP
G06F 21/31 20130101ALI20240308BHJP
【FI】
G06F3/04883
G06F3/03 400A
G06F3/0346 424
G06F21/31
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022140864
(22)【出願日】2022-09-05
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(72)【発明者】
【氏名】松尾 直紀
【テーマコード(参考)】
5B087
5E555
【Fターム(参考)】
5B087BC03
5B087CC09
5E555AA11
5E555AA22
5E555AA23
5E555AA24
5E555AA25
5E555AA53
5E555BA02
5E555BA04
5E555BA28
5E555BB02
5E555BB04
5E555BB28
5E555BC16
5E555BC18
5E555CA14
5E555CA41
5E555CA42
5E555CA44
5E555CA47
5E555CB10
5E555CB11
5E555CB12
5E555CB57
5E555CB76
5E555CC11
5E555DA08
5E555DA09
5E555DA13
5E555DA23
5E555DA24
5E555DB53
5E555DC09
5E555DC10
5E555DC11
5E555DC13
5E555DC35
5E555DC36
5E555DC37
5E555DD06
5E555DD07
5E555DD08
5E555EA05
5E555EA07
5E555FA00
(57)【要約】
【課題】 電子ペンによるユーザの認証方法には改善の余地があった。
【解決手段】 表示装置は、電子ペンによる入力を受け付けるタッチディスプレイと、前記電子ペンを把持するユーザの生体情報の検出結果に対応する第1データと、加速度、筆圧、及び角速度の少なくとも一つの検出結果に対応する第2データと、を前記電子ペンから受信する受信部と、制御部と、を備える。前記制御部は、前記第1データが所定の条件を満たす場合に、前記第2データに基づいて、前記電子ペンにより入力された第1画像に、前記ユーザの情報を紐づける処理を実行する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
電子ペンによる入力を受け付けるタッチディスプレイと、
前記電子ペンを把持するユーザの生体情報の検出結果に対応する第1データと、加速度、筆圧、及び角速度の少なくとも一つの検出結果に対応する第2データと、を前記電子ペンから受信する受信部と、
前記第1データが所定の条件を満たす場合に、前記第2データに基づいて、前記電子ペンにより入力された第1画像に、前記ユーザの情報を紐づける処理を実行する制御部と、を備える
表示装置。
【請求項2】
前記制御部は、
所定の権限レベルが設定されたアプリケーションに前記第1画像を入力するとき、
前記第1データが所定の条件を満たすもののユーザの権限が前記所定の権限レベルに満たない場合、
前記第1画像を前記ユーザの情報を紐づける処理を実行せずに、前記第1画像を入力できない旨を示す第2画像を前記タッチディスプレイに表示させる、請求項1に記載の表示装置。
【請求項3】
前記制御部は、前記第1画像と、前記第1画像がユーザの情報に紐づけられていることを示す第3画像と、を前記タッチディスプレイに表示させる
請求項1に記載の表示装置。
【請求項4】
前記制御部は、前記第1画像又は前記第3画像を選択する入力を、前記タッチディスプレイが検出した場合、前記ユーザの情報を示す第4画像を前記タッチディスプレイに表示させる
請求項3に記載の表示装置。
【請求項5】
前記制御部は、前記第1画像を編集する操作を前記タッチディスプレイが検出した場合、前記第1データの入力を促す第5画像を前記タッチディスプレイに表示させる、請求項1に記載の表示装置。
【請求項6】
前記制御部は、前記第5画像を表示後に入力された前記第1データが所定の条件を満たす場合に、前記第1画像の編集を許可する、請求項5に記載の表示装置。
【請求項7】
電子ペンと、
前記電子ペンによる入力を受け付けるタッチディスプレイを有する表示装置と、
を備え、
前記電子ペンは、
前記電子ペンを把持するユーザの生体情報を取得する第1センサと、
加速度、筆圧、及び角速度のうち少なくとも一つを検出する少なくとも一つの第2センサと、
前記第1センサの検出結果に対応する第1データ及び前記少なくとも一つの第2センサの検出結果に応じた第2データを、前記表示装置に送信する送信部と、
を有し、
前記表示装置は、
前記第1データ、及び前記第2データを受信する受信部と、
制御部と、
を有し、
前記制御部は、
前記第1データが所定条件を満たした場合、
前記第2データに基づいて、前記電子ペンにより入力された画像に、前記ユーザの情報を紐付ける処理を実行する
ペン入力システム。
【請求項8】
受信部が電子ペンから受信した、前記電子ペンが取得したユーザの生体情報に対応する第1データが所定の条件を満たす場合に、
前記受信部が前記電子ペンから受信した、前記電子ペンに加わる加速度、筆圧、及び角速度の少なくとも一つの検出結果に対応する第2データに基づいて、前記電子ペンによりタッチディスプレイに入力された画像に、前記ユーザの情報を紐づける処理を実行させる、
方法。
【請求項9】
受信部が電子ペンから受信した、前記電子ペンが取得したユーザの生体情報に対応する第1データが所定の条件を満たす場合に、
前記受信部が前記電子ペンから受信した、前記電子ペンに加わる加速度、筆圧、及び角速度の少なくとも一つの検出結果に対応する第2データに基づいて、前記電子ペンによりタッチディスプレイに入力された画像に、前記ユーザの情報を紐づける処理を実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、表示装置、ペン入力システム、方法、及びプログラムに関する。
【背景技術】
【0002】
従来、電子ペンによって入力されたサインデータと、蓄積された1以上の基準サインデータと、を比較することでユーザの認証を行う技術がある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記のようなユーザの認証方法には改善の余地がある。
【課題を解決するための手段】
【0005】
一実施形態において、(1)表示装置は、電子ペンによる入力を受け付けるタッチディスプレイと、前記電子ペンを把持するユーザの生体情報の検出結果に対応する第1データと、加速度、筆圧、及び角速度の少なくとも一つの検出結果に対応する第2データと、を前記電子ペンから受信する受信部と、前記第1データが所定の条件を満たす場合に、前記第2データに基づいて、前記電子ペンにより入力された第1画像に、前記ユーザの情報を紐づける処理を実行する制御部と、を備えることを特徴とするものである。
【0006】
(2)上記(1)の表示装置は、前記制御部は、所定の権限レベルが設定されたアプリケーションに前記第1画像を入力するとき、前記第1データが所定の条件を満たすもののユーザの権限が前記所定の権限レベルに満たない場合、前記第1画像を前記ユーザの情報を紐づける処理を実行せずに、前記第1画像を入力できない旨を示す第2画像を前記タッチディスプレイに表示させることを特徴とするものである。
【0007】
(3)上記(1)又は(2)の何れかの表示装置は、前記制御部は、前記第1画像と、前記第1画像がユーザの情報に紐づけられていることを示す第3画像と、を前記タッチディスプレイに表示させることを特徴とするものである。
【0008】
(4)上記(3)の表示装置は、前記制御部は、前記第1画像又は前記第3画像を選択する入力を、前記タッチディスプレイが検出した場合、前記ユーザの情報を示す第4画像を前記タッチディスプレイに表示させることを特徴とするものである。
【0009】
(5)上記(1)から(4)の何れかの表示装置は、前記制御部は、前記第1画像を編集する操作を前記タッチディスプレイが検出した場合、前記第1データの入力を促す第5画像を前記タッチディスプレイに表示させることを特徴とするものである。
【0010】
(6)上記(5)の表示装置は、前記制御部は、前記第5画像を表示後に入力された前記第1データが所定の条件を満たす場合に、前記第1画像の編集を許可することを特徴とするものである。
【0011】
一実施形態において(7)システムは、電子ペンと、前記電子ペンによる入力を受け付けるタッチディスプレイを有する表示装置と、を備え、前記電子ペンは、前記電子ペンを
把持するユーザの生体情報を取得する第1センサと、加速度、筆圧、及び角速度のうち少なくとも一つを検出する少なくとも一つの第2センサと、前記第1センサの検出結果に対応する第1データ及び前記少なくとも一つの第2センサの検出結果に応じた第2データを、前記表示装置に送信する送信部と、を有し、前記表示装置は、前記第1データ、及び前記第2データを受信する受信部と、制御部と、を有し、前記制御部は、前記第1データが所定条件を満たした場合、前記第2データに基づいて、前記電子ペンにより入力された画像に、前記ユーザの情報を紐付ける処理を実行することを特徴とするものである。
【0012】
一実施形態において(8)方法は、受信部が電子ペンから受信した、前記電子ペンが取得したユーザの生体情報に対応する第1データが所定の条件を満たす場合に、前記受信部が前記電子ペンから受信した、前記電子ペンに加わる加速度、筆圧、及び角速度の少なくとも一つの検出結果に対応する第2データに基づいて、前記電子ペンによりタッチディスプレイに入力された画像に、前記ユーザの情報を紐づける処理を実行させることを特徴とするものである。
【0013】
一実施形態において、(9)プログラムは、受信部が電子ペンから受信した、前記電子ペンが取得したユーザの生体情報に対応する第1データが所定の条件を満たす場合に、前記受信部が前記電子ペンから受信した、前記電子ペンに加わる加速度、筆圧、及び角速度の少なくとも一つの検出結果に対応する第2データに基づいて、前記電子ペンによりタッチディスプレイに入力された画像に、前記ユーザの情報を紐づける処理を実行させることを特徴とするものである。
【図面の簡単な説明】
【0014】
【
図1】
図1は、一実施形態に係る表示装置の外観図である。
【
図2】
図2は、一実施形態に係る表示装置の構成を示すブロック図である。
【
図3】
図3は、一実施形態に係る電子ペンの外観図である。
【
図4】
図4は、一実施形態に係る電子ペンの構成を示すブロック図である。
【
図5】
図5は、一実施形態に係る表示装置の動作の一例を示す図である。
【
図6】
図6は、一実施形態に係る表示装置のタッチディスプレイに画像を描画する様の一例を示した図である。
【
図7】
図7は、一実施形態に係る第1画像の一例を示す図である。
【
図8】
図8は、一実施形態に係る第1画像の一例を示す図である。
【
図9】
図9は、一実施形態に係る表示装置の動作の一例を示す図である。
【
図10】
図10は、一実施形態に係る表示装置の表示例を示す図である。
【
図11】
図11は、一実施形態に係る表示装置の動作の一例を示す図である。
【
図12】
図12は、一実施形態に係る表示装置の表示例を示す図である。
【
図13】
図13は、一実施形態に係る表示装置の動作の一例を示す図である。
【
図14】
図14は、一実施形態に係る表示装置の表示例を示す図である。
【
図15】
図15は、一実施形態に係る表示装置の動作の一例を示す図である。
【
図16】
図16は、一実施形態に係る表示装置の表示例を示す図である。
【発明を実施するための形態】
【0015】
図面を参照して実施形態について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【0016】
一実施形態に係る表示装置は、例えば、スマートフォン端末又はタブレット端末のような端末とすることができる。しかしながら、表示装置はそのような端末に限定されるものではなく、例えば、パーソナルコンピュータ、電子黒板、又はヘッドマウントディスプレイ等のウエアラブル装置等であってもよい。
【0017】
図1は、一実施形態に係る表示装置の外観図である。
図1を参照しながら、表示装置100の外観について説明する。
【0018】
図1に示すように、表示装置100は、筐体101と、タッチディスプレイ110を有する。
【0019】
タッチディスプレイ110は、その表示面が表示装置100の筐体101から露出して設けられる。タッチディスプレイ110は、タッチパネル111と、表示部112とを有する。表示部112はタッチパネル111と重なるように設けられており、表示部112の表示領域はタッチパネル111と重複している。しかしながら、表示部112及びタッチパネル111が互いに重なるように設けられることに代えて、表示部112及びタッチパネル111をそれぞれ別体として設けられてもよい。
【0020】
図2は、一実施形態に係る表示装置の構成を示すブロック図である。
図2を参照しながら、表示装置100の機能的な構成について説明する。
【0021】
図2に示すように表示装置100は、タッチディスプレイ110(タッチパネル111及び表示部112)と、通信インターフェース120と、記憶部130と、制御部140とを有する。
【0022】
タッチパネル111は、後述する電子ペン200等の指示体による操作が行われた場所のタッチパネル111上での位置を示す位置情報(以下、単に電子ペン等の位置情報ともいう。)を検出し、検出した電子ペン等の位置情報を制御部140に送信する。タッチパネル111の検出方式は、例えば、感圧方式、静電容量方式、又は電磁誘導方式であってよいが、これらに限定されない。
【0023】
表示部112は、制御部140から入力された信号に基づいて、文字、画像、又は図形等のオブジェクト(以下、単にオブジェクトともいう。)を画面上に表示する。また制御部140は、タッチパネル111から受信した電子ペン等の位置情報に基づいて、オブジェクトを表示部112に表示することができる。言い換えると、表示部112は、電子ペン200等によりタッチディスプレイ110上に手書きされたオブジェクトを表示することができる。なお表示部112は、例えば、液晶ディスプレイ(Liquid Crystal Display)、ELディスプレイ(Electro-Luminescence Display)、又はMEMS(Micro Electro Mechanical System)シャッターディスプレイ等の表示パネルを有して構成される。
【0024】
通信インターフェース120は、無線接続により他の機器と通信することができる。通信インターフェース120によってサポートされる無線通信規格には、例えば、2G、3G、4G、5G等のセルラー通信規格や、近距離無線の通信規格等がある。近距離無線の通信規格としては、例えば、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near
Field Communication)、WPAN(Wireless Personal Area Network)等がある。WPANの通信規格には、例えば、ZigBee(登録商標)がある。通信インターフェース120は、有線接続により他の機器と通信してもよい。通信インターフェース120は、有線接続する場合、例えば、USB(Universal Serial Bus)等の有線通信規格に準拠するインターフェースであってよい。
【0025】
通信インターフェース120は、電子ペン200からデータを受信する受信部として機能し、電子ペン200から受信したデータは制御部140に送信する。
【0026】
記憶部130は、プログラム131及びデータ等を記憶する少なくとも1つのメモリを含む。記憶部130は、制御部140の処理結果を一時的に記憶する作業領域としても利用される。記憶部130は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non-transitory)な記憶媒体を含んで構成されてもよい。記憶部130は、複数の種類の記憶媒体を含んで構成されてもよい。記憶部130は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んで構成されてもよい。記憶部130は、RAM(Random Access
Memory)等の一時的な記憶領域として利用される記憶デバイスを含んで構成されてもよい。記憶部130は、例えば、ユーザの生体情報を予め記憶してよい。生体情報は、例えば、指紋情報、顔画像、及び声紋情報の少なくも一つを含む。記憶部130は、更に、ユーザの情報を記憶してもよい。ユーザの情報は、例えば、ユーザID(ユーザを示す識別子)、ユーザの顔画像、ユーザの氏名、ユーザの所属、ユーザの生体情報及びユーザの役職の少なくとも一つを含んでよい。記憶部130は、例えば、ユーザの権限を示す情報を記憶してよい。ユーザの権限を示す情報とは、例えば、所定のアプリケーションの編集権限レベルに対応し、かつユーザに予め紐づけられた権限を示す情報(以下、ユーザ権限情報ともいう。)である。
【0027】
プログラム131は、表示装置100を構成するデバイス、例えば、制御部140等の制御に基づいて、ユーザの生体認証を行う機能およびオブジェクトにユーザの情報を紐付ける機能等の種々の機能を提供する。
【0028】
制御部140は、演算処理装置である。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System-on-Chip)、MCU(Micro Control Unit)、FPGA(Field-Programmable Gate Array)、及びコアプロセッサを含むが、これらに限定されない。また、制御部140は、GPU(Graphics Processing Unit)、VRAM(Video RAM)等を含み、表示部112に各種の画像を描画する。制御部140は、複数の演算処理装置から構成されてよく、複数の演算処理装置の協働により、各種の制御を実行してもよい。
【0029】
制御部140は、表示装置100の動作を統括的に制御して各種の機能を実現する。制御部140は、タッチパネル111が検出した入力に基づいて、各種操作を実行する。制御部140は、入力された信号に応じた出力を通信インターフェース120や表示部112等によって行ってもよい。
【0030】
制御部140は、制御プログラム131を実行することにより、制御プログラム131により提供される機能を、制御部140による処理として実現する。
【0031】
制御部140は、表示装置100が電子ペン200と通信インターフェース120を介して接続されているか否かを検出してもよい。
【0032】
制御部140は、表示装置100と電子ペン200が通信インターフェース120を介して接続されている場合に、電子ペン等の位置情報をタッチパネル111が受付けることができるように制御してもよい。言い換えると、制御部140は、表示装置100と電子ペン200とが通信インターフェース120を介して接続されるまでは、電子ペン200からの入力をタッチパネル111が受付けないように制御してもよい。
【0033】
以下では、電子ペン200について説明する。
【0034】
図3は、一実施形態に係る電子ペンの外観図である。
図3を参照しながら、電子ペン200の外観について説明する。
【0035】
図3に示すように、電子ペン200は、筐体201と、芯体202と、第1センサ210を有する。
【0036】
筐体201は、筒状に構成されている。芯体202は、電子ペン200(筐体201)の下端部に設けられている。第1センサ210は、電子ペン200(筐体201)の下端側に設けられているが、上端側等に適宜位置を変更して設けられてもよい。ユーザは、電子ペン200を用いてタッチディスプレイ110にオブジェクトを手書きするとき、筐体201を把持し、芯体202をタッチディスプレイ110に当接させて任意のオブジェクトを描くようにタッチディスプレイ110上で電子ペン200を動かす。
【0037】
図4は、一実施形態に係る電子ペンの構成を示すブロック図である。
図4を参照しながら、電子ペン200の機能的な構成について説明する。
【0038】
図4に示すように、電子ペン200は、第1センサ210と、第2センサ220と、通信インターフェース230と、記憶部240と、制御部250と、を有する。
【0039】
第1センサ210は、生体センサである。第1センサ210は、電子ペン200を把持するユーザの生体情報を取得し、取得したユーザの生体情報に対応するデータを制御部250に出力する。第1センサ210は、例えば、ユーザの指紋データを取得する指紋センサ、ユーザの顔の少なくとも一部を含む顔画像データを取得するカメラ、ユーザの声データを取得するマイク、又は、これからのセンサを組合せた1以上のセンサであってもよい。第1センサ210は、取得したユーザの生体情報として、前述した指紋データ、顔画像データ、及び声データの少なくとも一つを取得可能である。
【0040】
第2センサ220は、ユーザが電子ペン200を利用してタッチディスプレイ110にオブジェクトを手書きする場合に電子ペン200に生じる物理的変化量を推定するためのセンサである。第2センサ220は、例えば、加速度センサ、角速度センサ、芯体202に加わる圧力を検出するよう構成された筆圧センサ、又はこれらのセンサを組合せた1以上のセンサである。第2センサ220は、取得したデータを制御部250に送信する。
【0041】
通信インターフェース230は、無線又は有線により通信する。通信インターフェース230によってサポートされる通信規格は、例えば、通信インターフェース120で説明したセルラー通信規格や近距離無線の通信規格又は有線通信規格を採用できる。通信インターフェース230は、電子ペン200が取得したデータ(例えば、第1センサ210及び第2センサ220が取得したデータ)を表示装置100に送信する送信部として機能する。
【0042】
記憶部240は、プログラム及びデータを記憶する少なくとも1つのメモリを含む。記憶部240は、制御部250の処理結果を一時的に記憶する作業領域としても利用される。記憶部240は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的な記憶媒体を含んで構成されてもよい。記憶部240は、複数の種類の記憶媒体を含んで構成されてもよい。記憶部240は、RAM等の一時的な記憶領域として利用される記憶デバイスを含んで構成されてもよい。記憶部240は、例えば、ユーザの生体情報を予め記憶してもよい。生体情報は、例えば、指紋情報、顔画像、及び声紋情報の少なくも一つを含む。
【0043】
制御部250は、演算処理装置である。演算処理装置は、例えば、CPU、SoC、MCU、FPGA、又はコアプロセッサを例示できるが、これらに限定されない。制御部2
50は、複数の演算処理装置から構成されてよく、複数の演算処理装置の協働により、各種の制御を実行してもよい。
【0044】
制御部250は、電子ペン200が表示装置100と通信インターフェース230を介して接続されているか否かを検出してもよい。制御部250は、電子ペン200が表示装置100と通信インターフェース230を介して接続されている場合に、第1センサ210と第2センサ220が取得したデータを表示装置100に送信するように制御してもよい。言い換えると、制御部250は、電子ペン200が表示装置100と通信インターフェース230を介して接続されるまでは、第1センサ210と第2センサ220が取得したデータを表示装置100に送信しないように制御してもよい。
【0045】
制御部250は、第1センサ210が取得したユーザの生体情報と、記憶部240に予め記憶するユーザの生体情報と、を比較し、比較結果を通信インターフェース230を介して表示装置100に送信してもよい。
【0046】
一実施形態において、表示装置は、電子ペンによる入力を受け付けるタッチディスプレイと、電子ペンを把持するユーザの生体情報の検出結果に対応する第1データと、加速度、筆圧、及び角速度の少なくとも一つの検出結果に対応する第2データと、を電子ペンから受信する受信部と、第1データが所定の条件を満たす場合に、第2データに基づいて、電子ペンにより入力された第1画像に、ユーザの情報を紐づける処理を実行する制御部と、を備える。
【0047】
図5は、一実施形態に係る表示装置の動作の一例を示す図である。また、
図6は、
図5のステップS101~S105において、表示装置100のタッチディスプレイ110に画像を描画する様の一例を時系列で示した図である。
【0048】
本実施形態において、表示装置100及び電子ペン200は、近距離無線通信により無線接続している。電子ペン200は、第1センサ210として指紋センサを、第2センサ220として、加速度センサを備えている。表示装置100は、タッチディスプレイ110に、手書き操作に対応したアプリケーションの画面(
図6の(a))を表示させている。
図6の(a)において、表示装置100は、電子署名を受け付けるための領域を示す枠300をタッチディスプレイ110に表示する。ユーザは、電子ペン200を利用してタッチディスプレイ110上の枠300内の領域において手書き操作することで署名ができる。
【0049】
なお本実施形態では、手書き操作に対応したアプリケーションとは、例えば、電子契約アプリケーション等の電子署名に対応したアプリケーションであるが、電子ペンによる入力操作が可能なアプリケーションであればこれに限定されない。また、本実施形態では、電子ペン200を利用してタッチディスプレイ110上に文字を描画させるケースを用いて説明しているが、これに限定されない。例えば、電子ペン200を利用してタッチディスプレイ110上に、絵又は絵と文字を組合せた著作物等を描画させるケースにおいても、本開示の表示装置を適用可能である。
【0050】
ステップS101において、制御部140は、通信インターフェース120を介して、電子ペン200の第1センサ210が取得した第1データ(指紋データ)を受信する。
【0051】
ステップS102において、制御部140は、受信した第1データ(指紋データ)と、記憶部130に予め記憶するユーザの指紋情報と、を比較し、電子ペン200を把持するユーザが正規にユーザであるか否かを判断することでユーザの認証を行う。すなわち、制御部140は、受信した第1データ(指紋データ)に基づき、ユーザの認証を行う。
【0052】
ステップS102において、制御部140は、第1データ(指紋データ)と、記憶部130に予め記憶するユーザの指紋情報とが一致する場合(以下、ユーザの認証に成功した場合ともいう。)、ステップS103に処理を進める。一方で、制御部140は、第1データ(指紋データ)と、記憶部130に予め記憶するユーザの指紋情報とが一致しない場合(以下、ユーザの認証に失敗した場合ともいう。)、ステップS101に戻る。制御部140は、ユーザの認証に失敗した場合、第1センサ210を利用してユーザの認証を行うことを促す通知をタッチディスプレイ110に表示させてもよい。
【0053】
なお、第1センサ210が取得した第1データ(指紋データ)と、記憶部130に予め記憶するユーザの指紋情報と、を比較する処理を、表示装置100(制御部140)の代わりに電子ペン200(制御部250)が実行してもよい。つまり、電子ペン200(制御部250)は、第1センサ210が取得した第1データ(指紋データ)と、記憶部130に予め記憶するユーザの指紋情報と、を比較する処理を実行し、その比較結果を通信インターフェース230を介して表示装置100(制御部140)に送信してもよい。この場合、比較結果とは、例えば、第1データ(指紋データ)と、記憶部130に予め記憶するユーザの指紋情報と、が一致したか否かを示すデータである。そして、制御部140は、通信インターフェース120を介して電子ペン200(制御部250)から受信した当該比較結果に基づき、ユーザの認証が成功したのか否かを判断してもよい。
【0054】
ステップS103において、制御部140は、第2データの取得を開始し、ステップS104に進む。すなわち、制御部140は、電子ペン200(制御部250)に対し通信インターフェース120を介して第2データを送信するように要求する。なお電子ペン200(制御部250)は、当該要求に応じて、第2センサ220(加速度センサ)が取得した加速度を示すデータである加速度データを、通信インターフェース230を介して表示装置100(制御部140)に送信する。電子ペン200(制御部250)は、当該加速度データを周期的に表示装置100(制御部140)に送信する。制御部140は、電子ペン200(制御部250)から加速度データを周期的に受信する。
【0055】
またステップS103において、制御部140は、タッチパネル111から受信した電子ペン等の位置情報に基づいて、表示部112にオブジェクトを描画する制御を開始する。すなわち、ステップS103において、ユーザが電子ペン200を利用してタッチディスプレイ110上で所定のオブジェクトを描く操作(以下、手書き操作ともいう。)を行うと、制御部140は、手書き操作に応じてタッチディスプレイ110にオブジェクトを描画する。
【0056】
ここで、
図6(a)は、ステップS103を実行した直後のタッチディスプレイ110の表示態様である。そして、ステップS103後にユーザが電子ペン200を利用して
図6(a)の枠300内に署名する手書き操作を行うと、
図6(b)に示すように、制御部140は、手書き操作に応じた画像を枠300内に描画する。
【0057】
ステップS104において、制御部140は、第2データ(加速度データ)に基づいて、電子ペン200が使用されなくなったか否かを判断する。言い換えると、制御部140は、第2データ(加速度データ)を経時的に参照し、手書き操作が行われなくなった状態を推定する。具体的に、制御部140は、第2データ(加速度データ)に基づいて、電子ペン200に生じている加速度が所定の値以上と判断した場合は、電子ペン200が使用されていると判断する。そして、制御部140は、第2データ(加速度データ)から、電子ペン200に生じている加速度が所定の値未満と判断した場合は、電子ペン200が使用されなくなったと判断する。ここで、制御部140は、第2データ(加速度データ)から、電子ペン200に生じている加速度が所定の値未満になってから所定時間が経過した
場合に、電子ペン200が使用されなくなったと判断してもよい。そして制御部140は、電子ペン200が使用されなくなったと判断した場合、ステップS105に進む。制御部140は、ステップS105に進むとき、第2データ(加速度データ)の送信を止めるように指示する信号(以下、第2データ送信の停止信号ともいう。)を通信インターフェース120を介して電子ペン200(制御部250)に送信してもよい。電子ペン200(制御部250)は、第2データ送信の停止信号を表示装置100から受信すると、第2データ(加速度データ)を表示装置100に送信するのを止めてもよい。
【0058】
なお第2センサ220は、加速度センサの替わり、或いは、補助的に、筆圧センサ及び角速度センサの少なくとも一つを用いてもよい。
【0059】
ここで制御部140は、次のように電子ペン200が使用されなくなったか否かを判断してもよい。
【0060】
電子ペン200が使用されなくなったか否かの状態は、例えば、第2データ(加速度データ)に基づいて特定されうる。第2データ(加速度データ)が示す加速度は、電子ペン200の動きに応じた固有の時間変化のパターンを示す。具体的には、この加速度は時間の経過とともに、電子ペン200の動きに応じて周期的に変動する。表示装置100の記憶部130には、電子ペン200の利用の状態(例えば、電子ペン200が机等に置かれた状態、電子ペン200が自由落下した状態、又はユーザが電子ペン200を手にもった状態で利用せずに持ち続けている状態)に応じた加速度の典型的なパターンを登録パターンとして記憶してよい。制御部140は、第2データ(加速度データ)が示す加速度の時間変化のパターン(以下、検出パターンともいう。)が、所定状態の登録パターンを示しているか否かを判断してもよい。例えば、制御部140は、検出パターンと登録パターンとの各時点における差の絶対値の総和が所定の基準を満たすときには、検出パターンがその登録パターンを示していると判断する。例えば、検出パターンが、電子ペン200が机等に置かれた状態、ユーザが電子ペン200を机等に置こうと手を動かした状態、電子ペン200が自由落下した状態、又はユーザが電子ペン200を手にもった状態で利用せずに持ち続けている状態の登録パターンを示すときには、制御部140は、電子ペン200が使用されなくなったと判断してもよい。
【0061】
ここで表示装置100は、バイブレータ、スピーカ、LEDライト等の報知部を備えてもよい。制御部140は、第2データの取得を開始して(ステップS103)から、電子ペン200が使用されなくなったと判断する(ステップS104 YES)までの間、電子ペン200が使用されていると判断していることを表示装置100の報知部又はタッチディスプレイ110を介してユーザに報知してもよい。電子ペン200は、バイブレータ、スピーカ、LEDライト等の報知部を備えてもよい。電子ペン200は、第2データの送信を開始して(ステップS103)から、電子ペン200が使用されなくなったと表示装置100が判断する(ステップS104 YES)までの間、電子ペン200が使用されていると表示装置100が判断していることを電子ペン200の報知部を介してユーザに報知してもよい。例えば、電子ペン200(制御部250)は、第2データを送信するように要求する信号を表示装置100から受信してから、第2データの停止信号を表示装置100から受信するまでの間、電子ペン200が使用されていると表示装置100が判断していることを電子ペン200の報知部を介してユーザに報知すればよい。
【0062】
ステップS105において、制御部140は、ステップS104で電子ペン200が使用されていないと判断するまでに描画された画像である第1画像をユーザの情報と紐付ける処理を実行する。具体的に、制御部140は、第1画像のID(識別子)とユーザの情報とを紐付けた管理表を表示装置100の記憶部130に記憶させる。なお、制御部140は、第1画像をユーザの情報と紐付ける処理として、第1画像を示すデータにユーザの
情報を示すテキストデータを埋め込む処理を実行してもよい。制御部140は、第1画像をユーザの情報と紐付ける処理として、第1画像と、ユーザの情報と、を含むNFT(Non Fungible Token)の発行を要求するトランザクションを既存のNFT発行会社のブロックチェーンネットワークに送信する処理を実行してもよい。
【0063】
ユーザの情報とは、ユーザID、ユーザの顔画像、ユーザの氏名、ユーザの所属、ユーザの生体情報及びユーザの役職の少なくとも一つである。
【0064】
ここで
図6(c)は、ステップS104で電子ペン200が使用されていないと制御部140が判断するときの、タッチディスプレイ110の表示態様を示すものである。つまり、制御部140は、ステップS104で電子ペン200が使用されていないと判断するまでに描画された画像301(
図6(c)参照)を第1画像として、ユーザの情報と紐づける処理を実行する。なお
図7は、第1画像(画像301)のみを抜き出して例示したものである。ここで制御部140は、
図8に示すように、画像301を含むアプリケーション画面の一部、又は全体を第1画像として、ユーザの情報と紐づける処理を実行してもよい。
【0065】
以上のように、表示装置100は、ユーザの認証が成功した場合に、第2データが所定の条件を満たすまでに描画された第1画像にユーザの情報を紐付ける。
【0066】
このような、表示装置100によれば、ユーザが第1画面を書き終えると、その第1画像にユーザの情報を紐付けることができるので、ユーザが煩雑な操作を行わずとも画像にユーザの情報を紐づかせることができる点で有用である。
【0067】
また、一実施形態において、表示装置の制御部は、所定の権限レベルが設定されたアプリケーションに第1画像を入力する時、第1データが所定の条件を満たすものの、ユーザの権限が所定の権限レベルに満たない場合、第1画像を前記ユーザの情報に紐付ける処理を実行せずに、第1画像を入力できない旨を示す第2画像をタッチディスプレイに表示させてもよい。
【0068】
第2画像は、第1画像を入力できないことをユーザに知らせる、言い換えると、ユーザの権限では第1画像を入力できないことを知らせる画像であればよい。第2画像は、文字、記号、イラスト、及び写真の少なくとも一つにより構成されてよい。
【0069】
図9は、一実施形態に係る表示装置の動作の一例を示す図である。
【0070】
なお
図9において、
図5の動作の一例と重複するステップの説明は省略する。
【0071】
本実施形態の表示装置100は、タッチディスプレイ110に、上述した手書き操作に対応したアプリケーションの画面を表示させている。また、当該アプリケーションは、タッチディスプレイ110を介した入力を許可するための権限レベルが設定されている。アプリケーションは、ユーザの権限が当該権限レベルを満たす場合に、当該アプリケーションの画面へのタッチディスプレイ110を介した入力を許可する。
【0072】
ステップS106において、制御部140は、ステップS102で認証されたユーザの権限が所定の権限レベルを満たすか否か判断する。具体的には、制御部140は、記憶部130に記憶するユーザ権限情報を参照して、ステップS102で認証されたユーザの権限が当該アプリケーションに設定された権限レベルを満たすか否かを判断する。
【0073】
ステップS106において、制御部140は、ユーザの権限が当該権限レベルを満たす
と判断する場合、ステップS103に進む。一方で、ステップS106において、制御部140は、ユーザの権限が当該権限レベルに満たないと判断する場合、ステップS107に進む。
【0074】
ステップS107において、制御部140は、タッチディスプレイ110に第1画像を入力できない旨を示す第2画像を表示させ、処理を終了する。例えば、制御部140は、
図10に示すように、第2画像302をタッチディスプレイ110に表示させればよい。具体的に、制御部140は、ユーザが第1画像を入力することができない旨を報知する第2画像302を第1画像を入力するための領域(枠300内の領域)の少なくとも一部に重畳させてタッチディスプレイ110に表示させる。なお、第2画像302は、画像の透明度を0より大きくして、第2画像302の下層に位置する画像が見える態様としてもよい。
【0075】
また、制御部140は、ステップS102においてユーザの権限が所定の条件を満たさないと判断した場合、タッチディスプレイ110の照度を下げる、或いは、当該アプリケーションの画面の表示を止めさせてもよい。制御部140は、ステップS102においてユーザの権限が所定の条件を満たさないと判断した場合、枠300内の領域の色を変更する等の表示態様を変化させてもよい。つまり、このように制御することで、第1画像を入力する権限をユーザが有していないことを報知してもよい。
【0076】
以上のように、表示装置100は、ユーザの権限が、アプリケーションに設定された権限レベルを満たさない場合、当該ユーザからの入力を受け付けない。このような表示装置100によれば、所定の権限を有するユーザ以外から第1画像が入力されることを制限することができる。
【0077】
一実施形態において、表示装置は、第1画像と、第1画像がユーザの情報に紐づけられていることを示す第3画像と、をタッチディスプレイに表示させてよい。
【0078】
第3画像は、例えば、文字、記号、イラスト、及び写真の少なくとも一つにより構成されてよい。
【0079】
図11は、一実施形態に係る表示装置の動作の一例を示す図である。
【0080】
ステップS108において、制御部140は、タッチディスプレイ110に表示する画像にユーザの情報が紐づけられているか否かを判断する。ステップS108において、制御部140は、タッチディスプレイ110に表示する画像にユーザの情報が紐づけられている場合、ステップS109に進む。一方でステップS108において、タッチディスプレイ110に表示する画像にユーザの情報が紐づけられていない場合、制御部140は、処理を終了する。なお制御部140は、ステップS108の処理を、例えば、タッチディスプレイ110を介してトリガとなるユーザ操作を受け付けた場合に実行してもよいが、種々のタイミングで実行してよい。
【0081】
ステップS109において、制御部140は、タッチディスプレイ110に、画像がユーザの情報に紐づけられていることを示す第3画像を表示させる。例えば、制御部140は、
図12に示すように、ユーザの情報が紐づけられた画像(すなわち、第1画像301)の近傍に第3画像303を表示させる。なお制御部140は、第3画像303を第1画像301に重畳して表示させてもよい。第3画像303は、第1画像301を囲む枠線であってもよい。
【0082】
また、ステップS109において、制御部140は、第1画像301の表示態様を変化
させてもよい。例えば、ステップS109において、制御部140は、第1画像301を点滅表示させたり、或いは、第1画像301を構成している色を変化させたりしてもよい。
【0083】
このような表示装置100によれば、タッチディスプレイ110に表示する画像のうち、どの画像がユーザの情報に紐づけられているか否かを、ユーザが直感的に理解しうる。
【0084】
一実施形態において、表示装置は、第1画像又は第3画像を選択する入力を、タッチディスプレイが検出した場合、ユーザの情報を示す第4画像をタッチディスプレイに表示させてよい。
【0085】
第4画像は、ユーザID、ユーザの顔画像、ユーザの氏名、ユーザの所属、ユーザの生体情報及びユーザの役職の少なくとも一つを示す情報を含む。第4画像は、文字、記号、イラスト、及び写真の少なくとも一つにより構成されてよい。
【0086】
図13は、一実施形態に係る表示装置の動作の一例を示す図である。
【0087】
なお
図13において、
図11の動作の一例と重複するステップの説明は省略する。
【0088】
ステップS110において、制御部140は、第1画像301を選択する操作をタッチディスプレイ110を介して検出するとステップS111に進む。ステップS110において、制御部140は、第3画像303を選択する操作をタッチディスプレイ110を介して検出するとステップS111に進む。例えば、第1画像301又は第3画像303を選択する操作は、第1画像301又は第3画像303をタップする操作であってよい。
【0089】
ステップS111において、制御部140は、ユーザの情報を示す第4画像304をタッチディスプレイ110に表示させる。具体的には、制御部140は、タッチディスプレイ110において、
図14に示すように第1画像301の近傍に第4画像304を表示させる。また、制御部140は、タッチディスプレイ110において、第1画像301の少なくとも一部に第4画像304を重畳させて表示させてもよい。
【0090】
このような表示装置100によれば、ユーザは、第1画像301を作成したユーザの情報を容易に取得しうる。
【0091】
一実施形態において、表示装置は、第1画像を編集する操作をタッチディスプレイが検出した場合、ユーザの情報に基づいて、第1画像を編集する操作の入力の可否を決定する。
【0092】
また、表示装置は、第1画像を編集する操作をタッチディスプレイが検出した場合、第1データの入力を促す第5画像をタッチディスプレイに表示させてよい。
【0093】
また、表示装置は、第5画像を表示後に入力された第1データが所定の条件を満たす場合に、第1画像の編集を許可する。
【0094】
なお第1画像を編集する操作は、例えば、第1画像の少なくとも一部を削除する操作、第1画像の少なくとも一部をコピーする操作、第1画像の少なくとも一部の表示態様を変更する操作(例えば、色、線の太さを変更する編集、等。)、第1画像をダウンロードする操作、及び、第1画像に手書き操作で画像を加える操作の少なくとも一つを含む。
【0095】
第5画像は、第1データの入力をユーザに促す、言い換えると、ユーザに生体情報を入
力するように促す画像であればよく、例えば、文字、記号、イラスト、及び写真の少なくとも一つにより構成されてよい。
【0096】
図15は、一実施形態に係る表示装置の動作の一例を示す図である。表示装置100は、
図16に示す画面をタッチディスプレイ110に表示させる。
【0097】
ステップS112において、制御部140は、第1画像301を編集する操作を検出する。具体的に、制御部140は、ユーザが第1画像301の一部を削除するために、第1画像301をタッチディスプレイ110上で長押しする操作を検出し、ステップS113に進む。
【0098】
ステップS113において、制御部140は、
図16に示すように第1データの入力を促す第5画像305をタッチディスプレイ110に表示させ、ステップS114に進む。
【0099】
ステップS114において、ユーザは第5画像305に促され電子ペン200の第1センサ210により指紋情報を表示装置100へ入力する。すなわち、制御部140は、通信インターフェース120を介して、第1データ(指紋データ)を電子ペン200から取得し、ステップS115に進む。なお、表示装置100は指紋センサ等の生体センサを備えてもよい。表示装置100は、ステップS114において、自装置が備える生体センサから第1データを取得してもよい。
【0100】
ステップS115において、制御部140は、ステップS112において入力された第1データ(指紋データ)と、第1画像301に紐付けられたユーザの指紋情報と、が一致するか否か判断する。ステップS115において、入力された第1データ(指紋データ)と、第1画像301に紐付けられたユーザの指紋情報と、が一致する場合、ステップS116に進む。一方で、ステップS115において、制御部140は、入力された第1データ(指紋データ)と、第1画像301に紐付けられたユーザの指紋情報と、が一致しない場合、ステップS113に戻る。なお、制御部140は、入力された第1データ(指紋データ)と、第1画像301に紐付けられたユーザの指紋情報と、が一致しない場合、第1画像301に紐付けられたユーザが予め登録した通知先(例えば、メールアドレス、等)に、他者が第1画像を編集しようとする旨を通知する処理を実行してもよい。制御部140は、入力された第1データ(指紋データ)と、第1画像301に紐付けられたユーザの指紋情報と、が一致しなかった回数をカウントしてよい。制御部140は、当該カウントした回数が所定数に達するとS113は戻らずに処理を終了し、その後、所定の期間は、第1画像301を編集させなくしてもよい。
【0101】
ステップS116において、制御部140は、ユーザによる第1画像301の編集を許可する。具体的に、制御部140は、第1画像301を削除する。なおステップS116において、制御部140は、第1画像301を編集可能な状態とし、ステップS116後に受け付けるユーザ操作に応じて第1画像301を削除してもよい。
【0102】
ステップS116において、制御部140は、第1画像301の編集を許可することを示す画像をタッチディスプレイ110に表示させてもよい。また、ステップS116において、第1画像301の表示態様を変更させてもよい。例えば、制御部140は、第1画像301が、周期的に震えるように動かすように表示さることで第1画像301の表示態様を変更させる。例えば、制御部140は、第1画像301の色を変化させることで第1画像301の表示態様を変更させる。
【0103】
以上のように、表示装置100によれば、第1画像の著作者以外の第3者による第1画像の改変、削除、又は利用を防ぎうる。
【0104】
本開示において「第1」、「第2」、「第3」、「第4」及び「第5」等の記載は、当該構成を区別するための識別子である。本開示における「第1」、「第2」、「第3」、「第4」及び「第5」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第1画像は、第2画像と識別子である「第1」と「第2」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第1」、「第2」、「第3」、「第4」及び「第5」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
【0105】
表示装置100が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
【0106】
以上、図面を参照して一実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0107】
100 :表示装置
101 :筐体
110 :タッチディスプレイ
111 :タッチパネル
112 :表示部
120 :通信インターフェース
130 :記憶部
131 :プログラム
140 :制御部
200 :電子ペン
201 :筐体
202 :芯体
210 :第1センサ
220 :第2センサ
230 :通信インターフェース
240 :記憶部
250 :制御部
300 :枠
301 :第1画像
302 :第2画像
303 :第3画像
304 :第4画像
305 :第5画像