(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-13
(45)【発行日】2023-11-21
(54)【発明の名称】表示装置、使用方法提供方法、プログラム、画像処理システム
(51)【国際特許分類】
H04N 1/00 20060101AFI20231114BHJP
【FI】
H04N1/00 H
H04N1/00 127A
(21)【出願番号】P 2019181549
(22)【出願日】2019-10-01
【審査請求日】2022-08-24
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】中村 大樹
【審査官】松永 隆志
(56)【参考文献】
【文献】特開2011-259104(JP,A)
【文献】特開2015-201056(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 1/00-1/64
(57)【特許請求の範囲】
【請求項1】
外部又は内部の認証によりユーザを特定する表示装置であって、
前記ユーザが機能を使用したか否かが前記機能ごとに記録された機能使用履歴情報に基づいて、ユーザが使用する頻度が所定以下の機能の使用方法を提供する提供制御部を有し、
前記提供制御部は、前記機能が使用された旨、及び、前記機能の使用方法を提供した旨を機能ごとに前記機能使用履歴情報に記録し、
前記ユーザが使用したことがなく、かつ、前記機能の使用方法が提供されていない前記機能の使用方法を提供することを特徴とする表示装置。
【請求項2】
外部又は内部の認証によりユーザを特定する表示装置であって、
前記ユーザが機能を使用したか否かが前記機能ごとに記録された機能使用履歴情報に基づいて、ユーザが使用する頻度が所定以下の機能の使用方法を提供する提供制御部を有し、
前記提供制御部は、前記ユーザが機能を使用した使用時刻を機能ごとに前記機能使用履歴情報に登録し、
前記提供制御部は、前記機能の使用方法を提供する第一の機能と連続して実行される第二の機能を、他のユーザの前記機能使用履歴情報における前記第一の機能と前記第二の機能の候補の前記使用時刻の時間差に基づいて決定し、
前記第一の機能の使用方法と前記第二の機能の使用方法を連続して提供することを特徴とする表示装置。
【請求項3】
前記機能使用履歴情報には機能ごとに優先度が設定されており、
前記提供制御部は、ユーザが使用する頻度が所定以下の機能が複数ある場合、前記優先度が高い順に前記機能の使用方法を提供することを特徴とする
請求項1に記載の表示装置。
【請求項4】
前記提供制御部は、前記ユーザが使用した機能の機能使用率を機能ごとに前記機能使用履歴情報に登録し、
前記提供制御部は、ユーザが使用する頻度が所定以下の機能が複数ある場合、複数の機能について他のユーザの前記機能使用率が高い順に前記機能の使用方法を提供することを特徴とする
請求項1に記載の表示装置。
【請求項5】
前記提供制御部は、前記ユーザが機能を使用した使用時刻を機能ごとに前記機能使用履歴情報に登録し、
前記提供制御部は、前記機能の使用方法を提供する第一の機能と連続して実行される第二の機能を、他のユーザの前記機能使用履歴情報における前記第一の機能と前記第二の機能の候補の前記使用時刻の時間差に基づいて決定し、
前記第一の機能の使用方法と前記第二の機能の使用方法を連続して提供することを特徴とする請求項
3又は4に記載の表示装置。
【請求項6】
前記提供制御部は、ユーザのログイン時刻よりも後の
、前記ユーザが機能を使用した使用時刻を有する機能の使用回数をログイン回数で割ることで前記機能使用率を算出することを特徴とする
請求項4に記載の表示装置。
【請求項7】
前記提供制御部は、ユーザがログインした直後に前記機能の使用方法を提供することを特徴とする請求項1~6のいずれか1項に記載の表示装置。
【請求項8】
前記機能使用率が高い上位N件の機能を前記機能使用履歴情報に基づいて決定し、
予め定められているアイコンにN件の機能の説明と機能へのリンクを設定し、前記アイコンを表示する表示制御部を有し、
前記アイコンが押下された場合、N件の機能の説明を表示し、更に、前記説明が押下された場合、押下された説明に対応する機能を実行することを特徴とする請求項4に記載の表示装置。
【請求項9】
外部又は内部の認証によりユーザを特定する表示装置が行う使用方法提供方法であって、
前記ユーザが機能を使用したか否かが前記機能ごとに記録された機能使用履歴情報に基づいて、ユーザが使用する頻度が所定以下の機能の使用方法を提供し、
前記機能が使用された旨、及び、前記機能の使用方法を提供した旨を機能ごとに前記機能使用履歴情報に記録し、
前記ユーザが使用したことがなく、かつ、前記機能の使用方法が提供されていない前記機能の使用方法を提供することを特徴とする使用方法提供方法。
【請求項10】
外部又は内部の認証によりユーザを特定する表示装置を、
前記ユーザが機能を使用したか否かが前記機能ごとに記録された機能使用履歴情報に基づいて、ユーザが使用する頻度が所定以下の機能の使用方法を提供する提供制御部として機能させ、
前記提供制御部は、前記機能が使用された旨、及び、前記機能の使用方法を提供した旨を機能ごとに前記機能使用履歴情報に記録し、
前記ユーザが使用したことがなく、かつ、前記機能の使用方法が提供されていない前記機能の使用方法を提供するためのプログラム。
【請求項11】
ユーザを認証するサーバと、前記サーバから認証結果を取得する表示装置とを有する画像処理システムであって、
前記サーバは、
前記表示装置から受信したアカウント情報に基づく認証結果とユーザの識別情報を前記表示装置に送信し、
前記表示装置は、
前記ユーザが機能を使用したか否かが前記機能ごとに記録された機能使用履歴情報に基づいて、ユーザが使用する頻度が所定以下の機能の使用方法を提供する提供制御部を有し、
前記提供制御部は、前記機能が使用された旨、及び、前記機能の使用方法を提供した旨を機能ごとに前記機能使用履歴情報に記録し、
前記ユーザが使用したことがなく、かつ、前記機能の使用方法が提供されていない前記機能の使用方法を提供することを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、使用方法提供方法、プログラム、及び、画像処理システムに関する。
【背景技術】
【0002】
タッチパネルにペンや指で手書きしたデータを表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室などに配置され、複数のユーザにより電子黒板などとして共有される。
【0003】
表示装置は高機能化、多機能化が進んでいるため、ユーザに応じて使用できる機能を変更する技術が考案されている(例えば、特許文献1参照。)。特許文献1には、タッチペンごとにユーザを紐づけておき、ユーザが使用するタッチペンに応じて使用できる機能を変更する表示装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、ユーザが使用しない機能が多くなるおそれがあるという問題があった。表示装置が共有される場合、ユーザが常に自分専用に使えるわけではないので、ユーザが使用しない機能が生じやすくなる。また、初めて表示装置を使用するユーザの場合は機能の存在を知らない可能性もある。
【0005】
本発明は、上記課題に鑑み、ユーザが使用しない機能を少なくすることができる表示装置等を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題に鑑み、本発明は、外部又は内部の認証によりユーザを特定する表示装置であって、前記ユーザが機能を使用したか否かが前記機能ごとに記録された機能使用履歴情報に基づいて、ユーザが使用する頻度が所定以下の機能の使用方法を提供する提供制御部を有し、前記提供制御部は、前記機能が使用された旨、及び、前記機能の使用方法を提供した旨を機能ごとに前記機能使用履歴情報に記録し、前記ユーザが使用したことがなく、かつ、前記機能の使用方法が提供されていない前記機能の使用方法を提供することを特徴とする。
【発明の効果】
【0007】
ユーザが使用しない機能を少なくすることができる表示装置等を提供することを目的とする。
【図面の簡単な説明】
【0008】
【
図1】本実施形態の表示装置の動作の概略を説明する図である。
【
図2】画像処理システムの全体構成図の一例である。
【
図3】表示装置のハードウェア構成図の一例である。
【
図4】アカウントサーバのハードウェア構成図の一例である。
【
図10】UI画像(A)、ストローク画像(B)、出力画像(C)及び背景画像(D)を示す図である。
【
図11】アカウントサーバが有する機能をブロックに分けて説明する機能ブロック図の一例である。
【
図12】認証情報DBに記憶されている情報を模式的に示す図である。
【
図13】チュートリアルの表示制御に関する表示装置の機能をブロックに分けて説明する機能ブロック図の一例である。
【
図14】機能使用履歴DBに記憶されている機能使用履歴テーブルの一例を示す図である。
【
図15】教材データDBに記憶されている教材データの一例を示す図である。
【
図16】チュートリアルの提供設定画面の一例を示す図である。
【
図17】ログインから機能使用率の更新までの手順を説明するシーケンス図の一例である。
【
図18】表示装置がチュートリアルを提供する処理を説明するフローチャート図の一例である。
【
図19】ユーザが使用したことがなく、かつ、チュートリアルが提供されていない機能のチュートリアルの提供順を決定するフローチャート図の一例である。
【
図20】提供制御部が連続してチュートリアルを提供する機能を決定する手順を示すフローチャート図の一例である。
【
図21】表示装置のディスプレイに表示されたチュートリアルの表示例を示す図である。
【
図22】機能使用率が高い機能を呼び出すアイコンを含むアイコンリストの一例である。
【
図23】表示制御部が機能呼び出しアイコンを表示する手順を示すフローチャート図の一例である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態の一例として、表示装置と表示装置が行う使用方法提供方法について説明する。
【実施例1】
【0010】
<表示装置の動作の概略>
図1は、本実施形態の表示装置2の動作の概略を説明する図である。会議室などに表示装置2が設置されており、表示装置2は複数のユーザによって共有される。
【0011】
(1) 発表者など表示装置2を主に操作するユーザは表示装置2にログインする。ログインとは、コンピュータやインターネット上の様々なサービスを利用する際に、予め登録しておいたアカウント情報を用いてシステムのリソースにアクセスする認証行為をいう。認証とはユーザが正当な権限者か否かを表示装置2などが判断することをいう。認証が成功するとユーザは表示装置2にログインできる。アカウント情報は、ユーザIDとパスワード、ICカードの番号、生体認証情報などであるが、これらに限られない。
【0012】
(2) ユーザがログインすると、表示装置2はこのユーザの使用する頻度が低い機能のチュートリアルを表示する。チュートリアルとは、アプリケーションソフトなどの基本的な操作方法をユーザが覚えるための教材のことである。表示装置2はユーザごとに使用した機能とチュートリアルの提供の有無を後述する機能使用履歴テーブル(機能使用履歴情報の一例)に記録しているため、ユーザが使用したことがなく、かつ、提供したことがない機能のチュートリアルを表示できる。
【0013】
(3) 表示装置2は、機能使用履歴テーブルに基づいて決定したチュートリアルをログインしたユーザに表示する。例えば、画面上のアイコンで選択できる機能の内容を文字や画像(動画を含む)で表示する。
【0014】
ユーザはチュートリアルにしたがって、アイコンを押下することで、使用する頻度が少ない機能を使用してみることができる。ユーザはログインした直後なので、会議内においてもチュートリアルが提供された同じアイコンを使用することができ、機能を覚えやすくなる。このように本実施形態の表示装置2は、ユーザが使用しない機能を少なくすることができる。
【0015】
<用語について>
機能とは、相互に関連しあって全体を構成している各因子が有する固有の役割である。例えば表示装置が有するアイコン、ボタン(ソフトキー)、スイッチ(ハードキー)などで実行される処理が挙げられる。チュートリアルの提供単位と機能とは1対1に対応していてもよいし、1つのチュートリアルが複数の機能をカバーしてもよい。
【0016】
ユーザが使用する頻度とは、同じ機能を使用する度合いである。頻度は回数や率などの指標で算出されてよいが、これらに限られるものではない。
【0017】
機能の使用方法とは機能の使い方であり、これを人間が把握できる形式にした情報である。操作方法ともいう。本実施形態ではチュートリアルという用語で説明される。マニュアル、手引き、ヘルプ、取扱説明などと呼ばれてもよい。
【0018】
<システムの概要>
図2は、本実施形態の画像処理システム1の全体構成図である。なお、
図2では、説明を簡略化するために、2台の表示装置2a,2b及びこれに付随する電子ペン4a,4b等を示しているだけであって、3台以上の表示装置や電子ペン等を利用してもよい。
【0019】
図2に示されているように、画像処理システム1は、複数の表示装置2a,2b、複数の電子ペン4a,4b、USBメモリ5a,5b、ノートPC(Personal Computer)6a,6b、テレビ(ビデオ)会議端末7a,7b、及びPC8を有する。また、表示装置2a,2b、及びPC8は、通信ネットワーク9を介して通信可能に接続されている。更に、複数の表示装置2a,2bには、それぞれディスプレイ3a,3bが設けられている
また、表示装置2aには、電子ペン4aによって生じたイベント(ディスプレイ3aに電子ペン4aのペン先、又は、電子ペン4aのペン尻のタッチ)による描画された画像を、ディスプレイ3aに表示させることができる。なお、電子ペン4aだけでなく、ユーザの指を含む手Ha等によって生じたイベント(拡大、縮小、ページめくり等のジェスチャ)に基づいて、ディスプレイ3a上に表示されている画像を変更させることもできる。
【0020】
また、表示装置2aには、USBメモリ5aが接続可能であり、表示装置2aはUSBメモリ5aからPDF等の電子ファイルを読み出したり、表示装置2aはUSBメモリ5aに電子ファイルを記録したりすることができる。また、表示装置2aには、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標。High-Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル10a1を介して、ノートPC6aが接続されている。そして、表示装置2aは、ディスプレイ3aに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートPC6aに送信する。同じく、表示装置2aには、上記規格による通信が可能なケーブル10a2を介して、テレビ(ビデオ)会議端末7aが接続されている。なお、ノートPC6a、及びテレビ会議端末7aは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、表示装置2aと通信してもよい。
【0021】
一方、表示装置2bが設置されている他の拠点では、上記と同様に、ディスプレイ3bを備えた表示装置2b、電子ペン4b、USBメモリ5b、ノートPC6b、テレビ会議端末7b、ケーブル10b1、ケーブル10b2が利用される。更に、ユーザの手Hb等によって生じたイベントに基づいて、ディスプレイ3b上に表示されている画像を変更させることもできる。
【0022】
これにより、一の拠点で表示装置2aのディスプレイ3a上に描画された画像は、他の拠点で表示装置2bのディスプレイ3b上にも表示され、逆に他の拠点で表示装置2bのディスプレイ3b上に描画された画像は、一の拠点で表示装置2aのディスプレイ3a上に表示される。このように、画像処理システム1では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。
【0023】
なお、以下では、複数の表示装置のうち任意の表示装置を示す場合には「表示装置2」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ3」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン4」と示す。複数のUSBメモリのうち任意のUSBメモリを示す場合には「USBメモリ5」と示す。複数のノートPCのうち任意のノートPCを示す場合には「ノートPC6」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末7」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手H」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル10」と示す。
【0024】
また、本実施形態では、表示装置の一例として電子黒板を説明するが、これに限るものではなく、表示装置の他の例として、電子看板(デジタルサイネージ)、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像(映像)診断装置等であってもよい。また、情報処理端末の一例として、ノートPC6を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型PCやタブレット型PC、PDA、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、USBメモリを説明するが、これに限るものではなく、記録媒体の他の例として、SDカード等の各種記録メディアであってもよい。
【0025】
通信ネットワーク9にはアカウントサーバ8が接続されている。アカウントサーバ8はユーザのアカウントを管理するサーバである。アカウントサーバ8の一例としてLDAP(Lightweight Directory Access Protocol)サーバがある。LDAPは、ネットワーク機器や利用者などの情報を管理するディレクトリサービスへ接続するためのプロトコルである。ディレクトリサービスとは、ネットワークに存在するさまざまな情報を一元的に管理し、検索などの機能を提供するサービスである。クライアント(本実施形態では表示装置2)は、TCPの389番ポート(デフォルトのポート番号)を使用してLDAPサーバに接続し、属性(社内名簿であれば部署や個人名など)で構成されるエントリ(関連する属性のまとまり)の検索、追加、削除、修正といった操作を行う。
【0026】
例えば、複数サービスのユーザIDとパスワードが1人のユーザIDの属性としてまとめて登録されていれば、各サービスはLDAPサーバのみを参照して認証作業ができるようになる。管理者も、一元的に情報を管理できることから、サービスそれぞれのディレクトリでユーザ情報を変更するといった手間を削減できる。
【0027】
LDAPサーバには、OpenLDAPなどのオープンソフトウェア、及び、マイクロソフト社のActive Directory(登録商標)を代表とする商用ソフトウェアなどがある。
【0028】
<表示装置のハードウェア構成>
続いて、
図3を用いて、本実施形態の表示装置のハードウェア構成を説明する。なお、
図3は、表示装置のハードウェア構成図である。
【0029】
図3に示されているように、表示装置2は、表示装置2全体の動作を制御するCPU101、IPL等のCPU101の駆動に用いられるプログラムを記憶したROM102、CPU101のワークエリアとして使用されるRAM103、表示装置2用のプログラム等の各種データを記憶するSSD204、通信ネットワーク9との通信を制御するネットワークコントローラ105、及び、USBメモリ5との通信を制御する外部記憶コントローラ106を備えている。
【0030】
また、表示装置2は、ノートPC6のディスプレイに対して映像情報を静止画又は動画として表示させるキャプチャデバイス111、グラフィクスを専門に扱うGPU(Graphics Processing Unit)112、及び、GPUからの出力画像をディスプレイ3やテレビ会議端末7へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ113を備えている。
【0031】
更に、表示装置2は、接触センサ115の処理を制御するセンサコントローラ114、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する接触センサ115を備えている。この接触センサ115は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ115は、物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ114に出力し、センサコントローラ114が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各IDは、識別情報の一例である。
【0032】
また、接触センサ115としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。
【0033】
また、表示装置2は、電子ペンコントローラ116を備えている。この電子ペンコントローラ116は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ116が、電子ペン4のペン先及びペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
【0034】
更に、表示装置2は、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、センサコントローラ114、及び電子ペンコントローラ116を、
図3に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン120を備えている。
【0035】
なお、表示装置2用のプログラムは、CD-ROM等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【0036】
<アカウントサーバのハードウェア構成例>
図4は、アカウントサーバ8のハードウェア構成図である。アカウントサーバ8は、コンピュータによって構築されており、
図4に示されているように、CPU501、ROM502、RAM503、HD504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、バスライン510、キーボード511、ポインティングデバイス512、DVD-RW(Digital Versatile Disk Rewritable)ドライブ514、メディアI/F516を備えている。
【0037】
これらのうち、CPU501は、アカウントサーバ8全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリやプリンタ等である。ネットワークI/F509は、通信ネットワーク9を利用してデータ通信をするためのインターフェースである。バスライン510は、
図4に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0038】
また、キーボード511は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。DVD-RWドライブ514は、着脱可能な記録媒体の一例としてのDVD-RW513に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RWに限らず、DVD-R等であってもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出し又は書き込み(記憶)を制御する。
【0039】
<表示装置の機能構成>
続いて、
図5乃至
図10を用いて、表示装置2の機能構成について説明する。なお、先ずは、
図5を用いて、表示装置2の全体的な機能構成について説明する。
図5は、表示装置2の機能ブロック図である。
【0040】
表示装置2は、
図3に示されているハードウェア構成及びプログラムによって、
図5に示されている各機能構成を有する。表示装置2は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、表示装置2は、大きく分けて、クライアント部20及びサーバ部90の両方によって構成されている。クライアント部20及びサーバ部90は、表示装置2の1台の筐体内で実現される機能である。そして、表示装置2が主催装置となる場合には、この表示装置2では、クライアント部20とサーバ部90が実現される。また、表示装置2が参加装置となる場合には、この表示装置2では、クライアント部20は実現されるが、サーバ部90は実現されない。即ち、
図2において、表示装置2aが主催装置で、表示装置2bが参加装置となる場合、表示装置2aのクライアント部20は、同じ表示装置2a内に実現されたサーバ部90を介して、他の表示装置2bのクライアント部20と通信を行う。一方、表示装置2bのクライアント部20は、他の表示装置2a内に実現されたサーバ部90を介して、他の表示装置2aのクライアント部と通信を行う。
【0041】
<<クライアント部の機能構成>>
続いて、主に
図5を用いて、クライアント部20の機能構成について説明する。クライアント部20は、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、及び通信制御部60を有する。
【0042】
このうち、映像取得部21は、ケーブル10に接続された映像出力機器の出力映像を取得する。映像取得部21は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部31に出力する。
【0043】
座標検知部22は、ディスプレイ3上でユーザによって生じたイベント(ディスプレイ3上にユーザの手Hがタッチされた動作等)の座標位置を検出する。また、座標検知部22は、タッチされた面積も検出する。
【0044】
自動調整部23は、表示装置2の起動時に起動され、接触センサ115が座標検知部22に適切な値を出力できるように、接触センサ115の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。
【0045】
接触検知部24は、ユーザによって生じたイベント(ディスプレイ3上に電子ペン4のペン先又は電子ペン4のペン尻が押下(タッチ)された動作等)を検出する。
【0046】
イベント振分部25は、座標検知部22によって検知されたイベントの座標位置と接触検知部24によって検出された検出結果を、ストローク描画、UI操作、及びジェスチャ操作の各イベントに振り分ける。
【0047】
ここで、「ストローク描画」は、ディスプレイ3上に
図10に示されている後述のストローク画像(B)が表示されている場合に、ユーザがディスプレイ3上で電子ペン4を押下し、この押下した状態で電子ペン4を移動させ、最終的にディスプレイ3上から電子ペン4を離すまでのイベントである。このストローク描画により、例えば、アルファベット「S」や「T」等がディスプレイ3上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。
【0048】
「UI操作」は、ディスプレイ3上に
図10に示されている後述のUI画像(A)が表示されている場合に、ユーザが電子ペン4又は手Hによって所定の位置を押下したイベントである。このUI操作により、例えば、電子ペン4により描画される線の色や幅等が設定される。
【0049】
「ジェスチャ操作」は、ディスプレイ3上に
図10に示されている後述のストローク画像(B)が表示されている場合に、ユーザが手Hでディスプレイ3上をタッチしたり移動したりさせるイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ3に手Hをタッチさせた状態で手Hを移動させることで、画像の拡大(若しくは縮小)、表示領域の変更、又は、ページ切り換え等を行うことができる。
【0050】
操作処理部26は、イベント振分部25によってUI操作と判断されたものから、イベントが発生されたUIの要素にしたがって、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
ジェスチャ処理部27は、イベント振分部25によってジェスチャ操作と判断されたものに対応した操作を実行する。
【0051】
映像重畳部28は、後述の表示重畳部36で重畳された画像を映像として映像出力機器(ディスプレイ3等)に対して表示する。また、映像重畳部28は、映像出力機器(ノートPC6等)からの映像に対して、他の映像出力機器(テレビ会議端末7等)から送られて来た映像をピクチャ・イン・ピクチャする。更に、映像重畳部28は、ピクチャ・イン・ピクチャされてディスプレイ3の一部に表示された映像を、ディスプレイ3の全体に表示させるための切り替えを行う。
【0052】
画像処理部30は、
図10に示されているような各画像レイヤの重畳処理等を行う。この画像処理部30は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、レイアウト管理部35、表示重畳部36、ページ処理部37、ファイル処理部40、ページデータ記憶部300、及び遠隔ライセンス管理テーブル310を有している。
【0053】
このうち、画像取得部31は、映像取得部21で取得された映像から、各フレームを画像として取得する。画像取得部31は、この画像のデータを、ページ処理部37に出力する。この画像は、
図10に示されている映像出力機器(ノートPC6等)からの出力画像(C)に相当する。
【0054】
ストローク処理部32は、イベント振分部25によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、
図10に示されているストローク画像(B)に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、操作データ記憶部840に記憶される。
【0055】
UI画像生成部33は、表示装置2に予め設定されているUI(ユーザインターフェース)画像を生成する。このUI画像は、
図10に示されているUI画像(A)に相当する。
【0056】
背景生成部34は、ページ処理部37がページデータ記憶部300から読み出したページデータのうちのメディアデータを、ページ処理部37から受信する。背景生成部34は、この受信したメディアデータを表示重畳部36に出力する。また、このメディアデータによる画像は、
図10に示されている背景画像(D)に相当する。背景画像(D)のパターンは、無地、グリッド表示等である。
【0057】
レイアウト管理部35は、表示重畳部36に対して、画像取得部31、ストローク処理部32、及びUI画像生成部33(又は背景生成部34)から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部35は、表示重畳部36に対して、出力画像(C)及びストローク画像(B)を、UI画像(A)及び背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
【0058】
表示重畳部36は、レイアウト管理部35から出力されたレイアウト情報に基づき、画像取得部31、ストローク処理部32、及びUI画像生成部33(背景生成部34)から出力された各画像のレイアウトを行う。
【0059】
ページ処理部37は、ストローク画像(B)のデータと出力画像(C)のデータを、1つのページデータにまとめてページデータ記憶部300に記憶する。ストローク画像(B)のデータは、
図6に示されているストローク配列データIDで示されるストローク配列データ(各ストロークデータ)として、ページデータの一部を成す。出力画像(C)のデータは、
図6に示されているメディアデータIDで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部300から読み出されると、背景画像(D)のデータとして取り扱われる。
【0060】
また、ページ処理部37は、一旦記憶されたページデータのうちのメディアデータを、背景生成部34を介して表示重畳部36に送信することで、映像重畳部28が背景画像(D)をディスプレイ3に再表示させることができる。また、ページ処理部37は、ページデータのうちのストローク配列データ(各ストロークデータ)を、ストローク処理部32に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部37は、ページデータを削除したり複製したりすることもできる。
【0061】
即ち、ページ処理部37がページデータ記憶部300にページデータを記憶する時点でディスプレイ3上に表示されている出力画像(C)のデータは、一旦、ページデータ記憶部300に記憶され、その後にページデータ記憶部300から読み出される際には、背景画像(D)を示すメディアデータとして読みされる。そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、ストローク画像(B)を示すストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、背景画像(D)を示すメディアデータを、背景生成部34に出力する。
【0062】
表示重畳部36は、 画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)、及び、背景生成部34からの背景画像(D)を、レイアウト管理部35によって指定されたレイアウトにしたがって重畳する。これにより、
図10に示されているように、各画像が重なってもユーザが見える順に、UI画像(A)、ストローク画像(B)、出力画像(C)、及び背景画像(D)の各レイアの構成となっている。
【0063】
また、表示重畳部36は、
図10に示されている画像(C)と画像(D)を切り替えて、画像(A)及び画像(B)に対して排他的に重畳することも可能である。例えば、当初、画像(A)、画像(B)及び画像(C)が表示されている状態で、表示装置2と映像出力機器(ノートPC6等)との間のケーブル10が抜かれた場合には、レイアウト管理部35の指定によって、画像(C)を重畳対象から外し、画像(D)を表示させることができる。この場合に、また、表示重畳部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
【0064】
ページデータ記憶部300は、
図6に示されているようなページデータを記憶する。
図6は、ページデータを示す概念図である。ページデータは、ディスプレイ3に表示される1ページ分のデータ(ストローク配列データ(各ストロークデータ)及びメディアデータ)である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、
図6乃至
図9に分けて、ページデータの内容を説明する。
【0065】
ページデータは、
図6に示されているように、任意の1ページを識別するためのページデータID、このページの表示を開始した時刻を示す開始時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン4やユーザの手Hによるストロークによって生じたストローク配列データを識別するためのストローク配列データID、及びメディアデータを識別するためのメディアデータIDが関連付けて記憶されている。ストローク配列データは、後述の
図10に示されているストローク画像(B)がディスプレイ3上に表示されるためのデータである。メディアデータは、後述の16に示されている背景画像(D)がディスプレイ3上に表示されるためのデータである。
【0066】
このようなページデータにより、例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合は一筆書きとなるため、ストロークデータIDが1つで一文字のアルファベット[S]が示される。ところが、ユーザが電子ペン4によってアルファベット「T」を描く場合、二筆書きとなるため、ストロークデータIDが2つで一文字のアルファベット「T」が示されることになる。
【0067】
また、ストローク配列データは、
図7に示されているように詳細な情報を示している。
図7は、ストローク配列データを示す概念図である。
図7に示されているように、1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、このストロークデータを識別するためのストロークデータID、1つのストロークの書き始めの時刻を示す開始時刻、1つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データIDを示している。
【0068】
更に、この座標配列データは、
図8に示されているように詳細な情報を示している。
図8は、座標配列データを示す概念図である。
図8に示されているように、座標配列データは、ディスプレイ3上の1点(X座標値、Y座標値)、この1点を通過したときのストロークの開始時刻からの差分の時刻(ms)、及び、この1点における電子ペン4の筆圧の各情報を示している。即ち、
図8に示されている1点の集まりが、
図7に示されている1つの座標配列データで示されている。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
【0069】
また、
図6に示されているページデータのうちのメディアデータは、
図9に示されているように詳細な情報を示している。
図9は、メディアデータを示す概念図である。
図9に示されているように、メディアデータは、
図6に示されているページデータにおけるメディアデータID、メディアデータのデータ種類、ページ処理部37からページデータ記憶部300にページデータが記憶された記録時刻、ページデータによってディスプレイ3上に表示される画像の位置(X座標値、Y座標値)及び画像のサイズ(幅、高さ)、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値,Y座標値)=(0,0)とした場合に、ページデータによって表示される画像の左上端の位置を示している。
【0070】
また、
図5に戻り、遠隔ライセンス管理テーブル310は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル310では、表示装置2のプロダクトID、認証に用いられるライセンスID、及びライセンスの有効期限が関連付けて管理されている。
【0071】
<アカウントサーバの機能について>
図11は、アカウントサーバ8が有する機能をブロックに分けて説明する機能ブロック図の一例である。アカウントサーバ8は、送受信部81、ユーザ認証部82、及び記録読出部89を有している。アカウントサーバ8が有するこれら各部は、HD504からRAM503上に展開されたプログラムを実行するCPU501によって実現される機能又は手段である。また、アカウントサーバ8は、RAM503及びHD504によって構成される記憶部3000を有している。
【0072】
送受信部81は、通信ネットワーク9を介して表示装置2からアカウント情報を受信して、認証結果やユーザ権限(ユーザID、一般ユーザか管理者かなど)などを表示装置2に送信する。
【0073】
ユーザ認証部82は、アカウント情報に基づいて認証情報DB3001を照会してユーザを認証する。アカウント情報が認証情報DB3001に記憶されていれば認証成功を、記憶されていなければ認証失敗と判断して認証結果を生成する。記録読出部89は記憶部3000から情報の読み出し、及び、記憶部3000への情報の書き込みを行う。
【0074】
図12は、認証情報DB3001に記憶されている情報を模式的に示す。認証情報DB3001は各ユーザのアカウント情報を記憶している。
図12では、カード情報、ユーザID、パスワード、及び、ユーザ名を対応づけてアカウント情報として記憶している。カード情報はユーザが携帯するICカードの識別情報であり、ユーザIDはユーザを識別する識別情報であり、パスワードはユーザのみが知る情報であり、ユーザ名はユーザの表記に使用される。したがって、
図12のアカウント情報によれば、ユーザはユーザIDとパスワードだけでなく、ユーザ名とパスワード、又は、ICカードでログインできる。
【0075】
なお、ユーザの認証機能は表示装置2が内部に有していてもよい。
【0076】
<チュートリアルの表示制御に関する表示装置2の機能>
また、表示装置2は
図13に示すようにチュートリアルの表示に関する機能を有している。
図13はチュートリアルの表示制御に関する表示装置2の機能をブロックに分けて説明する機能ブロック図の一例である。
【0077】
表示装置2は、表示制御部71、ユーザ認証要求部72、及び、提供制御部73を有している。表示装置2が有するこれらの機能は、SSD104からRAM103上に展開されたプログラムを実行するCPU101によって実現される機能又は手段である。また、表示装置2は、RAM513及びSSD104によって構成される機能使用履歴DB75と教材データDB74を有している。
【0078】
ユーザ認証要求部72は、ユーザからアカウント情報を受け付け、アカウントサーバ8に対しアカウント情報を送信してユーザの認証を要求する。ユーザ認証要求部72はアカウントサーバ8から認証結果を取得する。認証成功の場合、ログイン時刻76を例えばRAM503に記録しておく。なお、アカウント情報は、ディスプレイ3に表示されたソフトキーから入力されても、ICカードリーダーから入力されてもよい。認証成功の場合、表示装置2はユーザIDやユーザの権限等をアカウントサーバ8から取得する。認証成功によりユーザは表示装置2にログインし、このユーザの権限に応じて表示装置2を使用できる。認証失敗の場合、ユーザは表示装置2を使用できない。
【0079】
表示制御部71は、提供制御部73が提供すると決定したチュートリアルをディスプレイ3に表示する。なお、表示制御部71はUI画像生成部33が有する機能とするが、UI画像生成部33とは独立の機能でもよい。
【0080】
提供制御部73は、ユーザによる表示装置2の利用状況に応じて機能使用履歴テーブルを更新する。また、機能使用履歴テーブルの情報をもとに提供するチュートリアルを決定し、教材データDB74からチュートリアルのデータを読み込む。
【0081】
図14は、機能使用履歴DB75に記憶されている機能使用履歴テーブルの一例を示す。機能使用履歴テーブルは、ユーザがどの機能をいつ使用したか(機能が使用された旨)、機能のチュートリアルがいつ提供されたか(機能の使用方法を提供した旨)をユーザごとに記録したテーブルである。機能使用履歴テーブルはユーザIDに対応づけられている。また、ユーザごとのログイン回数が記録されている。更に、管理者又はユーザがチュートリアルを提供すると設定したか否か(ONかOFFか)が登録されている。管理者はチュートリアルを提供するか否かについてデフォルトの設定(初期設定)を行い、ユーザは個別に設定を行う。
【0082】
図14に示すように、機能使用履歴テーブルは、機能情報、優先度、ユーザ使用時刻、チュートリアル提供時刻、及び、機能使用率の各項目を有している。
【0083】
機能情報は、表示装置2が有する機能(ユーザが利用できるチュートリアルを有する機能)の識別情報である。換言すると、表示装置2がチュートリアルを提供してユーザに使い方を提示できる機能である。
【0084】
優先度は、チュートリアルが提供される機能情報を決定するために参照される程度を表す情報である。数字が小さいものほど優先度が高い。管理者等は予め基本的な機能ほど優先度を高く設定しておく。基本的な機能とは、電子黒板としての機能を提供するために必要な機能、一般に電子黒板の機能として認識されている機能、又は、ユーザにより使用される頻度が大きい機能である。管理者はPCから又は表示装置2を操作して優先度を個別に設定できる。また、所定のサーバから表示装置2が機能情報と優先度が対応づけられた状態でダウンロードしてもよい。
【0085】
ユーザ使用時刻は、ユーザが最後に該機能情報を使用した日時と過去の使用回数である(当然ながらログインからログアウトまでの間である)。ユーザ使用時刻は機能使用率を提供制御部73が算出するために使用される。チュートリアル実行時刻は、ユーザに対して該機能のチュートリアルを提供した日時である(当然ながらログインからログアウトまでの間である)。チュートリアル実行時刻は過去にチュートリアルが提供されたかどうか(提供した旨)を記録できればよく、日時まではなくてもよい。また、使用回数は1回のログインで1回以上使用されると1回が計上される(ログイン中にユーザが2回以上使用しても1回でカウントする)。
【0086】
機能使用率は、機能ごとの使用率である。例えば、提供制御部73はユーザのログイン時刻よりも後のユーザ使用時刻の機能情報の使用回数を更新して、これとログイン回数から機能ごとに機能使用率を算出する。全ての機能に対して機能使用率が存在するわけではない。算出式は例えば以下のようになる。
最新の使用回数=
・ログイン時刻より後のユーザ使用時刻が記録されている場合は過去の使用回数+1
・ログイン時刻より後のユーザ使用時刻が記録されていない場合は過去の使用回数
機能使用履歴=最新の使用回数/ログイン回数
図15は、教材データDB74に記憶されている教材データの一例を示す。教材データは、機能情報に対応づけてチュートリアル内容を保持している。機能情報は機能使用履歴テーブルと同じものである。チュートリアル内容は機能ごとにチュートリアルを提供するためのデータである。チュートリアル内容には例えば、表示装置2が実行するコマンド、メッセージや画像(
図15では枠線)の表示位置が登録されている。
【0087】
例えば、「書き込む」という機能では、ユーザが「書き込むアイコン」を押下した場合と同じ画面を表示装置2が表示して(コマンド実行)、決まった位置に「線の色を変えられます。」「線の太さを変えられます」というメッセージや操作対象のボタンなどを強調する画像を表示することが登録されている。したがって、表示装置2はコマンドを実行し、メッセージ、画像を決まった位置に表示することで、チュートリアルを提供できる。
【0088】
あるいは、チュートリアル内容はPDFファイルで用意されてもよい。この場合は、表示装置2はPDFファイルを表示すればよい。
【0089】
この他、チュートリアル内容はURLでその内容を示されていてもよい。例えば、URLによりユーザを、チュートリアルを再生する動画サイトに誘導してもよい。また、チュートリアル内容は文字、画像、又は、図形、音声等、データの形式はどのようなものでもよい。
【0090】
<チュートリアルの提供設定>
ユーザによってはチュートリアルが不要な場合もあるため、各ユーザはチュートリアルの提供を受けるか否かを自分で設定できる。これにより、ユーザは煩わしく感じることを抑制できる。
【0091】
図16は、チュートリアルの提供設定画面320の一例を示す。提供設定画面320は、ログインしたユーザが各種の設定を行うアイコンを押下して表示させる。あるいは、最初のログイン時に自動的に表示される。最初のログインかどうかはこのユーザの機能情報テーブルがないことから判断される。
【0092】
提供設定画面320は、「使用します」「使用しません」にそれぞれ対応づけられたラジオボタン321、キャンセルボタン322、及び、OKボタン323を有している。ユーザはラジオボタン321を選択して、OKボタン323を押下する。押下結果は機能使用履歴テーブルの「チュートリアル」にON又はOFFとして登録される。
【0093】
なお、
図16では各ユーザがチュートリアル機能のON(有効)/OFF(無効)を設定しているが、デフォルトの設定(初期設定)は管理者が予め行っている。ユーザがチュートリアル機能のON又はOFFを設定した場合は、デフォルトの設定よりもユーザの設定が優先される。
【0094】
<動作及び処理>
続いて、
図17を用いて、表示装置2がチュートリアルを提供する全体的な処理の流れを説明する。
図17は、ログインから機能使用率の更新までの手順を説明するシーケンス図の一例である。
【0095】
S1:まず、ユーザは表示装置2にログインする。すなわち、表示装置2にアカウント情報を入力する。
【0096】
S1.1:ユーザ認証要求部72がアカウント情報を受け付けてアカウントサーバ8に送信する。アカウントサーバ8のユーザ認証部82がユーザ認証を行い、送受信部81が認証結果を表示装置2に送信する。ここでは認証が成功し、ユーザIDを表示装置2に送信する。
【0097】
S1.2:表示装置2の通信制御部60は認証結果(認証成功、ユーザID)を受信し、表示装置2の提供制御部73は機能使用履歴DB75からこのユーザIDに対応付けられている機能使用履歴テーブルを取得する。
【0098】
S1.3:ステップS1.3、S1.4は、ユーザが使用したことなく、かつ、チュートリアルが提供されたことがない機能がある場合に実行される。したがって、提供制御部73は、機能使用履歴テーブルに、ユーザ使用時刻の記録がなく、かつ、チュートリアル実行時刻の記録がない機能を抽出する。そしてその中から最も優先度が高い機能のチュートリアルを提供する。同じ優先度の機能が複数ある場合、機能名のアルファベット順などの順番に実行する。1回に提供されるチュートリアルは1つとするが、提供制御部73は複数のチュートリアルを連続で提供してもよい。また、例えば、ユーザが次のチュートリアルを要求した場合は、要求に応じてチュートリアルを提供してもよい。このため、提供制御部73は優先度の高い順に複数のチュートリアルを用意しておいてよい。
【0099】
S1.4:チュートリアルを提供した場合、提供制御部73はチュートリアル実行時刻を機能使用履歴テーブルに記録する。
【0100】
S2:ユーザがチュートリアルにしたがって機能を使用したものとする。
図17では書き込みを行った。チュートリアルで提供された機能でない機能を使用してもよい。
【0101】
S2.1:提供制御部73はイベント振分部25によってUI操作と判断され、イベントが発生されたUIの要素にしたがって、使用された機能を特定する。すなわち、イベント振分部25は電子ペン4が触れた座標によりあるアイコンへのUI操作であると特定する。操作処理部26は操作されたアイコンの機能を特定するので、提供制御部73は操作処理部26から通知された機能のユーザ使用時刻を機能使用履歴テーブルに記録する。表示装置2の機能が使用されたタイミングで記録するのでなく、ログアウト時に記録してもよい。
【0102】
S3:ユーザがログアウトの操作を入力する。例えば、ログアウトボタンを押下する。
【0103】
S3.1:ログアウトした場合、提供制御部73は機能使用履歴テーブルのユーザ使用時刻が、ログイン時刻よりも後の機能を特定する。ユーザ使用時刻が、ログイン時刻よりも後の機能はログイン内で使用された機能であり、ログイン時刻よりも前の機能はログイン内で使用されていない機能である。提供制御部73は、「機能使用履歴=最新の使用回数/ログイン回数」により機能ごとに機能使用率を算出する。
【0104】
S3.2:提供制御部73は、機能使用履歴テーブルの機能使用率を算出した機能使用率で更新する。これにより、機能ごとに機能使用率を更新できる。
【0105】
続いて、
図18を用いてチュートリアルの提供処理について説明する。
図18は表示装置2がチュートリアルを提供する処理を説明するフローチャート図の一例である。
図18の処理は表示装置2の起動後に実行される。
【0106】
表示装置2のユーザ認証要求部72は認証を行うか否かの設定を確認する(S11)。これは、表示装置2によっては、認証機能を利用するかしないかを管理者が設定できるためである。認証しないという設定の場合、ユーザを特定できないので、
図18の処理は終了する。
【0107】
認証するという設定の場合、ユーザ認証要求部72はユーザからアカウント情報を受け付ける(S12)。ユーザがアカウント情報を入力しない場合、ユーザを特定できないので、
図18の処理は終了する。
【0108】
ユーザがアカウント情報を入力すると、ユーザ認証要求部72はアカウントサーバ8から認証結果(認証成功、認証失敗)を取得する(S13)。認証成功の場合、ユーザ認証要求部72は少なくともユーザIDを取得する。認証失敗の場合、
図18の処理は終了する。
【0109】
次に、提供制御部73はユーザIDに対応づけられている機能使用履歴テーブルが機能使用履歴DB75に存在するか否かを判断する(S14)。
【0110】
表示装置2に初めてログインするユーザは機能使用履歴テーブルを有していないので、提供制御部73は機能使用履歴テーブルを作成する(S15)。
【0111】
次に、提供制御部73はチュートリアル機能が有効か否かを、機能使用履歴テーブルを参照して判断する(S16)。チュートリアル機能が有効でない場合(OFF)、表示装置2はチュートリアルを提供しないので、
図18の処理は終了する。初めてのログインの場合、チュートリアル機能が有効か無効かは管理者の設定(デフォルト)に準拠する。
【0112】
チュートリアル機能が有効な場合(ON)、提供制御部73は、ユーザが使用したことがなく(ユーザ使用時刻の記録がない)、かつ、チュートリアルが提供されていない(チュートリアル提供時刻の記録がない)機能があるか否かを判断する(S17)。ステップS17の判断がNoの場合、チュートリアルを提供しないので、
図18の処理は終了する。
【0113】
ここでは、未使用かつチュートリアル未提供に限定しているが、ユーザが使用する頻度が所定以下の機能についてチュートリアルを提供してよい。例えば、使用回数が2回以下の機能のチュートリアルを提供してもよいし、機能使用率が閾値未満のチュートリアルを提供してもよい。
【0114】
また、ユーザが使用したことがある機能、又は、チュートリアルが提供されたことがある機能でも、ユーザ使用時刻から一定時間が経過した機能のチュートリアルを提供してもよいし、チュートリアル提供時刻から一定時間が経過した機能のチュートリアルを提供してもよい。ユーザがあまり使用しない機能や、チュートリアル提供から時間が経った機能のチュートリアルを提供できる。ユーザ使用時刻又はチュートリアル提供時刻から一定時間が経過した機能を提供する場合、機能使用率が小さい順にチュートリアルを提供するとよい。
【0115】
ステップS17の判断がYesの場合、提供制御部73は機能の優先度に応じてチュートリアルを提供する(S18)。優先度が同じ機能については機能名のアルファベット順、など決まった順番に決定する。
【0116】
なお、ソフトウェアのバージョンアップにより、新機能が追加された場合、管理者が各ユーザの機能使用履歴テーブルにこの機能を追加し、優先度を最大にする。一般に最も高い優先度1よりも高い特殊な優先度0などにする。こうすることで、提供制御部73は新機能のチュートリアルをバージョンアップ後の最初のログイン時に提供できる。
【0117】
<優先度の補足>
ユーザが使用する頻度が所定以下の機能を優先度が高い順に提供すると説明したが、この優先度を他のユーザの機能使用率で調整してもよい。例えば、ユーザが使用したことがなく、かつ、チュートリアルが提供されていない機能を、他のユーザの機能使用率が高い順にソートする。
【0118】
図19は、ユーザが使用したことがなく、かつ、チュートリアルが提供されていない機能のチュートリアルの提供順を決定するフローチャート図の一例である。この処理は
図18のステップS18で実行される。
【0119】
提供制御部73は、ユーザが使用したことがなく、かつ、チュートリアルが提供されていない機能について、他のユーザ(好ましくは全てのユーザ)の機能使用率を機能使用履歴テーブルから取得する(S21)。
【0120】
次に、提供制御部73は他のユーザの機能使用率を機能ごとに平均する(S22)。提供制御部73は他のユーザの機能使用率が高い順に機能をソートする(S23)。
【0121】
提供制御部73が他のユーザの機能使用率が高い順にチュートリアルを提供すれば、よく使用される機能のチュートリアルを優先して提供できる。他のユーザにとって便利な機能を当該ユーザも使用できる。
【0122】
<2つ以上のチュートリアルの提供>
機能によっては、連続して使用されることが多い機能がある。例えば、ユーザが画面をキャプチャした後はメール送信するなどである。この場合、2つの機能のチュートリアルを連続して提供すると学習効果が高くなる。そこで、提供制御部73は、他のユーザのユーザ使用時刻を参照して、連続して実行されている複数の機能を抽出し、この複数の機能のチュートリアルを提供するとよい。
【0123】
図20は、提供制御部73が連続してチュートリアルを提供する機能を決定する手順を示すフローチャート図の一例である。
図20の処理は
図18のステップS18で実行される。
【0124】
まず、提供制御部73はチュートリアルを提供する機能Aを決定する(S31)。決定方法は、優先度を使用してもよいし、
図19の方法でもよい。
【0125】
次に、提供制御部73はこの機能A(第一の機能の一例)と連続して実行される機能B(第二の機能の一例)を他のユーザの機能使用履歴テーブルから抽出する(S32)。例えば、各ユーザの機能使用履歴テーブルから機能Aを検索し、機能Aのユーザ使用時刻に最も近い機能B'(機能Bの候補)を特定する。各ユーザの機能Aと機能B'のユーザ使用時刻の時間差のうち最も時間差が小さい機能B'を、機能Aと連続して実行される機能Bとする。なお、時間差は連続して操作されたと見なせる程度の閾値内であることを前提とし、閾定内でない場合は機能Bがなかったと判断してよい。
【0126】
提供制御部73は、機能Aのチュートリアルに続いて、機能Bのチュートリアルを提供する(S33)。
【0127】
こうすることで、連続して使用される可能性が高い2つの機能のチュートリアルを連続して提供でき、学習効果を高めることができる。
【0128】
<チュートリアルの表示例>
図21は表示装置2のディスプレイ3に表示されたチュートリアルの表示例を示す。まず、各機能のアイコンリスト331が表示された状態が初期状態のメニュー画面330である。アイコンリスト331には、他の表示装置2との接続に関するアイコン331a、書き込みのアイコン331b、ストロークの削除に関するアイコン331c、操作を1つ戻すアイコン331d、操作を1つ進めるアイコン331e、画面を拡大する拡大アイコン331fが表示されている。
【0129】
図21では書き込みの機能に関するチュートリアルが提供されている。このため、書き込みのアイコン331bから選択可能な設定に関する各種のボタンが表示されている。例えば、色ボタン332、太さボタン333、グリッドボタン334等が表示されている。また、各種のボタンを囲む枠線342と「線の色を変えられます。」「線の太さを変えられます。」というメッセージ341が表示されている。この枠線342とメッセージ341により、ユーザは書き込みの機能がどのようなものか学習できる。すなわち、枠線342とメッセージ341がチュートリアルである。
【0130】
提供制御部73は、アイコンリスト331を含む初期状態のメニュー画面330が表示されている状態で、教材データDB74から「書き込む」という機能のチュートリアル内容を取得して、「書き込むアイコン押下」というコマンドに応じて書き込みのアイコン331bが押下された状態を再現して、2つのメッセージ341と枠線342を決まった位置に表示する。こうすることで、機能ごとのチュートリアルを提供できる。
【0131】
なお、チュートリアルは音声で提供されてもよい。この場合、教材データには音声ファイルが登録されており、提供制御部73は音声ファイルを再生する。
【0132】
<利用率が高い機能のショートカットによる提供>
機能使用履歴テーブルに機能使用率が登録されていることを利用して、表示制御部71は利用率が高い機能を呼び出すアイコンを表示することもできる。通常よりも少ない操作で機能を呼び出す操作をショートカットという。以下、ショートカットが可能なアイコンを機能呼び出しアイコン331gという。
【0133】
図22は、機能使用率が高い機能を呼び出すアイコンを含むアイコンリスト331の一例である。機能呼び出しアイコン331gには機能使用率が高い上位N個(
図22ではN=3)の機能が対応付けられており、ユーザが機能呼び出しアイコン331gを押下するとN個の機能の説明336a~336cが表示される。説明336a~336cを押下するとその機能のアイコンを押下した場合と同じ処理が行われる。したがって、ユーザがよく使う機能について、ユーザは一箇所(機能呼び出しアイコン331g)から簡単にアクセスする(呼び出す)ことができる。
【0134】
このような機能呼び出しアイコン331gは階層が深いがよく使用される機能をユーザが使用する場合に便利である。
【0135】
図23は、表示制御部71が機能呼び出しアイコン331gを表示する手順を示すフローチャート図の一例である。
図23の処理は表示装置2がアイコンリスト331を表示する際に実行される。
【0136】
例えば、ユーザが表示装置2にログインする(S41)。表示制御部71はアイコンリスト331を表示するため、このユーザの機能使用履歴テーブルにおいて機能使用率が高い上位N件の機能を特定する(S42)。
【0137】
表示制御部71は機能呼び出しアイコン331gにN件の機能を関連付けて表示する(S43)。関連付けるとは、機能の説明336と機能へのリンクを機能呼び出しアイコン331gに設定することをいう。表示制御部71は機能呼び出しアイコン331gの押下により機能の説明336を表示し、機能の説明336が押下されると操作処理部26がリンク先の機能を実行する。
【0138】
このように、機能使用率を使うことで、ユーザがよく使う機能について一箇所から簡単にアクセスすることができる。
【0139】
<まとめ>
以上説明したように、本実施形態の表示装置2によれば、ユーザはチュートリアルにしたがって、アイコンを押下することで、使用したことがない機能を使用してみることができる。ユーザはログインした直後なので、会議においても同じアイコンを使用することができ、機能を覚えやすくなる。このように本実施形態の表示装置2は、ユーザが使用しない機能を少なくすることができる。
【実施例2】
【0140】
本実施例では画像を投影することで表示する表示装置について説明する。
【0141】
<<表示装置の構成の別の例1>>
本実施形態の表示装置は大型のタッチパネルを有するものとして説明されているが、表示装置はタッチパネルを有するものに限られない。
【0142】
図24は、表示装置の他の構成例を示す図である。
図24では、通常のホワイトボード413の上辺にプロジェクター411が設置されている。このプロジェクター411が表示装置に相当する。通常のホワイトボード413とは、タッチパネルと一体のフラットパネルディスプレイではなく、ユーザがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。
【0143】
プロジェクター411は超短焦点の光学系を有しており、10cm程度から歪みの少ない映像をホワイトボード413に投影できる。この映像は、無線又は有線で接続されたPC400ー1から送信されてもよいし、プロジェクター411が記憶していてもよい。
【0144】
ユーザは専用の電子ペン2501を使ってホワイトボード413に手書きする。電子ペン2501は、ユーザが手書きのためにホワイトボード413に押しつけるとスイッチがONになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザの目には見えない。プロジェクター411はカメラを有しており、発光部を撮像して画像を解析し電子ペン2501の方向を特定する。また、電子ペン2501は発光と共に音波を発信しており、プロジェクター411は音波の到達時間により距離を算出する。方向と距離により電子ペン2501の位置を特定できる。電子ペン2501の位置にはストロークが描画(投影)される。
【0145】
プロジェクター411はメニュー430を投影するので、ユーザが電子ペン2501でボタンを押下すると、プロジェクター411が電子ペン2501の位置とスイッチのON信号により押下されたボタンを特定する。例えば、保存ボタン431が押下されると、ユーザが手書きしたストローク(座標の集合)がプロジェクター411で保存される。プロジェクター411は、予め定められたサーバ412又はUSBメモリ2600等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー430は表示されなくてもよい。
【0146】
<<表示装置の構成の別の例2>>
図25は、表示装置の他の構成例を示す図である。
図25の例では、表示装置として、端末装置600、画像投影装置700A、及び、ペン動作検出装置810を有する。
【0147】
端末装置600は、画像投影装置700A及びペン動作検出装置810と有線で接続されている。画像投影装置700Aは、端末装置600により入力された画像データをスクリーン800に投影させる。
【0148】
ペン動作検出装置810は、電子ペン820と通信を行っており、スクリーン800の近傍における電子ペン820の動作を検出する。具体的には、電子ペン820は、スクリーン800上において、電子ペン820が示している点を示す座標情報を検出し、端末装置600へ送信する。
【0149】
端末装置600は、ペン動作検出装置810から受信した座標情報に基づき、電子ペン820によって入力されるストローク画像の画像データを生成し、画像投影装置700Aによってストローク画像をスクリーン800に描画させる。
【0150】
また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン820によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。
【0151】
<<表示装置の構成の別の例3>>
図26は、表示装置の構成例を示す図である。
図26の例では、表示装置として、端末装置600とディスプレイ800Aと、ペン動作検出装置810とを有する。
【0152】
ペン動作検出装置810は、ディスプレイ800Aの近傍に配置され、ディスプレイ800A上に、電子ペン820Aが示している点を示す座標情報を検出し、端末装置600へ送信する。なお、
図26の例では、電子ペン820Aは、端末装置600によってUSBコネクタを介して充電されても良い。
【0153】
端末装置600は、ペン動作検出装置810から受信した座標情報に基づき、電子ペン820Aによって入力されるストローク画像の画像データを生成し、ディスプレイ800Aに表示させる。
【0154】
<<表示装置の構成の別の例4>>
図27は、表示装置の構成例を示す図である。
図27の例では、表示装置として、端末装置600と、画像投影装置700Aとを有する。
【0155】
端末装置600は、電子ペン820Bと無線通信(Bluetooth(登録商標)等)を行って、スクリーン800上において電子ペン820Bが示す点の座標情報を受信する。そして、端末装置600は、受信した座標情報に基づき、電子ペン820Bにより入力されるストローク画像の画像データを生成し、画像投影装置700Aにストローク画像を投影させる。
【0156】
また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン820によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。
【0157】
以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。
【0158】
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0159】
例えば、本実施形態では、電子黒板として使用できる表示装置を説明したが、表示装置は画像を表示できればよく、例えばデジタルサイネージなどでもよい。
【0160】
また、表示する画像11は動画でも静止画でもよい。
【0161】
また、本実施形態では表示装置の一例として電子黒板を説明したが、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、PJ(Projector:プロジェクター)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPC又はデスクトップPC等であってもよい。
【0162】
また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。ペンは発光と共に超音波を発信しており、表示装置2は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークとしてプロジェクターが描画(投影)する。
【0163】
また、
図5,
図13などの構成例は、表示装置2による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置2の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
【0164】
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【0165】
1 画像処理システム
2 表示装置
3 ディスプレイ
【先行技術文献】
【特許文献】
【0166】