(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-20
(45)【発行日】2022-09-29
(54)【発明の名称】共有端末、筆記方法、プログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20220921BHJP
G06F 3/0486 20130101ALI20220921BHJP
G06F 3/04883 20220101ALI20220921BHJP
【FI】
G06F3/01 510
G06F3/0486
G06F3/04883
(21)【出願番号】P 2018117400
(22)【出願日】2018-06-20
【審査請求日】2021-02-08
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】川▲崎▼ 怜士
【審査官】木内 康裕
(56)【参考文献】
【文献】特開2009-122837(JP,A)
【文献】特開2013-242671(JP,A)
【文献】特開2009-087295(JP,A)
【文献】特開2009-103942(JP,A)
【文献】米国特許出願公開第2014/0164984(US,A1)
【文献】特開2004-301869(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/048 - 3/04895
(57)【特許請求の範囲】
【請求項1】
ディスプレイを有する共有端末であって、
前記ディスプレイに対する指示物体の接触位置を取得する接触位置取得手段と、
前記接触位置に基づいて描画像を前記ディスプレイに描画する描画手段と、
前記指示物体を操作するユーザの前記ディスプレイに対する視線位置を検出する視線位置検出手段と、
前記接触位置取得手段が取得した前記接触位置と、前記視線位置検出手段が検出した前記視線位置とに応じて、前記ディスプレイに対する前記視線位置の周囲の描画像を決定する描画像決定手段と、
前記描画像決定手段が決定した前記視線位置の周囲の描画像を複製して前記ディスプレイにおける前記接触位置の周囲に表示させる複製手段と、
前記描画手段が前記接触位置に描画した描画像を、前記視線位置の周囲に移動して前記ディスプレイに表示させる描画像移動手段と、を有し、
前記描画手段は、前記視線位置検出手段が前記ディスプレイに対するユーザの視線位置を前記接触位置から所定距離内で検出している間、前記描画手段は前記接触位置に描画像を前記ディスプレイに表示し、
前記視線位置検出手段が前記ディスプレイに対するユーザの視線位置を前記接触位置から所定距離内で検出しなくなった場合、前記描画像移動手段は、前記描画手段が前記接触位置に表示した描画像を前記視線位置の周囲に移動して前記ディスプレイに表示させることを特徴とする共有端末。
【請求項2】
前記描画像移動手段は、前記描画手段が前記ディスプレイにおける前記接触位置に描画した描画像を前記視線位置の周囲に移動して表示させ、前記ディスプレイにおける前記接触位置に表示されていた描画像を消去することを特徴とする
請求項1に記載の共有端末。
【請求項3】
前記複製手段が前記ディスプレイにおける前記視線位置の周囲の描画像を前記接触位置の周囲に複製して表示させる場合、前記ディスプレイにおける前記接触位置から所定距離内にすでに描画されていた描画像の色を変更するか、又は、非表示にすることを特徴とする請求項
1又は2に記載の共有端末。
【請求項4】
前記複製手段が前記ディスプレイにおける前記視線位置の周囲の描画像を前記接触位置の周囲に複製して表示させる場合、前記ディスプレイにおける前記接触位置から所定距離内にすでに描画されていた描画像の色を変更することなく、
前記描画手段は、前記描画手段が前記ディスプレイにおける前記接触位置に表示した描画像の色を前記接触位置から所定距離内にすでに描画されていた描画像の色と異ならせ、
前記複製手段は、前記複製手段が複製して前記ディスプレイに表示させる前記視線位置の周囲の描画像の色を前記接触位置から所定距離内にすでに描画されていた描画像の色と異ならせることを特徴とする
請求項3に記載の共有端末。
【請求項5】
前記複製手段が前記ディスプレイにおける前記視線位置の周囲の描画像を前記接触位置の周囲に複製して表示させる場合、前記ディスプレイにおける前記視線位置を強調する視覚効果を施す視覚効果手段を有することを特徴とする請求項
1~4のいずれか1項に記載の共有端末。
【請求項6】
前記描画像移動手段が、前記ディスプレイにおける前記接触位置に描画されている描画像を、前記ディスプレイにおける前記視線位置の周囲に移動して表示させる場合、
前記視覚効果手段は、前記描画手段が前記ディスプレイにおける前記接触位置に表示させている描画像が前記視線位置に反映されたことを示すアニメーション又は前記視線位置を囲む枠を前記ディスプレイに表示する視覚効果を表示することを特徴とする
請求項5に記載の共有端末。
【請求項7】
前記描画像決定手段は、前記描画像決定手段が前記ディスプレイにおける前記視線位置の周囲であると判断する、前記ディスプレイにおける前記視線位置の周囲に相当する視線領域の大きさ及び形状の設定を受け付けることを特徴とする請求項
1~6のいずれか1項に記載の共有端末。
【請求項8】
前記描画像決定手段は、前記指示物体のドラッグ操作により、前記ディスプレイにおける前記視線位置の周囲に相当する視線領域の大きさ及び形状の設定を受け付けることを特徴とする
請求項7に記載の共有端末。
【請求項9】
ディスプレイを有する共有端末が行う筆記方法であって、
接触位置取得手段が、前記ディスプレイに対する指示物体の接触位置を取得するステップと、
描画手段が、前記接触位置に基づいて描画像を前記ディスプレイに描画するステップと、
視線位置検出手段が、前記指示物体を操作するユーザの前記ディスプレイに対する視線位置を検出するステップと、
前記接触位置取得手段が取得した前記接触位置と、前記視線位置検出手段が検出した前記視線位置とに応じて、
描画像決定手段が前記ディスプレイに対する前記視線位置の周囲の描画像を決定するステップと、
複製手段が、前記描画像決定手段が決定した前記視線位置の周囲の描画像を複製して前記ディスプレイにおける前記接触位置の周囲に表示させるステップと、
描画像移動手段が、前記描画手段が前記接触位置に描画した描画像を、前記視線位置の周囲に移動して前記ディスプレイに表示させるステップと、を有し、
前記描画手段は、前記視線位置検出手段が前記ディスプレイに対するユーザの視線位置を前記接触位置から所定距離内で検出している間、前記描画手段は前記接触位置に描画像を前記ディスプレイに表示し、
前記視線位置検出手段が前記ディスプレイに対するユーザの視線位置を前記接触位置から所定距離内で検出しなくなった場合、前記描画像移動手段は、前記描画手段が前記接触位置に表示した描画像を前記視線位置の周囲に移動して前記ディスプレイに表示させることを特徴とする筆記方法。
【請求項10】
ディスプレイを有する共有端末を、
前記ディスプレイに対する指示物体の接触位置を取得する接触位置取得手段と、
前記接触位置に基づいて描画像を前記ディスプレイに描画する描画手段と、
前記指示物体を操作するユーザの前記ディスプレイに対する視線位置を検出する視線位置検出手段と、
前記接触位置取得手段が取得した前記接触位置と、前記視線位置検出手段が検出した前記視線位置とに応じて、前記ディスプレイに対する前記視線位置の周囲の描画像を決定する描画像決定手段と、
前記描画像決定手段が決定した前記視線位置の周囲の描画像を複製して前記ディスプレイにおける前記接触位置の周囲に表示させる複製手段と、
前記描画手段が前記接触位置に描画した描画像を、前記視線位置の周囲に移動して前記ディスプレイに表示させる描画像移動手段、として機能させ、
前記描画手段は、前記視線位置検出手段が前記ディスプレイに対するユーザの視線位置を前記接触位置から所定距離内で検出している間、前記描画手段は前記接触位置に描画像を前記ディスプレイに表示し、
前記視線位置検出手段が前記ディスプレイに対するユーザの視線位置を前記接触位置から所定距離内で検出しなくなった場合、前記描画像移動手段は、前記描画手段が前記接触位置に表示した描画像を前記視線位置の周囲に移動して前記ディスプレイに表示させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、共有端末、筆記方法、及びプログラムに関する。
【背景技術】
【0002】
液晶パネル等のディスプレイにユーザが電子ペンなどの指示物体を用いて指示したディスプレイ上の座標を検出するタッチパネルと、タッチパネルから出力される座標データに基づいて筆記されたストロークなどを描画して表示させる制御装置と、を備えた電子黒板が広く使用されている。
【0003】
タッチパネルは電子黒板に限らず広く使用されており、タッチパネルへの筆記を支援する技術が考案されている(例えば、特許文献1参照。)。特許文献1には、タッチパネルへの筆記位置を正確に調整するため、ユーザによる筆記位置と視線位置に差がある場合、描画像の表示位置を補正するスマートフォンが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、電子黒板のようにサイズが大きいディスプレイをユーザが広く活用して筆記することが容易でないという問題があった。
図1を参照して説明する。
【0005】
図1は、電子黒板にユーザが筆記する1シーンを示す。
図1(a)に示すように、電子黒板には大きなサイズのディスプレイを搭載したモデルもあり、ディスプレイ3の端から端までユーザが筆記しようとすると、ユーザはディスプレイサイズに応じた距離を移動しなければならない。
【0006】
また、
図1(b)に示すように、ユーザの位置によってはユーザの体でディスプレイ3が隠れてしまうこと、又は、他のユーザが画面を見ようとする視線を筆記者であるユーザが遮ってしまうことが生じやすい。
【0007】
これらのため、従来は、ディスプレイ3を広く活用してユーザが筆記すること(端から端まで容易に筆記すること)が容易ではなかった。端から端まで筆記し、視線を遮らないようにするためには、ユーザがディスプレイ3の端から端まで移動したり頻繁に立ち位置を変えたりする必要があった。
【0008】
本発明は、上記課題に鑑み、ディスプレイの広い範囲で描画が容易な共有端末を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題に鑑み、本発明は、ディスプレイを有する共有端末であって、前記ディスプレイに対する指示物体の接触位置を取得する接触位置取得手段と、前記接触位置に基づいて描画像を前記ディスプレイに描画する描画手段と、前記指示物体を操作するユーザの前記ディスプレイに対する視線位置を検出する視線位置検出手段と、前記接触位置取得手段が取得した前記接触位置と、前記視線位置検出手段が検出した前記視線位置とに応じて、前記ディスプレイに対する前記視線位置の周囲の描画像を決定する描画像決定手段と、前記描画像決定手段が決定した前記視線位置の周囲の描画像を複製して前記ディスプレイにおける前記接触位置の周囲に表示させる複製手段と、前記描画手段が前記接触位置に描画した描画像を、前記視線位置の周囲に移動して前記ディスプレイに表示させる描画像移動手段と、を有し、前記描画手段は、前記視線位置検出手段が前記ディスプレイに対するユーザの視線位置を前記接触位置から所定距離内で検出している間、前記描画手段は前記接触位置に描画像を前記ディスプレイに表示し、前記視線位置検出手段が前記ディスプレイに対するユーザの視線位置を前記接触位置から所定距離内で検出しなくなった場合、前記描画像移動手段は、前記描画手段が前記接触位置に表示した描画像を前記視線位置の周囲に移動して前記ディスプレイに表示させることを特徴とする。
【発明の効果】
【0010】
ディスプレイの広い範囲で描画が容易な共有端末を提供することができる。
【図面の簡単な説明】
【0011】
【
図1】電子黒板にユーザが筆記するシーンの一例を示す図である。
【
図2】ユーザがディスプレイの遠方に筆記する際の支援の概略を説明する図の一例である。
【
図4】電子黒板のハードウェア構成図の一例である。
【
図5】電子黒板が有する機能をブロック状に示す機能ブロック図の一例である。
【
図6】1つのストロークデータの一例を示す図である。
【
図7】従来技術と本実施形態の技術とを比較して説明する図の一例である。
【
図8】遠方筆記モードへの遷移と遠方筆記モードにおける電子黒板の動作手順を示すフローチャート図の一例である。
【
図9】視線領域の描画像のコピー位置、及び、接触位置の描画像の移動先の位置について説明する図である。
【
図10】電子黒板の設定画面の一例を示す図である。
【
図11】接触位置にすでに筆記されている描画像の表示例を説明する図の一例である。
【
図12】コピーされた視線領域の描画像及び接触位置における新たな描画像の表示例を説明する図の一例である。
【
図13】接触位置にすでに筆記されている描画像の表示例を説明する図の一例である。
【
図14】視線領域に描画されている描画像と接触位置の周囲にコピーして表示される描画像の一例を示す図である。
【
図15】ユーザが視線領域の大きさと形状を任意に設定する視線領域設定画面の一例である。
【
図16】ユーザが視線領域の大きさと形状を任意に設定する視線領域設定画面の一例である。
【
図17】視線領域の視覚効果の一例を示す図である。
【
図18】遠方筆記モードを終了し、視線領域に描画像を反映させる際の視覚効果の一例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明を実施するための形態の一例として電子黒板と電子黒板が行う筆記方法について図面を参照しながら説明する。
【実施例1】
【0013】
<本実施形態の電子黒板の動作の概略>
図2を用いて、本実施形態の電子黒板2の動作の概略を説明する。
図2は、ユーザがディスプレイ3の遠方に筆記する際の支援の概略を説明する図の一例である。筆記者であるユーザから見てディスプレイ3の遠方領域に筆記する際に支援が行われる動作モードを「遠方筆記モード」と称する。
【0014】
図2(a)に示すように、電子黒板2の右上にはすでに「ABC」と筆記されており、ユーザは「ABC」という描画像14を見ている。ユーザの視線方向16とディスプレイ3の交点を視線位置13と称する。また、電子黒板2は視線位置13に基づいて予め決まった大きさ及び形状の視線領域11を決定する。
【0015】
一方、ユーザは電子ペン100で電子黒板2の左下に接触し、電子黒板2は電子ペン100の接触位置17を検出する。電子黒板2は視線位置13と接触位置17に応じて、視線領域11の描画像14を決定する。
図2に示す接触領域12は視線領域11の描画像14がコピー(複製すること)して表示される範囲を示すためのものであり、電子黒板2は接触領域12を決定しなくてもよい。
【0016】
図2(b)に示すように、ユーザは視線方向16を接触領域12に移動する。ユーザの視線方向16が視線領域11から接触位置17(又はその周囲)に移動したことを検出した電子黒板2は、視線領域11の描画像14を接触位置17の周囲にコピーする。これにより、ユーザは手元にコピーされた描画像14の近くに新たに描画像15を筆記できる。
図2(b)では「DEF」という描画像15が筆記されている。
【0017】
図2(c)に示すように、筆記が終わると電子ペン100をディスプレイ3から離して、ユーザは再度、視線方向16を視線領域11に移動する(視線領域11に移動しなくても接触位置17から外せばよい)。ユーザの視線方向16が接触位置17から外れたことを検出した電子黒板2は、接触位置17の周囲に筆記された新たな描画像15を視線領域11に反映させる。したがって、視線領域11には描画像14の下方に描画像15が表示される。
【0018】
このように、ユーザは筆記したい位置(視線領域11)を見ながら、電子ペン100でディスプレイ3に触り、接触位置17から筆記を開始して、筆記後は電子ペン100をディスプレイ3から離して視線方向16を視線領域11に戻すことで、移動しなければ筆記できない遠方に筆記することができる。また、ユーザは手元を見ながら筆記できるので筆記しやすい。また、手元に遠方の描画像14を表示できるので、描画像14との関係を考慮しながら筆記できる。また、視線領域11に移動された描画像15に対する他のユーザの視線を筆記者であるユーザが遮ることがほとんどない。したがって、本実施形態の電子黒板2は、ディスプレイ3の端から端までユーザが移動しなくても、タッチパネルを広く活用してユーザが筆記することを支援することができる。
【0019】
<用語について>
視線位置の周囲とは、視線位置13から所定距離内をいい、本実施形態では視線領域11が視線位置13の周囲に相当する。
【0020】
また、距離はディスプレイ3の表面における2点間のユークリッド距離により算出される。検出される位置の単位がドット単位であれば、画面上の座標により算出してもよいし、1インチあたりのドット数(dpi)により算出してもよい。
【0021】
接触位置の周囲とは接触位置17から所定距離内をいい、本実施形態では接触領域12が接触位置17の周囲に相当する。
【0022】
接触位置と視線位置とに応じてとは、接触位置と視線位置が所定の距離以上か否かが考慮されることをいう。あるいは、接触位置と視線位置が少なくとも一致しないと判断できる程度に離れている場合をいう。どの程度の距離の場合に離れていると判断されるかは視線位置13の精度を考慮して、明らかに接触位置と視線位置とが異なる状態であればよい。
【0023】
共有端末とは複数のユーザに共有されるという端末又は装置をいう。本実施形態では電子黒板という用語で説明する。電子黒板とは、表示している画面に対する文字、図、画像、手書き画像、スタンプ等の情報の追加をユーザから受付可能な機能を持つものである。電子黒板は情報処理装置の機能も有している。電子黒板は電子情報ボード、電子ホワイトボード、コピーボード又は電子ボード等と呼ばれる場合がある。なお、ホワイトボードはタッチパネルにより手書きされたストロークを取り込むタイプの他、プロジェクタとホワイトボード(ディスプレイを有さない通常の黒板タイプ)により実現してもよい。電子黒板以外ではデジタルサイネージを共有端末とすることができる。
【0024】
タッチパネルを備えたディスプレイを有する情報処理装置が電子黒板となる場合がある。このような情報処理装置としてタブレット端末がある。タブレット端末ではユーザが筆記のために移動するほど大きなものはないが、本実施形態を好適に適用することができる。
【0025】
<構成例>
図3は、電子黒板2の概略斜視図の一例である。電子黒板2は、ディスプレイ3を有している。電子黒板2は、電子ペン100又はユーザの手によって生じたイベントにより筆記された描画像を、ディスプレイ3に表示させることができる。なお、ユーザの手によって生じるイベントには描画像の拡大、縮小、ページめくり等のジェスチャもあり、これらのイベントに対して電子黒板2はディスプレイ3上に表示されている画像の大きさやページを変更させることもできる。
【0026】
図3に示すように、電子黒板2は視線検出用カメラ19を有している。
図3では、ディスプレイ3の左上と右上にそれぞれ視線検出用カメラ19が配置されているが、視線検出用カメラ19は1つでもよく、また、配置場所も図示された位置には限られない。視線検出の仕組みについては後述する。視線検出用カメラ19が2つあるのは、ユーザに近い方の視線検出用カメラ19を選択的に使用するためである。
【0027】
図3には示されていないが、電子黒板2は通信ネットワークに接続されており、任意の他の電子黒板2に対し通信ネットワークを介して通信可能に接続されている。一方の拠点の電子黒板2に生じたイベントは、他方の電子黒板2に送信される。したがって、ユーザが電子ペン100又は手で生じさせたイベントに基づいて、一方の拠点の電子黒板2のディスプレイ3が表示する画像を変更すると、イベントが他方の拠点の電子黒板2に送信され該電子黒板2のディスプレイ3の画像も変更される。
【0028】
更に、電子黒板2には、所定のケーブルを介してテレビ会議端末が接続される場合がある。テレビ会議端末は、遠隔地にある他拠点のテレビ会議端末との間で、画像と音声を相互に送受信して、画像を表示装置に表示し音声をスピーカから出力することで、遠隔地のユーザが会議などの遠隔コミュニケーションを行うことを可能とする。したがって、テレビ会議端末と接続された(又はテレビ会議端末が内蔵された)電子黒板2は、ディスプレイ3に描画像だけでなく自拠点と他拠点の画像を表示し、スピーカから音声を出力できる。
【0029】
また、電子黒板2には、Display Port(登録商標)、DVI、HDMI(登録商標)及びVGA等の規格による通信が可能なケーブルを介してPC(Personal Computer)を接続することも可能であり、PCの映像をディスプレイ3に表示したり、キャプチャしたりすることができる。また、電子黒板2は、電子ペン100又は手によるイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、PCに送信してPCを操作することができる。
【0030】
<<ハードウェア構成例>>
続いて、
図4を用いて電子黒板2のハードウェア構成を説明する。
図4は、電子黒板2のハードウェア構成図の一例である。
図4に示されているように、電子黒板2は、電子黒板2全体の動作を制御するCPU101、IPL等のCPUの駆動に用いられるプログラムを記憶したROM102、CPU101のワークエリアとして使用されるRAM103、通信ネットワークとの通信を制御するネットワークコントローラ105、及び、USBメモリ5との通信を制御する外部記憶コントローラ106を備えている。
【0031】
また、電子黒板2は、PC6がPC6のディスプレイ3に表示している静止画又は動画を取り込むキャプチャデバイス118を有する。また、テレビ会議端末7からの映像を取り込む外部ビデオインタフェース111を有する。また、グラフィクス(ディスプレイ3に表示する画面の画像処理)を専門に扱うGPU112、及び、GPU112からの映像をディスプレイ3やテレビ会議端末7へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ113を備えている。
【0032】
更に、電子黒板2は、タッチパネルの処理を制御するセンサコントローラ114、ディスプレイ3に電子ペン100が接触したことを検出するタッチパネル115を備えている。また、電子黒板2は、電子ペンコントローラ116を備えている。電子ペンコントローラ116は、電子ペン100と通信することで、ディスプレイ3への電子ペン100のペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ116が、ペン先及びペン尻だけでなく、電子ペン100のユーザが握る部分や、電子ペン100のその他の部分のタッチの有無や圧力を判断するようにしてもよい。
【0033】
また、電子黒板2は、視線検出用カメラコントローラ117に接続された2つの視線検出用カメラ19を有している。視線検出用カメラコントローラ117は視線検出用カメラ19を制御して撮像した画像データを処理することで、視線位置13を検出する。
【0034】
更に、電子黒板2は、CPU101、ROM102、RAM103、ネットワークコントローラ105、外部記憶コントローラ106、外部ビデオインタフェース111、キャプチャデバイス118、GPU112、センサコントローラ114、電子ペンコントローラ116、及び、視線検出用カメラコントローラ117を
図2に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン120を備えている。
【0035】
<機能について>
図5は、電子黒板2が有する機能をブロック状に示す機能ブロック図の一例である。電子黒板2は、入力検出部21、視線位置検出部22、描画制御部23、描画像決定部24、描画像コピー部25、ストローク描画部26、描画像移動部27、視覚効果部28、UI画像生成部29、背景生成部30、映像重畳部31、レイアウト管理部32、及び、表示制御部33を有する。電子黒板2が有するこれらの機能は、
図2に示された各構成要素のいずれかが、SSD204からRAM203に展開されたプログラムに従ったCPU201からの命令により動作することで実現される機能又は手段である。
【0036】
また、電子黒板2は、
図2に示されたROM202、RAM203、及びSSD204等に構築されるストロークデータDB35を有する。ストロークデータDB35には、ユーザが筆記した各ストロークの座標等の情報が格納されている。1つ以上のストロークのまとまり(例えば、文字のように1つ以上のストロークで意味をなすもの)を描画像という。ストロークデータの詳細について
図6にて説明する。
【0037】
入力検出部21はタッチパネル115により実現され、指示物体である電子ペン100又は手Hがディスプレイ3を指示したこと及び指示した位置(座標)を検出する。すなわち、タッチパネルにユーザが筆記を行ったことと接触位置17を検出する。接触位置17はタッチパネルにおいて接触された位置の座標である。座標の基準点はどこでもよい。電子黒板2は手Hによる筆記も可能だが以下では説明のため電子ペン100で描画するとして説明する。また、上記のジェスチャ入力(例えば、描画像・画面の拡大又は縮小、ページ送り、長押し、など)は直接の筆記ではないが、このうち、描画像の拡大又は縮小は遠方筆記モードでも可能である。しかし、本実施形態では主に筆記時の処理について説明するものとし、描画像の拡大・縮小については後述する。入力検出部21が検出したタッチパネル上の接触位置17は描画制御部23に通知される。
【0038】
視線位置検出部22はユーザの視線方向16及び視線位置13を検出する。視線方向16の検出は視線位置13の検出の前提として行われるので以下では、単に視線位置13を検出するという。電子黒板2の前方には複数のユーザが存在する可能性があるが、その場合は、最も近いユーザの視線を検出する。例えば、顔認識を行い、顔の外接矩形が最も大きいユーザを特定し、このユーザの視線位置13を検出する。あるいは、ディスプレイ3に描画するユーザの姿勢などを画像認識して筆記するユーザを特定してもよい。あるいは、超音波センサなどの距離センサで最も近いユーザが電子黒板2から見てどの方向にいるかを特定し、この方向のユーザの顔から視線位置13を検出してもよい。
【0039】
描画制御部23は、タッチパネルへの筆記に関する全体的な制御を行う。描画制御部23は、遠方筆記モードを行うか否かの判断を行う。遠方筆記モードを行うか否かの判断の基準は、視線位置13と電子ペン100の接触位置17とが同じでないこと(所定値以上離れていること)である。遠方筆記モードで動作すると判断された場合、描画制御部23は描画像決定部24に視線領域11を決定させ、視線領域11内の描画像14を決定させる。また、描画像コピー部25に視線領域11の描画像14を接触位置17の周囲にコピーさせる(複製させる)。また、遠方筆記モードにおいて、ストローク描画部26が接触位置17に描画像15を描画し、ユーザの視線位置が接触位置17から外れた場合、描画像移動部27に、接触位置17の描画像15を視線領域11に反映させる。反映とは、描画像15を視線領域11に移動することをいう。
【0040】
描画像決定部24は、視線位置13に基づいて視線位置13の周囲に視線領域11を決定し、この視線領域11内の描画像14を決定する。描画像決定部24は予め大きさと形状が定められている視線領域11を視線位置13に基づいて求める。視線領域11は上記のように円や矩形である。視線位置13を中心にしてこの定められている視線領域11を決定する。そして、視線領域11に含まれている描画像(複数の場合は全て)を、視線位置13の周囲にある描画像として決定する。なお、遠方筆記モードでは接触領域12を決定する必要はないが、説明の便宜上、接触領域12と視線領域11の大きさは同じとする。例えば一例として接触位置17の中心を基準に視線領域11と同じ広さが接触領域12である。
【0041】
描画像コピー部25は、視線領域11の描画像14を接触位置17の周囲にコピーする。コピーする位置は接触位置17の上方などであるが、詳細は
図9にて説明する。
【0042】
ストローク描画部26は入力検出部21が検出する電子ペン100の接触位置17を連結して得られるストロークをディスプレイ3に描画する。ストロークとは電子ペン100のタッチダウンからタッチアップまでの一連の座標が連結された線状のオブジェクトである。遠方筆記モードが行われても行われなくても、ストローク描画部26が描画する位置に変更はない。なお、筆記には、ストロークを描画するだけでなく、既にあるストロークを削除するイベントも含まれる。
【0043】
ストローク描画部26が描画した各ストロークのストロークデータはストロークデータDB35に記憶される。描画像移動部27は、接触位置17に筆記された描画像15を視線領域11に移動する。移動時には、接触位置17の周囲の描画像14に対する描画像15の相対位置が、視線領域11でも維持されるように、描画像15を視線領域11に移動する。なお、描画像移動部27は、接触位置17の周囲にコピーされた描画像14を消去する。
【0044】
視覚効果部28は、各種の視覚効果を描画像14等に付加して表示する。例えば、視線位置13又は視線領域11がどこにあるかを、視線領域11を囲む枠で示す視覚効果を描画したり、視線領域11の付近(視線領域11から所定距離内)にマークを表示する視覚効果を用いたりする。また、描画像移動部27が描画像15を視線領域11に移動する際は、アニメーションや視線領域11を枠で示す視覚効果を描画する。
【0045】
UI画像生成部29は、電子黒板2に予め設定されているメニューボタンなどが配置されたUI(ユーザインターフェース)画像を生成する。背景生成部30は、タッチパネルの背景となる無地、又は、グリッド表示などの画像を生成する。また、過去にキャプチャされた画像も背景画像となりうる。
【0046】
レイアウト管理部32は、映像重畳部31に対して、描画像コピー部25、ストローク描画部26、描画像移動部27又は視覚効果部28が描画した描画像又は視覚効果、UI画像生成部29が生成するUI画像、及び、背景生成部30が生成する背景画像、のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部32は、映像重畳部31に対して、描画像及び視覚効果、UI画像、並びに、背景画像をどの順番で重畳させるか、又は、非表示にさせるかを指示することができる。
【0047】
映像重畳部31は、レイアウト管理部32から出力されたレイアウト情報に基づき、描画像及び視覚効果、UI画像、並びに、背景画像のレイアウト(重ね合わせ)を行う。重ね合わされた画像を重畳画像という。
【0048】
表示制御部33は、映像重畳部31が作成した重畳画像をディスプレイ3に表示する。ただし、以下では、説明を簡単にするため、描画像コピー部25、ストローク描画部26、描画像移動部27又は視覚効果部28が描画したことで表示まで行われるものとする。
【0049】
<ストロークデータについて>
図6を用いてストロークデータについて説明する。
図6は1つのストロークデータの一例を示す。
図6では1つのストロークがJSON形式で記載されている。ストロークデータの形式はXML,CSV又はその他の形式でもよい。
・idはオブジェクト(ストローク)を識別する識別情報である。
・typeはオブジェクトのタイプを示す。ストロークの場合は「stroke」となる。
・parentはストロークが描画されたページ番号(ページの識別情報)である。
・meetingは会議(1回の電源オンからオフまで)の識別情報である。
・ownerは、ストロークの作成者である。例えばログインしているユーザのID等である。
・widthはストローク作成時の線の幅(座標1つ分の幅)である。
・heightはストローク作成時の線の高さ(座標1つ分の高さ)である。
・attrはストロークの属性(ストロークの幅、高さ、色、ベジェの有無、形状)である。
・pointsはストロークを構成する座標である。
・positionはpointsの座標の取り方(絶対座標、相対座標、差分座標)を指定する。「絶対座標」は、タッチパネルの所定の原点に対する座標である。「相対座標」は、先頭要素の座標は絶対座標であるが他の点は先頭要素を基準点とする相対座標である。「差分座標」は、先頭要素の座標は絶対座標であるが他の点は直前の点からの差分値を示す。
【0050】
このようにストロークごとにストロークデータが記憶される。遠方筆記モードでは、視線領域11の描画像14を構成する1つ以上のストロークデータが接触位置17の周囲にコピーされ、遠方筆記モードが終了すると接触位置17に筆記されたストロークデータは視線領域11に移動される。
【0051】
<従来技術との比較>
次に、
図7を用いて従来技術と本実施形態の技術とを比較して説明する。
図7は、従来技術と本実施形態の技術とを比較して説明する図の一例である。
【0052】
まず、
図7(a)(b)は従来技術を説明する図である。
図7(a)の視線領域11と接触領域12は説明のために図示されているに過ぎず、従来技術では視線領域11と接触領域12という概念はない。
図7(b)に示すように、ユーザは視線領域11を見ながら接触位置17にストロークを筆記するが、描画像は接触位置17に表示されず、視線の先に筆記した内容が表示されるだけである。
【0053】
図7(c)~(e)は本実施形態の遠方筆記モードを説明する図である。本実施形態では、電子ペン100がディスプレイ3に接触した際のユーザの視線位置13を電子黒板2が検出し、
図7(c)に示すように、電子ペン100の接触位置17と視線位置13が同じかどうかを判断する(比較する)。接触位置17と視線位置13が所定の距離以上の場合、
図7(d)に示すように、電子黒板2は視線領域11の描画像14を接触領域12にコピーして表示する。
【0054】
また、
図7(d)に示すように、ユーザは接触位置17を見ながら手元で筆記する。筆記が終わり、ユーザの視線位置13が接触位置17から外すと(
図7(e))、電子黒板2は新たな描画像15を視線領域11に反映させる(移動させる)。
【0055】
したがって、従来技術ではユーザは遠方を見ながら筆記しなければならず、手元で筆記することは困難である。つまり容易には筆記できない。本実施形態では、容易に手元での筆記を実現できる。また、手元に視線位置13の描画像14を表示できるので、描画像14との関係を考慮しながら筆記できる。
【0056】
<電子黒板の動作>
図8を用いて、遠方筆記モードにおける電子黒板2の動作手順を説明する。
図8は、遠方筆記モードへの遷移と遠方筆記モードにおける電子黒板2の動作手順を示すフローチャート図の一例である。
図8の処理は例えば電子黒板2の電源オンによりスタートする。
【0057】
ユーザが電子ペン100でストロークの筆記を開始すると、電子ペン100が接触した接触位置17を入力検出部21が検出する(ステップS1)。
【0058】
複数の視線検出用カメラ19が搭載されている場合、視線位置検出部22はユーザに近い方の視線検出用カメラ19の画像データを採用するため、電子ペン100の接触位置17がディスプレイ3(画面)の左半分に含まれるか否かを判断する(ステップS2)。すなわち、
図3のように電子黒板2の左右に視線検出用カメラ19が搭載されている場合(S2のYes)、電子ペン100の接触位置17が左半分の場合は左側の視線検出用カメラ19の画像データを使い(ステップS3)、右半分の場合は(S2のNo)右側の視線検出用カメラ19の画像データを使うようにする(ステップS4)。
【0059】
次に、視線位置検出部22は、左側又は右側の視線検出用カメラ19が撮像した画像データから視線位置13を検出する(ステップS5)。
【0060】
そして、電子ペン100の接触位置17と視線位置13を比較して動作モードの切り替えを行う。動作モードには、通常の動作モード(以下、通常筆記モードという)と遠方筆記モードがあり、遠方筆記モードでなければ通常筆記モードである。
【0061】
描画制御部23は、電子ペン100の接触位置17と視線位置13が同じか否かを判断する(ステップS6)。
【0062】
電子ペン100の接触位置17と視線位置13が同じだった場合(ステップS6のYes)、描画制御部23は通常筆記モードで動作すると判断する(ステップS7)。
【0063】
ストローク描画部26は通常通り接触位置17にストロークを描画して表示する(ステップS8)。ストローク描画部26は、電子ペン100がディスプレイ3から離れるまでストロークデータを取り込みながらストロークの描画と表示を繰り返す(ステップS9)。
【0064】
電子ペン100の接触位置17と視線位置13が所定の距離以上の場合(ステップS6のNo)、描画制御部23は遠方筆記モードで動作すると判断する(ステップS10)。
【0065】
描画制御部23は描画像決定部24に、視線領域11を決定させ視線領域11内の描画像14を決定させる。更に、描画像コピー部25に対し視線領域11内の描画像14を接触位置17の周囲に表示させる(ステップS11)。接触位置17の周囲とは、接触位置17と重ならないが、接触位置17の近くが好ましい。ただし、後述するように、描画像14の色等を調整することによって接触位置17と描画像14が重なっても視認性を維持できる。通常、ストロークは左から右、上から下に筆記されるので、一例として、電子ペン100の接触位置17の上側に、視線領域11の描画像14を表示させる。描画像コピー部25は、描画像14の外接矩形の高さとマージンを考慮して接触位置17の上方に描画像14の外接矩形の左上コーナーを配置する。描画像コピー部25は描画像14の移動量に応じてストロークデータの座標を変更する。詳細は
図9にて説明する。
【0066】
視線領域11の描画像14が、視線領域11と接触位置17の周囲の2つの場所に表示される。このためには、描画像移動部27は、ストロークの座標を変更後、視線領域11の描画像14を構成するストロークデータをコピーしてストロークデータDB35に記憶させる。この場合、視線領域11の描画像14のストロークデータであることが分かるように(後で消去するため)、例えばコピーされたストロークデータのidを、視線領域11の描画像14を構成するストロークデータの「id+枝番」のように付与する。
視線方向16のストロークデータのid : b518dfe9-10c0-4d05-aff4-5755dbb11d30
コピーされたストロークデータのid: b518dfe9-10c0-4d05-aff4-5755dbb11d30α
したがって、描画像移動部27は、遠方筆記モードが終了した際は、枝番(α)が付与されているストロークデータを消去すればよいことが分かる。消去することで、描画像14が残ったままになり、同じ描画像が2箇所に表示されたままになることを防止できる。
【0067】
ユーザがストロークを筆記すると、ストローク描画部26は接触位置17にストロークを描画する(ステップS12)。ストローク描画部26は、電子ペン100がディスプレイ3から離れるまでストロークデータを取り込みながらストロークを描画して表示することを繰り返す(ステップS13)。遠方筆記モードで筆記されたストロークデータは、ユーザが接触位置17から視線を外すと(接触位置17から所定距離内に視線位置13が検出されなくなると)、視線領域11の描画像14の周囲に移動される。このため、後に移動するストロークデータであることが分かるように、例えばストロークデータのidを、視線領域11の描画像14を構成するいずれかのストロークデータのid+枝番のように付与する。
視線領域11の描画像14のストロークデータのid : b518dfe9-10c0-4d05-aff4-5755dbb11d30
新たに描画されたストロークデータのid: b518dfe9-10c0-4d05-aff4-5755dbb11d30β
したがって、描画像移動部27は、遠方筆記モードが終了した際は、枝番(β)が付与されているストロークデータを移動すればよいことが分かる。
【0068】
遠方筆記モードでは、視線位置検出部22がユーザの視線を検出している。描画制御部23は電子ペン100がディスプレイ3から離れている状態で、最後の電子ペン100の接触位置17から視線が外れたか否かを判断する(ステップS14)。
【0069】
最後の電子ペン100の接触位置17から視線が外れるまでは(ステップS14のYes)、ストローク描画部26が視線位置13の周囲へのストロークの描画と表示を繰り返す(ステップS15)。
【0070】
最後の電子ペン100の接触位置17から視線が離れた場合(ステップS14のNo)、描画制御部23は、「遠方筆記モード」が終了したと判断し、描画像移動部27が接触位置17に筆記されたストロークデータを視線領域11の描画像14の周囲に移動させて表示する(S16)。描画像移動部27は、例えばβという枝番で移動対象のストロークデータを特定し、視線領域11の描画像14の外接矩形の左上コーナーを基準に、描画像14の外接矩形の高さとマージンを考慮して、接触位置17の周囲に描画された描画像15のストロークデータの座標を変更する。詳細は
図9にて説明する。こうすることで、接触領域12における描画像14と描画像15の相対位置を維持して、視線位置13の描画像14の周囲に描画像15を表示できる。
【0071】
また、描画像移動部27はαという枝番で特定されるストロークデータを消去する。これにより、接触位置17にコピーされた描画像を消去できる。
【0072】
<視線領域の描画像のコピー位置、及び、接触位置の描画像の移動先の位置>
図9を用いて、視線領域11の描画像14のコピー位置、及び、接触位置17の描画像15の移動先の位置について説明する。
図9は視線領域11の描画像14のコピー位置、及び、接触位置17の描画像15の移動先の位置について説明する図である。
【0073】
図9(a)は視線領域11の描画像14のコピー位置を説明する図である。すでに視線領域11は決まっているものとする。また、電子ペン100の接触位置17が検出される。視線領域11の描画像14をコピーして表示するため、描画像コピー部25は視線領域11の描画像14の外接矩形の左上コーナーP1と外接矩形の高さhを検出する。そして、電子ペン100の接触位置17から上方に、高さhとマージンMだけ離れた位置を、視線領域11の描画像14の外接矩形の左上コーナーP2に決定する。
【0074】
描画像コピー部25は、視線領域11の描画像14の外接矩形の左上コーナーP1と、接触領域12の外接矩形の左上コーナーP2の座標の差(ΔX、ΔY)を算出できる。したがって、描画像コピー部25は、描画像14のストロークデータを差(ΔX、ΔY)だけ変更すればよい。
【0075】
図9(b)は接触位置17に新たに描画された描画像15を示す。この後、ユーザは新たに描画された描画像15から視線を外す。視線を外すとは、新たに描画された描画像15の中心又は電子ペンが最後に接触した位置から所定距離以上に視線位置が離れること(所定距離内で視線位置が検出されなくなること)をいう。
【0076】
図9(c)は視線領域11の描画像14の下方に移動された、接触位置17で筆記された描画像15を示す。描画像移動部27は視線領域11の描画像14の外接矩形の左上コーナーP1から下方に、高さhとマージンMだけ離れた位置を、描画像15の外接矩形の左上コーナーP3に決定する。
【0077】
こうすることで、接触領域12における描画像14と描画像15の相対位置を、視線領域11においても維持することができる。高さhとマージンMが一定である場合、接触位置17と描画像15の外接矩形の左上コーナーP3の座標の差(ΔX、ΔY)は、
図9(a)の座標の差(ΔX、ΔY)と同様になる。当然ながら、
図9(c)からも算出可能である。描画像移動部27は描画像15のストロークデータを座標の差(ΔX、ΔY)だけ変更すればよい。
【0078】
なお、
図9(a)で接触位置17の上方にスペースがない場合、又は、
図9(c)で視線領域11の描画像14の下方にスペースがない場合もある。
図9から明らかなように、接触位置17の上方向を描画像14の移動先に採用する場合は、視線領域11の描画像14の下方向にスペースが必要になり、接触位置17の右方向を描画像14の移動先に採用する場合は、視線領域11の描画像14の左方向にスペースが必要になり、接触位置17の左方向を描画像14の移動先に採用する場合は、視線領域11の描画像14の右方向にスペースが必要になり、接触位置17の下方向を描画像14の移動先に採用する場合は、視線領域11の描画像14の上方向にスペースが必要になる。
【0079】
このため、描画像コピー部25は、接触位置17の周囲の、上方向、右方向、左方向、及び、下方向の優先順位にしたがってスペースがある方向を採用してよい。
【0080】
ただし、
図11~
図13で説明するように、接触位置17の周囲スペースがなくても、遠方筆記モードは実行可能である。
【0081】
<視線位置の検出方法>
視線位置13の検出方法としては公知の手法を利用できる。例えば以下のような従来技術がある。
【0082】
視線位置検出部22はディスプレイ3に対するユーザの視線位置13を検出する。なお、視線位置13は、ユーザの眼球内にある瞳孔の中心位置を起点として直線的に延伸する視線がディスプレイ3と交差するときのディスプレイ3上の位置に該当する。
【0083】
視線位置検出部22は、例えば、ユーザの画像に対して角膜反射法に基づくアルゴリズムを適用することにより、上記視線位置13を検出する。具体的には、視線位置検出部22は、ユーザの画像を取得する際に、赤外線照射部から赤外線を照射させる。視線位置検出部22は、取得したユーザの画像から、瞳孔の位置と赤外線の角膜反射の位置をそれぞれ特定する。視線位置検出部22は、瞳孔の位置と赤外線の角膜反射の位置の位置関係に基づいて、ユーザの視線の方向を特定する。視線位置検出部22は、瞳孔の位置が角膜反射の位置よりも目尻側にあれば、視線の方向は目尻側であると判断し、瞳孔の位置が角膜反射の位置よりも目頭側にあれば、視線の方向は目頭側であると判断する。視線位置検出部22は、例えば、虹彩の大きさに基づいて、ユーザの眼球とディスプレイ3との距離を算出する。視線位置検出部22は、ユーザの視線の方向と、ユーザの眼球とディスプレイ3との距離とに基づいて、ユーザの眼球内にある瞳孔の中心位置から、瞳孔を起点とする視線がディスプレイ3と交差するときのディスプレイ3上の位置である視線位置13を検出する。
【0084】
上記の例では、視線位置検出部22が、角膜反射法を利用した処理を実行することにより、ユーザの視線位置13を検出する場合を説明したが、この例には限られない。例えば、視線位置検出部22が、ユーザの画像について画像認識処理を実行することにより、上記視線位置13を検出するようにしてもよい。例えば、視線位置検出部22は、ユーザの画像から、ユーザの眼球を含む所定の領域を抽出し、目頭と虹彩との位置関係に基づいて視線方向16を特定し、特定した視線方向16と、ユーザの眼球からディスプレイ3までの距離とに基づいて上記視線位置13を検出する。あるいは、視線位置検出部22は、ユーザがディスプレイ3の表示領域各所を閲覧しているときの複数の眼球の画像を参照画像としてそれぞれ蓄積しておき、参照画像と、判断対象として取得されるユーザの眼球の画像とを照合することにより、上記視線位置13を検出する。
【0085】
<電子黒板の設定画面>
次に、
図10を用いて、電子黒板2に関する設定について説明する。電子黒板2は、ユーザが電子黒板2を使いやすいようにカスタマイズするための設定画面を表示することができる。視覚効果や視線領域11の大きさと形状はこの設定画面から設定可能である。
【0086】
図10は、電子黒板2の設定画面の一例を示す。電子黒板2の設定画面とは、ネットワークに関する設定や認証(アカウント)に関する設定等、電子黒板2の動作を設定するための画面である。
【0087】
図10(a)は設定画面を表示させるアイコン402が表示されるアイコン画面401を示す。このアイコン402が電子ペン100で選択されるとUI画像生成部29が
図10(b)の設定画面410を表示する。
図10(b)のような設定画面410から、ユーザは電子ペン100による描画に関するパラメータ(幅、高さなど)及び視覚効果や視線領域11の大きさと形状等を設定することができる。設定情報はROMに記憶される。
【0088】
<接触位置17の周囲にスペースがない場合の処理>
図11~
図13を用いて、遠方筆記モードにおいて接触位置17の周囲にスペースがなく、すでに描画像がある場合の処理につい説明する。
【0089】
<<すでに筆記されている描画像の色を変更する>>
図11は、接触位置17にすでに筆記されている描画像の表示例を説明する図の一例である。遠方筆記モードで描画像コピー部25が視線領域11の描画像14を電子ペン100の接触位置17の周囲に表示する際、描画像コピー部25は、接触位置17の周囲に元々、描画されていた描画像18の色を変えてよい。
【0090】
図11(a)では、電子ペン100の接触位置17の周囲に「GHI」という描画像18がすでに存在している。この周囲とは接触位置17から所定距離内であり例えば接触領域12である。視線領域11の描画像14を電子ペン100の接触位置17の周囲にコピーして表示すると、「GHI」という描画像18、描画像14、又は、新たに描画する「DEF」という描画像15をユーザが見づらくなるおそれがある。
【0091】
そこで、
図11(b)に示すように、描画像コピー部25は「GHI」という描画像18の輝度を下げるなどして、新たに描画する「DEF」という描画像15及び描画像14と異なる色に変更する。例えば、半透明、黄色、薄いグレーなど、目立たない色に変更する。色の変更はストロークデータの属性(attr)を変更すればよい。
【0092】
こうすることで、電子ペン100の接触位置17の近くの描画像18を消すことなく、視線領域11の描画像14と新たな描画像15を接触位置17の周囲に表示することができる。
【0093】
<<視線領域11の描画像14及び新たな描画像15の色を変更する>>
図12に示すように、逆に、コピーされた視線領域11の描画像14及び接触位置17における新たな描画像15の色を変更してもよい。
図12は、コピーされた視線領域11の描画像14及び接触位置17における新たな描画像15の表示例を説明する図の一例である。
図12(a)は
図11(a)と同様である。
【0094】
図12(b)に示すように、描画像コピー部25は視線領域11にある「ABC」という描画像14と新たに描画される「DEF」という描画像15の輝度を下げるなどして、元から描画されている「GHI」という描画像18と異なる色に変更する。「ABC」という描画像14と「DEF」という描画像15を例えば、半透明、黄色、薄いグレーなど、目立たない色に変更する。色の変更はストロークデータの属性(attr)を変更すればよい。
【0095】
こうすることで、電子ペン100の接触位置17の近くの描画像18を消すことなく、視線領域の描画像14と新たな描画像15を接触位置17の周囲に表示することができる。
【0096】
なお、視線領域の描画像14と新たな描画像15は同じ色でなくてよく、異なる色とすることでユーザは両者を見分けることができる。
【0097】
<<すでに筆記されている描画像を一時的に非表示にする>>
図13に示すように、接触位置17に元々描画されていた描画像18を一時的に非表示にしてもよい。一時的にとは遠方筆記モードの間である。
図13は、接触位置17にすでに筆記されている描画像の表示例を説明する図の一例である。
図13(a)は
図11(a)と同様である。
【0098】
図13(b)に示すように、描画像コピー部25は遠方筆記モードが開始されると「GHI」という描画像18を非表示にする。消去するわけではないので、ストロークデータDB35にストロークデータを残したまま、色を透明にすればよい。あるいは、背景と同じ色に設定する。
【0099】
遠方筆記モードの終了後は、描画像コピー部25が描画像18の色を元の色に戻すことで一時的にだけ「GHI」という描画像を非表示にすることができる。
【0100】
こうすることで、視線領域の描画像14と新たな描画像15を接触位置17の周囲に表示することができる。
【0101】
<視線領域のユーザ指定>
視線領域11の描画像14は、描画像決定部24が視線位置13に基づいて決定するが、ユーザにとって適切な描画像を決定することができない場合がある。
図14を用いて説明する。
【0102】
図14は、視線領域11に描画されている描画像14と接触位置17の周囲にコピーして表示される描画像14を示す。
図14(a)に示すように、視線領域11には「ABC」という描画像14と、「DEF」という描画像14-2があるが、接触位置17の周囲には「ABC」という描画像14しか表示されていない。しかし、ユーザとしては「DEF」という描画像14-2も接触位置17の周囲に表示させて新たな描画像15を描画したい場合がある。
【0103】
このような場合、
図14(b)に示すように、電子黒板2は、ユーザが視線領域11の大きさ及び形状を任意に設定できる仕組みを提供することができる。設定方法はどのような方法でもよい。例えば、メニューの一覧から視線領域11の大きさ及び形状を選択するボタンをユーザが選択し、大・中・小の中から大きさを選択したり、丸又は矩形から形状を選択したりする。あるいは、メニューの一覧から視線領域11の大きさ及び形状を任意に指定するボタンを選択し、ユーザが所望の大きさ及び形状を電子ペン100で任意に描画してもよい。視線領域11の大きさ及び形状を任意に指定する方法について
図15,
図16にて説明する。
【0104】
図14(b)では、視線領域11の大きさが大きくなったため、接触位置17の周囲に「ABC」という描画像14と、「DEF」という描画像14-2がコピーして表示されている。
【0105】
また、
図14(b)のように、接触位置17の周囲に「ABC」という描画像14と、「DEF」という描画像14-2がコピーして表示されたが、ユーザとしては「DEF」という描画像14-2は接触位置17に表示したくない場合もある。
【0106】
このような場合も、
図14(c)に示すように、ユーザは視線領域11の大きさ及び形状を選択又は任意に設定できる。
図14(c)では視線領域11の形状が矩形になっており、接触位置17に「ABC」という描画像14だけが表示されている。
【0107】
<<視線領域の大きさと形状の設定方法>>
図15,
図16を用いて視線領域11の大きさと形状の具体的な設定方法を説明する。
図15は、ユーザが視線領域11の大きさと形状を任意に設定する視線領域設定画面420の一例である。
図14にて説明したように、ユーザが視線領域11の大きさや形状を調整したいと考えた場合、ユーザは上記のようにメニューなどから視線領域11の大きさ及び形状を任意に指定するボタンを選択する。これにより、UI画像生成部29は
図15(a)の視線領域設定画面420を表示する。視線領域設定画面420には「領域を設定してください」というメッセージ421が表示されている。
図15(a)では、ユーザが矩形の視線領域11の形状を選択した。ユーザは、例えば閉塞枠422を描画する。閉塞枠422を描画することで描画像決定部24は矩形の視線領域11の指定を受け付ける。
【0108】
図15(b)に示すように、ユーザは閉塞枠422の頂点を外側にドラッグ操作することで、閉塞枠422を拡大できる。逆に、中央に向けてドラッグ操作すれば閉塞枠422を縮小できる。このように、ユーザは電子ペン100でドラッグ操作することにより、視線領域11の大きさを変更できるので、直感的に筆記に最適な視線領域11の大きさを設定することができる。
【0109】
図16も同様に、ユーザが視線領域11の大きさと形状を任意に指定する別の方法を説明する図である。閉塞枠422の形状が異なる以外は
図15と同様である。
図16(a)では、ユーザが円形の視線領域11の形状を選択した。ユーザが閉塞枠423を描画することで描画像決定部24は円の視線領域11の設定を受け付ける。
図16(b)に示すように、閉塞枠423の一部を外側にドラッグ操作することで、視線領域11となる円を拡大でき、逆に、中央に向けてドラッグ操作すれば視線領域11となる円を縮小できる。
【0110】
なお、
図15,
図16で説明した視線領域11の大きさと形状の調整は、遠方筆記モードだけでなく、
図10の設定画面410からもユーザがメニューを選択して実行できる。したがって、初期状態の視線領域11の大きさと形状をユーザが予め調整しておくことができる。
【0111】
<視線領域の視覚効果>
続いて、
図17,
図18を用いて視線領域11の視覚効果について説明する。
図17は、視線領域11に施される視覚効果の一例を示す図である。視覚効果部28は、描画像決定部24が決定した描画像14又は視線領域11を強調する。
【0112】
図17(a)では視線領域11を囲む枠431とマーク430が表示されている。
図17(b)では視線領域11を囲む枠431が点滅している。マーク430を点滅させてもよい。これらにより、ユーザは接触位置17に筆記しながらディスプレイ3のどこに筆記しているか、視覚的に把握することができる。
【0113】
視覚効果部28は、描画制御部23から遠方筆記モードの開始が通知されると、視線領域11の位置に関する情報を描画像決定部24から取得して、視線領域11を囲む枠431を表示する。マーク430の位置は、視線領域11の外縁よりもやや外側であり、例えば、視線位置13を中心に2時などの方向であるが、マーク430は描画像14の近くであればよい。
【0114】
図18は遠方筆記モードを終了し、視線領域11に描画像15を反映させる際の視覚効果の一例を示す。
図18(a)では、接触位置17から視線領域11に向けて矢印のアニメーション432が表示されている。アニメーション432は、矢印が徐々に伸びる様子を示すものであり、予めいくつかの長さの矢印が用意されている。視覚効果部28は、徐々に長い矢印を切り替えて表示することで(矢印の最大の長さは、接触位置17を起点に視線領域11に到達する長さ)アニメーション432を実現する。
【0115】
また、
図18(b)では視線領域11に枠431を表示すると共に点滅させている。枠431の表示方法は
図17と同様でよい。
【0116】
視覚効果部28は、描画制御部23から遠方筆記モードの終了を通知されると、接触位置17から視線領域11に向けて矢印のアニメーション432を表示したり、視線領域11に枠431を表示したりすると共に点滅させる。
【0117】
これによりユーザは、どのタイミングで接触位置17の描画像が反映されたか、及び、どこに反映されたかを視覚的に把握できる。
【0118】
<まとめ>
以上説明したように、本実施形態の電子黒板2によれば、ユーザは手元を見ながら筆記できるので筆記しやすい。また、手元に視線位置13の描画像14を表示できるので、描画像14との関係を考慮しながら筆記できる。また、接触位置17から視線を外すと、描画像14と筆記した描画像15との相対位置を維持したまま、描画像15を視線領域11に移動できる。また、視線領域11に移動された描画像15に対する他のユーザの視線を筆記者であるユーザが遮ることがほとんどない。したがって、移動しなければ筆記できない遠方にも容易に筆記することができ、タッチパネルを広く活用してユーザが筆記することを支援することができる。
【実施例2】
【0119】
実施例1の電子黒板2は大型のタッチパネルを有するものとして説明されているが、電子黒板2はタッチパネルを有するものに限られない。
【0120】
<<電子黒板の構成の別の例1>>
図19は、電子黒板2の他の構成例を示す図である。
図19では、通常のホワイトボード413の上辺にプロジェクタ411が設置されている。このプロジェクタ411が電子黒板2に相当する。通常のホワイトボード413とは、タッチパネルと一体のフラットパネルディスプレイではなく、ユーザがマーカで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。
【0121】
プロジェクタ411は超短焦点の光学系を有しており、10cm程度から歪みの少ない映像をホワイトボード413に投影できる。この映像は、無線又は有線で接続されたPCから送信されてもよいし、プロジェクタ411が記憶していてもよい。
【0122】
ユーザは専用の電子ペン100を使ってホワイトボード413に手書きする。電子ペン100は、ユーザが手書きのためにホワイトボード413に押しつけるとスイッチがONになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザの目には見えない。プロジェクタ411はカメラを有しており、発光部を撮像して画像を解析し電子ペン100の方向を特定する。また、電子ペン100は発光と共に超音波を発信しており、プロジェクタ411は超音波の到達時間により距離を算出する。方向と距離により電子ペン100の位置を特定できる。電子ペン100の位置にはストロークが描画(投影)される。
【0123】
プロジェクタ411はメニュー440を投影するので、ユーザが電子ペン100でボタンを押下すると、プロジェクタ411が電子ペン100の位置とスイッチのON信号により押下されたボタンを特定する。例えば、保存ボタン441が押下されると、ユーザが手書きしたストローク(座標の集合)がプロジェクタ411で保存される。プロジェクタ411は、予め定められたサーバ412又はUSBメモリ2600等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザが再編集することができる。
【0124】
ホワイトボード413には視線検出用カメラ19が配置されているため、実施例1と同様に遠方筆記モードを実行できる。
【0125】
<<電子黒板の構成の別の例2>>
図20は、電子黒板2の他の構成例を示す図である。
図20の例では、電子黒板2として、端末装置600、画像投影装置700A、及び、ペン動作検出装置810を有する。
【0126】
端末装置600は、画像投影装置700A及びペン動作検出装置810と有線で接続されている。画像投影装置700Aは、端末装置600により入力された画像データをスクリーン800に投影させる。
【0127】
ペン動作検出装置810は、電子ペン100と通信を行っており、スクリーン800の近傍における電子ペン100の動作を検出する。具体的には、電子ペン100は、スクリーン800上において、電子ペン100が示している点を示す座標情報を検出し、端末装置600へ送信する。
【0128】
端末装置600は、ペン動作検出装置810から受信した座標情報に基づき、電子ペン100によって入力されるストローク画像の画像データを生成し、画像投影装置700Aによってストローク画像をスクリーン800に描画させる。
【0129】
また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン100によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。
【0130】
スクリーン800には視線検出用カメラ19が配置されているため、実施例1と同様に遠方筆記モードを実行できる。
【0131】
<<電子黒板の構成の別の例3>>
図21は、電子黒板2の構成例を示す図である。
図21の例では、電子黒板2として、端末装置600とディスプレイ800Aと、ペン動作検出装置810Aとを有する。
【0132】
ペン動作検出装置810Aは、ディスプレイ800Aの近傍に配置され、ディスプレイ800A上に、電子ペン100が示している点を示す座標情報を検出し、端末装置600へ送信する。なお、
図21の例では、電子ペン100は、端末装置600によってUSBコネクタを介して充電されても良い。
【0133】
端末装置600は、ペン動作検出装置810Aから受信した座標情報に基づき、電子ペン100によって入力されるストローク画像の画像データを生成し、ディスプレイ800Aに表示させる。
【0134】
ディスプレイ800Aには視線検出用カメラ19が配置されているため、実施例1と同様に遠方筆記モードを実行できる。
【0135】
<<電子黒板の構成の別の例4>>
図22は、電子黒板2の構成例を示す図である。
図22の例では、電子黒板2として、端末装置600と、画像投影装置700Aとを有する。
【0136】
端末装置600は、電子ペン100と無線通信(Bluetooth(登録商標)等)を行って、スクリーン800上において電子ペン100が示す点の座標情報を受信する。そして、端末装置600は、受信した座標情報に基づき、電子ペン100により入力されるストローク画像の画像データを生成し、画像投影装置700Aにストローク画像を投影させる。
【0137】
また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン100によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。
【0138】
スクリーン800には視線検出用カメラ19が配置されているため、実施例1と同様に遠方筆記モードを実行できる。
【0139】
以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。
【0140】
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0141】
例えば、本実施形態ではユーザが新たに描画像を筆記する際の支援を説明したが、すでに描画されている描画像を編集(拡大、縮小、色の変更など)にも遠方筆記モードを利用できる。ユーザは編集したい描画像14を見ながら、電子ペン100でディスプレイ3に触り、描画像14を手元にコピーさせる。接触位置17から電子ペン100を離すが視線方向16はコピー後の描画像14を見たままにする。ユーザがジェスチャ入力して描画像14を編集し、視線方向16を描画像14から外すと、電子黒板2はコピーして編集された描画像14を視線領域11に反映させる。この場合、元々、視線領域11にあった描画像14を削除し、手元で編集された描画像14と置き換えてもよいし、ユーザの編集内容を視線領域11にあった描画像14に反映させてもよい。
【0142】
また、
図5などの構成例は、電子黒板2の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、電子黒板2の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
【0143】
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)や従来の回路モジュール等のデバイスを含むものとする。
【0144】
なお、入力検出部21は接触位置取得手段の一例であり、ストローク描画部26は描画手段の一例であり、視線位置検出部22は視線位置検出手段の一例であり、描画像決定部24は描画像決定手段の一例であり、描画像コピー部25は複製手段の一例であり、描画像移動部27は描画像移動手段の一例であり、視覚効果部28は視覚効果手段の一例である。
【符号の説明】
【0145】
2 電子黒板
3 ディスプレイ
11 視線領域
13 視線位置
14、15,18 描画像
17 接触位置
19 視線検出用カメラ
100 電子ペン
【先行技術文献】
【特許文献】
【0146】