7162813 お絵描き用の表示制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-10-21

(45)【発行日】2022-10-31

(54)【発明の名称】お絵描き用の表示制御システム

(51)【国際特許分類】

   G06F 3/0346 20130101AFI20221024BHJP

   G06F 3/03 20060101ALI20221024BHJP

   G06F 3/04883 20220101ALI20221024BHJP

   G06T 7/70 20170101ALI20221024BHJP

【ＦＩ】

G06F3/0346 422

G06F3/03 400F

G06F3/04883

G06T7/70 Z

【請求項の数】 4

(21)【出願番号】P 2022033486

(22)【出願日】2022-03-04

【審査請求日】2022-03-04

【早期審査対象出願】

(73)【特許権者】

【識別番号】501041894

【氏名又は名称】チームラボ株式会社

(74)【代理人】

【識別番号】100116850

【弁理士】

【氏名又は名称】廣瀬 隆行

(74)【代理人】

【識別番号】100165847

【弁理士】

【氏名又は名称】関 大祐

(72)【発明者】

【氏名】猪子 寿之

【審査官】永野 志保

(56)【参考文献】

【文献】特開２０１７－１４６７５３（ＪＰ，Ａ）

【文献】特開２０１２－１０４０９６（ＪＰ，Ａ）

【文献】特開２００３－２５６１２３（ＪＰ，Ａ）

【文献】特開２０２１－１８２３０３（ＪＰ，Ａ）

【文献】特開２０１６－０１５６４９（ＪＰ，Ａ）

【文献】特開２０１７－２２７９７２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０３

Ｇ０６Ｆ ３／０４８８３

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

床面に対して立体的に形成された表示面に映像を表示する 表示装置（１０）と、
前記表示装置の前記表示面上における対象物の接触位置を検出する測域センサ（２０）と、
前記表示装置の前記表示面及び前記表示面前面側の床面を含む範囲の画像を取得するように配置された撮像装置（３０）と、
前記測域センサが検出した前記対象物の接触位置に関する情報と前記撮像装置が取得した前記画像に基づいて前記対象物が前記表示装置の表示面に接触した位置を決定し、その決定情報に基づいて前記表示装置を制御する制御装置（４０）を備える
表示制御システム。

【請求項2】

前記対象物から当該対象物の種類を判別するための情報を取得する判別手段を備え、
前記制御装置（４０）は、前記判別手段が取得した情報に基づいて前記対象物の種類を判別するとともに、その対象物の種類に関する情報と前記決定情報に基づいて前記表示装置を制御する
請求項１に記載の表示制御システム。

【請求項3】

前記判別手段は、前記撮像装置（３０）であり、
前記制御装置（４０）は、前記画像を解析して、前記画像に映り込んだ前記対象物の種類を判別する
請求項２に記載の表示制御システム。

【請求項4】

前記対象物は、種類ごとに異なるパターン又は色で発光する発光部（５１）を含むものであり、
前記制御装置（４０）は、前記画像に映り込んだ前記発光部の発光パターン又は色を解析して、前記画像に映り込んだ前記対象物の種類を判別する
請求項２に記載の表示制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、お絵描き用の表示制御システムに関する。具体的に説明すると、本発明に係る表示制御システムは、例えばお絵描き用の手持ち器具が表示装置の表示面に接触したことを検出して、その手持ち器具の接触位置や軌跡に応じて線やスタンプの画像を表示面に表示することができる。

【背景技術】

【0002】

従来から、スクリーンや大型ディスプレイにユーザが把持するタッチペンが触れたことを検出して、そのタッチペンの軌跡をスクリーン等に表示するためのシステムが知られている（特許文献１）。

【0003】

例えば、特許文献１に記載のシステムでは、スクリーンの手前の天井にプロジェクタが設置されるとともに、スクリーンの上側隅に複数の赤外線カメラ又はカラーカメラが設置されており、この複数の赤外線カメラ又はカラーカメラによってユーザが把持するタッチペンがスクリーンに接触した位置を特定することとしている。また、このシステムでは、タッチペンにＬＥＤが搭載されており、このタッチペンの発光色をカラーカメラによって認識することで、スクリーン上に表示されるタッチペンの軌跡の色を切り替えることができるとされている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－８０９５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、特許文献１に記載のシステムのように、スクリーンの上側隅に設置された複数のカメラ（赤外線カメラ又はカラーカメラ）によってタッチペンを検出する場合、そのタッチペンがスクリーンに接触あるいは限りなく近づいた状態でしかタッチペンを検出することができない。このため、タッチペンがスクリーンに触れている時間が短い場合、複数のカメラがタッチペンを正常に検出することができず、スクリーンに対するタッチペンの接触位置を誤って検出したり、そもそもスクリーンに対するタッチペンの接触を検知できない場合がある。例えば、ユーザがタッチペンによって線を描くような場合にはタッチペンがスクリーンに比較的長い時間触れていることになるため、カメラによってタッチペンを検出しやすいが、ユーザがタッチペンで点を描くような場合には、タッチペンがスクリーンに触れている時間が短いことから、その点の描画位置を確実に検出できない場合がある。

【0006】

また、特許文献１に記載のシステムでは、スクリーンの上側隅に設置された複数のカラーカメラによってタッチペンに取り付けられたＬＥＤの発光色を認識して、スクリーン上に表示されるタッチペンの軌跡の色を切り替えることとしている。しかし、前述のように、タッチペンがスクリーンに触れている時間が短い場合、カラーカメラによってＬＥＤの発光色を確実に認識できない場合があるという問題があった。

【0007】

そこで、本発明は、表示装置の表示面上における対象物の接触位置をより確実に検出できるようにすることを第１の課題とする。また、本発明は、表示装置の表示面上に接触した対象物の種類をより正確に判別できるようにすることを第２の課題とする。本発明は、第１及び第２の課題の両方又は少なくともいずれか一方の解決手段を提案するものである。

【課題を解決するための手段】

【0008】

本発明は、表示制御システム１００に関する。本発明に係る表示制御システム１００は、表示装置１０、測域センサ２０、撮像装置３０、及び制御装置４０を備える。表示装置１０は、制御装置４０からの制御情報に基づいて所定の映像を表示する。表示装置１０は、プロジェクタとスクリーンの組み合わせからなるものであってもよいし、液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイ装置であってもよい。測域センサ２０は、表表示装置１０の表示面上における対象物の接触位置を検出するためのセンサである。「対象物」とは、物理的な物体である。対象物の例としては、ユーザの腕などの身体の一部や、ユーザが把持している手持ち器具が挙げられる。撮像装置３０は、表示装置１０の表示面及びその表示面前面側の空間を含む範囲の画像（静止画像及び動画像を含む。以下同じ）を取得する。すなわち、撮像装置３０は、表示面前面側であって、その表示面から一定距離離れた位置に配置されている。制御装置４０は、測域センサ２０が検出した対象物の接触位置に関する情報と撮像装置３０が取得した画像に基づいて、その対象物が表示装置１０の表示面に接触した位置を決定し、その決定情報に基づいて表示装置１０を制御する。つまり、制御装置４０は、測域センサ２０による検出情報と撮像装置３０が取得した画像（具体的はその解析情報）とを統合して、対象物の表示面の接触位置を決定する。ここでの決定情報に基づいて、表示装置１０は、表示面上の対象物の接触位置に所定の画像を表示する。

【0009】

上記構成のように、測域センサ２０の検出情報に加えて、撮像装置３０が取得した表示面前面側の空間を捉えた画像を利用して、表示面上における対象物の接触位置を決定することで、対象物の接触位置を検出することの確実性を向上させることができる。つまり、撮像装置３０は、対象物が表示面に接触する前からその対象物を捕捉しており、さらに撮像装置３０が取得した画像によれば、その対象物が表示面に接触したことや、その接触位置をある程度の確実性をもって確認できる。また、測域センサ２０によれば、対象物が表示面に接触したことと、その接触位置を正確に検出できる。このため、測域センサ２０と撮像装置３０により得られた情報を組み合わせれば、仮に対象物が表示面に接触している時間が短い場合であっても、対象物が表示面に接触したことやその接触位置をより確実に特定することが可能となる。例えば、対象物が表示面に接触している時間が短く、測域センサ２０が表示面上の対象物の接触位置を正確に検出できていない場合であっても、撮像装置３０の撮像画像に基づいて対象物の接触位置を特定できていれば、精度よりも確実性を優先して、対象物の接触位置を決定することができる。また、測域センサ２０の検出情報だけの場合、ある対象物が測域センサ２０の検出範囲（具体的には表示面上）から一度離れた後、再度その検出範囲に戻って来たときに、同じ対象物が表示面に２回に亘って接触したことを認識できない。これに対して、本発明のように、撮像装置３０によって表示面前面側の空間を捕捉しておくことで、同じ対象物が表示面に２回に亘って接触したことを認識にすることが可能となる。これにより、例えばある対象物の一度目の接触位置と二度目の接触位置とを線で結ぶといった表示画面の制御も可能となる。

【0010】

本発明に係るシステムは、対象物から当該対象物の種類を判別するための情報を取得する判別手段を備えていてもよい。この判別手段は、前述した撮像装置３０であってもよいし、別の装置であってもよい。この場合、制御装置４０は、判別手段が取得した情報に基づいて対象物の種類を判別するとともに、その対象物の種類に関する情報と前述した決定情報に基づいて表示装置１０を制御する。例えば、対象物の種類に応じて、その対象物の接触位置に表示される画像の種類や色を変化させることができる。

【0011】

本発明に係るシステムにおいて、判別手段は、前述した撮像装置３０であることが好ましい。この場合、制御装置４０は、撮像装置３０が取得した画像を解析して、その画像に映り込んだ対象物の種類を判別する。これにより、制御装置４０は、撮像装置３０が取得した画像と測域センサ２０の検出情報から、表示面上に接触した対象物の種類と、その対象物が接触した表示面上の位置をより確実に特定することができる。具体的には、撮像装置３０が取得した画像に基づいて、制御装置４０は、対象物が表示面に接触する前からその対象物を捕捉し、その対象物の種類を判別する。そして、対象物が表示面に接触したときには、測域センサ２０の検出情報と撮像装置３０が取得した画像から得られた情報を統合して、特定の種類の対象物が接触した表示面上の位置を決定することとなる。

【0012】

本発明に係るシステムにおいて、対象物は、種類ごとに異なるパターン又は色で発光する発光部５１を含むものであってもよい。この場合、制御装置４０は、画像に映り込んだ発光部５１の発光パターン又は色を解析して、その画像に映り込んだ対象物の種類を判別することとしてもよい。このように、対象物を発光させることにより、暗い室内であっても対象物の種類を容易に判別できるようになる。

【0013】

本発明に係るシステムにおいて、撮像装置３０は、表示装置１０の表示面前面側であって、システムのユーザ及び表示面を俯瞰する位置に配置されていることが好ましい。例えば、身長１００～２００ｃｍの者がユーザとなることを想定した場合、撮像装置３０は床面から２００ｃｍ以上の位置に配置すればよい。これにより、撮像装置３０による対象物の捕捉が容易となる。

【0014】

本発明に係るシステムにおいて、撮像装置３０は、表示装置１０の表示面及び表示面前面側の床面を含む範囲の画像を取得するように配置されていることが好ましい。このように、撮像装置３０の撮影範囲を表示面前面側の床面まで広げることで、対象物が表示面に接触する前にその対象物を捕捉することが容易になる。

【0015】

続いて、本発明に係る表示制御システムの別の実施形態について説明する。別の実施形態に係る表示制御システム１００は、表示装置１０、測域センサ２０、判別装置６０、及び制御装置４０を備える。測域センサ２０は、表示装置１０の表示面上における対象物の接触位置を検出する。判別装置６０は、対象物の種類を判別するとともに対象物の空間上の位置を特定するための情報を取得する。制御装置４０は、測域センサ２０が検出した対象物の接触位置に関する情報と判別装置６０が取得した情報に基づいて、特定の種類の対象物が表示装置１０の表示面に接触した位置を決定し、その決定情報に基づいて表示装置１０を制御する。判別装置６０の例としては、サーモカメラ、対象物に与えられたビーコンタグから発せられる電波を受信する複数のビーコン受信器、及び対象物に与えられたマイクロホンから発せられる音波を受信する複数のマイクロホンのいずれか１つ以上が挙げられる。このような判別装置６０を用いることによっても、表示面上における対象物の接触位置やその対象物の種類を判別することが可能である。

【発明の効果】

【0016】

本発明によれば、表示装置の表示面上における対象物の接触位置をより確実に検出することができる。また、本発明によれば、表示装置の表示面上に接触した対象物の種類をより正確に判別することも可能である。

【図面の簡単な説明】

【0017】

【図1】図１は、本発明の第１の実施形態に係る表示制御システムの全体構成を模式的に示している。

【図2】図２は、第１の実施形態に係る表示制御システムの構成要素を側面からみた様子を模式的に示している。

【図3】図３は、第１の実施形態に係る表示制御システムのブロック図の一例を示している。

【図4】図４は、第１の実施形態における手持ち器具（対象物）の例を示している。

【図5】図５は、第２の実施形態に係る表示制御システムのブロック図の一例を示している。

【図6】図６は、第２の実施形態における判別装置と手持ち器具（対象物）の組み合わせの例を示している。

【発明を実施するための形態】

【0018】

以下、図面を用いて本発明を実施するための形態について説明する。本発明は、以下に説明する形態に限定されるものではなく、以下の形態から当業者が自明な範囲で適宜変更したものも含む。

【0019】

本発明は、表示面上における対象物の接触位置を検出して、その接触位置に所定の画像を表示するためのシステムである。図１及び図２に示されるように、本発明の第１の実施形態に係る表示制御システム１００は、表示装置１０、測域センサ２０、撮像装置３０、及び制御装置４０を含む。測域センサ２０及び撮像装置３０により取得された情報は制御装置４０に入力される。制御装置４０は、測域センサ２０及び撮像装置３０が取得した情報を利用して表示装置１０の制御を行う。また、ユーザは様々な種類の手持ち器具５０（対象物）を把持しており、この手持ち器具５０を利用して表示面に自由に文字や絵、図形を描くことができる。

【0020】

本実施形態において、測域センサ２０及び撮像装置３０により得られた情報に基づいて、スクリーン１２に接触した手持ち器具５０の種類と接触位置が特定される。そして、スクリーン１２上には、手持ち器具５０の接触位置に線や点、図形などが出現する。また、手持ち器具５０の種類に応じて、スクリーン上に出現する線や点、図形などの種類が変化するようになっている。例えば、図１に示した例では、ユーザは、ハケ型器具、ペン型器具、スタンプ型器具をそれぞれ把持している。スクリーン１２上におけるハケ型器具の接触位置には太めの線が表示され、ペン型器具の接触位置には細めの線が表示され、スタンプ型器具の接触位置には所定のスタンプ図形が表示される。また、手持ち器具５０の種類に応じて線や図形の色を変化させることもできる。このように、ユーザは、手持ち器具５０を使い分けることで、スクリーン上に表示される線や図形の変化を楽しむことができる。

【0021】

本実施形態において、表示装置１０は、映像光を照射するプロジェクタ１１と、その映像光が投影されるスクリーン１２とを含んで構成されている。プロジェクタ１１は、例えばスクリーン１２前面側上方の天井面に固定されており、スクリーン１２の表示面に対して上方から映像光を照射する。なお、表示装置１０としては、プロジェクタ１１及びスクリーン１２に代えて、液晶ディスプレイや有機ＥＬディスプレイ等を採用することもできる。

【0022】

測域センサ２０は、検査光（レーザ）を出射するとともに、その検査光を走査することで手持ち器具５０までの距離と角度を測定する二次元走査型の光測距センサである。測域センサ２０により検出された情報は、制御装置４０に伝達される。測域センサ２０は、スクリーン１２に沿って検査光を出射するように、例えばスクリーン１２の直上に配置される。実空間における測域センサ２０の位置座標が既知であれば、その測域センサ２０から出射された光に触れた対象物までの距離と角度を測定することで、実空間における手持ち器具５０の位置座標を検出することができる。具体的には、検査光はスクリーン１２の表面に沿って出射されているため、手持ち器具５０がスクリーン１２に触れた位置の座標情報を検出できる。図２に示されるようにスクリーン１２が配置された空間をｘｙｚの３次元座標系で表した場合、この測域センサ２０は、ｙｚ平面のスクリーン座標系における手持ち器具５０の２次元座標を検出する機能を担うことになる。なお、スクリーン１２が大型である場合には、スクリーン１２全体が検出範囲となるように複数の測域センサ２０を並べればよい。

【0023】

撮像装置３０は、手持ち器具５０がスクリーン１２に接触する前から、この手持ち器具５０を含む画像を取得して、その手持ち器具５０の種類と位置を特定するために用いられる。撮像装置３０としては、一般的な赤外線カメラやカラーカメラを用いることができる。撮像装置３０は、例えば、撮影レンズ、メカシャッター、シャッタードライバ、ＣＣＤイメージセンサユニットなどの光電変換素子、光電変換素子から電荷量を読み出し画像データを生成するデジタルシグナルプロセッサ（ＤＳＰ）、及びＩＣメモリで構成される。撮像装置３０によって取得された画像データは、制御装置４０に伝達される。

【0024】

また、撮像装置３０は、例えばスクリーン１２前面側上方の天井面に固定されており、スクリーン１２とその付近のユーザとを俯瞰した位置から、スクリーン１２及びその前面側の空間を含む画像を取得する。具体的には、図２に示されるように、撮像装置３０の撮像範囲には、スクリーン１２全体に加えて、そのスクリーン１２前面側の所定範囲の床面が含まれていることが好ましい。例えば、図２では、撮像装置３０の撮像範囲に含まれるスクリーン面（ｙｚ面）に対して直交する方向（ｘ軸方向）の長さを符号ｘで表している。例えば、この長さｘは、０．５ｍ以上であることが好ましく、１ｍ以上、２ｍ以上、又は３ｍ以上であることが特に好ましい。長さｘの上限に特に制限はないが、例えば１０ｍ以下又は５ｍ以下とすればよい。このように、スクリーン１２前面の空間を撮像装置３０の撮像範囲に含めることで、手持ち器具５０がスクリーン１２に接触する前に、手持ち器具５０の位置を捕捉するとともに、その種類を特定することが可能となる。

【0025】

図３は、主に本実施形態に係る制御装置４０の機能構成を示している。制御装置４０は、測域センサ２０及び撮像装置３０からの情報に基づいて表示装置１０を制御するためのコンピュータである。制御装置４０としては汎用的なコンピュータを利用することができる。制御装置４０は、基本的にＬＡＮケーブルやＵＳＢケーブル、スイッチングハブなどを介して表示装置１０、測域センサ２０、及び撮像装置３０と有線接続されている。ただし、制御装置４０は、無線ＬＡＮやインターネットを介してこれらの装置と無線接続されていてもよい。

【0026】

図３に示されるように、制御装置４０は、制御部４１、記憶部４２、入力部４３、及び出力部４４を含む。制御部４１としては、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサを利用することができる。制御部４１は、基本的に、記憶部４２に記憶されているプログラムを読み出してメインメモリに展開し、このプログラムに従って所定の演算処理を実行する。また、制御部４１は、プログラムに従った演算結果を記憶部４２に適宜書き込んだり読み出したりすることができる。記憶部４２は、制御部４１での演算処理等に用いられる情報やその演算結果を記憶するための要素である。記憶部４２のストレージ機能は、例えばＨＤＤ及びＳＤＤといった不揮発性メモリによって実現できる。また、記憶部４２は、制御部４１による演算処理の途中経過などを書き込む又は読み出すためのメインメモリとしての機能を有していてもよい。記憶部４２のメモリ機能は、ＲＡＭやＤＲＡＭといった揮発性メモリにより実現できる。入力部４３は、測域センサ２０及び撮像装置３０に接続するための入力用インターフェースである。また、出力部４４は、表示装置１０に接続するための出力用インターフェースである。

【0027】

本実施形態において、手持ち器具５０は、図３に示されるように、発光部５１と発光制御部５２を含む。発光部５１は、可視光ＬＥＤや赤外線ＬＥＤ等の発光素子で構成されている。発光部５１は、その発光色を調整できるように、例えば赤色ＬＥＤ、青色ＬＥＤ、緑色ＬＥＤを含み、さらに必要に応じて白色ＬＥＤを含んでいてもよい。また、赤外線ＬＥＤは、波長７００～１５００ｎｍ程度の近赤外線で発光する。発光部５１として赤外線ＬＥＤを採用する場合は、撮像装置３０としては近赤外線に感度を持つ受光器を備える赤外線カメラを採用すればよい。また、発光制御部５２は、発光部５１の発光パターン（すなわち点滅パターン）や発光色を制御するための制御回路である。発光制御部５２は、バッテリ（図示省略）からの電力を発光部５１に供給するとともに、各種ＬＥＤ素子の発光強度を調整することにより発光部５１全体としての発光色を制御する。また、発光制御部５２は、各種ＬＥＤ素子のオン／オフを調整することで発光部５１の発光パターンを制御する。手持ち器具５０は、予め様々な種類のものが用意されている。手持ち器具５０は、その種類ごとに、発光パターンと発光色の両方又は少なくともいずれか一方が異なるように設定されている。

【0028】

また、図３には、制御部４１の機能ブロックが示されている。制御部４１は、機能ブロックとして、種類判別部４１ａ、空間位置特定部４１ｂ、表示面位置特定部４１ｃ、決定部４１ｄ、及び描画部４１ｅを含む。これらの機能ブロック４１ａ～４１ｅは、制御部４１（プロセッサ）が所定のプログラムを実行することにより実現されるものである。

【0029】

種類判別部４１ａは、撮像装置３０が取得した画像を解析して、その画像中に映り込んでいる手持ち器具５０の種類を判別する。本実施形態では、前述のように、手持ち器具５０は、その種類ごとに発光パターン及び／又は発光色が異なるように設定されている。また、記憶部４２には、発光パターン及び／又は発光色に関する情報に対応付けて、手持ち器具５０の種類を特定するためのデータが記憶されている。このため、種類判別部４１ａは、撮像装置３０が取得した画像を解析して、手持ち器具５０の発光パターン及び／又は発光色を識別し、識別した発光パターン及び／又は発光色に対応する手持ち器具５０の種類に関する情報を記憶部４２から読み出す。これにより、種類判別部４１ａは手持ち器具５０の種類を判別することが可能である。

【0030】

一例を挙げると、種類判別部４１ａによれば、手持ち器具５０ごとに、赤色のペン、青色のペン、赤色のハケ、青色のハケ、赤色のスタンプ、青色のスタンプといった判別が可能である。例えばこれらの種類の手持ち器具５０には、それぞれ異なる発光パターンが割り当てられて記憶部４２に記憶されている。この場合には、手持ち器具５０の発光パターンを解析すれば、手持ち器具５０の種類を判別できる。具体的には、手持ち器具５０の発光パターンを解析することで、赤色のペンか青色のペンかを判別できる。この場合には、手持ち器具５０の発光パターンを解析できれば十分であり、発光色の解析は不要であることから、撮像装置３０としてはカラーカメラではなく赤外線カメラで対応可能である。また、発光パターンと発光色の両方に基づいて、手持ち器具５０の種類を判別することも可能である。例えば、赤色であるか青色であるかは、手持ち器具５０の発光色から判別される。また、ペン、ハケ、スタンプのいずれであるかは、手持ち器具５０の発光パターンから判別される。このように、手持ち器具５０の種類の判別に発光パターンと発光色の両方の情報を利用することとしてもよい。ただし、発光色を種類の判別に利用するためには、手持ち器具５０の発光色を認識する必要があることから、撮像装置３０としてはカラーカメラを用いる必要がある。

【0031】

また、図４は、手持ち器具５０の種類の判別方法の様々な例を示している。前述のように、ＬＥＤ等の発光部を備えた手持ち器具５０（ａ）を用いる場合は、種類判別部４１ａは、その発光パターン及び／又は発光色に基づいて、その種類を特定すればよい。また、種類ごとに異なるＱＲコード（登録商標）等の二次元コードが付与された手持ち器具５０（ｂ）を用いることもできる。この場合、種類判別部４１ａは、撮像画像に映り込んだ二次元コードを解析し、その二次元コードに埋め込まれた識別情報に対応する種類を記憶部４２から読み出すことで、手持ち器具５０（ｂ）の種類を判別することができる。また、種類ごとに異なる模様が付与された手持ち器具５０（ｃ）を用いることもできる。この模様は、撮像装置３０による撮像画像に映り込みやすいように、例えば再帰反射材や蛍光塗料で描かれている。この場合、種類判別部４１ａは、撮像画像に映り込んだ模様を解析し、その模様に対応する種類を記憶部４２から読み出すことで、手持ち器具５０（ｃ）の種類を判別することができる。また、種類ごとに形状そのものが異なる手持ち器具５０（ｄ）を用いることもできる。この場合、種類判別部４１ａは、撮像画像に映り込んだ手持ち器具５０（ｄ）の形状を解析し、その形状に対応する種類を記憶部４２から読み出すことで、手持ち器具５０（ｄ）の種類を判別することができる。

【0032】

空間位置特定部４１ｂは、撮像装置３０が取得した画像を解析して、その画像中に映り込んでいる手持ち器具５０の空間内の位置を大まかに特定する。特に、種類判別部４１ａでの処理と空間位置特定部４１ｂでの処理を実行することにより、どの種類の手持ち器具５０が、空間内のどの位置に存在するのかを特定できる。なお、撮像装置３０の撮像画像からは、手持ち器具５０の三次元座標を厳密に特定することまでは困難である。このため、空間位置特定部４１ｂは、例えば、特定種類の手持ち器具５０がスクリーン１２に接触可能な範囲に存在しているか否かを特定できればよい。特に、空間位置特定部４１ｂは、特定種類の手持ち器具５０がスクリーン１２に接触しているか否かを特定することが好ましい。また、空間位置特定部４１ｂは、特定種類の手持ち器具５０がスクリーン１２に接触している位置をある程度の精度で特定することが好ましい。図２に示した例のように、撮像画像に映り込むスクリーン１２を幾つかの領域に分割した場合に（図示した例では９分割）、空間位置特定部４１ｂは、特定種類の手持ち器具５０がスクリーン１２のどの領域に接触しているかを特定できればよい。なお、このスクリーン１２の分割領域はより細分化させることができ、その場合には接触位置の特定の精度が向上する。このようにして、空間位置特定部４１ｂは、撮像画像に映り込んでいる一又は複数の手持ち器具５０の空間内の位置、具体的にはスクリーン１２上の接触位置を大まかに特定することとなる。

【0033】

表示面位置特定部４１ｃは、測域センサ２０の検出情報に基づいて、スクリーン１２（表示面）に対する手持ち器具５０の接触位置を特定する。測域センサ２０は、スクリーン１２に手持ち器具５０が接触したときに、その測域センサ２０から手持ち器具５０までの距離と角度を検出し、その検出情報を表示面位置特定部４１ｃに伝達する。測域センサ２０の位置座標は既知であることから、表示面位置特定部４１ｃは、その測域センサ２０から受け取った手持ち器具５０までの距離と角度に関する情報に基づいて、スクリーン１２上における手持ち器具５０の位置座標（ｙｚ平面の二次元座標）を特定できる。

【0034】

決定部４１ｄは、種類判別部４１ａ及び空間位置特定部４１ｂが特定した特定種類の手持ち器具５０の空間内の位置に関する情報と、表示面位置特定部４１ｃが特定した手持ち器具５０のスクリーン１２上の位置に関する情報とを統合して、スクリーン１２上における特定種類の手持ち器具５０が接触した位置を決定する。具体的には、前述したように、種類判別部４１ａ及び空間位置特定部４１ｂの処理により、どの種類の手持ち器具５０がスクリーン１２上のどの範囲に接触しているのかを特定できる。また、表示面位置特定部４１ｃの処理により、スクリーン１２に接触している手持ち器具５０の位置座標を特定できる。このため、種類判別部４１ａ及び空間位置特定部４１ｂが特定種類の手持ち器具５０がスクリーン１２に接触したことを特定したのとほぼ同じタイミング（所定時間以内、例えば１秒以内）及び範囲（所定範囲以内、例えば５０ｃｍ以内）において、表示面位置特定部４１ｃもスクリーン１２に何らかの手持ち器具５０が接触していることを検出していれば、決定部４１ｄは、表示面位置特定部４１ｃが特定した手持ち器具５０の位置座標は、種類判別部４１ａ及び空間位置特定部４１ｂが特定した種類の手持ち器具５０の接触位置の座標であることを推定することができる。つまり、測域センサ２０自体に手持ち器具５０の種類を特定する機能がなくても、撮像装置３０の撮像画像の解析情報を組み合わせれば、測域センサ２０が検出した手持ち器具５０の種類を特定することが可能となる。

【0035】

また、手持ち器具５０がスクリーン１２上に接触している時間が短く、測域センサ２０の検出情報によって表示面位置特定部４１ｃが手持ち器具５０の接触位置を正確に特定できなかった事態も想定される。一方で、このような事態が発生した場合でも、撮像装置３０からの撮像画像に基づいて、種類判定部４１ａ及び空間位置特定部４１ｂが、特定種類の手持ち器具５０がスクリーン１２上に接触していることと、その接触位置を正確に特定できている場合もある。つまり、撮像装置３０は、天井寄りの俯瞰位置に配置され、手持ち器具５０がスクリーン１２に接触する前からそれを捕捉しているため、撮像装置３０の撮像画像を解析すれば、測域センサ２０ほどの正確さはないものの、スクリーン１２に手持ち器具５０が接触したことと、その位置あるいは範囲を特定可能である。この場合、決定部４１ｄは、種類判別部４１ａ及び空間位置特定部４１ｂからの情報に基づいて、スクリーン１２上の手持ち器具５０の接触位置を決定すればよい。この場合、決定部４１ｄは、検出精度よりも確実性を優先して、手持ち器具５０の接触位置を決定することとなる。

【0036】

描画部４１ｅは、決定部４１ｄにより決定されたスクリーン１２上の手持ち器具５０の接触位置に、その手持ち器具５０の種類に応じた画像を描画する。具体的には、記憶部４２には、手持ち器具５０の種類に応じたエフェクト画像のデータが記憶されている。描画部４１ｅは、手持ち器具５０の種類ごとにこのエフェクト画像のデータを読み出して、その手持ち器具５０の接触位置にエフェクト画像を描画する。例えば、図１に示されるように、スクリーン１２上におけるハケ型器具の接触位置には太めの線が描画され、ペン型器具の接触位置には細めの線が描画され、スタンプ型器具の接触位置には所定のスタンプ図形が描画される。この描画部４１ｅにより描画された画像データは、出力部４４を介して表示装置１０に伝達される。表示装置１０は、この画像データを出力する。本実施形態では、プロジェクタ１１が画像をスクリーン１２に投影することで、この画像が表示されることとなる。なお、描画部４１ｅは、手持ち器具５０に対応したエフェクト画像の他、所定の背景画像などを併せて描画し、表示装置１０に出力させることも当然可能である。

【0037】

図５は、本発明の第２の実施形態に係る表示制御システム１００の機能構成を示している。第２の実施形態については、前述した第１の実施形態と同じ構成について同じ符号を用いることでその説明を省略し、第１の実施形態と異なる構成を中心にその説明を行う。

【0038】

図５に示されるように、第２の実施形態に係る表示制御システム１００は、第１の実施形態の撮像装置３０に代えて、判別装置６０を備える。第１の実施形態では、主に撮像部３０が、手持ち器具５０（対象物）の種類を判別する機能と、手持ち器具５０の空間位置を特定する機能を担っていたが、第２の実施形態では、撮像部３０に代えて、これらの機能を判別装置６０によって行う。

【0039】

図６は、手持ち器具５０と判別装置６０との組み合わせの例を示している。例えば、手持ち器具５０として、種類ごとに表面温度の異なる材質で形成された手持ち器具５０（ｅ）を用いることもできる。この場合、判別装置６０としては、手持ち器具５０（ｅ）の表面温度を検出可能なサーモカメラ６０（ｅ）を用いればよい。種類判別部４１ａは、サーモカメラ６０（ｅ）が検出した手持ち器具５０（ｅ）の表面温度に基づいて、その表面温度に対応する種類を記憶部４２から読み出すことで、手持ち器具５０（ｅ）の種類を判別することができる。また、空間位置特定部４１ｂは、サーモカメラ６０（ｅ）の撮像画像を解析することで、手持ち器具５０（ｅ）の空間位置、具体的にはスクリーン１２上の接触位置をある程度の精度で特定することができる。

【0040】

また、手持ち器具５０として、種類ごとに異なる識別情報を含む電波を発振するビーコンタグが搭載された手持ち器具５０（ｆ）を用いることもできる。この場合、判別装置６０としては、ビーコンタグから発信された電波を受信する複数のビーコン受信器６０（ｆ）を用いればよい。種類判別部４１ａは、ビーコン受信器６０（ｆ）が受信した電波に含まれる識別情報に基づいて、その識別情報に対応する種類を記憶部４２から読み出すことで、手持ち器具５０（ｆ）の種類を判別することができる。また、空間位置特定部４１ｂは、３台以上のビーコン受信器６０（ｆ）が受信した電波の強度に基づき、各ビーコン受信器６０（ｆ）から手持ち器具５０（ｆ）までの距離を測定することで、三角測量法により、手持ち器具５０（ｆ）の空間位置、具体的にはスクリーン１２上の接触位置をある程度の精度で特定することができる。

【0041】

また、手持ち器具５０として、種類ごとに異なる周波数の超音波を出力するスピーカが搭載された手持ち器具５０（ｇ）を用いることもできる。この場合、判別装置６０としては、スピーカから発信された超音波を集音する複数のマイクロホン６０（ｇ）を用いればよい。種類判別部４１ａは、マイクロホン６０（ｇ）が集音した超音波の周波数に基づいて、その周波数に対応する種類を記憶部４２から読み出すことで、手持ち器具５０（ｇ）の種類を判別することができる。また、空間位置特定部４１ｂは、３台以上のマイクロホン（ｇ）が受信した超音波の強度に基づき、各マイクロホン６０（ｇ）から手持ち器具５０（ｇ）までの距離を測定することで、三角測量法により、手持ち器具５０（ｇ）の空間位置、具体的にはスクリーン１２上の接触位置をある程度の精度で特定することができる。

【0042】

以上、本願明細書では、本発明の内容を表現するために、図面を参照しながら本発明の実施形態の説明を行った。ただし、本発明は、上記実施形態に限定されるものではなく、本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

【符号の説明】

【0043】

１０…表示装置 １１…プロジェクタ
１２…スクリーン ２０…測域センサ
３０…撮像装置 ４０…制御装置
４１…制御部 ４１ａ…種類判別部
４１ｂ…空間位置特定部 ４１ｃ…表示面位置特定部
４１ｄ…決定部 ４１ｅ…描画部
４２…記憶部 ４３…入力部
４４…出力部 ５０…手持ち器具（対象物）
５１…発光部 ５２…発光制御部
６０…判別装置 １００…表示制御システム

【要約】

【課題】表示装置の表示面上における対象物の接触位置をより確実に検出する。
【解決手段】表示制御システム１００は、表示装置１０と、表示装置１０の表示面上における対象物の接触位置を検出する測域センサ２０と、この表示面及び表示面前面の空間を含む範囲の画像を取得する撮像装置３０とを含み、測域センサ２０が検出した対象物の接触位置に関する情報と撮像装置３０が取得した画像に基づいて対象物が表示装置１０の表示面に接触した位置を決定し、その決定情報に基づいて表示装置１０を制御する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】