特開 2023-183997 表示方法、及び表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023183997

(43)【公開日】2023-12-28

(54)【発明の名称】表示方法、及び表示システム

(51)【国際特許分類】

   G06F 3/042 20060101AFI20231221BHJP

   G09G 5/00 20060101ALI20231221BHJP

   G06F 3/041 20060101ALI20231221BHJP

   H04N 5/74 20060101ALI20231221BHJP

   G09F 9/00 20060101ALI20231221BHJP

   G03B 21/14 20060101ALI20231221BHJP

【ＦＩ】

G06F3/042 473

G09G5/00 550C

G06F3/041 520

G06F3/041 580

G06F3/041 595

H04N5/74 Z

G09F9/00 366G

G03B21/14 Z

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022097868

(22)【出願日】2022-06-17

(71)【出願人】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】仙敷 大樹

【テーマコード（参考）】

2K203

5C058

5C182

5G435

【Ｆターム（参考）】

2K203FA93

2K203FB05

2K203GB32

2K203GB62

2K203GB69

2K203KA44

2K203KA56

2K203MA23

5C058BA35

5C058EA02

5C058EA26

5C182AA03

5C182AA04

5C182AB02

5C182AB03

5C182AB13

5C182AC02

5C182AC03

5C182BA01

5C182BA04

5C182BA14

5C182BA25

5C182BA65

5C182BB01

5C182BB05

5C182BB12

5C182BC01

5C182BC22

5C182BC25

5C182CB54

5C182DA02

5G435AA00

5G435EE49

5G435LL15

(57)【要約】

【課題】インタラクティブプロジェクターを複数並べて配置する際に、指示体の検出に関する時間分解能を悪化させることなく、複数の検出光が発生することに起因する問題の発生を回避する。
【解決手段】プロジェクター１０は、第１取得部１１０ａ、検出部１１０ｂ、第２取得部１１０ｃ、及び表示制御部１１０ｄを含む。第１取得部１１０ａは、表示面を含む範囲のカメラによる撮像画像を取得する。検出部１１０ｂは、表示面に沿って照射される第１の光及び第２の光の指示体による反射光に対応する第１の輝点及び第２の輝点を撮像画像から検出する。第２取得部１１０ｃは、第１の輝点の位置と第２の輝点の位置との距離が閾値ｔｈ１未満である場合に第１の輝点と第２の輝点とに基づき決定される第３の位置を取得する。表示制御部１１０ｄは、指示体による描画画像を第３の位置に含む表示画像を表示する。
【選択図】図５

【特許請求の範囲】

【請求項1】

カメラによって、表示面を含む範囲を撮像した撮像画像を取得することと、
前記表示面に沿って照射される第１の光の反射光に対応する第１の輝点と前記表示面に沿って照射される第２の光の反射光に対応する第２の輝点とを前記撮像画像から検出することと、
前記撮像画像における、前記第１の輝点と前記第２の輝点との間の距離が第１の閾値未満である場合に、
前記第１の輝点と前記第２の輝点とに基づき決定される第３の位置を取得することと、
前記表示面における前記第３の位置に、描画画像を含む表示画像を表示することと、
を含む、表示方法。

【請求項2】

前記第３の位置は、前記撮像画像において前記第１の輝点と前記第２の輝点とを含む領域における輝度の重心位置に対応する、
請求項１に記載の表示方法。

【請求項3】

前記第３の位置を取得することは、
前記第１の輝点が前記第２の輝点より明るい場合、前記第１の輝点の位置に基づいて前記第３の位置を取得すること、を含む、
請求項１に記載の表示方法。

【請求項4】

前記第３の位置を取得することは、
前記カメラに対応する前記表示面上の位置を基準位置とした場合に、前記第１の輝点に対応する前記表示面上の第１の位置の方が前記第２の輝点に対応する前記表示面上の第２の位置よりも前記基準位置に近い場合に、前記第１の輝点の位置に基づいて前記第３の位置を取得すること、を含む、
請求項１に記載の表示方法。

【請求項5】

表示面に画像を表示する表示装置と、
前記表示面を含む範囲を撮像するカメラと、を含み、
前記表示装置は、
前記カメラによる撮像画像を取得することと、
前記表示面に沿って照射される第１の光の反射光に対応する第１の輝点と前記表示面に沿って照射される第２の光の反射光に対応する第２の輝点とを前記撮像画像から検出することと、
前記撮像画像における、前記第１の輝点と前記第２の輝点との間の距離が第１の閾値未満である場合に、
前記撮像画像における、前記第１の輝点と前記第２の輝点とに基づき決定される第３の位置を取得することと、
前記表示面における前記第３の位置に、描画画像を含む表示画像を表示することと、を実行する、
表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示方法、及び表示システム、に関する。

【背景技術】

【0002】

インタラクティブプロジェクターは、画像の表示先となる表示面に対して手指等の指示体を用いてユーザーが文字又は図形を描く動作を行うと、ユーザーの描線を示す画像を表示する。インタラクティブプロジェクターの一例としては、指示体を検出するために表示面に沿って照射されるＩＲ（InfraRed）光等の光を指示体が横切ることにより発生する輝点をカメラにより撮像することで、指示体の位置を検出するものが挙げられる。表示面に沿って照射される光はライトカーテンと称され、ライトカーテンを照射する照射装置はライトカーテンユニット、又はフィンガータッチユニットと称される。

【0003】

表示面が大きく、１つのインタラクティブプロジェクターでは表示面の一部にしか画像を表示できない場合、複数のインタラクティブプロジェクターを並べて表示システムを構築する場合がある。しかし、ライトカーテンを用いて指示体の位置を検出するインタラクティブプロジェクターを複数台並べて使用すると、隣り合うインタラクティブプロジェクターのライトカーテンの一部が重なりあう場合がある。重なり合った２つのライトカーテンを指示体が横切ると、各インタラクティブプロジェクターにおいて１つの指示体に対して２つの輝点が撮像され得る。１つの指示体に対して２つの輝点が撮像されると、ユーザーの描いた描線が二重に描画されたり、描線がギザギザに描画されたりする等の不具合が発生し得る。このような不具合の発生を回避するための技術が種々提案されており、一例としは特許文献１に開示の技術が挙げられる。特許文献１に開示の技術では、互いに隣り合うインタラクティブプロジェクターのライトカーテンの照射タイミングを時間軸上で異ならせることで、１つの指示体に対して２つの輝点が撮像されることが回避される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－１３８８７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

第１のインタラクティブプロジェクターと第２のインタラクティブプロジェクターとを並べて使用する場合において各々に対応するライトカーテンの照射タイミングを時間軸上で異ならせると、一方のインタラクティブプロジェクターに対応するライトカーテンが照射されている間、他方のインタラクティブプロジェクターでは指示体の検出を行えず、指示体の位置の検出に関する時間分解能が悪化する。指示体の検出に関する時間分解能が悪化すると、指示体の位置を連続的に検出できず、表示される描線にかくつきが発生する、といった問題がある。

【課題を解決するための手段】

【0006】

本開示の表示方法の一態様は、カメラによって、表示面を含む範囲を撮像した撮像画像を取得することと、前記表示面に沿って照射される第１の光の反射光に対応する第１の輝点と前記表示面に沿って照射される第２の光の反射光に対応する第２の輝点とを前記撮像画像から検出することと、前記撮像画像における、前記第１の輝点と前記第２の輝点との間の距離が第１の閾値未満である場合に、前記撮像画像における、前記第１の輝点と前記第２の輝点とに基づき決定される第３の位置を取得することと、前記表示面における前記第３の位置に、描画画像を含む表示画像を表示することと、を含む。

【0007】

また、本開示の表示システムの一態様は、表示面に画像を表示する表示装置と、前記表示面を含む範囲を撮像するカメラと、を含む。前記表示装置は、前記カメラによる撮像画像を取得することと、前記表示面に沿って照射される第１の光の反射光に対応する第１の輝点と前記表示面に沿って照射される第２の光の反射光に対応する第２の輝点とを前記撮像画像から検出することと、前記撮像画像における、前記第１の輝点と前記第２の輝点との間の距離が第１の閾値未満である場合に、前記撮像画像における、前記第１の輝点と前記第２の輝点とに基づき決定される第３の位置を取得することと、前記表示面における前記第３の位置に、描画画像を含む表示画像を表示することと、を実行する。

【図面の簡単な説明】

【0008】

【図1】本開示の実施形態による表示システム１の構成例を示す図である。

【図2】表示システム１において指示体３０の位置を検出するために照射装置２０Ａ及び照射装置２０Ｂの各々から照射されるＩＲ光を説明するための図である。

【図3】表示システム１において指示体３０の位置を検出するために照射装置２０Ａ及び照射装置２０Ｂの各々から照射されるＩＲ光を説明するための図である。

【図4】指示体３０がＩＲ光ＬＡ及びＩＲ光ＬＢの両方を横切ることに起因する問題点を説明するための図である。

【図5】表示システム１に含まれるプロジェクター１０の構成例を示す図である。

【図6】本実施形態の効果を説明するための図である。

【図7】処理装置１１０がプログラムＰＲＡに従って実行する表示方法の流れを示すフローチャートである。

【図8】処理装置１１０が実行する表示方法に含まれる第２取得処理ＳＡ１３０の処理内容を示すフローチャートである。

【図9】変形例（２）を説明するための図である。

【発明を実施するための形態】

【0009】

以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。
１．実施形態
図１は、本開示の一実施形態による表示システム１の構成例を示す図である。表示システム１は、プロジェクター１０Ａ及びプロジェクター１０Ｂと、照射装置２０Ａ及び照射装置２０Ｂと、を含む。プロジェクター１０Ａ及びプロジェクター１０Ｂには、図示せぬ画像供給装置が有線又は無線により接続される。プロジェクター１０Ａは、図示せぬ画像供給装置から共有される画像データに応じた表示画像ＰＧＡを、投射スクリーン等の表示面ＳＳに表示する。同様に、プロジェクター１０Ｂは、図示せぬ画像供給装置から共有される画像データに応じた表示画像ＰＧＢを表示面ＳＳに表示する。プロジェクター１０Ａ及びプロジェクター１０Ｂは、表示面ＳＳが設置される部屋の天井に設置される。画像供給装置からプロジェクター１０Ａ及びプロジェクター１０Ｂの各々に供給される画像データとしては、会議等における資料を表す画像データ、又は学校等における教材を表す画像データが挙げられる。画像供給装置の具体例としては、例えばパーソナルコンピューターが挙げられる。

【0010】

プロジェクター１０Ａは、表示面ＳＳに対して指示体３０を用いてユーザーが文字又は図形を描く動作を行うと、ユーザーの描線を示す描画画像を含む表示画像ＰＧＡを表示面ＳＳに表示する。表示画像ＰＧＡは、画像供給装置から共有される画像データの表す画像にユーザーの描線を示す描画画像を重ねた画像である。本実施形態における指示体３０は、ユーザーの手指であるが、タッチペンであってもよい。同様に、プロジェクター１０Ｂは、表示面ＳＳに対して指示体３０を用いてユーザーが文字又は図形を描く動作を行うと、ユーザーの描線を示す描画画像を含む表示画像ＰＧＢを表示面ＳＳに表示する。表示画像ＰＧＢも、画像供給装置から共有される画像データの表す画像にユーザーの描線を示す描画画像を重ねた画像である。つまり、プロジェクター１０Ａ及びプロジェクター１０Ｂは、インタラクティブプロジェクターである。以下では、プロジェクター１０Ａとプロジェクター１０Ｂとを区別する必要がない場合には、プロジェクター１０Ａ及びプロジェクター１０Ｂはプロジェクター１０と表記される。なお、以下では、図１に示されるように、表示面ＳＳの法線に沿った座標軸はＺ軸と称され、鉛直方向に沿った座標軸はＹ軸と称され、Ｙ軸及びＺ軸に直交する座標軸はＸ軸と称される。

【0011】

照射装置２０Ａはプロジェクター１０Ａと対になるフィンガータッチユニットである。照射装置２０Ｂはプロジェクター１０Ｂと対になるフィンガータッチユニットである。図１に示されるように、照射装置２０Ａ及び照射装置２０Ｂは、表示面ＳＳの上方にＸ軸方向に並ぶように配置される。照射装置２０Ａ及び照射装置２０Ｂは、ＩＲ光を発するＩＲ光源を備える。照射装置２０Ａ及び照射装置２０Ｂの各々は、ライトカーテンを形成するＩＲ光を表示面ＳＳに沿って照射する。図２及び図３は、照射装置２０Ａ及び照射装置２０Ｂの各々から照射されるＩＲ光を説明するための図である。図２は、照射装置２０Ａ及び照射装置２０Ｂの各々から照射されるＩＲ光の様子をＺ軸方向から見た図である。図３は、照射装置２０Ａ及び照射装置２０Ｂの各々から照射されるＩＲ光の様子をＹ軸方向から見た図である。図２及び図３に示されるように、照射装置２０Ａは、表示面ＳＳに沿って、表示面ＳＳからＺ軸方向に距離ＨＡだけ隔てた位置に扇状にＩＲ光ＬＡを照射する。ＩＲ光ＬＡは本開示における第１の光の一例である。同様に、照射装置２０Ｂは、表示面ＳＳに沿って、表示面ＳＳからＹ軸方向に距離ＨＢだけ隔てた位置に扇状にＩＲ光ＬＢを照射する。ＩＲ光ＬＢは本開示における第２の光の一例である。

【0012】

図２及び図３に示されるように、ＩＲ光ＬＡにより形成されるライトカーテンと、ＩＲ光ＬＢにより形成されるライトカーテンとは、Ｚ軸方向から見たときに互いに一部が重なりあう。ＩＲ光ＬＡにより形成されるライトカーテンとＩＲ光ＬＢにより形成されるライトカーテンとの間のＺ軸方向の隙間は無いこと、即ち距離ＨＡと距離ＨＢとが等しいことが好ましい。しかし、照射装置２０Ａ及び照射装置２０Ｂの各々の初期設定等の相違により距離ＨＡと距離ＨＢとが一致しない場合がある。また、扇状のライトカーテンの端部には湾曲が発生し易く、この湾曲に起因して距離ＨＡと距離ＨＢとが一致しない場合もある。距離ＨＡと距離ＨＢとが一致しない場合、図３に示されるように、１つの指示体３０に対して輝点ＰＡと輝点ＰＢとの２つの輝点が発生する。１つの指示体３０に対して２つの輝点が発生する状況下において、ユーザーが指示体３０を用いて表示面ＳＳに対して線分を描く動作を行ったとする。この場合、従来のインタラクティブプロジェクターでは、図４に示されるように輝点ＰＡの軌跡に対応する線分ＴＡと輝点ＰＢの軌跡に対応する線分ＴＢとを表す描画画像を含む表示画像ＰＧＣが表示面ＳＳに表示されるという不具合が発生する。本実施形態におけるプロジェクター１０は、指示体３０の位置の検出に関する時間分解能を悪化させることなく、上記不具合の発生を回避できるように構成されている。プロジェクター１０は、本開示における表示装置の一例である。

【0013】

図５は、プロジェクター１０の構成例を示す図である。図５に示されるようにプロジェクター１０は、処理装置１１０、投射装置１２０、カメラ１３０、及び記憶装置１４０、を含む。プロジェクター１０は、処理装置１１０、投射装置１２０、カメラ１３０、及び記憶装置１４０の他に、画像供給装置と有線又は無線により通信するための通信回路、及びユーザーの各種入力操作を受け付けるキーボード等の入力装置を含む。しかし、通信装置、及び入力装置については、本開示との関連が薄いため、図５では図示が省略されている。

【0014】

処理装置１１０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサー、即ちコンピューターを含んで構成される。処理装置１１０は、単一のプロセッサーで構成されてもよいし、複数のプロセッサーで構成されてもよい。処理装置１１０は、記憶装置１４０に記憶されているプログラムＰＲＡに従って作動することにより、プロジェクター１０の制御中枢として機能する。

【0015】

投射装置１２０は、投射レンズ、液晶駆動部、液晶パネル、及び光源部、を含む。なお、図５では、投射レンズ、液晶駆動部、液晶パネル、及び光源部の図示は省略されている。液晶駆動部は、処理装置１１０から供給される画像データに従って液晶パネルを駆動することにより、この画像データの表す表示画像を液晶パネルに描画する。光源部は、例えば、ハロゲンランプ又はレーザーダイオードなどの光源を含む。光源部からの光は、液晶パネルにおいて画素毎に変調され、投射レンズを介して画像光として投射される。この画像光が表示面ＳＳに投射されることにより、表示面ＳＳに表示画像が表示される。なお、投射装置１２０は画像光を表示面ＳＳに投射できる構成であればよく、液晶駆動部、及び液晶パネルに代えて、デジタルミラーデバイス（ＤＭＤ）を備える構成であってもよい。

【0016】

カメラ１３０は、例えばＩＲカメラであり、表示面ＳＳの中心に光軸が向くように姿勢を調整済である。カメラ１３０は、例えば、レンズ等の光学系にて集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備え、ＩＲ光を受光するためのＩＲ光フィルターが取り付けられている。カメラ１３０は、処理装置１１０による制御の下、所定の周期で表示面ＳＳを含む所定範囲の画像を撮像する。カメラ１３０は、表示面ＳＳを含む所定範囲の画像を撮像する毎に、撮像した画像を表す画像データを処理装置１１０へ出力する。

【0017】

記憶装置１４０は、処理装置１１０が読み取り可能な記録媒体である。記憶装置１４０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。

【0018】

記憶装置１４０の不揮発性メモリーには、本開示の表示方法を処理装置１１０に実行させるプログラムＰＲＡが予め記憶されている。また、不揮発性メモリーには、カメラ１３０により撮像される撮像画像上の位置と、投射装置１２０により表示される表示画像上の位置とを相互に変換するための変換データが予め記憶されている。この変換データは、周知のキャリブレーションを行うことにより適宜生成され、不揮発性メモリーに記憶される。記憶装置１４０の揮発性メモリーは、プログラムＰＲＡを実行する際のワークエリアとして処理装置１１０によって利用される。

【0019】

処理装置１１０は、プロジェクター１０の電源投入を契機としてプログラムＰＲＡを不揮発性メモリーから揮発性メモリーへ読み出し、読み出したプログラムＰＲＡの実行を開始する。プログラムＰＲＡに従って作動している処理装置１１０は、図５に示される第１取得部１１０ａ、検出部１１０ｂ、第２取得部１１０ｃ、及び表示制御部１１０ｄとして機能する。図５に示される第１取得部１１０ａ、検出部１１０ｂ、第２取得部１１０ｃ、及び表示制御部１１０ｄは、プログラムＰＲＡに従って処理装置１１０を作動させることにより実現されるソフトウェアモジュールである。図５に示される第１取得部１１０ａ、検出部１１０ｂ、第２取得部１１０ｃ、及び表示制御部１１０ｄの各々が担う機能は次の通りである。

【0020】

第１取得部１１０ａは、カメラ１３０から出力される画像データを取得する。前述したように、本実施形態では、カメラ１３０によって、表示面ＳＳを含む所定範囲の画像が撮像される。つまり、第１取得部１１０ａは、表示面ＳＳを含む所定範囲の撮像画像を表す画像データを取得する。

【0021】

検出部１１０ｂは、第１取得部１１０ａにより取得された画像データを解析することにより、指示体３０によるライトカーテンの反射光に対応する輝点を、当該画像データの表す撮像画像から検出する。例えば、検出部１１０ｂは、撮像画像において、例えば３画素等の所定の個数以上の画素が属し、且つ各画素の輝度が所定値以上となっている領域を上記輝点に対応する領域として検出する。なお、輝点検出の安定性を高めるため、検出部１１０ｂは、指示体３０を近づけていない状態の表示面ＳＳを撮像して得られる背景画像を、上記撮像画像から除去した後に輝点の検出を行ってもよい。

【0022】

前述したように、本実施形態では、表示面ＳＳに沿って照射装置２０ＡからＩＲ光ＬＡが照射され、表示面ＳＳに沿って照射装置２０ＢからＩＲ光ＬＢが照射される。表示面ＳＳに対して何等かの筆記を行うためにユーザーが指示体３０を表示面に近づけると、指示体３０はＩＲ光ＬＡとＩＲ光ＬＢとの何れか一方、又は両方を横切る。指示体３０がＩＲ光ＬＡとＩＲ光ＬＢとの何れか一方を横切る場合、撮像画像には、指示体３０がＩＲ光を横切ることにより発生した反射光に対応する１つの輝点が写る。従って、指示体３０がＩＲ光ＬＡとＩＲ光ＬＢとの何れか一方を横切る場合、検出部１１０ｂは、ＩＲ光ＬＡ又はＩＲ光ＬＢの指示体３０による反射光に対応する１つの輝点を検出する。

【0023】

１つの指示体３０がＩＲ光ＬＡとＩＲ光ＬＢとを横切る場合、撮像画像には、指示体３０によるＩＲ光ＬＡの反射光に対応する輝点ＰＡと、指示体３０によるＩＲ光ＬＢの反射光に対応する輝点ＰＢとが写る。従って、１つの指示体３０がＩＲ光ＬＡとＩＲ光ＬＢとを横切る場合、検出部１１０ｂは、ＩＲ光ＬＡの指示体３０による反射光に対応する輝点ＰＡと、ＩＲ光ＬＢの指示体３０による反射光に対応する輝点ＰＢとを検出する。輝点ＰＡは本開示における第１の輝点の一例である。輝点ＰＢは本開示における第２の輝点の一例である。

【0024】

指示体３０がＩＲ光ＬＡのみを横切り、且つ指示体３０とは異なる他の指示体がＩＲ光ＬＢのみを横切る場合、又は指示体３０がＩＲ光ＬＢのみを横切り、且つ他の指示体がＩＲ光ＬＡのみを横切る場合も、撮像画像には２つの輝点が写る。これらの場合も、検出部１１０ｂは、２つの輝点を検出する。また、指示体３０がＩＲ光ＬＡ及びＩＲ光ＬＢの何れをも横切らず、且つ他の指示体もＩＲ光ＬＡ及びＩＲ光ＬＢの何れをも横切らない場合、撮像画像には輝点は写らない。この場合、検出部１１０ｂは、輝点を検出しない。

【0025】

第２取得部１１０ｃは、指示体３０を用いて描かれた描線を表す描画画像を表示面ＳＳに配置する際の配置位置を、検出部１１０ｂによる検出結果に基づいて取得する。配置位置は本開示における第３の位置の一例である。検出部１１０ｂにより輝点が検出されなかった場合、第２取得部１１０ｃは、配置位置を取得しない。検出部１１０ｂにより輝点が検出されなかったということは、指示体３０を用いた筆記が行われていないと考えられるからである。

【0026】

検出部１１０ｂにより輝点が１つ検出された場合、第２取得部１１０ｃは、撮像画像において当該輝点に対応する領域の輝度の重心位置を算出し、この重心位置を変換データを用いて表示画像上の位置に変換することで配置位置を取得する。輝度の重心位置とは、当該領域に属する画素の、Ｘ座標、及びＹ座標の各々の座標値を当該画素の輝度値を重みとして重み付け平均することにより求まる値である。

【0027】

検出部１１０ｂにより２つの輝点が検出された場合、第２取得部１１０ｃは、まず、２つの輝点の間の距離が閾値ｔｈ１未満であるか否かを判定する。閾値ｔｈ１は本開示における第１の閾値の一例である。そして、２つの輝点の間の距離が閾値ｔｈ１未満である場合には、第２取得部１１０ｃは、１つの指示体３０がＩＲ光ＬＡとＩＲ光ＬＢとを横切ることにより２つの輝点が発生したとみなし、撮像画像において当該２つの輝点を含む所定の領域の輝度の重心位置を算出し、この重心位置を変換データを用いて表示画像上の位置に変換することで配置位置を取得する。つまり、２つの輝点の間の距離が閾値ｔｈ１未満である場合、これら２つの輝点に対して１つの配置位置が取得される。

【0028】

２つの輝点の各々の位置に加えて輝度を加味して配置を決定する理由は次の通りである。指示体３０によりＩＲ光ＬＡが反射されることにより輝点ＰＡが撮像画像に写り、指示体３０によりＩＲ光ＬＢが反射されることにより輝点ＰＢが撮像画像に写る場合、表示画像ＰＧＡと重なる領域では輝点ＰＡが輝点ＰＢよりも明るくなることが多く、明るい方の輝点がより正確な位置を表すと考えられるからである。また、撮像画像において２つの輝点を含む所定の領域の具体例としては、２つの輝点を含む最小の円により囲われる領域が挙げられる。

【0029】

２つの輝点の間の距離が閾値ｔｈ１以上である場合、第２取得部１１０ｃは、指示体３０がＩＲ光ＬＡのみを横切り、且つ他の指示体がＩＲ光ＬＢのみを横切った、又は指示体３０がＩＲ光ＬＢのみを横切り、且つ他の指示体がＩＲ光ＬＡのみを横切ったとみなし、撮像画像に写っている輝点毎に輝度の重心位置を算出し、この重心位置を変換データを用いて表示画像上の位置に変換することで配置位置を取得する。つまり、２つの輝点の間の距離が閾値ｔｈ１以上である場合、これら２つの輝点に対して１つずつ、合計２つの配置位置が取得される。

【0030】

表示制御部１１０ｄは、第２取得部１１０ｃにより取得された配置位置に、指示体３０による描線を表す描画画像を配置した表示画像を表す画像データを生成し、投射装置１２０に与える。

【0031】

本実施形態では、図３に示されるように、１つの指示体３０がＩＲ光ＬＡとＩＲ光ＬＢとを横切ることにより、輝点ＰＡと輝点ＰＢとが撮像画像に写った場合、図６に示されるように、輝点ＰＡと輝点ＰＢに基づいて定まる１つの配置位置に描線ＴＣを表す描画画像を配置した表示画像ＰＧＤが表示面ＳＳに表示される。なお、図６では、輝点ＰＡの軌跡に対応する線分が点線で描画されており、輝点ＰＢの軌跡に対応する線分が一点鎖線で描画されているが、輝点ＰＡの軌跡に対応する線分及び輝点ＰＢの軌跡に対応する線分は実際には表示されない。従って、１つの指示体３０に対して２つの輝点が撮像されたとしても、ユーザーの描いた描線が二重に描画されるといった不具合は発生しない。なお、本願出願人は、距離ＨＢと距離ＨＡとの差が約２０ｍｍであっても、上記不具合が発生しないことを実験により確認した。

【0032】

また、プログラムＰＲＡに従って作動している処理装置１１０は、図７に示す表示方法を一定の周期で切り返し実行する。図７に示されるように、本実施形態の表示方法は、第１取得処理ＳＡ１１０、検出処理ＳＡ１２０、第２取得処理ＳＡ１３０、及び表示制御処理ＳＡ１４０を含む。

【0033】

第１取得処理ＳＡ１１０では、処理装置１１０は、第１取得部１１０ａとして機能する。第１取得処理ＳＡ１１０では、処理装置１１０は、表示面ＳＳを含む所定範囲の撮像画像を表す画像データを取得する。

【0034】

検出処理ＳＡ１２０では、処理装置１１０は、検出部１１０ｂとして機能する。検出処理ＳＡ１２０では、処理装置１１０は、第１取得処理ＳＡ１１０にて取得された画像データを解析することにより、指示体３０によるライトカーテンの反射光に対応する輝点を、当該画像データの表す撮像画像から検出する。

【0035】

第２取得処理ＳＡ１３０では、処理装置１１０は、第２取得部１１０ｃとして機能する。第２取得処理ＳＡ１３０では、処理装置１１０は、検出処理ＳＡ１２０にて検出された輝点に基づいて配置位置を取得する。図８は、第２取得処理ＳＡ１３０の処理内容を表すフローチャートである。図８に示されるように、第２取得処理ＳＡ１３０は、第１判定処理ＳＡ１３１０、第２判定処理ＳＡ１３２０、第３判定処理ＳＡ１３３０、第１位置算出処理ＳＡ１３４０、及び第２位置算出処理ＳＡ１３５０を含む。

【0036】

第１判定処理ＳＡ１３１０では、処理装置１１０は、検出処理ＳＡ１２０にて輝点が検出されたか否かを判定する。検出処理ＳＡ１２０にて輝点が検出されなかった場合、第１判定処理ＳＡ１３１０の判定結果は“Ｎｏ”、即ち否定となる。第１判定処理ＳＡ１３１０の判定結果が否定である場合、処理装置１１０は、第２判定処理ＳＡ１３２０以降の処理を実行することなく、第２取得処理ＳＡ１３０を終了する。この場合、配置位置は取得されない。検出処理ＳＡ１２０にて１個又は２個の輝点が検出された場合、第１判定処理ＳＡ１３１０の判定結果は“Ｙｅｓ”、即ち肯定となる。第１判定処理ＳＡ１３１０の判定結果が肯定である場合、処理装置１１０は、第２判定処理ＳＡ１３２０を実行する。

【0037】

第２判定処理ＳＡ１３２０では、処理装置１１０は、検出処理ＳＡ１２０にて検出された輝点の個数が１であるか否かを判定する。検出処理ＳＡ１２０にて検出された輝点の個数が１である場合、第２判定処理ＳＡ１３０の判定結果は“Ｙｅｓ”、即ち肯定となる。第２判定処理ＳＡ１３２０の判定結果が肯定である場合、処理装置１１０は、第１位置算出処理ＳＡ１３４０を実行し、第２取得処理ＳＡ１３０を終了する。検出処理ＳＡ１２０にて検出された輝点の個数が１ではない場合、第２判定処理ＳＡ１３０の判定結果は“Ｎｏ”、即ち否定となる。第２判定処理ＳＡ１３２０の判定結果が否定である場合、処理装置１１０は、第３判定処理ＳＡ１３３０を実行する。

【0038】

第３判定処理ＳＡ１３３０では、処理装置１１０は、検出処理ＳＡ１２０にて検出された２つの輝点の間の距離が閾値ｔｈ１未満であるか否かを判定する。前述したように、１つの指示体３０がＩＲ光ＬＡとＩＲ光ＬＢとを横切ることにより２つの輝点が発生した場合は、これら２つの輝点の間の距離は閾値ｔｈ１未満となり、第３判定処理ＳＡ１３３０の判定結果は“Ｙｅｓ”、即ち肯定となる。これに対して、ＩＲ光ＬＡを指示体３０が横切ることにより第１の輝点が発生し、ＩＲ光ＬＢを他の指示体が横切ることにより第２の輝点が発生している場合は、第１の輝点と第２の輝点との間の距離は閾値ｔｈ１以上となり、第３判定処理ＳＡ１３３０の判定結果は“Ｎｏ”、即ち否定となる。第３判定処理ＳＡ１３３０の判定結果が肯定である場合、処理装置１１０は第２位置算出処理ＳＡ１３５０を実行する。第３判定処理ＳＡ１３３０の判定結果が否定である場合、処理装置１１０は第１位置算出処理ＳＡ１３４０を実行する。

【0039】

第１位置算出処理ＳＡ１３４０では、処理装置１１０は、検出処理ＳＡ１２０にて検出された輝点毎に、輝度重心を算出することにより、描画画像の配置位置を取得する。従って、検出処理ＳＡ１２０にて検出された輝点の個数が１個である場合には、第１位置算出処理ＳＡ１３４０では配置位置が１つ取得される。これに対して、検出処理ＳＡ１２０にて検出された輝点の個数が２個である場合には、第１位置算出処理ＳＡ１３４０では配置位置が２つ取得される。

【0040】

第２位置算出処理ＳＡ１３５０では、処理装置１１０は、検出処理ＳＡ１２０にて検出された２つの輝点に基づいて１つの配置位置を取得する。具体的には、処理装置１１０は、撮像画像における２つの輝点を含む所定の領域における輝度の重心位置を算出し、この重心位置を変換データを用いて表示画像上の位置に変換することで１つの配置位置を取得する。

【0041】

表示制御処理ＳＡ１４０では、処理装置１１０は表示制御部１１０ｄとして機能する。表示制御処理ＳＡ１４０では、処理装置１１０は、配置位置が第２取得処理ＳＡ１３０にて取得された場合には、この配置位置に描画画像を含む表示画像を表す画像データを生成し、投射装置１２０に与える。配置位置が第２取得処理ＳＡ１３０にて取得されなかった場合には、処理装置１１０は、描画画像を含まない表示画像を表す画像データを生成し、投射装置１２０に与える。

【0042】

以上説明したように、本実施形態のプロジェクター１０によれば、カメラ１３０による撮像画像に２つの輝点が写っている場合であっても、２つの輝点の間の距離が閾値ｔｈ１未満であれば、２つの輝点に基づいて１つの配置位置が決定され、この配置位置に描線を表す画像が表示される。従って、１つの指示体３０に対して２つの輝点が撮像されたとしても、ユーザーの描いた描線が二重に描画されるといった不具合が発生することはない。加えて、本実施形態の表示システム１では、照射装置２０ＡによるＩＲ光ＬＡの照射タイミングと照射装置２０ＢによるＩＲ光ＬＢの照射タイミングとを異ならせる必要はなく、指示体３０の検出に関する時間分解能が特許文献１に開示の技術のように悪化することもない。

【0043】

２．変形
上記実施形態は、以下のように変形され得る。
（１）上記実施形態では、カメラ１３０により表示面ＳＳを撮像することで得られた撮像画像に２つの輝点が写り、２つの輝点との間の距離が閾値ｔｈ１未満である場合、２つの輝点を含む領域における輝度の重心位置に基づいて配置位置が取得された。しかし、配置位置は、撮像画像における２つの輝点に基づいて定まる位置であればよく、輝度に関する情報を用いず、２つの輝点の位置のみに基づいて配置位置が定められてもよい。例えば、配置位置は、輝点ＰＡの位置と輝点ＰＢの位置とを輝度とは無関係に定まる重みを用いて重み付け平均することにより定められる位置に基づいて取得されてもよい。この重み付け平均により配置位置を定める態様の具体例としては、撮像画像における輝点ＰＡを一方の端点とし、同撮像画像における輝点ＰＢを他方の端点する線分の中点の位置を、変換データを用いて変換することで配置位置とする態様が挙げられる。

【0044】

（２）プロジェクター１０Ａにおいて実行される第２位置算出処理ＳＡ１３５０では、プロジェクター１０Ａの処理装置１１０は、撮像画像の写っている２つの輝点の明るさの差が閾値ｔｈ２以上である場合、明るい方の輝点の位置に基づいて配置位置を取得してもよい。閾値ｔｈ２は本開示における第２の閾値の一例である。前述したように、指示体３０によりＩＲ光ＬＡが反射されることにより輝点ＰＡが撮像画像に写り、指示体３０によりＩＲ光ＬＢが反射されることにより輝点ＰＢが撮像画像に写る場合、表示画像ＰＧＡと重なる領域では輝点ＰＡが輝点ＰＢよりも明るくなることが多いからである。本態様によれば、輝点ＰＡと輝点ＰＢとを含む領域における輝度の重心位置に基づいて配置位置を取得する態様に比較して、重み付け平均の演算が不要になるため、配置位置を簡便に取得することができる。

【0045】

また、プロジェクター１０Ａのカメラ１３０により撮像される撮像画像では、指示体３０によるＩＲ光ＬＢの反射光に対応する輝点ＰＢの位置は、図９に示されるように、カメラ１３０の位置に対応する表示面ＳＳ上の基準位置Ｐ０と、指示体３０によるＩＲ光ＬＡの反射光に対応する輝点ＰＡの位置とを結ぶ直線上の位置となることが一般的である。輝点ＰＡの位置は本開示における第１の位置の一例である。輝点ＰＢの位置は本開示における第２の位置の一例である。なお、基準位置Ｐ０は、カメラ１３０を表示面ＳＳを含む平面に射影することにより定まる位置である。そこで、プロジェクター１０Ａにおいて実行される第２位置算出処理ＳＡ１３５０では、プロジェクター１０Ａの処理装置１１０は、撮像画像に写っている２つの輝点のうち基準位置Ｐ０に近い方の輝点の位置に基づいて配置位置を取得してもよい。本態様によっても、輝点ＰＡと輝点ＰＢとを含む領域における輝度の重心位置に基づいて配置位置を取得する態様に比較して、重み付け平均の演算が不要になるため、配置位置を簡便に取得することができる。

【0046】

（３）上記実施形態ではカメラ１３０がプロジェクター１０に含まれたが、カメラ１３０はプロジェクター１０に含まれず、カメラ１３０とプロジェクター１０とが別体であってもよい。上記実施形態は、プロジェクターへの本開示の適用例であったが、本開示の適用対象はプロジェクターには限定されず、フラットパネルディスプレイであってもよい。要は、表示面に対するユーザーの筆記動作に応じた画像を表示する表示装置であれば、本開示の適用が可能である。

【0047】

（４）上記実施形態における第１取得部１１０ａ、検出部１１０ｂ、第２取得部１１０ｃ、及び表示制御部１１０ｄはソフトウェアモジュールであった。しかし、第１取得部１１０ａ、検出部１１０ｂ、第２取得部１１０ｃ、及び表示制御部１１０ｄのうちの何れか一つ或いは複数、又は全部がＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアモジュールであってもよい。第１取得部１１０ａ、検出部１１０ｂ、第２取得部１１０ｃ、及び表示制御部１１０ｄのうちの何れか一つ或いは複数、又は全部がハードウェアモジュールであっても、上記実施形態と同じ効果が奏される。

【0048】

（５）プログラムＰＲＡは単体で製造されてもよく、有償又は無償で提供されてもよい。プログラムＰＲＡを提供する際の具体的な態様としては、フラッシュＲＯＭ等のコンピューター読み取り可能な記録媒体にプログラムＰＲＡを書き込んで提供する態様、又はインターネット等の電気通信回線経由のダウンロードによりプログラムＰＲＡを提供する態様が挙げられる。これらの態様により提供されるプログラムＰＲＡに従って一般的なコンピューターを作動させることで、当該コンピューターに本開示の表示方法を実行させることが可能になる。

【0049】

３．本開示のまとめ
本開示は、上述した実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
以下、本開示のまとめを付記する。

【0050】

（付記１）
本開示の一態様による表示方法は、カメラによって、表示面を含む範囲を撮像した撮像画像を取得することと、前記表示面に沿って照射される第１の光の反射光に対応する第１の輝点と前記表示面に沿って照射される第２の光の反射光に対応する第２の輝点とを前記撮像画像から検出することと、前記撮像画像における、前記第１の輝点と前記第２の輝点との間の距離が第１の閾値未満である場合に、前記第１の輝点と前記第２の輝点とに基づき決定される第３の位置を取得することと、前記表示面における前記第３の位置に、描画画像を含む表示画像を表示することと、を含む。

【0051】

（付記１）に記載の表示方法によれば、１つの指示体が第１の光と第２の光とを反射することにより第１の輝点と第２の輝点とが撮像画像に写ったとしても、第１の輝点と第２の輝点とに基づいて定まる第３の位置に１つの描画画像が表示され、第１の輝点に対応する描画画像と第２の輝点に対応する描画画像とが夫々別個に表示されることはない。このため、ユーザーが指示体を用いて描いた描線が二重に描画されるといった不具合が発生することはない。加えて、本実施形態の表示方法では、第１の光の照射タイミングと第２の光の照射タイミングとを異ならせる必要はなく、指示体の位置の検出に関する時間分解能が悪化することもない。

【0052】

（付記２）
前記第３の位置は、前記撮像画像において前記第１の輝点と前記第２の輝点とを含む領域における輝度の重心位置に対応する、（付記１）に記載の表示方法。

【0053】

（付記２）に記載の表示方法によれば、第１の輝点と第２の輝点とを含む領域における輝度の重心位置に対応する表示面上の位置に描画画像を表示することができる。

【0054】

（付記３）
前記第３の位置を取得することは、前記第１の輝点が前記第２の輝点より明るい場合、前記第１の輝点の位置に基づいて前記第３の位置を取得すること、を含む、（付記１）に記載の表示方法。

【0055】

（付記３）に記載に表示方法によれば、第１の輝点と第２の輝点とを含む領域における輝度の重心位置に基づいて第３の位置を取得する態様に比較して、第３の位置を簡便に取得することができる。

【0056】

（付記４）
前記第３の位置を取得することは、前記カメラに対応する前記表示面上の位置を基準位置とした場合に、前記第１の輝点に対応する前記表示面上の第１の位置の方が前記第２の輝点に対応する前記表示面上の第２の位置よりも前記基準位置に近い場合に、前記第１の輝点の位置に基づいて前記第３の位置を取得すること、を含む、（付記１）に記載の表示方法。

【0057】

（付記４）に記載の表示方法によれば、第１の輝点と第２の輝点とを含む領域における輝度の重心位置に基づいて第３の位置を取得する態様に比較して、第３の位置を簡便に取得することができる。

【0058】

（付記５）
本開示の一態様による表示システムは、表示面に画像を表示する表示装置と、前記表示面を含む範囲を撮像するカメラと、を含み、前記表示装置は、前記カメラによる撮像画像を取得することと、 前記表示面に沿って照射される第１の光の反射光に対応する第１の輝点と前記表示面に沿って照射される第２の光の反射光に対応する第２の輝点とを前記撮像画像から検出することと、前記撮像画像における、前記第１の輝点と前記第２の輝点との間の距離が第１の閾値未満である場合に、前記撮像画像における、前記第１の輝点と前記第２の輝点とに基づき決定される第３の位置を取得することと、前記表示面における前記第３の位置に、描画画像を含む表示画像を表示することと、を実行する。

【0059】

（付記５）に記載の表示システムによれば、（付記１）に記載の表示方法と同様に、指示体の位置の検出に関する時間分解能を悪化させることなく、ユーザーが指示体を用いて描いた描線が二重に描画されるといった不具合の発生を回避することができる。

【符号の説明】

【0060】

１…表示システム、１０，１０Ａ，１０Ｂ…プロジェクター、２０Ａ，２０Ｂ…照射装置、３０…指示体、１１０…処理装置、１１０ａ…第１取得部、１１０ｂ…検出部、１１０ｃ…第２取得部、１１０ｄ…表示制御部、１２０…投射装置、１３０…カメラ、１４０…記憶装置、ＰＲＡ…プログラム、ＳＳ…表示面。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】