特許 7421709 キャリブレーション機能付きのシステム、プログラム、及びキャリブレーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-01-17

(45)【発行日】2024-01-25

(54)【発明の名称】キャリブレーション機能付きのシステム、プログラム、及びキャリブレーション方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240118BHJP

   G09G 3/20 20060101ALI20240118BHJP

【ＦＩ】

G09G5/00 X

G09G3/20 670H

G09G5/00 510H

G09G5/00 550D

【請求項の数】 5

(21)【出願番号】P 2023163451

(22)【出願日】2023-09-26

【審査請求日】2023-09-26

【早期審査対象出願】

(73)【特許権者】

【識別番号】501041894

【氏名又は名称】チームラボ株式会社

(74)【代理人】

【識別番号】100116850

【弁理士】

【氏名又は名称】廣瀬 隆行

(74)【代理人】

【識別番号】100165847

【弁理士】

【氏名又は名称】関 大祐

(72)【発明者】

【氏名】窪田 ありさ

(72)【発明者】

【氏名】西田 大士朗

【審査官】西島 篤宏

(56)【参考文献】

【文献】国際公開第２０１９／１５９７６２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００９／０２８９９１４（ＵＳ，Ａ１）

【文献】国際公開第２０１３／１７９４２６（ＷＯ，Ａ１）

【文献】特開２０１０－１５２５７９（ＪＰ，Ａ）

【文献】特開平１１－２１２７１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ３／００－ ５／４２

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

表示装置と、前記表示装置の表示領域に重なるように検出領域が設定された一又は複数のセンサと、前記表示装置及びセンサに接続された制御装置とを備えるシステムであって、
前記制御装置は、
前記表示装置に、前記表示領域内の所定の表示位置にターゲットを表示させる表示制御部と、
前記ターゲットの表示中に前記センサが検出した検出位置と、当該ターゲットの表示位置とに基づいて、前記表示装置の表示位置と前記センサの検出位置を対応付ける対応付け部とを含み、
前記表示制御部は、
前記ターゲットとともに、前記ターゲットを含む範囲に前記ターゲットよりも大きい誘導エリアを表示し、
前記ターゲット上又はその近傍を収束点として、前記誘導エリアを当該収束点に向かって縮小させ、
前記センサによって検出される前記検出位置が停止した場合に、前記センサによる検出処理が終了するまでの残り時間に関する情報を前記ターゲットの近傍に表示する
システム。

【請求項2】

前記誘導エリアは、前記ターゲットを中心とした円であり、前記ターゲットとは外観上区別可能な態様で表示される
請求項１に記載のシステム。

【請求項3】

前記表示制御部は、前記センサによって検出される前記検出位置が停止し、前記センサによる検出処理が終了した後に、前記ターゲット及び前記誘導エリアの両方又はいずれか一方を、前記センサによる検出処理の実行中とは外観上区別可能な態様で表示する
請求項１又は請求項２に記載のシステム。

【請求項4】

コンピュータを、請求項１又は請求項２に記載のシステムにおける前記制御装置として機能させるためのプログラム。

【請求項5】

表示装置と、前記表示装置の表示領域に重なるように検出領域が設定された一又は複数のセンサと、前記表示装置及びセンサに接続された制御装置とを備えるシステムにおいて、前記表示装置の表示位置と前記センサの検出位置を対応付けるためのキャリブレーション方法であって、
前記制御装置が、前記表示装置に、前記表示領域内の所定の表示位置にターゲットを表示させる表示工程と、
前記制御装置が、前記ターゲットの表示中に前記センサが検出した検出位置と、当該ターゲットの表示位置とに基づいて、前記表示装置の表示位置と前記センサの検出位置を対応付ける補正工程とを含み、
前記表示工程は、
前記ターゲットとともに、前記ターゲットを含む範囲に前記ターゲットよりも大きい誘導エリアを表示する工程と、
前記ターゲット上又はその近傍を収束点として、前記誘導エリアを当該収束点に向かって縮小させる工程と、
前記センサによって検出される前記検出位置が停止した場合に、前記センサによる検出処理が終了するまでの残り時間に関する情報を前記ターゲットの近傍に表示する工程を含む
キャリブレーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置とその表示領域上のタッチ位置を検出するセンサとを備えるシステムにおいて、特に表示装置の表示座標系とセンサのセンサ座標系を対応付けたり、両座標系のズレを補正したりするためのキャリブレーション技術に関するものである。

【背景技術】

【0002】

従来から、ディスプレイやプロジェクタなどによる表示領域の付近に光学式の測域センサを配置し、そのセンサの検査領域を表示装置の表示領域と重なる調整しておき、ユーザが表示領域に接触したときに、その表示領域上の位置情報（座標等）を取得するシステムが知られている。このシステムによれば、例えば表示領域上の接触位置に所定のオブジェクト等を表示することができる（特許文献１等）。また、ユーザが表示装置によって表示されている映像作品にタッチすることで、その映像作品に何らかのリアクションが発生するといった双方向性のある映像表現の実現も可能である。

【0003】

ところで、表示装置の表示領域の付近のセンサを設置する際には、センサによる検出位置と表示装置の表示位置とを正確に対応付ける必要がある。センサによる検出位置と表示装置の表示位置にズレが生じていると、例えばユーザが接触した表示領域上の位置とは別の位置にリアクションが発生するといった不具合が生じることが懸念される。そこで、表示装置と側域センサを組み合わせたシステムを用いる場合、表示領域における所定の点の位置と、その点をタッチしたことによって検出される位置とを対応付けることで、表示装置における表示座標系とセンサにおけるセンサ座標系との間の座標変換を行うためのパラメータを算出するしょり、いわゆるキャリブレーション処理を行うことが知られている（特許文献２等）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２３－１２８８４３号公報

【文献】特開２０１２－０２７７６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、特許文献２に記載されたキャリブレーション処理では、表示領域の四隅を含む部位にターゲット（ポイント）を表示し、各ターゲットをユーザに手指やタッチペン等でタッチ（指示）させることとしている。特許文献２では一例として９箇所のターゲットを表示領域状に順次表示し、各ターゲットをユーザにタッチさせることとしているが、各ターゲットは小さい円形状の点で表示されていることから、順次表示されるターゲットをユーザが見つけにくいという課題がある。キャリブレーション処理中にユーザがターゲットを一つでも見落としてしまうと、座標変換のパラメータにエラーが発生し、正確にキャリブレーションを行うことができない。特に、ディスプレイやスクリーンを商業施設や展示施設などの壁面に設置するような場合には表示領域を大型とする必要がある。その場合、大型の表示領域の中からユーザがタッチすべきターゲットを見つけることがより困難になる。

【0006】

また、表示領域にターゲットを表示してユーザにタッチさせた後、そのユーザがタッチした位置をサンセで検出することになるが、ユーザがターゲットをタッチしている時間が短いと、センサによる検出処理が間に合わず、ユーザがタッチした位置を正確に検出できないという課題もある。このためユーザには一定時間以上ターゲットをタッチさせる必要があるが、処理完了までの時間がわからないと、ユーザはいつまでターゲットをタッチしていればよいのか理解できず、必要以上にターゲットをタッチし続けることもあり、このことがキャリブレーション処理をより困難なものにしている。特に、表示装置とセンサのキャリブレーションに慣れていない者にとってはこのような作業は煩雑に感じることが多い。

【0007】

そこで、本発明は、表示装置とセンサのキャリブレーション処理をより簡単に行えるようにすることを主な目的とする。

【課題を解決するための手段】

【0008】

本発明の第１の側面は、キャリブレーション機能を備えたシステムに関する。本発明に係るシステムは、表示装置と、一又は複数のセンサと、制御装置を備える。表示装置の表示領域は、液晶ディスプレイや有機ＥＬディスプレイといったディスプレイ装置によって形成されていてもよいし、スクリーン上に映像を投影するプロジェクタによって形成されていてもよい。また、表示装置は、例えば複数のディスプレイを繋げたもの（いわゆるマルチディスプレイ）であってもよい。一又は複数のセンサは、表示装置の表示領域に重なるように検出領域が設定されている。センサは、赤外線や側域センサ等の光学式センサであり、表示装置の表示領域に沿って検査光を射出している。なお、センサを複数設ける場合、各センサの検出領域が表示装置の表示領域に重なっていることが好ましいが、少なくとも各センサの検出領域を合わせた領域が表示装置の表示領域に重なっていればよい。制御装置は、これらの表示装置とセンサに対して有線又は無線で接続されたコンピュータである。この制御装置は、表示制御部と対応付け部（例えば座標変換部）を含む。表示制御部は、表示装置に、表示領域内の所定の表示位置にターゲットを表示させる。対応付け部は、ターゲットの表示中にセンサが検出した検出位置と、当該ターゲットの表示位置とに基づいて、表示装置の表示位置とセンサの検出位置を対応付ける。具体的には、対応付け部は、表示位置とセンサの検出位置を対応付けることで、表示装置における表示座標系とセンサにおけるセンサ座標系との間の座標変換を行うためのパラメータを算出する。ここで、本発明に係るシステムにおいて、表示制御部は、ターゲットとともに、このターゲットを含む範囲にターゲットよりも大きい誘導エリアを表示する。誘導エリアはターゲットを囲うように表示領域上に表示される。誘導エリアの形状は特に限定されず、円形、楕円形、三角形、四角形、五角形、その他多角形であってもよい。また、表示制御部は、ターゲット上又はその近傍を収束点として、誘導エリアを当該収束点に向かって縮小させる。つまり、誘導エリアはターゲットに向かって無段階的又は段階的に小さくなっていく。なお、誘導エリアは、収束点に向かって最終的に消失させる必要はなく、最小化された状態でもターゲットを囲っていると良い。誘導エリアの収束点がターゲットの近傍にある場合とは、具体的には誘導エリアが最小化した状態でもターゲットと重なっていることを意味する。

【0009】

上記構成のように、ユーザが手指やタッチペン等によってタッチ（指示）すべきターゲットの周囲に誘導エリアを表示しつつ、この誘導エリアをターゲットに向かって徐々に縮小させることで、ユーザにターゲットの位置を分かりやすく提示することができる。また、ユーザがターゲットを視認しやすくようにターゲット自体を大きく表示してしまうと、ターゲットと検出点の対応付けが正確に行えずキャリブレーション処理に支障が出るが、本発明のように、ターゲットの周りに大きな誘導エリアを表示することで、ターゲットの視認性を確保しつつ、ターゲット自体は小さな点に留めておくことができるため、キャリブレーション処理の精度を高めることが可能である。

【0010】

本発明に係るシステムにおいて、誘導エリアは、ターゲットを中心とした円（正円及び楕円を含む）であり、ターゲットとは外観上区別可能な態様で表示されることが好ましい。誘導エリアをターゲットを中心とした円形状とすることで、ユーザにターゲットの位置を直感的に理解させることができる。特に誘導エリアは正円であることが好ましい。なお、誘導エリアが楕円の場合、その中心は長軸と短軸の交点として定義できる。

【0011】

本発明に係るシステムにおいて、表示制御部は、センサによって検出される検出位置が停止した場合に、センサによる検出処理の進行状況に関する情報をターゲットの近傍に表示することが好ましい。このように、検出処理の進行状況に関する情報を表示領域に表示することで、ユーザがターゲットをタッチしている間、その検出処理が進行していることを理解しやすくなる。なお、ターゲットの近傍とは、具体的には、ユーザがターゲットをタッチしているときに、ターゲットと共にそのユーザの視界に入る範囲であればよい。つまり、ユーザがターゲットと検出処理の進行状況に関する情報を同時に視認できればよい。

【0012】

本発明に係るシステムにおいて、検出処理の進行状況に関する情報は、センサによる検出処理が終了するまでの残り時間に関する情報であることが好ましい。例えば、検出処理が終了するまでの残り時間をカウントダウンで表示すればよい。これにより、ユーザがどの程度の時間ターゲットをタッチし続ければよいかを容易に把握できるようになる。

【0013】

本発明に係るシステムにおいて、表示制御部は、センサによって検出される検出位置が停止し、かつ、センサによる検出処理が終了した後に、ターゲット及び誘導エリアの両方又はいずれか一方を、センサによる検出処理の実行中とは外観上区別可能な態様で表示することが好ましい。例えば、センサによる検出処理中の誘導エリアの色と、検出処理終了後の誘導エリアの色を異ならせればよい。これにより、ユーザは検出処理が完了したことを直感的に理解できるようになる。

【0014】

本発明の第２の側面は、コンピュータプログラムに関する。本発明に係るプログラムは、汎用的なコンピュータを、前述した第１の側面に係るシステムにおける制御装置として機能させる。本発明に係るプログラムは、インターネットによりダウンロード可能なものであってもよいし、ＣＤ－ＲＯＭ等の非一時的な記録媒体に格納されたものであってもよい。

【0015】

本発明の第３の側面は、キャリブレーション方法に関する。本発明に係るキャリブレーション方法は、表示装置と、この表示装置の表示領域に重なるように検出領域が設定された一又は複数のセンサと、この表示装置及びセンサに接続された制御装置とを備えるシステムによって実行される。キャリブレーションは、表示装置の表示位置とセンサの検出位置を対応付けるための処理である。キャリブレーション方法は、表示工程と補正工程を含む。表示工程は、制御装置が、表示装置に、表示領域内の所定の表示位置にターゲットを表示させる工程である。補正工程は、制御装置が、ターゲットの表示中にセンサが検出した検出位置と当該ターゲットの表示位置とに基づいて、表示装置の表示位置とセンサの検出位置を対応付ける工程である。ここで、表示工程は、まず、ターゲットとともに、ターゲットを含む範囲にターゲットよりも大きい誘導エリアを表示する。表示工程では、次に、ターゲット上又はその近傍を収束点として、誘導エリアを当該収束点に向かって縮小させる。

【発明の効果】

【0016】

本発明によれば、表示装置とセンサのキャリブレーション処理をより簡単に行うことができる。

【図面の簡単な説明】

【0017】

【図1】図１は、本発明に係るシステムの一実施形態を模式的に示した全体図である。

【図2】図２は、本発明に係るシステムの機能構成の例を示したブロック図である。

【図3】図３は、キャリブレーション処理の例を示したフロー図である。

【図4】図４は、センサの検出領域と表示装置の表示領域の関係性を模式的に示している。

【図5】図５は、センサのセンサ座標と表示装置の表示座標の関係性を模式的に示している。

【図6】図６は、検出点を補正する処理を模式的に示している。

【図7】図７は、表示装置によるオブジェクトの表示処理を模式的に示している。

【図8】図８は、ターゲットの表示処理の例を示したフロー図である。

【図9】図９は、ターゲットの周囲に誘導エリアを表示した状態の例を示している。

【図10】図１０は、ターゲットの周囲に進行状況を表示した状態の例を示している。

【発明を実施するための形態】

【0018】

以下、図面を用いて本発明を実施するための形態について説明する。本発明は、以下に説明する形態に限定されるものではなく、以下の形態から当業者が自明な範囲で適宜変更したものも含む。

【0019】

図１は、本発明に係るシステム１００の一実施形態を示している。図１に示されるように、本システム１００は、制御装置１０と、２つのセンサ２１，２２と、表示装置３０を備える。本システム１００では、例えば壁面に取り付けられた大型のディスプレイ３１を含む表示装置３０が設けられており、この表示装置３０に所定の映像コンテンツを表示させる。図１に示した実施形態では、表示装置３０は、ディスプレイ３１と、そのディスプレイ３１に出力する映像を生成する表示生成装置３２を含んで構成されている。また、ディスプレイ３１は複数のディスプレイ装置３１（ａ）～（ｆ）によって構成されている。また、本システム１００は、この表示装置３０の表示領域上においてユーザが手指やタッチペン等でタッチした位置をセンサ２１，２２によって検出し、その検出位置の情報を表示装置３０に表示する映像コンテンツ等に反映することができる。例えば、ユーザが表示領域をタッチすると、そのタッチした位置に所定のオブジェクトが表示されたり、そのタッチした位置の映像が変化する。

【0020】

制御装置１０は、本システム１００の全体的な制御を担う。具体的には、制御装置１０は、公知のバスやハブ等を介して表示装置３０及び各センサ２１，２２と接続されている。制御装置１０は、各センサ２１，２２からの検出情報が入力されるとともに、表示装置３０に映像コンテンツやオブジェクト等を表示させる制御を行う。制御装置１０は、汎用的なコンピュータによって実現することができる。なお、図１に示した例では、制御装置１０は、表示装置３０や各センサ２１，２２とともにローカルに設置されたコンピュータによって構成されているが、これに限らず、このローカルのコンピュータにインターネットを介して接続されたクラウドサーバが含まれていてもよい。すなわち、制御装置１０は、一台のコンピュータに限らず、複数台のコンピュータやサーバにその機能を分担して実現されるものであってもよい。

【0021】

センサ２１，２２は、表示装置３０の表示領域のうち、ユーザがタッチした位置を検出するためのものである。各センサ２１，２２は、例えば表示装置３０の表示領域の上方に設置され、この表示領域全体が検出領域となるようにその設置位置が調整されている。より具体的には、本実施形態に係るシステム１００は、第１センサ２１と第２センサ２２を備えており、この第１センサ２１は、表示装置３０の表示領域の左上方に設置され、第２センサ２２はこの表示領域の右上方に設置される。複数のセンサ２１，２２を設置することで、ユーザの手指やタッチペンの検出精度を高めることができる。例えば、複数のユーザが表示装置３０の表示領域に同時に接触している場合でも、複数のセンサ２１，２２を設けることでこれらの複数の接触位置を精度良く検出できる。

【0022】

また、センサ２１，２２は、測域センサ（エリアセンサ）であることが好ましい。測域センサは、検査光（レーザ）を出射するとともに、その検査光を走査することで被検査対象（ユーザの手指やタッチペン等）までの距離と角度を測定する二次元走査型の光測距センサである。測域センサにより検出された情報は、制御装置１０に伝達される。測域センサは、表示装置３０の表領域に沿って検査光を出射する。実空間における測域センサの位置座標が既知であれば、その測域センサから出射された光に触れた対象物までの距離と角度を測定することで、実空間における被検査対象の位置座標を検出することができる。なお、各センサ２１，２２としては、測域センサに限らず、公知の赤外線センサを用いることも可能である。

【0023】

表示装置３０は、制御装置１０による制御に基づいて映像コンテンツを表示する。図１に示した例では、表示装置３０は、ディスプレイ３１と表示生成装置３２によって構成されており、ディスプレイ３１は複数のディスプレイ装置３１（ａ）～３１（ｆ）をデイジーチェーン方式で接続することによって構成されている。この表示装置３０では、複数のディスプレイ装置３１（ａ）～３１（ｆ）によって一つの表示領域が構成されており、各ディスプレイ装置３１（ａ）～３１（ｆ）の境界を跨いで映像コンテンツを表示できる。各ディスプレイ装置３１（ａ）～３１（ｂ）としては、公知の液晶ディスプレイや有機ＥＬディスプレイを採用すればよい。なお、本実施形態では、６台のディスプレイ装置３１（ａ）～３１（ｆ）を用いることとしているが、ディスプレイ装置３１の台数はこれに限らず、２台～５台あるいは７台以上とすることもできるし、１台のディスプレイ装置３１のみを用いることとしてもよい。また、表示生成装置３２としては、ディスプレイ３１に対して映像を出力可能な公知のコンピュータを採用すればよい。

【0024】

図２は、本システム１００、特に制御装置１０の機能構成の一例を示している。図２に示されるように、制御装置１０は、主に処理部１１と記憶部１２を有する。処理部１１は、例えばプロセッサとメインメモリを含み、プロセッサはこのメインメモリに展開されているプログラムに従って所定の演算処理を実行する。また、このメインメモリは、プロセッサによる演算処理の途中経過や演算結果などを書き出したり又は読み込んだりする用途で用いられる。プロセッサとしてしては、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いればよい。また、メインメモリとしては、ＲＡＭやＤＲＡＭといった揮発性メモリを用いればよい。記憶部１２は、主に表示部３０に表示する映像コンテンツやオブジェクト等のデータを記憶している。処理部１１は、この記憶部１２から映像コンテンツ等を読み出し、読みだしたコンテンツを表示装置３０に出力させる。この記憶部１２としては、例えばＨＤＤ及びＳＤＤといった不揮発性メモリを用いればよい。なお、図示は省略するが、制御装置１０は、第１センサ２１や、第２センサ２２、表示装置３０との間で情報を送受信するための公知の入出力用のインタフェースを備えている。

【0025】

また、図２に示されるように、処理部１１は、表示制御部１１ａ、検出座標測定部１１ｂ、座標変換部（対応付け部に相当）１１ｃ、補正部１１ｄといった各機能ブロックを有している。これらの機能ブロックは、処理部１１が所定のプログラムを実行することにより得られる機能であり、実際にはプロセッサとメインメモリの協働によって実現される。特に、ここに示した機能ブロックは、各センサ２１，２２の検出位置と表示装置３０の表示位置を対応付けるキャリブレーション処理に関するものである。これらの機能ブロックの詳細については、図３に示すキャリブレーション処理のフローとともに説明する。

【0026】

図３に示されるように、キャリブレーション処理では、まず表示装置３０の表示領域に対する各センサ２１，２２の設置位置の確認が行われる（ステップＳ１）。具体的には、表示領域の四隅を含む位置にターゲットを表示し、各ターゲットをユーザにタッチさせ、そのタッチ位置を各センサ２１，２２で検出することで、各センサ２１，２２のセンサ座標系においてそのタッチ位置がどのような座標として検出されるかを確認する作業となる。このステップＳ１の概要を図４に示す。図４では、各センサ２１，２２の検出領域を半円で示している。図４に示されるように、表示装置３０の表示領域は、２つのセンサ２１，２２のそれぞれの検出領域と重なっている。言い換えると、２つのセンサ２１，２２の検出領域が重畳する範囲に、表示装置３０の表示領域が含まれることになる。このため、各センサ２１，２２はそれぞれ表示装置３０の表示領域の全域のタッチ位置を検出できる。まずは、このように各センサ２１，２２を設置することが必要となる。

【0027】

また、図４に示されるように、表示装置３０の表示領域は、２次元の表示座標系（ＸＹ座標系）で定義される。また、第１センサ２１のセンサ領域は、２次元のセンサ座標系（Ｕ_ＬＶ_Ｌ座標系）で定義され、第２センサ２２のセンサ領域も、２次元のセンサ座標系（Ｕ_ＲＶ_Ｒ座標系）で定義される。このように初期状態では、表示装置３０、第１センサ２１、及び第２センサ２２は、それぞれ独立した座標系を持つこととなる。

【0028】

ステップＳ１では、表示装置３０の表示領域の四隅に順番にターゲットＴを表示し、各ターゲットＴをユーザにタッチさせる。このとき、表示装置３０の表示制御部１１ａは、表示装置３０を制御して、表示領域の四隅の座標Ｐ１（Ｘ，Ｙ）～Ｐ４（Ｘ，Ｙ）にターゲットＴを表示させればよい。なお、本発明は、このターゲットＴを表示する際のユーザインタフェースを特徴の一つとするものであるが、その詳細については後述する。

【0029】

表示装置３０の表示領域の四隅に表示されたターゲットＴをユーザがタッチすると、各センサ２１，２２は、それぞれ、ユーザのタッチ位置を検出する。前述した通り、第１センサ２１と第２センサ２２はそれぞれ個別の座標系を持つため、第１センサ２１によっては、第１センサ座標系Ｕ_Ｌ，Ｖ_Ｌで定義される座標Ｐ１（Ｕ_Ｌ，Ｖ_Ｌ）～Ｐ４（Ｕ_Ｌ，Ｖ_Ｌ）が検出され、第２センサ２２によっては、第２センサ座標系Ｕ_Ｒ，Ｖ_Ｒで定義される座標Ｐ１（Ｕ_Ｒ，Ｖ_Ｒ）～Ｐ４（Ｕ_Ｒ，Ｖ_Ｒ）が検出されることとなる。なお、各センサ２１，２２による検出信号に基づいて、各座標系の座標値を求める演算処理は、制御装置１０の処理部１１、具体的には検出座標測定部１１ｂによって行われる。つまり、各センサ２１，２２の検出信号が制御装置１０に入力されると、検出座標測定部１１ｂがこの検出信号に基づいて各座標系の座標系を測定する。

【0030】

次に、キャリブレーション処理では、各センサ２１，２２が検出した座標値を座標変換して、各センサ２１，２２の座標系を統合したセンサ座標系Ｕ，Ｖにおける座標値を求める（ステップＳ２）。この座標変換は、制御装置１０の処理部１１、具体的には座標変換部１１ｃによって行われる。このステップＳ２の概要を図５に示す。つまり、各センサ２１，２２が検出した座標値が別々の座標系で定義されたままであると、その後の演算処理で扱いづらいため、各センサ２１，２２が検出した座標値と同じ座標系で表す必要がある。具体的には、図５に示した例では、新たにセンサ座標系Ｕ，Ｖを設けており、座標変換部１１ｃは、第１センサ２１が検出した第１センサ座標系Ｕ_Ｌ，Ｖ_Ｌの座標Ｐ１（Ｕ_Ｌ，Ｖ_Ｌ）～Ｐ４（Ｕ_Ｌ，Ｖ_Ｌ）をセンサ座標系Ｕ，Ｖの座標値に座標変換する。同様に、座標変換部１１ｃは、第２センサ２２が検出した第２センサ座標系Ｕ_Ｒ，Ｖ_Ｒの座標Ｐ１（Ｕ_Ｒ，Ｖ_Ｒ）～Ｐ４（Ｕ_Ｒ，Ｖ_Ｒ）をセンサ座標系Ｕ，Ｖの座標値に座標変換する。これにより、第１センサ２１が検出した座標値（Ｕ_Ｌ，Ｖ_Ｌ）をセンサ座標系の座標値（Ｕ，Ｖ）で表すためのパラメータと、同じく、第２センサ２２が検出した座標値（Ｕ_Ｌ，Ｖ_Ｌ）をセンサ座標系の座標値（Ｕ，Ｖ）で表すためのパラメータが求められる。以降は、座標変換部１１ｃは、このパラメータを用いれば、第１センサ座標系の座標値（Ｕ_Ｌ，Ｖ_Ｌ）と第２センサ座標系の座標値（Ｕ_Ｒ，Ｖ_Ｒ）を、それぞれセンサ座標系の座標値（Ｕ，Ｖ）に変換できる。なお、図５に示した例では、新たなセンサ座標系Ｕ，Ｖを設定しているが、これに限らず、第１センサ座標系Ｕ_Ｌ，Ｖ_Ｌと第２センサ座標系Ｕ_Ｒ，Ｖ_Ｒのどちらか一方を活かし、どちらか一方の座標値を他方の座標値に変換することとしてもよい。

【0031】

このようにして、座標変換部１１ｃは、表示装置３０の表示領域の四隅の座標Ｐ１（Ｘ，Ｙ）～Ｐ４（Ｘ，Ｙ）に対応する各センサ２１，２２の検出点を、センサ座標系の座標Ｐ１（Ｕ，Ｖ）～座標Ｐ４（Ｕ，Ｖ）で表す。また、座標変換部１１ｃは、表示座標系の四隅の座標Ｐ１（Ｘ，Ｙ）～Ｐ４（Ｘ，Ｙ）とセンサ座標系の座標Ｐ１（Ｕ，Ｖ）～座標Ｐ４（Ｕ，Ｖ）に基づいて、表示座標系の座標値（Ｘ，Ｙ）をセンサ座標系の座標値（Ｕ，Ｖ）に座標変換するためのパラメータを求める。これにより、表示装置３０の表示座標系における座標値（Ｘ，Ｙ）と各センサ２２，２２のセンサ座標系における座標値（Ｕ，Ｖ）とが対応付けられる。また、図５においては、センサ座標系Ｕ，Ｖにおいて、四隅の座標Ｐ１～Ｐ４で囲われた矩形の領域（点線）が、インタラクション領域となる。このインタラクション領域は、表示装置３０の表示領域に対応している。つまり、各センサ２１，２２が、このインタラクション領域内でユーザがタッチしたことを検出したときに、制御装置１０は、ユーザが表示装置３０の表示領域をタッチした位置に例えば映像コンテンツ等を表示させることができる。なお、図５等に示した例では、表示領域の四隅にのみターゲットＴを表示してユーザにタッチさせることとしているが、これに限らず、表示領域の四隅に加えて、表示領域の外縁に沿った他の複数の位置にターゲットを表示してユーザタッチさせることにより、インタラクション領域を画定することとしてもよい。ターゲットの表示数が多いほど、より正確にインタラクション領域を画定できる。

【0032】

次に、キャリブレーション処理では、各センサ２１，２２による検出点の補正を行う（ステップＳ３）。この補正処理は、制御装置１０の処理部１１、具体的には補正部１１ｄによって行われる。このステップＳ５の概要を図６に示す。図６に示されるように、制御装置１０の表示制御部１１ａは、表示装置３０を制御して、表示領域（インタラクション領域）内の任意の位置Ｐ５にターゲットＴを表示させて、ユーザにそのターゲットＴをタッチさせる。このとき、座標変換部１１ｃは、表示座標系Ｘ，Ｙにおける任意位置Ｐ５の座標Ｐ５（Ｘ，Ｙ）を座標変換して、センサ座標系Ｕ，Ｖにおける理論的な座標Ｐ５（Ｕ，Ｖ）を求めておく。また、ユーザに任意位置Ｐ５のターゲットＴをタッチすると、各センサ２１，２２は、その任意位置Ｐ５のターゲットＴをユーザがタッチしたことを検出する。このとき、図６に示されるように、各センサ２１，２２によって実際に検出された任意位置Ｐ５の座標Ｐ５´（Ｕ，Ｖ）が、先に求めた理論的な座標Ｐ５（Ｕ，Ｖ）からずれていることがある。その場合、制御装置１０の補正部１１ｄは、実際に検出された座標Ｐ５´（Ｕ，Ｖ）が理論的な座標Ｐ５（Ｕ，Ｖ）と一致するように、センサ座標系Ｕ，Ｖにおけるグリッドを修正して、局所的に位置を補正する（ワーピング処理）。具体的には、補正部１１ｄは、実際に検出された座標Ｐ５´（Ｕ，Ｖ）と理論的な座標Ｐ５（Ｕ，Ｖ）のずれ量に応じて、座標変換部１１ｃがステップＳ２で求めた表示座標系の座標値（Ｘ，Ｙ）をセンサ座標系の座標値（Ｕ，Ｖ）に座標変換するためのパラメータを補正すればよい。また、この補正処理（ステップＳ３）では、任意位置Ｐ５以外にも、複数の任意位置について同様の処理が繰り返し行われる。これにより、座標変換用のパラメータが最適化される。

【0033】

最後に、キャリブレーション処理では、キャリブレーション済みの各センサ２１，２２及び表示装置３０の動作確認を行う（ステップＳ４）。このステップＳ４の概要を図７に示す。例えば、図７に示されるように、ユーザが表示装置３０の表示領域のうち、所望の位置をタッチする。すると、各センサ２１，２２がユーザのタッチ位置を検出する。また、制御装置１０の座標変換部１１ｃは、センサ座標系における検出座標（Ｕ，Ｖ）を表示座標系における座標（Ｘ，Ｙ）に変換する。そして、制御装置１０の表示制御部１１ａは、表示装置３０を制御して、ここで求めた表示座標系における座標（Ｘ，Ｙ）に、所定のオブジェクト（映像コンテンツ）を表示させる。このとき、実世界において、ユーザが表示装置３０をタッチした位置とオブジェクトが表示される位置が目視において一致していれば、キャリブレーションが完了したと確認できる。すなわち、この場合には、センサ座標系における座標（Ｕ，Ｖ）と表示座標系における座標（Ｘ，Ｙ）が一致していることになる。なお、ユーザが表示装置３０をタッチした位置とオブジェクトが表示される位置にずれがある場合には、キャリブレーション処理をステップＳ１からやり直してもよいし、ずれ量が微小であればステップＳ３を追加で行うこととしてもよい。

【0034】

続いて、図８から図１０を参照して、表示装置３０の表示領域にターゲットＴを表示する際のユーザインタフェース（ＵＩ）について詳しく説明する。ここで説明するユーザインタフェースは、前述したキャリブレーション処理において、ステップＳ１で表示領域の四隅を含む箇所にターゲットＴを表示する場合や、ステップＳ３において表示領域内の任意位置にターゲットＴを表示する場合に適用することができる。図９及び図１０に示した例では、ユーザインタフェースを分かりやすく示すために、表示領域の隅ではない位置にターゲットＴを表示しているが、前述したステップＳ１では、このターゲットＴは表示領域の隅に表示されることになる。

【0035】

図８のステップＳ５及び図９（ａ）に示されるように、まず、制御装置１０の表示制御部１１ａは、表示装置３０の表示領域の所定位置に、ターゲットＴと誘導エリアＧを表示する。誘導エリアＧは、ユーザの視線をターゲットＴに誘導して、表示領域上におけるターゲットＴの位置をユーザに分かりやすく提示することを目的としたものである。まず、ターゲットＴは、表示座標系及びセンサ座標系の座標値を一意に特定できる程度の大きさの点で表示される。ターゲットＴの形状は特に限定されないが、円形、三角形、四角形、その他多角形、バツ印などが例として挙げられる。ターゲットＴの大きさは、直径５～３０ｍｍであることが好ましく、５～１５ｍｍであることが特に好ましい。

【0036】

また、誘導エリアＧは、ターゲットＴと重なっており、かつ、ターゲットＴよりも大きい範囲に表示される。特に、誘導エリアＧは、その中心がターゲットＴの中心と重なるように表示されることが好ましい。誘導エリアＧの形状は、図８に示したように円形、特に正円形であることが好ましいが、ユーザの視線誘導の効果を果たすものであれば、楕円形や三角形、四角形、その多角形などとすることもできる。誘導エリアＧが最初に表示される面積（範囲）は、表示領域の面積を１００％としたときに、２０～９０％以上であることが好ましく、３０～８５％又は４０～８０％とすることが特に好ましい。また、誘導エリアＧは、ターゲットＴとは外観上区別可能な態様で表示されると良い。例えば、ターゲットＴと誘導エリアＧの色を分けて表示すると効果的である。特に、誘導エリアＧの色は、ターゲットＴと重なっている場合でも、ターゲットＴが目立つような色に設定しておくとよい。

【0037】

次に、図８のステップＳ６及び図９（ｂ）に示されるように、表示制御部１１ａは、ターゲットＴの位置や大きさは固定したまま、誘導エリアＧのサイズを徐々に縮小させる。このとき、誘導エリアＧの収束点は、ターゲットＴと一致していることが好ましい。収束点とは、誘導エリアＧの縮小中に誘導エリアＧの外縁のすべてベクトルが交差する交点であり、誘導エリアＧを無制限に縮小させると、その誘導エリアＧが最終的に消失する点を意味する。このように、誘導エリアＧをターゲットＴ（収束点）に向かって縮小させることで、ユーザの視線をターゲットＴへと誘導させる効果がより強くなる。

【0038】

次に、図８のステップＳ７及び図９（ｃ）に示されるように、表示制御部１１ａは、各センサ２１，２２によるユーザのタッチ位置の検出点Ｓが停止したか否かを判断する。ユーザのタッチ位置の検出点Ｓが停止した場合には、ユーザは誘導エリアＧの視線誘導を参考にしてターゲットＴをタッチしていると推察されるため、次のステップへと進む。一方、検出点Ｓが停止するまではこの判断処理を繰り返す。なお、検出点Ｓが停止したか否かは、所定時間（０．５～１秒程度）以上、検出点Ｓが停止したかどうかで判断すればよい。また、誘導エリアＧのサイズは、図９（ｃ）に示したように最小化された場合でも、ターゲットＴよりも大きいことが好ましい。誘導エリアＧが消失するとユーザはターゲットＴを見落とす恐れがあるため、誘導エリアＧが消失する前にその縮小を停止させて、誘導エリアＧがターゲットＴよりも一回り大きい状態を維持することが好ましい。

【0039】

検出点Ｓが停止した場合、図８のステップＳ８及び図１０（ａ）に示されるように、表示制御部１１ａは、表示装置３０の表示領域に、検出処理の進行状況に関する情報（進行情報）を表示する。この進行情報は、ターゲットＴをタッチしているユーザが、ターゲットＴとともに視認可能な範囲内に表示される。例えば、進行情報のうちターゲットＴに最も近い部分からターゲットＴまでの距離は、５００ｍｍ以内であることが好ましく、５０～２００ｍｍ以内であることが特に好ましい。図１０（ａ）に示した例において、この進行情報には、検出処理終了までの残り時間と、第１センサ２１の検出処理の進行度（０～１００％）と、第２センサ２２の検出処理の進行度（０～１００％）が含まれる。このため、ユーザは、残り時間が０になるまで、ターゲットＴをタッチし続ければよいことがわかる。また、図１０（ｂ）に示される様に、検出処理の残り時間が０になると、各センサ２１，２２の進行度は１００％になる。図８のステップＳ９に示されるように、この進行情報の表示処理は、各センサ２１，２２による検出処理が完了するまで継続する。

【0040】

検出処理が完了した場合、図８のステップＳ１０及び図１０（ｃ）に示されるように、表示制御部１１ａは、表示装置３０の表示領域に、検出処理が完了したことに関する情報（完了情報）を表示する。この完了情報のうちの一つとして、表示制御部１１ａは、センサ２１，２２による検出処理が完了した後に、誘導エリアＧを、検出処理の実行中とは外観上区別可能な態様で表示するとよい。図１０（ｃ）に示した例では、検出処理が完了した後に、誘導エリアＧの色を変化させることとしている。なお、誘導エリアＧの色を変化させることに加えて、ターゲットＴの色を変化させることとしてもよい。これにより、ターゲットＴをタッチしているユーザは、検出処理が完了したことを直感的に理解できる。なお、図１０（ｃ）に示されるように、誘導エリアＧの色を変化させることに加えて、表示装置３０の表示領域に、検出処理が完了したことをユーザに伝える文字情報（例えばＣｏｍｐｌｅｔｅ等）を表示することとしてもよい。

【0041】

図８に示されるように、ステップＳ５からＳ１０までの処理を、すべてのターゲットＴについて行う。例えば、表示領域の四隅にターゲットＴを表示してユーザに各ターゲットＴを表示させる必要がある場合には、ステップＳ５からＳ１０までの処理が、各ターゲットＴについて一つずつ順番に行われることとなる。これにより、ユーザは、表示領域に表示されるターゲットＴを見落としにくくなる。その結果、表示装置３０に表示させるターゲットＴを、ユーザが見落とすことなく順番にタッチできるようになるため、キャリブレーション処理の精度を高めることができる。

【0042】

以上、本願明細書では、本発明の内容を表現するために、図面を参照しながら本発明の実施形態の説明を行った。ただし、本発明は、上記実施形態に限定されるものではなく、本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

【符号の説明】

【0043】

１０…制御装置 １１…処理部
１１ａ…表示制御部 １１ｂ…検出座標測定部
１１ｃ…座標変換部 １１ｄ…補正部
１２…記憶部 ２１…第１センサ
２２…第２センサ ３０…表示装置
３１…ディスプレイ ３２…表示生成装置
１００…システム Ｇ…誘導エリア
Ｓ…検出点 Ｔ…ターゲット

【要約】

【課題】表示装置とセンサのキャリブレーション処理をより簡単に行えるようにする。
【解決手段】システムは、表示装置と、この表示装置の表示領域に重なるように検出領域が設定された一又は複数のセンサと、表示装置及びセンサに接続された制御装置を備える。制御装置は、表示領域内の所定の表示位置にターゲットＴを表示させる表示制御部と、ターゲットＴの表示中にセンサが検出した検出位置と当該ターゲットＴの表示位置とに基づいて表示装置の表示位置とセンサの検出位置を対応付ける対応付け部を含む。表示制御部は、ターゲットＴとともに、ターゲットＴを含む範囲にターゲットＴよりも大きい誘導エリアＧを表示し、ターゲットＴ上又はその近傍を収束点として誘導エリアＧを当該収束点に向かって縮小させる。
【選択図】図９

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】