知財求人 - 知財ポータルサイト「IP Force」
特表2021-524120ディスプレイ検出装置、そのための方法、およびコンピュータ読み取り可能媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2021-524120(P2021-524120A)
(43)【公表日】2021年9月9日
(54)【発明の名称】ディスプレイ検出装置、そのための方法、およびコンピュータ読み取り可能媒体
(51)【国際特許分類】
G06F 3/0354 20130101AFI20210813BHJP
G06T 7/70 20170101ALI20210813BHJP
【ＦＩ】
G06F3/0354 451
G06T7/70
【審査請求】未請求
【予備審査請求】未請求
【全頁数】31
(21)【出願番号】特願2021-514491(P2021-514491)
(86)(22)【出願日】2019年5月13日
(85)【翻訳文提出日】2020年12月18日
(86)【国際出願番号】GB2019051303
(87)【国際公開番号】WO2019220086
(87)【国際公開日】20191121
(31)【優先権主張番号】1807749.5
(32)【優先日】2018年5月13日
(33)【優先権主張国】GB
(31)【優先権主張番号】1815961.6
(32)【優先日】2018年10月1日
(33)【優先権主張国】GB
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】520445794
【氏名又は名称】シンデン・テクノロジー・リミテッド
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100173565
【弁理士】
【氏名又は名称】末松 亮太
(72)【発明者】
【氏名】シンデン，アンドリュー・ジェームス
【テーマコード（参考）】
5B087
5L096
【Ｆターム（参考）】
5B087AA09
5B087AB02
5B087AB14
5B087BC32
5B087CC33
5B087DD06
5B087DE07
5B087DG02
5L096AA01
5L096AA06
5L096BA08
5L096CA02
5L096DA04
5L096EA26
5L096FA06
5L096FA67
5L096FA69
5L096FA76
5L096GA13
5L096HA08
5L096JA18
(57)【要約】
ディスプレイを検出する方法を提供する。この方法は、画像検出手段から画像信号を受け取るステップと、画像プロセッサによって、受け取った画像信号がディスプレイの少なくとも一部分の画像を含むことを検出するステップと、画像プロセッサによって、受け取った画像信号の内、ディスプレイの輪郭の少なくとも一部を定める画素座標のアレイを判定するステップと、画素座標のアレイおよび受け取った画像信号の少なくとも１つの中心画素に基づいて、ディスプレイに対する画像検出手段の方位を計算するステップとを含む。また、ディスプレイ検出装置も提供する。この装置は、本発明の方法を実行するように構成され、画像検出手段と、ディスプレイと有線またはワイヤレス通信するように構成された画像プロセッサとを備える。【選択図】図１
【特許請求の範囲】
【請求項1】
ディスプレイを検出する方法であって、
画像検出手段から画像信号を受け取るステップと、
画像プロセッサによって、受け取った画像信号がディスプレイの少なくとも一部分の画像を含むことを検出するステップと、
画像プロセッサによって、前記受け取った画像信号から、前記ディスプレイの輪郭の少なくとも一部を定める画素座標のアレイを判定するステップと、
前記画素座標のアレイおよび前記受け取った画像信号の少なくとも１つの中心画素に基づいて、前記ディスプレイに対する前記画像検出手段の方位を計算するステップと、
を含む、方法。
画像検出手段から画像信号を受け取るステップと、
画像プロセッサによって、受け取った画像信号がディスプレイの少なくとも一部分の画像を含むことを検出するステップと、
画像プロセッサによって、前記受け取った画像信号から、前記ディスプレイの輪郭の少なくとも一部を定める画素座標のアレイを判定するステップと、
前記画素座標のアレイおよび前記受け取った画像信号の少なくとも１つの中心画素に基づいて、前記ディスプレイに対する前記画像検出手段の方位を計算するステップと、
を含む、方法。
【請求項2】
請求項１記載の方法において、更に、前記画像検出手段の方位の計算に応答して、前記ディスプレイに対する前記画像検出手段の照準線を、前記ディスプレイと通信するプロセッサに伝達するステップを含む、方法。
【請求項3】
請求項２記載の方法において、前記ディスプレイと通信する前記プロセッサが、前記受け取った照準線に基づいて、前記ディスプレイの表示コンテンツ・エリア上にインディケータを位置付けるように構成される、方法。
【請求項4】
前出の請求項のいずれか１項記載の方法であって、更に、前記画像プロセッサによる認識の改善のために、前記ディスプレイの表示コンテンツ・エリアのコンテンツを調節するステップを含む、方法。
【請求項5】
請求項４記載の方法において、前記コンテンツを調節するステップが、前記表示コンテンツ・エリアにアーチファクトを適用するステップを含み、更に随意に、前記アーチファクトが境界または部分的境界である、方法。
【請求項6】
請求項４または５記載の方法において、前記コンテンツを調節するステップが、背景および／または前景を前記表示コンテンツ・エリアの少なくとも一部分に追加するステップを含み、更に随意に、前記背景および／または前景が部分的に透過性である、方法。
【請求項7】
請求項４〜６のいずれか１項記載の方法において、前記コンテンツを調節するステップが、色および／または明度調節を前記表示コンテンツ・エリアの全体に適用するステップを含む、方法。
【請求項8】
請求項４〜６のいずれか１項記載の方法において、前記コンテンツを調節するステップが、色および／または明度調節を、前記表示コンテンツ・エリアの一部のみに適用するステップを含む、方法。
【請求項9】
請求項８記載の方法において、前記色および明度調節が、適用される部分における１つ以上の画素の値に基づいて、前記ディスプレイの部分に適用される、方法。
【請求項10】
前出の請求項のいずれか１項記載の方法において、前記画像検出手段が、前記画像検出手段に入射する光の偏光を検出するように構成され、前記画像プロセッサが、少なくとも部分的に前記検出された偏光に基づいて、前記ディスプレイを検出するように構成される、方法。
【請求項11】
前出の請求項のいずれか１項記載の方法において、前記画素座標のアレイを判定するステップが、少なくとも部分的に、前記ディスプレイの輪郭外形(outline profile)の予測形状に基づく、方法。
【請求項12】
請求項１１記載の方法において、前記予測輪郭外形の形状が、正方形もしくは矩形および／または四辺形外形である、方法。
【請求項13】
前出の請求項のいずれか１項記載の方法において、前記画素座標のアレイを判定するステップが、少なくとも部分的に、背景に対する前記ディスプレイの明度に基づく、方法。
【請求項14】
前出の請求項のいずれか１項記載の方法であって、更に、前記画素座標のアレイに基づいて、前記画像キャプチャ手段と前記ディスプレイとの間の距離を計算するステップを含み、更に随意に、前記方法が、更に、前記画像キャプチャ手段と前記ディスプレイとの間の距離の変化を検出し、前記距離の変化に基づいて、前記ディスプレイのコンテンツを調節するステップを含む、方法。
【請求項15】
前出の請求項のいずれか１項記載の方法であって、更に、前記画素座標のアレイに基づいて、前記画像キャプチャ手段と前記ディスプレイとの間の相対角度を計算するステップを含み、更に随意に、前記方法が、更に、前記画像キャプチャ手段と前記ディスプレイとの間の相対角度の変化を検出し、前記角度の変化に基づいて、前記ディスプレイのコンテンツを調節するステップを含む、方法。
【請求項16】
前出の請求項のいずれか１項記載の方法において、受け取った画像信号が前記ディスプレイの少なくとも一部分の画像を含むことを検出するステップが、検出された１つ以上のパラメータに基づいて、前記画像を分析するステップを含み、前記パラメータが、前記ディスプレイの外郭サイズ、位置、輝度、色、ちらつき、リフレッシュ・レート、光周波数、明度、速度、形状、輪郭、エッジ、角度、コントラスト、偏光(light polarisation)、および／またはサイズを含むことができる、方法。
【請求項17】
前出の請求項のいずれか１項記載の方法を実行するように構成された、ディスプレイ検出装置であって、画像検出手段と、ディスプレイと有線またはワイヤレス通信するように構成された画像プロセッサとを備える、装置。
【請求項18】
請求項１７記載の装置であって、更に、前記画像検出手段に対して固定方位になるように構成されたポインティング・デバイス、および／または有線もしくはワイヤレス通信するように構成されたトリガ入力とを備える、装置。
【請求項19】
請求項１７または１８記載の装置において、前記制御デバイスが、前記ディスプレイと通信してライトガンの機能を提供するように構成される、装置。
【請求項20】
命令を含むコンピュータ読み取り可能媒体であって、プロセッサによって命令が実行されると、前記プロセッサに、請求項１〜１６のいずれか１項記載の方法を実行させる、コンピュータ読み取り可能記媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディスプレイ検出方法およびこの方法を実行する装置の改善、またはこれらに関する改善に関し、この装置は、制御デバイスを備える。更に特定すると、本発明は、見通し線制御デバイスをコントローラとして使用して、ディスプレイ・デバイスを検出する方法、および見通し線制御デバイスを備え、ディスプレイ・デバイスに対するその照準(alignment)を検出することにより、この方法を実行する装置に関する。加えて、本発明は、表示画面を検出する見通し線制御デバイスに関する。
【従来技術】
【0002】
表示画面上の物体と対話処理するために使用することができるコントローラがあることは一般に知られている。ユーザは、多くの目的のために、コントローラを使用することが多い。例えば、ユーザがどこを狙っているのかのインディケータを画面上に表示するため、ビデオ・ゲームをプレーするというような、娯楽目的で画面上の物体を検出するため、および／または訓練や教育の目的でコントローラを使用するためである。生憎、検出のために使用される多くのコントローラは精度が低く、コントローラを使用するユーザが表示画面上で狙っている位置を正しく反映しない可能性がある。ゲームの目的では、コントローラは、ハンドヘルド・コントローラ・デバイスとして、または銃型アクセサリのようなゲーミング・アクセサリとして使用することができる。過去における多くのユーザは、シューティング・ゲームをプレーするためにライトガン技術を使用して、楽しんできた。
【0003】
しかしながら、旧来の(classic)ライトガン技術は、ＬＣＤ／ＬＥＤテレビジョンまたはＬＣＤプロジェクタのような最新のディスプレイ上では動作しない。旧来のライトガンは、正確なタイミングを有する陰極線管（ＣＲＴ）の高速ライン毎リフレッシュ(fast line-by-line refresh)を使用する。最新のＬＣＤ／ＬＥＤテレビジョンまたはＬＣＤプロジェクタは、画像を１つの画像丸ごととして処理し、次いで通常ではＣＲＴよりも遅いレートで、ディスプレイを完全なフレームとしてリフレッシュする。その結果、旧来のライトガン・コンピュータ・ゲームをプレーするユーザは、最新のテレビジョン上では旧来のライトガンを用いてプレーすることはできない。
【0004】
現在の代替案では、カーソルを動かすために、マウス、キーボード、およびジョイスティックを使用し、また銃型の解決策では、リモート／銃が表示画面上でどこを狙っているか大まかに推論するために、テレビジョンの隣に、リモート／銃の前において検出することができる赤外線ＬＥＤのような何らかの余分なハードウェアを配置する。これでは正しい見通し線応答が得られず、システムが較正ルーチンを経なければ、制御デバイスがディスプレイにおいてどこを狙っているか計算するのに、精度が劣る方法を提供してしまうことになる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、較正ルーチンは時間がかかるプロセスであることが多い。何故なら、ユーザは、彼らの位置や角度を変える毎に、および／または彼らの機材を代える毎に、較正ルーチンを経なければならないからである。
【0006】
本発明は、このような背景を考慮して行われた。
【課題を解決するための手段】
【0007】
本発明の態様によれば、ディスプレイを検出する方法を提供する。この方法は、画像検出手段から画像信号を受け取るステップと、画像プロセッサによって、受け取った画像信号がディスプレイの少なくとも一部分の画像を含むことを検出するステップと、画像プロセッサによって、受け取った画像信号から、ディスプレイの輪郭の少なくとも一部を定める画素座標のアレイを判定するステップと、画素座標のアレイおよび受け取った画像信号の少なくとも１つの中心画素に基づいて、ディスプレイに対する画像検出手段の方位を計算するステップとを含む。
【0008】
本発明の他の態様によれば、本発明の方法にしたがってディスプレイを検出するように構成された装置を提供する。この装置は、画像検出手段と、ディスプレイと有線またはワイヤレス通信するように構成された画像プロセッサとを備える。
【0009】
ある実施形態では、ディスプレイを検出する装置は、制御デバイスと、ディスプレイの表示エリア内において表示コンテンツに適用されるアーチファクトであって、適用されると、ディスプレイの検出を補助するように構成することができる、アーチファクトと、ディスプレイを含む画像をキャプチャするように構成された画像検出手段と、画像検出手段から第１信号を受け取る画像プロセッサとを備える。画像プロセッサは、取り込み画像を処理して、ディスプレイの画像画素座標のアレイを判定するように構成され、画像画素座標のアレイは、取り込み画像の中心の画像画素座標と比較される。画像プロセッサは、更に、判定した画像画素座標に基づいて、ディスプレイに対する制御デバイスの照準線(pointing alignment)を判定し、ディスプレイを検出する。
【0010】
本発明の他の態様によれば、命令を含むコンピュータ読み取り可能媒体を提供する。プロセッサによって命令を実行すると、このプロセッサに、本明細書において説明する方法を実行させる。
【0011】
ある実施形態では、適用されるアーチファクトは、背景、前景、表示エリア内における表示コンテンツを部分的に包囲するまたは完全に包囲するように構成された(adapted)境界あるいは部分的境界とすることができる。アーチファクトは部分的に透過性であってもよい。表示エリアは、ディスプレイの表示画面であってよい。
【0012】
ある実施形態では、背景、前景、部分的境界、または境界は、表示エリアの少なくとも１つのエッジまたは角に／その周囲に適用されてもよい。ある実施形態では、適用されるアーチファクトは、表示エリアの検出を補助するために、表示コンテンツの内縁を取り巻く矩形または正方形の境界であってもよい。
【0013】
ある実施形態では、アーチファクトは、画素位置、色、および明度のような、しかしこれらには限定されない、画素属性を考慮に入れるアルゴリズムに基づいてもよい。次いで、このアルゴリズムは、画像認識プロセスを更に容易にそして高精度にする目的で、色および明度というような、しかしこれらには限定されない、画素値をしかるべく変更する。
【0014】
更に、この装置は、表示コンテンツの少なくとも１つのエッジまたは角の周囲に、追加のアーチファクトの適用を含んでもよい。
【0015】
本発明の他の態様によれば、ディスプレイ・デバイスを検出する装置を提供する。この装置は、制御デバイスと、ディスプレイの表示エリア内において表示コンテンツに適用されるアーチファクトであって、適用されるアーチファクトが、ディスプレイの検出を補助するように構成することができる、アーチファクトと、ディスプレイを含む画像をキャプチャするように構成された画像検出手段と、画像検出手段から第１信号を受け取る画像プロセッサとを備える。この画像プロセッサは、取り込み画像を処理して、ディスプレイの画像画素座標のアレイを判定するように構成され、画像画素座標のアレイは、取り込み画像の中心の画像画素座標と比較される。画像プロセッサは、更に、判定した画像画素座標に基づいて、ディスプレイに対する制御デバイスの照準線を判定し、ディスプレイを検出する。
【0016】
本発明の装置は、複数の信号を検出、キャプチャ、収集し、取り込み画像を処理し、取り込み画像をリアル・タイムで分析して、制御デバイスの照準線、位置、角度、および距離が、ディスプレイに関してどこにあるか判定するように構成することができる。制御デバイスは、ディスプレイを検出するために直接使用することができるので、制御デバイスを操作するユーザが、ディスプレイからの彼らの動作線(operating alignment)／位置、距離、またはディスプレイに対する角度を変えても、制御デバイスは較正や再較正を必要としない。このため、本発明の装置は較正ルーチンを必要としない。較正ルーチンを使用すると、画像を検出、処理、および分析する制御デバイス、ならびに制御デバイスを操作するユーザ体験を著しく改善することができる。他の利点としては、本発明の装置は、赤外線ＬＥＤアレイのような、ディスプレイ・デバイスの相対位置を検出するための外部ハードウェアを、ディスプレイ・デバイスの隣および／または周りに、全く必要としないことがあげられる。
【0017】
加えて、本発明は、ＬＣＤまたはＬＥＤ、テレビジョン画面、コンピュータ・モニタ、最新のプロジェクタ・ディスプレイ、移動体電話デバイス、タブレット、映写幕(cinematic screen)、またはゲーミング・デバイスのような、最新技術のディスプレイ・デバイスを検出するために使用できるという利点も提供する。
【0018】
また、本発明の装置は、取り込み画像において、ディスプレイ・デバイスのような物体を検出する更に精度高い方法も提供できる場合があるという利点もある。
【0019】
制御デバイスは、見通し線制御デバイスであってもよい。制御デバイスは、コントローラのようなハンドヘルド・デバイスであってもよい。コントローラは、移動体であってもよく、更にユーザの左手、右手、または双方によって操作可能(operable)であるとよい。見通し線コントローラは、適した構成を備えればよく、またはユーザの手がコントローラを握り、例えば、見通し線コントローラを自由に操作する(operate)ためにストラップを備えてもよく、ユーザはコントローラを回転させることや、コントローラを左右におよび／または上下に動かすことができる。
【0020】
ある代替実施形態では、画像プロセッサは、更に、ディスプレイに対する、制御デバイスの照準線、位置、角度、および距離を、画像画素座標に基づいて判定することもできる。
【0021】
画像プロセッサは、ローカル画像プロセッサであってもよく、これ使用してキャプチャ画像を処理することによって、処理済みデータを送るための送信時間が短縮し、更に、制御される電子デバイス上のハードウェア量を削減することができる。画像プロセッサは、画像検出手段から受け取った複数の信号をリアル・タイムで処理して、ディスプレイの画像画素座標のアレイを判定するように構成することができる。ある実施形態では、取り込み画像の処理は、制御デバイスに内蔵された画像プロセッサによって実行することができ、あるいは生の画像／ビデオ入力を電子デバイスに供給し、コンピュータまたはコンピュータ実装デバイスのような、電子デバイスによって処理することもできる。これによって、必要なハードウェア量を削減し、更に制御デバイスにおいて必要なハードウェアの複雑さを減らす。
【0022】
ある実施形態では、この装置は、更に、電子デバイスも備えてもよい。この電子デバイスは、ディスプレイ上に制御デバイスの照準線、位置、角度、または距離を表示するために、インディケータを出す(provide)ように構成することができる。電子デバイスは、画像プロセッサから第２信号を受け取ることができ、ディスプレイ上に制御デバイスの照準線／位置を表示するために、出力信号をディスプレイ・デバイスに送ることができる。
【0023】
インディケータは、ＴＶ画面、ラップトップ画面、コンピュータ画面、プロジェクタ画面、映写幕、移動体電話機の画面、タブレット、または任意の他の電子機器の画面というような表示上にコントローラの照準線／位置を表示するために使用される、コンピュータ・マウスのカーソルまたは標的クロスヘア(targeting crosshair)であってもよい。
【0024】
インディケータは、制御デバイスを操作しているユーザが画面上でどこを狙っているか精度高く示すために使用することができるので、これは有利であると言うことができる。インディケータは、制御デバイスを操作しているユーザが画面上のどこを狙っているか自動的にそして精度高く示すことができるように、プログラミング可能であってもよい。ある代替実施形態では、制御デバイスは、ディスプレイ・デバイス上に照準線／位置を表示ためにインディケータを備えることもできる。
【0025】
ある実施形態では、インディケータを必要としなくてもよい。これは、異なるユーザ体験を与えることができ、ユーザは見通し線精度を頼りにして、彼らが表示上でどこを狙っているか知ることができる。
【0026】
ある実施形態では、インディケータは、制御デバイスの照準線または位置を連続的に追跡し、表示画面上に表示できる追跡カーソルのような、追跡インディケータであってもよい。
【0027】
ある実施形態では、本発明の装置は、更に、プロセッサと関連付けられたトリガ入力を有する制御デバイスを備えてもよい。トリガ入力は、コンピュータ・プログラムを動作させるように構成することができるユーザによって、トリガされるように構成することができ、これによって、プロセッサが他の信号を電子デバイスに送ることを可能にする。電子デバイスは、トリガ入力に応答し、複数の出力を実行するように構成することができる。
【0028】
ある実施形態では、取り込み画像を画像プロセッサによって処理し、画像検出手段によって収集された画像から背景ノイズを除去することができる。これは、画像処理のために、更に明瞭な画像を供給することができる。場合によっては、画像プロセッサは、背景ノイズを除去して品質を高めた画像を、分析のために供給することができる。
【0029】
ある実施形態では、画像検出手段によって収集された画像を強調するために、画像プロセッサによって、取り込み画像を処理する。強調画像は、品質を高めた画像を表示することができ、画像プロセッサが画像を認識するのが容易になり、取り込み画像を一層効率的に処理することができる。ある実施形態では、取り込み画像においてディスプレイの特性を強調するために、取り込み画像を操作する(manipulate)ことができる。
【0030】
ある実施形態では、画像検出手段は、画像におけるブロブ検出、エッジ検出、角検出、平行四辺形検出、矩形または正方形検出に適するものにすることができる。
【0031】
ある実施形態では、処理された画像を画像プロセッサによって分析／処理して、以下の内１つ以上に基づいて、画像上におけるディスプレイの座標のアレイを判定することができる。つまり、ディスプレイの外郭サイズ(contour size)、位置、輝度(intensity)、色、明度、速度、形状、輪郭(outline)、エッジ、角度、光周波数、偏光(light polarisation)、ちらつき、リフレッシュ・レート、コントラスト、および／またはサイズである。
【0032】
好ましくは、取り込み画像は、実質的に矩形形状または実質的に正方形形状のディスプレイを含むとよい。矩形形状または正方形形状のディスプレイ・デバイスは、実質的に鋭いエッジを含むのはもっともである。これは、画像検出手段が、取り込み画像上で容易にディスプレイを検出できることを意味する。
【0033】
ユーザがディスプレイの真正面にいない場合もあるので、矩形または正方形のディスプレイが、取り込み画像上では、歪んだ平行四辺形となって現れる場合がある。画像処理は、照準位置(pointing location or position)を計算するときに、この歪みを考慮することができる。
【0034】
取り込み画像は、画像プロセッサが一貫して高精度でディスプレイの画像画素座標のアレイを判定することを可能にするために、矩形の外形を有するディスプレイを含むとよい。
【0035】
ある実施形態では、取り込み矩形形状または正方形形状の表示を分析して、この表示の少なくとも１つの角あるいは１つまたは２つのエッジに基づいて、座標のアレイを判定することもできる。座標のアレイは、表示の２つ以上よりも多い異なる角またはエッジに基づいてもよい。好ましくは、画像プロセッサは、矩形形状ディスプレイの４つの角またはエッジに基づいて、座標のアレイを判定するために使用されてもよい。
【0036】
ある実施形態では、画像プロセッサが、取り込み画像を処理して、ディスプレイの画像画素座標のアレイに対して、画像における中心画素座標がどこにあるか判定することもできる。好ましくは、制御デバイスによって狙われたディスプレイの座標が判定されたとき、Ｘ水平百分率およびＹ垂直百分率として表される。
【0037】
随意に、判定された座標は、Ｘ水平百分率およびＹ垂直百分率の比率として表される。
【0038】
Ｘ水平百分率およびＹ垂直百分率を座標として使用することによって、画像プロセッサは、表示が低解像度および／または高解像度であっても、取り込み画像を処理および分析することができる。言い換えると、表示画像の解像度は無関係である。
【0039】
他の実施形態では、判定された座標は、表示の解像度が分かっている場合Ｘ水平およびＹ垂直画素座標として、または表示のサイズが分かっている場合Ｘ水平およびＹ垂直距離座標として、表すこともできる。
【0040】
ある実施形態では、前述の装置は、更に、ＵＳＢインターフェース、ＨＤＭＩ（登録商標）インターフェース、ＷＩＦＩインターフェース、またはＢｌｕｅｔｏｏｔｈワイヤレス・インターフェースのような、少なくとも１つの通信インターフェースを備えてもよく、この通信インターフェースは、制御デバイスを画像検出手段、画像プロセッサ、電子デバイス、および／またはディスプレイ・デバイスに接続するように構成することができる。
【0041】
ある実施形態では、前述の方法は、更に、ディスプレイ上で表示するために適用することができる、白い境界または背景のような、画像アーチファクトを適用するステップを含んでもよい。また、画像アーチファクトは部分的に透過性であってもよい。画像アーチファクトを表示画面に適用することによって、コントローラの精度を最適化することができ、更に処理要件を減らすのに役立つ場合もある。画像アーチファクトは、エッジの周囲、表示されるコンテンツの上またはその背景に適用し、プロセッサが表示の認識および処理を一層し易くすることができる。画像アーチファクトは、表示コンテンツに対して、表示の輪郭(outline)または形状を強調し、画像認識プロセス中のように、ディスプレイの認識および処理をプロセッサにとってし易くする変化であればいずれでもよい。
【0042】
ある実施形態では、前述の装置は、更に、電源に接続された少なくとも１つの電力ユニットを制御デバイス内に備えてもよく、この電源ユニットは画像検出デバイスおよび／または画像プロセッサに電力を供給するために使用することができる。
【0043】
画像検出手段は、ディジタル・カメラであってもよく、または任意の電磁放射線画像検出手段であってもよい。ある実施形態では、画像検出手段がビデオ・レコーダ、または移動体電話デバイス、またはウェブカム、または画像を検出するために使用することができる任意の他のデバイスであってもよい。
【0044】
ある実施形態では、ディスプレイ・デバイスはＴＶ画面、またはプロジェクタ画面、または映写幕とすることができる。ＴＶ画面は、通例、最新のＴＶ画面としてよい。ある実施形態では、ＴＶ画面はＬＣＤ ＴＶ画面またはＬＥＤ ＴＶ画面であってもよい。
【0045】
ディスプレイ・デバイスがついていれば、画像検出手段が、ディスプレイを含む明瞭な画像を検出およびキャプチャすることを可能にするので、有利であると言うことができる。更に、これによって、ディスプレイを含む取り込み画像を、画像プロセッサが容易に認識し一層効率的に処理することが可能になるとして差し支えない。画像プロセスは、最低の明度を満たさない画素を除外することができる。明度は、画像処理中にノイズ除去プロセスの一部として使用することができる。随意に、ディスプレイの形状、輪郭(outline)、サイズ、外郭レベル(contour level)、ガンマ、角度、偏光(light polarisation)、明度、コントラスト、ちらつき、リフレッシュ・レート、色、および／またはサイズも、画像検出手段が明瞭な画像を検出およびキャプチャすることを可能にするのに有用である場合もあり、画像を容易に処理することができる。
【0046】
ある実施形態では、前述の装置は、更に、取り込み画像、表示の座標のアレイ、および／または制御デバイスの照準線／位置の座標を格納するために、記憶媒体も備えてもよい。
【0047】
本発明の他の態様では、本発明の以前の態様による装置を使用して、ディスプレイを検出する方法を提供する。この方法は、（ｉ）画像検出手段を使用して、ディスプレイを含む画像をキャプチャするステップと、（ｉｉ）画像プロセッサが、画像検出手段から第１信号を受け取るステップと、（ｉｉｉ）画像プロセッサ画像を使用して、取り込み画像を処理し、ディスプレイの画像画素座標のアレイを判定し、このアレイを、取り込み画像の中心の画像画素座標と比較するステップと、を含み、画像プロセッサが、更に、判定した画像画素座標に基づいて、ディスプレイに対する制御デバイスの照準線を判定する。
【0048】
本発明の他の態様では、前述の装置を使用してディスプレイを検出する方法を提供する。この方法は、（ｉ）画像検出手段を使用して、ディスプレイを含む画像をキャプチャするステップと、（ｉｉ）ディスプレイの表示エリア内において表示コンテンツにアーチファクトを適用するステップであって、アーチファクトが、ディスプレイの表示エリア内にある表示コンテンツに適用され、適用されるアーチファクトが、ディスプレイの検出を補助するように構成される、ステップと、（ｉｉｉ）画像プロセッサによって、画像検出手段から第１信号を受け取るステップと、（ｉｖ）画像プロセッサ画像を使用して、取り込み画像を処理して、ディスプレイの画像画素座標のアレイを判定し、このアレイを、取り込み画像の中心の画像画素座標と比較するステップと、を含み、画像プロセッサが、更に、ディスプレイを検出するために、判定した画像画素座標に基づいて、ディスプレイに対する制御デバイスの照準線を判定する。
【0049】
好ましくは、この方法は、表示エリアの検出を補助するために、表示コンテンツの内側のエッジの周囲に矩形または正方形の境界を追加するステップを含んでもよい。これによって、ディスプレイの輪郭および形状を強調することができ、ディスプレイを識別するために、画像認識プロセス中に使用することができる。
【0050】
ある実施形態では、この方法は、更に、電子デバイスを使用して、ディスプレイ上に制御デバイスの照準線／位置を表示するステップを含んでもよい。この電子デバイスは、インディケータを出すように構成することができる。この電子デバイスは、画像プロセッサから第２信号を受け取ることができ、ディスプレイ上に制御デバイスの指示位置(pointing position)を表示する出力信号を送ることができる。
【0051】
ある実施形態では、ディスプレイの座標のアレイを判定するステップは、ディスプレイの外郭サイズ、位置、輝度、色、ちらつき、リフレッシュ・レート、光周波数、明度、偏光(light polarisation)、速度、形状、輪郭、コントラスト、角度、またはサイズに基づいてもよい。ある実施形態では、ディスプレイの検出を最適化するために、ユーザが、ディスプレイの外郭サイズ、位置、輝度、光周波数、偏光(light polarisation)、色、ちらつき、リフレッシュ・レート、明度、速度、形状、コントラスト、角度、またはサイズに基づいて、以下の内任意の１つを変化させてもよい。ある実施形態では、この方法は、更に、画像アーチファクトを表示に適用するステップを含んでもよい。
【0052】
ある実施形態では、この方法は、更に、取り込み画像、ディスプレイ・デバイスの座標のアレイ、および／または制御デバイスの照準線／位置の座標を、記憶媒体上に格納するステップを含んでもよい。
【0053】
ある実施形態では、この方法は、更に、制御デバイスからディスプレイまでの、Ｚ軸と呼ばれる、変化距離を計算するステップを含んでもよい。制御デバイスを操作しているユーザがディスプレイに近づくときに、またはディスプレイから遠ざかるときに、Ｚ軸を計算することができる。
【0054】
ある実施形態では、この方法は、更に、制御デバイスの照準線／位置の表示画面に対する角度を計算するステップを含んでもよい。
【0055】
ある実施形態では、本発明の方法は、更に、他の画像プロセッサによって、ディスプレイを含む取り込み画像の妥当性を判断するステップを含んでもよい。他のプロセッサによって、ディスプレイの外郭サイズ、位置、輝度、色、ちらつき、リフレッシュ・レート、光周波数、明度、速度、形状、輪郭、エッジ、角度、コントラスト、偏光、および／またはサイズ内１つ以上に基づいて処理される画像画素座標のアレイは、ディスプレイの外郭サイズ、位置、輝度、色、ちらつき、リフレッシュ・レート、光周波数、明度、速度、形状、輪郭、エッジ、角度、コントラスト、偏光(light polarisation)、および／またはサイズに基づいて画像プロセッサによって判定された判定画像画素座標(determined image pixel coordinates)と照合することによって、妥当性が判断される。
【0056】
本発明の更に他の態様では、ディスプレイを検出するための制御デバイスを提供する。この制御デバイスは、ディスプレイを含む画像をキャプチャするように構成された画像検出手段と、表示エリア内において表示コンテンツに適用されるアーチファクトと、画像検出手段から第１信号を受け取る画像プロセッサとを備える。画像プロセッサは、取り込み画像を処理して、ディスプレイの画像画素座標のアレイを判定するように構成され、このアレイが、取り込み画像の中心の画像画素座標と比較される。画像プロセッサは、更に、判定された画像画素座標に基づいて、ディスプレイに対する制御デバイスの照準線を判定する。
【0057】
本発明の他の態様では、ディスプレイ・デバイスを検出するための制御デバイスを提供する。この制御デバイスは、ディスプレイを含む画像をキャプチャするように構成された画像検出手段と、画像検出手段から第１信号を受け取る画像プロセッサであって、取り込み画像を処理して、ディスプレイの画像画素座標のアレイを判定するように構成され、アレイが、取り込み画像における中心画像画素座標と比較される、画像プロセッサとを備える。画像プロセッサは、更に、判定した画像画素座標に基づいて、ディスプレイに対する制御デバイスの照準線も判定する。
【0058】
ある実施形態では、コントロール・デバイスが、プロセッサと関連付けられたトリガ入力備えてもよい。トリガ入力は、コンピュータ・プログラムを動作させるように構成することができるユーザによって、トリガされるように構成することができ、これによって、プロセッサが他の信号を電子デバイスに送ることを可能にする。電子デバイスは、トリガ入力に応答し、複数の出力を実行するように構成することができる。ある実施形態では、制御デバイスが電子デバイスを備えてもよい。
【0059】
ある実施形態では、制御デバイスが、更に、振動モータ、スピーカ、あるいはトリガ入力および／または追加の入力に相互接続されたもしくは関連付けられた、および／または電子デバイスによってトリガされるソレノイドを備えてもよく、振動モータ、ソレノイド、またはスピーカは、ユーザによってトリガ・センサがトリガされたときに、フィードバックを供給するように構成されてもよい。一例として、振動モータは、接触フィードバックを供給するために使用することができる。他の例として、ソレノイドは反跳効果を付与することができる。
【0060】
ある実施形態では、制御デバイスが、更に、追加のボタンおよび／またはスクローリング・ホイール、または追加のコントロールもしくは任意の他の入力コントロールを備えてもよい。これらの追加のボタンおよびスクローリング・ホイールは、ユーザが制御デバイスを制御するために、複数の異なる機能を提供することができる。例えば、スクローリング・ホイールは、ディスプレイ・デバイス上に表示することができるコンテンツをスクロールするのを有効化する(activate)のに有用であるのはもっともである。画像検出手段を制御するために、追加のボタンを使用してもよい。表示コンテンツに追加される画像アーチファクトを制御するために、追加のコントロールを使用して、例えば、境界の太さ、サイズ、形状、または色の内であるが、これらには限定されない、１つ以上を変化させるようにしてもよい。
【0061】
本発明の他の態様では、本発明のこれまでの態様の内任意のものにしたがってディスプレイを検出するためのキットを提供する。このキットは、画像をキャプチャする画像検出手段と、取り込み画像を処理するように構成された画像プロセッサとを備える。
【0062】
ある実施形態では、ディスプレイは、テレビジョン、ラップトップ画面、コンピュータ画面、プロジェクタ画面、映写幕、移動体電話機の画面、タブレット、または任意の他の電子機器の画面とすることができ、ディスプレイは、ＬＣＤまたはＬＥＤ画面のような、最新技術の表示画面である。
【0063】
ある実施形態では、照明されたネオン・ストリップ(neon strip)のような物理的変更を使用して、表示コンテンツの周囲に境界を追加することができる。この物理的方法は、更に、ソフトウェア方法の形状検出および明度検出も利用するが、表示コンテンツを適応化する能力を必要としない。これは、例えば、表示コンテンツを変更することができない、旧来のアーケード・ゲーム機上においても有用である。
【0064】
これより、本発明について、添付図面を参照しながら更に詳しくそして具体的に説明するが、これは一例に過ぎない。
【図面の簡単な説明】
【0065】
【発明を実施するための形態】
【0066】
本明細書において使用する場合、特に明記しない限り、画像プロセッサは、取り込み画像を処理するプロセッサとして定めてもよく、および／または画像プロセッサは、ボタンおよびトリガのようなユーザ入力を処理すること、および／またはプロセスに関連があるデータ、例えば、取り込み画像または計算された座標を含む通信信号を、電子デバイスに送ることを含んでもよく、あるいは画像プロセッサは、デバイス上で必要とされる任意の他の処理手段を提供してもよい。
【0067】
図１、図２ａ、および図２ｂを参照すると、テレビジョンのようなディスプレイ・デバイス１４を検出する装置１０が示されている。装置１０は、制御デバイス１２、ディスプレイ１３を含む画像をキャプチャするように構成することができる画像検出手段１６、および画像検出手段１６から第１信号を受け取る画像プロセッサ１８を備える。画像検出手段１６は、ディジタル・カメラまたはウェブカムであってもよく、ディスプレイ・デバイス１４を含む画像またはビデオを撮影するために使用することができる。あるいは、画像検出手段１６は、ライブ画像を検出するために使用することもできる。画像プロセッサ１８は、カメラのような画像検出手段１６から、取り込み画像の第１信号を受け取ることができる。次いで、カメラによって取り込み画像を画像プロセッサ１８によって処理することができる。画像プロセッサは、電子デバイス２０、例えば、コンピュータ・デバイス上におけるＣＰＵ／マスタ・ユニットの形態としてもよい。あるいは、画像プロセッサは、制御デバイスおよび／またはカメラ内部に組み込まれてもよい。
【0068】
図２ａおよび図２ｂを参照すると、制御デバイス１２の例が示されている。制御デバイスは、リモート・コントローラであってもよく、あるいは図示のような銃アクセサリまたは改造ゲーム・コントローラ(modified game controller)のような、ゲーミング・アクセサリ・デバイスであってもよい。他の例では、これらの図には示されていないが、移動体電話デバイスまたはコンピュータであってもよい。制御デバイスは、図１に示すように、ディスプレイ１３において照準線／位置がどこにあるか計算し、そのフィードバックを供給するために使用することができる。制御デバイス１２は、ディスプレイからある距離のところで動作してもよく、または制御デバイスは、図４に示すように、ある角度で動作し、ディスプレイを含むひずみ形状を検出することもできる。
【0069】
制御デバイスは、アパーチャ１５を有してもよく、画像検出手段１６のレンズが画像をキャプチャすることを可能にするように、画像検出手段１６をその中に位置付けることができる。ある実施形態では、制御デバイスは１つよりも多いアパーチャを有してもよい。ある実施形態では、複数の画像検出手段を設けてもよい。カメラ１６または任意の他の画像検出手段をコントローラ１２に内蔵してもよい。あるいは、制御デバイス１２の表面上に、カメラ１６を装着してもまたは取り付けてもよい。カメラを制御デバイス上に装着できるので、カメラの中心はユーザの見通し線に添って狙うことになる。カメラ１６が狙うところは、制御デバイス１２の照準方向(pointing direction)１９に等しいとして差し支えない。次いで、カメラは、図３ａおよび図３ｂに示すような、ディスプレイを含む画像を記録する。カメラは、１Ｄ、２Ｄ、または３Ｄ画像を撮影することもできる。
【0070】
カメラは、任意の解像度で、例えば、高または低解像度で画像を撮影することができる。画像検出手段は、ＵＳＢケーブルまたはＨＤＭＩ（登録商標）ケーブル２２を介してというように、通信インターフェースを使用して、電子デバイス２０、例えば、コンピュータに接続することができる。更に、カメラまたは制御デバイスは、Ｂｌｕｅｔｏｏｔｈまたは任意の他のワイヤレス通信手段を通じて、電子デバイス２０に接続することもできる。例えば、ワイヤレス通信は、ＷＩＦＩまたは１Ｇ、２Ｇ、３Ｇ、４Ｇ、５Ｇ以降のような、ワイヤレス・インターネット接続を利用してもよい。
【0071】
図１、図２ａ、および図２ｂに示すように、主選択コントロールまたはトリガ入力２１が示されている。トリガ入力は、トリガ・センサ／ボタン２７と相互接続され、トリガ・センサ／ボタン２７は、ケーブル２２を通じて、画像プロセッサ１８に相互接続されている。トリガ入力２１は、プロセッサ１８と関連付けることができる。更に、トリガ入力２１は、ユーザによってトリガされるように改造することができ、ユーザは、コンピュータ・プログラムを動作させるように構成することができ、これによってプロセッサ１８が他の信号を電子デバイス２０に送ることが可能になる。更に、電子デバイスは、トリガ入力に応答して、複数の出力を実行するように構成することもできる。
【0072】
添付図面には示されていない他の実施形態では、マウス・クリック／移動、キーボード・ボタン押下またはジョイスティック移動／ボタン押下の内１つ以上を実行することが、ユーザによってトリガされることを含むが、これらに限定されない、種々の機能を実行するように、複数の出力を構成することもできる。
【0073】
コントローラは、ユーザによって動作可能であってもよい、更に他の追加のコントロール２３も有することができる。追加のコントロール２３は、副トリガ入力、ボタン、またはスクロール・ホイールのような、動作可能なコントロールでもよく、処理されるコンピュータ・プログラムにおいてユーザに利益を提供することを目指して、特定の機能を割り当てる／マッピングすることができる。一例として、副トリガ入力２３は、ユーザによって動作可能であるときに、右マウス・クリックの機能と同様な機能とマッピングされ、関連付けられてもよい。コントローラは、ハンドヘルド・デバイスであってもよい。コントローラは、ユーザがこのコントローラを保持／把持できるように、適した表面２５を有することができる。図１および図２に示すように、コントローラはＵＳＢポートまたはＨＤＭＩ（登録商標）ポートに接続することができる少なくとも１つの接続ポート２９も備えることができる。
【0074】
加えて、制御デバイスは、視覚フロント・インディケータ５０（フロント・ビュー）および視覚バック・インディケータ５２を有することもできる。これらは、制御デバイスが狙っているところ、例えば、照準器とユーザが一列になる(line up)ことを可能にするように構成することができる。
【0075】
追加の特徴(feature)として、制御デバイス１２は、見通し線インディケータまたは照準器として機能することもできる、ＬＣＤ画面のような、表示画面を内蔵することもできる。このディスプレイは、制御デバイスにおける画像プロセッサに接続することもできる。画像プロセッサは、制御デバイス・カメラからのズームイン画像(zoomed in image)を、おそらくはクロスヘアを重ね合わせて、この追加画面上に出力する。この画像は、制御デバイスが狙っているところである、画像の中心においてズームインすることができる。これは、制御デバイスが狙っているところをユーザに示す追加の方法であるとして差し支えない。ＬＣＤ画面は、構成選択肢を出力するために使用されてもよい。これが意味するのは、ユーザはフィードバックのためにデバイスを構成または制御できるということである。ＬＣＤ画面は、ユーザに他の入力を追加させるタッチスクリーンであってもよい。
【0076】
画像プロセッサ１８は、図３ａに示すような取り込み画像１７を処理し、図３ａ、図３ｂ、図３ｃ、図３ｄ、および図３ｅに示すように、取り込み画像１７における中心画像画素座標３６または２８に対する、ディスプレイ１３の角の画像画素座標３４のアレイを判定するソフトウェア・アルゴリズムを実行することができる。図３ａおよび図３ｂにおいて、中心画像画素３６または２８の座標は、表示画面１３に対するコントローラの照準線／位置または見通し線を表す。取り込み画像の中心画像画素は、クロスヘア２８によって示されている。
【0077】
画像プロセッサ１８を制御デバイス１２と相互接続することもできる。ある実施形態では、画像プロセッサは、制御デバイスと通信するために、複数の入力または出力信号を送るおよび／または受け取ることができる。画像プロセッサは、第２信号を電子デバイス２０に送るように構成することができる。次いで、電子デバイス２０は、マウス・カーソルのようなインディケータによって、ディスプレイ上において制御デバイスの照準線／位置を示すために、出力信号を供給することができる。更に、画像プロセッサは、ディスプレイ上において制御デバイスの照準線／位置に対応するマウス移動／ジョイスティック移動を可能にするように構成された出力信号を供給することができる。加えて、銃アクセサリ上のトリガまたは追加のボタンが、マウス・クリックおよび／またはジョイスティック・ボタンのクリックを行わせる(provide)こともできる。
【0078】
画像プロセッサは、制御デバイス・コントロール、例えば、トリガ入力を解釈するというような、追加の処理能力を提供することもできる。
【0079】
コンピュータ・デバイス２０のような電子デバイスは、画像プロセッサ、制御デバイス、画像検出手段、および／またはディスプレイ・デバイスに、ＵＳＢまたはＨＤＭＩ（登録商標）接続手段２２を介して接続することができる外部コンピュータ・ハードウェアであってもよい。電子デバイスは、ＵＳＢまたはＨＤＭＩ（登録商標）ポート５１のような、接続ポートを備えることができる。
【0080】
ある実施形態では、コンピュータ・デバイスを制御デバイスに内蔵することもできる。制御デバイスは、ディスプレイおよび出力コンテンツに直接接続することができる。コンピュータ・デバイスがディスプレイにおいて狙っているところに対応するカーソルを表示するために、コンピュータ・デバイスが出力信号を供給することができるように、コンピュータ・デバイス２０は、画像プロセッサ１８から、第２信号を受け取るように設定することができる。第２信号は生画像データであってもよい。ある実施形態では、出力信号は、テレビジョン上においてカメラが狙っているところと一致して常に動くマウス・カーソルを表示するように、または制御デバイス上でトリガがクリックされたときにのみ、カーソルを動かすように構成することもできる。
【0081】
ある実施形態では、ディスプレイ・デバイスは、コンピュータ・デバイスも含むことができ、例えば、ディスプレイ・デバイスはスマート・テレビジョンであってもよい。
【0082】
図３ａ、図３ｂを参照し、そして一例としてのみ、正確にテレビジョンの中央において制御デバイスを狙うことは、Ｘ水平百分率＝５０％およびＹ垂直百分率＝５０％に等しい。百分率を使用することによって、ディスプレイの解像度またはアスペクト比がいくつであろうと無関係になる。図３ａおよび図３ｂに示す例では、画像の解像度は６４０水平Ｘ画素×３６０垂直Ｙ画素である。クロスヘア２８によって表される中心画像画素は、３２０Ｘ水平の画素座標、１８０Ｙ垂直座標を有し、ディスプレイ上における制御デバイスの照準線／位置に対応する。
【0083】
通例、画像プロセッサ１８はソフトウェアの画像認識アルゴリズムを内蔵しており、４つのエッジおよび／または４つの角を有するディスプレイ１３を検出するために使用される。ディスプレイ・デバイス１４は、表示画面１３を有する。表示画面１３は、実質的に矩形形状または正方形形状の表示画面であるとして差し支えない。ディスプレイは、通例、このディスプレイの周囲および背後にある全体的な背景よりは明るい。
【0084】
矩形状または正方形状３２の表示画面１３のエッジまたは角３０は、４５°と１２０°との間の角度を有してもよい。ある実施形態では、矩形状または正方形状表示画面のエッジ／角は、４５°よりも大きい、即ち、５０°、６０°、７０°、８０°、９０°、１００°、１１０°、または１２０°とすることができる角度を有してもよい。ある実施形態では、矩形状または正方形状表示画面のエッジ／角は、９０°、８０°、７０°、６０°、５０°、４０°、３０°、２０°、または１０°未満であってもよい角度を有してもよい。好ましくは、矩形または正方形状３２の表示画面１３のエッジ／角３０は、実質的に９０°である角度を有する。これが有利であるのは、約９０°の角度を有する物体のエッジ／角は、容易に検出することができ、画像プロセッサ１８によって容易に処理することができるからである。約９０°の鋭いエッジ／角を有する物体も、画像プロセッサ１８によって容易に処理して、ディスプレイの座標のアレイを判定することができる。しかしながら、制御デバイス１２がディスプレイ１４に対してある角度をなすと、角の角度は９０°には見えず、したがって、画像プロセッサは、歪んだ正方形または矩形を処理するように構成されなければならない。したがって、矩形または正方形形状のディスプレイを識別するためには、平行四辺形検出を使用すればよい。
【0085】
画像プロセッサは、取り込み画像を処理し、図３ｃに示すような、ＴＶ画面のエッジまたは角３０に対応する座標３４のアレイを判定する。例えば、Ｘ、Ｙ座標のアレイが、矩形のＴＶ画面の４つの角またはエッジを表すことができる。画像プロセッサは、更に、ＴＶ画面の外縁に対応するｎ番目の座標を収集し処理することができる。ある実施形態では、座標はＸ、Ｙ、Ｚ座標であってもよい。ある実施形態では、座標はＸ水平百分率およびＹ垂直百分率として示される。ある実施形態では、座標は、１Ｄ、２Ｄ、または３Ｄ座標であってもよい。
【0086】
図３ｃおよび図３ｄを参照すると、数学アルゴリズムを使用して、表示画面１３のエッジまたは角３４に対応する座標３４のアレイに対する、中心画像画素３６のＸ水平百分率およびＹ垂直百分率座標を計算する。
【0087】
図３ｅに示す例では、制御デバイスの照準線／位置は、ｘ軸３８に沿って約６０％、およびｙ軸４０を下に約８０％のところにあると計算される。画像プロセッサは、コンピュータ上のＣＰＵ／マスタ・ユニットを使用して、百分率座標を計算することができ、または制御デバイスに内蔵されたローカル・プロセッサを使用して計算することもできる。
【0088】
図４を参照すると、本発明の装置は、任意の角度において表示画面を検出するために使用することができる。表示画面を含む取り込み画像は、ディスプレイの視野角のために、例えば、キーストーン効果(keystoning effect)のために、歪んでいる場合もある。そのため、ディスプレイ・デバイスの矩形の１つの辺 ４２ が、カメラ画像上では、ある角度で見たときに、矩形の他方の辺４４よりも多少短くなるとして差し支えない。画像プロセッサは、ディスプレイのＸ、Ｙ画像画素座標、画像の中心の画像画素座標を判定することができるので、表示画面が固定した矩形または正方形であることを知ることもでき、画像プロセッサは、ある角度をなすディスプレイに対する制御デバイス１２の照準線／位置／角度／距離を、精度高く、計算するアルゴリズムを実行するために使用することができる。
【0089】
表示画面において制御デバイスの照準線／位置を判定する精度を最適化するため、そして取り込み画像の処理要件を減らすために、画像プロセッサにとってディスプレイ認識が一層容易になる画像アーチファクト、例えば、ディスプレイのエッジ周囲の白い境界／背景を、表示されたコンテンツ上に追加することができる。
【0090】
画像プロセッサは、以下のアルゴリズムを使用して、画像を処理してもよい。
【0091】
カラー・フィルタおよび明度フィルタ − 明度を低下させることによって、背景ノイズを低減し、ディスプレイの画像のような、明るい物体が画像上でくっきりと定められ(well-defined)続ける。色を除去し、画像を中間階調にすることによって、アルゴリズムを簡略化する。このアルゴリズムは、特定の色だけを残すように、選別する(filter)こともできる。例えば、ディスプレイの輪郭を強調するために青い境界が使用された場合、アルゴリズムは、青でない全ての捕捉光を除去するフィルタを使用するとよい。
【0092】
ブロブ検出 − 強く定められた残留物体(remaining strongly defined objects)をオブジェクト・アレイに記録する。これらは、正当なサイズ・エリアにわたる一定明度のパッチ(solid patch of brightness)である。次いで、アルゴリズムは、最小サイズと合致しない全ての小さな物体を除去することができる。
【0093】
エッジ検出 − 画像が大きく変化するエッジを検出する。これは、全てのブロブをポリゴンに変換するために適用することができる。
【0094】
角検出 − 各ブロブにおけるエッジ／角を分析し、これらがある角において接する(meet)場合、これらの角は、接合エッジ(joined edge)として識別され、したがって角となる。
【0095】
四辺形検出 − ディスプレイ・デバイスの角／エッジを使用して、４つの角／エッジを有する物体を捜す。
【0096】
正方形または矩形検出 − ４つの辺／縁の比率および角度を比較して、これらが矩形または正方形の限界(limits)内にあるか否か確認する。
【0097】
あるいは、画像プロセッサ上のアルゴリズムは、ディスプレイ・デバイスの外枠(outer frame)を検出し、画像認識のためにディスプレイ・デバイスの外枠を利用して、ディスプレイのエッジを計算する機能を含むこともできる。
【0098】
図５ａ〜図５ｃを参照すると、画像上において実質的に矩形形状のＴＶ画面が示されている。図５ｂは、コントローラが遠ざかるに連れて、即ち、ディスプレイ・デバイスから離れるに連れて、画像におけるＴＶの形状がどのように変化するかを示す。一方、図５ｃは、コントローラがディスプレイ・デバイスに近づくときに、画像検出手段によって検出される典型的な画像を示す。
【0099】
図３ａ〜図３ｅにおいて以上で説明したように、表示画面の座標、即ち、表示画面の輪郭形状の座標のアレイを判定し把握することによって、そして表示画面の全体的なサイズ、例えば、ディスプレイの２本の対角線の角から角までの平均を計算することによって、相対的なｚ軸値（ディスプレイから制御デバイスまでの距離）を、制御デバイスがディスプレイに遠ざかるまたは近づくに連れて、計算することができる。
【0100】
また、このｚ軸相対値は、利用することができる追加の入力として、電子デバイスにも供給することができる。一例をあげるとすると、シューティング・コンピュータ・ゲームにおいて、ユーザがターゲットおよび電子デバイスに遠ざかるまたは近づく場合であろう。これは、シューティング・コンピュータ・ゲームの仮想世界の内側を表すことができる。特定の地点に対するｚ軸距離が分かれば、またはディスプレイのサイズが分かれば、ｚ軸相対値を使用して、ｚ軸距離を求めることができる。
【0101】
図５ｄ〜図５ｆ、および図５ｇ〜図５ｈは、異なる角度から見た表示画面の例を示す。既知の数学的計算を使用して角の座標が分かるので、表示画面がどの角度で制御デバイスによって狙われているか計算することが可能になる。図５ｄ〜図５ｆに示すような例において、角度は、２つの角度(2 angles)として表すことができ、利用できる追加の入力として電子デバイスに供給することができる。この角度は、表示画面を狙う制御デバイスの左右の（水平）照準角を表すことができるｘ角度と、制御デバイスの上下（垂直）照準角を表すことができるｙ角度としてもよい。０度の角度は、直線を意味するように構成することができ、−９０度から＋９０度は、１８０度の視野角を表すことができる。
【0102】
ｘ角度上では、−９０度は、制御デバイスを操作するユーザが、ディスプレイを左真横から見ている様子であるとしてもよく、＋９０度は、制御デバイスを操作するユーザが、表示画面を右真横から見ている様子であるとしてもよい。ｙ角度上では、−９０度があるとすれば、ユーザが制御デバイスを真下から狙っている可能性がある(could be pointing)ことを意味し、＋９０度は、ユーザが真上から見て制御デバイスを狙う様子であるとしてもよい。これらの入力は、例えば、ユーザがウィンドウを通して見ているシューティング・コンピュータ・ゲームにおいて、電子デバイスによって使用することができる。彼らの照準角を変化させることによって、照準角がコンピュータ・ゲームに供給され、異なる角度でユーザがウィンドウを通して見ている様子を表すことができ、これは、コンピュータ・ゲームにおいて、追加のユーザ体験をユーザに追加して示すことができる。ディスプレイに対するユーザの視点がほぼ制御デバイスのそれと同じであると仮定すると、表示コンテンツが正しく調整されれば、制御デバイスの既知の位置および方位に基づいて、三次元効果をユーザに生成することが可能になる。
【0103】
制御デバイスは、−９０°から９０°までの間の任意の角度において、ディスプレイを検出するために使用することができる。ある実施形態では、角度は−９０°、−４５°、０°、または＋４５°よりも大きくてもよい。ある実施形態では、角度は＋９０°、＋４５°、０°、または−４５°よりも小さくてもよい。
【0104】
図６を参照すると、ゲーム用銃(gaming gun)のような、制御デバイス１２が示されており、制御デバイス１２は、追加の入力を電子デバイスに供給するためにジャイロ・センサ（図示せず）を備えることができる。この入力は、カメラが表示画面１３を狙っておらず、制御デバイス１２が事実上隠れているときに、使用可能な入力を供給することができる。一例をあげるとすると、カウボーイ・シューティング・コンピュータ・ゲームであろう。この場合、ゲームにおいて、ユーザがカウボーイの決闘のために彼らの仮想銃を銃ケースに入れる。ある実施形態では、ユーザは制御デバイス１２を下方向６２、即ち、床に向けて狙いを定め、次いで表示画面１３に向けて狙いを定めることによって、彼らの銃を弾いて撃つことができる。これらは全て、仮想ゲームにおいてユーザ体験のためにシミュレートすることができる。ある実施形態では、ユーザ体験のために仮想ゲームにおいてシミュレートすることができる銃の撃鉄を起こすまたは銃に弾丸を詰め直すことのいずれかをシミュレートするために、 ユーザが制御デバイス１２を上方向６４に向けて狙いを定めてもよい。ジャイロ・センサは、画像プロセッサに接続することができ、その出力を電子デバイスに供給することができる。制御デバイスは、複数のジャイロ・センサを有し、複数の軸にわたって使用可能な入力を供給することができる。
【0105】
ジャイロ・センサは、制御デバイスが、例えば、逆さまに回転されたか否か検出することができ、したがって、正確な照準座標を提供し続けるためには、画像を垂直方向にひっくり返さなければならないことを、画像プロセッサに伝達することができる。
【0106】
図７ａを参照すると、テレビジョン表示画像／ピクチャ１０４を取り囲むテレビジョン・ベゼル１０２を含むテレビジョン１００が示されている。図７ｂおよび図７ｃを参照すると、表示コンテンツのエッジまたは角の周囲に境界１０６が追加されている。図７ｂに示すように、元の表示コンテンツ１０４が境界１０６内に収まるようにするために、サイズを変更することができる。境界は、本発明によれば、検出手段によって検出することができる。図７ｃを参照すると、境界を元のコンテンツの上に重ね合わせることもできる。
【0107】
境界
【0108】
図７ａ〜図７ｃを参照すると、アーチファクト、例えば、背景または境界を、表示コンテンツのエッジの周りに、またはその上に追加することができる。アーチファクトは、撮像検出手段によって検出することができ、画像認識を使用するソフトウェアによって検出することができ、形状、色、明度、またはパターンとすることができる。最も単純な例では、境界は、表示コンテンツのエッジの周りにおいて、設定された画素数の幅を有する無地一色とすることができるが、この例に限定されるのではない。追加のソフトウェア計算によって、画像認識は部分的な境界輪郭(border outline)にも作用することができる。これは、境界をユーザに見えにくくするためであってもよく、または境界の一部が撮像装置の視野から外れるからであってもよい。境界は、ソフトウェアにとって、表示エリアの矩形、正方形、および／または四角形状エッジ、したがって、表示エリアの角を識別することを一層容易にする。これが意味するのは、制御デバイスがディスプレイのどこを狙っているのか、精度を高め、信頼性を高め、高速化して判定できるということである。図７ｄ〜図７ｆを参照すると、境界を更に複雑にすることもできるので、画像検出手段の視野が境界全体を含まなくても、境界の内見える部分が、画像プロセッサにとって、それが見ることができる表示の部分を計算するために、十分な情報を含み続ける。
【0109】
図７ｄは、実質的に形状が矩形である八角形の境界の例を示す。これは、以上で説明したような四角形を検出するのと同様の画像処理アルゴリズムを使用して検出することができる。
【0110】
図７ｅは、取り込み画像において、ディスプレイの全体が見えない例を示す。ディスプレイは、図７ｄに示したものと同じ境界によって取り囲まれている。ディスプレイのエッジの中間点における追加の角が、ディスプレイ全体を見ることなく、照準線を計算することを可能にする。一例として、このような状況において識別された画素座標１１０を、図７ｆにおいて強調する。
【0111】
ある実施形態では、境界をパターン化することができ、画像処理アルゴリズムは、このパターンの画像認識によって、境界を識別することができる。この手法は、ノイズを除去することもでき、先に説明した形状および明度認識方法と併せて使用することもできる。
【0112】
偏光
【0113】
デバイスの性能は、偏光(light polarisation)を検出することができる撮像装置を使用することによって、向上させることができる。ＬＣＤテレビジョンおよび殆どの他の最新のディスプレイは、一方向に偏光された光を発する。図８ａおよび図８ｂを参照すると、表示画面の光の偏光方向を手作業で計算することにより、または自動的に検出することにより、撮像装置または画像プロセッサは、偏光されていない他の光、またはディスプレイと同じ方向に偏向されていない他の光を除外することができる。これによって、画像認識にノイズを混入させる望ましくない光を減らし、したがって性能を向上させる。この技法は、表示画面のエッジの周りに矩形の境界を追加する処理と組み合わせるときに、特に有効に作用することができる。矩形の境界が画像認識ソフトウェアによって検出されたときに、偏光を記録することができる。次いで、続く画像フレーム上において、同様の方向に偏光されていない光、または全く偏光されていない光を除外することができ、これによって境界を更に一層強調するのは当然である。撮像装置を回転させると、偏光方向はもはや正確でなくなるおそれがある。画像上において矩形境界のエッジを識別することができない場合、矩形境界のエッジを検出できるように、偏光の除外(exclusion)を中止する(remove)必要がある。しかしながら、新たな偏光方向を識別することができ、後続のフレーム上で再度除外を使用することができる。
【0114】
図８ａを参照すると、テレビジョン１００、テレビジョンの表示画像／ピクチャ１０４を取り囲むテレビジョン・ベゼル１０２が示されている。一例では、画像認識アルゴリズムを使用して処理するために、記録画像の準備を行うことができる(readied)。図８ｂを参照すると、優勢な偏光方向値がテレビジョン表示光の偏光方向と一致する画素からの光のみを維持するために、偏光画像フィルタ１０８が適所に配置されている。これによって、画像認識に関してノイズを混入させる(provide)望ましくない光を除去する強力なフィルタを設けることができる。
【0115】
図８ｂは、偏光に基づくフィルタリングが、どのようにして画像処理を著しく容易化、効率向上、高精度化、および信頼性向上させることができるかを示す。このプロセスは、必ずしもディスプレイの偏光(light polarisation)を変化させる必要はなく、既存の偏光(light polarisation)情報を単に活用することを伴うのでもよい。
【0116】
ディスプレイの偏光(light polarisation)、またはディスプレイの近傍にある他の光源の偏光(light polarisation)を変化させて、前述のプロセスを使用して機能向上を図ることも可能である。あるいは、ディスプレイの光は偏光されていないが、背景光の一部が偏光されている構成では、背景光の偏光(light polarisation)を利用して、撮像装置または画像処理からそれを除外することが可能である。あるいは、ディスプレイの光が１つの方向に偏光され、背景光が異なる方向に偏光されている場合、この情報を前述のように利用することも可能である。
【0117】
ある実施形態では、画像検出手段は、互いに隣接する２つのカメラを備えることもでき、一方のカメラが偏光フィルタを有し、他方のカメラには偏光フィルタがなく、ディスプレイの検出が、２つのカメラによって検出された画像の相対的明度を比較して、偏光光のフィルタリングのために一方の画像においてディスプレイがより明るくなることから、ディスプレイを検出する処理を含んでもよい。
【0118】
あるいは、偏光に基づくフィルタを適用する代わりに、各画素において画像検出手段によって検出された光の偏光を記録することによって、ディスプレイの検出を補助することも可能であろう。
【0119】
閉モード
【0120】
検出デバイスがディスプレイ・デバイスの近くで使用されている場合、撮像装置は、ディスプレイの中央付近に狙いを定めている時は、表示画面全体を見ることができるとして差し支えないが、エッジに狙いを定めている時、表示画面全体を見ることはできないのはもっともである。何故なら、表示画面の一部が撮像デバイスの視野から外れるからである。これが意味するのは、表示画面の矩形エッジの残り部分が画像の外側にある、ディスプレイ・エッジの部分的な矩形輪郭を識別できさえすればよい。画像認識ソフトウェアは、矩形が部分的な一致に過ぎないこと、そして矩形の残り部分は、取り込み画像のエッジの外側にあることを識別することができる。ソフトウェアは、矩形が、最後にキャプチャされて矩型全体が一致したときと同じサイズであると仮定することによって、矩型の他の角がどこにあり得るか推定することができる。撮像デバイスは、これが作用するためには、表示画面エッジの少なくとも１つの角を識別できなければならない。この特徴があれば、デバイスが、他の場合よりも、表示画面に近づいても動作することを可能にする。
【0121】
例１−ハードウェア・ガンマウス(Hardware GunMouse)
【0122】
これらの例（以下）において本明細書において制御デバイスと呼ぶのは、ガンマウスである。ガンマウス上にカメラを装着してもよく、またはガンマウスの前面に組み込んでもよい。ガンマウスは、画像プロセッサ、例えば、Ｒａｓｐｂｅｒｒｙ Ｐｉ、Ａｒｄｕｉｎｏ、またはこの目的のための特注コンピュータのような、小型コンピュータまたはシングル・ボード・コンピュータに接続してもまたは取り付けてもよい。
【0123】
ガンマウス内に配置されたこの小型コンピュータは、画像を処理し、表示画面、例えば、テレビジョン画面上においてカメラがどこを狙っているか解明することができる。次いで、小型コンピュータは画像を処理して、画像内においてディスプレイの４つの角を表す画像画素座標のアレイを計算する。画像画素座標のアレイを計算することによって、画像プロセッサは、次に、これらの座標をチェックし、画像の中心画像画素座標と比較することができるとして差し支えないので、ディスプレイ上のどこを制御デバイスが狙っているか判定し、これらをマウスの動きに変換することができ、主コンピュータのような電子デバイスに送ることができる。次いで、主コンピュータは、ガンマウスの照準線／位置が表示画面上のどこにあるか、標準的なマウス・カーソルのようなインディケータによって示すために出力信号を供給し、表示画面上にガンマウスの照準線／位置を表示することができる。表示画面上におけるガンマウスの照準線／位置は、取り込み画像の中心画像画素に等しくなることができる。大抵の場合、主コンピュータおよびガンマウスは、標準的なＵＳＢ接続を通じて接続される。
【0124】
ガンマウスは、主コンピュータに、ＨＩＤ規格のような、標準的なマウス通信インターフェースを使用して通信する。この例において説明するバージョンは、通常のマウス以外のドライバを全く必要とせず、通常のマウスを使用することができるものであれば、いずれにも容易に使用することができる。ガンマウスは、その電力を、主コンピュータへのＵＳＢ接続を通じて受ける。
【0125】
例２−ソフトウェア・ガンマウス
【0126】
このバージョンと例１との相違は、カメラ・フィードが主コンピュータに供給され、主コンピュータ上のカスタム・ソフトウェア／ドライバによって処理されることである。ソフトウェアが、マウスが表示画面上のどこを狙っているか解明したなら、主コンピュータのオペレーティング・システムとインターフェースして仮想マウスを作成する。すると、仮想マウスは動くことができ、通常のマウスと丁度同じように、全てのアプリケーションにおいて使用することができる。
【0127】
あるいは、主コンピュータが、計算したターゲット・マウス座標を逆にガンマウスに供給することもでき、例１と同様の標準的なマウス信号として、それらを主コンピュータに受け戻すようにすることができる。
【0128】
トリガおよび任意の追加のボタン／コントロール／相互作用は、ガンマウス内に配置された小型シリアルＧＰＩＯボードを通じて送られる。このシリアルＧＰＩＯボードは、主コンピュータに接続されてもよい。カメラおよびＧＰＩＯボードの双方は、最もありそうなのは１つのＵＳＢ接続によって、主コンピュータに接続することができる。主コンピュータ上のカスタム・ソフトウェア／ドライバは、トリガおよびボタン・クリック／コントロール動作を処理し、関連する仮想マウス・アクションを実行し、またはこれらをガンマウスにフィードバックすることができ、通常のマウスおよび／またはキーボードおよび／またはジョイスティック信号として、主コンピュータに逆向きに出力することができる。
【0129】
ガンマウスは、ガンマウスが実際には画面から多少外れて狙っているか否か、そしてどちらの方向に狙いを定めているか、主コンピュータに伝達することができる。この情報は、追加の機能のために利用することができ、例えば、トリガ・イベントとの組み合わせのときに、例えば、コンピュータ・ゲームの銃に弾を詰め直すために、利用することができる。これは、画面外再装填(off-screen reload)として知られている。
【0130】
例３−マウス座標
【0131】
座標を計算するとき、ガンマウスは、画面の解像度もアスペクト比も知らないので、主に水平および垂直百分率を処理する。ＨＩＤマウス規格は、これらの絶対百分率に対応する(support) 。例えば、（０，０）は、ディスプレイの左上を表し、（６５５３５，６５５３５）は、右下を表す。画面の中央周囲にガンマウスの照準が定められた場合、５０％のｘ水平百分率および５０％のｙ垂直百分率が与えられ、表示画面の中心は、（３２７６７，３２７６７）絶対座標として、主コンピュータに伝えられる。ソフトウェアが水平および垂直百分率を解明したなら、これを６５５３５の百分率として受け渡すことができる。次いで、主コンピュータのオペレーティング・システムは供給された絶対マウス座標を使用して、マウス・カーソルを画面上の正しい位置に動かすことができる。この例では、これは表示の中心である。
【0132】
しかしながら、デバイス／コンピュータの中には、絶対マウス座標に適正に対応できないものもある。ガンマウスは、相対的マウス座標を使用するように構成することができるが、水平および垂直方向の総画素数を知る必要がある場合もある。先の例２において説明したソフトウェアのガンマウス上では、これは主コンピュータ上で検出することができるるので、マウスを動かすために容易に利用することができる。
【0133】
例１において説明したハードウェア・マウスについては、何らかの方法でこれを入力しなければならない場合がある。例えば、ガンマウス上のコントロール、主コンピュータとガンマウス・コンピュータとの間において設定値を受け渡すための接続ケーブル、またはガンマウス上のＳＤカード・スロットにおいて、ユーザはＳＤカード上の設定値を変更することができる。
【0134】
例４−最新ゲーミング用ガンマウス
【0135】
ガンマウスを、コンピュータ・ゲームにおける他のゲーム・コントローラと組み合わせて使用することが可能な場合もある。実例をあげると、ユーザが、一方の手でジョイスティックを使用して３Ｄ一人称視点コンピュータ・プレーヤを動かし、他方の手でガンマウスを使用してターゲットを狙撃するということも可能な場合もあるであろう。ガンマウスは、いずれのコンソール・ゲームおよびＰＣゲームとも互換性を保持することができる。制御デバイスは、他のアクセサリ品目、例えば、ペダルのようなゲーミング・アクセサリと相互作用するように構成することもできる。
【0136】
例５−旧来のライトガン・コンピュータ・ゲームのプレー
【0137】
ガンマウスを主コンピュータに接続し、マウス入力を供給することができる。主コンピュータは、旧来のまたは古いコンピュータ・ゲームを実行することができるエミュレーション・ソフトウェアを実行することができる。旧来のコンピュータ・ゲームのエミュレータの標準的な機能では、ライトガン・ゲームをマウスによって制御することができる。これは、旧来のライトガン技術は最新のディスプレイ・デバイス上では動作しないからである。これはプレーするための代替方法であるが、ユーザにとってさほど面白くない。
【0138】
ガンマウスは、マウスとして解釈されるので、このソフトウェアと一緒に使用することができる。すると、ユーザの対話処理は、ライトガンと共に追加の外部ハードウェアを使用する必要がなく、較正も必要ないことから、旧来のライトガンと全く同じになる。この方がユーザにとって面白く、しかも元のユーザ体験と同様のユーザ体験が得られる。
【0139】
ガンマウスをマウスとして構成すると、ディスプレイにおいてそれが狙っているところと常に一致してマウス・カーソルを動かすように、またはトリガが発動された(actioned) ときだけカーソルを動かすように、構成することができる。トリガが発動されたときに動かす場合、マウス・カーソルは、トリガが発動されたときに最初に動かされ、次いでマウス・クリック・イベントが入力される(applied)。旧来のライトガン・ゲームの中には、移動カーソルを常に表示して銃が狙っているところを表すものもあり、更に旧来のライト・ゲーム(light game)の中には、トリガが発動されたときにのみゲームと相互作用するものもあるので、これら２つのモードは有用である。後者の場合、銃が狙っているところを示すカーソルを有するとすると、これは元のユーザ体験とは異なってしまう。しかしながら、ユーザには、そのモードでプレーしたいか否かについて選択肢がある。
【0140】
表示画面上にカーソルまたはクロスヘアを表示するのは必須でなくてもよい。何故なら、コンピュータは、それがなくても、ガンマウスと相互作用し続けることができるからである。これはユーザの好みである。
【0141】
例６−プレゼンテーション、訓練、および教育におけるガンマウス
【0142】
ガンマウスは、コンピュータ・ゲームをプレーするために使用することができるが、ガンマウスは、多くの新たな方法でコンピュータと対話処理する機会を与えることもできる。例えば、ユーザは、関心を高めるために、コンピュータ・プレゼンテーションにガンマウスを利用することができる。随意に、ユーザは、会社の事業目標が達成されたときに、ガンマウスを使用して、この目標を表すターゲットを打ち落としてもよい。
【0143】
ガンマウスは、実世界の相互作用を仮想的にシミュレートする新たな方法を提供することができるので、訓練および教育に使用することもできる。
【0144】
尚、画像検出手段および／または画像プロセッサの数は実質的に変化してもよいことは認められよう。また、制御デバイス上における追加のボタンの数も、実質的に変化してもよい。画像プロセッサによって処理される座標のアレイは、実質的に変化することができる。
【0145】
本発明の種々の他の態様および実施形態は、本開示を検討すれば、当業者には明白であろう。
【0146】
本明細書において言及した全ての文書は、引用したことによりその全体が本願にも含まれるものとする。
【0147】
「中心画素座標」(centre pixel coordinate)および「取り込み画像の中心の画像画素座標」(image pixel coordinates of the centre of the captured image)という語句は、本明細書において定義する場合、画像が表示されているディスプレイの両端(extremes)に向かわない、所与の画像上における任意の画素座標を意味すると捉えるものとし、画像の中心そのものの画素座標を意味すると解釈してはならない。
【0148】
「表示」(display)という用語は、本明細書において定義する場合、コンテンツが標示されるディスプレイ・デバイスのエリアを意味すると捉えるものとし、例えば、テレビジョン画面を取り囲む物理的境界を含まない。
【0149】
「境界」という用語は、本明細書において定義する場合、ディスプレイ・デバイスの表示に適用される任意のアーチファクトであって、そのディスプレイ・デバイスの表示の少なくとも一部を完全に取り囲む任意のアーチファクトを意味すると捉えるものとする。同様に、「部分的境界」という用語は、本明細書において定義する場合、ディスプレイ・デバイスの表示の少なくとも一部を部分的に取り囲む、そのような任意のアーチファクトを意味すると捉えるものとする。このような境界および部分的境界は、必ずしも連続でなくてもよく、例えば、表示の一部分を取り囲むまたは部分的に取り囲むために適用される破線を含んでもよい。
【0150】
「および／または」は、本明細書において使用するとき、２つの指定された特徴または構成要素の各々の、他方を含めるまたは含めない、特定的な開示と捉えるものとする。例えば、「Ａおよび／またはＢ」は、（ｉ）Ａ、（ｉｉ）Ｂ、ならびに（ｉｉｉ）ＡおよびＢの各々が本明細書において個々に明示されるかのように、各々の特定的な開示と捉えるものとする。
【0151】
文脈上別異の明確な指示がない限り、以上で明示された特徴の説明および定義は、本発明のいずれの特定の態様にも実施形態にも限定されず、説明した全ての態様および実施形態に等しく該当する。
【0152】
「備える」(comprising)という用語は、「含む」(including)および「から成る」(consisting)も包含する。例えば、Ｘを「備える」という作文(composition)は、Ｘのみから成るのでもよく、または追加の何か、例えば、Ｘ＋Ｙを含んでもよい。
【0153】
「実質的に」(substantially)という単語は、「完全に」を除外しない。例えば、「実質的にＹがない」という作文は、完全にＹがないのでもよい。必要な場合、「実質的に」という単語を本発明の定義から除外してもよい。
【0154】
数値ｘに関する「約」(about)という用語は、随意であり、例えば、ｘ±１０％を意味する。
【0155】
更に、様々な実施形態を参照しながら本発明について一例として説明したが、本発明は開示した実施形態には限定されないこと、そして添付した請求項において定められる通りの本発明の範囲から逸脱することなく、代替実施形態も構築できることは、当業者には認められよう。
【図1】
【図2a】
【図2b】
【図3a】
【図3b】
【図3c】
【図3d】
【図3e】
【図4】
【図5a】
【図5b】
【図5c】
【図5d】
【図5e】
【図5f】
【図5g】
【図5h】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図7F】
【図8A】
【図8B】
【国際調査報告】