特許 7502412 鏡面を検出するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-10

(45)【発行日】2024-06-18

(54)【発明の名称】鏡面を検出するシステム及び方法

(51)【国際特許分類】

   G01V 8/12 20060101AFI20240611BHJP

【ＦＩ】

G01V8/12 G

【請求項の数】 20

(21)【出願番号】P 2022505568

(86)(22)【出願日】2020-08-03

(65)【公表番号】

(43)【公表日】2022-10-14

(86)【国際出願番号】 US2020044789

(87)【国際公開番号】W WO2021026092

(87)【国際公開日】2021-02-11

【審査請求日】2023-07-05

(31)【優先権主張番号】62/883,995

(32)【優先日】2019-08-07

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/555,897

(32)【優先日】2019-08-29

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】511077292

【氏名又は名称】ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】スミス ジョン デヴィッド

【審査官】佐々木 崇

(56)【参考文献】

【文献】特表２０１７－５２８７７９（ＪＰ，Ａ）

【文献】特開２００６－２５８６５１（ＪＰ，Ａ）

【文献】特表２０１７－５２３３９３（ＪＰ，Ａ）

【文献】特表２０１２－５０１５８８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１２１７４６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０２５３４２８（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０８２２６９５３（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｇ １／００－３３／００

Ａ６３Ｊ １／００－９９／００

Ａ６３Ｋ １／００－９９／００

Ｇ０１Ｖ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

鏡面を検出するシステムであって、
ゲスト活動を容易にするように構成されたエリアと、
前記エリアから鏡面を含む物体をゲストが保持又は着用しており、第２の鏡面を含む第２の物体を第２のゲストが保持又は着用している兆候を含むような画像データを取り込むように構成されたイメージセンサと、
第１の位置から前記エリア内に第１の光を放射するように構成された第１の発光体と、
第２の位置から前記エリア内に第２の光を放射するように構成された第２の発光体と、
制御回路と、
を備え、前記制御回路は、
前記第１の発光体がアクティブであって前記第２の発光体が非アクティブである間に前記イメージセンサから第１の画像データを取得し、
前記第２の発光体がアクティブであって前記第１の発光体が非アクティブである間に前記イメージセンサから第２の画像データを取得し、
前記第１の画像データ及び前記第２の画像データを処理して、閾値距離内にある輝点の対を含む前記第１の画像データと前記第２の画像データとの間の非重複画像データを、前記鏡面が前記ゲストによって保持又は着用されているものとして識別し、
前記非重複画像データに基づいて、前記エリア内の前記鏡面の位置を識別し、
前記鏡面の位置に基づいて、アニメフィギュアの動きを作動させる、
ように構成される、
ことを特徴とするシステム。

【請求項2】

前記エリア内に基準レベルの光を供給するように構成された第３の発光体を備える、
請求項１に記載のシステム。

【請求項3】

前記イメージセンサは、赤外光を取り込むように構成されたカメラを含み、前記第１の光及び前記第２の光は赤外光である、
請求項１に記載のシステム。

【請求項4】

前記制御回路は、前記第１の発光体及び前記第２の発光体を前記カメラのフレームレートと同期して交互に作動させるように構成される、
請求項３に記載のシステム。

【請求項5】

前記制御回路は、前記非重複画像データを識別するために、前記第１の画像データと前記第２の画像データとの間で色値を減算することによって前記第１の画像データ及び前記第２の画像データを処理するように構成される、
請求項１に記載のシステム。

【請求項6】

前記色値を減算することは、画素毎に互いの閾値範囲内の値を相殺することを含む、
請求項５に記載のシステム。

【請求項7】

前記制御回路は、プロセッサと、該プロセッサによって処理された時に前記イメージセンサの制御又は該イメージセンサとの通信を実行する命令を記憶するメモリとを含む、
請求項１に記載のシステム。

【請求項8】

前記動きは、前記アニメフィギュアが前記鏡面の位置に向かってジェスチャすることを含む、
請求項１に記載のシステム。

【請求項9】

前記制御回路は、前記イメージセンサと一体化された第１の制御回路を含む、
請求項８に記載のシステム。

【請求項10】

前記制御回路は、
前記第１の画像データの一部の画素値と前記第２の画像データの対応する部分の画素値とを比較して、前記第１の画像データの前記一部の前記画素値と前記第２の画像データの前記対応する部分の前記画素値とが閾値を上回る相違を有しているかどうかを判定し、
前記相違が前記閾値を上回っているとの判定に応答して、前記第１の画像データの前記一部及び前記第２の画像データの前記対応する部分を前記非重複画像データとして識別する、
ことによって前記非重複画像データを識別するように構成される、請求項１に記載のシステム。

【請求項11】

前記制御回路は、
第３の画像データ及び第４の画像データを処理して、前記エリア内の鏡面の不在を示す空白画像を識別し、
前記アニメフィギュアを停止させる信号又は前記アニメフィギュアの前記動きを作動させない信号を送信する、
ように構成される、請求項１に記載のシステム。

【請求項12】

前記制御回路は、
前記第３の画像データと前記第４の画像データとの間で色値を減算して、前記第３の画像データの画素値と前記第４の画像データの画素値とが閾値を上回る相違を有しているかどうかを判定し、
前記相違が前記閾値を上回っていないとの判定に応答して、前記エリア内の鏡面の不在を示す前記空白画像を生成する、
ことによって前記第３の画像データ及び前記第４の画像データを処理するように構成される、請求項１１に記載のシステム。

【請求項13】

鏡面を検出する方法であって、
イメージセンサを使用して、ゲストを含むエリアから画像データを取り込むことと、
第１の位置に配置された第１の発光体から前記エリア内に第１の光を放射することと、
第２の位置に配置された第２の発光体から前記エリア内に第２の光を放射することと、
前記第１の発光体がアクティブであって前記第２の発光体が非アクティブである間に前記イメージセンサから第１の画像データを取得することと、
前記第２の発光体がアクティブであって前記第１の発光体が非アクティブである間に前記イメージセンサから第２の画像データを取得することと、
前記第１の画像データ及び前記第２の画像データを処理して、該第１の画像データと該第２の画像データとの間の非重複画像データを含まない空白画像を識別したことに応答して、制御回路を使用して特殊効果の生成を防ぐことと、
を含むことを特徴とする方法。

【請求項14】

第３の画像データ及び第４の画像データを処理して、該第３の画像データと該第４の画像データとの間の前記非重複画像データを、前記ゲストによって保持又は着用されている鏡面として識別することを含む、
請求項１３に記載の方法。

【請求項15】

前記第３の画像データ及び前記第４の画像データは、それぞれ少なくとも１つの画素群を含み、前記第３の画像データ及び前記第４の画像データを処理して前記非重複画像データを識別することは、前記非重複画像データを識別するために処理される前記第３の画像データと前記第４の画像データとの対応する画素群間で色値を減算することを含む、
請求項１４に記載の方法。

【請求項16】

前記非重複画像データに基づいて、前記ゲストによって保持又は着用されている前記鏡面の位置を識別することを含む、
請求項１４に記載の方法。

【請求項17】

前記鏡面の前記位置に基づいて前記特殊効果を作動させることを含み、前記特殊効果は、前記ゲストによって保持又は着用されている前記鏡面の前記位置に向かってアニメフィギュアがジェスチャすることを含む、
請求項１６に記載の方法。

【請求項18】

鏡面を検出してアニメフィギュアを作動させるシステムであって、
ゲストによって保持又は着用された鏡面を含む物体を有するエリアから画像データを取り込むように構成されたイメージセンサと、
第１の位置から前記エリア内に第１の光を放射するように構成された第１の発光体と、
第２の位置から前記エリア内に第２の光を放射するように構成された第２の発光体と、
制御回路と、
を備え、前記制御回路は、
前記第１の発光体がアクティブであって前記第２の発光体が非アクティブである間に前記イメージセンサから第１の画像データを取得し、
前記第２の発光体がアクティブであって前記第１の発光体が非アクティブである間に前記イメージセンサから第２の画像データを取得し、
前記第１の画像データ及び前記第２の画像データを処理して、該第１の画像データと該第２の画像データとの間の非重複画像データを識別し、
所定の閾値との比較に基づいて、前記非重複画像データが前記鏡面に対応すると判定し、
前記鏡面の位置に基づいて効果を制御する、
ように構成されるシステム。

【請求項19】

前記効果は、前記位置に向かってジェスチャを実行するようにアニメフィギュアを作動させることを含む、
請求項１８に記載のシステム。

【請求項20】

前記制御回路は、前記画像データをメモリに記憶するように構成され、前記メモリに記憶された前記画像データは、グラフィカルユーザインターフェイス上に表示することができる、
請求項１８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願との相互参照〕
本出願は、２０１９年８月７日に出願された「鏡面を検出するシステム及び方法（ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＳＰＥＣＵＬＡＲ ＳＵＲＦＡＣＥＳ）」という名称の米国仮出願第６２／８８３，９９５号の利益を主張するものであり、この文献はその全体が全ての目的で引用により組み入れられる。

【背景技術】

【0002】

２０世紀初頭以来、遊園地（又はテーマパーク）の人気は大きく高まってきた。このため、遊園地に関する需要は増加し、これに伴って競争も激化してきた。従って、より楽しいインタラクティブなアトラクションを遊園地に追加することが望ましい。遊園地での時間全体にわたってゲストを楽しませることが遊園地事業体の優先課題である。乗り物及びショーのような大規模アトラクションは遊園地のトラフィックを高める傾向にあるものの、ゲストの体験をいっそう忘れられないものにする他のアトラクションでゲストを引き付け、魅了し、興味を持たせ続けることが必要とされている。従って、遊園地における相互作用を高める技術が望ましいと認識されている。

【発明の概要】

【課題を解決するための手段】

【0003】

以下、本明細書に開示するいくつかの実施形態の概要を示す。これらの態様は、読者にこれらのいくつかの実施形態の要約を示すものにすぎず、本開示の範囲を限定するものではないと理解されたい。実際には、本開示は、以下では示していないこともある様々な態様を含むことができる。

【0004】

本開示の実施形態によれば、鏡面を検出するシステムが提供される。システムは、エリアから画像データを取り込むように構成されたイメージセンサと、第１の位置からエリア内に第１の光を放射するように構成された第１の発光体と、第２の位置からエリア内に第２の光を放射するように構成された第２の発光体と、制御回路とを含む。制御回路は、第１の発光体がアクティブであって第２の発光体が非アクティブである間にイメージセンサから第１の画像データを取得するように構成される。さらに、制御回路は、第２の発光体がアクティブであって第１の発光体が非アクティブである間にイメージセンサから第２の画像データを取得するように構成される。さらに、制御回路は、第１の画像データ及び第２の画像データを処理して、第１の画像データと第２の画像データとの間の非重複画像データを鏡面として識別するように構成される。

【0005】

本開示の実施形態によれば、鏡面を検出する方法が提供される。方法は、イメージセンサを使用してエリアから画像データを取り込むことと、第１の位置の第１の発光体からエリア内に第１の光を放射することと、第２の位置の第２の発光体からエリア内に第２の光を放射することと、第１の発光体がアクティブであって第２の発光体が非アクティブである間にイメージセンサから第１の画像データを取得することと、第２の発光体がアクティブであって第１の発光体が非アクティブである間にイメージセンサから第２の画像データを取得することと、制御回路を使用して第１の画像データ及び第２の画像データを処理して、第１の画像データと第２の画像データとの間の非重複画像データを鏡面として識別することとを含む。

【0006】

本開示の実施形態によれば、鏡面を検出してアニメフィギュアを作動させるシステムが提供される。システムは、エリアから画像データを取り込むように構成されたイメージセンサと、第１の位置からエリア内に第１の光を放射するように構成された第１の発光体と、第２の位置からエリア内に第２の光を放射するように構成された第２の発光体と、制御回路とを含む。制御回路は、第１の発光体がアクティブであって第２の発光体が非アクティブである間にイメージセンサから第１の画像データを取得するように構成される。制御回路は、第２の発光体がアクティブであって第１の発光体が非アクティブである間にイメージセンサから第２の画像データを取得するようにも構成される。さらに、制御回路は、第１の画像データ及び第２の画像データを処理して、第１の画像データと第２の画像データとの間の非重複画像データを鏡面として識別するように構成される。システムは、所定の閾値との比較に基づいて、第１の画像データと第２の画像データとの間の非重複画像データが鏡面に対応すると判定し、鏡面の位置に基づいて効果を制御するようにさらに構成される。

【0007】

全体を通じて同じ要素を同じ記号で示す添付図面を参照しながら以下の詳細な説明を読めば、本開示のこれらの及びその他の特徴、態様及び利点がより良く理解されるであろう。

【図面の簡単な説明】

【0008】

【図1】本開示の実施形態による、効果を制御するために実装されるように構成された鏡面検出システムの概略図である。

【図2】本開示の実施形態による、動作中の鏡面検出システムの概略図である。

【図3】本開示の実施形態による、鏡面を識別する際に適用される画像解析プロセスの概略図である。

【図4】本開示の実施形態による、検出された鏡面の方向にジェスチャを行うアニメフィギュアを含むシステムの概略図である。

【発明を実施するための形態】

【0009】

本開示の実施形態は、エリア内の鏡面又は反射面（例えば、光沢のある物体）を検出し、鏡面の検出に応答して特殊効果（例えば、アニメフィギュア）を引き起こすように動作する。１つの実施形態では、異なる光源からの光を標的エリア内に放射し、取得された標的エリアの画像を解析して鏡面の位置情報を提供することができる。このような位置情報を使用して、検出された鏡面の位置を標的とする形で特殊効果を作動させることができる。例えば、鏡面反射物体（例えば、光沢のある時計又はコイン）が存在するものとして識別された一般方向にジェスチャするようにアニメフィギュアを作動させることができる。

【0010】

本開示の様々な実施形態の要素を紹介する場合、「ａ」、「ａｎ」、「ｔｈｅ」及び「ｓａｉｄ」といった冠詞は、これらの要素が１つ又は２つ以上存在することを意味するものとする。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」及び「有する（ｈａｖｉｎｇ）」という用語は、包括的なものとして意図されており、列記する要素以外のさらなる要素が存在し得ることを意味する。以下、本明細書で説明する本実施形態の１又は２以上の具体的な実施形態について説明する。これらの実施形態を簡潔に説明するために、本明細書では実施の特徴を全て説明しているわけではない。なお、いずれかの工学又は設計プロジェクトに見られるいずれかのこのような実施の開発では、実装によって異なり得るシステム関連及びビジネス関連の制約の順守などの開発者の特定の目的を達成するために数多くの実装固有の決定を行わなければならない。さらに、このような開発努力は複雑で時間が掛かる場合もあるが、本開示の恩恵を受ける当業者にとっては設計、製作及び製造という日常的な取り組みである。

【0011】

ある実施形態によれば、システムが、赤外光を検出するように構成されたカメラと、赤外光のフラッシュをエリア内に放射するように構成された２つの赤外光源とを含む。２つの赤外光フラッシュ源は、各放射光の経路内の物体上で観察される閃光（ｇｌｉｎｔ）（光が鏡面から跳ね返ることによって生じる高強度の反射光）が物体の表面上の異なる位置を占めるように、間に十分な距離を置いて配置することができる。光は、所与のカメラフレーム（カメラによって取り込まれる画像）に合わせて光の放射を交互させるように、カメラのフレームレートと同期して作動（例えば、オン及びオフ）される。このようにすると、近い時点でカメラによって取り込まれた画像が異なる配置の照明源を有するようになる。さらに、これらの２つの光源は、放射光の経路内の物体が赤外光を受け取った時にこの物体が光の閃光を反射するように配置される。赤外光を取り込むことができるカメラは、各光源から照射される赤外光の閃光と同期してエリアの画像が取り込まれるように構成される。カメラは、各光学画像に取り込まれた光を電気信号（例えば、画像を提供する一連の画素色値）に変換するように動作した後に連続画像データ（例えば、一定時間にわたって取り込まれた一連の画像）をプロセッサに送信するイメージセンサを有する。プロセッサは、画像減算を使用して、隣接又は連続する画像の非重複画像データを識別する。プロセッサは、非重複画像データを識別した後に、カメラによって観察可能なエリア内の非重複画像データの位置（例えば、２次元位置）を特定する命令をアルゴリズムから受け取ることもできる。プロセッサは、非重複画像データの位置を識別した後に、この位置をデータとして特殊効果コントローラ（例えば、アニメフィギュアコントローラ）に送信することもできる。特殊効果コントローラは、例えば効果が向けられる方向を制御することができる。例えば、アニメフィギュアに、カメラによって鏡面が検出されたエリアに向かってジェスチャを実行するように指示することができる。従って、本実施形態によれば、鏡面検出システムが、鏡面反射物体からの反射光の閃光を使用することによって鏡面反射物体の相対的な位置付けを検出して、一般的な又は特定の位置における光沢のある物体とみなすことができるものを識別するように設計される。さらに、本実施形態によれば、一般的な又は特定の位置情報に基づいて特殊効果を作動させることもできる。

【0012】

図１は、遊園地におけるアニメフィギュアなどのインタラクティブ効果によってゲストを楽しませる環境を提供するために実装される鏡面検出システム１００の概略図である。図示のように、鏡面検出システム１００は、第１の発光体１０４と、第２の発光体１０６と、フラッシュコントローラ又はシンクロナイザ１０８と、カメラ１１０と、カメラコントローラ１１２と、１又は複数のプロセッサ１１４（例えば、画像プロセッサの組）と、メモリ１１６と、検出された鏡面の位置に基づいて効果１２０を制御する効果コントローラ１１８とを含む。図示の実施形態では、第１の発光体１０４及び第２の発光体１０６（発光体１０４、１０６）が、赤外光を放射するように構成される。しかしながら、他の実施形態では、発光体１０４、１０６が可視光及び／又は赤外光を放射することもできる。さらに、図示の発光体１０４、１０６のいずれかは、複数の発光体を表すこともできる。例えば、１つの実施形態では、発光体１０４が、赤外線閃光（例えば、光沢のある物体から強く反射された光）の提供を容易にするために使用される赤外線発光体と、照度を変化させることによって生じることがあるノイズを相殺するために環境に光（例えば、赤外線又は可視光）を浴びせるさらなる発光体とを含むことができる。他の実施形態では、様々な位置の多くの発光体を採用することができる。

【0013】

他の実施形態では、影などから生じることがあるノイズを相殺する基準光レベルを提供するために、別の発光体又は第３の発光体１２４を利用することもできる。このリング光とすることができる第３の発光体１２４は、発光体１０４、１０６によって生じることがある影を排除するのに役立つように、カメラ１１０のレンズの軸の周囲に取り付けることができる。第３の発光体１２４は、発光体１０４、１０６がカメラ１１０のフレームレートと同期して交互に点滅している間に常に赤外光を放射していることができる。第３の発光体１２４は、カメラ１１０の視点から、より均一に照明された画像を生成するのに役立つとともに、より均一な背景光を提供することによって、鏡面検出システム１００が鏡面を識別するのを支援することができる。

【0014】

鏡面検出システム１００、シンクロナイザ１０８、カメラコントローラ１１２及び効果コントローラ１１８は、それぞれ独立した装置とすることも、又はシステムコントローラ１２２などの単一の装置の機能面とすることもできる。さらに、図示の実施形態のように、システムコントローラ１２２は、プロセッサ１１４及びメモリ１１６を含むこともできる。独立装置であるか、それとも単一の装置の側面であるかにかかわらず、これらの特徴及びそれぞれの機能については別々に説明する。シンクロナイザ１０８は、所与のカメラフレームにおいて２つの発光体１０４、１０６の一方からの光が反射されて２つの発光体１０４、１０６の他方からの光が反射されないように、２つの発光体１０４、１０６の交互作動をカメラコントローラ１１２と同期させることができる。この同期は、発光体１０４、１０６の電源スイッチを交互に作動させることによって、或いは発光体１０４、１０６がそれぞれ交互にアクティブ及び非アクティブになるように別様に制御することによって行うことができる。カメラコントローラ１１２は、カメラ１１０のフレームレートを制御することができ、この制御はシンクロナイザ１０８からの命令に基づいて行うことができる。カメラコントローラ１１２は、カメラ１１０と一体であることも、又は別の装置の一部であることもできる。効果コントローラ１１８は、位置情報を受け取り、位置情報に基づいて効果１２０を開始することができる。例えば、効果コントローラ１１８は、位置情報に基づいて特定の形で作動するように効果１２０（例えば、ロボットアーム、ディスプレイ画面、ライトショー、花火）を制御する回路、又はコンピュータ可読媒体に記憶されたこのような命令を含むことができる。効果コントローラ１１８は、効果１２０の作動方向、効果の表示速度、又は効果１２０の作動タイプなどを制御することができる。

【0015】

システムコントローラ１２２は、シンクロナイザ１０８、カメラコントローラ１１２、プロセッサ１１４、メモリ１１６及び効果コントローラ１１８を含み、又はこれらを制御することができる。しかしながら、他の実施形態では、これらの機能のうちの１つ又は２つ以上を別のコンポーネントとすることもできる。１又は２以上のプロセッサを表すプロセッサ１１４は、画像減算法及び／又はその他の画像比較法を実行するように備えられた回路を含むことができる。１つの実施形態では、プロセッサ１１４が、プロセッサ１１４などの処理回路が実行できる命令を記憶するように構成された１又は２以上の有形の非一時的コンピュータ可読媒体を表すメモリ１１６に記憶された命令に基づいて動作する。これらの命令は、画像減算法及び／又はその画像比較法を実行して鏡面を識別するように構成された１又は２以上のアルゴリズム又は回路を含むことができる。具体的には、１又は２以上のアルゴリズムは、２つの発光体１０４、１０６の異なる照明構成に起因して画像内で重複しない閃光を識別するために、カメラ１１０によって連続して取り込まれた画像から重複画像を減算するように動作することができる。以下でさらに詳細に説明するように、これらのアルゴリズムは、画素毎の比較を実行して、わずかな色の相違がある情報が含まれるのを避けるために、閾値色値内の画素を検討から除外することができる。この理由は、たとえ２つの発光体１０４、１０６からの異なる光を反射する鏡面が存在しない場合でも、位置によっては若干の色（例えば、光量）の変動が発生するからである。なお、本開示において説明する画素は、画像内の空間の視覚的側面に関する情報を広く含み、必須ではないが物理的画面の物理的画素を含むことができる。

【0016】

図２は、ある実施形態による動作中のシステム１００の概略図である。具体的には、図示の実施形態では、第１の発光体１０４及び第２の発光体１０６が空間２００内に光を投影している。説明を容易にするために、発光体１０４、１０６から空間２００内に投影される光線は起源光（ｏｒｉｇｉｎａｔｉｏｎ ｌｉｇｈｔ）２０２と呼ぶことができる。次に、この起源光２０２は、空間２００内の物体からリダイレクト（例えば、反射）される。説明を容易にするために、リダイレクトされる光線はリダイレクト光２０４と呼ぶことができる。リダイレクト光２０４の一部は、カメラ１１０によって画像データとして取り込まれる。起源光２０２は実線で示しており、反射光２０４は破線で示している。具体的には、図２では、第１のユーザ２０６が葉っぱ２０８を保持しており、第２のユーザ２１０が光沢のあるコイン２１２を保持している。葉っぱ２０８は非鏡面反射物体であり、光沢のあるコイン２１２は鏡面反射物体である。

【0017】

葉っぱ２０８は非鏡面反射性であるため、起源光２０２は、葉っぱ２０８にぶつかると、リダイレクト光２０４として大きく分散する。このことを、葉っぱ２０８から延びる数多くのリダイレクト光２０４のビームによって示す。この分散により、カメラ１１０によって時間的に近接して取り込まれた画像は、たとえ２つの発光体１０４、１０６のうちの異なる発光体がアクティブである間に取り込まれたとしても実質的に異ならない。例えば、（例えば、閃光が生じるような）光の反射が非常に少ないので、発光体１０４、１０６によって提供される異なる照明で取得される画像の色の相違は限られる。さらに、カメラ１１０によって何らかの相違が取り込まれる可能性はあるものの、リダイレクトされる照明の相違はこのように限られているため、画像内の画素値（例えば、色又は輝度値）は閾値を上回って変動しない。一方で、光沢のあるコイン２１２は鏡面反射物体であるため、２つの発光体１０４,１０６のどちらがアクティブである（例えば、起源光２０２の全部又は実質的に全部を提供している）かに応じて、時間的に近接して取り込まれた画像内に異なるグレアを形成する。例えば、各発光体１０４、１０６からのリダイレクト光２０４は、図２のカメラ１１０に向かっているように示すリダイレクト光２０４のビームによって示すように、コイン２１２によってより強く集中する。この原因は、光沢のあるコイン２１２の鏡面反射性にある。この集中光（又はグレア）は、時間的に近接して異なる照明で取り込まれた光沢のあるコイン２１２の画像間に実質的な照明差及び異なる画素値をもたらす。これらの画像データとして取り込まれた照明差は、光沢のあるコイン２１２が鏡面として検出されることを容易にする。

【0018】

図示の実施形態では、システム１００が、発光体１０４、１０６が同じ形で同時に光を放射しないように動作する。所与のフレーム（画像取り込みフレーム）には、発光体１０４、１０６の一方のみからの光が少なくとも優勢的に存在する。このことを、発光体１０４、１０６の非同期作動と呼ぶことができ、この場合、発光体１０４、１０６の一方がアクティブ（例えば、オン）であり、他方が非アクティブ（例えば、オフ）である。この状態は、ある実施形態によれば、カメラ１１０によって画像が取り込まれている時間枠中に一方のみがアクティブである（例えば、相当量の光を放射する）ように発光体１０４、１０６を制御することによって達成される。この制御は、カメラコントローラ１１２又はシステムコントローラ１２２などによって行うことができる。動作時には、この制御が、発光体１０４、１０６の一方がオフであり他方がオンであることを含むことができる。しかしながら、この制御は、発光体１０４、１０６の一方が制限されており（例えば、わずかな量の光を提供しており）他方がアクティブである（例えば、相当量の光を提供している）ことを含むこともできる。

【0019】

カメラ１１０は、そのフレームレートによって決定されるレートで画像を取り込み、電気信号を介して画像プロセッサ１１４に画像を送信する。画像プロセッサ１１４は、受け取った連続画像に対して画像減算を実行する。画像減算は、１つの画像の画素又は画素群のデジタル値を別の画像の画素又は画素群のデジタル値から減算するプロセスである。本実施形態では、物体の動きの追跡、又は画像内の重要なデータをより明確に観察することなどのために画像減算を採用することができる。とりわけ、本開示によれば、鏡面を識別して、場合によってはこれらを追跡するために画像減算が使用される。上述したように、画像減算を実行するための命令は、電子装置のプロセッサ１１４などの処理回路が実行できる命令を記憶するように構成された１又は２以上の有形の非一時的コンピュータ可読媒体を表すメモリ１１６に記憶することができる。

【0020】

図３は、本開示の実施形態による画像減算のプロセスの概略図である。具体的には、図３は、本実施形態による、システム１００を使用して画像３０２と画像３０４との間の差分（ｄｅｌｔａ）を取得するために画像減算を実行することによって鏡面を識別するプロセスを概略的に表す絵等式（ｐｉｃｔｏｒｉａｌ ｅｑｕａｔｉｏｎ）３００を含む。絵等式３００は、鏡面である文字盤３０８を含む腕時計３０６の画像３０２を示す。腕時計３０６の文字盤３０８は、第１象限３１０、第２象限３１２、第３象限３１４及び第４象限３１６という象限に分割することができる。画像３０２では、時計の文字盤３０８の第３象限３１４に閃光３１８が位置する。画像３０２は、第１の発光体１０４がオンであって第２の発光体１０６がオフである間に取り込まれたものである。絵等式３００は、腕時計の文字盤３０８の第２象限３１２に閃光３２０が位置する同じ腕時計３０６を含む画像３０４も示す。画像３０４は、発光体１０６がオンであって発光体１０４がオフである間に取り込まれたものである。画像３３０を生成するために、画像３０４の各画素の数値を画像３０２の対応する画素の数値から減算する。他の実施形態では、画像３３０を生成するために、画像３０２の各画素の数値を画像３０４の対応する画素の数値から減算することもできる。この減算は、画像３３０を生成するために、画像３０２及び３０４の対応する画素間の絶対差を決定することを含むことができる。実際に、本実施形態は、２又は３以上のこのような画像（例えば、画像３０２及び３０４）の色値間の差分を取得する様々な技術を含む。例えば、この減算は、共に（例えば、平均として）処理される対応する画素群間の差分を取得することを含むこともできる。上述したように、画素は、カメラ１１０によって取り込まれた全体的画像の特定の部分に割り当てられた画像データを含むことができ、物理的画素を必要としない。従って、画素間の差分を取得することは、基本的に画像の相関空間に割り当てられたデータ間の値の差異を識別することである。

【0021】

上述したように、画像３３０は、画像３０２及び３０４間の差分を決定することによって取得される。画像３０２は、画像３０４の閃光３２０とは異なる位置に存在する閃光３１８を含む。これらの閃光は、基本的に画像３０２と画像３０４との間の差分が画像３３０の閃光３１８、３２０を強調するように異なる位置に存在する輝点である。換言すれば、画像３３０では、輝点を除く２つの画像３０２及び３０４の残り部分が基本的に相殺される。例えば、画像３０２、３０４の輝点３１８、３２０以外の対応する部分は互いに閾値色又は閾値輝度値の範囲内にあり、従ってたとえ画素値にわずかな差異があったとしても、対応する画素は絵等式３００によって表されるアルゴリズムによって打ち消される。従って、画像３３０は２つの輝点３３２（例えば、高輝度値を有する画素群）を含み、これらの２つの輝点３３２は、非重複画像データが観察されるエリアである。これらの２つの輝点３３２は、元々画像３０２及び３０４において閃光３１８及び３２０がそれぞれ観察された場所でもある。システム１００は、結果として得られる画像３３０内の高数値（例えば、高輝度値）を有する画素群の存在を、光沢のある表面を有する物体と相関させるようにプログラム又は別様に設計することができる。従って、画像３３０及び（実施形態によっては重複することもある）２つの輝点３３２は、空間２００内の物体が鏡面を有していることをシステム１００に示す。いくつかの実施形態では、システム１００が、２つの輝点３３２などの複数の輝点間の距離を複数の異なる鏡面として読み取ることができる。ある実施形態では、システム１００が、このような輝点が複数の異なる鏡面に相関すると決定するための閾値距離を含むアルゴリズムを採用することができる。

【0022】

図３の第２の絵等式４００は、鏡面を有していない物体の画像に適用される画像減算プロセスの例を示すものである。具体的には、図３は、本実施形態による、システム１００を使用して画像４０２と画像４０４との間の差分を取得するために、画像減算を実行することによって非鏡面反射物体（すなわち、葉っぱ４０１）上の鏡面を識別しようと試みるプロセスを概略的に表す絵等式４００を含む。画像４０２は、第１の発光体１０４がオンであって第２の発光体１０６がオフである間に取り込まれる。画像４０４は、第２の発光体１０６がオンであって第１の発光体１０４がオフである間に取り込まれる。絵等式３００と同様に、画像減算を通じて、画像４０２の各画素の数値と画像４０４の各画素の数値との間の差異に基づいて差分が取得される。結果として得られる画像４３０は、葉っぱ４０１から閃光を生じる形で反射されることによって異なる光源に基づく差分をもたらす赤外光が皆無かそれに近いことを示す黒色又は空白の画像を表示する。

【0023】

たとえ葉っぱ４０１が鏡面を有していない場合でも、対応する画素値については画像４０２及び４０４間にわずかな相違が存在する場合がある。例えば、カメラ１１０によって異なる時点に異なる照明で取り込まれた同じ葉っぱ４０１の画像４０２及び４０４に対して何らかの基準レベルの画像減算が実行された後には、画素値にわずかな差異が存在する場合もある。しかしながら、システムは、どの画素値の差異が鏡面に対応するかを規定するアルゴリズムを含んでいるため、これらのわずかな差異は鏡面判定の指標とはならない。鏡面システム１００が画像減算法又は別の画像比較法によって表面を鏡面として識別するかどうかを制御するために、閾値色又は輝度値を強制する機構を採用することができる。例えば、鏡面を判定するための閾値輝度は、対応する画素間の差異が、システムが表面を鏡面として観察するのに十分な高い数であるかどうかを判定するシステムを含むことができる。ある画素又は画素群が単一画素又は画素群のための閾値輝度を上回っているかどうかを判定するための命令は、メモリ１１６に記憶することができる。さらに、メモリ１１６は、カメラ１１０からのセンサデータに基づいて画素値を割り当てるための命令又はテーブルを記憶することができる。グラフィカルユーザインターフェイス（ＧＵＩ）をシステム１００に取り付け、又はシステム１００の一部とすることもできる。このＧＵＩは、メモリ１１６に記憶された画像データを表示するように構成することができる。このグラフィカルユーザインターフェイスは、システムコントローラ１２２、システム１００の別のコンポーネントに取り付けることも、又は独立装置とすることもできる。

【0024】

鏡面検出システム１００によって鏡面が識別されると、効果コントローラ１１８は、プロセッサ１１４から識別された鏡面の位置を受け取ることができる。この位置は、システム１００の参照フレーム内の位置データ（例えば、空間２００の画像内の２次元位置）として提供することができる。効果コントローラ１１８は、この位置に基づいて実行するように効果１２０に命令することができる。例えば、効果１２０は、プロセッサ１１４を使用して決定された鏡面の位置に対応する特定の方向にジェスチャを向けるアンドロイドとすることができる。例えば、図４は、識別された鏡面位置の場所に基づく方向にシステム１００が誘発できる１つのタイプの効果の図である。具体的には、図４には、光沢のある物体５０６を保持しているユーザ５０４に向かってアニメフィギュア５０２が回転した後に、光沢のある物体５０６の鏡面が識別された場所の一般的方向に一種のジェスチャ（例えば、指差し）を実行することを示す。

【0025】

本明細書では、本開示のいくつかの特徴のみを図示し説明したが、当業者には多くの修正及び変更が思い浮かぶであろう。従って、添付の特許請求の範囲は、本開示の真の趣旨に従う全てのこのような修正及び変更を含むように意図されていると理解されたい。

【0026】

本明細書に示して特許請求する技術は、本技術分野を確実に改善する、従って抽象的なもの、無形のもの又は純粋に理論的なものではない実際的性質の有形物及び具体例を参照し、これらに適用される。さらに、本明細書の最後に添付するいずれかの請求項が、「．．．［機能］を［実行］する手段」又は「．．．［機能］を［実行］すること」として指定されている１又は２以上の要素を含む場合、このような要素は米国特許法１１２条（ｆ）に従って解釈すべきである。一方で、他のいずれかの形で指定された要素を含むいずれかの請求項については、このような要素を米国特許法１１２条（ｆ）に従って解釈すべきではない。

【符号の説明】

【0027】

１００ 鏡面検出システム
１０４ 第１の発光体
１０６ 第２の発光体
１１０ カメラ
２００ 空間
２０２ 起点光
２０４ リダイレクト光
２０６ 第１のユーザ
２０８ 葉っぱ
２１０ 第２のユーザ
２１２ コイン

【図1】

【図2】

【図3】

【図4】