特表 2024-534291 テレプレゼンステレビ会議のための正確なカメラ・ディスプレイ間の較正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-20

(54)【発明の名称】テレプレゼンステレビ会議のための正確なカメラ・ディスプレイ間の較正

(51)【国際特許分類】

   G06T 7/80 20170101AFI20240912BHJP

【ＦＩ】

G06T7/80

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023539850

(86)(22)【出願日】2022-09-01

(85)【翻訳文提出日】2023-10-12

(86)【国際出願番号】 US2022075813

(87)【国際公開番号】W WO2024049480

(87)【国際公開日】2024-03-07

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ペロー，ジョン・ディ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096AA09

5L096CA05

5L096DA01

5L096EA15

5L096EA16

5L096FA32

5L096FA67

5L096FA69

(57)【要約】

テレプレゼンスビデオ会議ディスプレイおよびカメラを較正する技術は、ミラーの指定されたミラー面点および指定された反射ディスプレイ面点を示す複数の画像に基づいて、ディスプレイ基準フレーム内に６ＤｏＦカメラの位置および向きベクトルを規定するステップを含む。いくつかの実装形態では、指定されたミラー面点はミラー上に印刷された起点マーカに位置する。いくつかの実装形態では、指定された反射ディスプレイ面点は、ディスプレイ上の起点マーカの市松模様パターンに配置される。

【特許請求の範囲】

【請求項1】

方法であって、
複数の画像を表わす画像データを受信するステップを含み、前記複数の画像の各々は、（ｉ）カメラに対して複数のミラー姿勢のそれぞれのミラー姿勢で保持されるミラーの面内の指定点と、（ｉｉ）虚像ディスプレイ面内の指定点とを示し、前記虚像ディスプレイ面はディスプレイの画像を含み、前記方法はさらに、
前記ミラーの前記面内の前記指定点および前記虚像ディスプレイ面内の前記指定点に基づいて前記ディスプレイの基準フレーム内の前記カメラの位置および向きを決定するステップと、
前記カメラの前記決定された位置および向きに従って前記ディスプレイ上の画像をユーザに対して提示させるステップとを含む、方法。

【請求項2】

前記ミラーの前記面内の前記指定点は、前記ミラー上に印刷された起点マーカに位置する、請求項１に記載の方法。

【請求項3】

前記起点マーカは、紫外線プリンタを用いて、直接、ミラー上に印刷される、請求項２に記載の方法。

【請求項4】

前記虚像ディスプレイ面内の前記指定点は、前記虚像ディスプレイ面において起点マーカの市松模様パターンに配置される、請求項１に記載の方法。

【請求項5】

前記画像データを受信するステップは、
前記起点マーカの市松模様パターンに対して反転演算を実行して、反転された市松模様パターンを生成するステップを含み、
前記ディスプレイの基準フレーム内の前記カメラの前記位置および前記向きを決定するステップは、
前記反転された市松模様パターンに配置された指定点の位置を記録するステップを含む、請求項４に記載の方法。

【請求項6】

前記ディスプレイの基準フレーム内の前記カメラの前記位置および前記向きを決定するステップは、
前記ミラーの前記面内のカメラ位置を決定するステップを含み、前記ミラーの前記面内の前記カメラ位置は、前記虚像ディスプレイ面における前記市松模様パターンの点の位置に基づく、請求項４に記載の方法。

【請求項7】

前記ミラーの面内の前記カメラ位置は、前記虚像ディスプレイ面における前記市松模様パターンの前記点の前記位置の定数倍であり、前記定数は、前記ミラーの前記面内の前記指定点と、前記虚像ディスプレイ面における前記市松模様パターンの点の位置と、前記ミラーの向きとに基づく、請求項６に記載の方法。

【請求項8】

前記ディスプレイの基準フレーム内の前記カメラの前記位置および前記向きを決定するステップは、
前記ミラーの前記面内の前記ディスプレイの位置および向きを決定するステップを含む、請求項１に記載の方法。

【請求項9】

前記ディスプレイの基準フレーム内の前記カメラの前記位置および前記向きを決定するステップは、
前記複数のミラー姿勢に関して前記ディスプレイの前記基準フレーム内の前記カメラの位置を平均化するステップを含む、請求項１に記載の方法。

【請求項10】

前記複数のミラー姿勢に関して前記ディスプレイの前記基準フレーム内の前記カメラの回転を平均化するステップをさらに含み、前記平均化するステップは、
ミラー姿勢に対応する四元数投影行列を生成するステップと、
前記四元数投影行列の最大固有値に対応する固有関数を計算するステップとを含む、請求項９に記載の方法。

【請求項11】

非一時的な記憶媒体を備えるコンピュータプログラムプロダクトであって、前記コンピュータプログラムプロダクトは、処理回路によって実行されると前記処理回路に方法を実行させるコードを含み、前記方法は、
複数の画像を表わす画像データを受信するステップを含み、前記複数の画像の各々は、（ｉ）カメラに対して複数のミラー姿勢のそれぞれのミラー姿勢で保持されるミラーの面内の指定点と、（ｉｉ）虚像ディスプレイ面内の指定点とを示し、前記虚像ディスプレイ面はディスプレイの画像を含み、前記方法はさらに、
前記ミラーの前記面内の前記指定点および前記虚像ディスプレイ面内の前記指定点に基づいて前記ディスプレイの基準フレーム内の前記カメラの位置および向きを決定するステップと、
前記カメラの前記決定された位置および向きに従って前記ディスプレイ上の画像をユーザに対して提示させるステップとを含む、コンピュータプログラムプロダクト。

【請求項12】

前記ミラーの前記面内の前記指定点は、前記ミラー上に印刷された起点マーカに位置する、請求項１１に記載のコンピュータプログラムプロダクト。

【請求項13】

前記起点マーカは、紫外線プリンタを用いて、直接、ミラー上に印刷される、請求項１２に記載のコンピュータプログラムプロダクト。

【請求項14】

前記虚像ディスプレイ面内の前記指定点は、前記虚像ディスプレイ面において起点マーカの市松模様パターンに配置される、請求項１１に記載のコンピュータプログラムプロダクト。

【請求項15】

前記画像データを受信するステップは、
前記起点マーカの市松模様パターンに対して反転演算を実行して、反転された市松模様パターンを生成するステップを含み、
前記ディスプレイの基準フレーム内の前記カメラの前記位置および前記向きを決定するステップは、
前記反転された市松模様パターンに配置された指定点の位置を記録するステップを含む、請求項１４に記載のコンピュータプログラムプロダクト。

【請求項16】

前記ディスプレイの基準フレーム内の前記カメラの前記位置および前記向きを決定するステップは、
前記ミラーの前記面内のカメラ位置を決定するステップを含み、前記ミラーの前記面内の前記カメラ位置は、前記虚像ディスプレイ面における前記市松模様パターンの点の位置に基づく、請求項１４に記載のコンピュータプログラムプロダクト。

【請求項17】

前記ミラーの面内の前記カメラ位置は、前記虚像ディスプレイ面における前記市松模様パターンの前記点の前記位置の定数倍であり、前記定数は、前記ミラーの前記面内の前記指定点と、前記虚像ディスプレイ面における前記市松模様パターンの点の位置と、前記ミラーの向きとに基づく、請求項１６に記載のコンピュータプログラムプロダクト。

【請求項18】

前記ディスプレイの基準フレーム内の前記カメラの前記位置および前記向きを決定するステップは、
前記ミラーの前記面内の前記ディスプレイの位置および向きを決定するステップを含む、請求項１１に記載のコンピュータプログラムプロダクト。

【請求項19】

前記ディスプレイの基準フレーム内の前記カメラの前記位置および前記向きを決定するステップは、
前記複数のミラー姿勢に関して前記ディスプレイの前記基準フレーム内の前記カメラの位置を平均化するステップを含む、請求項１１に記載のコンピュータプログラムプロダクト。

【請求項20】

前記複数のミラー姿勢に関して前記ディスプレイの前記基準フレーム内の前記カメラの回転を平均化するステップをさらに含み、前記平均化するステップは、
ミラー姿勢に対応する四元数投影行列を生成するステップと、
前記四元数投影行列の最大固有値に対応する固有関数を計算するステップとを含む、請求項１９に記載のコンピュータプログラムプロダクト。

【発明の詳細な説明】

【背景技術】

【0001】

背景
テレプレゼンスは、自分が実際に存在している位置以外の場所に自分自身が存在しているかのように感じることを人に可能にする任意の一式の技術を指す。テレプレゼンスは、ユーザの感覚が特定の刺激、例えば視覚、聴覚、触覚、嗅覚等と相互に緩衝し合うことを含み得る。テレプレゼンステレビ会議等の適用例では、視覚および聴覚の刺激が考慮される。

【発明の概要】

【発明が解決しようとする課題】

【0002】

概要
本明細書に記載の実装形態は、テレプレゼンステレビ会議のための立体３次元（three-dimensional：３Ｄ）ディスプレイ内で正確なユーザの眼の位置を得るために複数のカメラを較正することに関する。立体３Ｄディスプレイは左目および右目用のインターリーブピクセルを表示するので、ディスプレイピクセルに対するユーザの目の正確な推定値を得ることが望まれる。ディスプレイ内のユーザの眼の位置をこのように正確に測定するには、６自由度（six degrees of freedom：６ＤｏＦ）、すなわち、カメラ・ディスプレイ間変換の３つの位置座標および３つの向き座標を測定する必要がある。本明細書では、ミラーの指定されたミラー面点および指定された反射ディスプレイ面点を示す複数の画像に基づいてディスプレイ基準フレーム内の６ＤｏＦカメラの位置および向きベクトルが決定される方法を提供する。いくつかの実装形態では、指定されたミラー面点は、ミラー上に印刷された起点マーカに位置する。いくつかの実装形態では、指定された反射ディスプレイ面点は、ディスプレイ上において起点マーカの市松模様パターンに配置される。

【課題を解決するための手段】

【0003】

概略的な一局面では、方法は、複数の画像を表わす画像データを受信するステップを含み得る。当該複数の画像の各々は、（ｉ）カメラに対して複数のミラー姿勢のそれぞれのミラー姿勢で保持されるミラーの面内の指定点と、（ｉｉ）ディスプレイの画像を含む虚像ディスプレイ面内の指定点とを示す。当該方法はまた、当該ミラーの当該面内の当該指定点および当該虚像ディスプレイ面内の当該指定点に基づいて当該ディスプレイの基準フレーム内の当該カメラの位置および向きを決定するステップを含み得る。当該方法はさらに、当該カメラの当該決定された位置および向きに従って、当該ディスプレイ上の画像をユーザに対して提示させるステップを含み得る。

【0004】

別の概略的な局面では、コンピュータプログラムプロダクトは非一時的な記憶媒体を備え、当該コンピュータプログラムプロダクトは、処理回路によって実行されると当該処理回路に方法を実行させるコードを含む。当該方法は、複数の画像を表わす画像データを受信するステップを含み得る。当該複数の画像の各々は、（ｉ）カメラに対して複数のミラー姿勢のそれぞれのミラー姿勢で保持されるミラーの面内の指定点と、（ｉｉ）ディスプレイの画像を含む虚像ディスプレイ面内の指定点とを示す。当該方法はまた、当該ミラーの当該面内の当該指定点および当該虚像ディスプレイ面内の当該指定点に基づいて当該ディスプレイの基準フレーム内の当該カメラの位置および向きを決定するステップを含み得る。当該方法はさらに、当該カメラの当該決定された位置および向きに従って当該ディスプレイ上の画像をユーザに対して提示させるステップを含み得る。

【0005】

１つ以上の実装形態の詳細が添付の図面および以下の説明に記載される。他の特徴が以下の説明および添付の図面ならびに添付の特許請求の範囲から明らかになるだろう。

【図面の簡単な説明】

【0006】

【図1A】本明細書に記載の実装形態に従った例示的なテレプレゼンスビデオ会議システムを示す正面図である。

【図1B】本明細書に記載の実装形態に従った例示的なテレプレゼンスビデオ会議システムを示す側面図である。

【図2】立体３Ｄディスプレイにおけるカメラの位置および向きを決定するように構成された例示的な処理回路を示す図である。

【図3】立体３Ｄディスプレイにおけるカメラの位置および向きを決定する例示的な方法を示すフローチャートである。

【図4】立体３Ｄディスプレイ上の起点マークの市松模様パターンの画像を反射する起点マークを備えた例示的なミラーを示す図である。

【図5】ミラー、虚像およびディスプレイにおけるカメラの位置および向きを決定するための例示的なジオメトリを示す図である。

【図6】ミラーによるカメラの反射である仮想カメラを用いてディスプレイ内のカメラ位置を決定するための例示的なジオメトリを示す図である。

【発明を実施するための形態】

【0007】

詳細な説明
本開示は、テレプレゼンス技術へのアクセスを拡張し、テレプレゼンス技術を改善することに関する。テレプレゼンスは、自分が実際に存在している位置以外の場所に自分自身が存在しているかのように感じることを人に可能にする任意の一式の技術を指す。テレプレゼンスは、ユーザの感覚が特定の刺激、例えば視覚、聴覚、触覚、嗅覚等と相互に緩衝し合うことを含み得る。テレプレゼンステレビ会議等の適用例では、視覚および聴覚の刺激のみが考慮される。

【0008】

テレプレゼンステレビ会議システム１００を図１Ａに示す。システム１００は、３つのカメラ１３０（１）～１３０（３）が配置されるモニタ１１０を含む。図１Ａに示すように、システム１００は、モニタ１１０に面するユーザが占有する部屋内に固定されている。モニタに面するユーザは、テレプレゼンステレビ会議の同僚参加者を視認する。いくつかの実装形態では、ユーザが見るモニタ１１０上の画像は、同僚参加者が当該ユーザとともに部屋に存在しているように見えるように構成される。例えば、カメラ１３０（１）～１３０（３）は、様々な視点（例えば、角度）からのユーザの画像を提供し得る。このような情報は、深度撮像情報を提供するために用いられてもよい。テレプレゼンステレビ会議の同僚参加者が占有する空間内のユーザの３次元画像をシミュレートするために、深度撮像情報をテクスチャ情報と結合したものが用いられてもよい。

【0009】

モニタ１１０は立体３次元ディスプレイを含み得る。立体３Ｄディスプレイは、観察者に没入型体験を提供するために、観察者の両眼の各々にわずかに異なる透視図を送信することによって観察者に３Ｄ画像を提示する。観察者の視覚系は、観察者が画像を３Ｄで見ることができるように両眼立体視をもたらすことにより奥行き知覚を含む画像を翻訳変換するように２つの透視画像を処理し得る。立体視ディスプレイの中には、立体画像を観察者の左眼および右眼の各々に、それぞれ左側チャネルおよび右側チャネルを介して送信するものもある。

【0010】

立体画像を用いて奥行きを翻訳変換するので、ディスプレイ座標に対してユーザの眼を正確に測定することが望まれる。ディスプレイ内のユーザの眼の位置をこのように正確に測定するには、６自由度（６ＤｏＦ）、すなわち、カメラ・ディスプレイ間変換の３つの位置座標および３つの向き座標、を測定する必要がある。これを達成するために、従来のテレプレゼンスビデオ会議ディスプレイは６ＤｏＦカメラ・ディスプレイ間変換の推定値を提供する。

【0011】

上述の従来のテレプレゼンスビデオ会議ディスプレイに関する技術的問題は、従来のテレプレゼンスビデオ会議ディスプレイにおいて提供されるこのような推定値が、テレプレゼンスシステムの如何なる基本的なジオメトリにも基づかない経験的なヘッドオフセット誤差を必要とすることである。したがって、このような不正確な誤差により、結果として、Ｌ－Ｒクロストークを減らすための措置が講じられる際の動作ヘッド体積が小さくなる。

【0012】

本明細書に記載の実装形態に従うと、上述の技術的問題に対する技術的解決策は、ミラーの指定されたミラー面点および指定された反射ディスプレイ面点を示す複数の画像に基づいてディスプレイ基準フレーム内に６ＤｏＦカメラの位置および向きベクトルを規定することを含む。いくつかの実装形態では、指定されたミラー面点はミラー上に印刷された起点マーカに位置する。いくつかの実装形態では、指定された反射ディスプレイ面点は、ディスプレイ上において起点マーカの市松模様パターンに配置される。

【0013】

技術的解決策の技術的利点は、テレプレゼンスビデオ会議ディスプレイを改善することにより経験的なヘッドオフセット誤差が不要となり、これによりカメラ・ディスプレイ間の較正の精度が改善され、したがって、動作ヘッド体積とＬ－Ｒクロストーク低減とのトレードオフが殆どない大きなフィールドが提供されることとなる。

【0014】

いくつかの実装形態では、ミラーの面内の指定点は、ミラー上に印刷された起点マーカに位置する。

【0015】

いくつかの実装形態では、起点マーカは、紫外線プリンタを用いて、直接、ミラー上に印刷される。

【0016】

いくつかの実装形態では、虚像ディスプレイ面内の指定点は、虚像ディスプレイ面において起点マーカの市松模様パターンに配置される。

【0017】

いくつかの実装形態では、画像データを受信するステップは、起点マーカの市松模様パターンに対して反転演算を実行して、反転された市松模様パターンを生成するステップを含む。このような実装形態では、ディスプレイの基準フレーム内のカメラの位置および向きを決定するステップは、反転された市松模様パターンに配置された指定点の位置を記録するステップを含む。

【0018】

いくつかの実装形態では、ディスプレイの基準フレーム内のカメラの位置および向きを決定するステップは、ミラーの面内のカメラ位置を決定するステップを含み、ミラーの面内のカメラ位置は、虚像ディスプレイ面における市松模様パターンの点の位置に基づいている。

【0019】

いくつかの実装形態では、ミラーの面内のカメラ位置は、チェス盤状虚像点の定数倍であり、当該定数は、ミラーの面内の指定点と虚像ディスプレイ面における市松模様パターンの点の位置とミラーの向きとに基づいている。

【0020】

いくつかの実装形態では、ディスプレイの基準フレーム内のカメラの位置および向きを決定するステップは、ミラーの面内のディスプレイの位置および向きを決定するステップを含む。

【0021】

いくつかの実装形態では、ディスプレイの基準フレーム内のカメラの位置および向きを決定するステップは、複数のミラー姿勢に関してディスプレイの基準フレーム内のカメラの位置を平均化するステップを含む。

【0022】

いくつかの実装形態では、複数のミラー姿勢に関してディスプレイの基準フレーム内のカメラの回転を平均化するステップをさらに含み、当該平均化するステップは、ミラー姿勢に対応する四元数投影行列を生成するステップと、当該四元数投影行列の最大固有値に対応する固有関数を計算するステップとを含む。

【0023】

図１Ａは、例示的なテレプレゼンステレビ会議システム１００の正面図を示す。図１Ａに示すように、テレプレゼンステレビ会議システム１００は、ディスプレイ１１０と、処理回路１２０と、各々がそれぞれのカメラを含む３つのカメラポッド１３０（１）～１３０（３）とを含む。

【0024】

ディスプレイ１１０は、テレプレゼンステレビ会議に用いられる立体３Ｄディスプレイである。立体３Ｄディスプレイは、観察者に没入型体験を提供するために、観察者の両眼の各々にわずかに異なる透視図を送信することによって観察者に３Ｄ画像を提示する。観察者の視覚系は、観察者が画像を３Ｄで見ることができるように両眼立体視をもたらすことにより奥行き知覚を含む画像を翻訳変換するように２つの透視画像を処理し得る。立体視ディスプレイの中には、立体画像を観察者の左眼および右眼の各々に、それぞれ左側チャネルおよび右側チャネルを介して送信するものもある。

【0025】

いくつかの実装形態では、ディスプレイ１１０は３Ｄライトフィールドディスプレイである。３Ｄライトフィールドディスプレイは、観察者が着用する特別なヘッドギアを用いることなく、観察者が立体画像を認識することを可能にする自動立体効果をもたらす立体ディスプレイである。例示的な３Ｄライトフィールドディスプレイは、自動立体効果をもたらすためにレンチキュラー光学系を用いる。レンチキュラー光学系は、ディスプレイスクリーン上に適合されるシート上に形成された一連の垂直配向型円柱レンズとして形成され得る。

【0026】

カメラ１３０（１）～１３０（３）は、図１Ａに示すように、ディスプレイ１１０の周囲でディスプレイ１１０を取り囲み、ディスプレイ１１０の前方に座っているユーザの画像を取込むためにディスプレイ１１０から外方向を向いている。これらのカメラは、様々な視点からのユーザの画像を記録するとともに、別のユーザに対して表示するために３次元または高解像度にされた集約画像を形成し得る。

【0027】

ディスプレイ１１０は立体３Ｄディスプレイであるので、ディスプレイにおいてユーザの眼を正確に位置付けることが望ましい。これは、ディスプレイ１１０におけるカメラ位置１４０および向きが綿密に較正されることを意味する。この目的のために、処理回路１２０は、この較正を実行し、ディスプレイ１１０におけるカメラ、例えば１３０（１）、の正確な位置を決定するように構成される。

【0028】

較正を実行する一方法として、ミラーを用いてカメラにディスプレイ内容を示す方法が挙げられる。ミラー上の位置は起点マークを用いて示されてもよく、ミラー内のディスプレイの画像上の位置は市松模様パターンに配置された起点マークを用いて示されてもよい。これについては図４～図７においてさらに詳細に説明する。

【0029】

図１Ｂは、例示的なテレプレゼンステレビ会議システム１００の側面図である。システム１００の側面図は、ディスプレイ１１０の前方に座っているユーザ１５０を示す。カメラ１３０（２）は、適切に較正されると、ディスプレイ内の、すなわちディスプレイ座標における、ユーザの眼の位置１６０を正確に記録する。例えば、改善されたテレプレゼンステレビ会議ディスプレイ１１０は、従来のテレプレゼンステレビ会議ディスプレイでの１５ｍｍ～２５ｍｍレベルの不正確さとは対照的に、２ｍｍ未満のgeocal（geometric camera calibration：幾何学的カメラ較正）精度レベルを有する。

【0030】

本明細書において「精度」とは、geocal忠実度によって決定される静的、すなわち時間に依存しない誤差を意味することが理解される。これは、システム待ち時間によって決定される動的精度とは異なるものであって、本明細書では取扱わない。不正確さまたは誤差の１つの要因として、較正中にミラーが異なるスタイルで移動することが原因として挙げられる可能性もあり、これがトラッカーカメラ姿勢に系統的誤差をもたらすことが疑われている。

【0031】

図２は処理回路１２０の一例を示す図である。処理回路１２０は、ネットワークインターフェイス２２２、１つ以上の処理ユニット２２４、および非一時的メモリ２２６を含む。ネットワークインターフェイス２２２は、ネットワークから受信した電子信号および／または光信号を処理回路１２０で使用するための電子形式に変換するために、例えば、イーサネット（登録商標）アダプタ、トークンリングアダプタ等を含む。処理ユニット２２４のセットは１つ以上の処理チップおよび／またはアセンブリを含む。メモリ２２６は、揮発性メモリ（例えば、ＲＡＭ）と、１つ以上のＲＯＭ、ディスクドライブ、ソリッドステートドライブ等の不揮発性メモリとをともに含む。処理ユニットのセット２２４およびメモリ２２６は一緒に、本明細書で記載するような様々な方法および機能を実行するように構成および配置される処理回路を形成する。

【0032】

いくつかの実装形態では、処理回路１２０の構成要素の１つ以上は、メモリ２２６に記憶された命令を処理するように構成されたプロセッサ（例えば、処理ユニット２２４）であり得るかまたは当該プロセッサを含み得る。図２に示すような命令の例は、画像マネージャ２３０、較正マネージャ２４０、および最小二乗平均化マネージャ２５０を含む。さらに、図２に示すように、メモリ２２６は様々なデータを記憶するように構成され、当該データは、このようなデータを用いるそれぞれのマネージャに関して記述されている。

【0033】

画像マネージャ２３０は画像データ２３２を取得するように構成される。いくつかの実装形態では、画像マネージャ２３０は、ネットワークにわたりネットワークインターフェイス２２２を介して画像データ２３２を取得する。いくつかの実装形態では、画像マネージャ２３０は、直接接続を介して画像データ２３２を取得する。いくつかの実装形態では、画像マネージャ２３０はローカルストレージデバイスから画像データ２３２を取得する。

【0034】

画像データ２３２は、いくつかの特定の姿勢をとるミラーにディスプレイ１１０の画像を表わす。画像データ２３２は、ディスプレイ基準フレーム、すなわちディスプレイ座標、内のカメラ（例えば、カメラ１３０（２））の正確な位置および向きを決定するために較正マネージャ２４０によって用いられる。画像データの各画像は、カメラに保持されたミラーの特定の姿勢を表わす。ミラーにおけるディスプレイの例示的な画像を図４に示す。

【0035】

図４は、立体３Ｄディスプレイ（例えば、ディスプレイ１１０）上の起点マークの市松模様パターン４２０の画像を反射する起点マーク４１０（１）～４１０（４）を備えた例示的なミラー４００を示す図である。

【0036】

画像を生成する際に、カメラ（例えば、カメラ１３０（２））に対し、印刷されたチャートを用いて直視的にgeocal内部較正を実行したものと仮定する。さらに、照明、カメラ焦点、露光時間、信号対雑音比（signal-to-noise ratio：ＳＮＲ）、および動きがミラーマーカおよびディスプレイの鮮明な画像のために最適化されたものと仮定する。

【0037】

いくつかの実装形態では、起点マーカ４１０（１）～４１０（４）は正方形のＡｒＵｃｏマーカである。ＡｒＵｃｏマーカは、幅広で黒色の境界とその識別子を決定する内部バイナリ行列とによって構成される合成された正方形マーカである。黒色の境界は、画像内で当該境界を高速で検出することを容易にし、バイナリコード化は、その識別ならびに誤り検出および訂正技術の適用を可能にする。マーカサイズは内部行列のサイズを決定する。例えば、４×４のマーカサイズは１６ビットで構成される。なお、マーカが環境内で回転しているのを見出すことができる。しかしながら、検出プロセスは、各角部が明確に識別され得るように、その元の回転を判別できるものでなければならない。これは、バイナリコード化に基づいて行われてもよい。

【0038】

いくつかの実装形態では、ＡｒＵｃｏマーカは、紫外線（ultraviolet：ＵＶ）プリンタを用いてミラー４００の基板上に直接印刷される。このようなＵＶプリンタの例として、１インチ当たりのドット数（dots per inch：ＤＰＩ）１２００×６００、６００×６００、および６００×３００をサポートするＨＰ（Hewlett-Packard）Ｓｃｉｔｅｘ ＦＢ５５０が挙げられる。いくつかの実装形態では、基板は、１インチ当たり１波長までは平坦であり、これは、１２インチミラーにわたって平面偏差が５ｎｍ未満であることを示している。いくつかの実装形態では、ミラーは３００ｍｍの半導体ウェハである。

【0039】

いくつかの実装形態では、ディスプレイ（例えば、ディスプレイ１１０）上の起点マークの市松模様パターン４２０はＣｈＡｒＵｃｏパターンである。ＡｒＵｃｏマーカおよびボードは、迅速に検出できるとともに汎用性を有するので非常に有用である。しかしながら、ＡｒＵｃｏマーカの問題の１つとして、サブピクセル精細化を適用した後であってもそれらの角部位置の精度があまり高くない点が挙げられる。対照的に、チェス盤パターンの角部は、各角部が２つの黒い正方形によって囲まれているので、より正確に精細化することができる。しかしながら、チェス盤パターンを発見することはＡｒＵｃｏボードを発見することほどには融通性がなく、完全に可視でなければならず、オクルージョンは許容されない。ＣｈＡｒＵｃｏパターンは、これら２つのアプローチの利点を組合わせたものである。ＡｒＵｃｏ部分は、オクルージョンまたは部分的視野を可能にするので、マーカボードの汎用性を有するようにチェス盤角部の位置を補間するために用いられる。さらに、補間された角部はチェス盤に属するので、サブピクセル精度の点では非常に正確である。

【0040】

図２に戻ると、画像データ２３２は、図２に示すように、複数の起点マーカ位置２３４（１）…２３４（Ｎ）（例えば、ＡｒＵｃｏマーカ位置）を含み、ここで、Ｎは、画像データ２３２に表わされる姿勢の数である。起点マーカ位置の各々、例えば２３４（１）は、ミラー４００（または、３００ｍｍ半導体ウェハの場合、円形ミラーに内接する正方形）の各角部における４つのマーカの位置を含む。較正マネージャ２４０が各姿勢の４つのマーカを用いて、カメラ座標、すなわち、カメラ基準系

【0041】

【数1】

【0042】

に対するミラーの６ＤｏＦ姿勢を計算する。式中、Ｒは向きベクトルであり、Ｔは並進（位置）ベクトルである。

【0043】

画像データ２３２はまた、図２に示すように、複数の市松模様パターン位置２３６（１）…２３６（Ｎ）、例えばＣｈＡｒＵｃｏパターンマーカ位置を含む。市松模様パターン位置の各々、例えば２３６（１）は、市松模様パターン位置２３６（１）…２３６（Ｎ）における起点マーカ角部の各々の位置を含む。次いで、較正マネージャ２４０がこれらの位置を用いて、カメラ座標、すなわち、カメラ基準系

【0044】

【数2】

【0045】

に対するディスプレイの虚像の６ＤｏＦ姿勢を計算する。
いくつかの実装形態では、画像マネージャ２３０は市松模様反転マネージャ２３１を含む。市松模様反転マネージャ２３１は、検出すべき市松模様パターン位置２３６（１）…２３６（Ｎ）を反転させる、すなわちミラー４００の面内の軸に沿ってひっくり返す、ように構成される。これらの位置が画像マネージャ２３０によって検出されると、市松模様反転マネージャ２３１は、仮想の市松模様パターン４２０の画像点を記録するためにミラー４００の面内の軸に沿ってひっくり返したものを反転させるように構成される。

【0046】

画像データ２３２はまた、図２に示すように、複数のミラー向き２３８（１）…２３８（Ｎ）を含む。各ミラー向き、例えば２３８（１）は、ミラー表面から外方向を向いたミラー面の法線の方向を示す。いくつかの実装形態では、複数のミラー向き２３８（１）…２３８（Ｎ）は複数の起点マーカ位置２３４（１）…２３４（Ｎ）から決定される。

【0047】

較正マネージャ２４０は、画像データ２３２に基づいてディスプレイ１１０の基準フレーム内のカメラ、例えば１３０（２）、の位置および向きを決定するように構成される。いくつかの実装形態では、較正マネージャ２４０は、画像データ２３２に基づいて中間計算を実行して較正データ２４２を生成し、当該較正データ２４２は、ディスプレイ１１０の基準フレーム内のカメラ、例えば１３０（２）、の位置および向きを生成するために用いられる。図２に示すように、較正データは、

【0048】

【数3】

【0049】

とを含む。
較正マネージャ２４０はまた、ミラー上の反射点を推定するように構成され、このような推定は、いくつかの実装形態では、後続の反射変換を実行するために用いられる。このような推定を図５に示す。

【0050】

図５は、画像データ２３２を前提として、ミラー５１０、虚像５３０、およびディスプレイ５２０における反射点

【0051】

【数4】

【0052】

を決定するための例示的なジオメトリ５００を示す図である。反射点は、以下のように直線と平面との交差問題を解くことによって計算され得る。

【0053】

【数5】

【0054】

すなわち、ミラー５１０における反射点

【0055】

【数6】

【0056】

は、虚像ディスプレイ面における市松模様パターンの点の位置の定数倍である。
較正マネージャ２４０はまた、カメラ・ディスプレイ間位置ベクトルを計算するように構成される。ディスプレイ位置は基準ミラーフレーム（すなわち、ミラー座標）において計算される。

【0057】

【数7】

【0058】

基準ミラーフレーム内のディスプレイ位置は次式によって与えられる。

【0059】

【数8】

【0060】

【数9】

【0061】

いくつかの実装形態では、図６に示すように、仮想カメラの役割を考慮に入れることが有用である。図６は、ミラー６１０によるカメラの反射である仮想カメラ６５０を用いて、ディスプレイ６２０内のカメラ６４０の位置を決定するための例示的なジオメトリを示す図である。カメラ６４０のミラー６１０の画像を考慮に入れると、様々な姿勢から物理的ディスプレイを視認する仮想カメラ６５０としてgeocal実験が想定され得る。図６に示すように、仮想カメラ６５０の姿勢はミラー６１０の姿勢から決定される。

【0062】

カメラ・ディスプレイ並進は図６の三角形Δを考慮して生成される。仮想カメラジオメトリは、ベクトル方程式構造を単純化し、カメラ・ディスプレイ並進（すなわち、ディスプレイ座標におけるカメラ）を測定量の点から明確に表現する。上述の式を代入することにより、カメラ・ディスプレイ並進は以下のとおりとなる。

【0063】

【数10】

【0064】

最後に、画像データ２３２の画像ごとのカメラ・ディスプレイの向き回転行列が計算される。反射演算子Ｍは、カメラ・虚像の回転行列を反射させるために用いられるが、ミラー（すなわち、極）対称性を維持するために「サンドイッチ」方式で適用されなければならない。

【0065】

【数11】

【0066】

最小二乗平均化マネージャ２５０は、カメラ・ディスプレイ並進ベクトルの最小二乗推定値を最小二乗平均化データ２５２として見出すために、いくつかの姿勢に関してカメラ対ディスプレイの位置を平均化するように構成される。

【0067】

【数12】

【0068】

対照的に、回転ベクトルおよび／または行列推定値は、「平均」カメラベースの回転ベクトルを見つけるために平均化することはできない。しかしながら、ユニタリ制約下で、フロベニウスノルム（Frobenius norm）を最小化する回転行列推定値（３ＤｏＦ）が見出される可能性がある。

【0069】

【数13】

【0070】

いくつかの実装形態では、回転行列の最小二乗推定値は四元数を用いて計算され得る。四元数を用いることの利点は、反復非線形オプティマイザを回避することと、勾配降下中に極小値にとどめられることとを含む。最小二乗誤差を最小化する四元数は、四元数投影行列Ｑ２５１の最大固有値に対応する固有ベクトル（例えば、固有ベクトルデータ２５４（１）…２５４（Ｎ））である。なお、ｉ番目の四元数ｑ_ｉは、ロドリゲス（Rodrigues）ベクトル定義を用いてミラー姿勢ごとに構築されることに留意されたい。

【0071】

【数14】

【0072】

最終結果は、ディスプレイ座標データ２６０におけるカメラ位置

【0073】

【数15】

【0074】

である。この６ＤｏＦデータの効果は、カメラのこの決定された位置および向きに従ってディスプレイ上の画像をユーザに対して提示させることである。

【0075】

処理回路１２０の構成要素（例えば、モジュール、処理ユニット２２４）は、１つ以上のタイプのハードウェア、ソフトウェア、ファームウェア、オペレーティングシステム、ランタイムライブラリ等を含み得る１つ以上のプラットフォーム（例えば、１つ以上の同様のまたは異なるプラットフォーム）に基づいて動作するように構成され得る。いくつかの実装形態では、処理回路１２０の構成要素は、デバイスのクラスタ（例えば、サーバファーム）内で動作するように構成され得る。このような実装形態では、処理回路１２０の構成要素の機能および処理は、デバイスのクラスタのうちのいくつかのデバイスに分散させることができる。

【0076】

処理回路１２０の構成要素は、属性を処理するように構成された任意のタイプのハードウェアおよび／またはソフトウェアであり得るかまたはそれらを含み得る。いくつかの実装形態では、図２の処理回路１２０の構成要素に示される構成要素の１つ以上の部分は、ハードウェアベースのモジュール（例えば、デジタル信号プロセッサ（digital signal processor：ＤＳＰ）、フィールドプログラマブルゲートアレイ（field programmable gate array：ＦＰＧＡ）、メモリ）、ファームウェアモジュール、および／もしくはソフトウェアベースのモジュール（例えば、コンピュータコードのモジュール、コンピュータにおいて実行可能なコンピュータ可読命令のセット）であり得るか、またはこれらを含み得る。例えば、いくつかの実装形態では、処理回路１２０の構成要素の１つ以上の部分は、少なくとも１つのプロセッサ（図示せず）による実行のために構成されたソフトウェアモジュールであり得るかまたはそれを含み得る。いくつかの実装形態では、構成要素の機能は、２つの構成要素として示される機能を単一の構成要素に組合わせることを含め、図２に示すものとは異なるモジュールおよび／または異なる構成要素に含まれ得る。

【0077】

図示していないが、いくつかの実装形態では、処理回路１２０の構成要素（またはその部分）は、例えば、データセンタ（例えばクラウドコンピューティング環境）、コンピュータシステム、１つ以上のサーバ／ホストデバイス等内で動作するように構成され得る。いくつかの実装形態では、処理回路１２０の構成要素（またはその部分）はネットワーク内で動作するように構成され得る。このため、処理回路１２０の構成要素（またはその部分）は、１つ以上のデバイスおよび／または１つ以上のサーバデバイスを含み得る様々なタイプのネットワーク環境内で機能するように構成され得る。例えば、ネットワークは、ローカルエリアネットワーク（local area network：ＬＡＮ）、ワイドエリアネットワーク（wide area network：ＷＡＮ）等であり得るか、またはそれらを含み得る。ネットワークは、ワイヤレスネットワーク、および／または、例えば、ゲートウェイデバイス、ブリッジ、スイッチ等を用いて実装されるワイヤレスネットワークであり得るかまたはそれを含み得る。ネットワークは、１つ以上のセグメントを含み得、ならびに／または、インターネットプロトコル（Internet Protocol：ＩＰ）および／もしくはプロプライエタリプロトコル等の様々なプロトコルに基づく部分を有し得る。ネットワークはインターネットの少なくとも一部を含み得る。

【0078】

いくつかの実装形態では、サーチシステムの構成要素のうちの１つ以上は、メモリに記憶された命令を処理するように構成されたプロセッサであり得るかまたはそれを含み得る。例えば、画像マネージャ２３０（および／またはその一部）、較正マネージャ２４０（および／またはその一部）、ならびに最小二乗平均化マネージャ２５０（および／またはその一部）はこのような命令の例である。

【0079】

いくつかの実装形態では、メモリ１２６は、ランダムアクセスメモリ、ディスクドライブメモリ、フラッシュメモリ等の任意のタイプのメモリであり得る。いくつかの実装形態では、メモリ２２６は、処理回路１２０の構成要素に関連付けられた２つ以上のメモリ構成要素（例えば、２つ以上のＲＡＭ構成要素またはディスクドライブメモリ）として実装され得る。いくつかの実装形態では、メモリ２２６はデータベースメモリであり得る。いくつかの実装形態では、メモリ２２６は、非ローカルメモリであり得るかまたは非ローカルメモリを含み得る。例えば、メモリ２２６は、複数のデバイス（図示せず）によって共有されるメモリであり得るかまたはそれを含み得る。いくつかの実装形態では、メモリ２２６は、ネットワーク内のサーバデバイス（図示せず）に関連付けられ得るとともに、処理回路１２０の構成要素のために機能するように構成され得る。図２に示すように、メモリ２２６は、画像データ２３２および画像較正データ２４２を含む様々なデータを記憶するように構成される。

【0080】

図３は、画像較正のための補正波面を生成する例示的な方法３００を示すフローチャートである。方法３００は、処理回路１２０のメモリ２２６内に存在するとともに処理ユニットのセット２２４によって実行される、図２に関連付けて説明したソフトウェア構成によって実行され得る。

【0081】

３０２で、画像マネージャ２３０が複数の画像を表わす画像データ（２３２）を受信する。複数の画像の各々は、（ｉ）カメラ（例えば、１３０（２））に対して複数のミラー姿勢のそれぞれのミラー姿勢で保持されるミラーの面内の指定点と、（ｉｉ）ディスプレイ（１１０）の画像を含む虚像ディスプレイ面内の指定点とを示す。

【0082】

３０４で、較正マネージャ２４０は、ミラーの面内の指定点および虚像ディスプレイ面内の指定点に基づいて、ディスプレイの基準フレーム内のカメラの位置および向きを決定する。

【0083】

３０６で、処理回路１２０は、決定されたカメラの位置および向きに従ってディスプレイ上の画像をユーザに対して提示させる。

【0084】

いくつかの実装形態を説明してきたが、本明細書の精神および範囲から逸脱することなく、様々な変更がなされ得ることが理解されるだろう。

【0085】

また、要素が別の要素上にあるか、別の要素に接続されるか、別の要素に電気的に接続されるか、別の要素に結合されるか、または別の要素に電気的に結合されるものとして言及される場合、当該要素は、他の要素上に直接あり得るか、他の要素に接続され得るかもしくは他の要素に結合され得るか、または、１つ以上の介在要素が存在し得ることも理解されるだろう。対照的に、要素が別の要素上に直接存在するか、別の要素に直接接続されるか、または別の要素に直接結合されるものとして言及される場合、介在要素は存在しない。直接上にあるか、直接接続されるか、または直接結合されるという語句は、詳細な説明全体にわたって使用されない可能性もあるが、直接上にあるか、直接接続されるか、または直接結合されるものとして示される要素をこのように言及することもできる。本願の添付の特許請求の範囲は、本明細書に記載されるかまたは図に示される例示的な関係を列挙するように補正されてもよい。

【0086】

記載した実装形態のいくつかの特徴が本明細書に記載のとおりに例示されているが、当業者には、多くの変形例、置換例、変更例および同等例が想到されるだろう。したがって、添付の特許請求の範囲が、実装形態の範囲内に収まるようにすべてのこのような変形例および変更例を包含するよう意図されていることを理解されたい。これらは、限定ではなく例としてのみ提示されたものであり、形態および詳細が様々に変更され得ることを理解されたい。本明細書に記載の装置および／または方法の任意の部分は、相互排他的組合わせを除いて、任意の組合わせで組合わされてもよい。本明細書に記載の実装形態は、記載される様々な実装形態の機能、構成要素および／または特徴の様々な組合せおよび／または部分的組合せを含み得る。

【0087】

加えて、図に示す論理フローは、望ましい結果を達成するために、図示した特定の順序または連続的順序を必要としない。加えて、他のステップが提供されてもよく、または、説明したフローからステップが排除されてもよく、説明したシステムに他の構成要素が追加されてもよく、または当該システムから排除されてもよい。したがって、他の実装形態は添付の特許請求の範囲内にある。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2023-12-20

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

方法であって、
複数の画像を表わす画像データを受信するステップを含み、前記複数の画像の各々は、（ｉ）カメラに対して複数のミラー姿勢のそれぞれのミラー姿勢で保持されるミラーの面内の指定点と、（ｉｉ）虚像ディスプレイ面内の指定点とを示し、前記虚像ディスプレイ面はディスプレイの画像を含み、前記方法はさらに、
前記ミラーの前記面内の前記指定点および前記虚像ディスプレイ面内の前記指定点に基づいて前記ディスプレイの基準フレーム内の前記カメラの位置および向きを決定するステップと、
前記カメラの前記決定された位置および向きに従って前記ディスプレイ上の画像をユーザに対して提示させるステップとを含む、方法。

【請求項2】

前記ミラーの前記面内の前記指定点は、前記ミラー上に印刷された起点マーカに位置する、請求項１に記載の方法。

【請求項3】

前記起点マーカは、紫外線プリンタを用いて、直接、ミラー上に印刷される、請求項２に記載の方法。

【請求項4】

前記虚像ディスプレイ面内の前記指定点は、前記虚像ディスプレイ面において起点マーカの市松模様パターンに配置される、請求項１に記載の方法。

【請求項5】

前記画像データを受信するステップは、
前記起点マーカの市松模様パターンに対して反転演算を実行して、反転された市松模様パターンを生成するステップを含み、
前記ディスプレイの基準フレーム内の前記カメラの前記位置および前記向きを決定するステップは、
前記反転された市松模様パターンに配置された指定点の位置を記録するステップを含む、請求項４に記載の方法。

【請求項6】

前記ディスプレイの基準フレーム内の前記カメラの前記位置および前記向きを決定するステップは、
前記ミラーの前記面内のカメラ位置を決定するステップを含み、前記ミラーの前記面内の前記カメラ位置は、前記虚像ディスプレイ面における前記市松模様パターンの点の位置に基づく、請求項４に記載の方法。

【請求項7】

前記ミラーの面内の前記カメラ位置は、前記虚像ディスプレイ面における前記市松模様パターンの前記点の前記位置の定数倍であり、前記定数は、前記ミラーの前記面内の前記指定点と、前記虚像ディスプレイ面における前記市松模様パターンの点の位置と、前記ミラーの向きとに基づく、請求項６に記載の方法。

【請求項8】

前記ディスプレイの基準フレーム内の前記カメラの前記位置および前記向きを決定するステップは、
前記ミラーの前記面内の前記ディスプレイの位置および向きを決定するステップを含む、請求項１に記載の方法。

【請求項9】

前記ディスプレイの基準フレーム内の前記カメラの前記位置および前記向きを決定するステップは、
前記複数のミラー姿勢に関して前記ディスプレイの前記基準フレーム内の前記カメラの位置を平均化するステップを含む、請求項１に記載の方法。

【請求項10】

前記複数のミラー姿勢に関して前記ディスプレイの前記基準フレーム内の前記カメラの回転を平均化するステップをさらに含み、前記平均化するステップは、
ミラー姿勢に対応する四元数投影行列を生成するステップと、
前記四元数投影行列の最大固有値に対応する固有関数を計算するステップとを含む、請求項９に記載の方法。

【請求項11】

処理回路によって実行されると前記処理回路に請求項１～１０のいずれか１項に記載の方法を実行させるコードを含む、コンピュータプログラム。

【国際調査報告】