特許 7543632 熱補償を扱うシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-26

(45)【発行日】2024-09-03

(54)【発明の名称】熱補償を扱うシステム及び方法

(51)【国際特許分類】

   H04N 23/52 20230101AFI20240827BHJP

   G06T 5/80 20240101ALI20240827BHJP

   H04N 23/56 20230101ALI20240827BHJP

   H04N 23/95 20230101ALI20240827BHJP

【ＦＩ】

H04N23/52

G06T5/80

H04N23/56

H04N23/95

【請求項の数】 14

(21)【出願番号】P 2022190728

(22)【出願日】2022-11-29

(65)【公開番号】P2024078282

(43)【公開日】2024-06-10

【審査請求日】2022-11-29

(73)【特許権者】

【識別番号】502429109

【氏名又は名称】奇景光電股▲ふん▼有限公司

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】張 乃▲てぃん▼

(72)【発明者】

【氏名】劉 逸▲のぉん▼

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１５－１１１１０１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００６１０５６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／５２

Ｇ０６Ｔ ５／８０

Ｈ０４Ｎ ２３／５６

Ｈ０４Ｎ ２３／９５

(57)【特許請求の範囲】

【請求項1】

熱補償を扱うシステムであって、
画像キャプチャ装置であり、
第１画像をキャプチャするように構成されたキャプチャ回路、及び
当該画像キャプチャ装置の第１温度を検出するように構成された第１センシング回路、
を有する画像キャプチャ装置と、
投影装置であり、
参照画像を投影するように構成された投影回路、及び
当該投影装置の第２温度を検出するように構成された第２センシング回路、
を有する投影装置と、
前記画像キャプチャ装置に関連する複数の第１パラメータ、前記投影装置に関連する複数の第２パラメータ、及び前記参照画像を格納するように構成された記憶装置と、
前記画像キャプチャ装置、前記投影装置、及び前記記憶装置に結合された処理装置であり、
前記第１温度及び前記複数の第１パラメータに従って第１補間画像を生成し、
前記第１補間画像に従って前記第１画像を補償して第１の補償された画像を生成し、
前記第２温度及び前記複数の第２パラメータに従って第２補間画像を生成し、
前記第２補間画像に従って前記参照画像を補償して第２の補償された画像を生成し、
前記第１の補償された画像及び前記第２の補償された画像に従って第２画像を生成する、
ように構成された処理回路、を有する処理装置と、
を有するシステム。

【請求項2】

前記処理装置は更に、
前記画像キャプチャ装置から前記第１画像及び前記第１温度を受信し、
前記投影装置から前記第２温度を受信し、
前記記憶装置から前記複数の第１パラメータ、前記複数の第２パラメータ、及び前記参照画像を受信する、
ように構成された受信回路、を有する、請求項１に記載のシステム。

【請求項3】

前記複数の第１パラメータは、前記第１温度と前記第１画像の第１ピクセルシフトとの間の第１関係を含む、請求項１に記載のシステム。

【請求項4】

前記複数の第２パラメータは、前記第２温度と前記参照画像の第２ピクセルシフトとの間の第２関係を含む、請求項１に記載のシステム。

【請求項5】

周囲温度を検出するように構成された第３センシング回路、
を更に有する請求項１に記載のシステム。

【請求項6】

前記記憶装置は、前記画像キャプチャ装置及び前記周囲温度に関連する複数の第３パラメータを格納し、且つ前記投影装置及び前記周囲温度に関連する複数の第４パラメータを格納する、請求項５に記載のシステム。

【請求項7】

前記処理回路は、前記第１温度、前記複数の第１パラメータ、前記周囲温度、及び前記複数の第３パラメータに従って前記第１画像を補償して、前記第１の補償された画像を生成する、請求項６に記載のシステム。

【請求項8】

前記処理回路は、前記第２温度、前記複数の第２パラメータ、前記周囲温度、及び前記複数の第４パラメータに従って前記参照画像を補償して、前記第２の補償された画像を生成する、請求項６に記載のシステム。

【請求項9】

熱補償を扱う方法であって、
参照画像を投影し、
第１画像をキャプチャし、
画像キャプチャ装置の第１温度を検出し、
投影装置の第２温度を検出し、
前記画像キャプチャ装置に関連する複数の第１パラメータ、前記投影装置に関連する複数の第２パラメータ、及び前記参照画像を格納し、
前記第１温度及び前記複数の第１パラメータに従って第１補間画像を生成し、
前記第１補間画像に従って前記第１画像を補償して第１の補償された画像を生成し、
前記第２温度及び前記複数の第２パラメータに従って第２補間画像を生成し、
前記第２補間画像に従って前記参照画像を補償して第２の補償された画像を生成し、
前記第１の補償された画像及び前記第２の補償された画像に従って第２画像を生成する、
ことを有する方法。

【請求項10】

前記複数の第１パラメータは、前記第１温度と前記第１画像の第１ピクセルシフトとの間の第１関係を含む、請求項９に記載の方法。

【請求項11】

前記複数の第２パラメータは、前記第２温度と前記参照画像の第２ピクセルシフトとの間の第２関係を含む、請求項９に記載の方法。

【請求項12】

周囲温度を検出し、
前記画像キャプチャ装置及び前記周囲温度に関連する複数の第３パラメータを格納し、
前記投影装置及び前記周囲温度に関連する複数の第４パラメータを格納する、
ことを更に有する請求項９に記載の方法。

【請求項13】

前記第１温度、前記複数の第１パラメータ、前記周囲温度、及び前記複数の第３パラメータに従って前記第１画像を補償して、前記第１の補償された画像を生成する、
ことを更に有する請求項１２に記載の方法。

【請求項14】

前記第２温度、前記複数の第２パラメータ、前記周囲温度、及び前記複数の第４パラメータに従って前記参照画像を補償して、前記第２の補償された画像を生成する、
ことを更に有する請求項１２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ストラクチャードライト（structured light）３Ｄシステムで使用されるシステム及び方法に関し、より具体的には、ストラクチャードライト３Ｄシステムの熱補償を扱うシステム及び方法に関する。

【背景技術】

【0002】

ストラクチャードライト３Ｄシステムは、投影装置、画像キャプチャ装置、及び処理装置で構成される。処理装置は、投影装置に関連する参照画像と画像キャプチャ装置からのキャプチャ画像とに従って深度マップを生成する。画像キャプチャ装置及び投影装置は、温度の変化及びコンポーネントウォームアップの影響を受けやすい。熱的な影響は、投影装置の投影像における歪み、並びにキャプチャ画像及び参照画像におけるピクセルドリフトにつながる。従って、正確な深度マップを得るために、投影装置及び画像キャプチャ装置に対してどのように熱補償を扱うかが、解決すべき重要な問題である。

【発明の概要】

【0003】

故に、本発明は、上述の問題を解決するための熱補償を扱う装置及び方法を提供する。

【0004】

熱補償を扱うシステムは、画像キャプチャ装置であり、第１画像をキャプチャするように構成されたキャプチャ回路、及び当該画像キャプチャ装置の第１温度を検出するように構成された第１センシング回路、を有する画像キャプチャ装置と、投影装置であり、当該投影装置の第２温度を検出するように構成された第２センシング回路、を有する投影装置と、画像キャプチャ装置に関連する複数の第１パラメータ、投影装置に関連する複数の第２パラメータ、及び投影装置に関連する参照画像を格納するように構成された記憶装置と、処理装置であり、第１温度及び複数の第１パラメータに従って第１画像を補償して、第１の補償された画像を生成し、第２温度及び複数の第２パラメータに従って参照画像を補償して、第２の補償された画像を生成し、第１の補償された画像及び第２の補償された画像に従って第２画像を生成する、ように構成された処理回路を有する処理装置と、を有する。

【0005】

熱補償を扱う方法は、第１画像をキャプチャし、画像キャプチャ装置の第１温度を検出し、投影装置の第２温度を検出し、画像キャプチャ装置に関連する複数の第１パラメータ、投影装置に関連する複数の第２パラメータ、及び投影装置に関連する参照画像を格納し、第１温度及び複数の第１パラメータに従って第１画像を補償して、第１の補償された画像を生成し、第２温度及び複数の第２パラメータに従って参照画像を補償して、第２の補償された画像を生成し、そして、第１の補償された画像及び第２の補償された画像に従って第２画像を生成する、ことを有する。

【0006】

様々な図及び図面に示される好適実施形態の以下の詳細な説明を読んだ後、本発明のこれら及び他の目的が当業者に明らかになるであろう。

【図面の簡単な説明】

【0007】

【図1】本発明の一実施形態に従ったシステムの概略図である。

【図2】本発明の一実施形態に従ったシステムの概略図である。

【図3】本発明の一実施形態に従った画像キャプチャ装置のピクセルシフトパラメータと温度との間の関係図である。

【図4】本発明の一実施形態に従った投影装置のピクセルシフトパラメータと温度との間の関係図である。

【図5】本発明の一例に従ったプロセスのフローチャートである。

【図6】本発明の一例に従ったプロセスのフローチャートである。

【発明を実施するための形態】

【0008】

図１は、本発明の一実施形態に従ったシステム１００の概略図である。システム１００は、ストラクチャードライト３Ｄシステムとし得る。図１において、システム１００は、画像キャプチャ装置１１０、投影装置１２０、記憶装置１３０、及び処理装置１４０を有する。画像キャプチャ装置１１０は、キャプチャ回路１１２及び第１センシング回路１１４を有する。キャプチャ回路１１２は、第１画像をキャプチャするように構成される。第１センシング回路１１４は、画像キャプチャ装置１１０の第１温度を検出（例えば、測定）するように構成される。投影装置１２０は第２センシング回路１２２を有する。第２センシング回路１２２は、投影装置１２０の第２温度を検出（例えば、測定）するように構成される。記憶装置１３０は、画像キャプチャ装置１１０に関連する複数の第１パラメータ、投影装置１２０に関連する複数の第２パラメータ、及び投影装置１２０に関連する参照画像（例えば、グランドトゥルース画像）を格納するように構成される。処理装置１４０は、画像キャプチャ装置１１０、投影装置１２０、及び記憶装置１３０に結合され、処理回路１４２を有する。処理回路１４２は、第１温度及び複数の第１パラメータに従って第１画像を補償して、第１の補償された画像を生成し、第２温度及び複数の第２パラメータに従って参照画像を補償して、第２の補償された画像を生成し、第１の補償された画像及び第２の補償された画像に従って第２画像（例えば、深度マップ）を生成するように構成される。

【0009】

一実施形態において、画像キャプチャ装置１１０は、モニタ、ビデオカメラ、カメラ、又は上記のいずれかの組み合わせであるが、ここで限定されるものではない。一実施形態において、投影装置１２０は、バイオスコープ、プロジェクタ、又は上記のいずれかの組み合わせであるが、ここで限定されるものではない。一実施形態において、記憶装置１３０は、処理装置１４０に外部接続されたり、処理装置１４０内に配置されたりするが、ここで限定されるものではない。一実施形態において、第１／第２センシング回路１１４／１２２は、装置の温度を検出するセンサ（例えば、温度計）であるが、ここで限定されるものではない。

【0010】

一実施形態において、投影装置１２０は更に投影回路を有する。投影回路は、設計画像（例えば、参照画像）を投影するように構成される。一実施形態において、処理装置１４０は更に受信回路を有する。受信回路は、画像キャプチャ装置１１０から第１画像及び第１温度を受信し、投影装置１２０から第２温度を受信し、記憶装置１３０から複数の第１パラメータ、複数の第２パラメータ、及び参照画像を受信するように構成される。一実施形態において、受信回路は、他の装置／回路からデータを受信（例えば、取得、ロード）する中央演算処理ユニット（ＣＰＵ）であるが、ここで限定されるものではない。

【0011】

一実施形態において、第１温度及び複数の第１パラメータに従って第１画像を補償して第１の補償された画像を生成するステップは、（例えば、補間法を用いることによって）第１温度及び複数の第１パラメータに従って第１補間画像を生成し、第１補間画像に従って第１画像を補償して第１の補償された画像を生成することを有する。一実施形態において、第２温度及び複数の第２パラメータに従って参照画像を補償して第２の補償された画像を生成するステップは、（例えば、補間法を用いることによって）第２温度及び複数の第２パラメータに従って第２補間画像を生成し、第２補間画像に従って参照画像を補償して第２の補償された画像を生成することを有する。一実施形態において、処理回路１４２は、第１の補償された画像及び第２の補償された画像に深度デコーディングを使用することによって第２画像を生成する。

【0012】

一実施形態において、複数の第１パラメータは、第１温度と第１画像の第１ピクセルシフトとの間の第１関係（例えば、テーブル）を含む。一実施形態において、複数の第１パラメータは、第１画像の複数の第１ピクセルシフトパラメータを含み、複数の第１ピクセルシフトパラメータは第１温度と関連付けられる。一実施形態において、複数の第１パラメータは、画像キャプチャ装置１１０の複数の第１レンズ歪み係数を含み、複数の第１レンズ歪み係数は第１温度と関連付けられる。第１関係と複数の第１レンズ歪み係数とを、記憶装置１３０によって格納されるテーブルへと結合し得るが、ここで限定されるものではない。

【0013】

一実施形態において、複数の第２パラメータは、第２温度と参照画像の第２ピクセルシフトとの間の第２関係（例えば、テーブル）を含む。一実施形態において、複数の第２パラメータは、参照画像の複数の第２ピクセルシフトパラメータを含み、複数の第２ピクセルシフトパラメータは第２温度と関連付けられる。

【0014】

図２は、本発明の一実施形態に従ったシステム２００の概略図である。システム２００は、ストラクチャードライト３Ｄシステムとし得る。図２において、システム２００は、画像キャプチャ装置２１０、投影装置２２０、記憶装置２３０、処理装置２４０、及び第３センシング回路２５０を有する。キャプチャ回路２１２と第１センシング回路２１４とを有する画像キャプチャ装置２１０、第２センシング回路２２２を有する投影装置２２０、記憶装置２３０、処理回路２４２を有する処理装置２４０については、それぞれ、図１の画像キャプチャ装置１１０、投影装置１２０、記憶装置１３０、及び処理装置１４０を参照することができる。図１の実施形態を図２に適用することができ、簡潔さのため、ここで説明することはしない。図２では、第３センシング回路２５０が、周囲温度（例えば、環境温度）を検出（例えば、測定）するように構成されている。一実施形態において、第３センシング回路２５０は、温度を検出するセンサ（例えば、温度計）であるが、ここで限定されるものではない。

【0015】

図２において、記憶装置２３０は、画像キャプチャ装置２１０及び周囲温度に関連する複数の第３パラメータを格納するとともに、投影装置２２０及び周囲温度に関連する複数の第４パラメータを格納する。処理回路２４２は、第１温度、複数の第１パラメータ、周囲温度、及び複数の第３パラメータに従って第１画像を補償して、第１の補償された画像を生成する。処理回路２４２は、第２温度、複数の第２パラメータ、周囲温度、及び複数の第４パラメータに従って参照画像を補償して、第２の補償された画像を生成する。そして、処理回路２４２は、第１の補償された画像及び第２の補償された画像に従って、第２画像（例えば、深度マップ）を生成する。

【0016】

一実施形態において、複数の第３パラメータは、周囲温度と第１画像の第３ピクセルシフトとの間の第３関係（例えば、テーブル）を含む。一実施形態において、複数の第３パラメータは、第１画像の複数の第３ピクセルシフトパラメータを含み、複数の第３ピクセルシフトパラメータは周囲温度と関連付けられる。一実施形態において、複数の第３パラメータは、画像キャプチャ装置２１０の複数の第２レンズ歪み係数を含み、複数の第２レンズ歪み係数は周囲温度と関連付けられる。第３関係と複数の第２レンズ歪み係数とを、記憶装置２３０によって格納されるテーブルへと結合し得るが、ここで限定されるものではない。

【0017】

一実施形態において、複数の第４パラメータは、周囲温度と参照画像の第４ピクセルシフトとの間の第４関係（例えば、テーブル）を含む。一実施形態において、複数の第４パラメータは、参照画像の複数の第４ピクセルシフトパラメータを含み、複数の第４ピクセルシフトパラメータは周囲温度と関連付けられる。

【0018】

上記のピクセルシフトパラメータ（例えば、複数の第１ピクセルシフトパラメータ、複数の第２ピクセルシフトパラメータ、複数の第３ピクセルシフトパラメータ、及び複数の第４ピクセルシフトパラメータ）は、画像キャプチャ装置１１０／２１０及び／又は投影装置１２０／２２０に関する（１つ以上の）多項式によって測定され得るが、ここで限定されるものではない。上記のピクセルシフトパラメータはチャンバ内で測定され得るが、ここで限定されるものではない。

【0019】

図１において、システム１００は、画像キャプチャ装置１１０及び投影装置１２０のコンポーネントの自己加熱を考慮して、画像キャプチャ装置１１０によってキャプチャされた画像及び投影装置１２０に関連する参照画像を、画像キャプチャ装置１１０及び投影装置１２０の温度に関連するパラメータに従って補償する。図２において、システム２００は、画像キャプチャ装置２１０及び投影装置２２０のコンポーネントの自己加熱を考慮するだけでなく、周囲温度も考慮する。従って、システム２００は、画像キャプチャ装置２１０によってキャプチャされた画像及び投影装置２２０に関連する参照画像を、周囲温度に関連するパラメータ、並びに画像キャプチャ装置２１０及び投影装置２２０の温度に関連するパラメータに従って補償する。すなわち、システム１００は、周囲温度が変化しない（例えば、周囲温度が一定である）、又は周囲温度の変化が無視できるほど小さい（例えば、温度差が３度未満である）ときに実現されることができ、システム２００は、周囲温度が変化する（例えば、周囲温度が一定でない）ときに実現されることができる。

【0020】

図３は、本発明の一実施形態に従った画像キャプチャ装置のピクセルシフトパラメータと温度との間の関係図である。図３は、図１－図２における複数の第１パラメータとすることができ、Ｘ軸とＹ軸を示している。Ｘ軸は、基準温度（例えば、２０度）と画像キャプチャ装置１１０／２１０の温度との温度差（ΔＴ）を表している。Ｙ軸は、画像キャプチャ装置１１０／２１０に関するピクセルシフトパラメータ（倍率の変動）を表している。ピクセルシフトパラメータは、モジュールＭ１－Ｍ３に従って、モジュールあたり３回、チャンバ内で測定されている。モジュールＭ１－Ｍ３は同じ倍率で実行されている。モジュールＭ１－Ｍ３は、画像キャプチャ装置１１０／２１０に関する異なる条件（例えば、異なる多項式）を表す。

【0021】

図４は、本発明の一実施形態に従った投影装置のピクセルシフトパラメータと温度との間の関係図である。図４は、図１－図２における複数の第２パラメータとすることができ、Ｘ軸とＹ軸を示している。Ｘ軸は、基準温度（例えば、２０度）と投影装置１２０／２２０の温度との温度差（ΔＴ）を表している。Ｙ軸は、投影装置１２０／２２０に関するピクセルシフトパラメータ（倍率の変動）を表している。ピクセルシフトパラメータは、モジュールＭ４－Ｍ６に従ってチャンバ内で測定されており、モジュールＭ４－Ｍ６は倍率ＳＦ１及びＳＦ２にて行われている。モジュールＭ４－Ｍ６は、投影装置１２０／２２０に関する異なる条件（例えば、異なる多項式）を表す。

【0022】

図５は、システム１００の動作を例示するための、本発明の一例に従ったプロセス５００のフローチャートである。プロセス５００は以下のステップを含む。

【0023】

ステップ５０２：第１画像をキャプチャする。

【0024】

ステップ５０４：画像キャプチャ装置の第１温度を検出する。

【0025】

ステップ５０６：投影装置の第２温度を検出する。

【0026】

ステップ５０８：画像キャプチャ装置に関連する複数の第１パラメータ、投影装置に関連する複数の第２パラメータ、及び投影装置に関連する参照画像を記憶装置からロードする。

【0027】

ステップ５１０：第１温度及び複数の第１パラメータに従って画像を補償して、第１の補償された画像を生成する。

【0028】

ステップ５１２：第２温度及び複数の第２パラメータに従って参照画像を補償して、第２の補償された画像を生成する。

【0029】

ステップ５１４：第１の補償された画像及び第２の補償された画像に従って第２画像を生成する。

【0030】

プロセス５００は、システム１００の動作を説明するために使用されている。プロセス５００の詳細な説明及びバリエーションについては、先の説明を参照することができ、ここで説明することはしない。

【0031】

図６は、システム２００の動作を例示するための、本発明の一例に従ったプロセス６００のフローチャートである。プロセス６００は以下のステップを含む。

【0032】

ステップ６０２：第１画像をキャプチャする。

【0033】

ステップ６０４：画像キャプチャ装置の第１温度を検出する。

【0034】

ステップ６０６：投影装置の第２温度を検出する。

【0035】

ステップ６０８：周囲温度を検出する。

【0036】

ステップ６１０：画像キャプチャ装置に関連する複数の第１パラメータ、投影装置に関連する複数の第２パラメータ、画像キャプチャ装置及び周囲温度に関連する複数の第３パラメータ、投影装置及び周囲温度に関連する複数の第４パラメータ、及び投影装置に関連する参照画像を記憶装置からロードする。

【0037】

ステップ６１２：第１温度、複数の第１パラメータ、周囲温度、及び複数の第３パラメータに従って第１画像を補償して、第１の補償された画像を生成する。

【0038】

ステップ６１４：第２温度、複数の第２パラメータ、周囲温度、及び複数の第４パラメータに従って参照画像を補償して、第２の補償された画像を生成する。

【0039】

ステップ６１６：第１の補償された画像及び第２の補償された画像に従って第２画像を生成する。

【0040】

プロセス６００は、システム２００の動作を説明するために使用されている。プロセス６００の詳細な説明及びバリエーションについては、先の説明を参照することができ、ここで説明することはしない。

【0041】

なお、システム１００及び２００は様々に実現される。例えば、上述の装置／回路は１つ以上の装置／回路に統合され得る。また、システム１００及び２００は、ハードウェア（例えば、回路）、ソフトウェア、ファームウェア（ハードウェア装置と、該ハードウェア装置上の読み出し専用ソフトウェアとして存在するコンピュータ命令及びデータとの組み合わせとして知られる）、電子システム、又は上述の装置の組み合わせによって実現され得るが、ここで限定されるものではない。

【0042】

まとめるに、本発明は、熱補償を扱うシステム及び方法を提供する。当該システムは、画像キャプチャ装置によってキャプチャされた画像を、該画像キャプチャ装置の温度に関連するパラメータに従って補償し、投影装置に関連する参照画像を、該投影装置の温度に関連するパラメータに従って補償する。さらに、当該システムは、画像キャプチャ装置によってキャプチャされた画像及び投影装置に関連する参照画像を、周囲温度に関連するパラメータに従って補償し得る。従って、システムにおける熱補償を打開して正確な深度マップを得ることができる。

【0043】

当業者が直ちに気付くことには、発明の教示を保持しながら装置及び方法の数多くの変更及び改変が為され得る。従って、以上の開示は、添付の請求項の境界範囲によってのみ限定されると解釈されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】