2022-187973 熱補償を備えた構造化光走査システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022187973

(43)【公開日】2022-12-20

(54)【発明の名称】熱補償を備えた構造化光走査システム

(51)【国際特許分類】

   G06T 7/521 20170101AFI20221213BHJP

【ＦＩ】

G06T7/521

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022050144

(22)【出願日】2022-03-25

(31)【優先権主張番号】17/341,769

(32)【優先日】2021-06-08

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】507033211

【氏名又は名称】奇景光電股▲分▼有限公司

(74)【代理人】

【識別番号】100082418

【弁理士】

【氏名又は名称】山口 朔生

(74)【代理人】

【識別番号】100167601

【弁理士】

【氏名又は名称】大島 信之

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(74)【代理人】

【識別番号】100220917

【弁理士】

【氏名又は名称】松本 忠大

(72)【発明者】

【氏名】蔡金融

(72)【発明者】

【氏名】張乃▲ティン▼

(72)【発明者】

【氏名】朱于萱

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096CA17

5L096FA66

5L096FA69

(57)【要約】      （修正有）

【課題】熱補償を備えた構造化光走査システムを提供する。
【解決手段】熱補償を備えた構造化光走査システム１００は、所定の投射光パターンを生成するために用いられ、投射光パターンが物品に投射されると共に反射されることで、反射光パターンが形成される構造化光プロジェクター１１と、反射光パターンをキャプチャするためのイメージセンサー１２と、反射光パターン及び現在温度に関連する補償投影パターンに基づいて、深度マップを生成するデジタル処理ユニット１６と、を備えている。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の投射光パターンを生成するために用いられ、前記投射光パターンが物品に投射されると共に反射されることで、反射光パターンが形成される構造化光プロジェクターと、
前記反射光パターンをキャプチャするためのイメージセンサーと、
前記反射光パターン及び現在温度に関連する補償投影パターンに基づいて、深度マップを生成するデジタル処理ユニットと、を備えていることを特徴とする、
熱補償を備えた構造化光走査システム。

【請求項2】

異なる温度に関連する複数の補償投影パターンを保存するためのメモリデバイスを更に備え、前記デジタル処理ユニットはその中から現在温度に関連する補償投影パターンを取得することを特徴とする請求項１に記載の熱補償を備えた構造化光走査システム。

【請求項3】

所定の投射光パターンを生成するために用いられ、前記投射光パターンが物品に投射されると共に反射されることで、反射光パターンが形成される構造化光プロジェクターと、
前記反射光パターンをキャプチャするためのイメージセンサーと、
前記反射光パターン、参照投影パターン及び現在温度に関連する変位マップに基づいて、深度マップを生成するデジタル処理ユニットと、を備え、
前記参照投影パターンは参照温度に関連し、且つ現在温度に関連する前記変位マップは現在温度に関連する補償投影パターンと前記参照投影パターンとの間の点変位を表すことを特徴とする、
熱補償を備えた構造化光走査システム。

【請求項4】

前記参照投影パターン及び異なる温度に関連する複数の変位マップを保存するためのメモリデバイスを更に備えていることを特徴とする請求項３に記載の熱補償を備えた構造化光走査システム。

【請求項5】

前記デジタル処理ユニットは内挿器を含み、現在温度に関連する変位マップにより前記参照投影パターンに対し画像ワーピング処理を実行し、現在温度に関連する補償投影パターンを生成することを特徴とする請求項３に記載の熱補償を備えた構造化光走査システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、構造化光走査（ｓｔｒｕｃｔｕｒｅｄ－ｌｉｇｈｔ ｓｃａｎｎｉｎｇ）システムに関し、更に詳しくは、熱補償を備えた構造化光走査システムに関する。

【背景技術】

【0002】

構造化光走査は光パターン（ｐａｔｔｅｒｎ ｏｆ ｌｉｇｈｔ）を場景に投射する工程である。カメラにより反射パターンをキャプチャし、処理（例えば、三角測量法を使用して処理）した後、場景中の物品の３次元または深度マップ（ｄｅｐｔｈ ｍａｐ）を再構築する。構造化光走査は物品の検出に適用可能であり、デジタル画像または映像中の特定の種類の物品を検出する。特に、構造化光走査はモバイルデバイス（例えば、携帯電話）のセキュリティ機構の顔の検出に適用可能な物品の検出方法の一つであり、正面から見た人の顔の検出に用いられている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、前述した従来の技術では、構造化光走査システムの部材は温度変化の影響を受けて変動、ドリフト或いは変形し易く、これらの変動が投射される光パターンを歪めてしまい、検出精度を低下させた。例えば、温度変化により光源の波長が変動し、レンズの有効焦点距離がドリフトし、プリント回路基板が変形した。

【0004】

そこで、本発明者は上記の欠点が改善可能と考え、構造化光走査システムの熱効果の補償により、上記目的を達成できることを見出した。

【0005】

本発明はこうした状況に鑑みてなされたものであり、その目的は、熱効果を補償する構造化光走査システムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するための、本発明のある態様の熱補償を備えた構造化光走査システムは、構造化光プロジェクターと、イメージセンサーと、デジタル処理ユニットと、を備えている。構造化光プロジェクターは所定の投射光パターンを生成するために用いられ、前記投射光パターンが物品に投射されると共に反射されることで、反射光パターンが形成される。イメージセンサーは反射光パターンをキャプチャするために用いられている。デジタル処理ユニットは反射光パターン及び現在温度に関連する補償投影パターンに基づいて、深度マップを生成する。

【0007】

本発明の別の実施形態によれば、デジタル処理ユニットは反射光パターン、参照投影パターン及び現在温度に関連する変位マップに基づいて、深度マップを生成する。

【発明の効果】

【0008】

本発明は、以上説明したように構成されているので、以下に記載されるような効果を奏する。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る熱補償を備えた構造化光走査システムを示したブロック図である。

【図2A】本発明の第１実施例に係る補正段階のフローチャートを表し、異なる温度に関連する補償投影パターン図案を生成及び保存する。

【図2B】異なる温度に関連する補償投影パターンを記憶装置に生成及び保存する。

【図2C】本発明の第１実施例に係る深度デコーダ段階のフローチャートを表して、現在（周辺）温度に関連する補償投影パターンを獲得し、深度マップを産生する。

【図3A】本発明の第２実施例に係る補正段階のフローチャートを表し、参照温度に関連する参照投影パターン及び異なる温度に関連する変位マップを生成及び保存する。

【図3B】参照温度に関連する参照投影パターン及び異なる温度に関連する変位マップを生成及び保存する。

【図3C】本発明の第２実施例に係る深度デコーダ段階のフローチャートを表して、参照温度に関連する参照投影パターン及び現在（周辺）温度に関連する変位マップを獲得し、深度マップを産生する。

【図3D】補償投影パターンを生成するハードウェア構成を示す。

【発明を実施するための形態】

【0010】

以下、本開示の実施形態について図面を用いて説明する。なお、本開示は、下記の実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の形態を採りうる。

【0011】

図１は本発明の一実施形態に係る熱補償を備えた構造化光走査システム１００を示したブロック図である。

【0012】

本実施例では、熱補償を備えた構造化光走査システム（以下、システムと略称する）１００は所定の投射光パターンを生成するための構造化光プロジェクター１１を備えている。投射光パターンが物品（図示省略）に投射されると共に反射されることで、反射光パターンが形成される。

【0013】

本実施例のシステム１００は、反射光パターンをキャプチャするために用いられているカメラのようなイメージセンサー１２を備えている。

【0014】

本発明の一態様によれば、システム１００は、構造化光プロジェクター１１及びイメージセンサー１２を支持し、構造化光プロジェクター１１及びイメージセンサー１２の相対的な位置を保持するためのプリント回路基板のようなホルダー１３（または、固定部材（ｉｍｍｏｂｉｌｉｚｅｒ））を備えている。

【0015】

本実施例の特徴に基づいて、システム１００は現在（周囲）の温度を測定するための熱センサー１４（または温度センサーと称する）を備え、熱補償を実行する。一実施例において、構造化光プロジェクター１１は、温度が上昇または低下しやすいため、熱センサー１４は構造化光プロジェクター１１内または構造化光プロジェクター１１の近隣に設置している。一般的には、熱センサー１４をシステム１００の任意の位置に設置して周囲の温度を測定する。

【0016】

本実施例の他の特徴に基づいて、システム１００は、現在温度に関連する（所定の）補償投影パターンを提供するためのフラッシュ（ｆｌａｓｈ）メモリやリードオンリーメモリのようなメモリデバイス１５を備えている。一実施例において、異なる温度に関連する複数の補償投影パターンはメモリデバイス１５に保存されている。他の実施例において、参照温度（例えば室?）に関連する参照投影パターン及び異なる温度に関連する複数の変位マップ（ｄｉｓｐｌａｃｅｍｅｎｔ ｍａｐ（ＤＭ））はメモリデバイス１５に保存され、変位マップ（ＤＭ）は対応する補償投影パターンと参照投影パターンとの間の点変位を表している。

【0017】

本実施例のシステム１００はデジタル処理ユニット１６を備え、（イメージセンサー１２からの）反射光パターン及び現在温度に関連する補償投影パターンに基づいて、深度マップを生成（補償）する。デジタル処理ユニット１６は、現在温度に関連する補償投影パターンを一時保存するためのランダムアクセスメモリ（ＲＡＭ）のようなバッファ１６１を含む。

【0018】

デジタル処理ユニット１６は、（現在温度に関連する）補償投影パターン及び（イメージセンサー１２からの）反射光パターンに基づいて、深度マップを生成（補償）する深度デコーダ（ｄｅｐｔｈ ｄｅｃｏｄｅｒ）１６２を備えている。従来の深度デコード技術を用いて深度マップを取得し、その仔細については省略する。

【0019】

デジタル処理ユニット１６は、バッファ１６１及び深度デコーダ１６２の操作を制御するための（破線で示す）コントローラー１６３を備え、構造化光プロジェクター１１及びイメージセンサー１２（破線で示す）を協調させ、且つ（熱センサー１４から受信した）現在温度に基づいて、メモリデバイス１５から（現在温度に関連する）補償投影パターンを取得する。

【0020】

図２Ａは本発明の第１実施例に係る補正（ｃａｌｉｂｒａｔｉｏｎ）段階のフローチャートを表し、異なる温度に関連する補償投影パターンを生成及び保存する。工程２１において、システム１００は周囲温度にあり、且つ工程２２において、対応する補償投影パターンを取得し、深度デコーダ１６２が（所定の）目標深度マップを生成する。工程２３において、補償投影パターンをメモリデバイス１５に保存する。
工程２４において、周囲温度を改変する（例えば、加温）。改変後の温度が尚も所定範囲内にある場合（工程２５参照）、工程２１のフローチャートに戻る。これにより、異なる温度に関連する補償投影パターンがメモリデバイス１５に保存される。補償投影パターンがデバイスに依存していない場合（ｄｅｖｉｃｅ－ｉｎｄｅｐｅｎｄｅｎｔ）、補正階段を１回のみ実行するか、個別のデバイスに対して補正階段をそれぞれ実行する。

【0021】

図２Ｂは異なる温度に関連する補償投影パターンを記憶装置に生成及び保存する。図２Ｂの例において、補正階段では、（摂氏）２０、２５及び６０度の周囲温度に関連する補償投影パターンＧＴをメモリデバイス１５に生成及び保存する。

【0022】

図２Ｃは本発明の第１実施例に係る深度デコーダ段階のフローチャートを表して、現在（周辺）温度に関連する補償投影パターンを獲得し、深度マップを産生する。

【0023】

工程２６において、コントローラー１６３が（熱センサー１４が提供する）現在温度を読み取る。次いで、工程２７において、メモリデバイス１５が現在温度に関連する対応する補償投影パターンを取得し、且つバッファ１６１に一時保存する。図２Ｂに示すように、６０度（摂氏）の現在温度に関連する対応する補償投影パターンを取得し、且つバッファ１６１に一時保存する。次いで、工程２８において、深度デコーダ１６２は（現在温度に関連する）補償投影パターン及び（イメージセンサー１２からの）反射光パターンに基づいて、深度マップを生成（補償）する。

【0024】

図３Ａは本発明の第２実施例に係る補正段階のフローチャートを表し、参照温度に関連する参照投影パターン及び異なる温度に関連する変位マップ（ＤＭ）を生成及び保存する。

【0025】

工程３１において、システム１００は参照温度にあり、且つ工程３２をおいて、対応する参照投影パターンを取得し、深度デコーダ１６２が（所定の）目標深度マップを生成する。参照投影パターンはメモリデバイス１５に保存する。工程３３において、システム１００は周囲温度にあり、且つ工程３４において、対応する補償投影パターンと参照投影パターンとの間の対応する変位マップを取得する。
工程３５において、変位マップをメモリデバイス１５に保存する。工程３６において、周囲温度を改変する（例えば、加温）。改変後の温度が尚も所定範囲内にある場合（工程３７参照）、工程３３のフローチャートに戻る。これにより、参照投影パターン及び異なる温度に関連する変位マップがメモリデバイス１５に保存される。

【0026】

図３Ｂは参照温度に関連する参照投影パターン及び異なる温度に関連する変位マップを生成及び保存する。図３Ｂの例において、補正階段で、参照温度（例えば、２５度（摂氏））に関連する参照投影パターンをメモリデバイス１５に生成及び保存し、且つ２０、６９度（摂氏）の周囲温度に関連する変位マップＤＭをメモリデバイス１５に生成及び保存する。

【0027】

図３Ｃは本発明の第２実施例に係る深度デコーダ段階のフローチャートを表して、参照温度に関連する参照投影パターン及び現在（周辺）温度に関連する変位マップを獲得し、深度マップを産生する。

【0028】

工程３８において、コントローラー１６３が（熱センサー１４が提供する）現在温度を読み取る。次いで、工程３９において、メモリデバイス１５から参照温度に関連する参照投影パターン及び現在温度に関連する変位マップを取得する。次いで、工程４０において、深度デコーダ１６２は参照投影パターン、（現在温度に関連する）変位マップ及び（イメージセンサー１２からの）反射光パターンに基づいて、深度マップを生成（補償）する。
図３Ｄは補償投影パターンを生成するハードウェア構成を示す。内挿器（ｉｎｔｅｒｐｏｌａｔｏｒ）１６４を使用し（デジタル処理ユニット１６に内設されている）、変位マップにより参照投影パターンに対し画像ワーピング（ｗａｒｐｉｎｇ）演算を実行し、補償投影パターンを生成する。

【0029】

続いて、深度デコーダ１６２は補償投影パターン及び（イメージセンサー１２からの）反射光パターンに基づいて、深度マップを生成する。ここで留意すべき点は、現在温度に適合する変位マップを欠いていても、現在温度よりもやや大きい変位マップ及び現在温度よりもやや小さい変位マップに対し内挿（ｉｎｔｅｒｐｏｌａｔｉｏｎ）演算を実行することで、現在温度に関連する変位マップを取得できる点である。
図３Ｂに示すように、２０度（摂氏）の温度の変位マップ及び６０度（摂氏）の温度の変位マップに対し内挿演算を実行することで、４０度（摂氏）の現在温度に関連する変位マップを取得できる。

【0030】

上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。

【符号の説明】

【0031】

１００ 熱補償を備えた構造化光走査システム
１１ 構造化光プロジェクター
１２ イメージセンサー
１３ ホルダー
１４ 熱センサー
１５ メモリデバイス
１６ デジタル処理ユニット
１６１ バッファ
１６２ 深度デコーダ
１６３ コントローラー
１６４ 内挿器
２１ 周囲温度にある
２２ 対応する補償投影パターンを取得する
２３ メモリデバイスに保存する
２４ 周囲温度を変更する
２５ 温度が設定範囲内かどうか
２６ 現在の温度を読み取る
２７ 対応する補償投影パターンを取得する
２８ 深度マップを生成する
３１ 基準温度にある
３２ 参照投影パターンを取得する
３３ 周囲温度にある
３４ 対応する変位マップを取得する
３５ メモリデバイスに保存する
３６ 周囲温度を変更する
３７ 温度が設定範囲内かどうか
３８ 現在の温度を読み取る
３９ 参照投影パターンと対応する変位マップを取得する
４０ 深度マップを生成する
ＧＴ 補償投影パターン
ＤＭ 変位マップ

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図3D】