特表 2024-541141 三次元認識装置、端末、画像強調方法、及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-07

(54)【発明の名称】三次元認識装置、端末、画像強調方法、及び記憶媒体

(51)【国際特許分類】

   G01B 11/25 20060101AFI20241030BHJP

   G01C 3/06 20060101ALI20241030BHJP

【ＦＩ】

G01B11/25 H

G01C3/06 130

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024529441

(86)(22)【出願日】2022-10-08

(85)【翻訳文提出日】2024-05-16

(86)【国際出願番号】 CN2022123743

(87)【国際公開番号】W WO2023103562

(87)【国際公開日】2023-06-15

(31)【優先権主張番号】202111486807.7

(32)【優先日】2021-12-07

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】511151662

【氏名又は名称】中興通訊股▲ふん▼有限公司

【氏名又は名称原語表記】ＺＴＥ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】ＺＴＥ Ｐｌａｚａ，Ｋｅｊｉ Ｒｏａｄ Ｓｏｕｔｈ，Ｈｉ－Ｔｅｃｈ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100112656

【弁理士】

【氏名又は名称】宮田 英毅

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】張永亮

【テーマコード（参考）】

2F065

2F112

【Ｆターム（参考）】

2F065AA53

2F065FF09

2F065FF31

2F065GG21

2F065HH07

2F065JJ03

2F065JJ05

2F065JJ26

2F065LL22

2F065PP23

2F112AA09

2F112AC06

2F112AD01

2F112BA10

2F112CA12

2F112DA32

2F112FA03

2F112FA21

2F112FA38

2F112FA45

(57)【要約】

本願は、三次元認識装置、端末、画像強調方法、及び記憶媒体を提供する。三次元認識装置は、レンズ（１４０）と、前記レンズ（１４０）の内側に設置される光路（２００）であって、前記光路（２００）内にＲＧＢカメラ（４４０）、三次元認識ユニット及び第１のダイクロイックフィルタ（３１０）が設置され、前記第１のダイクロイックフィルタ（３１０）は環境光における可視光を前記ＲＧＢカメラ（４４０）に反射し、さらに前記三次元認識ユニットによって送受信された赤外光を透過させる光路（２００）と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

端末の表示スクリーンの内側に設置される三次元認識装置であって、
レンズと、
前記レンズの内側に設置される光路であって、前記光路内に赤緑青ＲＧＢカメラ、三次元認識ユニット及び第１のダイクロイックフィルタが設置され、前記第１のダイクロイックフィルタは環境光における可視光を前記ＲＧＢカメラに反射し、さらに前記三次元認識ユニットによって送受信された赤外光を透過させる光路と、を含む、
三次元認識装置。

【請求項2】

前記第１のダイクロイックフィルタは前記光路を仕切って第１の通路及び第２の通路を形成し、前記三次元認識ユニットは前記第１の通路に設置され、前記ＲＧＢカメラは前記第２の通路に設置される、
請求項１に記載の三次元認識装置。

【請求項3】

前記第１の通路内に赤外線遮断壁が設置され、前記赤外線遮断壁は、前記第１のダイクロイックフィルタに接続され、前記第１の通路を仕切って第３の通路及び第４の通路を形成し、
前記三次元認識ユニットは、赤外線送信ユニット及び第１の赤外線カメラを含み、前記赤外線送信ユニットは、前記第３の通路に設置され、前記赤外線送信ユニットによって送信された赤外光は前記第１のダイクロイックフィルタを透過して前記レンズに到達し、前記第１の赤外線カメラは、前記第４の通路に設置され、前記第１のダイクロイックフィルタを透過した環境光における赤外光を受信する、
請求項２に記載の三次元認識装置。

【請求項4】

前記第３の通路は第１の延伸通路及び第２の延伸通路を含み、前記第１の延伸通路と前記第２の延伸通路との間に第１の反射ミラーが設置され、前記第１の反射ミラーは赤外線全反射レンズ又は時分割反射ミラーであり、
前記赤外線送信ユニットは、第１のエミッタ及び第２のエミッタを含み、前記第１のエミッタは前記第１の延伸通路に設置され、前記第２のエミッタは前記第２の延伸通路に設置され、前記第１のエミッタによって送信された赤外光は、前記第１の反射ミラーによって前記第１のダイクロイックフィルタに反射され、前記第２のエミッタによって送信される赤外光は、前記第１の反射ミラーを透過して前記第１のダイクロイックフィルタに到達し、
前記第１のエミッタは赤外線エミッタ、前記第２のエミッタは赤外線ドットプロジェクタであり、
又は、
前記第１のエミッタは赤外線ドットプロジェクタ、前記第２のエミッタは赤外線エミッタであり、
前記赤外線ドットプロジェクタは、赤外光出射方向に第１の垂直共振器型面発光レーザー器ＶＣＳＥＬ、ウエハレベル光学レンズＷＬＯ及び回折光学素子ＤＯＥを順に含み、前記赤外線エミッタは、赤外光出射方向に第２のＶＣＳＥＬ及び拡散板を順に含む、
請求項３に記載の三次元認識装置。

【請求項5】

前記第３の通路に第１の赤外線反射ミラーがさらに設置され、前記第１の赤外線反射ミラーは透過又は反射によって前記第１の反射ミラーに到達した赤外光を前記第１のダイクロイックフィルタに反射する、
請求項４に記載の三次元認識装置。

【請求項6】

前記赤外線送信ユニットは赤外線エミッタであり、前記赤外線エミッタは赤外光送信方向に第２のＶＣＳＥＬ及び拡散板を順に含む、
請求項３に記載の三次元認識装置。

【請求項7】

前記第３の通路に第１の赤外線反射ミラーが設置され、前記第１の赤外線反射ミラーは前記赤外線エミッタによって送信された赤外光を前記第１のダイクロイックフィルタに反射する、
請求項６に記載の三次元認識装置。

【請求項8】

前記第１の赤外線カメラは、前記赤外光入射方向に第１のレンズ群、第１の赤外線ローパスフィルタ及び第１の赤外線感光性基板を順に含む、
請求項３～７のいずれか１項に記載の三次元認識装置。

【請求項9】

前記第４の通路に第２の赤外線反射ミラーが設置され、前記第２の赤外線反射ミラーは前記第１のダイクロイックフィルタを透過した環境光における赤外光を前記第１の赤外線カメラに反射する、
請求項８に記載の三次元認識装置。

【請求項10】

前記ＲＧＢカメラは、可視光入射方向に第２のレンズ群、赤外線媒体フィルタ及び可視光感光性基板を順に含む、
請求項３～７のいずれか１項に記載の三次元認識装置。

【請求項11】

前記第２の通路は第３の延伸通路及び第４の延伸通路を含み、前記ＲＧＢカメラは前記第３の延伸通路内に設置され、前記第４の延伸通路内に第２の赤外線カメラが設置され、
前記第３の延伸通路と前記第４の延伸通路との間に第２のダイクロイックフィルタが設置され、前記第２のダイクロイックフィルタは、前記第１のダイクロイックフィルタによって反射された可視光を前記ＲＧＢカメラに反射し、前記第１のダイクロイックフィルタによって反射された赤外光を透過させて前記第２の赤外線カメラに到達させ、
前記第２の赤外線カメラは、前記赤外光入射方向に第３のレンズ群、第２の赤外線ローパスフィルタ及び第２の赤外線感光性基板を順に含む、
請求項１０に記載の三次元認識装置。

【請求項12】

端末であって、
請求項１～１１のいずれか１項に記載の三次元認識装置と、
表示スクリーンと、を含み、
前記三次元認識装置は前記表示スクリーンの内側に設置され、前記表示スクリーンの前記三次元認識装置のレンズに対応する領域は光透過性強化領域である、
端末。

【請求項13】

三次元認識装置に適用される画像強調方法であって、
前記三次元認識装置はレンズ及び光路を含み、前記光路は前記レンズの内側に設置され、前記光路内にＲＧＢカメラ、赤外線エミッタ、赤外線ドットプロジェクタ、第１の赤外線カメラ及び第１のダイクロイックフィルタが設置され、環境光における可視光は前記第１のダイクロイックフィルタによって前記ＲＧＢカメラに反射され、環境光における赤外光は前記第１のダイクロイックフィルタを透過して前記第１の赤外線カメラに到達し、前記赤外線エミッタ及び赤外線ドットプロジェクタによって送信される赤外光は前記第１のダイクロイックフィルタを透過して前記レンズに到達し、
前記画像強調方法は、
三次元点群画像及び二次元画像を取得するステップであって、前記三次元点群画像は前記第１の赤外線カメラによって目標反射光から取得され、前記二次元画像は前記ＲＧＢカメラによって前記目標反射光から取得され、前記目標反射光は前記赤外線ドットプロジェクタによって送信されるレーザースペックルが目標物体によって反射された光であるステップと、
前記三次元点群画像から三次元構造化光点群を取得し、前記三次元構造化光点群と前記二次元画像とを同期させて構造化光差分値を得るステップと、
前記二次元画像に応じてＲＧＢ基準データを決定し、前記ＲＧＢ基準データ及び前記構造化光差分値に応じて基準面に補間処理を行って、前記基準面の密度を増加させるステップと、
前記三次元点群画像の三次元点群レイヤー面を取得し、前記三次元点群レイヤー面と前記基準面を校正するステップと、
前記三次元点群レイヤー面と前記基準面に対してステレオマッチングを行い、赤緑青深度ＲＧＢＤ情報を得るステップと、を含む、
画像強調方法。

【請求項14】

前記三次元点群画像から三次元構造化光点群を取得する前記ステップの前に、
赤外線基準ヒートマップ及び可視光基準マップを取得し、前記赤外線基準ヒートマップ及び前記可視光基準マップに応じてキャリブレーションパラメータを決定するステップであって、前記赤外線基準ヒートマップは前記第１の赤外線カメラによって収集され、前記可視光基準マップは前記ＲＧＢカメラによって収集されるステップと、
前記キャリブレーションパラメータに応じて前記三次元点群画像及び前記二次元画像を校正するステップと、をさらに含む、
請求項１３に記載の画像強調方法。

【請求項15】

端末であって、メモリと、プロセッサと、メモリに記憶されており、プロセッサ上で実行可能なコンピュータプログラムと、を含み、前記プロセッサは、前記コンピュータプログラムを実行すると、請求項１３～１４のいずれか１項に記載の画像強調方法を実現する、
端末。

【請求項16】

コンピュータ読み取り可能な記憶媒体であって、請求項１３～１４のいずれか１項に記載の画像強調方法を実行するためのコンピュータ実行可能命令が記憶されている、
コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、出願番号が２０２１１１４８６８０７．７、出願日が２０２１年１２月０７日の中国特許出願に基づいて提出され、当該中国特許出願の優先権を主張しており、当該中国特許出願のすべての内容は、引用により参考として本願に組み込まれている。

【0002】

本願は、スマート端末の分野に関するが、これに限定されず、特に、三次元認識装置、端末、画像強調方法、及び記憶媒体に関する。

【背景技術】

【0003】

現在、移動端末の前方三次元認識には、主に構造化光と飛行時間（ＴＯＦ：Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）の２つのスキームがあり、上記２つのスキームを実現するために、例えば赤外線カメラや投光イルミネーターなどの三次元認識素子を移動端末に配置する必要がある。また、前方赤緑青（ＲＧＢ：Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）カメラは、通常、三次元認識素子の間に並置されており、一方、これらの素子のレンズ領域は比較的大きく、通常、表示スクリーンの上部に配置され、「ノッチ」領域を形成し、その結果、スクリーンの有効表示領域が小さくなる。

【0004】

この問題を解決するために、ますます多くのスマート端末はアンダーディスプレイ撮影技術を採用し始めており、フロントＲＧＢカメラと三次元認識素子を表示スクリーンの内側に配置する。各素子の光要件を満たすために、対応するスクリーン表示領域に光透過性を高めるための特殊処理を行う必要があり、例えば、ＲＧＢ画素を低減させるか、又はＲＧＢ画素を小さくすることで光の透過量を増やす。特殊処理後の表示領域は、ほかの表示領域との表示効果に一定の違いがあり、各素子が現在の並置レイアウトを採用すると、特殊処理領域の面積が大きくなり、全体的な表示効果及びユーザエクスペリエンスを損なう。

【発明の概要】

【発明が解決しようとする課題】

【0005】

以下は、本明細書で詳細に説明されている主題の概要である。本概要は、特許請求の範囲を制限するためのものではない。

【0006】

本願の実施例は、三次元認識装置、端末、画像強調方法、及び記憶媒体を提供する。

【課題を解決するための手段】

【0007】

第１の態様では、本願の実施例は、端末の表示スクリーンの内側に設置される三次元認識装置であって、レンズと、前記レンズの内側に設置される光路であって、前記光路内にＲＧＢカメラ、三次元認識ユニット及び第１のダイクロイックフィルタが設置され、前記第１のダイクロイックフィルタは環境光における可視光を前記ＲＧＢカメラに反射し、さらに前記三次元認識ユニットによって送受信された赤外光を透過させる光路と、を含む、三次元認識装置を提供する。

【0008】

第２の態様では、本願の実施例は、第１の態様に記載の三次元認識装置と、表示スクリーンと、を含み、前記三次元認識装置は前記表示スクリーンの内側に設置され、前記表示スクリーンの前記三次元認識装置のレンズに対応する領域は光透過性強化領域である、端末を提供する。

【0009】

第３の態様では、本願の実施例は、三次元認識装置に適用される画像強調方法を提供する。前記三次元認識装置はレンズ及び光路を含み、前記光路は前記レンズの内側に設置され、前記光路内にＲＧＢカメラ、赤外線エミッタ、赤外線ドットプロジェクタ、第１の赤外線カメラ及び第１のダイクロイックフィルタが設置され、環境光における可視光は前記第１のダイクロイックフィルタによって前記ＲＧＢカメラに反射され、環境光における赤外光は前記第１のダイクロイックフィルタを透過して前記第１の赤外線カメラに到達し、前記赤外線エミッタ及び赤外線ドットプロジェクタによって送信される赤外光は前記第１のダイクロイックフィルタを透過して前記レンズに到達する。前記画像強調方法は、三次元点群画像及び二次元画像を取得するステップであって、前記三次元点群画像は前記第１の赤外線カメラによって目標反射光から取得され、前記二次元画像は前記ＲＧＢカメラによって前記目標反射光から取得され、前記目標反射光は前記赤外線ドットプロジェクタによって送信されるレーザースペックルが目標物体によって反射された光であるステップと、前記三次元点群画像から三次元構造化光点群を取得し、前記三次元構造化光点群と前記二次元画像とを同期させて構造化光差分値を得るステップと、前記二次元画像に応じてＲＧＢ基準データを決定し、前記ＲＧＢ基準データ及び前記構造化光差分値に応じて基準面に補間処理を行って、前記基準面の密度を増加させるステップと、前記三次元点群画像の三次元点群レイヤー面を取得し、前記三次元点群レイヤー面と前記基準面を校正するステップと、前記三次元点群レイヤー面と前記基準面に対してステレオマッチングを行い、ＲＧＢＤ深度情報を得るステップと、を含む。

【0010】

第４の態様では、本願の実施例は、メモリと、プロセッサと、メモリに記憶されており、プロセッサ上で実行可能なコンピュータプログラムと、を含み、前記プロセッサは、前記コンピュータプログラムを実行すると、第３の態様に記載の画像強調方法を実現する、端末を提供する。

【0011】

第５の態様では、本願の実施例は、第３の態様に記載の画像強調方法を実行するためのコンピュータ実行可能命令が記憶されているコンピュータ読み取り可能な記憶媒体を提供する。

【0012】

本願の他の特徴及び利点は、後の明細書で説明され、明細書から部分的に明らかになるか、本願を実施することによって理解される。本願の目的及びその他の利点は、明細書、特許請求の範囲及び図面において特に指摘されている構成によって達成され、かつ、取得され得る。図面は、本願の技術案の更なる理解を提供するために使用され、明細書の一部を構成し、本願の実施例と共に本願の技術案を解釈するために使用され、本願の技術案を限定するものではない。

【図面の簡単な説明】

【0013】

【図1】本願の実施例１に係る三次元認識装置の構造図である。

【図2】本願の実施例２に係る三次元認識装置の構造図である。

【図3】本願の実施例３に係る三次元認識装置の構造図である。

【図4】本願の実施例４に係る三次元認識装置の構造図である。

【図5】本願の別の実施例に係る端末の構造図である。

【図6】本願の別の実施例に係る画像強調方法のフローチャートである。

【図7】本願の別の実施例に係る画像校正のフローチャートである。

【図8】本願の別の実施例に係る端末の装置図である。

【発明を実施するための形態】

【0014】

本願の目的、技術案及び利点をより明確にするために、以下、図面及び実施例を参照して、本願についてさらに詳細に説明する。本明細書に記載された具体的な実施例は、本願を解釈するためにのみ使用され、本願を限定することに用いられるものではない。

【0015】

なお、装置の模式図では機能モジュール分割が行われ、フローチャートでは論理順序が示されているが、場合によっては、装置内のモジュール分割とは異なってもよく、又は図示もしくは説明されたステップは、フローチャートの順序とは異なるもので実行されてもよい。明細書、特許請求の範囲又は上記の図面における用語「第１」、「第２」等は、類似の対象を区別するためのものであり、特定の順序又は優先順位を説明するためのものではない。

【0016】

本願は、三次元認識装置、端末、画像強調方法、及び記憶媒体を提供する。三次元認識装置は、レンズと、前記レンズの内側に設置される光路であって、前記光路内にＲＧＢカメラ、三次元認識ユニット及び第１のダイクロイックフィルタが設置され、前記第１のダイクロイックフィルタは環境光における可視光を前記ＲＧＢカメラに反射し、さらに前記三次元認識ユニットによって送受信された赤外光を透過させる光路と、を含む。本実施例の技術的解決手段によれば、レンズの光路内にＲＧＢレンズと三次元認識ユニットを同時に設置することができ、前方カメラと三次元認識ユニットのレンズ共有化を実現し、光透過性を高めるために特殊処理された領域をシングルレンズのサイズに縮小し、スクリーンの表示効果を効果的に高め、それによってユーザエクスペリエンスを向上させる。

【0017】

以下、本願の実施例について、図面を参照してさらに説明する。

【0018】

本願は、端末の表示スクリーンの内側に設置される三次元認識装置を提供し、該三次元認識装置は、
レンズ１４０と、
レンズ１４０の内側に設置される光路２００であって、光路２００内にＲＧＢカメラ４４０、三次元認識ユニット及び第１のダイクロイックフィルタ３１０が設置され、第１のダイクロイックフィルタ３１０は環境光における可視光をＲＧＢカメラ４４０に反射し、さらに三次元認識ユニットによって送受信された赤外光を透過させる光路２００と、を含む。

【0019】

なお、レンズ１４０は端末の表示スクリーン１２０の内側に設置され、表示スクリーン１２０の光透過性強化領域１３０に近接している。ここで、レンズ１４０の具体的なパラメータやタイプについて、アンダーディスプレイ撮影に適用できればよく、特に限定しない。

【0020】

なお、撮影と三次元認識に同一のレンズ１４０を共有化することを実現するために、レンズ１４０の内部の光路２００内にＲＧＢカメラ４４０と三次元認識ユニットを同時に設置する必要があり、ＲＧＢカメラ４４０は、撮影を実現し、その光源は可視光であって、一方、三次元認識ユニットは主に構造化光又はＴＯＦユニットであり、受信又は送信された光は赤外光である。従って、表示スクリーン１３０が水平に置かれる場合、レンズ１４０内部の垂直な光路２００内に第１のダイクロイックフィルタ３１０を設置することができ、それによって赤外光の透過と可視光の反射を実現し、可視光と赤外光の伝搬経路を区別することによって、同一の光路２００内のＲＧＢカメラ４４０と三次元認識ユニットの光伝搬経路の要件を満たすことができる。

【0021】

なお、第１のダイクロイックフィルタ３１０は可視／赤外光フィルタフィルムを使用してもよい。光が４５°の角度で入射すると、可視／赤外光フィルタフィルムは、０．３ミクロン～０．６ミクロンの可視光波長帯の反射率が９０％を超え、０．７５ミクロン～２．５ミクロンの近赤外光の透過率が９０％を超えるため、赤外光は可視／赤外光フィルタフィルムを透過できるが、可視光は可視／赤外光フィルタフィルムによって鏡面反射され、それによって赤外光と可視光の伝搬方向を区分する。第１のダイクロイックフィルタ３１０の具体的な設置角度は、光路２００の実際のレイアウト方式に応じて調整でき、本実施例ではこれを特に限定しない。

【0022】

なお、第１のダイクロイックフィルタ３１０によって赤外光と可視光の異なる伝搬経路を実現し、光路２００内に設置されたＲＧＢカメラ４４０と三次元認識ユニットを正常に動作させることができ、それによって三次元認識ユニットとＲＧＢカメラ４４０が１つのレンズ１４０を共有化することを実現する。三次元認識ユニットとＲＧＢカメラが表示スクリーンの前端に並置されているスキームに比べて、光透過性強化領域１３０は１つのレンズ１４０のみに対して設置されればよく、面積が大幅に低減し、ユーザエクスペリエンスを効果的に高める。

【0023】

以下、いくつかの実施例によって三次元認識装置の様々な実施例を説明する。

【0024】

なお、図１～図４は本願に係る三次元認識装置の４つの実施例の構造図であり、上記４つの図は、いずれも、端末を水平に置いて且つフロントカメラを上向きにした場合、垂直方向に切断したものであり、後で繰り返し説明しない。

【0025】

実施例１
図１に示すように、光路２００内に第１のダイクロイックフィルタ３１０が設置される場合、第１のダイクロイックフィルタ３１０は光路２００を仕切って第１の通路２１０及び第２の通路２２０を形成する。上記説明に基づいて、第１のダイクロイックフィルタ３１０が４５°で傾斜して設置されると、可視光が第１のダイクロイックフィルタ３１０に鏡面反射されるため、第２の通路２２０は光路２００の本体に垂直であり、９０°で反射された可視光は第２の通路２２０に入射でき、最終的に第２の通路２２０内に設置されたＲＧＢカメラ４４０に入射する。勿論、第２の通路２２０の角度は第１のダイクロイックフィルタ３１０の設置角度に応じて調整でき、可視光がＲＧＢカメラ４４０に入射できることを確保できればよく、ここで特に限定しない。

【0026】

本実施例では、ＲＧＢカメラ４４０は第２のレンズ群４４３、赤外線カットフィルター４４２及び可視光感光性基板４４１を含む。第１のダイクロイックフィルタ３１０は赤外光を透過させることができるが、１００％の透過率を実現することは困難であるため、反射された光には依然として一部の赤外光が含まれており、従って、第１のダイクロイックフィルタ３１０によって反射された光は第２のレンズ群４４３を通過した後、赤外線カットフィルター４４２によって赤外光を除去する必要があり、可視光のみを可視光感光性基板４４１に入射させ、可視光感光性基板４４１内に設置されたコンタクトイメージセンサ（ＣＩＳ：Ｃｏｎｔａｃｔ ｉｍａｇｅ ｓｅｎｓｏｒ）チップによって光電画像信号を生成し、光電画像信号を端末の主制御チップに送信して後続のイメージング処理を行い、ここで詳しく説明しない。

【0027】

また、三次元認識のプロセスは赤外光送信及び赤外光受信を含むため、第１の通路２１０内に赤外線遮断壁３２０を設置してもよく、それによって第１の通路２１０を仕切って第３の通路２３０及び第４の通路２４０を形成し、赤外線送信ユニットと赤外線カメラはそれぞれ第３の通路２３０と第４の通路２４０内に設置されてもよい。本実施例では、赤外線送信ユニットが第３の通路２３０に設置され、第１の赤外線カメラ４３０が第４の通路２４０に設置されることを例として説明する。なお、第１のダイクロイックフィルタ３１０は赤外光を透過させることが可能であるため、赤外線遮断壁３２０は、図１に示すように、表示スクリーン１２０に垂直な方向に設置されてもよく、送受信された赤外光の相互干渉を回避するために、赤外線遮断壁３２０は一端が第１のダイクロイックフィルタ３１０に密着して接続され、他端が光路２００の底側に密着して接続される。そして、第１の通路２１０における赤外線遮断壁３２０の具体的な位置は、赤外線送信ユニット及び第１の赤外線カメラ４３０のサイズに応じて調整してもよく、第１の通路２１０においてコンパクトなレイアウトを実現できればよい。

【0028】

また、本実施例では、構造化光の三次元認識とＴＯＦの三次元認識を同時に実現するために、本実施例は、第１のエミッタが赤外線ドットプロジェクタ４１０、第２のエミッタが赤外線エミッタ４２０であることを例とする。赤外線ドットプロジェクタ４１０は、赤外光の出射方向に順に設置される第１の垂直共振器型面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）４１１、ウエハレベル光学レンズ（ＷＬＯ：Ｗａｆｅｒ Ｌｅｖｅｌ Ｏｐｔｉｃａｌ ｌｅｎｓ）４１２及び回折光学素子（ＤＯＥ：Ｄｉｆｆｒａｃｔｉｖｅ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔｓ）４１３を含む。第１のＶＣＳＥＬ４１１は高電力ＶＣＳＥＬを使用してもよく、放出された赤外線レーザーはＷＬＯ４１２によって校正された後、ＤＯＥ４１３によって変調され、散乱されてスペックルパターンを形成する。赤外線エミッタ４２０は第２のＶＣＳＥＬ４２１及び拡散板４２２を含み、第２のＶＣＳＥＬ４２１は低電力ＶＣＳＥＬを使用してもよく、第２のＶＣＳＥＬ４２１から赤外光を送信し、第１の拡散板４２２によって拡張し、低電力の投光イルミネーターの効果を発揮する。赤外線ドットプロジェクタ４１０及び赤外線エミッタ４２０の具体的な素子パラメータや仕様は、実際のニーズに応じて選択してもよい。

【0029】

赤外線ドットプロジェクタ４１０と赤外線エミッタ４２０の赤外光の相互干渉を回避するために、第３の通路２３０に第１の反射ミラー３３０を設置して、第３の通路３２０を仕切って図１に示す第１の延伸通路２３１及び第２の延伸通路２３２を形成してもよい。本実施例では、赤外線ドットプロジェクタ４１０は第１の延伸通路２３１に設置され、赤外線エミッタ４２０は第２の延伸通路２３２に設置される。勿論、赤外線ドットプロジェクタ４１０は第２の延伸通路２３２に設置され、赤外線エミッタ４２０は第１の延伸通路２３１に設置されてもよく、ここで詳しく説明しない。本実施例では、第１の延伸通路２３１と第２の延伸通路２３２は互いに垂直であり、図１に示す方法を採用して、第１の通路２１０の一方側から垂直に延伸して第１の延伸通路２３１を得てもよい。勿論、第１の延伸通路２３１と第２の延伸通路２３２はほかの角度であってもよく、第１の反射ミラー３３０の反射作用下で赤外光の出射を実現できればよい。

【0030】

第１の反射ミラー３３０は、赤外線全反射レンズ又は時分割反射ミラーを使用してもよい。第１の反射ミラー３３０が赤外線全反射レンズである場合、赤外線ドットプロジェクタ４１０と赤外線エミッタ４２０は同時動作を実現することができる。第１の反射ミラー３３０と第１の延伸通路２３１との間の角度は第１の反射ミラー３３０の臨界角よりも大きいことで、赤外線ドットプロジェクタ４１０から射出する赤外光は、鏡面との夾角が臨界角よりも大きく、それによってすべてが第１のダイクロイックフィルタ３１０に反射される。逆に、赤外線エミッタ４２０によって放出された赤外光と鏡面との夾角は臨界角よりも小さく、赤外光は第１のダイクロイックフィルタ３１０に透過され、それによって異なる延伸通路に設置された２つの素子によって送信される赤外光は第１のダイクロイックフィルタ３１０に伝搬することができる。また、レンズを透過する過程で、出入り時の２回のわずかな屈折によって、赤外光は平行のままであり、全体的な透過効果に影響を与えない。第１の反射ミラー３３０が時分割反射ミラーである場合、第１の反射ミラー３３０の展開状況を機械的に制御することで、赤外線ドットプロジェクタ４１０と赤外線エミッタ４２０の時分割動作を実現することができる。赤外線ドットプロジェクタ４１０の動作を必要とする場合、反射ミラーを機械的に制御して下ろすことで、赤外線エミッタ４２０によって送信された赤外光を遮断し、赤外線ドットプロジェクタ４１０によって送信された赤外光を第１のダイクロイックフィルタ３１０に反射する。赤外線エミッタ４２０の動作を必要とする場合、反射ミラーを機械的に制御して持ち上げることで、赤外線ドットプロジェクタ４１０によって送信された赤外光を遮断し、それによって赤外線エミッタ４２０によって送信された赤外光が第１の反射ミラー３３０を透過して第１のダイクロイックフィルタ３１０に伝搬できる。赤外光の相互干渉を回避するために、赤外線ドットプロジェクタ４１０と赤外線エミッタ４２０は異なる赤外線周波数帯域を採用する必要があり、この場合、赤外線全反射レンズのかわりに、異なる赤外線スペクトルの透過及び遮断を高精度で制御する赤外線フィルタを使用してもよく、実際のニーズに応じて選択すればよい。

【0031】

第４の通路２４０において、第１の赤外線カメラ４３０は、第１の赤外線感光性基板４４１、第１の赤外線ローパスフィルタ４４２及び第１のレンズ群４４３を含む。第１のレンズ群４４３の仕様パラメータは、実際のニーズに応じて選択してもよい。第１の赤外線ローパスフィルタ４４２は、赤外線ローパスフィルタ又は赤外線狭帯域干渉カラーフィルタを使用してもよく、特定の波長帯の近赤外光のみを通過させるものであればよい。第１の赤外線感光性基板４４１は、ＣＩＳ光感光性基板であってもよい。第１の赤外線カメラ４３０は、赤外線エミッタ４２０と赤外線ドットプロジェクタ４１０から送信されて目標物によって反射された赤外光を受信し、該赤外光は、第１の赤外線感光性基板４４１において、主制御チップによってさらに処理され得る光電信号に変換され、具体的な感光の原理について、ここで詳しく説明しない。本実施例では、第２のＶＣＳＥＬは低電力ＶＣＳＥＬであり、送信された低電力の非構造型赤外光信号は主に、目標物の予測精度に用いられ、例えば、人工知能アルゴリズムによって二次元赤外線情報を分析して目標認識を行うことができ、予測が成功した後、赤外線ドットプロジェクタ４１０によって赤外線スペックルパターンを放出し、目標物体によって反射して第１の赤外線カメラ４３０で受信し、それによって目標物体の深度情報を取得する。第１の赤外線カメラ４２０によって得られた深度情報とＲＧＢカメラ４４０によって取得された目標物体の二次元情報とを組み合わせて赤緑青深度（ＲＧＢＤ：Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ Ｄｅｐｔｈ）情報を得ることができ、ＲＧＢＤ情報を備えた以上、三次元画像認識と三次元画像再構成を効果的に行うことができ、本実施例は具体的な画像認識方法を詳しく説明しない。

【0032】

実施例２
図２に示すように、本実施例では、各部材の構造及び原理は実施例１とほぼ同様であり、ここで繰り返し説明しない。主な相違点は、第１の通路２１０のレイアウトであり、実施例１では、図１に示すように、第１の通路２１０は垂直通路であり、赤外線遮断壁３２０によって仕切られて、垂直方向に第２の延伸通路２３２及び第４の通路２４０を形成することができ、赤外線エミッタ４２０と第１の赤外線カメラ４３０をレンズ１４０の方向に向けて設置することができ、赤外線エミッタ４２０から射出する赤外光は第１のダイクロイックフィルタ３１０を透過してレンズ１４０に直接出射することができ、第１の赤外線カメラ４３０はレンズ１４０に直接入射する赤外光を受信することができる。一方、本実施例では、第１の通路２１０のレイアウトは以下の通りである。

【0033】

第３の通路２３０は断面がＦ字状であり、コーナー部に第１の赤外線反射ミラー３４０が設置され、第１の延伸通路２３１と第２の延伸通路２３２との相対的な垂直関係は変わらず、赤外線エミッタ４２０によって送信された赤外光は第１の反射ミラー３３０を透過して第１の赤外線反射ミラー３４０に入射し、赤外線ドットプロジェクタ４１０によって送信された赤外光は第１の反射ミラー３３０に鏡面反射されて第１の赤外線反射ミラー３４０に入射し、第１の赤外線反射ミラー３４０に入射する赤外光は鏡面反射され、それによって第１のダイクロイックフィルタ３１０に入射する。それ以外の原理は実施例１と同様であり、ここで重複説明を省略する。

【0034】

第４の通路２４０は断面がＬ字状であり、コーナー部に第２の赤外線反射ミラー３５０が設置され、レンズ１４０から入射して第１のダイクロイックフィルタ３１０を透過した赤外光は第２の赤外線反射ミラー３５０によって第１の赤外線カメラ４３０に反射される。それ以外の原理は実施例１と同様であり、ここで重複説明を省略する。
なお、本実施例の技術的原理は実施例１と類似し、上記相違点によって、実施例１に比べて、光路２００の奥行き方向が効果的に小さくなり、それによって光路２００の構造レイアウトがよりコンパクトになり、端末に適用されると、占有厚さが少なくなり、端末の厚さ低減に有利である。

【0035】

実施例３
図３に示すように、本実施例では、三次元認識装置の構造及び原理は実施例２とほぼ同様であり、端末の厚さを効果的に低減させることができる。本実施例と実施例２との主な相違点として、本実施例では、第１の反光鏡３３０と赤外線ドットプロジェクタ４１０を省略し、これにより、本実施例の第３の通路２３０は第１の延伸通路２３１を別途設置する必要がなく、第３の通路２３０の断面はＬ字状であり、赤外線エミッタ４２０から送信された赤外光を、第１の赤外線反光鏡３４０によって第１のダイクロイックフィルタ３１０に直接反射する。

【0036】

なお、赤外線ドットプロジェクタ４１０が省略されるため、ＴＯＦスキームでのシングルレンズの適用を実現するように、本実施例の赤外線エミッタ４２０の第２のＶＣＳＥＬ４２１は高電力ＶＣＳＥＬを使用し、それによって高電力の投光イルミネーターを形成し、高電力ＶＣＳＥＬからの赤外光は拡散板４２２によって拡張されてＴＯＦ面発光光を送信し、三次元画像を１回でイメージングすることを実現でき、具体的なイメージング方法について、ここで詳しく説明しない。また、赤外線エミッタ４２０から射出する赤外光は実施例２とは異なるため、第１の赤外線カメラ４３０の内部構造も相応に調整してもよく、目標物から反射された赤外光を受信する場合に三次元画像を得ることができればよい。

【0037】

上記相違点を除き、本実施例のほかの構造は実施例２と同様であり、説明の簡便さのため、ここで繰り返し説明しない。

【0038】

実施例４
本実施例では、三次元認識装置の構造及び原理は実施例１とほぼ同様であり、主な相違点は以下の通りである。

【0039】

図４に示すように、第２の通路２２０は断面がＴ字状であり、第２のダイクロイックフィルタ３６０によって仕切られて第３の延伸通路２２１及び第４の延伸通路２２２を形成し、第４の延伸通路２２２内に第２の赤外線カメラ４５０が設置され、第３の延伸通路２２１内にＲＧＢカメラ４４０が設置される。第２のダイクロイックフィルタ３６０は第１のダイクロイックフィルタ３１０と同じ材料及び構造を採用してもよく、ここで繰り返し説明しない。光がレンズ１４０に入った後、第１のダイクロイックフィルタ３１０によって反射される光の大部分は可視光であるが、依然として少量の赤外光があり、第２のダイクロイックフィルタ３６０に入射した後、赤外光は透過して第２の赤外線カメラ４５０に入り、可視光はＲＧＢカメラ４４０に反射される。第２の赤外線カメラ４５０を導入することによって、第１の赤外線カメラ４３０とともに構造化光用の両眼カメラを形成することができ、赤外線ドットプロジェクタ４１０の複雑なキャリブレーションを省略することができるとともに、第２の赤外線カメラ４５０によって構造化光を取得することで物体表面の集合的な特徴情報を増加させることができ、両眼立体視において弱いテクスチャや繰り返しテクスチャ領域のマッチングが困難であるという問題を回避することができる。また、単眼カメラのシーンでは、赤外線ドットプロジェクタ４１０から放出された符号化されたスポットは太陽光に埋もれやすく、構造化光を用いた両眼カメラは屋内環境において構造化光を使用して深度情報を測定することができ、屋外光が構造化光の故障を引き起こす場合に純粋な両眼モードに切り替わり、物体表面の集合的な特徴を増加させ、さらに信頼性及び耐干渉性を向上させる。

【0040】

第２の赤外線カメラ４５０は、第２の赤外線感光性基板４５１、第２の赤外線ローパスフィルタ４５２及び第３のレンズ群４５３を含み、構造は第１の赤外線カメラ４３０と類似であり、説明の簡便さのため、ここで繰り返し説明しない。

【0041】

上記相違点を除き、本実施例の三次元認識装置のほかの構造及び原理は実施例１と同様であり、説明の簡便さのため、ここで繰り返し説明しない。

【0042】

なお、実施例１～実施例４では、三次元認識装置は、表示スクリーン１２０の内側に設置され、それによって光透過性強化領域１３０の面積を低減させ、ユーザエクスペリエンスを向上させ、これは、アンダーディスプレイフロントカメラを使用するシーンに適用される。勿論、アンダーディスプレイフロントカメラを使用しない端末の場合、実施例１～実施例４の三次元認識装置を表示スクリーン１２０の「ノッチ」領域に設置してもよく、それによって「ノッチ」領域の面積低減の効果を実現し、撮影ユニットによる表示スクリーン領域の占有を低減させ、ユーザエクスペリエンスを向上させる。

【0043】

また、本願は、端末をさらに提供し、図５に示すように、該端末１０は、上記実施例に記載の三次元認識装置と、表示スクリーン１２０と、を含み、三次元認識装置は表示スクリーン１２０の内側に設置され、表示スクリーン１２０の三次元認識装置のレンズ１４０に対応する領域は光透過性強化領域１３０である。

【0044】

なお、図１に示すように、表示スクリーン１２０の表面にＴＰカバープレート１１０がさらに設置されてもよく、それによって、外から内にそれぞれＴＰカバープレート１１０、表示スクリーン１２０、光透過性強化領域１３０及びレンズ１４０であり、レンズ１４０に対応する光路２００内には上記実施例のいずれか一項に記載の三次元認識装置を設置する。

【0045】

なお、三次元認識素子とＲＧＢカメラが並置される従来のスキームでは、ＲＧＢカメラと三次元認識素子にレンズがそれぞれ配置されるため、光透過性強化領域１３０の面積が大きく、「ノッチ」状であり、ユーザエクスペリエンスを損なう。本実施例の三次元認識装置によれば、三次元認識ユニットとＲＧＢレンズ４４０は同一の光路２００内に設置され、赤外光と可視光の伝搬経路の制御によって１つのレンズ１４０の共有化を実現し、端末１０の前端に１つのみのレンズ１４０を配置し、対応する領域に光透過性の特殊処理を行うだけで、光透過性強化領域１３０の面積を大幅に低減させ、それによって光透過性強化領域１３０の影響を受ける表示領域を低減させ、端末の全画面表示効果を向上させ、それによってユーザエクスペリエンスを向上させる。

【0046】

また、図６に示すように、本願の実施例は、三次元認識装置に適用される画像強調方法をさらに提供し、三次元認識装置は、図１又は図２に示すように、レンズ１４０と、光路２００とを含み、光路２００はレンズ１４０の内側に設置され、光路２００内にＲＧＢカメラ４４０、赤外線エミッタ４２０、赤外線ドットプロジェクタ４１０、第１の赤外線カメラ４３０及び第１のダイクロイックフィルタ３１０が設置され、環境光における可視光は第１のダイクロイックフィルタ３１０によってＲＧＢカメラ４４０に反射され、環境光における赤外光は第１のダイクロイックフィルタ３１０を透過して第１の赤外線カメラ４３０に到達し、赤外線エミッタ４２０及び赤外線ドットプロジェクタ４１０によって送信される赤外光は第１のダイクロイックフィルタ３１０を透過してレンズ１４０に到達する。

【0047】

画像強調方法は、以下のステップを含むがこれらに限定されない。

【0048】

ステップＳ６１０：三次元点群画像及び二次元画像を取得し、三次元点群画像は第１の赤外線カメラによって目標反射光から取得され、二次元画像はＲＧＢカメラによって目標反射光から取得され、目標反射光は赤外線ドットプロジェクタによって送信されるレーザースペックルが目標物体によって反射された光である。

【0049】

ステップＳ６２０：三次元点群画像から三次元構造化光点群を取得し、三次元構造化光点群と二次元画像とを同期させて構造化光差分値を得る。

【0050】

ステップＳ６３０：二次元画像に応じてＲＧＢ基準データを決定し、ＲＧＢ基準データ及び構造化光差分値に応じて基準面に補間処理を行って、基準面の密度を増加させる。

【0051】

ステップＳ６４０：三次元点群画像の三次元点群レイヤー面を取得し、三次元点群レイヤー面と基準面を校正する。

【0052】

ステップＳ６５０：三次元点群レイヤー面と基準面に対してステレオマッチングを行い、ＲＧＢＤ深度情報を得る。

【0053】

なお、三次元認識装置が図１及び図２に示す実施例の構造を採用する場合、シングルレンズでは、第３の通路２３０と第４の通路２４０は近接しており、基線はほぼゼロであり、この場合、赤外線ドットプロジェクタ４１０によって放出されたレーザースペックルの入射角が小さく、その結果、キャリブレーション基準面の密度誤差が大きくなり、深度計算プロセスにおけるノイズが増加し、測定された深度情報の精度がある程度影響を受ける。三次元認識を実現するために、ＲＧＢカメラ４４０によって取得された二次元画像を第１の赤外線カメラ４３０によって取得された三次元点群画像と同期させて強調計算を行う必要があり、それによって基準面の密度を高め、ステレオマッチングの精度向上を確保する。

【0054】

なお、ＲＧＢカメラは構造化光レンズよりもサイズが大きいため、入光量とイメージング半径も相応に大きく、パラメータキャリブレーション後に三次元構造化光点群と二次元画像との同期を行うことで、基線がゼロに近い場合に構造化光の送受信の差分を大きくすることができ、それによって構造化光差分値を得る。

【0055】

なお、レーザースペックルは、ランダム散乱体にコヒーレント光を照射することによって発生し、ランダムプロセスであり、確率統計方法を使用してスペックルの強度分布、コントラストやスペックル運動の法則などを計算する必要があり、従って、レーザースペックルはランダム性が高く、異なる距離によって異なるパターンが発生し、すなわち、同一の空間における任意の２つの場所でのスペックルパターンは異なる。本実施例では、赤外線ドットプロジェクタ４１０を透過したレーザースペックルは目標物体によって反射された後、第１の赤外線カメラ４３０によって三次元点群画像を取得し、三次元点群画像の三次元構造化光点群と二次元画像との同期に応じて、構造化光差分値を得て、さらに構造化光差分値に応じて基準面に補間処理を行い、それによって二次元平面上で基準面の密度増加を実現し、さらに後続でマッチングしてＲＧＢＤ情報を得る。三次元点群画像から三次元構造化光点群と三次元点群レイヤー面を取得することは本分野の周知技術であり、ここで詳しく説明しない。

【0056】

なお、密度増加後の基準面を得た後、ドット投影された実物反射レイヤー面の各層の三次元点群レイヤー面と基準面にマッチング計算を行い、それによってステレオマッチングを実現して視差を得るようにしてもよく、三次元点群レイヤー面とＲＢＧ画像を融合した後、基準面とマッチング計算を行って視差を得るようにしてもよく、それによってさらにＲＧＢＤ深度情報を算出する。マッチングプロセスは、従来のマッチングコスト、コスト集計、視差計算及び視差精緻化によって実現でき、ここで特に限定しない。

【0057】

また、図７に示すように、一実施例では、図６に示す実施例のステップＳ６２０を実行する前に、以下のステップをさらに含むがこれらに限定されない。

【0058】

ステップＳ７１０：赤外線基準ヒートマップ及び可視光基準マップを取得し、赤外線基準ヒートマップ及び可視光基準マップに応じてキャリブレーションパラメータを決定し、赤外線基準ヒートマップは第１の赤外線カメラによって収集され、可視光基準マップはＲＧＢカメラによって収集される。

【0059】

ステップＳ７２０：キャリブレーションパラメータに応じて三次元点群画像及び二次元画像を校正する。

【0060】

なお、赤外線基準ヒートマップ及び可視光基準マップを取得する際に、白黒のチェスボードパターンやドットパターンなど視認しやすい形状を標準板として使用し、赤外光と可視光を同時に照射し、第１の赤外線カメラとＲＧＢカメラで画像を同時に収集し、赤外線基準ヒートマップ及び可視光基準マップを得ることができ、さらに一般的なキャリブレーション方法を採用して第１の赤外線カメラとＲＧＢカメラのキャリブレーションを実現し、キャリブレーションパラメータを得る。例えば、張正友キャリブレーション法によって外部パラメータ、内部パラメータ及び歪み係数を出力し、外部パラメータは、例えば、ワールド座標系に対する回転行列及び平行移動ベクトルなど２つのカメラの以前の位置関係を含んでもよく、内部パラメータは、例えば、焦距及び主点など第１の赤外線カメラ及びＲＧＢカメラに関連付けられたパラメータであってもよい。

【0061】

なお、三次元点群画像と二次元画像に校正を行うプロセスは、各座標点に対して平行移動及び回転操作を行うことを含み、このプロセスでは、三次元座標にＸＹＺの３つの座標軸が含まれるが、二次元画像の座標にＸＹの２つの座標軸しかないため、Ｚ軸座標の損失を回避するように、変換プロセスに同次座標を導入してもよく、それによって線形変化を実現し、具体的なキャリブレーションプロセスについて、ここで詳しく説明しない。

【0062】

また、図８に示すように、本願の一実施例は、端末をさらに提供し、該端末８００は、メモリ８１０と、プロセッサ８２０と、メモリ８１０に記憶されており、プロセッサ８２０上で実行可能なコンピュータプログラムと、を含む。

【0063】

プロセッサ８２０とメモリ８１０はバス又はほかの方式を介して接続されてもよい。

【0064】

上記実施例の画像強調方法を実現するための非一時的ソフトウェアプログラム及び命令はメモリ８１０に記憶されており、プロセッサ８２０により実行されると、上記実施例における画像強調方法を実行し、例えば、以上説明された図６における方法のステップＳ６１０～ステップＳ６５０、図７における方法のステップＳ７１０～ステップＳ７２０を実行する。

【0065】

上記の装置の実施例は単なる概略であり、別個の構成要素として示されたユニットは物理的に分離されていてもよいし、物理的に分離されていなくてもよい。すなわち、1つの場所に配置されていてもよいし、複数のネットワークユニットに別々に配置されていてもよい。これらのモジュールの一部又は全部は、実際の必要に応じて、本実施例の形態の目的を達成するために選択されてもよい。

【0066】

また、本願の一実施例は、コンピュータ読み取り可能な記憶媒体をさらに提供し、該コンピュータ読み取り可能な記憶媒体にコンピュータ実行可能命令が記憶されており、該コンピュータ実行可能命令が１つのプロセッサ又はコントローラにより実行され、例えば、上記端末の実施例における１つのプロセッサにより実行されると、上記実施例における画像強調方法を上記プロセッサに実行させ、例えば、以上説明された図６における方法のステップＳ６１０～ステップＳ６５０、図７における方法のステップＳ７１０～ステップＳ７２０を実行する。

【0067】

上記で開示された方法におけるステップの全部又は一部、システムは、ソフトウェア、ファームウェア、ハードウェア、及びそれらの適切な組み合わせとして実装されてもよい。物理的構成要素の一部又はすべては、中央プロセッサ、デジタル信号プロセッサ、マイクロプロセッサなどのプロセッサによって実行されるソフトウェアとして、又はハードウェアとして、又は特定用途向け集積回路などの集積回路として実装されてもよい。このようなソフトウェアは、コンピュータ記憶媒体（又は非一時的媒体）及び通信媒体（又は一時的媒体）を含んでもよいコンピュータ読み取り可能な媒体上に配布してもよい。当業者に周知のように、コンピュータ記憶媒体という用語は、情報（例えば、コンピュータ読み取り可能な命令、データ構造、プログラムモジュール、又は他のデータ）を記憶するための任意の方法又は技術において実施される、揮発性及び不揮発性の、取り外し可能な、及び取り外し不可能な媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光ディスク記憶装置、磁気カートリッジ、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、又は所望の情報を記憶するために使用することができ、コンピュータによってアクセスすることができる他の任意の媒体を含むが、これらに限定されない。さらに、通信媒体は、通常、コンピュータ読み取り可能な命令、データ構造、プログラムモジュール、又は搬送波や他の送信機構のような変調データ信号中の他のデータを含み、任意の情報配信媒体を含み得ることが、当業者には周知である。

【0068】

本願の実施例は、レンズと、前記レンズの内側に設置される光路であって、前記光路内にＲＧＢカメラ、三次元認識ユニット及び第１のダイクロイックフィルタが設置され、前記第１のダイクロイックフィルタは環境光における可視光を前記ＲＧＢカメラに反射し、さらに前記三次元認識ユニットによって送受信された赤外光を透過させる光路と、を含む。本実施例の技術的解決手段によれば、レンズの光路内にＲＧＢレンズと三次元認識ユニットを同時に設置することができ、前方カメラと三次元認識ユニットのレンズ共有化を実現し、光透過性を高めるために特殊処理された領域をシングルレンズのサイズに縮小し、スクリーンの表示効果を効果的に高め、それによってユーザエクスペリエンスを向上させる。

【0069】

以上、本願のいくつかの実施について具体的に説明したが、本願は上記の実施形態に限定されるものではなく、当業者であれば、本願の主旨に反することなく様々な均等な変形又は置換を行ってもよく、これらの均等な変形又は置換はいずれも本願の特許請求の範囲によって定められる範囲内に含まれるものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2024-05-16

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

端末の表示スクリーンの内側に設置される三次元認識装置であって、
レンズと、
前記レンズの内側に設置される光路であって、前記光路内にＲＧＢカメラ、三次元認識ユニット及び第１のダイクロイックフィルタが設置され、前記第１のダイクロイックフィルタは環境光における可視光を前記ＲＧＢカメラに反射し、さらに前記三次元認識ユニットによって送受信された赤外光を透過させる光路と、を含む、
三次元認識装置。

【請求項2】

前記第１のダイクロイックフィルタは前記光路を仕切って第１の通路及び第２の通路を形成し、前記三次元認識ユニットは前記第１の通路に設置され、前記ＲＧＢカメラは前記第２の通路に設置される、
請求項１に記載の三次元認識装置。

【請求項3】

前記第１の通路内に赤外線遮断壁が設置され、前記赤外線遮断壁は、前記第１のダイクロイックフィルタに接続され、前記第１の通路を仕切って第３の通路及び第４の通路を形成し、
前記三次元認識ユニットは、赤外線送信ユニット及び第１の赤外線カメラを含み、前記赤外線送信ユニットは、前記第３の通路に設置され、前記赤外線送信ユニットによって送信された赤外光は前記第１のダイクロイックフィルタを透過して前記レンズに到達し、前記第１の赤外線カメラは、前記第４の通路に設置され、前記第１のダイクロイックフィルタを透過した環境光における赤外光を受信する、
請求項２に記載の三次元認識装置。

【請求項4】

前記第３の通路は第１の延伸通路及び第２の延伸通路を含み、前記第１の延伸通路と前記第２の延伸通路との間に第１の反射ミラーが設置され、前記第１の反射ミラーは赤外線全反射レンズ又は時分割反射ミラーであり、
前記赤外線送信ユニットは、第１のエミッタ及び第２のエミッタを含み、前記第１のエミッタは前記第１の延伸通路に設置され、前記第２のエミッタは前記第２の延伸通路に設置され、前記第１のエミッタによって送信された赤外光は、前記第１の反射ミラーによって前記第１のダイクロイックフィルタに反射され、前記第２のエミッタによって送信される赤外光は、前記第１の反射ミラーを透過して前記第１のダイクロイックフィルタに到達し、
前記第１のエミッタは赤外線エミッタ、前記第２のエミッタは赤外線ドットプロジェクタであり、
又は、
前記第１のエミッタは赤外線ドットプロジェクタ、前記第２のエミッタは赤外線エミッタであり、
前記赤外線ドットプロジェクタは、赤外光出射方向に第１の垂直共振器型面発光レーザー、ウエハレベル光学レンズ及び回折光学素子を順に含み、前記赤外線エミッタは、赤外光出射方向に第２の垂直共振器型面発光レーザー及び拡散板を順に含む、
請求項３に記載の三次元認識装置。

【請求項5】

前記第３の通路に第１の赤外線反射ミラーがさらに設置され、前記第１の赤外線反射ミラーは透過又は反射によって前記第１の反射ミラーに到達した赤外光を前記第１のダイクロイックフィルタに反射する、
請求項４に記載の三次元認識装置。

【請求項6】

前記赤外線送信ユニットは赤外線エミッタであり、前記赤外線エミッタは赤外光送信方向に第２の垂直共振器型面発光レーザー及び拡散板を順に含み、
前記第３の通路に第１の赤外線反射ミラーが設置され、前記第１の赤外線反射ミラーは前記赤外線エミッタによって送信された赤外光を前記第１のダイクロイックフィルタに反射する、
請求項３に記載の三次元認識装置。

【請求項7】

前記第１の赤外線カメラは、赤外光入射方向に第１のレンズ群、第１の赤外線ローパスフィルタ及び第１の赤外線感光性基板を順に含み、
前記第４の通路に第２の赤外線反射ミラーが設置され、前記第２の赤外線反射ミラーは前記第１のダイクロイックフィルタを透過した環境光における赤外光を前記第１の赤外線カメラに反射する、
請求項３に記載の三次元認識装置。

【請求項8】

前記ＲＧＢカメラは、可視光入射方向に第２のレンズ群、赤外線媒体フィルタ及び可視光感光性基板を順に含み、
前記第２の通路は第３の延伸通路及び第４の延伸通路を含み、前記ＲＧＢカメラは前記第３の延伸通路内に設置され、前記第４の延伸通路内に第２の赤外線カメラが設置され、
前記第３の延伸通路と前記第４の延伸通路との間に第２のダイクロイックフィルタが設置され、前記第２のダイクロイックフィルタは、前記第１のダイクロイックフィルタによって反射された可視光を前記ＲＧＢカメラに反射し、前記第１のダイクロイックフィルタによって反射された赤外光を透過させて前記第２の赤外線カメラに到達させ、
前記第２の赤外線カメラは、赤外光入射方向に第３のレンズ群、第２の赤外線ローパスフィルタ及び第２の赤外線感光性基板を順に含む、
請求項３に記載の三次元認識装置。

【請求項9】

端末であって、
請求項１～８のいずれか１項に記載の三次元認識装置と、
表示スクリーンと、を含み、
前記三次元認識装置は前記表示スクリーンの内側に設置され、前記表示スクリーンの前記三次元認識装置のレンズに対応する領域は光透過性強化領域である、
端末。

【請求項10】

三次元認識装置に適用される画像強調方法であって、
前記三次元認識装置はレンズ及び光路を含み、前記光路は前記レンズの内側に設置され、前記光路内にＲＧＢカメラ、赤外線エミッタ、赤外線ドットプロジェクタ、第１の赤外線カメラ及び第１のダイクロイックフィルタが設置され、環境光における可視光は前記第１のダイクロイックフィルタによって前記ＲＧＢカメラに反射され、環境光における赤外光は前記第１のダイクロイックフィルタを透過して前記第１の赤外線カメラに到達し、前記赤外線エミッタ及び赤外線ドットプロジェクタによって送信される赤外光は前記第１のダイクロイックフィルタを透過して前記レンズに到達し、
前記画像強調方法は、
三次元点群画像及び二次元画像を取得するステップであって、前記三次元点群画像は前記第１の赤外線カメラによって目標反射光から取得され、前記二次元画像は前記ＲＧＢカメラによって前記目標反射光から取得され、前記目標反射光は前記赤外線ドットプロジェクタによって送信されるレーザースペックルが目標物体によって反射された光であるステップと、
前記三次元点群画像から三次元構造化光点群を取得し、前記三次元構造化光点群と前記二次元画像とを同期させて構造化光差分値を得るステップと、
前記二次元画像に応じてＲＧＢ基準データを決定し、前記ＲＧＢ基準データ及び前記構造化光差分値に応じて基準面に補間処理を行って、前記基準面の密度を増加させるステップと、
前記三次元点群画像の三次元点群レイヤー面を取得し、前記三次元点群レイヤー面と前記基準面を校正するステップと、
前記三次元点群レイヤー面と前記基準面に対してステレオマッチングを行い、赤緑青深度ＲＧＢＤ情報を得るステップと、を含む、
画像強調方法。

【請求項11】

前記三次元点群画像から三次元構造化光点群を取得する前記ステップの前に、
赤外線基準ヒートマップ及び可視光基準マップを取得し、前記赤外線基準ヒートマップ及び前記可視光基準マップに応じてキャリブレーションパラメータを決定するステップであって、前記赤外線基準ヒートマップは前記第１の赤外線カメラによって収集され、前記可視光基準マップは前記ＲＧＢカメラによって収集されるステップと、
前記キャリブレーションパラメータに応じて前記三次元点群画像及び前記二次元画像を校正するステップと、をさらに含む、
請求項１０に記載の画像強調方法。

【請求項12】

コンピュータ読み取り可能な記憶媒体であって、コンピュータ実行可能命令が記憶されており、前記コンピュータ実行可能命令は、プロセッサにより実行された場合、請求項１０又は１１に記載の画像強調方法を実現する、
コンピュータ読み取り可能な記憶媒体。

【国際調査報告】