特表2024-545010 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 中興通訊股▲ふん▼有限公司の特許一覧

特表2024-545010三次元認識装置、端末、キャリブレーション方法、記憶媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-05

(54)【発明の名称】三次元認識装置、端末、キャリブレーション方法、記憶媒体

(51)【国際特許分類】

H04N 13/204 20180101AFI20241128BHJP

H04N 23/45 20230101ALI20241128BHJP

【ＦＩ】

H04N13/204

H04N23/45

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024529399

(86)(22)【出願日】2022-09-30

(85)【翻訳文提出日】2024-05-16

(86)【国際出願番号】 CN2022123544

(87)【国際公開番号】W WO2023103559

(87)【国際公開日】2023-06-15

(31)【優先権主張番号】202111516186.2

(32)【優先日】2021-12-07

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＭＡＴＬＡＢ

(71)【出願人】

【識別番号】511151662

【氏名又は名称】中興通訊股▲ふん▼有限公司

【氏名又は名称原語表記】ＺＴＥＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】ＺＴＥＰｌａｚａ，ＫｅｊｉＲｏａｄＳｏｕｔｈ，Ｈｉ－ＴｅｃｈＩｎｄｕｓｔｒｉａｌＰａｒｋ，ＮａｎｓｈａｎＳｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ５１８０５７Ｃｈｉｎａ

(74)【代理人】

【識別番号】100112656

【弁理士】

【氏名又は名称】宮田英毅

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井宏明

(72)【発明者】

【氏名】張永亮

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122FH23

5C122GA01

5C122GA23

5C122GE05

5C122GE11

5C122GG04

5C122HA13

5C122HA35

5C122HB01

(57)【要約】

本願は三次元認識装置、端末、キャリブレーション方法、記憶媒体を提供し、三次元認識装置は、ＲＧＢカメラ（２１０）と第１のレンズ（２１２）とを含むＲＧＢユニットであって、第１のレンズ（２１２）とＲＧＢカメラ（２１０）との間に第１の光路（２１１）が接続されたＲＧＢユニットと、赤外線フラッドライト照射器（３１０）と、第１のレンズ（２１２）に隣接する第２のレンズ（３１２）とを含む赤外線送信ユニットであって、赤外線フラッドライト照射器（３１０）と第２のレンズ（３１２）との間に第２の光路（３１１）が接続された赤外線送信ユニットと、第１の赤外線カメラ（４１０）と、第１のレンズ（２１２）に隣接する第３のレンズ（４１２）とを含む赤外線受信ユニットであって、第１の赤外線カメラ（４１０）と第３のレンズ（４１２）との間に第３の光路（４１１）が接続された赤外線受信ユニットと、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

端末の表示スクリーンの内側に設けられる三次元認識装置であって、
ＲＧＢカメラと第１のレンズとを含むＲＧＢユニットであって、前記第１のレンズと前記ＲＧＢカメラとの間に第１の光路が接続された赤緑青ＲＧＢユニットと、
赤外線フラッドライト照射器と、前記第１のレンズに隣接する第２のレンズとを含む赤外線送信ユニットであって、前記赤外線フラッドライト照射器と前記第２のレンズとの間に第２の光路が接続された赤外線送信ユニットと、
第１の赤外線カメラと、前記第１のレンズに隣接する第３のレンズとを含む赤外線受信ユニットであって、前記第１の赤外線カメラと前記第３のレンズとの間に第３の光路が接続された赤外線受信ユニットと、
を含む三次元認識装置。

【請求項2】

前記第２の光路には、前記赤外線フラッドライト照射器から発射された赤外光を前記第２のレンズに反射するのに用いられる第１の反射ミラーがさらに設けられ、
前記第３の光路には、前記第３のレンズを介して入射した光を前記第１の赤外線カメラに反射するのに用いられる第２の反射ミラーがさらに設けられている
請求項１に記載の三次元認識装置。

【請求項3】

前記赤外線送信ユニットは、赤外線ドットプロジェクタと、前記第１のレンズに隣接する第４のレンズとをさらに含み、前記赤外線ドットプロジェクタと前記第４のレンズとの間に第４の光路が接続され、
前記第４の光路には、前記赤外線ドットプロジェクタから発射された赤外光を前記第４のレンズに反射するのに用いられる第３の反射ミラーがさらに設けられている
請求項２に記載の三次元認識装置。

【請求項4】

前記赤外線受信ユニットは、第２の赤外線カメラと、前記第１のレンズに隣接する第５のレンズとをさらに含み、前記第２の赤外線カメラと前記第５のレンズとの間に第５の光路が接続され、
前記第５の光路には、前記第５のレンズを介して入射した光を前記第２の赤外線カメラに反射するのに用いられる第４の反射ミラーがさらに設けられている
請求項３に記載の三次元認識装置。

【請求項5】

請求項１から４の何れか一項に記載の三次元認識装置と、
表示スクリーンであって、前記表示スクリーンの内側に前記三次元認識装置が配置され、前記表示スクリーンの、前記三次元認識装置のレンズに対応する領域が光透過性強化領域である表示スクリーンと、
を含む端末。

【請求項6】

三次元認識装置に適用されるキャリブレーション方法であって、
前記三次元認識装置は、ＲＧＢカメラと第１のレンズとを含むＲＧＢユニットであって、前記第１のレンズと前記ＲＧＢカメラとの間に第１の光路が接続されたＲＧＢユニットと、赤外線フラッドライト照射器と、前記第１のレンズに隣接する第２のレンズとを含む赤外線送信ユニットであって、前記赤外線フラッドライト照射器と前記第２のレンズとの間に第２の光路が接続された赤外線送信ユニットと、第１の赤外線カメラと、前記第１のレンズに隣接する第３のレンズとを含む赤外線受信ユニットであって、前記第１の赤外線カメラと前記第３のレンズとの間に第３の光路が接続された赤外線受信ユニットと、を含み、
前記キャリブレーション方法は、
前記赤外線フラッドライト照射器が動作状態にある場合、第１の既定のタイミングシーケンスに従って、前記第１の赤外線カメラを用いて第１の画像セットを撮影し、前記ＲＧＢカメラを用いて第２の画像セットを撮影するステップであって、異なる時刻に前記第１の赤外線カメラにより撮影されるターゲット物体が異なり、異なる時刻に前記ＲＧＢカメラにより撮影されるターゲット物体が異なり、同じ時刻に前記第１の赤外線カメラと前記ＲＧＢカメラとにより撮影されるターゲット物体が同じであるステップと、
前記第１の画像セットに基づいて、前記第１の赤外線カメラと前記赤外線フラッドライト照射器との間のキャリブレーションを行うステップと、
前記第１の画像セット及び前記第２の画像セット内の同じ時刻にそれぞれ撮影された画像を融合させて第１の融合画像セットを得て、前記第１の融合画像セットに基づいて前記ＲＧＢカメラと前記第１の赤外線カメラとの間のキャリブレーションを行うステップと、
を含む方法。

【請求項7】

前記赤外線送信ユニットは、赤外線ドットプロジェクタと、前記第１のレンズに隣接する第４のレンズとをさらに含み、前記赤外線ドットプロジェクタと前記第４のレンズとの間に第４の光路が接続され、
前記方法は、
前記赤外線ドットプロジェクタが動作状態にある場合、第２の既定のタイミングシーケンスに従って、前記第１の赤外線カメラを用いて第３の画像セットを撮影し、前記ＲＧＢカメラを用いて第４の画像セットを撮影するステップであって、異なる時刻に前記第１の赤外線カメラにより撮影されるターゲット物体が異なり、異なる時刻に前記ＲＧＢカメラにより撮影されるターゲット物体が異なり、同じ時刻に前記第１の赤外線カメラと前記ＲＧＢカメラとにより撮影されるターゲット物体が同じであるステップと、
前記第３の画像セットに基づいて、前記第１の赤外線カメラと前記赤外線ドットプロジェクタとの間のキャリブレーションを行うステップと、
前記第３の画像セット及び前記第４の画像セット内の同じ時刻にそれぞれ撮影された画像を融合させて第２の融合画像セットを得て、前記第２の融合画像セットに基づいて前記ＲＧＢカメラと前記第１の赤外線カメラとの間のキャリブレーションを行うステップと、
をさらに含む請求項６に記載の方法。

【請求項8】

前記赤外線受信ユニットは、第２の赤外線カメラと、前記第１のレンズに隣接する第５のレンズとをさらに含み、前記第２の赤外線カメラと前記第５のレンズとの間に第５の光路が接続され、
前記方法は、
前記赤外線ドットプロジェクタが動作状態にある場合、第２の既定のタイミングシーケンスに従って、前記第２の赤外線カメラを用いて第３の画像セットを撮影し、前記ＲＧＢカメラを用いて第４の画像セットを撮影するステップであって、異なる時刻に前記第２の赤外線カメラにより撮影されるターゲット物体が異なり、異なる時刻に前記ＲＧＢカメラにより撮影されるターゲット物体が異なり、同じ時刻に前記第１の赤外線カメラと前記ＲＧＢカメラとにより撮影されるターゲット物体が同じであるステップと、
前記第３の画像セットに基づいて、前記第２の赤外線カメラと前記赤外線ドットプロジェクタとの間のキャリブレーションを行うステップと、
前記第３の画像セット及び前記第４の画像セット内の同じ時刻にそれぞれ撮影された画像を融合させて第２の融合画像セットを得て、前記第２の融合画像セットに基づいて前記ＲＧＢカメラと前記第２の赤外線カメラとの間のキャリブレーションを行うステップと、
をさらに含む請求項６に記載の方法。

【請求項9】

前記ＲＧＢカメラを用いて第４の画像セットを撮影する前記ステップの後に、前記方法は、
前記第３の画像セットの画像内のレーザスペックル情報をフィルタリングにより除去するステップ、
をさらに含む請求項７又は８に記載の方法。

【請求項10】

前記第２の融合画像セットに基づいて前記ＲＧＢカメラと前記第２の赤外線カメラとの間のキャリブレーションを行う前記ステップの後に、前記方法は、
前記第１の赤外線カメラの第１のキャリブレーションパラメータと、前記第２の赤外線カメラの第２のキャリブレーションパラメータと、前記ＲＧＢカメラの第３のキャリブレーションパラメータとを含むキャリブレーションパラメータを取得するステップと、
前記キャリブレーションパラメータに基づいて、前記第１の赤外線カメラと、前記第２の赤外線カメラと、前記ＲＧＢカメラとの間でグローバルキャリブレーションを行うステップと、
をさらに含む請求項８に記載の方法。

【請求項11】

メモリと、プロセッサと、メモリに記憶されて且つプロセッサ上で実行できるコンピュータプログラムとを備える端末であって、
前記プロセッサは、前記コンピュータプログラムを実行した場合、請求項６から１０の何れか一項に記載のキャリブレーション方法を実現する
端末。

【請求項12】

コンピュータ実行可能な命令を記憶しているコンピュータ可読記憶媒体であって、
前記コンピュータ実行可能な命令は、請求項６から１０の何れか一項に記載のキャリブレーション方法を実行するのに用いられる
コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は出願番号が２０２１１１５１６１８６．２で、出願日が２０２１年１２月０７日である中国特許出願に基づいて提出され、その中国特許出願の優先権を主張し、その中国特許出願の全ての内容を参考として本願に援用する。

【0002】

本願はスマート端末の技術分野に関するが、これに限定されず、特に三次元認識装置、端末、キャリブレーション方法及び記憶媒体に関する。

【背景技術】

【0003】

表示スクリーン技術の発展に伴い、アンダー表示スクリーンカメラは既に様々なスマート端末に応用されつつあり、多くの消費者に人気がある。レンズが表示スクリーンの内側に設けられるため、レンズに対応する表示スクリーンの領域において、例えば、赤緑青（ＲｅｄＧｒｅｅｎＢｌｕｅ，ＲＧＢ）画素を減らしたり、ＲＧＢ画素を小さくしたりすることにより、透過光量を増やすなど、光透過性を高める特殊処理を行う必要がある。

【0004】

三次元認識技術の発展に伴い、スマート端末では、表示スクリーンにフロントＲＧＢカメラを設置する必要があるだけでなく、様々な三次元認識素子を設置する必要もある。一方、各三次元認識素子の数が多く、現在では、主に図１に示す並列配置方式が採用されるため、表示スクリーンの、光透過性を高めるために特殊処理が行われる領域が比較的大きくなる。光透過性の違いにより、特殊処理が行われる領域と表示スクリーンの他の領域とでは、表示効果においてある程度の違いがあり、全面ディスプレイのユーザエクスペリエンスに影響してしまう。

【発明の概要】

【発明が解決しようとする課題】

【0005】

以下は、本文で詳細に説明される主題の概要である。本概要は、特許請求の範囲を制限するためのものではない。

【0006】

本願の実施例は、三次元認識装置、端末、キャリブレーション方法、記憶媒体を提供する。

【課題を解決するための手段】

【0007】

第１の態様において、本願の実施例は、端末の表示スクリーンの内側に設けられる三次元認識装置を提供し、前記三次元認識装置は、ＲＧＢカメラと第１のレンズとを含むＲＧＢユニットであって、前記第１のレンズと前記ＲＧＢカメラとの間に第１の光路が接続されたＲＧＢユニットと、赤外線フラッドライト照射器と、前記第１のレンズに隣接する第２のレンズとを含む赤外線送信ユニットであって、前記赤外線フラッドライト照射器と前記第２のレンズとの間に第２の光路が接続された赤外線送信ユニットと、第１の赤外線カメラと、前記第１のレンズに隣接する第３のレンズとを含む赤外線受信ユニットであって、前記第１の赤外線カメラと前記第３のレンズとの間に第３の光路が接続された赤外線受信ユニットと、を含む。

【0008】

第２の態様において、本願の実施例は、端末を提供し、前記端末は、第１の態様に記載の三次元認識装置と、表示スクリーンであって、前記表示スクリーンの内側に前記三次元認識装置が配置され、前記表示スクリーンの、前記三次元認識装置のレンズに対応する領域が光透過性強化領域である表示スクリーンと、を含む。

【0009】

第３の態様において、本願の実施例は、三次元認識装置に適用されるキャリブレーション方法を提供し、前記三次元認識装置は、ＲＧＢカメラと第１のレンズとを含むＲＧＢユニットであって、前記第１のレンズと前記ＲＧＢカメラとの間に第１の光路が接続されたＲＧＢユニットと、赤外線フラッドライト照射器と、前記第１のレンズに隣接する第２のレンズとを含む赤外線送信ユニットであって、前記赤外線フラッドライト照射器と前記第２のレンズとの間に第２の光路が接続された赤外線送信ユニットと、第１の赤外線カメラと、前記第１のレンズに隣接する第３のレンズとを含む赤外線受信ユニットであって、前記第１の赤外線カメラと前記第３のレンズとの間に第３の光路が接続された赤外線受信ユニットと、を含み、前記キャリブレーション方法は、前記赤外線フラッドライト照射器が動作状態にある場合、第１の既定のタイミングシーケンスに従って、前記第１の赤外線カメラを用いて第１の画像セットを撮影し、前記ＲＧＢカメラを用いて第２の画像セットを撮影するステップであって、異なる時刻に前記第１の赤外線カメラにより撮影されるターゲット物体が異なり、異なる時刻に前記ＲＧＢカメラにより撮影されるターゲット物体が異なり、同じ時刻に前記第１の赤外線カメラと前記ＲＧＢカメラとにより撮影されるターゲット物体が同じであるステップと、前記第１の画像セットに基づいて、前記第１の赤外線カメラと前記赤外線フラッドライト照射器との間のキャリブレーションを行うステップと、前記第１の画像セット及び前記第２の画像セット内の同じ時刻にそれぞれ撮影された画像を融合させて第１の融合画像セットを得て、前記第１の融合画像セットに基づいて前記ＲＧＢカメラと前記第１の赤外線カメラとの間のキャリブレーションを行うステップと、を含む。

【0010】

第４の態様において、本願の実施例は、端末を提供し、前記端末は、メモリと、プロセッサと、メモリに記憶されて且つプロセッサ上で実行できるコンピュータプログラムとを含み、前記プロセッサは、前記コンピュータプログラムを実行した場合、第３の態様に記載のキャリブレーション方法を実現する。

【0011】

第５の態様において、本願の実施例は、コンピュータ実行可能な命令を記憶しているコンピュータ可読記憶媒体を提供し、前記コンピュータ実行可能な命令は、第３の態様に記載のキャリブレーション方法を実行するのに用いられる。

【0012】

本願の他の特徴及び利点は、後の明細書において説明され、明細書から部分的に明らかになるか、又は本願を実施することによって理解される。本願の目的及び他の利点は、明細書、特許請求の範囲及び図面において特別に指摘される構成によって達成し、得ることができる。

【0013】

添付図面は、本願の技術案の更なる理解を提供するものであり、明細書の一部を構成し、本願の実施例と共に本願の技術案を解釈するために使用され、本願の技術案に対する限定を構成するものではない。

【図面の簡単な説明】

【0014】

【図1】従来技術における全面ディスプレイの三次元認識装置とＲＧＢカメラとの配置方式を示す図である。

【図2】本願の実施例にかかる、三次元認識装置が端末に設置される模式図である。

【図3】本願により提供される三次元認識装置の断面模式図である。

【図4】本願により提供される三次元認識装置の正面図である。

【図5】本願の第１の実施例の配置模式図である。

【図6】本願の第２の実施例の配置模式図である。

【図7】本願の第３の実施例の配置模式図である。

【図8】本願により提供される、第１の実施例に適用される三次元認識装置のキャリブレーション方法のフローチャートである。

【図9】本願により提供される、第２の実施例に適用される三次元認識装置のキャリブレーション方法のフローチャートである。

【図10】本願により提供される、第３の実施例に適用される三次元認識装置のキャリブレーション方法のフローチャートである。

【図11】本願の別の実施例により提供される、レーザスペックル情報をフィルタリングにより除去するフローチャートである。

【図12】本願の別の実施例により提供されるグローバルキャリブレーションのフローチャートである。

【図13】本願により提供されるターゲット物体を示す図である。

【図14】本願の別の実施例により提供される端末の装置図である。

【発明を実施するための形態】

【0015】

本願の目的、技術案及び利点をより明らかにするために、以下では、添付図面及び実施例を組み合わせて本願をさらに詳しく説明する。なお、ここで説明する具体的な実施例は本願を解釈するためだけに使われるものであって、本願を限定するために使われるものではない。

【0016】

なお、装置の模式図には機能モジュール分割が示され、フローチャートには論理的順序が示されているが、場合によっては、装置内のモジュール分割とは異なってもよく、又はフローチャート内の順序とは異なるように、図示又は説明されたステップを実行してもよい。明細書、特許請求の範囲又は上記図面における用語「第１」、「第２」等は類似の対象を区別するためのものであり、必ずしも特定の順序又は前後の順番を記述するためのものではない。

【0017】

本願は三次元認識装置、端末、キャリブレーション方法、記憶媒体を提供し、三次元認識装置は、ＲＧＢカメラと第１のレンズとを含むＲＧＢユニットであって、前記第１のレンズと前記ＲＧＢカメラとの間に第１の光路が接続されたＲＧＢユニットと、赤外線フラッドライト照射器と、前記第１のレンズに隣接する第２のレンズとを含む赤外線送信ユニットであって、前記赤外線フラッドライト照射器と前記第２のレンズとの間に第２の光路が接続された赤外線送信ユニットと、第１の赤外線カメラと、前記第１のレンズに隣接する第３のレンズとを含む赤外線受信ユニットであって、前記第１の赤外線カメラと前記第３のレンズとの間に第３の光路が接続された赤外線受信ユニットと、を含む。本実施例の技術案によれば、ＲＧＢカメラ、赤外線フラッドライト照射器及び第１の赤外線カメラをレンズと分離して配置することができ、光路を介して光線の伝搬を実現し、表示スクリーン下での複数のレンズの配置をよりコンパクトにすることができるため、光透過性を高めるために特殊処理が行われる領域の面積を効果的に削減し、全面ディスプレイの表示効果を効果的に改善し、ユーザエクスペリエンスを向上させる。

【0018】

以下、添付の図面に関連して、本願の実施例についてさらに説明する。

【0019】

本願の実施例は、端末の表示スクリーンの内側に設けられる三次元認識装置を提供し、該三次元認識装置は、
ＲＧＢカメラ２１０と第１のレンズ２１２とを含むＲＧＢユニットであって、第１のレンズ２１２とＲＧＢカメラ２１０とが第１の光路２１１により接続されたＲＧＢユニットと、
赤外線フラッドライト照射器３１０と、第１のレンズ２１１に隣接する第２のレンズ３１２とを含む赤外線送信ユニットであって、赤外線フラッドライト照射器３１０と第２のレンズ３１２との間に第２の光路３１１が接続された赤外線送信ユニットと、
第１の赤外線カメラ４１０と、第１のレンズ２１２に隣接する第３のレンズ４１２とを含む赤外線受信ユニットであって、第１の赤外線カメラ４１０と第３のレンズ４１２との間に第３の光路４１１が接続された赤外線受信ユニットと、を含む。

【0020】

なお、一般的な三次元認識装置の配置方式は、図１に示すように、三次元認識素子が端末１０の表示スクリーン１１０において並列配置で設置されており、三次元認識素子の本体サイズが大きく、各レンズ間にある程度の距離があるため、光透過性強化領域１２０の面積が大きくなり、全面ディスプレイの表示体験に影響を与えてしまう。本実施例の三次元認識装置を用いることにより、三次元認識素子の本体とレンズとの分離を実現することが可能となる。図２に示すような方式で、レンズのサイズのみを考慮してコンパクトに配置することができる。三次元認識素子の本体が端末１０の内部に分散し、光路により光線の伝搬を実現するため、光透過性強化領域１２０の面積を効果的に削減し、ユーザエクスペリエンスを向上させることができる。

【0021】

なお、ＲＧＢカメラ２１０の第１のレンズ２１２はサイズが大きく、赤外線送信ユニット及び赤外線受信ユニットのレンズはサイズが小さく、通常は小口径レンズであるので、図２に示すように、第１のレンズ２１２の周囲を複数の小口径レンズで囲むようにし、配置をよりコンパクトにすることができる。

【0022】

なお、本実施例において、第２のレンズ３１２及び第３のレンズ４１２が小口径レンズであり、ＲＧＢカメラ２１０に必要とされる透過光量が多く、第２のレンズ３１２及び第３のレンズ４１２の口径は第１のレンズ２１２の口径に比べて相対的に小さいため、第２のレンズ３１２及び第３のレンズ４１２を第１のレンズ２１２に隣接する位置に配置しても、ＲＧＢカメラ２１０の本体と干渉することはない。第２のレンズ３１２及び第３のレンズ４１２の口径は、実際の入射光量要件に応じて調整してもよく、本明細書では、具体的なサイズについて特に限定しない。

【0023】

なお、図３を参照し、光が入射又は出射できることを保証できれば、第１の光路２１１、第２の光路３１１及び第３の光路４１１は任意の形状であってもよく、本明細書では特に限定しない。

【0024】

以下、三次元認識装置の様々な実施例について、いくつかの実施例を用いて説明する。

【0025】

第１の実施例：
図３を参照し、図３は、端末の、水平に置かれた状態にいて鉛直方向に切り取られた断面図である。ＲＧＢレンズ２１０が第１の光路２１１を介して第１のレンズ２１２と接続されている場合、ＲＧＢレンズ２１０と第１のレンズ２１２との間にはある程度の距離がある。コンパクトな配置を実現するために、第２のレンズ３１２及び第３のレンズ４１２は、図５に示すように、第１のレンズ２１２に隣接して、すなわち第１のレンズ２１２の周囲を取り囲むように設けられてもよく、相互に干渉することがない限り、具体的な位置は実際の必要に応じて調整すればよく、本実施例ではこれについて特に限定しない。

【0026】

本実施例において、対応するレンズよりもＲＧＢカメラ２１０、赤外線フラッドライト照射器３１０及び第１の赤外線カメラ４１０の本体サイズが大きく、光路が全て直線的な通路である場合、図５に示すようなレイズの配置を実現するためには、赤外線フラッドライト照射器３１０、第１の赤外線カメラ４１０及びＲＧＢカメラ２１０が互いに干渉しないように、比較的長い第１の光路２１１を設ける必要があり、これにより、端末が厚くなってしまう。そのため、本実施例では、第２の光路３１１及び第３の光路４１１をともに図３に示すような直角構造とし、第２の光路３１１のコーナーに第１の反射ミラー３１３を設け、第３の光路４１１のコーナーに第２の反射ミラー４１３を設ける。反射ミラーを用いて赤外光の伝搬方向を変更することにより、赤外線フラッドライト照射器３１０及び第１の赤外線カメラ４１０をＲＧＢカメラ２１０から横方向にずらすことができる。得られる内部の配置は図４に示す正面図を参照してもよい。それにより、三次元認識装置に必要とされる縦方向のスペースを効果的に削減し、三次元認識装置の厚みを効果的に削減する。

【0027】

なお、本実施例の構成を用いれば、飛行時間（ＴＯＦ：ＴｉｍｅｏｆＦｌｉｇｈｔ）を利用した三次元認識が可能となる。これに基づいて、赤外線フラッドライト照射器３１０には、高出力の垂直共振器型面発光レーザ（ＶＣＳＥＬ：ＶｅｒｔｉｃａｌＣａｖｉｔｙＳｕｒｆａｃｅＥｍｉｔｔｉｎｇＬａｓｅｒ）を採用し、ＴＯＦの正確な収集が可能である限り、第１の赤外線カメラ４１０の内部も実際の必要に応じて調整可能であり、本実施例では素子の内部構成について特に限定しない。

【0028】

第２の実施例：
第１の実施例に基づいて、本実施例の赤外線送信ユニットは、赤外線ドットプロジェクタ３２０と、第１のレンズ２１２に隣接する第４のレンズ３２２とをさらに含み、赤外線ドットプロジェクタ３２０と第４のレンズ３２２との間に第４の光路３２１が接続された。また、第４の光路３２１には、赤外線ドットプロジェクタ３２０から発射された赤外光を第４のレンズに反射するのに用いられる第３の反射ミラー（図示せず）がさらに設けられている。赤外線ドットプロジェクタ３２０、第４のレンズ３２２、第４の光路３２１及び第３の反射ミラーの設定における原理は、赤外線フラッドライト照射器３１０、第２のレンズ３１２、第２の光路３１１及び第１の反射ミラー３１３を参照でき、簡潔にするために、ここでは重複した説明を省略する。

【0029】

なお、図４及び図６を参照し、第４のレンズ３２２、第２のレンズ３１２及び第３のレンズ４１２は、第１のレンズ３１１を取り囲むように設けられており、具体的な位置は実際の必要に応じて調整可能であり、本実施例ではこれについて特に限定しない。

【0030】

なお、第１の実施例において、ＴＯＦによる三次元認識を実現するために、赤外線フラッドライト照射器３１０には高出力のＶＣＳＥＬを採用したが、本実施例の構成は単眼構造化光方式とするため、赤外線フラッドライト照射器３１０には比較的低出力のＶＣＳＥＬを採用し、赤外線ドットプロジェクタ３２０には、レーザスペックルを投射するために、高出力のＶＣＳＥＬを採用してもよい。また、第１の赤外線カメラ４１０の構成を第１の実施例に比べて簡略化することが可能なので、本明細書では素子の内部構成について特に説明しない。

【0031】

第３の実施例：
第２の実施例に基づいて、本実施例の赤外線受信ユニットは、第２の赤外線カメラ４２０と、第１のレンズ２１２に隣接する第５のレンズ４２２とを含み、第２の赤外線カメラ４２０と第５のレンズ４２２との間に第５の光路４２１が接続されている。なお、第５の光路４２１には、第５のレンズ４２２を介して入射した光を第２の赤外線カメラ４２０に反射するのに用いられる第４の反射ミラー（図示せず）がさらに設けられている。第２の赤外線カメラ４２０、第５のレンズ４２２、第５の光路４２１及び第４の反射ミラーの設定における原理は、第１の赤外線カメラ４１０、第３のレンズ４１２、第３の光路４１１及び第２の反射ミラーを参照でき、便宜上、簡潔にするために、ここでは重複した説明を省略する。

【0032】

なお、図４及び図７を参照し、第５のレンズ４２２、第４のレンズ３２２、第２のレンズ３１２及び第３のレンズ４１２は、第１のレンズ３１１を取り囲むように設けられており、具体的な位置は実際の必要に応じて調整可能であり、本実施例ではこれについて特に限定しない。

【0033】

なお、第２の実施例では単眼構造化光による三次元認識を実現することができるが、本実施例では、第２の赤外線カメラ４２０が追加されているので、両眼構造化光による三次元認識を実現することができ、具体的な素子のスペックは実際の必要に応じて選択すればよく、ここでは特に限定しない。

【0034】

上述した３つの実施例にかかる三次元認識装置によれば、端末の内部空間を利用して認識素子の本体を配置し、光透過性強化領域１２０の面積を効果的に削減することができるので、光透過性強化領域１２０の影響を受ける表示領域を減少させ、端末の全面表示効果を向上させることにより、ユーザエクスペリエンスを向上させる。

【0035】

さらに、図２を参照し、本願の実施例は、端末をさらに提供し、該端末１０は、
上記の実施例に記載の三次元認識装置と、
表示スクリーン１１０であって、前記表示スクリーン１１０の内側に前記三次元認識装置が配置され、前記表示スクリーン１１０の、前記三次元認識装置のレンズに対応する領域が光透過性強化領域１２０である表示スクリーン１１０と、を含む。

【0036】

なお、第１の実施例～第３の実施例の説明を参照し、三次元認識装置のレンズ数は、三次元認識装置のソリューションに依存する。第３の実施例に対応する三次元認識装置の配置模式図である図４に示すように、第１の実施例の構成を用いてＴＯＦによる三次元認識を実現する必要がある場合、図４に基づいて赤外線ドットプロジェクタ３２０、第２の赤外線カメラ４２０、並びに対応する光路及び反射ミラーを削減してもよい。この場合、光透過性強化領域１２０の面積を図４に基づいてさらに減少させることができる。光透過性強化領域１２０の具体的な面積は、三次元認識に必要な構成に対応するレンズ数に応じて調整すればよい。

【0037】

さらに、図８を参照し、本願は、第１の実施例に記載の三次元認識装置に適用されるキャリブレーション方法をさらに提供し、このキャリブレーション方法は、
赤外線フラッドライト照射器が動作状態にある場合、第１の既定のタイミングシーケンスに従って、第１の赤外線カメラを用いて第１の画像セットを撮影し、ＲＧＢカメラを用いて第２の画像セットを撮影するステップであって、異なる時刻に第１の赤外線カメラにより撮影されるターゲット物体が異なり、異なる時刻にＲＧＢカメラにより撮影されるターゲット物体が異なり、同じ時刻に第１の赤外線カメラとＲＧＢカメラとにより撮影されるターゲット物体が同じであるステップＳ８１０と、
第１の画像セットに基づいて、第１の赤外線カメラと赤外線フラッドライト照射器との間のキャリブレーションを行うステップＳ８２０と、
第１の画像セット及び第２の画像セット内の同じ時刻にそれぞれ撮影された画像を融合させて第１の融合画像セットを得て、第１の融合画像セットに基づいてＲＧＢカメラと第１の赤外線カメラとの間のキャリブレーションを行うステップＳ８３０と、を含む。

【0038】

なお、図１に示す従来の配置レイアウト方式では、複数のレンズ間のベースライン１３０が重なっているので、複数の感光素子を直接キャリブレーションすることができるが、図５に示すように、第２のレンズ３１２及び第３のレンズ４１２が第１のレンズ２１２に隣接しており、第２のレンズ３１２と第１のレンズ２１２との間の第１のベースライン５１０及び第３のレンズ４１２と第１のレンズ２１２との間の第２のベースライン５２０が同一直線上にあることを保証することができない。したがって、本願の実施例の三次元認識装置の構成に基づいて、並列に分散していない複数の光学センシング素子を正常にキャリブレーションできること及び組み合わせて使用できることを保証するために、光学センシング素子同士を２つずつキャリブレーションすること、すなわち、第１の赤外線カメラ４１０とＲＧＢカメラ２１０とをキャリブレーションし、赤外線フラッドライト照射器３１０とＲＧＢカメラ２１０とをキャリブレーションすることが必要である。

【0039】

なお、感光素子のキャリブレーションプロセスにおいて、ターゲット物体には通常、チェスボードパターン又はドットパターン等のコントラストが明らかなキャリブレーション物体を用いてもよく、感光素子を用いて異なる角度から同じ模様を撮影してもよい。例えば、本実施例において、図１３に示すキャリブレーション物体をターゲット物体として利用してもよく、このターゲット物体は４つの側面を有し、各側面は同じチェスボードパターンを有し、且つ各側面のチェスボードパターンの模様の角度が異なるため、異なる側面を撮影することで得られる画像の内容が異なる。さらに、図１３に示したターゲット物体には、命令による制御の下で各側面の前傾又は後傾を実現することにより、より多くの様々な角度からの画像内容を撮影することができるように、機械装置を設置してもよい。なお、図１３に示すようなターゲット物体を採用する場合、十分な光線を確保するために、実際の必要に応じて背景赤外光源や背景可視光源を追加してもよいが、ここでは説明を省略する。

【0040】

なお、ＲＧＢカメラ２１０がターゲット物体を正視するように三次元認識装置を固定して設置してもよい。第１のレンズ２１２は第２のレンズ３１２及び第３のレンズ４１２に隣接し且つ口径が小さいため、キャリブレーション物体を正視すると見なすことができる。

【0041】

なお、第１の既定のタイミングシーケンスは、隣接する２つの撮影間の間隔時間であり、自動撮影を実現するために、ターゲット物体の回転周期と同じであるように設定されてもよい。例えば、側面ごとに１枚撮影する場合、ターゲット物体を１つの側面からもう１つの側面へ回すのに２秒が必要であるとすると、第１の既定のタイミングシーケンスは０秒、２秒、４秒などとすることができる。当業者は、２台の機器が連携して撮影を行えるように、対応するパラメータを設定してもよい。

【0042】

なお、キャリブレーションパラメータを決定するためには、第１の赤外線カメラ４１０及びＲＧＢカメラ２１０を用いて複数の画像を撮影する必要があり、具体的な数は、キャリブレーションパラメータのうちの内部パラメータの解の個数に対応するホモグラフィ行列の数に基づいて決定されてもよい。例えば、内部パラメータの解の個数がｎであり、最小二乗法で解けるｎ個（ｎは偶数）又はｎ＋１個（ｎは奇数）の方程式を解く必要があり、この場合のホモグラフィ行列の数がｎ／２（ｎは偶数）又は（ｎ＋１）／２（ｎは奇数）であるとすると、次の一周における異なる傾きのターゲット物体に対する撮影回数をｎ／２（ｎは偶数）又は（ｎ＋１）／２（ｎは奇数）として決定することができる。もちろん、キャリブレーションが実現できれば、実際の必要に応じて撮影枚数を増やすことも可能であり、本明細書では特に限定しない。

【0043】

なお、赤外線フラッドライト照射器３１０の反射された画像は２次元画像であり、２次元画像により、カメラ座標におけるターゲット物体の平面の平面方程式を推定し、さらに赤外線フラッドライト照射器３１０のレーザ点群を上記平面に関連付け、レーザ座標系からカメラ座標系へのマッピング関係を用いてレーザ点群をカメラ座標系に変換し、レーザ点群内の各ポイントから平面までの最小距離を構築し、最小二乗法を用いてこの最小距離の値を求めてキャリブレーションを形成することができる。上述したキャリブレーション方法は一例にすぎず、第１の画像セットを備えた上で、他の方法により第１の赤外線カメラ４１０とＲＧＢカメラ２１０とのキャリブレーションを実現してもよく、本明細書では特に限定しない。

【0044】

なお、第１の画像セット及び第２の画像セット内の画像は、同時に異なる装置を用いて撮影されたものであるため、同じ時刻に撮影された画像を融合させることができる。第１の融合画像セットを備えた上で、当業者は、ＲＧＢカメラ２１０のキャリブレーションをどのように行うかを熟知しており、例えば張正友法、ＯｐｅｎＣＶ及びＭａｔｌａｂなどの方法により、それぞれの内部パラメータと歪み係数を求めることができるが、ここでは説明を省略する。

【0045】

また、図９を参照し、本願のキャリブレーション方法は、上述した第２の実施例に記載の三次元認識装置にも適用可能であり、
赤外線ドットプロジェクタが動作状態にある場合、第２の既定のタイミングシーケンスに従って、第１の赤外線カメラを用いて第３の画像セットを撮影し、ＲＧＢカメラを用いて第４の画像セットを撮影するステップであって、異なる時刻に第１の赤外線カメラにより撮影されるターゲット物体が異なり、異なる時刻にＲＧＢカメラにより撮影されるターゲット物体が異なり、同じ時刻に第１の赤外線カメラとＲＧＢカメラとにより撮影されるターゲット物体が同じであるステップＳ９１０と、
第３の画像セットに基づいて、第１の赤外線カメラと赤外線ドットプロジェクタとの間のキャリブレーションを行うステップＳ９２０と、
第３の画像セット及び第４の画像セット内の同じ時刻にそれぞれ撮影された画像を融合させて第２の融合画像セットを得て、第２の融合画像セットに基づいてＲＧＢカメラと第１の赤外線カメラとの間のキャリブレーションを行うステップＳ９３０と、をさらに含むが、これらに限定されない。

【0046】

なお、２つの赤外線発射素子を備えた場合、第１の画像セットの画像撮影が終わってから、第３の画像セットの画像撮影を行ってもよい。もちろん、効率向上を図るために、赤外線フラッドライト照射器３１０と赤外線ドットプロジェクタ３２０を交互に作動させて撮影を行ってもよく、すなわち、第１の画像セットの画像と第３の画像セットの画像を交互に撮影してもよい。タイミングの需要に応じて具体的な動作方式を選択すればよく、本明細書では特に限定しない。

【0047】

なお、第４の画像セットの撮影方式及び原理は、図８に示す実施例の第２の画像セットの撮影方式及び原理を参照してもよく、ここでは重複した説明を省略する。

【0048】

なお、赤外線ドットプロジェクタ３２０と赤外線フラッドライト照射器３１０とを交互に作動させることにより、赤外線ドットプロジェクタ３２０のレーザスペックルが赤外線フラッドライト照射器３１０から発射される赤外光と干渉することを回避することができる。

【0049】

なお、第２の融合画像セットの取得方法、及びＲＧＢカメラ２１０と第１の赤外線カメラ４１０とのキャリブレーション方法は、図８に示す実施例の説明を参照してもよく、ここでは重複した説明を省略する。

【0050】

なお、本実施例において、赤外線ドットプロジェクタ３２０が発射する赤外線光はレーザスペックルであり、第１の赤外線カメラ４１０は、赤外線ドットプロジェクタ３２０によりターゲット物体に照射されて反射した複数の三次元レーザスペックル画像を受信し、その後、三次元レーザスペックル画像を第１の赤外線カメラ４１０による２次元画像に対応させて変換する。この変換プロセスには同次座標を導入して三次元空間点から２次元画像への変換を実現することにより、各ポイントに対する平行移動及び回転操作を実現し、さらに複数組のターゲット物体のカメラ座標における平面方程式を得て、点と平面の間の距離誤差を最適化してキャリブレーションを実現する。

【0051】

また、図１０を参照し、本願のキャリブレーション方法は、上述した第３の実施例に記載の三次元認識装置にも適用可能であり、
赤外線ドットプロジェクタが動作状態にある場合、第２の既定のタイミングシーケンスに従って、第２の赤外線カメラを用いて第３の画像セットを撮影し、ＲＧＢカメラを用いて第４の画像セットを撮影するステップであって、異なる時刻に第２の赤外線カメラにより撮影されるターゲット物体が異なり、異なる時刻にＲＧＢカメラにより撮影されるターゲット物体が異なり、同じ時刻に第１の赤外線カメラとＲＧＢカメラとにより撮影されるターゲット物体が同じであるステップＳ１０１０と、
第３の画像セットに基づいて、第２の赤外線カメラと赤外線ドットプロジェクタとの間のキャリブレーションを行うステップＳ１０２０と、
第３の画像セット及び第４の画像セット内の同じ時刻にそれぞれ撮影された画像を融合させて第２の融合画像セットを得て、第２の融合画像セットに基づいてＲＧＢカメラと第２の赤外線カメラとの間のキャリブレーションを行うステップＳ１０３０と、をさらに含むが、これらに限定されない。

【0052】

なお、本実施例の技術的原理は、図９に記載された実施例の原理を参照してもよく、その相違点は、第３の画像セットが第２の赤外線カメラ４２０による撮影で得られること、すなわち、第１の赤外線カメラ４１０が赤外線フラッドライト照射器３１０に合わせて動作し、第２の赤外線カメラ４２０が赤外線ドットプロジェクタ３２０に合わせて動作することであり、もちろん、合わせて動作する関係を入れ換えてもよく、本明細書では特に限定しない。

【0053】

なお、上記の相違点に加えて、第１の画像セットはまた、赤外線フラッドライト照射器３１０が動作している場合に、第１の赤外線カメラ４１０及び第２の赤外線カメラ４２０によりそれぞれ１回の撮影を行い、２枚の利用可能な画像をそれぞれ得て相互参照してもよく、撮影及びキャリブレーションの効率を効果的に向上させることができる。第３の画像セットについても類似の操作をしてもよく、ここでは説明を省略する。

【0054】

なお、第１の融合画像セットを用いて第１の赤外線カメラ４１０とＲＧＢカメラ２１０とのキャリブレーションを行った後に、第２の融合画像セットを用いて第２の赤外線カメラ４２０とＲＧＢカメラ２１０との間のキャリブレーションを行う必要もある。各感光素子のベースラインが同一直線上にないため、三次元認識装置の正常動作を保証するために、２つずつキャリブレーションを行う必要がある。

【0055】

なお、２つの赤外線カメラと２つの赤外線発射器を備え、赤外線ドットプロジェクタ３２０と赤外線フラッドライト照射器３１０とを交互に動作させる必要がある場合、上述した実施例の説明によれば、ターゲット物体を既定のタイミングシーケンスに従って回転させ、すなわち、第１の側面について第１の画像セットと第２の画像セットの撮影を行い、第２の側面について第３の画像セットと第４の画像セットの撮影を行う。機械装置の制御によりターゲット物体の撮影される側面が傾く角度を調整できるとしても、ターゲット物体が１周回転して撮影される画像が十分であることを保証することは困難である。この場合、ターゲット物体の１周目の回転が終了した後に、２周目における１回目の回転を９０度増やしてもよい。すなわち、第２の側面について第１の画像セットと第２の画像セットの画像撮影を行うことにより、各画像セットの撮影される画像が１周目の撮影される画像と異なることを保証する。

【0056】

もちろん、２周目で撮影された画像の数が依然として不十分である場合、ターゲット物体に不均一な角度又は小さい回転角度で３周目の回転を開始させ、第１の赤外線カメラ４１０、第２の赤外線カメラ４２０及びＲＧＢカメラ２１０を用いてターゲット物体の側面を同期して撮影するようにしてもよい。キャリブレーション物体が不均一な角度又は小さい回転角度で回転することは、カメラが２つ側面をまたいで撮影したり、単一の側面の局部だけを撮影したりすることになり、前の２周と比較して大きな差異が生じるため、この１周は前の２周の回転の補足的撮影にすぎず、一方ではレーザスペックルによる干渉に対する矯正用に少量の画像を補足するだけであり、他方ではターゲット物体の前の２周の画像だけでは不十分な場合に有効な補足や補充にも用いられる。上述したターゲット物体の調整方式は、本実施例の一例にすぎず、タイミングの需要に応じて調整したり、複数の異なるターゲット物体を配置したりしてもよいが、本明細書では特に限定しない。

【0057】

また、一実施例において、図１１を参照し、図９に示すステップＳ９１０の実行完了、又は図１０に示すステップＳ１０１０の実行完了後に、以下のステップをさらに含むが、これらに限定されない。

【0058】

ステップＳ１１１０において、第３の画像セットの画像内のレーザスペックル情報をフィルタリングにより除去する。

【0059】

なお、赤外線ドットプロジェクタ３２０が動作している場合、第２の赤外線カメラ４２０により撮影された画像にはレーザスペックル情報が含まれるため、キャリブレーションへの干渉を避けるために、ノイズ除去によりフィルタリングして除去する必要がある。例えば、スペックルによる乗算性歪みを解消するために、イテレーション時に自然対数を用いてノイズを加法モデルに変換し、さらに、画像をＲＧＢ空間から色相輝度彩度（ＨＬＳ：ＨｕｅＬｉｇｈｔｎｅｓｓＳａｔｕｒａｔｉｏｎ）空間に変換し、赤色の空間範囲を抽出し、ＲＧＢ空間に逆変換してさらにグレースケール空間に変換し、ヒストグラム均等化及びフィルタリング処理を行い、コーナーポイントを算出してチェスボード画像を生成し、さらにキャリブレーションしてもよい。

【0060】

また、一実施例において、図１２を参照し、図１０に示すステップＳ１０３０の実行完了後に、以下のステップをさらに含むが、これらに限定されない。

【0061】

第１の赤外線カメラの第１のキャリブレーションパラメータと、第２の赤外線カメラの第２のキャリブレーションパラメータと、ＲＧＢカメラの第３のキャリブレーションパラメータとを含むキャリブレーションパラメータを取得するステップＳ１２１０と、
キャリブレーションパラメータに基づいて、第１の赤外線カメラと、第２の赤外線カメラと、ＲＧＢカメラとの間でグローバルキャリブレーションを行うステップＳ１２２０と、をさらに含むが、これらに限定されない。

【0062】

なお、第１の赤外線カメラ４１０とＲＧＢカメラ２１０、及び第２の赤外線カメラ４２０とＲＧＢカメラ２１０の２つずつのキャリブレーションが完了した後に、連携した動作を実現するために、さらに３つのカメラについてグローバルキャリブレーションをする必要がある。これに基づいて、それぞれのキャリブレーションパラメータを算出する必要があり、ここで、キャリブレーションパラメータは通常、内部パラメータ、歪み係数、外部パラメータ及び画像スケール因子を含む。

【0063】

なお、内部パラメータ及び歪み係数については、３つのカメラそれぞれにより撮影されたターゲット物体の１周又は複数周回転した写真を融合させて計算により取得してもよく、当業者は、如何にして対応するパラメータを算出できるかを熟知しているので、ここでは説明を省略する。

【0064】

なお、外部パラメータの計算には、３つのカメラが同時に１回の撮影を実行して計算する必要があり、すなわち、３つのカメラが同時に同一の静止状態にあるターゲット物体をそれぞれ撮影した後、それぞれの画像に対して特徴計算を行う必要がある。外部パラメータの計算は当業者が熟知している技術であるため、ここでは説明を省略する。

【0065】

なお、画像スケール因子とは、赤外線カメラとＲＧＢカメラの光心のずれ及び赤外線と可視光の焦点距離の違いによる、空間物体の、２種類の画像形成時の違いを表すものである。これにより、撮影されたターゲット物体の側面の２次元キャリブレーション画像の赤外及びＲＧＢの画素差を比較することにより画像スケール因子を求めることができるため、赤外及びＲＧＢの２種類の画像にわたって空間物体のサイズの統一を実現することができる。

【0066】

さらに、赤外とＲＧＢとの２種類の画像にわたってサイズの統一を実現しても、赤外画像からＲＧＢ画像へ移動するには依然としてずれがあるが、キャリブレーション物体の側面のキャリブレーション図のチェスボード又はドットの座標位置と、赤外及びＲＧＢ画像の画素座標位置に基づいて、対応する画素差を計算すれば、赤外とＲＧＢの画素を揃えることができる。

【0067】

さらに、図１４を参照し、本願の一つの実施例は、端末をさらに提供し、該端末１４００は、メモリ１４１０、プロセッサ１４２０及びメモリ１４１０に記憶されて且つプロセッサ１４２０上で実行できるコンピュータプログラムを含む。

【0068】

プロセッサ１４２０とメモリ１４１０とは、バス又は他の方法により接続されてもよい。

【0069】

上述した実施例のキャリブレーション方法を実現するために必要な非一時的なソフトウェアプログラム及び命令はメモリ１４１０に記憶されており、プロセッサ１４２０により実行された場合、上述した実施例におけるキャリブレーション方法、例えば、上述した図８における方法ステップＳ８１０からステップＳ８３０、図９における方法ステップＳ９１０からステップＳ９３０、図１０における方法ステップＳ１０１０からステップＳ１０３０、図１１における方法ステップＳ１１１０、図１２における方法ステップＳ１２１０からステップＳ１２２０を、実行する。

【0070】

以上に説明された装置実施形態は、単に例示的なものであり、分離された部品として説明されたユニットは、物理的に分離されていてもよく、そうでなくてもよく、すなわち、一箇所にあってもよく、又は複数のネットワークユニットに分散されていてもよい。本実施形態の態様の目的を達成するために、これらのモジュールの一部又は全部を実際の必要に応じて選択することが可能である。

【0071】

また、本願の一実施例は、コンピュータ可読記憶媒体をさらに提供し、該コンピュータ可読記憶媒体にはコンピュータ実行可能な命令が記憶されており、該コンピュータ実行可能な命令は、１つのプロセッサ又はコントローラ、例えば、上述した端末実施例におけるプロセッサにより実行された場合、上述した実施例におけるキャリブレーション方法、例えば、上述した図８における方法ステップＳ８１０からステップＳ８３０、図９における方法ステップＳ９１０からステップＳ９３０、図１０における方法ステップＳ１０１０からステップＳ１０３０、図１１における方法ステップＳ１１１０、図１２における方法ステップＳ１２１０からステップＳ１２２０を、上記プロセッサに実行させることができる。当業者であれば、上記で開示された方法のステップの全部又は一部、システムは、ソフトウェア、ファームウェア、ハードウェア、及びそれらの適切な組み合わせとして実施できることを理解できる。一部又は全部の物理的ユニットは、中央処理装置、デジタルシグナルプロセッサ又はマイクロプロセッサのようなプロセッサにより実行されるソフトウェアとして、あるいはハードウェアとして、あるいは特定用途向け集積回路のような集積回路として実施されてもよい。このようなソフトウェアは、コンピュータ可読媒体上に分散してもよく、コンピュータ可読媒体はコンピュータ記憶媒体（又は非一時的な媒体）及び通信媒体（又は一時的な媒体）を含んでもよい。コンピュータ記憶媒体という用語は、情報（コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータ）を記憶するための任意の方法又は技術において実現される、揮発性及び不揮発性、取り外し可能及び取り外し不可能な媒体を含むことは、当業者にとって周知のことである。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ?ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光ディスク記憶装置、磁気カートリッジ、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、又は所望の情報を記憶するために使用することができ、コンピュータによってアクセスすることができる任意の他の媒体を含むが、これらに限定されない。さらに、通信媒体は通常、コンピュータ可読命令、データ構造、プログラムモジュール、又は搬送波又は他の伝送メカニズムのような変調データ信号中の他のデータを含み、任意の情報伝送媒体を含んでもよいことは、当業者にとって周知のことである。

【0072】

本願の実施例は、ＲＧＢカメラと第１のレンズとを含むＲＧＢユニットであって、前記第１のレンズと前記ＲＧＢカメラとの間に第１の光路が接続されたＲＧＢユニットと、赤外線フラッドライト照射器と、前記第１のレンズに隣接する第２のレンズとを含む赤外線送信ユニットであって、前記赤外線フラッドライト照射器と前記第２のレンズとの間に第２の光路が接続された赤外線送信ユニットと、第１の赤外線カメラと、前記第１のレンズに隣接する第３のレンズとを含む赤外線受信ユニットであって、前記第１の赤外線カメラと前記第３のレンズとの間に第３の光路が接続された赤外線受信ユニットと、を含む。本実施例の技術案によれば、ＲＧＢカメラ、赤外線フラッドライト照射器及び第１の赤外線カメラをレンズと分離して配置することができ、光路を介して光線の伝搬を実現し、表示スクリーン下での複数のレンズの配置をよりコンパクトにすることができるため、光透過性を高めるために特殊処理が行われる領域の面積を効果的に削減し、全面ディスプレイの表示効果を効果的に改善し、ユーザエクスペリエンスを向上させる。

【0073】

以上では、本願のいくつかの実施例について具体的に説明したが、本願は上記実施形態に限定されるものではない。当業者であれば、本願の本質に反することなく、本願の特許請求の範囲に限定された範囲内に含まれる様々な均等的変形又は置換を行ってもよい。

【図1】