特表 2023-543443 ３次元画像取得装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-16

(54)【発明の名称】３次元画像取得装置

(51)【国際特許分類】

   G01S 17/894 20200101AFI20231006BHJP

   G01C 3/06 20060101ALI20231006BHJP

   G01S 7/481 20060101ALI20231006BHJP

   G01S 17/10 20200101ALI20231006BHJP

【ＦＩ】

G01S17/894

G01C3/06 120Q

G01C3/06 140

G01S7/481 A

G01S17/10

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023518452

(86)(22)【出願日】2021-09-06

(85)【翻訳文提出日】2023-05-17

(86)【国際出願番号】 KR2021011988

(87)【国際公開番号】W WO2022059981

(87)【国際公開日】2022-03-24

(31)【優先権主張番号】10-2020-0120726

(32)【優先日】2020-09-18

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2020-0138390

(32)【優先日】2020-10-23

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2020-0183820

(32)【優先日】2020-12-24

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】523100526

【氏名又は名称】ムン，ミョン イル

(74)【代理人】

【識別番号】100091683

【弁理士】

【氏名又は名称】▲吉▼川 俊雄

(74)【代理人】

【識別番号】100179316

【弁理士】

【氏名又は名称】市川 寛奈

(72)【発明者】

【氏名】ムン，ミョン イル

【テーマコード（参考）】

2F112

5J084

【Ｆターム（参考）】

2F112AD01

2F112BA20

2F112CA04

2F112CA05

2F112CA08

2F112DA01

2F112DA04

2F112DA10

2F112DA19

2F112DA21

2F112DA22

2F112DA25

2F112DA28

2F112DA32

2F112EA05

2F112GA01

2F112GA03

5J084AA05

5J084AD01

5J084BA04

5J084BA07

5J084BA20

5J084BB01

5J084BB14

5J084CA03

5J084CA65

5J084CA67

(57)【要約】

【課題】本発明の目的は、本体ハウジングの内側からターゲットオブジェクト側にレーザー光を照射する照射モジュールと、赤外線および可視光を分離屈折させるビームスプリッタと、ＴＯＦ受信センサと、イメージセンサと、を有する構造の装置を提供し、ＴＯＦ方式の深さ情報を測定しながらも一般のカラー画像を追加に結合して、ターゲットオブジェクトに対する３次元空間構造をより精密に測定したり、２次元画像を提供したりする３次元画像取得装置を提供することにある
【解決手段】本発明は、本体ハウジングの内側からターゲットオブジェクト側にレーザー光を照射するレーザー照射モジュールと、ビームスプリッタと、ＴＯＦ受信センサと、カラー画像を感知できるＲＧＢイメージセンサと、を備え、簡単な動作だけでも周辺地形や被写体などのターゲットオブジェクトに対する空間構造を測定することができる３次元画像取得装置に関する。
【選択図】図５

【特許請求の範囲】

【請求項1】

３次元画像取得装置であって、
本体ハウジングと、
前記本体ハウジングの内側上部に装着されて光の発信および受信タイミングを制御し、感知された信号を外部の装置に伝達するための制御部基板と、
前記制御部基板に結合されて赤外線レーザーの発信と入射される外部光の受信のための光送受信ユニットと、が配置され、
前記光送受信ユニットは、
ターゲットオブジェクト側にレーザー光を照射するレーザー照射モジュールと、前記ターゲットオブジェクトに反射して戻ってくる赤外線は水平に透過させ、入射する可視光は垂直に屈折させるビームスプリッタと、
前記ビームスプリッタに透過される赤外線を受光して赤外線領域での構造画像を生成するＴＯＦ受信センサと、
前記ビームスプリッタの下部に屈折される可視光を受光してターゲットオブジェクトのカラー画像を生成するイメージセンサと、
前記ビームスプリッタの前部に少なくとも２つ以上のレンズエレメント（ｅｌｅｍｅｎｔ）で構成される光学レンズ系と、を備えることを特徴とする、
３次元画像取得装置。

【請求項2】

前記光学レンズ系は、各レンズエレメント毎に入射する光を調整することができるように一定の形状のレンズ組立体からなることを特徴とする、
請求項１に記載の３次元画像取得装置。

【請求項3】

前記光学レンズ系は、前記ＴＯＦ受信センサおよびイメージセンサに存在する焦点の位置でターゲットオブジェクトの像がはっきりと結ばれるように屈折を調整できるようにすることを特徴とする、
請求項２に記載の３次元画像取得装置。

【請求項4】

前記制御部基板は、前記ＴＯＦ受信センサで受光されたターゲットオブジェクトの構造画像と、前記イメージセンサで受光されたターゲットオブジェクトのカラー画像データとを結合してターゲットオブジェクトに対する３次元空間構造を測定する３Ｄ画像処理モジュールを含むことを特徴とする、
請求項１に記載の３次元画像取得装置。

【請求項5】

前記レーザー照射モジュールは
多数のドット（ｄｏｔ）アレイ形態でモジュール化され、ターゲットオブジェクト側にパルスパターンの赤外線レーザーを面発光で発信するヴィクセルモジュール、またはターゲットオブジェクト側にレーザー光を照射するレーザーダイオードモジュールからなることを特徴とする
請求項１に記載の３次元画像取得装置。

【請求項6】

一側面にパルスレーザー光を外部に放出し、外部から入射する光の透過のための光透過性窓が配置される本体ハウジングと、
前記本体ハウジングの内側下部で結合・装着され、光の発信および受信タイミングを制御し、感知された信号を外部の装置に伝達するための制御部基板と、
前記制御部基板の上部に結合されて赤外線レーザー光の発信と入射される外部光の受信のための光送受信ユニットと、が配置され、
前記光送受信ユニットは、
ターゲットオブジェクト側にレーザー光を照射するレーザー照射モジュールと、前記ターゲットオブジェクトに反射して戻ってくる赤外線レーザーは水平に透過させ、入射する可視光は垂直に屈折させるビームスプリッタと、
前記ビームスプリッタに透過される前記赤外線レーザーを受光して赤外線領域での構造画像を生成するＴＯＦ受信センサと、
前記ビームスプリッタの下部に屈折される可視光を受光してターゲットオブジェクトのカラー画像を生成するイメージセンサと、を備えることを特徴とする、
３次元画像取得装置。

【請求項7】

前記光送受信ユニットは、前記窓方向に位置する前面レンズが配置され、前記前面レンズの一部において前記レーザー照射モジュールから放出される赤外線レーザーを外部に発散させるためのフィルタレンズが、前記前面レンズの一定の位置に挿入される構造、または外側に追加に装着される構造からなることを特徴とする、
請求項６に記載の３次元画像取得装置。

【請求項8】

前記フィルタレンズは、前記レーザー照射モジュールの赤外線レーザー光源に使用される波長のみを通過させるための帯域通過フィルタであることを特徴とする、
請求項７に記載の３次元画像取得装置。

【請求項9】

前記制御部基板は、前記ＴＯＦ受信センサで受光されたターゲットオブジェクトの構造画像と、前記イメージセンサで受光されたターゲットオブジェクトのカラー画像データとを結合してターゲットオブジェクトに対する３次元空間構造を測定する３Ｄ画像処理モジュールを含むことを特徴とする、
請求項６に記載の３次元画像取得装置。

【請求項10】

前記レーザー照射モジュールは
多数のドット（ｄｏｔ）アレイ形態でモジュール化され、ターゲットオブジェクト側にパルスパターンの赤外線レーザーを面発光で発信するヴィクセルモジュール、またはターゲットオブジェクト側にレーザー光を照射するレーザーダイオードモジュールからなることを特徴とする、
請求項６に記載の３次元画像取得装置。

【請求項11】

一側面にパルスレーザー光を外部に出射し、外部から入射する光の透過のための光透過性窓が配置される本体ハウジングと、
前記本体ハウジングの内側下部に結合・装着される制御部基板と、
前記制御部基板の上部に結合されて赤外線レーザーの発信と入射される外部光の受信のための光送受信ユニットと、が配置され、
前記光送受信ユニットは、
ターゲットオブジェクト側にレーザー光を照射するレーザー照射モジュールと、前記ターゲットオブジェクトに反射して戻ってくる赤外線レーザーは水平に透過させ、入射する可視光は垂直に屈折させるビームスプリッタと、
前記ビームスプリッタに透過される前記赤外線レーザーを受光して赤外線領域での構造画像を生成するＴＯＦ受信センサと、
前記ビームスプリッタの下部に屈折される可視光の受光のために多数のレンズエレメントからなるカメラレンズ、前記カメラレンズを光軸方向に進退運動させて焦点調節を可能にするレンズ駆動部、およびターゲットオブジェクトのカラー画像を生成するイメージセンサを含むカメラモジュールと、を備えることを特徴とする、
３次元画像取得装置。

【請求項12】

前記光送受信ユニットは、前記窓方向に位置する前面レンズが配置され、前記前面レンズの一部において前記レーザー照射モジュールから放出される赤外線レーザーを外部に発散させるためのフィルタレンズが、前記前面レンズの一定の位置に挿入される構造、または外側に追加に装着される構造からなることを特徴とする、
請求項１１に記載の３次元画像取得装置。

【請求項13】

前記フィルタレンズは、前記レーザー照射モジュールの赤外線レーザー光源に使用される波長のみを通過させるための帯域通過フィルタであることを特徴とする、
請求項１１に記載の３次元画像取得装置。

【請求項14】

前記制御部基板は
前記レーザー照射モジュール、ＴＯＦ受信センサおよびカメラモジュールと連動してレーザーの発信および受信動作を制御する制御モジュールと、
前記ＴＯＦ受信センサで受光されたターゲットオブジェクトの構造画像と、前記イメージセンサで受光されたターゲットオブジェクトのカラー画像データとを結合してターゲットオブジェクトに対する３次元空間構造を測定する３Ｄ画像処理モジュールと、を含むことを特徴とする、
請求項１１に記載の３次元画像取得装置。

【請求項15】

前記３Ｄ画像処理モジュールは、赤外線構造画像の深さ情報を計算し、ＲＧＢカラー画像とのテクスチャ成分のコントラストを比較して、画像の鮮明度が高い画像値を選択するアルゴリズムを用いて３次元空間構造を測定することを特徴とする、
請求項１３に記載の３次元画像取得装置。

【請求項16】

前記制御部基板は、前記制御モジュールが外部装置と通信するためのＷｉＦｉまたはＬＡＮ連結方式を提供する通信モジュールと、をさらに含むことを特徴とする、
請求項１５に記載の３次元画像取得装置。

【請求項17】

前記レーザー照射モジュールは
多数のドット（ｄｏｔ）アレイ形態でモジュール化され、ターゲットオブジェクト側にパルスパターンの赤外線レーザーを面発光で発信するヴィクセルモジュール、またはターゲットオブジェクト側にレーザー光を照射するレーザーダイオードモジュールからなることを特徴とする、
請求項１１に記載の３次元画像取得装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元画像取得装置に関し、より詳しくは、周辺地形や被写体などのターゲットオブジェクトの画像を取得し、これによって空間構造を測定することができる３次元画像取得装置に関する。

【背景技術】

【0002】

従来の３次元画像取得装置では、２つのカメラを用いてターゲットオブジェクトの対応するピクセルとの距離情報を得る受動型ステレオビジョンと、このステレオビジョンのカメラ１つをプロジェクタに置き換えた能動型ステレオビジョンと同じような方式を適用している。しかし、受動型ステレオビジョンは、速い利点を持っているが、単調な環境や周辺の照明によって深刻な影響を受けるため、正確な３次元画像を得ることに限界を持っている。また、可視光ベースの構造光（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）を用いた能動型ステレオビジョンは、ある程度向上した３次元画像を提供するが、可視光線パターンにより家庭用ロボットなどに使用する場合、人の目に障るようになる。

【0003】

よって、最近のＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式では、光をターゲットオブジェクトに照射して発光時間とターゲットオブジェクトから反射される光の受光時間との時間的差を利用することにより、カメラとターゲットオブジェクトとの距離または深さ（ｄｅｐｔｈ）を測定し、これによって３次元画像を取得する方式が提供されている。

【0004】

なお、３次元画像取得に対する従来の技術として、韓国公開特許第１０－２００５－００２６９４９（２００５年０３月１６日）号公報では、赤外線フラッシュ方式の能動型３次元距離画像測定装置が公知されている。これによって、前記技術は、フラッシュ方式の赤外線光源を使用し、多様な光照射パターンを用いてリアルタイム距離測定を行うためにＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）素子を使用する３次元距離画像測定装置に関するものである。前記従来技術は、本発明のように、レーザー光を照射するレーザー照射モジュールとビームスプリッタを使用し、受信されるパルスパターンのレーザー光を受光して時間タイミングに応じた位相差を測定するＴＯＦ受信方式とカラー画像とを結合して、空間構造を測定することができる画像取得装置とは違いがある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】韓国公開特許第１０－２００５－００２６９４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、前述した従来技術に鑑みてなされたものであって、本発明の目的は、本体ハウジングの内側からターゲットオブジェクト側にレーザー光を照射する照射モジュールと、赤外線および可視光を分離屈折させるビームスプリッタと、ＴＯＦ受信センサと、イメージセンサと、を有する構造の装置を提供し、ＴＯＦ方式の深さ情報を測定しながらも一般のカラー画像を追加に結合して、ターゲットオブジェクトに対する３次元空間構造をより精密に測定したり、２次元画像を提供したりする３次元画像取得装置を提供することにある。

【0007】

なお、本発明の他の目的は、取得した３次元空間構造の画像をネットワークを通じて連動されるスマートフォンやコンピューティング装置に出力できるようにする３次元画像取得装置を提供することにある。

【課題を解決するための手段】

【0008】

前記技術的課題を解決するための本発明の一実施形態による３次元画像取得装置は、本体ハウジングと、前記本体ハウジングの内側上部に装着され、光の発信および受信タイミングを制御して感知される信号を外部の装置に伝達するための制御部基板と、前記制御部基板に結合されて赤外線レーザーの発信および入射する外部光の受信のための光送受信ユニットとが配置され、前記光送受信ユニットは、ターゲットオブジェクト側にレーザー光を照射するレーザー照射モジュールと、前記ターゲットオブジェクトに反射して戻ってくる赤外線は水平に透過させ、入射する可視光は垂直に屈折させるビームスプリッタと、前記ビームスプリッタの後部に透過される赤外線を受光して赤外線領域での構造画像を生成するＴＯＦ受信センサと、前記ビームスプリッタの下部に屈折される可視光を受光してターゲットオブジェクトのカラー画像を生成するイメージセンサと、前記ビームスプリッタの前部で少なくとも２つ以上のレンズエレメント（ｅｌｅｍｅｎｔ）からなる光学レンズ系と、を備えることを特徴とする。

【0009】

また、本発明の前記光学レンズ系は、各々のレンズエレメント毎に入射する光の方向に対して光を制御することができるように一定の形態のレンズ組立体（ａｓｓｅｍｂｌｙ）からなることがある。

【0010】

また、本発明の前記光学レンズ系は、前記ＴＯＦ受信センサおよびイメージセンサに結像される焦点の位置において像がはっきりと結ばれるように屈折率が調整される。

【0011】

また、前記制御部基板は、前記ＴＯＦ受信センサで受光されたターゲットオブジェクトの構造画像と、前記イメージセンサで受光されたターゲットオブジェクトのカラー画像データとを結合して、ターゲットオブジェクトに対する３次元空間構造を測定する３Ｄ画像処理モジュールを含み得る。

【0012】

また、前記レーザー照射モジュールは、多数のドット（ｄｏｔ）アレイ形態でモジュール化され、ターゲットオブジェクト側にパルスパターンの赤外線レーザーを面発光で発信するヴィクセル（ＶＣＳＥＬ）モジュール、またはターゲットオブジェクト側にレーザー光を照射するレーザーダイオードモジュールで構成され得る。

【0013】

前記技術的課題を解決するための本発明の他の実施形態による３次元画像取得装置は、一側面にパルスレーザー光を外部に放出し、外部から入射する光の透過のための光透過性窓が配置される本体ハウジングと、前記本体ハウジングの内側下部に結合・装着される制御部基板と、前記制御部基板の上部に結合され、赤外線レーザーの発信と入射する外部光の受信のための光送受信ユニットとが配置され、前記光送受信ユニットは、ターゲットオブジェクト側にレーザー光を照射するレーザー照射モジュールと、前記ターゲットオブジェクトに反射して戻ってくる赤外線レーザーは水平に透過させ、入射する可視光は垂直に屈折させるビームスプリッタと、前記ビームスプリッタの後部に透過される前記赤外線レーザーを受光して赤外線領域での構造画像を生成するＴＯＦ受信センサと、前記ビームスプリッタの下部に屈折される可視光の受光のために多数のレンズエレメントで構成されるカメラレンズ、前記カメラレンズを光軸方向に進退運動させて焦点調節を可能にするレンズ駆動部、およびターゲットオブジェクトのカラー画像を生成するイメージセンサを含むカメラモジュールと、を備えることを特徴とする。

【0014】

また、本発明の前記光送受信ユニットは、前記窓（ウィンドウ）方向に位置する前面レンズが配置され、前記前面レンズの一部で前記レーザー照射モジュールから放出される赤外線レーザーを外部に発散させるためのフィルタレンズが前記前面レンズの一定位置に挿入される構造または外側に追加に装着される構造からなる特徴がある。

【0015】

また、本発明の前記フィルタレンズは、前記レーザー照射モジュールの赤外線レーザー光源に使用される波長のみを通過させるための帯域通過フィルタである特徴を有する。

【0016】

また、本発明の前記制御部基板は、前記ヴィクセルモジュールと、ＴＯＦ受信センサおよびカメラモジュールに連動してレーザーの発信および受信動作を制御する制御モジュールと、前記ＴＯＦ受信センサで受光されたターゲットオブジェクトの構造画像と前記イメージセンサで受光されたターゲットオブジェクトのカラー画像データを結合してターゲットオブジェクトに対する３次元空間構造を測定する３Ｄ画像処理モジュールと、を含む特徴がある。

【0017】

また、本発明の前記３Ｄ画像処理モジュールは、赤外線構造画像の深さ情報を計算し、ＲＧＢカラー画像とのテクスチャ成分のコントラストを比較して画像の鮮明度が高い画像値を選択するアルゴリズムを用いて３次元空間構造を測定する特徴を有する。

【0018】

また、本発明の前記制御部基板は、前記制御モジュールが外部装置と通信するためのＷｉＦｉまたはＬＡＮ連結方式を提供する通信モジュールと、をさらに含む特徴がある。

【0019】

また、前記レーザー照射モジュールは、多数のドット（ｄｏｔ）アレイ形態でモジュール化され、ターゲットオブジェクト側にパルスパターンの赤外線レーザーを面発光で発信するヴィクセルモジュール、またはターゲットオブジェクト側にレーザー光を照射するレーザーダイオードモジュールで構成されてもよい。

【0020】

また、前記技術的課題を解決するための本発明のもう１つの実施形態による３次元画像取得装置は、一側面にパルスレーザー光を外部に放射し、外部から入射する光の透過のための光透過性窓が設けられる本体ハウジングと、前記本体ハウジングの内側下部に結合・装着されて光の発信および受信タイミングを制御し、感知された信号を外部の装置に伝達するための制御部基板と、前記制御部基板の上部に結合され、赤外線レーザー光の発信と入射する外部光の受信のための光送受信ユニットとが配置され、前記光送受信ユニットは、ターゲットオブジェクト側にレーザー光を照射するレーザー照射モジュールと、前記ターゲットオブジェクトに反射して戻ってくる赤外線レーザーは水平に透過させ、入射する可視光は垂直に屈折させるビームスプリッタと、前記ビームスプリッタに透過される前記赤外線レーザーを受光して赤外線領域での構造画像を生成するＴＯＦ受信センサと、前記ビームスプリッタの下部に屈折される可視光を受光してターゲットオブジェクトのカラー画像を生成するイメージセンサと、を備える。前記制御部基板は、前記ＴＯＦ受信センサで受光されたターゲットオブジェクトの構造画像と前記イメージセンサで受光されたターゲットオブジェクトのカラー画像データとを結合してターゲットオブジェクトに対する３次元空間構造を測定する３Ｄ画像処理モジュールを含むことを特徴とする。

【発明の効果】

【0021】

本発明は、ＴＯＦ方式で被写体に対する距離および深さ情報を測定しながらもカラー画像を感知できるイメージセンサをさらに備えて情報の解像度を高め、簡単な動作だけでも周辺地形および被写体などのターゲットオブジェクトに対する精密な３次元空間構造を測定するか、または２次元画像を提供できる効果がある。

【0022】

また、本発明の３次元画像取得装置では、感知したターゲットオブジェクトの空間構造や周辺地形などの情報データを外部装置に伝送することができるため、ネットワーク上でデータを再加工することができる利点がある。

【0023】

また、本発明の３次元画像取得装置は、光路上に前端レンズを備えているが、一つの単一レンズとしても光受信のための光学レンズの機能を行うことができる。前記３次元画像取得装置は、入射する光を制御するための一定の形態のレンズエレメントを複合的に結合したレンズ組立体（ａｓｓｅｍｂｌｙ）としての光学レンズ系を備え、光路上での光学性能の向上と製品の小型化設計を可能にする効果がある。

【0024】

また、本発明の３次元画像取得装置は、一般に車両のライダー（ＬＩＤＡＲ）装置の性能向上のために適用されるだけでなく、ロボット、船舶、ヘリコプター、ドローン（ｄｒｏｎｅ）など移動可能な移動装置に適用可能であり、併せて建物、柱、塔などの移動が制限された固定装置にも制限なく適用される利点がある。

【図面の簡単な説明】

【0025】

【図1】本発明の一実施形態による３次元画像取得装置の本体ハウジングを示す外部斜視図である。

【図2】図１による３次元画像取得装置の内部構造を示す例としての図である。

【図3】本発明の一実施形態による光送受信ユニットの構造を示す例としての図である。

【図4】本発明の他の実施形態による図３の光送受信ユニットの構造における板状ビームスプリッタを示す例としての図である。

【図5】本発明による３次元画像取得装置の構成を示すブロック図である。

【図6】本発明の一実施形態による四角ボックスの形態の３次元画像取得装置の面発光を示す例としての図である。

【図7】本発明の他の実施形態による円筒形状の３次元画像取得装置の面発光を示す例としての図である。

【図8】本発明の一実施形態による光送受信ユニットにおける全体的な光送受信ユニットの構造および経路を説明するための例としての図である。

【図9】本発明の他の実施形態による光送受信ユニットの構造および光送受信経路を説明するための例としての図である。

【図10】光学レンズ系が設けられた３次元画像取得装置の面発光を示す例としての図である。

【図11】図１０による３次元画像取得装置の内部構造を示す例としての図である。

【図12】図１０による光学レンズ系が設けられた３次元画像取得装置の光送受信経路を説明するための例としての図である。

【発明を実施するための形態】

【0026】

本明細書および特許請求の範囲に使用される用語または単語は、通常的かつ辞書的な意味に限定して解釈されるべきではなく、発明者は自身の発明を最も最良の方法で説明するために用語の概念を適切に定義することができるという原則に基づいて、本発明の技術的思想に符合する意味と概念であると解釈されなければならない。

【0027】

したがって、本明細書に記載された実施形態と図面に示された構成は、本発明の最も好ましい一実施形態に過ぎず、本発明の技術的思想をすべて表すものではないため、本出願時点においてこれらを代替することができる多様な均等物と変形例があり得ることを理解すべきである。

【0028】

以下では、本発明の好ましい実施形態を添付の図面を参照して詳しく説明する。

【0029】

図１は、本発明の一実施形態による３次元画像取得装置の本体ハウジングを示す外観斜視図である。

【0030】

図１に示すように、本発明の３次元画像取得装置は、密閉された内部空間を有する本体ハウジング１００と、本体ハウジング１００の一側面から面発光のパルスレーザー光を外部に放射し、外部から入射する光の透過を容易にする窓（ウィンドウ）１１０が配置される。前記窓１１０は、３次元画像取得装置の内外部に光透過を容易にし、本体ハウジング１００を保護するための光透過性材料からなる。

【0031】

よって、本発明の本体ハウジング１００は、図１と同様に一定の高さの四角ボックス形状であり得るが、これに限定されずに、図７と同様に円筒形状からなるハウジングにも適用されてもよい。

【0032】

また、図２は、図１による３次元画像取得装置の内部構造を示す例としての図であり、図３は本発明の一実施形態による光送受信ユニットの構造を示す例としての図であり、図４は本発明の他の実施形態による図３の光送受信ユニットの構造における板状ビームスプリッタを示す例としての図であり、図５は本発明の一実施形態による３次元画像取得装置の構成を示すブロック図である。

【0033】

図示するように、本発明の３次元画像取得装置は、本体ハウジング１００の内側下部に結合・装着される制御部基板３００と、前記制御部基板３００の上部で光の送信と受信のための光送受信ユニット２００とが配置されてなされる。前記光送受信ユニット２００は、前面レンズ２１０、レーザー照射モジュール２２０、ビームスプリッタ２４０、ＴＯＦ受信センサ２３０およびカメラモジュール２５０を含む。

【0034】

また、光送受信ユニット２００は、ユニットケース２０１によって包まれた形態で保護されるようになっているが、これによってユニットケース２０１の前部には本体ハウジング１００の窓１１０の方向に位置する前面レンズ２１０が配置され、前記前面レンズ２１０の後部では、外部から入射する光を赤外線と可視光の波長帯に分離して屈折させるビームスプリッタ（Ｂｅａｍ ｓｐｌｉｔｔｅｒ）２４０が設けられ、前記ビームスプリッタ２４０の水平方向の後部で赤外線波長帯を感知するＴＯＦ受信センサ２３０が設けられる。

【0035】

本発明の前記ビームスプリッタ２４０は、図３のように三角プリズム形状で入射面と出射面を形成するか、または図４のように板状のビームスプリッタを用いて一定の傾きを有する斜めの入射面および出射面を実現することができる。

【0036】

また、前記ビームスプリッタ２４０が垂直下方に屈折させる可視光波長帯の受光のために、前記ビームスプリッタ２４０の下部には、多数のレンズエレメントからなるカメラレンズ２５１と、前記カメラレンズ２５１を光軸方向に進退運動して焦点調節を可能にするレンズ駆動部２５２と、前記レンズ駆動部２５２の下部に設けられてカメラレンズ２５１に入射する可視光波長帯のＲＧＢ光信号を感知するためのイメージセンサ２５３とからなるカメラモジュール２５０が備えられる。

【0037】

しかしながら、本発明の他の実施形態では、後述する図９と同様に、前記カメラモジュール２５０において、カメラレンズ２５１とレンズ駆動部２５２を除くイメージセンサ２５３を前記ビームスプリッタ２４０の下部に直接位置させてターゲットオブジェクトのカラー画像を取得することもできる。

【0038】

このとき、本発明における前記イメージセンサ２５３は、一定のフレーム（例えば３０ｆｐｓ）と一定の解像度（例えば、１２８０×７２０）をサポートするＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のＲＧＢイメージ（Ｉｍａｇｅ）センサであり得る。

【0039】

また、本発明のユニットケース２０１は、光送受信ユニット２００の一定の構成部品を組み立て装着するための空間を形成し、内側に一定の構成部品が組立て結合される保護ケースであり、内部から放出される光と外部から入射する光が外に漏れないように密閉される構造を有する。前面レンズ２１０、レーザー照射モジュール２２０、ビームスプリッタ２４０、ＴＯＦ受信センサ２３０および前記カメラモジュール２５０のカメラレンズ２５１は、ユニットケース２０１によって包まれた形態で保護されるようになっている。

【0040】

このとき、前記レーザー照射モジュール２２０は、ビクセルヴィクセル（ＶＣＳＥＬ）モジュールまたはレーザーダイオード（ＬＤ：Ｌａｓｅｒ Ｄｉｏｄｅ）モジュールで構成されてもよい。

【0041】

前記ヴィクセルモジュール２２０は、垂直共振器型面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ－Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）が多数のドット（ｄｏｔ）アレイ形態でモジュール化され、速いパルスパターンのレーザーを面発光で発信するモジュールである。前記レーザーダイオードモジュールは、ターゲットオブジェクト側にレーザー光を照射するモジュールである。

【0042】

このように構成されるレーザー照射モジュール２２０は、前面レンズ２１０の一定距離の後部でユニットケース２０１の内側上部に装着されて位置する。このとき、レーザー照射モジュール２２０では、９４０ｎｍ内外の近赤外線波長帯を点滅して発光する。

【0043】

また、図２～図５と同様に、レーザー照射モジュール２２０は、パルスパターンで面発光されるレーザー光を前部の前面レンズ２１０の一部を通じて外部に放射するようになっている。そうではあるが、前記レーザー照射モジュール２２０の前に位置する前面レンズ２１０の一部は、前記レーザー照射モジュール２２０から放出される光を外部に発散させるためのフィルタレンズ２１１を用いて備えられてもよい。

【0044】

このとき、前記フィルタレンズ２１１は、レーザー照射モジュール２２０の自らのレーザー光源に使用された波長のみを通過させるための帯域通過フィルタの機能を行うレンズであってもよい。

【0045】

すなわち、前記ユニットケース２０１に設けられた前面レンズ２１０は、全体として光受信のための光学レンズの機能を果たすが、前記レーザー照射モジュール２２０の前部に位置する一定の部分では、光発信のためのフィルタレンズ２１１が前面レンズ２１０の一定の位置に挿入される構造であるか、または外側に追加に装着される構成を有するようになる。

【0046】

図６は、本発明の一実施形態による四角ボックス型の３次元画像取得装置の面発光を示す例としての図であり、図７は、本発明の他の実施形態による円筒形態の３次元画像取得装置の面発光を示す例としての図である。本発明は、本体ハウジング１００、１００ａの内側のレーザー照射モジュール２２０から放出される光が前面レンズ２１０の一端に構成されるフィルタレンズ２１１を通過し、本体窓１１０、１１０ｂの特定部位から外部に発散されて面発光で照射されることが分かる。

【0047】

また、前記レーザー照射モジュール２２０がヴィクセルモジュールで構成される場合には、光を照射するときに非常に速い間隔で点滅させるためのモジュレーション（ｍｏｄｕｌａｔｉｏｎ）２２１が備えられ、ここでレーザー照射モジュール２２０のレーザーがオン（ｏｎ）のときをイン－フェーズ（ｉｎ ｐｈａｓｅ）と称し、レーザーがオフ（ｏｆｆ）のときをアウト－フェーズ（ｏｕｔ ｐｈａｓｅ）と称する。ＴＯＦ受信センサ２３０は、各々のセルが２つずつの感知センサ（ｒｅｃｅｐｔｏｒ）のペアで構成され、反射して戻ってくる光を前記モジュレーション２２１の点滅間隔と同期して出射された光パルスと正確に同期されるように実行されることにより、時間タイミングに応じた位相差を測定するための赤外線イメージセンサと称することができる。

【0048】

つまり、一般的な赤外線（ＩＲ）センサは信号の強度のみを測定し、物体の反射率に影響を受けやすいが、ＴＯＦ受信センサはレーザー照射モジュールから発信される赤外線レーザーを受光し、それに伴う飛行時間方式の距離を計算することから、より正確な値を得ることができる。

【0049】

本発明におけるＴＯＦ受信センサ２３０は、一定のピクセルピッチ（例えば、１５μ）で一定のフレーム（例えば、毎秒最大１５０フレーム）の速度で一定の解像度（例えば、ＶＧＡ６４０×４８０）の分解能データを提供することができる。

【0050】

また、ＴＯＦ受信センサ２３０から出てくる信号がアナログ信号である場合、Ａ／Ｄコンバータ（ＡＤＣ：Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２２３によってデジタル信号に変換されて３Ｄ画像処理モジュール３２０に伝達され得る。

【0051】

図５に示すように、本発明の制御部基板３００は、レーザー照射モジュール２２０のパルス型レーザーの速い点滅のための駆動信号を印加する光発信制御、および可視光領域の光を受信するためのイメージセンサ２５３に焦点調節機能を遂行するためにカメラモジュール２５０を制御する制御モジュール３１０と、ＴＯＦ受信センサ２３０とイメージセンサ２５３に連動して周辺地形および被写体などのターゲットオブジェクトに対する画像データを受け、これを結合してターゲットオブジェクトに対する３次元空間構造を測定する３Ｄ画像処理モジュール３２０を含む。

【0052】

すなわち、前記３Ｄ画像処理モジュール３２０は、ターゲットオブジェクトに関する画像データを受信してノイズを除去する前処理過程を遂行し、ＴＯＦ受信センサ２３０で受光されたターゲットオブジェクトに対する赤外線領域での歪んだ構造画像に対する深さ情報を計算し、なおイメージセンサ２５３で受信されたカラー画像とのテクスチャ成分のコントラストを比較して画像の鮮明度が高い画像値を選択する方式により、２つの画像を融合するアルゴリズム過程を行うことになる。前記アルゴリズムにより結合された画像を通してターゲットオブジェクトに対する３次元空間構造を精密に測定することができるようになる。このとき、前記３Ｄ画像処理モジュール３２０は、このように構成される３次元画像または３次元空間構造を測定した結果を用いて２次元画像データを生成することもでき、これにより、より多様な画像処理と画像情報を提供することができる。

【0053】

これのためには、制御部基板３００は、論理回路、プログラミングロジックコントローラ、マイコン、マイクロプロセッサなどから選択される少なくともいずれか１つの装置で実現されることがあり、これを統合するＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）ボードで実現され得る。

【0054】

また、制御部基板３００は、無線のＷｉＦｉまたは有線のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）連結を行うための通信モジュール３３０を別途設けるか、または一体に結合・構成され得る。前記通信モジュール３３０は、イントラネット、インターネット、車両ネットワークなどを通じて外部のユーザーＰＣまたはスマートフォンのようなユーザーモバイル機器と通信するようになり、感知した周辺地形や被写体などのターゲットオブジェクトに関する情報データをこのようなユーザー機器に伝送することができる。これは、インターネットのような外部ネットワークに連動されるユーザーコンピューティング装置でデジタル画像に変換されて、データを再加工することのできる利便性を提供するためである。

【0055】

一方、制御部基板３００は、本発明の３次元画像取得装置に対する電源供給のための配線やアダプタまたは電源供給手段を備えることができ、前記電源供給手段は、内部電源または再充電可能な電源装置として備えられる。

【0056】

図８は、本発明の一実施形態による光送受信ユニットにおける全体的な光送受信ユニットの構造および経路を説明するための例としての図であり、赤外線を面発光するレーザー照射モジュール２２０から放出された光がフィルタレンズ２１１を通過してターゲットオブジェクトに照射され、ターゲットオブジェクトから反射して入射する赤外線と可視光がビームスプリッタ２４０によって別に分離され、赤外線を受信するＴＯＦ受信センサ２３０では投射された多量のドット（Ｄｏｔ）レーザー形態により歪んだ構造画像が生成されることを示している。また、カメラモジュール２５０のカメラレンズ２５１とレンズ駆動部２５２によって、焦点が調節されて可視光を受信したイメージセンサ２５３でターゲットオブジェクトに対するカラー画像が生成されることを示している。

【0057】

また、図９は、本発明の他の実施形態による光送受信ユニットの構造および光送受信経路を説明するための例としての図であり、図８との相違点は、カメラモジュール２５０のカメラレンズ２５１とレンズ駆動部２５２による焦点調節過程を経ずに直接にイメージセンサ２５３で可視光を受信してターゲットオブジェクトのカラー画像が生成できることを示している。これは、図９のように直接にイメージセンサ２５３で可視光を受光することにより、カメラモジュール２５０のカメラレンズ２５１とレンズ駆動部２５２を適用しなくなり、電子回路の数を最小化して体積および コストを削減することができる利点を有する。

【0058】

また、図１０～図１２は、本発明のもう１つの実施形態として、光路上のビームスプリッタ２４０の前面に光学レンズ系２６０を備えてなされた３次元画像取得装置を示している。

【0059】

図１０は、ビームスプリッタの前部に光学レンズ系を備えた３次元画像取得装置の面発光を示す例としての図であり、図１１は、図１０による３次元画像取得装置の内部構造を示す例としての図であり、図１２は、光学レンズ系を備えた３次元画像取得装置に対する光送受信経路の説明のための例としての図である。

【0060】

図１０～図１２を参照する実施形態によれば、本発明の光送受信ユニットの構造において、前述した実施形態と同様に、ユニットケース２０１に設けられる単に１つの単一レンズからなる前面レンズ２１０の代わりに、２つ以上として複合的な機能を行う少なくとも２つ以上のレンズがエレメント（ｅｌｅｍｅｎｔ）で構成・列挙された光学レンズ系２６０としての前面レンズを備えようとすることである。

【0061】

すなわち、１つの単一レンズでも受光のための光学レンズの機能を果たすことができるが、これよりは入射する光を制御するためにレンズエレメント毎に各々の方向に光を制御する一定の形態のレンズ組立体（ａｓｓｅｍｂｌｙ）としての光学レンズ系２６０を備えることで、光路上での光学性能の向上と製品の小型化設計が可能にすることができる。

【0062】

これは、一般に近接した被写体の光入射角は光軸を基準に大きくなり、遠距離の被写体であればあるほど入射角が光軸に水平に近づくことにより、ＴＯＦ受信センサ２３０およびイメージセンサ２５３に結ばれる焦点が変わることがあるが、本発明のように装着された光学レンズ系２６０の構成により、通過した光の屈折を被写体の位置に応じて調整されるようにすることで、ＴＯＦ受信センサ２３０およびイメージセンサ２５３に結ばれる焦点の位置で像が鮮明に結ばれるようにすることができる。

【0063】

これによる実施形態としての３次元画像取得装置は、図１１～図１０に示すように、レーザー照射モジュール２２０から放出される光を直接照射することができるように、レーザー照射モジュール２２０とレンズ２１１をユニットケース２０１の内側上部に装着して配置することができる。このとき、レーザー照射モジュール２２０は、ユニットケース２０１の内側上部で制御部基板３００と連結される。

【0064】

すなわち、図１２を参照して説明される本実施形態は、光送受信ユニットの構造にしたがって赤外線を面発光するレーザー照射モジュール２２０から放出された赤外線光がレンズ２１１を通過してターゲットオブジェクトに照射され、ターゲットオブジェクトに反射されて入射した光は光学レンズ系２６０を通過して赤外線と可視光がビームスプリッタ２４０によって分離され、各々の光経路上に位置するＴＯＦ受信センサ２３０とイメージセンサ２５３にターゲットオブジェクトの像がはっきりと結ばれる。

【0065】

このとき、赤外線を受信するＴＯＦ受信センサ２３０では、投射された多量のドット（Ｄｏｔ）レーザー形態によって歪んだ構造画像を生成し、可視光を受信したイメージセンサ２５３でターゲットオブジェクトのカラー画像を生成することができる。

【0066】

前述したように、本発明の３次元画像取得装置は、多様な実施形態による構成を１つに組み合わせて構成されるか、または好適な実施形態による各々の構成を選択的に用いて構成される。すなわち、本発明は、本発明の技術分野における通常の知識を有する者であれば、下記の特許請求の範囲に記載された技術的思想および領域から逸脱しない範囲内で本発明を多様に修正および変更し得ることは理解できるであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】