特開 2020-85886 乗物、乗物測位システム、及び乗物測位方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-85886(P2020-85886A)

(43)【公開日】2020年6月4日

(54)【発明の名称】乗物、乗物測位システム、及び乗物測位方法

(51)【国際特許分類】

   G01C 21/30 20060101AFI20200508BHJP

   G01S 17/89 20200101ALI20200508BHJP

   G01S 17/87 20200101ALI20200508BHJP

   G06T 1/00 20060101ALI20200508BHJP

   G06T 7/521 20170101ALI20200508BHJP

   G06T 7/00 20170101ALI20200508BHJP

   G08G 1/0969 20060101ALI20200508BHJP

【ＦＩ】

   G01C21/30

   G01S17/89

   G01S17/87

   G06T1/00 315

   G06T1/00 330A

   G06T7/521

   G06T7/00 350C

   G06T7/00 650B

   G08G1/0969

【審査請求】有

【請求項の数】16

【出願形態】ＯＬ

【全頁数】13

(21)【出願番号】特願2019-136998(P2019-136998)

(22)【出願日】2019年7月25日

(31)【優先権主張番号】62/773,124

(32)【優先日】2018年11月29日

(33)【優先権主張国】US

(31)【優先権主張番号】108112604

(32)【優先日】2019年4月11日

(33)【優先権主張国】TW

(71)【出願人】

【識別番号】390023582

【氏名又は名称】財團法人工業技術研究院

【氏名又は名称原語表記】ＩＮＤＵＳＴＲＩＡＬ ＴＥＣＨＮＯＬＯＧＹ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(72)【発明者】

【氏名】許 博鈞

(72)【発明者】

【氏名】粘 為博

(72)【発明者】

【氏名】▲呉▼ 依玲

(72)【発明者】

【氏名】林 修宇

(72)【発明者】

【氏名】陳 世▲シン▼

(72)【発明者】

【氏名】鄭 安凱

(72)【発明者】

【氏名】楊 宗賢

【テーマコード（参考）】

2F129

5B057

5H181

5J084

5L096

【Ｆターム（参考）】

2F129AA03

2F129BB03

2F129BB15

2F129BB33

2F129BB49

2F129BB66

2F129EE02

2F129EE70

2F129EE78

2F129FF02

2F129FF11

2F129FF20

2F129FF36

2F129FF62

2F129GG17

2F129GG18

2F129HH15

5B057AA16

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB13

5B057CB16

5B057CC01

5B057CD14

5B057DA08

5B057DB02

5B057DB06

5B057DB09

5B057DC40

5H181AA01

5H181BB04

5H181BB05

5H181BB13

5H181CC03

5H181CC04

5H181CC14

5H181FF04

5H181FF07

5H181FF13

5H181FF22

5H181FF27

5H181FF33

5J084AA04

5J084AB20

5J084AC02

5J084AC03

5J084AC04

5J084AC05

5J084AC06

5J084AC07

5J084CA80

5J084EA04

5L096AA02

5L096AA06

5L096AA09

5L096BA04

5L096CA14

5L096DA01

5L096DA02

5L096EA27

5L096FA66

5L096FA69

5L096HA11

(57)【要約】

【課題】乗物、乗物測位システム及び乗物測位方法を提供する。
【解決手段】二次元画像データを取得する二次元画像センサと、三次元ポイントクラウドデータを取得する三次元センサと、該二次元画像センサ及び該三次元センサに接続されたプロセッサーであって、該二次元画像データと該三次元ポイントクラウドデータとを融合することで、三次元画像データを生成する整列モジュールと、該少なくとも１つの静的オブジェクトの各静的オブジェクトに基づいて、該三次元画像データから該静的オブジェクトの三次元ポイントクラウドデータを取得する静的オブジェクト識別モジュールと、該静的オブジェクトの該三次元ポイントクラウドデータに基づいて、該乗物の乗物相対座標を算出する測位モジュールと、に、少なくとも適用するように構成されたプロセッサーと、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

乗物測位システムであって、
二次元画像データを取得する二次元画像センサと、
三次元ポイントクラウドデータを取得する三次元センサと、
該二次元画像センサ及び該三次元センサに接続されたプロセッサーであって、
該二次元画像データと該三次元ポイントクラウドデータとを融合することで、三次元画像データを生成する整列モジュールと、
該二次元画像データから少なくとも１つの静的オブジェクトを識別し、該少なくとも１つの静的オブジェクトの各静的オブジェクトに基づいて、該三次元画像データから該静的オブジェクトの三次元ポイントクラウドデータを取得する静的オブジェクト識別モジュールと、
該静的オブジェクトの該三次元ポイントクラウドデータに基づいて、該乗物の乗物相対座標を算出する測位モジュールと、
に少なくとも適用するように構成されたプロセッサーと、
を備えることを特徴とする乗物測位システム。

【請求項2】

記憶回路に予め記憶された所定の地図情報に該乗物相対座標をマッピングさせることで、該乗物の三次元乗物絶対座標を取得することを特徴とする請求項１に記載の乗物測位システム。

【請求項3】

記憶回路に予め記憶された所定の地図情報に該静的オブジェクトの該三次元ポイントクラウドデータをマッピングさせることで、該静的オブジェクトの三次元乗物絶対座標を取得することを特徴とする請求項１に記載の乗物測位システム。

【請求項4】

該測位モジュールは、該静的オブジェクトの該三次元絶対座標に基づいて、該乗物の三次元乗物絶対座標を算出することを特徴とする請求項３に記載の乗物測位システム。

【請求項5】

該二次元画像センサはＣＣＤカメラまたはＣＭＯＳカメラであることを特徴とする請求項１に記載の乗物測位システム。

【請求項6】

該三次元センサはライダーセンサであることを特徴とする請求項１に記載の乗物測位システム。

【請求項7】

乗物測位システムに適用する乗物測位方法であって、
二次元画像データを取得する工程と、
三次元ポイントクラウドデータを取得する工程と、
該二次元画像データと該三次元ポイントクラウドデータとを融合し、三次元画像データを生成する工程と、
該二次元画像データから少なくとも１つの静的オブジェクトを識別する工程と、
該静的オブジェクトに基づいて該三次元画像データから該静的オブジェクトの三次元ポイントクラウドデータを取得する工程と、
該静的オブジェクトの該三次元ポイントクラウドデータに基づいて、該乗物の乗物相対座標を算出する工程と、
を備えることを特徴とする乗物測位方法。

【請求項8】

予め記憶された所定の地図情報に該乗物相対座標をマッピングさせることで、該乗物の三次元乗物絶対座標を取得する工程をさらに備えることを特徴とする請求項７に記載の乗物測位方法。

【請求項9】

予め記憶された所定の地図情報に該静的オブジェクトの該三次元ポイントクラウドデータをマッピングさせることで、該静的オブジェクトの三次元オブジェクト絶対座標を取得する工程をさらに備えることを特徴とする請求項７に記載の乗物測位方法。

【請求項10】

該静的オブジェクトの該三次元オブジェクト絶対座標に基づいて、該乗物の三次元乗物絶対座標を算出することを特徴とする請求項９に記載の乗物測位方法。

【請求項11】

乗物測位システムが配置された乗物であって、
二次元画像データを取得する二次元画像センサと、
三次元ポイントクラウドデータを取得する三次元センサと、
該二次元画像センサ及び該三次元センサに接続されたプロセッサーであって、
該二次元画像データと該三次元ポイントクラウドデータとを融合することで、三次元画像データを生成する整列モジュールと、
該二次元画像データから少なくとも１つの静的オブジェクトを識別し、該少なくとも１つの静的オブジェクトの各静的オブジェクトに基づいて、該三次元画像データから該静的オブジェクトの三次元ポイントクラウドデータを取得する静的オブジェクト識別モジュールと、
該静的オブジェクトの該三次元ポイントクラウドデータに基づいて、該乗物の乗物相対座標を算出するための測位モジュールと、
に、少なくとも適用するように構成されたプロセッサーと、
を備えることを特徴とする乗物。

【請求項12】

記憶回路に予め記憶された所定の地図情報に該乗物相対座標をマッピングさせることで、該乗物の三次元乗物絶対座標を取得することを特徴とする請求項１１に記載の乗物。

【請求項13】

記憶回路に予め記憶された所定の地図情報に該静的オブジェクトの該三次元ポイントクラウドデータをマッピングさせることで、該静的オブジェクトの三次元オブジェクト絶対座標を取得することを特徴とする請求項１１に記載の乗物。

【請求項14】

該測位モジュールは、該静的オブジェクトの該三次元絶対座標に基づいて、該乗物の三次元乗物絶対座標を算出することを特徴とする請求項１３に記載の乗物。

【請求項15】

該二次元画像センサはＣＣＤカメラまたはＣＭＯＳカメラであることを特徴とする請求項１１に記載の乗物。

【請求項16】

該三次元センサはライダーセンサであることを特徴とする請求項１１に記載の乗物測位システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、乗物、乗物測位システム、及び乗物測位方法に関するものである。

【背景技術】

【0002】

自動運転技術は、運転の安全と利便を改善し、運転の負荷を軽減することが期待されている。自動運転としては、衝突の発生を回避するため、環境検知の機能が必要であり、また、正確な測位も重要である。特に都市環境において複雑なオブジェクトが複数存在しているため、乗物の都市道路での運転は、測位の誤差が容易に生じる。センサの種類に基づいた乗物測位方法として、一般的には、能動型センサによるものと受動型センサによるものとがある。受動型センサとしては、例えばカメラ（Ｃａｍｅｒａ）またはグローバル・ポジショニング・システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、ＧＰＳ）等が挙げられる。能動型センサとしては、例えばライダー（ＬｉＤＡＲ）等のセンサが挙げられる。しかしながら、カメラは画像オブジェクト検出モジュールにより画像画面における物体を識別できるが、三次元空間において正確な測位を行うことができない。よって、乗物の位置を正確に測位できず、測位の誤差が生じてしまう。通常のＧＰＳ測位方法において、乗物がトンネルまたは室内駐車場等の領域にある場合、センサは遮蔽され、信号を受信できないことがあり、乗物の位置を正確に測位できない等といった課題がある。ＬｉＤＡＲセンサは、物体を検出するとともに三次元空間における測位ができるが、検出された物体の種類を識別することができない。

【0003】

従来、自動運転には予め確立された地図情報の使用が必要である。この地図情報には、例えば道路境界、交通信号、速度制限信号等、多種多様の道路情報が含まれる。こうすることにより、自動運転アルゴリズムは、指定路線及び交通ルールに基づいて自動運転乗物を正確に運転させるようになる。地図情報の確立方法として、基本的には乗物にライダー、ＧＰＳを搭載し、道路を巡回した後、ライダーポイントクラウド（ｐｏｉｎｔ ｃｌｏｕｄｓ）データ（即ちライダーポイントクラウド地図）とＧＰＳ座標データ（即ちＧＰＳ座標地図）とをオフラインでスタック・統合する方法がある。しかしながら、自動運転車の測位精度は、誤差が１０ｃｍ以下であることが求められる。自動運転車の走行時に、ライダーセンサから得られたリアルタイムなポイントクラウドデータデータを内蔵のライダーポイントクラウド地図と照合することで、測位データを取得する。ただし、大量のポイントクラウドデータデータには、余分な情報、例えば走行している乗物、歩行者または道側に駐車する乗物等の情報が含まれるため、照合の誤差、演算量の増加が生じやすい。

【0004】

従って、現在の測位技術において、カメラの画像オブジェクト検出の測位誤差およびライダーセンサにおける大量のポイントクラウドデータの演算量の課題を解決することは極めて重要な課題となっている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、上記の課題を解決するための、乗物、乗物測位システム及び乗物測位方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、乗物測位システムであって、二次元画像データを取得する二次元画像センサと、三次元ポイントクラウドデータを取得する三次元センサと、該二次元画像センサ及び該三次元センサに接続されたプロセッサーであって、該二次元画像データと該三次元ポイントクラウドデータとを融合することで、三次元画像データを生成する整列モジュールと、該二次元画像データから少なくとも１つの静的オブジェクトを識別し、該少なくとも１つの静的オブジェクトの各静的オブジェクトに基づいて、該三次元画像データから該静的オブジェクトの三次元ポイントクラウドデータを取得する静的オブジェクト識別モジュールと、該静的オブジェクトの該三次元ポイントクラウドデータに基づいて、該乗物の乗物相対座標を算出する測位モジュールと、に少なくとも適用するように構成されたプロセッサーと、を備えることを特徴とする乗物測位システムを提供する。

【0007】

本発明は、乗物測位システムに適用する乗物測位方法であって、二次元画像データを取得する工程と、三次元ポイントクラウドデータを取得する工程と、該二次元画像データと該三次元ポイントクラウドデータとを融合することで、三次元画像データを生成する工程と、該二次元画像データから少なくとも１つの静的オブジェクトを識別する工程と、該少なくとも１つの静的オブジェクトの各静的オブジェクトに基づいて該三次元画像データから該静的オブジェクトの三次元ポイントクラウドデータを取得する工程と、該静的オブジェクトの該三次元ポイントクラウドデータに基づいて、該乗物の乗物相対座標を算出する工程と、を備えることを特徴とする乗物測位方法をも提供する。

【0008】

本発明は、乗物測位システムが配置された乗物であって、二次元画像センサと、三次元センサと、該二次元画像センサ及び該三次元センサに接続されたプロセッサーであって、該二次元画像データと該三次元ポイントクラウドデータとを融合することで、三次元画像データを生成する整列モジュールと、該二次元画像データから少なくとも１つの静的オブジェクトを識別し、該少なくとも１つの静的オブジェクトの各静的オブジェクトに基づいて、該三次元画像データから該静的オブジェクトの三次元ポイントクラウドデータを取得する静的オブジェクト識別モジュールと、該静的オブジェクトの該三次元ポイントクラウドデータに基づいて、該乗物の乗物相対座標を算出する測位モジュールと、に少なくとも適用するように構成されたプロセッサーと、を備えることを特徴とする乗物をも提供する。

【発明の効果】

【0009】

上記のように、本発明に係る乗物、乗物測位システム及び乗物測位方法によれば、乗物が二次元画像センサ及び三次元センサの２つの異質センサと組み合わせることで、三次元画像データを取得し、二次元画像データの静的オブジェクトを識別した後、三次元画像データから各静的オブジェクトの三次元ポイントクラウドデータを取得するとともに乗物と静的オブジェクトとの乗物相対座標を算出することができ、乗物の測位を達成することができる。

【0010】

上記の特徴と利点がより明確になるように、以下、実施例について、図面を参照しながら詳細に説明する。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明の実施例に係る乗物測位システムの模式図である。

【図2】図２は、本発明の実施例に基づいて、二次元画像データと三次元ポイントクラウドデータとを整列処理することを説明する模式図である。

【図3】図３は、本発明の実施例に基づいて、二次元画像データから静的オブジェクトを識別することを説明する模式図である。

【図4】図４は、図３の実施例に基づいて、各静的オブジェクトを識別した後、三次元画像データから各静的オブジェクトの三次元ポイントクラウドデータを取得する模式図である。

【図5】図５は、本発明の実施例に基づいて、乗物測位システムの作動フローを説明するフローである。

【図6】図６は、本発明の実施例に基づいて、乗物が乗物測位システムと直接または間接に通信可能な模式図である。

【発明を実施するための形態】

【0012】

図１は、本発明の実施例に係る乗物測位システムの模式図である。図１の実施例１を参照すると、乗物測位システム１００は、乗物に配置され実行されるが、本発明はこれに限定されるものではない。本発明に係る乗物測位システム１００、方法等は、車の流れ、視野等におけるオブジェクトを検出するように、代替的な環境において実施されてもよい。一つの例として、明細書に記載された一つまたは複数の機能は、電子デバイス、携帯デバイス、ゲーム機、自動車システムコンソール（例えばＡＤＡＳ）、装着型デバイス（例えばパーソナル装着型カメラ）、ヘッドマウント型ディスプレイ等で実施することができる。さらに他の実施例として、ロボットまたはロボットデバイス、無人航空機（ＵＡＶ）及びリモコン飛行機を含むが、それらに限定されるものではない。図１の実施例において、乗物測位システム１００の乗物は、モーター乗物（例えば自動車、トラック、バイク、バスまたは汽車）、船舶（例えば船またはボート）、航空機（例えば飛行機またはヘリコプター）、宇宙船（例えばスペースシャトル）、自転車または他の運搬器具であってもよい。説明のための実施例として、乗物は、輪型運搬器具、キャタピラ型運搬器具、軌道型運搬器具、空中運搬器具またはソリ型搭載器具であってもよい。乗物は、一人または複数人が操作してもよい。一つの例として、乗物は、補助のとして乗物の運転者に提供されるように構成されている先進運転支援システム（ＡＤＡＳ）を有しても良い。また、乗物は、コンピュータにより制御されてもよい。また、図１の実施例における乗物測位システム１００は、乗物において実行されるが、その他の実施例において、明細書に記載された乗物測位システム１００は、「クラウド」または乗物の外部において実行されてもよい。一つの例として、乗物またはその他の電子デバイスは、位置データまたは画像データまたはその両方を乗物の測位として別のデバイスに提供して乗物の測位を実行させてもよい。

【0013】

乗物測位システム１００は、一つまたは複数の二次元画像センサ１０２と、一つまたは複数の三次元センサ１０４と、プロセッサー１０６と、記憶回路１０８とを含む。以下の実施例において、図１の乗物測位システム１００は、乗物に配置されるが、本発明はこれに限定されるものではない。また、記憶回路１０８は、必ずしも乗物測位システム１００に含まれるとは限らない。

【0014】

二次元画像センサ１０２は、画像を抽出可能な画像抽出装置、カメラ装置またはカメラ、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラまたはその両方である。二次元画像センサ１０２は、乗物の異なる位置にそれぞれ設置可能であるため、異なる角度、異なる視野範囲の画像を抽出することができる。例えば、必要に応じてフロント撮像装置、サイド撮像装置、リア撮像装置を設置することができる。

【0015】

二次元画像センサ１０２は、二次元画像データを取得する。二次元画像センサ１０２は、二次元画像データをプロセッサー１０６に送信することができる。二次元画像センサ１０２は、画像を継続的、周期的またはときどき抽出し、画像（例えば二次元画像データ）を記憶回路１０８にロードすることができる。

【0016】

三次元センサ１０４は、乗物と外部物体との間の距離を検出可能なセンサ、例えばライダーセンサである。三次元センサ１０４は、走査範囲内において反射物体に関する光信号を取得し、三次元ポイントクラウドデータを取得することができる。三次元センサ１０４は、三次元ポイントクラウドデータを継続的、周期的または不定期的に抽出して記憶回路１０８にロードすることができる。三次元センサ１０４は、三次元ポイントクラウドデータをプロセッサー１０６に送信することができる。それぞれの三次元ポイントクラウドデータは、乗物と反射物体との距離情報を含んでもよい。それぞれの三次元ポイントクラウドデータは、空間の位置（Ｘ，Ｙ，Ｚ）情報を含んでもよい。三次元センサ１０４、例えばＬｉＤＡＲセンサは、光照射の影響を受けることなく、乗物と反射物体／オブジェクトとの距離情報を測定することができる。

【0017】

プロセッサー１０６は、二次元画像センサ１０２及び三次元センサ１０４に接続され、二次元画像データ及び三次元ポイントクラウドデータを受信する。一つの実施例として、プロセッサー１０６は、記憶回路１０８から二次元画像データ及び三次元ポイントクラウドデータを抽出することができる。説明のために、記憶回路１０８またはその一部は、二次元画像センサ１０２及び三次元センサ１０４がデータを受信する循環式バッファーとして、二次元画像センサ１０２から受信した二次元画像データと三次元センサ１０４から受信した三次元ポイントクラウドデータとを記憶できるように構成されている。

【0018】

一つの実施例として、プロセッサー１０６は、整列モジュール１１０と、静的オブジェクト識別モジュール１１２と、測位モジュール１１４とを含んでもよい。整列モジュール１１０、静的オブジェクト識別モジュール１１２及び測位モジュール１１４は、乗物に対応するハードウェアパーツ、プロセッサー１０６により実行されるソフトウェア（例えばコマンド）、または前記ハードウェアとソフトウェアとの組み合わせであってもよい。

【0019】

乗物測位システム１００は、所定の地図情報を記憶回路１０８に予め記憶することができる。該所定の地図情報は、道路の始点、終点座標、車道幅、車道数、道路進路角度、道路曲がり率、道路長さ等の道路情報を含む。該所定の地図情報は、三次元センサ１０４、例えばＬｉＤＡＲセンサにより取得された三次元ポイントクラウドデータと、ＧＰＳにより取得されたＧＰＳ絶対座標（ａｂｓｏｌｕｔｅ ｃｏｏｒｄｉｎａｔｅ）データとを含む。所定の地図情報は、さらに、国土測定センターのＲＴＫ（Ｒｅａｌ−Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃ、リアルタイムキネマティック）により補正された後、座標変換さを行い絶対座標システムに投影することができる。

【0020】

記憶回路１０８は、例えば、メモリ、ハードディスクまたはその他データを記憶可能な任意の素子であり、複数のモジュールを記録、記憶することができる。それぞれのモジュールは、一つまたは複数のプログラムコードセグメントからなる。プロセッサー１０６は、記憶回路１０８に接続され、記憶回路１０８に記憶されているモジュールにアクセスすることにより、本発明に係る乗物測位方法の各工程をそれぞれ実行することができる。異なる実施例において、プロセッサー１０６は、一般用途のプロセッサー、特殊用途のプロセッサー、従来のプロセッサー、デジタル信号プロセッサー、複数のマイクロプロセッサー（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、デジタル信号プロセッサーコアに結合される１つまたは複数のマイクロプロセッサー、コントローラ、マイクロコントローラ、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、その他任意の種類の集積回路、状態機器、上級ＲＩＳＣマシン（Ａｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅ，ＡＲＭ）ベースのプロセッサー、及びその類似品であってもよい。

【0021】

整列モジュール１１０は、二次元画像センサ１０２で取得された二次元画像データと三次元センサ１０４で取得された三次元ポイントクラウドデータとを整列アルゴリズムにより融合させることで、三次元画像データを取得する。三次元画像データは、各画像画素の色情報（例えばＲＧＢデータ）、ディープデータ（例えば位置（Ｘ、Ｙ、Ｚ）データ）を含む。このため、この三次元画像データは、ＲＧＢＸＹＺの画像データを含む。一つの実施例において、二次元画像データと三次元ポイントクラウドデータとを融合させる整列アルゴリズムを説明する。三次元ポイントクラウドデータを（ｘ、ｙ、ｚ）とし、二次元画像データの画素点（ｕ、ｖ）とすると、下記の整列アルゴリズムの式に基づいて三次元ポイントクラウドデータ（ｘ、ｙ、ｚ）を二次元画像データの画素点（ｕ、ｖ）にマッピングする。

【0022】

【数1】

【0023】

ただし、ｆ_ｕ、ｆ_ｖはそれぞれ水平と垂直方向の焦点距離であり、ｕ_０、ｖ_０はそれぞれ画像平面の中心点である。三次元ポイントクラウドデータ（ｘ、ｙ、ｚ）を二次元画像データの画素点（ｕ、ｖ）にマッピングする変換マトリックスＭを求める。ＲとＴはそれぞれ回転マトリックスと平行移動ベクトルである。

【0024】

図２は、本発明の一実施例に基づいて、二次元画像データと三次元ポイントクラウドデータとの整列処理を説明する模式図である。図１、２を同時に参照すると、図２に示すように、二次元画像センサ１０２で取得された二次元画像データ（図２の背景画像）、および三次元センサ１０４で取得された三次元ポイントクラウドデータ（図２の点状画像）を、整列アルゴリズムにより融合して生成した三次元画像データ画像である。

【0025】

二次元画像センサ１０２で取得された二次元画像データについて、静的オブジェクト識別モジュール１１２は、二次元画像データの少なくとも１つの静的オブジェクトを判定や識別することができる。一つの例として、静的オブジェクト識別モジュール１１２は、静的オブジェクトの検出に特化したディープ学習モジュールを含み、静的オブジェクトの種類、例えば道路標識、建物、変圧器ボックス、道路、歩道、橋梁、樹木、電柱、ジャージーバリア等を識別することができる。静的オブジェクト識別モジュール１１２のディープ学習モジュールまたはディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は、画像識別アルゴリズムにより画像内の静的オブジェクトを識別する。現在、従来のオブジェクト識別アルゴリズム、例えばオブジェクト輪郭追跡アルゴリズムが知られており、ここでは詳細を省略する。静的オブジェクト識別モジュール１１２が静的オブジェクトを検出するサーチウィンドー（ｓｅａｒｃｈ ｗｉｎｄｏｗ）は、オブジェクトのモデル、フレームまたは境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ、ＢＢ）等に対応することができる。図３は、本発明の一実施例に基づいて、二次元画像センサから静的オブジェクトを識別することを説明する模式図である。図３に示すように、静的オブジェクト識別アルゴリズムに基づいて二次元画像データにおける各静的オブジェクトを識別し、二次元画像データにおける各静的オブジェクトを境界ボックスで標示する。図３の境界ボックスのように、境界ボックス毎に静的オブジェクト毎の情報が含まれている。例えば、オブジェクトの種類、オブジェクトの長さ、オブジェクトの幅、および二次元画像データにおける位置等の情報が標示されている。

【0026】

二次元画像データにおける各静的オブジェクトを得た後、上記各静的オブジェクトの情報（例えば種類、長さ、幅、位置等の情報）に基づいて、三次元画像データから各静的オブジェクトの三次元ポイントクラウドデータ（Ｘ、Ｙ、Ｚデータ）を取得することができる。静的オブジェクトのそれぞれは、三次元画像データにおけるオブジェクトの大きさに対応する。このため、それぞれの静的オブジェクトは、複数の三次元ポイントクラウドデータ（ディープ情報）を含んでもよい。図４は、図３の実施例に基づいて、各静的オブジェクトを識別した後、三次元画像データから各静的オブジェクトの三次元ポイントクラウドデータを取得したことを説明する模式図である。図３、４を参照すると、図３の境界ボックスで標示された各静的オブジェクト（交通信号、街灯及び道路）の情報に基づいて、対応する三次元画像データにおける各静的オブジェクトの三次元ポイントクラウドデータを取得する。

【0027】

次に、乗物上の乗物測位システム１００が各静的オブジェクトの三次元ポイントクラウドデータを取得すると、乗物測位システム１００の測位モジュール１１４は、静的オブジェクトの三次元ポイントクラウドデータに基づいて、測位アルゴリズム、例えば三点測位アルゴリズム、若しくは現在の三次元ポイントクラウドデータと地図ポイントクラウドデータとを反復比較し、乗物ポイントクラウドデータと少なくとも１つの静的オブジェクトの三次元ポイントクラウドデータとの最小平均二乗距離（ｍｅａｎ ｓｑｕａｒｅｄ ｄｉｓｔａｎｃｅｓ；ＭＳＤ）の最適化算出により、乗物と静的オブジェクトとの乗物相対座標を算出し、乗物の測位を達成する。一つの実施例において、上記の乗物相対座標を予め記憶された所定の地図情報にマッピングすることができる。該所定の地図情報は、３ＤポイントクラウドデータとＧＰＳ絶対座標情報とを含むため、乗物相対座標と所定の地図情報とにより座標の定義と変換を行うことで、乗物の三次元乗物絶対座標を取得することができる。

【0028】

他の実施例において、各静的オブジェクトの三次元ポイントクラウドデータを予め記憶された地図情報にマッピングすることができる。該所定の地図情報は、３ＤポイントクラウドデータとＧＰＳ絶対座標とを含むため、静的オブジェクトの三次元ポイントクラウドデータと所定の地図情報の静的三次元オブジェクトとを比較することにより、静的オブジェクトの三次元オブジェクト絶対座標を取得する。このように、乗物の所定の地図情報での位置を推定することができ、乗物の三次元乗物絶対座標を取得することができる。

【0029】

本発明に係る実施例において、二次元画像センサ１０２で取得された二次元画像データは、一般的に、物体表面の反射特性のみに基づいて、実際の世界が画像平面に投影されてなる情報を提供して、物体の輪郭、境界、テクスチャー等の特徴を取得する。このため、二次元情報を基にした識別アルゴリズムにより実際の三次元物体を識別した場合、オブジェクトの三次元空間での正確な位置に位置決めすることができず、乗物位置を正確に測位できない。三次元センサ１０４は、オブジェクトの三次元ポイントクラウドデータを取得することができるが、オブジェクトの種類を識別することができない。従って、二次元画像センサ１０２及び三次元センサ１０４という２種の異質センサの特性と利点を組み合わせて、静的オブジェクトの三次元ポイントクラウドデータを検出することにより、乗物のリアルタイム測位を行うことができる。

【0030】

本発明において、動的オブジェクトではなく、静的オブジェクトを静的オブジェクト識別モジュール１１２により識別する理由は、動的オブジェクトに対して、静的オブジェクトのほうがより容易に検出や識別でき、形状と色の変化も動的オブジェクトと比べて少なくなるため、静的オブジェクト識別モジュール１１２では、少ないトレーニングデータと低いモデル複雑性で、良好な静的オブジェクト識別率を達成できるからである。
このように、二次元画像センサ１０２の二次元画像データと三次元センサ１０４の三次元ポイントクラウドデータとを組み合わせて、静的オブジェクト識別モジュール１１２により各静的オブジェクトを識別し、各静的オブジェクトの三次元ポイントクラウドデータを取得することにより、乗物と静的オブジェクトの乗物相対座標を算出でき、乗物の測位を達成できる。

【0031】

図５は、本発明の一実施例に基づいて乗物測位システムの作動フローを説明する模式図である。

【0032】

図５に示すように、ステップＳ５０１において、二次元画像センサ１０２は、二次元画像データを取得する。この二次元画像データは、少なくとも１つの静的オブジェクトのシーンを含む。ステップＳ５０３において、三次元センサ１０４は、三次元ポイントクラウドデータを取得する。ステップＳ５０５において、整列モジュール１１０は整列アルゴリズムにより二次元画像データと三次元ポイントクラウドデータとを融合させることで三次元画像データを取得する。ステップＳ５０７において、静的オブジェクト識別モジュール１１２は、二次元画像データから少なくとも１つの静的オブジェクトを識別する。ステップＳ５０９において、各静的オブジェクトに基づいて三次元画像データから各静的オブジェクトの三次元ポイントクラウドデータを取得する。ステップＳ５１１において、測位モジュール１１４は、静的オブジェクトの三次元ポイントクラウドデータに基づいて乗物の乗物相対座標を算出する。測位アルゴリズムにより、静的オブジェクトの三次元ポイントクラウドデータに基づいて乗物の三次元画像データでの三次元乗物相対座標を算出することができる。

【0033】

図６は、本発明の一実施例に基づいて、乗物６００が乗物測位システムと直接（ｄｉｒｅｃｔ）または間接（ｉｎｄｉｒｅｃｔ）に通信可能なシステム通信を説明する模式図である。図６に示すように、乗物測位システムのプロセッサー６０６と記憶装置６０８は、乗物６００に搭載、または乗物６００より遠隔する他の地点／場所に設置することができる。乗物測位システムのプロセッサー６０６と記憶装置６０８とを遠隔地に設置すると、乗物６００は、遠隔地のプロセッサー６０６及び記憶装置６０８と通信する能力を有する。この実施例において、乗物６００は自動車であるが、本発明はこれに限定されるものではない。

【0034】

一つまたは複数の二次元画像センサ６０２、及び一つまたは複数の三次元センサ６０４は乗物６００に設けられる。この実施例において、乗物測位システムは、上記図１〜４の機能と演算を実行し、乗物６００の二次元画像センサ６０２で取得された二次元画像データを三次元センサ６０４で取得された三次元ポイントクラウドデータと整列させることで三次元画像データを取得し、二次元画像データの各静的オブジェクトに基づいて三次元画像データから各静的オブジェクトの三次元ポイントクラウドデータを取得し、静的オブジェクトの三次元ポイントクラウドデータにより乗物の乗物相対座標を算出し、乗物の測位を達成できる。

【0035】

上記のように、本発明に係る乗物、乗物測位システム及び乗物測位方法によれば、乗物に二次元画像センサ及び三次元センサという２種の異質センサと組み合わせて三次元画像データを取得するとともに、二次元画像データの静的オブジェクトを識別した後、三次元画像データから各静的オブジェクトの三次元ポイントクラウドデータを取得し、乗物と静的オブジェクトとの乗物相対座標を算出して、所定の地図情報にマッピングすることで乗物相対座標を得ることができ、乗物の測位を達成する。これにより、乗物が静的オブジェクトの検出に特化したディープ学習モジュールにより、静的オブジェクト画像識別時間を短縮し、さらに静的オブジェクトの三次元ポイントクラウドデータだけで済むため、三次元ポイントクラウドデータの演算量を低減することができ、乗物の正確な測位を達成することができる。

【0036】

上述したものは、本発明の実施例に過ぎず、本発明の実施の範囲を限定するためのものではなく、所属する技術分野において通常知識を有する者であれば、本発明の主旨を逸脱しない範囲でいくつの修正や変更することが可能であり、本発明の特許請求の範囲は添付の請求の範囲により限定されているものである。

【符号の説明】

【0037】

１００ 乗物測位システム
１０２ 二次元画像センサ
１０４ 三次元センサ
１０６ プロセッサー
１０８ 記憶回路
１１０ 整列モジュール
１１２ 静的オブジェクト識別モジュール
１１４ 測位モジュール
６００ 乗物
６０２ 二次元画像センサ
６０４ 三次元センサ
６０６ プロセッサー
６０８ 記憶装置
Ｓ５０１、Ｓ５０３、Ｓ５０５、Ｓ５０７、Ｓ５０９、Ｓ５１１ 乗物測位システム作動のステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】