ホーム > 特許ランキング > 財團法人工業技術研究院
知財求人 - 知財ポータルサイト「IP Force」
特許6744900奥行き推定装置、奥行き推定装置を使用する自動運転車両、及び自動運転車両に使用する奥行き推定方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6744900
(24)【登録日】2020年8月4日
(45)【発行日】2020年8月19日
(54)【発明の名称】奥行き推定装置、奥行き推定装置を使用する自動運転車両、及び自動運転車両に使用する奥行き推定方法
(51)【国際特許分類】
G06T 7/55 20170101AFI20200806BHJP
B60W 40/02 20060101ALI20200806BHJP
G05D 1/02 20200101ALI20200806BHJP
【ＦＩ】
G06T7/55
B60W40/02
G05D1/02 K
【請求項の数】19
【外国語出願】
【全頁数】29
(21)【出願番号】特願2018-220031(P2018-220031)
(22)【出願日】2018年11月26日
(65)【公開番号】特開2020-61114(P2020-61114A)
(43)【公開日】2020年4月16日
【審査請求日】2018年11月26日
(31)【優先権主張番号】16/154,738
(32)【優先日】2018年10月9日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】390023582
【氏名又は名称】財團法人工業技術研究院
【氏名又は名称原語表記】ＩＮＤＵＳＴＲＩＡＬ ＴＥＣＨＮＯＬＯＧＹ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100134577
【弁理士】
【氏名又は名称】石川 雅章
(72)【発明者】
【氏名】▲蒋▼ 泗得
(72)【発明者】
【氏名】▲頼▼ 威豪
(72)【発明者】
【氏名】梁 珮蓉
【審査官】
片岡 利延
(56)【参考文献】
【文献】
特開２０１４−１０６５４３（ＪＰ，Ａ）
【文献】
国際公開第２０１２／０５６６８６（ＷＯ，Ａ１）
【文献】
特表２０１８−５２６６４１（ＪＰ，Ａ）
【文献】
特開２０１５−０９６８１２（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ７／５５
Ｂ６０Ｗ ４０／０２
Ｇ０５Ｄ １／０２
(57)【特許請求の範囲】
【請求項1】
奥行き推定装置であって、
・第１センサデータを生成するための第１タイプのセンサと、
・第２センサデータを生成するための第２タイプのセンサと、
・前記第１タイプのセンサ及び前記第２タイプのセンサに結合されたプロセッサとを備え、該プロセッサが、
第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第２セグメンテーション結果を生成し、
データ整列アルゴリズムを使用することにより、前記第１セグメンテーション結果のパラメータと、前記第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータを生成し、前記複数のセグメントの一部が複数の点群を含み、
第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成し、
第２奥行き推定アルゴリズムを使用することにより、前記第２セグメンテーション結果と、前記第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されており、
前記プロセッサが、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第１セグメンテーションアルゴリズムが、前記第１センサデータの色情報に基づいて、前記第１センサデータを処理することを含み、
前記プロセッサが、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第２セグメンテーションアルゴリズムが、前記第１センサデータの物体情報に基づいて、前記第１センサデータを処理することを含む奥行き推定装置。
・第１センサデータを生成するための第１タイプのセンサと、
・第２センサデータを生成するための第２タイプのセンサと、
・前記第１タイプのセンサ及び前記第２タイプのセンサに結合されたプロセッサとを備え、該プロセッサが、
第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第２セグメンテーション結果を生成し、
データ整列アルゴリズムを使用することにより、前記第１セグメンテーション結果のパラメータと、前記第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータを生成し、前記複数のセグメントの一部が複数の点群を含み、
第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成し、
第２奥行き推定アルゴリズムを使用することにより、前記第２セグメンテーション結果と、前記第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されており、
前記プロセッサが、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第１セグメンテーションアルゴリズムが、前記第１センサデータの色情報に基づいて、前記第１センサデータを処理することを含み、
前記プロセッサが、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第２セグメンテーションアルゴリズムが、前記第１センサデータの物体情報に基づいて、前記第１センサデータを処理することを含む奥行き推定装置。
【請求項2】
請求項１に記載の奥行き推定装置であって、第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成する前に、前記プロセッサが、オクルージョン相関アルゴリズムを使用することにより、前記同期化第２センサデータを処理するよう更に構成され、前記オクルージョン相関アルゴリズムが、
前記全てのセグメントを走査すること、
前記複数の各セグメントにおける一連の点群を認識して、前記複数のセグメントの各部分におけるオクルード点及び複数の非オクルード点を見出すこと、
前記オクルード点の奥行き値を、前記複数のセグメントの各部分における前記複数の非オクルード点の平均奥行き値で置き換えることを含む奥行き推定装置。
前記全てのセグメントを走査すること、
前記複数の各セグメントにおける一連の点群を認識して、前記複数のセグメントの各部分におけるオクルード点及び複数の非オクルード点を見出すこと、
前記オクルード点の奥行き値を、前記複数のセグメントの各部分における前記複数の非オクルード点の平均奥行き値で置き換えることを含む奥行き推定装置。
【請求項3】
請求項１又は２に記載の奥行き推定装置であって、前記第１奥行き推定アルゴリズムが、
前記複数のセグメントの各部分における前記複数の点群の平均奥行き値を計算すること、
前記複数のセグメントの各部分に対応する平均奥行き値で、前記複数のセグメントの各部分における奥行値を埋めることを含む奥行き推定装置。
前記複数のセグメントの各部分における前記複数の点群の平均奥行き値を計算すること、
前記複数のセグメントの各部分に対応する平均奥行き値で、前記複数のセグメントの各部分における奥行値を埋めることを含む奥行き推定装置。
【請求項4】
請求項１〜３の何れか一項に記載の奥行き推定装置であって、前記第２奥行き推定アルゴリズムが、
前記複数の一連のセグメントを認識して、未規定奥行き値領域を見出すこと、
前記複数のセグメントを走査して、前記複数のセグメントにおける、前記未規定奥行き値領域近傍の最小の奥行き値を見出すこと、
前記未規定奥行き値領域の奥行き値を、最小の奥行き値で埋めることを含む奥行き推定装置。
前記複数の一連のセグメントを認識して、未規定奥行き値領域を見出すこと、
前記複数のセグメントを走査して、前記複数のセグメントにおける、前記未規定奥行き値領域近傍の最小の奥行き値を見出すこと、
前記未規定奥行き値領域の奥行き値を、最小の奥行き値で埋めることを含む奥行き推定装置。
【請求項5】
請求項１〜４の何れか一項に記載の奥行き推定装置であって、前記データ整列アルゴリズムが、
変換行列を使用することにより、前記第２センサデータの空間パラメータを整列させて整列化第２センサデータを生成すること、
時間整列アルゴリズムを使用することにより、前記第１セグメンテーション結果の時間パラメータと、前記整列化第２センサデータの時間パラメータとを整列させて同期化第２センサデータを生成することを含む奥行き推定装置。
変換行列を使用することにより、前記第２センサデータの空間パラメータを整列させて整列化第２センサデータを生成すること、
時間整列アルゴリズムを使用することにより、前記第１セグメンテーション結果の時間パラメータと、前記整列化第２センサデータの時間パラメータとを整列させて同期化第２センサデータを生成することを含む奥行き推定装置。
【請求項6】
請求項５に記載の奥行き推定装置であって、前記時間整列アルゴリズムが、前記第１セグメンテーション結果のサンプリングレートと、前記整列化第２センサデータのサンプリングレートとを同期させることを含む奥行き推定装置。
【請求項7】
請求項１〜６の何れか一項に記載の奥行き推定装置であって、前記第１タイプのセンサが、前記第２タイプのセンサよりも低い設置箇所を有する奥行き推定装置。
【請求項8】
請求項１〜７の何れか一項に記載の奥行き推定装置であって、前記第１タイプのセンサがカメラを含み、前記第２タイプのセンサがLiDARセンサを含む奥行き推定装置。
【請求項9】
請求項１〜８の何れか一項に記載の奥行き推定装置であって、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第１セグメンテーション結果を生成し、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第２セグメンテーション結果を生成する前に、前記プロセッサが、画像修正アルゴリズムを使用することにより、前記第１センサデータを処理して前記第１センサデータの空間的歪みを除去するよう更に構成されている奥行き推定装置。
【請求項10】
奥行き推定装置を備える自動運転車両であって、前記奥行き推定装置が、
・第１センサデータを生成するための第１タイプのセンサと、
・第２センサデータを生成するための第２タイプのセンサと、
・前記第１タイプのセンサ及び前記第２タイプのセンサに結合されたプロセッサとを備え、該プロセッサが、
第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第２セグメンテーション結果を生成し、
データ整列アルゴリズムを使用することにより、前記第１セグメンテーション結果のパラメータと、前記第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータを生成し、前記複数のセグメントの一部が複数の点群を含み、
第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成し、
第２奥行き推定アルゴリズムを使用することにより、前記第２セグメンテーション結果と、前記第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されており、
前記プロセッサが、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第１セグメンテーションアルゴリズムが、前記第１センサデータの色情報に基づいて、前記第１センサデータを処理することを含み、
前記プロセッサが、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第２セグメンテーションアルゴリズムが、前記第１センサデータの物体情報に基づいて、前記第１センサデータを処理することを含む自動運転車両。
・第１センサデータを生成するための第１タイプのセンサと、
・第２センサデータを生成するための第２タイプのセンサと、
・前記第１タイプのセンサ及び前記第２タイプのセンサに結合されたプロセッサとを備え、該プロセッサが、
第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第２セグメンテーション結果を生成し、
データ整列アルゴリズムを使用することにより、前記第１セグメンテーション結果のパラメータと、前記第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータを生成し、前記複数のセグメントの一部が複数の点群を含み、
第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成し、
第２奥行き推定アルゴリズムを使用することにより、前記第２セグメンテーション結果と、前記第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されており、
前記プロセッサが、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第１セグメンテーションアルゴリズムが、前記第１センサデータの色情報に基づいて、前記第１センサデータを処理することを含み、
前記プロセッサが、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第２セグメンテーションアルゴリズムが、前記第１センサデータの物体情報に基づいて、前記第１センサデータを処理することを含む自動運転車両。
【請求項11】
請求項１０に記載の自動運転車両であって、第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成する前に、前記プロセッサが、オクルージョン相関アルゴリズムを使用することにより、前記同期化第２センサデータを処理するよう更に構成され、前記オクルージョン相関アルゴリズムが、
前記全てのセグメントを走査すること、
前記複数の各セグメントにおける一連の点群を認識して、前記複数のセグメントの各部分におけるオクルード点及び複数の非オクルード点を見出すこと、
前記オクルード点の奥行き値を、前記複数のセグメントの各部分における前記複数の非オクルード点の平均奥行き値で置き換えることを含む自動運転車両。
前記全てのセグメントを走査すること、
前記複数の各セグメントにおける一連の点群を認識して、前記複数のセグメントの各部分におけるオクルード点及び複数の非オクルード点を見出すこと、
前記オクルード点の奥行き値を、前記複数のセグメントの各部分における前記複数の非オクルード点の平均奥行き値で置き換えることを含む自動運転車両。
【請求項12】
自動運転車両に使用する奥行き推定方法であって、該方法が、
第１タイプのセンサを使用することにより、第１センサデータを生成するステップを含み、
第２タイプのセンサを使用することにより、第２センサデータを生成するステップを含み、
第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第２セグメンテーション結果を生成するステップを含み、
データ整列アルゴリズムを使用することにより、前記第１セグメンテーション結果のパラメータと、前記第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータを生成するステップを含み、前記複数のセグメントの一部が複数の点群を含み、
第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成するステップを含み、
第２奥行き推定アルゴリズムを使用することにより、前記第２セグメンテーション結果と、前記第１奥行き結果とを融合させて第２奥行き結果を生成するステップを含み、
プロセッサが、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第１セグメンテーションアルゴリズムが、前記第１センサデータの色情報に基づいて、前記第１センサデータを処理することを含み、
前記プロセッサが、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第２セグメンテーションアルゴリズムが、前記第１センサデータの物体情報に基づいて、前記第１センサデータを処理することを含む奥行き推定方法。
第１タイプのセンサを使用することにより、第１センサデータを生成するステップを含み、
第２タイプのセンサを使用することにより、第２センサデータを生成するステップを含み、
第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して第２セグメンテーション結果を生成するステップを含み、
データ整列アルゴリズムを使用することにより、前記第１セグメンテーション結果のパラメータと、前記第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータを生成するステップを含み、前記複数のセグメントの一部が複数の点群を含み、
第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成するステップを含み、
第２奥行き推定アルゴリズムを使用することにより、前記第２セグメンテーション結果と、前記第１奥行き結果とを融合させて第２奥行き結果を生成するステップを含み、
プロセッサが、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第１セグメンテーションアルゴリズムが、前記第１センサデータの色情報に基づいて、前記第１センサデータを処理することを含み、
前記プロセッサが、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理するよう少なくとも構成され、前記第２セグメンテーションアルゴリズムが、前記第１センサデータの物体情報に基づいて、前記第１センサデータを処理することを含む奥行き推定方法。
【請求項13】
請求項１２に記載の奥行き推定方法であって、第１奥行き推定アルゴリズムを使用することにより、前記第１セグメンテーション結果と、前記同期化第２センサデータとを融合させて第１奥行き結果を生成するステップの前に、前記奥行き推定方法が、オクルージョン相関アルゴリズムを使用することにより、同期化第２センサデータを処理するステップを更に含み、前記オクルージョン相関アルゴリズムが、
前記全てのセグメントを走査すること、
前記複数の各セグメントにおける一連の点群を認識して、前記複数のセグメントの各部分におけるオクルード点及び複数の非オクルード点を見出すこと、
前記オクルード点の奥行き値を、前記複数のセグメントの各部分における前記複数の非オクルード点の平均奥行き値で置き換えることを含む奥行き推定方法。
前記全てのセグメントを走査すること、
前記複数の各セグメントにおける一連の点群を認識して、前記複数のセグメントの各部分におけるオクルード点及び複数の非オクルード点を見出すこと、
前記オクルード点の奥行き値を、前記複数のセグメントの各部分における前記複数の非オクルード点の平均奥行き値で置き換えることを含む奥行き推定方法。
【請求項14】
請求項１２又は１３に記載の奥行き推定方法であって、前記第１奥行き推定アルゴリズムが、
前記複数のセグメントの各部分における前記複数の点群の平均奥行き値を計算すること、
前記複数のセグメントの各部分に対応する平均奥行き値で、前記複数のセグメントの各部分における奥行値を埋めることを含む奥行き推定方法。
前記複数のセグメントの各部分における前記複数の点群の平均奥行き値を計算すること、
前記複数のセグメントの各部分に対応する平均奥行き値で、前記複数のセグメントの各部分における奥行値を埋めることを含む奥行き推定方法。
【請求項15】
請求項１２〜１４の何れか一項に記載の奥行き推定方法であって、前記第２奥行き推定アルゴリズムが、
前記複数の一連のセグメントを認識して、未規定奥行き値領域を見出すこと、
前記複数のセグメントを走査して、前記複数のセグメントにおける、前記未規定奥行き値領域近傍の最小の奥行き値を見出すこと、
前記未規定奥行き値領域の奥行き値を、最小の奥行き値で埋めることを含む奥行き推定方法。
前記複数の一連のセグメントを認識して、未規定奥行き値領域を見出すこと、
前記複数のセグメントを走査して、前記複数のセグメントにおける、前記未規定奥行き値領域近傍の最小の奥行き値を見出すこと、
前記未規定奥行き値領域の奥行き値を、最小の奥行き値で埋めることを含む奥行き推定方法。
【請求項16】
請求項１２〜１５の何れか一項に記載の奥行き推定方法であって、前記データ整列アルゴリズムが、
変換行列を使用することにより、前記第２センサデータの空間パラメータを整列させて整列化第２センサデータを生成すること、
時間整列アルゴリズムを使用することにより、前記第１セグメンテーション結果の時間パラメータと、前記整列化第２センサデータの時間パラメータとを整列させて同期化第２センサデータを生成することを含む奥行き推定方法。
変換行列を使用することにより、前記第２センサデータの空間パラメータを整列させて整列化第２センサデータを生成すること、
時間整列アルゴリズムを使用することにより、前記第１セグメンテーション結果の時間パラメータと、前記整列化第２センサデータの時間パラメータとを整列させて同期化第２センサデータを生成することを含む奥行き推定方法。
【請求項17】
請求項１６に記載の奥行き推定方法であって、前記時間整列アルゴリズムが、前記第１セグメンテーション結果のサンプリングレートと、前記整列化第２センサデータのサンプリングレートとを同期させることを含む奥行き推定方法。
【請求項18】
請求項１２〜１７の何れか一項に記載の奥行き推定方法であって、前記第１タイプのセンサが、前記第２タイプのセンサよりも低い設置箇所を有する奥行き推定方法。
【請求項19】
請求項１２〜１８に記載の奥行き推定方法であって、前記第１セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第１セグメンテーション結果を生成し、前記第２セグメンテーションアルゴリズムを使用することにより、前記第１センサデータを処理して前記第２セグメンテーション結果を生成するステップの前に、前記方法が、画像修正アルゴリズムを使用することにより、前記第１センサデータを処理して前記第１センサデータの空間的歪みを除去するステップを更に含む奥行き推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、自動運転車両に使用される奥行き推定装置、奥行き推定装置を使用する自動運転車両、及び自動運転車両に使用する奥行き推定方法に関する。
【背景技術】
【0002】
自動運転車両の開発において、検出装置は、将来の自動運転車両にとって不可欠の構成要素である。様々な検出装置を統合すれば、より信頼性の高い検出データと、任意の環境の周囲におけるより正確な情報を提供することができる。様々な物体検出技術により、指定の物体を信頼性高くかつ正確に検出可能ではあるが、同期的なデータ取得が実施される場合、異なる環境での様々な検出モダリティに関して一貫性を欠くセンサ性能により、同時に使用されるものの準最適にしか統合されない既存の多くの検出技術における性能が間引かれる可能性がある。
【0003】
ハードウェアの限界により、現在のところ検出性能が制約されているため、検出技術には様々な問題がある。例えば、データサンプリングレートが低いが故に、高速度の物体に関しては信頼性の高い検出結果が得られ難い。検出結果に対して統一的な仕様を適用すれば、最低の座標系における動作に起因して、検出されるべき物体の一部ではないピクセルが、検出された物体として含まれる可能性がある。細かい経路計画の場合、最低のデータ解像度により、検出された物体が失われる可能性がある。
【0004】
図1Aは、奥行きマップを生成するために使用可能な様々なセンサを示す。このようなセンサは、LiDAR、ステレオカメラ、並びにタイム・オブ・フライトカメラ（TOFカメラ）を含むことができる。表１は、自動運転車両の周囲における奥行き情報を生成可能な各センサ間の特性を比較したものを詳細に示す。表１に示す値は、構成に基づいて特定値が変わる可能性があるため、単なる例示に過ぎない。【表1】
【0005】
表１及び上記の記載によれば、最先端技術の奥行き検出センサは、LiDARセンサで実現可能である。LiDARセンサは、ステレオカメラ又はTOFカメラなどの機器に比べて、典型的には、360°の視野、最大の検出範囲、並びに最大の奥行き精度を有する。しかしながら、LiDARのデータ解像度及びサンプリングレートは、幾つかの要因により制約される可能性がある。
【0006】
例えば、奥行き体積を把握するために使用されるビーム数が制限される可能性がある。図1Bは、低解像度のLiDARデータと高解像度のLiDARデータとの比較を示す。この場合、低解像度のLiDARデータは、例えば、より少ないレーザービーム数（例えば16ビーム）を有するLiDARで得られた投影点群体積であり、高解像度のLiDARデータは、例えば、より多くのレーザービーム数（例えば64ビーム）を有するLiDARで得られた投影点群体積である。現在の様々なバージョンのLiDAR変換器においては、トレードオフの関係が明らかである。例えば、より安価なLiDARであれば、より少ないビーム数（即ち図1Bであれば16ビーム）を有し、LiDARのビーム数がより少なければ、単位秒あたりに生成される点はより少ないが、LiDARのビーム数がより少なければ電力消費はより小さい。これらのトレードオフにより、幾つかの影響、例えば、疎な点群を有する物体を認識するのが困難になる。なぜなら、その物体の加速に伴い、得られる点群が少なくなるからである（図1B参照）。
【0007】
現在の様々なバージョンのLiDAR変換器においては、トレードオフの関係が明らかである。例えば、より近傍の物体は、より多くの点群を有し、より小さな物体は、点群がより少ない。これらのトレードオフにより、幾つかの影響、例えば、より小さな物体を認識するのが困難になる。なぜなら、実質的な分析のための点群数が極端に少なく、より小さなその物体の加速が生じれば、得られる点群が更に少なくなるからである。
【0008】
上述したトレードオフの関係を考慮すれば、疎な点群を密な点群に変換することによって検出の信頼性を高める奥行きアップサンプリング法が極めて重要である。奥行きアップサンプリング技術により、幾つかの目標を実現することができる。例えば、より正確な経路計画を実現することができる。なぜなら、奥行きアップサンプリング技術により、単にバウンディングボックスを使用するのではなく、検出結果をより細かくセグメント化できるため、各ピクセルが奥行き値を得ることが可能になるからである。更に、物体の相対位置、大きさ、又は速度（即ち加速）に関わらず、物体をより信頼性高く検出可能な高密度の奥行きマップ（検出アルゴリズム）を使用すれば、より良好な検出精度を実現することができる。この場合、システム全体としては、安価なシステムを使用することができる。なぜなら、奥行きアップサンプリングは、高コストLiDARで取得された奥行きマップを利用するのではなく、低コストLiDARで取得された高密度の奥行きマップの利用を可能にするからである。LiDARのビーム数が少なくなると、単位秒あたりに生成される点も少なくなる。
【発明の概要】
【発明が解決しようとする課題】
【0009】
背景技術で説明したように、点群が疎である物体は、点群がより少ないために認識が困難である。そのため、疎な点群を密な点群に変換することにより、検出の信頼性を高めることが極めて重要である。従って、奥行き推定装置、奥行き推定方法、並びに該方法及び装置を備える車両を提供し、これにより高解像度の奥行きマップの精度を高めることが必要である。
【課題を解決するための手段】
【0010】
この課題を解決するため、本開示は、自動運転車両に使用される奥行き推定装置、奥行き推定装置を使用する自動運転車両、並びに自動運転車両に使用する奥行き推定方法に関する。
【0011】
本開示は、例示的な実施形態の１つにおいて、これらに限定されないが、第１センサデータを生成するための第１タイプのセンサと、第２センサデータを生成するための第２タイプのセンサと、第１タイプのセンサ及び第２タイプのセンサに結合されたプロセッサとを備える奥行き推定装置に関する。プロセッサは、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第２セグメンテーション結果を生成し、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータ（この場合、複数のセグメントの一部が複数の点群を含む）を生成し、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成し、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されている。
【0012】
本開示は、例示的な実施形態の１つにおいて、これらに限定されないが、第１センサデータを生成するための第１タイプのセンサと、第２センサデータを生成するための第２タイプのセンサと、第１タイプのセンサ及び第２タイプのセンサに結合されたプロセッサとを有する奥行き推定装置を備える自動運転車両に関する。プロセッサは、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第２セグメンテーション結果を生成し、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータ（この場合、複数のセグメントの一部が複数の点群を含む）を生成し、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成し、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果を生成するよう少なくとも構成されている。
【0013】
本開示は、例示的な実施形態の１つにおいて、自動運転車両（ただし、自動運転車両に限定されない）に使用する奥行き推定方法に関する。本開示の方法は、第１タイプのセンサを使用することにより、第１センサデータを生成するステップを含み、第２タイプのセンサを使用することにより、第２センサデータを生成するステップを含み、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第２セグメンテーション結果を生成するステップを含み、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて複数のセグメントを含む同期化第２センサデータ（この場合、複数のセグメントの一部が複数の点群を含む）を生成するステップを含み、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成するステップを含み、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果を生成するステップを含む。
【発明の効果】
【0014】
本発明の効果は、得られた２段階のセグメントを使用することにより、各センサによる奥行きマップの解像度を高めること、画像の特徴を考慮することにより、得られた２段階のセグメントを構成すること、更には色情報及び物体情報に基づいて、２段階の奥行き推定を行うことを含むことができる。これにより、奥行き推定の精度を高めることができる。
【産業上の利用可能性】
【0015】
本発明は、自動運転車両に使用される奥行き推定装置、奥行き推定装置を使用する自動運転車両、並びに自動運転車両に使用する奥行き推定方法を提供する。本発明は、自動運転車両又は他の類似の装置で使用するのに適している。
【0016】
添付図面は、本開示を更に理解するために提供され、本明細書に組み込まれると共に、その一部を構成するものである。各図面は、本開示の実施形態を示し、かつ本明細書の記載と共に本開示の原理を説明するのに役立つ。
【図面の簡単な説明】
【0017】
【図2】本開示の例示的な実施形態の１つに係る奥行き推定装置におけるハードウェアを示すブロック図である。
【図3】本開示の例示的な実施形態の１つに係る奥行き推定装置を使用する自動運転車両を示すブロック図である。
【図4】本開示の例示的な実施形態の１つに係る奥行き推定方法のステップを示すフローチャートである。
【図5】本開示の例示的な実施形態の１つに係る奥行き推定フレームワークを示すブロック図である。
【図7】本開示の例示的な実施形態の１つに係る奥行き推定フレームワークの詳細を示すブロック図である。
【発明を実施するための形態】
【0018】
以下、本開示の例示的な実施形態を添付図面に基づいて詳述する。図面及び記載において、同一部分又は類似部分は、可能な限り同一参照符号で表す。
【0019】
本開示は、自動運転車両における指定の視野（FOV）の奥行きマップを推定するためのフレームワークを提供する。このフレームワークは、奥行き推定装置、奥行き推定装置を使用する自動運転車両、並びに奥行き推定方法の観点から説明する。本発明に係る装置は、人間の介入なしに自動的に動作する自動運転車両内に配置可能であり、従って検出機能及び制御機能を実行するために、車両に関する高解像度の奥行きマップを推定することが重要である。本発明に係る装置は、重なり合うFOVを複数の異なる検出装置のセット、例えば、周囲から２次元（2D）RGBデータを取得するための１個以上の画像センサを有する撮像装置のセットと、周囲から３次元（3D）の点群体積を取得するための１個以上のLiDAR変換器を有するLiDAR変換器のセットと、画像修正アルゴリズム、オクルージョン相関アルゴリズム、データ整列アルゴリズム、セグメンテーションアルゴリズムのセット、奥行き推定アルゴリズムのセットを、各タイプのセンサに関連して実行するよう少なくとも構成され、これにより高解像度の推定マップを生成する処理ユニットとを備える(ただし、これらに限定されない)。本発明に係るフレームワークにより、奥行きマップの解像度を高めれば、高解像度の奥行きマップの精度を高めることができる。図2〜図5を参照して、奥行き推定フレームワークを更に説明する。
【0020】
図2は、本開示の例示的な実施形態の１つに係る奥行き推定装置におけるハードウェアのブロック図を示す。奥行き推定装置200は、第１タイプのセンサ210、第２タイプのセンサ220、並びにプロセッサ230を備える。第１タイプのセンサ210としては、画像センサ、例えば、指定のFOV内における可視光を2D画像に取り込むRGB画像センサを使用することができる。第２タイプのセンサ220としては、画像・距離測定変換器、例えば、指定のFOV内における反射信号をサンプリングし、それに応じて3D体積を再構成するLiDAR変換器を使用することができる。プロセッサ230は、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１セグメンテーション結果を生成し、第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第２セグメンテーション結果を生成するよう少なくとも構成されている。
【0021】
プロセッサ230は更に、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させ、複数のセグメントを含む同期化（同期された）第２センサデータを生成するよう構成されている。この場合、複数のセグメントの一部は、複数の点群を含むことができる。他の実施形態においては、複数のセグメントのそれぞれが複数の点群を含むことができる。このことは、当業者であれば、実際の状況及び要求に従って調整可能であることに留意されたい。プロセッサ230は更に、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成するよう構成されている。プロセッサ230は更に、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果を生成するよう構成されている。このように、本開示においては、２段階のセグメンテーションアルゴリズム、データ整列アルゴリズム、並びに２段階の奥行き推定アルゴリズムにより、奥行きマップの解像度を高める。
【0022】
図3は、本開示の例示的な実施形態の１つに係る奥行き推定装置を使用する自動運転車両のブロック図を示す。この場合、自動運転車両300は、図2に示す奥行き推定装置200を備える（ただし、奥行き推定装置200に限定されない）。
【0023】
図4は、本開示の例示的な実施形態の１つに係る奥行き推定方法のステップのフローチャートを示す。ステップS410において、奥行き推定装置は、第１タイプのセンサを使用することにより、第１センサデータを生成する。ステップS420において、奥行き推定装置は、第２タイプのセンサを使用することにより、第２センサデータを生成する。ステップS412において、奥行き推定装置は、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第１セグメンテーション結果を生成すると共に、第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理して第２セグメンテーション結果を生成する。
【0024】
より詳細に述べれば、第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理するステップ（即ちステップS412）は、第１センサデータの色情報に基づく第１セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理することを含む。第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理するステップ（即ちステップS412）は、第１センサデータの物体情報に基づく第２セグメンテーションアルゴリズムを使用することにより、第１センサデータを処理することを含む。
【0025】
ステップS421において、奥行き推定装置は、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させ、複数のセグメントを含む同期化第２センサデータを生成する。この場合、複数のセグメントの一部は、複数の点群を含むことができる。他の実施形態においては、複数のセグメントのそれぞれが複数の点群を含むことができる。このことは、当業者であれば、実際の状況及び要求に従って調整可能であることに留意されたい。ステップS422において、奥行き推定装置は、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成する。最後に、ステップ430において、奥行き推定装置は、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果を生成する。
【0026】
以下、図5〜図15Bに基づいて、奥行き推定フレームワークを幾つかの例示的な実施形態及び実施例で説明する。図5は、本開示の例示的な実施形態の１つに係る奥行き推定フレームワークのブロック図を示す。図6A〜図6Fは、本開示の例示的な実施形態の１つに係る奥行き推定方法の実施例を示す。図5及び図6A〜図6Fにおいて、記載対象のフレームワークは、複数のタイプの検出装置（例えば、図6AのRGBカメラ及びLiDAR変換器）と、各タイプの検出装置に関連する複数のアルゴリズムとを使用することにより、重なり合うFOV（図6B参照）に亘って奥行き推定を行う奥行き推定装置を備える。この場合、RGBカメラのFOV距離は100メートルであり、LiDARセンサのFOV度は360°である。複数のタイプの検出装置は、第１タイプのセンサ（例えば、図5のRGBカメラアレイ501）と、第２タイプのセンサ（例えば、図5のLiDAR変換器アレイ502）を含むことができる。
【0027】
より具体的に述べれば、RGBカメラアレイ501は、自動運転車両の視野内における画像を取得し、その画像に応じて第１センサデータ（例えばRGB画像データ）を生成する（RGB画像データステップS510参照）。また、LiDAR変換器アレイ502は、自動運転車両の周囲における点群体積を取得し、その点群体積に応じて第２センサデータ（例えば奥行き体積データ）を生成する（奥行き体積データステップS520参照）。この場合、奥行き体積データは、（図6Dに示すように）疎な奥行きデータである。本明細書において、用語「疎」及び「密」は、画像の解像度を指す。RGBカメラアレイ501及びLiDAR変換器502にはプロセッサが結合され、そのプロセッサは、RGB画像データ及び奥行き体積データを処理するよう少なくとも構成されている。より詳細に述べれば、プロセッサは、画像修正アルゴリズムを使用することにより、RGB画像データを処理してRGB画像データにおける空間的歪みを除去すると共に、画像修正ステップS511において、修正第１センサデータ（例えば、図6Cに示す修正RGB画像データ）を生成する。
【0028】
色に基づくセグメンテーションステップS512aにおいて、プロセッサは、RGB画像データの色情報に基づく第１セグメンテーションアルゴリズムを使用することにより、（図6Cの）修正RGB画像データを処理して第１セグメンテーション結果を生成する。物体に基づくセグメンテーションステップS512bにおいて、プロセッサは、RGB画像データの物体情報に基づく第２セグメンテーションアルゴリズムを使用することにより、修正RGB画像データを処理して第２セグメンテーション結果を生成する。換言すれば、プロセッサは、修正RGB画像データの色情報に基づいて、修正RGB画像をセグメント化して（複数のセグメントを含む）第１セグメンテーション結果を生成する。更に、プロセッサは、修正RGB画像データの物体情報に基づいて、修正RGB画像をセグメント化して第２セグメンテーション結果を生成する。
【0029】
ただし他の実施形態において、プロセッサは、RGB画像データステップS510にてRGBカメラアレイ501で生成される第１センサデータ（RGB画像データ）により、色に基づくセグメンテーションステップS512a及び物体に基づくセグメンテーションステップS512bを直接的に処理可能であることに留意されたい。即ち、図5は単なる一例に過ぎず、本発明を限定するものではない。
【0030】
データ整列ステップS521において、プロセッサは、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて同期化第２センサデータを生成する。更に、同期化第２センサデータは、複数のセグメントを含む。この場合、複数のセグメントの一部は、複数の点群を含むことができ、また同期化第２センサデータは、（図6Eに示すように）疎な奥行きデータである。他の実施形態においては、複数のセグメントのそれぞれが複数の点群を含むことができる。このことは、当業者であれば、実際の状況及び要求に従って調整可能であることに留意されたい。プロセッサは更に、色ガイドされた奥行き推定ステップS522において、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成する。
【0031】
換言すれば、プロセッサは、修正RGB画像データの色情報に基づいて、同期化第２センサデータを第１セグメンテーション結果にマッピングすることにより、第１奥行き結果を生成する。物体ガイドされた奥行き推定ステップS530において、プロセッサは、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果（例えば、図6Fに示す高解像度の奥行きマップ）を生成する。換言すれば、プロセッサは、修正RGB画像データの色情報に基づいて、第２セグメンテーション結果と、第１奥行き結果とを融合させて第２奥行き結果（即ち、高解像度マップ）を生成する。この場合、高解像度の奥行きマップは、密な奥行きデータである。このように、本開示は、画像修正アルゴリズム、２段階のセグメンテーションアルゴリズム、データ整列アルゴリズム、２段階の奥行き推定アルゴリズムを使用すると共に、RGBカメラアレイ501、LiDAR変換器アレイ502、並びにプロセッサにより、奥行きマップの解像度を高める。
【0032】
図7は、本開示の例示的な実施形態の１つに係る奥行き推定フレームワークの詳細なブロック図を示す。図示の実施形態において、複数のタイプの検出装置は、第１タイプのセンサ（例えばRGBカメラアレイ701）及び第２タイプのセンサ（例えばLiDAR変換器アレイ702）を含むことができる。RGBカメラアレイ701は、（RGB画像データステップ710）において、自動運転車両近傍の画像を取得し、その画像に応じて第１センサデータ（例えばRGB画像データ）を生成する。LiDAR変換器アレイ702は、（奥行き体積データステップS720）において、自動運転車両近傍の画像を取得し、その画像に応じて第２センサデータ（例えば奥行き体積データ）を生成する。この場合、奥行き体積データは、疎な奥行きデータである。
【0033】
本明細書において、図8Aは、本開示の例示的な実施形態の１つに係る画像修正アルゴリズムの説明図を示す。図7及び図8Aにおいて、プロセッサは、（図7及び図8Aに示す画像修正ステップS711にて）画像修正アルゴリズムを使用することにより、RGB画像データを処理してRGB画像データの空間的歪みを除去すると共に、（修正RGB画像データステップS711aにて）修正第１センサデータ（例えば修正RGB画像データ）を生成する。より具体的に述べれば、プロセッサは、レンズ効果によって引き起こされるRGB画像データ（例えば、図8Aに示す2D‐30 Hz RGB画像（C`））の空間的歪みを除去する。例えば、2D‐30 HzのRGB画像（C`）におけるバックプレーンは湾曲している（即ち、歪み現象が生じている）。図示のプロセッサは、変換行列703により、2D‐30 Hz RGB画像（C`）の空間的歪みを除去し、修正第１センサデータ（例えば、図8Aに示す2D‐30 Hz RGB画像（C）を生成する。この場合、2D‐30 Hz RGB画像（C）のバックプレーンは平坦になる。
【0034】
図8Bは、本開示の例示的な実施形態の１つに係る第１セグメンテーションアルゴリズムの説明図を示す。図8Cは、本開示の例示的な実施形態の１つに係る第２セグメンテーションアルゴリズムの説明図を示す。図7、図8B及び図8Cにおいて、プロセッサは、（図7及び図8Bに示す、色に基づくセグメンテーションステップS712aにて）修正RGB画像データの色情報に基づいて、第１セグメンテーションアルゴリズムを使用することにより、修正RGB画像データを処理して第１セグメンテーション結果を生成する。より具体的に述べれば、プロセッサは、修正RGB画像データ（例えば、図8Bに示す2D‐30 Hz RGB画像（C））を分析し、2D‐30 Hz RGB画像（C）の色情報に基づいて、2D‐30 Hz RGB画像（C）における類似の平面を識別する。この場合、色情報には、色相（即ち色）、彩度（即ち色の強度）、並びに値（即ち輝度）が含まれる。
【0035】
プロセッサはその後、色情報に基づいて、2D‐30 Hz RGB画像（C）における全てのピクセルを領域毎のセグメントに分類する。プロセッサは、2D‐30 Hz RGB画像（C）をセグメント化して第１セグメンテーション結果（即ち図8Bに示す、色に基づくと共に複数のセグメントを含むセグメントマップ（Sc））を生成する。2D‐30 Hz RGB画像（C）における全てのピクセルは、色情報に基づいて、異なる領域にセグメント化される。図8Bにおいて、第１セグメンテーション結果（即ち、色に基づくセグメントマップ（Sc））は、複数のセグメンテーションSEGとして表されている。各セグメンテーションSEGは、2D‐30 Hz RGB画像（C）における類似の分類特徴を有する一連のRGBピクセルに基づいている。第１セグメンテーションアルゴリズムとしては、例えば、単純な線形反復クラスタリング（SLIC）法が採用される。
【0036】
一方、プロセッサは、（図7及び図8に示す、物体に基づくセグメンテーションステップS712bにて）修正RGB画像データの物体情報に基づいて、第２セグメンテーションアルゴリズムを使用することにより、修正RGB画像データを処理して第２セグメンテーション結果（例えば図8Cに示す、物体に基づくセグメントマップ（So））を生成する。より具体的に述べれば、プロセッサは、物体情報に基づいて、修正RGB画像（例えば図8Cに示す、2D‐30 Hz RGB画像（C））における全てのピクセルを領域毎のセグメントに分類する。物体に基づくマップは、先に行われたセグメンテーションスキームにおいて未規定のコンテキスト領域全体を識別するのに役立つ。物体に基づくマップは、図7及び図8Bに示す、色ガイドされた奥行き推定ステップS722の精度を高めることができる。
【0037】
プロセッサはその後、2D‐30 Hz RGB画像（C）の物体情報に基づいて、2D‐30 Hz RGB画像（C）をセグメント化して第２セグメンテーション結果（即ち図8Cに示す、物体に基づくセグメントマップ（So））を生成する。より詳細に述べれば、2D‐30 Hz RGB画像（C）における全てのピクセルは、物体情報に基づいて、異なる領域にセグメント化される。この場合、物体情報には、車両、交通コーン、スクーター、歩行者、空、道路、並びに他の一般的な物体クラスが含まれる。第２セグメンテーション結果（即ち、物体に基づくセグメントマップ（So））は、複数の物体セグメンテーションとして表されている。各物体セグメンテーションは、2D‐30 Hz RGB画像（C）における類似物体の一連のRGBピクセルに基づいている。第２セグメンテーションアルゴリズムとしては、例えば、完全畳み込みネットワーク（FCN）法が採用される。
【0038】
ただし他の実施形態において、プロセッサは、RGB画像データステップS710にてRGBカメラアレイ701で生成される第１センサデータ（RGB画像データ）により、色に基づくセグメンテーションステップS712a及び物体に基づくセグメンテーションステップS712bを直接的に処理可能であることに留意されたい。即ち、図7は単なる一例に過ぎず、本発明を限定するものではない。
【0039】
図9A〜図9Cは、本開示の例示的な実施形態の１つに係るデータ整列アルゴリズムの説明図を示す。図7、図9A〜図9Cにおいて、プロセッサは、データ整列アルゴリズムを使用することにより、第１セグメンテーション結果のパラメータと、第２センサデータのパラメータとを同期させて同期化第２センサデータを生成する。この場合、データ整列アルゴリズムは、（図7及び図9Aに示す）空間整列ステップS721aと、（図7、図9B及び図9Cに示す）時間整列ステップS721bとを含む。より詳細に述べれば、データ整列アルゴリズムは、変換行列703を使用することにより、第２センサデータの空間パラメータを整列させて整列化（整列させた）第２センサデータを生成すること、並びに時間整列アルゴリズムを使用することにより、第１セグメンテーション結果の時間パラメータと、整列化第２センサデータの時間パラメータとを整列させることを含む。
【0040】
より具体的に述べれば、プロセッサは、（図7及び図9Aに示す）変換行列703を使用することにより、第２センサデータの空間パラメータ（例えば図9に示す、3D‐20 Hzの疎な点群（L））を整列させる。換言すれば、プロセッサは、変換行列703により、第２センサデータを3Dデータから2Dデータに変換して整列化第２センサデータ（即ち、ピンホール画像原理により、図9Aの2D‐20 Hzの疎な点群[外１]
【0041】
第２センサ（例えば図9Aに示す、3D‐20 Hzの疎な点群（L））のマッピングは、2D‐30 Hz RGB画像（C）のFOV内に位置する点群についてのみ行われる。この場合、データ整列アルゴリズムは、次式で表される通り、変換行列703における回転行列を使用する：【数1】
【0042】
更に、取得された点は、次式で表される通り、並進行列に基づいて置き換えられる：【数2】
【0043】
その後、取得された点は、次式で表される通り、（画像修正を使用して取得された）利用可能な固有のメトリックに従って変換される：【数3】
【0044】
最後に、次式で表される通り、取得された点が処理されることにより生の点群データに関して所望の2D画像が得られる：【数4】
【0045】
更に、プロセッサは、時間整列アルゴリズムを使用することにより、第１セグメンテーション結果（即ち図8Bに示す、色に基づくセグメントマップ（Sc））の時間パラメータと、整列化第２センサデータ（即ち図9Aに示す、2D‐20 Hzの疎な点群[外２］
【0046】
一般的に、LiDAR変換器アレイ702は、（例えば20 Hz）の周波数fLのサンプリングレートを有し、RGBカメラアレイ701は、（例えば30 Hz）までの周波数fCのサンプリングレートを有することができる。この条件によれば、LiDAR変換器アレイ702のデータを20 Hzから30 Hzにアップサンプリングする同期化技術が必要であることを意味する。従って、プロセッサは、第１セグメンテーション結果のサンプリングレートと、整列化第２センサデータのサンプリングレートとを同期させる。
【0047】
図9Bは、時間整列アルゴリズムに関連する補間法を示す。図9Bによれば、LiDAR変換器アレイ702は、50 ミリセカンド（ms）毎に１つの点群体積を得ることができる。従って、LiDAR変換器アレイ702は、（図9Bに示すように）0 ms、50 ms、100 ms、150 ms、200 ms、250 ms、並びに300 msの時点で点群体積を得ることができる。RGBカメラアレイ701は、33 ms毎に１つの画像を得ることができる。従って、RGBカメラアレイ701は、（図9Bに示すように）0 ms、33 ms、67 ms、100 ms、133 ms、167 ms、200 ms、233 ms、267 ms、並びに300 msの時点で画像を得ることができる。この場合、プロセッサは、同じ時点（即ち、0 ms、100 ms、200 ms、300 ms）で得られた画像を直接的に同期させることができる。
【0048】
プロセッサはその後、LiDAR変換器アレイ702における前の２つのデータに対して補間法を適用する。換言すれば、プロセッサは、LiDAR変換器アレイ702によって異なる時点で得られたデータを処理する。この場合、プロセッサは、LiDAR変換器アレイ702によって0 ms及び50 msの時点で得られた画像を使用して67 msの時点におけるLiDAR変換器アレイ702の画像を生成する。プロセッサはその後、LiDAR変換器アレイ702によって67 ms及び100 msの時点で得られた画像を使用して133 msの時点におけるLiDAR変換器アレイ702の画像を生成する。プロセッサは同様に、167 msの時点における画像、233 msの時点における画像、並びに267 msの時点における画像を生成する。プロセッサはその後、自動運転車両の時間差及び移動量に基づいて、色に基づくセグメントマップ（Sc）と、3D‐20 Hzの疎な点群（L）との同期を開始する。
【0049】
図9Cに示すように、プロセッサは、補間を行うために、自動運転車両の移動可能性及び周囲の物体を考慮する。より詳細に述べれば、時間整列アルゴリズムにおける補間法において、プロセッサは、整列化第２センサデータ（即ち図9Aに示す、2D‐20 Hzの疎な点群[外３]
[外４]
[外５]
各点群（例えばPt3，Pt4）を
[外６]
各点群（例えばPt1，Pt2）と対にする：
【数5】
【0050】
ここに、[外７]
【0051】
第１セグメンテーション結果（即ち、色に基づくセグメントマップ（Sc））のセグメントSEG内における各点群の対に関して、t+1での新たな点群体積は、次式で表される通り、予測される：【数6】
【0052】
Ｔcamera（ ）及びＴLiDARは、RGBに基づくセンサ（即ちRGBカメラアレイ701）及び奥行きに基づくセンサ（即ちLiDAR変換器アレイ702）の正確なタイムスタンプを表す。
【0053】
元々取得された点群又は人工的に生成された点群の全ては、サンプリングレートが周波数fL（即ち20 Hz）から周波数fC（即ち30 Hz）まで既に同期された同期化第２センサデータの体積データにおいて再度マッピングされる。
【0054】
図10A〜図10Cは、本開示の例示的な実施形態の１つに係るオクルージョン相関アルゴリズムの説明図を示す。図7及び図10A〜図10Cにおいて、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて第１奥行き結果を生成するステップ（即ち色ガイドされた奥行き推定ステップS722）の前に、プロセッサは、（オクルージョン相関ステップS740にて）オクルージョン相関アルゴリズムを使用することにより、同期化第２センサデータを処理するよう更に構成されている。この場合、オクルージョン相関アルゴリズムは、全てのセグメントを走査すること、複数の各セグメントにおける複数の一連の点群を認識し、複数のセグメントにおける各部分のオクルード点及び複数の非オクルード点を見出すこと、オクルード点の奥行き値を、複数のセグメントの各部分における複数の非オクルード点の平均奥行き値で置き換えることを含む。
【0055】
より詳細には、図10Aは、本開示の例示的な実施形態の１つに係るRGBカメラアレイ701及びLiDAR変換器アレイ702の設置箇所を示す。図示の実施形態において、第１タイプのセンサは、第２タイプのセンサよりも設置箇所が低く、例えば、RGBカメラアレイ701の設置箇所は、車両V100のボンネットに位置し、LiDAR変換器アレイ702の設置箇所は、車両V100のルーフに位置している。従って、LiDAR変換器アレイ702のFOVは、RGBカメラアレイ701のFOVよりも大きくなる可能性がある。これにより、LiDAR変換器アレイ702は、他の物体（例えば物体OB2）によって隠されている物体（例えば物体OB1）の点群体積を得ることができる。この場合、物体OB2は、物体OB1よりも車両V100に近い。換言すれば、物体OB2が物体OB1を隠しているため、RGBカメラアレイ701によって物体OB1の画像を得ることができない。オクルージョン補正は、図10Aに示すように、物体OB2を越えた位置における奥行きの点群を補正するものである。
【0056】
このように、プロセッサは、オクルージョン相関アルゴリズムにより、同期化第２センサデータを処理するよう構成されている。オクルージョン相関アルゴリズムの詳細に関して、プロセッサは、同期化第２センサデータ（即ち図10Bに示す、2D‐30 Hzの疎な点群[外８]
[外９]
【0057】
より詳細に述べれば、プロセッサは、（図10Cに示すように）走査ウィンドウSW1により、2D‐30 Hzの疎な点群[外１０]
[外１１]
【0058】
第２センサデータのパラメータ及び第１セグメンテーション結果のパラメータに関して、空間パラメータ及び時間パラメータを同期させた後、奥行き推定アルゴリズムが実行される。奥行き推定アルゴリズムに関しては、２つのアルゴリズム、即ち、第１奥行き推定アルゴリズム（色ガイドされた奥行き推定）と、第２奥行き推定アルゴリズム（物体ガイドされた奥行き推定）とが実行される。図11A及び図11Bは、本開示の例示的な実施形態の１つに係る第１奥行き推定アルゴリズムの説明図を示す。図7、図11A及び図11Bに示すように、プロセッサは、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果と、同期化第２センサデータとを融合させて、色ガイドされた奥行き推定ステップS722にて第１奥行き結果を生成する。
【0059】
より詳細にのべれば、第１奥行き推定アルゴリズムは、複数のセグメントの各部分における複数の点群の平均奥行き値を計算し、複数のセグメントの各部分に対応する平均奥行き値で、複数のセグメントの各部分における奥行値を埋めることを含む。より具体的には、プロセッサは、同期化第２センサデータ（例えば図10Bに示す、2D‐30 Hzの疎な点群[外１２]
【0060】
プロセッサはその後、複数のセグメント（即ち、図11Aに示すセグメントSEG）の各部分における奥行き値を、複数のセグメントの各部分に対応する平均奥行き値で埋めて第１奥行き結果（即ち、図11Bに示す高解像度の奥行きマップ（D））を生成する。このようにして、プロセッサは、第１奥行き推定アルゴリズムを使用することにより、第１セグメンテーション結果（即ち図11Bに示す、色に基づくセグメントマップ（Sc））と、同期化第２センサデータ（即ち図11Bに示す、2D‐30 Hzの疎な点群[外１３]
【0061】
図12A及び図12Bは、本開示の例示的な実施形態の１つに係る第２奥行き推定アルゴリズムの説明図を示す。図7、図12A及び図12Bに示すように、プロセッサは、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果と、第１奥行き結果とを融合させて、物体ガイドされた奥行き推定ステップS730にて第２奥行き結果を生成する。本明細書において、第２奥行き推定アルゴリズムは、複数の一連のセグメントを認識して、未規定の奥行き値領域を見出すこと、複数のセグメントを走査して、複数のセグメントにおける（未規定の奥行き値領域近傍の）最小の奥行き値を見出すこと、オクルード点の奥行き値を、複数のセグメントにおける複数の非オクルード点の平均奥行き値と置き換えることを含む。
【0062】
より具体的に述べれば、プロセッサは、走査ウィンドウSW2により、複数の一連のセグメントを認識して、未規定の奥行き値領域（例えば図12Aに示す画像における物体OBSのセグメント）を見出す。この場合、物体OBSは、複数のセグメントSEGを含む。プロセッサはその後、複数のセグメント（即ち、図12Aに示す未規定の奥行き値領域UNRの近傍のセグメント）を走査して、複数のセグメントにおける（未規定の奥行き値領域UNRに近い）最小の奥行き値を見出す。プロセッサはその後、（図12Aに示すように）未規定領域UNRの奥行き値を、最小の奥行き値で埋めて第２奥行き結果（例えば図12Bに示す、高解像度の奥行きマップ（D`））を生成する。
【0063】
このようにして、プロセッサは、第２奥行き推定アルゴリズムを使用することにより、第２セグメンテーション結果（即ち図12Bに示す、物体に基づくセグメントマップ（So））と、第１奥行き結果（即ち図12Bに示す、高解像度の奥行きマップ（D））とを融合させて第２奥行き結果（即ち図12Bに示す、高解像度の奥行きマップ（D`））を生成する。この第２奥行き結果は、密な奥行きデータである。このように、本開示は、画像修正アルゴリズム、２段階のセグメンテーションアルゴリズム、データ整列アルゴリズム、２段階の奥行き推定アルゴリズムを使用すると共に、RGBカメラアレイ701、LiDAR変換器アレイ702、並びにプロセッサにより、奥行きマップの解像度を高める。
【0064】
図13A〜図13Cは、本開示の例示的な実施形態の１つに係る奥行き推定方法の他の実施例の説明図を示す。図示の自動運転車両V1310は、奥行き推定装置1300を備える。奥行き推定装置1300は、フロント右側LiDAR1302a、フロント左側LiDAR1302b、フロントカメラ1301、並びに処理ユニット1303を備える。フロント右側LiDAR1302a、フロント左側LiDAR1302b、フロントカメラ1301は、処理ユニット1303に結合されている。この場合、処理ユニット1303としては、例えば、Intel Core i7 ＠ 2.4 GHz 4GB RAMと、Ubuntu 16.04 LTS上で動作するNVidia GeForce 940M 2GB VRAMとを有するパーソナル・コンピュータを使用することができる。
【0065】
図13A〜図13Cにおいて、奥行き推定装置1300は、同期化第２センサデータ（即ち図13Bに示す、LiDARによる2D‐20 Hzの疎な点群及びRGB画像）に関して密な奥行き値を正確に推定することができると共に、第２奥行き結果（即ち図13Cに示す、2D‐30 Hzの高解像度の奥行きマップ）に関して密な奥行き値を推定することができる。更に、上述した実施例における平均的な複雑さは、26.232 fps（又は１フレームあたり38.122 ms）に達している。奥行き推定装置1300の複雑さは、色及び物体に基づいてガイドされた推定をバウンディングボックス領域などの領域に限定すれば、容易に低減することができる。換言すれば、処理ユニット1303は、画像修正アルゴリズムを処理して修正第１センサデータを処理するよう、２段階のセグメンテーションアルゴリズムを処理して第１セグメンテーション結果及び第２セグメンテーション結果を生成するよう、データ整列アルゴリズムを処理して同期化第２センサデータを生成するよう、更には２段階の奥行き推定アルゴリズムを処理して第１奥行き結果（即ち図13Bに示す、LiDARによる2D‐20 Hzの疎な点群及びRGB画像）及び第２奥行き結果（即ち図13Cに示す、2D‐30 Hzの高解像度の奥行きマップ）を生成するよう少なくとも構成されている。
【0067】
図14A〜図14Eは、本開示の例示的な実施形態の１つに係る奥行き推定方法の他の実施例の説明図を示す。図示の自動運転車両V1410は、奥行き推定装置1400を備える。奥行き推定装置1400は、第１タイプのセンサ（例えばステレオカメラ1401）、第２タイプのセンサ（例えばVelodyne社のレーザースキャナー）、GPS1404、並びにプロセッサ1403を備える。レーザースキャナー1402、ステレオカメラ1401、並びにGPS1404は、プロセッサ1403に結合されている。この場合、プロセッサ1403としては、例えば、Intel Core i7 ＠2.4 GHz 4GB RAMと、Ubuntu 16.04 LTS上で動作するNVidia GeForce 940M 2GB VRAMとを有するパーソナル・コンピュータを使用することができる。
【0068】
図14Bは、ステレオカメラ1401で得られた画像を示す。図14Cは、Velodyne社のレーザースキャナー1402で得られた画像を示す。より詳細に述べれば、プロセッサ1403は、画像修正アルゴリズムを処理して修正第１センサデータを処理するよう、２段階のセグメンテーションアルゴリズムを処理して第１セグメンテーション結果及び第２セグメンテーション結果を生成するよう、データ整列アルゴリズムを処理して同期化第２センサデータを生成するよう、更には２段階の奥行き推定アルゴリズムを処理して（図14Dに示す）第１奥行き結果及び（図14Eに示す）第２奥行き結果を生成するよう少なくとも構成されている。この場合、第２奥行き結果は、（図14Eに示すように）密な高解像度マップである。
【0070】
以上の記載から、本開示は、自動運転車両に使用するのに適した奥行き推定装置を提供するものである。具体的に述べれば、本開示の目的は、得られた２段階のセグメントを使用することにより、各センサによる奥行きマップの解像度を高めること、画像の特徴を考慮することにより、得られた２段階のセグメントを構成すること、更には色情報及び物体情報に基づいて、２段階の奥行き推定を行うことを含む。これにより、奥行き推定の精度を高めることができる。
【0071】
本明細書において開示された実施形態の詳細な説明における要素、動作、又は指示は、特に明示されていない限り、本開示にとって必ず重要又は必要であると解釈されるべきではない。また、本明細書における不定冠詞「a」及び「an」は、複数の要素を含み得る。１つの要素のみを対象とする場合には、「単一」又は類似の用語が使用されている。更に、本明細書における複数の要素及び／又は複数の要素のカテゴリーの前に記載の「何れか」という用語は、「任意」、「任意の組み合わせ」、「任意の複数」、及び／又は、「複数の要素の任意の組み合わせ」及び／又は「複数の要素のカテゴリーにおける任意の組み合わせ」という意味を、個別的に又は他の要素及び／又は他の要素のカテゴリーに関連して包含する。これに加えて、本明細書における「セット」という用語は、ゼロを含む任意の数の要素を包含する。更に、本明細書における「数値」は、ゼロを含む任意の数値を包含する。
【0072】
本開示の趣旨から逸脱することなく、開示された実施形態に関して様々な変更及び変形を加え得ることは当業者にとって自明のことであろう。上記の記載において、本開示の修正及び変形は、添付の特許請求の範囲内及びその均等物に含まれるのであれば包含されるものと解釈される。
【符号の説明】
【0073】
200 奥行き推定装置210 第１タイプのセンサ
220 第２タイプのセンサ
230 プロセッサ
300 自動運転車両
S410 方法ステップ
S412 方法ステップ
S420 方法ステップ
S421 方法ステップ
S422 方法ステップ
S430 方法ステップ
501 RGBカメラアレイ
502 LiDAR変換器アレイ
S510 RGB画像データステップ
S511 画像修正ステップ
S512a 色に基づくセグメンテーションステップ
S512b 物体に基づくセグメンテーションステップ
S520 奥行き体積データステップ
S521 データ整列ステップ
S522 色ガイドされた奥行き推定ステップ
S530 物体ガイドされた奥行き推定ステップ
701 RGBカメラアレイ
702 LiDAR変換器アレイ
703 変換行列
S710 RGB画像データステップ
S711 画像修正ステップ
S711a 修正済みRGB画像データステップ
S712a 色に基づくセグメンテーションステップ
S712b 物体に基づくセグメンテーションステップ
S721a 空間整列ステップ
S721b 時間整列ステップ
S722 色ガイドされた奥行き推定ステップ
S730 物体ガイドされた奥行き推定ステップ
S740 オクルージョン相関ステップ
S740a 相関奥行き体積データステップ
SEG セグメンテーション
Pt1〜Pt6、Pout 点
t、t-1、t+1 時間
OB1、OB2、OBS 物体
V100 車両
SW1、SW2 スキャンウィンドウ
P100 オクルージョン点
UNR 未規定の奥行き値領域
1300 奥行き推定装置
1301 フロントカメラ
1302a フロント右側LiDAR
1302b フロント左側LiDAR
1303 処理ユニット
V1310 自動運転車両
1400 奥行き推定装置
1401 ステレオカメラ
1402 Velodyne社のレーザースキャナー
1403 プロセッサ
1404 GPS
V1410 自動運転車両