特許7034530 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ▲騰▼▲訊▼科技（深▲セン▼）有限公司の特許一覧

特許7034530情報処理方法、デバイス、および端末

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2a
2b
2c
3a
3b
4
5

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-04

(45)【発行日】2022-03-14

(54)【発明の名称】情報処理方法、デバイス、および端末

(51)【国際特許分類】

G06T 7/00 20170101AFI20220307BHJP

【ＦＩ】

G06T7/00

G06T7/00 650A

【請求項の数】 12

(21)【出願番号】P 2017565896

(86)(22)【出願日】2016-12-28

(65)【公表番号】

(43)【公表日】2018-08-23

(86)【国際出願番号】 CN2016112671

(87)【国際公開番号】W WO2017124901

(87)【国際公開日】2017-07-27

【審査請求日】2018-02-01

【審判番号】

【審判請求日】2020-06-16

(31)【優先権主張番号】201610031452.5

(32)【優先日】2016-01-18

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾直樹

(72)【発明者】

【氏名】付玉▲錦▼

【合議体】

【審判長】清水正一

【審判官】渡辺努

【審判官】畑中高行

(56)【参考文献】

【文献】特開２０１１－２３３１６５（ＪＰ，Ａ）

【文献】特開２００８－１８７３４７（ＪＰ，Ａ）

【文献】特開２００９－２６６００３（ＪＰ，Ａ）

【文献】特開２００９－１９９２８４（ＪＰ，Ａ）

【文献】特表２０１２－５１７６５２（ＪＰ，Ａ）

【文献】再公表特許第２００８／９９９１５（ＪＰ，Ａ１）

【文献】米国特許出願公開第２０１５／１３８３１０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T7/00-7/90

(57)【特許請求の範囲】

【請求項1】

道路データを収集するステップであって、前記道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを備える、ステップと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの空間位置関係に基づいて、前記2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出するステップと、
前記地面領域画像における少なくとも1つのターゲット道路交通標識を検出するステップであって、前記少なくとも1つのターゲット道路交通標識は、車線境界線および/または道路標識を備える、ステップと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの前記空間位置関係に基づいて、前記少なくとも1つのターゲット道路交通標識の3次元座標を計算するステップと
を含み、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの空間位置関係に基づいて、前記2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出する前記ステップは、
前記慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するステップと、
前記慣性ナビゲーションの前記座標系を位置基準として見なして、前記3次元ポイントクラウドと前記2次元街路風景画像とを前記3次元空間にレジストレーションするステップと、
前記レジストレーションされた3次元ポイントクラウドによって、前記2次元街路風景画像における前記領域セグメント化を実行し、前記地面領域画像を抽出するステップと
を含む、データ処理方法。

【請求項2】

前記地面領域画像における少なくとも1つのターゲット道路交通標識を検出する前記ステップは、
バイナリ地面領域画像を取得するために、前記地面領域画像に対してバイナリ処理を実行するステップと、
地面正射投影画像を生成するために、前記バイナリ地面領域画像への正射投影変換を実行するステップと、
前記地面正射投影画像から少なくとも1つの道路交通標識を抽出するステップと
を含む、請求項1に記載の方法。

【請求項3】

前記地面正射投影画像から少なくとも1つの道路交通標識を抽出する前記ステップは、
画像認識方法を使用することによって、前記地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、干渉画像を抽出するステップと、
前記干渉画像を、バイナリマスクとして前記地面正射投影画像において反作用させるステップと、
前記画像認識方法を使用することによって、前記反作用された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するステップと、
抽出された前記第1の道路交通標識と前記第2の道路交通標識とを組み合わせて、前記少なくとも1つのターゲット道路交通標識を取得するステップと
を含む、請求項2に記載の方法。

【請求項4】

前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの前記空間位置関係に基づいて、前記少なくとも1つのターゲット道路交通標識の3次元座標を計算する前記ステップは、
慣性ナビゲーションの座標系における前記地面正射投影画像の形態学的データを取得するステップであって、前記形態学的データは、位置データおよび姿勢データを備える、ステップと、
前記形態学的データに従って、前記少なくとも1つのターゲット道路交通標識の前記3次元座標を発見するステップと
を含む、請求項2に記載の方法。

【請求項5】

道路データを収集するように構成された収集ユニットであって、前記道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを備える、収集ユニットと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの空間位置関係に基づいて、前記2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出するように構成されたセグメント化処理ユニットと、
前記地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニットであって、前記少なくとも1つのターゲット道路交通標識は、車線境界線および/または道路標識を備える、検出ユニットと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの前記空間位置関係に基づいて、前記少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニットと
を備え、
前記セグメント化処理ユニットは、
前記慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニットと、
前記慣性ナビゲーションの前記座標系を位置基準として見なして、前記3次元ポイントクラウドと前記2次元街路風景画像とを前記3次元空間にレジストレーションするように構成されたレジストレーションユニットと、
前記レジストレーションされた3次元ポイントクラウドによって、前記2次元街路風景画像における前記領域セグメント化を実行するように構成された領域セグメント化ユニットと、
前記地面領域画像を抽出するように構成された画像抽出ユニットと
を備える、データ処理装置。

【請求項6】

前記検出ユニットは、
バイナリ地面領域画像を取得するために、前記地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニットと、
地面正射投影画像を生成するために、前記バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニットと、
前記地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニットと
を備える、請求項5に記載のデータ処理装置。

【請求項7】

前記標識抽出ユニットは、
画像認識方法を使用することによって、前記地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、干渉画像を抽出するように構成された第1の抽出ユニットと、
前記干渉画像を、バイナリマスクとして前記地面正射投影画像において反作用させるように構成された反作用処理ユニットと、
前記画像認識方法を使用することによって、前記反作用された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニットと、
前記抽出された前記第1の道路交通標識と前記第2の道路交通標識とを組み合わせて、少なくとも1つのターゲット道路交通標識を取得するように構成された組合せ処理ユニットと
を備える、請求項6に記載のデータ処理装置。

【請求項8】

前記計算ユニットは、
慣性ナビゲーションの座標系における前記地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニットであって、前記形態学的データは、位置データおよび姿勢データを備える、形態学的データ取得ユニットと、
前記形態学的データに従って、前記少なくとも1つのターゲット道路交通標識の前記3次元座標を発見するように構成された座標発見ユニットと
を備える、請求項6に記載のデータ処理装置。

【請求項9】

データ処理装置を備えた端末であって、前記データ処理装置は、
道路データを収集するように構成された収集ユニットであって、前記道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを備える、収集ユニットと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの空間位置関係に基づいて、前記2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出するように構成されたセグメント化処理ユニットと、
前記地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニットであって、前記少なくとも1つのターゲット道路交通標識は、車線境界線および/または道路標識を備える、検出ユニットと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの前記空間位置関係に基づいて、前記少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニットと
を備え、
前記セグメント化処理ユニットは、
前記慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニットと、
前記慣性ナビゲーションの前記座標系を位置基準として見なして、前記3次元ポイントクラウドと前記2次元街路風景画像とを前記3次元空間にレジストレーションするように構成されたレジストレーションユニットと、
前記レジストレーションされた3次元ポイントクラウドによって、前記2次元街路風景画像における前記領域セグメント化を実行するように構成された領域セグメント化ユニットと、
前記地面領域画像を抽出するように構成された画像抽出ユニットと
を備える、端末。

【請求項10】

【請求項11】

前記標識抽出ユニットは、
画像認識方法を使用することによって、前記地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、干渉画像を抽出するように構成された第1の抽出ユニットと、
前記干渉画像を、バイナリマスクとして前記地面正射投影画像において反作用させるように構成された反作用処理ユニットと、
前記画像認識方法を使用することによって、前記反作用された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニットと、
抽出された前記第1の道路交通標識と前記第2の道路交通標識とを組み合わせて、少なくとも1つのターゲット道路交通標識を取得するように構成された組合せ処理ユニットと
を備える、請求項10に記載の端末。

【請求項12】

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、その全体が参照によって組み込まれた2016年1月18日出願の「INFORMATION PROCESSING METHOD, DEVICE, AND TERMINAL」と題された中国特許出願第201610031452.5号への優先権を主張する。

【0002】

本出願は、コンピュータ技術の分野に関し、具体的には、道路データ処理の技術分野、特に、データ処理方法、データ処理装置、および端末に関する。

【背景技術】

【0003】

カーナビゲーション、車両自動運転、および安全運転秘訣の既存の分野では、最も基本的で重要な技術は、車線境界線および道路標識のような道路交通標識に関する検出技術である。現在、主流の技術的ソリューションは、主として次の2つの種類を含む。1つのソリューションは、地面反射率の変化に基づく検出方法であり、道路交通標識の反射率は、一般に、道路表面の他の部分の反射率よりも高い。したがって、道路シーン空間の3次元ポイントクラウドが最初に取得され得、次に、この特徴に従って、3次元ポイントクラウドから道路交通標識を抽出し得る。このソリューションは、3次元ポイントクラウドから道路交通標識をダイレクトに検出し、抽出するので、3次元ポイントクラウドのポイントクラウドが、疎である、オクルージョンが生じている、欠落している等の場合には検出結果が影響され得る。さらに、地面反射率が、弱くなる、または、不均一になると、検出結果の精度が、ダイレクトに影響され得る。もう一方のソリューションは、手動検出方法であり、道路シーン空間の2次元街路風景画像および3次元ポイントクラウドを取得し、カラフルなポイントクラウドを生成するように、2次元街路風景画像を使用して3次元ポイントクラウドに色を適用し、その後、2次元街路風景画像に従って、カラフルなポイントクラウドから、道路交通標識を手動で抽出する。このソリューションもやはり3次元ポイントクラウドから、道路交通標識をダイレクトに抽出するため、3次元ポイントクラウドのポイントクラウドが、疎である、オクルージョンが生じている、欠落している等の場合には検出結果が影響を受け得る可能性がある。さらに、手動検出は、非実用的であり、低効率であり、誤りを容易に引き起こす。

【発明の概要】

【課題を解決するための手段】

【0004】

本出願の実施形態は、データ処理方法、装置、および端末を提供する。2次元街路風景画像における道路交通標識を検出することによって、検出結果の精度と、データ処理の実用性とが向上され得る。

【0005】

本出願の実施形態の第1の態様は、データ処理方法を提供し、この方法は、
道路データを収集するステップであって、道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む、ステップと、
2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するステップと、
地面領域画像における少なくとも1つのターゲット道路交通標識を検出するステップであって、道路交通標識は、車線境界線および/または道路標識を含む、ステップと、
2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するステップとを含み得る。

【0006】

好適には、2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するステップは、
慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するステップと、
慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録するステップと、
登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出するステップとを含む。

【0007】

好適には、地面領域画像における少なくとも1つのターゲット道路交通標識を検出するステップは、
バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行するステップと、
地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行するステップと、
地面正射投影画像から少なくとも1つの道路交通標識を抽出するステップとを含む。

【0008】

好適には、地面正射投影画像から少なくとも1つの道路交通標識を抽出するステップは、
地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するステップと、
干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なすステップと、
画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するステップと、
少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせるステップとを含む。

【0009】

好適には、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するステップは、
慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得するステップであって、形態学的データは、位置データおよび姿勢データを含む、ステップと、
形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見するステップとを含む。

【0010】

本出願の実施形態の第2の態様は、データ処理装置を提供し、この装置は、
道路データを収集するように構成された収集ユニットであって、道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む、収集ユニットと、
2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するように構成されたセグメント化処理ユニットと、
地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニットであって、道路交通標識は、車線境界線および/または道路標識を含む、検出ユニットと、
2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニットとを含み得る。

【0011】

好適には、セグメント化処理ユニットは、
慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニットと、
慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録するように構成された登録ユニットと、
登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行するように構成された領域セグメント化ユニットと、
地面領域画像を抽出するように構成された画像抽出ユニットとを含む。

【0012】

好適には、検出ユニットは、
バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニットと、
地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニットと、
地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニットとを含む。

【0013】

好適には、標識抽出ユニットは、
地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するように構成された第1の抽出ユニットと、
干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なすように構成された反応処理ユニットと、
画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニットと、
少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせるように構成された組合せ処理ユニットとを含む。

【0014】

好適には、計算ユニットは、
慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニットであって、形態学的データは、位置データおよび姿勢データを含む、形態学的データ取得ユニットと、
形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見するように構成された座標発見ユニットとを含む。

【0015】

本出願の実施形態の第3の態様は、端末を提供する。この端末は、先述した2つの態様のデータ処理装置を含み得る。

【発明の効果】

【0016】

本出願の実施形態を実施することによって、以下の有用な効果が取得される。

【0017】

本出願の実施形態では、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを収集した後、2次元街路風景画像における領域セグメント化を実行し、3次元ポイントクラウドおよび慣性ナビゲーションデータを使用することによって地面領域画像を抽出することと、地面領域画像における少なくとも1つのターゲット道路交通標識を検出し、ターゲット道路交通標識の3次元座標を反転させることと。3次元ポイントクラウドのポイントクラウドが、疎である、オクルージョンが生じている、欠落している等の場合に検出結果が影響を受けることが回避され得る。なぜなら、3次元ポイントクラウドではなく、2次元街路風景画像から、道路交通標識が検出され、取得されるからである。それに加えて、慣性ナビゲーションデータおよび3次元ポイントクラウドを使用することによって、2次元街路風景画像における領域セグメント化を正確に実行し、2次元街路風景画像を検出し、抽出することによって、検出結果の精度と、データ処理の実用性とが効果的に向上され得る。

【0018】

本願の実施形態における、または、先行技術における技術的ソリューションをより明確に例示するために、以下は、実施形態または先行技術を説明するために必要とされる添付図面を手短に紹介する。明らかに、以下の説明における添付図面は、本願の単なるいくつかの実施形態を図示しているだけであり、当業者であればまだ、創造的な努力なしで、これら添付図面から、他の図面を導出し得る。

【図面の簡単な説明】

【0019】

【図1】本出願の実施形態に従うデータ処理方法のフローチャートである。

【図2a】本出願の実施形態に従う2次元街路風景画像の概要図である。

【図2b】本出願の実施形態に従う2次元街路風景画像および3次元ポイントクラウドを登録するステップの概要図である。

【図2c】本出願の実施形態に従う地面領域画像の概要図である。

【図3a】本出願の実施形態に従うバイナリ地面領域画像の概要図である。

【図3b】本出願の実施形態に従う地面正射投影画像の概要図である。

【図4】本出願の実施形態に従う端末の概要構成図である。

【図5】本出願の実施形態に従うデータ処理装置の概要構成図である。

【発明を実施するための形態】

【0020】

本願の実施形態における技術的ソリューションは、添付図面を参照して以下に明確に説明される。明らかに、説明されるべき実施形態は、本願の実施形態のすべてではなく、単なる一部である。創造的な努力なしで本発明の実施形態に基づいて当業者によって取得された他のすべての実施形態は、本発明の保護範囲内にあるものとする。

【0021】

本出願の実施形態では、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを収集した後、検出結果の精度とデータ処理の実用性とを向上させる目的に到達するように、2次元街路風景画像における領域セグメント化を実行し、3次元ポイントクラウドおよび慣性ナビゲーションデータを使用することによって地面領域画像を抽出することと、地面領域画像における少なくとも1つのターゲット道路交通標識を検出し、ターゲット道路交通標識の3次元座標を反転させることと。

【0022】

先述した原理に基づいて、本出願の実施形態は、データ処理方法を提供する。図1に図示されるように、この方法は、以下のステップS101～ステップS104を含む。

【0023】

S101:道路データを収集する。道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む。

【0024】

2次元街路風景画像は、道路を撮影するために、カメラおよびカメラレンズのようなカメラ機器を使用することによって取得され得る。2次元街路風景画像は、通常、地面領域の画像と、非地面領域の画像とを含み、地面領域の画像は、道路表面状態、道路交通標識、道路上を走行する車両、道路の分離ストリップのようなデータを描写し得る。非地面領域の画像は、ビル、道路の周囲の植物等を描写し得る。さらに、道路交通標識は、交通案内情報、制限、警告等を伝達するために使用される線、単語、矢印、物体マーク、道路鋲、および誘導標のような標識を称する。道路交通標識は、限定されないが、車線境界線および/または道路標識を含み、道路標識は、限定されないが、操舵標識、減速標識、禁止ゾーン標識等を含む。3次元ポイントクラウドは、レーザスキャナによって取得され得る。レーザスキャナは、各空間点の3次元座標を取得するために、スキャン範囲において多数の空間ポイントをスキャンし得、各空間ポイントに対応するレーザパルス強度に関する3次元ポイントクラウドを形成し得る。慣性ナビゲーションデータは、スキャンするために、慣性ナビゲーションシステム(Inertial Navigation System、INS)と慣性測定ユニット(Inertial Measurement Unit、IMU)とを使用することによって取得され得る。具体的には、INSは、スキャン位置の全地球測位システム(Global Positioning System、GPS)データと、速度、加速度等を含むキャリア走行データとを取得し得、IMUは、キャリアの回転、ピッチ、およびヨーデータを取得し得る。

【0025】

S102:2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出する。

【0026】

本出願の実施形態では、収集された2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータが、すべて同じシーン空間に由来する。したがって、これら3つの空間的位置関係に基づいて、および、3次元ポイントクラウドを使用することによって、2次元街路風景画像に対して領域セグメント化が実行され得る。具体的な実施では、この方法がステップS102を実行した場合、この方法は具体的に、以下のステップs11～s13を実行する。

【0027】

s11:慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立する。

【0028】

INSは、外部情報に依存せず、外部へエネルギを放出しない自動ナビゲーションシステムである。IMUは、物体の3軸姿勢角度(または角速度)および加速度を測定するために使用される装置である。INSおよびIMUはともに、ジャイロスコープおよび加速度計を含み、ジャイロスコープは、慣性ナビゲーションの座標系を形成し、加速度計の測定軸を、慣性ナビゲーションの座標系における進路および姿勢角度を安定して形成させる。加速度計は、キャリアが走行した場合における加速度を測定し、一連の計算および変換を使用することによって、速度、変位、回転、およびピッチのようなキャリアの慣性ナビゲーションデータを取得するために使用される。したがって、3次元空間において使用される慣性ナビゲーションの座標系は、収集された慣性ナビゲーションデータに従って逆計算され得る。慣性ナビゲーションの座標系は、スキャン処理における3次元空間の位置基準である。

【0029】

s12:慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録する。

【0030】

慣性ナビゲーションの座標系を位置基準として見なし、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録する。具体的な実施では、シーン空間におけるある3次元ポイントP(x_i,y_i,z_i)が、レーザスキャナを使用することによって取得される。3次元ポイントP(x_i,y_i,z_i)は、カメラ機器による画像化後、2次元街路風景画像におけるある2次元ポイントP'(x_j,y_j)を取得し得る。登録の目的は、3次元ポイントクラウドおよび2次元街路風景画像から、マッチしたすべての3次元ポイントP(x_i,y_i,z_i)および2次元ポイントP'(x_j,y_j)を発見することである。

【0031】

s13:登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出する。

【0032】

3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録した後、3次元ポイントクラウドを使用することによって、2次元街路風景画像における領域セグメント化が便利に実施される。3次元ポイントクラウドにおける各ポイントは、3次元座標(x,y,z)によって表され、よって、領域セグメント化は、x、y、およびzの値に従って、3次元空間へ直観的に実行され得る。たとえば、地面領域における3次元ポイントのz軸の値が零であれば、そのz軸の値が3次元ポイントクラウドにおける零であるすべての3次元ポイントを用いて構築された空間領域は、地面空間領域であり、同様に、ターゲット空間領域における3次元ポイントのx軸の値が、事前設定された値であれば、そのx軸の値が3次元ポイントクラウドにおける事前設定された値であるすべての3次元ポイントを抽出することによって構築された空間領域は、ターゲット空間領域である。これに基づいて、ステップは、3次元空間における領域セグメント化を実行するために、3次元ポイントクラウドにおける各ポイントの3次元座標を使用し得、地面空間領域に各3次元ポイントとともに登録しているすべての2次元ポイントを発見し得る。2次元街路風景画像における2次元ポイントを用いて構築された領域画像は、地面領域画像である。

【0033】

先述したステップs11～s13を目標とし、図2a～図2cを参照して、図2aは、収集された2次元街路風景画像を図示する。ステップs12では、慣性ナビゲーションの座標系に基づいて、図2aに図示された2次元街路風景画像を、3次元ポイントクラウドへ登録した後、図2aに図示される画像が形成され得る。図2cに図示される地面領域画像は、s13におけるように、図2bに図示される画像への領域セグメント化を実行した後に取得され得る。

【0034】

S103:地面領域画像における少なくとも1つのターゲット道路交通標識を検出する。道路交通標識は、車線境界線および/または道路標識を含む。

【0035】

2次元街路風景画像の撮影中に、地面領域画像の撮影方式は、通常、非正射であり、カメラ機器および道路表面は、基本的には、ヘッドアップ範囲にあり、すなわち、カメラ機器の撮像軸は、地面に対して垂直ではなく、ある角度を有しており、慣性ナビゲーションの座標系における角度は、カメラ機器のヨー角度および/またはピッチ角度を表す。非正射方式で取得された地面領域画像のフィールドの深さは、比較的大きく、近くから遠くへ緩やかな遷移を伴っている。これは、道路交通標識を抽出するための基本を与える。しかしながら、非正射方式は、地面領域画像における道路交通標識を変形させ得、検出の困難さを増す。これに基づいて、ステップは、検出中に、地面領域画像を処理する必要があり、方法がステップS103を実行する場合、方法は、具体的に、以下のステップs21～s23を実行する。

【0036】

s21:バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行する。

【0037】

一般に、収集された2次元街路風景画像は、カラフルな画像であり、2次元街路風景画像から抽出された地面領域画像もまた、カラフルな画像であるが、道路交通標識は白である。地面領域画像における道路交通標識をより明確に、かつ、より検出し易くするために、バイナリ地面領域画像を取得するように、ステップにおいて、カラフルな地面領域画像に対してバイナリ処理が実行される必要がある。

【0038】

s22:地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行する。

【0039】

正射投影変換の目的は、地面領域画像の光学軸の方向が垂直になるように調節することである。具体的には、バイナリ地面領域画像は、地面正射投影画像を生成するために、3次元ポイントクラウドによって説明される地面空間領域へ投影され得る。

【0040】

s23:地面正射投影画像から、少なくとも1つの道路交通標識を抽出する。

【0041】

地面正射投影画像は、車線境界線および道路標識のような道路交通標識を明確に表し、これによって、少なくとも1つの道路交通標識が、画像再構築化を使用することによって認識および抽出されることが可能になり、具体的な実施では、地面正射投影画像における車線境界線を認識するために、Hough変換(Hough Transform)の方法が使用され得、地面正射投影画像における道路標識を認識するために、モジュールマッチングの方法が使用され得る。

【0042】

先述したステップs21～s23を目標とし、図3a～図3bを参照して、ステップs21におけるバイナリ処理後、図2cに図示される抽出された地面領域画像を目標として、図3aに図示されたバイナリ地面領域画像が取得され得る。図3bに図示される地面正射投影は、図3aに図示されるバイナリ地面領域画像に対してステップs21において正射投影変換が実行された後に取得され得る。少なくとも1つの道路交通標識は、画像再構築化を使用することによって、図3bに図示される地面正射投影から抽出され得る。

【0043】

実用的な応用では、地面領域画像には、走行中の車両、分離帯、および道路の汚れのような干渉物が常に存在する。したがって、バイナリ地面正射投影画像には干渉画像が存在し、干渉画像は、道路交通標識の検出結果に影響を与え得る。この問題を解決するために、本出願の実施形態に従う方法は、具体的には、方法がステップs23を実行した場合に、以下のステップs231～s234を実行する。

【0044】

s231:地面正射投影画像から少なくとも1つの道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出する。

【0045】

s232:干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なす。

【0046】

s233:画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出する。

【0047】

s234:少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせる。

【0048】

ステップs231～ステップs234は、干渉物の影響が、除去され得、次に、道路交通標識を抽出することによって、道路交通標識の検出結果の精度が、向上され得ることを図示する。具体的には、最初に、地面正射投影画像から、道路交通標識を一回抽出し、同時に、干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして抽出する。地面正射投影画像における干渉画像は、反応によって除去され得る。そして、2つの道路交通標識を組み合わせるために、地面正射投影画像から、もう1回道路交通標識を抽出する。干渉の影響を除去するために、2回目の抽出方式は限定されず、たとえば、多数の抽出された道路交通標識を組み合わせるために、3回目以降の抽出が使用され得ることが注目されるべきである。2回目の抽出と比較して、3回目以降の抽出は、低効率にはなるもののより完全に干渉の影響を除去し得、よって、具体的な実施における選択は、現実的なニーズに従ってなされ得る。

【0049】

S104:2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算する。

【0050】

具体的な実施では、この方法がステップS104を実行する場合、この方法は、具体的には、以下のステップs31～s32を実行する。

【0051】

s31:慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得し、形態学的データは、位置データおよび姿勢データを含む。

【0052】

s32:形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見する。

【0053】

先述したステップs31～s32では、慣性ナビゲーションの座標系における地面正射投影画像の位置データおよび姿勢データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて取得され得る。なぜなら、地面正射投影画像は、2次元街路風景画像に由来するからである。道路交通標識の3次元座標は、慣性ナビゲーションの座標系における地面正射投影画像の位置データおよび姿勢データを使用することによって反転され得る。

【0054】

本出願の実施形態は、データ処理方法を提供する。2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを収集した後、2次元街路風景画像における領域セグメント化を実行し、3次元ポイントクラウドおよび慣性ナビゲーションデータを使用することによって地面領域画像を抽出するステップと、地面領域画像における少なくとも1つのターゲット道路交通標識を検出し、ターゲット道路交通標識の3次元座標を反転させるステップと。3次元ポイントクラウドのポイントクラウドが、疎である、オクルージョンが生じている、欠落している等の場合に検出結果が影響を受けることが回避され得る。なぜなら、3次元ポイントクラウドではなく、2次元街路風景画像から、道路交通標識が検出され、取得されるからである。それに加えて、慣性ナビゲーションデータおよび3次元ポイントクラウドを使用することによって、2次元街路風景画像における領域セグメント化を正確に実行し、2次元街路風景画像を検出し、抽出することによって、検出結果の精度と、データ処理の実用性とが効果的に向上され得る。

【0055】

本出願の実施形態は、ラップトップ、電話、パッド(PAD)、および車両端末のようなデバイスを含む端末を提供する。図4を参照して示すように、端末の内部構成は、限定されないが、プロセッサ、ユーザインターフェース、ネットワークインターフェース、およびメモリを含み得る。端末におけるプロセッサ、ユーザインターフェース、ネットワークインターフェース、およびメモリは、バスを用いて、または他の手法で接続され得る。本出願の実施形態の図4では、例としてバス接続を採用する。

【0056】

ユーザインターフェースは、ユーザと端末との間のインタラクションおよび情報交換媒体であり、具体的には、出力するために使用されるディスプレイ(Display)、入力するために使用されるキーボード(Keyboard)等を含む。本明細書におけるキーボードは、物理的なキーボード、またはタッチスクリーン仮想キーボード、または物理的かつタッチスクリーン仮想キーボードであり得ることが注目されるべきである。プロセッサ(または中央処理装置(CPU))は、端末の計算コアおよび制御コアであり、端末における命令と、処理端末のデータとを分析し得、たとえば、CPUは、ユーザによって端末へ送信されたオン/オフ命令を分析し、端末がオン/オフ操作を実行することを制御するために使用され得、別の例としては、CPUは、端末の内部構成間でインタラクションデータを送信し得る等である。メモリ(Memory)は、プログラムおよびデータを記憶するために使用される、端末におけるメモリデバイスである。本明細書におけるメモリは、端末の内部メモリを含み得、また、端末によってサポートされる拡張メモリをも含み得ることが理解されるべきである。メモリは、端末のオペレーティングシステムを記憶するストレージ空間を提供する。本出願の実施形態では、メモリのストレージ空間はまた、データ処理装置を記憶する。端末は、メモリにおいてデータ処理装置を実行することによって、先述した図1～図3に図示される方法手順の対応するステップを実行する。図5を参照して示すように、データ処理装置は、以下のユニットを実行する。
道路データを収集するように構成された収集ユニット101。道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む。
2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するように構成されたセグメント化処理ユニット102。
地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニット103。道路交通標識は、車線境界線および/または道路標識を含む。
2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニット104。

【0057】

具体的な実施では、デバイスが、セグメント化処理ユニット102を操作する場合、デバイスは具体的に以下のユニットを操作する。
慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニット1001。
慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録するように構成された登録ユニット1002。
登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行するように構成された領域セグメント化ユニット1003。
地面領域画像を抽出するように構成された画像抽出ユニット1004。

【0058】

具体的な実施では、デバイスが、検出ユニット103を操作した場合、デバイスは、具体的に以下のユニットを操作する。
バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニット2001。
地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニット2002。
地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニット2003。

【0059】

具体的な実施では、デバイスが標識抽出ユニット2003を操作する場合、デバイスは具体的に以下のユニットを操作する。
地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するように構成された第1の抽出ユニット2331。
干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なすように構成された反応処理ユニット2332。
画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニット2333。
少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせるように構成された組合せ処理ユニット2334。

【0060】

具体的な実施では、デバイスが計算ユニット104を操作する場合、デバイスは具体的に以下のユニットを操作する。
慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニット3001。形態学的データは、位置データおよび姿勢データを含む。
形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見するように構成された座標発見ユニット3002。

【0061】

図1～図3に図示されるデータ処理方法は、本出願の実施形態に従って、図5に図示されたデータ処理装置におけるすべてのユニットによって実行され得る。たとえば、図1に図示されるステップS101、S102、S103、およびS104は、図5に図示される収集ユニット101、セグメント化処理ユニット102、検出ユニット103、および計算ユニット104によって個別に実行され得、ステップs11、s12、およびs13は、図5に図示される確立ユニット1001、登録ユニット1002、領域セグメント化ユニット1003、および画像抽出ユニット1004によって個別に実行され得、ステップs21、s22、およびs23は、図5に図示されるバイナリ処理ユニット2001、変換ユニット2002、および標識抽出ユニット2003によって個別に実行され得、ステップs231、s232、s233およびs234は、図5に図示される第1の抽出ユニット2331、反応処理ユニット2332、第2の抽出ユニット2333、および組合せ処理ユニット2334によって個別に実行され得、ステップs31およびs32は、図5に図示される形態学的データ取得ユニット3001および座標発見ユニット3002によって個別に実行され得る。

【0062】

本出願の別の実施形態に従って、図5に図示されるデータ処理装置のためのシステムのユニットは、1つもしくはいくつかの他のユニットへ個別にもしくは全体的に組み合わされ得るか、または、本明細書に記載されたユニットのうちの1つ(もしくは複数)はさらに、より小さな機能の多数のユニットへ分割され得る。このように、同じ操作が実施され得、本出願の実施形態の技術的効果の実施は影響されない。先述したユニットは、論理的な機能に基づいて分割される。実際の適用例では、1つのユニットの機能はまた、多数のユニットによって実施され得るか、または、多数のユニットの機能が、1つのユニットによって実施される。本出願の他の実施形態では、端末デバイスは、他のモジュールを含み得る。しかしながら、実際の適用例では、これら機能はまた、別のユニットによって協調的に実施され得、多数のユニットによって協調的に実施され得る。

【0063】

本出願の別の実施形態に従って、図5に図示されるデータ処理装置が構築され得、データ処理方法は、中央処理装置(CPU)、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)等を含むプロセシング素子およびメモリ素子、たとえば、コンピュータの汎用コンピューティングデバイスにおいて、図1に図示されるデータ処理方法を実行し得るコンピュータプログラム(プログラムコードを含む)を実行することによって、本出願の実施形態に従って実施され得る。コンピュータプログラムは、たとえば、コンピュータ読取可能な記録媒体に記録され得、コンピュータ読取可能な記録媒体を使用することによって、先述したコンピューティングデバイスへロードされ得、コンピューティングデバイスにおいて実行され得る。

【0064】

本出願の実施形態は、この方法と同じであるデータ処理装置を提供する。2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを収集した後、2次元街路風景画像における領域セグメント化を実行し、3次元ポイントクラウドおよび慣性ナビゲーションデータを使用することによって地面領域画像を抽出することと、地面領域画像における少なくとも1つのターゲット道路交通標識を検出し、ターゲット道路交通標識の3次元座標を反転することと。3次元ポイントクラウドのポイントクラウドが、疎である、オクルージョンが生じている、欠落している等の場合に検出結果が影響を受けることが回避され得る。なぜなら、3次元ポイントクラウドではなく、2次元街路風景画像から、道路交通標識が検出され、取得されるからである。それに加えて、慣性ナビゲーションデータおよび3次元ポイントクラウドを使用することによって、2次元街路風景画像における領域セグメント化を正確に実行し、2次元街路風景画像を検出し、抽出することによって、検出結果の精度と、データ処理の実用性とが効果的に向上され得る。

【0065】

本出願の各部分は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せを使用することによって実施され得ることが理解されるべきである。先述した実施では、複数のステップまたは方法が、メモリに記憶され適切な命令実行システムによって実行されるソフトウェアまたはファームウェアを使用することによって実施され得る。たとえば、別の実施におけるものと同じように、実施するためにハードウェアを使用するのであれば、この分野で知られた以下の技術、すなわち、デジタル信号のための論理機能を実施するために使用される論理ゲート回路のディスクリート論理回路、組合せの論理ゲート回路の適切な特定の集積回路、プログラマブルゲートアレイ(PGA)、フィールドプログラマブルゲートアレイ(FPGA)等のうちの任意の1つまたはそれらの組合せが、実施するために使用され得る。

【0066】

当業者であれば、この実施形態における方法の処理のうちのすべてまたはいくつかが、関連するハードウェアに対して命令するコンピュータプログラムによって実施され得ることを理解し得る。プログラムは、コンピュータ読取可能な記憶媒体に記憶され得る。プログラムが実行された場合、実施形態における方法の処理が実行される。それに加えて、本願の実施形態における機能ユニットが、1つの処理モジュールへ統合され得るか、または、ユニットの各々が、物理的に単独で存在し得るか、または、2つ以上のユニットが、1つのモジュールへ統合される。統合されたモジュールは、ハードウェアまたはソフトウェア機能モジュールの形態で実施され得る。ソフトウェア機能モジュールの形態で実施され、独立した製品として販売または使用されるのであれば、統合されたモジュールはまた、コンピュータ読取可能な記憶媒体に記憶され得る。記憶媒体は、磁気ディスク、光ディスク、読取専用メモリ(Read-Only Memory、ROM)またはランダムアクセスメモリ(Random Access Memory、RAM)等であり得る。

【0067】

上記で開示されたものは単に、本出願の例示的な実施形態であり、本出願の保護範囲を限定することは当然ながら意図されていない。したがって、本出願の特許請求の範囲に従ってなされた等価な変形は、本出願の範囲内にあるものとする。

【符号の説明】

【0068】

101 収集ユニット
102 セグメント化処理ユニット
103 検出ユニット
104 計算ユニット
1001 確立ユニット
1002 登録ユニット
1003 領域セグメント化ユニット
1004 画像抽出ユニット
2001 バイナリ処理ユニット
2002 変換ユニット
2003 標識抽出ユニット
2331 第1の抽出ユニット
2332 反応処理ユニット
2333 第2の抽出ユニット
2334 組合せ処理ユニット
3001 形態学的データ取得ユニット
3002 座標発見ユニット

【図1】