特開 2022-128593 車線コーナー検出方法と装置、電子機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022128593

(43)【公開日】2022-09-02

(54)【発明の名称】車線コーナー検出方法と装置、電子機器及び記憶媒体

(51)【国際特許分類】

   G06T 7/60 20170101AFI20220826BHJP

   G06T 7/00 20170101ALI20220826BHJP

   G08G 1/16 20060101ALI20220826BHJP

【ＦＩ】

G06T7/60 200J

G06T7/00 350C

G06T7/00 650A

G08G1/16 C

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022024631

(22)【出願日】2022-02-21

(31)【優先権主張番号】202110202957.4

(32)【優先日】2021-02-23

(33)【優先権主張国・地域又は機関】CN

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】521254764

【氏名又は名称】北京図森智途科技有限公司

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野 文雄

(74)【代理人】

【識別番号】100165308

【弁理士】

【氏名又は名称】津田 俊明

(74)【代理人】

【識別番号】100115048

【弁理士】

【氏名又は名称】福田 康弘

(72)【発明者】

【氏名】▲瀋▼ 振▲偉▼

(72)【発明者】

【氏名】黄 ▲澤▼昊

(72)【発明者】

【氏名】王 乃岩

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB05

5H181BB13

5H181BB20

5H181CC03

5H181CC04

5H181CC14

5H181FF04

5H181FF25

5H181FF27

5H181FF33

5H181LL09

5L096AA06

5L096BA04

5L096CA02

5L096DA02

5L096FA03

5L096FA66

5L096GA30

5L096GA34

5L096GA51

5L096HA11

5L096JA22

5L096KA04

(57)【要約】      （修正有）

【課題】車線コーナー検出方法と装置、電子機器及び記憶媒体を提供する。
【解決手段】方法は、検出される道路画像を取得するステップと、道路画像を予めトレーニングされたニューラルネットワークモデルに入力して処理し、道路画像に対応する、各画素が特定のコーナーカテゴリに属する確率を含むヒートマップ予測結果を得るステップと、ヒートマップ予測結果における各画素が特定のコーナーカテゴリに属する確率に基づき、道路画像における複数の異なるカテゴリのコーナーを決定するステップと、所定のルールに応じて複数の異なるカテゴリのコーナーをグループ分けし、複数のコーナーグループを得るステップと、を含む。
【効果】ニューラルネットワークモデルを利用して車線に対応するヒートマップを予測することで、ヒートマップ予測結果における各画素が特定のコーナーカテゴリに属する確率を速やかに取得でき、更に複数のコーナーグループを得られる。
【選択図】図２

【特許請求の範囲】

【請求項1】

検出される道路画像を取得するステップと、
前記道路画像を予めトレーニングされたニューラルネットワークモデルに入力して処理し、前記道路画像に対応する、各画素が特定のコーナーカテゴリに属する確率を含むヒートマップ予測結果を得るステップと、
前記ヒートマップ予測結果に基づいて前記道路画像における複数の異なるカテゴリのコーナーを決定するステップと、
所定のルールに応じて前記複数の異なるカテゴリのコーナーをグループ分けし、少なくとも１つのコーナーグループを得るステップと、
を含むことを特徴とする車線コーナー検出方法。

【請求項2】

前記ニューラルネットワークモデルは、前記道路画像における各画素が車線に属するか否かのセマンティックセグメンテーション結果を出力するための第１のネットワークブランチと、前記道路画像のヒートマップ予測結果を出力するための第２のネットワークブランチと、を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記セマンティックセグメンテーション結果における各画素の予測値は０又は１であり、或いは、前記セマンティックセグメンテーション結果における各画素の予測値は、［０，１］区間内の確率値であり、
前記ヒートマップ予測結果における各画素の予測値は、［０，１］区間内の確率値である、
ことを特徴とする請求項２に記載の方法。

【請求項4】

前記ヒートマップ予測結果と前記セマンティックセグメンテーション結果における各画素の予測値を乗算し、前記ヒートマップにおける車線のない領域の点を間引き、更新後のヒートマップを得るステップを更に含む、
請求項２に記載の方法。

【請求項5】

前記ヒートマップ予測結果と前記セマンティックセグメンテーション結果における各画素の予測値を乗算するステップは、
前記セマンティックセグメンテーション結果における車線を特徴付ける画素範囲を拡大し、更新後のセマンティックセグメンテーション結果を得るステップと、
前記ヒートマップ予測結果と更新後のセマンティックセグメンテーション結果における各画素の予測値を乗算するステップと、
を含むことを特徴とする請求項４に記載の方法。

【請求項6】

前記ヒートマップ予測結果は、それぞれ１つのコーナーカテゴリに対応し、且つ前記ヒートマップにおける各画素が対応するコーナーカテゴリに属する確率を含むヒートマップを４枚含み、前記ヒートマップ予測結果に基づいて前記道路画像における複数の異なるカテゴリのコーナーを決定するステップは、
各ヒートマップにおける各画素が特定のコーナーカテゴリに属する確率に基づき、当該ヒートマップに対応するカテゴリのコーナーを決定し、更に４枚のヒートマップに含まれる４種類のコーナーを得るステップを含む、
ことを特徴とする請求項１に記載の方法。

【請求項7】

各ヒートマップにおける各画素が特定のコーナーカテゴリに属する確率に基づき、当該ヒートマップに対応するカテゴリのコーナーを決定するステップは、
所定のスライディングウィンドウ領域を用いて前記ヒートマップでスライディングウィンドウ操作を行い、前記スライディングウィンドウ領域の中心点の確率値が所定の条件を満たす場合、前記スライディングウィンドウ領域の中心点を対応するカテゴリのコーナーとしてマーキングするステップを含む、
ことを特徴とする請求項６に記載の方法。

【請求項8】

前記所定の条件は、
前記スライディングウィンドウ領域の中心点の確率値が所定の確率閾値以上であり、且つ前記スライディングウィンドウ領域の局所極大値であることを含む、
ことを特徴とする請求項７に記載の方法。

【請求項9】

コーナーカテゴリは、左上カテゴリ、右上カテゴリ、左下カテゴリ及び右下カテゴリの少なくとも１つを含む、
ことを特徴とする請求項１に記載の方法。

【請求項10】

所定のルールに応じて前記複数の異なるカテゴリのコーナーをグループ分けし、少なくとも１つのコーナーグループを得るステップは、
距離が最も近い左上カテゴリと右上カテゴリのコーナーをマッチングし、上側コーナー対を得るステップと、
距離が最も近い左下カテゴリと右下カテゴリのコーナーをマッチングし、下側コーナー対を得るステップと、
距離が最も近い上側コーナー対と下側コーナー対をマッチングし、複数のコーナーグループを得るステップと、
を含むことを特徴とする請求項９に記載の方法。

【請求項11】

所定のルールに応じて前記複数の異なるカテゴリのコーナーをグループ分けし、複数のコーナーグループを得るステップは、
距離が最も近い左上カテゴリと左下カテゴリのコーナーをマッチングし、左側コーナー対を得るステップと、
距離が最も近い右上カテゴリと右下カテゴリのコーナーをマッチングし、右側コーナー対を得るステップと、
距離が最も近い左側コーナー対と右側コーナー対をマッチングし、複数のコーナーグループを得るステップと、
を含むことを特徴とする請求項９に記載の方法。

【請求項12】

少なくとも１つのコーナーグループは、複数のコーナーグループを含み、前記方法は、
前記複数のコーナーグループにおける異常なコーナーグループを間引くステップを更に含み、具体的には、
前記複数のコーナーグループにおける２つのコーナー対の辺の長さの差が所定の閾値よりも大きいコーナーグループを間引くステップを含む、
ことを特徴とする請求項１～１１の何れか一項に記載の方法。

【請求項13】

破線の車線を含むとともに破線の車線のコーナー及びコーナー付近の各画素が特定のコーナーカテゴリに属する確率がラベリングされたトレーニング画像を複数枚取得するステップと、
前記トレーニング画像を利用して初期ニューラルネットワークモデルをトレーニングし、トレーニングされたニューラルネットワークモデルを得るステップと、を更に含み、
前記コーナー付近の各画素が特定のコーナーカテゴリに属する確率は、ガウス分布を示し、各コーナーグループは、１つの車線実例を構成する、
ことを特徴とする請求項１に記載の方法。

【請求項14】

メモリと、前記メモリに接続されるプロセッサとを含み、
前記メモリは、プログラムを記憶するために用いられ、
前記プロセッサは、前記メモリに記憶されたプログラムを呼び出し、請求項１～１３の何れか一項に記載の方法を実行するために用いられる、
ことを特徴とする電子機器。

【請求項15】

コンピュータプログラムが記憶された記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行される時、請求項１～１３の何れか一項に記載の方法を実行する、ことを特徴とする記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、自動運転技術分野に属し、具体的には、車線コーナー検出方法と装置、電子機器及び記憶媒体に関する。

【背景技術】

【0002】

自動車産業の発展に伴い、益々多くの人工知能技術は、自動運転技術に適用されるようになり、車線検出は、自動運転技術における重要な一環となっている。

【0003】

現在の車線検出アルゴリズムは、Ｃａｎｎｙエッジ検出アルゴリズムを採用して車線のエッジを検出し、続いてハフ（Ｈｏｕｇｈ）直線変換を利用して画像における潜在的な直線を検出し、更に車道のいくつかの幾何学的制約によって車線を検索することができる。更に、セマンティックセグメンテーション法によって車線を認識する方法など、深層学習に基づく車線検出方法もある。しかしながら、今までのこれらの方法は、画像における車線画素のみを認識できるが、車線コーナーを正確で速やかに検出できない。

【発明の概要】

【0004】

上記課題に鑑み、本願は、従来の車線検出方法によって車線コーナーを正確で速やかに検出できない問題を改善する車線コーナー検出方法と装置、電子機器及び記憶媒体を提供することを目的とする。

【0005】

本願の実施例は、以下のように実現される。

【0006】

第１の態様において、本願の実施例は、検出される道路画像を取得するステップと、道路画像を予めトレーニングされたニューラルネットワークモデルに入力して処理し、道路画像に対応する、各画素が特定のコーナーカテゴリに属する確率を含むヒートマップ予測結果を得るステップと、ヒートマップ予測結果における各画素が特定のコーナーカテゴリに属する確率に基づき、道路画像における複数の異なるカテゴリのコーナーを決定するステップと、所定のルールに応じて複数の異なるカテゴリのコーナーをグループ分けし、複数のコーナーグループを得るステップと、を含む車線コーナー検出方法を提供する。本願の実施例において、ニューラルネットワークモデルを利用して道路画像における車線に対応するヒートマップを予測することで、ヒートマップ予測結果における各画素が特定のコーナーカテゴリに属する確率を速やかに取得することができ、続いて、ヒートマップ予測結果における各画素が特定のコーナーカテゴリに属する確率に基づき、道路画像における複数の異なるカテゴリのコーナーを決定し、更に複数の異なるカテゴリのコーナーをグループ分けし、複数のコーナーグループを速やかに得ることができ、従来の車線検出方法によって車線コーナーを正確で速やかに検出できない問題が解決される。所定のルールは、コーナーカテゴリ及びコーナー位置を含む。

【0007】

第１の態様の実施例の１つの可能な実施形態によれば、ニューラルネットワークモデルは、道路画像における各画素が車線に属するか否かのセマンティックセグメンテーション結果を出力するための第１のネットワークブランチと、道路画像のヒートマップ予測結果を出力するための第２のネットワークブランチと、を含む。本願の実施例において、２つのネットワークブランチを含むニューラルネットワークモデルを採用することで、１つのネットワークのみによって道路画像における各画素が車線に属するか否かのセマンティックセグメンテーション結果、及び道路画像のヒートマップ予測結果を同時に出力することができ、セマンティックセグメンテーション結果に基づいてヒートマップにおける車線のない領域のコーナーを間引くことを容易にし、コーナーの検出精度を向上させ、更に、１つのニューラルネットワークモデルのみに関わるため、使用コストが節約される。

【0008】

第１の態様の実施例の１つの可能な実施形態によれば、セマンティックセグメンテーション結果における各画素の予測値は０又は１であり、或いは、セマンティックセグメンテーション結果における各画素の予測値は、［０，１］区間内の確率値であり、ヒートマップ予測結果における各画素の予測値は、［０，１］区間内の確率値である。［０，１］区間とは、０≦確率値≦１を意味する。

【0009】

第１の態様の実施例の１つの可能な実施形態によれば、ヒートマップ予測結果とセマンティックセグメンテーション結果における各画素の予測値を乗算し、ヒートマップにおける車線のない領域のコーナーの予測確率値を低減させ、更新後のヒートマップを得るステップを更に含む。この形態によれば、コーナーの検出精度を向上させることができる。

【0010】

第１の態様の実施例の１つの可能な実施形態によれば、ヒートマップ予測結果とセマンティックセグメンテーション結果における各画素の予測値を乗算するステップは、セマンティックセグメンテーション結果における車線を特徴付ける画素範囲を拡大し、更新後のセマンティックセグメンテーション結果を得るステップと、ヒートマップ予測結果と範囲拡大後（又は更新後）のセマンティックセグメンテーション結果における各画素の予測値を乗算するステップと、を含む。本願の実施例において、セマンティックセグメンテーション結果における車線を特徴付ける画素範囲を拡大し、続いてヒートマップ予測結果と範囲拡大後（又は更新後）のセマンティックセグメンテーション結果における各画素の予測値を乗算することで、コーナーの選別中に車線からの距離が近いがセマンティックセグメンテーション結果の予測値が小さいコーナーを漏らすことを防止する。

【0011】

第１の態様の実施例の１つの可能な実施形態によれば、ヒートマップ予測結果は、それぞれ１つのコーナーカテゴリに対応し、且つ前記ヒートマップにおける各画素が対応するコーナーカテゴリに属する確率を含むヒートマップを４枚含む。本願の実施例において、ニューラルネットワークモデルを利用してヒートマップにおける各画素が属するコーナーカテゴリを予測する場合、モデルによって各コーナーカテゴリを分類し、分類後の４種類のコーナーカテゴリに対応する４枚のヒートマップを直接出力することで、後続のコーナーマッチングの精度を向上させる。

【0012】

第１の態様の実施例の１つの可能な実施形態によれば、ヒートマップ予測結果における各画素が特定のコーナーカテゴリに属する確率に基づき、道路画像における複数の異なるカテゴリのコーナーを決定するステップは、各ヒートマップにおける各画素が特定のコーナーカテゴリに属する確率に基づき、当該ヒートマップに対応するカテゴリのコーナーを決定し、更に４枚のヒートマップに含まれる４種類のコーナーを得るステップを含む。本願の実施例において、各ヒートマップにおける各画素が特定のコーナーカテゴリに属する確率に基づき、当該ヒートマップに対応するカテゴリのコーナーを決定することで、４枚のヒートマップに含まれる４種類のコーナーを速やかに決定することができる。

【0013】

第１の態様の実施例の１つの可能な実施形態によれば、各ヒートマップにおける各画素が特定のコーナーカテゴリに属する確率に基づき、当該ヒートマップに対応するカテゴリのコーナーを決定するステップは、所定のスライディングウィンドウ領域を用いてヒートマップでスライディングウィンドウ操作を行い、スライディングウィンドウ領域の中心点の確率値が所定の条件を満たす場合、スライディングウィンドウ領域の中心点を対応するカテゴリのコーナーとしてマーキングするステップを含む。本願の実施例において、所定のスライディングウィンドウ領域を用いてヒートマップでスライディングウィンドウ操作を行い、確率値が所定の条件を満たすスライディングウィンドウ領域の中心点を対応するカテゴリのコーナーとしてマーキングし、スライディングウィンドウ操作により、コーナーの確認速度を速くすることができるだけでなく、確率値が所定の条件を満たすスライディングウィンドウ領域にある中心点をコーナーとしてマーキングするため、コーナーの検出精度を向上させることもできる。

【0014】

第１の態様の実施例の１つの可能な実施形態によれば、所定の条件としては、スライディングウィンドウ領域の中心点の確率値が所定の確率閾値以上であり、且つスライディングウィンドウ領域の局所極大値である。本願の実施例において、スライディングウィンドウ領域の中心点の確率値が所定の確率閾値以上であり、且つスライディングウィンドウ領域の局所極大値である場合にのみ、それをコーナーとしてマーキングし、コーナーの検出精度が保証される。

【0015】

第１の態様の実施例の１つの可能な実施形態によれば、コーナーカテゴリは、左上カテゴリ、右上カテゴリ、左下カテゴリ及び右下カテゴリの少なくとも１つを含む。

【0016】

第１の態様の実施例の１つの可能な実施形態によれば、所定のルールに応じて複数の異なるカテゴリのコーナーをグループ分けし、複数のコーナーグループを得るステップは、距離が最も近い左上カテゴリと右上カテゴリのコーナーをマッチングし、上側コーナー対を得るステップと、距離が最も近い左下カテゴリと右下カテゴリのコーナーをマッチングし、下側コーナー対を得るステップと、距離が最も近い上側コーナー対と下側コーナー対をマッチングし、複数のコーナーグループを得るステップと、を含む。本願の実施例において、異なるカテゴリのコーナーをグループ分けする場合、距離が最も近い左上カテゴリと右上カテゴリのコーナーをマッチングし、上側コーナー対を得て、距離が最も近い左下カテゴリと右下カテゴリのコーナーをマッチングし、下側コーナー対を得て、最後に距離が最も近い上側コーナー対と下側コーナー対をマッチングすれば、複数のコーナーグループを速やかに取得することができ、また、マッチングは、距離が最も近いことに基づいて行われるため、各コーナーグループがいずれも同一の車線に属する４種類のコーナーを含むことがある程度保証される。

【0017】

第１の態様の実施例の１つの可能な実施形態によれば、所定のルールに応じて複数の異なるカテゴリのコーナーをグループ分けし、複数のコーナーグループを得るステップは、距離が最も近い左上カテゴリと左下カテゴリのコーナーをマッチングし、左側コーナー対を得るステップと、距離が最も近い右上カテゴリと右下カテゴリのコーナーをマッチングし、右側コーナー対を得るステップと、距離が最も近い左側コーナー対と右側コーナー対をマッチングし、複数のコーナーグループを得るステップと、を含む。本願の実施例において、異なるカテゴリのコーナーをグループ分けする場合、距離が最も近い左上カテゴリと左下カテゴリのコーナーをマッチングし、左側コーナー対を得て、距離が最も近い右上カテゴリと右下カテゴリのコーナーをマッチングし、右側コーナー対を得て、続いて距離が最も近い左側コーナー対と右側コーナー対をマッチングすれば、複数のコーナーグループを速やかに取得することができ、また、マッチングは、距離が最も近いことに基づいて行われるため、各コーナーグループがいずれも同一の車線に属する４種類のコーナーを含むことがある程度保証される。

【0018】

第１の態様の実施例の１つの可能な実施形態によれば、複数のコーナーグループを得た後、方法は、複数のコーナーグループにおける異常なコーナーグループを間引くステップを更に含む。本願の実施例において、複数のコーナーグループにおける異常なコーナーグループを間引き、正常なコーナーグループのみを保留することで、コーナーの検出精度が向上する。

【0019】

第１の態様の実施例の１つの可能な実施形態によれば、複数のコーナーグループにおける異常なコーナーグループを間引くステップは、複数のコーナーグループにおける２つのコーナー対の辺の長さの差が所定の閾値よりも大きいコーナーグループを間引くステップを含む。本願の実施例において、コーナーグループにおける２つのコーナー対の辺の長さの差と所定の閾値との比較により、異常なコーナーグループを速やかに間引くことができる。

【0020】

第１の態様の実施例の１つの可能な実施形態によれば、破線の車線を含むとともに破線の車線のコーナー及びコーナー付近の各画素が特定のコーナーカテゴリに属する確率がラベリングされたトレーニング画像を複数枚取得するステップと、トレーニング画像を利用して初期ニューラルネットワークモデルをトレーニングし、トレーニングされたニューラルネットワークモデルを得るステップと、を更に含む。本願の実施例において、破線の車線のコーナー及びコーナー付近の各画素が特定のコーナーカテゴリに属する確率がラベリングされたトレーニング画像を利用して初期ニューラルネットワークモデルをトレーニングすることで、車線における各画素が特定のコーナーカテゴリに属する確率を予測できるヒートマップを取得することができ、後続のコーナー検出に役立つ。

【0021】

第１の態様の実施例の１つの可能な実施形態によれば、コーナー付近の各画素が特定のコーナーカテゴリに属する確率は、ガウス分布を示し、各コーナーグループは、１つの車線実例を構成する。本願の実施例において、ラベリングする場合、コーナー付近の各画素が特定のコーナーカテゴリに属する確率がガウス分布を示す特徴に応じてラベリングすることで、後続のコーナー検出時の精度が保証される。

【0022】

第２の態様において、本願の実施例は、検出される道路画像を取得するための画像取得モジュールと、道路画像を予めトレーニングされたニューラルネットワークモデルに入力して処理し、道路画像に対応する、各画素が特定のコーナーカテゴリに属する確率を含むヒートマップ予測結果を得るためのモデル予測モジュールと、ヒートマップ予測結果における各画素が特定のコーナーカテゴリに属する確率に基づき、道路画像における複数の異なるカテゴリのコーナーを決定するためのコーナー決定モジュールと、所定のルールに応じて複数の異なるカテゴリのコーナーをグループ分けするためのコーナーグループ決定モジュールと、を含む車線コーナー検出装置を更に提供する。

【0023】

第３の態様において、本願の実施例は、メモリと、メモリに接続されるプロセッサとを含み、メモリは、プログラムを記憶するために用いられ、プロセッサは、メモリに記憶されたプログラムを呼び出し、上記第１の態様の実施例及び／又は第１の態様の実施例の何れか１つの可能な実施形態により提供される方法を実行するために用いられる、電子機器を更に提供する。

【0024】

第４の態様において、本願の実施例は、コンピュータプログラムが記憶された記憶媒体であって、コンピュータプログラムは、プロセッサによって実行される時、上記第１の態様の実施例及び／又は第１の態様の実施例の何れか１つの可能な実施形態により提供される方法を実行する、記憶媒体を更に提供する。

【0025】

本願の他の特徴及び利点は、以下の明細書において説明され、且つ本明細書から部分的に明らかになるか、又は本願の実施例の実施によって理解される。本願の目的及び他の利点は、書かれた明細書及び図面に特に指摘された構造によって実現され、得られることが可能である。

【0026】

本願の実施例又は従来技術における技術的解決手段をより明らかに説明するために、以下、実施例に使用される図面を簡単に紹介するが、無論、以下の説明における図面は本発明のいくつかの実施例に過ぎず、当業者にとっては、創造的労働を行うことなく、これらの図面に基づいて他の図面を更に得ることができる。図示により、本願の上記と他の目的、特徴及び利点がより明瞭になる。全ての図面において、同じ符号は同一の部分を表す。図面は、意図的に実際の寸法などの比率に応じて拡大縮小されて描画されておらず、本願の要旨を示すことを重点としている。

【図面の簡単な説明】

【0027】

【図1】本願の実施例により提供される車両のアーキテクチャ概略図を示す。

【図2】本願の実施例により提供される車線コーナー検出方法のフローチャートを示す。

【図3】本願の実施例により提供される車線コーナー検出方法の原理概略図を示す。

【図4】本願の実施例により提供される車線コーナー検出装置のモジュールブロック図を示す。

【図5】本願の実施例により提供される電子機器の構造概略図を示す。

【発明を実施するための形態】

【0028】

以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を説明する。

【0029】

類似する符号及びアルファベットは、以下の図面において類似する項目を表すため、ある項目が１つの図面において定義されると、その後の図面においてそれに対して更なる定義及び解釈を行う必要がないことに留意されたい。また、本願の説明において、「第１」、「第２」といった関係用語は、一方の実体又は操作を他方の実体又は操作と区別するためのものに過ぎず、これらの実体又は操作の間に何らかのこのような実際の関係又は順序が存在することを必ず要求又は示唆するとは限らない。また、「含む」、「包含」といった用語又はそれらの任意の他の変形は、非排他的包含を網羅することを意図し、それにより、一連の要素を含むプロセス、方法、物品又は機器がそれらの要素を含むだけでなく、明確に列挙されていない他の要素を更に含むか、又はこのようなプロセス、方法、物品又は機器に固有の要素を更に含む。更なる制限がない場合、「１つの…を含む」という語句によって限定される要素は、前記要素を含むプロセス、方法、物品又は機器に他の同様な要素が更に存在することを排除しない。

【0030】

なお、本願における「及び／又は」という用語は、関連対象の関連関係を説明するものに過ぎず、３種類の関係が存在し得ることを示し、例えば、Ａ及び／又はＢは、Ａが単独で存在する場合と、Ａ及びＢが同時に存在する場合と、Ｂが単独で存在する場合との３つの状況を示すことができる。

【0031】

従来の車線検出方法によって車線コーナーを正確で速やかに検出できない問題に鑑み、本願の実施例は、車線コーナー検出方法を提供し、ニューラルネットワークモデルを利用して道路画像における車線に対応するヒートマップ（応答マップとも呼ばれる）を予測することで、ヒートマップ予測結果（応答マップ予測結果とも呼ばれる）における各画素が特定のコーナーカテゴリに属する確率を速やかに取得することができ、更にヒートマップ予測結果における各画素が特定のコーナーカテゴリに属する確率（応答値又は信頼度とも呼ばれてもよい）に基づき、道路画像における複数の異なるカテゴリのコーナーを決定し、続いて複数の異なるカテゴリのコーナーをグループ分けし、複数のコーナーグループを得ることができ、従来の車線検出方法によって車線コーナーを正確で速やかに検出できない問題が解決される。

【0032】

本願の実施例により提供される車線コーナー検出方法は、車両に適用することができ、以下、図１を参照しながら本願に係る車両を説明する。ここで、図１は、その中で本明細書に開示される種々の技術を実現可能な車両１００の概略図である。車両１００は、セダン型自動車、トラック、自動二輪車、バス、船、飛行機、ヘリコプター、芝刈り機、ショベル、スノーモービル、航空機、レクリエーション用車両、遊園地車両、農場装置、建築装置、路面電車、ゴルフカート、列車、トロリーバス、又は他の車両であってよい。車両１００は、完全又は部分的に自動運転モードで動作することができる。車両１００は、自動運転モードでそれ自体を制御することができ、例えば、車両１００は、車両の現在状態及び車両が位置する環境の現在状態を決定し、当該環境における少なくとも１つの他の車両の予測挙動を決定し、当該少なくとも１つの他の車両がこの予測挙動を実行する可能性に対応する信頼レベルを決定し、決定された情報に基づいて車両１００自体を制御することができる。自動運転モードにある場合、車両１００は、人と対話することなく動作することができる。

【0033】

車両１００は、駆動システム１４２、センサシステム１４４、制御システム１４６、ユーザインタフェースシステム１４８、コンピューティングシステム１５０及び通信システム１５２などの各種の車両システムを含むことができる。車両１００は、より多いか又はより少ないシステムを含んでもよく、各システムは、複数のユニットを含むことができる。更に、車両１００の各システムとユニットとは、互いに接続されてもよい。例えば、コンピューティングシステム１５０は、駆動システム１４２、センサシステム１４４、制御システム１４６、ユーザインタフェースシステム１４８及び通信システム１５２のうちの１つ又は複数とデータ通信を行うことができる。それにより、車両１００の１つ又は複数の説明される機能は、付加的な機能性部材又は実体部材として分けられるか、又は、数がより少ない機能性部材又は実体部材として組み合わせられることが可能である。更なる例において、付加的な機能性部材又は実体部材は、図１に示す例に追加されてもよい。駆動システム１４２は、車両１００に運動エネルギーを提供する複数の操作可能な部材（又はユニット）を含むことができる。一実施例において、駆動システム１４２は、エンジン又は電動機、車輪、変速機、電子システム及び動力（又は動力源）を含むことができる。エンジン又は電動機は、内燃機関、モータ、蒸気機関、燃料電池エンジン、プロパンエンジン又は他の形態のエンジン又は電動機の任意の組み合わせであってよい。いくつかの実施例において、エンジンは、動力源を機械的エネルギーに変換することができる。いくつかの実施例において、駆動システム１４２は、様々なエンジン又は電動機を含むことができる。例えば、ハイブリッド車両は、ガソリンエンジン及び電動機を含んでもよく、それ以外の場合を含んでもよい。

【0034】

車両１００の車輪は、標準車輪であってよい。車両１００の車輪は、一輪、二輪、三輪、又はセダン型自動車又はトラックの四輪などの四輪を含む様々な形態の車輪であってもよい。六輪又はより多くの車輪などの他の数の車輪であってもよい。車両１００の１つ又は複数の車輪は、他の車輪の回転方向と異なるように操作されることができる。車輪は、変速機に固定接続される少なくとも１つ車輪であってもよい。車輪は、金属とゴムの組み合わせ、又は他の物質の組み合わせを含むことができる。変速機は、エンジンの機械的動力を車輪に伝送するように操作可能なユニットを含むことができる。この目的のために、変速機は、歯車箱、クラッチ、差動歯車及び伝動軸を含むことができる。変速機は、他のユニットを含んでもよい。伝動軸は、車輪に適合する１つ又は複数の輪軸を含むことができる。電子システムは、車両１００の電子信号を伝送又は制御するためのユニットを含むことができる。これらの電子信号は、車両１００における複数のランプ、複数のサーボ機構、複数の電動機及び他の電子駆動又は制御装置を起動するために用いることができる。動力源は、全体的又は部分的にエンジン又は電動機に動力を提供するエネルギー源であってよい。即ち、エンジン又は電動機は、動力源を機械的エネルギーに変換することができる。例示的に、動力源は、ガソリン、石油、石油系燃料、プロパン、他の圧縮ガス燃料、エタノール、燃料電池、ソーラーパネル、電池及び他の電気エネルギー源を含むことができる。動力源は、燃料タンク、電池、コンデンサ、又はフライホイールの任意の組み合わせを付加的又は選択的に含むことができる。動力源は、車両１００の他のシステムにエネルギーを提供することもできる。

【0035】

センサシステム１４４は、車両１００の環境及び条件の情報を感知するための複数のセンサを含むことができる。例えば、センサシステム１４４は、慣性測定ユニット（ＩＭＵ）、ＧＮＳＳ（全地球航法衛星システム）、トランシーバ（例えば、全地球測位システム（ＧＰＳ）トランシーバ）、レーダ（ＲＡＤＡＲ）、レーザ距離計／ＬＩＤＡＲ（又は他の距離測定装置）、音響センサ、超音波センサ及びカメラ又は画像キャプチャ装置を含むことができる。センサシステム１４４は、車両１００を監視するための複数のセンサ（例えば、酸素（Ｏ_２）モニタ、燃料計センサ、エンジン油圧センサ及び温度、湿度、圧力センサなど）を含むことができる。他のセンサを更に配置してもよい。センサシステム１４４に含まれる１つ又は複数のセンサは、１つ又は複数のセンサの位置、方向、又はその両方を更新するために、単独で駆動されるか又は一括で駆動されることができる。

【0036】

ＩＭＵは、慣性加速に基づいて車両１００の位置変化及び方向変化を感知するために、センサの組み合わせ（例えば、加速器及びジャイロ）を含むことができる。ＧＰＳトランシーバは、車両１００の地理的位置を推定するための任意のセンサであってよい。この目的のために、ＧＰＳトランシーバは、地球に対する車両１００の位置情報を提供するために、受信機／送信機を含むことができる。ＧＰＳは、全地球航法衛星システムの一例であるため、いくつかの実施例において、ＧＰＳトランシーバは、北斗衛星ナビゲーションシステムトランシーバ又はガリレオ衛星ナビゲーションシステムトランシーバに置き換えられてもよいことを説明しておく。レーダユニットは、無線信号を用いて車両１００が位置する環境における対象を感知することができる。いくつかの実施例において、感知対象に加え、レーダユニットは、車両１００に接近する物体の速度及び前進方向を感知するために用いることもできる。レーザ距離計又はＬＩＤＡＲユニット（又は他の距離測定装置）は、レーザを用いて車両１００が位置する環境における物体を感知する任意のセンサであってよい。一実施例において、レーザ距離計／ＬＩＤＡＲユニットは、レーザ光源、レーザスキャナー及び感知器を含むことができる。レーザ距離計／ＬＩＤＡＲユニットは、連続（例えば、ヘテロダイン検出を使用する）又は不連続の検出モードで動作するために用いられる。カメラは、車両１００が位置する環境の複数の画像をキャプチャするための装置を含むことができる。カメラは、静止画像カメラ又は動的ビデオカメラであってよい。

【0037】

制御システム１４６は、車両１００及びその部材（又はユニット）に対する操作を制御するために用いられる。それに応じて、制御システム１４６は、ステアリングユニット、動力制御ユニット、制動ユニット及びナビゲーションユニットなどの様々なユニットを含むことができる。

【0038】

ステアリングユニットは、車両１００の前進方向を調整する機械の組み合わせであってよい。動力制御ユニット（例えば、アクセルであってよい）は、例えば、エンジンの運転速度を制御し、更に車両１００の速度を制御するために用いることができる。制動ユニットは、車両１００を減速させるための機械の組み合わせを含むことができる。制動ユニットは、標準方式で摩擦力を利用して車両を減速させることができる。他の実施例において、制動ユニットは、車輪の運動エネルギーを電流に変換することができる。制動ユニットは、他の形態を採用してもよい。ナビゲーションユニットは、車両１００のために運転経路又はルートを決定する任意のシステムであってもよい。ナビゲーションユニットは、車両１００の進行中に運転経路を動的に更新することもできる。制御システム１４６は、示されていないか又は説明されていない他の部材（又はユニット）を付加的又は選択的に含むこともできる。

【0039】

ユーザインタフェースシステム１４８は、車両１００と外部センサ、他の車両、他のコンピュータシステム及び／又は車両１００のユーザとの間のインタラクションを可能にするために用いることができる。例えば、ユーザインタフェースシステム１４８は、標準的な視覚表示装置（例えば、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）、タッチパネルディスプレイ、ヘッドマウントディスプレイ、又は他の類似するディスプレイ）、スピーカ又は他のオーディオ出力装置、マイクロフォン又は他のオーディオ入力装置を含むことができる。例えば、ユーザインタフェースシステム１４８は、ナビゲーションインタフェース及び車両１００の内部環境（例えば、温度、ファンなど）を制御するインタフェースを更に含むことができる。

【0040】

通信システム１５２は、車両１００のために１つ又は複数の機器又は周辺の他の車両と通信する方式を提供することができる。例示的な一実施例において、通信システム１５２は、直接、又は通信ネットワークによって１つ又は複数の機器と通信することができる。通信システム１５２は、例えば、無線通信システムであってよい。例えば、通信システムは、３Ｇセルラ通信（例えば、ＣＤＭＡ、ＥＶＤＯ、ＧＳＭ／ＧＰＲＳ）又は４Ｇセルラ通信（例えば、ＷｉＭＡＸ又はＬＴＥ）を利用してもよく、５Ｇセルラ通信を利用してもよい。選択的に、通信システムは、無線ローカルエリアネットワーク（ＷＬＡＮ）と通信することができる（例えば、ＷＩＦＩ（登録商標）を利用する）。いくつかの実施例において、通信システム１５２は、例えば、赤外線、ブルートゥース（登録商標）、又はＺＩＧＢＥＥを利用して１つ又は複数の機器又は周辺の他の車両と直接通信することができる。各種の車載通信システムなどの他の無線プロトコルも、本願の開示範囲にある。例えば、通信システムは、車両及び／又は路側局と公的又は私的データ通信を行う１つ又は複数の専用狭域通信（ＤＳＲＣ）装置、Ｖ２Ｖ（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）装置又はＶ２Ｘ（Ｖｅｈｉｃｌｅ ｔｏ Ｅｖｅｒｙｔｈｉｎｇ）装置を含むことができる。

【0041】

コンピューティングシステム１５０は、車両１００の一部又は全部の機能を制御することができる。コンピューティングシステム１５０における自動運転制御ユニットは、車両１００が位置する環境における潜在的な障害の識別、評価、及び回避又は乗り越えに用いることができる。通常、自動運転制御ユニットは、運転者のない場合に車両１００を制御し、又は運転者が車両を制御するために補助を提供するために用いることができる。いくつかの実施例において、自動運転制御ユニットは、ＧＰＳトランシーバからのデータ、レーダデータ、ＬＩＤＡＲデータ、カメラデータ及び他の車両システムからのデータを組み合わせ、車両１００の走行経路又は軌跡を決定するために用いられる。自動運転制御ユニットは、車両１００が自動運転モードで運転可能になるように活性化されることができる。

【0042】

コンピューティングシステム１５０は、少なくとも１つのプロセッサ（それが少なくとも１つのマイクロプロセッサを含むことができる）を含むことができ、プロセッサは、不揮発性コンピュータ可読媒体（例えば、データ記憶装置又はメモリ）に記憶される処理命令（即ち、機械実行可能命令）を実行する。コンピューティングシステム１５０は、車両１００の部材又はシステムを分散的に制御する複数のコンピューティング装置であってもよい。いくつかの実施例において、メモリには、プロセッサによって車両１００の様々な機能を実現するように実行される処理命令（例えば、プログラム論理）を含むことができる。一実施例において、コンピューティングシステム１５０は、駆動システム１４２、センサシステム１４４、制御システム１４６、ユーザインタフェースシステム１４８、及び／又は通信システム１５２とデータ通信を行うことができる。コンピューティングシステムにおけるインタフェースは、コンピューティングシステム１５０と駆動システム１４２、センサシステム１４４、制御システム１４６、ユーザインタフェースシステム１４８、及び通信システム１５２との間のデータ通信を促進するために用いられる。

【0043】

メモリは、データ送信用の命令、データ受信用の命令、インタラクション用の命令、又は駆動システム１４２、センサシステム１４４、又は制御システム１４６又はユーザインタフェースシステム１４８を制御するための命令を含む、他の命令を含んでもよい。

【0044】

処理命令を記憶するほか、メモリは、画像処理パラメータ、道路地図及び経路情報などの様々な情報又はデータを記憶することができる。車両１００が自動方式、半自動方式及び／又は手動モードで動作する間、これらの情報は、車両１００及びコンピューティングシステム１５０によって使用されることができる。

【0045】

自動運転制御ユニットがプロセッサ及びメモリから分離して示されているが、理解すべきなのは、いくつかの実施形態において、自動運転制御ユニットの一部又は全部の機能は、１つ又は複数のメモリ（又はデータ記憶装置）に常駐するプログラムコード命令を利用して実現され、１つ又は複数のプロセッサによって実行することができ、また、自動運転制御ユニットは、いくつかの場合に同様のプロセッサ及び／又はメモリ（又はデータ記憶装置）を利用して実現されてもよい。いくつかの実施形態において、自動運転制御ユニットは、様々な特定用途向け回路論理、様々なプロセッサ、様々なフィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、様々な特定用途向け集積回路（「ＡＳＩＣ」）、様々なリアルタイムコントローラ及びハードウェアを少なくとも部分的に使用して実現することができる。

【0046】

コンピューティングシステム１５０は、様々な車両システム（例えば、駆動システム１４２、センサシステム１４４及び制御システム１４６）から受信した入力、又はユーザインタフェースシステム１４８から受信した入力に基づき、車両１００の機能を制御することができる。例えば、コンピューティングシステム１５０は、制御システム１４６からの入力を用いて、センサシステム１４４により検出された障害物を回避するようにステアリングユニットを制御することができる。一実施例において、コンピューティングシステム１５０は、車両１００及びそのシステムの複数の面を制御するために用いることができる。

【0047】

図１には車両１００に集積された様々な部材（又はユニット）が示されているが、これらの部材（又はユニット）のうちの１つ又は複数は、車両１００に搭載されるか又は車両１００に単独で関連付けられてもよい。例えば、コンピューティングシステムは、部分的又は全体的に車両１００から独立して存在してもよい。従って、車両１００は、分離又は集積された機器ユニットの形態で存在することができる。車両１００を構成する機器ユニットの間は、有線通信又は無線通信の方式で相互通信を実現することができる。いくつかの実施例において、付加的な部材又はユニットを各システムに追加するか、又はシステムから１つ以上の部材又はユニット（例えば、図１に示すＬｉＤＡＲ又はレーダ）を取り外すことができる。

【0048】

本願に係る車両アーキテクチャを紹介した後、以下、図２を参照しながら本願の実施例により提供される車線コーナー検出方法を説明する。

【0049】

ステップＳ１０１において、検出される道路画像を取得する。

【0050】

車両に取り付けられるカメラによって車両の自動運転中における道路図形をリアルタイムに収集することで、検出される道路画像を取得することができる。当該カメラは、車両の前方に取り付けられる前面カメラであってもよく、車両の側面に取り付けられる側面カメラであってもよく、前面カメラ＋側面カメラの混合モードであってもよい。

【0051】

ここで、前面カメラにより収集された道路画像における破線の車線における小さなブロックは、縦長の長方形状であり、側面カメラにより収集された道路画像における破線の車線における小さなブロックは、横長の長方形状である。

【0052】

ステップＳ１０２において、道路画像を予めトレーニングされたニューラルネットワークモデルに入力して処理し、道路画像に対応する、各画素が特定のコーナーカテゴリに属する確率を含むヒートマップ予測結果を得る。

【0053】

検出される道路画像を予めトレーニングされたニューラルネットワークモデルに入力して処理すれば、道路画像に対応するヒートマップ予測結果（応答マップ予測結果とも呼ばれる）を得ることができ、そのうち、当該ヒートマップ予測結果には各画素が特定のコーナーカテゴリ（コーナーカテゴリは、左上カテゴリ、右上カテゴリ、左下カテゴリ又は右下カテゴリを含むことができる）に属する確率（応答値又は信頼度とも呼ばれる）を含み、異なる画素が属する特定のコーナーカテゴリは異なってもよい。

【0054】

そのうち、当該ニューラルネットワークモデルは、予めトレーニングされたニューラルネットワークモデルであり、そのトレーニングプロセスは、以下の通りであってよい。まず、破線の車線を含む複数枚（２枚以上）のトレーニング画像を取得し、続いて、トレーニング画像を利用して初期ニューラルネットワークモデルをトレーニングし、トレーニングされたニューラルネットワークモデルを得ることができる。そのうち、当該トレーニング画像には破線の車線のコーナー及びコーナー付近の各画素が特定のコーナーカテゴリに属する確率がラベリングされており、即ち、破線の車線を含む道路画像を取得した後、ラベリングアルゴリズムを利用して道路画像における破線の車線のコーナー及びコーナー付近の各画素が特定のコーナーカテゴリに属する確率をラベリングし、コーナーに位置する画素の確率は１であり、コーナー付近の各画素が特定のコーナーカテゴリに属する確率は、規則的に分布し、即ち、これらの確率値は、特定の関数分布に合致し、例えば、ガウス分布などに合致するが、勿論、これに限定されない。一般的に、コーナーとの距離が遠いほど、画素の確率値が比較的小さくなる。異なるコーナーカテゴリに対応するラベルが異なり、当該コーナーカテゴリは、左上カテゴリ、右上カテゴリ、左下カテゴリ及び右下カテゴリを含む。同一の破線の車線に属する４種類のコーナーは、１つのコーナーグループを構成し、各コーナーグループは、１つの車線実例を構成する。そのうち、当該ニューラルネットワークモデルは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮ）であってよい。理解すべきなのは、本開示の「付近」とは、ある目標点（例えば、あるコーナー）からの距離が所定の距離範囲内にあることを意味する。

【0055】

１つの選択的な実施形態では、ニューラルネットワークモデルは、道路画像における各画素が車線に属するか否かのセマンティックセグメンテーション結果を出力するための第１のネットワークブランチと、道路画像のヒートマップ予測結果を出力するための第２のネットワークブランチと、を含むことができる。当該実施形態において、道路画像を当該ニューラルネットワークモデルに入力し、道路画像における各画素が車線に属するか否かのセマンティックセグメンテーション結果を出力し、且つ道路画像のヒートマップ予測結果を出力し、その原理概略図を図３に示す。そのうち、セマンティックセグメンテーション結果における各画素の予測値は、０又は１であり、或いは、セマンティックセグメンテーション結果における各画素の予測値は、［０，１］区間内の確率値である。ヒートマップ予測結果における各画素の予測値は、［０，１］区間内の確率値である。当然のことながら、当業者は、必要に応じて他の数値範囲に設定してもよく、各画素間の確率差分を特徴付けることができればよく、本願は、これに限定されない。

【0056】

そのうち、トレーニング時に、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎ，ＳＧＤ）、Ａｄａｍなどのアルゴリズムのような、一般的に使われるニューラルネットワーク最適化アルゴリズムを採用して、最適化トレーニングを行うことができ、損失関数を選択する場合、第１のネットワークブランチに対して正規化（Ｓｏｆｔｍａｘ）、交差エントロピー（Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ）などの一般的に使われるセグメンテーション損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を使用することができる。第２のネットワークブランチに対してフォーカル損失（Ｆｏｃａｌ Ｌｏｓｓ）、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒの略称）などの、Ｈｅａｔｍａｐ（ヒートマップ）をトレーニングするために一般的に使用される損失関数を使用することができる。そのうち、以上に例示された最適化アルゴリズム及び損失関数は、当業者に熟知されているため、ここでその詳細な説明を省略する。

【0057】

理解すべきなのは、車線検出方法は実車の動作中に実行されることができ、この場合、撮影された画像には、道路を含む可能性もあるし、道路を含まない可能性もある。従って、モデルにより画像を処理する場合、まず、画像に車線（例えば、セマンティックセグメンテーション結果によれば、各画素がいずれも背景点であることを示す）があるか否かを識別することができ、車線がある場合、後続のステップを実行し、例えば、ヒートマップ予測結果の予測を行い、逆の場合、現在の画像に対する車線コーナー検出を停止し、引き続き次の画像の車線検出を行う。ここで、いくつかの先験的知識（例えば、前のフレームの目標追跡結果）に基づき、現在の画像に車線があるか否かを判定してもよい。車線コーナーの検出精度を向上させるために、一実施形態では、ヒートマップ予測結果とセマンティックセグメンテーション結果における各画素の予測値を乗算することで、ヒートマップにおける車線のない領域のコーナーの予測値を低減させ、更新後のヒートマップ（図３を参照）を得ることができる。そのうち、セマンティックセグメンテーション結果における各画素の予測値は、０又は１であり、或いは、セマンティックセグメンテーション結果における各画素の予測値は、［０，１］区間内の確率値である。ヒートマップ予測結果における各画素の予測値は、［０，１］区間内の確率値である。セマンティックセグメンテーション結果における前景（車線）を特徴付ける画素の確率値は１であり、背景（車線ではない）を特徴付ける画素の確率値は０であり、ヒートマップ予測結果とセマンティックセグメンテーション結果における各画素の予測値を乗算することで、ヒートマップにおける車線のない領域のコーナーの予測確率値を効果的に低減させ、コーナーの検出精度を向上させることができる。例えば、ある位置に車線があると、Ｈｅａｔｍａｐに１を乗算し、車線がないと、０を乗算する。

【0058】

ヒートマップ予測結果とセマンティックセグメンテーション結果における各画素の予測値を乗算する場合、一実施形態では、ヒートマップ予測結果とセマンティックセグメンテーション結果における各画素の予測値を直接乗算してもよく、更に別の選択的な実施形態では、まず、セマンティックセグメンテーション結果における車線を特徴付ける画素の範囲を拡大し（例えば、外へ３画素拡大し、当然のことながら、これに限定されない）、更にヒートマップ予測結果と範囲拡大後のセマンティックセグメンテーション結果における各画素の予測値を乗算してもよく、このようにヒートマップにおける車線のない領域のコーナーをフィルタリングする場合、フィルタリングによって車線がある領域のコーナーの一部が漏らさないように保証することができる。

【0059】

本願において、セマンティックセグメンテーション結果における車線を特徴付ける画素範囲を拡大する目的は、主にコーナーの選別中に車線からの距離が近いがセマンティックセグメンテーション予測結果が小さいコーナーを漏らす（予測されたコーナー結果がエッジ外にある）ことを防止するためである。説明すべきなのは、セマンティックセグメンテーション結果が二項分類（０又は１）で表される場合、セマンティックセグメンテーション結果における車線を特徴付ける画素範囲を直接拡大することができ、セマンティックセグメンテーション結果が［０，１］区間の確率値で表される場合、セマンティックセグメンテーション結果を拡大しなくてもよく、又は一定の閾値（例えば０．５）を設定し、当該［０，１］区間の確率値を二項分類結果に変換した後、更に車線を特徴付ける画素範囲を拡大してもよい。

【0060】

１つの選択的な実施形態では、当該ヒートマップ予測結果は、それぞれ１つのコーナーカテゴリに対応し、且つ当該ヒートマップにおける各画素が対応するコーナーカテゴリに属する確率を含むヒートマップを４枚含む。このような実施形態では、当該ヒートマップ予測結果は、コーナーカテゴリが左上カテゴリに属することを特徴付けるヒートマップ、コーナーカテゴリが右上カテゴリに属することを特徴付けるヒートマップ、コーナーカテゴリが左下カテゴリに属することを特徴付けるヒートマップ、及びコーナーカテゴリが右下カテゴリに属することを特徴付けるヒートマップを含む。この場合、同一のヒートマップにおける各画素は、同一のコーナーカテゴリに属する。各コーナー付近の領域の確率値は、ガウス分布に合致し、コーナーの所在位置の確率値は、最大で１であり、コーナーからの距離が遠くなるにつれ、確率値も小さくなる。

【0061】

本願の実施例において、ニューラルネットワークモデルを利用してヒートマップにおける各画素が属するコーナーカテゴリを予測する場合、モデルによって各コーナーカテゴリを分類し、分類後の４種類のコーナーカテゴリに対応する４枚のヒートマップを直接出力することで、後続のコーナーマッチングの精度を向上させる。ここで、コーナーを分類した後に誤マッチングを減少することができ、例えば、左上コーナーに対して右上コーナーのみをマッチングし、右上コーナーが漏らされた場合、適切な右上コーナーがないため、マッチングできない。従って、誤マッチングが発生することはない。

【0062】

１つの選択的な形態において、上記４枚のヒートマップは、同一の図に集積されてよい。各画素は、１つの配列を含み、当該配列は、１つの画素が特定のカテゴリコーナーに属する確率を表す４つの数値を含む。

【0063】

ステップＳ１０３において、ヒートマップ予測結果における各画素が特定のコーナーカテゴリに属する確率に基づき、道路画像における複数の異なるカテゴリのコーナーを決定する。

【0064】

ヒートマップ予測結果を得た後、ヒートマップ予測結果における各画素が特定のコーナーカテゴリに属する確率に基づき、道路画像における複数の異なるカテゴリのコーナーを決定し、即ち、道路画像における左上カテゴリ、右上カテゴリ、左下カテゴリ、右下カテゴリに属するコーナーを決定することができる。

【0065】

１つの選択的な実施形態では、ヒートマップ予測結果は、それぞれ１つのコーナーカテゴリに対応し、且つ当該ヒートマップにおける各画素が対応するコーナーカテゴリに属する確率を含むヒートマップを４枚含み、この場合、ヒートマップ予測結果における各画素が特定のコーナーカテゴリに属する確率に基づき、道路画像における複数の異なるカテゴリのコーナーを決定するプロセスは、各ヒートマップにおける各画素が特定のコーナーカテゴリに属する確率に基づき、当該ヒートマップに対するカテゴリのコーナーを決定し、更に４枚のヒートマップに含まれる４種類のコーナーを得るステップを含む。例えば、左上カテゴリに属するヒートマップにおける各画素の確率値に対して、左上カテゴリに属するコーナーを決定し、例えば、各スライディングウィンドウ領域における確率値が最大の画素をコーナーとして選択する。

【0066】

そのうち、各ヒートマップにおける各画素が特定のコーナーカテゴリに属する確率に基づき、当該ヒートマップに対応するカテゴリのコーナーを決定するプロセスは、所定のスライディングウィンドウ領域を用いて当該ヒートマップでスライディングウィンドウ操作を行い、スライディングウィンドウ領域の中心点の確率値が所定の条件を満たす場合、スライディングウィンドウ領域の中心点を対応するカテゴリのコーナーとしてマーキングするステップを含む。そのうち、所定の条件は、スライディングウィンドウ領域の中心点の確率値が所定の確率閾値（例えば０．７）以上であり、且つスライディングウィンドウ領域の局所極大値であることを含む。そのうち、スライディングウィンドウ領域の大きさは、必要に応じて選択することができ、当該所定の確率閾値は、実際の場合に応じて決定されてもよく、上記に例示された０．７に限定されないため、それを本願に対する制限として理解すべきではない。例えば、左上カテゴリを特徴付けるコーナーヒートマップでスライディングウィンドウ操作を行う場合、確率値が所定の条件を満たすスライディングウィンドウ領域の中心点を左上カテゴリのコーナーとしてマーキングすることができる。

【0067】

ステップＳ１０４において、所定のルールに応じて複数の異なるカテゴリのコーナーをグループ分けし、複数のコーナーグループを得る。

【0068】

道路画像における複数の異なるカテゴリのコーナーを決定した後、所定のルールに応じて複数の異なるカテゴリのコーナーをグループ分けし、複数のコーナーグループを得ることができ、そのうち、各コーナーグループは、いずれも同一の車線に属する４種類（左上カテゴリ、右上カテゴリ、左下カテゴリ及び右下カテゴリ）のコーナーを含む。

【0069】

そのうち、所定のルールに応じて複数の異なるカテゴリのコーナーをグループ分けする場合、１つの選択的な実施形態では、距離が最も近い左上カテゴリと右上カテゴリのコーナーをマッチングし、上側コーナー対を得て、距離が最も近い左下カテゴリと右下カテゴリのコーナーをマッチングし、下側コーナー対を得て、続いて距離が最も近い上側コーナー対と下側コーナー対をマッチングすることができ、このように複数のコーナーグループを得ることができる。マッチングする場合、左上カテゴリのコーナーと距離が最も近い右上カテゴリのコーナーをマッチングしてもよく、右上カテゴリのコーナーと距離が最も近い左上カテゴリのコーナーをマッチングしてもよい。同様に、距離が最も近い左下カテゴリと右下カテゴリのコーナーをマッチングする場合、左下カテゴリのコーナーと距離が最も近い右下カテゴリのコーナーをマッチングしてもよく、右下カテゴリのコーナーと距離が最も近い左下カテゴリのコーナーをマッチングしてもよい。同様に、距離が最も近い上側コーナー対と下側コーナー対をマッチングする場合、上側コーナー対と距離が最も近い下側コーナー対をマッチングしてもよく、下側コーナー対と距離が最も近い上側コーナー対をマッチングしてもよい。

【0070】

更に別の選択的な実施形態では、距離が最も近い左上カテゴリと左下カテゴリのコーナーをマッチングし、左側コーナー対を得て、距離が最も近い右上カテゴリと右下カテゴリのコーナーをマッチングし、右側コーナー対を得て、続いて距離が最も近い左側コーナー対と右側コーナー対をマッチングすることができ、このように複数のコーナーグループを得ることができる。マッチングする場合、左上カテゴリのコーナーと距離が最も近い左下カテゴリのコーナーをマッチングしてもよく、左下カテゴリのコーナーと距離が最も近い左上カテゴリのコーナーをマッチングしてもよい。同様に、距離が最も近い右上カテゴリと右下カテゴリのコーナーをマッチングする場合、右上カテゴリのコーナーと距離が最も近い右下カテゴリのコーナーをマッチングしてもよく、右下カテゴリのコーナーと距離が最も近い右上カテゴリのコーナーをマッチングしてもよい。同様に、距離が最も近い左側コーナー対と右側コーナー対をマッチングする場合、左側コーナー対と距離が最も近い右側コーナー対をマッチングしてもよく、右側コーナー対と距離が最も近い左側コーナー対をマッチングしてもよい。

【0071】

そのうち、短辺マッチング原則に基づいてマッチングすることができ、即ち、前面カメラにより収集された道路画像（破線の車線における小さなブロックが縦長の長方形状である）に対して、マッチングする場合、距離が最も近い左上カテゴリと右上カテゴリのコーナーをマッチングし、上側コーナー対を得て、距離が最も近い左下カテゴリと右下カテゴリのコーナーをマッチングし、下側コーナー対を得て、続いて距離が最も近い上側コーナー対と下側コーナー対をマッチングする形態が好ましい。側面カメラにより収集された道路画像（破線の車線における小さなブロックが横長の長方形状である）に対して、マッチングする場合、距離が最も近い左上カテゴリと左下カテゴリのコーナーをマッチングし、左側コーナー対を得て、距離が最も近い右上カテゴリと右下カテゴリのコーナーをマッチングし、右側コーナー対を得て、続いて距離が最も近い左側コーナー対と右側コーナー対をマッチングする形態が好ましい。

【0072】

コーナーの検出精度を向上させるために、１つの選択的な実施形態では、複数のコーナーグループを得た後、方法は、複数のコーナーグループにおける異常なコーナーグループを間引くステップを更に含む。得られた複数のコーナーグループにおける明らかに異常なコーナーグループを間引くことで、コーナーの検出精度を向上させる。

【0073】

本願において、コーナーのマッチングを行う場合、距離が最も近い方法に基づいてマッチングを行い、各コーナーグループがいずれも同一の車線に属する４種類のコーナーを含むことがある程度保証される。その後の異常なコーナーグループの間引きにより、各コーナーグループがいずれも同一の車線に属する４種類のコーナーを含み、且つ各コーナーグループが１つの車線実例を構成することが更に保証される。

【0074】

そのうち、複数のコーナーグループにおける異常なコーナーグループを間引く場合、複数のコーナーグループにおける２つのコーナー対の辺の長さの差が所定の閾値よりも大きいコーナーグループを間引いてよい。即ち、各コーナーグループ（左上、左下、右上、右下という４つのコーナーを含む）について、左上／右上コーナー対の辺の長さと左下／右下コーナー対の辺の長さとの差が所定の閾値よりも大きく、又は右上／右下コーナー対の辺の長さと左上／左下コーナー対の辺の長さとの差が所定の閾値よりも大きい場合、当該コーナーグループは異常なコーナーグループである。そのうち、当該所定の閾値は、必要に応じて設定することができる。

【0075】

更に、それぞれ４つのコーナーを含む複数のグループのうち、対角線が位置する領域に対応するセマンティックセグメンテーション結果における車線のないコーナーグループを間引いてもよい。即ち、各コーナーグループ（左上、左下、右上、右下という４つのコーナーを含む）について、左上と右下を結ぶ線と、左下と右上を結ぶ線との交点に対応するセマンティックセグメンテーション結果には車線がない場合、それを間引いてもよい。

【0076】

図４に示すように、本願の実施例は、車線コーナー検出装置２００を更に提供する。当該車線コーナー検出装置２００は、画像取得モジュール２１０、モデル予測モジュール２２０、コーナー決定モジュール２３０、及びコーナーグループ決定モジュール２４０を含む。

【0077】

画像取得モジュール２１０は、検出される道路画像を取得するために用いられる。

【0078】

モデル予測モジュール２２０は、道路画像を予めトレーニングされたニューラルネットワークモデルに入力して処理し、道路画像に対応する、各画素が特定のコーナーカテゴリに属する確率を含むヒートマップ予測結果を得るために用いられる。

【0079】

コーナー決定モジュール２３０は、ヒートマップ予測結果における各画素が特定のコーナーカテゴリに属する確率に基づき、道路画像における複数の異なるカテゴリのコーナーを決定するために用いられる。

【0080】

コーナーグループ決定モジュール２４０は、所定のルールに応じて複数の異なるカテゴリのコーナーをグループ分けするために用いられる。

【0081】

選択的に、ニューラルネットワークモデルは、道路画像における各画素が車線に属するか否かのセマンティックセグメンテーション結果を出力するための第１のネットワークブランチと、道路画像のヒートマップ予測結果を出力するための第２のネットワークブランチと、を含む。セマンティックセグメンテーション結果における各画素の予測値は０又は１であり、或いは、セマンティックセグメンテーション結果における各画素の予測値は、［０，１］区間内の確率値であり、ヒートマップ予測結果における各画素の予測値は、［０，１］区間内の確率値である。それに応じて、車線コーナー検出装置２００は、ヒートマップ予測結果とセマンティックセグメンテーション結果における各画素の予測値を乗算し、ヒートマップにおける車線のない領域のコーナーの予測値を低減させ、更新後のヒートマップを得るためのヒートマップ更新モジュールを更に含む。選択的に、ヒートマップ更新モジュールは、具体的に、セマンティックセグメンテーション結果における車線を特徴付ける画素範囲を拡大し、ヒートマップ予測結果と範囲拡大後のセマンティックセグメンテーション結果における各画素の予測値を乗算するために用いられる。

【0082】

選択的に、ヒートマップ予測結果は、それぞれ１つのコーナーカテゴリに対応し、且つ当該ヒートマップにおける各画素が対応するコーナーカテゴリに属する確率を含むヒートマップを４枚含む。コーナー決定モジュール２３０は、具体的に、各ヒートマップにおける各画素が特定のコーナーカテゴリに属する確率に基づき、当該ヒートマップに対応するカテゴリのコーナーを決定し、更に４枚のヒートマップに含まれる４種類のコーナーを得るために用いられる。コーナー決定モジュール２３０は、具体的に、所定のスライディングウィンドウ領域を用いてヒートマップでスライディングウィンドウ操作を行い、スライディングウィンドウ領域の中心点の確率値が所定の条件を満たす場合、スライディングウィンドウ領域の中心点を対応するカテゴリのコーナーとしてマーキングするために用いられる。選択的に、所定の条件としては、スライディングウィンドウ領域の中心点の確率値が所定の確率閾値以上であり、且つスライディングウィンドウ領域の局所極大値である。

【0083】

そのうち、コーナーカテゴリは、左上カテゴリ、右上カテゴリ、左下カテゴリ、右下カテゴリの少なくとも１つを含む。

【0084】

選択的に、コーナーグループ決定モジュール２４０は、具体的に、距離が最も近い左上カテゴリと右上カテゴリのコーナーをマッチングし、上側コーナー対を得て、距離が最も近い左下カテゴリと右下カテゴリのコーナーをマッチングし、下側コーナー対を得て、距離が最も近い上側コーナー対と下側コーナー対をマッチングし、少なくとも１つのコーナーグループを得るために用いられる。

【0085】

コーナーグループ決定モジュール２４０は、具体的に、距離が最も近い左上カテゴリと左下カテゴリのコーナーをマッチングし、左側コーナー対を得て、距離が最も近い右上カテゴリと右下カテゴリのコーナーをマッチングし、右側コーナー対を得て、距離が最も近い左側コーナー対と右側コーナー対をマッチングし、少なくとも１つのコーナーグループを得るために用いられる。

【0086】

選択的に、少なくとも１つのコーナーグループは、複数のコーナーグループを含み、当該車線コーナー検出装置２００は、複数のコーナーグループにおける異常なコーナーグループを間引くためのコーナーグループ間引きモジュール（図４に示されていない）を更に含む。選択的に、コーナーグループ間引きモジュールは、具体的に、複数のコーナーグループにおける２つのコーナー対の辺の長さの差が所定の閾値よりも大きいコーナーグループを間引くために用いられ、更に、それぞれ４つのコーナーを含む複数のグループのうち、対角線が位置する領域に対応するセマンティックセグメンテーション結果における車線のないコーナーグループを間引くために用いられる。

【0087】

当該車線コーナー検出装置２００は、破線の車線を含むとともに破線の車線のコーナー及びコーナー付近の各画素が特定のコーナーカテゴリに属する確率がラベリングされたトレーニング画像を複数枚取得し、トレーニング画像を利用して初期ニューラルネットワークモデルをトレーニングし、トレーニングされたニューラルネットワークモデルを得るためのトレーニングモジュール（図４に示されていない）を更に含む。選択的に、コーナー付近の各画素が特定のコーナーカテゴリに属する確率は、ガウス分布を示し、各コーナーグループは、１つの車線実例を構成する。

【0088】

本願の実施例により提供される車線コーナー検出装置２００は、その実現原理及び得られた技術的効果が上記方法の実施例と同じであり、説明を簡略化するために、装置の実施例の部分で言及されていない内容は、上記方法の実施例における対応する内容を参照することができる。

【0089】

図５に示すように、図５は、本願の実施例により提供される電子機器３００の構造ブロック図である。電子機器３００は、通信インタフェース３１０、メモリ３２０、通信バス３３０及びプロセッサ３４０を含む。

【0090】

通信インタフェース３１０、メモリ３２０、プロセッサ３４０の各素子間は、互いに直接的又は間接的に電気的に接続され、データの伝送又はインタラクションを実現する。例えば、これらの素子間は、互いに１つ又は複数の通信バス３３０又は信号線によって電気的接続を実現することができる。そのうち、通信インタフェース３１０は、１つ又は複数の通信プロトコル（ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）など）を実施するために用いられる。メモリ３２０は、コンピュータプログラムを記憶するために用いられ、例えば、図４に示すソフトウェア機能モジュール、即ち車線コーナー検出装置２００が記憶されている。そのうち、車線コーナー検出装置２００は、ソフトウェア又はファームウェア（ｆｉｒｍｗａｒｅ）の形態でメモリ３２０に記憶され得るか又は電子機器３００のオペレーティングシステム（ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ，ＯＳ）に固化され得る少なくとも１つのソフトウェア機能モジュールを含む。プロセッサ３４０は、車線コーナー検出装置２００に含まれるソフトウェア機能モジュール又はコンピュータプログラムなどの、メモリ３２０に記憶されている実行可能モジュールを実行するために用いられる。例えば、プロセッサ３４０は、検出される道路画像を取得し、道路画像を予めトレーニングされたニューラルネットワークモデルに入力して処理し、道路画像に対応する、各画素が特定のコーナーカテゴリに属する確率を含むヒートマップ予測結果を得て、ヒートマップ予測結果における各画素が特定のコーナーカテゴリに属する確率に基づき、道路画像における複数の異なるカテゴリのコーナーを決定し、所定のルールに応じて複数の異なるカテゴリのコーナーをグループ分けし、複数のコーナーグループを得るために用いられる。

【0091】

そのうち、メモリ３２０は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）、リードオンリーメモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、プログラマブルリードオンリーメモリ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＰＲＯＭ）、消去可能リードオンリーメモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＥＰＲＯＭ）、電気的消去可能リードオンリーメモリ（Ｅｌｅｃｔｒｉｃ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＥＥＰＲＯＭ）などであってよいが、これらに限定されない。

【0092】

プロセッサ３４０は、信号処理能力を有する集積回路チップである場合がある。上記プロセッサは、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＣＰＵ）、ネットワークプロセッサ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ，ＮＰ）などを含む汎用プロセッサであってもよく、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ，ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ，ＦＰＧＡ）又は他のプログラマブル論理デバイス、離散ゲート又はトランジスタ論理デバイス、離散ハードウェアコンポーネントであってもよい。本願の実施例に開示された各方法、ステップ及び論理ブロック図を実現又は実行することができる。汎用プロセッサは、マイクロプロセッサであってもよく、又は、当該プロセッサ３４０は、任意の通常のプロセッサなどであってもよい。

【0093】

そのうち、上記電子機器３００は、コンピュータ、サーバ及び車両における車載コンピュータなどを含むが、これらに限定されない。

【0094】

本願の実施例は、コンピュータプログラムが記憶された不揮発性コンピュータ可読記憶媒体（以下、記憶媒体と略称される）を更に提供し、当該コンピュータプログラムは、上記電子機器３００などのコンピュータによって実行される時、上記に示される車線コーナー検出方法を実行する。

【0095】

本明細書における各実施例は、全て漸進的な方法で説明され、各実施例について他の実施例との相違点を重点として説明し、各実施例間の同じ又は類似する部分は互いに参照すればよいことを説明しておく。

【0096】

本願により提供されるいくつかの実施例において開示された装置及び方法は、他の方式で実現されてもよいことを理解すべきである。以上に説明された装置の実施例は、例示的なものに過ぎず、例えば、図面におけるフローチャート及びブロック図は、本願の複数の実施例による装置、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能及び操作を示している。この点に関し、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又はコードの一部を表すことができ、モジュール、プログラムセグメント又はコードの一部は、所定の論理機能を実現するための１つ又は複数の実行可能命令を含む。また、いくつかの代替的な実現形態において、ブロックに示される機能は、図面に示される順序と異なる順序で発生しもよいことにも留意されたい。例えば、２つの連続するブロックは、実際に、実質的に並行して実行されてもよく、場合によっては逆の順序で実行されてもよく、これは、係る機能によって決められる。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、指定された機能又は動作を実行する、ハードウェアに基づく専用システムによって実現されてもよく、専用ハードウェアとコンピュータ命令の組み合わせによって実現されてもよいことにも留意されたい。

【0097】

なお、本願の各実施例における各機能モジュールは、１つの独立した部分を形成するように集積されてもよく、各モジュールが単独で存在してもよく、２つ又は２つ以上のモジュールは、１つの独立した部分を形成するように集積されてもよい。

【0098】

本願は、ソフトウェア機能モジュールの形態で実現され、且つ独立した製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶することができる。このような理解に基づき、本願の技術的解決手段は本質的に、又は従来技術に寄与する部分又は当該技術的解決手段の部分は、ソフトウェア製品の形態で具現化することができ、当該コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、ノートパソコン、サーバ、又は電子機器などであってよい）に本願の各実施例の方法のステップの全部又は一部を実行させるためのいくつかの命令を含む。前述した記憶媒体は、ＵＳＢフラッシュドライブ、ハードディスク、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶可能な各種の媒体を含む。

【0099】

以上は、本願の具体的な実施形態に過ぎず、本願の保護範囲は、これに限定されず、当業者が本願により開示された技術範囲内で容易に想到できるいかなる変化又は置換も、本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は、特許請求の範囲による保護範囲を基準とするものである。

【図1】

【図2】

【図3】

【図4】

【図5】