(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-25
(54)【発明の名称】駐車スペース検出方法、装置、デバイス及び記憶媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20230418BHJP
G06T 7/60 20170101ALI20230418BHJP
G06V 10/82 20220101ALI20230418BHJP
G08G 1/09 20060101ALI20230418BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 650Z
G06T7/60 200D
G06V10/82
G08G1/09 V
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022555182
(86)(22)【出願日】2020-07-17
(85)【翻訳文提出日】2022-09-13
(86)【国際出願番号】 CN2020102516
(87)【国際公開番号】W WO2021184616
(87)【国際公開日】2021-09-23
(31)【優先権主張番号】202010200852.0
(32)【優先日】2020-03-20
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】521130295
【氏名又は名称】東軟睿馳汽車技術（瀋陽）有限公司
【氏名又は名称原語表記】ＮＥＵＳＯＦＴ ＲＥＡＣＨ ＡＵＴＯＭＯＴＩＶＥ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＹＡＮＧ） ＣＯＭＰＡＮＹ
【住所又は居所原語表記】Ｎｏ．７５－１， Ｊｉｎｆｅｎｇ Ｓｔｒｅｅｔ， Ｓｈｅｎｆｕ Ｎｅｗ Ｄｉｓｔｒｉｃｔ， Ｌｉａｏｎｉｎｇ １１０１７２， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(72)【発明者】
【氏名】呂 晋
(72)【発明者】
【氏名】劉 威
(72)【発明者】
【氏名】胡 駿
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB20
5H181CC04
5H181FF27
5H181KK06
5H181KK07
5H181LL09
5H181LL17
5L096BA04
5L096CA02
5L096DA01
5L096FA05
5L096FA09
5L096FA62
5L096FA69
5L096GA30
5L096HA11
(57)【要約】
駐車スペース検出方法、装置、デバイス及び記憶媒体を開示した。当該方法では、シーンの俯瞰画像を学習し、５枚の確率マップを得る。この５枚の確率マップは、具体的に、１枚の中心点確率マップ及び４枚の内角点確率マップを含む。中心点確率マップは、シーンの俯瞰画像における各画素点が駐車スペース中心点とする予測確率を反映し、各内角点確率マップは、シーン俯瞰画像における各画素点が駐車スペースのある内角点とする予測確率を反映し、且つ、各駐車スペースの内角点と中心点に幾何学的関係がある。これに基づいて、モデルによって出力された画像を利用して駐車スペース検出結果が得られる。当該方法は、シーンの俯瞰画像を学習することによって、一段階で駐車スペースの迅速な検出を実現する。なお、当該方法は、駐車スペースのタイプによる制限がないため、複数のタイプの駐車スペースを同時に検出することができ、駐車スペースの検出効率を向上させる。
【特許請求の範囲】
【請求項1】
駐車スペース検出方法であって、シーンの俯瞰画像を取得するステップと、
前記俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得するステップであって、前記中心点確率マップが、前記俯瞰画像における各画素点が中心点とする予測確率を含み、前記内角点確率マップが、前記俯瞰画像における各画素点が内角点とする予測確率を含み、異なる前記内角点確率マップが、駐車スペースの異なるタイプの内角点に対応するステップと、
前記中心点確率マップ及び前記４枚の内角点確率マップに基づいて、前記俯瞰画像に対する駐車スペース検出結果を取得するステップと、を含むことを特徴とする駐車スペース検出方法。
【請求項2】
前記中心点確率マップ及び前記４枚の内角点確率マップに基づいて、前記俯瞰画像に対する駐車スペース検出結果を取得する前記ステップは、具体的に、前記中心点確率マップに基づいて中心点の数及び位置情報を決定するステップと、
前記４枚の内角点確率マップから中心点に関連する内角点を決定するステップと、
決定された中心点の数及び位置情報、前記中心点に関連する内角点の位置情報、及び中心点と内角点との関連関係を利用し、前記俯瞰画像に対する駐車スペース検出結果を取得するステップと、を含むことを特徴とする請求項１に記載の駐車スペース検出方法。
【請求項3】
前記中心点確率マップに基づいて中心点の数及び位置情報を決定する前記ステップは、具体的に、前記中心点確率マップにおける各画素点について、当該画素点が中心点とする予測確率が、第１の事前設定された確率閾値を超えるか否かを判断し、そうであれば、当該画素点を中心点として決定し、中心点の数に１を加算するステップと、
前記画像座標系とシーン座標系との変換関係に従って、中心点とする画素点の画像座標系における座標を前記シーン座標系に変換し、中心点の前記シーン座標系における位置情報を取得するステップと、を含むことを特徴とする請求項２に記載の駐車スペース検出方法。
【請求項4】
前記中心点確率マップに基づいて中心点を決定する前記ステップは、具体的に、前記中心点確率マップに基づいて極大値抑制アルゴリズムを結合して中心点を決定するステップ、を含むことを特徴とする請求項２に記載の駐車スペース検出方法。
【請求項5】
前記俯瞰画像に対する駐車スペース検出結果を取得する前記ステップは、具体的に、前記シーンにおける全ての駐車スペースの数及び位置を取得するステップ、又は
前記シーンにおける全ての空き駐車スペースの数及び位置を取得するステップ、又は
前記シーンにおける事前設定された要件を満たす空き駐車スペースの数及び位置を取得するステップ、を含むことを特徴とする請求項１に記載の駐車スペース検出方法。
【請求項6】
シーンの俯瞰画像を取得する前記ステップは、具体的に、車両に搭載された撮影装置により前記シーンの初期画像を取得するステップと、
前記シーンの初期画像をパノラマ画像にスティッチングするステップと、
前記パノラマ画像を前記俯瞰画像に変換するステップと、を含むことを特徴とする請求項１に記載の駐車スペース検出方法。
【請求項7】
自動駐車支援モジュールが前記駐車スペース検出結果に基づいて駐車経路を計画して駐車制御を実行するように、前記駐車スペース検出結果を車両の前記自動駐車支援モジュールに送信するステップをさらに含むことを特徴とする請求項１から６のいずれか１項に記載の駐車スペース検出方法。
【請求項8】
駐車スペース検出装置であって、シーンの俯瞰画像を取得するための俯瞰画像取得モジュールと、
前記俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得するための確率マップ取得モジュールであって、前記中心点確率マップが、前記俯瞰画像における各画素点が中心点とする予測確率を含み、前記内角点確率マップが、前記俯瞰画像における各画素点が内角点とする予測確率を含み、異なる前記内角点確率マップが駐車スペースの異なるタイプの内角点に対応する確率マップ取得モジュールと、
前記中心点確率マップ及び前記４枚の内角点確率マップに基づいて、前記俯瞰画像に対する駐車スペース検出結果を取得するための駐車スペース検出結果取得モジュールと、を含むことを特徴とする駐車スペース検出装置。
【請求項9】
プロセッサーとメモリとを含むデバイスであって、前記メモリは、コンピュータプログラムを記憶し、
前記プロセッサーは、前記コンピュータプログラムに基づいて、請求項１から７のいずれか１項に記載の駐車スペース検出方法を実行することを特徴とするデバイス。
【請求項10】
コンピュータプログラムを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムは、請求項１から７のいずれか１項に記載の駐車スペース検出方法を実行する、ことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０２０年０３月２０日に中国特許庁に提出された、出願番号が２０２０１０２００８５２．０であって、出願の名称が「駐車スペース検出方法、装置、デバイス及び記憶媒体」である中国特許出願の優先権を主張するものであり、その全内容を援用により本出願に組み込む。
【0002】
本出願は、画像処理の技術分野に関し、特に駐車スペース検出方法、装置、デバイス及び記憶媒体に関する。
【背景技術】
【0003】
自動駐車は、自動運転技術の重要な部分である。自動駐車の実現は、正確な駐車スペース情報に依存する必要がある。現在、既存の駐車スペース検出技術は、通常、駐車スペース検出を複数のサブタスクに分割して実行する。例えば、まず、画像における線の交差点を検出し、２つの隣接する交差点を１つの交差点対とし、その後、交差点対によって形成される領域を利用して、駐車スペースのタイプ及び駐車スペースの角度を含む駐車スペース情報を取得し、最後に、駐車スペース情報を利用して駐車スペースの他の2つの点を推定し、駐車スペースの完全な情報を与える。
【0004】
従来の技術では、駐車スペース検出は、多段階で実現され、検出速度が遅い。そして、複数のタイプの駐車スペースを同時に検出することができない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の問題に基づいて、本出願は、駐車スペース検出方法、装置、デバイス及び記憶媒体を提供し、駐車スペース検出の複雑さを簡略化し、検出速度を向上させ、複数のタイプの駐車スペースを同時に検出することができる。
【課題を解決するための手段】
【0006】
本出願の実施例は、以下の技術案を開示する。
第１の態様では、本出願は、駐車スペース検出方法を提供し、
シーンの俯瞰画像を取得するステップと、
前記俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得するステップであって、前記中心点確率マップが、前記俯瞰画像における各画素点が中心点とする予測確率を含み、前記内角点確率マップが、前記俯瞰画像における各画素点が内角点とする予測確率を含み、異なる前記内角点確率マップが、駐車スペースの異なるタイプの内角点に対応するステップと、
前記中心点確率マップ及び前記４枚の内角点確率マップに基づいて、前記俯瞰画像に対する駐車スペース検出結果を取得するステップと、を含む。
第１の態様では、本出願は、駐車スペース検出方法を提供し、
シーンの俯瞰画像を取得するステップと、
前記俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得するステップであって、前記中心点確率マップが、前記俯瞰画像における各画素点が中心点とする予測確率を含み、前記内角点確率マップが、前記俯瞰画像における各画素点が内角点とする予測確率を含み、異なる前記内角点確率マップが、駐車スペースの異なるタイプの内角点に対応するステップと、
前記中心点確率マップ及び前記４枚の内角点確率マップに基づいて、前記俯瞰画像に対する駐車スペース検出結果を取得するステップと、を含む。
【0007】
任意選択で、前記中心点確率マップ及び前記４枚の内角点確率マップに基づいて、前記俯瞰画像に対する駐車スペース検出結果を取得する前記ステップは、具体的に、
前記中心点確率マップに基づいて中心点の数及び位置情報を決定するステップと、
前記４枚の内角点確率マップから中心点に関連する内角点を決定するステップと、
決定された中心点の数及び位置情報、前記中心点に関連する内角点の位置情報、及び中心点と内角点との関連関係を利用し、前記俯瞰画像に対する駐車スペース検出結果を取得するステップと、を含む。
前記中心点確率マップに基づいて中心点の数及び位置情報を決定するステップと、
前記４枚の内角点確率マップから中心点に関連する内角点を決定するステップと、
決定された中心点の数及び位置情報、前記中心点に関連する内角点の位置情報、及び中心点と内角点との関連関係を利用し、前記俯瞰画像に対する駐車スペース検出結果を取得するステップと、を含む。
【0008】
任意選択で、前記中心点確率マップに基づいて中心点の数及び位置情報を決定する前記ステップは、具体的に、
前記中心点確率マップにおける各画素点について、当該画素点が中心点とする予測確率が第１の事前設定された確率閾値を超えるか否かを判断し、そうであれば、当該画素点を中心点として決定し、中心点の数に１を加算するステップと、
前記画像座標系とシーン座標系との変換関係に従って、中心点とする画素点の画像座標系における座標を前記シーン座標系に変換し、中心点の前記シーン座標系における位置情報を取得するステップと、を含む。
前記中心点確率マップにおける各画素点について、当該画素点が中心点とする予測確率が第１の事前設定された確率閾値を超えるか否かを判断し、そうであれば、当該画素点を中心点として決定し、中心点の数に１を加算するステップと、
前記画像座標系とシーン座標系との変換関係に従って、中心点とする画素点の画像座標系における座標を前記シーン座標系に変換し、中心点の前記シーン座標系における位置情報を取得するステップと、を含む。
【0009】
任意選択で、前記中心点確率マップに基づいて中心点を決定する前記ステップは、具体的に、
前記中心点確率マップに基づいて極大値抑制アルゴリズムを結合して中心点を決定するステップを含む。
前記中心点確率マップに基づいて極大値抑制アルゴリズムを結合して中心点を決定するステップを含む。
【0010】
任意選択で、前記俯瞰画像に対する駐車スペース検出結果を取得する前記ステップは、具体的に、
前記シーンにおける全ての駐車スペースの数及び位置を取得するステップ、又は
前記シーンにおける全ての空き駐車スペースの数及び位置を取得するステップ、又は
前記シーンにおける事前設定された要件を満たす空き駐車スペースの数及び位置を取得するステップ、を含む。
前記シーンにおける全ての駐車スペースの数及び位置を取得するステップ、又は
前記シーンにおける全ての空き駐車スペースの数及び位置を取得するステップ、又は
前記シーンにおける事前設定された要件を満たす空き駐車スペースの数及び位置を取得するステップ、を含む。
【0011】
任意選択で、シーンの俯瞰画像を取得するステップは、具体的に、
車両に搭載された撮影装置により前記シーンの初期画像を取得するステップと、
前記シーンの初期画像をパノラマ画像にスティッチングするステップと、
前記パノラマ画像を前記俯瞰画像に変換するステップと、を含む。
車両に搭載された撮影装置により前記シーンの初期画像を取得するステップと、
前記シーンの初期画像をパノラマ画像にスティッチングするステップと、
前記パノラマ画像を前記俯瞰画像に変換するステップと、を含む。
【0012】
任意選択で、上記方法は、
自動駐車支援モジュールが前記駐車スペース検出結果に基づいて駐車経路を計画して駐車制御を実行するように、前記駐車スペース検出結果を車両の前記自動駐車支援モジュールに送信するステップをさらに含む。
自動駐車支援モジュールが前記駐車スペース検出結果に基づいて駐車経路を計画して駐車制御を実行するように、前記駐車スペース検出結果を車両の前記自動駐車支援モジュールに送信するステップをさらに含む。
【0013】
第２の態様では、本出願は、駐車スペース検出装置を提供し、
シーンの俯瞰画像を取得するための俯瞰画像取得モジュールと、
前記俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得する確率マップ取得モジュールであって、前記中心点確率マップが、前記俯瞰画像における各画素点が中心点とする予測確率を含み、前記内角点確率マップが、前記俯瞰画像における各画素点が内角点とする予測確率を含み、異なる前記内角点確率マップが、駐車スペースの異なるタイプの内角点に対応する確率マップ取得モジュールと、
前記中心点確率マップ及び前記４枚の内角点確率マップに基づいて、前記俯瞰画像に対する駐車スペース検出結果を取得するための駐車スペース検出結果取得モジュールと、を含む。
シーンの俯瞰画像を取得するための俯瞰画像取得モジュールと、
前記俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得する確率マップ取得モジュールであって、前記中心点確率マップが、前記俯瞰画像における各画素点が中心点とする予測確率を含み、前記内角点確率マップが、前記俯瞰画像における各画素点が内角点とする予測確率を含み、異なる前記内角点確率マップが、駐車スペースの異なるタイプの内角点に対応する確率マップ取得モジュールと、
前記中心点確率マップ及び前記４枚の内角点確率マップに基づいて、前記俯瞰画像に対する駐車スペース検出結果を取得するための駐車スペース検出結果取得モジュールと、を含む。
【0014】
任意選択で、駐車スペース検出結果取得モジュールは、具体的に、
前記中心点確率マップに基づいて中心点の数及び位置情報を決定するための第１の決定ユニットと、
前記４枚の内角点確率マップから中心点に関連する内角点を決定するための第２の決定ユニットと、
決定された中心点の数及び位置情報、前記中心点に関連する内角点の位置情報、及び中心点と内角点との関連関係を利用し、前記俯瞰画像に対する駐車スペース検出結果を取得するための検出結果取得ユニットと、を含む。
前記中心点確率マップに基づいて中心点の数及び位置情報を決定するための第１の決定ユニットと、
前記４枚の内角点確率マップから中心点に関連する内角点を決定するための第２の決定ユニットと、
決定された中心点の数及び位置情報、前記中心点に関連する内角点の位置情報、及び中心点と内角点との関連関係を利用し、前記俯瞰画像に対する駐車スペース検出結果を取得するための検出結果取得ユニットと、を含む。
【0015】
任意選択で、第１の決定ユニットは、具体的に、
前記中心点確率マップにおける各画素点について、当該画素点が中心点とする予測確率が第１の事前設定された確率閾値を超えるか否かを判断し、そうであれば、当該画素点を中心点として決定し、中心点の数に１を加算し、
前記画像座標系とシーン座標系との変換関係に従って、中心点とする画素点の画像座標系における座標を前記シーン座標系に変換し、中心点の前記シーン座標系における位置情報を取得する。
前記中心点確率マップにおける各画素点について、当該画素点が中心点とする予測確率が第１の事前設定された確率閾値を超えるか否かを判断し、そうであれば、当該画素点を中心点として決定し、中心点の数に１を加算し、
前記画像座標系とシーン座標系との変換関係に従って、中心点とする画素点の画像座標系における座標を前記シーン座標系に変換し、中心点の前記シーン座標系における位置情報を取得する。
【0016】
任意選択で、第１の決定ユニットは、具体的に、
前記中心点確率マップに基づいて極大値抑制アルゴリズムを結合して中心点を決定する。
前記中心点確率マップに基づいて極大値抑制アルゴリズムを結合して中心点を決定する。
【0017】
任意選択で、駐車スペース検出結果取得モジュールは、具体的に、
前記シーンにおける全ての駐車スペースの数及び位置を取得する、又は
前記シーンにおける全ての空き駐車スペースの数及び位置を取得する、又は
前記シーンにおける事前設定された要件を満たす空き駐車スペースの数及び位置を取得する。
前記シーンにおける全ての駐車スペースの数及び位置を取得する、又は
前記シーンにおける全ての空き駐車スペースの数及び位置を取得する、又は
前記シーンにおける事前設定された要件を満たす空き駐車スペースの数及び位置を取得する。
【0018】
任意選択で、俯瞰画像取得モジュールは、具体的に、
車両に搭載された撮影装置により前記シーンの初期画像を取得するための初期画像取得ユニットと、
前記シーンの初期画像をパノラマ画像にスティッチングするための画像スティッチングユニットと、
前記パノラマ画像を前記俯瞰画像に変換するための画像変換ユニットと、を含む。
車両に搭載された撮影装置により前記シーンの初期画像を取得するための初期画像取得ユニットと、
前記シーンの初期画像をパノラマ画像にスティッチングするための画像スティッチングユニットと、
前記パノラマ画像を前記俯瞰画像に変換するための画像変換ユニットと、を含む。
【0019】
駐車スペース検出結果は、自動駐車の分野に適用することができ、駐車スペース検出結果を迅速且つ正確に提供することで、車両の自動駐車機能により、より安全性及び信頼性を有する自動駐車サービスをユーザーに提供する。従って、任意選択で、前述の駐車スペース検出装置は、
自動駐車支援モジュールが前記駐車スペース検出結果に基づいて駐車経路を計画して駐車制御を実行するように、前記駐車スペース検出結果を車両の前記自動駐車支援モジュールに送信するための送信モジュールをさらに含む。
自動駐車支援モジュールが前記駐車スペース検出結果に基づいて駐車経路を計画して駐車制御を実行するように、前記駐車スペース検出結果を車両の前記自動駐車支援モジュールに送信するための送信モジュールをさらに含む。
【0020】
第３の態様では、本出願は、プロセッサーとメモリとを含むデバイスを提供し、
前記メモリは、コンピュータプログラムを記憶し、
前記プロセッサーは、前記コンピュータプログラムに基づいて、第１の態様により提供される駐車スペース検出方法を実行する。
前記メモリは、コンピュータプログラムを記憶し、
前記プロセッサーは、前記コンピュータプログラムに基づいて、第１の態様により提供される駐車スペース検出方法を実行する。
【0021】
第４の態様では、本出願は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムは、第１の態様により提供される駐車スペース検出方法を実行する。
【発明の効果】
【0022】
従来の技術に比べて、本出願は、以下の有益な効果を有する。
本出願は、駐車スペース検出方法、装置、デバイス及び記憶媒体を提供する。本技術案では、シーンの俯瞰画像を学習し、５枚の確率マップを得る。この５枚の確率マップは、具体的に、１枚の中心点確率マップ及び４枚の内角点確率マップを含む。中心点確率マップは、シーン俯瞰画像における各画素点が駐車スペース中心点とする予測確率を反映し、各内角点確率マップは、シーン俯瞰画像における各画素点が駐車スペースのある内角点とする予測確率を反映し、且つ各駐車スペースの内角点と中心点に、幾何学的関係（位置関係）がある。これに基づいて、モデルによって出力された画像を利用して駐車スペース検出結果が得られる。本出願は、シーンの俯瞰画像を学習することによって、一段階で駐車スペースの迅速な検出を実現する。なお、本出願は、駐車スペースのタイプによる制限がないため、複数のタイプの駐車スペースを同時に検出することができ、駐車スペースの検出効率を向上させる。
本出願は、駐車スペース検出方法、装置、デバイス及び記憶媒体を提供する。本技術案では、シーンの俯瞰画像を学習し、５枚の確率マップを得る。この５枚の確率マップは、具体的に、１枚の中心点確率マップ及び４枚の内角点確率マップを含む。中心点確率マップは、シーン俯瞰画像における各画素点が駐車スペース中心点とする予測確率を反映し、各内角点確率マップは、シーン俯瞰画像における各画素点が駐車スペースのある内角点とする予測確率を反映し、且つ各駐車スペースの内角点と中心点に、幾何学的関係（位置関係）がある。これに基づいて、モデルによって出力された画像を利用して駐車スペース検出結果が得られる。本出願は、シーンの俯瞰画像を学習することによって、一段階で駐車スペースの迅速な検出を実現する。なお、本出願は、駐車スペースのタイプによる制限がないため、複数のタイプの駐車スペースを同時に検出することができ、駐車スペースの検出効率を向上させる。
【図面の簡単な説明】
【0023】
本出願の実施例又は従来の技術における技術案をより明確に説明するために、実施例又は従来の技術の説明に使用される図面を以下に簡単に紹介する。明らかに、以下の説明における図面は、本出願のいくつかの実施例に過ぎず、当業者にとって、創造的な労力をしない前提で、これらの図面に基づいて他の図面を得ることができる。
【図1】本出願の実施例による駐車スペース検出方法のフローチャートである。
【図2】本出願の実施例によるスタック型ネットワークモデルを利用する概略図である。
【図3】本出願の実施例による別の駐車スペース検出方法のフローチャートである。
【図4】本出願の実施例による駐車スペース検出装置の構造概略図である。
【発明を実施するための形態】
【0024】
前述したように、現在の駐車スペース検出案は、多階段で検出を実現するため、検出方法が複雑で、実現速度が遅いという問題がある。また、異なるタイプの駐車スペースを同時に検出することができない。これらの問題に対し、発明者は研究を経て、駐車スペース検出方法、装置、デバイス及び記憶媒体を提供する。本出願は、シーンの俯瞰画像を学習することによって、１枚の中心点確率マップと４枚の内角点確率マップを取得する。この５枚のマップを利用して当該俯瞰画像に対応する駐車スペース検出結果を取得する。本出願は、駐車スペース検出の流れを簡略化することで、駐車スペース検出速度を向上させる。また、本出願は、中心点確率マップと内角点確率マップでシーン駐車スペースを検出し、駐車スペースのタイプによる制限がないため、複数のタイプの駐車スペースを同時に検出することができ、検出効率を向上させる。
【0025】
当業者が本発明の解決手段をよりよく理解するために、以下、本出願の実施例における図面を参照し、本出願の実施例における技術案を明瞭、完全に説明し、明らかに、説明される実施例は、単に本出願の一部の実施例であり、全ての実施例ではない。本出願における実施例に基づいて、当業者が創造的な労働をしない前提で得られた全ての他の実施例は、いずれも本出願の保護範囲に属する。
【0026】
（方法実施例）
図１を参照して、この図は、本出願の実施例による駐車スペース検出方法のフローチャートである。図１に示すように、当該方法は、次のステップを含む。
ステップ１０１：シーンの俯瞰画像を取得する。
図１を参照して、この図は、本出願の実施例による駐車スペース検出方法のフローチャートである。図１に示すように、当該方法は、次のステップを含む。
ステップ１０１：シーンの俯瞰画像を取得する。
【0027】
本実施例では、駐車スペースの検出を必要とするシーンは、駐車場であってもよく、又は、計画された駐車スペースを有する道路や店舗の近くであってもよい。駐車スペースの検出を実現するために、まず、シーンの俯瞰画像を取得する必要がある。俯瞰画像を取得する理由は、俯瞰することが地上の駐車スペースに関する標識をより正確に識別でき、俯瞰画像において標識が歪んだり変形したりする可能性が小さいためである。従って、俯瞰画像を利用することは、駐車スペースの検出の正確度と精度を向上させるために非常に有利である。
【0028】
シーンの俯瞰画像は、様々な方式で取得することができる。
【0029】
一例として、ドローンを採用してシーンの上空で空中写真を撮影し、俯瞰画像を取得する。
【0030】
別の例として、車両に搭載された撮影装置によりシーンの初期画像を取得する。車両に搭載された撮影装置では、地面に対して完全に垂直な俯瞰撮影を実現できないことは理解できる。俯瞰画像を取得するために、この例では、シーンの初期画像をパノラマ画像にスティッチングすることができる。パノラマ画像をスティッチングする実現方式には様々なものがあり、ここではスティッチング方式を限定しない。最終的に、パノラマ画像を俯瞰画像に変換する。
【0031】
ステップ１０２：俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得する。
【0032】
１つの可能な実現方式では、スタック型ネットワークモデルを利用して俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得する。この実現方式では、本実施例の方法を実行する前に、スタック型ネットワークモデルが予め訓練されており、このモデルは、駐車スペース検出の重要な基礎となる５枚のマップ、つまり、１枚の中心点確率マップ（又は中心点マップと呼ばれる）と４枚の内角点確率マップ（又は内角点マップと呼ばれる）を出力するために用いられる。
【0033】
各駐車スペースは、長方形の輪郭又は平行四辺形の輪郭として具現化することができる。理解を容易にするため、以下では、まず、内角点と中心点の意味について説明する。
【0034】
各駐車スペースについて、４つの異なるタイプの内角点を含み、区別を容易にするために、それぞれ第１の内角点、第２の内角点、第３の内角点、及び第４の内角点と呼ばれる。一例として、第１の内角点と第２の内角点は、駐車スペースの前の2つの内角点であり、第３の内角点と第４の内角点は、駐車スペースの後ろの2つの内角点である。そのうち、第１の内角点と第２の内角点との接続線は、第３の内角点と第４の内角点との接続線に平行し、２つの接続線の長さは等しく、第１の内角点と第３の内角点との接続線は第２の内角点と第４の内角点との接続線に平行し、２つの接続線の長さは等しい。第１の内角点と第２の内角点との接続線は、第１の内角点と第３の内角点との接続線より短い。
【0035】
各駐車スペースには、１つの幾何学的中心点が存在する。例えば、第１の内角点と第４の内角点はそれぞれ駐車スペースの対角に位置し、第２の内角点と第３の内角点はそれぞれ駐車スペースの対角に位置する。第１の内角点と第４の内角点との接続線と、第２の内角点と第３の内角点との接続線との交点は、当該駐車スペースの中心点である。
【0036】
当該スタック型ネットワークモデルの構造は主にボトムアップ方式で設計される。図２を参照して、この図は本出願の実施例によるスタック型ネットワークモデルを利用する概略図である。図２に示すように、スタック型ネットワークモデルの入力はシーンの俯瞰画像であり、当該スタック型ネットワークモデルの出力は、５枚のマップである。スタック型ネットワークモデルによる俯瞰画像の処理手順は、実際には、画像特徴を抽出する手順である。
【0037】
スタック型ネットワークモデルによって出力される中心点確率マップは、俯瞰画像における各画素点が中心点とする予測確率を含む。つまり、中心点確率マップにおける各画素点の画素点値は、それぞれ元の俯瞰画像における各画素点が中心点とする予測確率である。例えば、中心点確率マップにおける座標値が（ｘ１，ｙ１）である画素点の画素点値は、０．８５であり、これは、俯瞰画像における座標値が（ｘ１，ｙ１）である画素点が駐車スペースの中心点とする予測確率が０．８５であることを示す。中心点確率マップにおけるある画素点の画素点値が大きいほど、俯瞰画像における座標に対応する画素点がある駐車スペースの中心に位置する確率が大きいことを示し、逆に、中心点確率マップにおけるある画素点の画素点値が小さいほど、俯瞰画像における座標に対応する画素点がある駐車スペースの中心に位置する確率が小さいことを示す。
【0038】
スタック型ネットワークモデルによって出力された内角点確率マップは、俯瞰画像における各画素点が内角点とする予測確率を含む。つまり、内角点確率マップにおける各画素点の画素点値は、それぞれ元の俯瞰画像における各画素点が内角点とする予測確率である。本実施例では、第１の内角点、第２の内角点、第３の内角点、及び第４の内角点はそれぞれ４枚の内角点確率マップのうち１枚の異なる内角点確率マップに対応する。例えば、第１の内角点に対応する内角点確率マップにおける座標値が（ｘ２，ｙ２）である画素点の画素点値は０．０１であり、これは、俯瞰画像における座標値が（ｘ２，ｙ２）である画素点が駐車スペースの第１の内角点とする予測確率が０．０１であることを示す。第１の内角点に対応する内角点確率マップにおいて、ある画素点の画素点値が大きいほど、俯瞰画像における座標に対応する画素点がある駐車スペースの第１の内角点に位置する確率が大きいことを示し、逆に、第１の内角点に対応する内角点確率マップにおいて、ある画素点の画素点値が小さいほど、俯瞰画像における座標に対応する画素点がある駐車スペースの第１の内角点に位置する確率が小さいことを示す。
【0039】
以上のスタック型ネットワークモデルを利用してシーンの俯瞰画像を学習する実現方式は、例示に過ぎない。実際の適用では、他の構造のモデルを用いて俯瞰画像を学習し、５枚のマップを取得してもよい。ここで、このステップの具体的な実現形態を限定しない。
【0040】
ステップ１０３：中心点確率マップと４枚の内角点確率マップに基づいて、俯瞰画像に対する駐車スペース検出結果を取得する。
【0041】
中心点確率マップを利用して、まず、駐車スペースの中心点とする予測確率の高い点を決定できることは理解することができる。同様に、内角点確率マップを利用して、まず、駐車スペースのあるタイプの内角点とする予測確率の高い点を決定することは理解することができる。実際に、ある駐車スペースの４つの内角点と当該駐車スペースの中心点との間に幾何学的関係が存在するため、幾何学的関係と、上記の決定された駐車スペース中心点とする確率の高い点と、あるタイプの内角点とする確率の高い点に基づいて、最終的に中心点及びその位置する駐車スペースの内角点を決定することができる。これにより、俯瞰画像に対する駐車スペース検出結果を取得する。
【0042】
具体的に実現する場合、１つの駐車スペースが１つの中心点のみを有するため、中心点の数が明確であると、駐車スペースの数も対応して取得することができる。中心点の位置情報は、俯瞰画像における位置情報として表現されてもよいし、シーンにおける位置情報として表現されてもよい。中心点の位置情報を決定した後、同じ駐車スペースにおける中心点と内角点との固有位置関係に基づいて、各中心点に関連する４つの内角点の位置情報を決定することができる。
【0043】
駐車スペース検出結果は、様々な内容を含むことができる。例えば、シーンにおける全ての駐車スペースの数及び位置を取得する、又は、シーンにおける全ての空き駐車スペースの数及び位置を取得する、又は、シーンにおける事前設定された要求を満たす空き駐車スペースの数及び位置を取得する。
【0044】
駐車スペースの位置は、具体的に、以下の方式で表すことができる。
以上の表現方式では、
は、駐車スペースの中心点の位置、第１の内角点の位置、第２の内角点の位置、第３の内角点の位置、第４の内角点の位置を順に表す。
【数1】
以上の表現方式では、
【0045】
実際の適用では、駐車スペース検出結果は、事前設定された要件に基づいてフィードバックすることができる。
一例として、事前設定された要件は、水平、垂直、斜め列の空き駐車スペースの数及び位置を提供することであり、駐車スペース検出結果には、上記の要件を満たす空き駐車スペースの数及び位置が含まれる。
一例として、事前設定された要件は、水平、垂直、斜め列の空き駐車スペースの数及び位置を提供することであり、駐車スペース検出結果には、上記の要件を満たす空き駐車スペースの数及び位置が含まれる。
【0046】
別の例として、事前設定された要件は、駐車場の出入口に最も近い空き駐車スペースの位置を提供することであり、駐車スペース検出結果には、この事前設定された要件を満たす空き駐車スペースの位置が含まれる。
【0047】
以上は、本出願の実施例によって提供される駐車スペース検出方法である。当該方法では、俯瞰画像に対して特徴を抽出し、１枚の中心点確率マップと４枚の内角点確率マップを取得する。最後に、この５枚のマップを利用して俯瞰画像に対する駐車スペース検出結果を取得する。当該方法は、複数のタイプの駐車スペースを同時に検出することができる。また、当該方法は、俯瞰画像を学習することによって複数の確率マップを直接取得するため、便利で迅速であり、駐車スペースの検出効率を向上させる。
【0048】
本出願の実施例は、別の駐車スペース検出方法もさらに提供し、以下では図面を結合して説明する。図３を参照して、この図は、本出願の実施例による別の駐車スペース検出方法のフローチャートである。当該方法は、次のステップを含む。
ステップ３０１：シーンの俯瞰画像を取得する。
ステップ３０２：前記俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得する。
ステップ３０３：前記中心点確率マップに基づいて中心点の数と位置情報を決定する。
ステップ３０１：シーンの俯瞰画像を取得する。
ステップ３０２：前記俯瞰画像を学習し、１枚の中心点確率マップと４枚の内角点確率マップを取得する。
ステップ３０３：前記中心点確率マップに基づいて中心点の数と位置情報を決定する。
【0049】
具体的に実現する場合、本ステップは、次のことを含む。
中心点確率マップにおける各画素点にについて、当該画素点が中心点とする予測確率が、第１の事前設定された確率閾値を超えるか否かを判断し、そうであれば、当該画素点を中心点として決定し、中心点の数に１を加算し、そうでなければ、他の画素点をトラバースし続ける。第１の事前設定された確率値は実際ニーズに応じて設置することができ、例えば、０．７又は０．７５として設置することができる。
中心点確率マップにおける各画素点にについて、当該画素点が中心点とする予測確率が、第１の事前設定された確率閾値を超えるか否かを判断し、そうであれば、当該画素点を中心点として決定し、中心点の数に１を加算し、そうでなければ、他の画素点をトラバースし続ける。第１の事前設定された確率値は実際ニーズに応じて設置することができ、例えば、０．７又は０．７５として設置することができる。
【0050】
また、中心点確率マップに基づいて極大値抑制アルゴリズムを結合して中心点を決定してもよい。極大値抑制アルゴリズムは、本分野の比較的成熟したアルゴリズムに属しているため、ここでは繰り返さない。
【0051】
画像座標系とシーン座標系との変換関係に従って、中心点とする画素点の画像座標系における座標をシーン座標系に変換し、中心点のシーン座標系における位置情報を取得する。一例として、画像座標系に対するシーン座標系の変換行列はＥであり、中心点の画像座標系における座標ＰＡに変換行列Ｅを乗算することで、中心点の実際シーンにおける位置情報ＰＢを取得することができる。
【0052】
ステップ３０４：前記４枚の内角点確率マップから中心点に関連する内角点を決定する。
ステップ３０５：決定された中心点の数及び位置情報、前記中心点に関連する内角点の位置情報、及び中心点と内角点との関連関係を利用し、前記俯瞰画像に対する駐車スペース検出結果を取得する。
ステップ３０５：決定された中心点の数及び位置情報、前記中心点に関連する内角点の位置情報、及び中心点と内角点との関連関係を利用し、前記俯瞰画像に対する駐車スペース検出結果を取得する。
【0053】
以上のステップ３０１からステップ３０５を経て、俯瞰画像に対する駐車スペース検出結果を取得する。駐車スペース検出結果は、自動駐車の分野に適用でき、駐車スペース検出結果を迅速且つ正確に提供することで、車両の自動駐車機能により、より安全性及び信頼性を有する自動駐車サービスをユーザーに提供する。従って、駐車スペース検出結果を取得した後、本実施例によって提供される方法は、ステップ３０６をさらに含んでもよい。
ステップ３０６：自動駐車支援モジュールが駐車スペース検出結果に基づいて駐車経路を計画して駐車制御を実行するように、駐車スペース検出結果を車両の自動駐車支援モジュールに送信する。
ステップ３０６：自動駐車支援モジュールが駐車スペース検出結果に基づいて駐車経路を計画して駐車制御を実行するように、駐車スペース検出結果を車両の自動駐車支援モジュールに送信する。
【0054】
駐車スペース検出結果には空き駐車スペース又は事前設定された要件を満たす空き駐車スペースが存在する場合、自動駐車支援モジュールに駐車位置を提供することに相当する。従って、自動駐車支援モジュールは、有効な駐車位置を利用してよりスムーズな駐車経路を確立することができ、この駐車経路に従って駐車制御を実行すると、車両を空き駐車スペース又は事前設定された要件を満たす空き駐車スペースにスムーズに駐車することができる。
【0055】
駐車制御は、具体的に、車両のシフトポジションや車輪回転数などを制御することを含むことができる。ここで、駐車制御の具体的な実施内容を限定しない。
【0056】
前述の実施例で提供される駐車スペース検出方法に基づいて、対応して、本出願は、駐車スペース検出装置も提供する。以下では、実施例を結合して説明する。
【0057】
（装置実施例）
図４を参照して、この図は、本出願の実施例による駐車スペース検出装置の構造概略図である。
図４を参照して、この図は、本出願の実施例による駐車スペース検出装置の構造概略図である。
【0058】
図４に示すように、当該駐車スペース検出装置は、
シーンの俯瞰画像を取得するための俯瞰画像取得モジュール４０１と、
俯瞰画像を学習し、スタック型ネットワークモデルによって出力された１枚の中心点確率マップと４枚の内角点確率マップを取得するための確率マップ取得モジュール４０２であって、中心点確率マップが、俯瞰画像における各画素点が中心点とする予測確率を含み、内角点確率マップが、俯瞰画像における各画素点が内角点とする予測確率を含み、異なる内角点確率マップが、駐車スペースの異なるタイプの内角点に対応する確率マップ取得モジュール４０２と、
中心点確率マップと４枚の内角点確率マップに基づいて、俯瞰画像に対する駐車スペース検出結果を取得するための駐車スペース検出結果取得モジュール４０３と、を含む。
シーンの俯瞰画像を取得するための俯瞰画像取得モジュール４０１と、
俯瞰画像を学習し、スタック型ネットワークモデルによって出力された１枚の中心点確率マップと４枚の内角点確率マップを取得するための確率マップ取得モジュール４０２であって、中心点確率マップが、俯瞰画像における各画素点が中心点とする予測確率を含み、内角点確率マップが、俯瞰画像における各画素点が内角点とする予測確率を含み、異なる内角点確率マップが、駐車スペースの異なるタイプの内角点に対応する確率マップ取得モジュール４０２と、
中心点確率マップと４枚の内角点確率マップに基づいて、俯瞰画像に対する駐車スペース検出結果を取得するための駐車スペース検出結果取得モジュール４０３と、を含む。
【0059】
この５枚の確率マップは、１枚の中心点確率マップと４枚の内角点確率マップを含む。中心点確率マップは、シーン俯瞰画像における各画素点が駐車スペース中心点とする予測確率を反映し、各内角点確率マップは、シーン俯瞰画像における各画素点が駐車スペースのある内角点とする予測確率を反映し、且つ各駐車スペースの内角点と中心点に幾何学的関係（位置関係）がある。これに基づいて、５枚の確率画像を利用して駐車スペース検出結果を取得する。従来の技術に比べて、本出願は、シーンの俯瞰画像を学習することによって、一段階で駐車スペースの迅速な検出を実現する。なお、当該装置による駐車スペースの検出は、駐車スペースのタイプによる制限がないため、複数のタイプの駐車スペースを同時に検出することができ、駐車スペースの検出効率を向上させる。
【0060】
任意選択で、駐車スペース検出結果取得モジュール４０３は、具体的に、
前記中心点確率マップに基づいて中心点の数及び位置情報を決定するための第１の決定ユニットと、
前記４枚の内角点確率マップから中心点に関連する内角点を決定するための第２の決定ユニットと、
決定された中心点の数及び位置情報、前記中心点に関連する内角点の位置情報、及び中心点と内角点との関連関係を利用し、前記俯瞰画像に対する駐車スペース検出結果を取得するための検出結果取得ユニットと、を含む。
前記中心点確率マップに基づいて中心点の数及び位置情報を決定するための第１の決定ユニットと、
前記４枚の内角点確率マップから中心点に関連する内角点を決定するための第２の決定ユニットと、
決定された中心点の数及び位置情報、前記中心点に関連する内角点の位置情報、及び中心点と内角点との関連関係を利用し、前記俯瞰画像に対する駐車スペース検出結果を取得するための検出結果取得ユニットと、を含む。
【0061】
任意選択で、第１の決定ユニットは、具体的に、
前記中心点確率マップにおける各画素点について、当該画素点が中心点とする予測確率が第１の事前設定された確率閾値を超えるか否かを判断し、そうであれば、当該画素点を中心点として決定し、中心点の数に１を加算し、
前記画像座標系とシーン座標系との変換関係に従って、中心点とする画素点の画像座標系における座標を前記シーン座標系に変換し、中心点の前記シーン座標系における位置情報を取得する。
前記中心点確率マップにおける各画素点について、当該画素点が中心点とする予測確率が第１の事前設定された確率閾値を超えるか否かを判断し、そうであれば、当該画素点を中心点として決定し、中心点の数に１を加算し、
前記画像座標系とシーン座標系との変換関係に従って、中心点とする画素点の画像座標系における座標を前記シーン座標系に変換し、中心点の前記シーン座標系における位置情報を取得する。
【0062】
任意選択で、第１の決定ユニットは、具体的に、
前記中心点確率マップに基づいて極大値抑制アルゴリズムを結合して中心点を決定する。
前記中心点確率マップに基づいて極大値抑制アルゴリズムを結合して中心点を決定する。
【0063】
任意選択で、駐車スペース検出結果取得モジュール４０３は、具体的に、
前記シーンにおける全ての駐車スペースの数及び位置を取得する、又は
前記シーンにおける全ての空き駐車スペースの数及び位置を取得する、又は
前記シーンにおける事前設定された要件を満たす空き駐車スペースの数及び位置を取得する。
前記シーンにおける全ての駐車スペースの数及び位置を取得する、又は
前記シーンにおける全ての空き駐車スペースの数及び位置を取得する、又は
前記シーンにおける事前設定された要件を満たす空き駐車スペースの数及び位置を取得する。
【0064】
任意選択で、俯瞰画像取得モジュール４０１は、具体的に、
車両に搭載された撮影装置により前記シーンの初期画像を取得するための初期画像取得ユニットと、
前記シーンの初期画像をパノラマ画像にスティッチングするための画像スティッチングユニットと、
前記パノラマ画像を前記俯瞰画像に変換するための画像変換ユニットと、を含む。
車両に搭載された撮影装置により前記シーンの初期画像を取得するための初期画像取得ユニットと、
前記シーンの初期画像をパノラマ画像にスティッチングするための画像スティッチングユニットと、
前記パノラマ画像を前記俯瞰画像に変換するための画像変換ユニットと、を含む。
【0065】
駐車スペース検出結果は、自動駐車の分野に適用することができ、駐車スペース検出結果を迅速且つ正確に提供することで、車両の自動駐車機能により、より安全性及び信頼性を有する自動駐車サービスをユーザーに提供する。従って、任意選択で、前述の駐車スペース検出装置は、
自動駐車支援モジュールが前記駐車スペース検出結果に基づいて駐車経路を計画して駐車制御を実行するように、前記駐車スペース検出結果を車両の前記自動駐車支援モジュールに送信するための送信モジュール４０４をさらに含む。
自動駐車支援モジュールが前記駐車スペース検出結果に基づいて駐車経路を計画して駐車制御を実行するように、前記駐車スペース検出結果を車両の前記自動駐車支援モジュールに送信するための送信モジュール４０４をさらに含む。
【0066】
前述の実施例によって提供される駐車スペース検出方法及び駐車スペース検出装置に基づいて、対応して、本出願は、駐車スペース検出を実現するデバイスも提供し、このデバイスはプロセッサーとメモリを含み、
メモリは、コンピュータプログラムを記憶し、
プロセッサーは、メモリに記憶されたコンピュータプログラムに従って、方法実施例によって提供される駐車スペース検出方法のステップの一部又は全てを実行する。
メモリは、コンピュータプログラムを記憶し、
プロセッサーは、メモリに記憶されたコンピュータプログラムに従って、方法実施例によって提供される駐車スペース検出方法のステップの一部又は全てを実行する。
【0067】
また、前述の実施例によって提供される駐車スペース検出方法、駐車スペース検出装置及デバイスに基づいて、対応して、本出願は、コンピュータ可読記憶媒体もさらに提供する。当該コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、コンピュータプログラムは、前述の方法実施例によって提供される駐車スペース検出方法のステップの一部又は全てを実行するために用いられる。
【0068】
なお、本明細書における各実施例はいずれも漸進の方式で説明し、各実施例の間の同じ及び類似の部分について互いに参照すればよく、各実施例では重点的に説明するのはいずれも他の実施例との相違点である。特に、デバイス及びシステム実施例について、それは基本的に方法実施形態と類似するため、比較的簡単に説明し、関連箇所は方法実施例の部分説明を参照すればよい。以上説明したデバイス及びシステムの実施例は単に概略的なものであり、別個の部材として説明したユニットは物理的に分離してもしなくてもよく、ユニットとして提示した部材は物理ユニットであってもなくてもよく、即ち、１つの場所に位置してもよく、又は複数のネットワークユニットに分散してもよい。実際のニーズに応じてそのうちの一部又は全てのモジュールを選択して本実施例の方案の目的を達成することができる。当業者にとって、創造的な労力なしに理解して実施することができる。
【0069】
上記は、本出願の１つの具体的な実施形態に過ぎないが、本出願の保護範囲はこれに限定されない。当業者であれば、本出願に開示された技術範囲内で容易に考えられる変更又は置換は、いずれも本出願の保護範囲内に含まれるべきである。従って、本出願の保護範囲は、特許請求の保護範囲に従うべきである。
【図1】
【図2】
【図3】
【図4】
【国際調査報告】