(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-14
(45)【発行日】2023-09-25
(54)【発明の名称】車両の底面境界点の確定方法、装置、路側機器及びクラウド制御プラットフォーム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230915BHJP
G06T 7/60 20170101ALI20230915BHJP
【FI】
G06T7/00 650A
G06T7/60 150D
(21)【出願番号】P 2022048611
(22)【出願日】2022-03-24
【審査請求日】2022-03-24
(31)【優先権主張番号】202110377781.6
(32)【優先日】2021-04-08
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】521208273
【氏名又は名称】阿波▲羅▼智▲聯▼(北京)科技有限公司
【氏名又は名称原語表記】APOLLO INTELLIGENT CONNECTIVITY(BEIJING)TECHNOLOGY CO.,LTD.
【住所又は居所原語表記】101, 1st Floor, Building 1, Yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Beijing 100176, China
(74)【代理人】
【識別番号】100118913
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100142789
【氏名又は名称】柳 順一郎
(74)【代理人】
【識別番号】100201466
【氏名又は名称】竹内 邦彦
(72)【発明者】
【氏名】李 歓
【審査官】佐藤 実
(56)【参考文献】
【文献】特開2002-029348(JP,A)
【文献】Marketa Dubska et al.,Automatic Camera Calibration for Traffic Understanding,Proceedings British Machine Vision Conference 2014,2014年01月,http://www.bmva.org/bmvc/2014/papers/paper013/index.html
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
(57)【特許請求の範囲】
【請求項1】
路側カメラによって収集された道路状況画像を取得し、前記道路状況画像内の目標車両を確定することと、
前記道路状況画像内の画像特徴又は前記目標車両の画像特徴に基づいて、前記道路状況画像内の目標消失点を確定することと、
前記目標車両の前記道路状況画像内での
地面に垂直な可視稜線及び前記目標車両の
第一可視側面にある2つの車輪を取得し、前記2つの車輪の接地点に基づいて地面基線を確定することと、
前記目標消失点、前記可視稜線
、前記地面基線
、車頂稜線、車底稜線及び底面稜線に基づいて、前記目標車両の底面の境界点の前記地面での正投影点である前記目標車両の底面境界点を確定することと、
を含
み、
前記道路状況画像内の画像特徴が、地面に垂直な少なくとも2つの目標基線を含み、
前記目標車両の画像特徴が、少なくとも2つの前記可視稜線を含む、車両の底面境界点の確定方法。
【請求項2】
上述の前記目標消失点、前記可視稜線及び前記地面基線に基づいて、前記目標車両の底面境界点を確定することが、
前記2つの車輪の位置する車両側面である前記目標車両の
前記第一可視側面と、前記第一可視側面における地面に垂直な第一可視稜線及び第二可視稜線とを取得することと、
前記第一可視稜線の延長線と前記地面基線の延長線との交点に基づいて第一底面境界点を確定し、前記第二可視稜線の延長線と前記地面基線の延長線との交点に基づいて第二底面境界点を確定することと、
前記目標車両の
前記車頂稜線を取得し、前記車頂稜線、前記第一底面境界点、前記第二底面境界点及び前記目標消失点に基づいて、前記目標車両の第三底面境界点及び第四底面境界点を確定することと、
を含む請求項1に記載の方法。
【請求項3】
上述の前記目標車両の車頂稜線を取得し、前記車頂稜線、前記第一底面境界点、前記第二底面境界点、及び前記目標消失点に基づいて、前記目標車両の第三底面境界点及び第四底面境界点を確定することが、
前記第一可視側面に隣接する第二可視側面を取得し、前記第二可視側面と前記車頂側面とが交差する第一車頂稜線を取得し、前記第一底面境界点の位置する稜線を前記第一可視稜線とすることと、
前記第二可視側面における前記第一可視稜線に対向する第三可視稜線、及び前記第二可視側面における前記第一車頂稜線に対向する第一車底稜線を取得することと、
前記第一底面境界点に基づいて、前記第一車底稜線に平行であり、前記第一底面境界点を含む第一底面稜線を確定することと、
前記第三可視稜線の延長線と前記第一底面稜線の延長線との交点に基づいて、第三底面境界点を確定することと、
前記第二可視側面、前記第二底面境界点及び前記目標消失点に基づいて、第四底面境界点を確定することと、
を含む請求項2に記載の方法。
【請求項4】
上述の前記第二可視側面、前記第二底面境界点及び前記目標消失点に基づいて、第四底面境界点を確定することが、
前記第一底面稜線に平行であり、且つ前記第二底面境界点が位置する前記目標車両の第二底面稜線を取得することと、
前記目標車両の車頂側面における前記第二底面稜線に対向する第二車頂稜線を取得し、前記第二車頂稜線と、前記目標車両の長さ方向における稜線であって、前記第一可視側面に対向する第三車頂稜線との目標交点を取得することと、
前記目標交点と前記目標消失点との結線を取得し、前記第二底面稜線と前記結線の交点を第四底面境界点として確定することと、
を含む請求項3に記載の方法。
【請求項5】
上述の前記道路状況画像内の画像特徴又は目標車両の画像特徴に基づいて、目標消失点を確定することが、
前記道路状況画像における地面に垂直な少なくとも2つの
前記目標基線を取得し、前記少なくとも2つの目標基線の各々の延長線の交点を目標消失点として確定するか、又は、
前記目標車両における地面に垂直な少なくとも2つの
前記可視稜線を取得し、前記2つの可視稜線の各々の延長線の交点を目標消失点として確定することを含む請求項1に記載の方法。
【請求項6】
路側カメラによって収集された道路状況画像を取得し、前記道路状況画像内の目標車両を確定するための第一取得モジュールと、
前記道路状況画像内の画像特徴又は前記目標車両の画像特徴に基づいて、前記道路状況画像内の目標消失点を確定するための第一確定モジュールと、
前記目標車両の前記道路状況画像内での
地面に垂直な可視稜線及び前記目標車両の
第一可視側面にある2つの車輪を取得し、前記2つの車輪の接地点に基づいて地面基線を確定するための第二取得モジュールと、
前記目標消失点、前記可視稜線
、前記地面基線
、車頂稜線、車底稜線及び底面稜線に基づいて、前記目標車両の底面の境界点の前記地面での正投影点である前記目標車両の底面境界点を確定するための第二確定モジュールと、
を備
え、
前記道路状況画像内の画像特徴が、地面に垂直な少なくとも2つの目標基線を含み、
前記目標車両の画像特徴が、少なくとも2つの前記可視稜線を含む、車両の底面境界点の確定装置。
【請求項7】
前記第二確定モジュールが、
前記2つの車輪の位置する車両側面である前記目標車両の
前記第一可視側面と、前記第一可視側面における地面に垂直な第一可視稜線及び第二可視稜線とを取得し、
前記第一可視稜線の延長線と前記地面基線の延長線との交点に基づいて第一底面境界点を確定し、前記第二可視稜線の延長線と前記地面基線の延長線との交点に基づいて第二底面境界点を確定し、
前記目標車両の
前記車頂稜線を取得し、前記車頂稜線、前記第一底面境界点、前記第二底面境界点及び前記目標消失点に基づいて、前記目標車両の第三底面境界点及び第四底面境界点を確定するために用いられる請求項6に記載の装置。
【請求項8】
前記第二確定モジュールが、
前記第一可視側面に隣接する第二可視側面を取得し、前記第二可視側面と前記車頂側面とが交差する第一車頂稜線を取得し、前記第一底面境界点の位置する稜線を前記第一可視稜線とし、
前記第二可視側面における前記第一可視稜線に対向する第三可視稜線、及び前記第二可視側面における前記第一車頂稜線に対向する第一車底稜線を取得し、
前記第一底面境界点に基づいて、前記第一車底稜線に平行であり、前記第一底面境界点を含む第一底面稜線を確定し、
前記第三可視稜線の延長線と前記第一底面稜線の延長線との交点に基づいて、第三底面境界点を確定し、
前記第二可視側面、前記第二底面境界点及び前記目標消失点に基づいて、第四底面境界点を確定するために用いられる請求項7に記載の装置。
【請求項9】
前記第二確定モジュールが、
前記第一底面稜線に平行であり、且つ前記第二底面境界点が位置する前記目標車両の第二底面稜線を取得し、
前記目標車両の車頂側面における前記第二底面稜線に対向する第二車頂稜線を取得し、前記第二車頂稜線と、前記目標車両の長さ方向における稜線であって、前記第一可視側面に対向する第三車頂稜線との目標交点を取得し、
前記目標交点と前記目標消失点との結線を取得し、前記第二底面稜線と前記結線の交点を第四底面境界点として確定するために用いられる請求項8に記載の装置。
【請求項10】
前記第一確定モジュールが、
前記道路状況画像における地面に垂直な少なくとも2つの
前記目標基線を取得し、前記少なくとも2つの目標基線の各々の延長線の交点を目標消失点として確定するか、又は、
前記目標車両における地面に垂直な少なくとも2つの
前記可視稜線を取得し、前記2つの可視稜線の各々の延長線の交点を目標消失点として確定するために更に用いられる請求項6に記載の装置。
【請求項11】
少なくとも1つのプロセッサと、
該少なくとも1つのプロセッサと通信接続されたメモリとを備える電子機器であって、
前記メモリには、前記少なくとも1つのプロセッサによって実行されることが可能な命令が記憶されており、前記命令が前記少なくとも1つのプロセッサによって実行されることで、前記少なくとも1つのプロセッサが請求項1から5のいずれか一項に記載の方法を実行可能となる電子機器。
【請求項12】
コンピュータ命令を記憶した非一時的コンピュータ読取可能な記憶媒体であって、前記コンピュータ命令は、請求項1から5のいずれか一項に記載の方法をコンピュータに実行させるためのものである非一時的コンピュータ読取可能な記憶媒体。
【請求項13】
プロセッサによって実行されると、請求項1から5のいずれか一項に記載の方法が実現されるコンピュータプログラ
ム。
【請求項14】
請求項11に記載の電子機器を備える路側機器。
【請求項15】
請求項11に記載の電子機器を備えるクラウド制御プラットフォーム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、コンピュータ技術の分野、特に知能交通技術の分野に関し、具体的に、車両の底面境界点の確定方法、装置、路側機器及びクラウド制御プラットフォームに関する。
【背景技術】
【0002】
コンピュータビジョンに基づく3D車両検出タスクでは、通常、車両の外接する直方体エンベロープの検出を必要とされるが、直方体エンベロープは、車両底面の矩形の4つの境界点及び車両の高さによって確定される必要がある。現在、レーダや多眼カメラ等の機器を介して、車両の輪郭を検出して車両の境界点をマークするか、又は、人間の経験に直接基づいてマークすることが一般的である。
【発明の概要】
【0003】
本開示は、車両の底面境界点の確定方法、装置、路側機器及びクラウド制御プラットフォームを提供する。
【0004】
本開示の第一局面によれば、車両の底面境界点の確定方法であって、路側カメラによって収集された道路状況画像を取得し、前記道路状況画像内の目標車両を確定することと、前記道路状況画像内の画像特徴又は前記目標車両の画像特徴に基づいて、前記道路状況画像内の目標消失点を確定することと、前記目標車両の前記道路状況画像内での可視稜線及び前記目標車両の同じ側にある2つの車輪を取得し、前記2つの車輪の接地点に基づいて地面基線を確定することと、前記目標消失点、前記可視稜線及び前記地面基線に基づいて、前記目標車両の底面の境界点の前記地面での正投影点である前記目標車両の底面境界点を確定することと、を含む、車両の底面境界点の確定方法を提供している。
【0005】
本開示の第二局面によれば、車両の底面境界点の確定装置であって、路側カメラによって収集された道路状況画像を取得し、前記道路状況画像内の目標車両を確定するための第一取得モジュールと、前記道路状況画像内の画像特徴又は前記目標車両の画像特徴に基づいて、前記道路状況画像内の目標消失点を確定するための第一確定モジュールと、前記目標車両の前記道路状況画像内での可視稜線及び前記目標車両の同じ側にある2つの車輪を取得し、前記2つの車輪の接地点に基づいて地面基線を確定するための第二取得モジュールと、前記目標消失点、前記可視稜線及び前記地面基線に基づいて、前記目標車両の底面の境界点の前記地面での正投影点である前記目標車両の底面境界点を確定するための第二確定モジュールと、を備える、車両の底面境界点の確定装置を提供している。
【0006】
本開示の第三局面によれば、少なくとも1つのプロセッサと、該少なくとも1つのプロセッサと通信接続されたメモリとを備える電子機器であって、前記メモリには、前記少なくとも1つのプロセッサによって実行されることが可能な命令が記憶されており、前記命令が前記少なくとも1つのプロセッサによって実行されることで、前記少なくとも1つのプロセッサが第一局面に記載の方法を実行可能となる電子機器を提供している。
【0007】
本開示の第四局面によれば、コンピュータ命令を記憶した非一時的コンピュータ読取可能な記憶媒体であって、前記コンピュータ命令は、第一局面に記載の方法をコンピュータに実行させるためのものである非一時的コンピュータ読取可能な記憶媒体を提供している。
【0008】
本開示の第五局面によれば、コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムがプロセッサによって実行されると、第一局面に記載の方法が実現される、コンピュータプログラム製品を提供している。
【0009】
本開示の第六局面によれば、第三局面に記載の電子機器を備える路側機器を提供している。
【0010】
本開示の第七局面によれば、第三局面に記載の電子機器を備えるクラウド制御プラットフォームを提供している。
【0011】
本開示が提供した技術案によれば、路側カメラによって収集された道路状況画像を取得した上で、車両自体の構造特徴に基づくだけで、車両の底面境界点を確定でき、外部機器の不正確な測位や大量のデータの問題を回避したとともに、人間の経験による低い正確度の問題も回避でき、車両の車輪接地点の確定についての正確性を効果的に向上させることができる。
【0012】
理解されないのは、この部分で説明された内容は、本開示の実施例における肝心又は重要な特徴を特定することを意図せず、本開示の範囲を制限するためのものでもない。本開示の他の特徴は、以下の説明により、理解され易くなるであろう。
【0013】
図面は、本技術案をより好く理解するためのものであり、本開示に対する制限を構成するものではない。
【図面の簡単な説明】
【0014】
【
図1】本開示による一実施例に開示の車両の底面境界点の確定方法のフローチャートである。
【
図2】本開示の一実施例に開示の車両の底面境界点の確定方法に適用される目標消失点の確定の模式図その一である。
【
図3】本開示の一実施例に開示の車両の底面境界点の確定方法に適用される目標消失点の確定の模式図その二である。
【
図4】本開示による一実施例に開示の車両の底面境界点の確定装置の構造図である。
【
図5】本開示の実施例に係る車両の底面境界点の確定方法を実現するための電子機器のブロック図である。
【発明を実施するための形態】
【0015】
以下、図面を参照して本開示の例示的な実施例を説明する。理解を助けるために、その中には、本開示の実施例の様々な詳細を含むが、これらの詳細は、単に例示的なものであると理解されたい。したがって、当業者であれば、本開示の範囲及び精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更及び修正を加えることができると認識すべきである。同様に、説明の明確化及び簡素化のために、以下の説明では、周知の機能及び構造についての記載が省略される。
【0016】
本開示の実施例は、車両の底面境界点の確定方法を開示している。
【0017】
図1を参照して、
図1は、本開示の実施例に開示の車両の底面境界点の確定方法のフローチャートである。前記方法は、
図1に示すように、以下のステップS101~S104を含む。
【0018】
ステップS101は、路側カメラによって収集された道路状況画像を取得し、前記道路状況画像内の目標車両を確定することである。
【0019】
説明すべきなのは、前記路側カメラとは、道路の両側に装着されたカメラであってもよいし、又は、交通信号灯に装着されたカメラであってもよく、前記路側カメラの撮像範囲は、路面であり、例えばカメラを下に向けて撮影した道路状況画像であってもよいし、又は、道路の片側にあるカメラを道路の中央に向けて撮影した道路状況画像であってもよく、且つ路側カメラの装着位置は、通常、車両の高さよりも高くなる。本開示の実施例における道路状況画像には、少なくとも1つの車両が含まれ、前記目標車両は、前記道路状況画像内の何れか1つの車両である。
【0020】
ステップS102は、前記道路状況画像内の画像特徴又は前記目標車両の画像特徴に基づいて、前記道路状況画像内の目標消失点を確定することである。
【0021】
ここで、消失点とは、前記道路状況画像内の2本の平行線の視覚交差点である。例えば、前記道路状況画像には、地面に垂直な2本の電柱が含まれており、道路状況画像に対応する実景では、これら2本の電柱が平行なものである一方で、カメラの視野で収集された道路状況画像では、これら2本の電柱が非平行となると、道路状況画像では、これら2本の電柱の延長線の交差点が得られ、当該交差点は、道路状況画像に対応する実景の垂直方向における消失点となる。
【0022】
理解できることに、異なる方向に基づき、道路状況画像に対応する消失点は、複数であり得る。例えば、道路状況画像に対応する実景は、垂直方向において、対応する消失点が1つあり、水平方向において、対応する消失点が1つあり、底面に対して45度傾斜した方向においても、対応する消失点が1つあり得る。本開示の実施例において、前記目標消失点とは、道路状況画像に対応する実景の地面に垂直な方向における消失点であってもよい。
【0023】
説明すべきなのは、目標消失点の確定について、道路状況画像内の画像特徴に基づいて確定されてもよいし、又は、目標車両の画像特徴に基づいて確定されてもよい。選択的に、本開示の実施例において、前記ステップS102は、前記道路状況画像における地面に垂直な少なくとも2つの目標基線を取得し、前記少なくとも2つの目標基線の各々の延長線の交点を目標消失点として確定するか、又は、前記目標車両における地面に垂直な少なくとも2つの可視稜線を取得し、前記2つの可視稜線の各々の延長線の交点を目標消失点として確定することを含んでもよい。
【0024】
一実施形態において、目標消失点は、道路状況画像内の画像特徴に基づいて確定されてもよい。理解できることに、前記目標消失点が、道路状況画像に対応する実景の垂直方向における消失点であれば、道路状況画像における地面に垂直な少なくとも2つの目標基線を取得するようにしてもよく、例えば前記目標基線は、地面に垂直な電柱、道端の建物の地面に垂直な稜線、又は路面上における地面に垂直な欄干等であってもよく、少なくとも2つの目標基線に基づけば、少なくとも2つの目標基線の延長線の交点が取得可能となり、更に当該交点が前記目標消失点として確定される。
【0025】
図2に示すように、道路状況画像における地面に垂直な3つの電柱100が取得され、これら3つの電柱100の延長線の交点Sが取得され、当該交点Sが道路状況画像内の目標消失点とされる。
【0026】
別の一実施形態において、道路状況画像内の目標車両が確定された後、目標消失点は、目標車両の画像特徴に基づいて確定されてもよい。例えば、前記目標車両が矩形のバスであれば、バスの地面に垂直な少なくとも2つの可視稜線を取得し、当該2つの可視稜線の延長線の交点を目標消失点として確定するようにしてもよい。
図3に示すように、前記目標車両が矩形のバスである場合、バスの地面に垂直な少なくとも2つの可視稜線が取得され、当該2つの可視稜線の延長線の交点が目標消失点Sとして確定される。
【0027】
説明すべきなのは、目標車両の対応する稜線が規則的な直線でない場合、モデル構築により、目標車両における地面に垂直な稜線を得てもよく、例えば目標車両の最小外接直方体の稜上の1点で、目標車両の地面に垂直な稜線を構築してもよい。
【0028】
本開示の実施例において、上記の何れか1つの実施形態によれば、道路状況画像に対応する実景の垂直方向における目標消失点を確定できる。好ましくは、先に道路状況画像内の目標基線によって目標消失点を確定する。もし道路状況画像には、地面に垂直な目標基線が含まれない場合、目標車両の画像特徴によって目標消失点を確定してもよく、もし目標車両には、地面に垂直な可視稜線が含まれない場合、地面に垂直な他の目標基線によって目標消失点を確定するか、又は、目標車両の地面に垂直な稜線を構築して目標消失点を確定してもよい。こうして、目標消失点についての確定方式がより柔軟かつ多様とされる。
【0029】
ステップS103は、前記目標車両の前記道路状況画像内での可視稜線及び前記目標車両の同じ側にある2つの車輪を取得し、前記2つの車輪の接地点に基づいて地面基線を確定することである。
【0030】
ここで、前記稜線とは、車両の異なる側の交線であり、例えば車両の進行方向において、車両の左側面と先頭側との交線は、1本の稜線となり、車両の右側面と先頭側との交線は、別の1本の稜線となる。本開示の実施例において、前記可視稜線とは、道路状況画像内の遮られずに見える稜線である。
図2に示すように、目標車両については、道路状況画像から、地面に垂直な方向における3本の可視稜線及び車頂側面の複数本の可視稜線等を取得できる。
【0031】
説明すべきなのは、路側カメラによって収集された道路状況画像では、各々の車両について、同じ側にある2つの可視車輪、例えば車両左側の前後にある2つの車輪、又は車両先頭側にある2つの前車輪を取得できる。よって、本開示の実施例では、目標車両の見える車輪であって、同じ側にある2つの車輪を取得でき、
図3に示すように、目標車両の左側にある前車輪及び後車輪が取得され、これら2つの車輪の接地点の結線が地面基線Aとして確定され、道路状況画像に対応する実景では、当該地面基線Aは、垂直方向における目標車両の可視稜線に垂直なものである。
【0032】
説明すべきなのは、路側カメラの視覚角度では、道路状況画像において、可視稜線と地面基線とが垂直関係にない。
【0033】
ステップS104は、前記目標消失点、前記可視稜線及び前記地面基線に基づいて、前記目標車両の底面境界点を確定することである。
【0034】
ここで、前記底面境界点は、前記目標車両の底面の境界点の前記地面での正投影点である。前記境界点とは、車両の隣接する2つの側面の交点であり、例えば車両左側面と車両底面とに2つの交点があり、これら2つの交点は、車両左側面の境界点であるし、車両底面の境界点でもある。
【0035】
選択的に、車両底面は、通常、矩形又は略矩形であり、目標車両の底面が矩形でない場合は、モデル構築に基づいて目標車両の底面境界点を確定してもよい。例えば、目標車両の前後左右の4つの側面の最外側の接線により、目標車両の外接矩形を構築し、外接矩形の4つの頂点を目標車両の底面境界点として確定してもよい。
【0036】
説明すべきなのは、底面境界点の数は、目標車両の底面形状に基づいて確定されてもよい。例えば、前記目標車両の底面境界点は、4つである。又は、例えば目標車両の底面が六角形などの多角形である場合、底面境界点は、6つ等の数であってもよい。本開示の実施例に係る技術案をよりよく説明するために、以下の実施形態では、目標車両の底面が矩形、底面境界点が4つである例を挙げて説明する。
【0037】
理解できることに、目標車両の底面は、地面に対して一定の高さを持っており、本開示の実施例において、底面境界点は、目標車両の底面の境界点の地面での正投影点となる。ここで、前記可視稜線とは、目標車両の見える稜線のうち、地面に垂直な稜線であり、更に、可視稜線と地面基線との交点に基づけば、2つの底面境界点を確定でき、次に、確定済みのこれら2つの底面境界点、目標消失点、目標車両の他の可視稜線及び目標車両の他の側面の稜線に対して延長線又は補助線を作成すれば、目標車両の別の2つの底面境界点を確定できる。
【0038】
説明すべきなのは、前記底面境界点は、道路状況画像内にマークされてもよいし、又は、道路状況画像に対して座標系を確立し、例えば消失点又は道路状況画像の左下隅を座標原点として座標系を確立して、目標車両の底面境界点の確定について、座標値で表されてもよい。
【0039】
本開示の実施例が提供した技術案によれば、目標車両の可視稜線、道路状況画像内の目標消失点及び地面基線を確定し、更に目標消失点、可視稜線、地面基線及び目標車両の他の側面の稜線に基づいて延長線又は補助線を作成することで、目標車両の底面境界点を確定しており、底面境界点が確定されれば、目標車両の外接直方体エンベロープの確定に寄与し、ひいては、目標車両の3D検出タスクの実現に寄与する。レーダや多眼カメラ等の外部機器を介して車両の3D情報を間接に測位する場合や、人間の経験に基づいて車両の境界点情報を確定する場合に比べて、本開示が提供した技術案によれば、路側カメラによって収集された道路状況画像を取得した上で、車両自体の稜線等の特徴に基づくだけで、車両の底面境界点を確定でき、外部機器の不正確な測位や大量のデータの問題を回避したとともに、人間の経験による低い正確度の問題も回避でき、車両の底面境界点の確定についての正確性を効果的に向上させることができる。
【0040】
選択的に、前記ステップS104は、前記2つの車輪の位置する車両側面である前記目標車両の第一可視側面と、前記第一可視側面における地面に垂直な第一可視稜線及び第二可視稜線とを取得することと、前記第一可視稜線の延長線と前記地面基線の延長線との交点に基づいて第一底面境界点を確定し、前記第二可視稜線の延長線と前記地面基線の延長線との交点に基づいて第二底面境界点を確定することと、前記目標車両の車頂稜線を取得し、前記車頂稜線、前記第一底面境界点、前記第二底面境界点及び前記目標消失点に基づいて、前記目標車両の第三底面境界点及び第四底面境界点を確定することと、を含む。
【0041】
ここで、前記第一可視側面は、目標車両の同じ側にある2つの車輪の位置する平面であり、例えば
図3に示すような第一可視側面である。理解できることに、第一可視側面の地面に垂直な2本の稜線は、例えば第一可視稜線B及び第二可視稜線Cのような可視稜線となり、これら2本の稜線の各々の延長線と地面基線Aとの交点に基づけば、第一底面境界点10及び第二底面境界点20を得ることができる。こうして、更に目標車両の別の2つの底面境界点を確定すれば済むが、これら2つの底面境界点のうち、少なくとも1つが前記道路状況画像から見えない(不可視である)場合は、目標車両の他の稜線によって確定されてもよい。
【0042】
理解できることに、路側カメラは、通常、車両の上方に位置するものである。よって、目標車両の車頂稜線を取得し、車頂稜線、確定済みの2つの底面境界点及び目標消失点に基づいて、目標車両の別の2つの底面境界点を確定してもよい。
【0043】
例えば、目標車両の道路状況画像内での可視稜線が2本であれば、目標車両の可視側面としては、第一可視側面及び車頂側面だけであり、第一可視側面に対向する車両側面が第一可視側面によって遮られることが考えられる。この場合、目標車両の車頂側面及び各可視稜線を取得することで確定してもよい。第一可視側面の地面に垂直な稜線が第一稜線及び第二稜線であると仮定して、目標車両の車頂側面における第一可視側面から遠い第一頂面境界点及び第二頂面境界点を取得し、第一稜線の長さ及び第一頂面境界点に基づけば、車底側面の第三底面境界点を確定でき、第二稜線の長さ及び第二頂面境界点に基づけば、車底側面の第四底面境界点を確定できる。ここで、第一頂面境界点から第三底面境界点までの距離は、第一稜線の長さと一致し、第二頂面境界点から第四底面境界点までの距離は、第二稜線の長さと一致する。
【0044】
又は、
図3に示すように、目標車両の道路状況画像内での可視稜線が3本であれば、目標車両の可視側面には、第一可視側面、第二可視側面及び車頂側面が含まれる。この場合、車頂側面の車頂稜線、第二可視側面の稜線、目標消失点及び確定済みの2つの底面境界点によって、第三底面境界点及び第四底面境界点を確定してもよい。
【0045】
こうして、道路状況画像内の目標車両の異なる画像状況に応じて、目標車両の可視稜線、可視側面、目標消失点等の画像特徴を生かして、様々な方式で目標車両の底面境界点を確定することができるため、目標車両の底面境界点についての確定方式がより多様かつ柔軟とされ、その結果、底面境界点が道路状況画像内で正確に測位されることを確保され、目標車両の3D検出タスクの実現が保証される。
【0046】
選択的に、道路状況画像において、目標車両の可視側面に第一可視側面、第二可視側面及び車頂側面が含まれる場合、上述の前記目標車両の車頂稜線を取得し、前記車頂稜線、前記第一底面境界点、前記第二底面境界点、及び前記目標消失点に基づいて、前記目標車両の第三底面境界点及び第四底面境界点を確定することは、前記第一可視側面に隣接する第二可視側面を取得し、前記第二可視側面と前記車頂側面とが交差する第一車頂稜線を取得し、前記第一底面境界点の位置する稜線を前記第一可視稜線とすることと、前記第二可視側面における前記第一可視稜線に対向する第三可視稜線、及び前記第二可視側面における前記第一車頂稜線に対向する第一車底稜線を取得することと、前記第一底面境界点に基づいて、前記第一車底稜線に平行であり、前記第一底面境界点を含む第一底面稜線を確定することと、前記第三可視稜線の延長線と前記第一底面稜線の延長線との交点に基づいて、第三底面境界点を確定することと、前記第二可視側面、前記第二底面境界点及び前記目標消失点に基づいて、第四底面境界点を確定することと、を含む。
【0047】
理解できることに、路側カメラの設置角度に基づき、路側カメラによって収集された道路状況画像に目標車両の車頂側面が含まれ、目標車両の車頂側面における第一底面境界点に近い第一車頂稜線を取得できるようになっており、且つ当該第一車頂稜線が目標車両の車頂幅方向における稜線であり、例えば
図3に示すような目標車両における第一車頂稜線Dである。
【0048】
図3を参照して、目標車両における第一可視側面に隣接する第二可視側面が取得され、第二可視側面と第一可視側面とには、共通の可視稜線が含まれ、且つ当該可視稜線は、第一底面境界点を通過する稜線であり、第一可視稜線Bとして定義される。理解できることに、第一車頂稜線Dも、第二可視側面の稜線の1つであり、第二可視側面における第一可視稜線Bに対向する第三可視稜線Eがそれぞれ取得され、これら2本の稜線B及びEは、目標車両の高さ方向における第二可視側面の稜線となり、それに、第二可視側面における第一車頂稜線Dに対向する第一車底稜線Kが取得され、第一車底稜線Kは、第一可視稜線B及び第三可視稜線Eと交差することになる。さらには、第一底面境界点10に基づいて、第一車底稜線Kに平行な第一底面稜線Fが確定され、当該第一底面稜線Fが第一底面境界点10を通過するものであれば、当該第一底面稜線Fは、地面と同じ平面上にあり、更に、第三可視稜線Eの延長線と第一底面稜線Fの延長線との交点は、目標車両の第三底面境界点30となる。
【0049】
本開示の実施例において、目標車両の底面は矩形であり、目標車両の底面の3つの底面境界点が確定された後、確定済みの底面境界点、各可視側面の可視稜線及び目標消失点に基づいて、別の1つの底面境界点を確定してもよい。
【0050】
理解できることに、第二底面境界点及び第四底面境界点が同じ直線上にあり、且つ第三底面境界点及び第一底面境界点の位置する直線に平行であれば、第二可視側面、第二底面境界点及び目標消失点に基づいて、第四底面境界点を確定してもよい。こうして、レーダ等の外部機器を介せず、人間の主観的な経験を必要とせずに、目標車両における確定済みの底面境界点及び可視稜線等の特徴を生かして4つの底面境界点を確定でき、車両の底面境界点についての測位の正確性を効果的に向上させた。
【0051】
選択的に、上述の前記第二可視側面、前記第二底面境界点及び前記目標消失点に基づいて、第四底面境界点を確定することは、前記第一底面稜線に平行であり、且つ前記第二底面境界点が位置する前記目標車両の第二底面稜線を取得することと、前記目標車両の車頂側面における前記第二底面稜線に対向する第二車頂稜線を取得し、前記第二車頂稜線と、前記目標車両の長さ方向における稜線であって、前記第一可視側面に対向する第三車頂稜線との目標交点を取得することと、前記目標交点と前記目標消失点との結線を取得し、前記第二底面稜線と前記結線の交点を第四底面境界点として確定することとを含む。
【0052】
理解できることに、第二底面境界点及び第四底面境界点は、同じ直線上にあり、且つ第三底面境界点及び第一底面境界点の位置する直線に平行である。第一底面境界点及び第三底面境界点に基づいて第一底面稜線が確定され、更に第一底面稜線に平行な第二底面稜線が取得されると、第二底面境界点及び第四底面境界点が当該第二底面稜線上に位置することになり、第二底面境界点が確定済みであるため、第二底面稜線で第四底面境界点を確定すればよい。
【0053】
図3に示すように、目標車両の車頂側面における第一車頂稜線Dに平行な第二車頂稜線H、及び第二車頂稜線Hと交差する第三車頂稜線Iが取得され、且つ当該第三車頂稜線Iは、第一可視側面から遠い稜線であり、そして、第二車頂稜線Hと第三車頂稜線Iとの目標交点が取得され、理解できることに、当該目標交点と第四底面境界点との結線は、目標車両の地面に垂直な不可視稜線である。一方、目標消失点Sは、道路状況画像における地面に垂直な直線の交点であり、そして、当該不可視稜線の位置する直線は、目標消失点Sを通過することになり、更に目標消失点Sと目標交点との間の結線Jが取得されると、前記不可視稜線は、当該結線Jと重なり合い、第四底面境界点は、当該結線J上に位置することになり、第四底面境界点が第二底面稜線G上にも位置すれば、第二底面稜線Gと当該結線Jとの交点が第四底面境界点40として確定される。こうして、目標車両の4つの底面境界点についての確定が完了し、車両の底面境界点についての測位の正確性が効果的に確保される。
【0054】
説明すべきなのは、第四底面境界点について、他の確定方式を更に含んでもよい。例えば、第二底面稜線が確定された後、第三車頂稜線に平行であり、且つ第三底面境界点を通過する第三底面稜線を取得し、更に、当該第三底面稜線と第二底面稜線との交点が第四底面境界点となる。
【0055】
本開示の実施例において、路側カメラによって収集された道路状況画像に基づいて、路側カメラの俯瞰視角を十分に利用して目標消失点を確定するとともに、道路画像における車両の稜線の特徴を利用して車両の底面境界点を確定することで、車両の底面境界点の確定を根拠のあるものにし、正確性及び信頼性が高まる上に、本開示は、別途のハードウェア投入を必要とせず、ハードウェアコストが効果的に削減される。
【0056】
本開示の実施例は、車両の底面境界点の確定装置を更に開示している。
【0057】
図4を参照して、
図4は、本開示の一実施例に開示の車両の底面境界点の確定装置の構造図である。前記車両の底面境界点の確定装置400は、
図4に示すように、路側カメラによって収集された道路状況画像を取得し、前記道路状況画像内の目標車両を確定するための第一取得モジュール401と、前記道路状況画像内の画像特徴又は前記目標車両の画像特徴に基づいて、前記道路状況画像内の目標消失点を確定するための第一確定モジュール402と、前記目標車両の前記道路状況画像内での可視稜線及び前記目標車両の同じ側にある2つの車輪を取得し、前記2つの車輪の接地点に基づいて地面基線を確定するための第二取得モジュール403と、前記目標消失点、前記可視稜線及び前記地面基線に基づいて、前記目標車両の底面の境界点の前記地面での正投影点である前記目標車両の底面境界点を確定するための第二確定モジュール404と、を備える。
【0058】
選択的に、前記第二確定モジュール404は、前記2つの車輪の位置する車両側面である前記目標車両の第一可視側面と、前記第一可視側面における地面に垂直な第一可視稜線及び第二可視稜線とを取得し、前記第一可視稜線の延長線と前記地面基線の延長線との交点に基づいて第一底面境界点を確定し、前記第二可視稜線の延長線と前記地面基線の延長線との交点に基づいて第二底面境界点を確定し、前記目標車両の車頂稜線を取得し、前記車頂稜線、前記第一底面境界点、前記第二底面境界点及び前記目標消失点に基づいて、前記目標車両の第三底面境界点及び第四底面境界点を確定するために更に用いられる。
【0059】
選択的に、前記第二確定モジュール404は、前記第一可視側面に隣接する第二可視側面を取得し、前記第二可視側面と前記車頂側面とが交差する第一車頂稜線を取得し、前記第一底面境界点の位置する稜線を前記第一可視稜線とし、前記第二可視側面における前記第一可視稜線に対向する第三可視稜線、及び前記第二可視側面における前記第一車頂稜線に対向する第一車底稜線を取得し、前記第一底面境界点に基づいて、前記第一車底稜線に平行であり、前記第一底面境界点を含む第一底面稜線を確定し、前記第三可視稜線の延長線と前記第一底面稜線の延長線との交点に基づいて、第三底面境界点を確定し、前記第二可視側面、前記第二底面境界点及び前記目標消失点に基づいて、第四底面境界点を確定するために更に用いられる。
【0060】
選択的に、前記第二確定モジュール404は、前記第一底面稜線に平行であり、且つ前記第二底面境界点が位置する前記目標車両の第二底面稜線を取得し、前記目標車両の車頂側面における前記第二底面稜線に対向する第二車頂稜線を取得し、前記第二車頂稜線と、前記目標車両の長さ方向における稜線であって、前記第一可視側面に対向する第三車頂稜線との目標交点を取得し、前記目標交点と前記目標消失点との結線を取得し、前記第二底面稜線と前記結線の交点を第四底面境界点として確定するために更に用いられる。
【0061】
選択的に、前記第一確定モジュール402は、前記道路状況画像における地面に垂直な少なくとも2つの目標基線を取得し、前記少なくとも2つの目標基線の各々の延長線の交点を目標消失点として確定するか、又は、前記目標車両における地面に垂直な少なくとも2つの可視稜線を取得し、前記2つの可視稜線の各々の延長線の交点を目標消失点として確定するために更に用いられる。
【0062】
説明すべきなのは、本実施例による車両の底面境界点の確定装置400は、上記車両の底面境界点の確定方法の実施例に係る全ての技術案を実現できるため、少なくとも上記の全ての技術的効果を実現できるが、ここで繰り返して述べない。
【0063】
本開示の実施例によれば、本開示は、電子機器、読取可能な記憶媒体及びコンピュータプログラム製品を更に提供している。
【0064】
図5は、本開示の実施例を実施するために使用できる例示的な電子機器500の概略ブロック図を示している。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークベンチ、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及びその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを目的としている。電子機器は、パーソナルデジタルアシスタント、セルラフォン、スマートフォン、ウェアラブルデバイス、及びその他の類似なコンピューティング装置など、様々な形態のモバイル装置を表すこともできる。本明細書で示されるコンポーネント、それらの接続及び関係、並びにそれらの機能は単なる例であり、本明細書で説明及び/又は要求される本開示の実現を制限することを意図するものではない。
【0065】
図5に示すように、機器500は、読取専用メモリ(ROM)502に記憶されたコンピュータプログラム、又は、記憶ユニット508からランダムアクセスメモリ(RAM)503にロードされたコンピュータプログラムに従って、各種の適切な動作及び処理を実行可能なコンピューティングユニット501を備える。RAM503には、機器500の操作に必要な各種のプログラム及びデータが記憶されてもよい。コンピューティングユニット501と、ROM502とRAM503とは、バス504を介して互いに接続されている。入力/出力(I/O)インターフェース505も、バス504に接続されている。
【0066】
電子機器500における複数のコンポーネントは、I/Oインターフェース505に接続されており、前記複数のコンポーネントは、例えばキーボード、マウス等の入力ユニット506、例えば様々な類型のディスプレイ、スピーカ等の出力ユニット507、例えば磁気ディスク、光ディスク等の記憶ユニット508、及び、例えばネットワークカード、モデム、無線通信トランシーバ等の通信ユニット509を備える。通信ユニット509は、電子機器500がインターネット等のコンピュータネットワーク及び/又は様々な電気通信ネットワークを介して他の機器と情報/データを交換することを可能にする。
【0067】
コンピューティングユニット501は、処理及びコンピューティング能力を有する様々な汎用及び/又は専用処理構成要素とすることができる。コンピューティングユニット501のいくつかの例としては、中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、様々な専用人工知能(AI)コンピューティングチップ、機械学習モデルアルゴリズムを実行する様々なコンピューティングユニット、デジタル信号プロセッサ(DSP)、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラ等を含むが、これらに限定されない。コンピューティングユニット501は、上述した各方法及び処理、例えば車両の底面境界点の確定方法を実行する。例えば、いくつかの実施例において、車両の底面境界点の確定方法は、記憶ユニット508等の機械読取可能な媒体に有形に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全ては、ROM502及び/又は通信ユニット509を介して機器500にロード及び/又はインストールされてもよい。コンピュータプログラムがRAM503にロードされてコンピューティングユニット501によって実行されると、上述した車両の底面境界点の確定方法における1つ又は複数のステップを実行可能となる。代替的に、他の実施例において、コンピューティングユニット501は、他の任意の適切な方法によって(例えば、ファームウェアを通じて)、車両の底面境界点の確定方法を実行するように構成されてもよい。
【0068】
本明細書において上述したシステム及び技術の様々な実装形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップシステム(SOC)、複合プログラマブルロジックデバイス(CPLD)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現可能である。これらの様々な実施例は、少なくとも1つのプログラマブルプロセッサを備えるプログラマブルシステム上で実行及び/又は解釈可能な1つ又は複数のコンピュータプログラムで実装されてもよく、当該プログラマブルプロセッサは、ストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも1つの入力装置、及び当該少なくとも1つの出力装置に送信可能な専用又は汎用のプログラマブルプロセッサであってもよい。
【0069】
本開示の方法を実施するためのプログラムコードは、1つ又は複数のプログラミング言語の任意の組み合わせで作成することが可能である。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、こうした場合、プログラムコードがプロセッサ又はコントローラによって実行されると、フローチャート及び/又はブロック図に規定された機能及び/又は操作が実施される。プログラムコードは、全てマシン上で、部分的にマシン上で、スタンドアロンソフトウェアパッケージの一部として、部分的にリモートマシン上で、又は全てのリモートマシン又はサーバ上で実行することが可能である。
【0070】
本開示の記載において、機械読取可能な媒体は、命令実行システム、装置やデバイスによって使用されるか、或いは命令実行システム、装置やデバイスと組み合わせて使用されるプログラムを包含又は記憶可能な有形の媒体であってもよい。機械読取可能な媒体は、機械読取可能な信号媒体又は機械読取可能な記憶媒体であってもよい。機械読取可能な媒体は、電子、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置やデバイス、又はこれらの任意の適切な組み合わせを備えてもよいが、それらに限定されない。機械読取可能な記憶媒体のより具体的な例としては、1つ又は複数の線による電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、消去可能なプログラマブル読取専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読取専用メモリ(CD-ROM)、光学記憶機器、磁気記憶機器、又はこれらの任意の適切な組み合わせが含まれる。
【0071】
ユーザとのインタラクションを提供するために、本明細書に記載のシステム及び技術は、ユーザに情報を表示するための表示装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティング装置(例えば、マウス又はトラックボール)とを有するコンピュータで実施されてもよく、ユーザは、当該キーボード及び当該ポインティング装置を介してコンピュータに入力を提供可能である。他の種類の装置を使用してユーザとのインタラクションを提供してもよい。例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、また、任意の形式(音響入力、音声入力、又は触覚入力を含む)を用いてユーザからの入力を受信してもよい。
【0072】
本明細書に記載のシステム及び技術は、バックエンドコンポーネントを備えるコンピューティングシステム(例えば、データサーバとして)、又はミドルコンポーネントを備えるコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンドコンポーネントを備えるコンピューティングシステム(例えば、グラフィカルユーザインターフェース又はWebブラウザを備えたユーザコンピュータ。ユーザは、当該グラフィカルユーザインターフェース又は当該Webブラウザを介して、ここで説明されるシステム及び技術の実施形態とインタラクションできる)、又はこのようなバックエンドコンポーネント、ミドルコンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを備えるコンピューティングシステム内で実施することができる。任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互接続してもよい。通信ネットワークの例としては、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)及びインターネットが含まれる。
【0073】
コンピュータシステムは、クライアントとサーバとを備えることが可能である。一般的に、クライアントとサーバとは互いに離れており、通常は通信ネットワークを介してインタラクションする。それぞれのコンピュータで実行され且つ互いにクライアント-サーバの関係を持つコンピュータプログラムによってクライアントとサーバとの関係を生成する。
【0074】
本開示の実施例によれば、本開示は、前記実施例における電子機器を備える路側機器を更に提供している。当該路側機器は、上記電子機器の全ての技術的特徴を含み、同じ技術的効果を奏することもできるが、重複を避けるために、ここで繰り返して述べない。
【0075】
選択的に、路側機器は、電子機器に加え、通信部品等を備えてもよい。電子機器は、通信部品と一体に統合されてもよいし、別体に設置されてもよい。電子機器は、例えば画像や映像等、感知機器(例えば路側カメラ)のデータを取得して、画像や映像処理及びデータ計算を行ってもよい。選択的に、電子機器自体は、感知データ取得機能及び通信機能を有してもよく、例えばAIカメラであり、電子機器は、取得された感知データに直接基づいて、画像や映像処理及びデータ計算を行ってもよい。
【0076】
本開示の実施例によれば、本開示は、前記実施例における電子機器を備えるクラウド制御プラットフォームを更に提供している。当該クラウド制御プラットフォームは、上記電子機器の全ての技術的特徴を含み、同じ技術的効果を奏することもできるが、重複を避けるために、ここで繰り返して述べない。
【0077】
選択的に、クラウド制御プラットフォームは、クラウドで処理を実行し、クラウド制御プラットフォームに備えられる電子機器は、例えば画像や映像等、感知機器(例えば路側カメラ)のデータを取得して、画像や映像処理及びデータ計算を行ってもよく、クラウド制御プラットフォームは、車両・道路協同管理プラットフォーム、エッジ計算プラットフォーム、クラウド計算プラットフォーム、中心システム、クラウドサーバ等と称されてもよい。
【0078】
なお、上記の様々な形態のフローを使用して、ステップを並べ替え、追加又は削除可能であることを理解されたい。例えば、本開示で説明された各ステップは、並列、順次、又は異なる順序で実行可能である。本開示で開示された技術案の望ましい結果を達成できればよく、本明細書は、これについて限定しない。
【0079】
上記の具体的な実施形態は、本開示の保護範囲に対する制限を構成するものではない。当業者でれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブ組み合わせ、及び置き換えを行えることを理解するべきである。本開示の精神及び原則内で行われた修正、同等の置き換え、及び改善は、何れも本開示の保護範囲に含まれるものとする。