(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-03
(45)【発行日】2023-02-13
(54)【発明の名称】障害物を検出するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230206BHJP
G08G 1/04 20060101ALI20230206BHJP
【FI】
G06T7/00 650A
G08G1/04 C
【外国語出願】
(21)【出願番号】P 2021052615
(22)【出願日】2021-03-26
【審査請求日】2021-03-26
(31)【優先権主張番号】202010429060.0
(32)【優先日】2020-05-20
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】521208273
【氏名又は名称】阿波▲羅▼智▲聯▼(北京)科技有限公司
【氏名又は名称原語表記】APOLLO INTELLIGENT CONNECTIVITY(BEIJING)TECHNOLOGY CO.,LTD.
【住所又は居所原語表記】101, 1st Floor, Building 1, Yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Beijing 100176, China
(74)【代理人】
【識別番号】110000729
【氏名又は名称】弁理士法人ユニアス国際特許事務所
(72)【発明者】
【氏名】チア、チンラン
【審査官】千葉 久博
(56)【参考文献】
【文献】特開2020-46706(JP,A)
【文献】特開2008-15848(JP,A)
【文献】特開2006-41939(JP,A)
【文献】特開2000-268178(JP,A)
【文献】米国特許出願公開第2013/0083192(US,A1)
【文献】高橋徹, 外3名,“正規化クロスパワースペクトルの形状判別による高速な画像マッチング手法の提案”,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2018年03月11日,第117巻, 第513号,p.37-42
【文献】Vojtech Bartl, 外1名,"OptInOpt: Dual Optimization for Automatic Camera Calibration by Multi-Target Observations",2019 16th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS),IEEE,2019年
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G08G 1/04
(57)【特許請求の範囲】
【請求項1】
障害物検出方法であって、
カメラによって取得された現在画像を取得することと、
前記現在画像を事前訓練された検出モデルに入力して、障害物の検出枠の位置を取得し、現在画像における接地点の第1画素座標を確定することであって、前記接地点は前記検出枠におけるカメラ側に近い点である、ことと、
前記現在画像と、カメラの外部パラメータのキャリブレーションに使用される画像であるテンプレート画像との間のオフセットを確定することと、
前記第1画素座標及び前記オフセットに基づいて
前記接地点の前記テンプレート画像における第2画素座標を確定することと、
前記第2画素座標を予め設定された地面方程式によって前記接地点のカメラ座標に変換することと、
前記接地点のカメラ座標を前記カメラの外部パラメータによって前記接地点の世界座標に変換することと、
前記接地点の世界座標を障害物の世界座標系における位置として出力することと、を含
み、
前記障害物検出方法は、
リアルタイムに、階段的に地面方程式を計算することであって、現在画像における全ての地面3D点をX、Yの座標範囲に基づき、異なるグリッドに分画し、それぞれのグリッドの地面方程式を計算することをさらに含み、
前記予め設定された地面方程式は、前記障害物の接地点が位置するグリッドの地面方程式である、
障害物検出方法。
【請求項2】
前記現在画像とテンプレート画像との間のオフセットを確定することは、
前記現在画像のテンプレート画像に対する回転・スケール係数を計算することと、
前記回転・スケール係数に基づいて前記現在画像を回転及びスケーリング変換することと、
回転およびスケーリング変換された現在画像のテンプレート画像に対するオフセットを計算することと、を含む請求項1に記載の方法。
【請求項3】
前記現在画像とテンプレート画像との間のオフセットを確定することは、
前記現在画像のテンプレート画像に対する回転・スケール係数を計算することを含み、
前記第1画素座標と前記オフセットに基づいて前記接地点の前記テンプレート画像における第2画素座標を確定することは、
前記第1画素座標に前記回転・スケール係数を乗算して前記接地点の前記テンプレート画像における第2画素座標を得ることを含む、請求項
1に記載の方法。
【請求項4】
前記現在画像のテンプレート画像に対する回転・スケール係数を計算することは、
前記現在画像及びテンプレート画像に対してそれぞれフーリエメリン変換を行い、前記現在画像のテンプレート画像に対する回転・スケール係数を求めることを含む、請求項
2または
3に記載の方法。
【請求項5】
前記回転及びスケーリングされた現在画像の前記テンプレート画像に対するオフセットを計算することは、
回転及びスケーリングされた現在画像に対してフーリエ変換を行い、前記テンプレート画像のフーリエ変換の結果を取得することと、
前記現在画像のフーリエ変換の結果及び前記テンプレート画像のフーリエ変換の結果に対して正規化クロスパワースペクトル行列を求めることと、
前記パワースペクトル行列に対して逆フーリエ変換を行ってH行列を得ることと、
前記H行列におけるエネルギーが最大となる点を見つけ、該点のオフセットを計算することと、を含む請求項
2に記載の方法。
【請求項6】
障害物検出装置であって、
カメラによって取得された現在画像を取得するように構成される取得ユニットと、
前記現在画像を事前訓練された検出モデルに入力して、障害物の検出枠の位置を取得し、前記現在画像における接地点の第1画素座標を確定するように構成される検出ユニットであって、前記接地点は前記検出枠におけるカメラ側に近い点である、検出ユニットと、
前記現在画像と、カメラの外部パラメータのキャリブレーションに使用される画像であるテンプレート画像との間のオフセットを確定するように構成されるオフセットユニットと、
前記オフセットに基づいて前記第1画素座標を前記接地点の世界座標に変換するように構成される変換ユニットと、
前記接地点の世界座標を障害物の世界座標系における位置として出力するように構成される出力ユニットと、を含
み、
前記変換ユニットは、更に
前記第1画素座標及び前記オフセットに基づいて前記接地点の前記テンプレート画像における第2画素座標を確定し、
前記第2画素座標を予め設定された地面方程式によって前記接地点のカメラ座標に変換し、
前記接地点のカメラ座標を前記カメラの外部パラメータによって前記接地点の世界座標に変換するように構成され、
前記障害物検出装置は、
現在画像における全ての地面3D点をX、Yの座標範囲に基づき、異なるグリッドに分画し、それぞれのグリッドの地面方程式を計算することにより、リアルタイムに、階段的に地面方程式を計算するように構成される、地面方程式計算ユニットを更に含み、
前記予め設定された地面方程式は、前記障害物の接地点が位置するグリッドの地面方程式である、
障害物検出装置。
【請求項7】
前記オフセットユニットは、更に前記現在画像のテンプレート画像に対する回転・スケール係数を計算し、前記回転・スケール係数に基づいて前記現在画像を回転及びスケーリング変換し、
回転およびスケーリング変換された現在画像のテンプレート画像に対するオフセットを計算するように構成される請求項
6に記載の装置。
【請求項8】
前記オフセットユニットは、更に
前記現在画像のテンプレート画像に対する回転・スケール係数を計算するように構成され、
前記第1画素座標と前記オフセットに基づいて前記接地点の前記テンプレート画像における第2画素座標を確定することは、
前記第1画素座標に前記回転・スケール係数を乗算して前記接地点の前記テンプレート画像における第2画素座標を得ることを含む、請求項
6に記載の装置。
【請求項9】
前記オフセットユニットは、更に
前記現在画像及びテンプレート画像に対してそれぞれフーリエメリン変換を行い、前記現在画像のテンプレート画像に対する回転・スケール係数を求めるように構成される、請求項
7または
8に記載の装置。
【請求項10】
前記オフセットユニットは、更に
回転及びスケーリング変換された現在画像に対してフーリエ変換を行い、前記テンプレート画像のフーリエ変換の結果を取得し、
前記現在画像のフーリエ変換の結果及び前記テンプレート画像のフーリエ変換の結果に対して正規化クロスパワースペクトル行列を求め、
前記パワースペクトル行列に対して逆フーリエ変換を行ってH行列を得、
前記H行列におけるエネルギーが最大となる点を見つけ、該点のオフセットを計算するように構成される、請求項
7に記載の装置。
【請求項11】
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、
前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が格納されており、前記命令が前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに請求項1~
5のいずれか1項に記載の方法を実行させる、電子機器。
【請求項12】
コンピュータ命令が格納されている非一時的コンピュータ可読記憶媒体であって、
前記コンピュータ命令は前記コンピュータに請求項1~
5のいずれか1項に記載の方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体。
【請求項13】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項1~
5のいずれか一項に記載の方法を実現する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願の実施例は、コンピュータ技術分野に関し、特に高度道路交通の技術分野に関する。
【背景技術】
【0002】
路側感知技術は路側センサ及び感知アルゴリズムによって感知された障害物を車両に送信し、それにより車両が自動運転機能を実現することを補助する技術であり、現在、路側感知センサはカメラ及びライダ等を含む。V2X(vehicle to everything、車両と外界との情報交換)路側感知シーンでは、カメラによって視界を超える道路交通情報を取得するために、通常、カメラ位置を街灯柱又は信号柱に取り付ける。カメラが高ければ高いほど、画像内に得られる視野が大きくなり、情報量が多くなり、路側の感知能力が強くなる。しかし、カメラが高い柱に取り付けられている場合には、風や大型車の通過によってブレが発生することがある。カメラの位置が変化する場合、カメラのオフラインでキャリブレートされた外部パラメータを用いて障害物の3次元復元を行う場合は、ブレによる誤差が導入されることがあり、ブレが大きすぎると外部パラメータが無効になり、得られた障害物の位置が大きくずれることがある。したがって、ロバストな安定した路側感知システムは、カメラのブレ問題を解決する必要がある。
【0003】
従来の路側感知アルゴリズムフレームは一般的にオフラインの外部パラメータを用い、カメラが振れた場合、オフラインの外部パラメータを使用することは外部パラメータの無効による問題に直面する。
【0004】
一般的なカメラのブレを解決する方法は光学的ブレ防止、機械的ブレ防止方法及び電子的ブレ防止の方法がある。路側感知のコスト制限のため、追加費用が必要な光学的ブレ防止及び機械的ブレ防止はいずれも大規模に使用することができない。一般的な電子的ブレ防止は路側カメラのシーンに直面する場合、比較的大きな誤差があり、例えば激しく移動する前景による遮蔽、特徴点抽出がロバストではないなどの問題がある。
【0005】
比較的流行の方法は外部パラメータのオンラインキャリブレーションを行い、カメラ外部パラメータをリアルタイムに算出することによりオフライン外部パラメータを更新し、それにより路側感知システムにおけるオフライン外部パラメータの失効問題を解決する。このような方法は精度とリアルタイム性が比較的優れたハードウェアで需要を満たすことができるが、計算力がかかり、コストが比較的高い。
【発明の概要】
【0006】
障害物検出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムを提供する。
【0007】
第1態様によれば、カメラによって取得された現在画像を取得することと、前記現在画像を事前訓練された検出モデルに入力して、障害物の検出枠の位置を取得し、前記現在画像における接地点の第1画素座標を確定することと、前記現在画像と、カメラ外部パラメータのキャリブレーションに使用される画像であるテンプレート画像との間のオフセットを確定することと、オフセットに基づいて第1画素座標を接地点の世界座標に変換することと、接地点の世界座標を世界座標系における障害物の位置として出力することと、を含む障害物検出方法を提供する。
【0008】
第2態様によれば、カメラによって取得された現在画像を取得するように構成される取得ユニットと、前記現在画像を事前訓練された検出モデルに入力して、障害物の検出枠の位置を取得し、前記現在画像における接地点の第1画素座標を確定するように構成される検出ユニットと、前記現在画像と、カメラ外部パラメータのキャリブレーションに使用される画像であるテンプレート画像との間のオフセットを確定するように構成されるオフセットユニットと、前記オフセットに基づいて前記第1画素座標を前記接地点の世界座標に変換するように構成される変換ユニットと、前記接地点の世界座標を世界座標系における障害物の位置として出力するように構成される出力ユニットと、を含む障害物検出装置を提供する。
【0009】
第3態様によれば、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が格納されており、前記命令が前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに第1態様のいずれか1項に記載の方法を実行させる、電子機器を提供する。
【0010】
第4態様によれば、コンピュータ命令が格納されている非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令は前記コンピュータに第1態様のいずれか1項に記載の方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体を提供する。
【0011】
第5態様によれば、本出願の実施例は、コンピュータプログラムであって、前記コンピュータプログラムがプロセッサにより実行されると、第1態様に記載の方法を実現する、コンピュータプログラムを提供する。
【0012】
本出願の技術によれば、画像の視点からカメラのブレという問題を解決し、路側感知システムのロバスト性が大幅に向上され、カメラのブレの存在するシーンに対応することができる。しかも新たなセンサの追加は不要である。オンラインキャリブレーションアルゴリズムに比べ、コストが節約され、従来のオンラインキャリブレーションに消費される計算リソースを節約することができ、他のアプリケーション及び計算をサポートするために用いられる。
【0013】
なお、発明の概要に記載された内容は、本出願の実施形態のかなめとなる特徴又は重要な特徴を限定することを意図するものではなく、本出願の範囲を限定するものでもない。本出願の他の特徴は、以下の説明によって容易に理解されるであろう。
【図面の簡単な説明】
【0014】
図面は本出願をよりよく理解するために用いられ、本出願に対する限定を構成しない。
【
図1】本出願の一実施例を適用可能な例示的なシステムアーキテクチャを示す図である。
【
図2】本出願に係る障害物検出方法の一実施例を示すフローチャートである。
【
図3】本出願に係る障害物検出方法の一応用シーンを示す概略図である。
【
図4】本出願に係る障害物検出方法のもう一つの実施例を示すフローチャートである。
【
図5】本出願に係る障害物検出装置の一実施例を示す構造概略図である。
【
図6】本出願の実施例に係る障害物検出方法を実現するための電子機器のブロック図である。
【発明を実施するための形態】
【0015】
以下は図面を参照して本出願の例示的な実施例を説明し、ここでは理解に役立つため、本出願の実施例の様々な詳細が記載されるが、これらは単なる例示的なものに過ぎない。従って、本出願の範囲および要旨を逸脱しない限り、当業者が本明細書の実施例に対して様々な変更や修正を行うことができることは自明である。なお、以下の説明では、明確化及び簡略化のため、公知の機能及び構成については説明を省略する。
【0016】
図1は、本出願に係る障害物検出方法または障害物検出装置の実施例が適用可能な例示的なシステムアーキテクチャ100を示している。
【0017】
図1に示すように、システムアーキテクチャ100は、カメラ101、102、103、ネットワーク104、及びサーバ105を含んでもよい。ネットワーク104は、カメラ101、102、103とサーバ105の間で通信リンクの媒体を提供するために使用される。ネットワーク104は、有線、無線通信リンク又は光ファイバケーブルなどの様々なタイプの接続を含んでもよい。
【0018】
ユーザは、メッセージを送受信するために、カメラ101、102、103を使用してネットワーク104を介してサーバ105と情報のやり取りをすることができる。
【0019】
カメラ101、102、103は、一般に、撮影を行い、障害物を認識することができるカメラを指す。交差点で違法(例えば、車線を超え、逆方向に走行、非自動車車線を占用、案内標識で走行せず、赤信号を無視するなど)車両を捕らえる電子警官であってもよい。また高速道路、県道及び国道のいくつかの重点区間に取り付けられ、スピード違反行為を捕らえるためのバヨネットカメラであってもよい。カメラ101、102、103はまた、駐車違反キャプチャカメラ、流量監視カメラ、スカイネット監視カメラ、モバイルキャプチャカメラなどであってもよい。無人車の自動運転を補助するためのカメラであってもよい。
【0020】
カメラは路側に取り付けられ、風が吹くなどの原因で振れる可能性がある。それによりキャリブレートされたカメラ外部パラメータが不正確になる。本出願の目的はカメラブレによる障害物検出が不正確であるという問題を解決することである。
【0021】
サーバ105は、様々なサービスを提供するサーバ、例えば、カメラ101、102、103上で収集された障害物データを分析するバックグラウンド解析サーバとすることができる。バックグラウンド解析サーバは受信した障害物データに対して解析等の処理を行い、且つ処理結果(例えば障害物位置)を無人車に送信することができる。
【0022】
なお、サーバは、ハードウェアでもソフトウェアでもよい。サーバがハードウェアである場合、複数のサーバから構成される分散サーバクラスターとしても、単一のサーバとしても実現可能である。サーバがソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール(例えば、分散サービスを提供するためのソフトウェア又はソフトウェアモジュール)として実現されてもよく、又は単一のソフトウェア若しくはソフトウェアモジュールとして実現されてもよい。ここでは特に限定されない。
【0023】
なお、本出願の実施例に係る障害物検出方法は、通常にサーバ105によって実行され、これに応じて、障害物検出装置は、通常にサーバ105に設けられている。
【0024】
図1におけるカメラ、ネットワーク及びサーバの数が例示的なものに過ぎないことを理解されたい。必要に応じて、カメラ、ネットワーク及びサーバの数を任意に加減してもよい。
【0025】
次に、本出願に係る障害物検出方法の一実施例の流れ200を示す
図2を参照する。この障害物検出方法は、ステップ201-202を含む。
【0026】
ステップ201:カメラによって収集された現在画像を取得する。
【0027】
本実施例において、障害物検出方法の実行主体(例えば
図1に示すサーバ)は有線接続方式又は無線接続方式により路側のカメラからカメラによって収集された現在画像を受信することができる。
【0028】
ステップ202:現在画像を事前訓練された検出モデルに入力して、障害物の検出枠の位置を取得し、接地点の現在画像における第1画素座標を確定する。
【0029】
本実施例において、検出モデルは、YOLO(You Only Look Once,深層学習ニューラルネットワークに基づくオブジェクト認識および測位アルゴリズム)、RCNN(Regions with CNN features,畳み込みニューラルネットワーク特徴を有する領域)等のオブジェクト検出用ニューラルネットワークである。検出モデルにより障害物の2D検出枠の位置を確定することができる。接地点は検出枠上のカメラ側に近い一点である。
図3に示すように、車両の右下隅の点は接地点である。現在画像における接地点の第1画素座標は検出枠によって確定することができる。あるいは、処理を簡単にするために、接地点を2D検出枠の隅部、例えば左上隅または右下隅に設定してもよい。このときに画素座標を用いる。画素座標系は可視化後のピクチャの座標系であり、通常左上隅が原点であり、右向き下向きが正方向である。
【0030】
ステップ203:現在画像とテンプレート画像との間のオフセットを確定する。
【0031】
本実施例において、テンプレート画像はカメラ外部パラメータのキャリブレーションを行う時に用いられる画像である。カメラ外部パラメータのキャリブレーションとは、カメラが取り付けられた後、何らかの方法によって世界座標系からカメラ座標系への変換行列(回転行列と並進ベクトルからなる)を得て、該変換行列はカメラ外部パラメータである。カメラ外部パラメータは物体の実世界の位置と画像における画素位置をつながる必要条件であり、例えば自動運転、セキュリティ等、画像における物体の位置を特定する必要がある分野において非常に重要である。
【0032】
テンプレート画像を参照画像とし、現在画像をレジストレーション対象画像とすることができる。次に、現在画像とテンプレート画像との間のオフセットが、画像レジストレーションの方法によって確定される。画像レジストレーションの方法は以下の三つを含むことができる。
【0033】
(1)レジストレーション対象画像のグレースケール情報に基づくレジストレーション方法
【0034】
画像全体のグレースケール情報を基に、レジストレーション対象画像と参照画像との間の類似度メトリックを確立し、ある検索アルゴリズムを利用し、類似度メトリックが最適値に達する変換モデルパラメータを探す。直接レジストレーション法とも呼ばれる。
【0035】
(2)レジストレーション対象画像に基づいてドメイン内の情報を変換するレジストレーション方法
【0036】
例えば、フーリエ変換、位相相関、WalshTransform(ウォルシュ変換)等の方法である。
【0037】
並進、回転、スケーリングを有する画像レジストレーションにフーリエ変換を用いることができる理由:
(a)2枚の並進量を有する画像に対してフーリエ変換を行った後、それらの位相関係は異なり、タイムドメインにおける並進量はフーリエ変換ドメインにおける位相関係を直接決定するためである;
(b)2枚の回転量を有する画像に対して、フーリエ変換ドメインにおける回転量を一定に保持する;
(c)スケーリングを有する2枚の画像に対して、まず座標系変換により対数座標系に変換し、画像のスケーリングは画像の並進に変換して処理することができる。
【0038】
(3)レジストレーション対象画像特徴情報に基づくレジストレーション方法
特徴に基づくレジストレーション方法は、現在最も一般的なレジストレーション方法の一つであり、該アルゴリズムはレジストレーション対象画像における点、線、エッジ等の特徴情報を抽出するだけでよく、他の補助情報を必要とせず、計算量を減少し、効率を向上させると同時に、画像グレースケールの変化に対して一定のロバスト性を有することができる。
【0039】
選択された特徴情報の違いに応じて、特徴に基づく画像レジストレーション方法を三種類に分ける:
(a)特徴点に基づくマッチング
一般的に選択される特徴点はその領域に対してある特異性を有する画素点である。特徴点が抽出されやすいが、特徴点に含まれる情報は比較的少なく、その画像における位置座標情報のみを反映することができ、そのため2枚の画像においてマッチングする特徴点を探すことは重要である。
(b)特徴領域に基づくマッチング
画像内においていくつかの目立つ領域情報を探して特徴領域とする。
(c)特徴エッジに基づくマッチング
【0040】
画像において最も目立つ特徴はエッジであり、エッジ特徴は最も抽出されやすい特徴の一つである。そのためエッジに基づくマッチング方法はロバスト性が強く、適用範囲が広い。
【0041】
本実施例のいくつかの選択可能な実現形態において、現在画像とテンプレート画像との間のオフセットを確定することは、現在画像のテンプレート画像に対する回転・スケール係数を算出することと、回転・スケール係数に基づいて現在画像に対して回転及びスケーリング変換を行うことと、回転及びスケーリング変換後の現在画像のテンプレート画像に対するオフセットを算出することとを含む。画像の回転問題について、対数極座標変換、ハフ変換、ウェーブレット変換及びフーリエ変換などを用いて変換ドメイン内の相関係数法レジストレーションを行って現在画像のテンプレート画像に対する回転・スケール係数を計算することができる。次に算出された回転・スケール係数に基づいて現在画像を回転及びスケーリング変換する。さらに回転及びスケーリング変換後の現在画像のテンプレート画像に対する並進、すなわちオフセットを計算する。並進の計算方法は、回転及びスケーリング変換後の現在画像に対してフーリエ変換を行い、且つテンプレート画像のフーリエ変換の結果を取得することと、現在画像のフーリエ変換の結果及びテンプレート画像のフーリエ変換の結果に対して正規化クロスパワースペクトル行列を求めることと、パワースペクトル行列に対して逆フーリエ変換を行ってH行列を得ることと、H行列におけるエネルギーが最大の点を見つけ、該点のオフセットを計算することとを含み得る。フーリエ変換後、画像の並進成分は位相に変換され、位相の最大マッチング位置を計算すれば、オリジナル画像の並進量を得ることができ、これは位相相関である。自動運転における路側感知というシーンについて、カメラのブレにおける回転が並進より大きく、そのためまず回転を計算し、回転の影響を除去し、さらに並進を調整し、それによりオフセットを計算する正確率を向上させ、さらに障害物検出の正確率を向上させることができる。
【0042】
本実施例のいくつかの選択可能な実現形態において、現在画像のテンプレート画像に対する回転・スケール係数をオフセットとして算出し、並進を算出しない。並進量を計算するか否かは、異なるアプリケーションシーンに応じて選択することができる。例えば、自動運転における路側感知というシーンについて、カメラのブレにおける回転が並進よりも大きいため、ある場合は単なる回転に簡略化でき、並進を計算する必要がなく、画像のレジストレーション速度を向上させることができる。
【0043】
ステップ204:オフセットに基づいて第1画素座標を接地点の世界座標に変換する。
本実施例において、オフセットに基づいて接地点の現在画像における第1画素座標を接地点のテンプレート画像における第2画素座標に変換することができる。さらに第2画素座標をカメラ座標に変換し、最後にカメラ座標を世界座標に変換する。世界座標系はユーザにより定義された三次元世界座標系を指し、ある点を原点とし、オブジェクトの実世界における位置を記述するために導入される。カメラ座標系はカメラを原点として構築された座標系であり、カメラの視点から物体の位置を記述するために、世界座標系と画素座標系の中間リンクとして定義される。障害物の3D世界における位置は障害物の世界座標系における位置とも呼ばれ、障害物の世界座標系における位置を確定するプロセスは三次元復元プロセスと呼ばれる。
【0044】
カメラ外部パラメータだけで、障害物の画像における画素座標から該障害物の世界座標を得ることができず、奥行き情報が不足であるため、ライダ、赤外線カメラ等の装置によって奥行き情報を得ることができる。2D画素座標から3D画素座標への変換は、奥行き情報に基づいて行われる。さらにカメラの内部パラメータにより、画素座標からカメラ座標への変換を完了し、画素座標からカメラ座標への変換は従来技術であり、説明を省略する。カメラ座標を世界座標に変換するプロセスは、以下のステップ2043を参照することができる。
【0045】
本実施例のいくつかの選択可能な実現形態において、奥行き情報がない場合、以下のステップにより画素座標から世界座標への変換を実現することができる。
【0046】
ステップ2041:第1画素座標とオフセットに基づいて接地点のテンプレート画像における第2画素座標を確定する。
【0047】
本実施例において、ステップ203に確定されたオフセットに基づいて接地点の現在画像における第1画素座標を接地点のテンプレート画像における第2画素座標に変換する。
【0048】
ステップ2042:第2画素座標を予め設定された地面方程式によって接地点のカメラ座標に変換する。
【0049】
本実施例において、他の装置によって奥行き情報を提供することができない場合、地面方程式、すなわち地面法線ベクトルを利用して奥行き情報を提供することで、2D画素座標から3D画素座標への変換を完了することができる。さらにカメラの内部パラメータにより、画素座標からカメラ座標への変換を完了し、画素座標からカメラ座標への変換は従来技術であり、説明を省略する。路側カメラの取り付け高さが比較的高いため、カメラのリアルタイムな揺れによりその外部パラメータが変化してしまい、地面方程式はカメラ座標系であるため、地面方程式もリアルタイムに計算する必要がある。同時に、カメラシーン内に地面勾配の変化が発生する可能性があり、異なる位置の地面方程式は異なるため、三次元復元精度を向上させるために、地面方程式を段階的に算出する必要があり、同じ地面方程式をグローバルに使用することができない。地面方程式は以下のように計算され得る。
【0050】
(1)リアルタイムに計算するオンラインセグメント化地面方程式の代わりにグローバルオフラインの地面方程式を使用する。
【0051】
(2)オフライン構造の奥行きグラフを地面方程式の代わりに用いることで、高精度奥行き情報を取得することができ、オフラインで各画素の世界座標を算出する。
【0052】
(3)セグメント化地面方程式を効率的に計算する方法は全ての地面3D点をX、Yの座標範囲に基づき、異なるグリッドに分画し、例えばカメラによって撮影された地面を10*20のグリッドに分割し、続いて異なるグリッドの地面方程式を計算する。3D復元の必要がある障害物の接地点が位置するグリッドの地面方程式を利用して3D復元を行い、この方法の利点は高速である。
【0053】
地面方程式の具体的な算出方法は従来技術であるため、説明を省略する。
【0054】
ステップ2043:接地点のカメラ座標をカメラの外部パラメータによって接地点の世界座標に変換する。
【0055】
本実施例において、カメラの外部パラメータは回転行列と並進行列を含む。回転行列および並進行列は共に、点を世界座標系からカメラ座標系にどのように変換するかを記述する。
【0056】
次式は世界座標P
wからカメラ座標P
cに変換する過程を表し、Rは回転行列であり、Tは並進行列である。RとTは予めオフラインでキャリブレートされた外部パラメータである。
【0057】
カメラ座標系から世界座標系に変換する場合は、上式の逆過程である。
【0058】
本出願の上記実施例に提供された方法は、画像の視点からカメラのブレという問題を解決し、路側感知システムのロバスト性が大幅に向上され、カメラのブレの存在するシーンに対応することができる。しかも新たなセンサの追加は不要である。オンラインキャリブレーションアルゴリズムに比べ、コストが節約され、従来のオンラインキャリブレーションに消費される計算リソースを節約して、他のアプリケーション及び計算をサポートするために用いられる。
【0059】
ステップ205:接地点の世界座標を障害物の世界座標系における位置として出力する。
【0060】
本実施例において、接地点の3D復元が障害物の3D復元を完成し、それにより障害物の世界座標系における位置を取得する。この位置を障害物の世界座標系における位置として出力する。
【0061】
次に、本実施例に係る障害物検出方法の応用シーンを示す概略図である
図3を参照する。
図3の応用シーンにおいて、道路端のカメラは道路上の画像をリアルタイムに収集し、且つ収集された現在画像をサーバに送信する。サーバは現在画像を事前訓練された検出モデルに入力し、障害物の検出枠の位置を取得し接地点を確定する。車両の右下隅に示されるのは確定された接地点である。平面図では検出枠は四隅があり、右下隅はカメラに最も近いため、接地点として確定される。その後に接地点の現在画像における第1画素座標を確定する。現在画像とテンプレート画像との間のオフセットは、画像レジストレーションによって確定されることができる。オフセットに基づいて接地点がテンプレート画像における第2画素座標に対応すると判定される。接地点の第2画素座標を地面方程式によってカメラ座標に変換する。さらにオフラインでキャリブレートされたカメラ外部パラメータを利用してカメラ座標を世界座標に変換すれば、障害物の位置を確定することができる。
【0062】
次に、本出願に係る障害物検出方法のさらなる一実施例の流れ400を示す
図4を参照する。この障害物検出方法は、ステップ401~402を含む。
【0063】
ステップ401:カメラによって収集された現在画像を取得する。
【0064】
ステップ402:現在画像を事前訓練された検出モデルに入力して、障害物の検出枠の位置を取得し、接地点の現在画像における第1画素座標を確定する。
【0065】
ステップ401~402はステップ201~202と略同じであるため、説明を省略する。
【0066】
ステップ403:現在画像及びテンプレート画像に対してそれぞれフーリエメリン変換を行い、前記現在画像のテンプレート画像に対する回転・スケール係数を求め、回転・スケール係数に基づいて現在画像に対して回転及びスケーリング変換を行う。
【0067】
本実施例では、フーリエメリン変換(Fourier-Mellin)により、現在画像及びテンプレート画像を対数極座標に変換し、現在画像のテンプレート画像に対する回転・スケール係数を求める。デカルト座標系での回転及びスケーリングを対数極座標系での並進に変換し、位相相関により並進量を求めてスケーリング倍率及び回転角度を得る。倍率と回転角度に基づいて補正を行い、直接位相相関により並進量を求める。このようにして、2枚の画像の相対的な変位、回転及びスケーリングが得られ、画像レジストレーションに使用することができる。フーリエメリン変換は画像レジストレーション速度を向上させることができる。
【0068】
ステップ404:現在画像のフーリエ変換の結果及びテンプレート画像のフーリエ変換の結果に対して正規化クロスパワースペクトル行列を求める。
【0069】
本実施例において、回転及びスケーリング変換された現在画像に対してフーリエ変換を行い、テンプレート画像のフーリエ変換の結果を取得する。テンプレート画像を設定した後にフーリエ変換を行い、フーリエ変換の結果を保存して置くことができる。現在画像のフーリエ変換の結果及びテンプレート画像のフーリエ変換の結果に対して正規化クロスパワースペクトル行列を求める。
【0070】
ステップ405:クロスパワースペクトル行列に対して逆フーリエ変換を行ってH行列を得て、H行列におけるエネルギーが最大である点を見つけ、該点のオフセットを計算する。
【0071】
本実施例において、パワースペクトル行列に対して逆フーリエ変換を行ってH行列を得る。H行列におけるエネルギーが最大となる点であるレジストレーション点を見つけ、該点のオフセットを計算する。クロスパワースペクトル行列のフーリエ逆変換を求めることにより、一つのディラック関数(パルス関数)を得て、さらに関数ピーク点に対応する座標を探してレジストレーション点を得ることができる。実際には、コンピュータ処理において、連続するドメインは離散的なドメインに置き換えられ、ディラック関数を離散的な時間単位衝撃関数のシーケンスの形に変換する。実際の演算において、2枚の画像のクロスパワースペクトル位相の逆変換は、常に2枚の画像のレジストレーション点を表す相関ピークと、いくつかの非相関ピークが含まれ、相関ピークは、2枚の画像間の一致度を直接反映する。より正確には、相関ピークのエネルギーは重複領域の占める割合に対応し、非相関ピークは非重複領域の占める割合に対応する。該方法を用いてオフセットを算出すれば、計算過程を簡略化することができ、検出効率が向上される。
【0072】
ステップ406:第1画素座標とオフセットに基づいて接地点のテンプレート画像における第2画素座標を確定する。
【0073】
本実施例において、現在画像の2D障害物検出結果の枠の位置に基づき、先に算出された画像のオフセットを該障害物の接地点位置のオフセット量とし、且つこのオフセット量に基づいて接地点位置を更新することで、該障害物の接地点の、テンプレート画像に位置する画素位置を得る。
【0074】
ステップ407:第2画素座標を予め設定された地面方程式によって接地点のカメラ座標に変換する。
【0075】
ステップ408:接地点のカメラ座標をカメラの外部パラメータによって接地点の世界座標に変換する。
【0076】
ステップ409:接地点の世界座標を障害物の世界座標系における位置として出力する。
【0077】
ステップ407-409はステップ204-205と略同じであるため、説明を省略する。
【0078】
図4から分かるように、
図2に対応する実施例と比べ、本実施例における障害物検出方法の流れ400はフーリエメリン変換によりオフセットを求めるステップを実現する。これにより、本実施例で説明した方式は、検出速度を速くすることができ、ロバストである。
【0079】
更に
図5を参照すると、上記の各図に示された方法の実施態様として、本出願は、障害物検出装置の一実施例を提供し、当該装置の実施例は、
図2に示された方法の実施例に対応しており、当該装置は、具体的に様々な電子機器に適用することができる。
【0080】
図5に示すように、本実施例の障害物検出装置500は、取得ユニット501と、検出ユニット502と、オフセットユニット503と、変換ユニット504と、出力ユニット505とを備える。取得ユニット501は、カメラによって取得された現在画像を取得するように構成される。検出ユニット502は、現在画像を事前訓練された検出モデルに入力して、障害物の検出枠の位置を取得し、接地点の現在画像における第1画素座標を確定するように構成される。オフセットユニット503は、現在画像と、カメラ外部パラメータのキャリブレーションに使用される画像であるテンプレート画像との間のオフセットを確定するように構成される。変換ユニット504は、オフセットに基づいて第1画素座標を接地点の世界座標に変換するように構成される。出力ユニット505は、接地点の世界座標を障害物の世界座標系における位置として出力するように構成される。
【0081】
本実施例において、障害物検出装置500の取得ユニット501、検出ユニット502、オフセットユニット503、変換ユニット504、出力ユニット505の具体的な処理は
図2の実施例におけるステップ201、ステップ202、ステップ203、ステップ204、ステップ205を参照できる。
【0082】
本実施例のいくつかの選択的な実現形態において、変換ユニット504はさらに、第1画素座標及びオフセットに基づいて接地点のテンプレート画像における第2画素座標を確定し、第2画素座標を予め設定された地面方程式によって接地点のカメラ座標に変換し、接地点のカメラ座標をカメラ外部パラメータによって接地点の世界座標に変換するように構成される。
【0083】
本実施例のいくつかの選択的な実現形態において、オフセットユニット503はさらに、現在画像のテンプレート画像に対する回転・スケール係数を算出し、回転・スケール係数に基づいて現在画像に対して回転及びスケーリング変換を行い、回転及びスケーリング変換後の現在画像のテンプレート画像に対するオフセットを算出するように構成される。
【0084】
本実施例のいくつかの選択的な実施形態において、オフセットユニット503はさらに、現在画像のテンプレート画像に対する回転・スケール係数を算出するように構成され、第1画素座標及びオフセットに基づいて接地点のテンプレート画像における第2画素座標を確定することは、第1画素座標に回転・スケール係数を乗算して接地点のテンプレート画像における第2画素座標を得ることを含む。
【0085】
本実施例のいくつかの選択的な実現形態において、オフセットユニット503はさらに、現在画像及びテンプレート画像に対してそれぞれフーリエメリン変換を行い、現在画像のテンプレート画像に対する回転・スケール係数を求めるように構成される。
【0086】
本実施例のいくつかの選択的な実現形態において、オフセットユニット503はさらに、回転及びスケーリング変換後の現在画像に対してフーリエ変換を行い、テンプレート画像のフーリエ変換の結果を取得し、現在画像のフーリエ変換の結果及びテンプレート画像のフーリエ変換の結果に対して正規化クロスパワースペクトル行列を求め、パワースペクトル行列に対して逆フーリエ変換を行ってH行列を得、H行列におけるエネルギーが最大である点を見つけ、該点のオフセットを算出するように構成される。
【0087】
本願の実施形態によれば、本願はさらに電子機器及び可読記憶媒体を提供する。
【0088】
図6に示すように、本出願の実施例に係る障害物検出方法を実現するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、作業台、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、大型コンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似するコンピューティングデバイス等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも一例であり、ここで説明および/または要求した本出願の実現を限定することを意図するものではない。
【0089】
図6に示すように、該電子機器は、1つ又は複数のプロセッサ601、メモリ602、及び各コンポーネントを接続するためのインタフェース(高速インタフェース及び低速インタフェースを含む)を含む。各コンポーネントは、互いに異なるバスで接続されており、共通のマザーボード上に実装されていてもよいし、必要に応じて他の方式で実装されていてもよい。プロセッサは電子機器内で実行される命令を処理することができ、インタフェースに結合された表示装置等の外部入出力装置に、グラフィカルユーザインタフェース(GUI,Graphical User Interface)のグラフィック情報を表示するために命令をメモリ内またはメモリ上に格納することを含む。他の実施形態では、必要に応じて、複数のプロセッサおよび/または複数のバスおよび複数のメモリを、複数のメモリとともに使用することができる。また、複数の電子機器が接続されていてもよく、各機器は、例えば、サーバアレイ、ブレードサーバ群またはマルチプロセッサシステムなど、一部の必要な動作を提供する。
図6では、1つのプロセッサ601を例としている。
【0090】
メモリ602は、本願が提供する非一時的コンピュータ可読記憶媒体である。ここで、前記メモリは、少なくとも1つのプロセッサが実行可能な命令を格納しており、それにより前記少なくとも1つのプロセッサに本出願が提供する障害物検出方法を実行させる。本出願の非一時的コンピュータ可読記憶媒体はコンピュータ命令を格納し、該コンピュータ命令はコンピュータに本出願が提供する障害物検出方法を実行させるために用いられる。
【0091】
メモリ602は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム及びモジュールを格納することに用いることができ、例えば本出願の実施例における障害物検出方法に対応するプログラム命令/モジュール(例えば、
図5に示す取得ユニット501、検出ユニット502、オフセットユニット503、変換ユニット504、出力ユニット505)。プロセッサ601は、メモリ602に格納された非一時的ソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの各種機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施例における障害物検出方法を実現する。
【0092】
メモリ602はオペレーティングシステム、少なくとも1つの機能に必要なアプリケーションを記憶できるプログラム記憶領域と、障害物検出用電子機器の使用に応じて作成されるデータ等を記憶できるデータ記憶領域とを含み得る。また、メモリ602は高速ランダムアクセスメモリを含むことができ、また非一時的メモリ(例えば、少なくとも1つの磁気ディスク記憶装置、フラッシュメモリデバイス又はその他の非一時的ソリッドステート記憶装置)を含むことができる。いくつかの実施例において、メモリ602は任意選択でプロセッサ601と遠隔に設置されたメモリを含み、これらのリモートメモリはネットワークを介して障害物を検出するための電子機器に接続することができる。上記ネットワークとしては、例えば、インターネット、企業イントラネット、ローカルエリアネットワーク、移動体通信網及びこれらの組み合わせなどが挙げられるが、それらに限定されない。
【0093】
障害物を検出するための電子機器はさらに、入力装置603及び出力装置604を含み得る。プロセッサ601、メモリ602、入力装置603及び出力装置604は、バス又はその他の方式で接続されていてもよく、
図6ではバスで接続されている例を示している。
【0094】
例えばタッチパネル、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングデバイス、1つまたは複数のマウスボタン、トラックボール、ジョイスティック等の入力装置603は、入力された数字や文字情報を受信でき、障害物を検出するための電子機器のユーザ設定および機能制御に関するキー信号の入力を生成することができる。出力装置604は表示装置、補助照明装置(例えば、LED)及び触覚フィードバック装置(例えば、振動モータ)等を含むことができる。該表示装置は、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態において、表示装置はタッチパネルであってもよい。
【0095】
ここで説明するシステム及び技術の様々な実施形態はデジタル電子回路システム、集積回路システム、専用集積回路(Application Specific Integrated Circuit,ASIC)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムに実装され、該1つ又は複数のコンピュータプログラムは少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行及び/又は解釈することができ、該プログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも1つの入力装置及び少なくとも1つの出力装置からデータ及び命令を受信することができ、且つデータ及び命令を該記憶システム、該少なくとも1つの入力装置及び該少なくとも1つの出力装置に伝送することを含み得る。
【0096】
これらのコンピュータプログラムは、プログラム、ソフトウェア、ソフトウェアアプリケーション又はコードとも呼ばれ、プログラマブルプロセッサの機械命令を含み、且つ高度プロセス及び/又はオブジェクト指向のプログラミング言語、及び/又はアセンブリ言語/機械言語を利用して実現することができる。ここで、「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械指令及び/又はデータをプログラマブルプロセッサに供給するための任意のコンピュータプログラム製品、装置、及び/又はデバイス(たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD))を意味し、機械可読信号である機械指令を受信する機械可読媒体を含む。「機械可読信号」という用語は、機械指令および/またはデータをプログラマブルプロセッサに供給するための任意の信号を意味する。
【0097】
ユーザとのインタラクションを提供するために、ここで説明するシステムと技術は、ユーザに情報を表示するための表示装置(例えば、陰極線管(Cathode Ray Tube,CRT)またはLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウスまたはトラックボール)とを備えるコンピュータ上で実現することができ、ユーザが該キーボード及び該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置は、さらにユーザとのインタラクションを提供することに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力又は、触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。
【0098】
ここで説明したシステム及び技術は、バックグラウンドコンポーネントを含むコンピューティングシステム(例えば、データサーバ)に実施されてもよく、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバ)に実施されてもよく、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ)に実施されてもよく、ユーザは該グラフィカルユーザインタフェース又はウェブブラウザを介してここで説明したシステム及び技術の実施形態とインタラクションしてもよく、又はこのようなバックグラウンドコンポーネント、ミドルウェアコンポーネント又はフロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムに実施されてもよい。また、システムの各構成要素間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)及びインターネットなどを含む。
【0099】
コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してインタラクションを行う。クライアントとサーバとの関係は、互いにクライアント-サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。
【0100】
本出願の実施例の技術案によれば、画像の視点からカメラのブレという問題を解決し、路側感知システムのロバスト性が大幅に向上され、カメラのブレの存在するシーンに対応することができる。しかも新たなセンサの追加は不要である。オンラインキャリブレーションアルゴリズムに比べ、コストが節約され、従来のオンラインキャリブレーションに消費される計算リソースを節約して、他のアプリケーション及び計算をサポートするために用いられる。
【0101】
なお、上述した様々な形態のフローを用いて、ステップを改めて並び替え、追加または削除を行うことができる。例えば、本出願に記載された各ステップは、本出願に開示された技術案の所望の結果が達成できる限り、並行して実行されてもよいし、順番に実行されてもよいし、異なる順序で実行されてもよい。本明細書はここで制限しない。
【0102】
上記具体的な実施形態は、本願の保護範囲を限定するものではない。設計要件および他の要因に従って、様々な修正、組み合わせ、サブコンビネーション、および置換を行うことができることを当業者は理解すべきである。本出願の精神および原理内で行われたあらゆる補正、同等置換および改善などは、いずれも本出願の保護範囲内に含まれるべきである。