特許 6675448 車両位置検出方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6675448

(24)【登録日】2020年3月12日

(45)【発行日】2020年4月1日

(54)【発明の名称】車両位置検出方法及び装置

(51)【国際特許分類】

   B60W 40/04 20060101AFI20200323BHJP

   G06T 7/00 20170101ALI20200323BHJP

【ＦＩ】

   B60W40/04

   G06T7/00 650B

【請求項の数】15

【全頁数】40

(21)【出願番号】特願2018-146866(P2018-146866)

(22)【出願日】2018年8月3日

(65)【公開番号】特開2019-196164(P2019-196164A)

(43)【公開日】2019年11月14日

【審査請求日】2018年8月3日

(31)【優先権主張番号】201810438659.3

(32)【優先日】2018年5月9日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】514305493

【氏名又は名称】東軟集団股▲分▼有限公司

(73)【特許権者】

【識別番号】516235037

【氏名又は名称】東軟睿馳汽車技術（上海）有限公司

【氏名又は名称原語表記】ＮＥＵＳＯＦＴ ＲＥＡＣＨ ＡＵＴＯＭＯＴＩＶＥ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＡＮＧＨＡＩ） ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100189544

【弁理士】

【氏名又は名称】柏原 啓伸

(72)【発明者】

【氏名】劉 威

(72)【発明者】

【氏名】周 ▲てぃん▼

(72)【発明者】

【氏名】袁 淮

(72)【発明者】

【氏名】呂 晋

(72)【発明者】

【氏名】陳 浩

(72)【発明者】

【氏名】樊 邑中

【審査官】 三宅 龍平

(56)【参考文献】

【文献】 国際公開第２０１８／０５１８１０（ＷＯ，Ａ１）

【文献】 米国特許第０５６６６２２７（ＵＳ，Ａ）

【文献】 特開２０１７−１３０９２９（ＪＰ，Ａ）

【文献】 特開２０１８−０１８４８３（ＪＰ，Ａ）

【文献】 特開２０１８−０３７０５３（ＪＰ，Ａ）

【文献】 特開２００４−１５７９９９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０２１１０４０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｗ １０／００ − ５０／１６

Ｇ０８Ｇ １／００ − ９９／００

Ｂ６０Ｋ ３１／００ − ３１／１８

Ｇ０６Ｔ １／００ − １５／００

Ｂ６０Ｒ １／００

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

車両位置検出方法であって、
目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した、現実画像を取得し、
前記現実画像に応じて仮想画像を生成し、前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定する、ことを含み、
前記現実画像は、前記画像採集装置が現時点に固定視角で撮像した画像であり
前記仮想画像は、現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向にプリセット角度だけ回転された視角であり、
前記方法は、
現実平面座標系と仮想平面座標系との間の座標変換関係を構築することをさらに含み、前記現実平面座標系は、前記固定視角でのイメージング平面に対応する２次元座標系であり、前記仮想平面座標系は、前記プリセット視角でのイメージング平面に対応する２次元座標系であり、
前記現実画像に応じて前記仮想画像を生成することは、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換することを含み、
現実平面座標系と、仮想平面座標系との間の座標変換関係を構築することは、
前記現実平面座標系と、前記画像採集装置が前記固定視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である現実装置座標系との間の座標変換関係を構築し、
前記現実装置座標系と、前記画像採集装置が前記固定視角に対応する場合に構築された世界座標系である現実世界座標系との間の座標変換関係を構築し、
前記現実世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に構築された世界座標系である仮想世界座標系との間の座標変換関係を構築し、
前記仮想世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である仮想装置座標系との間の座標変換関係を構築し、
前記仮想装置座標系と前記仮想平面座標系との間の座標変換関係を構築する、ことを含み、
前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定することは、
前記仮想画像で車輪を検出して、仮想車輪領域を取得し、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得し、
前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得することを含むことを特徴とする、
方法。

【請求項2】

前記プリセット角度は第１の角度又は第２の角度であり、第１の視角は前記固定視角が水平方向に反時計回りに前記第１の角度だけ回転された視角であり、第２の視角は前記固定視角が水平方向に時計回りに前記第２の角度だけ回転された視角であり、
対応するように、前記プリセット角度が前記第１の角度であると、前記目標車両の側方車両は前記目標車両の左側車両であり、前記プリセット角度が前記第２の角度であると、前記目標車両の側方車両は前記目標車両の右側車両であることを特徴とする請求項１に記載の方法。

【請求項3】

前記方法は、
大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを得ることをさらに含み、
前記仮想画像で車輪を検出することは、
前記車輪認識モデルを利用して、前記仮想画像で車輪を検出することを含むことを特徴とする請求項１に記載の方法。

【請求項4】

前記方法は、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、前記現時点での現実車輪領域を取得することをさらに含み、
変換された前記現実車輪領域を取得した後に、
変換された前記現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた前記現実車輪領域を取得することをさらに含むことを特徴とする請求項１に記載の方法。

【請求項5】

現時点での前記現実車輪領域を取得することは、
前記現時点でのオプティカルフロー追跡画像に対してエッジ補完を行い、
補完されたオプティカルフロー追跡画像に応じて、前記側方車両車輪の現実車輪領域を取得する、ことを含むことを特徴とする請求項４に記載の方法。

【請求項6】

フュージョンされた前記現実車輪領域を取得する後に、
前記現時点よりも前の一つの歴史時点又は複数の連続歴史時点について、前記歴史時点に対応する最終的現実車輪領域を取得し、
前記歴史時点に対応する最終的現実車輪領域に応じて、前記フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、前記非車輪領域を除去することをさらに含むことを特徴とする請求項４又は５に記載の方法。

【請求項7】

車両位置検出装置であって、
目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した現実画像を取得するための現実画像取得ユニットと、
前記現実画像に応じて仮想画像を生成するための仮想画像生成ユニットと、
前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定するための車両位置確定ユニットとを含み、
前記現実画像は、前記画像採集装置が現時点に固定視角で撮像した画像であり、
前記仮想画像は、現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向にプリセット角度だけ回転された視角であり、
前記装置は、
現実平面座標系と仮想平面座標系との間の座標変換関係を構築するための変換関係構築ユニットをさらに含み、前記現実平面座標系は前記固定視角でのイメージング平面に対応する２次元座標系であり、前記仮想平面座標系は前記プリセット視角でのイメージング平面に対応する２次元座標系であり、
前記仮想画像生成ユニットは、具体的に、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換し、
前記変換関係構築ユニットは、
前記現実平面座標系と、前記画像採集装置が前記固定視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である現実装置座標系との間の座標変換関係を構築するための第１の構築サブユニットと、
前記現実装置座標系と、前記画像採集装置が前記固定視角に対応する場合に構築された世界座標系である現実世界座標系との間の座標変換関係を構築するための第２の構築サブユニットと
前記現実世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に構築された世界座標系である仮想世界座標系との間の座標変換関係を構築するための第３の構築サブユニットと、
前記仮想世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である仮想装置座標系との間の座標変換関係を構築するための第４の構築サブユニットと、
前記仮想装置座標系と前記仮想平面座標系との間の座標変換関係を構築するための第５の構築サブユニットとを含み、
前記車両位置確定ユニットは、
前記仮想画像で車輪を検出して、仮想車輪領域を取得するための仮想車輪検出サブユニットと、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得するための現実車輪取得サブユニットと、
前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得するための車輪位置確定サブユニットとを含むことを特徴とする
装置。

【請求項8】

前記プリセット角度は第１の角度又は第２の角度であり、第１の視角は前記固定視角が水平方向に反時計回りに前記第１の角度だけ回転された視角であり、第２の視角は前記固定視角が水平方向に時計回りに前記第２の角度だけ回転された視角であり、
対応するように、前記プリセット角度が前記第１の角度であると、前記目標車両の側方車両は前記目標車両の左側車両であり、前記プリセット角度が前記第２の角度であると、前記目標車両の側方車両は前記目標車両の右側車両であることを特徴とする請求項７に記載の装置。

【請求項9】

前記装置は、
大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを取得するための認識モデル作成ユニットをさらに含み、
前記仮想車輪検出サブユニットは、具体的に、前記車輪認識モデルを利用して、前記仮想画像で車輪を検出することを特徴とする請求項８に記載の装置。

【請求項10】

前記装置は、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、前記現時点での現実車輪領域を取得するためのオプティカルフロー追跡ユニットをさらに含み、
前記車両位置確定ユニットは、
変換された現実車輪領域を取得した後、変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得するための車輪フュージョンサブユニットをさらに含むことを特徴とする請求項８に記載の装置。

【請求項11】

前記オプティカルフロー追跡ユニットは、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うためのオプティカルフロー追跡サブユニットと、
前記現時点でのオプティカルフロー追跡画像に対してエッジ補完を行うためのエッジ補完サブユニットと、
補完されたオプティカルフロー追跡画像に応じて、前記側方車両車輪の現実車輪領域を取得するための領域取得サブユニットとを含むことを特徴とする請求項１０に記載の装置。

【請求項12】

前記車両位置確定ユニットは、
フュージョンされた現実車輪領域を取得した後、前記現時点よりも前の一つの歴史時点又は複数の連続歴史時点について、前記歴史時点に対応する最終的現実車輪領域を取得するための歴史車輪取得サブユニットと、
前記歴史時点に対応する最終的現実車輪領域に応じて、前記フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、前記非車輪領域を除去するための領域除去サブユニットとをさらに含むことを特徴とする請求項１０又は１１に記載の装置。

【請求項13】

プロセッサー、メモリ、システムバスを含む車両位置検出装置であって、
前記プロセッサー及び前記メモリは、前記システムバスを介して互いに接続し、
前記メモリは、コマンドを含む一つ又は複数のプログラムを記憶するためのものであり、前記コマンドが前記プロセッサーによって実行される場合に前記プロセッサーに請求項１〜６のいずれか一項に記載の方法を実行させることを特徴とする車両位置検出装置。

【請求項14】

コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な記憶媒体にコマンドが記憶されており、前記コマンドが端末装置で実行される場合に、前記端末装置に請求項１〜６のいずれか一項に記載の方法を実行させることを特徴とするコンピュータ読み取り可能な記憶媒体。

【請求項15】

コンピュータープログラム製品であって、
前記コンピュータープログラム製品が端末装置で実行される場合に、前記端末装置に請求項１〜６のいずれか一項に記載の方法を実行させることを特徴とするコンピュータープログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１８年５月９日に中国特許庁に提出された、出願番号が２０１８１０４３８６５９．３であり、発明の名称が「車両位置検出方法及び装置」である中国出願に基づく優先権を主張する。

【0002】

本出願は、検出技術分野に関し、特に、車両位置検出方法及び装置に関する。

【背景技術】

【0003】

運転者が車両を運転する過程で、運転者の自車に前方衝突警報（Ｆｏｒｗａｒｄ Ｃｏｌｌｉｓｉｏｎ Ｗａｒｎｉｎｇ、ＦＣＷと略称される）システム又はアダプティブクルーズコントロール（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ、ＡＣＣと略称される）システムが取り付けられていると、当該システムは、自車の前方車両を検出でき、自車と前方車両との衝突を避けることを可能にする。

【0004】

なお、ＦＣＷシステムは、タイムリーに自車の前方領域の車両を検出することができ、具体的に、自車の前方領域に車両がある場合に、ＦＣＷシステムは、自車の運転安全を確保するために、光、音、振動などの形で運転者に警告する。ＡＣＣシステムは、交通状況に適応するように車速を調整し、運転者の介入なしに自律的な減速または加速を実現することができ、具体的に、自車の前方に取り付けられたレーダにより、自車が進行している道路に速度がより遅い車両があるかどうかを検出し、速度がより遅い車両がある場合に、ＡＣＣシステムは、速度を低下させつつ、前方車両との間隙又は時間的間隙を制御することで、自車の運転安全を確保する。

【0005】

しかしながら、運転者による実際の運転中に、車両が自車の側方から自車の前方に挿入することがしばしばあり、従来のＦＣＷシステムとＡＣＣシステムは、前方車両しか検出できず、自車の側方から挿入する車両をタイムリーに検出できず、これにより、自車と挿入車両との追突事故を引き起こす可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本願の実施例は、側前方車両の位置情報を検出することができる車両位置検出方法及び装置を提供することを主たる目的とする。

【課題を解決するための手段】

【0007】

本願の実施例は、車両位置検出方法を提供し、
目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した現実画像を取得し、
前記現実画像に応じて仮想画像を生成し、前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定する、ことを含み、
前記現実画像は、前記画像採集装置が現時点に固定視角で撮像した画像であり、
前記仮想画像は、現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向にプリセット角度だけ回転された視角である。

【0008】

前記プリセット角度は第１の角度又は第２の角度であり、第１の視角は前記固定視角が水平方向に反時計回りに前記第１の角度だけ回転された視角であり、第２の視角は前記固定視角が水平方向に時計回りに前記第２の角度だけ回転された視角であり、
対応するように、前記プリセット角度が前記第１の角度であると、前記目標車両の側方車両は前記目標車両の左側車両であり、前記プリセット角度が前記第２の角度であると、前記目標車両の側方車両は前記目標車両の右側車両であってもよい。

【0009】

前記方法は、
現実平面座標系と仮想平面座標系との間の座標変換関係を構築することをさらに含み、前記現実平面座標系は前記固定視角でのイメージング平面に対応する２次元座標系であり、前記仮想平面座標系は前記プリセット視角でのイメージング平面に対応する２次元座標系であり、
前記した前記現実画像に応じて仮想画像を生成することは、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換することを含んでもよい。

【0010】

前記した現実平面座標系と仮想平面座標系との間の座標変換関係を構築することは、
前記現実平面座標系と、前記画像採集装置が前記固定視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である現実装置座標系との間の座標変換関係を構築し、
前記現実装置座標系と、前記画像採集装置が前記固定視角に対応する場合に構築された世界座標系である現実世界座標系との間の座標変換関係を構築し、
前記現実世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に構築された世界座標系である仮想世界座標系との間の座標変換関係を構築し、
前記仮想世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である仮想装置座標系との間の座標変換関係を構築し、
前記仮想装置座標系と前記仮想平面座標系との間の座標変換関係を構築する、ことを含んでもよい。

【0011】

前記した前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定することは、
前記仮想画像で車輪を検出して、仮想車輪領域を取得し、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得し、
前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得することを、含んでもよい。

【0012】

前記方法は、
大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを得ることをさらに含み、
前記した前記仮想画像で車輪を検出することは、
前記車輪認識モデルを利用して、前記仮想画像に車輪を検出することを含んでもよい。

【0013】

前記方法は、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、前記現時点での現実車輪領域を取得することをさらに含み、
前記した変換された現実車輪領域を取得した後に、
変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得することをさらに含んでもよい。

【0014】

前記した前記現時点での現実車輪領域を取得することは、
前記現時点でのオプティカルフロー追跡画像に対してエッジ補完を行い、
補完されたオプティカルフロー追跡画像に応じて、前記側方車両車輪の現実車輪領域を取得する、ことを含んでもよい。

【0015】

前記したフュージョンされた現実車輪領域を取得する後に、
前記現時点よりも前の一つの歴史時点又は複数の連続歴史時点について、前記歴史時点に対応する最終的現実車輪領域を取得し、
前記歴史時点に対応する最終的現実車輪領域に応じて、前記フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、前記非車輪領域を除去することをさらに含んでもよい。

【0016】

本願の実施例はさらに車両位置検出装置を提供し、
目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した現実画像を取得するための現実画像取得ユニットと、
前記現実画像に応じて仮想画像を生成するための仮想画像生成ユニットと、
前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定するための車両位置確定ユニットとを含み、
前記現実画像は、前記画像採集装置が現時点に固定視角で撮像した画像であり、
前記仮想画像は、現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向に所定の角度だけ回転された視角である。

【0017】

前記プリセット角度は第１の角度又は第２の角度であり、第１の視角は前記固定視角が水平方向に反時計回りに前記第１の角度だけ回転された視角であり、第２の視角は前記固定視角が水平方向に時計回りに前記第２の角度だけ回転された視角であり、
対応するように、前記プリセット角度が前記第１の角度であると、前記目標車両の側方車両は前記目標車両の左側車両であり、前記プリセット角度が前記第２の角度であると、前記目標車両の側方車両は前記目標車両の右側車両であってもよい。

【0018】

前記装置は、
現実平面座標系と仮想平面座標系との間の座標変換関係を構築するための変換関係構築ユニットをさらに含み、前記現実平面座標系は前記固定視角でのイメージング平面に対応する２次元座標系であり、前記仮想平面座標系は前記プリセット視角でのイメージング平面に対応する２次元座標系であり、
前記仮想画像生成ユニットは、具体的に、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換してもよい。

【0019】

前記変換関係構築ユニットは、
前記現実平面座標系と、前記画像採集装置が前記固定視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である現実装置座標系との間の座標変換関係を構築するための第１の構築サブユニットと、
前記現実装置座標系と、前記画像採集装置が前記固定視角に対応する場合に構築された世界座標系である現実世界座標系との間の座標変換関係を構築するための第２の構築サブユニットと、
前記現実世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に構築された世界座標系である仮想世界座標系との間の座標変換関係を構築するための第３の構築サブユニットと、
前記仮想世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である仮想装置座標系との間の座標変換関係を構築するための第４の構築サブユニットと、
前記仮想装置座標系と前記仮想平面座標系との間の座標変換関係を構築するための第５の構築サブユニットとを含んでもよい。

【0020】

前記車両位置確定ユニットは、
前記仮想画像で車輪を検出して、仮想車輪領域を取得するための仮想車輪検出サブユニットと、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得するための現実車輪取得サブユニットと、
前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得するための車輪位置確定サブユニットとを含んでもよい。

【0021】

前記装置は、
大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを取得するための認識モデル作成ユニットをさらに含み、
前記仮想車輪検出サブユニットは、具体的に、前記車輪認識モデルを利用して、前記仮想画像で車輪を検出してもよい。

【0022】

前記装置は、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、前記現時点での現実車輪領域を取得するためのオプティカルフロー追跡ユニットをさらに含み、
前記車両位置確定ユニットは、
変換された現実車輪領域を取得した後、変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得するための車輪フュージョンサブユニットをさらに含んでもよい。

【0023】

前記オプティカルフロー追跡ユニットは、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うためのオプティカルフロー追跡サブユニットと、
前記現時点でのオプティカルフロー追跡画像に対してエッジ補完を行うためのエッジ補完サブユニットと、
補完されたオプティカルフロー追跡画像に応じて、前記側方車両車輪の現実車輪領域を取得するための領域取得サブユニットとを含んでもよい。

【0024】

前記車両位置確定ユニットは、
フュージョンされた実車輪領域を取得した後、前記現時点よりも前の一つの歴史時点又は複数の連続歴史時点について、前記歴史時点に対応する最終的現実車輪領域を取得するための歴史車輪取得サブユニットと、
前記歴史時点に対応する最終的現実車輪領域に応じて、前記フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、前記非車輪領域を除去するための領域除去サブユニットとをさらに含んでもよい。

【0025】

本願の実施例は車両位置検出装置をさらに提供し、プロセッサー、メモリ、システムバスを含み、
前記プロセッサー及び前記メモリは、前記システムバスを介して互いに接続し、
前記メモリは、コマンドを含む一つ又は複数のプログラムを記憶するためのものであり、前記コマンドが前記プロセッサーによって実行される場合に前記プロセッサーに上記車両位置検出方法のいずれかの実現方法を実行させることを特徴とする。

【0026】

本願の実施例はコンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ読み取り可能な記憶媒体にコマンドが記憶されており、前記コマンドが端末装置で実行される場合に、前記端末装置に上記車両位置検出方法のいずれかの実現方法を実行させることを特徴とする。

【0027】

本願の実施例はコンピュータープログラム製品をさらに提供し、前記コンピュータープログラム製品が端末装置で実行される場合に、前記端末装置に上記車両位置検出方法のいずれかの実現方法を実行させることを特徴とする。

【発明の効果】

【0028】

本実施例が提供する車両位置検出方法及び装置は、目標車両に取り付けられた画像採集装置を利用して、現時点に固定視角で目標車両の前方領域を撮像し、一つの現実画像を取得し、そして、当該現実画像に応じてプリセット視角での仮想画像を生成し、当該仮想画像に側方車両の有効な特徴含ませることにより、これらの特徴に基づいて側方車両を正確に認識し、ひいては、側方車両の位置情報を確定し、目標車両と側方車両との衝突などの事故を避けることを可能にする。

【図面の簡単な説明】

【0029】

本出願の実施例又は従来技術における技術案をより明確に説明するために、以下で実施例又は従来技術の記述において使用する必要がある図面を簡単に紹介し、もちろん、以下に記述の図面が本出願のいくつかの実施例に過ぎず、当業者にとって、創造的な労力をしない前提で、これらの図面に応じて他の図面を得ることもできる。

【図1】本願の実施例が提供する車両位置検出方法のフロー模式図である。

【図2】本願の実施例が提供する画像採集装置が固定視角を有している場合における位置模式図である。

【図3a】本願の実施例が提供する異なる第１の視角の模式図である。

【図3b】本願の実施例が提供する画像採集装置が第１の視角を有している場合における位置模式図である。

【図4a】本願の実施例が提供する異なる第２の視角の模式図である。

【図4b】本願の実施例が提供する画像採集装置が第２の視角を有している場合における位置模式図である。

【図5a】本願の実施例が提供する現実画像と仮想画像の模式図である。

【図5b】本願の実施例が提供する現実画像と仮想画像の模式図である。

【図5c】本願の実施例が提供する現実画像と仮想画像の模式図である。

【図5d】本願の実施例が提供する現実画像と仮想画像の模式図である。

【図6】本願の実施例が提供する左側車両位置情報の確定方法のフロー模式図である。

【図7】本願の実施例が提供する車輪検出領域の模式図である。

【図8a】本願の実施例が提供する車輪検出結果の模式図である。

【図8b】本願の実施例が提供する車輪検出結果の模式図である。

【図8c】本願の実施例が提供する車輪検出結果の模式図である。

【図8d】本願の実施例が提供する車輪検出結果の模式図である。

【図8e】本願の実施例が提供する車輪検出結果の模式図である。

【図8f】本願の実施例が提供する車輪検出結果の模式図である。

【図9】本願の実施例が提供する機械学習とオプティカルフロートラッキングとのフュージョン結果の模式図である。

【図10】本願の実施例が提供する右側車両位置情報の確定方法のフロー模式図である。

【図11】本願の実施例が提供する車両位置検出装置の構成模式図である。

【発明を実施するための形態】

【0030】

本願の実施例の目的、技術案及び利点をより明確にするために、以下、本願の実施例における図面を結合して、本願の実施例における技術案を明確かつ完全に記述する。明らかに、記述された実施例は、本願の一部の実施例に過ぎず、全ての実施例ではない。本願の実施例に基づいて、当業者が創造的な労働をしない前提で得られた全ての他の実施例は本願の保護範囲に属するものである。

【0031】

第一実施例
図１を参照して、本実施例が提供する車両位置検出方法のフロー模式図であり、当該車両位置検出方法は、以下のステップを含んでいる。

【0032】

Ｓ１０１において、目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した現実画像を取得し、前記現実画像は前記画像採集装置が現時点に固定視角で撮像した画像である。

【0033】

記述の便宜上、本実施例において、運転者が運転する車両を目標車両と称する。

【0034】

本実施例において、予め一つの画像採集装置を目標車両に取り付けておいてもよく、例えば、当該画像採集装置は、カメラであってもよく、具体的に、単眼平面カメラであってもよい。図２に示すように、一つの画像採集装置を目標車両のフロント位置に取り付けてもよく、もちろん、車両ルーフに取り付けてもよく、当該画像採集装置は目標車両の前方領域を撮像できるようになり、なお、当該前方領域は、目標車両の真正面領域と側前方領域とを含み、当該側前方領域は、左側前方領域と右側前方領域とをさらに含む。撮影時には、具体的に、プリセット時間間隔に従って（０．５秒ごとに）、又はプリセット前進間隔に従って（例えば目標車両が前へ０．３メートル進行する当たり）、目標車両の前方領域を撮像することにより、時刻毎に撮像された現実画像を取得し、本実施例は、現在の撮像時点を現時点と定義する。

【0035】

なお、予め画像採集装置の取り付け位置と画像採集装置パラメーターとを設置しておき、画像採集装置の視角が撮像範囲に対する要求を満たすようにすることができ、このようにすれば、画像採集装置の使用中、画像採集装置に、図２に示すように、設置された固定視角で前方領域を撮像させる。

【0036】

本実施例において、目標車両の走行車線に基づいて、目標車両のどの側の車両に対して位置検出を行うかを選択することができる。具体的に、運転者が目標車両を運転して左側車線を走行している場合に、即ち、目標車両の左側に車線がなく右側に車線がある場合に、この際、Ｓ１０２を実行することで目標車両の右側車両の位置情報を検出することができ、運転者が目標車両を運転して右側車線を走行している場合、即ち、目標車両の右側に車線がなく左側に車線がある場合に、この際、Ｓ１０２を実行することで目標車両の左側車線の位置情報を検出することができ、運転者が目標車両を運転して中央車線を走行している場合に、即ち、目標車両の左右側に車線がある場合に、この際、Ｓ１０２を実行することで目標車両の両側の車両の位置情報を同時に検出することができる。

【0037】

Ｓ１０２において、前記現実画像に応じて仮想画像を生成し、前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定し、なお、前記仮想画像は現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向にプリセット角度だけ回転された視角である。

【0038】

本実施例において、このステップにより、目標車両の左側前方車両の位置情報を検出することができ、具体的には、以下の通りである。
ここで、目標車両の左側前方に車両が走行していると、画像採集装置が固定視角で前方領域を撮像した現実画像について、固定視角は前向きの視角であるので、当該現実画像に目標車両の左側前方領域の物体が含まれるが、撮像の視角によって、当該現実画像は、例えば、車輪のような代表的特徴を捕捉できない又は明瞭に捕捉できないなど、左側前方車両の有効な特徴を捕捉できない可能性があり、これにより、当該左側前方車両を正確に認識できず、ひいては、当該左側前方車両の位置情報を確定できない。

【0039】

そのために、本実施例では、固定視角で撮影された現実画像を、固定視角と異なる左側視角で示し、即ち、固定視角を左にプリセット角度だけ回転させ、回転させて得られた左側視角は前記プリセット視角であり、なお、ここで実際に画像採集装置の視角を回転させることではなく、理論上、それを回転させることである。このようにすれば、左側視角での仮想画像を生成した後、視角の変換によって、仮想画像に左側前方車両の有効な特徴を含ませることができ、これにより、これらの特徴に基づいて左側前方車両を正確に認識し、さらに、左側前方車両の位置情報を確定することができる。

【0040】

本実施例において、このステップにより、目標車両の右側前方車両の位置情報を検出することができ、具体的には、以下の通りである。
なお、目標車両の右側前方に車両が走行していると、画像採集装置が固定視角で前方領域を撮像した現実画像について、固定視角は前向きの視角であるので、当該現実画像に目標車両の右側前方領域の物体が含まれるが、撮像の視角によって、当該現実画像は、例えば、車輪のような代表的特徴を捕捉できない又は明瞭に捕捉できないなど、右側前方車両の有効な特徴を捕捉できない可能性があり、これにより、当該右側前方車両を正確に認識できず、ひいては、当該右側前方車両の位置情報を確定できない。

【0041】

そのために、本実施例では、固定視角で撮影された現実画像を、固定視角と異なる右側視角で示し、即ち、固定視角を右にプリセット角度だけ回転させ、回転させて得られた右側視角は前記プリセット視角であり、なお、ここで実際に画像採集装置の視角を回転させることではなく、理論上、それを回転させることである。このようにすれば、右側視角での仮想画像を生成した後、視角の変換によって、仮想画像に右側前方車両の有効な特徴を含ませることができ、これにより、これらの特徴に基づいて右側前方車両を正確に認識し、さらに、右側前方車両の位置情報を確定することができる。

【0042】

以上より、本実施例が提供する車両位置検出方法は、目標車両に取り付けられた画像採集装置を利用して、現時点に固定視角で目標車両の前方領域を撮像し、現実画像を取得し、次に、当該現実画像に応じてプリセット視角での仮想画像を生成し、当該仮想画像に側方車両の有効な特徴を含ませることにより、これらの特徴に基づいて側方車両を正確に認識し、さらに、側方車両の位置情報を確定し、目標車両と側方車両との衝突などの事故を避けることを可能にする。

【0043】

第二実施例
本実施例は、第一実施例におけるステップＳ１０２の具体的な実現形態について紹介し、具体的には、どのように目標車両の左側前方車両の位置情報を検出するかについて紹介する。

【0044】

本実施例において、上記ステップＳ１０２における前記プリセット角度は第１の角度であってもよく、前記第１の視角は前記固定視角が水平方向に反時計回りに第１の角度だけ回転された視角であってもよく、これに基づいて、前記プリセット角度が前記第１の角度であれば、前記目標車両の側方車両は前記目標車両の左側車両である。

【0045】

本実施例では、固定視角で撮像された現実画像を、固定視角と異なる左側視角で示し、本実施例において、当該左側視角を第１の視角と称する。当該第１の視角の理解を容易にするために、例を挙げて説明し、当該第１の視角は、図２に示す固定視角を左へ一定の角度だけ回転させた視角であってもよく、つまり、固定視角を水平方向に反時計回りに一定の角度だけ回転させた視角であり、本実施例において、回転する一定の角度を第１の角度と称する。

【0046】

本実施例は第１の角度を限定しない。例えば、当該第１の角度は、図３ａの左側図に示す９０度であってもよく、第１の角度が９０度である場合に、画像採集装置が目標車両に取り付けられる際に、図３ｂに示すように、この際、画像採集装置の視角方向は左向きであり、即ち、視角方向と目標車両の進行方向とが９０度をなす。また、例えば、当該第１の角度は、図３ａ右側図に示す３０度であってもよく、第１の角度が３０度である場合、画像採集装置の視角方向と目標車両の進行方向とが３０度をなす。

【0047】

なお、本実施例では、画像採集装置の固定視角について、実際に回転させることではないので、固定視角に対応する画像採集装置は現実画像採集装置であり、第１の視角に対応する画像採集装置は仮想画像採集装置である。

【0048】

本実施例において、固定視角で撮像された現実画像に基づいて、当該現実画像に対して画像変換を行うことで、第１の視角での画像を取得し、本実施例では、当該画像を仮想画像と称する。理解できることは、第１の視角が異なると、異なる仮想画像に対応し、左側前方車両の有効な特徴を捕捉するために、リアルタイムで第１の視角を調整し、仮想画像に左側前方車両の有効な特徴を含ませることにより、これらの特徴に基づいて左側前方車両を正確に認識し、ひいては、左側前方車両の位置情報を確定してもよい。

【0049】

Ｓ１０２を実現するために、予め現実平面座標系と仮想平面座標系との間の座標変換関係を構築する必要があり、なお、現実平面座標系は固定視角でのイメージング平面に対応する２次元座標系であり、仮想平面座標系はプリセット視角でのイメージング平面に対応する２次元座標系であり、なお、当該プリセット視角は第１の視角であってもよい。

【0050】

図２と図３ｂに基づいて現実平面座標系と仮想平面座標系について説明し、具体的に、図２に示す現実画像採集装置の固定視角は一つのイメージング平面に対応し、当該イメージング平面に対して一つの２次元座標系ｕｏｖを作成し、当該２次元座標系ｕｏｖが現実平面座標系であり、同様に、図３ｂに示す仮想画像採集装置の第１の視角も一つのイメージング平面に対応し、当該イメージング平面に対して一つの２次元座標系ｕ_１ｏ_１ｖ_１を作成し、当該２次元座標系ｕ_１ｏ_１ｖ_１が仮想平面座標系である。

【0051】

区分を容易にするために、本実施例では、固定視角に対応する画像採集装置を現実画像採集装置と称し、第１の視角に対応する画像採集装置を仮想画像採集装置と称する。単純化のために、本実施例では、後続の内容において、目標車両の左側前方車両を左側車両と略称する。

【0052】

本実施例の一実現形態において、前記現実平面座標系と仮想平面座標系との間の座標変換関係を構築することは、具体的に、ステップＡ１〜Ｅ１を含むことができるが、ステップＡ１−Ｅ１の順序を限定しない。

【0053】

ステップＡ１：現実平面座標系と現実装置座標系との間の座標変換関係を構築し、なお、現実装置座標系は画像採集装置が固定視角に対応する場合に画像採集装置に対して構築した３次元座標系である。

【0054】

以上のように、図２に示す２次元座ｕｏｖは現実平面座標系である。

【0055】

本実施例において、また、現実画像採集装置に対して３次元座標系Ｏ^ＣＸ^ＣＵ^ＣＺ^Ｃを設置し、当該３次元座標系Ｏ^ＣＸ^ＣＵ^ＣＺ^Ｃを現実装置座標系と定義し、本実施例では、現実装置座標系Ｏ^ＣＸ^ＣＹ^ＣＺ^Ｃの原点位置と座標軸方向を限定せず、目標車両の走行中、現実装置座標系Ｏ^ＣＸ^ＣＹ^ＣＺ^Ｃと現実画像採集装置との相対的位置が不変であればよい。例えば、図２に示すように、現実画像採集装置の光学的中心を原点Ｏ^Ｃとして現実装置座標系Ｏ^ＣＸ^ＣＹ^ＣＺ^Ｃを構成し、Ｚ^Ｃ軸は現実画像採集装置の光軸と重なり合い、Ｘ^Ｃ軸とＹ^Ｃ軸とはイメージング平面のｏｕ軸とｏｖ軸にそれぞれ平行する。

【0056】

３Ｄ実空間のいずれかの点ｐについて、当該点の現実装置座標系Ｏ^ＣＸ^ＣＹ^ＣＺ^Ｃにおける座標がｐ（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）であり、Ｐ点が現実画像採集装置に撮像されると、現実平面座標系ｕｏｖにおいてそれに対応する唯一の点ｐ（ｕ，ｖ）が存在し、対応関係は、以下のように記述することができる。

【数1】

なお、Ｆは現実画像採集装置の投影モデルであり、投影モデルは当該現実画像採集装置の内部パラメーターによって決まり、現実画像採集装置の内部パラメーターはオフラインキャリブレーションアルゴリズムにより得ることができる。

【0057】

当該式（１）は現実平面座標系ｕｏｖと現実装置座標系Ｏ^ＣＸ^ＣＹ^ＣＺ^Ｃとの間の座標変換関係を記述する。式（１）において、現実画像採集装置に対応する投影モデルＦは、

【数2】

である。なお、ｆ_ｘ＝ｆ／ｄｘ、ｆ_ｙ＝ｆ／ｄｙ、ｆは現実画像採集装置の焦点距離であり、ｄｘとｄｙとはそれぞれ現実画像採集装置の単一の画素の幅と高さの物理的サイズであり、ｕ_０とｖ_０は現実画像採集装置の内部パラメーターであり、（ｕ_０，ｖ_０）は現実画像採集装置の光軸とイメージング平面との交点の画素座標である。

【0058】

ステップＢ１において、現実装置座標系と現実世界座標系との間の座標変換関係を構築し、なお、現実世界座標系は、画像採集装置が固定視角に対応する場合に構築された世界座標系である。

【0059】

本実施例において、また、現実画像採集装置に対して世界座標系Ｏ_ｗＸＹＺを構築し、当該世界座標系Ｏ_ｗＸＹＺは現実世界座標系であり、本実施例は現実世界座標系Ｏ_ｗＸＹＺの原点位置と座標軸方向を限定せず、目標車両の走行中、当該現実世界座標系Ｏ_ｗＸＹＺと目標車両との相対的位置が不変であればよい。例えば、図２に示すように、現実画像採集装置上のある点Ａを取り、仮に、当該現実画像採集装置がカメラである場合に、当該カメラの光学的中心を取って点Ａとして、点Ａを通る垂線（即ち、点Ａを通り且つ地面に垂直な直線）と地面との交点を現実世界座標系Ｏ_ｗＸＹＺの原点Ｏｗとし、現実世界座標系Ｏ_ｗＸＹＺのＸ軸、Ｙ軸、Ｚ軸について、Ｚ軸は目標車両のフロント前方に指向し、Ｘ軸は目標車両の右側に指向し、Ｙ軸は、Ｘ軸とＺ軸に垂直であり且つ地面に指向してもよい。また、例えば、図２に示す原点Ｏｗの位置、Ｘ軸方向、Ｙ軸方向及びＺ軸方向の四つの座標要素について、その中の一つ又は複数の座標要素を変えてもよく、例えば、目標車両上のある点を上記点Ａとしてもよく、また、図２に示すＸ軸、Ｙ軸、Ｚ軸の方向を変え、即ち、その反対方向を取ってもよく、変えた座標系を現実世界座標系Ｏ_ｗＸＹＺとする。

【0060】

本実施例において、予め現実装置座標系Ｏ^ＣＸ^ＣＹ^ＣＺ^Ｃの原点Ｏ^Ｃの地面からの高さｈを測定してもよく、現実装置座標系Ｏ^ＣＸ^ＣＹ^ＣＺ^Ｃは現実世界座標系Ｏ_ｗＸＹＺが順にＸ軸、Ｙ軸、Ｚ軸周りにα、β、γ角度だけ回転したものであると見なすことができ、画像採集装置が目標車両に取り付けられた後に、α、β、γは固定値であり、外部パラメーターキャリブレーションアルゴリズムにより確定される。

【0061】

３Ｄ実空間におけるいずれかの点Ｐについて、現実装置座標系Ｏ^ＣＸ^ＣＹ^ＣＺ^Ｃにおける座標ｐ（ｘ_Ｃ，ｙ_Ｃ，ｚ_Ｃ）と現実世界座標系Ｏ_ｗＸＹＺにおける座標

【数3】

とは、以下の変換関係を有する。

【数4】

なお、Ｒは、回転行列であり、Ｒ行列は上記α、β、γ角度によって確定されることができる。

【0062】

当該式（２）は、現実装置座標系Ｏ^ＣＸ^ＣＹ^ＣＺ^Ｃと現実世界座標系Ｏ_ｗＸＹＺとの間の座標変換関係を記述する。

【0063】

ステップＣ１において、現実世界座標系と仮想世界座標系との間の座標変換関係を構築し、なお、仮想世界座標系は、画像採集装置がプリセット視角に対応する場合に構築された世界座標系である。

【0064】

本実施例において、仮想画像採集装置に対して世界座標系

【数5】

を構築し、当該世界座標系

【数6】

を仮想世界座標系と定義し、本実施例は仮想世界座標系

【数7】

の原点位置と座標軸方向を限定せず、目標車両の走行中、当該仮想世界座標系

【数8】

と目標車両との相対的位置が不変であればよい。例えば、図３ｂに示すように、仮想画像採集装置上のある点Ａを取り、仮に、当該仮想画像採集装置がカメラである場合に、当該カメラの光学的中心を取って点Ａとして、点Ａを通る垂線（即ち当該点を通り且つ地面に垂直な直線）と地面との交点を仮想世界座標系

【数9】

の原点

【数10】

としてもよく、仮想世界座標系

【数11】

の

【数12】

軸、

【数13】

軸、

【数14】

軸について、その中、

【数15】

軸は目標車両のフロント前方に指向し、

【数16】

軸は目標車両の左側に指向し、

【数17】

軸は

【数18】

軸と

【数19】

軸に垂直であり地面に指向してもよい。また、例えば、図３ｂに示す原点

【数20】

の位置、

【数21】

軸方向、

【数22】

軸方向及び

【数23】

軸方向の四つの座標要素について、その中の一つ又は複数の座標要素を変えてもよく、例えば、目標車両上のある点を上記点Ａとしてもよく、また、図３ｂに示す

【数24】

軸、

【数25】

軸、

【数26】

軸の方向を変えて、即ち、その反対方向を取ってもよく、変えた座標系を仮想世界座標系

【数27】

とする。

【0065】

なお、仮想画像採集装置は現実画像採集装置に対してフロント方向へＳ（Ｓ＞０）メートルだけ前に移動すべきであり、その目的は、仮想画像に出来るだけ現実画像の左側領域までカバーさせるためである。

【0066】

図２に示す現実世界座標系Ｏ_ｗＸＹＺ及び図３ｂに示す仮想世界座標系Ｏ^ｖ_ｌＸ^ｖ_ｌＹ^ｖ_ｌＺ^ｖ_ｌを例として、３Ｄ実空間におけるいずれかの点Ｐについて、当該点の現実世界座標系Ｏ_ｗＸＹＺにおける座標はｐ（ｘ_ｗ，ｙ_ｗ，ｚ_ｗ）であり、ｘ_ｗ＜０となると、当該点が目標車両の左側領域の空間点であり、当該点を仮想世界座標系

【数28】

に変換した座標は

【数29】

となり、座標変換式は、

【数30】

である。当該式（３）は現実世界座標系Ｏ_ｗＸＹＺと仮想世界座標系

【数31】

との間の座標変換関係を記述する。

【0067】

ステップＤ１において、仮想世界座標系と仮想装置座標系との間の座標変換関係を構築し、なお、仮想装置座標系は、画像採集装置がプリセット視角に対応する場合に画像採集装置に対して構築された３次元座標系である。

【0068】

本実施例において、仮想画像採集装置に対して３次元座標系

【数32】

を設置し、当該３次元座標系

【数33】

を仮想装置座標系と定義し、本実施例は仮想装置座標系

【数34】

の原点位置と座標軸方向を限定せず、目標車両の走行中、仮想装置座標系

【数35】

と仮想画像採集装置との相対的位置は不変であればよい。例えば、図３ｂに示すように、仮想画像採集装置の光学的中心を原点

【数36】

として仮想装置座標系

【数37】

を構築し、

【数38】

軸と仮想画像採集装置の光軸とが重なり合い、

【数39】

は目標車両のフロント方向に指向し、

【数40】

は地面に指向する。

【0069】

３Ｄ実空間におけるいずれかの点Ｐについて、仮想装置座標系

【数41】

における座標

【数42】

と、仮想世界座標系

【数43】

における座標

【数44】

は以下の変換関係を有する。

【数45】

なお、Ｒは回転行列である。

【0070】

当該式（４）は、仮想世界座標系

【数46】

と仮想装置座標系

【数47】

との間の座標変換関係を記述する。

【0071】

ステップＥ１において、仮想装置座標系と仮想平面座標系との間の座標変換関係を構築する。

【0072】

図３ｂに示すように、３Ｄ実空間におけるいずれかの点Ｐについて、当該点の仮想装置座標系

【数48】

における座標は

【数49】

であり、Ｐ点が仮想画像に位置すれば、仮想平面座標系ｕ_１ｏ_１ｖ_１に当該点に対応する唯一の点ｐ（ｕ_１，ｖ_１）が存在し、対応関係は、以下のように記述する。

【数50】

なお、Ｆは仮想画像採集装置の投影モデルであり、仮想画像採集装置は現実画像採集装置が視角を変えた画像採集装置であるので、投影モデルは現実画像採集装置の内部パラメーターによって決まり、現実画像採集装置の内部パラメーターは、オフラインキャリブレーションアルゴリズムにより得ることができる。

【0073】

当該式（５）は仮想装置座標系

【数51】

と仮想平面座標系ｕ_１ｏ_１ｖ_１との間の座標変換関係を記述する。式（５）において、投影モデルＦは、

【数52】

である。なお、

【数53】

、

【数54】

、ｆは仮想画像採集装置の焦点距離であり、

【数55】

と

【数56】

とはそれぞれ仮想画像採集装置の単一の画素の幅と高さの物理的サイズであり、

【数57】

と

【数58】

は仮想画像採集装置の内部パラメーターであり、

【数59】

は仮想画像採集装置の光軸とイメージング平面との交点の画素座標である。

【0074】

本実施例において、予め仮想装置座標系

【数60】

の原点

【数61】

の地面からの高さｈを測定しておいてもよく、仮想装置座標系

【数62】

は、仮想世界座標系

【数63】

を順に

【数64】

軸、

【数65】

軸、

【数66】

軸周りにα、β、γ角度だけそれぞれ回転させたものであると見なすことができ、仮想画像採集装置と目標車両との相対的位置が固定されると、α、β、γは固定値となり、外部パラメーターキャリブレーションアルゴリズムにより確定でき、これらのパラメーターは式（４）のＲ行列を確定するために用いられることができる。

【0075】

なお、仮想画像採集装置により２Ｄ画像と３Ｄ画像の相互変換を実現する場合、仮想画像のイメージング効果を確保するために、本実施例では、目標車両の近距離範囲内の画像をより明瞭にする必要があるので、小さい焦点距離を設置する必要があり、例えば、仮想画像採集装置の焦点距離fを１にし、さらに画像の明晰さを確保するために、単一の画素の幅と高さの物理的サイズを大きくする必要があり、例えば、

【数67】

と

【数68】

とを１００にし、そして、さらに小さい３Ｄ深度を設置してもよく、例えば３Ｄ深度Ｚを１にする。

【0076】

すると、上記の一連の座標変換関係を構築することで、現実平面座標系と仮想平面座標系との座標変換関係を構築する。

【0077】

これに基づいて、本実施例の一実現形態では、第１の実施例のＳ１０２における「前記現実画像に応じて仮想画像を生成する」ことは、具体的に、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換することを含んでもよい。この実現形態において、現実画像中の各画素点の現実平面座標系における座標を確定し、次に上記式（１）〜（５）により各画素点の仮想平面座標系における座標を算出し、現実画像中の画素点に対して座標位置変換を行うことにより、仮想画像を生成できる。

【0078】

目標車両と左側車両とが異なる相対的位置に位置する場合、左側車両の車輪が現実画像で異なる形状となり、特に、左側車両が目標車両に近すぎると、左側車両の車輪が現実画像でわずかな特徴しかなく、当該車輪が仮想画像で多くの特徴を有し、そして、異なる第１の視角が採用される場合に、異なる相対的位置の車輪は類似する形状を示し、つまり、本実施例は目標車両と左側車両との間の相対的位置関係の制限を受けず、適切な第１の視角を採用すれば、左側車両の類似車輪形状を検出することができ、これにより左側車両の位置の確定を容易にすることと理解される。

【0079】

直観的に理解するために、例を挙げて現実画像から仮想画像への変換効果について説明する。図５ａ〜図５ｄに示すように、図５ａと図５ｂはいずれも現実画像であり、この二つの図に示すものは同一の左側車両であるが、目標車両との相対的位置は異なり、図５ｃは図５ａに示す現実画像に対応する仮想画像であり、図３ａの左側図（即ち図３ｂ）に示す第１の視角での仮想画像であり、図５ｄは図５ｂに示す現実画像に対応する仮想画像であり、図３ａの右側図に示す第１の視角での仮想画像であり、図５ｂに示す車輪が図３ａの左側図に示す第１の視角を採用して仮想画像を生成する場合に、車輪は当該仮想画像に示されない。

【0080】

これに基づいて、本実施例の一実現形態では、第１の実施例のＳ１０２における「前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定する」ことは、具体的に、左側車両車輪の検出結果により、左側車両の位置情報を確定してもよい。図６に示すように、具体的には、以下のステップを含んでいる。

【0081】

Ｓ６０１において、前記仮想画像で車輪を検出して、仮想車輪領域を取得する。

【0082】

仮想画像中の車輪を関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ、ＲＯＩと略称する）として検出し、本実施例では、検出された車輪ＲＯＩを仮想車輪領域と称する。

【0083】

一の具体的実施形態では、Ｓ６０１は、具体的に、車輪認識モデルを利用して、仮想画像で車輪を検出することを含んでもよい。本実施形態において、予め大量の車輪を含む車両サンプル画像を収集する必要があり、大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを取得し、このように、仮想画像を生成した後、当該車輪認識モデルを利用して仮想画像中の車輪を検出することができる。

【0084】

具体的実現の際、仮想画像の検出領域内でスライディングウィンドウを用いて車輪サンプルを採集し、検出する。例えば、検出領域は、図７に示すように、左前、右前の二つの領域に区分し、それぞれの領域のサイズは３．５メートル×（１５−ｒ）メートルであり、なお、ｒは現実画像採集装置が見ることができる最も近い距離であり、現実画像採集装置の取り付け位置と外部パラメーターに相関する。本実施例では、左前領域を検出する必要があり、横方向と縦方向に０．３メートル又は他の長さをステップサイズとし、スライディングウィンドウが採集した車輪サンプルを取得し、前記車輪認識モデルにより、１フレームごとの採集画像中の車輪の検出結果を得ることができる。

【0085】

例を挙げて仮想画像中の車輪検出結果について説明し、図８ａ〜図８ｆに示すように、図８ａと図８ｄは現実画像であり、この二つの図に示すものは同一の左側車両であるが、目標車両との相対的位置は異なり、図８ｂは図８ａに示す現実画像に対応する仮想画像であり、図３ａの左側図（即ち図３ｂ）に示す第１の視角での仮想画像であり、図８ｃも図８ａに示す現実画像に対応する仮想画像であり、図３ａの右側図に示す第１の視角での仮想画像であり、図８ｅは図８ｄに示す現実画像に対応する仮想画像であり、図３ａの左側図（即ち図３ｂ）に示す第１の視角での仮想画像であり、図８ｆも図８ｄに示す現実画像に対応する仮想画像であり、図３ａの右側図に示す第１の視角での仮想画像である。なお、各仮想画像において、一つ又は複数のボックスによって選択される領域は、車輪認識モデルにより検出された車輪領域であり、ただし、左側車両の位置によって、図８ｅに車輪を示すことができず、故に、図８ｆから車輪領域を検出する。

【0086】

Ｓ６０２において、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換後の現実車輪領域を取得する。

【0087】

この実現形態では、仮想車輪領域中の各画素点の仮想平面座標系における座標を確定し、次に、上記式（１）〜（５）により各画素点の現実平面座標系における座標を算出し、仮想画像中の画素点に対して座標位置変換を行うことにより、変換後の現実車輪領域を得ることができる。

【0088】

Ｓ６０３において、前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得し、なお、当該側方車両は左側車両である。

【0089】

本実現形態において、現実車輪領域中の各画素点の現実平面座標系における座標を確定し、次に、上記式（１）〜（５）における相関式により、各画素点の現実世界座標系における座標を算出してもよく、即ち、左側車両車輪の現実世界系における座標を確定し、左側車両車輪の現実世界座標系における座標を確定すると、左側車両とその車輪との位置関係に応じて、左側車両の目標車両に対する位置を確定することができる。

【0090】

実際の応用において、当該実施例が目標車両のＦＣＷシステムに応用されると、左側車両と目標車両との距離が近いと確定された場合、光、音、振動などの形で運転者に警告することができ、当該実施例が目標車両のＡＣＣシステムに応用されると、左側車両と目標車両との距離が近いと確定された場合、目標車両と左側車両との間隙を制御することで目標車両の運転安全を確保することができる。

【0091】

さらに、上記ステップＳ６０１において、車輪認識モデルを採用して仮想画像で車輪を検出する場合に、検出結果に一部の誤認識がある可能性があり、ステップＳ６０２にて得られた領域画像に非車輪領域が存在してしまう。従って、本実施例では、リアルタイムに目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、現時点での現実車輪領域を取得し、即ち、オプティカルフロー追跡された現実車輪領域を取得し、オプティカルフロー追跡された現実車輪領域を利用して、ステップＳ６０２での非車輪領域を除去するようにする。

【0092】

なお、前記した前記現時点での現実車輪領域を取得し、即ちオプティカルフロー追跡された現実車輪領域を取得することは、具体的に、現時点でのオプティカルフロー追跡画像に対してエッジ補完を行い、補完されたオプティカルフロー追跡画像に応じて、側方車両車輪の現実車輪領域を得ることを含んでもよい。具体的には、既存のオプティカルフロー追跡方法は、追跡画像エッジの目標物体の追跡効果が理想的ではなく、本実施例における目標物体が左側車両車輪であり、左側車両車輪はほとんどの時間追跡画像の左側に現れるので、本実施例は追跡画像に対してエッジ補完を行い、例えば、画像のエッジに白い領域を増加し、次に、ピラミッドＬＫ（Ｌｕｃａｓ Ｋａｎａｄｅ）オプティカルフロー方法を採用して、補完画像において車輪追跡を行うことにより、追跡結果の精度を向上させることができる。

【0093】

上記の内容に基づいて、本実施例の一実現形態において、上記ステップＳ６０２の後は、変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得することをさらに含んでもよい。本実現形態において、オプティカルフロー追跡の結果を取得した後、それとステップＳ６０２における画像変換結果とをフュージョンすることで画像変換結果における非車輪領域を除去することができ、例えば、図９に示すように、ボックス選択領域がフュージョン結果であり、次に、フュージョンされた現実車輪領域を利用して後続するステップＳ６０３を実行する。

【0094】

さらに、フュージョンされた現実車輪領域について、非車輪領域が存在する可能性があり、車輪検出結果の精度を確保するために、本実施例の一実現形態において、フュージョンされた現実車輪領域を取得した後には、現時点よりも前の一つの歴史時点又は複数の連続歴史時点について各歴史時点に対応する最終的現実車輪領域を取得し、歴史時点に対応する最終的現実車輪領域に応じて、フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、当該非車輪領域を除去することをさらに含んでもよい。本実現形態において、フォワード関連の方式を採用して、現時点よりも前の最も近い検出時点又は複数の最も近い連続時刻を取得し、これらの検出時点はいずれも歴史時点であり、各歴史時点を前記現時点とすると、いずれも現実画像に基づいて左側車両の車輪を検出し、最終的現実車輪領域を取得し、現時点とこれらの歴史時点とが連続時間点を構成するので、検出された車輪領域に基づいて、この一連の時点における車輪の変化状況を確定でき、車輪変化位置が連続するはずであり、故に、これを基に現時点に対応するフュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、これにより、非車輪領域を除去でき、そして、除去操作を経て得られた現実車輪領域を利用して後続のステップＳ６０３を実行する。

【0095】

以上より、本実施例は、座標変換関係により、現実画像を仮想画像へ変換してもよく、仮想画像で車輪を検出し、車輪検出結果によって目標車両の左側車両の位置情報を確定してもよい。具体的に、機械学習、オプティカルフロー追跡、及びマルチ時点画像関連付けなどの結合方式により、車輪領域を検出することで、車輪検出結果の精度を向上させ、これにより、左側車両の位置検出結果の精度を向上させる。

【0096】

第三実施例
本実施例では、第１の実施例のステップＳ１０２の具体的実現形態について紹介し、具体的には、どのように目標車両の右側前方車両の位置情報を検出するかのことについて紹介する。

【0097】

本実施例において、上記ステップＳ１０２における前記プリセット角度は第２の角度であってもよく、前記第２の視角は前記固定視角が水平方向に時計回りに第２の角度だけ回転された視角であり、これに基づいて、前記プリセット角度が前記第２の角度であると、前記目標車両の側方車両は前記目標車両の右側車両である。

【0098】

本実施例では、固定視角で撮像された現実画像を、固定視角と異なる右側視角で示し、本実施例において、当該右側視角を第２の視角と称する。当該第２の視角の理解を容易にするために、例を挙げて説明し、当該第２の視角は、図２に示す固定視角を右へ一定の角度だけ回転させた視角であってもよく、つまり、固定視角を水平方向に時計回りに一定の角度だけ回転させ、本実施例において、回転させる一定の角度を第２の角度と称する。

【0099】

本実施例は第２の角度を限定しない。例えば、当該第２の角度は、図４ａの左側図に示す９０度であってもよく、第２の角度が９０度である場合に、画像採集装置が目標車両に取り付けられる際に、図４ｂに示すように、この際、画像採集装置の視角方向は右向きであり、即ち、視角方向と目標車両の進行方向とが９０度をなす。また、例えば、当該第２の角度は、図４ａ右側図に示す３０度であってもよく、第２の角度が３０度である場合、画像採集装置の視角方向と目標車両の進行方向とが３０度をなす。

【0100】

なお、本実施例では、画像採集装置の固定視角について、実際に回転させることではないので、固定視角に対応する画像採集装置は現実画像採集装置であり、第２の視角に対応する画像採集装置は仮想画像採集装置である。

【0101】

また、第２の実施例における第１の視角、本実施例における第２の視角及び固定視角の方向については、地面に平行であってもよく、地面に対して一定の角度をなしてもよく、実際の応用において、経験に応じて設定できる。

【0102】

本実施例において、固定視角で撮像された現実画像に基づいて、当該現実画像に対して画像変換を行うことで、第２の視角での画像を取得し、本実施例では、当該画像を仮想画像と称する。理解できることは、第２の視角が異なると、異なる仮想画像に対応し、右側前方車両の有効な特徴を捕捉するために、リアルタイムで第２の視角を調整して、仮想画像に右側前方車両の有効な特徴を含ませることにより、これらの特徴に基づいて右側前方車両を正確に認識し、ひいては、右側前方車両の位置情報を確定することができる。

【0103】

Ｓ１０２を実現するために、予め現実平面座標系と仮想平面座標系との間の座標変換関係を構築する必要があり、なお、現実平面座標系は固定視角でのイメージング平面に対応する２次元座標系であり、仮想平面座標系はプリセット視角でのイメージング平面に対応する２次元座標系であり、なお、当該プリセット視角は第２の視角であってもよい。

【0104】

図２と図４ｂに基づいて現実平面座標系と仮想平面座標系について説明し、具体的に、図２示す現実画像採集装置の固定視角は一つのイメージング平面に対応し、当該イメージング平面に対して一つの２次元座標系ｕｏｖを作成し、当該２次元座標系ｕｏｖは現実平面座標系であり、同様に、図４ｂに示す仮想画像採集装置の第２の視角も一つのイメージング平面に対応し、当該イメージング平面に対して一つの２次元座標系ｕ_２ｏ_２ｖ_２を作成し、当該２次元座標系ｕ_２ｏ_２ｖ_２は仮想平面座標系である。

【0105】

なお、第２の実施例における現実平面座標系と本実施例における現実平面座標系が同一の座標系であると、一回だけ作成すればよい。

【0106】

区分を容易にするために、本実施例では、固定視角に対応する画像採集装置を現実画像採集装置と称し、第２の視角に対応する画像採集装置を仮想画像採集装置と称する。単純化のために、本実施例では、後続の内容において、目標車両の右側前方車両を右側車両と略称する。

【0107】

本実施例の一実現形態において、前記現実平面座標系と仮想平面座標系との間の座標変換関係を構築することは、具体的に、ステップＡ２〜Ｅ２を含むことができるが、ステップＡ２〜Ｅ２の順序を限定しない。

【0108】

ステップＡ２において、現実平面座標系と現実装置座標系との間の座標変換関係を構築し、なお、現実装置座標系は画像採集装置が固定視角に対応する場合に画像採集装置に対して構築した３次元座標系である。

【0109】

なお、このステップＡ２は、第２の実施例におけるステップＡ１と同じであるので、相関する内容については、ステップＡ１を参照し、ここで重複しない。そして、ステップＡ１とステップＡ２は、一回だけ実行されてもよい。

【0110】

ステップＢ２において、現実装置座標系と現実世界座標系との間の座標変換関係を構築し、現実世界座標系は、画像採集装置が固定視角に対応する場合に構築された世界座標系である。

【0111】

このステップＢ２は、第２の実施例におけるステップＢ１と同じであるので、相関する内容については、ステップＢ１を参照し、ここで重複しない。そして、ステップＢ１とステップＢ２は、一回だけ実行されてもよい。

【0112】

ステップＣ２において、現実世界座標系と仮想世界座標系との間の座標変換関係を構築し、仮想世界座標系は画像採集装置がプリセット視角に対応する場合に構築された世界座標系である。

【0113】

本実施例において、仮想画像採集装置に対して世界座標系

【数69】

を構築し、当該世界座標系

【数70】

を仮想世界座標系と定義し、本実施例は仮想世界座標系

【数71】

の原点位置と座標軸方向を限定せず、目標車両の走行中、当該仮想世界座標系

【数72】

と目標車両との相対的位置は不変であればよい。例えば、図４ｂに示すように、仮想画像採集装置上のある点Ａを取り、仮に、当該仮想画像採集装置がカメラである場合、当該カメラの光学的中心を取って点Ａとしてもよく、点Ａを通る垂線（即ち当該点を通り且つ地面に垂直な直線）と地面との交点を仮想世界座標系

【数73】

の原点

【数74】

とし、仮想世界座標系

【数75】

の

【数76】

軸、

【数77】

軸、

【数78】

軸について、

【数79】

軸は目標車両のリアに指向し、

【数80】

軸は目標車両の右方に指向し、

【数81】

軸は

【数82】

軸と

【数83】

軸に垂直であり地面に指向してもよい。また、例えば、４ｂに示す原点

【数84】

位置、

【数85】

軸方向、

【数86】

軸方向及び

【数87】

軸方向の四つの座標要素について、その中の一つ又は複数の座標要素を変えてもよく、例えば、目標車両上のある点を上記点Ａとしてもよく、また、図４ｂに示す

【数88】

軸、

【数89】

軸、

【数90】

軸の向きを変えて、即ちその反対方向を取ってもよく、変えた座標系を仮想世界座標系

【数91】

とする。

【0114】

なお、仮想画像採集装置は現実画像採集装置に対してフロント方向へＳ（Ｓ＞０）メートルだけ前に移動すべきであり、その目的は、仮想画像に出来るだけ現実画像の右側領域までカバーさせるためである。

【0115】

図２に示す現実世界座標系Ｏ_ｗＸＹＺ及び図４ｂに示す仮想世界座標系

【数92】

を例として、３Ｄ実空間におけるいずれかの点Ｐについて、当該点の現実世界座標系Ｏ_ｗＸＹＺにおける座標は

【数93】

であり、

【数94】

となると、当該点は目標車両の右側領域の空間点であり、当該点を仮想世界座標系

【数95】

に変換した座標は

【数96】

であり、座標変換式は

【数97】

である。当該式（６）は現実世界座標系Ｏ_ｗＸＹＺと仮想世界座標系

【数98】

との間の座標変換関係を記述する。

【0116】

ステップＤ２において、仮想世界座標系と仮想装置座標系との間の座標変換関係を構築し、なお、仮想装置座標系は画像採集装置がプリセット視角に対応する場合に画像採集装置に対して構築された３次元座標系である。

【0117】

本実施例において、仮想画像採集装置に対して３次元座標系

【数99】

を設置し、当該３次元座標系

【数100】

を仮想装置座標系と定義し、本実施例は仮想装置座標系

【数101】

の原点位置と座標軸方向を限定せず、目標車両の走行中、仮想装置座標系

【数102】

と仮想画像採集装置との相対的位置は不変であればよい。例えば、図４ｂに示すように、仮想画像採集装置の光学的中心を原点

【数103】

として仮想装置座標系

【数104】

を構築し、

【数105】

軸と仮想画像採集装置の光軸とが重なり合い、

【数106】

は目標車両のリアに指向し、

【数107】

は地面に指向する。

【0118】

３Ｄ実空間におけるいずれかの点Ｐについて、仮想装置座標系

【数108】

における座標

【数109】

と仮想世界座標系

【数110】

における座標

【数111】

とは以下の変換関係を有する。

【数112】

なお、Ｒは回転行列である。当該式（７）は仮想世界座標系

【数113】

と仮想装置座標系

【数114】

との間の座標変換関係を記述する。

【0119】

ステップＥ２において、仮想装置座標系と仮想平面座標系との間の座標変換関係を構築する。図４ｂに示すように、３Ｄ実空間にいずれかの点Ｐについて、当該点の仮想装置座標系

【数115】

における座標は

【数116】

であり、Ｐ点が仮想画像に位置すれば、仮想平面座標系ｕ_２ｏ_２ｖ_２に当該点に対応する唯一の点ｐ（ｕ２，ｖ２）が存在し、対応関係は、以下のように記述する。

【数117】

なお、Ｆは仮想画像採集装置の投影モデルであり、仮想画像採集装置は現実画像採集装置が視角を変えた画像採集装置であるので、投影モデルは現実画像採集装置の内部パラメーターによって決まり、現実画像採集装置の内部パラメーターはオフラインキャリブレーションアルゴリズムにより得ることができる。

【0120】

当該式（８）は、仮想装置座標系

【数118】

と仮想平面座標系ｕ_２ｏ_２ｖ_２との間の座標変換関係を記述する。式（８）において、投影モデルＦは、

【数119】

である。なお、

【数120】

、

【数121】

、ｆは仮想画像採集装置の焦点距離であり、

【数122】

と

【数123】

はそれぞれ仮想画像採集装置の単一の画素の幅と高さの物理的サイズであり、

【数124】

と

【数125】

は仮想画像採集装置の内部パラメーターであり、

【数126】

は仮想画像採集装置の光軸とイメージング平面との交点の画素座標である。

【0121】

本実施例において、予め仮想装置座標系

【数127】

の原点

【数128】

の地面からの高さｈを測定してもよく、仮想装置座標系

【数129】

は、仮想世界座標系が順に

【数130】

軸、

【数131】

軸、

【数132】

軸周りにα、β、γ角度だけ回転されたものであると見なすことができ、仮想画像採集装置と目標車両との相対的位置が固定されると、α、β、γは固定値となり、外部パラメーターキャリブレーションアルゴリズムによって確定でき、これらのパラメーターは、式（７）のＲ行列を確定するために用いられる。

【0122】

なお、仮想画像採集装置により２Ｄ画像と３Ｄ画像の相互変換を実現する場合、仮想画像のイメージング効果を確保するために、本実施例において、目標車両の近距離範囲内の画像をより明晰にする必要があるので、小さい焦点距離を設置する必要があり、例えば、仮想画像採集装置の焦点距離fを１に設置し、さらに画像の明晰度を確保するために、単一の画素の幅と高さの物理的サイズを大きくする必要があり、例えば、

【数133】

と

【数134】

を１００とし、そして、さらに小さい３Ｄ深度を設置し、例えば、３Ｄ深度Ｚを１にする。

【0123】

すると、上記の一連の座標変換関係を構築することで、現実平面座標系と仮想平面座標系との座標変換関係を構築する。

【0124】

これに基づいて、本実施例の一実現形態では、第１の実施例のＳ１０２における「前記現実画像に応じて仮想画像を生成する」ことは、具体的に、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像に変換することを含んでもよい。この実現形態では、現実画像中の各画素点の現実平面座標系における座標を確定し、次に上記式（１）〜（２）及び（６）〜（８）により各画素点の仮想平面座標系における座標を算出し、現実画像中の画素点に対して座標位置変換を行うことにより、仮想画像を生成する。

【0125】

目標車両と左側車両とが異なる相対的位置に位置する場合、右側車両の車輪が現実画像で異なる形状となり、特に右側車両が目標車両に近すぎると、右側車両の車輪が現実画像でわずかな特徴しかなく、当該車輪が仮想画像に多くの特徴を有し、そして、異なる第２の視角が採用される場合に、異なる相対的位置の車輪は、類似する形状を示し、つまり、本実施例は目標車両と右側車両との間の相対的位置関係の制限を受けず、適切な第２の視角を採用すれば、右側車両の類似車輪形状を検出することができ、これにより右側車両の位置の確定を容易にすることと理解される。

【0126】

これに基づいて、本実施例の一実現形態において、第１の実施例のＳ１０２における「前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定する」ことは、具体的に、右側車両の車輪の検出結果により、右側車両の位置情報を確定してもよい。図１０に示すように、具体的に、以下のステップを含むことができる。

【0127】

Ｓ１００１において、前記仮想画像で車輪を検出して、仮想車輪領域を取得する。

【0128】

仮想画像における車輪を関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ、ＲＯＩと略称する）として検出し、本実施例では、検出された車輪ＲＯＩを仮想車輪領域と称する。

【0129】

一つの具体的実施形態において、Ｓ１００１は、具体的に、車輪認識モデルを利用して、前記仮想画像で車輪を検出することを含んでもよい。この実施形態において、予め大量の車輪を含む車両サンプル画像を収集する必要があり、大量の車両サンプル画像中の車輪特徴に対して学習を行って、車輪を認識するための車輪認識モデルを取得し、このように、仮想画像を生成した後、当該車輪認識モデルにより仮想画像中の車輪を検出することができる。

【0130】

なお、上記第２の実施例及び本実施例はともに車輪認識モデルを用いる必要があり、上記第２の実施例及び本実施例の車輪認識モデルが同一のモデルであると、一回だけトレーニングすればよく、もちろん、左側車両と右側車両とにそれぞれ車輪認識モデルをトレーニングしてもよい。

【0131】

具体的実現の際、仮想画像の検出領域内でスライディングウィンドウを用いて車輪サンプルを採集し、検出する。図７に示すように、本実施例において右前の領域を検出する必要があり、横方向と縦方向に０．３メートル又は他の長さをステップサイズとし、スライディングウィンドウが採集した車輪サンプルを取得し、前記車輪認識モデルにより、１フレームごとの採集画像中の車輪の検出結果を得る。

【0132】

Ｓ１００２において、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得する。

【0133】

本実現形態では、仮想車輪領域中の各画素点の仮想平面座標系における座標を確定し、次に上記式（１）〜（２）及び（６）〜（８）により各画素点の現実平面座標系における座標を算出し、仮想画像中の画素点に対して座標位置変換を行うことで、変換された現実車輪領域を取得することができる。

【0134】

Ｓ１００３において、前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得し、なお、当該側方車両は右側車両である。

【0135】

この実現形態において、現実車輪領域中の各画素点の現実平面座標系における座標を確定し、次に、上記式（１）〜（２）及び（６）〜（８）における相関式により、各画素点の現実世界座標系における座標を算出でき、即ち、右側車両車輪の現実世界系における座標を確定し、右側車両車輪の現実世界座標系における座標を確定すると、右側車両とその車輪との位置関係に応じて、右側車両の目標車両に対する位置を確定することができる。

【0136】

実際の応用において、当該実施例が目標車両のＦＣＷシステムに応用されると、右側車両と目標車両との距離が近いと確定された場合、光、音、振動などの形で運転者に警告でき、当該実施例が目標車両のＡＣＣシステムに応用されると、右側車両と目標車両との距離が近いと確定された場合、目標車両と右側車両との間隙を制御することで目標車両の運転安全を確保できる。

【0137】

さらに、上記ステップＳ１００１において、車輪認識モデルは仮想画像で車輪を検出する場合に、検出結果に一部の誤認識ある可能性があり、これにより、ステップＳ１００２にて得た領域画像に非車輪領域が存在してしまう。従って、本実施例では、リアルタイムに目標車両の側方車両車輪に対してオプティカルフロー追跡を行って、現時点での現実車輪領域を取得し、即ち、オプティカルフロー追跡された現実車輪領域を取得することで、オプティカルフロー追跡した現実車輪領域を利用して、ステップＳ１００２での非車輪領域を除去するようにする。

【0138】

なお、前記した現時点での現実車輪領域を取得する、即ちオプティカルフロー追跡された現実車輪領域を取得することは、具体的に、現時点でのオプティカルフロー追跡画像に対してエッジ補完を行い、補完されたオプティカルフロー追跡画像に応じて、側方車両車輪の現実車輪領域を得ることを含んでもよい。具体的には、既存のオプティカルフロー追跡方法は、追跡画像のエッジに位置する目標物体の追跡効果が理想的ではなく、本実施例における目標物体が右側車両車輪であり、右側車両車輪はほとんどの時間追跡画像の右側に現れるので、本実施例は追跡画像に対してエッジ補完を行い、例えば、画像のエッジに白い領域を増加し、次にピラミッドＬＫ（Ｌｕｃａｓ Ｋａｎａｄｅ）オプティカルフロー方を採用して、補完画像において車輪追跡を行うことにより、追跡結果の精度を向上させることができる。

【0139】

上記内容に基づいて、本実施例の一実現形態において、上記ステップＳ１００２の後には、変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得することをさらに含んでもよい。本実施形態において、オプティカルフロー追跡結果を取得した後、それとステップＳ１００２での画像変換結果とをフュージョンすることで、画像変換結果における非車輪領域を除去し、そして、フュージョンされた現実車輪領域を利用して後続するステップＳ１００３を実行する。

【0140】

さらに、フュージョンされた現実車輪領域について、非車輪領域が存在する可能性があり、車輪検出結果の精度を確保するために、本実施例の一実現形態において、フュージョンされた現実車輪領域を取得した後には、現時点よりも前の一つの歴史時点又は複数の連続歴史時点について各歴史時点に対応する最終的現実車輪領域を取得し、歴史時点に対応する最終的現実車輪領域に応じて、フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、当該非車輪領域を除去することをさらに含んでもよい。本実現形態において、フォワード関連の方式を採用して、現時点よりも前の最も近い検出時点又は複数の最も近い連続時刻を取得し、これらの検出時点はいずれも歴史時点であり、各歴史時点を前記現時点とすると、現実画像に基づいて右側車両の車輪を検出し、最終的現実車輪領域を取得し、現時点とこれらの歴史時点とが連続時間点を構成するので、検出された車輪領域に基づいて、この一連の時点における車輪の変化状況を確定してもよく、車輪変化位置が連続するはずであり、故に、これを基に現時点に対応するフュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、これにより、非車輪領域を除去し、そして、除去操作を経て得られた現実車輪領域を利用して後続のステップＳ１００３を実行してもよい。

【0141】

以上より、本実施例は、座標変換関係により、現実画像を仮想画像へ変換してもよく、仮想画像で車輪を検出し、車輪検出結果によって目標車両の右側車両の位置情報を確定してもよい。具体的に、機械学習、オプティカルフロー追跡、及びマルチ時点画像関連付けなどの結合方式により、車輪領域を検出することで、車輪検出結果の精度を向上させ、これにより、左側車両の位置検出結果の精度を向上させることができる。

【0142】

第四実施例
図１１を参照して、本実施例が提供する車両位置検出装置の構成模式図であり、当該装置は、
目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した現実画像を取得するための現実画像取得ユニット１１０１と、
前記現実画像に応じて仮想画像を生成するための仮想画像生成ユニット１１０２と、
前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定するための車両位置確定ユニット１１０３とを含み、
前記現実画像は、前記画像採集装置が現時点に固定視角で撮像した画像であり、
前記仮想画像は、現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向で所定の角度だけ回転された視角である。

【0143】

実施例の一実現形態において、前記プリセット角度は第１の角度又は第２の角度であり、前記第１の視角は前記固定視角が水平方向に反時計回りに第１の角度だけ回転された視角であり、前記第２の視角は前記固定視角が水平方向に時計回りに第２の角度だけ回転された視角であり、
それに対応して、前記プリセット角度が前記第１の角度であると、前記目標車両の側方車両は前記目標車両の左側車両であり、前記プリセット角度が前記第２の角度であると、前記目標車両の側方車両は前記目標車両の右側車両であってもよい。

【0144】

実施例の一実現形態において、前記装置は、
現実平面座標系と仮想平面座標系との間の座標変換関係を構築するための変換関係構築ユニットをさらに含み、前記現実平面座標系は前記固定視角でのイメージング平面に対応する２次元座標系であり、前記仮想平面座標系は前記プリセット視角でのイメージング平面に対応する２次元座標系であり、
前記仮想画像生成ユニット１１０２は、具体的に、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換するために用いられてもよい。

【0145】

実施例の一実現形態において、前記変換関係構築ユニットは、
前記現実平面座標系と、前記画像採集装置が前記固定視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である現実装置座標系との間の座標変換関係を構築するための第１の構築サブユニットと、
前記現実装置座標系と、前記画像採集装置が前記固定視角に対応する場合に構築された世界座標系である現実世界座標系との間の座標変換関係を構築するための第２の構築サブユニットと、
前記現実世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に構築された世界座標系である仮想世界座標系との間の座標変換関係を構築するための第３の構築サブユニットと、
前記仮想世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である仮想装置座標系との間の座標変換関係を構築するための第４の構築サブユニットと、
前記仮想装置座標系と前記仮想平面座標系との間の座標変換関係を構築するための第５の構築サブユニットとを含む。

【0146】

実施例の一実現形態において、前記車両位置確定ユニット１１０３は、
前記仮想画像で車輪を検出して、仮想車輪領域を取得するための仮想車輪検出サブユニットと、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得するための現実車輪取得サブユニットと、
前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得するための車輪位置確定サブユニットとを含んでもよい。

【0147】

実施例の一実現形態において、前記装置は、
大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを取得するための認識モデル作成ユニットをさらに含み、
前記仮想車輪検出サブユニットは、具体的に、前記車輪認識モデルを利用して、前記仮想画像で車輪を検出するために用いられてもよい。

【0148】

実施例の一実現形態において、前記装置は、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、前記現時点での現実車輪領域を取得するためのオプティカルフロー追跡ユニットをさらに含み、
前記車両位置確定ユニット１１０３は、
変換された現実車輪領域を取得した後、変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得するための車輪フュージョンサブユニットをさらに含んでもよい。

【0149】

実施例の一実現形態において、前記オプティカルフロー追跡ユニットは、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うためのオプティカルフロー追跡サブユニットと、
前記現時点でのオプティカルフロー追跡画像に対してエッジ補完を行うためのエッジ補完サブユニットと、
補完されたオプティカルフロー追跡画像に応じて、前記側方車両車輪の現実車輪領域を取得するための領域取得サブユニットとを含む。

【0150】

実施例の一実現形態において、前記車両位置確定ユニット１１０３は、
フュージョンされた現実車輪領域を取得した後、前記現時点よりも前の一つの歴史時点又は複数の連続歴史時点について、前記歴史時点に対応する最終的現実車輪領域を取得するための歴史車輪取得サブユニットと、
前記歴史時点に対応する最終的現実車輪領域に応じて、前記フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、前記非車輪領域を除去するための領域除去サブユニットとをさらに含んでもよい。

【0151】

さらに、本願の実施例は、プロセッサー、メモリ、システムバスを含む車両位置検出装置を提供し、
前記プロセッサー及び前記メモリは前記システムバスを介して互いに接続し、
前記メモリは、コマンドを含む一つ又は複数のプログラムを記憶するためのものであり、前記コマンドが前記プロセッサーに実行される場合に前記プロセッサーに上記車両位置検出方法のいずれかの実現方法を実行させる。

【0152】

さらに、本願の実施例は、コンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ読み取り可能な記憶媒体にコマンドが記憶されており、前記コマンドが端末装置で実行される場合に、前記端末装置に上記車両位置検出方法のいずれかの実現方法を実行させる。

【0153】

さらに、本願の実施例は、また、コンピュータープログラム製品を提供し、前記コンピュータープログラム製品が端末で実行される場合に、前記端末装置に上記車両位置検出方法のいずれかの実現方法を実行させる。

【0154】

上記実施形態の記述により、当業者であれば、上記実施例に係る方法のステップの全部または一部がソフトウェアと必要な汎用ハードウェアプラットフォームにより実現されてもよいことを容易に理解可能である。 このような理解に基づいて、本発明の技術案は、本質的又は従来技術に寄与する部分がコンピュータソフトウェア製品として具現化されてもよく、このコンピュータソフトウェア製品は、ＲＯＭ／ＲＡＭ、磁気ディスク、及び光ディスク等の記憶媒体に格納されていてもよく、一台のコンピュータ機器（パーソナルコンピュータ、サーバ、又はメディアゲートウェイ等のネットワーク通信装置であってもよい）に本願の各実施例又は実施例の一部を実行させることを可能にするように、複数のコマンドを含む。

【0155】

なお、本明細書の各実施例は、プログレッシブ方式で記述しており、各実施例は、他の実施例との差異に重点を置いている。各実施例間で同一又は同様の部分については、相互に参照すればよい。実施例に開示されている装置については、実施例に開示されている方法に対応するため、相関するところについて、方法の説明を参照すればよい。

【0156】

また、なお、本明細書において、各例の「第１」と「第２」等などの関係用語は、ただ一つの実体又は操作と他の一つの実体又は操作と区分するための用語であり、これらの実体又は操作同士にこのような実際の関係又は順序が存在することが示唆されていない。且つ、用語である「含む」や「包含」又は他の変更用語は、非排他的包含もカバーする。一連の要素を含む過程、方法、物品又はデバイスは、それらの要素だけでなく、明確に記載されていない他の要素や、この過程、方法、物品又はデバイスに固有された要素を含んでもよい。さらに限定されていない場合、「一つの…を含む」で限定された要素は、前記要素の過程、方法、物品又はデバイスにその他の同じ要素も含まれることを排除しない。

【0157】

開示されている実施例についての上記説明は、当業者に、本願を実現又は使用できるようにする。これらの実施例についての各種の修正は、当業者にとって自明であり、この明細書に定義している一般的原理は、本願の精神又は範囲から逸脱しない場合に、他の実施例において実現されることができる。従って、本願はこの明細書に示すこれらの実施例に限定されず、この明細書に開示されている原理と新規な特点に一致する最も広い範囲に合わせる。

【図1】

【図2】

【図3a】

【図3b】

【図4a】

【図4b】

【図5a】

【図5b】

【図5c】

【図5d】

【図6】

【図7】

【図8a】

【図8b】

【図8c】

【図8d】

【図8e】

【図8f】

【図9】

【図10】

【図11】