特許 7365055 ビデオオブジェクト検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-11

(45)【発行日】2023-10-19

(54)【発明の名称】ビデオオブジェクト検出

(51)【国際特許分類】

   G06T 7/246 20170101AFI20231012BHJP

   G06T 7/70 20170101ALI20231012BHJP

   G08G 1/16 20060101ALI20231012BHJP

【ＦＩ】

G06T7/246

G06T7/70 A

G08G1/16 C

【請求項の数】 20

(21)【出願番号】P 2020551352

(86)(22)【出願日】2019-03-21

(65)【公表番号】

(43)【公表日】2021-08-12

(86)【国際出願番号】 US2019023437

(87)【国際公開番号】W WO2019183398

(87)【国際公開日】2019-09-26

【審査請求日】2022-03-17

(31)【優先権主張番号】16/157,861

(32)【優先日】2018-10-11

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】201841010577

(32)【優先日】2018-03-22

(33)【優先権主張国・地域又は機関】IN

(73)【特許権者】

【識別番号】507107291

【氏名又は名称】テキサス インスツルメンツ インコーポレイテッド

(74)【代理人】

【識別番号】230129078

【弁護士】

【氏名又は名称】佐藤 仁

(72)【発明者】

【氏名】ソエブ ノーモハメッド ナゴリ

(72)【発明者】

【氏名】マヌ マシュー

(72)【発明者】

【氏名】クマル デサパン

(72)【発明者】

【氏名】プラモッド クマル スワミ

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】米国特許出願公開第２０１２／０１４３８０８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００５／０２４９４２６（ＵＳ，Ａ１）

【文献】Ahmet Ekin, et al.，Automatic extraction of low-level object motion descriptors，Proceedings 2001 International Conference on Image Processing，米国，2001年，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=958573

【文献】森田 俊彦，外１名，映像情報とセキュリティ，映像情報 第３０巻 第５号，日本，産業開発機構株式会社，1998年，第30巻

【文献】Z. Hu, et al.，Tracking cycle: a new concept for simultaneous tracking of multiple moving objects in a typical traffic scene，Proceedings of the IEEE Intelligent Vehicles Symposium 2000，米国，2000年，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=898347

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

ビデオプロセッサであって、
第１のビデオフレームにおけるオブジェクトを検出するように構成されるオブジェクト検出回路と、
オブジェクト伝搬回路であって、
前記オブジェクトの第１の注目点に関連する第１のオプティカルフローに基づいて、第１の注目領域に位置して前記オブジェクトの一部であると判定される第１の注目点のセットから、前記第１の注目点のセットの中で前記オブジェクトを囲む矩形の第１のコーナーに最も近く位置する前記第１の注目点を選択し、
前記オブジェクトの第２の注目点に関連する第２のオプティカルフローに基づいて、前記オブジェクトを囲む前記矩形の、前記第１のコーナーと対角線状に対向している第２のコーナーに位置する第２の注目領域に配置される第２の注目点のセットから前記第２の注目点を選択し、
前記第１のオプティカルフローに基づいて第２のビデオフレームにおける前記第１の注目点の位置を判定し、前記第２のオプティカルフローに基づいて前記第２のビデオフレームにおける前記第２の注目点の位置を判定することによって、前記第２のビデオフレームにおける前記オブジェクトの位置を推定する、
ように構成される、前記オブジェクト伝搬回路と、
を含む、ビデオプロセッサ。

【請求項2】

請求項１に記載のビデオプロセッサであって、
前記オブジェクト伝搬回路が、
前記第１の注目領域における前記第１の注目点のセットを含む複数の注目点を識別し、
前記複数の注目点の各々が前記オブジェクトの一部であるかどうかを判定し、
前記オブジェクトの一部であると判定される前記複数の注目点の幾つかを前記第１の注目点のセットとして選択する、
ように更に構成される、ビデオプロセッサ。

【請求項3】

請求項１に記載のビデオプロセッサであって、
前記オブジェクト伝搬回路が、
前記第１の注目領域における前記第１の注目点のセットを含む複数の注目点を識別し、
前記複数の注目点の各々についてオプティカルフローを判定し、
前記複数の注目点の各々についての前記オプティカルフローに基づいて前記複数の注目点の幾つかを前記第１の注目点のセットとして選択する、
ように更に構成される、ビデオプロセッサ。

【請求項4】

請求項１に記載のビデオプロセッサであって、
前記オブジェクト伝搬回路が、
伝搬されるべきオブジェクトのプールを維持し、
各ビデオフレームにおいて前記オブジェクトの位置が推定されるライフタイム値を前記プールにおける各オブジェクトに割り当てる、
ように更に構成される、ビデオプロセッサ。

【請求項5】

請求項４に記載のビデオプロセッサであって、
前記オブジェクト伝搬回路が、検出されたオブジェクトに割り当てられ、第１の閾値を超える検出信頼値に基づいて、前記検出されたオブジェクトを前記プールに追加するように更に構成される、ビデオプロセッサ。

【請求項6】

請求項４に記載のビデオプロセッサであって、
前記オブジェクト伝搬回路が、所与のビデオフレームにおいて、前記検出されたオブジェクトの前記推定された位置における前記検出されたオブジェクトと前記所与のビデオフレームにおいて検出された第２のオブジェクトとの重なりが所定の重なりよりも小さいことに基づいて、検出されたオブジェクトを前記プールから削除するように更に構成される、ビデオプロセッサ。

【請求項7】

請求項１に記載のビデオプロセッサであって、
前記オブジェクトが第１のオブジェクトであり、
前記オブジェクト伝搬回路が、前記第２のフレームにおいて検出されるオブジェクトが前記オブジェクトと少なくとも所定量重なることに応答して、前記第２のビデオフレームにおける前記第１のオブジェクトの前記推定位置における前記第１のオブジェクトを抑制するように更に構成され、
前記第２のビデオフレームにおいて検出された前記オブジェクトの検出信頼スコアが前記第１のオブジェクトの検出信頼スコアよりも低い、ビデオプロセッサ。

【請求項8】

プロセッサを用いるビデオオブジェクト検出のための方法であって、
第１のビデオフレームにおいてオブジェクトを検出することと、
前記オブジェクトの第１の注目点に関連する第１のオプティカルフローに基づいて第１の注目領域に位置して前記オブジェクトの一部であると判定される第１の注目点のセットから第１の注目点を選択することであって、前記第１の注目点が前記第１の注目点のセットの中で前記オブジェクトを囲む矩形の第１のコーナーに最も近く位置する、前記第１の注目点を選択することと、
前記オブジェクトの第２の注目点に関連する第２のオプティカルフローに基づいて第２の注目点のセットから第２の注目点を選択することであって、前記第２の注目点のセットが前記オブジェクトを囲む前記矩形の第２のコーナーに位置する第２の注目領域に配置され、前記第２のコーナーが前記第１のコーナーと対角線状に対向する、前記第２の注目点を選択することと、
前記第１のオプティカルフローに基づいて第２のビデオフレームにおける前記第１の注目点の位置を判定し、前記第２のオプティカルフローに基づいて前記第２のビデオフレームにおける前記第２の注目点の位置を判定することによって、前記第２のビデオフレームにおける前記オブジェクトの位置を推定することと、
を含む、方法。

【請求項9】

請求項８に記載の方法であって、
前記第１の注目領域における前記第１の注目点のセットを含む複数の注目点を識別することと、
前記複数の注目点の各々が前記オブジェクトの一部であるかどうかを判定することと、
前記オブジェクトの一部であると判定される前記複数の注目点の幾つかを前記第１の注目点のセットとして選択することと、
を更に含む、方法。

【請求項10】

請求項８に記載の方法であって、
前記第１の注目領域における前記第１の注目点のセットを含む複数の注目点を識別することと、
前記複数の注目点の各々についてオプティカルフローを判定することと、
前記複数の注目点の各々についての前記オプティカルフローに基づいて前記複数の注目点の幾つかを前記第１の注目点のセットとして選択することと、
を更に含む、方法。

【請求項11】

請求項８に記載の方法であって、
伝播されるべきオブジェクトのプールを維持することと、
前記オブジェクトの位置が各ビデオフレームにおいて推定されるライフタイム値を前記プールにおける各オブジェクトに割り当てることと、
を更に含む、方法。

【請求項12】

請求項１１に記載の方法であって、
検出されたオブジェクトに割り当てられ、第１の閾値を超える検出信頼値に基づいて、前記検出されたオブジェクトを前記プールに追加することを更に含む、方法。

【請求項13】

請求項１１に記載の方法であって、
所与のビデオフレームにおいて、検出されたオブジェクトの前記推定位置における前記検出されたオブジェクトと前記所与のビデオフレームにおいて検出される第２のオブジェクトとの重なりが所定の重なりよりも小さいことに基づいて、前記プールから前記検出されたオブジェクトを削除することを更に含む、方法。

【請求項14】

請求項８に記載の方法であって、
前記オブジェクトが第１のオブジェクトであり、
前記方法が、前記第２のフレームにおいて検出されるオブジェクトが前記オブジェクトと少なくとも所定量重なることに応答して、前記第２のビデオフレームにおける前記第１のオブジェクトの推定位置における前記第１のオブジェクトを抑制することを更に含み、
前記第２のフレームにおいて検出された前記オブジェクトの検出信頼スコアが、前記第１のオブジェクトの検出信頼スコアよりも低い、方法。

【請求項15】

ビデオシステムであって、
動作環境の画像を捕捉するように構成されるカメラと、
前記カメラに結合されるビデオプロセッサであって、
前記カメラから複数のビデオフレームを受け取り、
前記複数のビデオフレームの第１のビデオフレームにおいてオブジェクトを検出し、
前記オブジェクトを囲む矩形を画定し、
前記矩形の第１のコーナーにおいて第１の注目領域を画定し、
前記第１の注目領域における第１の複数の注目点を識別し、
前記第１の複数の注目点の各々のオプティカルフローを判定し、
前記第１の複数の注目点の各々が前記オブジェクトの一部であるか否かを判定し、
前記オブジェクトの第１の注目点に関連する第１のオプティカルフローに基づいて前記第１の複数の注目点から前記オブジェクトの一部であって前記矩形の第１のコーナーに最も近く位置する第１の注目点を選択し、
前記第１のコーナーと対角線状に対向する前記矩形の第２のコーナーにおいて第２の注目領域を画定し、
前記第２の注目領域における第２の複数の注目点を識別し、
前記オブジェクトの第２の注目点に関連する第２のオプティカルフローに基づいて前記第２の複数の注目点から第２の注目点を選択し、
前記第１のオプティカルフローに基づいて第２のビデオフレームにおける前記第１の注目点の位置を判定し、前記第２のオプティカルフローに基づいて前記第２のビデオフレームにおける前記第２の注目点の位置を判定することによって、前記第２のビデオフレームにおける前記オブジェクトの位置を推定する、
ように構成される、前記ビデオプロセッサと、
を含む、ビデオシステム。

【請求項16】

請求項１５に記載のビデオシステムであって、
前記ビデオプロセッサが、
前記第１の複数の注目点の各々が前記オブジェクトの一部であるかどうかを判定するためにエピポーラチェックを実施し、
前記第２の複数の注目点の各々が前記オブジェクトの一部であるかどうかを判定するためにエピポーラチェックを実施し、
前記オブジェクトの一部であり、前記矩形の第２のコーナーに最も近い、前記第２の複数の注目点の１つの注目点を第２の注目点として選択する、
ように更に構成される、ビデオシステム。

【請求項17】

請求項１５に記載のビデオシステムであって、
前記ビデオプロセッサが、
伝搬されるべきオブジェクトのプールを維持し、
各ビデオフレームにおいて前記オブジェクトの位置が推定されるライフタイム値を前記プールにおける各オブジェクトに割り当てる、
ように更に構成される、ビデオシステム。

【請求項18】

請求項１７に記載のビデオシステムであって、
前記ビデオプロセッサが、検出されたオブジェクトに割り当てられ、第１の閾値を超える検出信頼スコア値に基づいて、前記検出されたオブジェクトを前記プールに追加するように更に構成される、ビデオシステム。

【請求項19】

請求項１７に記載のビデオシステムであって、
前記ビデオプロセッサが、所与のビデオフレームにおいて、検出されたオブジェクトの前記推定された位置における前記検出されたオブジェクトと前記所与のビデオフレームにおいて検出される第２のオブジェクトとの重なりが所定の重なりよりも小さいことに基づいて、前記プールから前記検出されたオブジェクトを削除するように更に構成される、ビデオシステム。

【請求項20】

請求項１５に記載のビデオシステムであって、
前記オブジェクトが第１のオブジェクトであり、
前記ビデオプロセッサが、前記第２のフレームにおいて検出された第２のオブジェクトが前記第１のオブジェクトと少なくとも所定量だけ重なることに応答して、前記第２のビデオフレームにおける前記第１のオブジェクトの推定位置における前記第１のオブジェクトを抑制するように更に構成され、
前記第２のビデオフレームにおいて検出された前記オブジェクトの検出信頼スコアが、前記第１のオブジェクトの検出信頼スコアよりも低い、ビデオシステム。

【発明の詳細な説明】

【技術分野】

【0001】

オブジェクト検出は、コンピュータビジョンにおける重要な問題である。或るシーンにおけるオブジェクトの挙動と動きを解析するために、ビデオ処理システムはビデオデータからオブジェクトを確実に検出する必要がある。オブジェクトの検出は、オブジェクトの位置及びスケールを判定することに関与する。様々な分析応用例は、シーンにおけるオブジェクトの位置及び縮尺を判定することに基づいている。例えば、トラッカーは、オブジェクトの位置と縮尺で初期化する必要があるため、オブジェクト検出は、オブジェクト追跡に先行するものとして必須である。

【0002】

先進運転支援システム（ＡＤＡＳ）及び自動運転システムは、オブジェクト検出に依存して、車両動作環境におけるオブジェクトの位置を判定する。ＡＤＡＳのオペレーションは、検出されたオブジェクトのドライバに警告すること、又は検出されたオブジェクトを回避するために車両の制御を想定することを含み得る。

【発明の概要】

【0003】

視覚プロセッサが、オブジェクト検出回路とオブジェクト伝搬回路とを含む。オブジェクト検出回路は、第１のビデオフレームにおいてオブジェクトを検出するように構成される。オブジェクト伝搬回路は、オブジェクトの第１の注目点を選択するように構成される。第１の注目点は、オブジェクトを囲むボックスの第１のコーナー（corner）に位置する第１の注目領域に配置される。オブジェクト伝搬回路はまた、オブジェクトの第２の注目点を選択するように構成される。第２の注目点は、オブジェクトを囲むボックスの第２のコーナーに位置する第２の注目領域に配置される。第２のコーナーは、第１のコーナーと対角線状に対向している。オブジェクト伝搬回路はさらに、第１の注目点について第１のオプティカルフロー（optical flow）を判定し、第２の注目点について第２のオプティカルフローを判定するように構成される。さらに、オブジェクト伝搬回路は第１のオプティカルフローに基づいて第２のビデオフレームにおける第１の注目点の位置を判定し、第２のオプティカルフローに基づいて第２のビデオフレームにおける第２の注目点の位置を判定することによって、第２のビデオフレームにおけるオブジェクトの位置を推定するように構成される。

【0004】

ビデオオブジェクト検出のための方法が、第１のビデオフレームにおいてオブジェクトを検出することを含む。オブジェクトの第１の注目点が選択される。第１の注目点は、オブジェクトを囲むボックスの第１のコーナーに位置する第１の注目領域に配置される。オブジェクトの第２の注目点が選択される。第２の注目点は、オブジェクトを囲むボックスの第２のコーナーに位置する第２の注目領域に配置される。第２のコーナーは、第１のコーナーと対角線状に対向している。第１の注目点の第１のオプティカルフローが判定される。第２の注目点に対する第２のオプティカルフローが判定される。第２のビデオフレームにおけるオブジェクトの位置は、第１のオプティカルフローに基づいて第２のビデオフレームにおける第１の注目点の位置を判定し、第２のオプティカルフローに基づいて第２のビデオフレームにおける第２の注目点の位置を判定することによって推定される。

【0005】

ビデオシステムが、カメラ及びビデオプロセッサを含む。カメラは、動作環境の画像を捕捉するように構成される。ビデオプロセッサは、カメラに結合され、カメラからビデオフレームを受け取り、ビデオフレームの第１のビデオフレームにおけるオブジェクトを検出するように構成される。ビデオプロセッサはまた、オブジェクトを囲むボックスを画定し、ボックスの第１のコーナーにおける第１の注目領域を画定し、第１の領域における第１の複数の注目点を識別し、第１の複数の注目点から第１の注目点を選択し、第１の注目点について第１のオプティカルフローを判定するように構成される。ビデオプロセッサはさらに、ボックスの第２のコーナーにおける第２の注目領域を画定し、第２の領域における第２の複数の注目点を識別し、第２の複数の注目点から第２の注目点を選択し、第２の注目点について第２のオプティカルフローを判定するように構成される。第２のコーナーは、第１のコーナーと対角線状に対向している。ビデオプロセッサは、第１のオプティカルフローに基づいて第２のビデオフレームにおける第１の注目点の位置を判定し、第２のオプティカルフローに基づいて第２のビデオフレームにおける第２の注目点の位置を判定することによって、第２のビデオフレームにおけるオブジェクトの位置を推定するようにさらに構成される。

【図面の簡単な説明】

【0006】

【図1】本記載に従ってビデオ画像を処理するための例示のシステムのブロック図を示す。

【0007】

【図2】本記載に従ったオブジェクト検出のための例示の方法のためのフローチャートを示す。

【0008】

【図3】本記載に従ってビデオ処理システムによって検出されるオブジェクトのためのオプティカルフローに基づく注目点の選択を示す。

【0009】

【図4A】本記載に従ってビデオ処理システムによって検出されるオブジェクトについてのエピポーラチェックに基づく注目点の選択を示す。

【図4B】本記載に従ってビデオ処理システムによって検出されるオブジェクトについてのエピポーラチェックに基づく注目点の選択を示す。

【0010】

【図5A】本記載に従ったオプティカルフローによって伝播されるオブジェクトのプールを示す。

【図5B】本記載に従ったオプティカルフローによって伝播されるオブジェクトのプールを示す。

【0011】

【図6A】本記載に従ったオプティカルフローによるオブジェクト伝搬のための条件を示す。

【図6B】本記載に従ったオプティカルフローによるオブジェクト伝搬のための条件を示す。

【図6C】本記載に従ったオプティカルフローによるオブジェクト伝搬のための条件を示す。

【0012】

【図7A】本記載に従った条件付きＮＭＳ（non-maximum suppression）に基づくオプティカルフローによって伝播されるオブジェクトの抑制を示す。

【図7B】本記載に従った条件付きＮＭＳに基づくオプティカルフローによって伝播されるオブジェクトの抑制を示す。

【0013】

【図8】本記載に従ったオプティカルフローによってオブジェクト伝搬を実装するのに適した例示のシステムオンチップのためのブロック図を示す。

【発明を実施するための形態】

【0014】

本記載において、「結合する」という用語は、間接的又は直接的な有線又はワイヤレス接続のいずれかを意味する。したがって、第１のデバイスが第２のデバイスに結合する場合、その接続は、直接的接続を介するもの、又は他のデバイス及び接続を介する間接的接続を介するものであり得る。また、本記載では、「～に基づく」は「少なくとも部分的に基づく」ことを意味する。したがって、ＸがＹに基づく場合、ＸはＹ及び任意の数の他の要因の関数であり得る。

【0015】

ディープラーニングの使用は、ビデオにおけるオブジェクトの検出及び認識を実質的に改善してきている。しかしながら、ディープラーニングを実装するために必要な計算の複雑度は、リアルタイムでビデオを処理する埋め込みデバイスに対する実装を困難にしている。シングルショット検出器（ＳＳＤ）などの、埋め込みデバイスにおけるオブジェクト検出に特に向けられたディープラーニングベースのオブジェクト検出の実装は有用であるが、ほとんどの埋め込みデバイスで利用可能であるよりもかなり多くの計算能力を依然として必要とする。

【0016】

本明細書に記載されるビデオ処理装置及び方法は、著しく（例えば、８０倍）低い計算複雑度で、ＳＳＤのものと同様のオブジェクト検出精度を提供する。実装は、検出されたオブジェクトに関連付けられた２つの注目領域の各々において注目点を選択する。注目領域は、オブジェクトを囲む矩形の対向する頂点に位置する。注目点の各々のオプティカルフローが判定され、注目点のオプティカルフローに基づいて、後続のビデオフレームにおけるオブジェクトの位置が判定される。オプティカルフローを用いて伝播される検出されたオブジェクトのプールが維持される。プール内の、選択された経過時間未満のすべての検出されたオブジェクトが伝播される。第１の信頼閾値を上回る検出信頼スコアを有する検出されたオブジェクトが、プールに追加される。検出されたオブジェクトは、伝播されたオブジェクトが、第１の閾値を下回る検出信頼スコアである検出されたオブジェクトと重なる場合、オプティカルフローに基づいて伝播される。

【0017】

図１は、本記載に従ったビデオ画像を処理するための例示のビデオ処理システム１００のブロック図を示す。ビデオ処理システム１００は、一つ又は複数のカメラ１０２と、ビデオプロセッサ１０４を含む。カメラ１０２は、特定の応用例におけるオブジェクト検出に適したフレームレート及び解像度で可視光又は赤外画像を捕捉し得る。例えば、ビデオ処理システム１００は、車両の動作環境におけるオブジェクトを検出するために、先進運転支援システム（ＡＤＡＳ）又は自動運転システムに適用され得る。そのような応用例において、カメラ１０２は、毎秒６０フレーム、毎秒３０フレームのフレームレート、又は０．５～８メガピクセル又はそれ以上の解像度を有する他の好適な速度で動作し得る。カメラ１０２は、モバイル産業プロセッサインタフェース連合（例えば、ＭＩＰＩ ＣＳＩ−２）によって特定されるカメラシリアルインタフェース、又はビデオデータをプロセッサに転送するのに適した他のインタフェースを介して、ビデオプロセッサ１０４に結合され得る。

【0018】

ビデオプロセッサ１０４は、オブジェクトを検出し、カメラ１０２から受け取ったビデオデータに基づいて他のオペレーションを行うのに適している命令実行デバイスである。例えば、或るＡＤＡＳ実装において、ビデオプロセッサ１０４が、テキサス・インスツルメンツ社によって製造されたＴＤＡ２ファミリのシステムオンチップ（ＳｏＣ）であってもよく、ビデオプロセッサ１０４は任意の数及びタイプのサブプロセッサを含んでもよい。ビデオプロセッサ１０４の様々な実装は、カメラ１０２から受け取ったビデオデータを操作し、ビデオコプロセッサコア１００のカメラ１０２及び他の構成要素（例えば、ビデオディスプレイ、オートモーティブ制御システムなど）を制御するために、一つ又は複数の汎用マイクロプロセッサコア、及び／又は一つ又は複数の汎用コプロセッサコア、及び／又は一つ又は複数のデジタルシグナルプロセッサコア、及び／又は一つ又は複数のハードウェアビデオアクセラレータコア、及び一つ又は複数の視覚エンジンコアを含み得る。また、ビデオプロセッサ１０４の実装は、処理のためのビデオデータとビデオプロセッサ１０４に含まれる種々プロセッサコアによって実行される命令とのストレージのためのメモリと、メモリにアクセスし、ビデオプロセッサ１０４の外部の他のデバイスと通信するためのインタフェースとを含み得る。

【0019】

ビデオプロセッサ１０４は、オブジェクト検出回路１０６及びオブジェクト伝搬回路１０８を含む。オブジェクト検出回路１０６及びオブジェクト伝搬回路１０８は、ビデオプロセッサ１０４のメモリにストアされた命令を実行するビデオプロセッサ１０４の一つ又は複数のプロセッサコアによって実装され得る。オブジェクト検出回路１０６は、カメラ１０２から受け取ったビデオのフレームを解析し、各フレームにおけるオブジェクトを検出する。それぞれのオブジェクト検出には、検出されたオブジェクトがビデオフレーム内に存在する尤度を表す信頼値（すなわち、検出信頼スコア）が割り当てられる。例えば、０．４～０．６の範囲の検出信頼スコアが、検出されたオブジェクトがビデオフレーム内に存在するという良好な信頼度を示し得る。オブジェクト検出回路１０６の例は、ＳＳＤ、高速Ｒ−ＣＮＮ（領域提案＋畳み込みニューラルネットワーク）、又は他のオブジェクト検出アーキテクチャを実装し得る。

【0020】

オブジェクト伝搬回路１０８は、前のビデオフレームで検出されたオブジェクトの、現ビデオフレームにおける位置を推定する。オブジェクト伝搬回路１０８は、前のビデオフレームにおけるオブジェクトの注目点のオプティカルフローを分析し、判定されたオプティカルフローをオブジェクトに適用することによって、前のビデオフレームから現在のビデオフレームにオブジェクトを伝播する。オブジェクト伝搬回路１０８の実装は、オブジェクトの伝播位置を、低い検出信頼度（例えば、０．３～０．５の範囲の検出信頼スコア）のため認識されないままとなるオブジェクト検出と相関させることによって、改善されたオブジェクト検出を提供する。したがって、オブジェクト伝搬回路１０８は、さもなければ検出されないままであり得るビデオフレームにおけるオブジェクトの存在を検出し、オブジェクト伝搬回路１０８は、同様の検出性能をもたらす他のアルゴリズムよりも低い計算複雑度を有する改善された検出を提供する。

【0021】

図２は、本記載に従ったオブジェクト検出のための例示の方法２００のフローチャートを示す。便宜上順次示されているが、示されている行為の少なくとも幾つかが、異なる順で実施され得、及び/又は並列に実施され得る。また、実装によっては、示されている行為の一部のみを行う場合がある。方法２００のオペレーションは、ビデオプロセッサ１０４及び／又はビデオ処理システム１００の実装によって成されてもよい。

【0022】

ブロック２０２において、カメラ１０２は、ビデオフレームにおけるビデオ処理システム１００の動作環境の画像を捕捉する。オブジェクト検出回路１０６は、オブジェクトの検出のためのビデオフレームを処理する。

【0023】

ブロック２０４において、ビデオフレームにおけるオブジェクト検出回路１０６によって検出された各オブジェクトについて、オブジェクト伝搬回路１０８はオブジェクトの２つの注目領域における注目点を識別する。図３は、オブジェクト検出回路１０６によって検出されたオブジェクト３０２を示す。オブジェクト３０２は、矩形３００によって囲まれている。オブジェクト伝搬回路１０８は、矩形３００の第１のコーナー３１２におけるエリアを第１の注目領域３０４として識別し、矩形３００の第２のコーナー３１４におけるエリアを第２の注目領域３０８として識別する。第１のコーナー３１２は、第２のコーナー３１４と対角線状に対向している。注目領域３０４及び注目領域３０８内で、オブジェクト伝搬回路１０８は、幾つかの注目点を識別する。注目点は、注目領域３０４において識別された端部又はコーナーに位置する点（例えば、画素）によって識別され得る。例えば、オブジェクト伝搬回路１０８は、閾値を超える端部又はコーナースコアを有する点を注目点として識別し得る。注目領域３０４において、オブジェクト伝搬回路１０８は、注目点３０６Ａ、注目点３０６Ｂ、注目点３０６Ｃ、注目点３０６Ｄ、及び注目点３０６Ｅを識別する。注目領域３０８において、オブジェクト伝搬回路１０８は、注目点３１０Ａ、注目点３１０Ｂ、注目点３１０Ｃ、注目点３１０Ｄ、及び注目点３１０Ｅを識別する。

【0024】

注目領域における複数の注目点を識別すると、オブジェクト伝搬回路１０８は、複数の注目点から、注目領域の各々における注目点のうちの１つを選択する。注目領域の各々において単一の注目点を選択するために、オブジェクト伝搬回路１０８は、識別された注目点の各々についてオプティカルフローを判定する。不良オプティカルフローを示す注目点は、考慮から除去される。例えば、オブジェクトをフレームから取り出し、オブジェクトを見えなくするオプティカルフローを有する注目点等は、不良オプティカルフローと考えることができる。注目領域３０４において、注目点３０６Ａは不良オプティカルフローを有するものとして識別され、注目領域３０８において、注目点３１０Ａは不良オプティカルフローを有するものとして識別される。したがって、注目点３０６Ａは注目領域３０４における１つの注目点として選択されず、注目点３１０Ａは注目領域３０８における１つの注目点として選択されない。

【0025】

ブロック２０６において、矩形３００は、オブジェクト３０２に加えて背景の部分を含むので、オブジェクト伝搬回路１０８は、注目点の各々がオブジェクト３０２の一部であるか、背景の一部であるかを判定する。オブジェクト３０２の一部ではない注目点は、注目領域において選択される１つの注目点としての考慮から除去される。図４Ａ及び図４Ｂは、矩形４００に配置される検出オブジェクト４０２を示す。図４Ａは、背景の様々な構成要素が矩形４００内に含まれており、これらの構成要素の幾つかが、注目領域４０４又は注目領域４０８における端部又はコーナーを示し得ることを示す。注目領域４０４及び注目領域４０８における注目点の各々について、オブジェクト伝搬回路１０８は、カメラ１０２によって異なる時間に捕捉された２つの画像を用いてエピポーラチェックを行う。オブジェクト伝搬回路１０８は、オブジェクト４０２について基本行列を演算する。基本行列を用いて、オブジェクト伝搬回路１０８はエピポーラ線を演算する。エピポーラ線から遠く（例えば、閾値より大きい）端部で終端するオプティカルフローを有する如何なる注目点も、背景又は異なるオブジェクトの一部とみなされ、注目領域における１つの注目点として選択するための考慮から除外される。

【0026】

ブロック２０８において、良好なオプティカルフローを有し、検出されたオブジェクトの点とみなされる注目点から、オブジェクト伝搬回路１０８は、注目領域における１つの注目点となるように、アンカーポイントに最も近い（最小距離を有する）（すなわち、注目領域のコーナーに最も近い）注目点を選択する。例えば、図３において、注目点３０６Ｂ、注目点３０６Ｃ、注目点３０６Ｄ、及び注目点３０６Ｅが良好なオプティカルフローを有し、エピポーラチェックに合格した場合、注目点３０６Ｂはコーナー３１２に最も近いので、オブジェクト伝搬回路１０８は、注目領域３０４について注目点３０６Ｂを１つの注目点として選択する。同様に、注目点３１０Ｂ、注目点３１０Ｃ、注目点３１０Ｄ、及び注目点３１０Ｅが良好なオプティカルフローを有し、エピポーラ検査に合格した場合、注目点３１０Ｂはコーナー３１４に最も近いので、オブジェクト伝搬回路１０８は、注目領域３０８について注目点３１０Ｂを１つの注目点として選択する。図４Ｂにおいて、オブジェクト伝搬回路１０８は、注目領域４０４における１つの注目点として注目点４１０を選択し、注目領域４０８における１つの注目点として注目点４１２を選択する。

【0027】

オブジェクト伝搬回路１０８は、オプティカルフローに基づいて伝搬するオブジェクトのプールを維持する。ブロック２１０において、ブロック２０２で識別されたオブジェクトがプールに追加される。オブジェクト検出回路１０６によってオブジェクトに割り当てられた検出信頼スコアが、検出されたオブジェクトがビデオフレーム内に存在するという良好な信頼度を示す場合、識別されたオブジェクトがプールに追加され得る。例えば、オブジェクト検出回路１０６によってオブジェクトに割り当てられた検出信頼スコアが信頼スコア閾値（例えば、０．４～０．６の範囲の閾値）を超える場合、そのオブジェクトは５００に追加され得る。図５Ａ及び図５Ｂは、本記載に従ってオプティカルフローによって伝播されるオブジェクトのプール５００を示す。図５Ａはプール５００を示し、プール５００は、オブジェクト５０２、オブジェクト５０４、及びオブジェクト５０６を含む。プール５００は、ビデオプロセッサ１０４のメモリにストアされ得る。プール５００は、任意の数のオブジェクトを含み得る。新しいオブジェクトが検出されると、検出されたオブジェクトがプール５００に追加される。オブジェクトがプール５００に追加されると、ライフタイム値がオブジェクトに割り当てられる。オブジェクトがプールに追加されるときに、例えば、０．５秒、１秒などのライフタイムが、各オブジェクトに割り当てられ得る。ライフタイムの満了時に、オブジェクトはプール５００から削除され得る。プール５００におけるオブジェクトのライフタイムの持続時間の間、そのオブジェクトは各新たなビデオフレームにおいて伝播され得る（すなわち、オブジェクトの位置が推定される）。

【0028】

ブロック２１２において、プール５００にストアされたオブジェクトは伝搬される。図５Ｂは、後続のビデオフレームにおける、プール５００内のオブジェクトの伝搬を示す。オブジェクトの各々において識別された２つの注目点のオプティカルフローは、オブジェクトを囲むボックスのアンカーポイント（すなわち、注目領域の頂点）にオプティカルフローを適用することによって、オブジェクトの位置を推定するために適用される。図５Ｂにおいて、オブジェクト５０２がオプティカルフロー５０３Ａ及びオプティカルフロー５０３Ｂに基づいて、位置５１２に伝播される。オブジェクト５０４は、オプティカルフロー５０５Ａ及びオプティカルフロー５０５Ｂに基づいて、位置５１４に伝搬される。オブジェクト５０６は、オプティカルフロー５０７Ａ及びオプティカルフロー５０７Ｂに基づいて、位置５１６に伝播される。

【0029】

オブジェクト検出回路１０６の実装において、ビデオプロセッサ１０４が、中程度の検出信頼スコアを有するビデオフレームにおけるオブジェクトを検出し、検出されたオブジェクトが、伝播されたオブジェクトと重なる場合、プール５００におけるオブジェクトが伝播され得る。中程度の検出信頼スコアは、オブジェクトをプール５００に追加するために適用される良好な検出信頼スコアより低い信頼スコアを示す。例えば、良好な検出信頼スコアは０．４又はそれ以上であり得、一方、中程度の検出信頼スコアは少なくとも０．２であり０．４未満であり得る。

【0030】

図６Ａ、図６Ｂ、及び図６Ｃは、本記載に従って少なくとも中程度の検出信頼スコアを有する新たに検出されたオブジェクトとの重なりに基づくオブジェクト伝搬の例を示す。少なくとも中程度の検出信頼スコアを有する新たに検出されたオブジェクトが、重なり閾値を超えるIntersection over Union（ＩｏＵ）を有するプール５００におけるオブジェクトの推定位置と重なる場合、プール５００におけるオブジェクトは、推定位置に伝播される。図６Ａにおいて、オブジェクト６０２の位置は、オブジェクト６０２の注目点のオプティカルフローに基づいて推定されている。オブジェクト６０４は、検出信頼スコア０．３（中程度の検出信頼スコア）で現在のフレームにおいて検出されており、オブジェクト６０６は検出信頼スコア０．４（中程度又は良好な検出信頼スコア）で現在のフレームにおいて検出されている。しかしながら、オブジェクト６０２と、オブジェクト６０４又はオブジェクト６０６のいずれかとの間に重なりがないので、オブジェクト伝搬回路１０８はオブジェクト６０２を現在のビデオフレームに伝播せず、オブジェクト６０２はプール５００から削除され得る。

【0031】

図６Ｂにおいて、オブジェクト６０２の位置が、オブジェクト６０２の注目点のオプティカルフローに基づいて推定されている。オブジェクト６０８は、検出信頼スコア０．３（中程度の検出信頼スコア）で現在のフレームにおいて検出されており、オブジェクト６１０は、検出信頼スコア０．４（中程度又は良好な検出信頼スコア）で現在のフレームにおいて検出されている。オブジェクト６０２とオブジェクト６１０との間には重なりはなく、オブジェクト６０２とオブジェクト６０８とのＩｏＵは重なり閾値未満である。したがって、オブジェクト伝搬回路１０８は、現在のビデオフレームにおいてオブジェクト６０２を伝播せず、オブジェクト６０２をプール５００から削除し得る。

【0032】

図６Ｃにおいて、オブジェクト６０２の位置が、オブジェクト６０２の注目点のオプティカルフローに基づいて推定されている。オブジェクト６１２は、検出信頼スコア０．３（中程度の検出信頼スコア）で現在のフレームにおいて検出され、オブジェクト６１４は、検出信頼スコア０．４（中程度又は良好な検出信頼スコア）で現在のフレームにおいて検出されている。オブジェクト６０２は、オブジェクト６１２とオブジェクト６１４の両方に重なる。オブジェクト６０２及びオブジェクト６１４のＩｏＵは、重なり閾値よりも小さく、したがって、オブジェクト６０２の伝搬をトリガしない。オブジェクト６０２とオブジェクト６１２のＩｏＵは重なり閾値を超えている。オブジェクト６０２と６１２の重なりに基づいて、オブジェクト伝搬回路１０８はオブジェクト６０２を現在のビデオフレームに伝搬させ、オブジェクト６０２はプール５００に残る。

【0033】

オブジェクト伝搬回路１０８の実装において、オプティカルフローに基づくオブジェクト伝搬は、プール５００におけるオブジェクトが現在のビデオフレームにおけるオブジェクト検出回路１０６によって伝播され検出される場合、同じオブジェクトの複数の検出をもたらし得る。オブジェクト伝搬回路１０８は、条件付きnon-maximum suppression（ＮＭＳ）オペレーションを適用して、このような複数検出を回避する。オブジェクトの２つのインスタンスの重なりが所定の閾値（例えば、０．５）より高い場合、条件付きＮＭＳは、２つの検出されたオブジェクトの検出信頼スコアに関係なく、オブジェクトの２つのインスタンスのうち古い方を抑制する。オブジェクト伝搬回路１０８において、オプティカルフローに基づいて伝播されるオブジェクトは常に、新たに検出されたオブジェクトよりも古く、常に、新たに検出されたオブジェクトに有利に抑制される。

【0034】

図７Ａ及び図７Ｂは、本記載に従った条件付きＮＭＳに基づくオプティカルフローによって伝播されるオブジェクトの抑制を示す。図７Ａにおいて、伝播されたオブジェクト７０２は０．６の検出信頼スコアを有し、オブジェクト７０４の新たに検出されたインスタンスは、０．８の検出信頼スコアを有する。オブジェクト７０２はオブジェクト７０４よりも古いので、オブジェクト伝搬回路１０８は条件付きＮＭＳを適用してオブジェクト７０２を抑制し、オブジェクト７０２はプール５００から削除され得る。これらの条件のもとで、条件付きＮＭＳは、どのオブジェクトインスタンスが抑制されるべきかを選択するために検出信頼スコアに依拠するＮＭＳと同じ結果を提供する。

【0035】

図７Ｂにおいて、伝播されたオブジェクト７１０は０．８の検出信頼スコアを有し、オブジェクト７０８の新たに検出されたインスタンスは、０．６の検出信頼スコアを有する。オブジェクト伝搬回路１０８は、条件付きＮＭＳを適用してオブジェクト７１０を抑制する。オブジェクト７０８の検出信頼スコアがオブジェクト７１０の検出信頼スコアより低い一方、オブジェクト７１０はオブジェクト７０８よりも古く、これにより、オブジェクト伝搬回路１０８にオブジェクト７１０をオブジェクト７０８に有利に抑制させ、オブジェクト７１０はプール５００から削除され得る。これらの条件のもとで、条件付きＮＭＳは、どのオブジェクトインスタンスが抑制されるべきかを選択するために検出信頼スコアに依拠するＮＭＳとは異なる結果を提供する。

【0036】

図２に戻ると、ブロック２１４において、オブジェクト伝搬回路１０８は、ライフタイム時間が満了したオブジェクト、又は、新たに検出されたオブジェクトと少なくとも所定のＩｏＵの閾値量だけ重ならないオブジェクトを、プール５００から除去する。

【0037】

図８は、プロセッサビデオプロセッサ１０４の一実装であるＳｏＣ８００の例を示す。ＳｏＣ８００は、高速度相互接続８２０を介して結合される、一つ又は複数の汎用プロセッサ（ＧＰＰ）コア８０２、一つ又は複数のデジタルシグナルプロセッサ（ＤＳＰ）コア８０６、一つ又は複数の視覚プロセッサコア８１２、及び一つ又は複数の処理アクセラレータコア８０４を含む。処理アクセラレータコア８０４は、カメラ１０２から受け取った入力画像に対して様々な処理オペレーションを行うように構成される幾つかのハードウェアアクセラレータを含む。視覚プロセッサコア８１２は、勾配演算、方位ビニング、ヒストグラム正規化などのコンピュータ視覚処理に対して調整されたベクトルプロセッサである。このようなコンピュータ視覚処理は、処理アクセラレータ８０４の前処理された出力を用い得る。ＧＰＰコア８０２は、オペレーティングシステムをホストし、８０４によって成された前処理タスクのスケジューリングを含む、ＳｏＣ８００のオペレーションの全体的な制御を提供する。ＤＳＰコア８０６は、オブジェクト検出及び分類、オブジェクト伝搬などのコンピュータ視覚処理のためのサポートを提供する。

【0038】

ＳｏＣ８００はさらに、ＤＭＡコントローラ８１６、カメラインタフェース８１８、ディスプレイ管理構成要素８１０、例えばコンピュータ読み取り可能媒体などのオンチップランダムアクセスメモリ（ＲＡＭ）８１４、及び、さまざまな入力／出力（Ｉ／Ｏ）周辺機器８２２を含み、これらはすべて、高速相互接続８２０を介してプロセッサコア８０２、８０４、８０６、及び８１２に結合される。さらに、オートモーティブ用途を対象とするＳｏＣ８００の幾つかの実装が、オートモーティブ安全要件の遵守を可能にする安全関連機能性を含む安全構成要素８２４を含む。そのような機能性には、データのＣＲＣ（巡回冗長検査）、ドリフト検出のためのクロックコンパレータ、エラーシグナリング、ウィンドウウォッチドッグタイマー、並びに、損害及び欠陥に対するＳｏＣ８００の自己テストのためのサポートが含まれ得る。

【0039】

本発明の特許請求の範囲内で、説明した例示の実施例に改変が成され得、他の実施例が可能である。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図8】