特許 7434394 フォールスネガティブ物体検出を有する可能性があるイメージを決定するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-09

(45)【発行日】2024-02-20

(54)【発明の名称】フォールスネガティブ物体検出を有する可能性があるイメージを決定するための方法

(51)【国際特許分類】

   G06V 40/20 20220101AFI20240213BHJP

   G06T 7/20 20170101ALI20240213BHJP

【ＦＩ】

G06V40/20

G06T7/20

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2022042128

(22)【出願日】2022-03-17

(65)【公開番号】P2022151740

(43)【公開日】2022-10-07

【審査請求日】2023-09-08

(31)【優先権主張番号】21164888

(32)【優先日】2021-03-25

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】グランドストレム， ヤコブ

(72)【発明者】

【氏名】ユングクヴィスト， マルティン

(72)【発明者】

【氏名】モリン， サイモン

(72)【発明者】

【氏名】コリアンダー， クリスティアン

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２００７－３１０４８０（ＪＰ，Ａ）

【文献】特開２０２０－１８７３８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ４０／２０

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

イメージセンサによって取得されたイメージシーケンス内のフォールスネガティブ物体検出を有する可能性があるイメージを決定するための方法であって、
履歴軌跡のグループを提供することであって、各履歴軌跡が複数の履歴トラックを表す基準トラックを含み、前記複数の履歴トラックに属する履歴物体検出の物体クラスを含む、履歴軌跡のグループを提供することと、
トラッカによって、前記イメージシーケンス内のトラックを決定するための追跡を実施することと、
物体検出器によって、前記イメージシーケンス内の物体検出を決定するための物体検出を実施することと、
どんな決定された物体検出にも合致しない決定されたトラックについて、合致する基準トラックを特定するために、前記決定されたトラックを履歴軌跡の前記グループ内の履歴軌跡の基準トラックと比較することと、
合致する基準トラックを特定したとき、前記決定されたトラックのイメージを、前記合致する基準トラックを含む前記履歴軌跡の前記物体クラスについてフォールスネガティブ物体検出を有する可能性があると規定することと、
合致する基準トラックを特定しなかったとき、前記決定されたトラックをフォールスポジティブトラックと規定することと
を含む方法。

【請求項2】

フォールスネガティブ物体検出を有する可能性がある前記イメージと、前記合致する基準トラックを含む前記履歴軌跡の前記物体クラスとを含むトレーニングデータで前記物体検出器のトレーニングを実施すること
をさらに含む、請求項１に記載の方法。

【請求項3】

フォールスネガティブ物体検出を有する可能性がある前記イメージを、メモリ上に記憶されたイメージのグループに追加すること
をさらに含む、請求項１または２に記載の方法。

【請求項4】

前記合致する基準トラックが、前記決定されたトラックのそれぞれ開始点または終点の所定の距離以内のそれぞれ開始点または終点を有する、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記合致する基準トラックが、所定のしきい値未満である、前記決定されたトラックからの全偏差距離を有する、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記基準トラックが前記複数の履歴トラックの平均である、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記複数の履歴トラックが、前記イメージシーケンスと同一のシーンを示すイメージ内で決定されたものである、請求項１から６のいずれか一項に記載の方法。

【請求項8】

決定された物体検出に合致する決定されたトラックについて、
前記決定された物体検出に合致する前記決定されたトラックをも表すように、前記決定された物体検出の前記物体クラスを含む前記履歴軌跡の前記基準トラックを更新すること
をさらに含む、請求項１から７のいずれか一項に記載の方法。

【請求項9】

処理能力を有するデバイス上で実行されるとき、請求項１から８のいずれか一項に記載の方法を実装するための命令を記憶した非一時的コンピュータ可読記憶媒体。

【請求項10】

イメージセンサによって取得されたイメージシーケンス内のフォールスネガティブ物体検出を有する可能性があるイメージを決定するように適合されたイメージ処理デバイスであって、
記憶した履歴軌跡のグループへのアクセスを提供するように適合されたメモリであって、各履歴軌跡が複数の履歴トラックを表す基準トラックを含み、前記複数の履歴トラックに属する履歴物体検出の物体クラスを含む、メモリと、
前記イメージシーケンス内のトラックを決定するための追跡を実施するように適合されたトラッカと、
前記イメージシーケンス内の物体検出を決定するための物体検出を実施するように適合された物体検出器と、
プロセッサであって、
どんな決定された物体検出にも合致しない決定されたトラックについて、合致する基準トラックを特定するために、前記決定されたトラックを履歴軌跡の前記グループ内の履歴軌跡の基準トラックと比較し、
合致する基準トラックを特定したとき、前記決定されたトラックのイメージを、前記合致する基準トラックを含む前記履歴軌跡の前記物体クラスについてフォールスネガティブ物体検出を有する可能性があると規定し、
合致する基準トラックを特定しなかったとき、前記決定されたトラックをフォールスポジティブトラックと規定する
ように適合されたプロセッサと
を備えるイメージ処理デバイス。

【請求項11】

前記プロセッサが、フォールスネガティブ物体検出を有する可能性がある前記イメージを、前記メモリ内に記憶されたイメージのグループに追加するようにさらに適合される、請求項１０に記載のイメージ処理デバイス。

【請求項12】

前記プロセッサが、
決定された物体検出に合致する決定されたトラックについて、前記決定された物体検出に合致する前記決定されたトラックをも表すように、前記決定された物体検出を含む前記履歴軌跡の前記基準トラックを更新する
ようにさらに適合される、請求項１０または１１に記載のイメージ処理デバイス。

【請求項13】

前記プロセッサが、フォールスネガティブ物体検出を有する可能性がある前記イメージと、前記合致する基準トラックを含む前記履歴軌跡の前記物体クラスとを含むトレーニングデータで前記物体検出器のトレーニングを実施するようにさらに適合される、請求項１０から１２のいずれか一項に記載のイメージ処理デバイス。

【請求項14】

請求項１０から１３のいずれか一項に記載のイメージ処理デバイスを備えるカメラ。

【請求項15】

同一のシーンを監視するように構成される、複数の、請求項１４に記載のカメラを備えるシステムであって、履歴軌跡の前記グループが前記複数のカメラによって共有される、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体検出器によって検出されなかった物体を示すイメージを見つけるための方法に関する。この方法は、カメラデバイス上に配置されたイメージデータ処理デバイスによって実施され得る。

【背景技術】

【0002】

ビデオ監視システムなどのカメラシステムでは、発生する特徴は、取得されたイメージシーケンス中の物体の検出および追跡である。決定されたトラックおよび決定された物体検出は通常、同一の物体によって引き起こされることを示すために、互いに関連付けられる。追跡および物体検出は、カメラデバイス内に共に配置され得るトラッカおよび物体検出器によって別々に実施され得る。しかしながら、時には物体検出器は物体を検出することに失敗する。物体検出の見逃しの理由は、物体の外観が、そのタイプの物体についての典型的な外観と比べて大きく異なること、または物体検出器がそのような外観の物体を検出するようにトレーニングされていないことであり得る。たとえば、人々が通常は上着なしで出かける、暖かい気候の季節中に撮られたイメージでトレーニングされる物体検出器は、人々がたとえば大きい冬用コートおよび帽子を着る、寒い気候の季節中の人々を検出する準備が不十分であり得る。したがって、物体の検出が見逃され得る。物体検出器によって見逃された物体を示すイメージは、「フォールスネガティブ」または「ハード例」と呼ばれる。見逃された物体検出は「フォールスネガティブ物体検出」と呼ばれる。

【0003】

フォールスネガティブ物体検出を有するイメージを見つけることが望ましい。イメージは、物体検出器の性能を改善する目的で物体検出器の追加のトレーニングのために使用され得る。イメージは、物体検出器についての統計を蓄積するために、または見逃された物体検出のデータをカメラシステムのオペレータまたは管理者に提供するためにさらに使用され得る。

【0004】

しかしながら、そうしたイメージはどんな物体検出にも関連付けられないので、そうしたイメージを見つけるのは厄介な作業である。この作業は通常、フォールスネガティブ物体検出を有する可能性があるイメージを見つけるために大量の手作業の処理および検討を必要とする。この作業は退屈であり、ヒューマンエラーの危険もあり、誤った結果または誤解を招くような結果となる。

【0005】

したがって、その中に見逃された物体検出を有する可能性がある、イメージシーケンスからのイメージをどのように取り除くかを改善することが求められている。

【発明の概要】

【0006】

本発明の目的は、フォールスネガティブ物体検出を有する可能性があるイメージを見つける、リソース効率の良い方法を提供することである。本発明の別の目的は、イメージの手作業フィルタリングによる、誤解を招くような結果、誤った結果、または発散する結果のリスクを低減することである。

【0007】

本発明の第１の態様によれば、これらおよび他の目的が、請求項１に記載の方法によって完全に、または少なくとも部分的に達成される。

【0008】

この方法は、前のトラックおよび物体検出の突合せの成功が、物体に関係付けられる可能性があるトラックを見つけるためのガイドとして使用されるが、合致する物体検出が何らかの理由で欠けている手法に依拠する。さらに、合致しないトラックについての物体クラス候補も見つけられる。この方法によれば、合致しないトラックが、物体クラスによってグループ化される１つまたは複数の履歴トラックをそれぞれ表す基準トラックと比較される。言い換えれば、基準トラックは、同一の物体クラスの１つまたは複数の履歴トラックを表す。基準トラックとペアリングされ得る、すなわち基準トラックと十分に類似している、合致しないトラックが、良好な環境では物体検出が存在するはずである可能性が高いトラックとして特定される。トラックが検出されたイメージが、フォールスネガティブ物体検出を有する可能性があると規定される。さらに、十分に類似している基準トラックが表す履歴トラックと合致する物体クラスが、フォールスネガティブ物体検出の物体クラスとして提供される。言い換えれば、合致しないトラックに十分に類似している基準トラックを見つけることにより、合致しないトラックが導出されるイメージには一定の物体クラスの物体検出が欠けている可能性が高いと判定され得る。

【0009】

したがって、提案される方法により、フォールスネガティブ物体検出を有する可能性があるイメージが、リソース効率の良い方式でイメージシーケンスからフィルタリングされ得る。さらに、少ない手作業で、または手作業なしでフィルタリングが実施され得、したがって手作業で引き起こされる誤りのリスクが低減される。

【0010】

フォールスネガティブ物体検出を有する可能性があるイメージが、たとえば監視カメラの部分である、イメージ処理デバイスで決定され、検証およびさらなる処理のためにサーバまたは他のリモートデバイスに送信され得る。イメージは、イメージ処理デバイスのメモリ上にローカルに記憶され得る。イメージは、監視カメラの物体検出器などの物体検出器の追加のトレーニングのために使用され得る。

【0011】

本明細書では、「軌跡」は、ペアリングされたトラックおよび物体クラスを意味する。軌跡は、トラックに属する検出された物体を有するトラックと理解され得る。言い換えれば、軌跡は、互いに属することが検証されたトラックおよび物体の結果である。検証およびペアリングは、物体検出および追跡の技術分野内の周知の方法を使用することによって実施され得る。

【0012】

一実施形態では、この方法は、フォールスネガティブ物体検出を有する可能性があるイメージを含み、合致する基準トラックを含む履歴軌跡の物体クラスを含むトレーニングデータで物体検出器のトレーニングを実施することをさらに含む。言い換えれば、この方法によって取り除かれるイメージが、物体検出器のトレーニングを改善するために使用され得る。たとえば、物体検出器は、物体検出ニューラルネットワークによって実施される物体検出アルゴリズムとして実装され得る。決定されたトレーニングデータに基づく追加のトレーニングによってニューラルネットワークのトレーニングが改善され得る。追加のトレーニングは周知の方法にしたがって実施され得る。たとえば、ニューラルネットワークのコピーが、この方法を実施するカメラからリモートにさらにトレーニングされ、その後でカメラにアップロードされ、元のニューラルネットワークが置換され得る。

【0013】

一実施形態では、フォールスネガティブ物体検出を有する可能性があると判定されるイメージが、この方法を実施するイメージ監視デバイスのローカルメモリ上に記憶される。イメージの量が所定のしきい値を超えるとき、さらなる処理のためにイメージがリモートデバイスまたはサーバに送信される。そのような実施形態により、受信側で処理および操作するのがより容易であり得るバッチでイメージが送信され得る。さらに、バッチが物体検出器の追加のトレーニングのための基礎として必要とされるイメージの量に対応し得る最低限の量のイメージを含むことだけを条件として、イメージのバッチが送られ得る。したがって、量が不十分であるためにトレーニングには役立たないイメージを送ることが回避され得る。

【0014】

合致しないトラックと基準トラックとの間の比較は、十分に類似している基準トラックを見つけることを目的とする。いくつかの十分に類似している基準トラックがある場合、好ましくは、最も類似しているものが選択される。十分に類似していることについての条件は、各実施形態の間で様々であり得る。たとえば、条件は、基準トラックおよび合致しないトラックの開始点または終点の間の距離に基づき得る。したがって、基準トラックが、決定された合致しないトラックの開始点または終点の所定の距離以内のそれぞれ開始点または終点を有する場合、基準トラックは合致すると見なされ得る。別の例として、十分に類似していることの条件は、基準トラックと合致しないトラックとの間で計算された全偏差に基づき得る。計算は、トラックの全体または部分に沿って行われ得る。したがって、基準トラックが、所定のしきい値未満である、決定されたトラックからの全偏差距離を有する場合、基準トラックは合致していると見なされ得る。全偏差距離は、基準トラックおよび決定されたトラックの、その長さに沿った複数の対応する位置での累積距離を意味する。

【0015】

基準トラックは、様々な方式で１つまたは複数の履歴トラックを表し得る。ただ１つの履歴トラックを表すとき、基準トラックは、１つの履歴トラックの直接的コピーであり得る。複数の履歴トラックを表すとき、基準トラックは複数の履歴トラックの平均であり得、または基準トラックを複数の履歴トラックについての回帰直線として決定するために回帰モデルが適用され得る。さらに、基準トラックは、トラックに沿った変動する幅として見ることができる、トラックに沿った信頼区間を含み得る。基準トラックと比較するとき、比較中のトラックが信頼区間以内に含まれる場合、基準トラックまでの距離が十分に小さいと規定され得る。別の実施形態では、複数の履歴トラックが蓄積され、基準トラックがエリアとして形成される。そのケースでは、比較は、どの範囲でトラックがエリア内にあるかを評価することによって実施され得る。肯定的評価結果のための条件は、トラックが一定のしきい値を超える範囲でエリア内にあること、またはトラックの十分に大きい相対的部分、たとえばトラック長さの少なくとも２／３がエリア内にあることであり得る。

【0016】

基準トラックに対する各履歴トラックの影響を低減するために、各基準トラックが、１つではなく、少なくとも最低限の数のトラックである必要があり得る複数の履歴トラックを表すことが好ましいことがある。基準トラックがただ１つのトラックまたは少数のトラックによって決定される場合、履歴トラックの誤差または偏差がより大きい影響を及ぼす。履歴トラックを表す基準トラックとトラックの比較を可能にするのに必要な最低限の量の履歴トラックを設定することにより、基準トラックについての複数の履歴トラックが、誤った物体クラスが与えられており、したがってその複数の履歴トラックの部分であるとは想定されない単一のトラックを含む場合であっても、この方法は良好に動作し得る。

【0017】

履歴軌跡のグループが、この方法に対する入力として提供される。この方法がイメージ処理デバイスで実行されるケースでは、履歴軌跡のグループが形成され、同一のデバイス内にローカルに記憶され得る。たとえば、物体検出およびトラックの合致する対が、そのような対を決定するときにデバイスのメモリ内に記憶され得る。すべての、または選択された合致する対が記憶され得る。履歴軌跡のグループのローカル形成は、その１つまたは複数の履歴トラックが、同一のシーンを示すイメージ内で、合致しないトラックを有するイメージシーケンスと同一の視野角から決定されているという利点をもたらす。

【0018】

一実施形態では、所定の時刻よりも古くない履歴トラックのみが保存され、基準トラックのための基礎として使用されるように、一定の経過時間の後に履歴トラックが履歴軌跡のグループから除去される。そのようにして、履歴軌跡のグループは、基準トラックが古い履歴トラックに基づかないことにより、経時的に物体がどのようにシーン内で移動しているかの変化により高速に適応し得る。たとえば、交通環境のシーンでは、道路または歩道が経時的に再配置または調節され得、そのことは、車両および歩行者によって引き起こされるトラックに影響を及ぼす。

【0019】

トラックおよび物体検出の新しい合致が追加されるときに履歴トラックを正確に表すように、履歴軌跡の基準トラックが定期的に更新され得る。したがって、一実施形態では、この方法は、決定された物体検出に合致する決定されたトラックについて、決定された物体検出に合致する決定されたトラックをも表すように、決定された物体検出を含む履歴軌跡の基準トラックを更新することをさらに含み得る。

【0020】

一実施形態では、履歴軌跡のグループが、この方法を実行するデバイスからリモートに配置されたメモリ、たとえばこの方法を実行するイメージ処理デバイスからリモートサーバ上に配置されたメモリ内に記憶され得る。履歴軌跡のグループは、同一または類似のシーンを監視する、イメージ処理デバイスを含む複数のカメラに共通であり得る。言い換えれば、この方法は、イメージ処理デバイスを有するカメラのシステム上で実行され得、各方法について、履歴軌跡の同一のグループが提供され、フォールスネガティブ物体検出を有する可能性があるイメージを取り除くために使用される。これは、全体のシステム設置内の物体検出器を改善するためのトレーニングデータとして働き得るイメージを収集する効率的な方法であり得る。

【0021】

第２の態様によれば、上記で論じられた目的および他の目的が、請求項９に記載のイメージ処理デバイスによって完全に、または少なくとも部分的に達成される。

【0022】

第１の態様に関連して論じられたのと同一の実施形態および利点が第２の態様についても有効である。

【0023】

一実施形態では、プロセッサが、フォールスネガティブ物体検出を有する可能性があるイメージと、合致する基準トラックを含む履歴軌跡の物体クラスとを含むトレーニングデータで物体検出器のトレーニングを実施するようにさらに適合される。

【0024】

第３の態様によれば、上記で論じられた目的および他の目的が、請求項１４に記載のカメラによって完全に、または少なくとも部分的に達成される。

【0025】

第４の態様によれば、上記で論じられた目的および他の目的が、請求項１５に記載のシステムによって完全に、または少なくとも部分的に達成される。システムは、第１の態様の方法を実行するイメージ処理デバイスを有する複数のカメラを備える。各方法に提供される履歴軌跡のグループが、システム内で、すなわち複数のカメラの間で共有される。言い換えれば、履歴軌跡のグループは、システム内のすべてのカメラについて同一である。システムのカメラで適用されるとき、カメラ特有の変換が履歴軌跡のグループに適用され、カメラがシーンを表示する視野角に適するように履歴軌跡が調節され得る。言い換えれば、履歴軌跡が、そのカメラで撮られたイメージ内で履歴軌跡が決定された場合に有することになる形状に変換され得る。履歴軌跡のグループは、システム内の少なくとも１つのカメラ上にローカルに記憶され、システムの他のカメラと共有され得、またはシステムのカメラにとって少なくとも時々はアクセス可能である追加のデバイス内に記憶され得る。

【0026】

本発明の適用可能性の別の範囲が、以下で与えられる詳細な説明から明らかとなるであろう。しかしながら、詳細な説明および特定の例は、本発明の好ましい実施形態を示すものの、例として与えられているに過ぎないことを理解されたい。この詳細な説明から本発明の範囲内の様々な変更および修正が当業者には明らかとなるからである。

【0027】

したがって、本発明は記載のデバイスの特定の構成部品または記載の方法のステップに限定されないことを理解されたい。そのようなデバイスおよび方法は様々であり得るからである。本明細書で用いられる用語は、特定の実施形態を説明するためのものに過ぎず、限定を意図するものではないことも理解されたい。本明細書および添付の特許請求の範囲では、冠詞「ａ」、「ａｎ」、「ｔｈｅ」、および「ｓａｉｄ」は、文脈が別段に明確に規定しない限り、要素のうちの１つまたは複数が存在し得ることが意図されることに留意されたい。さらに、「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」という語は、他の要素またはステップを除外しない。

【0028】

次に、例として、添付の概略図を参照しながら、本発明がより詳細に説明される。

【図面の簡単な説明】

【0029】

【図1】イメージ処理デバイスを示す図である。

【図2】履歴軌跡、履歴トラック、および物体クラスの間の関係を示す図である。

【図3】一実施形態による方法を示す流れ図である。

【図4a】カメラによって表示される第１のシーンを示す図である。

【図4b】第１のシーンのイメージ内で決定されたトラックを示す図である。

【図4c】図４ｂのトラックを表す基準トラックを示す図である。

【図5a】カメラによって表示される第２のシーンを示す図である。

【図5b】第２のシーンのイメージ内で決定されたトラックを示す図である。

【図5c】図５ｂのトラックを表す基準トラックを示す図である。

【発明を実施するための形態】

【0030】

図１は、フォールスネガティブ物体検出を有する可能性があるイメージを決定する方法を実行するように構成されるイメージ処理デバイス１を示す。イメージ処理デバイス１は、イメージセンサ１０、イメージ処理パイプライン（ＩＰＰ）部１１、トラッカ１２、物体検出器１４、メモリ１５、プロセッサ１６、エンコーダ１７、および送信機１８を備える。これらはすべて、イメージ処理デバイス内に含めるための周知の構成要素である。イメージ処理デバイス１はまた、送信機１８を介してサーバ１９にデータを送信するように構成される。サーバ１９は、後で詳細に説明される物体検出器１４への接続を有し得る。

【0031】

まず、イメージ処理デバイス１の一般的機能が論じられる。イメージ処理デバイス１の主な機能は、イメージ、具体的にはビデオに対応するイメージシーケンスを取得することである。ビデオを取得する目的は監視であり得る。イメージセンサ１０は、ＩＰＰ１１によって処理される原イメージデータを生成することである。ＩＰＰ１１は、たとえばホワイトバランスおよびノイズパラメータを調節することによって原イメージデータを処理し得る。次に、イメージシーケンスに対応する、処理されたイメージデータが、トラッカ１２および物体検出器１４によって解析される。トラッカ１２の目的は、イメージシーケンスのトラックを決定することである。トラックは、イメージシーケンスを通じた一定のピクセルパターンを有するイメージエリアの移動を意味する。物体検出器１４の目的は、イメージシーケンスのイメージ内の物体を見つけることである。

【0032】

物体検出器１４およびトラッカ１２は、追跡および物体検出を実施するためのニューラルネットワークを実行し得る。ニューラルネットワークは、イメージ処理デバイス１内でローカルに実行され、またはリモートに実行され、必要なときにイメージ処理デバイス１によってアクセスされ得る。たとえば、イメージ処理デバイス１内で１つのニューラルネットワークを実行し、１つのニューラルネットワークをリモートに実行することにより、ローカル実行とリモート実行の組合せも可能である。

【0033】

物体検出器１４およびトラッカ１２のそれぞれは、イメージシーケンス内のトラックおよび物体を見つけるための周知の構成要素である。図１に示されるようなイメージ処理デバイス内でこれらの構成要素を実装することも知られている。

【0034】

トラッカ１２によって決定されたトラックと、物体検出器１４によって決定された物体検出とが、プロセッサ１６に転送される。プロセッサ１６は、物体検出とトラックとの間に合致があるかどうかを判定するために物体検出およびトラックを評価するように構成される。言い換えれば、プロセッサ１６は、物体検出とトラックとの間の合致する対を見つけるように試みる。ペアリングの成功のための条件は、物体検出およびトラックが、示されるシーン内の同一の物体によって引き起こされることである。たとえば、シーン内で歩いている人は、良好な環境では、トラッカ１２によって決定されるトラックと、物体検出器１４によって決定される物体検出とを引き起こす。その人のトラックおよび物体検出がプロセッサ１６によって突き合わされる。プロセッサ１６は、合致する対を見つけるためにトラックおよび物体検出を評価するための周知の方法を使用する。評価は、トラックと物体検出との間のＩｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ（ＩｏＵ）値を計算することを含み得る。最小ＩｏＵ値は、合致する対についての条件として設定され得る。決定された合致する対についての情報は、イメージシーケンスと共にメタデータとして送られ、またはイメージにオーバーレイを追加することなどの他の目的で使用され得る。

【0035】

エンコーダ１７は、処理されたイメージデータを従来の方式で符号化する。ＡＶＣおよびＨＥＶＣを含む様々なビデオ圧縮規格が使用され得る。

【0036】

より詳細には、図３をさらに参照しながら、フォールスネガティブ物体検出を有する可能性があるイメージを決定する方法がこれから開示される。この方法は、イメージシーケンスの取得されたイメージに基づく、既に論じた追跡Ｓ０１ａおよび物体検出Ｓ０１ｂのステップから始まる。プロセッサ１６は、決定されたトラックおよび物体検出を評価して、合致する対を見つけ、そのことが図３のステップＳ０２によって表される。フォールスネガティブ物体検出を有する可能性があるイメージを見つける方法は、まず、合致する物体検出を有さないトラックを見つけること、次いで、履歴合致に基づいて、合致する物体検出が何らかの理由で物体検出器１４によって見逃された可能性があるかどうかを評価することに基づく。この目的で、合致しないトラック、すなわちステップＳ０２で物体検出と合致しなかったトラックが、ステップＳ０４で、１つまたは複数の履歴トラックをそれぞれ表す基準トラックと比較される。合致が見つかった場合、合致しないトラックがその基準トラックに関連する物体クラスの物体検出に合致することが想定された可能性がある。

【0037】

したがって、この方法は、履歴トラックを表す基準トラックへのアクセスを必要とする。これから、履歴トラック、物体クラス、および履歴軌跡の間の関係を示す図２をさらに参照しながら、こうしたことがより詳細に説明される。この図では、３つの履歴軌跡Ａ、Ｂ、およびＣが形成され、履歴トラック１～６および関連付けられる物体クラスＯＣ Ａ～Ｃを含む。履歴トラック１、４、および６はすべて物体クラスＯＣ Ａに関連付けられ、履歴軌跡Ａ内に含まれる。履歴トラック３は物体クラスＯＣ Ｂに関連付けられ、履歴軌跡Ｂ内に含まれる。履歴トラック２および５は物体クラスＯＣ Ｃに関連付けられ、履歴軌跡Ｃ内に含まれる。したがって、履歴トラック１～６のそれぞれが物体検出と合致している。合致する物体検出の物体クラスＯＣは、同一の履歴軌跡内のすべての履歴トラックについて同一である。基準トラックは、単一の物体クラスの履歴トラックを表す。異なる基準トラックは通常、異なる物体クラスの履歴トラックを表す。したがって、各基準トラックが物体クラスに関連付けられると言うことができ、基準トラックは、関連付けられる物体クラスと共に履歴軌跡３４を形成する。

【0038】

履歴軌跡は、データベースまたはリストとして、または任意の他の適切なフォーマットで、イメージ処理デバイス１のメモリ１５内に記憶され得る。代替として、履歴軌跡のグループがリモートに配置され、必要なときにプロセッサ１６によってアクセスされ得る。この方法にとって必要な場合、履歴トラックも同様に記憶され得る。たとえば、追加または除去された履歴トラックに基づいて基準トラックが更新される実施形態では、履歴トラックも記憶する必要があり得る。この方法に対する入力として、少なくとも履歴軌跡のグループが、合致しないトラックの評価のために提供される。図示されるように、履歴軌跡のグループが定期的に更新され得る。たとえば、物体検出に合致するトラックが、合致する物体検出の物体クラスを有する履歴軌跡に追加され得る。ステップＳ０３で示されるように、履歴軌跡の基準トラックが、新しく追加された履歴軌跡に基づいて更新され、したがって基準トラックはこの履歴トラックも表す。別の例では、一定の経過時間を超える履歴トラックを廃棄するように、履歴軌跡が定期的に更新される。同時に、更新された履歴軌跡を反映するように、基準トラックが更新または再生成される。したがって、基準トラックは、シーン内の物体移動経路の任意の変化、たとえば歩道が歩道と自転車レーンの組合せに再構築される場合、または道路建設のために道路が一時的に再配置される場合に適応する。

【0039】

したがって、この方法は、フォールスネガティブ物体検出を有する可能性があるイメージが、合致する物体検出を有する履歴トラックと類似する、合致しないトラックを有するイメージを見つけることによって特定され得るという理解に基づく。この手法に基づいて、見逃された物体検出を有する可能性がある合致しないトラックが、合致する基準トラックを見つけることにより、すべての合致しないトラックから取り除かれ得る。さらに、基準トラックが物体クラスに関連付けられるので、見逃された物体検出を捕らえた場合にどの物体クラスを有するはずであるかの定性的推測を得ることも可能である。

【0040】

合致しないトラックと基準トラックとの間のステップＳ０４の比較による結果は、合致が見つかること、または合致が見つからないことのどちらかである。合致が見つかるケースでは、この方法は、合致しないトラックが属するイメージを、合致する基準トラックを含む履歴軌跡の物体クラスについてフォールスネガティブ物体検出を有する可能性があると規定するステップＳ０６に進む。言い換えれば、合致しないトラックが基準トラックに合致する場合、トラッカが合致しないトラックを決定したイメージが、フォールスネガティブ物体検出を有する可能性があると規定される。こうしたイメージがイメージのグループに追加され得、ステップＳ０８で示されるように、イメージのグループはメモリ１５内に記憶される。イメージのグループは、送信機１８によってサーバ１９に送信され得る（Ｓ１０）。所期の適用例にとって有用となるには小さ過ぎるイメージのグループを送ることを避けるために、送信は、イメージのグループが一定の数のイメージに達したことを条件として行われ得る。たとえば、物体検出器のためのトレーニングデータを形成するためにイメージのグループが使用され得る。トレーニングデータが有用となるために、トレーニングデータ内のイメージ数は一定のしきい値を超えるべきである。

【0041】

イメージのグループを送信するステップＳ１０と共に、またはステップＳ１０なしに、方法は、取り除かれたイメージを、フォールスネガティブ物体検出を有する可能性があると検証するステップＳ１２を含み得る。検証は、自動的に、または手作業で実施され得る。たとえば、イメージは、手作業でイメージを調べ、トラックに対応する物体があるかどうかを確認することによって検証され得る。代替として、イメージは、高精度物体検出アルゴリズムによって解析され得る。そのような物体検出アルゴリズムは高い処理能力需要を有する。検証は、高い処理能力を有するリモートサーバ上で実施され得る。一実施形態では、複数の物体検出アルゴリズムが、フィルタリングされたイメージを解析するように設定され得る。そのケースでの検証のための条件は、見逃したと疑われる物体に関する、アルゴリズムからの最低限の数の肯定的結果として設定され得る。

【0042】

前述のように、検証を伴い、または伴わない、イメージのグループが、物体検出器、具体的にはイメージ処理デバイス１の物体検出器１４をトレーニングするために使用され得る。この目的で、推定される物体クラスに関連付けられる、イメージフォールスネガティブ物体検出を有する可能性があるトレーニングデータが形成され得る。物体検出器１４の追加のトレーニングを実施することにより、物体検出器１４の性能が向上し得る。追加のトレーニングは、物体検出器１４にアクセスできるサーバ１９によって実施され得る。しかしながら、実際のトレーニングはサーバ１９内で実施され得る。たとえば、物体検出器がニューラルネットワークの形態である場合、ニューラルネットワークのコピーがサーバ１９にダウンロードされ、物体検出器１４に再びアップロードする前にトレーニングデータでさらにトレーニングされ得る。物体検出器１４の追加のトレーニングおよび更新は定期的に実施され、またはイメージ処理デバイス１からイメージのグループを受信することによってトリガされ得る。トレーニングデータは、他のイメージ処理デバイスの物体検出器をトレーニングするためにも使用され得る。具体的には、類似の視野を有するイメージ処理デバイスがトレーニングから恩恵を受け得る。たとえば、カメラシステム内のいくつかのカメラが同一のシーンを監視し、重複する視野を有する場合、少なくとも大部分の、すべてのこれらのカメラは同一のトレーニングデータを共有し得る。しかしながら、すべてのこれらのカメラは、トレーニングデータを形成する際に必ずしも参加せず、これらのカメラのうちのただ１つまたは対がトレーニングデータにイメージを与える。

【0043】

図３に戻ると、比較するステップＳ０４の他の結果は、合致しないトラックと基準トラックとの間に合致が見つからないことである。そのケースでは、ステップＳ０５で示されるように、合致しないトラックがフォールスポジティブトラックとして、すなわちトラックを引き起こすシーン内の物体が存在することなくトラッカ１２によって決定されたトラックとして規定される。

【0044】

したがって、合致しないトラックを基準トラックと比較するステップＳ０４により、物体検出が欠けているトゥルーポジティブトラックが、フォールスポジティブトラックから分離される。したがって、フォールスポジティブトラックが廃棄され得、フォールスポジティブトラックはどんな不必要な検証も引き起こさない。代替として、たとえばトラッカ１２の性能を改善するために、フォールスポジティブトラックを見つけることに関心があり得る適用例では、そうしたトラックが他のトラックから取り除かれる点で、この方法は有益である。

【0045】

合致しないトラックと基準トラックとの間の比較の詳細にさらに進んで、図４ａ～４ｃおよび図５ａ～５ｃをさらに参照しながら、例示的実施形態がこれから開示される。

【0046】

図４ａは、図１のイメージ処理デバイス１を含むカメラによって閲覧されるシーンを示す。シーンは、建物４１を含む静的物体と、歩行者４２、サイクリスト４３、および車４４を含む移動物体とを含む。カメラは、シーンを示す、取得されたイメージシーケンスに関する追跡および物体検出を継続的に実施している。得られるトラックおよび物体検出が評価され、上記で論じたように合致が見つけられる。図４ｂは、合致する物体検出を有するトラックがどのように見え得るかを示す。異なる破線フォーマットが、異なる複数のトラックを表す。歩道を歩いている物体クラス歩行者の物体検出と合致するトラックが図の上部の実線４５として示されている。シーンを通じて道路上を移動している車が、図の中央のより大きい破線４６で示されるトラックを引き起こした。イメージの右下部分では、自転車レーン上を移動するサイクリストが、より小さい破線４７で示されるトラックを引き起こした。図示されるトラックが、シーンについての履歴トラックを形成する。合致する物体検出の物体クラスと共に、履歴トラックは、その物体クラスに基づく、異なる履歴軌跡の部分である。同一の物体クラスの複数の履歴軌跡が存在し得ることに留意されたい。たとえば、破線４６は、第１の複数のトラックで道路の直線部分をたどった車と、第２の複数のトラックで道路の曲線部分をたどった車とを表す２つの複数のトラックを表し得る。これらの複数のトラックはそれぞれ、物体クラス車を有する履歴軌跡を形成し得る。類似の例では、シーンが２つの別々の歩道を示す場合、物体クラス歩行者についての各歩道エリアについての１つの複数の履歴トラックが存在し得る。

【0047】

合致する物体検出がトラックについて見つからない場合、合致しないトラックがフォールスポジティブトラックであるか、それとも物体検出器によって見逃された物体によって引き起こされるポジティブトラックであるかを判定するために、この合致しないトラックが基準トラックと比較される。前述のように、このことは、合致しないトラックを、図４ｃに示される基準トラック４５０、４６０、および４７０と比較することによって行われる。この例では、破線４６が１つの複数の履歴トラックを形成し、したがってこれらのトラックについて１つの基準トラック４６０が存在する。基準トラック４５０、４６０、４７０は、各履歴軌跡の複数の履歴トラックを平均することによって形成され得る。基準トラック４５０、４６０、４７０は、シーン内のエリアに沿った物体クラスについての複数の履歴トラック内のすべての履歴トラックを表すトラックと見ることができる。基準トラックが、森林エリアに沿って歩く人々によって形成された森林経路と比較され得る。しかしながら、森林経路と同様に、基準トラックは、履歴トラックのうちのいずれか１つに必ずしも厳密に対応しない。

【0048】

図４ｃはまた、各基準トラック４５０、４６０、４７０の地点に沿った許容間隔も示す。これらの許容間隔は、合致しないトラックと基準トラック４５０、４６０、４７０との間の比較の実施形態のために使用される。合致しないトラックが基準トラック４５０、４６０、４７０のいずれかと合致するために、合致しないトラックが、一定の基準トラックについて、あらゆる地点で、または少なくとも最低限の数の地点で許容間隔以内であるべきである。許容間隔は、履歴トラックが異なる地点でどれだけ拡散するかに基づいて決定され得る。拡散が低い場合、拡散が高い場合と比べて、低い許容間隔が設定され得る。

【0049】

別の実施形態によれば、合致しないトラックが基準トラック４５０、４６０、４７０のいずれかと合致するために、合致しないトラックと一定の基準トラックとの間の全偏差距離が所定のしきい値未満であるべきである。偏差距離は、イメージによって決定することができるように、一定の地点でのトラック間の差である。全偏差距離は、一定の基準トラックについてのすべての偏差距離の合計である。比較は、基準トラックに沿ったいくつかの地点での基準トラックと合致しないトラックとの間の可能な最小の差を決定し、しきい値との比較のために、決定した差を合計して全偏差距離にすることとして実装され得る。

【0050】

図５ａは、先に論じたカメラと同一の構成を有するカメラによって監視される別のシーンを示す。シーンは、移動している車両５１を伴う道路と、歩行者５２を伴う歩道とを含む。カメラの追跡および物体検出が、図５ｂに示されるような履歴トラックを提供する。先の実施形態と同様に、これらのトラックが物体検出と合致している。破線５３は、物体クラス車を含む物体検出と合致しているトラックを示し、実線５４は、物体クラス歩行者を含む物体検出と合致しているトラックを示す。

【0051】

トラック５３、５４は、図５ｃに示される基準トラック５３０、５４０によって表される。この実施形態では、基準トラック５３０、５４０に対する、合致しないトラックの比較が、合致しないトラックおよび一定の基準トラックの開始点または終点が互いに所定の距離以内にあるかどうかをチェックすることによって実施される。言い換えれば、各トラックの開始点または終点の間の距離が互いに十分に近い場合、合致しないトラックは基準トラックに合致すると規定される。精度を向上させるために、基準トラックの開始点が、合致しないトラックの開始点または終点から第１のしきい距離以内にあること、さらには基準トラックの終点が、合致しないトラックの他端から第１のしきい距離と同一の、または異なる第２のしきい距離以内にあることを含む条件を構成することが望まれ得る。言い換えれば、合致しないトラックは、一定の基準トラックと合致するために、イメージ内のその基準トラックと類似の位置で始まり、終了しなければならない。類似の実施形態では、合致しないトラックの終点が基準トラックの終点に十分に近いことで十分であり得る。言い換えれば、比較されるトラックの方向は、比較において考慮されない。

【0052】

開始点または終点を比較することに基づく、合致しないトラックの基準トラックとの比較は、処理をほとんど必要としない迅速な評価方法である。したがって、シーンが適切な構造であることを条件として、この評価方法を使用することが有利である。図５ａ～５ｃの例では、シーンは、開始点／終点を比較する手法のための適切な候補となる、物体がシーンに進入または退出する別個のエリアを含む。

【0053】

図示される実施形態は、履歴トラック数が少なく、複数の履歴トラックが互いに分離して位置する点で簡略版のシナリオを与えるものであることに留意されたい。実際の実装では、異なる物体クラスの履歴トラックが、重複するイメージエリア内に位置し得る。したがって、合致しないトラックが、異なる物体クラスの複数の基準トラックと類似していると判定され得る。そのケースでは、十分に類似している基準トラックのすべての物体クラスが、潜在的な見逃された物体検出についての物体クラスとして提供され得る。フォールスネガティブ物体検出を有する可能性があるイメージの検証プロセスでは、見逃された物体検出があったかどうか、および物体クラス候補のどの物体クラスであるかも判定され得る。

【0054】

一実施形態によれば、カメラのシステムが提供され、各カメラは図３による方法を実装する。カメラのシステムは、重複する視野を有する同一のシーンを監視するように構成され、または同一のタイプのシーン、たとえば道路の異なるセグメントを監視するように構成され得る。履歴軌跡が、システムのカメラ間で共有される。カメラが同一のシーンを監視しているケースでは、履歴軌跡がシステム内のカメラのいずれかのイメージに適用される前に、履歴軌跡が変換され得る。変換はカメラ特有のものであり、システムのカメラが有し得るシーンの異なる視野角に鑑みて履歴軌跡を適合させるように設計される。言い換えれば、特定のカメラによって取り込まれたイメージからの、フォールスネガティブ物体検出を有する可能性があるイメージのフィルタリングで適用される前に、履歴軌跡が、そのカメラのイメージ内で見つけられたはずの形態または形状に変換される。

【0055】

したがって、システム内のカメラのいずれかからの合致しないトラックが、同一の基準トラック、または同一の基準トラックから生じるカメラ特有の変換された基準トラックと比較され得る。履歴軌跡が、システムの任意のカメラによって更新され得、すべてのカメラがシステム内の単一のカメラからの更新から恩恵を受けることができることを意味する。

【0056】

本開示は、イメージ処理デバイス、またはそのようなデバイスを備えるカメラによって実行されるときに、フォールスネガティブ物体検出を有する可能性があるイメージを決定する方法に関するが、この方法は他の適切な処理デバイスでも実行され得ることに留意されたい。たとえば、この方法は、イメージシーケンスが１つまたは複数のカメラによって提供されるサーバ上で実行され得る。さらに、本発明の概念が様々な形態で実施され得、たとえば一実施形態では、履歴軌跡が共通の基準トラックを有し得ることを理解されたい。したがって、基準トラックは複数の履歴軌跡について同一である。これは、相異なる物体クラスの車両が類似のトラックを引き起こす、道路のシーンを監視するときのシナリオでそうであり得る。合致しないトラックがそのような基準トラックと合致すると判定されたとき、その基準トラックに関係するすべての物体クラスが、フォールスネガティブ物体検出を有する可能性があると決定されたトラックのイメージに対する物体クラスとして設定され得る。

【0057】

したがって、本発明は、図示される実施形態に限定されるべきではなく、添付の特許請求の範囲のみによって規定されるべきである。

【符号の説明】

【0058】

１ イメージ処理デバイス
１０ イメージセンサ
１１ イメージ処理パイプライン（ＩＰＰ）部
１２ トラッカ
１４ 物体検出器
１５ メモリ
１６ プロセッサ
１７ エンコーダ
１８ 送信機
１９ サーバ
３４ 履歴軌跡
４１ 建物
４２ 歩行者
４３ サイクリスト
４４ 車
５１ 車両
５２ 歩行者
４５０ 基準トラック
４６０ 基準トラック
４７０ 基準トラック
５３０ 基準トラック
５４０ 基準トラック

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図4c】

【図5a】

【図5b】

【図5c】