特開 2024-160208 ビデオシーケンス中の第１の物体タイプの物体を検出するための方法、システムおよび非一時的コンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024160208

(43)【公開日】2024-11-13

(54)【発明の名称】ビデオシーケンス中の第１の物体タイプの物体を検出するための方法、システムおよび非一時的コンピュータ可読記憶媒体

(51)【国際特許分類】

   G06V 10/80 20220101AFI20241106BHJP

   G06T 7/194 20170101ALI20241106BHJP

   H04N 23/60 20230101ALI20241106BHJP

【ＦＩ】

G06V10/80

G06T7/194

H04N23/60 500

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024065717

(22)【出願日】2024-04-15

(31)【優先権主張番号】23169689

(32)【優先日】2023-04-25

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ハスブリング， ルドビック

(72)【発明者】

【氏名】ユアン， ソン

(57)【要約】      （修正有）

【課題】ビデオシーケンス中の第１の物体タイプの物体を検出する。
【解決手段】方法は、ビデオシーケンス中の各画像フレーム中のシーンの各領域を、第１の物体タイプを検出する第１のアルゴリズムで分析し、複数の画像フレームのうちの最後の画像フレーム中の第１の物体タイプの物体を検出し、第２のアルゴリズムを使用してビデオシーケンスの背景モデルを提供し、シーンの各領域について、第１のアルゴリズムによる分析に基づいて、領域に対応する画像データが不確実な物体タイプステータスを有するかどうかを識別し、領域が不確実な物体タイプステータスを有する場合は、第１の画像の領域の物体タイプステータスを決定するために背景モデルをチェックし、有しない場合は、第１のアルゴリズムによって行われる第１の画像の領域の分析を依拠させ、第１の画像中で、第１の物体タイプの物体の一部であると決定した画像データをマスクまたは強調表示する。
【選択図】図７

【特許請求の範囲】

【請求項1】

シーンをキャプチャしたビデオシーケンス中の複数の画像フレームのうちの第１の画像フレーム中の第１の物体タイプの物体を検出するための方法であって、前記方法は、
前記複数の画像フレームの各画像フレームについて、
第１のアルゴリズムを使用して前記画像フレームを分析して、前記画像フレーム中の前記第１の物体タイプの物体を識別することであって、前記第１のアルゴリズムが、前記シーン中の複数の領域の各領域について、前記領域に対応する画像データが前記画像フレーム中の前記第１の物体タイプの物体の一部である確率を計算し、前記第１のアルゴリズムが、画像データが前記第１の物体タイプの前記物体の一部であるかどうかを決定するための確率閾値を有し、前記画像データが前記第１の物体タイプの物体の一部である前記確率と前記確率閾値との間の差分のインジケータを、前記領域に関連するインジケータのリストに格納する、前記画像フレーム中の前記第１の物体タイプの物体を識別することと、
前記第１の画像フレーム中の前記第１の物体タイプの物体を検出することであって、前記第１の画像フレームが前記複数の画像フレームのうちの最後の画像フレームである、前記第１の画像フレーム中の前記第１の物体タイプの物体を検出することと
を含み、前記検出することは、
前記ビデオシーケンスの背景モデルを提供することであって、前記背景モデルが、前記シーン中の前記複数の領域の各領域について、前記第１の画像フレーム中の前記領域に対応する前記画像データが背景に属するのか前景に属するのかを定義し、前記背景モデルが、前記第１のアルゴリズムとは異なる第２のアルゴリズムを前記複数の画像フレームのうちの少なくともいくつかに適用することによって定義される、前記ビデオシーケンスの背景モデルを提供することと、
前記シーンの各領域について、インジケータの前記関連するリストに基づいて、前記第１の画像中の前記領域に対応する前記画像データが不確実な物体タイプステータスを有するかどうかを識別することと、
画像データが、不確実な物体タイプステータスを有することを識別すると、
前記背景モデルが前記画像データを前記第１の画像中の前記背景に属するものとして定義したとき、前記画像データが前記第１の物体タイプの物体の一部ではないと決定し、
前記背景モデルが前記画像データを前記第１の画像中の前記前景に属するものとして定義したとき、前記画像データが前記第１の物体タイプの物体の一部であると決定することと
を含む、方法。

【請求項2】

画像データを不確実な物体タイプステータスを有しないものとして識別すると、
前記第１のアルゴリズムが、前記画像データが前記第１の物体タイプの前記物体の一部であると決定したとき、前記画像データが前記第１の物体タイプの物体の一部であると決定するステップと、
前記第１のアルゴリズムが、前記画像データが前記第１の物体タイプの前記物体の一部ではないと決定したとき、前記画像データが前記第１の物体タイプの物体の一部ではないと決定するステップと
をさらに含む、請求項１に記載の方法。

【請求項3】

前記画像データが前記第１の画像中に不確実な物体タイプステータスを有するかどうかを識別するステップは、
インジケータの前記関連するリストに基づいて、前記画像データが前記第１の物体タイプの物体の一部である前記確率と前記確率閾値との間の前記差分の絶対値が閾値差分を超えるかどうかを決定することと、
前記差分の前記絶対値が前記閾値差分を超えると、前記画像データが不確実な物体タイプステータスを有しないと決定することと、
前記差分が前記閾値距離を超えないと、正差分を示すインジケータの前記関連するリスト中のインジケータと、負差分を示すインジケータの前記関連するリスト中のインジケータとの間の分布測定値を決定することと、
前記分布測定値が不確実性範囲内に含まれる正差分と負差分との混合を示すと、前記画像データが不確実な物体タイプステータスを有すると決定し、そうでなければ、前記画像データが不確実な物体タイプステータスを有しないと決定することと
を含む、請求項１に記載の方法。

【請求項4】

前記画像データが前記第１の画像中に不確実な物体タイプステータスを有するかどうかを識別するステップは、
正差分を示すインジケータの前記関連するリスト中の前記インジケータと、負差分を示すインジケータの前記関連するリスト中の前記インジケータとの間の分布測定値を決定することと、
前記分布測定値が不確実性範囲内に含まれる正差分と負差分との混合を示すと、前記画像データが不確実な物体タイプステータスを有すると決定し、そうでなければ、前記画像データが不確実な物体タイプステータスを有しないと決定することと
を含む、請求項１に記載の方法。

【請求項5】

インジケータの前記リストがバイナリ値のリストであり、正差分がバイナリ値の第１の値によって示され、負差分がバイナリ値の第２の値によって示される、請求項４に記載の方法。

【請求項6】

前記不確実性範囲が、正差分を示す前記インジケータと負差分を示す前記インジケータとの２０／８０分布から８０／２０分布の間の混合を示す、請求項３に記載の方法。

【請求項7】

前記第１のアルゴリズムが、画像内の物体の特徴を抽出し、それらを数のベクトルとして表すための特徴抽出プロセスを含む、請求項１に記載の方法。

【請求項8】

前記第２のアルゴリズムが、動きベースの背景検出アルゴリズムである、請求項１に記載の方法。

【請求項9】

領域に関連するインジケータの前記リストが、５～１５個の値を有するＦＩＦＯリストである、請求項１に記載の方法。

【請求項10】

前記第１の画像中で、前記第１の物体タイプの物体の一部であると決定された画像データをマスクまたは強調表示することをさらに含む、請求項１に記載の方法。

【請求項11】

カメラにおいて実施され、前記ビデオシーケンスが前記カメラによってキャプチャされたライブ・ビデオ・ストリームの一部である、請求項１に記載の方法。

【請求項12】

シーンをキャプチャしたビデオシーケンス中の複数の画像フレームのうちの第１の画像フレーム中の第１の物体タイプの物体を検出するための方法であって、前記シーンが、前記複数の画像フレーム中で追跡された複数の物体を含み、前記方法は、
前記複数の画像フレームの各画像フレームについて、
第１のアルゴリズムを使用して前記画像フレームを分析して、前記画像フレーム中の前記第１の物体タイプの物体を識別することであって、前記第１のアルゴリズムが、前記画像フレーム中で追跡された前記複数の物体の各物体について、前記物体が前記第１の物体タイプの物体である確率を計算し、前記第１のアルゴリズムが、前記物体が前記第１の物体タイプの物体であるかどうかを決定するための確率閾値を有し、前記物体が前記第１の物体タイプの物体である前記確率と前記確率閾値との間の差分のインジケータを、前記物体に関連するインジケータのリストに格納する、前記画像フレーム中の前記第１の物体タイプの物体を識別することと、
前記第１の画像フレーム中の前記第１の物体タイプの物体を検出することであって、前記第１の画像フレームが前記複数の画像フレームのうちの最後の画像フレームである、前記第１の画像フレーム中の前記第１の物体タイプの物体を検出することと
を含み、前記検出することは、
前記ビデオシーケンスの背景モデルを提供することであって、前記背景モデルが、前記シーン中の複数の領域の各領域について、前記第１の画像フレーム中の前記領域に対応する画像データが背景に属するのか前景に属するのかを定義し、前記背景モデルが、前記第１のアルゴリズムとは異なる第２のアルゴリズムを前記複数の画像フレームのうちの少なくともいくつかに適用することによって定義される、前記ビデオシーケンスの背景モデルを提供することと、
前記第１の画像フレーム中で追跡された前記複数の物体の各物体について、前記物体に関連するインジケータの前記リストに基づいて、前記物体が不確実な物体タイプステータスを有するかどうかを識別することと、
物体が不確実な物体タイプステータスを有することを識別すると、
前記第１の画像中の前記物体に対応する画像データを決定し、
前記背景モデルが前記画像データを前記背景に属するものとして定義したとき、前記物体が前記第１の物体タイプの物体ではないと決定し、
前記背景モデルが前記画像データを前記前景に属するものとして定義したとき、前記物体が前記第１の物体タイプの物体であると決定することと
を含む、方法。

【請求項13】

前記追跡された物体の各々が、前記シーンの前記ビデオシーケンスをキャプチャしたカメラから閾値距離を超えて位置する、請求項１２に記載の方法。

【請求項14】

処理能力を有するデバイス上で実行されたとき、請求項１に記載の方法または請求項１２に記載の方法を実施するための命令を記憶した、非一時的コンピュータ可読記憶媒体。

【請求項15】

シーンをキャプチャしたビデオシーケンス中の複数の画像フレームのうちの第１の画像フレーム中の第１の物体タイプの物体を検出するためのシステムであって、前記システムが、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行されたとき、前記システムに請求項１に記載の方法または請求項１２に記載の方法を実行させるコンピュータ実行可能命令を記憶する１つまたは複数の非一時的コンピュータ可読媒体と
を備える、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体検出に関し、特に、シーンをキャプチャしたビデオシーケンス中の複数の画像フレームのうちの第１の画像フレーム中の第１の物体タイプの物体を検出するための方法、システムおよび非一時的コンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

ビデオ監視システムにおける物体検出は、セキュリティ、交通監視、小売分析、およびスマートシティなど、様々な適用例のための必須の構成要素として、長年にわたって進化してきた。これらのシステムの主な目的は、ビデオストリーム内の、人、車両、または動物など、関心物体を識別および追跡することである。

【0003】

物体分類は、しばしば、物体検出システムの不可欠な構成要素である。物体検出は、画像またはビデオフレーム内の関心物体を識別し、それらを特定のカテゴリまたはクラスに割り当てることを含む。物体位置特定（物体の位置を見つけること）と物体分類（物体のクラスを識別すること）との組合せは、完全な物体検出システムを可能にする。

【0004】

物体検出システムに関する１つの問題は、誤って分類された物体、すなわち、偽陽性または偽陰性である。そのような分類は、例えば、ユーザ体験に悪影響を及ぼし得る。人間のオペレータがビデオ出力をレビューする、またはビデオ出力と対話するシステムでは、誤って分類された物体は、混乱、疲労、およびフラストレーションをもたらし得る。これは、システムに対するユーザの信頼を低下させ得、オペレータが、誤警報の数の増加により本物の関心物体を見逃すことを引き起こし得る。

【0005】

したがって、この文脈における改善が必要とされている。

【発明の概要】

【0006】

上記を考慮すると、添付の独立特許クレームに記載されているように、上記で説明された欠点のうちの１つまたはいくつかを解決するかまたは少なくとも低減することが有益であろう。

【0007】

本発明の第１の態様によれば、シーンをキャプチャしたビデオシーケンス中の複数の画像フレームのうちの第１の画像フレーム中の第１の物体タイプの物体を検出するための方法が提供され、本方法は、複数の画像フレームの各画像フレームについて、第１のアルゴリズムを使用して画像フレームを分析して、画像フレーム中の第１の物体タイプの物体を識別することであって、第１のアルゴリズムが、シーン中の複数の領域の各領域について、領域に対応する画像データが画像フレーム中の第１の物体タイプの物体の一部である確率を計算し、第１のアルゴリズムが、画像データが第１の物体タイプの物体の一部であるかどうかを決定するための確率閾値を有し、画像データが第１の物体タイプの物体の一部である確率と確率閾値との間の差分のインジケータを、領域に関連するインジケータのリストに格納する、画像フレーム中の第１の物体タイプの物体を識別することを含む。

【0008】

本方法は、第１の画像フレーム中の第１の物体タイプの物体を検出することであって、第１の画像フレームが複数の画像フレームのうちの最後の画像フレームである、第１の画像フレーム中の第１の物体タイプの物体を検出することをさらに含み、検出することは、ビデオシーケンスの背景モデルを提供することであって、背景モデルが、シーン中の複数の領域の各領域について、第１の画像フレーム中の領域に対応する画像データが背景に属するのか前景に属するのかを定義し、背景モデルが、第１のアルゴリズムとは異なる第２のアルゴリズムを複数の画像フレームのうちの少なくともいくつかに適用することによって定義される、ビデオシーケンスの背景モデルを提供することと、シーンの各領域について、インジケータの関連するリストに基づいて、第１の画像中の領域に対応する画像データが不確実な物体タイプステータスを有するかどうかを識別することと、画像データが、不確実な物体タイプステータスを有することを識別すると、背景モデルが画像データを第１の画像中の背景に属するものとして定義したとき、画像データが第１の物体タイプの物体の一部ではないと決定することと、背景モデルが画像データを第１の画像中の前景に属するものとして定義したとき、画像データが第１の物体タイプの物体の一部であると決定することとを含む。

【0009】

特定の物体タイプを検出するように設計された物体分類適用例では、物体のクラスがフレーム間で交替するとき、問題が生じ得る。いくつかの物体は、ターゲット物体タイプと類似している外観を有し、分類アルゴリズムが変動確率を生成することを引き起こし得る。これらの確率は、閾値を超えると、物体を、あるフレーム中でターゲットタイプとして分類し、次いで閾値を下回ると、物体を、次のフレーム中で異なるタイプとして分類し得る。これらの変化に寄与する要因は、物体の視野角、画像センサノイズ、セグメンテーションマスク決定の小さな変更、または物体の外観の変動を含み得る。

【0010】

そのような一貫性のない分類は、出力を監視するオペレータにとっての混乱をもたらし得、問題の中でも、システム性能、意思決定、およびプライバシーに悪影響を及ぼし得る。

【0011】

有利には、物体タイプを決定するために２つの異なるアルゴリズムを使用することは、本方法のロバスト性を高め得る。ビデオシーケンスの背景モデルを提供する第２のアルゴリズムは、第１のアルゴリズムが対応する画像コンテンツについての複数の画像フレームにわたって異なる査定（確率閾値を上回るおよび下回る確率）を出力する場合のバックアップと見なされ得る。シーンの特定の領域についての複数の画像フレームの間のそのような変動出力は、（第１の画像フレームと呼ばれ、ビデオシーケンス中の最新の画像フレームである）現在処理されている画像フレーム中で描写されているシーンの領域が「不確実な物体タイプステータス」を得ることにつながり得る。ビデオシーケンス中の先行するフレームを使用して、第１のフレーム中で描写されているシーンの領域（すなわち、第１のフレーム中の領域を描写する画像データ）が不確実な物体タイプステータスを得るべきであるか否かを決定することによって、将来の状態の予測が回避され、したがって、低複雑度でロバストな方法をもたらす。

【0012】

本明細書で使用される「第１の画像フレーム」という用語は、ビデオシーケンス中のフレームの順序を指すものではないことを明確にすることが重要である。むしろ、それは単に、本発明を説明またはクレームする目的で、あるフレームを別のフレームと区別する手段である。シーケンス中のフレームの順序は、互いに対するそれらの時間的関係によって決定され、第１のフレームは第２のフレームの前にキャプチャまたは表示され、最後のフレームに到達するまで、以下同様である。

【0013】

「不確実な物体タイプステータス」という用語によって、本明細書の文脈では、第１のアルゴリズムからの出力が、複数の画像フレームを分析する間に、例えば、画像フレームのうちのいくつかにおいて描写されているシーンの領域が第１の物体タイプの物体の一部ではないものとして分類される一方、画像フレームのうちの他のものでは、その領域が第１の物体タイプの物体の一部であるものとして分類されるという、分類結果の混合をもたらすことが理解されるべきである。

【0014】

不確実な物体タイプステータスをもたらす混合の程度、例えば、正分類と負分類との間の比、画像データが第１の物体タイプの物体の一部である確率と確率閾値との間の差分の大きさの差分などは、使用事例、および適用例の要件に依存する。

【0015】

第１の画像の特定の画像データについて、不確実な物体タイプステータスが決定されたとき、背景モデルは、第１の物体タイプの物体が画像データ中で検出されたか否かを決定するために使用される。

【0016】

有利には、本方法では、第１の物体タイプの物体と外観が類似している静的物体の偽陽性識別は、第１の画像フレーム中で静的物体を描写する画像データが背景に属すると背景モデルが決定し得るので、回避され得る。さらに、背景モデルは、第１の物体タイプに属する移動する物体の偽陰性識別を、画像フレームのうちの１つまたは複数におけるそれらの外観が第１のアルゴリズムの査定基準と一致しないときでも、防止することができる。これは、背景モデルが、第１の画像フレーム中の移動する物体を表す画像データが前景に属すると決定し、したがって偽陰性識別を回避することができる。

【0017】

さらに、インジケータのリストは、潜在的に先入れ先出し（ＦＩＦＯ）手法を使用して、新しい画像フレームがビデオシーケンスに追加されるとき、連続的に更新され得る。結果として、本方法は、ビデオシーケンス内でキャプチャされた新しい物体または他のシーン変化に効果的に適応することができる。

【0018】

いくつかの実施形態では、本方法は、画像データを不確実な物体タイプステータスを有しないものとして識別すると、第１のアルゴリズムが、画像データが第１の物体タイプの物体の一部であると決定したとき、画像データが第１の物体タイプの物体の一部であると決定するステップと、第１のアルゴリズムが、画像データが第１の物体タイプの物体の一部ではないと決定したとき、画像データが第１の物体タイプの物体の一部ではないと決定するステップとをさらに含む。

【0019】

言い換えれば、第１の画像中の画像データが、不確実な物体タイプステータスを有するものとして識別されない場合、画像データについての第１のアルゴリズムからの出力は信頼され、画像データは、第１のアルゴリズムがこの査定を行った場合、第１の物体タイプの物体の一部であると決定される。有利には、第１のアルゴリズムからの一貫した査定が依拠され、偽陽性および偽陰性が回避され得る。

【0020】

いくつかの例では、画像データが第１の画像中に不確実な物体タイプステータスを有するかどうかを識別するステップは、インジケータの関連するリストに基づいて、画像データが第１の物体タイプの物体の一部である確率と確率閾値との間の差分の絶対値が閾値差分を超えるかどうかを決定することと、差分が閾値差分を超えると、画像データが不確実な物体タイプステータスを有しないと決定することと、差分の絶対値が閾値距離を超えないと、正差分を示すインジケータの関連するリスト中のインジケータと、負差分を示すインジケータの関連するリスト中のインジケータとの間の分布測定値を決定することと、分布測定値が不確実性範囲内に含まれる正差分と負差分との混合を示すと、画像データが不確実な物体タイプステータスを有すると決定し、そうでなければ、画像データが不確実な物体タイプステータスを有しないと決定することとを含む。

【0021】

有利には、第１のアルゴリズムが第１の画像の画像データのその査定において十分に確実である（第１の画像中の画像データが第１の物体タイプの物体の一部である確率と、確率閾値との間の差分が、閾値差分を超える）場合、この査定は依拠され、画像データは、不確実な物体タイプステータスを有すると見なされない。この実施形態は、第１の画像の画像データが第１の物体タイプの物体の一部であることについての十分に高いまたは十分に低い確率を第１のアルゴリズムが査定した場合、インジケータの残りのリストの調査（すなわち、前のフレームについて行われる査定）および背景モデルのチェックは必要とされないため、本方法の複雑度を低減し得る。さらに、偽陽性および偽陰性が回避され得る。

【0022】

閾値差分は、本方法を実施する適用例の要件、および／または第１のアルゴリズムの信頼性メトリックに依存し得る。閾値差分は、例えば、０から１のスケールで０．３に設定され得る。確率閾値が０．５である場合、これは、０．８以上、または０．２以下の確率が、それぞれ「十分に高い」または「十分に低い」と見なされることを意味する。他の閾値差分も等しく可能であり、使用事例に依存する。

【0023】

第１のアルゴリズムが十分に確実ではない場合、インジケータのリストは、画像データが不確実な物体タイプステータスを有すると見なされるべきか否かを決定するために分析される。正差分と負差分との間の分布は、任意の適切な統計的方法を使用して、例えば、負値と正値との間の比、リストの平均値、リストの中央値、リスト中の値の和などを決定して、分析される。分布測定値が不確実性範囲内に含まれる場合、画像データは不確実な物体タイプステータスを有すると見なされ、そうでない場合、画像データは不確実な物体タイプステータスを有すると見なされない。

【0024】

リストは、正差分および負差分を示し、第１のアルゴリズムは、画像データを２つのクラス（第１の物体タイプまたは非第１の物体タイプ）において分類することであり得るため、不確実性範囲は、通常、低いしきい値および高いしきい値を含む。例えば、比が決定された場合、不確実性範囲は、正差分を示すインジケータと負差分を示すインジケータとの２０／８０分布から８０／２０分布の間の混合を示し得る。これは、比が２０／８０から８０／２０の間である（２０／８０、３０／７０、５０／５０、６０／４０、８０／２０などであり、１００／０、０／１００、１０／９０または９５／５ではない）場合、画像データが不確実と見なされることを意味する。１０／９０、２５／７５など、範囲の閾値についての任意の他の適切な比が使用され得る。平均値が使用される場合、不確実性範囲は、－０．２のより低い値および０．３のより高い値を含み得、したがって、－０．２から＋０．３の間の平均値は、不確実であるがその範囲外の値（－０．３、＋０．３５など）ではないと見なされる。

【0025】

いくつかの実施形態では、画像データが第１の画像中に不確実な物体タイプステータスを有するかどうかを識別するステップは、正差分を示すインジケータの関連するリスト中のインジケータと、負差分を示すインジケータの関連するリスト中のインジケータとの間の分布測定値を決定することと、分布測定値が不確実性範囲内に含まれる正差分と負差分との混合を示すと、画像データが不確実な物体タイプステータスを有すると決定し、そうでなければ、画像データが不確実な物体タイプステータスを有しないと決定することとを含む。

【0026】

この実施形態では、インジケータのリストは常に分析され、これは、画像データについてのより信頼性の高い査定を提供し得る。さらに、この実施形態は、インジケータのリストがバイナリ値のリストであることを可能にし、正差分がバイナリ値の第１の値によって示され、負差分がバイナリ値の第２の値によって示される。これは、インジケータのリストを格納すること、ならびにリストの分布測定値を決定することの両方のための方法の複雑度を低減し得る。

【0027】

いくつかの実施形態では、第１のアルゴリズムは、画像内の物体の特徴を抽出し、それらを数のベクトルとして表すための特徴抽出プロセスを含む。これは、第１のアルゴリズムが、画像中の第１の物体タイプの物体を検出するように訓練された人工知能（ＡＩ）または機械学習（ＭＬ）アルゴリズムを含み得ることを意味する。ＡＩ／ＭＬは、画像中の物体を分類するための適切な技術であり、関心物体でラベル付けされた画像の大きいデータセットで比較的容易に訓練され得る。適切なＡＩ／ＭＬアルゴリズムは、Ｈａａｒカスケード、勾配方向ヒストグラム（ＨＯＧ）、ローカル・バイナリ・パターン・ヒストグラム（ＬＢＰＨ）、畳み込みニューラルネットワーク（ＣＮＮ）および（ビデオストリームなどのシーケンシャルデータを入力としてとる）トランスフォーマ・タイプ・モデルを含む。

【0028】

いくつかの実施形態では、第２のアルゴリズムは、動きベースの背景検出アルゴリズムである。そのようなアルゴリズムの例は、時間平均フィルタ、フレーム差分法、平均フィルタ、ランニングガウス平均および背景混合モデル（ガウス混合モデル（ＧＭＭ）など）を使用することを含む。他の可能なアルゴリズムは、アダプティブ・マルチバンド・バイナリ（ＡＭＢＢ）アルゴリズムおよびオプティカルフロー方法を含む。動きベースの背景検出アルゴリズムを使用することは、上記で説明されたように第１のアルゴリズムが不確実な結果を出力する場合、良好なバックアップアルゴリズムを提供し得る。

【0029】

いくつかの実施形態では、領域に関連するインジケータのリストは、５～１５個の値を有するＦＩＦＯリストである。他の実施形態では、ＦＩＦＯリストは、２０個、３０個など、より多くの値を有し得る。ＦＩＦＯデータ構造を使用することは、特に、新しいデータ点が連続的に追加されているリアルタイム適用例において、本明細書で説明される分布測定値を計算するための単純で効率的で効果的な方法を提供し得る。

【0030】

いくつかの実施形態では、本方法は、第１の画像中で、第１の物体タイプの物体の一部であると決定された画像データをマスクまたは強調表示することをさらに含む。これらのタイプの適用例を扱うとき、特定の物体が、あるフレーム中ではマスクまたは強調表示されるが次のフレーム中ではマスクまたは強調表示されない場合、オペレータにとってフラストレーションを起こすものとなり得る。この不一致は、煩わしく、不必要な注意を引く可能性がある。さらに、マスキング適用例では、物体が時々しかマスクされない場合、潜在的なプライバシーの懸念がある。本方法は、これらの欠点のうちの１つまたはいくつかを解決するか、または少なくとも低減し得る。

【0031】

いくつかの実施形態では、本方法はカメラにおいて実施され、ビデオシーケンスは、カメラによってキャプチャされたライブ・ビデオ・ストリームの一部である。

【0032】

本発明の第２の態様によれば、シーンをキャプチャしたビデオシーケンス中の複数の画像フレームのうちの第１の画像フレーム中の第１の物体タイプの物体を検出するための方法が提供され、シーンが、複数の画像フレーム中で追跡された複数の物体を含み、本方法は、複数の画像フレームの各画像フレームについて、第１のアルゴリズムを使用して画像フレームを分析して、画像フレーム中の第１の物体タイプの物体を識別することであって、第１のアルゴリズムが、画像フレーム中で追跡された複数の物体の各物体について、物体が第１の物体タイプの物体である確率を計算し、第１のアルゴリズムが、物体が第１の物体タイプの物体であるかどうかを決定するための確率閾値を有し、物体が第１の物体タイプの物体である確率と確率閾値との間の差分のインジケータを、物体に関連するインジケータのリストに格納する、画像フレーム中の第１の物体タイプの物体を識別することを含む。

【0033】

本方法は、第１の画像フレーム中の第１の物体タイプの物体を検出することであって、第１の画像フレームが複数の画像フレームのうちの最後の画像フレームである、第１の画像フレーム中の第１の物体タイプの物体を検出することをさらに含み、検出することは、ビデオシーケンスの背景モデルを提供することであって、背景モデルが、シーン中の複数の領域の各領域について、第１の画像フレーム中の領域に対応する画像データが背景に属するのか前景に属するのかを定義し、背景モデルが、第１のアルゴリズムとは異なる第２のアルゴリズムを複数の画像フレームのうちの少なくともいくつかに適用することによって定義される、ビデオシーケンスの背景モデルを提供することを含む。

【0034】

本方法は、第１の画像中で追跡された複数の物体の各物体について、物体に関連するインジケータのリストに基づいて、物体が不確実な物体タイプステータスを有するかどうかを識別することと、物体が不確実な物体タイプステータスを有することを識別すると、第１の画像中の物体に対応する画像データを決定することと、背景モデルが画像データを第１の画像中の背景に属するものとして定義すると、物体が第１の物体タイプの物体ではないと決定することと、背景モデルが画像データを第１の画像中の前景に属するものとして定義すると、物体が第１の物体タイプの物体であると決定することとをさらに含む。

【0035】

第２の態様の方法は、第１の概念の方法と同様であり、同じまたは対応する利点が達成され得る。違いは、第２の態様では、第１のアルゴリズムからの査定が、シーンの領域ではなくビデオストリーム中で検出された物体に関連することである。有利には、第２の態様の方法は、静止物体と移動する物体の両方を扱い得る。第１の態様と同様に、背景モデルは、不確実な物体タイプステータスを有する追跡された物体が、第１の画像フレーム中の背景または前景と見なされるべきであるかどうかを査定するために使用される。物体に対応する画像データが前景と見なされるべきである場合、物体は第１の物体タイプであると決定され、そうでない場合、第１の物体タイプであると決定されない。

【0036】

いくつかの実施形態では、追跡された物体の各々は、シーンのビデオシーケンスをキャプチャしたカメラから閾値距離を超えて位置する。例えば、第１のアルゴリズムは、第１のアルゴリズムが、物体を、画像中のそれらの特徴または特性に基づいて正確に分類することができる、有効範囲または検出範囲を有し得る。この範囲は、通常、カメラの解像度および品質、ならびに物体分類アルゴリズムの性能によって決定される。検出範囲外の物体の場合、画質の低下、オクルージョン、および照明条件の変化などの要因により、分類の精度が低下し得る。実施形態では、閾値距離は、第１のアルゴリズムの検出範囲と同じまたはそれに近いものであり得る。本実施形態を使用して、第１の物体タイプとして分類されることがあり、背景と見なされない物体は、第１の物体タイプであると決定され得る。その結果、偽陰性が低減され得る。これは、例えばプライバシーの理由で、第１の物体タイプの物体がマスクされるべきであるシナリオにおいて特に重要であり得る。

【0037】

第２の態様は、一般に、第１の態様と同じ特徴および利点を有し得る。

【0038】

本発明の第３の態様によれば、処理能力を有するデバイス上で実行されたとき、第１または第２の態様による方法を実施するための命令を記憶した、非一時的コンピュータ可読記憶媒体が提供される。

【0039】

本発明の第４の態様によれば、シーンをキャプチャしたビデオシーケンス中の複数の画像フレームのうちの第１の画像フレーム中の第１の物体タイプの物体を検出するためのシステムが提供され、本システムは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されたとき、システムに第１または第２の態様の方法を実行させるコンピュータ実行可能命令を記憶する１つまたは複数の非一時的コンピュータ可読媒体とを備える。

【0040】

第３および第４の態様は、一般に、第１の態様と同じ特徴および利点を有し得る。

【0041】

本発明の他の目的、特徴および利点は、以下の詳細な開示、添付の従属請求項ならびに図面から明らかになるであろう。

【0042】

一般に、特許請求の範囲において使用されるすべての用語は、本明細書で別段に明示的に定義されない限り、技術分野におけるそれらの通常の意味に従って解釈されるべきである。「１つの／その（ａ／ａｎ／ｔｈｅ）［要素、デバイス、構成要素、手段、ステップなど］」へのすべての言及は、別段に明記されない限り、要素、デバイス、構成要素、手段、ステップなどの少なくとも１つの例を指すものとして公然と解釈されるべきである。

【0043】

本明細書で開示される任意の方法のステップは、明記されない限り、開示された正確な順序で実施される必要はない。

【0044】

本発明の上記の、ならびに追加の目的、特徴、および利点は、添付の図面を参照して、本発明の実施形態の以下の例示的および非限定的な詳細な説明によってよりよく理解され、同様の要素のために同じ参照番号が使用される。

【図面の簡単な説明】

【0045】

【図1】第１の実施形態による、第１の物体タイプの物体が第１のアルゴリズムによって識別される複数の画像を含むビデオシーケンスを示す図である。

【図2】第２の実施形態による、第１の物体タイプの物体が第１のアルゴリズムによって識別される複数の画像を含むビデオシーケンスを示す図である。

【図3】図１中のビデオシーケンスの背景モデルを示す図である。

【図4】図２中のビデオシーケンスの背景モデルを示す図である。

【図5】実施形態による、インジケータのリストを示す図である。

【図6】実施形態による、インジケータのリストを示す図である。

【図7】実施形態による、複数の画像フレームのうちの第１の画像フレーム中の第１の物体タイプの物体を検出するための方法のフローチャートである。

【図8】実施形態による、複数の画像フレームのうちの第１の画像フレーム中の第１の物体タイプの物体を検出するための方法のフローチャートである。

【発明を実施するための形態】

【0046】

物体分類システムは、不均衡な訓練データ、類似している物体外観、オクルージョン、照明の違いなどを含む様々な理由で、偽陽性または偽陰性を出力し得る。例えば、類似している視覚的特徴または外観を有する物体は、分類システムにとっての混乱を引き起こし、偽陽性または偽陰性をもたらし得る。モデルは、特に特定の照明条件下で、または特定の視点から、類似している形状、テクスチャ、または色を有する物体を区別するのに苦労することがある。

【0047】

多くの物体分類システム、特に、出力がオペレータによって監視されるようなシステムでは、一貫した偽陽性または偽陰性は、オペレータによって無視され、あまり注意を引かないことがある。しかしながら、一貫性のない偽陽性または偽陰性は、無視するのがより困難であり、ユーザフラストレーション、システムに対する信頼の低下、および本技術の採用の減少につながり得る。さらに、監視適用例などのリアルタイム適用例では、システムが特定の物体タイプの物体の有無を絶えず再評価するため、一貫性のない偽陽性または偽陰性は不安定な意思決定をもたらし得る。これは、非効率的なまたは潜在的に危険な決定につながり得る。

【0048】

図１は、物体分類アルゴリズムが物体についての変動分類を出力するビデオシーケンスの一例を示す。図１は、シーンをキャプチャしたビデオシーケンスからの３つの画像１００ａ～ｃを示す。シーンは、４つの物体、すなわち、木１０８、犬１０４、道路を走行する車１０６、および人物１０２を含む。画像１００ａ～ｃは、第１のアルゴリズムが画像フレーム１００ａ～ｃの各々において第１の物体タイプの物体を識別した画像領域（画像データ）を示す強調表示特徴１１０、１１２、１１４、１１６により、さらに拡張されている。図１の例では、第１のアルゴリズムは、人間の顔を検出するように構成される。この検出は、アクセスが禁止されている制限領域を監視し、そこに個人が入ったときにオペレータに警告することなど、様々な目的に役立つことができ、これは、警告をトリガすることもできる。さらに、顔検出は、プライバシーの目的で採用され得、個人の身元を保護するために、顔のマスキングまたはぼかしを可能にする。第１のアルゴリズムは、物体分類システムの使用事例に応じて、車、動物など、他の物体タイプを検出するように構成され得ることに留意されたい。

【0049】

第１のアルゴリズムは、画像フレーム１００ａ～ｃによってキャプチャされたシーン中の複数の領域の各領域について、領域に対応する画像データが画像フレーム１００ａ～ｃ中の第１の物体タイプの物体の一部である確率を計算することによって、画像フレーム１００ａ～ｃ中の第１の物体タイプの物体を識別するように構成され得る。第１のアルゴリズムは、画像データが第１の物体タイプの物体の一部であるか否かを決定するための確率閾値を有し得る。第１のアルゴリズムは、精度の改善、新しいデータへの適応性、複雑な関係を扱う能力およびスケーラビリティなど、様々な技術的利点を提供する機械学習または人工知能モデルであり得る。典型的には、そのようなアルゴリズム、または他の適切なアルゴリズムは、決定された確率、例えば０から１のスケールでの０．７または０．２で、物体の物体タイプを分類する。決定された確率が確率閾値、例えば０．５を超えている場合、物体は、対応する物体タイプであると決定され、そうでない場合、対応する物体タイプではないと決定される。確率閾値は、すべての画像について固定であるか、または、例えば、画像中の物体の数、画像の品質、画像の照明条件などに基づいて変動し得る。

【0050】

第１のアルゴリズムは、画像フレーム１００ａ～ｃ内の物体の特徴を抽出し、それらを数のベクトルとして表すための特徴抽出プロセスを含み得、次いで、数のベクトル（特徴ベクトル）は、物体の画像データが画像フレーム１００ａ～ｃ中の第１の物体タイプの物体の一部である確率を決定するために使用され得る。物体の位置は、シーンの領域にマッピングされ得る。画像をキャプチャしたカメラが（図１の例のように）静的カメラである場合、シーンの各領域は、各画像フレーム１００ａ～ｃ中の同じピクセルインデックスまたはピクセルインデックス範囲によって表され得る。移動するカメラの場合、画像フレーム１００ａ～ｃの間の対応するピクセル領域を決定するために、ピクセルインデックスに加えて動きデータが使用され得る。画像フレーム１００ａ～ｃが異なる解像度でキャプチャされた場合、画像フレーム１００ａ～ｃの間の対応するピクセル領域を決定するために、スケーリングパラメータがさらに使用され得る。

【0051】

しかしながら、第１のアルゴリズムがどのくらいうまく訓練されるとしても、モデルは、いずれにせよ、特に特定の照明条件下で、または特定の視点から、類似している形状、テクスチャ、または色を有する物体を区別するのに苦労することがある。これは、図１に例示されており、木１０８の葉の一部を描写する画像データ１１４が、木画像１００ａ～ｃの最後の画像１００ｃ中では人間の顔として解釈されている。この誤った分類とは別に、第１のアルゴリズムは、３つの画像１００ａ～ｃに描写されているようにシーンの他の領域を正確に解釈しており、人物１０２がシーン中に存在する領域に対応する画像データ１１０、１１２、１１６のみを第１の物体タイプの物体の一部であるものとして分類する。

【0052】

第１のアルゴリズムからの出力が第１の物体タイプの物体を検出するための唯一のデータソースであった場合、木１０８に関係する一貫性のない偽陽性という結果は、前述したように、複数の問題をもたらし得る。木の葉に対応するシーンの領域（すなわち、第３の画像中のそのような領域を描写する画像データ１１４）は、最後の画像１００ｃ中では人間の顔として解釈されるが、他の画像１００ａ、１００ｂ中では人間の顔ではないと解釈されるため、この画像１００ｃ中では（図５～図６に関連して以下でさらに説明されるように）不確実な物体タイプステータスを有する。しかしながら、本明細書で開示されるように、そのような領域についての最終決定を行うために背景モデルを使用することは、一貫性のない偽陽性の問題を低減し、この場合、偽陽性を全体として第３の画像フレーム１００ｃから除去し得る。

【0053】

図３は、そのような背景モデル３００を示す。図３の例では、背景モデル３００は、シーン中の複数の領域の各領域について、最後の画像フレーム１００ｃ中の領域に対応する画像データが背景に属するのか前景に属するのかを定義する。図１のシーンでは、犬１０４および車１０６のみが画像フレーム１００ａ～ｃの間を移動する。図３中の背景モデルは、概略的に、図１中の最後の画像１００ｃ中の車１０６および犬１０４の位置に対応する領域３０４、３０６を前景として定義し、残りを背景３０２として定義するが、これは単に説明を容易にするためである。背景モデルは、複数の画像のうちの少なくともいくつかに（第１のアルゴリズムとは異なる）第２のアルゴリズムを適用することによって決定され得る。したがって、背景モデルは、第２のアルゴリズムの特性に依存し得る。第２のアルゴリズムの複雑度は、単純なフレーム差分アルゴリズムから色および深度情報を考慮したガウス混合モデルまで変動し得る。画像フレーム１００ａ～ｃと比較してシーンの異なるスケーリングを使用して背景モデルが決定される場合、画像フレーム１００ａ～ｃと背景モデル３００との間の対応する領域を決定するために、スケーリングパラメータが使用され得る。

【0054】

背景モデル３００が、本明細書で開示されるように、不確実な物体タイプステータスを有する画像データ１１４に適用される場合、第１のアルゴリズムによって提供された画像データの間違った分類は取り消され得、代わりに、画像データは、第１の物体タイプの物体の一部ではない（すなわち、人間の顔の一部ではない）ものとして正しく分類され得る。これは、画像データ１１４が（図１に示されている画像データ１１４に空間的に対応する、図３中の破線領域３０８によって示された）背景の一部であると見なされ、その結果、第１の物体タイプの物体の一部ではないと決定されるためである。

【0055】

図３の最後の画像１００ｃ中の画像データ１１６または犬１０４を描写する画像データなど、不確実な物体タイプステータスを有するとして識別されない最後の画像１００ｃ中の画像データの場合、第１のアルゴリズムからの出力が依拠される。その結果、画像データ１１６は、第１の物体タイプの物体の一部である（すなわち、人間の顔の一部である）と決定され、犬を描写する画像データは、第１の物体タイプの物体の一部ではないと決定される。

【0056】

図２は、図１に関連して説明された態様と多くの点で同様の、本明細書で説明される技術の別の態様を示す。第２の態様は、第１のアルゴリズムによって行われた査定が、シーンの特定の領域ではなく、ビデオストリーム内で検出および追跡された物体に関連するという点で、第１の態様とは異なる。言い換えれば、第１のアルゴリズムは、シーンの領域またはセクションではなく、ビデオ内の個々の物体を分析および分類することに焦点を合わせている。図２は、物体分類アルゴリズムがいくつかの物体についての変動分類を出力するビデオシーケンスの一例を示す。図２は、シーンをキャプチャしたビデオシーケンスからの３つの画像２００ａ～ｃを示す。シーンは、５つの物体、すなわち、木２２２、犬２１８、車２２０、および２人の人物２０２、２０４を含む。物体は、複数の画像フレーム１００ａ～ｃ中で追跡される。画像２００ａ～ｃは、第１のアルゴリズムが画像フレーム１００ａ～ｃの各々において第１の物体タイプであるものとして識別した物体を示す強調表示特徴２０６、２０８、２１０、２１２、２１４により、さらに拡張されている。図２の例では、第１のアルゴリズムは、人を検出するように構成される。

【0057】

第１のアルゴリズムからの出力が第１の物体タイプの物体を検出するための唯一のデータソースであった場合、木２２２に関係する一貫性のない偽陽性および２人の人物２０２、２０４に関係する一貫性のない偽陰性という結果は、前述したように、複数の問題をもたらし得る。これらの３つの物体２０２、２０４、２２０は、これらの物体の物体タイプがビデオストリーム全体を通して異なって査定されているため、最後の画像１００ｃ中で（図５～図６に関連して以下でさらに説明されるように）不確実な物体タイプステータスを有する。しかしながら、本明細書で開示されるように、そのような物体についての最終決定を行うために背景モデルを使用することは、一貫性のない偽陽性および偽陰性の問題を低減し、この場合、偽陽性および偽陰性を全体として第３の画像フレーム２００ｃから除去し得る。

【0058】

図４は、図３の背景モデル３００と同様である背景モデル４００を示す。図４の例では、背景モデル４００は、シーン中の複数の領域の各領域について、最後の画像フレーム２００ｃ中の領域に対応する画像データが背景に属するのか前景に属するのかを定義する。図２のシーンでは、犬２１８および車２２０、ならびに２人の人物２０２、２０４が、画像フレーム１００ａ～ｃの間を移動する。図４中の背景モデルは、概略的に、図１中の最後の画像１００ｃ中の２人の人物２０２、２０４、犬２１８および車２２０の位置に対応する領域４０６、４０８、４０４、４１０を前景として定義し、残りを背景４０２として定義する。

【0059】

背景モデル４００が、本明細書で開示されるように、不確実な物体タイプステータスを有する木２２２に適用される場合、第１のアルゴリズムによって提供された物体の間違った分類は取り消され得、代わりに、物体は、第１の物体タイプの物体ではない（すなわち、人間の顔を含まない）ものとして正しく分類され得る。これは、木２２２に対応する画像データが、最後の画像１００ｃ中の（図２に示されている木２２２の位置および範囲に空間的に対応する、図４中の破線領域４１２によって示された）背景の一部であると見なされ、その結果、第１の物体タイプの物体の一部ではないと決定されるためである。

【0060】

背景モデルが、本明細書で開示されるように、不確実な物体タイプステータスを各々有する人物２０２、２０４に適用される場合、最後の画像２００ｃについて第１のアルゴリズムによって提供された物体２０２の見逃された分類は補正され得、代わりに、物体は、第１の物体タイプの物体である（すなわち、人間の顔を含む）ものとして正しく分類され得る。これは、人物２０２、２０４の各々に対応する画像データが、最後の画像１００ｃ中の（図２に示されている人物２０２、２０４の位置および範囲に空間的に対応する、図４中の破線領域４０６、４０８によって示された）前景の一部であると見なされ、その結果、第１の物体タイプの物体の一部であると決定されるためである。

【0061】

さらに、図２は、第１のアルゴリズムが、物体を、画像中のそれらの特徴または特性に基づいて正確に分類することができる、有効範囲または検出範囲を表す破線２１６を含む。いくつかの実施形態では、図２に関連して上記で説明された技術（第１のアルゴリズムによって行われる査定は、図１に関連して説明されたように、シーンの特定の領域ではなく、ビデオストリーム内で検出された物体に関連付けられる）は、主に、シーンのビデオシーケンスをキャプチャしたカメラから閾値距離を超えて位置する物体に適用される。閾値距離は、第１のアルゴリズムの有効範囲と同じまたは同様の有効範囲に設定され得る。移動する人物２０２、２０４は、この閾値を超えて、すなわち図２中の破線２１６を超えて位置するため、第１のアルゴリズムは、第１の物体タイプの移動する物体を正しく分類するのにあまり信頼できないことがある。したがって、本実施形態は、上記で説明されたように偽陰性を低減し得る。

【0062】

いくつかの例では、図１および図２に関連して説明された物体検出技術の２つの態様が組み合わせられ得る。例えば、領域ベースの技術は、第１のアルゴリズムの有効範囲の近い側の画像コンテンツのために使用され得、物体ベースの技術は、第１のアルゴリズムの有効範囲を超えて検出された物体のために使用される。

【0063】

図５～図６は、ビデオシーケンス中のキャプチャされたシーンの特定の領域を分析するときに、またはビデオシーケンス中で追跡された特定の物体を分析するときに第１のアルゴリズムによって生成されるインジケータのリスト５０２、６０２の２つの実施形態を例として示す。上述したように、第１のアルゴリズムは、領域ベースの手法では、各画像中の各領域について、（現在分析されている画像中の領域を描写する）画像データが第１の物体タイプの物体の一部である確率と、領域に関連するインジケータのリスト中の確率閾値との間の差分のインジケータを格納するように構成され得る。物体ベースの手法では、第１のアルゴリズムは、各画像中の各追跡された物体について、物体が第１の物体タイプの物体である確率と確率閾値との間の差分のインジケータを、物体に関連するインジケータのリストに格納するように構成され得る。

【0064】

どの手法が使用されるかとは無関係に、各領域または各物体は、図５または図６に示されているようにリスト５０２、６０２に関連し得る。各リスト５０２、６０２中の各セルは、複数の画像のうちの画像を分析するときの第１のアルゴリズムからの出力を表す。図５～図６中のリスト５０２、６０２は、Ｘ＝８つのセルを含み、セルは、８つの画像が分析されたことを示す。いくつかの実施形態では、領域または物体に関連するインジケータのリストは、５～１５個の値を有するＦＩＦＯリストである。他の実施形態では、リストは１５～３０個の値を有する。例えばビデオシーケンスをキャプチャしたカメラのフレームレートに基づいて、使用事例に応じて、任意の適切な数の値が使用され得る。新しい画像が分析されたとき、インジケータのリスト中の最も古い値（これらの例では最も左側の値）が削除され、リストの最後に新しい値が挿入される。したがって、リストは、ビデオストリーム中のＸ個の最新の分析された画像からの値を常に含み得る。

【0065】

図５は、各インジケータが、領域／物体が第１の物体タイプである確率の査定が確率閾値からどのくらい離れているかを示すリスト５０２を示す。図１では、正の数は、査定された確率が閾値よりも高いことを示す（これは、第１のアルゴリズムが領域／物体を第１の物体タイプであると査定したことを意味する）。負の数は、査定された確率が閾値よりも低いことを示す（これは、第１のアルゴリズムが領域／物体を第１の物体タイプではないと査定したことを意味する）。０は、正の数としてカウントされ得る。確率範囲は０から１の間であり、確率閾値は０．５であり、これは、セルの値が－０．５から＋０．５の範囲であり得ることを意味する。他のスケールおよび閾値が適用され得る。

【0066】

インジケータのリスト５０２は、インジケータのリストが表す複数の画像のうちの最後の画像中の領域／物体が不確実な物体タイプステータスを有するかどうかを決定するために使用され得る。言い換えれば、特定の画像について、ビデオストリーム中の前のＸ－１個の画像からの結果と組み合わせたその特定の画像からの結果は、特定の画像中の領域／物体が不確実な物体タイプステータスを有するか否かを決定するために使用される。

【0067】

一実施形態では、最後の画像フレームの領域／物体についての不確実な物体タイプステータスを決定するプロセスは、（最後の画像フレームに描写されている）領域／物体が第１の物体タイプであるか否かを査定するときに第１のアルゴリズムがどのくらい確実であるかを最初にチェックすることを含む。第１のアルゴリズムが十分に確実である場合、第１のアルゴリズムからの結果は依拠される。図５では、最後の画像フレームに対応するセル５０４の値は、＋０．１５である。これは、査定された確率が０．６５であることを意味する。これが十分に確実であるとカウントされた（画像データが第１の物体タイプの物体の一部である確率と、確率閾値との間の差分の絶対値が、閾値差分を超える）場合、リスト５０２が関連する物体／領域が、確かに第１の物体タイプであると決定される。十分な確実性ではない場合、または最後の画像フレームの確率を最初にチェックする実施形態が使用されない場合、リスト５０２のさらなる分析が必要とされる。

【0068】

リストの分析は、正差分を示すインジケータの関連するリスト中のインジケータと、負差分を示すインジケータの関連するリスト中のインジケータとの間の分布測定値を決定することを含み得る。分布測定値は、平均（図３の例では０．１３）、中央値（０．２）、または正値と負値との間の百分率での分布（７５／２５）など、任意の適切な統計的方法を含み得る。分布測定値が、不確実性範囲内に含まれる正差分と負差分との混合を示す場合、最後の画像中の領域／物体は、不確実な物体タイプステータスを有すると決定され、そうでない場合、不確実な物体タイプステータスを有すると決定されない。上述したように、リストは正の数および負の数を含むため、不確実性範囲は、通常、負の側と正の側の両方で閾値を含む。したがって、第１のアルゴリズムは、負の査定ならびに正の査定の両方について十分に一貫した査定を提供すると見なされ得る。その結果、図５の場合、不確実性範囲は、平均および中央値が使用される場合、負の数と正の数との間である（例えば、－０．２から＋０．２の間の平均値または中央値は、第１の画像データの領域／物体が不確実な物体タイプステータスを有すると決定されることをもたらす）。（値の大きさを考慮しない）分布の場合、不確実性範囲は、例えば、正差分を示すインジケータと負差分を示すインジケータとの２０／８０分布から８０／２０分布の間の混合を示し得る。図５中のリストの分布は、この範囲内にある（７５／２５である）ため、結果は、リスト５０２に関連する領域／物体が不確実な物体タイプステータスを有すると見なされることであり得る。

【0069】

いくつかの実施形態では、インジケータのリストはバイナリ値のリストであり、正差分がバイナリ値の第１の値によって示され、負差分がバイナリ値の第２の値によって示される。これは、図５のリスト５０２に対応するが、代わりにバイナリ形式である、図６に示されている。平均（０．６）および正値と負値との間の百分率の分布（７５／２５）など、同じ分布測定値が適用され得、不確実性範囲は、図５に示されている形式と比較してバイナリ形式に従って調整される必要があり得る。

【0070】

図７～図８は、本明細書で説明された第１および第２の態様による、複数の画像フレームのうちの第１の画像フレーム中の第１の物体タイプの物体を検出するための２つの方法のフローチャートを示す。図７は領域ベースの態様に対応し、図８は物体態様に対応する。

【0071】

図７は、シーンをキャプチャしたビデオシーケンス中の複数の画像フレームのうちの第１の画像フレーム中の第１の物体タイプの物体を検出するための方法７００を示す。本方法は、ビデオシーケンス中の各画像フレーム中のシーンの各領域を、第１の物体タイプを検出するように構成された第１のアルゴリズムにより分析することＳ７０２を含む。別の言い方をすれば、方法７００は、複数の画像フレームの各画像フレームについて、第１のアルゴリズムを使用して画像フレームを分析して、画像フレーム中の第１の物体タイプの物体を識別することであって、第１のアルゴリズムが、シーン中の複数の領域の各領域について、領域に対応する画像データが画像フレーム中の第１の物体タイプの物体の一部である確率を計算し、第１のアルゴリズムが、画像データが第１の物体タイプの物体の一部であるかどうかを決定するための確率閾値を有する、画像フレーム中の第１の物体タイプの物体を識別することを含み得る。次いで、画像データが第１の物体タイプの物体の一部である確率と確率閾値との間の差分のインジケータが、領域に関連するインジケータのリストに格納される。

【0072】

本方法は、複数の画像フレームのうちの最後の画像フレーム中の第１の物体タイプの物体を検出するとき、第２のアルゴリズムを使用してビデオシーケンスの背景モデルを提供することＳ７０４をさらに含む。背景モデルは、シーン中の複数の領域の各領域について、第１の画像フレーム中の領域に対応する画像データが背景に属するのか前景に属するのかを定義し得る。

【0073】

本方法は、シーンの各領域について、第１のアルゴリズムによる分析に基づいて、領域に対応する画像データが不確実な物体タイプステータスを有するかどうかを識別することＳ７０６をさらに含む。不確実な物体タイプステータスは、インジケータの関連するリストに基づき得る。

【0074】

本方法は、領域（すなわち、領域に対応する画像データ）が不確実な物体タイプステータスを有する場合、第１の画像の領域の物体タイプステータスを決定するために背景モデルをチェックすることＳ７０８をさらに含む。背景モデルは、背景モデルが画像データを第１の画像中の背景に属するものとして定義すると、画像データが第１の物体タイプの物体の一部ではないと決定することと、背景モデルが画像データを第１の画像中の前景に属するものとして定義すると、画像データが第１の物体タイプの物体の一部であると決定することとように使用され得る。

【0075】

いくつかの例では、領域（すなわち、領域に対応する画像データ）が不確実な物体タイプステータスを有しない場合、第１のアルゴリズムによって行われる第１の画像の領域の分析が依拠されるＳ７１０。これは、第１のアルゴリズムが、画像データが第１の物体タイプの物体の一部であると決定したとき、画像データが第１の物体タイプの物体の一部であると決定することと、第１のアルゴリズムが、画像データが第１の物体タイプの物体の一部ではないと決定したとき、画像データが第１の物体タイプの物体の一部ではないと決定することとを意味し得る。

【0076】

いくつかの例では、本方法は、第１の画像中で、第１の物体タイプの物体の一部であると決定された画像データをマスクまたは強調表示することＳ７１２を含む。

【0077】

図８は、シーンをキャプチャしたビデオシーケンス中の複数の画像フレームのうちの第１の画像フレーム中の第１の物体タイプの物体を検出するための方法８００を示し、シーンは、複数の画像フレーム中で追跡された複数の物体を含む。

【0078】

方法８００は、ビデオシーケンス中の各フレーム中のシーン中の追跡された物体を、第１の物体タイプを検出するように構成された第１のアルゴリズムにより分析することＳ８０２を含む。別の言い方をすれば、方法８００は、複数の画像フレームの各画像フレームについて、第１のアルゴリズムを使用して画像フレームを分析して、画像フレーム中の第１の物体タイプの物体を識別することであって、第１のアルゴリズムが、画像フレーム中で追跡された複数の物体の各物体について、物体が第１の物体タイプの物体である確率を計算し、第１のアルゴリズムが、物体が第１の物体タイプの物体であるかどうかを決定するための確率閾値を有する、画像フレーム中の第１の物体タイプの物体を識別することを含み得る。次いで、画像データが第１の物体タイプの物体の一部である確率と確率閾値との間の差分のインジケータが、物体に関連するインジケータのリストに格納される。

【0079】

本方法は、複数の画像フレームのうちの最後の画像フレーム中の第１の物体タイプの物体を検出するとき、第２のアルゴリズムを使用してビデオシーケンスの背景モデルを提供することＳ８０４をさらに含む。背景モデルは、シーン中の複数の領域の各領域について、第１の画像フレーム中の領域に対応する画像データが背景に属するのか前景に属するのかを定義し得る。

【0080】

本方法は、シーン中の各追跡された物体について、第１のアルゴリズムの分析に基づいて、追跡された物体が不確実な物体タイプステータスを有するかどうかを識別することＳ８０６をさらに含む。不確実な物体タイプステータスは、インジケータの関連するリストに基づき得る。

【0081】

本方法は、物体が不確実な物体タイプステータスを有する場合、第１の画像中の追跡された物体の物体タイプステータスを決定するために背景モデルをチェックすることＳ８０８をさらに含む。背景モデルは、背景モデルが、ビデオシーケンスの最後の画像中の物体に対応する画像データが第１の画像中の背景に属することを定義すると、物体が第１の物体タイプの物体ではないと決定することと、背景モデルが画像データを第１の画像中の前景に属するものとして定義すると、物体が第１の物体タイプの物体であると決定することとように使用され得る。

【0082】

いくつかの例では、物体が不確実な物体タイプステータスを有しない場合、第１のアルゴリズムによって行われる第１の画像の物体の分析が依拠されるＳ８１０。これは、第１のアルゴリズムが、物体が第１の物体タイプであると決定したとき、物体が第１の物体タイプであると決定することと、第１のアルゴリズムが、物体が第１の物体タイプではないと決定したとき、物体が第１の物体タイプではないと決定することとを意味し得る。

【0083】

いくつかの例では、本方法は、第１の画像中で、第１の物体タイプであると決定された物体をマスクまたは強調表示することＳ８１２を含む。

【0084】

図７～図８に示されている方法、ならびに本明細書で説明される任意の他の方法または機能性は、処理能力を有するデバイスまたはシステム上で命令が実行されたときに方法が実施されるように、非一時的コンピュータ可読記憶媒体に命令として記憶され得る。そのようなデバイスまたはシステムは、１つまたは複数のプロセッサを備え得る。したがって、本明細書で説明される特徴および方法は、データおよび命令をデータ記憶システムから受信し、データおよび命令をデータ記憶システムに送信するために結合された少なくとも１つのプログラマブルプロセッサと、画像フレーム／ビデオシーケンスをキャプチャするためのカメラなどの少なくとも１つの入力デバイスと、本明細書で説明される潜在的にマスクまたは強調表示された画像を表示するためのディスプレイなどの少なくとも１つの出力デバイスとを含み得るプログラマブルシステム上で実行可能である１つまたは複数のコンピュータプログラムにおいて有利に実施され得る。命令のプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサと専用マイクロプロセッサの両方と、任意の種類のコンピュータの単独のプロセッサまたは１つまたは複数のプロセッサもしくはコアとを含む。プロセッサは、ＡＳＩＣ（特定用途向け集積回路）によって補足されるか、またはＡＳＩＣに組み込まれ得る。

【0085】

上記の実施形態は、本発明の例示的な例として理解されるべきである。本発明のさらなる実施形態が想定される。例えば、本明細書で説明される技術は、例えば自律車両、スポーツ分析、監視およびセキュリティ、ならびに気象予報において使用される、任意の適切な物体分類システムにおいて採用され得る。任意の１つの実施形態に関連して説明された任意の特徴は、単独で、または説明された他の特徴と組み合わせて使用され得、また、実施形態の任意の他のものの１つまたは複数の特徴、または実施形態の任意の他のものの任意の組合せと組み合わせて使用され得ることを理解されたい。さらに、添付の特許請求の範囲において定義される本発明の範囲から逸脱することなく、上記で説明されていない均等物および修正が採用され得る。

【0086】

実施形態の列挙されたリスト
Ａ．シーンをキャプチャしたビデオシーケンス中の複数の画像フレームのうちの第１の画像フレーム中の第１の物体タイプの物体を検出するための方法であって、方法は、
複数の画像フレームの各画像フレームについて、
第１のアルゴリズムを使用して画像フレームを分析して、画像フレーム中の第１の物体タイプの物体を識別することであって、第１のアルゴリズムが、シーン中の複数の領域の各領域について、領域に対応する画像データが画像フレーム中の第１の物体タイプの物体の一部である確率を計算し、第１のアルゴリズムが、画像データが第１の物体タイプの物体の一部であるかどうかを決定するための確率閾値を有し、画像データが第１の物体タイプの物体の一部である確率と確率閾値との間の差分のインジケータを、領域に関連するインジケータのリストに格納する、画像フレーム中の第１の物体タイプの物体を識別することと、
第１の画像フレーム中の第１の物体タイプの物体を検出することであって、第１の画像フレームが複数の画像フレームのうちの最後の画像フレームである、第１の画像フレーム中の第１の物体タイプの物体を検出することと
を含み、検出することは、
ビデオシーケンスの背景モデルを提供することであって、背景モデルが、シーン中の複数の領域の各領域について、第１の画像フレーム中の領域に対応する画像データが背景に属するのか前景に属するのかを定義し、背景モデルが、第１のアルゴリズムとは異なる第２のアルゴリズムを複数の画像フレームのうちの少なくともいくつかに適用することによって定義される、ビデオシーケンスの背景モデルを提供することと、
シーンの各領域について、インジケータの関連するリストに基づいて、領域に対応する画像データが第１の画像中で不確実な物体タイプステータスを有するかどうかを識別することと、
画像データが、不確実な物体タイプステータスを有することを識別すると、
背景モデルが画像データを第１の画像中の背景に属するものとして定義したとき、画像データが第１の物体タイプの物体の一部ではないと決定することと、
背景モデルが画像データを第１の画像中の前景に属するものとして定義したとき、画像データが第１の物体タイプの物体の一部であると決定することと
を含む、方法。

【0087】

Ｂ．画像データを不確実な物体タイプステータスを有しないものとして識別すると、
第１のアルゴリズムが、画像データが第１の物体タイプの物体の一部であると決定したとき、画像データが第１の物体タイプの物体の一部であると決定するステップと、
第１のアルゴリズムが、画像データが第１の物体タイプの物体の一部ではないと決定したとき、画像データが第１の物体タイプの物体の一部ではないと決定するステップと
をさらに含む、実施形態Ａに記載の方法。

【0088】

Ｃ．画像データが第１の画像中に不確実な物体タイプステータスを有するかどうかを識別するステップは、
インジケータの関連するリストに基づいて、画像データが第１の物体タイプの物体の一部である確率と確率閾値との間の差分の絶対値が閾値差分を超えるかどうかを決定することと、
差分の絶対値が閾値差分を超えると、画像データが不確実な物体タイプステータスを有しないと決定することと、
差分が閾値距離を超えないと、正差分を示すインジケータの関連するリスト中のインジケータと、負差分を示すインジケータの関連するリスト中のインジケータとの間の分布測定値を決定することと、
分布測定値が不確実性範囲内に含まれる正差分と負差分との混合を示すと、画像データが不確実な物体タイプステータスを有すると決定し、そうでなければ、画像データが不確実な物体タイプステータスを有しないと決定することと
を含む、実施形態ＡからＢのいずれか１つに記載の方法。

【0089】

Ｄ．画像データが第１の画像中に不確実な物体タイプステータスを有するかどうかを識別するステップは、
正差分を示すインジケータの関連するリスト中のインジケータと、負差分を示すインジケータの関連するリスト中のインジケータとの間の分布測定値を決定することと、
分布測定値が不確実性範囲内に含まれる正差分と負差分との混合を示すと、画像データが不確実な物体タイプステータスを有すると決定し、そうでなければ、画像データが不確実な物体タイプステータスを有しないと決定することと
を含む、実施形態ＡからＢのいずれか１つに記載の方法。

【0090】

Ｅ．インジケータのリストがバイナリ値のリストであり、正差分がバイナリ値の第１の値によって示され、負差分がバイナリ値の第２の値によって示される、実施形態Ｄに記載の方法。

【0091】

Ｆ．不確実性範囲が、正差分を示すインジケータと負差分を示すインジケータとの２０／８０分布から８０／２０分布の間の混合を示す、実施形態ＣからＥのいずれか１つに記載の方法。

【0092】

Ｇ．第１のアルゴリズムが、画像内の物体の特徴を抽出し、それらを数のベクトルとして表すための特徴抽出プロセスを含む、実施形態ＡからＥのいずれか１つに記載の方法。

【0093】

Ｈ．第２のアルゴリズムが、動きベースの背景検出アルゴリズムである、実施形態ＡからＧのいずれか１つに記載の方法。

【0094】

Ｉ．領域に関連するインジケータのリストが、５～１５個の値を有するＦＩＦＯリストである、実施形態ＡからＨのいずれか１つに記載の方法。

【0095】

Ｊ．第１の画像中で、第１の物体タイプの物体の一部であると決定された画像データをマスクまたは強調表示することをさらに含む、実施形態ＡからＩのいずれか１つに記載の方法。

【0096】

Ｋ．カメラにおいて実施され、ビデオシーケンスがカメラによってキャプチャされたライブ・ビデオ・ストリームの一部である、実施形態ＡからＪのいずれか１つに記載の方法。

【0097】

Ｌ．シーンをキャプチャしたビデオシーケンス中の複数の画像フレームのうちの第１の画像フレーム中の第１の物体タイプの物体を検出するための方法であって、シーンが、複数の画像フレーム中で追跡された複数の物体を含み、方法は、
複数の画像フレームの各画像フレームについて、
第１のアルゴリズムを使用して画像フレームを分析して、画像フレーム中の第１の物体タイプの物体を識別することであって、第１のアルゴリズムが、画像フレーム中で追跡された複数の物体の各物体について、物体が第１の物体タイプの物体である確率を計算し、第１のアルゴリズムが、物体が第１の物体タイプの物体であるかどうかを決定するための確率閾値を有し、物体が第１の物体タイプの物体である確率と確率閾値との間の差分のインジケータを、物体に関連するインジケータのリストに格納する、画像フレーム中の第１の物体タイプの物体を識別することと、
第１の画像フレーム中の第１の物体タイプの物体を検出することであって、第１の画像フレームが複数の画像フレームのうちの最後の画像フレームである、第１の画像フレーム中の第１の物体タイプの物体を検出することと
を含み、検出することは、
ビデオシーケンスの背景モデルを提供することであって、背景モデルが、シーン中の複数の領域の各領域について、第１の画像フレーム中の領域に対応する画像データが背景に属するのか前景に属するのかを定義し、背景モデルが、第１のアルゴリズムとは異なる第２のアルゴリズムを複数の画像フレームのうちの少なくともいくつかに適用することによって定義される、ビデオシーケンスの背景モデルを提供することと、
第１の画像中で追跡された複数の物体の各物体について、物体に関連するインジケータのリストに基づいて、物体が不確実な物体タイプステータスを有するかどうかを識別することと、
物体が不確実な物体タイプステータスを有することを識別すると、
第１の画像中の物体に対応する画像データを決定することと、
背景モデルが画像データを第１の画像中の背景に属するものとして定義すると、物体が第１の物体タイプの物体ではないと決定することと、
背景モデルが画像データを第１の画像中の前景に属するものとして定義すると、物体が第１の物体タイプの物体であると決定することと
を含む、方法。

【0098】

Ｍ．追跡された物体の各々が、シーンのビデオシーケンスをキャプチャしたカメラから閾値距離を超えて位置する、実施形態Ｌに記載の方法。

【0099】

Ｎ．物体を不確実な物体タイプステータスを有しないものとして識別すると、
第１のアルゴリズムが、物体が第１の物体タイプの物体であると決定したとき、物体が第１の物体タイプの物体であると決定するステップと、
第１のアルゴリズムが、物体が第１の物体タイプの物体であると決定しなかったとき、物体が第１の物体タイプの物体ではないと決定するステップと
をさらに含む、実施形態ＬからＭのいずれか１つに記載の方法。

【0100】

Ｏ．物体が不確実な物体タイプステータスを有するかどうかを識別するステップは、
インジケータの関連するリストに基づいて、物体が第１の画像中の第１の物体タイプの物体である確率と確率閾値との間の差分の絶対値が閾値差分を超えるかどうかを決定することと、
差分の絶対値が閾値差分を超えると、物体が不確実な物体タイプステータスを有しないと決定することと、
差分が閾値距離を超えないと、正差分を示すインジケータの関連するリスト中のインジケータと、負差分を示すインジケータの関連するリスト中のインジケータとの間の分布測定値を決定することと、
分布測定値が不確実性範囲内に含まれる正差分と負差分との混合を示すと、物体が不確実な物体タイプステータスを有すると決定し、そうでなければ、物体が不確実な物体タイプステータスを有しないと決定することと
を含む、実施形態ＬからＮのいずれか１つに記載の方法。

【0101】

Ｐ．物体が不確実な物体タイプステータスを有するかどうかを識別するステップは、
正差分を示すインジケータの関連するリスト中のインジケータと、負差分を示すインジケータの関連するリスト中のインジケータとの間の分布測定値を決定することと、
分布測定値が不確実性範囲内に含まれる正差分と負差分との混合を示すと、物体が不確実な物体タイプステータスを有すると決定し、そうでなければ、物体が不確実な物体タイプステータスを有しないと決定することと
を含む、実施形態ＬからＮのいずれか１つに記載の方法。

【0102】

Ｑ．インジケータのリストがバイナリ値のリストであり、正差分がバイナリ値の第１の値によって示され、負差分がバイナリ値の第２の値によって示される、実施形態Ｐに記載の方法。

【0103】

Ｒ．不確実性範囲が、正差分を示すインジケータと負差分を示すインジケータとの２０／８０分布から８０／２０分布の間の混合を示す、実施形態ＯからＱのいずれか１つに記載の方法。

【0104】

Ｓ．第１のアルゴリズムが、画像内の物体の特徴を抽出し、それらを数のベクトルとして表すための特徴抽出プロセスを含む、実施形態ＬからＲのいずれか１つに記載の方法。

【0105】

Ｔ．第２のアルゴリズムが、動きベースの背景検出アルゴリズムである、実施形態ＬからＳのいずれか１つに記載の方法。

【0106】

Ｕ．物体に関連するインジケータのリストが、５～１５個の値を有するＦＩＦＯリストである、実施形態ＬからＴのいずれか１つに記載の方法。

【0107】

Ｖ．第１の画像中で、第１の物体タイプであると決定された物体をマスクまたは強調表示することをさらに含む、実施形態ＬからＵのいずれか１つに記載の方法。

【0108】

Ｘ．カメラにおいて実施され、ビデオシーケンスがカメラによってキャプチャされたライブ・ビデオ・ストリームの一部である、実施形態ＬからＶのいずれか１つに記載の方法。

【0109】

Ｙ．処理能力を有するデバイス上で実行されたとき、請求項ＡからＫのいずれか１つに記載の方法または請求項ＬからＸのいずれか１つに記載の方法を実施するための命令を記憶した、非一時的コンピュータ可読記憶媒体。

【0110】

Ｚ．シーンをキャプチャしたビデオシーケンス中の複数の画像フレームのうちの第１の画像フレーム中の第１の物体タイプの物体を検出するためのシステムであって、システムが、
１つまたは複数のプロセッサと、
１つまたは複数のプロセッサによって実行されたとき、システムに請求項ＡからＫのいずれか１つに記載の方法または請求項ＬからＸのいずれか１つに記載の方法を実行させるコンピュータ実行可能命令を記憶する１つまたは複数の非一時的コンピュータ可読媒体と
を備える、システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【外国語明細書】