知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024180311
(43)【公開日】2024-12-26
(54)【発明の名称】追跡される物体の色を決定するための方法
(51)【国際特許分類】
G06T 7/90 20170101AFI20241219BHJP
G06V 10/56 20220101ALI20241219BHJP
【ＦＩ】
G06T7/90 D
G06V10/56
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024089843
(22)【出願日】2024-06-03
(31)【優先権主張番号】23179223
(32)【優先日】2023-06-14
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】502208205
【氏名又は名称】アクシス アーベー
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】チェン， チエンタン
(72)【発明者】
【氏名】スタンビー， ヨハン
(72)【発明者】
【氏名】フェーボム， ヨーエル
(72)【発明者】
【氏名】ベルゲングリップ， ルーベン
(72)【発明者】
【氏名】ヨキ， マックス
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096CA02
5L096FA15
5L096FA18
5L096FA33
5L096FA35
5L096GA10
5L096GA30
5L096HA05
(57)【要約】 （修正有）
【課題】追跡される物体の色を決定するためのコンピュータ実装方法、システム及びソフトウェアを提供する。
【解決手段】方法は、第１のビデオシーケンスと、検出された前景物体とを使用して、シーン中の複数の各エリアについて、色レンダリングメトリックを決定し、該メトリックが、追跡される物体が第２のビデオシーケンスの異なる画像中で異なる色を有すると決定した場合、より低い色レンダリングメトリックに関連付けられたエリアよりも、より高い色レンダリングメトリックに関連付けられたエリア中で検出した色を選択する。
【選択図】図５
【解決手段】方法は、第１のビデオシーケンスと、検出された前景物体とを使用して、シーン中の複数の各エリアについて、色レンダリングメトリックを決定し、該メトリックが、追跡される物体が第２のビデオシーケンスの異なる画像中で異なる色を有すると決定した場合、より低い色レンダリングメトリックに関連付けられたエリアよりも、より高い色レンダリングメトリックに関連付けられたエリア中で検出した色を選択する。
【選択図】図５
【特許請求の範囲】
【請求項1】
追跡される物体の色を決定するためのコンピュータ実装方法であって、
シーンを示す第１のビデオシーケンスを提供するステップであって、前記第１のビデオシーケンスが複数の画像フレームを含む、第１のビデオシーケンスを提供するステップと、
前記複数の画像フレームの各画像フレームについて、前記画像フレーム中の前景物体を検出するステップと、
前記シーン中の複数のエリアの各エリアについて、前記第１のビデオシーケンスを分析するステップ、および前記シーンの前記エリアに関連付けられた物体色確率ベクトルを計算するステップであって、前記物体色確率ベクトルにおける各値が、あらかじめ定義された色のセットからの色に関係し、前記シーンの前記エリア中にある前景物体が前記色を有する確率を示す、前記第１のビデオシーケンスを分析するステップ、および前記シーンの前記エリアに関連付けられた物体色確率ベクトルを計算するステップと、
前記シーンの前記複数のエリアの各エリアについて、前記シーンの前記エリアに関連付けられた前記物体色確率ベクトルによって示された前記確率の変動性の測定値を計算するステップ、および変動性の前記測定値を前記シーンの前記エリアに関連付けるステップと、
前記シーンを示す第２のビデオシーケンスを提供するステップと、
前記第２のビデオシーケンス中の前景物体を追跡するステップであって、前記追跡される前景物体が、前記第２のビデオシーケンスの第１の画像フレーム中の前記シーン中の前記複数のエリアのうちの第１のエリア中に、および前記第２のビデオシーケンスの第２の画像フレーム中の前記シーン中の前記複数のエリアのうちの第２の異なるエリア中にある、前景物体を追跡するステップと、
前記第１の画像フレーム中の前記追跡される前景物体の色の第１のセットを決定するステップ、および前記第２の画像フレーム中の前記追跡される前景物体の色の第２の異なるセットを決定するステップと、
前記シーンの前記第１のエリアに関連付けられた変動性の前記測定値が、前記シーンの第２のエリアに関連付けられた変動性の前記測定値よりも低いと決定すると、前記追跡される前景物体の前記色が、色の前記第１のセットであると決定するステップ、および他の場合、前記追跡される前景物体の前記色が、色の第２のセットであると決定するステップと
を含み、
前記第１のビデオシーケンスおよび前記第２のビデオシーケンスが、前記シーン中で、同じ視野でカメラによってキャプチャされ、前記シーンのエリアが、前記第１のビデオシーケンスおよび前記第２のビデオシーケンスの前記画像フレーム中の同じピクセル領域に対応する、
または、
前記第１のビデオシーケンスおよび前記第２のビデオシーケンスが、前記シーン中で、変化する視野でカメラによってキャプチャされ、前記方法は、
カメラパラメータを使用して、前記シーンのエリアに対応する前記第１のビデオシーケンスまたは前記第２のビデオシーケンスからの画像フレーム中のピクセル領域を決定するステップであって、前記カメラパラメータが、パン、チルト、ロール、またはズームのうちの１つまたは複数を含む、ピクセル領域を決定するステップ
をさらに含む、コンピュータ実装方法。
シーンを示す第１のビデオシーケンスを提供するステップであって、前記第１のビデオシーケンスが複数の画像フレームを含む、第１のビデオシーケンスを提供するステップと、
前記複数の画像フレームの各画像フレームについて、前記画像フレーム中の前景物体を検出するステップと、
前記シーン中の複数のエリアの各エリアについて、前記第１のビデオシーケンスを分析するステップ、および前記シーンの前記エリアに関連付けられた物体色確率ベクトルを計算するステップであって、前記物体色確率ベクトルにおける各値が、あらかじめ定義された色のセットからの色に関係し、前記シーンの前記エリア中にある前景物体が前記色を有する確率を示す、前記第１のビデオシーケンスを分析するステップ、および前記シーンの前記エリアに関連付けられた物体色確率ベクトルを計算するステップと、
前記シーンの前記複数のエリアの各エリアについて、前記シーンの前記エリアに関連付けられた前記物体色確率ベクトルによって示された前記確率の変動性の測定値を計算するステップ、および変動性の前記測定値を前記シーンの前記エリアに関連付けるステップと、
前記シーンを示す第２のビデオシーケンスを提供するステップと、
前記第２のビデオシーケンス中の前景物体を追跡するステップであって、前記追跡される前景物体が、前記第２のビデオシーケンスの第１の画像フレーム中の前記シーン中の前記複数のエリアのうちの第１のエリア中に、および前記第２のビデオシーケンスの第２の画像フレーム中の前記シーン中の前記複数のエリアのうちの第２の異なるエリア中にある、前景物体を追跡するステップと、
前記第１の画像フレーム中の前記追跡される前景物体の色の第１のセットを決定するステップ、および前記第２の画像フレーム中の前記追跡される前景物体の色の第２の異なるセットを決定するステップと、
前記シーンの前記第１のエリアに関連付けられた変動性の前記測定値が、前記シーンの第２のエリアに関連付けられた変動性の前記測定値よりも低いと決定すると、前記追跡される前景物体の前記色が、色の前記第１のセットであると決定するステップ、および他の場合、前記追跡される前景物体の前記色が、色の第２のセットであると決定するステップと
を含み、
前記第１のビデオシーケンスおよび前記第２のビデオシーケンスが、前記シーン中で、同じ視野でカメラによってキャプチャされ、前記シーンのエリアが、前記第１のビデオシーケンスおよび前記第２のビデオシーケンスの前記画像フレーム中の同じピクセル領域に対応する、
または、
前記第１のビデオシーケンスおよび前記第２のビデオシーケンスが、前記シーン中で、変化する視野でカメラによってキャプチャされ、前記方法は、
カメラパラメータを使用して、前記シーンのエリアに対応する前記第１のビデオシーケンスまたは前記第２のビデオシーケンスからの画像フレーム中のピクセル領域を決定するステップであって、前記カメラパラメータが、パン、チルト、ロール、またはズームのうちの１つまたは複数を含む、ピクセル領域を決定するステップ
をさらに含む、コンピュータ実装方法。
【請求項2】
前記第２のビデオシーケンス中の前記追跡される前景物体のすべての発生を、決定された前記色でラベル付けするステップをさらに含む、請求項１に記載の方法。
【請求項3】
色の前記第１のセットおよび色の前記第２のセットの各々は、
単一の色値、
複数の色値、または
前記追跡される物体が前記色を有する確率に各々関連付けられた、複数の色値
のうちの１つを含む、請求項１に記載の方法。
単一の色値、
複数の色値、または
前記追跡される物体が前記色を有する確率に各々関連付けられた、複数の色値
のうちの１つを含む、請求項１に記載の方法。
【請求項4】
前記シーンの各エリアが、前記第１のビデオシーケンスおよび前記第２のビデオシーケンスの前記画像フレーム中の単一のピクセル座標に対応する、請求項１に記載の方法。
【請求項5】
前記画像フレーム中の前景物体を検出する前記ステップは、
前記画像フレーム中の各検出された前景物体のロケーションおよび範囲を決定することを含み、前記ロケーションおよび範囲が、
ピクセルマスク、またはバウンディングボックス
のうちの１つを含む、
請求項１に記載の方法。
前記画像フレーム中の各検出された前景物体のロケーションおよび範囲を決定することを含み、前記ロケーションおよび範囲が、
ピクセルマスク、またはバウンディングボックス
のうちの１つを含む、
請求項１に記載の方法。
【請求項6】
前記第１のビデオシーケンスを分析する前記ステップが、前記第１のビデオシーケンスの画像フレーム中の前記シーンの前記エリア中にある各前景物体について、
前記画像フレーム中の前記前景物体を示すピクセルデータから、前記前景物体の１つまたは複数の色を決定することと、
前記シーンの前記エリアに関連付けられた前記物体色確率ベクトルを計算するとき、決定された１つまたは複数の前記色を使用することと
を含む、請求項１に記載の方法。
前記画像フレーム中の前記前景物体を示すピクセルデータから、前記前景物体の１つまたは複数の色を決定することと、
前記シーンの前記エリアに関連付けられた前記物体色確率ベクトルを計算するとき、決定された１つまたは複数の前記色を使用することと
を含む、請求項１に記載の方法。
【請求項7】
前記第１のビデオシーケンスを分析する前記ステップが、前記第１のビデオシーケンスの画像フレーム中の前記シーンの前記エリア中にある各前景物体について、
前記前景物体が前記画像フレーム中で前記色を有する確率に各々関連付けられた、複数の色値を受信することと、
前記シーンの前記エリアに関連付けられた前記物体色確率ベクトルを計算するとき、前記複数の色値とそれらの関連付けられた確率とを使用することと
を含む、請求項１に記載の方法。
前記前景物体が前記画像フレーム中で前記色を有する確率に各々関連付けられた、複数の色値を受信することと、
前記シーンの前記エリアに関連付けられた前記物体色確率ベクトルを計算するとき、前記複数の色値とそれらの関連付けられた確率とを使用することと
を含む、請求項１に記載の方法。
【請求項8】
前記シーン中の前記複数のエリアのうちのエリアについて、物体色確率ベクトルを計算する前記ステップが、前記シーンの前記エリア中の前景物体の少なくともしきい値数を検出することを含む、請求項１に記載の方法。
【請求項9】
前記第１のビデオシーケンスが、ある日の第１の時間期間中にキャプチャされ、前記第２のビデオシーケンスが、その後の日の第２の時間期間中にキャプチャされ、前記第２の時間期間が、前記第１の時間期間内に完全に包含される、請求項１に記載の方法。
【請求項10】
変動性の前記測定値が、
変動の分散、標準偏差、平均絶対偏差、中央絶対偏差、または係数
のうちの少なくとも１つである、請求項９に記載の方法。
変動の分散、標準偏差、平均絶対偏差、中央絶対偏差、または係数
のうちの少なくとも１つである、請求項９に記載の方法。
【請求項11】
処理能力を有するデバイス上で実行されたとき、請求項１に記載の方法を実装するための命令を記憶した非一時的コンピュータ可読記憶媒体。
【請求項12】
１つまたは複数のプロセッサと、
第１のコンピュータ実行可能命令を記憶する１つまたは複数の非一時的コンピュータ可読媒体とを備えるシステムであって、前記第１のコンピュータ実行可能命令は、前記１つまたは複数のプロセッサによって実行されたとき、前記システムに、
シーンを示す第１のビデオシーケンスを提供することであって、前記第１のビデオシーケンスが複数の画像フレームを含む、第１のビデオシーケンスを提供することと、
前記複数の画像フレームの各画像フレームについて、前記画像フレーム中の前景物体を検出することと、
前記シーン中の複数のエリアの各エリアについて、前記第１のビデオシーケンスを分析すること、および前記シーンの前記エリアに関連付けられた物体色確率ベクトルを計算することであって、前記物体色確率ベクトルにおける各値が、あらかじめ定義された色のセットからの色に関係し、前記シーンの前記エリア中にある前景物体が前記色を有する確率を示す、前記第１のビデオシーケンスを分析すること、および前記シーンの前記エリアに関連付けられた物体色確率ベクトルを計算することと、
前記シーンの前記複数のエリアの各エリアについて、前記シーンの前記エリアに関連付けられた前記物体色確率ベクトルによって示された前記確率の変動性の測定値を計算すること、および変動性の前記測定値を前記シーンの前記エリアに関連付けることと、
前記シーンを示す第２のビデオシーケンスを提供することと、
前記第２のビデオシーケンス中の前景物体を追跡することであって、前記追跡される前景物体が、前記第２のビデオシーケンスの第１の画像フレーム中の前記シーン中の前記複数のエリアのうちの第１のエリア中に、および前記第２のビデオシーケンスの第２の画像フレーム中の前記シーン中の前記複数のエリアのうちの第２の異なるエリア中にある、前景物体を追跡することと、
前記第１の画像フレーム中の前記追跡される前景物体の色の第１のセットを決定すること、および前記第２の画像フレーム中の前記追跡される前景物体の色の第２の異なるセットを決定することと、
前記シーンの前記第１のエリアに関連付けられた変動性の前記測定値が、前記シーンの第２のエリアに関連付けられた変動性の前記測定値よりも低いと決定すると、前記追跡される前景物体の前記色が、色の前記第１のセットであると決定すること、および他の場合、前記追跡される前景物体の前記色が、色の第２のセットであると決定することと
を含むアクションを実施させ、
前記第１のビデオシーケンスおよび前記第２のビデオシーケンスが、前記シーン中で、同じ視野でカメラによってキャプチャされ、前記シーンのエリアが、前記第１のビデオシーケンスおよび前記第２のビデオシーケンスの前記画像フレーム中の同じピクセル領域に対応する、
または、
前記第１のビデオシーケンスおよび前記第２のビデオシーケンスが、前記シーン中で、変化する視野でカメラによってキャプチャされ、カメラパラメータを使用して、前記シーンのエリアに対応する前記第１のビデオシーケンスまたは前記第２のビデオシーケンスからの画像フレーム中のピクセル領域が決定され、前記カメラパラメータが、パン、チルト、ロール、またはズームのうちの１つまたは複数を含む、
システム。
第１のコンピュータ実行可能命令を記憶する１つまたは複数の非一時的コンピュータ可読媒体とを備えるシステムであって、前記第１のコンピュータ実行可能命令は、前記１つまたは複数のプロセッサによって実行されたとき、前記システムに、
シーンを示す第１のビデオシーケンスを提供することであって、前記第１のビデオシーケンスが複数の画像フレームを含む、第１のビデオシーケンスを提供することと、
前記複数の画像フレームの各画像フレームについて、前記画像フレーム中の前景物体を検出することと、
前記シーン中の複数のエリアの各エリアについて、前記第１のビデオシーケンスを分析すること、および前記シーンの前記エリアに関連付けられた物体色確率ベクトルを計算することであって、前記物体色確率ベクトルにおける各値が、あらかじめ定義された色のセットからの色に関係し、前記シーンの前記エリア中にある前景物体が前記色を有する確率を示す、前記第１のビデオシーケンスを分析すること、および前記シーンの前記エリアに関連付けられた物体色確率ベクトルを計算することと、
前記シーンの前記複数のエリアの各エリアについて、前記シーンの前記エリアに関連付けられた前記物体色確率ベクトルによって示された前記確率の変動性の測定値を計算すること、および変動性の前記測定値を前記シーンの前記エリアに関連付けることと、
前記シーンを示す第２のビデオシーケンスを提供することと、
前記第２のビデオシーケンス中の前景物体を追跡することであって、前記追跡される前景物体が、前記第２のビデオシーケンスの第１の画像フレーム中の前記シーン中の前記複数のエリアのうちの第１のエリア中に、および前記第２のビデオシーケンスの第２の画像フレーム中の前記シーン中の前記複数のエリアのうちの第２の異なるエリア中にある、前景物体を追跡することと、
前記第１の画像フレーム中の前記追跡される前景物体の色の第１のセットを決定すること、および前記第２の画像フレーム中の前記追跡される前景物体の色の第２の異なるセットを決定することと、
前記シーンの前記第１のエリアに関連付けられた変動性の前記測定値が、前記シーンの第２のエリアに関連付けられた変動性の前記測定値よりも低いと決定すると、前記追跡される前景物体の前記色が、色の前記第１のセットであると決定すること、および他の場合、前記追跡される前景物体の前記色が、色の第２のセットであると決定することと
を含むアクションを実施させ、
前記第１のビデオシーケンスおよび前記第２のビデオシーケンスが、前記シーン中で、同じ視野でカメラによってキャプチャされ、前記シーンのエリアが、前記第１のビデオシーケンスおよび前記第２のビデオシーケンスの前記画像フレーム中の同じピクセル領域に対応する、
または、
前記第１のビデオシーケンスおよび前記第２のビデオシーケンスが、前記シーン中で、変化する視野でカメラによってキャプチャされ、カメラパラメータを使用して、前記シーンのエリアに対応する前記第１のビデオシーケンスまたは前記第２のビデオシーケンスからの画像フレーム中のピクセル領域が決定され、前記カメラパラメータが、パン、チルト、ロール、またはズームのうちの１つまたは複数を含む、
システム。
【請求項13】
色マッチングシステムとフォレンジック検索アプリケーションとを備えるシステムであって、前記色マッチングシステムが、
１つまたは複数のプロセッサと、
第１のコンピュータ実行可能命令を記憶する１つまたは複数の非一時的コンピュータ可読媒体とを備え、前記第１のコンピュータ実行可能命令は、前記１つまたは複数のプロセッサによって実行されたとき、前記システムに、
シーンを示す第１のビデオシーケンスを提供することであって、前記第１のビデオシーケンスが複数の画像フレームを含む、第１のビデオシーケンスを提供することと、
前記複数の画像フレームの各画像フレームについて、前記画像フレーム中の前景物体を検出することと、
前記シーン中の複数のエリアの各エリアについて、前記第１のビデオシーケンスを分析すること、および前記シーンの前記エリアに関連付けられた物体色確率ベクトルを計算することであって、前記物体色確率ベクトルにおける各値が、あらかじめ定義された色のセットからの色に関係し、前記シーンの前記エリア中にある前景物体が前記色を有する確率を示す、前記第１のビデオシーケンスを分析すること、および前記シーンの前記エリアに関連付けられた物体色確率ベクトルを計算することと、
前記シーンの前記複数のエリアの各エリアについて、前記シーンの前記エリアに関連付けられた前記物体色確率ベクトルによって示された前記確率の変動性の測定値を計算すること、および変動性の前記測定値を前記シーンの前記エリアに関連付けることと、
前記シーンを示す第２のビデオシーケンスを提供することと、
前記第２のビデオシーケンス中の前景物体を追跡することであって、前記追跡される前景物体が、前記第２のビデオシーケンスの第１の画像フレーム中の前記シーン中の前記複数のエリアのうちの第１のエリア中に、および前記第２のビデオシーケンスの第２の画像フレーム中の前記シーン中の前記複数のエリアのうちの第２の異なるエリア中にある、前景物体を追跡することと、
前記第１の画像フレーム中の前記追跡される前景物体の色の第１のセットを決定すること、および前記第２の画像フレーム中の前記追跡される前景物体の色の第２の異なるセットを決定することと、
前記シーンの前記第１のエリアに関連付けられた変動性の前記測定値が、前記シーンの第２のエリアに関連付けられた変動性の前記測定値よりも低いと決定すると、前記追跡される前景物体の前記色が、色の前記第１のセットであると決定すること、および他の場合、前記追跡される前景物体の前記色が、色の第２のセットであると決定することと、
第１の色値を含む検索要求を受信することと、
前記第１の色値が、前記前景物体について決定された色にマッチすると決定することと、
前記前景物体に少なくとも部分的に基づいて検索応答を返すことと
を含むアクションを実施させ、
前記フォレンジック検索アプリケーションが、
１つまたは複数のプロセッサと、
第２のコンピュータ実行可能命令を記憶する１つまたは複数の非一時的コンピュータ可読媒体とを備え、前記第２のコンピュータ実行可能命令が、前記１つまたは複数のプロセッサによって実行されたとき、前記フォレンジック検索アプリケーションに、
前記第１の色値を含む前記検索要求を前記色マッチングシステムに提供することと、
前記色マッチングシステムから検索応答を受信することと、
前記検索応答からのデータをユーザに表示することと
を含むアクションを実施させ、
前記第１のビデオシーケンスおよび前記第２のビデオシーケンスが、前記シーン中で、同じ視野でカメラによってキャプチャされ、前記シーンのエリアが、前記第１のビデオシーケンスおよび前記第２のビデオシーケンスの前記画像フレーム中の同じピクセル領域に対応する、
または、
前記第１のビデオシーケンスおよび前記第２のビデオシーケンスが、前記シーン中で、変化する視野でカメラによってキャプチャされ、カメラパラメータを使用して、前記シーンのエリアに対応する前記第１のビデオシーケンスまたは前記第２のビデオシーケンスからの画像フレーム中のピクセル領域が決定され、前記カメラパラメータが、パン、チルト、ロール、またはズームのうちの１つまたは複数を含む、
システム。
１つまたは複数のプロセッサと、
第１のコンピュータ実行可能命令を記憶する１つまたは複数の非一時的コンピュータ可読媒体とを備え、前記第１のコンピュータ実行可能命令は、前記１つまたは複数のプロセッサによって実行されたとき、前記システムに、
シーンを示す第１のビデオシーケンスを提供することであって、前記第１のビデオシーケンスが複数の画像フレームを含む、第１のビデオシーケンスを提供することと、
前記複数の画像フレームの各画像フレームについて、前記画像フレーム中の前景物体を検出することと、
前記シーン中の複数のエリアの各エリアについて、前記第１のビデオシーケンスを分析すること、および前記シーンの前記エリアに関連付けられた物体色確率ベクトルを計算することであって、前記物体色確率ベクトルにおける各値が、あらかじめ定義された色のセットからの色に関係し、前記シーンの前記エリア中にある前景物体が前記色を有する確率を示す、前記第１のビデオシーケンスを分析すること、および前記シーンの前記エリアに関連付けられた物体色確率ベクトルを計算することと、
前記シーンの前記複数のエリアの各エリアについて、前記シーンの前記エリアに関連付けられた前記物体色確率ベクトルによって示された前記確率の変動性の測定値を計算すること、および変動性の前記測定値を前記シーンの前記エリアに関連付けることと、
前記シーンを示す第２のビデオシーケンスを提供することと、
前記第２のビデオシーケンス中の前景物体を追跡することであって、前記追跡される前景物体が、前記第２のビデオシーケンスの第１の画像フレーム中の前記シーン中の前記複数のエリアのうちの第１のエリア中に、および前記第２のビデオシーケンスの第２の画像フレーム中の前記シーン中の前記複数のエリアのうちの第２の異なるエリア中にある、前景物体を追跡することと、
前記第１の画像フレーム中の前記追跡される前景物体の色の第１のセットを決定すること、および前記第２の画像フレーム中の前記追跡される前景物体の色の第２の異なるセットを決定することと、
前記シーンの前記第１のエリアに関連付けられた変動性の前記測定値が、前記シーンの第２のエリアに関連付けられた変動性の前記測定値よりも低いと決定すると、前記追跡される前景物体の前記色が、色の前記第１のセットであると決定すること、および他の場合、前記追跡される前景物体の前記色が、色の第２のセットであると決定することと、
第１の色値を含む検索要求を受信することと、
前記第１の色値が、前記前景物体について決定された色にマッチすると決定することと、
前記前景物体に少なくとも部分的に基づいて検索応答を返すことと
を含むアクションを実施させ、
前記フォレンジック検索アプリケーションが、
１つまたは複数のプロセッサと、
第２のコンピュータ実行可能命令を記憶する１つまたは複数の非一時的コンピュータ可読媒体とを備え、前記第２のコンピュータ実行可能命令が、前記１つまたは複数のプロセッサによって実行されたとき、前記フォレンジック検索アプリケーションに、
前記第１の色値を含む前記検索要求を前記色マッチングシステムに提供することと、
前記色マッチングシステムから検索応答を受信することと、
前記検索応答からのデータをユーザに表示することと
を含むアクションを実施させ、
前記第１のビデオシーケンスおよび前記第２のビデオシーケンスが、前記シーン中で、同じ視野でカメラによってキャプチャされ、前記シーンのエリアが、前記第１のビデオシーケンスおよび前記第２のビデオシーケンスの前記画像フレーム中の同じピクセル領域に対応する、
または、
前記第１のビデオシーケンスおよび前記第２のビデオシーケンスが、前記シーン中で、変化する視野でカメラによってキャプチャされ、カメラパラメータを使用して、前記シーンのエリアに対応する前記第１のビデオシーケンスまたは前記第２のビデオシーケンスからの画像フレーム中のピクセル領域が決定され、前記カメラパラメータが、パン、チルト、ロール、またはズームのうちの１つまたは複数を含む、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、シーンを示すビデオシーケンス中の追跡される物体の色を決定することに関し、詳細には、変動する照明（ｌｉｇｈｔｉｎｇ）条件で、シーンを示すビデオシーケンス中の追跡される物体の色を決定することに関する。
【背景技術】
【0002】
色かぶり（ｃｏｌｏｕｒ ｃａｓｔ）は、画像に広がる特定の色の全体的な色合い、通常、特定の照明条件の結果を指す。この現象の変形態、一様でない色かぶりは、画像の異なるエリア中に現れる異なる色合いを指す。これは、異なる色温度をもつ多様な光源が、シーンの異なる側面を照らすときに起こり得る。たとえば、屋外設定では、昼光と街路照明とが共存し、混合照明条件を作り出し得る。昼光は、シーンのいくつかの部分上に、より冷たい、より青い光を落とすことができ、街路照明は、他の部分上に、より温かい、黄色がかった光を加え得る。これに加えて、影も、局所的色かぶりをもたらすことがある。影における光の色は、しばしば、直接光とは異なり、一様でない色かぶりの原因となる。
【0003】
一様でない色かぶりが扱うのに重要である適用例の一例は、監視システムにおけるもの、特に、オペレータが、特定の色の物体の位置を特定するために、ビデオシーケンスを検査するときである。関心項目を識別するために、複数のビデオシーケンスを手動で入念に調べることは、冗長であるとともに、時間もかかり得る。この問題点を緩和するために、自動ビデオ分析ツールが、概して、ビデオシーケンスを分析するために採用される。これらのツールは、シーケンス中の物体を検出し、検出された物体に、物体タイプ、サイズ、および速度など、属性で注釈を付けることができる。これらの特徴は、次いで、たとえば、フォレンジック検索アプリケーション（ｆｏｒｅｎｓｉｃ ｓｅａｒｃｈ ａｐｐｌｉｃａｔｉｏｎ）において、特定の関心物体を検索するとき、オペレータによって利用され得る。画像またはビデオシーケンス中の物体を検索するときの重要な特徴は、物体の色である。しかしながら、物体の見掛けの色が、自然光源および人工光源など、周囲光源によって影響を及ぼされることになり、これは、画像中の物体の色の誤った印象を生じ得る。これの一例は、黄色の街灯下の白い車であり、これは、そのシーンをキャプチャする画像中の車の色が、白ではなく黄色になることを生じ得る。
【0004】
さらなる問題は、シーン中の照明条件が、アクティブな人工光源の配置、時刻、時期、気象条件、建築物、植生など、多くの異なる理由に基づいて変動することである。これは、画像中でキャプチャされた物体の実際の色または自然色を正確に決定することを困難にし、これは、物体の色に基づいて物体を検索する可能性に悪影響を及ぼし得る。
【0005】
米国特許出願第２００７／１５４０８８号が、いくつかの標準的な観察、照明および検知条件下で知覚される物体の色として定義される、物体の頑健な知覚色または真の色を決定することを目的とした、デジタル画像における色識別について説明している。
【0006】
ＣＮ１０７ ２９２ ９３３が、色を決定するためにニューラルネットワークを使用することについて説明している。
【0007】
Ｔｈｉｅｒｒｙ Ｂｏｕｗｍａｎｓら、「Ｏｎ ｔｈｅ ｒｏｌｅ ａｎｄ ｔｈｅ ｉｍｐｏｒｔａｎｃｅ ｏｆ ｆｅａｔｕｒｅｓ ｆｏｒ ｂａｃｋｇｒｏｕｎｄ ｍｏｄｅｌｌｉｎｇ ａｎｄ ｆｏｒｅｇｒｏｕｎｄ ｄｅｔｅｃｔｉｏｎ」、Ａｒｘｉｖ．ｏｒｇ、コーネル大学図書館、２０１６年１１月２８日、ＸＰ０８０７３５０２３が、検出の目的でのモデル化および色分散について説明している。
【0008】
したがって、このコンテキストにおける改善の必要がある。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】米国特許出願第２００７／１５４０８８号
【特許文献2】ＣＮ１０７ ２９２ ９３３
【非特許文献】
【0010】
【非特許文献1】Ｔｈｉｅｒｒｙ Ｂｏｕｗｍａｎｓら、「Ｏｎ ｔｈｅ ｒｏｌｅ ａｎｄ ｔｈｅ ｉｍｐｏｒｔａｎｃｅ ｏｆ ｆｅａｔｕｒｅｓ ｆｏｒ ｂａｃｋｇｒｏｕｎｄ ｍｏｄｅｌｌｉｎｇ ａｎｄ ｆｏｒｅｇｒｏｕｎｄ ｄｅｔｅｃｔｉｏｎ」、Ａｒｘｉｖ．ｏｒｇ、コーネル大学図書館、２０１６年１１月２８日、ＸＰ０８０７３５０２３
【発明の概要】
【0011】
上記に鑑みて、添付の独立請求項において記載されているように、上記で説明された欠点のうちの１つまたはいくつかを解決すること、またはそれらを少なくとも低減することが、有益であることになる。
【0012】
本発明の第１の態様によれば、追跡される物体の色を決定するためのコンピュータ実装方法であって、シーンを示す第１のビデオシーケンスを提供するステップであって、第１のビデオシーケンスが複数の画像フレームを含む、第１のビデオシーケンスを提供するステップと、複数の画像フレームの各画像フレームについて、画像フレーム中の前景物体を検出するステップと、シーン中の複数のエリアの各エリアについて、第１のビデオシーケンスを分析するステップ、およびシーンのエリアに関連付けられた物体色確率ベクトル（ｏｂｊｅｃｔ ｃｏｌｏｕｒ ｐｒｏｂａｂｉｌｉｔｙ ｖｅｃｔｏｒ）を計算するステップであって、物体色確率ベクトルにおける各値が、あらかじめ定義された色のセットからの色に関係し、シーンのエリア中にある前景物体が色を有する確率を示す、第１のビデオシーケンスを分析するステップ、およびシーンのエリアに関連付けられた物体色確率ベクトルを計算するステップと、シーンの複数のエリアの各エリアについて、シーンのエリアに関連付けられた物体色確率ベクトルによって示された確率の変動性の測定値を計算するステップ、および変動性の測定値をシーンのエリアに関連付けるステップとを含む、コンピュータ実装方法が提供される。
【0013】
本方法は、シーンを示す第２のビデオシーケンスを提供することと、第２のビデオシーケンス中の前景物体を追跡することであって、追跡される前景物体が、第２のビデオシーケンスの第１の画像フレーム中のシーン中の複数のエリアのうちの第１のエリア中に、および第２のビデオシーケンスの第２の画像フレーム中のシーン中の複数のエリアのうちの第２の異なるエリア中にある、前景物体を追跡することと、第１の画像フレーム中の追跡される前景物体の色の第１のセットを決定すること、および第２の画像フレーム中の追跡される前景物体の色の第２の異なるセットを決定することと、シーンの第１のエリアに関連付けられた変動性の測定値が、シーンの第２のエリアに関連付けられた変動性の測定値よりも低いと決定すると、追跡される前景物体の（１つまたは複数の）色が、色の第１のセットであると決定すること、および他の場合、追跡される前景物体の（１つまたは複数の）色が、色の第２のセットであると決定することとをさらに含む。
【0014】
「物体色確率ベクトル」は、シーンの特定のエリアに関連付けられた数学的表現である。このベクトル内の各値は、色のあらかじめ定義されたセットからの色に対応する。色のあらかじめ定義されたセットは、たとえば、８つの色、１２個の色、１６個の色などを含み得る。色のあらかじめ定義されたセットの粒度は、一般に、アプリケーションに依存する。たとえば、セット中の青のあまりに多くの濃淡は、たとえば、フォレンジック検索アプリケーションにおいて物体を検索するとき、実際の青色を指定するのに困難を生じ、したがって、検索におけるフォールスネガティブのリスクを増加させ得る。一方、あまりに少ない色は、物体が有することができる青のすべての濃淡が色「青」に該当し得るので、フォールスポジティブの増加を生じ得る。物体色確率ベクトルにおける各値は、シーンのその特定のエリア内にある前景物体が対応する色を所有する見込みまたは確率を示し、すなわち、シーンのエリア中の前景物体がその値に対応する色のものであることになる推定された見込みを示す。物体色確率ベクトルにおける各値は、確率を直接または間接的に表し得ることに留意されたい。直接的表現は、たとえば、割合、たとえば、色「淡い黄色」をもつ物体が、シーンのエリア中で発生することになるという２３％の確率を含み得る。間接的表現は、たとえば、シーンのエリア中で検出された対応する色をもつ物体の数、たとえば、シーンのエリア中で検出された、たとえば、色「濃い赤」をもつ１５個の物体を含み得る。そのような間接的表現は、色「濃い赤」をもつ物体がシーンのエリア中で発生する実際の確率を決定するために、物体色確率ベクトルにおける他の値と比較される必要があり、たとえば、シーンのエリア中で検出された合計７３個の物体のうちの１５個が、色「濃い赤」を有し、２０．５％の確率を生じる。
【0015】
「変動性の測定値」という用語は、本明細書のコンテキストにおいて、データのセット（物体色確率ベクトル）がどのくらい広がっているかを指す統計的用語として解釈されるべきである。その用語は、データセットにおける相違点または非類似度の程度を示し、データセットにおける数が、平均値（または中心点）から、および互いから、どのくらい「変動する」かの感覚を提供する。物体色確率ベクトルにおけるすべての数（すなわち、確率）が、互いにおよび平均値に近い場合、変動性は低い。それらの数が広範囲に広がる場合、変動性は高い。たとえば、値［０．２，０．３，０．３，０．２］を含む物体色確率ベクトルについての変動性の測定値は、値［０．１，０．７，０．１，０．１］を含む物体色確率ベクトルについての変動性の測定値よりも低い。詳細には、物体が多種多様な色を呈するシーンのエリア中では、変動性の測定値は、しばしば、より低い。これは、多数の色が、確率分布に等しく寄与し、色スペクトルにわたる一様な表現を反映することによるものである。測定値は、異なる色をもつ複数の物体に基づく集約である。その結果、色変動が莫大で偏りのないとき、関連付けられた確率は収束する傾向があり、単一の色が全体的測度に顕著に影響を及ぼすことがないので、より低い変動性につながる。
【0016】
上記で説明されたように、物体の見掛けの色が、自然光源および人工光源など、周囲光源によって影響を及ぼされることになる。たとえば、シーンのエリアが黄色光によって照らされた場合、画像によってキャプチャされた、シーンのそのエリア中の物体の見掛けの色は、物体の自然色が黄色でなくても、黄色のほうへシフトし得る。別の例では、シーンのエリアが、建築物によって影にされる。画像によってキャプチャされたシーンのそのエリア中の物体の見掛けの色は、物体の自然色が濃くなくても、より濃い色（たとえば、濃い赤、濃い青、黒など）のほうへシフトし得る。光源および／または影が、特定の濃淡（上記で説明された色かぶり）のほうへ物体の見掛けの色を歪めるか、または、物体の見掛けの色に影響を及ぼし得る、シーン中のそのようなエリアについて、変動性の測定値は、より自然の光をもつシーン中のエリアについてよりも大きくなることになる。たとえば、黄色の街路ランプによる黄色の色かぶりがある場合、ランプの下の白い車は、ランプからの黄色光が車に反射しているので、黄色がかったように見えることになる。同様に、青い車は、黄色光と組み合わせられた車の青が、緑がかった色を生じるので、黄色光の下でより緑がかったように見えることになる。したがって、（画像によってキャプチャされた）シーンのエリア中にある前景物体が黄色または緑色を有することを決定される確率は、増加し得、シーンのエリア中にある前景物体が白色または青色を有することを決定される確率は、減少し得、自然光のみをもつシーンのエリアと比較して、黄色の街路ランプの下のシーンのエリアについて、変動性の増加された測定値を生じる。
【0017】
発明者は、追跡される物体がシーンを通って移動する間に、その物体について色（１つまたは複数の色）の異なるセットが決定された場合、その物体について（１つまたは複数の）色を決定するために、変動性のそのような測定値が使用され得ることを了解した。変動性は、シーンをキャプチャするビデオシーケンス（またはいくつかのビデオシーケンス）中で前景物体を検出することと、シーンの異なるエリア中にある物体の色を決定するために、ビデオシーケンスの画像データを使用することとによって、構成（トレーニング）段階中に決定される。
【0018】
上記で説明されたように、シーンのエリアに関連付けられた変動性のより低い測定値は、そのエリア中にある物体の色が、変動性のより高い測定値に関連付けられたエリアと比較して、シーンをキャプチャする画像中でより正確にレンダリングされ得ることを指す。したがって、変動性の測定値は、シーンの特定のエリアに関連付けられた色レンダリングメトリックとして使用され得る。「色レンダリングメトリック」という用語は、理想的なまたは自然光源と比較して、様々な物体の色を正確にあらわにするための、（１つまたは複数の）光源（すなわち、シーンのエリアを照らし、場合によっては、影などを生じる他の物体によって影響を及ぼされる光源）の能力の定量的測度を指す。変動性のより低い測定値は、より高い色レンダリングメトリックを生じ、その逆も同様である。
【0019】
したがって、構成段階中に決定された変動性は、本明細書で説明されるように、シーンを通って移動する物体の「実際の」色を判断するために、シーンをキャプチャするさらなるビデオシーケンスのために使用され得る。有利には、物体について最も可能性がある色（色のセット）が、決定され得る。
【0020】
いくつかの実施形態では、第２のビデオシーケンス中の追跡される前景物体のすべての発生が、（１つまたは複数の）決定された色でラベル付けされる。有利には、上記で説明されたように、見掛けの色がその自然色から離れて歪められたシーンのエリア中にあるときの前景物体を示す画像も、第２のビデオシーケンス中でその特定の色の物体を検索するときにフラグを付けられ得る。
【0021】
いくつかの実施形態では、色の第１のセットおよび色の第２のセットの各々は、単一の色値、複数の色値、または追跡される物体が色を有する確率に各々関連付けられた、複数の色値のうちの１つを含む。たとえば、色のセットは、物体を示す入力ピクセルデータに基づいて、追跡される物体が色を有する確率に各々関連付けられた、複数の色値を出力するようにトレーニングされたニューラルネットワークを使用して決定され得る。複数の色値は、一般に、あらかじめ定義された色のセットに限定される。別の例では、物体を示すピクセルデータは、平均色を計算するために使用され、たとえば、ＲＧＢピクセルデータからのすべての赤値、緑値、および青値を、別々に合計し、次いで、ピクセルの数で除算して、平均の赤値、緑値、および青値を取得し得る。得られたＲＧＢ値は、次いで、単一の色値として使用され得る。別の実施形態では、物体について複数の色値（最も一般的な色）を決定するために、同様の色を一緒にグループ化する色量子化またはクラスタリングが使用され得る。
【0022】
第１のビデオシーケンスおよび第２のビデオシーケンスが、シーン中で、同じ視野でカメラによってキャプチャされる場合、シーンのエリアが、第１のビデオシーケンスおよび第２のビデオシーケンスの画像フレーム中の同じピクセル領域に対応する。シーンのエリアの粒度は、アプリケーションの要件および制限に依存する。たとえば、シーンのより少ないエリアは、より少ない計算リソースが、方法を実装するために使用されることを生じ得る。一方、シーン中のエリアの数を増加させることは、有利な照明をもつシーンのエリアを見つける見込みが増加し得るので、（前景物体の（１つまたは複数の）決定された色の）より正確な最終結果を生じ得る。いくつかの実施形態では、シーンの各エリアは、第１のビデオシーケンスおよび第２のビデオシーケンスの画像フレーム中の単一のピクセル座標に対応する。
【0023】
第１のビデオシーケンスおよび第２のビデオシーケンスが、シーン中で、変化する視野でカメラによってキャプチャされる場合、本方法は、カメラパラメータを使用して、シーンのエリアに対応する第１のビデオシーケンスまたは第２のビデオシーケンスからの画像フレーム中のピクセル領域を決定するステップをさらに含み、カメラパラメータは、パン、チルト、ロール、またはズームのうちの１つまたは複数を含む。したがって、本明細書で説明される技法は、移動しているカメラによってキャプチャされたビデオに対してても使用され得る。
【0024】
いくつかの実施形態では、画像フレーム中の前景物体を検出するステップは、画像フレーム中の各検出された前景物体のロケーションおよび範囲を決定することを含み、ロケーションおよび範囲は、ピクセルマスク、またはバウンディングボックスのうちの１つを含む。ロケーションおよび範囲は、物体をシーンのあるエリアにマッピングするために使用され得る。物体のバウンディングボックス／ピクセルマスクが、シーンの２つ以上のエリアと少なくとも部分的に重複する場合、物体の色は、これらのエリアの各々に関連付けられた物体色確率ベクトルに寄与し得る。
【0025】
いくつかの実施形態では、第１のビデオシーケンスを分析するステップは、第１のビデオシーケンスの画像フレーム中のシーンのエリア中にある各前景物体について、画像フレーム中の前景物体を示すピクセルデータから、前景物体の１つまたは複数の色を決定することと、シーンのエリアに関連付けられた物体色確率ベクトルを計算するとき、決定された１つまたは複数の色を使用することとを含む。たとえば、物体を示すピクセルデータは、平均色を計算するために使用され、たとえば、ＲＧＢピクセルデータからのすべての赤値、緑値、および青値を、別々に（またはＨＳＶ、ＣＩＥなどの他の色空間について同様に）合計し、次いで、ピクセルの数で除算して、平均の赤値、緑値、および青値を取得し得る。得られたＲＧＢ値は、次いで、単一の色値として使用され得る。別の実施形態では、物体について複数の色値（最も一般的な色）を決定するために、同様の色を一緒にグループ化する色量子化技法またはクラスタリング技法が使用され得る。前景物体について決定された１つまたは複数の色は、すべて、あらかじめ定義された色のセットの一部であり得る。色量子化技法は、物体の色をあらかじめ定義された色のうちの１つにマッピングするために使用され得る。シーンのエリアに関連付けられた物体色確率ベクトルは、次いで、前景物体の決定された１つまたは複数の色を使用して、たとえば、その１つまたは複数の色の各々についての物体カウントを更新することによって、またはその１つまたは複数の色に基づいて確率を再計算することによって更新され得る。
【0026】
例では、第１のビデオシーケンスを分析するステップは、第１のビデオシーケンスの画像フレーム中のシーンのエリア中にある各前景物体について、前景物体が画像フレーム中で色を有する確率に各々関連付けられた、複数の色値を受信することと、シーンのエリアに関連付けられた物体色確率ベクトルを計算するとき、複数の色値とそれらの関連付けられた確率とを使用することとを含む。複数の色値は、前景物体を示す入力ピクセルデータに基づいて、追跡される物体が色を有する確率に各々関連付けられた、複数の色値を出力するようにトレーニングされたニューラルネットワークから受信され得る。複数の色値は、一般に、あらかじめ定義された色のセットに限定される。シーンのエリアに関連付けられた物体色確率ベクトルは、次いで、色値とそれらのそれぞれの関連付けられた確率とを使用して更新され得る。
【0027】
いくつかの例では、シーン中の複数のエリアのうちのエリアについて、物体色確率ベクトルを計算するステップは、シーンのエリア中の前景物体の少なくともしきい値数を検出することを含む。いくつかの実施形態では、複数の前景物体クラスの各前景物体クラスの少なくともしきい値数が、検出される必要がある。したがって、シーンのエリアについて代表的な物体色確率ベクトルを決定するために、シーンのエリア中にある十分な数の物体が分析され得る。しきい値数は、アプリケーションの要件、ならびにビデオシーケンスによってキャプチャされたシーンに依存する。たとえば、しきい値数は、５０、１００、１３０、２１０、４５０などであり得る。
【0028】
実施形態では、第１のビデオシーケンスは、ある日の第１の時間期間中にキャプチャされ、第２のビデオシーケンスは、その後の日の第２の時間期間中にキャプチャされ、第２の時間期間は、第１の時間期間内に完全に包含される。有利には、物体色確率ベクトルの構成／トレーニング段階の照明条件は、物体色確率ベクトルが使用されるときの照明条件にうまく適合し得る。本明細書で説明される技法は、有利には、昼光時間中にキャプチャされるビデオのために使用され得、なぜなら、これは、物体の真の色が画像によってキャプチャされるように、シーンのエリアのうちの少なくともいくつかが照らされる可能性を増加させるからである。したがって、いくつかの実施形態では、第１のビデオシーケンス（および第２のビデオシーケンス）は、昼光時間中にキャプチャされる。
【0029】
いくつかの例では、変動性の測定値は、変動の分散、標準偏差、平均絶対偏差、中央絶対偏差、または係数のうちの少なくとも１つである。
【0030】
本発明の第２の態様によれば、上記の目的は、処理能力を有するデバイス上で実行されたとき、第１の態様による方法を実装するための命令を記憶した非一時的コンピュータ可読記憶媒体によって達成される。
【0031】
本発明の第３の態様によれば、上記の目的は、１つまたは複数のプロセッサと、第１のコンピュータ実行可能命令を記憶する１つまたは複数の非一時的コンピュータ可読媒体とを備えるシステムであって、第１のコンピュータ実行可能命令が、１つまたは複数のプロセッサによって実行されたとき、システムに、添付の特許請求の範囲において詳述されるアクションを実施させる、システムによって達成される。
【0032】
本発明の第４の態様によれば、上記の目的は、添付の特許請求の範囲において詳述される、色マッチングシステムとフォレンジック検索アプリケーションとを備えるシステムによって達成される。
【0033】
有利には、フォレンジック検索アプリケーションは、その場合、物体を検索するために使用され得、検索要求が、第１の色値を含む。第１の色値は、追跡される前景物体について決定された（１つまたは複数の）色と比較され得、第１の色値が、本明細書で説明される技法を使用して、前景物体について決定された色にマッチすると決定された場合、追跡される前景物体に少なくとも部分的に基づいて、検索応答が返され得る。実際の検索応答の詳細は、フォレンジック検索アプリケーションの要件に基づき得る。たとえば、検索応答は、検索要求の色値にマッチする色を有する物体が見つけられた画像、または物体が検出されたビデオストリームの時間スパン、または物体が検出されたタイムスタンプ、物体のライセンスプレート、物体の面（ｆａｃｅ）などを含み得る。
【0034】
第２、第３および第４の態様は、概して、第１の態様と同じ特徴および利点を有し得る。さらに、本開示は、別段に明記されていない限り、特徴のすべての可能な組合せに関することに留意されたい。
【図面の簡単な説明】
【0035】
【図1】光源および他の物体が、シーンをキャプチャする画像中で一様でない色かぶりを生じ得る、シーンを示す図である。
【図5】実施形態による、追跡される物体の色を決定するための方法のフローチャートを示す図である。
【発明を実施するための形態】
【0036】
画像中の物体の色が、物体によって吸収および反射される光の量、したがって物体の知覚される色を決定する、物体の材料および表面特性によって決定され得る。画像中の物体の色は、さらに、カメラ設定（ホワイトバランス、色プロファイルなど）と画像後処理とによって影響を及ぼされ得る。これらの特性は、一般に、カメラの所有者によって制御可能であり得る。制御するのが困難であり得る特性は、特に、カメラがシーンを連続的にキャプチャしている監視状況において、画像またはビデオをキャプチャするときの光源および照明条件である。光源および照明条件は、シーンの画像中の物体の検出された（見掛けの、知覚された、など）色に対して大きい影響を有し得、これは、色が、時刻、時期、気象条件などに応じて、ならびに、画像をキャプチャするときにシーン中のどこに物体があるかに応じて、別様に知覚され得ることを意味する。これは、たとえば、物体の色に基づくフォレンジック検索アプリケーションにおいて、または、物体の色を知ることが重要である他のアプリケーションにおいて、物体を検索するときに問題を引き起こし得る。
【0037】
本開示は、シーン中の照明が一様でないとき、シーンのビデオシーケンス中の追跡される物体の色を決定するための方法、システム、およびソフトウェアを提供することを目的とする。一様でない照明は、本明細書で説明されるように、シーンを示す画像中で一様でない色かぶりを引き起こし、それにより、画像の異なる部分が異なる色合いを有し得る。
【0038】
図１は、シーン１００が一様でない照明を含む、シナリオを示す。シーン１００は、車両１０８のための道路を含む。したがって、シーン１００は、シーン１００を通って移動する物体１０８を含む。シーン１００は、太陽１０２および空からの自然照明、ならびに街路ランプ１０６からの人工照明の両方をさらに含む。シーンは、シーン１００の一部分にわたって影を落とす木１０４をも含む。
【0039】
したがって、示されたシーン１００は、一意の照明条件によって各々区別された、少なくとも３つのエリア１０２ａ～１０２ｃに分割され得る。第１のエリア１０２ａは、木によって濃淡を付けられる。第２のエリア１０２ｂは、街路ランプ１０６によって明るくされる。最後に、第３のエリア１０２ｃは、太陽１０２と空からの拡散光の両方からの直射日光にさらされる。
【0040】
図１に示されているシーンは、説明しやすいように簡略化されていることと、実際には、シーンは、一般に、シーンの異なるエリアの照明条件に影響を及ぼすより多くの物体および／または光源を含むこととに留意されたい。
【0041】
道路上で移動している車両１０８は、シーン１００をキャプチャする画像／ビデオストリームによって示されたとき、シーン１００のどのエリアが（そのエリア中にある）物体の最も正確な色を生じるかを決定するために利用され得る。次に、シーンのエリアについての色レンダリングメトリックを計算するプロセスが、図２および図５とともに説明される。
【0042】
図５は、追跡される物体の色を決定する方法５００のフローチャートを示す。方法は、トレーニング／構成段階Ｓ５０２～Ｓ５０８と、実装段階Ｓ５１０～Ｓ５１６とを含む。トレーニング段階は、次に、図２とともに説明される。
【0043】
【0044】
ビデオシーケンス２０４の画像フレームは、各々、背景物体（背景）と前景物体２０６とを含む。前景物体２０６は、この簡略化された例では、シーン中で移動している車両１０８である。
【0045】
ビデオシーケンス２０４の複数の画像フレームの各画像フレームについて、Ｓ５０４において、画像フレーム中の前景物体２０６を検出するために、物体検出器２１２が使用される。任意の好適なタイプの物体検出器、ニューラルネットワークベース技法と非ニューラルネットワークベース技法の両方が、使用され得る。ニューラルネットワークベース技法は、ＹＯＬＯ（一度見るだけでよい（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ））、ＳＳＤ（シングルショットマルチボックス検出器）、ＤＥＴＲ（トランスフォーマによるエンドツーエンド検出）、およびＦａｓｔｅｒ Ｒ－ＣＮＮ（領域ベース畳み込みニューラルネットワーク）など、モデルを使用した畳み込みニューラルネットワークを使用することを含む。他のニューラルネットワークベース技法は、ＬＳＴＭ（長短期メモリ）およびＧＲＵ（ゲート付きリカレントユニット）ネットワークを含む。非ニューラルネットワークベース技法は、配向勾配のヒストグラム（ＨＯＧ：Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）と、スケール不変特徴変換（ＳＩＦＴ：Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）と、高速化ロバスト特徴（ＳＵＲＦ：Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）とを含む。
【0046】
検出された前景物体２０６は、色確率計算器２１４に送られる。色確率計算器２１４は、シーンをシーンのエリアに分割すること、またはシーンのエリアを示すデータを受信することを行うように構成され得る。
【0047】
シーン１００をキャプチャする固定カメラ２０２の場合、シーンの各エリアは、ビデオシーケンス２０４の画像フレーム中の同じピクセル領域に対応する。たとえば、シーンの各エリアは、ビデオシーケンスの画像フレームの１０＊１０ピクセル領域、または２０＊２０ピクセル領域、または３０＊２０ピクセル領域、または任意の好適なサイズのピクセル領域に対応し得る。いくつかの実施形態では、シーンの各エリアは、ビデオシーケンス２０４の画像フレーム中の単一のピクセル座標に対応する。シーンのエリアは、いくつかの実施形態では、シーンの照明条件の分析に基づいて決定され得る。他の実施形態では、シーンのエリアは、シーンの背景のセマンティックセグメンテーションに基づいて決定され得る。
【0048】
ビデオシーケンスが、シーン中で、変化する視野でカメラによってキャプチャされる場合（図２に図示せず）、カメラパラメータを使用して、シーンのエリアに対応するビデオシーケンスからの画像フレーム中のピクセル領域が決定され、カメラパラメータは、パン、チルト、ロール、またはズームのうちの１つまたは複数を含む。
【0049】
【0050】
シーンの各エリアについて、色確率計算器は、Ｓ５０６において、シーンのエリア１０２ａ～１０２ｃに関連付けられた物体色確率ベクトル２０８ａ～２０８ｃを計算し得る。物体色確率ベクトル２０８ａ～２０８ｃにおける各値は、あらかじめ定義された色のセットからの色に関係し、シーンのエリア１０２ａ～１０２ｃ中にある前景物体２０６が色を有する確率を示す。
【0051】
あらかじめ定義された色は、本明細書で説明されるシステムの要件に基づいて構成され得る。たとえば、あらかじめ定義された色は、１０～２５個の異なる色、または５～１０個の色を含み得る。色の数の増加は、本明細書で説明されるシステムおよび技法の長いトレーニング段階を必要とし得る。これは、代表的な物体色確率ベクトル２０８ａ～２０８ｃを計算するためにシーンの特定のエリア中で検出された前景物体のしきい値数が、あらかじめ定義された色の数と相関し得るからである。一方、（以下でさらに説明されるように）色決定のためにシーンの最も好適なエリアを決定することの正確さは、あらかじめ定義された色の数が増加する場合、増加し得る。したがって、いくつかの実施形態では、シーン１００中の複数のエリア１０２ａ～１０２ｃのうちのエリアについて、物体色確率ベクトル２０８ａ～２０８ｃを計算することは、シーンのエリア中の前景物体２０６の少なくともしきい値数を検出することを含む。しきい値数は、あらかじめ定義された色の数、一般に時間間隔ごとのシーン１００中にある移動している物体１０８の数、そのような物体１０８の色の変動性などに依存し得る。
【0052】
ビデオシーケンス中の前景物体２０６の（１つまたは複数の）色を決定することは、任意の好適な色決定アルゴリズムで実装され得る。いくつかの実施形態では、第１のビデオシーケンスを分析するステップは、第１のビデオシーケンスの画像フレーム中のシーンのエリア中にある各前景物体について、画像フレーム中の前景物体のピクセルデータから、前景物体の１つまたは複数の色を決定することと、シーンのエリアに関連付けられた物体色確率ベクトルを計算するとき、決定された１つまたは複数の色を使用することとを含む。特定の前景物体２０６のために使用すべきピクセルデータは物体検出器２１２によって決定され得、これは、各画像フレーム中の各検出された前景物体２０６のロケーションおよび範囲を決定し得、ロケーションおよび範囲は、ピクセルマスク、またはバウンディングボックスのうちの１つを含む。したがって、そのようなピクセルデータは、ピクセルデータの１つまたは複数の色を決定するために分析され得る。たとえば、色のヒストグラムが決定され、あらかじめ決定された色にマッピングされ得る。同じ色または同様の色をもつ、ピクセルデータ中の最も多くのピクセルを有するあらかじめ決定された色が、物体の色として選定され得る。いくつかの場合には、２つ以上の色、たとえば、ピクセルデータ中の最も一般的な色が、物体について決定される。あらかじめ決定された色へのピクセルデータの色のマッピングは、「最も近い」色を選定するために、ピクセルデータの色を、あらかじめ決定された色の間の色の各々と比較することを伴い得る。最も近い、の定義は、色空間に基づいて変動し得るが、概して、マッピングすべき色とあらかじめ決定された色の各々との間のユークリッド距離を計算することが十分であり得る。（たとえば、ある割合しきい値を上回る）十分なピクセルが、十分に同様のもの（たとえば、距離しきい値を下回る距離）である場合、物体は、関連するあらかじめ決定された色を有すると決定され得る。シーンのエリア中にある物体について決定された色は、その色についての、（物体がその中にあるシーンのエリアに関連付けられた）物体色確率ベクトルにおける「チック（ｔｉｃｋ）」（値／カウントの増加）を取得し得る。トレーニング段階の後に、シーンのあるエリアについての物体色確率ベクトルは、（５つのあらかじめ決定された色、黒、白、青、赤、緑）：［４６，１２０，６６，４０，２３］のようなものであり得、これは、確率：［０．１６，０．４１，０．２２，０．１３，０．０８］に変換され得る。シーンの別のエリアについて、その数は、上記で説明された照射（ｉｌｌｕｍｉｎａｔｉｏｎ）条件に基づいて異なり得る。
【0053】
他の実施形態では、物体の色を決定するために、ニューラルネットワークが使用され得る。たとえば、ニューラルネットワークは、物体がある色を有する確率を決定するようにトレーニングされ得る。トレーニングは、トレーニングデータを使用することを伴い得、各トレーニングデータは、あらかじめ決定された色のうちの１つまたは複数でラベル付けされた、ピクセルのセットを含む。ニューラルネットワークは、ピクセルの特定のセットについて、（あらかじめ決定された色の間で）正しい色をどのように識別すべきかを学習するために、このトレーニングデータを使用し得る。ニューラルネットワークを使用することからの出力は、前景物体が画像フレーム中で色を有する確率に各々関連付けられた、複数の色値であり得る。たとえば、濃い青の物体についての出力が、（５つのあらかじめ決定された色、黒、白、青、赤、緑について）以下の確率：［０．３０，０．０１，０．６，０．０５，０．０４］を生じ得る。そのようなベクトルは、物体確率ベクトル２０８ａ～２０８ｃの値に加算するかまたはその値を再計算するために使用され得る。たとえば、物体確率ベクトル２０８ａ～２０８ｃは、ベクトル中のすべての個々の値の和の合計値１（１００％）を常に有するように正規化され得る。いくつかの実施形態では、ある入力物体についてのしきい値確率を上回るニューラルネットワークからの出力における確率を有するあらかじめ決定された色の間の色は、上記で説明されたように、その色についての物体色確率ベクトルにおける「チック」（値／カウントの増加）を取得し得る。
【0054】
いくつかの実施形態では、物体は、たとえば、物体のサイズがシーンのエリアのサイズよりも大きいとき、同時に、シーンの２つ以上のエリア中にある。そのような場合、ビデオシーケンスの画像フレーム中の物体の（１つまたは複数の）決定された色は、２つ以上の物体確率ベクトルに影響を及ぼし得る。たとえば、上述のように、画像フレーム中の前景物体を検出するステップは、画像フレーム中の各検出された前景物体のロケーションおよび範囲を決定することを含み、ロケーションおよび範囲は、ピクセルマスク、またはバウンディングボックスのうちの１つを含む。そのような例では、画像フレーム中で検出された物体のピクセルマスク／バウンディングボックスによって少なくとも部分的に重複されたシーンのすべてのエリアが、その物体について決定された色によって影響を及ぼされ得る。
【0055】
図２の例では、あらかじめ決定された色の数は、３つである。（シーン１００中の木１０４によって影にされた）エリア１０２ａについての物体確率ベクトル２０８ａは、［０．１，０．１，０．８］であると決定される。（シーン１００中の街灯１０６によって照らされた）エリア１０２ｂについての物体確率ベクトル２０８ｂは、［０．２，０．７，０．１］であると決定される。（シーン１００中の太陽１０２と空からの拡散光の両方からの直射日光にさらされた）エリア１０２ｃについての物体確率ベクトル２０８ｃは、［０．３，０．３，０．４］であると決定される。
【0056】
色確率計算器２１４は、Ｓ５０８において、シーンのエリアに関連付けられた物体色確率ベクトルによって示された確率の変動性の測定値２１０ａ～２１０ｃを計算するようにさらに構成される。上記で説明されたように、変動性の測定値は、「色レンダリングメトリック」、たとえば、理想的なまたは自然光源と比較して、様々な物体の色を正確にあらわにするための、シーンのエリア中の（１つまたは複数の）光源（すなわち、シーンのエリアを照らし、場合によっては、影などを生じる他の物体によって影響を及ぼされる光源）の能力の定量的測度、として使用され得る。
【0057】
図２では、変動性の測定値２１０ａ～２１０ｃは、それぞれの物体確率ベクトル２０８ａ～２０８ｃの分散を使用して計算される。他の実施形態では、変動の標準偏差、平均絶対偏差、中央絶対偏差または係数など、他の測定値が使用され得る。いずれの場合も、より低い、シーンのエリアの変動性の測定値（物体がそれぞれのあらかじめ決定された色を有する確率の間のより少ない変動性）が、物体の「真の」色を決定するための好適な照射をもつシーンのエリアを示し、なぜなら、低い変動性は、シーンのそのエリアにおいてシーンをキャプチャする画像データが、シーンのそのエリアにおいてキャプチャされた物体の色分布を歪めるやり方で色合いをつけられていないことを示すからである。
【0058】
図２では、影にされたエリア１０２ａの分散２１０ａは０．１０９であり、街灯の照らされたエリア１０２ｂの分散２１０ｂは０．０８９であり、自然光で照らされたシーンのエリア１０２ｃの分散２１０ｃは０．００２である。したがって、シーンの第３のエリア１０２ｃは、物体の「真の」色を決定するのに（３つのエリア１０２ａ～１０２ｃの間で）最も好適であり得る。
【0059】
図３は、図２において計算されたメトリックが、図１からのシーン１００を示す第２のビデオシーケンス３０２のためにどのように使用されるかを示す。次に、メトリックの使用法が、図５に示されている方法５００の実装段階Ｓ５１０～Ｓ５１６とともに説明される。
【0060】
Ｓ５１０において、シーン１００を示す第２のビデオシーケンス３０２が提供される。図３では、第２のビデオシーケンス３０２は、３つの画像フレーム３０４ａ～３０４ｃを含む。画像フレーム３０４ａ～３０４ｃは、シーン中で移動している前景物体３０６を示す。画像フレーム３０４ａ～３０４ｃは、検出された前景物体を追跡するための物体追跡器３０８に入力される。たとえば、オプティカルフロー、カルマンフィルタ処理、粒子フィルタ、相関フィルタ、または特徴を抽出するためのＣＮＮと動きを予測するためのカルマンフィルタとを使用するＤｅｅｐ ＳＯＲＴ（深層関連付けメトリックによる単純なオンラインおよびリアルタイム追跡）アルゴリズムなどを使用した、古典的なコンピュータビジョン技法から現代の深層学習手法に及ぶ、ビデオシーケンス中の物体を追跡するために使用されるいくつかの技法がある。
【0061】
前景物体３０６は、Ｓ５１２において、物体追跡器３０８によって第２のビデオシーケンス３０２中で追跡され得る。追跡される前景物体３０６は、第２のビデオシーケンスの第１の画像フレーム３０４ａ中のシーン中の複数のエリア１０２ａ～１０２ｃのうちの第１のエリア１０２ａ中に、第２の画像フレーム３０４ｂ中のシーン中の複数のエリアのうちの第２の異なるエリア１０２ｂ中に、および第３の画像フレーム３０４ｃ中のシーン中の複数のエリアのうちの第３の異なるエリア１０２ｃ中にある。
【0062】
図３のシステムは、追跡される物体３０６の（１つまたは複数の）色を決定するために使用され得る、色決定構成要素３１０をさらに備える。図２において計算されたシーンの各エリア１０２ａ～１０２ｃについての変動性の測定値２１０ａ～２１０ｃが、色決定構成要素３１０に入力され得る。色決定構成要素３１０は、Ｓ５１２において、（シーンの第１のエリア１０２ａ中にあるとき）第１の画像フレーム３０４ａ～３０４ｃ中の追跡される前景物体３０６の色の第１のセットを決定し、（シーンの第２のエリア１０２ｂ中にあるとき）第２の画像フレーム３０４ｂ中の追跡される前景物体３０６の色の第２の異なるセットを決定し、（シーンの第３のエリア１０２ｃ中にあるとき）第３の画像フレーム３０４ｃ中の追跡される前景物体３０６の色の第３の異なるセットを決定するように構成され得る。色の異なるセットは、上記で説明されたように決定され得る。したがって、色のセットは、単一の色値、複数の色値、または追跡される物体が色を有する確率に各々関連付けられた、複数の色値のうちの１つを含み得る。
【0063】
変動性の測定値２１０ａ～２１０ｃを使用して、色決定構成要素３１０は、Ｓ５１６において、色のセットの間で選択し得る。より詳細には、色決定構成要素３１０は、物体が、変動性の同等のより低い測定値をもつシーンのエリア中にあるとき、その物体について決定された色のセットを選択し得る。したがって、色決定構成要素３１０は、追跡される物体３０６の（１つまたは複数の）色３１０が、物体３０６が、変動性の同等のより低い測定値をもつシーンのエリア中にあるとき、物体３０６について決定された色のセットであると決定し得る。この場合、追跡される物体３０６の（１つまたは複数の）色３１０は、第３の画像フレーム３０４ｃ中の物体３０６について決定された色のセット、すなわち、色の第３のセットであると決定される。
【0064】
いくつかの実施形態では、色決定構成要素３１０は、第２のビデオシーケンス３０２中の追跡される前景物体３０６のすべての発生を、（１つまたは複数の）決定された色３１０でラベル付けされるように構成され得る。これは、（図２～図３とともに上記で説明された）色マッチングシステム４０４と、フォレンジック検索アプリケーション４０２とを備えるシステムにおいて、特に有利であり得る。色マッチングシステム４０４は、上記で説明された構成要素２１２、２１４、３０８、３１０を備え得、（図２とともに上記で説明された）第１のビデオシーケンス中の検出された物体を使用して決定されたシーン中のエリアの変動性の測定値に基づいて、（図３とともに上記で説明された）第２のビデオシーケンス中の追跡される物体の（１つまたは複数の）色を決定する機能を実装するように構成され得る。色マッチングシステム４０４は、第１の色値を含む検索要求４０８を受信することと、第１の色値が、前景物体について決定された色にマッチすると決定することと、前景物体に少なくとも部分的に基づいて検索応答４０６を返すこととを行うようにさらに構成され得る。
【0065】
フォレンジック検索アプリケーション４０２は、第１の色値を含む検索要求４０８を色マッチングシステム４０４に提供することと、色マッチングシステム４０４から検索応答４０６を受信することと、検索応答からのデータをユーザに表示することとを行うように構成され得る。
【0066】
色マッチングシステム４０４は、例では、カメラなどの単一のデバイスにおいて実装され得る。他の例では、異なる構成要素（モジュール、ユニットなど）２１２、２１４、３０８、３１０の一部または全部が、サーバにおいて、または、クラウドにおいて実装され得る。概して、構成要素２１２、２１４、３０８、３１０を実装するデバイス（カメラ、サーバなど）は、構成要素２１２、２１４、３０８、３１０、およびより詳細には、それらの機能を実装するように構成された回路を備え得る。色マッチングシステム４０４およびフォレンジック検索アプリケーション４０２における説明された特徴は、有利には、データ記憶システムと、カメラなどの少なくとも１つの入力デバイスと、いくつかの場合には、ディスプレイなどの少なくとも１つの出力デバイスとからデータおよび命令を受信し、それらにデータおよび命令を送信するように結合された少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能である１つまたは複数のコンピュータプログラムにおいて実装され得る。命令のプログラムの実行のための好適なプロセッサは、例として、汎用マイクロプロセッサと専用マイクロプロセッサの両方と、任意の種類のコンピュータの唯一のプロセッサあるいは複数のプロセッサまたはコアのうちの１つとを含む。それらのプロセッサは、ＡＳＩＣ（特定用途向け集積回路）によって補われるか、またはＡＳＩＣに組み込まれ得る。
【0067】
上記の実施形態は、本発明の例示的な例として理解されるべきである。本発明のさらなる実施形態が想定される。たとえば、トレーニング段階は、一日の特定の時間スパン、特定の時期、特定の気象状況などに関係し得る。異なる時間期間／気象などについて決定された変動性の測定値は、記憶され、同様の時間期間／気象条件が発生したとき、たとえば、図３の色決定構成要素３１０において実装され得る。いくつかの実施形態では、シーンのエリアの変動性の測定値は、定期的にリセットまたは再較正される。
【0068】
いずれか１つの実施形態に関して説明された任意の特徴は、単独で、または説明された他の特徴と組み合わせて使用され得、また、実施形態のうちの任意の他のもの、または実施形態のうちの任意の他のものの任意の組合せの、１つまたは複数の特徴と組み合わせて使用され得ることを理解されたい。さらに、上記で説明されていない等価物および修正も、添付の特許請求の範囲において定義されている本発明の範囲から逸脱することなく採用され得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【外国語明細書】