特許7346535映像に対するオブジェクト検出方法及びオブジェクト検出システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-08
(45)【発行日】2023-09-19
(54)【発明の名称】映像に対するオブジェクト検出方法及びオブジェクト検出システム
(51)【国際特許分類】
G06T 7/215 20170101AFI20230911BHJP
【ＦＩ】
G06T7/215
【請求項の数】
24
【外国語出願】
(21)【出願番号】P 2021206538
(22)【出願日】2021-12-20
(65)【公開番号】P2023091670
(43)【公開日】2023-06-30
【審査請求日】2022-02-04
(73)【特許権者】
【識別番号】390023582
【氏名又は名称】財團法人工業技術研究院
【氏名又は名称原語表記】ＩＮＤＵＳＴＲＩＡＬ ＴＥＣＨＮＯＬＯＧＹ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ
【住所又は居所原語表記】Ｎｏ．１９５，Ｓｅｃ．４，ＣｈｕｎｇＨｓｉｎｇＲｄ．，Ｃｈｕｔｕｎｇ，Ｈｓｉｎｃｈｕ，Ｔａｉｗａｎ ３１０４０
(74)【代理人】
【識別番号】100124039
【弁理士】
【氏名又は名称】立花 顕治
(74)【代理人】
【識別番号】100207217
【弁理士】
【氏名又は名称】樋口 智夫
(72)【発明者】
【氏名】王 莉珮
(72)【発明者】
【氏名】李 宇哲
(72)【発明者】
【氏名】李 冠徳
(72)【発明者】
【氏名】▲黄▼ 名嘉
(72)【発明者】
【氏名】林 宏軒
【審査官】藤原 敬利
(56)【参考文献】
【文献】特表２０１８－５０８０７８（ＪＰ，Ａ）
【文献】特開平０５－２２７４６３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００ － １／４０
Ｇ０６Ｔ ３／００ － ９／４０
Ｇ０６Ｖ １０／００ －２０／９０
Ｈ０４Ｎ ５／２２２－ ５／２５７
Ｈ０４Ｎ ２３／００ －２３／９５９
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
複数の連続画像のうちの現在画像を受信するステップと、前記現在画像内のオブジェクト選択範囲をフィルタリングすることにより、背景範囲を取得するステップと、
前記オブジェクト選択範囲に対応する複数の選択範囲動きベクトルと、前記背景範囲に対応する複数の背景動きベクトルとの複数の類似度を比較し、これによって、前記オブジェクト選択範囲内のオブジェクト前景範囲及びオブジェクト背景範囲を取得するステップであって、
前記オブジェクト前景範囲は、複数のオブジェクト前景動きベクトルを有し、
前記オブジェクト背景範囲は、複数のオブジェクト背景動きベクトルを有する、
ステップと、
前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの数と、前記オブジェクト背景範囲に対応する前記オブジェクト背景動きベクトルの数とを比較するステップと、
前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの数が前記オブジェクト背景範囲に対応する前記オブジェクト背景動きベクトルの数よりも多い場合、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの前景動き傾向を算出するステップと、
前記現在画像内の前記オブジェクト選択範囲を、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの前記前景動き傾向、又は前記背景範囲に対応する前記背景動きベクトルの背景動き傾向に従って更新するステップと、
を含む、映像に対するオブジェクト検出方法。
【請求項2】
前記現在画像に対してオブジェクト認識手順を実施する必要があるかどうかを判定するステップと、前記現在画像に対して前記オブジェクト認識手順を実施する必要がない場合、前記連続画像のうちの先行画像に従って、前記現在画像における前記オブジェクト選択範囲を取得するステップと、
を含む、請求項１に記載の映像に対するオブジェクト検出方法。
【請求項3】
前記現在画像に対して前記オブジェクト認識手順を実施する必要があるかどうかが、所定の許容経過時間に従って判定される、請求項２に記載の映像に対するオブジェクト検出方法。
【請求項4】
前記現在画像に対して前記オブジェクト認識手順を実施する必要があるかどうかが、実行画像の許容数に応じて判定される、請求項２に記載の映像に対するオブジェクト検出方法。
【請求項5】
前記背景範囲に対応する前記背景動きベクトルの前記背景動き傾向を、多数決アルゴリズム、投票アルゴリズム、線形回帰アルゴリズム、又は補間アルゴリズムを用いて算出するステップをさらに含む、請求項１に記載の映像に対するオブジェクト検出方法。
【請求項6】
前記オブジェクト選択範囲に対応する前記選択範囲動きベクトルと、前記背景範囲に対応する前記背景動きベクトルとの前記類似度を比較する前記ステップでは、前記選択範囲動きベクトルのうちの少なくとも１つが、前記背景範囲に対応する前記背景動きベクトルの前記背景動き傾向と類似していない場合、前記オブジェクト選択範囲からの前記選択範囲動きベクトルのうちの少なくとも１つに従って、前記オブジェクト前景範囲が取得される、請求項１に記載の映像に対するオブジェクト検出方法。
【請求項7】
前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの数が前記オブジェクト背景範囲に対応する前記オブジェクト背景動きベクトルの数よりも多い場合、前記前景動き傾向に従って前記現在画像内の前記オブジェクト選択範囲が更新され、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの数が前記オブジェクト背景範囲に対応する前記オブジェクト背景動きベクトルの数よりも少ない場合、前記背景動き傾向に従って前記現在画像内の前記オブジェクト選択範囲が更新される、請求項１に記載の映像に対するオブジェクト検出方法。
【請求項8】
前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの前記前景動き傾向を算出する前記ステップでは、所定の距離範囲条件又はオブジェクトの特性条件に従って選択される前記オブジェクト前景動きベクトルの一部が、前記前景動き傾向を算出するために使用される、請求項１に記載の映像に対するオブジェクト検出方法。
【請求項9】
前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの前記前景動き傾向を算出する前記ステップでは、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの前記前景動き傾向を取得するために、多数決アルゴリズム、投票アルゴリズム、線形回帰アルゴリズム、又は内部差分アルゴリズムが実行される、請求項１に記載の映像に対するオブジェクト検出方法。
【請求項10】
前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの前記前景動き傾向を算出する前記ステップでは、前記オブジェクト前景動きベクトルがデフォルトの外れ値と比較され、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの前記前景動き傾向が、前記デフォルトの外れ値よりも小さい前記オブジェクト前景動きベクトルの一部に従って取得される、請求項１に記載の映像に対するオブジェクト検出方法。
【請求項11】
前記現在画像内の前記オブジェクト選択範囲を更新する前記ステップを実行した後、前記オブジェクト検出方法が、前記オブジェクト選択範囲がある精度条件を満たしているかどうかを判定するステップと、
前記オブジェクト選択範囲が前記精度条件を満たしていない場合には、前記オブジェクト認識手順を実施することにより、前記現在画像内の前記オブジェクト選択範囲を更新するステップと、
をさらに含む、請求項２に記載の映像に対するオブジェクト検出方法。
【請求項12】
前記オブジェクト認識手順を実施する前記ステップでは、前記精度条件に従って前記現在画像から部分画像領域が選択され、また、前記部分画像領域に対して前記オブジェクト認識手順が実施され、その結果、前記部分画像領域内で前記オブジェクト選択範囲が更新される、請求項１１に記載の映像に対するオブジェクト検出方法。
【請求項13】
複数の連続画像のうちの現在画像を受信するように構成されている、受信部と、前記受信部に接続されている範囲定義部であって、前記範囲定義部が、前記現在画像内のオブジェクト選択範囲をフィルタリングして背景範囲を取得し、かつ前記オブジェクト選択範囲に対応する複数の選択範囲動きベクトルと、前記背景範囲に対応する複数の背景動きベクトルとの複数の類似度を比較し、これによって、前記オブジェクト選択範囲内のオブジェクト前景範囲及びオブジェクト背景範囲を取得するように構成され、
前記オブジェクト前景範囲は、複数のオブジェクト前景動きベクトルを有し、
前記オブジェクト背景範囲は、複数のオブジェクト背景動きベクトルを有する、
範囲定義部と、
前記範囲定義部に接続されている比較部であって、前記比較部が、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの数と、前記オブジェクト背景範囲に対応する前記オブジェクト背景動きベクトルの数とを比較するように構成されている、比較部と、
前記比較部及び前記範囲定義部に接続されている傾向分析部であって、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの数が前記オブジェクト背景範囲に対応する前記オブジェクト背景動きベクトルの数よりも多い場合、前記傾向分析部が、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの前景動き傾向を算出する、傾向分析部と、
前記傾向分析部及び前記比較部に接続されている更新部であって、前記更新部が、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの前記前景動き傾向、又は前記背景範囲に対応する前記背景動きベクトルの背景動き傾向に従って、前記現在画像内の前記オブジェクト選択範囲を更新するように構成されている、更新部と、
を備える、映像に対するオブジェクト検出システム。
【請求項14】
オブジェクト認識手順を実施するように構成されているオブジェクト認識部と、前記受信部及び前記オブジェクト認識部に接続されているオブジェクト認識判定部であって、前記オブジェクト認識判定部は、前記現在画像に対して前記オブジェクト認識部が前記オブジェクト認識手順を実施する必要があるかどうかを判定するように構成されている、オブジェクト認識判定部と、
前記オブジェクト認識判定部及び前記範囲定義部に接続されているオブジェクト選択部であって、前記現在画像に対して、前記オブジェクト認識部が前記オブジェクト認識手順を実施する必要がない場合、前記オブジェクト選択部が、前記連続画像のうちの先行画像に従って、前記現在画像における前記オブジェクト選択範囲を取得する、オブジェクト選択部と、
をさらに備える、請求項１３に記載の映像に対するオブジェクト検出システム。
【請求項15】
前記オブジェクト認識判定部が、所定の許容経過時間に従って、前記現在画像に対して前記オブジェクト認識部が前記オブジェクト認識手順を実施する必要があるかどうかを判定している、請求項１４に記載の映像に対するオブジェクト検出システム。
【請求項16】
前記オブジェクト認識判定部は、実行画像の許容数に応じて、前記現在画像に対して前記オブジェクト認識部が前記オブジェクト認識手順を実施する必要があるかどうかを判定している、請求項１４に記載の映像に対するオブジェクト検出システム。
【請求項17】
前記傾向分析部が、前記背景範囲に対応する前記背景動きベクトルの前記背景動き傾向を、多数決アルゴリズム、投票アルゴリズム、線形回帰アルゴリズム、又は補間アルゴリズムを用いて算出している、請求項１３に記載の映像に対するオブジェクト検出システム。
【請求項18】
前記選択範囲動きベクトルのうちの少なくとも１つが、前記背景範囲に対応する前記背景動きベクトルの前記背景動き傾向と類似していない場合、前記範囲定義部が、前記オブジェクト選択範囲からの前記選択範囲動きベクトルのうちの少なくとも１つに従って、前記オブジェクト前景範囲を取得する、請求項１３に記載の映像に対するオブジェクト検出システム。
【請求項19】
前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの数が前記オブジェクト背景範囲に対応する前記オブジェクト背景動きベクトルの数よりも多い場合、前記更新部が、前記前景動き傾向に従って前記現在画像内の前記オブジェクト選択範囲を更新し、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの数が前記オブジェクト背景範囲に対応する前記オブジェクト背景動きベクトルの数よりも少ない場合、前記更新部が、前記背景動き傾向に従って前記現在画像内の前記オブジェクト選択範囲を更新する、請求項１３に記載の映像に対するオブジェクト検出システム。
【請求項20】
前記傾向分析部が、前記前景動き傾向を算出するために、所定の距離範囲条件又はオブジェクトの特性条件に従って、前記オブジェクト前景動きベクトルの一部を選択している、請求項１３に記載の映像に対するオブジェクト検出システム。
【請求項21】
前記傾向分析部が、多数決アルゴリズム、投票アルゴリズム、線形回帰アルゴリズム、又は内部差分アルゴリズムを実施して、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの前記前景動き傾向を求めている、請求項１３に記載の映像に対するオブジェクト検出システム。
【請求項22】
前記傾向分析部が、前記オブジェクト前景動きベクトルをデフォルトの外れ値と比較し、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの前記前景動き傾向を、前記デフォルトの外れ値よりも小さい前記オブジェクト前景動きベクトルに従って取得している、請求項１３に記載の映像に対するオブジェクト検出システム。
【請求項23】
前記更新部に接続されている精度判定部であって、前記精度判定部は、前記オブジェクト選択範囲がある精度条件を満たしているかどうかを判定するように構成されている、精度判定部と、前記精度判定部に接続されているオブジェクト認識部であって、前記オブジェクト選択範囲が前記精度条件を満たしていない場合には、前記オブジェクト認識部が前記オブジェクト認識手順を実施することにより、前記現在画像内の前記オブジェクト選択範囲を更新する、オブジェクト認識部と、
をさらに備える、請求項１４に記載の映像に対するオブジェクト検出システム。
【請求項24】
前記オブジェクト認識部が、前記精度条件に従って前記現在画像から部分画像領域を選択し、また、前記部分画像領域に対して前記オブジェクト認識手順を実施し、その結果、前記部分画像領域内で前記オブジェクト選択範囲が更新される、請求項２３に記載の映像に対するオブジェクト検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、映像に対するオブジェクト検出方法及びオブジェクト検出システムに関する。
【背景技術】
【0002】
人工知能の急速な発展に伴い、人工知能は、多くの分野で顔認識、ゴミ分類、車両認識、及び他の行為に使用することができる。いくつかの用途では、映像に対するオブジェクト認識を実施する必要さえある。例えば、特許文献１には、画像に対するオブジェクト追跡方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】台湾特許第Ｉ６４０９３１号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、画像に対するオブジェクト認識は、多くのコンピューティングリソースを必要とし、その結果として、ハードウェアを配備する多額のコストが必要となる。とりわけ映像の場合、このオブジェクト認識は膨大なコンピューティングリソースを必要とする。少なくとも毎秒６０フレームの取り込み速度に追いつくためには、多額のハードウェアコストが分配される必要がある。このため、人工知能技術は現在、映像用途で広く普及させることが困難となっている。オブジェクト認識や多額のコンピューティングコストの消費によって発生する膨大なコンピューティング要件をどのように低減するか、そしてオブジェクト検出の速度をどのように加速させるかが、現在重要なトピックとなっている。
【課題を解決するための手段】
【0005】
本開示は、映像に対するオブジェクト検出方法及びオブジェクト検出システムに関する。
【0006】
一実施形態によれば、映像に対するオブジェクト検出方法が提供される。本オブジェクト検出方法は、以下のステップを含む。複数の連続画像のうちの現在画像が受信される。現在画像内のオブジェクト選択範囲をフィルタリングすることにより、背景範囲が取得される。オブジェクト選択範囲に対応する複数の選択範囲動きベクトルと、背景範囲に対応する複数の背景動きベクトルとの複数の類似度を比較し、これによって、オブジェクト選択範囲内のオブジェクト前景範囲及びオブジェクト背景範囲が取得される。オブジェクト前景範囲に対応する複数のオブジェクト前景動きベクトルの数と、オブジェクト背景範囲に対応する複数のオブジェクト背景動きベクトルの数とが比較される。オブジェクト前景範囲に対応するオブジェクト前景動きベクトルの数がオブジェクト背景範囲に対応するオブジェクト背景動きベクトルの数よりも多い場合、オブジェクト前景範囲に対応するオブジェクト前景動きベクトルの前景動き傾向が算出される。現在画像内のオブジェクト選択範囲は、オブジェクト前景範囲に対応するオブジェクト前景動きベクトルの前景動き傾向、又は背景範囲に対応する背景動きベクトルの背景動き傾向に従って更新される。
【0007】
別の実施形態によれば、映像に対するオブジェクト検出システムが提供される。本オブジェクト検出システムは、受信部と、範囲定義部と、比較部と、傾向分析部と、更新部と、を備える。受信部は、複数の連続画像のうちの現在画像を受信するように構成されている。範囲定義部は、受信部に接続されている。範囲定義部は、現在画像内のオブジェクト選択範囲をフィルタリングして背景範囲を取得し、かつオブジェクト選択範囲に対応する複数の選択範囲動きベクトルと、背景範囲に対応する複数の背景動きベクトルとの複数の類似度を比較し、これによって、オブジェクト選択範囲内のオブジェクト前景範囲及びオブジェクト背景範囲を取得するように構成されている。比較部は、範囲定義部に接続されている。比較部は、オブジェクト前景範囲に対応する複数のオブジェクト前景動きベクトルの数と、オブジェクト背景範囲に対応する複数のオブジェクト背景動きベクトルの数とを比較するように構成されている。傾向分析部は、比較部及び範囲定義部に接続されている。オブジェクト前景範囲に対応するオブジェクト前景動きベクトルの数がオブジェクト背景範囲に対応するオブジェクト背景動きベクトルの数よりも多い場合、傾向分析部は、オブジェクト前景範囲に対応するオブジェクト前景動きベクトルの前景動き傾向を算出する。更新部は、傾向分析部及び比較部に接続されている。更新部は、オブジェクト前景範囲に対応するオブジェクト前景動きベクトルの前景動き傾向、又は背景範囲に対応する背景動きベクトルの背景動き傾向に従って、現在画像内のオブジェクト選択範囲を更新するように構成されている。
【図面の簡単な説明】
【0008】
【図1】一実施形態による、複数の連続画像に対するオブジェクト検出のプロセスを示す。
【0009】
【図2】一実施形態による、映像に対するオブジェクト検出システムのブロック図を示す。
【0010】
【0011】
【0012】
以下の発明を実施するための形態では、説明を目的として、開示している実施形態についての完全な理解をもたらすために、多数の具体的な詳細事項を記載している。しかしながら、これらの具体的な詳細事項がなくても１つ又は複数の実施形態が実践され得ることは明らかであろう。他の例では、図面を簡略化するために、周知の構造及び装置が概略的に示されている。
【発明を実施するための形態】
【0013】
一実施形態による、複数の連続画像に対するオブジェクト検出のプロセスを示す図１を参照されたい。これらの連続画像は、画像キャプチャ装置１００によってキャプチャされ、時系列に並べられる。これらの画像の数は制限されていない。図１には、画像ＩＭ０～ＩＭ６の７枚の画像が示されている。以下で述べている連続画像は、一例として画像ＩＭ０～ＩＭ６をキャプチャしたものである。画像ＩＭ０は画像ＩＭ１よりも先にキャプチャされ、画像ＩＭ１は画像ＩＭ２よりも先にキャプチャされ、以下同様となる。画像キャプチャ装置１００は、カメラ、携帯電話、又はタブレットなどの画像キャプチャ機能を有する装置とすることができる。これらの画像ＩＭ０～ＩＭ６は、画像キャプチャ装置１００からリアルタイムで取得され得る一方、画像ＩＭ０～ＩＭ６は、オフラインでストレージ装置又はクラウドストレージセンタからも取得され得る。画像キャプチャ装置１００は、通常、毎秒６０フレーム又は１２０フレームの速度で画像ＩＭ０～ＩＭ６をキャプチャしている。画像キャプチャ装置１００が画像ＩＭ０～ＩＭ６をキャプチャしているとき、この画像キャプチャ装置１００は携帯型又は固定型であり得る。
【0014】
画像キャプチャ装置１００が画像ＩＭ０～ＩＭ６をキャプチャした後、画像ＩＭ０～ＩＭ６に対して少なくとも１つのオブジェクトに対するオブジェクト検出を実施して、画像ＩＭ０～ＩＭ６内にそれぞれ位置する少なくとも１つのオブジェクトの位置が取得され得る。画像ＩＭ０～ＩＭ６がキャプチャされているとき、オブジェクトは移動状態又は静止状態にあり得るので、画像ＩＭ０～ＩＭ６のそれぞれにおけるオブジェクトの位置は、同じでもあり得るし、又は異なることもあり得る。オブジェクト検出中、このオブジェクト検出がリアルタイムで実施されるかオフラインで実施されるかにかかわらず、画像ＩＭ０～ＩＭ６のそれぞれが人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）オブジェクト認識アルゴリズムに従って検出される場合、その検出は膨大なコンピューティングリソースを必要とすることになる。
【0015】
図１に示すように、本実施形態の連続画像ＩＭ０～ＩＭ６では、オブジェクト認識手順Ｐ１によって検出する必要があるのはこれらの画像の一部のみであり、残りの画像はオブジェクト推定手順Ｐ２によって検出され得る。このオブジェクト認識手順Ｐ１は、ＡＩオブジェクト認識アルゴリズムを用いてオブジェクトのオブジェクト選択範囲を検出するために使用される。例えば、画像ＩＭ０～ＩＭ２には猫の図が含まれており、当該オブジェクトＯＢは、図示された猫の頭部として定義される。本オブジェクト検出方法では、画像ＩＭ０に対してのみオブジェクト認識手順Ｐ１が実施され、これによってオブジェクト選択範囲ＢＸ０が取得される。このオブジェクト選択範囲ＢＸ０は、猫の頭部を１つのボックス内で囲んでいる。このＡＩオブジェクト認識アルゴリズムは、例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）アルゴリズム、ｋ近傍分類（ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ：ＫＮＮ）アルゴリズム、又はサポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ：ＳＶＭ）アルゴリズムである。
【0016】
また、オブジェクト推定手順Ｐ２を使用して、画像ＩＭ１及びＩＭ２内の一部のピクセルの動きベクトルやオプティカルフローを介した、オブジェクトＯＢのオブジェクト選択範囲ＢＸ１、ＢＸ２が推定され、かつ補正される。このオプティカルフローは、１×１ピクセルごとの動きを表している。複数のピクセル（例えば、４×４、４×８、８×８ピクセルなど）の動きは動きベクトルと呼ばれている。この動きベクトルは、ストリーミング画像内の類似のピクセル領域を検出するために使用されることが多い。通常、連続画像ＩＭ１及びＩＭ２内のオブジェクトＯＢの変位量はそれ程変化しないので、オブジェクト推定手順Ｐ２でこの特徴を使用して、オブジェクトＯＢのオブジェクト選択範囲ＢＸ１、ＢＸ２が推定され、かつ修正され得る。画像ＩＭ０に対してオブジェクト認識手順Ｐ１を実施してオブジェクト選択範囲ＢＸ０が取得された後、この画像ＩＭ０のオブジェクト選択範囲ＢＸ０に従って、画像ＩＭ１に対してオブジェクト推定手順Ｐ２が実施され、次いでこの画像ＩＭ１のオブジェクト選択範囲ＢＸ１に従って、画像ＩＭ２に対してオブジェクト推定手順Ｐ２が実施される。画像ＩＭ０～ＩＭ２内のオブジェクトＯＢのオブジェクト選択範囲ＢＸ０、ＢＸ１、ＢＸ２がそれぞれ取得され得、次いでこれらのオブジェクト選択範囲ＢＸ０、ＢＸ１、ＢＸ２に従って画像ＩＭ１～ＩＭ２内のオブジェクトＯＢの位置が把握され得る。以上を踏まえて、画像ＩＭ３～ＩＭ６において、一部の画像ＩＭ３～ＩＭ６に対してオブジェクト認識手順Ｐ１が実施され得、次いで画像ＩＭ３～ＩＭ６のその他に対してオブジェクト推定手順Ｐ２が実施され得る。例えば、画像ＩＭ３及びＩＭ４に対して推定手順Ｐ２が実施され得、画像ＩＭ５に対してオブジェクト認識手順Ｐ１が実施され得、その後画像ＩＭ６に対してオブジェクト推定手順Ｐ２が実施されてもよい。
【0017】
両者を比較すると、オブジェクト認識手順Ｐ１が必要とするコンピューティングリソースはより多くなり、オブジェクト推定手順Ｐ２が必要とするコンピューティングリソースはより少なくなる。連続画像ＩＭ０～ＩＭ６では、オブジェクト認識手順Ｐ１とオブジェクト推定手順Ｐ２とが交互に実施されている。このようにして、膨大なコンピューティングリソースを消費することなく、オブジェクト検出を達成することができる。オブジェクト認識手順Ｐ１は、一定の時間間隔ごとに実施することもできるし、一定数の画像ごとに実施することもできる。あるいは、オブジェクト推定手順Ｐ２が実施された後、オブジェクト選択範囲ＢＸ１又はＢＸ２の変位量が大きすぎること、オブジェクト選択範囲ＢＸ１又はＢＸ２のサイズが変化しすぎること、又はオブジェクトＯＢの状態が急変したこと（例えば、静止状態から移動状態へ）が判明した場合、オブジェクト推定手順Ｐ２を実施するステップは、オブジェクト認識手順Ｐ１を実施するステップによって置き換えられ得る。本実施形態のオブジェクト検出方法では、オブジェクト認識手順Ｐ１とオブジェクト推定手順Ｐ２とが交互に実施されている。オブジェクト認識手順Ｐ１を実施する必要があるのは、一部の画像においてのみである（例えば、図１では、画像ＩＭ０に対してオブジェクト認識手順Ｐ１のみが実施される）が、依然として一定レベルの精度を維持することができる。
【0018】
一実施形態による、映像に対するオブジェクト検出システム１０００のブロック図を示す図２を参照されたい。オブジェクト検出システム１０００は、受信部１０１と、オブジェクト認識判定部１０２と、オブジェクト認識部１０３と、オブジェクト選択部１０５と、範囲定義部１０６と、比較部１０９と、傾向分析部１１０と、更新部１１１と、精度判定部１１３と、を備える。オブジェクト認識判定部１０２は、受信部１０１、オブジェクト認識部１０３及びオブジェクト選択部１０５に接続されている。範囲定義部１０６は、比較部１０９及びオブジェクト選択部１０５に接続されている。傾向分析部１１０は、範囲定義部１０６、比較部１０９及び更新部１１１に接続されている。精度判定部１１３は、オブジェクト認識部１０３及び更新部１１１に接続されている。受信部１０１は、例えば、画像キャプチャ装置１００から画像ＩＭ０～ＩＭ６を受信したり、ストレージ装置から画像ＩＭ０～ＩＭ６を受信したりしている。オブジェクト認識判定部１０２は、画像ＩＭ０～ＩＭ６のそれぞれに対して、オブジェクト認識手順Ｐ１又はオブジェクト推定手順Ｐ２のいずれかを実施する必要があるかどうかを判定するために使用されている。現在画像は、現在時点でオブジェクト検出が実施されている画像ＩＭ０～ＩＭ６のうちの１つとして定義される。先行画像は、現在画像に先行する画像として定義される。先行時点で、この先行画像は、オブジェクト認識手順Ｐ１を介して検出され、これによって当該オブジェクトのオブジェクト選択範囲が取得され得、あるいはこの先行画像は、オブジェクト推定手順Ｐ２を介して検出され、これによっても当該オブジェクトのオブジェクト選択範囲が取得され得る。同様に、現在時点で、この現在画像は、オブジェクト認識手順Ｐ１を介して検出され、これによって当該オブジェクトのオブジェクト選択範囲が取得され得、あるいはこの現在画像は、オブジェクト推定手順Ｐ２を介して検出され、これによっても当該オブジェクトのオブジェクト選択範囲が取得され得る。
【0019】
図１及び図２に示すように、連続画像ＩＭ０～ＩＭ６において、現在時点では、画像ＩＭ１が現在画像として定義され、画像ＩＭ０が先行画像として定義される。現在時点で、オブジェクト認識判定部１０２は、画像ＩＭ１に対して、オブジェクト認識手順Ｐ１又はオブジェクト推定手順Ｐ２の実施に関する判定を行う。一方、先行時点では、画像ＩＭ０は現在画像として定義され、また、画像ＩＭ１は次画像として定義される。先行時点で、オブジェクト認識判定部１０２は、画像ＩＭ０に対して、オブジェクト認識手順Ｐ１又はオブジェクト推定手順Ｐ２の実施に関する判定を行う。一方、次時点では、画像ＩＭ１は先行画像として定義され、また、画像ＩＭ２は現在画像として定義される。画像ＩＭ２～ＩＭ６の現在画像、先行画像及び次画像は、上記と同様に定義され得るため、その類似点については繰り返さない。
【0020】
図１及び図２に示すように、オブジェクト認識部１０３はオブジェクト認識判定部１０２に接続されている。このオブジェクト認識判定部１０２は、画像ＩＭ０～ＩＭ６のそれぞれに対して、オブジェクト認識手順Ｐ１又はオブジェクト推定手順Ｐ２のいずれかを異なる時点で実施する必要があるかどうかを判定している。オブジェクト認識手順Ｐ１を実施する必要のある画像ＩＭ０～ＩＭ６の一部は、このオブジェクト認識手順Ｐ１を実施するためにオブジェクト認識部１０３に送信され、次いでオブジェクトＯＢのオブジェクト選択範囲が取得される。例えば、画像ＩＭ０に対してオブジェクト認識手順Ｐ１を実施する必要がある、即ち、画像ＩＭ０に対してオブジェクト推定手順Ｐ２を実施する必要がないとオブジェクト認識判定部１０２が判定した場合、オブジェクト認識判定部１０２は、画像ＩＭ０をオブジェクト認識部１０３に送信し、次いでオブジェクト認識部１０３は、画像ＩＭ０に対してオブジェクト認識手順Ｐ１を実施して、画像ＩＭ０におけるオブジェクトＯＢのオブジェクト選択範囲ＢＸ０を取得する。例えば、画像ＩＭ１に対してオブジェクト認識手順Ｐ１を実施する必要がない、即ち、画像ＩＭ１に対してオブジェクト推定手順Ｐ２を実施する必要があるとオブジェクト認識判定部１０２が判定した場合、オブジェクト認識判定部１０２は、画像ＩＭ１をオブジェクト選択部１０５に送信し、次いでオブジェクト選択部１０５は、画像ＩＭ１に対してオブジェクト推定手順Ｐ２を実施して、画像ＩＭ１におけるオブジェクトＯＢのオブジェクト選択範囲ＢＸ１を取得する。
【0021】
オブジェクト選択部１０５、範囲定義部１０６、比較部１０９、傾向分析部１１０、更新部１１１及び精度判定部１１３は、オブジェクト推定手順Ｐ２を実施するために使用されている。これらの構成要素は、独立した個々の装置であってもよく、又は同じ装置にこれらが組み込まれてもよい。これらの構成要素は、例えば、回路、チップ、回路基板、プログラムコード、又は、プログラムコードを記憶するストレージ装置である。以下は、各構成要素の動作について詳述するフローチャートである。
【0022】
図２～図１２を参照されたい。図３Ａ～図３Ｂは、一実施形態による、映像に対するオブジェクト検出方法のフローチャートを示す。図４～図１２は、図３のステップを示す。この映像は、例えば、ドライビングレコーダのドライブ映像である。本実施形態では、第１の時点が現在時点として定義されており、また、画像ＩＭ０～ＩＭ６のうち、画像ＩＭ０が現在画像ＩＭ０*として定義されている。ステップＳ１０１で、受信部１０１は図３Ａ及び図４に示すように、第１の時点において、画像ＩＭ０～ＩＭ６のうちＩＭ０を受信する。以下、画像ＩＭ０を現在画像ＩＭ０*と呼んでいる。本ステップでは、受信部１０１は、画像キャプチャ装置１００から、又はストレージ装置若しくはクラウドストレージセンタから現在画像ＩＭ０*を受信してもよい。
【0023】
次いで、ステップＳ１０２で、オブジェクト認識判定部１０２は、現在画像ＩＭ０*に対してオブジェクト認識手順Ｐ１を実施する必要があるかどうかを判定する。現在画像ＩＭ０*に対してオブジェクト認識手順Ｐ１を実施する必要がある、即ち「はい」であるとオブジェクト認識判定部１０２が判定した場合、このオブジェクト認識判定部１０２は、現在画像ＩＭ０*をオブジェクト認識部１０３に送信し、本プロセスはステップＳ１０３へと進む。
【0024】
一実施形態では、オブジェクト認識判定部１０２は、所定の許容経過時間に従って、現在画像ＩＭ０*に対してオブジェクト認識手順Ｐ１を実施する必要があるかどうかを判定してもよい。この所定の許容経過時間の値はこれに限定されず、ユーザの設定に応じて調整され得る。オブジェクト推定手順Ｐ２が所定の許容経過時間にわたって実施された後、現在画像ＩＭ０*に対してオブジェクト認識手順Ｐ１を実施する必要があると判定される。
【0025】
あるいは、別の実施形態では、オブジェクト認識判定部１０２は実行画像の許容数に応じて、現在画像ＩＭ０*に対してオブジェクト認識手順Ｐ１を実施する必要があるかどうかを判定してもよい。これらの実行画像の許容数の値はこれに限定されず、ユーザの設定に応じて調整され得る。オブジェクト推定手順Ｐ２で許容数の実行画像が実行された後、現在画像ＩＭ０*に対してオブジェクト認識手順Ｐ１を実施する必要があると判定される。
【0026】
ステップＳ１０３で、オブジェクト認識部１０３は図４に示すように、オブジェクト認識判定部１０２から現在画像ＩＭ０*を受信し、次いでオブジェクト認識手順Ｐ１を実施して、現在画像ＩＭ０*におけるオブジェクト選択範囲ＢＸ０*を取得する。オブジェクト認識部１０３は、ＡＩオブジェクト認識アルゴリズムを用いて、現在画像ＩＭ０*におけるオブジェクトＯＢのオブジェクト選択範囲ＢＸ０*を検出する。ＡＩオブジェクト認識アルゴリズムを用いて、オブジェクト認識部１０３は、現在画像ＩＭ０*内のオブジェクトＯＢを正確に検出し、次いで、現在画像ＩＭ０*（画像ＩＭ０）内のオブジェクトＯＢの位置を把握できるように、オブジェクト選択範囲ＢＸ０*にマークを付すことができる。その後、オブジェクト認識部１０３はステップＳ１０４を実行して、現在画像ＩＭ０*（画像ＩＭ０）におけるオブジェクト選択範囲ＢＸ０*を出力する。本実施形態では、このオブジェクト選択範囲ＢＸ０*は、例えば正方形のオブジェクトボックスである。
【0027】
一実施形態では、オブジェクト認識部１０３は、現在画像ＩＭ０*全体を検出してもよい。あるいは、別の実施形態では、オブジェクト認識部１０３は、現在画像ＩＭ０*から部分画像領域を選択し、次いでこの部分画像領域に対してオブジェクト認識手順Ｐ１を実施してもよい。
【0028】
ステップＳ１０３～Ｓ１０４は、オブジェクト認識手順Ｐ１を実施するために実行され、ステップＳ１０５～Ｓ１１３は、オブジェクト推定手順Ｐ２を実施するために実行される。
【0029】
一実施形態では、第２の時点が現在時点として定義されており、第１の時点が先行時点として定義されている。第２の時点は第１の時点よりも後になる。画像ＩＭ０～ＩＭ６のうちの画像ＩＭ１が現在画像ＩＭ１*として定義されており、また、画像ＩＭ０が先行画像として定義されている。ステップＳ１０１～ステップＳ１０２において、受信部１０１は、画像ＩＭ０～ＩＭ６のうち画像ＩＭ１を受信する。以下、画像ＩＭ１を現在画像ＩＭ１*と呼んでいる。オブジェクト認識判定部１０２は、現在画像ＩＭ１*に対してオブジェクト認識手順Ｐ１を実施する必要があるかどうかを判定する。現在画像ＩＭ１*に対してオブジェクト認識手順Ｐ１を実施する必要がない、即ち「いいえ」であるとオブジェクト認識判定部１０２が判定した場合、このオブジェクト認識判定部１０２は、現在画像ＩＭ１*をオブジェクト選択部１０５に送信し、本プロセスはステップＳ１０５へと進む。
【0030】
ステップＳ１０５で、オブジェクト選択部１０５は図５に示すように、オブジェクト認識判定部１０２から現在画像ＩＭ１*を受信し、次いでオブジェクト推定手順Ｐ２を実施する。オブジェクト認識判定部１０２は先行画像（画像ＩＭ０）に従って、現在画像ＩＭ１*におけるオブジェクト選択範囲ＢＸ１*を取得する。図５の左側が先行画像（画像ＩＭ０）であり、図５の右側が現在画像ＩＭ１*（画像ＩＭ１）である。画像ＩＭ０では、先行時点（第１の時点）におけるオブジェクトＯＢのオブジェクト選択範囲ＢＸ０*が範囲指定されている。本ステップでは、現在画像ＩＭ１*におけるオブジェクトＯＢのオブジェクト選択範囲ＢＸ１*は、先行画像（画像ＩＭ０）のオブジェクト選択範囲ＢＸ０*に従って直接的に推定されており、また、ステップＳ１０６～Ｓ１１３を実行して、オブジェクト選択範囲ＢＸ１*が調整される。別の実施形態では、図５の先行画像（画像ＩＭ０）におけるオブジェクト選択範囲ＢＸ０*は、オブジェクト推定手順Ｐ２を実施することによって取得されてもよい。
【0031】
次いでステップＳ１０６で、範囲定義部１０６は図６に示すように、現在画像ＩＭ１*内のオブジェクト選択範囲ＢＸ１*をフィルタリングすることにより、背景範囲ＢＧを取得する。本ステップでは、範囲定義部１０６は、例えば、オブジェクト選択範囲ＢＸ１*によってカバーされている範囲（即ち、図６のオブジェクト選択範囲ＢＸ１*の黒塗りされた部分）を除外し、オブジェクト選択範囲ＢＸ１*外の範囲のみを保持する。通常、連続画像ＩＭ０～ＩＭ６では、画像ＩＭ０～ＩＭ６のそれぞれにおける背景範囲ＢＧは変化しないことが多い（又は、動き変化量が少ない）。この背景範囲ＢＧに動き変化があったとしても、その変化は動的変位に基づくものではなく、画像キャプチャ装置１００の動きによって生じる受動的変位に基づくものであることが多い。このオブジェクトＯＢは、動的変位をより生じやすい。ステップＳ１０６でオブジェクト選択範囲ＢＸ１*を除去した後、背景範囲ＢＧの受動的変位の解析が実施され得る。
【0032】
次いで、ステップＳ１０７で、傾向分析部１１０は図７及び図８に示すように、現在画像ＩＭ１*における背景範囲ＢＧに対応する複数の背景動きベクトルＭＶｂの背景動き傾向ＴＤｂを、多数決アルゴリズム、投票アルゴリズム、線形回帰アルゴリズム、又は補間アルゴリズムを用いて算出する。現在画像ＩＭ１*の背景動きベクトルＭＶｂは、現在画像ＩＭ１*と先行画像との間の背景範囲ＢＧに対応するピクセルの動きベクトル、即ち、背景範囲ＢＧにおけるオプティカルフローの変位量である。背景動き傾向ＴＤｂは、背景範囲ＢＧに対応するオプティカルフローの変位量の傾向である。図７の実施例では、現在画像ＩＭ１*の背景範囲ＢＧには、看板Ｂ１、衝突防止バーＢ２、などの固定オブジェクトの画像が含まれている。現在画像ＩＭ１*における背景範囲ＢＧの受動的変位は、主として画像キャプチャ装置１００が前進することに起因しているため、現在画像ＩＭ１*の背景動きベクトルＭＶｂは、一定の変化傾向を有する。図８に示すように、現在画像ＩＭ１*の背景範囲ＢＧに対応する背景動きベクトルＭＶｂの変位量を、Ｘ軸方向（例えば、現在画像ＩＭ１*の水平方向）に示す。図８を参照すると、変位量の変化傾向が求められ得る。傾向分析部１１０は、背景動きベクトルＭＶｂに従って、Ｘ軸方向におけるオプティカルフローの変位量に対応する変位量傾向線を生成することができる。この変位量傾向線は、背景動き傾向ＴＤｂである。この背景動き傾向ＴＤｂは、複数の二次元座標値を含む。第１の寸法値は、現在画像ＩＭ１*におけるＸ軸方向の位置点を表し、また、第２の寸法値は、オブジェクトＯＢのオブジェクト選択範囲ＢＸ１*を調整する際の、その後の調整量を表す。一方、背景動きベクトルＭＶｂも、Ｙ軸方向（例えば、現在画像ＩＭ１*の垂直方向）に一定の変化傾向を有する。傾向分析部１１０は、ここには図示されていない背景動きベクトルＭＶｂに従って、Ｙ軸方向におけるオプティカルフローの変位量に対応する別の背景動き傾向を生成することができる。
【0033】
傾向分析部１１０は、背景動きベクトルＭＶｂをデフォルトの外れ値と比較して、背景動きベクトルＭＶｂのうちでこのデフォルトの外れ値以上となる一部を除外することができる。背景動きベクトルＭＶｂのうちの１つがデフォルトの外れ値以上であった場合、この背景動きベクトルＭＶｂの変位量が背景動きベクトルＭＶｂのうちの他のものと比較して、より大きくなっていることを意味する。このデフォルトの外れ値の値は、ユーザ設定に応じて調整され得る。傾向分析部１１０は、デフォルトの外れ値よりも小さい背景動きベクトルＭＶｂに従って、背景範囲ＢＧに対応する背景動きベクトルＭＶｂの背景動き傾向ＴＤｂを算出し、これによって、前景動き傾向ＴＤｂを算出する際の精度を高めるようにしている。
【0034】
一実施形態では、背景範囲ＢＧは図９に示すように、空、建物、道路及び他の背景を含んでいてもよい。傾向分析部１１０は、個々の背景に応じて背景範囲ＢＧをいくつかの背景範囲ブロックＢＫへとトリミングし、次いで背景範囲ブロックＢＫのそれぞれについて対応する背景動きベクトルＭＶｂを求めることができる。次いで、傾向分析部１１０は、それぞれの背景動きベクトルＭＶｂに従って、対応する背景動き傾向を生成する。図９は、４つの背景範囲ブロックＢＫの一例を示す。
【0035】
次いで、ステップＳ１０８で、範囲定義部１０６は図１０に示すように、オブジェクト選択範囲ＢＸ１*に対応する複数の選択範囲動きベクトルＭＶと、背景範囲ＢＧに対応する背景動きベクトルＭＶｂとの複数の類似度を比較し、これによって、オブジェクト選択範囲ＢＸ１*内のオブジェクト前景範囲ＦＮ及びオブジェクト背景範囲ＢＮを取得するようにしている。これら選択範囲動きベクトルＭＶのそれぞれは、現在画像ＩＭ１*と先行画像との間のオブジェクト選択範囲ＢＸ１*内の各ピクセルに対応する動きベクトル、即ち、オブジェクト選択範囲ＢＸ１*における各オプティカルフローの変位量を表す。詳細には、オブジェクト選択範囲ＢＸ１*に対応する選択範囲動きベクトルＭＶと、背景範囲ＢＧに対応する背景動きベクトルＭＶｂとの類似度を比較する際に、選択範囲動きベクトルＭＶのうちの少なくとも１つがこの背景動きベクトルＭＶｂの背景動き傾向ＴＤｂと類似していない場合、範囲定義部１０６は、この少なくとも１つの選択範囲動きベクトルＭＶをオブジェクト前景動きベクトルＭＶｆとして定義する。オブジェクト選択範囲ＢＸ１*における少なくとも１つのオブジェクト前景動きベクトルＭＶｆの範囲は、オブジェクト前景範囲ＦＮとして定義される。一方、オブジェクト選択範囲ＢＸ１*におけるオブジェクト前景動きベクトルＭＶｆの範囲によってカバーされない残りの範囲は、オブジェクト背景範囲ＢＮとして定義され得る。このオブジェクト背景範囲ＢＮは、複数のオブジェクト背景動きベクトルＭＶｂ２を含む。これらのオブジェクト背景動きベクトルＭＶｂ２は、その比較結果が 「類似している」 選択範囲動きベクトルＭＶの一部である。
【0036】
図１０の実施例では、現在画像ＩＭ１*のオブジェクト選択範囲ＢＸ１*には、衝突防止バーＢ２及びオブジェクトＯＢが含まれている。衝突防止バーＢ２は受動的変位を有し、オブジェクトＯＢは動的変位を有する。オブジェクト選択範囲ＢＸ１*内の衝突防止バーＢ２及び背景範囲ＢＧは受動的変位を有するので、範囲定義部１０６は、オブジェクト選択範囲ＢＸ１*に対応する選択範囲動きベクトルＭＶと、背景動きベクトルＭＶｂの背景動き傾向ＴＤｂとを比較し、これによって、背景動きベクトルＭＶｂと類似していないオブジェクト前景動きベクトルＭＶｆを検出することができる。背景動きベクトルＭＶｂと類似している選択範囲動きベクトルＭＶの一部は、オブジェクト背景動きベクトルＭＶｂ２として定義され得る。このようにして、オブジェクト選択範囲ＢＸ１*において、背景動きベクトルＭＶｂと類似していない選択範囲動きベクトルＭＶの一部（即ち、オブジェクト前景動きベクトルＭＶｆ）を使用して、オブジェクト前景範囲ＦＮが定義され得る。図１０の右側に示すように、オブジェクト前景範囲ＦＮは、オブジェクト選択範囲ＢＸ１*内に位置している。オブジェクト選択範囲ＢＸ１*は、オブジェクト前景範囲ＦＮを含む。オブジェクト選択範囲ＢＸ１*によってカバーされている範囲は、オブジェクト前景範囲ＦＮによってカバーされている範囲よりも大きい。
【0037】
一実施形態では、範囲定義部１０６は、背景範囲ＢＧに対応する背景動きベクトルＭＶｂと、この背景動きベクトルＭＶｂから生成される背景動き傾向ＴＤｂとを比較することもできる。背景動きベクトルＭＶｂのうちの少なくとも１つが背景動き傾向ＴＤｂと類似していない場合、範囲定義部１０６は、この少なくとも１つの背景動きベクトルＭＶｂを選択して、新規のオブジェクト選択範囲ＢＸＮを取得する。この新規のオブジェクト選択範囲ＢＸＮは、現在画像ＩＭ１*内の新規のオブジェクトを示す。このオブジェクトは先行画像内にまだ出現していないか、又は先行画像内に完全には出現していないため、オブジェクト認識手順Ｐ１又はオブジェクト推定手順Ｐ２を用いてもこのオブジェクトが検出され得ず、したがって、このオブジェクトもここには図示されていない。
【0038】
その後、図３Ｂに示すように、ステップＳ１０９で比較部１０９は、現在画像ＩＭ１*において、オブジェクト前景範囲ＦＮに対応するオブジェクト前景動きベクトルＭＶｆの数と、オブジェクト背景範囲ＢＮに対応するオブジェクト背景動きベクトルＭＶｂ２の数とを比較する。オブジェクト前景範囲ＦＮに対応するオブジェクト前景動きベクトルＭＶｆの数がオブジェクト背景範囲ＢＮに対応するオブジェクト背景動きベクトルＭＶｂ２の数よりも多い場合、本プロセスはステップＳ１１０へと進み、オブジェクト前景範囲ＦＮに対応するオブジェクト前景動きベクトルＭＶｆの数がオブジェクト背景範囲ＢＮに対応するオブジェクト背景動きベクトルＭＶｂ２の数よりも少ない場合、本プロセスはステップＳ１１２へと進む。オブジェクト前景動きベクトルＭＶｆのそれぞれは、現在画像ＩＭ１*と先行画像との間のオブジェクト前景範囲ＦＮ内の各ピクセルに対応する動きベクトルを表し、これは即ち、オブジェクト前景範囲ＦＮにおける各オプティカルフローの変位量を表す。例えば、図１０の右側に示すように、オブジェクト選択範囲ＢＸ１*は、オブジェクト前景範囲ＦＮ及びオブジェクト背景範囲ＢＮを含む。選択範囲動きベクトルＭＶは、オブジェクト前景動きベクトルＭＶｆ及びオブジェクト背景動きベクトルＭＶｂ２を含む。オブジェクト前景動きベクトルＭＶｆはオブジェクト前景範囲ＦＮ内に位置し、オブジェクト背景動きベクトルＭＶｂ２はオブジェクト背景範囲ＢＮ内に位置し、かつオブジェクト前景範囲ＦＮの外側にある。
【0039】
ステップＳ１１０で、傾向分析部１１０は、現在画像ＩＭ１＊において、オブジェクト前景範囲ＦＮに対応するオブジェクト前景動きベクトルＭＶｆの前景動き傾向ＴＤｆを算出する。この前景動き傾向ＴＤｆは、オブジェクト前景範囲ＦＮに対応するオプティカルフローの変位量を示す変位量の傾向である。本ステップでは、オブジェクト前景動きベクトルＭＶｆがオブジェクト選択範囲ＢＸ１における過半数であると傾向分析部１１０が判定するので、オブジェクトＯＢが動的変位を有することが立証され得る。したがって、オブジェクト選択範囲ＢＸ１における受動的変位（即ち、オブジェクト選択範囲ＢＸ１における背景範囲ＢＧに対応する背景動きベクトルＭＶｂ）はノイズと見なされて、フィルタリングされ得る。前景動き傾向ＴＤｆを算出する際に、傾向分析部１１０が必要とするのは、オブジェクト前景範囲ＦＮに対応するオブジェクト前景動きベクトルＭＶｆを考慮することのみになる。
【0040】
現在画像ＩＭ１*内のオブジェクト前景動きベクトルＭＶｆのＸ軸方向における変位量を示す図１１を参照されたい。この図１１から、変位量の変化傾向が把握され得る。傾向分析部１１０は、オブジェクト前景動きベクトルＭＶｆに従って、Ｘ軸方向におけるオプティカルフローの変位量に対応する変位量傾向線を生成することができる。この変位量傾向線は、前景動き傾向ＴＤｆである。この前景動き傾向ＴＤｆは、複数の二次元座標値を含む。第１の寸法値は、現在画像ＩＭ１*におけるＸ軸方向の位置点を表す。第２の寸法値は、オブジェクトＯＢのオブジェクト選択範囲ＢＸ１*を調整する際に、Ｘ軸方向の位置点に対して調整が必要な変位量を表す。一方、オブジェクト前景動きベクトルＭＶｆも、Ｙ軸方向に一定の変化傾向を有する。傾向分析部１１０は、ここには図示されていない背景動きベクトルＭＶｂに基づいて、Ｙ軸方向におけるオプティカルフローの変位量に対応する別の前景動き傾向を生成することができる。傾向分析部１１０は、Ｘ軸方向及びＹ軸方向に対応するオブジェクト前景動きベクトルＭＶｆの変位量の変化傾向に従って、前景動き傾向ＴＤｆを算出することができる。
【0041】
一実施形態では、この傾向分析部１１０は、多数決アルゴリズム、投票アルゴリズム、線形回帰アルゴリズム、又は補間アルゴリズムを用いて、オブジェクト前景範囲ＦＮに対応する動きベクトルＭＶｆの前景動き傾向ＴＤｆを算出する。
【0042】
別の実施形態では、傾向分析部１１０は、オブジェクト前景動きベクトルＭＶｆをデフォルトの外れ値と比較して、前景動きベクトルＭＶｆのうちでこのデフォルトの外れ値以上となる一部を除外してもよい。オブジェクト前景動きベクトルＭＶｆのうちの１つがデフォルトの外れ値以上であった場合、この前景動きベクトルＭＶｆの変位量が前景動きベクトルＭＶｆのうちの他のものと比較して、より大きくなっていることを意味する。このデフォルトの外れ値は、ユーザ設定に応じて調整され得る。傾向分析部１１０は、デフォルトの外れ値よりも小さいオブジェクト前景動きベクトルＭＶｆに従って、オブジェクト前景範囲ＦＮに対応するオブジェクト前景動きベクトルＭＶｆの前景動き傾向ＴＤｆを算出し、これによって、前景動き傾向を算出する際の精度を高めるようにしている。
【0043】
一実施形態では、傾向分析部１１０は、前景動き傾向ＴＤｆを算出するために、所定の距離範囲条件又はオブジェクトの特性条件に従って、オブジェクト前景動きベクトルＭＶｆの一部を選択してもよい。この所定の距離範囲条件及びオブジェクトの特性条件は、ユーザ設定に応じて調整され得る。例えば、ある画像のオブジェクト前景範囲は、人間の骨格を含んでいてもよい。人間の骨格におけるほとんどのノードは骨格の関節にあり（例えば、手首、肘など）、それらの数は少ないため、手首と肘との間の結合範囲を使用してオブジェクト前景動きベクトルＭＶｆの一部を選択し、これによって、前景動き傾向ＴＤｆを算出することができる。これらのノードの数はオブジェクトの特性条件として定義され得、また、手首と肘との間の結合範囲は、所定の距離範囲条件として定義され得る。
【0044】
ステップＳ１１０を実行した後、本プロセスはステップＳ１１１へと進む。更新部１１１は、オブジェクト前景範囲ＦＮに対応するオブジェクト前景動きベクトルＭＶｆの前景動き傾向ＴＤｆに従って、現在画像ＩＭ１*のオブジェクト選択範囲ＢＸ１*を更新する。詳細には、更新部１１１は、現在画像ＩＭ１*におけるオブジェクト前景動きベクトルＭＶｆの位置と前景動き傾向ＴＤｆの二次元座標値とを比較して、その位置に対応して調整する必要のある変位量を求める。その後、更新部１１１は、その変位量に応じて位置を移動させることで、オブジェクトＯＢのオブジェクト選択範囲ＢＸ１*の最終位置を求めることができる。図１２に示すように、更新されたオブジェクト選択範囲ＢＸ１*は、前景動き傾向ＴＤｆに従って右方に移動している。更新部１１１は、オブジェクト前景範囲ＦＮ内の座標点Ｃ（４、３）を、図１１の前景動き傾向ＴＤｆにマッピングする。Ｘ軸方向の位置点が４であるため、更新部１１１は前景動き傾向ＴＤｆ上の座標点Ｐ（４、５）に従って、位置点４の調整に必要となる変位量が５であると判定する。その結果、更新部１１１は、座標点Ｃ（４、３）を座標点Ｃ’（９、３）へと移動させ、次いでオブジェクト前景範囲ＦＮ内の他の位置点（Ｘ軸方向及びＹ軸方向を含む）も、上記の類推に従う。更新部１１１はこのようにして、現在画像ＩＭ１*のオブジェクト選択範囲ＢＸ１*を更新する。更新部１１１は、現在画像ＩＭ１*内のオブジェクトＯＢの位置を示すために、現在画像ＩＭ１*内で動的に変位させたオブジェクトＯＢに対して正確にラベル付けすることができる。
【0045】
ステップＳ１０９で、オブジェクト前景動きベクトルＭＶｆがオブジェクト選択範囲ＢＸ１における過半数ではない場合、オブジェクト選択範囲ＢＸ１内のオブジェクトＯＢも固定オブジェクトである（例えば、当該車両は停止状態にある）ことを意味するため、本プロセスはステップＳ１１２へと進む。ステップＳ１１２で、更新部１１１は、背景範囲ＢＧに対応する背景動きベクトルＭＶｂの背景動き傾向ＴＤｂに従って、現在画像ＩＭ１のオブジェクト選択範囲ＢＸ１を更新する。本ステップは、上記のステップＳ１１１と同様である。ステップＳ１１１のオブジェクト前景動きベクトルＭＶｆを背景動きベクトルＭＶｂに置き換えており、したがって、これに関する説明は省略する。
【0046】
ステップＳ１１１又はＳ１１２を実行した後、本プロセスはステップＳ１１３へと進む。ステップＳ１１３で、精度判定部１１３は、オブジェクト選択範囲ＢＸ１*がある精度条件を満たしているかどうかを判定する。この精度条件とは、例えば、オブジェクト選択範囲ＢＸ１*の位置変化が所定の程度未満となる必要があること、オブジェクト選択範囲ＢＸ１*の面積変化が所定の程度未満となる必要があること、及びオブジェクト前景動きベクトルＭＶｆの変化率が所定の程度未満となる必要があることを指す。この所定の程度は、ユーザ設定に応じて調整され得る。オブジェクト推定手順Ｐ２の結果がこの精度条件を満たすことができない（即ち、上記変化量が所定の程度を超えている）場合、オブジェクト推定手順Ｐ２によって取得されたオブジェクト選択範囲ＢＸ１*は出力されず、代わりにオブジェクト認識手順Ｐ１が実施され、これによってオブジェクト選択範囲ＢＸ１*が取得され、かつ出力される。その一方で、オブジェクト認識部１０３は、現在画像ＩＭ１*において当該精度条件を満たしていない部分に基づいて部分画像領域を選択し、この部分画像領域に基づいて、オブジェクト認識手順Ｐ１を実施することもできる。
【0047】
オブジェクト選択範囲ＢＸ１が当該精度条件を満たしていない場合には、本プロセスはステップＳ１０３に戻る。オブジェクト認識部１０３は、現在画像ＩＭ１*に対してオブジェクト認識手順Ｐ１を実施することにより、別の新規のオブジェクト選択範囲ＢＸＵを生成し、次いでこの別の新規オブジェクト選択範囲ＢＸＵに従ってオブジェクト推定手順Ｐ２を実施することにより、元のオブジェクト選択範囲ＢＸ１*を更新して置き換えている一方、オブジェクト選択範囲ＢＸ１*が当該精度条件を満たしている場合は、オブジェクト選択範囲ＢＸ１*が出力される。
【0048】
受信部１０１は、画像ＩＭ１のオブジェクトを追跡した後、第３の時点で連続画像ＩＭ０～ＩＭ６内の画像ＩＭ２を受信する。この時点で、画像ＩＭ２は現在画像として定義され、また、画像ＩＭ１は先行画像として定義される。次いで、本オブジェクト検出システムは、画像ＩＭ２に対してステップＳ１０１～Ｓ１１３を実行する。画像ＩＭ３～ＩＭ６は、類推によって検出され得る。画像ＩＭ３～ＩＭ６のそれぞれにおいて、オブジェクトＯＢのオブジェクト選択範囲を正確に検出することにより、連続画像のオブジェクト検出が完了され得る。
【0049】
一実施形態では、本オブジェクト検出方法は、あらゆる不規則形状のオブジェクトに適用され得る。このオブジェクト選択範囲は、例えば、オブジェクトＯＢの先端とすることができる。本出願では、このオブジェクト選択範囲は不規則形状となっている。つまり、オブジェクト選択範囲の形状は限定されるものではなく、ユーザの設定に応じて調整され得る。
【0050】
上述した様々な実施形態によれば、オブジェクト認識手順とオブジェクト推定手順とは交互に実施され、その結果、多くのコンピューティングリソースを消費することなく、連続画像におけるオブジェクト検出が一定の精度レベルで維持され得る。このように、ＡＩ技術は、多額のハードウェアコストをかけることなく、連続画像において広く促進され得る。
【0051】
開示している実施形態に対して様々な修正及び変形をなすことが可能であることは、当業者には明らかであろう。本明細書及び実施例は例示としてのみ考慮され、本開示の真の範囲は、以下の特許請求の範囲及びそれらの均等物によって示されることが意図される。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
