特開 2024-168332 プログラム、画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024168332

(43)【公開日】2024-12-05

(54)【発明の名称】プログラム、画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 7/246 20170101AFI20241128BHJP

【ＦＩ】

G06T7/246

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023084899

(22)【出願日】2023-05-23

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】木下 翔太

(72)【発明者】

【氏名】垣田 直士

(72)【発明者】

【氏名】河野 貴

(72)【発明者】

【氏名】松本 裕生

(72)【発明者】

【氏名】西島 康崇

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096EA39

5L096FA05

5L096FA32

5L096FA62

5L096FA64

5L096FA66

5L096FA69

5L096FA77

5L096GA08

5L096GA17

5L096HA05

(57)【要約】

【課題】画像処理によるターゲットの追跡において、ターゲットの遠近に関わらず追跡の精度を安定化させること。
【解決手段】実施形態に係るプログラムは、カメラ画像に対する画像認識によって追跡対象物が存在する部分領域を検出すること、上記部分領域に対し時間方向の平均化処理を行うフィルタを適用すること、上記フィルタを適用する際に前回の平均化処理後の上記部分領域のサイズに応じて上記フィルタの係数を変化させること、をコンピュータに実行させる。
【選択図】図３

【特許請求の範囲】

【請求項1】

カメラ画像に対する画像認識によって追跡対象物が存在する部分領域を検出すること、
前記部分領域に対し時間方向の平均化処理を行うフィルタを適用すること、
前記フィルタを適用する際に前回の前記平均化処理後の前記部分領域のサイズに応じて前記フィルタの係数を変化させること、
をコンピュータに実行させる、プログラム。

【請求項2】

前記係数を変化させることにおいて、前記平均化処理における平均化の強度を示す強度係数を動的に変化させる、
請求項１に記載のプログラム。

【請求項3】

前記係数を変化させることにおいて、前記強度係数を線形的に変化させる、
請求項２に記載のプログラム。

【請求項4】

前記係数を変化させることにおいて、前記部分領域のサイズが大きいほど前記強度が小さくなるように前記強度係数を変化させる、
請求項３に記載のプログラム。

【請求項5】

前記係数を変化させることにおいて、
予め決められたサイズの範囲における前記部分領域のサイズの位置を示す調整係数を算出し、当該調整係数に基づいて前記強度係数を算出する、
請求項４に記載のプログラム。

【請求項6】

前記係数を変化させることにおいて、前記調整係数に基づいて前記部分領域に関するパラメータごとの前記強度係数を算出する、
請求項５に記載のプログラム。

【請求項7】

前記パラメータは、前記部分領域の中心位置、幅および高さを含む、
請求項６に記載のプログラム。

【請求項8】

前記フィルタは、
前回の前記平均化処理後の前記部分領域からの変化量に対し前記強度係数を乗じて前回の前記平均化処理後の前記部分領域へ加算することによって、今回検出された前記部分領域に対する前記平均化処理を実行する、
請求項６に記載のプログラム。

【請求項9】

画像処理装置であって、コントローラを有し、
前記コントローラは、
カメラ画像に対する画像認識によって追跡対象物が存在する部分領域を検出し、
前記部分領域に対し時間方向の平均化処理を行うフィルタを適用し、
前記フィルタを適用する際に前回の前記平均化処理後の前記部分領域のサイズに応じて前記フィルタの係数を変化させる、
画像処理装置。

【請求項10】

画像処理装置が実行する画像処理方法であって、
カメラ画像に対する画像認識によって追跡対象物が存在する部分領域を検出することと、
前記部分領域に対し時間方向の平均化処理を行うフィルタを適用することと、
前記フィルタを適用する際に前回の前記平均化処理後の前記部分領域のサイズに応じて前記フィルタの係数を変化させることと、
を含む、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、プログラム、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

従来、車両から撮影したカメラ画像に対するＡＩ（Artificial Intelligence）を用いた画像認識結果に基づき、前方車両等をターゲットとして追跡する画像処理技術が知られている。

【0003】

また、このような画像処理技術において、時間方向における画像認識結果のばらつきを抑えてターゲットを滑らかに追跡するために、平均化フィルタによる時間方向のフィルタリングを行う技術が提案されている（例えば、特許文献１参照）。平均化フィルタには、ＩＩＲ（Infinite Impulse Response）フィルタ等が用いられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７－２７２７３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した従来技術では、平均化フィルタの係数を固定値としているため、車両に対するターゲットの遠近によって追跡の精度にばらつきが出るという問題がある。

【0006】

ＡＩによる画像認識では、ターゲットは矩形の部分領域であるバウンディングボックス（以下、「Ｂｂｏｘ」と言う）として検出される。そして、遠方のターゲットは、近傍のターゲットよりも小さいサイズのＢｂｏｘとして検出される。

【0007】

ここで、仮に前述の係数が近傍のＢｂｏｘのフレーム間における位置やサイズのばらつきに合わせて予め設計されていた場合、遠方のＢｂｏｘのばらつきは、平均化の強度が弱すぎて補正しきれずに追跡が行えなくなるおそれがある。一方、係数が遠方のＢｂｏｘのばらつきに合わせて予め設計されていた場合、近傍のＢｂｏｘでは平均化の強度が強すぎてフィルタの応答遅延が生じ、追跡の精度が損なわれるおそれがある。

【0008】

実施形態の一態様は、上記に鑑みてなされたものであって、画像処理によるターゲットの追跡において、ターゲットの遠近に関わらず追跡の精度を安定化させることができるプログラム、画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

実施形態の一態様に係るプログラムは、カメラ画像に対する画像認識によって追跡対象物が存在する部分領域を検出すること、前記部分領域に対し時間方向の平均化処理を行うフィルタを適用すること、前記フィルタを適用する際に前回の前記平均化処理後の前記部分領域のサイズに応じて前記フィルタの係数を変化させること、をコンピュータに実行させる。

【発明の効果】

【0010】

実施形態の一態様によれば、画像処理によるターゲットの追跡において、ターゲットの遠近に関わらず追跡の精度を安定化させることができる。

【図面の簡単な説明】

【0011】

【図1】図１は、既存技術に係る画像処理方法の概要説明図である。

【図2】図２は、既存技術に係る平均化処理のブロック図である。

【図3】図３は、実施形態に係る平均化処理のブロック図である。

【図4】図４は、実施形態に係る画像処理装置の構成例を示す図である。

【図5】図５は、変形例に係る画像処理装置の構成例を示す図である。

【図6】図６は、実施形態に係る画像処理装置が実行する処理手順を示すフローチャートである。

【図7】図７は、実施形態に係るＢｂｏｘサイズ算出処理の説明図である。

【図8】図８は、実施形態に係る調整係数算出処理の説明図である。

【図9】図９は、実施形態に係る動的係数算出処理の説明図である。

【図10】図１０は、近傍のターゲットに対し既存技術および本実施形態を適用した場合のイメージを示す図である。

【図11】図１１は、遠方のターゲットに対し既存技術および本実施形態を適用した場合のイメージを示す図である。

【図12】図１２は、既存技術において遠方のターゲットを追跡する場合のイメージを示す図である。

【図13】図１３は、本実施形態において遠方のターゲットを追跡する場合のイメージを示す図である。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して、本願の開示するプログラム、画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0013】

また、以下では、実施形態に係る画像処理装置１０が、車両に搭載される車載装置であるものとする。画像処理装置１０は、カメラ画像に対するＡＩを用いた画像認識によって、画像中の対象物を検出可能に設けられた装置である。本実施形態では、検出する対象物が自車両の前方を走行する前方車両であるものとする。

【0014】

また、以下に説明する実施形態に係る画像処理方法は、画像処理装置１０が備えるコントローラ１２（図４参照）が実行するものとする。

【0015】

また、以下では、「所定」との表現は、「予め決められた」と読み替えてもよい。また、「ターゲット」との表現は、「追跡対象物」と読み替えてもよい。また、「トラッキング」との表現は、「追跡」と読み替えてもよい。

【0016】

また、以下では、カメラ画像のｎフレーム目（ｎは１以上の自然数）が「今回」の処理対象に該当するものとする。これに応じ、ｎ－１フレーム目が「前回」の処理対象に該当するものとする。したがって、ｎ＋１フレーム目は「次回」に該当する。

【0017】

まず、実施形態に係る画像処理方法の説明に先立って、既存技術に係る画像処理方法の概要について図１および図２を用いて説明する。図１は、既存技術に係る画像処理方法の概要説明図である。図２は、既存技術に係る平均化処理のブロック図である。

【0018】

図１に示すように、直近の処理対象であるｎフレーム目（ｎは１以上の自然数）のカメラ画像１００_ｎから前方車両をＢｂｏｘ１０１_ｎとして検出し、このＢｂｏｘ１０１_ｎをフレーム間でトラッキングして逐次車間距離Ｄを算出する既存技術がある。

【0019】

この既存技術では、時間方向における画像認識結果のばらつきを抑えてターゲットを滑らかに追跡するために、検出されたＢｂｏｘ１０１_ｎを入力Ｂｂｏｘ（ｎ）としたＩＩＲフィルタによる平均化処理を実行する（ステップＳ２）。

【0020】

平均化処理は、図２に示すように、１フレーム前の平均化処理後の出力Ｂｂｏｘ（ｎ－１）に対する入力Ｂｂｏｘ（ｎ）の位置やサイズの各変化量である差分を算出する（図中の「差分算出」参照）。そして、平均化処理は、この差分に対し固定係数を乗じて鈍（なま）らせる（図中の乗算器Ｍ１参照）。

【0021】

固定係数は、平均化の強度を重み付けする強度係数であり、予め設計された固定値である。また、平均化処理は、鈍らせた差分を出力Ｂｂｏｘ（ｎ－１）に対して加算し（図中の加算器Ａ１参照）、出力Ｂｂｏｘ（ｎ）として出力する。

【0022】

図１に示すＢｂｏｘ１０２_ｎ－２，１０２_ｎ－１，１０２_ｎは、時間方向におけるこの出力Ｂｂｏｘ（ｎ）の下端中点（前方車両の路面接地点に相当）の俯瞰視点による軌跡である。既存技術は、このように出力Ｂｂｏｘ（ｎ）の特定位置を透視投影変換により俯瞰視点へ変換する視点変換処理を実行する（ステップＳ３）。そして、既存技術は、視点変換された出力Ｂｂｏｘ（ｎ）の特定位置に基づいて車間距離Ｄを算出する。

【0023】

なお、既存技術は、平均化処理に先立って追跡継続判定処理を実行する（ステップＳ１）。追跡継続判定処理は、入力Ｂｂｏｘ（ｎ）と出力Ｂｂｏｘ（ｎ－１）の重なり度合いを判定する。重なり度合いは、ＩｏＵ（Intersection over Union）である。ＩｏＵは、Ｂｂｏｘ予測処理が算出する（ステップＳ４）。

【0024】

追跡継続判定処理は、ＩｏＵが０ならば、追跡継続不可であるとしてＢｂｏｘ予測処理によって算出された入力Ｂｂｏｘ（ｎ）の予測値を平均化処理へ入力させるいわゆる外挿処理を実行する。

【0025】

しかしながら、既存技術では、上述したように平均化処理の強度係数を固定値としているため、車両Ｖに対するターゲットの遠近によって追跡の精度にばらつきが出るという問題がある。

【0026】

例えば、遠方のターゲットは、近傍のターゲットよりも小さいサイズのＢｂｏｘとして検出される。

【0027】

ここで、仮に前述の固定係数が近傍のＢｂｏｘのフレーム間におけるばらつきに合わせて予め設計されていた場合、遠方のＢｂｏｘのばらつきは、平均化の強度が弱すぎて補正しきれずに追跡が行えなくなるおそれがある。一方、固定係数が遠方のＢｂｏｘのばらつきに合わせて予め設計されていた場合、近傍のＢｂｏｘでは平均化の強度が強すぎてＩＩＲフィルタの応答遅延が生じ、追跡の精度が損なわれるおそれがある。

【0028】

そこで、実施形態に係る画像処理方法では、ステップＳ２の平均化処理を実行するに際し、前回の平均化処理後のＢｂｏｘである出力Ｂｂｏｘ（ｎ－１）のサイズに応じて平均化処理の強度係数を変化させることとした。

【0029】

図３は、実施形態に係る平均化処理のブロック図である。実施形態に係る画像処理方法では、ＩＩＲフィルタによるＢｂｏｘの平均化処理の際に、出力Ｂｂｏｘ（ｎ－１）のサイズに応じて平均化の強度（すなわち、鈍らせの強度）を動的に変化させる。

【0030】

近傍のターゲットは、車両Ｖに近いほどサイズが大きく、安定したＢｂｏｘとして検出される。このため、近傍のターゲットは、位置ズレによる影響は小さいと考えられる。したがって、コントローラ１２は、相対的に大きいサイズのＢｂｏｘが検出された場合は、平均化の強度が小さくなるようにＩＩＲフィルタの強度係数を変化させる。

【0031】

一方で、遠方のターゲットは、車両Ｖに対して遠いほどサイズが小さく、不安定なＢｂｏｘとして検出される。このため、遠方のターゲットは、位置ズレやサイズ変化による影響は大きいと考えられる。したがって、コントローラ１２は、相対的に小さいサイズのＢｂｏｘが検出された場合は、平均化の強度が大きくなるようにＩＩＲフィルタの強度係数を変化させる。

【0032】

具体的には、図３に示すように、実施形態に係る画像処理方法では、ステップＳ２の平均化処理を実行するに際し、Ｂｂｏｘサイズ算出処理（ステップＳ１１）と、調整係数算出処理（ステップＳ１２）と、動的係数算出処理（ステップＳ１３）とを実行する。

【0033】

上述したように、ターゲットの検出においては近傍のものほど大きなＢｂｏｘで、遠方のものほど小さいＢｂｏｘでそれぞれ検出されることから、ターゲットの遠近はＢｂｏｘのサイズによって概ね判断できる。また通常、前方車両のようなターゲットは、フレーム間での急激な移動や急激なサイズの変化はないと見做すことができる。

【0034】

このような特性を利用し、実施形態に係る画像処理方法では、Ｂｂｏｘのサイズに応じて、近傍から遠方にかけてＩＩＲフィルタの強度係数を線形的かつ動的に変化させる。線形的に変化させることで、滑らかで安定したターゲットの追跡が可能となる。また、動的に変化させることで、ターゲットの遠近に関わらずＢｂｏｘのばらつきを抑えることができる。また、これらにより、正確な車間距離Ｄを計測することが可能となる。

【0035】

ステップＳ１１のＢｂｏｘサイズ算出処理では、このような実施形態に係る画像処理方法において、Ｂｂｏｘのサイズを算出する。なお、Ｂｂｏｘサイズ算出処理は、１フレーム目については、入力Ｂｂｏｘ（ｎ）のサイズを算出する。また、Ｂｂｏｘサイズ算出処理は、２フレーム目以降については、出力Ｂｂｏｘ（ｎ－１）のサイズを算出する。実施形態に係るＢｂｏｘサイズ算出処理の詳細については、図７を用いた説明で後述する。

【0036】

ステップＳ１２の調整係数算出処理では、予め決められたサイズの範囲におけるＢｂｏｘのサイズの位置を示す調整係数を算出する。言い換えれば、調整係数算出処理は、予め決められたサイズの範囲に対するＢｂｏｘのサイズの比率を示す調整係数を算出する。調整係数は、Ｂｂｏｘのサイズが小さいほど値が大きくなり、Ｂｂｏｘのサイズが大きいほど値が小さくなるように算出される。これにより、予め決められたサイズの範囲におけるＢｂｏｘのサイズの位置付けに応じた調整係数を算出し、この調整係数に基づいてターゲットのＢｂｏｘのサイズに適した動的係数を算出することが可能となる。実施形態に係る調整係数算出処理の詳細については、図８を用いた説明で後述する。

【0037】

ステップＳ１３の動的係数算出処理では、調整係数算出処理において算出された調整係数に基づいてＩＩＲフィルタの強度係数を線形的かつ動的な動的係数として算出する。強度係数は、調整係数に応じて、Ｂｂｏｘのサイズが小さいほど値が大きくなり、Ｂｂｏｘのサイズが大きいほど値が小さくなるように算出される。これにより、ターゲットのＢｂｏｘのサイズに適した動的係数を都度設定することが可能となる。また、動的係数算出処理は、調整係数に基づいてＢｂｏｘに関するパラメータごと、例えばＢｂｏｘの中心位置、幅および高さごとの強度係数を算出する。これにより、ターゲットのＢｂｏｘを構成するパラメータごとに応じた動的係数を都度設定することが可能となる。実施形態に係る動的係数算出処理の詳細については、図９を用いた説明で後述する。

【0038】

そして、実施形態に係る画像処理方法において、ステップＳ２の平均化処理では、動的係数算出処理によって算出された動的係数、入力Ｂｂｏｘ（ｎ）および出力Ｂｂｏｘ（ｎ－１）を入力とするＩＩＲフィルタによる平均化処理を実行する。

【0039】

すなわち、実施形態に係る平均化処理は、１フレーム前の平均化処理後の出力Ｂｂｏｘ（ｎ－１）と入力Ｂｂｏｘ（ｎ）との差分を算出し、この差分に対し固定係数ではなく動的係数を乗じて鈍らせる。そして、平均化処理は、鈍らせた差分を出力Ｂｂｏｘ（ｎ－１）に対して加算し、出力Ｂｂｏｘ（ｎ）として出力する。これにより、ターゲットのＢｂｏｘのサイズに応じた動的な平均化処理の実行が可能となる。また、ターゲットの遠近に関わらず安定したターゲットの追跡が可能となる。実施形態に係る平均化処理の詳細については、図６を用いた説明で後述する。

【0040】

このように、実施形態に係る画像処理方法では、コントローラ１２が、ステップＳ２の平均化処理を実行するに際し、前回の平均化処理後のＢｂｏｘである出力Ｂｂｏｘ（ｎ－１）のサイズに応じて平均化処理の強度係数を変化させる。

【0041】

これにより、実施形態に係る画像処理方法によれば、画像処理によるターゲットの追跡において、ターゲットの遠近に関わらず追跡の精度を安定化させることができる。

【0042】

以下、上述した実施形態に係る画像処理方法を適用した画像処理装置１０の構成例について、より具体的に説明する。

【0043】

図４は、実施形態に係る画像処理装置１０の構成例を示す図である。図４に示すように、画像処理装置１０は、記憶部１１と、コントローラ１２とを備える。また、画像処理装置１０は、カメラ３と、外部装置２０とが接続される。

【0044】

カメラ３は、車両Ｖに搭載され、車両Ｖの前方を撮像可能に設けられる。なお、カメラ３は、車両Ｖの前方に限らず、車両Ｖの全周囲を撮像可能な３６０度カメラであってもよい。

【0045】

外部装置２０は、画像処理装置１０からの出力に基づいて所定の情報処理を行うＥＣＵ（Electronic Control Unit）等の各種装置である。外部装置２０は、例えば画像処理装置１０から出力される車間距離Ｄに基づいて車両Ｖの煽り判定／煽られ判定を行う装置である。外部装置２０は、ＣＡＮ（Controller Area Network）等の車載ネットワークを介して画像処理装置１０と接続される。外部装置２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Ｗｉ－Ｆｉ（登録商標）、ＵＷＢ（Ultra Wide Band）等を介して無線により画像処理装置１０と接続されてもよい。

【0046】

画像処理装置１０は、例えば車両Ｖに搭載されるコンピュータである。画像処理装置１０は少なくとも、図３を用いて説明したステップＳ１１～Ｓ１３およびステップＳ２の情報処理を実行する。

【0047】

記憶部１１は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の記憶デバイスによって実現される。記憶部１１は、コントローラ１２が実行する実施形態に係るプログラムを記憶する。また、記憶部１１は、コントローラ１２が実行する情報処理において用いられる各種の情報を記憶する。

【0048】

記憶部１１は、例えば画像認識用のＡＩモデルを記憶する。また、記憶部１１は、上述した調整係数の設定情報や動的係数の算出に用いる各種の閾値情報等を記憶する。

【0049】

コントローラ１２は、いわゆるプロセッサに相当する。コントローラ１２は、ＣＰＵ（Central Processing Unit）や、ＭＰＵ（Micro Processing Unit）や、ＧＰＵ（Graphics Processing Unit）等によって実現される。コントローラ１２は、記憶部１１に記憶されている実施形態に係るプログラムを読み込んでＲＡＭを作業領域として実行する。コントローラ１２は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することもできる。

【0050】

コントローラ１２は、図６のフローチャートに示す処理手順による情報処理を実行する。図６を用いた説明は後述する。

【0051】

なお、図４に示すように、カメラ３および画像処理装置１０は、ドライブレコーダ１として実現することができる。この場合、カメラ３は、ドライブレコーダ１に搭載されるカメラユニットによって実現される。画像処理装置１０は、ドライブレコーダ１に搭載されるマイコンによって実現される。

【0052】

図４に示す構成例は一例であり、この他にも変形例を挙げることができる。図５は、変形例に係る画像処理装置１０の構成例を示す図である。図５に示すように、画像処理装置１０は、画像処理ＥＣＵ５として実現することができる。この場合、カメラ３は、例えばドライブレコーダ１に搭載されるカメラユニットによって実現される。カメラ３は、ドライブレコーダ１以外の車載カメラユニットによって実現されてもよい。

【0053】

図５の例の場合、カメラ３は、ＣＡＮ等の車載ネットワークを介して画像処理装置１０と接続される。カメラ３は、Ｂｌｕｅｔｏｏｔｈや、Ｗｉ－Ｆｉ、ＵＷＢ等を介して無線により画像処理装置１０と接続されてもよい。

【0054】

次に、画像処理装置１０のコントローラ１２が実行する情報処理の処理手順について、図６を用いて説明する。図６は、実施形態に係る画像処理装置１０が実行する処理手順を示すフローチャートである。

【0055】

図６に示すように、コントローラ１２は、カメラ３からカメラ画像を取得する（ステップＳ１０１）。つづいて、コントローラ１２は、取得したカメラ画像からターゲットが存在するＢｂｏｘを検出する（ステップＳ１０２）。

【0056】

つづいて、コントローラ１２は、図１を用いて説明した「追跡継続判定処理」を実行する（ステップＳ１０３）。追跡継続判定処理では、コントローラ１２は、上述したステップＳ４のＢｂｏｘ予測処理で算出されたＩｏＵを判定する。

【0057】

コントローラ１２は、ＩｏＵに基づいて追跡継続可能であるか否かを判定する（ステップＳ１０４）。コントローラ１２は、ＩｏＵが０であれば追跡継続不可であると判定し（ステップＳ１０４，Ｎｏ）、上述した外挿処理を実行する（ステップＳ１０５）。

【0058】

外挿処理では、コントローラ１２は、Ｂｂｏｘ予測処理によって算出された入力Ｂｂｏｘ（ｎ）の予測値を平均化処理へ入力させる。また、コントローラ１２は、ＩｏＵが０以外であれば追跡継続可能であると判定し（ステップＳ１０４，Ｙｅｓ）、ステップＳ１０６へ遷移する。

【0059】

そして、コントローラ１２は、図３にも示した「Ｂｂｏｘサイズ算出処理」を実行する（ステップＳ１０６）。ここで、図７は、実施形態に係るＢｂｏｘサイズ算出処理の説明図である。

【0060】

Ｂｂｏｘサイズ算出処理では、コントローラ１２は、図７に示すように、Ｂｂｏｘの中心位置Ｐにおける位置Ｐ_Ｘ，Ｐ_Ｙ、幅Ｗおよび高さＨを算出する。本実施形態では、この位置Ｐ_Ｘ，Ｐ_Ｙ、幅Ｗおよび高さＨが、平均化処理におけるフィルタリングの対象となる。

【0061】

なお、コントローラ１２は、１フレーム目については、入力Ｂｂｏｘ（ｎ）の位置Ｘ，Ｙ、幅Ｗおよび高さＨを算出する。また、コントローラ１２は、２フレーム目以降については、出力Ｂｂｏｘ（ｎ－１）の位置Ｐ_Ｘ，Ｐ_Ｙ、幅Ｗおよび高さＨを算出する。

【0062】

図６の説明に戻る。つづいて、コントローラ１２は、図３にも示した「調整係数算出処理」を実行する（ステップＳ１０７）。ここで、図８は、実施形態に係る調整係数算出処理の説明図である。

【0063】

調整係数算出処理では、コントローラ１２は、ステップＳ１０６で算出した幅Ｗおよび高さＨのうち例えば小さい方をターゲットのＢｂｏｘのサイズを示す指標値として選択する。そして、コントローラ１２は、その指標値が予め決められたＢｂｏｘのサイズの範囲においてどの位置に該当するかの比率を調整係数として算出する。

【0064】

図８に示すように、調整係数は、０～１．０の数値範囲で定義される。また、調整係数は、最小値および最大値によって規定されるＢｂｏｘのサイズの範囲において線形的に、Ｂｂｏｘのサイズが小さいほど値が大きくなるように定義される。式は以下の式（１），（２）のように表される。

【0065】

（１）
Ｂｂｏｘのサイズ＝Ｍｉｎ（Ｍａｘ（Ｂｂｏｘのサイズ，最小値），最大値）
（２）
調整係数＝１．０－（Ｂｂｏｘのサイズ－最小値）／（最大値－最小値）

【0066】

なお、図８は、最小値＝４０および最大値＝１４０で規定されるＢｂｏｘのサイズの範囲において、Ｂｂｏｘのサイズが比較的小さい５０である場合に、調整係数が０．９として算出される例を示している。図８が示す数値の設定例はあくまで一例である。

【0067】

図６の説明に戻る。つづいて、コントローラ１２は、図３にも示した「動的係数算出処理」を実行する（ステップＳ１０８）。ここで、図９は、実施形態に係る動的係数算出処理の説明図である。

【0068】

動的係数算出処理では、コントローラ１２は、ステップＳ１０７で算出した調整係数を用いて平均化処理におけるＩＩＲフィルタの動的係数を算出する。動的係数算出処理では、コントローラ１２は、前述の位置Ｐ_Ｘ，Ｐ_Ｙおよびサイズ（幅Ｗ，高さＨ）のそれぞれについての動的係数を算出する。

【0069】

コントローラ１２は、図９に示すように、位置Ｐ_Ｘ，Ｐ_Ｙおよびサイズのそれぞれについて予め設定した第１閾値および第２閾値（第１閾値＞第２閾値）の範囲内で動的係数を以下の式（３）～（５）により算出する。なお、図９が示す数値例はあくまで一例である。

【0070】

（３）
位置Ｐ_Ｘの動的係数＝位置Ｐ_Ｘの第１閾値－（位置Ｐ_Ｘの第１閾値－位置Ｐ_Ｘの第２閾値）＊調整係数
（４）
位置Ｐ_Ｙの動的係数＝位置Ｐ_Ｙの第１閾値－（位置Ｐ_Ｙの第１閾値－位置Ｐ_Ｙの第２閾値）＊調整係数
（５）
サイズの動的係数＝サイズの第１閾値－（サイズの第１閾値－サイズの第２閾値）＊調整係数

【0071】

例えば、遠方であるほどターゲットのＢｂｏｘのサイズは小さくなるので、調整係数算出処理によって算出される調整係数は大きくなる。そして、調整係数が大きいほど動的係数算出処理によって算出される動的係数は小さい方の閾値である第２閾値に近くなるので、平均化の強度（すなわち、鈍らせの強度）は大きくなる。

【0072】

図６の説明に戻る。そして、コントローラ１２は、ＩＩＲフィルタによる「平均化処理」を実行する（ステップＳ１０９）。ステップＳ１０９では、コントローラ１２は、今回の平均化処理後のＢｂｏｘとなる出力Ｂｂｏｘ（ｎ）の位置Ｐ_Ｘ，Ｐ_Ｙ、幅Ｗおよび高さＨを以下の式（６）～（９）によりそれぞれ算出する。

【0073】

（６）
出力Ｂｂｏｘ（ｎ）の位置Ｐ_Ｘ＝出力Ｂｂｏｘ（ｎ－１）の位置Ｐ_Ｘ＋（入力Ｂｂｏｘ（ｎ）の位置Ｐ_Ｘ－出力Ｂｂｏｘ（ｎ－１）の位置Ｐ_Ｘ）＊位置Ｐ_Ｘの動的係数
（７）
出力Ｂｂｏｘ（ｎ）の位置Ｐ_Ｙ＝出力Ｂｂｏｘ（ｎ－１）の位置Ｐ_Ｙ＋（入力Ｂｂｏｘ（ｎ）の位置Ｐ_Ｙ－出力Ｂｂｏｘ（ｎ－１）の位置Ｐ_Ｙ）＊位置Ｐ_Ｙの動的係数
（８）
出力Ｂｂｏｘ（ｎ）の幅Ｗ＝出力Ｂｂｏｘ（ｎ－１）の幅Ｗ＋（入力Ｂｂｏｘ（ｎ）の幅Ｗ－出力Ｂｂｏｘ（ｎ－１）の幅Ｗ）＊サイズの動的係数
（９）
出力Ｂｂｏｘ（ｎ）の高さＨ＝出力Ｂｂｏｘ（ｎ－１）の高さＨ＋（入力Ｂｂｏｘ（ｎ）の高さＨ－出力Ｂｂｏｘ（ｎ－１）の高さＨ）＊サイズの動的係数

【0074】

そして、コントローラ１２は、図１にも示した「視点変換処理」を実行する（ステップＳ１１０）。視点変換処理では、コントローラ１２は、ステップＳ１０９から出力される出力Ｂｂｏｘ（ｎ）の特定位置を透視投影変換により俯瞰視点へ変換する。そして、コントローラ１２は、視点変換された出力Ｂｂｏｘ（ｎ）の特定位置に基づいて車間距離Ｄを算出する。

【0075】

そして、コントローラ１２は、外部装置２０へステップＳ１１０で算出した車間距離Ｄを出力し（ステップＳ１１１）、処理終了であるか否かを判定する（ステップＳ１１２）。処理終了を示すイベントは、例えば車両Ｖの起動終了等である。処理終了を示すイベントは、外挿処理が所定回数以上繰り返された場合を含んでもよい。

【0076】

処理終了でないと判定した場合（ステップＳ１１２，Ｎｏ）、コントローラ１２は、ステップＳ１０１からの処理を繰り返す。また、処理終了であると判定した場合（ステップＳ１１２，Ｙｅｓ）、コントローラ１２は、処理を終了する。

【0077】

次に、近傍のターゲットおよび遠方のターゲットに対し、それぞれ既存技術および本実施形態を適用した場合のイメージについて、図１０～図１３を用いて説明する。

【0078】

図１０は、近傍のターゲットに対し既存技術および本実施形態を適用した場合のイメージを示す図である。また、図１１は、遠方のターゲットに対し既存技術および本実施形態を適用した場合のイメージを示す図である。また、図１２は、既存技術において遠方のターゲットを追跡する場合のイメージを示す図である。また、図１３は、本実施形態において遠方のターゲットを追跡する場合のイメージを示す図である。

【0079】

なお、図１０～図１３において、Ｂｂｏｘ１０１_ｎは、ｎフレーム目（すなわち、今回）において検出された入力Ｂｂｏｘ（ｎ）に相当する。Ｂｂｏｘ１０２_ｎ－１は、ｎ－１フレーム目（すなわち、前回）において平均化処理後に出力された出力Ｂｂｏｘ（ｎ－１）に相当する。

【0080】

Ｂｂｏｘ１０２_ｎは、ｎフレーム目において平均化処理後に出力される出力Ｂｂｏｘ（ｎ）に相当する。Ｂｂｏｘ１０１_ｎ＋１は、ｎ＋１フレーム目（すなわち、次回）において検出される入力Ｂｂｏｘ（ｎ）に相当する。

【0081】

まず、近傍のターゲットに対し既存技術および本実施形態を適用した場合、近傍ではＡＩによる画像認識結果は比較的安定するため、固定係数を用いた場合と動的係数を用いた場合とで目立った大きな違いはほとんど出ない。したがって、図１０に示すように、ｎフレーム目において平均化処理後に出力されるＢｂｏｘ１０２_ｎは、既存技術と本実施形態とでＢｂｏｘ１０２_ｎ－１に対しほぼ同様に位置およびサイズが変化する。

【0082】

これに対し、遠方のターゲットに対し既存技術を適用した場合、例えば固定係数が小さいと平均化の強度が不足して、図１１の左図に示すようにＢｂｏｘ１０２_ｎ－１に対するＢｂｏｘ１０２_ｎの位置およびサイズの変化量は大きなものとなる。

【0083】

一方、遠方のターゲットに対し本実施形態を適用した場合、Ｂｂｏｘ１０２_ｎ－１のサイズに応じて動的係数は大きくなるように調整される。このため、図１１の右図に示すように、Ｂｂｏｘ１０２_ｎ－１に対するＢｂｏｘ１０２_ｎの位置およびサイズの変化量は、既存技術を適用した場合に比べて小さくなる。これにより、出力Ｂｂｏｘ（ｎ）の時間方向における急激な変化を抑制することができる。また、それにより、例えば車間距離Ｄの測定を安定化することができる。

【0084】

また、遠方のターゲットに対し既存技術を適用した場合、図１１の左図に示したようにＢｂｏｘ１０２_ｎ－１とＢｂｏｘ１０１_ｎとで重なりがなければ（すなわち、ＩｏＵが０であれば）、上述したように外挿処理が実行される。

【0085】

これに加えて、図１２に示すように、Ｂｂｏｘ１０１_ｎ＋１が再度Ｂｂｏｘ１０２_ｎ－１付近で検出されたものとする。この場合、ｎ＋１フレーム目においても外挿処理が行われることとなる。外挿処理が繰り返された場合、Ｂｂｏｘは真のターゲットからずれていく可能性が高いため、外挿処理で補正し切れない状態となりターゲットを完全にロストしてしまうおそれがある。

【0086】

これに対し、図１３に示すように、本実施形態を適用した場合、図１２と同様にＢｂｏｘ１０１_ｎ＋１が再度Ｂｂｏｘ１０２_ｎ－１付近で検出されたとしても、Ｂｂｏｘ１０２_ｎに対するＢｂｏｘ１０１_ｎ＋１のＩｏＵは０以外となる可能性が高い。したがって、本実施形態を適用した場合、外挿処理が行われる機会を減らすことができ、安定したターゲットの追跡を可能にすることができる。

【0087】

上述してきたように、実施形態に係るプログラムは、カメラ画像に対する画像認識によってターゲット（「追跡対象物」の一例に相当）が存在するＢｂｏｘ１０１_ｎ（「部分領域」の一例に相当）を検出すること、Ｂｂｏｘ１０１_ｎに対し時間方向の平均化処理を行うＩＩＲフィルタ（「フィルタ」の一例に相当）を適用すること、ＩＩＲフィルタを適用する際に前回の平均化処理後のＢｂｏｘ１０２_ｎ－１のサイズに応じてＩＩＲフィルタの係数を変化させること、をコンピュータに実行させる。これにより、画像処理装置１０は、例えばＢｂｏｘ１０２_ｎ－１のサイズに応じて、遠方のターゲットについては平均化の強度を大きくし、近傍のターゲットについては平均化の強度を小さくしつつ、ターゲットを追跡することが可能となる。すなわち、実施形態に係るプログラムを実行する画像処理装置１０によれば、画像処理によるターゲットの追跡において、ターゲットの遠近に関わらず追跡の精度を安定化させることができる。

【0088】

なお、上述した実施形態では、ターゲットが前方車両である例を挙げたが、ターゲットは車両に限られない。例えばターゲットは、人物等であってもよい。

【0089】

また、上述した実施形態では、画像処理装置１０が車載装置であることとしたが、画像処理装置１０は車載装置に限られない。例えば、画像処理装置１０は、ユーザが利用するスマートフォンやＰＣ（Personal Computer）等のコンピュータであってもよい。

【0090】

これに伴い、実施形態に係るプログラムは、出力結果として車間距離Ｄを出力するものに限られず、例えばターゲットの軌跡を出力結果として出力するものであってもよい。同様に、実施形態に係るプログラムは、例えばターゲットを追跡しつつターゲットの様子を逐次表示するビューワーソフト等であってもよい。

【0091】

また、上述した実施形態では、ターゲットのＢｂｏｘのサイズを示す指標値が、幅Ｗおよび高さＨのうち例えば小さい方であることとしたが、大きい方を選択してもよい。また、この指標値は、ターゲットのＢｂｏｘの面積であってもよい。

【0092】

また、上述した実施形態では、動的係数を算出する際の第１閾値および第２閾値が、幅Ｗおよび高さＨで共通であることとしたが、幅Ｗおよび高さＨで個別であってもよい。

【0093】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0094】

１ ドライブレコーダ
３ カメラ
５ 画像処理ＥＣＵ
１０ 画像処理装置
１１ 記憶部
１２ コントローラ
２０ 外部装置
Ｄ 車間距離
Ｈ 高さ
Ｐ 中心位置
Ｗ 幅

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】