特開 2024-135469 対象物追跡プログラム、対象物追跡装置及びその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024135469

(43)【公開日】2024-10-04

(54)【発明の名称】対象物追跡プログラム、対象物追跡装置及びその方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240927BHJP

【ＦＩ】

G06T7/20

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023046166

(22)【出願日】2023-03-23

(71)【出願人】

【識別番号】000231512

【氏名又は名称】日本精機株式会社

(72)【発明者】

【氏名】舩木 陸議

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA18

5L096GA51

5L096HA05

5L096JA09

(57)【要約】

【課題】対象物を好適に追跡できる対象物追跡プログラム、対象物追跡装置及びその方法を提供する。
【解決手段】本実施形態における対象物追跡プログラムは、コンピュータに、撮影画像を取得する画像取得手段と、撮影画像に含まれる検出対象物を検出可能な第一検出方法を用いて、撮影画像から検出対象物を検出する検出手段と、撮影画像に含まれる検出対象物を検出可能な第一検出方法とは異なる第二検出方法を用いて、検出手段が検出した検出対象物を追跡対象物として撮影画像から繰り返し検出することで、撮影画像内で追跡対象物を追跡する追跡手段と、を実行させる。
【選択図】 図２

【特許請求の範囲】

【請求項1】

コンピュータに、
撮影画像を取得する画像取得手段と、
前記撮影画像に含まれる検出対象物を検出可能な第一検出方法を用いて、前記撮影画像から前記検出対象物を検出する検出手段と、
前記撮影画像に含まれる前記検出対象物を検出可能な前記第一検出方法とは異なる第二検出方法を用いて、前記検出手段が検出した前記検出対象物を追跡対象物として前記撮影画像から繰り返し検出することで、前記撮影画像内で前記追跡対象物を追跡する追跡手段と、
を実行させるための対象物追跡プログラム。

【請求項2】

前記検出手段は、前記検出対象物が含まれる前記撮影画像内の領域であるバウンディングボックスを検出し、
前記追跡手段は、前記バウンディングボックス内又は前記バウンディングボックスに対して所定量拡張された領域内を検出範囲として前記追跡対象物を検出する、請求項１記載の対象物追跡プログラム。

【請求項3】

前記追跡手段は、前記検出範囲で前記追跡対象物が検出された後、前記追跡手段が検出した前記追跡対象物が含まれる前記撮影画像内の領域である新規バウンディングボックスを検出し、前記新規バウンディングボックス内又は前記新規バウンディングボックスに対して所定量拡張された領域内を新規検出範囲として前記追跡対象物を検出する、請求項２記載の対象物追跡プログラム。

【請求項4】

前記第二検出方法は、パターンマッチングであり、
前記追跡手段は、前記検出手段が検出した前記検出対象物の画像と、前記追跡手段が検出した前記追跡対象物の画像と、から検出の確度を算出し、
前記検出手段は、前記確度が閾値以下となった場合、前記撮影画像から前記検出対象物を再検出し、
前記追跡手段は、前記検出手段が再検出した前記検出対象物を新規追跡対象物として前記撮影画像から繰り返し検出する、請求項１記載の対象物追跡プログラム。

【請求項5】

前記第二検出方法は、パターンマッチングであり、
前記検出手段は、前記検出対象物を検出してから所定時間が経過した場合、前記撮影画像から前記検出対象物を再検出し、
前記追跡手段は、前記検出手段が再検出した前記検出対象物を新規追跡対象物として前記撮影画像から繰り返し検出する、請求項１記載の対象物追跡プログラム。

【請求項6】

撮影画像を取得する画像取得部と、
前記撮影画像に含まれる検出対象物を検出可能な第一検出方法を用いて、前記撮影画像から前記検出対象物を検出する検出部と、
前記撮影画像に含まれる前記検出対象物を検出可能な前記第一検出方法とは異なる第二検出方法を用いて、前記検出部が検出した前記検出対象物を追跡対象物として前記撮影画像から繰り返し検出することで、前記撮影画像内で前記追跡対象物を追跡する追跡部と、を備える対象物追跡装置。

【請求項7】

撮影画像を取得する画像取得ステップと、
前記撮影画像に含まれる検出対象物を検出可能な第一検出方法を用いて、前記撮影画像から前記検出対象物を検出する検出ステップと、
前記撮影画像に含まれる前記検出対象物を検出可能な前記第一検出方法とは異なる第二検出方法を用いて、前記検出ステップで検出された前記検出対象物を追跡対象物として前記撮影画像から繰り返し検出することで、前記撮影画像内で前記追跡対象物を追跡する追跡ステップと、を備える対象物追跡方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像から対象物を検出し追跡する対象物追跡システムに関する。

【背景技術】

【0002】

画像中から人間の顔をはじめとする物体を検出する技術に、ニューラルネットワークが用いられている。ニューラルネットワークを用いた検出技術は、画像データを学習することで、物体の認識処理を高精度に行うことができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平６－２５５３８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ニューラルネットワークの一例としての畳み込みニューラルネットワーク（ＣＮＮ、Convolutional Neural Network）、ディープニューラルネットワーク（ＤＮＮ、Deep Neural Network）等が用いられた物体の検出技術は、上述の通り高精度な検出が可能である。しかしながら、計算量が多く、検出までに時間を要する。このため、検出精度及び検出速度が両立できる技術が求められている。特に、物体を継続的に検出することで追跡することが求められる場合には、これらの両立が肝要となる。

【0005】

本開示はこのような事情を考慮してなされたもので、対象物を好適に追跡できる対象物追跡プログラム、対象物追跡装置及びその方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の対象物追跡プログラムは、上述した課題を解決するために、コンピュータに、撮影画像を取得する画像取得手段と、前記撮影画像に含まれる検出対象物を検出可能な第一検出方法を用いて、前記撮影画像から前記検出対象物を検出する検出手段と、前記撮影画像に含まれる前記検出対象物を検出可能な前記第一検出方法とは異なる第二検出方法を用いて、前記検出手段が検出した前記検出対象物を追跡対象物として前記撮影画像から繰り返し検出することで、前記撮影画像内で前記追跡対象物を追跡する追跡手段と、を実行させる。

【0007】

また、本開示の対象物追跡装置は、撮影画像を取得する画像取得部と、前記撮影画像に含まれる検出対象物を検出可能な第一検出方法を用いて、前記撮影画像から前記検出対象物を検出する検出部と、前記撮影画像に含まれる前記検出対象物を検出可能な前記第一検出方法とは異なる第二検出方法を用いて、前記検出部が検出した前記検出対象物を追跡対象物として前記撮影画像から繰り返し検出することで、前記撮影画像内で前記追跡対象物を追跡する追跡部と、を備える。

【0008】

また、本開示の対象物追跡方法は、撮影画像を取得する画像取得ステップと、前記撮影画像に含まれる検出対象物を検出可能な第一検出方法を用いて、前記撮影画像から前記検出対象物を検出する検出ステップと、前記撮影画像に含まれる前記検出対象物を検出可能な前記第一検出方法とは異なる第二検出方法を用いて、前記検出ステップで検出された前記検出対象物を追跡対象物として前記撮影画像から繰り返し検出することで、前記撮影画像内で前記追跡対象物を追跡する追跡ステップと、を備える。

【発明の効果】

【0009】

本開示の対象物追跡プログラム、対象物追跡装置及びその方法においては、対象物を好適に追跡することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態における対象物追跡プログラムを実行するＨＵＤを示す図。

【図2】制御部により実行される対象物追跡処理を説明するフローチャート。

【発明を実施するための形態】

【0011】

本開示の対象物追跡プログラム、対象物追跡装置及びその方法の実施形態を添付図面に基づいて説明する。本開示の対象物追跡プログラム、対象物追跡装置及びその方法は、例えば自動車や二輪車等の車両や、船舶、農業機械、建設機械に搭載される顔検出（追跡）システムに適用することができる。本実施形態においては、対象物追跡プログラム、対象物追跡装置及びその方法がヘッドアップディスプレイ（ＨＵＤ、Head Up Display）に搭載され、顔を検出するために用いられる例を適用して説明する。

【0012】

図１は、本実施形態における対象物追跡プログラムを実行するＨＵＤ１を示す図である。

【0013】

以下の説明において、「前」、「後」、「上」及び「下」は、図１における定義「Ｆｒ．」、「Ｒｅ．」、「Ｔｏ．」、及び「Ｂｏ．」に従う。「左」及び「右」（水平方向）は前後及び上下方向（垂直方向）に直交する方向とする。

【0014】

ＨＵＤ１は、車両２のステアリングホイール５の前方のインストルメントパネル内に搭載される。ＨＵＤ１は、表示器１１と、平面鏡１２と、凹面鏡１３と、撮影ユニット１５と、筐体１６と、制御部３０と、を有する。

【0015】

表示器１１は、四角形状の表示面に画像を表示し、画像を示す表示光Ｌを平面鏡１２に向けて出射する。表示器１１は、例えばＴＦＴ（Thin Film Transistor）型の液晶表示器や有機ＥＬ（Electroluminescence）表示器１１である。尚、表示器１１はプロジェクタ及び表示面を構成するスクリーンを有するものであってもよい。

【0016】

平面鏡１２は、表示器１１が出射した表示光Ｌを、凹面鏡１３に向けて反射させる。凹面鏡１３は、平面鏡１２で反射した表示光Ｌを更に反射させ、ウインドシールド３に向けて出射する。凹面鏡１３は、拡大鏡としての機能を有し、表示器１１に表示された画像を拡大してウインドシールド３（投影部材）側へ反射する。運転者４が視認する虚像Ｖは、表示器１１に表示された画像が拡大された像である。

【0017】

表示光Ｌは、ウインドシールド３を照射する。車両２の運転者４（視認者、同乗者も含む。）は、ウインドシールド３における表示光Ｌの反射光を、車両２の前方所定位置で虚像Ｖとして視認する。すなわち、画像は、ウインドシールド３を介して（ウインドシールド３の前方で）運転者４に視認される実景と重なる、仮想的な領域に表示される。また、実景は、画像の背景となり得る。

【0018】

撮影ユニット１５は、カメラと、近赤外線光源と、を有する。カメラは、赤外線イメージセンサを有する。カメラは、撮影領域内の運転者４の顔で反射した近赤外線ＩＲを検出し、運転者４の顔の画像（動画）を主に撮影する。近赤外線光源は、近赤外線ＩＲを照射し、ウインドシールド３で反射させて運転者４の顔を主に照射する。近赤外線光源は、カメラの撮影タイミングと同期して発光する。尚、カメラが検出する波長は、近赤外に限らず、短波赤外であってもよい。また、カメラは、可視光を検出して画像を撮影してもよい。撮影ユニット１５は、撮影した画像を記憶部３３に記憶する。

【0019】

筐体１６は、筐体１６の内部に、平面鏡１２及び凹面鏡１３を取付部材を介して固定する。また、筐体１６は、表示器１１、及び制御部３０が実装された制御基板を取付部材を介して固定する。

【0020】

制御部３０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有するコンピュータであり、ＲＯＭに書き込まれたプログラムに従って所定の処理を実行する。制御部３０は、特に、後述する車両２の車両ＥＣＵ４１等から取得する情報に基づいて、表示器１１を制御したり、撮影ユニット１５を制御したり、撮影ユニット１５等から取得した情報に基づいて演算処理を行ったりする。

【0021】

制御部３０は、画像生成部３１と、表示制御部３２と、記憶部３３と、画像取得部３４（画像取得手段）と、検出部３５（検出手段）と、追跡部３６（追跡手段）と、を有する。

【0022】

画像生成部３１は、記憶部３３より必要な情報を読み出し、表示器１１に表示される画像の描画処理を実行し、画像を生成する。

【0023】

表示制御部３２は、画像生成部３１により生成された画像を表示器１１に表示するための制御を行う。表示制御部３２は、例えば、検出部３５及び追跡部３６により検出された運転者４の顔から視点位置等を算出し、虚像Ｖの表示位置を決定する。

【0024】

記憶部３３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、不揮発性メモリ等であり、所要のプログラムやデータを記憶する。本実施形態においては、記憶部３３は、特に対象物追跡プログラムを記憶する。

【0025】

画像取得部３４は、撮影ユニット１５のカメラが撮影し記憶部３３に記憶された画像から、検出部３５及び追跡部３６が顔を検出するのに必要な画像（撮影画像）を切り出し、検出部３５及び追跡部３６に適宜供給する。

【0026】

検出部３５は、画像に含まれる検出対象物としての人間の顔を、ＣＮＮやＤＮＮ等のニューラルネットワークを用いた検出方法（第一検出方法）により検出する。検出部３５は、画像取得部３４から取得した撮影画像に含まれる人間の顔を検出対象物として検出する。このとき、検出部３５は、特定の人間の顔を検出するのではなく、人間の顔に属するあらゆる顔を検出する。検出部３５は、検出対象物として、具体的に人間の顔（検出対象物の画素）が含まれる撮影画像内の領域であるバウンディングボックス（以下単に「ｂｂｏｘ（bounding box）」という。）を検出する。ｂｂｏｘは、撮影画像内における顔が含まれる領域（位置）がわかればよく、矩形以外の形状であってもよく、また撮影画像内に含まれる顔の大きさに応じて適宜所要の寸法に設定されればよい。

【0027】

追跡部３６は、撮影画像に含まれる追跡対象物としての運転者４の顔をパターンマッチング（テンプレートマッチング）を用いた検出方法（第一検出方法とは異なる第二検出方法）により検出する。追跡部３６は、検出部３５が検出した検出対象物、すなわち運転者４の顔である追跡対象物を、画像取得部３４から取得した撮影画像から検出する。具体的には、追跡部３６は、検出部３５から取得したｂｂｏｘ内の画像をパターンマッチングのテンプレート画像として用いて、このテンプレート画像と一致する画像を所定の検出範囲から検出する。ここで、上述したとおり、検出部３５が人間の顔に属するあらゆる顔を検出するのに対し、追跡部３６は特定の人間の顔、すなわち検出部３５が検出した運転者４の顔を検出する。

【0028】

上述した検出範囲は、直前に検出された顔（初回の場合は検出部３５が検出した顔）が含まれるｂｂｏｘ（以下「直前ｂｂｏｘ」という。）内、又は直前ｂｂｏｘに対して所定量拡張された拡張領域内である。検出範囲は、好ましくはこの拡張領域内であり、運転者４の顔は、例えば直前の位置に留まるのみならず少なからず移動することを考慮して、例えば直前ｂｂｏｘに対して１から２割拡張された拡張領域を検出範囲とすることで、顔を検出しやすくしている。

【0029】

追跡部３６は、テンプレート画像と検出された画像との相関値を算出し、この相関値から検出の確度（一致度）を算出する。追跡部３６は、確度が所定の閾値より大きい場合に顔が検出されたとみなし、閾値以下の場合検出されないとみなす。閾値は、求められる検出の精度に応じて適宜設定されればよい。追跡部３６は、検出範囲で顔が検出された場合、この相関値が最大となる位置及びその相関値から、追跡対象物として運転者４の顔（追跡対象物の画素）が含まれる撮影画像内の領域であり、直前ｂｂｏｘと同サイズの新規ｂｂｏｘを検出（算出）する。追跡部３６による次回の顔の検出においては、この新規ｂｂｏｘが直前ｂｂｏｘとして用いられ、このｂｂｏｘの拡張領域等が新規検出範囲となる。

【0030】

追跡部３６は、このような手順で顔を所定周期で撮影画像から繰り返し検出することで、顔を追跡する。尚、追跡部３６が実行するパターンマッチングの方法は特に限定されず、本開示の目的が達成されれば、公知の方法から適宜選択されればよい。

【0031】

検出部３５は、多くの計算を行うことにより顔の検出精度が高い一方で、計算が遅い。これに比べて、追跡部３６は、検出部３５に比べて少ない計算量であり、顔の検出精度が低い一方で、計算が速い。そこで、本実施形態におけるＨＵＤ１は、後述するように検出部３５及び追跡部３６を組み合わせて運転者４の顔の検出を行うことにより、計算速度及び検出精度の両立を実現する。

【0032】

車両２は、ＨＵＤ１の他に、車両ＥＣＵ（Electronic Control Unit）４１等の車両２の走行に必要な機能を有する。車両ＥＣＵ４１と制御部３０とは、例えばＣＡＮ（Controller Area Network）バス４２を介して接続されている。車両ＥＣＵ４１は、車両２に設けられた各種センサから車速やエンジン回転数等の車両２の走行に必要な車両情報を取得し、車両２の動作を制御する。

【0033】

次に、制御部３０により実行される対象物追跡プログラムの処理の詳細について説明する。尚、対象物追跡プログラムを実行するＨＵＤ１（制御部３０）は、対象物検出方法を実行する対象物検出装置として機能する。

【0034】

図２は、制御部３０により実行される対象物追跡処理を説明するフローチャートである。この対象物追跡処理は、運転者４の顔の追跡が必要な期間繰り返し実施され、不要となったタイミングで終了する。

【0035】

ステップＳ１において、画像取得部３４は、記憶部３３に記憶された撮影ユニット１５が撮影した画像から、検出用の撮影画像を取得する。画像取得部３４は、撮影画像を検出部３５に供給する。ステップＳ２において、検出部３５は、取得した撮影画像から、検出対象物、すなわち運転者４の顔を検出する。具体的には、検出部３５は、運転者４の顔が含まれる撮影画像内の領域であるｂｂｏｘを検出する。

【0036】

ステップＳ３において、画像取得部３４は、記憶部３３に記憶された撮影ユニット１５が撮影した画像から、検出用の撮影画像を取得する。画像取得部３４は、撮影画像を追跡部３６に供給する。

【0037】

ステップＳ４において、追跡部３６は、検出部３５が検出したｂｂｏｘ内の画像をテンプレート画像として用いて、運転者４の顔を撮影画像から検出する。

【0038】

すなわち、追跡部３６は、ステップＳ２で検出部３５が検出した運転者４の顔が含まれるｂｂｏｘの情報、及びステップＳ２で検出部３５が検出したｂｂｏｘ内の画像を取得する。追跡部３６は、以降、ここで取得したｂｂｏｘ内の画像、すなわち検出部３５が検出した運転者４の顔の画像をテンプレート画像としてパターンマッチングを行うことで、撮影画像から運転者４の顔を検出する。また、顔を所定周期で撮影画像から繰り返し検出することで、顔を追跡する

【0039】

追跡部３６は、上述したとおり、検出部３５から取得したｂｂｏｘ、すなわち、直前ｂｂｏｘ及びその拡張領域である顔が含まれる可能性が高い範囲を検出範囲とすることが好ましい。これにより、追跡部３６は、撮影画像の全域を検出範囲とする場合に比べて、計算量を低減することができ、検出処理の高速化を図ることができる。追跡部３６は、例えば、テンプレート画像及び検出範囲の所要領域の画像をフーリエ変換し、アダマール積（行列の成分毎の積）を計算することで相関値を求める。追跡部３６は、相関値が最大となる位置及びその相関値から、直前ｂｂｏｘと同サイズの新規ｂｂｏｘを算出する。また、追跡部３６は、この新規ｂｂｏｘ内の相関値から、検出の確度（テンプレート画像と新規ｂｂｏｘ内画像との一致度）を算出する。

【0040】

ステップＳ５において、追跡部３６は、算出した確度が閾値以下か否かを判定する。追跡部３６は、確度が閾値より大きいと判定した場合（ステップＳ５のＮＯ）、すなわち顔が検出されたと判定した場合、ステップＳ６において、所定時間が経過したか否かを判定する。追跡部３６は、所定時間が経過していないと判定した場合（ステップＳ６のＮＯ）、処理はステップＳ３に戻り、検出部３５がステップＳ２で取得したテンプレート画像を用いて追跡部３６により顔検出が繰り返し行われることにより、顔が追跡される。

【0041】

追跡部３６は、ステップＳ５で確度が閾値以下であると判定した場合（ステップＳ５のＹＥＳ）又はステップＳ６で所定時間が経過したと判定した場合（ステップＳ６のＹＥＳ）、処理はステップＳ１に戻る。検出部３５は、ステップＳ１で画像取得部３４により新たに取得された撮影画像を取得し、ステップＳ２で顔を再検出し、追跡対象物としての運転者４の顔（ｂｂｏｘ）を検出する。

【0042】

ここで、運転者４がカメラに対して顔の向きを変えた場合や眼鏡をかけた場合、及びカメラに対する距離を変化させた場合等、運転者４が取得済のテンプレート画像中の状態と大きく異なる状態になった場合、追跡部３６が取得済のテンプレート画像では確度が低下し顔が検出されない虞がある。このため、ステップＳ５で閾値より大きい確度が得られたと判定された場合であっても、ステップＳ６において所定時間（例えば１秒）が経過したと判定された場合には、検出部３５が再検出した顔を新規の追跡対象物として新規のテンプレート画像を取得する。追跡部３６は、この新規のテンプレート画像で運転者４の顔を繰り返し検出する。

【0043】

このような本実施形態における対象物追跡プログラム及びこのプログラムを実行するＨＵＤ１は、上述したような検出部３５及び追跡部３６により、対象物を好適に追跡できる。すなわち、対象物追跡プログラム及びこのプログラムを実行するＨＵＤ１は、人間の顔を検出対象物として高精度に検出する検出部３５と、検出部３５が検出した顔を追跡対象物として繰り返し検出することで追跡する追跡部３６と、を有し、これらが異なる二つの手法を用いて顔検出を行う。これにより、対象物追跡プログラム及びＨＵＤ１は、検出部３５及び追跡部３６の互いの利点を活かすことで、検出精度及び検出時間を両立することができる。例えば、追跡部３６が二次元高速フーリエ変換を用いる場合には、検索範囲の画素数Ｎに対して、２Ｎ²log₂Ｎというオーダーの計算で、運転者４の顔を検出できる。

【0044】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0045】

撮影ユニット１５、がＨＵＤ１内に設けられる例を説明したが、撮影画像を制御部３０に出力可能であれば、ＨＵＤ１とは独立していてもよい。この場合、例えば撮影ユニット１５は、インストルメントパネルや、表示ディスプレイ、リヤビューミラー等に適宜配置される。

【0046】

本開示の対象物追跡プログラム、対象物追跡装置及びその方法は、追跡の対象物は顔に限らず、種々の物体に適用し得る。また、本開示の対象物追跡プログラム、対象物追跡装置及びその方法は、ＨＵＤに適用される場合に限らず、種々の装置において実行され又は搭載されるものであってもよい。

【符号の説明】

【0047】

１ ＨＵＤ（Head Up Display）
２ 車両
３ インストルメントパネル
３ ウインドシールド
４ 運転者
５ ステアリングホイール
１１ 表示器
１２ 平面鏡
１３ 凹面鏡
１５ 撮影ユニット
１６ 筐体
３０ 制御部
３１ 画像生成部
３２ 表示制御部
３３ 記憶部
３４ 画像取得部
３５ 検出部
３６ 追跡部
４１ 車両ＥＣＵ（Electronic Control Unit）
４２ ＣＡＮ（Controller Area Network）バス
ＩＲ 近赤外線
Ｌ 表示光
Ｖ 虚像

【図1】

【図2】