(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023135875
(43)【公開日】2023-09-29
(54)【発明の名称】物体追跡システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230922BHJP
G06V 20/58 20220101ALI20230922BHJP
【ＦＩ】
G06T7/00 650Z
G06V20/58
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022041182
(22)【出願日】2022-03-16
(71)【出願人】
【識別番号】597151563
【氏名又は名称】株式会社ゼンリン
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100181618
【弁理士】
【氏名又は名称】宮脇 良平
(74)【代理人】
【識別番号】100162259
【弁理士】
【氏名又は名称】末富 孝典
(74)【代理人】
【識別番号】100146916
【弁理士】
【氏名又は名称】廣石 雅紀
(74)【代理人】
【識別番号】100147924
【弁理士】
【氏名又は名称】美恵 英樹
(72)【発明者】
【氏名】加藤 洋祐
(72)【発明者】
【氏名】岩田 繁幸
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096BA04
5L096CA04
5L096DA02
5L096FA32
5L096FA33
5L096FA69
5L096GA19
5L096GA51
5L096GA55
5L096HA02
(57)【要約】
【課題】 連続画像における物体追跡の精度を向上する。
【解決手段】 車両その他の移動体に搭載したカメラで標識を撮影した連続画像などにおいて、連続画像を構成する各構成画像内に移っている標識その他の対象物体を追跡する処理を以下の方法で実行する。まず、追跡対象となる物体の候補を画像処理等により抽出する。一方、前の時刻の構成画像における物体の位置に基づいて、移動モデルを使用して次の時刻の構成画像における位置を推定する。このとき、前の時刻の位置に応じて、予め設定されたパラメータを移動モデルに反映させる。そして、候補と推定された位置とをマッチングさせることで、抽出された候補のどれが、前の時刻における物体と同一のものであるかを特定する。こうすることで物体の追跡の精度を向上することができる。
【選択図】 図２
【解決手段】 車両その他の移動体に搭載したカメラで標識を撮影した連続画像などにおいて、連続画像を構成する各構成画像内に移っている標識その他の対象物体を追跡する処理を以下の方法で実行する。まず、追跡対象となる物体の候補を画像処理等により抽出する。一方、前の時刻の構成画像における物体の位置に基づいて、移動モデルを使用して次の時刻の構成画像における位置を推定する。このとき、前の時刻の位置に応じて、予め設定されたパラメータを移動モデルに反映させる。そして、候補と推定された位置とをマッチングさせることで、抽出された候補のどれが、前の時刻における物体と同一のものであるかを特定する。こうすることで物体の追跡の精度を向上することができる。
【選択図】 図２
【特許請求の範囲】
【請求項1】
複数の構成画像で構成される連続画像内で物体を追跡する物体追跡システムであって、
前記構成画像内で前記物体の候補を抽出する物体抽出部と、
前の時刻における前記構成画像内の前記物体の位置に基づいて、所定の移動モデルによって次の時刻における前記構成画像内の前記物体の位置を推定する位置推定部と、
前記物体抽出部により抽出された前記候補と、前記位置推定部により推定された位置とに基づいて次の時刻における前記構成画像内の前記物体を特定する特定部とを備え、
前記位置推定部は、前記移動モデルに用いるパラメータを、前記物体の位置に応じて変化させる物体追跡システム。
前記構成画像内で前記物体の候補を抽出する物体抽出部と、
前の時刻における前記構成画像内の前記物体の位置に基づいて、所定の移動モデルによって次の時刻における前記構成画像内の前記物体の位置を推定する位置推定部と、
前記物体抽出部により抽出された前記候補と、前記位置推定部により推定された位置とに基づいて次の時刻における前記構成画像内の前記物体を特定する特定部とを備え、
前記位置推定部は、前記移動モデルに用いるパラメータを、前記物体の位置に応じて変化させる物体追跡システム。
【請求項2】
請求項１記載の物体追跡システムであって、前記物体抽出部は、前記位置推定部が前記物体の位置を推定する前に、前記構成画像内において前記物体の候補を抽出する物体追跡システム。
【請求項3】
請求項１記載の物体追跡システムであって、前記物体抽出部は、前記位置推定部が前記物体の位置を推定した後に、前記推定した前記物体の位置の所定範囲内において前記物体の候補を抽出する物体追跡システム。
【請求項4】
請求項１～３いずれか記載の物体追跡システムであって、
前記位置推定部は、カルマンフィルタによって前記位置の推定を行う物体追跡システム。
前記位置推定部は、カルマンフィルタによって前記位置の推定を行う物体追跡システム。
【請求項5】
請求項１～４いずれか記載の物体追跡システムであって、
前記記憶部は、前記構成画像を複数のセルに分割し、該セルごとに前記パラメータを記憶しており、
前記位置推定部は、前記物体の位置が属するセルに基づいて、前記パラメータを設定する物体追跡システム。
前記記憶部は、前記構成画像を複数のセルに分割し、該セルごとに前記パラメータを記憶しており、
前記位置推定部は、前記物体の位置が属するセルに基づいて、前記パラメータを設定する物体追跡システム。
【請求項6】
請求項５に記載の物体追跡システムであって、
前記パラメータは、左右非対称の値である、物体追跡システム。
前記パラメータは、左右非対称の値である、物体追跡システム。
【請求項7】
請求項５又は６いずれか記載の物体追跡システムであって、
前記セルは不均一な形状であることが許容されている物体追跡システム。
前記セルは不均一な形状であることが許容されている物体追跡システム。
【請求項8】
複数の構成画像で構成される連続画像内で、前の時刻における前記構成画像内の前記物体の位置に基づいて、所定の移動モデルによって次の時刻における前記構成画像内の前記物体の位置を推定するにあたって、前記移動モデルのパラメータを設定するパラメータ設定システムであって、
前記物体が、前の時刻から次の時刻までに前記構成画像内で移動した移動量の平均値を、前記構成画像内の位置に応じて算出し、これに基づいて、前記移動モデルに用いるパラメータを設定するパラメータ設定部を備えるパラメータ設定システム。
前記物体が、前の時刻から次の時刻までに前記構成画像内で移動した移動量の平均値を、前記構成画像内の位置に応じて算出し、これに基づいて、前記移動モデルに用いるパラメータを設定するパラメータ設定部を備えるパラメータ設定システム。
【請求項9】
請求項８記載のパラメータ設定システムであって、
前記パラメータ設定部は、前記構成画像を複数のセルに分割し、該セルごとに前記パラメータを設定するパラメータ設定システム。
前記パラメータ設定部は、前記構成画像を複数のセルに分割し、該セルごとに前記パラメータを設定するパラメータ設定システム。
【請求項10】
請求項９記載のパラメータ設定システムであって、
前記パラメータ設定部は、前記セル内の移動量のばらつきが所定値を超える場合に、当該セルをさらに分割するパラメータ設定システム。
前記パラメータ設定部は、前記セル内の移動量のばらつきが所定値を超える場合に、当該セルをさらに分割するパラメータ設定システム。
【請求項11】
複数の構成画像で構成される連続画像内で物体を追跡する機能をコンピュータに実現させるためのプログラムであって、
前記構成画像内で前記物体の候補を抽出する機能、
前の時刻における前記構成画像内の前記物体の位置に基づいて、所定の移動モデルによって次の時刻における前記構成画像内の前記物体の位置を推定する機能、
前記抽出された前記候補と、前記推定された位置とに基づいて次の時刻における前記構成画像内の前記物体を特定する機能をコンピュータに実現させ、
前記位置を推定する機能は、前記移動モデルに用いるパラメータを、前記物体の位置に応じて変化させて前記推定を行う機能であるプログラム。
前記構成画像内で前記物体の候補を抽出する機能、
前の時刻における前記構成画像内の前記物体の位置に基づいて、所定の移動モデルによって次の時刻における前記構成画像内の前記物体の位置を推定する機能、
前記抽出された前記候補と、前記推定された位置とに基づいて次の時刻における前記構成画像内の前記物体を特定する機能をコンピュータに実現させ、
前記位置を推定する機能は、前記移動モデルに用いるパラメータを、前記物体の位置に応じて変化させて前記推定を行う機能であるプログラム。
【請求項12】
複数の構成画像で構成される連続画像内で、前の時刻における前記構成画像内の前記物体の位置に基づいて、所定の移動モデルによって次の時刻における前記構成画像内の前記物体の位置を推定するにあたって、前記移動モデルのパラメータを設定するためのプログラムであって、
前記物体が、前の時刻から次の時刻までに前記構成画像内で移動した移動量の平均値を、前記構成画像内の位置に応じて算出する機能、
これに基づいて、前記移動モデルに用いるパラメータを設定する機能をコンピュータに実現させるためのプログラム。
前記物体が、前の時刻から次の時刻までに前記構成画像内で移動した移動量の平均値を、前記構成画像内の位置に応じて算出する機能、
これに基づいて、前記移動モデルに用いるパラメータを設定する機能をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データを利用した装置に関する。
【背景技術】
【0002】
前フレームにおけるオブジェクトの位置とその運動モデルに基づいてカルマンフィルタ、パーティクルフィルタなどの手法で次のフレームにおけるオブジェクトの位置を予測する技術が存在する（特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６４８８６４７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、画像データをより有効に活用することを課題とする。
【課題を解決するための手段】
【0005】
本発明は、
複数の構成画像で構成される連続画像内で物体を追跡する物体追跡システムであって、
前記構成画像内で前記物体の候補を抽出する物体抽出部と、
前の時刻における前記構成画像内の前記物体の位置に基づいて、所定の移動モデルによって前記構成画像内の前記物体の位置を推定する位置推定部と、
前記物体抽出部により抽出された前記候補と、前記位置推定部により推定された位置とに基づいて前記構成画像内における前記物体を特定する特定部とを備え、
前記位置推定部は、前記移動モデルに用いるパラメータを、前記物体の位置に応じて変化させる物体追跡システムとして構成できる。
複数の構成画像で構成される連続画像内で物体を追跡する物体追跡システムであって、
前記構成画像内で前記物体の候補を抽出する物体抽出部と、
前の時刻における前記構成画像内の前記物体の位置に基づいて、所定の移動モデルによって前記構成画像内の前記物体の位置を推定する位置推定部と、
前記物体抽出部により抽出された前記候補と、前記位置推定部により推定された位置とに基づいて前記構成画像内における前記物体を特定する特定部とを備え、
前記位置推定部は、前記移動モデルに用いるパラメータを、前記物体の位置に応じて変化させる物体追跡システムとして構成できる。
【0006】
他の態様として、本発明は、
複数の構成画像で構成される連続画像内で、前の時刻における前記構成画像内の前記物体の位置に応じて所定の移動モデルに用いるパラメータを変化させながら次の時刻における前記構成画像内の前記物体の位置を推定するために用いる前記パラメータを設定するパラメータ設定システムであって、
前記物体が、前の時刻から次の時刻までに前記構成画像内で移動した移動量の平均値を、前記構成画像内の位置に応じて算出し、これに基づいて、前記構成画像内の位置に応じて前記移動モデルに用いるパラメータを設定するパラメータ設定部を備えるパラメータ設定システムとして構成できる。
複数の構成画像で構成される連続画像内で、前の時刻における前記構成画像内の前記物体の位置に応じて所定の移動モデルに用いるパラメータを変化させながら次の時刻における前記構成画像内の前記物体の位置を推定するために用いる前記パラメータを設定するパラメータ設定システムであって、
前記物体が、前の時刻から次の時刻までに前記構成画像内で移動した移動量の平均値を、前記構成画像内の位置に応じて算出し、これに基づいて、前記構成画像内の位置に応じて前記移動モデルに用いるパラメータを設定するパラメータ設定部を備えるパラメータ設定システムとして構成できる。
【0007】
本発明の一実施形態において、上述の物体追跡システムまたはパラメータ設定システムとしての態様の他、コンピュータによって物体を追跡する方法、またはパラメータを設定する方法として構成してもよい。また、これらの処理を実現するコンピュータプログラム、および該コンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として構成することもできる。
【図面の簡単な説明】
【0008】
【図1】物体追跡の概要を示す説明図である。
【図2】物体追跡システム、パラメータ設定システムの構成を示す説明図である。
【図3】物体追跡方法を示す説明図である。
【図4】物体追跡処理のフローチャートである。
【図5】移動モデル設定処理のフローチャートである。
【図6】グリッドパラメータ作成処理のフローチャートである。
【図7】グリッドの分割例を示す説明図である。
【図8】グリッドパラメータの設定例を示す説明図である。
【図9】物体の追跡例を示す説明図である。
【発明を実施するための形態】
【0009】
本発明の実施例として、車両に固定したカメラで撮影した連続画像において、道路標識、信号その他の地物を物体として追跡する物体追跡システムを例にとって以下の順序で説明する。
Ａ．物体追跡の概要：
Ｂ．システム構成：
Ｃ．物体追跡処理：
Ｄ．グリッドパラメータ作成処理：
Ｅ．効果および変形例：
Ａ．物体追跡の概要：
Ｂ．システム構成：
Ｃ．物体追跡処理：
Ｄ．グリッドパラメータ作成処理：
Ｅ．効果および変形例：
【0010】
Ａ．物体追跡の概要：
図１は、物体追跡の概要を示す説明図である。まず、本実施例において、どのような連続画像を対象として物体追跡を行うかについて説明する。
図１は、物体追跡の概要を示す説明図である。まず、本実施例において、どのような連続画像を対象として物体追跡を行うかについて説明する。
【0011】
図１（ａ）には、連続画像を撮影する状況を示した。車両の屋根の上にカメラを搭載し、車両で移動しながら画像を撮影する。撮影する画像は、動画であってもよいし、図示するように撮影位置Ｐ１～Ｐ４のように間欠的に撮影する静止画であってもよい。図では、撮影位置Ｐ１～Ｐ４の間隔Ｄが一致しているものとしているが、間隔は異なっていても差し支えない。また、所定の間隔で撮影する他、所定の時間ごとに撮影する方法としてもよい動画像として撮影する場合には、所定の間隔または時間ごとのフレーム画像を抽出して物体追跡を行うものとしてもよい。
【0012】
以下、本実施例では、時系列的に複数の画像が配列されたもの全体を連続画像と称し、連続画像を構成する一つ一つの静止画像またはフレーム画像を構成画像と称するものとする。構成画像間の時間間隔は、任意に決めることができるが、本発明は、構成画像間の物体の移動量が比較的大きい場合に有用であり、例えば、車両で移動しながら撮影する場合を想定すると、車両の移動速度、物体との相対距離などにも依るが、概ね１～２画像／秒程度以上の周期で撮影された画像の解析に有用である。
【0013】
撮影の対象であり追跡の対象となる物体ＯＢＪは、標識、信号、看板などの地物である。停止線や横断歩道のように地上に描かれたものを物体ＯＢＪとしてもよい。その他、物体ＯＢＪは、橋、建物などの構造物、樹木などとしてもよい。また、必ずしも固定されているものに限らず、人物、動物、他の車両など移動するものを物体ＯＢＪとしてもよい。
また、追跡する物体ＯＢＪは、一つとは限らず、複数を対象とすることができる。
また、追跡する物体ＯＢＪは、一つとは限らず、複数を対象とすることができる。
【0014】
なお、本実施例では、車両に固定したカメラで物体ＯＢＪを撮影した画像を例にとって説明するが、車両に代えて鉄道、ドローン、船、航空機その他種々の移動体を利用することができる。
また、実施例では、車両が道路を直線的に移動する例を示すが、カーブや右左折などしても構わない。さらに、実施例では、物体ＯＢＪは固定されているものを対象とするが、本発明は、移動体が固定され物体ＯＢＪが移動する場合にも利用できるし、双方が移動していても差し支えない。ただし、本実施例は、車両および物体ＯＢＪの相対的な動きが所定の誤差範囲内で、定性的に既知であることが前提となる。
また、実施例では、車両が道路を直線的に移動する例を示すが、カーブや右左折などしても構わない。さらに、実施例では、物体ＯＢＪは固定されているものを対象とするが、本発明は、移動体が固定され物体ＯＢＪが移動する場合にも利用できるし、双方が移動していても差し支えない。ただし、本実施例は、車両および物体ＯＢＪの相対的な動きが所定の誤差範囲内で、定性的に既知であることが前提となる。
【0015】
図１（ｂ）は、車両で撮影された連続画像を構成する４枚の構成画像を重畳し、構成画像内での物体ＯＢＪの移動を示した図である。撮影位置Ｐ１で撮影した時点では、物体ＯＢＪは遠方にあるため、構成画像内では物体ＯＢＪ１のような位置、サイズで撮影される。その後、撮影位置Ｐ２～Ｐ４に移動に伴って、車両と物体ＯＢＪとの相対距離が縮まると、物体ＯＢＪ２～ＯＢＪ４のように構成画像内で位置が移動し、サイズも大きくなる。また、物体ＯＢＪ１から物体ＯＢＪ４に移動する移動速度Ｖ１２、Ｖ２３、Ｖ３４も大きくなる。
【0016】
物体追跡とは、図示した４つの構成画像間で、物体ＯＢＪ１～ＯＢＪ４が同一のものであると特定することを言う。物体追跡した結果は、物体の地上での位置情報、３次元形状の解析に利用することができる。移動する物体を対象とするときは、その移動軌跡の解析に利用することもできる。
【0017】
Ｂ．システム構成：
図２は、物体追跡システム、パラメータ設定システムの構成を示す説明図である。物体追跡システム１０は、連続画像を読み込み、先に説明した物体追跡を行うシステムである。パラメータ設定システム２０は、物体追跡に使用するパラメータを設定するためのシステムである。
物体追跡システム１０およびパラメータ設定システム２０は、ネットワークＮに接続されており、パラメータ設定システム２０で設定したパラメータは、ネットワークＮを経由して物体追跡システム１０に送信され、使用される。
また、物体追跡システム１０は、同じネットワークに接続されたクライアント１から画像データを受信し、物体追跡の解析結果を返信する。
かかる構成は一例に過ぎず、物体追跡システム１０、パラメータ設定システム２０は、一体として構成してもよい。また、ネットワークＮを介することなく、物体追跡システム１０で、直接、画像データの入力および解析結果の出力が行われるようにしてもよい。
図２は、物体追跡システム、パラメータ設定システムの構成を示す説明図である。物体追跡システム１０は、連続画像を読み込み、先に説明した物体追跡を行うシステムである。パラメータ設定システム２０は、物体追跡に使用するパラメータを設定するためのシステムである。
物体追跡システム１０およびパラメータ設定システム２０は、ネットワークＮに接続されており、パラメータ設定システム２０で設定したパラメータは、ネットワークＮを経由して物体追跡システム１０に送信され、使用される。
また、物体追跡システム１０は、同じネットワークに接続されたクライアント１から画像データを受信し、物体追跡の解析結果を返信する。
かかる構成は一例に過ぎず、物体追跡システム１０、パラメータ設定システム２０は、一体として構成してもよい。また、ネットワークＮを介することなく、物体追跡システム１０で、直接、画像データの入力および解析結果の出力が行われるようにしてもよい。
【0018】
本実施例では、物体追跡システム１０およびパラメータ設定システム２０は、それぞれネットワークＮに接続され、ＣＰＵ、メモリを備えるサーバに、図示する種々の機能を実現するコンピュータプログラムをインストールすることによってソフトウェア的に構成した。これらの機能の一部または全部をハードウェア的に構成してもよい。以下、それぞれの機能について説明する。
【0019】
物体追跡システム１０に備えられている機能は、以下の通りである。
入出力部１１は、物体追跡に必要な種々の入出力を行う。例えば、連続画像の画像データの読込み、追跡を行う対象となる物体の指定、物体追跡の解析結果の出力などが挙げられる。
位置推定部１２は、物体追跡のための処理の一つであり、前の時刻における構成画像内の物体の位置から、次の時刻における構成画像内の物体の位置を推定する。
物体抽出部１３は、構成画像の画像処理によって、追跡対象となる物体の候補を抽出する。
特定部１４は、物体の位置の推定結果に基づいて、抽出された候補のうち、どれが物体に対応するかを特定する処理を実行する。
移動モデル設定部１５は、位置推定部１２が物体の位置を推定するために使用する移動モデルを設定する。
グリッドパラメータ記憶部１６は、上述の移動モデルに用いられるパラメータを記憶するデータベースである。本実施例では、後述する通り、構成画像を複数のセルに分割し、それぞれのセルごとにパラメータが設定されている。上述の移動モデル設定部１５は、構成画像内で物体がいずれのセルに属するかを判定して、パラメータを求め、これに基づいて移動モデルを設定するのである。
入出力部１１は、物体追跡に必要な種々の入出力を行う。例えば、連続画像の画像データの読込み、追跡を行う対象となる物体の指定、物体追跡の解析結果の出力などが挙げられる。
位置推定部１２は、物体追跡のための処理の一つであり、前の時刻における構成画像内の物体の位置から、次の時刻における構成画像内の物体の位置を推定する。
物体抽出部１３は、構成画像の画像処理によって、追跡対象となる物体の候補を抽出する。
特定部１４は、物体の位置の推定結果に基づいて、抽出された候補のうち、どれが物体に対応するかを特定する処理を実行する。
移動モデル設定部１５は、位置推定部１２が物体の位置を推定するために使用する移動モデルを設定する。
グリッドパラメータ記憶部１６は、上述の移動モデルに用いられるパラメータを記憶するデータベースである。本実施例では、後述する通り、構成画像を複数のセルに分割し、それぞれのセルごとにパラメータが設定されている。上述の移動モデル設定部１５は、構成画像内で物体がいずれのセルに属するかを判定して、パラメータを求め、これに基づいて移動モデルを設定するのである。
【0020】
パラメータ設定システム２０は、物体追跡システム１０のグリッドパラメータ記憶部１６に記憶されるパラメータを設定するシステムである。パラメータ設定システム２０に備えられている機能は、以下の通りである。
入出力部２１は、パラメータの設定に必要な種々の入出力を行う。例えば、連続画像の画像データの読込み、追跡を行う対象となる物体の指定、パラメータの設定結果の出力などが挙げられる。
前処理部２２は、パラメータを設定するための前処理を実行する。例えば、入力された連続画像から、パラメータの設定に適さない構成画像を除く処理などが考えられる。
パラメータ設定部２４は、パラメータの設定を行う。
グリッドパラメータ記憶部２３は、設定されたパラメータを記憶する。
入出力部２１は、パラメータの設定に必要な種々の入出力を行う。例えば、連続画像の画像データの読込み、追跡を行う対象となる物体の指定、パラメータの設定結果の出力などが挙げられる。
前処理部２２は、パラメータを設定するための前処理を実行する。例えば、入力された連続画像から、パラメータの設定に適さない構成画像を除く処理などが考えられる。
パラメータ設定部２４は、パラメータの設定を行う。
グリッドパラメータ記憶部２３は、設定されたパラメータを記憶する。
【0021】
物体追跡システム１０およびパラメータ設定システム２０のいずれについても、図示した構成は一例であり、他に機能を設けても良いし、必要に応じて、一部の機能を適宜、省略してもよい。
【0022】
Ｃ．物体追跡処理：
図３は、物体追跡方法を示す説明図である。本実施例では、構成画像内における物体の候補の抽出と、物体の位置の推定結果に基づいて物体の追跡を行う。図３の例では、４つの物体を追跡する場合を示している。
図３における□は、構成画像内で画像処理によって抽出された候補Ａ～Ｅを表している。追跡対象となる物体は４つであるが、候補は５つ抽出されていることになる。候補が追跡対象となる物体の数より少ない場合も含めて、追跡対象となる物体の数と、候補の数が異なっていても差し支えない。
図３において、破線の四角で示したのは、前の時刻の構成画像内における物体の位置ａ０～ｄ０を表している。また、四角に×を付して示したのは、位置ａ０～ｄ０に基づいて推定される物体の位置ａ１～ｄ１である。
こうして候補Ａ～Ｅと、推定された位置ａ１～ｄ１に基づいてマッチングを行う。本実施例では、候補と推定された位置との距離が全体として最小となるようにマッチングする。マッチングは、例えば、ハンガリアン法などを用いることができる。つまり、候補と推定された位置との様々な対応関係のうち、両者の距離が全体として最小となるものを選択する方法である。図の状況では、位置ａ１と候補Ａ、位置ｂ１と候補Ｂ、位置ｃ１と候補Ｃ、位置ｄ１と候補Ｄをそれぞれマッチングさせた場合、全体の距離は、Ｌａ＋Ｌｂ＋Ｌｃ＋Ｌｄとなり、他のマッチングよりも最小となるため、かかるマッチングが選択されることになる。この結果、候補Ａ～Ｄが、それぞれ追跡対象の物体であると特定され、候補Ｅは、追跡対象の物体ではないと判断される。
図３は、物体追跡方法を示す説明図である。本実施例では、構成画像内における物体の候補の抽出と、物体の位置の推定結果に基づいて物体の追跡を行う。図３の例では、４つの物体を追跡する場合を示している。
図３における□は、構成画像内で画像処理によって抽出された候補Ａ～Ｅを表している。追跡対象となる物体は４つであるが、候補は５つ抽出されていることになる。候補が追跡対象となる物体の数より少ない場合も含めて、追跡対象となる物体の数と、候補の数が異なっていても差し支えない。
図３において、破線の四角で示したのは、前の時刻の構成画像内における物体の位置ａ０～ｄ０を表している。また、四角に×を付して示したのは、位置ａ０～ｄ０に基づいて推定される物体の位置ａ１～ｄ１である。
こうして候補Ａ～Ｅと、推定された位置ａ１～ｄ１に基づいてマッチングを行う。本実施例では、候補と推定された位置との距離が全体として最小となるようにマッチングする。マッチングは、例えば、ハンガリアン法などを用いることができる。つまり、候補と推定された位置との様々な対応関係のうち、両者の距離が全体として最小となるものを選択する方法である。図の状況では、位置ａ１と候補Ａ、位置ｂ１と候補Ｂ、位置ｃ１と候補Ｃ、位置ｄ１と候補Ｄをそれぞれマッチングさせた場合、全体の距離は、Ｌａ＋Ｌｂ＋Ｌｃ＋Ｌｄとなり、他のマッチングよりも最小となるため、かかるマッチングが選択されることになる。この結果、候補Ａ～Ｄが、それぞれ追跡対象の物体であると特定され、候補Ｅは、追跡対象の物体ではないと判断される。
【0023】
次に、図３で説明した方法による物体追跡を実現するための処理について説明する。
図４は、物体追跡処理のフローチャートである。物体追跡システムの各機能（図２参照）が連動して実行する処理である。
処理を開始すると、物体追跡システムは、連続画像を読み込む（ステップＳ１０）。ここでは、連続画像を構成する複数の構成画像の画像データが読み込まれることになる。
そして、物体追跡システムは、開始の構成画像から、物体の候補を抽出し、追跡の対象物体を特定する（ステップＳ１１）。本実施例では、道路標識、信号機などを追跡対象とするため、構成画像内で、パターン認識などによって、円形、矩形などの形状で認識される部分を候補として抽出すればよい。併せて画像の色、模様などを考慮してもよい。物体の候補の抽出には、種々の画像処理の技術を適用することができ、人工知能による画像認識を利用してもよい。
また、対象物体の特定は、パターン認識や人工知能による画像認識などによって物体追跡システムが自動的に行うものとしてもよいし、オペレータが手動で指定するようにしてもよい。
対象物体は、一つでもよいし、複数でもよい。
図４は、物体追跡処理のフローチャートである。物体追跡システムの各機能（図２参照）が連動して実行する処理である。
処理を開始すると、物体追跡システムは、連続画像を読み込む（ステップＳ１０）。ここでは、連続画像を構成する複数の構成画像の画像データが読み込まれることになる。
そして、物体追跡システムは、開始の構成画像から、物体の候補を抽出し、追跡の対象物体を特定する（ステップＳ１１）。本実施例では、道路標識、信号機などを追跡対象とするため、構成画像内で、パターン認識などによって、円形、矩形などの形状で認識される部分を候補として抽出すればよい。併せて画像の色、模様などを考慮してもよい。物体の候補の抽出には、種々の画像処理の技術を適用することができ、人工知能による画像認識を利用してもよい。
また、対象物体の特定は、パターン認識や人工知能による画像認識などによって物体追跡システムが自動的に行うものとしてもよいし、オペレータが手動で指定するようにしてもよい。
対象物体は、一つでもよいし、複数でもよい。
【0024】
追跡の対象物体が決まると、物体追跡システムは、次の構成画像から対象物体の候補を抽出する（ステップＳ１２）。ステップＳ１１の処理と同様、候補の抽出は、種々の画像処理技術によって行うことができる。
【0025】
物体追跡システムは、移動モデル設定処理（ステップＳ１３）によって、構成画像内の対象物体の位置を推定するための移動モデルを設定し、これを用いて、次の構成画像における対象物体の位置を推定する（ステップＳ１４）。移動モデル設定処理の内容については、後述する。対象物体が複数存在する場合は、その複数全ての対象物体に対して、位置の推定を行う。
位置の推定は、種々の方法で行うことができ、設定された移動モデルとしての算出式に基づいて計算する方法、カルマンフィルタ、パーティクルフィルタなどの手法を用いる方法などを適用できる。本実施例では、カルマンフィルタを用いるものとした。
位置の推定は、種々の方法で行うことができ、設定された移動モデルとしての算出式に基づいて計算する方法、カルマンフィルタ、パーティクルフィルタなどの手法を用いる方法などを適用できる。本実施例では、カルマンフィルタを用いるものとした。
【0026】
こうして、図３で説明したように、構成画像から抽出された候補と、位置の推定結果が得られるため、物体追跡システムは、これらをマッチングして（ステップＳ１５）、対象物体の追跡を行う。
マッチングは、任意の方法で行うことができるが、例えば、図３で説明した通り、ハンガリアン法などを用いることができる。
マッチングは、任意の方法で行うことができるが、例えば、図３で説明した通り、ハンガリアン法などを用いることができる。
【0027】
物体追跡システムは、以上の処理を、全構成画像について終了するまで（ステップＳ１６）、繰り返し実行し、物体追跡処理を終了する。
【0028】
図５は、移動モデル設定処理のフローチャートである。物体追跡処理（図４）のステップＳ１３における処理に相当するものであり、対象物体の位置を推定するための移動モデルを設定するための処理である。
本実施例は、車両および物体ＯＢＪの動きが所定の誤差範囲内で、定性的に既知の状態である。例えば、先に図１（ａ）に示したように、車両が直線的に物体に接近しながら撮影した連続画像では、物体は構成画像内を図１（ｂ）に示したように構成画像の中心から端方向に概ね直線的に移動することが分かる。従って、かかる動きを前提として例えば、２次元座標の各成分について次の数式（１）を移動モデルとして設定することができる。
次の中心座標＝前の中心座標＋移動速度×時間・・・（１）
車両がカーブする場合など、他の動きをする場合も同様に、その動きに応じた移動モデルを設定することができる。
本実施例は、車両および物体ＯＢＪの動きが所定の誤差範囲内で、定性的に既知の状態である。例えば、先に図１（ａ）に示したように、車両が直線的に物体に接近しながら撮影した連続画像では、物体は構成画像内を図１（ｂ）に示したように構成画像の中心から端方向に概ね直線的に移動することが分かる。従って、かかる動きを前提として例えば、２次元座標の各成分について次の数式（１）を移動モデルとして設定することができる。
次の中心座標＝前の中心座標＋移動速度×時間・・・（１）
車両がカーブする場合など、他の動きをする場合も同様に、その動きに応じた移動モデルを設定することができる。
【0029】
この処理を開始すると、物体追跡システムは、対象物体の前の時刻における構成画像内での位置座標を取得する（ステップＳ２０）。
本実施例では、構成画像を分割したセルごとにパラメータが予め設定され、グリッドパラメータ記憶部（図２参照）に記憶されている。従って、物体追跡システムは、ステップＳ２０で得た位置座標に基づいて、対象物体がどのセルに属するかを判断し、そのセルに設定されたパラメータを取得する（ステップＳ２１）。図中の例では、対象物体Ｐが位置するセルに割り当てられたパラメータ１．３が設定されることになる。
本実施例では、構成画像を分割したセルごとにパラメータが予め設定され、グリッドパラメータ記憶部（図２参照）に記憶されている。従って、物体追跡システムは、ステップＳ２０で得た位置座標に基づいて、対象物体がどのセルに属するかを判断し、そのセルに設定されたパラメータを取得する（ステップＳ２１）。図中の例では、対象物体Ｐが位置するセルに割り当てられたパラメータ１．３が設定されることになる。
【0030】
物体追跡システムは、こうして設定されたパラメータを、物体の移動モデルに反映して（ステップＳ２２）、移動モデル設定処理を終了する。本実施例では、上述の式（１）において、移動速度に設定パラメータを乗じる方法で反映させるものとした。設定したパラメータの移動モデルへの反映は、移動モデルおよびパラメータの内容に応じて、種々の方法が可能である。
こうして設定された移動モデルは、先に説明した通り、対象物体の位置の推定に用いられる。
こうして設定された移動モデルは、先に説明した通り、対象物体の位置の推定に用いられる。
【0031】
ここで、移動モデルおよびグリッドパラメータの意義について説明する。
本実施例のように、物体に接近しながら撮影をする場合、接近するにつれて、物体は構成画像の端の方に移動するとともに、その移動速度が大きくなる。そこで、この移動速度の変化を移動モデルに反映させるため、移動速度×係数という形で、移動速度を時間の経過とともに線形的に増加させる方法が考えられる。
しかし、連続画像の撮影周期が長くなると構成画像間の物体移動量が大きくなるため、構成画像内における移動速度の変化は、線形的な増加で十分に反映できるものではなかった。従って、移動速度を線形的に増加させる移動モデルでは、物体が構成画像の端に近づくほど、位置の推定に生じる誤差が増大していた。本実施例では、構成画像から抽出された候補と、位置の推定結果とのマッチングにより物体の追跡を行うため、位置の推定結果の誤差が大きくなると、マッチングに誤りが生じ、物体の追跡が誤った結果となることが生じる。かかる課題は、移動速度の変化を、経過時間とともに変化するよう線形以外の物体の移動モデルを表す数式（例えば、関数等）を用いて変化させても十分に解消させることができなかった。
本実施例のように、物体に接近しながら撮影をする場合、接近するにつれて、物体は構成画像の端の方に移動するとともに、その移動速度が大きくなる。そこで、この移動速度の変化を移動モデルに反映させるため、移動速度×係数という形で、移動速度を時間の経過とともに線形的に増加させる方法が考えられる。
しかし、連続画像の撮影周期が長くなると構成画像間の物体移動量が大きくなるため、構成画像内における移動速度の変化は、線形的な増加で十分に反映できるものではなかった。従って、移動速度を線形的に増加させる移動モデルでは、物体が構成画像の端に近づくほど、位置の推定に生じる誤差が増大していた。本実施例では、構成画像から抽出された候補と、位置の推定結果とのマッチングにより物体の追跡を行うため、位置の推定結果の誤差が大きくなると、マッチングに誤りが生じ、物体の追跡が誤った結果となることが生じる。かかる課題は、移動速度の変化を、経過時間とともに変化するよう線形以外の物体の移動モデルを表す数式（例えば、関数等）を用いて変化させても十分に解消させることができなかった。
【0032】
本実施例では、かかる課題を解決するため、構成画像内の物体の位置に応じて、移動速度を変化させるものとした。つまり、従来、経過時間に応じて移動速度を変化させていたのに対して、構成画像内の物体の位置に着目し、位置に応じて移動速度を変化させるようにしたのである。構成画像内での物体の動きが所定の誤差範囲内で既知の場合、移動速度の変化は、解析開始後の経過時間よりも、構成画像内の位置に依存するとの考え方によるものである。
かかる方法をとるために簡易な方法として、本実施例では、構成画像をセルに分割して、それぞれのセルごとにパラメータを設定し、これに基づいて移動速度を変化させる方法をとることとした。
かかる方法をとるために簡易な方法として、本実施例では、構成画像をセルに分割して、それぞれのセルごとにパラメータを設定し、これに基づいて移動速度を変化させる方法をとることとした。
【0033】
パラメータは、後述する通り、物体に対して接近しながら撮影した画像に基づいて、適切な移動モデルが得られるように設定された値を用いることができる。従って、同じ条件で撮影した画像であれば、こうして設定されたパラメータを用いることにより、位置の推定精度を向上させることが可能となるのである。
【0034】
さらに言えば、本実施例では、物体の位置は、構成画像から抽出された候補とのマッチングで誤りが生じない程度の精度で推定できれば足りるからこそ、上述の方法が有用となってくる。仮に、かかる方法ではなく物体の位置を厳密に推定する必要がある場合は、グリッドパラメータを予め設定する際に用いた連続画像と完全に同じ条件で物体が移動していくとは限らないため、グリッドパラメータを用いたとしても誤差を十分に解消できるとは限らない。しかし、本実施例では、候補とのマッチングで物体を追跡するという方法をとっており、位置の推定の精度に対する要求はさほど高くないから、グリッドパラメータによる方法が簡便かつ非常に効果的なのである。
【0035】
上述した物体追跡処理（図４）では、まず構成画像から候補を抽出し（ステップＳ１２）、それから位置を推定し（ステップＳ１４）、両者をマッチングする（ステップＳ１５）という手順で対象物体を特定した。
これに対し、変形例として、それぞれの処理順序を変更して物体追跡処理を行ってもよい。例えば、まず、位置を推定し（ステップＳ１３、Ｓ１４）、次に、推定された位置を用いて候補の抽出（ステップＳ１２）を行うのである。この場合、候補の抽出は、推定された位置の近傍（所定範囲内）に絞って行えば良い。抽出する範囲は、予め一定の範囲を定めておいても良いが、例えば、前の時刻における対象物体の大きさを縦横２倍程度に拡大した範囲などのように対象物体の大きさを基準に設定してもよい。そして、推定された位置に重畳する物体をマッチング（ステップＳ１５）したものとして特定するのである。かかる方法によれば、候補の抽出（ステップＳ１２）、マッチング（ステップＳ１５）の処理を簡略化することができる。
つまり、物体抽出部１３は、位置推定部１２が物体の位置を推定する前に、構成画像内において物体の候補を抽出するものであっても良いし、位置推定部１２が物体の位置を推定した後に、推定した物体の位置の所定範囲内において物体の候補を抽出するものであっても良い。
これに対し、変形例として、それぞれの処理順序を変更して物体追跡処理を行ってもよい。例えば、まず、位置を推定し（ステップＳ１３、Ｓ１４）、次に、推定された位置を用いて候補の抽出（ステップＳ１２）を行うのである。この場合、候補の抽出は、推定された位置の近傍（所定範囲内）に絞って行えば良い。抽出する範囲は、予め一定の範囲を定めておいても良いが、例えば、前の時刻における対象物体の大きさを縦横２倍程度に拡大した範囲などのように対象物体の大きさを基準に設定してもよい。そして、推定された位置に重畳する物体をマッチング（ステップＳ１５）したものとして特定するのである。かかる方法によれば、候補の抽出（ステップＳ１２）、マッチング（ステップＳ１５）の処理を簡略化することができる。
つまり、物体抽出部１３は、位置推定部１２が物体の位置を推定する前に、構成画像内において物体の候補を抽出するものであっても良いし、位置推定部１２が物体の位置を推定した後に、推定した物体の位置の所定範囲内において物体の候補を抽出するものであっても良い。
【0036】
Ｄ．グリッドパラメータ作成処理：
図６は、グリッドパラメータ作成処理のフローチャートである。パラメータ設定システムによって実行される処理である。
処理を開始すると、パラメータ設定システムは、連続画像の画像データを読み込む（ステップＳ３０）。ここで読み込む画像データは、予め物体追跡がなされているデータである。物体追跡の結果は、それぞれの構成画像に対して、対象物体を表すＩＤと、その構成画像内の２次元座標値の組み合わせで表される。結果を表すデータは、画像データと一体化されていてもよいし、別のリストとして読み込んでもよい。
物体追跡は、それぞれの構成画像において、オペレータが物体を指定することで行ってもよいし、物体追跡システムで誤りなく結果が得られた連続画像を用いるようにしてもよい。
図６は、グリッドパラメータ作成処理のフローチャートである。パラメータ設定システムによって実行される処理である。
処理を開始すると、パラメータ設定システムは、連続画像の画像データを読み込む（ステップＳ３０）。ここで読み込む画像データは、予め物体追跡がなされているデータである。物体追跡の結果は、それぞれの構成画像に対して、対象物体を表すＩＤと、その構成画像内の２次元座標値の組み合わせで表される。結果を表すデータは、画像データと一体化されていてもよいし、別のリストとして読み込んでもよい。
物体追跡は、それぞれの構成画像において、オペレータが物体を指定することで行ってもよいし、物体追跡システムで誤りなく結果が得られた連続画像を用いるようにしてもよい。
【0037】
また、用いる連続画像は、物体追跡の対象となる連続画像と同様の撮影条件で撮影したものとすることが好ましい。例えば、道路を直線的に移動しながら撮影した連続画像を用いて物体追跡を行う場合には、パラメータ設定においても、同様に直線的に移動しながら撮影した連続画像を用いることが好ましい。同様の撮影条件とは、構成画像内の物体の移動が所定の誤差範囲内で定性的に近似する程度に条件が一致していればよく、移動速度や物体と車両との位置関係などが厳密に一致している必要はない。
撮影時のカメラの向きなども合わせておくことが好ましい。かかる条件が満たされているかを検証可能にするため、連続画像を撮影したときのカメラの向きなども記録されていることが好ましい。
さらに、パラメータを精度良く設定するために、撮影中の車両の移動速度はほぼ一定で、等間隔で撮影された連続画像を用いることが好ましい。もっとも、車両の移動速度や撮影間隔が変動したからといって、パラメータが設定できないという訳ではない。
撮影時のカメラの向きなども合わせておくことが好ましい。かかる条件が満たされているかを検証可能にするため、連続画像を撮影したときのカメラの向きなども記録されていることが好ましい。
さらに、パラメータを精度良く設定するために、撮影中の車両の移動速度はほぼ一定で、等間隔で撮影された連続画像を用いることが好ましい。もっとも、車両の移動速度や撮影間隔が変動したからといって、パラメータが設定できないという訳ではない。
【0038】
次に、パラメータ設定システムは、対象画像を抽出する（ステップＳ３１）。対象画像とは、パラメータの設定に適した連続画像を意味する。例えば、前の時刻の構成画像から、撮影間隔が大幅に変化した画像や、急カーブ・急勾配などによりカメラの方向が急激に変化した画像、不鮮明な画像などを除外することになる。
図中に処理のイメージを示した。構成画像Ｆ１～Ｆ８までを読み込んだ場合において、上述の理由により、構成画像Ｆ２、Ｆ７が不適切な構成画像であると判断されたとする。このとき、構成画像Ｆ１、Ｆ８は、次の時刻または前の時刻の構成画像が欠けた状態となってしまうから、連続画像として残るのは構成画像Ｆ３～Ｆ６となる。ステップＳ３１では、このようにして、パラメータの設定に適した連続画像を抽出するのである。
図中に処理のイメージを示した。構成画像Ｆ１～Ｆ８までを読み込んだ場合において、上述の理由により、構成画像Ｆ２、Ｆ７が不適切な構成画像であると判断されたとする。このとき、構成画像Ｆ１、Ｆ８は、次の時刻または前の時刻の構成画像が欠けた状態となってしまうから、連続画像として残るのは構成画像Ｆ３～Ｆ６となる。ステップＳ３１では、このようにして、パラメータの設定に適した連続画像を抽出するのである。
【0039】
次に、パラメータ設定システムは、それぞれの構成画像から、対象物体を抽出する（ステップＳ３２）。対象物体とは、パラメータの設定に適した連続画像内の物体を意味する。例えば、構成画面の外側に一部欠けているような物体や、障害物によって一部が覆い隠されている物体を除外することになる。また、鮮明に写っているものの、何らかの理由で物体追跡がなされていない物体も除外する。
【0040】
そして、初期グリッドを設定し（ステップＳ３３）、構成画像を複数のセルに分割する。初期グリッドは、構成画像の撮影間隔、対象物体の大きさなどに応じて、任意の形状に設定することができる。本実施例では、後述する通り、構成画像を縦横４分割して矩形のセルを形成するようにした。縦横で異なる数に分割してもよい。また、セルの形状も任意に決めることができ、三角形などに分割してもよい。
【0041】
次に、パラメータ設定システムは、それぞれのセルごとに対象物体の移動量の平均値、分散を求める（ステップＳ３４）。本実施例では、予め物体追跡がなされている連続画像を用いているから、前の構成画像と次の構成画像との間で物体の移動量は容易に求めることができる。そして、この移動量を、前の構成画像の物体が位置するセルの移動量として記憶する。こうした処理を、全ての対象物体、全ての構成画像について行えば、セルごとに複数の移動量の算出結果が記憶される。その後、この移動量の平均、分散を求めればよい。
【0042】
得られた分散が、所定の閾値を超えている場合（ステップＳ３５）、パラメータ設定システムは、そのセルを分割する（ステップＳ３６）。分割の方法は任意である。この処理は、セルごとに行う。即ち、分散が閾値以下であるセルについては、分割の必要はない。
分割されたセルについては、分割後のセルごとに、移動量の平均値、分散を求める（ステップＳ３４）。こうして、セル内の分散が閾値以下に収まるまで、繰り返しセルの分割を続ける（ステップＳ３５）。
こうすることで、全てのセルについて、移動量の平均値のばらつきを抑えることができ、設定されるパラメータの誤差を抑制することができる。
また、この処理を行うことで、セルの形状は不均一になる場合があるが、セル全体を均一な形状にする場合には、移動量の平均値の分散が閾値以下におさまっているセルについても分割が必要となり、全体として無駄にセルの数、パラメータの量を増やすことになる。本実施例では、不均一なセルを許容することにより、こうした無駄を抑制できる利点もある。
分割されたセルについては、分割後のセルごとに、移動量の平均値、分散を求める（ステップＳ３４）。こうして、セル内の分散が閾値以下に収まるまで、繰り返しセルの分割を続ける（ステップＳ３５）。
こうすることで、全てのセルについて、移動量の平均値のばらつきを抑えることができ、設定されるパラメータの誤差を抑制することができる。
また、この処理を行うことで、セルの形状は不均一になる場合があるが、セル全体を均一な形状にする場合には、移動量の平均値の分散が閾値以下におさまっているセルについても分割が必要となり、全体として無駄にセルの数、パラメータの量を増やすことになる。本実施例では、不均一なセルを許容することにより、こうした無駄を抑制できる利点もある。
【0043】
以上の処理によって、それぞれのセルごとの移動量の平均値が求まると、パラメータ設定システムは、その結果に基づいて各セルのパラメータを設定し（ステップＳ３７）、グリッドパラメータ設定処理を終了する。
【0044】
ステップＳ３７におけるパラメータの設定は、種々の方法が可能である。
例えば、セルの移動量の平均値は、それぞれのセルにおける物体の構成画像内の移動速度を表していることになる。従って、この移動速度をそのまま利用する移動モデルを設定する場合には、セルごとの移動量の平均値をそのままパラメータとしてもよい。
また、いずれかのセルの移動量の平均値で、各セルの移動量の平均値を正規化し、これをパラメータとして設定してもよい。こうすることで、物体追跡時の移動モデルは、例えば、前の時刻における移動速度に、このパラメータを乗じることで新たな移動速度として用いるようにすることもできる。さらに、移動速度を線形に変化させる移動モデルを用いることを前提に、さらにパラメータを乗じて移動速度を補正するようにしてもよい。
この他、パラメータの設定は、位置の推定に用いる移動モデルの内容に応じた方法で行えばよい。パラメータを設定した後、ステップＳ３０で読み込んだ連続画像に対して物体追跡を実施することを繰り返し、この物体追跡が適正に行われるように試行錯誤的にパラメータを設定してもよい。
例えば、セルの移動量の平均値は、それぞれのセルにおける物体の構成画像内の移動速度を表していることになる。従って、この移動速度をそのまま利用する移動モデルを設定する場合には、セルごとの移動量の平均値をそのままパラメータとしてもよい。
また、いずれかのセルの移動量の平均値で、各セルの移動量の平均値を正規化し、これをパラメータとして設定してもよい。こうすることで、物体追跡時の移動モデルは、例えば、前の時刻における移動速度に、このパラメータを乗じることで新たな移動速度として用いるようにすることもできる。さらに、移動速度を線形に変化させる移動モデルを用いることを前提に、さらにパラメータを乗じて移動速度を補正するようにしてもよい。
この他、パラメータの設定は、位置の推定に用いる移動モデルの内容に応じた方法で行えばよい。パラメータを設定した後、ステップＳ３０で読み込んだ連続画像に対して物体追跡を実施することを繰り返し、この物体追跡が適正に行われるように試行錯誤的にパラメータを設定してもよい。
【0045】
図７は、グリッドの分割例を示す説明図である。グリッドパラメータ設定処理（図６）のステップＳ３６の処理例に相当する。
図７（ａ）は初期グリッドの例を示した。この例では、縦横４つに分割するグリッドが設定されている。ハッチングを付したセルにおいて、移動量の分散が閾値を超えているとする。
図７（ｂ）は、これらのセルの分割例である。右上（４列１行）のセルのように、一つのセルを縦横２分割し、セルａ～ｄの４つのセルに分割してもよい。また、左側（１列２行）のセルのように、斜め方向に分割し、セルｅ，ｆの２つのセルに分割してもよい。物体は、定性的には図中の矢印Ａの方向に移動し、この方向に移動速度の増減も生じるから、斜め方向に分割する場合は、矢印Ａと交差する方向の対角線で分割することが好ましい。このようにセルの分割は、種々の方法が考えられるが、上述した２つの方法は、いずれか一方を用いるものとしてもよいし、双方を混在させてもよい。
図７（ａ）は初期グリッドの例を示した。この例では、縦横４つに分割するグリッドが設定されている。ハッチングを付したセルにおいて、移動量の分散が閾値を超えているとする。
図７（ｂ）は、これらのセルの分割例である。右上（４列１行）のセルのように、一つのセルを縦横２分割し、セルａ～ｄの４つのセルに分割してもよい。また、左側（１列２行）のセルのように、斜め方向に分割し、セルｅ，ｆの２つのセルに分割してもよい。物体は、定性的には図中の矢印Ａの方向に移動し、この方向に移動速度の増減も生じるから、斜め方向に分割する場合は、矢印Ａと交差する方向の対角線で分割することが好ましい。このようにセルの分割は、種々の方法が考えられるが、上述した２つの方法は、いずれか一方を用いるものとしてもよいし、双方を混在させてもよい。
【0046】
図７（ｃ）は、パラメータの設定例を示している。この例では、最下段（４行）には１．０が設定されている。パラメータを移動速度に乗じて用いる場合、この設定は、パラメータが移動速度に影響を与えない設定となっていることを意味する。本実施例のように、車両で物体に接近しながら連続画像を撮影する場合、対象物体によっては、最下段の部分には、ほとんど来る可能性はないなど、物体追跡に重要ではない領域となることがある。かかる場合には、このように移動速度に影響を与えないパラメータを設定するようにしてもよい。かかる設定を許容することで、パラメータ設定処理の負荷を軽減することができる。
【0047】
図８は、グリッドパラメータの設定例を示す説明図である。
図８（ａ）は、図７（ｃ）の最下段と同様の趣旨で、下半分を一つのセルとしつつ、移動速度に影響を与えないパラメータとして１．０を設定した例である。また、上半分の領域も、図示するように中央付近は大きなセルでパラメータを設定している。構成画像の中央付近では、物体の移動速度は比較的小さく、誤差も生じにくいからである。
図８（ｂ）は、図７（ｃ）と同様の趣旨で、最下段を含む一部のパラメータを１．０に設定している。また、最上段は、左端が１．３であるのに対して、右端は１．２となっている。このようにグリッドパラメータは、左右非対称の設定としてもよい。
図８（ｃ）は、全体に左側に設定されているパラメータが大きく、右側に設定されているパラメータが小さい値となっている。車両にカメラを搭載して撮影する場合、左側通行であれば左側に来る物体の方が、右側に来る物体よりもカメラに近く、より速く移動するように見えるため、このように左側を重視してパラメータを設定することにより、物体追跡に適した設定とすることができる。
図８（ｄ）は、図８（ｃ）と同様、左側に大きな値を設定しながらも、右側も図８（ｄ）よりは大きい値となっている。車両が片側２車線を走行しているときには、右側に物体が来る可能性が低いため、図８（ｃ）のような設定でも良いが、片側１車線の道路など狭い道路を通行する場合には、右側にも物体が来る可能性があるため、それに応じた設定となっているのである。
図８（ａ）は、図７（ｃ）の最下段と同様の趣旨で、下半分を一つのセルとしつつ、移動速度に影響を与えないパラメータとして１．０を設定した例である。また、上半分の領域も、図示するように中央付近は大きなセルでパラメータを設定している。構成画像の中央付近では、物体の移動速度は比較的小さく、誤差も生じにくいからである。
図８（ｂ）は、図７（ｃ）と同様の趣旨で、最下段を含む一部のパラメータを１．０に設定している。また、最上段は、左端が１．３であるのに対して、右端は１．２となっている。このようにグリッドパラメータは、左右非対称の設定としてもよい。
図８（ｃ）は、全体に左側に設定されているパラメータが大きく、右側に設定されているパラメータが小さい値となっている。車両にカメラを搭載して撮影する場合、左側通行であれば左側に来る物体の方が、右側に来る物体よりもカメラに近く、より速く移動するように見えるため、このように左側を重視してパラメータを設定することにより、物体追跡に適した設定とすることができる。
図８（ｄ）は、図８（ｃ）と同様、左側に大きな値を設定しながらも、右側も図８（ｄ）よりは大きい値となっている。車両が片側２車線を走行しているときには、右側に物体が来る可能性が低いため、図８（ｃ）のような設定でも良いが、片側１車線の道路など狭い道路を通行する場合には、右側にも物体が来る可能性があるため、それに応じた設定となっているのである。
【0048】
このようにグリッドパラメータは、撮影時の周囲の環境などを考慮して設定してもよい。また、（１）車両のヘディング角、ピッチ角、ロール角、（２）道路の曲率や勾配、（３）画像の解像度や構成画像のフレーム間隔、（４）車両の走行速度、（５）カメラの取り付け位置、車両のタイヤの空気圧、（６）対象物体の種類など、に応じてパラメータを設定してもよい。
さらに、車両が後進した場合や、画像フレームの逆順に追跡する場合などに対応するため、前進する場合のパラメータとは別にパラメータを用意してもよい。
パラメータは、画像の幅方向（Ｘ方向）の速度に対するパラメータ、高さ方向（Ｙ方向）の速度に対するパラメータというように、成分に分けて用意してもよい。
さらに、車両が後進した場合や、画像フレームの逆順に追跡する場合などに対応するため、前進する場合のパラメータとは別にパラメータを用意してもよい。
パラメータは、画像の幅方向（Ｘ方向）の速度に対するパラメータ、高さ方向（Ｙ方向）の速度に対するパラメータというように、成分に分けて用意してもよい。
【0049】
こうして多くの条件に基づいて設定されたパラメータは、物体追跡処理に応じて、その連続画像の撮影条件等に基づいて、使用するパラメータを使い分けることが可能となる。こうすれば、撮影条件等による誤差の影響を抑制して物体追跡を行うことが可能となる。
また、複数のパラメータを併用可能としてもよい。例えば、車両の走行速度、道路の曲率など、撮影条件等において複数の要素が併存するとき、それぞれの要素に対して設定されたパラメータに重みを乗じて加えることで両者を考慮したパラメータを設定し、これを用いるようにしてもよい。
また、複数のパラメータを併用可能としてもよい。例えば、車両の走行速度、道路の曲率など、撮影条件等において複数の要素が併存するとき、それぞれの要素に対して設定されたパラメータに重みを乗じて加えることで両者を考慮したパラメータを設定し、これを用いるようにしてもよい。
【0050】
Ｅ．効果および変形例：
以上で説明した物体追跡システム、パラメータ設定システムによれば、以下に示す通り精度良く物体追跡を行うことが可能となる。
以上で説明した物体追跡システム、パラメータ設定システムによれば、以下に示す通り精度良く物体追跡を行うことが可能となる。
【0051】
図９は、物体の追跡例を示す説明図である。中央の図９（ｂ）に示したのが前の時刻における構成画像の例である。３つの対象物体Ｐ、Ｑ、Ｒについて追跡をした例を示した。図において、四角で囲んだ標識が構成画像で抽出された候補を表している。また、四角に×を付した位置ｐ０、ｑ０、ｒ０が、物体の位置の推定結果を表している。図９（ｂ）の時点では、候補と位置の推定結果とが適性にマッチングされ、物体の追跡が行われている。
【0052】
次に、図９（ａ）は、従来の移動モデルによる追跡結果を表している。図９（ｂ）の次の時刻における構成画像である。構成画像には、図９（ａ）の一つの対象物体Ｐのみが候補として抽出された状態になっている。ほか二つの対象物体Ｑ、Ｒが構成画像外に移動した後だからである。しかし、四角に×を付した物体の位置の推定結果ｐ１、ｑ１、ｒ１は３つ表れている。即ち、前の時刻の物体の位置から移動モデルを適用して推定した位置のうち２つは構成画像の外にはずれた位置が推定されるべきところ、誤差によって構成画像内に残ってしまっている。この結果、推定結果ｑ１と物体Ｐとが誤ってマッチングされ、物体追跡も誤った結果となってしまっている。
【0053】
図９（ｃ）は、図９（ａ）と同じ構成画像に対し、本実施例の方法を適用した例である。一つの標識のみが候補として抽出されている点は図９（ａ）と同じである。しかし、図９（ｃ）では、既に説明した通り、パラメータを適用することで、物体の移動モデルが修正される結果、位置の推定結果ｐ２の精度が向上する。従って、図９（ｃ）では、前の時刻からの位置の推定結果ｐ２は１つしか得られておらず、構成画像から外れた標識については、位置の推定結果も同様に構成画像から外れた状態となっている。この結果、候補Ｐと位置ｐ２の推定結果のマッチングが適正に行われ、物体の追跡が誤りなく行われている。
【0054】
実施例で説明した種々の特徴は、必ずしも全てを備えている必要はなく、適宜、その一部を省略したり組み合わせたりすることが可能である。また、本発明は実施例に限らず以下に説明する通り種々の変形例を構成することが可能である。
【0055】
（１）物体追跡システムの変形例：
本発明の物体追跡システムは、先に説明した通り、
複数の構成画像で構成される連続画像内で物体を追跡する物体追跡システムであって、
前記構成画像内で前記物体の候補を抽出する物体抽出部と、
前の時刻における前記構成画像内の前記物体の位置に基づいて、所定の移動モデルによって次の時刻における前記構成画像内の前記物体の位置を推定する位置推定部と、
前記物体抽出部により抽出された前記候補と、前記位置推定部により推定された位置とに基づいて次の時刻における前記構成画像内の前記物体を特定する特定部とを備え、
前記位置推定部は、前記移動モデルに用いるパラメータを、前記物体の位置に応じて変化させる物体追跡システムと構成できる。
本発明の物体追跡システムは、先に説明した通り、
複数の構成画像で構成される連続画像内で物体を追跡する物体追跡システムであって、
前記構成画像内で前記物体の候補を抽出する物体抽出部と、
前の時刻における前記構成画像内の前記物体の位置に基づいて、所定の移動モデルによって次の時刻における前記構成画像内の前記物体の位置を推定する位置推定部と、
前記物体抽出部により抽出された前記候補と、前記位置推定部により推定された位置とに基づいて次の時刻における前記構成画像内の前記物体を特定する特定部とを備え、
前記位置推定部は、前記移動モデルに用いるパラメータを、前記物体の位置に応じて変化させる物体追跡システムと構成できる。
【0056】
このように構成画像内の物体の位置に応じて設定したパラメータを反映させた移動モデルによって位置の推定を行うことにより、その精度を高めることができる。
パラメータは、例えば、位置に応じた関数の形で用意してもよいし、位置ごとに予めパラメータを記憶したデータベースの形で用意してもよい。また、両者を組み合わせても良い。
パラメータは、必ずしも構成画像の全ての位置に対して設定されている必要はなく、一部の位置に対してのみ設定するようにしてもよい。
パラメータは、例えば、位置に応じた関数の形で用意してもよいし、位置ごとに予めパラメータを記憶したデータベースの形で用意してもよい。また、両者を組み合わせても良い。
パラメータは、必ずしも構成画像の全ての位置に対して設定されている必要はなく、一部の位置に対してのみ設定するようにしてもよい。
【0057】
上記態様において、物体の抽出は、構成画像の全体を対象として行ってもよいし、その一部について行うようにしてもよい。
例えば、実施例で説明したように、構成画像の全体について物体を抽出した上で、推定された位置とを対応づけることで、物体を特定する態様としてもよい。
また、位置を推定した上で、その位置を含む所定の範囲内で物体を抽出することで、物体を特定する態様としてもよい。
例えば、実施例で説明したように、構成画像の全体について物体を抽出した上で、推定された位置とを対応づけることで、物体を特定する態様としてもよい。
また、位置を推定した上で、その位置を含む所定の範囲内で物体を抽出することで、物体を特定する態様としてもよい。
【0058】
上記態様において、
前記連続画像は、前記物体との距離を相対的に縮めながら撮影したものとしてもよい。
前記連続画像は、前記物体との距離を相対的に縮めながら撮影したものとしてもよい。
【0059】
かかる連続画像においては、構成画像の端に物体が接近することにより構成画像内の移動速度が増大するため、本発明を有効に活用することができる。
【0060】
さらに、上記態様において、
前記連続画像は、移動体に固定したカメラで撮影したものとしてもよい。
前記連続画像は、移動体に固定したカメラで撮影したものとしてもよい。
【0061】
本発明は、カメラと物体との相対的な動きが、所定の誤差範囲内で既知であることが好ましいところ、上記態様によれば、カメラの動きは移動体の動きに依ることになるため、既知の動きを再現しやすく精度向上を図ることができる利点がある。
【0062】
上記態様において、
位置推定部は、カルマンフィルタによって前記位置の推定を行うものとしてもよい。
位置推定部は、カルマンフィルタによって前記位置の推定を行うものとしてもよい。
【0063】
上記態様において、
構成画像から抽出された候補と対象物体の位置をマッチングするにあたり、抽出された候補の色や形状等の特徴量の分析を併用するものとしてもよい。これに加えて、あるいはこれに替えて、抽出された候補のアスペクト比と対象物体のアスペクト比の近似性の分析を併用するものとしてもよい。
構成画像から抽出された候補と対象物体の位置をマッチングするにあたり、抽出された候補の色や形状等の特徴量の分析を併用するものとしてもよい。これに加えて、あるいはこれに替えて、抽出された候補のアスペクト比と対象物体のアスペクト比の近似性の分析を併用するものとしてもよい。
【0064】
本発明は、かかる場合に特に有用性が高い。
【0065】
上記態様において、
前記構成画像内の位置に応じて前記パラメータを予め記憶した記憶部を有し、
前記位置推定部は、前記記憶部を参照して、前記パラメータを設定するものとしてもよい。
前記構成画像内の位置に応じて前記パラメータを予め記憶した記憶部を有し、
前記位置推定部は、前記記憶部を参照して、前記パラメータを設定するものとしてもよい。
【0066】
こうすることで、物体の移動モデルを表す数式（例えば、関数等）の形で用意する場合に比べてパラメータの設定の自由度が高くなるため、より精度向上を図ることが可能となる。
【0067】
上記態様において、
前記記憶部は、前記構成画像を複数のセルに分割し、該セルごとに前記パラメータを記憶しており、
前記位置推定部は、前記物体の位置が属するセルに基づいて、前記パラメータを設定するものとしてもよい。
前記記憶部は、前記構成画像を複数のセルに分割し、該セルごとに前記パラメータを記憶しており、
前記位置推定部は、前記物体の位置が属するセルに基づいて、前記パラメータを設定するものとしてもよい。
【0068】
このようにセルに分割することで、パラメータの記憶量を抑制することができる。
【0069】
上記態様において、
前記セルは不均一な形状であることが許容されているものとしてもよい。
前記セルは不均一な形状であることが許容されているものとしてもよい。
【0070】
こうすることで、一部の領域においては、パラメータを細やかに変化させつつ、全体としてはパラメータ全体の記憶量を抑制することが可能となる。
【0071】
上記態様において、
前記パラメータを前記連続画像の撮影条件に応じて複数種類記憶しておき、
前記位置推定部は、前記物体の位置に加え、前記連続画像の撮影条件に応じて、前記パラメータを変化させるものとしてもよい。
前記パラメータを前記連続画像の撮影条件に応じて複数種類記憶しておき、
前記位置推定部は、前記物体の位置に加え、前記連続画像の撮影条件に応じて、前記パラメータを変化させるものとしてもよい。
【0072】
撮影条件等に応じてパラメータを使い分けることで、より精度向上を図ることができる。
かかる場合において、撮影条件に応じて複数のパラメータを組み合わせたり、パラメータを修正して用いるようにしてもよい。
かかる場合において、撮影条件に応じて複数のパラメータを組み合わせたり、パラメータを修正して用いるようにしてもよい。
【0073】
上記態様において、
前記物体抽出部、前記位置推定部、および前記特定部は、複数の物体を対象としてそれぞれの処理を実行するものとしてもよい。
前記物体抽出部、前記位置推定部、および前記特定部は、複数の物体を対象としてそれぞれの処理を実行するものとしてもよい。
【0074】
複数の物体を追跡する場合、候補と位置の推定結果とのミスマッチングが生じる可能性が高くなるため、本発明の有用性がより高まる。
【0075】
（２）パラメータ設定システムの変形例：
本発明のパラメータ設定システムは、先に説明した通り、
複数の構成画像で構成される連続画像内で、前の時刻における前記構成画像内の前記物体の位置に基づいて、所定の移動モデルによって次の時刻における前記構成画像内の前記物体の位置を推定するにあたって、前記移動モデルのパラメータを設定するパラメータ設定システムであって、
前記物体が、前の時刻から次の時刻までに前記構成画像内で移動した移動量の平均値を、前記構成画像内の位置に応じて算出し、これに基づいて、前記移動モデルに用いるパラメータを設定するパラメータ設定部を備えるパラメータ設定システムと構成できる。
本発明のパラメータ設定システムは、先に説明した通り、
複数の構成画像で構成される連続画像内で、前の時刻における前記構成画像内の前記物体の位置に基づいて、所定の移動モデルによって次の時刻における前記構成画像内の前記物体の位置を推定するにあたって、前記移動モデルのパラメータを設定するパラメータ設定システムであって、
前記物体が、前の時刻から次の時刻までに前記構成画像内で移動した移動量の平均値を、前記構成画像内の位置に応じて算出し、これに基づいて、前記移動モデルに用いるパラメータを設定するパラメータ設定部を備えるパラメータ設定システムと構成できる。
【0076】
上記態様においては、
前記構成画像を複数のセルに分割し、該セルごとに前記パラメータを設定するものとしてもよい。
前記構成画像を複数のセルに分割し、該セルごとに前記パラメータを設定するものとしてもよい。
【0077】
移動量の算出にも誤差が含まれるため、セルに分割して処理を行うことにより、かかる誤差を統計的な処理によって、抑えることができ、結果としてパラメータの精度を向上することができる。
【0078】
上記態様においては、
前記セル内の移動量のばらつきが所定値を超える場合に、当該セルを分割するようにしてもよい。
前記セル内の移動量のばらつきが所定値を超える場合に、当該セルを分割するようにしてもよい。
【0079】
こうすることにより、セル内で移動量の平滑化を図ることができ、各セルにおけるパラメータの精度の均一化を図ることができる。
【0080】
以上の実施形態の全部又は一部に記載された態様は、画像データ、地図データまたは地物データの適切な処理、処理速度の向上、処理精度の向上、使い勝手の向上、データを利用した機能の向上又は適切な機能の提供その他の機能向上または適切な機能の提供、データ及び／又はプログラムの容量の削減、装置及び／又はシステムの小型化等の適切なデータ、プログラム、記録媒体、装置及び／又はシステムの提供、並びにデータ、プログラム、装置又はシステムの制作・製造コストの削減、制作・製造の容易化、制作・製造時間の短縮等のデータ、プログラム、記録媒体、装置及び／又はシステムの制作・製造の適切化のいずれか一つの課題を解決する。
【符号の説明】
【0081】
１ クライアント
１０ 物体追跡システム
１１ 入出力部
１２ 位置推定部
１３ 物体抽出部
１４ 特定部
１５ 移動モデル設定部
１６ グリッドパラメータ記憶部
２０ パラメータ設定システム
２１ 入出力部
２２ 前処理部
２３ グリッドパラメータ記憶部
２４ パラメータ設定部
１０ 物体追跡システム
１１ 入出力部
１２ 位置推定部
１３ 物体抽出部
１４ 特定部
１５ 移動モデル設定部
１６ グリッドパラメータ記憶部
２０ パラメータ設定システム
２１ 入出力部
２２ 前処理部
２３ グリッドパラメータ記憶部
２４ パラメータ設定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
