知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024084061
(43)【公開日】2024-06-24
(54)【発明の名称】観察システム、処理装置及び観察方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240617BHJP
G01P 13/00 20060101ALI20240617BHJP
G08G 1/16 20060101ALI20240617BHJP
G06V 20/54 20220101ALI20240617BHJP
H04N 23/60 20230101ALI20240617BHJP
H04N 7/18 20060101ALI20240617BHJP
【ＦＩ】
G06T7/00 650B
G01P13/00 B
G08G1/16 D
G06V20/54
H04N23/60 500
H04N7/18 N
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022198231
(22)【出願日】2022-12-12
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(74)【代理人】
【識別番号】100203264
【弁理士】
【氏名又は名称】塩川 未久
(72)【発明者】
【氏名】榊原 大介
(72)【発明者】
【氏名】稲冨 隆彦
【テーマコード（参考）】
2F034
5C054
5C122
5H181
5L096
【Ｆターム（参考）】
2F034BA08
5C054CA05
5C054CC02
5C054DA07
5C054EA01
5C054FC12
5C054FC13
5C054HA26
5C054HA30
5C122DA11
5C122DA16
5C122EA06
5C122FH10
5C122FH11
5C122FH12
5C122FH14
5C122HA88
5C122HB01
5C122HB05
5C122HB09
5H181AA01
5H181AA21
5H181BB04
5H181BB20
5H181CC02
5H181CC04
5H181LL08
5H181LL15
5L096AA03
5L096AA06
5L096BA04
5L096CA04
5L096DA02
5L096FA02
5L096FA18
5L096FA69
5L096GA51
5L096HA05
(57)【要約】
【課題】赤外線画像によって対象物を精度良く検出する技術を提供する。
【解決手段】観察システムは、検出装置と、処理装置とを含む。検出装置は、物体の画像を含む赤外線画像から、物体を移動体として検出する。処理装置は、赤外線画像である第１赤外線画像に含まれる第１物体と、第１赤外線画像よりも過去に撮像された赤外線画像である第２赤外線画像に含まれる第２物体に対する検出装置の検出結果に基づいて、第１赤外線画像において移動体として検出された第１物体を静止物体と判定する。
【選択図】図２
【解決手段】観察システムは、検出装置と、処理装置とを含む。検出装置は、物体の画像を含む赤外線画像から、物体を移動体として検出する。処理装置は、赤外線画像である第１赤外線画像に含まれる第１物体と、第１赤外線画像よりも過去に撮像された赤外線画像である第２赤外線画像に含まれる第２物体に対する検出装置の検出結果に基づいて、第１赤外線画像において移動体として検出された第１物体を静止物体と判定する。
【選択図】図２
【特許請求の範囲】
【請求項1】
物体の画像を含む赤外線画像から、前記物体を移動体として検出する検出装置と、
前記赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された前記赤外線画像である第２赤外線画像に含まれる第２物体に対する前記検出装置の検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定する処理装置と、を含む、観察システム。
前記赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された前記赤外線画像である第２赤外線画像に含まれる第２物体に対する前記検出装置の検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定する処理装置と、を含む、観察システム。
【請求項2】
前記処理装置は、前記検出装置が、所定期間に撮像された前記第１赤外線画像及び前記第２赤外線画像を含む複数の赤外線画像のうち、前記第１物体と他の赤外線画像に含まれる物体とが同一の物体ではないと所定回数以上検出した場合に、前記第１物体を静止物体と判定する、請求項１に記載の観察システム。
【請求項3】
前記処理装置は、
物体を一意に識別可能な識別子と、当該物体の位置情報とを含むデータを前記検出装置から取得し、
前記第１物体の前記識別子と、前記第１赤外線画像よりも過去に撮像された前記第２赤外線画像を含む複数の前記赤外線画像に含まれる前記第２物体の識別子が一致せず、前記第１物体の位置から所定の範囲内の位置に前記第２物体が存在する場合、前記第１物体と前記第２物体とを同じ物体とみなす処理を実行する、請求項１に記載の観察システム。
物体を一意に識別可能な識別子と、当該物体の位置情報とを含むデータを前記検出装置から取得し、
前記第１物体の前記識別子と、前記第１赤外線画像よりも過去に撮像された前記第２赤外線画像を含む複数の前記赤外線画像に含まれる前記第２物体の識別子が一致せず、前記第１物体の位置から所定の範囲内の位置に前記第２物体が存在する場合、前記第１物体と前記第２物体とを同じ物体とみなす処理を実行する、請求項１に記載の観察システム。
【請求項4】
前記処理装置は、前記第１物体の移動速度が第１閾値を下回る場合、前記第１物体を前記第２物体と異なる物体であるとみなす処理を実行する、請求項３に記載の観察システム。
【請求項5】
前記処理装置は、
前記第２物体と同じ物体とみなす処理が実行された前記第１物体が、第２閾値以上の移動速度で移動し続けている場合、前記第２物体が路面の模様であると判定する、請求項１に記載の観察システム。
前記第２物体と同じ物体とみなす処理が実行された前記第１物体が、第２閾値以上の移動速度で移動し続けている場合、前記第２物体が路面の模様であると判定する、請求項１に記載の観察システム。
【請求項6】
前記処理装置は、
物体を一意に特定する識別子を含むデータを前記検出装置から取得し、
前記第２物体の静止時間が第３閾値以上である場合、又は、前記第２物体と同じ物体とみなす処理が実行された前記第１物体の識別子が前記第２赤外線画像を含む複数の赤外線画像に含まれる物体の識別子と所定回数以上異なる場合、前記第２物体が障害物であると判定する、請求項１に記載の観察システム。
物体を一意に特定する識別子を含むデータを前記検出装置から取得し、
前記第２物体の静止時間が第３閾値以上である場合、又は、前記第２物体と同じ物体とみなす処理が実行された前記第１物体の識別子が前記第２赤外線画像を含む複数の赤外線画像に含まれる物体の識別子と所定回数以上異なる場合、前記第２物体が障害物であると判定する、請求項１に記載の観察システム。
【請求項7】
赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された赤外線画像である第２赤外線画像に含まれる第２物体に対する検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定する制御部を備える、処理装置。
【請求項8】
物体の画像を含む赤外線画像から、前記物体を移動体として検出することと、
前記赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された前記赤外線画像である第２赤外線画像に含まれる第２物体に対する検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定することと、を含む、観察方法。
前記赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された前記赤外線画像である第２赤外線画像に含まれる第２物体に対する検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定することと、を含む、観察方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、観察システム、処理装置及び観察方法に関する。
【背景技術】
【0002】
カメラが生成した画像に対して画像処理を実行することにより対象物を検出する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１１７０８７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
対象物を画像処理によって検出する技術に、赤外線カメラが生成した赤外線画像を採用することは有用である。赤外線画像を採用すれば、暗所で対象物を検出したり、遠方の対象物を検出したりすることができる。赤外線画像によって対象物を精度良く検出する技術が望まれる。
【0005】
かかる点に鑑みてなされた本開示の目的は、赤外線画像によって対象物を精度良く検出する技術を提供することにある。
【課題を解決するための手段】
【0006】
本開示の一実施形態に係る観察システムは、
物体の画像を含む赤外線画像から、前記物体を移動体として検出する検出装置と、
前記赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された前記赤外線画像である第２赤外線画像に含まれる第２物体に対する前記検出装置の検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定する処理装置と、を含む。
物体の画像を含む赤外線画像から、前記物体を移動体として検出する検出装置と、
前記赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された前記赤外線画像である第２赤外線画像に含まれる第２物体に対する前記検出装置の検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定する処理装置と、を含む。
【0007】
本開示の一実施形態に係る処理装置は、
赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された赤外線画像である第２赤外線画像に含まれる第２物体に対する検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定する制御部を備える。
赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された赤外線画像である第２赤外線画像に含まれる第２物体に対する検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定する制御部を備える。
【0008】
本開示の一実施形態に係る観察方法は、
物体の画像を含む赤外線画像から、前記物体を移動体として検出することと、
前記赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された前記赤外線画像である第２赤外線画像に含まれる第２物体に対する検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定することと、を含む。
物体の画像を含む赤外線画像から、前記物体を移動体として検出することと、
前記赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された前記赤外線画像である第２赤外線画像に含まれる第２物体に対する検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定することと、を含む。
【発明の効果】
【0009】
本開示の一実施形態によれば、赤外線画像によって対象物を精度良く検出する技術を提供することができる。
【図面の簡単な説明】
【0010】
【図1】本開示の一実施形態に係る観察システムの概略構成を示す図である。
【図3】赤外線画像の一例を示す図である。
【図4】トラッキングデータの一例を示す図である。
【図5】赤外線画像の一例を示す図である。
【図6】観察処理の流れを示すフローチャートである。
【図7】同一性判定処理の流れを示すフローチャートである。
【図8】誤検出判定処理の流れを示すフローチャートである。
【図9】トラッキングデータの削除処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本開示に係る実施形態について、図面を参照して説明する。
【0012】
図１に示すように、本実施形態に係る観察システム１は、路側システム又は路側機である。観察システム１は、通信システムに含まれる。観察システム１を含む通信システムは、例えば、高度道路交通システム（ＩＴＳ：Intelligent Transport Systems）の安全運転支援通信システムである。安全運転支援通信システムは、安全運転支援システムと呼ばれたり、安全運転支援無線システムと呼ばれたりする。
【0013】
観察システム１は、例えば、交差点等の路側帯に配置される。観察システム１は、観察領域を観察する。観察領域は、例えば、道路等の路面である。観察システム１は、観察領域を観察し、観察領域に存在する対象物を検出する。観察システム１が検出対象とする対象物は、予め設定される。対象物は、移動可能な物体（移動体）である。対象物の種類は、例えば、歩行者、自転車、自動二輪車、普通自動車及び大型自動車である。観察システム１は、対象物（移動体）を検出すると、後述するような通知データを周囲の移動体に送信する。
【0014】
観察システム１は、検出装置１０と、処理装置２０とを含む。検出装置１０と処理装置２０とは、通信線を介して通信可能である。
【0015】
図２に示すように、検出装置１０は、赤外線カメラ１１と、通信部１２と、記憶部１３と、制御部１４とを備える。
【0016】
赤外線カメラ１１は、例えば、遠赤外線カメラ又は近赤外線カメラである。本実施形態では、検出装置１０は、１つの赤外線カメラ１１を備える。ただし、検出装置１０は、２つ以上の赤外線カメラ１１を備えてよい。この場合、検出装置１０は、遠赤外線カメラ及び近赤外線カメラの両方を備えてよい。
【0017】
赤外線カメラ１１は、観察領域から放射される赤外線を検出することにより、観察領域の赤外線画像を生成可能である。赤外線カメラ１１は、任意のフレームレートで赤外線画像を生成してよい。赤外線カメラ１１は、図１に示すように、観察領域の赤外線画像を生成可能に構造物に固定される。構造物は、例えば、電柱又は街灯等である。
【0018】
通信部１２は、通信線を介して処理装置２０と通信可能な少なくとも１つの通信モジュールを含んで構成される。通信モジュールは、通信線の規格に対応した通信モジュールである。通信線の規格は、例えば、有線通信規格又は近距離無線通信規格である。
【0019】
記憶部１３は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）等である。ＲＡＭは、例えば、ＳＲＡＭ（Static Random Access Memory）又はＤＲＡＭ（Dynamic Random Access Memory）等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)等である。記憶部１３は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部１３には、検出装置１０の動作に用いられるデータと、検出装置１０の動作によって得られたデータとが記憶される。
【0020】
制御部１４は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部１４は、検出装置１０の各部を制御しながら、検出装置１０の動作に関わる処理を実行する。
【0021】
制御部１４は、赤外線カメラ１１から赤外線画像のデータを取得する。制御部１４は、赤外線画像に対して画像認識処理を実行することにより、対象物を検出する。画像認識処理は、例えば、パターンマッチング又は深層学習等の機械学習等の処理である。赤外線画像のデータは、可視光画像のデータとは異なり、彩度の情報等を含まない。そのため、制御部１４は、赤外線画像に対する画像認識処理によって赤外線画像に描画された物体の形状を認識することにより、対象物を検出する。
【0022】
制御部１４は、対象物を検出すると、検出した対象物にオブジェクトＩＤを付与する。オブジェクトＩＤは、検出した対象物を一意に識別可能な識別情報である。オブジェクトＩＤは、対象物の識別子の一例である。後述するように第１周期毎に画像認識処理を実行して対象物を検出する場合、制御部１４は、第１周期毎に検出する対象物において、同じ物体に対応する対象物には、同じオブジェクトＩＤを付与する。制御部１４は、第１周期毎に検出する対象物において、異なる物体に対応する対象物には、異なるオブジェクトＩＤを付与する。
【0023】
制御部１４は、対象物を検出すると、対象物の検出データを検出する。制御部１４は、赤外線画像に対して画像認識処理を実行することにより、対象物の検出データを検出してよい。対象物の検出データは、例えば、対象物の種類、対象物の位置情報及び対象物の速度情報等を含む。本実施形態では、対象物の位置情報は、対象物の赤外線画像上の位置情報であるものとする。ただし、対象物の位置情報は、対象物の実空間上の位置情報であってもよい。対象物の赤外線画像上の位置情報は、赤外線画像に対して定めされる２次元座標系で与えられてよい。この２次元座標系は、例えば、後述の図５に示すようなｘｙ座標系である。ｘｙ座標系は、互いに直交するｘ軸方向及びｙ軸方向によって構成される。
【0024】
制御部１４は、対象物を検出すると、対象物のオブジェクトＩＤとともに対象物の検出データを通信部１２によって処理装置２０に送信する。
【0025】
制御部１４は、第１周期毎に、赤外線カメラ１１から赤外線画像のデータを取得し、取得した赤外線画像に対して画像認識処理を実行することにより対象物を検出してよい。第１周期は、予め設定されてよい。第１周期は、赤外線カメラ１１が赤外線画像を生成するフレームレートに基づいて設定されてよい。制御部１４は、第１周期毎に、対象物のオブジェクトＩＤとともに対象物の検出データを処理装置２０に送信してよい。
【0026】
ところで、上述したように、赤外線画像のデータは、可視光画像のデータとは異なり、彩度の情報等を含まない。そのため、制御部１４は、赤外線画像に対する画像認識処理によって赤外線画像に描画された物体の形状を認識することにより、対象物を検出する。したがって、赤外線画像に描画された静止物体の形状が対象物の形状に類似していると、制御部１４が、その静止物体を対象物として誤検出してしまう場合がある。以下、この誤検出の一例を、図３を参照して説明する。
【0027】
例えば、図３に、赤外線画像３０を示す。制御部１４は、赤外線画像３０に対して画像認識処理を実行することにより、バウンディングボックス３１，３２，３２に描画された物体を対象物として検出する。具体的には、制御部１４は、バウンディングボックス３１，３２のそれぞれに描画された物体を対象物の歩行者として検出する。また、制御部１４は、バウンディングボックス３３に描画された物体を対象物の普通自動車として検出する。ここで、バウンディングボックス３２に描画された物体は、静止物体であるガードレールの端部である。つまり、バウンディングボックス３２に描画された物体は、歩行者ではない。しかしながら、バウンディングボックス３２に描画された物体の形状が歩行者の形状と類似しているため、制御部１４は、この物体を歩行者として誤検出している。
【0028】
このように検出装置１０が静止物体を対象物として誤検出した場合であっても、本実施形態では、処理装置２０が後述するように対象物として誤検出された静止物体を特定することができる。
【0029】
図２に示すように、処理装置２０は、通信部２１と、記憶部２２と、制御部２３とを備える。
【0030】
通信部２１は、路面上の移動体と通信可能な少なくとも１つの通信モジュールを含んで構成される。通信モジュールは、例えば、路車間通信の規格に対応した通信モジュールである。通信部２１は、この通信モジュールによって、例えばＩＴＳに割り当てられている７００ＭＨｚ帯において路面上の移動体と無線通信を実行してよい。
【0031】
通信部２１は、通信線を介して検出装置１０と通信可能な少なくとも１つの通信モジュールを含んで構成される。通信モジュールは、通信線の規格に対応した通信モジュールである。通信線の規格は、例えば、有線通信規格又は近距離無線通信規格である。
【0032】
記憶部２２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。半導体メモリは、例えば、ＲＡＭ又はＲＯＭ等である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭ等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ等である。記憶部２２は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部２２には、処理装置２０の動作に用いられるデータと、処理装置２０の動作によって得られたデータとが記憶される。
【0033】
制御部２３は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、例えば、ＣＰＵ若しくはＧＰＵ等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ又はＡＳＩＣ等である。制御部２３は、処理装置２０の各部を制御しながら、処理装置２０の動作に関わる処理を実行する。
【0034】
制御部２３は、検出装置１０から、対象物のオブジェクトＩＤとともに対象物の検出データを、通信部２１によって受信する。制御部２３は、順次受信するこれらのデータによって、同じ物体に対応する対象物をトラッキングする。上述したように、対象物は、歩行者等の移動可能な物体である。制御部２３は、同じ物体に対応する対象物をトラッキングすることにより、物体が対象物として誤検出された静止物体であるか否かを判定する。
【0035】
制御部２３は、同じ物体に対応する対象物をトラッキングすることにより、当該物体の静止時間が時間閾値（第３閾値）以上であると判定した場合、当該物体が対象物として誤検出された静止物体であると判定してよい。物体の静止時間は、物体が静止状態を維持し続けている時間である。時間閾値は、歩行者等の対象物が一時停止する時間に基づいて設定されてよい。時間閾値は、歩行者等の対象物が一時停止する時間以上であってよい。時間閾値は、例えば、３０秒である。物体の静止時間が時間閾値以上である場合、当該物体が静止物体であり、さらに検出装置１０によって対象物として連続的に誤検出され続けている可能性が高い。よって、このような構成により、制御部２３は、精度良く、物体が対象物として誤検出された静止物体であるか否かを判定することができる。
【0036】
制御部２３は、同じ物体に対応する対象物をトラッキングすることにより、例えば、複数の第１周期を含む所定期間において、静止状態の当該物体が検出装置１０によって異なる対象物として回数閾値（所定回数）以上検出されたと判定した場合、当該物体が対象物として誤検出された静止物体であると判定してよい。回数閾値は、静止物体が過去に異なる対象物として誤検出された回数に基づいて設定されてよい。ここで、同じ物体であっても、異なる時刻に生成された複数の赤外線画像のそれぞれにおいて描画されるその形状が異なる場合がある。同じ物体であっても、異なる時刻に生成された複数の赤外線画像のそれぞれにおいて描画されるその形状が異なると、検出装置１０が異なる対象物として検出してしまう場合がある。つまり、同じ静止物体であっても、検出装置１０によって異なる対象物として複数回検出される場合がある。よって、このような構成により、制御部２３は、精度良く、物体が対象物として誤検出された静止物体であるか否かを判定することができる。
【0037】
ここで、上述したように、同じ物体であっても、異なる時刻に生成された複数の赤外線画像のそれぞれにおいて描画されるその形状が異なると、検出装置１０が異なる対象物として検出してしまう場合がある。同じ物体であっても、異なる時刻において、検出装置１０が異なる対象物として検出してしまうと、検出装置１０によって異なるオブジェクトＩＤが付与される。
【0038】
そこで、制御部２３は、異なるオブジェクトＩＤが付与されている対象物であっても、同じ物体に対応する可能性が高い場合、それらを同じ物体とみなしてトラッキングしてよい。制御部２３は、順次受信する対象物のオブジェクトＩＤ及び対象物の検出データによって、対象物のトラッキングデータを生成又は更新していくことにより、対象物をトラッキングしてよい。以下、トラッキングデータを用いた処理について説明する。
【0039】
図４に、トラッキングデータの一例を示す。トラッキングデータには、同じ物体に対応する対象物のデータが物体のデータとして登録される。図４では、リスト番号毎に、物体のデータが登録される。物体のデータは、物体のオブジェクトＩＤ、物体の静止時間、変更前のオブジェクトＩＤ、オブジェクトＩＤの変更回数、最新の受信時刻、物体の位置情報、物体の種類及び路面フラグを含む。
【0040】
物体のオブジェクトＩＤは、物体を一意に識別可能な識別情報である。物体のオブジェクトＩＤは、物体の識別子の一例である。制御部２３は、検出装置１０から順次受信する同じ物体に対応する対象物のオブジェクトＩＤのうち、最新のオブジェクトＩＤを物体のオブジェクトＩＤとして登録する。つまり、物体のオブジェクトＩＤは、その物体に対応する対象物の最新のオブジェクトＩＤとなる。
【0041】
物体の静止時間は、上述したように、物体が静止状態を維持し続けている時間である。トラッキングデータでは、物体の静止時間として、物体のオブジェクトＩＤが最新のオブジェクトＩＤに変更されてから、その物体が静止状態を維持し続けている時間が登録される。トラッキングデータには、後述する処理によって、静止状態とみなせる物体のデータが登録される。したがって、制御部２３は、物体のオブジェクトＩＤが最新のオブジェクトＩＤに変更された時刻から現在時刻までをカウントすることにより、静止時間をカウントする。
【0042】
変更前のオブジェクトＩＤは、物体のオブジェクトＩＤが最新のオブジェクトＩＤに変更される前のオブジェクトＩＤである。
【0043】
オブジェクトＩＤの変更回数は、物体のオブジェクトＩＤが変更された回数である。
【0044】
最新の受信時刻は、検出装置１０から順次受信する同じ物体に対応する対象物の検出データのうちの最新の検出データを処理装置２０が検出装置１０から受信した時刻である。
【0045】
物体の位置情報は、物体の赤外線画像上の位置情報である。制御部２３は、検出装置１０から順次受信する同じ物体に対応する対象物の検出データのうちの最新の検出データに含まれる対象物の位置情報を物体の位置情報として登録する。
【0046】
物体の種類は、歩行者、自転車、自動二輪車、普通自動車及び大型自動車との対象物の種類と、障害物と、路面（例えば、路面の模様）とを含む。障害物は、上述した対象物の種類に含まれない静止物体である。障害物は、例えば、図３に示されるようなガードレールである。制御部２３は、検出装置１０から順次受信する同じ物体に対応する対象物の検出データのうちの最新の検出データに含まれる対象物の種類を物体の種類として登録する。後述するように、トラッキングデータに登録済みの物体が対象物として誤検出された静止物体であると判定されると、この物体の種類は、障害物又は路面に更新される。
【0047】
路面フラグは、物体が路面である可能性が高いか否かを示すフラグである。路面フラグは、「True」又は「False」に設定される。「True」との路面フラグは、物体が路面である可能性が高いことを示す。「False」との路面フラグは、物体が路面である可能性が低いことを示す。路面フラグは、物体のデータをトラッキングデータに登録する際、「False」に設定される。
【0048】
制御部２３は、対象物のオブジェクトＩＤ及び検出データを受信すると、トラッキングデータを生成又は更新する前に、同一判定処理を実行する。
【0049】
＜同一性判定処理＞
同一性判定処理は、処理対象物（第１物体）がトラッキングデータに登録済みの物体（第２物体）の何れかと同じ物体であるか否かを判定する処理である。処理対象物は、検出装置１０から制御部２３がオブジェクトＩＤを受信した対象物である。以下、受信したオブジェクトＩＤは、「処理対象物のオブジェクトＩＤ」とも記載される。本実施形態に係る同一性判定処理は、第１判定処理と、第２判定処理とを含む。まず、制御部２３は、第１判定処理を実行する。
同一性判定処理は、処理対象物（第１物体）がトラッキングデータに登録済みの物体（第２物体）の何れかと同じ物体であるか否かを判定する処理である。処理対象物は、検出装置１０から制御部２３がオブジェクトＩＤを受信した対象物である。以下、受信したオブジェクトＩＤは、「処理対象物のオブジェクトＩＤ」とも記載される。本実施形態に係る同一性判定処理は、第１判定処理と、第２判定処理とを含む。まず、制御部２３は、第１判定処理を実行する。
【0050】
＜＜第１判定処理＞＞
第１判定処理は、受信したオブジェクトＩＤがトラッキングデータに登録済みの物体のオブジェクトＩＤの何れかに一致するか否かを判定する処理である。
第１判定処理は、受信したオブジェクトＩＤがトラッキングデータに登録済みの物体のオブジェクトＩＤの何れかに一致するか否かを判定する処理である。
【0051】
制御部２３は、第１判定処理において受信したオブジェクトＩＤがトラッキングデータに登録済みの物体のオブジェクトＩＤの何れかに一致すると判定した場合、処理対象物がトラッキングデータに登録済みの物体と同じ物体であると判定する。この場合、制御部２３は、同一性判定処理において処理対象物がトラッキングデータに登録済みの物体と同じ物体であると判定する。
【0052】
制御部２３は、第１判定処理において受信したオブジェクトＩＤがトラッキングデータに登録済みの物体のオブジェクトＩＤの何れとも一致しないと判定した場合、第２判定処理を実行する。
【0053】
＜＜第２判定処理＞＞
第２判定処理は、処理対象物とトラッキングデータに登録済みの物体とが同じ物体であるとみなせるか否かを判定する処理である。本実施形態では、制御部２３は、処理対象物から基準範囲（所定の範囲）内にトラッキングデータに登録済みの物体が存在するか否かを判定することにより、第２判定処理を実行する。基準範囲は、第１周期及び対象物の平均速度等に基づいて、設定されてよい。制御部２３は、オブジェクトＩＤとともに受信した対象物の検出データに含まれる対象物の位置情報と、トラッキングデータに登録済みの物体の位置情報とを比較することにより、第２判定処理を実行する。本実施形態では、上述したように、対象物の位置情報は、対象物の赤外線画像上の位置情報である。したがって、基準範囲は、赤外線画像上の範囲として設定されてよい。ただし、対象物の位置情報が対象物の実空間上の位置情報である場合、基準範囲は、実空間上の範囲として設定されてよい。
第２判定処理は、処理対象物とトラッキングデータに登録済みの物体とが同じ物体であるとみなせるか否かを判定する処理である。本実施形態では、制御部２３は、処理対象物から基準範囲（所定の範囲）内にトラッキングデータに登録済みの物体が存在するか否かを判定することにより、第２判定処理を実行する。基準範囲は、第１周期及び対象物の平均速度等に基づいて、設定されてよい。制御部２３は、オブジェクトＩＤとともに受信した対象物の検出データに含まれる対象物の位置情報と、トラッキングデータに登録済みの物体の位置情報とを比較することにより、第２判定処理を実行する。本実施形態では、上述したように、対象物の位置情報は、対象物の赤外線画像上の位置情報である。したがって、基準範囲は、赤外線画像上の範囲として設定されてよい。ただし、対象物の位置情報が対象物の実空間上の位置情報である場合、基準範囲は、実空間上の範囲として設定されてよい。
【0054】
制御部２３は、第２判定処理において処理対象物から基準範囲内に登録済みの物体が存在すると判定した場合、処理対象物と当該登録済みの物体とが同じ物体であるとみなせると判定する。制御部２３は、処理対象物と当該登録済みの物体とが同じ物体であるとみなせると判定した場合、同一性判定処理において処理対象物がトラッキングデータに登録済みの物体と同じであると判定する。
【0055】
制御部２３は、処理対象物から基準範囲内に登録済みの物体が存在しないと判定した場合、処理対象物と同じ物体であるとみなせる登録済みの物体が存在しないと判定する。制御部２３は、処理対象物と同じ物体であるとみなせる登録済みの物体が存在しないと判定した場合、同一性判定処理において処理対象物がトラッキングデータに登録済みの物体の何れとも同じ物体ではないと判定する。
【0056】
ここで、基準範囲は、赤外線画像に対して定められる２次元座標系における互いに異なる２方向のそれぞれにおいて異なる範囲で設定されてよい。例えば、基準範囲は、図５に示すようなｘ軸方向における第１距離範囲と、ｙ軸方向における第２距離範囲とが異なるように、設定されてよい。例えば、第１距離範囲と第２距離範囲とが独立に設定されることにより、第１距離範囲と第２距離範囲とは、結果として異なるように設定される。第１距離範囲と第２距離範囲とは、赤外線画像に描画された構造物又は物体等の構成に応じて、独立に設定されてよい。このような構成により、静止物体ではない処理対象物のデータによってトラッキングデータに登録済みの物体のデータを更新してしまう可能性を低減することができる。例えば、図５に示すような赤外線画像３４には、横断歩道が描画される。歩行者が横断歩道を進む方向は、ｘ軸方向に対応する。図５では、第１距離範囲と第２距離範囲とを独立に設定することにより、第１距離範囲が、第２距離範囲よりも短くなるように設定されてよい。第１距離範囲は、例えば、実空間上の２０ｃｍに対応する赤外線画像上の距離であってよい。このような構成により、例えば、処理対象物が信号待ちをしている歩行者である場合、第２判定処理において、歩行者である処理対象物と、トラッキングデータに登録済みの歩行者ではない物体とが同じ物体であるとみなせると判定される可能性が低減する。結果として、同一性判定処理において、歩行者である処理対象物が、トラッキングデータに登録済みの歩行者ではない物体と同じ物体であると判定される可能性が低減する。これにより、歩行者である処理対象物のデータによって、トラッキングデータに登録済みの歩行者ではない物体のデータを更新してしまう可能性を低減することができる。
【0057】
＜トラッキングデータの生成＞
制御部２３は、同一性判定処理において処理対象物がトラッキングデータに登録済みの物体の何れとも同じ物体ではないと判定した場合、処理対象物の速度が第１閾値を下回るか否かを判定する。第１閾値は、静止状態とみなせる速度であってもよいし、静止状態とみなせる速度に速度の検出誤差を加味したものであってもよい。第１閾値は、後述の第２閾値よりも大きくてよい。
制御部２３は、同一性判定処理において処理対象物がトラッキングデータに登録済みの物体の何れとも同じ物体ではないと判定した場合、処理対象物の速度が第１閾値を下回るか否かを判定する。第１閾値は、静止状態とみなせる速度であってもよいし、静止状態とみなせる速度に速度の検出誤差を加味したものであってもよい。第１閾値は、後述の第２閾値よりも大きくてよい。
【0058】
制御部２３は、処理対象物の速度が第１閾値を下回ると判定した場合、処理対象物をトラッキングデータに新たに登録する。制御部２３は、処理対象物をトラッキングデータに新たに登録することにより、その処理対象物のトラッキングデータを生成する。
【0059】
制御部２３は、処理対象物の速度が第１閾値以上であると判定した場合、処理対象物をトラッキングデータには登録しない。処理対象物の速度が第１閾値以上である場合、処理対象物が誤検出された静止物体である可能性は低い。つまり、処理対象物は、歩行者、自転車、自動二輪車、普通自動車及び大型自動車の何れかである可能性が高い。
【0060】
＜トラッキングデータの更新＞
制御部２３は、同一性判定処理において処理対象物がトラッキングデータに登録済みの物体の何れかと同じ物体であると判定した場合、処理対象物の速度が第２閾値を下回るか否かを判定する。第２閾値は、静止状態とみなせる速度であってよい。第２閾値は、第１閾値よりも小さくてよい。以下、同一性判定処理において処理対象物と同じ物体であると判定されたトラッキングデータに登録済みの物体は、「処理対象物に対応する登録済みの物体」とも記載される。
制御部２３は、同一性判定処理において処理対象物がトラッキングデータに登録済みの物体の何れかと同じ物体であると判定した場合、処理対象物の速度が第２閾値を下回るか否かを判定する。第２閾値は、静止状態とみなせる速度であってよい。第２閾値は、第１閾値よりも小さくてよい。以下、同一性判定処理において処理対象物と同じ物体であると判定されたトラッキングデータに登録済みの物体は、「処理対象物に対応する登録済みの物体」とも記載される。
【0061】
制御部２３は、処理対象物の速度が第２閾値以上であると判定した場合、処理対象物が停止状態から発進した対象物であるか否かを判定する。例えば、歩行者等の対象物は、一時停止した後に発進する場合がある。この場合、対象物が停止状態であるときに、制御部２３が上述したように対象物の速度が第１閾値を下回ると判定し、当該対象物をトラッキングデータに登録してしまう場合がある。そこで、制御部２３は、処理対象物が停止状態から発進した対象物であるか否かを判定する。一例として、制御部２３は、処理対象物のオブジェクトＩＤがトラッキングデータにおいて処理対象物に対応する登録済みの物体のオブジェクトＩＤと一致し、且つ処理対象物の種類が当該登録済みの物体の種類と一致するか否かを判定する。処理対象物の種類は、処理対象物のオブジェクトＩＤとともに受信した対象物の検出データに含まれる対象物の種類である。制御部２３は、処理対象物のオブジェクトＩＤが当該登録済みの物体のオブジェクトＩＤと一致し、且つ処理対象物の種類が当該登録済みの物体の種類と一致すると判定した場合、処理対象物が停止状態から発進した対象物であると判定する。一方、制御部２３は、処理対象物のオブジェクトＩＤが当該登録済みの物体のオブジェクトＩＤと一致し、且つ処理対象物の種類が当該登録済みの物体の種類と一致すると判定しない場合、処理対象物が停止状態から発進した対象物ではないと判定する。
【0062】
制御部２３は、処理対象物が停止状態から発進した対象物であると判定した場合、トラッキングデータから、処理対象物に対応する登録済みの物体のデータを削除する。又は、制御部２３は、後述するトラッキングデータの削除処理において、処理対象物に対応する登録済みの物体のデータを削除してもよい。この場合、制御部２３は、処理対象物に対応する登録済みの物体のデータに、削除フラグを付与してよい。
【0063】
制御部２３は、処理対象物が停止状態から発進した対象物ではない（停止せずに第２閾値以上の移動速度で移動し続けている）と判定した場合、トラッキングデータにおいて処理対象物に対応する登録済みの物体が、誤検出された静止物体であると判定する。本実施形態では、制御部２３は、当該登録済みの物体が路面である可能性が高いと判定する。制御部２３は、トラッキングデータにおいて処理対象物に対応する登録済みの物体の路面フラグをTrueに更新する。このケースは、検出装置１０が路面の模様を対象物として誤検出し、制御部２３が対象物として誤検出された路面の模様をトラッキングデータに物体として登録し、処理対象物が登録済みの物体すなわち路面の模様上を通過した場合であると考えられる。制御部２３は、トラッキングデータにおいて処理対象物に対応する登録済みの物体の種類を路面に更新する。
【0064】
制御部２３は、処理対象物が第２閾値以上の移動速度で移動し続けている場合、登録済みの物体が路面（例えば、路面の模様）であると判定してもよい。制御部２３は、登録済みの物体が路面であると判定した場合、トラッキングデータにおいて処理対象物に対応する登録済みの物体の種類を路面に更新してよい。
【0065】
制御部２３は、処理対象物の速度が第２閾値を下回ると判定した場合すなわち処理対象物が静止状態とみなせると判定した場合、誤検出判定処理を実行する。
【0066】
＜＜誤検出判定処理＞＞
誤検出判定処理は、トラッキングデータに登録済みの物体のデータによって、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体であるか否かを判定する処理である。
誤検出判定処理は、トラッキングデータに登録済みの物体のデータによって、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体であるか否かを判定する処理である。
【0067】
制御部２３は、トラッキングデータから処理対象物に対応する登録済みの物体の静止時間の情報を取得する。制御部２３は、取得した物体の静止時間が時間閾値（第３閾値）以上であるか否かを判定する。
【0068】
制御部２３は、静止時間が時間閾値以上であると判定した場合、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体であると判定する。ここで、路面以外の静止物体は、交通上の障害物となり得る。そこで、制御部２３は、登録済みの物体が対象物として誤検出された静止物体であると判定すると、トラッキングデータの当該登録済みの物体の種類を障害物に更新する。
【0069】
制御部２３は、静止時間が時間閾値を下回ると判定した場合、例えば、複数の第１周期を含む所定期間における、トラッキングデータから処理対象物に対応する登録済みの物体のオブジェクトＩＤの変更回数の情報を取得する。制御部２３は、取得したオブジェクトＩＤの変更回数が回数閾値（所定回数）以上であるか否かを判定する。回数閾値は、上述したように、静止物体が過去に異なる対象物として誤検出された回数に基づいて設定されてよい。つまり、トラッキンググデータを用いる場合、回数閾値は、過去に誤検出された静止物体のオブジェクトＩＤが変更された回数に基づいて設定されてよい。
【0070】
制御部２３は、オブジェクトＩＤの変更回数が回数閾値以上であると判定した場合、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体であると判定する。制御部２３は、登録済みの物体が対象物として誤検出された静止物体であると判定すると、トラッキングデータの処理対象物に対応する登録済みの物体の種類を障害物に更新する。
【0071】
制御部２３は、オブジェクトＩＤの変更回数が回数閾値を下回ると判定した場合、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体ではないと判定する。制御部２３は、検出装置１０から受信した処理対象物の検出データによって、トラッキングデータの処理対象物に対応する登録済みの物体のデータを更新する。例えば、制御部２３は、処理対象物の検出データによって、物体のオブジェクトＩＤ、変更前のオブジェクトＩＤ、オブジェクトＩＤの変更回数、最新の受信時刻、物体の位置情報及び物体の種類の少なくとも何れかを更新する。
【0072】
＜通知データの生成＞
制御部２３は、検出装置１０から受信した対象物のオブジェクトＩＤ及び検出データと、更新後又は生成後のトラッキングデータとに基づいて、周囲の移動体に送信する通知データを生成する。通知データは、例えば、対象物のオブジェクトＩＤ、対象物の種類、対象物の実空間上の位置情報及び対象物の速度情報等を含む。制御部２３は、検出装置１０から受信した対象物の赤外線画像上の位置情報を実空間上の位置情報に変換することにより、対象物の実空間上の位置情報を取得してよい。
制御部２３は、検出装置１０から受信した対象物のオブジェクトＩＤ及び検出データと、更新後又は生成後のトラッキングデータとに基づいて、周囲の移動体に送信する通知データを生成する。通知データは、例えば、対象物のオブジェクトＩＤ、対象物の種類、対象物の実空間上の位置情報及び対象物の速度情報等を含む。制御部２３は、検出装置１０から受信した対象物の赤外線画像上の位置情報を実空間上の位置情報に変換することにより、対象物の実空間上の位置情報を取得してよい。
【0073】
制御部２３は、第２周期毎に、通知データを生成してよい。第２周期は、検出装置１０から処理装置２０へ対象物のオブジェクトＩＤ等が送信される第１周期よりも長くてよい。制御部２３は、第２周期内に検出装置１０から受信した対象物のオブジェクトＩＤ及び検出データによって、通知データを生成してよい。
【0074】
通知データの生成において、制御部２３は、トラッキングデータを参照し、物体の種類が障害物である物体を特定してよい。物体の種類が障害物である物体は、上述したように、対象物として誤検出された静止物体である。制御部２３は、物体の種類が障害物である物体については、通知データにおける対象物の種類を障害物にした上で通知データに含めてよい。通知データにおける対象物の種類を障害物にしておくことにより、通知データを受信した移動体は、障害物の存在を把握することができる。このような構成により、交通上の安全を確保することができる。また、交通安全支援システムにおいて移動可能な物体のみを注視する場合がある。この場合、制御部２３は、物体の種類が障害物である物体については、通知データに含めなくてもよい。このような構成により、処理装置２０と移動体との間の通信量を削減することができる。
【0075】
通知データの生成において、制御部２３は、トラッキングデータを参照し、物体の種類が路面である物体を特定してよい。制御部２３は、物体の種類が路面である物体については、通知データに含めなくてもよい。路面は、交通上の障害物になる可能性が低い。物体の種類が路面である物体を通知データに含めないことにより、処理装置２０と移動体との間の通信量を削減することができる。
【0076】
制御部２３は、生成した通知データを周囲の移動体に通信部２１によって送信する。制御部２３は、トラッキングデータから物体の種類が障害物又は路面である物体のデータを、通知データの生成後に削除してよいし、後述するトラッキングデータの削除処理において削除してもよい。
【0077】
＜トラッキングデータの削除処理＞
制御部２３は、タイマー時間毎に、トラッキングデータの削除処理を実行する。タイマー時間は、記憶部２２の記憶容量に基づいて設定されてよい。
制御部２３は、タイマー時間毎に、トラッキングデータの削除処理を実行する。タイマー時間は、記憶部２２の記憶容量に基づいて設定されてよい。
【0078】
制御部２３は、最新の検出データの受信時刻から現在時刻までの時間が設定時間以上の登録済みの物体のデータをトラッキングデータから削除する。設定時間は、記憶部２２の記憶容量に基づいて設定されてよい。このような構成により、検出装置１０によってある程度の時間検出されない物体のデータをトラッキングデータから削除することができる。このような物体のデータをトラッキングデータから削除することにより、制御部２３がトラッキングデータ内を検索する際の処理負荷を削減することができる。
【0079】
本実施形態では、制御部２３は、タイマー時間毎に、トラッキングデータを参照し、最新の検出データの受信時刻から現在時刻までの時間が設定時間以上の物体が存在するか否かを判定する。制御部２３は、最新の検出データの受信時刻から現在時刻までの時間が設定時間以上の物体が存在すると判定した場合、最新の検出データの受信時刻から現在時刻までの時間が設定時間以上の物体のデータをトラッキングデータから削除する。
【0080】
図６は、観察処理の流れを示すフローチャートである。図６に示す観察処理は、本実施形態に係る観察方法の一例に相当する。検出装置１０が対象物のオブジェクトＩＤとともに対象物の検出データを処理装置２０に送信すると、制御部２３は、ステップＳ１の処理を開始する。
【0081】
制御部２３は、検出装置１０から、対象物のオブジェクトＩＤとともに対象物の検出データを、通信部２１によって受信する（ステップＳ１）。
【0082】
制御部２３は、処理対象物（第１物体）がトラッキングデータに登録済みの物体（第２物体）の何れかと同じ物体であるか否かを判定する（ステップＳ２）。ステップＳ２の処理は、同一性判定処理である。
【0083】
制御部２３は、処理対象物がトラッキングデータに登録済みの物体の何れとも同じ物体ではないと判定した場合（ステップＳ２：ＮＯ）、ステップＳ３の処理に進む。制御部２３は、処理対象物がトラッキングデータに登録済みの物体の何れかと同じ物体であると判定した場合（ステップＳ２：ＹＥＳ）、ステップＳ５の処理に進む。
【0084】
ステップＳ３の処理では、制御部２３は、処理対象物の速度が第１閾値を下回るか否かを判定する。制御部２３は、処理対象物の速度が第１閾値を下回ると判定した場合（ステップＳ３：ＹＥＳ）、処理対象物をトラッキングデータに新たに登録する（ステップＳ４）。制御部２３は、処理対象物の速度が第１閾値以上であると判定した場合（ステップＳ３：ＮＯ）、ステップＳ１４の処理に進む。
【0085】
ステップＳ５の処理では、制御部２３は、処理対象物の速度が第２閾値を下回るか否かを判定する。制御部２３は、処理対象物の速度が第２閾値以上であると判定した場合（ステップＳ５：ＮＯ）、ステップＳ６の処理に進む。制御部２３は、処理対象物の速度が第２閾値を下回ると判定した場合（ステップＳ５：ＹＥＳ）、ステップＳ１１の処理に進む。
【0086】
ステップＳ６の処理では、制御部２３は、処理対象物が停止状態から発進した対象物であるか否かを判定する。制御部２３は、処理対象物が停止状態から発進した対象物であると判定した場合（ステップＳ６：ＹＥＳ）、ステップＳ７の処理に進む。制御部２３は、処理対象物が停止状態から発進した対象物ではないと判定した場合（ステップＳ６：ＮＯ）、ステップＳ８の処理進む。
【0087】
ステップＳ７の処理では、制御部２３は、トラッキングデータから、処理対象物に対応する登録済みの物体のデータを削除する。トラッキングデータから当該登録済みの物体のデータを削除する代わりに、制御部２３は、トラッキングデータにおける処理対象物に対応する登録済みの物体のデータに、削除フラグを付与してもよい。
【0088】
ステップＳ８の処理では、制御部２３は、トラッキングデータにおいて処理対象物に対応する登録済みの物体が、誤検出された静止物体であると判定する。ステップＳ９の処理では、制御部２３は、トラッキングデータにおいて処理対象物に対応する登録済みの物体の路面フラグをTrueに更新する。ステップＳ１０の処理では、制御部２３は、トラッキングデータにおいて処理対象物に対応する登録済みの物体の種類を路面に更新する。
【0089】
ステップＳ１１の処理では、制御部２３は、トラッキングデータに登録済みの物体のデータによって、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体であるか否かを判定する。ステップＳ１１の処理は、誤検出判定処理である。
【0090】
制御部２３は、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体ではないと判定した場合（ステップＳ１１：ＮＯ）、ステップＳ１２の処理に進む。制御部２３は、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体であると判定した場合（ステップＳ１１：ＹＥＳ）、ステップＳ１３の処理に進む。
【0091】
ステップＳ１２の処理では、制御部２３は、検出装置１０から受信した処理対象物の検出データによって、トラッキングデータの処理対象物に対応する登録済みの物体のデータを更新する。
【0092】
ステップＳ１３の処理では、制御部２３は、トラッキングデータの処理対象物に対応する登録済みの物体の種類を障害物に更新する。
【0093】
ステップＳ１４の処理では、制御部２３は、検出装置１０から受信した対象物のオブジェクトＩＤ及び検出データと、更新後又は生成後のトラッキングデータとに基づいて、周囲の移動体に通知する通知データを生成する。制御部２３は、通知データの生成後、トラッキングデータから、物体の種類が障害物又は路面である物体のデータを削除してもよい。制御部２３は、生成した通知データを周囲の移動体に通信部２１によって送信する。
【0094】
図７は、同一性判定処理の流れを示すフローチャートである。図７に示す同一性判定処理は、図６に示すようなステップＳ２の処理に対応する。制御部２３は、図６に示すようなステップＳ１の処理の実行後、ステップＳ２１の処理を開始する。
【0095】
制御部２３は、ステップＳ１の処理で受信したオブジェクトＩＤがトラッキングデータに登録済みの物体のオブジェクトＩＤの何れかに一致するか否かを判定する（ステップＳ２１）。ステップＳ２１の処理は、第１判定処理である。
【0096】
制御部２３は、受信したオブジェクトＩＤがトラッキングデータに登録済みの物体のオブジェクトＩＤの何れかに一致すると判定した場合（ステップＳ２１：ＹＥＳ）、ステップＳ２６の処理に進む。
【0097】
制御部２３は、受信したオブジェクトＩＤがトラッキングデータに登録済みの物体のオブジェクトＩＤの何れとも一致しないと判定した場合（ステップＳ２１：ＮＯ）、ステップＳ２２の処理に進む。
【0098】
ステップＳ２２の処理では、制御部２３は、処理対象物から基準範囲内にトラッキングデータに登録済みの物体が存在するか否かを判定する。ステップＳ２２の処理は、第２判定処理に対応する。
【0099】
制御部２３は、処理対象物から基準範囲内に登録済みの物体が存在しないと判定した場合（ステップＳ２２：ＮＯ）、処理対象物と同じ物体であるとみなせる登録済みの物体が存在しないと判定する（ステップＳ２３）。制御部２３は、処理対象物と同じ物体であるとみなせる登録済みの物体が存在しないと判定した場合、処理対象物がトラッキングデータに登録済みの物体の何れとも同じ物体ではないと判定する（ステップＳ２４）。制御部２３は、ステップＳ２４の処理の実行後、図６に示すようなステップＳ３の処理に進む。
【0100】
制御部２３は、処理対象物から基準範囲内に登録済みの物体が存在すると判定した場合（ステップＳ２２：ＹＥＳ）、ステップＳ２５の処理に進む。ステップＳ２５の処理では、制御部２３は、処理対象物と当該登録済みの物体とが同じ物体であるとみなせると判定する。制御部２３は、ステップＳ２５の処理後、ステップＳ２６の処理に進む。
【0101】
ステップＳ２６の処理では、制御部２３は、処理対象物がトラッキングデータに登録済みの物体と同じ物体であると判定する。制御部２３は、ステップＳ２６の処理の実行後、図６に示すようなステップＳ５の処理に進む。
【0102】
図８は、誤検出判定処理の流れを示すフローチャートである。図８に示す誤検出判定処理は、図６に示すようなステップＳ９の処理に対応する。制御部２３は、図６に示す観察処理において処理対象物の速度が第２閾値を下回ると判定した場合（ステップＳ５：ＹＥＳ）、ステップＳ３１の処理を開始する。
【0103】
制御部２３は、トラッキングデータから処理対象物に対応する登録済みの物体の静止時間の情報を取得する（ステップＳ３１）。制御部２３は、取得した物体の静止時間が時間閾値以上であるか否かを判定する（ステップＳ３２）。
【0104】
制御部２３は、物体の静止時間が時間閾値以上であると判定した場合（ステップＳ３２：ＹＥＳ）、ステップＳ３５の処理に進む。
【0105】
制御部２３は、物体の静止時間が時間閾値を下回ると判定した場合（ステップＳ３２：ＮＯ）、ステップＳ３３の処理に進む。
【0106】
ステップＳ３３の処理では、制御部２３は、トラッキングデータから処理対象物に対応する登録済みの物体のオブジェクトＩＤの変更回数の情報を取得する。制御部２３は、取得したオブジェクトＩＤの変更回数が回数閾値以上であるか否かを判定する（ステップＳ３４）。
【0107】
制御部２３は、オブジェクトＩＤの変更回数が回数閾値以上であると判定した場合（ステップＳ３４：ＹＥＳ）、ステップＳ３５の処理に進む。制御部２３は、オブジェクトＩＤの変更回数が回数閾値を下回ると判定した場合（ステップＳ３４：ＮＯ）、ステップＳ３６の処理に進む。
【0108】
ステップＳ３５の処理では、制御部２３は、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体であると判定する。制御部２３は、ステップＳ３５の処理の実行後、図６に示すようなステップＳ１１の処理に進む。
【0109】
ステップＳ３６の処理では、制御部２３は、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体ではないと判定する。制御部２３は、ステップＳ３６の処理の実行後、図６に示すようなステップＳ１０の処理に進む。
【0110】
【0111】
制御部２３は、ステップＳ４２の処理を前回実行してからタイマー時間が経過したか否かを判定する（ステップＳ４１）。制御部２３は、ステップＳ４２の処理を前回実行してからタイマー時間が経過したと判定した場合（ステップＳ４１：ＹＥＳ）、ステップＳ４２の処理に進む。制御部２３は、ステップＳ４２の処理を前回実行してからタイマー時間が経過したと判定しない場合（ステップＳ４１：ＮＯ）、ステップＳ４１の処理を再度実行する。
【0112】
ステップＳ４２の処理では、制御部２３は、トラッキングデータを参照し、最新の検出データの受信時刻から現在時刻までの時間が設定時間以上の物体が存在するか否かを判定する。制御部２３は、最新の検出データの受信時刻から現在時刻までの時間が設定時間以上の物体が存在すると判定した場合（ステップＳ４２：ＹＥＳ）、ステップＳ４３の処理に進む。制御部２３は、最新の検出データの受信時刻から現在時刻までの時間が設定時間以上の物体が存在しないと判定した場合（ステップＳ４２：ＮＯ）、ステップＳ４１の処理に戻る。
【0113】
ステップＳ４３の処理では、制御部２３は、最新の検出データの受信時刻から現在時刻までの時間が設定時間以上の物体のデータをトラッキングデータから削除する。制御部２３は、ステップＳ４３の処理の実行後、ステップＳ４１の処理に戻る。
【0114】
制御部２３は、ステップＳ４２の処理を前回実行してからタイマー時間が経過したと判定した場合（ステップＳ４１：ＹＥＳ）、ステップＳ４３の処理に進む前に、トラッキングデータを参照し、物体の種類が障害物又は路面である物体を特定してもよい。制御部２３は、物体の種類が障害物又は路面である物体のデータをトラッキングデータから削除してもよい。
【0115】
制御部２３は、ステップＳ４２の処理を前回実行してからタイマー時間が経過したと判定した場合（ステップＳ４１：ＹＥＳ）、ステップＳ４３の処理に進む前に、トラッキングデータに削除フラグが付与された物体のデータが存在するか否かを判定してもよい。制御部２３は、削除フラグが付与された物体のデータが存在すると判定した場合、トラッキングデータから、削除フラグが付与された物体のデータを削除してもよい。
【0116】
このように本実施形態に係る処理装置２０では、制御部２３は、赤外線画像である第１赤外線画像に含まれる第１物体と、第１赤外線画像よりも過去に撮像された赤外線画像である第２赤外線画像に含まれる第２物体に対する検出装置１０の検出結果に基づいて、第１赤外線画像において移動体として検出された第１物体を静止物体と判定する。このような構成により、対象物として誤検出された静止物体を特定することができる。よって、本実施形態では、赤外線画像によって対象物を精度良く検出する技術を提供することができる。
【0117】
さらに、本実施形態では、制御部２３は、同じ物体に対応する対象物をトラッキングすることにより、当該物体が対象物として誤検出された静止物体であるか否かを判定する。物体が対象物として誤検出された静止物体であるか否かを判定することにより、対象物として誤検出された静止物体を特定することができる。このような構成により、本実施形態では、赤外線画像によって対象物を精度良く検出する技術を提供することができる。
【0118】
また、本実施形態では、制御部２３は、同じ物体に対応する対象物のトラッキングデータを生成又は更新することにより、対象物をトラッキングしてもよい。トラッキングデータを利用することにより、効率良く、対象物をトラッキングすることができる。
【0119】
また、本実施形態では、制御部２３は、第１判定処理において受信したオブジェクトＩＤがトラッキングデータに登録済みの物体のオブジェクトＩＤの何れとも一致しないと判定した場合、第２判定処理を実行してもよい。上述したように、同じ物体であっても、検出装置１０によって異なるオブジェクトＩＤが付与される場合がある。つまり、処理対象物とトラッキングデータに登録済みの物体とが同じ物体であっても、第１判定処理において受信した処理対象物のオブジェクトＩＤがトラッキングデータに登録済みの物体のオブジェクトＩＤの何れとも一致しないと判定される場合がある。このような場合、本実施形態では、処理対象物とトラッキングデータに登録済みの物体とが同じ物体であるとみなせるか否かを判定する第２判定処理が実行される。このような構成により、より確実に、同じ物体に対応する対象物をトラッキングすることができる。
【0120】
また、本実施形態では、第２判定処理における基準範囲は、赤外線画像に対して定められる２次元座標系における互いに異なる２方向のそれぞれにおいて異なる範囲で設定されてもよい。このような構成により、上述したように、静止物体ではない処理対象物のデータによってトラッキングデータに登録済みの物体のデータを更新してしまう可能性を低減することができる。
【0121】
また、本実施形態では、制御部２３は、同一性判定処理において処理対象物がトラッキングデータに登録済みの物体の何れかと同じ物体であると判定した場合、処理対象物の速度が第２閾値を下回るか否かを判定してもよい。制御部２３は、処理対象物の速度が第２閾値以上であると判定した場合、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体であると判定してもよい。このケースは、上述したように、検出装置１０が路面の模様を対象物として誤検出し、制御部２３が対象物として誤検出された路面の模様をトラッキングデータに物体として登録し、処理対象物が登録済みの物体すなわち路面の模様上を通過した場合と考えられる。よって、このような構成により、路面の模様が対象物として誤検出された場合であっても、路面の模様が誤検出されたことを検出することができる。
【0122】
また、本実施形態では、制御部２３は、処理対象物の速度が第２閾値以上であると判定した場合、処理対象物が停止状態から発進した対象物であるか否かを判定してよい。制御部２３は、処理対象物が停止状態から発進した対象物ではないと判定した場合、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体であると判定してもよい。上述したように、例えば、歩行者等の対象物は、一時停止した後に発進する場合がある。この場合、対象物が停止状態であるときに、制御部２３が上述したように対象物の速度が第１閾値を下回ると判定し、当該対象物をトラッキングデータに登録してしまう場合がある。制御部２３は、処理対象物が停止状態から発進した対象物であるか否かを判定することにより、より精度良く、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体であると判定することができる。
【0123】
また、本実施形態では、制御部２３は、周囲の移動体に送信する通知データに、路面である可能性が高い登録済みの物体のデータを含めないようにしてもよい。上述したように、路面は、交通上の障害物になる可能性が低い。路面である可能性が高い対象物を通知データに含めないことにより、処理装置２０と移動体との間の通信量を削減することができる。
【0124】
また、本実施形態では、制御部２３は、同一性判定処理において処理対象物がトラッキングデータに登録済みの物体の何れかと同じ物体であると判定した場合、処理対象物の速度が第２閾値を下回るか否かを判定してもよい。制御部２３は、処理対象物の速度が第２閾値を下回ると判定した場合、処理対象物に対応する登録済みの物体の静止時間の情報を取得してもよい。制御部２３は、取得した物体の静止時間が時間閾値以上であると判定した場合、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体であると判定してもよい。処理対象物の速度が第２閾値を下回り、さらに処理対象物に対応する登録済みの物体の静止時間が時間閾値以上である場合、静止物体が連続して対象物として誤検出されている可能性が高い。よって、このような構成により、より精度良く、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体であると判定することができる。
【0125】
また、本実施形態では、制御部２３は、取得した物体の静止時間が時間閾値を下回ると判定した場合、トラッキングデータから処理対象物に対応する登録済みの物体のオブジェクトＩＤの変更回数の情報を取得してもよい。制御部２３は、取得した変更回数が回数閾値以上であると判定した場合、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体であると判定してもよい。上述したように、同じ静止物体であっても、検出装置１０によって異なる対象物として複数回検出される場合がある。よって、このような構成により、より精度良く、処理対象物に対応する登録済みの物体が対象物として誤検出された静止物体であると判定することができる。
【0126】
また、本実施形態では、制御部２３は、トラッキングデータにおける物体の種類が障害物である物体のデータについては、通知データにおける対象物の種類を障害物とした上で、周囲の移動体に送信する通知データに含めてもよい。通知データにおける対象物の種類を障害物にしておくことにより、通知データを受信した移動体は、障害物の存在を把握することができる。このような構成により、交通上の安全を確保することができる。
【0127】
また、本実施形態では、制御部２３は、トラッキングデータにおける物体の種類が障害物である物体のデータについては、通知データに含めなくてもよい。このような構成により、処理装置２０と移動体との間の通信量を削減することができる。
【0128】
また、本実施形態では、制御部２３は、最新の検出データの受信時刻から現在時刻までの時間が設定時間以上の登録済みの物体のデータをトラッキングデータから削除してもよい。このような構成により、検出装置１０によってある程度の時間検出されない物体のデータをトラッキングデータから削除することができる。このような物体のデータをトラッキングデータから削除することにより、制御部２３がトラッキングデータ内を検索する際の処理負荷を削減することができる。
【0129】
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各機能部に含まれる機能等は論理的に矛盾しないように再配置可能である。複数の機能部等は、１つに組み合わせられたり、分割されたりしてよい。上述した本開示に係る各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施され得る。つまり、本開示の内容は、当業者であれば本開示に基づき種々の変形及び修正を行うことができる。したがって、これらの変形及び修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップ等は論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップ等と置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
【0130】
例えば、処理装置２０の制御部２３は、図６に示すようなステップＳ４の処理において処理対象物をトラッキングデータに登録する際、処理対象物の速度を物体の登録時の速度としてトラッキングデータに登録してもよい。
【0131】
例えば、処理装置２０は、検出装置１０の制御部１４を備えてもよい。処理装置２０の制御部２３は、上述した制御部１４の機能を有してもよい。つまり、処理装置２０の制御部２３は、上述した制御部１４が実行する処理と同じ又は類似の処理を実行してもよい。この場合、検出装置１０は、赤外線カメラ１１が生成した赤外線画像のデータを処理装置２０に送信してよい。処理装置２０が備える制御部１４又は制御部２３が、赤外線画像に対して画像認識処理を実行することにより、対象物を検出してよい。
【0132】
一実施形態において、（１）観察システムは、
物体の画像を含む赤外線画像から、前記物体を移動体として検出する検出装置と、
前記赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された前記赤外線画像である第２赤外線画像に含まれる第２物体に対する前記検出装置の検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定する処理装置と、を含む。
物体の画像を含む赤外線画像から、前記物体を移動体として検出する検出装置と、
前記赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された前記赤外線画像である第２赤外線画像に含まれる第２物体に対する前記検出装置の検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定する処理装置と、を含む。
【0133】
（２）上記（１）に記載の観察システムにおいて、
前記処理装置は、前記検出装置が、所定期間に撮像された前記第１赤外線画像及び前記第２赤外線画像を含む複数の赤外線画像のうち、前記第１物体と他の赤外線画像に含まれる物体とが同一の物体ではないと所定回数以上検出した場合に、前記第１物体を静止物体と判定してもよい。
前記処理装置は、前記検出装置が、所定期間に撮像された前記第１赤外線画像及び前記第２赤外線画像を含む複数の赤外線画像のうち、前記第１物体と他の赤外線画像に含まれる物体とが同一の物体ではないと所定回数以上検出した場合に、前記第１物体を静止物体と判定してもよい。
【0134】
（３）上記（１）又は（２）に記載の観察システムにおいて、
前記処理装置は、
物体を一意に特定する識別子と、当該物体の位置情報とを含むデータを前記検出装置から取得し、
前記第１物体の前記識別子と、前記第１赤外線画像よりも過去に撮像された前記第２赤外線画像を含む複数の前記赤外線画像に含まれる前記第２物体の識別子が一致せず、前記第１物体の位置から所定の範囲内の位置に前記第２物体が存在する場合、前記第１物体と前記第２物体とを同じ物体とみなす処理を実行してもよい。
前記処理装置は、
物体を一意に特定する識別子と、当該物体の位置情報とを含むデータを前記検出装置から取得し、
前記第１物体の前記識別子と、前記第１赤外線画像よりも過去に撮像された前記第２赤外線画像を含む複数の前記赤外線画像に含まれる前記第２物体の識別子が一致せず、前記第１物体の位置から所定の範囲内の位置に前記第２物体が存在する場合、前記第１物体と前記第２物体とを同じ物体とみなす処理を実行してもよい。
【0135】
（４）上記（１）から（３）までの何れか１つに記載の観察システムにおいて、
前記処理装置は、前記第１物体の移動速度が第１閾値を下回る場合、前記第１物体を前記第２物体と異なる物体であるとみなす処理を実行してもよい。
前記処理装置は、前記第１物体の移動速度が第１閾値を下回る場合、前記第１物体を前記第２物体と異なる物体であるとみなす処理を実行してもよい。
【0136】
（５）上記（１）から（４）までの何れか１つに記載の観察システムにおいて、
前記処理装置は、
前記第２物体と同じ物体とみなす処理が実行された前記第１物体が、第２閾値以上の移動速度で移動し続けている場合、前記第２物体が路面の模様であると判定してもよい。
前記処理装置は、
前記第２物体と同じ物体とみなす処理が実行された前記第１物体が、第２閾値以上の移動速度で移動し続けている場合、前記第２物体が路面の模様であると判定してもよい。
【0137】
（６）上記（１）から（５）までの何れか１つに記載の観察システムにおいて、
前記処理装置は、
物体を一意に特定する識別子を含むデータを前記検出装置から取得し、
前記第２物体の静止時間が第３閾値以上である場合、又は、前記第２物体と同じ物体とみなす処理が実行された前記第１物体の識別子が前記第２赤外線画像を含む複数の赤外線画像に含まれる物体の識別子と所定回数以上異なる場合、前記第２物体が障害物であると判定してもよい。
前記処理装置は、
物体を一意に特定する識別子を含むデータを前記検出装置から取得し、
前記第２物体の静止時間が第３閾値以上である場合、又は、前記第２物体と同じ物体とみなす処理が実行された前記第１物体の識別子が前記第２赤外線画像を含む複数の赤外線画像に含まれる物体の識別子と所定回数以上異なる場合、前記第２物体が障害物であると判定してもよい。
【0138】
一実施形態において、（７）処理装置は、
赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された赤外線画像である第２赤外線画像に含まれる第２物体に対する検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定する制御部を備える。
赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された赤外線画像である第２赤外線画像に含まれる第２物体に対する検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定する制御部を備える。
【0139】
一実施形態において、（８）観察方法は、
物体の画像を含む赤外線画像から、前記物体を移動体として検出することと、
前記赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された前記赤外線画像である第２赤外線画像に含まれる第２物体に対する検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定することと、を含む。
物体の画像を含む赤外線画像から、前記物体を移動体として検出することと、
前記赤外線画像である第１赤外線画像に含まれる第１物体と、前記第１赤外線画像よりも過去に撮像された前記赤外線画像である第２赤外線画像に含まれる第２物体に対する検出結果に基づいて、前記第１赤外線画像において移動体として検出された前記第１物体を静止物体と判定することと、を含む。
【符号の説明】
【0140】
１ 観察システム
１０ 検出装置
１１ 赤外線カメラ
１２ 通信部
１３ 記憶部
１４ 制御部
２０ 処理装置
２１ 通信部
２２ 記憶部
２３ 制御部
３０，３４ 赤外線画像
３１，３２，３３ バウンディングボックス
１０ 検出装置
１１ 赤外線カメラ
１２ 通信部
１３ 記憶部
１４ 制御部
２０ 処理装置
２１ 通信部
２２ 記憶部
２３ 制御部
３０，３４ 赤外線画像
３１，３２，３３ バウンディングボックス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】