特許 7375806 画像処理装置、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-30

(45)【発行日】2023-11-08

(54)【発明の名称】画像処理装置、及び画像処理方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20231031BHJP

   G06T 7/292 20170101ALI20231031BHJP

   G01S 17/89 20200101ALI20231031BHJP

   G01S 17/86 20200101ALI20231031BHJP

【ＦＩ】

G06T7/70

G06T7/292

G01S17/89

G01S17/86

【請求項の数】 12

(21)【出願番号】P 2021501857

(86)(22)【出願日】2020-02-07

(86)【国際出願番号】 JP2020004719

(87)【国際公開番号】W WO2020175085

(87)【国際公開日】2020-09-03

【審査請求日】2022-09-27

(31)【優先権主張番号】P 2019032921

(32)【優先日】2019-02-26

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】村松 俊之

【審査官】片岡 利延

(56)【参考文献】

【文献】国際公開第２０１９／００３６８８（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１１／０２１１７５４（ＵＳ，Ａ１）

【文献】特開２０１７－１４６９５７（ＪＰ，Ａ）

【文献】特開２０１９－０１６０９８（ＪＰ，Ａ）

【文献】Rafael Munoz-Salinas et al.，People Detection and Tracking using Stereo Vision and Color，[online]，2005年04月，http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.104.7232&rep=rep1&type=pdf

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／２９２

Ｇ０１Ｓ １７／８９

Ｇ０１Ｓ １７／８６

(57)【特許請求の範囲】

【請求項1】

所定領域を監視するレーザーレーダーから距離画像の画像データを取得する第１画像取得部と、
前記所定領域を監視するカメラからカメラ画像の画像データを取得する第２画像取得部と、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第１トラッキング情報を生成する第１解析部と、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第２トラッキング情報を生成する第２解析部と、
前記第１トラッキング情報と前記第２トラッキング情報とを時間軸を揃えて比較し、前記第１トラッキング情報と前記第２トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定するデータ比較処理部と、を備え、
前記データ比較処理部は、前記所定領域に存在する動体が所定の状況に該当する場合、前記第１トラッキング情報と前記第２トラッキング情報とに基づいて、前記所定領域に存在する動体の識別情報及び位置を確定し、前記所定の状況に該当しない場合、前記第２トラッキング情報を参照することなく前記第１トラッキング情報に基づいて、前記所定領域に存在する動体の識別情報及び位置を確定する、
画像処理装置。

【請求項2】

前記所定の状況は、前記第１トラッキング情報において、同一のタイミングで、一つの識別情報が消滅すると共に、新たに別個の識別情報が生成されている状況を含む、
請求項１に記載の画像処理装置。

【請求項3】

前記所定の状況は、前記第１トラッキング情報において、一の動体が他の動体と交差している状況を含む、
請求項１又は２に記載の画像処理装置。

【請求項4】

前記所定の状況は、前記第１トラッキング情報において、一の動体が、一旦、前記距離画像内から消えた後に、再度、同一の識別情報の動体として出現している状況を含む、
請求項１乃至３のいずれか一項に記載の画像処理装置。

【請求項5】

所定領域を監視するレーザーレーダーから距離画像の画像データを取得する第１画像取得部と、
前記所定領域を監視するカメラからカメラ画像の画像データを取得する第２画像取得部と、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第１トラッキング情報を生成する第１解析部と、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第２トラッキング情報を生成する第２解析部と、
前記第１トラッキング情報と前記第２トラッキング情報とを時間軸を揃えて比較し、前記第１トラッキング情報と前記第２トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定するデータ比較処理部と、を備え、
前記データ比較処理部は、前記レーザーレーダーの視野情報及び前記カメラの視野情報を参照するとともに、前記第１トラッキング情報に含まれる動体の位置と前記第２トラッキング情報に含まれる動体の位置との近接度合い又は大きさの情報に基づいて、前記第１トラッキング情報に含まれる動体と前記第２トラッキング情報に含まれる動体との対応関係を特定して、前記所定領域に存在する動体の識別情報及び位置を確定する、
画像処理装置。

【請求項6】

前記データ比較処理部は、前記第２トラッキング情報に基づいて、前記第１トラッキング情報に含まれる動体の識別情報を補正する、
請求項１乃至５のいずれか一項に記載の画像処理装置。

【請求項7】

前記第１解析部及び／又は前記第２解析部は、機械学習により学習済みの識別器モデルを用いて、前記所定領域に存在する動体の位置をトラッキングする、
請求項１乃至６のいずれか一項に記載の画像処理装置。

【請求項8】

前記カメラは、可視カメラである、
請求項１乃至７のいずれか一項に記載の画像処理装置。

【請求項9】

前記カメラは、サーマルカメラである、
請求項１乃至８のいずれか一項に記載の画像処理装置。

【請求項10】

前記カメラは、可視カメラとサーマルカメラとを含む、
請求項１乃至９のいずれか一項に記載の画像処理装置。

【請求項11】

所定領域を監視するレーザーレーダーから距離画像の画像データを取得し、
前記所定領域を監視するカメラからカメラ画像の画像データを取得し、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第１トラッキング情報を生成し、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第２トラッキング情報を生成し、
前記第１トラッキング情報と前記第２トラッキング情報とを時間軸を揃えて比較し、前記第１トラッキング情報と前記第２トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定し、
前記所定領域に存在する動体の識別情報及び位置を確定する工程では、前記所定領域に存在する動体が所定の状況に該当する場合、前記第１トラッキング情報と前記第２トラッキング情報とに基づいて、前記所定領域に存在する動体の識別情報及び位置を確定し、前記所定の状況に該当しない場合、前記第２トラッキング情報を参照することなく前記第１トラッキング情報に基づいて、前記所定領域に存在する動体の識別情報及び位置を確定する、
画像処理方法。

【請求項12】

所定領域を監視するレーザーレーダーから距離画像の画像データを取得し、
前記所定領域を監視するカメラからカメラ画像の画像データを取得し、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第１トラッキング情報を生成し、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第２トラッキング情報を生成し、
前記第１トラッキング情報と前記第２トラッキング情報とを時間軸を揃えて比較し、前記第１トラッキング情報と前記第２トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定し、
前記所定領域に存在する動体の識別情報及び位置を確定する工程では、前記レーザーレーダーの視野情報及び前記カメラの視野情報を参照するとともに、前記第１トラッキング情報に含まれる動体の位置と前記第２トラッキング情報に含まれる動体の位置との近接度合い又は大きさの情報に基づいて、前記第１トラッキング情報に含まれる動体と前記第２トラッキング情報に含まれる動体との対応関係を特定して、前記所定領域に存在する動体の識別情報及び位置を確定する、
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、及び画像処理方法に関する。

【背景技術】

【0002】

カメラ等で撮影された画像に基づいて、撮像領域内に存在する物体の位置を検出する画像処理装置が知られている。この種の画像処理装置は、特に、工事現場や工場などの業務環境において、人や作業機（以下、「動体」と総称する）の位置を正確に把握し、当該動体の行動又は動作を解析したり、当該動体の行動又は動作を予測する用途（以下、「行動解析」と総称する）への適用が期待されている。

【0003】

動体の位置を把握するための技術には様々なものがあるが、特に工事現場などの粉塵や電磁波の反響が激しい環境においては、レーザーレーダー（Light Detection And Ranging:LiDARとも称される）のような光の反射を用いた位置測定が有効である。

【0004】

図１は、レーザーレーダーに生成された距離画像の一例を示す図である。

【0005】

一般に、レーザーレーダーは、レーザ光を打ち出し、当該レーザ光が物体に反射して戻ってくるまでの時間（TOF：Time of Flight）を測定することで、自身の位置から物体の位置までの距離を求める。そして、レーザーレーダーは、かかる処理を、監視対象領域が映り込む所定範囲内を走査しながら行うことにより、距離画像に係る画像データを生成する。かかる距離画像は、動体の各部の三次元位置の情報を含むため、当該動体の姿勢や動作を認識する上で有用である。

【0006】

特許文献１には、レーザーレーダーを利用して周辺環境を測定し、点群化した測距点をクラスタリングして解析することで動体を認識し、これにより、当該動体の位置を把握しようとする技術が開示されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１４－１６７７０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところで、この種の画像処理装置において、動体の行動を解析するためには、時系列に並んだ複数の画像（フレーム）内において、同一物体を認識し続ける必要がある。即ち、この種の画像処理装置においては、動画像内に映る動体のトラッキングの精度を高める要請がある。

【0009】

この点、特許文献１は、レーザーレーダーの測定結果のみを用いて、物体認識を行うものであるため、物体認識の精度の向上には限界がある。特に、レーザーレーダーにより生成される距離画像は、一般的なカメラにより生成されるカメラ画像と比較して、水平方向及び垂直方向の分解能が低く、加えて撮像対象の物体の色彩の情報等を含まない。そのため、例えば、レーザーレーダーで監視する監視対象領域内に、身体的特徴が類似した人が複数存在する場合、レーザーレーダーにより生成される距離画像からは、複数の人それぞれを正しくトラッキングすることが困難である。

【0010】

本開示は、上記問題点に鑑みてなされたもので、レーザーレーダーを用いた動体トラッキングの精度を向上し得る画像処理装置及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

前述した課題を解決する主たる本開示に係る画像処理装置は、
所定領域を監視するレーザーレーダーから距離画像の画像データを取得する第１画像取得部と、
前記所定領域を監視するカメラからカメラ画像の画像データを取得する第２画像取得部と、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第１トラッキング情報を生成する第１解析部と、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第２トラッキング情報を生成する第２解析部と、
前記第１トラッキング情報と前記第２トラッキング情報とを時間軸を揃えて比較し、前記第１トラッキング情報と前記第２トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定するデータ比較処理部と、を備え、
前記データ比較処理部は、前記所定領域に存在する動体が所定の状況に該当する場合、前記第１トラッキング情報と前記第２トラッキング情報とに基づいて、前記所定領域に存在する動体の識別情報及び位置を確定し、前記所定の状況に該当しない場合、前記第２トラッキング情報を参照することなく前記第１トラッキング情報に基づいて、前記所定領域に存在する動体の識別情報及び位置を確定する。
また、本開示に係る画像処理装置は、
所定領域を監視するレーザーレーダーから距離画像の画像データを取得する第１画像取得部と、
前記所定領域を監視するカメラからカメラ画像の画像データを取得する第２画像取得部と、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第１トラッキング情報を生成する第１解析部と、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第２トラッキング情報を生成する第２解析部と、
前記第１トラッキング情報と前記第２トラッキング情報とを時間軸を揃えて比較し、前記第１トラッキング情報と前記第２トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定するデータ比較処理部と、を備え、
前記データ比較処理部は、前記レーザーレーダーの視野情報及び前記カメラの視野情報を参照するとともに、前記第１トラッキング情報に含まれる動体の位置と前記第２トラッキング情報に含まれる動体の位置との近接度合い又は大きさの情報に基づいて、前記第１トラッキング情報に含まれる動体と前記第２トラッキング情報に含まれる動体との対応関係を特定して、前記所定領域に存在する動体の識別情報及び位置を確定する。

【0012】

本開示に係る画像処理方法は、
所定領域を監視するレーザーレーダーから距離画像の画像データを取得し、
前記所定領域を監視するカメラからカメラ画像の画像データを取得し、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第１トラッキング情報を生成し、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第２トラッキング情報を生成し、
前記第１トラッキング情報と前記第２トラッキング情報とを時間軸を揃えて比較し、前記第１トラッキング情報と前記第２トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定し、
前記所定領域に存在する動体の識別情報及び位置を確定する工程では、前記所定領域に存在する動体が所定の状況に該当する場合、前記第１トラッキング情報と前記第２トラッキング情報とに基づいて、前記所定領域に存在する動体の識別情報及び位置を確定し、前記所定の状況に該当しない場合、前記第２トラッキング情報を参照することなく前記第１トラッキング情報に基づいて、前記所定領域に存在する動体の識別情報及び位置を確定する。
また、本開示に係る画像処理方法は、
所定領域を監視するレーザーレーダーから距離画像の画像データを取得し、
前記所定領域を監視するカメラからカメラ画像の画像データを取得し、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第１トラッキング情報を生成し、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第２トラッキング情報を生成し、
前記第１トラッキング情報と前記第２トラッキング情報とを時間軸を揃えて比較し、前記第１トラッキング情報と前記第２トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定し、
前記所定領域に存在する動体の識別情報及び位置を確定する工程では、前記レーザーレーダーの視野情報及び前記カメラの視野情報を参照するとともに、前記第１トラッキング情報に含まれる動体の位置と前記第２トラッキング情報に含まれる動体の位置との近接度合い又は大きさの情報に基づいて、前記第１トラッキング情報に含まれる動体と前記第２トラッキング情報に含まれる動体との対応関係を特定して、前記所定領域に存在する動体の識別情報及び位置を確定する。

【発明の効果】

【0013】

本開示に係る画像処理装置によれば、レーザーレーダーを用いた動体トラッキングの精度を向上させることが可能である。

【図面の簡単な説明】

【0014】

【図1】レーザーレーダーに生成された距離画像の一例を示す図

【図2】第１の実施形態に係る監視システムの一例を示す図

【図3】第１の実施形態に係る画像処理装置のハードウェア構成を示す図

【図4】第１の実施形態に係る画像処理装置の機能ブロックを示す図

【図5A】第１解析部により生成されるトラッキング情報の一例を示す図

【図5B】第２解析部により生成されるトラッキング情報の一例を示す図

【図6】データ比較処理部の処理を模式的に説明する図

【図7】レーザーレーダーの視野及びカメラの視野を示す図

【図8】第１の実施形態に係る画像処理装置（データ比較処理部）が確定トラッキング情報を生成する際に実行する処理を示すフローチャート

【図9】第２の実施形態に係る画像処理装置の構成を示す図

【図10】第３の実施形態に係る画像処理装置の構成を示す図

【発明を実施するための形態】

【0015】

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0016】

（第１の実施形態）
［監視システムの全体構成］
以下、図２～図４を参照して、一実施形態に係る監視システムの構成、及び監視システムに適用した画像処理装置の構成の概要について説明する。

【0017】

図２は、本実施形態に係る監視システムＵの一例を示す図である。本実施形態に係る監視システムＵは、工事現場内に存在する動体（ここでは、人Ｍ１、作業機Ｍ２、作業機Ｍ３）をトラッキングする用途に適用されている。

【0018】

本実施形態に係る監視システムＵは、画像処理装置１００、レーザーレーダー２００、及び、カメラ３００を備えている。

【0019】

レーザーレーダー２００は、例えば、レーザ光を打ち出し、当該レーザ光が物体に反射して戻ってくるまでの時間（TOF：Time of Flight）を測定することで、自身の位置から物体の位置までの距離を求める。レーザーレーダー２００は、かかる処理を、監視対象領域が映る所定範囲内を走査しながら行うことにより、距離画像に係る画像データ（以下、「距離画像」と略称する）を生成する。尚、レーザーレーダー２００は、フレーム単位の距離画像を連続的に生成し、時系列に並んだ距離画像（即ち、動画像）を画像処理装置１００に対して出力する。

【0020】

距離画像は、各走査位置を画素として、画素毎に、レーザーレーダー２００の測定データ（例えば、距離及び反射強度）が画素値として対応付けられた画像である（点群データとも称される）。距離画像は、監視対象領域内における物体の３次元（例えば、水平方向、鉛直方向、及び奥行方向）の位置を示すものであり、例えば、物体の存在位置を３次元の直交座標系（Ｘ、Ｙ、Ｚ）で表す。

【0021】

カメラ３００は、例えば、一般的な可視カメラであり、自身の有する撮像素子（ＣＭＯＳセンサ又はＣＣＤセンサ）が生成した画像信号をＡＤ変換して、画像データ（以下、「カメラ画像」と称する）を生成する。尚、カメラ３００は、フレーム単位のカメラ画像を連続的に生成して、時系列に並んだカメラ画像（即ち、動画像）を画像処理装置１００に対して出力する。

【0022】

カメラ画像は、例えば、画素毎に、ＲＧＢそれぞれについての輝度値（例えば、ＲＧＢそれぞれについての２５６階調の輝度値）が画素値として対応付けられた画像である。

【0023】

尚、レーザーレーダー２００及びカメラ３００は、同一の監視対象領域を撮像するように、当該監視対象領域付近の適宜な位置に設置されている。

【0024】

画像処理装置１００は、レーザーレーダー２００で生成された距離画像の画像データ、及び、カメラ３００で生成されたカメラ画像の画像データに基づいて、監視対象領域内に存在する動体（図２では、人Ｍ１、作業機Ｍ２、作業機Ｍ３）の動きをトラッキングし、そのトラッキング結果を出力する。

【0025】

図３は、本実施形態に係る画像処理装置１００のハードウェア構成を示す図である。

【0026】

画像処理装置１００は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置（例えば、フラッシュメモリ）１０４、及び、通信インタフェイス１０５等を備えたコンピュータである。

【0027】

画像処理装置１００の後述する各機能は、例えば、ＣＰＵ１０１がＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４等に記憶された制御プログラム（例えば、画像処理プログラム）や各種データを参照することによって実現される。但し、各機能の一部又は全部は、ＣＰＵによる処理に代えて、又は、これと共に、ＤＳＰ（Digital Signal Processor）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に代えて、又は、これと共に、専用のハードウェア回路（例えば、ＡＳＩＣ又はＦＰＧＡ）による処理によって実現されてもよい。

【0028】

［画像処理装置の構成］
図４は、本実施形態に係る画像処理装置１００の機能ブロックを示す図である。尚、図４中の矢印は、データの流れを表す。

【0029】

図５Ａは、第１解析部３０により生成されるトラッキング情報Ｄ１（以下、「第１トラッキング情報」と称する）の一例を示す図であり、図５Ｂは、第２解析部４０により生成されるトラッキング情報Ｄ２（以下、「第２トラッキング情報」と称する）の一例を示す図である。尚、図５Ａ、図５Ｂは、各クレームにおける動体の位置を示しており、ＩＤ（本発明の「識別情報」に相当する）は各動体の識別番号を表し、ｔ＝０、ｔ＝１、ｔ＝２…はフレーム番号を表す。

【0030】

図６は、データ比較処理部５０の処理を説明する図である。図６は、第１解析部３０により生成される第１トラッキング情報Ｄ１（左図）、及び、第２解析部４０により生成される第２トラッキング情報Ｄ２（右図）の一例を示している。尚、図６の第１トラッキング情報Ｄ１（左図）及び第２トラッキング情報Ｄ２（右図）は、同一の時間帯に生成されたものである。

【0031】

画像処理装置１００は、第１画像取得部１０、第２画像取得部２０、第１解析部３０、第２解析部４０、データ比較処理部５０、及び、データ出力部６０を備えている。

【0032】

第１画像取得部１０は、レーザーレーダー２００が生成した距離画像の画像データを取得する。尚、第１画像取得部１０は、レーザーレーダー２００から、時系列に並んだ距離画像を順次取得する。

【0033】

第２画像取得部２０は、カメラ３００が生成したカメラ画像の画像データを取得する。尚、第２画像取得部２０は、カメラ３００から、時系列に並んだカメラ画像を順次取得する。

【0034】

第１解析部３０は、時系列に並んだ距離画像に基づいて、監視対象領域に存在する動体の位置をトラッキングし、その結果を第１トラッキング情報Ｄ１として出力する。

【0035】

具体的には、第１解析部３０は、時系列に並んだ距離画像の各フレームに映る動体を検出し、動体毎に、ＩＤを付与すると共に、及びその動体が存在する位置を、ＩＤと関連付けて記憶する。第１解析部３０は、例えば、注目フレームで検出された動体とその前フレームで検出された動体との関連度を算出し、当該関連度に基づいて、注目フレームで検出された動体と前フレームで検出された動体との同一性を判定する。そして、この際、第１解析部３０は、注目フレームで検出された動体と前フレームで検出された動体とが同一である場合には、注目フレームで検出された動体に対して、前フレームで検出された動体と同一のＩＤを付与し、注目フレームで検出された動体と前フレームで検出された動体とが同一でない場合には、注目フレームで検出された動体に対して、新規なＩＤを付与する。このようにして、第１解析部３０は、各フレームに映る動体を、各別に、トラッキングする。

【0036】

第１解析部３０は、本実施形態では、人や作業機等、一体的な動体毎に、ＩＤを付与すると共に、その存在位置を特定する。但し、第１解析部３０は、人の腕、頭、又は脚等、一つの個体の各部位を各別の動体として認識し、当該個体の部位毎の位置を認識するものであってもよい。

【0037】

尚、第１解析部３０が距離画像中から動体を検出する手法は、公知の任意の手法であってよい。第１解析部３０は、例えば、注目フレームと前フレームとの差分を取ることによって、動体を検出してもよい。又、第１解析部３０は、例えば、距離画像中の測距点のクラスタの特徴量（例えば、形状及びサイズ等）に基づいて、パターンマッチングにより、動体（例えば、人や車）を検出してもよい。

【0038】

又、第１解析部３０が異なるフレーム間で各動体の同一性を判定する手法は、公知の任意の手法であってよい。尚、第１解析部３０は、例えば、注目フレームで検出された動体と前フレームで検出された動体との間の距離、両者の間のサイズの類似性、両者の間の形状の類似性、両者の間の色の類似性、及び、両者の間の移動速度の類似性等に基づいて、両者の間の関連度を算出する。そして、第１解析部３０は、当該関連が所定値以上の場合、注目フレームで検出された動体と前フレームで検出された動体とが同一であると判定する。

【0039】

但し、より好適には、第１解析部３０は、機械学習により学習済みの識別器モデルを用いて、距離画像中から動体を検出したり、第１解析部３０が異なるフレーム間で各動体の同一性を判定する。これにより、動体の見え方の変化に対する、動体検出のロバスト性や動体の同一性判定のロバスト性を高めることが可能である。例えば、第１解析部３０が距離画像中から動体を検出する際には、畳み込みニュートラルネットワーク（Convolutional Neural Network：ＣＮＮ）を用いるのが好適である。又、第１解析部３０が異なるフレーム間で各動体の同一性を判定する際には、例えば、隠れマルコフモデル（Hidden Markov Model：ＨＭＭ）を用いるのが好適である。その際、識別器モデルに対しては、入力画像と正解値とが関連付けられて構成された学習データを用いた強化学習により、機械学習を実行すればよい。

【0040】

第１トラッキング情報Ｄ１は、例えば、時系列に並んだ距離画像の各フレームにおける動体の位置（ここでは、三次元の座標位置）を示すデータである（図５Ａを参照）。第１トラッキング情報Ｄ１は、例えば、動体毎に、ＩＤと当該動体の位置の時間的変化に係る情報を含む。即ち、第１トラッキング情報Ｄ１は、各フレームに映る同一の動体には、一つのＩＤのみを付与して、当該動体を識別している。そして、監視対象領域内に複数の動体が存在する場合には、第１トラッキング情報Ｄ１は、複数の動体それぞれに個別のＩＤを付与して、当該動体の位置の時間的変化を関連付けて記録する。

【0041】

第２解析部４０は、時系列に並んだカメラ画像に基づいて、監視対象領域に存在する動体の位置をトラッキングし、その結果を第２トラッキング情報Ｄ２として出力する。

【0042】

第２解析部４０がカメラ画像中から動体を検出する手法、及び異なるフレーム間で各動体を同定する手法は、第１解析部３０と同様に、公知の任意の手法を用いることができる。尚、第２解析部４０は、これらの処理の際に、第１解析部３０と同様に、学習済みの識別器モデルを用いるのが望ましい。

【0043】

第２トラッキング情報Ｄ２は、例えば、時系列に並んだカメラ画像の各フレームにおける動体の位置（ここでは、二次元の座標位置）を示すデータである（図５Ｂを参照）。第２トラッキング情報Ｄ２には、第１トラッキング情報Ｄ１と同様に、動体毎に、ＩＤと当該動体の位置の時間的変化とが関連付けて記録されている。

【0044】

データ比較処理部５０は、第１トラッキング情報Ｄ１と第２トラッキング情報Ｄ２とを時間軸を揃えて比較し、第１トラッキング情報Ｄ１と第２トラッキング情報Ｄ２とに基づいて監視対象領域に存在する動体の位置及びＩＤを確定して、その結果を確定トラッキング情報Ｄ３として出力する。

【0045】

図６の左図は、第１解析部３０における動体の識別処理に誤りが生じ、同一の動体（ここでは、人）に対して付与するＩＤが、途中で変更された態様（ＩＤ：Ｍ１１⇒ＩＤ：Ｍ１２）を表している。一方、図６の右図は、第２解析部４０が同一の動体（ここでは、人）のＩＤを正確に捉えている態様を表している。

【0046】

一般に、距離画像からは、水平方向と垂直方向の座標に加えて、奥行方向の座標について動体の位置を特定することが可能である。そのため、距離画像に基づいて動体の各部の位置を特定することは、当該動体の姿勢や当該動体の行動を正確に特定する上で、有用である。

【0047】

しかしながら、距離画像は、カメラ画像と異なり、分解能が低く、且つ、色情報を含まないため、距離画像からは、異なるフレーム間での動体の同定が困難な場合がある。特に、動体のトラッキングを行う際に、当該動体が、他の動体と交差したり、姿勢を変化させたりしたときに、当該動体が前の時点で検出されていた動体と同一のものか否かを同定することができないおそれがある。

【0048】

一方、カメラ画像は、分解能が高く、且つ、色情報を含むため、異なるフレーム間での動体の同定をより正確に行うことが可能である。

【0049】

そこで、データ比較処理部５０は、第２トラッキング情報Ｄ２を用いて第１トラッキング情報Ｄ１に含まれる動体のＩＤの正誤判定を行う。そして、データ比較処理部５０は、第１トラッキング情報Ｄ１に含まれる動体のＩＤの変化が、第２トラッキング情報Ｄ２に含まれる動体のＩＤの変化と異なる場合には、第１トラッキング情報Ｄ１に含まれる動体のＩＤの変化に誤りがあるとみなして、第１トラッキング情報Ｄ１に含まれる動体のＩＤを、第２トラッキング情報Ｄ２に含まれる動体のＩＤに補正して、補正後の第１トラッキング情報Ｄ１を確定トラッキング情報Ｄ３として出力する。

【0050】

データ比較処理部５０が第１トラッキング情報Ｄ１に含まれる動体と第２トラッキング情報Ｄ２に含まれる動体との対応関係を特定する手法としては、典型的には、第１トラッキング情報Ｄ１に含まれる動体の位置と第２トラッキング情報Ｄ２に含まれる動体の位置との近接度合い（例えば、両者の距離又は両者の重複する領域）を算出する手法を用いる。尚、データ比較処理部５０にて当該処理を実行し得るように、第１トラッキング情報Ｄ１が示す座標位置と第２トラッキング情報Ｄ２が示す座標位置との対応関係を示すデータを、予め画像処理装置１００のＲＯＭ１０２等に記憶しておくのが望ましい。

【0051】

但し、データ比較処理部５０は、レーザーレーダー２００の視野情報とカメラ３００の視野情報とを参照して、両者の視野の相違を考慮した上で、第１トラッキング情報Ｄ１に含まれる動体と第２トラッキング情報Ｄ２に含まれる動体との対応関係を特定するのが望ましい。

【0052】

図７は、レーザーレーダー２００の視野及びカメラ３００の視野を示す図である。レーザーレーダー２００の視野Ｒ１は、一般に、カメラ３００の視野Ｒ２に比べて垂直方向の撮像範囲が狭い。そのため、距離画像内に映る動体は、カメラ画像内に映る動体とは異なって、動体の全部が距離画像内に映っていない可能性がある。例えば、カメラ画像内には、人の全身が映っている一方、距離画像内には、人の上半身のみが映っている可能性がある。従って、データ比較処理部５０は、例えば、距離画像内に映る動体とカメラ画像内に映る動体との間における形状の相違を考慮し、第１トラッキング情報Ｄ１に含まれる動体と第２トラッキング情報Ｄ２に含まれる動体との対応関係を特定するのが望ましい。データ比較処理部５０は、例えば、レーザーレーダー２００において縦画角に完全に見切れている物体の場合はそれ以上に縦に大きなものが同一物体の条件となり、レーザーレーダー２００の縦画角内に物体が完全に収まっているようならそれよりも大きな物体は距離的に近似であっても別物体の可能性が高い、と判断できる。これによって、物体判別の正確性を向上させることができる。

【0053】

他方、データ比較処理部５０は、処理負荷を軽減する観点から、より好適には、第１トラッキング情報Ｄ１を参照して、以下の第１状況乃至第３状況のいずれかが発生しているか否かを判定して、第１状況乃至第３状況のいずれかが発生している場合に限って、第２トラッキング情報Ｄ２を参照するのが望ましい。換言すると、データ比較処理部５０は、第１状況乃至第３状況のいずれも発生していない場合には、第２トラッキング情報Ｄ２を参照することなく、第１トラッキング情報Ｄ１をそのまま確定トラッキング情報Ｄ３として出力するのが望ましい。

【0054】

具体的には、第１状況は、第１トラッキング情報Ｄ１において、同一タイミングにおいて、一つのＩＤが消滅すると共に新たに別個のＩＤが生成されている状況である。第２状況は、第１トラッキング情報Ｄ１において、ある動体が他の動体と交差している状況である。第３状況は、第１トラッキング情報Ｄ１において、ある動体が、一旦、距離画像内から消えた後に、再度、同一のＩＤの動体として出現している状況である。

【0055】

第１トラッキング情報Ｄ１において、第１状況乃至第３状況のいずれかが発生している場合には、第１トラッキング情報Ｄ１に含まれる動体のＩＤに誤りが発生している可能性がある。例えば、第１状況では、同一の動体が、一のフレームと他のフレームとで異なる動体と誤認識されている可能性がある。又、第２状況では、ある動体が他の動体と交差したタイミングで、当該ある動体が交差した他の動体と誤認識されている可能性がある。又、第３状況では、ある動体が監視対象領域から消えた位置と近接する位置から、当該監視対象領域に入った他の動体が、先に存在した動体と誤認識されている可能性がある（または、その反対の可能性もある）。一方、第１状況乃至第３状況のいずれの状況も発生していない場合には、第１トラッキング情報Ｄ１に含まれる動体のＩＤに誤りが発生している可能性が低い。

【0056】

かかる観点から、データ比較処理部５０は、上記したように、状況に応じて、第１トラッキング情報Ｄ１の正誤判定を実施するか否かを決定するのが望ましい。これによって、不必要なデータ処理を割愛し、処理負荷の軽減を図ることができる。

【0057】

データ出力部６０は、データ比較処理部５０が生成した確定トラッキング情報Ｄ３を、外部に出力する。データ出力部６０は、例えば、確定トラッキング情報Ｄ３を表示画像形式のデータに変換して、ディスプレイに表示させる。

【0058】

［画像処理装置の動作フロー］
次に、図８を参照して、本実施形態に係る画像処理装置１００の動作の一例について説明する。

【0059】

図８は、本実施形態に係る画像処理装置１００（データ比較処理部５０）が確定トラッキング情報を生成する際に実行する処理を示すフローチャートである。図８に示すフローチャートは、例えば、画像処理装置１００がコンピュータプログラムに従って、実行するものである。

【0060】

ステップＳ１～Ｓ５は、第１トラッキング情報Ｄ１と第２トラッキング情報Ｄ２とを比較する処理を行うための前処理工程である。この前処理工程では、まず、画像処理装置１００（第１解析部３０）は、時系列に並んだ距離画像に基づいて、第１トラッキング情報Ｄ１を生成する（ステップＳ１）。次に、画像処理装置１００（第２解析部４０）は、時系列に並んだカメラ画像に基づいて、第２トラッキング情報Ｄ２を生成する（ステップＳ２）。次に、画像処理装置１００は、第１トラッキング情報Ｄ１と第２トラッキング情報Ｄ２とを比較する解析対象時刻（例えば、時刻Ｔ＝８：００：００）を設定する（ステップＳ３）。次に、画像処理装置１００は、第１トラッキング情報Ｄ１と第２トラッキング情報Ｄ２とを比較する際の解析対象のフレーム数（例えば、フレーム数ｎ＝５）を設定する（ステップＳ４）。次に、画像処理装置１００は、解析対象の時間間隔（例えば、解析対象間隔ｄ＝１秒間隔）を設定する（ステップＳ５）。

【0061】

次に、画像処理装置１００は、ステップＳ３～Ｓ５で設定した条件に沿って、データ比較用の記憶部（例えば、比較用キュー）に、１フレーム分の第１トラッキング情報Ｄ１と第２トラッキング情報Ｄ２とを登録する（ステップＳ６）。次に、画像処理装置１００は、記憶部に、２フレーム分以上のデータ（第１トラッキング情報Ｄ１及び第２トラッキング情報Ｄ２）が含まれるか否かを判定し（ステップＳ７）、２フレーム分以上のデータが含まれる場合（Ｓ７：ＹＥＳ）、続くステップＳ８の判定処理に処理を進め、一方、２フレーム分以上のデータが含まれない場合（Ｓ７：ＮＯ）、続くステップＳ１２に処理を進める。

【0062】

次に、画像処理装置１００は、記憶部に記憶した第１トラッキング情報Ｄ１に、同一タイミング内でのＩＤの消滅と生成とが含まれる否かを判定し（ステップＳ８）、ＩＤの消滅と生成とが含まれる場合（Ｓ８：ＹＥＳ）、続くステップＳ９に処理を進める。一方、ＩＤの消滅と生成とが含まれない場合（Ｓ８：ＮＯ）、続くステップＳ１２に処理を進める。

【0063】

次に、画像処理装置１００は、ステップＳ８で抽出した消滅ＩＤの動体と、新規生成ＩＤの動体とが、位置及びサイズに関して所定条件を充足するか否かを判定し（ステップＳ９）、当該所定条件を充足する場合（Ｓ９：ＹＥＳ）、続くステップＳ１０に処理を進め、当該所定条件を充足しない場合（Ｓ９：ＮＯ）、続くステップＳ１２に処理を進める。具体的には、画像処理装置１００は、ステップＳ８で抽出した消滅ＩＤの動体の重心位置と、新規生成ＩＤの動体の重心位置との距離が、画像内で閾値以下（例えば、１００ピクセル以内）であるか、及び、両者のサイズの比が、所定範囲内（例えば、０．８～１．２）であるかを判定する。

【0064】

次に、画像処理装置１００は、記憶部に記憶した第２トラッキング情報Ｄ２に、第１トラッキング情報Ｄ１において動体のＩＤの消滅と生成が検出された位置付近で、動体のＩＤの切り替わりが生じていたか否かを判定する（ステップＳ１０）。そして、画像処理装置１００は、動体のＩＤの切り替わりが生じていた場合（Ｓ１０：ＹＥＳ）、第１トラッキング情報Ｄ１のＩＤに誤りはないとみなして、記憶部に記憶した第１トラッキング情報Ｄ１を、そのまま確定トラッキング情報Ｄ３として出力する（ステップＳ１２）。一方、画像処理装置１００は、動体のＩＤの切り替わりが生じていない場合（Ｓ１０：ＮＯ）、第１トラッキング情報Ｄ１のＩＤに誤りが生じているとみなして、記憶部に記憶した第１トラッキング情報Ｄ１の動体のＩＤを、第１トラッキング情報Ｄ１の元のＩＤに補正した後（ステップＳ１１）、補正後の第１トラッキング情報Ｄ１を、確定トラッキング情報Ｄ３として出力する（ステップＳ１２）。

【0065】

かかる処理により、ステップＳ４で設定したフレーム数分の第１トラッキング情報Ｄ１の補正処理が終了する。そして、画像処理装置１００は、続く時刻の第１トラッキング情報Ｄ１についての補正処理を実行するため、解析対象時刻を先に進める（Ｔ←Ｔ＋ｄ）（ステップＳ１３）。次に、画像処理装置１００は、第１解析部３０が出力した第１トラッキング情報Ｄ１で、未処理のデータがあるか否かを判定し（ステップＳ１４）、未処理のデータがある場合（Ｓ１４：ＹＥＳ）、ステップＳ６に戻って、同様の処理を実行する。一方、未処理のデータがない場合（Ｓ１４：ＮＯ）、一連のフローチャートの処理を終了する。

【0066】

［効果］
以上のように、本実施形態に係る画像処理装置１００は、データ比較処理部５０にて、第１トラッキング情報Ｄ１と第２トラッキング情報Ｄ２とを時間軸を揃えて比較し、第１トラッキング情報Ｄ１と第２トラッキング情報Ｄ２とに基づいて監視対象領域に存在する動体の位置及びＩＤを確定して、その結果を確定トラッキング情報Ｄ３として出力する。

【0067】

従って、本実施形態に係る画像処理装置１００によれば、監視対象領域に存在する動体の識別性能を向上させることが可能である。これによって、レーザーレーダー２００を用いた動体トラッキングの精度を向上させることができる。

【0068】

（第２の実施形態）
次に、図９を参照して、第２の実施形態に係る画像処理装置１００について説明する。図９は、第２の実施形態に係る画像処理装置１００の構成を示す図である。

【0069】

本実施形態に係る画像処理装置１００は、レーザーレーダー２００に内蔵されている点で、第１の実施形態と相違する。そして、画像処理装置１００の第１画像取得部１０は、レーザーレーダー２００の距離画像生成部２１０（即ち、距離画像を生成する撮像部）から直接画像データを取得する。

【0070】

本実施形態に係る画像処理装置１００によれば、レーザーレーダー２００及びカメラ３００以外の別体のコンピュータを用意する必要性をなくすことが可能である。

【0071】

（第３の実施形態）
次に、図１０を参照して、第３の実施形態に係る画像処理装置１００について説明する。図１０は、第３の実施形態に係る画像処理装置１００の構成を示す図である。

【0072】

本実施形態に係る画像処理装置１００は、上記実施形態のカメラ３００（以下、「可視光カメラ」と称する）に代えて、サーマルカメラ４００からカメラ画像を取得する構成としている点で、第１の実施形態と相違する。

【0073】

可視光カメラ３００により生成されたカメラ画像は、色情報を含むため、高い物体識別精度を実現することができる。一方、監視対象領域が霧に覆われている状況下や、夜間においては、カメラ画像を用いた物体識別精度は低下する。

【0074】

この点、サーマルカメラ４００は、物体から放射される赤外光に基づいてカメラ画像を生成するため、夜間等の状況下においても、高い物体識別精度を実現することができる。そこで、本実施形態に係る画像処理装置１００（第２解析部４０）は、サーマルカメラ４００により生成されたカメラ画像を用いて、第２トラッキング情報Ｄ２を生成する。そして、本実施形態に係る画像処理装置１００（データ比較処理部５０）は、当該第２トラッキング情報Ｄ２を用いて、第１トラッキング情報Ｄ１のＩＤの誤りを補正する。

【0075】

以上のように、本実施形態に係る画像処理装置１００によれば、監視対象領域が霧に覆われている状況下や、夜間においても、高精度に動体トラッキングを実行することができる。

【0076】

尚、本実施形態に係る画像処理装置１００は、可視光カメラにより生成されたカメラ画像、及びサーマルカメラ４００により生成されたカメラ画像の両方を用いてもよい。又、第２トラッキング情報Ｄ２を生成する際には、可視光カメラにより生成されたカメラ画像、及びサーマルカメラ４００により生成されたカメラ画像の両方を用いてもよいし、選択的に使用するカメラ画像を切り替えるようにしてもよい。

【0077】

（その他の実施形態）
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。

【0078】

例えば、上記実施形態では、レーザーレーダー２００の一例として、ＴＯＦ方式のレーザーレーダーを用いる態様を示したが、レーザーレーダー２００の構成は、任意である。例えば、レーザーレーダー２００としては、ＦＭＣＷ方式のレーザーレーダー等が用いられてもよい。

【0079】

又、上記実施形態では、画像処理装置１００の構成の一例として、第１画像取得部１０、第２画像取得部２０、第１解析部３０、第２解析部４０、データ比較処理部５０、及び、データ出力部６０の機能が一のコンピュータによって実現されるものとして記載したが、画像処理装置１００が複数のコンピュータによって実現されてもよいのは勿論である。又、当該コンピュータに読み出されるプログラムやデータも、複数のコンピュータに分散して格納されてもよい。

【0080】

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

【0081】

２０１９年２月２６日出願の特願２０１９－０３２９２１の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

【産業上の利用可能性】

【0082】

本開示に係る画像処理装置によれば、レーザーレーダーを用いた動体トラッキングの精度を向上させることが可能である。

【符号の説明】

【0083】

Ｕ 監視システム
１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 外部記憶装置
１０５ 通信インタフェイス
１０ 第１画像取得部
２０ 第２画像取得部
３０ 第１解析部
４０ 第２解析部
５０ データ比較処理部
６０ データ出力部
２００ レーザーレーダー
２１０ 距離画像生成部
３００ カメラ（可視光カメラ）
４００ サーマルカメラ
Ｄ１ 第１トラッキング情報
Ｄ２ 第２トラッキング情報
Ｄ３ 確定トラッキング情報

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】