特許 6617085 物体状況推定システム、物体状況推定装置、物体状況推定方法、及び物体状況推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6617085

(24)【登録日】2019年11月15日

(45)【発行日】2019年12月4日

(54)【発明の名称】物体状況推定システム、物体状況推定装置、物体状況推定方法、及び物体状況推定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20191125BHJP

【ＦＩ】

   G06T7/00 350B

【請求項の数】12

【全頁数】17

(21)【出願番号】特願2016-169405(P2016-169405)

(22)【出願日】2016年8月31日

(65)【公開番号】特開2018-36848(P2018-36848A)

(43)【公開日】2018年3月8日

【審査請求日】2018年9月4日

(73)【特許権者】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(72)【発明者】

【氏名】アリ ウィドド

(72)【発明者】

【氏名】土井 浩史

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１２−１２３６４２（ＪＰ，Ａ）

【文献】 特開２００７−０６０５１１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

撮影をして撮影画像を生成するカメラと、
辞書を利用して、前記撮影画像から特定の検出対象物体の検出、及び前記検出対象物体の状況の推定をする物体検出部と、
前記撮影画像における移動物体の移動情報を算出する移動情報算出部と、
前記移動情報に基づいて、前記移動物体を含む画像データに、前記検出対象物体の有無の情報、及び前記検出対象物体がある場合には当該検出対象物体の状況の情報を付加した学習データを生成する学習データ生成部と、
前記学習データに基づいて前記辞書を更新する追加学習部と、
を備えた物体状況推定システム。

【請求項2】

前記学習データ生成部は、前記検出対象物体の有無の情報が前記検出対象物体ありという情報である正例データを前記学習データとして生成する、請求項１に記載の物体状況推定システム。

【請求項3】

前記学習データ生成部は、前記検出対象物体の有無の情報が前記検出対象物体なしという情報である負例データを前記学習データとして生成する、請求項１又は２に記載の物体状況推定システム。

【請求項4】

前記検出対象物体及び前記移動物体の状況は、前記検出対象物体及び前記移動物体の向きである、請求項１から３のいずれかに記載の物体状況推定システム。

【請求項5】

前記撮影画像から物体候補領域を抽出する物体候補領域抽出部をさらに備え、
前記物体検出部は、前記撮影画像のうちの前記物体候補領域を含む一部領域から前記検出対象物体を検出する、
請求項４に記載の物体状況推定システム。

【請求項6】

前記撮影画像から物体候補領域を抽出する物体候補領域抽出部をさらに備え、
前記移動情報算出部は、前記移動物体の移動情報として、前記物体候補領域の移動情報を算出する、
請求項４に記載の物体状況推定システム。

【請求項7】

前記カメラは、連続的に撮影をして複数フレームの前記撮影画像を生成し、
前記物体候補領域抽出部は、複数フレームの前記撮影画像の差分画像に基づいて前記物体候補領域を抽出する、請求項５又は６に記載の物体状況推定システム。

【請求項8】

前記学習データ生成部は、前記移動物体が前記検出対象物体であるか否かを判定する判定部を備え、前記検出対象物体であると判定された前記移動物体について学習データを生成する、請求項１に記載の物体状況推定システム。

【請求項9】

前記判定部は、前記検出の結果に基づいて、前記移動物体が前記検出対象物体であるか否かを判定する、請求項８に記載の物体状況推定システム。

【請求項10】

撮影をして撮影画像を生成するカメラと通信可能に接続され、前記カメラから前記撮影画像を取得する物体状況推定装置であって、
辞書を利用して、前記撮影画像から特定の検出対象物体の検出、及び前記検出対象物体の状況の推定をする物体検出部と、
前記撮影画像における移動物体の移動情報を算出する移動情報算出部と、
前記移動情報に基づいて、前記移動物体を含む画像データに、前記検出対象物体の有無の情報、及び前記検出対象物体がある場合には当該検出対象物体の状況の情報を付加した学習データを生成する学習データ生成部と、
前記学習データに基づいて前記辞書を更新する追加学習部と、
を備えた物体状況推定装置。

【請求項11】

撮影をして撮影画像を生成するステップと、
辞書を利用して、前記撮影画像から特定の検出対象物体の検出、及び前記検出対象物体の状況の推定をするステップと、
前記撮影画像における移動物体の移動情報を算出するステップと、
前記移動情報に基づいて、前記移動物体を含む画像データに、前記検出対象物体の有無の情報、及び前記検出対象物体がある場合には当該検出対象物体の状況の情報を付加した学習データを生成するステップと、
前記学習データに基づいて前記辞書を更新するステップと、
を備えた物体状況推定方法。

【請求項12】

撮影をして撮影画像を生成するカメラと通信可能に接続され、前記カメラから前記撮影画像を取得する物体状況推定装置のコンピュータを、
辞書を利用して、前記撮影画像からの特定の検出対象物体の検出、及び前記検出対象物体の状況の推定をする物体検出部、
前記撮影画像における移動物体の移動情報を算出する移動情報算出部、
前記移動情報に基づいて、前記移動物体を含む画像データに、前記検出対象物体の有無の情報、及び前記検出対象物体がある場合には当該検出対象物体の状況の情報を付加した学習データを生成する学習データ生成部、及び
前記学習データに基づいて前記辞書を更新する追加学習部、
として機能させる物体状況推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラで撮影した画像から特定の検出対象物体を検出してその状況を推定する物体状況推定システム、物体状況推定装置、物体状況推定方法、及び物体状況推定プログラムに関する。

【背景技術】

【0002】

交差点等にカメラを設置して、カメラで撮影した画像（撮影画像）から人物（歩行者）等の特定の検出対象物体を検出して、その状況（例えば、道路を渡っている等）を推定する物体状況推定システムが知られている。また、撮影画像から人物を検出する技術として、機械学習技術が有望であることが知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５−９０６７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

カメラの設置位置は各所で異なっており、各カメラにおいて撮影画像に映る検出すべき人物の見え方（撮影方向、大きさ等）も異なっている。したがって、人物の検出に機械学習技術を用いる場合には、各カメラについて、その設置位置に応じた辞書を用意する必要がある。

【0005】

しかしながら、カメラごとに機械学習技術のための辞書を用意することは、費用面からも、工数面からも困難である。辞書を更新する機械学習はすでに提案されているが、辞書を更新するのに必要な学習データを用意することはやはり容易ではない。

【0006】

本発明は、上記の問題点に鑑みてなされたものであり、辞書を更新するのに必要な学習データを自動で生成できる物体状況推定システム、物体状況推定装置、物体状況推定方法、及び物体状況推定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様の物体状況推定システムは、撮影をして撮影画像を生成するカメラと、辞書を利用して、前記撮影画像から特定の検出対象物体の検出、及び前記検出対象物体の状況の推定をする物体検出部と、前記撮影画像における移動物体の移動情報を算出する移動情報算出部と、前記移動情報に基づいて、前記移動物体の状況を判定することで、学習データを生成する学習データ生成部と、前記学習データに基づいて前記辞書を更新する追加学習部とを備えた構成を有している。

【0008】

この構成により、辞書を利用して撮影画像から特定の検出対象物体を検出し、かつその検出対象物体の状況を推定するシステムにおいて、辞書を更新するのに必要な学習データを撮影画像から自ら自動で生成できる。

【0009】

上記の物体状況推定システムにおいて、前記検出対象物体及び前記移動物体の状況は、前記検出対象物体及び前記移動物体の向きであってよい。

【0010】

この構成により、学習データに必要な向きの情報を移動情報から判定することができる。

【0011】

上記の物体状況推定システムは、前記撮影画像から物体候補領域を抽出する物体候補領域抽出部をさらに備えていてよく、前記物体検出部は、前記撮影画像のうちの前記物体候補領域を含む一部領域から前記検出対象物体を検出してよい。

【0012】

この構成により、物体候補領域を含む一部領域について検出対象物体の検出を行うので、物体検出の処理負荷を軽減して、処理速度を向上できる。

【0013】

上記の物体状況推定システムは、前記撮影画像から物体候補領域を抽出する物体候補領域抽出部をさらに備えていてよく、前記移動情報算出部は、前記移動物体の移動情報として、前記物体候補領域の移動情報を算出してよい。

【0014】

この構成により、物体候補領域を移動物体としてその移動情報を算出するので、物体検出部で検出対象物体として検出されない移動物体についても、負例データとして学習データを生成できる。

【0015】

上記の物体状況推定システムにおいて、前記カメラは、連続的に撮影をして複数フレームの前記撮影画像を生成してよく、前記物体候補領域抽出部は、複数フレームの前記撮影画像の差分画像に基づいて前記物体候補領域を抽出してよい。

【0016】

この構成により、物体候補領域を抽出する処理負荷を軽減して、処理速度を向上できる。

【0017】

上記の物体状況推定システムにおいて、前記学習データ生成部は、前記移動物体が前記検出対象物体であるか否かを判定する判定部を備え、前記検出対象物体であると判定された前記移動物体について学習データを生成してよい。

【0018】

この構成により、移動物体のうちの検出対象物体に該当するものについて、正例データとして学習データを生成できる。

【0019】

上記の物体状況推定システムにおいて、前記判定部は、前記検出の結果に基づいて、前記移動物体が前記検出対象物体であるか否かを判定してよい。

【0020】

この構成により、物体検出部の検出結果を利用移動物体が検出対象物体であるか否かを判定できる。

【0021】

本発明の一態様の物体状況推定装置は、撮影をして撮影画像を生成するカメラと通信可能に接続され、前記カメラから前記撮影画像を取得する物体状況推定装置であって、辞書を利用して、前記撮影画像から特定の検出対象物体の検出、及び前記検出対象物体の状況の推定をする物体検出部と、前記撮影画像における移動物体の移動情報を算出する移動情報算出部と、前記移動情報に基づいて、前記移動物体の状況を判定することで、学習データを生成する学習データ生成部とを備えた構成を有している。

【0022】

この構成により、辞書を利用して撮影画像から特定の検出対象物体を検出し、その検出対象物体の状況を推定する装置において、辞書を更新するのに必要な学習データを撮影画像から自ら自動で生成できる。

【0023】

本発明の一態様の物体状況推定方法は、撮影をして撮影画像を生成するステップと、辞書を利用して、前記撮影画像から特定の検出対象物体の検出、及び前記検出対象物体の状況の推定をするステップと、前記撮影画像における移動物体の移動情報を算出するステップと、前記移動情報に基づいて、前記移動物体の状況を判定することで、学習データを生成するステップと、前記学習データに基づいて前記辞書を更新するステップとを備えた構成を有している。

【0024】

この構成により、辞書を利用して撮影画像から特定の検出対象物体を検出し、その検出対象物体の状況を推定するとともに、辞書を更新するのに必要な学習データを撮影画像から自動で生成できる。

【0025】

本発明の一態様の物体状況推定プログラムは、撮影をして撮影画像を生成するカメラと通信可能に接続され、前記カメラから前記撮影画像を取得する物体状況推定装置のコンピュータを、辞書を利用して、前記撮影画像からの特定の検出対象物体の検出、及び前記検出対象物体の状況の推定をする物体検出部、前記撮影画像における移動物体の移動情報を算出する移動情報算出部、前記移動情報に基づいて、前記移動物体の状況を判定することで、学習データを生成する学習データ生成部、及び前記学習データに基づいて前記辞書を更新する追加学習部として機能させる。

【0026】

この構成により、辞書を利用して撮影画像から特定の検出対象物体を検出し、その検出対象物体の状況を推定するとともに、辞書を更新するのに必要な学習データを撮影画像から自動で生成できる。

【発明の効果】

【0027】

本発明によれば、辞書を利用して撮影画像から特定の検出対象物体を検出し、その検出対象物体の状況を推定するシステムにおいて、辞書を更新するのに必要な学習データを撮影画像から自ら自動で生成できる。

【図面の簡単な説明】

【0028】

【図1】本発明の実施の形態の物体状況推定システムの構成を示すブロック図

【図2】本発明の実施の形態の背景差分画像を生成する処理を示す図

【図3】本発明の実施の形態のフレーム間差分画像を生成する処理を示す図

【図4】本発明の実施の形態の物体検出部における処理を説明する図

【図5】本発明の実施の形態の出力判定部の処理を示す図

【図6】本発明の実施の形態の動きベクトル算出部の処理を示す図

【図7】本発明の実施の形態の人物有無判定部における人物有無判定処理のフロー図

【図8】本発明の実施の形態の人物向き判定部における人物向き判定処理のフロー図

【図9】本発明の実施の形態の人物類似判定部における人物類似判定処理のフロー図

【発明を実施するための形態】

【0029】

以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

【0030】

図１は、本発明の実施の形態の物体状況推定システムの構成を示すブロック図である。物体状況推定システム１は、カメラ１０と、物体状況推定装置２０とからなる。カメラ１０は、街頭に設置され、具体的には、例えば比較的高所から交差点に向くように設置される。カメラ１０は、所定のフレームレートで連続的に撮影をして、撮影画像を生成する。カメラ１０は、物体状況推定装置２０に対して、連続的に得られた撮影画像を所定の伝送レートで順次送信する。

【0031】

物体状況推定装置２０は、カメラ１０で生成された撮影画像を取得して、この撮影画像に映っている特定の検出対象物体（本実施の形態では、歩行している人物（歩行者））の状況を推定する。本実施の形態において、物体状況推定装置２０が推定する人物の状況は、人物の向きであり、これに基づいて、人物が、信号待ちをしているのか、道路を渡っているのか、あるいは、道路を渡り終えたのかを判定できる。

【0032】

カメラ１０と物体状況推定装置２０とは、カメラ１０から物体状況推定装置２０に撮影画像を送信し、物体状況推定装置２０にて撮影画像を受信できるように、互いに通信可能に接続されている。カメラ１０と物体状況推定装置２０とは、有線で接続されていても、無線で接続されていてもよい。また、カメラ１０と物体状況推定装置２０との間にインターネット等の通信ネットワークが介在していてもよい。すなわち、物体状況推定装置２０は、カメラ１０とは地理的に離れた位置に設けられていてよい。

【0033】

物体状況推定装置２０は、記憶装置、ＲＯＭ、ＲＡＭ、ＣＰＵ等からなるコンピュータによって構成され、記憶装置に記憶された物体状況推定プログラムをＣＰＵが読み出して実行することで、以下の各機能が実現される。物体状況推定装置２０は、物体候補領域抽出部２１と、物体検出部２２と、移動情報産出部２３と、学習データ生成部２４と、追加学習部２５と、過去画像記憶部３１と、背景画像記憶部３２と、学習データ記憶部３３と、人物辞書記憶部３４とを備えており、これらを用いて物体状況推定方法を実行する。

【0034】

なお、本実施の形態では、時間推移を離散的に示し、現在の時点を符号ｔで表し、現時点から１ステップ前の時点を符号ｔ−１で表し、現時点から２ステップ前の時点を符号ｔ−２で表す。また、１ステップは１フレームに相当するので、現時点の最新フレームを符号ｔで表し、１つ前のフレームを符号ｔ−１で表し、２つ前のフレームを符号ｔ−２で表す。

【0035】

カメラ１０から物体状況推定装置２０に送信された撮影画像は、過去画像記憶部３１に記憶されるとともに、物体候補領域抽出部２１に入力される。過去画像記憶部３１には、過去のフレームの撮影画像が所定のフレーム数だけ記憶されている。物体候補領域抽出部２１は、撮影画像から、物体が存在すると考えられる領域（以下、「物体候補領域」という。）を抽出する。本実施の形態の物体候補領域抽出部２１は、特に、移動する物体が存在する領域を物体候補領域として抽出する。

【0036】

物体検出部２２は、物体候補領域抽出部２１から抽出された物体候補領域から特定の検出対象物体（人物）を検出する。撮影画像に人物が複数ある場合には、物体検出部２２は、それらをそれぞれ検出する。また、物体検出部２２は、検出した各人物について、その状況を推定して、人物の有無（人物の検出結果）及び状況の推定結果を出力する。

【0037】

移動情報算出部２３は、過去画像記憶部３１から読み出した撮影画像と、物体候補領域抽出部２１から入力された物体候補領域とに基づいて、移動物体（人物には限らない）の移動情報（具体的には、各移動物体の動きベクトル）を算出する。移動情報算出部２３は、算出した移動情報を学習データ生成部２４に出力する。

【0038】

学習データ生成部２４は、移動情報算出部２３から入力した各移動物体の移動情報に基づいて、移動物体の向きを判定して、向きごとの学習データを生成する。生成された学習データは、追加学習データとして、追加学習データ記憶部３３に記憶される。

【0039】

追加学習部２５は、追加学習データ記憶部３３に記憶されている追加学習用の学習データを用いて、追加学習を行って、人物辞書記憶部３４に記憶されている人物辞書を更新することで、新たな人物辞書を生成する。

【0040】

物体状況推定装置２０において、物体候補領域抽出部２１、物体検出部２２、過去画像記憶部３１、背景画像記憶部３２、及び人物辞書記憶部３４は、撮影画像から人物を検出して、その状況を推定するための構成であり、物体候補領域２１、移動情報算出部２３、学習データ生成部２４、追加学習部２５、過去画像記憶部３１、及び追加学習データ記憶部３３は、追加の学習を行って人物辞書を更新するための構成である。以下、物体状況推定装置２０のそれぞれの機能について、より詳細に説明する。

【0041】

まず、撮影画像から人物を検出して、その状況を推定するための構成について説明する。過去画像記憶部３１は、フレーム間差分画像ＦＤｔの算出に用いる過去フレームの撮影画像（以下、「過去フレーム画像」ともいう。）を記憶する。過去フレーム画像は、過去の時点においてカメラ１０が撮影した撮影画像であり、本実施の形態では、過去画像記憶部３１には、直近の過去２ステップ（過去２フレーム）の過去フレーム画像Ｉｔ−１、Ｉｔ−２が記憶される。過去画像記憶部３１に記憶される過去フレーム画像は、カメラ１０から新たに現時点の最新の撮影画像（以下、「現フレーム画像」ともいう。）を受信するたびに逐次更新される。

【0042】

背景画像記憶部３２は、背景差分画像ＢＤｔの算出に用いる撮影画像（過去フレーム画像）を背景画像ＢＧとして記憶する。背景画像記憶部３２は、カメラ１０から受信して過去画像記憶部３１に記憶された撮影画像を読み出して記憶する。背景画像記憶部３２は、所定の時間間隔（例えば１時間間隔）で背景画像を更新する。なお、背景画像としては、移動物体を含まず、静止物体のみが含まれる撮影画像を採用することが望ましい。

【0043】

物体候補領域抽出部２１は、背景差分演算部２１１とフレーム間差分演算部２１２とを備えている。背景差分演算部２１１は、カメラ１０から受信した現フレーム画像Ｉｔと、背景画像記憶部３２に記憶されている背景画像ＢＧとを用いて背景差分画像ＢＤｔを生成する。

【0044】

図２は、背景差分画像ＢＤｔを生成する処理を示す図である。背景差分演算部２１１は、カメラ１０からの現フレーム画像Ｉｔを取得し、背景画像記憶部３２から背景画像ＢＧを読み出し、図２に示すように、現フレーム画像Ｉｔから背景画像ＢＧの情報を除外することによって背景差分画像ＢＤｔを算出する。

【0045】

背景画像ＢＧには現フレーム画像Ｉｔ中の静止物体に関する情報が含まれるので、背景差分画像ＢＤｔは、現フレーム画像Ｉｔに含まれる静止物体に関する情報が除外され、現フレーム画像Ｉｔから移動物体を抽出した画像となる。図２の例では、背景差分画像ＢＤｔは、現フレーム画像Ｉｔから、道路上にて一時停止している１台の自動車Ｍ１と道路上を走行する２台の自動車Ｍ２、Ｍ３とを抽出した画像となっている。

【0046】

フレーム間差分演算部２１２は、カメラ１０から受信した現フレーム画像Ｉｔと、過去画像記憶部３１に記憶されている過去フレーム画像Ｉｔ−１、Ｉｔ−２とを用いて、フレーム間差分画像ＦＤｔを算出する。

【0047】

図３は、フレーム間差分画像ＦＤｔを生成する処理を示す図である。フレーム間差分演算部２１２は、カメラ１０から現フレーム画像Ｉｔを取得し、過去画像記憶部３１から過去フレーム画像Ｉｔ−１、Ｉｔ−２を読み出す。過去フレーム画像Ｉｔ−１、Ｉｔ−２は、現時点ｔより１フレーム前及び２フレーム前の撮影画像である。フレーム間差分演算部２１２は、現フレーム画像Ｉｔと、過去フレーム画像Ｉｔ−１と、過去フレーム画像Ｉｔ−２からフレーム間差分画像ＦＤｔを算出する。

【0048】

フレーム間差分演算部２１２は、図３に示すように、まず、現フレーム画像Ｉｔと過去フレーム画像Ｉｔ−１との差分画像Ｄ１と、過去フレーム画像Ｉｔ−１と過去フレーム画像Ｉｔ−２との差分画像Ｄ２とを算出する。フレーム間差分演算部２１２は、次に、差分画像Ｄ１と差分画像Ｄ２との共通部分（ＡＮＤ）をフレーム間差分画像ＦＤｔとして算出する。このように、フレーム間差分画像ＦＤｔは、時系列の３フレームの画像から差分情報を抽出したものであり、フレーム間の変化量を安定的に抽出できる。

【0049】

フレーム間差分画像ＦＤｔは、現フレーム画像Ｉｔから短期的な特徴（例えばフレーム間で瞬間的に動いている物体）を抽出した画像である点で、現フレーム画像Ｉｔの長期的な特徴を反映させている上記の背景差分画像ＢＤｔとは異なるものである。例えば、図３のフレーム間差分画像ＦＤｔを図２の背景差分画像ＢＤｔと比較すると、現フレーム画像Ｉｔにて一時停止している自動車Ｍ１は、背景差分画像ＢＤｔでは抽出されて視認できるが、フレーム間差分画像ＦＤｔでは抽出されず視認できない。背景差分画像ＢＤｔ及びフレーム間差分画像ＦＤｔのいずれにおいても、過去フレーム画像にはなく現フレーム画像に存在する物体が抽出されているので、この物体候補領域抽出部２１で抽出される物体を以下では「移動物体」ともいう。

【0050】

フレーム間差分演算部２１２は、さらに、現フレーム画像Ｉｔを過去フレーム画像Ｉｔ−１とし、現在の過去フレーム画像Ｉｔ−１を過去フレーム画像Ｉｔ−２として、過去画像記憶部３１に記憶し直すことで過去画像記憶部３１を更新する。

【0051】

なお、フレーム間差分演算部２１２がフレーム間差分画像ＦＤｔの算出に用いる過去フレーム画像は、本実施の形態の直近の２フレーム分（過去フレーム画像Ｉｔ−１、Ｉｔ−２）に限らず、直近の３フレーム以上でもよいし、または、相互に所定のフレーム分を開けた複数の過去フレーム画像を用いることもできる。

【0052】

物体候補領域抽出部２１は、背景差分画像ＢＤｔから抽出された移動物体（図２の例では、自動車Ｍ１〜Ｍ３）と、フレーム間差分画像ＦＤｔから抽出された移動物体（図３の例では、自動車Ｍ２、Ｍ３）を囲う枠を生成し、その枠を物体候補領域として、物体検出部２２及び移動情報算出部２３に出力する。この枠は、抽出された移動物体をすべて包含する矩形の枠である。枠のサイズ（縦横幅）は、抽出された移動物体の大きさによって適宜決定される。物体候補領域抽出部２１は、物体候補領域の情報として、枠の基準点（例えば左上角）の撮影画像内における位置（座標）と、枠体の縦横幅を出力する。

【0053】

物体検出部２２は、現フレーム画像Ｉｔと、物体候補領域の情報とに基づいて、特定の検出対象物体（本実施の形態では、人物）を検出して、当該物体の状況に関する情報（状況情報）を付与して出力する。物体検出部２２は、ＥＬＭ（Extreme Learning Machine）２２１と、出力判定部２２２とを備える。

【0054】

図４は、物体検出部２２における処理を説明する図である。物体検出部２２は、現フレーム画像Ｉｔ内に、物体候補領域ＣＡを含み、かつ物体候補領域ＣＡよりも広い矩形の検出対象領域ＤＡを設定する。物体検出部２２は、さらに、検出対象領域ＤＡ内で、検出対象領域ＤＡより小さい矩形の切出領域ＣＬＡ（ｍ×ｎピクセル）をスライドさせながら、切出領域ＣＬＡ内の切出画像ＣＩａについて、ＥＬＭ２２１において人物検出及び状況の推定を行う。

【0055】

ＥＬＭ２２１は、切出画像ＣＩの各画素を入力層２２１１に入力し、中間層２２１２を経て、出力層２２１３から人物の有無と状況の情報を出力する。このＥＬＭ２２１における層間の重みは、人物辞書として人物辞書記憶部３４に記憶されている。ＥＬＭ２２１の出力、すなわち人物の有無と状況情報は、確率（０〜１．０）で表される。本実施の形態のＥＬＭ２２１は、人物の状況情報として、人物の向き（前向き、後ろ向き、右向き、又は左向き）の各確率を出力する。なお、上記の処理により、１つの物体候補領域ＣＡについて、複数の切出画像ＣＩａが得られ、ＥＬＭ２２１の出力は各切出画像ＣＩａについて得られる。

【0056】

出力判定部２２２は、ＥＬＭ２２１から出力される各確率に基づいて、人物の有無と状況を判定して出力する。図５は、出力判定部２２２の処理を示す図である。出力判定部２２２は、まず、人物有無確率値が０．５以上であるか否かを判断する（ステップＳ５１）。人物有無確率値が０．５未満であれば（ステップＳ５１でＮＯ）、移動物体は人物ではないと判断する（ステップＳ５２）。

【0057】

出力判定部２２２は、人物有無確率値が０．５以上であれば（ステップＳ５１でＹＥＳ）、移動物体は人物であると判断して（ステップＳ５３）、さらに、前向き確率、後向き確率、右向き確率、及び左向き確率のうちの最大の確率値をもつ方向を選択する（ステップＳ５４）。そして、その選択された方向の確率値が０．５以上であるか否かを判断する（ステップＳ５５）。

【0058】

出力判定部２２２は、選択された方向の確率値が０．５以上であれば（ステップＳ５５でＹＥＳ）、その方向を検出された人物の方向として決定する（ステップＳ５６）。出力判定部２２２は、選択された方向の確率値が０．５未満であれば（ステップＳ５５でＮＯ）、これはどの方向も確率値が０．５未満ということになるので、人物はいるが向きは不明であると判断する（ステップＳ５７）。

【0059】

上述のように、１つの物体候補領域ＣＡについて複数のＥＬＭ出力が得られるが、出力判定部２２２は、すべてのＥＬＭ出力について上記の処理を行い、いずれかの切出画像ＣＩａについて人物有とされれば、その物体候補領域ＣＡに人物がいると判定し、決定された向きのうち、最も確率が高い向きをその人物の向きと推定して、人物の検出結果（人物の有無を示す）、及び人物の向きの推定結果（前後左右のいずれかで人物の向きを示す）を出力する。

【0060】

以上の処理により、撮影画像から人物を検出して、その向きを推定することで、人物の検出結果及び無機の推定結果が得られる。物体状況推定装置２０は、カメラ１０から撮影画像を取得するごとに上記の処理を行うことで、カメラ１０で得られた撮影画像に対してリアルタイムに人物の検出及びその向きの推定を行うことができる。

【0061】

以下では、上記の人物の検出及びその状況（向き）の推定の精度を向上させるべく人物辞書を学習によって更新するための構成について説明する。この構成では、カメラ１０の撮影データから人物辞書を更新するための学習データを生成する。この学習データは、画像データに、人物であるか否か、人物である場合にはその向き（前向き、後向き、左向き、右向き）の情報が付加されて構成されたデータである。

【0062】

図１に示すように、移動情報算出部２３は、動きベクトル算出部２３１を備えている。図６は、動きベクトル算出部２３１の処理を示す図である。動きベクトル算出部２３１は、現フレーム画像Ｉｔの物体候補領域ＣＡｔを切り出した切出画像ＣＩｂｔを物体領域抽出部２１から取得し、また、過去画像記憶部３１から過去フレーム画像Ｉｔ−１を読み出す。この切出画像ＣＩｂは、移動物体（人物とは限らない）の画像である。動きベクトル算出部２３１は、切出画像ＣＩｂｔを過去フレーム画像Ｉｔ−１内でスライドさせながらパターン照合による領域照合を行う（ステップＳ６１）。

【0063】

また、動きベクトル算出部２３１は、領域照合の結果、切出画像ＣＩｂｔに対応する領域であると判定された過去フレーム画像Ｉｔ−１内の領域の位置から現フレーム画像Ｉｔにおける物体検出領域ＣＡｔの位置（切出画像ＣＩｂｔの位置）に向かう動きベクトル（オプティカルフロー）Ｖを算出する（ステップＳ６２）。この動きベクトルＶは、現フレーム画像Ｉｔにおける物体検出領域ＣＡｔの過去フレーム画像Ｉｔ−１からの移動量と移動方位をベクトルの長さ及び方向で表したものである。

【0064】

動きベクトル算出部２３１は、物体候補領域抽出部２１にて現フレーム画像Ｉｔから抽出されたすべての物体候補領域について上記の処理を行うことで、物体候補領域ごとに動きベクトルを算出する。移動情報算出部２３は、切出画像ＣＩｂｔに関連付けて、その動きベクトルＶを学習データ生成部２４に出力する。

【0065】

学習データ算出部２４は、人物有無判定部２４１と、人物向き判定部２４２と、人物類似判定部２４３とを備えている。学習データ算出部２４は、物体検出部２２から判定結果を取得し、移動情報算出部２３から切出画像ＣＩｂとその動きベクトルＶを取得する。

【0066】

人物有無判定部２４１は、切出画像ＣＩｂを正例データとすべきか、負例データとすべきかを判定する。図７は、人物有無判定部２４１における人物有無判定処理のフロー図である。人物有無判定部２４１は、当該切出画像ＣＩｂの移動物体について物体検出部２２が人物有と判定しているか否かを判断する（ステップＳ７１）。

【0067】

人物でないと判定されている場合は（ステップＳ７１でＮＯ）、人物有無判定部２４１は、動きベクトルＶの移動量が、人物が走る速度として設定された所定の閾値（例えば、１０ｋｍ／ｈ）より大きいか否かを判断する（ステップＳ７２）。移動量が人物の走る速度より速い場合は（ステップＳ７２でＹＥＳ）、移動物体は人物以外のなんらかの物体があることが明らかであるので、人物有無判定部２４１は、この切出画像ＣＩｂを負例データとして追加する（ステップＳ７３）。この負例データは、人物ではない移動物体（例えば、走行している車両等）が映った画像である。

【0068】

移動量が人物の走る速度以下である場合は（ステップＳ７２でＮＯ）、移動量がほぼ０（０の誤差範囲内）であるか否かを判断する（ステップＳ７４）。具体的には、例えば、移動量が０．１ｋｍ／ｈ以下であるか否かを判断する。移動量が０の誤差範囲内にない場合には、人物有無判定部２４１は、これを正体不明な移動物体として、データ追加はしない（ステップＳ７６）。また、移動量が０の誤差範囲内にある場合であって（ステップＳ７４でＮＯ）、滞在時間が所定の閾値Ｔ［秒］を超えている場合には（ステップＳ７５でＹＥＳ）、人物有無判定部２４１は、この物体が移動してきた後に停止している人物以外の物体であると判断して、この切出画像ＣＩｂを負例データとして追加学習データ記憶部３３に追加する（ステップＳ７３）。

【0069】

一方、移動量が０の誤差範囲内にあるが（ステップＳ７４でＹＥＳ）、滞在時間が閾値Ｔ［秒］以下である場合には（ステップＳ７５でＮＯ）、これを人物ではないが人物の歩行速度と同程度の速度で移動する正体不明な移動物体、あるいは何らかのノイズであると判断して、データ追加はしない（ステップＳ７６）。

【0070】

一方、物体検出部２２における判定結果において人物有と判定されている場合には（ステップＳ７１でＹＥＳ）、人物有無判定部２４１は、動きベクトルＶの移動量が、人物が走る速度として設定された所定の閾値（例えば、１０ｋｍ／ｈ）より大きいか否かを判断する（ステップＳ７７）。移動量が人物の走る速度より速い場合は（ステップＳ７７でＹＥＳ）、人物有無判定部２４１は、この人物が、例えば、二輪車に乗っている人物等、歩行者ではないと判断して、この切出画像ＣＩｂを負例データとして追加学習データ記憶部３３に追加する（ステップＳ７８）。

【0071】

移動量が人物の走る速度以下であり（ステップＳ７７でＹＥＳ）、かつ、移動量が０の誤差範囲外である場合は（ステップＳ７９でＮＯ）、この人物であると判定された移動物体は、人物の歩行速度程度の速度で移動しているので、人物有無判定部２４１は、この切出画像ＣＩｂを正例データ候補とする（ステップＳ８０）。正例データは、歩行する人物（歩行者）の画像である。

【0072】

一方、移動量が人物の走る速度以下であり（ステップＳ７７でＮＯ）、かつ、移動量が０の誤差範囲内である場合は（ステップＳ７９でＹＥＳ）、その滞在時間が所定の閾値Ｔ［秒］より長いかを判断する（ステップＳ８１）。滞在時間が閾値Ｔより長い場合には（ステップＳ８１でＹＥＳ）、人物有無判定部２４１は、人物以外のなんらかの固定物であると判断して、この切出画像ＣＩｂを負例データとして追加学習データ記憶部３３に追加する（ステップＳ７８）。

【0073】

移動量が０の誤差範囲外である（人物が歩く程度の速度で移動している）が（ステップＳ７９でＹＥＳ）、滞在時間が閾値Ｔ以下である場合（ステップＳ８１でＮＯ）、人物有無判定部２４１は、これを正体不明な移動物体として、データ追加はしない（ステップＳ８２）。

【0074】

図８は、人物向き判定部２４２における人物向き判定処理のフロー図である。人物向き判定部２４２は、人物有無判定処理において正例データ候補とされた切出画像ＣＩｂにおける人物の向きを判定する。人物向き判定部２４２は、まず、正例データ候補について、その動きベクトルの方向（動き方向）を前、後、右、左の４クラスのいずれかにクラス分けしてその向きを表すラベルを付与する（ステップＳ９１）。

【0075】

次に、人物向き判定部２４２は、物体検出部２２で検出された向き（状況情報が示す人物の向き）と、動きベクトル算出部２３１で算出された動きベクトルの向きとを比較して、それらが一致するか否かを判断する（ステップＳ９２）。一致する場合は、人物向き判定部２４２は、その一致する向きを人物の向きとして、その切出画像ＣＩｂを正例データ候補とする（ステップＳ９３）。

【0076】

物体検出部２２で推定された向き（状況情報が示す人物の向き）と、動きベクトル算出部２３１で算出された動きベクトルの向きとが一致しない場合には（ステップＳ９２でＮＯ）、物体検出部２２で推定された向きを動きベクトルの向きに変更した上で（ステップＳ９４）、その切出画像ＣＩｂを正例データ候補とする（ステップＳ９３）。なお、変形例として、物体検出部２２で推定された向きと動きベクトルの向きとが一致しない場合には、その切出画像ＣＩｂを正例データ候補から除外して、その切出画像ＣＩｂからは学習データを生成しないようにしてもよい。

【0077】

人物向き判定部２４２で正例データ候補とされた複数の切出画像ＣＩｂにおける同じ人物の切出画像ＣＩｂを１つにまとめることでオーバフィッティングの問題を回避することができる。そこで、人物類似判定部２４３は、正例データ候補とされた複数の切出画像ＣＩｂの互いの類似度を判定し、同じ人物の切出画像ＣＩｂを重複して追加学習データ記憶部２２に記憶させないようにする。

【0078】

図９は、人物類似判定部２４３における人物類似判定処理のフロー図である。人物類似度判定部２４３は、ある正例データ候補の切出画像ＣＩｂ１と、他の正例データ候補の切出画像ＣＩｂ２とについて、正規化相互相関マッチング（ＮＣＣ）によって、互いの類似度を求めて、類似度が高い場合には、それらのいずれかの切出画像ＩＣｂを削除する。

【0079】

具体的には、図９に示すように、人物類似判定部２４３は、まず、正例データ候補ＣＩｂ１と正例データ候補ＣＩｂ２について、ＮＣＣにより類似度を計算し（ステップＳ１０１）、計算された類似度が所定御閾値（本実施の形態では、０．５以上）であるか否かを判断する（ステップＳ１０２）。

【0080】

類似度が閾値より高い場合には（ステップＳ１０２でＹＥＳ）、人物類似判定部２４３は、人物有無の確率が低い方の正例データ候補を削除する（ステップＳ１０３）。類似度が閾値より低い場合には（ステップＳ１０２でＮＯ）、人物類似判定部２４３は、両正例データ候補を残す（ステップＳ１０４）。

【0081】

人物類似判定部２４３は、以上の処理をすべての正例データ候補について行い、残った正例データ候補の切出画像を歩行している人物のデータとして、その向きの情報とともに、正例データとして追加学習データ記憶部３３に出力する。追加学習データ記憶部３３は、学習データ生成部２４から出力された切出画像をその人物の向きの情報とともに記憶する。また、追加学習データ記憶部３３は、学習データ生成部２４から出力された負例データも記憶する。

【0082】

追加学習部２５は、人物辞書生成部２５１を備えている。追加学習部２５は、追加学習データ記憶部３３にある程度の学習データ（正例データ及び負例データ）が蓄積されると、それらの学習データを追加学習データ記憶部３３から読み出す。追加学習部２５が追加学習を行うタイミングは、生成された学習データの数によって決定されてよく（例えば１０００の学習データが追加されるごとに追加学習を行ってよく）、あるいは、追加学習部２５は、所定の時間間隔で定期的に（例えば、１週間ごとに）追加学習を行ってもよい。人物辞書作成部２５１は、追加学習データ記憶部３３から読み出された追加学習データを用いて追加学習を実行し、更新された人物辞書を生成する。本実施の形態では、追加学習部２５は、追加学習データを用いた学習として機械学習を行う。追加学習部２５は、人物辞書作成部２５１にて更新された人物辞書を生成すると、それを用いて人物辞書記憶部３４に記憶される人物辞書を更新する。

【0083】

以上のように、本実施の形態の物体状況推定装置２０は、カメラ１０から得られた撮影画像に基づいて人物の有無を検出して状況（向き）を推定する機能を有するとともに、同じカメラ１０の撮影画像に基づいて、人物の検出及び状況の推定に用いる人物辞書を更新する機能を備えている。人物辞書を更新するのに用いる撮影画像は、物体検出の対象となる撮影画像と同じ条件（位置、角度）のカメラ１０で撮影されたものであるので、追加の学習データは、そのカメラ１０の撮影画像に対して検索対象物体の検出や状況推定を行うのに適した学習データとなる。よって、学習を繰り返すことにより、検索対象物体の検出及び状況（向き）の推定の精度が向上することになる。

【0084】

このような物体状況推定システム１は、カメラ１０が所望の位置に設置され他後に追加の学習を行う。よって、カメラ１０を設置した直後に正式な運用、すなわち、検索対象物体の検出及び状況（向き）の推定の結果に基づく各種の制御を開始してもよいが、カメラ１０を設置して一定程度の回数の追加学習が行われるまでの一定の期間は、人物辞書を更新するための準備期間とし、その準備期間が終了してから正式な運用を開始してもよい。いずれにしても、運用していくことで、人物辞書が更新されて、検索対象物体の検出及び状況の推定の精度が向上する。

【0085】

以上のように、本実施の形態の物体状況推定システム１によれば、物体検出部２２で特定の検出対象物体を検出できず、あるいはその状況を推定できない撮影画像であっても、その中から特定の検出対象物体であると思われる物体について、その移動情報からその状況を推定して、学習データを生成できる。よって、この学習データを用いて追加の学習を行うことで、ひいては特定の検出対象物体の検出あるいはその状況の推定ができなかった撮影画像からも、特定の検出対象物体を検出してその状況を推定できるようになることが期待できる。

【0086】

なお、上記の物体状況推定装置２０において、学習データを生成する機能は、リアルタイムに行う必要はなく、一定のフレーム数の撮影画像を記憶しておき、それらの撮影画像を用いて、それらの撮影画像が得られた時点よりも後の時点において実行されてもよい。

【0087】

また、上記の物体状況推定装置２０では、移動物体である人物を特定の検出対象物体として検出するために、物体検知部２２における機械学習による検出及び推定の前に差分画像を用いて物体候補領域を抽出したが、特定の検出対象物体が移動物体に限られない場合には、物体候補領域抽出部２１を省略して、撮影画像の全体から特定の検出対象物体を検出してよい。この場合には、動きベクトル算出部２３１は、物体検出部２２における検出対象物体の検出結果及び状況の推定結果を利用することになる。

【0088】

また、上記の物体状況推定システム１は、検出対象物体の状況として、検出対象物体の向きを推定し、学習データ生成部２４では、動きベクトルの向きに基づいて、学習データにおける向きを決定したが、検出対象物体の状況は、その向きに限られない。例えば、検出対象物体の状況は、検出対象物体である人物が走っているか、歩いているか、止まっているかという移動状況であってよく、その場合には、動きベクトル算出部２３１で算出された動きベクトルの大きさ（速度）によって、学習データにて付加される状況（走っている、歩いている、止まっている）を決定できる。

【産業上の利用可能性】

【0089】

本発明は、辞書を利用して、撮影画像から特定の検出対象物体を検出し、前記検出対象物体の状況を推定するシステムにおいて、辞書を更新するのに必要な学習データを撮影画像から自ら自動で生成でき、カメラで撮影した画像から特定の検出対象物体を検出してその状況を推定する物体状況推定システム等として有用である。

【符号の説明】

【0090】

１ 物体状況推定システム
１０ カメラ
２０ 物体状況推定装置
２１ 物体候補領域抽出部
２１１ 背景差分演算部
２１２ フレーム間差分演算部
２２ 物体検出部
２２１ ＥＬＭ
２２２ 出力判定部
２３ 移動情報算出部
２３１ 動きベクトル算出部
２４ 学習データ生成部
２４１ 人物有無判定部
２４２ 人物向き判定部
２４３ 人物類似判定部
２５ 追加学習部
２５１ 人物辞書生成部
３１ 過去画像記憶部
３２ 背景画像記憶部
３３ 追加学習データ記憶部
３４ 人物辞書記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】