特許 7549478 物体検出装置、システム、および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-03

(45)【発行日】2024-09-11

(54)【発明の名称】物体検出装置、システム、および方法

(51)【国際特許分類】

   G06T 7/11 20170101AFI20240904BHJP

【ＦＩ】

G06T7/11

【請求項の数】 12

(21)【出願番号】P 2020125153

(22)【出願日】2020-07-22

(65)【公開番号】P2022021535

(43)【公開日】2022-02-03

【審査請求日】2023-03-22

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】小松 佑人

(72)【発明者】

【氏名】浜田 宏一

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０２０－０１４１０９（ＪＰ，Ａ）

【文献】特開２００３－１６２７９５（ＪＰ，Ａ）

【文献】特開２００６－３３８５９４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／１１

(57)【特許請求の範囲】

【請求項1】

所定の第１波長帯における物体からの光を検出することにより画像を撮影する第１撮像装置により所定の空間を撮影した第１画像を取得する第１画像取得部と、
前記第１波長帯と異なる第２波長帯における物体からの光を検出することにより画像を撮影する第２撮像装置により前記空間を撮影した第２画像を取得する第２画像取得部と、
前記空間にある物体までの距離を取得し、前記距離に基づいて、前記第１画像と前記第２画像から物体検出に用いる利用画像を決定する判定部と、
前記利用画像に含まれる検出対象である所定の対象物体を検出する検出処理部と、
を有し、
前記第１画像は所定の第１波長帯による画像であり、前記第２画像は、前記第１波長帯よりも短波長である第２波長帯による画像であり、
前記判定部は、前記物体までの距離が所定の閾値以下であれば前記第１画像を選択し、前記物体までの距離が前記閾値より大きければ前記第２画像を選択する、
物体検出装置。

【請求項2】

前記検出処理部は、前記第１画像が選択されたら、前記第１画像からルールベースで前記対象物体を検出し、前記第２画像が選択されたら、前記第２画像から学習ベースで前記対象物体を検出する、
請求項１に記載の物体検出装置。

【請求項3】

前記第１画像は、時系列に連なる複数の画像であり、
前記検出処理部は、
前記第１画像における所定の初期画像からエッジを検出し、前記エッジに基づく領域分割により、前記初期画像から対象物体の領域を特定し、
前記初期画像の後に連なる後続画像において、前記対象物体の領域の動きベクトルを算出する、
請求項２に記載の物体検出装置。

【請求項4】

前記検出処理部は、前記エッジに基づく領域分割により生じた領域から、前記対象物体が有する特徴量を有する領域を抽出し、前記対象物体が有しない特徴量を有する領域を除外することにより、前記対象物体の領域を特定する、
請求項３に記載の物体検出装置。

【請求項5】

前記第１画像が近赤外線による画像であり、前記第２画像が可視光による画像である、
請求項２に記載の物体検出装置。

【請求項6】

前記第１画像が遠赤外線による温度分布画像であり、前記第２画像が可視光による画像である、
請求項２に記載の物体検出装置。

【請求項7】

前記利用画像が前記第１撮像装置により撮影された画像か前記第２撮像装置により撮影された画像かを示す画像属性情報と、前記第１撮像装置および前記第２撮像装置が設置された場所を示す観測場所情報と、前記利用画像とを画面に表示するユーザインタフェース部を更に有する、
請求項１に記載の物体検出装置。

【請求項8】

所定の第１波長帯における物体からの光を検出することにより画像を撮影する第１撮像装置により所定の空間を撮影した第１画像を取得する第１画像取得部と、
前記第１波長帯と異なる第２波長帯における物体からの光を検出することにより画像を撮影する第２撮像装置により前記空間を撮影した第２画像を取得する第２画像取得部と、
前記第１画像と前記第２画像から物体検出に用いる利用画像を決定する判定部と、
前記利用画像に含まれる検出対象である所定の対象物体を検出する検出処理部と、
を有し、
前記第１撮像装置は、前記第１波長帯の光源を備え該光源からの光が物体から反射した光を検出することにより前記第１画像を撮影するものであり、前記光源からの光が前記物体で反射して戻るまでの時間に基づいて画素毎の前記物体までの距離を表す距離画像を更に撮影し、
前記第１画像取得部は、前記距離画像を更に取得し、
前記判定部は、前記距離画像に基づいて、前記第１画像と前記第２画像から前記利用画像を決定する、
物体検出装置。

【請求項9】

所定の第１波長帯における物体からの光を検出することにより画像を撮影する第１撮像装置と、
前記第１波長帯よりも短波長である第２波長帯における物体からの光を検出することにより画像を撮影する第２撮像装置と、
前記第１撮像装置により所定の空間を撮影した第１画像を取得し、前記第２撮像装置により前記空間を撮影した第２画像を取得し、前記空間にある物体までの距離を取得し、前記物体までの距離が所定の閾値以下であれば前記第１画像を選択し、前記物体までの距離が前記閾値より大きければ前記第２画像を選択することにより、前記第１画像と前記第２画像から物体検出に用いる利用画像を決定し、前記利用画像に含まれる検出対象である所定の対象物体を検出する物体検出装置と、
を有する物体検出システム。

【請求項10】

所定の第１波長帯の光源を備え該光源からの光が物体から反射した光を検出することにより画像を撮影するものであり、前記光源からの光が前記物体で反射して戻るまでの時間に基づいて画素毎の前記物体までの距離を表す距離画像を更に撮影する第１撮像装置と、
前記第１波長帯と異なる第２波長帯における物体からの光を検出することにより画像を撮影する第２撮像装置と、
前記第１撮像装置により所定の空間を撮影した第１画像と前記距離画像とを取得し、前記第２撮像装置により前記空間を撮影した第２画像を取得し、前記距離画像に基づいて、前記第１画像と前記第２画像から物体検出に用いる利用画像を決定し、前記利用画像に含まれる検出対象である所定の対象物体を検出する物体検出装置と、
を有する物体検出システム。

【請求項11】

コンピュータが、
所定の第１波長帯における物体からの光を検出することにより画像を撮影する第１撮像装置により所定の空間を撮影した第１画像を取得し、
前記第１波長帯よりも短波長である第２波長帯における物体からの光を検出することにより画像を撮影する第２撮像装置により前記空間を撮影した第２画像を取得し、
前記空間にある物体までの距離を取得し、前記物体までの距離が所定の閾値以下であれば前記第１画像を選択し、前記物体までの距離が前記閾値より大きければ前記第２画像を選択することにより、前記第１画像と前記第２画像から物体検出に用いる利用画像を決定し、
前記利用画像に含まれる検出対象である所定の対象物体を検出する、
ことを実行する物体検出方法。

【請求項12】

コンピュータが、
所定の第１波長帯における物体からの光を検出することにより画像を撮影し、前記第１波長帯の光源を備え該光源からの光が物体から反射した光を検出することにより前記画像を撮影するものであり、前記光源からの光が前記物体で反射して戻るまでの時間に基づいて画素毎の前記物体までの距離を表す距離画像を更に撮影する第１撮像装置により所定の空間を撮影した第１画像と前記距離画像を取得し、
前記第１波長帯と異なる第２波長帯における物体からの光を検出することにより画像を撮影する第２撮像装置により前記空間を撮影した第２画像を取得し、
前記距離画像に基づいて、前記第１画像と前記第２画像から物体検出に用いる利用画像を決定し、
前記利用画像に含まれる検出対象である所定の対象物体を検出する、
ことを実行する物体検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物体を検出する技術に関する。

【背景技術】

【0002】

特許文献１には物体検出装置が開示されている。特許文献１の物体検出装置は、撮影装置で取得された画像に含まれる物体を検出する。その撮影装置は、近赤外線カメラまたは可視光カメラである。すなわち、特許文献１の物体検出装置は、近赤外線カメラまたは可視光カメラで取得された画像に含まれる物体を検出するものである。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－０２７４０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された物体検出装置は、近赤外線カメラまたは可視光カメラのいずれか一方の撮影装置から画像を取得し、その画像における物体を検出する。例えば、物体検出装置が可視光カメラの画像を取得するものである場合、近赤外線カメラの画像からであれば検出できるであろう物体を検出できないという事態が起こり得る。また、その逆に、近赤外線カメラの画像を用いていることで、可視光カメラの画像からであれば検出できるであろう物体を検出できないという事態が起こり得る。

【0005】

本開示のひとつの目的は、多様な環境での物体の検出を可能にする技術を提供することである。

【課題を解決するための手段】

【0006】

本開示のひとつの態様に従う物体検出装置は、所定の第１波長帯における物体からの光を検出することにより画像を撮影する第１撮像装置により所定の空間を撮影した第１画像を取得する第１画像取得部と、前記第１波長帯と異なる第２波長帯における物体からの光を検出することにより画像を撮影する第２撮像装置により前記空間を撮影した第２画像を取得する第２画像取得部と、前記第１画像と前記第２画像から物体検出に用いる利用画像を決定する判定部と、前記利用画像に含まれる検出対象である所定の対象物体を検出する検出処理部と、を有する。

【発明の効果】

【0007】

本開示のひとつの態様によれば、多様な環境での物体の検出を可能にする技術を提供することが可能となる。

【図面の簡単な説明】

【0008】

【図1】物体検出システムの概略構成図である。

【図2】物体検出装置のブロック図である。

【図3】判定部１３および検出処理部１４による一連の処理を示すフローチャートである。

【図4】ルールベース物体検出処理のフローチャートである。

【図5】ルールベース物体検出処理のフローチャートである。

【図6】領域分割処理のフローチャートである。

【図7】物体検出システムの利用イメージを示す図である。

【図8】物体検出装置のハードウェア構成を示す図である。

【図9】変形例における判定部１３および検出処理部１４による一連の処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本開示の実施形態について図面を参照して説明する。

【0010】

図１は、物体検出システムの概略構成図である。物体検出システムは、空間９０内で所定の検出対象の物体（以下「対象物体」ともいう）を検出するシステムであり、物体検出装置１０と、ＴＯＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）センサ８１と、可視光カメラ８２と、モニタ８３とを有している。ＴＯＦセンサ８１と可視光カメラ８２は、対象物体の検出を行う空間９０に設置される。空間９０は、例えば、同一空間に多種類のエッジデバイスが併設されるマルチモーダル環境である。空間９０内には物体の例として人物９１、９２が存在している。ＴＯＦセンサ８１および可視光カメラ８２は有線や無線の通信回線により物体検出装置１０に接続される。

【0011】

ＴＯＦセンサ８１は、近赤外線の光源を備え、光源からの光が物体で反射した光を検出することにより、空間９０内の画像（以下「近赤外線画像」ともいう）を撮影する撮像装置である。一例として、ＴＯＦセンサ８１は、更に、画素毎の物体までの距離を示す画像（以下「距離画像」ともいう）も撮影する。なお、近赤外線画像を撮影するＴＯＦセンサ８１の代わりに、サーモグラフィカメラを用いてもよいサーモグラフィカメラは、物体から入射する遠赤外線の強度を検出し、画素毎に遠赤外線の強度すなわち物体の温度に応じた色を示す温度分布画像を撮影する。この温度分布画像を、ＴＯＦセンサ８１による近赤外線画像の代わりに用いればよい。

【0012】

可視光カメラ８２は、物体から入射する可視光を検出することにより、空間９０内の画像（以下「可視光画像」ともいう）を撮影する撮像装置である。

【0013】

物体検出装置１０は、例えば、マルチモーダル環境の空間９０で取得されるセンサデータから、好適なデータを自動的に取捨選択し、対象物体の良好な検出を実現する装置である。物体検出装置１０は、近赤外線画像と可視光画像から、物体の検出に用いる画像（以下「利用画像」ともいう）を決定し、その利用画像に含まれる対象物体を検出する装置である。物体検出装置１０は、例えば、近赤外線画像、可視光画像、および距離画像のいずれか１つあるいは複数に基づいて、利用画像を決定する。

【0014】

物体検出装置１０は、一例として、コンピュータがソフトウェアプログラムを実行することにより実現される。コンピュータの構成および配置は特に限定されない。例えば、コンピュータは、ユーザ自身が所有し管理するエッジコンピュータであってもよいし、クラウド上に提供されるクラウドコンピュータであってもよい。物体検出装置１０の構成および動作の詳細は後述する。

【0015】

モニタ８３は、物体検出装置１０による検出結果等を画面に表示する表示装置である。

【0016】

図２は、物体検出装置のブロック図である。物体検出装置１０は、近赤外線画像取得部１１と、近赤外線画像取得部１２と、判定部１３と、検出処理部１４と、ユーザインタフェース（ＵＩ）部１５とを有している。

【0017】

近赤外線画像取得部１１は、ＴＯＦセンサ８１から近赤外線画像のデータを取得する。また、近赤外線画像取得部１１は、ＴＯＦセンサ８１から距離画像のデータも取得してよい。可視光画像取得部１２は、可視光カメラ８２から可視光画像のデータを取得する。

【0018】

判定部１３は、近赤外線画像、可視光画像、距離画像のいずれか１つあるいは複数に基づいて、近赤外線画像と可視光画像から、利用画像を決定する。検出処理部１４は、利用画像を分析し、利用画像内に含まれる対象物体を検出する。判定部１３および検出処理部１４による一連の処理の詳細は後述する。

【0019】

ユーザインタフェース部１５は、物体検出装置１０が各種情報をユーザに提示し、またユーザから各種情報を取得するためのインタフェース部である。例えば、ユーザインタフェース部１５は、タッチパネル式ディスプレイのモニタ８３に表示する画面を生成し、モニタ８３の画面に対するタッチ操作により入力された情報を取得するものであってよい。

【0020】

図３は、判定部１３および検出処理部１４による一連の処理を示すフローチャートである。まず、判定部１３は、ステップ１０１にて、空間９０の奥行を算出する。空間９０の奥行を算出する手法は特に限定されないが、本実施形態では、距離画像に基づいて空間９０の奥行を算出する。例えば、距離画像における最も大きな距離値（画素値）を空間９０の奥行としてもよい。他の手法として、例えば、近赤外線画像を用い、ＴＯＦセンサ８１の焦点位置と近赤外線画像のぼやけ具合とから距離（奥行き）を推定することにしてもよい。ＴＯＦセンサ８１の代わりにサーモグラフィカメラを用いる場合には、距離画像が得られないので、本手法が有効である。なお、ここでいう奥行は、必ずしも水平方向の距離を意味するものではなく、例えば垂直方向など他の方向の距離であってもよい。次に、判定部１３は、ステップ１０２にて、空間９０の奥行が所定の閾値を超える値であるか否か判定する。閾値は任意に定めてよく、例えば５メートルとしてよい。

【0021】

ステップ１０２の判定で空間９０の奥行が閾値を超える値であれば、判定部１３は、ステップ１０３にて、近赤外線画像を利用画像として決定する。続いて、検出処理部１４は、ステップ１０４にて、ルールベース物体検出処理を実行することにより、空間９０内の対象物体を検出する。ルールベース物体検出処理は、予め設定された規則に従って対象物体を検出する処理である。ルールベース物体検出処理は、学習データを準備し学習する必要が無く、後述する学習ベース物体検出処理に比べると比較的簡易的な手法である。ルールベース物体検出処理の詳細は後述する。

【0022】

一方、ステップ１０２の判定で空間の奥行が閾値以下であれば、判定部１３は、ステップ１０５にて、可視光画像を利用画像として決定する。続いて、検出処理部１４は、ステップ１０６にて、学習ベース物体検出処理を実行することにより、空間９０内の対象物体を検出する。学習ベース物体検出処理では、予め収集された画像データを学習データとして、ディープラーニング等の学習を行い、予測モデルを生成しておき、検出処理部１４は、その予測モデルに基づいて、利用画像から対象物体を検出する。

【0023】

ステップ１０４の後またはステップ１０６の後、ユーザインタフェース部１５は、ステップ１０７にて、検出処理部１４による検出結果をモニタ８３の画面に表示することにより、ユーザに提示する。

【0024】

図４、図５は、ルールベース物体検出処理のフローチャートである。本実施形態による近赤外線画像は、複数のフレーム画像が時系列に連なる映像であるものとする。所定の初期画像とその後に連なる後続画像とに分けて異なる処理を行う。初期画像は１つである必要はなく、時間間隔を空けて繰り返し設けるといったように、任意に設けることができる。例えば、一定時間間隔で初期画像を設けてもよいし、３０フレーム毎、６０フレーム毎というように一定フレーム数間隔で初期画像を設けてもよい。

【0025】

図４に初期画像に対する処理が示され、図５に後続画像に対する処理が示されている。

【0026】

図４を参照すると、検出処理部１４は、ステップ２０１にて初期画像が入力すると、ステップ２０２にてその初期画像をグレースケールに変換する。続いて、検出処理部１４は、ステップ２０３にて前処理を実行する。

【0027】

前処理は、ステップ２０４の領域分割処理と、ステップ２０５のラベリングとを含む。ステップ２０４の領域分割処理にて、検出処理部１４は、初期画像における対象物体の領域を特定する。領域分割処理の詳細は後述する。ステップ２０５のラベリングにて、検出処理部１４は、ステップ２０４で特定された対象物体の領域にその領域を識別する固有の識別番号を付与する。この前処理にて、特定され、識別番号が付与された対象物体の領域が、後続画像において追跡される追跡領域となる。

【0028】

その後、ステップ２０６にて、検出処理部１４は、初期画像から特定された対象物体の領域の識別番号および特徴量を含むフレーム情報を保存する。領域の特徴量は、特に限定されないが、例えば、円形度、面積、濃淡、重心などであってよい。更に、ステップ２０７にて、ユーザインタフェース部１５は、ステップ２０１～２０６の一連の処理により初期画像から得られた情報を出力する。

【0029】

図５を参照すると、検出処理部１４は、ステップ３０１にて後続画像が入力すると、ステップ３０２にてその後続画像をグレースケールに変換する。続いて、検出処理部１４は、ステップ３０３にて追跡処理を実行する。

【0030】

追跡処理は、ステップ３０４の動きベクトル算出と、ステップ３０５の追跡領域毎の動きベクトルを算出とを含む。ステップ３０４の動きベクトル算出にて、検出処理部１４は、処理の対象となっている後続画像の前の画像に対するブロック単位の移動量を表す動きベクトルを算出する。ステップ３０５の追跡領域毎の移動ベクトルを算出にて、検出処理部１４は、ステップ３０４で算出された動きベクトルから、処理の対象となっている後続画像の前の画像に対する各追跡領域の移動量を表す動きベクトルを算出する。

【0031】

その後、ステップ３０６にて、検出処理部１４は、後続画像における追跡領域の識別番号および動きベクトルを含むフレーム情報を保存する。更に、ステップ３０７にて、ユーザインタフェース部１５は、ステップ３０１～３０６の一連の処理により後続画像から得られた情報を出力する。

【0032】

図６は、領域分割処理のフローチャートである。なお、ここでは一例として対象物体の形状は直線的でないものとする。

【0033】

まず、検出処理部１４は、ステップ４０１にて、上記したステップ２０２でグレースケールに変換された初期画像を取得する。検出処理部１４は、続いてステップ４０２にて、グレースケールの初期画像に対してエッジ検出を行い、検出されたエッジを表す画像（以下「エッジ画像」という）を生成する。エッジは、濃淡の変化が大きい部分であり、物体の輪郭に生じやすい。更に、検出処理部１４は、ステップ４０３にて、エッジ画像にハイパスフィルタを適用してノイズを除去し、ステップ４０４にて、ハイパスフィルタでノイズを除去したエッジ画像を２値化する。２値化したエッジ画像ではエッジが強調される。

【0034】

２値化したエッジ画像に対して、ステップ４０５～４０７の処理とステップ４０８～４１０の処理の２通りの処理が行われる。

【0035】

ステップ４０５では、検出処理部１４は、２値化したエッジ画像を、画素値によって区切られる領域に分割する。続いて、ステップ４０６では、検出処理部１４は、ステップ４０５で得られた各領域の特徴量を抽出する。領域の特徴量は、特に限定されないが、例えば、円形度、面積、濃淡、重心などであってよい。更に、ステップ４０７にて、検出処理部１４は、ステップ４０６で抽出された特徴量に基づき、ステップ４０５で得られた領域のうち対象物体と異なる特徴量を有する領域を除外し、対象物体の領域の候補を絞り込む。

【0036】

一方、ステップ４０８では、検出処理部１４は、２値化したエッジ画像から直線を検出する。続いて、ステップ４０９にて、検出処理部１４は、２値化したエッジ画像から、ステップ４０９で検出された直線の領域（以下「直線領域」という）を分割する。更に、ステップ４１０にて、検出処理部１４は、ステップ４１０で得られた直線領域の特徴量を抽出する。直線領域の特徴量は特に限定されないが、例えば、円形度、面積、濃淡、重心などであってよい。

【0037】

２値化したエッジ画像に対する２通りの処理が終わった後、ステップ４１１にて、検出処理部１４は、ステップ４０７で得られた領域のうちステップ４１０で得られた直線領域を除外し、残った領域を対象物体の領域とする。そして、ステップ４１２にて、検出処理部１４は、ステップ４０１～４１１の一連の処理により得られた対象物体の領域の情報を出力する。

【0038】

なお、上述した学習ベース物体検出処理において、本実施形態による可視光画像は、複数のフレーム画像が時系列に連なる映像であるものとし、予測モデルにより検出された対象物体の領域に対して、ステップ３０３の追跡処理を行って対象物体の領域の動きベクトルを算出し、ステップ３０６と同様に、その動きベクトルをフレーム情報として保存することにしてもよい。

【0039】

図７は、物体検出システムの利用イメージを示す図である。図７には、リビングを監視するシステムが例示されている。物体監視システムはリビングへの不審者の侵入を検出すると、検出結果の情報を出力する。したがって、この場合、人物が対象物体である。パーソナルコンピュータやスマートフォンなどの端末装置で物体検出装置１０に接続し、その画面により検出結果をリアルタイムで確認できる。

【0040】

ＴＯＦセンサ８１および可視光カメラ８２がリビングの空間９０を撮影可能に設置され、物体検出装置１０はクラウド上に構築されている。ユーザ９３は、パーソナルコンピュータ８４を用いて物体検出装置１０に接続し、リアルタイムで検出結果を確認している。

【0041】

パーソナルコンピュータ８４の画面には、監視場所８５として、システムによって監視している場所がリビングルームであり、利用画像８６として、可視光カメラ８２により撮影される可視光画像が画像となっていることが表示されている。更に、画面には、異常検知レベル８７としてレベル１と、近赤外線画像および可視光画像の時系列の物体検出精度８８と、トータルでのリアルタイムの物体検出精度８９とが示されている。また、パーソナルコンピュータ８４の画面に、ＴＯＦセンサ８１で撮影された近赤外線画像および可視光カメラ８２で撮影された可視光画像を切り替え可能に表示できてもよい。

【0042】

図８は、物体検出装置のハードウェア構成を示す図である。図８には、一例として、エッジコンピュータにより物体検出装置１０のハードウェア構成が示されている。

【0043】

物体検出装置１０は、ハードウェアとして、プロセッサ３１、メインメモリ３２、記憶装置３３、通信装置３４、入力装置３５、および表示装置３６を有し、それらがバス３７に接続されている。

【0044】

記憶装置３３は、書込みおよび読み出しが可能にデータを記憶するものであって、この記憶装置３３に各種データが記録される。プロセッサ３１は、記憶装置３３に記憶されたデータをメインメモリ３２に読み出し、メインメモリ３２を利用してソフトウェアプログラムの処理を実行する。プロセッサ３１によって、図２に示した近赤外線画像取得部１１、可視光画像取得部１２、判定部１３、検出処理部１４、およびユーザインタフェース部１５が実現される。通信装置３４は、プロセッサ３１にて処理された情報を有線または無線あるいはそれら両方を含む通信ネットワークを介して送信し、また通信ネットワークを介して受信した情報をプロセッサ３１に伝達する。受信した情報はプロセッサ３１にてソフトウェアの処理に利用される。入力装置３５は、キーボードやマウスなどオペレータによる操作入力による情報を受け付ける装置であり、入力された情報はプロセッサ３１にてソフトウェア処理に利用される。例えば、学習データは通信装置３４や入力装置３５を介して記憶装置３３に入力される。表示装置３６は、プロセッサ３１によるソフトウェア処理に伴って画像やテキストの情報をディスプレイ画面に表示する装置である。

【0045】

上述した本実施形態は、本開示の説明のための例示であり、発明の範囲をそれらの実施形態に限定する趣旨ではない。当業者は、発明の範囲を逸脱することなしに、他の様々な態様の実施が可能である。

【0046】

上述した実施形態では、物体検出装置１０は、図３にも示した通り、空間９０の奥行によって近赤外線画像か可視光画像のいずれかを利用画像として選択するものであった。しかし、変形例として、空間９０の奥行ではなく、物体までの距離によって近赤外線画像か可視光画像のいずれかを利用画像として選択することにしてもよい。そして、その際、空間９０内に複数の物体が存在する場合、近赤外線画像と可視光画像のいずれを利用画像とするかを物体毎あるいは空間９０内の領域毎に選択してもよい。

【0047】

以下、変形例について説明する。変形例における物体検出システムおよび物体検出装置の構成は基本的に図１、図２にも示した本実施形態のものと同様である。

【0048】

図９は、変形例における判定部１３および検出処理部１４による一連の処理を示すフローチャートである。まず、判定部１３は、ステップ５０１にて、空間９０に存在する物体までの距離を算出する。物体までの距離を算出する手法は特に限定されないが、本実施形態では、距離画像に基づいて物体までの距離を算出する。例えば、距離画像における、予め設定された奥行きよりも近い距離にある領域を物体とし、その距離（画素値）を物体までの距離としてもよい。物体は１つだけとは限らず、複数の物体があればそれぞれの物体までの距離を算出し、以下の処理をそれぞれの物体に対して実行してもよい。また、ここでいう距離は、必ずしも水平方向の距離を意味するものではなく、例えば垂直方向など他の方向の距離であってもよい。

【0049】

次に、判定部１３は、ステップ５０２にて、物体までの距離が所定の閾値を超える値であるか否か判定する。

【0050】

ステップ５０２の判定で物体までの距離が閾値を超える値であれば、判定部１３は、ステップ５０３にて、近赤外線画像を利用画像として決定する。続いて、検出処理部１４は、ステップ５０４にて、ルールベース物体検出処理を実行することにより、空間９０内の対象物体を検出する。ルールベース物体検出処理上述したものと同様である。

【0051】

一方、ステップ５０２の判定で物体までの距離が閾値以下であれば、判定部１３は、ステップ５０５にて、可視光画像を利用画像として決定する。続いて、検出処理部１４は、ステップ５０６にて、学習ベース物体検出処理を実行することにより、空間９０内の対象物体を検出する。学習ベース物体検出処理は上述したものと同様である。

【0052】

ステップ５０４の後またはステップ５０６の後、ユーザインタフェース部１５は、ステップ５０７にて、検出処理部１４による検出結果をモニタ８３の画面に表示することにより、ユーザに提示する。

【0053】

以上説明したように、本実施形態による物体検出装置１０は、第１波長帯における物体からの光を検出することにより画像を撮影する第１撮像装置（ＴＯＦセンサ８１）により所定の空間９０を撮影した第１画像を取得する第１画像取得部（近赤外線画像取得部１１）と、第１波長帯と異なる第２波長帯における物体からの光を検出することにより画像を撮影する第２撮像装置（可視光カメラ８２）により空間９０を撮影した第２画像を取得する第２画像取得部（可視光画像取得部１２）と、第１画像と第２画像から物体検出に用いる利用画像を決定する判定部１３と、利用画像に含まれる検出対象である所定の対象物体を検出する検出処理部１４と、を有する。これにより、性質の異なる第１画像と第２画像から利用画像を決定し、その利用画像から物体を検出するので、多様な環境における物体の良好な検出が可能になる。

【0054】

また、本実施形態では、物体検出装置１０において、判定部１３は、空間９０の奥行または空間９０にある物体までの距離を取得し、その奥行または距離に基づいて利用画像を決定する。これにより、検出対象の物体が置かれる環境に応じて第１画像または第２画像を利用するので、環境に適した画像により、物体の良好な検出が可能となる。

【0055】

また、本実施形態では、第１画像は所定の第１波長帯による画像であり、第２画像は、第１波長帯よりも短波長である第２波長帯による画像であり、判定部１３は、空間９０の奥行が所定の閾値以下であれば第１画像を選択し、空間９０の奥行が閾値より大きければ第２画像を選択する。これにより、検出対象の物体が比較的近距離の位置に置かれる環境では比較的長波長の第１画像を用い、検出対象の物体が比較的遠距離の位置に置かれる可能性のある環境では比較的短波長の第２画像を用いるので、距離に応じて好適な波長帯の光による画像により、物体の良好な検出が可能となる。

【0056】

あるいは、本実施形態において、第１画像は所定の第１波長帯による画像であり、第２画像は、第１波長帯よりも短波長である第２波長帯による画像であり、判定部１３は、物体までの距離が所定の閾値以下であれば第１画像を選択し、物体までの距離が閾値より大きければ第２画像を選択することにしてもよい。これにより、物体が比較的近距離の位置にある状況では比較的長波長の第１画像を用い、物体が比較的遠距離の位置にある状況では比較的短波長の第２画像を用いるので、状況応じた好適な波長帯の光による画像により、物体の良好な検出が可能となる。

【0057】

また、本実施形態の物体検出装置１０では、検出処理部１４は、第１画像が選択されたら、第１画像からルールベースで対象物体を検出し、第２画像が選択されたら、第２画像から学習ベースで対象物体を検出する。これにより、長波長で撮影した画像による比較的近距離にある物体の検出については比較的簡易的なルールベースにより物体の検出を行い、短波長で撮影した画像による比較的遠距離にある物体の検出については比較的緻密な学習ベースにより物体の検出を行うので、画像の種類に応じて所望の精度で物体を検出できる。

【0058】

また、本実施形態の物体検出装置１０では、第１画像は、時系列に連なる複数の画像であり、検出処理部１４は、第１画像における所定の初期画像からエッジを検出し、エッジに基づく領域分割により、初期画像から対象物体の領域を特定し、初期画像の後に連なる後続画像において、対象物体の領域の動きベクトルを算出する。

【0059】

また、検出処理部１４は、エッジに基づく領域分割により生じた領域から、対象物体が有する特徴量を有する領域を抽出し、対象物体が有しない特徴量を有する領域を除外することにより、対象物体の領域を特定する。これにより、対象物体が有する特徴量を有する領域を残し、対象物体が有しない特徴量を有する領域を除外するように、領域を絞り込むので、対象物体の領域を良好に特定することができる。

【0060】

また、本実施形態の物体検出装置１０では、第１画像が近赤外線による画像であり、第２画像が可視光による画像である。画像データが比較的少なく十分な学習データを収集するのが比較的困難な近赤外線画像についてはルールベースで物体の検出を行い、画像データが比較的豊富で学習データを比較的容易に収集できる可視光画像については学習ベースにより物体の検出を行うので、画像の種類に応じた好適な手法により、所望の精度で良好に物体の検出を行うことが可能となる。

【0061】

あるいは、本実施形態の物体検出装置１０では、第１画像が遠赤外線による温度分布画像であり、第２画像が可視光による画像であるとしてもよい。この場合も、画像データが比較的少なく十分な学習データを収集するのが比較的困難な遠赤外線による温度分布画像についてはルールベースで物体の検出を行い、画像データが比較的豊富で学習データを比較的容易に収集できる可視光画像については学習ベースにより物体の検出を行うので、画像の種類に応じた好適な手法により、所望の精度で良好に物体の検出を行うことが可能となる。

【0062】

また、本実施形態の物体検出装置１０では、利用画像が第１撮像装置により撮影された画像か第２撮像装置により撮影された画像かを示す画像属性情報と、第１撮像装置および第２撮像装置が設置された場所を示す観測場所情報と、利用画像とを画面に表示するユーザインタフェース部を更に有する。

【0063】

また、本実施形態の物体検出装置１０では、第１撮像装置は、第１波長帯の光源を備え光源からの光が物体から反射した光を検出することにより第１画像を撮影するものであり、光源からの光が物体で反射して戻るまでの時間に基づいて画素毎の物体までの距離を表す距離画像を更に撮影し、第１画像取得部は、距離画像を更に取得し、判定部１３は、距離画像に基づいて、第１画像と第２画像から利用画像を決定する。距離画像に基づいて利用画像を決定するので、多様な距離の物体の良好な検出が可能になる。

【符号の説明】

【0064】

１０…物体検出装置、１１…近赤外線画像取得部、１２…可視光画像取得部、１３…判定部、１４…検出処理部、１５…ユーザインタフェース部、３１…プロセッサ、３２…メインメモリ、３３…記憶装置、３４…通信装置、３５…入力装置、３６…表示装置、３７…バス、８１…TOFセンサ、８２…可視光カメラ、８３…モニタ、８４…パーソナルコンピュータ、８５…監視場所、８６…利用画像、８７…異常検知レベル、８８…物体検出精度、８９…物体検出精度、９０…空間、９１、９２…人物、９３…ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】