特許 7503750 物体検知システム及び物体検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-13

(45)【発行日】2024-06-21

(54)【発明の名称】物体検知システム及び物体検知方法

(51)【国際特許分類】

   G01S 7/4861 20200101AFI20240614BHJP

   G01S 17/894 20200101ALI20240614BHJP

   G01S 17/18 20200101ALI20240614BHJP

【ＦＩ】

G01S7/4861

G01S17/894

G01S17/18

【請求項の数】 15

(21)【出願番号】P 2022532459

(86)(22)【出願日】2021-05-28

(86)【国際出願番号】 JP2021020469

(87)【国際公開番号】W WO2021256223

(87)【国際公開日】2021-12-23

【審査請求日】2022-09-14

(31)【優先権主張番号】P 2020106125

(32)【優先日】2020-06-19

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】湯浅 佑亮

(72)【発明者】

【氏名】齋藤 繁

(72)【発明者】

【氏名】香山 信三

(72)【発明者】

【氏名】廣瀬 裕

(72)【発明者】

【氏名】小田川 明弘

【審査官】安井 英己

(56)【参考文献】

【文献】米国特許第０４８５４６９８（ＵＳ，Ａ）

【文献】特開２０１０－００８０９３（ＪＰ，Ａ）

【文献】米国特許第０８９８８６６２（ＵＳ，Ｂ１）

【文献】中国特許出願公開第１０２７３６０８５（ＣＮ，Ａ）

【文献】特開２０１０－１４５２５５（ＪＰ，Ａ）

【文献】特開２００２－２２８７５０（ＪＰ，Ａ）

【文献】特開２００６－３２２７９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８－ ７／５１，

Ｇ０１Ｓ １７／００－１７／９５

(57)【特許請求の範囲】

【請求項1】

光を出射する発光部と、
前記光が対象空間における測距可能範囲で反射された反射光を受光する光センサと、
前記発光部及び前記光センサを制御する制御部と、
前記光センサで生成される電気信号で示される情報を処理する信号処理部とを備え、
前記制御部は、前記測距可能範囲を区分して構成される複数の距離区間について、前記光センサに含まれる複数の画素のうちで前記光を受け取った画素からの信号である距離区間信号が前記光センサから出力されるように、前記発光部及び前記光センサを制御し、
前記信号処理部は、
それぞれが対応する前記距離区間について出力された前記距離区間信号に基づいて対象物の特徴を示す対象物情報を生成する並列動作可能な複数の生成部を有し、かつ、前記光センサから出力される前記距離区間信号に基づいて、前記複数の距離区間について、前記光センサによって検出された対象物の特徴を示す対象物情報をそれぞれ生成する対象物情報生成部と、
前記対象物情報生成部が生成した前記複数の距離区間に対応する前記対象物情報を記憶する記憶部と、
前記複数の距離区間に対応する前記対象物情報を出力する出力部とを備え、
前記対象物情報生成部は、前記複数の距離区間について、前記記憶部に記憶された過去の前記対象物情報と、前記光センサによって検出された現在の前記対象物の特徴とを比較することで、前記対象物情報を生成し、
前記複数の生成部の各々は、前記並列動作として、前記距離区間信号が入力されると、他の生成部での処理の完了を待たずに、直ちに処理を開始する、
物体検知システム。

【請求項2】

光を出射する発光部と、
前記光が対象空間における測距可能範囲で反射された反射光を受光する光センサと、
前記発光部及び前記光センサを制御する制御部と、
前記光センサで生成される電気信号で示される情報を処理する信号処理部とを備え、
前記制御部は、前記測距可能範囲を区分して構成される複数の距離区間について、前記光センサに含まれる複数の画素のうちで前記光を受け取った画素からの信号である距離区間信号が前記光センサから出力されるように、前記発光部及び前記光センサを制御し、
前記信号処理部は、
それぞれが対応する前記距離区間について出力された前記距離区間信号に基づいて対象物の特徴を示す対象物情報を生成する並列動作可能な複数の生成部を有する対象物情報生成部と、
前記対象物情報生成部が生成した前記複数の距離区間に対応する前記対象物情報を記憶する記憶部とを備え、
前記対象物情報生成部は、前記複数の距離区間について、前記記憶部に記憶された過去の前記対象物情報と、前記光センサによって検出された現在の前記対象物の特徴とを比較することで、前記対象物情報を生成し、
前記複数の生成部の各々は、前記並列動作として、前記距離区間信号が入力されると、他の生成部での処理の完了を待たずに、直ちに処理を開始する、
物体検知システム。

【請求項3】

前記光センサから出力される前記複数の距離区間に対応する複数の前記距離区間信号から合成画像を生成する合成画像生成部を備え、
前記出力部は、前記合成画像生成部で生成された前記合成画像を出力する、
請求項１に記載の物体検知システム。

【請求項4】

前記記憶部は、少なくとも前記複数の距離区間の一つに対応する参照画像を記憶し、
前記対象物情報生成部は、前記記憶部に記憶された前記参照画像に対応する距離区間に関連する前記距離区間信号と前記参照画像とを比較することで、前記対象物情報を生成する、
請求項１から３のいずれかに記載の物体検知システム。

【請求項5】

前記対象物情報生成部は、前記合成画像を用いて前記対象物情報の補正を行う、
請求項３に記載の物体検知システム。

【請求項6】

前記対象物情報生成部は、前記複数の距離区間の前記距離区間信号を用いて前記対象物情報の補正を行う、
請求項１から５のいずれかに記載の物体検知システム。

【請求項7】

前記対象物情報生成部は、前記複数の距離区間の前記距離区間信号を用いて、前記対象物の３次元空間上の位置に関する対象物位置情報を生成し、現在の対象物と同一の過去の対象物の前記対象物位置情報を利用して、前記対象物の移動速度を算出する、
請求項１から６のいずれかに記載の物体検知システム。

【請求項8】

前記制御部は、前記距離区間の数、前記距離区間の距離幅又は前記対象物情報を生成する対象となる前記距離区間が変わるように、前記発光部及び前記光センサへの制御信号を変更する、
請求項１から７のいずれかに記載の物体検知システム。

【請求項9】

前記制御部は、前記複数の距離区間のうち、対象物の未来の予測位置を含まない距離区間に対応する距離区間信号が前記光センサから出力されないように、前記発光部及び前記光センサへの制御信号を変更する、
請求項８に記載の物体検知システム。

【請求項10】

前記制御部は、前記測距可能範囲を、対象物の未来の予測位置が含まれる距離幅に縮小し、かつ、前記複数の距離区間の距離幅が短くなるように、前記発光部及び前記光センサへの制御信号を変更する、
請求項８に記載の物体検知システム。

【請求項11】

前記複数の距離区間に対応する前記対象物情報の少なくとも一つが所定の条件を満たす場合に、前記対象物情報生成部は、当該対象物情報のさらなる生成若しくは当該対象物情報を前記記憶部に記憶させることを中止する、又は、前記出力部は、当該対象物情報の出力を中止する、
請求項１に記載の物体検知システム。

【請求項12】

光を出射する発光部と、前記光が対象空間における測距可能範囲で反射された反射光を受光する光センサとを備える物体検知システムによる物体検知方法であって、
前記発光部及び前記光センサを制御する制御ステップと、
前記光センサで生成される電気信号で示される情報を処理する信号処理ステップとを含み、
前記制御ステップでは、前記測距可能範囲を区分して構成される複数の距離区間について、前記光センサに含まれる複数の画素のうちで前記光を受け取った画素からの信号である距離区間信号が前記光センサから出力されるように、前記発光部及び前記光センサを制御し、
前記信号処理ステップでは、
それぞれが対応する前記距離区間について出力された前記距離区間信号に基づいて対象物の特徴を示す対象物情報を生成する並列動作可能な複数の生成部により、前記光センサから出力される前記距離区間信号に基づいて、前記複数の距離区間について、前記光センサによって検出された対象物の特徴を示す対象物情報をそれぞれ生成する対象物情報生成サブステップと、
前記対象物情報生成サブステップで生成した前記複数の距離区間に対応する前記対象物情報を記憶部に記憶させる記憶サブステップと、
前記複数の距離区間に対応する前記対象物情報を出力する出力サブステップと、
を含み、
前記対象物情報生成サブステップでは、前記複数の距離区間について、前記記憶部に記憶された過去の対象物情報と、前記光センサによって検出された現在の対象物の特徴とを比較することで、前記対象物情報を生成し、
前記複数の生成部の各々は、前記並列動作として、前記距離区間信号が入力されると、他の生成部での処理の完了を待たずに、直ちに処理を開始する、
物体検知方法。

【請求項13】

光を出射する発光部と、前記光が対象空間における測距可能範囲で反射された反射光を受光する光センサとを備える物体検知システムによる物体検知方法であって、
前記発光部及び前記光センサを制御する制御ステップと、
前記光センサで生成される電気信号で示される情報を処理する信号処理ステップとを含み、
前記制御ステップでは、前記測距可能範囲を区分して構成される複数の距離区間について、前記光センサに含まれる複数の画素のうちで前記光を受け取った画素からの信号である距離区間信号が前記光センサから出力されるように、前記発光部及び前記光センサを制御し、
前記信号処理ステップでは、
並列動作可能な複数の生成部により、それぞれが対応する前記距離区間について出力された前記距離区間信号に基づいて対象物の特徴を示す対象物情報を生成する対象物情報生成サブステップと、
前記対象物情報生成サブステップで生成した前記複数の距離区間に対応する前記対象物情報を記憶部に記憶させる記憶サブステップと、
を含み、
前記対象物情報生成サブステップでは、前記複数の距離区間について、前記記憶部に記憶された過去の対象物情報と、前記光センサによって検出された現在の対象物の特徴とを比較することで、前記対象物情報を生成し、
前記複数の生成部の各々は、前記並列動作として、前記距離区間信号が入力されると、他の生成部での処理の完了を待たずに、直ちに処理を開始する、
物体検知方法。

【請求項14】

前記制御ステップは、前記距離区間の数、前記距離区間の距離幅又は前記対象物情報を生成する対象となる前記距離区間が変わるように、前記発光部及び前記光センサへの制御信号を変更する、
請求項１２又は１３記載の物体検知方法。

【請求項15】

請求項１２から１４のいずれかに記載の物体検知方法に含まれる全てのステップ及びサブステップをコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物体検知システム及び物体検知方法に関し、より詳細には、対象物までの距離についての情報を処理する物体検知システム及び物体検知方法に関する。

【背景技術】

【0002】

特許文献１は、撮像装置により取り込まれる一連の画像データにおいて、撮像視野内の侵入物体や移動物体を検出し、それらの物体を含む一連の画像データを記録する画像監視装置を開示する。この画像監視装置は、監視区域を撮像し量子化された画像データを入力する撮像手段と、前記画像データを記憶する入力画像記憶手段と、監視区域の背景画像を記憶する基準画像記憶手段と、入力画像と基準画像の差分画像を出力する差分演算手段と、前記差分画像について１フレーム前の物体位置との比較により移動物体を検出し、同時に移動物体を除く領域の画素を入力画像の値で更新する動物体検出手段と、入力画像を表示し移動物体の検出結果を通報する表示手段と、を備える。

【0003】

特許文献２は、精度の高いトラッキングを継続する情報処理装置を開示する。この情報処理装置は、複数の時点における、物体の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応付けられた情報を取得する取得部と、前記取得部により以前に取得された前記情報における前記所定の物体の位置に基づき、前記取得部により今回取得された前記情報における前記所定の物体の位置を予測する予測部と、今回の前記情報から、前記所定の物体の位置に応じた所定の条件を満たす複数の物体を抽出し、前記複数の物体の各画像と、前記所定の物体の画との類似度に基づいて、今回の前記情報における前記複数の物体のうち、以前の前記情報における前記所定の物体と同一の物体を抽出する抽出部と、を備える。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第３４２３６２４号公報

【文献】特開２０１８－８８２３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示は、高速に物体を検知する物体検知システム及び物体検知方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本開示の一形態における物体検知システムは、光を出射する発光部と、前記光が対象空間における測距可能範囲で反射された反射光を受光する光センサと、前記発光部及び前記光センサを制御する制御部と、前記光センサで生成される電気信号で示される情報を処理する信号処理部とを備え、前記制御部は、前記測距可能範囲を区分して構成される複数の距離区間について、前記光センサに含まれる複数の画素のうちで前記光を受け取った画素からの信号である距離区間信号が前記光センサから出力されるように、前記発光部及び前記光センサを制御し、前記信号処理部は、それぞれが対応する前記距離区間について出力された前記距離区間信号に基づいて対象物の特徴を示す対象物情報を生成する並列動作可能な複数の生成部を有し、かつ、前記光センサから出力される前記距離区間信号に基づいて、前記複数の距離区間について、前記光センサによって検出された対象物の特徴を示す対象物情報をそれぞれ生成する対象物情報生成部と、前記対象物情報生成部が生成した前記複数の距離区間に対応する前記対象物情報を記憶する記憶部と、前記複数の距離区間に対応する前記対象物情報を出力する出力部とを備え、前記対象物情報生成部は、前記複数の距離区間について、前記記憶部に記憶された過去の前記対象物情報と、前記光センサによって検出された現在の前記対象物の特徴とを比較することで、前記対象物情報を生成し、前記複数の生成部の各々は、前記並列動作として、前記距離区間信号が入力されると、他の生成部での処理の完了を待たずに、直ちに処理を開始する。

【0007】

上記目的を達成するために、本開示の一形態における物体検知方法は、光を出射する発光部と、前記光が対象空間における測距可能範囲で反射された反射光を受光する光センサとを備える物体検知システムによる物体検知方法であって、前記発光部及び前記光センサを制御する制御ステップと、前記光センサで生成される電気信号で示される情報を処理する信号処理ステップとを含み、前記制御ステップでは、前記測距可能範囲を区分して構成される複数の距離区間について、前記光センサに含まれる複数の画素のうちで前記光を受け取った画素からの信号である距離区間信号が前記光センサから出力されるように、前記発光部及び前記光センサを制御し、前記信号処理ステップでは、それぞれが対応する前記距離区間について出力された前記距離区間信号に基づいて対象物の特徴を示す対象物情報を生成する並列動作可能な複数の生成部により、前記光センサから出力される前記距離区間信号に基づいて、前記複数の距離区間について、前記光センサによって検出された対象物の特徴を示す対象物情報をそれぞれ生成する対象物情報生成サブステップと、前記対象物情報生成サブステップで生成した前記複数の距離区間に対応する前記対象物情報を記憶部に記憶させる記憶サブステップと、前記複数の距離区間に対応する前記対象物情報を出力する出力サブステップとを含み、前記対象物情報生成サブステップでは、前記複数の距離区間について、前記記憶部に記憶された過去の対象物情報と、前記光センサによって検出された現在の対象物の特徴とを比較することで、前記対象物情報を生成し、前記複数の生成部の各々は、前記並列動作として、前記距離区間信号が入力されると、他の生成部での処理の完了を待たずに、直ちに処理を開始する。

【発明の効果】

【0008】

本開示における物体検知システム及び物体検知方法は、高速に物体を検知することが可能である。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態における物体検知システムの構成を示す図である。

【図2】図２は、実施の形態における物体検知システムによる対象物までの距離の測定方法の概略を示す図である。

【図3A】図３Ａは、実施の形態における物体検知システムに含まれる情報処理システムの構成を示す図である。

【図3B】図３Ｂは、本実施の形態における物体検知システムに含まれる情報処理システムの処理を示すタイミングチャートである。

【図4】図４は、実施の形態における物体検知システムの対象物情報生成部が行う処理の流れを示すフローチャートである。

【図5】図５は、実施の形態における物体検知システムの対象物情報生成部による距離区間画像生成処理の一例を説明する図である。

【図6】図６は、実施の形態における物体検知システムの対象物情報生成部による速度生成処理を説明する図である。

【図7】図７は、実施の形態における物体検知システムの対象物情報生成部によって生成され得る対象物情報の一例を説明する図である。

【図8】図８は、実施の形態における物体検知システムの対象物情報生成部による測距の設定変更の一例を説明する図である。

【図9A】図９Ａは、実施の形態における物体検知システムの提示部が表示する画像の一例を説明する図である。

【図9B】図９Ｂは、実施の形態における物体検知システムの対象物情報生成部による輝度画像を用いた物体の中心座標の補正を説明する図である。

【図9C】図９Ｃは、実施の形態における物体検知システムの対象物情報生成部による複数の距離区間の距離区間信号を用いた物体の奥行距離の算出方法を説明する図である。

【図10】図１０は、実施の形態における物体検知システム内での処理の順番の一例を示すタイミングチャートである。

【図11】図１１は、実施の形態の変化例における対象物情報生成部による測距の一例を説明する図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、又は、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が必要以上に冗長になるのを避け、当業者の理解を容易にするためである。

【0011】

なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することを意図していない。

【0012】

以下、図１～図１１を用いて、実施の形態を説明する。

【0013】

［１．構成］
［１－１．物体検知システムの構成］
図１は、実施形態に係る物体検知システム２００の構成を示す図である。なお、図１には、物体検知システム２００と通信路を介して接続される外部装置５も合わせて図示されている。図１に示すように、物体検知システム２００は、情報処理システム１００と、発光部１と、光センサ２と、提示部４とを備える。物体検知システム２００は、直接ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を利用して複数の距離区間の各々について物体を検知するシステムである。外部装置５は、半導体メモリ等の記憶装置、コンピュータ装置、ディスプレイ等である。

【0014】

発光部１は、制御部１０１ａによる制御の下で対象物に測定光を出射するための光源を備える。測定光は、パルス状の光である。ＴＯＦ方式を利用した距離測定において、測定光は、単一波長であり、パルス幅が比較的短く、ピーク強度が比較的高いことが好ましい。また、物体検知システム２００（より厳密には、光センサ２）を市街地等で利用することを考慮して、測定光の波長は、人間の視感度が低く、太陽光からの外乱光の影響を受けにくい近赤外帯の波長域であることが好ましい。本実施形態では、光源は、例えばレーザーダイオードで構成されており、パルスレーザを出力する。光源が出力するパルスレーザの強度は、レーザ製品の安全基準（ＪＩＳ Ｃ ６８０２）のクラス１又はクラス２の基準を満たしている。なお、光源は、上記の構成に限らず、発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、面発光レーザ（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ ＬＡＳＥＲ）、ハロゲンランプ等であってもよい。また、測定光は、近赤外帯とは異なる波長域であってもよい。

【0015】

光センサ２は、測定光が対象空間における測距可能範囲で反射された反射光を受光するセンサであり、複数の画素を含む画素部を備える。各画素には、アバランシェフォトダイオードが配置されている。各画素に他の光検出素子が配置されても良い。各画素は、反射光を受光する露光状態と、反射光を受光しない非露光状態とを制御部１０１ａによる制御の下で切り替え可能に構成されている。光センサ２は、露光状態において各画素で受光した反射光に基づく電荷を出力する。

【0016】

情報処理システム１００は、発光部１及び光センサ２を制御する制御部１０１ａと、光センサ２で生成される電気信号で示される情報を処理する信号処理部１０１ｂとを備える。制御部１０１ａは、測距可能範囲を区分して構成される複数の距離区間の各々について、光センサ２に含まれる複数の画素のうちで光を受け取った画素からの信号である距離区間信号が光センサ２から出力されるように、発光部１及び光センサ２を制御する（つまり、制御ステップを実行する）。

【0017】

信号処理部１０１ｂは、光センサ２で生成される電気信号で示される情報を処理する（つまり、信号処理ステップを実行する）。そのために、信号処理部１０１ｂは、光センサ２から出力される距離区間信号に基づいて、複数の距離区間の各々において光センサ２によって検出された対象物の特徴を示す対象物情報を生成する（つまり、対象物情報生成サブステップを実行する）並列処理可能な複数の生成部（第１生成部～第５生成部）を有する対象物情報生成部１０２と、光センサ２から出力される複数の距離区間に対応する複数の距離区間信号から合成画像を生成する（つまり、合成画像生成サブステップを実行する）合成画像生成部１０４と、対象物情報生成部１０２が生成した複数の距離区間の各々に対応する対象物情報を記憶する（つまり、記憶サブステップを実行する）記憶部１０３と、複数の距離区間の各々に対応する対象物情報及び合成画像を外部装置５に出力する出力部１０５とを備える。対象物情報生成部１０２は、複数の距離区間の各々について、記憶部１０３に記憶された過去の対象物情報と、光センサ２によって検出された現在の対象物の特徴とを比較することで、対象物情報を生成する。

【0018】

物体検知システム２００では、各距離区間について、測定光の発光及び光センサ２の各画素の露光動作からなる受光を一回以上行い、各画素は、受光動作のうちで光を受け取った回数分に相当する電気信号を出力する。受光動作を行う回数（受光回数）は、特に限定されないが、一例において５０回程度であっても良い。

【0019】

［１－２．距離測定の概要］
図２は、実施形態に係る物体検知システム２００による対象物までの距離の測定方法の概略を示す図である。

【0020】

物体検知システム２００は、図１に示すように、発光部１から出射される測定光が対象物で反射された光を利用して、対象物までの距離を測定する。物体検知システム２００は、例えば、自動車に搭載され障害物を検知する車載物体検知システム、物体あるいは人等を検知する監視カメラ、セキュリティカメラ等に利用することができる。

【0021】

物体検知システム２００は、対象空間の測距可能範囲ＦＲに存在する対象物までの距離を測定する。測距可能範囲ＦＲは、制御部１０１ａによる制御の下で、発光部１が測定光を出射してから、光センサ２が露光動作を最後に行うまでの時間（設定時間）に応じて決まる。測距可能範囲ＦＲは特に限定されないが、一例として、数十ｃｍ～数十ｍである。物体検知システム２００では、測距可能範囲ＦＲが固定であっても良いし、可変に設定可能であっても良い。ここでは、可変に設定可能であるものとする。

【0022】

より詳細には、対象物情報生成部１０２は、測距可能範囲ＦＲに含まれる、１つ以上（ここでは例として５つ）の距離区間Ｒ１～Ｒ５の各々において、対象物の存在の有無を判定する。また、対象物情報生成部１０２は、対象物が存在すると判定された距離区間については、この対象物の特徴量に関する情報である対象物情報を生成する。複数の距離区間Ｒ１～Ｒ５は、発光部１が測定光を出射した時点からの経過時間の違いに応じて、測距可能範囲ＦＲを切り取った区間である。つまり、測距可能範囲ＦＲは、複数の距離区間Ｒ１～Ｒ５で構成されている。ここでは、複数の距離区間Ｒ１～Ｒ５は、同じ長さとする。特に限定されないが、一例として、複数の距離区間Ｒ１～Ｒ５の各々は数ｃｍ～数ｍである。なお、複数の距離区間Ｒ１～Ｒ５は、必ずしも同じ長さである必要はなく、距離区間の数も特に限定されない。距離区間の数は、典型的には１～１５の中から選択されうる。さらに、距離区間間の間隔も特に限定されない。例えば、ある距離区間と、隣接する距離区間との間隔を数ｍ空けて、該間隔を測距しないという設定にしても良く、いくつかの距離区間の一部が重なるように設定しても良い。ここでは、例として距離区間間の間隔はなく、重なりもないものとする。

【0023】

制御部１０１ａは、例えば、発光部１が測定光を出射してから、複数の距離区間Ｒ１～Ｒ５のうちで対象とする距離区間の最近点までの距離の２倍に対応する時間の経過時点で、光センサ２での画素の露光を開始するように、発光部１及び光センサ２を制御する。また、制御部１０１ａは、この距離区間の最遠点までの距離の２倍に対応する時間の経過時点で、光センサ２での画素の露光を終了する（露光動作の終了）ように、光センサ２を制御する。このように光センサ２を動作させれば、対象とする距離区間内に対象物が存在する場合には、光センサ２の複数の画素のうちで、対象物の、物体検知システム２００の光軸と垂直な平面内での位置に対応する領域の画素で、光が受光される。これにより、対象物情報生成部１０２は、対象とする距離区間において、対象物の存在の有無及び対象物の２次元位置についての情報を得ることができる。また、対象物情報生成部１０２は、複数の画素の各々に対して、光を受け取ったか否かに応じて「１」又は「０」の値を割り当てることで、対象とする距離区間において対象物が存在する二次元位置を示す二値画像（距離区間画像）を生成することができる。

【0024】

なお、制御部１０１ａは、各距離区間での測定において、測定光の発光及び光センサ２の各画素の露光動作からなる受光を、複数回行ってもよい。この場合には、対象物情報生成部１０２は、各画素において光を受け取った回数（受光回数）が閾値を超えると、この画素に対応する位置に対象物があると判定してもよい。受光動作を複数回行うことで、ノイズ等の影響が軽減されうる。

【0025】

対象物情報生成部１０２は、複数の距離区間Ｒ１～Ｒ５の各々で上記の動作を行うことで、各距離区間での対象物の存在の有無の判定、対象物情報の取得を行うことが可能となる。

【0026】

図２の例を用いて、上記の物体検知システム２００の動作をより詳細に説明する。図２の例では、複数の距離区間Ｒ１～Ｒ５の各々に、対象物が存在している。距離区間Ｒ１には対象物として木が存在し、距離区間Ｒ２には対象物として電柱が存在し、距離区間Ｒ３には対象物として人が存在し、距離区間Ｒ４には対象物として木が存在し、距離区間Ｒ５には対象物としてフェンスが存在している。以下では便宜上、物体検知システム２００から距離区間Ｒ１までの距離をＤ０、距離区間Ｒ１～Ｒ５の長さをそれぞれＤ１～Ｄ５とする。なお、物体検知システム２００から距離区間Ｒ１の最遠点までの距離はＤ０＋Ｄ１に相当する。また、Ｄ０は、例として０ｍとする。また、測距可能範囲ＦＲの奥行の幅は、Ｄ０＋Ｄ１＋Ｄ２＋Ｄ３＋Ｄ４＋Ｄ５で表わされる。

【0027】

例えば、距離区間Ｒ１での対象物の存在の有無を判定する場合、物体検知システム２００では、制御部１０１ａによる制御の下で、発光部１が測定光を出射してから、時間（２×（Ｄ０＋Ｄ１）／ｃ）が経過した時点で光センサ２の露光を終了する。ここで、ｃは光速である。図２に示すように、距離区間Ｒ１では、対象物としての人が、光センサ２の複数の画素のうちで下側の画素の領域に対応する位置に存在している。そのため、光センサ２では、人の存在位置に対応する領域の画素では、光を受け取った受光回数が閾値を超え、その他の画素では受光回数が閾値を超えない。これにより、対象物情報生成部１０２により、距離区間Ｒ１については、距離区間Ｒ１に存在する対象物を示す画像として、図２に示す距離区間画像Ｉｍ１が得られる。

【0028】

距離区間Ｒ２～Ｒ５についても同様にして、対象物情報生成部１０２により、図２に示す距離区間画像Ｉｍ３～Ｉｍ５がそれぞれ得られる。

【0029】

なお、例えば距離区間Ｒ４に存在する対象物である木の一部は、実際にはそれより物体検知システム２００に近い距離区間Ｒ３に存在する対象物である人によって隠される。ただし、図２では、簡単のため、距離区間画像Ｉｍ４において実際の木の形状を示している。他の距離区間画像についても、同様である。

【0030】

合成画像生成部１０４は、さらに、複数の距離区間Ｒ１～Ｒ５について得られた複数の距離区間画像Ｉｍ１～Ｉｍ５を合成することで、合成画像の一例として、測距可能範囲ＦＲについての距離画像Ｉｍ１００を生成する。具体的には、合成画像生成部１０４は、複数の距離区間画像Ｉｍ１～Ｉｍ５のうちで、対象物に対応する領域の画素に、距離区間Ｒ１～Ｒ５ごとに異なる重みを付与して、複数の距離区間画像Ｉｍ１～Ｉｍ５を重ね合わせる。これにより、例えば図２に示す距離画像Ｉｍ１００が生成される。距離画像Ｉｍ１００は、合成画像生成部１０４によって生成される合成画像の一例であり、二値画像である複数の距離区間画像が重みづけて合成された画像である。なお、複数の距離区間画像の合成では、距離区間Ｒ１～Ｒ５ごとに異なる重みを付与することは、必ずしも必須ではなく、同じ重みによる合成であってもよいし、同じ画素位置における論理和等であってもよい。

【0031】

合成画像生成部１０４は、合成画像として、距離画像Ｉｍ１００の生成に加えて、輝度画像の生成も行う。つまり、合成画像生成部１０４は、さらに、複数の距離区間Ｒ１～Ｒ５について、それぞれ１回以上の露光動作を実行して得られた電気信号を、画素毎に加算する。これにより、例えば、各画素の輝度を８ビットで示す輝度画像が生成される。輝度画像は、合成画像生成部１０４によって生成される合成画像の他の一例であり、各画素の輝度を示す情報から構成される画像である。

【0032】

本実施形態の物体検知システム２００では、上述のような動作で、距離区間画像Ｉｍ１～Ｉｍ５、距離画像Ｉｍ１００及び輝度画像を生成することが可能となる。

【0033】

なお、物体検知システム２００は、必ずしも距離区間画像Ｉｍ１～Ｉｍ５を生成しなくてよく、距離区間画像Ｉｍ１～Ｉｍ５を生成しうる情報（信号）を生成すればよい。例えば、受光回数に関する情報を画素毎に保有した画像を、「距離区間画像Ｉｍ１～Ｉｍ５を生成しうる情報」として、生成してもよい。距離画像Ｉｍ１００及び輝度画像についても同様である。

【0034】

［１－３．情報処理システムの構成］
図１に示すように、情報処理システム１００は、制御部１０１ａと、信号処理部１０１ｂと、出力部１０５と、提示部４と、を備える。制御部１０１ａ及び信号処理部１０１ｂは、例えば、１以上のプロセッサと１以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラムを実行することで、制御部１０１ａ及び信号処理部１０１ｂとして機能する。プログラムは、ここではメモリに予め記録されているが、インターネット等の電気通信回路を通じて、又はメモリカード等の非一時的な記憶媒体に記録されて提供されても良い。

【0035】

制御部１０１ａは、発光部１及び光センサ２の制御を行うように構成される。

【0036】

発光部１については、制御部１０１ａは、発光部１の光源から測定光を出力させるタイミング（発光タイミング）、発光部１の光源から出力される測定光のパルス幅等を制御する。

【0037】

光センサ２については、制御部１０１ａは、光センサ２の各画素を露光状態にするタイミング（露光タイミング）、露光期間、電気信号の読み出しタイミング等を制御する。

【0038】

制御部１０１ａは、例えば、内部に記憶されたタイミングに基づいて、発光部１での発光タイミング及び光センサ２での各動作タイミングを制御する。

【0039】

制御部１０１ａは、測距可能範囲ＦＲを構成する複数の距離区間Ｒ１～Ｒ５について、順次、距離の測定を行う。すなわち、制御部１０１ａは、まず、物体検知システム２００に最も近い距離区間Ｒ１について、発光部１の発光及び光センサ２の露光を行うことで、光センサ２から、距離区間Ｒ１に関する距離区間信号Ｓｉ１を生成させる。次に、制御部１０１ａは、物体検知システム２００に二番目に近い距離区間Ｒ２について、発光部１の発光及び光センサの露光を行うことで、光センサ２から、距離区間Ｒ２に関する距離区間信号Ｓｉ２を生成させる。制御部１０１ａは、距離区間Ｒ３～Ｒ５についても、順次、光センサ２から、距離区間信号Ｓｉ３～Ｓｉ５を生成させる。制御部１０１ａは、光センサ２に対して、このような距離区間信号Ｓｉ１～Ｓｉ５を生成させることを繰り返し行う。

【0040】

信号処理部１０１ｂは、光センサ２から出力される電気信号を受信する。電気信号は、距離区間信号Ｓｉ１～Ｓｉ５のいずれかを含む。信号処理部１０１ｂが受信した電気信号は、信号処理部１０１ｂで処理される。

【0041】

図３Ａは、実施の形態における物体検知システム２００に含まれる情報処理システム１００の構成を示す図である。なお、本図では、情報処理システム１００の外にある光センサ２及び提示部４も合わせて図示されている。情報処理システム１００は、制御部１０１ａ及び信号処理部１０１ｂ（対象物情報生成部１０２、合成画像生成部１０４、記憶部１０３、及び出力部１０５）を備える。

【0042】

対象物情報生成部１０２は、複数の距離区間Ｒ１～Ｒ５の各々に存在する対象物の特徴量に関する情報である対象物情報を、光センサ２で生成される電気信号のうちで対象とする距離区間に関連する距離区間信号に基づいて生成する。

【0043】

対象物情報生成部１０２は、例えば距離区間の数（ここでは５つ）に応じた並列動作可能な生成部（第１生成部１０２ａ～第５生成部１０２ｅ）を備えている。第１生成部１０２ａは、光センサ２から距離区間信号Ｓｉ１を受け取る。第１生成部１０２ａは、距離区間Ｒ１に存在する対象物に関する対象物情報を、この距離区間Ｒ１に関連する電気信号である距離区間信号Ｓｉ１に基づいて生成する。同様に、第２生成部１０２ｂは、距離区間Ｒ２に存在する対象物に関する対象物情報を、この距離区間Ｒ２に関連する電気信号である距離区間信号Ｓｉ２に基づいて生成する。第３生成部１０２ｃは、距離区間Ｒ３に存在する対象物に関する対象物情報を、この距離区間Ｒ３に関連する電気信号である距離区間信号Ｓｉ３に基づいて生成する。第４生成部１０２ｄは、距離区間Ｒ４に存在する対象物に関する対象物情報を、この距離区間Ｒ４に関連する電気信号である距離区間信号Ｓｉ４に基づいて生成する。第５生成部１０２ｅは、距離区間Ｒ５に存在する対象物に関する対象物情報を、この距離区間Ｒ５に関連する電気信号である距離区間信号Ｓｉ５に基づいて生成する。

【0044】

なお、及び上記の説明では、単に分かりやすさのためだけに、複数の距離区間信号Ｓｉ１～Ｓｉ５が、異なる経路を通じて対象物情報生成部１０２に入力され、対象物情報生成部１０２における異なる要素（第１生成部１０２ａ～第５生成部１０２ｅ）で処理されているとしている。しかしながら、これに限らず、複数の距離区間信号Ｓｉ１～Ｓｉ５は、同一の経路で対象物情報生成部１０２に入力されて同一の要素で処理されてもよい。

【0045】

［２．動作］
次に、以上のように構成された本実施の形態における物体検知システム２００の動作について説明する。

【0046】

［２－１．情報処理システムの動作］
図３Ｂは、本実施の形態における物体検知システム２００に含まれる情報処理システム１００の処理を示すタイミングチャートである。ここでは、第１生成部１０２ａ～第５生成部１０２ｅの並列動作の一例を示すタイミングチャートが示されている。本図において、「距離区間」は、各フレームを構成する５つのサブフレーム（距離区間Ｒ１～Ｒ５）の並びを示し、「発光」は、発光部１が測定光を発するタイミングを示し、「露光」は、光センサ２が反射光を受光する期間を示し、「第１生成部」～「第５生成部」は、それぞれ、第１生成部１０２ａ～第５生成部１０２ｅが対象物情報を生成する処理期間を示す。ここでは、発光及び露光の１対ごとに対象物情報が生成される例が示されている。

【0047】

図３Ｂに示されるように、距離区間Ｒ１のサブフレームにおいて、距離区間Ｒ１のための発光及び露光が行われた後に第１生成部１０２ａによる距離区間Ｒ１での対象物情報の生成が開始され、続いて、距離区間Ｒ２のサブフレームにおいて、距離区間Ｒ２のための発光及び露光が行われた後に第２生成部１０２ｂによる距離区間Ｒ２での対象物情報の生成が開始され、以下、同様にして、距離区間Ｒ３、距離区間Ｒ４、及び、距離区間Ｒ５のサブフレームでの処理が順次行われる。

【0048】

第１生成部１０２ａ～第５生成部１０２ｅのそれぞれは、他の生成部への信号（距離区間信号）の入力及び他の生成部での処理の完了を待たずに、信号（距離区間信号）が入力されると直ちに処理を開始する。つまり、第１生成部１０２ａ～第５生成部１０２ｅは、並列に動作する。これにより、５つの距離区間のそれぞれに対応する対象物情報の生成は、並列に動作する第１生成部１０２ａ～第５生成部１０２ｅにより、高速化が図られている。

【0049】

なお、図３Ｂでは、第１生成部１０２ａ～第５生成部１０２ｅの処理は、一部が時間的に重なっているが、時間的に重なるか否かは、処理負荷に依存するものであり、必ずしも時間的に重なる必要はない。例えば、処理負荷によっては、第１生成部１０２ａ～第５生成部１０２ｅの処理は、対応する距離区間のサブフレーム内に終了してもよい。

【0050】

［２－２．対象物情報生成部の動作］
次に、本実施形態における物体検知システム２００の対象物情報生成部１０２による対象物情報の生成方法について、説明する。図４は、本実施形態における物体検知システム２００の対象物情報生成部１０２が行う処理の流れを示すフローチャートである。

【0051】

なお、以下では、図２における、距離区間Ｒ３に関する動作に着目して説明を行うが、他の距離区間の場合の動作についても同様である。

【0052】

対象物情報生成部１０２の第３生成部１０２ｃは、まず、複数の距離区間Ｒ１～Ｒ５のうち対象とする距離区間Ｒ３に関連する距離区間信号Ｓｉ３を光センサ２から受け取り、受け取った距離区間信号Ｓｉ３に対し、事前に取得して記憶部１０３に保存しておいた参照画像Ｉｍ１０１を利用して距離区間画像生成処理を行う（図４のＳ１）。

【0053】

図５は、本実施形態における物体検知システム２００の対象物情報生成部１０２が行う距離区間画像生成処理の一例を説明する図である。ここでは、参照画像Ｉｍ１０１（図５の上段）及び距離画像Ｉｍ１０２（図５の下段）の例が示されている。参照画像Ｉｍ１０１（図５の上段）は、事前に物体検知システム２００で取得して記憶部１０３に保存された距離画像である（図５の上段）。距離画像Ｉｍ１０２（図５の下段）は、対象物情報生成部１０２に入力される距離区間信号Ｓｉ１～Ｓｉ５を示している。このような例では、第３生成部１０２ｃは、距離区間画像生成処理において、受け取った距離区間信号Ｓｉ３のうち、参照画像Ｉｍ１０１に含まれる対象物と同等の距離に、同等の対象物が存在すると判定する場合、位置情報を、対象物が存在しないという情報に書き換える。上記の処理により、距離区間信号Ｓｉ３に含まれる対象物のうち、参照画像Ｉｍ１０１に含まれる対象物以外だけに着目することができる。図５の上段の例（参照画像Ｉｍ１０１）に基づいた、図５の下段の例（距離画像Ｉｍ１０２）において、参照画像Ｉｍ１０１の取得時に、距離区間Ｒ３に人が存在していないので、第３生成部１０２ｃは、上記の距離区間画像生成処理を行った場合、距離区間画像Ｉｍ３として、人に由来する信号を生成する（人の領域において「１」が格納された画像を生成する）。なお、他の距離区間画像Ｉｍ１、Ｉｍ２、Ｉｍ４、Ｉｍ５として、それぞれの対象物に由来する信号が生成されない（すべての領域において「０」が格納された画像を生成する）。このようにして、対象物情報生成部１０２は、記憶部１０３に記憶された参照画像Ｉｍ１０１に対応する距離区間に関連する距離区間信号と参照画像Ｉｍ１０１とを比較することで、それらの差分を示す距離区間画像を、対象物情報の一つとして生成する。

【0054】

ただし、参照画像Ｉｍ１０１及び距離区間画像生成処理の方法は、このような処理に特に限定されない。また、参照画像Ｉｍ１０１は、物体検知システム２００の動作中に不変であっても良いし、更新されるものであっても良い。例えば、参照画像Ｉｍ１０１を、１フレーム前の距離区間信号Ｓｉ３として常に更新し、第３生成部１０２ｃは、距離区間画像生成処理において、オプティカルフローを算出し、参照画像Ｉｍ１０１に含まれる対象物が、現在の距離区間信号Ｓｉ３においてどれだけ移動したかを判定し、対象物の移動量が閾値を超えた場合に、対象物が存在すると判定し、距離区間画像を生成してもよい。

【0055】

上記処理で生成された距離区間画像は、対象物が存在する領域の画素には「１」の値、対象物が存在しない領域の画素には「０」の値を割り当てた二値画像である。

【0056】

ここで、第３生成部１０２ｃは、一般的な画像処理におけるノイズフィルタ処理を行っても良い。例えば、第３生成部１０２ｃは、モルフォロジー演算、あるいはメディアンフィルタを適用しても良い（図４のＳ２）。これにより、ノイズを低減し、その後の処理時間を短縮する可能性がある。

【0057】

また、第３生成部１０２ｃは、距離区間画像を、データ量を削減可能な方法で符号化しても良い。例えば、ランレングス符号化を用いて圧縮しても良い。

【0058】

次に、第３生成部１０２ｃは、ラベリング処理を行う（図４のＳ３）。ラベリング処理では、「１」が割り当てられた領域が、互いに隣接する画素同士で連結している場合に、この連結画素の塊を１つの物体であると判定し、物体毎に異なるラベルを付与する。なお、「１」が割り当てられた画素が存在しない場合、対象とする距離区間には対象物が存在しないと判定される。

【0059】

ラベリング処理の後、第３生成部１０２ｃは、特徴量生成処理を行う（図４のＳ４）。特徴量生成処理では、１つの対象物に対応するとみなされた連続する画素の領域に基づいて、対象物の特徴量を生成する。特徴量の種類は、特に限定されないが、ここでは例として、付与されたラベル、距離区間を示す情報、対象物の面積、周囲長、１次モーメント、重心、及び重心の世界座標系での位置とする。世界座標系は、対象空間に相当する仮想空間における３次元直交座標系である。対象物の重心の世界座標系での位置を示す情報は、対象物の３次元空間上の位置に関する対象物位置情報の一例である。

【0060】

第３生成部１０２ｃは、特徴量生成処理の後、対象物フィルタ処理を行う（図４のＳ５）。対象物フィルタ処理では、各対象物の特徴量を参照し、規定の条件を満たす対象物以外を消去する。規定の条件は、特に限定されないが、例えば、対象物の面積（画素数）が、１００画素以上であること、とする。上記の対象物フィルタ処理により、注目したい物体以外を消去し、後の処理時間を短縮しうる。

【0061】

次に、第３生成部１０２ｃは、記憶部１０３に記憶された過去の対象物情報を利用し、物体リンク処理を行う（図４のＳ６）。物体リンク処理では、複数の距離区間を対象として、現在の対象物と、過去の対象物とが、類似するほど値が大きくなる類似度を定義し、過去の対象物の中で最も類似度が大きくなる対象物を、自身と同一対象物であると判定し、リンクさせる。この時、リンクさせる過去の同一対象物を後に検索可能なように、リンクさせる過去の対象物のラベルを、リンカとして、現在の対象物の特徴量に追加する。過去の対象物のうち、類似度を算出し、リンクさせる候補として選ぶものは、典型的には１フレーム前の対象物であるが、２フレーム以上前の対象物を候補としてもよい。なお、類似度の定義は特に限定されず、例えば重心同士の距離と、１次モーメントと、面積が寄与する関数として定義しうる。リンクさせるべき過去の対象物が存在しない場合は、リンクさせる対象物が存在しないことを示す特定の値を、特徴量の１つとして追加する。なお、リンクさせるべき過去の対象物が存在しない場合は、例えば現在の対象物自身のラベルを、リンカとして、特徴量に追加しても良い。

【0062】

次に、第３生成部１０２ｃは、対象物の移動速度を生成する速度生成処理を実行する（図４のＳ７）。前記物体リンク処理を行ったことにより、第３生成部１０２ｃは、対象物とリンクした過去の対象物へと遡ることができる。また、遡った、過去の対象物にも、さらに過去の対象物へと遡るリンカが記憶されているため、対象物が初めて測距可能範囲ＦＲに現れた時刻まで遡ることが可能である。速度生成処理では、例えばＮ秒前の同一対象物へと遡り、各時刻における対象物位置情報を参照することで、現在に至るまでの重心の世界座標系での移動軌跡から、移動距離を算出し、経過時間（Ｎ秒）で割って速さを算出し、特徴量の１つとして追加する。このようにして、対象物情報生成部１０２（ここでは、第３生成部１０２ｃ）は、複数の距離区間の前記距離区間信号を用いて対象物の３次元空間上の位置に関する対象物位置情報を生成し、現在の対象物と同一の過去の対象物の対象物位置情報を利用して、対象物の移動速度を算出する。

【0063】

なお、速さを算出するためにどこまで遡るかについての定義は特に限定されず、Ｎフレーム前などと定義しても良い。例えば、第３生成部１０２ｃが距離区間画像を生成するフレームレートが可変であった場合、Ｎフレーム前などと定義すれば、速さを算出する際に、遡るフレーム数が固定となり、フレームレートに依存しないノイズによる、重心位置の算出誤差の影響を低減する可能性がある。また、速さの算出方法は特に限定されず、例えば、計算の簡単化のために、Ｎ秒前の重心の世界座標系位置と、現在の重心の世界座標系位置の直線距離から算出しても良い。

【0064】

速度生成処理では、対象物の移動方向を推定する。図６は、本実施の形態における物体検知システム２００の対象物情報生成部１０２（ここでは、第３生成部１０２ｃ）による対象物の移動方向を生成する方法の一例を説明する図である。移動方向の推定方法は、特に限定されないが、ここでは、対象物の、世界座標系における軌跡の、円弧近似を利用する方法を採用する。例えば、Ｎ秒間の対象物の移動経路を利用する場合、世界座標系における、Ｎ秒前から現在までの、対象物の重心の集合を利用する。各行に対象物の重心の座標を格納した行列に対し、主成分分析を適用し、第３主成分ベクトルを法線とする平面を、重心の軌跡によく当てはまる平面であると推定する。次に、前記平面において、Ｎ秒前と、Ｎ／２秒前と、現在の重心位置の３点から等距離にある点を、重心の軌跡の、仮想的な回転中心とする。ここで、Ｎ／２秒前の重心位置は、Ｎ／２－１秒前と、Ｎ／２秒前と、Ｎ／２＋１秒前と、の重心位置の平均で更新する。対象物は、前記回転中心を中心として、Ｎ秒間円弧を描く運動を行うものと仮定する。前記回転中心を中心とし、現在の重心位置を通る円弧７１の、現在の重心位置における接線に沿い、対象物のＮ秒前の重心位置から遠ざかる向きを対象物の移動方向とする。上記のように、対象物の移動軌跡を簡単な曲線で近似することで、ノイズ等を原因として発生する重心位置の誤差が速度ベクトル７２の誤差に影響しにくくなる。このように、対象物情報生成部１０２（ここでは、第３生成部１０２ｃ）は、現在の対象物と同一の対象物が過去に移動した軌跡を曲線で近似することにより、対象物の移動速度を算出する。なお、上記の速度ベクトル７２の算出方法において、利用する特徴量は必ずしも重心である必要はなく、対象物に付与した外接矩形の左上点など、世界座標系における対象物の位置に関する他の特徴量でもよい。

【0065】

第３生成部１０２ｃは、前記対象物の速さと移動方向を、対象物の速度ベクトル７２とし、特徴量の１つとして追加する。

【0066】

次に、第３生成部１０２ｃは、対象物の速度から、移動先予測処理を実行する（図４のＳ８）。前記速度生成処理を実行したことにより、第３生成部１０２ｃは、対象物が近い未来に移動する位置の推測が可能である。移動先予測処理の方法は、特に限定されないが、例えば、Ｎ秒後の移動先を予測する場合、前記速度にＮを乗じただけの距離を、前記移動方向に直線移動すると予測する。前記移動先予測処理を実行した移動先の予測位置を、特徴量の１つとして追加する。このようにして対象物情報生成部１０２（ここでは、第３生成部１０２ｃ）は、対象物の移動速度から、対象物の未来の予測位置を生成する。

【0067】

図７は、本実施の形態における物体検知システム２００の対象物情報生成部１０２（ここでは、第３生成部１０２ｃ）によって生成され得る対象物情報の一例を示す図である。本図に示される対象物情報には、時刻ｔで検出された２つの物体Ｏ１及びＯ２、並びに、時刻ｔ＋１で検出された２つの物体Ｏ３及びＯ４に関する各種特徴量（中心座標、面積、アスペクト比、速度、リンカ）が含まれている。この例では、時刻ｔ＋１で検出された物体Ｏ３の特徴量の一つであるリンカは時刻ｔで検出された物体Ｏ２を指しているので、異なる時刻に検出された物体Ｏ２と物体Ｏ３とは同一対象物と判定されていることが分かる。同様に、時刻ｔ＋１で検出された物体Ｏ４の特徴量の一つであるリンカは時刻ｔで検出された物体Ｏ１を指しているので、異なる時刻に検出された物体Ｏ１と物体Ｏ４とは同一対象物と判定されていることが分かる。このようにして、対象物情報には、同一対象物の追跡情報が含まれている。

【0068】

図８は、本実施の形態における物体検知システム２００の対象物情報生成部１０２による測距の設定変更の一例を説明する図である。つまり、本図は、対象物情報に基づいて制御部１０１ａに記憶された設定を変更する方法の一例を説明する図である。対象物情報生成部１０２は、上述した移動先予測処理の後、移動先の予測位置８１が含まれる距離区間を抽出し、その前後の距離区間を含めた３つの距離区間だけを測距するように、制御部１０１ａに記憶された設定を変更する。例えば、図２の例で、距離区間Ｒ３で検知された人の、移動先の予測位置８１が距離区間Ｒ４であった場合（図８の（ａ））、制御部１０１ａは、上記設定変更により、次のフレームからは、距離区間Ｒ１とＲ２を無視し、距離区間Ｒ３～Ｒ５のみを測距するように、発光タイミングと露光タイミングを制御する（図８の（ｂ））。その後、例えばその人の移動先の予測位置８１が距離区間Ｒ３となった場合、測距する範囲を距離区間Ｒ２～Ｒ４に変更する。そして、制御部１０１ａによる制御の下で、対象物情報生成部１０２は、変更後の距離区間だけを対象として対象物情報を生成する。このように、制御部１０１ａは、距離区間の数、及び、対象物情報を生成する対象となる距離区間が変わるように、発光部１及び光センサ２への制御信号を変更する。より詳しくは、制御部１０１ａは、複数の距離区間のうち、対象物の予測位置を含まない距離区間に対応する距離区間信号（図８の（ｂ）では、距離区間Ｒ１及びＲ２の距離区間信号）が光センサ２から出力されないように、発光部１及び光センサ２への制御信号を変更する。

【0069】

上記のように、検知された対象物の特徴量から、測距する範囲を絞ることで、対象物を検知する処理を短縮することが可能になる。なお、測距する範囲を変更するために利用する特徴量は特に限定されず、例えば現在の重心位置が含まれる距離区間とその前後の距離区間を測距するという方法でも良い。また、測距する範囲を変更した後に、測距する距離区間の数は特に限定されない。

【0070】

最後に、出力部１０５は、対象物の前記特徴量を、対象物情報として提示部４あるいは外部装置５に出力する（図４のＳ９）。出力部１０５は、全ての距離区間での測定の終了を待つことなく、対象物情報生成部１０２（より詳しくは、第１生成部１０２ａ～第５生成部１０２ｅの各々）の処理が終了して生成された対象物情報を順次出力する。出力部１０５は、対象物情報のみでなく、例えば輝度画像、距離画像あるいは距離区間画像を出力しても良い。出力部１０５は、無線信号の形で情報を出力しても良い。

【0071】

提示部４は、出力部１０５から出力された情報を可視化する。提示部４は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等の二次元ディスプレイを備えていても良い。提示部４は、距離画像を３次元表示するための３次元ディスプレイを備えていても良い。

【0072】

図９Ａは、本実施形態における物体検知システム２００の提示部４で表示される画像９１の例である。画面内に写る移動体である車両に、検知されたことを示す矩形（検知枠）が表示され、対象物情報に含まれる、奥行距離（「Ｄｅｐｔｈ２７．０ｍ」）と、速さ（「Ｓｐｅｅｄ４５．９ｋｍ／ｈ」）と、速度ベクトルの向き（図中の矢印）が示されている。

【0073】

なお、対象物情報生成部１０２は、このように検知された物体の奥行距離、速さ及び速度ベクトルを算出する際に、合成画像の一つである輝度画像を用いて、対象物情報の一つである物体の中心座標を補正する。図９Ｂは、対象物情報生成部１０２による輝度画像を用いた物体の中心座標の補正を説明する図である。図９Ｂの（ａ）は、時刻ｔにおいて対象物情報生成部１０２によって検知された物体の枠（「検知枠」）の例を示し、図９Ｂの（ｂ）は、時刻ｔにおいて合成画像生成部１０４で生成された輝度画像の例を示し、図９Ｂの（ｃ）は、時刻ｔ＋１において対象物情報生成部１０２によって検知された同一の物体の枠（「検知枠」）の例を示し、図９Ｂの（ｄ）は、時刻ｔ＋１における対象物情報生成部１０２による物体の中心座標の補正例を示す。

【0074】

時刻ｔにおいて、図９Ｂの（ａ）に示すように、対象物情報生成部１０２は、ある距離区間画像において、検知した物体を囲む矩形を検知枠として特定し、検知枠の中心を、検知した物体の中心座標（「物体中心」）として特定する。時刻ｔ＋１において、図９Ｂの（ｃ）に示すように、対象物情報生成部１０２は、その距離区間画像又は他の距離区間画像において、時刻ｔで検知した物体と同一の物体を囲む矩形を検知枠として特定し、検知枠の中心を物体の暫定的な中心座標（「物体中心」）として特定する。そして、対象物情報生成部１０２は、時刻ｔにおける物体の輝度画像をテンプレート（つまり、基準画像）として用いることで時刻ｔ＋１における距離区間画像における物体の座標シフト量を算出し、算出した座標シフト量の分だけ暫定的な中心座標を逆方向にシフトさせる。これにより、精度の高い輝度画像を用いて、物体の中心座標が補正されるので、距離区間画像だけを用いる場合に比べ、高い精度で、物体の中心座標が特定される。このように特定された物体の中心座標は、物体の奥行距離、速さ及び速度ベクトルを算出するのに用いられる。

【0075】

なお、補正される特徴量は、物体の中心座標に限定されない。例えば、物体の外接矩形そのものや、外接矩形の右上のコーナー点などの特定の点の位置、あるいは物体のシルエットの位置を補正するものであってもよい。

【0076】

また、対象物情報生成部１０２は、検知された物体の奥行距離を算出する際に、複数の距離区間の距離区間信号（あるいは、距離区間画像）を用いて、対象物情報の一つである物体の奥行距離を補正する（つまり、高い精度で奥行距離を算出する）。図９Ｃは、対象物情報生成部１０２による複数の距離区間の距離区間信号を用いた物体の奥行距離の算出方法を説明する図である。ここでは、５つの距離区間のそれぞれで検知された点群で構成される物体が検知枠内に示されている。例えば、８個の白丸は、１．５ｍの距離区間で検知された点であり、１５個の黒丸は、３．０ｍの距離区間で検知された点であり、２個の三角は、４．５ｍの距離区間で検知された点であり、１個の四角は、２１．０ｍの距離区間で検知された点であり、１個の×は、２２．５ｍの距離区間で検知された点である。このようなケースにおいて、対象物情報生成部１０２は、検知枠内の物体の奥行距離として、点群それぞれの距離を個数で重み付けして得られる平均距離、つまり、（８×１．５ｍ＋１５×３．０ｍ＋２×４．５ｍ＋１×２１．０ｍ＋１×２２．５ｍ）／（８＋１５＋２＋１＋１）≒４．０５ｍと、特定する。これにより、複数の距離区間の距離区間信号を用いて、物体の距離が算出されるので、一つの距離区間信号だけを用いる場合に比べ、高い精度で、物体の奥行を考慮した現実的な距離が算出される。なお、用いられる複数の距離区間信号は、対象物情報生成部１０２での処理後における複数の距離区間画像であってもよい。また、前記対象物情報は、合成画像生成部１０４において、合成画像として生成された距離画像の一部または全部を利用して補正されるものであってもよい。

【0077】

なお、物体の奥行距離の前記計算方法は特に限定されない。例えば、最も多くの点が検知された距離区間に対応する重みが最も重くなるように、重みつき平均を計算してもよい。例えば、図９Ｃの例において、前記最も多くの点が検出された３．０ｍを中心に、距離区間が１．５ｍ離れるほど、重みが１／２倍されるような重み付き平均、つまり、（８×１．５ｍ／２＋１５×３．０ｍ＋２×４．５ｍ／２＋１×２１．０ｍ／４０９６＋１×２２．５ｍ／８１９２）／（８＋１５＋２＋１＋１）≒２．０６ｍを、物体の奥行距離と特定する。前記重み付き平均による方法は、対象物に対応する点群にノイズが混在していた場合の、正確な奥行距離計算に有効に働く可能性がある。前記図９Ｃの例では、３．０ｍの距離区間の次に１．５ｍの距離区間で検知された点が多いことから、２１ｍおよび２２．５ｍの距離区間で検知された点はノイズである可能性があり、奥行距離は１．５ｍと３．０ｍとの間と特定するのが尤もらしい。

【0078】

以上説明したように、本実施形態の物体検知システム２００によれば、１つ以上の距離区間の各々に存在する対象物に関する、時間依存特徴量を含む対象物情報の生成と、対象物の追跡を、対象とする距離区間に関連する距離区間信号に基づいて生成される。

【0079】

図１０は、本実施の形態における物体検知システム２００内での処理の順番の一例を示すタイミングチャートである。つまり、本図は、光センサ２による受光動作（「測定」）、第１生成部１０２ａ～第５生成部１０２ｅによる対象物情報の生成動作（「情報生成」）、出力部１０５による対象物の出力動作（「データ出力」）、合成画像生成部１０４による距離画像の生成動作（「画像合成」）の間の、時間関係の概略を示す。より詳しくは、図１０において、「測定」の段は、距離区間Ｒ１～Ｒ５のうちで、光センサ２が距離の測定を行った距離区間を示す。「情報生成」の段は、距離区間信号Ｓｉ１～Ｓｉ５のうちで、対象物情報生成部１０２が距離区間信号の処理を行って対象物情報を生成したタイミングを示す。「データ出力」の段は、対象物情報のうちで、出力部１０５が出力したタイミングを示す。「画像合成」の段は、合成画像生成部１０４が距離画像Ｉｍ１０２を生成するタイミングを示す。また、図では、各段の矢印の始点が処理の開始時点を示し、矢印の終点が処理の終了時点を示す。

【0080】

上記説明したように、距離区間信号のそれぞれは、第１生成部１０２ａ～第５生成部１０２ｅのそれぞれによって、他の距離区間信号の処理を待たずに処理され、対象物情報が生成されるため、処理時間の短縮を図ることが可能となる。なお、図１０では、第１生成部１０２ａ～第５生成部１０２ｅによる処理は、順に（つまり、異なる時間帯）に行われているが、「情報生成」の負荷が大きい場合等においては、第１生成部１０２ａ～第５生成部１０２ｅのそれぞれの処理時間が重なってもよい（つまり、並列処理が行われてもよい）。

【0081】

さらに、本実施形態の物体検知システム２００では、物体検知システム２００内で対象物情報の生成と対象物の追跡とが行われるので、外部装置５へ距離画像を出力し、外部装置５にて対象物情報の生成と対象物の追跡を行う場合に比べて、外部装置５へ出力される情報のデータ量を大幅に圧縮することが可能である。出力するデータ量の低減によっても、処理速度の向上を図ることが可能となる。

【0082】

なお、複数の距離区間の各々に対応する対象物情報の少なくとも一つが所定の条件を満たす場合に、対象物情報生成部１０２は、当該対象物情報のさらなる生成若しくは当該対象物情報を記憶部１０３に記憶させることを中止する、又は、出力部１０５は、当該対象物情報の出力を中止する。例えば、対象物情報生成部１０２は、検出した対象物と、人の型を示すひな型との外形パターンのマッチングを行うことで、検出した対象物が人であるか否かを判断し、人でないと判断した場合に、当該対象物情報は重要ではないと判断し、当該対象物情報のさらなる生成若しくは当該対象物情報を記憶部１０３に記憶させることを中止する。あるいは、出力部１０５は、当該対象物情報の出力を中止する。これにより、検知対象として人に絞って詳細な対象物情報を生成する物体検知システムが実現される。

【0083】

以上のように、物体検知システム２００であって、光を出射する発光部１と、光が対象空間における測距可能範囲で反射された反射光を受光する光センサ２と、発光部１及び光センサ２を制御する制御部１０１ａと、光センサ２で生成される電気信号で示される情報を処理する信号処理部１０１ｂとを備え、制御部１０１ａは、測距可能範囲を区分して構成される複数の距離区間の各々について、光センサ２に含まれる複数の画素のうちで光を受け取った画素からの信号である距離区間信号が光センサ２から出力されるように、発光部１及び光センサ２を制御し、信号処理部１０１ｂは、並列動作可能な複数の生成部（第１生成部１０２ａ～第５生成部１０２ｅ）を有し、かつ、光センサ２から出力される距離区間信号に基づいて、複数の距離区間について、光センサ２によって検出された対象物の特徴を示す対象物情報をそれぞれ生成する対象物情報生成部１０２と、対象物情報生成部１０２が生成した複数の距離区間の各々に対応する対象物情報を記憶する記憶部１０３と、複数の距離区間の各々に対応する対象物情報を出力する出力部１０５とを備え、対象物情報生成部１０２は、複数の距離区間の各々について、記憶部１０３に記憶された過去の対象物情報と、光センサ２によって検出された現在の対象物の特徴とを比較することで、対象物情報を生成する。

【0084】

これにより、対象物情報生成部１０２は、並列動作可能な複数の生成部（第１生成部１０２ａ～第５生成部１０２ｅ）を有し、かつ、複数の距離区間について、光センサ２によって検出された対象物の特徴を示す対象物情報をそれぞれ生成するので、高速に物体を検知する物体検知システム２００が実現される。

【0085】

また、物体検知システム２００は、光センサ２から出力される複数の距離区間に対応する複数の距離区間信号から合成画像を生成する合成画像生成部１０４を備え、出力部１０５は、合成画像生成部１０４で生成された合成画像を出力する。これにより、複数の距離区間の各々に関する情報（つまり、対象物情報）だけでなく、複数の距離区間の全体にわかる情報（つまり、合成画像）も得られる。

【0086】

また、記憶部１０３は、少なくとも複数の距離区間の一つに対応する参照画像を記憶し、対象物情報生成部１０２は、記憶部１０３に記憶された参照画像に対応する距離区間に関連する距離区間信号と参照画像とを比較することで、対象物情報を生成する。これにより、参照画像と同一又は異なる点を示す対象物情報が生成されるので、例えば、参照画像として、過去の画像を用いることで、変化があった箇所だけを即座に知ることができる。

【0087】

また、対象物情報生成部１０２は、合成画像を用いて対象物情報の補正を行う。これにより、距離区間の各々に対応する対象物情報が、複数の距離区間にわたる全体的な情報をもつ合成画像を用いて補正されるので、各距離区間に対応する対象物情報の精度が向上される。例えば、検出される対象物の中心座標の精度が向上される。

【0088】

また、対象物情報生成部１０２は、複数の距離区間の距離区間信号を用いて対象物情報の補正を行う。これにより、距離区間の各々に対応する対象物情報が、複数の距離区間の距離区間信号を用いて補正されるので、複数の距離区間にわたって存在する３次元形状をもつ対象物についての対象物情報の精度が向上される。例えば、３次元形状をもつ対象物までの奥行距離の精度が向上される。

【0089】

また、対象物情報生成部１０２は、複数の距離区間の距離区間信号を用いて、対象物の３次元空間上の位置に関する対象物位置情報を生成し、現在の対象物と同一の過去の対象物の対象物位置情報を利用して、対象物の移動速度を算出する。これにより、３次元空間における対象物の移動速度が得られる。

【0090】

また、対象物情報生成部１０２は、現在の対象物と同一の対象物が過去に移動した軌跡を曲線で近似することにより、対象物の移動速度を算出する。これにより、直線近似に比べ、より高い精度で対象物の移動速度が算出される。

【0091】

また、対象物情報生成部１０２は、移動速度から、対象物情報として、対象物の未来の予測位置８１を生成する。これにより、対象物の未来の予測位置８１が事前に判明する。

【0092】

また、制御部１０１ａは、距離区間の数、距離区間の距離幅又は対象物情報を生成する対象となる距離区間が変わるように、発光部１と及び光センサ２への制御信号を変更する。例えば、制御部１０１ａは、複数の距離区間のうち、対象物の予測位置８１を含まない距離区間に対応する距離区間信号が光センサ２から出力されないように、発光部１及び光センサ２への制御信号を変更する。これにより、測定対象の距離区間を対象物が含まれる重要な距離区間だけに絞ることで、無駄な距離区間に対する処理が回避され、処理全体の高速化及び消費電力の削減が図られる。

【0093】

また、複数の距離区間の各々に対応する対象物情報の少なくとも一つが所定の条件を満たす場合に、対象物情報生成部１０２は、当該対象物情報のさらなる生成若しくは当該対象物情報を記憶部１０３に記憶させることを中止する、又は、出力部１０５は、当該対象物情報の出力を中止する。これにより、無駄な対象物情報のさらなる処理が回避され、処理全体の高速化及び消費電力の削減が図られる。

【0094】

また、上記実施の形態に係る物体検知方法は、光を出射する発光部１と、光が対象空間における測距可能範囲で反射された反射光を受光する光センサ２とを備える物体検知システム２００による物体検知方法であって、発光部１及び光センサ２を制御する制御ステップと、光センサ２で生成される電気信号で示される情報を処理する信号処理ステップとを含み、制御ステップでは、測距可能範囲を区分して構成される複数の距離区間の各々について、光センサ２に含まれる複数の画素のうちで光を受け取った画素からの信号である距離区間信号が光センサ２から出力されるように、発光部１及び光センサ２を制御し、信号処理ステップでは、並列動作可能な複数の生成部（第１生成部１０２ａ～第５生成部１０２ｅ）により、光センサ２から出力される距離区間信号に基づいて、複数の距離区間において光センサ２によって検出された対象物の特徴を示す対象物情報をそれぞれ生成する対象物情報生成サブステップと、光センサ２から出力される複数の距離区間に対応する複数の距離区間信号から合成画像を生成する合成画像生成サブステップと、対象物情報生成サブステップで生成した複数の距離区間の各々に対応する対象物情報を記憶部１０３に記憶させる記憶サブステップと、複数の距離区間の各々に対応する対象物情報及び合成画像を出力する出力サブステップとを含み、対象物情報生成サブステップでは、複数の距離区間の各々について、記憶部１０３に記憶された過去の対象物情報と、光センサ２によって検出された現在の対象物の特徴とを比較することで、対象物情報を生成する。

【0095】

これにより、対象物情報生成サブステップでは、並列動作可能な複数の生成部（第１生成部１０２ａ～第５生成部１０２ｅ）により、光センサ２から出力される距離区間信号に基づいて、複数の距離区間において光センサ２によって検出された対象物の特徴を示す対象物情報がそれぞれ生成されるので、高速に物体を検知する物体検知方法が実現される。

【0096】

［３．変形例］
上述の実施形態は、本開示の様々な実施形態の１つに過ぎない。上述の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係る情報処理システム１００と同様の機能は、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記憶媒体等で具現化されても良い。

【0097】

一態様に係るプログラムは、１以上のプロセッサに、上記の情報処理方法を実行させるためのプログラムである。プログラムは、コンピュータ可読な媒体に記録されて提供されても良い。以下、上述の実施形態の変形例を列挙する。以下に説明する変形例は、上述の実施形態と適宜組み合わせて適用可能である。

【0098】

一変形例において、対象物情報生成部１０２は、対象物の特徴量を利用して制御部１０１ａに記憶された設定を変更する際に、上述の実施形態のように測距する距離区間を減らす方法でなく、対象物の重心位置あるいは移動先の予測位置８１の周囲を、距離区間の幅を細かくして測距しても良い。図１１は、実施の形態の変化例における対象物情報生成部１０２による測距の一例を説明する図である。例えば、図１１の（ａ）に示されるように、距離区間Ｒ１～Ｒ５のうち、人が距離区間Ｒ３で検知されたとき、図１１の（ｂ）に示されるように、次のフレームから、直前のフレームにおける３つの距離区間Ｒ２～Ｒ４を５つに分割した区間群を、新しく距離区間Ｒ１～Ｒ５に設定し、測距しても良い。これにより、制御部１０１ａは、距離区間の距離幅が変わるように、発光部１及び光センサ２への制御信号を変更する。より詳しくは、制御部１０１ａは、測距可能範囲を、対象物の予測位置が含まれる距離幅に縮小し、かつ、複数の距離区間の各々の距離幅が短くなるように、発光部１及び光センサ２への制御信号を変更する。上記の変形例では、測定距離の分解能が向上され、対象物情報の精度が向上する可能性を有する。

【0099】

一変形例において、対象物情報生成部１０２は、一定の時間間隔で、測距可能範囲ＦＲを広げて対象物検知を行なっても良い。上記の変形例によれば、すでに検知された対象物から、遠く離れた位置に現れる対象物を発見することが可能になる。

【0100】

一変形例において、物体検知システム２００は、実施の形態のような直接ＴＯＦではなく、間接ＴＯＦの方式で距離区間信号を生成しても良い。

【0101】

一変形例において、対象物情報生成部１０２は、区間間情報生成部を備えても良い。区間間情報生成部は、複数の異なる距離区間信号のそれぞれにおける対象物情報を生成したのち、異なる距離区間で生成された対象物情報を比較することで、互いに同一物体を示すものか否かを判定し、同一物体であると判定された場合に、一つの対象物として対象物情報を生成し直し、記憶部１０３と出力部１０５に出力する。

【0102】

以上、本開示の物体検知システム２００及び物体検知方法について、実施の形態及び変形例に基づいて説明したが、本開示は、これらの実施の形態及び変形例に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態及び変形例に施したものや、実施の形態及び変形例における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。

【産業上の利用可能性】

【0103】

本開示は、複数の距離区間の各々について物体を検知する物体検知システムとして、特に、高速に物体を検知する物体検知システムとして、例えば、自動車に搭載され障害物を検知する車載物体検知システム、物体あるいは人等を検知する監視カメラ、セキュリティカメラ等に利用することができる。

【符号の説明】

【0104】

１ 発光部
２ 光センサ
４ 提示部
５ 外部装置
７１ 円弧
７２ 速度ベクトル
８１ 予測位置
９１ 画像
１００ 情報処理システム
１０１ａ 制御部
１０１ｂ 信号処理部
１０２ 対象物情報生成部
１０２ａ 第１生成部
１０２ｂ 第２生成部
１０２ｃ 第３生成部
１０２ｄ 第４生成部
１０２ｅ 第５生成部
１０３ 記憶部
１０４ 合成画像生成部
１０５ 出力部
２００ 物体検知システム
Ｉｍ１～Ｉｍ５ 距離区間画像
Ｉｍ１００、Ｉｍ１０２ 距離画像
Ｉｍ１０１ 参照画像

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10】

【図11】