(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-07
(45)【発行日】2024-03-15
(54)【発明の名称】情報処理システム、センサシステム、情報処理方法、及びプログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20240308BHJP
G06T 7/521 20170101ALI20240308BHJP
G06T 7/11 20170101ALI20240308BHJP
【FI】
G06Q50/10
G06T7/521
G06T7/11
(21)【出願番号】P 2022512950
(86)(22)【出願日】2020-03-31
(86)【国際出願番号】 JP2020014724
(87)【国際公開番号】W WO2021199225
(87)【国際公開日】2021-10-07
【審査請求日】2023-01-19
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002527
【氏名又は名称】弁理士法人北斗特許事務所
(72)【発明者】
【氏名】廣瀬 裕
(72)【発明者】
【氏名】湯浅 佑亮
(72)【発明者】
【氏名】齋藤 繁
(72)【発明者】
【氏名】香山 信三
(72)【発明者】
【氏名】小田川 明弘
(72)【発明者】
【氏名】澤田 昌幸
【審査官】塩田 徳彦
(56)【参考文献】
【文献】国際公開第2019/181518(WO,A1)
【文献】国際公開第2017/110413(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 - 99/00
G06T 7/521
G06T 7/11
(57)【特許請求の範囲】
【請求項1】
光センサで生成される電気信号で示される情報を処理する情報処理システムであって、
前記光センサは、発光部から対象空間へ出射された測定光が前記対象空間における測距可能範囲で反射された光を受け取る受光部を備え、前記電気信号は、前記受光部に含まれる複数の画素のうちで前記光を受け取った画素の情報を示し、
前記情報処理システムは、
対象物情報を生成する対象物情報生成部と、
前記対象物情報を出力する出力部と、
を備え、
前記対象物情報は、前記発光部が前記測定光を出射した時点からの経過時間の違いに応じて前記測距可能範囲を区分してなる複数の距離区間のうち、対象とする距離区間に存在する対象物の特徴量に関する情報であり、
前記電気信号は、前記複数の距離区間にそれぞれ関連する複数の距離区間信号を含み、
対象情報生成部は、前記対象物情報を、前記複数の距離区間信号のうち、前記対象とする距離区間に関連する距離区間信号に基づいて生成
し、
前記複数の距離区間にそれぞれ関連する前記複数の前記距離区間信号に基づいて、前記測距可能範囲の距離画像を生成する距離画像生成部を更に備え、
前記距離画像生成部は、前記対象物情報生成部が少なくとも一つの前記距離区間に関する前記対象物情報の生成処理を行った後に、前記距離画像を生成する、
情報処理システム。
【請求項2】
前記距離画像を可視化する提示部を更に備える、
請求項1に記載の情報処理システム。
【請求項3】
前記出力部は、前記距離画像生成部により前記距離画像が生成される前に、少なくとも一つの前記距離区間に関する前記対象物情報を出力する、
請求項1又は2に記載の情報処理システム。
【請求項4】
前記複数の画素は、二次元アレイ状に配置されており、
前記対象物情報生成部は、
前記対象とする距離区間に関連する距離区間信号に基づいて、前記複数の画素の各々に対して前記光を受け取ったか否かに応じて値が割り当てられてなる距離区間画像を生成し、
前記距離区間画像を構成する前記複数の画素のうちで、互いに隣り合っておりかつ前記光を受け取った連続する画素に対応する領域を、1つの前記対象物に対応するとみなし、
前記距離区間画像内に前記対象物に対応する領域が複数存在する場合、前記複数の対象物に対して異なるラベルを付与する、
請求項1~3のいずれか1項に記載の情報処理システム。
【請求項5】
前記光センサは、前記複数の画素の各々について、前記発光部からの前記測定光の出射及び前記画素での露光動作からなる受光動作を1回として、複数回の前記受光動作に基づいて、前記光を受け取ったか否かを決定する、
請求項1~4のいずれか1項に記載の情報処理システム。
【請求項6】
前記複数の画素は、二次元アレイ状に配置されており、
前記対象物情報生成部は、
前記対象とする距離区間に関連する前記距離区間信号に基づいて、前記複数の画素の各々に対して前記光を受け取ったか否かに応じて値が割り当てられてなる距離区間画像を生成し、
前記距離区間画像を構成する前記複数の画素のうちで、互いに隣り合っておりかつ前記光を受け取った連続する画素に対応する領域を、1つの前記対象物に対応するとみなし、
前記1つの対象物に対応するとみなされた前記連続する画素の領域に基づいて、前記1つの対象物に関する複数の前記特徴量を抽出し、
前記対象物情報は、前記1つの対象物に関する前記複数の特徴量を成分とするベクトルデータを含む、
請求項1~5のいずれか1項に記載の情報処理システム。
【請求項7】
前記複数の距離区間のうち異なる2つの距離区間にそれぞれ存在する2つの対象物同士が同一か否かを、前記2つの対象物の前記ベクトルデータ間の距離に基づいて判定する区間間情報生成部を更に備える、
請求項6に記載の情報処理システム。
【請求項8】
前記対象物情報生成部は、
同一の距離区間について異なるタイミングで生成された2つの距離区間信号に基づいて、2つの距離区間画像を生成し、
前記2つの距離区間画像にそれぞれ含まれる対象物に関する2つの前記対象物情報を生成し、
前記2つの対象物情報の各々は、対応する距離区間画像に含まれる対象物に関する前記ベクトルデータを含み、
前記情報処理システムは、前記2つの距離区間画像にそれぞれ含まれる2つの対象物同士が同一か否かを、前記2つの対象物の前記ベクトルデータ間の距離に基づいて判定する時間差情報生成部を更に備える、
請求項6又は7に記載の情報処理システム。
【請求項9】
前記対象物情報は、前記距離区間信号に復元可能な形式であって、
前記対象物情報のデータ量は、前記距離区間信号に含まれる情報のデータ量よりも小さい、
請求項1~8のいずれか1項に記載の情報処理システム。
【請求項10】
請求項1~9のいずれか1項に記載の情報処理システムと、
前記光センサと、
を備える、
センサシステム。
【請求項11】
光センサで生成される電気信号で示される情報を処理する情報処理方法であって、
前記光センサは、発光部から対象空間へ出射された測定光が前記対象空間における測距可能範囲で反射された光を受け取る受光部を備え、前記電気信号は、前記受光部に含まれる複数の画素のうちで前記光を受け取った画素の情報を示し、
前記情報処理方法は、
対象物情報を生成することと、
前記対象物情報を出力することと、
を含み、
前記対象物情報は、前記発光部が前記測定光を出射した時点からの経過時間の違いに応じて前記測距可能範囲を区分してなる複数の距離区間のうち、対象とする距離区間に存在する対象物の特徴量に関する情報であり、
前記電気信号は、前記複数の距離区間にそれぞれ関連する複数の距離区間信号を含み、
前記対象物情報を生成することは、前記対象物情報を、前記複数の距離区間信号のうち、前記対象とする距離区間に関連する距離区間信号に基づいて生成することを含み、
前記情報処理方法は、
前記複数の距離区間にそれぞれ関連する前記複数の前記距離区間信号に基づいて、前記測距可能範囲の距離画像を生成することを更に含み、
少なくとも一つの前記距離区間に関する前記対象物情報の生成処理を行った後に、前記距離画像を生成する、
情報処理方法。
【請求項12】
1以上のプロセッサに、請求項11に記載の情報処理方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は一般に情報処理システム、センサシステム、情報処理方法、及びプログラムに関し、より詳細には、対象物までの距離についての情報を処理する情報処理システム、センサシステム、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献1は、人流解析システムを開示する。この人流解析システムは、撮像端末と、解析サーバとを備えている。撮像端末と解析サーバとは、ネットワークを介して相互に接続されている。
【0003】
撮像端末は、距離画像生成部、相対位置検出部、絶対位置算出部、人情報生成部及び送信部を備えている。距離画像生成部は、所定の撮影範囲の距離画像を生成する。相対位置検出部は、撮像端末の位置に対する撮影範囲に存在する人の相対位置を距離画像に基づいて検出する。絶対位置算出部は、所定の固定点に対する位置を絶対位置として、相対位置検出部が検出した人の相対位置と撮像端末の絶対位置とに基づいて人の絶対位置を算出する。人情報生成部は、絶対位置算出部が算出した人の絶対位置と、絶対位置における人の存在時刻との情報を含む人情報を生成する。送信部は、人情報生成部が生成した人情報を、解析サーバへネットワークを介して送信する。
【0004】
解析サーバは、ネットワークを介して受信した複数の人情報から、同一人についての人情報であると推定される人情報を集めた人別情報群を生成する。解析サーバは、人別情報群に基づいて人別の移動情報を解析する。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【0006】
特許文献1の人流解析システムのような情報処理システムでは、対象空間に存在する対象物に関する情報である対象物情報を生成するまでの処理時間の短縮が望まれる場合がある。本開示は、上記事由に鑑みてなされており、処理時間の短縮を図ることが可能な情報処理システム、センサシステム、情報処理方法、及びプログラムを提供することを目的とする。
【0007】
本開示の一態様に係る情報処理システムは、光センサで生成される電気信号で示される情報を処理する。前記光センサは、発光部から対象空間へ出射された測定光が前記対象空間における測距可能範囲で反射された光を受け取る受光部を備える。前記受光部は複数の画素を含む。前記電気信号は、前記複数の画素のうちで前記光を受け取った画素の情報を示す。前記情報処理システムは、対象物情報生成部と、出力部と、距離画像生成部と、を備える。前記対象物情報生成部は、対象物情報を生成する。前記対象物情報は、前記発光部が前記測定光を出射した時点からの経過時間の違いに応じて前記測距可能範囲を区分してなる複数の距離区間のうち、対象とする距離区間に存在する対象物の特徴量に関する情報である。前記電気信号は、前記複数の距離区間にそれぞれ関連する複数の距離区間信号を含む。前記対象物情報生成部は、前記対象物情報を、前記複数の距離区間信号のうち、前記対象とする距離区間に関連する距離区間信号に基づいて生成する。前記出力部は、前記対象物情報を出力する。前記距離画像生成部は、前記複数の距離区間にそれぞれ関連する前記複数の前記距離区間信号に基づいて、前記測距可能範囲の距離画像を生成する。前記距離画像生成部は、前記対象物情報生成部が少なくとも一つの前記距離区間に関する前記対象物情報の生成処理を行った後に、前記距離画像を生成する。
【0008】
本開示の一態様に係るセンサシステムは、前記情報処理システムと、前記光センサと、を備える。
【0009】
本開示の一態様に係る情報処理方法は、光センサで生成される電気信号で示される情報を処理する。前記光センサは、発光部から対象空間へ出射された測定光が前記対象空間における測距可能範囲で反射された光を受け取る受光部を備える。前記受光部は、複数の画素を含む。前記電気信号は、前記複数の画素のうちで前記光を受け取った画素の情報を示す。前記情報処理方法は、対象物情報を生成することを含む。前記対象物情報は、前記発光部が前記測定光を出射した時点からの経過時間の違いに応じて前記測距可能範囲を区分してなる複数の距離区間のうち、対象とする距離区間に存在する対象物の特徴量に関する情報である。前記電気信号は、前記複数の距離区間にそれぞれ関連する複数の距離区間信号を含む。前記対象物情報を生成することでは、前記対象物情報を、前記複数の距離区間信号のうち、前記対象とする距離区間に関連する距離区間信号に基づいて、前記対象物情報を生成する。前記情報処理方法は、前記対象物情報を出力することを含む。前記情報処理方法は、前記複数の距離区間にそれぞれ関連する前記複数の前記距離区間信号に基づいて、前記測距可能範囲の距離画像を生成することを更に含む。前記情報処理方法では、少なくとも一つの前記距離区間に関する前記対象物情報の生成処理を行った後に、前記距離画像を生成する。
【0010】
本開示の一態様に係るプログラムは、1以上のプロセッサに、前記情報処理方法を実行させるためのプログラムである。
【図面の簡単な説明】
【0011】
【
図1】
図1は、一実施形態に係るセンサシステムによる対象物までの距離の測定方法の概略を示す図である。
【
図2】
図2は、同上のセンサシステムのブロック図である。
【
図3】
図3は、同上のセンサシステムに含まれる光センサの画素の概略図である。
【
図4】
図4は、同上の光センサのブロック図である。
【
図5】
図5は、同上のセンサシステムに含まれる情報処理システムのブロック図である。
【
図6】
図6は、同上の情報処理システムに含まれる対象物情報生成部による処理の流れを示すフローチャートである。
【
図7】
図7は、同上の対象物情報生成部による処理の一例を説明するための図である。
【
図8】
図8は、同上の対象物情報生成部による処理の一例を説明するための図である。
【
図9】
図9は、同上の対象物情報生成部による処理の一例を説明するための図である。
【
図10】
図10は、同上の対象物情報生成部による処理の一例を説明するための図である。
【
図11】
図11は、同上の対象物情報生成部による処理の一例を説明するための図である。
【
図12】
図12は、同上の対象物情報生成部による処理の一例を説明するための図である。
【
図13】
図13は、同上の情報処理システム内での処理の順番を示すタイミングチャートである。
【
図14】
図14は、一変形例に係るセンサシステムに用いられる情報処理システムの要部を示すブロック図である。
【発明を実施するための形態】
【0012】
以下、実施形態に係る情報処理システム100、センサシステム200、情報処理方法及びプログラムについて、添付の図面を参照して説明する。ただし、下記の実施形態は、本開示の様々な実施形態の1つに過ぎない。下記の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、下記の実施形態において説明する各図は、模式的な図であり、図中の各構成要素の大きさ及び厚さそれぞれの比が必ずしも実際の寸法比を反映しているとは限らない。
【0013】
(1)概要
図1に示すように、本実施形態に係る情報処理システム100は、光センサ3で生成される電気信号Si10で示される情報を処理するシステムである。光センサ3は、受光部31を備える。受光部31は、発光部2から対象空間500へ出射された測定光L1が対象空間500における測距可能範囲で反射された光(反射光)L2を受け取る。
図1では、発光部2から出射された測定光L1、及び測定光L1が対象物550で反射された光L2を、点線の矢印で模式的に示してある。
図2に示すように、受光部31は、複数の画素311を含む。光センサ3が生成する電気信号Si10は、複数の画素311のうちで光L2を受け取った画素311の情報を示す。
【0014】
図1に示すように、測距可能範囲FRは、発光部2が測定光L1を出射した時点からの経過時間の違いに応じて、複数(ここでは5個)の距離区間R1~R5に区分される。すなわち、センサシステム200から対象空間500の任意の位置までの距離が決まると、光の往復時間は一意に決まる。そのため、発光部2が測定光L1を出射した時点からの経過時間を、所定の時間間隔で複数に分割することが、測距可能範囲FRを複数の距離区間R1~R5に区分することに相当する。
【0015】
電気信号Si10は、複数の距離区間R1~R5にそれぞれ関連する複数の距離区間信号Si1~Si5を含む。
【0016】
図5に示すように、情報処理システム100は、対象物情報生成部131と、出力部(情報出力部)14と、を備える。
【0017】
対象物情報生成部131は、対象物情報A1~A5を生成する。対象物情報A1~A5の各々は、複数の距離区間R1~R5のうち、対象とする距離区間に存在する対象物550の特徴量に関する情報である。対象物情報生成部131は、複数の距離区間信号Si1~Si5のうちで、対象とする距離区間に関連する距離区間信号に基づいて、対象物情報を生成する。対象物情報A1~A5は、メタデータ(データについてのデータ、あるデータを表す属性や関連する情報を記述したデータ)である。
【0018】
出力部14は、信号処理部13で生成された対象物情報A1~A5を出力する。出力部14は、例えば外部装置6へ対象物情報A1~A5を出力する。
【0019】
本実施形態の情報処理システム100によれば、複数の距離区間R1~R5のうち、対象とする距離区間に存在する対象物550に関する対象物情報は、この対象とする距離区間に関連する距離区間信号に基づいて生成される。例えば、距離区間R1に存在する対象物550の対象物情報A1は、距離区間R1に関連して生成される距離区間信号Si1に基づいて生成される。そのため、例えば特許文献1の撮像端末のように距離画像(撮影範囲内の全ての距離区間の情報を含む画像)に基づいて情報を生成する場合と比較して、演算処理に用いるデータのデータ量が小さくなる。そのため、処理時間の短縮を図ることが可能となる。
【0020】
また、本実施形態の情報処理システム100では、対象とする距離区間(例えば距離区間R1)に関連する距離区間信号(距離区間信号Si1)が光センサ3で生成されれば、他の距離区間(距離区間R2,R3・・・)に関連する距離区間信号(Si2,Si3・・・)の生成を待つことなく、距離区間R1に関する対象物情報(対象物情報A1)の生成が可能である。そのため、リアルタイムに近い時間水準で、対象物情報を生成及び出力することが可能である。
【0021】
(2)詳細
以下、本実施形態の情報処理システム100及びそれを備えたセンサシステム200について、図面を参照してより詳細に説明する。
【0022】
(2.1)センサシステムの距離測定の概要
まず、
図1を参照して、本実施形態のセンサシステム200による距離測定の原理の概要について説明する。
【0023】
センサシステム200は、TOF法(Time Of Flight)を利用して対象物550までの距離を測定するシステムである。センサシステム200は、
図1に示すように、発光部2から出射される測定光L1が対象物550で反射した光(反射光)L2を利用して、対象物550までの距離を測定する。センサシステム200は、例えば、自動車に搭載され障害物を検知する物体認識システム、物体(人)等を検知する監視カメラ、セキュリティカメラ等に利用することができる。
【0024】
センサシステム200は、対象空間500の測距可能範囲FR内に存在する対象物550までの距離を、測定する。測距可能範囲FRは、発光部2が測定光L1を出射してから、光センサ3が受光部31の露光動作を最後に行うまでの時間(設定時間)に応じて決まるパラメータである。測距可能範囲FRは特に限定されないが、一例として、数十cm~数十mである。センサシステム200では、測距可能範囲FRが固定であってもよいし、可変に設定可能であってもよい。
【0025】
より詳細には、センサシステム200は、測距可能範囲FRを区分した複数(ここでは5つ)の距離区間R1~R5の各々において、対象物550の存否を判定する。また、センサシステム200は、対象物550が存在すると判定された距離区間については、この対象物550の特徴量に関する情報である対象物情報を生成する。複数の距離区間R1~R5は、発光部2が測定光L1を出射した時点からの経過時間の違いに応じて、測距可能範囲FRを複数に区分した区間である。つまり、測距可能範囲FRは、複数の距離区間R1~R5で構成されている。ここでは、複数の距離区間R1~R5は、同じ長さである。特に限定されないが、一例として、複数の距離区間R1~R5の各々は数cm~数mである。なお、複数の距離区間R1~R5は、必ずしも同じ長さである必要はないし、距離区間の数も特に限定されない。距離区間の数は、典型的には、1~15の中から選択され得る。
【0026】
センサシステム200では、例えば、発光部2が測定光L1を出射してから、複数の距離区間R1~R5のうちで対象(測定対象)とする距離区間の最近点までの距離の2倍に対応する時間の経過時点で、光センサ3での画素311の露光を開始する(露光動作の開始)。また、センサシステム200では、この距離区間の最遠点までの距離の2倍に対応する時間の経過時点で、光センサ3での画素311の露光を終了する(露光動作の終了)。このように光センサ3を動作させれば、対象とする距離区間内に対象物550が存在する場合には、光センサ3の受光部31の複数の画素311のうちで対象物550の2次元位置(センサシステム200の光軸と垂直な平面内での位置)に対応する領域の画素311で、光L2が受光される。これにより、対象とする距離区間において、対象物550の存否及び対象物550の2次元位置についての情報を得ることができる。また、複数の画素311の各々に対して、対象物550が存在するか否か(光L2を受け取ったか否か)に応じて「1」又は「0」の値を割り当てることで、対象とする距離区間において対象物550が存在する領域(2次元位置)を示す二値画像(距離区間画像:
図8参照)を得ることができる。
【0027】
なお、センサシステム200では、各距離区間での測定において、測定光L1の発光及び光センサ3の各画素311の露光(露光動作)からなる受光動作を、複数回行う。そして、センサシステム200は、各画素311において光L2を受け取った回数(受光回数)が閾値を超えると、この画素311に対応する位置に対象物550(対象物550の一部)があると判定している。このように受光動作を複数回行うことで、ノイズ等の影響が低減され得る。
【0028】
センサシステム200では、複数の距離区間R1~R5の各々で上記の動作を行うことで、各距離区間での対象物550の存否の判定、対象物情報の取得、並びに距離区間画像の取得を行うことが可能となる。
【0029】
図1の例を用いて、上記のセンサシステム200の動作をより詳細に説明する。
図1の例では、複数の距離区間R1~R5の各々に、対象物550が存在している。具体的には、距離区間R1には対象物550として人551が存在し、距離区間R2には対象物550として電柱552が存在し、距離区間R3には対象物550として人553が存在し、距離区間R4には対象物550として2本の木554が存在し、距離区間R5には対象物550としてフェンス555が存在している。以下では便宜上、センサシステム200から距離区間R1の最近点までの距離を「D0」、距離区間R1~R5の長さをそれぞれ「D1」~「D5」とする。なお、センサシステム200から距離区間R1の最遠点までの距離は、「D0+D1」に相当する。また、「D0」は、典型的には0mである。また、測距可能範囲FRは、「D0+D1+D2+D3+D4+D5」で表される。
【0030】
例えば、距離区間R1での対象物550の存否を判定する場合、センサシステム200では、発光部2が測定光L1を出射してから、時間「2×D0/c」が経過した時点で光センサ3の露光を開始し、時間「2×(D0+D1)/c」が経過した時点で光センサ3の露光を終了する。ここで、「c」は光速を意味する。
図1に示すように、距離区間R1では、対象物550としての人551が、光センサ3の複数の画素311のうちで下側の画素311の領域に対応する位置に存在している。そのため、光センサ3では、人551の存在位置に対応する領域の画素311では、光L2を受け取った受光回数が閾値を超え、その他の画素311では受光回数が閾値を超えないこととなる。これにより、距離区間R1については、
図1に示す距離区間画像Im1が得られる。
【0031】
同様に、距離区間R2での対象物550の存否を判定する場合、センサシステム200では、発光部2が測定光L1を出射してから、時間「2×(D0+D1)/c」が経過した時点で光センサ3の露光を開始し、時間「2×(D0+D1+D2)/c」が経過した時点で光センサ3の露光を終了する。
図1に示すように、距離区間R2では、対象物550としての電柱552が、光センサ3の受光部31の複数の画素311のうちで水平方向の一方側の画素311の領域に対応する位置に存在している。そのため、光センサ3では、電柱552の存在位置に対応する領域の画素311では、光L2を受け取った受光回数が閾値を超え、その他の画素311では受光回数が閾値を超えないこととなる。これにより、距離区間R2については、
図1に示す距離区間画像Im2が得られる。距離区間R3~R5についても同様にして、
図1に示す距離区間画像Im3~Im5がそれぞれ得られる。
【0032】
なお、例えば距離区間R4に存在する対象物550である木554の一部は、実際には、それより手前の距離区間R3に存在する対象物550である人553によって隠される。ただし、
図1では、単に分かりやすさのためだけに、距離区間画像Im4において実際の木554の形状を示している。他の距離区間画像についても、同様である。
【0033】
センサシステム200は、さらに、複数の距離区間R1~R5について得られた複数の距離区間画像Im1~Im5を合成することで、測距可能範囲FRについての距離画像Im100を生成する。具体的には、センサシステム200は、複数の距離区間画像Im1~Im5のうちで対象物550に対応する領域の画素311に、距離区間R1~R5ごとに異なる色(又は重み)を付与して、複数の距離区間画像Im1~Im5を重ね合わせる。これにより、例えば
図1に示す距離画像Im100が生成される。
【0034】
本実施形態のセンサシステム200では、上述のような動作で、距離区間画像Im1~Im5及び距離画像Im100を生成することが可能となる。
【0035】
なお、センサシステム200は、必ずしも距離区間画像Im1~Im5を生成しなくてよく、距離区間画像Im1~Im5を生成しうる情報(信号)を生成すればよい。距離画像Im100についても同様である。
【0036】
(2.2)センサシステムの構成
次に、
図2~
図4を参照して、センサシステム200の構成について説明する。
【0037】
図2に示すように、センサシステム200は、情報処理システム100と、発光部2と、光センサ3と、を備える。光センサ3は、受光部31と受光制御部32と出力部33とを備える。
【0038】
発光部2は、対象物550に測定光L1を照射するための光源21を備える。測定光L1は、パルス状の光である。TOF法を利用した距離測定において、測定光L1は、単一波長であり、パルス幅が比較的短く、ピーク強度が比較的高いことが好ましい。また、センサシステム200(光センサ3)を市街地等で利用することを考慮して、測定光L1の波長は、人間の視感度が低く、太陽光からの外乱光の影響を受けにくい近赤外帯の波長域であることが好ましい。本実施形態では、光源21は、例えばレーザーダイオードで構成されており、パルスレーザーを出力する。光源21が出力するパルスレーザーの強度は、レーザ製品の安全基準(JIS C 6802)のクラス1又はクラス2の基準を満たしている。なお、光源21は、上記の構成に限らず、発光ダイオード(LED:Light Emitting Diode)、面発光レーザ(VCSEL:Vertical Cavity Surface Emitting LASER)、ハロゲンランプ等であってもよい。また、測定光L1は、近赤外帯とは異なる波長域であってもよい。
【0039】
受光部31は、複数の画素311を含む画素部310を備える。
【0040】
画素部310において、複数の画素311は、
図2に示すように二次元アレイ状、すなわち行列状に配列されている。画素部310は、イメージセンサを構成する。各画素311は、露光期間の間だけ、光を受け取ることができる。光センサ3は、画素部310で生成される電気信号を情報処理システム100に出力する。
【0041】
図3は、画素部310における各画素311の回路図を示す。
図3に示すように、画素311は、光電変換部D10と、電荷蓄積部C10と、フローティングディフュージョン部FD1と、増幅用のトランジスタSA1と、転送用のトランジスタST1,ST2,ST3と、リセット用のトランジスタSR1と、を備える。
【0042】
光電変換部D10は、内部電源VDD(バイアス電圧)が印可されている状態で、発光部2から出射される測定光L1が対象物550で反射した光L2を受け取ると電荷を生成する。光電変換部D10は、1つのフォトンを受光すると、飽和電荷量の電荷を生成する。光電変換部D10では、1つのフォトンの入射に対して生成される電荷の量が一定(飽和電荷量)である。本実施形態では、光電変換部D10は、アバランシェフォトダイオード(APD)である。
【0043】
電荷蓄積部C10は、光電変換部D10で生成された電荷の少なくとも一部を蓄積する。電荷蓄積部C10は、コンデンサである。電荷蓄積部C10の容量は、光電変換部D10で生成された電荷を複数回蓄積可能に設定される。つまり、電荷蓄積部C10は、光電変換部D10で生成された電荷の積算を可能とし、これによって、画素部310の電気信号のS/N比の改善、ひいては、測定精度の向上に寄与する。本実施形態では、電荷蓄積部C10の第1端は接地されている。
【0044】
フローティングディフュージョン部FD1は、光電変換部D10と電荷蓄積部C10との間にあり、電荷の蓄積に利用される。
【0045】
増幅用のトランジスタSA1は、ゲート端子がフローティングディフュージョン部FD1に接続されている。そのため、トランジスタSA1のドレイン-ソース間抵抗は、フローティングディフュージョン部FD1に蓄積されている電荷の量に応じて変化する。トランジスタSA1のソースは、内部電源VDDに接続されている。トランジスタSA1は、光電変換部D10で生成された電荷の量に対応する大きさ(電荷蓄積部C10に蓄積された電荷の量に対応する大きさ)を有する電気信号(画素信号)を、出力線312へ出力する。
【0046】
トランジスタST1は、光電変換部D10のカソードとフローティングディフュージョン部FD1とを接続する。トランジスタST2は、フローティングディフュージョン部FD1と電荷蓄積部C10の第2端とを接続する。トランジスタST3は、トランジスタSA1のドレインと出力線312とを接続する。また、トランジスタST3と出力線312との接続点は、トランジスタSA1を含むソースフォロワ回路の定電流源負荷としてのトランジスタを介して、接地されている。トランジスタSR1は、フローティングディフュージョン部FD1と内部電源VDDとを接続する。
【0047】
画素311は、所定の露光期間の間、露光を行うこと(露光動作)で、露光期間にフォトンを受け取ったか否かに応じた量の電荷を生成する。
【0048】
具体的には、露光動作において、画素311では、まず、トランジスタST1,SR1がオンされることで、光電変換部D10、及びフローティングディフュージョン部FD1の蓄積電荷がリセットされる。次に、トランジスタST1,SR1がオフされることで、画素311の露光(露光期間)が開始される。露光期間中に光電変換部D10がフォトンを受け取ると、光電変換部D10は、電荷(飽和電荷量の電荷)を生成する。露光期間の終了時点においてトランジスタST1がオンされると、光電変換部D10で生成された電荷がフローティングディフュージョン部FD1に転送される。フローティングディフュージョン部FD1に転送された電荷は、トランジスタST1がオフされた後トランジスタST2がオンされることで、電荷蓄積部C10に転送されて蓄積される。なお、フローティングディフュージョン部FD1では、電荷蓄積部C10に電荷が転送された後にトランジスタSR1がオンされることで、蓄積電荷がリセットされる。フローティングディフュージョン部FD1の蓄積電荷がリセットされた後、トランジスタSR1は再度オフされる。
【0049】
要するに、画素311では、上記の露光動作において、露光期間に光電変換部D10がフォトンを受け取らなかった場合には、電荷蓄積部C10には電荷が蓄積されず、露光期間に光電変換部D10がフォトンを受け取った場合には、飽和電荷量に対応する量の電荷が電荷蓄積部C10に蓄積されることとなる。
【0050】
「(2.1)センサシステムの距離測定の概要」の欄で説明したように、センサシステム200では、各距離区間について、測定光L1の発光及び光センサ3の各画素311の露光動作からなる受光動作を複数回行う。そのため、複数回の受光動作の終了後には、画素311の電荷蓄積部C10に、複数回の受光動作のうちで光電変換部D10がフォトン(光L2)を受光した回数分に相当する電荷量が、蓄積される。受光動作を行う回数(受光回数)は、特に限定されないが、一例において20回程度であってもよい。
【0051】
上記複数回(受光回数)の受光動作の終了後、トランジスタST2がオンされることで、電荷蓄積部C10に蓄積された電荷がフローティングディフュージョン部FD1に転送される。これにより、フローティングディフュージョン部FD1内の電荷の量(光電変換部D10が受け取ったフォトンの数)に応じた電圧が、トランジスタSA1のゲートに印可される。そして、トランジスタST3がオンされることで、光電変換部D10で受け取ったフォトンの数に対応する大きさ(電荷蓄積部C10に蓄積された電荷の量に対応する大きさ)を有する信号が、出力線312に出力される。光電変換部D10、フローティングディフュージョン部FD1、及び電荷蓄積部C10に残る不要な電荷は、トランジスタSR1,ST1,ST2がオンされることにより除去される。
【0052】
要するに、光センサ3は、複数の画素311の各々について、発光部2からの測定光L1の出射及び画素311での露光動作からなる受光動作を1回として、1回以上好ましくは複数回の受光動作に基づいて、光L2を受け取ったか否かを決定する。
【0053】
図4に示すように、受光制御部32は、垂直方向駆動回路321と、列回路322と、列AD変換(ADC)回路323と、シフトレジスタ回路324と、を備える。出力部33は、出力インタフェース回路331を備える。
【0054】
垂直方向駆動回路321は、各画素311から信号を読み出すための制御信号(第1制御信号)を、制御線を介して画素311に供給する。制御線は複数の制御線を含み、第1制御信号は、画素311のトランジスタST1,ST2,ST3,SR1をそれぞれオンするための複数の制御信号を含み得る。制御線は例えば、行列状に配列された複数の画素311の行ごとに設けられている。そのため、同じ行に位置する画素311に対して、制御信号が同時に供給される。
【0055】
画素311から読み出された信号は、出力線312(
図3参照)を介して列回路322に入力される。出力線312は、例えば、行列状に配列された複数の画素311の列ごとに設けられている。
【0056】
列回路322は、画素311から読み出された信号に対して、増幅処理、加算処理等の適宜の信号処理を行う。列回路322は、例えば、増幅処理を行う列アンプ回路、相関二重サンプリング(CDS)回路のような、信号に含まれるノイズ成分を低減する処理を行うノイズ低減回路等を含み得る。
【0057】
列AD変換回路323は、列回路322で信号処理された信号(アナログ信号)をAD変換し、デジタル変換された信号(デジタル信号)を保持する。
【0058】
シフトレジスタ回路324は、列AD変換回路323でAD変換されて保持されている信号を、列ごとに順次、出力部33に転送するための制御信号(第2制御信号)を、列AD変換回路323に供給する。
【0059】
出力部33の出力インタフェース回路331は、例えば、LVDS(Low Voltage Differential Signal)回路を備える。受光部31(各画素311)で生成された信号は、出力部33から外部(ここでは情報処理システム100)へ出力される。出力部33から出力される、画素部310(複数の画素311)からの信号が、各距離区間R1~R5に関連する電気信号である距離区間信号Si1~Si5である。距離区間信号Si1~Si5は、受光回数が閾値を超えた画素311(対象物550が存在する領域に対応する画素311)に「1(ハイレベル)」、受光回数が閾値未満の画素311(対象物550が存在しない領域に対応する画素311)に「0(ローレベル)」の値が割り当てられた、二値信号であり得る。
【0060】
(2.3)情報処理システム
図2に示すように、情報処理システム100は、測定制御部11と、信号受信部12と、信号処理部13と、出力部14と、提示部15と、を備える。測定制御部11及び信号処理部13は、例えば、1以上のプロセッサ(マイクロプロセッサ)と1以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、1以上のプロセッサが1以上のメモリに記憶された1以上のプログラム(アプリケーション)を実行することで、測定制御部11及び信号処理部13として機能する。プログラムは、ここではメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
【0061】
測定制御部11は、発光部2及び光センサ3の制御を行うように構成される。
【0062】
発光部2については、測定制御部11は、光源21から測定光L1を出力させるタイミング(発光タイミング)、光源21から出力される測定光L1のパルス幅等を制御する。
【0063】
光センサ3については、測定制御部11は、受光制御部32を介して各トランジスタST1~ST3,SR1の動作タイミング等を制御することで、各画素311について、画素311(光電変換部D10)を露光状態にするタイミング(露光タイミング)、露光期間、電気信号の読出タイミング等を制御する。露光タイミングは、例えば、画素311のトランジスタST1,SR1をオンからオフに切り替えるタイミングに相当する。露光期間の終了タイミングは、画素311のトランジスタST1をオフからオンに切り替えるタイミングに相当する。読出タイミングは、画素311のトランジスタST3をオフからオンに切り替えるタイミングに相当する。
【0064】
測定制御部11は、例えばタイマ111を備えており、タイマ111での計時動作に基づいて、発光部2での発光タイミング及び光センサ3での各動作タイミングを制御する。
【0065】
測定制御部11は、測距可能範囲FRを構成する複数の距離区間R1~R5について、順次、距離の測定を行う。すなわち、測定制御部11は、まず、センサシステム200に最も近い距離区間R1について、発光部2の発光及び光センサ3の露光を行うことで、距離区間R1に関する距離区間信号Si1を生成する。次に、測定制御部11は、センサシステム200に二番目に近い距離区間R2について、発光部2の発光及び光センサ3の露光を行うことで、距離区間R2に関する距離区間信号Si2を生成する。測定制御部11は、距離区間R3~R5についても、順次、距離区間信号Si3~Si5を生成する。測定制御部11は、このような距離区間R1~R5についての距離の測定(つまり、距離区間信号Si1~Si5の生成)を、繰り返し行う。
【0066】
信号受信部12は、光センサ3の出力部33から出力される電気信号Si10を受信する。電気信号Si10は、距離区間信号Si1~Si5のいずれかを含む。信号受信部12が受信した電気信号Si10は、信号処理部13で処理される。
【0067】
信号処理部13は、
図5に示すように、対象物情報生成部131と、区間間情報生成部132と、距離画像生成部133と、を備えている。
【0068】
対象物情報生成部131は、複数の距離区間R1~R5の各々に存在する対象物の特徴量に関する情報である対象物情報を、光センサ3で生成される電気信号のうちで対象とする距離区間に関連する距離区間信号に基づいて生成する。
【0069】
対象物情報生成部131は、例えば、距離区間の数(5個)に応じた数の生成部(第1生成部1311~第5生成部1315)を備えている。第1生成部1311は、信号受信部12から距離区間信号Si1を受け取る。第1生成部1311は、距離区間R1に存在する対象物550(
図1の例では、人551)に関する対象物情報A1を、この距離区間R1に関連する電気信号である距離区間信号Si1に基づいて生成する。同様に、第2生成部1312は、距離区間R2に存在する対象物550(
図1の例では、電柱552)に関する対象物情報A2を、この距離区間R2に関連する電気信号である距離区間信号Si2に基づいて生成する。第3生成部1313は、距離区間R3に存在する対象物550(
図1の例では、人553)に関する対象物情報A3を、この距離区間R3に関連する電気信号である距離区間信号Si3に基づいて生成する。第4生成部1314は、距離区間R4に存在する対象物550(
図1の例では、木554)に関する対象物情報A4を、この距離区間R4に関連する電気信号である距離区間信号Si4に基づいて生成する。第5生成部1315は、距離区間R5に存在する対象物550(
図1の例では、フェンス555)に関する対象物情報A5を、この距離区間R5に関連する電気信号である距離区間信号Si5に基づいて生成する。
【0070】
なお、
図5及び上記の説明では、単に分かりやすさのためだけに、複数の距離区間信号Si1~Si5が、異なる経路を通じて対象物情報生成部131(信号処理部13)に入力され、対象物情報生成部131における異なる要素(第1生成部1311~第5生成部1315)で処理されているとしている。しかしながら、これに限らず、複数の距離区間信号Si1~Si5は、同一の経路で対象物情報生成部131に入力されて同一の要素で処理されてもよい。
【0071】
以下、対象物情報生成部131(第1生成部1311~第5生成部1315の各々)による対象物情報A1~A5の生成方法について、
図6~
図11を参照して説明する。
図6は、対象物情報生成部131が行う処理の流れを示すフローチャートである。なお、以下では、距離区間R1に関する動作に着目して説明を行うが、距離区間R2~R5の場合の動作についても同様である。また、以下では、
図7に示す対象空間500についての測定を行った場合を、具体例として適宜用いて説明する。
図7に示す例では、対象空間500における距離区間R1に、2つの対象物550(車両)が存在している、とする。
【0072】
対象物情報生成部131(第1生成部1311)は、まず、信号受信部12を介して、複数の距離区間R1~R5のうち対象とする距離区間R1に関連する距離区間信号Si1を受け取る(S1)。
【0073】
対象物情報生成部131は、距離区間信号Si1を受け取ると、距離区間信号Si1に対して前処理を行う(S2)。前処理は、世界座標の設定処理、背景信号の除去処理、画素311の光電変換部D10がAPDの場合にはAPD特有の暗時出力の除去処理、等を含み得る。
【0074】
世界座標の設定処理は、例えば、センサシステム200(光センサ3)を基準として設定された装置座標から、対象空間500に相当する仮想空間に設定された直交座標系である世界座標への座標変換処理を含み得る。直交座標系である世界座標を用いると、世界座標で表される仮想空間に占める対象物550のサイズは、世界座標において対象物550が存在する位置によって変化することはない。そのため、対象物550の寸法を特徴量に用いる場合には、世界座標への変換を行うことによって、特徴量と比較する基準を仮想空間での対象物の位置によって変化させる必要がなくなり、特徴量の評価が容易になる。
【0075】
前処理を行うことで、例えば
図8に示すような距離区間画像Im10(二値画像)を示すデータが得られる。
図8は、対象物550が存在する領域の画素311に白色(「1」の値)、対象物550が存在しない領域の画素311に黒色(「0」の値)を割り当てた二値画像である。
図9に、
図8に対応する画像であって、対象物550が存在する画素311に「1」の値、存在しない画素311に「0」の値を割り当てたデータ(二値データ)を示す。なお、
図9では、簡単のため、すべての画素311の値を示すのではなく一部の画素311についてのみ値を示し、その他の画素311を省略している。
【0076】
前処理(S2)の後、対象物情報生成部131は、距離区間信号Si1で示される距離区間画像Im10に対してラン・レングス符号(RLC)化処理を行い(S3)、ラン・レングスデータ(RLデータ)を生成する。これにより、例えば
図10で示されるRLデータが得られる。
図10に示すRLデータの各行は、
図9の二値データの各行に1対1に対応している。
図10に示すRLデータでは、データの各行において、連続する「1」の値の最初の列の番号及び連続する「1」の値の最後の列の番号のみが、示されている。RLデータは、元の二値データに復元可能である。このように、RLC化処理を行うことで、RLC化処理の前に比べてデータ量が大幅に圧縮され得る。
【0077】
RLC化処理(S3)の後、対象物情報生成部131は、RLデータに対して接続性の解析を行うことで、対象物550の存否を判定する(S4)。すなわち、対象物情報生成部131は、RLデータの各行において「1」が割り当てられた領域が、上下に隣り合う行の間でつながっているか否かを解析し、「1」が割り当てられた複数の隣り合う画素を1つの「塊」と判定する。そして、この塊を構成する画素311の数が閾値以上の場合、この塊に対応する画素311の領域に対象物550が存在する、と判定する。対象物情報生成部131は、判定した各対象物550に対して、対象物550ごとに異なるラベル(ラベルデータ)を付与する。例えば
図8の例では、
図11に示すように、左側の対象物550の領域には「Obj1」のラベルが付与され、右側の対象物550の領域には「Obj2」のラベルが付与される。なお、「1」が割り当てられた画素311が存在しない、又は塊を構成する画素311の数が閾値未満の場合、対象とする距離区間には対象物550が存在しないと判定される。
【0078】
要するに、対象物情報生成部131は、対象とする距離区間R1に関連する距離区間信号Si1に基づいて、複数の画素311の各々に対して光L2を受け取ったか否かに応じて値が割り当てられてなる距離区間画像Im10を生成する。対象物情報生成部131は、距離区間画像Im10を構成する複数の画素311のうちで、互いに隣り合っておりかつ光L2を受け取った連続する画素311に対応する領域を、1つの対象物550に対応するとみなす。対象物情報生成部131は、距離区間画像Im10内に対象物550に対応する領域が複数存在する場合、複数の対象物550に対して異なるラベル(Obj1,Obj2)を付与する。
【0079】
対象物550の存否の判定(S4)の後、対象物情報生成部131は、各対象物550に関する特徴量を抽出する(S5)。ここでは、対象物情報生成部131は、各対象物550に関する複数の特徴量を生成する。対象物情報生成部131は、一つの対象物550に対応するとみなされた連続する画素311の領域に基づいて、対象物550の特徴量を抽出する。複数の特徴量は、対象物550(対象物550に対応する連続する画素311)の面積、長さ(周囲長)、列方向の1次モーメント及び行方向の1次モーメント、(1+1)次モーメント、重心、慣性主軸1の長さ、慣性主軸2の長さ、慣性主軸1の方向、慣性主軸2の方向、対称性(慣性主軸1の長さ/慣性主軸2長さ)、付与されたラベル、距離区間を示すレンジ情報等を含み得る。対象物情報生成部131は、対象物550に対応する領域が複数存在すると判定された場合には、複数の対象物550(複数の対象物550に対応する複数の領域)の各々について、特徴量の抽出を行う。要するに、対象物情報生成部131で生成される対象物情報に含まれる対象物550の特徴量は、面積、長さ、列方向の1次モーメント、行方向の1次モーメント、(1+1)次モーメント、重心、慣性主軸、対称性のうちの少なくとも一つを含み得る。
【0080】
特徴量の抽出(S5)の後、対象物情報生成部131は、各対象物550(対象物550に対応する連続する画素311の各領域)について、複数の特徴量の値を成分とするベクトルデータを生成する(S6)。ベクトルデータの次元数は、抽出された特徴量の種類の数に対応する。
【0081】
要するに、対象物情報生成部131は、1つの対象物550に対応するとみなされた連続する画素311の領域に基づいて、この対象物550に関する複数の特徴量を抽出する。対象物情報生成部131は、対象物情報として、対象物550に関する複数の特徴量を成分とするベクトルデータを生成する。
【0082】
また、対象物情報生成部131は、対象物550を識別する識別処理を行う。対象物情報生成部131は、例えば、対象物550が車両であるか人であるか等を識別し、識別結果を含む識別データを生成する。対象物情報生成部131は、周知のパターン認識等の手法を用いて対象物を識別すればよい。
【0083】
対象物情報生成部131は、生成したデータを、対象物情報(ここでは対象物情報A1)として出力する(S7)。対象物情報生成部131が対象物情報(ここでは対象物情報A1)として出力するデータは、対象物550のRLデータ、ラベルデータ、ベクトルデータ、及び識別データのうちの少なくとも一つを含み得る。上述のように、対象物情報A1は、距離区間信号Si1に復元可能な形式(RLデータ)であり得る。対象物情報のデータ量は、距離区間信号Si1に含まれる情報のデータ量よりも小さい。
【0084】
また、対象物550が複数存在する場合、対象物情報生成部131が出力する対象物情報A1は、複数の対象物550にそれぞれ対応する複数の対象物情報を含み得る。例えば、対象物情報生成部131は、
図5に示すように、距離区間R1に関して、対象物情報A1として対象物情報A11,A12,・・・を生成し得る。対象物情報生成部131は、距離区間R2に関して、対象物情報A2として対象物情報A21,A22,・・・を生成し得る。対象物情報生成部131は、距離区間R3に関して、対象物情報A3として対象物情報A31,A32,・・・を生成し得る。対象物情報生成部131は、距離区間R4に関して、対象物情報A4として対象物情報A41,A42,・・・を生成し得る。対象物情報生成部131は、距離区間R5に関して、対象物情報A5として対象物情報A51,A52,・・・を生成し得る。対象物情報A11,A12,A21,A22,A31,A32,A41,A42,A51,A52,・・・は、ベクトルデータを含み得る。
【0085】
区間間情報生成部132は、複数の距離区間R1~R5のうち異なる2つの距離区間にそれぞれ存在する対象物550同士が同一か否かを、これら2つの対象物550のベクトルデータ間の距離に基づいて判定する。例えば、区間間情報生成部132は、2つの距離区間R1,R2にまたがって一つの対象物550が存在する場合に、距離区間R1に存在する対象物550と距離区間R2に存在する対象物550とが同一であることを、ベクトルデータ間の距離に基づいて判定する。
【0086】
区間間情報生成部132は、例えば、第1生成部1311から、対象物550に関するベクトルデータAを含む対象物情報A11を受け取り、第2生成部1312から、対象物550に関するベクトルデータBを含む対象物情報A21を受け取る。対象物情報A11及び対象物情報A2を受け取ると、区間間情報生成部132は、例えば
図12に示すように、ベクトルデータAとベクトルデータBとの間の距離|A-B|を算出する。区間間情報生成部132は、求めた距離が閾値よりも小さければ、これら2つの対象物550は同一であると判定し、出力部14に判定結果を出力する。一方、区間間情報生成部132は、求めた距離が閾値以上であれば、これら2つの対象物550は異なる対象物であると判定し、出力部14に判定結果を出力する。区間間情報生成部132は、上記の判定を、異なる対象物情報に含まれるベクトルデータ同士の全ての組み合わせについて行い、判定結果を出力部14に出力する。例えば、区間間情報生成部132は、対象物情報A1と対象物情報A2との組み合わせに関しては、対象物情報A11とA21との組み合わせ、対象物情報A11とA22との組み合わせ、対象物情報A12とA21との組み合わせ、及び対象物情報A12とA22との組み合わせについて、上記の判定を行う。なお、
図12では、簡単のためにベクトルデータを3次元で表しているが、上述のように、ベクトルデータの次元は特徴量の数に対応し得る。
【0087】
距離画像生成部133は、複数の距離区間R1~R5を含む測距可能範囲FRについての距離画像Im100を生成する。距離画像生成部133は、複数の距離区間R1~R5にそれぞれ関連する複数の距離区間信号Si1~Si5に基づいて、距離画像Im100を生成する。距離画像生成部133は、例えば、複数の距離区間信号Si1~Si5でそれぞれ示される距離区間画像Im1~Im5において対象物550が存在する領域の画素311に、距離区間信号Si1~Si5ごとに異なる色(又は重み)を付与する。そして、距離画像生成部133は、色(重み)が付与された複数の距離区間画像Im1~Im5を重ね合わせることで、距離画像Im100を生成する。距離画像生成部133は、生成した距離画像Im100を示すデータを、出力部14に出力する。
【0088】
ここで、距離画像生成部133は、対象物情報生成部131が少なくとも一つの距離区間R1に関する対象物情報の生成処理を行った後に、距離画像Im100を生成する。より詳細には、距離画像生成部133は、対象物情報生成部131が少なくとも一つの距離区間R1に関する対象物情報の生成処理を終了した後に、距離画像Im100の生成処理を開始する。
図13に、光センサ3による受光動作、対象物情報生成部131による対象物情報の生成動作、出力部14による対象物情報の出力動作、距離画像生成部133による距離画像Im100の生成(合成)動作の間の、時間関係の概略を示す。
図13において、「測定」の段は、複数の距離区間R1~R5のうちで、光センサ3が距離の測定を行った距離区間を示す。「情報生成」の段は、距離区間信号Si1~Si5のうちで、対象物情報生成部131が距離区間信号の処理を行って対象物情報を生成した距離区間信号を示す。「データ出力」の段は、対象物情報A1~A5のうちで、出力部14が出力した対象物情報を示す。「合成」の段は、距離画像生成部133が距離画像Im100を生成するタイミングを示す。また、
図13では、各段の矢印の始点が処理(測定、生成、出力、又は合成)の開始時点を示し、矢印の終点が処理の終了時点を示す。
【0089】
図13に示すように、光センサ3は、まず、時間t0~t1の間の期間(以下、「期間T1」ともいう)に、距離区間R1についての測定を行い、距離区間信号Si1を生成する。また、光センサ3は、時間t1~t2の間の期間(以下、「期間T2」ともいう)に、距離区間R2についての測定を行い、距離区間信号Si2を生成する。光センサ3は、時間t2~t3の間の期間(以下、「期間T3」ともいう)に、距離区間R3についての測定を行い、距離区間信号Si3を生成する。光センサ3は、時間t3~t4の間の期間(以下、「期間T4」ともいう)に、距離区間R4についての測定を行い、距離区間信号Si4を生成する。光センサ3は、時間t4~t5の間の期間(以下、「期間T5」ともいう)に、距離区間R5についての測定を行い、距離区間信号Si1を生成する。
【0090】
対象物情報生成部131では、光センサ3が測定を終えた距離区間に関連する距離区間信号を用いて、順次、各距離区間での対象物の判定処理を行う。具体的には、対象物情報生成部131は、期間T2において距離区間信号Si1を処理し、期間T3において距離区間信号Si2を処理し、期間T4において距離区間信号Si3を処理し、期間T5において距離区間信号Si4を処理し、時間t5~t6の間の期間において距離区間信号Si5を処理する。要するに、対象物情報生成部131は、例えば、期間T1の間に光センサ3にて測定が終了した距離区間R1に関連する距離区間信号Si1についての処理を、光センサ3による全ての距離区間での測定の終了(時間t5)まで待つことなく、行う。これにより、全ての距離区間での測定の終了後に距離区間信号の処理を行う場合に比べて、リアルタイムに近い処理を行うことが可能となる。
【0091】
また、
図13に示すように、出力部14も、全ての距離区間での測定の終了(時間t5)まで待つことなく、対象物情報生成部131が生成した対象物情報A1~A4を順次出力する。
【0092】
このような時系列で対象物情報A1~A5の生成及び出力が行われるため、距離画像生成部133は、対象物情報生成部131が少なくとも一つの距離区間R1に関する対象物情報A1の生成処理を行った後に、距離画像Im100を生成することとなる。距離画像Im100の生成には、全ての距離区間R1~R5についての距離区間信号Si1~Si5が必要だからである。
【0093】
出力部14は、対象物情報生成部131で生成された対象物情報、区間間情報生成部132による判定結果、及び距離画像生成部133で生成された距離画像Im100を、提示部15及び外部装置6のうちの少なくとも一方に出力する。上述のように、出力部14は、距離画像が生成される前に、少なくとも一つの距離区間(例えば距離区間R1)に関する対象物情報(対象物情報A1)を出力する。出力部14は、距離区間画像Im1~Im5を出力してもよい。出力部14は、無線信号の形で情報を出力してもよい。
【0094】
提示部15は、出力部14から出力された情報を可視化する。提示部15は、例えば液晶ディスプレイ、有機ELディスプレイ等の二次元ディスプレイを備えていてもよい。提示部15は、距離画像を三次元表示するための三次元ディスプレイ備えていてもよい。要するに、提示部15は、距離画像Im100を可視化すればよい。
【0095】
以上説明したように、本実施形態の情報処理システム100によれば、複数の距離区間R1~R5の各々に存在する対象物550に関する対象物情報を、対象とする距離区間に関連する距離区間信号に基づいて生成する。そのため、処理時間の短縮を図ることが可能となる。
【0096】
特に、例えば障害物検知の用途にセンサシステム200を用いる場合、外部装置6は、対象物550が存在し得る距離区間さえわかれば十分であり得る。その場合、測距可能範囲FR全体の距離画像を用いて対象物550までの距離を求める必要はなく、本実施形態の情報処理システム100が好適に適用され得る。
【0097】
さらに、本実施形態の情報処理システム100では、外部装置6へ距離画像を出力し外部装置6にて対象物情報を生成する場合に比べて、外部装置6へ出力される情報のデータ量を大幅に圧縮することが可能である。
【0098】
具体的に説明すると、例えば、受光部31が、1000×1000の行列状に配置された1000000個の画素311を含む場合を想定する。この場合、異なる距離区間に対応する対象物550に対して異なる色を付与して距離画像を生成すれば、距離画像のデータ量は、画素数(1メガ)×3バイト(RGB)の3Mバイトである。距離画像を外部装置6へ出力する場合、この3Mバイトのデータが出力されることとなる。
【0099】
一方、本実施形態の情報処理システム100では、対象物情報生成部131により処理される距離区間画像Im10は二値画像であるため、そのデータ量は1Mバイトである。そして対象物情報生成部131が、距離区間画像Im10を処理して得られるRLデータは、例えば距離区間画像Im10内に対象物550に対応する領域が2つある場合には、2(対象物の数)×4バイト(1つの対象物に対応するデータ量:次元数(2)×座標値)×1000(行の数)=8Kバイトにまで圧縮される。さらに、ベクトルデータまで圧縮すると、例えばベクトルデータが10の特徴量を含む場合、4バイト(1つの特徴量のデータ量)×10(特徴量の数)×2(対象物の数)=80バイトとなる。そのため、例えば距離区間の数が5の場合には、高々400バイトのデータを出力すればよいこととなる。このように、本実施形態の情報処理システム100によれば、出力するデータ量の低減によっても、処理速度の向上を図ることが可能となる。
【0100】
(3)変形例
上述の実施形態は、本開示の様々な実施形態の一つに過ぎない。上述の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係る情報処理システム100と同様の機能は、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。
【0101】
一態様に係る情報処理方法は、光センサ3で生成される電気信号Si10で示される情報を処理する情報処理方法である。光センサ3は、発光部2から対象空間500へ出射された測定光L1が対象空間500における測距可能範囲FRで反射された光L2を受け取る受光部31を備える。光センサ3は、受光部31に含まれる複数の画素311のうちで光L2を受け取った画素311に応じた電気信号Si10を生成する。情報処理方法は、対象物情報A1~A5を生成することを含む。対象物情報A1は、発光部2が測定光L1を出射した時点からの経過時間の違いに応じて測距可能範囲FRを区分してなる複数の距離区間R1~R5のうち、対象とする距離区間R1に存在する対象物550の特徴量に関する情報である。電気信号Si10は、複数の距離区間R1~R5にそれぞれ関連する複数の距離区間信号Si1~Si5を含む。情報処理方法は、対象物情報A1を、複数の距離区間信号Si1~Si5のうち、対象とする距離区間R1に関連する距離区間信号Si1に基づいて生成する。情報処理方法は、対象物情報A1~A5を出力することを含む。
【0102】
一態様に係るプログラムは、1以上のプロセッサに、上記の情報処理方法を実行させるためのプログラムである。プログラムは、コンピュータ可読な媒体に記録されて提供されてもよい。
【0103】
以下、上述の実施形態の変形例を列挙する。以下に説明する変形例は、上述の実施形態と適宜組み合わせて適用可能である。
【0104】
本開示における情報処理システム100における測定制御部11及び信号処理部13は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における処理部35としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
【0105】
また、情報処理システム100における複数の機能が、1つの筐体内に集約されていることは情報処理システム100に必須の構成ではなく、情報処理システム100の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、情報処理システム100の一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。反対に、情報処理システム100の複数の機能が1つの筐体内に集約されていてもよい。
【0106】
一変形例において、情報処理システム100は、
図14に示すように、時間差情報生成部134を備えていてもよい。対象物情報生成部131は、同一の距離区間R1について異なるタイミングで生成された2つの距離区間信号Si101,Si102に基づいて、2つの距離区間画像を生成する。対象物情報生成部131は、2つの距離区間画像にそれぞれ含まれる対象物550に関する2つの対象物情報A101,A102を生成する。2つの対象物情報A101,A102の各々は、対応する距離区間画像に含まれる対象物550に関するベクトルデータを含む。時間差情報生成部134は、2つの距離区間画像にそれぞれ含まれる2つの対象物550同士が同一か否かを、2つの対象物550のベクトルデータ間の距離に基づいて判定する。
【0107】
図14では、距離区間信号Si101,Si102は、いずれも距離区間R1に関連して生成された距離区間信号であるが、異なるタイミングで生成された信号である。例えば、距離区間信号Si102は、距離区間R1についての距離の測定によって距離区間信号Si101が生成されかつ他の距離区間R2~R5に関連する距離区間信号Si2~Si5が順次生成された後、再度距離区間R1についての距離の測定が行われた際に生成された信号であり得る。
【0108】
一変形例において、センサシステム200は、実施形態のような直接TOFではなく、間接TOFの方式で距離区間信号を生成してもよい。
【0109】
一変形例において、情報処理システムは、距離画像Im100を更に参照して、対象物情報(A1~A5)を生成してもよい。
【0110】
(4)態様
以上説明した実施形態及び変形例等から以下の態様が開示されている。
【0111】
第1の態様の情報処理システム(100)は、光センサ(3)で生成される電気信号(Si10)で示される情報を処理する情報処理システムである。光センサ(3)は、発光部(2)から対象空間(500)へ出射された測定光(L1)が対象空間(500)における測距可能範囲(FR)で反射された光(L2)を受け取る受光部(31)を備える。受光部(31)は、複数の画素(311)を含む。電気信号(Si10)は、複数の画素(311)のうちで光(L2)を受け取った画素(311)の情報を示す。情報処理システム(100)は、対象物情報生成部(131)と、出力部(14)と、を備える。対象物情報生成部(131)は、対象物情報(A1~A5)を生成する。対象物情報(A1)は、発光部(2)が測定光(L1)を出射した時点からの経過時間の違いに応じて測距可能範囲(FR)を区分してなる複数の距離区間(R1~R5)のうち、対象とする距離区間(R1)に存在する対象物(550)の特徴量に関する情報である。電気信号(Si10)は、複数の距離区間(R1~R5)にそれぞれ関連する複数の距離区間信号(Si1~Si5)を含む。対象物情報生成部(131)は、対象物情報(A1)を、複数の距離区間信号(Si1~Si5)のうち、対象とする距離区間(R1)に関連する距離区間信号(Si1)に基づいて生成する。
【0112】
この態様によれば、処理時間の短縮を図ることが可能となる。
【0113】
第2の態様の情報処理システム(100)は、第1の態様において、距離画像生成部(133)を更に備える。距離画像生成部(133)は、複数の距離区間(R1~R5)にそれぞれ関連する複数の距離区間信号(Si1~Si5)に基づいて、測距可能範囲(FR)の距離画像(Im100)を生成する。距離画像生成部(133)は、対象物情報生成部(131)が少なくとも一つの距離区間(R1)に関する対象物情報(A1)の生成処理を行った後に、距離画像(Im100)を生成する。
【0114】
この態様によれば、処理時間の短縮を図ることが可能となる。
【0115】
第3の態様の情報処理システム(100)は、第2の態様において、距離画像(Im100)を可視化する提示部(15)を更に備える。
【0116】
この態様によれば、距離画像(Im100)を見ることで、対象空間(500)の状態の把握が容易になる。
【0117】
第4の態様の情報処理システム(100)では、第2又は第3の態様において、出力部(14)は、距離画像生成部(133)により距離画像(Im100)が生成される前に、少なくとも一つの距離区間(R1)に関する対象物情報(A1)を出力する。
【0118】
この態様によれば、例えば対象物情報(A1)を受け取った外部装置(6)は、距離画像(Im100)の生成を待つことなく、距離区間(R1)に関する対象物情報(A1)の処理が可能となる。
【0119】
第5の態様の情報処理システム(100)では、第1~第4のいずれか1つの態様において、複数の画素(311)は、二次元アレイ状に配置されている。対象物情報生成部(131)は、対象とする距離区間(R1)に関連する距離区間信号(Si1)に基づいて、複数の画素(311)の各々に対して光(L2)を受け取ったか否かに応じて値が割り当てられてなる距離区間画像(Im10)を生成する。対象物情報生成部(131)は、距離区間画像(Im10)を構成する複数の画素(311)のうちで、互いに隣り合っておりかつ光(L2)を受け取った連続する画素(311)に対応する領域を、1つの対象物(550)に対応するとみなす。対象物情報生成部(131)は、距離区間画像(Im10)内に対象物(550)に対応する領域が複数存在する場合、複数の対象物(550)に対して異なるラベル(Obj1,Obj2)を付与する。
【0120】
この態様によれば、対象物情報(A1)を処理する装置(例えば外部装置6)での処理が容易になる。
【0121】
第6の態様の情報処理システム(100)では、第1~第5のいずれか1つの態様において、光センサ(3)は、複数の画素(311)の各々について、発光部(2)からの測定光(L1)の出射及び画素(311)での露光動作からなる受光動作を1回として、複数回の受光動作に基づいて、光(L2)を受け取ったか否かを決定する。
【0122】
この態様によれば、ノイズ等の影響が低減され得る。
【0123】
第7の態様の情報処理システム(100)では、第1~第6のいずれか1つの態様において、複数の画素(311)は、二次元アレイ状に配置されている。対象物情報生成部(131)は、対象とする距離区間(R1)に関連する距離区間信号(Si1)に基づいて、複数の画素(311)の各々に対して光(L2)を受け取ったか否かに応じて値が割り当てられてなる距離区間画像(Im1)を生成する。対象物情報生成部(131)は、距離区間画像(Im1)を構成する複数の画素(311)のうちで、互いに隣り合っておりかつ光(L2)を受け取った連続する画素(311)に対応する領域を、1つの対象物(550)とみなす。対象物情報生成部(131)は、1つの対象物(550)に対応するとみなされた連続する画素(311)の領域に基づいて、1つの対象物(550)に関する複数の特徴量を抽出する。対象物情報(A1)は、1つの対象物(550)に関する複数の特徴量を成分とするベクトルデータを含む。
【0124】
この態様によれば、処理時間の短縮を図ることが可能となる。
【0125】
第8の態様の情報処理システム(100)は、第7の態様において、区間間情報生成部(132)を更に備える。区間間情報生成部(132)は、複数の距離区間(R1~R5)のうち異なる2つの距離区間(R1,R2)にそれぞれ存在する2つの対象物(550)同士が同一か否かを、2つの対象物(550)のベクトルデータ間の距離に基づいて判定する。
【0126】
この態様によれば、異なる距離区間に存在する対象物(550)同士が同一か否かの判定が、容易になる。
【0127】
第9の態様の情報処理システム(100)では、第7又は第8の態様において、対象物情報生成部(131)は、同一の距離区間(R1)について異なるタイミングで生成された2つの距離区間信号(Si101,Si102)に基づいて、2つの距離区間画像を生成する。対象物情報生成部(131)は、2つの距離区間画像にそれぞれ含まれる対象物(550)に関する2つの対象物情報(A101,A102)を生成する。2つの対象物情報(A101,A102)の各々は、対応する距離区間画像に含まれる対象物(550)に関するベクトルデータを含む。情報処理システム(100)は、2つの距離区間画像にそれぞれ含まれる2つの対象物(550)同士が同一か否かを、2つの対象物(550)のベクトルデータ間の距離に基づいて判定する。
【0128】
この態様によれば、同一の距離区間(R1)について生成された複数の距離区間画像に含まれる対象物(550)同士が同一か否かの判定が、容易になる。
【0129】
第10の態様の情報処理システム(100)では、第1~第9のいずれか1つの態様において、対象物情報(A1)は、距離区間信号(Si1)に復元可能な形式である。対象物情報(A1)のデータ量は、距離区間信号(Si1)に含まれる情報のデータ量よりも小さい。
【0130】
この態様によれば、処理時間の短縮を図ることが可能となる。
【0131】
第11の態様のセンサシステム(200)は、第1~第10のいずれか1つの態様の情報処理システム(100)と、光センサ(3)と、を備える。
【0132】
この態様によれば、処理時間の短縮を図ることが可能となる。
【0133】
第12の態様の情報処理方法は、光センサ(3)で生成される電気信号(Si10)で示される情報を処理する情報処理方法である。光センサ(3)は、発光部(2)から対象空間(500)へ出射された測定光(L1)が対象空間(500)における測距可能範囲(FR)で反射された光(L2)を受け取る受光部(31)を備える。受光部(31)は、複数の画素(311)を含む。電気信号(Si10)は、複数の画素(311)のうちで光(L2)を受け取った画素(311)の情報を示す。情報処理方法は、対象物情報(A1~A5)を生成することを含む。対象物情報(A1)は、発光部(2)が測定光(L1)を出射した時点からの経過時間の違いに応じて測距可能範囲(FR)を区分してなる複数の距離区間(R1~R5)のうち、対象とする距離区間(R1)に存在する対象物(550)の特徴量に関する情報である。電気信号(Si10)は、複数の距離区間(R1~R5)にそれぞれ関連する複数の距離区間信号(Si1~Si5)を含む。対象物情報を生成することは、対象物情報(A1)を、複数の距離区間信号(Si1~Si5)のうち、対象とする距離区間(R1)に関連する距離区間信号(Si1)に基づいて生成することを含む。情報処理方法は、対象物情報(A1~A5)を出力することを含む。
【0134】
この態様によれば、処理時間の短縮を図ることが可能となる。
【0135】
第13の態様のプログラムは、1以上のプロセッサに、第12の態様の情報処理方法を実行させるためのプログラムである。
【0136】
この態様によれば、処理時間の短縮を図ることが可能となる。
【符号の説明】
【0137】
2 発光部
3 光センサ
31 受光部
311 画素
100 情報処理システム
131 対象物情報生成部
132 区間間情報生成部
133 距離画像生成部
134 時間差情報生成部
14 出力部
15 提示部
200 センサシステム
500 対象空間
550 対象物
A1~A5 対象物情報
FR 測距可能範囲
Im10 距離区間画像
Im100 距離画像
L1 測定光
L2 光(反射光)
Obj1,Obj2 ラベル
R1~R5 距離区間
Si1~Si5 距離区間信号