特開 2024-25803 センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024025803

(43)【公開日】2024-02-26

(54)【発明の名称】センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ

(51)【国際特許分類】

   G08G 1/00 20060101AFI20240216BHJP

   B60W 30/08 20120101ALI20240216BHJP

   G08G 1/16 20060101ALI20240216BHJP

【ＦＩ】

G08G1/00 X

B60W30/08

G08G1/16 A

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023206804

(22)【出願日】2023-12-07

(62)【分割の表示】P 2021539135の分割

【原出願日】2019-09-16

(31)【優先権主張番号】10-2019-0001312

(32)【優先日】2019-01-04

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2019-0029372

(32)【優先日】2019-03-14

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】521292722

【氏名又は名称】ソウル ロボティクス カンパニー リミテッド

(74)【代理人】

【識別番号】110000914

【氏名又は名称】弁理士法人ＷｉｓｅＰｌｕｓ

(72)【発明者】

【氏名】イ， ハン ビン

(72)【発明者】

【氏名】パク， ジェ イル

(72)【発明者】

【氏名】チュオン， ホン ミン

(72)【発明者】

【氏名】クォン， オ ラン

(57)【要約】

【課題】センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバの提供。
【解決手段】少なくとも１つのセンサを利用し、三次元空間を連続して感知し、感知された三次元空間に係わる時間別空間情報を獲得し、獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、感知された三次元空間内の少なくとも１つの客体を識別し、識別された少なくとも１つの客体を含む感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を活用する車及びセンシング装置、そしてそのためサーバを開示する。
【選択図】図１１

【特許請求の範囲】

【請求項1】

三次元空間を感知するセンサ部と、
１つ以上の命令語を保存するメモリと、
前記１つ以上の命令語を実行することにより、前記感知された三次元空間に係わるポイントクラウドデータを獲得して、前記獲得されたポイントクラウドデータから個別客体領域を区分し、客体分類モデルを用いて識別された客体の客体情報を獲得し、前記客体情報と前記個別客体領域に基づいて獲得される客体に係わる情報を用いて前記感知された三次元空間を追跡し、前記追跡された三次元空間に係わる情報に基づき、前記車両の走行を制御するプロセッサと、を含む、車両。

【請求項2】

前記プロセッサは、前記１つ以上の命令語を実行することにより、
前記客体分類モデルを通じて識別不可能な客体の場合、前記個別客体領域から獲得される客体に係わる情報を用いて前記感知された三次元空間を追跡する、請求項１に記載の車両。

【請求項3】

前記プロセッサは、前記１つ以上の命令語を実行することにより、
前記客体情報を前記客体に係わる情報を用いて補正することにより、前記感知された三次元空間を追跡する、請求項１に記載の車両。

【請求項4】

前記プロセッサは、前記１つ以上の命令語を実行することにより、
前記客体情報に対応するバウンディングボックスを前記客体に係わる情報を用いて補正することにより、前記感知された三次元空間を追跡する、請求項１に記載の車両。

【請求項5】

前記プロセッサは、前記１つ以上の命令語を実行することにより、
前記追跡された三次元空間に係わる情報から客体の動きパターンを分析し、前記追跡された三次元空間に係わる情報を予測する、請求項１に記載の車両。

【請求項6】

前記プロセッサは、前記１つ以上の命令語を実行することにより、
前記獲得されたポイントクラウドデータから客体領域を抽出し、前記客体領域をクラスタリングすることにより、前記個別客体領域を区分し、前記獲得されたポイントクラウドデータから前記客体分類モデルを用いて前記三次元空間上の客体を識別し、前記識別された客体の客体情報を推定する、請求項１に記載の車両。

【請求項7】

前記客体に係わる情報は、前記個別客体領域に対応するポイントクラウドデータに基づいて獲得される客体の位置、形状、及び個数に係わる情報である、請求項１に記載の車両。

【請求項8】

通信インターフェース装置をさらに含み、前記プロセッサは、前記１つ以上の命令語を実行することにより、前記追跡された三次元空間に係わる情報を前記通信インターフェース装置を通じて外部に伝送する、請求項１に記載の車両。

【請求項9】

三次元空間を感知するセンサ部と、
１つ以上の命令語を保存するメモリと、
前記１つ以上の命令語を実行することにより、前記感知された三次元空間に係わるポイントクラウドデータを獲得し、前記獲得されたポイントクラウドデータから個別客体領域を区分し、客体分類モデルを用いて識別された客体の客体情報を獲得し、前記個別客体領域に基づいて獲得される客体に係わる情報と前記客体情報とを用いて前記感知された三次元空間を追跡するプロセッサと、を含む、センシング装置。

【請求項10】

前記プロセッサは、前記１つ以上の命令語を実行することにより、前記客体分類モデルを通じて識別不可能な客体の場合、前記個別客体領域から獲得される客体に係わる情報を用いて前記感知された三次元空間を追跡する、請求項９に記載のセンシング装置。

【請求項11】

前記プロセッサは、前記１つ以上の命令語を実行することにより、
前記客体情報を前記客体に係わる情報を用いて補正することにより、前記感知された三次元空間を追跡する、請求項９に記載のセンシング装置。

【請求項12】

前記プロセッサは、前記１つ以上の命令語を実行することにより、
前記客体情報に対応するバウンディングボックスを前記客体に係わる情報を用いて補正することにより、前記感知された三次元空間を追跡する、請求項９に記載のセンシング装置。

【請求項13】

前記プロセッサは、前記１つ以上の命令語を実行することにより、前記追跡された三次元空間に係わる情報から客体の動きパターンを分析し、前記追跡された三次元空間に係わる情報を予測する、請求項９に記載のセンシング装置。

【請求項14】

前記プロセッサは、前記１つ以上の命令語を実行することにより、前記獲得されたポイントクラウドデータから客体領域を抽出し、前記客体領域をクラスタリングすることにより、前記個別客体領域を区分し、前記獲得されたポイントクラウドデータから前記客体分類モデルを用いて前記三次元空間上の客体を識別し、前記識別された客体の客体情報を推定する、請求項９に記載のセンシング装置。

【請求項15】

前記客体に係わる情報は、前記個別客体領域に対応するポイントクラウドデータに基づいて獲得される客体の位置、形状、及び個数に係わる情報である、請求項９に記載のセンシング装置。

【請求項16】

通信インターフェース装置をさらに含み、前記プロセッサは、前記１つ以上の命令語を実行することにより、前記追跡された三次元空間に係わる情報を前記通信インターフェース装置を通じて外部に伝送する、請求項９に記載のセンシング装置。

【請求項17】

電子装置において、
三次元空間に係わるポイントクラウドデータを獲得する段階と、
前記獲得されたポイントクラウドデータから個別客体領域を区分する段階と、
前記獲得されたポイントクラウドデータについて客体分類モデルを用いて識別された客体の客体情報を獲得する段階と、
前記個別客体領域に基づいて獲得される客体に係わる情報と前記客体情報とを用いて前記感知された三次元空間を追跡する段階と、を含む方法を遂行するようにする、記録媒体に保存されたコンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、センサを利用して獲得した空間情報を活用する車両及びセンシング装置、並びにそのためのサーバに関する。

【背景技術】

【0002】

四次産業革命により、自律走行車、ドローン、ロボットのような技術分野への関心が高まっている。自律走行車、ドローン、ロボットなどが安定して正確な動作を行うためには、動作制御に必要なデータを収集することが重要である。それに関連し、多種のセンサを活用する方案に係わる研究がなされてきた。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明が解決しようとする課題は、センサを利用して獲得した空間情報を活用する車両及びセンシング装置、並びにそのためのサーバを提供することである。

【0004】

追加の側面は、以下の説明において、部分的に説明され、その説明から明白であり、または本開示の提示された実施形態の実施によって知ることができる。

【課題を解決するための手段】

【0005】

第１側面による車両は、少なくとも１つのセンサを利用し、三次元空間を連続して感知するセンサ部と、コンピュータで実行可能な命令語（computer executable instruction）を保存するメモリと、前記コンピュータで実行可能な命令語を実行することにより、前記感知された三次元空間に係わる時間別空間情報を獲得し、前記獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、前記感知された三次元空間内の少なくとも１つの客体を識別し、前記識別された少なくとも１つの客体を含む前記感知された三次元空間を追跡し、前記追跡された三次元空間に係わる情報と、車両の移動及び姿勢に係わる情報とに基づき、前記車両の走行を制御するプロセッサと、を含むことにもなる。

【0006】

第２側面によるセンシング装置は、少なくとも１つのセンサを利用し、三次元空間を連続して感知するセンサ部と、通信インターフェース装置と、コンピュータで実行可能な命令語を保存するメモリと、前記コンピュータで実行可能な命令語を実行することにより、前記感知された三次元空間に係わる時間別空間情報を獲得し、前記獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、前記感知された三次元空間内の少なくとも１つの客体を識別し、前記識別された少なくとも１つの客体を含む前記感知された三次元空間を追跡し、前記追跡された三次元空間に係わる情報を前記通信インターフェース装置を介して外部に伝送するプロセッサと、を含むことにもなる。

【0007】

第３側面によるサーバは、通信インターフェース装置と、コンピュータで実行可能な命令語を保存するメモリと、前記コンピュータで実行可能な命令語を実行することにより、前記通信インターフェース装置を介して、少なくとも１台の車両によって追跡された、前記少なくとも１台の車両の移動位置に対応する三次元空間に係わる情報を受信し、前記車両が移動する経路に設けられた少なくとも１つのセンシング装置によって追跡された、前記少なくとも１つのセンシング装置の固定された位置に対応する三次元空間に係わる情報を受信し、前記少なくとも１台の車両の移動位置に対応する三次元空間に係わる情報と、前記少なくとも１つのセンシング装置の固定された位置に対応する三次元空間に係わる情報とに基づき、前記少なくとも１台の車両の移動位置と、前記少なくとも１つのセンシング装置の固定された位置とがいずれも属する所定の区域に対応する三次元空間に係わる情報を再構成するプロセッサと、を含むことにもなる。

【0008】

本開示の一実施形態の前述の側面及び他の側面、特徴及び利点は、添付図面と共になされた以下の説明からさらに明確になるであろう。

【図面の簡単な説明】

【0009】

【図1】一実施形態による、車両とセンシング装置とが位置する任意の走行環境を示した図面である。

【図2】一実施形態による車両の構成を示したブロック図である。

【図3】一実施形態によるセンシング装置の構成を示したブロック図である。

【図4】一実施形態によるサーバの構成を示したブロック図である。

【図5】一実施形態によるサーバの階層的構造を示したブロック図である。

【図6】一実施形態による、車両が追跡された三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。

【図7】他の実施形態による、車両が追跡された三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。

【図8】一実施形態による、センシング装置がセンシング装置の固定された位置に対応する三次元空間に係わる情報を追跡する様子について説明するための図面である。

【図9】一実施形態による、車両が車両で追跡された、車両の移動位置に対応する三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。

【図10】一実施形態による、車両が車両で追跡された、車両の移動位置に対応する三次元空間に係わる情報とセンシング装置で追跡された、センシング装置の固定された位置に対応する三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。

【図11】三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程について説明するためのフローチャートである。

【図12】三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。

【図13】三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。

【図14】三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。

【図15】三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。

【図16】三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。

【発明を実施するための形態】

【0010】

本開示の一実施形態による車両は、少なくとも１つのセンサを利用し、三次元空間を連続して感知するセンサ部と、コンピュータで実行可能な命令語（computer executable instruction）を保存するメモリと、前記コンピュータで実行可能な命令語を実行することにより、前記感知された三次元空間に係わる時間別空間情報を獲得し、前記獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、前記感知された三次元空間内の少なくとも１つの客体を識別し、前記識別された少なくとも１つの客体を含む前記感知された三次元空間を追跡し、前記追跡された三次元空間に係わる情報と、車両の移動及び姿勢に係わる情報とに基づき、前記車両の走行を制御するプロセッサと、を含んでもよい。

【0011】

以下においては、図面を参照し、多様な実施形態について詳細に説明する。以下において説明される実施形態は、さまざまに異なる形態に変形されても実施される。本実施形態の特徴についてさらに明確に説明するために、以下の実施形態が属する技術分野で当業者に周知の事項については、詳細な説明は、省略する。

【0012】

本実施形態は、センサを利用して獲得した空間情報を活用する車両、センシング装置、及びそのためのサーバに係わるものであり、以下の実施形態が属する技術分野で当業者に周知の事項については、詳細な説明を省略する。

【0013】

図１は、一実施形態による、車両１００とセンシング装置２００とが位置する任意の走行環境を示した図面である。

【0014】

図１を参照すれば、車両１００が走行中に交差点で停止し、信号待機中であり、交差路の各コーナー近辺には、センシング装置２００－１，２００－２，２００－３，２００－４（以下、「センシング装置２００」ともする）が位置する。

【0015】

車両１００は、道路上や線路上を走る車、列車のような走行手段にもなる。ただし、道路上や線路上ではない空中を運行するときには、ドローン、飛行機のような飛行手段、または海上を運航するときには、ボート、船のような船舶手段を代表する名称にもその意味が拡張されうる。以下においては、説明の便宜上、車両１００は、自律走行車両であることを前提に説明する。車両１００は、自律走行のために、センサを利用し、周辺の空間を感知し、空間情報を獲得することができる。

【0016】

センシング装置２００は、周辺の空間を感知し、空間情報を獲得することができる装置であり、少なくとも１つのセンサを含んでもよい。センシング装置２００は、地上または地面から所定高さに位置したところにも設けられる。センシング装置２００は、既存の施設物に付着または固定させる方式によっても設けられる。

【0017】

車両１００とセンシング装置２００とのそれぞれは、ライダー（ＬｉＤＡＲ：light detection and ranging）センサ、レーダ（radar）センサ、カメラセンサ、赤外線映像センサ、超音波センサのような多種のセンサのうち少なくとも一つを含んでもよい。車両１００とセンシング装置２００とのそれぞれは、三次元空間に係わる空間情報を獲得するため、各種のセンサが有している感知範囲（sensing range）や、獲得することができるデータの種類などを考慮し、同種のセンサを複数個利用したり、異種のセンサを組み合わせて利用したりすることができる。

【0018】

車両１００とセンシング装置２００とに具備されたセンサの種類により、車両１００とセンシング装置２００とのそれぞれが感知することができる感知範囲は、同一であっても、異なっていてもよい。図１を参照すれば、車両１００とセンシング装置２００とのそれぞれが感知することができる感知範囲が図示されている。図１に図示されているように、車両１００が感知することができる第１感知範囲（sensing range １）は、センシング装置２００が感知することができる第２感知範囲（sensing range ２）より狭いようにも図示されているが、それに限定されるものではない。車両１００とセンシング装置２００とに具備されたセンサの種類が同じであるとしても、車両１００とセンシング装置２００とのそれぞれにおいて、センサが設けられた位置や周辺環境により、感知範囲が異なりもする。例えば、センシング装置２００は、車両１００より高いところに位置することができ、移動する車両１００は、固定されているセンシング装置２００に比べ、三次元空間感知を妨害する多様な客体に、近接位置で出合うこともあるために、センシング装置２００が感知することができる第２感知範囲が、車両１００が感知することができる第１感知範囲よりも広いのである。

【0019】

車両１００は、自律走行のために、センサを利用し、周辺の三次元空間に係わる空間情報を直接獲得することができる。車両１００は、走行方向に対応するさらに広い空間に係わる空間情報を事前に獲得するために、直接獲得することができなかった空間情報を外部から受信することができる。例えば、車両１００は、周辺の他の車両やセンシング装置２００から、それぞれが獲得した空間情報を伝達されうる。

【0020】

以下、車両１００で獲得された空間情報を自律走行に利用する方式、センシング装置２００で獲得された空間情報を、周辺の他装置に伝送する方式、車両１００とセンシング装置２００とのそれぞれで獲得された空間情報を結合し、さらに広い三次元空間に係わる空間情報を獲得して活用する方式などについて詳細に述べる。

【0021】

図２は、一実施形態による車両の構成を示したブロック図である。

【0022】

図２を参照すれば、一実施形態による車両１００は、メモリ１１０、プロセッサ１２０、通信インターフェース装置１３０、センサ部１４０、ユーザインターフェース装置１５０を含んでもよい。本実施形態と係わる技術分野で当業者であるならば、図２に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということを知ることができるであろう。

【0023】

メモリ１１０は、ソフトウェア及び／またはプログラムを保存することができる。例えば、メモリ１１０は、アプリケーション、アプリケーションプログラミングインターフェース（ＡＰＩ）のようなプログラム、及び多種のデータを保存することができる。メモリ１１０は、プロセッサ１２０によって実行可能な命令語を保存することができる。

【0024】

プロセッサ１２０は、メモリ１１０に保存されたデータにアクセスし、それを利用したり、新たなデータをメモリ１１０に保存したりすることができる。プロセッサ１２０は、メモリ１１０に保存された命令語を実行することができる。プロセッサ１２０は、車両１００にインストールされたコンピュータプログラムを実行することができる。また、プロセッサ１２０は、外部から受信したコンピュータプログラムまたはアプリケーションを、メモリ１１０にインストールすることもできる。プロセッサ１２０は、少なくとも１つのプロセッシングモジュールを含んでもよい。該プロセッシングモジュールは、所定のプログラムを実行するための専用プロセッシングモジュールでもある。例えば、プロセッサ１２０は、先進運転支援システム（ＡＤＡＳ：advanced driver assistance system）のように、自律走行のための車両制御プログラムを実行する多種のプロセッシングモジュールや、三次元空間追跡プログラムを実行するプロセッシングモジュールを、それぞれ別途の専用チップ形態で含んでもよい。プロセッサ１２０は、命令語またはコンピュータプログラムのような実行結果に対応する動作を遂行するように、車両１００に含まれた他の構成を制御することができる。

【0025】

通信インターフェース装置１３０は、他の装置またはネットワークと無線通信を行うことができる。そのために、通信インターフェース装置１３０は、多様な無線通信方法のうち少なくとも一つを支援する通信モジュールを含んでもよい。例えば、Ｗｉ－Ｆｉ（wireless fidelity）のような近距離通信、３Ｇ・４Ｇ・５Ｇのような多種の移動通信または超広帯域通信を行う通信モジュールが含まれてもよい。通信インターフェース装置１３０は、車両１００の外部に位置した装置と連結され、信号またはデータを送受信することができる。車両１００は、通信インターフェース装置１３０を介し、センシング装置２００、または他の車両と通信を行うか、あるいは車両１００が位置する区域を管理する地域サーバとも連結される。

【0026】

センサ部１４０は、三次元空間を感知するための、少なくとも１つのセンサを含んでもよい。センサ部１４０は、感知範囲内に位置した客体を感知することができ、感知された客体の三次元空間上の座標を生成することができるデータを獲得することができる。センサ部１４０は、感知範囲内に位置した客体に係わる形状データまたは距離データを獲得することができる。センサ部１４０は、ライダー（ＬｉＤＡＲ）センサ、レーダセンサ、カメラセンサ、赤外線映像センサ、超音波センサのような多種のセンサのうち少なくとも一つを含んでもよい。例えば、センサ部１４０は、少なくとも１つの三次元ライダーセンサを含み、３６０°範囲の空間に係わるデータを獲得し、レーダセンサ及び超音波センサのうち少なくとも一つをさらに含み、三次元ライダーセンサが感知することができない死角領域、または車両１００から所定距離内の近接空間に係わるデータを獲得することができる。

【0027】

ユーザインターフェース装置１５０は、ユーザから、ユーザ入力などを受信することができる。ユーザインターフェース装置１５０は、車両１００におけるコンピュータプログラムの実行結果、ユーザ入力に対応する処理結果、車両１００の状態のような情報をディスプレイすることができる。例えば、ユーザは、車両１００にインストールされている多種のコンピュータプログラムのうち、実行するコンピュータプログラムを、ユーザインターフェース装置１５０を介して選択して実行させることができる。ユーザインターフェース装置１５０は、入力を受信したり、出力を提供したりするためのハードウェアユニットを含み、それらを駆動するための専用ソフトウェアモジュールを含むことにもなる。例えば、ユーザインターフェース装置１５０は、タッチスクリーンにもなるが、それに限定されるものではない。

【0028】

図２に図示されていないが、車両１００は、ＧＰＳ（global positioning system）、ＩＭＵ（inertial measurement units）のような自律走行に要求される構成をさらに含んでもよい。該ＧＰＳは、ＧＰＳ衛星に送る信号を受信し、車両１００の現在位置を計算する衛星航法システムである。該ＩＭＵは、車両１００の速度及び方向、重力、並びに加速度を測定する装置である。プロセッサ１２０は、ＧＰＳとＩＭＵとを利用し、車両１００の移動及び姿勢に係わる情報を獲得することができる。プロセッサ１２０は、車両１００に具備された他のセンサやメモリから、車両１００制御に係わるそれ以外の情報を獲得することもできる。

【0029】

プロセッサ１２０は、コンピュータで実行可能な命令語を実行することにより、少なくとも１つのセンサを利用し、連続して感知された三次元空間に係わる時間別空間情報を獲得することができる。プロセッサ１２０は、獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、感知された三次元空間内の少なくとも１つの客体を識別し、識別された少なくとも１つの客体を含む感知された三次元空間を追跡することができる。プロセッサ１２０は、追跡された三次元空間に係わる情報と、車両の移動及び姿勢に係わる情報とに基づき、車両１００の走行を制御することができる。追跡された三次元空間に係わる情報は、識別された少なくとも１つの客体が位置する空間に係わる空間情報、及び識別された少なくとも１つの客体の移動に係わる動的情報を含んでもよい。

【0030】

プロセッサ１２０は、センサ部１４０から時間情報を記録したタイムスタンプと、感知された三次元空間に係わるデータとを受信し、感知された三次元空間に係わる時間別空間情報を、三次元映像に生成することができる。感知された三次元空間に係わる空間情報は、車両１００の移動位置に対応する移動座標値を、ＧＰＳを介して得ることができるので、所定の座標を基準にする座標系、例えば、原点を基準にする絶対座標系の対応する部分にもマッピングされる。

【0031】

センサ部１４０は、複数個の三次元ライダーセンサを介し、同心球関係にある互いに異なるセンシング範囲において、三次元空間をそれぞれ連続して感知することができる。プロセッサ１２０は、互いに異なるセンシング範囲にそれぞれ感知された三次元空間に係わるそれぞれの時間別空間情報を獲得し、獲得したそれぞれの時間別空間情報から、共通に識別される客体に対し、正確度に係わる加重値を与え、三次元空間を追跡することができる。

【0032】

プロセッサ１２０は、感知された三次元空間内の識別された少なくとも１つの客体の種類、三次元形状、位置、姿勢、サイズ、軌跡及び速度のうち少なくとも１つの属性情報を判断して三次元空間を追跡し、追跡された三次元空間に係わる情報を予測し、予測された情報にさらに基づき、車両１００の走行を制御することができる。

【0033】

プロセッサ１２０は、車両１００の移動によって変更される、追跡された三次元空間に係わる情報と、車両１００の移動及び姿勢に係わる情報とを、１０Ｈｚないし２０Ｈｚの処理速度でリアルタイムで反映させ、車両１００の走行を制御することができる。

【0034】

プロセッサ１２０は、車両１００が移動する経路に設けられた少なくとも１つのセンシング装置２００から、少なくとも１つのセンシング装置２００によって追跡された、少なくとも１つのセンシング装置２００の固定された位置に対応する三次元空間に係わる情報を、通信インターフェース装置１３０を介して受信することができる。プロセッサ１２０は、少なくとも１つのセンシング装置２００の固定された位置に対応する三次元空間に係わる情報にさらに基づき、車両１００の走行を制御することができる。

【0035】

プロセッサ１２０は、神経網基盤の客体分類モデルを利用して識別された少なくとも１つの客体を、所定の基準以上の自動車に該当する第１タイプの客体、所定の基準未満の軽自動車または二輪自動車に該当する第２タイプの客体、歩行者に該当する第３タイプの客体、車両１００の移動路に該当する第４タイプの客体、及び第１タイプの客体ないし第４タイプの客体ではないその他感知物に該当する第５タイプの客体のうちいずれか一つに分類することができる。プロセッサ１２０は、ユーザインターフェース装置１５０を介し、分類された少なくとも１つの客体を、追跡された三次元空間に区別してディスプレイすることができる。

【0036】

図３は、一実施形態によるセンシング装置２００の構成を示したブロック図である。

【0037】

図３を参照すれば、一実施形態によるセンシング装置２００は、メモリ２１０、プロセッサ２２０、通信インターフェース装置２３０、センサ部２４０を含んでもよい。本実施形態と係わる技術分野において当業者であるならば、図３に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということを知ることができるであろう。

【0038】

メモリ２１０は、ソフトウェア及び／またはプログラムを保存することができる。メモリ２１０は、プロセッサ２２０によって実行可能な命令語を保存することができる。

【0039】

プロセッサ２２０は、メモリ２１０に保存されたデータにアクセスし、それを利用したり、新たなデータをメモリ２１０に保存したりすることができる。プロセッサ２２０は、メモリ２１０に保存された命令語を実行することができる。プロセッサ２２０は、センシング装置２００にインストールされたコンピュータプログラムを実行することができる。また、プロセッサ２２０は、外部から受信したコンピュータプログラムまたはアプリケーションを、メモリ２１０にインストールすることもできる。プロセッサ２２０は、少なくとも１つのプロセッシングモジュールを含んでもよい。例えば、プロセッサ２２０は、三次元空間追跡プログラムを実行するプロセッシングモジュールを、専用プロセッシングモジュール形態で含んでもよい。プロセッサ２２０は、命令語またはコンピュータプログラムなどの実行結果に対応する動作を遂行するように、センシング装置２００に含まれた他の構成を制御することができる。

【0040】

通信インターフェース装置２３０は、他の装置またはネットワークと有無線通信を行うことができる。そのために、通信インターフェース装置２３０は、多様な有無線通信方法のうち少なくとも一つを支援する通信モジュールを含んでもよい。例えば、Ｗｉ－Ｆｉのような近距離通信、多種の移動通信のような無線通信、または同軸ケーブルや光ケーブルなどを利用する有線通信を行う通信モジュールが含まれてもよい。通信インターフェース装置２３０は、センシング装置２００外部に位置した装置と連結され、信号またはデータを送受信することができる。センシング装置２００は、通信インターフェース装置２３０を介し、車両１００、または他のセンシング装置と通信を行うか、あるいはセンシング装置２００が位置する区域を管理する地域サーバとも連結される。

【0041】

センサ部２４０は、三次元空間を感知するための少なくとも１つのセンサを含んでもよい。センサ部２４０は、感知範囲内に位置した客体を感知することができ、感知された客体の三次元空間上の座標を生成することができるデータを獲得することができる。センサ部２４０は、感知範囲内に位置した客体に係わる形状データまたは距離データを獲得することができる。センサ部２４０は、ライダー（ＬｉＤＡＲ）センサ、レーダセンサ、カメラセンサ、赤外線映像センサ、超音波センサのような多種のセンサのうち少なくとも一つを含んでもよい。例えば、センサ部２４０は、少なくとも１つの三次元ライダーセンサを含み、３６０°範囲の空間に係わるデータを獲得し、レーダセンサ及び超音波センサのうち少なくとも一つをさらに含み、三次元ライダーセンサが感知することができない死角領域、またはセンシング装置２００から所定距離内の近接空間に係わるデータを獲得することができる。

【0042】

プロセッサ２２０は、コンピュータで実行可能な命令語を実行することにより、少なくとも１つのセンサを利用し、連続して感知された三次元空間に係わる時間別空間情報を獲得することができる。プロセッサ２２０は、獲得した時間別空間情報につき、神経網基盤の客体分類モデルを利用し、感知された三次元空間内の少なくとも１つの客体を識別し、識別された少なくとも１つの客体を含む感知された三次元空間を追跡することができる。プロセッサ２２０は、追跡された三次元空間に係わる情報を、通信インターフェース装置２３０を介して外部に伝送することができる。

【0043】

プロセッサ２２０は、センサ部２４０から、時間情報を記録したタイムスタンプと、感知された三次元空間に係わるデータとを受信し、感知された三次元空間に係わる時間別空間情報を、三次元映像に生成することができる。感知された三次元空間に係わる空間情報は、センシング装置２００の固定された位置に対応する固定座標値を有することができるので、所定の座標を基準にする座標系、例えば、原点を基準にする絶対座標系の対応する部分にもマッピングされる。

【0044】

プロセッサ２２０は、感知された三次元空間内の識別された少なくとも１つの客体の種類、三次元形状、位置、姿勢、サイズ、軌跡及び速度のうち少なくとも１つの属性情報を判断し、三次元空間を追跡することができる。プロセッサ２２０は、追跡された三次元空間に係わる情報を、通信インターフェース装置２３０を介し、センシング装置２００から所定距離内の車両１００、他のセンシング装置２００及びサーバ３００のうち少なくとも一つに伝送することができる。

【0045】

図４は、一実施形態によるサーバ３００の構成を示したブロック図である。

【0046】

図４を参照すれば、一実施形態によるサーバ３００は、メモリ３１０、プロセッサ３２０、通信インターフェース装置３３０を含んでもよい。本実施形態と係わる技術分野において当業者であるならば、図４に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということを知ることができるであろう。

【0047】

メモリ３１０は、ソフトウェア及び／またはプログラムを保存することができる。メモリ３１０は、プロセッサ３２０によって実行可能な命令語を保存することができる。

【0048】

プロセッサ３２０は、メモリ３１０に保存されたデータを利用したり、新たなデータをメモリ３１０に保存したりすることができる。プロセッサ３２０は、メモリ２１０に保存された命令語を実行することができる。プロセッサ３２０は、サーバ３００にインストールされたコンピュータプログラムを実行することができる。プロセッサ３２０は、少なくとも１つのプロセッシングモジュールを含んでもよい。プロセッサ３２０は、命令語またはコンピュータプログラムなどの実行結果に対応する動作を遂行するように、サーバ３００に含まれた他の構成を制御することができる。

【0049】

通信インターフェース装置３３０は、他の装置またはネットワークと有無線通信を行うことができる。通信インターフェース装置３３０は、サーバ３００の外部に位置した装置と連結され、信号またはデータを送受信することができる。サーバ３００は、通信インターフェース装置３３０を介し、車両１００またはセンシング装置２００と通信を行うか、あるいはネットワークに連結された他のサーバとも連結される。

【0050】

プロセッサ３２０は、コンピュータで実行可能な命令語を実行することにより、通信インターフェース装置３３０を介し、少なくとも１台の車両１００によって追跡された、少なくとも１台の車両１００の移動位置に対応する三次元空間に係わる情報を受信し、車両１００が移動する経路に設けられた少なくとも１つのセンシング装置２００によって追跡された、少なくとも１つのセンシング装置２００の固定された位置に対応する三次元空間に係わる情報を受信することができる。プロセッサ３２０は、少なくとも１台の車両１００の移動位置に対応する三次元空間に係わる情報と、少なくとも１つのセンシング装置２００の固定された位置に対応する三次元空間に係わる情報とに基づき、少なくとも１台の車両１００の移動位置と、少なくとも１つのセンシング装置２００の固定された位置とがいずれも属する所定の区域に対応する三次元空間に係わる情報を再構成することができる。

【0051】

プロセッサ３２０は、再構成された、所定の区域に対応する三次元空間に係わる情報を、通信インターフェース装置３３０を介し、上位階層の統合サーバに伝送することができる。

【0052】

図５は、一実施形態によるサーバ３００－１，３００－２ないし３００－Ｎ，４００の階層的構造を示したブロック図である。

【0053】

図５を参照すれば、車両１００とセンシング装置２００とがそれぞれ感知することができる感知範囲は、いずれも所定の区域に属するということが分かる。そのような所定の区域は、地域サーバに該当するサーバ３００－１，３００－２ないし３００－Ｎ（以下、サーバ３００と代表しても称される）のうち、当該区域に対応するいずれか１つのサーバ３００によっても管理される。

【0054】

サーバ３００は、サーバ３００が管理する当該区域内において、車両１００やセンシング装置２００によって追跡された三次元空間に係わる情報を収集し、当該区域内の対応する空間にマッピングさせることにより、当該区域全体に対応する三次元空間に係わる情報を再構成することができる。言い替えれば、地域サーバに該当するサーバ３００は、自体が管理する区域に係わる三次元空間に係わる情報を獲得することができる。地域サーバに該当するサーバ３００は、所定の条件を満足したり、要請があったりする場合、自体が管理する区域に係わる三次元空間に係わる情報の一部または全体を、当該区域内に位置した車両１００やセンシング装置２００に伝送することができる。また、サーバ３００は、自体が管理する区域に係わる三次元空間に係わる情報を、地域サーバを管理する全域サーバに該当するサーバ４００に伝送することができる。サーバ４００は、サーバ３００の上位階層の統合サーバでもある。

【0055】

サーバ４００は、地域サーバによって再構成された、所定の区域に対応する三次元空間に係わる情報を収集し、全域内の対応する空間にマッピングさせることにより、サーバ４００が管理する全域に対応する三次元空間に係わる情報を獲得することができる。言い替えれば、全域サーバに該当するサーバ４００は、自体が管理する全域に係わる三次元空間に係わる情報を獲得することができる。全域サーバに該当するサーバ４００は、所定の条件を満足したり、要請があったりする場合、自体が管理する全域に係わる三次元空間に係わる情報の一部または全体を、地域サーバに該当するサーバ３００に伝送することができる。

【0056】

図５に図示されているように、センサ部１４０を含む車両１００、センサ部２４０を含むセンシング装置２００、地域サーバに該当するサーバ３００、及び全域サーバに該当するサーバ４００の間には、階層的構造が形成されうるということが分かる。車両１００とセンシング装置２００とで追跡された三次元空間に係わる情報は、上位階層に伝達されながら統合される過程を経て、全体空間に対応する三次元空間に係わる情報にもなる。

【0057】

図６は、一実施形態による、車両１００が追跡された三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。

【0058】

図６を参照すれば、車両１００が、車両１００の移動位置に対応する三次元空間に係わる情報と、車両１００の移動及び姿勢に係わる情報とに基づいて走行することが分かる。車両１００の移動位置に対応する三次元空間に係わる情報には、少なくとも１つの客体（object）が含まれてもよい。図６に図示されているように、所定の基準以上の自動車は、第１タイプの客体（object of type １）であり、所定の基準未満の軽自動車または二輪自動車は、第２タイプの客体（object of type ２）で、歩行者は、第３タイプの客体（object of type ３）であり、車両１００の移動路は、第４タイプの客体（object of type ４）であり、第１タイプの客体ないし第４タイプの客体ではないその他感知物は、第５タイプの客体（object of type ５）にもそれぞれ区別され、各タイプの客体は、高さを含む三次元形状や大きさ、色相などが互いに異なりうる。車両１００の移動位置によって追跡された三次元空間に係わる情報に基づき、各客体の位置、姿勢、速度などが決定され、各客体を持続的に追跡することにより、変位、変化量、軌跡、推移などを確認または予測することができる。車両１００が自律走行車両である場合、車両１００の移動によって変わる周辺の客体を追跡し、車両１００の走行を制御する資料としても使用される。

【0059】

図６の右側下端に表示されているように、車両１００の速度、方向及び操向（steering）装置の角度を確認することができ、車両１００の移動により、その変化を追跡することができる。

【0060】

図７は、他の実施形態による、車両１００が、追跡された三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。

【0061】

図７を参照すれば、車両１００が、車両１００の移動位置に対応する三次元空間に係わる情報と、車両１００の移動及び姿勢に係わる情報とに基づいて走行することが分かる。先に説明した図６と比較すれば、車両１００を取り囲んでいる同心円の筋数及び間隔が異なるということが分かる。図７の場合、車両１００が、複数個の三次元ライダーセンサを介し、同心球関係にある互いに異なるセンシング範囲において、三次元空間をそれぞれ連続して感知し、互いに異なるセンシング範囲にそれぞれ感知された三次元空間に係わるそれぞれの時間別空間情報を獲得し、車両１００の移動位置に対応する三次元空間を追跡することができるということが分かる。

【0062】

図８は、一実施形態による、センシング装置２００がセンシング装置２００の固定された位置に対応する三次元空間に係わる情報を追跡する様子について説明するための図面である。

【0063】

図８を参照すれば、２つのセンシング装置２００が所定距離を置いて位置しており、各センシング装置２００は、少なくとも１つのセンサを利用し、三次元空間を連続して感知し、センシング装置２００の固定された位置に対応する三次元空間に係わる情報を追跡するということが分かる。ＩＤ １８５に該当する自動車が、約２０ｋｍ／ｈ速度でセンシング装置２００から遠くなり、ＩＤ １５６に該当する歩行者が、約５ｋｍ／ｈ速度で、左側にあるセンシング装置２００から右側にあるセンシング装置２００に移動していることが分かる。このとき、各客体の進行方向を知ることができるように、各客体の進行方向に対応する矢印を示すことができる。そのようなセンシング装置２００は、感知範囲内に、いかなる客体が通過するか、あるいは入り込むかということを知ることができるので、保安用途においても活用され、特定区域に対する通行量観測のようなモニタリング用途としても活用される。

【0064】

図９は、一実施形態による、車両１００が、車両１００で追跡された、車両１００の移動位置に対応する三次元空間に係わる情報に基づいて走行する様子について説明するための図面である。図１０は、一実施形態による、車両１００が、車両１００で追跡された、車両１００の移動位置に対応する三次元空間に係わる情報と、センシング装置２００で追跡された、センシング装置２００の固定された位置に対応する三次元空間に係わる情報とに基づいて走行する様子について説明するための図面である。

【0065】

図９及び図１０を参照すれば、図９に図示された車両１００は、車両１００に具備されたセンサのみを利用し、車両１００の移動位置に対応する三次元空間に係わる情報を獲得するので、車両１００を取り囲んだ客体がある場合、センサが感知することができる感知範囲が制限的になってしまう。それに反し、図１０に図示された車両１００は、車両１００に具備されたセンサを利用し、車両１００の移動位置に対応する三次元空間に係わる情報を獲得するだけではなく、車両１００が移動する経路に設けられた少なくとも１つのセンシング装置２００に具備されたセンサを利用し、センシング装置２００の固定された位置に対応する三次元空間に係わる情報も獲得するので、図９の車両１００が感知することができる三次元空間より、図１０の車両１００が感知することができる三次元空間がはるかに広いということが分かる。図１０の車両１００は、第３タイプの客体に該当する歩行者と、第１タイプの客体に該当する全ての自動車とを追跡し、それに係わる情報を確認することができるが、図９の車両１００は、第３タイプの客体に該当する歩行者と、第１タイプの客体に該当する一部自動車とを追跡することができない。

【0066】

図１１は、三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程について説明するためのフローチャートである。図１２ないし図１６は、三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程の各段階について説明するための図面である。以下、図１１ないし図１６を参照し、三次元空間に係わる時間別空間情報に基づき、感知された三次元空間を追跡し、追跡された三次元空間に係わる情報を予測する過程について説明する。

【0067】

１１１０段階において、車両１００またはセンシング装置２００は、三次元空間に係わる時間別空間情報から、地面領域と客体領域とを区分することができる。車両１００またはセンシング装置２００で感知された三次元空間に係わる時間別空間情報は、ポイントクラウドデータ形態でもある。

【0068】

車両１００またはセンシング装置２００は、三次元空間に係わる時間別空間情報から、地面領域を区分することができる。車両１００またはセンシング装置２００は、ポイントクラウドデータのうち、地面領域に該当するポイントクラウドデータを区分することができる。車両１００またはセンシング装置２００は、三次元空間に係わる時間別空間情報から、地面領域をまず区分し、残り部分を、少なくとも１つの客体を含む客体領域に区分することができる。車両１００またはセンシング装置２００は、地面推定モデル（ground estimation model）を探すために、確率的モデル（stochastic model）に基づいたフィッティングを適用することができる。車両１００またはセンシング装置２００は、リアルタイムで地面形態を学習することができ、それぞれのポイントクラウドデータにつき、地面領域に該当するポイントクラウドデータであるか否かということで分類することができる。

【0069】

図１２を参照すれば、車両１００またはセンシング装置２００が感知した三次元空間に係わる特定時間における、空間情報から地面領域と客体領域とを区分する過程が示されている。説明の便宜のために、図１２ないし図１６においては、図示されているように、３個の客体と、地面とを含む空間情報の場合を例として挙げて説明する。

【0070】

車両１００またはセンシング装置２００が感知した三次元空間に係わる特定時間における空間情報は、図１２の上段に図示されているように、客体と地面との区分がないポイントクラウドデータであり、感知された全ての対象に対応するポイントクラウドデータでもある。車両１００またはセンシング装置２００は、図１２の上段に図示されているような全体ポイントクラウドデータから、地面領域と推定されるポイントクラウドデータを分離することにより、図１２の下段に図示されているように、地面領域に対応するポイントクラウドデータと、客体領域に対応するポイントクラウドデータとを区分することができる。このとき、該客体領域は、少なくとも１つの客体を含むが、各客体別に区分された状態ではなく、全体客体に対応するポイントクラウドデータでもある。

【0071】

再び図１１を参照すれば、１１２０段階において、車両１００またはセンシング装置２００は、客体領域をクラスタリングすることにより、個別客体領域を区分することができる。車両１００またはセンシング装置２００は、地面領域と区分された客体領域を、さらに各客体別に区分されうるように、個別客体領域にさらに区分することができる。地面領域と、区分された客体領域は、全体客体に対応するポイントクラウドデータに該当するので、車両１００またはセンシング装置２００は、全体客体に対応するポイントクラウドデータをクラスタリングすることにより、各客体別に、ポイントクラウドデータを区分することができる。

【0072】

図１３を参照すれば、車両１００またはセンシング装置２００が、地面領域と、区分された客体領域とから、各客体に対応する個別客体領域を区分する過程が示されている。

【0073】

図１３の上段に図示されているように、地面を除いた全体客体を含む客体領域に対応するポイントクラウドデータは、地面領域に対応するポイントクラウドデータと区分されうる。車両１００またはセンシング装置２００は、客体領域に対応するポイントクラウドデータを、距離情報、形状情報、分布情報のうち少なくとも一つに基づいてクラスタリングすることにより、全体客体を含む客体領域に対応するポイントクラウドデータから、図１３の下段に図示されているように、「客体１」、「客体２」及び「客体３」それぞれの、個別客体領域に対応するポイントクラウドデータを区分することができる。その結果、車両１００またはセンシング装置２００は、客体の位置や形状、個数などに係わる情報を獲得することができる。

【0074】

再び図１１を参照すれば、１１３０段階において、車両１００またはセンシング装置２００は、三次元空間に係わる時間別空間情報につき、神経網基盤の客体分類モデルを利用して識別された少なくとも１つの客体の客体情報を獲得することができる。車両１００またはセンシング装置２００は、神経網基盤の客体分類モデルに、三次元空間に係わる時間別空間情報を入力し、少なくとも１つの客体を識別し、識別された客体の客体情報を獲得することができる。該神経網基盤の客体分類モデルは、各客体につき、データベース化された学習用映像を利用して学習されたものでもある。該神経網基盤の客体分類モデルは、感知された全ての対象に対応するポイントクラウドデータにつき、距離情報、形状情報、分布情報のうち少なくとも一つに基づいて識別される各客体の客体情報を推定することができる。車両１００またはセンシング装置２００は、神経網基盤の客体分類モデルを介し、自動車、軽自動車、二輪自動車、歩行者のような動くことができる関心客体のみを識別し、関心客体についてのみ客体情報を推定することもできる。１１３０段階は、１１１０段階及び１１２０段階と並列的に処理されうる。

【0075】

図１４を参照すれば、車両１００またはセンシング装置２００が感知した三次元空間に係わる特定時間における空間情報から、各客体の客体情報を獲得する過程が示されている。

【0076】

車両１００またはセンシング装置２００が感知した三次元空間に係わる特定時間における空間情報は、図１４の上段に図示されているように、感知された全ての対象に対応するポイントクラウドデータでもある。車両１００またはセンシング装置２００は、図１４の上段に図示されているような全体ポイントクラウドデータにつき、神経網基盤の客体分類モデルを利用し、「客体１」、「客体２」及び「客体３」を識別して分類し、「客体１」、「客体２」及び「客体３」の客体情報を獲得することができる。「客体１」に該当するタイプの客体を、関心客体として事前に設定しておくことにより、関心客体である「客体１」のみを識別して分類し、「客体１」についてのみ客体情報を獲得するようにすることもできる。図１４の下段に図示されているように、車両１００またはセンシング装置２００は、各客体の種類、位置及び大きさの値を推定することができ、各客体に係わる多様な形態のバウンダリライン（boundary line）またはバウンディングボックス（Bounding box）を決定することができる。

【0077】

再び図１１を参照すれば、１１４０段階において、車両１００またはセンシング装置２００は、１１３０段階で獲得した、三次元空間に係わる時間別空間情報につき、神経網基盤の客体分類モデルを利用して識別された少なくとも１つの客体の客体情報と、１１２０段階で獲得した、個別客体領域とに基づき、感知された三次元空間を追跡することができる。１１３０段階で活用される神経網基盤の客体分類モデルは、十分に学習されていない客体については、客体の識別、及び客体情報の推定が困難であるので、車両１００またはセンシング装置２００は、そのような識別不可能な客体については、１１２０段階で獲得した個別客体領域から、客体の位置や形状または個数などに係わる情報を獲得することができる。また、１１３０段階で活用される神経網基盤の客体分類モデルが推定した客体の情報は、感知された三次元空間上の客体の実際情報と異なりもするので、１１２０段階で獲得した個別客体領域から獲得することができる客体の位置や形状または個数などに係わる情報を利用して補正することもできる。結果として、神経網基盤の客体分類モデルが推定した客体の情報と、クラスタリングを介して区分された個別客体領域から獲得した客体に係わる情報とを統合し、各客体を識別し、客体の位置や形状などに係わる正確な情報を獲得することができる。また、神経網基盤の客体分類モデルを介し、識別または分類することができない客体についても、クラスタリングを介して区分された個別客体領域から獲得した客体に係わる情報を利用することにより、感知された三次元空間上の全ての客体を逃さずに追跡することができる。

【0078】

図１５及び図１６を参照すれば、車両１００またはセンシング装置２００が、クラスタリングを介して区分された個別客体領域から獲得した客体に係わる情報と、神経網基盤の客体分類モデルが推定した客体の情報とを統合し、感知された三次元空間上の客体を追跡する過程が示されている。

【0079】

図１５を参照すれば、車両１００またはセンシング装置２００は、「客体１」、「客体２」及び「客体３」それぞれの、個別客体領域に対応するポイントクラウドデータに基づいて獲得した各客体に係わる情報と、「客体１」、「客体２」及び「客体３」で識別されて分類された各客体の客体情報とを統合し、感知された三次元空間上の全ての客体に係わる正確な情報を獲得することができる。車両１００またはセンシング装置２００は、各客体に係わる多様な形態のバウンダリラインまたはバウンディングボックスを、個別客体領域に対応するポイントクラウドデータに基づいて獲得した各客体に係わる情報によって補正することにより、客体に係わる正確な情報を獲得することができる。

【0080】

図１６を参照すれば、車両１００またはセンシング装置２００は、感知された三次元空間に係わる時間別空間情報から、経時的に、感知された三次元空間上の全ての客体に係わる連続的な情報を獲得し、感知された三次元空間上の全ての客体を追跡することができる。例えば、車両１００またはセンシング装置２００は、カルマンフィルタを利用した客体追跡方式により、各客体を経時的に追跡することができる。図１６に図示されているように、車両１００またはセンシング装置２００は、経時的な連続フレーム情報から、各客体の位置の変化量に基づき、速度と移動方向とを追跡することができ、追跡した結果を記録することもできる。

【0081】

再び図１１を参照すれば、１１５０段階において、車両１００またはセンシング装置２００は、追跡された三次元空間に係わる情報を予測することができる。車両１００またはセンシング装置２００は、客体を追跡した情報を累積し、累積された追跡情報から、客体の動きパターンを分析し、客体の動きを予測することができる。車両１００またはセンシング装置２００は、識別された少なくとも１つの客体のうち、関心客体についてのみ追跡された三次元空間における動きを予測することにより、それと係わるプロセッシングの演算量を減らし、効率的な走行または監視を計画することができる。

【0082】

前述の実施形態それぞれは、電子装置において、センサを利用して獲得した空間情報を活用する所定の段階を含む方法を遂行させるコンピュータで読み取り可能な記録媒体に保存されたコンピュータプログラムまたはアプリケーション形態にも提供される。言い替えれば、前述の実施形態それぞれは、電子装置をして、センサを利用して獲得した空間情報を活用する所定の段階を含む方法を実行させるためのコンピュータで読み取り可能な記録媒体に保存されたコンピュータプログラムまたはアプリケーション形態にも提供される。

【0083】

前述の実施形態は、コンピュータまたはプロセッサによって実行可能な命令語及びデータを保存するコンピュータで読み取り可能な記録媒体の形態にも具現される。前述の命令語及びデータのうち少なくとも一つは、プログラムコードの形態にも保存され、プロセッサによって実行されたとき、所定のプログラムモジュールを生成し、所定の動作を遂行することができる。そのようなコンピュータで読み取り可能な記録媒体は、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）、フラッシュメモリ、ＣＤ－ＲＯＭｓ、ＣＤ－Ｒｓ、ＣＤ＋Ｒｓ、ＣＤ－ＲＷｓ、ＣＤ＋ＲＷｓ、ＤＶＤ－ＲＯＭｓ、ＤＶＤ－Ｒｓ、ＤＶＤ＋Ｒｓ、ＤＶＤ－ＲＷｓ、ＤＶＤ＋ＲＷｓ、ＤＶＤ－ＲＡＭｓ、ＢＤ－ＲＯＭｓ、ＢＤ－Ｒｓ、ＢＤ－ＲＬＴＨｓ、ＢＤ－ＲＥｓ、マグネチックテープ、フロッピーディスク、光磁気データ保存装置、光学データ保存装置、ハードディスク、ソリッドステートディスク（ＳＳＤ）、並びに命令語またはソフトウェア、関連データ、データファイル及びデータ構造を保存することができ、プロセッサやコンピュータが命令語を実行するように、プロセッサやコンピュータに命令語またはソフトウェア、関連データ、データファイル及びデータ構造を提供することができるいかなる装置でもある。

【0084】

以上、本実施形態を中心に説明した。開示された実施形態が属する技術分野で当業者であるならば、開示された実施形態が、本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。発明の範囲は、前述の実施形態の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、発明の範囲に含まれたものであると解釈されなければならないのである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】