特表 2024-537934 センシング装置の設置異常を感知する方法、及びそれを遂行するセンシング装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-17

(54)【発明の名称】センシング装置の設置異常を感知する方法、及びそれを遂行するセンシング装置

(51)【国際特許分類】

   G01S 7/497 20060101AFI20241009BHJP

   G08G 1/00 20060101ALI20241009BHJP

   G01C 3/00 20060101ALI20241009BHJP

   G01C 3/06 20060101ALI20241009BHJP

   G01S 17/89 20200101ALI20241009BHJP

【ＦＩ】

G01S7/497

G08G1/00 A

G01C3/00 120

G01C3/06 120Q

G01S17/89

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024512021

(86)(22)【出願日】2022-08-18

(85)【翻訳文提出日】2024-02-29

(86)【国際出願番号】 KR2022012338

(87)【国際公開番号】W WO2023027419

(87)【国際公開日】2023-03-02

(31)【優先権主張番号】10-2021-0113404

(32)【優先日】2021-08-26

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】521292722

【氏名又は名称】ソウル ロボティクス カンパニー リミテッド

(74)【代理人】

【識別番号】110000914

【氏名又は名称】弁理士法人ＷｉｓｅＰｌｕｓ

(72)【発明者】

【氏名】パク， ジェイル

(72)【発明者】

【氏名】チュオン， ホン ミン

(72)【発明者】

【氏名】キム， ヨン スン

(72)【発明者】

【氏名】カン， ソン ジュ

【テーマコード（参考）】

2F112

5H181

5J084

【Ｆターム（参考）】

2F112AD01

2F112BA15

2F112CA12

2F112FA33

5H181AA01

5H181AA21

5H181BB04

5H181BB13

5H181BB17

5H181CC02

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181EE12

5H181FF13

5J084AA04

5J084AA20

5J084AB20

5J084AC02

5J084AC04

5J084AC06

5J084AC07

5J084AC10

5J084CA26

5J084CA31

5J084CA70

5J084DA07

5J084DA09

5J084EA08

5J084EA20

5J084EA26

(57)【要約】

LiDARセンサを利用し、三次元空間に係わる時間別点群を獲得するセンサ部、メモリ、及び該メモリに保存された１以上の命令語を実行することにより、獲得された三次元空間に係わる時間別点群に基づき、三次元空間の静的客体領域を決定し、決定された静的客体領域に対応する時間別静的点群のうち、所定の時間差を有する静的点群に基づき、センシング装置の設置異常を判断するプロセッサを含むセンシング装置が開示される。
【選択図】図８

【特許請求の範囲】

【請求項1】

LiDARセンサを利用し、三次元空間に係わる時間別点群を獲得する段階と、
前記獲得された前記三次元空間に係わる時間別点群に基づき、前記三次元空間の静的客体領域を決定する段階と、
前記決定された静的客体領域に対応する時間別静的点群のうち、所定の時間差を有する静的点群に基づき、センシング装置の設置異常を判断する段階と、を含む、センシング装置の設置異常を感知する方法。

【請求項2】

前記三次元空間の静的客体領域を決定する段階は、
前記獲得された前記三次元空間に係わる時間別点群から生成される空間情報マップのフレーム間に互いに対応する位置の単位領域内の点群が、連続して検出される期間に基づき、前記静的客体領域を決定する、請求項１に記載のセンシング装置の設置異常を感知する方法。

【請求項3】

前記三次元空間の静的客体領域を決定する段階は、
前記空間情報マップのフレーム間において、互いに対応する位置の単位領域内の点群が、最小検出臨界値以上である点個数でもって連続して検出される期間に基づき、前記静的客体領域を決定する、請求項２に記載のセンシング装置の設置異常を感知する方法。

【請求項4】

前記三次元空間の静的客体領域を決定する段階は、
前記空間情報マップがボクセルマップである場合、前記ボクセルマップの各フレームにおいて、ボクセル内の点群が連続して検出される期間が臨界値以上である静的ボクセルと、前記臨界値未満である動的ボクセルと、を区分し、前記ボクセルマップの特定時点の基準フレームで前記静的ボクセルによってなる前記静的客体領域を決定する、請求項２に記載のセンシング装置の設置異常を感知する方法。

【請求項5】

前記三次元空間の静的客体領域を決定する段階は、
前記獲得された前記三次元空間に係わる時間別点群のうち、指定された領域の点群に基づき、前記三次元空間の静的客体領域を決定する、請求項１に記載のセンシング装置の設置異常を感知する方法。

【請求項6】

前記センシング装置の設置異常を判断する段階は、
前記決定された静的客体領域に対応する時間別静的点群のうち、第１時点の第１静的点群と、前記第１時点と前記所定の時間差を有する第２時点の第２静的点群と、を抽出する段階と、
前記第１静的点群と前記第２静的点群との差に基づき、前記センシング装置の設置異常いかんを決定する段階と、を含む、請求項１に記載のセンシング装置の設置異常を感知する方法。

【請求項7】

前記センシング装置の設置異常いかんを決定する段階は、
前記決定された静的客体領域に係わる前記第１静的点群の領域の比率と、前記第２静的点群の領域の比率とを比較し、前記センシング装置の設置異常いかんを決定する、請求項６に記載のセンシング装置の設置異常を感知する方法。

【請求項8】

前記センシング装置の設置異常いかんを決定する段階は、
前記獲得された前記三次元空間に係わる時間別点群から生成されるボクセルマップにおいて、前記決定された静的客体領域を構成する全体ボクセルの個数に係わる前記第１静的点群を構成するボクセルの個数の比率と、前記第２静的点群を構成するボクセルの個数の比率とを比較し、前記センシング装置の設置異常いかんを決定する、請求項６に記載のセンシング装置の設置異常を感知する方法。

【請求項9】

LiDARセンサを利用し、三次元空間に係わる時間別点群を獲得する命令語と、
前記獲得された前記三次元空間に係わる時間別点群に基づき、前記三次元空間の静的客体領域を決定する命令語と、
前記決定された静的客体領域に対応する時間別静的点群のうち、所定の時間差を有する静的点群に基づき、センシング装置の設置異常を判断する命令語と、を含む、コンピュータで実行させるためのプログラムを保存したコンピュータで読み取り可能な記録媒体。

【請求項10】

LiDARセンサを利用し、三次元空間に係わる時間別点群を獲得するセンサ部と、
１以上の命令語を保存するメモリと、
前記１以上の命令語を実行することにより、前記獲得された前記三次元空間に係わる時間別点群に基づき、前記三次元空間の静的客体領域を決定し、前記決定された静的客体領域に対応する時間別静的点群のうち、所定の時間差を有する静的点群に基づき、センシング装置の設置異常を判断するプロセッサと、を含む、センシング装置。

【請求項11】

前記プロセッサは、前記１以上の命令語を実行することにより、
前記獲得された前記三次元空間に係わる時間別点群から生成される空間情報マップのフレーム間に互いに対応する位置の単位領域内の点群が連続して検出される期間に基づき、前記静的客体領域を決定する、請求項１０に記載のセンシング装置。

【請求項12】

前記プロセッサは、前記１以上の命令語を実行することにより、
前記ボクセルマップの各フレームにおいて、前記連続して検出される期間が臨界値以上である静的ボクセルと、前記臨界値未満である動的ボクセルとを区分し、前記ボクセルマップの特定時点における基準フレームにおいて、前記静的ボクセルによってなる前記静的客体領域を決定する、請求項１１に記載のセンシング装置。

【請求項13】

前記プロセッサは、前記１以上の命令語を実行することにより、
前記空間情報マップがボクセルマップである場合、前記ボクセルマップの各フレームにおいて、ボクセル内の点群が連続して検出される期間が臨界値以上である静的ボクセルと、前記臨界値未満である動的ボクセルとを区分し、前記ボクセルマップの特定時点の基準フレームで前記静的ボクセルによってなる前記静的客体領域を決定する、請求項１１に記載のセンシング装置。

【請求項14】

前記プロセッサは、前記１以上の命令語を実行することにより、
前記獲得された前記三次元空間に係わる時間別点群のうち、指定された領域の点群に基づき、前記三次元空間の静的客体領域を決定する、請求項１０に記載のセンシング装置。

【請求項15】

前記プロセッサは、前記１以上の命令語を実行することにより、
前記決定された静的客体領域に対応する時間別静的点群のうち、第１時点の第１静的点群と、前記第１時点と前記所定の時間差を有する第２時点の第２静的点群と、を抽出し、前記第１静的点群と前記第２静的点群との差に基づき、前記センシング装置の設置異常いかんを決定する、請求項１０に記載のセンシング装置。

【請求項16】

前記プロセッサは、前記１以上の命令語を実行することにより、
前記決定された静的客体領域に係わる前記第１静的点群の領域の比率と、前記第２静的点群の領域の比率とを比較し、前記センシング装置の設置異常いかんを決定する、請求項１５に記載のセンシング装置。

【請求項17】

前記プロセッサは、前記１以上の命令語を実行することにより、
前記獲得された前記三次元空間に係わる時間別点群から生成されるボクセルマップにおいて、前記決定された静的客体領域を構成する全体ボクセルの個数に係わる前記第１静的点群を構成するボクセル個数の比率と、前記第２静的点群を構成するボクセル個数の比率とを比較し、前記センシング装置の設置異常いかんを決定する、請求項１５に記載のセンシング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、センシング装置の設置異常を感知する方法、及びそれを遂行するセンシング装置に関する。

【背景技術】

【0002】

LiDAR（light detection and ranging）技術のようなセンシング技術の発展により、最近、多様な産業技術分野において、センシング技術が融合された先端制御機能が活用されており、そのために、多様なセンシング装置が設けられている。

【0003】

LiDARは、三次元空間の客体に光を放出した後、反射された光を受信し、そこから、三次元空間に係わる情報を獲得する技術である。LiDARは、カメライメージセンサのように、カラーを認知することができないが、遠くにある物体まで感知することができ、すぐれた空間分解能を有している。

【発明の概要】

【発明が解決しようとする課題】

【0004】

センシング装置の設置状態に変化が生じた場合、別途の追加装置なしに、LiDARセンサを利用して獲得される点群の変化に基づき、該センシング装置の設置異常を感知する方法、及びそれを遂行するセンシング装置に関する。

【課題を解決するための手段】

【0005】

第１態様によるセンシング装置の設置異常を感知する方法は、LiDARセンサを利用し、三次元空間に係わる時間別点群を獲得する段階、前記獲得された前記三次元空間に係わる時間別点群に基づき、前記三次元空間の静的客体領域を決定する段階、及び前記決定された静的客体領域に対応する時間別静的点群のうち、所定の時間差を有する静的点群に基づき、該センシング装置の設置異常を判断する段階を含む。

【0006】

第２態様によるコンピュータで読み取り可能な記録媒体は、LiDARセンサを利用し、三次元空間に係わる時間別点群を獲得する命令語、前記獲得された前記三次元空間に係わる時間別点群に基づき、前記三次元空間の静的客体領域を決定する命令語、及び前記決定された静的客体領域に対応する時間別静的点群のうち、所定の時間差を有する静的点群に基づき、センシング装置の設置異常を判断する命令語を含むコンピュータで実行させるためのプログラムを保存する。

【0007】

第３態様によるセンシング装置は、LiDARセンサを利用し、三次元空間に係わる時間別点群を獲得するセンサ部、１以上の命令語を保存するメモリ、及び前記１以上の命令語を実行することにより、前記獲得された前記三次元空間に係わる時間別点群に基づき、前記三次元空間の静的客体領域を決定し、前記決定された静的客体領域に対応する時間別静的点群のうち、所定の時間差を有する静的点群に基づき、センシング装置の設置異常を判断するプロセッサを含む。

【図面の簡単な説明】

【0008】

【図1】センシング装置が設けられた様子と、該センシング装置の設置状態に変化が生じた様子とについて説明するための図である。

【図2】一実施形態によるセンシング装置の構成及び動作について説明するための図である。

【図3】センシング装置が生成した空間情報マップにおいて、動的点群、静的点群及び静的客体領域について説明するための図である。

【図4】ボクセルマップと、該ボクセルマップの単位領域に対応するボクセルとについて説明するための図である。

【図5】静的ボクセルと動的ボクセルとを区分するプロセスについて説明するための図である。

【図6】センシング装置の設置異常を判断するプロセスについて説明するための図である。

【図7】一実施形態によるサーバの構成及び動作について説明するための図である。

【図8】一実施形態によるセンシング装置の設置異常を感知する方法について説明するためのフローチャートである。

【図9】センシング装置の設置異常を判断するプロセスについて説明するための詳細フローチャートである。

【発明を実施するための形態】

【0009】

以下においては、図面を参照し、多様な実施形態について詳細に説明する。本実施形態の特徴についてさらに明確に説明するために、以下の本実施形態が属する技術分野において通常の知識を有する者に広く知られている事項に係わる詳細な説明は、省略する。

【0010】

なお、本明細書において、ある構成が他構成と「連結」されているとするとき、それは、「直接連結」されている場合だけではなく、「その中間に他構成を挟んで連結」されている場合も含む。また、ある構成が他構成を「含む」とするとき、それは、特別に反対となる記載がない限り、それ以外のさらに他の構成を除くものではなく、該さらに他の構成をさらに含むものでもあり得るということを意味する。

【0011】

また、本明細書で使用される「第１」または「第２」のように序数を含む用語は、多様な構成要素についての説明に使用されうるが、前記構成要素は、前記用語によって限定されるものではない。前記用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。

【0012】

本実施形態は、センシング装置の設置異常を感知する方法、及びそれを遂行するセンシング装置に係り、以下の実施形態が属する技術分野において通常の知識を有する者に広く知られている事項については、詳細な説明を省略する。

【0013】

図１は、センシング装置１００が設けられた様子と、センシング装置１００の設置状態に変化が生じた様子と、について説明するための図面である。

【0014】

センシング装置１００は、三次元空間に係わる空間情報として、点群（point cloud data）を獲得することができる装置であり、少なくとも１つのセンサを含むものでもあり得る。センシング装置１００は、三次元空間に光を放出し、それに対する応答として受信された光に基づき、三次元空間に係わる点群を獲得しうる。センシング装置１００は、室内または屋外において、関心領域に該当する空間、または可能な限り広い空間を感知しうるところに設けられうる。例えば、図１でのようにセンシング装置１００は、構造物に固定されて設けられうる。

【0015】

センシング装置１００は、三次元空間を感知する３Ｄセンサとして、LiDAR（light detection and ranging）センサを具備し、体積型点群（volumetric point cloud data）を獲得しうる。センシング装置１００は、必要により、レーダー（radar）センサ、赤外線映像センサ、カメラのような多様な種類のセンサをさらに含むものでもあり得る。センシング装置１００は、各種類のセンサが有している感知範囲や、獲得しうるデータの種類などを考慮し、同種のセンサを複数個利用するか、あるいは異種のセンサを組み合わせて利用することもできる。

【0016】

LiDARセンサは、三次元空間の客体のカラーを感知することができないが、形態、大きさ、位置を感知しうる。該三次元空間に係わる情報を収集しうる多チャネルLiDARセンサは、客体のカラーやテキスチャを感知することができないが、客体の大体の形態や、大きさ、体積を活用しうる分野に適する。

【0017】

図１に図示されているように、構造物に設けられたセンシング装置１００に物理的な衝撃が加えられるか、あるいはセンシング装置１００が設けられた構造物の支持部や連結部が老朽化され、センシング装置１００を支持することができなくなるというような理由により、センシング装置１００の設置状態に変化が生じうる。センシング装置１００の設置位置や角度に変化が生じれば、センシング装置１００が獲得する三次元空間に係わる点群に変化が生ずることになる。センシング装置１００で獲得された三次元空間に係わる点群を利用し、機器の制御に活用したり、所定のサービスを提供したりする場合、センシング装置１００の設置状態の変化を知ることができない状況において、センシング装置１００から獲得された三次元空間に係わる点群を利用すれば、機器を過って制御したり、サービスを提供したりすることができなくなってしまう。

【0018】

センシング装置１００の設置状態の変化を感知するために、慣性センサなどをさらに搭載しうる。しかしながら、センシング装置１００に、慣性センサのような装置をさらに搭載することが不可能であるか、あるいはそれが困難である事情がある場合、または長時間にわたって少しずつ設置状態に変化が生じた場合、センシング装置１００の設置異常を感知し難いのである。

【0019】

以下、センシング装置１００の設置状態に変化が生じる場合、別途の追加装置なしに、LiDARセンサを利用して獲得される点群の変化に基づき、センシング装置１００の設置異常を感知する方法、及びそれを遂行するセンシング装置１００について説明する。

【0020】

図２は、一実施形態によるセンシング装置１００の構成及び動作について説明するための図面である。

【0021】

図２を参照すれば、一実施形態によるセンシング装置１００は、メモリ１１０、プロセッサ１２０、センサ部１３０、通信インターフェース１４０を含むものでもあり得る。本実施形態と係わる技術分野において通常の知識を有する者であるならば、図２に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれるものでもあり得るということを知ることができるであろう。

【0022】

メモリ１１０は、ソフトウェア及び／またはプログラムを保存しうる。メモリ１１０は、プロセッサ１２０によって実行可能な命令語を保存しうる。

【0023】

プロセッサ１２０は、メモリ１１０に保存されたデータにアクセスし、それを利用するか、あるいは新たなデータをメモリ１１０に保存しうる。プロセッサ１２０は、メモリ１１０に保存された命令語を実行しうる。プロセッサ１２０は、センシング装置１００にインストールされているコンピュータプログラムを実行することができる。また、プロセッサ１２０は、外部から受信したコンピュータプログラムまたはアプリケーションを、メモリ１１０に保存して実行させることができる。プロセッサ１２０は、少なくとも１つのプロセッシングモジュールを実行し、所定の動作を遂行しうる。例えば、プロセッサ１２０は、センシング装置１００の設置異常を感知するプログラムを実行するプロセッシングモジュールを実行したり制御したりしうる。プロセッサ１２０は、命令語またはコンピュータプログラムのような実行結果に対応する動作を遂行するように、センシング装置１００に含まれた他の構成を制御しうる。

【0024】

センサ部１３０は、三次元空間を感知するための少なくとも１つのセンサを含むものでもあり得る。センサ部１３０は、三次元空間に光を放出する発光部と、光を受信する受光部とを含むものでもあり得て、該受光部に受信された光の強度に基づき、三次元空間に係わる点群を獲得する専用プロセッサをさらに含むものでもあり得る。センサ部１３０は、感知範囲内の三次元空間に位置した客体を追跡するために、三次元空間に係わる時間別点群を獲得しうる。

【0025】

センサ部１３０は、LiDARセンサでもあり得て、少なくとも１つの三次元LiDARセンサを含み、所定の範囲の空間に係わるデータを獲得しうる。センサ部１３０は、環境により、レーダーセンサ、赤外線映像センサ、超音波センサのような多様な種類のセンサをさらに含むものでもあり得る。例えば、センサ部１３０は、レーダーセンサ及び超音波センサのうち少なくとも一つをさらに含み、LiDARセンサが感知することができない死角領域、またはセンシング装置１００から所定距離内の近接空間に係わるデータを獲得しうる。

【0026】

通信インターフェース１４０は、他の装置またはネットワークと有無線通信を行いうる。そのために、通信インターフェース１４０は、多様な有無線通信方法のうち少なくとも一つを支援する通信モジュールを含むものでもあり得る。例えば、ＲＦＩＤ（radio frequency identification）、ＮＦＣ（near field communication）、ブルートゥース（Bluetooth）（登録商標）のような近距離通信、多様な種類の無線通信；または同軸ケーブルや光ケーブルなどを利用する有線通信を行う通信モジュールが含まれるものでもあり得る。通信インターフェース１４０は、センシング装置１００の外部に位置した装置と連結され、信号またはデータを送受信しうる。センシング装置１００は、通信インターフェース１４０を通じて管理者の端末装置と通信を行うか、あるいはセンシング装置１００から獲得された三次元空間に係わる時間別点群を利用し、機器の制御に活用したり、所定のサービスを提供したりする外部サーバと連結されうる。

【0027】

前述の構成による一例のプロセッサ１２０は、メモリ１１０に保存された１以上の命令語を実行することにより、LiDARセンサを利用し、三次元空間に係わる点群を獲得し、獲得された三次元空間に係わる点群に基づき、三次元空間にある客体を識別しうる。センシング装置１００が客体分類モデルを利用した客体分類機能を支援する場合、プロセッサ１２０は、三次元空間に係わる点群を、客体分類モデルに適用するか、あるいは三次元空間に係わる点群をクラスタリングすることにより、地面や建物のような静的客体や、動物のような動的客体を識別することもできる。

【0028】

センシング装置１００が三次元空間をモニタリングするために、該三次元空間を連続して感知する場合、プロセッサ１２０は、LiDARセンサを利用し、該三次元空間に係わる時間別点群を獲得しうる。プロセッサ１２０は、獲得された三次元空間に係わる時間別点群に基づき、以下で説明する方式でもって、センシング装置１００の設置異常を感知しうる。

【0029】

プロセッサ１２０は、メモリ１１０に保存された１以上の命令語を実行することにより、獲得された三次元空間に係わる時間別点群に基づき、三次元空間の静的客体領域を決定しうる。プロセッサ１２０は、獲得された三次元空間に係わる点群に基づき、三次元空間にある客体を検出し、三次元空間に係わる空間情報マップを生成しうる。このとき、プロセッサ１２０は、三次元空間にある客体を静的客体と動的客体とに区分しうる。三次元空間に係わる時間別点群に基づいて生成される空間情報マップにおいて、該動的客体は、検出されていて消えたり、空間情報マップ内において位置を移動する一方、該静的客体は、空間情報マップの同じ位置で連続して検出される。

【0030】

以下、図３ないし図５を参照し、空間情報マップにおいて、動的客体に対応する動的点群と、静的客体に対応する静的点群とを区分する方式と、空間情報マップにおいて、静的客体領域を決定する方式と、について説明する。

【0031】

図３は、センシング装置１００が生成した空間情報マップにおいて、動的点群、静的点群及び静的客体領域について説明するための図面である。

【0032】

図３を参照すれば、LiDARセンサを利用して獲得した三次元空間に係わる時間別点群に基づいて生成された空間情報マップを表示している。図３の空間情報マップは、車両が移動する十字路を観察しうる位置にセンシング装置１００を設け、センシング装置１００がLiDARセンサを利用して獲得したものであり、関心地域である十字路の交通情報をモニタリングするのに利用されうる。

【0033】

図３の空間情報マップを見れば、十字路の交通信号により、移動及び停止する車両と歩行者とに対応する点群を確認しうる。車両と歩行者は、動くので、動的客体に該当し、そのような動的客体に対応する動的点群は、空間情報マップにおいてその位置が変更され、同一領域において、一定期間以上連続して検出されない。なお、十字路の交通インフラや道路、建物などは、動かないので、静的客体に該当し、そのような静的客体に対応する静的点群は、空間情報マップの同一領域において、一定期間以上に連続して検出されうる。

【0034】

特定座標に該当する特定領域において、点群が一定期間以上連続して検出される場合、当該点群は、静的客体に対応する静的点群に分類されうる。なお、特定領域において、点群が一定期間未満に検出されるか、あるいは点群が生成されていて消える場合、当該点群は、動的客体に対応する動的点群に分類されうる。

【0035】

従って、プロセッサ１２０は、空間情報マップの同一領域に係わる点群が連続して検出される期間に基づき、当該点群を動的客体に対応する動的点群と、静的客体に対応する静的点群とで区分しうる。プロセッサ１２０は、三次元空間に対応する全体点群から、動的客体に対応する動的点群を除去するか、あるいは三次元空間に対応する全体点群から、静的客体に対応する静的点群のみを抽出することにより、それらのうち少なくとも一部またはその全体を、静的客体領域に決定しうる。すなわち、プロセッサ１２０は、空間情報マップのフレームにおいて、同一領域に係わる点群の連続性に基づき、静的客体領域を決定しうる。

【0036】

プロセッサ１２０は、センサ部１１０から獲得された三次元空間に係わる時間別点群から生成される空間情報マップのフレーム間において、互いに対応する位置の単位領域内の点群が連続して検出される期間に基づき、静的客体領域を決定しうる。プロセッサ１２０は、空間情報マップの特定時点の基準フレームにおいて、静的点群によってなる静的客体領域を決定しうる。例えば、プロセッサ１２０は、センシング装置１００が設けられ、動的点群と静的点群とを区分するのに要求される所定の期間が過ぎた後のある時点に対応する空間情報マップのフレームにおいて、静的点群によってなる静的客体領域を決定しうる。

【0037】

プロセッサ１２０は、空間情報マップのフレーム間に互いに対応する位置の単位領域内の点群が、最小検出臨界値以上の点個数でもって、連続して検出される期間に基づき、静的客体領域を決定しうる。同一領域につき、点群が連続して検出されても、当該点群にノイズが含まれてもいるので、連続して検出される点群の点個数が、最小検出臨界値以上の点個数を維持する場合だけ含め、ノイズによって静的点群に分類される場合をフィルタリングするためである。

【0038】

最小検出臨界値は、センシング装置１００が設けられた環境や気象条件により、適正な値に設定されうる。このとき、該最小検出臨界値は、ユーザから直接入力されもし、センシング装置１００が、外部環境や気象条件に係わる情報を受信し、受信された情報により、適正な値に自動的に設定されもする。

【0039】

なお、プロセッサ１２０は、センサ部１１０から獲得された三次元空間に係わる時間別点群のうち、指定された領域の点群に基づき、三次元空間の静的客体領域を決定することもできる。センシング装置１００は、獲得された三次元空間に係わる時間別点群全体を使用する代わりに、動的点群がほとんど生じないレファレンス領域が指定されれば、指定された領域の点群に基づき、三次元空間の静的個体領域を決定しうる。該レファレンス領域は、ユーザが指定するか、あるいはセンシング装置１００が、学習されたモデル（trained model）を利用し、適切な高さとサイズとに該当する静的客体に対応する静的点群の領域と判断された領域に自動指定されうる。

【0040】

一方、プロセッサ１２０は、獲得された三次元空間に係わる時間別点群から、ボクセルマップ（voxel map）、デプスマップ（depth map）のように、空間情報を示す正規化されたマップを生成しうる。例えば、空間情報マップがボクセルマップである場合、プロセッサ１２０は、ボクセルマップの各フレームにおいて、静的ボクセルと動的ボクセルとを区分し、該ボクセルマップの特定時点の基準フレームから、静的ボクセルによってなる静的客体領域を決定しうる。

【0041】

図４は、ボクセルマップと、該ボクセルマップの単位領域に対応するボクセルとについて説明するための図面である。

【0042】

図４を参照すれば、センシング装置１００がモニタリングする三次元空間に対応するボクセルマップを示している。該ボクセルマップは、ボクセルアレイによって構成され、該ボクセルアレイは、ボクセルによって構成されうる。該ボクセルは、該ボクセルマップの単位領域に該当し、各ボクセルには、三次元空間に対応する点群が含まれるものでもあり得る。このとき、該ボクセル内に存在する点群が動的点群であるならば、当該ボクセルを動的ボクセルと言い、該ボクセル内に存在する点群が静的点群であるならば、静的ボクセルと言うことができる。

【0043】

図５は、静的ボクセルと動的ボクセルとを区分するプロセスについて説明するための図面である。

【0044】

プロセッサ１２０は、ボクセルマップの各フレームにおいて、ボクセル内の点群が連続して検出される期間が臨界値以上である静的ボクセルと、ボクセル内の点群が連続して検出される期間が臨界値未満である動的ボクセルと、を区分しうる。ボクセルマップの特定ボクセルにおいて、ボクセル内の点群が一定期間以上連続して検出される場合、当該点群は、静的客体に対応する静的点群であるので、当該ボクセルは、静的ボクセルに分類されうる。反対に、ボクセルマップの特定ボクセルにおいて、ボクセル内の点群が一定期間未満に検出されるか、あるいは点群が生成されていて消える場合、当該点群は、動的客体に対応する動的点群であるので、当該ボクセルは、動的ボクセルに分類されうる。

【0045】

図５を参照すれば、ボクセルマップを構成する２つのボクセル（第１ボクセル（Voxel １、第２ボクセル（Voxel ２））につき、Ｔ－１０時点からＴ時点まで、ボクセル内に存在する点群を確認しうる。第１ボクセル（Voxel １）は、Ｔ－１０時点からＴ－１時点以前まで、ボクセル内に点群が連続して検出されることが知ることができる。なお、第２ボクセル（Voxel ２）は、Ｔ－９時点に点群が存在していて、Ｔ－８時点からＴ－２時点までは点群が存在せず、再びＴ－１時点に点群が存在することを確認しうる。第１ボクセル（Voxel １）は、少なくとも２つの点によってなる点群がＴ－１０時点からＴ－１時点以前まで連続して検出されるので、静的ボクセルであると言うことができ、第２ボクセル（Voxel ２）は、Ｔ－９時点とＴ－１時点とにおいてのみ一時的に検出されるので、動的ボクセルであると言うことができる。

【0046】

プロセッサ１２０は、ボクセルマップの同一ボクセルに係わる点群が連続して検出される期間に基づき、当該点群が存在するボクセルを、動的ボクセルと静的ボクセルとで区分しうる。プロセッサ１２０は、ボクセルマップの全体ボクセルから動的ボクセルを除去するか、あるいはボクセルマップの全体ボクセルから静的ボクセルのみを抽出することにより、そのうち少なくとも一部またはその全体を静的客体領域に決定しうる。すなわち、プロセッサ１２０は、ボクセルマップのフレームにおいて、同一位置のボクセルに係わる点群の連続性に基づき、静的客体領域を決定しうる。

【0047】

プロセッサ１２０は、センサ部１１０から獲得された三次元空間に係わる時間別点群から生成されるボクセルマップのフレーム間に互いに対応する位置のボクセル内の点群が連続して検出される期間に基づき、静的客体領域を決定しうる。プロセッサ１２０は、ボクセルマップの特定時点の基準フレームから、静的ボクセルによってなる静的客体領域を決定しうる。

【0048】

図６は、センシング装置の設置異常を判断するプロセスについて説明するための図面である。

【0049】

プロセッサ１２０は、静的客体領域に対応する時間別静的点群のうち、所定の時間差を有する静的点群に基づき、センシング装置１００の設置異常を判断しうる。該静的客体領域は、センシング装置１００が正常に設けられていることが確認される任意の時点の基準フレームから決定されうる。例えば、センシング装置１００が構造物に正常に設けられた後の過去のある時点における空間情報マップのフレームから決定されうる。

【0050】

プロセッサ１２０は、決定された静的客体領域に対応する時間別静的点群のうち、第１時点の第１静的点群と、第１時点と所定の時間差を有する第２時点の第２静的点群とを抽出しうる。プロセッサ１２０は、該第１静的点群と該第２静的点群との差に基づき、センシング装置１００の設置異常の有無を決定しうる。

【0051】

図６を参照すれば、センシング装置１００が正常に設けられていた第１時点と、センシング装置１００の設置状態に変化が生じた第２時点とのそれぞれにおいて、静的客体領域に対応する第１静的点群と第２静的点群とを斜線表示で示している。プロセッサ１２０は、第１時点の静的客体領域に対応する第１静的点群と、第２時点の静的客体領域に対応する第２静的点群とを比較することができる。

【0052】

例えば、プロセッサ１２０は、静的客体領域に係わる第１静的点群の領域の比率と、静的客体領域に係わる第２静的点群の領域の比率とを比較し、センシング装置１００の設置異常いかんを決定しうる。静的客体領域を決定した時点を第１時点にする場合、図６に図示されているように、第１時点の第１静的点群は、静的客体領域内において、全て同一に検出される一方、第２時点の第２静的点群は、静的客体領域内の一部分でのみ検出されることを知ることができる。図６においては、静的客体領域を決定する時点をセンシング装置１００が正常に設けられている過去の任意の時点と定めたが、それに制限されるものではない。静的客体領域を決定する時点を、センシング装置１００の設置状態に変化が生じた現在時点にしても、現在時点の第１静的点群と、過去時点の第２静的点群とを比較し、センシング装置１００の設置異常いかんを決定しうる。

【0053】

他の例を挙げれば、センシング装置１００が獲得された三次元空間に係わる時間別点群から、ボクセルマップを生成する場合、プロセッサ１２０は、ボクセルマップにおいて、決定された静的客体領域を構成する全体ボクセルの個数に対する第１時点の第１静的点群を構成するボクセル個数の比率と、第２時点の第２静的点群を構成するボクセル個数の比率を比較し、センシング装置１００の設置異常いかんを決定しうる。

【0054】

なお、プロセッサ１２０は、１以上の命令語を実行することにより、通信インターフェース１４０を介し、センシング装置１００の設置異常判断結果を、センシング装置１００で獲得された三次元空間に係わる点群を利用し、機器制御に活用したり、所定のサービスを提供するサーバに伝送したりすることができる。

【0055】

図７は、一実施形態によるサーバ２００の構成及び動作について説明するための図面である。サーバ２００は、コンピュータデバイス、オペレータ、コンソール装置などで代替されうる。

【0056】

前述のように、センシング装置１００は、三次元空間に係わる空間情報として、時間別点群を獲得し、該三次元空間上の静的客体や動的客体を検出し、検出された客体を追跡するプロセッサを搭載しうるが、それに限定されるのではない。センシング装置１００で獲得された三次元空間に係わる時間別点群を、機器の制御に活用したり、所定のサービスを提供したりするサーバ２００が受信し、サーバ２００が三次元空間上の静的客体や動的客体を検出し、検出された客体を追跡する一連のプロセッシングを処理しうる。サーバ２００は、クラウドコンピュータのような技術によって具現されうる。サーバ２００は、センシング装置１００と高速のデータ通信を行いうる。

【0057】

図７を参照すれば、サーバ２００は、メモリ２１０、プロセッサ２２０、通信インターフェース２３０を含むものでもあり得る。本実施形態と係わる技術分野において通常の知識を有する者であるならば、図７に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれるものでもあり得ることを知ることができるであろう。先に、センシング装置１００について説明された内容は、以下において省略された内容であるとしても、サーバ２００の同一名称の構成につき、そのまま適用されうる。

【0058】

図７のブロック図の各構成要素は、サーバ２００の具現方式により、分離、追加または省略されうる。すなわち、具現方式により、１つの構成要素が、２以上の構成要素に細分化されるか、あるいは２以上の構成要素が、１つの構成要素に合わされもし、一部構成要素がさらに追加されたり除去されたりしうる。

【0059】

メモリ２１０は、プロセッサ２２０によって実行可能な命令語を保存しうる。メモリ２１０は、ソフトウェアまたはプログラムを保存しうる。

【0060】

プロセッサ２２０は、メモリ２１０に保存された命令語を実行しうる。プロセッサ２２０は、サーバ２００の全般的な制御を行いうる。プロセッサ２２０は、通信インターフェース２３０を介して受信される情報及び要請事項を獲得し、受信される情報をストレージ（図示せず）に保存しうる。また、プロセッサ２２０は、受信される情報を加工しうる。例えば、プロセッサ２２０は、センシング装置１００から受信される情報から、機器の制御に活用するか、所定のサービスを提供するのに利用される情報を獲得するか、あるいは受信される情報を管理するための加工行為を行い、ストレージ（図示せず）に保存しうる。また、プロセッサ２２０は、管理者の端末から獲得された要請事項に対する応答として、ストレージ（図示せず）に保存されたデータまたは情報を利用し、通信インターフェース２３０を介し、管理者の端末に要請事項に対応する情報を伝送することができる。

【0061】

通信インターフェース２３０は、他の装置またはネットワークと有無線通信を行いうる。通信インターフェース２３０は、サーバ２００の外部に位置した装置と連結され、信号またはデータを送受信しうる。サーバ２００は、通信インターフェース２３０を介し、センシング装置１００と通信を行うか、あるいはネットワークに連結された他のサーバとも連結されうる。

【0062】

ストレージ（図示せず）は、サーバ２００が機器の制御に活用するか、あるいは所定のサービスを提供するために必要な各種ソフトウェア及び情報を保存しうる。例えば、ストレージ（図示せず）は、サーバ２００で実行されるプログラム、アプリケーション、及び所定のサービスに利用される各種データまたは情報を保存しうる。

【0063】

サーバ２００は、負荷分散サーバと、所定のサービスを提供する機能サーバとによって構成されうる。サーバ２００は、機能別に分けられた複数のサーバによって構成されるか、あるいは一つに統合された形態のサーバにもなる。

【0064】

前述の構成により、サーバ２００は、通信インターフェース２３０を介し、センシング装置１００から三次元空間に係わる時間別点群を獲得するか、あるいはセンシング装置１００の設置異常を感知した結果を受信しうる。サーバ２００が、複数個のセンシング装置１００と連結されており、そのうちいずれか１つのセンシング装置１００から、設置異常を感知した結果が受信される場合、サーバ２００は、設置異常が感知されたセンシング装置１００から受信される情報やデータの受信を遮断したり削除したりしうる。

【0065】

図８は、一実施形態によるセンシング装置１００の設置異常を感知する方法について説明するためのフローチャートである。以上において、センシング装置１００について説明された内容と重複する内容については、以下において、その詳細な説明を省略する。

【0066】

８１０段階において、センシング装置１００は、LiDARセンサを利用し、三次元空間に係わる時間別点群を獲得しうる。センシング装置１００は、三次元空間に係わる点群を連続して獲得しうる。

【0067】

８２０段階において、センシング装置１００は、獲得された三次元空間に係わる時間別点群に基づき、三次元空間の静的客体領域を決定しうる。センシング装置１００は、獲得された三次元空間に係わる時間別点群から、空間情報マップを生成しうる。該空間情報マップは、ボクセルマップ、デプスマップのように、空間情報を示す正規化されたマップでもあり得る。センシング装置１００は、生成された空間情報マップのフレーム間において、互いに対応する位置の単位領域内の点群が連続して検出される期間に基づき、静的客体領域を決定しうる。センシング装置１００は、空間情報マップのフレーム間において、互いに対応する位置の単位領域内の点群が、最小検出臨界値以上である点個数でもって連続して検出される期間に基づき、静的客体領域を決定しうる。

【0068】

例えば、空間情報マップがボクセルマップである場合、センシング装置１００は、ボクセルマップの各フレームにおいて、ボクセル内の点群が連続して検出される期間が臨界値以上である静的ボクセルと、臨界値未満である動的ボクセルとを区分し、ボクセルマップの特定時点の基準フレームにおいて、静的ボクセルによってなる静的客体領域を決定しうる。

【0069】

なお、センシング装置１００は、獲得された三次元空間に係わる時間別点群のうち、指定された領域の点群に基づき、三次元空間の静的客体領域を決定することもできる。センシング装置１００は、獲得された三次元空間に係わる時間別点群全体を使用する代わりに、動的点群がほとんど生じないファレンス領域が指定されれば、指定された領域の点群に基づき、三次元空間の静的個体領域を決定しうる。該レファレンス領域は、ユーザが指定するか、あるいはセンシング装置１００が、学習されたモデルを利用し、適切な高さとサイズとに該当する静的客体に対応する静的点群の領域であると判断された領域に自動指定されうる。

【0070】

８３０段階において、センシング装置１００は、決定された静的客体領域に対応する時間別静的点群のうち、所定の時間差を有する静的点群に基づき、センシング装置１００の設置異常を判断しうる。それについては、以下において、図９を参照して詳細に説明する。

【0071】

図９は、センシング装置１００の設置異常を判断するプロセスについて説明するための詳細フローチャートである。前述の図８の８３０段階について詳細に説明する。

【0072】

９１０段階において、センシング装置１００は、決定された静的客体領域に対応する時間別静的点群のうち、第１時点の第１静的点群と、該第１時点と所定の時間差を有する第２時点の第２静的点群と、を抽出しうる。

【0073】

９２０段階において、センシング装置１００は、第１静的点群と第２静的点群との差に基づき、センシング装置１００の設置異常いかんを決定しうる。

【0074】

例えば、センシング装置１００は、決定された静的客体領域に係わる第１静的点群の領域の比率と、第２静的点群の領域の比率とを比較し、センシング装置１００の設置異常いかんを決定しうる。

【0075】

他の例を挙げれば、センシング装置１００が獲得された三次元空間に係わる時間別点群からボクセルマップを生成する場合、該ボクセルマップにおいて、決定された静的客体領域を構成する全体ボクセルの個数に係わる第１静的点群を構成するボクセルの個数の比率と、第２静的点群を構成するボクセルの個数の比率とを比較し、センシング装置１００の設置異常いかんを決定しうる。

【0076】

説明の便宜上、センシング装置１００が動かない構造物に設けられた場合を前提に説明されたが、センシング装置１００は、動かない構造物だけではなく、動く事物にも設けられうる。例えば、センシング装置１００が、車両やドローンに設けられたものである場合、該車両や該ドローンの移動により、三次元空間が変化するので、三次元空間内の静的客体も、空間情報マップにおいてその位置が変化されうる。しかしながら、該車両や該ドローンが、同一空間を反復的に通る場合、該車両や該ドローンの位置情報に基づき、同一空間に係わる点群を獲得しうる。他の例を挙げれば、さらに広い空間をモニタリングするために、センシング装置１００の設けられた構造物が、所定の角度で周期的に回転する場合、センシング装置１００は、同一角度で獲得される三次元空間に係わる点群を、同一空間に係わる点群として獲得しうる。

【0077】

前述の実施形態それぞれは、センシング装置１００の設置異常を感知する方法を遂行する所定の段階を実行させるために、媒体に保存されたコンピュータプログラム形態またはアプリケーション形態に提供されうる。言い替えれば、前述の実施形態それぞれは、センシング装置１００の少なくとも１つのプロセッサをして、設置異常感知方法を遂行する所定の段階を遂行させる、媒体に保存されたコンピュータプログラム形態またはアプリケーション形態に提供されうる。

【0078】

前述の実施形態は、コンピュータまたはプロセッサによって実行可能な命令語及びデータを保存するコンピュータで読み取り可能な記録媒体の形態に具現されうる。該命令語及び該データのうち少なくとも一つは、プログラムコードの形態に保存され、プロセッサによって実行されたとき、所定のプログラムモジュールを生成し、所定の動作を遂行しうる。そのようなコンピュータで読み取り可能な記録媒体は、ＲＯＭ（read-only memory）、ＲＡＭ（random access memory）、フラッシュメモリ（flash memory）、ＣＤ－ＲＯＭｓ、ＣＤ－Ｒｓ、ＣＤ＋Ｒｓ、ＣＤ－ＲＷｓ、ＣＤ＋ＲＷｓ、ＤＶＤ－ＲＯＭｓ、ＤＶＤ－Ｒｓ、ＤＶＤ＋Ｒｓ、ＤＶＤ－ＲＷｓ、ＤＶＤ＋ＲＷｓ、ＤＶＤ－ＲＡＭｓ、ＢＤ－ＲＯＭｓ、ＢＤ－Ｒｓ、ＢＤ－ＲＬＴＨｓ、ＢＤ－ＲＥｓ、マグネチックテープ、フロッピーディスク、光磁気データ保存装置、光学データ保存装置、ハードディスク、ＳＳＤ（solid state drive）、そして命令語またはソフトウェア、関連データ、データファイル、及びデータ構造を保存し、プロセッサやコンピュータが命令語を実行するように、プロセッサやコンピュータに、命令語またはソフトウェア、関連データ、データファイル、及びデータ構造を提供しうるいかなる装置であってもよい。

【0079】

以上、本実施形態を中心に説明された。開示された実施形態が属する技術分野において通常の知識を有する者であるならば、開示された実施形態が、本質的な特性から外れない範囲で変形された形態に具現されうるということを理解しうるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。発明の範囲は、前述の実施形態の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明の範囲に含まれたものであると解釈されなければならないのである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】