特開 2024-114241 ラベリング付与システム、ラベリング付与方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024114241

(43)【公開日】2024-08-23

(54)【発明の名称】ラベリング付与システム、ラベリング付与方法、及び、プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240816BHJP

【ＦＩ】

G06T7/00 C

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023019883

(22)【出願日】2023-02-13

(71)【出願人】

【識別番号】000232254

【氏名又は名称】日本電気通信システム株式会社

(74)【代理人】

【識別番号】100080816

【弁理士】

【氏名又は名称】加藤 朝道

(74)【代理人】

【識別番号】100098648

【弁理士】

【氏名又は名称】内田 潔人

(72)【発明者】

【氏名】鈴木 直人

(72)【発明者】

【氏名】川津 哲司

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096AA09

5L096CA02

5L096CA05

5L096EA05

5L096EA14

5L096FA02

5L096FA70

5L096GA06

5L096GA34

5L096JA16

5L096KA04

(57)【要約】

【課題】３次元地図と差異がある構造物にラベリングを行うことを可能とする。
【解決手段】ラベリング付与システムは、構造物の点群情報取得部と、構造物の画像取得部と、３次元地図を格納した地図格納部と、３次元地図に基づいて走行を制御する走行制御部と、走行制御部の制御による走行中に、地図格納部に格納された３次元地図と差異のある構造物が検出されたときに、点群情報取得部が多地点で取得した構造物の点群情報に基づいてボクセル形状を生成し、ボクセル形状の体積を計算し、画像取得部が多地点で取得した構造物の画像に基づいて構造物の画像仮ラベルを識別し、ボクセル形状に基づいて構造物のボクセル仮ラベルを識別する演算部と、ボクセル形状の体積と画像仮ラベルとボクセル仮ラベルが矛盾しないと判定する場合には、画像仮ラベル又はボクセル仮ラベルを、差異のある構造物のラベルとして識別するラベリングを行うラベリング部を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

構造物の点群情報を取得する点群情報取得部と、
構造物の画像を取得する画像取得部と、
３次元地図を格納した地図格納部と、
前記３次元地図に基づいて走行を制御する走行制御部と、
前記走行制御部の制御による走行中に、前記地図格納部に格納された前記３次元地図と差異のある構造物が検出されたときに、前記点群情報取得部が多地点で取得した前記差異のある構造物の点群情報に基づいてボクセル形状を生成し、前記ボクセル形状の体積を計算し、前記画像取得部が前記多地点で取得した前記差異のある構造物の画像に基づいて前記差異のある構造物の画像仮ラベルを識別し、前記ボクセル形状に基づいて前記差異のある構造物のボクセル仮ラベルを識別する演算部と、
前記ボクセル形状の体積と前記画像仮ラベルと前記ボクセル仮ラベルが矛盾しないと判定する場合には、前記画像仮ラベル又は前記ボクセル仮ラベルを、前記差異のある構造物のラベルとして識別するラベリングを行うラベリング部を含む、ラベリング付与システム。

【請求項2】

前記ラベリング部は、前記ボクセル形状の体積が、前記画像仮ラベル及び前記ボクセル仮ラベルの示す物体が通常有しうる体積と矛盾しない場合に、前記ボクセル形状の体積と前記画像仮ラベル及び前記ボクセル仮ラベルが矛盾しないと判定する識別部を含む、請求項１に記載のラベリング付与システム。

【請求項3】

前記画像仮ラベル及び前記ボクセル仮ラベルは、前記差異のある構造物の名称を示す、請求項１または２に記載のラベリング付与システム。

【請求項4】

前記演算部は、前記多地点で取得した前記差異のある構造物の画像を入力として、前記差異のある構造物の前記画像仮ラベルを識別する、画像仮ラベリング部を含む、請求項１に記載のラベリング付与システム。

【請求項5】

前記演算部は、前記多地点で取得した前記点群情報の位置合わせとマージを行うマージ部と、マージされた前記点群情報のノイズを除去し、前記ノイズを除去した前記点群情報をボクセル化して前記ボクセル形状を生成するボクセル化部と、前記ボクセル形状を生成した前記ノイズを除去した前記点群情報から前記ボクセル形状の体積を計算する体積計算部を含む、請求項１に記載のラベリング付与システム。

【請求項6】

前記点群情報取得部は、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）により点群情報を取得し、前記画像取得部は、カメラにより画像を取得する、請求項１に記載のラベリング付与システム。

【請求項7】

構造物の点群情報を取得する点群情報取得部と、
構造物の画像を取得する画像取得部と、
３次元地図を格納した地図格納部と、
前記３次元地図に基づいて走行を制御する走行制御部と、を有するラベリング付与システムのコンピュータが、
前記走行制御部の制御による走行中に、前記地図格納部に格納された前記３次元地図と差異のある構造物が検出されたときに、前記点群情報取得部が多地点で取得した前記差異のある構造物の点群情報に基づいてボクセル形状を生成し、前記ボクセル形状の体積を計算し、前記画像取得部が前記多地点で取得した前記差異のある構造物の画像に基づいて前記差異のある構造物の画像仮ラベルを識別し、前記ボクセル形状に基づいて前記差異のある構造物のボクセル仮ラベルを識別するステップと、
前記ボクセル形状の体積と前記画像仮ラベルと前記ボクセル仮ラベルが矛盾しないと判定する場合には、前記画像仮ラベル又は前記ボクセル仮ラベルを、前記差異のある構造物のラベルとして識別するラベリングを行うステップを含む、ラベリング付与方法。

【請求項8】

前記ラベリングを行うステップは、前記ボクセル形状の体積が、前記画像仮ラベル及び前記ボクセル仮ラベルの示す物体が通常有しうる体積と矛盾しない場合に、前記ボクセル形状の体積と前記画像仮ラベル及び前記ボクセル仮ラベルが矛盾しないと判定するステップを含む、請求項７に記載のラベリング付与方法。

【請求項9】

構造物の点群情報を取得する点群情報取得部と、
構造物の画像を取得する画像取得部と、
３次元地図を格納した地図格納部と、
前記３次元地図に基づいて走行を制御する走行制御部と、を有するラベリング付与システムのコンピュータに、
前記走行制御部の制御による走行中に、前記地図格納部に格納された前記３次元地図と差異のある構造物が検出されたときに、前記点群情報取得部が多地点で取得した前記差異のある構造物の点群情報に基づいてボクセル形状を生成し、前記ボクセル形状の体積を計算し、前記画像取得部が前記多地点で取得した前記差異のある構造物の画像に基づいて前記差異のある構造物の画像仮ラベルを識別し、前記ボクセル形状に基づいて前記差異のある構造物のボクセル仮ラベルを識別する処理と、
前記ボクセル形状の体積と前記画像仮ラベルと前記ボクセル仮ラベルが矛盾しないと判定する場合には、前記画像仮ラベル又は前記ボクセル仮ラベルを、前記差異のある構造物のラベルとして識別するラベリングを行う処理を実行させるプログラム。

【請求項10】

前記ラベリングを行う処理は、前記ボクセル形状の体積が、前記画像仮ラベル及び前記ボクセル仮ラベルの示す物体が通常有しうる体積と矛盾しない場合に、前記ボクセル形状の体積と前記画像仮ラベル及び前記ボクセル仮ラベルが矛盾しないと判定する処理を含む、請求項９に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ラベリング付与システム、ラベリング付与方法、及び、プログラムに関する。

【背景技術】

【0002】

対象物にラベルを付与することに関する文献としては、以下のような文献が挙げられる。

【0003】

特許文献１は、点群データの教師データを効率よく生成することが可能な画像処理装置に関するものである。

【0004】

特許文献２は、スイープ形状構造物を示す３次元点群へのラベル付与を高精度に実施することができる３次元点群ラベル学習装置に関するものである。

【0005】

特許文献３は、レーダーの受信信号に物体識別に関する正解データを動的に付与することが可能な、情報処理方法に関するものである。

【0006】

特許文献４は、高い精度で対象物を認識することができ、かつ、必要な演算量を抑えることができる、監視用画像処理装置に関するものである。

【0007】

特許文献５は、測定対象物の点群データからその特徴を抽出し、対象物の輪郭に係るデータを自動的かつ短時間に生成する、点群データ処理装置に関するものである。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】国際公開第２０２１／１８１６４７号

【特許文献2】再公表特許第２０２１／０９５０９３号

【特許文献3】特開２０１８－１６３０９６号公報

【特許文献4】特開２０１８－０６７１２７号公報

【特許文献5】特開２０１２－０１３６６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

以下の分析は、本発明者によって与えられたものである。

【0010】

例えば、健常者は、移動のために２次元（２Ｄ）地図があれば、地形（３次元（３Ｄ）空間）が想像でき、不自由なく移動でき、また、ロボットも、環境整備が整えば、２次元（２Ｄ）地図の情報で運行は可能である。一方、障がい者やコンピュータは、正確な位置情報、高さ情報、奥行情報、構造物名を正しく知ることにより、安全安心で効率の良い行動が可能になる。このためには、現実空間と同じ、３次元（３Ｄ）仮想空間、即ち、３次元地図が必要となる。

【0011】

このように、３次元地図は必要とされているが、３次元地図情報の更新は、高価なために、頻繁に行うことができない。しかしながら、ロボットの運行や防災で欠かせない３次元地図が古い状態のままでは、サービスが陳腐化する結果となる。また、同時に多くの異種ロボットが運用を開始すると、各種ロボットの情報管理が複雑化する。そのような場合に、上記のような課題がある状態では、デジタルツイン（Ｄｉｇｉｔａｌ Ｔｗｉｎ）化が遅れ、例えば、都市整備に影響が出ることとなる。

【0012】

本発明は、３次元地図と差異がある構造物を発見した場合に、差異のある構造物にラベリングを行うことを可能とすることに貢献する、ラベリング付与システム、ラベリング付与方法、及び、プログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明の第１の視点によれば、構造物の点群情報を取得する点群情報取得部と、
構造物の画像を取得する画像取得部と、
３次元地図を格納した地図格納部と、
前記３次元地図に基づいて走行を制御する走行制御部と、
前記走行制御部の制御による走行中に、前記地図格納部に格納された前記３次元地図と差異のある構造物が検出されたときに、前記点群情報取得部が多地点で取得した前記差異のある構造物の点群情報に基づいてボクセル形状を生成し、前記ボクセル形状の体積を計算し、前記画像取得部が前記多地点で取得した前記差異のある構造物の画像に基づいて前記差異のある構造物の画像仮ラベルを識別し、前記ボクセル形状に基づいて前記差異のある構造物のボクセル仮ラベルを識別する演算部と、
前記ボクセル形状の体積と前記画像仮ラベルと前記ボクセル仮ラベルが矛盾しないと判定する場合には、前記画像仮ラベル又は前記ボクセル仮ラベルを、前記差異のある構造物のラベルとして識別するラベリングを行うラベリング部を含む、ラベリング付与システムを、提供できる。

【0014】

本発明の第２の視点によれば、構造物の点群情報を取得する点群情報取得部と、
構造物の画像を取得する画像取得部と、
３次元地図を格納した地図格納部と、
前記３次元地図に基づいて走行を制御する走行制御部と、を有するラベリング付与システムのコンピュータが、
前記走行制御部の制御による走行中に、前記地図格納部に格納された前記３次元地図と差異のある構造物が検出されたときに、前記点群情報取得部が多地点で取得した前記差異のある構造物の点群情報に基づいてボクセル形状を生成し、前記ボクセル形状の体積を計算し、前記画像取得部が前記多地点で取得した前記差異のある構造物の画像に基づいて前記差異のある構造物の画像仮ラベルを識別し、前記ボクセル形状に基づいて前記差異のある構造物のボクセル仮ラベルを識別するステップと、
前記ボクセル形状の体積と前記画像仮ラベルと前記ボクセル仮ラベルが矛盾しないと判定する場合には、前記画像仮ラベル又は前記ボクセル仮ラベルを、前記差異のある構造物のラベルとして識別するラベリングを行うステップを含む、ラベリング付与方法を、提供できる。本方法は、ラベリング付与方法を行うコンピュータという、特定の機械に結びつけられている。

【0015】

本発明の第３の視点によれば、構造物の点群情報を取得する点群情報取得部と、
構造物の画像を取得する画像取得部と、
３次元地図を格納した地図格納部と、
前記３次元地図に基づいて走行を制御する走行制御部と、を有するラベリング付与システムのコンピュータに、
前記走行制御部の制御による走行中に、前記地図格納部に格納された前記３次元地図と差異のある構造物が検出されたときに、前記点群情報取得部が多地点で取得した前記差異のある構造物の点群情報に基づいてボクセル形状を生成し、前記ボクセル形状の体積を計算し、前記画像取得部が前記多地点で取得した前記差異のある構造物の画像に基づいて前記差異のある構造物の画像仮ラベルを識別し、前記ボクセル形状に基づいて前記差異のある構造物のボクセル仮ラベルを識別する処理と、
前記ボクセル形状の体積と前記画像仮ラベルと前記ボクセル仮ラベルが矛盾しないと判定する場合には、前記画像仮ラベル又は前記ボクセル仮ラベルを、前記差異のある構造物のラベルとして識別するラベリングを行う処理を実行させるプログラム、を提供できる。

【0016】

なお、これらのプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（ｎｏｎ－ｔｒａｎｓｉｅｎｔ）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

【発明の効果】

【0017】

本発明によれば、３次元地図と差異がある構造物を発見した場合に、差異のある構造物にラベリングを行うことを可能とすることに貢献する、ラベリング付与システム、ラベリング付与方法、及び、プログラムを提供することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態のラベリング付与システムの構成の一例を示す図である。

【図2】本発明の第１の実施形態のラベリング付与システムの構成の一例を示す図である。

【図3】本発明の第１の実施形態のラベリング付与システムの動作の一例を示すフローチャートである。

【図4】本発明の第２の実施形態の画像仮ラベリング部の構成の一例を示す図である。

【図5】本発明の第３の実施形態のラベリング部の構成の一例を示す図である。

【図6】本発明のラベリング付与システムを構成するコンピュータの構成を示す図である。

【発明を実施するための形態】

【0019】

はじめに、本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。

【0020】

図１は、本発明の一実施形態のラベリング付与システムの構成の一例を示す図である。図１を参照すると、本発明の一実施形態のラベリング付与システム１００は、点群情報取得部２００と、画像取得部３００と、地図格納部４００と、走行制御部５００と、演算部６００と、ラベリング部７００を含む。一例として、ラベリング付与システム１００は、走行制御部５００によって走行が制御されるロボットに搭載される。

【0021】

なお、演算部６００とラベリング部７００は、互いに接続され、及び、点群情報取得部２００と画像取得部３００を搭載したロボットとは別に設置されてもよい。この場合、点群情報取得部２００の取得した点群情報と、画像取得部３００の取得した画像と、地図格納部４００に格納された３次元地図と差異のある構造物１０の検出が、有線又は無線通信により、演算部６００へ送られる構成でもよい。

【0022】

ラベリング付与システム１００の点群情報取得部２００は、構造物の点群情報を取得する。画像取得部３００は、構造物の画像を取得する。地図格納部４００は、３次元地図を格納する。走行制御部５００は、３次元地図に基づいて走行を制御する。点群情報取得部２００と画像取得部３００と地図格納部４００と走行制御部５００を搭載したロボットは、走行制御部５００の制御により、走行が制御される。そして、例えば、前記ロボットの走行中に、地図格納部４００に格納された３次元地図と差異のある構造物１０が検出されたときに、点群情報取得部２００が、差異のある構造物１０の点群情報を多地点で取得し、取得された点群情報に基づいて、ボクセル形状を生成する。演算部６００が、生成されたボクセル形状の体積を計算する。画像取得部３００が、差異のある構造物１０の画像を多地点で取得する。演算部６００が、取得された画像に基づいて、差異のある構造物１０の画像仮ラベルを識別し、前記ボクセル形状に基づいて、差異のある構造物のボクセル仮ラベルを識別する。ラベリング部７００は、ボクセル形状の体積と画像仮ラベルとボクセル仮ラベルが矛盾しないと判定する場合には、画像仮ラベル又はボクセル仮ラベルを、差異のある構造物１０のラベル２０として識別するラベリングを行う。

【0023】

このように、本発明の一実施形態によれば、３次元地図と差異がある構造物を発見した場合に、差異のある構造物にラベリングを行うことを可能とすることに貢献する、ラベリング付与システム、ラベリング付与方法、及び、プログラムを提供することができる。

【0024】

［第１の実施形態］
次に、本発明の第１の実施形態のラベリング付与システムについて、図面を参照して説明する。図２は、本発明の第１の実施形態のラベリング付与システムの構成の一例を示す図である。図２において、図１と同一の参照符号を付した構成要素は、同一の構成要素を示すものとする。図２を参照すると、本発明の一実施形態のラベリング付与システム１００は、点群情報取得部２００と、画像取得部３００と、地図格納部４００と、走行制御部５００と、演算部６００と、ラベリング部７００を含む。また、一例として、ラベリング付与システム１００は、走行制御部５００によって走行が制御されるロボットに搭載されてもよい。

【0025】

点群情報取得部２００は、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）２１０を含み、画像取得部３００は、例えば、カメラ３１０を含む。地図格納部４００は、３次元地図を格納し、走行制御部５００へ、３次元地図４０１を供給する。走行制御部５００は、運行計画に基づいて、３次元地図４０１と、ＬｉＤＡＲ２１０の取得した点群情報２１１とカメラ３１０の撮影した画像３１１を用いて、ラベリング付与システム１００を搭載したロボットの走行を制御する。走行制御部５００は、また、ＬｉＤＡＲ２１０の取得した点群情報２１１とカメラ３１０の撮影した画像３１１から、３次元地図４０１との差分、即ち、３次元地図と差異のある構造物１０を検出する、差分検出部５１０を含む。

【0026】

なお、演算部６００とラベリング部７００は、互いに接続され、及び、点群情報取得部２００と画像取得部３００を搭載したロボットとは別に設置されてもよい。この場合、点群情報取得部２００の取得した点群情報と画像取得部３００の取得した画像と、差分検出部５１０の出力が、有線又は無線通信により、演算部６００へ送られる構成でもよい。

【0027】

演算部６００は、点群情報２１１と画像３１１を差分検出部の出力５１１を入力とする多地点情報収集部６１０、マージ部６２０、画像仮ラベリング部６３０、ボクセル化部６４０、ボクセル仮ラベリング部６５５、体積計算部６５０、制御部６６０を含む。制御部６６０は、演算部６００内のいずれかの部分が、演算部６００内の制御を行う機能を有すれば、独立に設けなくてもよい。画像仮ラベリング部６３０は、画像仮ラベル６３１を出力し、ボクセル仮ラベリング部６５５は、ボクセル仮ラベル６５６を出力し、体積計算部６５０はボクセル形状の体積６５１を出力する。ラベリング部７００は、画像仮ラベル６３１とボクセル仮ラベル６５６とボクセル形状の体積６５１を入力とし、所定の条件の下で、画像仮ラベル６３１又はボクセル仮ラベル６５６を、３次元地図と差異のある構造物１０のラベルとして識別するラベリングを行い、ラベル２０を出力する。なお、ラベリング部７００は、演算部６００から、ボクセル情報、タイル情報、位置情報、写真（画像）を受信する場合には、ボクセル情報、タイル情報、位置情報、写真（画像）を含む情報２１を、出力してもよい。

【0028】

次に、本発明の第１の実施形態のラベリング付与システムの動作を、図２と図３を参照して説明する。図３は、本発明の第１の実施形態のラベリング付与システムの動作の一例を示すフローチャートである。動作は、ステップＳ１００で開始する。

【0029】

ステップＳ１０１において、ＬｉＤＡＲ２１０とカメラ３１０を搭載したロボットが、運行計画を元に、３次元地図４０１と、ＬｉＤＡＲ２１０の取得した点群情報２１１とカメラ３１０の撮影した画像３１１を用いて、走行制御部５００により走行が制御されて、走行する。走行中は、カメラ３１０とＬｉＤＡＲ２１０により、３次元物体の検知を行う（ステップＳ１０２）。

【0030】

次に、差分検出部５１０が、地図格納部４００に格納された３次元地図４０１との差分、即ち、３次元地図４０１には記載されていない差異のある構造物１０の検出を行い（ステップＳ１０３）、差異のある構造物１０を検出すると（ステップＳ１０３、Ｙｅｓ）、走行制御部５００の制御により、ステップＳ１０４で、検出した差異のある構造物１０の前に停止する。一方、差異のある構造物１０を検出しない場合には（ステップＳ１０３、Ｎｏ）、処理は、ステップＳ１０１へ戻り、ステップＳ１０１からステップＳ１０３を繰り返す。ステップＳ１０３の分岐の判断と制御は、例えば、制御部６６０により行ってもよい。

【0031】

次に、演算部６００の多地点情報収集部６１０は、多地点からの点群情報２１１の収集と多地点からの画像３１１の撮影が完了しない限り（ステップＳ１０５、Ｎｏ）、ＬｉＤＡＲ２１０により多地点から点群情報２１１を収集し、カメラ３１０により多地点から画像３１１を撮影する（ステップＳ１０６）。多地点からの各点群情報２１１の取得と多地点からの各画像３１１の撮影が完了すると（ステップＳ１０５、Ｙｅｓ）、ステップＳ１０７へ進む。ステップＳ１０５の分岐の判断と制御は、例えば、制御部６６０により行ってもよい。

【0032】

ステップＳ１０７では、マージ部６２０が、多地点から収集した点群情報２１１の複数のグループを含む点群情報６１２と、多地点から撮影した複数の画像３１１を含む画像６１１について、位置合わせとマージをそれぞれ行い、１つの点群情報６２２と１つの画像６２１を生成する。すなわち、収集した点群情報６１２に含まれる複数のグループについて、それぞれのグループがずれなく、各グループの同じ位置の点群情報が一致するように位置合わせを行って、点群情報６１２内の複数のグループをマージし、ステップＳ１０３で検出された差異のある構造物１０の１つの点群情報６２２を作成する。同様に、多地点で収集した画像６１１に含まれる複数の画像について、それぞれの画像がずれなく、それぞれの画像の同じ位置の画素が一致するように位置合わせを行って、画像６１１内の複数の画像をマージし、ステップＳ１０３で検出された差異のある構造物１０の１つの画像６２１を作成する。

【0033】

次に、ボクセル化部６４０が、ステップＳ１０８において、ステップＳ１０７でマージした差異のある構造物１０の点群情報６２２からノイズを除去し（例えば、床や壁の点群情報をノイズとして除去し、３次元（３Ｄ）物体検知でトリミング、等を行い）、さらに、ノイズを除去した点群情報をボクセル化して、差異のある構造物１０のボクセル形状を生成し、ボクセル形状６４２及びボクセル形状を生成した元のノイズを除去した点群情報６４１を出力する。

【0034】

次に、ステップＳ１０９において、体積計算部６５０が、オブジェクト体積計算により、差異のある構造物１０のボクセル形状の体積６５１を計算する。オブジェクト体積計算は、オブジェクト化した差異のある構造物１０に対して、ボクセル形状自体からではなく、ボクセル形状を生成した元のノイズを除去した点群情報６４１から、体積を計算する処理である。ボクセル形状の体積６５１とは、ボクセル形状を生成した元のノイズを除去した点群情報６４１を用いて計算した体積である。

【0035】

一方、ステップＳ１１０において、画像仮ラベリング部６３０が、ステップＳ１０７でマージした画像６２１（２次元、２Ｄ）に基づいて、例えば、構造物の分類に関する学習済みモデルを使用して、ＡＩ分析により、差異のある構造物１０の画像仮ラベル６３１の識別（仮ラベリング）を行う。ただし、分析方法はＡＩ分析に限定されず、他の分析方法も適用可能である。また、ステップＳ１０８で生成したボクセル形状６４２に基づいて、ボクセル仮ラベリング部６５５が、差異のある構造物１０のボクセル仮ラベル６５６の識別（ボクセル仮ラベリング）を行う。なお、画像仮ラベリング及びボクセル仮ラベリングでは、例えば、構造物の名称などを画像仮ラベル６３１、ボクセル仮ラベル６５６として付与する。なお、上記の仮ラベリングの記載は、構造物の名称などを画像仮ラベル６３１、ボクセル仮ラベル６５６として付与することに限定することを意図するものではない。

【0036】

次に、ステップＳ１１１において、ラベリング部７００は、ステップＳ１０９において体積計算部６５０が計算した差異のある構造物１０のボクセル形状の体積６５１と、ステップＳ１１０で画像仮ラベリング部６３０が識別した差異のある構造物１０の画像仮ラベル６３１とボクセル仮ラベリング部６５５が識別した差異のある構造物１０のボクセル仮ラベル６５６を入力とし、ボクセル形状の体積６５１と画像仮ラベル６３１とボクセル仮ラベル６５６が矛盾するかどうかを判断する。ラベリング部７００は、一例として、ボクセル形状の体積６５１が、画像仮ラベル６３１の示す物体が通常有しうる体積とボクセル仮ラベル６５６の示す物体が通常有しうる体積と矛盾しない場合に、ボクセル形状の体積６５１と画像仮ラベル６３１とボクセル仮ラベル６５６が矛盾しないと判定してもよい。

【0037】

一例として、差異のある構造物１０が、「リンゴ」である場合に、「リンゴ」の形状が「みかん」の形状と似ているので、画像仮ラベリング部６３０及びボクセル仮ラベリング部６５５により、画像仮ラベル６３１及びボクセル仮ラベル６５６として「みかん」が誤って識別される場合もある。このような場合に、画像仮ラベル６３１及びボクセル仮ラベル６５６の「みかん」が、半径が２ｃｍ程度の球体とすれば、画像仮ラベル６３１及びボクセル仮ラベル６５６の示す物体（「みかん」）が通常有しうる体積は、０．０３リットル程度である。これに対して、ボクセル形状の体積６５１は、「リンゴ」の体積が計算され、ボクセル形状の「リンゴ」が、半径が５ｃｍ程度の球体とすれば、ボクセル形状の体積６５１は０．５リットル程度となる。従って、画像仮ラベル６３１及びボクセル仮ラベル６５６の「みかん」が通常有しうる体積と、ボクセル形状の「リンゴ」の体積６５１とは矛盾するので、ボクセル形状の体積６５１と画像仮ラベル６３１とボクセル仮ラベル６５６が矛盾すると、判定する。なお、画像仮ラベル６３１とボクセル仮ラベル６５６が相違する場合には、ボクセル形状の体積６５１にかかわらず、矛盾すると、判定する。

【0038】

他の一例として、差異のある構造物１０が、「リンゴ」である場合に、画像仮ラベリング部６３０により、画像仮ラベル６３１及びボクセル仮ラベル６５６として「リンゴ」が正しく識別された場合には、画像仮ラベル６３１及びボクセル仮ラベル６５６の「リンゴ」が、半径が５ｃｍ程度の球体とすれば、画像仮ラベル６３１及びボクセル仮ラベル６５６の示す物体（「リンゴ」）が通常有しうる体積は、０．５リットル程度である。これに対して、ボクセル形状の体積６５１は、「リンゴ」の体積が計算され、ボクセル形状の「リンゴ」が、半径が５ｃｍ程度の球体とすれば、ボクセル形状の体積６５１は０．５リットル程度となる。従って、画像仮ラベル６３１及びボクセル仮ラベル６５６の「リンゴ」が通常有しうる体積と、ボクセル形状の「リンゴ」の体積６５１とは矛盾しないので、ボクセル形状の体積６５１と画像仮ラベル６３１とボクセル仮ラベル６５６は矛盾しないと、判定する。

【0039】

なお、画像仮ラベル６３１及びボクセル仮ラベル６５６の示す物体が通常有しうる体積は、画像仮ラベル６３１及びボクセル仮ラベル６５６の示す物体について、物体の形状に基づいて１つの体積を割り当て、計算されたボクセル形状の体積が、割り当てられた画像仮ラベル６３１及びボクセル仮ラベル６５６の示す物体が通常有しうる体積に対して所定の範囲内の値である場合に、ボクセル形状の体積６５１と画像仮ラベル６３１とボクセル仮ラベル６５６は矛盾しないと判定してもよい。

【0040】

なお、画像仮ラベル６３１及びボクセル仮ラベル６５６の示す物体が通常有しうる体積については、上記の値に限定されるものではなく、画像仮ラベル６３１及びボクセル仮ラベル６５６の示す物体に合わせて、決定することができる。

【0041】

このように、ボクセル形状の体積６５１と画像仮ラベル６３１とボクセル仮ラベル６５６が矛盾するかどうかを判断することにより、画像仮ラベリング部６３０で識別した画像仮ラベル６３１又はボクセル仮ラベリング部６５５で識別したボクセル仮ラベル６５６を、差異のある構造物１０のラベル２０として使用することに対する信頼性を向上させることができる。

【0042】

次に、ステップＳ１１２において、ラベリング部７００が、ボクセル形状の体積６５１と画像仮ラベル６３１とボクセル仮ラベル６５６が矛盾しないと判定する場合（ステップＳ１１１、Ｎｏ）には、画像仮ラベル６３１又はボクセル仮ラベル６５６を、差異のある構造物１０のラベル２０として識別する（ラベリングを行う）。なお、ラベリング部７００が、ボクセル形状の体積６５１と画像仮ラベル６３１とボクセル仮ラベル６５６が矛盾すると判定する場合（ステップＳ１１１、Ｙｅｓ）には、ラベリング部７００は、差異のある構造物１０に対するラベリングを行わないで、処理は、ステップＳ１１３で終了する。

【0043】

なお、処理がステップＳ１１３で終了すると、再度、ステップＳ１０１から開始し、ステップＳ１０１からステップＳ１１３の処理を、別の構造物に対して行う。

【0044】

以上説明したように、本発明の第１の実施形態によれば、３次元地図と差異がある構造物を発見した場合に、差異のある構造物にラベリングを行うことを可能とすることに貢献する、ラベリング付与システム、ラベリング付与方法、及び、プログラムを提供することができる。

【0045】

［第２の実施形態］
次に、本発明の第２の実施形態について、図２と図４を参照して説明する。図４は、本発明の第２の実施形態の画像仮ラベリング部の構成の一例を示す図である。図４において、図２と同一の参照符号を付した構成要素は、同一の構成要素を示すものとする。図４を参照すると、画像仮ラベリング部６３０は、構造物の分類に関する学習済みモデル６３５を含む。構造物の分類に関する学習済みモデル６３５は、図２のマージ部６２０の出力する差異のある構造物１０の画像６２１を入力とし、学習済みモデル６３５が、例えば、ＡＩ分析により、差異のある構造物１０の画像仮ラベル６３１の識別（仮ラベリング）を行う。ただし、分析方法はＡＩ分析に限定されず、他の分析方法も適用可能である。

【0046】

本発明の第２の実施形態により、画像仮ラベリング部６３０を構成することができる。

【0047】

［第３の実施形態］
次に、本発明の第３の実施形態について、図２と図５を参照して説明する。図５は、本発明の第３の実施形態のラベリング部の構成の一例を示す図である。図５において、図２と同一の参照符号を付した構成要素は、同一の構成要素を示すものとする。図５を参照すると、ラベリング部７００は、一例として、データベース７１０と、識別部７２０と、出力部７３０を含む。データベース７１０は、画像仮ラベル６３１及びボクセル仮ラベル６５６の示す物体が通常有しうる体積の情報を格納する。データベース７１０は、図２に記載の画像仮ラベリング部６３０の出力する画像仮ラベル６３１が入力されると、画像仮ラベル６３１の示す物体が通常有しうる体積７１１を出力する。

【0048】

識別部７２０は、データベース７１０の出力する画像仮ラベル６３１の示す物体が通常有しうる体積７１１と、図２に記載の体積計算部６５０の出力する差異のある構造物１０のボクセル形状の体積６５１を入力とし、ボクセル形状の体積６５１が、画像仮ラベル６３１の示す物体が通常有しうる体積７１１と矛盾しない場合に、ボクセル形状の体積６５１と画像仮ラベル６３１が矛盾しないと判定し、判定結果７２１を出力する。

【0049】

なお、画像仮ラベル６３１とボクセル形状の体積６５１が矛盾すると判定する場合の一例と、矛盾しないと判定する場合の他の一例は、本願の第１の実施形態のステップＳ１１１において説明したとおりである。

【0050】

出力部７３０は、画像仮ラベル６３１とボクセル仮ラベル６５６が相違する場合には、ボクセル形状の体積６５１にかかわらず、矛盾すると、判定する。一方、出力部７３０は、識別部７２０の出力する判定結果７２１と、画像仮ラベル６３１を入力とし、判定結果７２１が、ボクセル形状の体積６５１と画像仮ラベル６３１が矛盾しないとの結果を示す場合には、画像仮ラベリング部６３０により出力された画像仮ラベル６３１を、差異のある構造物１０のラベル２０として出力する。上記のように、画像仮ラベル６３１とボクセル仮ラベル６５６が相違する場合には、ボクセル形状の体積６５１にかかわらず、矛盾すると、判定するので、ボクセル形状の体積６５１と画像仮ラベル６３１が矛盾しないとの結果を示す場合には、ボクセル形状の体積６５１と画像仮ラベル６３１とボクセル仮ラベル６５６は矛盾しないと、判定することができる。なお、画像仮ラベル６３１がデータベース７１０と出力部７３０に入力され、ボクセル仮ラベル６５６が出力部７３０に入力されるように記載しているが、ボクセル仮ラベル６５６がデータベース７１０と出力部７３０に入力され、画像仮ラベル６３１が出力部７３０に入力されるようにし、上記と同様な動作を行ってもよい。

【0051】

このように、本発明の第３の実施形態のラベリング部７００により、ボクセル形状の体積６５１と画像仮ラベル６３１及びボクセル仮ラベル６５６が矛盾しないと判定する場合には、画像仮ラベル６３１又はボクセル仮ラベル６５６を、差異のある構造物１０のラベル２０として識別するラベリングを行うことができる。

【0052】

以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。また、「Ａ及び／又はＢ」は、Ａ又はＢの少なくともいずれかという意味で用いる。

【0053】

また、上記した第１の実施形態から第３の実施形態に示した手順は、本発明のラベリング付与システムとして機能するコンピュータ（図６の９０００）に、ラベリング付与システムとしての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図６のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１０、通信インタフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図６のＣＰＵ９０１０にて、ラベリング付与システムの制御プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメータの更新処理を実施させればよい。

【0054】

メモリ９０３０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等である。

【0055】

即ち、上記した第１の実施形態から第３の実施形態に示したラベリング付与システムの各部（処理手段、機能）は、上記コンピュータのプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。

【0056】

最後に、本発明の好ましい形態を要約する。
［付記１］
（上記第１の視点によるラベリング付与システムを参照）
［付記２］
付記１に記載のラベリング付与システムは、前記ラベリング部は、前記ボクセル形状の体積が、前記画像仮ラベル及び前記ボクセル仮ラベルの示す物体が通常有しうる体積と矛盾しない場合に、前記ボクセル形状の体積と前記画像仮ラベル及び前記ボクセル仮ラベルが矛盾しないと判定する識別部を含む、ことが好ましい。
［付記３］
付記１または２に記載のラベリング付与システムは、前記画像仮ラベル及び前記ボクセル仮ラベルは、前記差異のある構造物の名称を示す、ことが好ましい。
［付記４］
付記１に記載のラベリング付与システムは、前記演算部は、前記多地点で取得した前記差異のある構造物の画像を入力として、前記差異のある構造物の前記画像仮ラベルを識別する、画像仮ラベリング部を含む、ことが好ましい。
［付記５］
付記１に記載のラベリング付与システムは、前記演算部は、前記多地点で取得した前記点群情報の位置合わせとマージを行うマージ部と、マージされた前記点群情報のノイズを除去し、前記ノイズを除去した前記点群情報をボクセル化して前記ボクセル形状を生成するボクセル化部と、前記ボクセル形状を生成した前記ノイズを除去した前記点群情報から前記ボクセル形状の体積を計算する体積計算部を含む、ことが好ましい。
［付記６］
付記１に記載のラベリング付与システムは、前記点群情報取得部は、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）により点群情報を取得し、前記画像取得部は、カメラにより画像を取得する、ことが好ましい。
［付記７］
（上記第２の視点によるラベリング付与方法を参照）
［付記８］
付記７に記載のラベリング付与方法は、前記ラベリングを行うステップは、前記ボクセル形状の体積が、前記画像仮ラベル及び前記ボクセル仮ラベルの示す物体が通常有しうる体積と矛盾しない場合に、前記ボクセル形状の体積と前記画像仮ラベル及び前記ボクセル仮ラベルが矛盾しないと判定するステップを含む、ことが好ましい。
［付記９］
（上記第３の視点によるプログラムを参照）
［付記１０］
付記９に記載のプログラムは、前記ラベリングを行う処理は、前記ボクセル形状の体積が、前記画像仮ラベル及び前記ボクセル仮ラベルの示す物体が通常有しうる体積と矛盾しない場合に、前記ボクセル形状の体積と前記画像仮ラベル及び前記ボクセル仮ラベルが矛盾しないと判定する処理を含む、ことが好ましい。
なお、上記付記７と９は、付記１と同様に、付記３から付記６に展開することが可能である。

【0057】

なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。さらに、上記引用した文献の各開示事項は、必要に応じ、本発明の趣旨に則り、本発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれるものと、みなされる。

【符号の説明】

【0058】

１０ 差異のある構造物
２０ ラベル
２１ 情報
１００ ラベリング付与システム
２００ 点群情報取得部
２１０ ＬｉＤＡＲ
２１１ 点群情報
３００ 画像取得部
３１０ カメラ
３１１ 画像
４００ 地図格納部
４０１ ３次元地図
５００ 走行制御部
５１０ 差分検出部
６００ 演算部
６１０ 多地点情報収集部
６２０ マージ部
６３０ 画像仮ラベリング部
６３１ 画像仮ラベル
６３５ 学習済みモデル
６４０ ボクセル化部
６５０ 体積計算部
６５１ ボクセル形状の体積
６５５ ボクセル仮ラベリング部
６５６ ボクセル仮ラベル
６６０ 制御部
７００ ラベリング部
７１０ データベース
７２０ 識別部
７２１ 判定結果
７３０ 出力部
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ 通信インタフェース
９０３０ メモリ
９０４０ 補助記憶装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】