特開 2022-131676 位置算出装置、プログラム及び位置算出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022131676

(43)【公開日】2022-09-07

(54)【発明の名称】位置算出装置、プログラム及び位置算出方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20220831BHJP

   G01B 11/00 20060101ALI20220831BHJP

【ＦＩ】

G06T7/70 A

G01B11/00 H

G01B11/00 B

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021030738

(22)【出願日】2021-02-26

(11)【特許番号】

(45)【特許公報発行日】2022-08-12

(71)【出願人】

【識別番号】000135771

【氏名又は名称】株式会社パスコ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100180806

【弁理士】

【氏名又は名称】三浦 剛

(74)【代理人】

【識別番号】100207778

【弁理士】

【氏名又は名称】阿形 直起

(72)【発明者】

【氏名】舘野 淳

(72)【発明者】

【氏名】西村 修

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA04

2F065BB15

2F065CC11

2F065DD03

2F065FF04

2F065FF65

2F065FF67

2F065JJ03

2F065JJ26

2F065QQ24

2F065QQ28

2F065QQ31

2F065UU05

5L096AA02

5L096AA06

5L096AA09

5L096BA04

5L096CA04

5L096DA01

5L096DA02

5L096EA26

5L096FA10

5L096FA26

5L096FA60

5L096FA66

5L096FA67

5L096FA69

5L096GA32

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】地物の位置を高精度に算出する。
【解決手段】位置算出装置は、複数の測定位置からそれぞれ撮影された複数の撮影画像及び複数の測定位置からそれぞれ測定された地物の位置を示す複数の点群データを取得する取得部と、複数の撮影画像のそれぞれにおいて、認識対象となる地物が含まれる対象領域を検出する検出部と、検出された対象領域のそれぞれについて、対応する点群データのうちから地物の代表点を抽出する抽出部と、対象領域が検出された撮影画像の測定位置と対象領域に含まれる地物の代表点とを通る複数の直線の交点を算出する交点算出部と、算出された交点に基づいて、地物の位置を算出する位置算出部と、算出された地物の位置に関する情報を出力する出力部と、を有する。
【選択図】図５

【特許請求の範囲】

【請求項1】

複数の測定位置からそれぞれ撮影された複数の撮影画像及び前記複数の測定位置からそれぞれ測定された地物の位置を示す複数の点群データを取得する取得部と、
前記複数の撮影画像のそれぞれにおいて、認識対象となる地物が含まれる対象領域を検出する検出部と、
前記検出された対象領域のそれぞれについて、対応する前記点群データから前記地物の代表点を抽出する抽出部と、
前記対象領域が検出された撮影画像の測定位置と当該対象領域に含まれる地物の代表点とを通る複数の直線の交点を算出する交点算出部と、
前記算出された交点に基づいて、前記地物の位置を算出する位置算出部と、
前記算出された地物の位置に関する情報を出力する出力部と、
を有することを特徴とする位置算出装置。

【請求項2】

前記算出された交点と前記複数の直線との間の距離に基づいて、前記抽出された代表点のうちから前記地物に対応する代表点のグループを設定する設定部をさらに有し、
前記位置算出部は、前記設定されたグループに属する代表点の重心位置に最も近い代表点を前記グループに属する代表点から特定し、前記特定された代表点に基づいて前記地物の位置を算出する、
請求項１に記載の位置算出装置。

【請求項3】

前記位置算出部は、前記特定された代表点と前記交点との間の距離が所定距離未満である場合には、前記特定された代表点の位置を前記地物の位置として算出し、前記特定された代表点と前記交点との間の距離が所定距離以上である場合には、前記交点の位置を前記地物の位置として算出する、
請求項２に記載の位置算出装置。

【請求項4】

複数の測定位置からそれぞれ撮影された複数の撮影画像及び前記複数の測定位置からそれぞれ測定された地物の形状を示す複数の点群データを取得し、
前記複数の撮影画像のそれぞれにおいて、認識対象となる地物が含まれる対象領域を検出し、
前記検出された対象領域のそれぞれについて、対応する前記点群データのうちから前記地物の代表点を抽出し、
前記対象領域が含まれる撮影画像の測定位置と当該対象領域の代表点とを通る複数の視線ベクトルの交点を算出し、
前記算出された交点に基づいて、前記地物の位置を算出し、
前記算出された地物の位置に関する情報を出力する、
ことをコンピュータに実行させることを特徴とするプログラム。

【請求項5】

位置推定装置によって実行される位置推定方法であって、
複数の測定位置からそれぞれ撮影された複数の撮影画像及び前記複数の測定位置からそれぞれ測定された地物の形状を示す複数の点群データを取得し、
前記複数の撮影画像のそれぞれにおいて、認識対象となる地物が含まれる対象領域を検出し、
前記検出された対象領域のそれぞれについて、対応する前記点群データのうちから前記地物の代表点を抽出し、
前記対象領域が含まれる撮影画像の測定位置と当該対象領域の代表点とを通る複数の視線ベクトルの交点を算出し、
前記算出された交点に基づいて、前記地物の位置を算出し、
前記算出された地物の位置に関する情報を出力する、
ことを含むことを特徴とする位置算出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、位置算出装置、プログラム及び位置算出方法に関する。

【背景技術】

【0002】

道路管理等の用に供するため、道路標識や街灯等の道路付属物の位置を特定することが求められている。これらの道路付属物のデータは、自動車にカメラやセンサを搭載したモービル・マッピング・システムにより、撮影画像及び点群データとして取得される。従来、取得されたデータに基づいて作業者が道路付属物の位置を特定することがなされていた。

【0003】

近年では、このような作業者の工数を削減するために、コンピュータによって道路付属物の位置を特定することが検討されている。特許文献１には、撮影画像から道路付属物等の地物の候補画像領域を抽出するとともに、点群データから地物に対応する候補壁面を抽出し、両者を照合することにより道路付属物を検出する装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３－５４５２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の装置では、道路付属物が撮影位置から遠方にあり、撮影画像において複数の道路付属物の候補画像領域が重なる場合に、これらの道路付属物を個別に検出できない可能性がある。また、特許文献１に記載の装置では、道路付属物が樹木等により隠されている場合に、道路付属物を精度良く検出することができない可能性がある。そこで、道路管理を行う装置において、道路付属物等の地物をより高精度に検出することが求められている。

【0006】

本発明は、上述の課題を解決するためになされたものであり、地物の位置を高精度に算出することを可能とする位置算出装置、プログラム及び位置算出方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る位置算出装置は、複数の測定位置からそれぞれ撮影された複数の撮影画像及び複数の測定位置からそれぞれ測定された地物の形状を示す複数の点群データを取得する取得部と、複数の撮影画像のそれぞれにおいて、認識対象となる地物が含まれる対象領域を検出する検出部と、検出された対象領域のそれぞれについて、対応する点群データから地物の代表点を抽出する抽出部と、対象領域が検出された撮影画像の測定位置と対象領域に含まれる地物の代表点とを通る複数の直線の交点を算出する交点算出部と、算出された交点に基づいて、地物の位置を算出する位置算出部と、算出された地物の位置に関する情報を出力する出力部と、を有することを特徴とする。

【0008】

また、本発明に係る位置算出装置において、算出された交点と複数の直線との間の距離に基づいて、抽出された代表点のうちから地物に対応する代表点のグループを設定する設定部をさらに有し、位置算出部は、設定されたグループに属する代表点の重心位置に最も近い代表点をグループに属する代表点から特定し、特定された代表点に基づいて地物の位置を算出する、ことが好ましい。

【0009】

また、本発明に係る位置算出装置において、位置算出部は、特定された代表点と交点との間の距離が所定距離未満である場合には、特定された代表点の位置を地物の位置として算出し、特定された代表点と交点との間の距離が所定距離以上である場合には、交点の位置を地物の位置として算出する、ことが好ましい。

【0010】

本発明に係るプログラムは、複数の測定位置からそれぞれ撮影された複数の撮影画像及び複数の測定位置からそれぞれ測定された地物の形状を示す複数の点群データを取得し、複数の撮影画像のそれぞれにおいて、認識対象となる地物が含まれる対象領域を検出し、検出された対象領域のそれぞれについて、対応する点群データのうちから地物の代表点を抽出し、対象領域が含まれる撮影画像の測定位置と対象領域の代表点とを通る複数の直線の交点を算出し、算出された交点に基づいて、地物の位置を算出し、算出された地物の位置に関する情報を出力する、ことをコンピュータに実行させることを特徴とする。

【0011】

本発明に係る位置推定方法は、位置推定装置によって実行される位置推定方法であって、複数の測定位置からそれぞれ撮影された複数の撮影画像及び複数の測定位置からそれぞれ測定された地物の形状を示す複数の点群データを取得し、複数の撮影画像のそれぞれにおいて、認識対象となる地物が含まれる対象領域を検出し、検出された対象領域のそれぞれについて、対応する点群データのうちから地物の代表点を抽出し、対象領域が含まれる撮影画像の測定位置と対象領域の代表点とを通る複数の直線の交点を算出し、算出された交点に基づいて、地物の位置を算出し、算出された地物の位置に関する情報を出力する、ことを含むことを特徴とする。

【発明の効果】

【0012】

本発明に係る位置算出装置、プログラム及び位置算出方法は、地物の位置を高精度に算出することを可能とする。

【図面の簡単な説明】

【0013】

【図1】位置算出システム１の概略構成の一例を示す図である。

【図2】位置算出装置３の概略構成の一例を示す図である。

【図3】撮影画像データＴ１のデータ構造の一例を示す図である。

【図4】点群データＴ２のデータ構造の一例を示す図である。

【図5】位置算出処理の流れの一例を示す図である。

【図6】反射点の抽出について説明するための模式図である。

【図7】代表点の抽出について説明するための模式図である。

【図8】交点の算出について説明するための模式図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して本発明の様々な実施形態について説明する。本発明の技術的範囲はこれらの実施形態に限定されず、特許請求の範囲に記載された発明及びその均等物に及ぶ点に留意されたい。

【0015】

図１は、位置算出システム１の概略構成の一例を示す図である。位置算出システム１は、測定システム２及び位置算出装置３を有する。測定システム２は、自動車に撮影装置、姿勢センサ、測距装置、測位装置及び制御端末が搭載されたモービル・マッピング・システムである。撮影装置は例えばデジタルカメラであり、周辺を撮影して撮影画像を生成する。姿勢センサは３軸の加速度センサ、角速度センサ及び磁場センサを備え、撮影装置の姿勢を示す姿勢データを生成する。測距装置は例えば３次元レーザスキャナであり、複数の方向に順次レーザ光を照射し、その反射光を検出するまでの時間から反射点までの距離を算出して点群データを生成する。点群データを構成する反射点のデータそれぞれは地物を含む物体の表面の位置を表し、地物に係る反射点の集まりは当該地物の形状を表す。測位装置は例えばＧＰＳ（Global Positioning System）受信機等のＧＮＳＳ（Global Navigation Satellite System）受信機であり、衛星からの信号を受信して現在位置を示す位置情報を生成する。

【0016】

制御端末は、自動車が走行している間、撮影装置、姿勢センサ、測距装置及び測位装置を制御して、所定時間ごとに撮影画像、姿勢データ、点群データ及び位置情報をそれぞれ生成させる。制御端末は、撮影画像、姿勢データ及び点群データと、これらのデータが生成された時点における位置情報とをそれぞれ相互に関連付けて記憶する。制御端末は、記憶したデータを位置算出装置３に送信して記憶させる。

【0017】

以下では、位置算出システム１が道路標識Ｒの位置を算出する例について説明する。もっとも、このような例に限られず、位置算出システム１は街灯や信号機、街路樹等の任意の地物の位置を算出するために用いられてもよい。

【0018】

図２は、位置算出装置３の概略構成の一例を示す図である。位置算出装置３は、ＰＣ、サーバ、スマートフォン等の情報処理端末である。位置算出装置３は、測定システム２により生成された複数の撮影画像及び地物の位置を示す点群データに基づいて、地物の位置を算出する。位置算出装置３は、記憶部３１、通信部３２及び処理部３３を有する。

【0019】

記憶部３１は、データ及びプログラムを記憶するための構成であり、例えば半導体メモリを備える。記憶部３１は、処理部３３による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。プログラムは、ＣＤ（Compact Disc）－ＲＯＭ（Read Only Memory）等のコンピュータ読み取り可能且つ非一時的な可搬型記憶媒体からセットアッププログラムによりインストールされる。

【0020】

通信部３２は、位置算出装置３を他の装置と通信可能にする構成であり、通信インタフェース回路を備える。通信部３２が備える通信インタフェース回路は、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ又はＬＴＥ（Long Term Evolution）等の通信インタフェース回路である。通信部３２は、他の装置から受信したデータを処理部３３に供給するとともに、処理部３３から供給されたデータを他の装置に送信する。

【0021】

処理部３３は、位置算出装置３の動作を統括的に制御する構成であり、一又は複数個のプロセッサ及びその周辺回路を備える。処理部３３は、例えば、ＣＰＵ（Central Processing Unit）、ＬＳＩ（Large Scale Integration）又はＡＳＩＣ（Application Specific Integrated Circuit）を備える。処理部３３は、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）等を備えてもよい。処理部３３は、記憶部３１に記憶されているプログラムに基づいて、位置算出装置３の各種処理が適切に実行されるように位置算出装置３の各構成の動作を制御するとともに、各種の処理を実行する。

【0022】

処理部３３は、取得部３３１、検出部３３２、抽出部３３３、選択部３３４、交点算出部３３５、設定部３３６、位置算出部３３７及び出力部３３８を機能ブロックとして備える。これらの機能ブロックは、処理部３３によって実行されるプログラムによって実現される機能モジュールである。これらの機能ブロックは、ファームウェアとして位置算出装置３に実装されてもよい。

【0023】

図３は、記憶部３１に記憶される撮影画像データＴ１のデータ構造の一例を示す図である。撮影画像データＴ１には、相互に関連付けられた測定位置、撮影画像及び姿勢の情報が含まれる。測定位置は、撮影画像が生成された時の位置情報であり、例えば、緯度、経度及び高度を含む。撮影画像は、複数の画素のそれぞれの階調値が設定された情報である。階調値は、例えばＲＧＢ値であるが、これに限られず任意の色空間における階調値が用いられてもよい。姿勢は、撮影画像が生成された時の撮影装置の姿勢を示す情報であり、例えばロール角、ピッチ角及びヨー角を含む。

【0024】

図４は、記憶部３１に記憶される点群データＴ２のデータ構造の一例を示す図である。点群データＴ２には、相互に関連付けられた測定位置及び反射点の情報が含まれる。測定位置は、点群データが生成された時の位置情報である。反射点は、点群データに含まれる各反射点の三次元位置を示す情報であり、例えば、測定位置を基準とする三次元座標値である。

【0025】

図５は、位置算出装置３によって実行される位置算出処理の流れの一例を示すフロー図である。位置算出処理は、プログラムを実行する処理部３３が位置算出装置３の各構成と協働することにより実現される。

【0026】

まず、取得部３３１は、所定時間内に複数の測定位置からそれぞれ撮影された複数の撮影画像及び複数の測定位置からそれぞれ測定された地物の位置を示す複数の点群データを取得する（Ｓ１０１）。取得部３３１は、記憶部３１から撮影画像データＴ１及び点群データＴ２を取得する。

【0027】

続いて、検出部３３２は、複数の撮影画像のそれぞれにおいて、認識対象となる地物（以下、認識対象物と称することがある。）が含まれる対象領域及び認識対象物の種類を検出する（Ｓ１０２）。対象領域は、認識対象物に外接するバウンディングボックスである。検出部３３２は、あらかじめ記憶部３１に記憶された検出器に撮影画像を入力し、検出器から出力された対象領域の情報及び認識対象物の種類を取得する。

【0028】

検出器は、撮影画像が入力された場合に、撮影画像における認識対象物に外接するバウンディングボックスである対象領域及びその認識対象物の種類（道路標識においては、進入禁止、一方通行等）を出力するようにあらかじめ学習された学習済みモデルである。検出器としては、例えばＹＯＬＯ（You Only Look Once）又はＳＳＤ（Single Shot Detector）等の、畳み込みニューラルネットワークを含むモデルが用いられる。学習は、学習用撮影画像と認識対象物が含まれる対象領域及び認識対象物の種類とが関連付けられた教師データを用いてなされる。

【0029】

続いて、抽出部３３３は、検出された対象領域のそれぞれについて、点群データから認識対象物の代表点を抽出する（Ｓ１０３）。代表点は、点群データＴ２に含まれる反射点のうちから認識対象物の中心に近いものとして選択された点をいう。まず、抽出部３３３は、点群データに含まれる反射点のうちから対象領域に含まれる反射点を抽出する。

【0030】

図６は、反射点の抽出について説明するための模式図である。図６は、測定位置ｏ及び認識対象となる道路標識Ｒを含む３次元空間を示す。図６では、撮影画像Ｓが仮想的なスクリーンとして図示されている。道路標識Ｒに対応する反射点ｔは点群データとして取得され、道路標識Ｒの写像Ｐは撮影画像Ｓに含まれる。図６において、ベクトルｕｘ、ｕｙ及びｕｚは測定システム２の撮影装置の横方向、縦方向及び光軸方向の単位ベクトルである。なお、撮影装置の横方向及び縦方向は、光軸方向と直交する平面内において相互に直交する２方向である。撮影装置の横方向、縦方向及び光軸方向は、撮影画像データＴ１に含まれる姿勢の情報に基づいて定められる。

【0031】

道路標識Ｒ上の反射点ｔの、撮影画像Ｓにおける写像Ｐの位置座標（Ｘ，Ｙ）は、反射点ｔ及び測定位置ｏの位置ベクトルを用いて次のとおり表される。

【数1】

【数2】

ここで、（Ｃｘ，Ｃｙ）は、撮影画像Ｓの中心画素の位置座標である。また、ｆｘ及びｆｙはそれぞれ、撮影装置の焦点距離と、撮影装置の横方向及び縦方向の画素の密度（横方向及び縦方向における画素数を、その方向におけるイメージセンサの幅で除した値）との積である。

【0032】

抽出部３３３は、上述の関係式を用いて点群データに含まれる各反射点の三次元座標を撮影画像における位置座標に変換する。抽出部３３３は、各反射点について変換された位置座標が対象領域に含まれるか否かを判定することにより、対象領域に含まれる反射点を抽出する。

【0033】

抽出部３３３は、対象領域に含まれる反射点のうちから、認識対象物の代表点を抽出する。

【0034】

図７は、代表点の抽出について説明するための模式図であり、測定位置及び道路標識を上方から見た図である。まず、抽出部３３３は、対象領域に含まれる反射点のうちから、測定位置に最も近い反射点を選択する。図７に示す例では、対象領域Ａに含まれる道路標識Ｒに対応する反射点ｔ１～ｔ３のうち、測定位置ｏに最も近い反射点ｔ１が選択される。このとき、ノイズに相当する反射点が選択されることを防ぐために、測定位置からの距離が所定距離（例えば、２５ｍ）より大きい反射点が選択されないようにしてもよい。

【0035】

続いて、抽出部３３３は、測定位置と撮影画像上の対象領域の中心とを通る直線上に位置し、且つ、測定位置に対して、選択された反射点と等しい距離を有する仮想的な点を設定する。図７に示す例では、測定位置ｏと対象領域Ａの中心Ａ０とを通る直線Ｌが設定される。そして、設定された直線Ｌ上に位置し、且つ、測定位置ｏに対して、選択された反射点ｔ１と光軸方向において等しい位置にある仮想的な点ｔ０が設定される。

【0036】

続いて、抽出部３３３は、対象領域に含まれる反射点のうちから、設定された仮想的な点に最も近い点を認識対象物の代表点として抽出する。図７に示す例では、仮想的な点ｔ０に最も近い反射点ｔ２が道路標識Ｒの代表点として抽出される。このようにすることで、対象領域に含まれる反射点のうちから道路標識の中心に最も近い代表点が抽出される。

【0037】

なお、抽出部３３３は、反射点が示す認識対象物の形状（すなわち、反射点の位置関係）に基づいて、代表点を抽出してもよい。例えば、認識対象物が略平面形状である道路標識である場合、抽出部３３３は、対象領域に含まれる反射点の位置関係に基づいて、道路標識の標識面に対応する平面を算出する。平面は、例えば、主成分分析等の公知の手法によって算出可能である。抽出部３３３は、対象領域に含まれる反射点のうちから、算出された平面との間の距離が所定距離以下である点をあらかじめ候補点として抽出し、候補点のうちから図７を用いて説明した方法により代表点を抽出する。このようにすることで、認識対象物に対応する可能性が低い点が除外され、道路標識の中心に最も近い代表点がより高精度に算出される。

【0038】

図５に戻り、選択部３３４は、検出部３３２によって検出された認識対象物の種類のうちから何れかの種類を処理対象として選択する（Ｓ１０４）。

【0039】

続いて、交点算出部３３５は、選択された種類の認識対象物が含まれる各対象領域が検出された複数の撮影画像ごとに、各撮影画像の測定位置と、各対象領域に含まれる地物の代表点とをそれぞれ通る直線を算出し、算出された複数の直線の交点を算出する（Ｓ１０５）。

【0040】

図８は、交点の算出について説明するための模式図である。選択された種類の認識対象物が含まれる各対象領域のうち、ｉ（ｉ＝１，２，…，Ｎ）番目の対象領域が含まれる撮影画像の測定位置の位置ベクトルをｏ_iとする。また、位置ベクトルｏ_iで示される測定位置を始点とし、ｉ番目の対象領域に含まれる認識対象物の代表点を終点とするベクトル（以下、視線ベクトルと称する。）をｖ_iとする。また、交点の位置ベクトルをｑとする。代表点は、測定位置から測定された点群データにおいて認識対象物の中心に最も近い点であるから、図８に示すように、視線ベクトルは何れも認識対象物である道路標識Ｒの中心に向かう。直線の交点は、各測定位置を始点とする視線ベクトル上にあるから、各対象領域について次の関係が成り立つ。

【数3】

ここで、「×」は外積を表す。すなわち、ｑ＝（ｘ，ｙ，ｚ）、ｏ_i＝（ｏ_xi，ｏ_yi、ｏ_zi）、ｖ_i＝（ｖ_xi，ｖ_yi，ｖ_zi）とすると、次の方程式により交点の位置が算出される。

【数4】

【0041】

ただし、測定誤差等により複数の直線が交差せず、上述の式が厳密には成立しない可能性がある。そのため、交点算出部３３５は、上述の式の最適解を算出し、算出された最適解を交点とする。最適解の算出には、例えば線形最小二乗法が用いられる。

【0042】

続いて、設定部３３６は、算出された交点と複数の直線との間の距離に基づいて、抽出された代表点のうちから認識対象物に対応する代表点のグループを設定する（Ｓ１０６）。設定部３３６は、算出された複数の直線のうちから、算出された交点との距離が所定距離（例えば、１０ｃｍ）以下である各直線を抽出する。設定部３３６は、抽出された直線に対応する（直線上に存在する）各代表点からなるグループを認識対象物に対応する代表点のグループとして設定する。

【0043】

全ての代表点が認識対象物の中心の近くに位置している場合、測定位置と代表点とを通る複数の直線の交点も認識対象物の中心の近くに位置する。したがって、算出された交点との距離が所定距離を超える直線は、認識対象物の中心の近くを通過していないといえる。そのような直線に対応する代表点は、大きな誤差を含んでいる可能性が高い。設定部３３６は、算出された交点との距離が所定距離以下である直線に対応する代表点のみを認識対象物に対応する代表点のグループとして設定することにより、大きな誤差を含んでいる可能性の高いデータを除外できる。

【0044】

続いて、位置算出部３３７は、認識対象物の位置を算出する（Ｓ１０７）。位置算出部３３７は、設定されたグループに属する代表点の重心位置を算出する。位置算出部３３７は、算出された重心位置に最も近い代表点をグループに属する代表点のうちから特定する。位置算出部３３７は、特定された代表点と算出された交点との間の距離を算出する。

【0045】

算出された距離が所定距離（例えば、３０ｃｍ）未満である場合、位置算出部３３７は特定された代表点の位置を認識対象物の位置として算出する。算出された距離が所定距離以上である場合、位置算出部３３７は交点の位置を認識対象物の位置として算出する。

【0046】

重心位置に最も近い代表点と交点との間の距離が大きい場合、点群データの密度が十分に高くない。この場合、点群データから抽出された、重心位置に最も近い代表点の信頼度が低いため、位置算出部３３７は交点の位置を認識対象物の位置として算出する。

【0047】

続いて、選択部３３４は、Ｓ１０４において全ての認識対象物の種類が選択されたか否かを判定する（Ｓ１０８）。全ての種類が選択されていないと判定された場合（Ｓ１０８－Ｎｏ）、すなわち、まだ処理対象としていない認識対象物の種類がある場合、選択部３３４は、まだ選択されていない認識対象物の種類のうちから何れかの種類を選択する（Ｓ１０４）。

【0048】

全ての種類が選択された場合（Ｓ１０８－Ｙｅｓ）、出力部３３８は、認識対象物の位置に関する情報を出力し（Ｓ１０９）、位置算出処理を終了する。出力部３３８は、各種類の認識対象物と位置とを関連付けた出力データを生成する。出力部３３８は、通信部３２を介して生成したデータを他の装置に送信することにより出力する。他の装置は、例えば、出力されたデータに基づいて、地図上に認識対象物の位置を表示する。

【0049】

以上説明したように、位置算出装置３は、複数の撮影画像のそれぞれについて点群データから地物の代表点を抽出し、測定位置と代表点とを通る直線の交点の位置を算出し、交点の位置に基づいて地物の位置を算出する。すなわち、位置算出装置３は、複数の撮影画像を用いて地物の位置を算出するため、特定の撮影画像において地物が隠れていたり他の地物と近接したりしていても、地物の位置を高精度に算出することを可能とする。

【0050】

また、位置算出装置３は、算出された交点と複数の直線との間の距離に基づいて、抽出された代表点のうちから地物に対応する代表点のグループを設定し、設定されたグループに属する代表点の重心位置に基づいて地物の位置を算出する。これにより、誤差を含んでいる代表点のデータが除外されるため、位置算出装置３は、地物の位置をより高精度に算出することを可能とする。

【0051】

また、位置算出装置３は、グループに属する代表点の重心位置に最も近い代表点と交点との間の距離に基づいて、交点の位置又は重心位置に最も近い代表点の位置を地物の位置として算出する。これにより、点群データの密度に応じて信頼性の高い位置推定結果が選択されるため、位置算出装置３は、地物の位置をより高精度に算出することを可能とする。なお、位置算出装置３は、重心位置に最も近い代表点と交点との間の距離にかかわらず、交点の位置又は重心位置に最も近い代表点のうちの何れか一方を地物の位置として算出してもよい。

【0052】

また、位置算出装置３は、地物の種類ごとに地物の位置を算出する。これにより、位置算出装置３は、複数の種類の地物が近接している場合でも、地物の位置を高精度に算出することを可能とする。特に、地物が道路標識である場合、複数の種類の道路標識が単一の標識柱に近接して取り付けられることは一般的である。位置算出装置３は、このような場合でも道路標識の位置を高精度に算出することを可能とする。

【0053】

上述した説明では、位置算出処理のＳ１０２において検出部３３２が撮影画像に含まれる地物の種類を検出するものとしたが、検出部３３２は、地物の種類を検出しなくてもよい。この場合、位置算出処理においてＳ１０４及びＳ１０８は省略される。

【0054】

上述した説明では、位置算出処理のＳ１０２において検出部３３２が学習済みモデルである検出器を用いて対象領域及び認識対象物の種類を検出するものとしたが、このような例に限られない。検出部３３２は、ＳＵＲＦ（Speeded-Up Robust Features）特徴量等の特徴量を用いて対象領域及び認識対象物の種類を検出してもよい。

【0055】

上述した説明では、撮影画像と点群データとは共通の測定位置において生成されるものとしたが、このような例に限られず、撮影画像と点群データとは異なる測定位置において生成されたものであってもよい。

【0056】

当業者は、本発明の精神および範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。例えば、上述した各部の処理は、本発明の範囲において、適宜に異なる順序で実行されてもよい。また、上述した実施形態及び変形例は、本発明の範囲において、適宜に組み合わせて実施されてもよい。

【符号の説明】

【0057】

３ 位置算出装置
３１ 記憶部
３２ 通信部
３３１ 取得部
３３２ 検出部
３３３ 抽出部
３３４ 選択部
３３５ 交点算出部
３３６ 設定部
３３７ 位置算出部
３３８ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2022-04-25

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

複数の測定位置からそれぞれ撮影された複数の撮影画像及び前記複数の測定位置からそれぞれ測定された地物の位置を示す複数の点をそれぞれ含む、複数の点群データを取得する取得部と、
前記複数の撮影画像のそれぞれにおいて、認識対象となる地物が含まれる対象領域を検出する検出部と、
前記検出された対象領域のそれぞれについて、当該対象領域に含まれる点のうちから対応する測定位置に最も近い点を選択し、当該測定位置と当該選択された点との距離に基づいて、当該対象領域に対応する前記点群データから前記地物の代表点を抽出する抽出部と、
前記対象領域が検出された撮影画像の測定位置と当該対象領域に含まれる地物の代表点とを通る複数の直線の交点を算出する交点算出部と、
前記算出された交点に基づいて、前記地物の位置を算出する位置算出部と、
前記算出された地物の位置に関する情報を出力する出力部と、
を有することを特徴とする位置算出装置。

【請求項2】

前記算出された交点と前記複数の直線との間の距離に基づいて、前記抽出された代表点のうちから前記地物に対応する代表点のグループを設定する設定部をさらに有し、
前記位置算出部は、前記設定されたグループに属する代表点の重心位置に最も近い代表点を前記グループに属する代表点から特定し、前記特定された代表点に基づいて前記地物の位置を算出する、
請求項１に記載の位置算出装置。

【請求項3】

前記位置算出部は、前記特定された代表点と前記交点との間の距離が所定距離未満である場合には、前記特定された代表点の位置を前記地物の位置として算出し、前記特定された代表点と前記交点との間の距離が所定距離以上である場合には、前記交点の位置を前記地物の位置として算出する、
請求項２に記載の位置算出装置。

【請求項4】

複数の測定位置からそれぞれ撮影された複数の撮影画像及び前記複数の測定位置からそれぞれ測定された地物の位置を示す複数の点をそれぞれ含む、複数の点群データを取得し、
前記複数の撮影画像のそれぞれにおいて、認識対象となる地物が含まれる対象領域を検出し、
前記検出された対象領域のそれぞれについて、当該対象領域に含まれる点のうちから対応する測定位置に最も近い点を選択し、当該測定位置と当該選択された点との距離に基づいて、当該対象領域に対応する前記点群データから前記地物の代表点を抽出し、
前記対象領域が検出された撮影画像の測定位置と当該対象領域に含まれる地物の代表点とを通る複数の直線の交点を算出し、
前記算出された交点に基づいて、前記地物の位置を算出し、
前記算出された地物の位置に関する情報を出力する、
ことをコンピュータに実行させることを特徴とするプログラム。

【請求項5】

位置算出装置によって実行される位置算出方法であって、
複数の測定位置からそれぞれ撮影された複数の撮影画像及び前記複数の測定位置からそれぞれ測定された地物の位置を示す複数の点をそれぞれ含む、複数の点群データを取得し、
前記複数の撮影画像のそれぞれにおいて、認識対象となる地物が含まれる対象領域を検出し、
前記検出された対象領域のそれぞれについて、当該対象領域に含まれる点のうちから対応する測定位置に最も近い点を選択し、当該測定位置と当該選択された点との距離に基づいて、当該対象領域に対応する前記点群データから前記地物の代表点を抽出し、
前記対象領域が検出された撮影画像の測定位置と当該対象領域に含まれる地物の代表点とを通る複数の直線の交点を算出し、
前記算出された交点に基づいて、前記地物の位置を算出し、
前記算出された地物の位置に関する情報を出力する、
ことを含むことを特徴とする位置算出方法。