IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ゼンリンの特許一覧

<>
  • 特開-情報処理装置、及びプログラム 図1
  • 特開-情報処理装置、及びプログラム 図2
  • 特開-情報処理装置、及びプログラム 図3
  • 特開-情報処理装置、及びプログラム 図4
  • 特開-情報処理装置、及びプログラム 図5
  • 特開-情報処理装置、及びプログラム 図6
  • 特開-情報処理装置、及びプログラム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024073712
(43)【公開日】2024-05-30
(54)【発明の名称】情報処理装置、及びプログラム
(51)【国際特許分類】
   G06T 7/33 20170101AFI20240523BHJP
   G06T 7/00 20170101ALI20240523BHJP
   G06V 10/70 20220101ALI20240523BHJP
【FI】
G06T7/33
G06T7/00 350B
G06V10/70
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2022184563
(22)【出願日】2022-11-18
(71)【出願人】
【識別番号】597151563
【氏名又は名称】株式会社ゼンリン
(74)【代理人】
【識別番号】100196829
【弁理士】
【氏名又は名称】中澤 言一
(72)【発明者】
【氏名】本山 健一郎
(72)【発明者】
【氏名】鳥井 政宏
(72)【発明者】
【氏名】泉 陽一
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA02
5L096AA06
5L096CA02
5L096DA01
5L096EA03
5L096EA15
5L096EA16
5L096FA05
5L096FA25
5L096FA69
5L096GA34
5L096HA11
5L096KA04
(57)【要約】
【課題】情報処理装置は、異なる表示スタイルの情報の位置合わせの精度の向上を可能とする。
【解決手段】情報処理装置は、特定領域に対応する第1地理空間情報から抽出された所定の地物の形状と、第1地理空間情報と表示スタイルが異なり且つ特定領域の少なくとも一部を含む第2地理空間情報に含まれる、所定の地物の形状との第1位置合わせを行う第1位置合わせ部と、第1位置合わせの結果を用いて、第1地理空間情報と第2地理空間情報との第2位置合わせを行う第2位置合わせ部と、を備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
特定領域に対応する第1地理空間情報から抽出された所定の地物の形状と、前記第1地理空間情報と表示スタイルが異なり且つ前記特定領域の少なくとも一部を含む第2地理空間情報に含まれる、前記所定の地物の形状との第1位置合わせを行う第1位置合わせ部と、
前記第1位置合わせの結果を用いて、前記第1地理空間情報と前記第2地理空間情報との第2位置合わせを行う第2位置合わせ部と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記第1位置合わせ部は、学習モデルを用いて前記第1位置合わせを行う、請求項1に記載の情報処理装置。
【請求項3】
前記第1地理空間情報から前記所定の地物の形状を抽出する抽出部をさらに備える、請求項1に記載の情報処理装置。
【請求項4】
前記第1地理空間情報との前記第2位置合わせ済みの前記第2地理空間情報に関する情報を、前記第1地理空間情報に重畳して第1の表示画面に表示させる、または、前記第2地理空間情報との前記第2位置合わせ済みの前記第1地理空間情報に関する情報を、前記第2地理空間情報に重畳して前記第1の表示画面に表示させる、表示処理部をさらに備える、請求項1~3のいずれか1項に記載の情報処理装置。
【請求項5】
前記表示処理部は、さらに、
前記第1の表示画面と異なる第2の表示画面に、前記第1地理空間情報との前記第2位置合わせ済みの前記第2地理空間情報に関する情報を、前記第1地理空間情報に重畳して表示させる、または、
前記第2の表示画面に、前記第2地理空間情報との前記第2位置合わせ済みの前記第1地理空間情報に関する情報を、前記第2地理空間情報に重畳して表示させる、請求項4に記載の情報処理装置。
【請求項6】
コンピュータに、
特定領域に対応する第1地理空間情報から抽出された所定の地物の形状と、前記第1地理空間情報と表示スタイルが異なり且つ前記特定領域の少なくとも一部を含む第2地理空間情報に含まれる、前記所定の地物の形状との第1位置合わせを行う機能、
前記第1位置合わせの結果を用いて、前記第1地理空間情報と前記第2地理空間情報との第2位置合わせを行う機能、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書で開示された実施形態は、情報処理装置、及び制御プログラムに関する。
【背景技術】
【0002】
従来から、略同一の領域に対応する2種類の地理空間情報(地図画像、空中写真(航空写真)画像、衛星画像等)の重畳処理を実行する地理情報装置が知られている。このような情報処理装置は、重畳させる2種類の地理空間情報のそれぞれにおける複数の地点の位置を一致させるため、いずれかの地理空間情報に対して幾何変換処理を実行する。例えば、地理空間情報に対する幾何変換は、アフィン変換、薄板スプラインモデル(Thin Plate Spline,TPS)変換、又は射影変換等である。
【0003】
例えば、非特許文献1には、2種類の写真画像において互いに対応する位置を合わせるためのアフィン変換に係るパラメータを、畳み込みニューラルネットワーク(Convolutional Neural Network,CNN)を用いて算出する技術が記載されている。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Ignacio Rocco,外2名,“Convolutional neural network architecture for geometric matching”,[online],2017年4月13日,arXiv (Cornell University),[2022年3月31日検索],インターネット<URL:https://arxiv.org/pdf/1703.05593.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献1に記載の技術では、同一の表示スタイルの2種類の画像のそれぞれにおいて共通の特徴量が抽出され、抽出された特徴量に基づいて当該2種類の画像の位置合わせが実行される。非特許文献1に記載された位置合わせの技術では、写真画像及びイラスト画像等のような互いに異なる表示スタイルの画像情報同士を位置合わせする場合、両画像に共通する特徴量を抽出することが難しく、位置合わせの精度の向上は望めない。
【0006】
本明細書で開示された情報処理装置、及び制御プログラムは、異なる表示スタイルの情報の位置合わせの精度の向上を可能とする。
【課題を解決するための手段】
【0007】
開示された情報処理装置は、特定領域に対応する第1地理空間情報から抽出された所定の地物の形状と、第1地理空間情報と表示スタイルが異なり且つ特定領域の少なくとも一部を含む第2地理空間情報に含まれる、所定の地物の形状との第1位置合わせを行う第1位置合わせ部と、第1位置合わせの結果を用いて、第1地理空間情報と第2地理空間情報との第2位置合わせを行う第2位置合わせ部と、を備える。
【0008】
また、開示された情報処理装置において、第1位置合わせ部は、学習モデルを用いて第1位置合わせを行うことが好ましい。
【0009】
また、開示された情報処理装置において、第1地理空間情報から所定の地物の形状を抽出する抽出部をさらに備えることが好ましい。
【0010】
また、開示された情報処理装置において、第1地理空間情報との第2位置合わせ済みの第2地理空間情報に関する情報を、第1地理空間情報に重畳して第1の表示画面に表示させる、または、第2地理空間情報との第2位置合わせ済みの第1地理空間情報に関する情報を、第2地理空間情報に重畳して第1の表示画面に表示させる、表示処理部をさらに備えることが好ましい。
【0011】
また、開示された情報処理装置において、表示処理部は、さらに、第1の表示画面と異なる第2の表示画面に、第1地理空間情報との第2位置合わせ済みの第2地理空間情報に関する情報を、第1地理空間情報に重畳して表示させる、または、第2の表示画面に、第2地理空間情報との第2位置合わせ済みの第1地理空間情報に関する情報を、第2地理空間情報に重畳して表示させることが好ましい。
【0012】
開示されたプログラムは、コンピュータに、特定領域に対応する第1地理空間情報から抽出された所定の地物の形状と、第1地理空間情報と表示スタイルが異なり且つ特定領域の少なくとも一部を含む第2地理空間情報に含まれる、所定の地物の形状との第1位置合わせを行う機能、第1位置合わせの結果を用いて、第1地理空間情報と第2地理空間情報との第2位置合わせを行う機能、を実現させる。
【発明の効果】
【0013】
開示された情報処理装置、及び制御プログラムによって、異なる表示スタイルの情報の位置合わせの精度の向上が可能となる。
【図面の簡単な説明】
【0014】
図1】情報処理装置の機能の概要の一例を説明するための模式図である。
図2】情報処理装置の概略構成の一例を示す図である。
図3】判別モデルM1の学習方法の一例を説明するための模式図である。
図4】判別モデルM2の学習方法の一例を説明するための模式図である。
図5】判別モデルM2の学習方法の一例を説明するための模式図である。
図6】情報処理装置の機能の適用例を示す模式図である。
図7】情報処理装置の機能の適用例を示す模式図である。
【発明を実施するための形態】
【0015】
以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
【0016】
(情報処理装置の概要)
図1は、情報処理装置の機能の概要の一例を示す図である。情報処理装置は、パーソナルコンピュータ(Personal Computer)、又はサーバ装置等である。情報処理装置は、ノートPC、タブレット端末、タブレットPC、多機能携帯電話機(所謂「スマートフォン」)、又はウェアラブルコンピュータ等でもよい。情報処理装置は、地理空間情報の記憶、演算、加工、及び出力が可能であれば、どのような装置でもよい。情報処理装置の機能は、1台の情報処理装置によって実現されるものに限らない。複数の情報処理装置が、分担して本明細書に開示された機能を実現するものでもよい。つまり、複数の情報処理装置を含む情報処理システムによって、本明細書に開示された機能が実現されてもよい。
【0017】
地理空間情報は、空間上の特定の地点位置を示す情報及び特定の地点に関する属性情報、又は、空間上の特定の区域の位置を示す情報及び特定の区域に関する属性情報を含む。地理空間情報には、空間上の特定の地点に関する属性情報が含まれなくてもよい。また、地理空間情報には、空間上の特定の区域に関する属性情報が含まれなくてもよい。地理空間情報は、ベクタ情報及びラスタ情報に分類される。例えば、ベクタ情報は、ベクタ地図情報等である。また、ラスタ情報は、ラスタ地図情報、空中写真情報、衛星画像情報、又はイラスト地図画像情報等である。
【0018】
ベクタ地図情報には、地点を示すポイント(点)情報、道路又は鉄道等の線形状を示すポリライン(線)情報、及び、行政区画領域、メッシュ領域、公園、又は湖等の面形状を示すポリゴン(面)情報が含まれる。ベクタ地図情報は、所定の地図座標系に従った2次元座標によって表現される。ベクタ地図情報は、所定の地図座標系に従った3次元座標によって表現されてもよい。所定の位置座標系は、緯度、経度及び高度で示される日本測地系2011等の地理座標系である。所定の位置座標系は、平面直角座標系又はUTM(Universal Transverse Mercator)座標系の投影座標系でもよい。
【0019】
例えば、ポイント情報は、所定の基準点(X,Y)を原点とした2次元座標(x,y)を示す情報である。また、ポリライン情報は、線分の端点を示す2つの点の2次元座標(x1,y1)及び(x2,y2)を示す情報である。ポリライン情報は、連続して接続する複数の線分のそれぞれの端点を示す複数の2次元座標(x1,y1)、(x2,y2)、(x3,y3)、・・・、(xn,yn)を示す情報でもよい。この場合、最初の線分の2つの点の2次元座標は(x1,y1)及び(x2,y2)であり、次の線分の2つの点の2次元座標は(x2,y2)及び(x3,y3)である。また、ポリゴン情報は、多角形形状の閉領域の外形を示す複数の線分を特定するための複数の点の2次元座標(x1,y1)、(x2,y2)、(x3,y3)、・・・、(xn,yn)を示す情報である。閉領域の外形は、連続して接続する複数の線分によって構成されており、始点の2次元座標(x1,y1)と終点の2次元座標(xn,yn)は同一座標である。
【0020】
ラスタ地図情報は、所定領域内の地図を、格子状に配列された複数の矩形領域(ピクセル)のそれぞれに対応する色情報によって表現した所謂ラスタ形式の画像情報である。例えば、ラスタ地図情報は、ベクタ地図情報に対して公知のラスタライズ処理が実行されることにより生成された画像情報でもよい。
【0021】
空中写真情報は、飛行中の航空機に搭載された撮影装置によって撮影された写真画像情報である。衛星画像情報は、観測衛星に搭載されたセンサ装置によって取得された画像情報である。例えば、センサ装置は、光学センサ装置及び/又はSAR(Synthetic Aperture Radar)センサ装置である。
【0022】
イラスト地図画像情報は、人によって描画された地図の画像情報である。イラスト地図画像情報は、ラスタ地図情報に対して公知のデフォルメ処理が実行されることにより生成された画像情報でもよい。
【0023】
図1に示されるように、情報処理装置は、第1地理空間情報と第2地理空間情報との位置合わせを実行する。第1地理空間情報は、例えば、ベクタ地図情報、ラスタ地図情報、空中写真情報、衛星画像情報、及びイラスト地図画像情報等である。第1地理空間情報は、これらの例に限定されない。例えば、第1地理空間情報は、現実空間等を示す情報等であってもよい。
【0024】
第2地理空間情報は、例えば、ベクタ地図情報、ラスタ地図情報、空中写真情報、衛星画像情報、及びイラスト地図画像情報等であり、且つ、第1地理空間情報と表示スタイルが異なる情報である。第2地理空間情報は、これらの例に限定されない。例えば、第2地理空間情報は、現実空間等を示す情報等であってもよい。
【0025】
例えば、ベクタ地図情報は、地表の地物等を模したポイント、ポリライン、及び/又はポリゴンで表示するための情報である。また、空中写真情報は、航空機に搭載されたカメラにおいて、当該カメラの結像光学系によって撮像素子の撮像面上に結像された、被写体像(地表の像)の画像の情報である。このように、同じ地点又は建物であっても、ベクタ地図情報及び空中写真情報のそれぞれにおいて、その地点又は建物の色彩、輝度等は異なるため、ベクタ地図情報及び空中写真情報は、互いに表示スタイルが異なる情報である。
【0026】
同様に、ベクタ地図情報及び衛星画像情報は、互いに表示スタイルが異なり、ベクタ地図情報及びイラスト地図画像情報は、互いに表示スタイルが異なる。また、ラスタ地図及び空中写真情報は、互いに表示スタイルが異なり、ラスタ地図情報及び衛星画像情報は、互いに表示スタイルが異なり、ラスタ地図情報及びイラスト地図画像情報は、互いに表示スタイルが異なる。また、空中写真情報及びイラスト地図画像情報は、互いに表示スタイルが異なり、衛星画像情報及びイラスト地図画像情報は、互いに表示スタイルが異なる。
【0027】
なお、ベクタ地図情報及びラスタ地図情報は、同一地点の色彩、輝度等が互いに異なる場合では、互いに表示スタイルが異なる情報である。同様に、空中写真情報及び衛星画像情報は、同一地点の色彩、輝度等が互いに異なる場合では、互いに表示スタイルが異なる情報である。同一種類の2つの地理空間情報は、表示態様又は当該情報の取得条件等が異なる場合では、互いに表示スタイルが異なる情報である。例えば、2つの空中写真情報について、同一地点の色彩、輝度等が互いに異なる場合では、当該2つの空中写真情報は、互いに表示スタイルが異なる情報である。また、例えば、2つのラスタ地図情報は、同一地点の色彩、輝度等が互いに異なる場合では、互いに表示スタイルが異なる情報であり、2つの衛星画像情報は、同一地点の色彩、輝度等が互いに異なる場合では、互いに表示スタイルが異なる情報である。また、例えば、2つの衛星画像情報について、各衛星画像情報の取得時期が異なる場合では、当該2つの衛星画像情報は、互いに表示スタイルが異なる情報である。また、例えば、2つのラスタ地図情報について、各ラスタ地図情報の作成者(作成会社を含む)が異なる場合では、当該2つのラスタ地図情報は、互いに表示スタイルが異なる情報である。
【0028】
第1地理空間情報及び第2地理空間情報は、ともに共通の特定領域に対応する情報である。例えば、第1地理空間情報に対応する領域と第2地理空間情報に対応する領域とが同一の領域である場合、第1地理空間情報及び第2地理空間情報は、ともに共通の特定領域に対応する情報である。また、第1地理空間情報に含まれる領域(例えば、所定の行政界領域(「東京都千代田区霞が関三丁目」の行政界領域等))が第2地理空間情報にも含まれる場合、第1地理空間情報及び第2地理空間情報は、ともに共通の特定領域に対応する情報である。
【0029】
以下、図1を参照して、情報処理装置の機能の一例について説明する。図1に示される例では、第1地理空間情報がベクタ地図情報であり、第2地理空間情報が空中写真情報である。
【0030】
図1の(1)に示されるように、情報処理装置は、第1地理空間情報に対して、所定の地物の形状を示す情報を抽出する。図1に示される例では、特定の地物は道路であり、所定の地物の形状を示す情報は、道路形状の外形を示すポリゴン情報である。なお、特定の地物は、道路に限定されず、河川、鉄道路線等でもよい。特定の地物は、建物等の領域地物でもよい。例えば、ベクタ地図情報に含まれるポイント情報、ポリライン情報、及び/又はポリゴン情報に、地物種別を示す属性情報が関連付け得られている場合、所定の地物の形状を示す情報の抽出では、道路を示す属性情報に関連付けられたポリゴン情報が抽出される。
【0031】
次に、図1の(2)に示されるように、情報処理装置は、第1地理空間情報から抽出された所定の地物の形状及び第2地理空間情報に含まれる所定の地物の形状との位置合わせ処理を実行する。以下、所定の地物の形状及び第2地理空間情報に含まれる所定の地物の形状との位置合わせを第1位置合わせと称する場合がある。第1位置合わせでは、教師データ用の、所定の地物の形状を示す情報及び第2地理空間情報並びに幾何変換のパラメータ情報が入力されて学習された判別モデルが用いられる。例えば、判別モデルは、全層畳み込みネットワーク(Fully Convolutional Networks,FCN)等をベースとした深層学習済みの学習モデルである。また、幾何変換のパラメータ情報は、教師データ用の所定の地物の形状を幾何変換した際の幾何変換パラメータの情報であって、第1地理空間情報内の位置及び第2地理空間情報内の位置の乖離度合いの小さい場合の幾何変換パラメータの情報である。
【0032】
情報処理装置は、第1位置合わせ処理を実行すると、判別モデルに入力された所定の地物の形状を示す情報及び第2地理空間情報に対応する幾何変換パラメータ情報を、第1位置合わせの結果として出力する(図1の(3))。
【0033】
そして、情報処理装置は、第1位置合わせの結果として出力された幾何変換パラメータ情報を用いて、第1地理空間情報を幾何変換して、第1地理空間情報及び第2地理空間情報の位置合わせ処理を実行する(図1の(4))。情報処理装置は、第1位置合わせの結果として出力された幾何変換パラメータ情報を用いて、第2地理空間情報を幾何変換して、第1地理空間情報及び第2地理空間情報の位置合わせ処理を実行してもよい。以下、第1地理空間情報及び第2地理空間情報の位置合わせを第2位置合わせと称する場合がある。
【0034】
このように、情報処理装置は、第1地理空間情報及び第2地理空間情報が互いに異なる表示スタイルであっても、両者に含まれる所定の地物の形状を用いて位置合わせを行い、幾何変換パラメータ情報を出力する。したがって、情報処理装置は、互いに異なる表示スタイルの第1地理空間情報及び第2地理空間情報間の位置合わせの精度低下を防止することを可能とする。
【0035】
なお、上述した図1の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明および本明細書の開示範囲に含まれる。
【0036】
(情報処理装置1)
図2は、情報処理装置1の概略構成の一例を示す図である。情報処理装置1は、2種類の地理空間情報の位置合わせ処理を実行する機能を有する。このような機能を実現するため、情報処理装置1は、記憶部11と、操作部12と、表示部13と、処理部14とを備える。情報処理装置1は、記憶部11、操作部12及び表示部13のうちの少なくとも一つを備えなくてもよい。情報処理装置1が記憶部11を有さない場合、情報処理装置1は、本実施形態の記憶部11に記憶された各種情報を記憶する外部の記憶装置及び/又はサーバ装置等と、有線又は無線を介して接続し、外部の記憶装置及び/又はサーバ装置等から各種情報を取得する取得処理を実行してもよい。この場合、情報処理装置1は、各種情報を、外部の記憶装置及び/又はサーバ装置等に記憶する記憶処理を実行してもよい。情報処理装置1が操作部12を有さない場合、情報処理装置1は、ユーザによって操作される外部のコントローラ装置等と有線又は無線を介して接続し、外部のコントローラ装置等からの入力信号を、ユーザの指示として取得して処理部14に供給してもよい。情報処理装置1が表示部13を有さない場合、情報処理装置1は、有線又は無線を介して接続可能な、外部のディスプレイ装置、ヘッドマウントディスプレイ(Head Mounted Display,HMD)、プロジェクションマッピング(Projection Mapping)用の映写装置、網膜投影型の投影装置等に、第1地理空間情報及び/又は第2地理空間情報等を表示する表示処理を実行してもよい。
【0037】
記憶部11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)等の半導体メモリ装置である。記憶部11は、処理部14における処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、制御プログラム及びデータ等を記憶する。記憶部11に記憶されるドライバプログラムは、操作部12を制御する入力デバイスドライバプログラム、及び、表示部13を制御する出力デバイスドライバプログラム等である。
【0038】
記憶部11に記憶される制御プログラムは、例えば、複数の地理空間情報の位置合わせを実行する機能を実現するためのアプリケーションプログラムである。なお、制御プログラムは、外部の装置から送信されたものでもよい。
【0039】
記憶部11は、データとして、判別モデルM1、判別モデルM2、教師データT、第1地理空間情報A1、第2地理空間情報A2等を記憶する。判別モデルM1は、第1判別モデルの一例であり、判別モデルM2は第2判別モデルの一例である。判別モデルM1及び判別モデルM2の詳細は後述する。第1地理空間情報A1及び第2地理空間情報A2は、位置合わせ処理の対象となる地理空間情報である。なお、記憶部11は、第1地理空間情報A1及び/又は第2地理空間情報A2に含まれる特定の地点、領域、地物等に関する属性情報を記憶してもよい。また、記憶部11は、所定の処理に係るデータを一時的に記憶してもよい。
【0040】
教師データTは、判別モデルM1の教師データとして、例えば、第1地理空間情報Ta1及び第2地理空間情報Ta2、並びに、第1地理空間情報Ta1に対応する各ピクセルに対応付けられた特定の地物を示すラベルを示す第1ラベル情報Tb1及び第2地理空間情報Ta2に対応する各ピクセルに対応付けられた特定の地物を示すラベルを示す第2ラベル情報Tb2を含む。第1地理空間情報Ta1に対応する第1ラベル情報Tb1は、第1地理空間情報Ta1と同じ配列のピクセルを有し、各ピクセルには、特定の地物(例えば「道路」)に属していることを示す数値(例えば「1」)、特定の地物とは異なる地物(例えば「建物」)に属していることを示す数値(例えば「2」)、及び背景に属していることを示す数値(例えば「0」)が対応付けられている。同様に、第2地理空間情報Ta2に対応する第2ラベル情報Tb2は、第2地理空間情報Ta2と同じ配列のピクセルを有し、各ピクセルには、特定の地物に属していることを示す数値、特定の地物とは異なる地物に属していることを示す数値、及び背景に属していることを示す数値が対応付けられている。なお、第1ラベル情報Tb1及び第2ラベル情報Tb2の各ピクセルには、特定の地物に属していることを示す数値(例えば「1」)、及び特定の地物に属していないことを示す数値(例えば「0」)が対応付けられてもよい。
【0041】
また、教師データTは、判別モデルM2の教師データとして、例えば、第1地理空間情報Va1及び第2地理空間情報Va2、並びに、第1地理空間情報Va1及び第2地理空間情報Va2の位置の乖離度が最も小さくなるように第1地理空間情報Va1及び第2地理空間情報Va2の位置合わせを行った場合における幾何変換パラメータ情報を含む。なお、第1地理空間情報Ta1及び第1地理空間情報Va1は同一の地理空間情報でもよく、また、第2地理空間情報Ta2及び第2地理空間情報Va2は同一の地理空間情報でもよい。
【0042】
操作部12は、端末装置の操作が可能であればどのようなデバイスでもよく、例えば、キーボード、マウス、タッチパッド、タッチパネル等である。ユーザは、操作部12を用いて、文字、数字及び記号、若しくは、表示部13の表示画面上の位置等を入力することができる。操作部12は、ユーザにより操作されると、その操作に対応する信号を発生する。そして、操作部12は、発生した信号を、ユーザの指示として、処理部14に供給する。
【0043】
表示部13は、液晶ディスプレイである。なお、表示部13は、有機EL(Electro-Luminescence)ディスプレイ等でもよい。表示部13は、処理部14から供給された静止画像データに応じた静止画像等を表示画面に表示する。表示部13は、処理部14から供給された動画像データに応じた動画像を表示画面に表示してもよい。なお、複数の表示装置が表示部13として備えられてもよい。また、表示部13は、情報処理装置1の構成要素でなくてもよく、例えば、有線又は無線を介して情報処理装置1と接続可能な表示装置でもよい。また、情報処理装置1に備えられた一又は複数の表示装置と、情報処理装置1と有線又は無線を介して接続可能な一又は複数の外部表示装置とが、表示部13として用いられてもよい。なお、以下の説明において、「第1の表示画面」は、表示部13として情報処理装置1に備えられた一又は複数の表示装置の表示画面であっても、表示部13として情報処理装置1と接続された一又は複数の外部表示装置の表示画面であってもよい。「第1の表示画面」が、表示部13として情報処理装置1に備えられた一の表示装置の表示画面である場合、「第2の表示画面」は、表示部13として情報処理装置1に備えられた他の表示装置の表示画面であっても、表示部13として情報処理装置1と接続された一又は複数の外部表示装置の表示画面であってもよい。また、「第1の表示画面」が、表示部13として情報処理装置1と接続された一の外部表示装置の表示画面である場合、「第2の表示画面」は、表示部13として情報処理装置1に備えられた一又は複数の表示装置の表示画面であっても、表示部13として情報処理装置1と接続された他の外部表示装置の表示画面であってもよい。
【0044】
処理部14は、記憶部11に記憶されているオペレーティングシステムプログラム、ドライバプログラム及び制御プログラムに含まれる命令を実行するプロセッサである。処理部14は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等の電子回路、又は各種電子回路の組み合わせである。図2においては、処理部14が単一の構成要素として図示されているが、処理部14は複数の物理的に別体のプロセッサの集合であってもよい。
【0045】
処理部14は、制御プログラムに含まれる各種命令を実行することにより、抽出部141、学習部142、第1位置合わせ部143、第2位置合わせ部144、表示処理部145として機能する。以下、図3図5を参照して、抽出部141、学習部142、第1位置合わせ部143、第2位置合わせ部144の機能(学習処理及び位置合わせ処理を実現する機能)の一例について説明する。以下、位置合わせ処理の対象となる第1地理空間情報A1がベクタ地図情報であり、且つ、位置合わせ処理の対象となる第2地理空間情報A2が空中写真情報である場合を例にして説明する。
【0046】
(学習処理)
図3は、判別モデルM1の学習方法の一例を説明するための模式図である。判別モデルM1は、幾何変換パラメータ情報を推定するための判別モデルM2の入力として用いられる対応マップ(Correlation Map)を生成するための判別モデルM1-1の重み付けパラメータを提供するためのモデルである。
【0047】
例えば、判別モデルM1は、画像情報を構成するピクセルごとに物体を識別するセマンティックセグメンテーションに関する学習モデルである。セマンティックセグメンテーションでは、FCN等をベースにした判別モデルM1(学習モデル)に地理空間情報が入力されたことに応じて、ピクセル単位で特徴情報が出力される。出力された特徴情報が、セグメント情報の一例である。なお、セグメント情報は、出力された特徴情報に基づくラベル情報(例えば、特定の地物に対応するピクセルに対する「1」を示す情報、及び、特定の地物以外に対応するピクセルに対する「0」を示す情報等)でもよい。セマンティックセグメンテーションでは、FCNに替えて、U-Net(Convolutional Networks for Biomedical Image Segmentation)等の他の手法が用いられてもよい。なお、判別モデルM1は、セマンティックセグメンテーションに関する学習モデルに限らず、例えば、YOLO(You Only Look Once)及びSSD(Single Shot MultiBox Detector)等のCNNをベースとした物体認識の判別モデルであってもよい。
【0048】
学習部142は、例えば、FCNをベースにした判別モデルM1を、公知のディープラーニング学習を実行することにより生成又は更新する。図3に示される例では、学習部142は、記憶部11に記憶された第1地理空間情報Ta1及び第2地理空間情報Ta2と、第1ラベル情報Tb1及び第2ラベル情報Tb2を用いて判別モデルM1を学習させる。すなわち、学習部142は、第1地理空間情報Ta1から抽出された所定の地物形状を示す地物情報及び第2地理空間情報Ta2、並びに、第1地理空間情報Ta1に対応する第1ラベル情報Tb1及び第2地理空間情報Ta2に対応する第2ラベル情報Tb2を判別モデルM1に入力して学習させる。
【0049】
まず、記憶部11に記憶された第1地理空間情報Ta1がベクタ地図情報である場合において、当該ベクタ地図情報(第1地理空間情報Ta1)から所定の地物形状を示す地物情報を抽出する抽出処理の一例を説明する。抽出部141は、記憶部11に記憶されたベクタ地図情報(第1地理空間情報Ta1)を読み出し、当該ベクタ地図情報(第1地理空間情報Ta1)に含まれるポリゴン情報のうち、所定の抽出条件を満たすポリゴン情報を抽出する。所定の抽出条件は、例えば、ポリゴン情報に関連付けられた地物の種別が道路であるという条件である。また、所定の抽出条件は、ポリゴン情報に関連付けられた地物の種別が公園であるという条件でもよく、所定の抽出条件は、ポリゴン情報に関連付けられた地物の種別が河川であるという条件でもよい。このように、情報処理装置1が備える抽出部141により、ベクタ地図情報(第1地理空間情報Ta1)から所定の地物形状を示す地物情報が抽出される。また、所定の抽出条件は、ポリゴン情報に関連付けられた地物の種別が、複数種類の特定の地物(例えば、道路と河川、又は、道路と公共建物等)の種別であるという条件でもよい。また、抽出部141は、所定の抽出条件を満たすポリライン情報又はポイント情報を抽出してもよい。
【0050】
次に、判別モデルM1の学習処理の一例について説明する。まず、学習部142は、抽出部141によって第1地理空間情報Ta1から抽出された地物情報と記憶部11に記憶された第2地理空間情報Ta2のいずれか一方がベクタ地図情報である場合、ベクタ地図情報を画像情報に変換するラスタライズ処理を実行する。
【0051】
そして、学習部142は、第1地理空間情報Ta1から抽出された地物情報及び第2地理空間情報Ta2、並びに、第1ラベル情報Tb1及び第2ラベル情報Tb2を判別モデルM1に入力して、公知のディープラーニング学習(例えば、藤吉弘亘,「《第1回》機械学習の進展による画像認識技術の変遷」,計測と制御,第58巻,第4号,2019年4月号,p.291-297等)を実行することで、判別モデルM1を生成又は更新する。
【0052】
次に、図4及び図5を用いて、判別モデルM2の学習方法の一例について説明する。判別モデルM2は、幾何変換パラメータ情報を推定するための学習モデルである。図4及び図5は、それぞれ判別モデルM2の学習方法の一例を説明するための模式図である。
【0053】
判別モデルM2に用いる教師データのうちの入力データは、対応マップ(Correlation Map)である。対応マップは、学習済みの判別モデルM1と同一の重み付けパラメータを用いた判別モデルM1-1による特徴量算出処理、及び、特徴量算出処理によって算出された特徴量に基づくマッチング処理によって生成される。
【0054】
特徴量算出処理では、図4(a)のとおり、学習部142は、第1地理空間情報Va1から抽出された地物情報及び第2地理空間情報Va2を入力として推定される特徴量C1及び特徴量C2を、学習済みの判別モデルM1と同一の重み付けパラメータを用いた判別モデルM1-1を用いて算出する。判別モデルM1-1の入力層から少なくとも一部の中間層は、学習済みの判別モデルM1のうちの入力層から少なくとも一部の中間層までで構成され、例えば、判別モデルM1-1は、ResNet(Residual Network)、VGG等のCNNをベースとした学習モデルである。なお、学習済み判別モデルM1は、後述する位置合わせ処理には用いられない。
【0055】
次に、図4(b)のとおり、学習部142は、特徴量C1と特徴量C2との類似性を算出し、特徴量C1と特徴量C2との類似性を示す対応マップ(Correlation Map)を出力する。例えば、学習部142は、対応マップの出力を、公知の手法(Ignacio Rocco,外2名,“Convolutional neural network architecture for geometric matching”,[online],2017年4月13日,arXiv (Cornell University),[2022年3月31日検索],インターネット<URL:https://arxiv.org/pdf/1703.05593.pdf>)を用いて実行する。
【0056】
次に、学習部142は、対応マップ、並びに、第1地理空間情報Va1及び第2地理空間情報Va2を位置合わせした場合の幾何変換パラメータ情報を判別モデルM2に入力して、公知のディープラーニング学習を実行することで、判別モデルM2を生成又は更新する。判別モデルM2のディープラーニング学習に用いられる幾何変換パラメータ情報は、第1地理空間情報Va1及び第2地理空間情報Va2のいずれか一方を幾何変換(例えば、アフィン変換)した場合において、第1地理空間情報Va1の位置と第2地理空間情報Va2の位置との乖離が最も小さい幾何変換のパラメータを示す情報である。
【0057】
図5は、判別モデルM2の一例を示す模式図である。図5に示される判別モデルM2は、入力層M2-1、畳み込み層M2-2、プーリング層M2-3、及び全結合層M2-4を有する畳み込みニューラルネットワーク等の深層ニューラルネットワークモデルである。畳み込み層M2-2及びプーリング層M2-3は、それぞれ2以上であってもよい。全結合層M2-4を経て出力される幾何変換のパラメータは、例えば、幾何変換がアフィン変換の場合では、平行移動、回転、拡大及び縮小、並びにせん断に係るパラメータ値である。幾何変換は、アフィン変換に限らず、TPS(Thin-Plate Spline)等でもよい。なお、判別モデルM2は、図5に示される例に限定されず、第1位置合わせが実現可能であれば、判別モデルM2としてどのようなモデルが用いられてもよい。
【0058】
(位置合わせ処理)
第1位置合わせ部143は、学習済みの判別モデルM1-1及びM2を用いて、第1地理空間情報A1から抽出された地物情報によって示される地物の形状と、第1地理空間情報A1と表示スタイルが異なる第2地理空間情報A2に含まれる地物の形状の位置合わせを行った場合の、幾何変換パラメータを推定する。なお、地物情報は、抽出部141によって、第1地理空間情報A1から抽出された所定の地物形状を示す地物情報である。
【0059】
まず、第1位置合わせ部143は、記憶部11に記憶された第1地理空間情報A1から抽出された地物情報と記憶部11に記憶された第2地理空間情報A2とを入力とした場合の、当該2種類の情報の特徴量を、判別モデルM1-1を用いて算出する。次に、第1位置合わせ部143は、算出した両特徴量に対するマッチング処理を実行することで、対応マップを生成する。そして、第1位置合わせ部143は、対応マップを入力とした場合の、第1地理空間情報A1から抽出された地物情報によって示される所定の地物の形状と第2地理空間情報A2に含まれる所定の地物の形状との位置合わせに係る幾何変換パラメータを、判別モデルM2を用いて算出する。このように、第1位置合わせ部143は、第1地理空間情報A1から抽出された地物情報と第2地理空間情報A2との第1位置合わせのための幾何変換パラメータを算出することが可能である。
【0060】
そして、第2位置合わせ部144は、第1位置合わせ部143によって算出された第1位置合わせのための幾何変換パラメータを用いて、第1地理空間情報A1と第2地理空間情報A2との第2位置合わせ処理を行う。
【0061】
(表示処理)
次に、情報処理装置1が備える表示処理部145の機能について図6図7を参照して説明する。表示処理部145は、第2位置合わせ部144による第2位置合わせがなされた第1地理空間情報A1と第2地理空間情報A2に関する表示処理を実行する。
【0062】
表示処理部145は、第1地理空間情報A1との第2位置合わせ済みの第2地理空間情報A2に関する情報を、第1地理空間情報A1に重畳して第1の表示画面に表示させる。また、表示処理部145は、第2地理空間情報A2との前記第2位置合わせ済みの第1地理空間情報A1に関する情報を、第2地理空間情報A2に重畳して第1の表示画面に表示させてもよい。また、表示処理部145は、第1の表示画面と異なる第2の表示画面に、第1地理空間情報A1との第2位置合わせ済みの第2地理空間情報A2に関する情報を、第1地理空間情報A1に重畳して表示させてもよい、また、表示処理部145は、第2の表示画面に、第2地理空間情報A2との第2位置合わせ済みの第1地理空間情報A1に関する情報を、第2地理空間情報A2に重畳してさせてもよい。
【0063】
図6(a)は、ドローン(drone)等の公知の航空機によって撮影された空中写真情報を第2地理空間情報A2として用い、各種地物の位置、名称等の属性情報が関連付けられた、ポイント情報、ポリライン情報、ポリゴン情報を含むベクタ地図情報を第1地理空間情報A1として用いる場合の適用例である。
【0064】
第1地理空間情報A1であるベクタ地図情報は、第2位置合わせ処理によって、空中写真情報(第2地理空間情報A2)と位置合わせされている。これにより、表示処理部145は、空中写真情報(第2地理空間情報A2)の表示に伴い、表示された空中写真情報(第2地理空間情報A2)に対応する領域及び当該領域の外部領域に対応するベクタ地図情報に含まれる属性情報から名称を取得し、取得された名称に対応する、ポイント情報、ポリライン情報又はポリゴン情報の位置に、当該取得された名称をラベル情報として、第1の表示画面及び/又は第2の表示画面に表示(アノテーション)する。なお、名称は、第1地理空間情報A1に関する属性情報の一例である。
【0065】
図6(b)は、災害発生時に、ヘリコプター等の航空機から撮影された空中写真情報を第2地理空間情報A2として用い、各種地物の位置、名称等が関連付けられた、ポイント情報、ポリライン情報、ポリゴン情報を含むベクタ地図情報を第1地理空間情報A1として用いる場合の適用例である。表示処理部145は、対象となる災害発生個所の地物(図6(b)に示される例では、建物)に関連付けられた属性情報を、第1の表示画面及び/又は第2の表示画面に表示する。
【0066】
図7(a)は、荷物を搬送可能な航空機から撮影された空中写真情報を第2地理空間情報A2として用い、各種地物の位置、名称等が関連付けられた、ポイント情報、ポリライン情報、ポリゴン情報を含むベクタ地図情報を第1地理空間情報A1として用いる場合の適用例である。表示処理部145は、配送先の建物(又は集合住宅の各居室)に関連付けられた属性情報を、第1の表示画面及び/又は第2の表示画面に表示する。
【0067】
図7(b)は、ヘリコプター等の航空機から撮影された空中写真情報を第2地理空間情報A2として用い、各種地物の位置、名称等が関連付けられた、ポイント情報、ポリライン情報、ポリゴン情報を含むベクタ地図情報を第1地理空間情報A1として用いる場合の適用例である。表示処理部145は、ベクタ地図情報(第1地理空間情報A1)と空中写真情報(第2地理空間情報A2)とを同時に(並列に)第1の表示画面及び/又は第2の表示画面に表示する。この場合、表示処理部145は、ベクタ地図情報(第1地理空間情報A1)に、空中写真情報(第2地理空間情報A2)に対応する領域を示す閉領域情報を表示してもよい。また、表示処理部145は、現在及び/又は過去に撮影した空中写真情報(第2地理空間情報A2)に対応する領域を示す閉領域情報を時系列に従って表示してもよい。また、表示処理部145は、現在及び/又は過去の航空機の位置を時系列に従って表示してもよい。
【0068】
以上、詳述したとおり、本実施形態の情報処理装置1は、異なる表示スタイルの情報の位置合わせの精度の向上を可能とする。
【0069】
(変形例1)
情報処理装置1の処理部14は、抽出部141、学習部142、表示処理部145のうちの少なくとも一つの機能を有さなくてもよい。例えば、情報処理装置1の処理部14が抽出部141及び学習部142の機能を有さない場合、情報処理装置1は、他の情報処理装置(サーバ装置等)において実行された学習処理によって学習済みの判別モデルM1-1及びM2を取得し、記憶部11に記憶する。次に、第1位置合わせ部143は、記憶された学習済みの判別モデルM1-1及びM2を用いて、第1地理空間情報A1及び第2地理空間情報A2に係る幾何変換パラメータを推定する。そして、第2位置合わせ部144は、第1位置合わせ部143によって算出された第1位置合わせのための幾何変換パラメータを用いて、第1地理空間情報A1と第2地理空間情報A2との第2位置合わせ処理を行う。また、情報処理装置1の処理部14が表示処理部145の機能を有さない場合、他の情報処理装置が、第2位置合わせ部144による第2位置合わせがなされた第1地理空間情報A1と第2地理空間情報A2を情報処理装置1から取得して、取得した第1地理空間情報A1と第2地理空間情報A2に関する表示処理を実行する。
【0070】
以上、本実施形態及びその変形例について詳述したが、本発明は特定の実施例に限定されるものではない。また、本発明の範囲から外れることなく、様々な変更、置換、及び修正を本発明に加えることが可能である。
【符号の説明】
【0071】
1 情報処理装置、11 記憶部、12 操作部、13 表示部、14 処理部、141 抽出部、142 学習部、143 第1位置合わせ部、144 第2位置合わせ部、 145 表示処理部
図1
図2
図3
図4
図5
図6
図7