知財求人 - 知財ポータルサイト「IP Force」
特開2024-139326データ管理装置、データ管理システム、データ管理方法、及びデータ管理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024139326
(43)【公開日】2024-10-09
(54)【発明の名称】データ管理装置、データ管理システム、データ管理方法、及びデータ管理プログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20241002BHJP
【ＦＩ】
G06T7/70 Z
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023050213
(22)【出願日】2023-03-27
(71)【出願人】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(74)【代理人】
【識別番号】110003937
【氏名又は名称】弁理士法人前川知的財産事務所
(72)【発明者】
【氏名】佐々木 剛
(72)【発明者】
【氏名】深谷 暢之
(72)【発明者】
【氏名】重田 将宏
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096AA09
5L096CA02
5L096DA02
5L096FA67
5L096FA69
5L096JA11
(57)【要約】
【課題】作業現場の確認及び地形の状態把握をより簡易に行うことができるデータ管理装置等を提供すること。
【解決手段】データ管理装置２は、特徴点を含む既存画像が記憶された記憶部３５と、新画像を撮像する撮像部３０と、新画像から特徴点を抽出する特徴抽出部４０と、新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する新画像の特徴点を抽出して対応付ける特徴マッチング部４１と、対応付けされた新画像の特徴点から、新画像の撮像状況を算出する撮像状況算出部４２と、新画像の特徴点のうち、既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を差分特徴点に付与する差分特定部４３と、差分特徴点に相対位置情報が付与された新画像を既存画像として記憶部３５に記憶するＤＢ更新部４４と、を備える。
【選択図】図２
【解決手段】データ管理装置２は、特徴点を含む既存画像が記憶された記憶部３５と、新画像を撮像する撮像部３０と、新画像から特徴点を抽出する特徴抽出部４０と、新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する新画像の特徴点を抽出して対応付ける特徴マッチング部４１と、対応付けされた新画像の特徴点から、新画像の撮像状況を算出する撮像状況算出部４２と、新画像の特徴点のうち、既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を差分特徴点に付与する差分特定部４３と、差分特徴点に相対位置情報が付与された新画像を既存画像として記憶部３５に記憶するＤＢ更新部４４と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
特徴点を含む既存画像が記憶された記憶部と、
新画像を撮像する撮像部と、
前記新画像から特徴点を抽出する特徴抽出部と、
前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング部と、
前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出部と、
前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定部と、
前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新部と、
を備えるデータ管理装置。
新画像を撮像する撮像部と、
前記新画像から特徴点を抽出する特徴抽出部と、
前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング部と、
前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出部と、
前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定部と、
前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新部と、
を備えるデータ管理装置。
【請求項2】
前記撮像状況算出部は、前記撮像状況として前記新画像の撮像位置と撮像姿勢を算出する請求項１に記載のデータ管理装置。
【請求項3】
前記特徴マッチング部は、前記記憶部から前記新画像の撮像状況と近似する撮像状況の既存画像を、前記新画像に対応する既存画像として取得する請求項１に記載のデータ管理装置。
【請求項4】
前記特徴マッチング部は、前記記憶部から前記新画像に写っている内容と類似する既存画像を、前記新画像に対応する既存画像として取得する請求項１に記載のデータ管理装置。
【請求項5】
前記特徴抽出部は、前記新画像から抽出した特徴点に、前記撮像部により撮像した撮像時間に関する情報を付与する請求項１に記載のデータ管理装置。
【請求項6】
前記記憶部に記憶された既存画像に基づく三次元画像を生成する表示制御部をさらに備える請求項１に記載のデータ管理装置。
【請求項7】
特徴点を含む既存画像が記憶された記憶部と、
新画像を撮像する撮像部と、
前記新画像から特徴点を抽出する特徴抽出部と、
前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング部と、
前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出部と、
前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定部と、
前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新部と、
を備えるデータ管理システム。
新画像を撮像する撮像部と、
前記新画像から特徴点を抽出する特徴抽出部と、
前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング部と、
前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出部と、
前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定部と、
前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新部と、
を備えるデータ管理システム。
【請求項8】
記憶部が、特徴点を含む既存画像が記憶する記憶工程と、
撮像部が、新画像を撮像する撮像工程と、
特徴抽出部が、前記新画像から特徴点を抽出する特徴抽出工程と、
特徴マッチング部が、前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング工程と、
撮像状況算出部が、前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出工程と、
差分特定部が、前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定工程と、
更新部が、前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新工程と、
を備えるデータ管理方法。
撮像部が、新画像を撮像する撮像工程と、
特徴抽出部が、前記新画像から特徴点を抽出する特徴抽出工程と、
特徴マッチング部が、前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング工程と、
撮像状況算出部が、前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出工程と、
差分特定部が、前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定工程と、
更新部が、前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新工程と、
を備えるデータ管理方法。
【請求項9】
記憶部が、特徴点を含む既存画像が記憶する記憶工程と、
撮像部が、新画像を撮像する撮像工程と、
特徴抽出部が、前記新画像から特徴点を抽出する特徴抽出工程と、
特徴マッチング部が、前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング工程と、
撮像状況算出部が、前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出工程と、
差分特定部が、前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定工程と、
更新部が、前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新工程と、
をコンピュータに実行させるためのデータ管理プログラム。
撮像部が、新画像を撮像する撮像工程と、
特徴抽出部が、前記新画像から特徴点を抽出する特徴抽出工程と、
特徴マッチング部が、前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング工程と、
撮像状況算出部が、前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出工程と、
差分特定部が、前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定工程と、
更新部が、前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新工程と、
をコンピュータに実行させるためのデータ管理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、データ管理装置、データ管理システム、データ管理方法、及びデータ管理プログラムに関する。
【背景技術】
【0002】
従来より、作業者の位置をリアルタイムで把握しながら作業支援を行う技術が開発されている。このような技術の一つとして、例えば特許文献１には、作業装置（作業機械）で利用される情報を算出するサーバコンピュータを備えた施工管理システムが開示されている。サーバコンピュータは、施工現場で稼動する作業装置から出力される作業装置の位置情報を取得する位置情報取得部と、施工現場の現況地形データを取得する現況地形データ取得部と、施工現場の設計地形データを取得する設計地形データ取得部と、を備える。特許文献１の作業装置は、作業中、ＧＰＳ受信機を利用して自己の位置情報を取得する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６７８２２７０号
【発明の概要】
【発明が解決しようとする課題】
【0004】
作業現場で利用されるシステムは、作業現場の確認及び地形の状態把握をより簡易に行うことが求められる。しかし、特許文献１の技術において、作業装置は自己の位置を特定するためにＧＰＳ受信機を備える必要がある。また、作業装置が自己の位置を特定する別の方法として、作業装置に座標が既知の標定点を観測させる場合は、標定点の設置のための作業が必要となってしまう。
【0005】
本開示は、作業現場の確認及び地形の状態把握をより簡易に行うことができるデータ管理装置、データ管理システム、データ管理方法及びデータ管理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記した目的を達成するために、本開示に係るデータ管理装置は、特徴点を含む既存画像が記憶された記憶部と、新画像を撮像する撮像部と、前記新画像から特徴点を抽出する特徴抽出部と、前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング部と、前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出部と、前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定部と、前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新部と、を備える。
【0007】
上記した目的を達成するために、本開示に係るデータ管理システムは、特徴点を含む既存画像が記憶された記憶部と、新画像を撮像する撮像部と、前記新画像から特徴点を抽出する特徴抽出部と、前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング部と、前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出部と、前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定部と、前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新部と、を備える。
【0008】
上記した目的を達成するために、本開示に係るデータ管理方法は、記憶部が、特徴点を含む既存画像が記憶する記憶工程と、撮像部が、新画像を撮像する撮像工程と、特徴抽出部が、前記新画像から特徴点を抽出する特徴抽出工程と、特徴マッチング部が、前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング工程と、撮像状況算出部が、前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出工程と、差分特定部が、前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定工程と、更新部が、前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新工程と、を備える。
【0009】
上記した目的を達成するために、本開示に係るデータ管理プログラムは、記憶部が、特徴点を含む既存画像が記憶する記憶工程と、撮像部が、新画像を撮像する撮像工程と、特徴抽出部が、前記新画像から特徴点を抽出する特徴抽出工程と、特徴マッチング部が、前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング工程と、撮像状況算出部が、前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出工程と、差分特定部が、前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定工程と、更新部が、前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新工程と、をコンピュータに実行させるためのプログラムである。
【発明の効果】
【0010】
上記手段を用いる本開示に係るデータ管理装置、データ管理システム、データ管理方法及びデータ管理プログラムは、作業現場の確認及び地形の状態把握をより簡易に行うことができる。
【図面の簡単な説明】
【0011】
【図1】一実施形態に係るデータ管理システムの全体構成図である。
【図2】データ管理装置の構成図である。
【図3】データ管理方法の各処理のフローチャートである。
【図4】変形例に係るデータ管理システムの全体構成図である。
【発明を実施するための形態】
【0012】
以下、本開示の実施形態を図面に基づき説明する。図１は、本開示の実施形態に係るデータ管理システム１の全体構成図である。なお、本実施形態の説明において、各装置や配置関係は、模式的に示しており、説明の便宜上実際の縮尺と異なっていてもよい。
【0013】
図１に示すように、データ管理システム１は、データ管理装置２を作業者Ａが持って移動し、任意の測点にてデータ管理装置２を設置して、画像に基づく特徴点のデータベースを更新していくシステムである。データ管理装置２は、本体部２１と、本体部２１を支持する棒状のピンポール２２を有している。
【0014】
図２に示すように、本体部２１は、撮像部３０と、姿勢検出部３１、操作部３２と、表示部３３と、通信部３４と、記憶部３５と、制御部３６とを有している。なお、図示しないが、本体部２１は、時計等の時間情報取得部を有している。また、機種によっては本体部２１がＧＳＮＮ等の位置情報取得部を有してもよい。
【0015】
撮像部３０は、画像を撮像するイメージセンサ（ＣＣＤセンサやＣＭＯＳセンサ等）である。撮像部３０が撮像可能な画像は静止画像でも動画像であってもよい。本実施形態では、発明の理解のしやすさのため静止画像を例に説明するが、動画像においても同様に本実施形態を適用できる。
【0016】
姿勢検出部３１は、例えばジャイロセンサであり、データ管理装置２の姿勢情報を取得可能である。つまり、姿勢検出部３１は、撮像部３０による撮像時の撮像方向を検出可能である。
【0017】
操作部３２は、各種の動作指示や設定を入力可能な操作手段である。動作指示は、例えば、電源のオン又はオフの切替、撮像部３０による撮影の指示、及び撮像に関する設定等を含むことができる。また操作部３２は、スイッチ、ボタン、ダイアルなど、その他の操作デバイス又は入力デバイスを含んでもよい。
【0018】
表示部３３は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等である。表示部３３がタッチパネルディスプレイである場合は、表示部３３と操作部３２とは一体に形成されていてもよい。
【0019】
通信部３４は、外部装置と情報を共有可能に通信する機能を有する。例えば無線通信手段である。通信部３４は、接続端子を介して有線通信手段として機能してもよい。外部装置としては、例えば、携帯可能な携帯情報端末（ＰＤＡ）、スマートフォン、タブレット端末、パーソナルコンピュータ等の装置がある。
【0020】
記憶部３５は、各種情報が記憶されるハードディスク、ＳＳＤ等の記憶装置である。記憶部３５には、特徴点を含む画像が記憶されている。以下、記憶部３５に記憶されている特徴点を含む画像を既存画像という。
【0021】
特徴点は画像内に写っている特徴的な部分（位置）であり、当該特徴点の固有性をベクトル等の表現で数値化した値を特徴量という。記憶部３５には、既存画像及びその特徴点（特徴量を含む）と、これらに付随する種々の情報（データ）が記憶されており、いわゆる特徴点データベース（以下、ＤＢともいう）が構築されている。
【0022】
例えば、特徴点は位置情報を含んでおり、既存画像内における位置に対応してグローバル座標系の位置情報（三次元座標データ）が紐づけられている。この特徴点の位置情報は、事前に測量機（トータルステーションやスキャナ）等を用いて測量した結果の位置情報であってもよいし、後述するように制御部３６により算出された位置情報であってもよい。また、特徴点の位置情報には、位置情報を算出した測量種類（トータルステーション、スキャナ、写真測量、等）、測量装置の設置座標、測量装置使用時の時間データが付与されている。
【0023】
また、特徴点には、他にも撮像に関する情報が紐づけられている。撮像に関する情報としては、例えば撮像部の仕様（解像度、画角、等）撮像位置情報、撮像時刻情報、撮像姿勢情報、及び撮像時間情報を含む撮像状況情報が含まれている。撮像位置情報は、後述するように制御部３６により算出される。姿勢情報は撮像した際に姿勢検出部３１により検出され、当該姿勢情報から撮像方向が算出される。撮像時間情報は、例えばデータ管理装置２が有する時計により撮像時点の日時である。
【0024】
なお、異なる地点から、又は異なる時点から、同一の特徴点を抽出した場合には、１つの特徴点に複数の情報が付与される。
【0025】
制御部３６は、記憶部３５に記憶されるプログラムに含まれるコード又は命令によって実現する機能及び／又は方法を実行する。制御部３６は、例として、中央処理装置（ＣＰＵ）、ＭＰＵ、ＧＰＵ、マイクロプロセッサ、プロセッサコア、マルチプロセッサ、ＡＳＩＣ、ＦＰＧＡ等を含み、集積回路等に形成された論理回路や専用回路によって各実施形態に開示される各処理を実現してもよい。また、これらの回路は、１又は複数の集積回路により実現されてよく、各実施形態に示す複数の処理を１つの集積回路により実現されることとしてもよい。
【0026】
本実施形態の制御部３６は、撮像した画像の各特徴点に位置座標を付与する特徴点管理制御を実施する。そのための制御部３６の機能を構成として説明すると、制御部３６は特徴抽出部４０、特徴マッチング部４１、撮像状況算出部４２、差分特徴特定部４３、ＤＢ更新部４４、表示制御部４５、を有している。
【0027】
特徴抽出部４０は、画像から特徴点を抽出する機能を有する。具体的には、撮像部３０が撮像した新画像に対して、特徴点を抽出する所定のアルゴリズムを使用して特徴点を抽出する。なお、新画像とは特徴点算出前の画像である。所定のアルゴリズムは、写真測量等で用いられる公知のアルゴリズムを用いればよい。また、特徴抽出部４０は、抽出した特徴点に、撮像時間情報等の撮像状況情報を付与する。
【0028】
特徴マッチング部４１は、記憶部３５から新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する位置にある新画像の特徴点を抽出して、抽出した特徴点に位置情報を付与するマッチング機能を有する。
【0029】
具体的には、特徴マッチング部４１は、新画像の撮像状況と近似する撮像状況の既存画像を、新画像に対応する既存画像として取得する。これは例えば、特徴マッチング部４１は、記憶部３５から新画像と類似する既存画像を検索する検索機能を有しており、新画像の撮像位置と近接する撮像位置の既存画像を取得する。新画像の撮像位置は、例えば撮像部３０が連続的に撮影を行っている場合は、特徴抽出部４０が直前に撮像した既存画像（例えば撮像時刻が近接している既存画像）の撮像位置を、新画像の概略撮像位置として設定してもよい。又は、データ管理装置２が位置情報取得部を有している場合は、特徴抽出部４０が当該位置情報取得部で取得した位置情報を新画像の概略撮像位置として設定してもよい。なお、必ずしも撮像状況が近似していなくとも、画像内に少なくとも同じ対象物が映り込んでいればマッチングは可能であるため、特徴マッチング部４１の検索機能として、新画像の撮像位置と近接する撮像位置の既存画像を取得できない場合は、例えば画像解析技術を用いて、新画像に写っている内容と類似する既存画像を記憶部３５から検索して取得してもよい。
【0030】
特徴マッチング部４１は、上記のようにして取得した既存画像と新画像とから、両画像間で特徴量が一致又は近似する特徴点を抽出して一致対応付けることで、マッチングを行う。これにより既存画像と新画像との相対的位置関係が特定される。新画像において対応付けられた特徴点には、既存画像の特徴点が有する位置情報（相対的位置情報又はグローバル座標系の三次元座標）が付与される。この既存画像の特徴点が有する位置情報は、当該既存画像内又は他の既存画像内における他の特徴点との相対的位置関係を示す情報であってもよいし、グローバル座標系の三次元座標であってもよい。
【0031】
撮像状況算出部４２は、対応付けされた新画像の特徴点から、当該新画像の撮像状況を算出する機能を有する。新画像にて少なくとも３以上の特徴点が既存画像の特徴点と対応付けされれば、既存画像との相対的位置関係と撮像部３０の仕様情報から、公知のアルゴリズムを用いて撮像姿勢等の撮像状況を算出可能である。つまり、撮像状況算出部４２は新画像内にて対応付けされた特徴点から逆算して撮像状況を算出する。
【0032】
差分特徴特定部４３は、新画像の特徴点のうち、既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、新画像の撮像状況に基づき、対応付けされた特徴点との相対位置情報を差分特徴点に付与する機能を有する。つまり、差分特徴特定部４３は、既存画像の特徴点とマッチングされなかった特徴点（差分特徴点）を抽出し、これらの特徴点は新規の特徴点であり、位置情報を持たないことから、差分特徴特定部４３がマッチングされた特徴点との相対位置を示す相対位置情報を新たに付与する。このように、新規の特徴点に相対位置情報が付与されれば、少なくとももう１枚の他の画像とマッチングすることで、グローバル座標系の三次元座標を算出することも可能となる。
【0033】
ＤＢ更新部４４は、各特徴点に位置情報が付与された新画像を、既存画像として記憶部３５に記憶する機能を有する。つまり、ＤＢ更新部４４は、新画像の特徴点の情報を追加することで特徴点ＤＢを更新する。新画像の各特徴点には撮像時間情報も含まれているため、特徴点ＤＢは時系列的に特徴点が管理される。
【0034】
表示制御部４５は、記憶部３５に記憶された既存画像に基づく三次元画像を生成し、生成した三次元画像を表示部３３に表示する機能を有する。例えば、表示制御部４５は、ＤＢ更新部４４にて特徴点ＤＢが更新される毎に、三次元画像を生成することで新画像を撮像していくのに応じて三次元画像を更新することとなる。また、表示制御部４５は、特徴点に付与された撮像時間情報を用いて、過去の所定の時点における特徴点に基づく三次元画像を生成したり、複数の時点における三次元画像を比較可能に示したり、することが可能である。つまり、表示制御部４５は、時系列に応じた三次元画像を生成可能である。
【0035】
以上のような構成により、データ管理装置２は、新画像を撮像していくことで特徴点ＤＢを更新可能である。
【0036】
【0037】
まず、ステップＳ１として、制御部３６の特徴抽出部４０が、撮像部３０により新画像Ｐｎを撮像させる。これは図１に示すように、データ管理装置２は、作業者Ａが任意の測点Ｘにデータ管理装置２を設置して、操作部３２を介した操作に応じて撮像を行う。厳密にはピンポール２２や本体部２１における撮像部３０の取付位置等も計算するが、説明を簡略化するため当該測点Ｘを新画像の撮像位置として説明する。
【0038】
ステップＳ２として、制御部３６の特徴抽出部４０が、新画像Ｐｎから特徴点を抽出する。また、特徴抽出部４０は、抽出した特徴点に撮像時間情報等の撮像状況情報を付与する。図１では、新画像Ｐｎの特徴点として、建物Ｔの角部に対応する特徴点Ｆｎ１～Ｆｎ５の５つの特徴点が抽出されている。
【0039】
ステップＳ３として、制御部３６の特徴マッチング部４１が、新画像に撮像概略位置情報があるか否かを判定する。当該判定結果が真（Ｙｅｓ）である場合、即ち、撮像概略位置情報がある場合は、特徴マッチング部４１はステップＳ４に処理を進める。一方、当該判定結果が偽（Ｎｏ）である場合、即ち、新画像に撮像概略位置情報がない場合は、特徴マッチング部４１はステップＳ５に処理を進める。
【0040】
ステップＳ４では、制御部３６の特徴マッチング部４１は、記憶部３５から、新画像Ｐｎと撮像状況が近似する既存画像を検索して取得する。例えば特徴マッチング部４１は、撮像位置又は撮像時刻が近い既存画像Ｐｅを取得する。
【0041】
ステップＳ５では、制御部３６の特徴マッチング部４１は、記憶部３５から、新画像Ｐｎと撮像内容が近似する既存画像を検索して取得する。例えば特徴マッチング部４１は、図１に示すように、同一の建物Ｔが写り込んでいる既存画像Ｐｅを取得する。
【0042】
ステップＳ４又はステップＳ５にて既存画像Ｐｅを取得した後、ステップＳ６として、制御部３６の特徴マッチング部４１は、既存画像Ｐｅの特徴点Ｆｅと新画像Ｐｎの特徴点Ｆｎとのマッチングを行う。具体的には、特徴マッチング部４１は、両画像間の各特徴点の特徴量を比較して、既存画像Ｐｅの特徴点Ｆｅに対応する（即ち、特徴量が一致又は近似する）新画像Ｐｎの特徴点Ｆｎを抽出して対応付ける。例えば図１では既存画像Ｐｅと新画像Ｐｎとの建物Ｔにおいて、両画像間で一致する位置の特徴点が抽出される。図１においては、既存画像Ｐｅの特徴点Ｆｅ１～Ｆｅ３が新画像Ｐｎの特徴点Ｆｎ１～Ｆｎ３と一致しており、特徴マッチング部４１は特徴点Ｆｅ１と特徴点Ｆｎ１、特徴点Ｆｅ２と特徴点Ｆｎ２、特徴点Ｆｅ３と特徴点Ｆｎ３をそれぞれ対応付ける。
【0043】
次にステップＳ７として、制御部３６の撮像状況算出部４２が、ステップＳ６にて対応付けされた特徴点から逆算して新画像の撮像状況を算出する。つまり、図１に示すように撮像状況算出部４２は対応付けされた特徴点Ｆｎ１～Ｆｎ３から、撮像位置（測点Ｘ）の座標や撮像姿勢等の撮像状況を算出する。
【0044】
ステップＳ８として、制御部３６の差分特徴特定部４３が、新画像の特徴点のうち、既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、ステップＳ７で算出した新画像の撮像状況に基づいて、対応付けされた特徴点との相対位置情報を差分特徴点に付与する。つまり、図１に示すように差分特徴特定部４３は、新画像Ｐｎの特徴点Ｆｎ１～Ｆｎ５のうち、既存画像の特徴点Ｆｅ１～Ｆｅ３と対応付けされなかった差分特徴点Ｆｎ４、Ｆｎ５を抽出する。そして、差分特徴特定部４３は、新画像Ｐｎの測点Ｘの位置座標及び撮像状況から、対応付けされた特徴点Ｆｎ１～Ｆｎ３に対する差分特徴点Ｆｎ４、Ｆｎ５の相対関係を算出し、算出した相対位置情報を差分特徴点Ｆｎ４、Ｆｎ５のそれぞれに付与する。
【0045】
ステップＳ９として、制御部３６のＤＢ更新部４４が、新画像Ｐｎの情報を記憶部３５に追加することで特徴点ＤＢを更新する。具体的には、ＤＢ更新部４４は、既存画像Ｐｅの特徴点Ｆｅ１～Ｆｅ３と対応付けされた特徴点Ｆｎ１～Ｆｎ３と、この対応付けされた特徴点Ｆｎ１～Ｆｎ３との相対位置情報が付与された特徴点Ｆｎ４、Ｆｎ５と、を有する新画像Ｐｎを記憶部３５に追加する。また、新画像Ｐｎの各特徴点Ｆｎ１～Ｆｎ５には、撮像時間情報、撮像姿勢等の撮像状況情報が含まれている。これらの情報を含む新画像Ｐｎが既存画像として記憶部３５に記憶される。
【0046】
ステップＳ１０として、制御部３６の表示制御部４５が、更新後の特徴点ＤＢに基づく三次元画像を生成し、表示部３３に表示し、当該ルーチンをリターンする。例えば、図１において、表示制御部４５が生成する三次元画像は、新画像の差分特徴点Ｆｎ４、Ｆｎ５が新規の特徴点である場合には、更新前には表示されなかった差分特徴点Ｆｎ４、Ｆｎ５の範囲が三次元画像に表示されることとなる。
【0047】
以上のように、本実施形態に係るデータ管理システム１、データ管理装置２、データ管理方法、データ管理プログラムによれば、測量装置等を用いることなく、新画像を撮像して既存画像とのマッチングを行うことで、新画像の撮像位置及び撮像姿勢等の撮像状況を算出し、新しい特徴点の情報を更新していくことができる。これにより、作業現場の確認及び地形の状態把握をより簡易に行うことができる。例えば、記憶部３５は、時系列的に特徴点を管理していることから、特徴点に変化（差分）があったということは対象の構造物又は地形の時間変化を把握することができる。つまり、新画像が撮影されるごとに対象物や地形の変化を把握することができる。
【0048】
また、特徴マッチング部４１は、新画像の撮像状況と近似する撮像状況の既存画像を、新画像に対応する既存画像として取得することで、マッチングに適した既存画像を容易に取得することができる。
【0049】
また、特徴マッチング部４１は、新画像に写っている内容と類似する既存画像を、新画像に対応する既存画像として取得することで、新画像の撮像状況が不十分であっても、マッチングに適した既存画像を取得することができる。
【0050】
また、特徴抽出部が新画像から抽出した特徴点に、撮像部３０により撮像した撮像時間情報を付与することで、各特徴点を時系列的に管理することができる。
【0051】
さらに、表示制御部４５が、記憶部３５に記憶された既存画像に基づく三次元画像を生成することで、特徴点ＤＢの更新に応じて新画像が撮像されるごとに三次元画像を生成していくことができ、作業現場の確認及び地形の状態把握をより一層簡易に行うことができる。
【0052】
以上で本開示の実施形態の説明を終えるが、本開示の態様はこの実施形態に限定されるものではない。
【0053】
例えば、図４には変形例に係るデータ管理システムの構成図が示されており、同図に基づき変形例のデータ管理システム１０１について説明する。
【0054】
変形例のデータ管理装置１０２は、本体部１２１が作業者Ａの頭部への装着が可能であるウェアラブル装置である。データ管理装置１０２は、表示部１３３がいわゆるＡＲ（拡張現実）表示が可能なヘッドマウントディスプレイ（ＨＭＤ）である。撮像部１３０は、作業者Ａの指向方向と同方向を撮像するよう、表示部１３３の取付位置に対応して設けられている。その他の構成については、上記実施形態と同様であり、説明を省略する。
【0055】
当該変形例のデータ管理装置１０２は、例えば撮像部１３０により動画像を撮像し、図示しない制御部１３６がリアルタイムに特徴点ＤＢを更新し表示部１３４に三次元画像をＡＲ表示させる。
【0056】
以上のような構成とすることにより、作業者Ａは、頭部にデータ管理装置２を装着し、現場を移動しながら周囲を指向するだけで特徴点ＤＢが更新され、更新された特徴点に基づく三次元画像を表示部１３４を介してリアルタイムに確認することができる。これにより、作業現場の確認及び地形の状態把握をより一層簡易に行うことができる。
【0057】
このように、データ処理システム１Ａ、撮像装置２Ａ、並びにデータ処理システム１Ａを利用したデータ処理方法及びデータ処理プログラムは、作業者Ａによる作業を効率的に管理することができる。
【0058】
また、上記実施形態及び変形例では、データ管理装置２、１０２単体でデータ管理システム１、１０１を実現しているが、このような構成に限られず、一部の構成を外部装置が有していてもよい。例えば特徴点ＤＢを外部の管理サーバが有する記憶部にて構築してもよい。この場合、管理サーバと１又は複数のデータ管理装置とは相互に通信可能に接続されている。このような構成のデータ管理システムによれば、特徴点ＤＢを複数のデータ管理装置と容易に共有することができ、作業現場の確認及び地形の状態把握をより一層簡易に行うことができる。
【0059】
本実施形態の構成を例示すると以下のとおりである。
［１］
特徴点を含む既存画像が記憶された記憶部と、
新画像を撮像する撮像部と、
前記新画像から特徴点を抽出する特徴抽出部と、
前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング部と、
前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出部と、
前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定部と、
前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新部と、
を備えるデータ管理装置。
［２］
前記撮像状況算出部は、前記撮像状況として前記新画像の撮像位置と撮像姿勢を算出する［１］に記載のデータ管理装置。
［３］
前記特徴マッチング部は、前記記憶部から前記新画像の撮像状況と近似する撮像状況の既存画像を、前記新画像に対応する既存画像として取得する［１］又は［２］に記載のデータ管理装置。
［４］
前記特徴マッチング部は、前記記憶部から前記新画像に写っている内容と類似する既存画像を、前記新画像に対応する既存画像として取得する［１］から［３］のいずれかに一つに記載のデータ管理装置。
［５］
前記特徴抽出部は、前記新画像から抽出した特徴点に、前記撮像部により撮像した撮像時間に関する情報を付与する［１］から［４］のいずれかに一つに記載のデータ管理装置。
［６］
前記記憶部に記憶された既存画像に基づく三次元画像を生成する表示制御部をさらに備える［１］から［５］のいずれかに一つに記載のデータ管理装置。
［７］
特徴点を含む既存画像が記憶された記憶部と、
新画像を撮像する撮像部と、
前記新画像から特徴点を抽出する特徴抽出部と、
前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング部と、
前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出部と、
前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定部と、
前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新部と、
を備えるデータ管理システム。
［８］
記憶部が、特徴点を含む既存画像が記憶する記憶工程と、
撮像部が、新画像を撮像する撮像工程と、
特徴抽出部が、前記新画像から特徴点を抽出する特徴抽出工程と、
特徴マッチング部が、前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング工程と、
撮像状況算出部が、前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出工程と、
差分特定部が、前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定工程と、
更新部が、前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新工程と、
を備えるデータ管理方法。
［９］
記憶部が、特徴点を含む既存画像が記憶する記憶工程と、
撮像部が、新画像を撮像する撮像工程と、
特徴抽出部が、前記新画像から特徴点を抽出する特徴抽出工程と、
特徴マッチング部が、前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング工程と、
撮像状況算出部が、前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出工程と、
差分特定部が、前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定工程と、
更新部が、前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新工程と、
をコンピュータに実行させるためのデータ管理プログラム。
［１］
特徴点を含む既存画像が記憶された記憶部と、
新画像を撮像する撮像部と、
前記新画像から特徴点を抽出する特徴抽出部と、
前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング部と、
前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出部と、
前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定部と、
前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新部と、
を備えるデータ管理装置。
［２］
前記撮像状況算出部は、前記撮像状況として前記新画像の撮像位置と撮像姿勢を算出する［１］に記載のデータ管理装置。
［３］
前記特徴マッチング部は、前記記憶部から前記新画像の撮像状況と近似する撮像状況の既存画像を、前記新画像に対応する既存画像として取得する［１］又は［２］に記載のデータ管理装置。
［４］
前記特徴マッチング部は、前記記憶部から前記新画像に写っている内容と類似する既存画像を、前記新画像に対応する既存画像として取得する［１］から［３］のいずれかに一つに記載のデータ管理装置。
［５］
前記特徴抽出部は、前記新画像から抽出した特徴点に、前記撮像部により撮像した撮像時間に関する情報を付与する［１］から［４］のいずれかに一つに記載のデータ管理装置。
［６］
前記記憶部に記憶された既存画像に基づく三次元画像を生成する表示制御部をさらに備える［１］から［５］のいずれかに一つに記載のデータ管理装置。
［７］
特徴点を含む既存画像が記憶された記憶部と、
新画像を撮像する撮像部と、
前記新画像から特徴点を抽出する特徴抽出部と、
前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング部と、
前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出部と、
前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定部と、
前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新部と、
を備えるデータ管理システム。
［８］
記憶部が、特徴点を含む既存画像が記憶する記憶工程と、
撮像部が、新画像を撮像する撮像工程と、
特徴抽出部が、前記新画像から特徴点を抽出する特徴抽出工程と、
特徴マッチング部が、前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング工程と、
撮像状況算出部が、前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出工程と、
差分特定部が、前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定工程と、
更新部が、前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新工程と、
を備えるデータ管理方法。
［９］
記憶部が、特徴点を含む既存画像が記憶する記憶工程と、
撮像部が、新画像を撮像する撮像工程と、
特徴抽出部が、前記新画像から特徴点を抽出する特徴抽出工程と、
特徴マッチング部が、前記記憶部から前記新画像に対応する既存画像を取得し、取得した既存画像の特徴点に対応する前記新画像の特徴点を抽出して対応付ける特徴マッチング工程と、
撮像状況算出部が、前記対応付けされた前記新画像の特徴点から、前記新画像の撮像状況を算出する撮像状況算出工程と、
差分特定部が、前記新画像の特徴点のうち、前記既存画像の特徴点と対応付けされなかった差分特徴点を抽出し、前記新画像の撮像状況に基づき前記対応付けされた特徴点との相対位置情報を前記差分特徴点に付与する差分特定工程と、
更新部が、前記差分特徴点に前記相対位置情報が付与された前記新画像を既存画像として前記記憶部に記憶する更新工程と、
をコンピュータに実行させるためのデータ管理プログラム。
【符号の説明】
【0060】
１，１０１ データ管理システム
２，１０２ データ管理装置
２１ 本体部
２２ ピンポール
３０ 撮像部
３１ 姿勢検出部
３２ 操作部
３３ 表示部
３４ 通信部
３５ 記憶部
３６ 制御部
４０ 特徴抽出部
４１ 特徴マッチング部
４２ 撮影状況算出部
４３ 差分特徴特定部
４４ ＤＢ更新部
４５ 表示制御部
２，１０２ データ管理装置
２１ 本体部
２２ ピンポール
３０ 撮像部
３１ 姿勢検出部
３２ 操作部
３３ 表示部
３４ 通信部
３５ 記憶部
３６ 制御部
４０ 特徴抽出部
４１ 特徴マッチング部
４２ 撮影状況算出部
４３ 差分特徴特定部
４４ ＤＢ更新部
４５ 表示制御部
【図1】
【図2】
【図3】
【図4】