特表 2024-522099 検査データの記録方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-11

(54)【発明の名称】検査データの記録方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240604BHJP

   G06V 20/17 20220101ALI20240604BHJP

   G06T 7/00 20170101ALI20240604BHJP

   G06T 7/62 20170101ALI20240604BHJP

   G06T 11/60 20060101ALI20240604BHJP

   G01C 21/28 20060101ALI20240604BHJP

【ＦＩ】

G06T7/70 Z

G06V20/17

G06T7/00 300F

G06T7/62

G06T11/60 300

G01C21/28

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023572830

(86)(22)【出願日】2021-12-15

(85)【翻訳文提出日】2024-01-23

(86)【国際出願番号】 EP2021085822

(87)【国際公開番号】W WO2022248076

(87)【国際公開日】2022-12-01

(31)【優先権主張番号】PCT/EP2021/063895

(32)【優先日】2021-05-25

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】503003234

【氏名又は名称】プロセク ソシエテ アノニム

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】チャン シーホア

(72)【発明者】

【氏名】マルセル ポザー

(72)【発明者】

【氏名】アントニオ カバジェロ

【テーマコード（参考）】

2F129

5B050

5L096

【Ｆターム（参考）】

2F129AA02

2F129BB03

2F129BB33

2F129CC06

2F129CC15

2F129CC19

2F129CC31

2F129EE94

2F129FF02

2F129FF11

2F129FF14

2F129FF19

2F129GG17

2F129HH02

5B050AA03

5B050BA06

5B050BA18

5B050BA20

5B050DA04

5B050EA19

5B050FA02

5B050FA05

5L096AA02

5L096AA06

5L096BA08

5L096BA18

5L096CA04

5L096DA02

5L096FA15

5L096FA64

5L096FA66

5L096FA67

5L096FA69

5L096GA51

5L096HA02

(57)【要約】

本発明は、縮尺図空間における環境の検査データを記録する方法およびシステムに関する。本方法は、カメラから一連の画像を受信するステップであって、一連の画像は、カメラが環境を通るカメラ経路に沿って移動する際にカメラによってキャプチャされる、ステップと、一連の画像に基づいて、センサ空間におけるカメラ経路の推定値を生成するステップと、カメラ経路上の第１の位置で撮影された一連の画像の第１の画像について、センサ空間における第１の位置を取得し、縮尺図空間におけるカメラの第１の位置を示す第１のユーザ入力を受信するステップと、カメラ経路上の第２の位置で撮影された一連の画像の第２の画像について、センサ空間における第２の位置を取得し、縮尺図空間におけるカメラの第２の位置を示す第２のユーザ入力を受信するステップと、センサ空間における第１の位置と第２の位置、および縮尺図空間における第１の位置と第２の位置に基づいて、センサ空間と縮尺図空間との間の第１の変換を計算するステップと、カメラ経路上の検査位置で、検査データを受信するステップと、検査データを、縮尺図空間における検査位置を示すデータとともに保存するステップと、を含む。

【特許請求の範囲】

【請求項1】

縮尺図空間における環境の検査データを記録する方法であって、
カメラ（２、１２）から一連の画像を受信することであって、前記一連の画像は、前記カメラ（２、１２）が前記環境を通るカメラ経路に沿って移動するときに前記カメラによってキャプチャされる、受信することと、
前記一連の画像に基づいて、センサ空間における前記カメラ経路の推定値を生成することと、
前記カメラ経路上の第１の位置で撮影された前記一連の画像の第１の画像について、センサ空間における第１の位置を取得し、縮尺図空間における前記カメラの第１の位置を示す第１のユーザ入力を受信することと、
前記カメラ経路上の第２の位置で撮影された前記一連の画像の第２の画像について、センサ空間における第２の位置を取得し、縮尺図空間における前記カメラの第２の位置を示す第２のユーザ入力を受信することと、
センサ空間における前記第１の位置および第２の位置と、縮尺図空間における前記第１の位置および第２の位置とに基づいて、センサ空間と縮尺図空間との間の第１の変換を計算することと、
前記カメラ経路上の検査位置において、検査データを受信することと、
前記検査データを、縮尺図空間における前記検査位置を示すデータとともに記憶することと、
を含む、方法。

【請求項2】

前記縮尺図が平面図であり、
前記縮尺図が、縮尺図空間における前記環境の二次元の縮尺表現を含み、
特に、前記環境は建物である、
請求項１に記載の方法。

【請求項3】

前記縮尺図が地図であり、
前記縮尺図が、縮尺図空間における前記環境の二次元の縮尺表現を含み、
特に、前記環境が屋外環境または屋内と屋外の混合環境である、
請求項１に記載の方法。

【請求項4】

前記縮尺図が、縮尺図空間における前記環境内の物理的特徴の位置および寸法、特に、壁、ドア、窓、柱および階段のうちの少なくとも１つの位置および寸法、ならびに／または、特に、建物、道路、経路、植生のうちの少なくとも１つの位置および寸法を指定する、
請求項１乃至３のいずれかに記載の方法。

【請求項5】

センサ空間における前記カメラ経路の前記推定値の少なくとも一部は、ＧＮＳＳ位置データを考慮することなく生成される、
請求項１乃至４のいずれかに記載の方法。

【請求項6】

センサ空間における前記カメラ経路の前記推定値、および、センサ空間と縮尺図空間との間の前記第１の変換は、前記カメラとともに前記カメラ経路に沿って移動される装置において計算される、
請求項１乃至５のいずれかに記載の方法。

【請求項7】

前記カメラ経路の前記推定値、前記第１の変換、および縮尺図空間における前記検査位置を示す前記データは、リアルタイムで計算される、
請求項１乃至６のいずれかに記載の方法。

【請求項8】

前記検査データが、前記カメラ（２、１２）から受信された画像を含み、
特に、前記検査データは、さらに３６０度カメラ（５）からの画像を含む、
請求項１乃至７のいずれかに記載の方法。

【請求項9】

前記検査データが、非破壊検査データ、特に、
硬度値、
超音波データ、
ＧＰＲデータ、
渦電流データ、
の少なくとも１つを含む、
請求項１乃至８のいずれかに記載の方法。

【請求項10】

前記カメラ経路上の第３の位置で撮影された、前記一連の画像の第３の画像について、センサ空間における第３の位置を取得し、縮尺図空間における前記カメラの第３の位置を示す第３のユーザ入力を受信することと、
センサ空間における前記第２の位置および第３の位置と、縮尺図空間における前記第２の位置および第３の位置とに基づいて、センサ空間と縮尺図空間との間の第２の変換を計算することと、
前記第３の位置の後の前記カメラ経路上に位置する縮尺図空間における位置を示すデータを算出するために、前記第２の変換を適用することと、
をさらに含む、
請求項１乃至９のいずれかに記載の方法。

【請求項11】

前記第２の位置と前記第３の位置との間の前記カメラ経路上に位置する、縮尺図空間における位置を示すデータを計算するために、前記第２の変換を遡及的に適用することと、
特に、前記第２の位置と前記第３の位置との間の前記カメラ経路上に位置する検査データについて、縮尺図空間における前記検査位置を示す前記記憶されたデータを変更することと、
をさらに含む、
請求項１０に記載の方法。

【請求項12】

縮尺図空間における前記検査位置を示す前記データは、
縮尺図空間における前記検査位置、
センサ空間における前記検査位置、およびセンサ空間と縮尺図空間との間の前記変換、
前記検査データのタイムスタンプ、および縮尺図空間における前記カメラ経路の前記第１の推定値のタイムスタンプが付与されたバージョン、
の少なくとも１つを含む、
請求項１乃至１１のいずれかに記載の方法。

【請求項13】

センサ空間における前記カメラ経路の前記第１の推定値は、前記一連の画像に対してビジュアルオドメトリ、特に特徴ベースのビジュアルオドメトリを実行することによって生成される、
請求項１乃至１２のいずれかに記載の方法。

【請求項14】

センサ空間における前記カメラ経路の前記推定値を生成する際に、前記カメラ経路の垂直成分が無視される、
請求項１乃至１３のいずれかに記載の方法。

【請求項15】

慣性測定ユニット（４、１４）によってキャプチャされた加速度データ、および／または、磁力計（１５）によってキャプチャされた方位データを、前記カメラと共に前記カメラ経路に沿って移動する際に受信することと、
さらに、センサ空間における前記カメラ経路の前記推定値を算出するために、前記加速度データおよび／または方位データを使用することと、
をさらに含む、請求項１乃至１４のいずれかに記載の方法。

【請求項16】

センサ空間における前記カメラ経路の前記推定値は、前記一連の画像と、前記加速度データおよび方位データの少なくとも一方とに対してビジュアル慣性オドメトリを実行することによって生成される、
請求項１５に記載の方法。

【請求項17】

前記縮尺図のグラフィック表示上に、前記検査位置、および縮尺図空間における前記カメラの現在位置をリアルタイムで表示すること、
をさらに含む、請求項１乃至１６のいずれかに記載の方法。

【請求項18】

前記縮尺図の前記グラフィック表示（２４）上に、縮尺図空間における前記カメラ経路の前記推定値をリアルタイムで表示すること、
をさらに含む、請求項１７に記載の方法。

【請求項19】

前記第１および／または第２のユーザ入力を受信するステップが、
前記縮尺図のグラフィック表示（２４）をスクリーン上に表示するステップと、
前記縮尺図の前記表示上の前記カメラの現在位置を示す前記ユーザからの入力イベントを受信するステップと、
を含む、請求項１乃至１８のいずれかに記載の方法。

【請求項20】

前記一連の画像、ならびに、場合によっては前記加速度データおよび／または方位データに基づいて、カメラの視野方向の推定値をリアルタイムで生成することと、
前記検査データを、前記検査位置における前記カメラの視野方向を示すデータと共に縮尺図空間に記憶することと、
をさらに含む、請求項１乃至１９のいずれかに記載の方法。

【請求項21】

縮尺図空間の現在位置（２５）における前記カメラの視野方向の前記推定値を、前記縮尺図のグラフィック表示（２４）上にリアルタイムで表示すること、
をさらに含む、請求項２０に記載の方法。

【請求項22】

前記カメラ経路に沿って、定義された時間間隔および／または定義された空間間隔で検査データを自動的に取得することを作動させること、
をさらに含む、請求項１乃至２１のいずれかに記載の方法。

【請求項23】

前記カメラの現在位置と所定の検査位置との間の前記距離が、前記所定の検査位置に到達したときに、特に、定義された閾値を下回った場合に、前記検査データを取得することを自動的に作動させること、
をさらに含む、請求項１乃至２２のいずれかに記載の方法。

【請求項24】

特に、縮尺図のグラフィック表示（２４）上の縮尺図空間に前記所定の検査位置を表示することによって、および／または、
特に、前記所定の検査位置への道順を表示することによって、前記所定の検査位置への道順を表示することによって、
前記ユーザを所定の検査位置に案内するための案内情報を生成すること、
をさらに含む、請求項１乃至２３のいずれかに記載の方法。

【請求項25】

前記カメラ経路の前記推定値についての誤差測定値をリアルタイムで生成することと、
前記誤差測定値が現在位置における定義された誤差閾値を超える場合、
警告を出力するか、または縮尺図空間における前記カメラの前記現在位置を示す更なるユーザ入力を生成することを前記ユーザに促すことと、
センサ空間における前記更なる位置と縮尺図空間における前記更なる位置に基づいて、センサ空間と縮尺図空間との間の更なる変換を計算することと、
をさらに含む、請求項１乃至２４のいずれかに記載の方法。

【請求項26】

センサ空間における前記カメラ経路の前記推定値を示す生データ、特に、３つのルーム座標、３つの回転角度、および信頼度尺度を記憶することと、
センサ空間における前記第１、第２および任意の更なる位置、ならびに縮尺図空間における前記第１、第２および任意の更なる位置を示すデータを記憶することと、
をさらに含む、請求項１乃至２５のいずれかに記載の方法。

【請求項27】

検査報告書を自動的に生成することをさらに含み、
前記検査報告書は、
前記検査位置の位置マーク（２６）を有する前記縮尺図のグラフィック表示（２４）、
前記カメラ経路または検査領域の表示（２７）を伴う前記縮尺図のグラフィック表示（２４）、
前記縮尺図上のそれぞれの前記検査位置のグラフィック表示を伴う前記検査データ、
の少なくとも１つを含む、請求項１乃至２６のいずれかに記載の方法。

【請求項28】

前記一連の画像に基づいて、センサ空間における前記環境の表現を生成し、記憶することと、
コールドスタート時に、コールドスタート位置に位置する前記カメラから更なる一連の画像を受信することと、
前記更なる一連の画像および前記環境の前記表現に基づいて、センサ空間における前記コールドスタート位置の推定値を生成することと、
センサ空間における前記コールドスタート位置の前記推定値およびコールドスタート前に計算されたセンサ空間と縮尺図空間との間の前記変換に基づいて、縮尺図空間における前記コールドスタート位置を決定することと、
をさらに含む、請求項１乃至２７のいずれかに記載の方法。

【請求項29】

プログラムがコンピュータによって実行されると、前記コンピュータに請求項１乃至２８のいずれかに記載の方法を実行させる命令を含む、コンピュータプログラム製品。

【請求項30】

一連の画像をキャプチャするように構成されたカメラ（２、１２）と、
前記カメラ（２、１２）と通信するプロセッサ（１）であって、請求項１から２８のいずれかに記載の方法を実行するように構成されたプロセッサ（１）と、
を備える検査システム。

【請求項31】

前記プロセッサ（１）と通信し、検査データを取得するように構成された３６０度カメラ（５）をさらに含む、
請求項３０に記載の検査システム。

【請求項32】

前記プロセッサ（１）と通信するディスプレイ（３、１３）をさらに備え、
特に、前記検査システムは、タブレットコンピュータまたはスマートフォン（１１）を備える、
請求項３０および３１のいずれかに記載の検査システム。

【請求項33】

慣性測定ユニット（４、１４）、特に加速度計および／またはジャイロスコープ、
磁力計（１５）、
前記プロセッサ（１）と通信するＧＮＳＳ受信機（７、１７）、
の少なくとも１つをさらに含む、請求項３０から３２のいずれかに記載の検査システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、縮尺図空間における環境の検査データを記録する方法、およびその方法を実施するための検査システムに関する。

【背景技術】

【0002】

現代社会は、住宅、オフィスビル、工業用ビル、橋、道路、パイプ、ケーブルなどの建築物に依存しており、これらの建築物は、そこに住む人々やその周辺の人々にとって安全であるように、維持管理され、良好な状態に保たれる必要がある。建物の欠陥を早期に発見するために、検査が行われる。従来の検査では、検査員が建物の中や周囲を歩き、目視や非破壊検査（ＮＤＴ）法などで検査する。検査の文書化は、通常、例えば写真撮影および／またはＮＤＴデータによって検査データを取得し、それらを検査位置、即ち検査データが取得された位置と手作業で関連付けることによって行われる。理想的には、文書は、縮尺図空間、すなわち縮尺図が平面図である場合には建物の平面図の座標系であるか、地図空間、すなわち環境の地図の座標系であるかにかかわらず、縮尺図におけるそれぞれの検査位置と関連付けられた検査データを含む。このような従来の検査は、検査員の側で多くの手作業、特に位置の記録作業を必要とするため、面倒で時間のかかるものであった。

【0003】

検査、特に検査員のワークフローに対する最近の改善点は以下の通りである。屋外検査で、ＧＰＳなどによる全地球航法衛星システム（ＧＮＳＳ）測位が可能な場合、検査データは、ＧＮＳＳによって測定された検査位置と自動的に、つまり検査員側で測位のための余分な操作をすることなく、関連付けることができる。しかしながら、単純なＧＮＳＳ測位では、検査目的には十分な精度が得られない場合があり、例えば、再現性の理由から、メートル以下の精度が要求される場合がある。さらに、ＧＮＳＳ測位は、建物を介してＧＮＳＳ衛星への測線が影になるために失敗することがある。

【0004】

ＧＮＳＳ測位が通常不可能な屋内検査では、検査員が検査位置を示すデータを手動で提供する必要があり、例えば、表示された検査対象建物の平面図を検査位置でタップする必要がある。このプロセスは、従来の検査よりも速いとはいえ、いくつかの欠点がある。検査基準ごとに検査位置を手作業で入力するのは、やはり面倒で時間がかかるだけでなく、検査員のミスが発生しやすいため、信頼性が低い。

【発明の概要】

【0005】

従って、本発明が解決しようとする課題は、環境の検査データを記録する方法を提供することであり、この方法は、特に屋内使用において、高速であると同時に、信頼できる検査位置をそれぞれの検査データに関連付ける。さらに、本発明の目的は、絶対測位システムがない場合、特にＧＮＳＳデータがない場合または不十分な場合に機能する、環境の検査データを記録する方法を提供することである。

【0006】

この問題は、縮尺図空間に環境の検査データを記録する以下の方法によって解決される。縮尺図面は、例えば平面図である。この場合、環境は通常、住宅、オフィスビル、工業用ビル、橋梁などの建物であり、以下の説明では、縮尺図空間を平面図空間と呼ぶことがある。

【0007】

代替的な実施形態では、縮尺図面は、例えば地図、特に物理的な地図とすることができる。この場合、環境は通常、屋外環境または屋内と屋外の混在した環境であり、例えば建物、道路、経路、パイプ、ケーブルなどがあり、縮尺図空間は地図空間と呼ばれることがある。このような環境は、例えば、建設現場であり、特に、非破壊検査や 検査記録などのために検査が行われる場所である。一般に、平面図および平面図空間に関連して開示された以下の特徴は、地図および地図空間を有する代替実施形態にも適用される。

【0008】

特に、平面図は、平面図空間における環境の２次元の縮尺表現からなる。平面図空間は、通常、２つの、特に水平な座標軸によって広げられる。平面図は、平面図空間における環境内の物理的特徴の位置および寸法、特に、壁、ドア、窓、柱および階段の少なくとも一つの位置および寸法を特定することが好ましい。平面図空間における位置および寸法は、例えば、画素単位またはメートル単位で指定することができる。屋外または屋内と屋外の混在する環境の代替実施形態では、地図空間における位置と寸法は、例えば、メートルまたは度（緯度、経度）、特に、建物、道路、経路、植生の少なくとも１つの位置と寸法で与えられる。

【0009】

本発明の一態様によれば、本方法は以下のステップを含む。
－ カメラから一連の画像を受信するステップであって、一連の画像は、カメラが環境内をカメラ経路に沿って移動する際にカメラによってキャプチャされる、ステップ。カメラは、例えば、検査官などのユーザによってカメラ経路に沿って運ばれることもあれば、特に自律的にまたは遠隔から制御されてカメラ経路に沿って移動するドローンの一部であることもある。
－ 一連の画像に基づいて、センサ空間におけるカメラ経路の推定値を生成するステップ。これをどのように行うかを以下に示す。特に、センサ空間は、３次元の実空間を、カメラによって２次元（好ましくは水平方向）で感知されるように表現したものである。センサ空間内の位置は、例えばメートル単位で表すことができる。
－ カメラ経路上の第１の位置で撮影された一連の画像の第１の画像について、センサ空間における第１の位置を取得し、平面空間におけるカメラの第１の位置を示す第１のユーザ入力を受信するステップ。換言すれば、第１の位置は、センサ空間と平面空間との間の変換を決定するための第１の較正点を示す。
－ カメラ経路上の第２の位置で撮影された一連の画像の第２の画像について、センサ空間における第２の位置を取得し、平面空間におけるカメラの第２の位置を示す第２のユーザ入力を受信するステップ。換言すれば、第２の位置は、センサ空間と平面空間との間の変換を決定するための第２の較正点を示す。
－ センサ空間における第１の位置および第２の位置と、平面空間における第１の位置および第２の位置とに基づいて、センサ空間と平面空間との間の第１の変換を計算するステップ。典型的には、第１の変換は第１の行列によって表される。特に、変換は、変換、回転、スケーリングの少なくとも１つを記述する。
－ カメラ経路上の検査位置で、検査データを受信するステップ。後に詳述するように、検査データの取得は、ユーザが手動で実行してもよいし、別の実施形態では、特定の条件が満たされたときに自動的に実行してもよい。
－ 検査データを、平面図空間における検査位置を示すデータとともに保存するステップ。換言すれば、検査データは、それぞれの検査位置に関連付けられ、またはタグ付けされる。平面図空間における検査位置を示すデータは、特に、平面図空間における検査位置を導出可能なデータである。

【0010】

従って、平面図空間における検査位置を示すデータは、例えば、平面図空間における検査位置と、センサ空間における検査位置、およびセンサ空間と平面図空間との間の第１の（または他の適用可能な）変換と、検査データのタイムスタンプ、および平面図空間におけるカメラ経路の第１の推定値のタイムスタンプ付きバージョンと、検査データのタイムスタンプ、ならびにセンサ空間におけるカメラ経路の第１の推定値のタイムスタンプ、およびセンサ空間と平面図空間との間の第１の（または他の適用可能な）変換と、のうちの少なくとも１つを含むことができる。

【0011】

平面図空間に検査データを記録するこのような方法が、検査データの高速で信頼性の高い一貫した測位をもたらすことは明らかである。検査開始時には、センサ空間と平面図空間の間の変換を確立するために、（少なくとも）第１および第２の位置に基づく較正が必要である。変換が確立されると、カメラをカメラ経路に沿って移動させ、検査データを取得するだけでよく、検査位置を記録するための更なるユーザ操作は必要ない。ユーザとの更なるやりとりが不要なため、この方法は、ユーザ入力の誤りによる測位誤差を生じにくい。

【0012】

このような方法は、センサ空間におけるカメラ経路の推定値の少なくとも一部がＧＮＳＳ位置データを考慮せずに生成される場合に特に有利である。このような状況は、屋内検査、即ち、建物によるＧＮＳＳ信号の減衰のためにＧＮＳＳデータが利用できない建物内の検査において典型的にみられる。さらに、このような状況は、建物などが十分なＧＮＳＳデータの受信を妨げている、屋外の検査で典型的に生じる。また、説明する方法は、例えば基地局を使用しない標準的なＧＮＳＳ測位では到達できない、特にメートルオーダー以下の十分な測位精度を提供する。この点で、本発明の方法は、屋内でも屋外でも、検査データの正確で再信頼性のある一貫した測位を提供する。

【0013】

好ましい実施形態
好ましくは、センサ空間におけるカメラ経路の推定およびセンサ空間と平面図空間との間の第１の変換は、カメラと共にカメラ経路に沿って移動する装置において計算される。カメラは、装置と一体であってもよい。特に、装置は、タブレットコンピュータまたはスマートフォンであってもよい。あるいは、カメラは装置とは別体であってもよく、例えば、ユーザの胸部や頭部に装着されるカメラであってもよい。この場合、カメラは装置に無線またはケーブルで接続される。

【0014】

好ましい実施形態では、装置は、平面図および／または検査データのグラフィック表示を表示するように構成されたディスプレイを備える。

【0015】

検査データには様々な種類がある。検査データは、例えば、カメラ、即ち一連の画像を撮影するのと同じカメラから受信した画像を含んでもよい。さらに、検査データは、例えばユーザのヘルメットに取り付けられた３６０度カメラからの画像を含んでいてもよい。さらに、検査データは、非破壊検査データ、特に、硬度値、超音波データ、地中レーダー（ＧＰＲ）データ、渦電流データのうちの少なくとも１つを含むことができる。

【0016】

特に好ましい実施形態では、カメラ経路の推定、第１の変換、および平面図空間における検査位置を示すデータは、リアルタイムで計算される。この文脈における「リアルタイム」とは、検査中、特に、一連の画像の最新の画像、第１および第２のユーザ入力、および検査データである関連データをそれぞれ取得してから１秒未満であることを意味する。

【0017】

このようなリアルタイムの測位は、特に平面図の表示と関連して、例えば、現実と平面図空間の間で建物の物理的特徴に関する相対位置を比較することによって、ユーザが平面図空間における自分の現在位置を確認することを可能にする。これは、測位にドリフトが発生した場合、即ち、センサ空間における、したがって平面図空間におけるカメラ経路の最初の推定値が、現実における実際のカメラ経路から乖離した場合に、特に興味深い。この場合、ユーザはリアルタイムでドリフトに気づき、リアルタイムで修正することができる。以下にその例を示す。

【0018】

リアルタイム測位の更なる利点は、過去のカメラ経路または現在までのカメラ経路がユーザに表示されることである。代替的または付加的に、ユーザは、予め設定された検査位置、即ち、検査データを取得する位置に、例えば、予め設定された検査位置に関する平面図空間における自分の現在位置の表示を見て移動することができる。

【0019】

ビジュアルオドメトリ
実施形態では、センサ空間におけるカメラ経路の第１の推定は、一連の画像に対してビジュアルオドメトリ（ＶＯ）、特に特徴ベースのＶＯを実行することによって生成される。この文脈では、特に、ＶＯとは、カメラによって撮影された画像を分析することによって、カメラの位置と、任意選択的にカメラの向きを決定するプロセスを意味する。換言すれば、ＶＯは、カメラによって撮影された画像に動きがもたらす変化を調べることによって、動いているカメラの位置および向きを漸進的に推定するプロセスである。

【0020】

ＶＯは、カメラ経路に沿って移動したときのカメラの向き、即ちカメラの視野方向を決定することも容易にするため、本方法は、
－ 一連の画像に基づいて、カメラの視野方向の推定値をリアルタイムで生成するステップと、
－ 検査データを、平面図空間内の検査位置におけるカメラの視野方向を示すデータとともに保存するステップと、を含むように拡張することが好ましい。

【0021】

カメラの視野方向の推定値は、環境内のナビゲーションをサポートするためにリアルタイムで表示される。さらに、検査位置におけるカメラの視野方向が記憶されることで、検査データの評価や、同じ検査位置での検査の繰り返しが容易になる。

【0022】

同時定位マッピング（ＳＬＡＭ）のような一連の画像に基づく他の測位解決策が、カメラ経路の推定値のグローバルな一貫性を目的とし、特にカメラ経路の閉ループを必要とするのに対し、ＶＯはカメラ経路の推定値の局所的な一貫性のみを目的とする。これにより、ＳＬＡＭで必要とされるような一連の画像全てを追跡する必要性がなくなり、ＶＯは必要な計算能力の点で負担が軽くなる。ＶＯは、特に、上述したような２点較正により、リアルタイムで、タブレット型コンピュータやスマートフォンなどのモバイル機器上で実行することができる。

【0023】

好ましい実施形態では、センサ空間におけるカメラ経路の第１の推定値は、特徴ベースのＶＯを実行することによって生成される。このような特徴に基づく方法では、顕著で反復可能な特徴が抽出され、一連の画像の後続画像にわたって追跡される。あるいは、後続画像の全画素の輝度情報を使用する外観ベースのＶＯを適用して、カメラ経路の最初の推定値を生成することもできる。しかしながら、特徴に基づく方法は、一般に、外観に基づく方法よりも高精度で高速である。一連の画像の後続画像間の動きの推定には、外れ値の存在下でのロバスト性から、よく知られたランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズムが使用されることが好ましい。

【0024】

一般的な３次元の場合、一連の画像のそれぞれについてカメラに対して推定すべき６つの自由度（ＤｏＦ）、即ち、例えば、センサ空間における位置の３つの座標と方位の３つの角度がある。この場合、センサ空間と平面図空間の間の変換を推定するために、センサ空間と平面図空間における５つの対応する位置が必要となる。

【0025】

しかしながら、平面図のような２次元の場合、定義上、１つのフロアまたはレベルしか示さないため、平面的な動きを仮定することができる。したがって、センサ空間におけるカメラ経路の推定値を生成する際、カメラ経路の垂直成分は無視される。この場合、推定すべきパラメータは３つだけであり、例えば、角度、後続画像間のカメラの移動距離、視野方向である。したがって、必要なのは２点だけであり、この場合も計算量は少なくて済む。これにより、上述の２点較正が、本方法で必要とされる２つのユーザ入力で実現される。同じ原理を、縮尺図が、地図、特に、屋外環境の場合にも適用することができ、例えば、水平距離１０ｍで標高変化が１ｍ未満など、検査領域でわずかな標高変化、即ち、垂直成分の変化が生じても、平面的な動きを想定し、カメラ経路の垂直成分を無視することができる。

【0026】

好ましい実施形態において、カメラ経路上の第１の位置および第２の位置は、少なくとも最小距離、特に、少なくとも１ｍ、または、少なくとも３ｍ離れている。これにより、センサ空間と平面図空間との間の決定された変換が確実かつ正確になる。

【0027】

多点較正
ＶＯにおける課題は、一連の画像における各画像間の動きによってもたらされる誤差が、時間の経過とともに蓄積されることである。これにより、カメラ経路の最初の推定値と実際のカメラ経路との間に上述のドリフトが発生する。ドリフトの問題に対する解決策は、次のように第３の位置に第３の（または、更なる）較正点を設定して再較正を行うことである。

【0028】

好ましくは、上記方法はさらに、
－ カメラ経路上の第３の位置で撮影された一連の画像のうちの第３の画像について、センサ空間における第３の位置を取得し、平面図空間におけるカメラの第３の位置を示す第３のユーザ入力を受信するステップと、
－ センサ空間における第２の位置と第３の位置、および平面図空間における第２の位置と第３の位置に基づいて、センサ空間と平面図空間の間の第２の変換を計算するステップと、
－ 平面図空間において、第３の位置の後のカメラ経路上に位置する位置を示すデータを計算するために、第２の変換を適用するステップと、を含む。

【0029】

このようにして、カメラ経路の最初の推定値におけるドリフトは、第３の位置で補正され、即ちゼロになる。第３の位置では、平面図空間におけるカメラの位置は（再び）環境における実際の位置に対応する。明らかに、このような再較正は、例えば、一定の時間間隔または距離間隔で、繰り返すことが好ましい。これにより、較正が２点から多点に拡張されるため、このような方法は多点較正と呼ばれる。

【0030】

このような方法は、さらに、
－ リアルタイムでカメラ経路の推定に対する誤差測定値を生成するステップと、
－ 誤差測定値が現在位置で定義された誤差しきい値を超えた場合、
警告を出力するか、または平面図空間におけるカメラの現在位置を示す更なるユーザ入力を生成するようにユーザを促すステップと、
センサ空間における更なる位置と平面図空間における更なる位置に基づいて、センサ空間と平面図空間との間の更なる変換を計算するステップと、を含むように拡張することができる。

【0031】

さらに、第２の変換以降の変換を、第３の位置以降のカメラ経路上の位置に適用するだけでなく、変換の前の計算、即ち前回の較正以降に決定された位置の一部または全部にも適用することが可能である。これは、これらの位置は既にドリフトの影響をある程度受けているという仮定に基づいている。

【0032】

従って、上記方法は、
－ 第２の位置と第３の位置との間のカメラ経路上に位置する平面図空間内の位置を示すデータを計算するために、第２の変換を遡及的に適用するステップと、
－ 特に、第２の位置と第３の位置との間のカメラ経路上に位置する検査データについて、平面図空間における検査位置を示す記憶されたデータを変更するステップと、
をさらに含んでよい。

【0033】

このように、既に保存されている検査データの検査位置についても、ドリフトを補正することができる。

【0034】

ビジュアル慣性オドメトリ
センサ空間におけるカメラ経路の第１の推定値の精度は、加速度計やジャイロスコープなどの慣性計測装置（ＩＭＵ）、および／またはコンパスなどの磁力計のデータを追加的に含むことによって改善される場合がある。このような実施形態では、この方法はさらに、
－ 慣性測定ユニットによってキャプチャされた加速度データ、および／または、磁力計によってキャプチャされた方位データを、カメラとともにカメラ経路に沿って移動する際に受信するステップと、
－ センサ空間におけるカメラ経路の推定値を計算するために、加速度データおよび／または方位データを追加的に使用するステップと、を含む。

【0035】

この場合、センサ空間におけるカメラ経路の推定は、一連の画像と加速度データおよび方位データの少なくとも一方に対してビジュアル慣性オドメトリ（ＶＩＯ）を実行することによって生成することができる。これにより、特に、長い廊下や照明条件が悪い場合のように、全体的な特徴が少ない場合や、一連の画像の後続の画像に再現可能な特徴が少ない場合に、精度が向上し、カメラ経路の推定をより信頼性が高いものとする。

【0036】

情報の表示
上述したように、検査は、ユーザ、即ち検査員に様々な種類の情報を表示することによって容易になり得る。一実施形態において、本方法は、平面図のグラフィック表示上に、検査位置と、平面図空間におけるカメラの現在位置とをリアルタイムで表示することをさらに含む。これにより、ユーザのナビゲーションがサポートされる。

【0037】

さらに、本方法は、平面図空間のカメラ経路の推定値を、平面図のグラフィック表示上にリアルタイムで表示することを含むことができる。このような推定値は、カメラ経路のそれぞれの部分に対して異なる変換を適用することによって計算された集約推定値であってもよいことが理解されよう。このようなカメラ経路の表示は、やはりユーザのナビゲーションを容易にする。さらに、ユーザが、検査の進捗状況、即ち、環境のどの部分が既に検査されたかを追跡することを支援する。

【0038】

カメラの視野方向が推定される場合、本方法は、平面図空間内の現在位置におけるカメラの視野方向の推定値を、平面図のグラフィック表示上にリアルタイムで表示することをさらに含むことができる。これによってもナビゲーションが容易になる。

【0039】

また、２点較正または多点較正は、平面図をユーザに表示することによって、簡単で時間のかからない方法で行うことができる。本方法のこのような実施形態では、第１および／または第２のユーザ入力を受信するステップは、平面図のグラフィック表示を画面上に表示するステップと、平面図の表示上のカメラの現在位置を示す入力イベントをユーザから受信するステップと、を含む。入力イベントは、例えば、画面上のタップやダブルタップである。あるいは、特に、屋外検査または屋内外混在検査の場合、入力イベントは、地図または平面図の絶対座標、例えば、ＧＮＳＳ座標の場合は緯度経度での現在位置の入力を含んでいてもよい。このような座標は、地図または平面図から取得することもできるし、カメラと実質的に同位置にある検査システムのＧＮＳＳ受信機から受信することもできる。

【0040】

検査ワークフロー
検査データの記録方法、ひいては検査ワークフローは、さらに以下の方法で自動化することができる。

【0041】

一実施形態において、本方法は、さらに、定義された時間間隔および／またはカメラ経路に沿った空間の定義された間隔で検査データを自動的に取得することを開始することを含む。このようにして、より多くの検査データ、例えば、カメラによって撮影された画像を取得することができ、これにより、環境の検査範囲がより良好になる。

【0042】

代替的または追加的に、本方法は、所定の検査位置に到達したとき、特にカメラの現在位置と所定の検査位置との間の距離が定義された閾値（例えば、１ｍ）を下回ったときに、検査データの取得を自動的に開始することを含んでもよい。これは、例えば、以下のように、ユーザが環境内を案内される場合に特に有効である。

【0043】

一実施形態において、本方法は、さらに、ユーザを所定の検査位置に案内するための案内情報を生成することを含む。これは、例えば、平面図空間における所定の検査位置を平面図のグラフィック表示上に表示することによって行うことができる。また、所定の検査位置までの方向を、例えば矢印の形で表示することも考えられる。このような方法により、全ての所定の検査位置をカバーするため、および／または、時間を節約するために、ユーザを所定の、特に、最適化されたルートに沿って誘導することが可能になる。

【0044】

後処理および報告
説明した方法は、有用な後処理および報告オプションを可能にするために拡張することができる。

【0045】

一実施形態において、本方法は、センサ空間におけるカメラ経路の推定値を示す生データを記憶することをさらに含む。特に、生データは、カメラ経路の３つのルーム座標として与えられてよい。さらに、装置の３つの回転角度が生データに含まれることもある。あるいは、装置の向き、または、回転を四元数として表現することもできる。従って、生データは、特に、四元数、即ち、方位または回転を記述する４つの数値を含んでいてもよい。さらに、カメラ経路上の推定位置の精度に対する信頼度が計算され、生データに格納されてもよい。

【0046】

さらに、本方法は、センサ空間における第１、第２および任意の更なる位置、ならびに平面図空間における第１、第２および任意の更なる位置を示すデータを記憶することを含んでいてもよい。これは、較正点が生データと共に記憶されることを意味する。生データおよび較正点が利用可能であることにより、様々な後処理オプション、例えば、カメラ経路の再生の生成、検査領域の決定（特に、カメラ経路に沿って移動されたときにカメラによって撮像された領域であってもよい）、または、後処理中、即ち、検査またはカメラ経路が完了した後のカメラ経路または特定の検査位置の推定の修正が可能になる。

【0047】

更なる実施形態において、本方法は、検査報告書を自動的に生成することを含む。検査データ、検査位置、平面図などの全ての関連データが利用可能であるため、このような検査報告書は、標準化された形式で出力することができる。これにより、ユーザ側の時間を節約することができる。また、検査データの完全性を、例えば、検査を完了した直後、換言すれば、カメラ経路を完了した直後に、迅速にチェックすることができる。

【0048】

特に、検査報告書には、
－ 検査場所の位置マークを含む平面図のグラフィック表示と、
－ カメラ経路を示す平面図（例えば、線またはヒートマップとして）、または検査領域を示す平面図（例えば、陰影領域またはヒートマップとして）と、
－ 検査データ、例えばカメラ画像または取得されたＮＤＴデータ、および平面図上のそれぞれの検査位置のグラフィック表示と、
のうちの少なくとも１つを含めることができる。

【0049】

コールドスタート
本方法の更なる実施形態により、コールドスタート後、即ち、本方法を実行する装置の電源がオフにされ、再びオンにされた後、またはカメラ経路の推定値が失われた後、またはその他の方法で破損した後の自動的な再局在化が容易になる。このような方法では、一連の画像が同じ環境で撮影され、コールドスタート前に上記のような２点較正が実行されている必要がある。特に、コールドスタート時にキャプチャされた更なる一連の画像は、コールドスタート前にキャプチャされた一連の画像と同様に、環境の対応する特徴的な特徴を撮影する必要がある。

【0050】

本方法のこのような実施形態は、以下をさらに含む。
－ 一連の画像に基づいて、センサ空間における環境の表現を生成し、記憶すること。特に、この表現には、色や明るさの変化など、環境の特徴的な特徴を含めることができる。
－ コールドスタート時に、コールドスタート位置にあるカメラからさらに一連の画像を受信すること。
－ 更なる一連の画像と環境の表現に基づいて、センサ空間におけるコールドスタート位置の推定値を生成すること。これは、一連の画像と更なる一連の画像における対応する特徴的な特徴を相関させることによって、即ち特徴に基づいて行うことができる。センサ空間におけるコールドスタート位置の推定値を生成するために、更なる加速度データおよび／または方位データを考慮することができる。
－ センサ空間におけるコールドスタート位置の推定値、およびコールドスタート前に計算されたセンサ空間と平面図空間との間の変換に基づいて、平面図空間におけるコールドスタート位置を決定すること。上記のような多点較正の場合、コールドスタート前に計算された変換が適用されることが好ましい。

【0051】

明らかに、このような方法は、コールドスタート後に再度２点較正を行う必要性を回避し、ユーザ側の時間を節約する。

【0052】

コンピュータプログラム製品
本発明の第２の態様は、プログラムがコンピュータによって実行されると、コンピュータに上記の方法のいずれかを実行させる命令を含むコンピュータプログラム製品に関する。

【0053】

特に、コンピュータプログラム製品は、Ａｐｐｌｅ（登録商標）のＡＲＫｉｔ ４または同等の製品に実装することができ、例えば、ＶＯまたはＶＩＯなどによって、一連の画像に基づいてセンサ空間におけるカメラ経路の推定値を生成するためのアルゴリズムを簡便に提供することができる。

【0054】

検査システム
本発明の更なる態様は、一連の画像をキャプチャするように構成されたカメラ、例えばビデオカメラと、カメラと通信可能に接続され、上記の方法のいずれかを実行するように構成されたプロセッサとを含む検査システムに関する。検査システムは、例えば、ｉＰａｄ（登録商標）のようなタブレットコンピュータまたはｉＰｈｏｎｅ（登録商標）のようなスマートフォンであってもよい。この場合、カメラは、カメラ経路の推定値を生成するために使用される一連の画像のキャプチャと、写真の形態での検査データの取得の両方に使用することができる。

【0055】

検査は、検査データを取得するように構成された３６０度カメラをさらに含むように拡張することができる。特に、３６０度カメラは、無線または有線接続を介してプロセッサに接続される。

【0056】

上述したように、検査システムは、プロセッサと通信するディスプレイ、特にタッチスクリーンをさらに備えることが好ましい。このような検査システムは、それぞれのディスプレイを備えたタブレットコンピュータまたはスマートフォンを含んでよい。

【0057】

さらに、システムは、慣性測定ユニット（ＩＭＵ）、特に加速度計および／またはジャイロスコープ、および／または磁力計の少なくとも１つを含むことができる。ＩＭＵおよび磁力計によってそれぞれ取得された慣性データおよび／または方位データを考慮することによって、ＶＩＯは、上述したように、カメラ経路の推定値を生成する方法として容易になる。特に屋外検査の場合、システムは、プロセッサと通信するＧＮＳＳ受信機をさらに含んでいてもよい。ＧＮＳＳ受信機は、ＧＮＳＳ測位データを、例えば、緯度および経度のような絶対座標で提供するように構成されることが好ましい。ＧＮＳＳ測位データの提供は、較正の第１および第２の位置に対して特に有用である。さらに、十分な品質と精度で利用可能であれば、上述のように多点較正を実行することにより、カメラ経路に沿った更なる位置において、更なるＧＮＳＳ測位データを考慮に入れることができる。

【0058】

その他の好ましい実施形態は、以下の説明と同様に、従属請求項に記載されている。

【図面の簡単な説明】

【0059】

本発明は、以下の詳細な説明から、よりよく理解され、上記以外の目的も明らかになるであろう。かかる説明は、添付図面を参照する。

【図1】図１は、本発明の一実施形態による検査システムのブロック図である。

【図2】図２は、本発明の実施形態による検査データを記録する方法を実行するための装置の概略図である。

【図3】図３は、本発明の実施形態による検査ワークフローのフロー図である。

【図4】図４は、本発明の実施形態による検査データを記録する方法のフロー図である。

【図5a】図５ａは、本発明の実施形態によるセンサ空間と平面図空間との間の変換を示す概略図である。

【図5b】図５ｂは、本発明の実施形態によるセンサ空間と平面図空間との間の変換を示す概略図である。

【図5c】図５ｃは、本発明の実施形態によるセンサ空間と平面図空間との間の変換を示す概略図である。

【図5d】図５ｄは、本発明の実施形態によるセンサ空間と平面図空間との間の変換を示す概略図である。

【図6a】図６ａは、本発明の実施形態によるセンサ空間と平面図空間との間の多点較正を示す概略図である。

【図6b】図６ｂは、本発明の実施形態によるセンサ空間と平面図空間との間の多点較正を示す概略図である。

【図7a】図７ａは、本発明の実施形態による検査データを記録する方法を実行する装置の実例である。

【図7b】図７ｂは、本発明の実施形態による検査データを記録する方法を実行する装置の実例である。

【発明を実施するための形態】

【0060】

図１の検査システムは、プロセッサ１と、プロセッサ１に通信可能に接続されたカメラ２とを備える。カメラ２は、１秒間に複数の画像、即ちフレーム、例えば３０または６０フレーム／秒を記録するように構成されたビデオカメラであってもよい。プロセッサ１およびカメラ２は、例えばタブレットコンピュータやスマートフォンなど、同じ装置の一体型部品であってもよい。プロセッサは、上述の方法を実行するように構成されている。

【0061】

任意選択的に、図１のシステムは、ディスプレイ３、例えばタブレットコンピュータやスマートフォンに用いられるようなタッチスクリーンも備えることができる。ディスプレイ３は、プロセッサ１に接続され、プロセッサ１からデータ、例えばカメラ２によってキャプチャされた画像、平面図、特に検査位置、または検査データを受信して表示するように構成される。

【0062】

システムは、加速度データおよび／または方位データを取得するように構成されたＩＭＵ４をさらに備えることができる。ＩＭＵは、タブレットコンピュータやスマートフォンのように、装置と一体化している場合もある。

【0063】

さらに、このシステムは、例えば無線接続を介してプロセッサ１と通信可能に接続され、検査中にユーザまたはドローンによって搬送される３６０度カメラ５を備えてもよい。３６０度カメラ５は、環境の３６０度画像を撮影するように構成される。このような画像により、検査のより詳細な記録や、例えば拡張現実（ＡＲ）モデルなどの後処理における環境の再構成が容易になる。これにより、第三者、例えば遠隔地の検査員が、後日、遠隔地から検査を追跡し、評価することができる。

【0064】

任意選択的に、システムは、プロセッサ１に通信可能に接続されたＮＤＴセンサ６を備えることもできる。ＮＤＴセンサ６は、例えば、機械的硬度センサ、超音波トランスミッタ、ＮＤＴデータを取得するＧＰＲトランスミッタ、または渦電流データを取得するプロフォメータであってもよい。ＮＤＴデータは、検査中に検査データとして記録され、特に必要に応じてディスプレイ３に表示される。

【0065】

さらに、本システムは、プロセッサ１に通信可能に接続されたＧＮＳＳ受信機７を備えることができる。ＧＮＳＳ受信機７は、ＧＰＳアンテナを備え、ＧＮＳＳ位置データを、例えば、緯度と経度の座標として提供するように構成されてよい。このような場合、上述した較正は、一般に、ＷＧＳ８４などのグローバル座標系でＧＮＳＳ受信機によって提供される座標から、一般にメートル単位の位置を与える、例えばセンサ空間内の検査システムのローカル座標系への座標変換を含む。

【0066】

図２は、検査装置１１の概略図であり、この例では、従来のタブレット型コンピュータまたはスマートフォンである。装置１１は、プロセッサ（図示せず）、前面側のタッチスクリーン１３、特に前面とは反対側の背面側に取り付けられたカメラ１２、ＩＭＵ１４、磁力計または電子コンパス１５、およびＧＮＳＳ受信機１７を一体部品として備える。このような装置１１は好適であり、上記の方法に従って検査データを記録するように構成することができる。本方法の少なくとも一部は、Ａｐｐｌｅ（登録商標）のＡＲＫｉｔなど、容易に入手可能なＶＯまたはＶＩＯ解決策を使用して実装することができる。概して、本方法は、例えば、ユーザインターフェースをユーザに表示するように構成されたアプリとして、コンピュータ実装されることが好ましい。アプリは、本方法に従ってユーザを検査に導くことができる。

【0067】

上記の方法を実行する検査アプリを備えたこのような装置の実例を、図７ａおよび７ｂに示す。どちらの図も、検査中にユーザが持つタブレットコンピュータのスクリーンショットであり、タブレットコンピュータには、ユーザがいる建物とフロアの平面図が表示されている。図７ａは、較正中のアプリの表示である。センサ空間での測位を行うために、装置のカメラが一連の画像を取得している間、ユーザは平面図空間での現在位置（最初の位置）を入力する必要がある。これは、十字線アイコン２１を移動させ、十字線アイコン２１が現在の位置にあるときに目印２２を確認することによって行うことができる。この手順を第２の位置について繰り返す。これで２点較正が行われ、装置は実際の検査の準備が整ったことになる。

【0068】

図７ｂは、例えば平面図上に表示されたアイコン２６のようなバルーンアイコンによって示されたそれぞれの検査位置で、いくつかの検査データが取得された後のアプリの表示を示す。概して、アプリは、図７ｂにおいて背景にあるカメラビュー２３と、図７ｂにおいて前景にある平面図２４との間でユーザが選択できるようにすることができる。カメラビューは、現在カメラの視野角内にある環境の一部を示す。通常、ユーザはカメラビューで検査データとして写真を取得する。平面図ビューにより、ユーザは、ドット記号２５で示されるように、決定された平面図上の現在位置を、ドット２５に隣接する斜線部分で示されるように、決定されたカメラの視野方向とともに見ることができる。前回の検査位置、即ち検査データが撮影された位置は、バルーンアイコン２６として表示される。さらに、ユーザは、現在位置までのカメラ経路を、例えば線として、または図７ｂに網掛け２７で示すように、検査領域を示すヒートマップとして表示することを選択できる。

【0069】

このため、ユーザはカメラの現在位置だけでなく、既に取得した検査データや既に検査した領域をリアルタイムで監視することができる。これにより、ユーザは検査を制御することができ、例えば、所定の検査位置に移動したり、現在位置の推定値を修正したり（下記参照）、あるいは、既に取得した検査データや位置を修正したり、繰り返したりすることができる。

【0070】

本発明の実施形態による検査ワークフローをフロー図の形で図３に示す。ステップＳ１において、ユーザは、検査システムまたは装置、例えば、カメラ、ＩＭＵおよびタッチスクリーンを備えるタブレットコンピュータまたはスマートフォン上で検査アプリを起動する。ステップＳ２において、ユーザは、装置または接続されたメモリに保存された平面図のリストから平面図を選択する。これに応答して、アプリは、選択された平面図をユーザに表示することができる。ステップＳ３において、ユーザによって手動で作動させられるか、またはステップＳ２が完了すると自動的に作動させられるかのいずれかで、アプリ内で測位セッションが開始される。測位セッションの開始時に、ユーザは、カメラおよび／またはＩＭＵがそれぞれ初期画像および初期加速度データを取得するように、数歩歩くように促される場合があり、これらは初期較正において使用される。初期較正において、装置の向きの初期推定値が生成されてもよい。

【0071】

ステップＳ４において、上述の２点較正が開始される。ユーザは、アプリによって表示された平面図上の装置の現在位置を、例えばタッチスクリーン上のそれぞれの位置を長押しすることによって示す。任意選択で、ユーザガイダンスとして、ユーザはアプリによってそうするよう促されてもよい。この位置は、上述の第１の位置に対応する。代替的または追加的に、プロセッサは、ＧＮＳＳ受信機が存在する場合、第１の位置でＧＮＳＳ受信機からＧＮＳＳ測位データを受信してもよい。その後、ユーザは、第１の位置から第２の位置まで数メートル歩く。任意選択で、ユーザガイダンスとして、ユーザは再度そうするように促される場合がある。ステップＳ５において、ユーザは、例えば上述のように、平面図上の装置の現在位置を再び指示する。代替的にまたは追加的に、プロセッサは、再度、第２の位置についてＧＮＳＳ受信機からＧＮＳＳ測位データを受信してもよい。第１および第２の位置に関する入力により、アプリは、２点較正を実行する、即ち、センサ空間と平面図空間との間の変換を計算する。その後、装置は実際の検査の準備が整う。

【0072】

ステップＳ６において、ユーザは、装置を携帯しながら、自分の意図した検査経路、即ちカメラ経路をたどる。概して、カメラ経路に沿った環境が十分に照明され、特にＶＯが確実に実行できるような十分な特徴が現れていることが重要である。このことは、カメラによってキャプチャされた後続の画像が、モーショントラッキングを実行できるような相応する特徴が現れていることを意味する。検査中、アプリは、平面図上の装置の計算された現在位置を連続的かつリアルタイムでユーザに示すことができる。これによりナビゲーションが容易になり、ユーザは較正、即ちセンサ空間と平面図空間との間の変換が依然として正しいか否か、あるいは現在位置がずれているか否かを確認することができる。

【0073】

ユーザが検査経路をたどっている間（特に、ユーザが所定の経路をたどることなく自由に歩き回ることを含む）、検査データは、手動で、即ちユーザによって作動させるか、または自動的に、即ち一定の時間間隔または空間間隔などの特定の条件に従って取得することができる。これはステップＳ７において実行される。検査データ、例えばカメラによる画像が取得される。ステップＳ８において、検査データには検査位置、即ち検査データが取得された時点における装置の位置が自動的にタグ付けされる。従来の検査方法と比較した場合の利点は、位置のタグ付けにユーザの操作が不要であることである。これにより時間が節約され、検査位置の信頼性が向上する。

【0074】

ステップＳ７およびＳ８は、必要な回数だけ、即ち検査経路が完了するまで繰り返される。同時に、検査データが取得された検査位置を平面図上にリアルタイムで表示することもできる。

【0075】

検査経路の完了後、ユーザは測位セッションを終了し、特にステップＳ９でアプリを終了する。対応する検査位置を含む全ての検査データは、例えば、検査範囲の完全性をチェックするため、または後処理のために、装置上で即座に利用可能である。

【0076】

任意選択的に、検査データおよび検査位置は、ステップＳ１０においてクラウドメモリに転送される。クラウドメモリでは、認可された第三者が遠隔から検査データにアクセスし、評価することができる。これにより、簡単な後処理と高品質の報告書作成が容易になる。

【0077】

明らかに、このような検査ワークフローはシンプルで、アプリを通じたガイダンスによってサポートも可能である。従来の検査ルーチンと比較すると、検査データに対応する検査位置が自動的にタグ付けされるため、時間が節約される。さらに、検査位置は一貫性をもって信頼できる方法で取得される。検査ワークフロー全体は、ユーザが１台の装置で実行できるため、シンプルで便利である。

【0078】

図４のフローチャートは、検査データを記録する方法を、アプリまたは同様にプロセッサの観点から示している。特に図示のステップは、上述のワークフローのステップＳ３、即ち測位セッションが開始されたときに開始される。

【0079】

ステップＳ１１において、検査対象の建物または概して検査対象の環境内を装置が移動している間に、装置のカメラから一連の画像、例えばリアルタイムのビデオ録画が受信される。

【0080】

ステップＳ１２において、測位アルゴリズム、例えばＶＯアルゴリズムが、一連の画像に基づいてセンサ空間におけるカメラ経路の推定値を生成する。これは通常、後続の画像から特徴を抽出し、後続の画像の対応する特徴を互いに関連付け、後続の画像間の対応する特徴の変位からセンサ空間における装置の動きを計算することによって反復的に行われる。

【0081】

ステップＳ１３は、図３のステップＳ４に対応し、第１の位置において、一連の画像からセンサ空間における第１の位置が得られる。また、第１の位置において、平面図空間における第１の位置を示す第１のユーザ入力が、例えば、表示された平面図上の第１の位置に対するユーザのタップを介して、受信される。あるいは、第１のユーザ入力は、平面図空間または地図空間における第１の位置を上述のＧＮＳＳ受信機から受信することを開始させることができる。

【0082】

ステップＳ１４は、図３のステップＳ５に対応し、第２の位置において、ステップＳ１３が繰り返される。

【0083】

センサ空間および平面図空間において既知の第１および第２の位置から、ステップＳ１５において、センサ空間と平面図空間との間の変換が計算される。平面図空間は通常２次元空間であるが、実際の建物は３次元空間であるため、一連の画像から平面図空間における装置の動きを再構成できるようにするためには、更なる条件が必要である。建物内の検査だけでなく、街路のような典型的な屋外検査環境でも有用な条件は、平面的な動き、即ち動きが完全に水平で垂直成分がゼロであるという仮定である。この場合、センサ空間における位置の垂直成分は無視され、センサ空間は実質的に２Ｄ空間となる。２つの２Ｄ空間の場合、それらの間の変換は定義され、第１位置と第２位置のように、両方の空間で既知の２点から決定することができる。この変換を図５および図６に示す。

【0084】

ステップＳ１６においては、図３のステップＳ７に対応し、装置は検査位置、即ち検査データが取得される位置に移動されている。その後、検査データ、例えばカメラによって撮影された画像が受信される。

【0085】

ステップＳ１７は、図３のステップＳ８に対応し、検査データは、平面図空間における検査位置を示すデータとともに記憶される。平面図空間における検査位置は、典型的には、一連の画像に基づいて測位アルゴリズムによって算出されたセンサ空間における検査データに、決定された変換を適用することによって導出される。

【0086】

ステップＳ１６およびＳ１７は、検査中のいくつかの検査位置について繰り返し実行することができる。ドリフト、即ち測位誤差の蓄積の場合には、ステップＳ１４からＳ１７を繰り返すことにより、再較正を行うことができる。この結果、更なる位置（位置ｎ＋１）が、平面図空間と同様にセンサ空間においても既知となる。更なる位置ｎ＋１と前の位置ｎとから、センサ空間と平面図空間との間の更新された変換が計算される。更新された変換は、一連の画像から平面図空間における後続の位置を決定するために使用される。

【0087】

図５ａ～図５ｄは、センサ空間と平面図空間の間の２次元変換を模式的に示している。このような変換は、概して、平行移動、回転、およびスケーリングを含む。カメラによって撮影された一連の画像の後続の画像から推定され、センサ空間における点Ｓｐ１から点Ｓｐ２への動きが、図５ａの太い矢印で示されている。この動きは、平面図空間における点Ｆｐ１から点Ｆｐ２への動きに対応し、細い破線の矢印で描かれている。所望の変換は、図５ｄに示すように、２つの運動、ひいては矢印を一致させる。この変換は中間段階に分けることができる。図５ａと図５ｂの間で、センサ空間の矢印Ｓｐ１－Ｓｐ２は、Ｆｐ１－Ｆｐ２と同じ点を起点とするように変換される。図５ｂと図５ｃの間では、センサ空間の矢印はＦｐ１－Ｆｐ２と平行になるように回転している。図５ｃと図５ｄの間で、センサ空間の矢印は、最終的にＦｐ１－Ｆｐ２と同じ長さを持つように拡大縮小される。このような変換は行列で表すことができる。したがって、センサ空間と平面図空間との間の変換を計算することは、行列を決定することに等しい。

【0088】

図６ａおよび図６ｂは、図５の２点較正を、複数の２点較正（この場合は、５回の較正）に拡張し、順番に実行したものである。太い矢印Ｓｐ１１－Ｓｐ１２－．．．－Ｓｐ１６は、カメラによって撮影された一連の画像から推定され、変換の初期推定値によって平面図空間に変換されたカメラ経路（「推定カメラ経路」）を表し、通常、検査経路または検査装置を持ち運んでいるときのユーザの経路に相当する。一方、細い破線の矢印Ｆｐ１１－Ｆｐ１２－．．．Ｆｐ１６は、平面図空間におけるカメラ経路、より正確には、取得したい量である平面図空間における「真のカメラ経路」を表す。推定されたカメラ経路は、ドリフトなどにより真のカメラ経路からずれる。このようにして、測位誤差がカメラ経路上に累積し、終点Ｓｐ１６／Ｆｐ１６において、推定位置がドリフト誤差ｄだけずれる。このことは、検査中に決定された位置（例えば、検査位置）が、時間の経過とともに、ますます不正確になることを意味する。

【0089】

これを防ぐため、多点較正、即ち、複数の２点較正が実行される。位置Ｓｐ１２／Ｆｐ１２において、平面図空間における現在位置を示すユーザ入力が受信される。Ｓｐ１１－Ｓｐ１２およびＦｐ１１－Ｆｐ１２から第１の変換が計算され、後続の位置を決定する際に使用される。そして再び、位置Ｓｐ１３／Ｆｐ１３において、平面図空間における現在位置を示すユーザ入力を受信する。Ｓｐ１２－Ｓｐ１３とＦｐ１２－Ｆｐ１３から第２の変換が計算され、後続の位置を決定する際に使用される。以下同様である。これは、例えば、ユーザが著しいドリフトに気づいた場合など、ユーザの主導で、あるいは、例えば、決定された誤差測定値がある閾値を超えた場合など、装置がユーザに再較正の実行を促すことによって開始され、所望の頻度で繰り返される。さまざまな位置Ｆｐ１１－Ｆｐ１２－．．．Ｆｐ１６について十分な精度のＧＮＳＳ測位データが利用可能な場合、多点較正はこれらのデータに基づいて実行することができる。

【0090】

このようにして、測位誤差は許容範囲、例えば１ｍ以下に保たれ、検査の結果、検査データに関連する信頼性の高い検査位置が得られる。同時に、このような方法は、反復的な性質とユーザによる制御により信頼性が高い。さらに、このような方法は計算量が少ないため、モバイル機器上でリアルタイムに実行できる。

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図5c】

【図5d】

【図6a】

【図6b】

【図7a】

【図7b】

【国際調査報告】