特許 7568985 解析装置、解析方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-08

(45)【発行日】2024-10-17

(54)【発明の名称】解析装置、解析方法、及びプログラム

(51)【国際特許分類】

   G01B 11/245 20060101AFI20241009BHJP

【ＦＩ】

G01B11/245 H

【請求項の数】 5

(21)【出願番号】P 2023525262

(86)(22)【出願日】2021-06-02

(86)【国際出願番号】 JP2021021084

(87)【国際公開番号】W WO2022254635

(87)【国際公開日】2022-12-08

【審査請求日】2023-10-06

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100164471

【弁理士】

【氏名又は名称】岡野 大和

(74)【代理人】

【識別番号】100176728

【弁理士】

【氏名又は名称】北村 慎吾

(72)【発明者】

【氏名】涌井 一清

(72)【発明者】

【氏名】松本 安弘

【審査官】山▲崎▼ 和子

(56)【参考文献】

【文献】特開２０１１－２０３０９０（ＪＰ，Ａ）

【文献】特開２０１２－２４２３１７（ＪＰ，Ａ）

【文献】特開２０２０－０５４７８８（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０７６６７９８（ＣＮ，Ａ）

【文献】金井仁志 (KANAI, Hitoshi)，“トンネル計測点群評価機能の開発”(“Development of Inspection System for Tunnel Point Cloud”)，UNISYS TECHNOLOGY REVIEW，2020年03月，Volume 39, Number 4 (Issue 143)，Pages 23-34，インターネット, <URL:https://www.fnn.jp/articles/-/44819>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０１Ｃ １／００－１／１４

５／００－１５／１４

(57)【特許請求の範囲】

【請求項1】

構造物内部の画像から点群データを生成する解析装置であって
ステレオカメラを移動させて撮影した構造物内部の画像を入力する内部画像入力部と、
撮影ルート上の各内部画像により、構造物の内部構造の点群データを生成する3D点群データ生成部と、
前記点群データから、劣化予測対象以外の点群データを除去する第１解析部と、
前記第１解析部によって前記劣化予測対象以外の点群データが除去された後の点群データから、前記ステレオカメラのカメラ軌道から離隔距離以内の空間にある点群データを抽出する第２解析部と、
を備え、
前記第２解析部は、カメラの基線長、画素数、画角、及びピクセル誤差を用いて、前記点群データの位置情報の誤差が閾値以下となる前記離隔距離を算出する、解析装置。

【請求項2】

前記第２解析部は、前記カメラ軌道となる線分を推定し、前記カメラ軌道からの前記離隔距離以内の空間にある点群データを抽出する、請求項１に記載の解析装置。

【請求項3】

前記第２解析部は、前記離隔距離以内の空間を、前記カメラ軌道を中心軸とする円筒形で推定する、請求項１に記載の解析装置。

【請求項4】

構造物内部の画像から点群データを生成する解析方法であって、
解析装置により、
ステレオカメラを移動させて撮影した構造物内部の画像を入力するステップと、
撮影ルート上の各内部画像により、構造物の内部構造の点群データを生成するステップと、
前記点群データから、劣化予測対象以外の点群データを除去するステップと、
前記劣化予測対象以外の点群データが除去された後の点群データから、前記ステレオカメラのカメラ軌道から離隔距離以内の空間にある点群データを抽出するステップと、
を含み、
前記抽出するステップは、カメラの基線長、画素数、画角、及びピクセル誤差を用いて、前記点群データの位置情報の誤差が閾値以下となる前記離隔距離を算出する、解析方法。

【請求項5】

コンピュータを、請求項１から３のいずれか一項に記載の解析装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、点群データの精度を向上させる解析装置、解析方法、及びプログラムに関する。

【背景技術】

【0002】

従来、とう道（通信ケーブルなどの専用管路トンネルのうち、特に敷設・撤去・保守作業用に人が立ち入れる管径のものをいう）内部の劣化の予測には、３次元座標値を有する点群データが活用される。点群データとは、Ｘ、Ｙ、Ｚの基本的位置情報、色などの情報を有するコンピュータで扱う点の集合のデータをいう。従来、点群データの位置座標の取得では、下記の３種の手法などが行われている。

【0003】

第1の手法は、レーザースキャナが、取得したデータを、色付き点群データとして出力し、該点群データをＳＬＡＭ（Simultaneous Localization and Mapping）により自動的に位置補正する手法である。点群データは，レーザースキャナから照射されたレーザー光が物体にあたり反射された情報を読み取ることにより取得される。例えば、非特許文献１には、土木構造物の計測点群データから維持管理に用いる３次元ポリゴンモデルの自動生成手法が記載されている。

【0004】

第２の手法は、ステレオカメラを用いて撮影した画像からＳＦＭ（Structure from Motion）技術を利用して位置座標を生成する手法である。高密度な点群データを生成するために、ＳＦＭ技術の一概念である「ＭＶＳ（Multi-View Stereo）多眼ステレオ」技術を使用してもよい。

【0005】

第３の手法は、とう道の平面図及び内部構造図を組み合わせることにより、とう道内部の絶対位置座標を取得する手法である。

【先行技術文献】

【非特許文献】

【0006】

【文献】日高 菜緒、「土木構造物の計測点群データから維持管理に用いる３次元ポリゴンモデルの自動生成手法に関する研究」、［online］、［2021年5月13日検索］、インターネット＜ＵＲＬ: https://ir.library.osaka-u.ac.jp/repo/ouka/all/69597/29788_Dissertation.pdf＞、pp.1～12

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、とう道の平面図、縦断図、内部構造図の相互の位置情報には不一致な箇所があり、また、とう道の平面図、縦断図、内部構造図には現地構造と一致しない箇所があるため、内部構造について図面位置情報を用いて構造評価することが困難である。

【0008】

また、とう道内部の画像から生成した点群データは、カメラからの撮影距離、カメラ画素数などにより、位置情報の精度が低下する。

【0009】

更に、とう道内部の画像は、カメラの死角になり撮影できない箇所（ケーブル・金物などの裏側にあるコンクリート壁面部）があり、とう道コンクリート壁面の点群データがとれない箇所が発生する。

【0010】

かかる事情に鑑みてなされた本開示の目的は、構造物の内部画像及び点群データの解析において、劣化予測のための点群データの精度を向上させることにある。

【課題を解決するための手段】

【0011】

上記課題を解決するため、一実施形態に係る解析装置は、構造物内部の画像から点群データを生成する解析装置であって、ステレオカメラを移動させて撮影した構造物内部の画像を入力する内部画像入力部と、撮影ルート上の各内部画像により、構造物の内部構造の点群データを生成する3D点群データ生成部と、前記点群データから、劣化予測対象以外の点群データを除去する第１解析部と、前記第１解析部により除去された点群データから、前記ステレオカメラのカメラ軌道から一定距離以内の空間にある点群データを抽出する第２解析部と、を備える。

【0012】

上記課題を解決するため、一実施形態に係る解析方法は、構造物内部の画像から点群データを生成する解析装置であって、解析装置により、ステレオカメラを移動させて撮影した構造物内部の画像を入力するステップと、撮影ルート上の各内部画像により、構造物の内部構造の点群データを生成するステップと、前記点群データから、劣化予測対象以外の点群データを除去するステップと、前記除去された点群データから、前記ステレオカメラのカメラ軌道から一定距離以内の空間にある点群データを抽出するステップと、を含む。

【0013】

上記課題を解決するため、一実施形態に係るプログラムは、コンピュータを、上記解析装置として機能させる。

【発明の効果】

【0014】

本開示によれば、劣化事象の定量化に適した位置精度の高い点群データを抽出することができる。

【図面の簡単な説明】

【0015】

【図1】一実施形態に係る解析装置の構成例を示すブロック図である。

【図2A】劣化予測対象以外の除去する点群データ領域を特定する概略図である。

【図2B】劣化予測対象以外の除去する点群データ面を特定するための基準を示す概略図である。

【図3A】カメラ軌道からの離隔距離を算出する方法を説明するための概略図である。

【図3B】計測誤差が生じる状態を模式的に表した図である。

【図4】一実施形態に係る解析装置が実行する解析方法の一例を示すフローチャートである。

【図5】解析装置として機能するコンピュータの概略構成を示すブロック図である。

【発明を実施するための形態】

【0016】

以下、一実施形態に係る解析装置を、詳細に説明する。本発明は、以下の実施形態に限定されるものではなく、その要旨の範囲内で種々変形して実施することができる。

【0017】

図１に示すように、一実施形態に係る解析装置１は、内部画像入力部１１と、3D点群データ生成部１２と、第１解析部１３と、第２解析部１４と、を備える。解析装置１は、構造物内部の画像から点群データを生成する解析装置である。

【0018】

解析装置１を動作させる前に、事前準備として、構造物の内部構造における、劣化予測を行う箇所（劣化予測対象）の選定が行われる。

【0019】

内部画像入力部１１は、ステレオカメラ１５を移動させて撮影した構造物内部の画像を入力し、該構造物の内部画像を3D点群データ生成部１２へ出力する。

【0020】

3D点群データ生成部１２は、撮影ルート上の各内部画像により、構造物の内部構造の点群データ（3D点群データ）を生成する。該3D点群データはＳＦＭ技術を用いて生成される。ＳＦＭ技術とは、ある対象を撮影した複数枚の写真から、対象の形状を復元する技術の総称を指し、ＳＦＭソフトウェアを使えば、複数の写真を入力することで、3Dモデルを容易に作成し得る。3D点群データ生成部１２は、生成した3D点群データを第１解析部１３へ出力する。点群データは、位置情報を有する。

【0021】

第１解析部１３は、3D点群データ生成部１２が生成した構造物の内部構造の点群データを入力し、該点群データから、劣化予測対象以外の点群データを除去する。また、第１解析部１３は、3D点群データより劣化予測対象以外の点群データを除去した点群データを第２解析部へ出力する。以下に、図２Ａ及び図２Ｂを参照し、劣化予測対象以外の点群データを除去する方法を詳細に説明する。以下、劣化予測対象は、トンネル内部の構造として説明されるが、劣化予測対象はトンネル内部の構造に限られるものではない。

【0022】

第１解析部１３は、劣化予測対象以外の点群データを除去するにあたり、劣化予測対象以外のトンネル内部に設置された付属物を特定し、該付属物の点群データを除去する。劣化予測対象がトンネル内部構造である場合、付属物とは、トンネル内部に設置された金物、ケーブルなどである。

【0023】

例えば、第１解析部１３は、構造物の内部構造の2D内部断面と点群データ面間の法線の長さが一定の長さ以上である点群データ面を特定し、該特定した点群データ面を構造物の進行方向に伸長した領域を除去する。この処理を図２Ａ及び図２Ｂを参照して説明する。図中では、構造物の内部構造をトンネルの内部構造として以下に説明するが、劣化予測対象はこれに限られるものではない。

【0024】

図２Ａは、劣化予測対象以外の除去する点群データ領域を特定する概略図である。図２Ａ中、実線はトンネルの2D内部断面２１及び内部断面２１をトンネル進行方向に伸長した領域２１′を、点線はトンネル内部の画像から生成された2Dの点群データ面２２及び点群データ面２２をトンネル進行方向に伸長した領域２２′を、一点鎖線は2Dの除去する点群データ面２３及び除去する点群データ面２３をトンネル進行方向に伸長した除去する点群データ領域２３′を、黒丸及び三角形は付属物（黒丸はケーブル、三角形は金物）を示す。

【0025】

図２Ｂは、劣化予測対象以外の除去する点群データ面を特定するための基準を示す概略図である。具体的には、第１解析部１３は、図２Ｂに示すように、トンネル内部の画像から生成された点群データ面２２から直角に、トンネル内部の画像上の2D内部断面２１へ伸ばした法線Ｌの長さが一定の長さ以上であるか否かを判断する。法線Ｌの長さが一定の長さ以上である場合、第１解析部１３は、2D内部断面２１及び点群データ面２２が大きく乖離していると判断すると共に、図２Ａに示すように、2D内部断面２１において、除去する点群データ面２３を特定し、点群データ面２３をトンネル進行方向に伸長した領域２３′を特定する。

【0026】

また、第１解析部１３は、3D点群データの断面線形から、トンネル内部に設置された付属物（図２Ｂに示すケーブル・金物２０など）で隠れている劣化予測対象の断面線形を推定して、該推定した断面線形を構造物の進行方向に伸長した領域の点群データを、構造評価対象物以外の点群データである、として除去してもよい。

【0027】

第２解析部１４は、第１解析部１３により除去された点群データから、ステレオカメラ１５のカメラ軌道２５から一定距離以内の空間にある点群データを抽出する。位置精度が高い点群データの抽出方法は以下に記述される。

【0028】

第２解析部１４は、カメラ軌道２５となる線分を推定し、カメラ軌道２５からの所定の離隔距離以内の空間にある点群データを抽出する。

【0029】

まず、カメラ軌道２５となる線分の推定は、３６０度画像から互いに異なる時刻に撮影された複数のパノラマ画像を作成し、次に、各パノラマ画像に写っている同一静止物の見え方の違いを画像解析し、カメラの位置を求めることにより行う。

【0030】

次に第２解析部１４は、該離隔距離以内の空間を、カメラ軌道２５を中心軸とする円筒形で推定する。すなわち、図３Ａに示すように、第２解析部１４は、カメラ軌道２５からの特定の離隔距離２６を円筒形２４で推定し、離隔距離２６以内の点群データを抽出する。

【0031】

あるいは、カメラ軌道２５からの離隔距離２６を、下記の式（１）によって算出してもよい。第２解析部１４は、ステレオカメラ１５の基線長、画素数、画角、ピクセル誤差（画角／画素数をいう）を用いて、点群データの位置情報の誤差（計測誤差）が閾値以下となる離隔距離を算出する。図３Ｂに、カメラの基線長、画素数、画角、ピクセル誤差などの関係を図示する。カメラ軌道２５は、図３Ｂにおいては紙面に垂直な方向である。図３Ｂ中、ステレオカメラ１５における左右のレンズ２７間の距離である基線長をlaと、レンズから対象物までのカメラ距離をlbと、離隔距離をlcと、計測誤差を考慮した離隔距離をldと、カメラ角度をθと、ピクセル誤差をEaと、計測誤差をEbと、記号で表記する。ステレオカメラのレンズ２７は、対象物への角度のずれであるピクセル誤差Eaを有するため、離隔距離lcにも計測誤差Ebが生じ、該対象物の位置がずれて見えることがある。点群データの位置情報の誤差（計測誤差）は、担保したい精度を決めると、他の変数は撮影したカメラにより決まるため、カメラ軌道からの離隔距離が算出できる。そして、式（１）から算出した離隔距離以内の空間にある点群データを抽出する。

【数1】

【0032】

ステレオ画像での計測精度は、画像中の1画素が実際にどのくらいの長さに対応するかで決まる。つまり、計測精度は、レンズ・カメラの解像度・撮影距離・基線長（カメラ間距離）によって変わる。また、カメラ撮像板中のステレオ対応点画素は大きさを持っているため、実際の空間中では計測対象点はある範囲内ということでしか特定できず、その範囲が計測誤差となる。図３Ｂは、以上のような計測誤差が生じる状態を模式的に表した図である。

【0033】

図４は、一実施形態に係る解析装置１が実行する解析方法の一例を示すフローチャートである。

【0034】

解析装置１が解析方法を実行する前に、事前準備として、劣化予測を行うトンネル箇所（劣化予測対象）の選定を行う。

【0035】

ステップＳ１０１では、内部画像入力部１１が、ステレオカメラ１５を移動させて撮影したトンネル内部の画像を入力する。

【0036】

ステップＳ１０２では、3D点群データ生成部１２が、撮影ルート上の各内部画像により、トンネル内部構造の点群データを生成する。

【0037】

ステップＳ１０３では、第１解析部１３が、点群データから、劣化予測対象以外の点群データを除去する。

【0038】

ステップＳ１０４では、第２解析部１４が、除去された点群データから、ステレオカメラ１５のカメラ軌道から一定距離以内の空間にある点群データを抽出する。

【0039】

解析装置１によれば、ステレオカメラ１５のカメラ軌道から一定距離以内の空間にある点群データを抽出するため、劣化事象の定量化に適した位置精度の高い点群データを抽出することができる。

【0040】

上記の解析装置１における内部画像入力部１１、3D点群データ生成部１２、第１解析部１３、及び第２解析部１４は、制御装置（コントローラ）の一部を構成する。該制御装置は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)などの専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。

【0041】

また、上記の解析装置１を機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。図５は、解析装置１として機能するコンピュータの概略構成を示すブロック図である。ここで、コンピュータ１００は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

【0042】

図５に示すように、コンピュータ１００は、プロセッサ１１０と、記憶部としてＲＯＭ（Read Only Memory）１２０、ＲＡＭ（Random Access Memory）１３０、及びストレージ１４０と、入力部１５０と、出力部１６０と、通信インターフェース（I/F）１７０と、を備える。各構成は、バス１８０を介して相互に通信可能に接続されている。上記の解析装置１における内部画像入力部１１は入力部１５０として構築されてもよい。

【0043】

ＲＯＭ１２０は、各種プログラム及び各種データを保存する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive)又はＳＳＤ(Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム及び各種データを保存する。本開示では、ＲＯＭ１２０又はストレージ１４０に、本開示に係るプログラムが保存されている。

【0044】

プロセッサ１１０は、具体的にはＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。

【0045】

プログラムは、コンピュータ１００が読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータ１００にインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0046】

以上の実施形態に関し、更に以下の付記を開示する。

【0047】

（付記項１）
構造物内部の画像から点群データを生成する解析装置であって、
ステレオカメラを移動させて撮影した構造物内部の画像を入力し、撮影ルート上の各内部画像により、構造物の内部構造の点群データを生成し、前記点群データから、劣化予測対象以外の点群データを除去し、前記除去された点群データから、前記ステレオカメラのカメラ軌道から一定距離以内の空間にある点群データを抽出する制御部
を備える解析装置。
（付記項２）
前記制御部は、
前記カメラ軌道となる線分を推定し、前記カメラ軌道からの所定の離隔距離以内の空間にある点群データを抽出する、付記項１に記載の解析装置。
（付記項３）
前記制御部は、
前記離隔距離以内の空間を、前記カメラ軌道を中心軸とする円筒形で推定する、付記項１に記載の解析装置。
（付記項４）
前記制御部は、
カメラの基線長、画素数、画角、及びピクセル誤差を用いて、前記点群データの位置情報の誤差が閾値以下となる前記離隔距離を算出する、付記項２に記載の解析装置。
（付記項５）
構造物内部の画像から点群データを生成する解析方法であって、
解析装置により、
ステレオカメラを移動させて撮影した構造物内部の画像を入力するステップと、撮影ルート上の各内部画像により、構造物の内部構造の点群データを生成するステップと、前記点群データから、劣化予測対象以外の点群データを除去するステップと、前記除去された点群データから、前記ステレオカメラのカメラ軌道から一定距離以内の空間にある点群データを抽出するステップと、を含む解析方法。
（付記項６）
コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項１から４のいずれか一項に記載の解析装置として機能させるプログラムを記憶した非一時的記憶媒体。

【0048】

上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。たとえば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0049】

１ 解析装置
１１ 内部画像入力部
１２ 3D点群データ生成部
１３ 第1解析部
１４ 第２解析部
１００ コンピュータ
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 入力部
１６０ 出力部
１７０ 通信インターフェース（Ｉ／Ｆ）
１８０ バス

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5】