(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022158520
(43)【公開日】2022-10-17
(54)【発明の名称】位置特定システム、位置特定方法および位置特定プログラム
(51)【国際特許分類】
G01B 11/00 20060101AFI20221006BHJP
G06T 7/70 20170101ALI20221006BHJP
G01K 11/32 20210101ALN20221006BHJP
【FI】
G01B11/00 H
G06T7/70 A
G01K11/32 A
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021063488
(22)【出願日】2021-04-02
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100104190
【弁理士】
【氏名又は名称】酒井 昭徳
(72)【発明者】
【氏名】中尾 学
【テーマコード(参考)】
2F056
2F065
5L096
【Fターム(参考)】
2F056VF02
2F065AA04
2F065AA53
2F065BB28
2F065FF04
2F065FF61
2F065FF69
2F065JJ03
2F065JJ26
2F065LL02
2F065QQ31
2F065RR08
2F065SS13
5L096CA04
5L096EA33
5L096FA66
5L096FA69
5L096GA10
(57)【要約】
【課題】光ファイバの計測点の3次元位置を特定すること。
【解決手段】ユーザUは、カメラ端末102と光ファイバ温め器104を用いて、計測対象tgに敷設された光ファイバケーブルfcの3次元形状を復元するための画像群1601(第1画像群、第2画像群)を収集する。情報処理装置101は、画像群1601に基づいて、光ファイバケーブルfcの3次元形状と各画像の撮影位置とを復元する。情報処理装置101は、各第1画像上でのQRコードの中心位置と、復元した3次元形状と各画像の撮影位置とに基づいて、光ファイバ温め器104により温めた箇所の撮影時刻、温度および3次元位置を示す温め箇所情報を生成する。情報処理装置101は、温度分布データ700に基づいて、温め箇所情報を参照して、各第1画像上のQRコードから特定される温度と時刻とに対応する距離(計測点)と、各第1画像に対応する温め箇所の3次元位置とを対応付ける。
【選択図】
図16
【特許請求の範囲】
【請求項1】
計測対象に敷設される光ファイバケーブルに接触または近接して設置され、前記光ファイバケーブルを温め可能なヒータ、前記ヒータにより温められた箇所の温度を測定可能な温度センサ、および、前記温度センサにより測定された温度と時刻とを特定可能なコード情報を表示する表示部を有する温め器と、
前記光ファイバケーブルの長さ方向に沿った複数の計測点の温度分布を計測可能な温度計測装置により計測された各時刻の温度分布データを取得し、前記温め器を設置して温められた箇所ごとに撮影された、前記箇所の温度と時刻とを特定可能なコード情報が表示された前記温め器を含む第1画像群を取得し、前記光ファイバケーブルに沿って所定の間隔で撮影された第2画像群を取得し、取得した前記第1画像群と前記第2画像群とに基づいて、前記光ファイバケーブルの3次元形状と、前記第1画像群の各第1画像の撮影位置とを算出し、前記各第1画像上でのコード情報の位置と、算出した前記3次元形状と前記各第1画像の撮影位置とに基づいて、前記各第1画像に対応する箇所の3次元位置を算出し、取得した前記各時刻の温度分布データを参照して、前記複数の計測点のうち、前記各第1画像上のコード情報から特定される温度と時刻とに対応する計測点を特定し、特定した前記計測点と、算出した前記3次元位置とを対応付ける情報処理装置と、
を含むことを特徴とする位置特定システム。
【請求項2】
前記情報処理装置は、
前記第1画像群の各第1画像から前記温め器が表示された領域を検出して、検出した前記領域に対するマスク処理を行い、
前記マスク処理後の前記第1画像群と前記第2画像群とに基づいて、前記光ファイバケーブルの3次元形状と、前記各第1画像の撮影位置とを算出する、
ことを特徴とする請求項1に記載の位置特定システム。
【請求項3】
前記情報処理装置は、
対応付けた前記計測点と前記3次元位置とを出力する、ことを特徴とする請求項1または2に記載の位置特定システム。
【請求項4】
前記光ファイバケーブルは、光ファイバの被覆部分に所定の表面処理が施された光ファイバケーブルである、ことを特徴とする請求項1~3のいずれか一つに記載の位置特定システム。
【請求項5】
前記コード情報は、前記温め器が前記光ファイバケーブルに接触または近接してから一定時間経過したことに応じて表示される、ことを特徴とする請求項1~4のいずれか一つに記載の位置特定システム。
【請求項6】
計測対象に敷設された光ファイバケーブルの長さ方向に沿った複数の計測点の温度分布を計測可能な温度計測装置により計測された各時刻の温度分布データを取得し、
前記光ファイバケーブルに接触または近接して設置される温め器により温められた箇所ごとに撮影された、前記温め器により測定された前記箇所の温度と時刻とを特定可能なコード情報が表示された前記温め器を含む第1画像群を取得し、
前記光ファイバケーブルに沿って所定の間隔で撮影された第2画像群を取得し、
取得した前記第1画像群と前記第2画像群とに基づいて、前記光ファイバケーブルの3次元形状と、前記第1画像群の各第1画像の撮影位置とを算出し、
前記各第1画像上でのコード情報の位置と、算出した前記3次元形状と前記各第1画像の撮影位置とに基づいて、前記各第1画像に対応する箇所の3次元位置を算出し、
取得した前記各時刻の温度分布データを参照して、前記複数の計測点のうち、前記各第1画像上のコード情報から特定される温度と時刻とに対応する計測点を特定し、
特定した前記計測点と、算出した前記3次元位置とを対応付ける、
処理をコンピュータが実行することを特徴とする位置特定方法。
【請求項7】
計測対象に敷設された光ファイバケーブルの長さ方向に沿った複数の計測点の温度分布を計測可能な温度計測装置により計測された各時刻の温度分布データを取得し、
前記光ファイバケーブルに接触または近接して設置される温め器により温められた箇所ごとに撮影された、前記温め器により測定された前記箇所の温度と時刻とを特定可能なコード情報が表示された前記温め器を含む第1画像群を取得し、
前記光ファイバケーブルに沿って所定の間隔で撮影された第2画像群を取得し、
取得した前記第1画像群と前記第2画像群とに基づいて、前記光ファイバケーブルの3次元形状と、前記第1画像群の各第1画像の撮影位置とを算出し、
前記各第1画像上でのコード情報の位置と、算出した前記3次元形状と前記各第1画像の撮影位置とに基づいて、前記各第1画像に対応する箇所の3次元位置を算出し、
取得した前記各時刻の温度分布データを参照して、前記複数の計測点のうち、前記各第1画像上のコード情報から特定される温度と時刻とに対応する計測点を特定し、
特定した前記計測点と、算出した前記3次元位置とを対応付ける、
処理をコンピュータに実行させることを特徴とする位置特定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、位置特定システム、位置特定方法および位置特定プログラムに関する。
【背景技術】
【0002】
近年、機械や設備にセンサを取り付け、AI(Artificial Intelligence)技術によりセンサデータを分析することで、機械や設備の異常検知を行う取り組みが広がってきている。また、機械や設備の温度を計測するために、光ファイバをセンサとした温度計測技術がある。
【0003】
先行技術としては、位置マークが一定の間隔で付与された光ファイバが敷設された状態を撮影し、撮影された画像を画像処理し、光ファイバ敷設具および位置マークを用いて光ファイバの敷設状態を解析して、光ファイバの敷設状態を直交座標に関連付けするものがある。位置マークは、所定の位置からの距離と光ファイバの向きとを示す。また、複数の細心の光ファイバを互いに密着させて横並びに配列させた光ファイバ列と、光ファイバ列からの出射光が位置決め対象物に設けられた認識マークで反射した反射光を受光する複数の受光素子を光ファイバ列に対応させてかつ光ファイバ列と平行に配列させた一次元CCDセンサとを一体化したセンサ部を有する位置認識装置がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2010/125713号
【特許文献2】特開平10-148504号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術では、光ファイバをセンサとした温度計測技術により平面以外の対象の温度を計測するにあたり、光ファイバの計測点の3次元位置を特定することができないという問題がある。
【0006】
一つの側面では、本発明は、光ファイバの計測点の3次元位置を特定することを目的とする。
【課題を解決するための手段】
【0007】
1つの実施態様では、計測対象に敷設される光ファイバケーブルに接触または近接して設置され、前記光ファイバケーブルを温め可能なヒータ、前記ヒータにより温められた箇所の温度を測定可能な温度センサ、および、前記温度センサにより測定された温度と時刻とを特定可能なコード情報を表示する表示部を有する温め器と、前記光ファイバケーブルの長さ方向に沿った複数の計測点の温度分布を計測可能な温度計測装置により計測された各時刻の温度分布データを取得し、前記温め器を設置して温められた箇所ごとに撮影された、前記箇所の温度と時刻とを特定可能なコード情報が表示された前記温め器を含む第1画像群を取得し、前記光ファイバケーブルに沿って所定の間隔で撮影された第2画像群を取得し、取得した前記第1画像群と前記第2画像群とに基づいて、前記光ファイバケーブルの3次元形状と、前記第1画像群の各第1画像の撮影位置とを算出し、前記各第1画像上でのコード情報の位置と、算出した前記3次元形状と前記各第1画像の撮影位置とに基づいて、前記各第1画像に対応する箇所の3次元位置を算出し、取得した前記各時刻の温度分布データを参照して、前記複数の計測点のうち、前記各第1画像上のコード情報から特定される温度と時刻とに対応する計測点を特定し、特定した前記計測点と、算出した前記3次元位置とを対応付ける情報処理装置と、を含む位置特定システムが提供される。
【発明の効果】
【0008】
本発明の一側面によれば、光ファイバの計測点の3次元位置を特定することができるという効果を奏する。
【図面の簡単な説明】
【0009】
【
図1】
図1は、実施の形態にかかる位置特定システム100のシステム構成例を示す説明図である。
【
図2】
図2は、光ファイバ温め器104の構成例を示す説明図である。
【
図3】
図3は、第1画像の具体例を示す説明図である。
【
図4】
図4は、第2画像の撮影間隔の一例を示す説明図である。
【
図5】
図5は、情報処理装置101のハードウェア構成例を示すブロック図である。
【
図6】
図6は、カメラ端末102のハードウェア構成例を示すブロック図である。
【
図7】
図7は、温度分布データの具体例を示す説明図である。
【
図8】
図8は、情報処理装置101の機能的構成例を示すブロック図である。
【
図9】
図9は、3次元形状の復元処理例を示す説明図である。
【
図10】
図10は、第1画像に対するマスク処理例を示す説明図である。
【
図11】
図11は、温めた箇所の3次元位置の算出処理例を示す説明図である。
【
図12】
図12は、温め箇所情報テーブル1200の記憶内容の一例を示す説明図である。
【
図13】
図13は、計測点と温めた箇所との対応付け処理例を示す説明図である。
【
図14】
図14は、距離/3次元位置対応テーブル1400の記憶内容の一例を示す説明図である。
【
図15】
図15は、計測点3次元位置テーブル1500の記憶内容の一例を示す説明図である。
【
図16】
図16は、位置特定システム100の動作例を示す説明図である。
【
図17】
図17は、情報処理装置101の位置特定処理手順の一例を示すフローチャートである。
【
図18】
図18は、温め箇所情報生成処理の具体的処理手順の一例を示すフローチャートである。
【
図19】
図19は、対応付け処理の具体的処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下に図面を参照して、本発明にかかる位置特定システム、位置特定方法および位置特定プログラムの実施の形態を詳細に説明する。
【0011】
(実施の形態)
まず、実施の形態にかかる位置特定システム100のシステム構成例について説明する。位置特定システム100は、例えば、光ファイバをセンサとした温度計測技術を利用して、機械や設備の故障検出や故障予測を行うコンピュータシステムに適用される。
【0012】
図1は、実施の形態にかかる位置特定システム100のシステム構成例を示す説明図である。
図1において、位置特定システム100は、情報処理装置101と、カメラ端末102と、温度計測装置103と、光ファイバ温め器104と、を含む。位置特定システム100において、情報処理装置101、カメラ端末102および温度計測装置103は、有線または無線のネットワーク110を介して接続される。ネットワーク110は、例えば、インターネット、LAN、WAN(Wide Area Network)などである。
【0013】
情報処理装置101は、光ファイバの計測点の3次元位置を特定するコンピュータである。光ファイバは、光を伝える伝送路である。光ファイバは、保護被覆を施した光ファイバケーブルfcとして用いられる。光ファイバケーブルfcは、光ファイバの被覆部分に所定の表面処理が施されたケーブルである。所定の表面処理は、例えば、画像上で光ファイバケーブルfcを判別可能にするために、何らかの模様を付与する処理である。
【0014】
光ファイバケーブルfcは、計測対象tgに敷設される。計測対象tgは、例えば、プラント設備のタンクなどの曲面をもつものである。光ファイバケーブルfcは、例えば、タンクの外周に巻き付けるように設置される。計測点は、光ファイバをセンサとした温度計測技術により温度が計測される点である。
【0015】
光ファイバをセンサとした温度計測技術によれば、光ファイバの長さ方向に沿った多地点の温度分布を計測することができる。情報処理装置101は、例えば、サーバにより実現される。ただし、情報処理装置101は、PC(Personal Computer)により実現されてもよい。
【0016】
カメラ端末102は、撮影機能を有する可搬型のコンピュータである。カメラ端末102は、例えば、計測対象tgに敷設された光ファイバケーブルfcの3次元形状を復元するために必要な画像を収集する際に使用される。カメラ端末102は、例えば、スマートフォン、タブレットPCなどにより実現される。
【0017】
温度計測装置103は、光ファイバをセンサとして、光ファイバの長さ方向に沿った複数の計測点の温度分布を計測可能なコンピュータである。温度計測装置103は、例えば、光コネクタを介して光ファイバケーブルfcと接続され、光ファイバ(光ファイバケーブルfc)の長さ方向に沿った複数の計測点の温度を計測する。
【0018】
各計測点は、例えば、基準点から等間隔(例えば、10cm)に設けられる。基準点は、温度計測装置103と光ファイバケーブルfcとの接続点、例えば、光コネクタの位置である。温度は、例えば、光ファイバにパルス光を入射した際のラマン散乱光を検知することにより計測される。
【0019】
温度計測装置103により計測される温度分布データの具体例については、
図7を用いて後述する。
【0020】
光ファイバ温め器104は、ユーザUによって使用される可搬型の装置であり、計測対象tgに敷設される光ファイバケーブルfcに接触または近接して設置される。ユーザUは、例えば、プラント設備の作業員である。光ファイバ温め器104の設置方法としては、例えば、計測対象tgの外周部分の形状や素材に応じて、簡単に着脱可能な方法(マグネット式、吸盤式、クリップ式など)が採用される。
【0021】
光ファイバ温め器104の構成例については、
図2を用いて後述する。また、
図1の例では、情報処理装置101とカメラ端末102とを別体に設けることにしたが、これに限らない。例えば、情報処理装置101は、カメラ端末102により実現されることにしてもよい。
【0022】
ここで、光ファイバをセンサとした温度計測技術を利用して、機械や設備の異常検知を行う場合、温度を計測した地点(計測点)が設備等のどこの箇所であるかを把握する必要がある。計測点が設備等のどこの箇所であるかを把握するためには、実空間のどの位置に光ファイバが敷設されているかを把握し、かつ、光ファイバの長さ方向に沿った計測点と実空間の位置とを対応付けることが求められる。
【0023】
例えば、複数の敷設具間に張り渡され、基準点からの距離を示す位置マークが所定の間隔で複数付与された光ファイバの敷設状態を解析するための従来技術がある(例えば、特許文献1参照)。この従来技術では、光ファイバが敷設された状態を撮影し、撮影された画像を画像処理して、光ファイバ敷設具および位置マークを用いて光ファイバの敷設状態を解析し、光ファイバの敷設状態を直交座標に関連付ける。
【0024】
しかし、従来技術では、対象を平面のみに限定しており、曲面をもつ対象には適用できない。例えば、プラント設備のタンクなどの曲面をもつ対象の異常検知を行う場合には適用できない。このため、平面以外の対象に対しても適用可能な、光ファイバの計測点の位置特定技術が求められている。
【0025】
そこで、本実施の形態では、光ファイバケーブルfcに設置した光ファイバ温め器104によって温めた箇所の温度と時刻をもとに、光ファイバケーブルfcの長さ方向に沿った複数の計測点の温度分布データを参照して、温めた箇所の3次元位置と、光ファイバの計測点との対応付けを行うことで、光ファイバの計測点の3次元位置を特定する位置特定方法について説明する。
【0026】
まず、
図2を用いて、光ファイバ温め器104の構成例について説明する。
【0027】
図2は、光ファイバ温め器104の構成例を示す説明図である。
図2において、光ファイバ温め器104は、ヒータ201と、温度センサ202と、接触センサ203と、ディスプレイ204と、を含む。また、光ファイバ温め器104は、各デバイス201~204を制御するコントローラ(不図示)を含む。
【0028】
ヒータ201は、光ファイバケーブルfcを温め可能な電熱器である。ヒータ201は、例えば、ヒータ201と接触(または、近接)する箇所(光ファイバケーブルfcの一部)を、所定の温度以上まで温める能力を有する。所定の温度は、任意に設定可能であり、例えば、40℃~50℃程度に設定される。
【0029】
温度センサ202は、ヒータ201により温められた箇所の温度を測定可能なセンサである。接触センサ203は、光ファイバケーブルfcとの接触(または、近接)を検知するセンサである。ディスプレイ204は、温度センサ202により測定された温度と時刻とを特定可能なコード情報を表示する表示部である。
【0030】
光ファイバ温め器104は、接触センサ203により光ファイバケーブルfcとの接触(または、近接)が検知されると、ヒータ201による温めを開始する。光ファイバ温め器104は、光ファイバケーブルfcに接触(または、近接)してから一定時間経過したことに応じて、ディスプレイ204にコード情報を表示する。
【0031】
コード情報は、例えば、温度センサ202により測定された温度情報と時刻情報とを記録したバーコードやQR(Quick Response)コードである。QRコードは登録商標である。温度情報は、ヒータ201により温められた箇所の温度を示す。時刻情報は、ヒータ201により温められた箇所の温度が測定された時刻を示す。
【0032】
一定時間は、任意に設定可能であり、例えば、ヒータ201の温め能力に応じて、数秒~数十秒の時間に設定される。例えば、計測対象tgが停止中に温め作業を実施するとする。この場合、一定時間として、光ファイバ温め器104が接触(または、近接)した箇所が、常温よりも高い温度(例えば、35℃~40℃)となるまでにかかる時間が設定される。また、計測対象tgが運転中に温め作業を実施するとする。この場合、一定時間として、光ファイバ温め器104が接触(または、近接)した箇所が、運転中の計測対象tgの温度として取り得る温度よりも高い温度(例えば、50℃)となるまでにかかる時間が設定される。
【0033】
図2の例では、ディスプレイ204には、接触センサ203により光ファイバケーブルfcとの接触が検知されてから一定時間経過後に、QRコード210が表示されている。QRコード210は、温度センサ202により測定された温度情報と時刻情報とを記録したコード情報の一例である。
【0034】
なお、光ファイバ温め器104は、例えば、光ファイバケーブルfcに接触(または、近接)してから、ヒータ201により温められた箇所の温度が所定の温度となったことに応じて、ディスプレイ204にコード情報を表示することにしてもよい。また、ヒータ201が、指定された温度まで温めて、その温度を保つことができる場合は、コード情報に温度情報を含めなくてもよい。
【0035】
また、光ファイバ温め器104は、接触センサ203を有していなくてもよい。この場合、光ファイバ温め器104は、例えば、ユーザUの操作入力により、ヒータ201による温めを開始し、温めを開始してから一定時間経過したことに応じて、ディスプレイ204にコード情報を表示することにしてもよい。
【0036】
(ユーザUの作業の流れ)
つぎに、計測対象tgに敷設された光ファイバケーブルfcの3次元形状を復元するための画像を収集する際のユーザU(作業員)の作業の流れについて説明する。ここでは、光ファイバ温め器104のディスプレイ204に表示されるコード情報として、「QRコード」を例に挙げて説明する。
【0037】
ユーザUは、カメラ端末102と光ファイバ温め器104とを持って、光ファイバケーブルfc上の温める箇所まで移動する。ユーザUは、温める箇所まで移動したら、その箇所に光ファイバ温め器104を設置する。ユーザUは、光ファイバ温め器104を設置したら、ヒータ201によりその箇所が温められて、ディスプレイ204にQRコードが表示されるのを待つ。
【0038】
なお、光ファイバ温め器104を設置するにあたり、ユーザUは、例えば、ディスプレイ204に表示されるQRコードの中心が温める箇所となるように、光ファイバ温め器104を設置する。
【0039】
ユーザUは、ディスプレイ204にQRコードが表示されると、カメラ端末102を用いて、光ファイバ温め器104が設置された箇所を撮影する。カメラ端末102は、例えば、ディスプレイ204に表示されたQRコードを検知して、光ファイバ温め器104が設置された箇所を自動で撮影することにしてもよい。
【0040】
また、カメラ端末102は、ユーザUの操作入力(例えば、ボタン押下)に応じて、光ファイバ温め器104が設置された箇所を撮影することにしてもよい。また、ユーザUがカメラ端末102を身に付けるなどして常時撮影を行い、カメラ端末102が、QRコードを検知したら、そのときの撮影画像を保存することにしてもよい。
【0041】
また、カメラ端末102は、光ファイバ温め器104と通信して、QRコードの表示通知があったら、撮影を開始することにしてもよい。ただし、この場合、光ファイバ温め器104は通信機能を有する。カメラ端末102は、例えば、撮影画像が保存されたことを、音声等により通知する手段を有することにしてもよい。
【0042】
ユーザUは、QRコードが表示された光ファイバ温め器104を含む画像を撮影したら(画像保存)、光ファイバ温め器104を取り外して、次の温め箇所に移動し、同様の作業を行う。これにより、光ファイバケーブルfc上の複数の箇所について、QRコードが表示された状態の光ファイバ温め器104を含む撮影画像を得ることができる。
【0043】
光ファイバケーブルfc上のどの箇所を温め箇所とするかは、例えば、計測対象tgに敷設された光ファイバケーブルfcの形状をもとに判断される。例えば、光ファイバケーブルfcのうち、曲げの部分では、光ファイバ温め器104を密に設置し(1~2m間隔程度)、直線的な部分では、光ファイバ温め器104を疎に設置することにしてもよい(5m間隔程度)。
【0044】
以下の説明では、ディスプレイ204にQRコードが表示された光ファイバ温め器104を含む撮影画像を「第1画像」と表記する場合がある。
【0045】
ここで、
図3を用いて、QRコードが表示された光ファイバ温め器104を含む撮影画像(第1画像)の具体例について説明する。
【0046】
図3は、第1画像の具体例を示す説明図である。
図3において、第1画像301は、光ファイバケーブルfc上の温め箇所に設置された光ファイバ温め器104を含む撮影画像の一例である。第1画像301において、光ファイバ温め器104のディスプレイ204には、QRコード310が表示されている。
【0047】
QRコード310は、光ファイバ温め器104が設置された箇所(温め箇所)の温度情報および時刻情報を記録したコード情報である。温度情報は、光ファイバ温め器104(
図2に示したヒータ201)により温められた箇所の温度を示す。時刻情報は、温められた箇所の温度が測定された時刻、例えば、第1画像301の撮影時刻を示す。
【0048】
なお、光ファイバケーブルfcは、光ファイバの被覆部分に所定の表面処理が施されている。所定の表面処理では、例えば、光ファイバの被覆部分に、何らかの模様や色が付与される。これにより、画像上で光ファイバケーブルfcの形状が認識可能となる。また、所定の表面処理として、例えば、特定の模様を付与することで、他の物体と識別可能な処理が施されることにしてもよい。
【0049】
また、ユーザUは、第1画像とは別に、光ファイバケーブルfcの3次元形状を復元するための画像を、光ファイバケーブルfcの長さ方向に沿って複数撮影する。
【0050】
以下の説明では、光ファイバケーブルfcの3次元形状を復元するために撮影される画像(ただし、第1画像を除く)を「第2画像」と表記する場合がある。
【0051】
第2画像の撮影間隔は、同じ場所が少なくとも2回以上撮影されるように設定される(例えば、画像の重なり率が60%以上を目安)。ここで、
図4を用いて、光ファイバケーブルfcの3次元形状を復元するために撮影される画像(第2画像)の撮影間隔について説明する。
【0052】
図4は、第2画像の撮影間隔の一例を示す説明図である。
図4において、第2画像401は、n回目に撮影された光ファイバケーブルfcの撮影画像の一例である(n:自然数)。第2画像402は、n+1回目に撮影された光ファイバケーブルfcの撮影画像の一例である。
【0053】
例えば、カメラ端末102(例えば、後述の
図6に示すカメラ604)の水平画角を「90度」とすると、カメラ端末102と撮影対象の距離が「1m」で水平撮影範囲が「2m」となる。このため、ユーザUは、カメラ端末102により、光ファイバケーブルfcの長さ方向に沿って、0.6m間隔で第2画像を撮影する。
【0054】
(情報処理装置101のハードウェア構成例)
つぎに、情報処理装置101のハードウェア構成例について説明する。
【0055】
図5は、情報処理装置101のハードウェア構成例を示すブロック図である。
図5において、情報処理装置101は、CPU(Central Processing Unit)501と、メモリ502と、ディスクドライブ503と、ディスク504と、通信I/F(Interface)505と、可搬型記録媒体I/F506と、可搬型記録媒体507と、を有する。また、各構成部は、バス500によってそれぞれ接続される。
【0056】
ここで、CPU501は、情報処理装置101の全体の制御を司る。CPU501は、複数のコアを有していてもよい。メモリ502は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)およびフラッシュROMなどを有する。具体的には、例えば、フラッシュROMがOSのプログラムを記憶し、ROMがアプリケーションプログラムを記憶し、RAMがCPU501のワークエリアとして使用される。メモリ502に記憶されるプログラムは、CPU501にロードされることで、コーディングされている処理をCPU501に実行させる。
【0057】
ディスクドライブ503は、CPU501の制御に従ってディスク504に対するデータのリード/ライトを制御する。ディスク504は、ディスクドライブ503の制御で書き込まれたデータを記憶する。ディスク504としては、例えば、磁気ディスク、光ディスクなどが挙げられる。
【0058】
通信I/F505は、通信回線を通じてネットワーク110(
図1参照)に接続され、ネットワーク110を介して外部のコンピュータ(例えば、
図1に示したカメラ端末102、温度計測装置103など)に接続される。そして、通信I/F505は、ネットワーク110と装置内部とのインターフェースを司り、外部のコンピュータからのデータの入出力を制御する。通信I/F505には、例えば、モデムやLANアダプタなどを採用することができる。
【0059】
可搬型記録媒体I/F506は、CPU501の制御に従って可搬型記録媒体507に対するデータのリード/ライトを制御する。可搬型記録媒体507は、可搬型記録媒体I/F506の制御で書き込まれたデータを記憶する。可搬型記録媒体507としては、例えば、CD(Compact Disc)-ROM、DVD(Digital Versatile Disk)、USB(Universal Serial Bus)メモリなどが挙げられる。
【0060】
なお、情報処理装置101は、上述した構成部のほかに、例えば、入力装置、ディスプレイなどを有することにしてもよい。また、
図1に示した温度計測装置103についても、情報処理装置101と同様のハードウェアにより実現することができる。
【0061】
(カメラ端末102のハードウェア構成例)
つぎに、カメラ端末102のハードウェア構成例について説明する。
【0062】
図6は、カメラ端末102のハードウェア構成例を示すブロック図である。
図6において、カメラ端末102は、CPU601と、メモリ602と、通信I/F603と、カメラ604と、ディスプレイ605と、入力装置606と、スピーカ607と、マイクロフォン608と、を有する。また、各構成部はバス600によってそれぞれ接続される。
【0063】
ここで、CPU601は、カメラ端末102の全体の制御を司る。CPU601は、複数のコアを有していてもよい。メモリ602は、例えば、ROM、RAMおよびフラッシュROMなどを有する記憶部である。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU601のワークエリアとして使用される。メモリ602に記憶されるプログラムは、CPU601にロードされることで、コーディングされている処理をCPU601に実行させる。
【0064】
通信I/F603は、通信回線を通じてネットワーク110に接続され、ネットワーク110を介して外部のコンピュータ(例えば、情報処理装置101)に接続される。そして、通信I/F603は、ネットワーク110と自装置内部とのインターフェースを司り、外部装置からのデータの入出力を制御する。
【0065】
カメラ604は、画像(静止画または動画)を撮影して画像データを出力する撮像装置である。ディスプレイ605は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する表示装置である。ディスプレイ605には、例えば、カメラ604の被写体が表示される。ディスプレイ605としては、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイなどを採用することができる。
【0066】
入力装置606は、文字、数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置606は、タッチパネル式の入力パッドやテンキーなどであってもよく、また、キーボードやマウスなどであってもよい。スピーカ607は、電気信号を音声に変換して、音声を出力する。マイクロフォン608は、音声を受音して電気信号に変換する。
【0067】
なお、カメラ端末102は、上述した構成部のほかに、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、近距離無線通信I/F、可搬型記録媒体I/F、可搬型記録媒体などを有することにしてもよい。
【0068】
(温度分布データの具体例)
つぎに、
図7を用いて、温度計測装置103により計測される温度分布データの具体例について説明する。
【0069】
図7は、温度分布データの具体例を示す説明図である。
図7において、温度分布データ700は、温度計測装置103により計測された温度計測結果(例えば、温度計測結果701,702)を示す。各温度計測結果は、光ファイバケーブルfc(光ファイバ)の長さ方向に沿った複数の計測点の温度分布を示す。
【0070】
具体的には、各温度計測結果は、各時刻における距離と温度との対応関係を示す。距離は、基準点からの距離を示しており、計測点に対応する。基準点は、例えば、温度計測装置103と光ファイバケーブルfcとの接続点(光コネクタの位置)である。温度は、距離に対応する計測点の温度を示す。
【0071】
温度分布データ700によれば、各時刻(例えば、時刻12:00:00,12:01:00)における光ファイバケーブルfc(光ファイバ)の長さ方向に沿った複数の計測点の温度分布を特定することができる。
【0072】
(情報処理装置101の機能的構成例)
つぎに、情報処理装置101の機能的構成例について説明する。
【0073】
図8は、情報処理装置101の機能的構成例を示すブロック図である。
図8において、情報処理装置101は、取得部801と、第1の算出部802と、第2の算出部803と、対応付け部804と、出力部805と、を含む。取得部801~出力部805は制御部となる機能であり、具体的には、例えば、
図5に示したメモリ502、ディスク504、可搬型記録媒体507などの記憶装置に記憶されたプログラムをCPU501に実行させることにより、または、通信I/F505により、その機能を実現する。各機能部の処理結果は、例えば、メモリ502、ディスク504などの記憶装置に記憶される。
【0074】
取得部801は、温度計測装置103(
図1参照)により計測された各時刻tの温度分布データを取得する。ここで、温度分布データは、光ファイバケーブルfc(光ファイバ)の長さ方向に沿った複数の計測点の温度分布を示す。計測点は、例えば、基準点から等間隔(例えば、10cm)に設けられる。時刻tは、温度計測装置103により温度が計測された時点を示す。温度計測装置103は、例えば、1分などの一定時間間隔に、光ファイバケーブルfcの長さ方向に沿った各計測点の温度を測定する。
【0075】
具体的には、例えば、取得部801は、温度計測装置103から温度分布データ700を受信することにより、受信した温度分布データ700を取得する。また、取得部801は、不図示の入力装置を用いたユーザの操作入力により、温度分布データ700を取得してもよい。また、取得部801は、カメラ端末102(
図1参照)から温度分布データの指定を受け付けることにより、不図示の温度分布DB(Database)から、指定された温度分布データを取得してもよい。
【0076】
また、取得部801は、第1画像群を取得する。ここで、第1画像は、光ファイバ温め器104を設置して温められた光ファイバケーブルfc上の箇所について撮影された、その箇所の温度と時刻とを特定可能なコード情報が表示された光ファイバ温め器104を含む撮影画像である。コード情報は、例えば、QRコードである。
【0077】
以下の説明では、光ファイバ温め器104により温められた箇所の温度と時刻とを特定可能なコード情報として、「QRコード」を例に挙げて説明する。
【0078】
具体的には、例えば、取得部801は、
図3に示したような第1画像301を含む第1画像群をカメラ端末102から受信することにより、受信した第1画像群を取得する。また、取得部801は、不図示の入力装置を用いたユーザの操作入力により、第1画像群を取得してもよい。また、取得部801は、カメラ端末102から第1画像群の指定を受け付けることにより、不図示の画像DBから、指定された第1画像群を取得してもよい。
【0079】
また、取得部801は、第2画像群を取得する。ここで、第2画像は、光ファイバケーブルfcに沿って所定の間隔で撮影された撮影画像である。具体的には、例えば、取得部801は、
図4に示したような第2画像401,402を含む第2画像群をカメラ端末102から受信することにより、受信した第2画像群を取得する。
【0080】
また、取得部801は、不図示の入力装置を用いたユーザの操作入力により、第2画像群を取得してもよい。また、取得部801は、カメラ端末102から第2画像群の指定を受け付けることにより、不図示の画像DBから、指定された第2画像群を取得してもよい。
【0081】
第1の算出部802は、取得された第1画像群と第2画像群とに基づいて、光ファイバケーブルfcの3次元形状と、第1画像群の各第1画像の撮影位置とを算出する。ここで、3次元形状は、3次元空間における光ファイバケーブルfcの形状をあらわす3次元モデルである。3次元形状は、例えば、点群データやポリゴンデータによって表される。
【0082】
第1画像の撮影位置は、例えば、第1画像を撮影したカメラ604の3次元位置、姿勢(向き)を表す情報である。すなわち、第1画像の撮影位置は、3次元形状が定義された座標系において、どの位置からどの方向で撮影したのかを示す情報である。
【0083】
具体的には、例えば、第1の算出部802は、第1画像群と第2画像群とを用いてSfM(Structure from Motion)処理を行うことにより、光ファイバケーブルfcの3次元形状とカメラ604の撮影位置とを復元する。ここで、SfM処理は、視点の異なる複数の画像から被写体の3次元形状とカメラの相対位置を復元する処理である。
【0084】
SfM処理では、認識可能なすべての撮影対象の3次元形状が復元される。このため、SfM処理により復元される3次元形状には、例えば、光ファイバケーブルfcが敷設された計測対象tgも含まれる。また、SfM処理では、3次元形状の復元に用いた各画像の撮影位置が復元される。
【0085】
ここで、
図9を用いて、3次元形状の復元処理例について説明する。
【0086】
図9は、3次元形状の復元処理例を示す説明図である。
図9に示すように、第1の算出部802は、第1画像群と第2画像群とを含む画像群(例えば、画像901~903)を用いてSfM処理を行うことにより、3次元形状900と、各画像(例えば、画像901~903)を撮影したカメラ604の撮影位置とを復元する。
【0087】
ただし、ある画像上で光ファイバ温め器104が写っている領域は、その画像のみに存在する領域であり、視点の異なる他の画像には存在しない。このため、光ファイバ温め器104が写っている画像をSfM処理にそのまま用いると、3次元復元が正常にできないおそれがある。
【0088】
そこで、第1の算出部802は、第1画像に対してマスク処理を行って、光ファイバ温め器104が表示された領域が復元に使用されないようにしてもよい。具体的には、例えば、第1の算出部802は、第1画像群の各第1画像から光ファイバ温め器104が表示された領域を検出する。
【0089】
そして、第1の算出部802は、検出した領域に対するマスク処理を行う。マスク処理とは、3次元形状の復元には使用しない画像領域を指定する処理である。この場合、第1の算出部802は、例えば、マスク処理後の第1画像群と第2画像群とに基づいて、光ファイバケーブルfcの3次元形状と、各第1画像の撮影位置とを算出する。
【0090】
ここで、
図10を用いて、第1画像に対するマスク処理例について説明する。
【0091】
図10は、第1画像に対するマスク処理例を示す説明図である。
図10において、画像1001~1004は、第1画像群の一例である。この場合、第1の算出部802は、各画像1001~1004から、光ファイバ温め器104が表示された領域を検出する。そして、第1の算出部802は、検出した領域に対するマスク処理を行う。
【0092】
ここで、画像1001を例に挙げると、第1の算出部802は、画像1001からQRコード領域1010を検出する。QRコード領域1010は、画像1001上のQRコードが表示された領域である。第1の算出部802は、検出したQRコード領域1010を、所定の比率で縦横に拡大した領域1020を、光ファイバ温め器104が表示された領域として検出する。
【0093】
そして、第1の算出部802は、検出した領域1020に対するマスク処理を行う。これにより、画像1001内のQRコード領域1010が、3次元形状の復元には使用しないマスク領域1030として指定される。マスク処理後の第1画像群(例えば、画像1001~1004)と第2画像群とを用いてSfM処理を行うことにより、
図9に示すような3次元形状900が復元される。3次元形状900は、計測対象tgと光ファイバケーブルfcとを含む。すなわち、光ファイバケーブルfcが敷設された計測対象tgの3次元形状が復元される。
【0094】
図8の説明に戻り、第2の算出部803は、各第1画像上でのQRコードの位置と、算出された3次元形状と各第1画像の撮影位置とに基づいて、各第1画像に対応する箇所の3次元位置を算出する。ここで、第1画像上でのQRコードの位置は、光ファイバ温め器104により温めた箇所の画像上での位置として近似する位置であり、例えば、QRコードの中心である。また、第1画像に対応する箇所は、第1画像に写る光ファイバ温め器104により温めた光ファイバケーブルfc上の箇所である。
【0095】
ここで、
図11を用いて、各第1画像に対応する箇所、すなわち、光ファイバ温め器104により温めた箇所の3次元位置の算出処理例について説明する。
【0096】
図11は、温めた箇所の3次元位置の算出処理例を示す説明図である。
図11において、画像1100は、第1画像の一例である。ただし、画像1100において、QRコードが表示された光ファイバ温め器104は省略している。画像1100には、QRコードの中心1101(QRコード領域の中心)が示されている。
【0097】
ここで、画像1100において、光ファイバ温め器104により温めた箇所が、QRコードの中心1101にあると近似する。また、SfM処理(第1の算出部802)により、画像1100を撮影したときの撮影位置(カメラ604の3次元位置、姿勢)が算出されている。画像1100に写る温めた箇所は、カメラ604の光学中心1102から、画像1100上のQRコードの中心1101に向けて伸ばした直線上に存在するといえる。
【0098】
このため、第2の算出部803は、画像1100の撮影位置(カメラ604の3次元位置、姿勢)を利用して、カメラ604の光学中心1102から画像面上のQRコードの中心1101に伸ばした直線と、3次元形状900との交点1103を算出する。
【0099】
ここで、カメラ604の光学中心から画像面上のQRコードの中心に伸ばした直線と3次元形状との交点を算出する際の具体的な処理内容の一例について説明する。
【0100】
ここでは、画像面上のQRコードの中心座標を(u,v)とする。また、カメラ604をレンズに歪みがないカメラとする。この場合、カメラ604の光学中心を原点とするカメラ座標系での3次元位置(X,Y,Z)は、下記式(1)により、(u,v)に写像される。ただし、(cx,cy)は、主点(例えば、画像中心)を示す。fx,fyは、ピクセル単位で表される焦点距離を示す。r成分は、カメラ604の姿勢に関するパラメータを示す。t成分は、カメラ604の位置に関するパラメータを示す。
【0101】
【0102】
光学中心を原点とするカメラ座標系の場合、上記式(1)のr11,r22,r33は「1」となり、r12,r13,r21,r23,r31,r32,t1,t2,t3は「0」となる。このため、上記式(1)は、下記式(2)に変換することができる。
【0103】
【0104】
「Z=s」として、sを消去すると、上記式(2)は、下記式(3)に変換することができる。
【0105】
【0106】
上記式(3)を、X,Yについて解くと、下記式(4)となる。
【0107】
【0108】
以上により、3次元位置(X,Y,Z)は、原点(0,0,0)から、以下の方向ベクトルの直線上に存在することになる。
【0109】
方向ベクトル:((u-cx)/fx,(v-cy)/fy,1)
【0110】
なお、3次元点を画像平面に射影する技術については、<URL:http://opencv.jp/opencv-2svn/py/calib3d_camera_calibration_and_3d_reconstruction.html>のサイトを参照することができる。
【0111】
SfM処理では、3次元形状として、三角ポリゴンメッシュで定義された3次元モデルが生成されるとする。この場合、第2の算出部803は、3次元モデルの各座標を、カメラ604の3次元位置、姿勢を用いて、光学中心を原点とするカメラ座標系での3次元座標に変換する。
【0112】
なお、3次元モデルの座標をカメラ座標系での3次元座標に変換する処理については、例えば、<URL:https://mem-archive.com/2018/02/17/post-74/>のサイトを参照することができる。
【0113】
つぎに、第2の算出部803は、上述した方向ベクトルを用いて、カメラ座標系での3次元座標に変換された3次元モデルの各三角ポリゴンとの交点を算出する。具体的には、例えば、第2の算出部803は、レイの始点(origin)を原点(0,0,0)とし、レイの方向(ray)を方向ベクトルとして、下記式(5)の方程式から(u,v,t)を求める。
【0114】
(edge1*u)+(edge2*v)-(ray*t)=origin-v0
・・・(5)
【0115】
第2の算出部803は、上記式(5)を用いて求めた(u,v,t)が、下記条件を満たす場合、直線(原点から方向ベクトルの直線)とその三角ポリゴンは交差すると判定する。
【0116】
条件:「0≦u≦1」かつ「0≦??≦1」かつ「0≦??+??≦1」かつ「0<t」
【0117】
直線と交差する三角ポリゴンが複数存在する場合、tが最小となる三角ポリゴンとの交点(すわわち、最も手前にあるもの)が三次元形状との交点となる。このため、第2の算出部803は、最小のtを用いて「ray*t」で交点座標を算出する。
【0118】
なお、三角形と線分の交差判定については、例えば、<URL:https://qiita.com/edo_m18/items/2bd885b13bd74803a368>のサイトを参照することができる。
【0119】
以上により、画像1100に対応する箇所、すなわち、光ファイバ温め器104により温めた箇所の3次元位置(交点1103の交点座標)を復元することができる。
【0120】
なお、算出した交点が、復元した3次元形状(例えば、3次元形状900)における光ファイバケーブルfc上に存在しない場合がある。この場合、第2の算出部803は、例えば、算出した交点を、その交点から最も近い光ファイバケーブルfc上の点に補正することにしてもよい(ただし、光ファイバの被覆部分には、他の物体と識別可能な特定の模様等が付与されているとする。)。
【0121】
また、第2の算出部803は、画像1100上のQRコード(不図示)を読み取ることにより、光ファイバ温め器104により温めた箇所の温度および時刻を特定する。これにより、光ファイバ温め器104により温めた箇所の温度、時刻および3次元位置を求めることができる。
【0122】
なお、光ファイバ温め器104のヒータ201(
図2参照)が、指定された温度を保つことができ、QRコードに温度情報が記録されていない場合がある。この場合、第2の算出部803は、光ファイバ温め器104により温めた箇所の温度が、予め指定された温度であると判断する。
【0123】
温めた箇所の温度、時刻および3次元位置は、例えば、
図12に示すような温め箇所情報テーブル1200に記憶される。温め箇所情報テーブル1200は、例えば、
図5に示したメモリ502、ディスク504などの記憶装置により実現される。
【0124】
図12は、温め箇所情報テーブル1200の記憶内容の一例を示す説明図である。
図12において、温め箇所情報テーブル1200は、撮影時刻、温度および3次元位置のフィールドを有し、各フィールドに情報を設定することで、温め箇所情報(例えば、温め箇所情報1200-1~1200-3)をレコードとして記憶する。
【0125】
ここで、撮影時刻は、光ファイバ温め器104により温めた箇所の温度が測定された時刻、すなわち、その箇所が温められて、光ファイバ温め器104にQRコードが表示された時刻を示す。温度は、光ファイバ温め器104により温めた箇所の温度を示す。3次元位置は、光ファイバ温め器104により温めた箇所の3次元位置を示す。
【0126】
対応付け部804は、取得された各時刻tの温度分布データを参照して、複数の計測点のうち、各第1画像上のQRコードから特定される温度と時刻とに対応する計測点を特定する。そして、対応付け部804は、特定した計測点と、算出された各第1画像に対応する箇所の3次元位置とを対応付ける。
【0127】
具体的には、例えば、対応付け部804は、
図12に示した温め箇所情報テーブル1200を参照して、温めた箇所の撮影時刻、温度および3次元位置を特定する。つぎに、対応付け部804は、温度分布データ700(
図7参照)を参照して、特定した温めた箇所の撮影時刻に対応する温度計測結果を特定する。
【0128】
温めた箇所の撮影時刻に対応する温度計測結果とは、例えば、時刻tが撮影時刻と一致する、または、時刻tが撮影時刻と最も近い温度計測結果である。つぎに、対応付け部804は、特定した温度計測結果を参照して、特定した温めた箇所の温度に対応する距離(計測点)を特定する。
【0129】
この際、対応付け部804は、例えば、特定した温度計測結果を参照して、距離ごとの温度分布の中で、温度が高い値でピークとなっている距離を特定することにしてもよい。そして、対応付け部804は、特定した距離(計測点)と、特定した温めた箇所の3次元位置とを対応付ける。
【0130】
ここで、
図13を用いて、光ファイバケーブルfcの長さ方向に沿った計測点と、温めた箇所(第1画像に対応する箇所)の3次元位置との対応付け処理例について説明する。
【0131】
図13は、計測点と温めた箇所との対応付け処理例を示す説明図である。
図13において、対応付け部804は、温め箇所情報テーブル1200を参照して、温めた箇所の撮影時刻、温度および3次元位置を特定する。ここでは、温め箇所情報1200-1から、温めた箇所の撮影時刻「12:00:00」、温度「35℃」および3次元位置「2.0,3.0,5.0」が特定された場合を想定する。
【0132】
この場合、対応付け部804は、温度分布データ700を参照して、特定した温めた箇所の撮影時刻「12:00:00」に対応する温度計測結果701を特定する。つぎに、対応付け部804は、特定した温度計測結果701を参照して、特定した温めた箇所の温度「35℃」に対応する距離「10.0m」を特定する。
【0133】
この距離「10.0m」は、基準点から10.0mの位置にある計測点に対応する。そして、対応付け部804は、特定した距離「10.0m」と、特定した温めた箇所の3次元位置「2.0,3.0,5.0」とを対応付ける。
【0134】
対応付けられた距離(計測点)と温めた箇所の3次元位置とは、例えば、
図14に示すような距離/3次元位置対応テーブル1400に記憶される。距離/3次元位置対応テーブル1400は、例えば、
図5に示したメモリ502、ディスク504などの記憶装置により実現される。
【0135】
図14は、距離/3次元位置対応テーブル1400の記憶内容の一例を示す説明図である。
図14において、距離/3次元位置対応テーブル1400は、距離および3次元位置のフィールドを有し、各フィールドに情報を設定することで、距離/3次元位置対応情報(例えば、距離/3次元位置対応情報1400-1,1400-2)をレコードとして記憶する。
【0136】
ここで、距離は、光ファイバケーブルfcの長さ方向に沿った基準点からの距離を示しており、その距離の位置にある光ファイバの計測点を示す。3次元位置は、温めた箇所の3次元位置を示しており、計測点の3次元位置を示す。これにより、光ファイバ温め器104を設置して温めた光ファイバケーブルfc上の箇所に対応する計測点の3次元位置を特定することができる。
【0137】
ここで、光ファイバ温め器104を設置して温めた箇所は、光ファイバ上の計測点の間隔よりも大きい場合がある。例えば、温度計測装置103による温度測定は10cm間隔で行われるのに対して、光ファイバ温め器104は、曲げの部分では1~2m程度の間隔、直線的な部分では5m程度の間隔で設置される。
【0138】
このため、第2の算出部803は、対応付けた計測点と3次元位置とに基づいて、複数の計測点のうち、3次元位置が対応付けられた異なる計測点間に存在する、3次元位置が未対応の計測点の3次元位置を補間する補間処理を行うことにしてもよい。
【0139】
具体的には、例えば、第2の算出部803は、
図14に示した距離/3次元位置対応テーブル1400を参照して、3次元位置が対応付けられた2点間(例えば、10.0mと12.0mの間)を10cm間隔で線形補間することにより、3次元位置が未対応の計測点の3次元位置を補間する。10cmは、光ファイバ上の計測点の間隔に対応する。
【0140】
補間処理後の距離(計測点)と3次元位置との対応関係は、例えば、
図15に示すような計測点3次元位置テーブル1500に記憶される。計測点3次元位置テーブル1500は、例えば、
図5に示したメモリ502、ディスク504などの記憶装置により実現される。
【0141】
図15は、計測点3次元位置テーブル1500の記憶内容の一例を示す説明図である。
図15において、計測点3次元位置テーブル1500は、距離および3次元位置のフィールドを有し、各フィールドに情報を設定することで、計測点3次元位置情報(例えば、計測点3次元位置情報1500-1~1500-3)をレコードとして記憶する。
【0142】
ここで、距離は、光ファイバケーブルfcの長さ方向に沿った基準点からの距離を示しており、その距離の位置にある計測点を示す。3次元位置は、計測点の3次元位置を示す。これにより、光ファイバケーブルfcの長さ方向に沿った各計測点の3次元位置を特定することができる。
【0143】
図8の説明に戻り、出力部805は、対応付けられた計測点と3次元位置とを出力する。具体的には、例えば、出力部805は、距離/3次元位置対応テーブル1400内の距離/3次元位置対応情報(例えば、距離/3次元位置対応情報1400-1,1400-2)を出力することにしてもよい。
【0144】
出力部805の出力形式としては、例えば、メモリ502、ディスク504などの記憶装置への記憶、通信I/F505による他のコンピュータ(例えば、カメラ端末102)への送信、不図示のディスプレイへの表示、不図示のプリンタへの印刷出力などがある。
【0145】
また、出力部805は、対応付けられた計測点と3次元位置とともに、補間された計測点の3次元位置を出力することにしてもよい。具体的には、例えば、出力部805は、計測点3次元位置テーブル1500内の計測点3次元位置情報(例えば、計測点3次元位置情報1500-1~1500-3)を出力することにしてもよい。
【0146】
なお、上述した情報処理装置101の機能部(取得部801~出力部805)は、例えば、複数のコンピュータ(例えば、情報処理装置101、カメラ端末102)が連携して動作することにより実現されることにしてもよい。
【0147】
(位置特定システム100の動作例)
つぎに、
図16を用いて、位置特定システム100の動作例について説明する。
【0148】
図16は、位置特定システム100の動作例を示す説明図である。
図16において、ユーザU(作業員)は、カメラ端末102と光ファイバ温め器104を用いて、計測対象tgに敷設された光ファイバケーブルfcの3次元形状を復元するための画像群1601(第1画像群および第2画像群)を収集する。
【0149】
情報処理装置101は、画像群1601のうち、第1画像群に対するマスク処理を行う。情報処理装置101は、マスク処理後の第1画像群を含む画像群1601を用いてSfM処理を行うことにより、光ファイバケーブルfcの3次元形状(例えば、3次元形状900)と各画像の撮影位置とを復元する。
【0150】
情報処理装置101は、例えば、各第1画像上でのQRコードの中心位置と、復元した3次元形状と各画像の撮影位置とに基づいて、光ファイバ温め器104により温めた箇所の撮影時刻、温度および3次元位置を示す温め箇所情報を生成して、温め箇所情報テーブル1200に記録する。
【0151】
情報処理装置101は、温度計測装置103により計測された温度分布データ700に基づいて、温め箇所情報テーブル1200を参照して、各第1画像上のQRコードから特定される温度と時刻とに対応する距離(計測点)と、各第1画像に対応する温め箇所の3次元位置とを対応付ける。
【0152】
対応付けられた距離(計測点)と温めた箇所の3次元位置は、距離/3次元位置対応テーブル1400に記憶される。これにより、光ファイバの各計測点(基準点からの距離)に対する3次元位置を特定することができる。
【0153】
(情報処理装置101の位置特定処理手順)
つぎに、
図17を用いて、情報処理装置101の位置特定処理手順について説明する。
【0154】
図17は、情報処理装置101の位置特定処理手順の一例を示すフローチャートである。
図17のフローチャートにおいて、まず、情報処理装置101は、温度計測装置103により計測された各時刻tの温度分布データ、および、カメラ端末102により撮影された画像群(第1画像群、第2画像群)を取得したか否かを判断する(ステップS1701)。
【0155】
ここで、情報処理装置101は、温度分布データおよび画像群を取得するのを待つ(ステップS1701:No)。そして、情報処理装置101は、温度分布データおよび画像群を取得した場合(ステップS1701:Yes)、取得した画像群に含まれる第1画像群に対してマスク処理を実行する(ステップS1702)。
【0156】
つぎに、情報処理装置101は、マスク処理後の第1画像群と第2画像群とを用いてSfM処理を実行する(ステップS1703)。そして、情報処理装置101は、SfM処理の結果に基づいて、温め箇所情報生成処理を実行する(ステップS1704)。温め箇所情報生成処理の具体的な処理手順については、
図18を用いて後述する。
【0157】
つぎに、情報処理装置101は、生成した温め箇所情報を参照して、距離(計測点)と温め箇所の3次元位置とを対応付ける対応付け処理を実行する(ステップS1705)。対応付け処理の具体的な処理手順については、
図19を用いて後述する。
【0158】
つぎに、情報処理装置101は、対応付けた計測点と3次元位置とに基づいて、光ファイバケーブルfcの長さ方向に沿った複数の計測点のうち、3次元位置が未対応の計測点の3次元位置を補間する補間処理を実行する(ステップS1706)。そして、情報処理装置101は、光ファイバの各計測点の3次元位置を出力して(ステップS1707)、本フローチャートによる一連の処理を終了する。
【0159】
これにより、情報処理装置101は、計測対象tgがタンクなどの曲面をもつ対象であっても、光ファイバの各計測点の3次元位置を特定することができる。
【0160】
つぎに、
図18を用いて、
図17に示したステップS1704の温め箇所情報生成処理の具体的な処理手順について説明する。
【0161】
図18は、温め箇所情報生成処理の具体的処理手順の一例を示すフローチャートである。
図18のフローチャートにおいて、まず、情報処理装置101は、第1画像群から選択されていない未選択の第1画像を選択する(ステップS1801)。
【0162】
そして、情報処理装置101は、選択した第1画像上でのQRコードの位置と、SfM処理により復元された3次元形状と第1画像の撮影位置とに基づいて、第1画像に対応する温め箇所の3次元位置を算出する(ステップS1802)。
【0163】
つぎに、情報処理装置101は、選択した第1画像上のQRコードから、温め箇所の撮影時刻および温度を読み取る(ステップS1803)。そして、情報処理装置101は、温め箇所の撮影時刻、温度および3次元位置を対応付けて、温め箇所情報テーブル1200に記憶する(ステップS1804)。
【0164】
つぎに、情報処理装置101は、第1画像群から選択されていない未選択の第1画像があるか否かを判断する(ステップS1805)。ここで、未選択の第1画像がある場合(ステップS1805:Yes)、情報処理装置101は、ステップS1801に戻る。一方、未選択の第1画像がない場合(ステップS1805:No)、情報処理装置101は、温め箇所情報生成処理を呼び出したステップに戻る。
【0165】
これにより、情報処理装置101は、ユーザUが光ファイバ温め器104を設置して温めた光ファイバケーブルfc上の箇所(温め箇所)の3次元位置を求めることができる。
【0166】
つぎに、
図19を用いて、
図17に示したステップS1705の対応付け処理の具体的な処理手順について説明する。
【0167】
図19は、対応付け処理の具体的処理手順の一例を示すフローチャートである。
図19のフローチャートにおいて、まず、情報処理装置101は、温め箇所情報テーブル1200から選択されていない未選択の温め箇所情報を選択する(ステップS1901)。
【0168】
そして、情報処理装置101は、各時刻tの温度分布データを参照して、選択した温め箇所情報の撮影時刻に対応する温度計測結果を特定する(ステップS1902)。つぎに、情報処理装置101は、特定した温度計測結果を参照して、選択した温め箇所情報の温度に対応する距離(計測点)を特定する(ステップS1903)。
【0169】
そして、情報処理装置101は、特定した距離(計測点)と、選択した温め箇所情報の3次元位置とを対応付ける(ステップS1904)。つぎに、情報処理装置101は、温め箇所情報テーブル1200から選択されていない未選択の温め箇所情報があるか否かを判断する(ステップS1905)。
【0170】
ここで、未選択の温め箇所情報がある場合(ステップS1905:Yes)、情報処理装置101は、ステップS1901に戻る。一方、未選択の温め箇所情報がない場合(ステップS1905:No)、情報処理装置101は、対応付け処理を呼び出したステップに戻る。
【0171】
これにより、情報処理装置101は、第1画像上のQRコードから特定される温度と時刻をキーにして、温度分布データと照合して、その時刻に、その温度となっている距離(計測点)を特定して、温め箇所の3次元位置と対応付けることができる。
【0172】
以上説明したように、実施の形態にかかる情報処理装置101は、温度計測装置103により計測された各時刻の温度分布データを取得することができる。温度計測装置103は、計測対象tgに敷設された光ファイバケーブルfc上の複数の計測点の温度分布を計測可能な装置である。
【0173】
また、情報処理装置101は、光ファイバ温め器104により温められた箇所(温め箇所)ごとに撮影された第1画像群と、光ファイバケーブルfcに沿って所定の間隔で撮影された第2画像群とを取得することができる。光ファイバ温め器104は、光ファイバケーブルfcに接触または近接して設置される可搬型の装置である。第1画像は、QRコードが表示された光ファイバ温め器104を含む撮影画像である。QRコードは、光ファイバ温め器104により測定された箇所の温度と時刻とを特定可能なコード情報である。
【0174】
また、情報処理装置101は、取得した第1画像群と第2画像群とに基づいて、光ファイバケーブルfcの3次元形状と、第1画像群の各第1画像の撮影位置とを算出し、各第1画像上でのQRコードの位置と、算出した3次元形状と各第1画像の撮影位置とに基づいて、各第1画像に対応する箇所の3次元位置を算出することができる。
【0175】
これにより、複数の画像(第1画像群、第2画像群)による3次元形状復元技術を利用して、ユーザUが光ファイバ温め器104を設置して温めた光ファイバケーブルfc上の箇所(温め箇所)の3次元位置を求めることができる。
【0176】
また、情報処理装置101は、取得した各時刻の温度分布データを参照して、光ファイバケーブルfc上の複数の計測点のうち、各第1画像上のQRコードから特定される温度と時刻とに対応する計測点を特定し、特定した計測点と、算出した3次元位置とを対応付けることができる。
【0177】
これにより、光ファイバケーブルfcの長さ方向に沿った計測点の3次元位置を特定することができる。
【0178】
また、情報処理装置101は、第1画像群の各第1画像から光ファイバ温め器104が表示された領域を検出して、検出した領域に対するマスク処理を行うことができる。そして、情報処理装置101は、マスク処理後の第1画像群と第2画像群とに基づいて、光ファイバケーブルfcの3次元形状と、各第1画像の撮影位置とを算出することができる。
【0179】
これにより、第1画像上の光ファイバ温め器104が表示された領域が復元に使用されないようにして、3次元形状の復元精度を向上させることができる。
【0180】
また、情報処理装置101は、対応付けた計測点と3次元位置とを出力することができる。
【0181】
これにより、光ファイバをセンサとした温度計測技術を利用して計測対象tgの異常検知を行う際に、温度を計測した地点(計測点)が、計測設備tgのどこの箇所であるかを把握可能にすることができる。
【0182】
また、情報処理装置101は、対応付けた計測点と3次元位置とに基づいて、複数の計測点のうち、3次元位置が未対応の計測点の3次元位置を補間することができる。
【0183】
これにより、光ファイバケーブルfcの長さ方向に沿った複数の計測点それぞれの3次元位置を特定することができる。
【0184】
また、実施の形態にかかる光ファイバ温め器104は、計測対象tgに敷設された光ファイバケーブルfcに接触または近接して設置して、設置した箇所を温めることができる。また、光ファイバ温め器104は、温めた箇所の温度を測定し、測定した温度と時刻とを特定可能なQRコードを表示することができる。
【0185】
これにより、ユーザUは、光ファイバケーブルfc上の温める箇所に光ファイバ温め器104を設置して、その箇所を撮影するという作業を繰り返すことで、光ファイバの計測点の3次元位置を特定するための撮影画像(第1画像)を収集することができる。
【0186】
また、光ファイバ温め器104は、光ファイバケーブルfcに接触または近接してから一定時間経過したことに応じて、温めた箇所の温度と時刻とを特定可能なQRコードを表示することができる。
【0187】
これにより、光ファイバの計測点の3次元位置を特定するための撮影画像(第1画像)を収集するにあたり、QRコードを表示させるためのユーザ操作が不要となり、収集作業にかかるユーザUの作業負荷を軽減することができる。
【0188】
これらのことから、実施の形態にかかる位置特定システム100によれば、平面以外の対象であっても、光ファイバの長さ方向に沿った各計測点の3次元位置を特定することができる。また、位置特定システム100によれば、光ファイバを温めたり、画像を撮影したりする作業を簡易化して、データ収集にかかる作業負荷および作業時間を軽減することができる。これにより、プラント設備のタンクなどの曲面をもつ対象であっても、光ファイバをセンサとした温度計測技術を利用して異常検知を行うことが可能となる。
【0189】
なお、本実施の形態で説明した位置特定方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本位置特定プログラムは、ハードディスク、フレキシブルディスク、CD-ROM、DVD、USBメモリ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本位置特定プログラムは、インターネット等のネットワークを介して配布してもよい。
【0190】
また、本実施の形態で説明した情報処理装置101は、スタンダードセルやストラクチャードASIC(Application Specific Integrated Circuit)などの特定用途向けICやFPGAなどのPLD(Programmable Logic Device)によっても実現することができる。
【0191】
上述した実施の形態に関し、さらに以下の付記を開示する。
【0192】
(付記1)計測対象に敷設される光ファイバケーブルに接触または近接して設置され、前記光ファイバケーブルを温め可能なヒータ、前記ヒータにより温められた箇所の温度を測定可能な温度センサ、および、前記温度センサにより測定された温度と時刻とを特定可能なコード情報を表示する表示部を有する温め器と、
前記光ファイバケーブルの長さ方向に沿った複数の計測点の温度分布を計測可能な温度計測装置により計測された各時刻の温度分布データを取得し、前記温め器を設置して温められた箇所ごとに撮影された、前記箇所の温度と時刻とを特定可能なコード情報が表示された前記温め器を含む第1画像群を取得し、前記光ファイバケーブルに沿って所定の間隔で撮影された第2画像群を取得し、取得した前記第1画像群と前記第2画像群とに基づいて、前記光ファイバケーブルの3次元形状と、前記第1画像群の各第1画像の撮影位置とを算出し、前記各第1画像上でのコード情報の位置と、算出した前記3次元形状と前記各第1画像の撮影位置とに基づいて、前記各第1画像に対応する箇所の3次元位置を算出し、取得した前記各時刻の温度分布データを参照して、前記複数の計測点のうち、前記各第1画像上のコード情報から特定される温度と時刻とに対応する計測点を特定し、特定した前記計測点と、算出した前記3次元位置とを対応付ける情報処理装置と、
を含むことを特徴とする位置特定システム。
【0193】
(付記2)前記情報処理装置は、
前記第1画像群の各第1画像から前記温め器が表示された領域を検出して、検出した前記領域に対するマスク処理を行い、
前記マスク処理後の前記第1画像群と前記第2画像群とに基づいて、前記光ファイバケーブルの3次元形状と、前記各第1画像の撮影位置とを算出する、
ことを特徴とする付記1に記載の位置特定システム。
【0194】
(付記3)前記情報処理装置は、
対応付けた前記計測点と前記3次元位置とを出力する、ことを特徴とする付記1または2に記載の位置特定システム。
【0195】
(付記4)前記情報処理装置は、
対応付けた前記計測点と前記3次元位置とに基づいて、前記複数の計測点のうち、3次元位置が未対応の計測点の3次元位置を補間する、ことを特徴とする付記1~3のいずれか一つに記載の位置特定システム。
【0196】
(付記5)前記光ファイバケーブルは、光ファイバの被覆部分に所定の表面処理が施された光ファイバケーブルである、ことを特徴とする付記1~4のいずれか一つに記載の位置特定システム。
【0197】
(付記6)前記コード情報は、前記温め器が前記光ファイバケーブルに接触または近接してから一定時間経過したことに応じて表示される、ことを特徴とする付記1~5のいずれか一つに記載の位置特定システム。
【0198】
(付記7)前記コード情報は、QR(Quick Response)コードである、ことを特徴とする付記1~6のいずれか一つに記載の位置特定システム。
【0199】
(付記8)前記情報処理装置は、
前記第1画像群と前記第2画像群とを用いてSfM(Structure from Motion)処理を行うことにより、前記光ファイバケーブルの3次元形状と、前記第1画像群の各第1画像の撮影位置とを算出する、ことを特徴とする付記1~7のいずれか一つに記載の位置特定システム。
【0200】
(付記9)計測対象に敷設された光ファイバケーブルの長さ方向に沿った複数の計測点の温度分布を計測可能な温度計測装置により計測された各時刻の温度分布データを取得し、
前記光ファイバケーブルに接触または近接して設置される温め器により温められた箇所ごとに撮影された、前記温め器により測定された前記箇所の温度と時刻とを特定可能なコード情報が表示された前記温め器を含む第1画像群を取得し、
前記光ファイバケーブルに沿って所定の間隔で撮影された第2画像群を取得し、
取得した前記第1画像群と前記第2画像群とに基づいて、前記光ファイバケーブルの3次元形状と、前記第1画像群の各第1画像の撮影位置とを算出し、
前記各第1画像上でのコード情報の位置と、算出した前記3次元形状と前記各第1画像の撮影位置とに基づいて、前記各第1画像に対応する箇所の3次元位置を算出し、
取得した前記各時刻の温度分布データを参照して、前記複数の計測点のうち、前記各第1画像上のコード情報から特定される温度と時刻とに対応する計測点を特定し、
特定した前記計測点と、算出した前記3次元位置とを対応付ける、
処理をコンピュータが実行することを特徴とする位置特定方法。
【0201】
(付記10)計測対象に敷設された光ファイバケーブルの長さ方向に沿った複数の計測点の温度分布を計測可能な温度計測装置により計測された各時刻の温度分布データを取得し、
前記光ファイバケーブルに接触または近接して設置される温め器により温められた箇所ごとに撮影された、前記温め器により測定された前記箇所の温度と時刻とを特定可能なコード情報が表示された前記温め器を含む第1画像群を取得し、
前記光ファイバケーブルに沿って所定の間隔で撮影された第2画像群を取得し、
取得した前記第1画像群と前記第2画像群とに基づいて、前記光ファイバケーブルの3次元形状と、前記第1画像群の各第1画像の撮影位置とを算出し、
前記各第1画像上でのコード情報の位置と、算出した前記3次元形状と前記各第1画像の撮影位置とに基づいて、前記各第1画像に対応する箇所の3次元位置を算出し、
取得した前記各時刻の温度分布データを参照して、前記複数の計測点のうち、前記各第1画像上のコード情報から特定される温度と時刻とに対応する計測点を特定し、
特定した前記計測点と、算出した前記3次元位置とを対応付ける、
処理をコンピュータに実行させることを特徴とする位置特定プログラム。
【符号の説明】
【0202】
100 位置特定システム
101 情報処理装置
102 カメラ端末
103 温度計測装置
104 光ファイバ温め器
110 ネットワーク
201 ヒータ
202 温度センサ
203 接触センサ
204,605 ディスプレイ
210,310 QRコード
301 第1画像
401,402 第2画像
500,600 バス
501,601 CPU
502,602 メモリ
503 ディスクドライブ
504 ディスク
505,603 通信I/F
506 可搬型記録媒体I/F
507 可搬型記録媒体
604 カメラ
606 入力装置
607 スピーカ
608 マイクロフォン
700 温度分布データ
801 取得部
802 第1の算出部
803 第2の算出部
804 対応付け部
805 出力部
900 3次元形状
1200 温め箇所情報テーブル
1400 距離/3次元位置対応テーブル
1500 計測点3次元位置テーブル