(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-24
(45)【発行日】2023-03-06
(54)【発明の名称】プラント設備機器認識システムおよびプラント設備機器認識方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230227BHJP
G21C 17/00 20060101ALI20230227BHJP
【ＦＩ】
G06T7/00 300F
G06T7/00 610A
G21C17/00 100
【請求項の数】
7
(21)【出願番号】P 2019151018
(22)【出願日】2019-08-21
(65)【公開番号】P2021033501
(43)【公開日】2021-03-01
【審査請求日】2021-12-01
(73)【特許権者】
【識別番号】507250427
【氏名又は名称】日立ＧＥニュークリア・エナジー株式会社
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール弁理士法人
(72)【発明者】
【氏名】村田 幸弘
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開２０１８－１８１２９２（ＪＰ，Ａ）
【文献】特開２０１１－１８５６５０（ＪＰ，Ａ）
【文献】栗原恒弥他，プラント設備を対象としたマーカレストラッキング，第１９回 日本バーチャルリアリティ学会大会 論文集 ［ＣＤ－ＲＯＭ］，日本バーチャルリアリティ学会，2014年09月19日，pp.373-376
【文献】宇佐美芳明他，プラント建設のための仮設足場の配置計画手法，情報処理学会論文誌，日本，社団法人情報処理学会，1997年07月15日，第38巻 第7号，pp.1336～1343
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３０／００ － ３０／３９８
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
Ｇ２１Ｃ １７／００
ＣＳＤＢ（日本国特許庁）
(57)【特許請求の範囲】
【請求項1】
モバイル端末を含んで構成されたプラント設備機器認識システムであって、前記モバイル端末は、少なくともプラント内機器の設計図面である三次元構造物情報から抽出された特徴点と、当該特徴点の位置に関する第１の情報と、前記モバイル端末に備えたカメラによって撮影された画像から得た複数の特徴点および位置に関する第２の情報を照合する第１の手段と、照合の結果、照合率が最も高いカメラ位置および撮影されたプラント内機器を特定する第２の手段とを備え、
前記第２の手段で得られた照合率が最も高い前記プラント内機器の位置座標と前記第１の情報の位置座標とから、特徴点の位置座標が一致しない座標群は図面と異なる機器に含まれる座標と判断することを特徴とするプラント設備機器認識システム。
【請求項2】
請求項１に記載のプラント設備機器認識システムであって、前記設計図面と異なる構造のプラント内機器を時系列に記憶する記憶装置を備え、設計図面と異なる構造のプラント内機器における作業工程の進捗管理を行うことを特徴とするプラント設備機器認識システム。
【請求項3】
請求項１または請求項２に記載のプラント設備機器認識システムであって、前記三次元構造物情報から特徴点を抽出する際に、プラント内三次元モデルにおける、作業者が通行することを想定された領域から眺める三次元構造物に対して特徴点を抽出することを特徴とするプラント設備機器認識システム。
【請求項4】
請求項１から請求項３のいずれか１項に記載のプラント設備機器認識システムであって、前記三次元構造物情報を現場映像に重畳するＡＲ技術を用いる際に、前記三次元構造物情報から抽出した特徴点の位置情報を基準位置として用いて情報を表示することを特徴とするプラント設備機器認識システム。
【請求項5】
請求項１から請求項４のいずれか１項に記載のプラント設備機器認識システムであって、前記モバイル端末に備えたカメラ表示部には、前記モバイル端末の位置情報を基に、前記モバイル端末の周辺に存在する構造物に関する情報を表示することを特徴とするプラント設備機器認識システム。
【請求項6】
請求項１から請求項５のいずれか１項に記載のプラント設備機器認識システムであって、前記モバイル端末の位置情報をリアルタイムに更新することで、前記モバイル端末の移動経路を提示する移動経路提示部を備えることを特徴とするプラント設備機器認識システム。
【請求項7】
モバイル端末を用いたプラント設備機器認識方法であって、少なくともプラント内機器の設計図面である三次元構造物情報から抽出された特徴点と、当該特徴点の位置に関する第１の情報と、前記モバイル端末に備えたカメラによって撮影された画像から得た複数の特徴点および位置に関する第２の情報を照合し、照合の結果、照合率が最も高いカメラ位置および撮影されたプラント内機器を特定し、前記照合率が最も高い前記プラント内機器の位置座標と前記第１の情報の位置座標とから、前記第２の情報の位置座標と前記第1の情報の位置座標とが異なる座標群を設計図面と異なる構造のプラント内機器と判断することを特徴とするプラント設備機器認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プラント内で特に無線やマーカなどのインフラ設備が利用できない場合のプラント設備機器認識システムおよびプラント設備機器認識方法に関する。
【背景技術】
【0002】
原子力設備などのプラント設備において、モータやバルブなどのプラント設備機器について、稼働前の試験や稼働後の維持管理などの作業を行うにあたって、作業対象のプラント設備機器ごとの仕様や作業内容などがあらかじめわかっていると、作業効率の向上を図る上で便利である。そのためには、プラント設備機器の個々の設置位置を認識したり、個々の画像を認識したりすることによって、作業対象のプラント設備機器がどのような機器であるかをあらかじめ認識することが必要となる。
【0003】
従来、位置認識には、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、携帯電話基地局、無線ＬＡＮ基地局等を利用した測位技術が広く利用されている。画像認識の技術としては、マーカを用いて現在位置を同定する自己位置特定方法が知られている。また、物体そのものを画像認識し、比較対象として別途用意したモデルとの画像マッチングによって物体を認識する技術も知られている。
【0004】
例えば特許文献１によれば、移動体に搭載したカメラを利用して、画像内の特徴量を分析するとともに、ＳＦＭ手法を用いて移動に伴う各時点の移動体の位置と、各特徴部の相対的な位置関係を演算して求めた特徴量とを比較してマッチングを行う。特許文献１には、「車載のカメラから参照地点付近で撮影された複数の実画像を入力し、その中から特徴部を抽出して第１の特徴情報とする。地図ＤＢから対応する第２の特徴情報を読み出して取得する。第１、第２の特徴情報の特徴部を比較してマッチングすることにより、各特徴部の位置を推定し、当該位置をもとに、ＳＦＭ手法を用いて、移動に伴う各時点の自車の位置と上記各特徴部の位置との相対的な位置関係を演算することで、自車現在位置を推定する。」と記載されている。
【0005】
また、撮影画像から特徴量を抽出する際に、撮影した実画像をオルソ修正した画像を用い、比較対象となる三次元座標データとのマッチングを行って物体を認識する技術がある。例えば、特許文献２には、「カメラによって撮影された現在の実画像オルソ修正したものと、サーバから取得した三次元座標データとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることによりモバイル端末の自己位置を推定する。」と記載されている。
【0006】
特許文献３には、撮影画像から自然特徴点を抽出し、同時に取得したカメラから対象物までの距離情報を用いて三次元自然特徴点マップを作成したデータベースを予め作成し、カメラ撮像で得られた自然特徴点分布と上記自然特徴点データベースとを比較して、現在位置を特定する手法が記載されている。
【0007】
また特許文献４には、、予め登録された対象物体の三次元形状モデルと前記対象物体の特徴点の位置情報と前記対象物体の表面の色情報を用いて抽出された特徴点位置と、カメラ撮影された入力画像から抽出された前記対象物体の特徴点の位置とを比較して物体の位置姿勢を推定する手段が記載されている。
【先行技術文献】
【特許文献】
【0008】
【文献】特開２０１２－１２７８９６号公報
【文献】特開２０１６－１７００６０号公報
【文献】特開２０１１－１４５８５６号公報
【文献】特開２００２－６３５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
ところで、原子力設備などのプラント設備の内部では、通常、ＧＰＳに代表される無線やマーカを利用することができない。したがって、プラント設備の内部においては、プラント設備機器を認識するのに、無線やマーカを利用する場合が多い従来の自己位置特定方法を利用できるとは限らない。また、プラント設備機器は、設計時のＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ）データと形状が異なる、もしくは形状が変更されていることがしばしばある。このため、プラント設備機器の実画像と、設計データに基づく画像とのマッチングがとれず、プラント設備機器を的確に認識することができないことになる。
【0010】
以上のことから本発明においては、無線設備やマーカを設置できないプラント設備においても、また設計データと形状が異なる、もしくは形状が変更されている場合であっても、プラント設備機器を的確に認識することができるプラント設備機器認識システムおよびプラント設備機器認識方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
以上のことから本発明においては、モバイル端末を含んで構成されたプラント設備機器認識システムであって、モバイル端末は、少なくともプラント内機器の設計図面である三次元構造物情報から抽出された特徴点と、当該特徴点の位置に関する第１の情報と、モバイル端末に備えたカメラによって撮影された画像から得た複数の特徴点および位置に関する第２の情報を照合する第１の手段と、照合の結果、照合率が最も高いカメラ位置および撮影されたプラント内機器を特定する第２の手段とを備え、第２の手段で得られた照合率が最も高いプラント内機器の位置座標と第１の情報の位置座標とから、特徴点の位置座標が一致しない座標群は図面と異なる機器に含まれる座標と判断することを特徴とする。
【0012】
また本発明は、モバイル端末を用いたプラント設備機器認識方法であって、少なくともプラント内機器の設計図面である三次元構造物情報から抽出された特徴点と、当該特徴点の位置に関する第１の情報と、モバイル端末に備えたカメラによって撮影された画像から得た複数の特徴点および位置に関する第２の情報を照合し、照合の結果、照合率が最も高いカメラ位置および撮影されたプラント内機器を特定し、照合率が最も高い前記プラント内機器の位置座標と第１の情報の位置座標とから、前記第２の情報の位置座標と前記第１の情報の位置座標とが異なる座標群を設計図面と異なる構造のプラント内機器と判断することを特徴とする。
【発明の効果】
【0013】
本発明によれば、無線設備やマーカを設置できないプラント設備においても、また設計データ（設計時の三次元構造物情報）と形状が異なる、もしくは変更されている場合であっても、作業対象のプラント設備機器を的確に認識することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施例１に係るプラント設備機器認識システムの構成例を示す機能図。
【図2】モバイル端末１０の表示部に表示される表示画面の一例を示す図。
【図3】特徴点データベース１５を作成する事前処理部２０のフローチャートを示す図。
【図4】モバイル端末１０内処理についてのフローチャートを示す図。
【図5】事後処理部３０のフローチャートを示す図。
【発明を実施するための形態】
【0015】
以下、本発明の実施例について図面を参照して詳細に説明するが、本発明はこれらの実施例に限定されるものではない。なお、以下の説明や各図において、同一要素または同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。
【0016】
以下、本発明の実施例を説明するに先立ち、本発明に係るプラント設備機器認識システムおよびプラント設備機器認識方法の適用対象となる典型的なプラント設備の事例について説明する。
【0017】
原子力設備などのプラント設備において、プラント設備機器には、通常、液体・気体・粉体などの流体の輸送や、電気配線やケーブルなどの保護を目的とする配管が接続されている。プラント設備機器としては、モータやバルブなどの機器を例示することができる。プラント設備では、稼働前にプラント設備機器個々について試験を行ったり、稼働後にプラント設備機器個々の維持管理が行われたりする。
【0018】
稼働前の試験や稼働後の維持管理において、作業対象のプラント設備機器の種類や、同じ種類のプラント設備機器でも設置位置（設置場所）の違いなど、個々のプラント設備機器によって仕様や作業内容などが異なる。したがって、モータやバルブなどのプラント設備機器について、稼働前の試験や稼働後の維持管理を行うにあたって、作業効率の向上を図る上で、プラント設備機器個々の仕様や作業内容などがあらかじめわかっていることが好ましい。
【0019】
プラント設備機器個々の仕様や作業内容などをあらかじめ知るには、プラント設備機器の個々の設置位置を認識したり、個々の画像を認識したりすることによって、作業対象のプラント設備機器がどのような機器であるかをあらかじめ認識することが必要となる。ただし、原子力設備などのプラント設備の内部では、一般的に、ＧＰＳに代表される無線やマーカを利用することができない。また、プラント設備機器は、設計時のＣＡＤデータと形状が異なる、もしくは形状が変更されていることがしばしばある。
【0020】
以下に、上記した環境下、即ち、無線設備やマーカを設置できないプラント設備においても、また設計時のＣＡＤデータと形状が異なる、もしくは形状が変更されている場合であっても、作業対象のプラント設備機器について的確に認識できるプラント設備機器認識システムおよびプラント設備機器認識方法の実施例について説明する。
【実施例1】
【0021】
図１は、本発明の実施例１に係るプラント設備機器認識システムの構成例を示す機能図である。本実施例１に係るプラント設備機器認識システム１は、モバイル端末１０と事前処理部２０と事後処理部３０とから構成されており、稼働前の試験や稼働後の維持管理を行うにあたって、作業対象のプラント設備機器を自動的に認識する。また、作業対象のプラント設備機器の周辺に存在する、足場などの一時的な構造物を区別して認識する。作業対象のプラント設備機器は、認識対象のプラント設備機器でもある。本実施例では、作業対象（認識対象）のプラント設備機器が、液体・気体・粉体などの流体の輸送を目的とする配管が接続されたバルブである場合を例示する。
【0022】
モバイル端末１０は、プロセッサやメモリなどが集積されてなるマイクロコンピュータ（マイクロコントローラ）によって計算機システムが構築されており、その処理内容を機能的に表すと、現場処理部１１、照合処理部１２、位置決め処理部１３、機器特定処理部１４より構成されるものと言うことができる。またモバイル端末１０は、事前処理部２０で作成した特徴点データを格納する特徴点データベース１５を有する。モバイル端末１０の各機能部の詳細については後述する。
【0023】
事前処理部２０は、適宜の計算機システムにより構成されたものであり、その処理内容を機能的に表すと、三次元構造物データベース２０１、三次元構造物データベース２０１から自然特徴点を抽出する機能部２０２および自然特徴点に紐づいた位置情報を抽出する機能部２０３によって構成されているものと言うことができる。
【0024】
このうち三次元構造物データベース２０１は、現場にて適宜取得される点群データや、点群データなどを用いてアズビルト化されたＣＡＤデータ（即ち、設計データ）を記憶保持する。点群データには、現場にて撮影されたＲＧＢデータや三次元座標データが含まれており、ＣＡＤデータには、設計データや点群データを基に作成した、プラント設備内における配管の配管径、配管長および配管の絶対位置等の三次元設計データが含まれている。
【0025】
自然特徴点を抽出する機能部２０２では、三次元構造物データベース２０１のＲＧＢデータから自然特徴点を抽出し、位置情報抽出機能部２０３で自然特徴点の三次元座標データを抽出する。抽出された特徴点データは特徴点データベース１５に格納される。
【0026】
事後処理部３０もまた、適宜の計算機システムにより構成されている。ここでは、三次元構造物データベース２０１に記憶された特徴点の位置座標と、位置決め処理部１３の照合率が高い位置を選定する機能１３１で出力された位置座標との比較において、有意に異なる位置座標について、当該対象機器周辺に存在する構造物、例えば足場のような一時的な構造物、もしくは設計図面と異なる構造物の位置座標であると判断して、三次元構造物データベース２０１の構造物とは区別する。
【0027】
概略以上のように構成されるプラント設備機器認識システムについて、モバイル端末１０から順次詳細に説明する。モバイル端末１０は、現場処理部１１、照合処理部１２、位置決め処理部１３、機器特定部１４の各機能および特徴点データベース１５を含んで構成されている。
【0028】
モバイル端末１０において、まず現場処理部１１は、ＲＧＢデータおよびカメラからの距離データを取得可能なカメラ１１１、前記カメラ１１１の撮像データから自然特徴点を抽出する機能部１１２および前記自然特徴点に紐づいた位置情報を抽出する機能部１１３から成る。
【0029】
このうち現場処理部１１では、カメラ１１１を備える。認識対象エリア内に位置や機器に関するマーカなどの補助的な情報がある場合は、カメラ１１１で撮影した当該情報に対してＯＣＲなどを利用して解読し、機器や位置特定の情報として用いることができる。
【0030】
カメラ１１１は、ストラクチャセンサやＲＧＢ画像を撮影するセンサから構成される。ストラクチャセンサは、赤外線カメラやステレオカメラのようなカメラから対象物までの距離の二次元情報を取得可能である。モバイル端末１０から撮影対象物までの距離の二次元情報を取得する。ＲＧＢ画像センサは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどからなり、認識対象のプラント設備機器、これに接続されている配管などを含む認識対象エリア内の設備機器を撮影する。自然特徴点抽出部１１２は、ＲＧＢ画像から得られる情報を基に自然特徴点を抽出し、ストラクチャセンサを用いて当該自然特徴点の位置情報を取得する。
【0031】
照合処理部１２は、事前処理部２０で出力される特徴点およびその位置情報を記録した特徴点データベース１５の位置情報および現場処理部１１で出力される自然特徴点の位置情報を照合する。自然特徴点を抽出するアルゴリズムとしては、ＳＩＦＴ、ＳＵＲＦ、Ａ－ＫＡＺＥなどが提案されており、それぞれのアルゴリズムで得られる自然特徴点は完全に一致することはない。このため、事前処理部２０と現場処理部１１で使用する自然特徴点算出アルゴリズムは同じものを利用することが望ましい。
【0032】
位置決め処理部１３は、照合処理部１２で算出される照合率の中で最も高い値となった位置情報を選定する機能部１３１、複数の自然特徴点までの距離が現場処理部１１で得られたカメラからの距離と同等となる位置を現在位置およびその撮影方向を算出する機能部１３２および位置や撮影方向を算出するための補助的な機能となる電子コンパス１３３から成る。
【0033】
位置決め処理部１３は、照合処理部１２において事前処理部２０から出力される自然特徴点の位置情報と、現場処理部１１から出力される自然特徴点の位置情報とを照合して得られる照合率を比較し、最も照合率が高い自然特徴点の位置情報を選定する。これにより、モバイル端末１０で撮影している構造物近傍の位置情報を得ることができる。また、カメラと複数の自然特徴点までの距離情報が得られているため、カメラの位置、つまり作業者の現在位置も推定することができる。現在位置が特定できればカメラの撮影方向も算出可能である。モバイル端末１０に電子コンパスなどの地磁気を検知してモバイル端末１０の方位情報を取得する手段を備えている場合は、この情報も加味してカメラの撮影方向を算出できる。
【0034】
機器特定処理部１４は、機器とその位置情報を記録した機器データベース１４３、現在位置およびその撮影方向に存在する機器を機器データベース１４３から抽出する機能部１４１および抽出された機器の情報を提示する機能部１４２から成る。
【0035】
機器特定処理部１４は、位置決め処理部１３で得られた、カメラ１１１で撮影している機器の位置情報と、機器データベース１４３に格納されているプラント内機器の位置情報とを照合して、機器を特定する。一意に決まらない場合は複数の候補を列挙する。結果を機器情報提示部１４２で作業者に提示する。
【0036】
機器情報が複数存在する場合、ＡＲ表示を用いて実風景に機器情報を重畳してモバイル端末１０に表示する。ＡＲ表示以外の表示方法としては、カメラの位置情報および撮影方向情報から三次元構造物がどのように作業者に見えているかを表示し、三次元構造物情報を併記することもできる。作業者は三次元情報をみながら画面をタッチするなどで対象物を選択することで、その対象物の情報を得ることができる。機器情報としては、対象物情報以外にも、対象のプラント機器の作業内容なども含まれる。
【0037】
ＡＲ表示を行う際は、三次元構造物データベース２０１に記憶された特徴点の位置座標を基準にして機器情報を重畳表示できる。
【0038】
なお、本実施例では、現場処理部１１、照合処理部１２、位置決め処理部１３、機器特定処理部１４および特徴点データベース１５をモバイル端末１０上に装備して各機能を実施するとしているが、これに限られるものではなく、何らかの手段で現場処理部１１のカメラ１１１で得た画像をモバイル端末１０とは別の作業用端末に転送し、当該端末で実施することもできる。
【0039】
ここで、モバイル端末１０の表示画面について説明する。図２は、モバイル端末１０の表示部に表示される表示画面の一例を示す図の例である。
【0040】
モバイル端末１０は、表示部１５０のほぼ中央部の画像表示画面１５１に、モバイル端末１０に装備されたカメラ１１１で撮影した画像で取得した二次元画像を表示する。本例では、画像表示画面１５１に、バルブ１５１１を挟んで設けられた配管１５１２、１５１３、バルブ１５１１で分岐された配管１５１４、および、配管１５１２、１５１３と平行に配設された配管１５１５を二次元画像として撮像しているイメージを例示している。上記情報はＡＲ表示機能を用いてカメラ画像に情報を重畳して表示することができる。ＡＲ表示については後述する。
【0041】
または、カメラ１１１の位置座標とカメラ方向とから、表示部１５０に映り込んでいる三次元構造物が推定できるため、三次元構造物モデルを表示し、作業者が現場でみている構造物と当該三次元構造物モデルとを比較して判断することもできる。
【0042】
モバイル端末１０には、液晶パネルや有機ＥＬパネルなどの表示装置と、タッチパッドなどの位置入力装置とを組み合わせたタッチパネル（タッチパネルセンサ）が装備されることが多い。タッチパネルからなる表示部１５０において、作業者は、画像表示画面１５１上の配管１５１２／１５１３／１５１４／１５１５に、指などでタッチすることにより、所望の配管を選択することができる。
【0043】
モバイル端末１０は、表示部１５０の上部に、プラント設備を特定するプラント番号「ＡＡＡ」や、認識対象エリアを特定するエリア番号「ＢＢＢ」を入力および表示することができる。選択した配管に関する配管径、配管長および配管高などの特徴量については、あらかじめ三次元構造物データベース２０１（図１参照）に記憶保持されている三次元構造物情報から取得することができる。
【0044】
また、モバイル端末１０は、選択されたプラント設備機器や配管の属性情報を表示部１５０の表示画面内に表示することができる。
【0045】
最後に図１の事後処理部３０においては、上記表示処理とは別個に、相違が認められる特徴点についての事後処理を実施する。例えばまず３０１において、１３１の処理で照合された機器の位置と、３Ｄ構造物データベース２０１に記憶されている機器の位置とで、異なる座標のものを抽出する。この場合に座標が異なるものの全てを抽出して以後の処理の対象とするのではなく、有意性の高いものに限定して抽出するのがよい。例えば現場には本来の機器以外に一時的な作業のために作業用機器や資材を据え置き配置しているような場合があり、これらの作業事情に起因すると思われる座標位置の相違情報は有意情報として採用する。例えば作業のために足場を設置し、これが原因で位置情報に相違を生じているような場合には、優位性があると、判断する。
【0046】
３０２では、有意性のある座標の構造物について、ＣＡＤなどにおける当初の設計図面に記述された構造物とは相違する構造物と認定し、３０３において当該機器の情報を、表示部１５０などを通じて外部に情報提示する。この場合の外部提示先としては、３Ｄ構造物データベース２０１に反映しておくのがよく、この措置により次回の照合の場面では、新たな機器として認定されることを阻止できる。
【0047】
これらの一連の処理は、特徴点の位置座標が一致しない座標群は図面と異なる機器に含まれる座標と判断するものである。これにより、作業対象機器の周辺情報から、（足場などで隠れて）対象機器そのものが見られない場合にもその状況が把握可能となる。
【0048】
本発明の実施例に係るプラント設備機器認識方法を以下に示す。プラント設備機器認識方法は、大まかにいうと事前処理部２０、現場処理部１１、照合処理部１２、位置決め処理部１３、機器特定処理部１４および事後処理部３０の各機能が時系列的に順次処理されることにより実現される。
【0049】
事前処理部２０においては、設計時のＣＡＤなどの設計図面を記憶した三次元構造物データベース２０１の情報を用いて特徴点データベース１５を作成する。特徴点データベース１５を作成する事前処理部２０のフローチャートを図３に示す。
【0050】
図３の一連の処理フローにおける最初の処理ステップＳ１１では、特徴点データベース１５の作成対象となるプラント建屋およびエリアを指定し、三次元構造物情報を指定する。次に処理ステップＳ１２から処理ステップＳ１５に至る一連の処理では、当該構造物情報において、作業者が歩行する可能性が高い領域を優先してその領域から周囲を眺めた際の二次元 ＲＧＢ画像を取り込む。
【0051】
具体的には処理ステップＳ１２において座標系の原点を設定し、処理ステップＳ１３において三次元構造物情報を読み込み、処理ステップＳ１４において作業者歩行領域の情報を抽出し、処理ステップＳ１５において歩行可能領域周辺の二次元 ＲＧＢ画像を取り込む。なおＲＧＢ画像取り込み場所として、作業者が歩行する可能性が高い領域を選定しているが、効率を考慮したもので、この限りではない。
【0052】
ここで取り込んだＲＧＢ画像を基に、処理ステップＳ１６から処理ステップＳ１８に至る一連の処理では、自然特徴点抽出を行い、特徴点ごとの位置座標も紐づけて特徴点データベース１５に情報を登録する。具体的には処理ステップＳ１６において自然特徴点抽出を行い、処理ステップＳ１７において特徴点ごとに位置座標を紐づけ、処理ステップＳ１８において特徴点データベース１５に情報を登録する。
【0053】
処理ステップＳ１９では、歩行可能領域についてすべて検討したことを確認し、一連の処理を終了するが未完了である場合には処理ステップＳ１３に戻って、新たな３Ｄ構造物情報を取り込み一連の処理を再実行する。
【0054】
なお特徴点抽出作業は、モバイル端末１０で実施する必要はなく、事前処理を行うために別途設けた計算機を用いてもよい。特徴点抽出に用いる画像は、三次元構造物データベースとして現場の撮影データ（点群データなど）が含まれているのであれば、その画像を用いることもできる。
【0055】
また、特徴点の位置座標抽出に際しては、予め特徴点位置を定める三次元グリッドを用意し、格子点に最も近い座標を特徴点位置座標に割り当てることも有効である。これにより、三次元構造物データから作成した特徴点の位置座標と、現場でカメラ画像から抽出した特徴点の位置座標が正確に一致する可能性を高めることができる。
【0056】
歩行可能領域全域において上記作業を実施後、図３におけるフローは完了する。
【0057】
モバイル端末１０内処理である、現場処理部１１、照合処理部１２、位置決め処理部１３および機器特定処理部１４についてのフローチャートを図４に示す。
【0058】
図４の処理フローの前提としては、事前処理部２０で作成した特徴点データベース１５に記憶している特徴点データをモバイル端末１０に記憶させている。そのうえで、図４の最初の処理ステップＳ２１において、このモバイル端末１０に備えたカメラ１１１を用いて、プラント内で認識したい構造物を含む撮像を行う。ここではカメラ１１１は、二次元ＲＧＢ画像の他、二次元距離画像を撮影する赤外線カメラやステレオカメラも含めるものとして表記している。
【0059】
次に処理ステップＳ２２では、撮影した二次元ＲＧＢ画像を用いて、撮影画像における特徴点を抽出する。またこのとき処理ステップＳ２３では、当該特徴点に関するカメラからの距離情報も紐づけて記録する。これにより、カメラ座標系を考慮すれば、カメラから対象物までの距離情報があれば座標を定義することができるので、処理ステップＳ２４ではカメラから特徴点までの距離情報から座標を算出する。
【0060】
次に、事前処理部２０で作成した特徴点データベース１５の特徴点位置座標と、上記で算出した現場における特徴点位置座標とを処理ステップＳ２５で照合する。照合に際しては、現場での座標系と特徴点データベース１５の座標系を一致させる変換を行ってから実施する。この照合処理によって、処理ステップＳ２６では特徴点の照合率が最も高くなった対象物上の特徴点およびカメラ位置を抽出し、処理ステップＳ２７ではカメラ撮像している対象機器の撮影方向および現在位置として記憶する。また処理ステップＳ２８では、その機器情報をモバイル端末１０の画面１５０内に表示する。
【0061】
最後に、事後処理部３０において、事前処理部２０に記憶している設計図面とモバイル端末で撮影した現場撮像とが一致しない特徴点についての情報を登録する。設計図面と現場撮像とが一致しないとは、例えば現地作業で必要な一時的な構造物（足場など）が存在する場合が考えられる。一時的な構造物が存在しない周辺部では特徴点の高い照合が得られた場合、照合率の低下は設計図面との相違が原因である可能性が高いと判断する。事後処理部３０のフローチャートを図５に示す。
【0062】
位置決め処理部１３にて、照合率が低い特徴点を抽出する。まず図５のフローチャートの最初の処理ステップＳ３１において、照合対象機器の周辺で照合率が高い機器が存在することを確認する。これは、計測誤差によって本来照合するはずの対象機器が照合しない判定となることを避けるためである。この後、対象機器を撮像し、処理ステップＳ３２において、照合率が低い機器の特徴点と特徴点データベース上の特徴点との差分を抽出する。さらに処理ステップＳ３３において、設計図面上の機器構造物と異なる特徴点を抽出し、処理ステップＳ３４において、位置座標が異なる座標群を設計図面にない構造物として情報を登録する。このようにして、照合率が低い場合は事前処理部２０で取り込んだ特徴点と異なる構造物が存在することを示していることから、この場合には、当該特徴点情報を設計図面にない構造物として登録する。
【実施例2】
【0063】
実施例２に係るプラント設備機器認識システムでは、実施例１で説明した、事後処理部３０で記録される設計図面に記載された機器構造物と現場でカメラ撮像した機器構造物とが異なっている情報を時系列に示し、その変化を進捗管理に活用する。
【0064】
一時的な構造物（たとえば足場）については、その特徴点を時系列に記憶しているため、その形状の変化も把握することができる。変化がある場合には、そのエビデンスとしてカメラ画像を残すなどの作業指示を提示するなど、現場作業支援機能として活用できる。
【実施例3】
【0065】
実施例３に係るプラント設備機器認識システムでは、位置決め処理部１３で決定される現在位置を時系列に記憶する。連続的、もしくはある程度の距離を経て現在位置を認識することで、作業者がどのような経路でどこを移動したかに関するエビデンスを得ることができる。また、各地点に到達した時間も記録されているため、どの作業で時間を要していたかに関する作業管理も可能である。
【0066】
作業者の移動経路を管理するためには、具体的には以下のように構成するのがよい。例えば、図１において位置決め処理部１３内の現在位置及び撮影方向を算出する処理１３２を実行した時に、位置情報を移動履歴として記憶する処理をその都度実施し、この記録内容を適宜の処理要望により図２のモバイル端末１０の表示部１５０の画像表示画面１５１に、プラント内地図上に移動経路として表示することで実現可能である。これらの処理は、移動経路提示部としての機能をモバイル端末１０内に保有していることを意味している。
【0067】
また、現在位置の認識が可能となることで、次の作業現場を登録しておけば、最適な経路で作業者の移動をナビゲートすることが可能である。また、プラントにおいて特有の制約がある場合（例えば原子力プラントでいえば放射線量分布が存在することによる、作業者被ばく量を最小とするなど）、作業者が歩行可能な領域上を通る経路で、かつ被ばく量積算値を最小とする経路探索をすることで、価値を付加した利用が可能となる。
【0068】
本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。例えば、図１や図５に示す各機能部については、ソフトウェアで実現する場合の他、それらの一部または全部を、例えば集積回路で設計するなどによってハードウェアで実現してもよい。
【0069】
また、上記した実施例では、プラント設備機器を例に挙げて説明したが、本発明は、三次元構造物情報が存在する建屋全般に適用できる。
【符号の説明】
【0070】
１…プラント設備機器認識システム
１０…モバイル端末
１１…現場処理部
１１１…カメラ
１２…照合処理部
１３…位置決め処理部
１４…機器特定処理部
１４３…機器情報データベース
１５…特徴点データベース
２０…事前処理部
２０１…３Ｄ構造物データベース
３０…事後処理部
１０…モバイル端末
１１…現場処理部
１１１…カメラ
１２…照合処理部
１３…位置決め処理部
１４…機器特定処理部
１４３…機器情報データベース
１５…特徴点データベース
２０…事前処理部
２０１…３Ｄ構造物データベース
３０…事後処理部
【図1】
【図2】
【図3】
【図4】
【図5】