特開 2023-89594 画像情報処理装置、点検支援装置、並びに方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023089594

(43)【公開日】2023-06-28

(54)【発明の名称】画像情報処理装置、点検支援装置、並びに方法

(51)【国際特許分類】

   G06T 7/33 20170101AFI20230621BHJP

   G06T 7/00 20170101ALI20230621BHJP

   G06T 7/521 20170101ALI20230621BHJP

   G06Q 10/20 20230101ALI20230621BHJP

【ＦＩ】

G06T7/33

G06T7/00 C

G06T7/521

G06Q10/00 300

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021204195

(22)【出願日】2021-12-16

(71)【出願人】

【識別番号】507250427

【氏名又は名称】日立ＧＥニュークリア・エナジー株式会社

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】杉本 洋平

(72)【発明者】

【氏名】佐藤 義人

(72)【発明者】

【氏名】照沼 博之

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049CC15

5L096AA02

5L096AA06

5L096AA09

5L096BA03

5L096CA02

5L096CA18

5L096EA03

5L096FA69

5L096GA06

5L096GA40

5L096HA07

(57)【要約】

【課題】高解像度・ＣＡＤ差分を含む点群画像を実用的な時間で表示可能とする画像情報処理装置、点検支援装置、並びに方法を提供する。
【解決手段】現場の機器に向けられたカメラとレーザスキャナから画像と高密度な点群を入力し、計算機装置の演算部において情報処理する画像情報処理装置であって、演算部は、高密度な点群を間引き処理して低密度な点群とする点群間引き部と、画像上に、低密度な点群の情報を連携して配置した点群―画像連携情報を得る点群―画像連携部の機能を備えるとともに、複数ピクセルで構成される画像は、画像上のピクセルの位置情報と色情報を含み、点群は機器とレーザスキャナの間の位置情報と色情報を含み、画像の位置情報と点群の位置情報により、画像上に、低密度な点群の情報を連携することを特徴とする画像情報処理装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

現場の機器に向けられたカメラとレーザスキャナから画像と高密度な点群を入力し、計算機装置の演算部において情報処理する画像情報処理装置であって、
前記演算部は、前記高密度な点群を間引き処理して低密度な点群とする点群間引き部と、前記画像上に、前記低密度な点群の情報を連携して配置した点群―画像連携情報を得る点群―画像連携部の機能を備えるとともに、
複数ピクセルで構成される前記画像は、画像上のピクセルの位置情報と色情報を含み、前記点群は前記機器と前記レーザスキャナの間の位置情報と色情報を含み、前記画像の位置情報と前記点群の位置情報により、前記画像上に、前記低密度な点群の情報を連携することを特徴とする画像情報処理装置。

【請求項2】

請求項１に記載の画像情報処理装置であって、
前記演算部は、現場の前記機器の構造と属性情報を含むＣＡＤモデルと前記低密度な点群を照合して点群―ＣＡＤ連携情報を得る点群―ＣＡＤ照合部の機能を備えるとともに、
前記ＣＡＤモデルが有する前記機器の構造に含まれる位置情報と、前記点群の位置情報により、前記ＣＡＤモデルと前記低密度な点群を照合して前記点群―ＣＡＤ連携情報を得ることを特徴とする画像情報処理装置。

【請求項3】

請求項２に記載の画像情報処理装置であって、
前記演算部は、前記点群―画像連携情報と前記点群―ＣＡＤ連携情報を連携して点群―画像―ＣＡＤ連携情報を得る点群―画像―ＣＡＤ連携部の機能を備えることを特徴とする画像情報処理装置。

【請求項4】

請求項２または請求項３に記載の画像情報処理装置であって、
前記点群―ＣＡＤ連携情報は、前記ＣＡＤモデルが有する前記機器の構造に含まれる位置情報と前記点群の位置情報の差分を含むことを特徴とする画像情報処理装置。

【請求項5】

現場の機器に向けられたカメラおよびレーザスキャナと、前記カメラおよび前記レーザスキャナから画像と高密度な点群を入力する入力部と、前記入力部からの情報を処理する演算部と、前記演算部の処理結果を表示する表示部とを備える点検支援装置であって、
前記演算部は、前記高密度な点群を間引き処理して低密度な点群とする点群間引き部と、前記画像上に、前記低密度な点群の情報を連携して配置した点群―画像連携情報を得る点群―画像連携部の機能を備え、前記点群―画像連携情報を前記表示部に表示するとともに、
複数ピクセルで構成される前記画像は、画像上のピクセルの位置情報と色情報を含み、前記点群は前記機器と前記レーザスキャナの間の位置情報と色情報を含み、前記画像の位置情報と前記点群の位置情報により、前記画像上に、前記低密度な点群の情報を連携することを特徴とする点検支援装置。

【請求項6】

請求項５に記載の点検支援装置であって、
前記演算部は、現場の前記機器の構造と属性情報を含むＣＡＤモデルと前記低密度な点群を照合して点群―ＣＡＤ連携情報を得る点群―ＣＡＤ照合部の機能を備え、前記点群―ＣＡＤ連携情報を前記表示部に表示するとともに、
前記ＣＡＤモデルが有する前記機器の構造に含まれる位置情報と、前記点群の位置情報により、前記ＣＡＤモデルと前記低密度な点群を照合して前記点群―ＣＡＤ連携情報を得ることを特徴とする点検支援装置。

【請求項7】

請求項６に記載の点検支援装置であって、
前記演算部は、前記点群―画像連携情報と前記点群―ＣＡＤ連携情報を連携して点群―画像―ＣＡＤ連携情報を得る点群―画像―ＣＡＤ連携部の機能を備え、前記点群―画像―ＣＡＤ連携情報を前記表示部に表示することを特徴とする点検支援装置。

【請求項8】

請求項６または請求項７に記載の画像情報処理装置であって、
前記点群―ＣＡＤ連携情報は、前記ＣＡＤモデルが有する前記機器の構造に含まれる位置情報と前記点群の位置情報の差分を含むことを特徴とする画像情報処理装置。

【請求項9】

現場の機器に向けられたカメラとレーザスキャナから画像と高密度な点群を入力し、計算機装置の演算部において情報処理する画像情報処理方法であって、
前記演算部は、前記高密度な点群を間引き処理して低密度な点群とし、前記画像上に、前記低密度な点群の情報を連携して配置した点群―画像連携情報を得るとともに、
複数ピクセルで構成される前記画像は、画像上のピクセルの位置情報と色情報を含み、前記点群は前記機器と前記レーザスキャナの間の位置情報と色情報を含み、前記画像の位置情報と前記点群の位置情報により、前記画像上に、前記低密度な点群の情報を連携することを特徴とする画像情報処理方法。

【請求項10】

現場の機器に向けられたカメラおよびレーザスキャナから画像と高密度な点群の情報を得、前記情報を処理し、処理結果を表示する点検支援方法であって、
前記高密度な点群を間引き処理して低密度な点群とし、前記画像上に、前記低密度な点群の情報を連携して配置した点群―画像連携情報を得、前記点群―画像連携情報を表示するとともに、
複数ピクセルで構成される前記画像は、画像上のピクセルの位置情報と色情報を含み、前記点群は前記機器と前記レーザスキャナの間の位置情報と色情報を含み、前記画像の位置情報と前記点群の位置情報により、前記画像上に、前記低密度な点群の情報を連携することを特徴とする点検支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、レーザスキャナから得た画像情報を処理する画像情報処理装置、点検支援装置、並びに方法に関する。

【背景技術】

【0002】

各種プラントなどの設備において、その監視や点検を目的としてカメラやスキャナから得た情報を、それぞれの目的に応じて処理し、その結果を監視や制御などに反映することが広く行われている。

【0003】

例えば原子力発電所では、安全性の向上のために現場点検を実施し、設計と施工の差、設備の劣化などを確認するが、作業員等の現地移動、入構手続きなど含め点検工数が過大になるという課題がある。これに対し、プラント安全、サイバーセキュリティの観点から、カメラ・ＩｏＴ機器・無線を活用したリアルタイム遠隔点検とすることが考えられるが、その実現は困難である。

【0004】

この点において、レーザスキャナで計測する点群／画像、設計ＣＡＤモデルを活用し、ＶＲ空間上で現場点検を実施できるシステムが点検工数低減に有効であると考えられている。この技術に関し、例えば特許文献１では、設備点検結果の記録を効率化するため、レーザスキャナから取得する点群を画像に変換して表示（点群画像）して、ＣＡＤモデル化を支援し、点群画像とＣＡＤモデルの重畳表示も可能としている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－１０４５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１によれば、点群画像表示が実現可能である。しかしながら、実用的な描画処理速度を確保するためには、点群を間引く必要があるが、生成される点群画像の解像度も低下するため、小さい物体（ボルト等）や、スキャン位置から離れた部位の点検には適用不可である。

【0007】

また、設計と施工の差を比較するためには、点群をＣＡＤモデルに変換する必要がある。そのため、ＣＡＤモデルへの自動変換が可能な簡易形状（配管貫通孔など）以外は、ＶＲ点検するために多大なモデリング工数が必要となる。

【0008】

以上のことから本発明においては、高解像度・ＣＡＤ差分を含む点群画像を実用的な時間で表示可能とする画像情報処理装置、点検支援装置、並びに方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

以上のことから本発明においては「現場の機器に向けられたカメラとレーザスキャナから画像と高密度な点群を入力し、計算機装置の演算部において情報処理する画像情報処理装置であって、演算部は、高密度な点群を間引き処理して低密度な点群とする点群間引き部と、画像上に、低密度な点群の情報を連携して配置した点群―画像連携情報を得る点群―画像連携部の機能を備えるとともに、複数ピクセルで構成される画像は、画像上のピクセルの位置情報と色情報を含み、点群は機器とレーザスキャナの間の位置情報と色情報を含み、画像の位置情報と点群の位置情報により、画像上に、低密度な点群の情報を連携することを特徴とする画像情報処理装置」としたものである。

【0010】

また本発明においては「現場の機器に向けられたカメラおよびレーザスキャナと、カメラおよびレーザスキャナから画像と高密度な点群を入力する入力部と、入力部からの情報を処理する演算部と、演算部の処理結果を表示する表示部とを備える点検支援装置であって、演算部は、高密度な点群を間引き処理して低密度な点群とする点群間引き部と、画像上に、低密度な点群の情報を連携して配置した点群―画像連携情報を得る点群―画像連携部の機能を備え、点群―画像連携情報を表示部に表示するとともに、複数ピクセルで構成される画像は、画像上のピクセルの位置情報と色情報を含み、点群は機器とレーザスキャナの間の位置情報と色情報を含み、画像の位置情報と点群の位置情報により、画像上に、低密度な点群の情報を連携することを特徴とする点検支援装置」としたものである。

【0011】

また本発明においては「 現場の機器に向けられたカメラとレーザスキャナから画像と高密度な点群を入力し、計算機装置の演算部において情報処理する画像情報処理方法であって、
前記演算部は、高密度な点群を間引き処理して低密度な点群とし、画像上に、低密度な点群の情報を連携して配置した点群―画像連携情報を得るとともに、複数ピクセルで構成される画像は、画像上のピクセルの位置情報と色情報を含み、点群は機器とレーザスキャナの間の位置情報と色情報を含み、画像の位置情報と点群の位置情報により、画像上に、低密度な点群の情報を連携することを特徴とする画像情報処理方法」としたものである。

【0012】

また本発明においては「現場の機器に向けられたカメラおよびレーザスキャナから画像と高密度な点群の情報を得、情報を処理し、処理結果を表示する点検支援方法であって、高密度な点群を間引き処理して低密度な点群とし、画像上に、低密度な点群の情報を連携して配置した点群―画像連携情報を得、点群―画像連携情報を表示するとともに、複数ピクセルで構成される画像は、画像上のピクセルの位置情報と色情報を含み、点群は機器とレーザスキャナの間の位置情報と色情報を含み、画像の位置情報と点群の位置情報により、画像上に、低密度な点群の情報を連携することを特徴とする点検支援方法」としたものである。

【発明の効果】

【0013】

本発明によれば、高解像度・ＣＡＤ差分を含む点群画像を実用的な時間で表示することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施例に係る画像情報処理装置を用いた点検支援装置の全体構成例を示す図。

【図2】レーザスキャナ１１で計測する環境の例を示す図。

【図3】レーザスキャナ１１で計測して得られた高密度な点群Ｄ１ａの一例を示す図。

【図4】点群Ｄ１ａのデータ構成一例を示す図。

【図5】間引き処理により得られた低密度な点群Ｄ２の一例を示す図。

【図6】レーザスキャナ計測で得られた写真のデータ（ピクセル）Ｄ１ｂの一例を示す図。

【図7】画像左上を原点として縦軸Ｉｘ、横軸ＩＹの座標（画像座像）により、各ピクセルの情報として表した図。

【図8】点群Ｄ２と画像Ｄ１ｂを連携処理した後の状態を例示した図。

【図9】点群―画像連携後の点群―画像連携データＤ４の構成例を示す図。

【図10】点群―ＣＡＤ照合部２３の処理内容を示す図。

【図11】点群―画像―ＣＡＤ連携部２４の処理内容を示す図。

【図12】点群―画像―ＣＡＤ連携情報Ｄ６による画像表示例を示す図。

【図13】点群―画像―ＣＡＤ連携情報Ｄ６による画像表示例を示す図。

【図14】点群―画像連携部２２における点群―画像連携処理のフローを示す図。

【図15】点群画像を作成する方法（間引き前の点群）を示す図。

【図16】点群Ｄ２をパノラマ画像状に並べた状態を示す図。

【図17】点群―ＣＡＤ照合部２３における点群―ＣＡＤ連携処理のフローを示す図。

【図18】点群―画像―ＣＡＤ連携部２４における点群―画像―ＣＡＤ連携処理のフローを示す図。

【図19】表示部１２における表示処理のフローを示す図

【発明を実施するための形態】

【0015】

以下、本発明の実施例について、図面を用いて説明する。

【実施例0016】

図１は、本発明の実施例に係る画像情報処理装置を用いた点検支援装置の全体構成例を示す図である。

【0017】

図１において点検支援装置１０は、レーザスキャナ１１から得たプラントの画像情報を画像情報処理装置２０で処理し、表示装置１２に処理結果を出力することで、プラントの点検を支援するための情報を提示する。

【0018】

計算機装置のデータベースと演算部により構成される画像情報処理装置２０は、データベースとして高解像度な画像情報Ｄ１を記憶する高解像度画像データベースＤＢ１、低密度な点群情報Ｄ２を記憶する低密度点群データベースＤＢ２、ＣＡＤモデル情報Ｄ３を記憶するＣＡＤモデルデータベースＤＢ３、点群―画像連携情報Ｄ４を記憶する点群―画像連携データベースＤＢ４、点群―ＣＡＤ連携情報Ｄ５を記憶する点群―ＣＡＤ連携データベースＤＢ５、点群―画像―ＣＡＤ連携情報Ｄ６を記憶する点群―画像―ＣＡＤ連携データベースＤＢ６を備えている。

【0019】

また演算部における処理内容を機能的に表すと、点群間引き部２１、点群―画像連携部２２、点群―ＣＡＤ照合部２３、点群―画像―ＣＡＤ連携部２４の各処理機能を備えている。

【0020】

以下、点検支援装置１０を構成する各機能及び各部で取り扱う情報について具体事例をもって説明する。まずレーザスキャナ１１に関して図２はレーザスキャナ１１で計測する環境の例を示しており、この例では原子力発電所などのプラントにカメラを搭載するレーザスキャナ１１を配置し、壁Ｗを背景にして床１３上に設置された監視対象物である機器１４及び配管１５ａ、１５ｂにレーザ１６を照射することで、プラント内の環境を画像情報Ｄ１として取得する。

【0021】

ここで画像情報Ｄ１とは、レーザスキャナ１１で計測して得られた高密度な点群Ｄ１ａと、レーザスキャナ計測で得られたカメラによる写真のデータ（ピクセル）Ｄ１ｂを含む情報である。なお写真のデータ（ピクセル）Ｄ１ｂを単に画像ということがある。

【0022】

図３は、レーザスキャナ１１で計測して得られた高密度な点群Ｄ１ａの一例を示す図である。また図４は、点群Ｄ１ａのデータ構成例を示す図である。この図によれば、点群Ｄ１ａのデータは、例えばレーザスキャナ１１の設置位置を基準位置０とするＸ軸、Ｙ軸、Ｚ軸の３次元位置情報Ｐと、レーザ照射点の色情報（ＲＧＢ）により構成されている。点群Ｄ１ａは、高解像度画像データベースＤＢ１に記憶されている。

【0023】

図１の点群間引き部２１では、レーザスキャナ１１で計測して得られた高密度な点群Ｄ１ａに対して間引き処理を実行し、例えば図５に例示されるような低密度な点群Ｄ２を得る。間引きの考え方としては、均等に間引いてもよいし、所定の規則に従って間引くものであってもよい。所定の規則とは例えば、隣接する点間でレーザスキャナ１１からの距離が同じである、或は色相の変化が少ないといった場合には間引き量を多くするなどである。間引き処理実行後の低密度な点群Ｄ２は、図４と同じデータ構成を有しており、低密度点群データベースＤＢ２に記憶される。

【0024】

図６は、レーザスキャナ計測で得られた写真のデータ（ピクセル）Ｄ１ｂの一例を示す図である。図６は、壁Ｗや床１３を背景とし、監視対象物である機器１４や配管１５ａ、１５ｂを映した画像の例である。図７は、例えば画像左上を原点として縦軸Ｉｘ、横軸ＩＹの座標（画像座像）により、各ピクセルの情報として表したものである。図７の写真データＤ１ｂは、画像座標（縦軸Ｉｘ、横軸ＩＹ）の情報とレーザ照射点の色情報（ＲＧＢ）により構成されている。なお各ピクセルは、色情報（ＲＧＢ）を持っている。写真データＤ１ｂは、高解像度画像データベースＤＢ１に記憶されている。

【0025】

図１に戻り、点群―画像連携部２２では、図５の間引き処理実行後の低密度な点群Ｄ２と、図６の画像Ｄ１ｂを連携する処理を実施する。これは、画像Ｄ１ｂの情報に低密度な点群Ｄ２の情報を加味することであり、画像Ｄ１ｂは画像左上を原点とする画像座標（縦軸Ｉｘ、横軸ＩＹ）の情報を有し、他方間引き後の点群Ｄ２はレーザスキャナ１１の設置位置を基準位置０とするＸ軸、Ｙ軸、Ｚ軸の３次元位置情報Ｐを有しており、これら２つの座標には相関があることから、相互での座標変換が可能である。これにより、両者の情報をマージすることができる。

【0026】

図８は、点群Ｄ２と画像Ｄ１ｂを連携処理した後の状態を例示したものであり、壁Ｗや床１３を背景とし、機器１４や配管１５ａ、１５ｂを映した画像の上に、「●」で示す間引き後の点群Ｄ２を配置したものである。

【0027】

また図９は、点群―画像連携後の点群―画像連携データＤ４の構成例を示している。点群―画像連携データＤ４は、２つの座標系（縦軸Ｉｘ、横軸ＩＹの画像座像系Ｉと、Ｘ軸、Ｙ軸、Ｚ軸の３次元座標系Ｐ）と色情報Ｃ（ＲＧＢ）により構成されている。但し、点群が存在するピクセルはＲＧＢとＸＹＺ値を持つ。点群が存在しないピクセルはＲＧＢのみ持つ。点群―画像連携後の点群―画像連携データＤ４は、点群―画像連携データベースＤＢ４に記憶される。

【0028】

図１に戻り、点群―ＣＡＤ照合部２３では、ＣＡＤモデルデータベースＤＢ３に保持している監視対象物の情報Ｄ３と、低密度点群データベースＤＢ２に記憶している低密度な点群情報Ｄ２を照合する。

【0029】

図１０は、点群―ＣＡＤ照合部２３の処理内容を示した図であり、まず左上には監視対象物である機器１４及び配管１５ａ、１５ｂのＣＡＤモデルが示されており、ＣＡＤモデルデータベースＤＢ３にはこれらの寸法、構成、素材や各種属性の情報Ｄ３が保有されている。また右上には同じ監視対象物である機器１４及び配管１５ａ、１５ｂの低密度点群Ｄ４が示されており、低密度点群データベースＤＢ２には図４に例示したような点群の３次元座標位置Ｐの情報と色情報Ｃが保有されている。

【0030】

点群―ＣＡＤ照合部２３では、ＣＡＤモデルの情報Ｄ３と点群Ｄ４が有する位置情報を用いて、ＣＡＤモデルの情報Ｄ３と点群の情報Ｄ４を照合し、マージする。この処理では、単なる情報の連携、整理にとどまらず、監視対象物である機器１４及び配管１５ａ、１５ｂについての２つの情報の情報差分を値として求めている。これらは機器１４や配管１５ａ、１５ｂについての大きさの差分や、設置位置のずれを示す差分の情報である。図１０の下には、この称号処理により得られた点群―ＣＡＤ連携情報Ｄ５の一例を示しており、この情報は点群―ＣＡＤ連携データベースＤＢ５に保持される。

【0031】

点群―画像―ＣＡＤ連携部２４の処理について図１１を用いて説明する。図１１の左側には点群―画像連携データベースＤＢ４に記憶された点群―画像連携情報Ｄ４の一例（図９）を、右側には点群―ＣＡＤ連携データベースＤＢ５に記憶された点群―ＣＡＤ連携情報Ｄ５の一例（図１０）を示している。これらの情報Ｄ４、Ｄ５はいずれもＸ軸、Ｙ軸、Ｚ軸の３次元位置情報Ｐを含むことから、これをキー情報としてこれらのデータをマージして図１１下側の点群―画像―ＣＡＤ連携情報Ｄ６を作成することができる。

【0032】

図１２、図１３は、最終的に作成された点群―画像―ＣＡＤ連携情報Ｄ６を用いて表示部１２に表示する画像表示例を示している。このうち図１２の画像表示例によれば、各点に付与されたＣＡＤモデルＩＤに基づき、配管、機器、その他の壁や床の部分の点群はそれぞれの部位に応じた色分け表示がされている。また、各点は最も近いＣＡＤモデルのＩＤが付与される。また、クリックしたピクセル（またはそれに最も近いピクセルの）に格納されているＣＡＤモデルＩＤを表示できる。

【0033】

図１３の表示例では、ＣＡＤモデルと点群の間の位置や大きさの差分に応じた色分けをしている。Ｒ１で示す領域において差分が多く出ており、Ｒ２で示す領域において差分が中程度であり、Ｒ３で示す領域では差分が少ないという傾向があることを表示して認識可能としている。

【0034】

図１４は、点群―画像連携部２２における点群―画像連携処理のフローを示す図である。この処理ではまず処理ステップＳ２１において、レーザスキャナ１１で計測した高密度な点群の情報Ｄ１ｂとして、高解像度な画像情報Ｄ１を記憶する高解像度画像データベースＤＢ１から（ｘ、ｙ、ｚ、ｒ、ｐ、ｇ）を読みこむ。

【0035】

処理ステップＳ２２では、スキャン情報を取得する。ここでスキャン情報とは、レーザスキャナの原点座標、レーザ照射範囲（φ方向およびθ方向に関する最大／最小角）、およびレーザ照射間隔（φ方向およびθ方向のレーザ照射間隔、または、レーザ照射数）などである。

【0036】

図１５は、点群画像を作成する方法（間引き前の点群）を示す図であり、この図によりレーザスキャナ１１のレーザ照射範囲、照射間隔について説明する。

【0037】

図１５左側にレーザスキャンの概念を示しているが、レーザスキャナ１１の計測では、まずθ方向に０°～約１８０°までレーザを一定間隔で照射する。次に、スキャナ駆動部をφ方向に一定間隔回転させ、再びφ方向にレーザを一定間隔で照射する。これをφ方向に０°～約３６０°となるまで繰り返し、３６０°の点群を取得する。

【0038】

図１５右側に格子状に並べた点群を示しているが、レーザスキャナ１１で計測した点群データは、スキャナ付属ソフトによりレーザ照射順に点が並んだ整列点群（ＰＴＸやｅ５７と呼ばれるファイル形式）で保存できる。整列点群には、以下の情報が入っている。これらは、レーザスキャナで計測した点群のレーザ照射順序、レーザ照射範囲（φ方向およびθ方向に関する最大／最小角）、レーザ照射間隔（φ方向およびθ方向のレーザ照射間隔、または、レーザ照射数）である。この情報を元に、整列点群を図１５右のように格子状に並べると、パノラマ画像状の点群画像を作成できる（各ピクセルには点が格納されているｘ、ｙ、ｚ、ｒ、ｇ、ｂ）。なお、ここでφ、θは角度、Ｉｘ、Ｉｙはピクセル番号であり、角度とピクセル番号は相互に変換可能である。またすべてのピクセルには点が格納されている。

【0039】

処理ステップＳ２３では、レーザスキャナ１１で計測して得られた高密度な点群Ｄ１ａに対して間引き処理を実行し、例えば図５に例示されるような低密度な点群Ｄ２を得る。間引き手法は公知のものが適用でき、等間隔（一定距離間隔）での間引き、あるいはランダムな間引きのいずれであってもよい。

【0040】

処理ステップＳ２４では、処理ステップＳ２２で取得したスキャン情報を用いて、点群Ｄ２をパノラマ画像状に並べる。図１６は、点群Ｄ２をパノラマ画像状に並べた状態を示している。図１５のピクセル上に点群を配置している。図１６により、点群画像を作成する方法（間引き後の点群）について説明する。このとき、間引きされた点群は整列していない（レーザ照射順序にならんでいない）ため、そのままでは簡単に格子状に並べられないことから、例えば以下のような処理を行う。

【0041】

まず、スキャナ原点座標０と各点座標との位置関係から、各点のφとθを計算する。これは公知の方法で数学的に算出すれば良い。次に、各点のφとθ、および、事前に取得しておいたレーザ照射範囲（φｍａｘ、φｍｉｎ、θｍａｘ、θｍｉｎ）、および、照射間隔（Δφ、Δθ）を用いて、各点の画像座標を計算する。例えば、φ方向のピクセル番号についてＩｘ＝（φ－φｍｉｎ）÷（φｍａｘ－φｍｉｎ）×φｍａｘ－φｍｉｎ）÷Δφとし、θ方向のピクセル番号についてＩｙ＝（θ－θｍｉｎ）÷（θｍａｘ－θｍｉｎ）×（θｍａｘ－θｍｉｎ）÷Δθを演算する。

【0042】

処理ステップＳ２５では、レーザスキャナ１１に搭載されたカメラで撮影されたパノラマ画像を読込む。これは図６の情報である。

【0043】

処理ステップＳ２５では、パノラマ画像の画角が３６０°を超過して重複部が存在する場合には、重複部を除去する。この処理は、公知の画像処理技術を用いて実施することができる。

【0044】

処理ステップＳ２６では、カメラ画像と点群画像のピクセルを重ね合わせて、カメラ画像の各ピクセルに点群データ（Ｘ、Ｙ、Ｚ）を付与する。この一連の処理により、点群―画像連携情報Ｄ４が生成され、点群―画像連携データベースＤＢ４に記憶される。

【0045】

図１７は、点群―ＣＡＤ照合部２３における点群―ＣＡＤ連携処理のフローを示す図である。この処理ではまず処理ステップＳ３１において、図１４の点群－画像連携処理の処理ステップＳ３で間引きした点群Ｄ２を取得し、処理ステップＳ３２において、ＣＡＤモデルＤ３を取得する。

【0046】

処理ステップＳ３３において、これらの点群Ｄ２とＣＡＤモデルＤ３を位置合わせし、処理ステップＳ３４において、点群とＣＡＤモデルを連携して、機器１４や配管１５ａ、１５ｂの位置や大きさについての差分を計算する。処理ステップＳ３５では、各点に対して最も近いＣＡＤモデルのＩＤ、および、その差分（距離）を付与する。この一連の処理により、点群―ＣＡＤ連携情報Ｄ５が生成され、点群―ＣＡＤ連携データベースＤＢ５に記憶される。

【0047】

図１８は、点群―画像―ＣＡＤ連携部２４における点群―画像―ＣＡＤ連携処理のフローを示す図である。この処理ではまず処理ステップＳ４１において、点群―画像連携データベースＤＢ４から点群―画像連携情報Ｄ４を取得し、処理ステップＳ４２において、点群―ＣＡＤ連携データベースＤＢ５から点群―ＣＡＤ連携情報Ｄ５を取得し、点群の三次元座標Ｘ、Ｙ、Ｚが一致する場合にデータを結合する。この一連の処理により、点群―画像―ＣＡＤ連携情報Ｄ６が生成され、点群―画像―ＣＡＤ連携データベースＤＢ６に記憶される。

【0048】

図１９は、表示部１２における表示処理のフローを示す図である。この処理ではまず処理ステップＳ５１において、点群－画像－ＣＡＤ連携データベースＤＢ６から点群―画像―ＣＡＤ連携情報Ｄ６を取得する。処理ステップＳ５２では、画像を表示するが、ＣＡＤモデルＩＤや、差分を用いて各点を色分け表示することが可能である。

【0049】

処理ステップＳ５３では、ユーザが図１に図示せぬマウスなどの入力部からクリックしたピクセルの座標（Ｉｘ、Ｉｙ）を取得する。

【0050】

以上述べた本発明の実施例によれば、レーザスキャナ１１で計測する高解像度な画像Ｄ１ａと、間引きされた低密度な点群Ｄ２を連携することで、高解像度かつ軽量な点群画像Ｄ４を生成することができる。また点群Ｄ２とＣＡＤモデルＤ３を照合してその差分を検出することで、設備形状に左右されずに設計と施工の差を比較可能とすることができる。

【0051】

これはレーザスキャナで計測する点群Ｄ２・画像Ｄ１ａ、および、設計ＣＡＤモデルＤ３を連携することにより達成されることであり、レーザスキャナ１１で計測可能なすべての設備について、ＶＲ空間上で点検が可能である。このことは、原子力設備など作業員の立ち入りが困難な、制約を受けるプラント設備の場合であっても、立ち入りを必要としなくても、現場に行かずに発電所の設備を点検することができ、かつ点検日数は２週間を１日程度に短縮することができる。

【0052】

本発明により、高解像度・ＣＡＤ差分を含む点群画像を実用的な時間で表示可能であり、例えば処理時間が１００秒から５秒に低減でき、点群とＣＡＤを比較することでしか得られない情報（点群とＣＡＤの差分、設備名などの属性）が、画像上に表示できる。

【符号の説明】

【0053】

１０：点検支援装置
１１：レーザスキャナ
１２：表示装置
２０：画像情報処理装置
２１：点群間引き部２１
２２：点群―画像連携部
２３：点群―ＣＡＤ照合部
２４：点群―画像―ＣＡＤ連携部
Ｄ１：高解像度な画像情報
ＤＢ１：高解像度画像データベース
Ｄ２：低密度な点群情報
ＤＢ２：低密度点群データベース
Ｄ３：ＣＡＤモデル情報
ＤＢ３：ＣＡＤモデルデータベース
Ｄ４：点群―画像連携情報
ＤＢ４：点群―画像連携データベース
Ｄ５：点群―ＣＡＤ連携情報
ＤＢ５：点群―ＣＡＤ連携データベース
Ｄ６：点群―画像―ＣＡＤ連携情報
ＤＢ６：点群―画像―ＣＡＤ連携データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】