(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】データ処理装置、データ処理システム及びデータ処理方法
(51)【国際特許分類】
G06T 17/05 20110101AFI20231129BHJP
G01S 7/51 20060101ALI20231129BHJP
【ＦＩ】
G06T17/05
G01S7/51
【請求項の数】
10
(21)【出願番号】P 2022507049
(86)(22)【出願日】2020-03-10
(86)【国際出願番号】 JP2020010332
(87)【国際公開番号】W WO2021181524
(87)【国際公開日】2021-09-16
【審査請求日】2022-07-25
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】安倍 次朗
(72)【発明者】
【氏名】辻 聡
(72)【発明者】
【氏名】安部 淳一
(72)【発明者】
【氏名】小野 善将
(72)【発明者】
【氏名】鈴木 茂央
(72)【発明者】
【氏名】松本 浩
(72)【発明者】
【氏名】重田 考徳
(72)【発明者】
【氏名】田邉 泰祐
【審査官】佐藤 直樹
(56)【参考文献】
【文献】特開２０２０－０２２１５７（ＪＰ，Ａ）
【文献】特開２０１８－１８０６８７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １７／０５
Ｇ０１Ｓ ７／５１
(57)【特許請求の範囲】
【請求項1】
表示対象をスキャンした点群データを表示させる際の視点を入力した場合に、前記視点から見た前記点群データを表示させる点群データ処理手段と、前記表示対象を異なる位置から撮影した複数の画像データの中から、表示させる前記点群データに対応した前記画像データを決定し、決定した前記画像データを表示させる画像データ処理手段と、
を備え、
前記画像データ処理手段は、
前記画像データに撮影された前記表示対象の撮影領域と、前記表示対象に配置された構造の位置を示す構造データとの共通する撮影構造部分を算出する画像領域算出手段と、
前記点群データにおける視点側に面した可視領域と、前記構造データとの共通する可視構造部分を算出するとともに、算出された前記可視構造部分に対応する前記撮影構造部分に基づいて、前記複数の画像データの中から、表示させる前記画像データを決定する画像決定手段と、
を有する、
データ処理装置。
【請求項2】
前記画像データ処理手段は、前記点群データ処理手段が前記点群データを表示させるタイミングに同期させて、前記画像データを表示させる、請求項１に記載のデータ処理装置。
【請求項3】
前記画像決定手段は、前記可視構造部分に対応する前記撮影構造部分が最も多い前記画像データを、表示させる前記画像データに決定する、請求項１または２に記載のデータ処理装置。
【請求項4】
前記画像データ処理手段は、前記複数の画像データを保持する画像データ保持手段と、
前記画像データ保持手段が保持する前記複数の画像データの撮影条件を含む撮影情報を保持する画像情報保持手段と、
前記構造データを含む現場情報を保持する現場マップ保持手段と、
前記画像決定手段が決定した前記画像データを表示する画像データ表示部と、
を有する、
請求項１～３のいずれか１項に記載のデータ処理装置。
【請求項5】
画像領域算出手段は、前記撮影情報を用いて、前記表示対象の前記構造の配置を示す構造マップ上の前記撮影領域を算出し、
算出された前記撮影領域を用いて、前記撮影構造部分を算出する、
請求項４に記載のデータ処理装置。
【請求項6】
前記点群データ処理手段は、前記表示対象をスキャンした前記点群データを保持する点群データ保持手段と、
前記点群データを表示させる際の前記視点が入力される視点操作入力手段と、
入力された前記視点と、前記点群データと、の関係を含む視線情報を算出する視線算出手段と、
算出された前記視線情報に基づいて、前記視点から見た前記点群データを表示する点群データ表示手段と、
を有する、
請求項１～５のいずれか１項に記載のデータ処理装置。
【請求項7】
前記画像決定手段は、前記視線情報を用いて、前記表示対象の前記構造の配置を示す構造マップ上の前記可視領域を算出し、
算出された前記可視領域を用いて、前記可視構造部分を算出する、
請求項６に記載のデータ処理装置。
【請求項8】
請求項１～７のいずれか１項に記載のデータ処理装置と、前記点群データを取得する点群データ取得手段と、
を備えたデータ処理システム。
【請求項9】
表示対象をスキャンした点群データを表示させる際の視点を入力した場合に、前記視点から見た前記点群データを表示させる点群データ表示ステップと、前記表示対象を異なる位置から撮影した複数の画像データの中から、表示させる前記点群データに対応した前記画像データを決定し、決定した前記画像データを表示させる画像データ表示ステップと、
を備え、
前記画像データ表示ステップは、
前記画像データに撮影された前記表示対象の撮影領域と、前記表示対象に配置された構造の位置を示す構造データとの共通する撮影構造部分を算出するステップと、
前記点群データにおける視点側に面した可視領域と、前記構造データとの共通する可視構造部分を算出するとともに、算出された前記可視構造部分に対応する前記撮影構造部分に基づいて、前記複数の画像データの中から、表示させる前記画像データを決定するステップと、
を有する、
データ処理方法。
【請求項10】
前記画像データ表示ステップにおいて、
前記点群データを表示させるタイミングに同期させて、前記画像データを表示させる、
請求項９に記載のデータ処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ処理装置、データ処理システム及びデータ処理方法に関する。
【背景技術】
【0002】
工業用施設・設備等をはじめ、一般的な構造物や自然環境等を包含する現場を表示対象として表示する方法には、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）が挙げられる。ＬｉＤＡＲは、対象物に対して照射光をスキャンさせることにより、対象物の形状を点群データとして取得することができる。例えば、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式のＬｉＤＡＲの原理は、以下のとおりである。すなわち、ＬｉＤＡＲは、照射光を発光する発光部と、照射光が対象物で反射した反射光を検出する検出部と、を備えている。ＬｉＤＡＲは、照射光を所定の画角で対象物に対してスキャンさせながら、対象物で反射した反射光を検出する。そして、ＬｉＤＡＲは、照射光が対象物に到達するまでの時間ｔ１と、反射光が検出部に到達するまでの時間ｔ２を用いて、対象物までの距離Ｄを、Ｄ＝（ｔ２－ｔ１）／２×（光の速さ）から算出する。これにより、ＬｉＤＡＲは、スキャンした範囲におけるスキャンデータとして、対象物までの距離を含んだ点群データを取得することができる。
【0003】
例えば、非特許文献１には、点群データの各点に、カメラから取得されたＲＧＢ情報を付与することが記載されている。
【先行技術文献】
【非特許文献】
【0004】
【文献】「地上型レーザースキャナーとハンドスキャナーのためのＦＡＲＯ ３Ｄデジタルドキュメント化ソフトウェア」ＳＣＥＮＥ２０１９、［online］、［令和２年２月２１日検索］、インターネット＜URL：https://www.faro.com/ja-jp/products/3d-design/faro-scene＞
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献１の表示では、点群データの各点がＲＧＢ情報により色付けされているので、例えば、点検結果の異常個所を特定の色で色付けして強調するといったような位置情報を付与することができない。また、非特許文献１の表示では、遠方、空など、照射光が届かず、反射光が得られない箇所であって、点群データを取得できない箇所の色情報を得ることができない。このように、非特許文献１の点群データの表示には、利便性の観点から課題がある。
【0006】
本開示の目的は、このような課題を解決するためになされたものであり、点群データの表示の利便性を向上させることができるデータ処理装置、データ処理システム及びデータ処理方法を提供することにある。
【課題を解決するための手段】
【0007】
本開示に係るデータ処理装置は、現場をスキャンした点群データを表示させる際の視点を入力した場合に、前記視点から見た前記点群データを表示させる点群データ処理手段と、前記現場を異なる位置から撮影した複数の画像データの中から、表示させる前記点群データに対応した前記画像データを決定し、決定した前記画像データを表示させる画像データ処理手段と、を備える。
【0008】
また、本開示に係るデータ処理システムは、上記データ処理装置と、前記点群データを取得する点群データ取得手段と、を備える。
【0009】
また、本開示に係るデータ処理方法は、現場をスキャンした点群データを表示させる際の視点を入力した場合に、前記視点から見た前記点群データを表示させる点群データ表示ステップと、前記現場を異なる位置から撮影した複数の画像データの中から、表示させる前記点群データに対応した前記画像データを決定し、決定した前記画像データを表示させる画像データ表示ステップと、を備える。
【発明の効果】
【0010】
本開示によれば、点群データの表示の利便性を向上させることができるデータ処理装置、データ処理システム及びデータ処理方法を提供することができる。
【図面の簡単な説明】
【0011】
【図1】実施形態に係るデータ処理装置の概要を例示した図である。
【図2】実施形態に係るデータ処理装置において、点群データ処理部が表示させる点群データを例示した図である。
【図3】実施形態に係るデータ処理装置において、画像データ処理部が表示させる画像データを例示した図である。
【図4】実施形態に係るデータ処理装置において、視点を移動させた場合に、点群データ処理部が表示させる点群データを例示した図である。
【図5】実施形態に係るデータ処理装置において、視点を移動させた場合に、画像データ処理部が表示させる画像データを例示した図である。
【図6】実施形態１に係るデータ処理装置を例示した構成図である。
【図7】実施形態１に係るデータ処理装置において、現場マップ保持部が保持した構造マップ及び構造データを例示した図である。
【図8】実施形態１に係るデータ処理装置において、画像領域算出部が算出した撮影構造部分を例示した図である。
【図9】実施形態１に係るデータ処理装置において、撮影構造部分の算出方法を例示した図である。
【図10】実施形態１に係るデータ処理装置において、撮影構造部分の算出方法を例示した図である。
【図11】実施形態１に係るデータ処理装置において、可視構造部分の算出方法を例示した図である。
【図12】実施形態１に係るデータ処理装置において、画像決定部が算出した可視構造部分を例示した図である。
【図13】実施形態１に係るデータ処理装置において、撮影構造部分及び可視構造部分を例示した図である。
【図14】実施形態１に係るデータ処理方法の概要を例示したフローチャート図である。
【図15】実施形態１に係るデータ処理方法において、点群データ表示ステップを例示したフローチャート図である。
【図16】実施形態１に係るデータ処理方法において、画像データ表示ステップを例示したフローチャート図である。
【図17】実施形態２に係るデータ処理システムにおいて、点群データ取得部として、ＬｉＤＡＲを例示した図である。
【発明を実施するための形態】
【0012】
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【0013】
（実施形態の概要）
まず、本開示に係る実施形態の概要について説明する。図１は、実施形態に係るデータ処理装置の概要を例示した図である。
まず、本開示に係る実施形態の概要について説明する。図１は、実施形態に係るデータ処理装置の概要を例示した図である。
【0014】
図１に示すように、データ処理装置１は、点群データ処理部１０と、画像データ処理部２０と、を備えている。点群データ処理部１０及び画像データ処理部２０は、それぞれ、点群データ処理手段及び画像データ処理手段としての機能を有する。データ処理装置１は、例えば、工業用施設・設備等をはじめ、一般的な構造物や自然環境等を包含する意味での現場を表示対象とし、表示対象についての点群データ及び画像データを処理して、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等に表示させる。なお、表示対象は、点群データ及び画像データを取得できる一般的な構造物や自然環境等を包含する場所なら、工業用施設・設備等に限らず、商業用施設・設備、公共施設・設備等でもよいし、いかなる構造物や自然環境に適用してもよい。以下、表示対象を、「現場」として説明する。データ処理装置１は、測定した対象の点群データ及び画像データを表示する際には、測定対象の点群データ及び画像データを表示する。また、データ処理装置１は、監視している対象の点群データ及び画像データを表示する際には、監視対象の点群データ及び画像データを表示する。
【0015】
図２は、実施形態に係るデータ処理装置１において、点群データ処理部１０が表示させる点群データを例示した図である。図３は、実施形態に係るデータ処理装置１において、画像データ処理部２０が表示させる画像データを例示した図である。図２に示すように、点群データ処理部１０は、現場をスキャンした点群データを表示させる際の視点を入力した場合に、視点から見た点群データを表示させる。例えば、点群データを点群ビューアによって表示させる場合に、点群データ処理部１０は、入力された視点から見た現場となるように点群ビューアで表示させる。
【0016】
一方、図３に示すように、画像データ処理部２０は、現場を異なる位置から撮影した複数の画像データの中から、表示させる点群データに対応した画像データを決定する。表示させる点群データに対応した画像データは、例えば、表示される点群データの表示範囲と、共通する撮影領域を多く含む画像データである。そして、画像データ処理部２０は、決定した画像データを表示させる。画像データ処理部２０は、決定した画像データを点群データと並べて表示させてもよい。例えば、上下に並んだ図２及び図３のように、点群データ及び画像データを上下に並べて表示させる。
【0017】
なお、点群データ及び画像データを並べて表示させる際には、上下方向に並べた表示に限らない。点群データ処理部１０及び画像データ処理部２０は、点群データ及び画像データを、水平方向、または、水平方向から傾斜した斜め方向に並べて表示させてもよいし、一部重ねて表示させてもよい。また、画像データの表示の横及び縦の大きさは、点群データの表示の横及び縦の大きさと異なってもよい。画像データを、点群データと一緒に見ることができれば、並べる方向、重ねる領域の大きさ及び表示の大きさは問わない。
【0018】
画像データ処理部２０は、点群データ処理部１０が点群データを表示させるタイミングに同期させて、画像データを表示させてもよい。例えば、画像データ処理部２０は、点群データの表示と同時に、画像データを表示させる。点群データ処理部１０及び画像データ処理部２０は、点群データ及び画像データを表示させるタイミングを、バッファ等を用いて、調整してもよい。
【0019】
図４は、実施形態に係るデータ処理装置１において、視点を移動させた場合に、点群データ処理部１０が表示させる点群データを例示した図である。図５は、実施形態に係るデータ処理装置１において、視点を移動させた場合に、画像データ処理部２０が表示させる画像データを例示した図である。図４に示すように、点群データ処理部１０は、図２に示す点群データの視線から大きく異なる視点の位置を入力された場合には、新たに入力された視点から見た点群データを表示させる。その場合には、図５に示すように、画像データ処理部２０は、新たに表示させる点群データに対応した画像データを、複数の画像データの中から選択して決定し、決定した画像データを点群データと並べて表示させる。
【0020】
このように、本実施形態のデータ処理装置１は、点群データの表示に対応させた画像データを表示させることができる。例えば、点群データの表示に対応させた画像データを点群データと並べて表示させることができる。よって、現場をスキャンした点群データ及び現場を撮影した画像データの視認性を向上させ、一覧性を向上させることができる。また、点群データを移動・回転させたときに、表示中の点群データに合う画像データを表示させることができる。よって、点群データ及び画像データの表示の利便性を向上させることができる。さらに、点群データ及び画像データを表示させるタイミングを同期させている。これにより、視認性及び一覧性をさらに向上させることができる。
【0021】
データ処理装置１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、インターフェイス部（Ｉ／Ｆ）等からなるマイクロコンピュータを含むハードウェアで構成されてもよい。ＣＰＵは、演算処理及び制御処理等のデータ処理を行う。ＲＯＭは、ＣＰＵによって実行される演算処理プログラム及び制御処理プログラム等のデータ処理プログラムを記憶する。ＲＡＭは、点群データ及び画像データ等の各種のデータを記憶する。インターフェイス部（Ｉ／Ｆ）は、外部と信号及びデータの入出力を行う。ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェイス部は、データバスなどを介して相互に接続されている。
【0022】
【0023】
図６に示すように、点群データ処理部１０は、点群データ保持部１１と、視点操作入力部１２と、視線算出部１３と、点群データ表示部１４と、を有している。点群データ保持部１１、視点操作入力部１２、視線算出部１３及び点群データ表示部１４は、それぞれ、点群データ保持手段、視点操作入力手段、視線算出手段及び点群データ表示手段としての機能を有する。
【0024】
点群データ保持部１１は、現場をスキャンした点群データを保持する。点群データ保持部１１は、現場をスキャンした少なくとも１つの点群データを保持する。点群データは、例えば、現場を構成する構造を、３次元空間の座標で表現される複数の点の集合として示されたデータである。点群データは、例えば、所定の位置から対象物までの距離を測ることで取得される。点群データは、例えば、現場をＬｉＤＡＲによって取得されたデータでもよい。なお、点群データは、ＬｉＤＡＲによって取得されたデータに限らず、電波を用いたレーダによって取得されたデータ等、所定の位置から対象物までの距離を測る他の方法で取得されたデータでもよい。点群データは、例えば、点群ビューアを用いて表示される。点群データ保持部１１は、点群データ表示部１４に接続され、保持する点群データを点群データ表示部１４に出力する。
【0025】
視点操作入力部１２は、点群データを表示する際の視点が入力される。点群データを表示させるユーザは、視点操作入力部１２によって、点群データを表示させる際の視点を入力する。視点操作入力部１２は、例えば、キーボード、マウス、点群ビューアの入力部等である。視点操作入力部１２は、視線算出部１３に接続され、入力された視点を視線算出部１３に出力する。
【0026】
視線算出部１３は、入力された視点と、点群データと、の関係を含む視線情報を算出する。視線情報は、点群データを表示する際の視点の位置、及び、視点から点群データへ向かう方向、向き等の情報を含む。視線算出部１３は、点群データ表示部１４に接続され、算出した視線情報を点群データ表示部１４に出力する。また、視線算出部１３は、画像決定部２６に接続され、算出した視線情報を画像決定部２６に出力する。
【0027】
点群データ表示部１４は、算出された視線情報に基づいて、視点から見た点群データを表示する。点群データ表示部１４は、例えば、ＧＵＩであり、ユーザに対して視点から見た点群データを表示する。
【0028】
画像データ処理部２０は、画像データ保持部２１と、画像情報保持部２２と、現場マップ保持部２３と、画像データ表示部２４と、画像領域算出部２５と、画像決定部２６と、を有している。画像データ保持部２１、画像情報保持部２２、現場マップ保持部２３、画像データ表示部２４、画像領域算出部２５及び画像決定部２６は、それぞれ、画像データ保持手段、画像情報保持手段、現場マップ保持手段、画像データ表示手段、画像領域算出手段及び画像決定手段としての機能を有する。
【0029】
画像データ保持部２１は、現場を異なる位置から撮影した複数の画像データを保持する。画像データは、ＲＧＢ画素を含んだカラーの画像データでもよいし、グレースケールの画像データでもよい。画像データは、例えば、カメラで撮像された画像データである。画像データ保持部２１は、画像データ表示部２４に接続され、画像データを画像データ表示部２４に出力する。
【0030】
画像情報保持部２２は、画像データ保持部２１が保持する複数の画像データの撮影情報を保持する。撮影情報は、例えば、画像データを撮像するカメラの位置、カメラの姿勢、カメラの画角等の撮影条件を含む。画像情報保持部２２は、画像領域算出部２５に接続され、保持する撮影情報を画像領域算出部２５に出力する。
【0031】
現場マップ保持部２３は、現場情報を保持する。現場情報は、例えば、現場の構造の配置を示す構造マップ、及び、現場に配置された構造の位置を示す構造データを含む。図７は、実施形態１に係るデータ処理装置１において、現場マップ保持部２３が保持した構造マップ及び構造データを例示した図である。
【0032】
図７に示すように、構造マップＫＭは、現場の構造ＫＤ１～ＫＤ３の配置を示す。例えば、現場を、３次元空間のＸＹＺ直交座標軸で表現した場合に、構造マップＫＭは、現場に設けられた３つの構造ＫＤ１～ＫＤ３が、ＸＹ平面上に配置されていることを示す。一方、構造データは、現場に配置された構造ＫＤ１～ＫＤ３の位置を示す。例えば、構造データは、構造ＫＤ１が、（Ｘａ～Ｘｂ、Ｙａ～Ｙｂ）の座標上に位置していることを示す。なお、Ｚ軸座標は省略する。同様に、構造データは、構造ＫＤ２及び構造ＫＤ３が、（Ｘｃ～Ｘｄ、Ｙｃ～Ｙｄ）及び（Ｘｅ～Ｘｆ、Ｙｅ～Ｙｆ）の座標上に位置していることを示す。
【0033】
現場マップ保持部２３は、構造マップＫＭ及び構造データ以外の現場情報を有してもよい。例えば、現場マップ保持部２３は、現場の構造を示す設計図等の現場情報を保持してもよい。また、現場マップ保持部２３は、自己位置推定と現場地図作成を同時に行うＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の技術で生成された現場情報を保持してもよい。現場マップ保持部２３は、画像領域算出部２５に接続され、保持する現場情報を画像領域算出部２５に出力する。また、現場マップ保持部２３は、画像決定部２６に接続され、保持する現場情報を画像決定部２６に出力する。
【0034】
画像データ表示部２４は、画像データを表示する。例えば、画像データを、点群データと並べて表示する。表示する画像データは、後述する画像決定部２６が決定した画像データである。画像データ表示部２４は、点群データ表示部１４が点群データを表示させるタイミングに同期させて、画像データを表示させてもよい。なお、点群データ表示部１４の表示と、画像データ表示部２４の表示との間に時間差が生じる場合には、表示するタイミングを調整してもよい。画像データ表示部２４は、例えば、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）であり、ユーザに対して画像データを掲示する。
【0035】
画像領域算出部２５は、画像データに撮影された現場の撮影領域と、現場に配置された構造ＫＤ１～ＫＤ３の位置を示す構造データとの共通する撮影構造部分を算出する。以下で、撮影構造部分の算出方法を、図を用いて説明する。
【0036】
図８は、実施形態１に係るデータ処理装置１において、画像領域算出部２５が算出した撮影構造部分ＨＡ１～ＨＡ３及びＨＢ１～ＨＢ３を例示した図である。図８に示すように、撮影構造部分ＨＡ１～ＨＡ３及びＨＢ１～ＨＢ３を算出する上で、まず、画像領域算出部２５は、現場マップ保持部２３が保持した現場情報における構造マップＫＭ上で、画像情報保持部２２が保持した各撮影情報を用いて、撮影領域ＳＡ及びＳＢを算出する。
【0037】
例えば、画像領域算出部２５は、撮影位置ＣＡから撮影した画像データの撮影情報を用いて、構造マップＫＭ上の撮影領域ＳＡを算出する。また、画像領域算出部２５は、撮影位置ＣＢから撮影した画像データの撮影情報を用いて、構造マップＫＭ上の撮影領域ＳＢを算出する。一方、現場情報における構造マップＫＭには、上述した通り、構造ＫＤ１～ＫＤ３が配置されている。
【0038】
画像領域算出部２５は、撮影情報を用いて算出した複数の撮影領域ＳＡ及びＳＢと、現場マップ保持部２３が保持した構造データとの共通する撮影構造部分ＨＡ１～ＨＡ３及びＨＢ１～ＨＢ３を算出する。
【0039】
図９及び図１０は、実施形態１に係るデータ処理装置１において、撮影構造部分ＨＡ１～ＨＡ３及びＨＢ１～ＨＢ３の算出方法を例示した図である。図９に示すように、画像領域算出部２５は、画像情報保持部２２に保持された撮影情報のうち、例えば、画角及び撮影位置を用いて、構造マップＫＭ上の撮影領域ＳＡを算出する。具体的には、画像領域算出部２５は、例えば、画角を微小角に区切る。微小角内に撮影された範囲は、微小な撮影領域ＳＡ１～ＳＡ１５に対応する。
【0040】
そして、画像領域算出部２５は、微小角の境界を示す直線と、構造データが示す構造物ＫＤ１～ＫＤ３との交点のうち、撮影位置ＣＡに最も近い交点を求める。なお、構造データが離散したデータの場合には、微小角の境界を示す直線との距離が一定値以下の点を交点としてもよい。得られた交点のうち、距離が近い点同士を線で結ぶ。結ばれた交点の間は、撮影構造部分ＨＡ１、ＨＡ２及びＨＡ３に相当する。例えば、撮影構造部分ＨＡ１は、微小撮影領域ＳＡ１～ＳＡ２を含み、撮影構造部分ＨＡ２は、微小撮影領域ＳＡ８～ＳＡ１２を含み、撮影構造部分ＨＡ３は、微小撮影領域ＳＡ１４～ＳＡ１５を含む。
【0041】
このようにして、図１０に示すように、画像領域算出部２５は、撮影構造部分ＨＡ１～ＨＡ３を算出する。画像領域算出部２５は、図８に示すように、撮影位置ＣＢから撮影した他の画像データについても、撮影構造部分ＨＢ１～ＨＢ３を算出する。このように、画像領域算出部２５は、複数の撮影情報を用いて、構造マップＫＭ上の複数の撮影領域ＳＡ及びＳＢを算出し、算出された撮影領域ＳＡ及びＳＢを用いて、撮影構造部分ＨＡ１～ＨＡ３及びＨＢ１～ＨＢ３を算出する。画像領域算出部２５は、画像決定部２６に接続され、算出した撮影構造部分ＨＡ１～ＨＡ３及びＨＢ１～ＨＢ３を含む情報を画像決定部２６に出力する。
【0042】
画像決定部２６は、現場をスキャンした点群データを表示する際の視点を入力した場合に、点群データにおける視点側に面した可視領域と、現場の構造データとの共通する可視構造部分を算出する。以下で、可視構造部分の算出方法を、図を用いて説明する。
【0043】
図１１は、実施形態１に係るデータ処理装置１において、可視構造部分の算出方法を例示した図である。図１２は、実施形態１に係るデータ処理装置１において、画像決定部２６が算出した可視構造部分を例示した図である。図１１に示すように、画像決定部２６は、視線情報を用いて、構造マップＫＭ上の可視領域ＲＡを算出する。例えば、画像決定部２６は、視点ＰＡから見た点群データの視線情報を用いて、構造マップＫＭ上の可視領域ＲＡを算出する。次に、画像決定部２６は、例えば、視点ＰＡからの視角を微小角に区切る。微小角内に見える範囲は、微小な可視領域ＲＡ１～ＲＡ３に対応する。
【0044】
そして、画像決定部２６は、微小角の境界を示す直線と、構造データが示す構造物ＫＤ１～ＫＤ３との交点のうち、視点ＰＡに最も近い交点を求める。なお、構造データが離散したデータの場合には、微小角の境界を示す直線との距離が一定値以下の点を交点としてもよい。得られた交点のうち、距離が近い点同士を線で結ぶ。これにより、図１２に示すように、結ばれた交点の間は、可視構造部分ＭＡに相当する。例えば、可視構造部分ＭＡは、微小撮影領域ＲＡ１～ＲＡ２を含む。このようにして、画像決定部２６は、可視構造部分ＭＡを算出する。
【0045】
図１３は、実施形態１に係るデータ処理装置１において、撮影構造部分ＨＡ１～ＨＡ３、ＨＢ１～ＨＢ３及び可視構造部分ＭＡを例示した図である。図１３に示すように、画像決定部２６は、算出された可視構造部分ＭＡに対応する撮影構造部分ＨＡ２に基づいて、複数の画像データの中から表示する画像データを決定する。例えば、画像決定部２６は、可視構造部分ＭＡに対応する撮影構造部分が最も多い画像データを、表示する画像データに決定する。
【0046】
例えば、図１３に示す例では、撮影位置ＣＡから撮影した画像データは、可視構造部分ＭＡに対応する撮影構造部分ＨＡ２を含んでいる。一方、撮影位置ＣＢから撮影した画像データは、可視構造部分ＭＡに対応する撮影構造部分を含んでいない。したがって、画像決定部２６は、複数の画像データの中から、表示する画像データとして、撮影位置ＣＡから撮影した画像データに決定する。画像決定部２６は、画像データ表示部２４に接続され、決定した画像データの情報を画像データ表示部２４に出力する。
【0047】
画像データ表示部２４は、決定された画像データを表示する。画像データ表示部２４は、画像決定部２６から出力された情報に基づいて、画像データ保持部２１から決定された画像データを受けとり、表示させる。例えば、図２及び図３に示すように、画像データ表示部２４は、点群データ表示部１４の点群データの表示に同期させて、画像データを表示する。
【0048】
＜データ処理方法の概要＞
次に、実施形態１に係るデータ処理装置を用いたデータ処理方法を説明する。図１４は、実施形態１に係るデータ処理方法の概要を例示したフローチャート図である。
次に、実施形態１に係るデータ処理装置を用いたデータ処理方法を説明する。図１４は、実施形態１に係るデータ処理方法の概要を例示したフローチャート図である。
【0049】
図１４に示すように、本実施形態のデータ処理方法は、点群データを表示させる点群データ表示ステップＳ１０と、画像データを表示させる画像データ表示ステップＳ２０と、を備えている。ステップＳ１０において、図２及び図４に示すように、点群データ処理部１０は、現場をスキャンした点群データを表示させる際の視点を入力した場合に、視点から見た点群データを表示させる。
【0050】
また、ステップＳ２０において、図３及び図５に示すように、画像データ処理部２０は、現場を異なる位置から撮影した複数の画像データの中から、表示させる点群データに対応した画像データを決定し、決定した画像データを表示させる。例えば、決定した画像データを点群データと並べて表示させる。これにより、点群データの表示に対応させた画像データを点群データと並べて表示させることができる。よって、点群データを移動・回転させたときに、表示中の点群データに合う画像を表示させることができる。
【0051】
画像データ表示ステップＳ２０において、点群データを表示させるタイミングに同期させて、画像データを表示させてもよい。具体的には、画像データ処理部２０は、点群データ処理部１０の点群データの表示に同期させて、画像データを表示させてもよい。
【0052】
＜点群データ表示ステップ＞
以下で、実施形態に係るデータ処理方法を、より具体的に説明する。まず、点群データ表示ステップＳ１０を説明する。図１５は、実施形態１に係るデータ処理方法において、点群データ表示ステップＳ１０を例示したフローチャート図である。
以下で、実施形態に係るデータ処理方法を、より具体的に説明する。まず、点群データ表示ステップＳ１０を説明する。図１５は、実施形態１に係るデータ処理方法において、点群データ表示ステップＳ１０を例示したフローチャート図である。
【0053】
図１５に示すように、点群データ表示ステップＳ１０は、点群データを保持するステップＳ１１と、視点が入力されたか判断するステップＳ１２と、視線情報を算出及び出力するステップＳ１３と、視線情報に基づいて、視点から見た点群データを表示するステップＳ１４と、を有している。
【0054】
まず、ステップＳ１１に示すように、点群データを保持する。例えば、点群データ保持部１１は、現場をスキャンした点群データを保持する。
【0055】
次に、ステップＳ１２に示すように、視点ＰＡが入力されたか判断する。例えば、視点操作入力部１２は、点群データを表示させる際の視点ＰＡが入力されたか判断する。ステップＳ１２において、視点ＰＡが入力されない場合には、そのまま待機する。一方、ステップＳ１２において、視点ＰＡが入力された場合には、視点操作入力部１２は、入力された視点ＰＡを視線算出部１３に出力する。
【0056】
次に、ステップＳ１３に示すように、視線情報を算出し、視線情報を出力する。例えば、視線算出部１３は、入力された視点ＰＡと、点群データと、の関係を含む視線情報を算出する。視線算出部１３は、算出した視線情報を点群データ表示部１４に出力する。また、視線算出部１３は、算出した視線情報を画像決定部２６に出力する。
【0057】
次に、ステップＳ１４に示すように、算出された視線情報に基づいて、視点ＰＡから見た点群データを表示させる。例えば、点群データ表示部１４は、視点ＰＡから見た点群データを表示させる。なお、点群データ表示ステップＳ１０は、点群データを保持するステップＳ１１の前に、点群データを取得するステップをさらに備えてもよい。例えば、現場の点群データをＬｉＤＡＲによって取得するステップを備えてもよい。
【0058】
＜画像データ表示ステップ＞
次に、画像データ表示ステップＳ２０を説明する。図１６は、実施形態１に係るデータ処理方法において、画像データ表示ステップＳ２０を例示したフローチャート図である。
次に、画像データ表示ステップＳ２０を説明する。図１６は、実施形態１に係るデータ処理方法において、画像データ表示ステップＳ２０を例示したフローチャート図である。
【0059】
図１６に示すように、画像データ表示ステップＳ２０は、複数の画像データを保持するステップＳ２１と、撮影情報を保持するステップＳ２２と、現場情報を保持するステップＳ２３と、撮影構造部分ＨＡ１～ＨＡ３及びＨＢ１～ＨＢ３を算出するステップＳ２４と、視線情報が入力されたか判断するステップＳ２５と、表示させる画像データを決定するステップＳ２６と、決定した画像データを表示させるステップＳ２７と、を有している。
【0060】
まず、ステップＳ２１に示すように、複数の画像データを保持する。例えば、画像データ保持部２１は、現場を異なる位置から撮影した複数の画像データを保持する。
【0061】
次に、ステップＳ２２に示すように、撮影情報を保持する。例えば、画像情報保持部２２は、画像データ保持部２１に保持された複数の画像データの撮影条件を含む撮影情報を保持する。
【0062】
次に、ステップＳ２３に示すように、現場情報を保持する。例えば、現場マップ保持部２３は、現場の構造の配置を示す構造マップ、及び、現場に配置された構造の位置を示す構造データを含んだ現場情報を保持する。なお、ステップＳ２１、ステップＳ２２及びステップＳ２３の順序は、これに限らない。例えば、複数の画像データを保持するステップは、ステップＳ２２またはステップＳ２３でもよいし、撮影情報を保持するステップは、ステップＳ２１またはステップＳ２３でもよい。現場情報を保持するステップは、ステップＳ２１またはステップＳ２２でもよい。
【0063】
次に、ステップＳ２４に示すように、撮像構造部分ＨＡ１～ＨＡ３及びＨＢ１～ＨＢ３を算出する。例えば、画像領域算出部２５は、画像データに撮影された現場の撮影領域ＳＡ及びＳＢと、現場に配置された構造の位置を示す構造データとの共通する撮影構造部分ＨＡ１～ＨＡ３及びＨＢ１～ＨＢ３を算出する。具体的には、画像領域算出部２５は、撮影情報を用いて、現場の構造マップ上の撮影領域ＳＡ及びＳＢを算出する。そして、算出された撮影領域ＳＡ及びＳＢを用いて、撮影構造部分ＨＡ１～ＨＡ３及びＨＢ１～ＨＢ３を算出する。
【0064】
次に、ステップＳ２５に示すように、視線情報が入力されたか判断する。例えば、画像決定部２６は、視線算出部１３から視線情報が入力されたか判断する。ステップＳ２５において、視線情報が入力されない場合には、そのまま待機する。
【0065】
一方、ステップＳ２５において、視線情報が入力された場合には、ステップＳ２６に示すように、表示させる画像データを決定する。例えば、画像決定部２６は、点群データにおける視点ＰＡ側に面した可視領域ＲＡと、構造データとの共通する可視構造部分ＭＡを算出する。例えば、画像決定部２６は、視線算出部１３から入力された視線情報を用いて、構造マップＫＭ上の可視領域ＲＡを算出し、算出された可視領域ＲＡを用いて、可視構造部分ＭＡを算出する。
【0066】
また、画像決定部２６は、算出された可視構造部分ＭＡに対応する撮影構造部分ＨＡ２に基づいて、複数の画像データの中から、表示させる画像データを決定する。その際に、画像決定部２６は、可視構造部分ＲＡに対応する撮影構造部分が最も多い画像データを、表示させる画像データに決定する。
【0067】
次に、ステップＳ２７に示すように、決定した画像データを表示させる。例えば、画像データ表示部２４は、決定した画像データを点群データと並べて表示させる。画像データ表示部２４は、点群データを表示させるタイミングに同期させて、画像データを表示させてもよい。このようにして、点群データ及び画像データを表示するデータ処理を行うことができる。
【0068】
次に、本実施形態の効果を説明する。本実施形態のデータ処理装置１において、画像データ表示部２４は、点群データ表示部１４による点群データの表示に対応させた画像データを表示させることができる。例えば、画像データを点群データと並べて表示させることができる。よって、現場をスキャンした点群データ、及び、現場を撮影した画像データの視認性を向上させ、一覧性を向上させることができる。また、点群データの表示に同期させて画像データを表示させることにより、視認性及び一覧性をさらに向上させることができる。
【0069】
また、視点操作入力部１２によって、点群データを見る視点を移動・回転させたときに、表示中の点群データに合う画像データを表示させることができる。よって、点群データの表示の利便性を向上させることができる。
【0070】
例えば、非特許文献１には、点群データの各点にカメラから取得されたＲＧＢ情報を付与して表示させることが記載されている。これに対して、本実施形態のデータ処理装置１は、点群データと画像データとを分けて、並べて表示させている。これにより、点群データにはカメラから取得したＲＧＢ情報を付与しないので、他の情報を点群データに色付けすることができる。例えば、点検結果による異常個所を点群データに色付けして強調するといったような位置情報を示すことができる。
【0071】
また、非特許文献１の方法は、ＲＧＢ情報を点群データに付与して表示するので、遠方、空など、照射光が届かず、反射光が得られない箇所であって、点群データを取得できない箇所の色情報を得ることができない。これに対して、本実施形態の方法は、点群データとは分けて、ＲＧＢ情報を含む画像データを並べて表示させることができる。よって、点群データを取得できない箇所の色情報を得ることができる。
【0072】
（変形例１）
次に、実施形態１の変形例を説明する。画像データ表示部２４は、ＳＦＭ（Ｓｔｒｕｃｔｕｒｅｄ ｆｒｏｍ Ｍｏｔｉｏｎ）技術等のように、複数の画像データから構築された３次元画像データを表示させてもよい。具体的には、画像データ保持部２１は、複数の画像データから構築された現場の３次元画像データを保持する。そして、画像領域算出部２５は、３次元画像データを見る際の各視点位置における撮影構造部分を算出する。画像決定部２６は、視線情報を用いて、可視領域を算出し、算出された可視構造部分に対応する撮影構造部分に基づいて、３次元画像データを表示させる視点位置を決定する。これにより、画像データ表示部２４は、決定した視点位置からの３次元画像データを表示させることができる。
次に、実施形態１の変形例を説明する。画像データ表示部２４は、ＳＦＭ（Ｓｔｒｕｃｔｕｒｅｄ ｆｒｏｍ Ｍｏｔｉｏｎ）技術等のように、複数の画像データから構築された３次元画像データを表示させてもよい。具体的には、画像データ保持部２１は、複数の画像データから構築された現場の３次元画像データを保持する。そして、画像領域算出部２５は、３次元画像データを見る際の各視点位置における撮影構造部分を算出する。画像決定部２６は、視線情報を用いて、可視領域を算出し、算出された可視構造部分に対応する撮影構造部分に基づいて、３次元画像データを表示させる視点位置を決定する。これにより、画像データ表示部２４は、決定した視点位置からの３次元画像データを表示させることができる。
【0073】
本変形例によれば、表示させる画像データの視点位置を連続的に変えることができる。よって、点群データに対して、表示させる画像データの類似性を向上させることができ、点群データ及び画像データの視認性及び利便性をさらに向上させることができる。
【0074】
（変形例２）
次に、実施形態１の変形例２を説明する。前述の実施形態１では、画像決定部２６は、表示させる点群データに対応した画像データを決定する際に、可視構造部分に対応する撮影構造部分に基づいて、表示させる画像データを決定するとした。例えば、画像決定部２６は、可視構造部分に対応する撮影構造部分が最も多い画像データを、表示させる画像データに決定するとした。本変形例では、画像決定部２６は、点群データの特徴点、及び、画像データの特徴点を用いて、表示させる画像データを決定する。
次に、実施形態１の変形例２を説明する。前述の実施形態１では、画像決定部２６は、表示させる点群データに対応した画像データを決定する際に、可視構造部分に対応する撮影構造部分に基づいて、表示させる画像データを決定するとした。例えば、画像決定部２６は、可視構造部分に対応する撮影構造部分が最も多い画像データを、表示させる画像データに決定するとした。本変形例では、画像決定部２６は、点群データの特徴点、及び、画像データの特徴点を用いて、表示させる画像データを決定する。
【0075】
具体的には、画像データ処理部２０は、表示させる点群データの特徴点と、複数の画像データの特徴点とに基づいて、複数の画像データの中から、表示させる画像データを決定する画像決定部２６を含む。ここで、画像決定部２６は、表示させる点群データの特徴点に共通する特徴点が最も多い画像データを、表示させる画像データに決定する。
【0076】
本変形例によれば、点群データの特徴点、及び、画像データの特徴点を用いて、表示させる画像データを決定するので、表示させる画像データを、表示させる点群データに合わせることができ、点群データ及び画像データの視認性及び利便性を向上させることができる。
【0077】
（実施形態２）
次に、実施形態２に係るデータ処理システムを説明する。データ処理システムは、上述したデータ処理装置１と、点群データを取得する点群データ取得部と、を備えている。点群データ取得部は、点群データ取得手段としての機能を有している。点群データ取得部は、例えば、ＬｉＤＡＲである。その場合には、点群データは、現場をＬｉＤＡＲによって取得されたものである。また、点群データ取得部は、例えば、フラッシュＬｉＤＡＲでもよい。その場合には、点群データは、所定の頻度でフラッシュＬｉＤＡＲによって取得されたものである。まず、点群データ取得部として、ＬｉＤＡＲを説明し、その後、フラッシュＬｉＤＡＲを説明する。
次に、実施形態２に係るデータ処理システムを説明する。データ処理システムは、上述したデータ処理装置１と、点群データを取得する点群データ取得部と、を備えている。点群データ取得部は、点群データ取得手段としての機能を有している。点群データ取得部は、例えば、ＬｉＤＡＲである。その場合には、点群データは、現場をＬｉＤＡＲによって取得されたものである。また、点群データ取得部は、例えば、フラッシュＬｉＤＡＲでもよい。その場合には、点群データは、所定の頻度でフラッシュＬｉＤＡＲによって取得されたものである。まず、点群データ取得部として、ＬｉＤＡＲを説明し、その後、フラッシュＬｉＤＡＲを説明する。
【0078】
図１７は、実施形態２に係るデータ処理システムにおいて、点群データ取得部として、ＬｉＤＡＲを例示した図である。図１７に示すように、ＬｉＤＡＲ３０は、発光部３１及び検出部３２を有している。発光部３１は、照射光３３を発光する。検出部３２は、照射光３３が対象物ＯＢで反射した反射光３４を検出する。ＬｉＤＡＲ３０は、照射光３３を所定の画角で対象物ＯＢに対してスキャンさせる。そして、ＬｉＤＡＲ３０は、対象物ＯＢで反射した反射光３４を検出する。
【0079】
ＬｉＤＡＲ３０は、照射光３３が対象物ＯＢに到達するまでの時間ｔ１と、反射光３４が検出部３２に到達するまでの時間ｔ２を用いて、対象物ＯＢまでの距離Ｄを、Ｄ＝（ｔ２－ｔ１）／２×（光の速さ）から算出する。これにより、ＬｉＤＡＲ３０は、スキャンした範囲におけるスキャンデータとして、対象物ＯＢまでの距離を含んだ点群データを取得することができる。
【0080】
フラッシュＬｉＤＡＲは、所定の頻度で、現場の点群データを取得する。フラッシュＬｉＤＡＲによって取得された点群データは、点群データ保持部１１に保持されてもよいし、フラッシュＬｉＤＡＲに設けられたメモリに保持されてもよい。点群データ表示部１４は、フラッシュＬｉＤＡＲに設けられたメモリから点群データをリアルタイムで取得し、取得した点群データを表示させてもよい。
【0081】
以上、実施形態１及び２、変形例１及び２を説明したが、本発明は、上記実施形態１及び２、変形例１及び２に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施形態１及び２、変形例１及び２の各構成を組み合わせた実施形態も、技術的思想の範囲に含まれる。また、実施形態１のデータ処理方法を、コンピュータに実行させるデータ処理プログラムも実施形態１及び２、変形例１及び２の技術的範囲に含まれる。
【0082】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0083】
（付記１）
表示対象をスキャンした点群データを表示させる際の視点を入力した場合に、前記視点から見た前記点群データを表示させる点群データ処理手段と、
前記表示対象を異なる位置から撮影した複数の画像データの中から、表示させる前記点群データに対応した前記画像データを決定し、決定した前記画像データを表示させる画像データ処理手段と、
を備えたデータ処理装置。
表示対象をスキャンした点群データを表示させる際の視点を入力した場合に、前記視点から見た前記点群データを表示させる点群データ処理手段と、
前記表示対象を異なる位置から撮影した複数の画像データの中から、表示させる前記点群データに対応した前記画像データを決定し、決定した前記画像データを表示させる画像データ処理手段と、
を備えたデータ処理装置。
【0084】
（付記２）
前記画像データ処理手段は、前記点群データ処理手段が前記点群データを表示させるタイミングに同期させて、前記画像データを表示させる、
付記１に記載のデータ処理装置。
前記画像データ処理手段は、前記点群データ処理手段が前記点群データを表示させるタイミングに同期させて、前記画像データを表示させる、
付記１に記載のデータ処理装置。
【0085】
（付記３）
前記画像データ処理手段は、
前記画像データに撮影された前記表示対象の撮影領域と、前記表示対象に配置された構造の位置を示す構造データとの共通する撮影構造部分を算出する画像領域算出手段と、
前記点群データにおける視点側に面した可視領域と、前記構造データとの共通する可視構造部分を算出するとともに、算出された前記可視構造部分に対応する前記撮影構造部分に基づいて、前記複数の画像データの中から、表示させる前記画像データを決定する画像決定手段と、
を有する、
付記１または２に記載のデータ処理装置。
前記画像データ処理手段は、
前記画像データに撮影された前記表示対象の撮影領域と、前記表示対象に配置された構造の位置を示す構造データとの共通する撮影構造部分を算出する画像領域算出手段と、
前記点群データにおける視点側に面した可視領域と、前記構造データとの共通する可視構造部分を算出するとともに、算出された前記可視構造部分に対応する前記撮影構造部分に基づいて、前記複数の画像データの中から、表示させる前記画像データを決定する画像決定手段と、
を有する、
付記１または２に記載のデータ処理装置。
【0086】
（付記４）
前記画像決定手段は、前記可視構造部分に対応する前記撮影構造部分が最も多い前記画像データを、表示させる前記画像データに決定する、
付記３に記載のデータ処理装置。
前記画像決定手段は、前記可視構造部分に対応する前記撮影構造部分が最も多い前記画像データを、表示させる前記画像データに決定する、
付記３に記載のデータ処理装置。
【0087】
（付記５）
前記画像データ処理手段は、
前記複数の画像データを保持する画像データ保持手段と、
前記画像データ保持手段が保持する前記複数の画像データの撮影条件を含む撮影情報を保持する画像情報保持手段と、
前記構造データを含む現場情報を保持する現場マップ保持手段と、
前記画像決定手段が決定した前記画像データを表示する画像データ表示部と、
を有する、
付記３または４に記載のデータ処理装置。
前記画像データ処理手段は、
前記複数の画像データを保持する画像データ保持手段と、
前記画像データ保持手段が保持する前記複数の画像データの撮影条件を含む撮影情報を保持する画像情報保持手段と、
前記構造データを含む現場情報を保持する現場マップ保持手段と、
前記画像決定手段が決定した前記画像データを表示する画像データ表示部と、
を有する、
付記３または４に記載のデータ処理装置。
【0088】
（付記６）
画像領域算出手段は、
前記撮影情報を用いて、前記表示対象の前記構造の配置を示す構造マップ上の前記撮影領域を算出し、
算出された前記撮影領域を用いて、前記撮影構造部分を算出する、
付記５に記載のデータ処理装置。
画像領域算出手段は、
前記撮影情報を用いて、前記表示対象の前記構造の配置を示す構造マップ上の前記撮影領域を算出し、
算出された前記撮影領域を用いて、前記撮影構造部分を算出する、
付記５に記載のデータ処理装置。
【0089】
（付記７）
前記点群データ処理手段は、
前記表示対象をスキャンした前記点群データを保持する点群データ保持手段と、
前記点群データを表示させる際の前記視点が入力される視点操作入力手段と、
入力された前記視点と、前記点群データと、の関係を含む視線情報を算出する視線算出手段と、
算出された前記視線情報に基づいて、前記視点から見た前記点群データを表示する点群データ表示手段と、
を有する、
付記３～６のいずれか１項に記載のデータ処理装置。
前記点群データ処理手段は、
前記表示対象をスキャンした前記点群データを保持する点群データ保持手段と、
前記点群データを表示させる際の前記視点が入力される視点操作入力手段と、
入力された前記視点と、前記点群データと、の関係を含む視線情報を算出する視線算出手段と、
算出された前記視線情報に基づいて、前記視点から見た前記点群データを表示する点群データ表示手段と、
を有する、
付記３～６のいずれか１項に記載のデータ処理装置。
【0090】
（付記８）
前記画像決定手段は、
前記視線情報を用いて、前記表示対象の前記構造の配置を示す構造マップ上の前記可視領域を算出し、
算出された前記可視領域を用いて、前記可視構造部分を算出する、
付記７に記載のデータ処理装置。
前記画像決定手段は、
前記視線情報を用いて、前記表示対象の前記構造の配置を示す構造マップ上の前記可視領域を算出し、
算出された前記可視領域を用いて、前記可視構造部分を算出する、
付記７に記載のデータ処理装置。
【0091】
（付記９）
前記点群データは、前記表示対象をＬｉＤＡＲによって取得された、
付記１～８のいずれか１項に記載のデータ処理装置。
前記点群データは、前記表示対象をＬｉＤＡＲによって取得された、
付記１～８のいずれか１項に記載のデータ処理装置。
【0092】
（付記１０）
付記１～９のいずれか１項に記載のデータ処理装置と、
前記点群データを取得する点群データ取得手段と、
を備えたデータ処理システム。
付記１～９のいずれか１項に記載のデータ処理装置と、
前記点群データを取得する点群データ取得手段と、
を備えたデータ処理システム。
【0093】
（付記１１）
表示対象をスキャンした点群データを表示させる際の視点を入力した場合に、前記視点から見た前記点群データを表示させる点群データ表示ステップと、
前記表示対象を異なる位置から撮影した複数の画像データの中から、表示させる前記点群データに対応した前記画像データを決定し、決定した前記画像データを表示させる画像データ表示ステップと、
を備えたデータ処理方法。
表示対象をスキャンした点群データを表示させる際の視点を入力した場合に、前記視点から見た前記点群データを表示させる点群データ表示ステップと、
前記表示対象を異なる位置から撮影した複数の画像データの中から、表示させる前記点群データに対応した前記画像データを決定し、決定した前記画像データを表示させる画像データ表示ステップと、
を備えたデータ処理方法。
【0094】
（付記１２）
前記画像データ表示ステップにおいて、
前記点群データを表示させるタイミングに同期させて、前記画像データを表示させる、
付記１１に記載のデータ処理方法。
前記画像データ表示ステップにおいて、
前記点群データを表示させるタイミングに同期させて、前記画像データを表示させる、
付記１１に記載のデータ処理方法。
【0095】
（付記１３）
前記画像データ表示ステップは、
前記画像データに撮影された前記表示対象の撮影領域と、前記表示対象に配置された構造の位置を示す構造データとの共通する撮影構造部分を算出するステップと、
前記点群データにおける視点側に面した可視領域と、前記構造データとの共通する可視構造部分を算出するとともに、算出された前記可視構造部分に対応する前記撮影構造部分に基づいて、前記複数の画像データの中から、表示させる前記画像データを決定するステップと、
を有する、
付記１１または１２に記載のデータ処理方法。
前記画像データ表示ステップは、
前記画像データに撮影された前記表示対象の撮影領域と、前記表示対象に配置された構造の位置を示す構造データとの共通する撮影構造部分を算出するステップと、
前記点群データにおける視点側に面した可視領域と、前記構造データとの共通する可視構造部分を算出するとともに、算出された前記可視構造部分に対応する前記撮影構造部分に基づいて、前記複数の画像データの中から、表示させる前記画像データを決定するステップと、
を有する、
付記１１または１２に記載のデータ処理方法。
【0096】
（付記１４）
前記表示させる前記画像データを決定するステップにおいて、
前記可視構造部分に対応する前記撮影構造部分が最も多い前記画像データを、表示させる前記画像データに決定する、
付記１３に記載のデータ処理方法。
前記表示させる前記画像データを決定するステップにおいて、
前記可視構造部分に対応する前記撮影構造部分が最も多い前記画像データを、表示させる前記画像データに決定する、
付記１３に記載のデータ処理方法。
【0097】
（付記１５）
前記画像データ表示ステップは、
前記複数の画像データを保持するステップと、
保持された前記複数の画像データの撮影条件を含む撮影情報を保持するステップと、
前記構造データを含む現場情報を保持するステップと、
決定した前記画像データを表示するステップと、
をさらに有する、
付記１３または１４に記載のデータ処理方法。
前記画像データ表示ステップは、
前記複数の画像データを保持するステップと、
保持された前記複数の画像データの撮影条件を含む撮影情報を保持するステップと、
前記構造データを含む現場情報を保持するステップと、
決定した前記画像データを表示するステップと、
をさらに有する、
付記１３または１４に記載のデータ処理方法。
【0098】
（付記１６）
前記撮影構造部分を算出するステップにおいて、
前記撮影情報を用いて、前記表示対象の前記構造の配置を示す構造マップ上の前記撮影領域を算出し、
算出された前記撮影領域を用いて、前記撮影構造部分を算出する、
付記１５に記載のデータ処理方法。
前記撮影構造部分を算出するステップにおいて、
前記撮影情報を用いて、前記表示対象の前記構造の配置を示す構造マップ上の前記撮影領域を算出し、
算出された前記撮影領域を用いて、前記撮影構造部分を算出する、
付記１５に記載のデータ処理方法。
【0099】
（付記１７）
前記点群データ表示ステップは、
前記表示対象をスキャンした前記点群データを保持するステップと、
前記点群データを表示させる際の前記視点が入力されたか判断するステップと、
入力された前記視点と、前記点群データと、の関係を含む視線情報を算出するステップと、
算出された前記視線情報に基づいて、前記視点から見た前記点群データを表示させるステップと、
を有する、
付記１３～１６のいずれか１項に記載のデータ処理方法。
前記点群データ表示ステップは、
前記表示対象をスキャンした前記点群データを保持するステップと、
前記点群データを表示させる際の前記視点が入力されたか判断するステップと、
入力された前記視点と、前記点群データと、の関係を含む視線情報を算出するステップと、
算出された前記視線情報に基づいて、前記視点から見た前記点群データを表示させるステップと、
を有する、
付記１３～１６のいずれか１項に記載のデータ処理方法。
【0100】
（付記１８）
前記表示させる前記画像データを決定するステップにおいて、
前記視線情報を用いて、前記表示対象の前記構造の配置を示す構造マップ上の前記可視領域を算出し、
算出された前記可視領域を用いて、前記可視構造部分を算出する、
付記１７に記載のデータ処理方法。
前記表示させる前記画像データを決定するステップにおいて、
前記視線情報を用いて、前記表示対象の前記構造の配置を示す構造マップ上の前記可視領域を算出し、
算出された前記可視領域を用いて、前記可視構造部分を算出する、
付記１７に記載のデータ処理方法。
【0101】
（付記１９）
前記点群データは、前記表示対象をＬｉＤＡＲによって取得された、
付記１１～１８のいずれか１項に記載のデータ処理方法。
前記点群データは、前記表示対象をＬｉＤＡＲによって取得された、
付記１１～１８のいずれか１項に記載のデータ処理方法。
【0102】
（付記２０）
前記点群データを取得するステップをさらに備えた、
付記１１～１９のいずれか１項に記載のデータ処理方法。
前記点群データを取得するステップをさらに備えた、
付記１１～１９のいずれか１項に記載のデータ処理方法。
【0103】
（付記２１）
表示対象をスキャンした点群データを表示させる際の視点を入力した場合に、前記視点から見た前記点群データを表示させ、
前記表示対象を異なる位置から撮影した複数の画像データの中から、表示させる前記点群データに対応した前記画像データを決定し、決定した前記画像データを表示させる、
ことをコンピュータに実行させるデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
表示対象をスキャンした点群データを表示させる際の視点を入力した場合に、前記視点から見た前記点群データを表示させ、
前記表示対象を異なる位置から撮影した複数の画像データの中から、表示させる前記点群データに対応した前記画像データを決定し、決定した前記画像データを表示させる、
ことをコンピュータに実行させるデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
【0104】
（付記２２）
決定した前記画像データを表示させる際に、
前記点群データを表示させるタイミングに同期させて、前記画像データを表示させる、
ことをコンピュータに実行させる付記２１に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
決定した前記画像データを表示させる際に、
前記点群データを表示させるタイミングに同期させて、前記画像データを表示させる、
ことをコンピュータに実行させる付記２１に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
【0105】
（付記２３）
決定した前記画像データを表示させる際に、
記画像データに撮影された前記表示対象の撮影領域と、前記表示対象に配置された構造の位置を示す構造データとの共通する撮影構造部分を算出させ、
前記点群データにおける視点側に面した可視領域と、前記構造データとの共通する可視構造部分を算出するとともに、算出された前記可視構造部分に対応する前記撮影構造部分に基づいて、前記複数の画像データの中から、表示させる前記画像データを決定させる、
ことをコンピュータに実行させる付記２１または２２に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
決定した前記画像データを表示させる際に、
記画像データに撮影された前記表示対象の撮影領域と、前記表示対象に配置された構造の位置を示す構造データとの共通する撮影構造部分を算出させ、
前記点群データにおける視点側に面した可視領域と、前記構造データとの共通する可視構造部分を算出するとともに、算出された前記可視構造部分に対応する前記撮影構造部分に基づいて、前記複数の画像データの中から、表示させる前記画像データを決定させる、
ことをコンピュータに実行させる付記２１または２２に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
【0106】
（付記２４）
表示させる前記画像データを決定させる際に、
前記可視構造部分に対応する前記撮影構造部分が最も多い前記画像データを、表示させる前記画像データに決定させる、
ことをコンピュータに実行させる付記２３に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
表示させる前記画像データを決定させる際に、
前記可視構造部分に対応する前記撮影構造部分が最も多い前記画像データを、表示させる前記画像データに決定させる、
ことをコンピュータに実行させる付記２３に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
【0107】
（付記２５）
決定した前記画像データを表示させる際に、
前記複数の画像データを保持させ、
保持された前記複数の画像データの撮影条件を含む撮影情報を保持させ、
前記構造データを含む現場情報を保持させ、
決定した前記画像データを表示させる、
ことをコンピュータに実行させる付記２３または２４に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
決定した前記画像データを表示させる際に、
前記複数の画像データを保持させ、
保持された前記複数の画像データの撮影条件を含む撮影情報を保持させ、
前記構造データを含む現場情報を保持させ、
決定した前記画像データを表示させる、
ことをコンピュータに実行させる付記２３または２４に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
【0108】
（付記２６）
前記撮影構造部分を算出させる際に、
前記撮影情報を用いて、前記表示対象の前記構造の配置を示す構造マップ上の前記撮影領域を算出させ、
算出させた前記撮影領域を用いて、前記撮影構造部分を算出させる、
ことをコンピュータに実行させる付記２５に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
前記撮影構造部分を算出させる際に、
前記撮影情報を用いて、前記表示対象の前記構造の配置を示す構造マップ上の前記撮影領域を算出させ、
算出させた前記撮影領域を用いて、前記撮影構造部分を算出させる、
ことをコンピュータに実行させる付記２５に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
【0109】
（付記２７）
前記視点から見た前記点群データを表示させる際に、
前記表示対象をスキャンした前記点群データを保持させ、
前記点群データを表示させる際の前記視点が入力されたか判断させ、
入力された前記視点と、前記点群データと、の関係を含む視線情報を算出させ、
算出させた前記視線情報に基づいて、前記視点から見た前記点群データを表示させる、
ことをコンピュータに実行させる付記１３～１６のいずれか１項に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
前記視点から見た前記点群データを表示させる際に、
前記表示対象をスキャンした前記点群データを保持させ、
前記点群データを表示させる際の前記視点が入力されたか判断させ、
入力された前記視点と、前記点群データと、の関係を含む視線情報を算出させ、
算出させた前記視線情報に基づいて、前記視点から見た前記点群データを表示させる、
ことをコンピュータに実行させる付記１３～１６のいずれか１項に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
【0110】
（付記２８）
前記表示させる前記画像データを決定させる際に、
前記視線情報を用いて、前記表示対象の前記構造の配置を示す構造マップ上の前記可視領域を算出させ、
算出させた前記可視領域を用いて、前記可視構造部分を算出させる、
ことをコンピュータに実行させる付記２７に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
前記表示させる前記画像データを決定させる際に、
前記視線情報を用いて、前記表示対象の前記構造の配置を示す構造マップ上の前記可視領域を算出させ、
算出させた前記可視領域を用いて、前記可視構造部分を算出させる、
ことをコンピュータに実行させる付記２７に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
【0111】
（付記２９）
前記点群データは、前記表示対象をＬｉＤＡＲによって取得されたことを特徴とする、
付記２１～２８のいずれか１項に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
前記点群データは、前記表示対象をＬｉＤＡＲによって取得されたことを特徴とする、
付記２１～２８のいずれか１項に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
【0112】
（付記３０）
前記点群データを取得させる、
ことをコンピュータに実行させる付記２１～２９のいずれか１項に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
前記点群データを取得させる、
ことをコンピュータに実行させる付記２１～２９のいずれか１項に記載のデータ処理プログラムが格納された非一時的なコンピュータ可読媒体。
【0113】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【0114】
１ データ処理装置
１０ 点群データ処理部
１１ 点群データ保持部
１２ 視点操作入力部
１３ 視線算出部
１４ 点群データ表示部
２０ 画像データ処理部
２１ 画像データ保持部
２２ 画像情報保持部
２３ 現場マップ保持部
２４ 画像データ表示部
２５ 画像領域算出部
２６ 画像決定部
３０ ＬｉＤＡＲ
３１ 発光部
３２ 検出部
３３ 照射光
３４ 反射光
ＣＡ、ＣＢ 撮影位置
ＨＡ１、ＨＡ２、ＨＡ３、ＨＢ１、ＨＢ２、ＨＢ３ 撮影構造部分
ＫＤ１、ＫＤ２、ＫＤ３ 構造
ＭＡ 可視構造部分
ＲＡ 可視領域
ＳＡ、ＳＢ 撮影領域
１０ 点群データ処理部
１１ 点群データ保持部
１２ 視点操作入力部
１３ 視線算出部
１４ 点群データ表示部
２０ 画像データ処理部
２１ 画像データ保持部
２２ 画像情報保持部
２３ 現場マップ保持部
２４ 画像データ表示部
２５ 画像領域算出部
２６ 画像決定部
３０ ＬｉＤＡＲ
３１ 発光部
３２ 検出部
３３ 照射光
３４ 反射光
ＣＡ、ＣＢ 撮影位置
ＨＡ１、ＨＡ２、ＨＡ３、ＨＢ１、ＨＢ２、ＨＢ３ 撮影構造部分
ＫＤ１、ＫＤ２、ＫＤ３ 構造
ＭＡ 可視構造部分
ＲＡ 可視領域
ＳＡ、ＳＢ 撮影領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】