知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-04
(45)【発行日】2024-03-12
(54)【発明の名称】処理装置、処理システム、処理方法及びプログラム
(51)【国際特許分類】
G06T 7/30 20170101AFI20240305BHJP
【ＦＩ】
G06T7/30
【請求項の数】
10
(21)【出願番号】P 2022555006
(86)(22)【出願日】2020-10-06
(86)【国際出願番号】 JP2020037885
(87)【国際公開番号】W WO2022074739
(87)【国際公開日】2022-04-14
【審査請求日】2023-03-31
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】辻 聡
(72)【発明者】
【氏名】安倍 次朗
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０１９－９５８７６（ＪＰ，Ａ）
【文献】特開２０１１－２１５９５６（ＪＰ，Ａ）
【文献】特開２０１１－３９７２７（ＪＰ，Ａ）
【文献】特開２００４－３４８５７５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／３０
(57)【特許請求の範囲】
【請求項1】
表示対象を撮影する撮影手段により取得された画像データが入力される画像データ入力手段と、前記画像データが取得された際の画像データ取得情報が入力される画像データ取得情報入力手段と、
前記表示対象を走査する走査手段により取得された三次元データが入力される三次元データ入力手段と、
前記画像データ取得情報における前記撮影手段の位置、撮影方向及び撮影時の画角に基づいて、前記三次元データにおける視点の位置及び視線方向を決定し、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成する視点画像生成手段と、
前記画像データと前記視点画像とをマッチングし、前記視点画像において、前記画像データに対応する対象領域を抽出する対象領域抽出手段と、
前記対象領域を表示するためのパラメータを生成する三次元データ表示パラメータ生成手段と、
を備えた処理装置。
【請求項2】
前記三次元データを前記パラメータに従って表示する表示手段をさらに備えた、請求項１に記載の処理装置。
【請求項3】
前記表示手段は、前記画像データと並べて、前記三次元データを表示する、請求項２に記載の処理装置。
【請求項4】
前記表示手段は、前記画像データと同期させて、前記三次元データを表示する、請求項２または３に記載の処理装置。
【請求項5】
前記表示手段が前記対象領域を表示する表示画面の画面設定情報を保持する画面設定保持手段をさらに備え、前記パラメータは、前記画面設定情報を含む、
請求項２～４のいずれか１項に記載の処理装置。
【請求項6】
前記対象領域は、前記視線方向に直交した水平方向の範囲及び鉛直方向の範囲、並びに、前記視線方向に沿った奥行方向の範囲を含む、請求項１～５のいずれか１項に記載の処理装置。
【請求項7】
前記画像データを保持する画像データ保持手段をさらに備え、前記画像データは、前記画像データ保持手段から、前記画像データ入力手段に入力される、
請求項１～６のいずれか１項に記載の処理装置。
【請求項8】
前記表示対象を走査する前記走査手段により前記三次元データを取得する三次元データ取得装置と、請求項１～７のいずれか１項に記載の処理装置と、
を備えた処理システム。
【請求項9】
表示対象を撮影する撮影手段により取得された画像データを入力させ、前記画像データが取得された際の画像データ取得情報を入力させ、
前記表示対象を走査する走査手段により取得された三次元データを入力させ、
前記画像データ取得情報における前記撮影手段の位置、撮影方向及び撮影時の画角に基づいて、前記三次元データにおける視点の位置及び視線方向を決定させ、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成させ、
前記画像データと前記視点画像とをマッチングさせ、前記視点画像において、前記画像データに対応する対象領域を抽出させ、
前記対象領域を表示させるためのパラメータを生成させる、
処理方法。
【請求項10】
表示対象を撮影する撮影手段により取得された画像データを入力させ、前記画像データが取得された際の画像データ取得情報を入力させ、
前記表示対象を走査する走査手段により取得された三次元データを入力させ、
前記画像データ取得情報における前記撮影手段の位置、撮影方向及び撮影時の画角に基づいて、前記三次元データにおける視点の位置及び視線方向を決定させ、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成させ、
前記画像データと前記視点画像とをマッチングさせ、前記視点画像において、前記画像データに対応する対象領域を抽出させ、
前記対象領域を表示させるためのパラメータを生成させる、
ことをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理装置、処理システム、処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
【背景技術】
【0002】
特許文献１には、位置認識システムが記載されている。特許文献１の位置認識システムは、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等の三次元スキャナで取得した点群データに対して、視点と視線方向ベクトルを付帯した二次元画像を複数抽出する。そして、抽出した二次元画像と、対象物のカメラ画像との間で特徴点マッチングをすることで、カメラ画像に対応する対象物の点群データ上での位置を特定する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－０７７８３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の位置認識システムでは、点群データを様々な視点・画角から画像データ化したデータをあらかじめ用意し、それと画像データのマッチングを行っている。よって、点群画像生成による記憶領域の圧迫といった問題を引き起こす。今後、ドローンやクローラー（地上走行ロボット）による監視形態が広がると、取得するデータ量は増大し、この問題はより顕著になる。
【0005】
本開示の目的は、このような課題を解決するためになされたものであり、記憶領域の使用量を抑えつつ、画像データと三次元データとを表示する際の視認性を向上させることができる処理装置、処理システム、処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することにある。
【課題を解決するための手段】
【0006】
本開示に係る処理装置は、表示対象を撮影する撮影手段により取得された画像データが入力される画像データ入力手段と、前記画像データが取得された際の画像データ取得情報が入力される画像データ取得情報入力手段と、前記表示対象を走査する走査手段により取得された三次元データが入力される三次元データ入力手段と、前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定し、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成する視点画像生成手段と、前記画像データと前記視点画像とをマッチングし、前記視点画像において、前記画像データに対応する対象領域を抽出する対象領域抽出手段と、前記対象領域を表示するためのパラメータを生成する三次元データ表示パラメータ生成手段と、備える。
【0007】
また、本開示に係る処理システムは、前記表示対象を走査する前記走査手段により前記三次元データを取得する三次元データ取得装置と、上記記載の処理装置と、を備える。
【0008】
さらに、本開示に係る処理方法は、表示対象を撮影する撮影手段により取得された画像データを入力させ、前記画像データが取得された際の画像データ取得情報を入力させ、前記表示対象を走査する走査手段により取得された三次元データを入力させ、前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定させ、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成させ、前記画像データと前記視点画像とをマッチングさせ、前記視点画像において、前記画像データに対応する対象領域を抽出させ、前記対象領域を表示させるためのパラメータを生成させる。
【0009】
また、本開示に係るプログラムは、表示対象を撮影する撮影手段により取得された画像データを入力させ、前記画像データが取得された際の画像データ取得情報を入力させ、前記表示対象を走査する走査手段により取得された三次元データを入力させ、前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定させ、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成させ、前記画像データと前記視点画像とをマッチングさせ、前記視点画像において、前記画像データに対応する対象領域を抽出させ、前記対象領域を表示させるためのパラメータを生成させる、ことをコンピュータに実行させる。
【発明の効果】
【0010】
本開示によれば、記憶領域の使用量を抑えつつ、画像データと三次元データとを表示する際の視認性を向上させることができる処理装置、処理システム、処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
【図面の簡単な説明】
【0011】
【図1】実施形態１に係る処理装置を例示したブロック図である。
【図2】実施形態１に係る別の処理装置を例示したブロック図である。
【図3】実施形態１に係る処理装置において、画像データ入力部に入力される画像データを例示した図である。
【図4】実施形態１に係る処理装置において、画像データ取得情報入力部に入力される画像データ取得情報を例示した図である。
【図5】実施形態１に係る処理装置において、三次元データ入力部に入力される三次元データを例示した図である。
【図6】実施形態１に係る処理装置において、三次元データを取得する三次元データ取得装置を例示した図である。
【図7】実施形態１に係る処理装置において、視点画像生成部が生成した視点画像及び対象領域抽出部が抽出した対象領域を例示した図である。
【図8】実施形態１に係る処理装置において、画像データ及び対象領域を例示した図である。
【図9】実施形態１に係る別の処理装置において、表示部を例示した図である。
【図10】実施形態１に係るさらに別の処理装置を例示したブロック図である。
【図11】実施形態１に係る処理装置を用いた処理方法を例示したフローチャート図である。
【図12】実施形態１に係る別の処理装置を用いた処理方法を例示したフローチャート図である。
【発明を実施するための形態】
【0012】
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【0013】
（実施形態１）
実施形態１に係る処理装置を説明する。図１は、実施形態１に係る処理装置を例示したブロック図である。図１に示すように、処理装置１０は、画像データ入力部１１と、画像データ取得情報入力部１２と、三次元データ入力部１３と、視点画像生成部１４と、対象領域抽出部１５と、三次元データ表示パラメータ生成部１６と、を備えている。画像データ入力部１１、画像データ取得情報入力部１２、三次元データ入力部１３、視点画像生成部１４、対象領域抽出部１５、及び、三次元データ表示パラメータ生成部１６は、それぞれ、画像データ入力手段、画像データ取得情報入力手段、三次元データ入力手段、視点画像生成手段、対象領域抽出手段、及び、三次元データ表示パラメータ生成手段としての機能を有している。
実施形態１に係る処理装置を説明する。図１は、実施形態１に係る処理装置を例示したブロック図である。図１に示すように、処理装置１０は、画像データ入力部１１と、画像データ取得情報入力部１２と、三次元データ入力部１３と、視点画像生成部１４と、対象領域抽出部１５と、三次元データ表示パラメータ生成部１６と、を備えている。画像データ入力部１１、画像データ取得情報入力部１２、三次元データ入力部１３、視点画像生成部１４、対象領域抽出部１５、及び、三次元データ表示パラメータ生成部１６は、それぞれ、画像データ入力手段、画像データ取得情報入力手段、三次元データ入力手段、視点画像生成手段、対象領域抽出手段、及び、三次元データ表示パラメータ生成手段としての機能を有している。
【0014】
処理装置１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、インターフェイス部（Ｉ／Ｆ）等からなるマイクロコンピュータを含むハードウェアで構成されてもよい。ＣＰＵ等は、視点画像生成部１４、対象領域抽出部１５、三次元データ表示パラメータ生成部１６として機能し、データ生成処理、データ抽出処理及び制御処理等を行う。なお、データ表示機能としてデータ表示処理を行ってもよい。ＲＯＭは、ＣＰＵによって実行されるデータ生成プログラム、データ抽出プログラム、データ表示プログラム及び制御プログラム等を記憶する。ＲＡＭは、画像データ及び三次元データ等の各種のデータを記憶する。インターフェイス部（Ｉ／Ｆ）は、外部と信号の入出力を行う。ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェイス部は、データバスなどを介して相互に接続されている。
【0015】
図２は、実施形態１に係る別の処理装置を例示したブロック図である。図２に示すように、処理装置１０ａは、表示部１７をさらに備えている。表示部１７は、表示手段としての機能を有している。以下で、処理装置１０及び処理装置１０ａの各構成を説明する。
【0016】
＜画像データ入力部＞
図３は、実施形態１に係る処理装置１０において、画像データ入力部１１に入力される画像データを例示した図である。図３に示すように、画像データ入力部１１には、画像データ２０が入力される。画像データ２０は、表示対象を撮影する撮影手段により取得されたデータである。撮影手段は、例えば、カメラである。その場合には、画像データ２０は、カメラで撮像した静止画像のデータである。画像データ２０は、カメラで撮影された動画の１フレームでもよい。画像データ２０は、表示対象の画像を含んでいる。表示対象は、例えば、監視対象とされる施設等である。
図３は、実施形態１に係る処理装置１０において、画像データ入力部１１に入力される画像データを例示した図である。図３に示すように、画像データ入力部１１には、画像データ２０が入力される。画像データ２０は、表示対象を撮影する撮影手段により取得されたデータである。撮影手段は、例えば、カメラである。その場合には、画像データ２０は、カメラで撮像した静止画像のデータである。画像データ２０は、カメラで撮影された動画の１フレームでもよい。画像データ２０は、表示対象の画像を含んでいる。表示対象は、例えば、監視対象とされる施設等である。
【0017】
画像データ入力部１１は、例えば、後述する画像データ保持部から画像データ２０を入力されてもよい。画像データ入力部１１は、カメラ等の撮影手段から直接、画像データ２０を入力されてもよい。
【0018】
＜画像データ取得情報入力部＞
図４は、実施形態１に係る処理装置１０において、画像データ取得情報入力部１２に入力される画像データ取得情報を例示した図である。図４に示すように、画像データ取得情報入力部１２には、画像データ取得情報が入力される。画像データ取得情報は、画像データ入力部１１に入力される画像データ２０が取得された際の情報である。画像データ取得情報は、例えば、撮影手段の位置２１、撮影方向２２、及び、撮影時の画角２３を含んでいる。撮影方向２２は、撮影方向を示す撮影方向ベクトルとして表すことができる。撮影時の画角２３は、例えば、鉛直方向の画角２３を含む。撮影手段が地面などの基準面に対して平行でない場合には、画像データ取得情報は、傾きセンサの情報を含んでもよい。
図４は、実施形態１に係る処理装置１０において、画像データ取得情報入力部１２に入力される画像データ取得情報を例示した図である。図４に示すように、画像データ取得情報入力部１２には、画像データ取得情報が入力される。画像データ取得情報は、画像データ入力部１１に入力される画像データ２０が取得された際の情報である。画像データ取得情報は、例えば、撮影手段の位置２１、撮影方向２２、及び、撮影時の画角２３を含んでいる。撮影方向２２は、撮影方向を示す撮影方向ベクトルとして表すことができる。撮影時の画角２３は、例えば、鉛直方向の画角２３を含む。撮影手段が地面などの基準面に対して平行でない場合には、画像データ取得情報は、傾きセンサの情報を含んでもよい。
【0019】
画像データ取得情報入力部１２は、後述する画像データ取得情報保持部から画像データ取得情報を入力されてもよい。画像データ取得情報入力部１２は、カメラ等の撮像手段から直接、画像データ取得情報を入力されてもよい。
【0020】
＜三次元データ入力部＞
図５は、実施形態１に係る処理装置１０において、三次元データ入力部１３に入力される三次元データを例示した図である。図５に示すように、三次元データ入力部１３には、三次元データ３０が入力される。三次元データ３０は、表示対象を走査する走査手段により取得されたデータである。走査手段は、例えば、ＬｉＤＡＲ等の三次元データを取得する三次元データ取得装置である。その場合には、三次元データは、点群データである。
図５は、実施形態１に係る処理装置１０において、三次元データ入力部１３に入力される三次元データを例示した図である。図５に示すように、三次元データ入力部１３には、三次元データ３０が入力される。三次元データ３０は、表示対象を走査する走査手段により取得されたデータである。走査手段は、例えば、ＬｉＤＡＲ等の三次元データを取得する三次元データ取得装置である。その場合には、三次元データは、点群データである。
【0021】
図６は、実施形態１に係る処理装置１０において、三次元データを取得する三次元データ取得装置を例示した図である。図６に示すように、三次元データ取得装置は、ＬｉＤＡＲ４０でもよい。ＬｉＤＡＲ４０は、測定対象ＯＢに対してレーザ光等のビームＬＢをスキャンさせることにより、測定対象ＯＢの形状を点群データとして取得することができる。よって、ＬｉＤＡＲ４０は、測定対象ＯＢまでの距離及び測定対象ＯＢの形状を測定することができる。点群データは、少なくとも座標値及び輝度値を含む。
【0022】
例えば、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式のＬｉＤＡＲ４０の原理は、以下のとおりである。すなわち、ＬｉＤＡＲ４０は、レーザ光等のビームＬＢを発光する発光部ＥＭと、ビームＬＢが測定対象ＯＢで反射した反射光ＲＢを検出する検出部ＤＥと、を備えている。ＬｉＤＡＲ４０は、ビームＬＢを所定の画角で測定対象ＯＢに対してスキャンさせながら、測定対象ＯＢで反射した反射光ＲＢを検出する。そして、ＬｉＤＡＲ４０は、ビームＬＢが測定対象ＯＢに到達するまでの時間ｔ１と、反射光ＲＢが検出部ＤＥに到達するまでの時間ｔ２を用いて、測定対象ＯＢまでの距離Ｄを、Ｄ＝（ｔ２－ｔ１）／２×（光の速さ）から算出する。これにより、ＬｉＤＡＲ４０は、スキャンした範囲におけるスキャンデータとして、測定対象ＯＢまでの距離を含んだ座標値及び輝度値を有する点群データを取得することができる。
【0023】
三次元データ３０は、ＬｉＤＡＲ４０により取得された表示対象の形状データを含み、さらに、輝度情報等の付帯情報を含んでもよい。複数の位置から複数の三次元データ３０を取得した場合には、複数の三次元データ３０を統合しておくことが望ましい。例えば、監視対象の施設内の複数地点から三次元データ３０を取得した場合には、事前に位置合わせを行い、統合しておくことが望ましい。三次元データ３０は、世界座標系に変換するためのパラメータと対応付けられてもよい。
【0024】
三次元データ入力部１３は、後述する三次元データ保持部等の記憶装置から三次元データ３０を入力されてもよい。三次元データ入力部１３は、ＬｉＤＡＲ４０等の三次元データ取得装置から直接、三次元データ３０を入力されてもよい。
【0025】
＜視点画像生成部＞
図７は、実施形態１に係る処理装置１０において、視点画像生成部１４が生成した視点画像及び対象領域抽出部１５が抽出した対象領域を例示した図である。図７に示すように、視点画像生成部１４は、視点画像３４を生成する。視点画像３４を生成するために、視点画像生成部１４は、まず、画像データ取得情報における撮影手段の位置２１及び撮影方向２２に基づいて、三次元データ３０における視点の位置３１及び視線方向３２を決定する。そして、視点画像生成部１４は、視線方向３２に直交した面３３に三次元データ３０を投影する。視点画像３４は、面３３に三次元データ３０を投影したものである。このようにして、視点画像生成部１４は、視点画像３４を生成する。複数の三次元データ３０が統合されていない状態で入力された場合には、画像データ２０が撮影された位置２１に近く、撮影方向２２のデータが含まれる三次元データを選択してもよい。
図７は、実施形態１に係る処理装置１０において、視点画像生成部１４が生成した視点画像及び対象領域抽出部１５が抽出した対象領域を例示した図である。図７に示すように、視点画像生成部１４は、視点画像３４を生成する。視点画像３４を生成するために、視点画像生成部１４は、まず、画像データ取得情報における撮影手段の位置２１及び撮影方向２２に基づいて、三次元データ３０における視点の位置３１及び視線方向３２を決定する。そして、視点画像生成部１４は、視線方向３２に直交した面３３に三次元データ３０を投影する。視点画像３４は、面３３に三次元データ３０を投影したものである。このようにして、視点画像生成部１４は、視点画像３４を生成する。複数の三次元データ３０が統合されていない状態で入力された場合には、画像データ２０が撮影された位置２１に近く、撮影方向２２のデータが含まれる三次元データを選択してもよい。
【0026】
＜対象領域抽出部＞
図８は、実施形態１に係る処理装置１０において、画像データ２０及び対象領域３５を例示した図である。図７及び図８に示すように、対象領域抽出部１５は、視点画像３４において、画像データ２０に対応する対象領域３５を抽出する。対象領域３５を抽出するために、対象領域抽出部１５は、まず、画像データ２０と視点画像３４とをマッチングする。例えば、対象領域抽出部１５は、画像データ２０と視点画像５０との間で、特徴点Ｆ１～Ｆ６及びＧ１～Ｇ６のマッチングを行う。具体的には、対象領域抽出部１５は、画像データ２０における特徴点Ｆ１～Ｆ６に特徴が類似する特徴点Ｇ１～Ｇ６を視点画像３４から抽出する。そして、対象領域抽出部１５は、画像データ２０に相当する対象領域３５を三次元データ３０から抽出する。図７及び図８に示すように、対象領域３５は、視線方向３２に直交した水平方向の範囲及び鉛直方向の範囲、並びに、図７に示すように、視線方向３２に沿った奥行方向の範囲を含む。マッチングは、例えば、特徴点マッチングなどの手法で行う。
図８は、実施形態１に係る処理装置１０において、画像データ２０及び対象領域３５を例示した図である。図７及び図８に示すように、対象領域抽出部１５は、視点画像３４において、画像データ２０に対応する対象領域３５を抽出する。対象領域３５を抽出するために、対象領域抽出部１５は、まず、画像データ２０と視点画像３４とをマッチングする。例えば、対象領域抽出部１５は、画像データ２０と視点画像５０との間で、特徴点Ｆ１～Ｆ６及びＧ１～Ｇ６のマッチングを行う。具体的には、対象領域抽出部１５は、画像データ２０における特徴点Ｆ１～Ｆ６に特徴が類似する特徴点Ｇ１～Ｇ６を視点画像３４から抽出する。そして、対象領域抽出部１５は、画像データ２０に相当する対象領域３５を三次元データ３０から抽出する。図７及び図８に示すように、対象領域３５は、視線方向３２に直交した水平方向の範囲及び鉛直方向の範囲、並びに、図７に示すように、視線方向３２に沿った奥行方向の範囲を含む。マッチングは、例えば、特徴点マッチングなどの手法で行う。
【0027】
＜三次元データ表示パラメータ生成部＞
三次元データ表示パラメータ生成部１６は、三次元データ３０のうち、対象領域３５の範囲を表示するためのパラメータを生成する。具体的には、三次元データ表示パラメータ生成部１６は、対象領域３５を表示部１７に表示するパラメータを生成する。パラメータは、画像データ取得情報、表示部１７が対象領域３５を表示する表示画面の画面設定の情報、対象領域３５の範囲の情報が含まれる。
三次元データ表示パラメータ生成部１６は、三次元データ３０のうち、対象領域３５の範囲を表示するためのパラメータを生成する。具体的には、三次元データ表示パラメータ生成部１６は、対象領域３５を表示部１７に表示するパラメータを生成する。パラメータは、画像データ取得情報、表示部１７が対象領域３５を表示する表示画面の画面設定の情報、対象領域３５の範囲の情報が含まれる。
【0028】
パラメータは、例えば、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面の幅、ＧＵＩ画面の高さ、世界座標系における撮影手段及び走査手段等のセンサの座標、撮影手段の撮影方向ベクトル、走査手段の視線方向ベクトル、センサの上方向を示すベクトル、奥行方向の表示範囲（手前側）、奥行方向の表示範囲（奥側）、画面の高さが焦点となす角度（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ：ＦＯＶ）を含む。パラメータは、点群ライブラリ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｌｉｂｒａｒｙ：ＰＣＬ）のカメラパラメータを含んでもよい。
【0029】
世界座標系におけるセンサの座標において、世界座標系は、何らかの範囲内に存在するもの共通の座標系のことである。例えば、インフラ施設内に設置する全てのセンサ（ＬｉＤＡＲ、カメラ）共通の座標系である。また、例えば、地球全体で共通の座標系（緯度、経度、高度を含む）である。
【0030】
ＬｉＤＡＲ４０は、一般的に測定した地点を原点とするローカル座標系で三次元データ３０を取得する。施設の複数個所で測定した場合には、それらの三次元データ３０の座標系は互いに異なるが、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅ）やビーコンの活用により、各ＬｉＤＡＲ４０のローカル座標系を世界座標系に変換することが好ましい。
【0031】
カメラもＧＰＳやビーコンとの連携により世界座標系で撮影位置を把握できることが好ましい。特定のＬｉＤＡＲ４０の位置を原点とした世界座標系を用いてもよく、その場合には、三次元データ３０であれば、各ＬｉＤＡＲ４０が取得した三次元データ３０同士を位置合わせすることができるし、各三次元データ３０を世界座標系のデータに変換することができる。
【0032】
ＦＯＶにおいて、ＬｉＤＡＲ４０の場合には、焦点がＬｉＤＡＲ４０の座標系の原点としてもよい。
【0033】
以下に、パラメータ及びパラメータの取得手段の例を示す。すなわち、ＧＵＩ画面の幅及び高さは、表示システム設定から取得してもよい。世界座標系における撮影手段及び走査手段等のセンサの座標は、ＧＰＳ等の世界座標系を扱えるようにする手段から取得してもよい。撮影手段の撮影方向ベクトルは、カメラ等の撮影手段の撮影方向から取得してもよい。走査手段の視線方向ベクトルは、撮影方向ベクトルから取得してもよい。センサの上方向を示すベクトルは、ＬｉＤＡＲ４０の測定時の姿勢、取得した点群データの推定（地面を抽出し、それに対して鉛直な方向とする、等）から取得してもよい。奥行方向の表示範囲（手前）は、点群データから生成した点群画像とカメラ画像でマッチングを行い、点群画像の対象領域に相当する点群データの中でＬｉＤＡＲ４０から最も奥行き方向の座標が小さいものを抽出することにより取得してもよい。奥行方向の表示範囲（奥）は、上記と同様にして、ＬｉＤＡＲから最も奥行き方向の座標が大きいものを抽出することにより取得してもよい。画面の高さが焦点となす角度は、カメラ画像のＦＯＶから取得してもよい。
【0034】
＜表示部＞
図９は、実施形態１に係る別の処理装置１０ａにおいて、表示部１７を例示した図である。図９に示すように、表示部１７は、三次元データ３０をパラメータに従って表示する。具体的には、表示部１７は、三次元データ３０のうち、対象領域抽出部１５が抽出した対象領域３５を表示する。表示部１７は、画像データ２０と並べて、三次元データ３０を表示してもよい。
図９は、実施形態１に係る別の処理装置１０ａにおいて、表示部１７を例示した図である。図９に示すように、表示部１７は、三次元データ３０をパラメータに従って表示する。具体的には、表示部１７は、三次元データ３０のうち、対象領域抽出部１５が抽出した対象領域３５を表示する。表示部１７は、画像データ２０と並べて、三次元データ３０を表示してもよい。
【0035】
また、表示部１７は、画像データ２０と同期させて、三次元データ３０を表示してもよい。例えば、撮影手段により撮影された動画の所定のフレームが所定の間隔で画像データ入力部１１に入力される場合に、表示部１７は、所定のフレームの画像データ２０を表示させるタイミングに同期させて、画像データ２０に対応した対象領域３５を表示させてもよい。
【0036】
図１０は、実施形態１に係るさらに別の処理装置を例示したブロック図である。図１０に示すように、処理装置１０ｂは、さらに、画像データ保持部１１ａと、画像データ取得情報保持部１２ａと、三次元データ保持部１３ａと、画面設定保持部１８と、を備えてもよい。画像データ保持部１１ａ、画像データ取得情報保持部１２ａ、三次元データ保持部１３ａ、及び、画面設定保持部１８は、それぞれ、画像データ保持手段、画像データ取得情報保持手段、三次元データ保持手段、及び、画面設定保持手段としての機能を有している。
【0037】
なお、処理装置１０ｂは、画像データ保持部１１ａ、画像データ取得情報保持部１２ａ、三次元データ保持部１３ａ、及び、画面設定保持部１８のいくつかだけを備えてもよい。また、画像データ保持部１１ａ、画像データ取得情報保持部１２ａ、三次元データ保持部１３ａ、及び、画面設定保持部１８は、それぞれ、単体で機能する記憶装置として、処理装置１０とは独立して設けられてもよい。また、処理装置１０ｂは、表示部１７をさらに備えてもよい。
【0038】
＜画像データ保持部＞
画像データ保持部１１ａは、画像データ２０を保持する。画像データ保持部１１ａは、表示対象を撮影する撮影手段により取得された画像データ２０を保持していれば、それ以外の他の画像データ２０を保持してもよい。画像データ保持部１１ａは、例えば、カメラ等の撮影手段から画像データ２０を取得してもよいし、画像データ２０を保持した他の保持手段から画像データ２０を取得してもよい。画像データ保持部１１ａに保持された画像データ２０は、画像データ保持部１１ａから、画像データ入力部１１に入力される。
画像データ保持部１１ａは、画像データ２０を保持する。画像データ保持部１１ａは、表示対象を撮影する撮影手段により取得された画像データ２０を保持していれば、それ以外の他の画像データ２０を保持してもよい。画像データ保持部１１ａは、例えば、カメラ等の撮影手段から画像データ２０を取得してもよいし、画像データ２０を保持した他の保持手段から画像データ２０を取得してもよい。画像データ保持部１１ａに保持された画像データ２０は、画像データ保持部１１ａから、画像データ入力部１１に入力される。
【0039】
＜画像データ取得情報保持部＞
画像データ取得情報保持部１２ａは、画像データ取得情報を保持する。画像データ取得情報保持部１２ａは、画像データ２０が取得された際の画像データ取得情報を保持していれば、それ以外の他の画像データ取得情報を保持してもよい。画像データ取得情報保持部１２ａは、例えば、カメラ等の撮影手段から画像データ取得情報を取得してもよいし、画像データ取得情報を保持した他の保持手段から画像データ取得情報を取得してもよい。画像データ取得情報は、画像データ取得情報保持部１２ａから、画像データ取得情報入力部１２に入力される。
画像データ取得情報保持部１２ａは、画像データ取得情報を保持する。画像データ取得情報保持部１２ａは、画像データ２０が取得された際の画像データ取得情報を保持していれば、それ以外の他の画像データ取得情報を保持してもよい。画像データ取得情報保持部１２ａは、例えば、カメラ等の撮影手段から画像データ取得情報を取得してもよいし、画像データ取得情報を保持した他の保持手段から画像データ取得情報を取得してもよい。画像データ取得情報は、画像データ取得情報保持部１２ａから、画像データ取得情報入力部１２に入力される。
【0040】
＜三次元データ保持部＞
三次元データ保持部１３ａは、三次元データ３０を保持する。三次元データ保持部１３ａは、表示対象を走査する走査手段により取得された三次元データ３０を保持していれば、それ以外の他の三次元データ３０を保持してもよい。三次元データ保持部１３ａは、例えば、表示対象を走査する走査手段により三次元データ３０を取得する三次元データ取得装置から三次元データ３０を取得してもよいし、三次元データ３０を保持した他の保持手段から三次元データ３０を取得してもよい。三次元データ３０は、三次元データ保持部１３ａから、三次元データ入力部１３に入力される。
三次元データ保持部１３ａは、三次元データ３０を保持する。三次元データ保持部１３ａは、表示対象を走査する走査手段により取得された三次元データ３０を保持していれば、それ以外の他の三次元データ３０を保持してもよい。三次元データ保持部１３ａは、例えば、表示対象を走査する走査手段により三次元データ３０を取得する三次元データ取得装置から三次元データ３０を取得してもよいし、三次元データ３０を保持した他の保持手段から三次元データ３０を取得してもよい。三次元データ３０は、三次元データ保持部１３ａから、三次元データ入力部１３に入力される。
【0041】
＜画面設定保持部＞
画面設定保持部１８は、表示部１７が対象領域３５を表示する表示画面の画面設定情報を保持する。画面設定情報は、三次元データ３０を表示する表示画面の高さ、幅を含む。前述のパラメータは、画面設定情報を含んでもよい。
画面設定保持部１８は、表示部１７が対象領域３５を表示する表示画面の画面設定情報を保持する。画面設定情報は、三次元データ３０を表示する表示画面の高さ、幅を含む。前述のパラメータは、画面設定情報を含んでもよい。
【0042】
＜処理方法＞
次に、本実施形態に係る処理装置１０を用いた処理方法を説明する。図１１は、実施形態１に係る処理装置１０を用いた処理方法を例示したフローチャート図である。
次に、本実施形態に係る処理装置１０を用いた処理方法を説明する。図１１は、実施形態１に係る処理装置１０を用いた処理方法を例示したフローチャート図である。
【0043】
図１１のステップＳ１１及び図３に示すように、画像データ２０を入力させる。例えば、表示対象を撮影する撮影手段により取得された画像データ２０を、画像データ入力部１１に入力させる。なお、画像データ２０を画像データ保持部１１ａに保持させ、保持させた画像データ２０を画像データ入力部１１に入力させてもよい。
【0044】
次に、ステップＳ１２及び図４に示すように、画像データ取得情報を入力させる。例えば、画像データ２０が取得された際の画像データ取得情報を、画像データ取得情報入力部１２に入力させる。なお、画像データ取得情報を画像データ取得情報保持部１２ａに保持させ、保持させた画像データ取得情報を画像データ取得情報入力部１２に入力させてもよい。
【0045】
次に、ステップＳ１３及び図５に示すように、三次元データ３０を入力させる。例えば、表示対象を走査する走査手段により取得された三次元データ３０を、三次元データ入力部１３に入力させる。なお、三次元データ３０を三次元データ保持部１３ａに保持させ、保持させた三次元データ３０を三次元データ入力部１３に入力させてもよい。
【0046】
ステップＳ１１、ステップＳ１２、ステップＳ１３は、この順序にかぎらない。例えば、ステップＳ１３、ステップＳ１１、ステップＳ１２の順序でもよいし、その他の順序でもよい。
【0047】
次に、ステップＳ１４及び図７に示すように、視点画像３４を生成する。例えば、視点画像生成部１４は、画像データ取得情報における撮影手段の位置２１及び撮影方向２２に基づいて、三次元データ３０における視点の位置３１及び視線方向３２を決定する。そして、視点画像生成部１４は、視線方向３２に直交した面３３に三次元データ３０を投影した視点画像３４を生成する。
【0048】
次に、ステップＳ１５及び図７～図８に示すように、対象領域３５を抽出する。例えば、対象領域抽出部１５は、画像データ２０と視点画像３４とをマッチングさせ、視点画像３４において、画像データ２０に対応する対象領域３５を抽出する。対象領域３５は、視線方向３２に直交した水平方向の範囲及び鉛直方向の範囲、並びに、視線方向３２に沿った奥行方向の範囲を含むようにしてもよい。
【0049】
次に、ステップＳ１６に示すように、パラメータを生成させる。例えば、三次元データ表示パラメータ生成部１６は、対象領域３５を表示させるためのパラメータを生成する。このようにして、処理装置１０は、表示パラメータを生成することができる。
【0050】
次に、表示パラメータを用いて表示部１７に表示させる処理方法を説明する。図１２は、実施形態１に係る別の処理装置１０ａを用いた処理方法を例示したフローチャート図である。図１２におけるステップＳ２１～２６は、図１１におけるステップＳ１１～１６と同様である。
【0051】
次に、ステップＳ２７及び図９に示すように、三次元データ３０における対象領域３５を表示させる。例えば、表示部１７は、三次元データ３０をパラメータに従って表示する。三次元データ３０をパラメータに従って表示させる際に、画像データ２０と並べて、三次元データ３０を表示させてもよい。また、表示部１７は、三次元データ３０をパラメータに従って表示する際に、画像データ２０と同期させて、三次元データ３０を表示してもよい。このようにして、処理装置１０ａは、三次元データ３０を表示部１７に表示させることができる。
【0052】
次に、本実施形態の処理装置１０の効果を説明する。なお、処理装置１０ａ及び１０ｂも含めて処理装置１０と呼ぶ。本実施形態の処理装置１０は、画像データ２０に対応する三次元データ３０を抽出した対象領域３５を生成する。そして、処理装置１０は、対象領域３５を表示する。よって、画像データと同じアングル及び画角で三次元データを生成及び表示することができるので、画像データ２０と三次元データ３０とを表示する際の視認性を向上させることができる。
【0053】
例えば、電力施設等を監視する施設監視において、カメラの他、ＬｉＤＡＲ４０等の三次元データ取得装置を用いてデータを取得し、監視に活用するということが考えられる。カメラは、二次元のＲＧＢデータ（画像データ２０）を取得し、ＬｉＤＡＲ４０は、点群データ（三次元データ３０）を取得する。カメラ及びＬｉＤＡＲ４０は、画角等の測定範囲に関するパラメータが異なる。
【0054】
本実施形態の処理装置１０は、画像データ２０が示す表示対象や範囲に対応する三次元データ３０を抽出する。また、本実施形態の処理装置１０は、カメラと同じアングルや画角で三次元データ３０を表示する。よって、施設監視担当者は、画像データ２０に対応する三次元データ３０を表示させることができるので、監視対象施設の状態を視認性良く確認することができる。
【0055】
処理装置１０は、画像データ２０と並べて、三次元データ３０を表示してもよいし、画像データ２０と同期させて、三次元データ３０を表示してもよい。これにより、さらに、画像データ２０と三次元データ３０との視認性を向上させることができる。
【0056】
本実施形態の処理装置１０は、入力された三次元データ３０から画像データ２０に対応した対象領域３５を抽出する。よって、様々な撮影の位置２１及び撮影方向２２から撮影される画像データ２０に対応するように、様々な視点の位置３１及び視線方向３２から画像データ化した三次元データ３０をあらかじめ用意する必要がない。よって、記憶領域の使用量を抑制することができる。
【0057】
画像データ２０、画像データ取得情報、三次元データ３０、及び、画面設定情報を、画像データ保持部１１ａ、画像データ取得情報保持部１２ａ、三次元データ保持部１３ａ、及び、画面設定保持部１８に保持させることにより、さらに、記憶領域の使用量を抑制することができる。
【0058】
（実施形態２）
次に、実施形態２に係る処理システムを説明する。処理システムは、上述した処理装置１０（処理装置１０ａ及び１０ｂも含めて処理装置１０と呼ぶ。）と、三次元データ取得部と、を備えている。三次元データ取得部は、三次元データ取得手段としての機能を有している。三次元データ取得部は、走査手段を含み、表示対象を走査する走査手段により三次元データを取得する。三次元データ取得部は、例えば、ＬｉＤＡＲ４０である。その場合には、三次元データは、表示対象をＬｉＤＡＲ４０によって取得された点群データである。本実施形態に係る処理方法は、実施形態１の処理方法に、表示対象を走査する走査手段により三次元データ３０を取得させるステップをさらに備える。
次に、実施形態２に係る処理システムを説明する。処理システムは、上述した処理装置１０（処理装置１０ａ及び１０ｂも含めて処理装置１０と呼ぶ。）と、三次元データ取得部と、を備えている。三次元データ取得部は、三次元データ取得手段としての機能を有している。三次元データ取得部は、走査手段を含み、表示対象を走査する走査手段により三次元データを取得する。三次元データ取得部は、例えば、ＬｉＤＡＲ４０である。その場合には、三次元データは、表示対象をＬｉＤＡＲ４０によって取得された点群データである。本実施形態に係る処理方法は、実施形態１の処理方法に、表示対象を走査する走査手段により三次元データ３０を取得させるステップをさらに備える。
【0059】
本実施形態に係る処理システムは、処理装置１０に加えて、三次元データ取得部を備えているので、所望の場所に位置する表示対象の三次元データ３０を表示させることができる。これ以外の構成及び効果は、実施形態１の記載に含まれている。
【0060】
以上、実施形態１及び２を参照して本願発明を説明したが、本願発明は、上記実施形態１及び２に限られたものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることが可能である。例えば、実施形態１及び２の各構成を組み合わせた実施形態も、技術的思想の範囲に含まれる。また、実施形態１及び２の処理方法を、コンピュータに実行させるプログラムも実施形態１及び２の技術的範囲に含まれる。
【0061】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0062】
（付記１）
表示対象を撮影する撮影手段により取得された画像データが入力される画像データ入力手段と、
前記画像データが取得された際の画像データ取得情報が入力される画像データ取得情報入力手段と、
前記表示対象を走査する走査手段により取得された三次元データが入力される三次元データ入力手段と、
前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定し、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成する視点画像生成手段と、
前記画像データと前記視点画像とをマッチングし、前記視点画像において、前記画像データに対応する対象領域を抽出する対象領域抽出手段と、
前記対象領域を表示するためのパラメータを生成する三次元データ表示パラメータ生成手段と、
を備えた処理装置。
（付記２）
前記三次元データを前記パラメータに従って表示する表示手段をさらに備えた、
付記１に記載の処理装置。
（付記３）
前記表示手段は、前記画像データと並べて、前記三次元データを表示する、
付記２に記載の処理装置。
（付記４）
前記表示手段は、前記画像データと同期させて、前記三次元データを表示する、
付記２または３に記載の処理装置。
（付記５）
前記表示手段が前記対象領域を表示する表示画面の画面設定情報を保持する画面設定保持手段をさらに備え、
前記パラメータは、前記画面設定情報を含む、
付記２～４のいずれか１項に記載の処理装置。
（付記６）
前記対象領域は、前記視線方向に直交した水平方向の範囲及び鉛直方向の範囲、並びに、前記視線方向に沿った奥行方向の範囲を含む、
付記１～５のいずれか１項に記載の処理装置。
（付記７）
前記画像データを保持する画像データ保持手段をさらに備え、
前記画像データは、前記画像データ保持手段から、前記画像データ入力手段に入力される、
付記１～６のいずれか１項に記載の処理装置。
（付記８）
前記画像データ取得情報を保持する画像データ取得情報保持手段をさらに備え、
前記画像データ取得情報は、前記画像データ取得情報保持手段から、前記画像データ取得情報入力手段に入力される、
付記１～７のいずれか１項に記載の処理装置。
（付記９）
前記三次元データを保持する三次元データ保持手段をさらに備え、
前記三次元データは、前記三次元データ保持手段から、前記三次元データ入力手段に入力される、
付記１～８のいずれか１項に記載の処理装置。
（付記１０）
前記パラメータは、ＧＵＩ画面の幅、前記ＧＵＩ画面の高さ、世界座標系における撮影手段及び走査手段の座標、撮影手段の撮影方向ベクトル、走査手段の視線方向ベクトル、撮影手段及び走査手段の上方向を示すベクトル、奥行方向の表示範囲、ＦＯＶのうち、少なくともいずれかを含む、
付記１～９のいずれか１項に記載の処理装置。
（付記１１）
前記表示対象を走査する前記走査手段により前記三次元データを取得する三次元データ取得装置と、
付記１～１０のいずれか１項に記載の処理装置と、
を備えた処理システム。
（付記１２）
表示対象を撮影する撮影手段により取得された画像データを入力させ、
前記画像データが取得された際の画像データ取得情報を入力させ、
前記表示対象を走査する走査手段により取得された三次元データを入力させ、
前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定させ、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成させ、
前記画像データと前記視点画像とをマッチングさせ、前記視点画像において、前記画像データに対応する対象領域を抽出させ、
前記対象領域を表示させるためのパラメータを生成させる、
処理方法。
（付記１３）
前記三次元データを前記パラメータに従って表示させる、
付記１２に記載の処理方法。
（付記１４）
前記三次元データを前記パラメータに従って表示させる際に、前記画像データと並べて、前記三次元データを表示させる、
付記１３に記載の処理方法。
（付記１５）
前記三次元データを前記パラメータに従って表示させる際に、前記画像データと同期させて、前記三次元データを表示させる、
付記１３または１４に記載の処理方法。
（付記１６）
前記対象領域を表示させる表示画面の画面設定情報を保持させ、
前記パラメータは、前記画面設定情報を含むようにする、
付記１３～１５のいずれか１項に記載の処理方法。
（付記１７）
前記対象領域は、前記視線方向に直交した水平方向の範囲及び鉛直方向の範囲、並びに、前記視線方向に沿った奥行方向の範囲を含むようにする、
付記１２～１６のいずれか１項に記載の処理方法。
（付記１８）
前記画像データを保持させ、
保持させた前記画像データを入力させる、
付記１２～１７のいずれか１項に記載の処理方法。
（付記１９）
前記画像データ取得情報を保持させ、
保持させた前記画像データ取得情報を入力させる、
付記１２～１８のいずれか１項に記載の処理方法。
（付記２０）
前記三次元データを保持させ、
保持させた前記三次元データを入力させる、
付記１２～１９のいずれか１項に記載の処理方法。
（付記２１）
前記パラメータは、ＧＵＩ画面の幅、前記ＧＵＩ画面の高さ、世界座標系における撮影手段及び走査手段の座標、撮影手段の撮影方向ベクトル、走査手段の視線方向ベクトル、撮影手段及び走査手段の上方向を示すベクトル、奥行方向の表示範囲、ＦＯＶのうち、少なくともいずれかを含むようにする、
付記１２～２０のいずれか１項に記載の処理方法。
（付記２２）
前記表示対象を走査する前記走査手段により前記三次元データを取得する三次元データ取得装置に前記三次元データを取得させる、
付記１２～２１のいずれか１項に記載の処理方法。
（付記２３）
表示対象を撮影する撮影手段により取得された画像データを入力させ、
前記画像データが取得された際の画像データ取得情報を入力させ、
前記表示対象を走査する走査手段により取得された三次元データを入力させ、
前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定させ、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成させ、
前記画像データと前記視点画像とをマッチングさせ、前記視点画像において、前記画像データに対応する対象領域を抽出させ、
前記対象領域を表示させるためのパラメータを生成させる、
ことをコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
（付記２４）
前記三次元データを前記パラメータに従って表示させる、
ことをコンピュータに実行させる付記２３に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記２５）
前記三次元データを前記パラメータに従って表示させる際に、前記画像データと並べて、前記三次元データを表示させる、
ことをコンピュータに実行させる付記２４に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記２６）
前記三次元データを前記パラメータに従って表示させる際に、前記画像データと同期させて、前記三次元データを表示させる、
ことをコンピュータに実行させる付記２４または２５に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記２７）
前記対象領域を表示させる表示画面の画面設定情報を保持させ、
前記パラメータは、前記画面設定情報を含むようにする、
ことをコンピュータに実行させる付記２４～２６のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記２８）
前記対象領域は、前記視線方向に直交した水平方向の範囲及び鉛直方向の範囲、並びに、前記視線方向に沿った奥行方向の範囲を含むようにする、
ことをコンピュータに実行させる付記２３～２７のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記２９）
前記画像データを保持させ、
保持させた前記画像データを入力させる、
ことをコンピュータに実行させる付記２３～２８のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記３０）
前記画像データ取得情報を保持させ、
保持させた前記画像データ取得情報を入力させる、
ことをコンピュータに実行させる付記２３～２９のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記３１）
前記三次元データを保持させ、
保持させた前記三次元データを入力させる、
ことをコンピュータに実行させる付記２３～３０のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記３２）
前記パラメータは、ＧＵＩ画面の幅、前記ＧＵＩ画面の高さ、世界座標系における撮影手段及び走査手段の座標、撮影手段の撮影方向ベクトル、走査手段の視線方向ベクトル、撮影手段及び走査手段の上方向を示すベクトル、奥行方向の表示範囲、ＦＯＶのうち、少なくともいずれかを含むようにする、
ことをコンピュータに実行させる付記２３～３１のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記３３）
前記表示対象を走査する前記走査手段により前記三次元データを取得する三次元データ取得装置に前記三次元データを取得させる、
ことをコンピュータに実行させる付記２３～３２のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
表示対象を撮影する撮影手段により取得された画像データが入力される画像データ入力手段と、
前記画像データが取得された際の画像データ取得情報が入力される画像データ取得情報入力手段と、
前記表示対象を走査する走査手段により取得された三次元データが入力される三次元データ入力手段と、
前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定し、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成する視点画像生成手段と、
前記画像データと前記視点画像とをマッチングし、前記視点画像において、前記画像データに対応する対象領域を抽出する対象領域抽出手段と、
前記対象領域を表示するためのパラメータを生成する三次元データ表示パラメータ生成手段と、
を備えた処理装置。
（付記２）
前記三次元データを前記パラメータに従って表示する表示手段をさらに備えた、
付記１に記載の処理装置。
（付記３）
前記表示手段は、前記画像データと並べて、前記三次元データを表示する、
付記２に記載の処理装置。
（付記４）
前記表示手段は、前記画像データと同期させて、前記三次元データを表示する、
付記２または３に記載の処理装置。
（付記５）
前記表示手段が前記対象領域を表示する表示画面の画面設定情報を保持する画面設定保持手段をさらに備え、
前記パラメータは、前記画面設定情報を含む、
付記２～４のいずれか１項に記載の処理装置。
（付記６）
前記対象領域は、前記視線方向に直交した水平方向の範囲及び鉛直方向の範囲、並びに、前記視線方向に沿った奥行方向の範囲を含む、
付記１～５のいずれか１項に記載の処理装置。
（付記７）
前記画像データを保持する画像データ保持手段をさらに備え、
前記画像データは、前記画像データ保持手段から、前記画像データ入力手段に入力される、
付記１～６のいずれか１項に記載の処理装置。
（付記８）
前記画像データ取得情報を保持する画像データ取得情報保持手段をさらに備え、
前記画像データ取得情報は、前記画像データ取得情報保持手段から、前記画像データ取得情報入力手段に入力される、
付記１～７のいずれか１項に記載の処理装置。
（付記９）
前記三次元データを保持する三次元データ保持手段をさらに備え、
前記三次元データは、前記三次元データ保持手段から、前記三次元データ入力手段に入力される、
付記１～８のいずれか１項に記載の処理装置。
（付記１０）
前記パラメータは、ＧＵＩ画面の幅、前記ＧＵＩ画面の高さ、世界座標系における撮影手段及び走査手段の座標、撮影手段の撮影方向ベクトル、走査手段の視線方向ベクトル、撮影手段及び走査手段の上方向を示すベクトル、奥行方向の表示範囲、ＦＯＶのうち、少なくともいずれかを含む、
付記１～９のいずれか１項に記載の処理装置。
（付記１１）
前記表示対象を走査する前記走査手段により前記三次元データを取得する三次元データ取得装置と、
付記１～１０のいずれか１項に記載の処理装置と、
を備えた処理システム。
（付記１２）
表示対象を撮影する撮影手段により取得された画像データを入力させ、
前記画像データが取得された際の画像データ取得情報を入力させ、
前記表示対象を走査する走査手段により取得された三次元データを入力させ、
前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定させ、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成させ、
前記画像データと前記視点画像とをマッチングさせ、前記視点画像において、前記画像データに対応する対象領域を抽出させ、
前記対象領域を表示させるためのパラメータを生成させる、
処理方法。
（付記１３）
前記三次元データを前記パラメータに従って表示させる、
付記１２に記載の処理方法。
（付記１４）
前記三次元データを前記パラメータに従って表示させる際に、前記画像データと並べて、前記三次元データを表示させる、
付記１３に記載の処理方法。
（付記１５）
前記三次元データを前記パラメータに従って表示させる際に、前記画像データと同期させて、前記三次元データを表示させる、
付記１３または１４に記載の処理方法。
（付記１６）
前記対象領域を表示させる表示画面の画面設定情報を保持させ、
前記パラメータは、前記画面設定情報を含むようにする、
付記１３～１５のいずれか１項に記載の処理方法。
（付記１７）
前記対象領域は、前記視線方向に直交した水平方向の範囲及び鉛直方向の範囲、並びに、前記視線方向に沿った奥行方向の範囲を含むようにする、
付記１２～１６のいずれか１項に記載の処理方法。
（付記１８）
前記画像データを保持させ、
保持させた前記画像データを入力させる、
付記１２～１７のいずれか１項に記載の処理方法。
（付記１９）
前記画像データ取得情報を保持させ、
保持させた前記画像データ取得情報を入力させる、
付記１２～１８のいずれか１項に記載の処理方法。
（付記２０）
前記三次元データを保持させ、
保持させた前記三次元データを入力させる、
付記１２～１９のいずれか１項に記載の処理方法。
（付記２１）
前記パラメータは、ＧＵＩ画面の幅、前記ＧＵＩ画面の高さ、世界座標系における撮影手段及び走査手段の座標、撮影手段の撮影方向ベクトル、走査手段の視線方向ベクトル、撮影手段及び走査手段の上方向を示すベクトル、奥行方向の表示範囲、ＦＯＶのうち、少なくともいずれかを含むようにする、
付記１２～２０のいずれか１項に記載の処理方法。
（付記２２）
前記表示対象を走査する前記走査手段により前記三次元データを取得する三次元データ取得装置に前記三次元データを取得させる、
付記１２～２１のいずれか１項に記載の処理方法。
（付記２３）
表示対象を撮影する撮影手段により取得された画像データを入力させ、
前記画像データが取得された際の画像データ取得情報を入力させ、
前記表示対象を走査する走査手段により取得された三次元データを入力させ、
前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定させ、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成させ、
前記画像データと前記視点画像とをマッチングさせ、前記視点画像において、前記画像データに対応する対象領域を抽出させ、
前記対象領域を表示させるためのパラメータを生成させる、
ことをコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
（付記２４）
前記三次元データを前記パラメータに従って表示させる、
ことをコンピュータに実行させる付記２３に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記２５）
前記三次元データを前記パラメータに従って表示させる際に、前記画像データと並べて、前記三次元データを表示させる、
ことをコンピュータに実行させる付記２４に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記２６）
前記三次元データを前記パラメータに従って表示させる際に、前記画像データと同期させて、前記三次元データを表示させる、
ことをコンピュータに実行させる付記２４または２５に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記２７）
前記対象領域を表示させる表示画面の画面設定情報を保持させ、
前記パラメータは、前記画面設定情報を含むようにする、
ことをコンピュータに実行させる付記２４～２６のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記２８）
前記対象領域は、前記視線方向に直交した水平方向の範囲及び鉛直方向の範囲、並びに、前記視線方向に沿った奥行方向の範囲を含むようにする、
ことをコンピュータに実行させる付記２３～２７のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記２９）
前記画像データを保持させ、
保持させた前記画像データを入力させる、
ことをコンピュータに実行させる付記２３～２８のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記３０）
前記画像データ取得情報を保持させ、
保持させた前記画像データ取得情報を入力させる、
ことをコンピュータに実行させる付記２３～２９のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記３１）
前記三次元データを保持させ、
保持させた前記三次元データを入力させる、
ことをコンピュータに実行させる付記２３～３０のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記３２）
前記パラメータは、ＧＵＩ画面の幅、前記ＧＵＩ画面の高さ、世界座標系における撮影手段及び走査手段の座標、撮影手段の撮影方向ベクトル、走査手段の視線方向ベクトル、撮影手段及び走査手段の上方向を示すベクトル、奥行方向の表示範囲、ＦＯＶのうち、少なくともいずれかを含むようにする、
ことをコンピュータに実行させる付記２３～３１のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
（付記３３）
前記表示対象を走査する前記走査手段により前記三次元データを取得する三次元データ取得装置に前記三次元データを取得させる、
ことをコンピュータに実行させる付記２３～３２のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
【0063】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【0064】
１０、１０ａ、１０ｂ 処理装置
１１ 画像データ入力部
１１ａ 画像データ保持部
１２ 画像データ取得情報入力部
１２ａ 画像データ取得情報保持部
１３ 三次元データ入力部
１３ａ 三次元データ保持部
１４ 視点画像生成部
１５ 対象領域抽出部
１６ 三次元データ表示パラメータ生成部
１７ 表示部
１８ 画面設定保持部
２０ 画像データ
２１ 位置
２２ 撮影方向
２３ 画角
３０ 三次元データ
３１ 位置
３２ 視線方向
３３ 面
３４ 視点画像
３５ 対象領域
４０ ＬｉＤＡＲ
ＤＥ 検出部
ＥＭ 発光部
ＬＢ ビーム
ＯＢ 測定対象
ＲＢ 反射光
１１ 画像データ入力部
１１ａ 画像データ保持部
１２ 画像データ取得情報入力部
１２ａ 画像データ取得情報保持部
１３ 三次元データ入力部
１３ａ 三次元データ保持部
１４ 視点画像生成部
１５ 対象領域抽出部
１６ 三次元データ表示パラメータ生成部
１７ 表示部
１８ 画面設定保持部
２０ 画像データ
２１ 位置
２２ 撮影方向
２３ 画角
３０ 三次元データ
３１ 位置
３２ 視線方向
３３ 面
３４ 視点画像
３５ 対象領域
４０ ＬｉＤＡＲ
ＤＥ 検出部
ＥＭ 発光部
ＬＢ ビーム
ＯＢ 測定対象
ＲＢ 反射光
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】