特開 2024-66079 計測装置、計測システム及び計測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024066079

(43)【公開日】2024-05-15

(54)【発明の名称】計測装置、計測システム及び計測方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240508BHJP

   G01B 11/00 20060101ALI20240508BHJP

【ＦＩ】

G06T7/70 Z

G01B11/00 H

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022175357

(22)【出願日】2022-11-01

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】小倉 一峰

(72)【発明者】

【氏名】住谷 達哉

(72)【発明者】

【氏名】安倍 次朗

(72)【発明者】

【氏名】カーン ナグマ サムリーン

(72)【発明者】

【氏名】松本 侑也

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065FF04

2F065JJ26

2F065QQ24

2F065QQ31

2F065RR08

2F065SS02

5L096AA09

5L096CA02

5L096DA01

5L096DA02

5L096EA14

5L096FA66

5L096FA67

5L096FA69

(57)【要約】

【課題】３Ｄデータに含まれる点と画像を構成する画素との間で、正確な対応関係を構築する。
【解決手段】位置合わせ部１は、対象物を撮像して取得した画像データＩＭＧと、対象物の３ＤデータＤＡＴと、を受け取り、画像データＩＭＧと３ＤデータＤＡＴとの位置合わせを行い、位置合わせ後のデータＤＰＡを出力する。画素選択部２は、画像データＩＭＧに含まれる複数の画素から、注目画素を選択する。画素点対応付け部３は、位置合わせ後のデータＤＰＡに含まれる３ＤデータＤＡＴの複数の点データから、注目画素近傍の３つ以上の点データを近傍点データとして選択し、近傍点データに基づいて１つの面を推定し、１つの面における注目画素の、複数の点データが属する空間における位置を算出する対応付けを行う。
【選択図】図５

【特許請求の範囲】

【請求項1】

対象物を撮像して取得した画像データと、前記対象物の３Ｄデータと、を受け取り、前記画像データと前記３Ｄデータとの位置合わせを行い、位置合わせ後のデータを出力する位置合わせ部と、
前記画像データに含まれる複数の画素から、注目画素を選択する画素選択部と、
前記位置合わせ後のデータに含まれる前記３Ｄデータの複数の点データから、前記注目画素の近傍の３つ以上の点データを近傍点データとして選択し、前記近傍点データに基づいて１つの面を推定し、前記１つの面における前記注目画素の、前記複数の点データが属する空間における位置を算出する対応付けを行う画素点対応付け部と、を備える、
計測装置。

【請求項2】

前記画素点対応付け部は、
前記画像データを取得した撮像装置が向く方向であって前記注目画素を通る視線方向と、前記複数の点データのそれぞれと、の間の垂線距離を算出し、
前記垂線距離が近い順に、前記近傍点データを選択する、
請求項１に記載の計測装置。

【請求項3】

前記視線方向は、前記注目画素の中央点を通る、
請求項２に記載の計測装置。

【請求項4】

前記視線方向に沿って見たときに、前記視線方向を中心とする所定の半径の円の内部に位置する点データを、前記近傍点データとして選択する、
請求項２又は３に記載の計測装置。

【請求項5】

前記画素選択部は、前記注目画素を複数選択し、
前記画素点対応付け部は、選択された複数の前記注目画素のそれぞれについて、前記対応付けを行う、
請求項１又は２に記載の計測装置。

【請求項6】

前記複数の注目画素は、第１の注目画素及び第２の注目画素を含み、
前記画素選択部は、前記画像データにおける前記対象物の計測対象となる事象の一端に位置する画素を第１の注目画素として選択し、他端に位置する画素を第２の注目画素として選択する、
請求項５に記載の計測装置。

【請求項7】

前記複数の注目画素は、第１の注目画素及び第２の注目画素を含み、
前記画素選択部は、前記画像データにおける前記対象物の計測対象となる事象を包含する、複数の画素からなる矩形領域の１つの角に位置する画素を第１の注目画素として選択し、前記第１の注目画素に対して対角の位置の画素を第２の注目画素として選択する、
請求項５に記載の計測装置。

【請求項8】

前記画像データ又は前記３Ｄデータ上に、前記矩形領域を表示する表示部をさらに備える、
請求項７に記載の計測装置。

【請求項9】

対象物を撮像して取得した画像データを出力する撮像装置と、
前記対象物の３Ｄデータを取得する３Ｄデータ取得装置と、
前記画像データと前記対象物の３Ｄデータとの対応付ける計測装置と、を備え、
前記計測装置は、
前記画像データと前記３Ｄデータとを受け取り、前記画像データと前記３Ｄデータとの位置合わせを行い、位置合わせ後のデータを出力する位置合わせ部と、
前記画像データに含まれる複数の画素から、注目画素を選択する画素選択部と、
前記位置合わせ後のデータに含まれる前記３Ｄデータの複数の点データから、前記注目画素の近傍の３つ以上の点データを近傍点データとして選択し、前記近傍点データに基づいて１つの面を推定し、前記１つの面における前記注目画素の、前記複数の点データが属する空間における位置を算出する対応付けを行う画素点対応付け部と、を備える、
計測システム。

【請求項10】

対象物を撮像して取得した画像データと、前記対象物の３Ｄデータと、を受け取って、前記画像データと前記３Ｄデータとの位置合わせを行い、位置合わせ後のデータを出力し、
前記画像データに含まれる複数の画素から、注目画素を選択し、
前記位置合わせ後のデータに含まれる前記３Ｄデータの複数の点データから、前記注目画素の近傍の３つ以上の点データを近傍点データとして選択し、前記近傍点データに基づいて１つの面を推定し、前記１つの面における前記注目画素の、前記複数の点データが属する空間における位置を算出する対応付けを行う、計測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、計測装置、計測システム及び計測方法に関する。

【背景技術】

【0002】

例えば、建物や橋梁などの各種の構造物及び物体を観測するために、様々な手法でこれらの構造物を計測する手法が知られている。こうした手法としては、例えば、構造物の３次元モデルに画像を投影して可視化する手法（特許文献１）、画像から構造物の経時変化を検出する手法（特許文献２）、自律運転車両のために前方を走行する車両の位置推定を行う手法（特許文献３）などが提案されている。

【0003】

また、近年、レーザ光によって構造物の３次元構造を示す３Ｄデータを取得する、いわゆるＬｉＤＡＲ（Light Detection and Ranging）技術が普及している。ＬｉＤＡＲによって取得した３Ｄデータを、カメラ等で撮像して得られる構造物の画像データと組み合わせることで、構造物の精密解析が期待できる。これらの組み合わせ手法として、３Ｄデータにおいて構造物の各箇所の座標を示す点と画像を構成する画素との間の位置合わせを行う手法が提案さてれている（非特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特表２００６－５０３３７９号公報

【特許文献2】特開２０１７－０６２７７６号公報

【特許文献3】特表２０２２－５３２６９５号公報

【非特許文献】

【0005】

【非特許文献1】Jiaxin Li, Gim Hee Lee, ”DeepI2P: Image-to-Point Cloud Registration via Deep Classification”, arXiv, Internet, ２０２２年１０月１３日検索, <URL: https://arxiv.org/pdf/2104.03501.pdf>

【発明の概要】

【発明が解決しようとする課題】

【0006】

非特許文献１の手法においては、３Ｄデータと画像との間の位置合わせが行えるものの、３Ｄデータの点と画像の画素とではデータの粗密や配列が異なっており、正確な対応を取ることができない。つまり、３Ｄデータの点と画素との間で１対１の対応関係が構築できないため、位置合わせ後の定量性が担保できず、厳密な解析を行うことができない。

【0007】

よって、ＬｉＤＡＲによる３Ｄデータの点と画像の画素との間で、正確な対応関係を構築できる計測手法の確立が望まれている。

【0008】

本開示は、上記の事情に鑑みて成されたものであり、３Ｄデータに含まれる点と画像を構成する画素との間で、正確な対応関係を構築することを目的とする。

【課題を解決するための手段】

【0009】

本開示の一態様である計測装置は、対象物を撮像して取得した画像データと、前記対象物の３Ｄデータと、を受け取り、前記画像データと前記３Ｄデータとの位置合わせを行い、位置合わせ後のデータを出力する位置合わせ部と、前記画像データに含まれる複数の画素から、注目画素を選択する画素選択部と、前記位置合わせ後のデータに含まれる前記３Ｄデータの複数の点データから、前記注目画素近傍の３つ以上の点データを近傍点データとして選択し、前記近傍点データに基づいて１つの面を推定し、前記１つの面における前記注目画素の、前記複数の点データが属する空間における位置を算出する対応付けを行う画素点対応付け部と、を備えるものである。

【0010】

本開示の一態様である計測システムは、対象物を撮像して取得した画像データを出力する撮像装置と、前記対象物の３Ｄデータを取得する３Ｄデータ取得装置と、前記画像データと前記対象物の３Ｄデータとの対応付ける計測装置と、を備え、前記計測装置は、前記画像データと前記３Ｄデータとを受け取り、前記画像データと前記３Ｄデータとの位置合わせを行い、位置合わせ後のデータを出力する位置合わせ部と、前記画像データに含まれる複数の画素から、注目画素を選択する画素選択部と、前記位置合わせ後のデータに含まれる前記３Ｄデータの複数の点データから、前記注目画素近傍の３つ以上の点データを近傍点データとして選択し、前記近傍点データに基づいて１つの面を推定し、前記１つの面における前記注目画素の、前記複数の点データが属する空間における位置を算出する対応付けを行う画素点対応付け部と、を備えるものである。

【0011】

本開示の一態様である計測方法は、対象物を撮像して取得した画像データと、前記対象物の３Ｄデータと、を受け取って、前記画像データと前記３Ｄデータとの位置合わせを行い、位置合わせ後のデータを出力し、前記画像データに含まれる複数の画素から、注目画素を選択し、前記位置合わせ後のデータに含まれる前記３Ｄデータの複数の点データから、前記注目画素近傍の３つ以上の点データを近傍点データとして選択し、前記近傍点データに基づいて１つの面を推定し、前記１つの面における前記注目画素の、前記複数の点データが属する空間における位置を算出する対応付けを行うものである。

【発明の効果】

【0012】

本開示によれば、３Ｄデータに含まれる点と画像を構成する画素との間で、正確な対応関係を構築することができる。

【図面の簡単な説明】

【0013】

【図1】実施の形態１にかかる計測システムの構成を模式的に示す図である。

【図2】カメラによって計測対象物を撮像して得られた画像データの一例を示す図である。

【図3】ＬｉＤＡＲ装置によって取得した計測対象物の３Ｄデータの一例を示す図である。

【図4】実施の形態１にかかる計測システムの変形例を示す図である。

【図5】実施の形態１にかかる計測装置の構成を模式的に示す図である。

【図6】実施の形態１にかかる計測装置の動作を示すフローチャートである。

【図7】画像に含まれる注目画素と３Ｄデータに含まれる点群とを対応付ける処理（ステップＳ３）のフローチャートである。

【図8】視線方向に沿って見たときの、各点と視線方向との間の垂線距離を示す図である。

【図9】実施の形態２における注目画素の選択の概要を示す図である。

【図10】実施の形態２にかかる計測装置の動作のフローチャートである。

【図11】実施の形態２にかかる計測装置の他の構成を模式的に示す図である。

【図12】実施の形態２にかかる計測装置において、事象の検出を行う場合の動作のフローチャートである。

【図13】実施の形態２における注目画素の選択の第２の例を示す図である。

【図14】実施の形態２における注目画素の選択の第３の例を示す図である。

【図15】実施の形態３にかかる計測装置の構成を模式的に示す図である。

【図16】矩形領域を設定する場合（第２の例）における画像データの表示例を示す図である。

【図17】矩形領域を設定する場合（第２の例）における３Ｄデータの表示例を示す図である。

【図18】計測装置を実現するためのハードウェア構成の一例であるコンピュータの構成を模式的に示す図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して本発明の実施の形態について説明する。各図面においては、同一要素には同一の符号が付されており、必要に応じて重複説明は省略される。

【0015】

実施の形態１
実施の形態１にかかる計測システム１００について説明する。図１に、実施の形態１にかかる計測システム１００の構成を模式的に示す。計測システム１００は、計測装置１０、カメラ１１０及びＬｉＤＡＲ（Light Detection and Ranging）装置１２０を有する。

【0016】

カメラ１１０は、計測対象物ＯＢＪを特定の方向から撮像し、撮像した画像や動画のデータを計測装置１０へ出力する。以下では、カメラ１１０は、画像データＩＭＧを計測装置１０へ出力する例について説明する。図２に、カメラ１１０によって計測対象物ＯＢＪを撮像して得られた画像データＩＭＧの一例を示す。図２の例では、計測対象物ＯＢＪの右上部の一部を撮像した例を示している。

【0017】

ＬｉＤＡＲ装置１２０は、レーザ光Ｌによって、計測対象物ＯＢＪの表面を方位角方向及び仰角方向に走査することで、計測対象物ＯＢＪの３次元形状を示す複数の点データからなる３Ｄデータを取得して、計測装置１０へ出力する。図３に、ＬｉＤＡＲ装置１２０によって取得した計測対象物ＯＢＪの３ＤデータＤＡＴの一例を示す。図３に示すように、３ＤデータＤＡＴは、ＬｉＤＡＲ装置１２０によってレーザ光Ｌを照射して取得した点データが３次元空間に配列されたデータとして構成される。なお、図３では、図を見やすくするため、計測対象物ＯＢＪの輪郭線を表示しているが、輪郭線は３ＤデータＤＡＴに含まれるものではない。

【0018】

なお、図１では、カメラ１１０から画像データＩＭＧを計測装置１０へ出力し、ＬｉＤＡＲ装置１２０から３ＤデータＤＡＴを計測装置１０へ出力しているが、これは例示に過ぎない。例えば、画像データＩＭＧや３ＤデータＤＡＴを他の記憶装置へ格納し、計測装置１０が必要に応じて記憶装置から画像データＩＭＧ及び３ＤデータＤＡＴを読み込んでもよい。

【0019】

図４に、実施の形態１にかかる計測システムの変形例を示す。図４の計測システム１０１は、図１の計測システム１００と比べて、画像データベース１３０及び３Ｄデータベース１４０が追加されている。画像データベース１３０及び３Ｄデータベース１４０は、各種の記憶装置として構成され、又は、各種の記憶装置に格納可能に構成される。画像データベース１３０には、カメラ１１０が撮像した画像データＩＭＧが適宜格納される。３Ｄデータベース１４０には、ＬｉＤＡＲ装置１２０が取得した３ＤデータＤＡＴが適宜格納される。計測装置１０は、必要に応じて、画像データベース１３０から画像データＩＭＧを読み込み、かつ、３Ｄデータベース１４０から３ＤデータＤＡＴを読み込む。

【0020】

なお、言うまでも無いが、画像データベース１３０は、カメラ１１０が複数の撮像機会に撮像した複数の画像データＩＭＧを格納してもよい。また、３Ｄデータベース１４０は、ＬｉＤＡＲ装置１２０が複数の計測機会に取得した複数の３ＤデータＤＡＴを格納してもよい。この場合、計測装置１０は、必要に応じて、同じ計測対象物ＯＢＪ、又は、測定対象物ＯＢＪの同じ部位についての、対をなす１枚の画像データＩＭＧと１つの３ＤデータＤＡＴとを読み込むことができる。

【0021】

計測装置１０は、受け取った画像データＩＭＧ及び３ＤデータＤＡＴに基づき、画像データＩＭＧの画素と３Ｄデータに含まれる点データとを対応付けるものとして構成される。

【0022】

図５に、実施の形態１にかかる計測装置１０の構成を模式的に示す。計測装置１０は、位置合わせ部１、画素選択部２及び画素点対応付け部３を有する。

【0023】

位置合わせ部１は、画像データＩＭＧ及び３ＤデータＤＡＴを読み込んで両者の位置合わせを行い、位置合わせ後の画像データ及び点データからなるデータＤＰＡを画素選択部２へ出力する。

【0024】

画素選択部２は、画像データＩＭＧを読み込み、画像データＩＭＧ内の画素から、画素点対応付け部３での処理対象となる注目画素ＴＲＧを選択し、注目画素ＴＲＧを示す選択結果ＳＥＬを画素点対応付け部３へ出力する。

【0025】

画素点対応付け部３は、位置合わせ部１から受け取ったデータＤＰＡと、画素選択部２から受け取った選択結果ＳＥＬとに基づいて、点データの座標空間内に、注目画素ＴＲＧを対応付ける。画素点対応付け部３は、点データと画素との対応付けの算出結果ＲＥＳを出力する。

【0026】

以下、計測装置１０の動作について説明する。図６に、実施の形態１にかかる計測装置１０の動作を示すフローチャートを示す。

【0027】

ステップＳ１
位置合わせ部１は、画像データＩＭＧ及び３ＤデータＤＡＴを読み込む。位置合わせ部１は、画像データＩＭＧに基づいてカメラ１１０の位置（ｔ）及び姿勢（Ｒ）を推定し、位置及び姿勢の推定結果に基づいて、画像データＩＭＧと、３ＤデータＤＡＴに含まれる点データとの位置合わせを行う。カメラ１１０の位置及び姿勢の推定方法は、特定の手法に限定されるものではなく、各種の手法を適用することができる。また、姿勢及び位置を推定した後の画像データＩＭＧと、３ＤデータＤＡＴとの位置合わせ手法についても特定の手法に限定されるものではなく、各種の手法を適用することができる。そして、位置合わせ後の画像データ及び点データからなるデータＤＰＡを画素選択部２へ出力する。

【0028】

ステップＳ２
画素選択部２は、画像データＩＭＧを読み込み、画像データＩＭＧ内の複数の画素から注目画素ＴＲＧを選択して、注目画素ＴＲＧを示す選択結果ＳＥＬを画素点対応付け部３へ出力する。

【0029】

ステップＳ３
画素点対応付け部３は、以下の手順で、画像データＩＭＧに含まれる注目画素ＴＲＧと、３ＤデータＤＡＴに含まれる点データとを対応付ける。図７に、画像データＩＭＧに含まれる注目画素ＴＲＧと３ＤデータＤＡＴに含まれる点データとを対応付ける処理（ステップＳ３）のフローチャートを示す。

【0030】

ステップＳ３１
画素点対応付け部３は、位置合わせ後のデータＤＰＡから、注目画素ＴＲＧの近傍に存在する点を３つ以上、近傍点として選択する。近傍点の選択は、例えば、以下の手順によって行うことができる。

【0031】

ステップＳ３１１
注目画素ＴＲＧを通過するカメラ１１０の視線方向Ｄを算出する。ステップＳ１においてカメラ１１０の位置及び姿勢を推定したので、この推定結果を用いて、カメラ１１０の視線方向を算出することが可能である。例えば、視線方向Ｄは、注目画素ＴＲＧの中央点を通過する方向として算出してもよい。

【0032】

ステップＳ３１２
位置合わせ後のデータＤＰＡに含まれる各点と、視線方向Ｄとの間の垂線距離を算出する。図８に、視線方向Ｄに沿って見たときの、各点と視線方向Ｄとの間の垂線距離を示す。言うまでも無いが、図８の紙面は、視線方向Ｄに対して垂直な面となる。また、図８では、画素をＰＩＸ、点データをＰＮＴと表示している。

【0033】

ステップＳ３１３
垂線距離が小さな順に、３つ以上の点を選択する。このとき、算出した垂線距離が所定値よりも小さな点を近傍点として選択してもよく、例えば、視線方向Ｄを中心とする半径ｒの円を設定し、算出した垂線距離が半径ｒよりも小さな点を近傍点として選択してもよい。

【0034】

ステップＳ３２
選択した３つ以上の点が同一の平面上にあるものとして、注目画素ＴＲＧが属する平面を推定する。例えば、３Ｄデータを取得した３次元直交座標系において、平面ＰＬはａｘ＋ｂｙ＋ｃｚ＋ｄ＝０を満たす座標群で表現されるので、選択した３つ以上の点に基づいて係数ａ、ｂ、ｃ及びｄを算出することで、平面ＰＬを推定することができる。また、平面ＰＬの推定はこれに限らず、各種の手法を用いてもよい。

【0035】

ステップＳ３３
算出した平面ＰＬにおける注目画素ＴＲＧの３次元座標を算出する。具体的には、例えば、算出した平面ＰＬと視線方向Ｄとの交点の座標を算出する。

【0036】

なお、ここでは、説明の簡略化のため、近傍点と注目画素ＴＲＧとが同じ平面上にあるものとしたが、これは例示に過ぎない。平面に限らず、近傍点をフィッティングして任意の曲面を推定してもよく、また、例えば複数の三角メッシュで構成された幾何メッシュモデルを推定してもよい。

【0037】

以上説明したように、本構成によれば、３Ｄデータに含まれる点データが属する座標空間において、注目画素の位置、すなわち注目画素の座標を算出することができる。これにより、画像データと３Ｄデータとの間の位置合わせを精密に行うことができ、両者を正確に対応付けることができる。

【0038】

実施の形態２
実施の形態１においては、１つの注目画素と点データとを対応付けるものとして説明した。しかし、計測対象物においては、単に位置のみならず、計測対象物の表面上の線や２次元領域などの計測対象となる事象が存在する場合がある。この場合、画像上の事象に関する画素を３Ｄデータと対応付けることが望ましい。そこで、本実施の形態では、画像上の事象に関する画素と３Ｄデータとの対応付けを行う計測装置について説明する。

【0039】

図９に、実施の形態２における注目画素の選択の概要を示す。ここでは、説明の簡略化のため、計測対象物ＯＢＪの表面上にクラックなどの線状の事象ＰＨ１が存在しており、事象ＰＨ１の一端に対応する注目画素ＴＲＧ１と、他端に対応する注目画素ＴＲＧ２と、を選択するものとする。

【0040】

図１０に、実施の形態２にかかる計測装置の動作のフローチャートを示す。

【0041】

ステップＳ１
ステップＳ１は、図６と同様であるので、重複する説明は省略する。

【0042】

ステップＳ４
画素選択部２は、画像データＩＭＧを読み込み、画像データＩＭＧ内の画素から、事象を包含する領域を規定する注目画素ＴＲＧを複数個選択し、選択結果ＳＥＬを画素点対応付け部３へ出力する。

【0043】

ステップＳ５
画素点対応付け部３は、各注目画素について、図６のステップＳ３と同様に、３Ｄデータに含まれる点データとの対応付けを行う。各注目画素と３Ｄデータに含まれる点データの対応付け処理は、ステップＳ３と同様であるので、重複する説明は省略する。

【0044】

なお、注目画素の選択に先立って、計測対象物ＯＢＪの表面上のクラックなどの特徴的な事象を検出し、その検出結果に応じて注目画素を選択してもよい。図１１に、実施の形態２にかかる計測装置の他の構成を模式的に示す。図１１の計測装置２００は、計測装置１０と比べて、事象検出部４を追加した構成を有する。

【0045】

図１２に、実施の形態２にかかる計測装置において、事象の検出を行う場合の動作のフローチャートを示す。図１２においては、図１０と比較して、事象検出部４の処理を示すステップＳ６が、ステップＳ１とステップＳ４との間に挿入される。

【0046】

ステップＳ１
ステップＳ１は、図６及び図１０と同様であるので、重複する説明は省略する。

【0047】

ステップＳ６
事象検出部４は、画像データＩＭＧを読み込み、計測対象物ＯＢＪの表面の線や２次元領域などの観測対象となる事象を検出する。このとき、検出する事象としては、計測対象物の表面のクラック、剥落部、変色部などの損傷ないしは劣化を示す部分でもよいし、突出部や凹部などの意図的に造られた構造など、任意の事象であってもよい。事象検出部４が事象を検出するにあたっては、一般的な画像認識技術などの各種の検出手法を適用することができる。

【0048】

事象検出部４は、検出した事象を示す検出結果ＤＥＴを画素選択部２へ出力する。

【0049】

ステップＳ４
ステップＳ４は、図１０と同様である。なお、ここでは、画素選択部２は、検出結果ＤＥＴに応じて、複数の注目画素を選択する。

【0050】

ステップＳ５
ステップＳ５は、図１０と同様であるので、重複する説明は省略する。

【0051】

以上、本構成によれば、計測対象物ＯＢＪにおける事象を自動的に検出し、検出結果に応じて注目画素を選択して、対応付け処理を行うことができる。この場合、計測対象物ＯＢＪにおける事象の検出を自動化することで、検出を手動にて行う場合に比べて、対応付け処理に要する時間を短縮することが可能となる。また、検出すべき事象が複数有る場合、特に、自動化による処理時間の短縮効果が得られることが理解できる。

【0052】

上述においては、線状の事象の両端の２つの画素を注目画素として選択する第１の例について説明したが、これは例示に過ぎない。以下、注目画素の選択手法の他の例について説明する。

【0053】

図１３に、実施の形態２における注目画素の選択の第２の例を示す。この例では、事象検出部４は、検出した事象ＰＨ２を包含する矩形領域ＳＱを規定する画素をとして選択する。具体的には、事象検出部４は、矩形領域ＳＱの対角点に位置する２つの画素を注目画素ＴＲＧ１及びＴＲＧ２として選択する。

【0054】

図１４に、実施の形態２における注目画素の選択の第３の例を示す。図１４では、簡略化のため、事象ＰＨ２とオーバーラップする画素のみを表示している。この例では、事象検出部４は事象ＰＨ２を検出し、画素選択部２は検出結果ＤＥＴに応じて、事象ＰＨが存在する各行において、事象ＰＨの一端の画素を１つ目の注目画素として選択し、他端の画素を２つ目の注目画素として選択する。図１３では、６行分の画素が事象ＰＨとオーバーラップしている。ｉを１以上６以下の整数とすると、上からｉ行目の左端の画素が注目画素ＴＲＧｉ＿１として選択され、右端の画素が注目画素ＴＲＧｉ＿２として選択される。

【0055】

この例では、図１３の第２の例と比べて、検出した事象ＰＨ２をより忠実にトレースすることができる。なお、言うまでも無いが、事象検出部４は、検出した事象が存在する各列において、事象の両端の画素を注目画素として選択してもよい。

【0056】

実施の形態３
本実施の形態では、対応付け処理の結果を表示する手法について説明する。実施の形態２では、線状の事象の場合である第１の例や、事象が占める領域の画素に着目する場合（第２及び第３の例）について説明した。このような場合には、表示部によって対応付け結果についての画像を表示するときに、注目画素等を表示することで、ユーザが結果を把握しやすくなることが想定される。

【0057】

図１５に、実施の形態３にかかる計測装置３０の構成を模式的に示す。計測装置３０は、図１１の計測装置２０に、表示部５を追加した構成を有する。

【0058】

表示部５は、算出結果ＲＥＳに応じて、画素点対応付け部３における処理結果を視認可能に表示するものとして構成される。例えば、表示部５は、画素点対応付け部３が算出した複数の注目画素ＴＲＧの座標を表示する。また、例えば、表示部５は、複数の注目画素ＴＲＧで規定される矩形の領域を表示してもよい。

【0059】

以下、表示方法の例として、第２の例について表示手法を説明する。図１６に、矩形領域を設定する場合（第２の例）における画像データの表示例を示す。この表示例では、画像データ上に、検出した事象を包含する矩形領域と注目画素とが表示されている。これにより、ユーザは、特定の事象について、どのように注目画素が設定され、計測されたかを理解することができる。

【0060】

また、第１の表示例では、表示画面上における縮尺を示すスケールが表示されている。本構成では、画像データＩＭＧの画素と３ＤデータＤＡＴの点データとが正確に対応しているため、３ＤデータＤＡＴにおける寸法を画像データＩＭＧに投影することが可能である。これにより、図１６に示すように、スケールを表示することが可能になる。これにより、一般的な手法では不可能であった定量的な解析が可能となる。また、スケールを表示するのみならず、ユーザがマウス等の入力装置を操作して、２つの画素を指定することで、これらの２つの画素間の寸法を算出して表示してもよい。また、ユーザが特定の領域を指定することで、指定した領域の面積を算出して表示してもよい。

【0061】

次いで、図１７に、矩形領域を設定する場合（第２の例）における３Ｄデータの表示例を示す。図１７の左図に示すように、３Ｄデータの特定の領域の点データを表示している状態で、画像データＩＭＧに含まれる事象ＰＨ２と、事象ＰＨ２を含む矩形領域ＳＱと、を示す画素を表示してもよく、又は、これらの一方を示す画素を表示してもよい。この場合でも、画像データＩＭＧに切り替えることなく、３Ｄデータ上において、ユーザが、特定の事象について、どのように注目画素が設定され、計測されたかを理解することができる。

【0062】

また、図１７の右図に示すように、３Ｄデータの特定の領域の点データを表示している状態で、画像データＩＭＧに含まれる事象ＰＨ２を構成する各画素に対応する点データを表示してもよい。これにより、事象ＰＨ２を点データのみで表現することができる。

【0063】

さらに、この場合においても、図１６と同様に、スケールの表示、２つの画素間の寸法や特定の領域の面積の算出及び表示を行ってもよい。

【0064】

このように、表示部５における表示において、スケールの表示、２つの画素間の寸法や特定の領域の面積の算出及び表示を行うことで、ユーザは、表示された部位の定量的な解析が可能であることを認識し、必要な解析を行うことが可能となる。

【0065】

その他の実施の形態
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の実施の形態にかかる計測装置が実行する処理は、コンピュータにプログラムを実行させることによって実現されてもよい。具体的には、これらの送信信号処理又は受信信号処理に関するアルゴリズムをコンピュータシステムに行わせるための命令群を含む１又は複数のプログラムを作成し、当該プログラムをコンピュータに供給すればよい。

【0066】

これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0067】

図１８に、計測装置を実現するためのハードウェア構成の一例であるコンピュータ１０００の構成を模式的に示す。コンピュータ１０００は、専用コンピュータ、パーソナルコンピュータ（ＰＣ）などの各種のコンピュータとして構成される。但し、コンピュータは、物理的に単一である必要はなく、分散処理を実行する場合には、複数であってもよい。図１８に示すように、コンピュータ１０００は、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２及びＲＡＭ（Random Access Memory）１００３を有し、これらがバス１００４を介して相互に接続されている。尚、コンピュータを動作させるためのＯＳソフトなどは、説明を省略するが、このコンピュータも当然有しているものとする。

【0068】

バス１００４には、入出力インターフェイス１００５が接続されている。入出力インターフェイス１００５には、入力部１００６、出力部１００７、通信部１００８及び記憶部１００９が接続される。

【0069】

入力部１００６は、例えば、キーボード、マウス、センサなどより構成される。出力部１００７は、例えば、ＬＣＤなどのディスプレイ装置やヘッドフォン及びスピーカなどの音声出力装置により構成される。通信部１００８は、例えば、ルータやターミナルアダプタなどにより構成される。記憶部１００９は、ハードディスク、フラッシュメモリなどの記憶装置により構成される。

【0070】

ＣＰＵ１００１は、ＲＯＭ１００２に記憶されている各種プログラム、又は記憶部１００９からＲＡＭ１００３にロードされた各種プログラムに従って各種の処理を行うことが可能である。本実施の形態においては、ＣＰＵ１００１は、例えば計測装置が行う処理を実行する。ＣＰＵ１００１とは別にＧＰＵ（Graphics Processing Unit）を設け、ＣＰＵ１００１と同様に、ＲＯＭ１００２に記憶されている各種プログラム、又は記憶部１００９からＲＡＭ１００３にロードされた各種プログラムに従って各種の処理、本実施の形態においては、例えば計測装置が行う処理を実行してもよい。なお、ＧＰＵは、定型的な処理を並列的に行う用途に適しており、後述するニューラルネットワークにおける処理などに適用することで、ＣＰＵ１００１に比べて処理速度を向上させることも可能である。ＲＡＭ１００３には又、ＣＰＵ１００１及びＧＰＵが各種の処理を実行する上において必要なデータなども適宜記憶される。

【0071】

通信部１００８は、ネットワーク１０２０を介して、サーバ１０３０と双方向の通信を行うことが可能である。通信部１００８は、ＣＰＵ１００１から提供されたデータをサーバ１０３０へ送信したり、サーバ１０３０から受信したデータをＣＰＵ１００１、ＲＡＭ１００３及び記憶部１００９などへ出力することができる。通信部１００８は、他の装置との間で、アナログ信号又はディジタル信号による通信を行ってもよい。記憶部１００９はＣＰＵ１００１との間でデータのやり取りが可能であり、情報の保存及び消去を行う。

【0072】

入出力インターフェイス１００５には、必要に応じてドライブ１０１０が接続されてもよい。ドライブ１０１０には、例えば、磁気ディスク１０１１、光ディスク１０１２、フレキシブルディスク１０１３又は半導体メモリ１０１４などの記憶媒体が適宜装着可能である。各記憶媒体から読み出されたコンピュータプログラムは、必要に応じて記憶部１００９にインストールされてもよい。また、必要に応じて、ＣＰＵ１００１が各種の処理を実行する上において必要なデータや、ＣＰＵ１００１の処理の結果として得られたデータなどを各記憶媒体に記憶してもよい。

【0073】

カメラ１１０及びＬｉＤＡＲ装置１２０は、撮像又は計測に先立って、本体の水平を確認した上で設置することが望ましい。これにより、カメラ１１０の位置姿勢の検出精度を担保でき、かつ、３Ｄデータと画像データとの位置合わせを高精度に行うことができる。また、カメラ１１０及びＬｉＤＡＲ装置１２０に加速度センサを設けて重力方向を検出してもよい。この場合、重力方向を基準としてカメラ１１０の姿勢を検出可能であり、重力方向を基準として３Ｄデータと画像データとの位置合わせを高精度に行うことができる。

【0074】

上述の実施の形態では、画像データや動画データがカメラによって取得されると説明したが、これは例示に過ぎない。画像データや動画データは、各種の任意の撮像装置によって取得することができる。

【0075】

上述の実施の形態では、注目画素から近い順に３つ以上の近傍点を選択するものとしたが、これは例示に過ぎない。一般に、画素は色相、彩度及び明度の情報を有しているので、例えば、注目画素から近い順に、かつ、注目画素の色相に対して一定範囲内の色相を有する画素にオーバーラップする点データを、近傍点として選択してもよい。同一平面にかかる画素は概ね同じ色相を有していることが想定されるので、これにより、より確実に注目画素と同一平面に存在すると考え得る点データを近傍点として選択することができる。この場合、色相に代えて彩度又は明度を用いてもよいし、色相、彩度及び明度の一部又は全部を組み合わせて用いてもよい。

【0076】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0077】

（付記１）対象物を撮像して取得した画像データと、前記対象物の３Ｄデータと、を受け取り、前記画像データと前記３Ｄデータとの位置合わせを行い、位置合わせ後のデータを出力する位置合わせ部と、前記画像データに含まれる複数の画素から、注目画素を選択する画素選択部と、前記位置合わせ後のデータに含まれる前記３Ｄデータの複数の点データから、前記注目画素の近傍の３つ以上の点データを近傍点データとして選択し、前記近傍点データに基づいて１つの面を推定し、前記１つの面における前記注目画素の、前記複数の点データが属する空間における位置を算出する対応付けを行う画素点対応付け部と、を備える、計測装置。

【0078】

（付記２）前記画素点対応付け部は、前記画像データを取得した撮像装置が向く方向であって前記注目画素を通る視線方向と、前記複数の点データのそれぞれと、の間の垂線距離を算出し、前記垂線距離が近い順に、前記近傍点データを選択する、付記１に記載の計測装置。

【0079】

（付記３）前記視線方向は、前記注目画素の中央点を通る、付記２に記載の計測装置。

【0080】

（付記４）前記視線方向に沿って見たときに、前記視線方向を中心とする所定の半径の円の内部に位置する点データを、前記近傍点データとして選択する、付記２又は３に記載の計測装置。

【0081】

（付記５）前記画素選択部は、前記注目画素を複数選択し、前記画素点対応付け部は、選択された複数の前記注目画素のそれぞれについて、前記対応付けを行う、付記１乃至４のいずれか一つに記載の計測装置。

【0082】

（付記６）前記複数の注目画素は、第１の注目画素及び第２の注目画素を含み、前記画素選択部は、前記画像データにおける前記対象物の計測対象となる事象の一端に位置する画素を第１の注目画素として選択し、他端に位置する画素を第２の注目画素として選択する、付記５に記載の計測装置。

【0083】

（付記７）前記複数の注目画素は、第１の注目画素及び第２の注目画素を含み、前記画素選択部は、前記画像データにおける前記対象物の計測対象となる事象を包含する、複数の画素からなる矩形領域の１つの角に位置する画素を第１の注目画素として選択し、前記第１の注目画素に対して対角の位置の画素を第２の注目画素として選択する、付記５に記載の計測装置。

【0084】

（付記８）前記画像データ又は前記３Ｄデータ上に、前記矩形領域を表示する表示部をさらに備える、付記７に記載の計測装置。

【0085】

（付記９）前記複数の注目画素は、第１の注目画素及び第２の注目画素を含み、前記画素選択部は、前記画像データにおける前記対象物の計測対象となる事象とオーバーラップする画素のうち、各行の一端の画素を第１の注目画素として選択し、かつ、他端の画素を第２の注目画素として選択し、又は、各列の一端の画素を第１の注目画素として選択し、かつ、他端の画素を第２の注目画素として選択する、付記５に記載の計測装置。

【0086】

（付記１０）前記画像データ又は前記３Ｄデータ上に、事象とオーバーラップする画素を表示する表示部をさらに備える、付記９に記載の計測装置。

【0087】

（付記１１）前記画像データ又は前記３Ｄデータ上に、事象とオーバーラップする画素に対応する点データを表示する表示部をさらに備える、付記９に記載の計測装置。

【0088】

（付記１２）前記表示部は、前記画像データ又は前記３Ｄデータ上に、前記第１及び第２の注目画素を表示する、付記８、１０及び１１のいずれか一つに記載の計測装置。

【0089】

（付記１３）前記表示部は、前記画像データ又は前記３Ｄデータ上に、表示した前記画像データ又は前記３Ｄデータの縮尺に応じたスケールを表示する、付記８、１０乃至１２のいずれか一つに記載の計測装置。

【0090】

（付記１４）前記表示部は、前記算出結果を、前記画像データ又は前記３Ｄデータ上に表示する、付記８及び１０乃至及び１３のいずれか一つに記載の計測装置。

【0091】

（付記１５）前記画像データにおける前記対象物の計測対象となる事象を検出する事象検出部をさらに備え、前記画素選択部は、前記事象検出部が検出した前記事象に基づいて、前記第１及び第２の注目画素を選択する、付記６乃至１３のいずれか一つに記載の計測装置。

【0092】

（付記１６）前記１つの面は、前記近傍点データに基づいて算出した平面又は曲面である、付記１乃至１５のいずれか一つに記載の計測装置。

【0093】

（付記１７）前記３Ｄデータは、レーザ光によって前記測定対象物を走査することで前記３Ｄデータを取得するＬｉＤＡＲ装置として構成される、付記１乃至１６のいずれか一つに記載の計測装置。

【0094】

（付記１８）対象物を撮像して取得した画像データを出力する撮像装置と、前記対象物の３Ｄデータを取得する３Ｄデータ取得装置と、前記画像データと前記対象物の３Ｄデータとの対応付ける計測装置と、を備え、前記計測装置は、前記画像データと前記３Ｄデータとを受け取り、前記画像データと前記３Ｄデータとの位置合わせを行い、位置合わせ後のデータを出力する位置合わせ部と、前記画像データに含まれる複数の画素から、注目画素を選択する画素選択部と、前記位置合わせ後のデータに含まれる前記３Ｄデータの複数の点データから、前記注目画素の近傍の３つ以上の点データを近傍点データとして選択し、前記近傍点データに基づいて１つの面を推定し、前記１つの面における前記注目画素の、前記複数の点データが属する空間における位置を算出する対応付けを行う画素点対応付け部と、を備える、計測システム。

【0095】

（付記１９）対象物を撮像して取得した画像データと、前記対象物の３Ｄデータと、を受け取って、前記画像データと前記３Ｄデータとの位置合わせを行い、位置合わせ後のデータを出力し、前記画像データに含まれる複数の画素から、注目画素を選択し、前記位置合わせ後のデータに含まれる前記３Ｄデータの複数の点データから、前記注目画素の近傍の３つ以上の点データを近傍点データとして選択し、前記近傍点データに基づいて１つの面を推定し、前記１つの面における前記注目画素の、前記複数の点データが属する空間における位置を算出する対応付けを行う、計測方法。

【0096】

（付記２０）対象物を撮像して取得した画像データと、前記対象物の３Ｄデータと、を受け取って、前記画像データと前記３Ｄデータとの位置合わせを行い、位置合わせ後のデータを出力する処理と、前記画像データに含まれる複数の画素から、注目画素を選択する処理と、前記位置合わせ後のデータに含まれる前記３Ｄデータの複数の点データから、前記注目画素の近傍の３つ以上の点データを近傍点データとして選択し、前記近傍点データに基づいて１つの面を推定し、前記１つの面における前記注目画素の、前記複数の点データが属する空間における位置を算出する対応付けを行う処理と、をコンピュータに行わせる、計測プログラム。

【符号の説明】

【0097】

１ 位置合わせ部
２ 画素選択部
３ 画素点対応付け部
４ 事象検出部
５ 表示部
１０、２０、３０ 計測装置
１００ 計測システム
１１０ カメラ
１２０ ＬｉＤＡＲ装置
１３０ 画像データベース
１４０ ３Ｄデータベース
１０００ コンピュータ
１００１ ＣＰＵ
１００２ ＲＯＭ
１００３ ＲＡＭ
１００４ バス
１００５ 入出力インターフェイス
１００６ 入力部
１００７ 出力部
１００８ 通信部
１００９ 記憶部
１０１０ ドライブ
１０１１ 磁気ディスク
１０１２ 光ディスク
１０１３ フレキシブルディスク
１０１４ 半導体メモリ
１０２０ ネットワーク
１０３０ サーバ
ＯＢＪ 計測対象物
ＩＭＧ 画像データ
Ｄ 視線方向
ＤＡＴ ３Ｄデータ
ＤＥＴ 検出結果
ＤＰＡ データ
ＲＥＳ 算出結果
ＰＨ１、ＰＨ２ 事象
ＳＥＬ 選択結果
ＴＲＧ、ＴＲＧ１、ＴＲＧ２、ＴＲＧ１＿１～ＴＲＧ６＿１、ＴＲＧ１＿２～ＴＲＧ６＿２ 注目画素

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】