特開 2024-103476 非破壊検査システム及びその検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024103476

(43)【公開日】2024-08-01

(54)【発明の名称】非破壊検査システム及びその検査方法

(51)【国際特許分類】

   G01N 22/00 20060101AFI20240725BHJP

   G01N 22/02 20060101ALI20240725BHJP

   G01S 13/86 20060101ALI20240725BHJP

   G01S 13/89 20060101ALI20240725BHJP

【ＦＩ】

G01N22/00 S

G01N22/02 C

G01S13/86

G01S13/89

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2024006720

(22)【出願日】2024-01-19

(31)【優先権主張番号】P 2023007666

(32)【優先日】2023-01-20

(33)【優先権主張国・地域又は機関】JP

【国等の委託研究の成果に係る記載事項】（出願人による申告）独立行政法人情報処理推進機構２０２２年度未踏アドバンスト事業（３Ｄスキャンによる空き家改修の支援ツール開発）に関する委託契約 産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】524014547

【氏名又は名称】ＳＡＫＩＹＡ株式会社

(74)【代理人】

【識別番号】110001863

【氏名又は名称】弁理士法人アテンダ国際特許事務所

(72)【発明者】

【氏名】山口 大翔

(72)【発明者】

【氏名】張 啓帆

(72)【発明者】

【氏名】渡邉 顕人

【テーマコード（参考）】

5J070

【Ｆターム（参考）】

5J070AB24

5J070AC01

5J070AD08

5J070AE20

5J070AF10

5J070AK39

5J070BD06

5J070BE01

5J070BG11

(57)【要約】

【課題】簡便な構成且つ低コストで内部状態を検査可能な非破壊検査システム及びその検査方法を提供する。
【解決手段】非破壊検査システムは、検査対象内部からの反応値の分布データを取得するミリ波レーダアレイ１２０と、ミリ波レーダアレイ１２０の近傍においてミリ波照射方向及び角度と撮像方向及び角度とが相対的に固定された状態で配置されたカメラ１１０と、ミリ波レーダアレイ１２０及びカメラ１１０の組を検査対象に対して相対的に移動させながら撮像された複数の撮像データから各観測位置の座標並びに撮像方向を算出するとともに前記各観測位置の座標及び撮像方向を基準として各観測位置で取得した反応値の分布データを三次元空間内にマッピングするマッピング処理部２４０と、三次元空間内にマッピングされた反応値の分布データに基づき検査対象の内部状態の投影画像を生成する投影画像生成部２５０とを備えた。
【選択図】図４

【特許請求の範囲】

【請求項1】

検査対象の内部状態を非破壊で検査する非破壊検査システムであって、
検査対象に対してミリ波を照射するとともに検査対象からの反射波に基づき相対的な所定の空間範囲内における検査対象内部からの反応値の分布データを取得するミリ波レーダアレイと、
前記ミリ波レーダアレイの近傍において前記ミリ波レーダアレイのミリ波照射方向及び角度に対して計測方向及び角度が相対的に固定された状態で配置された三次元スキャナと、
前記ミリ波レーダアレイ及び前記三次元スキャナの組を検査対象に対して相対的に移動させながら複数の観測位置で前記三次元スキャナにより取得した複数の計測データから算出した各観測位置の座標並びに計測方向を基準として、各観測位置で取得した反応値の分布データを三次元空間内にマッピングする反応値マッピング手段と、
マッピングされた反応値の分布データに基づき検査対象の内部状態の投影画像を生成する投影画像生成手段とを備えた
ことを特徴とする非破壊検査システム。

【請求項2】

前記反応値マッピング手段は、前記反応値の分布データとともに前記計測データに含まれる点群データをマッピングする
ことを特徴とする請求項１記載の非破壊検査システム。

【請求項3】

検査対象の内部状態を非破壊で検査する非破壊検査システムであって、
検査対象に対してミリ波を照射するとともに検査対象からの反射波に基づき相対的な所定の空間範囲内における検査対象内部からの反応値の分布データを取得するミリ波レーダアレイと、
前記ミリ波レーダアレイの近傍において前記ミリ波レーダアレイのミリ波照射方向及び角度に対して撮像方向及び角度が相対的に固定された状態で配置されたカメラと、
前記ミリ波レーダアレイ及び前記カメラの組を検査対象に対して相対的に移動させながら複数の観測位置で撮像された複数の第１の画像から算出した各観測位置の座標及び撮像方向を基準として、各観測位置で取得した反応値の分布データを三次元空間内にマッピングする反応値マッピング手段と、
三次元空間内にマッピングされた反応値の分布データに基づき検査対象の内部状態の投影画像を生成する投影画像生成手段とを備えた
ことを特徴とする非破壊検査システム。

【請求項4】

前記反応値マッピング手段は、反応値の分布データと検査対象の表面に係る三次元データとをマッピングし、
前記投影画像生成手段は、三次元データ及び反応値の分布データに基づき検査対象の内部状態が検査対象から透視されるよう投影画像を生成する
ことを特徴とする請求項３記載の非破壊検査システム。

【請求項5】

前記反応値マッピング手段は、前記カメラで撮像した第１の画像と前記三次元データ又は前記三次元データの生成に用いられた第２の画像とに基づき座標マッピングを行う
ことを特徴とする請求項５記載の非破壊検査システム。

【請求項6】

前記投影画像生成手段は、反応値の各点ごとに当該反応値に対応する内部状態を判定するとともに、前記各点において当該点における内部状態の判定結果に対応する表示形態で投影画像を生成する
ことを特徴とする請求項１又は３記載の非破壊検査システム。

【請求項7】

検査対象の内部状態を非破壊で検査する非破壊検査システムにおける検査方法であって、
検査対象に対してミリ波を照射するとともに検査対象からの反射波に基づき相対的な所定の空間範囲内における検査対象内部からの反応値の分布データを取得するミリ波レーダアレイと前記ミリ波レーダアレイの近傍において前記ミリ波レーダアレイのミリ波照射方向及び角度に対して計測方向及び角度が相対的に固定された状態で配置された三次元スキャナとの組を、検査対象に対して相対的に移動させて、複数の観測位置において、複数の反応値の分布データ及び計測データを取得するステップと、
複数の計測データから算出した各観測位置の座標並びに計測方向を基準として、各観測位置で取得した反応値の分布データを三次元空間内にマッピングするステップと、
マッピングされた反応値の分布データに基づき検査対象の内部状態の投影画像を生成するステップと備えた
ことを特徴とする非破壊検査システムにおける検査方法。

【請求項8】

検査対象の内部状態を非破壊で検査する非破壊検査システムにおける検査方法であって、
検査対象に対してミリ波を照射するとともに検査対象からの反射波に基づき相対的な所定の空間範囲内における検査対象内部からの反応値の分布データを取得するミリ波レーダアレイと前記ミリ波レーダアレイの近傍において前記ミリ波レーダアレイのミリ波照射方向及び角度に対して撮像方向及び角度が相対的に固定された状態で配置されたカメラとの組を、検査対象に対して相対的に移動させて、複数の観測位置において、複数の反応値の分布データ及び第１の画像データを取得するステップと、
複数の第１の画像から算出した各観測位置の座標並びに撮像方向を基準として、各観測位置で取得した反応値の分布データを三次元空間内にマッピングするステップと、
三次元空間内にマッピングされた反応値の分布データに基づき検査対象の内部状態の投影画像を生成するステップと備えた
ことを特徴とする非破壊検査システムにおける検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査対象の内部状態を非破壊で検査する非破壊検査システム及びその検査方法に関する。

【背景技術】

【0002】

さまざまな分野において外部の観測位置からは観測できない検査対象の内部状態を非破壊で検査したいという要望がある。例えば、木造建築物などの建築物の増改築を行う際には、事前の計画段階で建築物の状態、特にその損傷状態などの内部状態を予め確認することが重要である。実際の設計の現場では、建築物の現状を確認するために設計担当者が何度も現場に足を運び、寸法を取ったり、表面を叩きながら建築物の状態を確かめる打診検査を行ったりすることが一般的な流れとなっている。しかし、打診検査には経験豊富な技術者が必要であるが、近年の人手不足に伴いこのような技術者を確保することも容易ではない。また、打診検査には多くの時間が必要である。このような背景のため現状把握の実施が難航するケースが少なくない。また、建築物の現状を正確に把握できないと増改築コストの見積もりが不透明となり、増改築設計自体が難航するケースも少なくない。

【0003】

一方、日本では過疎化などにより空き家が増加の一途をたどっており、地方を中心に放置された状態の建築物が多数ある。空き家は不動産価値が不透明で、市場の流動性が低く、多くの空き家を抱える過疎地域の自治体はその処分に頭を抱えている。他方、テレワークや多拠点居住等、ライフスタイルの多様化に伴い、地方の空き家物件に対する需要は広がりつつあるが、空き家特有の増改築に対する技術的、コスト的ハードルが問題となっている。

【0004】

このように、建築物の状態、特にその損傷状態などの内部状態を低コストで確認可能にする技術が求められている。検査対象物の内部状態を非破壊で検査する従来の技術としては、前述の打診検査のほか、超音波を用いたもの（例えば特許文献１参照）や、Ｘ線を用いたもの（例えば特許文献２参照）が知られている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０００－２０６０９８号公報

【特許文献2】特開２０００－０３３８０５８公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、超音波やＸ線を用いる非破壊検査装置は、いずれも装置構成が複雑であり且つ装置規模が大きいためコストが高いという問題がある。特に、Ｘ線非破壊検査装置では鉛板などの遮蔽物が必要となるため高コストである。

【0007】

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、簡便な構成且つ低コストで内部状態を検査可能な非破壊検査システム及びその検査方法を提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本願発明は、検査対象の内部状態を非破壊で検査する非破壊検査システムであって、検査対象に対してミリ波を照射するとともに検査対象からの反射波に基づき相対的な所定の空間範囲内における検査対象内部からの反応値の分布データを取得するミリ波レーダアレイと、前記ミリ波レーダアレイの近傍において前記ミリ波レーダアレイのミリ波照射方向及び角度に対して計測方向及び角度が相対的に固定された状態で配置された三次元スキャナと、前記ミリ波レーダアレイ及び前記三次元スキャナの組を検査対象に対して相対的に移動させながら複数の観測位置で前記三次元スキャナにより取得した複数の計測データから算出した各観測位置の座標並びに計測方向を基準として、各観測位置で取得した反応値の分布データを三次元空間内にマッピングする反応値マッピング手段と、マッピングされた反応値の分布データに基づき検査対象の内部状態の投影画像を生成する投影画像生成手段とを備えたことを特徴とする。

【0009】

また、本願発明は、検査対象の内部状態を非破壊で検査する非破壊検査システムにおける検査方法であって、検査対象に対してミリ波を照射するとともに検査対象からの反射波に基づき相対的な所定の空間範囲内における検査対象内部からの反応値の分布データを取得するミリ波レーダアレイと前記ミリ波レーダアレイの近傍において前記ミリ波レーダアレイのミリ波照射方向及び角度に対して計測方向及び角度が相対的に固定された状態で配置された三次元スキャナとの組を、検査対象に対して相対的に移動させて、複数の観測位置において、複数の反応値の分布データ及び計測データを取得するステップと、複数の計測データに基づき算出した各観測位置の座標並びに計測方向を基準として、各観測位置で取得した反応値の分布データを三次元空間内にマッピングするステップと、マッピングされた反応値の分布データに基づき検査対象の内部状態の投影画像を生成するステップと備えたことを特徴とする。

【0010】

また、本願発明は、検査対象の内部状態を非破壊で検査する非破壊検査システムであって、検査対象に対してミリ波を照射するとともに検査対象からの反射波に基づき相対的な所定の空間範囲内における検査対象内部からの反応値の分布データを取得するミリ波レーダアレイと、前記ミリ波レーダアレイの近傍において前記ミリ波レーダアレイのミリ波照射方向及び角度に対して撮像方向及び角度が相対的に固定された状態で配置されたカメラと、前記ミリ波レーダアレイ及び前記カメラの組を検査対象に対して相対的に移動させながら複数の観測位置で撮像された複数の第１の画像から算出した各観測位置の座標及び撮像方向を基準として、各観測位置で取得した反応値の分布データを三次元空間内にマッピングする反応値マッピング手段と、三次元空間内にマッピングされた反応値の分布データに基づき検査対象の内部状態の投影画像を生成する投影画像生成手段とを備えたことを特徴とする。

【0011】

また、本願発明は、検査対象の内部状態を非破壊で検査する非破壊検査システムにおける検査方法であって、検査対象に対してミリ波を照射するとともに検査対象からの反射波に基づき相対的な所定の空間範囲内における検査対象内部からの反応値の分布データを取得するミリ波レーダアレイと前記ミリ波レーダアレイの近傍において前記ミリ波レーダアレイのミリ波照射方向及び角度に対して撮像方向及び角度が相対的に固定された状態で配置されたカメラとの組を、検査対象に対して相対的に移動させて、複数の観測位置において、複数の反応値の分布データ及び第１の画像データを取得するステップと、複数の第１の画像から算出した各観測位置の座標及び撮像方向を基準として、各観測位置で取得した反応値の分布データを三次元空間内にマッピングするステップと、三次元空間内にマッピングされた反応値の分布データに基づき検査対象の内部状態の投影画像を生成するステップと備えたことを特徴とする。

【発明の効果】

【0012】

本発明によれば、ミリ波レーダアレイにより検査対象内部からの反応値の分布データが取得されるとともに、三次元スキャナにより前記反応値の分布データの観測位置及び方向並びに角度が相対的に固定された計測データが取得される。そして、複数の計測データに基づき各観測位置の座標並びに計測方向が算出され、各観測位置の座標及び計測方向を基準として各観測位置で取得した反応値の分布データが三次元空間内にマッピングされる。そして、三次元空間内にマッピングされた反応値の分布データに基づき検査対象の内部状態の投影画像が生成される。このように、簡便な構成且つ低コストで検査対象の内部状態の投影画像を取得することができ、これにより内部状態の検査が可能となる。

【0013】

また、本発明によれば、ミリ波レーダアレイにより検査対象内部からの反応値の分布データが取得されるとともに、カメラにより前記反応値の分布データの観測位置及び方向並びに角度が相対的に固定された第１の画像が取得される。そして、複数の第１の画像に基づき各観測位置の座標並びに撮像方向が算出され、各観測位置の座標及び撮像方向を基準として各観測位置で取得した反応値の分布データが三次元空間内にマッピングされる。そして、三次元空間内にマッピングされた反応値の分布データに基づき検査対象の内部状態の投影画像が生成される。このように、簡便な構成且つ低コストで検査対象の内部状態の投影画像を取得することができ、これにより内部状態の検査が可能となる。

【図面の簡単な説明】

【0014】

【図1】第１の実施の形態に係る非破壊検査システムの概略構成図

【図2】観測ユニットの外観斜視図

【図3】観測ユニットにおける撮像及び計測の方向及び領域を説明する図

【図4】非破壊検査システムの機能ブロック図

【図5】非破壊検査システムにおける検査方法を説明するフローチャート

【図6】非破壊検査システムの出力画像の一例

【図7】非破壊検査システムの出力画像の一例

【図8】非破壊検査システムの出力画像の一例

【図9】非破壊検査システムの出力画像の一例

【図10】第２の実施の形態に係る非破壊検査システムの外観図

【図11】第２の実施の形態に係る非破壊検査システムの機能ブロック図

【図12】第３の実施の形態に係る非破壊検査システムの外観斜視図

【発明を実施するための形態】

【0015】

（第１の実施の形態）
本発明の第１の実施の形態に係る非破壊検査システムについて図面を参照して説明する。図１は非破壊検査システムの概略構成図、図２は観測ユニットの外観斜視図、図３は観測ユニットにおける撮像及び計測の方向及び領域を説明する図、図４は非破壊検査システムの機能ブロック図である。なお、各図面が示す部材や領域の大きさ等は、説明を明確にするため誇張していることがある。

【0016】

本実施の形態では、検査対象を木造建築物とし、その内部状態を検査する。ここで、本発明では、内部状態とは、外部の観測位置から観測できない検査対象の内側の状態を意味する。したがって、内部状態は、建築物など検査対象が複数の部材により構成されている場合、各部材の内部の状態や構造のほか、観測位置から観測できる部材表面を境界として当該境界より内側に配置された各部材の位置や部材間の空間などの構造的な配置状態も含む。

【0017】

図１に示すように、非破壊検査システムは、観測ユニット１００と、画像処理装置２００とを備えている。観測ユニット１００と画像処理装置２００は、有線又は無線を介して通信可能に接続されている。

【0018】

観測ユニット１００は、図２に示すように、カメラ１１０と、ミリ波レーダアレイ１２０と、３軸ジンバル１３０とを備えている。

【0019】

カメラ１１０は、可視光領域又は赤外線領域において、検査対象である建築物を撮像する。本実施の形態ではカメラ１１０は単眼カメラを用いた。カメラ１１０は、画像処理装置２００からの撮像指示に応じて撮像データを動画又は静止画として画像処理装置２００にリアルタイムに出力することができる。また、他の実施形態では、カメラ１１０は、画像処理装置２００からの撮像指示に応じて撮像した撮像データをカメラ１１０内の記憶部に記憶し、撮像後に記憶部に記憶された撮像データを画像処理装置２００に出力することができる。この場合、撮像データには付加情報としてタイムスタンプが付される。

【0020】

カメラ１１０から出力される撮像データのフォーマットは不問である。また、本実施の形態では、カメラ１１０から出力される撮像データは、直交座標系の二次元画像である。

【0021】

ミリ波レーダアレイ１２０は、複数の送信アンテナ及び複数の受信アンテナを備え、検査対象である建築物に対してミリ波を照射するとともに建築物からの反射波に基づき相対的な所定の空間範囲内における建築物内部からの反応値の分布データを取得する。照射ミリ波の波長は１ｍｍから１０ｍｍ（周波数３０ＧＨｚ～３００ＧＨｚ）まである。本実施の形態では、約４ｍｍ（周波数７９ＧＨｚ）とした。なお、計測対象領域である空間は、ミリ波レーダアレイ１２０の構成に応じて二次元空間であっても三次元空間であってもよい。

【0022】

本実施の形態では、ミリ波レーダアレイ１２０は、ミリ波照射方向に対して当該照射方向を含む１つの二次元の面を計測面とする。さらに、図３に示すように、ミリ波レーダアレイ１２０は、計測面において、ミリ波照射位置を頂点とする所定角度幅（探知角）の扇形又は半円形の領域であって、前記頂点から所定の距離範囲（有効距離）を計測対象領域１２１とする。本形態の形態に係るミリ波レーダアレイ１２０は、探知角：１８０°、有効距離：３０ｍｍ～３０００ｍｍとした。なお、その他の諸元データは不問である。本実施の形態では、その他の諸元として、距離分解能：１０ｍｍ、水平方向分解能：２２．５°、送信出力：１０ｍＷとした。

【0023】

ミリ波レーダアレイ１２０は、画像処理装置２００からの計測指示に応じて、前記計測対象領域１２１内をスキャンし、当該領域１２１内の各点における反応値を計測して得られた分布データを画像処理装置２００に出力する。なお、ここで反応値とは受信アンテナで受信した反射波の電力密度［Ｗ／ｍ２］である。ミリ波レーダアレイ１２０は、１走査毎に反応値の分布データを画像処理装置２００にリアルタイムに出力することができる。また、他の実施形態では、ミリ波レーダアレイ１２０は、画像処理装置２００からの計測指示に応じて連続したスキャンして得られた複数の分布データをミリ波レーダアレイ１２０内の記憶部又は観測ユニット１００に設けた外部記憶部に記憶し、計測終了後に記憶部に記憶された分布データを画像処理装置２００に出力することができる。この場合、分布データには１走査ごとに付加情報としてタイムスタンプが付される。

【0024】

ミリ波レーダアレイ１２０から出力される反応値の分布データのフォーマットは不問である。本実施の形態では、ミリ波レーダアレイ１２０から出力される反応値の分布データは、各反応値を極座標系にプロットした二次元のデータである。極座標の原点はミリ波の照射位置すなわち観測位置である。したがって、ミリ波レーダアレイ１２０から出力される反応値の分布データは、ミリ波の照射位置すなわち観測位置を基準とした計測対象領域１２１において、各点における反応値情報と各点の相対的な位置情報を含むものである。

【0025】

本発明では、カメラ１１０がミリ波レーダアレイ１２０の近傍に設置されている。ここで、「近傍」とは、後述するマッピング処理において、カメラ１１０による撮像位置（観測位置）と、ミリ波レーダアレイ１２０の計測位置（観測位置）とが実質的に同一位置とみなせる範囲、または、少なくとも何れか一方の観測位置に対して位置補正処理を行うことにより両観測位置が実質的に同一とみなせる範囲であることを意味する。

【0026】

また、本発明では、カメラ１１０及びミリ波レーダアレイ１２０は、カメラ１１０の撮像方向及び角度と、ミリ波レーダアレイ１２０のミリ波照射方向及び角度とが、相対的に固定された状態で配置されている。本実施の形態では、カメラ１１０の撮像方向及び角度と、ミリ波レーダアレイ１２０のミリ波照射方向及び角度が一致している。換言すれば、カメラ１１０から出力される二次元画像である撮像データの縦方向（Ｙ方向）と、ミリ波レーダアレイ１２０の計測面と直交する方向が一致する。上述のように本実施の形態に係るミリ波レーダアレイ１２０では二次元の計測面を計測対象としているが、ミリ波レーダアレイ１２０をカメラ１１０から出力される撮像データの縦方向（Ｙ方向）に移動させて繰り返し計測することにより、三次元空間の分布データを取得することができる。

【0027】

本実施の形態では、より具体的には、図２及び図３に示すように、ミリ波レーダアレイ１２０は、カメラ１１０の前面であってレンズ１１１の側方に固定されている。図３は、カメラ１１０とミリ波レーダアレイ１２０の組を三次元空間に配置した際の一例を示す。この場合、ミリ波レーダアレイ１２０のミリ波照射方向及びカメラ１１０の撮像方向は、三次元空間のＹ方向であり両者は一致している。また、図３の例においてカメラ１１０から出力される二次元画像である撮像データの縦方向（Ｙ方向）は三次元空間のＺ方向である。一方、ミリ波レーダアレイ１２０の計測面はミリ波照射位置を含む三次元空間のＸＹ平面であり、当該計測面に直行する方向は三次元空間のＺ方向である。

【0028】

３軸ジンバル１３０は、従来周知の姿勢制御装置からなり、カメラ１１０とミリ波レーダアレイ１２０の組を両者の位置関係を維持したまま一体に保持する。また、３軸ジンバル１３０は、撮像方向が現実空間の水平となり且つ出力される画像データの縦方向（Ｙ方向）が現実空間の鉛直方向となるようカメラ１１０の姿勢を維持する。前述したカメラ１１０とミリ波レーダアレイ１２０の位置関係により、３軸ジンバル１３０は、ミリ波照射方向が水平となり且つ計測面が水平となるようミリ波レーダアレイ１２０の姿勢を維持する。すなわち、３軸ジンバル１３０は、図３の例において、三次元空間のＺ方向が現実空間の鉛直方向となり、三次元空間のＸＹ平面が水平面となるよう、カメラ１１０とミリ波レーダアレイ１２０の姿勢を維持する。カメラ１１０の撮像方向及びミリ波レーダアレイ１２０の照射方向が水平面のどの方向を向くかは、検査者の持ち方による。

【0029】

画像処理装置２００は、図４に示すように、撮像データ取得部２１０と、反応値分布データ取得部２２０と、建築物三次元データ取得部２３０と、マッピング処理部２４０と、投影画像生成部２５０、画像出力部２６０とを備えている。

【0030】

画像処理装置２００の実装形態は不問である。画像処理装置２００は、主演算装置・主記憶装置・補助記憶装置等を備えた従来周知のコンピュータにプログラムをインストールすることにより実装することができる。また、画像処理装置２００は専用のハードウェアとして実装することができる。また、画像処理装置２００は、上述の各部２１０～２６０を複数の装置に分散して実装することができる。

【0031】

撮像データ取得部２１０は、カメラ１１０から撮像データを取得する。カメラ１１０が撮像データをリアルタイムに出力する場合、撮像データ取得部２１０は、撮像データを動画データとして所定の記憶部に記憶する。このとき撮像データ取得部２１０は、付加情報として撮像データにタイムスタンプを付与する。カメラ１１０が撮像データを動画データとして出力する場合、撮像データ取得部２１０は、当該撮像データを所定の記憶部に記憶する。

【0032】

反応値分布データ取得部２２０は、ミリ波レーダアレイ１２０から反応値の分布データを取得する。ミリ波レーダアレイ１２０が分布データを１走査毎にリアルタイムに出力する場合、反応値分布データ取得部２２０は、付加情報としてタイムスタンプを当該分布データに付与して所定の記憶部に記憶する。ミリ波レーダアレイ１２０が複数の走査に係る複数の分布データとして出力する場合、反応値分布データ取得部２２０は、当該複数の分布データを所定の記憶部に記憶する。

【0033】

建築物三次元データ取得部２３０は、検査対象である建築物の表面に係る三次元データを取得し所定の記憶部に記憶する。三次元データは、点群データであってもよいし、三次元モデル化データであってもよい。本実施の形態では点群データを用いた。三次元データは、建築物の外観に係るデータのほか、屋内側からみた内観に係るデータを含むことができる。なお、この三次元データは、建材の内部状態に係るデータではない点に留意されたい。

【0034】

三次元データは、外部のコンピュータからネットワーク又は所定の記憶媒体を介して取得してもよいし、画像処理装置２００において別途生成してもよい。本実施の形態では、別途、カメラを搭載した無人航空機であるドローンや検査者が携帯するカメラを用いて建築物の外面に係る複数の画像データを取得し、この複数の画像データに基づき外部のコンピュータで点群データを生成し、この点群データを三次元データとして画像処理装置２００で取得した。複数の画像データから点群データを生成する処理は、従来周知のフォトグラメトリ（Photogrammetry）技術を用いることができる。他の実施の形態では、ＬｉＤＡＲ（Light Detection And Ranging）により点群データを生成することができる。なお、三次元データは直交座標系である。

【0035】

マッピング処理部２４０は、カメラ１１０及びミリ波レーダアレイ１２０の組を建築物に対して相対的に移動させながら複数の観測位置で撮像された撮像データに基づき各観測位置の座標並びに撮像方向を算出する。換言すれば、マッピング処理部２４０は、カメラ１１０及びミリ波レーダアレイ１２０の組を建築物に対して相対的に移動させながら撮像された撮像データの経時的な変化に基づき各観測位置の座標並びに撮像方向を算出する。当該算出処理は、従来周知のＳＬＡＭ（Simultaneous Localization and Mapping）技術を用いて自己位置及び方向の推定を行うことで算出することができる。具体的には、各撮像データから当該撮像データに含まれる特徴点を抽出し、各撮像データにおける特徴点の座標の経時的な変化に基づき、自己位置及び方向の推定を行う。なお、ここで算出する座標は直交座標系である。

【0036】

また、マッピング処理部２４０は、反応値の分布データに対して、ノイズ除去処理や正規化処理などの前処理を行う。そして、マッピング処理部２４０は、算出した各観測位置の座標及び撮像方向を基準として、各観測位置で取得した反応値の分布データを三次元空間内にマッピングする。

【0037】

前述したように、ミリ波レーダアレイ１２０が出力する反応値の分布データはミリ波照射位置すなわち観測位置を基準とした相対的な極座標によるものである。したがって、ミリ波レーダアレイ１２０単体では、異なる観測位置で計測された反応値の分布データの位置関係を知り得ない。一方、本願発明では、ミリ波レーダアレイ１２０による計測位置及び方向とカメラ１１０による撮像位置及び方向が相対的に固定されているので、異なる観測位置で計測された反応値の分布データを三次元空間にマッピングすることができる。ミリ波レーダアレイ１２０による計測位置及び方向とカメラ１１０による撮像位置及び方向との対応関係は、反応値の分布データのタイムスタンプと撮像データのタイムスタンプを参照すればよい。なお、マッピング処理部２４０は、ミリ波レーダアレイ１２０の出力する反応値の分布データは極座標系なので、座標系を直交座標系に変換してマッピング処理を行う。

【0038】

また、マッピング処理部２４０は、三次元空間内にマッピングした反応値の分布データと建築物に係る三次元データである点群データとをマッピングする。すなわち、前述した反応値の分布データに係る三次元空間の座標を建築物に係る三次元データに係る座標に変換する。このマッピング処理は、カメラ１１０で撮像した撮像データから建築物の特定部位の形状を抽出するとともに、三次元データに係る点群データ又は三次元データの生成で用いた画像データから同じ特定部位の形状を抽出し、両者が一致するように座標変換処理を行えばよい。このマッピング処理は、自動で行ってもよいし、人手により行ってもよい。

【0039】

上記のマッピング処理においては、三次元空間におけるある点において、複数の反応値が取得される場合がある。すなわち、ミリ波レーダアレイ１２０による計測対象領域１２１が重複する場合である。この場合、マッピング処理部２４０は、複数の反応値から統計的処理により算出した統計値をその点における反応値とすることができる。統計処理の例としては算術平均があげられる。

【0040】

また、マッピング処理部２４０は、上記のマッピング処理において各観測位置・方向・角度の補正処理を行うようにしてもよい。位置に関しては、カメラ１１０による撮像位置（観測位置）とミリ波レーダアレイ１２０による計測位置（観測位置）が完全には同一でないためである。当該補正処理では、カメラ１１０のレンズ１１１の中心位置とミリ波レーダアレイ１２０の送受信部の中心位置との距離を用いればよい。近似的な補正処理では、カメラ１１０で撮像した複数の画像から算出した座標に対して、単に、前記距離を加算又は減算すればよい。また、方向・角度に関しては、観測ユニット１００によっては、カメラ１１０による撮像方向（観測方向）及び角度とミリ波レーダアレイ１２０による計測方向（観測方向）及び角度が同一でない配置されている場合があるためである。この場合、補正処理としては、撮像データから算出した撮像方向及び角度がミリ波レーダアレイ１２０による計測方向及び角度となるように座標系の変換を行えばよい。

【0041】

投影画像生成部２５０は、反応値の分布データがマッピングされた三次元データから二次元の投影画像を生成する。より詳しくは、投影画像生成部２５０は、建築物の外面に係る三次元データにマッピングされた反応値の分布データに基づき、反応値の各点ごとに当該反応値に対応する内部状態を判定するとともに、前記各点において当該点における内部状態の判定結果に対応する表示形態となるよう投影画像を生成する。ここで、投影画像生成部２５０は、建築物の外面に係る三次元データについても投影画像を生成するとともに、建築物の内部状態が建築物から透視されるよう投影画像を生成する。なお、投影画像を生成するに際して、視点の位置・方向・画角・拡大率などの投影条件は検査者により指定される。また、投影画像生成部２５０は、検査者の指示により、投影画像に含まれる対象を、反応値の分布データに対応する内部状態のみや、建築物の外面に係る三次元データのみに任意に切り替えることができる。

【0042】

出願人が実験を行った結果、ミリ波の反応値と木造建築物の内部状態には所定の対応関係があることが分かった。これは、ミリ波の反応値すなわち電力密度は、計測対象物の誘電率に依存することによる。識別可能な内部状態としては、例えば、金属部、正常な木材部、腐食や蟻害による破損部が挙げられる。ここで破損部については反応値の大小により破損程度（破損率）を識別することもできる。また、三次元データにマッピングされた反応値の分布データから、主要な建材の形状を識別することが可能である。したがって、識別可能な内部状態としては、柱頭部破損部、柱脚部破損部など破損箇所を含む判定が可能である。

【0043】

投影画像生成部２５０は、上記知見にしたがい、反応値の大小により異なる表示形態となるよう投影画像を生成する。例えば、いわゆるヒートマップ表示と呼ばれる、反応値の大きさに応じて点に係る色をグラデーション変化させる表示形態が挙げられる。また例えば、反応値の大きさに対応する内部状態毎に互いに異なる色の点を表示する表示形態が挙げられる。また例えば、反応値の大きさに対応する内部状態毎に異なる色の点を表示するものとし、さらに当該内部状態の範囲内で反応値の大小に応じて点又は正規立体格子に占めるボリュームの大きさを変化させる表示形態が挙げられる。また、反応値に対応する点の近傍に内部状態を示すテキストを付加する表示形態が挙げられる。

【0044】

画像出力部２６０は、投影画像生成部２５０で生成した投影画像を表示装置、外部の装置、記憶部など任意の出力先に出力する。ここで、画像出力部２６０の出力画像は、投影画像生成部２５０において異なる投影条件で作成した複数の投影画像を含むことができる。また、画像出力部２６０の出力画像は、投影画像生成部２５０で生成した投影画像に対して付加情報を含むことができる。付加情報の一例としては、内部状態のラベルと当該ラベルに対応する表示形態を示す凡例情報があげられる。また、付加情報の一例としては、建材毎の破損率や、建築物全体での破損率が挙げられる。また、付加情報の一例としては、破損率から算出した想定改築費用が挙げられる。

【0045】

このような処理により、投影画像には、建築物の外観が表示されるとともに、その内部状態が透視されて表示される。したがって、建築物のどの箇所が破損しているか、どの程度破損しているか、どの位置に金属パーツが埋設されているか、などを容易に認識することができる。

【0046】

次に、本実施の形態にかかる非破壊検査システムにおける検査方法について図５のフローチャートを参照して説明する。

【0047】

まず、検査対象となる建築物の三次元データを予め取得しておく（ステップＳ１）。そして、観測ユニット１００を建築物の特定の検査対象にむけて配置し、この観測ユニット１００を建築物に対して相対的に移動させながら、ミリ波レーダアレイ１２０による計測及びカメラ１１０による撮像を行うことにより反応値の分布データ及び撮像データを取得する（ステップＳ２）。なお、ミリ波レーダアレイ１２０による計測に先立ち、不要なノイズ混入の防止や適切な値範囲で反応値が取得できるように、出力調整や感度調整などのキャリブレーション処理を行っておくと好適である。

【0048】

次に、ステップＳ２で撮像した撮像データから各観測位置の座標並びに撮像方向を算出し（ステップＳ３）、各観測位置の座標及び撮像方向を基準として各観測位置で取得した反応値の分布データを三次元空間内にマッピングする（ステップＳ４）。そして、さらに当該反応値の分布データを前記ステップＳ１で取得した三次元データにマッピングする（ステップＳ５）。上記のステップＳ２～Ｓ５の処理は、内部状態を確認したい特定の検査対象箇所ごとに実施することができる。

【0049】

次に、建築物の三次元データにマッピングされた反応値の分布データに基づき、建築物の内部状態が透視されるよう投影画像を生成する（ステップＳ６）。最後に、生成された投影画像が表示装置等に出力される（ステップＳ７）。

【0050】

なお、上記のステップＳ１の処理は、上記ステップＳ５より前であればその実施タイミングは不問である。

【実施例0051】

上記実施の形態に係る非破壊検査システムを用いて古民家の非破壊検査を行った。非破壊検査システムの出力画像の一例を図６～図９に示す。なお、実際の出力画像はカラーであるが、図６～図９ではグレースケールで表示している点に留意されたい。

【0052】

図６に示す出力画像４００は、投影画像４１０と、凡例情報４２０と、その他の付加情報４３０と、第２の投影画像４４０とを含んでいる。投影画像４１０では、建築物の外観については明度の高い無彩色（薄いグレー）で表示されており、反応値の分布データのうち当該反応値から判定された内構造状態が正常であるものについても明度の低い無彩色（薄いグレー）で表示されている。一方、投影画像４１０では、反応値の分布データのうち当該反応値から判定された内構造状態が正常であるもの以外については、その内構造状態に対応する色彩で表示されている（例えば符号４１１の点線内の濃いグレー部分）。凡例情報４２０は、内部状態と色彩との対応関係を含む。その他の付加情報４３０は、破損率と、当該破損率から算出した改修が想定される比率とを含む。第２の投影画像４４０は、第１の投影画像４１０とは異なる投影条件で生成された投影画像である。

【0053】

図７に示す出力画像４００ａは、投影画像４１０ａと、凡例情報４２０ａと、その他の付加情報４３０ａとを含んでいる。投影画像４１０ａでは、建築物の外観については明度の低い無彩色（薄いグレー）で表示されており、反応値の分布データのうち当該反応値から判定された内構造状態が正常であるものについても明度の高い無彩色（薄いグレー）で表示されている。一方、投影画像４１０ａでは、反応値の分布データのうち当該反応値から判定された内構造状態が正常であるもの以外については、その内構造状態に対応する色彩で表示されている（例えば符号４１１ａの点線内の濃いグレー部分）。凡例情報４２０ａは、内部状態と色彩との対応関係を含む。その他の付加情報４３０ａは、破損率と、当該破損率から算出した改修に必要な費用とを含む。

【0054】

図８に示す出力画像４００ｃは、投影画像４１０ｃと、凡例情報４２０ｃと、その他の付加情報４３０と、第２の投影画像４４０ｃ、第３の投影画像４５０ｃ、第４の投影画像４６０ｃ、第５の投影画像４７０ｃとを含んでいる。各投影画像４００ｃ、４４０ｃ～４７０ｃは、内部構造として金物を表示するものであり、互いに異なる投影条件で生成されたものである。各投影画像４００ｃ、４４０ｃ～４７０ｃでは、建築物の外観については明度の高い無彩色（薄いグレー）で表示されており、反応値の分布データのうち当該反応値から判定された内構造状態が金物以外であるものについても明度の低い無彩色（薄いグレー）で表示されている。一方、各投影画像４００ｃ、４４０ｃ～４７０ｃでは、反応値の分布データのうち当該反応値から判定された内構造状態が金物であるものについては、その金物に対応する色彩で表示されている（例えば符号４１１ｃ、４５１ｃの点線内の濃いグレー部分）。また、第３の投影画像４５０ｃでは、金物と判定された分布データの表示位置の近傍に、金物の名称を示すラベルが表示されている（符号４５２参照）。

【0055】

図９に示す出力画像４００ｄは、投影画像４１０ｄと、第２の投影画像４４０ｄ、第３の投影画像４５０ｄとを含んでいる。各投影画像４００ｄ、４４０ｄ～４５０ｄは、互いに異なる投影条件で生成されたものであり、建築物の外観については表示せず、反応値の分布データのみを反応値の大小にしたがってヒートマップ表示したものである。また、各投影画像４００ｄ、４４０ｄ～４５０ｄには、反応値の分布データのうち当該反応値から判定された内構造状態が正常であるもの以外の場所の近傍に、内部状態を示すラベルが表示されている（符号４１２ｄ）。さらに、各投影画像４００ｄ、４４０ｄ～４５０ｄには、反応値の分布データのうち当該反応値から判定された内構造状態が正常であるもの以外の場所を明示するために、当該場所を囲う点線が表示されている（例えば符号４１３ｄ）。

【0056】

このように本実施の形態に係る非破壊検査システムによれば、ミリ波レーダアレイ１２０により建築物内部からの反応値の分布データが取得されるとともに、カメラ１１０により前記反応値の分布データの観測位置及び方向並びに角度が相対的に固定された撮像データが取得される。そして、複数の撮像データに基づき各観測位置の座標並びに撮像方向が算出され、各観測位置の座標及び撮像方向を基準として各観測位置で取得した反応値の分布データが三次元空間内にマッピングされる。そして、三次元空間内にマッピングされた反応値の分布データに基づき建築物の内部状態の投影画像が生成される。このように、簡便な構成且つ低コストで建築物の内部状態の投影画像を取得することができ、これにより内部状態の確認が可能となる。

【0057】

（第２の実施の形態）
本発明の第２の実施の形態に係る非破壊検査システムについて図面を参照して説明する。図１０は非破壊検査システムの外観図、図１１は非破壊検査システムの機能ブロック図である。本実施の形態では、検査対象を木造建築物とする。なお、各図面が示す部材や領域の大きさ等は、説明を明確にするため誇張していることがある。

【0058】

図１０に示すように、非破壊検査システムは、三次元スキャナ５００と、ミリ波レーダアレイ６００と、画像処理装置７００とを備えている。三次元スキャナ５００と画像処理装置７００並びにミリ波レーダアレイ６００と画像処理装置７００は、有線又は無線を介して通信可能に接続されている。

【0059】

画像処理装置７００は、主演算装置・主記憶装置・補助記憶装置等を備えた従来周知のコンピュータにプログラムをインストールすることにより実装することができる。本実施の形態では、画像処理装置７００は、検査者により携帯される携帯型の端末である。例えば、画像処理装置７００は、スマートフォンと呼ばれる通信機能を有する高機能携帯端末である。また、例えば、画像処理装置７００は、タブレットと呼ばれる高機能携帯端末である。本実施の形態では、画像処理装置７００は、主面側に表示装置およびタッチパネルが設けられたタブレットを用いた。

【0060】

三次元スキャナ５００は、検査対象である建築物の表面を走査して所定の密度で点群データを出力する機能を有する装置である。ここで点群データは、所定の位置及び方向を基準とした多数の三次元座標情報からなる。三次元スキャナ５００は、画像処理装置７００からの計測指示に応じて計測対象領域内をスキャンし、当該領域内の点群データをリアルタイムに画像処理装置７００に出力することができる。また、他の実施形態では、三次元スキャナ５００は、画像処理装置７００からの計測指示に応じて取得した点群データを三次元スキャナ５００内の記憶部に記憶し、計測後に記憶部に記憶された点群データを画像処理装置７００に出力することができる。この場合、点群データには付加情報としてタイムスタンプが付される。

【0061】

三次元スキャナ５００のセンシング方式は不問である。本実施の形態では、三次元スキャナ５００は、レーザ光を照射してその反射光を受光するまでの時間により距離を検出するＬｉＤＡＲを用いた。

【0062】

また、本実施の形態では三次元スキャナ５００は、さらに、可視光領域又は赤外線領域において前記走査領域と同領域を撮像し撮像データを出力する機能を有する。したがって、本実施の形態において三次元スキャナ５００により取得される計測データは、点群データと撮像データとを含む。撮像データは、前記点群データと同様にリアルタイムに出力することもできるし、一旦記憶部に記憶させてから出力することもできる。

【0063】

ミリ波レーダアレイ６００は、第１の実施の形態と同様なので、ここでは説明を省略する。

【0064】

三次元スキャナ５００は、図１０に示すように、画像処理装置７００の背面側に付設されている。また、ミリ波レーダアレイ６００とは、画像処理装置７００の背面側であって三次元スキャナ５００の近傍に付設されている。ここで「近傍」は、第１の実施の形態と同義である。また、本発明では、三次元スキャナ５００及びミリ波レーダアレイ６００は、三次元スキャナ５００の計測方向及び角度と、ミリ波レーダアレイ６００のミリ波照射方向及び角度とが、相対的に固定された状態で配置されている。本実施の形態では、三次元スキャナ５００の計測方向及び角度と、ミリ波レーダアレイ６００のミリ波照射方向及び角度が一致している。

【0065】

画像処理装置７００は、図１１に示すように、計測データ取得部７１０と、反応値分布データ取得部７２０と、マッピング処理部７４０と、投影画像生成部７５０、画像出力部７６０とを備えている。

【0066】

画像処理装置７００の実装形態は不問である。画像処理装置７００は、前述したように、主演算装置・主記憶装置・補助記憶装置等を備えた従来周知のコンピュータにプログラムをインストールすることにより実装することができる。また、画像処理装置７００は専用のハードウェアとして実装することができる。

【0067】

計測データ取得部７１０は、三次元スキャナ５００から計測データを取得する。三次元スキャナ５００が計測データをリアルタイムに出力する場合、計測データ取得部７１０は、付加情報として計測データにタイムスタンプを付与し、所定の記憶部に記憶する。三次元スキャナ５００が複数の走査に係る複数の計測データとして出力する場合、計測データ取得部７１０は、当該計測データを所定の記憶部に記憶する。

【0068】

反応値分布データ取得部７２０は、第１の実施の形態と同様なので、ここでは説明を省略する。

【0069】

マッピング処理部７４０は、三次元スキャナ５００及びミリ波レーダアレイ６００の組を建築物に対して相対的に移動させながら複数の観測位置で計測された計測データに基づき各観測位置の座標並びに計測方向を算出する。換言すれば、マッピング処理部７４０は、三次元スキャナ５００及びミリ波レーダアレイ６００の組を建築物に対して相対的に移動させながら取得した計測データの経時的な変化に基づき各観測位置の座標並びに計測方向を算出する。当該算出処理は、従来周知のＳＬＡＭ技術を用いて自己位置及び方向の推定を行うことで算出することができる。本実施の形態では、各計測データに含まれる撮像データから当該撮像データに含まれる特徴点を抽出し、各撮像データにおける特徴点の座標の経時的な変化に基づき、自己位置及び方向の推定を行う。また、他の方法としては、各計測データに含まれる点群データから当該点群データに含まれる特徴点を抽出し、各点群データにおける特徴点の座標の経時的な変化に基づき、自己位置及び方向の推定を行うようにしてもよい。さらに、他の方法としては、計測データに含まれる点群データと撮像データの双方を用いてもよい。なお、ここで算出する座標は直交座標系である。

【0070】

また、マッピング処理部７４０は、反応値の分布データに対して、ノイズ除去処理や正規化処理などの前処理を行う。ここで正規化処理は、検査対象の材質、距離や照射角度に応じて異なるミリ波の減衰率に応じて反応値を補正する処理である。そして、マッピング処理部７４０は、算出した各観測位置の座標及び計測方向を基準として、各観測位置で取得した反応値の分布データ及び計測データに含まれる点群データを三次元空間内にマッピングする。

【0071】

前述したように、ミリ波レーダアレイ６００が出力する反応値の分布データはミリ波照射位置すなわち観測位置を基準とした相対的な極座標によるものである。したがって、ミリ波レーダアレイ６００単体では、異なる観測位置で計測された反応値の分布データの位置関係を知り得ない。一方、本願発明では、ミリ波レーダアレイ６００による計測位置及び方向と三次元スキャナ５００による計測位置及び方向が相対的に固定されているので、異なる観測位置で計測された反応値の分布データを三次元空間にマッピングすることができる。ミリ波レーダアレイ６００による計測位置及び三次元スキャナ５００による計測位置及び方向との対応関係は、反応値の分布データのタイムスタンプと計測データのタイムスタンプを参照すればよい。なお、マッピング処理部７４０は、ミリ波レーダアレイ６００の出力する反応値の分布データは極座標系なので、座標系を直交座標系に変換してマッピング処理を行う。

【0072】

上記のマッピング処理においては、三次元空間におけるある点において、複数の反応値が取得される場合がある。すなわち、ミリ波レーダアレイ６００による計測対象領域が重複する場合である。この場合、マッピング処理部７４０は、複数の反応値から統計的処理により算出した統計値をその点における反応値とすることができる。統計処理の例としては算術平均があげられる。

【0073】

また、マッピング処理部７４０は、第１の実施の形態と同様に、上記のマッピング処理において各観測位置・方向・角度の補正処理を行うようにしてもよい。

【0074】

投影画像生成部７５０及び画像出力部７６０は、第１の実施の形態と同様なのでここでは説明を省略する。

【0075】

このように本実施の形態に係る非破壊検査システムによれば、第１の実施の形態と同様に、ミリ波レーダアレイ６００により建築物内部からの反応値の分布データが取得されるとともに、三次元スキャナ５００により前記反応値の分布データの観測位置及び方向並びに角度が相対的に固定された計測データが取得される。そして、複数の計測データに基づき各観測位置の座標並びに計測方向が算出され、各観測位置の座標及び計測方向を基準として各観測位置で取得した反応値の分布データが三次元空間内にマッピングされる。そして、三次元空間内にマッピングされた反応値の分布データに基づき建築物の内部状態の投影画像が生成される。このように、簡便な構成且つ低コストで建築物の内部状態の投影画像を取得することができ、これにより内部状態の確認が可能となる。

【0076】

なお、上記実施の形態では、マッチング処理部７４０において三次元スキャナ５００の各観測地点の座標及び計測方向をＳＬＡＭ技術により算出していたが、三次元スキャナ５００において当該算出処理を行うようにしてもよい。

【0077】

（第３の実施の形態）
本発明の第３の実施の形態に係る非破壊検査システムについて図面を参照して説明する。図１２は非破壊検査システムの外観斜視図である。本実施の形態では、検査対象を樹木や製材などの建材とし、その内部状態を検査する。

【0078】

本実施の形態に係る非破壊検査システムは、検査対象８００を搬送する搬送手段としてのベルトコンベア９００と、ベルトコンベア９００に対して相対的に固定されている支持フレーム１０００と、三次元スキャナ１１００と、ミリ波レーダアレイ１２００と、画像処理装置１３００とを備えている。三次元スキャナ１１００と画像処理装置１３００並びにミリ波レーダアレイ１２００と画像処理装置１３００は、有線又は無線を介して通信可能に接続されている。

【0079】

ベルトコンベア９００は、コンベアベルト、プーリー、フレーム、駆動モータ等を備えた周知の搬送装置である。ベルトコンベア９００は、搬入側に検査対象８００の位置及び方向を規制し、検査対象８００が三次元スキャナ１１００及びミリ波レーダアレイ１２００の計測領域に確実に侵入させるためのガイドプレート９０１が設けられている。

【0080】

支持フレーム１０００は、三次元スキャナ１１００及びミリ波レーダアレイ１２００を両者の位置を相対的に固定した状態で支持する。支持フレーム１０００は、コ字状の枠体からなり、ガイドプレート９０１の下流側であってベルトコンベア９００の上方において上枠１００１が搬送方向を直交するように設置されている。支持フレーム１０００は、ベルトコンベア９００に対して固定されていてもよいし、ベルトコンベア９００とは固定されていなくてもよい。後者の場合、既設のベルトコンベア９００の設置場所に支持フレーム１０００を配置すればよいので利便性の高いものとなる。

【0081】

三次元スキャナ１１００は、上枠１００１の下面側に付設されている。また、ミリ波レーダアレイ１２００は、上枠１００１の下面側であって三次元スキャナ１１００の近傍に付設されている。ここで「近傍」は、第１の実施の形態と同義である。また、本発明では、三次元スキャナ１１００及びミリ波レーダアレイ１２００は、三次元スキャナ１１００の計測方向及び角度と、ミリ波レーダアレイ１２００のミリ波照射方向及び角度とが、相対的に固定された状態で配置されている。本実施の形態では、三次元スキャナ１１００の計測方向及び角度と、ミリ波レーダアレイ１２００のミリ波照射方向及び角度が一致しており、三次元スキャナ１１００及びミリ波レーダアレイ１２００の計測方向は下方、すなわちベルトコンベア９００の搬送面の法線方向である。また、ミリ波レーダアレイ１２００の計測対象領域は前述したように放射状の計測面となるが、ベルトコンベア９００の搬送方向が前記計測面を直交するように配置されている。あ

【0082】

三次元スキャナ１１００及びミリ波レーダアレイ１２００の構成並びに画像処理装置１３００の機能的な構成については第２の実施の形態と同様なので、ここでは説明を省略する。

【0083】

本実施の形態では、ベルトコンベア９００により検査対象８００を搬送させるとともに、支持フレーム１０００に固定された三次元スキャナ１１００及びミリ波レーダアレイ１２００で計測を行うことにより、画像処理装置１３００において検査対象８００の内部状態の投影画像が生成される。このように、簡便な構成且つ低コストで検査対象８００の内部状態の投影画像を取得することができ、これにより内部状態の確認が可能となる。

【0084】

なお、本実施の形態では、動力を有するベルトコンベア９００を用いて検査対象８００を移動させ且つ三次元スキャナ１１００及びミリ波レーダアレイ１２００を固定することにより相対的に観測位置を移動させていたが、他の手段により検査対象８００を移動させるようにしてもよい。例えば、動力を用いないローラーコンベアを用いてもよい。

【0085】

以上、本発明の実施の形態について詳述したが、本発明は上記実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよい。

【0086】

例えば、上記各実施の形態では、ミリ波の反応値の分布データを建築物の三次元データにマッピングすることにより建築物全体の内部状態を確認可能としていたが、局所的に内部状態を確認するだけで十分な場合は、建築物の三次元データにマッピングすることなくミリ波の反応値の分布データをマッピングした三次元空間の内部状態を表示するようにしてもよい。

【0087】

また、上記第１の実施の形態では、ミリ波の反応値の分布データを、別途用意した建築物の三次元データにマッピングすることにより建築物全体の内部状態を確認可能していたが、ミリ波レーダアレイ１２０による計測とともに撮像したカメラ１１０からの複数の撮像データから建築物の（局所的な）点群データを作成し、この点群データを建築物の三次元データとしてもよい。

【0088】

また、上記各実施の形態では、ミリ波の波長（周波数）を固定としたが、検査対象物や周囲環境等に応じて可変としてもよい。

【0089】

また、上記各実施の形態では、ミリ波レーダアレイ１２０，６００，１２００として、計測対象領域１２１が二次元の面であるものについて例示したが、照射位置を頂点とする円錐形の空間など三次元空間を計測対象領域とするものであってもよい。

【0090】

また、上記第１の実施の形態では、カメラ１１０及びミリ波レーダアレイ１２０を一体に固定した状態で保持・移動させるために３軸ジンバル１３０を用いたが、保持・移動手段として他の装置を用いてもよい。例えば、無人航空機であるドローンにカメラ１１０及びミリ波レーダアレイ１２０を搭載してもよい。また、例えば、ロボットアームにカメラ１１０及びミリ波レーダアレイ１２０を付設してもよい。これらの場合、保持・移動手段としての他の装置が、３軸ジンバル１３０と同様の姿勢制御機能を有していると好適である。

【0091】

また、上記第１の実施の形態では、カメラ１１０の撮像方向と及びミリ波レーダアレイ１２０と照射方向及び角度を一致させていたが、両者が異なる方向及び角度となるよう固定してもよい。すなわち、両者の相対的な方向及び角度が変化することなく固定されていればよい。そして、この場合、上述したようにマッピング処理において方向及び角度に関する補正処理を行えばよい。第２及び第３の実施の形態においても同様である。

【0092】

また、上記第１の実施の形態では、カメラ１１０及びミリ波レーダアレイ１２０を一体に固定した状態で保持するために姿勢制御機能を有する３軸ジンバル１３０を用いることにより、撮像・計測の安定性を図るとともに、撮像方向・計測方向を水平方向に限定していたが、この姿勢制御機能を有していなくても本発明を実施できる。

【0093】

また、上記第１の実施の形態では、カメラ１１０は可視光領域及び赤外線領域を撮像するものであったが、画像データに深度情報を付加可能な深度カメラを用いてもよい。また、上記第１の実施の形態の装置構成において、カメラ１１０に替えて三次元スキャナを用いてもよい。同様に、上記第２の実施の形態の構成において、三次元スキャナ５００に替えて可視光領域及び赤外線領域を撮像するカメラや深度カメラを用いてもよい。また、画像処理装置が実装されたスマートフォンやタブレットなどのハードウェアがカメラや深度センサを内蔵している場合、外付けのカメラ１１０や三次元スキャナ５００に替えて内蔵のカメラや深度センサを用いるよう構成してもよい。すなわち、外部環境を計測してＳＬＡＭ技術等により自己位置及び方向を推定・算出できる計測データを取得できる装置であれば、他の装置であっても本発明を適用できる。

【0094】

また、上記各実施の形態では、検査対象を木造建築物や建材とし内部に損傷部や金物部等があるか否かを確認する用途について説明したが、他の用途であっても本発明を適用できる。すなわち、検査対象の分野・用途・材質等は不問である。例えば、上記第３の実施の形態では検査対象を建材とした例について説明したが、家具などの木工製品の材料としての木材（無垢材、集成材等を含む）や樹脂製材料など他の材料であっても本発明を適用できる。また例えば、上記第１及び第２の実施の形態では検査対象を木属建築物とした例について説明したが、検査対象が鉄筋コンクリート造の建築物であっても本発明を適用できる。典型的な適用例としては、鉄筋コンクリート造の建築物の壁内、床下、天井裏等に埋設されている配管などの位置や大きさを確認する用途が挙げられる。このような場合、レーダアレイからの反応値レベルは木造建築物における反応値レベルと異なるので、当該レベルに合わせて部材や損傷程度の判定レベルや表示形態等を適宜調整すればよい。

【符号の説明】

【0095】

１００…観測ユニット
１１０…カメラ
１２０，６００，１２００…ミリ波レーダアレイ
１３０…ジンバル
２００，７００，１３００…画像処理装置
２１０…撮像データ取得部
２２０，７２０…反応値分布データ取得部
２３０…建築物三次元データ取得部
２４０，７４０…マッピング処理部
２５０，７５０…投影画像生成部
２６０，７６０…画像出力部
５００，１１００…三次元スキャナ
７１０…計測データ取得部
８００…計測対象
９００…ベルトコンベア
９０１…ガイドプレート
１０００…支持フレーム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】