IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社スペシャルエフエックススタジオの特許一覧

特開2023-35971建築物等の打音検査に於ける異常部分分布の可視化法
<>
  • 特開-建築物等の打音検査に於ける異常部分分布の可視化法 図1
  • 特開-建築物等の打音検査に於ける異常部分分布の可視化法 図2
  • 特開-建築物等の打音検査に於ける異常部分分布の可視化法 図3
  • 特開-建築物等の打音検査に於ける異常部分分布の可視化法 図4
  • 特開-建築物等の打音検査に於ける異常部分分布の可視化法 図5
  • 特開-建築物等の打音検査に於ける異常部分分布の可視化法 図6
  • 特開-建築物等の打音検査に於ける異常部分分布の可視化法 図7
  • 特開-建築物等の打音検査に於ける異常部分分布の可視化法 図8
  • 特開-建築物等の打音検査に於ける異常部分分布の可視化法 図9
  • 特開-建築物等の打音検査に於ける異常部分分布の可視化法 図10
  • 特開-建築物等の打音検査に於ける異常部分分布の可視化法 図11
  • 特開-建築物等の打音検査に於ける異常部分分布の可視化法 図12
  • 特開-建築物等の打音検査に於ける異常部分分布の可視化法 図13
  • 特開-建築物等の打音検査に於ける異常部分分布の可視化法 図14
  • 特開-建築物等の打音検査に於ける異常部分分布の可視化法 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023035971
(43)【公開日】2023-03-13
(54)【発明の名称】建築物等の打音検査に於ける異常部分分布の可視化法
(51)【国際特許分類】
   G01N 29/265 20060101AFI20230306BHJP
   G01H 17/00 20060101ALI20230306BHJP
   G01N 29/12 20060101ALI20230306BHJP
【FI】
G01N29/265
G01H17/00 Z
G01N29/12
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022135461
(22)【出願日】2022-08-28
(31)【優先権主張番号】P 2021139484
(32)【優先日】2021-08-29
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】514155359
【氏名又は名称】株式会社スペシャルエフエックススタジオ
(72)【発明者】
【氏名】古賀 信明
【テーマコード(参考)】
2G047
2G064
【Fターム(参考)】
2G047AA09
2G047BC10
2G047CA03
2G047DB12
2G047EA12
2G047GA21
2G047GD02
2G047GH06
2G064AA05
2G064AB01
2G064AB02
2G064AB13
2G064AB22
2G064BA02
2G064DD08
2G064DD14
2G064DD23
(57)【要約】      (修正有)
【課題】建築物等の打音検査に於いて、異常箇所の場所と分布を視覚化し、建築図面等に合成できる様にする。
【解決手段】建築物等を対象とする打音器を使った打音検査の現場に於いて、打音器と打面と打音を撮影、録音し、コンピューターを使い、その映像および音データを入力とする3D及び2Dトラッキングを行う事で、カメラの向きと動きと検査面の時間軸を持った相対的位置を算出し、前記コンピューターの仮想空間内に仮想打面と、複数の各仮想打点を再構築し、更に前記各打点の音圧や周波数スペクトル解析等の値を前記各仮想打点に割り当て、前記各仮想打点間を任意の空間補間法で補間して任意の分布図で視覚化し、特異なパターン分布を目視またはAIにて抽出する事で、容易に且つ短時間に、異常個所の検査面上の分布が発見可能であり、更に前記異常部分の分布を図面に対応可能で、異常部分の分布の視覚化、及び建築図面への合成を可能にした。
【選択図】図1
【特許請求の範囲】
【請求項1】
建築物等を対象とした打音検査に於いて、打面に複数の打音を立てる手段と、
前記複数の打音を録音する手段と、
前記打音を立てた前記打面に広がる複数の打点を
コンピューター内の仮想面上に仮想打点として配置する手段を持つ打音検査に於いて、
前記複数の仮想打点に対応する、
それぞれの前記打音を入力とするアルゴリズムのパラメーターの一部を複数回変更して、
得られたそれぞれの値を、それぞれ対応する前記仮想打点に与える事で、
一つの前記仮想面に対して、前記パラメーター毎の、複数の仮想打点群を得る、
コンピュータープログラム。
【請求項2】
打音器、または打音を立てる事が可能な手段を使った、建築物等を対象とした打音検査に於いて、
少なくとも一つのカメラ、またはイメージセンサーと、
少なくも一つのマイクロホン、または振動センサーを使って打音検査面から得られる、
映像データと、音データを入力とし、
三次元カメラトラッキング(三次元解析)して、
前記カメラまたはイメージセンサーと、前記打音検査面に対応するコンピューターの仮想空間内に、
仮想打面(前記打音検査した面)と、
時間軸を持った前記仮想打面との相対位置関係を持つ、時間軸付きの仮想視点(仮想カメラ)と、
前記打音器、または打音を立てる事が可能な手段による一つ以上の打点を
実際の前記打音検査の面と対応する位置関係を持つ仮想打点を前記仮想打面上に推定する手段を持つ、
コンピュータープログラム。
【請求項3】
請求項2で得られた一つ以上の仮想打点それぞれ対応する、
前記打音検査のそれぞれの打音を入力とする任意のアルゴリズムで得られた値を
それぞれの前記仮想打点に対応させる
コンピュータープログラム。
【請求項4】
請求項1及び3に記載の打音検査に於いて、
打点から得られた打音のそれぞれに対して、
任意の複数の周波数毎の音圧の値を複数得るアルゴリズムを持つ、
コンピュータープログラム。
【請求項5】
請求項1及び3、4で得られた前記仮想打面上の各前記仮想打点の値の、
隣り合う前記仮想打点間の値を、任意の空間補間手段で補間し、
その補間された値の分布を前記仮想面上、またはそれに対応する図面上に表示可能な
コンピュータープログラム。
【請求項6】
本出願における値の分布の表示法が、コンターである、
コンピュータープログラム。
【請求項7】
本出願に於ける、同じ検査面に於いて、請求項1、3~6に記載の複数の打音を、
任意のアルゴリズムでそれぞれ解析した結果の値が、
解析の条件変更等のパラメーター変更により、
一つの検査面に対して生成される、複数の分布図の表示可能なデータを、
リアルタイムで、または、コンピューターメモリー内に蓄積して、
または、連番ファイルか、ムービーファイルを生成して、
任意の時間間隔で順次、連続して表示させる事が可能なコンピュータープログラム。
【請求項8】
請求項7の、生成された複数のコンターを順次表示させる方法に代えて、
または請求項7の補助手段として、
請求項7によって生成された複数の前記分布図に混入した異常の判定を、
本出願に於ける打音検査方式の判定の経過や、結果等の、打音検査に係わるデータを蓄積したデータを
正常/異常の判定のための情報として利用可能なAIを持つ
コンピュータープログラム。
【請求項9】
請求項2に記載の打音検査時に撮影された画像データや音データから、
三次元トラッキング解析に必要なデータが充分に得られず、三次元解析が困難な場合、
前記打面、図面対応用トラッキング用のマーカー、打音器先端部の位置、の内、
少なくとも何れかの認識が困難、またはその解析が困難な場合、
前記打音の音圧ピーク検出が困難な状態を含む打音解析に必要なデータ不足、と判断された場合、
ノイズの混入や、音量不足など、前記打音が打音検査のデータとして不十分な場合、
のうち、少なくとも何れか一つが認識された時、
前記打音検査の作業者が知覚可能なアラートを発する事が可能なコンピュータープログラム。
【請求項10】
請求項2に記載の打音検査面と、打音器の、少なくとも何れか一か所に、
前記打音検査面と、前記打音検査を撮影した映像データ上において、
前記マーカーと、それ以外を形状、色度、明度、彩度自らの発光、再帰反射、蛍光色等によって区別可能な、
何れか少なくとも一つを持つマーカー、を使用した、打音検査法。
【請求項11】
請求項2に記載の仮想打点を推定する手段に加えて、または請求項1に記載の仮想打点を推定する手段として、
前記検査面、または前記打音器、または前記カメラまたは前記イメージセンサーの、何れか、
またはその全てに配置された加速度センサーからの信号のソースとするデータ、
前記検査面、または前記打音器、または前記カメラまたは前記イメージセンサーの、何れか、
またはその全てに配置された角速度センサーからの信号のソースとするデータ、
前記検査面、または前記打音器、または前記カメラまたは前記イメージセンサーの、何れか、
またはその全てに配置された磁気センサーからの信号のソースとするデータ、
の内、少なくとも1つを入力として、
前記検査面、または前記打音器、または前記カメラまたは前記イメージセンサーの、少なくとも何れか同士の、
相対的距離や相対位置から前記仮想打点を推定するコンピュータープログラム。
【請求項12】
本出願によって得られた検査結果を、
前記検査面に対応する図面に合成する手段、
実際の検査面の画像と共に前記検査面に対応する図面に合成する手段、
実際の検査面へ投影する手段
のうち、何れか少なくとも1つが可能な手段を持つ
打音検査結果の視覚化の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、建物等の打音検査による、異常箇所の分布の視覚化に関する。
【背景技術】
【0002】
従来の、建築物等の経年劣化検査や竣工直後の打音検査に於いて、
検査作業者がその打音を耳で聞いて、その音から異常/正常を聞き取り判断し、
手書きでその異常個所をマーキングし、図面に書き写すことが行われている。
更に文献1の様に、その打音を録音して打音検査の後、周波数解析した波形を観察する事で異常の状態を分析可能であった。
【0003】
また、打面と平行にスキャンされるLiDER(Light Detection and Ranging、Laser I maging Detection and Ranging)等
によりハンマーの打点をコンピューターの仮想空間内に特定する方法もあった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第6127283
【特許文献2】特開2021-73459
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の建築物等の打音検査に於いて、
その異常部分の判定は前記打音検査の作業者が、前記検査対象を叩き、
その打音から経験に基づいて異常判定をし、
その場所を手描きによってマーキングし、図面にプロットしていたが、
ビルの壁面等、検査面が広大な場合、手描きによる正確な異常の分布図作成は熟練が要求される上に、時間と手間が掛かっていた。
【0006】
また、文献1の様に、建築物等の検査面を多角形の断面を持つ打音器で打ち、
異常箇所の打音を必要に応じて作業者が録音し、
その録音データから打音の周波数スペクトル解析をコンピューターで行い、
その解析結果のグラフから、目視で異常箇所を探し出し、判定をするものであるが、
前記録音箇所と図面の正確な対応はその手法から難しく、詳細な異常の分布の把握は困難であった。
【0007】
前記検査対象の異常は、
材質や構造の違い、内部密度の違い、浮き、クラック、密度、厚み、形状、空間の広さ、他の部材との干渉、異常の種類、異常の程度等によって、
健全部とは違う、音圧の変化や、その一部の周波数の変調に現れる。
【0008】
それは、状態や異常部分の度合いによって、その打音に様々な変化が有り、
また、常に同じ周波数でその違いが出るとは限らない。
従って、どの周波数に違いが出るかは、スペクトログラム等の解析結果を人が見て判断している。
【0009】
図15の15B、15Cに示す様なスペクトログラムは、時間軸と共に各周波数毎にその強度(音圧)を示す情報の集合体であり、
全ての打点について、それぞれのスペクトログラムを使って、
どの周波数に異常が出るか判らない打点の情報を複数同時に目視で比較する事は、
その膨大なデータから、事実上困難である。
【0010】
また、可聴域から外れた超低周波域及び超高音域、
つまり人の耳で聞き取る事の出来ない、超音波域で異常音があった場合、
人の聴覚では検出が不可能であり、
その場で確認できないという事は、打音を録音してその後の解析で打音の解析が出来たとしても、
肝心の打点の特定とその分布、の正確な関連付けは困難である。
【0011】
従って、こうした従来の方法では作業者の聴力や熟練度の違いによる検査結果のばらつきや、
異常音の聞き逃し、打点の打ち漏らし、図面へのプロット(書き写し)漏れ等の、プロットミス等の他、高所作業での図面への転記作業や、
実際の検査面への描き込み等のマーキング作業に起こり得る作業者への危険や、道具の持ち換え等の際に起こり得る落下物の危険性もあった。
【0012】
また、同一箇所の検査であっても、得られる異常箇所の報告書は検査担当者により個人差が有り、
正確性に疑問が残る上に、短時間に異常分布の緻密な図面化は困難であった。
【0013】
また、自動的に検査面の打点を特定出来る従来の手段は、特許文献2に挙げられている例の様に、
打点の特定にレーザー測距を使う場合、打音検査中はレーザー機材を固定する必要があり、
更に検査場所を移動する度に前記レーザー機材のセッティングを繰り返す必要があった。
【課題を解決するための手段】
【0014】
本発明は、上記課題を解決するために、
〔1〕(仮想面上に仮想打点群を得る)
建築物等を対象とした打音検査に於いて、打面に複数の打音を立てる手段と、
前記複数の打音を録音する手段と、
前記打音を立てた前記打面に広がる複数の打点を
コンピューター内の仮想面上に仮想打点として配置する手段を持つ打音検査に於いて、
前記複数の仮想打点に対応する、
それぞれの前記打音を入力とするアルゴリズムのパラメーターの一部を複数回変更して、
得られたそれぞれの値を、それぞれ対応する前記仮想打点に与える事で、
一つの前記仮想面に対して、前記パラメーター毎の、複数の仮想打点群を得る、
コンピュータープログラムを提供する。
【0015】
〔2〕(映像と音のデータから仮想打点を得る手段)
打音器、または打音を立てる事が可能な手段を使った、建築物等を対象とした打音検査に於いて、
少なくとも一つのカメラ、またはイメージセンサーと、
少なくも一つのマイクロホン、または振動センサーを使って打音検査面から得られる、
映像データと、音データを入力とし、
視点の移動する1つの前記映像データから三次元カメラトラッキング(三次元解析)して、
2つ以上のカメラまたはイメージセンサーからは3次元ステレオ解析して、
前記カメラまたはイメージセンサーと、前記打音検査面に対応するコンピューターの仮想空間内に、
仮想打面(=仮想面、前記打音検査した面)と、
時間軸を持った前記仮想打面との相対位置関係を持つ、仮想視点(仮想カメラ)と、
前記打音器、または打音を立てる事が可能な手段による一つ以上の打点を
実際の前記打音検査の面と対応する位置関係を持つ仮想打点を前記仮想打面上に推定する手段を持つ、
コンピュータープログラムを提供する。
【0016】
〔3〕(仮想打点に値を与える)
前記〔2〕で得られた一つ以上の仮想打点にそれぞれ対応する、
前記打音検査のそれぞれの打音を入力とする任意のアルゴリズムで得られた値を
それぞれの前記仮想打点に対応させる
コンピュータープログラムを提供する。
【0017】
〔4〕(周波数毎の音圧の値)
前記〔1〕及びに〔3〕に記載のプログラムに於いて、
前記打点から得られた打音のそれぞれに対して、
任意の複数の周波数毎の音圧の値をそれぞれ複数得るアルゴリズムを持つ、
コンピュータープログラムを提供する。
【0018】
〔5〕(任意の補間法)
前記〔1〕及び〔3〕、〔4〕で得られた前記仮想打面上の各前記仮想打点の値の、
隣り合う前記仮想打点間の値を、任意の空間補間手段で補間し、
その補間された値の分布を前記仮想面上、またはそれに対応する図面上に表示可能な
コンピュータープログラムを提供し、
前記仮想打点に与えた値をグラフィカルに表示可能にする手法としては任意であり、
例えばコンター、点群等であり、前記値はその大きさによって、
点の密度、点の大きさ、色度、彩度、明度(濃度)、透明度の何れか、またはその組み合わせ等で、表示されても良い。
【0019】
〔6〕(コンター)
本出願における値の分布の表示法が、コンター(等高線/等値線)である、
コンピュータープログラムを提供する。
【0020】
〔7〕(順次表示)
本出願に於ける、同じ検査面に於いて、前記〔1〕、〔3〕~〔6〕に記載の複数の打音を、
任意のアルゴリズムでそれぞれ解析した結果の値が、
解析の条件変更等のパラメーター変更により、
一つの検査面に対して生成される、複数の分布図の表示可能なデータを、
リアルタイムで、または、コンピューターメモリー内に蓄積して、
または、連番ファイルか、ムービーファイルを生成して、
任意の時間間隔で順次、連続して表示させる事が可能なコンピュータープログラムを提供する。
これは、複数の面に広がる多数の値の分布の状態を、目視で短時間に把握及び比較可能な手法である。
【0021】
〔8〕(AIによる判定)
前記〔7〕、生成された複数のコンターを順次表示させる方法に代えて、
または前記〔7〕の補助手段として、
前記〔7〕によって生成された複数の前記分布図に混入した異常の判定を、
本出願に於ける打音検査方式の判定の経過や、結果等の、打音検査に係わるデータを蓄積したデータを
正常/異常の判定のための情報として利用(ディープラーニング)可能なAIを持つ
コンピュータープログラムを提供する。
【0022】
〔9〕(解析不能アラート)
前記〔2〕に記載の打音検査時に撮影された画像データや音データから、
三次元トラッキング解析に必要なデータが充分に得られず、三次元解析が困難な場合、
前記打面、図面対応用トラッキング用のマーカー、打音器先端部の位置、の内、
少なくとも何れかの認識が困難、またはその解析が困難な場合、
前記打音の音圧ピーク検出が困難な状態を含む打音解析に必要なデータ不足、と判断された場合、
ノイズの混入や、音量不足など、前記打音が打音検査のデータとして不十分な場合、
のうち、少なくとも何れか一つが認識された時、
前記打音検査の作業者が知覚可能なアラートを発する事が可能なコンピュータープログラムを提供する。
【0023】
〔10〕(識別可能なマーカー)
前記〔2〕に記載の打音検査面と、打音器の、
少なくとも何れか一か所に、
前記打音検査面と、前記打音検査を撮影した映像データ上において、
前記マーカーと、それ以外を区別可能な、形状、色度、明度、彩度(自らの発光、再帰反射、蛍光色を含む)の、
何れか少なくとも一つを持つマーカー、が、配置される、打音検査法を提供する。
【0024】
〔11〕(センサー)
前記〔2〕に記載の仮想打点を推定する手段に加えて、または上記〔1〕に記載の仮想打点を推定する手段として、
前記検査面、または前記打音器、または前記カメラまたは前記イメージセンサーの、何れか、
またはその全てに配置された加速度センサーからの信号のソースとするデータ、
前記検査面、または前記打音器、または前記カメラまたは前記イメージセンサーの、何れか、
またはその全てに配置された角速度センサーからの信号のソースとするデータ、
前記検査面、または前記打音器、または前記カメラまたは前記イメージセンサーの、何れか、
またはその全てに配置された磁気センサーからの信号のソースとするデータ、
の内、少なくとも1つを入力として、
前記検査面、または前記打音器、または前記カメラまたは前記イメージセンサーの、少なくとも何れか同士の、
相対的距離や相対位置から前記仮想打点を推定するコンピュータープログラムを提供する。
【0025】
〔12〕(検査結果を視覚化する方法)
本出願によって得られた検査結果(分布図等)を、
前記検査面に対応する図面に合成する手段、
実際の検査面の画像と共に前記検査面に対応する図面に合成する手段、
実際の検査面へレーザーやプロジェクター等により投影する手段
のうち、何れか少なくとも1つが可能な手段を持つ
打音検査結果の視覚化の方法を提供する。
尚、検査結果と検査面、図面などとの合致には、
前記検査時に使ったマッチングマーカーや、前記図面上と前記検査面との共通する特徴点を利用しても良い。
【0026】
(定義等)
本出願では、打音検査器の打音検査対象に当たって音を立てる事が可能な部分を持つ、
打音検査器を構成する部材を打音器ヘッド、打音器のヘッド部分、または単にヘッド部分、ヘッドとよぶ。
【0027】
前記打音器の打音器のヘッド部分を、前記検査面に打撃する事で打音を立て、
また、本出願に使用する打音を立てるものは、打音器以外の、検査面に打音を立てる事が可能な打音器以外の、
例えば、高出力パルスレーザー等によっても良く、
その音により建築物等の異常や劣化を診断、検査をする建築物等を対象とした打音検査に於いて、
その前記検査面に打撃された点を打点、前記検査面を打面という。
【0028】
本出願の打音器とは、
本出願に於いて建築物等に行う打音検査の際に使う打音検査器を、打音器といい、
従来からある金槌形状のハンマー、先端が球体の打診棒、回転式打音器等、検査面を叩いて打音を立てる事が可能な器具であれば、全て含まれる。
また、振動(超音波を含む)発生装置を使っても良い。
【0029】
また、これら打音器は手動のみならず、動力によって打音を立てるものであっても良い。
更に、特願2021-103678の様な、つまり、打面に接触可能な突起を複数備え、前記突起に曲面を持つ回転打音器を使っても良い。
また、検査面に非接触で打音を立てる事が可能な前記高出力パルスレーザーによるものであっても良い。
【0030】
本出願に於ける打音から得られる値とは、前記打音の音圧でも良く、
前記打音を任意のアルゴリズムで処理された値でも良い。
【0031】
本出願に於ける音と振動は同義であり、互いに読み替えても良く、
振動センサーとマイクロホンも同様である。
【0032】
本出願に於ける変調とは、特定の周波数のピークが他の周波数へ移行する事を指す。
【0033】
本出願の打音検査に於ける、撮影された映像中の前記マーカーの位置とは、
前記マーカー映像が占める一定の面積を持つ部分の重心位置としても良く、それを打点と見なしても良い。
また、コンターの表示方法は必ずしも線の描画でなくても、色やグレースケールの色分け、またはそれらを使ったグラデーションであっても良い。
また、前記値を使って立体化した際にハイライトや影を使っても良い。
【0034】
(コンター)本出願に於いて、複数の仮想打点に与えた複数の値の分布を表示する際の説明を
例としてコンターを多く用いているが、当然に他の分布表示法に代えても良い。
【0035】
(打音と映像の同期)本出願に於ける画像データと対応する音データは、時間軸に於いて同期(シンクロ)可能とする。
【0036】
(人以外の打音器操作)本出願の打音検査面を打音器で叩く打音作業を行うのは、
人でも、ドローン、ロボット、撮影時の視点と打点を移動可能な機械であっても良い。
【0037】
本出願に於ける打音器とカメラは一体化していても良い。
【0038】
(課金システム)本出願を使った打音解析ソフトは、
検査エリア面積、打点数、打点間の総距離、コンター化解析数、プロセスに於けるCPU/GPUの負荷度合い、
消費メモリー等、本出願の打音検査プログラムの使用の度合い、データサーバーの負荷、扱うデータ量等、の何れかで課金システムを構築しても良い。
【0039】
(マーカー)本出願に於けるマーカーとは、本出願で使用するカメラまたはイメージセンサーに、映像として写る事が可能で、
前記映像データ上で、前記マーカー以外と明確に区別可能な部材を指す。
【0040】
(マーカーのエッジ形状)本出願に於けるマーカーのエッジ形状は円形に限らない。
【発明の効果】
【0041】
本発明は、少ない機材で打音検査の検査結果を視覚化出来る。
【図面の簡単な説明】
【0042】
図1】本出願を使ったフローチャートの一例
図2】打音検査における打音器と打面を同時再撮影と、それにより得られる仮想空間の一例
図3】打音と打点を一致させる方法の一例
図4】打点にそれぞれに対応する値を割り当て、値に応じて立体化し、コンター化する空間補間法の一例
図5】複数のコンターを生成させ、異常な分布を示すコンターを目視にて選別する一例
図6】隣り合う仮想打点を拡張してラスターデータ様にしたものの一例
図7】隣り合う仮想打点を互いにディゾルブで融合したものの一例
図8】マーカーの画像上の重心を打点とする一例
図9】マーカーの照明法の一例
図10】再帰反射性部材とビームスプリッターを使った配置の一例
図11】再帰反射性部材を使った光源配置の一例
図12】打音器への加速度/角速度センサーまたは磁気センサー配置の一例
図13】打音検マーカーの査環境光下での使用例
図14】マーカーエッジを仮想空間内でシフトして仮想打点を求める一例
図15】打音から得られる音圧の波形とスペクトログラムの一例
【発明を実施するための形態】
【0043】
本出願を使った、検査面の異常箇所の図面化システムの運用の一例と共に、この場合に必要な付随する説明を加えつつ述べる。
【0044】
(マッチングマーカーの準備)
まず、前記打音検査開始までに図2の2Aの様に図面合致用のマッチングマーカー1を、
二点以上の場所に検査可能な面(図2の2)に配置し、
その位置を前打音記検査対象の図面と正しく対応させておく事で、
本出願の打音検査結果によるコンターと当該検査部の前記図面を一致させる事が出来る。
この時、前記マッチングマーカー1に代えて、
または、前記マッチングマーカー1に加えて、
打音検査対象の建築物の換気口、配管、角部などの図面にも表記されている、映像上で識別可能な特徴点を複数指定しても良い。
【0045】
(マッチングマーカーの検査面への配置)
本出願の検査対象は、施工時または施工後、
その検査対象面にマイクロホンや、振動センサーを取り付け可能なアンカーボルト等の突起や穴等を設け、
前記振動センサーを配置、ロック、着脱可能にしても、また、恒久的に配置しても良い。
また、前記突起や穴はマッチングマーカー取り付け用と兼用しても良い。
これは特にトンネル等、検査面が垂直で無い場所に特に有効である。
【0046】
(マッチングマーカーでの画像と図面の合致)
前記マッチングマーカーを使って、検査結果と打面に対応した図面との合致に加えて、実際の検査面の画像と合成しても良い。
【0047】
(マッチングマーカーの配置)
図2に示す1の様に、複数のマッチングマーカーのうち、
少なくとも2つは、検査エリアの対角に位置する様に配置するのが望ましいが、
その位置は必ずしも検査エリアの対角両端部である必要は無く、
対角を成すエリアの外側に検査面があっても良い。
【0048】
(トラッキング補助マーカー)
通常、視点の動く映像から3次元空間を解析する場合、写っている映像の特徴点を複数認識して解析可能だが、
検査対象にその様な特徴点が無いか、極端に少ない場合、映像上で特徴点として認識可能なマーカーを配置しても良く、
前記マッチングマーカーは、予め決めた色や特定の2Dの図形や、各頂点や特徴点にマーカーが配置され、
各前記マーカーの寸法が事前に判っている図形や立体をトラッキング及び図面と、
仮想空間内の検査面とのマッチングマーカーとして、
検査面に配置して、前記三次元トラッキングの補助として使っても良い。
また、前記立体のマッチングマーカーは折りたたみ可能にしても良い。
【0049】
(センサーにマッチングマーカー)
本出願の打音検査に於いて、打面上に配置するセンサーは、その一部に前記マーカーを配置して、
検査作業を撮影した映像に映り込み、マッチングマーカー(図面合致用マーカー)を兼ねていても良い。
【0050】
(マーカーの形態)
本出願のマッチングマーカーは、検査面に配置され、
本出願で使用するイメージセンサー、またはカメラから得られる映像データ上で、
形状、色度、彩度、明度の何れか、または、何れか2つ以上の組み合わせにより、
本検査に於ける撮影データに於いて検査面と区別可能で、
また、蛍光色や自ら発光しても良く、
テープ、粘土、ステッカー、エラストマー等の粘着性を持つもの、糸、ワイヤー、ロープ、樹脂フィラメント等の紐状のもの、ゴム、ゴム状弾性体等から成るゴム紐状のもの、検査面上の部材に接続、配置可能なものであっても良く、
マッチングマーカーとして、チョーク、クレヨン、フェルトペン等により、直接検査面に筆記可能なもの、であっても良く、
図面上に描画されている排気口、配管、角部等の特徴点をマーカーとしても良く、
これらのマーカーとしての認識は本ソフトウエア上、自動であっても、手動による指定であっても良い。
また、これらマーカーは他のマーカーと容易に区別が付く大きさ、形状、色、明るさ等である必要が有る。
また、その位置が時間を置いても再現可能であれば、レーザー等の投影された光であっても良い。
【0051】
また、打音器に配置されるマーカーを成す一部の材料は、
検査面を打ち、打音を立てて打音検査する打音器のヘッド部分、またはその近傍に配置され、
本出願で使用するイメージセンサー、またはカメラから得られる映像データ上で、形状、色度、彩度、明度の何れか、
または、何れか2つ以上の組み合わせにより、検査面と明らかに区別可能で、
また、蛍光色や自ら発光しても良く、テープ、ステッカー、エラストマー等の粘着性を持つもの、であっても良い。
【0052】
(再帰反射性部材)
更に、前記打音器に配置されるマーカーは、図10、11に示す様に、
再帰反射性を持つ部材16と、ビームスプリッター10を使い、
前記レンズの光軸上に配置された、光源8、との組み合わせ、
または再帰反射性を持つ部材16と、撮影するカメラのレンズ近傍の光源9、との組み合わせ、
の何れかであっても良い。
【0053】
(脱着可能なマーカー)
打音検査の性格上、打音器に配置されたトラッキング用マーカーが、
泥、埃等によって汚損する事は避けられない、
また、打音検査対象によっては、マーカーの色を変更した方が好ましい場合もある。
そこで、前記マーカー部を脱着可能な、ねじ込み式、バヨネット式、粘着剤、スロット、スナップ、面ファスナー等で交換可能にしても良い。
【0054】
(打音器を使った打音検査の撮影)
本出願の、建築物等の打音検査に於いて、
前記検査作業者のヘルメットや体の一部、または打音器の一部に対して
前記打音検査時の検査面と、打音器のヘッド部分、を同時に撮影(録画及び録音)可能なカメラを装着し、
打音検査と同時に前記カメラによる動画撮影と打音の録音も行う。
【0055】
当然に、映像と音の時間的なシンクロが可能であれば、
前記カメラの映像と前記打音検査時の音は、別のメディアを使って記録しても良い。
【0056】
(カメラまたはイメージセンサーに付加配置されるセンサー)
本出願の、打音検査に於いて、
打音検査を撮影するカメラまたはイメージセンサーに加えて、
角速度、加速度、磁気センサーうち、の何れか少なくとも、一つ
が備わっており、前記センサーからの角速度または、加速度または、方向の何れか、
から得られる、少なくとも一つのデータを前記三次元トラッキングの情報として使っても良い。
(*ここで言う角速度、加速度、磁気の各センサーはそれぞれ3方向に感度を持っていて良い)
【0057】
(カメラの装着位置)
また、この時、撮影用のカメラ5は、
検査作業方向に向けて、検査作業者のヘルメット、打音器の支持棒を持つ腕、前記支持棒等に配置する事により、
三次元トラッキングや、打点の特定に必要な、前記カメラ5と打面との相対的な位置や角度の時間軸を持った変化を映像から得る事が出来、
且つ、前記検査作業者が常に打点方向を向いて打音検査する限り、原則として、必ずその打音器は撮影される様に配置される。
【0058】
(カメラ=視点、の移動)
本出願に於ける打音検査で、単眼でカメラと検査面との相対的な位置関係が固定された状態で撮影された場合、
その映像データのみでは、カメラが動く事で得られる視差情報が無い為に三次元トラッキング解析は出来ない。
従って必ず視点(カメラ、イメージセンサー)は動いている必要があるが、
ステレオカメラ、または、三つ以上のカメラを使う場合、その限りでは無い。
三次元カメラトラッキングはレーザーを使ったLider、映像解析から三次元情報を得るSLAM等を使っても良い。
【0059】
(打音の収録)
また、前記打音器の打音を収録するマイクロホンは、
前記作業者が持つ打音器の手首、または腕に装着しても良く、
この場合、打音器の打点にある程度近く、
且つ、常に打音器との距離が同じにする事が出来るので、安定してその打音を収録可能である。
【0060】
(打音に混入する不要なノイズキャンセリング)
本出願に使用する振動センサーまたはマイクロホンは、
打音検査を行う際の前記振動センサー、
またはマイクロホンからの音データとは別の振動センサー、
またはマイクロホンから得た環境音を使って、
または、登録された自動車などのエンジン音、走行音、周期的な電気ノイズなど、
打音検査に不要なノイズキャンセリングを行っても良い。
【0061】
(複数のマイク)
また、本出願の、打音を捉える振動センサーまたは、マイクロホンは、
その配置場所を複数個所持っていても良い。
【0062】
(マイクのキャリブレーション)
本出願に於いて使用する振動センサーまたはマイクロホンが複数の場合、
それぞれの前記振動センサーまたはマイクロホンの特性を揃えるキャリブレーションを行っても良い。
更に、環境ノイズを除去するための、検査時のセッティングでのキャリブレーションを行っても良い。
【0063】
(映像と音の一体化データ)
本出願では、映像データと音データが別データ(ファイル)として説明しているが、
当然に、映像と音が一つのファイルデータとなる、通常のビデオカメラ等による動画ファイルであっても同様に利用できる。
【0064】
(打点密度チェック)
本出願の打音検査に於いて、
一つの打音検査面の打音検査終了後、打音検査映像から、打点密度を判定するプログラムは、
他の打点密度に比べて、打点密度が低いと判定された部分の、
実際の検査対象面をコンピューターまたはタブレット等の携帯端末の画面上に示すか、
実際の検査面にレーザーやモニター上で等で投影、明示させても良い。
また、過度に打点の多い部分にも同様に明示させても良い。
【0065】
(検査エリアのガイド)
更に、この時、ムラ無く、打ち漏れ無く打点を得る為の打音器を当てるガイドとして、
チョーク、テープ、糸、レーザー光等の、検査エリアのガイドを使っても良い。
【0066】
(検査の開始と終了)
本出願の、打音検査を始める前に前記打音検査を撮影するカメラをスタートさせ、
録画と録音を開始し、前記打音検査終了後に前記カメラでの撮影を終了するが、
検査に使う前記マイクロホンまたは振動センサーと、前記カメラから得られる、
映像データと音データのそれぞれに加えて入力可能な、
音と光または、それぞれの入力に応じた信号で、
検査の開始と検査の終了の合図を入れても良い。
また、人による手の合図の移し込みと、同時に声による合図を入れても良い。
【0067】
(回転打音器の使用)
本出願による、打点検出用マーカーが配置された打音器で、
検査面をムラ無く叩いて打音検査を行う際、
に使う打音器は以前から行われているハンマーや、打診棒、回転打音器等を使って良いが、
それらの中でも、一定の間隔で素早く打音を立てる事が出来る前記回転打音器を使うのが好ましい。
【0068】
(アラート)
本出願による打音検査に於いて、前記打音検査を撮影する際、
レンズの汚れ、レンズの曇り、フォーカスボケ、カメラブレ、明るさ不足、レンズフレア、検査対象のディテール不足、特徴点の数不足、強い反射光等、
撮影された画像から三次元トラッキング解析に必要なトラッキングポイント(特徴点)が充分に得られない等の、
三次元カメラトラッキングが困難な状態で、三次元解析が不可能な場合、
環境ノイズ(音)電気ノイズ、風切り音等の混入、
打音のピーク検出が困難な状態等、
解析に必要なデータ不足、と判断された時、アラートが発せられても良い。
【0069】
(データ移動)
本出願における、打音器を使った打音検査の映像データと音データは、
その場で、または、メモリーやHDD等のストレージや、有線または無線通信手段で、前記データを移動し、
打音検査現場とは違う場所で、コンピューターの打音解析、コンター作成プログラムで処理されても良い。
【0070】
(映像データから仮想打面と、時間軸を持つ仮想視点との相対位置関係の解析)
次に前記打音検査で得た映像データをコンピューターに入力とする三次元トラッキングプログラムを介して、コンピューターの仮想空間内に、
図2の様に、マッチングマーカー1と、実際の打面2と、カメラ(イメージセンサー)5の時間軸を持った互いの相対的な位置関係を再構築して、
それぞれに対応する仮想打面c(打面2と対応)と、仮想視点d(カメラ5と対応)と、
その仮想視点移動パスh(カメラパスgと対応)をコンピューターの仮想空間内に再構築(イメージベースド三次元カメラトラッキング)する。
【0071】
(打音器に配置するセンサーを使った打点の特定)
また、この時、前記打音器に配置したマーカーのトラッキングの手法の他に、
加速度センサー、角速度センサー、磁気センサー、の、少なくとも何れかを打音器の何れかに配置し、
前記センサーの位置と実際の打音器が打面と接する事が可能な点、との距離とのオフセット距離と、角度を事前に入力し、
前記マッチングマーカー1と重ねた位置を基準点とし、
且つ、前記センサーのオフセット距離と角度を加味した上で、
打音のピーク時の、打面上の前記センサー出力によって得られる座標、を打点としても良い。
また、前記トラッキングマーカーと併用しても良い。
【0072】
(センサーのズレ補正)
一般に、加速度及び角速度センサーは、基準点から離れる程、誤差を生じる。
従って、必要に応じて、前記加速度及び角速度センサーを持つ打音器を複数箇所に配置された、仮想空間内の既知の点、
つまり既に図面との対応が完了した、前記マッチングマーカーに、
打音器を重ねる事で、前記打音器の位置をマッチングマーカーと一致させて、その検出位置のズレを補正しても良い。
【0073】
(打音器の加速度/角速度センサー/磁気センサーの防振)
本出願に於ける打音器に配置された加速度/角速度センサー/磁気センサーは、
位置検出に不要な打音検査時の振動の影響を減らす為、
慣性重量の重い部材に固定した前記センサー部を、
防振スポンジ、防振ゴムを含むエラストマー等の弾性部材で保持しても良く、
また、逆に前記打点の振動を前記加速度/角速度センサーが検出したタイミングを、打点としても良い。
【0074】
(打音シンクロ発光マーカー)
本出願に於ける打点の特定は、
例えば、打音器ヘッド近くにLED(可視光、UV、赤外線の何れか)等の発光手段を配置し、
打音器の振動を受ける事が可能なマイクロホン、または振動センサーからの信号を入力とする、
ディスクリート回路や、前記ディスクリート回路を含むICチップ回路、コンピュータープログラム等により、
前記入力の音圧ピークで前記発光手段が、前記打音器の打音とシンクロして発光する事で、
前記撮影データ上で打点を認識させても良い。
【0075】
この時、前記マイクロホン、または振動センサーの位置を極力打点に近付ける、
または打音器自体の振動を検出する事で、車の走行音などのノイズの多い環境で、
打音の収録が困難な打音検査に有効である。
更に、打音器ヘッドの表面部材に蛍光物質を持つ部材とし、
前記発光手段を前記打音にシンクロしたUV(紫外線)の発光により、
前記打音器ヘッドの蛍光発光を可能とし、更に、打音器そのものを打音とシンクロ発光させても良い。
【0076】
(打音にシンクロする発光マーカー)
前記〔10〕に於ける検査面に配置されるマーカーのうち、
光を用いるマーカーは、マイクロホンまたは振動センサーからの、入力とする打音の音圧ピークを検出し、その信号を出力可能な手段は、
少なくとも、ディスクリート回路か、
ICチップを使った回路か、
コンピュータープログラム、
の、何れかであり、
前記出力を受けて、紫外線、可視光、赤外線の何れかの発光手段を持ち、
前記発光と前記打音とシンクロさせる事が可能な、打音器に配置可能な発光マーカーであっても良い。
【0077】
(例:打点の推定)
例えば、前記映像データ上の打音器先端部認識または、前記打音器が打音を立てる事が可能なヘッド部分の、
前記マーカーによる2Dトラッキングデータと、
前記打音器の立てる打音の前記音データの、各音圧ピークと対応した各前記2Dトラッキング座標データを
前記仮想視点dから仮想打面cへ仮想逆投影(仮想プロジェクションマップ/仮想カメラマップ)により、
前記仮想打面c上に複数の仮想打点を特定可能な、または、前記2Dトラッキングとして使っても良い。
また、LiDER等のレーザーやマイクロ波を使っても良い。
【0078】
(面積を持つマーカーの位置座標)
本出願の打音検査に於ける撮影された映像中のマーカーの位置は、
前記マーカー部分の映像が占める一定の面積を持つ部分の重心位置を仮想打点と見なしても良い。
また、8Bの図の様に、打音器の支持棒によって前記マーカーの本来の形状が欠損した部分の何れかの部分、
例えば、前記欠損部分の重心点等を仮想打点とみなしても良い。
【0079】
また、前記仮想打点は前記仮想面状にあるので、
前記打音検査器が立てる打音のピークと一致する打音器の中心位置と、
仮想視点を結ぶ直線と、前記仮想面と、
が交わる点を打点としても良い。
【0080】
これは、実際には、打音器自体の寸法が、
例えば直径30ミリと小さければ、実際の打点とは十数ミリメートル程度の誤差を生ずるが、
その誤差は、ほぼ一定であり、打音検査の目的上殆ど問題にならない 。
【0081】
(マーカーと打点のズレ補正)
本出願の前記映像データと打音データから打点を推定する手段に於いて、
実際の打点と仮想打点とのズレが問題となる時には、
前記打音器に配置されたマーカーと対応する、仮想空間内の仮想マーカーの座標と、
実際の打音器の打点に対応する本来の前記仮想打点の、仮想打面上の座標のズレを前記打音検査に使用するマーカーと、
打音器の立体情報を使って、補正する手段を持つコンピュータープログラムであっても良い。
【0082】
(例:打点検出の更なる精度向上)
しかし、前記誤差が問題となる打音検査の場合は、
図14に示す様な形状の回転打音器の場合を例に挙げるとマーカー周辺部の形状sをコンピューターの仮想空間内で、
前記府打音器が打面に接して打音を立てる事が可能な部分tまで拡張vし、
前記拡張した仮想マーカーを打音器の厚み方向へ前記厚み分17だけシフトwさせ、
打音の音圧がピーク時の、前記打音器の厚み方向へ、前記厚み寸法17だけシフトさせた、
仮想マーカーのエッジuと仮想打面cが接する、またはuがcに最も近い、u上の座標を仮想打点jとしても良い。
【0083】
この様に打音器推定プログラムに、
打音器と、打音器マーカーの立体情報(この場合、前記マーカーの直径と、前記打音器の打面と接する事が可能な点を持つ円周の直径と、前記打音器の厚み)を事前に入力する事で、
マーカーによる仮想打点の推定誤差を最小に抑える事が出来る。
【0084】
(打音器マーカーの形状)
本出願に於ける打音器マーカーは、どの方向から見てもその輪郭に大きな変化が見られない、球体または半球体が望ましく、その位置も限りなく打音器に近づけると良い。
【0085】
(発光マーカー)
本出願で使用するマーカーのうち、
光を用いるマーカーは、マイクロホンまたは振動センサーを入力とする打音の音圧ピークを検出し、
その信号を出力可能な手段は、
少なくとも、ディスクリート回路か、
ICチップを使った回路か、
コンピュータープログラム、
の、何れかであり、前記出力を受けて、
紫外線、可視光線、赤外線を含む少なくとも何れかの発光手段を持ち、
前記発光と前記打音とシンクロさせる事が可能な、打音器に配置可能な発光マーカーとしても良い。
【0086】
(打音の解析)
更に前記打音データから、音圧、ピーク周波数、周波数スペクトル、等から得た任意の解析値を割り当て、
複数の振動センサーを使った場合は、
同じ打音のそれぞれの入感時間差(位相差)、
同じ打音のそれぞれの振動減衰時間差、
同じ打音のそれぞれの振動の残響波形、
同じ打音のそれぞれの振動の残響の長さ、
同じ打音のそれぞれの周波数分布の違い、
等の中から必要な要素の解析を行なっても良く、
それらの値を各打点に対応した前記各打点に割り当てても良い。
【0087】
また、一つの打点から出る音から得られる値同士の差を異常発見の材料としても良い。
また、前記値は音圧であっても良いし、値同士の差は時間差であっても良いし位相差であっても良い。
【0088】
(解析プロセスの柔軟性)
打音検査の映像と打音が、その後の解析プロセスを行う事が可能な程度に記録されていれば、
リアルタイムで解析する必要も無く、検査作業の撮影後、前記撮影データを持ち帰り、
非力なコンピューターであっても、時間を掛ければ解析可能である。
また、膨大な検査データであってもコンピューターの分散処理なども可能であり、対応可能である。
更に、映像データと音データと打点を特定するデータが保存されていれば、
将来考案されるであろう、新たな打音の解析法にも対応可能である。
【0089】
また、同じ検査面に対して、時間を空けて定期的な本出願による検査を行う事により、
その検査対象の劣化の進行を客観的、数量的に捉える事も可能である。
【0090】
(パラメーター可変)
本出願の打音検査によって得られた音データは、
前記解析のパラメーターを順次変えたり、前記解析結果に閾値を設けた数値以上、または以下、の値でデータの一部を排除したりして、
表示データを簡素化して、見やすくしても良い。
【0091】
(音圧解析)
更に、検査人がその打音を耳で聞いて、
その異常部分に明確な音圧差を持つ、周波数解析を待つまでも無い検査面であっても、
本出願の音圧によるコンター化を使う事で、
その異常部分の分布を正確に図面に反映する事が可能で、
大幅に手作業が減り、書類作成時間が軽減する。
【0092】
(超音波の視覚化)
また、本出願の打音検査法で例を挙げた構成を使えば、可聴域のみならず、
人の可聴音以外の低音域も含む超音波域での異常の分布も打音検査に使用する振動センサー、マイクロホンの対応周波数の範囲であれば、視覚化可能である。
【0093】
(打点に割り当てる値)
本出願に於ける、打音検査に於いて、生成されるコンターの基となる各打点に与えられる値は、
単に前記打点と対応する打音の音圧の値の他に、
取得した個々の打音を任意の周波数毎に複数分割し、
前記複数の分割エリア毎のその平均値、
または、前記各分割エリア毎にそれぞれの最大値、を与えても良い。
【0094】
(ピーク周波数)
本出願に於けるコンター表示の基となる、打音検査時の打点の値は、
前記各打点の打音の周波数スペクトル解析のうち、最も音圧の高いピーク周波数を割り当てても良い。
また、基準を決めた任意の周波数から変調した、その差の値を前記仮想打点に割り当てても良い。
【0095】
(解析法)
本出願に於ける打音の周波数解析をウエーブレット変換で行っても良い。
【0096】
(データのスムージング)
本出願に於ける各打点の打音データから得られたそれぞれの周波数スペクトルは、
各打点に割り当てられる前に、移動平均法、周波数領域法等を掛けて、スムージング(スペクトルの平滑化)しても良い。
また、前記スムージングを掛けて良いのは、本出願の打音解析結果であれば、周波数スペクトルに限らない。
【0097】
(仮想打点間の補間)
前記仮想打音の解析結果から得られる仮想打点に割り当てられるデータは、
互いに孤立した点群データなので、隣り合う点間のデータの連続性が無い。
従って、コンターや全体の値の分布の状態を面で見やすく表示させる為には、
前記仮想打点間の値を補間する任意の空間補間法で埋める必要がある。
【0098】
(空間補間法)
前記各仮想打点に与えた値の、前記各仮想打点間の空間補間法は、例えば、
ニアレストネイバー法、リニア補間法、逆距離加重法(IDW)、不規則三角網(不整三角網)法(TIN)、バイリニア補間(双一次補間)法、トライリニア補間法、バイキュービック補間(双三次補間)法、スプライン補間法、張力付正規スプライン法(RST)、クリギング法、トレンドサーフェス法、最適内挿法、等の、
何れかであっても良い。
【0099】
(補間例:バッファー/ディゾルブ)
多くある空間補間法の内、
例えば、図6の様に、本出願の三次元解析で得られた仮想空間内の仮想面上の各仮想打点に、
それぞれ対応する打音検査時の各打音から得られた解析データを割り当て(jn)、
前記打面上の隣り合う各仮想打点間の空間を前記各仮想打音の解析データから得られる、
各値のバッファリング(ベクター空間分析)で、6Bの様に、それぞれ埋めてラスターデータ様にするか、
または、図7の様に、隣り合う前記仮想打点間の値が繋がる様に、各値同士間の境界を7Bの様に、
それぞれ互いにディゾルブで埋めて、得られた前記打面上のデータの値に応じて色、またはグレースケールで表示するか、
または同じ値を繋ぐ等高線(等値線)で表示しても良い。
【0100】
(例:仮想打点の移動)
更に、前記空間補間法の具体例を挙げると、
前記打点と対応した音データから、音圧、減衰または残響時間、あるいは2つ以上の振動センサーの入感時間差、二つ以上の振動センサーの同士の位相差、周波数スペクトル解析したデータ等をそれぞれの前記打点に割り当て、
前記仮想打面cをX軸とY軸で広がる面としたとき、各仮想打点に与えられた値に応じた移動量でZ軸方向に移動する事で、
三次元空間内に高さ情報(Z軸)を持った点群が配置される。
【0101】
(例:仮想立体の生成)
続いて、隣り合う前記仮想打点j同士を通る滑らかな曲面で補間した立体面を生成するか
、前記仮想打点jを制御点とする曲面で立体面を生成するか、
前記仮想打点jを頂点とするポリゴンから成る立体面を生成して、
その生成された立体の高さ(Z軸方向)の違いをコンター(等高線/等値線)化する事で、実際には無い打点間の値を補間しても良い。
また、当然に、ここに述べた立体化のプロセスを経ずに前記値を持つ複数の打点から任意の空間補間法でコンター等の分布図を作成しても良い。
【0102】
(特異な分布)
例えば、検査対象の一部に空洞部分などの異常が有ると、その打音はその異常の分布に対応した特定のピーク周波数の分布が見られるが、
その周波数は、材質、異常の状態、その範囲、検査対象の構造、厚み、含水量等によって、全く違ってくる。
従って、予め特定の周波数に注目する事は困難で、多数の周波数のデータを比較してチェックする必要がある。
【0103】
実際の打音のスペクトログラムを例に挙げると、
図15は打音検査の同じ複数の打音の音圧(15A)と、スペクトログラム(15Bと15Cは同じ)で示したものである。
15Cのスペクトログラムを見ると、5kHz(19)あたりと、2kHz(20)あたりに他の打音に見られないピークが見られるが、
19と20の分布は時間軸上で一致しない。
【0104】
これは、検査打面内部の状態が同じ状態に無い事が容易に推測出来る。
これは15Aの、単なる音圧の表示では、見出すことの出来ない事を示している。
また、この事は周波数毎の音圧を比較する事で、違った種類の異常を発見する可能性も示している。
【0105】
しかしながら、図15の例に挙げたスペクトログラムは1次元の打音の並びの解析であり、2次元に広がる多数の打点を吟味する目的には向かない。
【0106】
(周波数別のコンター)
そこで、本出願に於ける打音検査時の、同じ場所の複数の打音を
任意の数でそれぞれ区切った任意の周波数別の複数の分布図(コンター)をそれぞれ生成し、
同じ周波数での音圧の分布を比較する事で、特定の周波数の異常の発見を容易にすることが出来る。
この時、任意の周波数別にコンターを生成する際、その周波数を基準とした任意の幅の周波数の平均値を空間補間の際の値としても良く、
また、前記任意の数で区切ったそれぞれの最高値を前記打点に与えても良い。
【0107】
また、周波数別に分布図を作成する周波数の間隔は必ずしも等間隔である必要は無く、必要に応じて、前記間隔に粗密を付けても良い。
【0108】
本出願の手法は、言わば、立体にしたスペクトログラムを任意の周波数でスライスした時の断層写真(輪切り)とも言うべきで、
面で広がる検査面から得られた打点の多くのデータを周波数違いで次々と比べる事で、短時間で直感的な比較が、非破壊で可能となる。
【0109】
(人の視覚認識を利用した多数のデータ比較)
一般に、人の視覚は全て違うパターン画像を連続して見せられる時、
その中に明らかに他のパターンの方向性(特徴)が違う、異質なものがあった場合、それを容易に識別可能で、
例えば、図15の19や20のピーク分布を2次元的に発見する事が容易となる。
【0110】
本出願は、これを利用して、通常のソフトウエア(AIを除外する)では条件定義が困難な識別作業を、人のパターン識別能力で行うものであり、
同じ仮想打面上の多数の各打点に対応した前記値を補間して得られるコンターにおいて、
前記解析結果を決定付けるパラメーターを複数変え、前記コンターを複数用意したものを、任意のスピードで次々と目視で確認する事で、
異質なコンターを発見可能となる。
【0111】
この様な比較法によって、短時間に多数のデータの中から異常を発見する事が容易となる。
【0112】
(コンターの連続表示)
前記コンターを、次々と任意のタイミングで表示させる方法は、
コンター化の結果をリアルタイムで表示するか、
一時的に複数の前記コンターを連番ファイルとしてメモリーに蓄積するか、
複数の前記コンターを連番ファイルまたは、ムービーファイルとして、
多数の比較用コンターを任意のインターバルで次々と表示させる事で、
他の多くのパターンと違う特徴を持つパターンを持つコンターを目視により、選別可能である。
【0113】
尚、パラメーターを順次変化させたコンターを、連番、またはムービー(動画)ファイルにした際、
例えば2FPS(毎秒2コマ)~15FPS程度の低いフレームレートで表示させても良い。
【0114】
(検査結果の表示)
また、前記選別された異常分布を前記検査面と対応した建築図面に合成する事で、
容易に作業見積もりや、補修作業現場で使う指示書及び図面を作成しても良い。
また、その際、前記コンターを合成する図面に、
前記コンターと共に実際の検査面の映像から得られる画像を合成、または貼り付けても良く、
前記コンターを、対応する実際の検査面にプロジェクターやレーザー等を使って投影する手段を持っていても良い。
その際に前記マッチングマーカーを使って、投影するデータと実際の検査面を合致、対応させても良い。
【0115】
また、前記異常箇所の補修工事施工後に、再び打音検査を行う事で、
補修結果報告書として、比較図を作成しても良い。
また、同じ場所の経年変化を客観的に知る手立てとしても良い。
【0116】
(値の分布表示法)
本出願により得られるコンターや点群等の分布表示は、
全ての前記仮想打点に割り当てられた変化量が観察しやすい様に、
そのスケーリングを自由にしても良く、前記割り当てられた値に閾値を設けても良く、
前記閾値を境に表示/非表示、色分けなどを行っても良い。
【0117】
(グレースケール)
尚、本出願の値の分布を表現するカラー表現の他、グレースケールに於いては、
必ずしも連続する濃淡で表現されたもので無くとも、
ドットの大きさや、ドットのパターン形状や大きさの違いで、見かけ上の濃度変化(網掛け)が表現されても良く、その色も黒に限らない。
また、線描画や二階調であっても良く、前記値の分布の表現は、これら二つ以上の組み合わせであっても良い。
【0118】
更に、値の分布出力後に、必要に応じて値の分布の描画方式を変更させて表示させても良い。
【0119】
(判定のAI化)
また、本出願に於ける打音検査方式の多くの判定結果データの蓄積を、クラウド上のビッグデータとし、
それを利用するディープラーニング等を使用したAIによる判定を、前記目視による判定に替えても良い。
【0120】
また、本出願のAIは本出願の打音解析をするコンピュータープログラムに内蔵されていても、外部のサーバー等に配置されていても良い。
【0121】
(打音の全周波の音圧による異常個所の分布明示)
尚、建築物に貼られたタイルの浮きを判定する場合等、打音の音圧のみの違いで異常判定が可能な場合は、
周波数スペクトル解析を省略し、前記音圧の値を前記各打点に対応させた一つのコンター図で異常個所の分布の図面化しても良い。
【0122】
(クラックの発見)
建築物等の検査面に検査面と交わる方向に入ったクラックは、従来から有る、単に検査面を打音器で叩き、
その打音を打音検査作業者が、耳で聞いて判定する打音検査では、多くの場合、その発見は困難である。
【0123】
そこで、二つ以上の振動センサーを前記検査面に接触させ、互いに離して配置して打音検査を行った際、
前記センサーを挟んでクラックが有り、前記打音器ヘッドが前記クラックを横断する時、
前記クラックを境に前記二つ以上のセンサーの個々の信号レベルや、信号の変調、信号の残響、一部の周波数に明確な差が生ずる。
従って、その変化は前記仮想打点に対応させる値の分布にも現れるので、その発見は容易である。
当然に、前記クラックの位置も図面等の書類上に明示可能である。
【0124】
本出願で説明した通り、撮影データと音データを入力とするコンピュータープログラムを使えば、
大掛かりな検査器具、装置を使わずに一人の検査作業者であっても、
最低限の装備つまり、打音器、音も同時に収録可能なカメラ、マイクロホン(振動センサー)、検査打面に配置するマッチングマーカー、という構成で、
検査面の材質、構造、状態を選ばず、トンネルの様な検査面が曲面であっても、
現実の打点に対応する仮想打点の特定が可能であり、
その解析及び分析は打音検査直後に、前記打音検査面に於ける異常部分の分布を図面に反映可能、という効果が期待できる。
【0125】
(変調)
本出願に於ける異常の判定は音圧のみならず、前記打音に於ける周波数の変調を判定材料としても良い。
【0126】
(繰り返し検査の平均値)
本出願の打音検査法を同じ場所で複数回繰り返し、打音に対してして任意のアルゴリズムで得られる値の複数の分布図の平均値をとっても良い。
【0127】
(検査対象にセンサーを接触)
検査対象によっては、本出願における打音検査のマイクロホンまたは振動センサーを直接検査対象に接触させて配置しても良い。
【符号の説明】
【0128】
2A 打音検査時の配置の一例
2B 5の画像データから得られる三次元カメラトラッキング後の仮想打面cと仮想カメラd(視点)の例
3A 仮想カメラdからcへの仮想打点のプロジェクションマッピングの例
3B c上に全ての打点の位置が再配置された例
3C 投影用打点のトラッキング座標
6A、7A 打音の解析結果の値がそれぞれ割り当てられたc上の仮想打点jn
6B 打点の値をラスターデータ様に拡張した例
7B 隣り合う打点の値をディゾルブで融合させた例
8A マーカーを配置した打音器の例
8B 識別されたマーカーとその重心の例
8C 打点と見なす位置の例
15A 打音の音圧
15B 15Aと同じ打音のスペクトログラム
15C 15Bのピーク分布の違い
1 図面合致用マーカー(マッチングマーカー)
2 打音検査面
3 打音器ヘッド(回転式)
4 打音器の支持棒
5 カメラ(単眼または、ステレオまたは、6軸、9軸等の姿勢、慣性センサー内蔵しても良い)
6 打点検出用打音器マーカー
7 加速度/角速度センサーまたは磁気センサー
8 光源(カメラレンズの光軸上)
9 光源
10 ビームスプリッター(プリズム、ハーフミラー等)
11 黒マット板(ライト吸収用)
16 再帰反射性部材
17 打音器の厚み方向の寸法
18 打音(異常点)のピーク音圧
19 異常点のピーク(5kHz)
20 異常点のピーク(2kHz)*5kHzと同じ分布では無い
a 打点
a1~a4 打点のトラッキング座標(打音の音圧ピーク時のマーカー位置)
b 映像データから得られる三次元トラッキングプログラム内で必要な特徴点
c 仮想打面
d 仮想カメラ/プロジェクションマッピング用仮想プロジェクター投影位置)
e 解析データの値に応じた立体モデル化の例(空間補間法の一例)
f1~f4 dから逆投影される打音の音圧ピーク時の打音器のトラッキング位置
g カメラ移動パス
h 仮想カメラパス
i 仮想逆投影(仮想プロジェクションマッピング)
j 仮想打点
jn 仮想打点に各打音の解析データを割り当て
j1~j4 仮想打点 (打音の音圧ピーク時のマーカー位置)
k eをコンター化したものの例
kn 周波数別の複数のコンターの例
k1、k3 特に異常を示さないコンターの例
k2 異常を示す部分を持つコンターの例
n 仮想マッチングマーカー
p 仮想空間内のマーカー部分
q 仮想空間内のマーカーの画像重心
r 光路
s マーカー外周部
t 打面に接触可能な部分にまでオフセットしたs
u 打音器の厚み分だけオフセットしたu
v sのオフセット方向
w tのオフセット方向
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15