特開 2023-176599 ボルト締結検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023176599

(43)【公開日】2023-12-13

(54)【発明の名称】ボルト締結検査装置

(51)【国際特許分類】

   G01L 5/00 20060101AFI20231206BHJP

   G01M 13/00 20190101ALI20231206BHJP

   G06T 7/00 20170101ALI20231206BHJP

【ＦＩ】

G01L5/00 103B

G01M13/00

G06T7/00 350B

G06T7/00 610Z

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2022088964

(22)【出願日】2022-05-31

(71)【出願人】

【識別番号】504160781

【氏名又は名称】国立大学法人金沢大学

(71)【出願人】

【識別番号】391064566

【氏名又は名称】株式会社北都鉄工

(74)【代理人】

【識別番号】100114074

【弁理士】

【氏名又は名称】大谷 嘉一

(74)【代理人】

【識別番号】100222324

【弁理士】

【氏名又は名称】西野 千明

(72)【発明者】

【氏名】藤生 慎

(72)【発明者】

【氏名】福岡 知隆

(72)【発明者】

【氏名】東 靖博

(72)【発明者】

【氏名】袋 和雄

【テーマコード（参考）】

2F051

2G024

5L096

【Ｆターム（参考）】

2F051AB03

2G024AA03

2G024BA08

2G024BA27

2G024CA04

2G024CA22

5L096AA06

5L096BA03

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

【課題】ボルトの締結状態の検査精度が高く、多数のボルトの締結状態を短時間に検査できるボルト締結検査装置の提供を目的とする。
【解決手段】撮影された画像から個々のボルトのボルト画像を抽出するボルト画像抽出手段と、前記抽出されたボルト画像からボルト締結部に有するマーキングパターンを抽出するマーキング画像抽出手段と、マーキングパターンとボルトの締結状態の関係を機械学習した学習済みのマーキング判定モデルとを有し、前記抽出されたマーキングパターンを前記マーキング判定モデルに入力することでボルトの締結状態を判定するボルト締結判定手段を有することを特徴とする。
【選択図】 図１

【特許請求の範囲】

【請求項1】

撮影された画像から個々のボルトのボルト画像を抽出するボルト画像抽出手段と、
前記抽出されたボルト画像からボルト締結部に有するマーキングパターンを抽出するマーキング画像抽出手段と、
マーキングパターンとボルトの締結状態の関係を機械学習した学習済みのマーキング判定モデルとを有し、
前記抽出されたマーキングパターンを前記マーキング判定モデルに入力することでボルトの締結状態を判定するボルト締結判定手段を有することを特徴とするボルト締結検査装置。

【請求項2】

前記マーキングパターンはボルト軸部，ナット，座金及びベース部とに付されたそれぞれのマーキングの位置関係であることを特徴とする請求項１記載のボルト締結検査装置。

【請求項3】

前記ボルト画像から前記ボルト締結部に有するマーキングパターンの抽出は前記ボルト画像からセマンティックセグメンテーションを用いてマーキングパターンのみを抽出したものであることを特徴とする請求項１又は２記載のボルト締結検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ボルトの締結状態が正常であるか否かを検知するためのボルト締結検査装置に関する。

【背景技術】

【0002】

橋梁，鉄塔，鉄骨建築物等の構造物において、鋼材を接合（連結）するのに高力ボルトが使用されている。
このような分野では、ボルトの締結力（締結品質）を確保するために一次締めを行った後に、ボルトの軸部（おねじ部），締め付けるナット，座金及び締結される鋼材（ベース部）とにわたって直線状のマーキングを施し、レンチ等の工具を用いてナットを締め付ける際に、このナットのみが回転し、ボルト軸部や座金が共回りしていないことを確認することで、このボルトに所定の張力が得られていると判定している。
従来は、マーキングにずれがないか否かを目視で判定していたが、検査に時間がかかり、誤認も生じやすかった。

【0003】

例えば、特許文献１には、ボルト締結後に撮影した画像に基づいて、プレート，座金，ナット及び高力ボルトのそれぞれに施されたマーキングについて、マーキング角度を検出することでボルトの締め付け状態を判定する検知システムを開示する。
特許文献２には、ボルトに付されたマーキングの状態を判定するための機械学習を行った学習済みのマーキング判定モデルと、ピンテールの有無を判定するための機械学習を行った学習済みのピンテール判定モデルとを有するボルト検査装置を開示する。

【0004】

しかし、特許文献１は、撮影した画像からマーキング角度を検出する工程が複雑である。
特許文献２は、ナット判定モデルに各ボルト画像を入力するものであり、ボルト画像から直接マーキングを検出する方法では、マーキング部分の認識において、その周囲の画像の影響を受けやすく、判定精度に不安がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－９９３２号公報

【特許文献2】特開２０２１－１１３７５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、ボルトの締結状態の検査精度が高く、多数のボルトの締結状態を短時間に検査できるボルト締結検査装置の提供を目的とする。

【課題を解決するための手段】

【0007】

本発明に係るボルト締結検査装置は、撮影された画像から個々のボルトのボルト画像を抽出するボルト画像抽出手段と、前記抽出されたボルト画像からボルト締結部に有するマーキングパターンを抽出するマーキング画像抽出手段と、マーキングパターンとボルトの締結状態の関係を機械学習した学習済みのマーキング判定モデルとを有し、前記抽出されたマーキングパターンを前記マーキング判定モデルに入力することでボルトの締結状態を判定するボルト締結判定手段を有することを特徴とする。

【0008】

本発明においてマーキングパターンは、ボルトの本締め前にボルトの軸部と締結される鋼材側のプレート等のベース部との間を締め付けるナットを介して、直線状に付したそれぞれのマーキングが本締め後にどのような位置関係にあるかを示すそれぞれのマーキングの位置関係（パターン）をいう。
具体的には、例えばマーキングパターンはボルト軸部，ナット，座金及びベース部とに付されたそれぞれのマーキングの位置関係であってよい。

【0009】

本発明において、ボルト画像から前記ボルト締結部に有するマーキングパターンの抽出は前記ボルト画像からセマンティックセグメンテーションを用いてマーキングパターンのみを抽出したものであるのが好ましい。
ここで、セマンティックセグメンテーション（Semantic Segmentation）は、画像素子（ピクセル）にラベルやカテゴリーを関連付けるディープラーニングのアルゴリズムの１つである。
これにより、ボルト画像からマーキング以外を取り除いたそれぞれのマーキングのみの位置関係を示すマーキングパターンを、前記マーキングパターンとボルトの締結状態の関係を機械学習した学習済みのマーキング判定モデルに入力することになるので、精度が向上する。

【発明の効果】

【0010】

本発明に係るボルト締結検査装置は、ボルトの本締め後のマーキングパターンのみを抽出し検査に用いるので、短時間で高精度に検査できる。
従来の目視の場合に、例えば図２に示した複数のボルトを目視で検査するには、約６秒／１本もかかり、判定にミスも生じやすいが、本発明に係る検査装置では現場で撮影した画像に基づいてボルト画像を自動検出し、さらにマーキングパターンのみを検出するので、約１秒／１本で済み、ボルト画像から直接マーキング状態を判定するよりもノイズが少なくなり判定精度も高い。

【図面の簡単な説明】

【0011】

【図1】（ａ）は現場で構造物の複数のボルトを撮影された画像からボルト画像を抽出した例を示し、（ｂ）はボルト画像からマーキングパターンを抽出した状態を示す。

【図2】構造物のボルト締結による接合状態を示す。

【図3】（ａ）は本締め前のマーキング例を示す。（ｂ）は本締め後の正常な状態例を示す。（ｃ）はボルト軸部が共回りした異常な状態例を示す。

【発明を実施するための形態】

【0012】

本発明に係るボルト締結検査装置の構成例を図に基づいて説明するが、本発明はこれに限定されない。

【0013】

鋼材を高力ボルトを用いて接合した状態を図２に示す。
図２は、Ｈ型鋼のフランジ部を２枚のプレートで挟み込むようにして複数の高力ボルトで締結し、接合した状態を示す。
この場合に、接合部の一方（図２では下側）から締結孔にボルトを挿通し、他方のプレート等のベース部に座金を介してナットを螺着する。

【0014】

ボルトの締め付け手段としては、ボルトとナットとを一次締めを行い、図３（ａ）に示すようにボルトの軸部，ナット，座金及びベース部までを直線状にマーキングする。
その後に、レンチ等の工具を用いて本締めする。
この分野においては、高力ボルトの先端部にピンテール部が設けられ、レンチ等にてナットを締め付けると、所定のトルクにてピンテール部が破断するようになっているものもある。
図３（ｂ），（ｃ）は、ピンテール部が破断した後の本締め後の状態を示す。
正常にナットが本締めされると、図３（ｂ）に示すようにナットのみが回転するが、本締めが正常に行われないと、図３（ｃ）に示すようにボルトの軸部が共回りしたり、座金が共回りする。
従来は、この検査を目視で行っていた。

【0015】

本発明は、図２に示した現場での複数のボルトの本締め後の状態を、動画像や静止画像として撮影する。
現場を撮影したままの上記画像は、検査対象となるボルト付近以外の部位も多く含まれている。
そこで第１ステップとして上記画像データは、ピクセル単位情報の集合体であることから、例えばディープラーニング等の画像認識技術等を用いて図１（ａ）に示すように、図２におけるボルトの位置と対応させたボルト画像を抽出する（ボルト画像抽出手段）。
この第１ステップの段階では、ボルト画像の特徴を認識して選別処理する等のパターン認識技術等を用いてもよい。
図１（ａ）に示した画像では、ボルトが適正に本締めされているか否かの判定に時間を要する。
そこで本発明においては第２ステップとして、図１（ａ）に示したボルト画像から図１（ｂ）に示したようにボルトの軸部１１，ナット１２，座金１３及びベース部１４のマーキングの位置のみをマーキングパターンとして抽出した点に特徴がある。
このマーキングパターンをマーキング画像として抽出する手段にはセマンティックセグメンテーションを用いることができる。
なお、本発明においては、上記のボルト画像抽出とマーキング画像の抽出を同時に処理してもよく、図２に示したボルトの位置に対応させて直接マーキング画像を抽出してもよい。

【0016】

ボルト（ナット）の本締めが正常に行われた際のナット１２のマーキングの回転位置と、ボルトの軸部１１，座金１３及びベース部１４のマーキング位置との関係に対して、ボルトの軸部１１のマーキングが共回りした異常状態や、座金１３のマーキングが共回りした状態、ボルトの軸部１１のマーキング、座金１３のマーキングのいずれも共回りした状態等の各種異常状態を示すマーキングパターンと、ボルトの締結状態の関係をニューラルネットワーク等を用いて機械学習したマーキング判定モデルに、上記マーキングパターンを入力する。
その結果として、自動判定結果が出力され、検査が完了する。
なお、異常と判定されたボルトは、再度締結し直すことになる。

【符号の説明】

【0017】

１１ ボルトの軸部
１２ ナット
１３ 座金
１４ ベース部

【図1】

【図2】

【図3】