知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024077222
(43)【公開日】2024-06-07
(54)【発明の名称】ボルト締結部の締付検査システム及び締付検査方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20240531BHJP
【ＦＩ】
G01N21/88 Z
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022189173
(22)【出願日】2022-11-28
(71)【出願人】
【識別番号】000200367
【氏名又は名称】川田工業株式会社
(74)【代理人】
【識別番号】100101890
【弁理士】
【氏名又は名称】押野 宏
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】池田 俊雄
(72)【発明者】
【氏名】北川 幸二
【テーマコード（参考）】
2G051
【Ｆターム（参考）】
2G051AA07
2G051AB02
2G051AB14
2G051BA01
2G051BB01
2G051CA04
2G051CA07
2G051CB01
2G051EA16
2G051ED01
2G051ED04
2G051ED08
2G051ED11
(57)【要約】
【課題】ボルト締結部におけるボルトセットの締結状態を正確かつ効率的に判定することが可能なボルト締結部の締付検査システム及び締付検査方法を提供すること。
【解決手段】ボルト締結部の締付検査システム１００であって、前記ボルト締結部の三次元画像を取得する三次元画像取得部１０と、前記三次元画像取得部１０が取得した三次元画像に基づいて検査対象画像を形成する検査対象画像形成部１５と、高力ボルト、ナット、座金、連結板材のそれぞれに締結前に付与されたマーキングの締結後におけるマーキング位置を基準マーキング位置と立体的に対比してボルト締結状態を判定する締結状態判定部５０と、を備えることを特徴とする。
【選択図】図１
【解決手段】ボルト締結部の締付検査システム１００であって、前記ボルト締結部の三次元画像を取得する三次元画像取得部１０と、前記三次元画像取得部１０が取得した三次元画像に基づいて検査対象画像を形成する検査対象画像形成部１５と、高力ボルト、ナット、座金、連結板材のそれぞれに締結前に付与されたマーキングの締結後におけるマーキング位置を基準マーキング位置と立体的に対比してボルト締結状態を判定する締結状態判定部５０と、を備えることを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
高力ボルト、ナット、座金を有するボルトセットを連結板材に締結して形成されるボルト締結部の締付検査システムであって、
前記ボルト締結部の三次元画像を取得する三次元画像取得手段と、
前記三次元画像取得手段が取得した三次元画像に基づいて検査対象画像を形成する検査対象画像形成部と、
前記高力ボルト、前記ナット、前記座金、前記連結板材のそれぞれに締結前に付与されたマーキングの締結後におけるマーキング位置を、予め設定した基準マーキング位置と立体的に対比してボルト締結状態を判定した判定結果を取得する締結状態判定部と、
を備えることを特徴とするボルト締結部の締付検査システム。
前記ボルト締結部の三次元画像を取得する三次元画像取得手段と、
前記三次元画像取得手段が取得した三次元画像に基づいて検査対象画像を形成する検査対象画像形成部と、
前記高力ボルト、前記ナット、前記座金、前記連結板材のそれぞれに締結前に付与されたマーキングの締結後におけるマーキング位置を、予め設定した基準マーキング位置と立体的に対比してボルト締結状態を判定した判定結果を取得する締結状態判定部と、
を備えることを特徴とするボルト締結部の締付検査システム。
【請求項2】
請求項１に記載のボルト締結部の締付検査システムであって、
前記三次元画像取得手段が取得した三次元画像に基づいて形成した検査対象画像を予め設定した基準モデルの形状と立体的に対比する形状対比部と、
前記形状対比部における形状対比結果を、予め設定した検査項目に参照してボルト締結部における高力ボルトの取付け状態を判定した判定結果を取得する形状判定部と、
を備えることを特徴とするボルト締結部の締付検査システム。
前記三次元画像取得手段が取得した三次元画像に基づいて形成した検査対象画像を予め設定した基準モデルの形状と立体的に対比する形状対比部と、
前記形状対比部における形状対比結果を、予め設定した検査項目に参照してボルト締結部における高力ボルトの取付け状態を判定した判定結果を取得する形状判定部と、
を備えることを特徴とするボルト締結部の締付検査システム。
【請求項3】
請求項１に記載のボルト締結部の締付検査システムであって、
前記三次元画像取得手段が取得した画像におけるボルトセットの色調に基づいて、ボルトセットの外観色を判定した判定結果を取得するボルト色判定部を備える
ことを特徴とするボルト締結部の締付検査システム。
前記三次元画像取得手段が取得した画像におけるボルトセットの色調に基づいて、ボルトセットの外観色を判定した判定結果を取得するボルト色判定部を備える
ことを特徴とするボルト締結部の締付検査システム。
【請求項4】
請求項１から３のいずれか一項に記載のボルト締結部の締付検査システムであって、
少なくともいずれかの前記判定結果を識別可能に特定するための識別子を付与する締結状態識別子設定部を備えることを特徴とするボルト締結部の締付検査システム。
少なくともいずれかの前記判定結果を識別可能に特定するための識別子を付与する締結状態識別子設定部を備えることを特徴とするボルト締結部の締付検査システム。
【請求項5】
請求項４に記載のボルト締結部の締付検査システムであって、
前記三次元画像取得手段が取得したボルト締結部におけるそれぞれのボルトセットの前記識別子の配列を生成する識別子配列生成部を備え、
前記三次元画像取得手段がボルト締結部全体を隣接する区画のボルトセットが重複するように複数の区画に分けて取得した場合に、
前記識別子配列生成部が生成した各区画のボルトセットの識別子の配列のなかから前記識別子の配列が合致するボルトセットの配列を抽出して、合致したボルトセットの配列を重ね合わせることによりボルト締結部全体を合成するボルト締結部合成部を
備えることを特徴とするボルト締結部の締付検査システム。
前記三次元画像取得手段が取得したボルト締結部におけるそれぞれのボルトセットの前記識別子の配列を生成する識別子配列生成部を備え、
前記三次元画像取得手段がボルト締結部全体を隣接する区画のボルトセットが重複するように複数の区画に分けて取得した場合に、
前記識別子配列生成部が生成した各区画のボルトセットの識別子の配列のなかから前記識別子の配列が合致するボルトセットの配列を抽出して、合致したボルトセットの配列を重ね合わせることによりボルト締結部全体を合成するボルト締結部合成部を
備えることを特徴とするボルト締結部の締付検査システム。
【請求項6】
請求項１に記載のボルト締結部の締付検査システムであって、
前記ボルトセットを締結するボルト締付工具を備え、
前記ボルト締付工具に前記三次元画像取得手段を構成する撮像部の少なくとも一部が配置されていて、
前記ボルト締付工具が前記ボルトセットを締結した後、その都度前記三次元画像を取得して、
前記締結状態判定部によるボルト締結状態の判定結果と、
前記三次元画像に基づいて形成した検査対象画像を予め設定した基準モデルの形状と立体的に対比して取得した形状対比結果を予め設定した検査項目に参照して判定する前記ボルト締結部における前記高力ボルトの取付け状態の判定結果と、
の少なくともいずれかを取得する
ことを特徴とする高力ボルトの締付検査システム。
前記ボルトセットを締結するボルト締付工具を備え、
前記ボルト締付工具に前記三次元画像取得手段を構成する撮像部の少なくとも一部が配置されていて、
前記ボルト締付工具が前記ボルトセットを締結した後、その都度前記三次元画像を取得して、
前記締結状態判定部によるボルト締結状態の判定結果と、
前記三次元画像に基づいて形成した検査対象画像を予め設定した基準モデルの形状と立体的に対比して取得した形状対比結果を予め設定した検査項目に参照して判定する前記ボルト締結部における前記高力ボルトの取付け状態の判定結果と、
の少なくともいずれかを取得する
ことを特徴とする高力ボルトの締付検査システム。
【請求項7】
請求項１から請求項３、請求項６のいずれか一項に記載のボルト締結部の締付検査システムであって、
前記ボルトセットの判定結果を、ボルト締結部全体に配置されたそれぞれのボルトセットに対応させて表示するボルト締結部結果表示部を
備えることを特徴とするボルト締結部の締付検査システム。
前記ボルトセットの判定結果を、ボルト締結部全体に配置されたそれぞれのボルトセットに対応させて表示するボルト締結部結果表示部を
備えることを特徴とするボルト締結部の締付検査システム。
【請求項8】
請求項１から請求項３、請求項６のいずれか一項に記載のボルト締結部の締付検査システムであって、
前記三次元画像取得手段は、前記ボルト締結部全体に対する相対位置を検出する位置検出手段を備え、
前記三次元画像取得手段がボルト締結部全体を隣接する区画のボルトセットが重複するように複数の区画に分けて取得した場合に、
前記位置検出手段が検出した前記ボルト締結部全体に対する相対位置に基づいて、各区画を重ね合わせることによりボルト締結部全体を合成するボルト締結部合成部を
備えることを特徴とするボルト締結部の締付検査システム。
前記三次元画像取得手段は、前記ボルト締結部全体に対する相対位置を検出する位置検出手段を備え、
前記三次元画像取得手段がボルト締結部全体を隣接する区画のボルトセットが重複するように複数の区画に分けて取得した場合に、
前記位置検出手段が検出した前記ボルト締結部全体に対する相対位置に基づいて、各区画を重ね合わせることによりボルト締結部全体を合成するボルト締結部合成部を
備えることを特徴とするボルト締結部の締付検査システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ボルト締結部の締付検査システム及び締付検査方法に関する。
【背景技術】
【0002】
周知のように、鋼構造物の建設に際して二つの鉄骨部材を連結する場合には、二つの鉄骨部材を並べて配置し、この二つの鉄骨部材にまたがるように連結板材を配置して、連結板材と鉄骨部材の重なり部に形成された複数の孔に、高力ボルト（例えば、トルシア形高力ボルト、六角高力ボルト）を挿入して、座金を介してナットを螺合、締結してボルト締結部を形成することで鉄骨部材を連結することが一般的に行われている。
【0003】
これら高力ボルト、座金、ナットを有するボルトセットをボルト締結部に締結する際には、まず１／３以上の孔に仮ボルトとドリフトピンを挿入して仮固定し、その後それぞれの孔に本締め用のボルトセットを装着するとともに、仮固定した仮ボルト及びドリフトピンを本締め用のボルトセットに差し替えて、本締め用のボルトセットを一次締めする。
【0004】
そして、連結板材、一次締めした高力ボルト、座金、ナットに直線状のマーキングを付してからナットの本締めをしてボルト締結部のボルトセットの締結を完了する。このとき、トルシア形高力ボルトについては、所定のトルクに到達した時点でピンテールを逆回転させてピンテールを分断、除去する。
その後、ボルト締結部の締結後検査を実施して記録する。また、必要がある場合には所定の処置を行うとともにこれら処置及び検査結果を記録する。
その後、ボルト締結部の締結後検査を実施して記録する。また、必要がある場合には所定の処置を行うとともにこれら処置及び検査結果を記録する。
【0005】
従来のボルト締結検査では、例えば、ボルト締結部におけるボルトセットの外観検査（形状、外観色検査）および締結状態検査等が実施されている。
外観検査では、ボルト締結部におけるボルトセットの装着忘れ、座金の挟み忘れ、ドリフトピン残存、トルシア形高力ボルトのピンテール残存、外観色に基づくボルトセットの仕様違い等を検出する。
また、締結状態検査では、ボルトセットを本締めした後に一次締めした際に付されたマーキング相互の位置関係に基づいてボルトセットの締結状態を検査する。
外観検査では、ボルト締結部におけるボルトセットの装着忘れ、座金の挟み忘れ、ドリフトピン残存、トルシア形高力ボルトのピンテール残存、外観色に基づくボルトセットの仕様違い等を検出する。
また、締結状態検査では、ボルトセットを本締めした後に一次締めした際に付されたマーキング相互の位置関係に基づいてボルトセットの締結状態を検査する。
【0006】
しかしながら、従来の締結後検査は作業者が目視で判断していることが一般的であり、検査に手間がかかるうえに検査漏れや検査ミスが発生するという問題があった。
また、検査結果を記録する場合には記録に多大な手間がかかるうえに検査結果の記録ミスが生じて検査の信頼性が低下するという問題があった。
また、検査結果を記録する場合には記録に多大な手間がかかるうえに検査結果の記録ミスが生じて検査の信頼性が低下するという問題があった。
【0007】
そこで、ボルト締結部における本締め後におけるボルトセットの締結状態を正確かつ効率的に実施するための技術が開発されている（例えば、特許文献１、２参照。）。
例えば、特許文献１に記載の検査システムは、マーキングが施された連結板材、座金、ナット、高力ボルトを本締めした後に撮影して、高力ボルトのピンテール破断面を色識別して、色識別で特定したピンテール破断面の形状を楕円で近似してその中心を高力ボルトの中心位置として算出し、マーキング位置から連結板材およびボルトセットのマーキング角度を検出してボルト締付け状態を判定するものである。
例えば、特許文献１に記載の検査システムは、マーキングが施された連結板材、座金、ナット、高力ボルトを本締めした後に撮影して、高力ボルトのピンテール破断面を色識別して、色識別で特定したピンテール破断面の形状を楕円で近似してその中心を高力ボルトの中心位置として算出し、マーキング位置から連結板材およびボルトセットのマーキング角度を検出してボルト締付け状態を判定するものである。
【0008】
また、特許文献２に記載の検査システムは、本締めされた後にボルトセットの軸線に沿った方向から撮影したボルト締結部（対象画像）を解析して、連結板材または座金に付された第１のマーキングの位置と、ナットに付された第２のマーキングの高力ボルトの中心点を中心とする位置の角度を特定して、特定された角度に基づいて、高力ボルトとナットと座金の相互の角度が合格範囲内にあるかによりボルトセットの締結状態を検査するものである。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特許第６８７７０９８号公報
【特許文献2】特開２０２０－１８６９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、特許文献１に記載の検知システムは、高力ボルトのピンテール破断面に凹状又は凸状の湾曲が生じたり、破断面境界に欠けや破断突出部が形成されると輪郭形状が一様でなくなり、破断面の輪郭検出誤差によって近似した中心位置に誤差が生じて、マーキング角度の算出に誤差がでて判定精度が低下する可能性がある。
【0011】
また、特許文献２に記載の検査システムは、ボルトセットを撮像して軸線に沿った方向からの対象画像に基づいて検査することから、高力ボルト、ナット、座金の側面が視認できずマーキング全長のうち一部だけで判定することになり、マーキング角度の算定精度が低下する。また、側面でマーキングが歪んでいると、回転角度差と誤判断して回転角度差の算定精度が低下してしまう。
【0012】
一方、トルシア形高力ボルトではピンテール破断面にマーキングが無いためボルトのマーキングをほとんど視認することができないが、トルシア形高力ボルトについても締結状態を正確に判定できることが望まれる。
【0013】
本発明は、このような事情を考慮してなされたものであり、ボルト締結部におけるボルトセットの締結状態を正確かつ効率的に検査することが可能なボルト締結部の締付検査システム及び締付検査方法を提供することを目的とする。
【課題を解決するための手段】
【0014】
上記課題を解決するために、この発明は以下の手段を提案している。
発明者らは、ボルト締結部におけるボルトセットの締結検査について鋭意研究した結果、立体的に視認される三次元画像（距離画像）に基づいて検査対象画像を取得して、この検査対象画像を三次元基準モデルと対比することでボルトセットの締結状態を正確かつ効率的に検査可能であるとの知見を得た。
発明者らは、ボルト締結部におけるボルトセットの締結検査について鋭意研究した結果、立体的に視認される三次元画像（距離画像）に基づいて検査対象画像を取得して、この検査対象画像を三次元基準モデルと対比することでボルトセットの締結状態を正確かつ効率的に検査可能であるとの知見を得た。
【0015】
（１）構成１の発明は、高力ボルト、ナット、座金を有するボルトセットを連結板材に締結して形成されるボルト締結部の締付検査システムであって、前記ボルト締結部の三次元画像を取得する三次元画像取得手段と、前記三次元画像取得手段が取得した三次元画像に基づいて検査対象画像を形成する検査対象画像形成部と、前記高力ボルト、前記ナット、前記座金、前記連結板材のそれぞれに締結前に付与されたマーキングの締結後におけるマーキング位置を、予め設定した基準マーキング位置と立体的に対比してボルト締結状態を判定した判定結果を取得する締結状態判定部を備えることを特徴とする。
【0016】
この発明に係るボルト締結部の締付検査システムによれば、三次元画像取得手段が取得した視差を持たせて撮像した複数を合成した立体的に視認される三次元画像に基づいて検査対象画像を形成し、締結状態判定部における高力ボルト、ナット、座金、連結板材のそれぞれに一次締め後に付与されたマーキングについて、締結（本締め）した後におけるマーキング位置を予め設定した基準三次元モデルのマーキング位置と立体的に対比してボルト締結状態を判定するので、マーキング位置を正確かつ効率的に特定することができる。
その結果、ボルト締結部におけるボルトセットの締結状態を正確かつ効率的に判定することができる。
その結果、ボルト締結部におけるボルトセットの締結状態を正確かつ効率的に判定することができる。
【0017】
ここで、三次元画像取得手段とは、ボルト締結部におけるボルトセットの三次元画像を取得するものであり、カメラ等の撮像手段を複数箇所に移動して撮像してそれら画像を合成して三次元画像を取得するもの、立体地図作成で用いられるような複数の撮像部が撮像した画像を合成して三次元画像を取得するステレオカメラ、光検出と測距とを備えたＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などの撮像装置が含まれる。また、撮像部としてはスマートホン等のモバイル端末に備えられた撮像手段で、撮像した画像を無線（電磁波（電波、赤外線等）、超音波など）により送信するものが含まれるものとする。
また、三次元画像とは、視差が生じるように撮像された複数（例えば、２枚）を合成することで立体的に視認される画像や、色調と視距とを同時に取得した三次元の点群を合成することで立体的に視認される画像をいう。
また、三次元画像に基づいて形成した検査対象画像とは、検査対象の検査項目に関する構成を特定することが可能な範囲で任意に設定することが可能であり、例えば、三次元画像そのもの、ワイヤーフレーム、サーフェース、ソリッド、ポリゴン等のデータが含まれるものとする。
また、三次元画像とは、視差が生じるように撮像された複数（例えば、２枚）を合成することで立体的に視認される画像や、色調と視距とを同時に取得した三次元の点群を合成することで立体的に視認される画像をいう。
また、三次元画像に基づいて形成した検査対象画像とは、検査対象の検査項目に関する構成を特定することが可能な範囲で任意に設定することが可能であり、例えば、三次元画像そのもの、ワイヤーフレーム、サーフェース、ソリッド、ポリゴン等のデータが含まれるものとする。
【0018】
（２）構成２の発明は、構成１のボルト締結部の締付検査システムであって、前記三次元画像取得手段が取得した三次元画像に基づいて形成した検査対象画像を予め設定した基準モデルの形状と立体的に対比する形状対比部と、前記形状対比部における形状対比結果を、予め設定した検査項目に参照してボルト締結部における高力ボルトの取付け状態を判定した判定結果を取得する形状判定部と、を備えることを特徴とする。
【0019】
この発明に係るボルト締結部の締付検査システムによれば、形状対比部において、三次元画像取得手段が取得した三次元画像に基づいて形成した検査対象画像を予め設定した基準モデルの形状と立体的に対比し、形状対比部における形状対比結果を形状判定部において予め設定した検査項目に参照して判定するので、ボルト締結部におけるボルトセットの取付け状態を正確かつ効率的に判定することができる。
【0020】
（３）構成３の発明は、構成１のボルト締結部の締付検査システムであって、前記三次元画像取得手段が取得した画像におけるボルトセットの色調に基づいて、ボルトセットの外観色を判定した判定結果を取得するボルト色判定部を備えることを特徴とする。
【0021】
この発明に係るボルト締結部の締付検査システムによれば、三次元画像取得手段が取得した画像におけるボルトセットの色調に基づいて、ボルトセットの外観色を判定するので、色が異なる表面処理（例えば、メッキ有無）の異なるボルトセットを検出することができる。
その結果、表面処理が異なる仕様違いのボルトセットを正確かつ効率的に検出することができる。
その結果、表面処理が異なる仕様違いのボルトセットを正確かつ効率的に検出することができる。
【0022】
（４）構成４の発明は、構成１から構成３のいずれか一項に記載のボルト締結部の締付検査システムであって、少なくともいずれかの前記判定結果を識別可能に特定するための識別子を付与する締結状態識別子設定部を備えることを特徴とする。
【0023】
この発明に係るボルト締結部の締付検査システムによれば、少なくともいずれかの判定結果を識別可能に特定するための識別子を付与するので、各ボルトセットと判定結果を正確かつ効率的に紐付けることができる。
その結果、ボルト締結部の配列内における各ボルトセットの状態を正確に特定することができる。
その結果、ボルト締結部の配列内における各ボルトセットの状態を正確に特定することができる。
【0024】
（５）構成５の発明は、構成４のボルト締結部の締付検査システムであって、前記三次元画像取得手段が取得したボルト締結部におけるそれぞれのボルトセットの前記識別子の配列を生成する識別子配列生成部を備え、前記三次元画像取得手段がボルト締結部全体を隣接する区画のボルトセットが重複するように複数の区画に分けて取得した場合に、前記識別子配列生成部が生成した各区画のボルトセットの識別子の配列のなかから前記識別子の配列が合致するボルトセットの配列を抽出して、合致したボルトセットの配列を重ね合わせることによりボルト締結部全体を合成するボルト締結部合成部を備えることを特徴とする。
【0025】
この発明に係るボルト締結部の締付検査システムによれば、隣接する区画のボルトセットが重複するように複数の区画に分けて取得した場合に、ボルト締結部合成部が識別子配列生成部で生成された各区画のボルトセットの識別子の配列のなかから識別子の配列が合致するボルトセットの配列を抽出して、合致したボルトセットの配列を重ね合わせることによりボルト締結部全体を合成するので、分割して判定された複数の画像から効率的にボルト締結部全体を合成することができる。
その結果、ボルト締結部全体の検査結果を正確かつ効率的に記録することができる。
その結果、ボルト締結部全体の検査結果を正確かつ効率的に記録することができる。
【0026】
（６）構成６の発明は、構成１のボルト締結部の締付検査システムであって、前記ボルトセットを締結するボルト締付工具を備え、前記ボルト締付工具に前記三次元画像取得手段を構成する撮像部の少なくとも一部が配置されていて、前記ボルト締付工具が前記ボルトセットを締結した後、その都度前記三次元画像を取得して、前記締結状態判定部によるボルト締結状態の判定結果と、前記三次元画像に基づいて形成した検査対象画像を予め設定した基準モデルの形状と対比して取得した形状対比結果を、予め設定した検査項目に参照して判定する前記ボルト締結部における前記高力ボルトの取付け状態の判定結果と、の少なくともいずれかを取得することを特徴とする。
【0027】
この発明に係るボルト締結部の締付検査システムによれば、三次元画像取得手段を構成する撮像部の少なくとも一部が配置されたボルト締付工具を備え、ボルトセットを締結した後に、その都度三次元画像を取得して、さらに締結状態判定部によるボルト締結状態、高力ボルトの取付け状態のうち少なくともいずれかの判定結果を取得するので、ボルト締結部におけるボルトセットの位置を正確に取得して、ボルトセットの締結状態と取付け状態の少なくともいずれかをリアルタイムで正確かつ効率的に判定することができる。
【0028】
（７）構成７の発明は、構成１から構成３、構成６のいずれか一項に記載のボルト締結部の締付検査システムであって、前記ボルトセットの判定結果を、ボルト締結部全体に配置されたそれぞれのボルトセットに対応させて表示するボルト締結部結果表示部を備えることを特徴とする。
【0029】
この発明に係るボルト締結部の締付検査システムによれば、ボルト締結部結果表示部を備えているので、各ボルトセットの判定結果をボルト締結部全体の配列に対応させて表示することができる。
その結果、ボルト締結部全体における各ボルトセットの判定結果の配列を容易かつ効率的に把握することができる。
その結果、ボルト締結部全体における各ボルトセットの判定結果の配列を容易かつ効率的に把握することができる。
【0030】
なお、ボルト締結部結果表示部は、モバイル端末やウエアラブル端末に備えていても良い。
【0031】
モバイル端末にボルト締結部結果表示部を備えれば、場所を選ぶことなく判定結果を出力することができる。
その結果、例えば、工事現場における施工状態と判定結果の対比、確認を容易かつ効率的に実施することができる。
その結果、例えば、工事現場における施工状態と判定結果の対比、確認を容易かつ効率的に実施することができる。
【0032】
ウエアラブル端末にボルト締結部結果表示部を備えれば、容易に持ち運びと効率的な取り扱いをすることができる。
【0033】
構成６の記すボルト締結部の締付検査システムと併用すれば、ボルト締付工具を保持した状態で、撮像と結果表示の視認を行うことができる。
【0034】
また、ボルト締結部結果表示部は、判定結果を設定された帳票に出力する帳票出力部と、判定結果を確認した後に確認サインを生成する確認サイン生成部とを備えていても良い。
【0035】
帳票出力部をボルト締結部結果表示部に備えていれば、締付検査システムの記憶部に格納された検査結果を正確かつ効率的に設定された帳票に出力することができる。
【0036】
確認サイン生成部をボルト締結部結果表示部に備えていれば、確認サイン生成部を備えているので、判定結果を確認した後に確認サインを生成することができる。
その結果、記憶部に格納された判定結果から表示結果の確認、確認サインに至る一連の工程につきトレーサビリティーの高い信頼性を確保することができる。
その結果、記憶部に格納された判定結果から表示結果の確認、確認サインに至る一連の工程につきトレーサビリティーの高い信頼性を確保することができる。
【0037】
（８）構成８の発明は、構成１から構成３、構成６のいずれか一項に記載のボルト締結部の締付検査システムであって、前記三次元画像取得手段は、前記ボルト締結部全体に対する相対位置を検出する位置検出手段を備え、前記三次元画像取得手段がボルト締結部全体を隣接する区画のボルトセットが重複するように複数の区画に分けて取得した場合に、前記位置検出手段が検出した前記ボルト締結部全体に対する相対位置に基づいて、各区画を重ね合わせることによりボルト締結部全体を合成するボルト締結部合成部を備えることを特徴とする。
【0038】
この発明に係るボルト締結部の締付検査システムによれば、位置検出手段が検出したボルト締結部全体に対する相対位置に基づいて、ボルト締結部合成部が各区画を重ね合わせることによりボルト締結部全体を合成するので、ボルト締結部全体を正確かつ効率的に合成することができる。
【発明の効果】
【0039】
この発明に係るボルト締結部の締付検査システム、締付検査方法によれば、ボルト締結部におけるボルトセットの締結状態を正確かつ効率的に検査することができる。
【図面の簡単な説明】
【0040】
【図1】本発明の第１実施形態に係るボルト締結部検査システムの概略構成の一例を説明するブロック図である。
【図2】第１実施形態に係るボルト締結部検査システムによるボルト締結検査の概略を説明するフローチャートである。の概略構成を説明する正面図である。
【図3】第１実施形態に係るボルト締結部検査システムの概略構成を説明する正面図である。
【図4】第１実施形態に係るボルト締結部検査システムの概略構成を説明する平面図である。
【図5】第１実施形態に係るボルト締結部検査システムによるボルト締結部撮像の概略の一例を説明する図であり、（Ａ）は撮像部によるボルト締結部Ｗの一組の撮像範囲を示しており、（Ｂ）は分割して撮像された画像と重なり部の関連を示している。
【図6】第１実施形態に係るボルト締結部検査システムにより適正と判定されるボルトセットの概略を説明する図である。
【図7】第１実施形態に係るボルト締結部検査システムによる判定位置特定および締結形状判定の判定対象項目の一例を説明する図である。
【図8】第１実施形態に係るボルト締結部検査システムによる締結形状判定の概略を説明する図である。
【図9】第１実施形態に係るボルト締結部検査システムによる色判定、締結状態判定における判定対象項目の概略の一例を説明する図である。
【図10】第１実施形態に係るボルト締結部検査システムによる締結状態判定に用いる基準マーキングモデルの一例の概略を説明する図である。
【図11】第１実施形態に係るボルト締結部検査システムによる締結状態判定の概略を説明する図である。
【図12】第１実施形態に係るボルト締結部検査システムにおける識別子の概略構成を説明する図である。
【図13】第１実施形態に係るボルト締結部検査システムの各判定項目の識別子の一例を説明する図である。
【図14】第１実施形態に係るボルト締結部検査システムにおける識別子形成の概略を説明するフローチャートである。
【図15】第１実施形態に係るボルト締結部検査システムによる識別子形成の概略を説明する図である。
【図16】第１実施形態に係るボルト締結部検査システムによる画像合成の概略を説明する図である。
【図17】本発明の第２実施形態に係るボルト締結部検査システムによるボルト締結部撮像の概略を説明する概念図である。
【図18】本発明の第３実施形態に係るボルト締結部検査システムで用いる工具付き撮像部の概略構成を説明する平面図である。
【図19】第３実施形態に係るボルト締結部検査システムで用いる工具付き撮像部の概略構成を説明する正面図である。
【図20】第３実施形態に係るボルト締結部検査システムで用いる工具付き撮像部の概略構成を説明する側面図である。
【図21】第３実施形態に係る工具付き撮像部によるボルト締結および撮像の概略を説明する図である。
【発明を実施するための形態】
【0041】
＜第１実施形態＞
以下、図１～図１５を参照して、本発明の第１実施形態について説明する。
まず、図１～図５を参照して、第１実施形態に係るボルト締結部検査システム（ボルト締結部の締付検査システム）の概略構成について説明する。
図１～図５は第１実施形態に係るボルト締結部検査システムの概略構成の一例を説明する図であり、図１は第１実施形態に係るボルト締結部検査システムの概略構成を説明するブロック図であり、図２はボルト締結検査の概略を説明するフローチャートである。また、図３はボルト締結部検査システムの概略構成の概略を説明する正面図であり、図４は平面図であり、図５はボルト締結部撮像の概略の一例を説明する図である。
図において、符号１００はボルト締結部検査システムを、符号１１（１１Ｌ、１１Ｒ）は撮像部（三次元画像取得手段）を、符号Ｔはボルトセットを、符号Ｗはボルト締結部を、符号Ｗ０は連結板材を示している。
以下、図１～図１５を参照して、本発明の第１実施形態について説明する。
まず、図１～図５を参照して、第１実施形態に係るボルト締結部検査システム（ボルト締結部の締付検査システム）の概略構成について説明する。
図１～図５は第１実施形態に係るボルト締結部検査システムの概略構成の一例を説明する図であり、図１は第１実施形態に係るボルト締結部検査システムの概略構成を説明するブロック図であり、図２はボルト締結検査の概略を説明するフローチャートである。また、図３はボルト締結部検査システムの概略構成の概略を説明する正面図であり、図４は平面図であり、図５はボルト締結部撮像の概略の一例を説明する図である。
図において、符号１００はボルト締結部検査システムを、符号１１（１１Ｌ、１１Ｒ）は撮像部（三次元画像取得手段）を、符号Ｔはボルトセットを、符号Ｗはボルト締結部を、符号Ｗ０は連結板材を示している。
【0042】
ボルト締結部検査システム（ボルト締結部の締付検査システム）１００は、図１に示すように、例えば、三次元画像取得部（三次元画像取得手段）１０と、検査対象画像形成部１５と、判定位置特定部２０と、形状判定部３０と、色判定部４０と、締結状態判定部５０と、判定識別子形成部６０と、画像合成部（ボルト締結部合成部）７０と、検査結果生成部８０と、結果確認部９０と、帳票印刷部（帳票出力部）９５と、を備えている。
【0043】
そして、ボルト締結部検査システム１００は、図２に示すように、三次元画像取得（Ｓ１０１）、検査対象画像形成（Ｓ１０２）、判定位置特定（Ｓ１０３）、形状判定（Ｓ１０４）、色判定（Ｓ１０５）、締結状態判定（Ｓ１０６）、判定識別子形成（Ｓ１０７）、画像合成（Ｓ１０８）、検査結果作成（Ｓ１０９）、結果確認（Ｓ１０９）、帳票印刷（Ｓ１１０）を実施するようになっている。
【0044】
三次元画像取得部１０は、図１に示すように、撮像部１１と、三次元画像形成部１２と、を備えている。
撮像部１１は、例えば、図３、図４に示すように、ボルト締結部Ｗに配置されたボルトセットＴに対して視差により立体画像を構成する一組（複数、例えば、２枚）の画像を複数方向（例えば、２方向）から撮像する位置に配置された撮像部１１Ｌ、１１Ｒを備えている。そして、撮像した画像を三次元画像形成部１２に送り出すように構成されている。
撮像部１１は、例えば、図３、図４に示すように、ボルト締結部Ｗに配置されたボルトセットＴに対して視差により立体画像を構成する一組（複数、例えば、２枚）の画像を複数方向（例えば、２方向）から撮像する位置に配置された撮像部１１Ｌ、１１Ｒを備えている。そして、撮像した画像を三次元画像形成部１２に送り出すように構成されている。
【0045】
なお、撮像部１１の構成は任意に設定してもよく、同時に複数方向からボルト締結部Ｗを撮像する複数の光学系を有するステレオカメラのほか、複数方向（例えば、二方向）に配置された撮像部１１Ｌ、１１Ｒや、複数方向（例えば、二方向）に対応する位置に移動することでタイミングをずらして配置されて撮像部１１Ｌ、１１Ｒをなす構成とされてもよい。また、撮像部１１としては、スマホ等のモバイル端末に備えられた撮像手段で撮像した画像を電磁波（電波、赤外線等）により三次元画像形成部１２に送るものであってもよい。
【0046】
次に、図５（Ａ）、図５（Ｂ）を参照して、ボルト締結部Ｗの撮像について説明する。
図５（Ａ）は、撮像部によるボルト締結部Ｗの一組の撮像範囲を示す図であり、図５（Ｂ）は分割して撮像された画像と重なり部の関連を示す図である。図５において、符号ＷＬＮはボルト締結部の上からＮ段目のボルト列を、符号ＰＭはＭ組目の画像を、符号ＰＭＬＮはＭ組目の画像の上からＮ段目のボルト列を示している。
図５（Ａ）は、撮像部によるボルト締結部Ｗの一組の撮像範囲を示す図であり、図５（Ｂ）は分割して撮像された画像と重なり部の関連を示す図である。図５において、符号ＷＬＮはボルト締結部の上からＮ段目のボルト列を、符号ＰＭはＭ組目の画像を、符号ＰＭＬＮはＭ組目の画像の上からＮ段目のボルト列を示している。
【0047】
三次元画像取得部１０は、図５（Ａ）、図５（Ｂ）に示すように、ボルト締結部Ｗが撮像部１１により上下方向に一組（例えば、２枚）の画像として撮像することができない場合には、ボルト締結部Ｗにおいて少なくとも一つのボルトセットを重複するように、例えば、ボルト締結部Ｗを隣接する複数の区画に分けて４組の画像Ｐ１、Ｐ２、Ｐ３、Ｐ４として撮像する。
【0048】
ボルト締結部Ｗを４組の画像Ｐ１、Ｐ２、Ｐ３、Ｐ４に分割して撮像する場合、図５（Ａ）に二点鎖線で示すように、例えば、ボルト締結部Ｗを上から１段目ＷＬ１から５段目ＷＬ５、上から５段目ＷＬ５から９段目ＷＬ９、上から８段目ＷＬ８から１２段目ＷＬ１２、上から１２段目ＷＬ１２から１６段目ＷＬ１６に分割して撮像する。この場合、画像Ｐ１、Ｐ２、Ｐ３、Ｐ４は、図５（Ａ）に示すように、５段目ＷＬ５、８段目ＷＬ８、９段目ＷＬ９、１２段目ＷＬ１２で重なり合う。
【0049】
ボルト締結部Ｗは、図５（Ｂ）に破線で示すように、ボルト締結部Ｗの上から５段目ＷＬ５が画像Ｐ１の上から５段目Ｐ１Ｌ５と画像Ｐ２の上から１段目Ｐ２Ｌ１とが対応する。
同様にボルト締結部Ｗの上から８段目ＷＬ８が画像Ｐ２の上から４段目Ｐ２Ｌ４と画像Ｐ３の上から１段目Ｐ３Ｌ１と、およびボルト締結部Ｗの上から９段目ＷＬ９が画像Ｐ２の上から５段目Ｐ２Ｌ５と画像Ｐ３の上から２段目Ｐ３Ｌ５と、また、ボルト締結部Ｗの上から１２段目ＷＬ１２が画像Ｐ３の上から５段目Ｐ３Ｌ５と画像Ｐ４の上から１段目Ｐ４Ｌ１とが対応する。なお、撮像部による撮像範囲は任意に設定してもよい。
同様にボルト締結部Ｗの上から８段目ＷＬ８が画像Ｐ２の上から４段目Ｐ２Ｌ４と画像Ｐ３の上から１段目Ｐ３Ｌ１と、およびボルト締結部Ｗの上から９段目ＷＬ９が画像Ｐ２の上から５段目Ｐ２Ｌ５と画像Ｐ３の上から２段目Ｐ３Ｌ５と、また、ボルト締結部Ｗの上から１２段目ＷＬ１２が画像Ｐ３の上から５段目Ｐ３Ｌ５と画像Ｐ４の上から１段目Ｐ４Ｌ１とが対応する。なお、撮像部による撮像範囲は任意に設定してもよい。
【0050】
三次元画像形成部１２は、撮像部１１Ｌ、１１Ｒ（１１）から送られた一組の画像に基づいて立体画像（距離画像）を形成し、立体画像と対応する三次元画像（３Ｄ画像）を形成する。
具体的には、例えば、一組（２枚）の画像のなかから、画像同士の視差に基づいて三次元画像を生成する。
そして、形成した三次元画像を検査対象画像形成部１５に送り出すように構成されている。
具体的には、例えば、一組（２枚）の画像のなかから、画像同士の視差に基づいて三次元画像を生成する。
そして、形成した三次元画像を検査対象画像形成部１５に送り出すように構成されている。
【0051】
検査対象画像形成部１５は送られた三次元画像につき、判定位置特定部２０、形状判定部３０、色判定部４０、締結状態判定部５０で対比可能な検査対象画像を作成する。
検査対象画像の形式は任意に設定することが可能であり、例えば、三次元モデル（３Ｄモデル）および取得三次元データを三次元画像（３Ｄ画像）のまま立体的に対比する３Ｄ－３Ｄマッチング用データとして検査対象画像を形成してもよいし、色判定部４０では三次元モデル（３Ｄモデル）および取得三次元データを平面投影像にして取得した二次元画像（２Ｄ画像）データを二次元画像（２Ｄ画像）データ同士でマッチングする２Ｄ－２Ｄマッチング用データとして検査対象画像を形成してもよい。
検査対象画像の形式は任意に設定することが可能であり、例えば、三次元モデル（３Ｄモデル）および取得三次元データを三次元画像（３Ｄ画像）のまま立体的に対比する３Ｄ－３Ｄマッチング用データとして検査対象画像を形成してもよいし、色判定部４０では三次元モデル（３Ｄモデル）および取得三次元データを平面投影像にして取得した二次元画像（２Ｄ画像）データを二次元画像（２Ｄ画像）データ同士でマッチングする２Ｄ－２Ｄマッチング用データとして検査対象画像を形成してもよい。
【0052】
次に、図６から図８を参照して、第１実施形態に係る判定位置特定および締結形状判定について説明する。
図６は第１実施形態に係るボルト締結部検査システムにより適正と判定されるボルトセットの概略を説明する図であり、図７は判定位置特定および締結形状判定における判定対象項目の概略を説明する図であり、図８は締結形状判定の概略を説明する図である。
図６は第１実施形態に係るボルト締結部検査システムにより適正と判定されるボルトセットの概略を説明する図であり、図７は判定位置特定および締結形状判定における判定対象項目の概略を説明する図であり、図８は締結形状判定の概略を説明する図である。
【0053】
判定位置特定部２０は、図１に示すように、例えば、判定アドレス設定部２１と、捜索モデル格納部２５と、を備えている。
判定アドレス設定部２１は、各画像Ｐ１、Ｐ２、Ｐ３、Ｐ４内における適正、不適正なボルトセットＴ、穴、ドリフトピンに基づいてすべてのボルトセット締結予定壱位置を特定する。
具体的には、判定したボルトセットＴのアドレスは、図５（Ｂ）に示すように、各画像Ｐ１、Ｐ２、Ｐ３、Ｐ４内におけるボルト締結部Ｗの左からの列Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈと、ボルト締結部Ｗの上からの段１、２、３、４、５に基づいて判定アドレスを設定する。
判定アドレス設定部２１は、各画像Ｐ１、Ｐ２、Ｐ３、Ｐ４内における適正、不適正なボルトセットＴ、穴、ドリフトピンに基づいてすべてのボルトセット締結予定壱位置を特定する。
具体的には、判定したボルトセットＴのアドレスは、図５（Ｂ）に示すように、各画像Ｐ１、Ｐ２、Ｐ３、Ｐ４内におけるボルト締結部Ｗの左からの列Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈと、ボルト締結部Ｗの上からの段１、２、３、４、５に基づいて判定アドレスを設定する。
【0054】
捜索モデル格納部２５は、捜索モデルを格納する。
捜索モデルは、後述する図７に示す判定対象項目と対応する形状判定用基準モデルと同様のモデルにより構成されている。
そして、判定アドレス設定部２１は、検査対象画像を形状判定部３０に送り出すとともに判定アドレスを判定識別子形成部６０に送り出す。
捜索モデルは、後述する図７に示す判定対象項目と対応する形状判定用基準モデルと同様のモデルにより構成されている。
そして、判定アドレス設定部２１は、検査対象画像を形状判定部３０に送り出すとともに判定アドレスを判定識別子形成部６０に送り出す。
【0055】
形状判定部３０は、図１に示すように、例えば、締結形状判定部（形状対比部）３１と、基準モデル格納部３５と、を備え、基準モデル格納部３５には形状判定用基準モデルが格納されている。
形状判定用基準モデルは、例えば、図７に示すボルトセットＴの形状に関する検査対象項目のすべてと対応する三次元モデルと、図７に示すボルトセットＴの形状に関して適合する三次元モデルとを備えている。これら三次元形状モデルは、例えば、ＣＡＤデータ（ＤＸＦ、ＯＢＪ、ＯＦＦ、ＰＬＹ、ＳＴＬ形式）による立体的モデルにより構成されている。
ボルトセットＴの形状に関する検査対象項目としては、例えば、図７（Ａ）に示すボルト挿し忘れ、図７（Ｂ）に示す座金忘れ、図７（Ｃ）に示すドリフトピン残存（ドリフトピンＤＰの取り忘れ）に、図７（Ｄ）に示すナット締め忘れ、図７（Ｅ）に示すピンテール残存（ピンテールＰＴが分断されずに残った状態）が該当する。なお、これら検査対象項目は一例であり任意に設定してもよく、例えば、これら以外の項目を付加してもよいし、一部を選択してもよい。
形状判定用基準モデルは、例えば、図７に示すボルトセットＴの形状に関する検査対象項目のすべてと対応する三次元モデルと、図７に示すボルトセットＴの形状に関して適合する三次元モデルとを備えている。これら三次元形状モデルは、例えば、ＣＡＤデータ（ＤＸＦ、ＯＢＪ、ＯＦＦ、ＰＬＹ、ＳＴＬ形式）による立体的モデルにより構成されている。
ボルトセットＴの形状に関する検査対象項目としては、例えば、図７（Ａ）に示すボルト挿し忘れ、図７（Ｂ）に示す座金忘れ、図７（Ｃ）に示すドリフトピン残存（ドリフトピンＤＰの取り忘れ）に、図７（Ｄ）に示すナット締め忘れ、図７（Ｅ）に示すピンテール残存（ピンテールＰＴが分断されずに残った状態）が該当する。なお、これら検査対象項目は一例であり任意に設定してもよく、例えば、これら以外の項目を付加してもよいし、一部を選択してもよい。
【0056】
締結形状判定部（形状対比部）３１は、判定アドレス設定部２１から送られた検査対象画像を受け取り、検査対象画像から三次元空間における６自由度の位置姿勢、縮尺を調整する。
三次元空間における６自由度の位置姿勢、縮尺を調整する場合には、例えば、ＨＡＬＣＯＮ（登録商標）の三次元機能に基づく処理を適用することができる。
そして、基準モデル格納部３５を参照して、検査対象画像と形状判定用基準モデルとを対比（例えば、形状ベースマッチング（３Ｄマッチング））して一致する形状判定用基準モデルを検出してボルトセットＴの締結形状が適正かどうかを判定する。
三次元空間における６自由度の位置姿勢、縮尺を調整する場合には、例えば、ＨＡＬＣＯＮ（登録商標）の三次元機能に基づく処理を適用することができる。
そして、基準モデル格納部３５を参照して、検査対象画像と形状判定用基準モデルとを対比（例えば、形状ベースマッチング（３Ｄマッチング））して一致する形状判定用基準モデルを検出してボルトセットＴの締結形状が適正かどうかを判定する。
【0057】
検査対象画像と形状判定用基準モデルとの対比は、図８に示すように、検査対象画像を基準モデル格納部３５に格納されたすべての形状判定用基準モデルと対比して一致する形状判定用基準モデルを検出して締結形状判定をする。
ここで、図８に示した形状判定用基準モデルは、図７（Ｅ）に示すピンテール残存モデルと、図７に示す形状判定適合モデルの例である。
ここで、図８に示した形状判定用基準モデルは、図７（Ｅ）に示すピンテール残存モデルと、図７に示す形状判定適合モデルの例である。
【0058】
形状判定用基準モデルは、検査対象項目と対応するすべての形状判定用基準モデルと適合（ＯＫ品）のモデルにより構成されている。
そして、締結形状判定部３１は、検査対象画像を色判定部４０に送り出すとともに、締結形状判定結果を判定識別子形成部６０に送り出す。
そして、締結形状判定部３１は、検査対象画像を色判定部４０に送り出すとともに、締結形状判定結果を判定識別子形成部６０に送り出す。
【0059】
次に、第１実施形態に係る色判定について説明する。
色判定部４０は、図１に示すように、例えばボルト色判定部４１と、基準ボルト色格納部４５と、を備え、基準ボルト色格納部４５には基準ボルト色モデルが格納されている。
そして、取得した画像におけるボルトセットの色調に基づいて、ボルトセットの外観色を判定する。
基準ボルト色モデルの形式は任意に設定することが可能であり、色調としては、例えば、ＲＧＢカラー画像や複数チャンネル画像、グレースケールや色の濃淡を適用してもよい。
色判定部４０は、図１に示すように、例えばボルト色判定部４１と、基準ボルト色格納部４５と、を備え、基準ボルト色格納部４５には基準ボルト色モデルが格納されている。
そして、取得した画像におけるボルトセットの色調に基づいて、ボルトセットの外観色を判定する。
基準ボルト色モデルの形式は任意に設定することが可能であり、色調としては、例えば、ＲＧＢカラー画像や複数チャンネル画像、グレースケールや色の濃淡を適用してもよい。
【0060】
色判定部４１は、形状判定部で一致したボルトセットの検査対象画像の色と、基準ボルト色格納部４２を参照して取得した基準ボルト色とを対比して、検査対象画像の色が基準ボルト色と同系色（例えば、一致する）かどうかを判定するように構成されている。
検査対象画像の色は、予め設定した部位の色を適用するが、検査対象画像全体の色を用いてもよいし、検査対象画像全体の色に基づいて生成した検査色を用いてもよい。
そして、色判定部４１は、検査対象画像を締結状態判定部５０に送り出すとともに、色判定結果を判定識別子形成部６０に送り出す。
検査対象画像の色は、予め設定した部位の色を適用するが、検査対象画像全体の色を用いてもよいし、検査対象画像全体の色に基づいて生成した検査色を用いてもよい。
そして、色判定部４１は、検査対象画像を締結状態判定部５０に送り出すとともに、色判定結果を判定識別子形成部６０に送り出す。
【0061】
次に、図９、１０、図１１を参照して、第１実施形態に係る締結状態判定について説明する。
図９は、第１実施形態に係る締結状態判定における判定対象項目の概略を説明する図であり、図１０は第１実施形態に係る基準マーキングモデルの概略を説明する図であり、図１１は締結状態判定の概略を説明する図である。
図９は、第１実施形態に係る締結状態判定における判定対象項目の概略を説明する図であり、図１０は第１実施形態に係る基準マーキングモデルの概略を説明する図であり、図１１は締結状態判定の概略を説明する図である。
【0062】
締結状態判定部５０は、図１に示すように、例えば、回転角度判定部５１と、基準マーキングモデル格納部５５と、を備え、基準マーキングモデル格納部５５には基準マーキングモデルが格納されている。
【0063】
回転角度判定部５１は、基準マーキングモデル格納部５５に格納された基準マーキングモデルと、検査対象画像とを対比して、連結板材、座金、ナット、高力ボルトに付されたマーキングの相対的な位置（回転角度）の差を算出して判定する。
そして、回転角度判定部５１は、締結状態判定結果を判定識別子形成部６０に送り出す。なお、ナットＴ２のマーキングＭ２の回転角度が設定範囲内であるかどうかにより判定してもよい。
そして、回転角度判定部５１は、締結状態判定結果を判定識別子形成部６０に送り出す。なお、ナットＴ２のマーキングＭ２の回転角度が設定範囲内であるかどうかにより判定してもよい。
【0064】
具体的には、基準マーキングモデル格納部５５は、図１０に示すような連結板材Ｗ０、座金Ｔ１、ナットＴ２、高力ボルトＴ３に分割され、それぞれにマーキングＭ０、Ｍ１、Ｍ２、Ｍ３を付した基準マーキングモデルを格納する。
例えば、基準マーキングモデルは、ＣＡＤデータ（ＤＸＦ、ＯＢＪ、ＯＦＦ、ＰＬＹ、ＳＴＬ形式）による立体的モデルにより構成されている。
例えば、基準マーキングモデルは、ＣＡＤデータ（ＤＸＦ、ＯＢＪ、ＯＦＦ、ＰＬＹ、ＳＴＬ形式）による立体的モデルにより構成されている。
【0065】
回転角度判定部５１は、まず、検査対象画像に対して、連結板材Ｗ０、座金Ｔ１、ナットＴ２、高力ボルトＴ３の各基準マーキングモデルを、三次元空間における６自由度の位置姿勢情報を含めて３Ｄ－３Ｄマッチングする。次に、検査対象画像とマーキング位置を合わせるように、各基準マーキングモデルをボルト軸周りに回転する。
【0066】
このときの各基準マーキングモデルの回転角度に基づいて、例えば、ナットＴ２だけに連結板材Ｗ０との相対的な回転角度の差があれば、締結状態を合格と判定する。また、連結板材Ｗ０と座金Ｔ１との相対的な回転角度の差があれば座金共回りと判定し、連結板材Ｗ０と高力ボルトＴ３との相対的な回転角度の差があればボルト共回りと判定する。
【0067】
次に、図１２から図１５を参照して、第１実施形態に係るボルト締結部検査システムにおける識別子形成について説明する。
図１２は第１実施形態に係るボルト締結部検査システムにおける識別子の概略構成を説明する図であり、図１３はボルト締結部検査システムの各判定項目の識別子の一例を説明する図である。
図１２は第１実施形態に係るボルト締結部検査システムにおける識別子の概略構成を説明する図であり、図１３はボルト締結部検査システムの各判定項目の識別子の一例を説明する図である。
【0068】
まず、図１２、図１３を参照して、第１実施形態に係る識別子の概略構成について説明する。
識別子は、図１２に示すように、例えば、
各ボルトセットの識別子
＝〔アドレス識別子〕＋〔形状識別子〕＋〔色識別子〕＋〔締結状態識別子〕
で定義される。〔〕で示したのは、判定位置のアドレス、各判定結果に関する個別の識別子である。
識別子は、図１２に示すように、例えば、
各ボルトセットの識別子
＝〔アドレス識別子〕＋〔形状識別子〕＋〔色識別子〕＋〔締結状態識別子〕
で定義される。〔〕で示したのは、判定位置のアドレス、各判定結果に関する個別の識別子である。
【0069】
アドレス識別子は、例えば、判定したボルトセットＴの各画像における位置（画像の左からの列、上からの段）により定義される。
また、形状識別子、色識別子は、図１３に示すような区分で定義され、締結状態識別子はナットの回動角度の定量値より定義される。そして、形状識別子、色識別子の区分、定量値の扱い方法は、それぞれ形状識別子生成部６４、色識別子生成部６５、締結識別子生成部６６に格納されている。
また、形状識別子、色識別子は、図１３に示すような区分で定義され、締結状態識別子はナットの回動角度の定量値より定義される。そして、形状識別子、色識別子の区分、定量値の扱い方法は、それぞれ形状識別子生成部６４、色識別子生成部６５、締結識別子生成部６６に格納されている。
【0070】
なお、上記実施形態においては、形状識別子、色識別子を区分により識別子、締結状態識別子を、高力ボルト、ナット、座金、連結板材相互のマーキングずれによる回動角度に基づいた定量値で定義する場合について説明したが、各識別子の区分、形式は任意に設定してもよく、例えば、締結状態識別子を、高力ボルト、ナット、座金、連結板材相互のマーキングずれに基づく区分（例えば、ＯＫ、ＮＧ）によって定義してもよい。
【0071】
判定識別子形成部６０は、図１に示すように、例えば、新規レコード設定部６１と、アドレス識別子生成部６２と、判定識別子付加部６３と、形状識別子生成部６４と、色識別子生成部６５と、締結識別子生成部６６と、判定結果格納部６７と、を備えている。
そして、各ボルトセットにつき識別子の配列を形成する。
そして、各ボルトセットにつき識別子の配列を形成する。
【0072】
新規レコード設定部６１は、判定アドレス設定部２１から判定したボルトセットの位置を特定する信号を受け取ると、そのアドレスに関する判定識別子を格納するための新規レコードを設定する。
そして、新規レコードをアドレス識別子生成部６２に受け渡す。
そして、新規レコードをアドレス識別子生成部６２に受け渡す。
【0073】
アドレス識別子生成部６２は、新規レコード設定部６１から受け取った新規レコードに三次元画像における判定位置を格納してアドレス識別子を生成する。
そして、アドレス識別子生成部６２は、生成したアドレス識別子を判定識別子付加部６３に送り出す。
そして、アドレス識別子生成部６２は、生成したアドレス識別子を判定識別子付加部６３に送り出す。
【0074】
判定識別子付加部６３は、アドレス識別子生成部６２からアドレス識別子を受け取り、アドレス識別子に形状識別子生成部６４、色識別子生成部６５、締結識別子生成部６６から送られた各判定結果の識別子を付加する。
そして、生成した識別子を判定結果格納部６７および画像合成部（ボルト締結部合成部）７０に送り出す。
そして、生成した識別子を判定結果格納部６７および画像合成部（ボルト締結部合成部）７０に送り出す。
【0075】
形状識別子生成部６４は、締結形状判定部３１から受け取った締結形状判定結果を、図１３に示す形状判定識別子の区分を参照して形状判定識別子を生成する。
そして、形状判定識別子を判定識別子付加部６３に送り出す。
そして、形状判定識別子を判定識別子付加部６３に送り出す。
【0076】
色識別子生成部６５は、色判定部４１から受け取った色判定結果を、図１３に示す色識別子の区分を参照して色識別子を生成する。
そして、色判定識別子を判定識別子付加部６３に送り出す。
そして、色判定識別子を判定識別子付加部６３に送り出す。
【0077】
締結識別子生成部６６は、回転角度判定部５１から受け取った締結状態判定結果に基づいて締結識別子を生成する。
そして、締結識別子を判定識別子付加部６３に送り出す。
そして、締結識別子を判定識別子付加部６３に送り出す。
【0078】
判定結果格納部６７は、判定識別子付加部６３から送られた識別子を格納する。
【0079】
次いで、図１４、図１５を参照して、第１実施形態に係る識別子形成の概略について説明する。
識別子形成は、図１４に示すように、新規レコード設定（Ｓ２０１）、判定アドレス設定（Ｓ２０２）、形状識別子付加（Ｓ２０３）、色識別子付加（Ｓ２０４）、締結識別子付加（Ｓ２０５）を実施して各ボルトセットの識別子が形成される。
識別子形成は、図１４に示すように、新規レコード設定（Ｓ２０１）、判定アドレス設定（Ｓ２０２）、形状識別子付加（Ｓ２０３）、色識別子付加（Ｓ２０４）、締結識別子付加（Ｓ２０５）を実施して各ボルトセットの識別子が形成される。
【0080】
（１）まず、新規レコード設定を実施すると、図１５の新規レコード設定に示すように、〔アドレス識別子〕、〔形状識別子〕、〔色識別子〕、〔締結状態識別子〕が空欄（ｎｕｌｌ）の新規レコードが設定される（Ｓ２０１）。
（２）次に、判定アドレス設定を実施すると、図１５の判定アドレス設定に示すように、〔アドレス識別子〕が設定され、〔形状識別子〕、〔色識別子〕、〔締結状態識別子〕は空欄（ｎｕｌｌ）の識別子レコードが形成される（Ｓ２０２）。
（３）次いで、形状識別子付加を実施すると、図１５の形状識別子付加に示すように、〔アドレス識別子〕に加えて〔形状識別子〕が入力され、〔色識別子〕、〔締結状態識別子〕は空欄（ｎｕｌｌ）の識別子レコードが形成される（Ｓ２０３）。
（４）次に、色識別子付加を実施すると、図１５の色識別子付加に示すように、〔アドレス識別子〕、〔形状識別子〕に加えて〔色識別子〕が入力され、〔締結状態識別子〕が空欄（ｎｕｌｌ）の識別子レコードが形成される（Ｓ２０４）。
（５）次いで、締結識別子付加を実施すると、図１５の締結識別子付加に示すように、〔アドレス識別子〕、〔形状識別子〕、〔色識別子〕に加えて〔締結状態識別子〕が入力され、締結識別子付加に示されるような空欄（ｎｕｌｌ）のない識別子レコードが形成される（Ｓ２０５）。
（２）次に、判定アドレス設定を実施すると、図１５の判定アドレス設定に示すように、〔アドレス識別子〕が設定され、〔形状識別子〕、〔色識別子〕、〔締結状態識別子〕は空欄（ｎｕｌｌ）の識別子レコードが形成される（Ｓ２０２）。
（３）次いで、形状識別子付加を実施すると、図１５の形状識別子付加に示すように、〔アドレス識別子〕に加えて〔形状識別子〕が入力され、〔色識別子〕、〔締結状態識別子〕は空欄（ｎｕｌｌ）の識別子レコードが形成される（Ｓ２０３）。
（４）次に、色識別子付加を実施すると、図１５の色識別子付加に示すように、〔アドレス識別子〕、〔形状識別子〕に加えて〔色識別子〕が入力され、〔締結状態識別子〕が空欄（ｎｕｌｌ）の識別子レコードが形成される（Ｓ２０４）。
（５）次いで、締結識別子付加を実施すると、図１５の締結識別子付加に示すように、〔アドレス識別子〕、〔形状識別子〕、〔色識別子〕に加えて〔締結状態識別子〕が入力され、締結識別子付加に示されるような空欄（ｎｕｌｌ）のない識別子レコードが形成される（Ｓ２０５）。
【0081】
画像合成部（ボルト締結部合成部）７０は、図１に示すように、識別子配列生成部７１と、識別子配列対比部７２と、画像結合部７３と、を備え、判定識別子付加部６３から受け取った識別子を撮像した複数の画像のボルトセットに対応させて、これら複数の画像を合成してボルト締結部全体の画像を形成する。ここで、識別子配列とは同じ段に属するボルトセットＴの識別子の配列をいう。
【0082】
識別子配列生成部７１は、判定識別子付加部６３から受け取った識別子をボルト締結部の各画像のボルトセットに対応させて、各画像のボルト列について識別子配列を生成する。そして、各画像のボルトセットごとの識別子と識別子配列に関するデータを識別子配列対比部７２に送り出す。
【0083】
識別子配列対比部７２は、識別子配列生成部７１から送られた各画像のボルトセットごとの識別子と識別子配列に関するデータを隣接する画像ごとに対比して、識別子配列が一致するボルト列を検出する。
そして、各画像のボルトセットごとの識別子と識別子配列に関するデータと、識別子配列が一致するボルト列のデータを画像結合部７３に送り出す。
そして、各画像のボルトセットごとの識別子と識別子配列に関するデータと、識別子配列が一致するボルト列のデータを画像結合部７３に送り出す。
【0084】
画像結合部７３は、識別子配列対比部７２から送られた各画像のボルトセットごとの識別子と識別子配列に関するデータと、識別子配列が一致するボルト列のデータに基づいて、隣接する画像の識別子配列が一致するボルト列を重ね合わせて隣接する画像を結合することによりボルト締結部全体の画像を形成する。
【0085】
次に、図１６を参照して、第１実施形態に係る画像合成の概略について説明する。
図１６は第１実施形態に係る画像合成の概略を説明する図である。
図において、符号ＰＭＬＮはＭ組目の画像の上からＮ段目のボルト列を示している。
図１６は第１実施形態に係る画像合成の概略を説明する図である。
図において、符号ＰＭＬＮはＭ組目の画像の上からＮ段目のボルト列を示している。
【0086】
画像Ｐ１～Ｐ４は、図１６に示すように、破線で示す画像Ｐ１の上から５段目Ｐ１Ｌ５と画像Ｐ２の上から１段目Ｐ２Ｌ１の識別子配列、画像Ｐ２の上から４段目Ｐ２Ｌ４と画像Ｐ３の上から１段目Ｐ３Ｌ１の識別子配列、および画像Ｐ２の上から５段目Ｐ２Ｌ５と画像Ｐ３の上から２段目Ｐ３Ｌ５の識別子配列、画像Ｐ３の上から５段目Ｐ３Ｌ５と画像Ｐ４の上から１段目Ｐ４Ｌ１の識別子配列が対応する。
そして、上記対応する識別子配列を重ね合わせると、ボルト締結部全体の画像が合成される。
そして、上記対応する識別子配列を重ね合わせると、ボルト締結部全体の画像が合成される。
【0087】
検査結果生成部８０は、図１に示すように、例えば、全体判定結果生成部８１と、帳票生成部８２と、署名生成部８３と、検査結果格納部８４と、を備えている。
全体判定結果生成部８１は、画像結合部７３から受け取った識別子と、画像結合部７３で合成されたボルト締結部全体の画像とを対応させて、ボルト締結部全体における各ボルトセットの検査結果を紐付けする。
そして、全体判定結果生成部８１は、ボルト締結部全体の検査結果を帳票生成部８２に送り出す。
全体判定結果生成部８１は、画像結合部７３から受け取った識別子と、画像結合部７３で合成されたボルト締結部全体の画像とを対応させて、ボルト締結部全体における各ボルトセットの検査結果を紐付けする。
そして、全体判定結果生成部８１は、ボルト締結部全体の検査結果を帳票生成部８２に送り出す。
【0088】
帳票生成部８２は、全体判定結果生成部８１から受け取ったボルト締結部全体の検査結果を予め設定した記入欄に対応させて帳票データを作成する。
そして、帳票生成部８２は、作成した帳票データを結果確認部９０に送り出す。
そして、帳票生成部８２は、作成した帳票データを結果確認部９０に送り出す。
【0089】
署名生成部８３は、例えば、プログラムによって構成されており、結果確認部９０から受け取った署名データを検査結果が記載された帳票データに対応させて署名付き帳票データを作成する。
そして、署名生成部（確認サイン生成部）８３は、署名付き帳票データを検査結果格納部８４および帳票印刷部９５に送り出す。
検査結果格納部８４は、署名生成部８３から送られた署名付き帳票データを格納する。
そして、署名生成部（確認サイン生成部）８３は、署名付き帳票データを検査結果格納部８４および帳票印刷部９５に送り出す。
検査結果格納部８４は、署名生成部８３から送られた署名付き帳票データを格納する。
【0090】
結果確認部９０は、図１に示すように、例えば、帳票表示部（帳票出力部）９１と、署名入力部９２と、を備えている。
帳票表示部（帳票出力部）９１は、例えばウエアラブル端末（モバイル端末）により構成されていて、帳票生成部８２から送られた帳票を表示可能とされている。
帳票表示部（帳票出力部）９１をモバイル端末により構成することは工事現場（遠隔地）での品質管理や対比、確認するうえで好適である。
なお、帳票表示部９１の形式は任意に設定可能であり、例えば、タブレットやスマートホン、ヘッドマウントディスプレイ等のウエアラブル端末等のモバイル端末のほかデスクトップ型液晶ディスプレイ等を適用してもよい。
帳票表示部（帳票出力部）９１は、例えばウエアラブル端末（モバイル端末）により構成されていて、帳票生成部８２から送られた帳票を表示可能とされている。
帳票表示部（帳票出力部）９１をモバイル端末により構成することは工事現場（遠隔地）での品質管理や対比、確認するうえで好適である。
なお、帳票表示部９１の形式は任意に設定可能であり、例えば、タブレットやスマートホン、ヘッドマウントディスプレイ等のウエアラブル端末等のモバイル端末のほかデスクトップ型液晶ディスプレイ等を適用してもよい。
【0091】
署名入力部９２は、例えば帳票表示部９１の液晶タッチパネルと液晶タッチパネルに表示されたタッチボタンにより構成されていて、結果確認者が検査結果を確認した後にタッチペンで署名してタッチボタンを押圧することで署名データが入力されるようになっている。
そして、署名入力部９２は、入力された署名データを署名生成部（確認サイン生成部）８３に送り出す。
なお、署名入力部９２の形式は任意に設定してもよく、例えば電子証明用カードやパスワード等のセキュリティ手法を用いてもよいし他の手法を用いてもよい。
そして、署名入力部９２は、入力された署名データを署名生成部（確認サイン生成部）８３に送り出す。
なお、署名入力部９２の形式は任意に設定してもよく、例えば電子証明用カードやパスワード等のセキュリティ手法を用いてもよいし他の手法を用いてもよい。
【0092】
帳票印刷部（帳票出力部）９５は、結果確認部９０から受け取った検査結果と結果確認の署名が記載された帳票を印刷する。
【0093】
第１実施形態に係るボルト締結部検査システム１００によれば、三次元画像に基づいて形成した検査対象画像を形状判定用基準モデルと立体的に対比して、ボルトセットＴを形状判定するので、ボルト締結部Ｗにおけるボルトセットの取付け状態を正確かつ効率的に判定することができる。
【0094】
また、ボルト締結部検査システム１００によれば、三次元画像に基づいて形成した検査対象画像を基準色モデルと対比して、ボルトセットＴの外観色を判定するので、色が異なる表面処理（例えば、メッキ有無）の異なるボルトセットＴを正確に検出することができる。
その結果、表面処理が異なる仕様違いのボルトセットを効率的に検出することができる。
その結果、表面処理が異なる仕様違いのボルトセットを効率的に検出することができる。
【0095】
また、ボルト締結部検査システム１００によれば、三次元画像に基づいて形成した検査対象画像を基準マーキングモデルと立体的に対比するので、マーキング位置を正確かつ効率的に特定することができる。
その結果、ボルト締結部ＷにおけるボルトセットＴの締結状態を正確かつ効率的に判定することができる。
その結果、ボルト締結部ＷにおけるボルトセットＴの締結状態を正確かつ効率的に判定することができる。
【0096】
また、ボルト締結部検査システム１００によれば、各ボルトセットＴに識別子を付与するので、各ボルトセットＴと判定結果を正確かつ効率的に紐付けることができる。
その結果、ボルト締結部Ｗにおける各ボルトセットＴの状態を正確に特定することができる。
その結果、ボルト締結部Ｗにおける各ボルトセットＴの状態を正確に特定することができる。
【0097】
また、ボルト締結部検査システム１００によれば、隣接する区画の画像で識別子配列が合致するボルトセットＴの配列を抽出して、合致したボルトセットＴの配列を重ね合わせてボルト締結部全体を合成するので、分割された複数の画像から効率的にボルト締結部全体を合成することができる。
その結果、ボルト締結部全体の検査結果を正確かつ効率的に記録することができる。
その結果、ボルト締結部全体の検査結果を正確かつ効率的に記録することができる。
【0098】
また、ボルト締結部検査システム１００によれば、ボルト締結部結果表示部を備えているので、各ボルトセットの判定結果をボルト締結部全体の配列に対応させて表示することができる。
その結果、ボルト締結部全体における各ボルトセットの判定結果の配列を容易かつ効率的に把握することができる。
その結果、ボルト締結部全体における各ボルトセットの判定結果の配列を容易かつ効率的に把握することができる。
【0099】
また、ボルト締結部検査システム１００によれば、位置検出手段が検出したボルト締結部全体に対する相対位置に基づいて、ボルト締結部合成部が各区画を重ね合わせることによりボルト締結部全体を合成するので、ボルト締結部全体を正確かつ効率的に合成することができる。
【0100】
また、ボルト締結部検査システム１００によれば、帳票表示部９１としてモバイル端末を備えているので、場所を選ぶことなく判定結果を表示することができる。
その結果、例えば、工事現場において施工状態と判定結果を対比することができ、確認作業を容易かつ効率的に実施することができる。
その結果、例えば、工事現場において施工状態と判定結果を対比することができ、確認作業を容易かつ効率的に実施することができる。
【0101】
また、ボルト締結部検査システム１００によれば、モバイル端末をウエアラブル端末とすることにより、容易な持ち運びや効率的な取り扱いをすることができる。
【0102】
また、ボルト締結部検査システム１００によれば、帳票生成部８２を備えているので、検査結果を正確かつ効率的に設定された帳票に作成して出力（結果記憶、表示、印刷）することができる。
【0103】
また、ボルト締結部検査システム１００によれば、署名生成部（確認サイン生成部）８３を備えているので判定結果を確認した後に帳票に署名を追記することができる。
その結果、判定結果から確認までの一連のプロセスにつきトレーサビリティーの信頼性を向上することができる。
その結果、判定結果から確認までの一連のプロセスにつきトレーサビリティーの信頼性を向上することができる。
【0104】
＜第２実施形態＞
以下、図１７を参照して、本発明の第２実施形態について説明する。
図１７は本発明の第２実施形態に係るボルト締結部検査システムによるボルト締結部撮像の概略を説明する図である。図において符号２００はボルト締結部検査システムを、符号２１１は加速度センサー付き撮像部を示している。
以下、図１７を参照して、本発明の第２実施形態について説明する。
図１７は本発明の第２実施形態に係るボルト締結部検査システムによるボルト締結部撮像の概略を説明する図である。図において符号２００はボルト締結部検査システムを、符号２１１は加速度センサー付き撮像部を示している。
【0105】
加速度センサー付き撮像部２１１は、図１７に示すように、例えば、撮像部１１と、加速度センサー（位置検出手段、不図示）とを備えている。
撮像部１１については第１実施形態と同様であるので、同じ符号を付して説明を省略する。
加速度センサー（位置検出手段）は、例えば、６自由度加速度センサーが適用されている。
撮像部１１については第１実施形態と同様であるので、同じ符号を付して説明を省略する。
加速度センサー（位置検出手段）は、例えば、６自由度加速度センサーが適用されている。
【0106】
具体的には、図１７に示すように、例えば、互いに直交する三次元座標軸Ｘ、Ｙ、Ｚ軸方向の加速度と、Ｘ、Ｙ、Ｚ軸周りの周方向αＸ、αＹ、αＺの加速度と、を検出可能な６自由度加速度センサーとされている。加速度センサーの形式は任意に設定することが可能である。
【0107】
そして、ボルト締結部検査システム２００は、加速度センサーが検出した三次元座標軸Ｘ、Ｙ、Ｚ軸方向の加速度と、Ｘ、Ｙ、Ｚ軸周りのそれぞれの加速度を時間で積分してＸ、Ｙ、Ｚ軸方向の速度、移動距離、Ｘ、Ｙ、Ｚ軸周りの回転速度、回転角度を算出するようになっている。
その結果、撮像部１１の撮像位置と撮像方向を正確に把握することができる。
その結果、撮像部１１の撮像位置と撮像方向を正確に把握することができる。
【0108】
第２実施形態に係るボルト締結部検査システム２００によれば、撮像部１１の撮像位置と撮像方向を正確に把握することができるので、ボルト締結部Ｗを撮像する際に、重なりあうボルト列を設定することなく撮像した複数の画像を結合してボルト締結部全体の画像を形成することができる。
【0109】
上記実施形態においては、位置検出手段として加速度センサーを用いる場合について説明したが、加速度センサーに代えて、または加速度センサーとともにＧＰＳ、リニアスケール等を用いてもよい。
【0110】
＜第３実施形態＞
以下、図１８～図２１を参照して、本発明の第３実施形態に係るボルト締結部検査システムについて説明する。
図１８は第３実施形態に係るボルト締結部検査システムで用いる工具付き撮像部の概略構成を説明する平面図であり、図１９は正面図であり、図２０は側面図である。また、図２１は第３実施形態に係る工具付き撮像部によるボルト締結および撮像の概略を説明する図である。図において符号３０５は撮像部付き締結工具を、符号３０６はボルト締付工具を示している。また、図２０は、表示の便宜のため撮像部を二点鎖線で表している。
以下、図１８～図２１を参照して、本発明の第３実施形態に係るボルト締結部検査システムについて説明する。
図１８は第３実施形態に係るボルト締結部検査システムで用いる工具付き撮像部の概略構成を説明する平面図であり、図１９は正面図であり、図２０は側面図である。また、図２１は第３実施形態に係る工具付き撮像部によるボルト締結および撮像の概略を説明する図である。図において符号３０５は撮像部付き締結工具を、符号３０６はボルト締付工具を示している。また、図２０は、表示の便宜のため撮像部を二点鎖線で表している。
【0111】
第３実施形態に係るボルト締結部検査システムは、例えば、図１８～図２０に示すようなボルト締付工具３０６に複数（例えば、左右一対）の撮像部１１Ｌ、１１Ｒ（３１１）が取付け手段（例えば、ブラケット）（不図示）によって配置された撮像部付き締結工具３０５を備えている。
撮像部１１Ｌ、１１Ｒについては第１実施形態と同様であるので、同じ符号を付して説明を省略する。
撮像部１１Ｌ、１１Ｒについては第１実施形態と同様であるので、同じ符号を付して説明を省略する。
【0112】
ボルト締付工具３０６は、例えば、ボルトセットＴを締結するためのナットランナー部３０７と、ナットランナー部３０７に電力を供給する充電池３０８と、作業者が把持するとともに操作スイッチ（不図示）が配置された把持操作部３０９とを備えている。
そして、ボルト締結部ＷのボルトセットＴを締結するとともに、ボルトセットＴを締結した後に、都度締結したボルトセットＴを撮像することが可能とされている。
ボルト締付工具３０６の形式は任意に設定してもよく、周知の種々のものを適用することが可能である。
そして、ボルト締結部ＷのボルトセットＴを締結するとともに、ボルトセットＴを締結した後に、都度締結したボルトセットＴを撮像することが可能とされている。
ボルト締付工具３０６の形式は任意に設定してもよく、周知の種々のものを適用することが可能である。
【0113】
次に、図２１（Ａ）、図２１（Ｂ）を参照して、ボルト締付工具３０６の使用方法について説明する。
（１）まず、図２１（Ａ）に示すように、ナットランナー部３０７によりボルトセットＴを連結板材Ｗ０に締結する。
（２）次に、図２１（Ｂ）に示すように、ナットランナー部３０７によりボルトセットＴを締結したら、撮像部付き締結工具３０５をボルトセットＴから離間して、その都度、撮像部３１１によりボルトセットＴを撮像する。そして、撮像した画像に基づいて、締結形状判定、色判定、締結状態判定を実施する。
（１）まず、図２１（Ａ）に示すように、ナットランナー部３０７によりボルトセットＴを連結板材Ｗ０に締結する。
（２）次に、図２１（Ｂ）に示すように、ナットランナー部３０７によりボルトセットＴを締結したら、撮像部付き締結工具３０５をボルトセットＴから離間して、その都度、撮像部３１１によりボルトセットＴを撮像する。そして、撮像した画像に基づいて、締結形状判定、色判定、締結状態判定を実施する。
【0114】
第３実施形態に係るボルト締結部検査システムによれば、ボルト締付工具３０６に三次元画像を取得する撮像部１１Ｌ、１１Ｒ（３１１）が配置された撮像部付き締結工具３０５を備え、ボルトセットＴを締結した直後にその都度三次元画像を取得して、締結形状判定、色判定、締結状態判定実施するので、ボルト締結部ＷにおけるボルトセットＴの位置情報、締結形状判定、色判定、締結状態判定をリアルタイムで正確かつ効率的に把握することができる。
【0115】
なお、撮像部１１Ｌ、１１Ｒ（３１１）の形式は任意に設定する構成が可能であり、ボルト締付工具３０６がボルトセットＴを締結した後に離間して配置された撮像部が締結したボルトセットＴに接近して撮像する構成としてもよいし、一つの撮像部が移動してボルトセットのＴ周囲の複数方向から撮像する構成としてもよい。
【0116】
なお、本発明は、上記実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲において、種々の変更をすることが可能である。
また、ボルト締結部検査システムの構成は、図１に示すブロック図に限定されず、ボルト締結部検査システムの構成は任意に設定することができる。
また、ボルト締結部検査システムの構成は、図１に示すブロック図に限定されず、ボルト締結部検査システムの構成は任意に設定することができる。
【0117】
例えば、上記実施形態においては、高力ボルト、ナット、座金、連結板材のそれぞれに締結前に付与されたマーキングの締結後における各マーキング位置に基づくボルト締結状態の判定と、三次元画像に基づいて形成した検査対象画像を予め設定した基準モデルとの形状対比結果に基づいてボルト締結部におけるボルトセットの取付け状態の判定と、三次元画像取得手段が取得した画像におけるボルトセットの色調に基づくボルトセットの外観色判定と、を実施する場合について説明したが、ボルト締結状態の判定と、ボルト締結部におけるボルトセットの取付け状態の判定と、ボルトセットの外観色判定のいずれを実施するかは任意に設定してもよい。
【0118】
また、上記実施形態においては、例えば、検査対象画像、基準モデル（形状判定用基準モデル、基準マーキングモデル）が三次元画像とされ、三次元画像同士で対比（３Ｄ－３Ｄマッチング）する場合について説明したが、色判定は、例えば、検査対象画像、基準モデル（形状判定用基準モデル、基準マーキングモデル）がそれぞれ三次元画像に基づいて生成した二次元画像（平面投影像等）から構成され、これらを二次元画像同士で対比（２Ｄ－２Ｄマッチング）する構成としてもよい。
【0119】
また、上記実施形態においては、ボルト締結部検査システム１００が締結形状判定、色判定、締結状態判定を実施する場合について説明したが、例えば、締結形状判定、色判定、締結状態判定のうちの１つまたは２つを実施してもよいし、これら判定に他の判定を付加して実施してもよい。
【0120】
また、上記実施形態においては、ボルト締結部検査システム１００が締結形状判定、色判定、締結状態判定の判定結果に対して識別子を生成する場合について説明したが、例えば、判定を実施した後に識別子を生成しない構成としてもよいし、判定を実施した後に締結形状判定、色判定、締結状態判定のうち１つまたは２つの判定結果に対して識別子を生成する構成としてもよい。
【0121】
また、上記実施形態においては、ボルト締結部全体を隣接する区画のボルトセットＴが重複するように複数の区画に分けて取得した場合に、ボルト締結部ＷにおけるそれぞれのボルトセットＴの締結形状判定、色判定、締結状態判定の識別子から識別子配列を生成して、各画像の識別子配列が合致するボルトセット列を重ね合わせてボルト締結部全体を合成する場合について説明したが、締結形状判定、色判定、締結状態判定のうち１つまたは２つの識別子から生成した識別子から識別子配列に基づいてボルト締結部全体を合成してもよいし、のボルト締結部全体の合成に際して識別子配列以外の他の手法を用いてもよい。また、ボルト締結部全体を１組の画像として取得してもよい。
【0122】
また、上記実施形態においては、判定結果を帳票に合成する場合について説明したが、判定結果を帳票に合成するかどうかは任意に設定することができる。
また、上記実施形態においては、判定結果を帳票に合成して署名入力、署名生成した後に印刷しまたは検査結果格納部に記憶する場合について説明したが、判定結果に署名入力し、署名を生成するかどうかは任意に設定することができ、署名生成しない検査結果を検査結果格納部に記憶させてもよい。また、判定結果を帳票に合成せずに検査結果格納部に記憶させてもよい。
また、上記実施形態においては、判定結果を帳票に合成して署名入力、署名生成した後に印刷しまたは検査結果格納部に記憶する場合について説明したが、判定結果に署名入力し、署名を生成するかどうかは任意に設定することができ、署名生成しない検査結果を検査結果格納部に記憶させてもよい。また、判定結果を帳票に合成せずに検査結果格納部に記憶させてもよい。
【0123】
また、上記実施形態においては、高力ボルトがトルシア形高力ボルトである場合について説明したが、トルシア形高力ボルトのようなピンテール残存が発生しない高力六角ボルトに適用してもよいことはいうまでもない。
【0124】
また、ボルト締結部の締付検査システム及び締付検査方法は、橋梁等の建設物のボルト締結部のほか工業製品のボルト締結部に用いてもよい。
【0125】
また、上記実施形態においては、マーキングは手作業で施してもよいいが、公知のマーキング装置を用いてもよい。
例えば、特開２０１６－７４０８７号公報に記載されるような、スタンプ用ローラーと、スタンプ用ローラーが内周側に収容可能な収容部が形成されたカップ状のホルダと、軸支したスタンプ用ローラーをホルダに接続するリンクと、を備え、ホルダがボルトセットの周囲を頂部側からボルトセットの軸方向に移動して連結板材に向かう際に、スタンプ用ローラーがボルトセットの径方向に移動してボルトセットの外周面に軸方向のマーキングを形成するマーキング装置を適用することが効率的で好適である。
また、歪みのない直線状のマーキングを形成できるので、回転角度の判定が正確になる点でより好適である。
例えば、特開２０１６－７４０８７号公報に記載されるような、スタンプ用ローラーと、スタンプ用ローラーが内周側に収容可能な収容部が形成されたカップ状のホルダと、軸支したスタンプ用ローラーをホルダに接続するリンクと、を備え、ホルダがボルトセットの周囲を頂部側からボルトセットの軸方向に移動して連結板材に向かう際に、スタンプ用ローラーがボルトセットの径方向に移動してボルトセットの外周面に軸方向のマーキングを形成するマーキング装置を適用することが効率的で好適である。
また、歪みのない直線状のマーキングを形成できるので、回転角度の判定が正確になる点でより好適である。
【産業上の利用可能性】
【0126】
この発明に係るボルト締結部の締付検査システム及び締付検査方法によれば、ボルト締結部におけるボルトセットの締結状態を正確かつ効率的に検査することができるので産業上利用可能である。
【符号の説明】
【0127】
Ｔ ボルトセット
Ｔ１ 座金
Ｔ２ ナット
Ｔ３ 高力ボルト（トルシア形高力ボルト）
ＰＴ ピンテール
ＤＰ ドリフトピン
Ｍ マーキング（ボルトセット）
Ｍ０ マーキング（連結板材）
Ｍ１ マーキング（座金）
Ｍ２ マーキング（ナット）
Ｍ３ マーキング（高力ボルト）
Ｗ０ 連結板材
Ｗ ボルト締結部
１００ ボルト締結部検査システム（ボルト締結部の締付検査システム）
１０ 三次元画像取得部（三次元画像取得手段）
１１、１１Ｌ、１１Ｒ、３１１ 撮像部
１２ 三次元画像形成部
１５ 検査対象画像形成部
２０ 判定位置特定部
２１ 判定アドレス設定部
２５ 捜索モデル格納部
３０ 形状判定部
３１ 締結形状判定部
３５ 基準モデル格納部
４０ 色判定部
４１ ボルト色判定部
４５ 基準ボルト色格納部
５０ 締結状態判定部
５１ 回転角度判定部
５５ 基準マーキングモデル格納部
６０ 判定識別子形成部
６１ 新規レコード設定部
６２ アドレス識別子生成部
６３ 判定識別子付加部
６４ 形状識別子生成部
６５ 色識別子生成部
６６ 締結識別子生成部
６７ 判定結果格納部
７０ 画像合成部（ボルト締結部合成部）
７１ 識別子配列生成部
７２ 識別子配列対比部
７３ 画像結合部
８０ 検査結果生成部
８１ 全体判定結果生成部
８２ 帳票生成部
８３ 署名生成部（確認サイン生成部）
８４ 検査結果格納部
９０ 結果確認部
９１ 帳票表示部（帳票出力部）
９２ 署名入力部
９５ 帳票印刷部（帳票出力部）
３０５ 撮像部付き締結工具
３０６ ボルト締付工具（工具）
Ｔ１ 座金
Ｔ２ ナット
Ｔ３ 高力ボルト（トルシア形高力ボルト）
ＰＴ ピンテール
ＤＰ ドリフトピン
Ｍ マーキング（ボルトセット）
Ｍ０ マーキング（連結板材）
Ｍ１ マーキング（座金）
Ｍ２ マーキング（ナット）
Ｍ３ マーキング（高力ボルト）
Ｗ０ 連結板材
Ｗ ボルト締結部
１００ ボルト締結部検査システム（ボルト締結部の締付検査システム）
１０ 三次元画像取得部（三次元画像取得手段）
１１、１１Ｌ、１１Ｒ、３１１ 撮像部
１２ 三次元画像形成部
１５ 検査対象画像形成部
２０ 判定位置特定部
２１ 判定アドレス設定部
２５ 捜索モデル格納部
３０ 形状判定部
３１ 締結形状判定部
３５ 基準モデル格納部
４０ 色判定部
４１ ボルト色判定部
４５ 基準ボルト色格納部
５０ 締結状態判定部
５１ 回転角度判定部
５５ 基準マーキングモデル格納部
６０ 判定識別子形成部
６１ 新規レコード設定部
６２ アドレス識別子生成部
６３ 判定識別子付加部
６４ 形状識別子生成部
６５ 色識別子生成部
６６ 締結識別子生成部
６７ 判定結果格納部
７０ 画像合成部（ボルト締結部合成部）
７１ 識別子配列生成部
７２ 識別子配列対比部
７３ 画像結合部
８０ 検査結果生成部
８１ 全体判定結果生成部
８２ 帳票生成部
８３ 署名生成部（確認サイン生成部）
８４ 検査結果格納部
９０ 結果確認部
９１ 帳票表示部（帳票出力部）
９２ 署名入力部
９５ 帳票印刷部（帳票出力部）
３０５ 撮像部付き締結工具
３０６ ボルト締付工具（工具）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】