(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024112445
(43)【公開日】2024-08-21
(54)【発明の名称】ボルト検査システム及びプログラム
(51)【国際特許分類】
G01L 5/00 20060101AFI20240814BHJP
G06T 7/00 20170101ALI20240814BHJP
G06T 7/60 20170101ALI20240814BHJP
G06T 7/70 20170101ALI20240814BHJP
【ＦＩ】
G01L5/00 103B
G06T7/00 610A
G06T7/60 180B
G06T7/00 350B
G06T7/70 B
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023017447
(22)【出願日】2023-02-08
(71)【出願人】
【識別番号】390017891
【氏名又は名称】シヤチハタ株式会社
(74)【代理人】
【識別番号】100150430
【弁理士】
【氏名又は名称】河野 元
(74)【代理人】
【識別番号】100217191
【弁理士】
【氏名又は名称】林 信吾
(72)【発明者】
【氏名】成川 喬朗
【テーマコード（参考）】
2F051
5L096
【Ｆターム（参考）】
2F051AA06
2F051AB03
2F051BA07
5L096AA06
5L096BA03
5L096BA18
5L096CA02
5L096DA02
5L096EA13
5L096EA16
5L096FA62
5L096FA66
5L096FA67
5L096HA11
5L096KA04
(57)【要約】
【課題】マーキング角度を検出しなくてもボルトの締付け状態を判定することが可能なボルト検査システム及びプログラムを提供すること。
【解決手段】ボルトによる接合箇所を撮影した撮影画像（接合材画像３０）に基づいて
対応点Ｐ１（第１対応点）～対応点Ｐ５（第５対応点）を導出し、対応点Ｐ１→Ｐ２間の距離、対応点Ｐ３→Ｐ４間の距離、対応点Ｐ１－Ｐ５間の距離及び対応点Ｐ３－Ｐ５間の距離を算出し、該算出した距離に基づいて、ボルトの締付け状態（軸回り、共回り等）を判定する。
【選択図】図６
【解決手段】ボルトによる接合箇所を撮影した撮影画像（接合材画像３０）に基づいて
対応点Ｐ１（第１対応点）～対応点Ｐ５（第５対応点）を導出し、対応点Ｐ１→Ｐ２間の距離、対応点Ｐ３→Ｐ４間の距離、対応点Ｐ１－Ｐ５間の距離及び対応点Ｐ３－Ｐ５間の距離を算出し、該算出した距離に基づいて、ボルトの締付け状態（軸回り、共回り等）を判定する。
【選択図】図６
【特許請求の範囲】
【請求項1】
ボルトの締付け状態を検査するためのボルト検査システムであって、
前記ボルトによる接合箇所を撮影した撮影画像に基づいて、前記ボルトを含む接合材に付されたマークに対する対応点を少なくとも導出する導出手段と、
前記導出手段により導出された対応点に基づいて、前記ボルトの締付け状態を判定する判定手段と、を備え、
前記導出手段は、前記対応点として、少なくとも第１対応点及び第２対応点を導出し、
前記判定手段は、前記導出手段により導出された前記第１対応点と前記第２対応点との間の距離に基づいて、前記ボルトの締付け状態を判定する
ことを特徴とするボルト検査システム。
前記ボルトによる接合箇所を撮影した撮影画像に基づいて、前記ボルトを含む接合材に付されたマークに対する対応点を少なくとも導出する導出手段と、
前記導出手段により導出された対応点に基づいて、前記ボルトの締付け状態を判定する判定手段と、を備え、
前記導出手段は、前記対応点として、少なくとも第１対応点及び第２対応点を導出し、
前記判定手段は、前記導出手段により導出された前記第１対応点と前記第２対応点との間の距離に基づいて、前記ボルトの締付け状態を判定する
ことを特徴とするボルト検査システム。
【請求項2】
前記導出手段はさらに、前記対応点として第３対応点及び第４対応点を導出し、
前記判定手段さらに、前記導出手段により導出された前記第３対応点と前記第４対応点との間の距離に基づいて、前記ボルトの締付け状態を判定する
ことを特徴とする請求項１に記載のボルト検査システム。
前記判定手段さらに、前記導出手段により導出された前記第３対応点と前記第４対応点との間の距離に基づいて、前記ボルトの締付け状態を判定する
ことを特徴とする請求項１に記載のボルト検査システム。
【請求項3】
前記接合材は、前記ボルトに螺合するナット及び座金を含み、
前記導出手段は、
前記ボルトと前記ナットとの境界近傍であって前記ボルト側に対する対応点を前記第１対応点として導出し、
前記ボルトと前記ナットとの境界近傍であって前記ナット側に対する対応点を前記第２対応点として導出し、
前記座金の天面と側面との境界近傍に対する対応点を前記第３対応点として導出し、
前記ナットと前記座金との境界近傍であって前記ナット側に対する対応点を前記第４対応点として導出する
ことを特徴とする請求項２に記載のボルト検査システム。
前記導出手段は、
前記ボルトと前記ナットとの境界近傍であって前記ボルト側に対する対応点を前記第１対応点として導出し、
前記ボルトと前記ナットとの境界近傍であって前記ナット側に対する対応点を前記第２対応点として導出し、
前記座金の天面と側面との境界近傍に対する対応点を前記第３対応点として導出し、
前記ナットと前記座金との境界近傍であって前記ナット側に対する対応点を前記第４対応点として導出する
ことを特徴とする請求項２に記載のボルト検査システム。
【請求項4】
前記導出手段はさらに、前記撮影画像に基づいて、被接合材側に付されたマークに対する対応点を第５対応点として導出し、
前記判定手段はさらに、前記導出手段により導出された前記第１対応点と前記第５対応点との間の距離及び前記第３対応点と前記第５対応点との間の距離の少なくとも一方に基づいて、前記ボルトの締付け状態を判定する
ことを特徴とする請求項２又は３に記載のボルト検査システム。
前記判定手段はさらに、前記導出手段により導出された前記第１対応点と前記第５対応点との間の距離及び前記第３対応点と前記第５対応点との間の距離の少なくとも一方に基づいて、前記ボルトの締付け状態を判定する
ことを特徴とする請求項２又は３に記載のボルト検査システム。
【請求項5】
前記導出手段は、少なくとも前記第１対応点から前記第５対応点の各対応点を導出するための機械学習を行った学習モデルに前記撮影画像を入力することで、前記各対応点を導出する
ことを特徴とする請求項４に記載のボルト検査システム。
ことを特徴とする請求項４に記載のボルト検査システム。
【請求項6】
前記撮影画像における前記ボルトの軸端面略中央部と前記第５対応点とを結ぶ線が鉛直線となるように前記撮影画像の向きを調整する向き調整手段を備え、
前記判定手段は、前記向き調整手段により前記撮影画像の向きを調整して前記距離を水平距離として算出し、該算出した距離に基づいて前記ボルトの締付け状態を判定する
ことを特徴とする請求項４に記載のボルト検査システム。
前記判定手段は、前記向き調整手段により前記撮影画像の向きを調整して前記距離を水平距離として算出し、該算出した距離に基づいて前記ボルトの締付け状態を判定する
ことを特徴とする請求項４に記載のボルト検査システム。
【請求項7】
前記撮影画像の画像サイズを所定サイズに調整するサイズ調整手段を備え、
前記導出手段は、前記サイズ調整手段により調整された前記撮影画像に基づいて、前記対応点を導出する
ことを特徴とする請求項１又は２に記載のボルト検査システム。
前記導出手段は、前記サイズ調整手段により調整された前記撮影画像に基づいて、前記対応点を導出する
ことを特徴とする請求項１又は２に記載のボルト検査システム。
【請求項8】
前記撮影画像の画像サイズを所定サイズに調整するサイズ調整手段を備え、
前記導出手段は、前記サイズ調整手段により調整された前記撮影画像に基づいて、少なくとも前記第１対応点から前記第５対応点の各対応点を導出する
ことを特徴とする請求項４に記載のボルト検査システム。
前記導出手段は、前記サイズ調整手段により調整された前記撮影画像に基づいて、少なくとも前記第１対応点から前記第５対応点の各対応点を導出する
ことを特徴とする請求項４に記載のボルト検査システム。
【請求項9】
前記導出手段により導出された対応点を示す対応点情報を前記撮影画像に付加する付加手段と、
前記判定手段による判定の結果と、前記付加手段により付加された前記対応点情報とを所定の表示部に表示する表示手段と、を備える
ことを特徴とする請求項１又は２に記載のボルト検査システム。
前記判定手段による判定の結果と、前記付加手段により付加された前記対応点情報とを所定の表示部に表示する表示手段と、を備える
ことを特徴とする請求項１又は２に記載のボルト検査システム。
【請求項10】
前記導出手段により導出された対応点を示す対応点情報を前記撮影画像に付加する付加手段と、
前記判定手段による判定の結果と、前記付加手段により付加された前記対応点情報とを所定の表示部に表示する表示手段と、を備える
ことを特徴とする請求項４に記載のボルト検査システム。
前記判定手段による判定の結果と、前記付加手段により付加された前記対応点情報とを所定の表示部に表示する表示手段と、を備える
ことを特徴とする請求項４に記載のボルト検査システム。
【請求項11】
ボルトの締付け状態を検査するためのボルト検査システムとしてコンピュータを機能させるためのプログラムであって、
前記コンピュータを、
前記ボルトによる接合箇所を撮影した撮影画像に基づいて、前記ボルトを含む接合材に付されたマークに対する対応点を少なくとも導出する導出手段、
前記導出手段により導出された対応点に基づいて、前記ボルトの締付け状態を判定する判定手段、
として機能させ、
前記導出手段は、前記対応点として、少なくとも第１対応点及び第２対応点を導出し、
前記判定手段は、前記導出手段により導出された前記第１対応点と前記第２対応点との間の距離に基づいて、前記ボルトの締付け状態を判定する
ことを特徴とするプログラム。
前記コンピュータを、
前記ボルトによる接合箇所を撮影した撮影画像に基づいて、前記ボルトを含む接合材に付されたマークに対する対応点を少なくとも導出する導出手段、
前記導出手段により導出された対応点に基づいて、前記ボルトの締付け状態を判定する判定手段、
として機能させ、
前記導出手段は、前記対応点として、少なくとも第１対応点及び第２対応点を導出し、
前記判定手段は、前記導出手段により導出された前記第１対応点と前記第２対応点との間の距離に基づいて、前記ボルトの締付け状態を判定する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ボルト検査システム及びプログラムに関する。
【背景技術】
【0002】
橋梁や建築物、機械等の構造物には、構成部材（例えば、鋼材）を接合するためにボルト（例えば、高力ボルト）が用いられる。ボルトの締め付けは、一次締め、マーキング、本締めの順序で行われる。図８（Ａ）に示すように、一次締めの後、ボルト２００、ナット２０１、座金２０２及びプレート２０３に跨って一本の直線（マーク）２０４を引くことによりマーキングが施される。その後本締めにより、ナット２０１に付されたマーク２０４がナット２０１の回転分だけ移動する（図８（Ｂ）を参照）。そして、本締めの後には、ボルトの締付け状態が検査され、軸回り（図８（Ｃ）を参照）や共回り（図８（Ｄ）、（Ｅ）を参照）が生じている場合には締付け不良となる。
【0003】
従来、ボルトの締付け状態の検査（「ボルト検査」ともいう。）は検査者の目視により行われていたが、検査対象のボルト（接合箇所）は数多く存在するため、目視による検査には手間と時間がかかる。そこで近年では、検査対象のボルトを撮影し、その撮影した画像に基づいて、プレートと座金とナットとボルトのそれぞれに施されたマーキングについてのマーキング角度を検出し、その検出したマーキング角度に基づいてボルトの締付け状態を判定するシステムが提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１８－９９３２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に記載のシステムでは、プレートと座金とナットとボルトのそれぞれのマーキング角度を算出（検出）した後、プレートのマーキング角度とナットのマーキング角度との差を算出したり、ボルトのマーキング角度とプレートのマーキング角度との差を算出したりするものであり、それらの算出は複雑である。また、すべてのマーキング角度を正しく検出することができないと、締付け状態の正確な判定（検査）をすることができない。
【0006】
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、マーキング角度を検出しなくてもボルトの締付け状態を判定することが可能なボルト検査システム及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
前述の課題を解決するために、本発明は以下の手段を採用した。
【0008】
手段１のボルト検査システムは、
ボルトの締付け状態を検査するためのボルト検査システムであって、
前記ボルトによる接合箇所を撮影した撮影画像に基づいて、前記ボルトを含む接合材に付されたマークに対する対応点を少なくとも導出する導出手段と、
前記導出手段により導出された対応点に基づいて、前記ボルトの締付け状態を判定する判定手段と、を備え、
前記導出手段は、前記対応点として、少なくとも第１対応点及び第２対応点を導出し、
前記判定手段は、前記導出手段により導出された前記第１対応点と前記第２対応点との間の距離に基づいて、前記ボルトの締付け状態を判定する
ことを要旨とする。
ボルトの締付け状態を検査するためのボルト検査システムであって、
前記ボルトによる接合箇所を撮影した撮影画像に基づいて、前記ボルトを含む接合材に付されたマークに対する対応点を少なくとも導出する導出手段と、
前記導出手段により導出された対応点に基づいて、前記ボルトの締付け状態を判定する判定手段と、を備え、
前記導出手段は、前記対応点として、少なくとも第１対応点及び第２対応点を導出し、
前記判定手段は、前記導出手段により導出された前記第１対応点と前記第２対応点との間の距離に基づいて、前記ボルトの締付け状態を判定する
ことを要旨とする。
【0009】
手段１のボルト検査システムによれば、接合材に付されたマークに対する対応点として少なくとも２つの対応点（第１対応点、第２対応点）を撮影画像から導出し、その２点間の距離（第１対応点と第２対応点との間の距離）に基づいてボルトの締付け状態を判定するので、接合材に施されたマーキングについてのマーキング角度を検出する必要はない。これにより、マーキング角度を検出しなくても、ボルトの締付け状態を判定することが可能となる。
【0010】
手段２のボルト検査システムは、手段１のボルト検査システムにおいて、
前記導出手段はさらに、前記対応点として第３対応点及び第４対応点を導出し、
前記判定手段さらに、前記導出手段により導出された前記第３対応点と前記第４対応点との間の距離に基づいて、前記ボルトの締付け状態を判定する
ことを要旨とする。
前記導出手段はさらに、前記対応点として第３対応点及び第４対応点を導出し、
前記判定手段さらに、前記導出手段により導出された前記第３対応点と前記第４対応点との間の距離に基づいて、前記ボルトの締付け状態を判定する
ことを要旨とする。
【0011】
手段２のボルト検査システムによれば、接合材に付されたマークに対する対応点として、さらに第３対応点及び第４対応点を撮影画像から導出し、その２点間の距離（第３対応点と第４対応点との間の距離）に基づいてボルトの締付け状態を判定するので、合計４つの対応点を基準にしてボルトの締付け状態を判定することができる。これにより、ボルトの締付け状態の判定精度を向上させることが可能となる。
【0012】
手段３のボルト検査システムは、手段２のボルト検査システムにおいて、
前記接合材は、前記ボルトに螺合するナット及び座金を含み、
前記導出手段は、
前記ボルトと前記ナットとの境界近傍であって前記ボルト側に対する対応点を前記第１対応点として導出し、
前記ボルトと前記ナットとの境界近傍であって前記ナット側に対する対応点を前記第２対応点として導出し、
前記座金の天面と側面との境界近傍に対する対応点を前記第３対応点として導出し、
前記ナットと前記座金との境界近傍であって前記ナット側に対する対応点を前記第４対応点として導出する
ことを要旨とする。
前記接合材は、前記ボルトに螺合するナット及び座金を含み、
前記導出手段は、
前記ボルトと前記ナットとの境界近傍であって前記ボルト側に対する対応点を前記第１対応点として導出し、
前記ボルトと前記ナットとの境界近傍であって前記ナット側に対する対応点を前記第２対応点として導出し、
前記座金の天面と側面との境界近傍に対する対応点を前記第３対応点として導出し、
前記ナットと前記座金との境界近傍であって前記ナット側に対する対応点を前記第４対応点として導出する
ことを要旨とする。
【0013】
手段３のボルト検査システムによれば、第１対応点と第２対応点との間の距離に基づいてボルトの軸回りやボルトとナットの共回りについて判定することができ、第３対応点と第４対応点との間の距離に基づいてボルトの軸回りやナットと座金の共回りについて判定することができる。これにより、軸回りや共回りについて高精度で判定することが可能となる。
【0014】
手段４のボルト検査システムは、手段２又は３のボルト検査システムにおいて、
前記導出手段はさらに、前記撮影画像に基づいて、被接合材側に付されたマークに対する対応点を第５対応点として導出し、
前記判定手段はさらに、前記導出手段により導出された前記第１対応点と前記第５対応点との間の距離及び前記第３対応点と前記第５対応点との間の距離の少なくとも一方に基づいて、前記ボルトの締付け状態を判定する
ことを要旨とする。
前記導出手段はさらに、前記撮影画像に基づいて、被接合材側に付されたマークに対する対応点を第５対応点として導出し、
前記判定手段はさらに、前記導出手段により導出された前記第１対応点と前記第５対応点との間の距離及び前記第３対応点と前記第５対応点との間の距離の少なくとも一方に基づいて、前記ボルトの締付け状態を判定する
ことを要旨とする。
【0015】
手段４のボルト検査システムによれば、接合材に付されたマークに対する対応点に加え、被接合材側に付されたマークに対する対応点を第５対応点として撮影画像から導出し、第１対応点と第５対応点との間の距離及び第３対応点と第５対応点との間の距離の少なくとも一方に基づいてボルトの締付け状態を判定するので、被接合材側のマーク（第５対応点）も締付け状態の判定基準とすることができる。これにより、ボルトの締付け状態の判定精度をより向上させることが可能となる。
【0016】
手段５のボルト検査システムは、手段４のボルト検査システムにおいて、
前記導出手段は、少なくとも前記第１対応点から前記第５対応点の各対応点を導出するための機械学習を行った学習モデルに前記撮影画像を入力することで、前記各対応点を導出する
ことを要旨とする。
前記導出手段は、少なくとも前記第１対応点から前記第５対応点の各対応点を導出するための機械学習を行った学習モデルに前記撮影画像を入力することで、前記各対応点を導出する
ことを要旨とする。
【0017】
手段５のボルト検査システムによれば、少なくとも第１対応点から第５対応点の各対応点を導出するための機械学習を行った学習モデルに基づいて、少なくとも第１対応点、第２対応点、第３対応点、第４対応点及び第５対応点を導出するので、それらの各対応点を精度よく導出することができる。これにより、ボルトの締付け状態の判定精度を効率的に向上させることが可能となる。
【0018】
手段６のボルト検査システムは、手段４のボルト検査システムにおいて、
前記撮影画像における前記ボルトの軸端面略中央部と前記第５対応点とを結ぶ線が鉛直線となるように前記撮影画像の向きを調整する向き調整手段を備え、
前記判定手段は、前記向き調整手段により前記撮影画像の向きを調整して前記距離を水平距離として算出し、該算出した距離に基づいて前記ボルトの締付け状態を判定する
ことを要旨とする。
前記撮影画像における前記ボルトの軸端面略中央部と前記第５対応点とを結ぶ線が鉛直線となるように前記撮影画像の向きを調整する向き調整手段を備え、
前記判定手段は、前記向き調整手段により前記撮影画像の向きを調整して前記距離を水平距離として算出し、該算出した距離に基づいて前記ボルトの締付け状態を判定する
ことを要旨とする。
【0019】
手段６のボルト検査システムによれば、撮影画像におけるボルトの軸端面略中央部と第５対応点とを結ぶ線が鉛直線となるように撮影画像の向き（角度）を調整して各対応点間の距離を水平距離として算出し、該算出結果（水平距離）に基づいてボルトの締付け状態を判定するので、判定をシンプルに行うことができるようになる。これにより、システムによるボルトの締付け状態の判定を簡便に実現することが可能となる。
【0020】
手段７のボルト検査システムは、手段１又は２のボルト検査システムにおいて、
前記撮影画像の画像サイズを所定サイズに調整するサイズ調整手段を備え、
前記導出手段は、前記サイズ調整手段により調整された前記撮影画像に基づいて、前記対応点を導出する
ことを要旨とする。
また手段８のボルト検査システムは、手段４のボルト検査システムにおいて、
前記撮影画像の画像サイズを所定サイズに調整するサイズ調整手段を備え、
前記導出手段は、前記サイズ調整手段により調整された前記撮影画像に基づいて、少なくとも前記第１対応点から前記第５対応点の各対応点を導出する
ことを要旨とする。
前記撮影画像の画像サイズを所定サイズに調整するサイズ調整手段を備え、
前記導出手段は、前記サイズ調整手段により調整された前記撮影画像に基づいて、前記対応点を導出する
ことを要旨とする。
また手段８のボルト検査システムは、手段４のボルト検査システムにおいて、
前記撮影画像の画像サイズを所定サイズに調整するサイズ調整手段を備え、
前記導出手段は、前記サイズ調整手段により調整された前記撮影画像に基づいて、少なくとも前記第１対応点から前記第５対応点の各対応点を導出する
ことを要旨とする。
【0021】
手段７、８のボルト検査システムによれば、所定サイズに調整された撮影画像に基づいて各対応点を導出するので、撮影画像の画像サイズのバラツキや撮影条件、撮影環境等に左右されることなく、各対応点を適切に導出することができる。これにより、ボルトの締付け状態の判定を安定させることが可能となる。
【0022】
手段９のボルト検査システムは、手段１又は２のボルト検査システムにおいて、
前記導出手段により導出された対応点を示す対応点情報を前記撮影画像に付加する付加手段と、
前記判定手段による判定の結果と、前記付加手段により付加された前記対応点情報とを所定の表示部に表示する表示手段と、を備える
ことを要旨とする。
また手段１０のボルト検査システムは、手段４のボルト検査システムにおいて、
前記導出手段により導出された対応点を示す対応点情報を前記撮影画像に付加する付加手段と、
前記判定手段による判定の結果と、前記付加手段により付加された前記対応点情報とを所定の表示部に表示する表示手段と、を備える
ことを要旨とする。
前記導出手段により導出された対応点を示す対応点情報を前記撮影画像に付加する付加手段と、
前記判定手段による判定の結果と、前記付加手段により付加された前記対応点情報とを所定の表示部に表示する表示手段と、を備える
ことを要旨とする。
また手段１０のボルト検査システムは、手段４のボルト検査システムにおいて、
前記導出手段により導出された対応点を示す対応点情報を前記撮影画像に付加する付加手段と、
前記判定手段による判定の結果と、前記付加手段により付加された前記対応点情報とを所定の表示部に表示する表示手段と、を備える
ことを要旨とする。
【0023】
手段９、１０のボルト検査システムによれば、導出された対応点を示す対応点情報を撮影画像に付加し、ボルトの締付け状態の判定結果とともに対応点情報を所定の表示部に表示するので、ボルトの締付け状態に関する情報を視覚的に分かりやすく示すことができる。これにより、システムの利便性を高めることが可能となる。
【0024】
手段１１のプログラムは、
ボルトの締付け状態を検査するためのボルト検査システムとしてコンピュータを機能させるためのプログラムであって、
前記コンピュータを、
前記ボルトによる接合箇所を撮影した撮影画像に基づいて、前記ボルトを含む接合材に付されたマークに対する対応点を少なくとも導出する導出手段、
前記導出手段により導出された対応点に基づいて、前記ボルトの締付け状態を判定する判定手段、
として機能させ、
前記導出手段は、前記対応点として、少なくとも第１対応点及び第２対応点を導出し、
前記判定手段は、前記導出手段により導出された前記第１対応点と前記第２対応点との間の距離に基づいて、前記ボルトの締付け状態を判定する
ことを要旨とする。
ボルトの締付け状態を検査するためのボルト検査システムとしてコンピュータを機能させるためのプログラムであって、
前記コンピュータを、
前記ボルトによる接合箇所を撮影した撮影画像に基づいて、前記ボルトを含む接合材に付されたマークに対する対応点を少なくとも導出する導出手段、
前記導出手段により導出された対応点に基づいて、前記ボルトの締付け状態を判定する判定手段、
として機能させ、
前記導出手段は、前記対応点として、少なくとも第１対応点及び第２対応点を導出し、
前記判定手段は、前記導出手段により導出された前記第１対応点と前記第２対応点との間の距離に基づいて、前記ボルトの締付け状態を判定する
ことを要旨とする。
【発明の効果】
【0025】
以上の本発明によれば、マーキング角度を検出しなくてもボルトの締付け状態を判定することが可能となる。
【図面の簡単な説明】
【0026】
【図1】（Ａ）は実施例に係るシステムの概略図であり、（Ｂ）は端末装置の構成図である。
【図2】ボルト検査処理のフローチャートである。
【図3】端末装置が備える制御部の機能ブロック図である。
【図4】第１学習モデルの学習用画像データの一例を示す図である。
【図5】第２学習モデルの学習用画像データの一例を示す図である。
【図6】（Ａ）は接合材画像の一例を示す図であり、（Ｂ）は向き調整を行った接合材画像の一例を示す図である。
【図7】（Ａ）ボルト検査アプリの表示画面の一例を示す図であり、（Ｂ）は接合材画像に対して表示（付加）される対応点情報（画像）の一例を示す図である。
【図8】ボルトの締付け状態を示す図である。
【発明を実施するための形態】
【0027】
次に、本発明の一実施の形態について、実施例を用いて説明する。
【実施例0028】
本実施例は、橋梁や建築物、機械等の構造物において、当該構造物の構成部材（「被接合材」ともいう。）を接合する高力ボルト（単に「ボルト」ともいう。）の本締め後の締付け状態を検査するためのボルト検査システムである。高力ボルトは、摩擦接合を構成するボルト（摩擦接合用高力六角ボルト）、ボルトに螺合するナット及び座金のセット一式を指す。高力ボルトのことを「接合材」ともいう。また、ボルト、ナット及び座金のセット一式を指して「ボルト等」ともいう。
【0029】
本実施例のボルト検査システム（「本システム」ともいう。）は、図１（Ａ）に示すように、本システムを実現するアプリケーションソフト（「ボルト検査アプリ」ともいう。）がインストールされた端末装置１を主として構成される。端末装置１は、スマートフォンやタブレット、ノートパソコン等の携帯型端末とすることができる。本実施例では端末装置１をスマートフォンとしている。ボルト検査アプリ（プログラム）は、例えば、インターネット（ネットワーク）上のサーバにより提供される。ボルト検査アプリを実行する（起動した）端末装置１のことを「ボルト検査装置」ともいう。
【0030】
［端末装置の構成］
次に、端末装置１の構成について説明する。図１（Ｂ）に示すように端末装置１は、制御部１０、記憶部１１、表示部１２、入力部１３、カメラ１４、通信部１５等を含んで構成される。
次に、端末装置１の構成について説明する。図１（Ｂ）に示すように端末装置１は、制御部１０、記憶部１１、表示部１２、入力部１３、カメラ１４、通信部１５等を含んで構成される。
【0031】
制御部１０は、端末装置１の作動を制御するための各種処理を実行するものであり、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、ＮＰＵ（Neural Processing Unit）等により構成される。
【0032】
記憶部１１は、端末装置１を作動させるＯＳ（Operating System）や端末装置１で実行可能な各種アプリケーションソフト（プログラム）、その他端末装置１の作動に必要な各種データを記憶するものであり、不揮発性メモリであるＲＯＭ（Read Only Memory）、揮発性メモリであるＲＡＭ（Random Access Memory）等により構成される。記憶部１１に記憶されるプログラムには、ボルト検査アプリのプログラムが含まれる。記憶部１１には、ボルトの締付け状態を検査（判定）するのに必要なデータや学習モデル等が記憶される。
【0033】
表示部１２は、各種の画像や情報等を表示するものであり、例えば液晶ディスプレイや有機ＥＬディスプレイ等により構成される。表示部１２のことを「表示画面」ともいう。
【0034】
入力部１３は、ユーザからの入力を受け付ける入力インターフェースである。本実施例では、表示部１２を構成するディスプレイがタッチパネル機能を備えており、表示部１２に表示されるボタンやアイコン等をタッチ操作することで各種の入力を行うことができるようになっている。
【0035】
カメラ１４（撮影部、撮影手段）は、制御部１０による制御処理のもとカメラ機能が起動した場合に使用可能となるもので、端末装置１を使用するユーザの操作（指示）に基づいて撮影対象を撮影する。端末装置１は、カメラ１４（カメラ機能）による撮影モードとして、写真モードやビデオモードを任意に選択して設定することが可能に構成されている。写真モードは、撮影画像を静止画として記録するモード（「静止画撮影モード」ともいう。）であり、ビデオモードは、撮影画像を動画として記録するモード（「動画撮影モード」ともいう。）である。
【0036】
通信部１５は、インターネット等のネットワークを介して他の装置等とデータ通信を行うものであり、例えば、ＩＥＥＥ８０２．１１規格に準拠した無線通信（例えばＷｉ－Ｆｉ通信）を行う。他の装置には、例えば、ボルト検査アプリ等の各種アプリケーションソフトを提供するサーバ装置等が含まれる。
【0037】
［ボルト検査装置の機能］
端末装置１にインストールされたボルト検査アプリの起動指示が入力されると、制御部１０は、記憶部１１に記憶されているボルト検査アプリのプログラムにしたがって、図２に示すボルト検査処理（S100）を実行する。なお、本明細書においてS100等の「S」（フローチャート中の「S」）はステップを意味する。
端末装置１にインストールされたボルト検査アプリの起動指示が入力されると、制御部１０は、記憶部１１に記憶されているボルト検査アプリのプログラムにしたがって、図２に示すボルト検査処理（S100）を実行する。なお、本明細書においてS100等の「S」（フローチャート中の「S」）はステップを意味する。
【0038】
制御部１０は、ボルト検査処理（S100）を実行することで、図３に示すように、接合材抽出部１０１、画像サイズ調整部１０２、対応点導出部１０３、画像向き調整部１０４、締付け状態判定部１０５及び判定結果出力部１０６として機能する。これにより、端末装置１はボルト検査装置として機能し、本システムが実現される。
【0039】
図２に示すように、ボルト検査処理（S100）では、まず、端末装置１のカメラ１４を起動する（S101）。S101では、カメラ１４を動画撮影モードで起動する。カメラ１４は、ボルト検査アプリが起動されるのに伴って起動するようにしてもよいし、ボルト検査アプリ起動後にユーザ（検査者）が所定の検査開始指示の入力を行うことで起動するようにしてもよい。
【0040】
カメラ１４の起動後、ボルトによる接合箇所（接合材）が撮影されると、制御部１０は、その撮影画像から個々の接合材（ボルト等）の画像を抽出する（S103）。撮影画像は表示部１２（表示画面）に表示されており（図７（Ａ）を参照）、S103では、その撮影画像に含まれる抽出可能なすべての接合材の画像（例えば、撮影画角に収まっている接合材の画像）を個々に抽出する。S103の処理は、制御部１０が接合材抽出部１０１として機能することによるものである（図３を参照）。接合材抽出部１０１のことを「接合材抽出手段」ともいう。
【0041】
S103で抽出する接合材（ボルト等）の画像（「接合材画像」又は「ボルト画像」ともいう。）には、接合材を構成するボルト、ナット及び座金と、被接合材側の添え板（プレート）の一部が含まれる。また、S103で抽出する接合材画像（ボルト画像）には、ボルト、ナット、座金及び添え板に付されたマーク（マーキング）が含まれる。
【0042】
なお、添え板は、高力ボルト接合による接合対象の部材同士（被接合材）を一体化させる鋼板である。この添え板は、被接合材に固定されて被接合材と一体化されることから、被接合材を構成する部材（被接合材側の部材）として捉えることができる。
【0043】
ここで、橋梁等の構造物において各構成部材（被接合材）をボルト接合する場合、その接合には通常、多数のボルト（接合材）が使用される。そこで、接合箇所（接合材）の撮影にあたっては、カメラ１４（レンズ）の位置を移動させたり、接合箇所全体（すべての接合材）が収まるように撮影画角を調整したりする等して、検査対象の接合材（ボルト等）を漏れなく撮影する。
【0044】
S103では、個々の接合材（ボルト等）の画像を抽出する（抜き出す）ための機械学習を行った学習モデル（「第１学習モデル」ともいう。）に撮影画像を入力することにより、接合箇所にある個々の接合材（ボルト等）を抽出する（抜き出す）。具体的には、動画撮影モードで撮影される動画像からフレーム単位又は所定の時間間隔で静止画像を抽出し、これを第１学習モデルへの入力画像とすることで、個々の接合材（ボルト等）の画像（接合材画像）を抽出する。
【0045】
第１学習モデルとしては、ＹＯＬＯｖ５等の物体検出モデルを使用することができる。第１学習モデルの機械学習は、例えば、３Ｄモデルを用いて物体検出用のデータセットを作成して行うことができる。具体的には、図４に示すような、複数のボルト等を表す３Ｄモデルの学習用画像データ２０と、当該画像データから個々のボルト等の領域（矩形）を抽出するための学習用画像データ２１（例えば、個々のボルト等の外形を色違いで表した教師データ）とを含むデータセットを所定数用意して、物体検出モデル（ボルト検出）を学習する。３Ｄモデルを用いてデータセットを作成することで、効率的な機械学習が可能となる。学習済の第１学習モデルは、記憶部１１の所定領域（記憶領域）に記憶される。
【0046】
カメラ１４による撮影画像（動画像）に基づく静止画像を第１学習モデルに入力する（取り込む）ことにより、静止画像に含まれる接合材（ボルト等）の画像（接合材画像）が得られる。なお、３Ｄモデルの画像データの他にも、複数のボルト等を実際に撮影した画像データ（実写データ）を機械学習に用いるようにしてもよい。
【0047】
次いでS105では、S103で抽出した個々の接合材画像について、画像サイズを後述のS107の処理を行うのに適したサイズに調整する（S105）。具体的には、個々の接合材画像の画像サイズを「２５６×２５６」（単位はピクセル）に調整（拡大又は縮小）する。S105の処理は、制御部１０が画像サイズ調整部１０２として機能することによるものである（図３を参照）。画像サイズ調整部１０２のことを「サイズ調整手段」ともいう。S105の処理を行うことで、撮影画像から抽出した（抜き出した）接合材画像の画像サイズが所定サイズに統一されるので、安定した検査が可能となる。
【0048】
次いでS107では、S105でサイズ調整した個々の接合材画像（S103で抽出した接合材画像）について、各接合材画像に含まれるマーク（マーキング）に対する対応点（「マーク対応点」ともいう。）、及びボルト軸の端面中央部分に対する対応点（「中央対応点」ともいう。）を導出する（S107）。前述のようにサイズ調整済の接合材画像を用いることで、撮影条件や撮影環境等に左右されることなく各対応点を適切に導出することができる。S107の処理は、制御部１０が対応点導出部１０３として機能することによるものである（図３を参照）。対応点導出部１０３のことを「導出手段」ともいう。
【0049】
前述のように、S103で抽出した接合材画像（ボルト画像）には、接合材を構成するボルト、ナット及び座金（ボルト等）と、被接合材側の添え板（プレート）の一部が含まれており、それらの各部材に付されたマーク（マーキング）も含まれている。S107では、マーク対応点として、ボルト、ナット、座金及び添え板の各々に付されたマークに対する対応点を導出する。マーク対応点は、各部材に付されたマークの位置（マーキングの状態）を特定するための点（しるし）であり、本実施例ではそのマーク対応点が５つ存在する。
【0050】
S107では、前述の中央対応点及び５つのマーク対応点（計６つの対応点）を導出するための機械学習を行った学習モデル（「第２学習モデル」ともいう。）にサイズ調整済の接合材画像を入力することにより、各対応点を導出する。前述のS105によるサイズ調整は、第２学習モデルの機械学習に用いる学習用画像データのサイズに準ずる。
【0051】
第２学習モデルとしては、ＭｏｂｉｌｅｎｅｔＶ２やＲｅｓＮｅｔ５０等の畳み込みニューラルネットワークを使用することができる。第２学習モデルの機械学習は、例えば、３Ｄモデルを用いて対応点推定用のデータセットを作成して行うことができる。具体的には、図５に示すような、マーキングが施されたボルト等及び添え板に対し前述の中央対応点及び５つのマーク対応点を示すマーカー（Ｍ０～Ｍ５）を配置した学習用画像データ２２（教師データ、正解データ）を含むデータセットを所定数用意して、マーカー（対応点）の位置推定モデルを学習する。学習済の第２学習モデルは、記憶部１１の所定領域（記憶領域）に記憶される。
【0052】
本実施例では、図５に示すように、正解とされる中央対応点を推定（導出）するためのマーカーＭ０を、ボルト軸の端面（ピンテール切断面）の中央部分に配置している。また、正解とされるマーク対応点を推定（導出）するためのマーカーＭ１～Ｍ５の配置箇所を、ボルト、ナット、座金及び添え板の各部材の境界近傍としている。具体的には、ボルトとナットとの境界近傍であってボルト側の境界部分にマーカーＭ１を配置し、ボルトとナットとの境界近傍であってナット側の境界部分にマーカーＭ２を配置し、座金の天面と側面との境界近傍（境界部分）にマーカーＭ３を配置し、ナットと座金との境界近傍であってナット側の境界部分にマーカーＭ４を配置し、座金と添え板の境界近傍であって添え板側の境界部分にマーカーＭ５を配置している。それぞれの境界近傍（境界部分）にマーカーＭ１～Ｍ５を配置することで、各部材の位置や回転の比較がしやすくなり、ボルトの締付け状態の判定精度を向上させることができる。
【0053】
また、対応点推定用のデータセットとする学習用画像データ２２は、図５に示すように、少なくとも添え板に付されたマーク（マーカーＭ５）が正面手前側を向くようにして作成される。実際のボルト接合において、一次締め後に施されたマーキングのうち、ナットに付されたマークは本締めによるナットの回転によりその位置が変化し、ボルトに付されたマークは軸回りによりその位置が変化する可能性があり、座金に付されたマークは共回りによりその位置が変化する可能性がある一方、少なくとも添え板（被接合材側）に付されたマーク（マーキング）はナット等が回転してもその位置が変化しないからである。添え板に付されたマーク（マーカーＭ５）が正面手前側を向く状態を基準として学習用画像データを作成することで、推定の精度を向上させることができる。
【0054】
このようにして機械学習を行った第２学習モデルに、カメラ１４の撮影画像に基づく接合材画像（ボルト画像）を入力することにより、当該接合材画像に対するマーカーＭ０～Ｍ５の位置が推定される。その推定結果から、マーカーＭ０の位置を中央対応点Ｐ０（「第０対応点」ともいう。）として導出し、マーカーＭ１の位置をマーク対応点Ｐ１（「第１対応点」ともいう。）として導出し、マーカーＭ２の位置をマーク対応点Ｐ２（「第２対応点」ともいう。）として導出し、マーカーＭ３の位置をマーク対応点Ｐ３（「第３対応点」ともいう。）として導出し、マーカーＭ４の位置をマーク対応点Ｐ４（「第４対応点」ともいう。）として導出し、マーカーＭ５の位置をマーク対応点Ｐ５（「第５対応点」ともいう。）として導出する（S107）。このように第２学習モデルに基づいて、サイズ調整済の接合材画像から中央対応点Ｐ０及びマーク対応点Ｐ１～Ｐ５を導出するので、各対応点を精度よく導出することができる。その結果、ボルトの締付け状態の判定精度を効率的に向上させることが可能となる。
【0055】
なお、中央対応点Ｐ０は、後述のS109による接合材画像の向き調整を行うために導出するものである。したがって、接合材画像の向き調整（S109）を行わない場合には、中央対応点Ｐ０を導出しない構成とすることも可能である。また本実施例では、S107により導出する対応点の数を６つとしているが、対応点（マーカー）の数や位置は本実施例に限定されるものではなく、判定精度等を考慮して適宜変更可能である。
【0056】
次いでS109では、S107による対応点導出の対象とされる接合材画像の向きを調整する（S109）。例えば、S107による対応点導出の対象とされる接合材画像が、図６（Ａ）に示すような接合材画像３０である場合、図６（Ｂ）に示すように、その接合材画像３０について導出された中央対応点Ｐ０とマーク対応点Ｐ５とを結ぶ線Ｌ０が鉛直線（Ｘ軸に垂直な直線）となるように、接合材画像３０の向きを調整する（図６の紙面時計回り方向に接合材画像３０を回転させる）。S109の処理は、制御部１０が画像向き調整部１０４として機能することによるものである（図３を参照）。画像向き調整部１０４のことを「向き調整手段」ともいう。
【0057】
次いでS111では、S109で向きを調整した接合材画像（図６（Ｂ）を参照）に基づいて、当該接合材画像に対応するボルトの締付け状態を判定する（S111）。S111の処理は、制御部１０が締付け状態判定部１０５として機能することによるものである（図３を参照）。締付け状態判定部１０５のことを「判定手段」ともいう。
【0058】
S111では、向き調整済の接合材画像（図６（Ｂ）を参照）において、以下の距離Ａ～Ｄを画像の座標（ＸＹ座標）に基づいてピクセル（ｐｘ）単位で算出する。
距離Ａ：マーク対応点Ｐ１を通る鉛直線Ｌ１からマーク対応点Ｐ２を通る鉛直線Ｌ２までの水平距離（Ｐ１→Ｐ２間の水平距離）。
距離Ｂ：マーク対応点Ｐ３を通る鉛直線Ｌ３からマーク対応点Ｐ４を通る鉛直線Ｌ４までの水平距離（Ｐ３→Ｐ４間の水平距離）。
距離Ｃ：鉛直線Ｌ１とマーク対応点Ｐ５を通る鉛直線Ｌ０（中央対応点Ｐ０とマーク対応点Ｐ５とを結ぶ線Ｌ０）との間の水平距離（Ｐ１－Ｐ５間の水平距離）。
距離Ｄ：鉛直線Ｌ３と鉛直線Ｌ０との間の水平距離（Ｐ３－Ｐ５間の水平距離）。
距離Ａ：マーク対応点Ｐ１を通る鉛直線Ｌ１からマーク対応点Ｐ２を通る鉛直線Ｌ２までの水平距離（Ｐ１→Ｐ２間の水平距離）。
距離Ｂ：マーク対応点Ｐ３を通る鉛直線Ｌ３からマーク対応点Ｐ４を通る鉛直線Ｌ４までの水平距離（Ｐ３→Ｐ４間の水平距離）。
距離Ｃ：鉛直線Ｌ１とマーク対応点Ｐ５を通る鉛直線Ｌ０（中央対応点Ｐ０とマーク対応点Ｐ５とを結ぶ線Ｌ０）との間の水平距離（Ｐ１－Ｐ５間の水平距離）。
距離Ｄ：鉛直線Ｌ３と鉛直線Ｌ０との間の水平距離（Ｐ３－Ｐ５間の水平距離）。
【0059】
そして、算出した距離Ａ～Ｄについて、それぞれ所定条件を満たすか否かを判定することにより、ボルトの締付け状態を判定する。具体的には、距離Ａ及び距離Ｂについては、それぞれ３０ｐｘ以上（第１しきい値）であるか否かを判定し、距離Ｃ及び距離Ｄについては、それぞれ５ｐｘ以下（第２しきい値）であるか否かを判定する。その結果、距離Ａ及び距離Ｂが何れも３０ｐｘ以上であり、且つ、距離Ｃ及び距離Ｄが何れも５ｐｘ以下である場合、すなわち、距離Ａ～Ｄのすべてが予め定められた判定条件（しきい値）を満足する場合には、ボルトの締付け状態は良好（図８（Ｂ）を参照）と判定する。これに対し、距離Ａ及び距離Ｂの少なくとも一方が３０ｐｘ未満（マイナス値を含む）であったり、距離Ｃ及び距離Ｄの少なくとも一方が５ｐｘを超えたりする場合、すなわち、距離Ａ～Ｄの少なくとも１つが予め定められた判定条件（しきい値）を満足しない場合には、ボルトの締付け状態は不良（図８（Ｃ）～（Ｅ）を参照）と判定する。
【0060】
例えば、距離Ａが２９ｐｘ以下である場合や距離Ｃが６ｐｘ以上である場合や距離Ａが２９ｐｘ以下であり且つ距離Ｃが６ｐｘ以上である場合には、ボルトの軸回り（図８（Ｃ）を参照）又はボルトとナットの共回り（図８（Ｄ）を参照）が生じている可能性があり、締付け不良と判定することができる。また、距離Ｂが２９ｐｘ以下である場合には、ボルトの軸回り又はナットと座金の共回り（図８（Ｅ）を参照）が生じている可能性があり、締付け不良と判定することができる。また、距離Ｄが６ｐｘ以上である場合や距離Ｂが２９ｐｘ以下であり且つ距離Ｄが６ｐｘ以上である場合には、ナットと座金の共回りが生じている可能性があり、締付け不良と判定することができる。つまり、距離Ａ及びＣを、ボルトの軸回りやボルトとナットの共回りについての判定基準（判定条件）とすることができ、距離Ｂ及びＤを、ナットと座金の共回りについての判定基準（判定条件）とすることができる。また距離Ｂを、ボルトの軸回りの判定基準（判定条件）とすることもできる。これらの距離Ａ～Ｄに基づいて、軸回りや共回りについて高精度で判定することが可能となる。
【0061】
このように、S109で向きを調整した接合材画像について、距離Ａ～Ｄを画像の座標（ＸＹ座標）に基づいて水平距離（Ｘ軸方向の距離）として算出し、その算出した距離がしきい値を満足するか否かによってボルトの締付け状態（軸回りや共回り等の有無）を判定するので、判定をシンプルに行うことができる。これにより、システムによるボルトの締付け状態の判定を簡便に実現することが可能となる。
【0062】
なお、ボルトの締付け状態を判定する条件（判定条件）は本実施例で示すものに限定されるものではなく、検査対象のボルトや構造物等に応じて適宜変更可能である。また、距離Ａ～Ｄのすべてを算出しない構成とすることも可能である。例えば、距離Ａをボルトの軸回りやボルトとナットの共回りについての判定基準とし、これをもとにボルトの締付け状態を判定するようにしてもよいし、距離Ａ及びＢをボルトの軸回りやナットと座金の共回りについての判定基準とし、これをもとにボルトの締付け状態を判定するようにしてもよいし、距離Ｄをナットと座金の共回りについての判定基準とし、これをもとにボルトの締付け状態を判定するようにしてもよい。すなわち、距離Ａ～Ｄの少なくとも１つを、ボルトの軸回り、ボルトとナットの共回り及びナットと座金の共回りの少なくとも１つの判定基準として算出し、その算出結果に基づいてボルトの締付け状態を判定するように構成すればよい。
【0063】
次いでS113では、S111による判定の結果を出力する（S113）。具体的には、例えば、図７（Ａ）に示すように、表示部１２（表示画面）に表示されている撮影画像に含まれる個々の接合材画像（ボルト画像）について、ボルトの締付け状態の判定結果を識別可能に表示する。S113の処理は、制御部１０が判定結果出力部１０６として機能することによるものである（図３を参照）。判定結果出力部１０６のことを「出力手段」又は「表示手段」ともいう。
【0064】
本実施例では、ボルトの締付け状態の判定結果を表示する場合の表示態様を、良好の場合は青色の網掛け表示、不良の場合は赤色の網掛け表示として、締付け状態の判定結果（ボルト検査の結果）を識別可能に表示するようにしている（図７（Ａ）を参照）。判定結果を識別可能とする表示（例えば、網掛け表示）のことを「判定結果識別情報」ともいう。なお、判定結果の表示態様は本実施例に限定されるものではなく、判定結果を識別可能であればその態様は問わない。
【0065】
また、S111による判定の結果が不良である場合、締付け不良の原因として考えられる軸回りや共回り等を識別可能に表示するようにしてもよい。すなわち、判定結果識別情報として、軸回りの可能性がある旨を示す情報や共回りの可能性がある旨を示す情報等を表示するようにしてもよい。これにより、ボルトの締付け状態の判定結果をより詳細に示すことが可能となる。
【0066】
また、S113により判定結果を表示する際、個々の接合材画像に対し、前述のS107で導出した対応点を示す情報（「対応点情報」ともいう。）を付加して（付加手段）、当該情報を判定結果とともに表示部１２に表示するようにしてもよい。対応点情報としては、例えば、図７（Ｂ）に示すような各対応点を示す対応点画像４０とすることができる。対応点画像の他に、例えば、各対応点の位置（座標）を示す文字等を対応点情報とすることもできる。このように、ボルトの締付け状態の判定結果とともに対応点情報を表示することで、ボルトの締付け状態に関する情報を視覚的に分かりやすく示すことができる。これにより、システムの利便性を高めることが可能となる。
【0067】
なお、対応点Ｐ０～Ｐ５のうち少なくとも１つの対応点について対応点情報を表示（付加）するようにしてもよく、表示（付加）する対応点の位置をユーザ（検査者）からの指示（入力）に基づいて任意に選択できるようにしてもよい（情報表示選択手段）。また、対応点情報の表示・非表示をユーザ（検査者）からの指示（入力）に基づいて任意に切り替えられるようにしてもよい（情報表示切替手段）。これにより、システムの利便性をより高めることが可能となる。
【0068】
以上のボルト検査処理（S100）により、端末装置１の表示部１２（表示画面）には、カメラ１４により撮影される接合箇所における個々のボルトの締付け状態がリアルタイムで表示される。
【0069】
以上の本システムによれば、マーキング角度を検出しなくてもボルトの締付け状態を高精度で判定することが可能である。
【0070】
なお、実施例では、システムを構成する端末装置１としてスマートフォン（携帯端末）を使用するものとしていたが、スマートグラスを使用して、撮影画像や判定結果（検査結果）をスマートグラスのディスプレイに表示するようにしてもよい。スマートグラスを採用することで、ボルト検査の作業性を向上させることができる。
【0071】
また実施例では、S111による締付け状態の判定において、２点間の距離（距離Ａ～Ｄ）を水平距離として算出してするものとしていたが、例えば、マーク対応点Ｐ１とマーク対応点Ｐ２とを結ぶ直線をもとにマーク対応点Ｐ１→Ｐ２間の直線距離を算出したり、マーク対応点Ｐ３とマーク対応点Ｐ５とを結ぶ直線をもとにマーク対応点Ｐ３－Ｐ５間の直線距離を算出したりする等、２点間の距離を直線距離として算出し、該算出した距離に基づいてボルトの締付け状態を判定するようにしてもよい。この場合においても、判定条件（しきい値）を適宜設定することで軸回りや共回りについて判定することができ、マーキング角度を検出しなくてもボルトの締付け状態を判定することができる。
【0072】
また実施例において、ボルトによる接合箇所をカメラ１４で撮影するなか、撮影角度（撮影画角）の影響により、撮影画像からの接合材画像の抽出（S103）や対応点の導出（S107）を行うことができない場合、その旨を示すメッセージや図形等のエラー表示を表示部１２に表示する機能（エラー表示手段）を設けてもよい。これにより、ユーザ（検査者）に対し適切な撮影を促すことができる。
【0073】
また実施例では、カメラ１４を動画撮影モードで起動し（S101）、動画撮影モードで撮影される撮影画像（動画像）に基づいて接合材画像の抽出（S103）や対応点の導出（S107）等を行い、ボルトの締付け状態を判定する（S111）ものとしていた。これに対し、ボルトによる接合箇所を静止画撮影モード（写真モード）で撮影して、その撮影画像（静止画像）を読み込んで、当該撮影画像に基づいて接合材画像の抽出（S103）や対応点の導出（S107）等を行い、ボルトの締付け状態を判定する（S111）ように構成することもできる。これによれば、事後的なボルト検査が可能となる。
【符号の説明】
【0074】
１ 端末装置、１０ 制御部、１１ 記憶部、１２ 表示部、１３ 入力部、１４ カメラ、１５ 通信部、２０～２２ 学習用画像データ、３０ 接合材画像、４０ 対応点画像、１０１ 接合材抽出部、１０２ 画像サイズ調整部、１０３ 対応点導出部、１０４ 画像向き調整部、１０５ 締付け状態判定部、１０６ 判定結果出力部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】