特開 2023-174303 判定装置、判定システム、判定方法、および判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023174303

(43)【公開日】2023-12-07

(54)【発明の名称】判定装置、判定システム、判定方法、および判定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231130BHJP

【ＦＩ】

G06T7/00 610

G06T7/00 350B

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022087074

(22)【出願日】2022-05-27

(71)【出願人】

【識別番号】000005119

【氏名又は名称】日立造船株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】和田 貴裕

(72)【発明者】

【氏名】三宅 寿英

(72)【発明者】

【氏名】岡村 敬

(72)【発明者】

【氏名】松下 裕明

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA03

5L096CA02

5L096DA02

5L096EA35

5L096FA06

5L096FA33

5L096GA05

5L096GA51

5L096HA09

5L096KA04

(57)【要約】

【課題】ボルトの締結状態の判定精度の低下を抑える。
【解決手段】判定装置（１）は、締結状態の判定対象となるボルトが写る複数の判定対象画像の中から、当該画像におけるボルトの写り方に基づき、締結状態の判定に用いる画像を選択する選択部（１０６）と、選択部（１０６）が選択する画像に基づいてボルトの締結状態を判定する判定部（１０７）と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

締結状態の判定対象となるボルトが写る複数の第１の画像の中から、当該画像における前記ボルトの写り方に基づき、締結状態の判定に用いる第２の画像を選択する選択部と、
前記選択部が選択する前記第２の画像に基づいて前記ボルトの締結状態を判定する判定部と、を備える判定装置。

【請求項2】

前記選択部は、前記第１の画像のぶれ度合いに基づいて前記第２の画像を選択する、請求項１に記載の判定装置。

【請求項3】

前記選択部は、前記第１の画像に写る前記ボルトの輪郭部における画素値の分散を、当該第１の画像のぶれ度合いを示す指標値として用いて前記第２の画像を選択する、請求項２に記載の判定装置。

【請求項4】

前記指標値の閾値を、前記第１の画像に写る前記ボルトのサイズ、または、前記第１の画像の撮影距離に応じて設定する閾値設定部を備え、
前記選択部は、前記指標値が前記閾値以上である前記第１の画像を、前記第２の画像として選択する、請求項３に記載の判定装置。

【請求項5】

１または複数の前記ボルトが写る第３の画像から、個々のボルトが写る領域をそれぞれ検出する領域検出部と、
前記第３の画像から個々の前記ボルトが写る領域を切り出して前記第１の画像を生成する画像生成部と、を備える、請求項１から４の何れか１項に記載の判定装置。

【請求項6】

前記領域検出部は、ピンテールが破断された前記ボルトが写る領域と、ピンテールが破断されていない前記ボルトが写る領域とを区別して検出し、
前記画像生成部は、前記第３の画像からピンテールが破断された前記ボルトが写る領域を切り出して前記第１の画像を生成する、請求項５に記載の判定装置。

【請求項7】

前記画像生成部は、前記領域検出部が検出した領域のうち、前記第３の画像の外縁に沿って位置する領域を除いた他の領域を切り出して前記第１の画像を生成する、請求項５に記載の判定装置。

【請求項8】

前記画像生成部は、前記領域検出部が検出した領域のうち、当該領域のサイズが所定の正常範囲内である領域を切り出して前記第１の画像を生成する、請求項５に記載の判定装置。

【請求項9】

前記判定部は、締結状態がそれぞれ異なる前記ボルトを撮影した画像群から抽出した特徴量を特徴空間に埋め込んだときに、締結状態が共通する画像群由来の当該特徴量間の距離が小さくなるように学習することにより生成された判定モデルを用いて前記判定を行う、請求項１から４の何れか１項に記載の判定装置。

【請求項10】

撮影装置と表示装置とを備えたヘッドマウントディスプレイと、
請求項１に記載の判定装置と、を含み、
前記判定装置は、前記撮影装置が撮影する画像を用いて、前記ヘッドマウントディスプレイを装着するユーザの視野内のボルトの締結状態を判定すると共に、当該判定の結果を前記表示装置に表示させる、判定システム。

【請求項11】

１または複数の情報処理装置が実行する判定方法であって、
締結状態の判定対象となるボルトが写る複数の第１の画像の中から、当該画像における前記ボルトの写り方に基づき、締結状態の判定に用いる第２の画像を選択する選択ステップと、
前記選択ステップで選択した前記第２の画像に基づいて前記ボルトの締結状態を判定する判定ステップと、を含む判定方法。

【請求項12】

請求項１に記載の判定装置としてコンピュータを機能させるための判定プログラムであって、前記選択部および前記判定部としてコンピュータを機能させるための判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ボルトの締結状態を判定する判定装置等に関する。

【背景技術】

【0002】

従来から、ボルトの締結状態の判定を自動で行う技術が知られている。例えば、下記の特許文献１には、高力ボルトの締付け状態を撮影した画像に基づいて、プレートと座金とナットと高力ボルトのそれぞれに施されたマーキングについてのマーキング角度を検出し、検出したマーキング角度に基づいて締付け状態を判定する、高力ボルトの締付け状態の検知システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８‐００９９３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述のような従来技術には、撮影した画像におけるマーキング箇所の写り具合等によって判定精度が低下することがあるという課題がある。本発明の一態様は、判定用画像に判定に適さないものが含まれていた場合であっても、ボルトの締結状態の判定精度の低下を抑えることが可能な判定装置等を実現することを目的とする。

【課題を解決するための手段】

【0005】

上記の課題を解決するために、本発明の一態様に係る判定装置は、締結状態の判定対象となるボルトが写る複数の第１の画像の中から、当該画像における前記ボルトの写り方に基づき、締結状態の判定に用いる第２の画像を選択する選択部と、前記選択部が選択する前記第２の画像に基づいて前記ボルトの締結状態を判定する判定部と、を備える。

【0006】

また、上記の課題を解決するために、本発明の一態様に係る判定方法は、１または複数の情報処理装置が実行する判定方法であって、締結状態の判定対象となるボルトが写る複数の第１の画像の中から、当該画像における前記ボルトの写り方に基づき、締結状態の判定に用いる第２の画像を選択する選択ステップと、前記選択ステップで選択した前記第２の画像に基づいて前記ボルトの締結状態を判定する判定ステップと、を含む。

【発明の効果】

【0007】

本発明の一態様によれば、判定用画像に判定に適さないものが含まれていた場合であっても、ボルトの締結状態の判定精度の低下を抑えることができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る判定装置の要部構成の一例を示すブロック図である。

【図2】上記判定装置を含む判定システムの概要を示す図である。

【図3】上記判定装置が判定する締結状態の例を示す図である。

【図4】対象画像および判定用画像の生成例を示す図である。

【図5】対象画像において、ピンテールが破断されたボルトが写る領域と、ピンテールが破断されていないボルトが写る領域とを区別して検出した検出結果の例を示す図である。

【図6】ぶれ度合いに基づいて判定用画像を選択した例を示す図である。

【図7】判定モデルにより抽出した特徴量を特徴空間に埋め込んだ例を示す図である。

【図8】上記判定装置の判定結果の表示例を示す図である。

【図9】上記判定装置が実行する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

〔システム構成〕
本実施形態に係る判定システム５について図２に基づいて説明する。図２は、判定システム５の概要を示す図である。判定システム５は、ボルトの締結状態を自動で判定するシステムであり、図示のように、判定装置１とヘッドマウントディスプレイ２とを含む。

【0010】

ヘッドマウントディスプレイ２は、ユーザが頭部に装着して使用するゴーグルあるいは眼鏡状の装置であり、図示のように、撮影装置２１と表示装置２２とを備えている。撮影装置２１は、ヘッドマウントディスプレイ２を装着するユーザの顔の向きと撮影方向とが一致するように配置されており、ユーザの顔の正面方向を撮影する。また、表示装置２２は、ヘッドマウントディスプレイ２を装着するユーザの眼前に位置するように配置されている。また、図示していないが、ヘッドマウントディスプレイ２は判定装置１と通信するための通信部を備えていてもよい。

【0011】

本実施形態では、表示装置２２が透過型の表示装置である例を説明する。つまり、ヘッドマウントディスプレイ２を装着するユーザは、表示装置２２が表示させる像を視認することができると共に、表示装置２２の向こう側の様子を表示装置２２越しに視認することができる。なお、表示装置２２として非透過型の表示装置を適用することも可能である。この場合、表示装置２２には、撮影装置２１が撮影する画像（動画像）をリアルタイムで表示させればよい。

【0012】

判定装置１は、撮影装置２１が撮影する画像を用いて、ヘッドマウントディスプレイ２を装着するユーザの視野内のボルトの締結状態を判定する。そして、判定装置１は、ボルトの締結状態の判定の結果を表示装置２２に表示させる。なお、図２には、判定装置１がノート型のパーソナルコンピュータである例を示しているが、判定装置１は締結状態の判定等の所定の機能を有する情報処理装置であればよく、ノート型のパーソナルコンピュータに限られない。

【0013】

また、図２には、複数のボルトが写る画像ＩＭＧ１が示されている。ユーザの視野にボルトが入ると、撮影装置２１が撮影する画像は、画像ＩＭＧ１のようにボルトが写る画像となる。判定装置１は、このような画像を解析することにより、当該画像に写るボルトの締結状態を判定し、判定の結果を表示装置２２に表示させる。

【0014】

以上のように、判定システム５は、撮影装置２１と表示装置２２とを備えたヘッドマウントディスプレイ２と判定装置１とを含み、判定装置１は、撮影装置２１が撮影する画像を用いて、ヘッドマウントディスプレイ２を装着するユーザの視野内のボルトの締結状態を判定すると共に、当該判定の結果を表示装置２２に表示させる。この構成によれば、ボルトの締結作業を行うユーザに、その眼前にあるボルトの締結状態を容易に認識させることができる。そして、これにより、ボルトの締結作業の効率化および高精度化が実現できる。

【0015】

なお、判定装置１は、ヘッドマウントディスプレイ２に搭載されたものではない、通常の撮影装置と組み合わせて使用することもできる。この場合、通常の撮影装置で撮影したボルトの画像を判定装置１に入力して当該ボルトの締結状態を判定させればよく、判定結果は、判定装置１の表示部あるいは他の表示装置に表示させればよい。

【0016】

〔締結状態について〕
ここで、ボルトの締結の手順と、判定装置１が判定する締結状態について図３に基づいて説明する。図３は、判定装置１が判定する締結状態の例を示す図である。図３には、ボルトＡ１の斜視図を示すと共に、ボルトＡ１の５つの締結状態（締結状態３１～３５）を示している。

【0017】

図３に示すボルトＡ１は、外周部にねじが切られた円柱状のボルトである。ボルトＡ１は、典型的には高力ボルトであるが、判定装置１は、高力ボルト以外のボルトの締結状態の判定に用いることもできる。ボルトＡ１にはまず座金Ａ３が通され、続いてボルトＡ１にナットＡ２が締結される。これが一次締結である。

【0018】

一次締結の完了後、ボルトＡ１等に対してマーキングが行われる。そして、マーキング後に二次締結が行われる。二次締結では、締結力が予め定められた範囲になるように、ナットＡ２が専用の器具で締め上げられる。

【0019】

マーキングは、適切な二次締結が行われたか否かを確認するためのものであり、図３に示すボルトＡ１等にはマーキングＡ４が付されている。マーキングＡ４は、ボルトＡ１からナットＡ２および座金Ａ３を経由して締結対象の部材表面まで真っ直ぐに引かれた線状のマーキングである。

【0020】

二次締結が正常に行われた場合、ボルトＡ１と座金Ａ３は動かず、ナットＡ２のみが回る。したがって、図３に示す締結状態３１のように、ボルトＡ１と座金Ａ３と締結対象の部材上のマーキングＡ４は一直線上である状態が保たれる一方、ナットＡ２上のマーキングＡ４はナットＡ２の回転方向にずれた位置になる。

【0021】

一方、二次締結が正常に行われなかった場合には、マーキングＡ４の外観が締結状態３１とは異なるものとなる。例えば、二次締結を行っていなかった場合、すなわち締め忘れの場合には、図３に示す締結状態３２のように、ボルトＡ１から締結対象の部材上までのマーキングＡ４は一直線上である状態が保たれる。

【0022】

また、例えば、ナットＡ２を締め上げた際に、ナットＡ２と共にボルトＡ１まで回ってしまった場合、すなわち軸回りが発生した場合には、図３に示す締結状態３３のように、ボルトＡ１と座金Ａ３上のマーキングＡ４は一直線に並ばず、ボルトＡ１上のマーキングＡ４がナットＡ２の回転方向にずれた位置になる。

【0023】

さらに、例えば、ナットＡ２を締め上げた際に、座金Ａ３まで回ってしまった場合、すなわち共回りが発生した場合には、図３に示す締結状態３４のように、締結対象の部材上のマーキングＡ４に対し、座金Ａ３上のマーキングＡ４がナットＡ２の回転方向にずれた位置になる。軸回りと共回りの何れが発生した場合であっても適正な締結力が得られなくなる。

【0024】

また、図３に示す締結状態３５においては、ボルトＡ１等に対してマーキングが施されていない。マーキングが施されていなければ、締結状態が正常であるか否かを判断することは困難であるため、判定装置１は、マークなしの締結状態３５も正常ではないと判定することが好ましい。

【0025】

判定装置１は、二次締結後において、以上のようなマーキングＡ４の有無、あるいはマーキングＡ４の状態に基づいて、締結状態が正常であるか否かを判定することができる。また、判定装置１は、正常でないと判定した場合には、ボルトＡ１等がどのような状態であるか、すなわち締め忘れ、軸回り、共回り、およびマークなしの何れの状態に該当するかを判定することが可能である。なお、判定装置１は、少なくともボルトの締結状態が正常であるか否かを判定できればよく、正常ではない締結状態を上記のように分類することは必須ではない。

【0026】

〔装置構成〕
図１に基づいて判定装置１の構成を説明する。図１は、判定装置１の要部構成の一例を示すブロック図である。図示のように、判定装置１は、判定装置１の各部を統括して制御する制御部１０と、判定装置１が使用する各種データを記憶する記憶部１１を備えている。また、判定装置１は、判定装置１が他の装置と通信するための通信部１２、判定装置１に対する各種データの入力を受け付ける入力部１３、および判定装置１が各種データを出力するための出力部１４を備えている。また、制御部１０には、画像取得部１０１、対象画像生成部１０２、領域検出部１０３、判定用画像生成部（画像生成部）１０４、閾値設定部１０５、選択部１０６、判定部１０７、および表示制御部１０８が含まれている。そして、記憶部１１には、検出モデル１１１と判定モデル１１２が記憶されている。

【0027】

画像取得部１０１は、１または複数のボルトが写る画像を取得する。例えば、画像取得部１０１は、図２に示したヘッドマウントディスプレイ２が備える撮影装置２１によって撮影された画像を取得してもよい。この場合、画像取得部１０１は、通信部１２を介してヘッドマウントディスプレイ２と通信することにより、撮影装置２１が撮影する画像を取得すればよい。また、例えば、画像取得部１０１は、通常の撮影装置（例えばカメラやビデオカメラ）でボルトを撮影することにより生成された画像を取得してもよい。

【0028】

なお、画像取得部１０１が取得する画像は、ボルトが写った静止画像であればよい。例えば、撮影装置２１が静止画像を撮影するものであれば、画像取得部１０１は撮影された静止画像をそのまま取得すればよい。また、撮影装置２１が動画像を撮影するものであれば、画像取得部１０１は、当該動画像から当該動画像を構成するフレーム画像を取得すればよい。

【0029】

対象画像生成部１０２は、画像取得部１０１が取得する画像から、締結状態の判定対象となる対象画像（１または複数のボルトが写る第３の画像）を生成する。対象画像の生成方法については図４に基づいて後述する。

【0030】

領域検出部１０３は、対象画像生成部１０２が生成する対象画像から、個々のボルトが写る領域をそれぞれ検出する。個々のボルトが写る領域の検出には、検出モデル１１１が用いられる。

【0031】

検出モデル１１１は、１または複数のボルトが写る画像から、個々のボルトが写る領域を検出するように機械学習された学習済みモデルである。検出モデル１１１は、例えば、１または複数のボルトが写る画像に対し、個々のボルトが写る領域の位置および範囲を正解データとして対応付けたものを教師データとして機械学習することにより生成されたものであってもよい。具体例を挙げれば、ＹＯＬＯ（You Only Look Once）等のディープラーニングモデルを検出モデル１１１として用いてもよい。

【0032】

検出モデル１１１の教師データには、想定される撮影距離や、撮影角度等に応じた様々な画像を含めることが好ましい。ただし、画像に正解データを対応付けるアノテーション作業には手間と時間を要する。このため、１つの元画像を画像処理により変換して複数の画像を生成し、各画像を背景画像に貼り付けることにより、アノテーション作業を最小限にしつつ、多様な教師データを生成するようにしてもよい。上記画像処理としては、例えばリサイズ、左右反転、回転、およびコントラストの変更等が挙げられる。

【0033】

判定用画像生成部１０４は、対象画像生成部１０２が生成する対象画像から、領域検出部１０３が検出する領域（個々のボルトが写る領域）を切り出して判定用画像（第１の画像）を生成する。

【0034】

閾値設定部１０５は、選択部１０６による画像の選択に用いられる閾値を設定する。具体的には、閾値設定部１０５は、判定用画像生成部１０４が生成する判定用画像のそれぞれについて、選択部１０６が当該判定用画像を選択するか否かを判定するための閾値を、当該判定用画像に写るボルトのサイズ、または、当該判定用画像の撮影距離に応じて設定する。なお、ここで「ボルトのサイズ」とは実際のボルトのサイズではなく、判定用画像上におけるボルトのサイズである。判定用画像は、個々のボルトが写る領域を切り出したものであるから、判定用画像のサイズをボルトのサイズとみなすこともできる。

【0035】

選択部１０６は、締結状態の判定対象となるボルトが写る複数の判定用画像の中から、判定用画像におけるボルトの写り方に基づき、締結状態の判定に用いる画像（第２の画像）を選択する。詳細は後述するが、選択部１０６は、画像を選択する際に、閾値設定部１０５が設定する閾値を用いる。

【0036】

判定部１０７は、選択部１０６が選択する画像に基づいてボルトの締結状態を判定する。ボルトの締結状態の判定には、判定モデル１１２が用いられる。判定モデル１１２は、締結状態がそれぞれ異なるボルトを撮影した画像群から抽出した特徴量を特徴空間に埋め込んだときに、締結状態が共通する画像群由来の当該特徴量間の距離が小さくなるように学習することにより生成されたモデルである。

【0037】

表示制御部１０８は、判定部１０７の判定結果を表示させる。判定結果を表示させる対象となる装置は特に限定されない。例えば、表示制御部１０８は、図２に示したヘッドマウントディスプレイ２が備える表示装置２２に判定結果を表示させてもよい。この場合、画像取得部１０１は、通信部１２を介してヘッドマウントディスプレイ２と通信することにより、表示装置２２に判定結果を表示させればよい。また、例えば、出力部１４が表示装置である場合、表示制御部１０８は、出力部１４に判定結果を表示させてもよい。

【0038】

以上のように、判定装置１は、締結状態の判定対象となるボルトが写る複数の判定用画像の中から、当該判定用画像におけるボルトの写り方に基づき、締結状態の判定に用いる画像を選択する選択部１０６と、選択部１０６が選択する画像に基づいてボルトの締結状態を判定する判定部１０７と、を備える。この構成によれば、判定用画像の中に判定に適さないものが含まれている場合であっても、ボルトの締結状態の判定精度の低下を抑えることが可能になる。

【0039】

また、以上のように、判定装置１は、１または複数のボルトが写る対象画像から個々のボルトが写る領域をそれぞれ検出する領域検出部１０３と、対象画像から個々のボルトが写る領域を切り出して判定用画像を生成する判定用画像生成部１０４と、を備えていてもよい。これにより、１または複数のボルトが写る対象画像を元に、個々のボルトの締結状態を自動で判定することができる。なお、判定装置１は、入力部１３等を介して入力された判定用画像を用いてボルトの締結状態を判定することも可能であり、領域検出部１０３と判定用画像生成部１０４は省略することも可能である。

【0040】

〔対象画像および判定用画像の生成方法について〕
対象画像生成部１０２による対象画像の生成方法と、判定用画像生成部１０４による判定用画像の生成方法について、図４に基づいて説明する。図４は、対象画像および判定用画像の生成例を示す図である。

【0041】

図４に示すＩＭＧ２は、ヘッドマウントディスプレイ２が備える撮影装置２１によって撮影された画像の例である。対象画像生成部１０２は、画像ＩＭＧ２をそのまま対象画像としてもよいが、その場合、撮影装置２１からボルトまでの距離等によっては画像ＩＭＧ２に写るボルトのサイズが小さくなり、ボルトの写る領域の検出精度が低下する可能性がある。また、画像ＩＭＧ２ではボルトが写っていない領域が占める割合が高くなっている。

【0042】

そこで、対象画像生成部１０２は、画像ＩＭＧ２の一部を切り出して対象画像としてもよい。図４の例では、対象画像生成部１０２は、画像ＩＭＧ２の中央部の領域ＡＲ１を切り出して、対象画像ＩＭＧ３を生成している。ボルトの締結作業を行うユーザ（ヘッドマウントディスプレイ２の装着者）の視野の中心にはボルトが存在することが多いと考えられるから、画像ＩＭＧ２の中央部の領域ＡＲ１を切り出して対象画像とする方法は有効である。領域ＡＲ１のサイズは、検出モデル１１１に入力可能な所定のサイズ、つまり検出モデル１１１の学習に用いた教師データの画像と同じサイズとしてもよい。なお、切り出す領域の決定方法は任意であり、この例に限られない。また、領域ＡＲ１のサイズは、上記教師データの画像とは異なるサイズであってもよく、この場合、検出モデル１１１への入力時に対象画像を所定サイズにリサイズすればよい。

【0043】

次に、領域検出部１０３が、対象画像ＩＭＧ３から個々のボルトが写る領域を検出する。例えば、領域検出部１０３は、対象画像ＩＭＧ３を検出モデル１１１に入力して得られる出力値に基づいて個々のボルトが写る領域を検出してもよい。図４に示す対象画像ＩＭＧ３’は、領域検出部１０３の検出結果を示すものであり、破線の矩形で示す領域ＡＲ２およびＡＲ２ａ等が領域検出部１０３によって検出された領域（個々のボルトが写る領域）である。

【0044】

そして、判定用画像生成部１０４は、対象画像ＩＭＧ３から、領域検出部１０３が検出する領域ＡＲ２等を切り出して判定用画像ＩＭＧ４を生成する。なお、図４には１つの判定用画像ＩＭＧ４のみを示しているが、判定用画像は領域検出部１０３が検出する領域のそれぞれについて生成される。

【0045】

ここで、図４の対象画像ＩＭＧ３’において、領域ＡＲ２ａはボルトが写る領域として検出されたものであるが、領域ＡＲ２ａにはボルトの一部のみ写っており、ボルトの全体が写っていない。このため、領域ＡＲ２ａを切り出して判定用画像とした場合、その判定用画像に基づく締結状態の判定結果は妥当なものとならない可能性がある。特に、マーキングの一部または全部が写っていない判定用画像を用いた場合、締結状態の判定結果は妥当なものとならない可能性が高い。

【0046】

そこで、判定用画像生成部１０４は、領域検出部１０３が検出した領域のうち、対象画像ＩＭＧ３’の外縁に沿って位置する領域を除いた他の領域を切り出して判定用画像を生成してもよい。例えば、判定用画像生成部１０４は、対象画像ＩＭＧ３’に示される９つの領域のうち、領域ＡＲ２ａを含む最下段の３つの領域を除き、領域ＡＲ２を含むその他６つの領域を切り出して判定用画像を生成してもよい。

【0047】

これにより、ボルトの一部が端部で見切れた画像が判定用画像となる可能性を低減することができる。なお、対象画像ＩＭＧ３’の外縁に沿って位置する領域は予め規定しておけばよい。また、対象画像ＩＭＧ３’の外縁に沿って位置する領域内に、領域検出部１０３が検出した領域が位置するか否かの判定方法も予め規定しておけばよい。例えば、領域検出部１０３が検出した領域の代表座標（例えば、中心位置の座標や左上端の座標など）が、対象画像ＩＭＧ３’の外縁に沿って位置する領域内に含まれているか否かにより当該判定を行ってもよい。また、当該判定は、上記代表座標から対象画像の端部までの距離に基づいて行うこともできる。

【0048】

また、領域検出部１０３が検出した領域が大きすぎたり小さすぎたりするときには、撮影距離が近すぎたり、遠すぎたりすることがある。また、そもそも検出結果が誤りであることもあり得る。何れにせよ、検出された領域が大きすぎたり小さすぎたりするときに、その領域を切り出して判定用画像としても、その判定用画像から妥当な判定結果は出にくいと考えられる。

【0049】

そこで、判定用画像生成部１０４は、領域検出部１０３が検出した領域のうち、当該領域のサイズが所定の正常範囲内である領域を切り出して判定用画像を生成してもよい。これにより、判定に適した判定用画像を生成することができる。

【0050】

例えば、判定用画像生成部１０４は、幅が所定の正常範囲内である領域を切り出してもよいし、高さが所定の正常範囲内である領域を切り出してもよく、また、幅と高さの積あるいは和が所定の正常範囲内である領域を切り出してもよい。なお、正常範囲は、上限値と下限値により規定されていてもよいし、上限値または下限値の何れかにより規定されていてもよい。

【0051】

なお、上述した図４の例では、画像ＩＭＧ２の中央部の領域ＡＲ１を切り出して対象画像ＩＭＧ３を生成しているが、画像ＩＭＧ２を複数（例えば４つ）に分割することにより得られる各画像を対象画像としてもよい。この場合、分割により得られた各対象画像における判定結果は、元の画像ＩＭＧ２の判定結果としてもよい。

【0052】

画像ＩＭＧ２を分割して対象画像を生成することにより、画像ＩＭＧ２の何れの箇所に写るボルトについても検出することが可能になる。よって、この構成は、画像ＩＭＧ２の全体にボルトが写っているときに有効である。なお、画像ＩＭＧ２を分割することなく、適宜リサイズして検出モデル１１１に入力することによっても、画像ＩＭＧ２の何れの箇所に写るボルトについても検出することが可能である。ただし、この場合、個々のボルトが写る領域が小さくなるため検出精度が低下することがある。この点、画像ＩＭＧ２を分割して複数の対象画像を生成する場合、各対象画像を検出モデル１１１に入力する際にリサイズすることにより、個々のボルトが写る領域を大きくすることができるから、上記のような検出精度の低下を抑えることができる。

【0053】

〔ピンテールの破断の判定について〕
高力ボルトの中には、トルシア型高力ボルトと呼ばれるものがある。トルシア型高力ボルトは、二次締結時にボルト軸の先端部（ピンテールと呼ばれる部位）が破断されるようになっている。つまり、トルシア型高力ボルトでは、ピンテールが破断されているか否かにより、二次締結が行われているか否かが一目で分かるようになっている。

【0054】

そこで、領域検出部１０３は、ピンテールが破断されたボルトが写る領域と、ピンテールが破断されていないボルトが写る領域とを区別して検出してもよい。この場合、対象画像からボルトが写る領域を検出すると共に、検出した領域に写るボルトが、ピンテールが破断されたボルトであるか、ピンテールが破断されていないボルトであるかを分類するように機械学習された検出モデル１１１を用いればよい。

【0055】

図５は、対象画像ＩＭＧ３１において、ピンテールが破断されたボルトが写る領域と、ピンテールが破断されていないボルトが写る領域とを区別して検出した検出結果の例を示す図である。図５において、領域ＡＲ２１は、ピンテールが破断されたボルトが写る領域として検出されたものであり、領域ＡＲ２２は、ピンテールが破断されていないボルトが写る領域として検出されたものである。図示のように、領域ＡＲ２２に写るボルトはピンテールＡ１１が破断されずに残っている。

【0056】

上述のように、ピンテールＡ１１が破断されずに残っているボルトは、二次締結が行われていないボルトであり、そのようなボルトについて二次締結の締結状態を判定しても無駄である。このため、判定用画像生成部１０４は、対象画像ＩＭＧ３１において検出された領域ＡＲ２１および２２のうち、ピンテールが破断されたボルトが写る領域ＡＲ２１を切り出して判定用画像を生成し、領域ＡＲ２２は判定用画像の生成には用いない。

【0057】

このように、領域検出部１０３は、ピンテールが破断されたボルトが写る領域と、ピンテールが破断されていないボルトが写る領域とを区別して検出してもよい。そして、判定用画像生成部１０４は、対象画像からピンテールが破断されたボルトが写る領域を切り出して判定用画像を生成してもよい。

【0058】

上述のように、トルシア型高力ボルトは、締結するとピンテールが破断するようになっており、ピンテールが破断されているか残っているかにより、締結後であるか締結前であるかが一目で分かるようになっている。よって、上記の構成によれば、ピンテールが破断されておらず、締結前であることが明白なボルトの画像は判定部１０７による締結状態の判定対象外とすることができ、効率的な締結状態判定が実現できる。

【0059】

なお、領域検出部１０３は、ボルトが写る領域の検出と、検出した領域に写るボルトのピンテールが破断されているか否かの判定とを順次行ってもよい。この場合、領域検出部１０３は、ボルトが写る領域を検出する検出モデルと、検出した領域に写るボルトを、ピンテールが破断されているボルトまたはピンテールが破断されていないボルトに分類する分類モデルとを用いてもよい。

【0060】

また、図５では、ピンテールが破断されているボルトの領域には「ＯＫ」、ピンテールが破断されていないボルトには「ＮＧ」との文字列が表示されており、この文字列の隣には当該検出結果の確度（確からしさ）を示す数値が表示されている。このような数値は、検出モデル１１１に出力させることができる。確度が低い領域にはボルトが明瞭に写っていない等の問題がある可能性があるため、判定用画像生成部１０４は、確度が所定の閾値以上の領域を切り出して判定用画像を生成し、確度が当該閾値未満の領域は判定用画像の生成に用いないようにしてもよい。

【0061】

〔ぶれ度合いに基づく判定用画像の選択について〕
選択部１０６は、以上のようにして生成された判定用画像の中から、判定用画像におけるボルトの写り方に基づいて締結状態の判定に用いるものを選択する。例えば、選択部１０６は、判定用画像のぶれ度合いに基づいて上記の選択を行ってもよい。これにより、判定用画像に判定部１０７による判定に適さないほどぶれているものが含まれている場合であっても、ボルトの締結状態の判定精度の低下を抑えることが可能になる。

【0062】

図６は、ぶれ度合いに基づいて判定用画像を選択した例を示す図である。図６には、判定用画像ＩＭＧ４１と判定用画像ＩＭＧ４２を示している。このうち、判定用画像ＩＭＧ４１は、ぶれた不鮮明な画像となっており、他方の判定用画像ＩＭＧ４２はぶれていない鮮明な画像となっている。当然のことながら、ぶれて不鮮明な判定用画像ＩＭＧ４１を用いる場合、鮮明な判定用画像ＩＭＧ４２を用いる場合と比べて、判定部１０７による判定の精度は低くなる可能性が高くなる。

【0063】

このため、選択部１０６は、判定用画像ＩＭＧ４１については判定部１０７による判定対象として選択せず、判定用画像ＩＭＧ４２の方を判定部１０７による判定対象として選択してもよい。ぶれ度合いの評価方法は特に限定されない。例えば、選択部１０６は、判定用画像に写るボルトの輪郭部における画素値の分散を、当該判定用画像のぶれ度合いを示す指標値として用いて、判定に用いる画像を選択してもよい。

【0064】

これは、判定用画像に写るボルトの輪郭部における画素値の分散には、判定用画像のぶれ度合いが反映されるからである。具体的には、判定用画像のぶれ度合いが大きいほど、その判定用画像に写るボルトの輪郭部における画素値の分散は小さくなる。よって、選択部１０６は、ボルトの輪郭部における画素値の分散を判定用画像のぶれ度合いを示す指標値として用いることにより、ぶれ度合いが判定に支障のない程度である判定用画像を選択することができる。

【0065】

選択部１０６は、ボルトの輪郭部における画素値の分散に基づいて判定用画像を選択する場合、まず、判定用画像からボルトの輪郭部を抽出する。例えば、判定用画像がカラー画像である場合には、選択部１０６は、当該判定用画像を白黒の画像に変換した上で、ラプラシアンフィルタ等のエッジ検出フィルタを適用することにより、ボルトの輪郭部を抽出してもよい。

【0066】

そして、選択部１０６は、抽出した輪郭部における画素値の分散の値を算出し、算出した値が閾値以上である判定用画像を、判定部１０７による判定対象として選択してもよい。なお、閾値は予め設定された固定値であってもよいし、以下説明するようにして閾値設定部１０５が設定したものであってもよい。

【0067】

閾値設定部１０５は、上述の閾値を、判定用画像に写るボルトのサイズに応じて設定してもよい。また、閾値設定部１０５は、上述の閾値を、判定用画像の撮影距離に応じて設定してもよい。

【0068】

一般に、撮影距離が長いほど撮影される画像はぶれやすくなるから、撮影距離が長い判定用画像はぶれている可能性が高い。また、撮影距離が長いほど撮影される画像に写るボルトのサイズは小さくなるから、写っているボルトのサイズが小さい判定用画像もぶれている可能性が高い。

【0069】

そこで、上記のように、指標値の閾値を、判定用画像に写るボルトのサイズ、または、判定用画像の撮影距離に応じて設定し、指標値が設定した閾値以上である判定用画像を判定部１０７による判定対象として選択する、という構成を採用してもよい。これにより、ぶれている可能性が高い判定用画像を的確に除外して、妥当な画像を判定部１０７の判定対象とすることが可能になる。

【0070】

なお、判定用画像は領域検出部１０３によって検出された、個々のボルトが写る領域を切り出したものであるから、判定用画像に写るボルトのサイズは、判定用画像の幅および高さに応じたものとなる。このため、閾値設定部１０５は、判定用画像のサイズを当該判定用画像に写るボルトのサイズとみなして閾値を設定してもよい。例えば、閾値設定部１０５は、判定用画像の幅、高さ、または、幅と高さの積あるいは和に応じた閾値を設定してもよい。また、撮影距離を用いる場合、閾値設定部１０５は、例えば距離センサ等によって測定された撮影距離を取得し、この撮影距離に応じた閾値を設定してもよい。

【0071】

閾値設定部１０５は、判定用画像に写るボルトのサイズが小さいほど（撮影距離が大きいほど）、閾値を小さい値に設定すればよい。例えば、ボルトのサイズ（あるいは撮影距離）の範囲毎に実験的に求めた最適な閾値を予め記憶部１１に記憶させておいてもよい。この場合、閾値設定部１０５は、記憶部１１を参照して、判定用画像に写るボルトのサイズ（あるいは撮影距離）に応じた最適な閾値を特定すればよい。

【0072】

〔判定モデルを用いた締結状態の判定について〕
上述のように、判定モデル１１２は、締結状態がそれぞれ異なるボルトを撮影した画像群から抽出した特徴量を特徴空間に埋め込んだときに、締結状態が共通する画像群由来の当該特徴量間の距離が小さくなるように学習することにより生成されたモデルである。

【0073】

例えば、判定用画像に写るボルトの締結状態が図３に示した締結状態３１～３５の何れに該当するかを判定モデル１１２に判定させる場合、締結状態３１～３５のそれぞれを判定対象のクラスとして、各クラスに属する画像群を教師データとする。そして、それらの教師データを用いて、クラスが同じデータの特徴量間の距離は小さく、クラスが異なるデータの特徴量間の距離は大きくなるように学習することにより、判定モデル１１２を生成すればよい。

【0074】

教師データとする画像は、判定用画像と同サイズの画像であり、締結状態が分かっている画像である。撮影装置２１の撮影距離や撮影場所が一定しないことを考慮して、締結状態が分かっている元画像のコントラストを変換した画像や、元画像をぼやけさせた画像等も教師データに含めることが好ましい。

【0075】

ぼやけさせた画像を教師データとすることにより、多少ぶれた判定用画像であっても妥当な判定結果を出力可能な判定モデル１１２を生成することができる。無論、判定用画像のぶれが大きすぎる場合には、このような判定モデル１１２であっても判定精度が低下することが考えられる。特に、ヘッドマウントディスプレイ２の撮影装置２１はユーザの頭部の動きに連動して動くため、ぶれの大きい画像が撮影される可能性が高く、上記のような判定精度の低下は無視できない。このため、判定装置１では、選択部１０６が、判定用画像のぶれ度合いに基づいて締結状態の判定に用いる画像を選択する構成を採用し、上記のような判定精度の低下が生じにくくしている。

【0076】

図７は、判定モデル１１２により抽出した特徴量を特徴空間に埋め込んだ例を示す図である。図７に示す特徴空間は、横軸をｘ、縦軸をｙとする二次元の特徴空間である。この特徴空間上にプロットされた点Ｐ１は、締結状態の判定に用いる判定用画像から抽出された特徴量を示している。一方、点Ｐ２～Ｐ６は、各クラスの画像群から抽出された特徴量の中心点を示している。具体的には、点Ｐ２～Ｐ６は、それぞれ締め忘れ、軸回り、正常、マークなし、および共回りの各クラスに属する画像群から抽出された特徴量の中心点（以下、クラスの中心点と呼ぶ）を示している。

【0077】

この特徴空間において距離が近いということは、特徴が共通している可能性が高いことを意味している。よって、判定部１０７は、判定用画像から抽出された特徴量と、各クラスの中心点までの距離をそれぞれ算出してもよい。図７において、同図のＧに示す破線の線分Ｐ１－Ｐ２、Ｐ１－Ｐ３、Ｐ１－Ｐ４、Ｐ１－Ｐ５、およびＰ１－Ｐ６の長さが算出対象となる上記の距離に対応している。そして、判定部１０７は、算出した距離が最も短い中心点を特定し、判定用画像に写るボルトが、その中心点に対応するクラスに該当すると判定してもよい。この場合、図７の例では、Ｐ１－Ｐ４の距離が最も短いから、判定部１０７は、判定用画像に写るボルトが点Ｐ４に対応するクラスに該当する、すなわち当該ボルトの締結状態は正常であると判定することになる。

【0078】

また、例えば、判定部１０７は、点Ｐ１が、各クラスの中心点である点Ｐ２～Ｐ６のそれぞれを基準として設定された各クラスの範囲の何れに含まれるかにより締結状態を判定してもよい。例えば、図７のＨには、点Ｐ２を中心とした円を描画している。この円は、点Ｐ２に対応するクラスすなわち締結状態が締め忘れであるクラスの範囲を示している。同様に、点Ｐ３～Ｐ６を中心とした各円は、それぞれ締結状態が、軸回り、正常、マークなし、および共回りであるクラスの範囲を示している。

【0079】

図７のＨの例では、点Ｐ１は何れのクラスの範囲にも含まれていないから、判定部１０７は、締結状態の判定を不可とする。判定不可と判定されたボルトについて、表示制御部１０８は、当該ボルトを再撮影すること（あるいは当該ボルトに撮影装置２１を向けて、撮影装置２１を動かさないようにすること）を促す画像を表示装置２２に表示させてもよい。

【0080】

なお、各クラスの範囲はそれぞれ独立に設定することができる。つまり、図７のＨの例のように、点Ｐ２に対応するクラスの範囲を、他のクラスの範囲より広く設定することも可能である。各クラスの範囲は、例えば、各クラスについての誤判定率が下がるように設定してもよいし、締結状態が正常ではないボルトを正常であると誤判定する確率が下がるように（例えば正常のクラスの範囲を狭く、それに隣接する他のクラスの範囲を広く）設定してもよい。

【0081】

以上のように、判定部１０７は、締結状態がそれぞれ異なるボルトを撮影した画像群から抽出した特徴量を特徴空間に埋め込んだときに、締結状態が共通する画像群由来の当該特徴量間の距離が小さくなるように学習することにより生成された判定モデル１１２を用いて、ボルトの締結状態を判定してもよい。これにより、締結状態の判定という難易度の高い処理を高精度に行うことが可能になる。

【0082】

なお、判定モデル１１２は、判定されたクラスを示す出力値（例えば各クラスの確信度）を出力するように設計してもよいし、特徴量を出力するように設計してもよい。なお、確信度とは、判定結果の確からしさを示す０～１の数値である。

【0083】

判定モデル１１２は、例えば、深層距離学習（deep metric learning）により生成することができる。深層距離学習は、特徴空間に埋め込んだ特徴量について、クラスが同じデータの特徴量間の距離は小さく、クラスが異なるデータの特徴量間の距離は大きくなるように学習するという手法である。学習の際に、特徴量間の距離は、ユークリッド距離等で表してもよいし角度で表してもよい。

【0084】

なお、判定モデル１１２として、畳み込みニューラルネットワーク等のモデルを用いることも可能である。この場合も深層距離学習の場合と同様の教師データを用いた学習により、入力した判定用画像が、複数の締結状態の何れに該当するかを示す出力値を出力する判定モデル１１２を生成することができる。

【0085】

〔判定結果の表示〕
図８は、判定装置１の判定結果の表示例を示す図である。図８に示す画像ＩＭＧ５には、複数のボルトが写っており、領域検出部１０３により検出された個々のボルトが写る領域が枠線により示されている。図８において、Ｒ３で示される枠線は、当該枠線で囲まれるボルトの締結状態が正常であることを示している。一方、図８において、Ｒ４で示される枠線は、当該枠線で囲まれるボルトの締結状態が正常ではない（具体的には共回りしている）ことを示している。

【0086】

また、画像ＩＭＧ５には、締結状態が正常ではないボルトが検出されたことを示すメッセージＲ１と、締結状態の判定結果の凡例Ｒ２が含まれている。メッセージＲ１は、具体的には「異常あり」とのメッセージである。メッセージＲ１の内容は、締結状態が正常ではないボルトが検出されたことをユーザが認識できるようなものであればよい。

【0087】

凡例Ｒ２には、正常、軸回り、共回り、締め忘れ、および印（マーク）なしの５つの締結状態が示されている。各締結状態を示す文字列の表示色は、当該締結状態と判定されたボルトの枠線と同色または同系色としてもよい。例えば、表示制御部１０８は、凡例Ｒ２における「正常」の文字を青色で表示する場合、判定結果が正常であったボルトを囲むＲ３等の枠線の色も青色としてもよい。一方、表示制御部１０８は、凡例Ｒ２における「共回り」の文字を赤色で表示する場合、判定結果が共回りであったボルトを囲むＲ４の枠線の色も赤色としてもよい。これにより、各ボルトの締結状態の判定結果をユーザに容易に認識させることができる。

【0088】

なお、判定結果の表示態様は、各ボルトについての判定結果をユーザが認識できるようなものであればよい。例えば、表示制御部１０８は、凡例Ｒ２を表示させる代わりに、各ボルトに対応付けて当該ボルトの判定結果を表示させてもよい。

【0089】

画像ＩＭＧ５をヘッドマウントディスプレイ２の表示装置２２に表示させる場合、表示制御部１０８は、画像ＩＭＧ５を例えば、ユーザの視野の端部付近（例えば右上隅）に表示させてもよい。この場合、ユーザは、表示装置２２越しにボルトを視認することができると共に、それらのボルトの判定結果を画像ＩＭＧ５により確認することができる。なお、画像ＩＭＧ５は、対象画像生成部１０２が生成する対象画像をベースとして生成すればよい。

【0090】

また、表示制御部１０８は、表示装置２２越しに視認されるボルトの位置に判定結果を表示させてもよい。この場合、ヘッドマウントディスプレイ２を装着するユーザには、視野内のボルト上に判定結果が重畳されて見える。つまり、ユーザには、画像ＩＭＧ５のような像が視認される。

【0091】

〔処理の流れ〕
判定装置１が実行する処理（判定方法）の流れを図９に基づいて説明する。図９は、判定装置１が実行する処理の一例を示すフローチャートである。なお、以下では、図２に示したヘッドマウントディスプレイ２が備える撮影装置２１によりボルトの画像を撮影し、ヘッドマウントディスプレイ２が備える表示装置２２に締結状態の判定結果を表示させる例を説明する。

【0092】

Ｓ１１では、画像取得部１０１が、判定に用いる画像を取得する。具体的には、画像取得部１０１は、撮影装置２１が撮影したボルトの画像をヘッドマウントディスプレイ２から取得する。なお、ヘッドマウントディスプレイ２から取得した画像が動画像である場合、画像取得部１０１は、当該動画像から当該動画像を構成するフレーム画像を取得する。

【0093】

Ｓ１２では、対象画像生成部１０２が、Ｓ１１で取得された画像から対象画像を生成する。例えば、対象画像生成部１０２は、Ｓ１１で取得された画像の中央部における所定サイズの領域を切り出して対象画像としてもよい（図４の画像ＩＭＧ２における領域ＡＲ１参照）。

【0094】

Ｓ１３では、領域検出部１０３が、Ｓ１２で生成された対象画像から、個々のボルトが写る領域をそれぞれ検出する。個々のボルトが写る領域の検出には、検出モデル１１１が用いられる。図５に基づいて説明したように、Ｓ１３において、領域検出部１０３は、ピンテールが破断されたボルトが写る領域と、ピンテールが破断されていないボルトが写る領域とを区別して検出してもよい。

【0095】

Ｓ１４では、判定用画像生成部１０４が、Ｓ１３で検出された領域のうち、判定用画像の生成対象から除外する領域を決定する。例えば、Ｓ１３にてピンテールが破断されたボルトが写る領域と、ピンテールが破断されていないボルトが写る領域とが区別して検出されていたとする。この場合、判定用画像生成部１０４は、ピンテールが破断されていないボルトが写る領域を除外することを決定する。また、判定用画像生成部１０４は、Ｓ１３で検出された領域のうち、対象画像の外縁に沿って位置する領域内に位置している領域、およびサイズが所定の正常範囲外の領域、の何れかまたは両方を除外することを決定してもよい。

【0096】

Ｓ１５では、判定用画像生成部１０４は、Ｓ１２で生成された対象画像から、Ｓ１３で検出された領域のうち、Ｓ１４で除外の対象とならなかった領域を切り出して判定用画像を生成する。

【0097】

Ｓ１６では、閾値設定部１０５が、Ｓ１５で生成された判定用画像のそれぞれについて、選択部１０６が当該判定用画像を選択するか否かを判定するための閾値を設定する。例えば、閾値設定部１０５は、判定用画像に写るボルトのサイズまたは判定用画像の撮影距離に応じて上記閾値を設定してもよい。なお、Ｓ１６において、閾値設定部１０５は、上述のように、判定用画像のサイズを当該判定用画像に写るボルトのサイズとみなして閾値を設定してもよい。

【0098】

Ｓ１７では、選択部１０６が、Ｓ１５で生成された判定用画像のそれぞれについて、当該判定用画像のぶれ度合いを示す指標値を算出する。例えば、選択部１０６は、判定用画像に写るボルトの輪郭部における画素値の分散を、当該判定用画像のぶれ度合いを示す指標値として算出してもよい。

【0099】

Ｓ１８では、選択部１０６は、Ｓ１５で生成された判定用画像の中から、当該判定用画像におけるボルトの写り方に基づき、締結状態の判定に用いる画像を選択する。例えば、選択部１０６は、Ｓ１７で算出した指標値が、Ｓ１６で設定された閾値以上である判定用画像を、締結状態の判定に用いる画像として選択する。

【0100】

Ｓ１９では、判定部１０７が、Ｓ１８で選択された画像に基づいてボルトの締結状態を判定する。具体的には、判定部１０７は、Ｓ１８で選択された判定用画像を判定モデル１１２に入力することにより得られる出力値に基づいて当該判定用画像に写るボルトの締結状態を判定する。この処理は、Ｓ１８で選択された判定用画像のそれぞれについて行われる。

【0101】

Ｓ２０では、表示制御部１０８が、Ｓ１９の判定結果を表示装置２２に表示させる。図８に基づいて説明したように、表示制御部１０８は、Ｓ１２で生成された対象画像上に、Ｓ１３で検出された領域を示す情報（例えば枠線）と、Ｓ２０の判定結果を示す情報とを重畳した画像を生成し、当該画像を表示装置２２に表示させてもよい。また、表示制御部１０８は、当該画像におけるピンテールが破断されていないボルトが写る領域に、ピンテールが破断されていないことを示す情報を表示させてもよい。

【0102】

Ｓ２０の処理が終了すると、Ｓ１１の処理に戻り、画像取得部１０１が新たな画像を取得する。新たな画像は、先に取得した画像よりも時系列順で後に撮影された画像、あるいは同じ動画像から抽出されたフレーム画像のうち、先に取得されたフレーム画像よりも時系列順で後になるフレーム画像である。このような処理を繰り返すことにより、ユーザの視野に入ったボルトの締結状態が、概ねリアルタイムで表示装置２２に表示される。

【0103】

なお、Ｓ１９の判定を行う前に、ボルトのマーキング部分を強調する処理を行ってもよい。例えば、判定用画像に対して先鋭化処理を施すことによりボルトのマーキング部分を強調することができる。これにより、Ｓ１９における判定の精度の向上が期待できる。マーキング部分を強調する処理は、判定部１０７が行うようにしてもよいし、当該処理を行う処理ブロック（強調部）を新たに設けてもよい。

【0104】

以上のように、本実施形態に係る判定方法は、締結状態の判定対象となるボルトが写る複数の判定用画像の中から、当該判定用画像におけるボルトの写り方に基づき、締結状態の判定に用いる画像を選択する選択ステップ（Ｓ１８）と、Ｓ１８で選択された画像に基づいてボルトの締結状態を判定する判定ステップ（Ｓ１９）と、を含む。これにより、判定用画像に判定に適さないものが含まれていた場合であっても、ボルトの締結状態の判定精度の低下を抑えることができる。

【0105】

〔変形例〕
上述の実施形態では、各判定用画像のぶれ度合いに基づいて当該判定用画像を締結状態の判定に用いる画像として選択するか否かを決定する例を説明した。しかしながら、当該選択は、画像におけるボルトの写り方に基づいて行えばよく、ぶれ度合いに基づいて選択を行う上述の例に限られない。

【0106】

（対象画像上の位置／サイズに基づく判定用画像の選択について）
例えば、選択部１０６は、判定用画像生成部１０４が生成する判定用画像のうち、対象画像の外縁に沿って位置する領域を除いた他の領域から切り出された判定用画像を、締結状態の判定に用いる画像として選択してもよい。この場合、判定用画像生成部１０４は、領域検出部１０３が検出する領域がどのような位置に存在するかにかかわらず、領域検出部１０３が検出する各領域から判定用画像を生成すればよい。

【0107】

同様に、選択部１０６は、判定用画像生成部１０４が生成する判定用画像のうち、サイズが所定の正常範囲内である判定用画像を、締結状態の判定に用いる画像として選択してもよい。この場合、判定用画像生成部１０４は、領域検出部１０３が検出する領域がどのようなサイズであるかにかかわらず、領域検出部１０３が検出する各領域から判定用画像を生成すればよい。

【0108】

このように、判定用画像（第１の画像）が、１または複数のボルトが写る対象画像（第３の画像）から個々のボルトが写る領域を切り出して生成された画像である場合、選択部１０６は、対象画像の外縁に沿って位置する領域を除いた他の領域から切り出された判定用画像を、締結状態の判定に用いる画像として選択してもよい。また、判定用画像（第１の画像）が、１または複数のボルトが写る対象画像（第３の画像）から個々のボルトが写る領域を切り出して生成された画像である場合、選択部１０６は、サイズが所定の正常範囲内である判定用画像を、締結状態の判定に用いる画像として選択してもよい。

【0109】

（選択の対象とする画像について）
また、上述の実施形態では、判定用画像のぶれ度合いに基づいて、締結状態の判定に用いる判定用画像を選択する例を説明したが、選択の対象とする画像は判定用画像に限られない。つまり、選択部１０６は、画像取得部１０１が取得した画像、あるいは当該画像から生成された対象画像のぶれ度合いに基づいて画像の選択を行ってもよい。

【0110】

具体的には、選択部１０６は、撮影装置２１が撮影した画像を選択対象とする場合、画像取得部１０１が取得した画像のぶれ度合いを示す指標値を算出する。そして、選択部１０６は、算出した指標値と所定の閾値とを比較することにより、当該画像を締結状態の判定に用いる画像として選択するか否かを判定する。この場合、選択部１０６が選択した画像から対象画像が生成され、当該対象画像から判定用画像が生成されて、当該判定用画像を用いて締結状態の判定が行われる。なお、上記の閾値は閾値設定部１０５が設定したものであってもよく、この場合、閾値設定部１０５は、撮影装置２１が撮影した画像に写る個々のボルトのサイズ、または、当該画像の撮影距離に応じて閾値を設定すればよい。

【0111】

このように、選択部１０６は、撮影装置２１が撮影した、締結状態の判定対象となるボルトが写る複数の画像（第１の画像）の中から、当該画像におけるボルトの写り方に基づき、締結状態の判定に用いる画像（第２の画像）を選択してもよい。なお、上述のように、選択の基準は、ぶれ度合いに限られず、例えば画像上において個々のボルトが写る位置や個々のボルトが写る領域のサイズ等であってもよい。

【0112】

また、選択部１０６は、対象画像生成部１０２が生成する対象画像を選択対象とする場合、対象画像のぶれ度合いを示す指標値を算出する。そして、選択部１０６は、算出した指標値と所定の閾値とを比較することにより、当該対象画像を締結状態の判定に用いる画像として選択するか否かを判定する。この場合、選択部１０６が選択した対象画像から判定用画像が生成されて、当該判定用画像を用いて締結状態の判定が行われる。なお、上記の閾値は閾値設定部１０５が設定したものであってもよく、この場合、閾値設定部１０５は、対象画像に写る個々のボルトのサイズ、または、当該対象画像の撮影距離に応じて閾値を設定すればよい。

【0113】

このように、選択部１０６は、対象画像生成部１０２が生成した複数の対象画像（第１の画像）の中から、当該対象画像におけるボルトの写り方に基づき、締結状態の判定に用いる対象画像（第２の画像）を選択してもよい。なお、上述のように、選択の基準は、ぶれ度合いに限られず、例えば対象画像上において個々のボルトが写る位置や個々のボルトが写る領域のサイズ等であってもよい。

【0114】

（処理の実行主体について）
また、上述の実施形態で説明した各処理の実行主体は任意であり、上述の例に限られない。つまり、相互に通信可能な複数の情報処理装置（プロセッサということもできる）により、判定装置１の機能を代替することができる。例えば、図１に示す各ブロックを複数の情報処理装置に分散して設けることにより、判定装置１と同様の機能を有するシステムを構築することができる。よって、図９に示した判定方法の実行主体も、複数の情報処理装置とすることができる。

【0115】

〔ソフトウェアによる実現例〕
判定装置１の機能は、判定装置１としてコンピュータを機能させるためのプログラムであって、判定装置１の各制御ブロック（特に制御部１０に含まれる各部）としてコンピュータを機能させるためのプログラム（判定プログラム）により実現することができる。

【0116】

この場合、判定装置１は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0117】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、判定装置１が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して判定装置１に供給されてもよい。

【0118】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0119】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0120】

１ 判定装置
１０３ 領域検出部
１０４ 判定用画像生成部（画像生成部）
１０５ 閾値設定部
１０６ 選択部
１０７ 判定部
１１２ 判定モデル
２ ヘッドマウントディスプレイ
２１ 撮影装置
２２ 表示装置
５ 判定システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】