特開 2024-90944 情報処理装置、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024090944

(43)【公開日】2024-07-04

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240627BHJP

【ＦＩ】

G06T7/00 610Z

G06T7/00 350B

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022207151

(22)【出願日】2022-12-23

(11)【特許番号】

(45)【特許公報発行日】2023-11-15

(71)【出願人】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】100145838

【弁理士】

【氏名又は名称】畑添 隆人

(74)【代理人】

【識別番号】100103137

【弁理士】

【氏名又は名称】稲葉 滋

(74)【代理人】

【識別番号】100216367

【弁理士】

【氏名又は名称】水谷 梨絵

(72)【発明者】

【氏名】バルソピア ヴィヴェク

(72)【発明者】

【氏名】ローハス メナンヅロ

(72)【発明者】

【氏名】中澤 満

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096EA14

5L096FA09

5L096FA67

5L096FA69

(57)【要約】

【課題】マーカー位置検出の精度のばらつきを考慮に入れた、締結部の検査手間の低減及び検査精度の向上を実現することを課題とする。
【解決手段】情報処理装置１に、検査対象である締結部を示す対象画像を機械学習モデルに入力することで、締結部に付された基準表示に係る特徴点を含み特徴点の位置に係る推定座標及び推定座標の分布に基づく特徴領域を取得する特徴領域検出部２８と、特徴領域が所定の基準を満たすか否かを判定する不確実性評価部２９と、特徴領域が所定の基準を満たす場合に、推定座標に基づいて締結部の締結状態を判定する締結状態判定部３０と、を備えた。
【選択図】図５

【特許請求の範囲】

【請求項1】

検査対象である締結部を示す対象画像を機械学習モデルに入力することで、該締結部に付された基準表示に係る特徴点を含み前記特徴点の位置に係る推定座標及び該推定座標の分布に基づく特徴領域を取得する特徴領域検出手段と、
前記特徴領域が所定の基準を満たすか否かを判定する不確実性評価手段と、
前記特徴領域が前記所定の基準を満たす場合に、前記推定座標に基づいて前記締結部の締結状態を判定する締結状態判定手段と、
を備える、情報処理装置。

【請求項2】

前記締結部は、ネジ締結された締結材及び締結対象を有し、
前記基準表示は、該締結材及び該締結対象に対して一次締めの後に付され、二次締めによって該締結材上の該基準表示と該締結対象上の該基準表示との位置関係が変化した前記基準表示であり、
前記締結状態判定手段は、前記二次締めによって位置関係が変化した前記締結材上の前記基準表示と該締結対象上の該基準表示との夫々に係る前記特徴点の前記推定座標に基づいて、前記締結部の締結状態を判定する、
請求項１に記載の情報処理装置。

【請求項3】

前記特徴点は、前記締結部における締結の軸、前記締結材上の前記基準表示、前記締結対象上の該基準表示の夫々に係る特徴点を含む、
請求項２に記載の情報処理装置。

【請求項4】

前記締結材は、ボルト及びナットを有し、
前記特徴点は、前記締結部における締結の軸、前記ボルト先端部外縁における前記基準表示の位置、前記ナット表面内縁における該基準表示の位置、該ナット表面外縁における該基準表示の位置及び前記締結対象上の該基準表示の位置、の夫々を示す特徴点を含む、
請求項２に記載の情報処理装置。

【請求項5】

前記締結状態判定手段は、前記締結部における締結の軸、前記ボルト先端部外縁における前記基準表示の位置及び前記締結対象上の該基準表示の位置を通る第一の近似直線と、前記締結部における締結の軸、前記ナット表面内縁における該基準表示の位置及び該ナット表面外縁における該基準表示の位置を通る第二の近似直線とがなす角度が所定の範囲内である場合に、前記締結部が正しく締結された状態であると判定する、
請求項４に記載の情報処理装置。

【請求項6】

前記推定座標は二次元座標であり、前記推定座標の分布は、前記二次元座標を構成する２軸の夫々についての標準偏差である、
請求項１に記載の情報処理装置。

【請求項7】

前記締結状態判定手段は、前記特徴領域が前記所定の基準を満たさない場合に、前記締結部の締結状態を不明と判定する、
請求項１に記載の情報処理装置。

【請求項8】

ネジ締結された締結部が撮像された教師画像を入力値とし、該締結部に付された基準表示に係る前記教師画像中の特徴点の位置を示す座標を出力値とする教師データを用いて、前記機械学習モデルを生成する機械学習手段を更に備える、
請求項１に記載の情報処理装置。

【請求項9】

前記不確実性評価手段による判定の結果及び／又は前記締結状態判定手段による判定の結果をユーザに対して通知する通知手段を更に備える、
請求項１に記載の情報処理装置。

【請求項10】

検査の対象とする撮像画像を取得する撮像画像取得手段と、
前記撮像画像における前記締結部が撮像された部分を特定し、該撮像画像から該締結部が撮像された前記部分を切り出すことで前記対象画像を取得する対象画像取得手段と、
を更に備える、請求項１に記載の情報処理装置。

【請求項11】

前記特徴領域検出手段による処理の前に、前記対象画像が撮像された際にかかった射影を解除するための画像変換を行う射影解除手段を更に備える、
請求項１に記載の情報処理装置。

【請求項12】

前記締結状態判定手段による処理の前に、前記特徴領域検出手段によって検出された前記特徴点の座標を、前記対象画像が撮像された際にかかった射影を解除するように変換する、座標変換手段を更に備える、
請求項１に記載の情報処理装置。

【請求項13】

コンピュータが、
検査対象である締結部を示す対象画像を機械学習モデルに入力することで、該締結部に付された基準表示に係る特徴点を含み前記特徴点の位置に係る推定座標及び該推定座標の分布に基づく特徴領域を取得する特徴領域検出ステップと、
前記特徴領域が所定の基準を満たすか否かを判定する不確実性評価ステップと、
前記特徴領域が前記所定の基準を満たす場合に、前記推定座標に基づいて前記締結部の締結状態を判定する締結状態判定ステップと、
を実行する情報処理方法。

【請求項14】

コンピュータを、
検査対象である締結部を示す対象画像を機械学習モデルに入力することで、該締結部に付された基準表示に係る特徴点を含み前記特徴点の位置に係る推定座標及び該推定座標の分布に基づく特徴領域を取得する特徴領域検出手段と、
前記特徴領域が所定の基準を満たすか否かを判定する不確実性評価手段と、
前記特徴領域が前記所定の基準を満たす場合に、前記推定座標に基づいて前記締結部の締結状態を判定する締結状態判定手段と、
として機能させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、締結部の点検のための技術に関する。

【背景技術】

【0002】

従来、対象画像を解析することにより、高力ボルト、座金またはプレート部材に付されたマークの位置と、ナットに付されたマークの位置との間の角度を特定する技術が提案されている（特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１８６９２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、鉄塔等の構造物を構成する締結部の点検にかかるデジタルトランスフォーメーション（ＤＸ）が推進され、締結部の点検を補助するための技術が種々提案されている。しかし、従来提案されている技術では、締結部の検査手間の低減及び検査精度の向上を実現するという点で一定の効果を奏するものの、一定の太さを有するマーカーが人手で付されること等に起因して生じるマーカー位置検出の精度のばらつきを考慮するという点で、改善の余地があった。

【0005】

本開示は、上記した問題に鑑み、マーカー位置検出の精度のばらつきを考慮に入れた、締結部の検査手間の低減及び検査精度の向上を実現することを課題とする。

【課題を解決するための手段】

【0006】

本開示の一例は、検査対象である締結部を示す対象画像を機械学習モデルに入力することで、該締結部に付された基準表示に係る特徴点を含み前記特徴点の位置に係る推定座標及び該推定座標の分布に基づく特徴領域を取得する特徴領域検出手段と、前記特徴領域が所定の基準を満たすか否かを判定する不確実性評価手段と、前記特徴領域が前記所定の基準を満たす場合に、前記推定座標に基づいて前記締結部の締結状態を判定する締結状態判定手段と、を備える、情報処理装置である。

【0007】

本開示は、情報処理装置、システム、コンピュータによって実行される方法又はコンピュータに実行させるプログラムとして把握することが可能である。また、本開示は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものとしても把握できる。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

【発明の効果】

【0008】

本開示によれば、マーカー位置検出の精度のばらつきを考慮に入れた、締結部の検査手間の低減及び検査精度の向上を実現することが可能となる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る、締結が正しく完了した状態における締結部を示す平面図である。

【図2】実施形態に係る、締結が正しく完了した状態における締結部を示す斜視図である。

【図3】実施形態に係る締結手順を示すフローチャートである。

【図4】実施形態に係るシステムの構成を示す概略図である。

【図5】実施形態に係る情報処理装置の機能構成の概略を示す図である。

【図6】実施形態において締結部の画像から検出される特徴点、及び標準偏差に基づく特徴領域（楕円領域）を示す図である。

【図7】実施形態に係るデータ拡張処理及び機械学習処理の流れを示すフローチャートである。

【図8】実施形態に係る検査処理の流れを示すフローチャートである。

【図9】バリエーションに係る情報処理装置の機能構成の概略を示す図である。

【図10】バリエーションに係る検査処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本開示に係る情報処理装置、方法及びプログラムの実施の形態を、図面に基づいて説明する。但し、以下に説明する実施の形態は、実施形態を例示するものであって、本開示に係る情報処理装置、方法及びプログラムを以下に説明する具体的構成に限定するものではない。実施にあたっては、実施の態様に応じた具体的構成が適宜採用され、また、種々の改良や変形が行われてよい。

【0011】

本実施形態では、本開示に係る技術を、鉄塔等の構造物を構成する締結部の点検及び管理のために実施した場合の実施の形態について説明する。但し、本開示に係る技術は、締結部の点検及び管理のために広く用いることが可能であり、本開示の適用対象は、実施形態において示した例に限定されない。

【0012】

近年、鉄塔等の構造物を構成する締結部の点検にかかるデジタルトランスフォーメーション（ＤＸ）が推進されている。当該ＤＸでは、例として、締結部の撮像処理及び画像解析を駆使した点検技術が提案されている。当該点検技術には、締結部の点検にかかる人手による業務の手間や負担を軽減する効果が期待されるとともに、締結部のそれぞれの識別及び異常検出の簡便な実現が期待される。しかし、従来提案されている技術では、例えば一定太さのマーカーが人手で付されること等に起因してマーカー位置が判定困難となる点を考慮するという観点で課題があり、また、機械学習モデルを用いた特定を行うにあたって障害となり得る学習データセット構築を効率化するという点で課題があった。

【0013】

本実施形態に係る情報処理装置、方法及びプログラムによれば、このような状況に鑑み、基準表示の位置が判定困難となる点を考慮することが可能となり、また、機械学習モデルを用いた特定を行うにあたって障害となり得る学習データセット構築を効率化することが可能となる。

【0014】

＜締結部の構成＞
図１及び図２は、本実施形態に係る、締結が正しく完了した状態における締結部を示す平面図及び斜視図である。締結部は、ネジ締結された締結材７及び締結対象６を有する。本実施形態では、ネジ締結のための締結材７として、ボルト７１、ナット７２及びワッシャ７３を用いる例について説明する。但し、本開示に係る技術を適用可能な締結材は本開示における例示に限定されない。例えば、ボルト及びナットを用いるがワッシャを用いない締結剤についても、本開示に係る技術を適用可能な締結材として用いることが可能であり、また、ナット及びワッシャを用いないネジについても、本開示に係る技術を適用可能な締結材として用いることが可能である。

【0015】

また、本実施形態において、締結材７及び締結対象６には、基準表示が付されている。後述する締結手順において詳述するが、本実施形態では基準表示としてマーカーライン４（ｍａｔｃｈｍａｒｋ）が採用され、一次締めが完了した状態で、ボルト７１のネジ山の中心から外側に向けてボルト７１、ナット７２、ワッシャ７３及び締結対象６の全てを通る一本の直線であるマーカーライン４が記入される。そして、その後二次締めが行われることによって、締結材７上のマーカーライン４と締結対象６上のマーカーライン４との位置関係が変化する。本実施形態では、このようにして付された基準表示に係る複数の特徴点を検査用の対象画像から検出し、検出された特徴点に基づいて、締結部の施工状態を判定する。

【0016】

なお、本実施形態では、ペン等を用いて基準表示を記入する例について説明したが、締結部に基準表示を付すために採用可能な具体的な手段は、本実施形態における例示に限定されない。基準表示を付すために採用可能な具体的な手段としては、例えば、基準表示が付された媒体を締結部に接着剤や粘着剤を用いて貼り付ける、基準表示を締結部に直接塗布又は印刷する、基準表示を締結部に直接刻印（レーザー刻印等）又は焼き付ける、基準表示が付された媒体を締結部に設けられた被固定部に嵌め込む、又は基準表示が付された媒体を締結部に機械的に連結する、等の様々な手段を採用することが出来る。

【0017】

＜締結手順＞
図３は、本実施形態に係る締結手順を示すフローチャートである。なお、本実施形態では、締結材７としてボルト７１、ナット７２及びワッシャ７３を用いて締結対象６を締結する締結手順について説明するが、その他のネジ締結のための締結材を用いた締結についても、手順の一部が締結材の種類に応じて適宜変更され得ることを除き概略同様である。

【0018】

作業者は、締結対象６に対して締結材７を設置して仮締めし（ステップＳ１）、締結材７の規格に応じて定められた一次締めトルクで一次締めを行う（ステップＳ２）。

【0019】

そして、作業者は、一次締めされた状態のボルト７１、ナット７２、ワッシャ７３及び締結対象６に対して基準表示のマーキングを行う（ステップＳ４）。基準表示とは、ボルト７１、ナット７２、ワッシャ７３及び締結対象６の回転における相対的な角度を可視化するための表示であり、一般には、一次締めが完了した状態で、ボルト７１のネジ山の中心から外側に向けてボルト７１、ナット７２、ワッシャ７３及び締結対象６の全てを通る一本の直線であるマーカーライン４を、ペン等を用いて記入する。

【0020】

マーカーライン４の記入が完了すると、作業者は、二次締め（本締め）を行う（ステップＳ５）。具体的には、作業者は、一次締めの状態におけるボルト７１、ワッシャ７３及び締結対象６に対するナット７２の角度が、ナット７２の締め付け回転方向において所定の角度（例えば、１２０度）となるように、ナット７２に対して二次締めを行う。即ち、本開示における基準表示は、締結材７及び締結対象６に対して一次締めの後に付され、二次締めによって締結材７上の基準表示と締結対象６上の基準表示との位置関係が変化するものである。このため、基準表示は、一次締めの後且つ二次締めの前に付されることによって二次締めの前後で位置関係が変化し、二次締めの回転角度が算出可能なものであればよく、具体的な表示態様は限定されない。

【0021】

二次締めが完了すると、締結部を撮像することで得られた撮像画像に基づいて、締結状態の検査が行われる（ステップＳ６）。二次締めまでの締結が正しく完了した状態において、ボルト７１、ワッシャ７３及び締結対象６に付されたマーカーライン４と、ナット７２に付されたマーカーライン４とがなす角度（以下、「マーカー角度」と称する）は、ナット７２の締め付け回転方向においてプラス所定角度の範囲内である（図１を参照）。このため、締結状態の検査では、締結部を撮像することで得られた撮像画像に基づいてマーカー角度を算出し、算出されたマーカー角度が、ナット７２の締め付け回転方向において所定の範囲内にあるか否かの判定が行われる。検査処理の詳細については、フローチャートを用いて後述する。

【0022】

＜システムの構成＞
図４は、本実施形態に係るシステムの構成を示す概略図である。本実施形態に係るシステムは、ネットワークに接続されることで互いに通信可能な情報処理装置１と、ドローン８と、ユーザ端末９とを備える。

【0023】

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置１４、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信ユニット１５、等を備えるコンピュータである。但し、情報処理装置１の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、情報処理装置１は、単一の筐体からなる装置に限定されない。情報処理装置１は、所謂クラウドや分散コンピューティングの技術等を用いた、複数の装置によって実現されてよい。

【0024】

ドローン８は、外部からの入力信号及び／又は装置に記録されたプログラムに応じて飛行が制御される小型の無人航空機であり、プロペラ、モーター、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、通信ユニット、入力装置、出力装置等（図示は省略する）を備える。但し、ドローン８の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、本実施形態にかかるドローン８は、撮像装置８１を備えており、対象の構造物周辺を飛行する際に、外部からの入力信号及び／又は装置に記録されたプログラムに応じて締結部の撮像を行う。

【0025】

ユーザ端末９は、ユーザによって使用される端末装置である。ユーザ端末９は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、通信ユニット、入力装置、出力装置等（図示は省略する）を備えるコンピュータである。但し、ユーザ端末９の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、ユーザ端末９は、単一の筐体からなる装置に限定されない。ユーザ端末９は、所謂クラウドや分散コンピューティングの技術等を用いた、複数の装置によって実現されてよい。ユーザは、これらのユーザ端末９を介して、本実施形態に係るシステムによって提供される各種サービスを利用する。

【0026】

図５は、本実施形態に係る情報処理装置１の機能構成の概略を示す図である。情報処理装置１は、記憶装置１４に記録されているプログラムが、ＲＡＭ１３に読み出され、ＣＰＵ１１によって実行されて、情報処理装置１に備えられた各ハードウェアが制御されることで、サンプル画像取得部２１、描画部２２、教師画像生成部２３、機械学習部２４、撮像画像取得部２５、対象画像取得部２６、射影解除部２７、特徴領域検出部２８、不確実性評価部２９、締結状態判定部３０、及び通知部３１を備える情報処理装置として機能する。なお、本実施形態及び後述する他の実施形態では、情報処理装置１の備える各機能は、汎用プロセッサであるＣＰＵ１１によって実行されるが、これらの機能の一部又は全部は、１又は複数の専用プロセッサによって実行されてもよい。

【0027】

サンプル画像取得部２１は、ネジ締結された締結部及び当該締結部に付された基準表示が撮像されたサンプル画像を取得する。サンプル画像としては、例えば、実際に施工された締結部を撮像することで得られた画像が用いられる。この際、後述するスタイル転移において多様な種類のスタイルが得られるように、サンプル画像には多様な条件で撮像された画像が準備されることが好ましい。多様な条件には、例えば、撮像時のカメラの設定、天候、日照、日時、照明の有無、照明の角度、照明の色、締結部の材質、締結部の色、基準表示の色、基準表示の濃さ、等が含まれる。

【0028】

描画部２２は、基準表示が付された締結部の三次元モデルに基づいて描画された二次元画像を描画する。ここで用いられる三次元モデルは、締結部の設計データ等に基づいてモデリングされた三次元モデルでもよいし、実際に施工された締結部を深度情報が得られるカメラ等を用いて３Ｄスキャンすることによって取得された三次元モデルでもよい。本実施形態において、三次元モデルは含まれる基準表示の当該モデル中の位置を特定可能な情報を含み、描画部２２は、三次元モデルに含まれる基準表示の位置情報に基づいて、基準表示に係る二次元画像中の複数の特徴点の位置を示す座標のアノテーションが付された二次元画像を描画する。但し、描画された二次元画像に付されるアノテーションは、三次元モデルから得られる位置情報に基づくものに限定されなくてもよい。例えば、描画された二次元画像を画像解析することによってアノテーションが付されてもよいし、描画された二次元画像に人手でアノテーションが付されてもよい。描画部２２は、互いに異なる複数の視点（レンダリング時のカメラ位置）から描画された複数の二次元画像を描画する。

【0029】

教師画像生成部２３は、二次元画像から抽出された構造（コンテンツ表現）に、サンプル画像から抽出されたスタイルを適用するスタイル転移（ニューラルスタイルトランスファー、画風変換）を実行することで、二次元画像の構造及びサンプル画像のスタイルを有する教師画像を生成する。より具体的には、教師画像生成部２３は、ニューラルネットワークを二次元画像の構造（コンテンツ表現）に関する特徴の抽出器として機能させ、また、二次元画像に対して様々な画像調整を行った場合の、元の二次元画像からのコンテンツ表現の類似度の損失と、サンプル画像からのスタイル表現の類似度の損失と、がいずれも最小化された調整後画像を得るための最適化問題を解く目的関数を用いることで、二次元画像の構造及びサンプル画像のスタイルを有する教師画像を生成する。

【0030】

この際、教師画像生成部２３は、二次元画像に付されたアノテーションを引き継いだ教師画像を生成することで、基準表示に係る教師画像中の複数の特徴点の位置を示す座標のアノテーションが付された教師画像を得ることができる。そして、教師画像生成部２３は、複数の二次元画像の夫々について、サンプル画像から抽出された互いに異なるスタイルを有する複数の教師画像を生成する。

【0031】

機械学習部２４は、ネジ締結された締結部が撮像された教師画像に対して締結部に付された基準表示に係る教師画像中の複数の特徴点の位置を示す座標（教師画像にアノテーションされた座標）がラベリングされた教師データ（学習データ、訓練データ、データセット）を用いて、締結部が撮像された画像の入力に対して、当該締結部に付された基準表示に係る画像中の複数の特徴点の位置を示す推定座標及び当該推定座標の分布を出力する機械学習モデルの学習処理を行う。本実施形態では、当該分布として標準偏差を利用する例について説明するが、分散等、平均値からのばらつきを示すような既知の統計量を採用してよい。

【0032】

標準偏差は、機械学習モデルに標準偏差を出力するためのノードを追加することで、機械学習モデルによる推定結果と併せて得ることができる。本実施形態では、機械学習モデルとして畳み込みニューラルネットワーク（ＣＮＮ）を用いるため、当該畳み込みニューラルネットワークに、標準偏差出力用の層、及び推定座標についての標準偏差を算出するための損失関数を追加することで、推定座標の標準偏差を得ることとしている。なお、標準偏差を求めるための関数は実施の形態に応じて適宜選択されてよく、限定されない。ここで出力される標準偏差は、値が小さいほど（分布が狭いほど）推定結果の不確実性が低いことを示し、値が大きいほど（分布が広いほど）推定結果の不確実性が高いことを示す。また、本実施形態において、推定座標はｘ軸及びｙ軸上の位置によって特定される二次元座標であるため、推定座標の標準偏差についても、二次元座標を構成する２軸（ｘ軸及びｙ軸）の夫々について出力される。当該機械学習モデルは、特徴点に係る推定座標及びその標準偏差の夫々を出力可能であってよく、特徴点に係る推定座標及びその標準偏差に基づく特徴領域を出力可能であってよく、機械学習モデルに入力される画像を構成する各ピクセルについて特徴領域に相当するか否かを示すマップ（特徴マップ、中間マップ、ヒートマップ、パラメータマップ等）を出力可能であってよい。

【0033】

撮像画像取得部２５は、締結対象６に締結された締結材７及び当該締結対象６が同時に撮像された、検査の対象とする撮像画像を取得する。撮像画像の取得方法は限定されないが、本実施形態では、撮像装置８１が搭載されたドローン８を用いて撮像された撮像画像を、ユーザ端末９を介して取得する例について説明する。

【0034】

対象画像取得部２６は、撮像画像における締結部が撮像された部分を特定し、当該撮像画像から当該締結部が撮像された部分を切り出すことで対象画像を取得する。対象画像取得部２６は、撮像画像において締結部や基準表示に係る所定の特徴を検出することで、撮像画像内の締結部撮像部分を検出することが出来る。所定の特徴としては、締結部の形状、基準表示の形状、締結部の色、基準表示の色、の他、様々な特徴を用いることが可能である。この際、基準表示を締結対象６及び締結材７のいずれとも色調の異なる色彩（例えば、締結対象６及び締結材７が灰色である場合、ピンクや赤）とすることで、締結部撮像部分が検出されやすいようにしてもよい。この場合、対象画像取得部２６は、撮像画像から所定の色彩を検出することで、締結部撮像部分を検出することができる。締結部撮像部分が特定されると、対象画像取得部２６は、当該部分を含む所定の範囲を矩形に切り出すことで、対象画像を取得する。所定の特徴の検出及び／又は対象画像の切り出しには、締結部の特徴を学習した機械学習モデルが用いられてよい。

【0035】

射影解除部２７は、特徴領域検出部２８による処理の前に、対象画像を一旦平面画像に射影変換することで、対象画像が撮像された際にかかった射影を解除するための画像変換を行う。具体的な変換処理は、計算量等の事情に応じて適宜選択されてよい。後述するマーカー角度を正しく算出するためには、締結材７及び締結対象６における基準表示が付された面についても、射影の解除が正しく行われることが好ましい。ボルト７１、ナット７２、ワッシャ７３及び締結対象６のそれぞれに記入されたマーカーライン４は、それぞれが異なる平面上にあるため、対象画像が正しく射影解除されるための逆変換を撮像画像の全体に適用し、これに基づいてマーカー角度を算出した場合、不正確なマーカー角度が算出される可能性がある。このため、締結材７及び締結対象６のそれぞれに記入されたマーカーライン４の射影が互いに大きく異なる可能性がある場合（例えば、近距離から撮像した撮像画像を用いる場合等）には、各マーカーライン４に係る平面を抽出し、正しく射影を解除することが好ましい。但し、締結材７及び締結対象６のそれぞれに記入されたマーカーライン４の射影の差が比較的小さい場合（例えば、遠距離から撮像した撮像画像を用いる場合等）には、マーカー角度が所定の範囲内で許容される場合には、射影による誤差を前提に許容される角度の範囲を設定することで、厳密な射影の解除を省略してもよい。

【0036】

なお、マーカーラインが付されたナット７２の平面を検出する方法として、画像認識によってナット７２の上面を構成する多角形（六角ナットの場合、六角形）の頂点を３つ以上検出し、検出された頂点に基づいて、マーカーラインが付されたナット７２の平面を定義する方法が採用可能である。ここで、画像認識によって頂点を直接検出するのが困難である場合には、ナット７２の上面を構成する多角形の各辺を検出し、検出された各辺の交点を頂点として扱うことも可能である。

【0037】

特徴領域検出部２８は、機械学習部２４によって生成された機械学習モデルに、検査対象である締結部が撮像された対象画像を入力することで、締結部に付された基準表示に係る対象画像中の特徴点を含み特徴点の位置を示す推定座標及び当該推定座標の標準偏差等の分布に基づく特徴領域を取得する。本実施形態において、基準表示に係る特徴点及び特徴領域は複数存在し、特徴領域検出部２８は、特徴点及びその特徴領域を検出可能な当該機械学習モデルに基づいて、特徴領域を取得可能である。ここで、特徴点の推定座標とは、例えば、特徴領域において平均値に相当する座標位置である。なお、特徴領域検出部２８は、機械学習モデルが直接、特徴領域を出力しない場合に、出力された推定座標及びその標準偏差等の分布に基づき特徴領域を決定してよい。

【0038】

図６は、本実施形態において締結部の画像から検出される特徴点、及び標準偏差に基づく特徴領域（楕円領域）を示す図である。締結部の画像から検出される複数の特徴点は、締結部における締結材７の軸（ボルト７１の軸）、締結材７上の基準表示、締結対象６上の基準表示の夫々に係る特徴点を含む。より具体的には、本実施形態において、複数の特徴点は、締結部における締結の軸（ネジ締結の軸、中心点）を示す特徴点４１、ボルト７１先端部外縁における基準表示の位置（ボルト７１上のマーク終点）を示す特徴点４２、ナット７２表面内縁における基準表示の位置（ナット７２上のマーク始点）を示す特徴点４３、ナット７２表面外縁における基準表示の位置（ナット７２上のマーク終点）を示す特徴点４４、及び締結対象６上の基準表示の位置（基部上のマーク始点）を示す特徴点４５、の夫々を示す特徴点を含む。但し、特徴点は、締結状態を判定可能な数及び位置について検出されればよく、検出される特徴点の数及び位置は、本実施形態における例示に限定されない。

【0039】

不確実性評価部２９は、機械学習モデルによって出力された、推定座標及び分布（標準偏差等）に基づく特徴領域が所定の基準を満たすか否かを判定することで、出力結果（推定結果）の不確実性（Ｕｎｃｅｒｔａｉｎｔｙ）を評価する。本実施形態では、不確実性評価部２９は、２軸の夫々についての標準偏差によって特定される、推定座標を含む楕円（基準表示を示す可能性をともなうピクセルを含む特徴領域）のサイズが所定の基準を満たすか否かを判定する。図６では、特徴点４１から４５の夫々に対応する特徴領域（楕円領域）が破線で示されている。なお、本実施形態では、楕円のｘ軸及びｙ軸に係る径を所定の閾値を比較し、ｘ軸に係る径及びｙ軸に係る径がいずれも所定の閾値未満である場合に、楕円のサイズが所定の基準を満たすと判定する。但し、サイズの判定に用いられる尺度は本実施形態における開示に限定されない。例えば、楕円のサイズの判定には楕円の面積（算出された面積であってもよいし、楕円に含まれるピクセル数であってもよい）が用いられてもよいし、径の平均値が用いられてもよい。

【0040】

また、不確実性評価部２９は、複数の特徴領域の夫々が重複しない場合に所定の基準を満たすと判定してよく、複数の特徴領域の夫々の重複率が所定の閾値未満である場合に所定の基準を満たすと判定してよく、特定の特徴領域の組み合わせにおいて重複が発生していない場合に所定の基準を満たすと判定してよく、複数の特徴領域のサイズの合計が所定の閾値未満である場合に所定の基準を満たすと判定してよく、複数の特徴領域により被覆される基準表示の領域が所定の閾値を超過する場合に所定の基準を満たすと判定してよく、特徴領域が位置する基準表示の伸張方向と直交する方向の特徴領域の幅またはその合計が所定の閾値未満である場合に所定の基準を満たすと判定してよく、これらの１以上の所定の基準の組み合わせに従って判定してよい。ここで、当該所定の基準は、機械学習モデルに入力される画像の解像度に応じ変更されてよい。なお、本実施の形態では、特徴領域が楕円である場合を説明しているが、その形状に特に制限はない。

【0041】

締結状態判定部３０は、特徴領域が所定の基準を満たす場合（特徴点の推定座標または特徴領域の不確実性が低いと評価される場合）に、基準表示（本実施形態では、マーカーライン４）の推定座標に基づいて締結部の締結状態を判定する。本実施形態において、締結状態判定部３０は、二次締めによって位置関係が変化した締結材７上のマーカーライン４と締結対象６上のマーカーライン４との夫々に係る複数の特徴点の推定座標に基づいて、ボルト７１、ワッシャ７３及び締結対象６に付されたマーカーライン４と、ナット７２に付されたマーカーライン４とがなすマーカー角度を算出し、締結部の締結状態を判定する。ここで、締結部の締結状態とは、算出されたマーカー角度が、ナット７２の締め付け回転方向においてプラス所定角度の範囲内であるか否かを示す。判定の結果、マーカー角度がナット７２の締め付け回転方向においてプラス所定角度の範囲（例えば、９０度から１５０度）内である場合に、締結状態判定部３０は、正しく締結された状態であると判定する。一方、判定の結果、マーカー角度がナット７２の締め付け回転方向においてプラス所定角度の範囲外である場合、締結状態判定部３０は、正しく締結された状態でない（締結の不備や経年による緩み等が生じている）と判定する。なお、本実施形態において、締結状態判定部３０は、特徴領域が所定の基準を満たさない場合に、締結部の締結状態を「不明（ｕｎｓｕｒｅ）」と判定する。

【0042】

図６を参照して説明すると、締結状態判定部３０は、第一の近似直線９１と第二の近似直線９２とがなす角度が所定の範囲内である場合に、締結部が正しく締結された状態であると判定する。ここで、第一の近似直線９１は、締結部における中心点を示す特徴点４１、ボルト７１上のマーク終点を示す特徴点４２、及び基部上のマーク始点を示す特徴点４５を通る近似直線であり、第二の近似直線９２は、中心点を示す特徴点４１、ナット７２上のマーク始点を示す特徴点４３、及びナット７２上のマーク終点を示す特徴点４４を通る近似直線である。

【0043】

通知部３１は、不確実性評価部２９による判定の結果及び／又は締結状態判定部３０による判定の結果をユーザに対して通知する。

【0044】

＜処理の流れ＞
次に、本実施形態に係る情報処理装置によって実行される処理の流れを説明する。なお、以下に説明する処理の具体的な内容及び処理順序は、本開示を実施するための一例である。具体的な処理内容及び処理順序は、本開示の実施の形態に応じて適宜選択されてよい。

【0045】

図７は、本実施形態に係るデータ拡張処理及び機械学習処理の流れを示すフローチャートである。本フローチャートに示された処理は、定期的に、又は管理者によって指定されたタイミングで実行される。

【0046】

ステップＳ１０１及びステップＳ１０２では、スタイル転移を用いたデータ拡張のために用いられるサンプル画像及び二次元画像が取得される。サンプル画像取得部２１は、ネジ締結された締結部及び当該締結部に付された基準表示が撮像されたサンプル画像を取得する（ステップＳ１０１）。また、描画部２２は、基準表示が付された締結部の三次元モデルに基づいて描画された二次元画像を描画する（ステップＳ１０２）。その後、処理はステップＳ１０３へ進む。

【0047】

ステップＳ１０３では、スタイル転移によるデータ拡張が行われる。教師画像生成部２３は、二次元画像から抽出されたコンテンツ表現に、サンプル画像から抽出されたスタイル表現を適用するスタイル転移を実行することで、二次元画像のコンテンツ表現及びサンプル画像のスタイル表現を有する教師画像を生成する。その後、処理はステップＳ１０４へ進む。

【0048】

ステップＳ１０４では、機械学習モデルが生成される。機械学習部２４は、教師画像を入力値とし、基準表示に係る教師画像中の複数の特徴点の位置を示す座標を出力値とする教師データを用いて、機械学習モデルを生成する。上述の通り、ここで生成される機械学習モデルは、画像の入力に対して、締結部に付された基準表示に係る画像中の複数の特徴点の位置を示す推定座標に加えて、当該推定座標の標準偏差に基づき特徴領域を出力する。また、ここで用いられる教師データには、ステップＳ１０３におけるデータ拡張によって生成された教師画像を含む教師データが含まれるが、用いられる教師データはステップＳ１０３で生成された教師画像に係る教師データに限定されない。教師データには、実際に締結部を撮像することによって得られた教師画像、サンプル画像、及び／又はその他の手段で拡張されたデータセットに基づく教師データが含まれていてもよい。その後、本フローチャートに示された処理は終了する。

【0049】

上記説明したデータ拡張処理及び機械学習処理によれば、実際の締結部が撮像された教師画像又はサンプル画像の量に関わらず、質が確保されたバリエーションに富む教師データを確保することが可能となり、機械学習モデルの精度を高めることができる。

【0050】

図８は、本実施形態に係る検査処理の流れを示すフローチャートである。本フローチャートに示された処理は、締結手順における検査ステップ（ステップＳ６）又は締結後に定期的（例えば、１年毎）に実施される検査において、撮像画像が入力されたこと又は作業者によって検査処理の実行指示が入力されたことを契機として実行される。

【0051】

ステップＳ２０１では、撮像画像が取得される。作業者は、撮像装置８１を用いて締結部を撮像し、得られた撮像画像の画像データを情報処理装置１に入力する。この際、作業者は、複数の締結部が１枚の撮像画像に含まれるように撮影してもよい。複数の締結部が１枚の撮像画像に含まれる場合、検査処理は、撮像画像に含まれる締結部毎に実行される。撮像方法及び画像データの情報処理装置１への入力方法は限定されないが、本実施形態では、撮像装置８１が搭載されたドローン８を用いて構造物に締結された複数の締結部が撮像され、撮像装置８１からユーザ端末９に通信または記録媒体を介して転送された画像データが更にネットワークを介して情報処理装置１に転送されることで、撮像画像の画像データが情報処理装置１に入力される。撮像画像取得部２５によって撮像画像が取得されると、処理はステップＳ２０２へ進む。

【0052】

ステップＳ２０２及びステップＳ２０３では、対象画像が検出され、また必要に応じて射影の解除が行われる。対象画像取得部２６は、撮像画像から対象画像を検出し（ステップＳ２０２）、射影解除部２７は、対象画像が撮像された際にかかった射影を解除する（ステップＳ２０３）。なお、上述の通り、撮像画像に含まれる対象画像の歪みが少ない場合、ステップＳ２０２の処理の一部又は全部は省略可能である場合があり、実施の形態に応じて適宜省略されてよい。その後、処理はステップＳ２０４へ進む。

【0053】

ステップＳ２０４からステップＳ２０７では、締結状態が判定される。特徴領域検出部２８は、ステップＳ２０３で得られた対象画像を機械学習モデルに入力することで、締結部に付された基準表示に係る対象画像中の特徴点を含み特徴点の推定座標及び当該推定座標の標準偏差に基づく特徴領域を取得する（ステップＳ２０４）。不確実性評価部２９は、ステップＳ２０４で得られた推定座標の標準偏差によって定義される特徴領域（楕円領域）が所定の基準を満たすか否かを判定する（ステップＳ２０５）。特徴領域が所定の基準を満たす場合（ステップＳ２０５のＹＥＳ）、締結状態判定部３０は、基準表示の推定座標に基づいて締結部の締結状態を判定する（ステップＳ２０６）。一方、特徴領域が所定の基準を満たさない場合（ステップＳ２０５のＮＯ）、締結状態判定部３０は、締結部の締結状態を「不明」と判定する（ステップＳ２０７）。その後、処理はステップＳ２０８へ進む。

【0054】

ステップＳ２０８では、締結状態の判定結果がユーザに通知される。通知部３１は、ステップＳ２０５における判定の結果及び／又はステップＳ２０６における判定の結果をユーザに対して通知する。その後、本フローチャートに示された処理は終了する。

【0055】

＜効果＞
本実施形態に係る情報処理装置、方法及びプログラムによれば、上記説明した構成を備えることで、基準表示の位置が判定困難となる点を考慮することが可能となり、また、機械学習モデルを用いた特定を行うにあたって障害となり得る学習データセット構築を効率化することが可能となる。

【0056】

＜バリエーション＞
上記説明した実施形態では、特徴領域検出部２８による処理の前に、対象画像が撮像された際にかかった射影を解除することとしていたが、射影の解除が行われるタイミングは、特徴領域検出部２８による処理の前に限定されない。なお、本バリエーションでは、上記説明した実施形態と共通する構成については説明を省略し、相違点について説明する。

【0057】

図９は、バリエーションに係る情報処理装置１ｂの機能構成の概略を示す図である。情報処理装置１ｂは、記憶装置１４に記録されているプログラムが、ＲＡＭ１３に読み出され、ＣＰＵ１１によって実行されて、情報処理装置１ｂに備えられた各ハードウェアが制御されることで、サンプル画像取得部２１、描画部２２、教師画像生成部２３、機械学習部２４、撮像画像取得部２５、対象画像取得部２６、特徴領域検出部２８、座標変換部３２、不確実性評価部２９、締結状態判定部３０、及び通知部３１を備える情報処理装置として機能する。即ち、本実施形態では、射影解除部２７に代えて、座標変換部３２が採用されている。

【0058】

座標変換部３２は、締結状態判定部３０による処理の前に、特徴領域検出部２８によって検出された複数の特徴点の座標を、対象画像が撮像された際にかかった射影を解除するように変換する。具体的な射影解除の方法は、画像全体が変形されるのではなく特徴点の座標情報が変換されることを除いて、上記説明した座標変換部３２と同様であるため、説明を省略する。

【0059】

図１０は、バリエーションに係る検査処理の流れを示すフローチャートである。本フローチャートに示された処理は、図８を示して説明した検査処理と同様、締結手順における検査ステップ（ステップＳ６）又は締結後に定期的（例えば、１年毎）に実施される検査において、撮像画像が入力されたこと又は作業者によって検査処理の実行指示が入力されたことを契機として実行される。

【0060】

ステップＳ３０１及びステップＳ３０２の処理は、図８を示して説明した検査処理のステップＳ２０１及びステップＳ２０２と概略同様であるため、説明を省略する。なお、本バリエーションでは、ステップＳ２０３に対応する射影解除の処理は省略される。その後、処理はステップＳ３０３へ進む。

【0061】

ステップＳ３０３からステップＳ３０８では、締結状態が判定され、判定結果がユーザに通知される。特徴領域検出部２８は、ステップＳ３０２で得られた対象画像を機械学習モデルに入力することで、締結部に付された基準表示に係る対象画像中の特徴点を含み特徴点の位置を示す推定座標及び当該推定座標の標準偏差に基づく特徴領域を取得する（ステップＳ３０３）。そして、座標変換部３２は、ステップＳ３０３で検出された複数の特徴点の座標を、対象画像が撮像された際にかかった射影を解除するように変換する（ステップＳ３０４）。

【0062】

不確実性評価部２９は、ステップＳ３０４で得られた座標の標準偏差によって定義される特徴領域（楕円領域）が所定の基準を満たすか否かを判定する（ステップＳ３０５）。特徴領域が所定の基準を満たす場合（ステップＳ３０５のＹＥＳ）、締結状態判定部３０は、基準表示の推定座標（本バリエーションでは、ステップＳ３０４で得られた座標）に基づいて締結部の締結状態を判定する（ステップＳ３０６）。一方、特徴領域が所定の基準を満たさない場合（ステップＳ３０５のＮＯ）、締結状態判定部３０は、締結部の締結状態を「不明」と判定する（ステップＳ３０７）。通知部３１は、ステップＳ３０５における判定の結果及び／又はステップＳ３０６における判定の結果をユーザに対して通知する（ステップＳ３０８）。その後、本フローチャートに示された処理は終了する。

【0063】

＜その他のバリエーション＞
上記説明した実施形態では、データ拡張処理、機械学習処理、及び締結状態の検査処理を同一の情報処理装置において実行する例を説明したが、データ拡張処理、機械学習処理、及び締結状態の検査処理は、夫々異なる情報処理装置において実行されてもよい。このため、図５及び図９を参照して説明した情報処理装置の機能構成については、情報処理装置においてデータ拡張処理、機械学習処理、及び締結状態の検査処理のいずれが実行されるかに応じて、不要な機能部が省略されてよい。

【0064】

また、上記説明した実施形態では、基準表示として作業者によって記入されるマーカーライン４を用いる方法を説明したが、基準表示には、その他の表示が用いられてもよい。例えば、ボルト７１、ナット７２、ワッシャ７３等の締結材７に予め付された突起や切り欠き、プリント等が、基準表示として用いられてもよい。このような基準表示を有する締結材７としては、従来、一部に突起等を設けることで非対称な外観とし、画像から回転状態を判別可能とした締結材７が知られている（例えば、所謂スマートボルト）。

【0065】

また、撮像画像の逆変換は、上記説明した実施形態とは異なる方法を用いて処理されてもよい。例えば、平面視において正円となるが射影によって撮像画像中で楕円となっている円弧の全部または一部を撮像画像から抽出し、これを正円に変換する楕円フィッティングによって撮像画像を逆変換する方法が採用されてよい。ここで、平面視において正円となるが射影によって撮像画像中で楕円となっている円弧の例としては、締結材７（ボルト７１、ナット７２及びワッシャ７３等）のエッジ、等が挙げられる。

【0066】

締結対象６の平面（以下、「対象平面」）上の締結部の重心は、撮像画像から特定されるボルト７１のネジ山の中心やナット７２の中心等、締結材７の中心から推測可能である。但し、締結材７の中心は対象平面上にないため、異なる射影がかかっていることに注意が必要である。例えば、射影解除部２７又は座標変換部３２は、ボルト７１のネジ山やナット７２等の締結材７の形状に基づいて楕円フィッティングを行うことで締結材７の中心を推測し、推測された締結材７の中心と対象平面との距離に基づいて、対象平面上の締結部の重心を推測する。この際、締結材７の中心と対象平面との距離は、締結材７の規格及び締結対象６の形状に応じて概ね同じ距離となるため、予め保持しておくことが可能である。

【符号の説明】

【0067】

１ 情報処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】