特許 7150956 コード表示媒体、情報処理装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-09-30

(45)【発行日】2022-10-11

(54)【発明の名称】コード表示媒体、情報処理装置、方法およびプログラム

(51)【国際特許分類】

   G06K 19/06 20060101AFI20221003BHJP

   G06T 3/00 20060101ALI20221003BHJP

   G06T 7/60 20170101ALI20221003BHJP

   G06K 7/10 20060101ALI20221003BHJP

   G06K 7/14 20060101ALI20221003BHJP

   B25B 23/14 20060101ALI20221003BHJP

【ＦＩ】

G06K19/06 093

G06T3/00

G06T7/60 180

G06K19/06 037

G06K7/10 372

G06K7/14 017

G06K7/14 039

B25B23/14 610K

B25B23/14 620G

【請求項の数】 17

(21)【出願番号】P 2021141030

(22)【出願日】2021-08-31

【審査請求日】2021-08-31

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】100145838

【弁理士】

【氏名又は名称】畑添 隆人

(74)【代理人】

【識別番号】100103137

【弁理士】

【氏名又は名称】稲葉 滋

(74)【代理人】

【識別番号】100216367

【弁理士】

【氏名又は名称】水谷 梨絵

(72)【発明者】

【氏名】中澤 満

【審査官】松平 英

(56)【参考文献】

【文献】特開２００１－２８０９３６（ＪＰ，Ａ）

【文献】特開２０１７－９６７４９（ＪＰ，Ａ）

【文献】国際公開第２０２１／００１２１４（ＷＯ，Ａ１）

【文献】韓国登録特許第１０－１１４２０９９（ＫＲ，Ｂ１）

【文献】中国特許出願公開第１１２４１４２２５（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｂ２３／００－２３／１８

Ｇ０６Ｋ ７／００－７／１４

１７／００－１９／１８

Ｇ０６Ｔ １／００－１／４０

３／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０

３０／４１８

４０／１６

４０／２０

(57)【特許請求の範囲】

【請求項1】

ネジ締結のための締結材及び該ネジ締結による締結対象の少なくともいずれかを識別するための識別情報を夫々が含む複数のコード画像を、前記ネジ締結の軸を中心とした円周方向に並べて、光学的に読み取り可能に表示するコード画像表示部と、
前記コード画像表示部を、前記締結対象のうち、ネジ締結された状態で前記締結材と同時に撮像可能な位置に固定する固定部と、
を備えるコード表示媒体。

【請求項2】

前記コード画像表示部は複数の同一の前記コード画像を表示する、
請求項１に記載のコード表示媒体。

【請求項3】

前記コード画像表示部は、前記固定部によって前記位置に固定された状態における前記軸上の原点に基づき極座標変換された前記コード画像を表示する、
請求項１又は２に記載のコード表示媒体。

【請求項4】

前記コード画像表示部は、該コード画像表示部が撮像された後に撮像画像に含まれる前記コード画像を逆変換する際に基準として用いられる所定の基準画像を更に表示する、
請求項１から３のいずれか一項に記載のコード表示媒体。

【請求項5】

前記コード画像表示部は、前記締結材の一部又は全部を囲む形状を有する、
請求項１から４のいずれか一項に記載のコード表示媒体。

【請求項6】

前記コード画像表示部は、前記締結材の一部又は全部を囲むことができる大きさを有する第一の円弧と、当該第一の円弧より大きな径の第二の円弧とに挟まれた領域の少なくとも一部からなる形状を有する、
請求項５に記載のコード表示媒体。

【請求項7】

前記締結材に付された基準表示との位置関係に基づいて施工状態を判定可能とするマーカー部を更に備える、
請求項５又は６に記載のコード表示媒体。

【請求項8】

締結対象に固定された請求項１から７のいずれか一項に記載のコード表示媒体、該締結対象に締結された締結材及び該締結対象が同時に撮像された撮像画像を取得する撮像画像取得手段と、
前記撮像画像から前記コード画像を検出するコード画像検出手段と、
前記コード画像をデコードすることで、前記締結材及び前記締結対象の少なくともいずれかを識別するための識別情報を取得する識別情報取得手段と、
前記撮像画像に含まれる前記締結材及び前記締結対象の画像に基づいて、締結部の施工状態を判定する施工状態判定手段と、
を備える情報処理装置。

【請求項9】

前記撮像画像に含まれる前記コード画像を逆変換することで、極座標変換される前の前記コード画像を得る逆変換手段を更に備え、
前記識別情報取得手段は、逆変換された前記コード画像をデコードすることで、前記識別情報を得る、
請求項８に記載の情報処理装置。

【請求項10】

前記逆変換手段は、撮像画像に含まれる所定の基準画像に基づいて、前記撮像画像に含まれるコード画像を逆変換する、
請求項９に記載の情報処理装置。

【請求項11】

前記逆変換手段は、平面視において正円となるが射影によって楕円となっている撮像画像中の円弧に基づいて、前記撮像画像に含まれるコード画像を逆変換する、
請求項９に記載の情報処理装置。

【請求項12】

前記逆変換手段は、前記撮像画像に含まれる前記コード画像を平面画像に射影変換し、該平面画像に含まれる前記コード画像の極座標変換を解除することで、極座標変換される前の前記コード画像を得る、
請求項９から１１のいずれか一項に記載の情報処理装置。

【請求項13】

前記施工状態判定手段は、前記締結材に付された基準表示と前記コード表示媒体が備えるマーカー部との位置関係に基づいて施工状態を判定する、
請求項８から１２のいずれか一項に記載の情報処理装置。

【請求項14】

前記施工状態判定手段は、前記締結材に付された基準表示と前記コード表示媒体が備えるマーカー部とがなす角度が所定の範囲内である場合に、正しく施工された状態であると判定する、
請求項１３に記載の情報処理装置。

【請求項15】

前記識別情報取得手段によって取得された前記識別情報と、前記施工状態判定手段によって判定された施工状態とを関連づけて管理する施工状態管理手段を更に備える、
請求項８から１４のいずれか一項に記載の情報処理装置。

【請求項16】

コンピュータが、
締結対象に固定された請求項１から７のいずれか一項に記載のコード表示媒体、該締結対象に締結された締結材及び該締結対象が同時に撮像された撮像画像を取得する撮像画像取得ステップと、
前記撮像画像から前記コード画像を検出するコード画像検出ステップと、
前記コード画像をデコードすることで、前記締結材及び前記締結対象の少なくともいずれかを識別するための識別情報を取得する識別情報取得ステップと、
前記撮像画像に含まれる前記締結材及び前記締結対象の画像に基づいて、締結部の施工状態を判定する施工状態判定ステップと、
を実行する情報処理方法。

【請求項17】

コンピュータを、
締結対象に固定された請求項１から７のいずれか一項に記載のコード表示媒体、該締結対象に締結された締結材及び該締結対象が同時に撮像された撮像画像を取得する撮像画像取得手段と、
前記撮像画像から前記コード画像を検出するコード画像検出手段と、
前記コード画像をデコードすることで、前記締結材及び前記締結対象の少なくともいずれかを識別するための識別情報を取得する識別情報取得手段と、
前記撮像画像に含まれる前記締結材及び前記締結対象の画像に基づいて、締結部の施工状態を判定する施工状態判定手段と、
として機能させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、締結部の点検のための技術に関する。

【背景技術】

【0002】

従来、締結部を点検するための技術が種々提案されている（特許文献１から３を参照）。また、変形されたコード画像に係る技術が種々提案されている（特許文献４及び５を参照）。

【先行技術文献】

【非特許文献】

【0003】

【文献】特開２００２－２３９９３９号公報

【文献】特開２０１４－１７０４４６号公報

【文献】特開２０２０－１８６９２５号公報

【文献】特開平８－７７２８９号公報

【文献】特開２０１３－１３８７５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、鉄塔等の構造物を構成する締結部の点検にかかるデジタルトランスフォーメーション（ＤＸ）が推進され、締結部を識別するコードを締結部の点検に活用する技術が種々提案されている。しかし、従来提案されている技術では、突出した締結材（ボルトやナット等）によって斜めから見たときにコードが隠れてしまう、又は締結部の周辺にコードを表示するための空きスペースが少ない、等の理由で、コードの表示場所に制限があった。

【0005】

本開示は、上記した問題に鑑み、表示場所に関する制約を受けることなく、締結部を識別するためのコードを表示し、当該コードを用いて締結部を識別することを課題とする。

【課題を解決するための手段】

【0006】

本開示の一例は、ネジ締結のための締結材及び該ネジ締結による締結対象の少なくともいずれかを識別するための識別情報を夫々が含む複数のコード画像を、前記ネジ締結の軸を中心とした円周方向に並べて、光学的に読み取り可能に表示するコード画像表示部と、前記コード画像表示部を、前記締結対象のうち、ネジ締結された状態で前記締結材と同時に撮像可能な位置に固定する固定部と、を備えるコード表示媒体である。

【0007】

また、本開示の一例は、締結対象に固定されたコード表示媒体、該締結対象に締結された締結材及び該締結対象が同時に撮像された撮像画像を取得する撮像画像取得手段と、前記撮像画像から前記コード画像を検出するコード画像検出手段と、前記コード画像をデコードすることで、前記締結材及び前記締結対象の少なくともいずれかを識別するための識別情報を取得する識別情報取得手段と、前記撮像画像に含まれる前記締結材及び前記締結対象の画像に基づいて、締結部の施工状態を判定する施工状態判定手段と、を備える情報処理装置である。

【0008】

本開示は、情報処理装置、システム、コンピュータによって実行される方法又はコンピュータに実行させるプログラムとして把握することが可能である。また、本開示は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものとしても把握できる。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

【発明の効果】

【0009】

本開示によれば、表示場所に関する制約を受けることなく、締結部を識別するためのコードを表示し、当該コードを用いて締結部を識別することが可能となる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係るコード表示媒体の構成を示す図である。

【図2】実施形態に係るコード表示媒体が締結対象に固定され、施工が正しく完了した状態における締結部を示す平面図である。

【図3】実施形態に係るコード表示媒体が締結対象に固定され、施工が正しく完了した状態における締結部を示す斜視図である。

【図4】実施形態に係るコード表示媒体が締結対象に固定され、締結部周辺の形状に合わせてコード表示媒体の一部が切り取られた状態における締結部を示す図である。

【図5】実施形態に係る、極座標変換される前の、直交座標における複数のコード画像を示す図である。

【図6】実施形態に係るコード表示媒体を用いた締結部の施工手順を示すフローチャートである。

【図7】実施形態に係るシステムの構成を示す概略図である。

【図8】実施形態に係る情報処理装置の機能構成の概略を示す図である。

【図9】実施形態に係る検査処理の流れを示すフローチャートである。

【図10】第一のバリエーションに係るコード表示媒体の構成を示す図である。

【図11】第二のバリエーションに係るコード表示媒体の構成を示す図である。

【発明を実施するための形態】

【0011】

以下、本開示に係るコード表示媒体、情報処理装置、方法およびプログラムの実施の形態を、図面に基づいて説明する。但し、以下に説明する実施の形態は、実施形態を例示するものであって、本開示に係るコード表示媒体、情報処理装置、方法およびプログラムを以下に説明する具体的構成に限定するものではない。実施にあたっては、実施の態様に応じた具体的構成が適宜採用され、また、種々の改良や変形が行われてよい。

【0012】

本実施形態では、本開示に係る技術を、鉄塔等の構造物を構成する締結部の施工、点検及び管理のために実施した場合の実施の形態について説明する。但し、本開示に係る技術は、締結部の施工、点検及び管理のために広く用いることが可能であり、本開示の適用対象は、実施形態において示した例に限定されない。また、本実施形態では、ネジ締結のための締結材として、ボルト、ナット及びワッシャを用いる例について説明するが、本開示に係る技術を適用可能な締結材は本開示における例示に限定されない。例えば、ナットやワッシャを用いないネジについても、本開示に係る技術を適用可能な締結材として用いることが可能である。

【0013】

近年、鉄塔等の構造物を構成する締結部の点検にかかるデジタルトランスフォーメーション（ＤＸ）が推進されている。当該ＤＸでは、例として、締結部の撮像処理および画像解析を駆使した点検技術が提案されている。当該点検技術には、締結部の点検にかかる人手による業務の手間や負担を軽減する効果が期待されるとともに、締結部のそれぞれの識別および異常検出の簡便な実現が期待される。しかし、従来提案されている技術では、突出した締結材（ボルトやナット等）によって斜めから見たときにコードが隠れてしまう、又は締結材の周囲にコードを固定する空きスペースが少ない、等の理由でコード表示媒体の設置場所に制限があったり、部品点数が増加してしまったり、管理のために位置データが必要であったり、といった種々の課題があった。

【0014】

本実施形態に係るコード表示媒体、情報処理装置、方法およびプログラムによれば、このような状況に鑑み、設置場所の制限が少なく、少ない部品点数で実現可能であり、また検査のために多くのデータを必要としない、締結部の点検にかかるＤＸが提供可能である。

【0015】

＜コード表示媒体の構成＞
図１は、本実施形態に係るコード表示媒体５の構成を示す図である。本実施形態に係るコード表示媒体５は、コード画像表示部５１、及びコード画像表示部５１の裏面に設けられた固定部５２を備える。

【0016】

コード画像表示部５１は、複数のコード画像を、ネジ締結の軸を中心とした円周方向に並べて、光学的に読み取り可能に表示する。これら複数のコード画像は、ネジ締結のための締結材７及び当該ネジ締結による締結対象６の少なくともいずれかを識別するための識別情報を夫々が含むコードの画像である。本開示に係るコード表示媒体５によれば、識別情報を夫々が含む複数のコード画像が並べて配置されることで、一部のコードが汚損等によって読めなくなってしまった場合にも、いずれかのコード画像から識別情報を取得可能である。本実施形態において、コード画像は、識別情報を含むデータを所謂二次元バーコードにエンコードすることで生成される。但し、本開示に係る技術を実施するにあたってコードの形式は限定されず、コードには所謂一次元バーコードや円形バーコード、文字列等が採用されてもよい。

【0017】

なお、本実施形態では、コード画像表示部５１が複数の同一のコード画像を表示する例について説明するが、複数のコード画像は、夫々が同一の識別情報を含んでいればよく、コード画像は互いに異なっていてもよい。例えば、識別情報以外の情報を含むためにコード画像のそれぞれが互いに異なる画像となってもよいし、コード画像のエンコード方式が異なるためにコード画像のそれぞれが互いに異なる画像となってもよい。

【0018】

固定部５２は、コード画像表示部５１を、締結対象６のうち、ネジ締結された状態で締結材７と同時に撮像可能な位置（換言すれば、締結材７の近傍）に固定する。本実施形態では、固定部５２として粘着面を採用することで、コード表示媒体５を全体としてステッカーとして構成し、施工時のコード表示媒体５の固定作業を簡便としている。但し、採用可能な具体的な固定手段は本実施形態における例示に限定されず、例えば、コード画像表示部５１を締結対象に接着剤や粘着剤を用いて貼り付ける、コード画像表示部５１を締結対象に直接塗布又は印刷する、コード画像表示部５１を締結対象に直接刻印（レーザー刻印等）又は焼き付ける、コード画像表示部５１を締結対象に設けられた被固定部に嵌め込む、又はコード画像表示部５１を締結対象に機械的に連結する、等の様々な固定手段を採用することが出来る。

【0019】

図２及び図３は、本実施形態に係るコード表示媒体５が締結対象６に固定され、施工が正しく完了した状態における締結部を示す平面図及び斜視図である。本実施形態において、コード画像表示部５１は、締結材７の一部を囲むアーク状の形、又は締結材７の全部を囲むドーナツ状の形を有する。より具体的には、本実施形態において、コード画像表示部５１は、締結材７の一部又は全部を囲むことができる大きさを有する第一の円弧と、当該第一の円弧より大きな径の第二の円弧とに挟まれた領域の少なくとも一部からなる形状を有する。なお、図２に示された例では、コード画像表示部５１は締結材７の大部分を囲んでいるが、コード画像表示部５１は、締結材７の全体又は一部を囲む形状を有していればよい。図３によれば、本開示に係るコード表示媒体５を採用し、識別情報を夫々が含む複数のコード画像を円周方向に並べて配置することで、斜めから見たときに締結材７によって一部のコードが隠れてしまった場合であっても、隠れていないいずれかのコード画像から識別情報を取得可能であることが分かる。

【0020】

図４は、本実施形態に係るコード表示媒体５が締結対象６に固定され、締結部周辺の形状（図４に示す例では、壁６１）に合わせてコード表示媒体５の一部が切り取られた状態における締結部を示す図である。即ち、本実施形態に係るコード表示媒体５は、締結対象６への固定の前後で締結部周辺の形状に合わせてカット可能である。一部のコード画像が切り取られたとしても、本実施形態に係るコード表示媒体５によれば、識別情報を含むコード画像がコード画像表示部５１に複数表示されているため、後述する検査処理におけるコード読み取りに支障が生じず、様々な施工箇所において用いられることが出来る。

【0021】

図５は、本実施形態に係る、極座標変換される前の、直交座標における複数のコード画像を示す図である。本実施形態において、コード画像表示部５１は、固定部５２によって所定位置に固定された状態における軸上の任意の点（本実施形態では、コード画像表示部５１のコード画像表示面と軸との交点）を原点として当該原点に基づき極座標変換されたコード画像を表示する（図１を参照）。コード画像がコード表示部の形状に合わせて極座標変換されることで、図１に示されているようにコード表示媒体５いっぱいにコード画像を表示する（換言すれば、コード画像の表示面積を広げる）ことが出来、後述する撮像画像からコード画像を認識することが容易となる。

【0022】

＜施工手順＞
図６は、本実施形態に係るコード表示媒体５を用いた締結部の施工手順を示すフローチャートである。なお、本実施形態では、締結材７としてボルト７１、ナット７２及びワッシャ７３を用いて締結対象６を締結する施工手順について説明するが、その他のネジ締結のための締結材を用いた施工についても、手順の一部が締結材の種類に応じて適宜変更され得ることを除き概略同様である。

【0023】

作業者は、締結対象６に対して締結材７を設置して仮締めし（ステップＳ１）、締結材７の規格に応じて定められた一次締めトルクで一次締めを行う（ステップＳ２）。そして、作業者は、コード表示媒体５を、締結材７の周囲を囲うように、締結対象６に固定する（ステップＳ３）。この際、コード表示媒体５の重心（コード表示媒体５の形状が円弧である場合、当該円弧の中心）と、締結材７の軸（ボルト７１の軸）とが一致するように固定されることが好ましい。また、締結対象６への固定の前後で締結部周辺の形状に合わせてコード表示媒体５がカットされてよいことは、上記説明した通りである。

【0024】

そして、作業者は、一次締めされた状態のボルト７１、ナット７２、ワッシャ７３及び締結対象６に対して基準表示のマーキングを行う（ステップＳ４）。基準表示とは、ボルト７１、ナット７２、ワッシャ７３及び締結対象６の回転における相対的な角度を可視化するための表示であり、一般には、一次締めが完了した状態で、ボルト７１のネジ山の中心から外側に向けてボルト７１、ナット７２、ワッシャ７３及び締結対象６の全てを通る一本の直線（以下、「マーカーライン」と称する）４を、ペン等を用いて記入する。この際、締結対象６のためのマーカーライン４は、コード表示部上のコード画像を横切る（隠す）ように記入されてもよい。本開示に係るコード表示媒体５によれば、コード表示部には複数のコードが表示されるため、そのうち１のコードがマーカーライン４によって判読不能となっても、締結部の識別に支障は生じない。

【0025】

コード表示媒体５の固定とマーカーライン４の記入が完了すると、作業者は、二次締め（本締め）を行う（ステップＳ５）。具体的には、作業者は、一次締めの状態におけるボルト７１、ワッシャ７３及び締結対象６に対するナット７２の角度が、ナット７２の締め付け回転方向において所定の範囲内となるように、ナット７２に対して二次締めを行う。

【0026】

二次締めが完了すると、施工部を撮像することで得られた撮像画像に基づいて、施工状態の検査が行われる（ステップＳ６）。二次締めまでの施工が正しく完了した状態において、ボルト７１、ワッシャ７３及び締結対象６に付されたマーカーライン４と、ナット７２に付されたマーカーライン４とがなす角度（以下、「マーカー角度」と称する）は、ナット７２の締め付け回転方向においてプラス所定角度の範囲内である（図２を参照）。このため、施工状態の検査では、施工部を撮像することで得られた撮像画像に基づいてマーカー角度を算出し、算出されたマーカー角度が、ナット７２の締め付け回転方向において所定の範囲内にあるか否かの判定が行われる。検査処理の詳細については、フローチャートを用いて後述する。

【0027】

＜システムの構成＞
図７は、本実施形態に係るシステムの構成を示す概略図である。本実施形態に係るシステムは、ネットワークに接続されることで互いに通信可能な情報処理装置１と、ドローン８と、ユーザ端末９とを備える。

【0028】

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置１４、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信ユニット１５、等を備えるコンピュータである。但し、情報処理装置１の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、情報処理装置１は、単一の筐体からなる装置に限定されない。情報処理装置１は、所謂クラウドや分散コンピューティングの技術等を用いた、複数の装置によって実現されてよい。

【0029】

ドローン８は、外部からの入力信号及び／又は装置に記録されたプログラムに応じて飛行が制御される小型の無人航空機であり、プロペラ、モーター、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、通信ユニット、入力装置、出力装置等（図示は省略する）を備える。但し、ドローン８の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、本実施形態にかかるドローン８は、撮像装置８１を備えており、対象の構造物周辺を飛行する際に、外部からの入力信号及び／又は装置に記録されたプログラムに応じて締結部の撮像を行う。

【0030】

ユーザ端末９は、ユーザによって使用される端末装置である。ユーザ端末９は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、通信ユニット、入力装置、出力装置等（図示は省略する）を備えるコンピュータである。但し、ユーザ端末９の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、ユーザ端末９は、単一の筐体からなる装置に限定されない。ユーザ端末９は、所謂クラウドや分散コンピューティングの技術等を用いた、複数の装置によって実現されてよい。ユーザは、これらのユーザ端末９を介して、本実施形態に係るシステムによって提供される各種サービスを利用する。

【0031】

図８は、本実施形態に係る情報処理装置の機能構成の概略を示す図である。情報処理装置１は、記憶装置１４に記録されているプログラムが、ＲＡＭ１３に読み出され、ＣＰＵ１１によって実行されて、情報処理装置１に備えられた各ハードウェアが制御されることで、撮像画像取得部２１、コード画像検出部２２、逆変換部２３、識別情報取得部２４、施工状態判定部２５及び施工状態管理部２６を備える情報処理装置として機能する。なお、本実施形態及び後述する他の実施形態では、情報処理装置１の備える各機能は、汎用プロセッサであるＣＰＵ１１によって実行されるが、これらの機能の一部又は全部は、１又は複数の専用プロセッサによって実行されてもよい。

【0032】

撮像画像取得部２１は、締結対象６に固定されたコード表示媒体５、当該締結対象６に締結された締結材７、及び当該締結対象６が同時に撮像された撮像画像を取得する。撮像画像の取得方法は限定されないが、本実施形態では、撮像装置８１が搭載されたドローン８を用いて撮像された撮像画像を、ユーザ端末９を介して取得する例について説明する。

【0033】

コード画像検出部２２は、撮像画像からコード画像を検出する。コード画像検出部２２は、コード画像表示部５１においてコードと共に表示されている所定の特徴を検出することで、撮像画像内のコード画像を検出することが出来る。所定の特徴としては、二次元バーコードで用いられる所謂ファインダパターンの他、様々な特徴を用いることが可能である。また、コード画像の全体又は一部（例えば、ファインダパターン）の表示色を締結対象６及び締結材７のいずれとも色調の異なる色彩（例えば、締結対象６及び締結材７が灰色である場合、ピンクや赤）とすることで、コード画像が検出されやすいようにしてもよい。この場合、コード画像検出部２２は、撮像画像から所定の色彩を検出することで、コード画像を検出することができる。

【0034】

逆変換部２３は、撮像画像に含まれる、極座標変換され更に撮像の際に射影がかかったコード画像を逆変換することで、極座標変換される前の、直交座標におけるコード画像（図５を参照。）を得る。本実施形態では、逆変換部２３は、撮像画像に含まれる所定の基準画像を検出し、基準画像が予め指定された形状（極座標変換及び射影が係る前の形状）になるように撮像画像を変換することで、撮像画像に含まれるコード画像を逆変換する。即ち、所定の基準画像は、撮像画像から検出可能な特徴を有する画像であって、且つ当該基準画像を含む撮像画像を当該基準画像が予め指定された形状になるように変換することでコード画像が逆変換される形状を有する画像であればよい。基準画像には、例えば、二次元バーコードに含まれるファインダパターンが用いられてもよいし、後述するバリエーションのように、コード画像とは別に用意されてコード画像表示部５１に表示される所定の基準画像（図１０を参照。）が用いられてもよい。

【0035】

逆変換部２３による逆変換処理には、極座標変換され更に撮像の際に射影がかかったコード画像から１回の変換処理で極座標変換される前のコード画像を得る逆変換処理が採用されてもよいし、極座標変換され更に撮像の際に射影がかかったコード画像を一旦平面画像に射影変換することで射影を解除し、その後直交座標変換を行うことで極座標変換を解除するといった複数回の変換処理で極座標変換される前のコード画像を得る逆変換処理が採用されてもよい。具体的な逆変換処理は、計算量等の事情に応じて適宜選択されてよい。なお、撮像画像に含まれるコード画像の歪みが少ない場合には、逆変換部２３による処理は一部又は全部が省略可能である場合があり、実施の形態に応じて適宜省略されてよい。

【0036】

識別情報取得部２４は、コード画像をデコードすることで、締結材７及び締結対象６の少なくともいずれかを識別するための識別情報を取得する。コード画像から識別情報を取得する具体的な方法については、コードの形式によって異なり、採用されたコードの形式に応じて適宜採用可能なものであるため、説明を省略する。なお、コードの形式として文字列が採用された場合には、光学文字認識（ＯＣＲ）によって識別情報が取得されてよい。

【0037】

施工状態判定部２５は、撮像画像に含まれる締結材７及び締結対象６の画像に基づいて、締結部の施工状態を判定する。本実施形態において、施工状態判定部２５は、締結材７及び締結対象６に付された基準表示に基づいて施工状態を判定する。本実施形態では、基準表示としてマーカーライン４が用いられる。具体的には、施工状態判定部２５は、撮像画像からマーカーライン４を検出し、ボルト７１、ワッシャ７３及び締結対象６に付されたマーカーライン４と、ナット７２に付されたマーカーライン４とがなすマーカー角度を算出し、算出されたマーカー角度が、ナット７２の締め付け回転方向においてプラス所定角度の範囲内であるか否かを判定する。そして、判定の結果、マーカー角度がナット７２の締め付け回転方向においてプラス所定角度の範囲内である場合に、施工状態判定部２５は、正しく施工された状態であると判定する。一方、判定の結果、マーカー角度がナット７２の締め付け回転方向においてプラス所定角度の範囲外である場合、施工状態判定部２５は、正しく施工された状態でない（施工の不備や経年による緩み等が生じている）と判定する。

【0038】

ここで、マーカー角度を正しく算出するためには、締結材７及び締結対象６における基準表示が付された面についても、射影の解除が正しく行われることが好ましい。ボルト７１、ナット７２、ワッシャ７３及び締結対象６のそれぞれに記入されたマーカーライン４は、それぞれが異なる平面上にあるため、コード画像が正しく射影解除されるための逆変換を撮像画像の全体に適用し、これに基づいてマーカー角度を算出した場合、不正確なマーカー角度が算出される可能性がある。このため、締結材７及び締結対象６のそれぞれに記入されたマーカーライン４の射影が互いに大きく異なる可能性がある場合（例えば、近距離から撮像した撮像画像を用いる場合等）には、各マーカーライン４に係る平面を抽出し、正しく射影を解除することが好ましい。但し、締結材７及び締結対象６のそれぞれに記入されたマーカーライン４の射影の差が比較的小さい場合（例えば、遠距離から撮像した撮像画像を用いる場合等）には、マーカー角度が所定の範囲内で許容される場合には、射影による誤差を前提に許容される角度の範囲を設定することで、厳密な射影の解除を省略してもよい。

【0039】

なお、マーカーラインが付されたナット７２の平面を検出する方法として、画像認識によってナット７２の上面を構成する多角形（六角ナットの場合、六角形）の頂点を３つ以上検出し、検出された頂点に基づいて、マーカーラインが付されたナット７２の平面を定義する方法が採用可能である。ここで、画像認識によって頂点を直接検出するのが困難である場合には、ナット７２の上面を構成する多角形の各辺を検出し、検出された各辺の交点を頂点として扱うことも可能である。

【0040】

施工状態管理部２６は、識別情報取得部２４によって取得された識別情報と、施工状態判定部２５によって判定された施工状態とを関連付けて蓄積することで、構造物に含まれる１又は複数の締結部の施工状態を管理する。また、施工状態管理部２６は、施工状態として、正しく施工された状態であるか否かを示す情報と併せて、施工状態判定部２５によって算出されたマーカー角度を更に蓄積してもよい。

【0041】

＜処理の流れ＞
次に、本実施形態に係る情報処理装置によって実行される処理の流れを説明する。なお、以下に説明する処理の具体的な内容及び処理順序は、本開示を実施するための一例である。具体的な処理内容及び処理順序は、本開示の実施の形態に応じて適宜選択されてよい。

【0042】

図９は、本実施形態に係る検査処理の流れを示すフローチャートである。本フローチャートに示された処理は、施工手順における検査ステップ（ステップＳ６）又は施工後に定期的（例えば、１年毎）に実施される検査において、撮像画像が入力されたこと又は作業者によって検査処理の実行指示が入力されたことを契機として実行される。

【0043】

ステップＳ１０１では、撮像画像が取得される。作業者は、撮像装置８１を用いて締結部を撮像し、得られた撮像画像の画像データを情報処理装置１に入力する。この際、作業者は、複数の締結部が１枚の撮像画像に含まれるように撮影してもよい。複数の締結部が１枚の撮像画像に含まれる場合、検査処理は、撮像画像に含まれる締結部毎に実行される。撮像方法及び画像データの情報処理装置１への入力方法は限定されないが、本実施形態では、撮像装置８１が搭載されたドローン８を用いて構造物に施工された複数の締結部が撮像され、撮像装置８１からユーザ端末９に通信または記録媒体を介して転送された画像データが更にネットワークを介して情報処理装置１に転送されることで、撮像画像の画像データが情報処理装置１に入力される。撮像画像取得部２１によって撮像画像が取得されると、処理はステップＳ１０２へ進む。

【0044】

ステップＳ１０２からステップＳ１０４では、撮像画像に含まれるコード画像から、識別情報が取得される。コード画像検出部２２は、撮像画像からコード画像を検出し（ステップＳ１０２）、逆変換部２３は、極座標変換され更に撮像の際に射影がかかった撮像画像を逆変換することで、極座標変換される前のコード画像を得る（ステップＳ１０３）。そして、識別情報取得部２４は、コード画像をデコードすることで、締結材７及び締結対象６の少なくともいずれかを識別するための識別情報を取得する（ステップＳ１０４）。なお、上述の通り、撮像画像に含まれるコード画像の歪みが少ない場合、ステップＳ１０２の処理の一部又は全部は省略可能である場合があり、実施の形態に応じて適宜省略されてよい。識別情報が取得されると、処理はステップＳ１０５へ進む。

【0045】

ステップＳ１０５及びステップＳ１０６では、施工状態が判定される。施工状態判定部２５は、撮像画像に含まれる締結材７及び締結対象６の画像に基づいて、締結部の施工状態を判定する（ステップＳ１０５）。そして、施工状態管理部２６は、ステップＳ１０４で取得された識別情報と、ステップＳ１０５で得られたマーカー角度及び施工状態とを関連付けて蓄積することで、構造物に含まれる１又は複数の締結部の施工状態を管理する（ステップＳ１０６）。また、ステップＳ１０５における判定結果は、ユーザ端末９に通知されてもよい。その後、本フローチャートに示された処理は終了する。

【0046】

＜効果＞
上記説明した実施形態によれば、表示場所に関する制約を受けることなく、締結部を識別するためのコードを表示し、当該コードを用いて締結部を識別することが可能となる。

【0047】

＜バリエーション＞
図１０は、第一のバリエーションに係るコード表示媒体５ｂの構成を示す図である。上記説明した実施形態では、コード画像を検出するための所定の特徴、及び／又は逆変換のための基準画像として、二次元バーコードに含まれるファインダパターンを用いる例について説明したが、所定の特徴及び／又は基準画像には、その他の画像が用いられてもよい。図１０に示す例では、アーク状の形を有するコード画像表示部５１の両端に、二次元バーコードのファインダパターンに似た画像５４を配置することで、コード画像検出部２２によるコード画像の検出のための所定の特徴とし、また逆変換部２３による逆変換処理のための基準画像５４としている。より具体的には、逆変換部２３は、基準画像５４から複数の基準点５４ａ－５４ｌを抽出し、抽出された基準点に基づいて、逆変換処理を実行する。

【0048】

図１１は、第二のバリエーションに係るコード表示媒体５ｃの構成を示す図である。上記説明した実施形態では、ボルト７１、ワッシャ７３及び締結対象に付されたマーカーライン４と、ナット７２に付されたマーカーライン４とがなす角度を、施工状態を判定するためのマーカー角度として用いる例を説明したが、マーカー角度は、その他の方法を用いて算出されてもよい。図１１に示す例では、コード表示媒体５ｃが、締結材７に付された基準表示（例えば、作業者によってボルト７１、ナット７２、ワッシャ７３及び締結対象に記入されたマーカーライン４）との位置関係に基づいて施工状態を判定可能とするマーカー部５３を更に備える。

【0049】

この場合、作業者は、コード表示媒体５ｃを締結対象に固定する際に、締結材７に付された基準表示（マーカーライン４等）とマーカー部５３とを位置合わせする。そして、検査処理において、施工状態判定部２５は、締結材７に付された基準表示とコード表示媒体５ｃが備えるマーカー部５３との位置関係に基づいて施工状態を判定する。具体的には、施工状態判定部２５は、撮像画像から基準表示（マーカーライン４等）及びマーカー部５３を検出し、検出された基準表示とマーカー部５３とがなすマーカー角度を算出し、算出されたマーカー角度が、ナット７２の締め付け回転方向においてプラス所定角度の範囲内であるか否かを判定する。即ち、本バリエーションにおいて、マーカー部５３は、従来の施工において締結対象に記入される基準表示の代わりとなる。

【0050】

コード表示媒体５、５ｂ及び５ｃを参照して上記説明した、コード表示媒体に採用可能な各種構成は、実施の形態に応じて適宜取捨選択し、組み合わされてよい。例えば、図１０を参照して説明した基準画像５４と、図１１を参照して説明したマーカー部５３とは、組み合わせて用いられてもよい。また、基準画像とマーカー部とを兼ねた画像が用いられてもよい。

【0051】

また、上記説明した実施形態では、基準表示として作業者によって記入されるマーカーライン４を用いる方法を説明したが、基準表示には、その他の表示が用いられてもよい。例えば、ボルト７１、ナット７２、ワッシャ７３等の締結材７に予め付された突起や切り欠き、プリント等が、基準表示として用いられてもよい。このような基準表示を有する締結材７としては、従来、一部に突起等を設けることで非対称な外観とし、画像から回転状態を判別可能とした締結材７が知られている（例えば、所謂スマートボルト）。なお、一部に突起が設けられた締結材７を用いる場合、施工された状態でコード画像表示部５１が当該突起によって隠れてしまう可能性があるが、本開示に係るコード表示媒体によれば、コード表示部には複数のコードが表示されるため、そのうち１のコードが突起に隠れて判読不能となっても、締結部の識別に支障は生じない。また、コード表示媒体は、締結材７の突起を覆うように固定されてもよいし、突起に隠れないように当該突起から離れた位置に固定されてもよい。

【0052】

上記説明した実施形態では、撮像画像の逆変換において、コード表示媒体における基準画像を用いる方法を説明したが、撮像画像の逆変換は、その他の方法を用いて処理されてもよい。例えば、平面視において正円となるが射影によって撮像画像中で楕円となっている円弧の全部または一部を撮像画像から抽出し、これを正円に変換する楕円フィッティングによって撮像画像を逆変換する方法が採用されてよい。ここで、平面視において正円となるが射影によって撮像画像中で楕円となっている円弧の例としては、コード表示媒体と締結対象（ベースプレート等）との境界線であるエッジ、コード表示媒体のエッジ（外周又は内周）、コード表示媒体に印刷された円弧、締結材７（ワッシャ７３等）のエッジ、等が挙げられる。

【0053】

なお、逆変換部２３は、３６０度円周を仮定したときのコード表示媒体の重心と、コード表示媒体が固定された平面上の締結部の重心とが略一致しており、コード表示媒体の重心が予めわかっている前提で楕円フィッティングを行う。重心（中心）によっては、撮影されたエッジ（円弧）から推定される楕円が大きく変化してしまうため、コード表示媒体の重心は締結部の重心から拾える等の状態が望ましい。

【0054】

コード表示媒体が固定された平面（以下、「対象平面」）上の締結部の重心は、撮像画像から特定されるボルト７１のネジ山の中心やナット７２の中心等、締結材７の中心から推測可能である。但し、締結材７の中心は対象平面上にないため、異なる射影がかかっていることに注意が必要である。例えば、逆変換部２３は、ボルト７１のネジ山やナット７２等の締結材７の形状に基づいて楕円フィッティングを行うことで締結材７の中心を推測し、推測された締結材７の中心と対象平面との距離に基づいて、対象平面上の締結部の重心を推測する。この際、締結材７の中心と対象平面との距離は、締結材７の規格及び締結対象の形状に応じて概ね同じ距離となるため、予め保持しておくことが可能である。

【0055】

また、撮像画像に含まれるコード画像は、射影に加えて回転もかかっていることが通常であるため、射影の解除及び極座標変換の解除を行ったのみでは、正立した画像とならない。このため、識別情報取得部２４が、正立していないコード画像のデコードに対応していない場合には、逆変換部２３は、射影の解除及び極座標変換の解除に加えて、コード画像を回転させて成立させる変換を行ってもよい。

【0056】

また、上記説明した実施形態では、極座標変換された複数のコード画像をコード画像表示部５１に表示する例について説明したが、コード画像表示部５１に表示されるコード画像は、極座標変換されたものに限定されない。例えば、極座標変換されていない（直交座標における）複数のコード画像が、コード画像表示部５１に表示されてもよい。このような例によっても、複数のコード画像が円周方向に並べて配置されているため、斜めから見たときにボルト７１やナット７２等の締結材７によって一部のコードが隠れてしまった場合や、一部のコードが汚損等によって読めなくなってしまった場合にも、いずれかのコード画像から識別情報を取得可能である。

【符号の説明】

【0057】

１ 情報処理装置
５ コード表示媒体

【要約】

【課題】表示場所に関する制約を受けることなく、締結部を識別するためのコードを表示し、当該コードを用いて締結部を識別する。
【解決手段】コード表示媒体に、ネジ締結のための締結材及びネジ締結による締結対象の少なくともいずれかを識別するための識別情報を夫々が含む複数のコード画像を、ネジ締結の軸を中心とした円周方向に並べて、光学的に読み取り可能に表示するコード画像表示部と、コード画像表示部を、締結対象のうち、ネジ締結された状態で締結材と同時に撮像可能な位置に固定する固定部と、を備えた。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】