特許 6032812 検査補助装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6032812

(24)【登録日】2016年11月4日

(45)【発行日】2016年11月30日

(54)【発明の名称】検査補助装置

(51)【国際特許分類】

   G01N 21/95 20060101AFI20161121BHJP

【ＦＩ】

   G01N21/95 Z

【請求項の数】13

【全頁数】20

(21)【出願番号】特願2013-29918(P2013-29918)

(22)【出願日】2013年2月19日

(65)【公開番号】特開2014-159981(P2014-159981A)

(43)【公開日】2014年9月4日

【審査請求日】2015年8月27日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】松尾 賢治

(72)【発明者】

【氏名】内藤 整

【審査官】 深田 高義

(56)【参考文献】

【文献】 特開平０９−０９７３９２（ＪＰ，Ａ）

【文献】 特開２００４−１３２８８１（ＪＰ，Ａ）

【文献】 特開２０１２−０２８４６０（ＪＰ，Ａ）

【文献】 特開２０１３−０２１６４６（ＪＰ，Ａ）

【文献】 特開２０１３−１３４１９０（ＪＰ，Ａ）

【文献】 特開２０１０−２４３３３２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／９５

(57)【特許請求の範囲】

【請求項1】

対象物に配置された検査対象部品の検査を補助する検査補助装置であって、
前記対象物が撮影された検査画像より検査対象部品の輪郭を抽出する輪郭抽出部と、
前記抽出された検査対象部品の輪郭に基づいて、前記検査対象部品の設置状態に関する異常度を算出する部品異常度算出部と、を備え、
前記輪郭抽出部では、前記輪郭を、前記検査対象部品の立体構造が反映された複数の輪郭として抽出し、
前記部品異常度算出部では、前記抽出された検査対象部品の立体構造が反映された複数の輪郭の配置関係の、正常状態における所定の配置関係からの乖離に基づいて、前記異常度を算出することを特徴とする検査補助装置。

【請求項2】

対象物に配置された検査対象部品の検査を補助する検査補助装置であって、
前記対象物が撮影された検査画像より検査対象部品の輪郭を抽出する輪郭抽出部と、
前記抽出された検査対象部品の輪郭に基づいて、前記検査対象部品の設置状態に関する異常度を算出する部品異常度算出部と、を備え、
前記輪郭抽出部が、
前記検査画像よりエッジを検出するエッジ検出部と、
前記検出されたエッジに、前記検査対象部品に対する所定の幾何形状モデルを当てはめる幾何形状当てはめ部と、を含み、
当該当てはめられた幾何形状モデルとして前記輪郭を抽出し、
前記検査対象部品はワッシャー、ナット及びボルトを要素として含む組立品ボルトであり、
前記幾何形状当てはめ部は、前記ワッシャー及び前記ナットに楕円を当てはめ、
前記部品異常度算出部は、前記ナットに対して当てはめられた楕円より求まる前記組立品ボルトの中心軸と、前記ワッシャーに対して当てはめられた楕円の中心と、のずれに基づいて前記異常度を算出することを特徴とする検査補助装置。

【請求項3】

検査対象部品が撮影された複数のサンプル画像より当該検査対象部品の特徴を学習して識別器を構築する特徴学習部と、
前記検査画像に前記識別器を適用して、前記検査対象部品の存在する部分領域を検出する部品検出部と、をさらに備え、
前記輪郭抽出部は前記検出された部分領域ごとに前記輪郭を抽出し、前記部品異常度算出部は前記検出された部分領域ごとに対応する検査対象部品の異常度を算出し、
前記特徴学習部では、前記検査対象部品の特徴を、当該検査対象部品の見えている方向ごとに学習して当該方向ごとに識別器を構築し、
前記部品検出部では、前記検査対象部品の存在する部分領域及びその見えている方向を検出し、
前記輪郭抽出部は前記検出された見えている方向を利用して前記輪郭を抽出することを特徴とする請求項１または２に記載の検査補助装置。

【請求項4】

前記部品検出部が前記検査画像より複数の部分領域を抽出した場合に、前記部品異常度算出部が対応する検査対象部品ごとに算出した異常度のうちの最大値、または、当該検査対象部品ごとに算出した異常度のうち所定の閾値条件を満たすものの個数、を前記検査画像の全体に対する異常度として算出する異常判定部をさらに備えることを特徴とする請求項３に記載の検査補助装置。

【請求項5】

前記異常判定部が、前記検査対象部品ごとに算出された異常度が所定の閾値条件を満たすか否かによって、検査対象部品ごとに設置状態が正常であるか異常であるかを判定することを特徴とする請求項４に記載の検査補助装置。

【請求項6】

前記対象物の外観を連続的に走査して撮影された検査映像を所定のサンプリングレートで順次読み込むサンプリング部をさらに備え、
当該所定のサンプリングレートで順次読み込まれた各々が前記検査画像として採用され、
前記異常判定部は前記検査映像に沿った時系列データとして前記異常度を算出することを特徴とする請求項４または５に記載の検査補助装置。

【請求項7】

前記検査映像を、前記時系列データとしての異常度のグラフと共に、当該グラフ上に現在再生位置を表示しながら再生する同期再生部をさらに備えることを特徴とする請求項６に記載の検査補助装置。

【請求項8】

前記時系列データとして算出された異常度において所定のしきい値条件を満たす区間を重要区間として決定する重要区間決定部をさらに備え、前記同期再生部は前記グラフ上に前記決定された重要区間を表示しながら再生することを特徴とする請求項７に記載の検査補助装置。

【請求項9】

前記同期再生部による再生を前記重要区間に応じて制御する制御部をさらに備えることを特徴とする請求項８に記載の検査補助装置。

【請求項10】

前記制御部が、前記重要区間の開始位置および終了位置のうちのいずれかへの再生位置の頭出しを、ユーザからの入力に従って行う頭出し部と、
前記重要区間のみを順次再生するように制御する重要区間抽出部と、
前記重要区間の再生速度に対してそれ以外の区間の再生速度を速く設定して再生を制御する速度変更部と、
前記重要区間またはそれ以外の区間におけるユーザからの指定位置を前記グラフ上で明示すると共に、当該明示箇所にユーザから入力されたメモ情報を付記表示して再生を制御するメモ付与部と、
前記重要区間をユーザからの入力に従って修正する修正部と、
のうちの少なくとも一つを含むことを特徴とする請求項９に記載の検査補助装置。

【請求項11】

前記重要区間抽出部または前記速度変更部による制御のもとでの再生映像の符号化データを生成する符号化部をさらに備える、または、
前記制御部が、前記同期再生部によって現在再生されている画面を静止画としてキャプチャする指定をユーザから受け付けるキャプチャ指定部を含み、さらに、当該指定に従って当該現在再生されている画面の静止画の符号化データを生成するフレームキャプチャ部を備えることを特徴とする請求項１０に記載の検査補助装置。

【請求項12】

前記輪郭抽出部が、
前記検査画像よりエッジを検出するエッジ検出部と、
前記検出されたエッジに、前記検査対象部品に対する所定の幾何形状モデルを当てはめる幾何形状当てはめ部と、を含み、
当該当てはめられた幾何形状モデルとして前記輪郭を抽出することを特徴とする請求項１ないし11のいずれかに記載の検査補助装置。

【請求項13】

前記対象物は建造物である請求項１ないし１２のいずれかに記載の検査補助装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像による建造物の外観検査（例えば、カメラを使って撮影された通信基地局鉄塔や橋梁等の外観映像から不具合を判定する等）において、特に特定の部品（例えばボルト等）の異常度を数値化して算出する検査補助装置に関する。

【背景技術】

【0002】

鉄塔は金属製の骨組み構造から構成される細長い建造物であり、携帯電話などの基地局、放送波の送信のほかに、送電線やアンテナの支持、消防の望楼などに用いられる。高さが数メートルのものから、数十メートルのものまで存在するが、その利用目的から見通しの良い場所で高所に設定されることが多い。

【0003】

新しい鉄塔は建造された後すぐに、設計書通りに正しく建造できたかどうかの検査が実施される。またその後も一定期間の間隔を空けて、現状の鉄塔が使用に耐えられる構造強度を保っているかについて定期的に検査が行われる。

【0004】

検査では、反り、曲り、ひび、さびに代表される骨組みの劣化やボルトの緩みに代表される経年を起因とした異常を見つけ出す。また、ボルトの逆挿しや締め付けトルク不足や適切な長さのボルトが使われていない等、建設時に設計書通りに施工されていない不具合や、鳥の巣やビニール等の付着物も一種の異常とみなされる。

【0005】

ボルトを手掛かりにした点検および検査方法に関連する従来技術は例えば特許文献1および2に開示されている。

【0006】

図11は特許文献1に記載の方法を説明する図であり、ここでは下記手順によりボルトの緩み検査を実現する。ボルト固定場所の両面に緩み検出用のマーキングをあらかじめ緩みのない正常時に施す。例えば、(1)のように×印でマーキングを施す。ボルトが緩むと(2)に示すように、ボルト、ナット、ワッシャーおよび鉄塔の骨組み上の各部間にまたがる×印の連続性が損なわれるため、マーキングの不連続性を画像から検出することによって、ボルトの緩みを点検する。

【0007】

図12は特許文献2に記載のねじ部検査方法を説明する図であり、ここでは工場の生産ラインなど決まった角度・配置でカメラCにより撮影できる前提のもと、ナットの有無を画像から検出する。(1)に示すようにナットNが物体Mに適正に固定されていればカメラCより波状凹凸の溝が観測されるが、(2)に示すように適正に固定されていなければ観測されない、という特性を利用している。

【0008】

一方、落下物や転落事故に代表される高所での検査作業の危険を避けるため、検査員が実際に現場で鉄塔に登って行うこれまでの検査方法から、昇塔することなく周囲の安全な場所から鉄塔をビデオ撮影し、その鉄塔映像を安全な場所で時間をかけて目視検査する方法も近年行われ始めている。

【0009】

撮影の典型例を挙げると、ビデオカメラを地上に設置し、鉄柱の下方から上部の方向に向かって鉄塔内の鉄骨を隅々まで撮影する。このとき、鉄塔の全ての側面を漏れなく記録するために、ビデオカメラの設置場所は鉄塔周辺の数か所に変えて行われる。また、鉄塔内で骨組み同士の結合箇所を撮影する際は、ボルトに焦点を合わせて緩みを判断できるまでズームして撮影される。このような手順で撮影した結果、映像の記録時間は鉄塔1棟当たり比較的長時間に及ぶことが多い。

【0010】

ビデオ撮影された鉄塔映像を目視検査する方法では、基本的に記録時間以上に目視確認の時間を要する。異常と疑わしい箇所は一時停止や巻き戻し再生して何度も確認する必要があるためである。目視確認を担当する検査員は多大な労力を強いられる。

【0011】

したがって、鉄塔等の建造物を対象とし、鉄塔の不具合が特にボルトによる結合箇所周辺で生じることが多いことに着目して、ボルト結合箇所を手掛かりとしてビデオ撮影された鉄塔映像の目視検査を効率化する装置が、これまでに特許文献3にて記載されている。

【0012】

図13は特許文献3に記載の方法を説明する図であり、(1)に概念的に示される検査映像から建造物に配置された検査対象部品の検査を補助する検査補助装置であって、(2)に代表される検査対象部品が撮影された複数のサンプル画像より検査対象部品の特徴を学習し、建造物が撮影された検査画像より学習結果に基づいて検査対象部品の存在する部分領域を(3)に例を示す通り検出し、検出された部分領域に基づいて、建造物において検査画像に写っている箇所を検査すべき必要性を表す重要度を算出し、(4)(5)に例を示す通り当該重要度をユーザに提示することによって目視検査の効率化を図る。

【0013】

当該発明では、検査の必要性が特に高いと考えられる部分領域としてボルト接合箇所を優先的に提示するよう重要度を設定することで、目視確認に要する時間を短縮し、検査員の労力が軽減された。具体的にはさらに(6)の検査画面例の通り、重要度の時系列グラフ上に再生位置を表示しながら検査映像が再生されるので、検査映像において検査の必要性が高いシーンを視覚的かつ直観的に容易に把握ができるようになった。

【先行技術文献】

【特許文献】

【0014】

【特許文献1】特開2005-3658 号公報 「ボルトの緩み点検方法」

【特許文献2】特開2007-10620 号公報 「ねじ部検査装置およびねじ部検査方法」

【特許文献3】特願2011-285612号「検査補助装置および方法」（本発明者による先願）

【発明の概要】

【発明が解決しようとする課題】

【0015】

しかしながら以下説明するように、当該点検ないし検査に係る従来技術には諸課題があることから、各項目[1]〜[6]の実現が望まれている。

【0016】

特許文献1に記載のボルトの緩み点検方法は、マーキング等のコストのかかる作業を必要とする点に課題があった。高所で手動によりマーキングする必要があるため、[1]このマーキング作業のようなコストのかかる作業を避けることができ、[2]安全かつ効率の良い検査方法が望まれている。

【0017】

また、鉄塔の映像中に出現するボルトは、見える向きが多様である。一方、特許文献2に記載のねじ部検査方法は工場の生産ラインなど決まった角度・配置で撮影できる前提としているため、見える向きが多様な場合には適用できなかった。固定配置のカメラによる撮影を必要とするという制約に縛られず、画像に撮影されたボルトの見える[3]向きが多様である場合にも対応することのできる検査方法が望まれている。

【0018】

さらに、特許文献3に記載の検査補助装置および方法は、検査の必要性が特に高いと考えられるボルト接合箇所を優先的に提示可能とし、目視確認に要する時間を短縮することによって検査員の労力を軽減したものの、提示されたボルト接合箇所の最終的な正常異常判定は検査員の目視判断が必要であることに変わりがなかった。一般に鉄塔の接合には大量のボルトが使用されているため、検査員の負担は多少減ったものの依然として大きく、[4]さらなる労力軽減を可能とする検査方法が望まれている。

【0019】

一方、最終的な正常異常判定に関して目視判断であったことから、検査員間で検査基準にバラつきが生じる恐れがあると共に、検査作業の疲労により検査品質に変動を生じる可能性もあった。変動を避け、常に検査の品質を一定にするために、ボルト接合箇所の正常異常を[5]客観的に統一された基準をもって判定可能とする検査方法が望まれている。

【0020】

同様に、ボルト接合箇所の最終的な正常異常判定については経験を持つ熟練検査員による判定が不可欠であった。究極には、[6]熟練検査員が不在の場合であっても実施できる自動検査方法が望まれている。

【0021】

以上のような点を鑑みて、本発明は以下を目的とする。

【0022】

上記項目[1]〜[4]に関して、本発明は、典型的には鉄塔におけるボルトに代表されるような建造物の外観上に配置される検査対象部品を含むよう建造物の外観を部分的に撮影した複数の検査画像をもとに目視検査を行うユーザに対して、自動的に検査対象部品の設置状態の異常度を算出し、目視確認の必要性が特に高いと考えられる検査対象部品を優先的に提示されるようにすることで目視検査に要する労力を軽減する検査補助装置の提供を第1の目的とする。

【0023】

また、上記項目[5]及び[6]に関して、本発明は、検査対象部品の設置状態の正常異常を自動的に判定することで目視検査に要する労力を軽減すると同時に、検査対象部品の設置状態の正常異常を客観的に統一された基準で判定できる検査補助装置の提供を第2の目的とする。

【0024】

さらに本発明は、当該検査補助装置が検査対象部品が組立品ボルトである場合にも適用できるようにすることを第3の目的とする。

【課題を解決するための手段】

【0025】

上記目的を達成すべく、本発明は、建造物に配置された検査対象部品の検査を補助する検査補助装置であって、前記建造物が撮影された検査画像より検査対象部品の輪郭を抽出する輪郭抽出部と、前記抽出された検査対象部品の輪郭に基づいて、前記検査対象部品の設置状態に関する異常度を算出する部品異常度算出部と、を備えることを第１の特徴とする。

【0026】

また、本発明は、前記輪郭抽出部が、前記検査画像よりエッジを検出するエッジ検出部と、前記検出されたエッジに、前記検査対象部品に対する所定の幾何形状モデルを当てはめる幾何形状当てはめ部と、を含み、当該当てはめられた幾何形状モデルとして前記輪郭を抽出し、前記検査対象部品はワッシャー、ナット及びボルトを要素として含む組立品ボルトであり、前記幾何形状当てはめ部は、前記ワッシャー及び前記ナットに楕円を当てはめ、前記部品異常度算出部は、前記ナットに対して当てはめられた楕円より求まる前記組立品ボルトの中心軸と、前記ワッシャーに対して当てはめられた楕円の中心と、のずれに基づいて前記異常度を算出することを第2の特徴とする。

【発明の効果】

【0027】

前記第１の特徴によれば、抽出された輪郭に基づいて異常度が自動算出され、第１の目的が達成される。異常度はそれ自体数値として求まっており、正常・異常の判定が必要であれば所定の判定用閾値と比較可能であるので、第2の目的もまた、達成される。

【0028】

前記第２の特徴によれば、組立品ボルトに対して各要素に楕円を当てはめ、中心軸からのずれに対応する所定の楕円間のずれに基づいて異常度が算出されるので、第3の目的が達成される。

【図面の簡単な説明】

【0029】

【図1】鉄塔の点検映像の撮影手順の一例を説明するための図である。

【図2】本発明の一実施形態に係る検査補助装置の機能ブロック図である。

【図3】点検映像について説明するための図である。

【図4】部品検出の例を示す図である。

【図5】ずれの有無によるボルト接合の正常及び異常の区別を説明する図である。

【図6】異常度算出の原理を説明するための図である。

【図7】エッジ検出部31及び幾何形状当てはめ部の処理の詳細を説明するための図である。

【図8】一実施形態に係る幾何形状当てはめ部の処理のフローチャートである。

【図9】一実施形態に係る幾何形状あてはめ部の処理を説明するための図である。

【図10】メモ付与部の利用例を説明する図である。

【図11】従来技術を説明するための図である。

【図12】従来技術を説明するための図である。

【図13】従来技術を説明するための図である。

【発明を実施するための形態】

【0030】

図1は、本発明において解析対象となる鉄塔の検査映像の撮影手順の一例を説明するための図である。(A)は鉄塔T1を正面から見た一部分の一例であり、各種の構造に即して建造された鉄塔T1を構成する柱状等の部材（骨組み等）同士を固定するボルト（不図示）が、主要な検査対象となる。またその他、任意箇所に存在しえる各種の不具合なども検査対象となる。

【0031】

(B)を参照して撮影手順の一例を説明する。作業員W1は、鉄塔T1（ここでは部材構造は不図示)の正面P1に面する位置L1よりカメラC10を用いて、概ね矢印(1)のように正面P1を下部より上部まで連続的に走査して撮影する。当該走査撮影は正面P1の横幅部分が映像内に全て収まるようにして行っても良いし、正面P1に存在する鉄塔の柱ごとに行っても良い。

【0032】

次に作業員W1は右側面P2に面する位置L2に移って、同じく矢印(2)のように右側面P2を走査して連続撮影する。次に作業員W1は背面P3に面する位置L3に移って、同じく背面P3を連続撮影（不図示）し、さらに左側面P4に面する位置L4に移って、同じく左側面P4を連続撮影（不図示）する。なお、(B)に示すのは一例である。L1〜L4の移動順は任意であってよく、L1〜L4以外の任意位置から撮影しても良い。各面P1〜P4を個別に撮影しなくともよく、例えば場所L1のL2の中間付近の場所L5において正面P1と右側面P2の両方を一度に撮影しても良い。鉄塔T1は四角状でなく円状などであっても良い。連続走査の撮影は(1)や(2)に示すような直線状でなく、(A)に示すような部材構造を追いながらジグザク状であってもよく、向きも下部から上部の向き以外の任意の向きないし順によって撮影して良い。

【0033】

正面P1の撮影から右側面P2の撮影に移る際に、撮影を一時停止しても良いし、停止させずに鉄塔T1以外の箇所を含む任意の箇所が写っていても良い。カメラC10は作業員W1が手で保持しても良いし、三脚等に固定しても良い。

【0034】

このように、鉄塔の検査映像の撮影手順に特段の制約はなく、適宜撮影位置を変えながら鉄塔の外観を概ね連続的ないし断続的に走査すれば良い。ただし、好ましくは作業員W1は、要検査箇所(特に鉄塔においてはボルトによる結合箇所など)の撮影の際には走査の速度を減ずるまたは一時停止すると共に、当該要検査箇所を中心として映像を拡大するようにする。また、同様の映像を遠隔操作のカメラ等で撮影しても良い。

【0035】

本発明における鉄塔の撮影はこのように自由度の高いものであるため、その撮影の負担が比較的少なく且つ鉄塔自体に何らの追加作業(マーキングなど)を施す必要もない代わりに、撮影された検査映像には検査対象となるボルトおよびボルト以外の映像区間もランダムかつ相当割合で含まれることとなる。一般的に、鉄塔内を撮影する際、漏れの無いようにやや過剰気味にオーバーラップさせながら隅々まで撮影するからである。当該映像をそのまま検査員の目視確認に供すると、検査員に過大な確認負担が生ずることとなるが、以下説明するように本発明によって当該負担は顕著に低減される。

【0036】

なお、図1では鉄塔およびその要検査箇所の一例としてボルト接続箇所を例に検査映像を説明したが、本発明はその他一般の建造物およびその要検査箇所(当該建造物に配置される所定種類の検査対象部品など)を対象として同様に撮影した検査映像について適用可能である。

【0037】

図2は本発明の一実施形態に係る検査補助装置の機能ブロックであり、図3は当該検査補助装置で処理される検査映像について説明するための図である。

【0038】

検査補助装置1は、主要な構成として、サンプリング部10、部品検出部21、特徴学習部22、輪郭抽出部30、部品異常度算出部40、異常判定部50、重要区間決定部60、同期再生部70、制御部80、符号化部90およびフレームキャプチャ部100を備える。輪郭抽出部30はエッジ検出部31および幾何形状当てはめ部32を含み、制御部80は頭出し部81、重要区間抽出部82、速度変更部83、メモ付与部84、修正部85およびキャプチャ指定部86を含む。図1で説明したような手法によって用意され、図3の(1)に概念的に示される検査映像は、サンプリング部10へ入力される。

【0039】

サンプリング部10は検査映像を予めユーザ設定等として設定されたサンプリングレートでフレームメモリにキャプチャし、静止画像フレームとして順次抽出して部品検出部21、同期再生部70および符号化部90に渡す。例えば、サンプリングレートは1fps(1秒間に1フレーム)に設定する。図3の(2)に示すような当該静止画像フレームの各々を、検査映像より抽出された画像との意味を込めて検査画像と呼ぶこととする。サンプリング部10はまた、検査画像が元の検査映像の時系列上にて何番目のフレームであるかの情報を紐付けることで、検査画像同士の順序関係も把握できるようにする。

【0040】

部品検出部21は、後述の特徴学習部22での学習結果を利用することにより、サンプリング部10にて前記建造物の外観を連続的に走査して撮影された検査映像から所定のサンプリングレートで順次読み込んだ各々の検査画像内において、点検対象部品としてのボルトが含まれる部分領域を検出し、その結果を輪郭抽出部30(に含まれるエッジ検出部31)に渡す。

【0041】

図4は当該部品検出の例を示している。すなわち、(1)に示す検査画像から、(2)に矩形で囲って示すようにボルトを含んだ部分領域が検出されている。なお、当該例においては検査画像から4つの部分領域が検出されているが、部分領域が検出されるか、また検出された場合は何個か、については各検査映像に対する部品検出部21の適用結果次第である。

【0042】

なおまた本発明は、ボルトに限定されず、その他の各種の点検対象部品を扱うこともできるが、以下、代表的な例としてボルトを用いて説明する。

【0043】

部品検出部21にて当該検出する際には、部分領域の形状を矩形または円として検出する。矩形領域の場合は中心位置のx座標、y座標および幅、高さの4パラメータで、また円領域の場合は中心位置のx、y座標および半径rの3パラメータで一意に決定することで、部分領域の検出結果を非常に簡素な情報として扱うことができる。図4の(2)の例は矩形領域としての検出例であり、以下、矩形領域を扱うものとして説明するが、円領域その他の形式であっても同様に実施可能である。

【0044】

特徴学習部22では予め所定の種類の識別器を、ボルトが識別可能となるように複数のサンプル画像を用いて学習しておく。部品検出部21は当該学習した識別器を用いることで、ボルトに対応する上記説明した部分領域を検出する。当該ボルト検出のための識別器には、既存の顔検出技術を利用することができる。例えば、非特許文献1に代表される顔検出装置を利用した場合について、以下説明する。

【0045】

[非特許文献1] Paul Viola, Michael Jones, "Robust Real-time Object Detection", Second International Workshop on Statistical and Computational Theories of Vision - Modeling, Learning, Computing, and Sampling, 2001.

【0046】

非特許文献1では、あらかじめ大量に顔が含まれる画像を準備し(所定数準備し)、顔の含まれる領域内の輝度信号をHaar-like特徴量に変換して、黒目は周辺の白目部分と比較して輝度信号が小さい、眉に対して頬の輝度信号が高い、といった顔画像に共通する輝度信号の大小関係をAdaboostと呼ばれる機械学習手法で学習し、顔画像に共通する判定規則が記述されたAdaboost識別器を生成する。

【0047】

新たに入力された画像内で顔を検出する際は、特定の矩形を左から右方向、上から下方向のラスタースキャン順に移動させ、各移動先の矩形内の輝度信号をHaar-like特徴量に変換し、あらかじめ生成したAdaboost識別器に記述された判定規則を満たしているかどうかで、人物の顔が含まれるか否かが判定される。

【0048】

本発明では、検出対象を顔ではなく、ボルトとし、あらかじめ大量のボルト画像をサンプル画像として準備して、ボルトの含まれる矩形領域内の輝度信号を学習させて識別器を生成しておき、部品検出部21が検査画像よりボルトの含まれた部分領域を検出する。なお、識別器としては上記Adaboostの他にも、SVM(サポートベクトルマシン)等を採用してもよい。

【0049】

なお、特徴学習部22ではボルトの向き別にボルトの特徴を学習させて方向毎に識別器を作成し、部品検出部21は当該方向毎の識別器を用いて検査画像内の検査対象部品を検出することで、後述する幾何形状当てはめ部32の処理精度を向上させることができる。この場合、部品検出部21は検出した部品が含まれる部分領域と、当該検出した際の方向とを輪郭抽出部30へと通知する。

【0050】

ボルトの方向は所定種類を予め設定しておく。例えば、垂直方向に上下2種類、水平方向に左右2種類、斜め4種類に加えて正面を含む計9種類程度でも良い。こうして、部品検出部21は検査画像内でボルトが含まれる部分領域の形状を矩形または円として検出すると同時に、当該検出した識別器の種別によって方向を識別する。すなわち、矩形領域の場合は中心位置のx座標、y座標および幅、高さの4パラメータに加えてボルトの方向が、また円領域の場合は中心位置のx、y座標および半径rの3パラメータに加えてボルトの方向が決定され、輪郭抽出部30へと通知される。

【0051】

次に、輪郭抽出部30及び部品異常度算出部40の説明に移り、その概要及び原理を説明してから、各部の処理の詳細を説明する。本発明では、当該各部30及び40によって、部品の一例であるボルトについて、ワッシャーの重心とナットの重心とのずれを検知し、ボルト接合の緩みに関する異常度を算出する。なお、ナットはボルトに対して位置が固定されているとみなすと、当該ずれはワッシャーの重心とボルトの重心とのずれに等しい。

【0052】

図5は、当該ずれの有無によるボルト接合の正常及び異常の区別を説明する図である。(1)及び(2)は共に正面から見た例である。(1)は正常例であり、ボルトB及びナットNと、ワッシャーWとは互いにずれることなく正常に配置されている。(2)は異常例であり、ワッシャーWがボルトB及びナットNに対して重力方向Gへとずれている。当該正常及び異常の区別が、異常度により数値化される。

【0053】

図6は本発明における異常度算出の原理を説明する図である。(1)の分解図は、説明欄(C)にあるような検査画像のうち部品検出部21によって検出されたボルトの部分領域の画像(撮影画像)において、当該組立品としてのボルト(ボルトBとナットN及びワッシャーWとによって、鉄塔の骨組みFを締結した状態となっているもの)の各要素の位置関係を示したものである。

【0054】

すなわち、異常度算出の原理は、次の関係に基づいている。(1)の分解図に位置関係を示すと共に説明欄(B)に記載されているように、ボルト(ナット等と共になった組立品としてのボルト)が正常に固定されている場合は、ワッシャーWとボルトB及びナットNと間で両者の重心は一致し、当該各重心は全てボルトBの中心軸A0上に乗ることとなる。

【0055】

しかしながら、緩みがある場合、重力の影響を受けてワッシャーWの重心がボルトB及びナットNの重心より下側にずれる特性を示す。従って、このずれ量を測定することで、ボルト接合の異常の中でも特に重要と考えられる緩みの度合を異常度として算出可能とする。

【0056】

なお、図6では、ワッシャーW(平面とみなしている)の重心がW0、ナットの上面側の重心がN20、ナットNの下面側(ワッシャーWと接する面の側)の重心がN10であり、ボルトBの重心はナットNの重心と一致するものとして不図示となっている。また、当該図6における参照用の各符号は、後述の図7〜図9を用いた説明においても共通で用いる。

【0057】

また、上記のように定義される異常度の算出処理の概要は、次の通りである。すなわち、図6の(1)の分解図に並列して示す(2)の輪郭を抽出することにより、当該輪郭によって上記の各重心及び中心軸A0を定める。抽出される輪郭は、(2)に示すナットNの六角形の上面及び下面に対して楕円当てはめにより抽出される楕円N2及びN1と、ワッシャーWの円に対して同じく楕円当てはめにより抽出される楕円W1である。抽出処理の概要は欄(A)に示すように、エッジを検出してから当該当てはめる楕円を推定するものである。こうして、欄(C)に示すように、撮影画像を対象として当該欄(A)及び(B)に示す処理が実施されることとなる。

【0058】

輪郭抽出部30は後述するエッジ検出部31と幾何形状当てはめ部32から構成され、図4の(2)で矩形として例示したような前記建造物が撮影された検査画像内で部品検出部21にて検出された検査対象部品を含む部分領域から、検査対象部品（ワッシャー、ナット、ボルト）の輪郭を特定し、後段の部品異常度算出部40に渡す。

【0059】

図7は、エッジ検出部31と幾何形状当てはめ部32の処理の詳細について(1)〜(6)と分けて説明するための図である。図7の(1)は部品検出部21にて右下方向として検出されたボルトの例であり、当該ボルトを処理対象の例として、説明を行う。

【0060】

エッジ検出部31は、前記建造物が撮影された検査画像内で部品検出部21にて検出された検査対象部品を含む部分領域よりエッジを検出し、当該検出結果を幾何形状当てはめ部32へ渡す。当該検出には、公知技術であるラプラシアンフィルタや、以下の非特許文献2に記載のCannyフィルタを利用することができる。こうして、図7の(1)から、(2)に例示するような検査対象部品（ワッシャー、ナット、ボルト）の輪郭の候補となるエッジ画素群が抽出される。

【0061】

[非特許文献2] A computational approach to Edge detection , John Canny, 1986 IEEE. Mathematical Formulation of Performance Criterion.

【0062】

幾何形状当てはめ部32は、上記検出されたエッジより、検査対象部品（ワッシャー、ナット、ボルト）において後段の部品異常度算出部40にて異常度を算出するために利用する所定の輪郭を所定の幾何形状を当てはめることによって抽出し、その結果を部品異常度算出部40に渡す。

【0063】

当該幾何形状の当てはめには例えば、以下の非特許文献3等に記載の公知の技術(ハフ変換)が利用できる。検査対象部品がボルトであれば、図6でも概要として説明したように一実施形態として、所定の輪郭はナットNの上面及び下面の六角形並びにワッシャーWの円を利用することができ、所定の幾何形状については当該各輪郭につき全て楕円を利用することができる。

【0064】

従って、楕円を特定するパラメータ空間内におけるハフ変換の投票により、図7の(2)のような輪郭候補を含むエッジ画像内でエッジ画素群が円形もしくはそれに近い形に並んでいる箇所を推定し、検査対象部品（ワッシャー、ナット、ボルト）の輪郭を図7の(3)に例示するように特定することができる。

【0065】

[非特許文献3]"R.O. Duda, and P.E. Hart, "Use of the Hough Transformation to Detect Lines and Curves in Pictures," Comm.ACM, Vol.15, pp.11-15 (January, 1972)"

【0066】

図7の(3)では、ワッシャーWの輪郭W1と、ナットNの下面すなわち奥側（ワッシャーWに接している側）の輪郭N1と、ナットNの手前すなわち上面の輪郭N2と、合計3つの楕円が抽出されている。

【0067】

なお、単純に楕円を当てはめると、画像内からボルトの先端の輪郭やボルトのねじ山部分が楕円として抽出される場合がある。したがって、部品検出部21で識別された部品の方向を利用して、3つを特定する。すなわち、図7の例のように右下方向として検出されたボルトの場合は、反対方向である検査画像内の左上から右下方向に順番に3つの楕円を、それぞれワッシャーの輪郭W、ナット奥側（ワッシャーに接している側）の輪郭N1、ナット手前の輪郭N2であると特定する。またこの際、部分領域の大きさも加味することで、想定される輪郭の大よその大きさを推測することができるため、ノイズを起因とする楕円を誤って抽出することを避けることができるようになる。

【0068】

図8は、以上のような趣旨に基づいて図7の(3)のような当てはめを幾何形状当てはめ部32が実施する際の一実施形態に係るフローチャートであり、図9は当該フローチャートの各ステップを説明するための図である。

【0069】

ステップS1では、エッジ検出部31で得られたエッジ画像内のエッジのうち、エッジ密度の高い箇所のエッジを削除する。密度が高いと判定するには、密度に関する所定の閾値と比較すればよい。図9の(1)には当該エッジ密度の高い箇所Rの例が、ボルトのねじの部分として示されており、このような部分は所定の輪郭として検出される箇所ではなく、ハフ変換の投票に参加させるのは不適切であるので、予め削除する。

【0070】

ステップS2では、図9の(2)にも示すように、ワッシャーの輪郭W1をハフ変換の投票によって検出する。この際、楕円の大きさがエッジ画像全体の大きさ、すなわち部品検出部21で検出された部分領域の大きさに概ね近い大きさであること、及び／または、楕円の向きが部品検出部21で検出した向きに即した向きとなること、を投票するパラメータ空間に制約として課してよい。ワッシャーの輪郭W1エッジ分布内において最も大きな楕円として見えているので、最多票により当該W1が求まる。

【0071】

ステップS3では、残りの輪郭N1及びN2を検出するために、既に検出された輪郭W1に該当するエッジ(例えばW1から所定距離内にあるエッジ)を削除する。この時点にて、残っているエッジ分布の主要な部分は、ナットNの六角柱の各辺として構成された状態となっている。図9の(2)には当該ナットNの六角柱の頂点が点P1〜P9として示されている。

【0072】

ステップS4では、エッジ分布からナットNの辺に該当する部分(及びその他のノイズ起因の部分)を削除して点P1〜P9を残すために、残っているエッジから線分の端点として形成されているもの以外を削除する。線分と判定する長さには、楕円W1の大きさ又は当該エッジ画像の大きさに基づく所定の閾値を用いても良い。

【0073】

ステップS5では、当該残っているエッジである点P1〜P9を対象として、ハフ変換の投票により楕円N1及びN2をそれぞれ検出する。この際、最初に6点P1〜P6が存在する楕円N2を投票により求めてから、当該楕円N2を平行移動させて3点P7〜P9にフィットさせるようにすることで、楕円N1を求めてもよい。楕円N2の投票の際にも、楕円W1と同様のパラメータ空間への制約、及び／又は、楕円W1と当該ボルトの方向とから課される楕円W1に対する楕円N2の相対的な配置(N2がW1の右下に存在すること)の制約に基づくパラメータ空間への制約を課してもよい。当該9点P1〜P9及び楕円W1についての上記相対的な配置関係によって楕円N1に該当する3点P7〜P9を特定して除外したうえで、楕円N2の投票を実施してもよい。

【0074】

なお、部品検出部21にて当該部品の向きが「正面」として検出されている場合は、6点P1〜P6のみが残っており、楕円N2のみを求める。楕円N1は存在しない。なおまたこの場合、楕円N2及びW1は形状としては円に近い。

【0075】

部品異常度算出部40は、検査対象部品（ワッシャー、ナット、ボルト）間でそれぞれの重心のずれ量を部品異常度として測定する。具体的には、幾何形状当てはめ部32の幾何形状の重心を対応する各要素の重心として用いて、検査画像内のワッシャーの重心とナット(ボルトと一体とみなせる)の重心との間の距離を部品異常度と判定する。

【0076】

すなわち、図7の（4）に例示するようにボルトが正常に固定されている場合は、ワッシャーとボルト（もしくはナット）間で両者の重心は一致するため、部品異常度は0である。一方、（5）に例示するようにボルト接合箇所が緩んでいる場合は、緩みにより重力の影響を受けてワッシャーの重心とナット(ボルトと一体とみなせる)の重心との間で鉛直方向にかい離が生じるため、部品異常度は大きな値を示す。

【0077】

この際詳細には、図7の(4)及び(5)にも示すように、ナット奥側（ワッシャーに接している側）の重心N10とナット手前の重心N20とを結ぶ直線A0を求め、当該直線A0からのワッシャーの重心W0の鉛直方向のずれ幅Dを計測する。ここで重心N10,N20及びW0はそれぞれ、楕円N1,N2及びW1の中心として定まる。

【0078】

また、当該直線A0は図6でも説明したように、一体とみなせるボルトB及びナットNの中心軸となっている。また、検査補助装置1に入力される検査映像は通常、概ね水平に配置されたカメラより得られているので、画像の縦方向を鉛直方向としてよい。

【0079】

ただし、使用しているボルトおよびワッシャーの径が大きい場合と小さい場合でずれ幅は異なる。例えば、ボルトが完全に緩んでワッシャーが最下点までずれた異常時には、ワッシャーの径が小さい場合の方が大きい場合よりずれ幅は小さくなる。また、同じボルト接合箇所を別のアングルから撮影した場合、画像上で測定されるずれ幅の大きさが変動する。従って、ボルトおよびワッシャーの径の大きさや撮影アングルに依存しないずれ幅の正規化をすることが好ましい。

【0080】

当該正規化は図7の(6)に示すように、鉛直方向Gのずれ幅Dをワッシャーの直径R(鉛直方向の幅)で割ることによって、ずれ幅の正規化を実現する。正規化されたずれ幅D'は式（１）の通り算出される。部品異常度算出部40は検査対象部品の部品異常度としてD'を求め、異常判定部50へと出力する。
D'=D/R (1)

【0081】

なおまた、部品検出部21における部品の検出向きが「正面」である場合は、楕円N2のみが求まっているので、直線A0は求まらない。この場合ずれ幅Dは、ナット手前の重心N20とワッシャーの重心W0との距離として求めればよい。

【0082】

異常判定部50は、部品異常度算出部40にて前記算出された検査対象部品の部品異常度が所定のしきい値条件を満たす場合を異常部品と判定する。こうして、検査画像内に(部分領域として)検査対象部品がある場合、その各々につき異常か否かの判定情報を得ることができる。

【0083】

あるいは、上記個別判定とは別途又は上記個別判定に加えて、異常判定部50は検査画像の全体に対する異常度を定義してもよい。検査画像内に検査対象部品が複数含まれる場合、例えば、部品異常度算出部40にて算出された部品異常度の最大値、または、部品異常度算出部40にて所定のしきい値を上回り異常判定された検査対象部品の総数、を検査対象画像全体に対する異常度として算出してもよい。

【0084】

なお、検査画像内において部品検出部21が部品を検出していない場合は、異常判定部50は部品が未検出である旨の情報を出力してもよいし、異常度の値としてゼロなどの最低値に相当する値を与えて異常度を出力してもよい。

【0085】

重要区間決定部60は、異常判定部50が検査画像全体に対して算出した異常度が指定されたしきい値を超える検査画像(検査映像内のフレーム)を特定し、特に検査映像内において連続して所定のしきい値を上回る区間を検査の必要性が高いと考えられる重要区間に決定して、当該決定情報を同期再生部70および制御部80に渡す。

【0086】

すなわち、重要区間決定部60は検査映像の時系列上において異常判定部50の出力する各フレームに対する異常度の時系列を解析し、当該異常度時系列において所定の閾値を超える区間を重要区間として決定する。図3の(4)には当該異常度の時系列の例が示され、(5)には当該異常度時系列より決定された複数の重要区間の例が順次、重要区間S1〜S9として示されている。

【0087】

同期再生部70は検査映像を再生して、検査員としてのユーザの目視検査に供する。具体的には、サンプリング部10にてキャプチャされた静止フレーム画像を時間順に再生して表示する。この際、異常判定部50からの異常度時系列データおよび／または重要区間決定部60からの重要区間の情報に基づいて検査映像に付随情報を付加表示すると共に、制御部80からの各種の再生制御情報等に基づいて再生を制御しながら、表示を行う。

【0088】

すなわち、検査映像の画面と合わせて、異常判定部50からの異常度時系列データおよび／または重要区間決定部60からの重要区間を時系列で補助的にグラフ表示する。検査映像の現在再生位置を時系列グラフ上に同期を取って表示することで、ビデオ撮影された鉄塔映像内で検査の必要性が高いシーンの視覚的かつ直観的な把握をユーザが容易に行えるようになる。

【0089】

さらにまた、重要区間を表示する場合、異常度も同時に表示しているのであれば異常度時系列グラフ上に、そうでなければ再生位置を表す線グラフ上に、重要区間決定部60にて決定された重要区間に相当する場所を視覚的に印を付けて表示する。これもまた、ビデオ撮影された鉄塔映像内で検査の必要性が高いシーンの視覚的かつ直観的な把握を容易にする。

【0090】

図3の(6)にはこのように再生される検査画面の例が示されている。すなわち、時系列に沿って再生される検査映像の当該再生時点における映像F1と、異常度の時系列グラフ上にさらに重要区間を色分けする等して視覚上区別可能に表示したグラフG1と、当該グラフG1上において当該再生時点を示すシークバーB1とを含んで検査画面P10が構成されている。

【0091】

グラフG1は映像F1と別位置ではなく映像F1上の端部に重ねて表示する等、その他所望の表示構成を採用することができる。グラフG1より異常度時系列情報を省略して、現在再生位置が重要区間か否かのみの簡素な構成のグラフとしてもよい。またグラフG1より重要区間の情報を省略して、異常度時系列のみで構成されるグラフとしてもよい。

【0092】

制御部80は、検査員の操作すなわちユーザ入力に従う再生制御信号を生成して同期再生部70に送信して再生を制御することで、検査員が検査映像内の所望の位置を効率的に検査できるようにする。検査員の負担を軽減するための典型的な制御としては例えば、鉄塔内で特に異常が発生しやすいと考えられているボルト周辺が撮影された時間帯だけを提示し、それ以外の異常の発生しにくい部分が撮影された時間帯は早送りまたはスキップすることが挙げられる。

【0093】

上記のような制御は検査員のマニュアル操作によって実現することができる。この際、入力インタフェースとしては図2に不図示の制御部80に含まれ且つコンピュータとして構成される検査補助装置1に備わるキーボード、マウス等を利用することができる。当該インタフェースを利用して、シークバー上で現在位置を表示するバーをドラッグアンドドロップすることによって任意の位置で再生させることができる。

【0094】

当該マニュアル制御の際に、現在再生位置が検査すべき箇所であるか否かは、図3の(6)に示したような検査画面における異常度および／または重要区間の情報を参照して把握することができる。当該(6)におけるシークバーB1を再生位置制御用に兼用してもよい。再生位置の制御の他に、再生速度（速度ゼロすなわち一時停止を含む）、再生向き（順方向再生または逆方向再生）等もユーザからのマニュアル入力によって制御することができる。

【0095】

頭出し部81は、各重要区間の開始箇所および終了箇所を予め記憶しておき、当該開始箇所または終了箇所の中からユーザが指定した箇所へと現在再生位置をスキップさせるような制御、すなわち頭出し制御を行う。ユーザがある重要区間を再度確認したいような場合に、当該頭出し部81を利用することでスムーズに作業を行うことができる。

【0096】

当該ユーザ指定には、図3の(6)におけるグラフG1に追記された重要区間の両端の中から所望の箇所をGUI(グラフィカルユーザインタフェース)上で直接指定するような方式を採用することができる。終了箇所へスキップした際は、ユーザは続けて逆方向再生を指定することもできる。

【0097】

また、ユーザの逐次操作を必要としない、自動再生制御も可能である。重要区間抽出部82は、検査映像から重要区間のみを順次抽出して再生させるように制御を行う。こうして、重要区間のみを再生し、それ以外の区間は再生しないことによって、元の検査映像よりも短い再生時間で検査が可能となる。

【0098】

また、速度変更部83は、重要区間は通常速度で再生するが、それ以外の区間では一定間隔でフレームを間引くことによって通常よりも早い速度でスキップ再生するように制御を行う。速度変更部83による制御は重要区間抽出部82による制御と比べて、検査の必要性が高くないと判定された区間まで視認できるため、重要区間決定部60における判定の正当性まで確認できるという利点がある。

【0099】

重要区間抽出部82または速度変更部83を利用する場合は、ユーザは最初に当該各部を利用する旨の指定を行えばよいが、この場合もさらに一時停止、再生位置変更等のマニュアル操作を追加で加えるようにしてもよい。

【0100】

さらにまた、再生位置・速度等の制御以外にも、再生表示等においてユーザによる編集等を反映させる制御も可能である。メモ付与部84は、ユーザの入力する作業メモ等の情報を受け付けて、図3の(6)に示すような検査画面上に付随情報として表示する。例えば各重要区間を目視検査済みか、各重要区間が鉄塔のいずれの箇所に対応するか、目視検査の結果正常であった旨の情報あるいは判明した不具合を特定する情報や、重要区間以外で検査すべき箇所を見つけた旨の情報を、(6)のグラフ上の所望箇所(特に当該メモを付与するべき時間軸上の位置)に付随表記する。当該付随表記によりユーザの作業効率が向上される。メモ情報はテキスト、チェックマーク等の記号その他所望の形式またはその組合せで構成することができる。

【0101】

図10は当該メモ付与部84を介したユーザのメモ入力の例である。すなわち、重要区間が追記された異常度時系列グラフ上に、ユーザ入力のメモ情報の例M1〜M4が示されている。メモM1は重要区間S1とS2との間の非重要区間にボルトを見つけた旨を、メモM2は重要区間S4が鉄塔の柱Aに対応して目視による検査結果が正常であった旨を、メモM3は重要区間S6が柱Bに対応してボルト落ちを発見した旨を、メモM4は重要区間S9が柱Cに対応して亀裂があった旨を、それぞれ時間軸上の所定位置に表している。なお図6では、図3の(6)にてF1として示したような検査映像の部分は省略しており、ユーザには当該(6)におけるグラフG1を当該図6の表示にて置き換えた検査画面が提供される。

【0102】

修正部85は、ユーザからのマニュアル入力に従って重要区間の移動・拡張・縮小・追加・削除等の修正を行い、当該修正後の重要区間に対して以上説明した制御部80による制御下での検査映像再生を可能とする。当該修正の際もユーザは、図3の(6)に示したグラフにおける重要区間の端部等を直接ドラッグする等すればよい。ユーザは修正部85で重要区間その他の必要箇所を修正した後に、例えば頭出し部81等を利用して効率的に作業することができる。

【0103】

キャプチャ指定部86は、ユーザが当該制御部80のその他の各部を利用した制御下で同期再生部70にて再生(一時停止状態を含む)されている現在画面を静止画としてキャプチャさせる指定を、当該ユーザから受け付ける。さらに、キャプチャ指定部86はユーザからのキャプチャ指定を受け取ると、フレームキャプチャ部100に対して当該現在画面の静止画をJPEG等の符号化データとして生成させる。

【0104】

この際フレームキャプチャ部9は、ユーザからの指定に従って、図3の(6)においてP10として示される検査画面の全体を静止画として生成してもよいし、F1として示される検査画像のみを静止画として生成してもよく、同期再生部7よりユーザ指定の静止画データを受け取って符号化する。

【0105】

検査員たるユーザは例えば鉄塔検査の報告書を作成する際などに、キャプチャ指定部86を利用して不具合等の存在する所望箇所を指定することで、報告すべき不具合箇所等のキャプチャ画像データをフレームキャプチャ部90より容易に入手することができ、不具合箇所の写真を貼り付けて当該不具合を文章で説明することができるようになる。またその他の関連業務についても同様に、効率化を図ることができるようになる。なお、キャプチャ指定部86のインタフェースも図3の(6)における検査画面上等に、キャプチャ指定用のボタン等のGUIとして構成することができ、ユーザは現在画面を把握しながらキャプチャ指定を入力ことができる。

【0106】

符号化部90は、複数の静止画フレームから動画映像の符号化データを生成する。ここで、非特許文献4〜6等に開示され公知の映像符号化方法であるMPEG-2、MPEG-4やH.264等を用いることができる。

【0107】

[非特許文献4] ISO/IEC 13818-2:2000, Information technology -- Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s - Video
[非特許文献5] ISO/IEC 14496-2:2004, Information technology -- Coding of audio-visual objects‐ Part 2: Visual
[非特許文献6] ITU-T H.264, Telecommunication Standardization Sector of ITU, Series H: Audio Visual and Multimedia Systems, Infrastructure of audiovisual services - Coding of moving video, Advanced video coding for generic audiovisual services

【0108】

符号化部90にはサンプリング部10にてキャプチャされた静止画像フレームが送られてくる。同時に、検査の必要性が高いと判定された重要区間の開始位置および終了位置の情報も制御部80から受け、同記再生部70にて再生される検査映像の符号化データを生成する。この際、ユーザが頭出し部81等を用いて再生位置等がマニュアル操作されている映像の符号化データを生成することもできるが、サンプリング部2に入力される検査映像に対する好ましい要約映像としての符号化データは、重要区間抽出部82または速度変更部83によって自動再生される映像から生成することができる。

【0109】

すなわち、重要区間抽出部82の制御下では、重要区間のみを符号化し、それ以外の区間は符号化しないことによって、元の検査映像よりも尺の短い要約映像を作成することができる。また、速度変更部83の制御下では、重要区間は通常再生速度で符号化するが、それ以外の区間では一定間隔でフレームを間引くことによって再生時に通常よりも早い速度でスキップ再生される要約映像を生成することができる。後者の要約映像は、検査の必要性が高くないと判定された区間まで視認できるため、重要区間決定部60における判定の正当性まで確認できるという利点がある。

【0110】

撮影した作業員等が検査補助装置1を利用することで、予め検査映像より当該要約映像の符号化データを生成しておいて検査員に渡せば、検査員自身が検査補助装置1を直接利用できない場合であっても、検査員は市販されるような通常の復号再生装置を利用して本発明の利益にあずかることができる。

【0111】

以上のように、本発明の検査補助装置1によれば、事前にビデオ撮影された鉄塔の映像を検査員が再生し、目視確認により該鉄塔を正常異常にふるい分けるための検査において、時系列上の異常度の情報を提供することによって検査員の検査負担を軽減することが可能となる。

【0112】

以上説明した一実施形態を前提として以下、本発明の種々の実施形態を説明する。これらを適宜組合せた実施形態も、また任意の一部分のみからなるより簡素化された実施形態も、可能である。

【0113】

一実施形態では、検査補助装置1は部品検出部21、特徴学習部22、輪郭抽出部30および部品異常度算出部40のみを備えて構成される。この場合、検査映像の各フレームに対応する検査画像の一枚一枚を検査補助装置1は入力として受け取り、当該単一の検査画像内の各部品の異常度を出力することとなる。部品が主に写った画像(部分領域自体の画像)を入力する場合、部品検出部21及び特徴学習部22は省略されてもよい。

【0114】

一実施形態では、検査補助装置1は部品検出部21、特徴学習部22、輪郭抽出部30、部品異常度算出部40および異常判定部50のみを備えて構成される。この場合、検査映像の各フレームに対応する検査画像の一枚一枚を検査補助装置1は入力として受け取り、当該単一の検査画像全体としての異常度が求まる。部品が主に写った画像(部分領域自体の画像)を入力する場合、部品検出部21及び特徴学習部22は省略されてもよい。

【0115】

一実施形態ではサンプリング部10は省略され、検査映像において設定されている所定のサンプリングレートのままで検査画面が再生され要約映像が生成されることとなる。あるいは同様に、検査映像自体を予め所望のサンプリングレートで用意しておいてもよい。

【0116】

一実施形態では重要区間決定部60は省略され、検査画面および要約映像には重要区間は表示されず、制御部80における重要区間の存在を前提とした制御は省略される。

【0117】

一実施形態では同期再生部70および／または符号化部90における検査画面および／または要約映像は、部品検出部21において検査対象部品を部分領域として検出した際の矩形または円を当該部分領域の位置に、検出した検査対象部品を囲むようにして表示するようにしてもよい。この場合、図2には矢印として不図示の流れによって、部品検出部21から部分領域の位置の情報が同期再生部70および／または符号化部90へと渡される。当該表示を適用する場合、検査画面は例えば図3の(6)のF1を(3)に置き換えたような構成となる。

【0118】

一実施形態では検査対象は鉄塔に限らず建造物一般であり、また、目視検査の対象はボルトに限らず当該建造物の外観上に配置される所定種類の部品(検査対象部品)である。この場合、検査映像は図1での説明と概ね同様に当該建造物の外観を連続的ないし断続的に走査して撮影され、特徴学習部22は当該検査対象部品につき識別器を構築し、部品検出部21は当該識別器を利用する。

【0119】

検査対象部品がボルト以外の所定種類の部品である場合も、輪郭抽出部30は、ボルトの場合に対して楕円を当てはめたのと同様に、当該部品の形状にフィットする所定の幾何形状モデルを当てはめればよい。

【0120】

所定種類の部品を対象とする場合、部品異常度算出部40では、ボルトの場合に中心軸からのワッシャーのずれに基づいて異常度を算出したのと同様に、当該部品の各要素に対して当てはめられた幾何形状モデルにおいて、正常状態を表す配置関係を定義しておき、実際に検出された画像上の各幾何形状モデルの配置関係の当該正常状態の関係からの乖離に基づいて異常度を算出してもよい。当該正常状態は一例では、ボルトの場合のように何らかの中心軸を定義しておき、当該中心軸に幾何形状モデル内の所定点が一致している場合として定義しておいてもよい。

【符号の説明】

【0121】

1…検査補助装置、10…サンプリング部、21…部品検出部、22…特徴学習部、30…輪郭抽出部、31…エッジ検出部、32…幾何形状あてはめ部、40…部品異常度算出部、50…異常判定部、60…重要区間決定部、70…同期再生部、80…制御部、81…頭出し部、82…重要区間抽出部、83…速度変更部、84…メモ付与部、85…修正部、86…キャプチャ指定部86、90…符号化部および100…フレームキャプチャ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】