特許 5940393 点検補助装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5940393

(24)【登録日】2016年5月27日

(45)【発行日】2016年6月29日

(54)【発明の名称】点検補助装置及び方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20160616BHJP

   G06T 11/80 20060101ALI20160616BHJP

【ＦＩ】

   H04N7/18 D

   H04N7/18 E

   H04N7/18 U

   G06T11/80 A

【請求項の数】16

【全頁数】28

(21)【出願番号】特願2012-148416(P2012-148416)

(22)【出願日】2012年7月2日

(65)【公開番号】特開2014-11720(P2014-11720A)

(43)【公開日】2014年1月20日

【審査請求日】2015年1月21日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100084870

【弁理士】

【氏名又は名称】田中 香樹

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】松尾 賢治

(72)【発明者】

【氏名】上野 智史

(72)【発明者】

【氏名】内藤 整

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開平５−３２２７７８（ＪＰ，Ａ）

【文献】 特開２０００−９０２３２（ＪＰ，Ａ）

【文献】 特開２００２−５５８０２（ＪＰ，Ａ）

【文献】 特開２００１−５４０９９（ＪＰ，Ａ）

【文献】 特開平１１−１３２９６１（ＪＰ，Ａ）

【文献】 特開２００９−１００３４２（ＪＰ，Ａ）

【文献】 特開２００１−１４８８４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １１／８０

(57)【特許請求の範囲】

【請求項1】

対象物の点検を補助する点検補助装置であって、
前記対象物が部分的に撮影された複数の点検画像を貼り合わせて前記対象物の全景画像を生成する全景画像生成部と、
前記全景画像を全体表示する全景画像表示部と、
前記全景画像内の部分領域を表示する主画像表示部と、
前記主画像表示部において表示する部分領域の位置をユーザからの入力に応じて制御する制御部と、
前記主画像表示部に現在表示中の部分領域と連動させて、当該部分領域に対応する領域を前記全景画像表示部に表示された全景画像内に視覚的に描画する表示中領域描画部と、
を備え、
前記主画像表示部において既に表示された部分領域に対応する領域を前記全景画像表示部に表示された全景画像上に視覚的に重畳表示する表示済み領域描画部、をさらに備えることを特徴とする点検補助装置。

【請求項2】

対象物の点検を補助する点検補助装置であって、
前記対象物が部分的に撮影された複数の点検画像を貼り合わせて前記対象物の全景画像を生成する全景画像生成部と、
前記全景画像を全体表示する全景画像表示部と、
前記全景画像内の部分領域を表示する主画像表示部と、
前記主画像表示部において表示する部分領域の位置をユーザからの入力に応じて制御する制御部と、
前記主画像表示部に現在表示中の部分領域と連動させて、当該部分領域に対応する領域を前記全景画像表示部に表示された全景画像内に視覚的に描画する表示中領域描画部と、
を備え、
前記全景画像生成部は、前記複数の点検画像として前記対象物の外観を連続的に走査して撮影された点検映像を所定のサンプリングレートで一連のフレーム画像として順次読み込んだ各々を採用し、さらに、前記全景画像生成部が、
各フレーム画像から局所特徴を抽出する局所特徴量抽出部と、
時系列上にて隣接するフレーム画像の間で前記局所特徴が抽出された特徴点の対応付けを行う特徴点対応比較部と、
前記対応付けられた複数の特徴点の座標同士を変換する関係として、前記隣接するフレーム画像の座標系間を変換するホモグラフィ行列を各々求めることにより、前記一連のフレーム画像のうち所定の基準フレーム画像における座標系へと該基準フレーム画像以外のフレーム画像の座標系を変換するホモグラフィ行列を各々求めるホモグラフィ行列推定部と、
前記基準フレーム画像の座標系へと変換するホモグラフィ行列の各々を用いて、前記基準フレーム画像以外のフレーム画像を前記基準フレーム画像における座標系で表現した画像へと変換する透視投影部と、
前記基準フレーム画像の座標系において、前記変換された画像を前記基準フレーム画像に重ね合わせることにより前記全景画像を生成する画像重ね合わせ部と、
を含み、
前記画像重ね合わせ部が、重ね合わせ後の全景画像の各画素について重ね合わせに際して利用した各フレーム画像の時刻インデックスを保持し、
前記制御部がさらに、前記主画像表示部に現在表示されている部分領域に対応する箇所から前記点検映像を再生する指定をユーザから受け付ける映像再生指定部を含み、
さらに、前記主画像表示部に現在表示されている部分領域に含まれる各画素に関する前記時刻インデックスに基づいて再生開始時刻を決定し、該再生開始時刻から前記点検映像の再生を開始する元点検映像再生部、を備えることを特徴とする点検補助装置。

【請求項3】

対象物の点検を補助する点検補助装置であって、
前記対象物が部分的に撮影された複数の点検画像を貼り合わせて前記対象物の全景画像を生成する全景画像生成部と、
前記全景画像を全体表示する全景画像表示部と、
前記全景画像内の部分領域を表示する主画像表示部と、
前記主画像表示部において表示する部分領域の位置をユーザからの入力に応じて制御する制御部と、
前記主画像表示部に現在表示中の部分領域と連動させて、当該部分領域に対応する領域を前記全景画像表示部に表示された全景画像内に視覚的に描画する表示中領域描画部と、
を備え、
前記対象物には点検対象としての点検対象部品が配置され、
点検対象部品が撮影された複数のサンプル画像よりその特徴を学習する特徴学習部と、
前記全景画像より、前記特徴学習部における学習結果に基づいて点検対象部品の存在する領域を検出する部品検出部と、をさらに備え、
前記制御部が、
前記主画像表示部において表示する部分領域の前記全景画像内での位置を移動させる表示位置制御部と、
ユーザからの指定を受け付け、前記検出された領域を順次、前記表示位置制御部にて移動させる部分領域として設定する次部品位置指定部を含むことを特徴とする点検補助装置。

【請求項4】

前記制御部が、ユーザからの入力に応じて前記主画像表示部において表示する部分領域の前記全景画像内での位置を移動させる表示位置制御部と、ユーザからの入力に応じて前記主画像表示部において表示する部分領域の縮尺を変更する表示縮尺制御部と、を含むことを特徴とする請求項1ないし3のいずれかに記載の点検補助装置。

【請求項5】

前記制御部が、前記主画像表示部に表示された部分領域内においてユーザが要点検箇所として特定し、当該要点検箇所の情報をユーザより受け取ることで当該要点検箇所にマーカーを付与することによって、前記主画像表示部による表示を制御するマーキング部、を含むことを特徴とする請求項1ないし4のいずれかに記載の点検補助装置。

【請求項6】

前記付与するマーカーの形状が矩形であることを特徴とする請求項5に記載の点検補助装置。

【請求項7】

前記制御部が、前記マーカーを付与された箇所を含む部分領域又は前記付与されたマーカーを追記した全景画像を静止画として出力させる指定をユーザから受け付けるレポーティング部を含み、さらに、当該指定に従って当該静止画の符号化データを生成するレポート画像出力部、を備えることを特徴とする請求項5または6に記載の点検補助装置。

【請求項8】

前記制御部が前記主画像表示部において表示する部分領域の前記全景画像内での位置を逐次的に自動で変えるための第一指定をユーザから受け付け、当該第一指定に従って前記主画像表示部による表示を制御する自動走査開始指定部と、当該第一指定に従って前記主画像表示部が部分領域の位置を逐次的に自動で変えて表示しているのを停止させるための第二指定をユーザから受け付け、当該第二指定に従って前記主画像表示部による表示を停止させる自動走査停止指定部と、を含むことを特徴とする請求項1ないし7のいずれかに記載の点検補助装置。

【請求項9】

前記自動走査開始指定部による制御のもとで前記主画像表示部が表示する部分領域を映像として符号化する映像符号化部、をさらに備えることを特徴とする請求項8に記載の点検補助装置。

【請求項10】

前記全景画像生成部は、前記複数の点検画像として前記対象物の外観を連続的に走査して撮影された点検映像を所定のサンプリングレートで一連のフレーム画像として順次読み込んだ各々を採用し、さらに、前記全景画像生成部が、
各フレーム画像から局所特徴を抽出する局所特徴量抽出部と、
時系列上にて隣接するフレーム画像の間で前記局所特徴が抽出された特徴点の対応付けを行う特徴点対応比較部と、
前記対応付けられた複数の特徴点の座標同士を変換する関係として、前記隣接するフレーム画像の座標系間を変換するホモグラフィ行列を各々求めることにより、前記一連のフレーム画像のうち所定の基準フレーム画像における座標系へと該基準フレーム画像以外のフレーム画像の座標系を変換するホモグラフィ行列を各々求めるホモグラフィ行列推定部と、
前記基準フレーム画像の座標系へと変換するホモグラフィ行列の各々を用いて、前記基準フレーム画像以外のフレーム画像を前記基準フレーム画像における座標系で表現した画像へと変換する透視投影部と、
前記基準フレーム画像の座標系において、前記変換された画像を前記基準フレーム画像に重ね合わせることにより前記全景画像を生成する画像重ね合わせ部と、
を含むことを特徴とする請求項1ないし9のいずれかに記載の点検補助装置。

【請求項11】

前記ホモグラフィ行列推定部は、前記一連のフレーム画像のうち所定の基準フレーム画像における座標系へと該基準フレーム画像以外のフレーム画像の座標系を変換する際の変換誤差の総和が最小となるように、前記基準フレーム画像を定めることを特徴とする請求項10に記載の点検補助装置。

【請求項12】

前記対象物が建造物であることを特徴とする請求項1ないし11のいずれかに記載の点検補助装置。

【請求項13】

対象物の点検を補助する点検補助方法であって、
前記対象物が部分的に撮影された複数の点検画像を貼り合わせて前記対象物の全景画像を生成する全景画像生成ステップと、
前記全景画像を全体表示すると共に別途、前記全景画像内の部分領域を表示し、同時に前記全体表示された全景画像内において前記部分領域を視認可能となし、ユーザからの指示に従って前記表示された部分領域及び前記視認可能となった部分領域を連動させて移動制御する表示・制御ステップとを備え、
前記表示・制御ステップにおいて既に表示された部分領域に対応する領域を前記表示された全景画像上に視覚的に重畳表示する表示済み領域描画ステップ、をさらに備えることを特徴とする点検補助方法。

【請求項14】

対象物の点検を補助する点検補助方法であって、
前記対象物が部分的に撮影された複数の点検画像を貼り合わせて前記対象物の全景画像を生成する全景画像生成ステップと、
前記全景画像を全体表示すると共に別途、前記全景画像内の部分領域を表示し、同時に前記全体表示された全景画像内において前記部分領域を視認可能となし、ユーザからの指示に従って前記表示された部分領域及び前記視認可能となった部分領域を連動させて移動制御する表示・制御ステップとを備え、
前記全景画像生成ステップでは、前記複数の点検画像として前記対象物の外観を連続的に走査して撮影された点検映像を所定のサンプリングレートで一連のフレーム画像として順次読み込んだ各々を採用し、さらに、前記全景画像生成ステップが、
各フレーム画像から局所特徴を抽出する局所特徴量抽出ステップと、
時系列上にて隣接するフレーム画像の間で前記局所特徴が抽出された特徴点の対応付けを行う特徴点対応比較ステップと、
前記対応付けられた複数の特徴点の座標同士を変換する関係として、前記隣接するフレーム画像の座標系間を変換するホモグラフィ行列を各々求めることにより、前記一連のフレーム画像のうち所定の基準フレーム画像における座標系へと該基準フレーム画像以外のフレーム画像の座標系を変換するホモグラフィ行列を各々求めるホモグラフィ行列推定ステップと、
前記基準フレーム画像の座標系へと変換するホモグラフィ行列の各々を用いて、前記基準フレーム画像以外のフレーム画像を前記基準フレーム画像における座標系で表現した画像へと変換する透視投影ステップと、
前記基準フレーム画像の座標系において、前記変換された画像を前記基準フレーム画像に重ね合わせることにより前記全景画像を生成する画像重ね合わせステップと、
を含み、
前記画像重ね合わせステップでは、重ね合わせ後の全景画像の各画素について重ね合わせに際して利用した各フレーム画像の時刻インデックスを保持し、
前記表示・制御ステップがさらに、現在表示されている部分領域に対応する箇所から前記点検映像を再生する指定をユーザから受け付ける映像再生指定ステップを含み、
さらに、前記現在表示されている部分領域に含まれる各画素に関する前記時刻インデックスに基づいて再生開始時刻を決定し、該再生開始時刻から前記点検映像の再生を開始する元点検映像再生ステップ、を備えることを特徴とする点検補助方法。

【請求項15】

対象物の点検を補助する点検補助方法であって、
前記対象物が部分的に撮影された複数の点検画像を貼り合わせて前記対象物の全景画像を生成する全景画像生成ステップと、
前記全景画像を全体表示すると共に別途、前記全景画像内の部分領域を表示し、同時に前記全体表示された全景画像内において前記部分領域を視認可能となし、ユーザからの指示に従って前記表示された部分領域及び前記視認可能となった部分領域を連動させて移動制御する表示・制御ステップとを備え、
前記対象物には点検対象としての点検対象部品が配置され、
点検対象部品が撮影された複数のサンプル画像よりその特徴を学習する特徴学習ステップと、
前記全景画像より、前記特徴学習ステップにおける学習結果に基づいて点検対象部品の存在する領域を検出する部品検出ステップと、をさらに備え、
前記表示・制御ステップが、
前記表示する部分領域の前記全景画像内での位置を移動させる表示位置制御ステップと、
ユーザからの指定を受け付け、前記検出された領域を順次、前記表示位置制御ステップにて移動させる部分領域として設定する次部品位置指定ステップと、を含むことを特徴とする点検補助方法。

【請求項16】

前記対象物が建造物であることを特徴とする請求項13ないし15のいずれかに記載の点検補助方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、事前にビデオ撮影された鉄塔等の建造物の映像を再生し、目視確認により該建造物を正常異常にふるい分けるための点検において、点検に要する時間を短縮して、点検作業員の労力を軽減できる点検補助装置および方法に関する。

【背景技術】

【0002】

鉄塔は金属製の骨組み構造から構成される細長い建造物であり、携帯電話などの基地局、放送波の送信のほかに、送電線やアンテナの支持、消防の望楼などに用いられる。高さが数メートルのものから、数十メートルのものまで存在するが、その利用目的から見通しの良い場所で高所に設定されることが多い。

【0003】

新しい鉄塔は建造された後すぐに、設計書通りに正しく建造できたかどうかの点検が実施される。またその後も一定期間の間隔を空けて、現状の鉄塔が使用に耐えられる構造強度を保っているかについて定期的に点検が行われる。

【0004】

点検では、反り、曲り、ひび、さびに代表される骨組みの劣化やボルトの緩みに代表される経年を起因とした異常を見つけ出す。また、ボルトの逆挿しや締め付けトルク不足や適切な長さのボルトが使われていない等、建設時に設計書通りに施工されていない不具合や、鳥の巣やビニールの付着物も一種の異常とみなされる。

【0005】

近年、落下物や転落事故に代表される高所での点検作業の危険を避けるため、点検作業員が実際に現場で鉄塔に登って行うこれまでの点検方法から、昇塔することなく周囲の安全な場所から鉄塔をビデオ撮影し、その鉄塔映像を安全な場所で時間をかけて目視点検する方法も行われ始めている。

【0006】

撮影の典型例を挙げると、ビデオカメラを地上に設置し、鉄柱の下方から上部の方向に向かって鉄塔内の鉄骨を隅々まで撮影する。このとき、鉄塔の全ての側面を漏れなく記録するために、ビデオカメラの設置場所は鉄塔周辺の数か所に変えて行われる。また、鉄塔内で骨組み同士の結合箇所を撮影する際は、ボルトに焦点を合わせて緩みを判断できるまでズームして撮影される。このような手順で撮影した結果、映像の記録時間は鉄塔1棟当たり比較的長時間に及ぶことが多い。

【0007】

ビデオ撮影された鉄塔映像を目視点検する方法では、基本的に記録時間以上に目視確認の時間を要する。異常と疑わしい箇所は一時停止や巻き戻し再生して何度も確認する必要があるためである。目視確認を担当する点検作業員は多大な労力を強いられる。

【0008】

したがって、鉄塔等の建造物を対象とし、鉄塔の不具合が特にボルトによる結合箇所周辺で生じることが多いことに着目して、ボルト結合箇所を手掛かりとしてビデオ撮影された鉄塔映像の目視点検を効率化する装置が、これまでに特許文献1にて記載されている。

【0009】

特許文献1に記載の発明は、建造物に配置された検査対象部品の検査を補助する検査補助装置であって、検査対象部品が撮影された複数のサンプル画像より検査対象部品の特徴を学習し、建造物が撮影された検査画像より学習結果に基づいて検査対象部品の存在する部分領域を検出し、検出された部分領域に基づいて、建造物において検査画像に写っている箇所を検査すべき必要性を表す重要度を算出し、当該重要度をユーザに提示することによって目視点検の効率化を図る。

【0010】

当該発明では、点検の必要性が特に高いと考えられる部分領域としてボルト接合箇所を優先的に提示するよう重要度を設定することで、目視確認に要する時間を短縮し、点検作業員の労力が軽減された。具体的にはさらに、重要度の時系列グラフ上に再生位置を表示しながら点検映像が再生されるので、点検映像において点検の必要性が高いシーンを視覚的かつ直観的に容易に把握ができるようになった。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】特願2011-285612号「検査補助装置及び方法」（本発明者による先願）

【発明の概要】

【発明が解決しようとする課題】

【0012】

しかしながら、ビデオ撮影された鉄塔映像を目視点検する方法では、鉄塔映像の再生中に異常箇所を発見したとしても、現在再生中の画面で着目している異常箇所が鉄塔全体の中でどこに位置する異常箇所であるのかを瞬時に把握するのが容易では無いことがあった。特に、異常箇所はその候補箇所として撮影される際に予めズームアップされることが多いため、一般に同一ないし類似の骨組み等の構造が繰り返される鉄塔等の建造物においてその一部分のみが拡大された画面だけをもとに、その異常箇所が建造物全体のどの位置にあるかを迅速に把握することは極めて困難であった。

【0013】

これに対し、現在再生中の前後の場面を巻き戻し再生して、周辺を手掛かりに頭の中で全体像を再構築して位置把握するか、もしくは紙面の設計図と比較して全体位置を把握するのが一般的である。いずれにしても時間のかかる非効率な作業で、点検に要する労力を増やす問題があった。目視点検において効率良く位置把握できるようにすることが望まれている。

【0014】

また、鉄塔内の同一箇所を、何度も無駄に重複して目視確認しているおそれが生じていた。一般的に、鉄塔内を撮影する際、漏れの生じ無いようにやや過剰気味にオーバーラップさせながら隅々まで撮影する。このため、鉄塔映像中には同一箇所が何度も重複して記録されていることが多い。例えば、あるボルトが同一映像内で時間を空けてもう一度出現すれば、そのボルトは既に目視点検済みであったとしても、もう一度無駄に再確認する重複が生じていた。重複を避け、効率良く目視点検できるようにすることが望まれている。

【0015】

さらに、鉄塔内で特別に確認したい特定の箇所が在った場合、該当箇所を鉄塔映像内から検索するのに時間がかかるという問題があった。現在再生中の画面に映し出された内容から目視確認を所望する箇所との前後関係を判断し、場合によっては再生時刻を変えることを繰り返しながら、所望の箇所が写っているであろう場所を予測する必要がある。鉄塔最上段および鉄塔最下段の特定箇所であれば検索は比較的容易と考えられるが、鉄塔中腹にある特定の箇所を検索するのは負担のかかる作業であった。鉄塔内の所望の箇所を短時間で特定して効率良く目視確認できる目視点検方法が望まれている。

【0016】

以上のような点を鑑みて、本発明は、典型的には鉄塔に代表されるような建造物等の外観を部分的に撮影した複数の点検画像をもとに目視点検を行うユーザに対して、点検箇所の建造物等全体における位置把握を容易にし、目視点検に要する労力を軽減する点検補助装置及び方法の提供を第一の目的とする。

【0017】

また本発明は、既に目視確認の終わった箇所をユーザが誤って重複点検することを防止できるようにすることで、目視点検に要する労力を軽減する点検補助装置及び方法の提供を第二の目的とする。

【0018】

さらに本発明は、複数の点検画像が建造物等を連続的に走査して撮影された点検映像に由来する場合に、全景映像内でユーザが指定した目視確認を所望する箇所の点検映像上での再生位置を自動で求め、再生位置の手動検索を不要とし、点検映像に戻って目視点検を行う際の労力を軽減する点検補助装置及び方法の提供を第三の目的とする。

【課題を解決するための手段】

【0019】

上記目的を達成するため、本発明は、建造物の点検を補助する点検補助装置であって、前記建造物が部分的に撮影された複数の点検画像を貼り合わせて前記建造物の全景画像を生成する全景画像生成部と、前記全景画像を全体表示する全景画像表示部と、前記全景画像内の部分領域を表示する主画像表示部と、前記主画像表示部において表示する部分領域の位置をユーザからの入力に応じて制御する制御部と、前記主画像表示部に現在表示中の部分領域と連動させて、当該部分領域に対応する領域を前記全景画像表示部に表示された全景画像内に視覚的に描画する表示中領域描画部と、を備えることを第1の特徴とする。

【0020】

また、前記制御部が、ユーザからの入力に応じて前記主画像表示部において表示する部分領域の前記全景画像内での位置を移動させる表示位置制御部と、ユーザからの入力に応じて前記主画像表示部において表示する部分領域の縮尺を変更する表示縮尺制御部と、を含むことを第2の特徴とする。

【0021】

また、前記主画像表示部において既に表示された部分領域に対応する領域を前記全景画像表示部に表示された全景画像上に視覚的に重畳表示する表示済み領域描画部、をさらに備えることを第3の特徴とする。

【0022】

また、前記制御部が、前記主画像表示部に表示された部分領域内においてユーザが要点検箇所として特定し、当該特定箇所の情報をユーザより受け取ることで当該特定箇所にマーカーを付与することによって、前記主画像表示部による表示を制御するマーキング部、を含むことを第4の特徴とする。

【0023】

また、前記付与するマーカーの形状が矩形であることを第5の特徴とする。

【0024】

また、前記制御部が、前記マーカーを付与された箇所を含む部分領域又は前記付与されたマーカーを追記した全景画像を静止画として出力させる指定をユーザから受け付けるレポーティング部を含み、さらに、当該指定に従って当該静止画の符号化データを生成するレポート画像出力部、を備えることを第6の特徴とする。

【0025】

また、前記制御部が前記主画像表示部において表示する部分領域の前記全景画像内での位置を逐次的に自動で変えるための第一指定をユーザから受け付け、当該第一指定に従って前記主画像表示部による表示を制御する自動走査開始指定部と、当該第一指定に従って前記主画像表示部が部分領域の位置を逐次的に自動で変えて表示しているのを停止させるための第二指令をユーザから受け付け、当該第二指定に従って前記主画像表示部による表示を停止させる自動走査停止指定部と、を含むことを第7の特徴とする。

【0026】

また、前記自動走査開始指定部による制御のもとで前記主画像表示部が表示する部分領域を映像として符号化する映像符号化部、をさらに備えることを第8の特徴とする。

【0027】

また、前記全景画像生成部は、前記複数の点検画像として前記建造物の外観を連続的に走査して撮影された点検映像を所定のサンプリングレートで一連のフレーム画像として順次読み込んだ各々を採用し、さらに、前記全景画像生成部が、各フレーム画像から局所特徴を抽出する局所特徴量抽出部と、時系列上にて隣接するフレーム画像の間で前記局所特徴が抽出された特徴点の対応付けを行う特徴点対応比較部と、前記対応付けられた複数の特徴点の座標同士を変換する関係として、前記隣接するフレーム画像の座標系間を変換するホモグラフィ行列を各々求めることにより、前記一連のフレーム画像のうち所定の基準フレーム画像における座標系へと該基準フレーム画像以外のフレーム画像の座標系を変換するホモグラフィ行列を各々求めるホモグラフィ行列推定部と、前記基準フレーム画像の座標系へと変換するホモグラフィ行列の各々を用いて、前記基準フレーム画像以外のフレーム画像を前記基準フレーム画像における座標系で表現した画像へと変換する透視投影部と、前記基準フレーム画像の座標系において、前記変換された画像を前記基準フレーム画像に重ね合わせることにより前記全景画像を生成する画像重ね合わせ部と、を含むことを第9の特徴とする。

【0028】

また、前記ホモグラフィ行列推定部は、前記一連のフレーム画像のうち所定の基準フレーム画像における座標系へと該基準フレーム画像以外のフレーム画像の座標系を変換する際の変換誤差の総和が最小となるように、前記基準フレーム画像を定めることを第10の特徴とする。

【0029】

また、前記画像重ね合わせ部が、重ね合わせ後の全景画像の各画素について重ね合わせに際して利用した各フレーム画像の時刻インデックスを保持し、前記制御部がさらに、前記主画像表示部に現在表示されている部分領域に対応する箇所から前記点検映像を再生する指定をユーザから受け付ける映像再生指定部を含み、さらに、前記主画像表示部に現在表示されている部分領域に含まれる各画素に関する前記時刻インデックスに基づいて再生開始時刻を決定し、該再生開始時刻から前記点検映像の再生を開始する元点検映像再生部、を備えることを第11の特徴とする。

【0030】

また、前記建造物には点検対象としての点検対象部品が配置され、点検対象部品が撮影された複数のサンプル画像よりその特徴を学習する特徴学習部と、前記全景画像より、前記特徴学習部における学習結果に基づいて点検対象部品の存在する領域を検出する部品検出部と、をさらに備え、前記制御部が、前記主画像表示部において表示する部分領域の前記全景画像内での位置を移動させる表示位置制御部と、ユーザからの指定を受け付け、前記検出された領域を順次、前記表示位置制御部にて移動させる部分領域として設定する次部品位置指定部を含むことを第12の特徴とする。

【0031】

また、前記建造物が鉄塔であり、前記点検対象部品が当該鉄塔を固定するボルトであることを第13の特徴とする。

【0032】

さらに、上記目的を達成するため、本発明は、建造物の点検を補助する点検補助方法であって、前記建造物が部分的に撮影された複数の点検画像を貼り合わせて前記建造物の全景画像を生成する全景画像生成ステップと、前記全景画像を全体表示すると共に別途、前記全景画像内の部分領域を表示し、同時に前記全体表示された全景画像内において前記部分領域を視認可能となし、ユーザからの指示に従って前記表示された部分領域及び前記視認可能となった部分領域を連動させて移動制御する表示・制御ステップとを備えることを第14の特徴とする。

【発明の効果】

【0033】

前記第1又は第14の特徴によれば、点検映像を貼り合わせて建造物の全景画像を生成してその部分領域と共に表示し、ユーザに部分領域の移動制御を可能とさせ、且つこの際に現在表示中の部分領域に対応する場所を全景画像上に連動させて視覚的に表示することで、建造物全体における位置把握を容易にし、ユーザによる目視点検に要する労力を軽減することができる。よって第一の目的が達成される。

【0034】

前記第2の特徴によれば、ユーザにとってはあたかも地図を見るのと同様に、建造物内の所望の箇所を所望の縮尺で確認するための操作が効率化され、目視点検に要する労力を軽減することができる。

【0035】

前記第3の特徴によれば、既に目視認済みの領域が全景画像上において容易に把握できるようになるため、建造物内の同一箇所を重複して目視確認する無駄が避け、目視点検に要する労力を軽減することができる。よって第二の目的が達成される。

【0036】

前記第4の特徴によれば、ユーザが点検中に特定した異常箇所等を記録して残すことにより、以降容易に把握できるようになるため、目視点検の効率化が達成される。

【0037】

前記第5の特徴によれば、矩形は左上頂点のx, y座標および幅と高さの4パラメータの情報だけで特定できるため、異常箇所等を記憶するために簡素な情報で済み、複雑な情報を保持する必要はなくなる。

【0038】

前記第6の特徴によれば、点検中に異常箇所等が発見された建造物について、当該異常箇所等の報告用の画像の符号化データファイルを得ることができるようになる。

【0039】

前記第7の特徴によれば、ユーザは手動で操作することなく自動で表示位置を変えられるようになり、また必要に応じて停止させることもできるようになり、目視点検に要する労力を軽減することができる。

【0040】

前記第8の特徴によれば、映像符号化データの再生機能しか持ち合わせない映像再生装置だけでも再生可能な点検できる動画ファイルを出力できるようになる。この際、重複撮影を避けた映像符号化データを生成するような移動指定をユーザが行っておくことが好ましい。

【0041】

前記第9の特徴によれば、ビデオ撮影された建造物の映像の点検を補助できるようになる。このとき、ビデオ撮影された建造物の映像を直接目視確認するのではなく、全景画像を確認させることによって、同一の箇所を重複して目視確認することを避けられるようになると同時に、場所を前記全景画像上に視覚的に表示することで、建造物全体において現在表示中の部分領域に対応する位置把握が容易となり、目視点検に要する労力を軽減することができる。また、同一視点から見た形式によってユーザによる把握が容易な全景画像を生成することができる。

【0042】

前記第10の特徴によれば、ホモグラフィ行列による透視投影変換の際の誤差量が少なく、良好な画質の全景画像を生成できるようになる。

【0043】

前記第11の特徴によれば、ユーザは点検映像に戻って目視確認を所望する箇所を全景画像上で指定するだけで、マニュアル検索を行うことなくその箇所の点検映像上における再生位置が自動で求まり、当該位置より点検映像が再生されるので、目視点検に要する労力を軽減することができる。よって第三の目的が達成される。

【0044】

前記第12の特徴によれば、建造物における点検対象部品をの目視点検を順次容易に行うことができるようになる。

【0045】

前記第13の特徴によれば、建造物のうち鉄塔の点検を補助することができるようになる。

【図面の簡単な説明】

【0046】

【図1】鉄塔の点検映像の撮影手順の一例を説明するための図である。

【図2】一実施形態に係る点検補助装置の機能ブロック図である。

【図3】点検映像について説明する図である。

【図4】一実施形態に係る全景画像生成部の機能ブロック図である。

【図5】局所特徴量について説明する図である。

【図6】2フレーム画像間の特徴点対応付けについて説明する図である。

【図7】画像の重ね合わせについて説明する図である。

【図8】隣接フレーム間のホモグラフィ行列の算出の流れと透視投影変換とについて説明する図である。

【図9】ある基準フレームに対するホモグラフィ行列の算出の流れと透視投影変換とについて説明する図である。

【図10】全景画像の概念的な例を説明する図である。

【図11】本発明装置のインターフェースの一例について説明する図である。

【図12】部分領域の位置を自動変化させる各種の一連のシーケンスの例を示す図である。

【図13】部品検出部による部品検出の例を示す図である。

【図14】次部品位置指定部を利用してユーザがボルト検出結果を順次確認する際のインターフェースの例を示す図である。

【発明を実施するための形態】

【0047】

図1は、本発明において解析対象となる鉄塔の点検映像の撮影手順の一例を説明するための図である。(A)は鉄塔T1を正面から見た一部分の一例であり、各種の構造に即して建造された鉄塔T1を構成する柱状等の部材（骨組み等）同士を固定するボルト（不図示）が、主要な検査対象となる。またその他、任意箇所に存在しえる各種の不具合なども検査対象となる。

【0048】

(B)を参照して撮影手順の一例を説明する。作業員W1は、鉄塔T1（ここでは部材構造は不図示)の正面P1に面する位置L1よりカメラC10を用いて、概ね矢印(1)のように正面P1を下部より上部まで連続的に走査して撮影する。当該走査撮影は正面P1の横幅部分が映像内に全て収まるようにして行ってもよいし、正面P1に存在する鉄塔の柱ごとに行ってもよい。

【0049】

次に作業員W1は右側面P2に面する位置L2に移って、同じく矢印(2)のように右側面P2を走査して連続撮影する。次に作業員W1は背面P3に面する位置L3に移って、同じく背面P3を連続撮影（不図示）し、さらに左側面P4に面する位置L4に移って、同じく左側面P4を連続撮影（不図示）する。
なお、(B)に示すのは一例である。L1〜L4の移動順は任意であってよく、L1〜L4以外の任意位置から撮影してもよい。各面P1〜P4を個別に撮影しなくともよく、例えば場所L1のL2の中間付近の場所L5において正面P1と右側面P2の両方を一度に撮影してもよい。鉄塔T1は四角状でなく円状などであってもよい。連続走査の撮影は(1)や(2)に示すような直線状でなく、(A)に示すような部材構造を追いながらジグザク状であってもよく、向きも下部から上部の向き以外の任意の向き乃至順によって撮影してよい。

【0050】

正面P1の撮影から右側面P2の撮影に移る際に、撮影を一時停止してもよいし、停止させずに鉄塔T1以外の箇所を含む任意の箇所が写っていてもよい。カメラC10は作業員W1が手で保持してもよいし、三脚等に固定してもよい。

【0051】

このように、鉄塔の点検映像の撮影手順に特段の制約はなく、適宜撮影位置を変えながら鉄塔の外観を概ね連続的乃至断続的に走査すればよい。ただし、好ましくは作業員W1は、要点検箇所(特に鉄塔においてはボルトによる結合箇所など)の撮影の際には走査の速度を減ずる又は一時停止すると共に、当該要点検箇所を中心として映像を拡大するようにする。また、同様の映像を遠隔操作のカメラ等で撮影してもよい。

【0052】

本発明における鉄塔の点検映像の撮影はこのように自由度の高いものであるため、その撮影の負担が比較的少なく且つ鉄塔自体に何らの追加作業(マーキングなど)を施す必要もない代わりに、同一箇所が何度も重複して撮影された映像が相当割合で含まれることとなる。一般的に、鉄塔内を撮影する際、漏れの無いようにやや過剰気味にオーバーラップさせながら隅々まで撮影するからである。当該映像をそのまま点検作業員の目視確認に供すると、鉄塔内の同一箇所を、何度も無駄に重複して目視確認するおそれが生じ、点検作業員に過大な確認負担が生ずることとなるが、以下説明するように本発明によって当該負担は顕著に低減される。

【0053】

なお、図1では鉄塔及びその要点検箇所の一例としてボルト接続箇所を例に点検映像を説明したが、本発明はその他一般の建造物及びその要点検箇所(当該建造物に配置される所定種類の点検対象部品など)を対象として同様に撮影した点検映像について適用可能である。

【0054】

図2は本発明の一実施形態に係る点検補助装置の機能ブロックであり、図3は当該点検補助装置で処理される点検映像について説明するための図である。

【0055】

点検補助装置1は、主要な構成として、フレームキャプチャ部2、全景画像生成部3、制御部6及び補助画像表示部20を備え、また、ユーザに各種用途の画像データ等を提供するための構成として、レポート画像出力部9、映像符号化部10及び元点検映像再生部11を備え、さらに、ボルト等の部品を検出するための構成として、部品検出部12及び特徴学習部13を備える。

【0056】

制御部6は、表示位置制御部61、表示縮尺制御部62、マーキング部63、レポーティング部64、自動走査開始指定部65、自動走査停止指定部66、映像再生指定部67及び次部品位置指定部68を含み、各種のユーザ入力その他に従って補助画像表示部20その他を制御する。補助画像表示部20は、全景画像表示部4、主画像表示部5、表示中領域描画部7及び表示済み領域描画部8を含み、ユーザに対して点検を補助する画像を提示する。

【0057】

図1で説明したような手法によって用意され、図3の(1)に概念的に示される点検映像は、フレームキャプチャ部2へ入力される。フレームキャプチャ部2は点検映像を予めユーザ設定等として設定されたサンプリングレートでフレームメモリにキャプチャし、静止画像フレームとして順次抽出して全景画像生成部3に渡す。例えば、サンプリングレートは1fps（1秒間に1フレーム）に設定する。図3の(2)に示すような当該静止画像フレームの各々を、点検映像より抽出された画像との意味を込めて点検画像と呼ぶこととする。フレームキャプチャ部2はまた、点検画像が元の点検映像の時系列上にて何番目にキャプチャされたフレームであるかの情報を紐付けることで、点検画像同士の順序関係も把握できるようにする。

【0058】

全景画像生成部3はフレームキャプチャ部2より受け取った建造物が撮影された複数の点検画像を貼り合わせて視野の広く解像度の高い全景画像（パノラマ画像）を生成する。当該生成には例えば、非特許文献1に代表される既存の全景画像生成技術を利用することができる。

【0059】

[非特許文献1]M. Brown and D. G. Lowe, ''Recognising Panoramas,'' In Proceedings of the 9th International Conference on Computer Vision (ICCV2003), pp. 1218-1225, Nice, France, 2003.

【0060】

本発明においても、非特許文献1を参考にした実装方法により以下の説明の通り、全景画像生成部3を実現することができる。図4は当該一実施形態に係る全景画像生成部3の機能ブロック図である。全景画像生成部3は、局所特徴量抽出部31、特徴点対応比較部32、ホモグラフィ行列推定部33、透視投影部34、画像重ね合わせ部35を含む。

【0061】

局所特徴量抽出部31は各フレーム画像から局所特徴(局所特徴量及び特徴点)を抽出する。局所特徴量抽出部31は、画像からエッジや凹凸等の信号変化の大きい点をキーポイント(特徴点)として複数抽出し、各キーポイント付近の色、形、模様等から算出される局所特徴量（画像信号値）を出力する。

【0062】

図5は、当該局所特徴量としての画像信号値の算出を説明する図である。図5の(1)に示す点検画像の例においては、局所特徴量抽出部31によって(2)に示すように画像の特徴的な部位でキーポイントが複数個抽出され、各キーポイントにつき1つの局所特徴量が出力される。

【0063】

ここで行われる局所特徴量の算出は、公知の技術を利用して実現することができる。具体的な実現手段としては、例えば、Loweらによって提案されたSIFT（Scale-Invariant Feature Transform、 Lowe、 D. "Distinctive Image Features from scale-invariant key
points、" International journal of Computer Vision、 Vol.60、 No.2、 pp. 91-110、 2004）を用いることができる。この場合、図5の(3)に示すように、SIFT特徴量による局所特徴量は128次元のベクトルとして出力される。

【0064】

局所特徴量の算出に際して上述したSIFTを使用することにより、回転や大きさ等について見え方の異なる画像でも、同一被写体および同じ内容の画像であれば、同じキーポイントが抽出され、同じ特徴ベクトルが抽出される。SIFTは、以下の流れで(A)キーポイントの検出と、(B)特徴ベクトルの抽出の各処理が行われる。

【0065】

[SIFTの処理の流れ]
(A)キーポイントの検出
(a)キーポイント候補点の検出
(b)キーポイントのローカライズ
(B)特徴ベクトルの抽出
(c)オリエンテーションの算出
(d)特徴量の抽出

【0066】

(a)のキーポイント候補点の検出では、DoG（Difference-of-Gaussian）処理により画像からエッジや凹凸等の信号変化の大きい点をキーポイント候補点として複数検出する。ガウス関数のスケールを数段階に変化させ、ガウス関数と入力画像を畳み込んだ平滑化画像を複数作成し、それらの平滑化画像の差分画像（DoG画像）内で極値となる点をキーポイント候補点として検出する。

【0067】

(b)のキーポイントのローカライズでは、(a)で検出されたキーポイント候補点から安定して抽出できるキーポイントを絞り込む。すなわち、コントラストの小さい点、主曲率の大きな点を、ノイズの影響を受けた点、安定的な抽出には向かない点として、キーポイントの候補点からそれぞれ削除する。

【0068】

(c)のオリエンテーションの算出では、同じキーポイントであれば画像が回転しても同じ特徴ベクトルが抽出できるようにするため、平滑化画像内の各点の勾配から、各キーポイントを特徴付ける方向を算出する。具体的には、キーポイント周辺の矩形領域から勾配方向と勾配強度に関するヒストグラムを測定する。先ず、勾配方向に関して36に量子化された階級で分類する。次に、分類された階級に勾配強度を加算し、ヒストグラム内で最頻を示した階級の方向をオリエンテーションとして算出する。

【0069】

(d)の特徴量の抽出では、(c)で求めたオリエンテーションに基づいて、各キーポイントにおける特徴ベクトルの抽出対象領域を正規化し、正規化して切り出されたキーポイント周辺の特徴ベクトルの抽出対象領域から特徴ベクトルを算出して、局所特徴量とする。

【0070】

なお、局所特徴量抽出部31において抽出する局所特徴量についてはSIFT特徴量に限らず、その他の種類の局所特徴量、例えばSURF（Speeded Up Robust Features）やHOG（Histograms of Oriented Gradients）などを採用してもよい。SURFについては以下の非特許文献2に、HOGについては以下の非特許文献3に詳しい。

【0071】

[非特許文献2]Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool, ''SURF:Speeded-Up Robust Features,In Ninth European Conference on Computer Vision, 2006.

【0072】

[非特許文献3] Navneet, Dalal and Bill Triggs., ''Histograms of Oriented Gradients for Human Detection,'' IEEE Conference on Computer Vision and Pattern Recognition (CVPR), vol. II, pages 886-893, June 2005.

【0073】

特徴点対応比較部32は、i番目(i=2,3,4,...)の各現在フレーム画像に対して、点検映像からフレームキャプチャした前フレーム画像(i−1番目のフレーム画像)と現在フレーム画像(i番目のフレーム画像)との間で局所特徴量のマッチングを取ることで、2つのフレーム画像間で同一と考えられる局所特徴量を有する特徴点同士を対応付ける。

【0074】

局所特徴量同士が完全に一致する場合はユークリッド距離が0となることに基づき、しきい値を使って同一性を判定する。具体的には、一方のフレーム画像のある局所特徴量に対し、もう一方のフレーム画像の中で最小のユークリッド距離を示す局所特徴量を求め、その距離が設定されたしきい値を下回った場合、2つのフレーム画像間でマッチングが取れたとみなし、2つのフレーム画像間で同一と考えられる局所特徴量ペアとして対応付ける。

【0075】

例えば図6は、前フレーム画像F1から現在フレーム画像F2の間にカメラが右上方向の撮影へと移動した例であるが、2つのフレーム画像F1,F2間でキーポイント間にひいた線分S1〜S5は、局所特徴量間の距離が小さく似ていることを表し、2つのフレーム画像F1,F2間で同一箇所の特徴点同士が正しく対応づいた場合を示している。

【0076】

次に、図7は、特徴点対応比較部32の後にホモグラフィ行列推定部33、透視投影部34及び画像重ね合わせ部35を順次経て、(1)に示すフレームキャプチャされた3枚の画像A、B、Cが(2)に示すように重ね合わせられる様子を模式的に示す図である。同じ対象物が全部または部分的に含まれているフレーム画像A、B、Cで、対象物の見え方が座標系Ua、Ub、Ucと異なっている場合を仮定する。また、図中(i−1番目)、(i番目)、(i+1番目)とそれぞれ付記しているように、フレーム画像A、B、Cはこの順に隣接してキャプチャされたものとする。

【0077】

特徴点対応比較部32にて対応付いた局所特徴量ペアの座標群を使って、(1)に示すフレーム画像Bを歪ませて、(2)に示すようにその座標系U_bをU_aに変換することで画像B1としてから、フレーム画像Aに重ね合わせる。また同様にして、(1)に示すフレーム画像Cを歪ませて、(2)に示すようにその座標系U_cをU_aに変換することで画像C1としてから、フレーム画像Aに重ね合わせる。以降さらに不図示の(i+2番目)、(i+3番目)、...等の各継続フレームについても同様にしてフレーム画像Aに重ね合わせることで、座標系U_aにおける全景映像が生成されることとなる。当該生成の詳細は次の通りである。

【0078】

図8は図7のような生成を行うため、隣接フレーム間のホモグラフィ行列算出と透視投影変換の流れについて説明する図である。まず、図中(3)の点線矢印に示されるように透視投影部34において、フレーム画像BのU_b座標系からフレーム画像AのU_a座標系に透視投影変換して画像Bを画像B1となす際には、次式(式1)又は(式2)の変換が行われる。ここで(式1)は行列表示、(式2)はその成分表示である。

【0079】

【数1】

【0080】

【数2】

【0081】

このとき、当該変換の行列H_abをホモグラフィ行列と呼ぶ。sはスケールファクターである。ホモグラフィ行列推定部33は、図中(1)の実線矢印に示すようにフレーム画像AとフレームBからH_abを求め、図中(2)の実線矢印に示すようにフレームBとフレーム画像CとからH_bcを求め、といったように隣接するフレーム画像間で逐次的にホモグラフィ行列を求める。

【0082】

図9は図7のような生成を行うため、ある基準フレーム（フレーム画像A）に対するホモグラフィ行列推定部33によるホモグラフィ行列の算出と、当該算出されたホモグラフィ行列を用いての透視投影部34による当該基準フレームへの透視投影変換の流れについて説明する図である。

【0083】

図8においては基準となるフレーム画像Aに隣接する画像Bを重ね合わせ可能なように画像B1へと透視投影変換を行う流れを示したが、図9では(4)の点線矢印に示されるように当該画像Bにさらに隣接する画像Cを画像Aへと重ね合わせ可能なように画像C1へと透視投影変換を行う。図9にて説明する手法と同様にして、基準となる画像Aと任意のフレーム間隔を隔てたすべての画像を画像Aへと重ね合わせ可能なように透視投影変換することができる。

【0084】

点線矢印(4)に示す、透視投影部34がフレーム画像Cからフレーム画像Aの座標系U_aに変換して画像C1となす際に用いるホモグラフィ行列H_acは、座標系間に次式(式3)及び(式4)の関係があることから、実線矢印(3)に算出関係を概念的に示すようにH_ac＝H_abH_bcとして求めることができる。

【0085】

【数3】

【0086】

【数4】

【0087】

なお、H_ab及びH_bcは図8においても説明したように、実線矢印(1)及び(2)で示すように隣接フレーム間の変換関係として求めることができる。基準フレーム画像Aから3つ以上間隔を隔てたフレーム画像についても同様に、隣接フレーム間のホモグラフィ行列の積を隣接順に取ることで座標系U_aへの変換行列を求めることができる。

【0088】

次に、ホモグラフィ行列推定部33においては具体的には、4点以上の対応点があれば隣接フレーム間のホモグラフィ行列を算出することができる。当該対応点は前述のように、特徴点対応比較部32で対応付けられた特徴点の各フレームにおける座標値を採用すればよい。ホモグラフィ行列Hはスケールに依存するため、スケールを固定するためにh₃₃=1として正規化しておく。(式2)より、

【0089】

【数5】

【0090】

のように展開されるが、(式5)はsに関する従属性があるため、独立な方程式は(式6)の2つとなる。

【0091】

【数6】

【0092】

これをさらに行列の形に戻して表現すると、(式7)となる。

【0093】

【数7】

【0094】

（式7）の連立方程式を解くことができれば、ホモグラフィ行列の8つのパラメータh₁₁、h₁₂、h₁₃、h₂₁、h₂₂、h₂₃、h₃₁、h₃₂が求まる。しかしながら、1つの対応点から得られる方程式は2つ、したがって、8つの未知のパラメータを求めるためには8÷2=4組の特徴点ペアの座標群(x_a1、y_a1)と(x_b1、y_b1)、(x_a2、y_a2)と(x_b2、y_b2)、(x_a3、y_a3)と(x_b3、y_b3)、(x_a4、y_a4)と(x_b4、y_b4)が必要であり、この場合(式8)が得られる。

【0095】

【数8】

【0096】

なお、対応点が4組より多い場合は、当該4組より多い座標群に対する(式8)と同様の関係(対応点がn組あるとすると、当該n組を用いて左辺の行列を2n×8行列として同様に設ければよい)のうち誤差を最小にするものを周知の特異値分解などの手法によって求めればよい。

【0097】

最後に画像重ね合わせ部35は変換されたフレーム画像を基準となるフレーム画像に重ね合わせることで、全景画像を生成する。図10に当該生成される全景画像の概念的な例を示す。図10は、この順にキャプチャされた画像A,B,C,D及びEに対して画像Aを基準フレーム画像とすることで残りの画像B,C,D及びEを画像B1,C1,D1及びE1に変換し、重ね合わせによって全景画像A10＝A∪B1∪C1∪D1∪E1が生成された例である。

【0098】

なお、基準となるフレーム画像は予め設定された所定のもの、例えば順次キャプチャした画像のうち、最初、最後又は所定番目にキャプチャしたものとしてよい。また、歪みの少ない全景画像が生成されるように基準を選択してもよい。当該選択については後述する。

【0099】

画像重ね合わせ部35はまた、当該全景画像を生成するに際して、重ね合わせ後の全景画像の各画素について重ね合わせ前の各フレーム画像の時刻インデックスを保持する。図10の例では、重ね合わせ後の全景画像A10内の画素P20はフレーム画像Aのみから生成され、画素P21はフレーム画像Bのみから生成され、画素P22はフレーム画像B及びCの重ね合わせから生成されている。その他、画素によっては3つ以上のフレーム画像の重ね合わせから生成される場合もありうる。画像重ね合わせ部35は全景画像における各画素についてこのような重ね合わせ元の情報を時刻インデックスとして保持し、又は全景画像の各画素に当該時刻インデックスの情報を埋め込む。これによって後述の映像再生指定部67及び元点検映像再生部11の処理が可能となる。

【0100】

なお、各位置の画素を重ね合わせで得る際には、重ね合わせる元となる各画像の画素値の平均を取るようにすればよい。この際変換によって少なくとも一部の画素位置が基準画像における整数位置とならない画像については、隣接画素を基準画像の整数位置との距離に基づいて重み付けして基準画像における整数位置で画素が分布した画像に加工してからその他の画像との間で平均を取るようにしてもよい。また、平均を取る際に、各重ね合わせ元の画像と基準画像とのフレーム間隔の個数に基づく所定の重み付けや、各重ね合わせ元の画像を基準画像の座標系へと変換する際のホモグラフィ行列における位置及び／又は姿勢の変化の大きさに基づく所定の重み付けや、それらを組み合わせた所定の重み付けを利用してもよい。

【0101】

ここで、基準画像に近い状態の画像をより重点的に用いた方が全景画像がより自然に生成されると考えられるため、例えば、フレーム間隔個数の重み付けでは基準画像に近い側の画像ほど大きく重み付けし、ホモグラフィ行列による重み付けでは当該行列による位置及び／又は姿勢の変化が小さいほど大きく重み付けするようにしてよい。

【0102】

また、点検映像の撮影の際に要点検箇所としてその他の箇所よりもズームアップして撮影が行われた場合、キャプチャされた点検画像において相互に解像度が異なることとなる。この場合、重ね合わせる際に、全景画像(また特に後述の部分領域)において解像度の高い方に由来する部分については当該高解像度において参照可能なように重ね合わせる。

【0103】

なおまた、図10のような重ね合わせを可能とするには、点検映像は連続的に撮影され、一連の点検画像のフレームは隣接フレーム間において4点以上の局所特徴量の点が抽出される共通部分を含んでいる必要がある。このため、点検映像は一時停止等して撮影したとしてもその前後で完全な別シーンに分断されないように撮影するか、又は分断される場合はそれぞれ別途の点検映像として用意するものとする。また、フレームキャプチャ部2において少なくとも所定割合の共通部分を有する程度に所定のサンプリングレートをマニュアル等で設定しておくものとする。

【0104】

図11は、主に制御部6及び補助画像表示部20によって提供されるインターフェース画面G1の一例であり、図11を用いて制御部6及び補助画像表示部20の各部を説明する。

【0105】

図11にてインターフェース画面G1内には、全景画像描画領域P10、スクロールバーB100及びB200、部分領域描画領域S10並びに各種のボタンB10〜B15が存在する。全景画像描画領域P10は、濃色で示される表示済み領域R1と淡色で示されるそれ以外の領域R2とに分かれているが、これらは後述のように可変領域である。また全景画像描画領域P10内には、マーカーM1〜M3及び表示中領域描画領域S100が存在しているが、後述のようにこれらは可変である。部分領域描画領域S10内には同じく可変なマーカーM10が存在すると共に、スクロールボタンB20及び拡大縮小バーB21が配置されている。

【0106】

図11では各機能ブロックの提供する描画領域やインターフェースが一画面G1内に収まっており、こうした一画面で提供を行うことがユーザの利便上は好ましいが、これらは個別の表示デバイス等を用いて実現されてもよい。また、オペレーティングシステム(OS)上で実行されるアプリケーションとして本発明を実施して、そのOSが提供する画面上のインターフェースとして画面G1が提供されてもよい。

【0107】

主画像表示部5は全景画像生成部3の生成した全景画像内の部分領域を表示する。当該表示された例が部分領域描画領域S10である。

【0108】

表示位置制御部61は主画像表示部5において表示する部分領域の位置をユーザからの入力に応じて制御する。当該ユーザからの入力は、例えばスクロールボタンB20に対するユーザによる操作によって行われてもよく、当該操作に連動して部分領域描画領域S10に描かれる領域も変動する。

【0109】

表示縮尺制御部62は主画像表示部5において表示する部分領域の縮尺をユーザからの入力に応じて制御する。当該ユーザからの入力は、例えば拡大縮小バーB21に対するユーザによる操作によって行われてもよく、当該操作に連動して部分領域描画領域S10に描かれる領域も拡大又は縮小する。

【0110】

したがって、表示位置制御部61及び表示縮尺制御部62により、地図を見るのと同様に、建造物内の所望の箇所を所望の縮尺で確認するための操作が効率化され、目視点検に要する労力を軽減することができる。

【0111】

また、全景画像表示部4は全景画像生成部3によって生成された全景画像を全体表示する。当該表示された例が全景画像描画領域P10である。なお、全景画像描画領域P10の大きさの制約などから当該領域P10に全景画像が収まらない場合には、その一部分のみを当該領域P10に描画するようにしてもよい。この際、残りの部分は制御部6を介したユーザ入力によって領域P10内においてスクロール表示させるようにしてもよく、ユーザは縦方向のスクロールバーB100及び横方向のスクロールバーB200を利用してスクロール操作を行うことができる。

【0112】

表示中領域描画部7は主画像表示部5に現在表示中の部分領域に対応する領域を全景画像表示部4に表示された全景画像中に視覚的に描画する。図10では当該描画される例として、主画像表示部5によって表示される矩形の部分領域描画領域S10内の部分領域が、全景画像表示部4の表示する全景画像描画領域P10内のいずれの領域であるかが、同じく矩形の表示中領域描画領域S100として描画されている。

【0113】

したがって、ユーザは部分領域描画領域S10に描かれた部分領域を見ることで細部の点検作業を行いつつ、同時に、当該見ている部分領域が全景画像描画領域P10に描かれた全景画像のいずれの箇所であるかを、表示中領域描画領域S100を見ることによって把握することができる。ユーザ操作によって部分領域描画領域S10内に描かれる部分領域を移動又は拡大縮小させると、表示中領域描画領域S100も連動して同様に移動又は拡大縮小されることとなる。

【0114】

なお以上のように、表示中領域描画部7及び主画像表示部5は連動して共に部分領域を扱っているので、表示位置制御部61及び表示縮尺制御部62のインターフェースとして、表示中領域描画部7による表示部分すなわち表示中領域描画領域S100を利用するようにしてもよい。

【0115】

すなわち、スクロールボタンB20の代わりに、又はこれと併用して、部分画像描画領域S100自体を移動させる操作をインターフェースとして利用してもよい。また、拡大縮小バーB21の代わりに、又はこれと併用して、表示中領域描画領域S100自体を拡大縮小する操作をインターフェースとして利用してもよい。

【0116】

表示済み領域描画部8は、ユーザ入力等によって表示中領域描画部7(及び主画像表示部5)が表示してきた部分領域の履歴を表示中領域描画部7より受け取り、既に部分領域として表示された一連の領域を全景画像表示部4の表示する全景画像において視覚的に重畳表示させるようにする。

【0117】

図10では当該重畳表示された例として表示済み領域R1が示されており、当該領域R1は全景画像描画領域P10内において所定の色及び／またはテクスチャを透過させて重ねることによって、まだ部分領域として表示されていない領域R2と区別して表示されている。重畳表示の手法としては領域R1の境界を明示するようにするなど、その他の各手法を採用してもよい。

【0118】

したがって、ユーザは部分領域描画領域S10で細部としての部分領域を確認しつつ、全景画像描画領域P10内に重畳表示された表示済み領域R1を見ることで、全景画像内において既に確認済みの箇所とそうでない箇所とを区別して把握することができ、部分領域描画領域S10による細部の目視確認対象としての部分領域を表示済み領域R1以外の残りの領域R2の方へと順次切り替えていくことで、同一箇所を誤って重複確認してしまうことを避けることができる。図11の例では全景画像描画領域P10内にて部分領域を概ねラスタスキャン順に移動させながら確認している途中の状態が描かれている。

【0119】

マーキング部63は、主画像表示部5に表示された画像上でユーザが発見した異常箇所その他の
確認必要箇所等にユーザから入力されたマーカー（印）を付記表示して表示を制御する。図11では矩形でマーキングした例として、部分領域描画領域S10内にマーカーM10が示されている。

【0120】

マーカーには円形等その他所定の形状を採用してもよいし、ユーザの手入力による形状を採用してもよく、ユーザは各種のマーカーを特定する情報を入力する。矩形マーカーの場合であればその位置及びサイズ等の情報をユーザが入力する。マーキング部63のインターフェースとしては例えば図11にて「不具合 確定」のラベルが付与されているボタンB14などを利用することができる。

【0121】

また、当該マーキング部63を介してユーザが付与するマーカーは主画像表示部5における表示のみでなく、全景画像表示部4における表示にも同様に反映させてよい。図9では部分領域描画領域S10内のマーカーM10に対応するマーカーM1が全景画像描画領域P10内に描かれ、さらに以前の時点で既に付与したマーカーM2及びM3も描かれている。

【0122】

レポーティング部64はマーキング部63によりマーカーを付与された部分領域を含む画面(部分画像描画領域S10)を静止画としてファイル出力する指定をユーザから受け付けると、レポート画像出力部9に対して当該静止画をJPEG等の符号化データとして生成させる。また、マーカーを付与された部分領域を含む画面(部分画像描画領域S10)を当該生成するのと同様にして、レポーティング部64にてユーザ指定を受けることでレポート画像出力部9がマーカーM1、M2、M3が描かれた全景画像描画領域P10内の全景画像をJPEG等の符号化データとしてファイル出力しても良い。

【0123】

点検作業員たるユーザは例えば鉄塔点検の報告書を作成する際などに、レポーティング部64を利用して異常等の存在する所望箇所を指定することで、報告すべき異常箇所等の画像データを部分領域及び／又は全景画像によるレポート画像として容易に入手することができ、出力された異常箇所の写真を貼り付けて当該異常を文章で説明することができるようになる。またその他の関連業務についても同様に、効率化を図ることができるようになる。レポーティング部64のインターフェースとしては例えば図11にて「レポート 出力」のラベルが付与されているボタンB15などを利用することができる。

【0124】

自動走査開始指定部65は、主画像表示部5において表示する部分領域の位置を逐次的に自動で変えるための一連のシーケンスとしての指定をユーザから受け付け、当該指定に従って表示位置制御部61に対して主画像表示部7において表示する部分領域の位置を自動的に変える制御を実行させる。自動操作開始部指定部65により、ユーザは手動で操作することなく自動で表示位置を変えられるようになり、目視点検に要する労力を軽減することができる。自動走査開始指定部65のインターフェースとしては例えば図11にて「自動」のラベルが付与されているボタンB11などを利用することができる。

【0125】

この際も、表示中領域描画部7及び表示中済み領域描画部8が前述の通り主画像表示部5と連動して機能することで、全景画像表示部4の表示も連動して自動的に変わることとなる。なお当該指定の際にさらに、位置を変える際の速度指定を受け付けてもよい。また、自動的に移動させる部分領域のサイズについては表示縮尺制御部62を介してユーザが予め設定しておけばよい。

【0126】

自動走査停止指定部66は自動走査開始指定部65による表示位置の移動の一時的な停止に関する指定をユーザから受け付け、当該指定に従って表示位置制御部61に対して移動の停止の制御を実行させる。自動走査停止指定部66を用いることでユーザは注目箇所を静止画として確認できるようになる。自動走査停止指定部66のインターフェースとしては例えば図11にて「停止」のラベルが付与されているボタンB12などを利用することができる。

【0127】

当該停止された箇所から再度、自動的な移動を開始させたい場合、ユーザはその旨を自動走査開始指定部65に入力すればよい。また、当該停止された箇所において自動的な移動を終了させたい場合、ユーザはその旨を自動走査停止指定部66へ追加指示として入力すればよい。また、当該停止の状態を経ることなく自動的な移動をただちに終了させたい場合は、ユーザは最初からその旨の指示を自動走査停止指定部66に入力すればよい。

【0128】

図12に、自動操作開始部指定部65を介して部分領域の位置を自動変化させる各種の一連のシーケンスの例を示す。例えば、同一箇所を誤って重複検査することを防止できる所定の方式として(1)のように全景画像内をラスタスキャン順で移動させてもよいし、(2)のように牛耕式に移動させてもよい。こうした所定方式はメニューとして設けておき、ユーザがメニュー選択のみで指定できるようにしておき、また、その選択指定に際してスキャン軌跡を全景画像表示部4上に表示させることで(1)又は(2)に示すように視認可能としておくことが好ましい。

【0129】

あるいは不定方式として(3)のように、ユーザが自由に移動の軌跡を定めてもよい。この場合、当該軌跡をユーザが表示位置制御部61のマニュアル操作によって指定できるようにするのが好ましく、当該軌跡を例えば部分領域の所定位置(中心又は重心等)の軌跡として(3)のように視認可能なように全景画像表示部4上に表示させるようにしてもよい。この際に(4)のように、(3)で自由指定した実線表記の軌跡のうち、(4)で点線表記される部分を除外した一部分のみをユーザが選択できるようにしてもよい。

【0130】

なお、矩形等の所定形状の部分領域を図12の各方式のように順次移動させる際には、移動可能な全景領域も矩形で構成されている方が好ましい。よって、当初生成された全景領域の形状が図10の例で示したように矩形でない場合であっても、全景画像生成部3(特に画像重ね合わせ部35)における追加処理として、周囲に余白としての所定色又はパターンからなるダミー領域を付加して拡張することによって、矩形状に全景画像を生成するようにしてよい。

【0131】

この際、矩形の向きは所定の画像の向き、図10では例えば基準画像Aの向きとしてよい。また矩形の大きさは当初矩形ではない形で生成された全景画像を覆う最小の大きさとしてもよいし、当該最小の大きさからさらに各方向に所定割合だけ拡張してもよい。

【0132】

映像符号化部10は、自動走査開始指定部65による制御のもとで一連のシーケンスに従って主画像表示部5に映し出される表示を映像として符号化する。ここで、非特許文献5、6、7等に開示された公知の映像符号化方法であるMPEG-2、MPEG-4やH.264等を用いることができる。

【0133】

[非特許文献5]ISO/IEC 13818-2:2000, Information technology -- Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s - Video

【0134】

[非特許文献6]ISO/IEC 14496-2:2004, Information technology -- Coding of audio-visual objects‐ Part 2: Visual

【0135】

[非特許文献7]ITU-T H.264, Telecommunication Standardization Sector of ITU, Series H: Audio Visual and Multimedia Systems, Infrastructure of audiovisual services - Coding of moving video, Advanced video coding for generic audiovisual services

【0136】

映像符号化部10により、重複撮影を避けた要約映像符号化データを生成できるようになる。したがって、撮影した作業員等が点検補助装置1を利用することで、予め点検映像より当該要約映像の符号化データを生成しておいて点検作業員に渡せば、点検作業員自身が点検補助装置1を直接利用できない場合であっても、点検作業員は一般に市販されるような通常の復号再生装置を利用して本発明の利益にあずかることができる。

【0137】

映像再生指定部67は、主画像表示部5に現在表示されている部分領域を開始位置として点検映像の再生を開始する旨の指定をユーザより受け付け、当該指定を元点検映像再生部11へと伝える。元点検映像再生部11は当該指定を受け、主画像表示部5に現在表示されている部分領域に含まれる各画素に関して、図10の点P21,P22及びP23を例に説明した、画像重ね合わせ部35が保持する又は埋め込む時刻インデックスに基づいて再生開始時刻を決定し、決定された時刻から点検映像の再生を開始する。

【0138】

なお、当該再生される点検映像とは図2にも処理の流れを示すように撮影当初の映像であって、フレームキャプチャ部2によって(一般に低レートに)サンプリングレートを設定されたものではない。

【0139】

開始位置として指定された部分領域から点検映像の開始位置を決めるに際して、元点検映像再生部11は、当該指定された部分領域の全画素について保持されている時刻インデックスの頻度を測定し、最も頻度の多い時刻インデックスに基づいて、その時刻から元の点検映像の再生を開始する。例えば指定された部分領域がその80%を画像Aから、10%を画像Bから、10%を画像Cから重ね合わせて全景画像内において生成されていれば、元の点検映像は画像Aの箇所から再生を開始するようにする。各画像の解像度が異なる場合、高解像度の方に重みを付与して頻度を測定するようにしてもよい。当該指定を受け付ける映像再生指定部67のインターフェースとしては例えば図11にて「映像再生」のラベルが付与されているボタンB13などを利用することができる。

【0140】

以上、点検補助装置1において全景画像及び部分領域を関連づけて図11のようにしてユーザに提示することにより、また当該提示に関連したレポート画像や符号化データを作成することにより、点検を補助することに関して説明した。次に、当該補助するに際して追加で実施可能であり、ユーザにさらなる補助を提供する部品検出部12、特徴学習部13及び次部品位置指定部68による部品検出に関して説明する。

【0141】

部品検出部12は、後述の特徴学習部13での学習結果を利用することにより、全景画像生成部3にて生成された全景画像内において点検対象部品としてのボルトが含まれる部分領域を検出し、その結果を次部品位置指定部68に渡す。図13は当該部品検出の例を示している。すなわち、(1)に示す全景画像のある一部分から、(2)に矩形で囲って示すようにボルトが検出される。

【0142】

なお、ボルトに限定されず、その他の各種の点検対象部品を扱うこともできるが、以下、代表的な例としてボルトを用いて説明する。

【0143】

当該検出する際には、部分領域の形状を矩形又は円として検出する。矩形領域の場合は中心位置のx座標、y座標および幅、高さの4パラメータで、また円領域の場合は中心位置のx、y座標および半径rの3パラメータで一意に決定することで、部分領域の検出結果を非常に簡素な情報として扱うことができる。図13の(2)の例は矩形領域としての検出例であり、以下、矩形領域を扱うものとして説明するが、円領域その他の形式であっても同様に実施可能である。

【0144】

特徴学習部13では予め所定の種類の識別器を、ボルトが識別可能となるように複数のサンプル画像を用いて学習しておく。部品検出部12は当該学習した識別器を用いることで、ボルトに対応する上記説明した部分領域を検出する。当該ボルト検出のための識別器には、既存の顔検出技術を利用することができる。例えば、非特許文献8に代表される顔検出装置を利用した場合について、以下説明する。

【0145】

[非特許文献8]Paul Viola, Michael Jones, "Robust Real-time Object Detection", Second International Workshop on Statistical and Computational Theories of Vision - Modeling, Learning, Computing, and Sampling, 2001.

【0146】

非特許文献8では、あらかじめ大量に顔が含まれる画像を準備し(所定数準備し)、顔の含まれる領域内の輝度信号をHaar-like特徴量に変換して、黒目は周辺の白目部分と比較して輝度信号が小さい、眉に対して頬の輝度信号が高い、といった顔画像に共通する輝度信号の大小関係をAdaboostと呼ばれる機械学習手法で学習し、顔画像に共通する判定規則が記述されたAdaboost識別器を生成する。

【0147】

新たに入力された画像内で顔を検出する際は、特定の矩形を左から右方向、上から下方向のラスタースキャン順に移動させ、各移動先の矩形内の輝度信号をHaar-like特徴量に変換し、あらかじめ生成したAdaboost識別器に記述された判定規則を満たしているかどうかで、人物の顔が含まれるか否かが判定される。

【0148】

本発明では、検出対象を顔ではなく、ボルトとし、あらかじめ大量のボルト画像をサンプル画像として準備して、ボルトの含まれる矩形領域内の輝度信号を学習させて識別器を生成しておき、部品検出部12が全景画像よりボルトを検出する。なお、識別器としては上記Adaboostの他にも、SVM(サポートベクトルマシン)等を採用してもよい。

【0149】

次部品位置指定部68は、矩形領域等としての検出結果を受け取り、当該検出矩形を順次、主画像表示部5において表示する部分領域として設定させる制御命令を表示位置制御部61に渡す。表示位置制御部61は当該制御命令を主画像表示部5に送ってその表示を制御させることで、ユーザは部分領域全体に拡大されたボルト検出結果を順次確認することができる。

【0150】

図14に当該確認の例を示す。ここでは、図11で示した全景画像に対する全景画像描画領域P10、部分画像に対する部分画像描画領域S10及びそれらを結びつける表示中領域S100の当該確認の際の3つの例(1)〜(3)を、それぞれ対応する符号を付してP11、S11及びS101、P12、S12及びS102並びにP13、S13及びS103として示している。なお、全景画像描画領域P11、P12及びP13については当該確認対象として検出されたボルト付近のみを示している。

【0151】

すなわち、(1)では矩形領域で検出されたボルトが、全景画像全体でのその位置を視認可能とすべく全景画像描画領域P11内の表示中領域描画部S101として描かれ、同時に当該ボルトに異常がないかを拡大して詳細に確認可能とすべく部分画像描画領域S11全体に描かれている。(2)及び(3)も同様である。

【0152】

なお、ユーザは次部品位置指定部68に切り替え命令を順次入力することで、図14の(1)〜(3)に示したような各ボルト検出結果を順次確認することができる。この際、図14にも付記されているように例えば図11にて「次の部品 位置」のラベルが付与されたボタンB10等をインターフェースとして利用することができる。あるいは検出ボルト毎に所定時間表示して自動切り替えが行われるようにしてもよい。

【0153】

当該切り替える順番は、部品検出部12での検出順としてもよい。また、図12の(1)及び(2)で説明したのと同様にラスタスキャン等で検出ボルト位置に達する所定の順番としてもよいし、図12の(3)及び(4)で説明したのと同様に検出ボルト位置を視認可能とした上でユーザが任意の順番を指定するようにしてもよい。

【0154】

次に、図4〜図10及び(式1)〜(式8)等を用いて説明した、全景画像の生成の際に基準とするフレーム画像の選択について、歪みの少ない全景画像を生成するように選択する手法について説明する。

【0155】

例えば図10の例では、この順にキャプチャされた画像A,B,C,D及びEに対して所定番目の画像として、最初の画像Aを基準としていた。一方で、例えば図1のような手法で得られる鉄塔映像では、鉄塔撮影を開始した直後の、地上付近を撮影した場合の仰角は小さいが、鉄塔の上部の撮影程、カメラの仰角は大きくなる場合もある。このように撮影された際のカメラの仰角が大きく異なる場合は、地上付近で撮影したフレーム画像の座標系に合わせ、鉄塔上部で撮影されたフレーム画像を、ホモグラフィ行列による透視投影変換を施した場合、変換前後で生じる誤差量||Hu-u||が非常に大きくなると考えられる。

【0156】

したがって、N枚のフレーム画像がフレームキャプチャ部2で順次キャプチャされた場合（t=1, 2, 3, …, N）、この中からフレーム画像Fを選んで基準とした場合に、(式9)に示す変換前後で生じる変換誤差量の総和E_Fができる限り小さくなるようなフレーム画像Fを基準とする。

【0157】

【数9】

【0158】

(式9)にて、u_tは(ただし式中のuにはチルダ付与)フレーム画像tにおける変換対象の座標であり、H_Ftはフレーム画像tの座標系から基準のフレーム画像Fの座標系へ変換するホモグラフィ行列であり、特にH_FFは単位行列とすればよい。フレーム画像tにおける変換対象の座標u_tについては、ホモグラフィ行列推定部33がH_Ftを求める際に利用するフレーム画像t内の局所特徴量の各点の座標を利用すればよい。

【0159】

すなわち、F＞tであってH_Ftが
H_Ft＝H_FF-1H_F-1F-2…H_t+2t+1H_t+1t
と求まる際にはu_tをH_t+1tを求める際の局所特徴量の各点の座標とすればよく、F<tであってH_Ftが
H_Ft＝H_FF+1H_F+1F+2…H_t-2t-1H_t-1t
と求まる際にはu_tをH_t-1tを求める際の局所特徴量の各点の座標とすればよい。

【0160】

例えば、図6及び図7のような3つの画像A,B及びCより全景画像を生成する例では、フレーム画像Aを基準にしたときの変換誤差の総和Ea、フレーム画像Bを基準にしたときの変換誤差の総和Eb及びフレーム画像Cを基準にしたときの変換誤差の総和Ecは、それぞれ、(式10),(式11)及び(式12)で与えられ、Ea、Eb、Ecの中で変換誤差量の総和が最も小さいものから、基準となるフレーム画像を決定すればよい。

【0161】

【数10】

【0162】

【数11】

【0163】

【数12】

【0164】

なお、上記(式9)によって変換誤差を最小とするフレーム画像を決定することはホモグラフィ行列推定部33が実行すればよく、当該最小となるフレーム画像を基準として用いて透視投影部34及び画像重ね合わせ部35が前述の通り機能することによって、歪みの少ない全景画像を生成することができる。

【符号の説明】

【0165】

1…点検補助装置、2…フレームキャプチャ部、3…全景画像生成部、4…全景画像表示部、5…主画像表示部、6…制御部、7…表示中領域描画部、8…表示済み領域描画部、9…レポート画像出力部、10…映像符号化部、11…元点検映像再生部、12…部品検出部、13…特徴学習部、20…補助画像表示部、31…局所特徴量抽出部、32…特徴点対応比較部、33…ホモグラフィ行列推定部、34…透視投影部、35…画像重ね合わせ部、61…表示位置制御部、62…表示縮尺制御部、63…マーキング部、64…レポーティング部、65…自動走査開始指定部、66…自動走査停止指定部、67…映像再生指定部、68…次部品位置指定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】