特許 6016268 フィールド作業支援装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6016268

(24)【登録日】2016年10月7日

(45)【発行日】2016年10月26日

(54)【発明の名称】フィールド作業支援装置、方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20161013BHJP

【ＦＩ】

   G06T19/00 600

【請求項の数】12

【全頁数】23

(21)【出願番号】特願2012-278058(P2012-278058)

(22)【出願日】2012年12月20日

(65)【公開番号】特開2014-123193(P2014-123193A)

(43)【公開日】2014年7月3日

【審査請求日】2015年8月27日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】松尾 賢治

(72)【発明者】

【氏名】内藤 整

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開平１１−１３４０８６（ＪＰ，Ａ）

【文献】 特開２００６−０６７２１５（ＪＰ，Ａ）

【文献】 特開２０１２−０５６０７６（ＪＰ，Ａ）

【文献】 特開２００９−０３７３９２（ＪＰ，Ａ）

【文献】 特開２００３−２７１９４２（ＪＰ，Ａ）

【文献】 特開２０１１−１６５００７（ＪＰ，Ａ）

【文献】 西川 敦彦，高度ヒューマンインタフェースを備えた監視制御システム，日立評論 Vol.77 No.7，日本，日立評論社，１９９５年 ７月 １日，Vol.77 No.7，P.19-24，ISSN 0367-5874

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ − ３／０４８９

Ｇ０５Ｂ １９／４１８

(57)【特許請求の範囲】

【請求項1】

対象物を対象とした作業者によるフィールド作業を支援するためのフィールド作業支援装置であって、
作業対象となる対象物の対象物情報と、当該対象物における作業対象領域を識別するための領域識別情報と、の入力を受け付ける入力部と、
作業対象となる対象物を撮影して撮影画像を得る撮影部と、
対象物情報及び領域識別情報に対応した各対象物の所定の図面データを、各対象物の全体領域内における各作業対象領域の座標データの形式にて格納する記憶部と、
前記入力された対象物情報に基づいて、当該作業対象となる対象物に対応する作業対象領域の座標データを前記記憶部から検索する検索部と、
前記撮影画像より、当該対象物に対応する所定の基準点を測定し、前記検索された座標データを当該撮影画像上での座標へ変換する変換関係を求める基準測定部と、
前記変換関係を前記検索された座標データに適用して、当該作業対象となる対象物の全体領域に対応する全体領域重畳画像と、当該対象物の各作業対象領域に対応する作業領域重畳画像と、を生成する情報重畳部と、
前記撮影画像に対して、前記全体領域重畳画像と前記作業領域重畳画像とを重畳して表示する表示部と、
前記撮影画像を解析することにより、前記撮影画像内に写っている、作業者が作業対象領域を指示するための所定の指示手段の位置を認識する認識部と、
前記認識された位置が、当該作業対象となる対象物の前記入力された作業対象領域内にあるか否かを照合する照合部と、
前記作業対象領域内にあるとして照合された場合に、照合完了の旨を作業者に通知する通知部と、を備えることを特徴とするフィールド作業支援装置。

【請求項2】

前記通知部は、前記作業対象領域内にあるとして照合された場合に、照合完了通知を発し、
前記情報重畳部は、前記照合完了通知が発された際に、前記照合された作業対象領域に対する作業領域重畳画像を加工し、
前記表示部は、前記照合完了の旨を作業者に対して視認可能とすべく、当該加工された作業領域重畳画像を前記重畳して表示することを特徴とする請求項１に記載のフィールド作業支援装置。

【請求項3】

前記情報重畳部は、前記全体領域重畳画像を前記全体領域の輪郭を少なくとも識別可能とするよう生成し、前記作業領域重畳画像を前記作業対象領域の輪郭を少なくとも識別可能にするよう生成することを特徴とする請求項１または２に記載のフィールド作業支援装置。

【請求項4】

前記記憶部は前記所定の図面データにおいてさらに、各対象物の対象物情報が埋め込まれると共に当該対象物の全体領域内における座標データが与えられた２次元バーコードを格納し、
前記基準測定部は、前記所定の基準点として前記２次元バーコードが前記座標データを与える点を採用し、当該２次元バーコードを認識することによって当該所定の基準点を測定すると共に前記埋め込まれた対象物情報を読みとり、
前記表示部は、前記読みとられた対象物情報を表示することを特徴とする請求項１ないし３のいずれかに記載のフィールド作業支援装置。

【請求項5】

前記所定の指示手段が指先であることを特徴とする請求項１ないし４のいずれかに記載のフィールド作業支援装置。

【請求項6】

前記入力部では、前記作業対象となる対象物における所定作業の際の手順で指定される所定の順番と対応付けられた各領域識別情報が入力され、
前記情報重畳部は前記順番に従って順次、作業領域重畳画像を生成し、
前記表示部は前記順番に従って順次、前記全体領域重畳画像と前記作業領域重畳画像とを重畳して表示し、
前記認識部は、前記撮影画像のうち、当該順次重畳して表示されている作業対象領域内のみを対象として、前記所定の指示手段を認識することを特徴とする請求項１ないし５のいずれかに記載のフィールド作業支援装置。

【請求項7】

前記撮影部は、一連の映像として前記撮影画像を撮影し、
前記照合部は、当該映像の時系列上の各撮影画像に対して、前記照合を行い、
前記通知部は、前記作業対象領域内にあるとして照合されることが継続するほど増加するカウンタを管理し、当該カウンタが所定値に達した際に、前記照合完了の旨を通知することを特徴とする請求項１ないし６のいずれかに記載のフィールド作業支援装置。

【請求項8】

前記情報重畳部は、前記カウンタに応じて前記照合された作業対象領域に対する作業領域重畳画像を加工し、
前記表示部は、前記照合されたことが継続している度合いを作業者に対して視認可能とすべく、当該加工された作業領域重畳画像を前記重畳して表示することを特徴とする請求項７に記載のフィールド作業支援装置。

【請求項9】

前記撮影部は、一連の映像として前記撮影画像を撮影し、
当該撮影されている時刻を計測し、前記照合完了の旨の通知があった際の時刻を求める時刻計測部と、
前記照合完了の旨の通知があった際の時刻を対応づけて、前記撮影されている映像を記録する映像記録部と、をさらに備えることを特徴とする請求項１ないし８のいずれかに記載のフィールド作業支援装置。

【請求項10】

前記撮影部は、一連の映像として前記撮影画像を撮影し、
前記基準測定部は、前記所定の基準点として４点以上を利用し、透視投影変換の関係として前記変換関係を求め、さらに、
前記撮影画像内において測定される前記所定の基準点が４点未満となった際にも、前記情報重畳部にて前記全体領域重畳画像及び前記作業領域重畳画像を生成可能とさせるために、前記基準測定部で求めるべき前記変換関係の代替変換関係を求める補助測定部を備え、
該補助測定部は、
前記基準測定部が前記透視投影変換の関係を算出可能であった所定の過去時点における撮影画像と、当該算出が不可能な現時点における撮影画像と、の両画像より、局所特徴を抽出する局所特徴量抽出部と、
前記抽出された両画像における局所特徴の類似するもの同士を対応づける特徴点対応比較部と、
前記対応づけられた局所特徴の点同士の透視投影変換の関係を表すホモグラフィ行列を算出し、前記所定の過去時点における撮影画像より前記基準測定部が求めた変換関係と合成することによって、前記代替変換関係を求めるホモグラフィ行列推定部と、を含むことを特徴とする請求項１ないし９のいずれかに記載のフィールド作業支援装置。

【請求項11】

対象物を対象とした作業者によるフィールド作業を支援するためのフィールド作業支援方法であって、
作業対象となる対象物の対象物情報と、当該対象物における作業対象領域を識別するための領域識別情報と、の入力を受け付ける入力段階と、
作業対象となる対象物を撮影して撮影画像を得る撮影段階と、
対象物情報及び領域識別情報に対応した各対象物の所定の図面データを、各対象物の全体領域内における各作業対象領域の座標データの形式にて格納する記憶段階と、
前記入力された対象物情報に基づいて、当該作業対象となる対象物に対応する作業対象領域の座標データを前記記憶段階で格納された情報から検索する検索段階と、
前記撮影画像より、当該対象物に対応する所定の基準点を測定し、前記検索された座標データを当該撮影画像上での座標へ変換する変換関係を求める基準測定段階と、
前記変換関係を前記検索された座標データに適用して、当該作業対象となる対象物の全体領域に対応する全体領域重畳画像と、当該対象物の各作業対象領域に対応する作業領域重畳画像と、を生成する情報重畳段階と、
前記撮影画像に対して、前記全体領域重畳画像と前記作業領域重畳画像とを重畳して表示する表示段階と、
前記撮影画像を解析することにより、前記撮影画像内に写っている、作業者が作業対象領域を指示するための所定の指示手段の位置を認識する認識段階と、
前記認識された位置が、当該作業対象となる対象物の前記入力された作業対象領域内にあるか否かを照合する照合段階と、
前記作業対象領域内にあるとして照合された場合に、照合完了の旨を作業者に通知する通知段階と、を備えることを特徴とするフィールド作業支援方法。

【請求項12】

コンピュータを、
対象物を対象とした作業者によるフィールド作業を支援するためのフィールド作業支援装置であって、
作業対象となる対象物の対象物情報と、当該対象物における作業対象領域を識別するための領域識別情報と、の入力を受け付ける入力部と、
作業対象となる対象物を撮影して撮影画像を得る撮影部と、
対象物情報及び領域識別情報に対応した各対象物の所定の図面データを、各対象物の全体領域内における各作業対象領域の座標データの形式にて格納する記憶部と、
前記入力された対象物情報に基づいて、当該作業対象となる対象物に対応する作業対象領域の座標データを前記記憶部から検索する検索部と、
前記撮影画像より、当該対象物に対応する所定の基準点を測定し、前記検索された座標データを当該撮影画像上での座標へ変換する変換関係を求める基準測定部と、
前記変換関係を前記検索された座標データに適用して、当該作業対象となる対象物の全体領域に対応する全体領域重畳画像と、当該対象物の各作業対象領域に対応する作業領域重畳画像と、を生成する情報重畳部と、
前記撮影画像に対して、前記全体領域重畳画像と前記作業領域重畳画像とを重畳して表示する表示部と、
前記撮影画像を解析することにより、前記撮影画像内に写っている、作業者が作業対象領域を指示するための所定の指示手段の位置を認識する認識部と、
前記認識された位置が、当該作業対象となる対象物の前記入力された作業対象領域内にあるか否かを照合する照合部と、
前記作業対象領域内にあるとして照合された場合に、照合完了の旨を作業者に通知する通知部と、を備えるフィールド作業支援装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フィールド作業支援装置に関し、特に、各種機器等の保守点検その他のフィールド作業において、誤りの無い正確な作業の遂行を支援することのできるフィールド作業支援装置に関する。

【背景技術】

【0002】

通信局舎では、サービスの開始・変更・廃止に伴い、主にラックにマウントされて収納されている交換機・光配電盤・サーバ等の通信機器に対して、配線・ユニット交換・設定に代表される工事が実施される。通常、作業員は事前にまとめられた作業手順書の指示に従って作業を遂行するが、迅速かつ誤り無く正確に作業を遂行することが求められる。

【0003】

近年、情報端末を現場まで携帯し、マニュアルや作業手順書等、適切な情報を提供して、迅速かつ誤り無く正確な現場作業の遂行を支援する取り組みが、いくつか提案されている。これらは、AR(拡張現実)技術の応用により実物体の映像に重畳してユニット設置用スロットやコネクタ等の作業対象となる箇所を視覚的にナビゲーション表示する装置と位置付けられる。

【0004】

例えば、作業対象となる機器を撮影し、作業手順書に基づいて撮影画像より点検領域を特定し、予め用意してある当該機器の当該点検領域を特定するための開口部を有するマスク画像を撮影画像に対してマッチング処理し、作業情報などと共に提示する、特許文献１に記載の装置が知られている。

【0005】

一方で、現場作業では、従来のように現場で行われた作業の結果だけでなく、作業の途中過程も重視されるようになり、正確な作業が行われたことの証明や有事の際の証拠として使用する目的で、作業中に取得できる情報を記録に残すことの重要性が指摘され始めている。

【0006】

例えば、作業中の映像や作業データ（センサにより得られる音声・レンチのトルク等）を、作業が実施された場所・時刻と共に記録し、客観的な正確さが担保された作業記録情報として管理する、特許文献２に記載の装置が知られている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開2010-3190号公報「保守点検システム」（日立製作所）

【特許文献2】特開2008-84068号公報「現場作業実施状況管理装置及び管理方法」（東芝）

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１に記載の装置は点検領域をマスク画像によって視覚的に強調して表示するだけに過ぎないため、作業者がその指示を見て実際に作業する際には、何らかのヒューマンエラー（人為的過誤や失敗 、もしくは、意図しない結果を生じる人間の行為）により、指示された位置とは異なる箇所を対象として作業する恐れがある。

【0009】

これは作業者が実際に作業を行っているもしくは作業を行おうとしている箇所が、装置から指定されている領域と一致しているか否かを確認していないためである。従って、より正確な作業を遂行するための支援装置の観点からは改善の余地があった。

【0010】

また、特許文献２に記載の装置は、作業中の映像や作業データを場所・時刻と共に記録はするものの、手順書内で細分化された各作業の開始点や終了点といった、重要イベントを映像から特定する手段については特段詳細が開示されていない。

【0011】

特にフィールド作業では、作業を開始する際には、対象箇所への指差しと共に「指差し確認、良いか？良し！」等の発声を行い、指差呼称（または指差喚呼）が行われる。この指差呼称を特定し、イベント情報として記録することが想定されていないため、後日検索の際には、作業開始・終了・指差呼称のシーンを効率良く検索することができなかった。

【0012】

以上のような点を鑑みて、本発明は、作業者が実際に作業を行っているもしくは作業を行おうとしている箇所を認識すると共に、装置から指定されている領域と一致しているか否かを確認することをも可能とすることで、作業者に指示通りに間違いなく正確な作業を遂行できるように支援するフィールド作業支援装置を提供することを第一の目的とする。

【0013】

また本発明は、作業が指示通りに間違いなく遂行したことを証明するエビデンスとして利用可能なように、重要度の高い作業イベントを映像から特定し、時刻と共に適切なタイミングで作業内容を映像記録する装置の提供を第二の目的とする。

【課題を解決するための手段】

【0014】

本発明は、上記第一の目的を達成するために、機器を対象とした作業者によるフィールド作業を支援するためのフィールド作業支援装置であって、作業対象となる機器の機器情報と、当該機器における作業対象領域を識別するための領域識別情報と、の入力を受け付ける入力部と、作業対象となる機器を撮影して撮影画像を得る撮影部と、機器情報及び領域識別情報に対応した各機器の所定の図面データを、各機器の全体領域内における各作業対象領域の座標データの形式にて格納する記憶部と、前記入力された機器情報に基づいて、当該作業対象となる機器に対応する作業対象領域の座標データを前記記憶手段から検索する検索部と、前記撮影画像より、当該機器に対応する所定の基準点を測定し、前記検索された座標データを当該撮影画像上での座標へ変換する変換関係を求める基準測定部と、前記変換関係を前記前記検索された座標データに適用して、当該作業対象となる機器の全体領域に対応する全体領域重畳画像と、当該機器の各作業対象領域に対応する作業領域重畳画像と、を生成する情報重畳部と、前記撮影画像に対して、前記全体領域重畳画像と前記作業領域重畳画像とを重畳して表示する表示部と、前記撮影画像より、作業者が作業対象領域を指示するための所定の指示手段の位置を認識する認識部と、前記認識された位置が、当該作業対象となる機器の前記入力された作業対象領域内にあるか否かを照合する照合部と、前記作業対象領域内にあるとして照合された場合に、照合完了の旨を作業者に通知する通知部と、を備えることを第一の特徴とする。

【0015】

また、本発明は、上記第二の目的を達成するために、前記撮影部は、一連の映像として前記撮影画像を撮影し、当該撮影されている時刻を計測し、前記照合完了の旨の通知があった際の時刻を求める時刻計測部と、前記照合完了の旨の通知があった際の時刻を対応づけて、前記撮影されている映像を記録する映像記録部と、を前記フィールド作業支援装置がさらに備えることを第二の特徴とする。

【発明の効果】

【0016】

前記第一の特徴によれば、作業者は表示部の表示を参照することにより、撮影画像に重畳された全体領域重畳画像によって作業対象となる機器が認識可能となり、対象領域重畳画像によって当該機器において作業対象となる箇所が認識可能となる。さらに、当該作業者が作業対象領域を指示するための所定の指示手段の位置が、実際に作業対象領域の内部にあるかが照合部によって照合され、正しく照合されている場合に、通知部によって作業者に照合完了の旨が通知されるので、前記第一の目的が達成される。

【0017】

前記第二の特徴によれば、重要度の高い作業イベントを表すものとして、照合完了の旨の通知があった際の時刻を対応づけたうえで、撮影部にて一連の映像として撮影されている映像が記録されるので、前記第二の目的が達成される。

【図面の簡単な説明】

【0018】

【図1】一実施形態に係るフィールド作業支援装置の機能ブロック図である。

【図2】フィールド作業支援装置の実装例を示す図である。

【図3】入力部に対して入力される機器情報及び領域識別情報と、対応する作業内容及び順番と、の例を示す図である。

【図4】図面データの具体例を示す図である。

【図5】作業対象機器に基準点を設定するための峻別テープの例を示す図である。

【図6】表示部にて表示される、重畳画像などを用いたナビゲーション表示とその遷移との例を示す図である。

【図7】最終的に照合完了通知が出力されるまでの間、照合部による時系列での判定結果に基づいて通知部が管理するカウンタ値に応じて、対象領域重畳画像が加工されて得られる表示例と、照合完了通知の出力された際の表示例とを示す図である。

【図8】映像記録部が、照合完了通知のあった時刻を対応づけて撮影部で撮影されている映像を記録する各種の例を模式的に示す図である。

【図9】通知部がカウンタ値を管理する手順のフローチャートである。

【図10】基準測定部における追加的な実施形態で利用される、補助測定部の機能ブロック図である。

【図11】基準測定部における追加的な実施形態を説明するための図である。

【図12】基準測定部における追加的な実施形態を説明するための図である。

【発明を実施するための形態】

【0019】

本発明の説明においては、フィールド作業支援の例として以下を想定する。
通信局舎内にタブレット端末のような可搬型端末を持ち込み、その可搬型端末に本発明の装置を搭載し、主にラックにマウントされて収納されている交換機・光配電盤・サーバ等の通信機器に対して、配線・ユニット交換・設定に代表される、フィールドでの作業を支援する。

【0020】

しかしながら、本発明はその他の分野におけるフィールド作業支援についても適用可能であり、特に、作業箇所や順番を間違えることなく正確に且つ迅速に作業を行うと共に、作業が行われた旨の記録を後から容易に参照可能な形として残すことが要求される場合において、本発明は好適である。

【0021】

図１は一実施形態に係るフィールド作業支援措置の機能ブロック図である。フィールド作業支援装置１００は、入力部１０１、撮影部１０２、記憶部１０３、検索部１０４、基準測定部１０５、情報重畳部１０６、表示部１０７、認識部１０８、照合部１０９、通知部１１０、時刻計測部１１１、映像記録部１１２及び作業進捗入力部１１５を備える。

【0022】

なお図１では、当該各部の間にはやりとりされるデータの流れに対応する矢印が設けられており、上流側（に存在する１つ以上の処理部）で得たデータは全て下流側において利用可能である旨を表している。当該やりとりは本発明の理解の促進のために主要なもののみを表示しており、矢印が存在しない部分でもやりとりが存在することはある。

【0023】

図２は、フィールド作業支援装置１００の実装される各種の例を（１）〜（３）として示す図である。（１）に示すように、カメラ付きのタブレット（又はスマートフォン）のような撮影部１０２（詳細は後述）を一体型として有する形態で提供される場合がある。また（２）に示すように、別途設置した撮影部１０２が表示部１０７（詳細は後述）等から離れた場所に設置された形態でもよい。さらに、（３）に示すように、表示部１０７（詳細は後述）がHMD（ヘッド・マウント・ディスプレイ）で提供され、作業者が身に着けて利用する形態でもよい。

【0024】

以下、図１のフィールド作業支援装置１００の各部を説明する。

【0025】

入力部１０１には、作業対象となる機器の機器情報および当該機器において作業対象となりうる領域を識別するための領域識別情報が入力される。当該入力は、作業者などがマニュアル入力してもよいし、別途存在しているサーバなどからデータを読み込むようにしてもよい。

【0026】

例えば、作業対象となる機器を識別する機器情報としては、ビル名「丸の内第6ビル」、部屋名「12階サーバルーム」、ラック名「H12ラック」、機器名「ND-０９１９８２（J）」が入力され、これらに対応する識別子へと変換される。作業対象となりうる領域を識別するための領域識別情報としては、機器の配線差込口、交換・増設・撤去対象となるユニット番号、設定変更の対象となるスイッチ番号等、これらが識別子へと変換され、入力される。

【0027】

さらに、当該機器情報及び領域識別情報の入力の際に、作業手順書に従う各作業内容（作業の際の注意事項なども含む）及び当該各作業の順番も、当該機器情報及び領域識別情報と対応付けられた形で、前述と同様にマニュアル入力又はサーバなどから読み込むことによって、入力される。

【0028】

図３に、当該入力される機器情報及び領域識別情報と作業内容及び順番との例を示す。欄C1は、「工事件名：ハードディスク交換作業」として、当該機器における作業内容全体の見出しとなっている。当該見出しのような付随情報がさらに入力されてもよい。欄C2及びC3に機器情報が示されている。表C4は、「手順」欄によって実施する順番が付与された作業内容を示しており、「対象」欄において各作業対象となる箇所の領域識別情報が「スロットＡ〜Ｃ」等として示され、「作業内容」欄において当該作業対象の各々に対して実施すべき作業内容が、示されている。

【0029】

さらに、「コメント等」の欄として示すように、当該各手順に対応するコメントが入力されてもよい。当該コメントは例えば各手順における注意事項などであり、作業者あるいは管理者によって入力されてもよい。

【0030】

作業進捗入力部１１５は、入力部１０１にて上記のように入力された機器に対する作業を開始する旨などの作業進捗に関する情報を、作業者からの入力として受け付ける。当該入力は、図３に機器「ND-０９１９８２（J）」として例示したような、一連の作業内容が割り当てられている各機器において、一連の作業を開始しようとする最初の合図としての情報を少なくとも含む。

【0031】

作業者は実際の機器の存在する場所（フィールド）に出向いて、当該機器を撮影部１０２で撮影した状態を作ってから、当該開始合図を作業進捗入力部１１５に入力することにより、フィールド作業支援装置１００は当該機器を対象とした一連の支援動作を開始することができる。こうして対象機器がフィールド作業支援装置１００に認識された後は、図３に示すような当該対象機器に対する各手順について、自動で支援動作がなされてもよいし、各手順を開始する旨の入力をさらに、作業者からの入力として作業進捗入力部１１５において受け付けてもよい。

【0032】

撮影部１０２はCMOSやCCD等の撮像素子を使った一般的なカメラであり、作業現場で実物の作業対象となる機器が一連の映像として撮影され、撮影画像が一定間隔でフレーム出力される。なお、本発明は基本的には一連の映像を対象として実施されるが、一連の映像としての特徴を利用しない処理については、各時点の撮影画像のみを個別に対象として実施することも可能である。

【0033】

記憶部１０３には、入力部１０１で入力される領域識別情報に対応した形で予め準備されている当該機器の図面データが格納されている。機器全体としての幅・高さ・奥行きの寸法を始めとして、当該機器内にある配線差込口、交換・増設・撤去対象となるユニット設置用スロットの配置、設定変更の対象となるスイッチ等の各寸法の詳細が、例えば機器全面音左上頂点を原点とする相対座標データとして、領域識別情報に対応させて格納される。

【0034】

図４に、当該図面データの具体例を示す。機器の一例として上段側[1]に示す「機器ND-091982(J)」にはA〜Cの3つのスロットが設けられると共に、前面中央寄りの場所に１つの２次元コードが貼り付けられることで、４つの対象領域が設定され、それぞれ領域識別情報として与えられている。ここで、xy座標軸を[1]のような所定位置及び方向に予め定めておくことで、領域識別情報に対応する当該機器の図面データは[2]の欄C10〜C15のように与えられる。

【0035】

すなわち、当該所定座標軸のもとで、項目欄C10に示すように左上座標（LTx、LTｙ）並びに幅W及び高さHを定めることで、図面データが得られる。欄C11に示すように、当該[1]の機器「ND-091982(J)」は、その全体領域の左上座標が(0, 0)であり、当該座標軸の原点及び各方向を定め、幅W=1000,高さH=600(長さの単位は任意)となっている。

【0036】

当該欄C11で与えられる全体領域の中で、欄C12に示すようにスロットAに関する図面データが、左上座標を機器全体に対する相対座標で測定した（750、50）として、また、幅W=180、高さH=500として与えられ、スロットB〜２次元コードに関する図面データも同様に、欄C13〜C15に示すように与えられる。また、欄C16以降に示すように、その他の機器についてもそれぞれ同様に、全体領域を定めたうえで各対象領域が相対的に与えられる。

【0037】

検索部１０４は、入力部１０１より受け取った機器情報及び領域識別情報に基づいて、作業進捗入力部１１５より入力されたユーザ指定の作業対象の機器に対応する作業領域の座標データを、記憶部１０３から検索する。

【0038】

基準測定部１０５は撮影部１０２で得た撮影画像と、検索部１０４で検索された座標データとの間で位置ずれや大きさの違いを正規化して正確な位置合わせを行うため、撮影画像から基準点を測定する。すなわち、図４で説明したような作業の対象となる機器の図面データが、撮影画像上の座標としてどう表現されるかを特定するために、撮影画像より基準点を測定する。基準測定部１０５はさらに、上記位置合わせの際に用いる関係として、当該測定した基準点と撮影画像上の対応座標との変換関係を求める。

【0039】

なお、基準点は機器に対して所定のものを、その撮影画像内から基準測定部１０５にて測定し抽出する手法と共に予め定めておくものとし、当該基準点及びその測定法は領域識別情報（機器全体の領域の情報でもよい）と対応づけたうえで入力部１０１で入力されるか、記憶部１０３に予め図面データと対応付けて記録しておいて検索部１０４の検索の際に抽出するものとする。

【0040】

基準点を定める手法をいくつか紹介する。

【0041】

図４で例示したような長方形状の機器、例えばラックにマウントされたサーバ等（をある一面から見たもの）は、撮影画像内から機器前面の前面パネルの外枠の位置、すなわち対象領域全体をなす長方形を把握できればよい。当該全体の撮影画像上における座標を把握すれば、図面データを参照し、残りの対象領域（当該機器の交換・増設・撤去対象となるユニット設置用スロットの配置、設定変更の対象となるスイッチ等）の撮影画像上における座標を自動算出できる。

【0042】

従って、第１実施形態では当該長方形の外枠から基準点を定めることができ、この場合、撮影画像より長方形の４頂点を認識できればよい。このためあらかじめ作業対象機器の四隅に、通信機器工事で頻繁に用いられる赤や緑などの所定色特徴を有する峻別テープを貼り、画像処理で赤や緑の当該所定色特徴の領域を認識することで、座標データを正規化するための作業対象機器の基準点が測定できるようになる。なお、赤や緑は比較的軽い処理で認識できるので、当該色の峻別テープを利用すれば、計算負荷を低減する効果がある。

【0043】

例えば、図５の（１）に示すように、対象機器を囲むように長方形の額縁状に峻別テープを貼った領域R1を色特徴より自動認識して、さらにエッジ検出及び線分検出を施すことで、その内部の４頂点P1〜P4を自動で求めてもよい。あるいは（２）に示すように、頂点P1〜P4の近辺のみにテープ領域R10〜R40を設けておいてもよい。（１）及び（２）の場合において、内部側の４頂点の代わりに外部側の４頂点あるいはその他形成されている所定の頂点を用いてもよい。

【0044】

また、第２実施形態では、撮影画像内から測定する基準点として、機器の管理目途で貼り付けられているQRコード（登録商標）やARマーカ等の２次元バーコードを利用することができる。撮影画像内から２次元バーコードを検索する方法及びその内容を読みとる方法は公知の技術が使える。

【0045】

この場合、撮影画像内から検索された２次元バーコードの位置と大きさから、第１実施形態における４頂点と同様に利用可能な、座標データを正規化するための作業対象機器の基準点が測定できるようになる。例えば、当該コードの４頂点を基準点として予め設定しておけばよい。

【0046】

さらに、２次元バーコードに文字情報によって機器情報を予め埋め込んでおき、当該文字情報を基準測定部１０５が読みとることで、作業対象となる機器の機器情報が得られるようにしてもよい。また、当該２次元コードより読みとられた機器情報を後述の情報重畳部１０６を介して表示部１０７に表示させることにより、作業者は入力部１０１にて入力した機器の識別情報との同一性を確認することもでき、誤りをより確実に防止できる。ここで、不一致の場合はその旨を明示する情報を表示部１０７に表示させてもよい。

【0047】

例えば、図４の例では、第１実施形態を適用すると、赤色などを有することで検出可能な峻別テープから測定された領域の左上座標、幅および高さが、欄C11に示す当該機器「ND-091982(J)」 全体の左上座標、幅および高さの座標系に合うように基準を合わせる。また、図４の例において第２実施形態を適用して２次元バーコードを使用する場合は、画面内から検出された２次元バーコードの左上座標、幅および高さが、図面データに記載された、欄C15に示す２次元バーコードの左上座標、幅および高さの座標系に合うように基準を合わせる。

【0048】

なお、基準を合わせる際には、図面データ及び画像上の対応位置のそれぞれにおける４点（例えば長方形の４頂点）同士の間の、所定の変換関係を算出すればよい。例えば、概ね正面から撮影するよう予め取り決めてある場合であれば、回転及び拡大縮小の変換関係を算出すればよく、斜めから撮影することも認めてある場合には、透視投影変換の関係を算出すればよい。４点以上同士を用いて変換関係を算出してもよい。各場合に応じた所定の算出法を、予め基準測定部１０５に設定しておけばよい。

【0049】

なお、上記２次元コードからの機器情報読み取りにおける追加的な実施形態として次がある。すなわち、当該２次元コードより読みとられた機器情報を直接、入力部１０１にて入力する機器情報として使用することにより、作業者による機器情報のマニュアル入力等の手間を省くようにしてもよい。この場合さらに同様に、当該２次元コードによって、当該機器の領域識別情報等といった作業自体の情報（図３や図４の情報）が自動で読みとられ入力部１０１への入力となるようにしてもよい。この際、情報量が多くコードに埋め込めない場合は、所定のサーバの所在情報を埋め込み、ネットワーク経由で当該サーバから自動で読み込まれるようにしてもよい。

【0050】

情報重畳部１０６は、基準測定部１０５の求めた変換関係より座標データの撮影画像上での位置を求めることにより、作業対象機器の全体を撮影画像内において視覚的に区別可能とするための全体領域重畳画像を生成し、また同様にして、作業対象となる領域を当該全体の内部において視覚的に区別可能とするための対象領域重畳画像を生成する。

【0051】

当該各重畳画像は、具体的例を後述するように、枠組などの形で撮影画像に重畳させる画像である。各領域が区別可能となる任意の手法によって、例えば領域の重心等の所定点を識別可能とすることで重畳画像を生成してよいが、少なくとも各領域の輪郭を識別可能とするような重畳画像を生成することが好ましい。

【0052】

表示部１０７は、情報重畳部１０６によって当該生成された各重畳画像を、撮影部１０２より得た撮影画像に重畳して表示する。当該重畳して合成された画像（ナビゲーション表示）によって、作業者は作業対象領域を見たままの直感的な形で把握可能となる。表示部１０７はまた後述するように、作業の正確さ等をより向上させるための各種の情報も同様に撮影画像に重畳して表示する。

【0053】

図６に、フィールド作業支援に本発明を適用する際の表示部１０７のナビゲーション表示及びその遷移の一例を示す。以下、図６を適宜参照して本発明を説明する。図６では、少なくとも図４の[2]の欄C10〜C14を識別情報及び図形データとして入力及び検索し、図３の作業手順（機器名「ND-091982(J)」を対象としたハードディスク交換の作業手順）に従う形でフィールド作業がなされることを想定している。

【0054】

図６の（１）及び（２）は次のような経緯の後の表示の例である。ここで、当該経緯の説明により、特に検索部１０４，基準測定部１０５，情報重畳部１０６の各処理の連携を説明してから、再度、図１の各部の説明に戻ることとする。

【0055】

まず、作業者の第１ステップとして、作業者がフィールド作業対象となる機器「ND-091982(J)」の前に出向いて、撮影部１０２に当該機器を撮影させると共に、作業進捗入力部１１５に当該機器を対象とした作業を開始する旨を入力する。当該入力を受け、検索部１０４は当該機器の全体領域の情報を検索し、図３の欄C11に示す図形データを得る。基準測定部１０５は当該検索結果を用いて当該機器に対応する前記基準点を測定すると共に、当該機器に対応する前記変換関係を求める。情報重畳部１０６は当該変換関係を用いて、当該機器に対応する全体領域重畳画像を生成する。

【0056】

そして、図６の（１）におけるフレーム枠Ｆ１０が、当該機器「ND-091982(J)」に対応して生成された全体領域重畳画像であり、表示部１０７によって当該機器の撮影画像に重畳して表示されているところを当該（１）は表している。全体領域重畳画像Ｆ１０は、このような機器を囲むフレーム枠であってもよいし、枠の外部は所定色となす又は所定色で透過させる等のマスク状であってもよい。

【0057】

欄Ｃ６１に示すように、当該作業対象とする機器「ND-091982(J)」の名称を、表示部１０７が重畳表示することで、作業者が対象とする機器をより確実に把握することを補助するようにしてもよい。当該名称は、作業進捗入力部１１５にて当該作業開始の旨の入力を受けたことによって重畳表示されてもよいし、当該機器に図４の欄C15に示すような付随情報を提供するための２次元コードが予め配置されているのであれば、当該２次元コードを読みとることによって重畳表示されてもよい。

【0058】

[機器誤り通知機能]
２次元コードを読みとる場合は、機器自体を誤っていた場合に誤りをただちに通知することができる。すなわち、作業進捗入力部１１５で作業者が作業開始の旨を入力した機器と、基準測定部１０５によって当該２次元コードから読みとられた機器とが異なっていた場合、フィールド作業支援装置１００は当該誤りを自動検出してただちに通知することができる。当該誤りの通知も欄Ｃ６１などを用いて表示部１０７により可能である。

【0059】

また、作業者の第２ステップとして、当該機器における手順を順次実行する旨を作業進捗入力部１１５に入力する。最初は、「手順１」が入力され、当該手順１は図３に示すように「スロットA」を対象として「新規HDD(ハードディスクドライブ)を挿入する」ものである。当該入力を受けると図４の欄C12の図面データが検索部１０４に検索され、情報重畳部１０６が全体領域に対して適用したのと同様の変換を施すことにより、「スロットＡ」の対象領域重畳画像が生成される。

【0060】

あるいは、当該第２ステップの作業者による「手順１」の開始入力を不要としてもよい。この場合、第１ステップで当該機器を対象として作業開始する旨が入力され、機器の全体領域が認識された後に、上記[機器誤り通知機能]による誤り通知などがない限り自動で当該「手順１」における対象領域重畳画像が生成されるよう予め設定しておいてもよい。

【0061】

図６の（２）に示すフレーム枠Ｆ１１が、当該「スロットＡ」に対する対象領域重畳画像であり、表示部１０７によって当該機器の撮影画像に全体領域重畳画像Ｆ１０などと共に重畳して表示されているところを当該（２）は表している。この際、当該作業が「手順１」である旨も欄Ｃ６４に示すように、重畳表示してもよい。

【0062】

当該（２）においてはさらに欄Ｃ６３に示すように、当該作業における注意事項「静電気除去を行ってから作業開始」、申し送り事項「転倒事故が昨月多発しています」、保守履歴「２０１２年３月点検時に冷却ファン交換」等の情報も重畳して表示されている。こうして、誤りの少ない正確な作業の促進を図ることができる。なお、図６の（５）は、欄Ｃ６３のみを見やすいように別途拡大したものである。

【0063】

上記欄Ｃ６３の注意事項その他は、図３の作業手順書におけるコメント欄に管理者などが予め記載しておけばよく、上記説明したように検索部１０４の検索などを経て表示部１０７に重畳表示することができる。なお、当該コメントを表示するか否かに関しては、図６の（２）等に示す「情報」ボタンＣ６２等を作業者が（タッチパネルの場合）タップすることによって、作業者の当該コメント要求を受けてから表示されるようにしてもよい。

【0064】

図１の各部の説明に戻り、認識部１０８は、撮影部１０２の撮影画像から作業者が実際に作業を行っているもしくは作業を行おうとしている箇所を認識する。当該箇所の認識は、予め決めておく所定の指示手段を作業者が撮影画像の当該箇所に配置し、撮影画像から当該箇所の当該指示手段を認識することによって、なされる。当該所定の指示手段の各実施形態を紹介する。

【0065】

一実施形態では、指先を指示手段として用いることができる。指先の認識は、公知の技術が利用できる。簡単には、前記撮影画像の画像信号をHSV色空間に変換し、色相Hの値が0〜30°に含まれる画素を肌色画素と認識し、さらに肌色画素の集合領域に対して、楕円あてはめにより、指の先端にある第一関節の領域を検出することができる。その他各種の公知の指ないし指先検出技術を用いてもよい。

【0066】

当該実施形態の利点は次の通りである。特にフィールド作業では、作業を開始する際には、対象箇所への指差しと共に「指差し確認、良いか？良し！」等の発生を行い、指差呼称（または指差喚呼）が行われる。当該認識部１０８及び後述する照合部１０９等によって、この指差呼称を自動で特定し、さらに後述する映像記録部１１２の連携処理によって映像上にイベント情報として記録できるようになり、後日検索の際には、作業開始・終了・指差呼称のシーンを効率良く検索できるようになる。

【0067】

同様に、一実施形態では、先端に所定の色特徴を有する球体などが配置された指示棒を作業者が持って作業箇所を指すことで、認識がなされてもよい。当該球体が指示手段となり、色特徴などにより公知の検出技術で検出可能である。さらに同様に、一実施形態では所定の色特徴を有するレーザポインタで当該箇所に照射したレーザの像を、指示手段としてもよい。

【0068】

指示手段に何を用いるかによらず、次のようにすることで認識部１０８の指示手段の認識における計算負荷を低減することができる。すなわち、指示手段を撮影画像の全体から探索する代わりに、当該時点における作業手順で指定されている対象領域の内部のみに限定して、指示手段を探索する。こうして、指示手段の探索領域を対象領域に限定することで、計算量を低減することができる。

【0069】

照合部１０９は、認識部１０８が認識した指示手段（作業者が実際に作業を行っているもしくは作業を行おうとしている箇所を表す）が、当該時点における作業対象の領域と一致しているか否かを確認する。例えば、指示手段である指先などの所定点（重心など）が、作業領域の範囲内にあれば一致、と判定すればよい。

【0070】

照合部１０９は撮影部１０２が一定間隔でフレーム出力する各時点の撮影画像について、当該判定を行い、当該時系列からなる判定結果を逐次、通知部１１０へと知らせる。

【0071】

なお、上述の計算量削減の観点から認識部１０８が対象領域に限定して指示手段を探索している場合は、当該領域内で探索された場合には直ちに一致判定を下すことで、照合部１０９の処理負荷も大幅に低減することができる。

【0072】

通知部１１０は、照合部１０９の出力する各時点の判定結果を逐次解析し、作業領域の範囲内にある旨の判定（一致判定）が所定の期間に渡って継続することを確認することによって、作業者が当該時点における作業箇所を指示することを完了したものと判断し、照合完了の旨を種々の実施形態によって作業者に通知する。

【0073】

一実施形態では、当該判断は照合完了通知として映像記録部１１２及び情報重畳部１０６に伝えられ、特に情報重畳部１０６及び表示部１０７によって視覚的に作業者に通知がなされる。一実施形態では、音声によって作業者に通知がなされてもよい。

【0074】

さらに、通知部１１０はまた、照合完了通知を出力するまでの途中において、各時点における当該途中である情報及びあとどの程度で最終的な照合完了通知に到達するかの情報（具体的には、後述する「カウンタ」の値として与えられる）を、情報重畳部１０６に伝えてもよい。情報重畳部１０６は当該カウンタに応じて、当該時点の作業箇所に対する対象領域重畳画像を加工してもよい。

【0075】

当該加工されて表示部１０７に表示される例が、図６の（３）の斜線付与されたフレームＦ１１０である。当該フレームＦ１１０は、（２）のフレームＦ１１で重畳表示された「スロットＡ」に、作業者による指差しなどが多少なりともあったことを反映して、フレームＦ１１の領域の内部を、色付けするなどして変化させて表示したものである。

【0076】

図７は、図６の（３）のフレームF１１０における変化する表示の具体例であり、当該重畳表示の途中における加工例と、最終的に照合完了通知が出された際の表示例を概念的に示す図である。

【0077】

図７の説明の前提として、通知部１１０は、一致判定の継続時間に応じて増加するカウンタを管理する。当該カウンタの管理の詳細は後述するが、カウンタは、一致判定が継続する間は増加し、一致判定がない間は減少して、減少がある程度継続すると、初期値のゼロにリセットされる。

【0078】

図７の（１）はカウンタC=0で、その値が初期値としてのゼロの場合である。ここでは、図６の（２）と同様の、全体領域重畳画像Ｆ１０で囲まれた対象領域の全体と、その内部で現時点における作業対象の「スロットＡ」を囲む対象領域重畳画像Ｆ１１と、が示されている。カウンタC=0の状態は、指差しなどが全くない状態がしばらく続いている状態に対応し、当該フレームＦ１１はそのままの状態（加工されていない状態）で表示されている。

【0079】

ここで、フレームＦ１１で囲まれる対象領域において、図７の手Ｈ１０として示すような、指差しなどによる一致判定がなされると、カウンタCの値は一致判定が継続する間、増加し続ける。図７では、一致判定が途切れることなく継続した場合を表しており、カウンタCの値に応じて、フレームＦ１１の対象領域が、所定色に染まっていく（領域内の画素値が一定の所定値に近づいていく）ことで表示の変化を施す例が示されている。

【0080】

（２）に示すカウンタC＝5の状態では、手Ｈ１０（の指先）が置き続けられることで、枠Ｆ１１２に示すように、枠Ｆ１０が所定色に淡く染まった状態となる。さらに後の、（３）に示すカウンタC=15の状態では、枠Ｆ１１３に示すように、所定色で濃く染まった状態となる。最終的にカウンタが閾値(ここでは例として20とする)に達した（４）のC=20の状態では、枠Ｆ１１４に示すように完全に所定色で染まった状態となる。

【0081】

当該「染める」際は、重ねる所定色の透過性を変化させ、（１）にて撮影画像の対象領域がそのまま見えている状態(透過率100%)から、（４）にて対象領域が見えなくなる状態(透過率0%)へと変化させるようにしてもよい。

【0082】

当該（４）に示す状態において、前述の照合完了通知がなされると共に、後述する映像記録部１１２による記録などが開始される。（４）では、枠Ｆ２０に、照合完了通知の旨を伝える重畳文字情報Ｆ２０「スロットＡ、照合完了」が情報重畳部１０６によって生成され、表示部１０７に表示されているところが描かれている。

【0083】

このように、作業者は、所定時間に渡って確実に指差しなどをすることを要求されるので、作業箇所を間違える可能性を下げることができる。すなわち、カウンタの利用により、作業者が指先を作業箇所に短時間のみ偶然向けたような場合を、正しい指示がなされたものと誤判定することを防止することができる。

【0084】

なお、当該カウンタの値による情報重畳部１０６による重畳は、以上図７の例のように色の濃淡を変化させて表示を加工すること以外の手法を用いてもよい。図７の（１）に示すフレーム枠Ｆ１１の色を赤(C=0の場合)から次第に青(C=20；閾値の場合)へと変えるなど、枠Ｆ１１の内部は撮影画像をそのまま見えるようにしたうえで、枠Ｆ１１に所定色間の遷移を施すようにしてもよい。また、カウンタCの値に対応するメータ表示（棒グラフ型や、円ないし円弧状に先端が動くメータ針の方式など）を別途設けるようにしてもよい。

【0085】

あるいは、表示部１０７を介して視覚的に重畳させる代わりに、別途スピーカを用いて、発生する音の高さなどをカウンタCの値に応じて所定方式で変化させる（Cの値が大きいほど、高い音を発生するなど）ようにしてもよい。照合完了通知も同様に、スピーカを用いて、前述の重畳文字情報Ｆ２０「スロットＡ、照合完了」等を合成した音声として出力されるようにしてもよい。さらに、「指差し確認完了！作業を開始して下さい。転倒に注意のこと。」等、作業に付随する情報を音声として出力させてもよい。

【0086】

当該音声と表示部１０７による視覚とを組み合わせてもよい。なお、当該視覚及び／又は音声による重畳及び照合完了通知の手法も、対象領域ごとに所定のものを予め入力部１０１で管理者によって入力しておくか、あるいは記憶部１０３に同様に登録しておけばよい。

【0087】

以上のように、作業の対象領域を作業者が作業手順通りに間違いなく指示手段で指示していることが確認されると、通知部１１０は照合完了通知を出力した。

【0088】

映像記録部１１２は、当該出力された照合完了通知を受け、撮影部１０２で撮影されている映像を記録する。すなわち、照合完了通知をトリガとして、撮影部１０２における録画を開始する。時刻計測部１１１は計時機能を有し、当該録画の際の時刻を、当該録画される映像に対応づけて記録する。この際、映像に対してタグ情報として、当該機器情報や、作業の対象領域の情報や、作業自体の情報（図３や図４の情報）を、付与するようにしてもよい。

【0089】

図６の（４）の欄Ｃ６５は、このような録画が開始された旨をその時刻と共に伝える情報を情報重畳部１０６で生成して、表示部１０７で表示させている例である。なお、一実施形態においては録画される映像は撮影部１０２で撮影されたそのままの映像であり、当該各種の情報が重畳された表示部１０７の表示とは異なる。別の一実施形態では、表示部１０７で表示される映像が記録されるようにしてもよいし、また、重畳されないそのままの映像と、重畳された映像とを再生する際に切り替え可能な形で映像を記録するようにしてもよい。

【0090】

作業者が作業進捗入力部１１５を介して当該作業が終了した旨を入力すると、映像記録部１１２は録画を終了し、フィールド作業支援装置１００は当該機器の次の作業手順に関するナビゲーションを開始する。図６の（４）では、図３における「手順１」が終了した後に、次の手順として「スロットＢ」を対象とした「手順２」において以上の説明と同様の処理が開始され、「スロットＢ」の対象領域重畳画像としてフレーム枠Ｆ１２が表示されている。以降同様にして「スロットＢ」が指差しなどによって認識されると、「スロットＢ」の「手順２」の録画が開始される。同様に継続して、当該機器の全ての作業手順を終えると、録画も終了する。

【0091】

こうして、図８の（１）に模式的に示すように、撮影部１０２で得られる一連の映像データの全体Ｄ１０のうち、映像記録部１１２によって各作業手順の個別の録画Ｄ１，Ｄ２，…を残すことができる。すなわち、時刻T₁に開始し時刻T₁₀に終了する手順1の映像D1と、すなわち、時刻T₂に開始し時刻T₂₀に終了する手順2の映像D2と、…といった個別作業手順の映像が関連情報のタグと共に得られる。

【0092】

なお、映像記録部１１２の録画の別の一実施形態として、上記図８の（１）のように作業手順ごとに個別の録画を作成する代わりに、図８の（２）に模式的に示すように、撮影部１０２における映像を連続する映像データＤ１０としてそのまま記録して、当該連続する映像において通知部１１０から照合完了通知を受けた際の時刻及び開始された作業手順の情報を対応づけるようにしてもよい。図９では、映像データＤ１０上に時刻T₁〜T₃と、当該各時刻において開始された手順1〜3の情報が対応づけられている。

【0093】

図８の（２）の例ではさらに、（１）の場合のように作業者が作業進捗入力部１１５を介して当該作業手順が終了した旨を入力した場合であれば、同様にその時刻と終了手順の情報とを対応づけて記録するようにしてもよい。これにより手順開始時刻の記録と共に、後日再生する際に容易に頭出しが可能となる。

【0094】

以上のような映像記録部１１２の録画の各実施形態により、作業が指示通りに間違いなく遂行したことを証明し、後日必要が生じた場合には容易に機器情報及び領域情報によって検索可能なエビデンスとして、重要度の高い作業イベントを映像から特定し、時刻と共に適切なタイミングで作業内容を映像記録できるようになる。

【0095】

図９は、通知部１１０によるカウンタ値の管理手順の一例の詳細のフローチャートである。当該管理されたカウンタ値によって図７のような表示制御が可能となる。各ステップは以下の通りである。

【0096】

(ステップS1) カウンタCを初期化して、すなわち、カウンタCの値を初期値のゼロに設定して、ステップS2へ進む。
(ステップS2) 時刻tを当該時点の時刻に更新して、ステップS3へ進む。なお、当該時刻更新によって、当該最新時刻にて撮影部１０２が撮影した撮影画像を対象として以降のステップが実施されることとなる。再度ステップS2に至った際は、その次の最新時刻へと時刻が更新され、同様に以降のステップが実施される。当該ステップS2の時刻更新は、撮影部１０２の撮影画像のフレーム出力の間隔と同じでよい。

【0097】

(ステップS3) 当該最新時刻tにおける撮影画像における所定の対象領域に対して、指差しなどがあるものとして照合部１０９が一致判定を下しているか否かを調べる。一致判定であればステップS4へ進み、一致判定でなければステップS7へ進む。
(ステップS4) 一致判定であったので、カウンタCの値を1だけ加算し、ステップS5へと進む。
(ステップS5) カウンタCの値が所定の閾値TH以上であるか否かを調べる。閾値TH以上であればステップS6へ進み、そうでなければステップS8へ進む。

【0098】

(ステップS6) カウンタCが閾値に達したので、情報重畳部１０６及び映像記録部１１２へと当該対象領域についての照合完了通知を出力して、あるいは音声を利用する実施形態であれば所定の音声を出力するなどして、ステップS1へ戻る。
(ステップS7) 指示手段が未検出状態となっている期間、すなわちステップS3で一致判定が連続して「否」となっている当該最新時刻までの期間が、一定期間に到達したかを調べる。一定期間に到達していればステップS1へ戻り、到達していなければステップS2へ戻る。
(ステップS8) カウンタCの値が0（ステップS1で設定した初期値）より大きいかを調べ、大きい場合はステップS9へ進み、そうでない場合(当該フローでは初期値のC=0となる場合)は、ステップS2へ戻る。
(ステップS9) カウンタCの値から1だけ減算して、ステップS2へ戻る。

【0099】

次に、基準測定部１０５における追加的な実施形態を説明する。以上の説明では、撮影画像上において基準点が全て見えている、あるいは、少なくとも座標データの変換関係を算出可能な個数だけ見えている必要があった。図５の例であれば、機器の四隅に峻別テープを設け、当該四隅が全て見えている必要があった。当該実施形態では、一部が見えなくなっても基準点が全て見えている場合と同様に変換関係を求め、情報重畳部１０６及び表示部１０７にて対応する処理が可能となる。

【0100】

図１０は当該実施形態において利用される、図１の基準測定部１０５と情報重畳部１０６との間に追加的に設けられる、補助測定部の機能ブロック図である。補助測定部１５０は、局所特徴量抽出部１５１、特徴点対応比較部１５２及びホモグラフィ行列推定部１５３を含む。

【0101】

当該実施形態では、基準測定部１０５は所定の４点以上の基準点を利用して、透視投影変換（ホモグラフィ行列）の関係を求めるものとし、画像範囲内から逸脱するなどして、撮影画像内において測定される基準点の数が４点未満となり、透視投影変換を算出不可能な際に、補助測定部１５０に算出不能の旨を伝える。当該算出不能の通知を受け、補助測定部１５０は本来算出すべきであった透視投影変換の代理となり、同等に利用可能な変換関係を求める。

【0102】

当該代理の変換関係を用いることで、情報重畳部１０６は以上の実施形態と全く同様に、全体領域重畳画像及び対象領域重畳画像を生成することが可能となる。当該重畳画像は、撮影画像の範囲を超えて生成される場合もあるが、表示部１０７での重畳の際には、当該撮影画像の範囲内のみで重畳させればよい。以下、その詳細を説明する。

【0103】

局所特徴量抽出部１５１は、基準測定部１０５が透視投影変換を算出可能であった過去時点における撮影画像と、当該算出が不可能である現時点における撮影画像と、の両者において、局所特徴（局所特徴量及び特徴点）を抽出する。すなわち、各撮影画像より、エッジや凹凸などの信号変化の大きい点をキーポイント（特徴点）として複数抽出し、各キーポイント付近の色、形、模様などから算出される局所特徴量を出力する。当該局所特徴量には、周知のSIFT特徴量、SURF特徴量、HOG特徴量などを利用することができる。

【0104】

なお、基準測定部１０５が透視投影変換を算出可能であった過去時点における撮影画像からの局所特徴の抽出に際しては、当該機器の全体領域の内部のみに抽出範囲を限定して抽出するようにしてもよい。また、当該過去時点には、透視投影変換が算出可能であって、且つ現時点に最も近い時点などの、所定の過去時点を採用することができる。

【0105】

特徴点対応比較部１５２は、局所特徴量抽出部１５１が抽出した過去時点の撮影画像の局所特徴と、現在時点の撮影画像の局所特徴と、のマッチングを取り、当該両撮影画像間において同一であると考えられる局所特徴量を有する特徴点同士を対応づける。この際、局所特徴量同士の距離を差分二乗和などの所定方式で定義して、距離が所定値より小さい局所特徴量同士を互いに類似するものとして対応づければよい。

【0106】

ホモグラフィ行列推定部１５３は、特徴点対応比較部１５２にて対応付けられた特徴点同士の透視投影変換を表すホモグラフィ行列を求める。当該ホモグラフィ行列の算出の詳細は後述する。なおここで、対応付けられた特徴点は４点以上あることが前提である。

【0107】

ホモグラフィ行列推定部１５３はさらに、当該求めたホモグラフィ行列と、基準測定部１０５が透視投影変換を算出可能であった過去時点における撮影画像において算出した当該透視投影変換のホモグラフィ行列と、を合成することによって、補助測定部１５０による最終的な出力としての、前記代替の変換関係を求めて、情報重畳部１０６へと出力する。

【0108】

図１１及び図１２は当該実施形態を説明するための図である。ここでは、基準点は図５の（２）と同様の峻別テープＲ１０〜Ｒ４０によって四隅として与えられるものとする。図１１の（１）に示す前時刻撮影画像Ｆ１００では、峻別テープＲ１０〜Ｒ４０が４つ全て見えており、基準測定部１０５は変換関係を算出可能であり、情報重畳部１０６は全体領域重畳画像及び対象領域重畳画像を生成可能である。

【0109】

ところが（２）に示す現時刻撮影画像Ｆ２００では、峻別テープは４つのうち２つＲ１０及びＲ２０しか見えておらず、残り２つＲ３０及びＲ４０が撮影画像の範囲の外に消えてしまっている。従って、基準測定部１０５は変換関係を算出できない。ここで、補助測定部１５０が代替となる変換関係を算出することによって、撮影画像の範囲の外にあるＲ３０及びＲ４０で指定される基準点を求めたのと同様の情報が得られる。これにより、当該現時刻撮影画像Ｆ２００内においても情報重畳部１０６が全体領域重畳画像及び対象領域重畳画像を生成可能となる。

【0110】

図１１の（１）における点Ｐ１０１〜Ｐ１０５と、（２）における点Ｐ２０１〜Ｐ２０５とはそれぞれ、局所特徴量抽出部１５１が前時刻撮影画像Ｆ１００と現時刻撮影画像Ｆ２００とから抽出した局所特徴の特徴点の例であり、且つ互いに点線で結ばれているように、特徴点対応比較部１５２にて対応付けられた例である。

【0111】

ホモグラフィ行列推定部１５３は、図１１の（３）に示すように、当該（１）の点Ｐ１０１〜Ｐ１０５と、（２）の点Ｐ２０１〜Ｐ２０５と、の間の透視投影変換の関係としてホモグラフィ行列を算出する。なお当該算出は、両画像Ｆ１００及びＦ２００間におけるカメラワークの推定に対応する。

【0112】

当該算出によって、図１２の（２）に示すように、（２−１）の現時刻で見える範囲Ｆ２００を拡張して、（２−２）に示すように見えない範囲Ｆ２０１内に存在する見えない峻別テープＲ３０及びＲ４０が、当該現時刻の座標系において見えているものと同等の処理が可能となる。従って、Ｆ２００の範囲内において、全体領域重畳画像及び対象領域重畳画像が生成可能となる。

【0113】

具体的には、図１２の（１）に示す前時刻撮影画像Ｆ１００にて既に基準測定部１０５が求めた図面データを撮影画像上に変換する変換関係（透視投影変換）と、ホモグラフィ行列推定部１５３が求める両画像Ｆ１００及びＦ２００の間で対応する特徴点同士の透視投影変換と、を当該ホモグラフィ行列推定部１５３が合成することによって、図面データを当該現時刻撮影画像Ｆ２００上に変換する透視投影変換が定まる。

【0114】

以下、ホモグラフィ行列推定部１５３によるホモグラフィ行列の算出の詳細を説明する。図１１等の前時刻の画像Ｆ１００における座標系をU_bとし、現時刻の画像Ｆ２００における座標系をU_aとすると、以下の(式1)又はその成分表示として(式2)のように、前時刻座標系U_bを現時刻座標系U_aへと変換する行列H_abが算出すべきホモグラフィ行列である。sはスケールファクターである。

【0115】

【数1】

【0116】

４点以上の対応点があれば、両画像間のホモグラフィ行列を算出することができる。当該対応点は前述のように、特徴点対応比較部１５２で対応づけられたものを採用すればよい。図１１の例であれば、互いに対応付けられた前時刻座標系U_bにおける点Ｐ１０１〜Ｐ１０５と、現時刻座標系U_aにおける点Ｐ２０１〜Ｐ２０５とを利用することができる。

【0117】

(式2)を展開して、以下の(式3)が得られる。当該(式3)は3つの式からなるが、sに関する従属性があるので、独立な方程式は以下の(式4)の2つとなる。

【0118】

【数2】

【0119】

上記(式4)をさらに行列の形に戻して表現すると、以下の(式5)となる。

【0120】

【数3】

【0121】

上記(式5)の連立方程式を解くことができれば、ホモグラフィ行列の8つのパラメータh11、h12、h13、h21、h22、h23、h31、h32が求まる。しかしながら、1つの対応点から得られる方程式は2つ、したがって、8つの未知のパラメータを求めるためには8÷2=4組の特徴点ペアの座標群(xa1、ya1)と(xb1、yb1)、(xa2、ya2)と(xb2、yb2)、(xa3、ya3)と(xb3、yb3)、(xa4、ya4)と(xb4、yb4)が必要であり、この場合以下の(式6)が得られる。

【0122】

【数4】

【0123】

なお、対応点が4組より多い場合は、当該4組より多い座標群に対する上記(式6)と同様の関係(対応点がn組あるとすると、当該n組を用いて左辺の行列を2n×8行列として同様に設ければよい)のうち誤差を最小にするものを周知の特異値分解などの手法によって求めればよい。

【0124】

なおまた、以上の計算は、U_bを図面データの座標系とし、U_aを撮影画像における座標系とすると、当該両座標系の間で所定の基準点を対応付ける透視投影変換を基準測定部１０５が求める場合にも全く同様に適用できる。

【符号の説明】

【0125】

１００…フィールド作業支援装置、１０１…入力部、１０２…撮影部、１０３…記憶部、１０４…検索部、１０５…基準測定部、１０６…情報重畳部、１０７…表示部、１０８…認識部、１０９…照合部、１１０…通知部、１１１…時刻計測部、１１２…映像記録部、１５０…補助測定部、１５１…局所特徴量抽出部、１５２…特徴点対応比較部、１５３…ホモグラフィ行列推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】