特許 6362947 映像分割装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6362947

(24)【登録日】2018年7月6日

(45)【発行日】2018年7月25日

(54)【発明の名称】映像分割装置、方法及びプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20180712BHJP

   G06Q 10/06 20120101ALI20180712BHJP

【ＦＩ】

   G06T7/20 300A

   G06Q10/06 302

【請求項の数】12

【全頁数】14

(21)【出願番号】特願2014-149877(P2014-149877)

(22)【出願日】2014年7月23日

(65)【公開番号】特開2016-24720(P2016-24720A)

(43)【公開日】2016年2月8日

【審査請求日】2017年1月30日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】山田 健太郎

(72)【発明者】

【氏名】上野 智史

(72)【発明者】

【氏名】内藤 整

【審査官】 井上 宏一

(56)【参考文献】

【文献】 特開２００３−３１６５１０（ＪＰ，Ａ）

【文献】 特開２００８−００３７８１（ＪＰ，Ａ）

【文献】 特開２００８−１０８００８（ＪＰ，Ａ）

【文献】 特開２０１４−１２３１９３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｇ０６Ｑ １０／０６

(57)【特許請求の範囲】

【請求項1】

対象設備に対して行われる作業が撮影された映像を作業に応じた区間に分ける映像分割装置であって、
前記映像の各フレームより、当該フレーム内に映った手の一部又は全部として手領域を検出する手検出部と、
前記映像の各フレームより、当該フレーム内に映った前記対象設備の領域として設備領域を検出する設備検出部と、
前記検出された手領域と設備領域とに基づいて、前記対象設備に対しての作業が行われている尤度として、操作度を推定する操作推定部と、
前記推定された操作度の前記映像の全体に渡る時系列に基づいて、前記映像の各フレームにインデックスを付与することで、前記映像を当該付与されたインデックスに応じた区間へと分割するインデックス付与部と、を備えることを特徴とする映像分割装置。

【請求項2】

前記操作推定部は、前記検出された手領域と、前記検出された設備領域と、の重なりに基づいて、当該重なりが大きいほど高い値として、前記操作度を推定することを特徴とする請求項１に記載の映像分割装置。

【請求項3】

前記操作推定部は、前記重なりの大きさが閾値条件を満たして大きいと判定される場合には、前記操作度を第一の値として推定し、前記判定されない場合には、前記操作度を前記第一の値よりも低い第二の値として推定することを特徴とする請求項２に記載の映像分割装置。

【請求項4】

前記操作推定部は、前記手領域が検出されており、且つ、前記設備領域が検出されていない場合には、前記操作度を推定するに際して、前記重なりが大きいほど高い値として推定するのに代えて、当該重なりが大きいほど高い値として推定する際の所定の中間値に該当する値を、前記操作度として推定することを特徴とする請求項２または３に記載の映像分割装置。

【請求項5】

前記操作推定部は、前記検出された手領域のフレーム間での動きと、前記検出された設備領域のフレーム間での動きと、を推定し、当該推定された手領域の動き及び設備領域の動きの比較に基づいて、前記操作度を推定することを特徴とする請求項１に記載の映像分割装置。

【請求項6】

前記設備検出部は、前記映像の各フレームより局所特徴量を検出し、当該検出した局所特徴量を、前記対象設備を所定配置で撮影した登録画像より予め検出された局所特徴量と比較して対応付けを行うことにより、前記設備領域を検出することを特徴とする請求項１ないし５のいずれかに記載の映像分割装置。

【請求項7】

前記設備検出部は、
前記映像の各フレームより、回転及びスケール変化に対して頑強な点をキーポイントとして検出するキーポイント検出部と、
前記検出されたキーポイントの周辺の局所領域に含まれる画像信号を、回転及びスケール変化に対して頑強な特徴量記述子へと変換すると共に、当該特徴量記述子とそのキーポイントの座標とをセットで局所特徴量となす局所特徴量記述部と、
当該フレームより検出された局所特徴量と、前記登録画像より予め検出された局所特徴量と、を比較して、一致すると判定されるもの同士をペアとなす局所特徴量対応比較部と、
前記ペアとされた局所特徴量における座標同士の対応関係として、前記登録画像の座標系を当該フレームの座標系へと変換する射影行列を算出する射影行列推定部と、
前記算出された射影行列に基づいて、当該フレームにおける設備領域を検出する設備領域検出部と、を備えることを特徴とする請求項６に記載の映像分割装置。

【請求項8】

前記キーポイント検出部は、前記映像の各フレームより、前記手検出部にて検出された手領域を除外した領域を対象として、回転及びスケール変化に対して頑強な点をキーポイントとして検出することを特徴とする請求項７に記載の映像分割装置。

【請求項9】

前記インデックス付与部は、前記推定された操作度の前記映像の全体に渡る時系列において、操作度の値が継続して高いと判定できる区間及びその近傍ごとに共通のインデックスを付与することで、前記映像における所定の作業総数に等しい数の区間へと、前記映像を分割することを特徴とする請求項１ないし８のいずれかに記載の映像分割装置。

【請求項10】

前記インデックス付与部は、
前記推定された操作度の前記映像の全体に渡る時系列を平滑化して平滑化操作度曲線を生成し、
前記平滑化操作度曲線と時間軸に平行な直線とによる閉領域の数を算出し、
前記閉領域の数が前記所定の作業総数に等しい数になるように前記直線を平行移動し、
前記直線を平行移動することで前記所定の作業総数に等しい数となった際の閉領域及びその近傍範囲ごとに、各フレームに共通のインデックスを付与することで前記映像を当該各インデックスに応じた区間へと分割することを特徴とする請求項９に記載の映像分割装置。

【請求項11】

対象設備に対して行われる作業が撮影された映像を作業に応じた区間に分ける映像分割方法であって、
前記映像の各フレームより、当該フレーム内に映った手の一部又は全部として手領域を検出する手検出段階と、
前記映像の各フレームより、当該フレーム内に映った前記対象設備の領域として設備領域を検出する設備検出段階と、
前記検出された手領域と設備領域とに基づいて、前記対象設備に対しての作業が行われている尤度として、操作度を推定する操作推定段階と、
前記推定された操作度の前記映像の全体に渡る時系列に基づいて、前記映像の各フレームにインデックスを付与することで、前記映像を当該付与されたインデックスに応じた区間へと分割するインデックス付与段階と、を備えることを特徴とする映像分割方法。

【請求項12】

コンピュータを請求項１ないし１０のいずれかに記載の映像分割装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業中の状況が撮影された記録映像を分割する映像分割装置、方法及びプログラムに関し、特に、作業手順書に基づいて実施および撮影された作業の記録映像に、各手順に対応する検索用インデックスを付与し、所望シーンの検索を容易にするのに好適な、映像分割装置、方法及びプログラムに関する。

【背景技術】

【0002】

通信局舎に収納されている交換機・光配電盤・サーバ等の通信機器に対して、配線・ユニット交換・設定に代表される工事が実施される。通常、作業員は通信機器がマウントされたラックの前に立ち、事前にまとめられた作業手順書の指示に従って作業を遂行する。

【0003】

近年、正確な作業が行われたことの証明や有事の際の証拠として使用する目的で、作業の途中過程も重視されるようになり、作業中の映像を記録に残すことの重要性が指摘され始めている。ここでは、作業者の対象設備に対する施工状況が漏れなく撮影されるよう、作業者の頭部に固定されたカメラから作業者の視点に近い映像を記録することを想定する。このような一人称視点から撮影された記録映像は、人材教育の一環でベテランの作業映像が手本として利用されることもある。

【0004】

一方で、実際に作業開始から終了までの長尺の映像内から所望の場面を検索するには時間を要する。したがって、映像内の各場面で内容に合った見出しを付けて管理し、検索を効率化できるようにすることが望まれる。

【0005】

このような、映像内の各場面で検索用の見出しを付けて管理する取り組みに関しては、以下のような従来技術がある。

【0006】

特許文献1に記載の装置では、作業中の映像や作業データ（センサにより得られる音声・レンチのトルク等）を、作業が実施された場所・時刻と共に記録し、客観的な正確さが担保された作業記録情報として管理する。

【0007】

非特許文献1に記載のシステムでは、AR（拡張現実）と指認識により、各手順実施前の指差確認の時刻を記録することで、適切なタイミングの時刻と共に映像を記録する。すなわち、各手順実施前に通信機器にかざしたタブレット上に次の作業箇所が色付けして合成表示され、次の作業箇所の指示を見た作業者は実物の該当箇所を指で差し示すことによって、正しい位置を指が差し示しているかを認識し、時刻と共に記録する。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開2008-84068号公報「現場作業実施状況管理装置及び管理方法」

【非特許文献】

【0009】

【非特許文献1】松尾、内藤、"安全なハードウェア設置工事のためのARと指認識によるフィールド作業支援システム"、映情学技報, vol. 37, no. 38, ME2013-112, pp. 63-68, 2013

【非特許文献2】D. Lowe, "Distinctive Image Features from scale-invariant key points," International journal of Computer Vision, Vol. 60, No. 2, pp. 91-110, 2004.

【非特許文献3】E. Rosten and T. Drummond, "Machine learning for high-speed corner detection," European Conference on Computer Vision, pp. 430-443, 2006.

【非特許文献4】E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, "ORB: an efficient alternative to SIFT or SURF," International Conference on Computer Vision, pp. 2564-2571, 2011.

【非特許文献5】M. Ozuysal, P. Fua, and V. Lepetit, "Fast Keypoint Recognition in Ten Lines of Code," Conference on Computer Vision and Pattern Recognition, 2007.

【非特許文献6】D. Wagner, G. Reitmayr, A. Mulloni, T. Drummond, and D. Schmalstieg, ''Real-Time Detection and Tracking for Augmented Reality on Mobile Phones,'' IEEE Trans. on VCG, Vol. 16, No. 3, pp. 355-368, 2012.

【非特許文献7】Martin A. Fischler and Robert C. Bolles, "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography,"Commun. ACM, vol. 24, pp. 381-395, June 1981.

【非特許文献8】B. Stenger, P. R. S. Mendonca, and R. Cipolla, "Model-based 3d tracking of an articulated hand," CVPR (IEEE Conference on Computer Vision and Pattern Recognition), vol. 02, p. 310, 2001.

【発明の概要】

【発明が解決しようとする課題】

【0010】

特許文献1に記載の装置は、センサを必要としている。このため、これらにおける手法を利用できる装置が限定されるという課題がある。また、センサ類の搭載は、装置のコスト上昇を招くだけでなく、小型化や省電力化を妨げるという課題もある。また、作業中の映像や作業データを場所・時刻と共に記録はするものの、手順書内で細分化された各作業の開始点や終了点といった、重要イベントを映像から特定する手段については特段詳細が開示されていない。映像信号だけからインデックスを付与できる方法が望まれる。

【0011】

非特許文献1に記載の装置では、作業者が各手順実施前に自発的に指差し操作を行う必要、すなわち、インデックス付与のために本来の作業には直接関係ない行為を追加で行う必要があった。このため、作業の正確性は高まるものの、その代償として、作業効率を低下させかねないという問題があった。単純に各手順実施前にインデックスを手動で付与しながら作業を進める方法も考えられるが、これと同様の課題を抱えている。作業者が作業中にインデックス付与のための能動的な行為を必要としない方法が望まれる。

【0012】

本発明は、上記のような従来技術の課題に鑑み、自動でインデックスを付与することにより、映像を作業に応じた区間へと自動で分割することが可能な映像分割装置、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

上記目的を達成するため、本発明は、対象設備に対して行われる作業が撮影された映像を作業に応じた区間に分ける映像分割装置であって、前記映像の各フレームより、当該フレーム内に映った手の一部又は全部として手領域を検出する手検出部と、 前記映像の各フレームより、当該フレーム内に映った前記対象設備の領域として設備領域を検出する設備検出部と、前記検出された手領域と設備領域とに基づいて、前記対象設備に対しての作業が行われている尤度として、操作度を推定する操作推定部と、前記推定された操作度の前記映像の全体に渡る時系列に基づいて、前記映像の各フレームにインデックスを付与することで、前記映像を当該付与されたインデックスに応じた区間へと分割するインデックス付与部と、を備えることを特徴としている。

【0015】

また、本発明は、前記操作推定部は、前記検出された手領域と、前記検出された設備領域と、の重なりに基づいて、当該重なりが大きいほど高い値として、前記操作度を推定することを特徴としている。

【0016】

また、本発明は、対象設備に対して行われる作業が撮影された映像を作業に応じた区間に分ける映像分割方法であって、前記映像の各フレームより、当該フレーム内に映った手の一部又は全部として手領域を検出する手検出段階と、前記検出された手領域に基づいて、前記対象設備に対しての作業が行われている尤度として、操作度を推定する操作推定段階と、前記推定された操作度の前記映像の全体に渡る時系列に基づいて、前記映像の各フレームにインデックスを付与することで、前記映像を当該付与されたインデックスに応じた区間へと分割するインデックス付与段階と、を備えることを特徴としている。

【0017】

さらに、本発明は、コンピュータを前記映像分割装置として機能させるプログラムであることを特徴としている。

【発明の効果】

【0018】

本発明によれば、対象設備に対して行われる作業が撮影された映像の各フレームから手領域を検出し、作業が行われている尤度として操作度を推定し、当該操作度の時系列に基づいて映像を分割するので、映像を自動で対象設備に対して行われる作業に応じた区間へと分割することが可能となる。

【図面の簡単な説明】

【0019】

【図1】一実施形態に係る映像分割装置の機能ブロック図である。

【図2】最初に登録する登録画像と、当該登録画像のその後の利用と、を説明するための図である。

【図3】設備検出部による処理を説明するための図である。

【図4】第一実施形態により推定される操作度の概念的な例を示す図である。

【図5】インデックス付与部による一実施形態に係る処理を説明するための例を示す図である。

【発明を実施するための形態】

【0020】

図1は、一実施形態に係る映像分割装置の機能ブロック図である。映像分割装置10は、フレームキャプチャ部1、記憶部2、設備検出部3、手検出部4、操作推定部5、及びインデックス付与部6を備える。

【0021】

本発明にて、映像分割装置10が作業映像に対して自動でインデックス付与して映像分割を可能とするアイディアの概要は以下の通りである。

【0022】

すなわち、本発明で対象とする設備に対する作業映像では、各作業手順において、配線やユニット交換・設定といった操作が設備に対して行われることが想定される。ここで、一つの作業中は設備に対する操作が行われ続けると考えられるため、設備に対して連続して操作が行われている間を一つの作業として映像を分割することを考えた。具体的には、設備領域と手領域とを検出して、それらの重なりから設備に対する操作を行っている尤度（操作度）を推定し、時系列的な操作度の変化に基づいて映像の分割を行う。

【0023】

ここで、設備に対して作業者が作業を行っている場合は、設備の作業箇所に作業者の手があることとなり、映像における設備領域と手領域とに重なりが発生するということが想定されている。同様に、設備に対して作業を行っていない場合は、設備の作業箇所には手は存在せず、設備領域と手領域との重なりは発生しないということが想定されている。そして特に、ある１つの作業が継続して行われている間は当該重なりが継続して発生し、作業を行っていない間は逆に、当該重なりが継続して発生しない、ということが想定されている。

【0024】

上記のようなアイディアを具体的に実現する、図１の各部の処理は以下の通りである。

【0025】

フレームキャプチャ部1は、本発明にてインデックス付与の対象となる作業状況の記録映像を受け取り、一定間隔でそのフレーム画像をサンプリングする。なお、レートを落とさず、記録映像のフレームレートのままでサンプリングしてもよい。当該サンプリングされたフレーム画像は入力画像として手検出部4、記憶部2及び設備検出部3に渡される。

【0026】

記憶部2は、映像分割装置10の各部が機能するために必要となる各種のデータを各部より受信して記憶し、当該データが必要な際には参照に供する。なお、図１では記憶部2から参照に供するデータの流れの矢印は、主要なもののみを記載している。前記サンプリングで得られた入力画像や後述する座標群その他任意のデータも、記憶部2に記憶された後は適宜、任意の機能部より参照可能となる。しかし、こうした参照の流れの矢印は、煩雑となるため図１では描くのを省略している。

【0027】

なお、記憶部2では、一度記憶したデータで以降参照の必要のないものについては消去し、必要なデータを必要な期間だけ記憶するようにしてよい。

【0028】

ここで、後述する設備検出部3をその各部31〜35によって実現する実施形態において利用する場合は、映像分割装置10の動作開始にあたって、まず設備検出の基準となるフレーム画像を登録する必要がある。当該登録により、各部31〜35で実現される設備検出部3が動作可能な状態となる。

【0029】

図2の（1）に登録画像の一例を、画像F1として示す。当該示されるように、登録画像は、作業対象となる設備を所定配置で撮影する（例えば真正面から撮影する）ことで、その大部分が写り込んだフレーム画像であることが望ましい。記録映像の冒頭付近にある任意のフレーム画像を一枚登録しても良い。もしくは、例えば、作業対象設備全体が写るように撮影した後に作業を開始する、といったように、予め作業対象設備に対する作業映像の撮影の仕方がマニュアル化されており、当該撮影される中で登録画像が得られるのであれば、それに沿ったフレーム画像を登録しても良い。

【0030】

登録画像は記憶部2に格納され、この登録画像を基準とした設備領域の検出が以降行われることになる。ここで、登録画像全体を当該検出の基準となる設備領域としても良いが、作業対象となる設備が登録画像内に写り込んでいる場合は、ユーザからのマニュアル指定入力として受け付けることにより、画像の一部分の領域を設備領域としてもよい。例えば、設備を矩形で囲み、矩形領域を設備領域として設定することもできる。図2の例では、対象設備の四隅を括弧で囲い、矩形としての設備領域を設定する場合を示した。

【0031】

検出の基準となる設備領域の形状は矩形に限定されず、任意の形状を設定可能ではあるが、設備領域を矩形で設定することにより設備領域検出の計算等が簡易化され、後段の処理負荷を低減することができるメリットがある。

【0032】

設備検出部3は、一実施形態では、前記フレームキャプチャ部1から出力されたフレーム画像内から、前記予め登録されている登録画像における設備領域に該当する範囲を、フレーム画像における設備領域として検出する。

【0033】

設備検出部3は、一実施形態では図１に示すように、キーポイント検出部31と、局所特徴量記述部32と、局所特徴量対応比較部33と、射影行列推定部34と、設備領域検出部35とを含んで構成される。各部31〜35の詳細は後述する。

【0034】

なお、設備検出部3は、別の一実施形態では、当該各部31〜35を含んで構成されるのではなく、登録画像全体をテンプレートとするテンプレートマッチングを行うより単純な機能部として構成されてもよい。また、さらに別の一実施形態では、設備領域の全体あるいはその境界部分を、特定の色特徴を有するものとして構成しておき、後述する手検出部4と類似の手法で色特徴により設備領域を検出するようにしてもよい。色特徴で検出後さらに、矩形等の所定の形状フィッティング等で形状を整えてから設備領域を検出するようにしてもよい。

【0035】

しかし、設備検出部3を各部31〜35を含んで構成する実施形態では、直接画像同士を比較するのではなく、局所特徴量に変換するため、回転やスケール変化、オクルージョンの影響を抑制した設備検出が可能となる。これは、記録映像内に撮影される対象設備の見た目が大きくなっても、傾いていても、また、設備の一部がフレーム範囲外であっても、手等に隠されていても、認識できることを意味する。従って、作業者はこれらの変動を意識せずに作業中の映像を記録すれば良く、作業に集中できるようになるという効果がある。

【0036】

キーポイント検出部31は、前記フレームキャプチャ部1から出力されたフレーム画像内から画像に回転やスケール変化が加わっても特徴的に表れるエッジや凹凸などの信号変化の大きい点をキーポイントとして複数個検出する。キーポイント検出部31ではまた、登録画像の設備領域から予めキーポイント座標群を抽出して、記憶部2に格納しておく。

【0037】

キーポイント検出部31における当該処理には、画像処理の分野で提案されている既存のキーポイント検出手法が適用可能である。例えば、前掲の非特許文献2及び非特許文献3にそれぞれ記載のSIFTやFASTが適用可能である。概念的な例として、図3に例示した画面F1,F2内のそれぞれにおける×印がキーポイントに相当する。

【0038】

局所特徴量記述部32は、前記キーポイント検出部31にて前記フレームキャプチャ部1から出力されたフレーム画像と登録画像における設備領域との両者について検出されたキーポイント周辺の局所領域に含まれる画像信号を、それぞれ、回転やスケール変化の影響を受けにくい特徴量記述子に変換する。ここで、登録画像の設備領域から抽出された特徴量記述子群は、リファレンス量として用いるべく、記憶部2に格納する。以降の処理ではキーポイント座標に対応する特徴量記述子をセットで局所特徴量として扱う。

【0039】

局所特徴量記述部32にて当該利用する特徴量記述子には、画像処理の分野で提案されている既存の特徴量記述子が利用可能である。例えば、前掲の非特許文献2、非特許文献4、非特許文献5にそれぞれ記載のSIFT、ORB、Fernsが利用可能である。

【0040】

ただし、ORBおよびFerns自体は直接的にはスケール非依存の特徴量記述子を生成しないため、前記キーポイント検出部31と組み合わせることでスケール不変性を実現する。すなわち、例えば、前記キーポイント検出部31がSIFTにて実現されている場合、各キーポイントが検出された際に得られるスケール値に応じてフレーム画像を縮小し、拡大縮小画像上でキーポイント周辺の局所領域に含まれる画像信号を特徴量記述子に変換する。また、例えば、前記キーポイント検出部31がFASTにて実現されている場合、フレーム画像を多段階に縮小してキーポイントを検出するが、各キーポイントが検出された解像度の画像上で、キーポイント周辺の規定範囲に含まれる画像信号を特徴量記述子に変換する。

【0041】

局所特徴量対応比較部33は、前記キーポイント検出部31および前記局所特徴量記述部32を通して出力された局所特徴量（キーポイントと特徴量記述子のセット）群と前記記憶部2にリファレンス量として蓄積された登録画像の設備領域に関する局所特徴量群とを比較し、当該両撮影画像間において同一であると考えられる局所特徴量を局所特徴量ペア群として対応付ける。

【0042】

この際、局所特徴量同士の距離を差分二乗和などの所定方式で定義して、距離が所定値より小さい局所特徴量同士を互いに一致するものとして対応付ければ良い。また、前掲の非特許文献7に記載の方法で、アウトライヤ除去し、高精度化することもできる。アウトライヤ除去方法については後述する。

【0043】

例えば、図２で、（1）に示す現フレーム画像F2は対象設備の右側を撮影することで、左側が画像F2の範囲の外となっている場合であり、登録画像F1との間で（2）に示す関係を持つ。同場面で局所特徴量対応比較部33が局所特徴量比較を行った結果として、一致すると判定された局所特徴量ペアをT1〜T5の線で結んだものが、図３に示されている。この場合、5組見つかったことになる。

【0044】

射影行列推定部34は、前記局所特徴量対応比較部33にて対応付けられた局所特徴量ペア群から、それら対となる座標ペア群を複数組用いて登録画像における設備領域の点を現時刻のフレーム画像上の座標系へ変換するための射影行列を求める。

【0045】

ここで、射影行列は2枚の画像間で対応する点の座標を関係付ける。ラックにマウントされたサーバ等、作業対象となる設備の前面には起伏が少なく、ほぼ平面と見なせる場合も多い。この場合、前記局所特徴量対応比較部33にて対応付けられた局所特徴量ペア群は対象設備の前面の同一平面上に存在することとなる。2枚の画像間の対応する点が同一平面上にある場合、射影行列はホモグラフィ行列となる。当該ホモグラフィ行列の算出は画像処理の分野では公知性が高いため省略するが、既存の一般的な手法を適用できる。なおここで、対応付けられた局所特徴量は原理上最低4組以上あることが前提となる。一方、対象設備の前面に起伏があり、平面と見なせない場合も、2枚の画像間で対応付けられた局所特徴量が8組以上あれば、実空間上の点を各画像上の座標系に変換するための透視投影行列が登録画像（における設備領域）および現時刻のフレーム画像のそれぞれに対して求まるため、これらの透視投影行列を組み合わせることによって、登録画像の点を現時刻のフレーム画像上の座標系へ変換するための射影行列が算出可能である。求まった射影行列は記憶部2に格納する。

【0046】

なお、前述のアウトライヤ除去は、以下の様に行うことが出来る。まず、前記局所特徴量の対応から仮のホモグラフィ行列、または、透視投影行列を推定する。次に、前記のホモグラフィ行列、または、透視投影行列を用いて全ての前記局所特徴量の対応の再投影誤差を算出する。再投影誤差が許容範囲外のものをアウトライヤとして除去し、許容範囲内のもののみを用いて、再度ホモグラフィ行列、または、透視投影行列を推定することで、高精度化が可能となる。

【0047】

設備領域検出部35は、前記射影行列推定部34にて算出された射影行列を使って現時刻のフレーム画像の座標系における設備領域を検出する。具体的には、前述の登録画像における設備領域を射影行列により現時刻のフレーム画像の座標系に射影変換することで、設備領域が得られる。例えば、登録画像の設備領域が矩形で設定されている場合には、当該矩形の四隅の座標を射影変換した結果得られる4つの座標に囲まれた領域を、現時刻のフレーム画像における設備領域として検出することが出来る。

【0048】

なお、以上の各部31〜35により、設備検出部3が局所特徴量の検出及び比較に基づいて設備領域を検出するに際して、設備領域と後述する手検出部4で検出される手領域とに重なりがある場合、当該手領域が局所特徴量の検出及び比較におけるノイズとなってしまう。従って、手検出部4で検出された手領域を除外して、局所特徴量の検出を行うようにしてもよい。

【0049】

この場合、キーポイント検出部31において、各時刻のフレーム画像につき、手検出部4にて検出された手領域を除外した領域を対象として、前記キーポイントの検出を行うようにすればよい。これにより、以降の各部32〜34も自動で、ノイズとなってしまう手領域の影響を受けない処理が可能となる。ただし、設備領域検出部35においては、特定の四隅で囲まれる領域等の所定形状の領域として設備領域を検出するので、手領域が重なっている場合であっても、当該重なり領域を含む形で設備領域を検出することとなる。（すなわち、設備領域の検出においては、重なっている手領域を含む形で検出がなされる。手領域の部分だけが、いわば「虫食い」のような状態で除外されて設備領域が検出されるということはない。）

【0050】

次に、手検出部4は、現時刻のフレーム画像から手領域を検出する。手領域は、手の全体又は一部分として検出すればよい。例えば、指のみの領域が手領域として検出されてもよい。

【0051】

手検出部4ではまず、現時刻のフレーム画像をHSV色空間に変換し、あらかじめ指定した手の色の範囲に含まれる画素を抽出する。なお、作業において手袋等を使用する場合は、当該手袋等の所定の色の範囲から抽出する。抽出された画素の集合が手領域として検出される。この際さらに、モルフォロジー演算等により、小さな領域をノイズとして除去した後に残った領域を手領域として検出することもできる。

【0052】

また、手検出部4の別の実施形態として、カメラと対応付けられた手検出センサを用いて手を検出し、センサ上で実空間における奥行値等として検出された領域をフレーム画像上の領域に変換することで、フレーム画像から手領域を検出してもよい。手の検出が可能なセンサとしては、例えば「Microsoft Kinect」（登録商標）や「Leap Motion」のような製品が存在する。

【0053】

手検出部4の更に別の実施形態として、手の形状モデルに基づいて手領域を検出してもよい。手の形状モデルに基づいた手の検出は、例えば前掲の非特許文献8のようにして実現することが出来る。

【0054】

操作推定部5は、設備検出部3で検出された設備領域と、手検出部4で検出された手領域と、を用いることで、実際に設備に対する操作を行っている尤度として操作度を推定する。当該推定には以下のような種々の実施形態が可能である。

【0055】

第一実施形態では、現時刻のフレーム画像において、設備領域と手領域の重なりの画素数が多いほど、当該尤度としての操作度を高く、当該画素数が少ないほど、逆に操作度を低くするような、画素数と操作度の予め設定された関数関係によって推定することができる。すなわち、重なりの画素数の増加関数として、操作度を推定することができる。

【0056】

図４は、当該重なり画素数の増加関数として推定される操作度を概念的な例を示す図である。(1)は、現時刻のフレーム画像Fにおいて設備領域Eと手領域Hの重なり画素数が多いので、高い値の操作度が推定される。(2)は、設備領域Eと手領域Hの重なり画素数が中程度であるので、中程度の値の操作度が推定される。(3)及び(4)ではそれぞれ、手領域Hは存在するが設備領域と重なっていない、また、そもそも手領域Hが存在しない、という状態であるので、最低値の操作度が推定される。

【0057】

第二実施形態では、第一実施形態と同様の考え方のもとで、閾値判断によって２値的に操作度を推定するようにしてもよい。例えば、当該重なりの画素数が所定の閾値以上であった場合には、現時刻において操作中である尤度が高いと判定し、操作度を1.0とし、それ以外の場合には尤度は低いものとして、操作度を0とすることが出来る。

【0058】

なお、手が設備に大きく重なる場合には操作中であるにもかかわらず、設備検出部3において局所特徴量の対応が十分に取得できず、設備領域が検出されない場合がある。そこで、設備領域が検出されていないが、手領域が検出されている場合には、操作が行われている可能性があり、尤度は高低の中間に該当するとして、上記２値的な推定にさらに中間状態の推定を加えることで、操作度を例えば0.5とすることもできる。

【0059】

なお、上記第一実施形態においても同様に、設備領域が検出されていないが、手領域が検出されている場合には、前記増加関数をそのまま用いて操作度を推定すると最低値となってしまうので、当該最低値に代えて、当該増加関数における所定の中間値を操作度として推定するようにしてもよい。

【0060】

第三実施形態では、設備検出部3で検出された設備領域と、手検出部4で検出された手領域との、それぞれの動き量に基づいて操作度を推定しても良い。各領域の動き量は、各領域内の重心等の所定点の動き量として算出してもよいし、周知の動きベクトル推定技術を用いて推定してもよい。

【0061】

また、動き量に基づいた操作度の推定においては、手領域が設備領域よりも動きが大きい場合に操作度が高くなるように操作度を推定することができる。具体的には、「操作度＝手領域の動き量の平均値-設備領域の動き量の平均値」とすることで操作度を推定することができる。

【0062】

なお、以上の第一〜第三実施形態は、設備検出部3が検出する設備領域の情報を利用することを前提としての操作推定部5の処理の各実施形態であった。第四実施形態では、設備検出部3の検出する設備領域の情報の利用を省略して、手検出部4で検出された手領域のみを用いて操作度を推定することができる。具体的には、手領域の画素数を総計し、画像全体（当該時刻のフレーム画像）の総画素数で除算することで、操作度を推定する。また、画素数に加えてさらに、上記第三実施形態と同様に算出することで、手領域の動き量が大きいほど操作度が高くなるように推定してもよい。すなわち、操作度を画素数及び動き量の両方の増加関数によって推定してもよい。

【0063】

第四実施形態は例えば、作業映像は例えば固定カメラによって撮影され、対象設備は常に映っており、且つ、作業対象の領域をある程度拡大して映しており、作業しているか否かは手が大きく映っているか否かのみで判断できるというような状況において好適な実施形態である。この場合、設備検出部3による設備領域の検出負荷を省略することが可能となる。

【0064】

最後に、インデックス付与部6は、前記操作推定部5により出力される時系列的な操作度に基づいて、記録映像の各フレームに作業手順書に記載の手順（当該作業を構成するものとして予め設定されている各手順）との対応を示すインデックスを付与する。ここで、前記操作推定部5により記録映像全体を通して出力される操作度（操作度時系列）の変化に基づき、記録映像を手順総数と等しい数に分割すると同時に、各フレームに分割番号に相当するインデックスを付与する。特に、操作度時系列において、操作度の値が継続して高いと判定できる区間及びその近傍ごとに共通のインデックスを付与することで、手順総数に等しい数への分割を行う。

【0065】

時系列的な操作度に基づいたインデックスの付与の一実施形態について、図５の例を用いて説明する。まず、図５の(1)のような映像に対して前記操作推定部5により出力された操作度が、(2)にグラフG1として示されている。なお、グラフG1は、操作推定部5において前述の第二実施形態を適用し、さらに、中間的な状態も推定するようにすることで、操作度yの値が0, 0.5, 1の3つの値のいずれかとなる場合のグラフの例となっている。

【0066】

図５にて(2)にはさらに、操作度時系列G1を時系列的に平滑化したものとして、平滑化操作度のグラフG2が示されている。インデックス付与部6における当該操作度の平滑化には、例えば移動平均法等の周知手法を用いることが出来る。

【0067】

フレーム番号をx軸、操作度をy軸にとった平滑化操作度のグラフG2に対し、図５の(3)のようにy=t(0≦t≦1)の直線L1を引く。平滑化操作度のグラフとy=tの直線による閉領域の数が手順総数と初めて一致するまで、tを0から1に向けて変化させる。

【0068】

なお、当該手順総数については、作業手順書等に予め記載されているか、あるいは、作業映像を用意したものが所定値として与えておく。また、操作推定部5が出力したグラフG1が前述のように、その操作度yの値が0, 0.5, 1の3つの値のいずれかとなるようなグラフであるので、ここではtの範囲もこれに応じて(0≦t≦1)としている。tの範囲は一般には、各実施形態における操作推定部5にて推定されうる操作度の値の範囲とすればよい。

【0069】

ここで、当該閉領域の数は、グラフを画像として扱い、公知のラべリング処理を行うことで求めることが出来る。上記tの値を増加させることで、当該閉領域の数が手順総数と一致した時、当該閉領域ごとに対応する各フレームにインデックスを付与する。すなわち、閉領域が占める一連の時刻範囲に属する各フレームに、閉領域の識別番号（時間の早い方から順次1,2,3,..と付与すればよい）に対応するインデックスを付与する。

【0070】

図５の(3)では、当該描かれている直線L1は、tの値を増加させることで初めて閉領域の数が手順総数の「4」に一致した状態におけるものであり、対応する4個の閉領域R1, R2, R3, R4が示されている。なお、(1)の最上段側に各手順内の代表的な画像例を示すように、当該記録映像は手順S1〜S4の4つの手順が撮影されたものである。

【0071】

更に、この時点でインデックスが付与されていないフレーム（y<tとなったフレーム）には、既にインデックスが付与されているフレームのうち、最も時系列的に近いフレームに付与されているインデックスを付与する。以上により、記録映像の各フレームにインデックスを付与することで、付与インデックス毎に映像を分割した結果が、図５の(4)に示されている。

【0072】

インデックス付与部6の別の実施形態として、フレーム番号xと操作度yをベクトル(x, y)とし、当該ベクトルを特徴量として、手順総数と同数に分類されるようなクラスタリングを行い、クラスタリング結果に応じてインデックスを付与してもよい。クラスタリングには、k-meansやGMM(混合ガウスモデル)等の既知のクラスタリング手法を適用することが出来る。また、図５の場合と同様、一連のベクトル(x, y)において近接するフレーム番号x毎に操作度yの平均を取ることで操作度yを平滑化してから、クラスタリングを行うようにしてもよい。

【0073】

以上のように、本発明によれば、このように各手順に対応して所定の作業箇所に集中している期間の記録映像内における区別を、インデックスとして自動で算出することが可能となる。

【0074】

特に、対象設備に対する作業映像における手の検出情報を時系列で求め、当該時系列に基づいて分割を行うことにより、インデックスを付与して区間分けすることができるようになる。作業が事前にまとめられた作業手順書に従って行われていた場合には、各手順に対応する区間分けができるようになる。

【0075】

本発明は、コンピュータを映像分割装置10として機能させるプログラムとしても提供可能である。当該コンピュータは、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェアで構成することができ、当該プログラムを読み込んで実行するCPUが映像分割装置10の各部として機能することとなる。

【符号の説明】

【0076】

10…映像分割装置、1…フレームキャプチャ部、2…記憶部、3…設備検出部、4…手検出部、5…操作推定部、6…インデックス付与部、31…キーポイント検出部、32…局所特徴量記述部、33…局所特徴量対応比較部、34…射影行列推定部、35…対象設備検出部

【図1】

【図2】

【図3】

【図4】

【図5】