特許 7694683 行動順序異常検出装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-06-10

(45)【発行日】2025-06-18

(54)【発明の名称】行動順序異常検出装置、方法およびプログラム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20250611BHJP

【ＦＩ】

G06Q50/04

【請求項の数】 10

(21)【出願番号】P 2023552607

(86)(22)【出願日】2021-10-06

(86)【国際出願番号】 JP2021037017

(87)【国際公開番号】W WO2023058164

(87)【国際公開日】2023-04-13

【審査請求日】2024-01-09

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】守脇 幸佑

【審査官】青柳 光代

(56)【参考文献】

【文献】特開２０２１－０８２１３７（ＪＰ，Ａ）

【文献】特開２０１５－１７６３６２（ＪＰ，Ａ）

【文献】特許第４６７０４５５（ＪＰ，Ｂ２）

【文献】特開２０１９－０５３５２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

作業者による作業過程を撮影した作業映像を入力する映像入力手段と、
入力された前記作業映像から、前記作業者の行動を識別する行動識別手段と、
識別された前記作業者の行動を時系列に辿り、当該作業者の行動の変化を検知した場合、当該変化の前の行動を行動順序リストに追加する行動順序識別手段と、
作業に応じて行動の順序を規定した理想作業手順と前記行動順序リストとを比較して、当該行動順序リストに含まれる行動の出現順序を編集して当該理想作業手順に含まれる行動に一致させるまでの最小回数を示す編集距離を算出し、算出した編集距離に基づいて異常作業を検出する行動順序比較手段とを備えた
ことを特徴とする行動順序異常検出装置。

【請求項2】

行動識別手段は、作業映像からフレーム単位で作業者の行動を識別し、
行動順序識別手段は、識別された作業者の行動を作業映像の先頭のフレームから時系列に辿り、フレームの前後で行動の変化を検知した場合、当該変化の前の行動を行動順序リストに追加する
請求項１記載の行動順序異常検出装置。

【請求項3】

行動順序比較手段は、編集距離に基づいて、異常作業を検出した結果を出力する
請求項１または請求項２記載の行動順序異常検出装置。

【請求項4】

行動順序比較手段は、行動順序リストに含まれる一連の行動から理想作業手順に含まれる一連の行動に変形するまでの編集距離を計算することにより、異常作業を検出した結果を出力する
請求項３記載の行動順序異常検出装置。

【請求項5】

行動順序比較手段は、行動の置換回数を示す編集距離を行動の入れ替わり回数として出力し、行動の追加回数を示す編集距離を行動の欠落回数として出力し、行動の削除回数を示す編集距離を余分な行動の追加回数として出力する
請求項３または請求項４記載の行動順序異常検出装置。

【請求項6】

作業映像から識別された作業者の行動に基づいて、当該作業者が行っている作業の種類を特定し、特定された作業の種類に対応する理想作業手順を記憶装置から取得する作業種類検索手段を備えた
請求項１から請求項５のうちのいずれか一項に記載の行動順序異常検出装置。

【請求項7】

コンピュータが、作業者による作業過程を撮影した作業映像を入力し、
前記コンピュータが、入力された前記作業映像から、前記作業者の行動を識別し、
前記コンピュータが、識別された前記作業者の行動を時系列に辿り、当該作業者の行動の変化を検知した場合、当該変化の前の行動を行動順序リストに追加し、
前記コンピュータが、作業に応じて行動の順序を規定した理想作業手順と前記行動順序リストとを比較して、当該行動順序リストに含まれる行動の出現順序を編集して当該理想作業手順に含まれる行動に一致させるまでの最小回数を示す編集距離を算出し、算出した編集距離に基づいて異常作業を検出する
ことを特徴とする行動順序異常検出方法。

【請求項8】

コンピュータが、作業映像からフレーム単位で作業者の行動を識別し、
前記コンピュータが、識別された作業者の行動を前記作業映像の先頭のフレームから時系列に辿り、フレームの前後で行動の変化を検知した場合、当該変化の前の行動を行動順序リストに追加する
請求項７記載の行動順序異常検出方法。

【請求項9】

コンピュータに、
作業者による作業過程を撮影した作業映像を入力する映像入力処理、
入力された前記作業映像から、前記作業者の行動を識別する行動識別処理、
識別された前記作業者の行動を時系列に辿り、当該作業者の行動の変化を検知した場合、当該変化の前の行動を行動順序リストに追加する行動順序識別処理、および、
作業に応じて行動の順序を規定した理想作業手順と前記行動順序リストとを比較して、当該行動順序リストに含まれる行動の出現順序を編集して当該理想作業手順に含まれる行動に一致させるまでの最小回数を示す編集距離を算出し、算出した編集距離に基づいて異常作業を検出する行動順序比較処理
を実行させるための行動順序異常検出プログラム。

【請求項10】

コンピュータに、
行動識別処理で、作業映像からフレーム単位で作業者の行動を識別させ、
行動順序識別処理で、識別された作業者の行動を前記作業映像の先頭のフレームから時系列に辿らせ、フレームの前後で行動の変化を検知した場合、当該変化の前の行動を行動順序リストに追加させる
請求項９記載の行動順序異常検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業者による行動の順序についての異常を検出する行動順序異常検出装置、行動順序異常検出方法および行動順序異常検出プログラムに関する。

【背景技術】

【0002】

製造業では、商品の組み立てや仕分け、保管を行っている工場や倉庫での生産性向上が課題となっている。生産性向上のための取り組みとして、監督者によるリアルタイム、もしくは作業者の録画された作業風景の目視確認による判断のもと、作業手順の確認が行われている。しかし、監督者の目視確認による判断には時間や人件費などのコストが掛かる他、見落としが発生する可能性も存在する。そのため、作業者による作業の手順が正しい順番で行われているかを自動で識別したいといった要望がある。

【0003】

このような要望に関連する技術として、特許文献１には、作業者を撮影した映像に基づいて、作業者による作業の実施状況を出力する作業管理装置が記載されている。特許文献１に記載された装置は、作業開始時の作業者が映る第一の画像と、作業終了時の作業者が映る第二の画像を取得する。そして、上記装置は、第一の画像および第二の画像の画像解析を行って作業所要時間を計測するとともに、作業案件を認識することで、作業案件ごとの実施状況に関する情報を表示する。

【0004】

また、非特許文献１には、映像からの作業内容を識別する技術として、行動分割の技術であるＭＳ－ＴＣＮ（Multi-Stage Temporal Convolutional Network）について記載されている。例えば、トリミングされていない長い映像中の行動セグメントを分類するため、非特許文献１に記載されたＭＳ－ＴＣＮでは、フレームごとの確率を生成して高レベルの時間モデルに与えることにより、映像フレームを直接分類する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１５－２２５６３０号公報

【非特許文献】

【0006】

【文献】Yazan Abu Farha, juergen Gall、"MS-TCN: Multi-Stage Temporal Convolutional Network for Action Segmentation"、Computer Vision and Pattern Recognition、２０１９年４月

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述するように、特許文献１に記載された装置は、設置されたカメラで撮影された映像を用いて対象とする作業者に関する作業の開始時刻、および、終了時刻を計測し、その作業内容を識別する。しかし、特許文献１に記載された装置では、映像から作業者の作業内容と所要時間を自動で識別できる一方で、その作業手順が正しい順序で行われたか否かを判定する機能を有していない。そのため、行われた作業の質を把握することはできない、という問題がある。

【0008】

また、非特許文献１に記載された方法は、フレームごとに機械学習モデルが出力した結果と、そのフレームの正解の行動内容とを比較し、精度を出力するものである。そのため、例えば、工場で撮影された映像などに本技術を単純に適応しただけでは、前述した作業者の作業内容の正しさを評価することができない、という問題がある。

【0009】

そこで、本発明では、作業者による行動順序の異常を検出することができる行動順序異常検出装置、行動順序異常検出方法および行動順序異常検出プログラムを適用することを目的とする。

【課題を解決するための手段】

【0010】

本発明による行動順序異常検出装置は、作業者による作業過程を撮影した作業映像を入力する映像入力手段と、入力された作業映像から、作業者の行動を識別する行動識別手段と、識別された作業者の行動を時系列に辿り、その作業者の行動の変化を検知した場合、その変化の前の行動を行動順序リストに追加する行動順序識別手段と、作業に応じて行動の順序を規定した理想作業手順と行動順序リストとを比較して、行動順序リストに含まれる行動の出現順序を編集して理想作業手順に含まれる行動に一致させるまでの最小回数を示す編集距離を算出し、算出した編集距離に基づいて異常作業を検出する行動順序比較手段とを備えたことを特徴とする。

【0011】

本発明による行動順序異常検出方法は、コンピュータが、作業者による作業過程を撮影した作業映像を入力し、コンピュータが、入力された作業映像から、作業者の行動を識別し、コンピュータが、識別された作業者の行動を時系列に辿り、その作業者の行動の変化を検知した場合、その変化の前の行動を行動順序リストに追加し、コンピュータが、作業に応じて行動の順序を規定した理想作業手順と行動順序リストとを比較して、行動順序リストに含まれる行動の出現順序を編集して理想作業手順に含まれる行動に一致させるまでの最小回数を示す編集距離を算出し、算出した編集距離に基づいて異常作業を検出することを特徴とする。

【0012】

本発明による行動順序異常検出プログラムは、コンピュータに、作業者による作業過程を撮影した作業映像を入力する映像入力処理、入力された作業映像から、作業者の行動を識別する行動識別処理、識別された作業者の行動を時系列に辿り、その作業者の行動の変化を検知した場合、その変化の前の行動を行動順序リストに追加する行動順序識別処理、および、作業に応じて行動の順序を規定した理想作業手順と行動順序リストとを比較して、行動順序リストに含まれる行動の出現順序を編集して理想作業手順に含まれる行動に一致させるまでの最小回数を示す編集距離を算出し、算出した編集距離に基づいて異常作業を検出する行動順序比較処理を実行させることを特徴とする。

【発明の効果】

【0013】

本発明によれば、作業者による行動順序の異常を検出することができる。

【図面の簡単な説明】

【0014】

【図1】本発明による第一の実施形態の行動順序異常検出システムの構成例を示すブロック図である。

【図2】第一の実施形態の行動順序異常検出システムの動作例を示すフローチャートである。

【図3】作業映像から行動順序リストを生成する処理の例を示す説明図である。

【図4】本発明による第二の実施形態の行動順序異常検出システムの構成例を示すブロック図である。

【図5】第二の実施形態の行動順序異常検出システムの動作例を示すフローチャートである。

【図6】本発明による行動順序異常検出装置の概要を示すブロック図である。

【図7】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0015】

本発明の実施の形態について図面を参照して以下、詳細に説明する。以下の説明では、作業者による一連の動作を作業と記し、作業に含まれる個々の動作のことを行動と記す。

【0016】

［第一の実施形態］
［構成の説明］
図１は、本発明による第一の実施形態の行動順序異常検出システムの構成例を示すブロック図である。図１に示されるように、本発明の第一の実施形態の行動順序異常検出システム１００は、映像入力手段１と、行動順序異常検出装置２１と、理想作業手順記憶装置２２と、出力装置３とを備えている。行動順序異常検出装置２１と理想作業手順記憶装置２２とは、通信可能に接続されている。

【0017】

行動順序異常検出装置２１は、図１に示されるように、行動識別手段２１１と、行動順序識別手段２１２と、行動順序比較手段２１３とを含む。行動順序識別手段２１２は、行動識別手段２１１と行動順序比較手段２１３にそれぞれ接続されている。なお、図１に示す一方向性の矢印は、情報の流れの方向を端的に示したものであり、双方向性を排除するものではない。

【0018】

映像入力手段１は、作業者による作業過程を撮影した映像（以下、作業映像と記す。）を入力する。作業映像の内容は任意である。なお、作業者による一連の行動の中から異常を検知できるようにするため、作業映像は、作業全体を時系列に撮影した映像であることが好ましい。なお、映像入力手段１が、行動順序異常検出装置２１に含まれていてもよい。

【0019】

行動識別手段２１１は、入力された作業映像から、作業者の行動を識別する。具体的には、行動識別手段２１１は、作業映像からフレーム単位で作業者の行動を識別する。行動識別手段２１１が作業映像から行動を識別する方法は任意であり、例えば、特許文献１に記載された方法が用いられてもよい。

【0020】

行動順序識別手段２１２は、行動識別手段２１１から識別結果を受け取り、識別された作業者の行動を時系列に辿り、その作業者の行動の変化を検知した場合、その変化の前の行動を行動順序リストに追加する。具体的には、行動順序識別手段２１２は、識別された作業者の行動を作業映像の先頭のフレームから時系列に辿り、フレームの前後で行動の変化を検知した場合、その変化の前の行動を行動順序リストに追加する。

【0021】

なお、フレーム単位で識別を行う際、ノイズや誤った識別結果が含まれる可能性がある。そこで、行動順序識別手段２１２は、作業者の行動の識別結果が予め定めた期間（フレーム数分）、同一の内容で継続した場合に行動の変化を検知してもよい。このように、行動識別手段２１１による識別結果は、フレーム単位の識別結果を示すデータである一方、行動順序リストは、識別結果が行動単位に圧縮されたデータであると言える。

【0022】

このように生成された行動順序リストを用いることで、後述する行動順序比較手段２１３が、理想作業手順と比較する処理を容易にすることが可能になる。

【0023】

理想作業手順記憶装置２２は、作業者が行う作業において想定される理想的な行動順序（以下、理想作業手順と記す。）を記録する装置である。理想作業手順とは、具体的には、作業の種類に応じて行動の順序を規定した情報であり、対象とする組立作業や運搬作業において、作業が監督者の想定している通りの正しい順序で、余分な作業が介入することもなく行われた場合の作業例のことである。理想作業手順は、フレーム単位の情報として表わされていてもよく、後述する行動順序リストと同様の形式で表わされていてもよい。理想作業手順記憶装置２２は、作業の種類ごとに理想作業手順を記憶する。 理想作業手順記憶装置２２は、例えば、磁気ディスク等により実現される。

【0024】

行動順序比較手段２１３は、行動順序識別手段２１２から行動順序リストを受け取り、理想作業手順記憶装置２２に記憶されている理想作業手順と比較して、異常作業を検出する。さらに、行動順序比較手段２１３は、行動順序リストと理想作業手順との編集距離に基づいて、異常作業を検出した結果を出力装置３に出力してもよい。なお、本実施形態では、作業の種類は既知であるものとする。

【0025】

以下、編集距離という評価指標について説明する。編集距離を用いた評価では、一連の行動の識別結果に対し、識別結果に含まれる各要素（ここでは、行動）について要素内容の置換、削除、挿入を何回用いれば正解とする行動内容と一致させられるかが測定される。

【0026】

そこで、行動順序比較手段２１３は、行動順序リストに含まれる一連の行動から理想作業手順に含まれる一連の行動に変形するまでの編集距離を計算することにより、異常作業を検出した結果を出力してもよい。

【0027】

具体的には、行動順序比較手段２１３は、行動の置換回数を示す編集距離を行動の入れ替わり回数として出力してもよい。また、行動順序比較手段２１３は、行動の追加回数を示す編集距離を行動の欠落回数として出力してもよい。また、行動順序比較手段２１３は、行動の削除回数を示す編集距離を余分な行動の追加回数として出力してもよい。

【0028】

行動識別手段２１１と、行動順序識別手段２１２と、行動順序比較手段２１３とは、プログラム（行動順序異常検出プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit））によって実現される。

【0029】

例えば、プログラムは、行動順序異常検出装置２１が備える記憶部（図示せず）に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、行動識別手段２１１、行動順序識別手段２１２、および、行動順序比較手段２１３として動作してもよい。また、行動順序異常検出装置２１の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。

【0030】

また、行動識別手段２１１と、行動順序識別手段２１２と、行動順序比較手段２１３とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。

【0031】

また、行動順序異常検出装置２１の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

【0032】

［動作の説明］
次に、本実施形態の行動順序異常検出システム１００の動作を説明する。図２は、第一の実施形態の行動順序異常検出システム１００の動作例を示すフローチャートである。

【0033】

まず、映像入力手段１は、作業映像を入力する（ステップＳ１）。次に、行動識別手段２１１は、入力された作業映像から作業者の行動を識別する（ステップＳ２）。具体的には、行動識別手段２１１は、入力された作業映像に対してフレーム毎に行動を識別する。
次に、行動順序識別手段２１２は、識別された作業者の行動を時系列に辿り、作業者の行動の変化を検知した場合、変化の前の行動を行動順序リストに追加する（ステップＳ３）。言い換えると、行動順序識別手段２１２は、得られたフレーム毎の行動の内容を、フレーム情報を削除し、どの行動がどの順序で行われていたかを表わす行動順序リストに変換する。

【0034】

図３は、作業映像から行動順序リストを生成する処理の例を示す説明図である。以下、行動順序リストの生成方法（変換方法）の具体例を説明する。まず、行動順序識別手段２１２は、作業映像の先頭のフレームの作業内容（ここでは、行動Ａとする。）を、次のフレームの行動と比較する。示す行動が同じである場合、行動順序識別手段２１２は、その行動とさらに次のフレームが示す行動とを比較する処理を行う。以降、異なる行動（ここでは、行動Ｂとする。）を示すフレームに到達するまでこの処理が繰り返される。

【0035】

異なる行動を示すフレームに到達した場合、行動順序識別手段２１２は、変化の前の行動を行動順序リストに追加する。以降のフレームについて、さらに異なる行動を示すフレームに到達するまで、同様の処理が繰り返され、異なる行動を示すフレームに到達するたびに、それまでの行動が行動順序リストに追加される。なお、処理の過程で、フレームの示す行動が識別不可と判断された場合、行動識別手段２１１は、そのフレームを無視して処理を継続すればよい。

【0036】

例えば、図３に示す例では、識別結果Ｌ２から行動順序リストＬ４が生成されたことを示す。なお、理想の作業を示す映像の識別結果Ｌ１から、同様の方法で、理想作業手順を表わす行動順序リストＬ３が生成されてもよい。

【0037】

次に、図２において、行動順序比較手段２１３は、理想作業手順と行動順序リストとを比較して、異常作業を検出する（ステップＳ４）。具体的には、行動順序比較手段２１３は、ステップＳ３で生成された行動順序リストと、理想作業手順記憶装置２２に記憶されている理想作業手順とを、編集距離の計算を行うことで比較し、手順の入れ替わりなどの相違点を検出する。

【0038】

以下、図３を参照して、比較処理の具体例を説明する。編集距離は、作業映像から生成された行動順序リストＬ４と、理想とする行動順序リストＬ３の２つの行動順序リストを比較するために用いられる。編集距離は、行動順序リストＬ４の内容に対し、「要素の置換」、「要素の削除」、「要素の挿入」を何回行うことで行動順序リストＬ３と同じリストが得られるかを計算することによって得られる。

【0039】

例えば、作業映像から生成された行動順序リストＬ４が、［１：行動Ａ、２：行動Ｂ、３：行動Ｃ、４：行動Ｂ、５：行動Ｄ］で、理想とする行動順序リストＬ３が［１：行動Ａ、２：行動Ｂ、３：行動Ｄ、４：行動Ｃ］であったとする。この時、行動順序リストＬ４に対して４番目の要素の削除、３番目の要素の置換、および、５番目の要素の置換を行うことで、行動順序リストＬ３と一致する行動順序リストが得られる。

【0040】

この場合、３回の操作で２つの行動順序リストが一致したため、編集距離は３となる。行動順序比較手段２１３は、編集距離の計算時に行った操作について、「要素の削除」の回数を「余分な行動の追加」の回数とみなし、「要素の挿入」の回数を、「行動の欠落」の回数とみなし、「要素の置換」の回数（２件ごと）に「行動の入れ替わり」の回数（１件）とみなす。そして、行動順序比較手段２１３は、みなした内容の異常が検出されたとして、その異常作業を検出した結果を出力する。

【0041】

例えば、図３に示す例では、削除が１回、置換が２回行われている。そのため、行動順序比較手段２１３は、「余分な行動の追加」が１件、「行動の入れ替わり」が１件生じたとする結果を出力する。

【0042】

その後、図２において、行動順序比較手段２１３は、異常作業を検出した結果を出力装置３に出力する（ステップＳ５）。

【0043】

以上のように、本実施形態では、映像入力手段１が作業映像を入力し、行動識別手段２１１が入力された作業映像から、作業者の行動を識別する。そして、行動順序識別手段２１２が、識別された作業者の行動を時系列に辿り、作業者の行動の変化を検知した場合、変化の前の行動を行動順序リストに追加し、行動順序比較手段２１３が、理想作業手順と行動順序リストとを比較して、異常作業を検出する。よって、作業者による行動順序の異常を検出することができる。

【0044】

すなわち、本実施形態の行動順序異常検出システム１００を用いることで、作業映像中の作業者の行動が、想定される正しい手順で行われているかを識別できる。その理由は、行動順序識別手段２１２が、入力された作業映像に対するフレーム毎の行動の識別結果から、どの行動がどの順序で行われたかを表す行動順序リストを生成しているためである。

【0045】

例えば、図３に示す例では、行動識別手段２１１によって識別された作業映像の識別結果Ｌ２を、行動順序識別手段２１２が行動順序リストＬ４に変換する。また、同様に、行動順序識別手段２１２が、識別結果Ｌ１を行動順序リストＬ３に変換する。これにより、行動順序異常検出システム１００は、２つの行動順序リストＬ３と行動順序リストＬ４の編集距離による比較により、行動の入れ替わりや行動の欠落を検出できる。

【0046】

［第二の実施形態］
［構成の説明］
次に、本発明による行動順序異常検出システムの第二の実施形態を説明する。図４は、本発明による第二の実施形態の行動順序異常検出システムの構成例を示すブロック図である。本発明の第二の実施形態の行動順序異常検出システム２００は、図４に示されるように、映像入力手段１と、行動順序異常検出装置２１と、理想作業手順記憶装置２２と、作業種類検索手段２３と、出力装置３とを備えている。

【0047】

すなわち、第二の実施形態の行動順序異常検出システム２００は、第一の実施形態の行動順序異常検出システム１００と比較し、作業種類検索手段２３をさらに備えている点において異なる。それ以外の構成は、第一の実施形態と同様である。なお、作業種類検索手段２３が、行動順序異常検出装置２１に含まれていてもよい。

【0048】

作業種類検索手段２３は、作業映像から識別された作業者の行動に基づいて、その作業者が行っている作業の種類を特定する。そして、作業種類検索手段２３は、特定された作業の種類に対応する理想作業手順を理想作業手順記憶装置２２から検索して取得する。

【0049】

作業種類検索手段２３が、作業者の行動に基づいて作業の種類を特定する方法は任意である。作業種類検索手段２３は、例えば、作業者の行動に応じた典型的な作業の種類をマスタとして準備しておき、そのマスタとの一致度に応じて作業の種類を特定してもよい。また、作業種類検索手段２３は、作業者の行動に基づいて作業の種類を学習することによって生成されたモデルを用いて、作業の種類を特定してもよい。

【0050】

本実施形態では、行動順序異常検出システム２００が作業種類検索手段２３を備えることにより、複数種類の作業に対して同一の装置で行動の順序の異常検知を行うことができる。

【0051】

以下、具体例を用いて作業種類検索手段２３の動作を説明する。例えば、「製品の組立」「製品の梱包」「製品の不良検査」の３種類の作業が存在しているとする。第一の実施形態では、作業の種類は既知である場合を想定していた。すなわち、あらかじめ作業映像が３種類の中のどの種類の作業かが明確になっており、その作業の種類に対応する理想作業手順が取得されていた。

【0052】

一方、第二の実施形態では、理想作業手順記憶装置２２に記憶された上記３種類の理想作業手順から、作業種類検索手段２３が特定された作業の種類に応じて適切な理想作業手順を取得する。これにより、同一の装置で複数種類の作業に関する異常検知を行うことができる。

【0053】

なお、行動識別手段２１１と、行動順序識別手段２１２と、行動順序比較手段２１３と、作業種類検索手段２３とは、プログラム（行動順序異常検出プログラム）に従って動作するコンピュータのプロセッサによって実現される。

【0054】

［動作の説明］
次に、本実施形態の行動順序異常検出システム２００の動作を説明する。図５は、第二の実施形態の行動順序異常検出システム２００の動作例を示すフローチャートである。作業映像を入力して行動を識別するまでの処理は、図２に例示するステップＳ１からステップＳ２までと同様である。

【0055】

次に、作業種類検索手段２３は、作業映像から識別された作業者の行動に基づいて、作業者が行っている作業の種類を特定する（ステップＳ１１）。そして、作業種類検索手段２３は、特定された作業の種類に対応する理想作業手順を理想作業手順記憶装置２２から検索して取得する（ステップＳ１２）。この取得された理想作業手順を用いて、行動順序リストとの比較が行われる。

【0056】

以降、図２に例示するステップＳ３からステップＳ５までの処理が行われる。なお、行動順序リストを生成するステップＳ３の処理が、ステップＳ１１またはステップＳ１２の処理の前に行われてもよい。

【0057】

以上のように、本実施形態では、作業種類検索手段２３が、作業映像から識別された作業者の行動に基づいて作業の種類を特定し、特定された作業の種類に対応する理想作業手順を理想作業手順記憶装置２２から取得する。よって、第一の実施形態の効果に加え、同一の装置で複数種類の作業に関する異常検知を行うことができる。

【0058】

［実施例］
次に、各実施形態の行動順序異常検出システムが適用される場面について具体例を説明する。上記実施形態の行動順序異常検出システムを、例えば、実際の工場などで利用することができる。工場内に設置された定点カメラが作業者の作業過程を撮影すると、映像入力手段１が、撮影された作業映像を入力する。

【0059】

次に、行動識別手段２１１が、撮影された作業映像の全てのフレームに対して、それぞれ「特定の部品を取っている」や、「部品を組み立てている」など、事前に定められた行動の中でどの行動に該当するか識別する。次に、行動順序識別手段２１２が、識別結果を行動順序リストに変換する。

【0060】

最後に、行動順序比較手段２１３が、行動順序リストと理想作業手順とを比較し、識別対象の作業の中に、行動の入れ替わり、行動の欠落、または、余分な作業の追加が、それぞれ何件発生したかを出力する。

【0061】

次に、本発明の概要を説明する。図６は、本発明による行動順序異常検出装置の概要を示すブロック図である。本発明による行動順序異常検出装置８０（例えば、行動順序異常検出装置２１）は、作業者による作業過程を撮影した作業映像を入力する映像入力手段８１（例えば、映像入力手段１）と、入力された作業映像から、作業者の行動を識別する行動識別手段８２（例えば、行動識別手段２１１）と、識別された作業者の行動を時系列に辿り、その作業者の行動の変化を検知した場合、その変化の前の行動を行動順序リストに追加する行動順序識別手段８３（例えば、行動順序識別手段２１２）と、作業に応じて行動の順序を規定した理想作業手順と行動順序リストとを比較して、異常作業を検出する行動順序比較手段８４（例えば、行動順序比較手段２１３）とを備えている。

【0062】

そのような構成により、作業者による行動順序の異常を検出することができる。

【0063】

具体的には、行動識別手段８２は、作業映像からフレーム単位で作業者の行動を識別し、行動順序識別手段８３は、識別された作業者の行動を作業映像の先頭のフレームから時系列に辿り、フレームの前後で行動の変化を検知した場合、その変化の前の行動を行動順序リストに追加してもよい。

【0064】

また、行動順序比較手段８４は、行動順序リストと理想作業手順との編集距離に基づいて、異常作業を検出した結果を出力してもよい。

【0065】

具体的には、行動順序比較手段８４は、行動順序リストに含まれる一連の行動から理想作業手順に含まれる一連の行動に変形するまでの編集距離を計算することにより、異常作業を検出した結果を出力してもよい。

【0066】

その際、行動順序比較手段８４は、行動の置換回数を示す編集距離を行動の入れ替わり回数として出力し、行動の追加回数を示す編集距離を行動の欠落回数として出力し、行動の削除回数を示す編集距離を余分な行動の追加回数として出力してもよい。

【0067】

また、行動順序異常検出装置８０は、作業映像から識別された作業者の行動に基づいて、その作業者が行っている作業の種類を特定し、特定された作業の種類に対応する理想作業手順を記憶装置（例えば、理想作業手順記憶装置２２）から取得する作業種類検索手段（例えば、作業種類検索手段２３）を備えていてもよい。

【0068】

図７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、プロセッサ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４を備える。

【0069】

上述の行動順序異常検出装置８０は、それぞれ、コンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置１００３に記憶されている。プロセッサ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。

【0070】

なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read-only memory ）、ＤＶＤ－ＲＯＭ（Read-only memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行してもよい。

【0071】

また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0072】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0073】

（付記１）作業者による作業過程を撮影した作業映像を入力する映像入力手段と、
入力された前記作業映像から、前記作業者の行動を識別する行動識別手段と、
識別された前記作業者の行動を時系列に辿り、当該作業者の行動の変化を検知した場合、当該変化の前の行動を行動順序リストに追加する行動順序識別手段と、
作業に応じて行動の順序を規定した理想作業手順と前記行動順序リストとを比較して、異常作業を検出する行動順序比較手段とを備えた
ことを特徴とする行動順序異常検出装置。

【0074】

（付記２）行動識別手段は、作業映像からフレーム単位で作業者の行動を識別し、
行動順序識別手段は、識別された作業者の行動を作業映像の先頭のフレームから時系列に辿り、フレームの前後で行動の変化を検知した場合、当該変化の前の行動を行動順序リストに追加する
付記１記載の行動順序異常検出装置。

【0075】

（付記３）行動順序比較手段は、行動順序リストと理想作業手順との編集距離に基づいて、異常作業を検出した結果を出力する
付記１または付記２記載の行動順序異常検出装置。

【0076】

（付記４）行動順序比較手段は、行動順序リストに含まれる一連の行動から理想作業手順に含まれる一連の行動に変形するまでの編集距離を計算することにより、異常作業を検出した結果を出力する
付記３記載の行動順序異常検出装置。

【0077】

（付記５）行動順序比較手段は、行動の置換回数を示す編集距離を行動の入れ替わり回数として出力し、行動の追加回数を示す編集距離を行動の欠落回数として出力し、行動の削除回数を示す編集距離を余分な行動の追加回数として出力する
付記３または付記４記載の行動順序異常検出装置。

【0078】

（付記６）作業映像から識別された作業者の行動に基づいて、当該作業者が行っている作業の種類を特定し、特定された作業の種類に対応する理想作業手順を記憶装置から取得する作業種類検索手段を備えた
付記１から付記５のうちのいずれか一項に記載の行動順序異常検出装置。

【0079】

（付記７）作業者による作業過程を撮影した作業映像を入力し、
入力された前記作業映像から、前記作業者の行動を識別し、
識別された前記作業者の行動を時系列に辿り、当該作業者の行動の変化を検知した場合、当該変化の前の行動を行動順序リストに追加し、
作業に応じて行動の順序を規定した理想作業手順と前記行動順序リストとを比較して、異常作業を検出する
ことを特徴とする行動順序異常検出方法。

【0080】

（付記８）作業映像からフレーム単位で作業者の行動を識別し、
識別された作業者の行動を前記作業映像の先頭のフレームから時系列に辿り、フレームの前後で行動の変化を検知した場合、当該変化の前の行動を行動順序リストに追加する
付記７記載の行動順序異常検出方法。

【0081】

（付記９）コンピュータに、
作業者による作業過程を撮影した作業映像を入力する映像入力処理、
入力された前記作業映像から、前記作業者の行動を識別する行動識別処理、
識別された前記作業者の行動を時系列に辿り、当該作業者の行動の変化を検知した場合、当該変化の前の行動を行動順序リストに追加する行動順序識別処理、および、
作業に応じて行動の順序を規定した理想作業手順と前記行動順序リストとを比較して、異常作業を検出する行動順序比較処理
を実行させるための行動順序異常検出プログラムを記憶するプログラム記憶媒体。

【0082】

（付記１０）コンピュータに、
行動識別処理で、作業映像からフレーム単位で作業者の行動を識別させ、
行動順序識別処理で、識別された作業者の行動を前記作業映像の先頭のフレームから時系列に辿らせ、フレームの前後で行動の変化を検知した場合、当該変化の前の行動を行動順序リストに追加させる
ための行動順序異常検出プログラムを記憶する付記９記載のプログラム記憶媒体。

【0083】

（付記１１）コンピュータに、
作業者による作業過程を撮影した作業映像を入力する映像入力処理、
入力された前記作業映像から、前記作業者の行動を識別する行動識別処理、
識別された前記作業者の行動を時系列に辿り、当該作業者の行動の変化を検知した場合、当該変化の前の行動を行動順序リストに追加する行動順序識別処理、および、
作業に応じて行動の順序を規定した理想作業手順と前記行動順序リストとを比較して、異常作業を検出する行動順序比較処理
を実行させるための行動順序異常検出プログラム。

【0084】

（付記１２）コンピュータに、
行動識別処理で、作業映像からフレーム単位で作業者の行動を識別させ、
行動順序識別処理で、識別された作業者の行動を前記作業映像の先頭のフレームから時系列に辿らせ、フレームの前後で行動の変化を検知した場合、当該変化の前の行動を行動順序リストに追加させる
付記１１記載の行動順序異常検出プログラム。

【0085】

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【産業上の利用可能性】

【0086】

本発明は、作業者による行動の順序についての異常を検出する行動順序異常検出装置に好適に適用される。具体的には、製造業における組立作業工程に関して、どの作業工程に時間が掛かる傾向にあるか、どの作業工程間の取り違えが発生しやすいか、といった、業務内容の分析に本発明を利用できる。また、建設業の作業管理に関して、製品の品質に繋がる重要な工程が過不足なく行われているかを確認する、といった用途にも本発明を適用可能である。

【符号の説明】

【0087】

１ 映像入力手段
３ 出力装置
２１ 行動順序異常検出装置
２２ 理想作業手順記憶装置
１００，２００ 行動順序異常検出システム
２１１ 行動識別手段
２１２ 行動順序識別手段
２１３ 行動順序比較手段
２３ 作業種類検索手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】