特許 6948294 作業異常検知支援装置、作業異常検知支援方法、および作業異常検知支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6948294

(24)【登録日】2021年9月22日

(45)【発行日】2021年10月13日

(54)【発明の名称】作業異常検知支援装置、作業異常検知支援方法、および作業異常検知支援プログラム

(51)【国際特許分類】

   G05B 19/418 20060101AFI20210930BHJP

   G06Q 50/04 20120101ALI20210930BHJP

【ＦＩ】

   G05B19/418 Z

   G06Q50/04

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2018-140464(P2018-140464)

(22)【出願日】2018年7月26日

(65)【公開番号】特開2020-17131(P2020-17131A)

(43)【公開日】2020年1月30日

【審査請求日】2020年3月16日

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜特許業務法人

(72)【発明者】

【氏名】野村 寛通

(72)【発明者】

【氏名】倉田 剛

(72)【発明者】

【氏名】安部 剛史

(72)【発明者】

【氏名】芳賀 憲行

(72)【発明者】

【氏名】吉元 広行

【審査官】 杉山 悟史

(56)【参考文献】

【文献】 特開２０１６−０３８７１６（ＪＰ，Ａ）

【文献】 特開２０１３−０２５４７８（ＪＰ，Ａ）

【文献】 特開２０１９−１０１９１９（ＪＰ，Ａ）

【文献】 特開２０１６−１５７３５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０５Ｂ １９／４１８

Ｇ０６Ｑ ５０／０４

(57)【特許請求の範囲】

【請求項1】

撮像部により撮像された撮像データを構成する撮像画像を表示部に表示し、当該撮像画像に対して、正常作業時における当該作業の対象物が侵入する侵入エリアの指定を受け付ける作業異常検知画面表示部と、
前記撮像データにより得られる前記対象物に対する作業動線と、前記指定された侵入エリアとに基づいて、前記対象物に対する作業が異常であるか否かを判定し、当該判定の結果を前記表示部に出力する作業異常検知部と、を備え、
前記作業異常検知部は、前記対象物の特徴情報を示す定義、前記作業動線、正常作業時の前記対象物の作業動線、作業異常の検知条件、の少なくとも１つに基づいて、前記判定を行い、
前記作業異常検知画面表示部は、前記検知条件として、前記対象物が前記侵入エリアに侵入した回数の指定を受け付け、
前記作業異常検知部は、前記撮像データにおける対象物の前記侵入エリアへの侵入回数が、指定された前記回数に一致しているか否かを判定することにより、前記対象物に対する作業が異常であるか否かを判定する、
ことを特徴とする作業異常検知支援装置。

【請求項2】

撮像部により撮像された撮像データを構成する撮像画像を表示部に表示し、当該撮像画像に対して、正常作業時における当該作業の対象物が侵入する侵入エリアの指定を受け付ける作業異常検知画面表示部と、
前記撮像データにより得られる前記対象物に対する作業動線と、前記指定された侵入エリアとに基づいて、前記対象物に対する作業が異常であるか否かを判定し、当該判定の結果を前記表示部に出力する作業異常検知部と、を備え、
前記作業異常検知部は、前記対象物の特徴情報を示す定義、前記作業動線、正常作業時の前記対象物の作業動線、作業異常の検知条件、の少なくとも１つに基づいて、前記判定を行い、
前記作業異常検知画面表示部は、前記検知条件として、前記対象物が前記侵入エリアに侵入するまでの時間を示すタイムアウト時間の指定を受け付け、
前記作業異常検知部は、前記撮像データにおける対象物が、ある侵入エリアから前記侵入エリアに侵入するまでの時間が、指定された前記タイムアウト時間内であるか否かを判定することにより、前記対象物に対する作業が異常であるか否かを判定する、
ことを特徴とする作業異常検知支援装置。

【請求項3】

前記作業異常検知画面表示部は、前記撮像画面を分割するための分割情報に基づいて前記撮像画面を分割し、分割した分割エリアの選択操作を受け付け、
前記作業異常検知部は、選択された少なくとも１つ以上の前記分割エリアを前記侵入エリアとして定義する、
ことを特徴とする請求項１に記載の作業異常検知支援装置。

【請求項4】

前記作業異常検知部は、前記作業動線上の対象物の少なくとも一部が前記侵入エリアに侵入した場合に、当該侵入エリアに前記対象物が侵入したとカウントする、
ことを特徴とする請求項１に記載の作業異常検知支援装置。

【請求項5】

前記作業異常検知部は、当該判定の結果として、前記侵入エリアごとに、前記侵入エリアと定義した場所と前記対象物の作業異常検知結果を出力し、
前記作業異常検知画面表示部は、前記侵入エリアと定義した場所と前記対象物の作業異常検知結果とを前記表示部に表示する、
ことを特徴とする請求項１に記載の作業異常検知支援装置。

【請求項6】

作業異常検知画面表示部が、撮像部により撮像された撮像データを構成する撮像画像を表示部に表示し、
前記作業異常検知画面表示部が、当該撮像画像に対して、正常作業時における当該作業の対象物が侵入する侵入エリアの指定を受け付け、
作業異常検知部が、前記撮像データにより得られる前記対象物に対する作業動線と、前記指定された侵入エリアとに基づいて、前記対象物に対する作業が異常であるか否かを判定し、
前記作業異常検知部が、当該判定の結果を前記表示部に出力する作業異常検知支援方法において、
前記作業異常検知部は、前記対象物の特徴情報を示す定義、前記作業動線、正常作業時の前記対象物の作業動線、作業異常の検知条件、の少なくとも１つに基づいて、前記判定を行い、
前記作業異常検知画面表示部は、前記検知条件として、前記対象物が前記侵入エリアに侵入した回数の指定を受け付け、
前記作業異常検知部は、前記撮像データにおける対象物の前記侵入エリアへの侵入回数が、指定された前記回数に一致しているか否かを判定することにより、前記対象物に対する作業が異常であるか否かを判定する、
ことを特徴とする作業異常検知支援方法。

【請求項7】

作業異常検知画面表示部が、撮像部により撮像された撮像データを構成する撮像画像を表示部に表示し、
前記作業異常検知画面表示部が、当該撮像画像に対して、正常作業時における当該作業の対象物が侵入する侵入エリアの指定を受け付け、
作業異常検知部が、前記撮像データにより得られる前記対象物に対する作業動線と、前記指定された侵入エリアとに基づいて、前記対象物に対する作業が異常であるか否かを判定し、
前記作業異常検知部が、当該判定の結果を前記表示部に出力する作業異常検知支援方法において、
前記作業異常検知部は、前記対象物の特徴情報を示す定義、前記作業動線、正常作業時の前記対象物の作業動線、作業異常の検知条件、の少なくとも１つに基づいて、前記判定を行い、
前記作業異常検知画面表示部は、前記検知条件として、前記対象物が前記侵入エリアに侵入するまでの時間を示すタイムアウト時間の指定を受け付け、
前記作業異常検知部は、前記撮像データにおける対象物が、ある侵入エリアから前記侵入エリアに侵入するまでの時間が、指定された前記タイムアウト時間内であるか否かを判定することにより、前記対象物に対する作業が異常であるか否かを判定する、
ことを特徴とする作業異常検知支援方法。

【請求項8】

コンピュータに、
撮像部により撮像された撮像データを構成する撮像画像を表示部に表示する処理と、
当該撮像画像に対して、正常作業時における当該作業の対象物が侵入する侵入エリアの指定を受け付ける処理と、
前記撮像データにより得られる前記対象物に対する作業動線と、前記指定された侵入エリアとに基づいて、前記対象物に対する作業が異常であるか否かを判定する処理と、
当該判定の結果を前記表示部に出力する処理と、
を実行させることを特徴とする作業異常検知支援プログラムにおいて、
前記対象物の特徴情報を示す定義、前記作業動線、正常作業時の前記対象物の作業動線、作業異常の検知条件、の少なくとも１つに基づいて、前記判定を行い、
前記検知条件として、前記対象物が前記侵入エリアに侵入した回数の指定を受け付け、
前記撮像データにおける対象物の前記侵入エリアへの侵入回数が、指定された前記回数に一致しているか否かを判定することにより、前記対象物に対する作業が異常であるか否かを判定する、
ことを特徴とする作業異常検知支援プログラム。

【請求項9】

コンピュータに、
撮像部により撮像された撮像データを構成する撮像画像を表示部に表示する処理と、
当該撮像画像に対して、正常作業時における当該作業の対象物が侵入する侵入エリアの指定を受け付ける処理と、
前記撮像データにより得られる前記対象物に対する作業動線と、前記指定された侵入エリアとに基づいて、前記対象物に対する作業が異常であるか否かを判定する処理と、
当該判定の結果を前記表示部に出力する処理と、
を実行させることを特徴とする作業異常検知支援プログラムにおいて、
前記対象物の特徴情報を示す定義、前記作業動線、正常作業時の前記対象物の作業動線、作業異常の検知条件、の少なくとも１つに基づいて、前記判定を行い、
前記検知条件として、前記対象物が前記侵入エリアに侵入するまでの時間を示すタイムアウト時間の指定を受け付け、
前記撮像データにおける対象物が、ある侵入エリアから前記侵入エリアに侵入するまでの時間が、指定された前記タイムアウト時間内であるか否かを判定することにより、前記対象物に対する作業が異常であるか否かを判定する、
ことを特徴とする作業異常検知支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業異常検知支援装置、作業異常検知支援方法、および作業異常検知支援プログラムに関する。

【背景技術】

【0002】

一般に、製品を製造する工場では、作業者は製品ごと、工程ごとに決められた作業手順で製品を製造する。作業者の部品の取り間違いやツールの使用手順などの作業手順誤りによって、製品の不具合に繋がることがある。そのために、作業者は本工程で作業を開始する前にテスト工程で作業手順を練習し学習する。作業者はテスト工程での学習を経て本工程での作業を開始する。しかしながら、作業者が正しい手順で作業をしているかどうかについては定期的な作業監督者による確認だけしかなく、定常的には作業手順の確認を実施できない場合がある。

【0003】

このような作業の逸脱を確認する技術として、例えば、特許文献１には、撮像データから取得した作業者の位置データと品質検査結果の関係を統計的にモデル化し、判定対象の位置データまたは間接の位置データをモデルに代入することで、動線が正常であるか、異常であるかを判定する方法などが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６−１５７３５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、画像データから作業者の作業の逸脱を判定する方法として、特許文献１のように、作業者の時系列での位置情報を動線情報として取得し、正常作業としての動線情報との比較により作業が異常作業かどうかの判定する方法が挙げられる。しかし、この方法では、
動線情報で作業の逸脱を判定する場合、時系列での作業者の位置情報での判定となるため、正常作業の動線について定義する必要がある。したがって、事前に正常作業から正常作業動線を生成しなければならず、作業異常検知の実施前の準備に時間がかかっていた。

【0006】

また、作業場所のレイアウト変更など、正常作業の作業動線に調整が必要になる場合には、作業動線を再度作成する必要があり、調整にも時間がかかってしまうという問題があった。

【0007】

本発明は、作業の逸脱定義や調整を効率的に行うことが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明にかかる作業異常検知支援装置は、好ましくは、撮像部により撮像された撮像データを構成する撮像画像を表示部に表示し、当該撮像画像に対して、正常作業時における当該作業の対象物が侵入する侵入エリアの指定を受け付ける作業異常検知画面表示部と、前記撮像データにより得られる前記対象物に対する作業動線と、前記指定された侵入エリアとに基づいて、前記対象物に対する作業が異常であるか否かを判定し、当該判定の結果を前記表示部に出力する作業異常検知部と、を備えることを特徴とする作業異常検知支援装置として構成される。

【0009】

また、本発明は、上記作業異常検知支援装置で行われる作業異常検知支援方法、および作業異常検知支援プログラムとしても把握される。

【発明の効果】

【0010】

本発明によれば、作業の逸脱定義や調整を効率的に行うことが可能となる。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る作業異常検知支援装置を含むネットワーク構成図である。

【図2】従来の実施形態における作業異常検知方法の処理フロー図である。

【図3】本実施形態における作業異常検知方法の処理フロー図である。

【図4】本実施形態における作業異常の定義に関する画面構成例を示す図である。

【発明を実施するための形態】

【0012】

以下、実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

【0013】

以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。

【0014】

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

【0015】

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

【0016】

本明細書において単数形で表される構成要素は、特段文脈で明らかに示されない限り、複数形を含むものとする。

【0017】

図１は、本実施形態の作業異常検知支援装置１００を含むネットワーク構成図である。図１に示す作業異常検知支援装置１００（以下、装置１００）は、作業の逸脱をユーザに分かりやすく提示し、作業動線に対する効率的な調整を可能とするコンピュータシステムである。図１に示すネットワーク構成において、装置１００は、ネットワーク１２０を介して、クライアント端末１３０と通信可能に結ばれている。

【0018】

また、装置１００のハードウェア構成は以下のようになる。装置１００は、ハードディスクドライブなど適宜な不揮発性記憶装置で構成される補助記憶装置１０４、ＲＡＭなど揮発性記憶装置で構成される主記憶装置１１２、補助記憶装置１０４に保持されるプログラム１０５を主記憶装置１１２に読み出すなどして実行し装置自体の統括制御を行うとともに各種判定、演算及び制御処理を行うＣＰＵ（Central Processing Unit）などの演算装置１０１、ネットワーク１２０と接続しクライアント端末１３０との通信を担う通信装置１０２、撮像データなどを入力するための外部入力装置１０３を備える。この装置１００は、ディスプレイなどの表示装置（不図示）や、キーボードやマウス等の入力装置（不図示）を備えてもよい。

【0019】

なお、補助記憶装置１０４内には、本実施形態の作業異常検知支援装置として必要な機能を実装するためのプログラム１０５が格納されている。

【0020】

上述の補助記憶装置１０４におけるプログラム１０５には、作業異常検知部１０６、作業異常検知支援部１０９が格納されている。この作業異常検知部１０６は作業者位置判定処理部１０７と作業異常検知判定処理部１０８で構成される。尚、当該作業異常検知部１０６は特許文献1と共通であるため、ここでの詳細な説明は省略する。また、作業異常検知支援部１０９は、作業異常検知支援処理部１１０と作業異常検知支援画面表示部１１１で構成される。

【0021】

一方、主記憶装置１１２には、過去の作業動線情報に基づいて作成された正常作業の作業動線情報１１３が格納されている。但し、この作業動線情報１１３が作成されていない場合、この主記憶装置１１２に作業動線情報１１３は格納されていない。

【0022】

続いて、本実施形態の装置１００が備える機能について説明する。上述したように、以下に説明する機能は、例えば装置１００が備えるプログラムをそれぞれ実行することで実装される機能と言える。本実施形態において装置１００が備える機能とは、主として、作業異常検知部１０６および作業異常検知支援部１０９となる。以降、作業異常検知部１０６および作業異常検知支援部１０９と記した場合は、演算装置１０１が補助記憶装置１０４から各プログラム１０５を読み出し、主記憶装置１１２にロードしたうえで、各プログラムの機能を実現するものとする。

【0023】

作業異常検知支援部１０９は、外部入力装置１０３より撮像された画像データを取得し、作業異常検知部１０６が出力した対象物の定義、対象物の時系列の位置情報を取得し、作業異常の定義を行う機能である。作業異常検知支援部１０９は、前記対象物の時系列の位置情報と前記作業異常の定義から位置情報の乖離を判定し、当該判定結果をクライアント端末１３０（ないし表示装置）に出力する。

【0024】

また、上述の作業異常検知支援部１０９は、前記対象物の定義により指定されたものが指定エリアへ侵入した順番、回数、侵入時の時間により異常を検知する作業異常検知支援処理部１１０を有し、作業異常検知支援画面表示部１１１が、前記撮像された画像データを表示する。作業異常検知支援処理部１１０は、表示された画像上のエリアを設定し、指定エリアへ侵入した順番、回数、侵入時の時間を設定する。

【0025】

作業異常検知支援処理部１１０は、設定したエリアに対象物が侵入した際に、判定処理を実施し、作業の画像データが指定した設定条件を満たしていた場合は正常作業とし、指定した設定条件を満たさなかった場合には異常作業とする。

【0026】

また、上述の作業異常検知支援処理部１１０により設定した内容で作業異常検知判定処理部１０８が処理を実行し、作業異常検知判定結果をクライアント端末１３０（ないし表示装置）へ出力する。

【0027】

なお、ネットワーク１２０を介して装置１００と結ばれているクライアント端末１３０は、一般的なコンピュータ端末としてのハードウェアおよびソフトウェアを備えている。また、このクライアント端末１３０は、プログラムを実行することで実装する機能として、表示処理部１３１を備えている。この表示処理部１３１は、作業異常検知ビューア１３２を生成し、クライアント端末１３０の表示装置（不図示）に出力するものである。作業監督者は、上述の画面を閲覧してその内容を確認し、問題となる作業の確認、作業者へのフィードバック、対策方針の検討、作業手順の調整を行うことが可能である。

【0028】

ここで、従来の実施形態の装置１００の処理フローを説明しておく。図２は、従来の実施形態における作業異常検知のフロー例を示す図である。作業異常検知を実施する際、最初に、作業異常検知部１０６は、外部入力装置１０３により撮像された作業の撮像データを取得する（Ｓ２０１）。作業者位置判定処理部１０７は、この撮像データに基づいて、作業開始位置の定義を行う（Ｓ２０２）。例えば、作業者位置判定処理部１０７は、特許文献１に記載のように、過去の複数フレームの画像における個々の画像の特徴量の推移から、作業の開始を判定すればよい。

【0029】

続いて、作業者位置判定処理部１０７は、撮像データの作業を区切り、対象物の定義により、対象物の位置座標を取得できる準備を行う（Ｓ２０３）。例えば、作業者位置判定処理部１０７は、あらかじめ定められた検知対象となる対象物の定義（例えば、大きさ、形状、色彩等の特徴情報）と、所定の時間ごと（例えば、１分間隔）で区切った上記撮像データとを用いて、定義された対象物の各時刻の撮像データにおける位置座標を読み取る。

【0030】

作業者位置判定処理部１０７は、さらに、撮像データにおける対象物に対する正常作業の定義を行う。例えば、作業者位置判定処理部１０７は、画像データから対象物の時系列での画像上の位置情報(以下、動線情報)を取得し、正常作業に対する画像データから取得した動線情報を、正常作業の動線情報として定義する（Ｓ２０４）。

【0031】

最後に、作業異常検知判定処理部１０８は、作業異常検知の実施を行い、前述の定義を利用し、外部入力装置１０３より取得した画像データに対して画像の作業についての正常作業、異常作業の判定を行う（Ｓ２０５）。

【0032】

以下、本実施形態における作業異常検知方法の実施手順について、上述の従来の処理フロー（図２）の流れに並行して装置１００で実行される処理を、図に基づき説明する。以下で説明する作業異常検知方法に対応する各種動作は、装置１００が主記憶装置１１２に読み出して実行するプログラム１０５によって実現される、そして、このプログラム１０５は、以下に説明される各種の動作を行うためのコードから構成されている。

【0033】

図３は、本実施形態における作業異常検知方法の処理フロー図である。本実施形態では、侵入エリアという考え方で、対象物の定義情報、対象物の動線情報、正常作業での対象物の動線情報、作業異常の検知条件を示す定義情報の少なくとも1つに基づいて、異常検知の判定基準を定義することができ、少ない設定時間で異常検知の実施を実現する。

【0034】

まず、図２に示した場合と同様に、作業異常検知を実施する際、作業異常検知部１０６は、外部入力装置１０３により撮像された作業の撮像データを取得する（Ｓ３０１）。

【0035】

続いて、図２に示した場合と同様に、作業者位置判定処理部１０７は、当該撮像データを用いて作業開始位置の定義を行い、対象物の位置座標を取得する（Ｓ３０２、Ｓ３０３）。

【0036】

これらの定義が終了すると、作業異常検知支援処理部１１０は、取得した撮像データ上にエリア侵入条件の定義を行う（Ｓ３０４）。さらに、作業異常検知支援処理部１１０は、設定したエリアに対する異常判定条件の定義を行い、エリア侵入条件を用いた判定の準備を行う（Ｓ３０５）。

【0037】

最後に、作業異常検知支援処理部１１０は、設定したエリアに対する異常判定条件の定義を読み出し、読み出した異常判定条件の定義と、撮像データ上に定義したエリア侵入条件とを比較し、設定したエリアに対して作業者や対象物が侵入したか否かを判定することにより、作業異常検知を行い、作業異常検知支援画面表示部１１１が、当該判定による作業異常検知結果を、作業異常検知ビューア１３２の画面上に出力する（Ｓ３０６）。Ｓ３０４〜Ｓ３０６の処理については、図４を用いて後述する。このようなステップを実行することにより、エリア侵入判定で設定したエリアと作業異常検知結果が視覚的に分かりやすい形での表示を実現する。

【0038】

図４は、本実施形態における画面構成例（図３のＳ３０６で出力される作業異常検知支援画面）を示す図である。本実施形態では、エリア侵入情報として撮像データ上の領域を指定して侵入エリアを定義することで、ユーザに対して視覚的にわかりやすい設定方法を提供し、設定に必要な時間の短縮を実現する。図４では、作業異常検知の判定基準として、上記画面から作業異常の検知条件を示す定義情報が設定される場合の例を示しているが、従来のように、対象物の定義情報、対象物の動線情報、正常作業での対象物の動線情報を組み合わせて作業異常検知を判定してもよい。

【0039】

この作業異常検知支援画面４００は、前記のエリア侵入の定義３０２および異常判定条件の定義３０３を行うための画面データの例となる。当該画面４００は、上述した作業異常検知支援フローにおいて、作業監督者が定義を設定したり、上記作業異常検知結果を確認する際に用いる画面である。

【0040】

図４に示すように、当該画面４００の画面構成は、撮像データの表示領域４０１と、エリア侵入のエリア設定を行うための画面分割数設定領域４０２と、作業異常の検知条件として設定するための、エリア侵入順序設定領域４０３、エリア侵入回数設定領域４０４、タイムアウト設定領域４０５、侵入判定割合領域４０６と、画像データの選択機能４０７と、画像データ再生バー４０８と、画像データ再生ボタン、一時停止ボタン、頭出し再生ボタンの領域４０９を有して構成される。

【0041】

図４を用いて、撮像データを構成するある時刻の画像上の３エリア（エリア４１１、エリア４１２、エリア４１３）に対して、この順番で対象物に対する作業を行う場合の作業異常検知の例について説明する。

【0042】

既に説明したように、外部入力装置１０３により、作業異常検知を実施したい場所の撮影を行って得られた作業の撮像データを取得すると、この撮像データに基づいて作業開始位置の定義、対象物の定義を行い、対象物の位置座標を取得できる準備を行う。

【0043】

従来、正常作業の定義においては、撮影データの中から上記３エリアに対して順番で作業を行っている画像を抽出し、この画像を元に正常作業の動線情報を生成する。動線情報は、時系列に推移する撮像画像の位置座標情報である。このため、従来の技術では、作業場所のレイアウト変更などによるエリア変更が行われた場合には、再度撮影を実施して、エリア変更後の撮像データを取得した上で、新しい３エリアに対して順番で作業を行っている画像を抽出し、この画像を元に正常作業の動線情報を再生成する必要がある。

【0044】

従来の技術では、その上で、最後に、対象物に対し正常作業の動線定義と対象物の動線情報を比較して異常判定し、作業異常検知を実施し、対象物の作業異常検知結果を作業異常検知ビューアの画面上に出力するため、動線情報の定義や調整、さらには異常判定の結果を得るために多くの時間を費やしてしまっていた。

【0045】

このような問題点を改善するために、本実施形態では、画像上の上記３エリアに対して順番で作業を行う場合、従来と同様に、作業異常検知を実施したい場所の撮影を行い、この画像データに基づいて作業開始位置の定義、対象物の定義を行い、対象物の位置座標を取得できる準備を行う。

【0046】

そして、従来とは異なり、エリア侵入の定義と異常判定条件の定義は、作業異常検知支援画面表示部１１１が表示する作業異常検知支援画面４００で設定される。すなわち、本実施の形態では、作業の異常を判定するための検知条件として、撮像画像上における正常作業時のエリア（例えば、正常作業時に対象物が通過するエリア）を侵入エリアとして定義し、当該侵入エリアに対して、作業の対象物が様々な侵入条件を満たしているか否かを判定することにより、当該対象物に対する作業の異常を判定し、その結果を出力している。

【0047】

具体的には、作業異常検知支援画面表示部１１１が、作業監督者から、撮像データの選択ボタン４０７の押下を受け付けると、作業異常検知支援処理部１１０は、選択された撮像データを表示領域４０１に表示する。このとき、作業異常検知支援画面表示部１１１が、撮像データ再生バー４０８をスライドさせて表示時刻の変更操作を受け付けることで、作業異常検知支援処理部１１０は、撮像データの中から時系列に応じた画像の表示切り替えを行う。

【0048】

また、作業異常検知支援画面表示部１１１が、ボタン表示領域４０９の再生ボタンの押下を受け付けることで、作業異常検知支援処理部１１０は、表示領域４０１に表示された撮像データを再生するように切り替える。また、作業異常検知支援画面表示部１１１が、ボタン表示領域４０９の一時停止ボタンの押下を受け付けることで、作業異常検知支援処理部１１０は、表示領域４０１に表示された撮像データを、押下されたタイミングの画像で固定させる。また、作業異常検知支援画面表示部１１１が、ボタン表示領域４０９の頭出し再生ボタンの押下を受け付けることで、作業異常検知支援処理部１１０は、表示領域４０１に表示された撮像データを、時系列の最初の画像から再生させて切り替える。

【0049】

図４では、対象物Ｔが、エリア４１１→エリア４１２→エリア４１３と移動し、再びエリア４１１に移動する作業動線Ｗの例を示している。対象物の少なくとも一部が侵入エリアとして定義されているエリアに侵入した場合に、作業異常検知支援処理部１１０は、対象物がエリアに侵入したとカウントする。このように、作業異常検知支援処理部１１０が、対象物の少なくとも一部に対して侵入判定を実施することで、侵入判定可能な範囲を拡大し、対象物のエリアへの侵入割合を調整することで状況に合わせた侵入判定を実現する。

【0050】

作業監督者が画像上の侵入エリアを指定する際に、作業異常検知支援画面表示部１１１は、画面分割数設定領域４０２から、表示領域４０１に表示される画面を分割するための行列（図４では、縦１０行×横１０列）の指定を受け付ける。作業異常検知支援画面表示部１１１は、当該指定に従って、表示されている画像の表示領域４０１を分割し、分割エリア４１０のうち、少なくとも１つのエリアをクリックした選択操作を受け付ける。この操作により、作業異常検知支援処理部１１０は、選択されたエリアを侵入エリアとして定義する。

【0051】

図４において、上記３つのエリアに対象物が侵入したことを検知する場合は、作業異常検知支援画面表示部１１１は、作業監督者から、エリア４１１、４１２、４１３として１または複数の分割エリアの選択を受け付け、作業異常検知支援処理部１１０は、選択された分割エリアを侵入エリアとして定義する。このように、撮像データを構成する画面を分割した分割エリアの中から１または複数が選択されたエリアを侵入エリアとして定義することにより、作業エリアの変更があった場合であっても、侵入エリアを再選択するだけで、侵入エリアの再定義が可能となる。

【0052】

また、本実施形態では、作業異常検知支援処理部１１０は、前記侵入エリアに対する侵入順序をエリア侵入順序設定領域４０３で定義する。具体的には、作業異常検知支援画面表示部１１１は、作業監督者から、侵入エリアごとに侵入順序の指定を受け付ける。図４では、作業異常検知支援画面表示部１１１は、エリア４１１について、対象物の侵入順序として、１、４の入力を受け付けたことを示している。これは、対象物Ｔが、最初にエリア４１１に侵入し、２番目にエリア４１２、３番目にエリア４１３と侵入した後、４番目に再び侵入することを意味している。

【0053】

エリア侵入順序設定領域４０３では、正常作業が行われたときに対象物が侵入する順序を定義する。作業異常検知支援処理部１１０は、撮像データにおける対象物のエリアへの侵入順序が、定義された侵入順序に一致しているか否かを判定し、侵入順序に一致していると判定した場合には正常作業として判定する。一方、作業異常検知支援処理部１１０は、上記判定において、侵入順序と一致しないと判定した場合、本来の作業順序と異なっていると判断し、異常作業として判定する。この侵入順序の考え方により、作業エリアだけでなく作業手順に対する検知を可能にすることができる。

【0054】

さらに、本実施形態では、作業異常検知支援処理部１１０は、前記侵入エリアに対する侵入回数をエリア侵入回数設定領域４０４で定義する。具体的には、作業異常検知支援画面表示部１１１は、作業監督者から、侵入エリアごとに侵入回数の指定を受け付ける。図４では、作業異常検知支援画面表示部１１１は、エリア４１１について、対象物の侵入回数として、２回を受け付けたことを示している。これは、対象物Ｔが、上述したように、エリア４１１に２回侵入することを意味している。

【0055】

エリア侵入回数設定領域４０４では、正常作業が行われたときに対象物が侵入する回数を定義する。作業異常検知支援処理部１１０は、対象物の侵入回数が、定義された侵入回数に一致しているか否かを判定し、侵入回数に一致していると判定した場合には正常作業として判定する。例えば、作業異常検知支援処理部１１０は、１回目にエリア４１１に対象物が侵入したときには、図示しないカウンタを１にセットし、２回目にエリア４１１に対象物が侵入したときには、当該カウンタを２にカウントアップする。そして、作業が終了すると、作業異常検知支援処理部１１０は、カウンタの値と、エリア侵入回数設定領域４０４で設定された値とを比較し、両者が一致しているか否かを判定する。作業異常検知支援処理部１１０は、両者が一致していると判定した場合には、正常作業が行われたと判定する一方、両者が一致しないと判定した場合は、異常作業として判定する。このような侵入回数の設定と前記侵入順序とを組み合わせることで、複雑な作業手順に対しての検知を実現することができる。

【0056】

さらに、本実施形態では、作業異常検知支援処理部１１０は、前記侵入エリアに対するタイムアウトをタイムアウト設定領域４０５で定義する。具体的には、作業異常検知支援画面表示部１１１は、作業監督者から、侵入エリアごとに対象物が侵入するまでの時間の指定を受け付ける。図４では、作業異常検知支援画面表示部１１１は、エリア４１１について、タイムアウトとして、１０秒を受け付けたことを示している。これは、対象物Ｔがエリア４１１に侵入するまでの許容時間が１０秒である、すなわち、あるエリアからエリア４１１に対象物が移動して侵入するまでの時間が１０秒以内でなければならず、エリア４１３からエリア４１１に対象物が移動して侵入するまでの時間が１０秒以内でなければならないことを示している。

【0057】

タイムアウト設定領域４０５では、上述のとおり、対象物が侵入しなかったと判定するための時間が定義され、作業異常検知支援処理部１１０は、対象物が侵入エリアに定義された時間内に移動して侵入したか否かを判定し、定義された時間内に移動して侵入したと判定した場合には正常作業と判定する一方、定義された時間内に移動して侵入していないと判定した場合は、異常作業と判定する。このような侵入エリアとタイムアウトの考え方により、侵入エリア間の作業時間についての逸脱を検知することができる。

【0058】

さらに、本実施形態では、作業異常検知支援処理部１１０は、対象物が侵入エリアに侵入したと判定するために、対象物のエリアへの侵入割合を侵入判定割合領域４０６で定義する。具体的には、作業異常検知支援画面表示部１１１は、作業監督者から、侵入エリアごとに対象物が侵入したと判定するために、対象物に占めるエリアの割合の入力を受け付ける。図４では、作業異常検知支援画面表示部１１１は、対象物Ｔが、エリア４１１にすべて侵入しており、定義された値である、画像上における対象物Ｔの面積の８０％以上が重なっていることを示している。作業異常検知支援処理部１１０は、対象物の侵入割合が、定義された割合（例えば、８０％）以上であるか否かを判定し、定義された割合以上であると判定した場合には正常作業として判定する。一方、作業異常検知支援処理部１１０は、上記判定において、定義された割合未満であると判定した場合には、正しく対象物が移動されていないと判断し、異常作業として判定する。このように、対象物の全体が侵入すれば侵入と判定したい場合は侵入割合を大きく設定し、対象物の一部でも侵入すれば侵入と判定したい場合は侵入割合を小さく設定することで状況に応じた検知を実現することができる。

【0059】

そして、作業異常検知支援処理部１１０は、対象物に対して、エリアごとに、上記エリア侵入順序設定領域４０３、エリア侵入回数設定領域４０４、タイムアウト設定領域４０５、侵入判定割合領域４０６で設定された定義と、撮像データを構成する各画像上における対象物の移動を示す作業動線とを比較し、これらの定義で示される条件を満たしているか否かを判定することにより、作業異常検知を実施し、侵入エリアごとに、侵入エリアと定義した場所と対象物の作業異常検知結果を出力し、作業異常検知支援画面表示部１１１が、作業異常検知ビューアの画面上に表示する。例えば、作業異常検知支援処理部１１０は、エリア４１１について、エリア４１１の位置を示す場所と、エリア侵入順序設定領域４０３で定義された順序どおりに対象物が移動した旨（または移動しなかった旨）およびその順序と、エリア侵入回数設定領域４０４で定義された回数どおりに対象物が侵入した旨（または侵入しなかった旨）およびその回数と、タイムアウト設定領域４０５で定義された時間内に対象物が侵入した旨（または侵入しなかった旨）およびその時間と、侵入判定割合領域４０６で定義された割合で対象物が侵入した旨（または侵入しなかった旨）およびその割合とを出力し、作業異常検知支援画面表示部１１１が、これらの情報を作業異常検知ビューア１３２に表示する。

【0060】

このように、本実施の形態では、作業異常検知支援画面表示部１１１が、撮像部である外部入力装置１０３により撮像された撮像データを構成する撮像画像を表示部である作業異常検知ビューア１３２に表示し、当該撮像画像に対して、正常作業時における当該作業の対象物が侵入する侵入エリアの指定を受け付け、作業異常検知支援処理部１１０が、撮像データにより得られる対象物に対する作業動線と、指定された侵入エリアとに基づいて、対象物に対する作業が異常であるか否かを判定し、当該判定の結果を上記表示部に出力する。そして上記のような処理を行うことにより、作業の逸脱をユーザである作業監督者に分かりやすく提示することができ、作業動線に対する効率的な調整が可能となる。すなわち、エリア侵入という判定方法を用いることで作業の逸脱定義を画面上からユーザが分かりやすく短時間で設定できるようになり、正常作業定義の調整が必要になった場合には動線の再作成を行わずにエリアの再定義という効率的な正常作業定義を可能とすることができる。 また、作業異常検知支援処理部１１０は、対象物の定義、撮像データにより得られる対象物に対する作業動線、正常作業時の対象物の作業動線、作業異常の検知条件、の少なくとも１つに基づいて、上記判定を行うので、従来の手法を併用した場合でも、少ない設定時間で異常検知の実施を実現することができる。

【0061】

また、作業異常検知支援画面表示部１１１は、撮像画面を分割するための分割情報（例えば、図４に示した画面分割数）に基づいて撮像画面を分割し、分割した分割エリアの選択操作を受け付け、
作業異常検知支援処理部１１０は、選択された少なくとも１つ以上の分割エリアを侵入エリアとして定義するので、作業監督者は、容易かつ直感的に侵入エリアを定義することができる。

【0062】

また、作業異常検知支援処理部１１０は、作業動線上の対象物の少なくとも一部が侵入エリアに侵入した場合に、当該侵入エリアに対象物が侵入したとカウントするので、対象物が定義した侵入エリア内に収まらない場合であっても、作業の異常を判定することができる。

【0063】

また、作業異常検知支援画面表示部１１１は、上記検知条件として、対象物が侵入エリアに侵入した順序の指定を受け付け、作業異常検知支援処理部１１０は、撮像データにおける対象物の侵入エリアへの侵入順序が、指定された順序に一致しているか否かを判定することにより、対象物に対する作業が異常であるか否かを判定するので、対象物の移動を伴う作業において、例えば、当該順序の誤りを作業の異常として判定することができる。

【0064】

また、作業異常検知支援画面表示部１１１は、上記検知条件として、対象物が侵入エリアに侵入した回数の指定を受け付け、作業異常検知支援処理部１１０は、撮像データにおける対象物の侵入エリアへの侵入回数が、指定された回数に一致しているか否かを判定することにより、対象物に対する作業が異常であるか否かを判定するので、対象物の移動を伴う作業において、例えば、当該回数の不足を作業の異常として判定することができる。

【0065】

また、作業異常検知支援画面表示部１１１は、上記検知条件として、対象物が侵入エリアに侵入するまでの時間を示すタイムアウト時間の指定を受け付け、作業異常検知支援処理部１１０は、撮像データにおける対象物の侵入エリアに侵入するまでの時間が、指定されたタイムアウト時間内であるか否かを判定することにより、対象物に対する作業が異常であるか否かを判定するので、対象物の移動を伴う作業において、例えば、制限時間を超えたことを作業の異常として判定することができる。

【0066】

また、作業異常検知支援画面表示部１１１は、上記検知条件として、対象物が侵入エリアに侵入したと判定するための対象物に占める侵入エリアの割合の指定を受け付け、作業異常検知支援処理部１１０は、撮像データにおける対象物に占める侵入エリアの割合が、指定された割合以上であるか否かを判定することにより、対象物に対する作業が異常であるか否かを判定するので、対象物の移動を伴う作業において、例えば、対象物の所定位置から他の所定位置までの移動の精度が基準に満たないことを作業の異常として判定することができる。

【0067】

また、作業異常検知支援処理部１１０は、上記判定の結果として、侵入エリアごとに、侵入エリアと定義した場所と対象物の作業異常検知結果を出力し、作業異常検知支援画面表示部１１１は、侵入エリアと定義した場所と対象物の作業異常検知結果とを作業異常検知ビューア１３２に表示するので、作業監督者は、どのエリアにおいてどの対象物に対する作業が異常であるのかを、一見して把握することができる。

【符号の説明】

【0068】

１００ 作業異常検知支援装置
１０１ 演算装置
１０２ 通信装置
１０３ 外部出力装置
１０４ 補助記憶装置
１０５ プログラム
１０６ 作業異常検知部
１０７ 作業者位置判定処理部
１０８ 作業異常検知判定処理部
１０９ 作業異常検知支援部
１１０ 作業異常検知支援処理部
１１１ 作業異常検知支援画面表示部
１１２ 主記憶装置
１１３ 作業動線情報
１２０ ネットワーク
１３０ クライアント端末
１３１ 表示処理部
１３２ 作業異常検知ビューア
４００ 作業異常検知支援画面
４０１ 画像データ表示領域
４０２ 画面分割数設定領域
４０３ エリア侵入順序設定領域
４０４ エリア侵入回数設定領域
４０５ タイムアウト設定領域
４０６ 侵入判定割合設定領域
４０７ 画像データ選択
４０８ 画像データ再生バー
４０９ ボタン表示領域
４１０ 分割エリア領域
４１１ 侵入エリア領域１
４１２ 侵入エリア領域２
４１３ 侵入エリア領域３

【図1】

【図2】

【図3】

【図4】