特許 7139987 工程情報取得システム、工程情報取得方法、および工程情報取得プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-12

(45)【発行日】2022-09-21

(54)【発明の名称】工程情報取得システム、工程情報取得方法、および工程情報取得プログラム

(51)【国際特許分類】

   G05B 19/418 20060101AFI20220913BHJP

   G06T 7/20 20170101ALI20220913BHJP

   G06Q 10/06 20120101ALI20220913BHJP

【ＦＩ】

G05B19/418 Z

G06T7/20

G06Q10/06 332

【請求項の数】 11

(21)【出願番号】P 2019021844

(22)【出願日】2019-02-08

(65)【公開番号】P2020129287

(43)【公開日】2020-08-27

【審査請求日】2021-06-28

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110000671

【氏名又は名称】八田国際特許業務法人

(72)【発明者】

【氏名】安田 浩平

【審査官】山本 裕太

(56)【参考文献】

【文献】国際公開第２０１８／０８７８４４（ＷＯ，Ａ１）

【文献】特開２００２－１３２３２４（ＪＰ，Ａ）

【文献】特開２０１８－１０９５５８（ＪＰ，Ａ）

【文献】特開２０１７－１３４６９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ １９／４１８

Ｇ０６Ｔ ７／２０

Ｇ０６Ｑ １０／０６

(57)【特許請求の範囲】

【請求項1】

設備、および作業者の作業範囲を撮影範囲に含むカメラと、
前記カメラからの画像データを取得して、前記画像データの画像から前記設備の稼働状態および前記作業者の作業状態を認識するとともに、前記画像データの画像から撮影範囲内にある物品を認識して、前記設備の稼働状態を設備情報、前記作業者の作業状態を作業者情報、物品の種類と状態を物品情報として収集し、前記設備情報、前記作業者情報、および前記物品情報に基づいて、前記撮影範囲内の工程の作業手順を判定する演算部と、
を有する、工程情報取得システム。

【請求項2】

前記演算部は、前記画像データの画像に写っている信号灯の色の変化または発光位置の変化から前記設備の稼働状態を認識し、前記画像データの画像に写っている前記作業者の位置および／または向きから前記作業者の作業状態を認識する、請求項１に記載の工程情報取得システム。

【請求項3】

前記カメラは、広角レンズまたは魚眼レンズを備え、
広角レンズまたは魚眼レンズを使用して撮影された画像にゆがみがある場合はこれを補正するための画像補正部を有する、請求項１または２に記載の工程情報取得システム。

【請求項4】

前記画像データを記憶する記憶部を有し、
前記演算部は、あらかじめ決められた期間の前記画像データを前記記憶部に記憶させる、請求項１～３のいずれか１つに記載の工程情報取得システム。

【請求項5】

前記演算部は、収集した前記設備情報、前記作業者情報、前記物品情報から、前記設備により製品を生産するために費やしたリソース、および／または生産にかかるリードタイムを計算する、請求項１～４のいずれか１つに記載の工程情報取得システム。

【請求項6】

設備および作業者の作業範囲を撮影するカメラから画像データを取得する段階（ａ）と、
前記画像データの画像から前記設備の稼働状態および前記作業者の作業状態を認識するとともに、前記画像データの画像内にある物品を認識する段階（ｂ）と、
前記設備の稼働状態を設備情報、前記作業者の作業状態を作業者情報、物品の種類と状態を物品情報として収集し、前記設備情報、前記作業者情報、および前記物品情報に基づいて前記撮影範囲内の工程の作業手順を判定する段階（ｃ）と、
を有する、工程情報取得方法。

【請求項7】

前記段階（ａ）は、前記画像データの画像に写っている信号灯の色の変化または発光位置の変化から前記設備の稼働状態を認識し、前記画像データの画像に写っている前記作業者の位置および／または向きから前記作業者の作業状態を認識する、請求項６に記載の工程情報取得方法。

【請求項8】

前記カメラは、広角レンズまたは魚眼レンズを備え、
前記段階（ａ）と前記段階（ｂ）の間に、前記広角レンズまたは前記魚眼レンズを使用して撮影された画像にゆがみがある場合はこれを補正する段階（ｄ）を有する、請求項６または７に記載の工程情報取得方法。

【請求項9】

さらに、あらかじめ決められた期間の前記画像データを記憶部に記憶させる段階（ｅ）を有する、請求項６～８のいずれか１つに記載の工程情報取得方法。

【請求項10】

さらに、収集した前記設備情報、前記作業者情報、前記物品情報から、前記設備により製品を生産のために費やしたリソース、および／または生産にかかるリードタイムを計算する段階（ｆ）を有する、請求項６～９のいずれか１つに記載の工程情報取得方法。

【請求項11】

請求項６～１０のいずれか１つに記載の工程情報取得方法をコンピューターに実行させるための工程情報取得プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、工程情報取得システム、工程情報取得方法、および工程情報取得プログラムに関する。

【背景技術】

【0002】

近年、自動工作機などの設備を用いた工場においては、設備の稼働状況や、作業者の作業状態を認識すること、生産性の向上を図るための分析システムの開発が行われている。

【0003】

たとえば、特許文献１おいては、作業者に持たせたＲＦＩＤタグから位置情報、生産設備の電気信号から設備の稼働情報をそれぞれ受信して作業者の作業比率を自動で割り出し、合わせてカメラにより作業者の作業状態を撮影して記録することで、観測者が作業者の作業を観測する手間を省けるようにした作業分析システムを開示している。

【0004】

この作業分析システムは、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）タグから出される情報信号を受信する情報受信装置と、情報受信装置の情報を位置情報として処理する上位システムＡと、生産設備から発信される電気信号を受信する電気信号受信装置と、電気信号受信装置の電気信号を処理する上位システムＢと、作業者の作業状態を撮影するカメラと、カメラで撮影した映像を録画再生するレコーダーと、カメラの撮影とレコーダーの録画再生を制御する上位システムＣと、カメラ、レコーダー、上位システムＣを接続するネットワーク機器と、上位システムＡから位置情報を、上位システムＢから設備の稼動情報を受け取り、かつ作業者とＲＦＩＤタグの対応付け情報と設備位置情報を蓄えるデータベースＡと、データベースＡから対応付け情報、位置情報および稼動情報を受け取り作業者の作業分析をする分析装置と、分析装置で分析したアウトプットを蓄えるデータベースＢと、データベースＢで蓄えるアウトプットを視覚化するモニタリング端末とを備えている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１２－２０３７７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来技術においては、作業者（人）が携帯するＲＦＩＤタグの信号を専用の情報受信装置で受信し、設備からの電気信号を別の専用の電気信号受信装置で受信し、さらにカメラからの映像を専用のレコーダーで受信して録画している。さらに従来技術おいては、これら複数の専用の装置が受信または録画した信号や映像を、さらに別々の上位システムＡ、Ｂ、およびＣによって収集して、これら上位システムＡ、Ｂ、およびＣをネットワークにより接続することで、収集した複数の信号や映像を分析している。

【0007】

このため、従来技術おいては、設備や人の情報を収集する様々なセンサーや、ＲＦＩＤタグのような作業者が携帯する電子タグを必要としている。また、従来技術おいては、生産に関する物品の情報が得られていない。このため従来技術おいては、設備や人の情報を収集するために必要となるセンサーや電子タグの選定から工事まで含めると大きな投資が必要になる。また、作業者には必ず電子タグを携帯させる必要があり、作業者に追加の工数を負担させることになる。さらに従来技術おいては、収集した情報の時系列が異なるため、これらの統合に多くの工数がかかるなど、様々な問題があった。

【0008】

本発明は、上記の事情に鑑みてなされたものであり、本発明の目的は、複数のセンサーや作業者が携帯する電子タグを使用することなく、設備や作業者の状態、物品の情報を取得することのできる、工程情報取得システム、工程情報取得方法、および工程情報取得プログラムを提供することである。

【課題を解決するための手段】

【0009】

本発明の上記の目的は、下記の手段によって達成される。

【0010】

（１）設備、および作業者の作業範囲を撮影範囲に含むカメラと、
前記カメラからの画像データを取得して、前記画像データの画像から前記設備の稼働状態および前記作業者の作業状態を認識するとともに、前記画像データの画像から撮影範囲内にある物品を認識して、前記設備の稼働状態を設備情報、前記作業者の作業状態を作業者情報、物品の種類と状態を物品情報として収集し、前記設備情報、前記作業者情報、および前記物品情報に基づいて、前記撮影範囲内の工程の作業手順を判定する演算部と、
を有する、工程情報取得システム。

【0011】

（２）前記演算部は、前記画像データの画像に写っている信号灯の色の変化または発光位置の変化から前記設備の稼働状態を認識し、前記画像データの画像に写っている前記作業者の位置および／または向きから前記作業者の作業状態を認識する、上記（１）に記載の工程情報取得システム。

【0012】

（３）前記カメラは、広角レンズまたは魚眼レンズを備え、
広角レンズまたは魚眼レンズを使用して撮影された画像にゆがみがある場合はこれを補正するための画像補正部を有する、上記（１）または（２）に記載の工程情報取得システム。

【0013】

（４）前記画像データを記憶する記憶部を有し、
前記演算部は、あらかじめ決められた期間の前記画像データを前記記憶部に記憶させる、上記（１）～（３）のいずれか１つに記載の工程情報取得システム。

【0014】

（５）前記演算部は、収集した前記設備情報、前記作業者情報、前記物品情報から、前記設備により製品を生産するために費やしたリソース、および／または生産にかかるリードタイムを計算する、上記（１）～（４）のいずれか１つに記載の工程情報取得システム。

【0015】

（６）設備および作業者の作業範囲を撮影するカメラから画像データを取得する段階（ａ）と、
前記画像データの画像から前記設備の稼働状態および前記作業者の作業状態を認識するとともに、前記画像データの画像内にある物品を認識する段階（ｂ）と、
前記設備の稼働状態を設備情報、前記作業者の作業状態を作業者情報、物品の種類と状態を物品情報として収集し、前記設備情報、前記作業者情報、および前記物品情報に基づいて前記撮影範囲内の工程の作業手順を判定する段階（ｃ）と、
を有する、工程情報取得方法。

【0016】

（７）前記段階（ａ）は、前記画像データの画像に写っている信号灯の色の変化または発光位置の変化から前記設備の稼働状態を認識し、前記画像データの画像に写っている前記作業者の位置および／または向きから前記作業者の作業状態を認識する、上記（６）に記載の工程情報取得方法。

【0017】

（８）前記カメラは、広角レンズまたは魚眼レンズを備え、
前記段階（ａ）と前記段階（ｂ）の間に、前記広角レンズまたは前記魚眼レンズを使用して撮影された画像にゆがみがある場合はこれを補正する段階（ｄ）を有する、上記（６）または（７）に記載の工程情報取得方法。

【0018】

（９）さらに、あらかじめ決められた期間の前記画像データを記憶部に記憶させる段階（ｅ）を有する、上記（６）～（８）のいずれか１つに記載の工程情報取得方法。

【0019】

（１０）さらに、収集した前記設備情報、前記作業者情報、前記物品情報から、前記設備により製品を生産のために費やしたリソース、および／または生産にかかるリードタイムを計算する段階（ｆ）を有する、上記（６）～（９）のいずれか１つに記載の工程情報取得方法。

【0020】

（１１）上記（６）～（１０）のいずれか１つに記載の工程情報取得方法をコンピューターに実行させるための工程情報取得プログラム。

【発明の効果】

【0021】

本発明によれば、カメラによって撮影された画像から、設備の稼働状態、作業者の作業状態、物品の認識を行うことによって、複数のセンサーや作業者が携帯する電子タグを使用することがなくなる。これにより、初期投資を抑えることができ作業者の負担もなく、データの時系列合わせも必要なく、設備や作業者、さらには物品の情報を取得することができる。

【図面の簡単な説明】

【0022】

【図1】実施形態の工程情報取得システムの構成を説明するための説明図である。

【図2】実施形態の工程情報取得システムの機能構成を説明するためのブロック図である。

【図3】骨格認識技術を用いた作業者の位置および向きの検出を説明するための説明図である。

【図4】処理手順を示すフローチャートである。

【発明を実施するための形態】

【0023】

以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0024】

図１は、実施形態の工程情報取得システムの構成を説明するための説明図である。図２は、実施形態の工程情報取得システムの機能構成を説明するためのブロック図である。なお、図１に描かれている設備、作業テーブル、および作業者の大きさ、向き、配置などは、あくまでも本実施形態を説明するための概念的なものであり、実際の作業現場がこのような構成となっているものではない。

【0025】

工程情報取得システム１は、サーバー１０と、サーバー１０に接続されたカメラ２０と、を有する。

【0026】

カメラ２０は、設備５０の信号灯５１、および作業者の作業範囲を撮影範囲として含む。本実施形態においては、カメラ２０の撮影範囲には、設備５０の信号灯５１のほかに、設備５０の操作パネル５２、扉５３、さらに作業テーブル５５が含まれる。作業者の作業範囲は、これらを含み、作業者がこれらに対して作業を行うために必要な範囲である。

【0027】

設備５０は、どのような設備でもよく、たとえば、数値制御加工機などの自動加工機である。また、以下の説明において、生産とは、自動加工機による物品の加工を含む。

【0028】

カメラ２０は、たとえば、設備５０と作業テーブル５５を含めて、作業者が作業する範囲を上方から撮影する位置に設置されている。作業者の上方から撮影することで、撮影された画像において作業者が腕を出している方向が認識される。このため本実施形態においては、作業者が腕を出している方向から作業者の向きが認識される（詳細後述）。さらに、カメラ２０は、設備５０の操作パネル５２を撮影できる位置に設置されることがより好ましい。特に、カメラ２０は、操作パネル５２にあるディスプレイを撮影できる位置に設置されることがより好ましい。これらのことから、本実施形態においては、カメラ２０を、設備５０の斜め上方に設置し、作業者を上から撮影できるようにするとともに、操作パネル５２も撮影できるようにした。操作パネル５２に表示される内容からは、信号灯５１の情報に加えて、設備５０の状態をより詳しく認識することができる。

【0029】

カメラ２０は、動画または連続した静止画を撮影できるものであれば特に限定されない。具体的には、カメラ２０として、たとえば、一般的なムービーカメラやスチールカメラを用いることができる。カメラ２０は、後述するように、サーバー１０と通信するためのインターフェース（不図示）を備えている。カメラ２０からは、画像データが出力されて、サーバー１０へ送信される。画像データは、動画または連続した静止画を示すデータであるが、本実施形態おいては、動画を撮影するものとした。なお、連続した静止画を撮影する場合は、撮影間隔は、作業状態を認識できる程度の時間間隔とする。この時間間隔があまり開いてしまうと作業状態の認識が難しくなる。作業内容にもよるが、たとえば撮影間隔を１０秒以下とすることが好ましい。

【0030】

また、カメラ２０は、１台のカメラ２０で作業範囲全体を撮影できるように、たとえば、広角レンズや魚眼レンズを備えることが好ましい。広角レンズや魚眼レンズを備えた場合は、撮影された画像にゆがみが生じる場合がある。広角レンズや魚眼レンズを備えた場合は、カメラ２０側またはサーバー１０側、あるいは、これらとは別に、広角レンズや魚眼レンズ特有の画像のゆがみを補正する画像補正部を設けることが好ましい。広角レンズや魚眼レンズを備えた場合は、画像補正部によって画像補正を行った画像データを用いることで、画像処理を効率的に行うことができる。本実施形態においては、サーバー１０が画像補正部１１５の機能を有する（図２参照）。画像補正部１１５の機能は、ソフトウェアによって実現することができる。

【0031】

サーバー１０は、図２に示すように、演算部１１、記憶部１２、およびインターフェース１３（Ｉ／Ｆ）を有する。

【0032】

演算部１１は、その機能として、画像データから設備５０の稼働状態を認識する設備状態認識部１１１、作業者の作業状態を認識する作業認識部１１２、物品の種類と状態を認識する物品認識部１１３、設備５０の稼働状態、作業者の作業状態、物品の種類と状態から、工程全体の稼働状態を分析する分析処理部１１４を有する。各部の機能の詳細は後述する。また、演算部１１は、必要に応じて画像補正部１１５を有する。画像補正部１１５の機能は、前述のとおりである。

【0033】

演算部１１は、サーバー１０において、各種の演算処理を実行するプロセッサー（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ＵｎｉｔもしくはＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

【0034】

記憶部１２は、サーバー１０に備えられた記憶装置であり、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などが適宜組み合わされて構成されている。ＲＯＭは、各種プログラムおよび各種データを保存する読み取り専用の記憶装置である。ＲＡＭは、作業領域として一時的にプログラムおよびデータを記憶する高速のランダムアクセス記憶装置である。ＨＤＤは、各種プログラムや各種データを保存する大容量のランダムアクセス記憶装置である。もちろん、記憶部１２は、その他の記憶装置であってもよい。

【0035】

インターフェース１３は、カメラ２０から画像データの入力を受信する。インターフェース１３は、カメラ２０に備えられているインターフェース１３に合わせて、たとえば、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢなどの有線通信インターフェース、ＩＥＥＥ１３９４などの規格によるＢｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信インターフェースなどである。このようなサーバー１０が有するインターフェース１３は、カメラ２０からの入力を受信するだけでなく、他の外部機器とデータを送受信するためにも使用される。なお、サーバー１０へ入力される画像データは、本実施形態おいては、デジタルデータとして説明するが、これに限定されない。仮に、カメラ２０が出力する画像データが、アナログデータの場合は、デジタルデータに変換するための装置をカメラ２０やサーバー１０、またはカメラ２０とサーバー１０の間に設ければよい。サーバー１０がアナログデータを受信する場合は、サーバー１０は、アナログ回線用のインターフェース１３を備える。

【0036】

サーバー１０は、一般的なコンピューターであり、各機能はサーバー１０となるコンピューターが各部の機能を実施するためのプログラムを実行することで達成される。

【0037】

以下、サーバー１０の機能をさらに説明する。

【0038】

演算部１１は、受信した画像データを記憶部１２に記憶させる。記憶させる期間は、たとえば、数時間から数日、数週間など、必要に応じて選定される。もちろん記憶部１２には、画像データを記憶するために必要な容量が確保される。

【0039】

設備状態認識部１１１は、画像データにより示される画像から、設備５０に設けられている信号灯５１の色を認識して、設備５０の稼働状態を認識する。

【0040】

設備状態認識部１１１は、画像データが記憶部１２に記憶されるのとほぼ同時に画像データを読み出してリアルタイムに処理する。リアルタイムに処理されることで、現在の稼働状態が判断される。

【0041】

信号灯５１は、積層信号灯、シグナルタワーなどとも称されており、たとえば、設備５０の稼働状態に合わせて発光する緑色、黄色、赤色の３色のランプを有する。信号灯５１の各色は、たとえば以下のような状態を示している。緑色は、設備５０が正常に稼働中であるという状態を示す。黄色は正常に一時停止中であるという状態を示す。赤色は不具合発生などによる異常停止中であるという状態を示す。また、信号灯５１が消灯している場合は、設備５０が正常に停止しているという状態を示す。作業工程においては、通常、加工する物品を設備５０に設置したり、設備５０から取り出したりするときは、安全のために設備５０の電源をオフにする。このような場合、信号灯５１は、消灯する。なお、設備５０によっては、電源をオフにしなくても物品の設置や取り出しができるものがある。このような設備５０の場合は、物品の設置や取り出しの際、信号灯５１は黄色の点灯や点滅となる。また、計画的に設備５０を停止させているときも、信号灯５１は、消灯する。このような信号灯５１の発光色と、その時の設備５０の状態は、任意に設定可能であり、上記の組み合わせに限定されない。

【0042】

設備状態認識部１１１は、画像において、信号灯５１が写っている所定領域をあらかじめ設定しておいて、その所定領域内の色変化から設備５０の稼働状態を認識する。なお、設備状態認識部１１１は、信号灯５１の色ではなく、発光位置から設備５０の稼働状態を認識してもよい。信号灯５１は、たとえば、上から赤色、黄色、緑色の順となっている。

【0043】

また、設備状態認識部１１１は、操作パネル５２の表示から設備５０の稼働状態を認識することもできる。この場合、設備状態認識部１１１は、画像において、操作パネル５２が写っている領域をあらかじめ設定しておいて、その領域内の文字を認識する。本実施形態おいては、カメラ２０、設備５０ともに固定物であるので、画像が動画であっても、操作パネル５２が写っている領域が移動することはない。たとえば、設備５０が自動加工機である場合、操作パネル５２に表示される文字は、それほど種類が多いものではない。操作パネル５２に表示される文字は、たとえば、時間であったり、現在の状態を示すコード番号などであったりする。これらは、英数字による略号や数値の場合が多い。したがって、設備状態認識部１１１は、英数字を文字認識できるだけでもよい。もちろん、設備状態認識部１１１は、英数字に限らず、ひらがな、カタカナ、漢字などを画像から文字認識できるようにしてもよい。

【0044】

たとえば、信号灯５１が緑色で、操作パネル５２に数字が表示されている場合は、当該数字は、作業終了までの時間、または作業開始からの経過時間であると認識される。作業終了までの時間か、経過時間かは、あらかじめ設定しておいてもよいし、または、数値が時間経過に伴い減る場合は作業終了までの時間、増える場合は経過時間などと判断されてもよい。また、信号灯５１が黄色や赤色で、操作パネル５２に数字が表示されている場合は、停止している理由を示すコードが表示されているものと認識される。たとえば、信号灯５１が黄色の場合に表示されているコードから、設備５０の加工途中での確認のための停止、あるいは加工終了による停止などであると認識されてもよい。また、信号灯５１が赤色の場合には、異常を示すコードが表示されていると認識される。記憶部１２には、これらのコードの数値とそれに対応する理由が記憶される。設備状態認識部１１１は、読み取ったコードと、記憶部１２に記憶されている理由を対比することで、停止理由を判断する。判断された停止理由は、たとえば、工程管理用のコンピューターなど（不図示）へ送信されることで、工程管理者に設備５０の停止と、その理由を知らせることができる。

【0045】

また、たとえば、自動工作機においては、操作パネル５２には、電圧値や電流値、そのほかの数値が表示される。このような設備５０においては、電圧値や電流値の表示（数値）を文字認識することで、設備５０の稼働状態として、現在実行中の加工の状態が細かく認識される。

【0046】

そのほかの態様としては、たとえば、単純に、操作パネル５２が写っている画像が工程管理用のコンピューターなどへ送信されてもよい。この場合は、操作パネル５２の表示から文字認識されなくてもよい。また、この場合は、あらかじめ操作パネル５２の領域が工程管理用のコンピューターにおいて拡大表示されるように設定されてもよい。

【0047】

さらに、設備状態認識部１１１は、操作パネル５２を監視することで、操作パネル５２での入力操作なども認識することができる。

【0048】

このように、本実施形態おいては、信号灯５１の色だけでなく、操作パネル５２の表示を読み取ることで、より細かな設備５０の稼働状態を認識することができる。

【0049】

また、設備状態認識部１１１は、設備５０の扉５３の位置から、扉５３の開閉状態を認識して、設備５０の稼働状態を認識することもできる。扉５３の開閉状態は、たとえば、画像から扉５３の特徴を抽出して、その特徴となっている部分の位置が、時系列に並んだ画像のフレーム間で異なることによって認識される。扉５３の特徴とは、画像から扉５３を識別するための特徴量である。このような特徴量は、たとえば、扉５３全体でもよいし、扉５３と共に移動する付属物（たとえば、取っ手など）などでもよい。特徴量はあらかじめ記憶部１２に記憶させておいて、画像から扉５３を識別する際に使用する。

【0050】

具体的には、たとえば、扉５３が開いていれば設備５０に対して物品を出し入れしたと認識される。また、信号灯５１との組み合わせとしては、たとえば、扉５３が開く前まで消灯していれば、扉５３が開かれたときに物品が設備５０に設置されたと認識される。また、扉５３が開く前まで緑色で、その後、消灯に変化して、扉５３が開かれたときには、物品が設備５０から取り出されたと認識される。また、黄色のときに扉５３が開かれたときには、加工中の物品が確認されていると認識される。

【0051】

このように、本実施形態においては、さらに扉５３の開閉状態を認識することで、いっそう細かく設備５０の稼働状態を認識することができる。

【0052】

本実施形態おいては、設備状態認識部１１１によって得られる設備５０の情報、すなわち信号灯５１の発光色（消灯を含む）、操作パネル５２から認識された文字列や操作、扉５３の開閉状態を総称して設備情報という。

【0053】

次に、作業認識部１１２は、画像データから作業者の位置と向きを検出して、設備５０に対する作業（設備作業）か、それ以外の作業（非設備作業）かを認識する。

【0054】

画像データからの作業者の位置および向きの検出は、既存の技術を用いることができる。既存の技術としては、たとえば、オープンポーズ（Ｏｐｅｎ Ｐｏｓｅ（https://github.com/CMU-Perceptual-Computing-Lab/openpose など参照））や、ディープポーズ（Ｄｅｅｐ Ｐｏｓｅ（https://www.slideshare.net/mitmul/deeppose-human-pose-estimation-via-deep-neural-networks など参照））を用いることができる。オープンポーズやディープポーズは、２次元の画像データから人の骨格を推定して姿勢を認識する技術である、このような技術は、骨格認識技術と称されている。そのほかには、デプスカメラ（ＲＢＧ－Ｄカメラ）やＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）を使用した技術を用いることができる。この場合は、カメラ２０として、通常のムービーカメラに代えて、距離を含めて画像認識できる専用のカメラを用いてもよい。

【0055】

骨格認識技術を用いた作業者の位置および向きの検出について、具体例を挙げて説明する。図３は、骨格認識技術を用いた作業者の位置および向きの検出を説明するための説明図である。

【0056】

図３における撮影範囲は、作業者が作業を行う領域と重なるように設定されている。したがって、作業者は撮影範囲内において作業をする。作業者が作業を行う範囲を、作業範囲と称する。なお、これに代えて、撮影範囲が、作業範囲よりも広く設定され、作業認識部１１２は、画像データの画像にあらかじめ設定された作業範囲内の作業者のみ検出対象とするようにしてもよい。

【0057】

まず、作業認識部１１２は、撮影範囲内の作業者を検出する。そして、作業認識部１１２は、作業者を検出したなら、作業者の頭や肩などの要部骨格の座標値を取得する。要部骨格の座標値から作業者の位置が検出される。骨格認識技術においては、撮影範囲において、処理に必要な座標系があらかじめ設定される。たとえば、２次元座標系が設定されるが、それ以外にも３次元座標系が設定されてもよい。また、作業者の位置は、頭や肩以外にも、たとえば足の骨格の座標値から判断されてもよい。

【0058】

次に、作業認識部１１２は、頭や肩などの要部骨格に対して腕（特に肘から先の部分）が突出している方向を判断し、その方向を、作業者が向いている方向であると判断する。本実施形態おいては、少なくとも片方の腕の向きから作業者の向きを判断することとした。これは設備５０などに対する作業中は、作業者の両腕が設備５０の方向に突出している場合もあるが、片手作業のこともある。片手作業とは、具体的にはたとえば、プログラムの設定変更や再起動などがある。このような作業は、設備５０の操作パネル５２に対して片手でも行い得る。このとき、作業者はもう片方の腕を自身の身体に沿って下げている。このような場合、片方の腕は設備５０の方向に突出しているが、もう片方の腕は突出していないことになる。そこで、本実施形態おいては、上記のように、少なくとも片方の腕が向いている方向から作業者の向きを判断し、さらにそこから作業者の作業状態を判断することとしている。

【0059】

図３においては、たとえば、作業者３０ａは、片腕が突出している方向が設備５０の方向であるので、設備５０を向いていると判断できる。このため、作業認識部１１２は、作業者３０ａが設備５０に対して作業していると判断する。

【0060】

また、作業者３０ｂは、両腕が突出している方向が作業テーブル５５の方向であるので作業テーブル５５を向いていると判断できる。このため、作業認識部１１２は、作業者３０ｂが作業テーブル５５に対して作業していると判断する。

【0061】

さらに、作業者３０ｃは、両腕が突出している方向が設備５０の方向でもなく、作業テーブル５５の方向でもない。このような場合、作業認識部１１２は、作業者３０ｃが撮影範囲、すなわち作業範囲おいては作業していないと判断する。

【0062】

本実施形態おいては、作業認識部１１２によって得られる作業者の位置や向きの認識結果を作業者情報と称する。

【0063】

次に、物品認識部１１３は、画像から物品の種類と状態を認識する。物品の認識は、たとえば、画像処理により実行される。物品認識部１１３は、画像内にある物体の形状を画像解析により認識して、あらかじめ記憶されている所定の物品の特徴（特徴量）と対比する。対比の結果、特徴の差異が所定の範囲内である場合、物品認識部１１３は、画像内で認識した物体を、所定の物品と同じ種類の物品であると認識する。この物品の認識においては、画像内にあるすべての物体を対象とした場合、処理に時間がかかる。そこで、本実施形態おいては、画像内の所定領域において物品を認識することとした。所定領域は、たとえば、作業テーブル５５の上、および設備５０の扉５３付近などである。これにより、物品認識部１１３によって、物品の状態として、作業テーブル５５上の物品の有無が認識され、物品が有る場合はその種類が認識される。また、所定領域としては、作業テーブル５５から設備５０までの作業者が移動する導線の付近としてもよい。このように物品の認識のために、所定領域を決めておくことで、認識速度を上げることができる。また、所定の物品として記憶された特徴（特徴量）は、１個または１種類ではなく、種類の異なるさまざまな物品の特徴（特徴量）を記憶させておくことで、種類の異なるさまざまな物品を認識させることができる。

【0064】

物品の認識の他の方法としては、たとえば、物品に貼り付けられているシールや、取り付けられているタグなどに描かれているマーク、物品コード、またはバーコードなどを物品認識部１１３に読み取らせてもよい。バーコードは１次元でも２次元でもよい。画像からシールやタグを読み取る範囲は、あらかじめ決めておくことが好ましい。シールやタグを読み取る範囲は、たとえば、作業テーブル５５上、設備５０の扉５３付近、作業者の導線の付近などである。

【0065】

本実施形態おいては、物品認識部１１３によって得られる物品の認識結果を物品情報と称する。

【0066】

次に、分析処理部１１４は、設備状態認識部１１１により収集された設備情報、作業認識部１１２により収集された作業者情報、および物品認識部１１３により収集された物品情報を元に、撮影範囲内の工程全体の稼働状態を求める。また、分析処理部１１４は、これらの情報から、様々な分析を行う。

【0067】

工程全体の稼働状態を求めるには、たとえば、あらかじめ決められた判定テーブルを用いる。判定テーブルは、設備情報、作業者情報、および物品情報の組み合わせと、その組み合わせに対応する作業手順を記述したテーブルデータである。

【0068】

表１は、判定テーブルの一例である。

【0069】

【表1】

【0070】

表１を参照して説明する。

【0071】

たとえば、手順（１）おいては、作業者情報の内容が作業者認識、設備情報の内容として、信号灯５１が消灯、操作パネル５２および扉５３が認識なしとなっていて、物品情報の内容が作業テーブル５５で物品を認識となっている。この段階おいては、作業者が初めて認識されるので、作業者情報の内容が作業者認識となっている。このとき、作業者の人数も特定される。また、設備５０が停止中であり、物品が作業テーブル５５上に初めて認識された状態である。これにより、これから加工される物品の選定が行われていると判定される。

【0072】

続いて、手順（２）おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯５１が消灯、操作パネル５２が認識なし、扉５３が扉開閉の認識となっていて、物品情報の内容が認識なしとなっている。この段階おいては、物品が作業テーブル５５上からなくなっていて、設備５０の扉５３が開閉されて、作業者が作業を行っている。また、設備５０は停止中である。そして、手順は、物品の選定後である。これらの状態から、設備５０に物品が設置されたものと判断される。これにより、物品の設置が行われていると判定される。なお、設備作業とは、たとえば、作業者が設備５０に向かっているとの情報から、作業者が設備５０に対して作業を行っていると判断されたものである。

【0073】

続いて、手順（３）おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯５１が消灯、操作パネル５２が入力操作の認識、扉５３が認識なしとなっていて、物品情報の内容が認識なしとなっている。この段階おいては、物品を設備５０に設置後、作業者が操作パネル５２に向かって操作しているものと判断される。また、設備５０は停止中である。これにより、設備の操作が行われていると判定される。

【0074】

続いて、手順（４）おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯５１が緑、操作パネル５２および扉５３が認識なしとなっていて、物品情報の内容が物品の認識なしとなっている。この段階おいては、設備５０が正常に稼働を開始したと判断される。これにより、設備の稼働と判定される。

【0075】

続いて、手順（５）おいては、作業者情報の内容が設備作業またはテーブル作業（設備作業／テーブル作業）、設備情報の内容として、信号灯５１が緑、操作パネル５２および扉５３が認識なしとなっていて、物品情報の内容が物品の認識なしとなっている。この段階おいては、設備５０が正常に稼働しているため、作業者が他の作業を行っていると判断される。これにより、付随作業と判定される。他の作業とは、たとえば、他の物品を計測したり、あるいは設備５０の稼働状態を確認したりするなど、様々である。

【0076】

続いて、手順（６）おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯５１が黄、操作パネル５２および扉５３が認識なしとなっていて、物品情報の内容が物品の認識なしとなっている。この段階おいては、設備５０が正常に停止していて、作業者が設備５０の中を見て、物品の加工状態を確認していると判断される。これにより、物品の確認と判定される。

【0077】

続いて、手順（７）おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯５１が黄、操作パネル５２が入力操作の認識、扉５３が認識なしとなっていて、物品情報の内容が物品の認識なしとなっている。この段階おいては、設備５０を引き続き稼働させるための準備をしていると判断される。これにより、設備の操作と判定される。

【0078】

続いて、手順（８）おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯５１が緑、操作パネル５２および扉５３が認識なしとなっていて、物品情報の内容が物品の認識なしとなっている。この段階おいては、設備５０が正常稼働していると判断される。これにより、設備の稼働と判定される。

【0079】

ここで、手順（６）～（８）は、繰り返し行われてもよい。

【0080】

続いて、手順（９）おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯５１が消灯、操作パネル５２が認識なし、扉５３が扉開閉の認識となっていて、物品情報の内容が物品の認識なしとなっている。この段階おいては、設備５０が正常に停止し、扉５３の開閉が行われていると判断される。しかも、手順の流れから加工が終了して停止したので、物品を取り出しているものと判断される。これにより、物品取り外しと判定される。

【0081】

続いて、手順（１０）おいては、作業者情報の内容がテーブル作業、設備情報の内容として、信号灯５１が消灯、操作パネル５２および扉５３が認識なしとなっていて、物品情報の内容が物品を作業テーブル５５上で認識となっている。この段階おいては、作業者が作業テーブル５５上で作業しているものと判断される。しかも、手順の流れから加工が終了した後であるので、物品を計測していると判断される。これにより、物品計測と判定される。

【0082】

続いて、手順（１１）おいては、作業者情報の内容が設備作業、設備情報の内容として、信号灯５１が消灯、操作パネル５２および扉５３が認識なしとなっていて、物品情報の内容が認識なしとなっている。この段階おいては、作業者が設備作業を行っている。しかも、手順の流れから物品計測が終了した後であるので、設備５０の中で物品を洗浄していると判断される。これにより、物品洗浄と判定される。

【0083】

続いて、手順（１２）おいては、作業者情報の内容がテーブル作業、設備情報の内容として、信号灯５１が消灯、操作パネル５２および扉５３が認識なしとなっていて、物品情報の内容が物品を作業テーブル５５上で認識となっている。この段階おいては、作業者が作業テーブル５５上で作業しているものと判断される。しかも、手順の流れから物品洗浄が終了した後であるので、ここでは、物品を検査していると判断される。これにより、物品検査と判定される。

【0084】

また、判定テーブルには、手順外の判定とその組み合わせについても記述されている。

【0085】

たとえば、手順外１においては、作業者情報の内容が設備作業、設備情報の内容として、信号灯５１が消灯、操作パネル５２が認識なし、扉５３が扉開閉の認識となっていて、物品情報の内容が認識なしとなっている。このような情報の組み合わせが認識された場合、手順外１の前の段階において信号灯５１が赤であったなら、修理中であると判定される。

【0086】

また、手順外２においては、作業者情報の内容が認識なし、設備情報の内容として、信号灯５１が赤、操作パネル５２がエラー表示の認識、扉５３が認識なしとなっていて、物品情報の内容が認識なしとなっている。このような情報の組み合わせが認識された場合、何らかの原因で設備５０が停止しているにもかかわらず、何も対処されていない可能性がある。このような情報の組み合わせが認識された場合は、作業遅延と判定される。

【0087】

なお、以上説明した判定テーブルの内容は、あくまでも説明のための一例であり、当然ながら、様々な工程や物品の加工内容などによって変わるものである。

【0088】

次に、分析処理部１１４による情報の分析例を説明する。

【0089】

たとえば、分析処理部１１４は、各情報を１つのダッシュボードに集約する。また、分析処理部１１４は、製品を生産するために費やしたリソースを計算する。計算されたリソースは、たとえば、原価計算に活用される。また、分析処理部１１４は、製品を生産するために係るリードタイムを計算して実績値とする。計算された実績値は、たとえば、目標として立てた予算や予定時間と実績を比較する予実管理や、案件獲得時の見積もりの精度向上に活用される。

【0090】

具体的な分析としては、たとえば、リソースは、上述した作業手順（１）の物品の選定において得られた作業者の人数から設備１台あたりに費やされる作業者の人数として計算される。また、リソースは、作業手順（１）～（１２）のために費やした作業者の延べ人数とされてもよい。また、リソースは、操作パネル５２から電圧値や電流値を読み取っている場合は、それらの値から電力量を求めて、設備５０のリソースとしてもよい。

【0091】

また、生産のリードタイムとして、上述した作業手順（１）～（１２）にかかった時間から全体の生産時間を求めることができる。また、作業手順（４）～（８）にかかった時間から設備５０を使用している実時間を求めることができる。

【0092】

本実施形態おいては、１つの画像データから設備情報、作業者情報、物品情報といった複数の情報を収集している。このため、各情報は、もともと１つの画像データから収集されたものであるため、時系列が同じである。したがって、各情報が１つのダッシュボードに集約される際に、時系列合わせが不要となる。集約された複数の情報は、たとえば、工程管理用のコンピューターに送信される。工程管理用のコンピューターでは、受信した情報を用いて、さらに様々な分析が行われる。

【0093】

次に、各情報の取得および分析の処理手順を説明する。図４は、処理手順を示すフローチャートである。この処理手順は、演算部１１（詳細にはＣＰＵ）が、この処理手順に基づき作成されたプログラムを実行することで、上述した演算部１１の機能としての各部の動作が行われることになる。

【0094】

まず、演算部１１は、カメラ２０からの画像データを受信し、取得する（Ｓ１）。取得された画像データは、記憶部１２へ記憶される。

【0095】

続いて、演算部１１は、記憶された画像データを読み出して、画像から、設備情報、作業者情報、物品情報を収集する（Ｓ２）。

【0096】

続いて、演算部１１は、収集した各情報を分析しやすいように１つにして、これを記憶部１２に記憶させる（Ｓ３）。このＳ３の段階で、既に集約された情報がある場合は、演算部１１は、その情報を更新する。

【0097】

Ｓ３の後、演算部１１は、処理終了の入力がなければ（Ｓ４：ＮＯ）、そのままＳ１へ戻り、順次、画像データを受信し続けて各段階を継続する。演算部１１は、処理終了が入力されたなら（Ｓ４：ＹＥＳ）、処理を終了する。

【0098】

本実施形態によれば、以下のような効果を奏する。

【0099】

本実施形態おいては、１台のカメラ２０によって得られる画像データから、設備５０の設備情報、作業者情報、物品情報といった複数の情報を求めることとした。したがって、本実施形態においては、工程管理に必要な複数の情報が、もともと１つの画像データから取得されているので、時系列が同じとなっているので、従来技術のように複数の情報の時系列を合わせる必要がなくなる。このため、本実施形態は、情報の処理が従来技術よりも容易であり、また処理を高速化することができる。

【0100】

また、本実施形態は、１台のカメラ２０によって得られる画像データから、設備５０の設備情報、作業者情報、物品情報といった複数の情報を求めることとした。このため、本実施形態は、従来技術のように、設備５０の稼働状態を検出するセンサーを設けたり、作業者が携帯する電子タグを使用することなく、設備５０や作業者の状態、物品の情報を取得することができる。このため、本実施形態は、カメラ２０を導入するだけでよく、画像データの処理には既設のサーバー１０を利用できる。またはサーバー１０を新たに導入するとしても、一般的なサーバーコンピューターの導入だけですむ。このため本実施形態は、従来技術のように、複数のセンサーや電子タグから情報を収集する個別の上位システムなどを必要としない。このため本実施形態は、従来技術と比較して初期投資が少なくてすむ。これにより、本実施形態は、初期投資を抑えながら工程内の複数の情報を収集でき、工程管理や予実管理などの様々な分析に利用し、適切な改善のアクションに活用することができる。

【0101】

また、本実施形態おいては、複数の情報を得るためのデータは１つの画像データであるので、従来技術のように複数の情報を記憶する必要がなくなる。このため本実施形態は、データ量を減らすことができる。また、本実施形態おいては、１つの画像データの送受信ですむので、データの送受信に係る帯域の負荷軽減も可能となる。

【0102】

以上、本発明の実施形態を説明したが、本発明は、様々な変形が可能である。

【0103】

実施形態においては、情報の収集、分析にサーバー１０を用いる例を説明したが、サーバー１０に限らず、たとえば、小型のコンピューター（ボードＰＣなど）をカメラ２０に組み込んで、カメラ２０と一体化させて、この小型のコンピューターで、上述した各機能を達成するためのプログラムを実行するようにしてもよい。このようにすることで、カメラ２０の設置だけで、本発明を実施することができる。

【0104】

また、上述したサーバー１０の各機能は、クラウドサーバーにより代替するようにしてもよい。これには、たとえば、カメラ２０にインターネットに接続可能なインターフェース１３を設けて、画像データを直接クラウドサーバーへ送信する。そして、クラウドサーバー上で既に説明した処理を実行することで、クラウドサーバー上で各情報を分析させて、遠隔地にいるユーザーの端末から各情報や分析結果を閲覧させることができる。

【0105】

また、実施形態においては、１つの設備５０を含む領域をカメラ２０の撮影範囲としているが、撮影範囲は、複数の設備５０を一度に撮影できるようにしてもよい。この場合、各設備５０に向かっている作業者の向きから、作業者がどの設備５０に対して作業を行っているかが判断される。または、設備５０ごとに作業範囲を設けて、各作業範囲内にいる作業者が、その設備５０に対して作業していると判断されてもよい。

【0106】

また、実施形態においては、作業者の作業状態は作業者の位置と向きから判断することとしたが、設備５０の周囲に作業判断領域を設けて、作業判断領域内に作業者がいれば、設備作業を行っていると判断してもよい。また、逆に、作業者の向きのみから判断してもよい。特に、撮影範囲が狭い場合、たとえば、作業者の移動範囲として５歩程度以下の範囲の場合は、作業者が設備５０を向いていれば設備作業、設備５０を向いていない場合はその他の作業または作業していないと判断できる。

【0107】

また、実施形態においては、３色の信号灯５１としたが、３色とは限らず、２色の信号灯、１色の信号灯などの場合でも適用可能である。たとえば、２色の信号灯の場合は、緑色の正常稼働と、黄色の正常停止または赤色の異常停止などである。このような設備５０に実施形態を対応させる際は、黄色または赤色の場合の処理を行わないようにすればよい。さらに、１色の場合、また、４色、５色といった場合においても、設備５０の稼働状態に対応して処理すればよい。

【0108】

また、実施形態においては、操作パネル５２への入力操作や扉５３の開閉は、演算部１１の機能として説明した設備状態認識部１１１において認識することとした。しかし、このような機能はあくまでも一例であり、たとえば、作業認識部１１２において、操作パネル５２へ作業者が手（指先）を伸ばしている、扉５３の開閉のために扉５３に手を伸ばしているなどといった作業者の動作により、操作パネル５２への入力操作や扉５３の開閉を認識してもよい。

【0109】

また、実施形態においては、設備情報としては、信号灯５１だけでなく、操作パネル５２や扉５３の状態を認識することとしたが、信号灯５１だけから設備５０の稼働状態を認識してもよい。

【0110】

そのほか、実施形態の説明の中で使用した条件や数値などは、あくまでも説明のためのものであり、本発明がこれら条件や数値に限定されるものではない。

【0111】

また、実施形態で挙げた工程管理用のコンピューターは、サーバー１０と接続されたコンピューターであり、たとえば、作業現場に設けられたコンピューターや、遠隔地にある工程管理部門に設けられたコンピューターである。また、工程管理用のコンピューターは、たとえば、工程管理者や作業者が持つタブレットや、スマートフォンなどの携帯端末であってもよい。

【0112】

また、本発明に係るプログラムは、専用のハードウェア回路によっても実現することも可能である。また、プログラムは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などのコンピューター読み取り可能な記録媒体によって提供したり、記録媒体によらず、インターネットなどのネットワークを介してオンラインで提供したりすることも可能である。この場合、プログラムは、通常、記憶部を構成する磁気ディスク装置などに記憶される。また、プログラムは、単独のアプリケーションソフトウェアとして提供したり、一機能として別のソフトウェアに組み込んで提供したりすることも可能である。

【0113】

さらに、本発明は特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。

【符号の説明】

【0114】

１ 工程情報取得システム、
１０ サーバー、
１１ 演算部、
１２ 記憶部、
１３ インターフェース、
２０ カメラ、
５０ 設備、
５１ 信号灯、
５２ 操作パネル、
５３ 扉、
５５ 作業テーブル、
１１１ 設備状態認識部、
１１２ 作業認識部、
１１３ 物品認識部、
１１４ 分析処理部、
１１５ 画像補正部。

【図1】

【図2】

【図3】

【図4】