(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-07
(45)【発行日】2023-08-16
(54)【発明の名称】作業監視装置、作業監視システム、作業監視方法、およびプログラム
(51)【国際特許分類】
G06Q 50/04 20120101AFI20230808BHJP
G05B 19/418 20060101ALI20230808BHJP
【FI】
G06Q50/04
G05B19/418 Z
(21)【出願番号】P 2019051828
(22)【出願日】2019-03-19
【審査請求日】2022-03-17
(73)【特許権者】
【識別番号】503362463
【氏名又は名称】アドソル日進株式会社
(74)【代理人】
【識別番号】100095407
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100174067
【氏名又は名称】湯浅 夏樹
(74)【代理人】
【識別番号】100148149
【氏名又は名称】渡邉 幸男
(74)【代理人】
【識別番号】100132883
【氏名又は名称】森川 泰司
(72)【発明者】
【氏名】冨田 知宏
(72)【発明者】
【氏名】西田 諒太
【審査官】山崎 雄司
(56)【参考文献】
【文献】特開2018-142058(JP,A)
【文献】特開2017-010186(JP,A)
【文献】特開2017-215733(JP,A)
【文献】特開2018-156279(JP,A)
【文献】特開2017-220018(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
G05B 19/418
(57)【特許請求の範囲】
【請求項1】
所定の監視領域内における作業員の位置を示す位置情報を取得する位置情報取得手段と、
前記作業員を捉えた撮像画像を取得する撮像画像取得手段と、
各工程で使用すべき領域として予め定められた各工程エリアの範囲を示す工程エリア情報
と、前記各工程に含まれる作業とその作業を実施しているときの姿勢とが定義された作業マスタ情報と、を記憶する記憶手段と、
前記撮像画像に基づいて、前記作業員の姿勢を判定する姿勢判定手段と、
前記位置情報および前記工程エリア情報に基づいて、前記作業員が携わっている工程を判定する工程判定手段と、
前記作業員が携わっている工程
、前記作業員の姿勢
および前記作業マスタ情報に基づいて、前記作業員が実施している作業を判定する作業判定手段と、を備える、
作業監視装置。
【請求項2】
前記作業員が実施している作業の適正を判定する作業適正判定手段、をさらに備え、
前記記憶手段は、各製品の製造にあたり各工程において実施されるべき作業が予め定義された製品別作業情報を記憶し、
前記位置情報取得手段は、前記監視領域内における製造途中の半製品の位置を示す位置情報を取得し、
前記工程判定手段は、前記半製品の位置を示す位置情報と前記工程エリア情報に基づいて、前記半製品が属する工程を判定し、
前記作業適正判定手段は、前記作業判定手段が判定した前記作業員が実施している作業が、前記工程判定手段が判定した前記半製品が属する工程において実施されるべき作業として前記製品別作業情報に定義されているか否かに基づいて、前記作業員が実施している作業の適正を判定する、
請求項1に記載の作業監視装置。
【請求項3】
前記作業員の位置は、前記作業員が所持する発信機器から定期的に発信される無線信号を受信機器が受信した際の受信態様を計測した計測結果に基づいて、所定の測位方式により求められた位置である、
請求項1または2に記載の作業監視装置。
【請求項4】
所定の監視領域内における作業員の位置を特定する位置特定装置と、前記作業員を捉えた撮像画像を取得する撮像制御装置と、前記作業員が実施している作業を判定する作業監視装置とを含み、
前記作業監視装置は、
前記撮像制御装置から取得した前記撮像画像に基づいて、前記作業員の姿勢を判定する姿勢判定手段と、
前記位置特定装置から取得した位置情報および各工程で使用すべき領域として予め定められた各工程エリアの範囲を示す工程エリア情報に基づいて、前記作業員が携わっている工程を判定する工程判定手段と、
前記作業員が携わっている工程
、前記作業員の姿勢
および前記各工程に含まれる作業とその作業を実施しているときの姿勢とが定義された作業マスタ情報に基づいて、前記作業員が実施している作業を判定する作業判定手段と、を備える、
作業監視システム。
【請求項5】
コンピュータが、
所定の監視領域内における作業員の位置を示す位置情報を取得し、
前記作業員を捉えた撮像画像を取得し、
前記撮像画像に基づいて、前記作業員の姿勢を判定し、
前記位置情報および各工程で使用すべき領域として予め定められた各工程エリアの範囲を示す工程エリア情報に基づいて、前記作業員が携わっている工程を判定し、
前記作業員が携わっている工程
、前記作業員の姿勢
および前記各工程に含まれる作業とその作業を実施しているときの姿勢とが定義された作業マスタ情報に基づいて、前記作業員が実施している作業を判定する、
作業監視方法。
【請求項6】
コンピュータを、
所定の監視領域内における作業員の位置を示す位置情報を取得する位置情報取得手段、
前記作業員を捉えた撮像画像を取得する撮像画像取得手段、
各工程で使用すべき領域として予め定められた各工程エリアの範囲を示す工程エリア情報
と、前記各工程に含まれる作業とその作業を実施しているときの姿勢とが定義された作業マスタ情報と、を記憶する記憶手段、
前記撮像画像に基づいて、前記作業員の姿勢を判定する姿勢判定手段、
前記位置情報および前記工程エリア情報に基づいて、前記作業員が携わっている工程を判定する工程判定手段、
前記作業員が携わっている工程
、前記作業員の姿勢
および前記作業マスタ情報に基づいて、前記作業員が実施している作業を判定する作業判定手段、として機能させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業監視装置、作業監視システム、作業監視方法、およびプログラムに関する。
【背景技術】
【0002】
作業現場の撮像画像を解析して作業員の作業を自動的に監視する作業監視技術が知られている。例えば、特許文献1は、撮像画像から作業の開始・終了を判定する作業監視システムを開示している。この作業監視システムは、撮像画像における作業員の動線解析に加え、各種フィルタを通過するレートの差分に基づいて物品の移動を検出する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1が開示する作業監視システムは、移動作業の開始・終了を判定できるにとどまり、作業員が実施する各種作業を的確に判定することが困難であり、作業員の作業を十分に監視し得るとはいえない。
【0005】
本発明は、上述のような事情に鑑みてなされたものであり、作業員が実施している作業を的確に判定することができる作業監視装置、作業監視システム、作業監視方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するため、本発明に係る作業監視装置は、
所定の監視領域内における作業員の位置を示す位置情報を取得する位置情報取得手段と、
前記作業員を捉えた撮像画像を取得する撮像画像取得手段と、
各工程で使用すべき領域として予め定められた各工程エリアの範囲を示す工程エリア情報と、前記各工程に含まれる作業とその作業を実施しているときの姿勢とが定義された作業マスタ情報と、を記憶する記憶手段と、
前記撮像画像に基づいて、前記作業員の姿勢を判定する姿勢判定手段と、
前記位置情報および前記工程エリア情報に基づいて、前記作業員が携わっている工程を判定する工程判定手段と、
前記作業員が携わっている工程、前記作業員の姿勢および前記作業マスタ情報に基づいて、前記作業員が実施している作業を判定する作業判定手段と、を備える。
【0007】
また、上記の目的を達成するため、本発明に係る作業監視システムは、
所定の監視領域内における作業員の位置を特定する位置特定装置と、前記作業員を捉えた撮像画像を取得する撮像制御装置と、前記作業員が実施している作業を判定する作業監視装置とを含み、
前記作業監視装置は、
前記撮像制御装置から取得した前記撮像画像に基づいて、前記作業員の姿勢を判定する姿勢判定手段と、
前記位置特定装置から取得した位置情報および各工程で使用すべき領域として予め定められた各工程エリアの範囲を示す工程エリア情報に基づいて、前記作業員が携わっている工程を判定する工程判定手段と、
前記作業員が携わっている工程、前記作業員の姿勢および前記各工程に含まれる作業とその作業を実施しているときの姿勢とが定義された作業マスタ情報に基づいて、前記作業員が実施している作業を判定する作業判定手段と、を備える。
【0008】
また、上記の目的を達成するため、本発明に係る作業監視方法は、
コンピュータが、
所定の監視領域内における作業員の位置を示す位置情報を取得し、
前記作業員を捉えた撮像画像を取得し、
前記撮像画像に基づいて、前記作業員の姿勢を判定し、
前記位置情報および各工程で使用すべき領域として予め定められた各工程エリアの範囲を示す工程エリア情報に基づいて、前記作業員が携わっている工程を判定し、
前記作業員が携わっている工程、前記作業員の姿勢および前記各工程に含まれる作業とその作業を実施しているときの姿勢とが定義された作業マスタ情報に基づいて、前記作業員が実施している作業を判定する。
【0009】
また、上記の目的を達成するため、本発明に係るプログラムは、
コンピュータを、
所定の監視領域内における作業員の位置を示す位置情報を取得する位置情報取得手段、
前記作業員を捉えた撮像画像を取得する撮像画像取得手段、
各工程で使用すべき領域として予め定められた各工程エリアの範囲を示す工程エリア情報と、前記各工程に含まれる作業とその作業を実施しているときの姿勢とが定義された作業マスタ情報と、を記憶する記憶手段、
前記撮像画像に基づいて、前記作業員の姿勢を判定する姿勢判定手段、
前記位置情報および前記工程エリア情報に基づいて、前記作業員が携わっている工程を判定する工程判定手段、
前記作業員が携わっている工程、前記作業員の姿勢および前記作業マスタ情報に基づいて、前記作業員が実施している作業を判定する作業判定手段、として機能させる。
【発明の効果】
【0010】
本発明によれば、作業員が実施している作業を的確に判定することができる。
【図面の簡単な説明】
【0011】
【
図1】本発明の実施の形態1に係る作業監視システムの概略図である。
【
図3】作業監視装置のハードウェア構成の一例を示すブロック図である。
【
図4】作業監視装置の機能構成の一例を示すブロック図である。
【
図5】作業員・ビーコン対応情報の一例を示す図である。
【
図9】作業員の位置が属する工程エリアの判定について説明するための図である。
【
図11】作業判定処理の流れを示すフローチャートである。
【
図13】本発明の実施の形態2に係る工場内の状態を説明するための図である。
【
図14】作業監視装置の機能構成の他の一例を示すブロック図である。
【
図15】半製品・ビーコン対応情報の一例を示す図である。
【
図16】半製品作業履歴情報の一例を示す図である。
【
図19】作業適正判定処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【0013】
(実施の形態1)
本発明の実施の形態1に係る作業監視システム1は、作業現場において作業員が実施している作業を判定するシステムである。本実施の形態では、作業監視システム1を用いて、工場において製品を製造する作業員およびその作業員が実施している作業を監視する場合を例に説明する。
【0014】
作業監視システム1は、
図1に示すように、位置特定装置100、信号計測装置101、ビーコン装置102、撮像制御装置200、撮像装置201、作業監視装置300を含む。位置特定装置100、撮像制御装置200、および作業監視装置300は、ネットワークNWを介して通信可能に接続されている。ネットワークNWは、有線または無線を問わず、例えば、インターネット、LAN(Local Area Network)、VPN(Virtual Private Network)等の任意の通信網である。また、位置特定装置100は、通信可能に接続された複数の信号計測装置101から計測情報を受信する。信号計測装置101は、ビーコン装置102から発信された無線信号を受信する。撮像制御装置200は、通信可能に接続された複数の撮像装置201に撮像制御信号を送信し、その応答として撮像装置201から撮像画像を受信する。なお、作業監視システム1に含まれる各装置の台数は任意である。
【0015】
(ビーコン装置102)
ビーコン装置102は、自装置の識別情報(ビーコンID)を含む無線信号(電波信号)を定期的に(例えば、数秒間隔で)発信する機能を有する。
図2に示すように、各作業員Wは、工場内においてビーコン装置102を常時所持しているものとする。作業員が所持する携帯電話、スマートフォン、セキュリティカード等に、ビーコン装置102が埋め込まれていてもよい。なお、ビーコン装置102が発信する無線信号は、自己の存在を知らせるために一定間隔で送信される信号であればよく、例えば、BLE(Bluetooth(登録商標) Low Energy)の規格に準拠するビーコン信号(BLEビーコン)等を用いることができる。ビーコン装置102は、本発明の発信機器の一例である。
【0016】
(信号計測装置101)
信号計測装置101は、ビーコン装置102から定期的に発信される無線信号を受信し、その際の受信態様を計測する機能を有する。信号計測装置101は、
図2に示すように、工場FA内の監視領域(空間)を画定する天井面または壁面に一定間隔(例えば、数メートル間隔)でメッシュ状に設置される。信号計測装置101は、位置特定装置100が用いる所定の測位方式に応じて、受信した無線信号の電波の到来角度、受信信号強度、到来時刻等を計測する。信号計測装置101は、受信した無線信号の受信態様を計測すると、その計測結果を示す計測情報を生成して位置特定装置100に送信する。信号計測装置101は、本発明の受信機器の一例である。
【0017】
(位置特定装置100)
位置特定装置100は、信号計測装置101から取得した計測情報に基づいて、所定の測位方式を用いて測位対象であるビーコン装置102の所在位置を特定する。位置特定装置100は、各信号計測装置101の設置位置を示す信号計測装置設置情報を保持し、所定の測位方式を用いて測位対象であるビーコン装置102の所在位置を特定する。測位方式として、到来角度(AOA(Angle Of Arrival))方式、受信信号強度(RSSI(Received Signal Strength Indicator))方式、到来時刻(TOA:Time Of Arrival)方式、到来時間差(TDOA:Time Difference Of Arrival)方式等、または、これらを組合せて採用し得る。位置特定装置100は、ビーコン装置102の所在位置を特定すると、ビーコン装置102のビーコンIDを含む位置情報を生成し、ネットワークNWを介して作業監視装置300に送信する。ビーコン装置102の所在位置は、例えば、2次元直交座標系または3次元直交座標系における座標値で表される。
【0018】
(撮像装置201)
撮像装置201は、工場内の状況を撮像するカメラであり、
図2に示すように、工場FAの天井面や壁面等の所定位置に複数設置されている。撮像装置201は、撮像制御装置200から取得した撮像制御信号に基づいて、撮像対象である作業員を捉えた撮撮像画像を生成し、撮像制御装置200に供給する。撮像装置201には、例えば、撮像方向を変更するためのパン機構およびチルト機構と、撮像画角を変更するためのズーム機構とを有するPTZ(Pan Tilt Zoom)カメラを用いてもよいし、比較的狭いエリアを対象とするなら、PTZ機能を持たない全方位カメラを用いても良い。
【0019】
(撮像制御装置200)
撮像制御装置200は、撮像装置201を制御するための装置である。撮像制御装置200は、工場FA内における撮像装置201の設置位置を示す撮像装置設置情報を保持し、作業監視装置300から受信した撮像要求に含まれる撮像対象である作業員の位置情報に基づいて撮像装置201の動作を制御するための撮像制御信号を生成して撮像装置201に送信する。撮像制御信号は、例えば、作業員の位置情報に基づいて算出された撮像方向、撮像画角等を指示する情報を含む。なお、監視対象の作業員を多方向から捉えた撮像画像を取得するために、撮像制御装置200は、撮像対象の作業員の位置周辺の複数の撮像装置201の各々に、その設置位置に応じた撮像方向、撮像画角等を指示する撮像制御信号を送信するものとする。
【0020】
(作業監視装置300)
作業監視装置300は、位置特定装置100から取得した位置情報および撮像制御装置200から取得した撮像画像に基づいて、作業員Wが携わっている工程、作業員Wの姿勢、作業員Wが実施している作業を順次判定し、その判定結果を示す表示画像を表示する。
【0021】
(作業監視装置300のハードウェア構成)
次に、
図3を参照しながら、作業監視装置300のハードウェア構成を説明する。作業監視装置300は、
図3に示すように、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303、HDD(Hard Disk Drive)304、ディスプレイ305、入力装置306、通信I/F307を備える。これらの各部は、バスラインBLを介して相互に電気的に接続されている。
【0022】
CPU301は、ROM302やHDD304からプログラムやデータをRAM303上に読み出して処理を実行することにより、作業監視装置300全体を制御する演算装置である。
【0023】
ROM302は、CPU301が実行するプログラムやプログラム実行の際に使用されるデータ等を記憶する不揮発性メモリである。ROM302は、例えば、後述する位置特定処理に用いられる制御プログラムやデータを記憶する。
【0024】
RAM303は、ROM302やHDD304から読み出された各種プログラムや各種データを一時的に保持する揮発性メモリであり、CPU301の作業領域として使用される。
【0025】
HDD304は、記憶内容が書き換え可能な大容量かつ不揮発性の記憶装置である。HDD304は、CPU301が実行する各種プログラムや各種データを記憶する。HDD304は、例えば、作業員Wの工程、姿勢、作業等を判定するための各種マスタ情報を記憶する。なお、作業監視装置300は、HDD304に替えて、またはこれと共に、SSD(Solid State Drive)等の書き換え可能な不揮発性の記憶装置を備えてもよい。
【0026】
ディスプレイ305は、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイ等の表示装置であり、CPU301の制御に従って、各種画像を表示する。
【0027】
入力装置306は、キーボード、マウス、操作ボタン等であり、ユーザの操作、各種データの入力等を受け付ける。入力装置306は、例えば、ユーザによる操作やデータ入力を受け付ける。なお、入力装置306は、ディスプレイ305の表示画面とこれに重ねて設けられたタッチセンサとからなるタッチパネルにより構成されてもよい。
【0028】
通信I/F307は、ネットワークNWを介して位置特定装置100および撮像制御装置200との間でデータ送受信を行うためのインタフェースである。
【0029】
(作業監視装置300の機能構成)
次に、
図4を参照しながら、作業監視装置300の機能構成について説明する。作業監視装置300は、
図4に示すように、制御部310、記憶部320、表示部330、入力部340、通信部350を備える。
【0030】
制御部310は、CPU301、ROM302、RAM303等により構成され、作業監視装置300の構成部位の各々を制御する。制御部310は、機能的には、位置情報取得部311、撮像画像取得部312、姿勢判定部313、工程判定部314、作業判定部315、表示画像生成部316を有する。これらの各機能部は、CPU301がROM302に記憶された制御プログラムを実行することにより実現される。
【0031】
位置情報取得部311は、通信部350を介して、位置特定装置100から位置情報を取得する。位置情報取得部311は、後述する作業員・ビーコン対応情報321を参照し、位置特定装置100から取得した位置情報に含まれるビーコンIDに対応付けられた作業員IDを特定する。位置情報取得部311をはじめとする制御部310が備える各構成部は、位置特定装置100から取得した位置情報が示すビーコン装置102の位置を、位置情報取得部311が特定した作業員IDが割り当てられた作業員Wの位置とみなして処理する。位置情報取得部311は、本発明の位置情報取得手段の一例である。
【0032】
撮像画像取得部312は、通信部350を介して、撮像制御装置200から特定の作業員Wを捉えた撮像画像を取得する。撮像画像取得部312は、位置情報取得部311が取得した位置情報に基づいて、特定の作業員Wの位置情報を含む撮像要求を生成して撮像制御装置200に送信し、その応答として、特定の作業員Wを捉えた撮像画像を撮像制御装置200から取得する。例えば制御対象カメラがPTZカメラであれば位置情報取得部311が取得した位置情報に基づいて、当該位置の撮影画像を取得するために、パン機構、チルト機構、ズーム機構を制御し、目的の画像を得る。制御対象カメラが全方位カメラであれば位置情報取得部311が取得した位置情報に基づき、対応する領域の画像を抽出し、目的の画像を得る。撮像画像取得部312は、本発明の撮像画像取得手段の一例である。
【0033】
姿勢判定部313は、撮像画像取得部312が取得した撮像画像に基づいて、作業員Wの姿勢を判定する。なお、姿勢判定部313は、公知の姿勢判定技術を利用して、作業員Wの姿勢を判定すればよい。姿勢判定部313は、例えば、撮像画像取得部312が取得した撮像画像から作業員Wの体の部位(頭、上腕、前腕、胴体、上腿、下腿等)を検出し、それらの部位の連結部分を関節部として作業員Wの姿勢を判定する。姿勢判定部313は、記憶部320に記憶された姿勢マスタ323を参照して、作業員Wの姿勢IDを特定する。姿勢判定部313は、本発明の姿勢判定手段の一例である。
【0034】
工程判定部314は、作業員Wが携わっている工程(以下、「作業員Wの工程」ともいう)を判定する。工程判定部314は、記憶部320に記憶された工程マスタ324を参照し、位置情報取得部311が取得した位置情報が示すビーコン装置102の位置が属する工程エリアを特定する。工程判定部314は、工程マスタ324において特定した工程エリアに対応する工程を作業員Wの工程と判定する。工程判定部314は、本発明の工程判定手段の一例である。
【0035】
作業判定部315は、作業員Wが実施している作業(以下、「作業員Wの作業」ともいう)を判定する。作業判定部315は、姿勢判定部313が判定した作業員Wの姿勢と、工程判定部314が判定した作業員Wの工程とに基づいて、作業員Wの作業を判定する。作業判定部315は、記憶部320に記憶された作業マスタ325を参照して、姿勢IDと工程IDとの組合せに対応付けられた作業IDを特定する。作業判定部315は、本発明の作業判定手段の一例である。
【0036】
表示画像生成部316は、各種の表示画像を生成し、表示部330を制御して表示させる。表示画像生成部316は、例えば、作業員Wの位置や作業、日時情報等を工場FAのフロアマップや作業管理表に反映させた作業表示画像を生成し、表示部330を制御して表示させる。
【0037】
記憶部320は、HDD304により構成され、制御部310が実行する各種プログラム、入力データおよび送受信データ等の各種データを記憶する。記憶部320は、例えば、作業員・ビーコン対応情報321、作業履歴情報322、姿勢マスタ323、工程マスタ324、作業マスタ325を記憶する。記憶部320は、本発明の記憶手段の一例である。
【0038】
作業員・ビーコン対応情報321は、
図5に示すように、作業員Wを識別するために割り当てられた作業員IDと、その作業員Wが所持するビーコン装置102を識別するために割り当てられたビーコンIDとが対応付けられた情報である。制御部310は、この情報により作業員Wとビーコン装置102との対応関係を容易に把握することができる。
【0039】
作業履歴情報322は、作業員Wが実施した作業の履歴を示す情報である。作業履歴情報322は、
図6に示すように、作業員Wの作業員IDごとに、工程IDと、作業IDと、作業日時とが対応付けられている。作業履歴情報322は、作業判定部315が作業員Wの作業を判定するごとに更新される。
【0040】
姿勢マスタ323は、作業中に作業員Wが取り得る姿勢が定義されたマスタ情報であり、例えば、
図7に示すように、姿勢IDと、姿勢名称とが対応付けられた情報である。姿勢名称には、例えば、足を閉じて立っている「閉脚立位」、左右方向に足を広げて立っている「開脚立位」、腰を半分かがめている「中腰」、椅子に座っている「椅座位」、体を丸くしてしゃがんでいる「蹲踞(そんきょ)」等が含まれる。
【0041】
工程マスタ324は、各工程で使用すべき領域として予め定められた各工程エリアとその範囲が定義されたマスタ情報であり、例えば、
図8に示すように、工程エリアIDと、工程エリア名称と、工程エリアの範囲を示す工程エリア範囲と、工程IDと、工程名称とが対応付けられている。工程エリア範囲は、例えば、2次元直交座標系または3次元直交座標系における座標値で表される。工程マスタ324は、本発明の工程エリア情報の一例である。
【0042】
ここで、工程エリア範囲を、工程エリアの外郭の頂点の座標値のみで表し、各代表点を順次結んで得られる連続する線分で囲まれた領域を各工程エリア範囲とする場合であって、
図9に示すように、工程エリアCが工程エリアBおよび工程エリアAを包含し、工程エリアBが工程エリアAを包含する、いわゆる入れ子構造になっている場合には、工程判定部314は、作業員Wの位置が工程エリアAに属するかを判定し、工程エリアAに属さない場合には工程エリアBに属するかを判定し、工程エリアBに属さない場合には工程エリアCに属するかを判定する。これにより、作業員Wの位置が属するエリアの判定回数を最小限に抑えることができる。なお、工程エリアの範囲は矩形以外に、円、多角形などでもよい。
【0043】
作業マスタ325は、各工程に含まれる作業とその作業を実施しているときの姿勢とが定義されたマスタ情報であり、例えば、
図10に示すように、工程IDと、作業IDと、作業名称と、作業を実施しているときの姿勢の姿勢IDとが対応付けられている。作業判定部315は、工程IDと姿勢IDとの組合せに対応付けられた作業(作業IDおよび作業名称)を、作業判定対象の作業員Wの作業として判定する。
【0044】
表示部330は、ディスプレイ305により構成され、制御部310の制御に従って、表示用の画像データにアナログ信号変換処理等を施して各種画像を表示する。表示部330は、例えば、表示画像生成部316が生成した作業表示画像を表示する。
【0045】
入力部340は、入力装置306により構成され、ユーザの操作、各種データの入力等を受け付ける。入力部340は、例えば、受け付けた操作に応じた操作信号を生成して制御部310に供給する。
【0046】
通信部350は、通信I/F307により構成され、制御部310の制御に従って、ネットワークNWを介して位置特定装置100および撮像制御装置200との間でデータの送受信を行う。通信部350は、例えば、撮像画像取得部312が生成した撮像要求を撮像制御装置200に送信し、撮像制御装置200から撮像要求に応じた撮像画像を受信する。
【0047】
次に、
図11に示すフローチャートを参照して、作業監視装置300の制御部310が実行する作業判定処理について説明する。作業判定処理は、位置特定装置100から取得した位置情報および撮像制御装置200から取得した撮像画像に基づいて、作業判定対象の作業員Wの作業を判定する処理である。制御部310は、作業監視装置300の電源がONされたことに応じて、作業判定処理を開始する。
【0048】
作業判定処理を開始すると、制御部310は、まず、位置情報を取得したか否かを判定する(ステップS101)。制御部310の位置情報取得部311は、通信部350を介して、位置特定装置100から位置情報を取得したか否かに応じて判定する。位置情報を取得していないと判定した場合(ステップS101:NO)、位置情報取得部311は、位置情報を取得するまでステップS101の処理を繰り返す。
【0049】
位置情報を取得したと判定した場合(ステップS101:YES)、制御部310は、取得した位置情報から作業員Wの工程を判定する(ステップS102)。制御部310の位置情報取得部311は、作業員・ビーコン対応情報321を参照して、位置情報取得部311が取得した位置情報に含まれるビーコンIDに対応付けられた作業員IDを特定し、位置特定装置100から取得した位置情報が示すビーコン装置102の位置を、特定した作業員IDが割り当てられた作業員Wの位置とみなす。そして、制御部310の工程判定部314は、工程マスタ324を参照して、作業員Wの位置が属する工程エリアを特定する。工程判定部314は、特定した工程エリアに対応付けられた工程(工程ID)を作業員Wの工程(工程ID)と判定する。
【0050】
次に、制御部310は、作業員Wの工程(工程ID)が作業判定対象であるか否かを判定する(ステップS103)。制御部310の工程判定部314は、ステップS102で判定した作業員Wの工程(工程ID)が作業マスタ325に定義されている場合、作業判定対象であると判定し、定義されていない場合、作業判定対象外と判定する。作業判定対象外と判定した場合(ステップS103:NO)、制御部310は、ステップS101の処理に戻る。このような処理により、例えば単純な工程に携わっている作業員Wの作業判定を割愛することが可能となる。なお、作業マスタ325は、
図10に示す形式の他、工程IDに対応する作業IDがないことを、作業ID「W999」などのメタデータ形式で示しても良い。
【0051】
一方、作業判定対象であると判定した場合(ステップS103:YES)、制御部310は、作業判定対象の作業員Wを捉えた撮像画像を取得する(ステップS104)。制御部310の撮像画像取得部312は、作業判定対象の作業員Wの位置に基づいて、作業判定対象の作業員Wの位置情報を含む撮像要求を生成し、通信部350を制御して撮像要求を撮像制御装置200に送信する。撮像要求を受信した撮像制御装置200は、作業判定対象の作業員Wの位置情報に基づいて撮像方向、撮像画角等を指示する情報を含む撮像制御信号を生成して撮像装置201に送信する。撮像制御装置200は、撮像制御信号に応じて撮像装置201が撮像した撮像画像を作業監視装置300に送信する。これにより、撮像画像取得部312は、作業判定対象の作業員Wを捉えた撮像画像を取得する。なお、工場FA内が限られた空間の場合、位置情報取得部311は、作業員Wの位置情報ではなく、あらかじめ決められた座標(領域)の撮像指示を含む撮像要求を送信して、撮像制御装置200を制御してもよい。
【0052】
次に、制御部310は、作業判定対象の作業員Wの姿勢を判定する(ステップS105)。制御部310の姿勢判定部313は、撮像画像取得部312が取得した撮像画像に基づいて、作業判定対象の作業員Wの姿勢を判定する。姿勢判定部313は、姿勢マスタ323を参照して、判定した姿勢に対応付けられた姿勢IDを作業判定対象の作業員Wの姿勢IDとして設定する。
【0053】
次に、制御部310は、作業判定対象の作業員Wの作業を判定する(ステップS106)。制御部310の作業判定部315は、作業マスタ325を参照して、作業判定対象の作業員Wの工程(工程ID)と作業判定対象の作業員Wの姿勢(姿勢ID)との組合せに対応付けられた作業(作業ID)を、作業判定対象の作業員Wの作業(作業ID)と判定する。
【0054】
次に、制御部310は、判定結果を表示する(ステップS107)。制御部310の表示画像生成部316は、作業判定対象の作業員Wの位置や作業等を工場FAのフロアマップや作業管理表に反映させた作業表示画像を生成し、表示部330を制御して表示させる。表示画像生成部316は、例えば、
図12に示す、工場FAのフロアマップ上の作業員Wの所在位置に所定の図形(図中では、○)を配し、その図形から延びる吹き出しにその作業員Wの氏名および実施している作業を記した作業表示画像を生成すればよい。また、作業表示画像は単に作業員の工程と作業および時刻情報を一覧で表示してもよい。
【0055】
続いて、制御部310は、作業履歴情報322を更新する(ステップS108)。制御部310の作業判定部315は、作業判定対象の作業員Wの作業員ID、工程ID、作業ID、作業日時を対応付けた情報を記憶部320に記憶された作業履歴情報322に追加して作業履歴情報322を更新する。作業日時は、例えば、作業判定部315が作業判定対象の作業員Wの作業を判定した日時でよい。
【0056】
ステップS108の処理を実行した後、制御部310は、処理をステップS101に戻し、ステップS101からS108までの一連の処理を繰り返し実行する。
【0057】
以上説明したように、本実施の形態に係る作業監視装置300は、位置特定装置100から取得した位置情報および撮像制御装置200から取得した撮像画像に基づいて、作業員Wが携わっている工程、作業員Wの姿勢、作業員Wが実施している作業を順次判定し、その判定結果を示す表示画像を表示する。これにより、作業監視装置300は、作業員が実施している作業を的確に判定することができる。
【0058】
(実施の形態2)
上記の実施の形態1では、作業監視装置300が作業員Wが実施している作業を判定する例を説明した。実施の形態2では、作業監視装置300が作業員Wが実施している作業の適正を判定する例を説明する。以下、実施の形態1に係る作業監視システム1と同様の構成および機能については説明を省略し、実施の形態1に係る作業監視システム1とは異なる構成および機能のみ説明する。
【0059】
本実施の形態では、
図13に示すように、ビーコン装置102は、作業員Wにより常時所持されるとともに、製造途中の半製品PSに装着されているものとする。位置特定装置100は、作業員Wが所持するビーコン装置102および半製品PSに装着されたビーコン装置102から発信された無線信号の信号計測装置101による計測情報に基づいて、ビーコン装置102の位置を所定の測位方式により特定する。なお、半製品PSは
図13に示すようにベルトコンベアで搬送するものではなく、クレーンや車両で移動するような大型・重量物でもよい。
【0060】
本実施の形態に係る作業監視装置300の制御部310は、
図14に示すように、実施の形態1の構成に加え、作業適正判定部317をさらに備える。また、記憶部320は、半製品・ビーコン対応情報326、半製品作業履歴情報327、製品別作業マスタ328、半製品工程情報329をさらに記憶する。
【0061】
工程判定部314は、作業員Wの工程および半製品PSが属している工程(以下、「半製品PSの工程」ともいう)を判定する。
【0062】
作業適正判定部317は、作業判定対象の作業員Wが実施している作業の適正を判定する。作業適正判定部317は、半製品PSの位置情報に基づいて、半製品PSが属する工程および半製品PSに施された作業を判定することにより、作業員Wが実施している作業の適正を判定する。また、作業監視装置300は、半製品PSに施された作業の履歴を示す半製品作業履歴情報327を用いて作業の実施もれを判定する。作業適正判定部317は、本発明の作業適正判定手段の一例である。
【0063】
半製品・ビーコン対応情報326は、
図15に示すように、半製品PSを識別するために割り当てられた半製品IDと、その半製品PSに装着されたビーコン装置102の識別を識別するために割り当てられたビーコンIDとが対応付けられた情報である。制御部310は、この情報により半製品PSとビーコン装置102との対応関係を容易に把握することができる。
【0064】
半製品作業履歴情報327は、半製品PSに施された作業の履歴を示す情報である。半製品作業履歴情報327は、
図16に示すように、半製品PSの半製品IDごとに、作業IDと、作業日時とが対応付けられている。
【0065】
製品別作業マスタ328は、製品の品種ごとにその製品を製造するために必要とされる工程および作業を示す情報である。製品別作業マスタ328は、
図17に示すように、製品品種IDと、工程IDと、作業IDとが対応付けられている。
製品別作業マスタ328は、本発明の製品別作業情報の一例である。
【0066】
半製品工程情報329は、
図18に示すように、半製品IDと、半製品PSが属している工程の工程IDとが対応付けられた情報である。半製品PSが属している工程の工程IDは、工程判定部314による半製品PSが属している工程の判定結果が変化するごとに更新される。
【0067】
次に、
図19に示すフローチャートを参照して、作業監視装置300の制御部310が実行する作業適正判定処理について説明する。作業適正判定処理は、位置特定装置100から取得した半製品PSの位置を示す位置情報に基づいて、作業判定対象の作業員Wの作業の適正を判定する処理である。制御部310は、作業監視装置300の電源がONされたこと、もしくは管理者の操作に応じて、作業適正判定処理を開始する。
【0068】
作業適正判定処理を開始すると、制御部310は、まず、位置情報を取得したか否かを判定する(ステップS201)。制御部310の位置情報取得部311は、通信部350を介して、位置特定装置100から位置情報を取得したか否かに応じて判定する。位置情報を取得していないと判定した場合(ステップS201:NO)、位置情報取得部311は、位置情報を取得するまでステップS201の処理を繰り返す。
【0069】
位置情報を取得したと判定した場合(ステップS201:YES)、制御部310は、取得した位置情報が作業員Wの位置を示す位置情報であるか否かを判定する(ステップS202)。制御部310の位置情報取得部311は、作業員・ビーコン対応情報321を参照して、位置情報取得部311が取得した位置情報に含まれるビーコンIDが登録されている否かに応じて判定する。
【0070】
位置情報取得部311が取得した位置情報が作業員Wの位置を示す位置情報ではないと判定した場合(ステップS202:NO)、制御部310は、半製品PSの工程を判定する(ステップS203)。制御部310の位置情報取得部311は、半製品・ビーコン対応情報326を参照して、位置情報取得部311が取得した位置情報に含まれるビーコンIDに対応付けられた半製品IDを特定し、位置特定装置100から取得した位置情報が示すビーコン装置102の位置を、特定した半製品IDが割り当てられた半製品PSの位置とみなす。そして、制御部310の工程判定部314は、工程マスタ324を参照して、判定対象の半製品PSの位置が属する工程エリアを判定し、判定した工程エリアに対応付けられた工程(工程ID)を、判定対象の半製品PSが属している工程(工程ID)と判定する。
【0071】
次に、ステップS203において判定した判定対象の半製品PSが属している工程が前回の判定時と同じ工程であるかを判定する(ステップS204)。工程判定部314は、半製品工程情報329を参照して、ステップS203において判定した判定対象の半製品PSが属している工程の工程IDと、半製品工程情報329に登録されている判定対象の半製品PSの半製品IDに対応付けられた工程IDとの異同に応じて判定する。判定対象の半製品PSが属している工程が前回の判定時と同じ工程であると判定した場合(ステップS204:YES)、制御部310は、処理をステップS201に戻す。
【0072】
一方、判定対象の半製品PSが属している工程が前回の判定時とは異なると判定した場合(ステップS204:NO)、すなわち、判定対象の半製品PSが属している工程が移行したと判定した場合、制御部310は、移行前の工程で予定されている全ての作業が実施済みであるか否かを判定する(ステップS205)。制御部310の工程判定部314は、は、製品別作業マスタ328および半製品作業履歴情報327を参照して、製品別作業マスタ328において判定対象の半製品PSの移行前の工程の工程IDに対応付けられた作業IDが、半製品作業履歴情報327に全て登録されているか否かに応じて判定する。
【0073】
移行前の工程で予定されている全ての作業が実施済みでないと判定した場合(ステップS205:NO)、制御部310は、移行前の工程で実施すべき作業が実施されていない旨の警告を通知する(ステップS206)。制御部310の表示画像生成部316は、例えば、
図20に示すように、工場FAのフロアマップ上の半製品PSの所在位置に所定の図形(図中では、□)を配し、その図形から延びる吹き出し(図中の最も左の□から延びるハッチングが施された吹き出し)に実施されていない作業がある旨を報知するメッセージを記した作業表示画像を生成して表示部に表示させる。また、工場内のパトランプを警告を示す表示(赤色明滅など)や警告音で鳴動させたり、工程管理者にメールにより通知するように構成してもよい。
【0074】
次に、制御部310は、製品工程情報を更新する(ステップS207)。制御部310の工程判定部314は、製品工程情報における判定対象の半製品PSの工程をステップS203において判定した工程に更新する。ステップS207の処理を実行した後、制御部310は、処理をステップS201に戻す。
【0075】
ステップS202において、位置情報取得部311が取得した位置情報が作業員Wの位置を示す位置情報であると判定した場合(ステップS202:YES)、制御部310は、取得した位置情報から作業員Wの工程を判定する(ステップS208)。制御部310の位置情報取得部311は、作業員・ビーコン対応情報321を参照して、位置情報取得部311が取得した位置情報に含まれるビーコンIDに対応付けられた作業員IDを特定し、位置特定装置100から取得した位置情報が示すビーコン装置102の位置を、特定した作業員IDが割り当てられた作業員Wの位置とみなす。そして、制御部310の工程判定部314は、工程マスタ324を参照して、作業員Wの位置が属する工程エリアを特定する。工程判定部314は、特定した工程エリアに対応付けられた工程(工程ID)を作業員Wの工程(工程ID)と判定する。
【0076】
次に、制御部310は、作業員Wの工程(工程ID)が作業判定対象であるか否かを判定する。(ステップS209)。制御部310の工程判定部314は、ステップS202で判定した、作業員Wの工程(工程ID)が作業マスタ325に定義されている場合、作業判定対象であると判定し、定義されていない場合、作業判定対象外と判定する。作業判定対象外と判定した場合(ステップS209:NO)、制御部310は位置情報を取得するまでステップS201の処理を繰り返す。
【0077】
一方、作業判定対象であると判定した場合(ステップS209:YES)、制御部310は、作業判定対象の作業員Wを捉えた撮像画像を取得する(ステップS210)。ここで、ステップS210~S214の処理は、実施の形態1で説明した
図11のフローチャートのステップS104~S108と同様の処理であるため説明を省略する。
【0078】
ステップS214の処理を実行した後、制御部310は、作業判定対象の作業員Wの工程と同一の半製品IDを取得する(ステップS215)。制御部310は、半導体工程情報を参照し、作業判定対象の作業員Wの工程の工程IDに対応付けられた半製品IDを取得する。
【0079】
次に、制御部310は、半製品作業履歴情報327を更新する(ステップS216)。制御部310は、ステップS215において取得した半製品IDとステップS202において判定した作業判定対象の作業員Wの作業IDと作業日時を対応付けた情報を記憶部320に記憶された半製品作業履歴情報327に追加して半製品作業履歴情報327を更新する。作業日時は、例えば、作業判定部315が作業判定対象の作業員Wの作業を判定した日時でよい。
【0080】
次に、制御部310は、記憶部320に記憶された製品別作業マスタ328をRAM303に読み出し(ステップS217)、製品別作業マスタ328に作業判定対象の作業員Wの作業が定義されているか否かを判定する(ステップS218)。制御部310は、製品別作業マスタ328において、判定対象の半製品PSの完成品である製品の製品品種IDに、ステップS208において判定した作業判定対象の作業員Wの工程およびステップS212で判定した作業判定対象の作業員Wの作業が対応付けられているかに応じて判定する。
【0081】
製品別作業マスタ328に作業判定対象の作業員Wの作業が定義されていないと判定した場合(ステップS218:NO)、制御部310は、警告を通知する(ステップS219)。表示画像生成部316は、例えば、
図20に示すように、工場FAのフロアマップ上に配した作業判定対象の作業員Wを示す図形から延びる吹き出し(図中の右上の○から延びるハッチングが施された吹き出し)に作業している作業が付勢である旨のメッセージを記した作業表示画像を生成する。また、前工程で実施されていない作業がある半製品PSの場合と同様、工場内のパトランプを警告を示す表示(赤色明滅など)や警告音で鳴動させたり、工程管理者にメールにより通知するように構成してもよい。ステップS219を実行した後、制御部310は、処理をステップS201に戻す。
【0082】
一方、製品別マスタ328に作業判定対象の作業員Wの作業が定義されていると判定した場合(ステップS218:YES)、制御部310は、作業判定対象の作業員Wの工程に含まれる作業が全て完了したか否かを判定する(ステップS220)。制御部310は、作業マスタ325および作業履歴情報322を参照し、作業マスタ325において定義されている作業判定対象の作業員Wの工程に対応付けられている全ての作業が、作業履歴情報322において登録されているかを確認することにより判定する。
【0083】
作業判定対象の作業員Wの工程に含まれる作業が全て完了したと判定した場合(ステップS220:YES)、工程完了を通知する(ステップS221)。制御部310の表示画像生成部316は、例えば、
図20に示すように工場FAのフロアマップ上の半製品PSの所在位置に所定の図形(図中では、□)を配し、その図形から延びる吹き出し(図中の最も左の□から延びるハッチングが施された吹き出し)に実施されていない作業がある旨を報知するメッセージを記した作業表示画像を生成して表示部に工程が完了した旨を表示させる。また、工場内のパトランプを正常を示す表示(緑色点灯など)で動作させたり、工程管理者にメールにより通知するように構成してもよい。通知後、制御部310は処理をステップ201に戻す。
【0084】
一方、作業判定対象の作業員Wの工程に含まれる作業が全て完了していないと判定する(ステップS220:NO)場合、制御部310は処理をステップS201に戻す。
【0085】
以上説明したように、実施の形態2に係る作業監視装置300は、半製品PSの位置情報に基づいて、半製品PSが属する工程および半製品PSに施された作業を判定することにより、作業員Wが実施している作業の適正を判定する。また、作業監視装置300は、半製品PSに施された作業の履歴を示す半製品作業履歴情報327を用いて作業の実施もれを判定する。このように、実施の形態2に係る作業監視装置300は、作業員Wが実施している作業の適正や半製品PSに対する作業の実施もれを判定することにより、作業員Wの作業をより的確に監視することができる。
【0086】
なお、本発明は、上記の実施の形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変形および応用が可能である。
【0087】
上記の実施の形態において、作業監視装置300は、位置特定装置100が工場FA内のビーコン装置102から発信される無線信号の計測情報に基づいてビーコン装置102の位置を測位した測位結果を受け取ることにより、作業員Wや半製品PSの位置を取得した。しかし、作業監視装置300が作業員Wや半製品PSの位置を取得するための手段はこれに限らず、GPS(Global Positioning System)、PDR(Pedestrian Dead-Reckoning)、超音波、RFID(Radio Frequency Identifier)等を用いた測位方式を利用してもよい。
【0088】
また、上記の実施の形態において作業監視システム1に含まれる作業監視装置300、位置特定装置100、撮像制御装置200のそれぞれが備える機能は、他の装置が有していてもよい。例えば、作業監視装置300が、位置特定装置100が有する測位機能や撮像制御装置200が有する撮像制御機能を有していてもよい。この場合、作業監視装置300の処理負荷が増大する反面、作業監視システム1をスリム化および低コスト化することができる。
【0089】
上記の実施の形態において、作業監視装置300の動作を規定する制御プログラムは、ROM302に記憶されていた。しかしながら、本発明は、これに限定されず、上記の各種処理を実行させるための制御プログラムを、既存の汎用コンピュータや、フレームワーク、ワークステーション等に実装することにより、上記の実施の形態に係る、作業監視装置300に相当する装置として機能させてもよい。
【0090】
また、上記の実施形態において作業監視システム1に含まれる作業監視装置300、位置特定装置100、撮像制御装置200のそれぞれが備える機能は、特定のハードウェア上に構築されずに、個々にSaaS(Software as a Service)などのクラウド・サービスなどで提供されてもよい。
【0091】
このようなプログラムの提供方法は任意であり、例えば、コンピュータが読取可能な記録媒体(フレキシブルディスク、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM)等に格納して配布してもよいし、インターネットをはじめとするネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより提供してもよい。
【符号の説明】
【0092】
1…作業監視システム、100…位置特定装置、101…信号計測装置、102…ビーコン装置、200…撮像制御装置、201…撮像装置、300…作業監視装置、301…CPU、302…ROM、303…RAM、304…HDD、305…ディスプレイ、306…入力装置、307…通信I/F、310…制御部、311…位置情報取得部、312…撮像画像取得部、313…姿勢判定部、314…作業判定部、315…工程判定部、316…表示画像生成部、317…作業適正判定部、320…記憶部、321…作業員・ビーコン対応情報、322…作業履歴情報、323…姿勢マスタ、324…工程マスタ、325…作業マスタ、326…半製品・ビーコン対応情報、327…半製品作業履歴情報、328…製品別作業マスタ、329…半製品工程情報、330…表示部、340…入力部、350…通信部、BL…バスライン、FA…工場、NW…ネットワーク、PS…半製品、W…作業員