特開 2024-114478 作業判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024114478

(43)【公開日】2024-08-23

(54)【発明の名称】作業判定装置

(51)【国際特許分類】

   G06V 40/20 20220101AFI20240816BHJP

   G06T 7/20 20170101ALI20240816BHJP

【ＦＩ】

G06V40/20

G06T7/20 300Z

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023020274

(22)【出願日】2023-02-13

(71)【出願人】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(71)【出願人】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】佐々木 洋子

(72)【発明者】

【氏名】的野 晃整

(72)【発明者】

【氏名】吉田 有壽木

(72)【発明者】

【氏名】岡本 和也

(72)【発明者】

【氏名】松浦 慶伍

(72)【発明者】

【氏名】小出 幸和

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA08

5L096CA04

5L096DA01

5L096DA04

5L096FA02

5L096FA09

5L096FA69

5L096FA72

5L096GA51

5L096HA02

5L096JA11

(57)【要約】

【課題】人が作業を行ったか否かを判定すること。
【解決手段】作業判定装置は、人を撮像する撮像装置と、制御装置と、を備える。制御装置は、撮像装置から画像データを取得する。制御装置は、人の位置情報を取得する。制御装置は、人が行うべき作業が規則として設定された規則領域に人が位置しているか否かを位置情報から判定する。制御装置は、人が規則領域に位置している場合、当該規則領域に設定された作業を人が行ったか否かを画像データから判定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

人を撮像する撮像装置と、
制御装置と、を備え、
前記制御装置は、
前記人の位置情報を取得し、
前記撮像装置から画像データを取得し、
前記人が行うべき作業が規則として設定された規則領域に前記人が位置しているか否かを前記位置情報から判定し、
前記人が前記規則領域に位置している場合、当該規則領域に設定された前記作業を前記人が行ったか否かを前記画像データから判定する、作業判定装置。

【請求項2】

前記制御装置は、前記画像データにおける前記人の関節の位置から前記作業を前記人が行ったか否かを判定する、請求項１に記載の作業判定装置。

【請求項3】

前記制御装置は、前記人が前記規則領域に進入してからの経過時間が所定時間になる前に前記人が当該規則領域に設定された前記作業を行った場合、前記人が前記作業を行ったと判定する、請求項１又は請求項２に記載の作業判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、作業判定装置に関する。

【背景技術】

【0002】

特許文献１に開示の搬送車用車載器は、回転角度検出部と、制御装置と、を備える。回転角度検出部は、搬送車に搭乗する人の頭部の回転角度を検出する。制御装置は、人の頭部の回転角度から人を評価する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１７４３６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

頭部の回転角度から人を評価する場合、人の行動を適切に評価することができない場合がある。例えば、人は、種々の作業を行うが、頭部の回転角度が変化しない作業については、人が当該作業を行ったかを判定できない場合がある。

【課題を解決するための手段】

【0005】

上記課題を解決する作業判定装置は、人を撮像する撮像装置と、制御装置と、を備え、前記制御装置は、前記人の位置情報を取得し、前記撮像装置から画像データを取得し、前記人が行うべき作業が規則として設定された規則領域に前記人が位置しているか否かを前記位置情報から判定し、前記人が前記規則領域に位置している場合、当該規則領域に設定された前記作業を前記人が行ったか否かを前記画像データから判定する。

【0006】

制御装置は、位置情報から人が規則領域に位置しているか否かを判定できる。制御装置は、人が規則領域に位置している場合、当該規則領域に設定された作業を人が行ったか否かを判定する。この判定は、人を撮像する撮像装置から取得した画像データによって行われる。画像データを用いることによって、人が作業を行ったか否かを判定することができる。

【0007】

上記作業判定装置について、前記制御装置は、前記画像データにおける前記人の関節の位置から前記作業を前記人が行ったか否かを判定してもよい。
上記作業判定装置について、前記制御装置は、前記人が前記規則領域に進入してからの経過時間が所定時間になる前に前記人が当該規則領域に設定された前記作業を行った場合、前記人が前記作業を行ったと判定してもよい。

【発明の効果】

【0008】

本発明によれば、人が作業を行ったか否かを判定することができる。

【図面の簡単な説明】

【0009】

【図1】人が作業を行う領域を示す模式図である。

【図2】図１の領域で用いられる車両の概略構成図である。

【図3】図２の制御装置が実行する作業判定制御を示すフローチャートである。

【図4】図２の撮像装置から取得した画像データの一例を示す図である。

【図5】図４の画像データから人が写る範囲を抽出した図である。

【図6】図３の実施表示及び未実施表示で表示部に表示される表示内容の一例を示す図である。

【発明を実施するための形態】

【0010】

作業判定装置の一実施形態について説明する。
図１に示すように、作業判定システム１０は、少なくとも１つの車両２０と、作業判定装置６０と、を備える。車両２０は、車両２０に搭乗した人Ｐ１によって操作されることで動作する。車両２０は、例えば、フォークリフトである。

【0011】

＜車両＞
車両２０は、予め定められた領域Ａ１１で運用される。領域Ａ１１は、例えば、工場、物流倉庫、港湾、商業施設、又は公共施設である。

【0012】

領域Ａ１１は、少なくとも１つの規則領域Ａ１を備える。規則領域Ａ１は、人Ｐ１が行うべき作業が規則として設定された領域である。例えば、規則領域Ａ１には、人Ｐ１が行うべき作業として指差呼称が設定されている。指差呼称は、人Ｐ１が特定の方向に対して指差し確認をする安全行動である。人Ｐ１が行うべき作業として指差呼称が設定された規則領域Ａ１は、例えば、交差点、又は建物の出入口に設定されている。交差点は、物流倉庫内の保管棚によって形成される通路が交差するものを含む。

【0013】

図２に示すように、車両２０は、車両制御装置２１を備える。車両制御装置２１は、プロセッサ２２と、記憶部２３と、を備える。プロセッサ２２は、例えば、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又はDSP（Digital Signal Processor）である。記憶部２３は、RAM（Random Access Memory）及びROM（Read Only Memory）を含む。記憶部２３は、処理をプロセッサ２２に実行させるように構成されたプログラムコードまたは指令を格納している。記憶部２３、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。車両制御装置２１は、ASIC（Application Specific Integrated Circuit）やFPGA（Field Programmable Gate Array）等のハードウェア回路によって構成されていてもよい。処理回路である車両制御装置２１は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。

【0014】

車両２０は、走行モータ２４を備える。走行モータ２４は、車両２０を走行させるためのモータである。走行モータ２４の駆動によって車両２０は走行する。
車両２０は、モータドライバ２５を備える。モータドライバ２５は、走行モータ２４の制御を行う。例えば、モータドライバ２５は、車両制御装置２１からの指令に応じて走行モータ２４を制御する。これにより、車両２０の速度が調整される。

【0015】

車両２０は、補助記憶装置３２を備える。補助記憶装置３２は、データを書き換え可能な不揮発性記憶装置である。補助記憶装置３２は、例えば、ハードディスクドライブ、又はソリッドステートドライブである。

【0016】

補助記憶装置３２は、地図データＭＤ１を記憶している。地図データＭＤ１は、領域Ａ１１の構造を地図座標系の座標で表したデータである。地図座標系は、２次元座標系であってもよいし、３次元座標系であってもよい。地図座標系は、車両２０が用いられる領域Ａ１１の任意の一点を原点とする座標系である。

【0017】

車両２０は、通信装置５１を備える。通信装置５１は、通信制御部やポート等を備え、通信網を通じて情報の送受信を行うことができるネットワーク機器である。
車両制御装置２１は、車両２０の自己位置を推定する。自己位置とは、地図座標系での車両２０の一点を示す座標である。車両２０の一点は任意であるが、例えば、車両２０の水平方向での中心位置を挙げることができる。

【0018】

車両制御装置２１は、後述する撮像装置３１から取得した画像データによって自己位置を推定する。車両制御装置２１は、画像データから得られた特徴点と地図データＭＤ１との照合によって自己位置を推定する。

【0019】

車両制御装置２１は、推定した自己位置を示す位置情報、画像データ、及び車両２０のＩＤコードを、所定の間隔で通信装置５１から送信する。車両２０に搭乗した人Ｐ１の位置と車両２０との位置は同一とみなすことができるため、位置情報は、車両２０に搭乗した人Ｐ１の領域Ａ１１における位置を示す。車両２０のＩＤコードは、車両２０毎に設定された個別の識別情報である。

【0020】

＜作業判定装置＞
作業判定装置６０は、人Ｐ１が規則領域Ａ１に設定された規則に従って作業を行ったか否かを判定する装置である。

【0021】

作業判定装置６０は、撮像装置３１を備える。撮像装置３１は、例えば、デジタルカメラである。撮像装置３１は、撮像素子を備える。撮像素子は、例えば、ＣＣＤイメージセンサ(Charge Coupled Device image sensor)、又はＣＭＯＳイメージセンサ(Complementary Metal Oxide Semiconductor image sensor)である。撮像装置３１は、所定のフレームレートで撮像を行って画像データを生成する。

【0022】

撮像装置３１は、車両２０に搭乗した人Ｐ１、及び車両２０の周辺環境を撮像できるように配置されている。本実施形態において、撮像装置３１は、車両２０に設けられている。撮像装置３１は、例えば、ヘッドガードに設けられる。撮像装置３１は、領域Ａ１１の一定位置に設置され、特定の場所を常時監視するように用いられてもよい。

【0023】

作業判定装置６０は、制御装置６１を備える。制御装置６１は、例えば、車両制御装置２１と同様のハードウェア構成を備える。制御装置６１は、プロセッサ６２と、記憶部６３と、を備える。

【0024】

作業判定装置６０は、通信装置６４を備える。通信装置６４は、例えば、車両２０が備える通信装置５１と同様の装置である。通信装置６４は、通信装置５１から送信された情報を取得可能である。通信装置６４は、通信装置５１に情報を送信可能である。

【0025】

作業判定装置６０は、表示部６５を備える。表示部６５は、例えば、液晶ディスプレイ又は有機エレクトロルミネッセンスディスプレイである。表示部６５は、作業判定装置６０のユーザが視認可能である。

【0026】

作業判定装置６０は、補助記憶装置６６を備える。補助記憶装置６６は、意味地図データＭＤ２を記憶している。意味地図データＭＤ２は、地図座標系によって表される領域Ａ１１のうち所定の場所に意味を付与したデータである。意味地図データＭＤ２は、車両２０が運用される領域Ａ１１を表す。意味地図データＭＤ２は、領域Ａ１１の一部である規則領域Ａ１に人Ｐ１が行うべき作業を規則として設定したデータである。即ち、地図座標系の座標に対して人Ｐ１が行うべき作業を対応付けたデータが意味地図データＭＤ２である。例えば、地図座標系で規則領域Ａ１に対応する座標には、人Ｐ１が行うべき作業として指差呼称が設定されている。意味地図データＭＤ２は、規則領域Ａ１に設定された規則を地図データＭＤ１に反映したデータである。

【0027】

＜作業判定制御＞
制御装置６１が行う作業判定制御について説明する。作業判定制御は、所定の制御周期で繰り返し行われる。作業判定制御は、ＩＤコード毎に個別に行われる。即ち、領域Ａ１１に複数の車両２０が存在する場合には、車両２０に搭乗する人Ｐ１毎に作業判定制御が行われる。

【0028】

図３に示すように、ステップＳ１において、制御装置６１は、通信装置６４を介して車両２０から位置情報を取得する。
次に、ステップＳ２において、制御装置６１は、通信装置６４を介して車両２０から画像データを取得する。この画像データは、ステップＳ１の位置情報によって示される自己位置が推定された時点での画像データである。

【0029】

次に、ステップＳ３において、制御装置６１は、作業ラベルを設定する。作業ラベルは、車両２０に搭乗した人Ｐ１の作業を表すラベルである。制御装置６１は、画像データから人Ｐ１が行っている作業を判別する。そして、制御装置６１は、人Ｐ１が行っている作業に対応した作業ラベルを設定する。作業を判別する手法は、例えば、人Ｐ１の関節位置を用いる手法、又は機械学習を用いる手法であってもよい。一例として、人Ｐ１の関節位置を用いて作業を判別する手法について説明する。

【0030】

図４に示すように、制御装置６１は、画像データＩＭ１から人Ｐ１が写る範囲ＩＭ２を抽出する。人Ｐ１が写る範囲ＩＭ２の抽出は、例えば、画像データＩＭ１から特徴量を抽出することによって行われてもよい。この場合、制御装置６１は、人Ｐ１の特徴量と類似する範囲ＩＭ２を人Ｐ１が写る範囲ＩＭ２として抽出する。制御装置６１は、画像データＩＭ１の予め定められた範囲ＩＭ２を人Ｐ１が写る範囲ＩＭ２として抽出してもよい。例えば、画像データＩＭ１において運転席が写る範囲ＩＭ２を予め定められた範囲ＩＭ２として抽出してもよい。

【0031】

図５に示すように、制御装置６１は、画像データＩＭ１における人Ｐ１の関節Ｊ１の位置を取得する。制御装置６１は、範囲ＩＭ２に対して骨格推定を行う。骨格推定により、人Ｐ１の首、肩、肘、手首、腰、股、膝、足首などの関節Ｊ１と、これらの関節Ｊ１を直線状のリンクで連結したモデルを得ることができる。制御装置６１は、モデルから画像データＩＭ１における人Ｐ１の関節Ｊ１の位置を取得する。画像データＩＭ１における人Ｐ１の関節Ｊ１の位置は、横画素の位置を表すＸ軸の座標と、縦画素の位置を表すＹ軸の座標とで示される。

【0032】

制御装置６１は、画像データＩＭ１における人Ｐ１の関節Ｊ１の位置から人Ｐ１が行っている作業を判別する。指差呼称の場合、指差し確認によって手首の関節Ｊ１が所定の高さに位置する。指差呼称の際に手首の関節Ｊ１が位置する高さの範囲を予め設定しておき、この範囲に手首の関節Ｊ１が位置している場合には指差呼称が行われていると判定されてもよい。例えば、画像データのＹ軸の座標に範囲を設定しておけばよい。そして、この範囲に手首の関節Ｊ１が位置している場合、制御装置６１は、指差呼称が行われていると判定してもよい。

【0033】

人Ｐ１が行っている作業は、後進姿勢を行っていることを含んでいてもよい。車両２０がフォークリフトの場合、後進を行う際の人Ｐ１の姿勢が運用で定められている場合がある。例えば、異なる工場間を走行する際や、荷役動作を通常行わない所定の通路（すなわち、物品の搬入出動作を行わない通路）を走行する際に、ピラーを把持した状態で後方を視認しながら後進を行うことが運用で定められている場合がある。制御装置６１は、規則領域Ａ１が設定されている、異なる工場間を走行する経路や荷役動作を通常行わない所定の通路において、手首の関節Ｊ１がピラーに対応する位置に存在している場合、後進姿勢を行っていると判定してもよい。人Ｐ１の作業は、左右確認を含んでいてもよい。

【0034】

制御装置６１は、人Ｐ１の作業を判別すると、当該作業に対応した作業ラベルを設定する。
図３に示すように、次に、ステップＳ４において、制御装置６１は、人Ｐ１が規則領域Ａ１に位置しているか否かを判定する。制御装置６１は、位置情報によって表される自己位置が規則領域Ａ１に含まれている場合、人Ｐ１が規則領域Ａ１に位置していると判定する。ステップＳ４の判定結果が肯定の場合、制御装置６１は、ステップＳ５の処理を行う。ステップＳ４の判定結果が否定の場合、制御装置６１は、作業判定制御を終了する。

【0035】

ステップＳ５において、制御装置６１は、規則領域Ａ１に規則として設定された作業を人Ｐ１が実施したか否かを判定する。一例として、規則領域Ａ１で指差呼称が行われたか否かを判定する場合について説明を行う。

【0036】

制御装置６１は、ステップＳ４で人Ｐ１が規則領域Ａ１に位置していると判定された場合、意味地図データＭＤ２から規則領域Ａ１に設定された作業を認識する。制御装置６１は、規則領域Ａ１には人Ｐ１が行うべき作業として指差呼称が設定されていることを認識する。制御装置６１は、人Ｐ１が位置する規則領域Ａ１に設定された作業と作業ラベルによって表される作業が一致するか否かを判定する。制御装置６１は、作業ラベルが指差呼称を表している場合、規則領域Ａ１に設定された作業が行われたと判定する。制御装置６１は、人Ｐ１が規則領域Ａ１に進入してからの経過時間が所定時間になる前に人Ｐ１が規則領域Ａ１に設定された作業を行った場合、人Ｐ１が作業を行ったと判定する。本実施形態であれば、人Ｐ１が規則領域Ａ１に進入してからの経過時間が所定時間になる前に作業ラベルによって表される作業が指差呼称になった場合、制御装置６１はステップＳ５の判定結果を肯定にする。人Ｐ１が規則領域Ａ１に進入してからの経過時間が所定時間になる前に作業ラベルによって表される作業が指差呼称にならなかった場合、制御装置６１はステップＳ５の判定結果を否定にする。所定時間は、任意に設定することができる。所定時間は、規則領域Ａ１に人Ｐ１が進入した場合に、人Ｐ１が規則領域Ａ１に設定された作業を行うのに要する時間である。所定時間は、例えば、３秒である。所定時間は、規則領域Ａ１に設定された作業に応じて異なる時間が設定されていてもよい。作業ラベルは画像データＩＭ１に応じて設定されるため、制御装置６１は、規則領域Ａ１に設定された作業を人Ｐ１が行ったか否かを画像データＩＭ１から判定する。ステップＳ５の判定結果が肯定の場合、制御装置６１は、ステップＳ６の処理を行う。ステップＳ５の判定結果が否定の場合、制御装置６１は、ステップＳ７の処理を行う。

【0037】

ステップＳ６において、制御装置６１は、実施表示を行う。実施表示は、作業判定装置６０のユーザに、人Ｐ１が規則領域Ａ１に設定された作業を実施していることを通知する表示である。例えば、図６に示すように、表示部６５に規則領域Ａ１を表す地図を表示し、地図に人Ｐ１の軌跡Ｔ１を表示してもよい。そして、軌跡Ｔ１に実施を示すマーク７１を重畳して表示させてもよい。図６に示す例では、規則領域Ａ１を表示しているが、表示部６５には領域Ａ１１の全体が表示されてもよい。領域Ａ１１に複数の車両２０が存在している場合、表示部６５には複数の車両２０に搭乗した人Ｐ１に対応した表示が行われてもよい。

【0038】

ステップＳ７において、制御装置６１は、未実施表示を行う。未実施表示は、作業判定装置６０のユーザに、人Ｐ１が規則領域Ａ１に設定された作業を未実施であることを通知する表示である。例えば、図６に示すように、軌跡Ｔ１に未実施を示すマーク７２を重畳して表示させてもよい。未実施を示すマーク７２は、実施を示すマーク７１と異なっていれば、どのようなマークであってもよい。

【0039】

［本実施形態の作用］
制御装置６１は、位置情報を取得する。制御装置６１は、取得した位置情報から人Ｐ１が規則領域Ａ１に位置しているか否かを判定できる。制御装置６１は、人Ｐ１が規則領域Ａ１に位置している場合、当該規則領域Ａ１に設定された作業を意味地図データＭＤ２から認識することができる。制御装置６１は、規則領域Ａ１に設定された作業を人Ｐ１が行ったか否かを判定する。この判定は、人Ｐ１を撮像する撮像装置３１から取得した画像データＩＭ１によって行われる。画像データＩＭ１を用いることによって、人Ｐ１の変化を捉えやすい。例えば、回転角度検出部によって人Ｐ１の部位の回転角度を検出しようとすると、回転角度検出部が設けられた部位しか回転角度を検出することができない。これに対し、撮像装置３１であれば、人Ｐ１の部位のうち撮像範囲に含まれている部分の変化を捉えることができる。

【0040】

［本実施形態の効果］
（１）制御装置６１は、画像データＩＭ１を用いることによって、人Ｐ１が作業を行ったか否かを判定することができる。

【0041】

（２）制御装置６１は、画像データＩＭ１における人Ｐ１の関節Ｊ１の位置から規則領域Ａ１に設定された作業を人Ｐ１が行ったか否かを判定する。規則領域Ａ１に設定された作業には、指差呼称等の特定の動作を人Ｐ１が行う作業が含まれる。特定の動作を行うと、人Ｐ１の関節Ｊ１の位置が変化する。このため、関節Ｊ１の位置から規則領域Ａ１に設定された作業を人Ｐ１が行ったか否かを判定することができる。

【0042】

（３）制御装置６１は、人Ｐ１が規則領域Ａ１に進入してからの経過時間が所定時間になる前に人Ｐ１が作業を行った場合、規則領域Ａ１に設定された作業を人Ｐ１が行ったと判定する。人Ｐ１が規則領域Ａ１に進入してから作業を行うまでには時間を要する場合がある。所定時間を設定することで、人Ｐ１が作業を行ったか否かの判定が過剰に厳しくなることを抑制できる。

【0043】

（４）制御装置６１は、規則領域Ａ１に設定された作業を人Ｐ１が行ったか否かを表示部６５に表示する。これにより、作業判定装置６０のユーザに、人Ｐ１が規則領域Ａ１に設定された作業を行ったか否かを評価させることができる。

【0044】

［変更例］
実施形態は、以下のように変更して実施することができる。実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0045】

○制御装置６１は、規則領域Ａ１に設定された作業を人Ｐ１が行わなかった場合、人Ｐ１に対して警告を行ってもよい。例えば、制御装置６１は、ブザーを動作させる指令、又は人Ｐ１が視認可能な表示部に警告表示をさせる指令を通信装置６４から送信してもよい。ブザーは、車両２０に設けられていてもよいし、領域Ａ１１に設けられていてもよい。人Ｐ１が視認可能な表示部は、車両２０に設けられていてもよいし、領域Ａ１１に設けられていてもよい。制御装置６１が指令を送信する場合、表示部６５の表示は行われてもよいし、行われなくてもよい。

【0046】

○規則領域Ａ１は、人Ｐ１が行うべき作業として左右確認が設定された領域を含んでいてもよい。この場合、規則領域Ａ１は、例えば、交差点に設定される。左右確認は、人Ｐ１が左右を視認する作業である。

【0047】

○規則領域Ａ１は、人Ｐ１が行うべき作業として一時停止が設定された領域を含んでいてもよい。
○車両制御装置２１は、測距センサの測定結果と地図データＭＤ１との照合によって自己位置を推定してもよい。測距センサは、例えば、レーザー距離計、ミリ波レーダー、又はステレオカメラである。自己位置の推定は、測距センサから推定される周辺環境の形状と、地図データＭＤ１の形状とを照合する周知の方法で実現できる。

【0048】

○車両２０が作業判定装置を備えていてもよい。この場合、作業判定制御は、車両制御装置２１が行ってもよい。補助記憶装置３２には、地図データＭＤ１に代えて、又は加えて意味地図データＭＤ２が記憶される。この場合、車両制御装置２１が制御装置である。

【0049】

○制御装置６１は、領域Ａ１１に設けられたマーカーから人Ｐ１が行うべき作業を認識してもよい。この場合、車両２０が規則領域Ａ１に位置している場合に撮像装置３１によってマーカーが撮像されるようにマーカーが配置される。マーカーには、人Ｐ１が行うべき作業が対応付けられている。制御装置６１は、画像データＩＭ１から人Ｐ１が行うべき作業を認識する。そして、制御装置６１は、マーカーから認識した作業と作業ラベルで表される作業とが一致しているか否かを判定する。マーカーは、車両２０が規則領域Ａ１に位置している場合に撮像装置３１によって撮像されるように配置されるため、マーカー自体が位置情報である。マーカーは、例えば、ＡＲ（Augmented Reality）マーカーである。

【0050】

○作業判定装置６０は、車両２０に搭乗していない人Ｐ１が規則領域Ａ１に設定された作業を行ったか否かを判定してもよい。この場合、例えば、人Ｐ１が装着するヘルメットに撮像装置３１を設けることによって、撮像装置３１によって人Ｐ１を撮像できるようにする。そして、この撮像装置３１の撮像によって得られた画像データＩＭ１を作業判定装置６０に送信する通信装置５１を設けることによって、画像データＩＭ１を作業判定装置６０に送信する。通信装置５１は、撮像装置３１とユニット化されていてもよい。通信装置５１は、撮像装置３１と別に設けられていてもよい。

【0051】

○車両２０は、人Ｐ１を撮像する撮像装置と自己位置を推定するための撮像装置とを別々に備えていてもよい。
○ステップＳ３で判別される人Ｐ１が行っている作業は、前進姿勢を行っていることを含んでいてもよい。車両２０がフォークリフトの場合、前進を行う際の人Ｐ１の姿勢が運用で定められている場合がある。

【符号の説明】

【0052】

Ａ１…規則領域、ＩＭ１…画像データ、Ｊ１…関節、Ｐ１…人、３１…撮像装置、６０…作業判定装置、６１…制御装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】