特許 6674515 判定装置および判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6674515

(24)【登録日】2020年3月10日

(45)【発行日】2020年4月1日

(54)【発明の名称】判定装置および判定方法

(51)【国際特許分類】

   B66F 9/24 20060101AFI20200323BHJP

【ＦＩ】

   B66F9/24 Z

【請求項の数】3

【全頁数】11

(21)【出願番号】特願2018-164877(P2018-164877)

(22)【出願日】2018年9月3日

(65)【公開番号】特開2020-37463(P2020-37463A)

(43)【公開日】2020年3月12日

【審査請求日】2018年9月3日

(73)【特許権者】

【識別番号】000232807

【氏名又は名称】三菱ロジスネクスト株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】大塚 誠

(72)【発明者】

【氏名】椎崎 弘司

(72)【発明者】

【氏名】門地 正史

(72)【発明者】

【氏名】明石 拓也

(72)【発明者】

【氏名】南 昭伍

(72)【発明者】

【氏名】中島 慎

(72)【発明者】

【氏名】萩野 貴大

(72)【発明者】

【氏名】竹内 佑輔

(72)【発明者】

【氏名】中山 健次

(72)【発明者】

【氏名】大西 南望

(72)【発明者】

【氏名】別府 遼介

【審査官】 須山 直紀

(56)【参考文献】

【文献】 特開２０１３−１７４９８０（ＪＰ，Ａ）

【文献】 特開２０１８−０３２１６７（ＪＰ，Ａ）

【文献】 特開２００３−１６７６１３（ＪＰ，Ａ）

【文献】 特開２０１４−１６２６３６（ＪＰ，Ａ）

【文献】 特開２０１５−０４８１７１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１８／０３４２０３１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６６Ｆ ９／２４

(57)【特許請求の範囲】

【請求項1】

作業用車両を用いた作業における操作ミスの発生の予兆が表れた作業の様子を撮影した画像を用いた機械学習により生成された学習済みモデルを用いて、対象作業用車両を用いた作業の様子を撮影した画像から、当該対象作業用車両を用いた作業において操作ミスが発生するか否かを判定する判定部を備えており、
上記学習済みモデルは、上記作業用車両を操作する作業者の表情、および操作ミスが発生した事例における当該操作ミスに係る操作前の作業シーンの少なくとも何れかを撮影した画像を用いた機械学習により生成されたものであることを特徴とする判定装置。

【請求項2】

作業用車両を用いた作業における操作ミスの発生の予兆が表れた作業の様子を撮影した画像を用いた機械学習により生成された学習済みモデルを用いて、対象作業用車両を用いた作業の様子を撮影した画像から、当該対象作業用車両を用いた作業において操作ミスが発生するか否かを判定する判定部と、
上記対象作業用車両による作業において、操作ミスが発生したか否かを判定する操作ミス判定部と、
上記判定部の判定のために上記学習済みモデルに入力された入力データと、上記操作ミス判定部の判定結果とを対応付けて、上記学習済みモデルの機械学習用の教師データを生成する教師データ生成部と、を備えていることを特徴とする判定装置。

【請求項3】

判定装置による判定方法であって、
作業用車両を用いた作業における操作ミスの発生の予兆が表れた作業の様子を撮影した画像を用いた機械学習により生成された学習済みモデルを用いて、対象作業用車両を用いた作業の様子を撮影した画像から、当該対象作業用車両を用いた作業において操作ミスが発生するか否かを判定する判定ステップを含み、
上記学習済みモデルは、上記作業用車両を操作する作業者の表情、および操作ミスが発生した事例における当該操作ミスに係る操作前の作業シーンの少なくとも何れかを撮影した画像を用いた機械学習により生成されたものであることを特徴とする判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業用車両を用いた作業において操作ミスが発生するか否かを判定する判定装置等に関する。

【背景技術】

【0002】

フォークリフト等の作業用車両を用いた作業においては、作業者が操作ミスを発生させることがあり、そのような操作ミスを未然に防ぐための技術の開発が従来から進められている。例えば、下記特許文献１には、搬送対象の荷物の高さが所定の上限値以上の場合に警告手段を動作させることによって、フォークリフトの運転者が荷崩れを発生させることを防ぐ技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８‐１５６０９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、荷崩れは荷物が高く積み上げられていれば必ず発生するというものではない。また、荷物が高く積み上げられていることは運転者が目視で認識できる事項であるから、警告手段の動作を運転者が煩わしく感じるおそれがある。さらに、上記従来技術では、荷崩れとは関係のない操作ミスの発生を防ぐことはできない。そのため、作業の様子を撮影した画像に基づいて操作ミスが発生するか否かを判定する技術が求められている。

【0005】

本発明の一態様は、作業用車両による作業の様子を撮影した画像に基づき、操作ミスが発生するか否かを判定することができる判定装置等を実現することを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本発明の一態様に係る判定装置は、作業用車両を用いた作業における操作ミスの発生の予兆が表れた作業の様子を撮影した画像を用いた機械学習により生成された学習済みモデルを用いて、対象作業用車両による作業の様子を撮影した画像から、当該対象作業用車両を用いた作業において操作ミスが発生するか否かを判定する判定部を備えている。

【0007】

また、上記の課題を解決するために、本発明の一態様に係る判定方法は、判定装置による判定方法であって、作業用車両を用いた作業における操作ミスの発生の予兆が表れた作業の様子を撮影した画像を用いた機械学習により生成された学習済みモデルを用いて、対象作業用車両による作業の様子を撮影した画像から、当該対象作業用車両を用いた作業において操作ミスが発生するか否かを判定する判定ステップを含む。

【発明の効果】

【0008】

本発明の一態様によれば、作業用車両による作業の様子を撮影した画像に基づいて操作ミスが発生するか否かを判定することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態１に係る判定装置の要部構成の一例を示すブロック図である。

【図2】上記判定装置が行う判定の概要を示す図である。

【図3】上記判定装置が実行する処理の一例を示すフローチャートである。

【図4】本発明の実施形態２に係る判定装置の要部構成の一例を示すブロック図である。

【発明を実施するための形態】

【0010】

〔実施形態１〕
（判定の概要）
本実施形態の判定装置による判定の概要を図２に基づいて説明する。図２は、判定装置１が行う判定の概要を示す図である。判定装置１は、対象作業用車両による作業シーンを撮影した画像から、当該対象作業用車両を用いた作業において操作ミスが発生するか否かを判定する装置である。

【0011】

図２の例では、対象作業用車両の一例であるフォークリフトＡを作業者Ｂが操作している。また、作業者ＢがフォークリフトＡを用いて所定の作業を行うシーンを撮影装置Ｃが撮影しており、撮影した動画像が判定装置１に入力されている。なお、図２では、対象作業用車両の例としてフォークリフトＡを記載しているが、対象作業用車両は、作業に用いられる車両であればよく、フォークリフトＡに限られない。

【0012】

判定装置１は、入力された上記動画像に基づいてフォークリフトＡの操作ミスが発生するか否かを判定する。例えば、図２の例のように作業者Ｂが疲れを感じており、その疲労感が操作ミスの予兆として作業者Ｂの作業の様子に表れていた場合、判定装置１は、上記動画像に基づいて操作ミスが発生すると判定する。そして、判定装置１は、操作ミスが発生する可能性が高い状況であることを作業者Ｂに報知する。

【0013】

このように、判定装置１は、作業の様子を撮影した画像に基づき、操作ミスが発生するか否かを判定することができる。また、判定装置１は、操作ミスが発生すると判定した場合に、作業者Ｂへの報知を行う。これにより、操作ミスの発生を効果的に防ぐことができる。

【0014】

なお、図２の例では、１台のフォークリフトＡについて１台の判定装置１が判定を行っているが、複数台のフォークリフトをそれぞれ撮影した動画像を取得すれば、１台の判定装置１によって複数台のフォークリフトについての判定を行うこともできる。また、１台のフォークリフトＡについて１台の判定装置１が判定を行う場合、判定装置１をフォークリフトＡに搭載してもよい。本実施形態では、判定装置１をフォークリフトＡに搭載した例を説明する。

【0015】

（判定装置の要部構成）
判定装置１の要部構成について図１に基づいて説明する。図１は、判定装置１の要部構成の一例を示すブロック図である。図示のように、判定装置１は、判定装置１の各部を統括して制御する制御部１０と、判定装置１が使用する各種データを記憶する記憶部２０を備えている。さらに、判定装置１は、判定装置１に対する入力操作を受け付ける入力部３０と、判定装置１が情報を出力するための出力部４０と、判定装置１が他の装置と通信するための通信部５０とを備えている。また、制御部１０には、入力データ生成部１０１、学習済みモデル１０２、判定部１０３、および報知部１０４が含まれている。

【0016】

入力データ生成部１０１は、フォークリフトＡを用いた作業の様子を撮影した画像から、学習済みモデル１０２に対する入力データを生成する。学習済みモデル１０２は、作業用車両を用いた作業における操作ミスの発生の予兆が表れた作業の様子を撮影した画像を用いた機械学習により生成された学習済みモデルである。そして、判定部１０３は、学習済みモデル１０２の出力データに基づき、フォークリフトＡの操作ミスが発生するか否かを判定する。上記入力データ、学習済みモデル１０２、および判定部１０３の判定の詳細は後述する。

【0017】

報知部１０４は、操作ミスが発生する可能性が高い状況であることを報知する。具体的には、報知部１０４は、出力部４０を制御して、操作ミスが発生する可能性が高い状況であることを示す情報を出力させる。本実施形態では、判定装置１がフォークリフトＡに搭載されていることを想定しているので、出力部４０に上記の情報を出力させることにより、作業者Ｂへの報知を行うことができる。なお、上記情報の出力態様は特に限定されず、例えば出力部４０が表示部であれば表示出力させればよいし、音声出力部であれば音声出力させればよい。また、判定装置１がフォークリフトＡから離れた位置にある場合、報知部１０４は、フォークリフトＡと通信することにより、フォークリフトＡが備える出力部に上記情報を出力させてもよい。この他にも、例えば、報知部１０４は、作業者Ｂの所持する端末装置や、作業者Ｂの作業を管理する管理者の端末装置等の他の装置に上記情報を出力させることにより報知を行ってもよい。

【0018】

（学習済みモデルについて）
本実施形態の学習済みモデル１０２は、作業用車両を用いた作業において操作ミスが発生したときの、該操作ミスの発生直前における所定の作業のシーンを撮影した画像を教師データとして用いた機械学習により生成された学習済みモデルである。なお、本実施形態ではフォークリフトＡの操作ミスが発生するかを判定することを想定しているため、上記作業用車両が、フォークリフトＡと操作方法が共通したフォークリフトである例を説明する。

【0019】

より詳細には、本実施形態では、フォークリフトを用いた荷役作業において、フォークをパレットに差し込む操作をミスして荷崩れを発生させた事例における、そのフォーク操作の直前の作業のシーンを撮影した画像を教師データとした例を説明する。上記直前の作業のシーンは、具体的には、フォークポケットにフォークを位置合わせする作業である。そして、この画像には、操作ミスの発生の予兆として、例えば、位置合わせがスムーズに行われておらず、何度もフォークの上下動を繰り返す様子などが表れている。

【0020】

なお、教師データとして用いる画像は、フォークリフトＡによる作業時と同様の操作ミスの予兆が表れたものであればよく、フォークリフト以外の作業用車両を用いた作業において操作ミスが発生したときに撮影した画像であってもよい。また、操作ミスは、作業用車両を用いた作業時に発生したものであればよく、フォークをパレットに差し込む操作における操作ミスに限られない。例えば、作業用車両の通常走行時における操作ミス（例えば積荷や他の車両などとの接触を発生させるようなもの）であってもよいし、積荷運搬時における操作ミス（例えばフォークをティルトさせずに運搬して積荷を落下させてしまう等）であってもよい。

【0021】

また、上記所定の作業のシーンは、操作ミスが発生した作業における１つのシーンであってもよいし、操作ミスが発生した作業の直前に行われた別の作業における１つのシーンであってもよい。例えば、操作ミスが、以下の（１）〜（４）のステップからなる荷役作業における（３）のステップで発生したとする。この場合、（１）または（２）のシーンの画像を教師データとして用いてもよいし、この荷役作業の直前に行われた別の作業（例えば、トラックの積荷を下ろす作業）を撮影した画像を教師データとして用いてもよい。
（１）積荷の前でフォークリフトを停車。
（２）フォークをパレットに位置合わせ。
（３）フォークをパレットに差し込む。
（４）積荷を持ち上げて手前に引き出す。

【0022】

また、上記画像は、フォークリフトを撮影したものであってもよいし、フォークリフトを運転する作業者を撮影したものであってもよいし、それら両方を撮影したものであってもよい。また、作業者を撮影した画像を用いる場合、作業者の表情および所作の少なくとも何れかを撮影した画像を用いてもよい。操作ミスの発生に関連がある、疲労した状態や注意散漫な状態は、作業者の表情や所作として表れることが多い。このため、作業者の表情および所作の少なくとも何れかを撮影した画像を用いた機械学習により生成された学習済みモデル１０２を用いることにより、作業者Ｂの表情や所作という観点から操作ミスが発生するか否かを判定することができる。

【0023】

なお、教師データおよび入力データとして動画像を用いる場合、学習済みモデル１０２としては、例えば、ＣＮＮ（Convolutional Neural Network）とＲＮＮ（Recurrent Neural Network）、あるいはＣＮＮとＬＳＴＭ（Long Short-Term Memory）を組み合わせた学習済みモデルを用いることが好ましい。ＲＮＮやＬＳＴＭのような時系列データの扱いに適したモデルと、画像認識性能の高いＣＮＮとを組み合わせることにより、信頼性の高い出力データを得ることができる。

【0024】

（入力データについて）
入力データ生成部１０１は、上述のような教師データを多数用いて機械学習を行うことにより生成された学習済みモデル１０２に入力する入力データを生成する。具体的には、入力データ生成部１０１は、フォークリフトＡのフォークを位置合わせするシーンを撮影した動画像から上記入力データを生成する。

【0025】

入力データの生成に用いる動画像は、学習済みモデル１０２の機械学習用の教師データに用いた動画像と同様の撮影条件で撮影したものであることが好ましい。上記撮影条件には、例えば、撮影装置Ｃと、被写体（フォークリフトＡおよび作業者Ｂの少なくとも何れか）との位置関係、被写体の背景、および周囲の明るさ等が含まれる。撮影条件を揃えるため、例えば一連の作業が行われる様子が画角に入る位置に固定された撮影装置Ｃによって撮影した動画像から教師データを生成し、同じ撮影装置Ｃによって撮影した動画像を入力データとすることが好ましい。

【0026】

また、入力データ生成部１０１は、動画像をそのまま入力データとして用いてもよいし、動画像に対して所定の処理を施したものを用いてもよい。上記所定の処理は、操作ミスの予兆が表れている特徴（動画像の特徴）を失わせることなく、該特徴と関係のない情報を減らすことができるものであればよい。例えば、動画像がカラー画像であれば、グレースケール化して入力データとしてもよいし、動画像を構成する一部のフレーム画像を抽出して入力データとしてもよい。

【0027】

さらに、例えば動画像に写る対象物の中から所定の被写体（フォークリフトＡおよび作業者Ｂの少なくとも何れか）を検出し、検出した被写体が写る領域のみから入力データを生成してもよい。これにより、被写体の背景の影響を排除することができるので、判定精度を高めることができる。なお、所定の被写体の検出には、例えばＣＮＮ等の学習済みモデルを用いることができる。

【0028】

ただし、入力データ生成部１０１は、教師データと同じ形式の入力データを生成する必要がある。例えば、教師データが動画像から抽出したフレーム画像であれば、入力データ生成部１０１も動画像から抽出したフレーム画像を入力データとする必要がある。

【0029】

なお、本実施形態では、簡単のため、所定のシーン（具体的にはフォークをパレットに位置合わせするシーン）の動画像が、入力データ生成部１０１に入力される例を説明するが、動画像から所定のシーンを抽出する機能を判定装置１に持たせてもよい。抽出方法は特に限定されず、例えばシーンの開始時に特有の操作（フォークの昇降操作等）がある場合、その操作を検出した時点をシーンの開始時点として、動画像からシーンを抽出することもできる。また、動画像を画像解析することにより、所定のシーンを検出し、検出したシーンの動画像を抽出してもよいし、フォークリフトＡの動作を検出するセンサの出力値に基づいて所定のシーンを検出し、検出したシーンの動画像を抽出してもよい。

【0030】

（学習済みモデルの出力データと判定部の判定について）
学習済みモデル１０２は、上述の入力データの入力に応じて、該入力データが示す上記シーンが、操作ミスの予兆が表れたシーンと一致する確率を示す出力データを出力する。この確率は、操作ミスの予兆が表れた教師データにおけるシーンの特徴と同様の特徴が入力データに含まれているほど高い値となる。このため、判定部１０３は、学習済みモデル１０２が出力した出力データに示される確率が所定の閾値以上であれば、操作ミスが発生すると判定する。なお、判定部１０３は、閾値による上記判定を行う代わりに、上記確率の値を、操作ミスが発生するか否かの判定結果としてもよい。この場合、報知部１０４は、判定結果である確率値を作業者Ｂに報知して、操作ミスが発生する可能性が高い状況であるか否かを作業者Ｂに認識させることができる。

【0031】

（処理の流れ）
判定装置１が実行する処理の流れを図３に基づいて説明する。図３は、判定装置１が実行する処理（判定方法）の一例を示すフローチャートである。

【0032】

Ｓ１では、入力データ生成部１０１が、フォークリフトＡを用いた作業の様子、具体的にはフォークをパレットに位置合わせするシーンを撮影した動画像を、通信部５０を介した通信により、撮影装置Ｃから取得する。続いて、Ｓ２では、入力データ生成部１０１は、取得した動画像から、学習済みモデル１０２に入力する入力データを生成する。そして、Ｓ３では、入力データ生成部１０１は、生成した入力データを学習済みモデル１０２に入力する。

【0033】

Ｓ４（判定ステップ）では、判定部１０３が、学習済みモデル１０２の出力データに基づいて操作ミスが発生するか否かを判定する。ここで判定部１０３が、操作ミスが発生すると判定した場合（Ｓ４でＹＥＳ）にはＳ５に進み、操作ミスは発生しないと判定した場合（Ｓ４でＮＯ）にはＳ６に進む。

【0034】

Ｓ５では、報知部１０４が、操作ミスが発生する可能性が高いことを作業者Ｂに報知する。報知の態様は上述したとおりであるからここでは説明を繰り返さない。なお、報知部１０４は、学習済みモデル１０２の出力データが示す確率が高いほど作業者Ｂの注意をより強く喚起するように、確率に応じて異なる態様で報知を行ってもよい。例えば、報知部１０４は、音声による報知を行う場合、上記確率が高いほどその音量を大きくしてもよい。

【0035】

Ｓ６では、入力データ生成部１０１が、フォークリフトＡを用いた作業が終了したか否かを判定する。ここで作業が終了したと判定された場合（Ｓ６でＹＥＳ）、図３の処理は終了する。一方、作業は終了していないと判定された場合（Ｓ６でＮＯ）、Ｓ１の処理に戻る。

【0036】

（実施形態１のまとめ）
以上のように、本実施形態の判定部１０３は、学習済みモデル１０２を用いて、フォークリフトＡによる作業の様子を撮影した画像から、フォークリフトＡの操作ミスが発生するか否かを判定する。そして、この学習済みモデル１０２は、フォークリフトを用いた作業における操作ミスの発生の予兆が表れた作業の様子を撮影した画像を用いた機械学習により生成された学習済みモデルである。よって、本実施形態の判定装置１によれば、フォークリフトＡを用いた作業の様子を撮影した画像に基づき、操作ミスが発生するか否かを判定することができる。

【0037】

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。本実施形態の判定装置１は、教師データを自動で生成して学習済みモデル１０２の再学習を行う点で実施形態１の判定装置１と異なっている。

【0038】

図４は、本実施形態の判定装置１の要部構成の一例を示すブロック図である。図示のように、本実施形態の判定装置１は、制御部１０に操作ミス判定部１０５、教師データ生成部１０６、および学習部１０７が含まれている点で、実施形態１の判定装置１（図１参照）と相違している。

【0039】

操作ミス判定部１０５は、フォークリフトＡを用いた作業において、操作ミスが発生したか否かを判定する。操作ミスの発生有無の判定方法は特に限定されない。例えば、操作ミス判定部１０５は、判定部１０３による判定に用いられたシーンの直後に撮影された画像（動画像であってもよいし、静止画像であってもよい）を解析することにより、操作ミスが発生したか否かを判定してもよい。この画像解析には、例えば操作ミスが発生したシーンを機械学習させたＣＮＮ等を利用することもできる。また、例えば、積荷を崩してしまう操作ミスのように、操作ミスの痕跡がフォークリフトＡや作業者Ｂの周囲に残るような場合には、周囲を撮影した画像に基づいて操作ミスが発生したか否かを判定してもよい。

【0040】

教師データ生成部１０６は、学習済みモデル１０２の更新に用いる教師データを生成する。具体的には、教師データ生成部１０６は、入力データ生成部１０１が生成した入力データに対し、操作ミス判定部１０５の判定結果を正解データとして対応付けることにより、教師データを生成する。そして、学習部１０７は、教師データ生成部１０６が生成した教師データを用いて学習済みモデル１０２を更新する。

【0041】

以上のように、本実施形態の判定装置１は、フォークリフトＡを用いた作業において、操作ミスが発生したか否かを判定する操作ミス判定部１０５を備えている。また、本実施形態の判定装置１は、判定部１０３の判定のために学習済みモデル１０２に入力された入力データと、操作ミス判定部１０５の判定結果とを対応付けて、学習済みモデル１０２の機械学習用の教師データを生成する教師データ生成部１０６を備えている。そして、学習部１０７は、上記のようにして生成された教師データを用いて学習済みモデル１０２の再学習を行う。よって、判定装置１のユーザは、判定装置１を使用しながら、学習済みモデル１０２の信頼性を維持または向上することができる。

【0042】

〔分散処理について〕
上記各実施形態で説明した判定装置１の実行する処理の一部は、判定装置１と通信接続された１または複数の装置に実行させてもよい。例えば、学習済みモデル１０２の実行する処理を、判定装置１と通信接続されたＡＩサーバに実行させてもよい。この場合、判定装置１は、入力データを生成してＡＩサーバに送信し、該ＡＩサーバから出力データを受信して操作ミスが発生するか否かの判定を行う。

【0043】

〔画像の他の例〕
図２にはフォークリフトＡを斜め上方から撮影する様子を示したが、教師データおよび学習済みモデル１０２への入力データとして用いる動画像は、作業の様子が認識できるようなものであればよく、図２のようにして撮影されたものに限定されない。例えば、フォークリフトＡにドライブレコーダが設置されている場合、そのカメラの被写体（フォークリフトＡと作業者Ｂ）は、直上から撮影される。このように直上から撮影した画像からは、作業者Ｂの手元の動きや顔の向き等が認識しやすい。よって、このような動画像は、操作ミスの予兆が、作業者Ｂの手元の動きや顔の向き等に表れている場合における判定に有用である。また、ドライブレコーダの画像を流用するため撮影装置Ｃを新たに設ける必要がない点、およびフォークリフトＡがどこに移動しても撮影が継続できるという点も利点である。

【0044】

この他にも、例えば眼鏡型のウェアラブル機器を作業者Ｂに装着させる等により撮影した、作業者目線の画像から入力データを生成してもよい。この場合、作業者Ｂの目線で撮影された画像からは、作業者Ｂがどこを注視しているかを認識することができるので、操作ミス発生の予兆が作業者Ｂの脇見である場合等に有用である。また、フォークリフトＡがどこに移動しても撮影が継続できるという点も利点である。

【0045】

無論、ドライブレコーダで撮影した画像から入力データを生成する場合、学習済みモデル１０２の生成に用いる教師データもドライブレコーダで撮影した画像から生成したものを用いることが好ましい。同様に、作業者目線の画像から入力データを生成する場合、学習済みモデル１０２の生成に用いる教師データも作業者目線の画像から生成したものを用いることが好ましい。

【0046】

また、上記各実施形態では、作業用車両を用いた作業において操作ミスが発生したときの、該操作ミスの発生直前における所定の作業のシーンを撮影した画像から生成した教師データを用いる例を説明した。しかし、教師データの生成に用いる画像は、操作ミスが発生したときの、該操作ミスの発生直前における作業の様子を撮影した画像であって、操作ミスの予兆が表れた画像であればよく、この例に限られない。

【0047】

例えば、操作ミスの予兆といえる作業の様子や作業者の表情（例えば、あくびをしている、脇見をしている、眠そうにしている等の集中力を欠いた作業の様子）を撮影した画像を教師データとする機械学習で生成した学習済みモデル１０２を用いてもよい。この場合、教師データとして使用する画像は、必ずしも実際に操作ミスが発生した事例で撮影されたものに限られない。

【0048】

〔複数種類の予兆の検出〕
また、操作ミスの発生の予兆が複数種類ある場合、各予兆について機械学習を行うことにより生成された学習済みモデル１０２を用いてもよい。この場合、判定部１０３は、学習済みモデル１０２の出力データから、複数種類の予兆の有無をそれぞれ判定することができる。なお、この場合、判定部１０３は、複数種類の予兆の何れか１つでも存在すると判定したときに、操作ミスが発生すると判定してもよいし、複数種類の予兆の少なくとも２つが存在すると判定したときに、操作ミスが発生すると判定してもよい。また、この場合、報知部１０４は、存在すると判定された予兆の数および種類の少なくとも何れかに応じて報知の態様を変えてもよい。これにより、例えば多数の予兆が存在すると判定された場合や、操作ミスと相関の高い予兆が存在すると判定された場合等のように、作業者Ｂが注意して操作を行う必要性が高い状況において、作業者Ｂに十分な注意喚起を行うことが可能になる。

【0049】

また、予兆の種類ごとに相関の高い操作ミスがある場合、報知部１０４は、存在すると判定された予兆に相関の高い操作ミスに応じた態様で報知を行ってもよい。例えば、判定部１０３が存在すると判定した予兆が、パレットにフォークを差し込む際にフォークをパレットに接触させる操作ミスに相関の高い予兆であったとする。この場合、報知部１０４は、フォークをパレットに接触させないように注意喚起するメッセージを出力部４０に出力させてもよい。

【0050】

〔ソフトウェアによる実現例〕
判定装置１の制御ブロック（特に制御部１０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0051】

後者の場合、判定装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0052】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0053】

１ 判定装置
１０２ 学習済みモデル
１０３ 判定部
１０５ 操作ミス判定部
１０６ 教師データ生成部

【図1】

【図2】

【図3】

【図4】