特開 2020-197988 機械学習用データ収集方法及びカメラシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-197988(P2020-197988A)

(43)【公開日】2020年12月10日

(54)【発明の名称】機械学習用データ収集方法及びカメラシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20201113BHJP

   B65G 1/00 20060101ALI20201113BHJP

   H04N 5/77 20060101ALI20201113BHJP

【ＦＩ】

   G06T7/00 350B

   B65G1/00 511F

   H04N5/77

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【全頁数】23

(21)【出願番号】特願2019-104688(P2019-104688)

(22)【出願日】2019年6月4日

(71)【出願人】

【識別番号】000006297

【氏名又は名称】村田機械株式会社

(74)【代理人】

【識別番号】110000202

【氏名又は名称】新樹グローバル・アイピー特許業務法人

(72)【発明者】

【氏名】谷本 好史

【テーマコード（参考）】

3F022

5L096

【Ｆターム（参考）】

3F022EE02

3F022FF01

3F022JJ09

3F022KK01

3F022MM51

3F022MM64

3F022MM70

3F022QQ17

5L096AA06

5L096BA02

5L096CA05

5L096DA01

5L096HA02

(57)【要約】

【課題】カメラシステムで撮影した映像から、機械学習用データを効率よく抽出する。
【解決手段】機械学習用データ収集方法は、機械の動作を撮影するカメラを備えるカメラシステムにおいて機械学習用データを収集する方法である。この方法は、スタッカクレーン３の動作を撮影した動画データを記憶する動画データ記憶ステップ、スタッカクレーン３に異常が発生したことを認識する事象認識ステップ、動画データから、事象が認識された事象認識時刻を含む第１期間の長さの第１動画データを抽出するステップ、撮影動画データに含まれる第２動画データであって、事象認識時刻を含む第２期間の長さの第２動画データを抽出するステップを含んでいる。第２期間は、第１期間よりも短い。第２動画データは、所定の事象の発生を判定するための機械学習用データである。
【選択図】図１１

【特許請求の範囲】

【請求項1】

機械の動作を撮影するカメラを備えるカメラシステムにおいて機械学習用データを収集する方法であって、
前記機械の動作を撮影した撮影動画データを記憶する撮影動画データ記憶ステップと、
前記機械に所定の事象が発生したことを認識する事象認識ステップと、
前記撮影動画データから、前記事象認識の時刻を含む第１期間の長さの第１動画データを抽出する第１動画データ抽出ステップと、
前記撮影動画データに含まれる第２動画データであって、前記事象認識の時刻を含む第２期間の長さの前記第２動画データを抽出する第２動画データ抽出ステップと、
を備え、
前記第２期間は、前記第１期間よりも短く、
前記第２動画データは、前記所定の事象の発生を判定するための機械学習用データである、機械学習用データ収集方法。

【請求項2】

前記第２動画データ抽出ステップでは、前記第１動画データから前記第２動画データを抽出する、請求項１に記載の機械学習用データ収集方法。

【請求項3】

前記第２動画データ抽出ステップでは、前記第１動画データから複数の前記第２動画データを抽出する、請求項２に記載の機械学習用データ収集方法。

【請求項4】

前記信号は、前記所定の事象の分類を示す事象分類情報を含んでおり、
前記事象分類情報に応じて前記第２期間の長さを決定する長さ決定ステップをさらに備えている、請求項１〜３のいずれかに記載の機械学習用データ収集方法。

【請求項5】

前記信号は、機械の動作内容を示す動作内容情報を含んでおり、
前記動作内容情報に応じて前記第２期間の長さを決定する長さ決定ステップをさらに備えている、請求項１〜４のいずれかに記載の機械学習用データ収集方法。

【請求項6】

前記信号は、前記所定の事象の分類を示す事象分類情報を含んでおり、
前記事象分類情報に応じて、撮影動画の全体画像エリアから、前記第２動画データの画像エリアを決定する画像エリア決定ステップをさらに備えている、請求項１〜５のいずれかに記載の機械学習用データ収集方法。

【請求項7】

前記信号は、機械の動作内容を示す動作内容情報を含んでおり、
前記動作内容情報に応じて、撮影動画の全体画像エリアから、前記第２動画データの画像エリアを決定する画像エリア決定ステップをさらに備えている、請求項１〜５のいずれかに記載の機械学習用データ収集方法。

【請求項8】

前記所定の事象は機械の異常である、請求項１〜７のいずれかに記載の機械学習用データ収集方法。

【請求項9】

前記撮影動画データ記憶ステップと、前記事象認識ステップと、前記第１動画データ抽出ステップと、前記第２動画データ抽出ステップと、を繰り返し実行することで、複数の第２動画データが取得され、
前記第２動画データを複数のグループに自動で分類する自動分類ステップをさらに備える、請求項１〜８のいずれかに記載の機械学習用データ収集方法。

【請求項10】

前記自動分類ステップでは、前記所定の事象の種類ごとに前記第２動画データを分類する、請求項９に記載の機械学習用データ収集方法。

【請求項11】

前記自動分類ステップでは、機械の動作内容ごとに前記第２動画データを分類する、請求項９に記載の機械学習用データ収集方法。

【請求項12】

前記機械は複数あり、
各機械について、前記撮影動画データ記憶ステップと、前記事象認識ステップと、前記第１動画データ抽出ステップと、前記第２動画データ抽出ステップとを実行することで、複数の前記第２動画データが取得され、
前記自動分類ステップでは、機械ごとに前記第２動画データを分類する、請求項９に記載の機械学習用データ収集方法。

【請求項13】

前記カメラシステムは複数個の前記カメラを含み、
前記自動分類ステップでは、前記カメラごとに第２動画データを分類する、請求項９に記載の機械学習用データ収集方法。

【請求項14】

機械の動作を撮影するカメラと、
前記機械の動作を撮影した撮影動画データを記憶する記憶部と、
前記機械に所定の事象が発生したことを認識する事象認識部と、
コントローラと、を備え、
前記コントローラは、
前記撮影動画データから、前記事象が認識された事象認識時刻を含む第１期間の長さの第１動画を示す第１動画データを抽出する第１抽出部と、
前記撮影動画データに含まれる第２動画データであって、前記事象認識時刻を含む第２期間の長さの第２動画を示す前記第２動画データを抽出する第２抽出部と、を有し、
前記第２期間は、前記第１期間よりも短く、
前記第２動画データは、前記所定の事象の発生を判定するための機械学習用データである、カメラシステム。

【請求項15】

前記第２抽出部は、前記第１動画データから前記第２動画データを抽出する、請求項１４に記載のカメラシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習用データ収集方法及びカメラシステムに関する。

【背景技術】

【0002】

機械の動作を記録するための装置として、車両に搭載されるドライブレコーダが知られている（例えば、特許文献１を参照）。
特許文献１のドライブレコーダは、車両前方の映像を撮影し、記録媒体に記録する。さらに、ドライブレコーダは、異常事象を検出すると、記録済みの映像から、異常事象を検出した時刻を含む所定時間長の時間帯の映像を抽出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８−４１１２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

搬送装置や工作機械に搭載したカメラシステムは、機械の信号が入力されると、ドライブレコーダと同様に、その前後の映像を録画する機能を有している。
一方、近年、各種の分野で人工知能（ＡＩ）の活用が行われており、例えば、搬送装置や工作機械において異常及びその前兆を検出するための利用が検討されている。具体的には、撮影した映像から得られた異常が発生する瞬間の画像を学習させることで、異常を自動で判定する推論エンジンを作成している。
なお、撮影した映像のうち、学習に使用するデータは、人間が判断して抽出している。したがって、機械学習用データの収集に手間が掛かり、効率が悪かった。

【0005】

本発明の目的は、カメラシステムで撮影した映像から、機械学習用データを効率よく抽出することにある。

【課題を解決するための手段】

【0006】

以下に、課題を解決するための手段として複数の態様を説明する。これら態様は、必要に応じて任意に組み合せることができる。

【0007】

本発明の一見地に係る機械学習用データ収集方法は、機械の動作を撮影するカメラを備えるカメラシステムにおいて機械学習用データを収集する方法である。この方法は、下記のステップを備えている。
◎機械の動作を撮影した撮影動画データを記憶する撮影動画記憶ステップ。
◎機械に所定の事象が発生したことを認識する事象認識ステップ。
◎撮影動画データから、事象認識時刻を含む第１期間の長さの第１動画データを抽出する第１動画抽出ステップ。
◎撮影動画データに含まれる第２動画データであって、事象認識時刻を含む第２期間の長さの第２動画データを抽出する第２動画データ抽出ステップ。
第２期間は、第１期間よりも短い。
第２動画データは、所定の事象の発生を判定するための機械学習用データである。

【0008】

なお、機械に所定の事象が発生したことを認識するとは、例えば、機械に所定の事象が発生したことを示す信号を受信することである。
なお、第１動画データを抽出するステップと第２動画データを抽出するステップのタイミングは限定されない。例えば、第２動画データを抽出するステップは、第１動画データを集出するステップの前又は後（直後、所定時間経過後など）に実行されてもよい。

【0009】

一般に機械学習用の動画データは、機械学習に必要十分なごく短い期間（例えば数フレーム）の動画である。期間が短い理由は、データが不要な部分を含むと学習の精度が低下するからである。一方、人がこのような短い動画を見ても、所定の事象が発生する様子を把握することは難しい。
この方法では、比較的長い期間の動画を表す第１動画データを抽出するので、オペレータは、当該動画を見ることによって所定の事象が発生する様子を把握できる。また、この方法では、所定の事象の発生を判定するための機械学習用データとして、比較的短い期間の動画を表す第２動画データを利用できる。ここでは、第２動画データの抽出が自動的に行われるので、効率が良い。

【0010】

第２動画データ抽出ステップでは、第１動画データから第２動画データを抽出してもよい。
この方法では、第１動画データから第２動画データを抽出するので、第１動画データを抽出した段階で元の動画データを記憶しておく必要がなくなる。
また、複数の第２動画データを抽出するのが容易になる。

【0011】

第２動画データ抽出ステップでは、第１動画データから複数の第２動画データを抽出してもよい。
この方法では、第１動画データに複数の事象が記録されている場合に、複数の推論エンジンに対してそれぞれ専用の第２動画データを提供できる。この場合、複数の第２動画データは同じであってもよいし、異なっていてもよい。

【0012】

信号は、所定の事象の分類を示す事象分類情報を含んでいてもよい。
この方法は、事象分類情報に応じて、第２期間の長さを決定する長さ決定ステップをさらに備えていてもよい。
この方法では、所定の事象の種類に応じて適切な長さの第２動画データを抽出できる。

【0013】

信号は、機械の動作内容を示す動作内容情報を含んでいてもよい。動作内容とは、例えば、搬送装置の場合は搬送、荷下ろし、荷積みである。動作内容は、運んでいる荷物の種類などの対象物の情報を含んでいてもよい。
この方法は、動作内容情報に応じて第２期間の長さを決定する長さ決定ステップをさらに備えていてもよい。
この方法では、機械の動作内容に応じて、適切な長さの第２動画データを抽出できる。

【0014】

信号は、所定の事象の分類を示す事象分類情報を含んでいてもよい。
この方法は、事象分類情報に応じて、撮影動画の全体画像エリアから、第２動画データの画像エリアを決定する画像エリア決定ステップをさらに備えていてもよい。
この方法では、所定の事象の種類に応じて、適切なエリアの第２動画データを抽出できる。つまり、機械学習に必要なエリアのみを第２動画データの対象にすることができる。したがって、機械学習に不要な情報が機械学習に提供されることがない。

【0015】

信号は、機械の動作内容を示す動作内容情報を含んでいてもよい。
この方法は、動作内容情報に応じて、撮影動画の全体画像エリアから、第２動画データの画像エリアを決定する画像エリア決定ステップをさらに備えていてもよい。
この方法では、機械の動作内容に応じて、適切なエリアの第２動画データを抽出できる。

【0016】

所定の事象は機械の異常であってもよい。機械の異常とは、機械自体の異常、機械の対象物の異常を含む。

【0017】

撮影動画データ記憶ステップと、事象認識ステップと、第１動画データ抽出ステップと、第２動画データ抽出ステップと、を繰り返し実行することで、複数の第２動画データが取得されてもよい。
この方法は、第２動画データを複数のグループに自動で分類する自動分類ステップをさらに備えていてもよい。
この方法では、作業者が手作業で第２動画データを分類しなくてもよいので、作業負荷が小さくなる。

【0018】

自動分類ステップでは、所定の事象の種類ごとに第２動画データを分類してもよい。
この方法では、所定の事象の種類ごとに推論エンジンを作成できる。

【0019】

自動分類ステップでは、機械の動作内容ごとに第２動画データを分類してもよい。
この方法では、機械の動作内容ごとに推論エンジンを作成できる。

【0020】

機械は複数あってもよい。
各機械について、撮影動画データ記憶ステップと、事象認識ステップと、第１動画データ抽出ステップと、第２動画データ抽出ステップとを実行することで、複数の第２動画データが取得されてもよい。
自動分類ステップでは、機械ごとに第２動画データを分類してもよい。
この方法では、機械ごとに推論エンジンを作成できる。

【0021】

カメラシステムは複数個のカメラを含んでいてもよい。
自動分類ステップでは、カメラごとに第２動画データを分類してもよい。
この方法では、カメラごとに推論エンジンを作成できる。

【0022】

本発明の他の見地に係るカメラシステムは、機械の動作を撮影するカメラと、機械の動作を撮影した撮影動画データを記憶する記憶部と、機械に所定の事象が発生したことを認識する事象認識部と、コントローラと、を備えている。
コントローラは、第１抽出部と、第２抽出部と、を有している。
第１抽出部は、撮影動画データから、事象が認識された事象認識時刻を含む第１期間の長さの第１動画を示す第１動画データを抽出する。
第２抽出部は、撮影動画データに含まれる第２動画データであって、事象認識時刻を含む第２期間の長さの第２動画を示す第２動画データを抽出する。
第２期間は、第１期間よりも短い。
第２動画データは、所定の事象の発生を判定するための機械学習用データである。
なお、コントローラ及び記憶部の所在位置は特に限定されない。

【0023】

第２抽出部は、第１動画データから第２動画データを抽出してもよい。
このシステムでは、比較的長い期間の動画を表す第１動画データを抽出するので、オペレータは、当該動画を見ることによって所定の事象が発生する様子を把握できる。また、このシステムでは、所定の事象の発生を判定するための機械学習用データとして、比較的短い期間の動画を表す第２動画データを利用できる。ここでは、第２動画データの抽出が自動的に行われるので、効率が良い。

【発明の効果】

【0024】

本発明に係る機械学習用データ収集方法及びカメラシステムでは、カメラシステムで撮影した映像から、機械学習用データを効率よく抽出できる。

【図面の簡単な説明】

【0025】

【図1】第１実施形態の自動倉庫の概略平面図。

【図2】図１のＩＩ−ＩＩ矢視図であり、ラックとスタッカクレーンを説明するための図。

【図3】図２の部分拡大図であり、昇降台及び移載装置を説明する図。

【図4】カメラの配置位置及び撮像範囲を概略的に示した模式的平面図。

【図5】移載装置及び棚の一状態を示した表示画面。

【図6】移載装置及び棚の一状態を示した表示画面。

【図7】画像処理コントローラ及びカメラコントローラの機能ブロック図。

【図8】マーキングがされた第１動画データの表示画面。

【図9】異常発生時の画像処理コントローラの制御動作を示すフローチャート。

【図10】カメラコントローラの第１動画データ及び第２動画データの抽出制御動作を示すフローチャート。

【図11】撮影動画データと、第１動画データと、第２動画データの関係を示す模式図。

【図12】第２実施形態の撮影動画データと、第１動画データと、第２動画データの関係を示す模式図。

【図13】第３実施形態のカメラコントローラの第１動画データ及び第２動画データの抽出制御動作を示すフローチャート。

【図14】第４実施形態のカメラコントローラの第１動画データ及び第２動画データの抽出制御動作を示すフローチャート。

【図15】第４実施形態の抽出された第２動画データと第１動画データの関係を示す図。

【図16】第５実施形態のカメラコントローラの第１動画データ及び第２動画データの抽出制御動作を示すフローチャート。

【図17】第６実施形態の撮影動画データと、第１動画データと、第２動画データの関係を示す模式図。

【図18】第７実施形態の画像処理コントローラ及びカメラコントローラの機能ブロック図。

【発明を実施するための形態】

【0026】

１．第１実施形態
（１）自動倉庫全体
図１を用いて、本発明に係る第１実施形態としての自動倉庫１を説明する。図１は、第１実施形態の自動倉庫の概略平面図である。なお、この実施形態において、図１の左右方向が自動倉庫１の左右方向（矢印Ｙ）であり、図１の上下方向が自動倉庫１の前後方向（矢印Ｘ）である。
自動倉庫１は、主に、一対のラック２と、スタッカクレーン３（機械の一例）とから構成されている。

【0027】

（２）ラック
一対のラック２は、左右方向に延びるスタッカクレーン通路５を挟むように配置されている。ラック２は、所定間隔で左右に並ぶ多数の前側支柱７と、前側支柱７の後方において、前側支柱７との間に所定間隔をあけて並ぶ後側支柱９と、前側支柱７及び後側支柱９に設けられた多数の荷物支承部材１１とを有している。左右一対の荷物支承部材１１によって、棚１３が構成されている。各棚１３には、図から明らかなように、荷Ｗが載置可能である。なお、各荷Ｗは、パレットＰ（図２及び図３を参照）上に載置され、パレットＰと共に移動させられる。なお、左右一対の荷物支承部材１１間は、後述のスライドフォーク２９ａの上下方向の移動を許容するフォーク通過間隙１５となっている。

【0028】

（３）スタッカクレーン
図２及び図３を用いて、スタッカクレーン３について説明する。図２は、図１のＩＩ−ＩＩ矢視図であり、ラックとスタッカクレーンを説明するための図である。図３は、図２の部分拡大図であり、昇降台及び移載装置を説明する図である。
スタッカクレーン通路５に沿って、上下一対の走行レール２１が設けられており、これら走行レール２１にスタッカクレーン３が左右に移動可能に案内されている。スタッカクレーン３は、主に、一対のマスト２２である第１マスト２２Ａ及び第２マスト２２Ｂを有する走行台車２３と、第１マスト２２Ａ及び第２マスト２２Ｂに昇降自在に装着された昇降台２７と、昇降台２７に設けられた移載装置２９とを有している。走行台車２３は、走行車輪２４を有している。

【0029】

移載装置２９は、進退機構（図示せず）によって前後方向に摺動自在に設けられたスライドフォーク２９ａを有している。スライドフォーク２９ａは、前後方向両側の棚１３との間で荷Ｗを移載可能である。
なお、昇降台２７と移載装置２９は互いに固定されており、昇降台２７の一部を移載装置２９の一部と見なしてよい。

【0030】

昇降台２７は、第１マスト２２Ａ及び第２マスト２２Ｂにガイドされる昇降ガイドローラ２８を有する。昇降ガイドローラ２８は、一方のマストに対して上下一対ずつ合計４個が当接している。より具体的には、一対の昇降ガイドローラ２８は、マスト２２の前後方向両側面の走行方向内側部分に当接している。
なお、図２及び図３において、昇降台２７のスライドフォーク２９ａの上には、パレットＰと荷Ｗが載っている。この実施形態では、荷Ｗは３×３×３個の直方体が隙間なく積み上げられた構成である。しかし、荷Ｗの個々の荷物の個数、形状及び積み上げ方は上記実施形態に限定されない。
第１マスト２２Ａ及び第２マスト２２Ｂの下端同士は下側フレーム２５によって連結され、上端同士は上側フレーム２６によって連結されている。

【0031】

スタッカクレーン３は、制御盤４１と、走行モータ５９と、昇降モータ６３とを有している。制御盤４１は、走行方向において、第２マスト２２Ｂに対する第１マスト２２Ａと反対側に設けられている。走行モータ５９は、第１マスト２２Ａに設けられている。昇降モータ６３は、第１マスト２２Ａに設けられている。
制御盤４１は、内部に、走行モータ５９や昇降モータ６３用のインバータ、コンバータ、ブレーカ等の電装機器を有している。制御盤４１は、さらに、制御基板ボックス（図示せず）を有している。制御盤４１は、これら電装機器を覆うフレームを有している。制御盤４１は、電源（図示せず）、走行モータ５９、昇降モータ６３、スライドフォーク２９ａ等に動力ケーブル（図示せず）を介して接続されている。制御盤４１は、さらに、制御ケーブルを介して、通信インターフェースを介して地上制御盤、センサ類、スライドフォーク２９ａ並びに制御電源に接続されている。
昇降モータ６３は、図２に示すように、ドラム６４を駆動可能である。ドラム６４からは、ワイヤ４０が延びている。ワイヤ４０は、上側フレーム２６に設けられたプーリ４４に掛け回され、さらに昇降台２７に連結されている。

【0032】

（４）カメラ
昇降台２７には、図２〜図４に示すように、第１カメラ５１、第２カメラ５２、第３カメラ５３及び第４カメラ５４（以下、まとめて表現する場合は「４台のカメラ５１〜５４」とする）が装着されている。図４は、カメラの配置位置及び撮像範囲を概略的に示した模式的平面図である。
４台のカメラ５１〜５４は、いわゆるビデオカメラであり、撮像した画像（静止画・動画）をビデオ信号としてカメラコントローラ９０（後述）に入力する。なお、上記の場合、第１カメラ５１及び第２カメラ５２の撮像範囲と、第３カメラ５３及び第４カメラ５４の撮像範囲とは異なっている。ただし、４台のカメラの撮像範囲が全て異なっていてもよいし、全て同じでもよい。

【0033】

４台のカメラ５１〜５４は、スタッカクレーン３の動作を撮影し動画データを作成する。具体的には、４台のカメラ５１〜５４は、昇降台２７に載置された荷Ｗ及び棚１３に載置された荷Ｗを撮像する。
４台のカメラ５１〜５４は、図４に示すように、フレーム４５を介して昇降台２７に取り付けられている。フレーム４５は、昇降台２７つまり移載装置２９の左右方向両側において前後方向に延びる一対の部材である。４台のカメラ５１〜５４は、各フレーム４５の前後方向両端にそれぞれ固定されている。なお、カメラはフレーム以外の他の部材に取り付けられていてもよい。

【0034】

第１カメラ５１及び第２カメラ５２は、前後方向の該荷Ｗの端部、及び前後方向における該端部側の移載先の棚１３を同時に撮像可能な位置に固定される。
第１カメラ５１及び第２カメラ５２は、移載装置２９に載置される荷Ｗの上端より上方であり、かつ左右方向において該荷Ｗの外側で移載装置２９に設けられている。第１カメラ５１及び第２カメラ５２は斜め下方を向いている。この場合、カメラが上方から荷を撮像することにより、荷Ｗの高さによらず荷崩れを検知できる。
以上に述べたように第１カメラ５１及び第２カメラ５２は、移載装置２９の前後方向両側にそれぞれ設けられている。したがって、移載装置２９に載置された荷Ｗの荷姿異常及び両移載方向における先入品の検知ができる。

【0035】

図４を用いて、第１カメラ５１及び第２カメラ５２を詳細に説明する。
第１カメラ５１は、平面視において図４の右下側に設けられ、移載装置２９に積まれた荷Ｗの前後方向の端部３１及び前後方向における該端部３１側の移載先の棚１３を同時に撮像可能な位置に設けられている。なお、第１カメラ５１は、移載装置２９に荷Ｗが配置されていても、移載先の棚１３における先入れ品を検出可能である。なぜなら、第１カメラ５１から見て、移載装置２９の載置位置と移載先の棚１３は前後方向にずれて並んでいるからである。

【0036】

第２カメラ５２は、図４の左上側に設けられ、移載装置２９に積まれた荷Ｗの前後方向の端部３２及び前後方向における該端部３２側の移載先の棚１３を同時に撮像可能な位置に設けられている。なお、第２カメラ５２は、移載装置２９に荷Ｗが配置されていても、移載先の棚１３における先入れ品を検出可能である。なぜなら、第２カメラ５２から見て、移載装置２９の載置位置と移載先の棚１３は前後方向にずれて並んでいるからである。
なお、第１カメラ５１が対象とする棚１３と第２カメラ５２が対象とする棚１３とは、異なる棚である。

【0037】

第３カメラ５３及び第４カメラ５４は、移載装置２９に設けられており、移載装置２９に載置された荷Ｗの左右方向の端部（つまり、端面）を撮像可能な位置に設けられる。
第３カメラ５３及び第４カメラ５４は、移載装置２９に載置される荷Ｗの上端より上方であり、かつ前後方向において該荷Ｗの外側で移載装置２９に設けられている。第３カメラ５３及び第４カメラ５４は斜め下方を向いている。

【0038】

図４を用いて、第３カメラ５３及び第４カメラ５４を詳細に説明する。
第３カメラ５３は、図４の左下側に設けられ、移載装置２９に積まれた荷Ｗの左右方向の端部３３を撮像可能な位置に設けられている。なお、第３カメラ５３は、移載装置２９に荷Ｗが配置されていなければ、移載先の棚１３における先入れ品を検出できるが、移載装置２９に荷Ｗが配置されていれば、移載先の棚１３における先入れ品を検出できない。なぜなら、第３カメラ５３から見て、移載装置２９の載置位置と移載先の棚１３は重なっているからである。

【0039】

第４カメラ５４は、図４の右上側に設けられ、移載装置２９に積まれた荷Ｗの左右方向の端部３４を撮像可能な位置に設けられている。なお、第４カメラ５４は、移載装置２９に荷Ｗが配置されていれば、移載先の棚１３における先入れ品を検出できるが、移載装置２９に荷Ｗが配置されていれば、移載先の棚１３における先入れ品を検出できない。なぜなら、第４カメラ５４から見て、移載装置２９の載置位置と移載先の棚１３は重なっているからである。
なお、第３カメラ５３が対象とする棚１３と第４カメラ５４が対象とする棚１３とは、異なる棚である。第３カメラ５３が対象とする棚１３は図４において図上側に配置されており、第４カメラ５４が対象とする棚１３は図４において図下側に配置されており、両者は前後方向（矢印Ｘ）に対向している。

【0040】

図５及び図６を用いて、４台のカメラ５１〜５４の映像の例を説明する。図５及び図６は、移載装置及び棚の一状態を示した表示画面である。
図５及び図６では、表示装置８９の画面において、４台のカメラ５１〜５４で撮像された映像が表示されている。各図の右上部分が第１カメラ５１の画像であり、左下部分が第２カメラ５２の画像であり、右下部分が第３カメラ５３の画像であり、左上部分が第４カメラ５４の画像である。
図５では、移載装置２９には荷Ｗは載置されていないし、前後方向両側の棚１３にも荷Ｗは載置されていない。したがって、全ての画像において、棚１３の荷物支承部材１１が映っている。なお、破線Ａで囲まれた部分が一方の棚１３であり、破線Ｂで囲まれた部分が他方の棚である。

【0041】

図６では、移載装置２９には荷Ｗ１が載置されており、前後方向両側の棚１３にも荷Ｗ２及び荷Ｗ３がそれぞれ載置されている（つまり、先入れ品がある）。そのため、第１カメラ５１の画像によって荷Ｗ２の存在及び荷Ｗ１の端部３１の状態を確認でき、第２カメラ５２の画像によって荷Ｗ３の存在及び荷Ｗ１の端部３２を確認でき、第３カメラ５３の画像によって荷Ｗ１の端部３３の状態を確認でき、第４カメラ５４の画像によって荷Ｗ１の端部３４の状態を確認できる。
さらに、図６では、第１カメラ５１の画像及び第２カメラ５２の画像には、棚１３の荷物支承部材１１が映っていない。したがって、画像コントローラ７０（後述）は、前後方向両側の棚１３には荷Ｗ２及び荷Ｗ３が載置されていることを把握できる。ただし、この場合、第３カメラ５３の画像及び第４カメラ５４の画像には棚１３の状態は映っていない。

【0042】

（５）カメラシステムの制御構成
図７を用いて、カメラシステム１００の制御構成を説明する。図７は、画像処理コントローラ及びカメラコントローラの機能ブロック図である。
カメラシステム１００は、搬送コントローラ５０、画像処理コントローラ８０、カメラコントローラ９０を有している。

【0043】

各コントローラは、プロセッサ（例えば、ＣＰＵ）と、記憶装置（例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ、ＳＳＤなど）と、各種インターフェース（例えば、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェースなど）を有するコンピュータシステムである。各コントローラは、記憶部（記憶装置の記憶領域の一部又は全部に対応）に保存されたプログラムを実行することで、各種制御動作を行う。
各コントローラは、単一のプロセッサで構成されていてもよいが、各制御のために独立した複数のプロセッサから構成されていてもよい。
各コントローラの各要素の機能は、一部又は全てが、制御部を構成するコンピュータシステムにて実行可能なプログラムとして実現されてもよい。その他、両コントローラの各要素の機能の一部は、カスタムＩＣにより構成されていてもよい。
各コントローラには、図示しないが、対象物の大きさ、形状及び位置検出するセンサ、各装置の状態を検出するためのセンサ及びスイッチ、並びに情報入力装置が接続されている。
なお、各コントローラは、スタッカクレーン３に搭載されたものに限定されず、電気的に接続された状態で地上側に配置されていてもよい。

【0044】

搬送コントローラ５０は、走行台車２３の走行車輪２４の駆動を制御するための機能を有しており、走行モータ５９を含む走行部７３に接続されている。搬送コントローラ５０は、昇降台２７を第１マスト２２Ａ及び第２マスト２２Ｂに沿って上下動させるための機能を有しており、昇降モータ６３を含む昇降部７４に接続されている。搬送コントローラ５０は、スライドフォーク２９ａを前後方向に移動させるための機能を有しており、移載モータ（図示せず）を含む移載部７５に接続されている。

【0045】

画像処理コントローラ８０は、機械学習用データの収集、機械学習用データによって構築された推論エンジンによる異常判定を行うものである。
画像処理コントローラ８０は、機械学習部８１を有している。機械学習部８１は、機械学習用データである第２動画データ（後述）に基づいて、機械学習を行い、異常判定のための推論エンジンを構築する。
画像処理コントローラ８０は、異常判定部８２を有している。異常判定部８２は、一又は複数の異常判定推論エンジンを有しており、第１動画データ（後述）の異常判定を行う。

【0046】

画像処理コントローラ８０は、画像処理部８３を有している。画像処理部８３は、異常判定された第１動画データにマーキング（後述）等の画像処理を行う。これにより、オペレータは第１動画データを参照する際に、異常の種類や原因を知ることができる。
画像処理コントローラ８０は、表示制御部８４を有している。表示制御部８４は、表示装置８９（後述）に、例えばマーキングされた第１動画データを表示できる。
図８を用いて、第１動画データに重畳表示されたマーキングを説明する。図８はマーキングがされた第１動画データの表示画面である。
第１動画データには、マーキングＣが重畳表示されている。マーキングＣは、例えば、荷はみが生じた箇所を示している。なお、マーキングは、文字、その他の図形であってもよい。

【0047】

画像処理コントローラ８０は、記憶部８５を有している。記憶部８５には、機械の動作を撮影した動画データとして、第１動画データ及び第２動画データが保存される。
画像処理コントローラ８０は、通信部８７を有している。

【0048】

画像処理コントローラ８０には、入力装置８８及び表示装置８９が接続されている。
入力装置８８は、オペレータが画像処理コントローラ８０にデータ及び指令を入力するための装置である。入力装置８８は、例えば、キーボード、マウス、タッチパネルである。
表示装置８９は、例えば、液晶、有機ＥＬ等のディスプレイである。ただし、ディスプレイの種類、台数、設置位置は上記実施形態に限定されない。

【0049】

カメラコントローラ９０は、４台のカメラ５１〜５４を制御し、画像を撮影するものである。
カメラコントローラ９０には、４台のカメラ５１〜５４が接続されている。

【0050】

カメラコントローラ９０は、４台のカメラ５１〜５４の撮像を制御するカメラ制御部９１を有している。
カメラコントローラ９０は、画像処理をするための画像処理ソリューション・ソフトウェアからなる画像抽出部９２を有している。

【0051】

画像抽出部９２は、第１抽出部９７と第２抽出部９８とを有している。
第１抽出部９７は、撮影動画データから、信号が受信された受信時刻を含む第１期間の長さの第１動画データを抽出し、記憶部９３に保存する。
第２抽出部９８は、第１動画データから、上記受信時刻を含む第２期間の長さの第２動画データを抽出し、記憶部９３に保存する。第２動画データは、所定の事象（例えば、機械の異常）の発生を判定するための機械学習用データであり、第２期間は、第１期間よりも短い。

【0052】

カメラコントローラ９０は、記憶部９３を有している。記憶部９３には、４台のカメラ５１〜５４によって撮像された画像データ（撮影動画データ、第１動画データ、第２動画データなど）が保存される。なお、記憶部は、画像サーバによって実現されてもよい。

【0053】

カメラコントローラ９０は、通信部９５を有している。
カメラコントローラ９０は、入力装置９６を有している。入力装置９６は、オペレータがカメラコントローラ９０に指令を入力するための装置である。入力装置９６は、例えば、リモコンである。

【0054】

（６）制御動作
カメラシステム１００の制御動作を説明する。
以下に説明する制御フローチャートは例示であって、各ステップは必要に応じて省略及び入れ替え可能である。また、複数のステップが同時に実行されたり、一部又は全てが重なって実行されたりしてもよい。
さらに、制御フローチャートの各ブロックは、単一の制御動作とは限らず、複数のブロックで表現される複数の制御動作に置き換えることができる。
なお、各装置の動作は、制御部から各装置への指令の結果であり、これらはソフトウェア・アプリケーションの各ステップによって表現される。

【0055】

（６−１）異常発生時の画像処理コントローラの制御動作
図９を用いて、異常発生時の画像処理コントローラ８０の制御動作を説明する。図９は、異常発生時の画像処理コントローラの制御動作を示すフローチャートである。
ステップＳ１では、撮影画像に基づいて装置の異常がある否かが判断される。具体的には、画像処理コントローラ８０の異常判定部８２が上記判断を行う。なお、装置の異常は、例えば、図６において荷崩れ、荷はみ等の不具合である。
ステップＳ２では、信号がカメラコントローラ９０に送信される。具体的には、画像処理コントローラ８０の通信部８７が、信号をカメラコントローラ９０に送信する。信号は、カメラコントローラ９０の通信部９５によって受信される（図１０のステップＳ３のＹｅｓに対応）。

【0056】

（６−２）カメラコントローラの第１動画データ及び第２動画データの抽出制御動作
図１０を用いて、カメラコントローラ９０の第１動画データ及び第２動画データの抽出制御動作を説明する。図１０は、カメラコントローラの第１動画データ及び第２動画データの抽出制御動作を示すフローチャートである。
ステップＳ３では、信号を受信するのを待機する。具体的には、カメラコントローラ９０の通信部９５が、画像処理コントローラ８０からの信号を受信する（図９のステップＳ２に対応）のを待機する。信号を受信すれば、プロセスはステップＳ４に移行する。

【0057】

ステップＳ４では、撮影動画データから第１動画データが抽出・保存される．具体的には、画像抽出部９２の第１抽出部９７が、信号入力の前後もしくは所定フレーム数分の画像を撮影動画データから抽出し、第１動画データとして記憶部９３に保存する。
ステップＳ５では、第１動画データから第２動画データが抽出・保存される。具体的には、画像抽出部９２の第２抽出部９８が、機械学習用の学習データとして、第１動画データから所定時間もしくは所定フレーム数分の画像を抽出し、第２動画データとして記憶部９３に保存する。
以上より、この実施形態では、機械に所定の事象が発生したことを認識した事象認識時刻は、カメラコントローラ９０の通信部９５が、画像処理コントローラ８０からの信号を受信した時刻である。
なお、ステップＳ４とステップＳ５のタイミングは限定されない。例えば、ステップＳ５は、ステップＳ４の直後又は所定時間経過後に実行されてもよい。

【0058】

上記のカメラシステム１００では、比較的長い期間の動画を表す第１動画データを抽出するので、人は、当該動画を見ることによって所定の事象が発生する様子を把握することができる。また、カメラシステム１００では、所定の事象の発生を判定するための機械学習用データとして、比較的短い期間の動画を表す第２動画データを利用できる。ここでは、第２動画データの抽出が自動的に行われるので、効率が良い。

【0059】

図１１を用いて、撮影動画データと、第１動画データと、第２動画データの関係を説明する。図１１は、撮影動画データと、第１動画データと、第２動画データの関係を示す模式図である。
図から明らかなように第２動画データは第１動画データから抽出されるので、第１動画データを抽出した段階で元の動画データを記憶しておく必要がなくなる。また、複数の第２動画データを抽出するのが容易になる。

【0060】

２．第２実施形態
第１実施形態では１つの信号に対して１つの第２動画データを抽出していたが、複数の第２動画データを抽出してもよい。
図１２を用いて、そのような実施例を第２実施形態として説明する。図１２は、第２実施形態の撮影動画データと、第１動画データと、第２動画データの関係を示す模式図である。なお、基本構成及び基本動作は第１実施形態と共通しているので、以下異なる点を中心に説明する。

【0061】

第２動画データを抽出するステップでは、第１動画データから複数の第２動画データが抽出される。具体的には、図１２に示すように、第２抽出部９８が１つの第１動画データから複数の第２動画データを抽出する。
上記の場合、第１動画データに複数の事象が記録されている場合に、複数の推論エンジンに対してそれぞれ専用の第２動画データを提供できる。この場合、複数の第２動画データは同じであってもよいし、異なっていてもよい。なお、異なっている場合とは、各第２動画データの範囲の一部又は全てがずれている状態である。

【0062】

３．第３実施形態
第１実施形態及び第２実施形態では第２動画データの長さは特に限定されていなかったが、条件に応じて第２動画データの長さを変更してもよい。
図１３を用いて、そのような実施例を第３実施形態として説明する。図１３は、第３実施形態のカメラコントローラの第１動画データ及び第２動画データの抽出制御動作を示すフローチャートである。なお、基本構成及び基本動作は第１実施形態と共通しているので、以下異なる点を中心に説明する。

【0063】

ステップＳ６が、第１実施形態の図１０のステップＳ３とステップＳ４の間に挿入されている。ステップＳ６では、第２動画データの長さが決定される。具体的には、第２抽出部９８が信号に含まれた情報に基づいて、第２動画データの長さを決定する。
これにより、機械学習用データとして有効な時間長さ（異常発生の前後フレーム数）の第２動画データが得られる。したがって、機械学習に不要な又は不都合な情報が機械学習に提供されることがない。

【0064】

一例として、信号に含まれた情報は、所定の事象の分類を示す事象分類情報である。この場合、事象分類情報に応じて第２動画データの時間長さが決定される。この結果、適切な長さの第２動画データが抽出される。例えば、荷くずれの場合は比較的短い時間長さが選ばれ、荷はみの場合は比較的長い時間長さが選ばれる。後者の場合は、荷はみとラベル剥がれとの区別をするために所定時間の観察が必要だからである。例えば、荷はみの場合は長時間に亘って事象が継続するが、ラベル剥がれではラベルがはためいてはみ出すので事象は瞬間的にしか起こらない。

【0065】

一例として、信号に含まれた情報は、機械の動作内容を示す動作内容情報である。動作内容とは、例えば、スタッカクレーン３の場合は、荷の搬送、荷下ろし、荷積みである。なお、動作内容は、運んでいる荷物の種類などの対象物の情報を含んでいてもよい。この場合、動作内容情報に応じて第２動画データの時間長さが決定される。この結果、適切な時間長さの第２動画データが抽出される。
なお、本実施形態の変形例として、第２動画データの長さは信号受信の前段階で判断されていてもよく、その場合は信号に第２動画データの長さ情報が含まれている。

【0066】

４．第４実施形態
第１〜第３実施形態では第２動画データのエリア（範囲）は特に限定されていなかったが、第２動画データのエリアを、撮影動画の全体エリアの一部である部分エリアに限定してもよい。
図１４及び図１５を用いて、そのような実施例を第４実施形態として説明する。図１４は、第４実施形態のカメラコントローラの第１動画データ及び第２動画データの抽出制御動作を示すフローチャートである。図１５は、第４実施形態の抽出された第２動画データと第１動画データの関係を示す図である。なお、基本構成及び基本動作は第１実施形態と共通しているので、以下異なる点を中心に説明する。
ステップＳ７が、第１実施形態の図１０のステップＳ３とステップＳ４の間に挿入されている。ステップＳ７では、第２動画データの抽出エリアが決定される。具体的には、第２抽出部９８が、信号に含まれた情報に基づいて、第２動画データの抽出エリアを決定する。
図１５では、複数の第２動画データの抽出エリアＤが示されている。ここでの抽出エリアＤは、荷Ｗのはみ出しの有無を知ることができる画像領域である。抽出エリアＤは必要最低限の領域であり、したがって細長い枠形状の領域になっている。ただし抽出エリアの形状、個数は特に限定されない。
複数の抽出エリアＤは個別のデータとして取り扱われてもよいし、特定の第２動画データの一部として取り扱われてもよい。

【0067】

上記の場合、適切なエリアの第２動画データを抽出できる。つまり、機械学習に必要なエリアのみからなる第２動画データを機械学習の対象にできる。したがって、機械学習に不要な又は不都合な情報が機械学習に提供されることがない。

【0068】

一例として、信号に含まれた情報は、所定の事象の分類を示す事象分類情報である。
この場合、事象分類情報に応じて第２動画データのエリアが決定される。この結果、適切なエリアが第２動画データとして抽出できる。
一例として、信号に含まれた情報は、機械の動作内容を示す動作内容情報である。この場合、動作内容情報に応じて第２動画データのエリアが決定される。この結果、適切なエリアを第２動画データとして抽出できる。
なお、本実施形態の変形例として、第２動画データのエリアは信号受信の前段階で判断されていてもよく、この場合は信号に第２動画データのエリア情報が含まれている。

【0069】

５．第５実施形態
第１〜第４実施形態では、第２動画データの機械学習部８１への提供方法は限定されていなかったが、第２動画データの機械学習部８１への提供方法を工夫してもよい。
図１６を用いて、そのような実施例を第５実施形態として説明する。図１６は、第５実施形態のカメラコントローラの第１動画データ及び第２動画データの抽出制御動作を示すフローチャートである。なお、基本構成及び基本動作は第１実施形態と共通しているので、以下異なる点を中心に説明する。

【0070】

ステップＳ８が、第１実施形態の図１０のステップＳ５の後に実行される。ステップＳ８では、第２動画データが複数のグループのいずれかに自動で分類される。具体的には、第２抽出部９８が、第２動画データを所定のカテゴリごとに分類する。これにより、分類されたカテゴリごとの推論エンジンが作成される。
この実施形態では、自動で機械学習用データを収集及び分類できるので、作業者が手作業で機械学習用データを分類しなくてもよい。したがって、作業負荷が小さくなる。

【0071】

一つの分類基準として、所定の事象ごとに第２動画データが分類される。この場合、所定の事象の種類ごとに推論エンジンを作成できる。
一の分類基準として、機械の動作内容ごとに第２動画データが分類される。この場合、機械の動作内容ごとに推論エンジンを作成できる。

【0072】

一つの分類基準として、機械ごとに第２動画データが分類される。この場合、機械ごとに推論エンジンを作成できる。
一つの分類基準として、カメラごとに第２動画データが分類される。この場合、カメラごとに推論エンジンを作成できる。

【0073】

６．第６実施形態
第１〜第５実施形態では第２動画データは第１動画データから抽出していたが、元の撮影動画データから抽出してもよい。
図１７を用いて、そのような実施例を第６実施形態として説明する。図１７は、第６実施形態の撮影動画データと、第１動画データと、第２動画データの関係を示す模式図である。なお、基本構成及び基本動作は第１実施形態と共通しているので、以下異なる点を中心に説明する。
第２動画データを抽出するステップでは、撮影動画データからから第２動画データが抽出される。この場合、第１動画データの抽出と第２動画データの抽出の順番は限定されない。

【0074】

７．第７実施形態
第１〜第６実施形態では図７に示すように学習部と異常判定部がセットになっているが、本発明はそのような実施形態に限定されず、学習部と異常判定部が分けて設けられていてもよい。

【0075】

図１８を用いて、そのような実施例を第７実施形態として説明する。図１８は、第７実施形態の画像処理コントローラ及びカメラコントローラの機能ブロック図である。なお、第１実施形態と共通の点については説明を省略する。

【0076】

カメラシステム１００Ａは、搬送コントローラ５０Ａ、画像処理コントローラ８０Ａ、カメラコントローラ９０Ａ及び機械学習コントローラ１０１を有している。
画像処理コントローラ８０Ａは、カメラコントローラ９０Ａより受信した第１動画データ及び異常情報を記憶し、表示出力する。

【0077】

画像処理コントローラ８０Ａは、画像処理部８３Ａを有している。画像処理部８３Ａは、異常判定された第１動画データにマーキング等の画像処理を行う。これにより、オペレータは第１動画データを参照する際に、異常の種類や原因を知ることができる。
画像処理コントローラ８０Ａは、表示制御部８４Ａを有している。表示制御部８４Ａは、表示装置８９Ａに、例えばマーキングされた第１動画データを表示できる。

【0078】

画像処理コントローラ８０Ａは、記憶部８５Ａを有している。記憶部８５Ａには、機械の動作を撮影した動画データとして、第１動画データが保存される。
画像処理コントローラ８０Ａは、通信部８７Ａを有している。
画像処理コントローラ８０Ａには、入力装置８８Ａ及び表示装置８９Ａが接続されている。

【0079】

カメラコントローラ９０Ａは、４台のカメラ５１〜５４を制御し、画像を撮影するものである。
カメラコントローラ９０Ａには、４台のカメラ５１〜５４が接続されている。

【0080】

カメラコントローラ９０Ａは、４台のカメラ５１〜５４の撮像を制御するカメラ制御部９１Ａを有している。
カメラコントローラ９０Ａは、画像処理をするための画像処理ソリューション・ソフトウェアからなる画像抽出部９２Ａを有している。

【0081】

画像抽出部９２Ａは、第１抽出部９７Ａと第２抽出部９８Ａとを有している。
第１抽出部９７Ａは、撮影動画データから、信号が受信された受信時刻を含む第１期間の長さの第１動画データを抽出し、記憶部９３Ａに保存する。
第２抽出部９８Ａは、第１動画データから、上記受信時刻を含む第２期間の長さの第２動画データを抽出し、記憶部９３Ａに保存する。第２動画データは、所定の事象（例えば、機械の異常）の発生を判定するための機械学習用データであり、第２期間は、第１期間よりも短い。

【0082】

カメラコントローラ９０Ａは、記憶部９３Ａを有している。記憶部９３には、４台のカメラ５１〜５４によって撮像された画像データ（撮影動画データ、第１動画データ、第２動画データなど）が保存される。なお、記憶部は、画像サーバによって実現されてもよい。

【0083】

カメラコントローラ９０Ａは、通信部９５Ａを有している。
カメラコントローラ９０Ａは、異常判定部８２Ａを有している。異常判定部８２Ａは、一又は複数の異常判定推論エンジンを有しており、第１動画データの異常判定を行う。なお、異常判定部８２Ａは、異常内容ごとの複数の推論エンジンデータを保持している

【0084】

機械学習コントローラ１０１は、機械学習部８１Ａを有している。機械学習部８１Ａは、機械学習用データである第２動画データに基づいて、機械学習を行い、異常判定のための推論エンジンを構築する。
機械学習コントローラ１０１は、記憶部８５Ｂを有している。
機械学習コントローラ１０１は、通信部８７Ｂを有している。

【0085】

カメラコントローラ９０Ａにおいて異常判定部８２Ａが異常を検出した場合、第１抽出部９７Ａ及び第２抽出部９８Ａがそれぞれ第１動画データと第２動画データを抽出する。この実施形態では、機械に所定の事象が発生したことを認識した事象認識時刻は、異常判定部８２Ａが異常を検出した時刻である。第１動画データは異常情報と共に、画像処理コントローラ８０Ａに送信される。第２動画データは異常情報と共に、機械学習コントローラ１０１に送信される。
カメラコントローラ９０Ａは、機械学習コントローラ１０１から新しい推論エンジンデータを受信した場合は、異常判定部８２Ａの推論エンジンを更新する。

【0086】

機械学習コントローラ１０１は、カメラコントローラ９０Ａより第２動画データと異常情報を受信する。機械学習部８１Ａは、推論エンジンの強化学習を行う。機械学習部８１Ａは、異常内容ごとの学習モデルを保持している。機械学習部８１Ａによる学習の結果、新しい推論エンジンデータが生成された場合は、機械学習コントローラ１０１は、カメラコントローラ９０Ａに新しい推論エンジンデータを送信する。

【0087】

この実施形態では、機械学習コントローラ１０１は例えば倉庫内ネットワーク上に１つ配置され、複数のスタッカクレーンごとに設けられたカメラユニット（カメラ及びカメラコントローラの組）に対して、生成した推論エンジンを配信できる。この場合、各カメラユニットで異常判定、学習用動画の収集が行われる。

【0088】

８．実施形態の共通事項
上記第１〜第７実施形態は、下記の構成及び機能を共通に有している。
本実施形態の機械学習用データ収集方法は、機械（例えば、スタッカクレーン３）の動作を撮影するカメラを備えるカメラシステム（例えば、カメラシステム１００）において機械学習用データを収集する方法である。この方法は、下記のステップを備えている。
◎機械の動作を撮影した撮影動画データを記憶する撮影動画データ記憶ステップ。
◎機械に所定の事象（例えば、スタッカクレーン３の異常）が発生したことを認識する事象認識ステップ（例えば、ステップＳ３のＹｅｓ）。
◎撮影動画データから、事象が認識された事象認識時刻を含む第１期間の長さの第１動画データを抽出する第１動画抽出ステップ（例えば、ステップＳ４）。
◎撮影動画データに含まれる第２動画データであって、事象認識時刻を含む第２期間の長さの第２動画データを抽出する第２動画抽出ステップ（例えば、ステップＳ５）。
第２期間は、第１期間よりも短い。
第２動画データは、所定の事象の発生を判定するための機械学習用データである。
この方法は、比較的長い期間の動画を表す第１動画データを抽出するので、人は、当該動画を見ることによって所定の事象が発生する様子を把握できる。また、この方法では、所定の事象の発生を判定するための機械学習用データとして、比較的短い期間の動画を表す第２動画データを利用できる。ここでは、第２動画データの抽出が自動的に行われるので、効率が良い。

【0089】

９．他の実施形態
以上、本発明の複数の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。特に、本明細書に書かれた複数の実施形態及び変形例は必要に応じて任意に組み合せ可能である。

【0090】

第１実施形態では機械はスタッカクレーンであったが、機械の種類は限定されない。例えば、機械は、倉庫のラックの各段を走行するシャトル台車であってもよいし、地上又は天井のレールに沿って走行する有軌道台車でもよい。また、機械は搬送装置以外の機械でもよい。

【0091】

カメラの数は特に限定されない。１〜３台でもよいし、５台以上であってもよい。
全てのカメラの画像が同時に表示装置において表示されなくてもよい。例えば、１台のカメラの画像のみが表示され、切り替え可能となっていてもよい。

【産業上の利用可能性】

【0092】

本発明は、機械学習用データ収集方法及びカメラシステムに広く適用できる。

【符号の説明】

【0093】

１ ：自動倉庫
２ ：ラック
３ ：スタッカクレーン
５ ：スタッカクレーン通路
７ ：前側支柱
９ ：後側支柱
１１ ：荷物支承部材
１３ ：棚
１５ ：フォーク通過間隙
２１ ：走行レール
２２ ：マスト
２２Ａ ：第１マスト
２２Ｂ ：第２マスト
２３ ：走行台車
２４ ：走行車輪
２５ ：下側フレーム
２６ ：上側フレーム
２７ ：昇降台
２８ ：昇降ガイドローラ
２９ ：移載装置
２９ａ ：スライドフォーク
３１ ：端部
３２ ：端部
３３ ：端部
３４ ：端部
４０ ：ワイヤ
４１ ：制御盤
４４ ：プーリ
４５ ：フレーム
５０ ：搬送コントローラ
５１ ：第１カメラ
５２ ：第２カメラ
５３ ：第３カメラ
５４ ：第４カメラ
５９ ：走行モータ
６３ ：昇降モータ
６４ ：ドラム
７３ ：走行部
７４ ：昇降部
７５ ：移載部
８０ ：画像処理コントローラ
８１ ：機械学習部
８２ ：異常判定部
８３ ：画像処理部
８４ ：表示制御部
８５ ：記憶部
８７ ：通信部
８８ ：入力装置
８９ ：表示装置
９０ ：カメラコントローラ
９１ ：カメラ制御部
９２ ：画像処理部
９３ ：記憶部
９５ ：通信部
９６ ：入力装置
９７ ：第１抽出部
９８ ：第２抽出部
１００ ：カメラシステム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】