特開 2023-714 周辺監視システム、周辺監視方法及び周辺監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023000714

(43)【公開日】2023-01-04

(54)【発明の名称】周辺監視システム、周辺監視方法及び周辺監視装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20221222BHJP

   G08G 1/00 20060101ALI20221222BHJP

   H04N 7/18 20060101ALI20221222BHJP

   G08B 21/00 20060101ALI20221222BHJP

   G16Y 10/40 20200101ALI20221222BHJP

   G16Y 40/10 20200101ALI20221222BHJP

【ＦＩ】

G08G1/16 A

G08G1/00 X

H04N7/18 D

G08B21/00 A

G16Y10/40

G16Y40/10

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021101694

(22)【出願日】2021-06-18

(71)【出願人】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】大谷 守

【テーマコード（参考）】

5C054

5C086

5H181

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054DA07

5C054FC12

5C054FE14

5C054HA30

5C086AA54

5C086BA22

5C086BA30

5C086CA28

5C086CB36

5C086DA33

5C086DA40

5C086FA06

5C086FA17

5C086FA18

5H181AA07

5H181AA21

5H181AA27

5H181BB04

5H181BB13

5H181BB20

5H181CC04

5H181FF10

5H181FF13

5H181FF33

5H181FF35

5H181LL01

5H181LL07

5H181LL08

5H181LL14

5H181MA48

5H181MB02

5H181MB12

(57)【要約】

【課題】作業機械と周辺の人を含む障害物との衝突の可能性を適切に監視可能な周辺監視システム、周辺監視方法及び周辺監視装置を提供すること。
【解決手段】周辺監視システム１は、フォークリフト及びフォークリフトの周辺を撮影するカメラ２と、カメラ２が撮影した映像から、フォークリフト及びフォークリフトの周辺の障害物を認識する認識部１２と、認識部１２の認識結果から、フォークリフトの移動方向と障害物の移動方向とを算出する算出部１４と、算出部１４が算出したフォークリフトの移動方向と障害物の移動方向とに基づいて、フォークリフトと障害物とが衝突する可能性を判定する判定部１６とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

作業機械及び前記作業機械の周辺を撮影する撮影部と、
前記撮影部が撮影した映像から、前記作業機械及び前記作業機械の周辺の障害物を認識する認識部と、
前記認識部の認識結果から、前記作業機械の移動方向と前記障害物の移動方向とを算出する算出部と、
前記算出部が算出した前記作業機械の前記移動方向と前記障害物の前記移動方向とに基づいて、前記作業機械と前記障害物とが衝突する可能性を判定する判定部と、
を備える、周辺監視システム。

【請求項2】

前記判定部は、前記作業機械の前記移動方向と前記障害物の前記移動方向とが交差した場合、前記作業機械と前記障害物とが衝突する可能性があると判定する、
請求項１に記載の周辺監視システム。

【請求項3】

前記算出部は、前記作業機械の速度と前記障害物の速度とを算出し、
前記判定部は、前記作業機械の前記移動方向及び前記速度を示す移動領域と、前記障害物の前記移動方向及び前記速度を示す移動領域とが重なる場合、前記作業機械と前記障害物とが衝突する可能性があると判定する、
請求項１に記載の周辺監視システム。

【請求項4】

前記判定部によって前記作業機械と前記障害物とが衝突する可能性があると判定された場合、警報を出力する警報部、
を備える、請求項１から３のいずれか一項に記載の周辺監視システム。

【請求項5】

前記警報部は、振動を発生させることにより、オペレータに注意を喚起する振動部であって、
前記振動部は、前記判定部によって前記作業機械と前記障害物とが衝突する可能性があると判定された場合、振動する、
請求項４に記載の周辺監視システム。

【請求項6】

前記判定部によって前記作業機械と前記障害物とが衝突する可能性があると判定された場合、前記撮影部が撮影した映像に、前記作業機械の前記移動方向の移動領域を示すマーカと、前記障害物の前記移動方向の移動領域を示すマーカとを重畳して記憶するよう制御する映像記憶制御部、
を備える、請求項１から５のいずれか一項に記載の周辺監視システム。

【請求項7】

前記判定部によって前記作業機械と前記障害物とが衝突する可能性があると判定された場合、判定された時点の前後の期間を含む、前記撮影部が撮影した映像を記憶する映像記憶制御部、
を備える、請求項１から５のいずれか一項に記載の周辺監視システム。

【請求項8】

前記認識部は、学習モデルを用いて、前記映像から切り出された画像を入力データとして、前記作業機械及び前記作業機械の周辺の障害物を認識する、
請求項１から７のいずれか一項に記載の周辺監視システム。

【請求項9】

前記学習モデルは、前記映像から切り出された複数の画像を平均化した平均画像を用いて学習する、
請求項８に記載の周辺監視システム。

【請求項10】

前記障害物は、人である
請求項１から９のいずれか一項に記載の周辺監視システム。

【請求項11】

作業機械及び前記作業機械の周辺を撮影することと、
撮影された映像から、前記作業機械及び前記作業機械の周辺の障害物を認識することと、
認識結果から、前記作業機械の移動方向と前記障害物の移動方向とを算出することと、
算出された前記作業機械の前記移動方向と前記障害物の前記移動方向とに基づいて、前記作業機械と前記障害物とが衝突する可能性を判定することと、
を含む周辺監視方法。

【請求項12】

作業機械及び前記作業機械の周辺を撮影した映像から、前記作業機械及び前記作業機械の周辺の障害物を認識する認識部と、
前記認識部の認識結果から、前記作業機械の移動方向と前記障害物の移動方向とを算出する算出部と、
前記算出部が算出した前記作業機械の前記移動方向と前記障害物の前記移動方向とに基づいて、前記作業機械と前記障害物とが衝突する可能性を判定する判定部と、
を備える、周辺監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、周辺監視システム、周辺監視方法及び周辺監視装置に関する。

【背景技術】

【0002】

例えば、フォークリフト等の産業用車両を用いて行われる倉庫内作業等において、検出領域における移動体を検出する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０３３７０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

作業機械は、倉庫又は工場のように、周辺に人を含む障害物が存在する場所を走行する。作業機械の周辺の人を含む障害物をすべて検出して警報を出力する場合、警報が頻繁に発せられることになる。そこで、作業機械と周辺の人を含む障害物との衝突の可能性を適切に判定することが望まれる。

【0005】

本開示の態様は、作業機械と周辺の人を含む障害物との衝突の可能性を適切に監視する周辺監視システム、周辺監視方法及び周辺監視装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の態様に従えば、作業機械及び前記作業機械の周辺を撮影する撮影部と、前記撮影部が撮影した映像から、前記作業機械及び前記作業機械の周辺の障害物を認識する認識部と、前記認識部の認識結果から、前記作業機械の移動方向と前記障害物の移動方向とを算出する算出部と、前記算出部が算出した前記作業機械の前記移動方向と前記障害物の前記移動方向とに基づいて、前記作業機械と前記障害物とが衝突する可能性を判定する判定部とを備える周辺監視システムが提供される。

【0007】

本開示の態様に従えば、作業機械及び前記作業機械の周辺を撮影することと、撮影された映像から、前記作業機械及び前記作業機械の周辺の障害物を認識することと、認識結果から、前記作業機械の移動方向と前記障害物の移動方向とを算出することと、算出された前記作業機械の前記移動方向と前記障害物の前記移動方向とに基づいて、前記作業機械と前記障害物とが衝突する可能性を判定することとを含む周辺監視方法が提供される。

【0008】

本開示の態様に従えば、作業機械及び前記作業機械の周辺を撮影した映像から、前記作業機械及び前記作業機械の周辺の障害物を認識する認識部と、前記認識部の認識結果から、前記作業機械の移動方向と前記障害物の移動方向とを算出する算出部と、前記算出部が算出した前記作業機械の前記移動方向と前記障害物の前記移動方向とに基づいて、前記作業機械と前記障害物とが衝突する可能性を判定する判定部と、を備える周辺監視装置が提供される。

【発明の効果】

【0009】

本開示の態様によれば、作業機械と周辺の人を含む障害物との衝突の可能性を適切に監視することができる周辺監視システム、周辺監視方法及び周辺監視装置が提供される。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る周辺監視システムが監視する場所の一例を説明する概略図である。

【図2】本実施形態に係る周辺監視システムの一例を示す機能ブロック図である。

【図3】フォークリフトの認識結果を説明する模式図である。

【図4】本実施形態に係る周辺監視システムが出力する監視用の映像の一例を説明する概略図である。

【図5】フォークリフトと人との位置関係の一例を説明する模式図である。

【図6】図５のフォークリフトと人との位置関係における衝突可能性を説明する模式図である。

【図7】フォークリフトと人との位置関係の他の例を説明する模式図である。

【図8】図７のフォークリフトと人との位置関係における衝突可能性を説明する模式図である。

【図9】本実施形態に係る周辺監視システムの処理の一例を示すフローチャートである。

【図10】本実施形態に係るコンピュータシステムの一例を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する各実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

【0012】

本実施形態においては、作業機械として、バッテリからの電力によって駆動されるフォークリフト１００（図４参照）を例として説明するが、作業機械はこれに限定されない。例えば、作業機械は、バッテリからの電力によって駆動されるホイールローダ等であってもよい。また、作業機械は、電力によって駆動されるものに限定されず、油圧によって駆動されるフォークリフト等であってもよい。

【0013】

＜周辺監視システム＞
周辺監視システム１は、フォークリフト１００の作業現場において、フォークリフト１００の周辺を監視する。周辺監視システム１は、作業機械と周辺の人を含む障害物との衝突の可能性を適切に監視する。以下の説明では、障害物の一例として、人について説明する。周辺監視システム１は、例えば、倉庫等の検収場所又は荷捌き場所のように、フォークリフト１００の周辺で人１１０（図４参照）が作業したり移動したりする可能性がある場所において、フォークリフト１００の周辺を監視する。また、周辺監視システム１は、例えば、工場内の走行路の角部等のように、フォークリフト１００及び人１１０が移動する走行路上の見通しが悪い場所において、フォークリフト１００の周辺を監視する。

【0014】

図１は、本実施形態に係る周辺監視システム１が監視する場所の一例を説明する概略図である。図１には、監視する場所の一例として、倉庫内のフォークリフト１００の駐機場Ｓが示されている。倉庫は、例えば、床面から天井までの高さがｈ［ｍ］であり、奥行きがｄ［ｍ］である。倉庫内において、フォークリフト１００は駐機場Ｓに駐機して、荷物の上げ下げを行う。倉庫内では、人１１０も作業したり移動したりする。図１に示す例では、周辺監視システム１は、駐機場Ｓの周辺において、フォークリフト１００の周辺を監視する。

【0015】

図２は、本実施形態に係る周辺監視システム１の一例を示す機能ブロック図である。本実施形態では、周辺監視システム１は、フォークリフト１００の移動方向と、フォークリフト１００の周辺の人１１０の移動方向とに基づいて、フォークリフト１００と人１１０との衝突の可能性を判定する。

【0016】

周辺監視システム１は、撮影部としてのカメラ２と、モニタ３と、警報部としての振動部４と、映像用記憶部５と、学習用記憶部６と、周辺監視装置１０とを備える。カメラ２、モニタ３、振動部４、映像用記憶部５及び学習用記憶部６と、周辺監視装置１０とは、無線又は有線によりデータを通信可能に接続されている。

【0017】

カメラ２は、フォークリフト１００及び人１１０の映像を撮影可能である。カメラ２は、例えば、倉庫等、フォークリフト１００の周辺で、人１１０が作業したり移動したりする可能性がある場所に配置される。図１に示す例では、カメラ２は、倉庫の天井付近に配置され、駐機場Ｓと駐機場Ｓの周辺の映像を撮影する。カメラ２は、例えば、工場内の走行路の角部等、フォークリフト１００及び人が移動する走行路に配置される。カメラ２は、撮影した映像の映像データを周辺監視装置１０へ送信する。カメラ２は、例えば、数［ｍ］程度の範囲を撮影可能である。

【0018】

本実施形態では、カメラ２は、単眼のカメラである。カメラ２は、光学系と、イメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。カメラ２によって撮影された映像は、フレームレートに応じて、単位時間あたりに複数の画像を含む。

【0019】

モニタ３は、例えば、倉庫または走行路から離れた、遠隔に位置する監視室等に配置されている。モニタ３は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイを含む。モニタ３は、周辺監視装置１０から送信された映像を表示する。本実施形態では、モニタ３は、図４に示すように、カメラ２が撮影した映像２００に、フォークリフト１００の移動領域１０２を示すマーカと、人１１０の移動領域１１２を示すマーカとを重畳して表示する。移動領域１０２及び移動領域１１２については後述する。モニタ３は、フォークリフト１００内に配置してもよい。

【0020】

振動部４は、振動発生装置である。振動部４は、振動を発生させることにより、オペレータに注意を喚起する。振動部４は、周辺監視装置１０からの制御信号によって振動を発生させる。本実施形態では、振動部４は、周辺監視装置１０によって、フォークリフト１００と人１１０との衝突の可能性があると判定された場合、振動を発生させる。本実施形態では、振動部４は、フォークリフト１００のオペレータが身体に装着する。振動部４は、運転席のオペレータに振動を認識させることができれば、運転席の座面等、他の位置に設置されていてもよい。

【0021】

振動部４は、振動を発生した後、周辺監視装置１０からの制御信号によって、振動を停止してもよい。振動部４は、振動を発生した後、オペレータによる振動の停止操作に基づいて、振動を停止してもよい。振動部４は、振動を発生した後、所定時間の経過後に、振動を停止してもよい。

【0022】

振動部４に加えて、または、振動部４にかわって図示しない他の警報部を有してもよい。警報部は、フォークリフト１００の運転席の周辺に設置される。なお、警報部は、運転席のオペレータ又はフォークリフト１００の周辺に警報を報知することできれば、他の位置に設置されていてもよい。警報部は、例えば、スピーカやランプを用い、衝突の可能性があることを知らせる旨の音声又は光を発してオペレータに注意喚起する。警報部は、例えば、運転室に配置された表示パネルを用いて、衝突の可能性があること知らせる旨の画像を表示してオペレータに注意喚起する。

【0023】

映像用記憶部５は、衝突の可能性があると判定された時点の前後を含む、映像データ等を記憶する記憶装置である。映像用記憶部５は、映像記憶制御部２３の制御によって映像を記憶する。記憶する映像データについては後述する。映像用記憶部５は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク及び光磁気ディスクのうち少なくとも１つが用いられる。

【0024】

学習用記憶部６は、学習用の画像データである学習用画像データを記憶する記憶装置である。学習用記憶部６は、画像記憶制御部２４の制御によって学習用画像データを記憶する。学習用画像データについては後述する。学習用記憶部６は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Random Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Random Access Memory）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク及び光磁気ディスクのうち少なくとも１つが用いられる。

【0025】

＜周辺監視システムの制御系＞
周辺監視装置１０は、フォークリフト１００の周辺を監視して、フォークリフト１００と人１１０との接触の可能性を判定する。周辺監視装置１０は、フォークリフト１００と人１１０との接触の可能性があると判定した場合、警報を出力する。周辺監視装置１０には、カメラ２、モニタ３、振動部４、映像用記憶部５及び学習用記憶部６が接続される。周辺監視装置１０は、ＣＰＵ（Central Processing Unit）のような数値演算装置（プロセッサ）を含む。周辺監視装置１０は、映像取得部１１と、認識部１２と、追尾部１３と、算出部１４と、画像生成部１５と、判定部１６と、出力制御部２１と、警報出力部２２と、映像記憶制御部２３と、画像記憶制御部２４と、記憶部２９とを備える。

【0026】

映像取得部１１は、カメラ２が撮影した映像の映像データを取得する。映像取得部１１が取得した映像データには、監視対象の範囲のフォークリフト１００及び人１１０が含まれる。映像取得部１１は、取得した映像データをフレームごとの画像データにして、認識部１２へ出力する。映像取得部１１は、映像データを記憶部２９に記憶する。

【0027】

認識部１２は、映像取得部１１が取得した映像の映像データから、フォークリフト１００及び人１１０を認識する。より詳しくは、認識部１２は、映像データから切り出された各フレームの画像データに対して、フォークリフト１００及び人１１０の認識処理を行う。認識部１２は、人工知能（ＡＩ：Artificial Intelligence）を用いて認識処理を行う。認識部１２は、学習モデルを用いて、画像データを入力データとして、フォークリフト１００及び人１１０を認識した認識結果を出力データとする。

【0028】

学習モデルは、複数の学習用画像データからフォークリフト１００及び人１１０の特徴量をそれぞれ学習して生成される。フォークリフト１００及び人１１０を含む学習用画像を教師データとして機械学習することにより、フォークリフト１００及び人１１０の特徴量を入力とし、フォークリフト１００及び人１１０の認識結果を出力データとする学習モデルが生成される。

【0029】

学習用画像データには、フォークリフト１００及び人１１０が含まれる。学習用画像データには、例えば、画像中において様々な位置に表示されるフォークリフト１００及び人１１０が含まれる。学習用画像データには、例えば、様々な向き及び大きさのフォークリフト１００及び人１１０が含まれる。学習用画像データは、例えば、様々な明るさ、天候、季節及び時間帯に撮影された画像データを含む。学習用画像データは、例えば、フォークリフト１００の一部及び人１１０の一部が欠落した画像データを含む。

【0030】

本実施形態では、学習モデルは、カメラ２が撮影した映像から切り出された複数の画像を平均化した平均画像を用いて学習してもよい。撮影映像から切り出された画像には、フォークリフト１００及び人１１０が動体であることに起因してノイズが発生することがある。平均画像データを学習用画像データとして用いることにより、ノイズが低減される。学習用画像データは、例えば、連続した複数のフレームの画像を平均化することによりノイズを低減した平均画像の平均画像データを含む。

【0031】

認識部１２は、認識されたフォークリフト１００及び人１１０の検出枠及び検出枠の中心点を、認識処理を行った画像に関連付けて記憶部２９に記憶する。本実施形態では、認識部１２は、認識されたフォークリフト１００の検出枠１０１及び検出枠１０１の中心点Ｃ１（図５参照）、及び、人１１０の検出枠１１１及び検出枠１１１の中心点Ｃ２（図５参照）を画像に関連付けて記憶部２９に記憶する。認識されたフォークリフト１００及び人１１０の検出枠は、例えば、フォークリフト１００及び人１１０の外形を囲む矩形状である。

【0032】

図３は、フォークリフト１００の認識結果を説明する模式図である。図３は、フォークリフト１００を真上から見た画像の模式図である。なお、実際にカメラ２が撮影する画像は、図４で示すように、斜め上方から撮影された画像である。図３の例では、フォークリフト１００の検出枠１０１は、フォークリフト１００の外形を囲む矩形状である。検出枠１０１の中心点をＣ１とする。

【0033】

追尾部１３は、認識部１２によって認識されたフォークリフト１００及び人１１０を追尾する。本実施形態では、認識部１２によって認識されたフォークリフト１００の中心点Ｃ１及び人１１０の中心点Ｃ２を追尾する。追尾部１３は、追尾結果を記憶部２９に記憶する。

【0034】

算出部１４は、認識部１２の認識結果から、フォークリフト１００の移動方向と人１１０の移動方向とを算出する。より詳しくは、算出部１４は、認識部１２によって認識されたフォークリフト１００及び人１１０の移動方向及び速度を算出する。算出部１４は、算出されたフォークリフト１００及び人１１０の移動方向及び速度を、認識処理を行った画像に関連付けて記憶部２９に記憶する。

【0035】

本実施形態では、フォークリフト１００の移動方向及び速度は、フォークリフト１００の検出枠１０１の中心点Ｃ１の移動方向及び速度である。本実施形態では、人１１０の移動方向及び速度は、人１１０の検出枠１１１の中心点Ｃ２の移動方向及び速度である。中心点の移動方向及び速度は、カルマンフィルタを用いた公知の方法により算出可能である。

【0036】

画像生成部１５は、認識部１２によって認識されたフォークリフト１００及び人１１０の検出枠と、移動方向及び速度とを示す画像を生成する。画像生成部１５は、生成した画像を画像に関連付けて記憶部２９に記憶する。

【0037】

本実施形態では、フォークリフト１００及び人１１０の移動方向及び速度を示す移動領域は、扇形の形状で示される。フォークリフト１００の移動領域は、フォークリフト１００が数秒間で移動する可能性がある領域である。人１１０の移動領域は、人１１０が数秒間で移動する可能性がある領域である。移動領域を扇形とすることにより、移動方向の誤差が考慮される。扇形は、中心点から移動方向に沿って伸びる線を中心線とする。半径は、例えば、数秒間で進む距離程度の長さである。扇形は、移動速度に応じて半径の長さが規定される。半径は、移動速度が速いほど長くなる。中心角は、監視対象の障害物の面積に応じて変化する。フォークリフト１００の場合、例えば、６０°程度である。本実施形態では、中心角は、人１１０の場合、フォークリフト１００に比べて面積が小さいので、例えば、１０°程度である。

【0038】

このように、本実施形態では、画像生成部１５は、フォークリフト１００及び人１１０の検出枠を示す矩形の画像と、移動領域を示す扇形の画像とを生成する。

【0039】

図３においては、フォークリフト１００の移動方向及び速度は、中心点Ｃ１を中心とする扇形の移動領域１０２で示される。フォークリフト１００の扇形の移動領域の前後方向の長さはＲ１［ｍ］である。長さＲ１［ｍ］は、例えば、数ｍ程度である。

【0040】

図４は、本実施形態に係る周辺監視システム１が出力する監視用の映像２００の一例を説明する概略図である。図４に示す例では、カメラ２によって撮影された映像２００に、フォークリフト１００の検出枠１０１を示す画像と、フォークリフト１００の移動方向及び速度を示す扇形の移動領域１０２を示す画像と、人１１０の検出枠１１１を示す画像と、人１１０の移動方向及び速度を示す扇形の移動領域１１２を示す画像とが重畳して表示されている。

【0041】

画像生成部１５は、判定部１６によってフォークリフト１００と人１１０とが衝突する可能性があると判定された場合、映像２００に重畳する、衝突の可能性があることを文字又は図形等により示す画像を生成してもよい。

【0042】

判定部１６は、算出部１４が算出したフォークリフト１００の移動方向と人１１０の移動方向とに基づいて、フォークリフト１００と人１１０とが衝突する可能性を判定する。これにより、判定部１６は、例えば、フォークリフト１００の近くに人１１０が存在していても、フォークリフト１００の移動方向と人１１０の移動方向が反対方向である場合等には、衝突する可能性がないと判定する。

【0043】

本実施形態では、判定部１６は、フォークリフト１００の移動方向と人１１０の移動方向とが交差した場合、フォークリフト１００の人１１０とが衝突する可能性があると判定してもよい。判定部１６は、例えば、フォークリフト１００の移動方向に延びる直線と、人１１０の移動方向に延びる直線とが交差した場合、フォークリフト１００の人１１０とが衝突する可能性があると判定してもよい。さらに、判定部１６は、移動速度を考慮して判定してもよい。判定部１６は、例えば、フォークリフト１００の移動方向に延びる、フォークリフト１００の速度に応じた長さの線分と、人１１０の移動方向に延びる、人１１０の速度に応じた長さの線分とが交差した場合、フォークリフト１００の人１１０とが衝突する可能性があると判定してもよい。これにより、判定部１６は、フォークリフト１００の移動方向と人１１０の移動方向が交差しない場合、衝突する可能性がないと判定する。

【0044】

本実施形態では、判定部１６は、フォークリフト１００の移動領域１０２と、人１１０の移動領域１１２とが重なる場合、フォークリフト１００と人１１０とが衝突する可能性があると判定してもよい。判定部１６は、移動領域１０２と移動領域１１２とを用いることにより、算出された移動方向の誤差を考慮して衝突の可能性を判定可能である。

【0045】

図５は、フォークリフト１００と人１１０との位置関係の一例を説明する模式図である。図６は、図５のフォークリフト１００と人１１０との位置関係における衝突可能性を説明する模式図である。図６は、図５から、フォークリフト１００の移動領域１０２と人１１０の移動領域１１２とを抜き出した図である。図５、図６に示す例では、フォークリフト１００の移動領域１０２と人１１０の移動領域１１２とが重なっていない。この場合、判定部１６は、フォークリフト１００と人１１０とが衝突する可能性があると判定しない。

【0046】

図７は、フォークリフト１００と人１１０との位置関係の他の例を説明する模式図である。図８は、図７のフォークリフト１００と人１１０との位置関係における衝突可能性を説明する模式図である。図８は、図７から、フォークリフト１００の移動領域１０２と人１１０の移動領域１１２とを抜き出した図である。図７、図８に示す例では、フォークリフト１００の移動領域１０２と人１１０の移動領域１１２とが重なっている。この場合、判定部１６は、フォークリフト１００と人１１０とが衝突する可能性があると判定する。

【0047】

出力制御部２１は、カメラ２が撮影した映像２００に、フォークリフト１００の移動領域１０２を示すマーカと、人１１０の移動領域１１２を示すマーカとを重畳して表示するよう制御する。本実施形態では、移動領域１０２を示すマーカ及び移動領域１１２を示すマーカは、扇形の画像である。本実施形態では、出力制御部２１は、カメラ２が撮影した映像２００に、画像生成部１５が生成した画像を重畳して表示するよう制御する。より詳しくは、出力制御部２１は、カメラ２が撮影した映像２００に、フォークリフト１００及び人１１０の検出枠を示す矩形の画像と、移動領域を示す扇形の画像とを重畳して出力するよう制御する。

【0048】

本実施形態では、出力制御部２１は、モニタ３への出力を制御する。出力制御部２１は、出力制御部２１は、図示しないネットワークを介して、モニタ３へ映像を配信するように制御してもよい。

【0049】

警報出力部２２は、判定部１６によってフォークリフト１００と人１１０とが衝突する可能性があると判定された場合、警報を出力するように制御する。本実施形態では、警報出力部２２は、判定部１６によってフォークリフト１００と人１１０とが衝突する可能性があると判定された場合、振動部４を振動させるように制御する。

【0050】

警報出力部２２は、警報を出力した後、衝突の可能性がなくなった場合に、警報を停止するよう制御してもよい。本実施形態では、警報出力部２２は、警報を出力した後、衝突の可能性がなくなった場合に、振動部４の振動を停止するよう制御してもよい。

【0051】

映像記憶制御部２３は、判定部１６によってフォークリフト１００と人１１０とが衝突する可能性があると判定された場合、カメラ２が撮影した映像２００に、画像生成部１５が生成した画像を重畳した映像を映像用記憶部５に記憶させるように制御する。より詳しくは、映像記憶制御部２３は、カメラ２が撮影した映像２００に、フォークリフト１００及び人１１０の検出枠を示す矩形の画像と、移動領域を示す扇形の画像とを重畳して映像用記憶部５に記憶させるように制御する。映像記憶制御部２３は、フォークリフト１００及び人１１０の移動領域を示す扇形の画像を重畳せずに映像用記憶部５に記憶させるように制御してもよい。

【0052】

映像記憶制御部２３は、判定部１６によってフォークリフト１００と人１１０とが衝突する可能性があると判定された場合、判定された時点の前後を含む、カメラ２が撮影した映像を映像用記憶部５に記憶させるように制御してもよい。映像記憶制御部２３は、判定された時点の前後を含む、カメラ２が撮影した映像２００に、フォークリフト１００及び人１１０の検出枠を示す矩形の画像と、移動領域を示す扇形の画像とを重畳して映像用記憶部５に記憶させるように制御してもよい。

【0053】

画像記憶制御部２４は、学習モデルの精度を向上するために、認識部１２が認識処理を行った画像を学習用記憶部６に記憶させるように制御する。画像記憶制御部２４は、例えば、所定の条件下で撮影された画像データを学習用記憶部６に記憶させるように制御する。所定の条件下とは、フォークリフト１００及び人１１０の認識精度が低い画像データが撮影された条件と類似した条件を満たす場合である。所定の条件下とは、例えば、明るさ、天候、季節及び時間帯等が所定条件を満たす場合である。

【0054】

画像記憶制御部２４は、撮影された画像データを加工して、複数の加工された画像データを学習用記憶部６に記憶させるように制御させてもよい。

【0055】

例えば、周辺監視システム１によって衝突の可能性があると判定されて、オペレータの振動部４が振動した場合であって、オペレータが衝突の可能性はないと判断した場合、認識精度が低いと予測される。例えば、周辺監視システム１によって衝突の可能性があると判定された場合であって、モニタ３に表示される映像を監視する監視者が、衝突の可能性はないと判断した場合、認識精度が低いと予測される。

【0056】

記憶部２９は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、及びハードディスクドライブの少なくとも一つを含む。記憶部２９は、周辺監視装置１０の処理で使用するデータ等を記憶する。

【0057】

＜周辺監視システムの処理＞
フォークリフト１００の稼働時間帯、周辺監視システム１が起動しているものとする。周辺監視システム１が起動している間、カメラ２が周辺を撮影して、周辺監視装置１０が、フォークリフト１００と人１１０との衝突の可能性を判定する。

【0058】

図９は、本実施形態に係る周辺監視システム１の処理の一例を示すフローチャートである。周辺監視装置１０は、映像を取得する（ステップＳ１０１）。より詳しくは、周辺監視装置１０は、映像取得部１１によって、カメラ２が撮影した映像の映像データを取得する。周辺監視装置１０は、映像取得部１１によって、取得した映像データをフレームごとの画像データにして、認識部１２へ出力する。周辺監視装置１０は、ステップＳ１０２へ進む。

【0059】

周辺監視装置１０は、フォークリフト１００及び人１１０を認識する（ステップＳ１０２）。より詳しくは、周辺監視装置１０は、認識部１２によって、映像取得部１１から取得した画像データから、フォークリフト１００及び人１１０を認識する。周辺監視装置１０は、ステップＳ１０３へ進む。

【0060】

周辺監視装置１０は、フォークリフト１００及び人１１０を追尾する（ステップＳ１０３）。より詳しくは、周辺監視装置１０は、追尾部１３によって、認識部１２が認識したフォークリフト１００及び人１１０を追尾する。周辺監視装置１０は、ステップＳ１０４へ進む。

【0061】

周辺監視装置１０は、移動方向及び速度を算出する（ステップＳ１０４）。より詳しくは、周辺監視装置１０は、算出部１４によって、フォークリフト１００の移動方向及び速度と、人１１０の移動方向及び速度とを算出する。周辺監視装置１０は、ステップＳ１０５へ進む。

【0062】

周辺監視装置１０は、画像を生成する（ステップＳ１０５）。より詳しくは、周辺監視装置１０は、画像生成部１５によって、認識部１２によって認識されたフォークリフト１００及び人１１０の検出枠と、移動方向及び速度を示す画像を生成する。周辺監視装置１０は、ステップＳ１０６へ進む。

【0063】

周辺監視装置１０は、映像を出力するよう制御する（ステップＳ１０６）。より詳しくは、周辺監視装置１０は、出力制御部２１によって、カメラ２が撮影した映像２００に、フォークリフト１００の移動領域１０２を示すマーカと、人１１０の移動領域１１２を示すマーカとを重畳して表示するよう制御する。周辺監視装置１０は、ステップＳ１０７へ進む。

【0064】

周辺監視装置１０は、衝突の可能性を判定する（ステップＳ１０７）。より詳しくは、周辺監視装置１０は、判定部１６によって、算出部１４が算出したフォークリフト１００の移動方向と人１１０の移動方向とに基づいて、フォークリフト１００と人１１０とが衝突する可能性を判定する。周辺監視装置１０は、判定部１６によって、フォークリフト１００の移動方向と人１１０の移動方向とが交差した場合、フォークリフト１００の人１１０とが衝突する可能性があると判定してもよい。周辺監視装置１０は、判定部１６によって、フォークリフト１００の移動領域１０２と、人１１０の移動領域１１２とが重なる場合、フォークリフト１００と人１１０とが衝突する可能性があると判定してもよい。判定部１６によって、フォークリフト１００と人１１０とが衝突する可能性があると判定する場合（ステップＳ１０７でＹｅｓ）、ステップＳ１０８へ進む。判定部１６によって、フォークリフト１００と人１１０とが衝突する可能性があると判定しない場合（ステップＳ１０７でＹｅｓ）、ステップＳ１１０へ進む。

【0065】

衝突の可能性があると判定された場合（ステップＳ１０７でＹｅｓ）、周辺監視装置１０は、警報を出力させるように制御する（ステップＳ１０８）。より詳しくは、周辺監視装置１０は、警報出力部２２によって、振動部４を振動させるように制御する。周辺監視装置１０は、ステップＳ１０９へ進む。

【0066】

オペレータは、振動部４の振動によって、フォークリフト１００が人１１０と衝突する可能性があることを確認する。そして、オペレータにより、人１１０との衝突を回避するための操作が行われる。オペレータは、例えば、ブレーキ操作を行ったり、アクセルの踏込を解除する操作を行ったり、ハンドル操作を行ったりする。

【0067】

周辺監視装置１０は、映像を記憶するよう制御する（ステップＳ１０９）。より詳しくは、周辺監視装置１０は、映像記憶制御部２３によって、判定部１６によってフォークリフト１００と人１１０とが衝突する可能性があると判定された場合、判定された時点の前後を含む、カメラ２が撮影した映像２００に、フォークリフト１００の移動領域１０２を示すマーカと、人１１０の移動領域１１２を示すマーカとを重畳して映像用記憶部５に記憶させるように制御する。なお、周辺監視装置１０は、映像記憶制御部２３によって、移動領域１０２を示すマーカと、人１１０の移動領域１１２を示すマーカを重畳せずに映像用記憶部５に記憶させるように制御してもよい。

【0068】

衝突の可能性があると判定されない場合（ステップＳ１０７でＮｏ）、周辺監視装置１０は、警報を停止させるように制御する（ステップＳ１１０）。より詳しくは、周辺監視装置１０は、警報出力部２２によって、振動部４の振動を停止させるように制御する。

【0069】

＜コンピュータシステム＞
図１０は、本実施形態に係るコンピュータシステム１０００の一例を示すブロック図である。上述の周辺監視装置１０は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵのようなプロセッサ１００１と、ＲＯＭのような不揮発性メモリ及びＲＡＭのような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の周辺監視装置１０の機能は、プログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、プログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

【0070】

＜効果＞
以上説明したように、本実施形態では、フォークリフト１００の移動方向と人１１０の移動方向とに基づいて、フォークリフト１００と人１１０とが衝突する可能性を判定する。本実施形態は、例えば、フォークリフト１００の近くに人１１０が存在していても、フォークリフト１００の移動方向と人１１０の移動方向が反対方向である場合等には、衝突する可能性がないと判定できる。本実施形態は、フォークリフト１００と周辺の人１１０との衝突の可能性を適切に判定できる。このように、本実施形態によれば、フォークリフト１００と周辺の人１１０との衝突の可能性を適切に監視できる。

【0071】

本実施形態は、フォークリフト１００の移動方向と人１１０の移動方向とが交差した場合、フォークリフト１００と人１１０とが衝突する可能性があると判定する。本実施形態は、フォークリフト１００の移動方向と人１１０の移動方向が交差しない場合、衝突する可能性がないと判定できる。本実施形態は、フォークリフト１００と周辺の人１１０との衝突の可能性をより適切に判定できる。

【0072】

本実施形態は、フォークリフト１００の移動領域１０２と、人１１０の移動領域１１２とが重なる場合、フォークリフト１００と人１１０とが衝突する可能性があると判定する。本実施形態は、算出された移動方向の誤差を考慮して衝突の可能性をより適切に判定できる。

【0073】

本実施形態は、フォークリフト１００と人１１０とが衝突する可能性があると判定された場合、警報を出力する。本実施形態は、衝突の可能性を警報によって、フォークリフト１００のオペレータ等に知らせることができる。

【0074】

本実施形態は、フォークリフト１００と人１１０とが衝突する可能性があると判定された場合、カメラ２が撮影した映像に、フォークリフト１００の移動領域１０２を示すマーカと、人１１０の移動領域１１２を示すマーカとを重畳して記憶する。本実施形態は、衝突の可能性があると判定されたときの映像を記憶できる。これにより、本実施形態は、後から衝突の可能性の判定の妥当性を確認できる。

【0075】

本実施形態は、フォークリフト１００と人１１０とが衝突する可能性があると判定された場合、判定された時点の前後の期間を含む、カメラ２が撮影した映像を記憶する。本実施形態は、衝突の可能性があると判定された時点の前後の映像を記憶できる。これにより、本実施形態は、後から衝突の可能性の判定の妥当性を確認できる。

【0076】

本実施形態は、学習モデルを用いて、映像から切り出された画像を入力データとして、フォークリフト１００及びフォークリフト１００の周辺の人１１０を認識する。本実施形態は、フォークリフト１００及び人１１０の認識精度を向上できる。

【0077】

本実施形態では、学習モデルは、映像から切り出された複数の画像を平均化した平均画像を用いて学習する。本実施形態によれば、ノイズを適切に低減した平均画像を用いて学習できる。本実施形態は、フォークリフト１００及び人１１０の認識精度を向上できる。

【0078】

＜変形例＞
上記では、カメラ２は、倉庫の天井付近や走行路に配置される例で説明したがこの限りではない。カメラ２は、フォークリフト１００に配置してもよい。この場合、フォークリフト１００に配置されたカメラ２の映像から人の移動方向等を算出する。フォークリフト１００の移動方向は、例えば、操舵角から求めることができる。フォークリフト１００の速度は、例えば、フォークリフト１００に設けた車速計から求めることができる。フォークリフト１００の移動領域は、上述のように求めた移動方向と車速から求めることができる。

【0079】

図９に示すフローチャートのステップＳ１０５は必須ではなく省略してもよい。検出枠と、移動方向及び速度を示す画像を生成せずに、移動方向及び速度を算出してもよい。

【0080】

図９に示すフローチャートのステップＳ１０６、Ｓ１０８、Ｓ１０９、Ｓ１１０は必須のステップではなく省略してもよい。

【0081】

上記では、人は障害物の一例である。障害物の他の例としては、他の作業機械や工場内の荷物等の静止物があげられる。他の作業機械の例では、フォークリフト１００の移動方向と他の作業機械の移動方向が交差する場合、衝突可能性を判定するようにしてもよい。また、フォークリフト１００の移動領域と他の作業機械の移動領域が重なる場合、衝突可能性を判定するようにしてもよい。荷物の例では、認識部１２により荷物を認識させ、荷物の中心点とフォークリフト１００の移動方向が交差する場合に、衝突可能性を判定してもよい。また、荷物の中心点とフォークリフト１００の移動領域が重なる場合に、衝突可能性を判定してもよい。

【0082】

上記では、作業機械がフォークリフト１００であるものとして説明したが、これに限定されない。作業機械は、バッテリからの電力又はエンジン等によって駆動されるホイールローダ又は油圧ショベル等であってもよい。

【符号の説明】

【0083】

１…周辺監視システム、２…カメラ（撮影部）、３…モニタ、４…振動部（警報部）、５…映像用記憶部、６…学習用記憶部、１０…周辺監視装置、１１…映像取得部、１２…認識部、１３…追尾部、１４…算出部、１５…画像生成部、１６…判定部、２１…出力制御部、２２…警報出力部、２３…映像記憶制御部、２４…画像記憶制御部、２９…記憶部、１００…フォークリフト（作業機械）、１０１…検出枠、１０２…移動領域、１１０…人、１１１…検出枠、１１２…移動領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】