特許 7149990 人検知装置、産業車両、及び人検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-29

(45)【発行日】2022-10-07

(54)【発明の名称】人検知装置、産業車両、及び人検知方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20220930BHJP

   H04N 7/18 20060101ALI20220930BHJP

【ＦＩ】

G08G1/16 D

H04N7/18 J

【請求項の数】 8

(21)【出願番号】P 2020119883

(22)【出願日】2020-07-13

(65)【公開番号】P2022016902

(43)【公開日】2022-01-25

【審査請求日】2021-03-31

(73)【特許権者】

【識別番号】000232807

【氏名又は名称】三菱ロジスネクスト株式会社

(74)【代理人】

【識別番号】110000785

【氏名又は名称】ＳＳＩＰ弁理士法人

(72)【発明者】

【氏名】飯尾 聡

(72)【発明者】

【氏名】杉本 喜一

(72)【発明者】

【氏名】亀尾 成寿

(72)【発明者】

【氏名】中尾 健太

(72)【発明者】

【氏名】南 昭伍

(72)【発明者】

【氏名】岡本 敏樹

【審査官】田中 将一

(56)【参考文献】

【文献】特開２０２０－０５２６４７（ＪＰ，Ａ）

【文献】特開２０１８－０３６９３７（ＪＰ，Ａ）

【文献】特開２０１８－１０６６６７（ＪＰ，Ａ）

【文献】特開２０１３－００２８２０（ＪＰ，Ａ）

【文献】特表２０１８－５０８０６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

産業車両の外部を前記産業車両から撮像した画像データを受信するように構成された受信装置と、
前記画像データを解析して前記画像データに対応する領域における人の存在の可能性を示す少なくとも一つの指標であって、機械学習を用いた物体検出アルゴリズムを用いた人検知により前記画像データに対応する領域における人の存在を判定するための少なくとも一つの指標を生成し、前記物体検出アルゴリズムを用いて前記指標が閾値を超えた場合に当該領域に人が存在すると判定するように構成された判定装置と、
を備える人検知装置を備える産業車両であって、
前記判定装置は、前記産業車両の外部に前記産業車両から離隔して設置されたミラーを含む領域を撮像した第１画像データを解析して得られる第１指標が第１閾値を超えた場合に、前記ミラーに映る領域内に人が存在すると判定するように構成され、
前記第１閾値は、前記ミラーを含まない領域を撮像した第２画像データを解析して得られる第２指標との比較に用いられる第２閾値よりも低く設定され、
前記産業車両は、
前記ミラーを撮像して前記第１画像データを取得するための第１撮像装置と、
前記産業車両の近傍を撮像して周囲監視用に前記第２画像データを取得するための第２撮像装置と、をさらに備える産業車両。

【請求項2】

産業車両の外部を前記産業車両から撮像した画像データを受信するように構成された受信装置と、
前記画像データを解析して前記画像データに対応する領域における人の存在の可能性を示す少なくとも一つの指標であって、機械学習を用いた物体検出アルゴリズムを用いた人検知により前記画像データに対応する領域における人の存在を判定するための少なくとも一つの指標を生成し、前記物体検出アルゴリズムを用いて前記指標が閾値を超えた場合に当該領域に人が存在すると判定するように構成された判定装置と、
を備える人検知装置を備える産業車両であって、
前記判定装置は、前記産業車両の外部に前記産業車両から離隔して設置されたミラーを含む領域を撮像した第１画像データを解析して得られる第１指標が第１閾値を超えた場合に、前記ミラーに映る領域内に人が存在すると判定するように構成され、
前記第１閾値は、前記ミラーを含まない領域を撮像した第２画像データを解析して得られる第２指標との比較に用いられる第２閾値よりも低く設定され、
前記産業車両は、
前記第１画像データを取得するための第１モードと、前記第２画像データを取得するための第２モードとを切替可能に構成される第１撮像装置をさらに備える産業車両。

【請求項3】

前記判定装置は、過検知抑制のための時系列フィルタを含み、
前記判定装置の前記時系列フィルタは、前記第１画像データについては、前記第１指標が前記第１閾値を超えた頻度又は時間が第３閾値を超えた場合に人検知が成立したと判定するように構成され、
前記第３閾値は、前記第２画像データに基づいて前記人検知が成立したと判定する場合に前記時系列フィルタに設定される第４閾値よりも低く設定される
請求項１又は２に記載の産業車両。

【請求項4】

前記第１画像データを取得する場合の第１撮像パラメータは、前記第２画像データを取得する場合の第２撮像パラメータに比べて、照度が低い環境に適した撮像パラメータに設定される
請求項１乃至３の何れか１項に記載の産業車両。

【請求項5】

前記第１撮像装置の画角は、前記第２撮像装置の画角よりも狭い
請求項１に記載の産業車両。

【請求項6】

前記ミラーは、凸面形状の反射面を有し、
前記第１画像データは、前記ミラーを含む領域及び前記ミラーに映るシート状の物体の校正用パターンを撮像した画像データであり、
前記判定装置は、前記第１画像データ内の前記校正用パターンに基づいて、前記第１画像データに含まれる前記ミラー特有の歪みを補正するように構成される
請求項１乃至５の何れか一項に記載の産業車両。

【請求項7】

前記第１撮像装置は、撮像範囲内にマーカーが含まれている場合に、前記マーカーに基づいて前記ミラーの位置を特定し、前記ミラーの領域を抽出して前記画像データを取得する
請求項１乃至６の何れか一項に記載の産業車両。

【請求項8】

前記人検知装置の検知結果又は前記検知結果に基づく警報を出力するための出力装置を更に備える
請求項１乃至７の何れか一項に記載の産業車両。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人検知装置、産業車両、及び人検知方法に関する。

【背景技術】

【0002】

車両の外部を撮像した画像に基づいて人を検知し、オペレータに通知する技術が提案されている。例えば、特許文献１には、車両の外部を撮像する車載カメラから取得した画像データを解析し、歩行者を検知するように構成された画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２３７７７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のように車載カメラを利用すれば、オペレータから直接見えない領域であっても車載カメラの撮像領域であれば、人を検知できる場合がある。しかし、車両から見えない死角（すなわち、車載カメラ及びオペレータから直接見えない領域）に位置する人を検知することは困難である。特に、フォークリフト等の産業車両は、周囲の構造物（例えばコンテナや建物の壁）や積荷等の存在によって死角が発生しやすい環境で走行する場合がある。この場合、死角に位置する人（例えば作業者）を検知できないと安全性を確保できない。特許文献１には、このような安全性を確保するための構成が開示されていない。

【0005】

上述の事情に鑑みて、本開示は、安全性を向上させることが可能な人検知装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る人検知装置は、
産業車両の外部を前記産業車両から撮像した画像データを受信するように構成された受信装置と、
前記画像データを解析して前記画像データに対応する領域における人の存在の可能性を示す少なくとも一つの指標を生成し、前記指標が閾値を超えた場合に当該領域に人が存在すると判定するように構成された判定装置と、
を備え、
前記判定装置は、前記産業車両の外部に設置されたミラーを含む領域を撮像した第１画像データを解析して得られる第１指標が第１閾値を超えた場合に、前記ミラーに映る領域内に人が存在すると判定するように構成され、
前記第１閾値は、前記ミラーを含まない領域を撮像した第２画像データを解析して得られる第２指標との比較に用いられる第２閾値よりも低く設定される。

【0007】

本開示に係る産業車両は、
上記の人検知装置を備える産業車両であって、
前記ミラーを撮像して前記第１画像データを取得するための第１撮像装置と、
前記産業車両の近傍を撮像して周囲監視用に前記第２画像データを取得するための第２撮像装置と、
を備える。

【0008】

本開示に係る産業車両は、
上記の人検知装置を備える産業車両であって、
前記第１画像データを取得するための第１モードと、前記第２画像データを取得するための第２モードとを切替可能に構成される第１撮像装置を備える。

【0009】

本開示に係る人検知方法は、
産業車両の外部を前記産業車両から撮像した画像データを取得するステップと、
前記画像データを解析して前記画像データに対応する領域における人の存在の可能性を示す少なくとも一つの指標を生成し、前記指標が閾値を超えた場合に当該領域に人が存在すると判定するステップと、
を含み、
前記判定するステップでは、前記産業車両の外部に設置されたミラーを含む領域を撮像した第１画像データを解析して得られる第１指標が第１閾値を超えた場合に、前記ミラーに映る領域内に人が存在すると判定し、
前記第１閾値は、前記ミラーを含まない領域を撮像した第２画像データを解析して得られる第２指標との比較に用いられる第２閾値よりも低く設定される。

【発明の効果】

【0010】

本開示によれば、安全性を向上させることが可能な人検知装置等を提供することができる。

【図面の簡単な説明】

【0011】

【図1】一実施形態に係る人検知装置の機能的構成を概略的に示すブロック図である。

【図2】一実施形態に係る人検知装置のハードウェア構成を概略的に示すブロック図である。

【図3】一実施形態に係る人検知装置の利用環境の一例を概略的に示す斜視図である。

【図4】一実施形態に係る人検知装置の利用環境の一例を模式的に示す平面図である。

【図5】一実施形態に係る人検知装置が利用するミラーの一例を示す図である。

【図6A】第１画像データの一例を示す図である。

【図6B】図６Ａに示す第１画像データからミラーの領域を抽出するための処理を説明するための図である。

【図7】図６Ｂのミラーの領域を抽出した画像データを示す図である。

【図8】図７に示す画像データの歪みを補正した後の画像データを示す図である。

【図9】一実施形態に係る人検知装置による人検知結果の一例を概略的に示す図である。

【図10】一実施形態に係る人検知装置が実行する人検知処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
一方、一の構成要素を「備える」、「具える」、「具備する」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。

【0013】

（人検知装置の構成）
以下、一実施形態に係る人検知装置１００の構成について説明する。図１は、一実施形態に係る人検知装置１００の構成を概略的に示すブロック図である。図２は、一実施形態に係る人検知装置１００のハードウェア構成を概略的に示すブロック図である。人検知装置１００は、例えば、ショベルカー、ブルドーザー、フォークリフト等の産業車両６００に適用される。一実施形態では、人検知装置１００は、フォークリフトに搭載される。

【0014】

図１に示すように、人検知装置１００は、受信装置１０と、判定装置２０と、送信装置３０と、を備える。図２に示すように、人検知装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ７２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）７４と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７６と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）７８と、入出力Ｉ／Ｆ８０と、出力Ｉ／Ｆ８２と、を含み、これらがバス８４を介して互いに接続されたコンピュータを用いて構成される。人検知装置１００のプロセッサ７２がＲＯＭ７６やＲＡＭ７４等のメモリに記憶されているプログラムを実行することにより、後述する各種機能を実現する。

【0015】

受信装置１０及び送信装置３０は、他の装置と通信するように構成される。幾つかの実施形態では、例えば、図１に示すように、人検知装置１００は、第１撮像装置４０、第２撮像装置５０、及び出力装置６０と通信可能に接続される。第１撮像装置４０、第２撮像装置５０、及び出力装置６０は、人検知装置１００と共に、産業車両６００に搭載される構成であってもよい。なお、第１撮像装置４０が後述するモード切替等によって第２撮像装置５０の機能を兼ねる場合は、人検知装置１００は第１撮像装置４０のみを備える構成であってもよいし、他の装置から画像データを受信する構成であってもよい。

【0016】

受信装置１０は、産業車両６００の外部を当該産業車両６００から撮像した画像データを他の装置から受信するように構成される。受信装置１０は、第１撮像装置４０及び／又は第２撮像装置５０と近距離無線通信又は有線通信することによって画像データを取得するように構成されてもよい。

【0017】

判定装置２０は、受信装置１０が受信した画像データを解析して画像データに対応する領域における人の存在の可能性を示す少なくとも一つの指標を生成するように構成される。判定装置２０は、機械学習を用いた物体検出アルゴリズム、例えば、物体検出ニューラルネットワークのＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）を用いて人検知を行うように構成されてもよい。この様な物体検出技術においては、画像中の物体の位置を特定して矩形（バウンディングボックス）で囲み、更にそれぞれの矩形について物体のクラス（人、車両等）の予測が行われる。人の存在の可能性を示す少なくとも一つの指標としては、このクラス予測の確からしさ（信頼度）、すなわち、矩形で囲まれた領域中の人と予測された物体が実際に人である可能性の高さを示す判定スコアを用いることができる。また、検知対象とする人のサイズが画像上でのサイズで規定されている場合は、矩形の高さ、幅等の情報に基づき計算される人検知の有効度を示すスコアを指標として採用しても良い。判定装置２０は、生成した指標（例えば、判定スコア）が閾値を超えた場合に当該領域に人が存在すると判定するように構成される。「画像データに対応する領域」とは、画像データに映る領域である。すなわち、画像データに対応する領域は、直接撮像される領域であってもよいし、後述するミラー２００を介して間接的に撮像される領域であってもよい。

【0018】

送信装置３０は、判定装置２０の判定結果に応じた信号を出力装置６０に送信するように構成される。なお、受信装置１０及び送信装置３０は、さらに産業車両６００の外部のサーバ装置（不図示）と無線通信するように構成されてもよい。

【0019】

例えば、産業車両６００の外部のサーバ装置が、複数の人検知装置１００の送信装置３０又は産業車両６００や構造物に設けられた撮像装置等から画像データ、判定結果、位置情報等の情報を収集してもよい。受信装置１０は、有用な情報をサーバ装置から受信するように構成されてもよい。すなわち、人検知装置１００は、判定装置２０の判定結果に基づく人検知機能だけでなく、産業車両６００の外部のサーバ装置から取得した情報に基づく人検知機能をさらに有していてもよい。

【0020】

出力装置６０は、人検知装置１００の検知結果又は検知結果に基づく情報（人の有無を示す情報や警報等）を出力するように構成される。出力装置６０は、産業車両６００（例えばフォークリフト）の車内に設けられる。例えば、出力装置６０は、スピーカー及び／又はディスプレイを備え、音声出力及び／又は表示画像によって産業車両６００のオペレータに情報を通知するように構成される。出力装置６０は、発光によって警報を通知してもよい。

【0021】

ここで、第１撮像装置４０及び第２撮像装置５０について説明する。第１撮像装置４０は、後述するミラー２００を撮像するための撮像装置であり、第２撮像装置５０は、ミラー２００を含まない領域、例えば産業車両の近傍領域を撮像するための周囲監視用の撮像装置である。第１撮像装置４０は、産業車両６００の進行方向に位置するミラー２００を撮像可能な位置、例えば産業車両６００の天井に設けられる。第２撮像装置５０は、産業車両６００の周囲を撮像可能な位置、例えば、産業車両６００の車外の上部位置に設けられる。

【0022】

第１撮像装置４０の画角は、第２撮像装置５０の画角よりも狭いことが好ましい。第１撮像装置４０は、画角が２９°以下の狭角の望遠レンズを備えることが好ましい。望遠レンズは、例えば、焦点距離が８５ｍｍ以上６００ｍｍ以下であることが好ましい。かかる構成によれば、ミラー２００が小さい場合であっても検知精度を確保することが可能となる。

【0023】

第２撮像装置５０の画角は、第１撮像装置４０の画角よりも広いことが好ましい。例えば、第２撮像装置５０は、画角が６３°以上の広角レンズを備えることが好ましい。また、広角レンズは、焦点距離が３５ｍｍ以下であることが好ましい。かかる構成によれば、産業車両の周囲に位置する人については第１撮像装置４０よりも広角で撮像する第２撮像装置５０で検出し、死角に位置する人については第１撮像装置４０でミラー２００を介して検出することが可能となる。そのため、人検知の対象範囲を広げることができる。

【0024】

ここで、第１撮像装置４０又は第２撮像装置５０によって撮像される画像データの種類について説明する。第１画像データは、第１撮像装置４０が産業車両６００の外部に設置されたミラー２００（後述）を含む領域を撮像した画像データである。第２画像データは、第２撮像装置５０が産業車両の近傍（周囲）領域等のミラー２００を含まない領域を撮像した画像データである。なお上述の通り、第１撮像装置４０がモード切替等の手段により第２撮像装置５０の機能を兼ねる場合には、第１撮像装置が第１画像データ及び第２画像データの両方を撮像する構成であっても良い。

【0025】

第１撮像装置４０が第１画像データを取得する場合の第１撮像パラメータは、第２撮像装置５０に設定される、又は、第１撮像装置４０が第２画像データを取得する場合に設定される第２撮像パラメータに比べて、照度が低い環境に適した撮像パラメータに設定される。例えば、第１撮像装置４０の撮像パラメータの設定において、画像データの平均輝度に応じてシャッタースピードを遅くしたり（露光時間を長くしたり）、画像の明るさを調整したりする。

【0026】

判定装置２０は、第１画像データを解析して得られる第１指標が第１閾値を超えた場合に、ミラー２００に映る領域内に人が存在すると判定するように構成される。第１閾値は、第２画像データを解析して得られる第２指標との比較に用いられる第２閾値よりも低く設定される。判定装置２０は、第１画像データ及び第２画像データを同一の手法（人検知アルゴリズム）で解析し、各画像データに対応する領域における人の存在の可能性を示す少なくとも一つの指標、ここでは第１指標及び第２指標を生成する。第１指標及び第２指標は同種、同次元の指標である。

【0027】

判定装置２０は、過検知抑制のための時系列フィルタを含んでいてもよい。判定装置２０の時系列フィルタは、第１画像データについては、第１指標が第１閾値を超えた頻度又は時間が第３閾値を超えた場合に人検知が成立したと判定するように構成されてもよい。判定装置２０は、人検知結果に応じて警報を出力するように構成されてもよい。例えば、判定装置２０は、警報を出力するための信号を出力装置６０に送信することによって、警報を出力するように構成される。第３閾値は、第２画像データに基づいて人検知の成立を判定する場合に時系列フィルタに設定される第４閾値よりも低く設定される。

【0028】

判定装置２０は、第１画像データと第２画像データのそれぞれに対応する時系列フィルタを含み、どの画像データであっても解析可能に構成されてもよい。また、判定装置２０は、第１撮像装置４０用であって、第２撮像装置５０用の判定装置とは独立した装置であってもよい。

【0029】

ミラー２００撮像用の第１撮像装置４０が、ミラー２００以外の監視領域、例えば産業車両６００の近傍を撮像する周囲監視用の第２撮像装置５０の機能を兼ねる場合は、第１撮像装置４０は第１画像データを取得するための第１モードと、第２画像データを取得するための第２モードとを切替可能に構成されてもよい。すなわち、第１撮像装置４０は、第１画像データだけでなく、第２画像データも取得可能に構成されてもよい。この場合、判定装置２０は、第１撮像装置４０から取得した画像データが第１画像データである場合には、第１閾値を用いて人を検知するように構成される。また、判定装置２０は、第１撮像装置４０から取得した画像データが第２画像データである場合には、第２閾値を用いて人を検知するように構成される。

【0030】

判定装置２０は、ミラー２００に映るシート状の物体３００（後述）の校正用パターンに基づいて、第１画像データに含まれるミラー２００特有の歪みを補正するように構成されてもよい。校正用パターンは、シート状の物体３００の形状であってもよいし、シート状の物体３００の模様であってもよい。模様は、格子状の模様（例えば市松模様）であってもよい。シート状の物体３００は、作業者が地面や床面に配置するマットであってもよいし、壁面に貼り付けるポスターであってもよい。

【0031】

第１撮像装置４０は、撮像範囲内にマーカー２１０（後述）が含まれている場合に、マーカー２１０に基づいてミラー２００の位置を特定し、ミラー２００の領域を抽出して画像データを取得するように構成されてもよい。なお、第１撮像装置４０は、マーカー２１０の特定や領域の抽出を行わずに撮像のみを行い、判定装置２０が上記のような処理を行うように構成されてもよい。

【0032】

（人検知装置の利用環境の具体例）
人検知装置１００の利用環境の具体例を説明する。まず、上述したように、人検知装置１００は、ミラー２００を利用して、死角に位置する人を検知するように構成される。死角は、産業車両から見た場合に、船、建物（倉庫や工場）等の構造物の陰に隠れ、産業車両６００に搭載された撮像装置（車載カメラ）及び産業車両６００のオペレータからは直接観測ができない、あるいは直接観測が困難な領域である。

【0033】

図３は、一実施形態に係る人検知装置１００の利用環境の一例を概略的に示す斜視図である。この例では、死角は、産業車両６００が港５００に位置する場合において、港５００に停泊している船４００の出入口付近の内部である。この例では、産業車両６００はフォークリフトである。産業車両６００から見て、船４００の出入口の内部には、屋外よりも薄暗く、かつ船４００の構造物の陰に隠れた領域がある。なお、人検知装置１００は図示省略しているが、実際には産業車両６００に設けられている。

【0034】

図４は、一実施形態に係る人検知装置１００の利用環境の一例を模式的に示す平面図である。この図は、図３に示す例に対応している。図３及び図４に示すように、船４００の出入口の天井には、船４００内の死角が映り込むようにミラー２００が設けられている。また、船４００の出入口の床面には、シート状の物体３００として、市松模様のマットが配置されている。ミラー２００にシート状の物体３００が映り込むように、ミラー２００及びシート状の物体３００が配置されている。

【0035】

ミラー２００は、凸面形状の反射面を有することが好ましい。凸面形状の曲率は、一般に公道等に設置されるカーブミラー（道路反射鏡）の曲率よりも大きいことが好ましい。これにより、広範囲を映すことが可能となる。ただし、歪みが大きくなるため、人検知精度を向上させるためには画像データの歪みの補正が必要となる。

【0036】

図５は、一実施形態に係る人検知装置１００が利用するミラー２００の一例を示す図である。図５に示すように、ミラー２００は、ドーム型ミラーであってもよい。例えば、ミラー２００は、構造物の天井に設けるための取付部２００ｂと、天井に設けた場合に下方の全体を映すことができる半球面状の反射面２００ａとを有していてもよい。ミラー２００は、球面の一部を切り出した形状（例えば、半球面の４分割した形状）を有し、構造物の隅（角部）に設けられてもよい。取付部２００ｂはマグネットベースを含み、金属部材に容易に取り付け可能に構成されてもよい。

【0037】

このような環境において、図３及び図４に示すように、人検知装置１００は、第１撮像装置４０がミラー２００を含む領域を撮像した第１画像データを、受信装置１０を介して取得する。人検知装置１００の判定装置２０は、ミラー２００に映り込んだシート状の物体３００の模様を校正用パターンとして、取得した第１画像データの歪みを補正する。また、判定装置２０は、第１画像データを解析して第１指標を取得し、第１閾値との比較により、ミラー２００に映る領域内の人Ｈを検知する。このように、人検知装置１００は、ミラー２００を介して死角に位置する人Ｈを検知することができる。

【0038】

図３及び図４に示す例のように産業車両６００が船４００の出入口に移動する途中において、船４００の出入口の死角に存在する人をミラー２００を介して検知可能な時間は短く、データ点数が少ない場合がある。このような場合においても、判定装置２０の時系列フィルタは、第１画像データに基づき人検知を行う場合において、第４閾値よりも低い第３閾値が設定されているため、人がミラー２００に映り込む時間が極めて短い場合であっても、第１画像データから人Ｈを検知することができる。そのため、安全性を向上させることができる。

【0039】

産業車両６００が荷物の搬入出のために船４００の出入口に入っていく場合、産業車両外部のサーバ装置との無線通信が困難となる場合がある。その結果、自己位置が取得できないうえに、船４００の停泊位置が毎回同じ位置とは限らないため、自己位置を推定することも困難となり得る。このような場合においても、人検知装置１００は、近距離無線通信や有線通信により、第１撮像装置４０及び／又は第２撮像装置５０から画像データを容易に取得することができる。そのため、サーバ装置との通信による自己位置推定や情報取得をしなくても人検知が可能となる。

【0040】

図６Ａは、第１画像データの一例を示す図である。図６Ｂは、図６Ａに示す第１画像データからミラー２００の領域（鏡像領域）を抽出するための処理を説明するための図である。図７は、図６Ｂのミラー２００の領域を抽出した画像データを示す図である。図８は、図７に示す画像データの歪みを補正した後の画像データを示す図である。図９は、一実施形態に係る人検知装置１００による人検知結果の一例を概略的に示す図である。

【0041】

図６Ａに示すように、ミラー２００の周囲には、二次元コードを示すマーカー２１０が設けられてもよい。例えば、ミラー２００を取り囲むように４つのマーカー２１０が設けられてもよい。なお、マーカー２１０の数及び配置は、図示の例に限られない。第１撮像装置４０又は判定装置２０は、マーカー２１０に基づいて第１画像データ内のミラー２００の領域を抽出する。なお、第１撮像装置４０又は判定装置２０は、マーカー２１０ではなく、ミラー２００の形状パターンのマッチングによってミラー２００を認識するように構成されてもよい。

【0042】

これにより、例えば、図６Ｂに示すように、マーカー２１０に囲まれた矩形状の領域が抽出される。その結果、図７に示すようにミラー２００の鏡像を含む画像データが取得される。この画像データの歪みを補正することにより、図８に示す画像データが取得される。歪み補正後の画像データを解析することにより、図９に示すように、人Ｈを検知し、人の存在の可能性を示す少なくとも一つの指標として、検知した人Ｈが実際に人である可能性の高さを示す判定スコア（例えば８０％）が得られる。

【0043】

（人検知処理の流れ）
以下、一実施形態に係る人検知装置１００による人検知処理の流れについて説明する。図１０は、一実施形態に係る人検知装置１００が実行する人検知処理を説明するためのフローチャートである。本実施形態では、ミラー２００とシート状の物体３００が配置された後の人検知処理の例を説明する。

【0044】

この例では、（１）第１撮像装置４０は第１画像データのみを取得可能な構成であり、第２撮像装置５０は第２画像データのみを取得可能な構成であってもよいし、（２）第１撮像装置４０がモード切替等により第２撮像装置５０の機能を兼ねる場合は、第２撮像装置５０は省略され、第１撮像装置４０のみで人検知処理を行い、第１撮像装置４０が、第１画像データ及び第２画像データの両方を取得する構成であってもよい。すなわち、撮像装置は、各種の画像データの取得において兼用で使用されてもよいし、専用で使用されてもよい。このように、人検知装置１００の構成と人検知処理の内容は例示した内容に限られず、適宜変形可能である。

【0045】

まず、人検知装置１００は、画像データを取得する（ステップＳ１）。具体的には、人検知装置１００は、受信装置１０を介して第１撮像装置４０又は第２撮像装置５０から画像データを取得する。

【0046】

ここで、人検知装置１００は、取得した画像データが第１画像データであるか否かを判別する（ステップＳ２）。例えば、画像データの送信元が第１撮像装置４０であるか否か、第１モードで撮像した画像データであるか、画像データにミラー２００又はマーカー２１０が含まれているか否か等によってこの判別処理が実行される。

【0047】

第１画像データではないと判別した場合（ステップＳ２；Ｎｏ）、判定装置２０は、ステップＳ８の人検知処理に使用する閾値として第２閾値を設定し（ステップＳ３）、人検知処理を行う（ステップＳ８）。

【0048】

第１画像データであると判別した場合（ステップＳ２；Ｙｅｓ）、人検知装置１００は、画像データからミラー２００の領域を抽出する（ステップＳ４）。なお、ステップＳ４とステップＳ２の処理では、マーカー２１０や形状パターンマッチングが利用されてもよい。

【0049】

人検知装置１００は、抽出した画像データにシート状の物体３００が含まれているか否かを判別する（ステップＳ５）。シート状の物体３００が含まれていると判別した場合（ステップＳ５；Ｙｅｓ）、判定装置２０は、その校正パターンを利用して歪み補正を行う（ステップＳ６）。シート状の物体３００が含まれていないと判別した場合（ステップＳ５；Ｎｏ）、ステップＳ６がスキップされる。また、判定装置２０は、ステップＳ７の人検知処理に使用する閾値として第１閾値を設定し（ステップＳ７）、人検知処理を行う（ステップＳ８）。

【0050】

人検知処理では、判定装置２０は、歪み補正後の第１画像データと、第２画像データとの何れか一つに対する解析を行う。判定装置２０は、第１画像データでは第１閾値を用いて、第２画像データでは第２閾値を用いて人の有無を判定する。また、判定装置２０は、第３閾値、第４閾値との対比により、人検知が成立したと判断するか否かの判定を行い、その判定結果に応じて出力装置６０に信号を送信する。

【0051】

例えば、画像データに対応する領域における人の存在の可能性を示す少なくとも一つの指標として、任意の物体検出（人検知）アルゴリズムが出力する対象矩形領域中の物体の人らしさを示す判定スコアを用いる場合に、第１閾値として６０％、第２閾値として９０％が設定されている場合を考える。この場合、第２撮像装置５０が産業車両６００の近傍（周囲）領域等のミラー２００を含まない領域を撮像した第２画像データ中の物体を解析した結果として得られる判定スコアについては、第２閾値である９０％を超える高い信頼度で人と認識されなければ人が存在するとの判定を行わない。一方で、第１撮像装置４０が産業車両６００の外部に設置されたミラー２００を含む領域を撮像した第１画像データ中の物体を解析した結果として得られる判定スコアについては、第１閾値である６０％以上の信頼度で人と認識されれば、人が存在すると判定する。なお、第１閾値、第２閾値の値はあくまで例示であり、これに限定されるものではない。

【0052】

また例えば、時系列フィルタとして、第１画像データについては、第１指標（判定スコア）が第１閾値（例えば上記と同様６０％）を超えた時間と比較するための第３閾値として０．５秒が、第２画像データについては、第２指標（判定スコア）が第２閾値（例えば上記と同様９０％）を超えた時間と比較するための第４閾値として２秒が設定されている場合を考える。この場合、第２撮像装置５０が産業車両６００の近傍（周囲）領域等のミラー２００を含まない領域を撮像した第２画像データ中の物体を解析した結果として得られる判定スコアについては、第２閾値である９０％を超えている時間が２秒以上継続したときに人検知が成立したと判断する。一方で、第１撮像装置４０が産業車両６００の外部に設置されたミラー２００を含む領域を撮像した第１画像データ中の物体を解析した結果として得られる判定スコアについては、第１閾値である６０％以上を超えている時間が０．５秒以上継続したときに人検知が成立したと判断する。なお、第３閾値、第４閾値の値はあくまで例示であり、これに限定されるものではない。

【0053】

以上、人検知処理の流れについて説明した。上記の一連のステップは、産業車両６００を運転している間において繰り返し実行されてもよい。各ステップの順序は、適宜変更可能である。例えば、各種の閾値設定は、図示の例よりも早いタイミングに実行されてもよい。また、予め何れかの閾値を設定しておき、画像データの種別に応じて閾値が適宜変更されてもよい。

【0054】

本開示は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、複数の実施形態を適宜組み合わせた形態も含む。

【0055】

（まとめ）
上記各実施形態に記載の内容は、例えば以下のように把握される。

【0056】

（１）本開示に係る産業車両の人検知装置（１００）は、
産業車両（６００）の外部を前記産業車両（６００）から撮像した画像データを受信するように構成された受信装置（１０）と、
前記画像データを解析して前記画像データに対応する領域における人の存在の可能性を示す少なくとも一つの指標を生成し、前記指標が閾値を超えた場合に当該領域に人が存在すると判定するように構成された判定装置（２０）と、
を備え、
前記判定装置（２０）は、前記産業車両（６００）の外部に設置されたミラー（２００）を含む領域を撮像した第１画像データを解析して得られる第１指標が第１閾値を超えた場合に、前記ミラー（２００）に映る領域内に人が存在すると判定するように構成され、
前記第１閾値は、前記ミラー（２００）を含まない領域を撮像した第２画像データを解析して得られる第２指標との比較に用いられる第２閾値よりも低く設定される。

【0057】

上記構成によれば、死角に存在する人をもミラー（２００）を介して検知可能となる。ミラー（２００）を介した人検知技術では、高精度な検知が困難である。しかし、安全を確保するためには、検知漏れを抑えることが必要である。この点、上記構成では、ミラー（２００）を含む領域を撮像した第１画像データについて、第２閾値よりも低い第１閾値を用いて人の検知を行うため、検知漏れを抑えて安全性を向上させることが可能となる。

【0058】

（２）幾つかの実施形態では、上記（１）に記載の構成において、
前記判定装置（２０）は、過検知抑制のための時系列フィルタを含み、
前記判定装置（２０）の前記時系列フィルタは、前記第１画像データについては、前記第１指標が前記第１閾値を超えた頻度又は時間が第３閾値を超えた場合に人検知が成立したと判定するように構成され、
前記第３閾値は、前記第２画像データに基づいて前記人検知が成立したと判定する場合に前記時系列フィルタに設定される第４閾値よりも低く設定される。

【0059】

第１画像データについては、第４閾値よりも低い第３閾値を用いて人検知が成立したと判定するため、第２画像データよりも人検知が成立したと判定されやすい。そのため、検知漏れを抑えて安全性を向上させることができる。

【0060】

（３）本開示に係る産業車両（６００）は、
上記（１）又は（２）に記載の人検知装置（１００）を備える産業車両（６００）であって、
前記ミラー（２００）を撮像して前記第１画像データを取得するための第１撮像装置（４０）と、
前記産業車両（６００）の近傍を撮像して周囲監視用に前記第２画像データを取得するための第２撮像装置（５０）と、
を備える。

【0061】

上記構成によれば、産業車両（６００）が人検知装置（１００）を備えることにより、検知漏れを抑えて安全性を向上させることが可能となる。また、ミラー（２００）の撮像用と周囲監視用との用途ごとに撮像装置を備えているため、各用途に適した撮像条件で撮像を行うように構成することができる。

【0062】

（４）本開示に係る産業車両（６００）は、
上記（１）又は（２）に記載の人検知装置（１００）を備える産業車両（６００）であって、
前記第１画像データを取得するための第１モードと、前記第２画像データを取得するための第２モードとを切替可能に構成される第１撮像装置（４０）を備える。

【0063】

上記構成によれば、第１撮像装置（４０）が第１画像データと第２画像データを取得可能となるため、全体の構成を簡素化することができる。

【0064】

（５）幾つかの実施形態では、上記（３）又は（４）に記載の構成において、
前記第１画像データを取得する場合の第１撮像パラメータは、前記第２画像データを取得する場合の第２撮像パラメータに比べて、照度が低い環境に適した撮像パラメータに設定される。

【0065】

ミラー（２００）に映る死角は暗い場所であることが多い。この点、上記構成によれば、第１画像データを取得する場合の第１撮像パラメータは、第２撮像パラメータに比べて照度が低い環境に適した撮像パラメータに設定される。そのため、画像解析に適した第１画像データを取得することができる。

【0066】

（６）幾つかの実施形態では、上記（３）に記載の構成において、
前記第１撮像装置（４０）の画角は、前記第２撮像装置の画角よりも狭い。

【0067】

上記構成によれば、ミラー（２００）が小さい場合であっても検知精度を確保することが可能となる。

【0068】

（７）幾つかの実施形態では、上記（３）乃至（６）の何れか一つに記載の構成において、
前記判定装置（２０）は、前記ミラー（２００）に映るシート状の物体（３００）の校正用パターンに基づいて、前記第１画像データに含まれる前記ミラー（２００）特有の歪みを補正するように構成される。

【0069】

上記構成によれば、ミラー（２００）特有の歪み（ミラー（２００）の形状や曲率による歪み）を補正するため、人の検知精度が向上する。また、構造物が顧客の所有物である場合、人検知のための物体を設置することが困難である。このような場合においても、シート状の物体（３００）（例えば、マットやポスター）であれば、作業者が容易に仮設できる点で有利である。シート状の物体（３００）は、産業車両（６００）や人の往来を妨げにくいため、作業性の観点においても有利である。

【0070】

（８）幾つかの実施形態では、上記（３）乃至（７）の何れか一つに記載の構成において、
前記ミラー（２００）は、凸面形状の反射面（２００ｂ）を有する。

【0071】

上記構成によれば、広範囲の領域がミラー（２００）に映るため、死角に位置する人をミラー（２００）を介して検知しやすくなる。

【0072】

（９）幾つかの実施形態では、上記（３）乃至（８）の何れか一つに記載の構成において、
前記第１撮像装置（４０）は、撮像範囲内にマーカー（２１０）が含まれている場合に、前記マーカー（２１０）に基づいて前記ミラー（２００）の位置を特定し、前記ミラー（２００）の領域を抽出して前記画像データを取得する。

【0073】

上記構成によれば、マーカー（２１０）を利用するため、ミラー（２００）の有無を検知可能であると共に、撮像範囲内に含まれるミラー（２００）の領域を抽出しやすくなる。

【0074】

（１０）幾つかの実施形態では、上記（３）乃至（９）の何れか一つに記載の構成において、
前記人検知装置（１００）の検知結果又は前記検知結果に基づく警報を出力するための出力装置（６０）を更に備える。

【0075】

上記構成によれば、産業車両（６００）のオペレータに、人の検知結果を通知することができるため、安全性を向上させることができる。

【0076】

（１１）本開示に係る人検知方法は、
産業車両（６００）の外部を前記産業車両（６００）から撮像した画像データを取得するステップと、
前記画像データを解析して前記画像データに対応する領域における人の存在の可能性を示す少なくとも一つの指標を生成し、前記指標が閾値を超えた場合に当該領域に人が存在すると判定するステップと、
を含み、
前記判定するステップでは、前記産業車両（６００）の外部に設置されたミラー（２００）を含む領域を撮像した第１画像データを解析して得られる第１指標が第１閾値を超えた場合に、前記ミラー（２００）に映る領域内に人が存在すると判定し、
前記第１閾値は、前記ミラー（２００）を含まない領域を撮像した第２画像データを解析して得られる第２指標との比較に用いられる第２閾値よりも低く設定される。

【0077】

上記方法によれば、死角に存在する人をもミラー（２００）を介して検知可能となる。また、ミラー（２００）を含む領域を撮像した第１画像データについて、第２閾値よりも低い第１閾値を用いて人の検知を行うため、検知漏れを抑えて安全性を向上させることが可能となる。

【符号の説明】

【0078】

１０ 受信装置
２０ 判定装置
３０ 送信装置
４０ 第１撮像装置
５０ 第２撮像装置
６０ 出力装置
７２ プロセッサ
７４ ＲＡＭ
７６ ＲＯＭ
７８ ＨＤＤ
８０ 入力Ｉ／Ｆ
８２ 出力Ｉ／Ｆ
８４ バス
１００ 人検知装置
２００ ミラー
２００ａ 反射面
２００ｂ 取付部
２１０ マーカー
３００ 物体
４００ 船
５００ 港
６００ 産業車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】