特開 2024-36889 車外飛び出し判定装置及び産業車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024036889

(43)【公開日】2024-03-18

(54)【発明の名称】車外飛び出し判定装置及び産業車両

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240311BHJP

   G06V 20/59 20220101ALI20240311BHJP

   G06V 10/70 20220101ALI20240311BHJP

   B66F 9/24 20060101ALI20240311BHJP

【ＦＩ】

G06T7/00 660B

G06T7/00 350B

G06T7/00 650Z

G06V20/59

G06V10/70

B66F9/24 Z

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022141429

(22)【出願日】2022-09-06

(71)【出願人】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】岡山 健

【テーマコード（参考）】

3F333

5L096

【Ｆターム（参考）】

3F333AA02

3F333AB13

3F333AE02

3F333CA19

3F333CA25

3F333CA30

3F333FA08

3F333FA17

3F333FA36

3F333FE05

3F333FE09

5L096BA04

5L096CA02

5L096CA24

5L096DA03

5L096EA02

5L096FA02

5L096FA69

5L096GA34

5L096KA04

(57)【要約】

【課題】車両の搭乗者が車外に飛び出しているか否かを判定できる車外飛び出し判定装置及び産業車両を提供する。
【解決手段】車外飛び出し判定装置は、フォークリフトに取り付けられたカメラと、カメラによる撮像画像Ｉに基づいてフォークリフトの搭乗者である運転者Ｄが車外に飛び出しているか否かを判定する判定装置とを備えている。判定装置は、設定部と、検出部と、判定部とを有している。設定部は、撮像画像Ｉに対して運転者Ｄが車外に飛び出しているか否かを判定するための車外判定領域Ａｊを設定する。検出部は、撮像画像Ｉにおける運転者Ｄの位置を検出する。判定部は、検出部によって検出された運転者Ｄの位置が車外判定領域Ａｊに含まれている場合、運転者Ｄが車外に飛び出していると判定する。
【選択図】図７

【特許請求の範囲】

【請求項1】

車両に取り付けられた撮像装置と、
前記撮像装置による撮像画像に基づいて前記車両の搭乗者が車外に飛び出しているか否かを判定する判定装置と、
を備え、
前記判定装置は、
前記撮像画像に対して前記搭乗者が車外に飛び出しているか否かを判定するための車外判定領域を設定する設定部と、
前記撮像画像における前記搭乗者の位置を検出する検出部と、
前記検出部によって検出された前記搭乗者の位置が前記車外判定領域に含まれている場合、前記搭乗者が車外に飛び出していると判定する判定部と、
を有することを特徴とする車外飛び出し判定装置。

【請求項2】

前記設定部は、前記判定装置に対して入力された前記撮像画像における指定領域を前記撮像画像における前記車外判定領域として設定する請求項１に記載の車外飛び出し判定装置。

【請求項3】

前記判定装置は、画像が入力されると、当該画像における人体を構成する部位の位置を出力するように機械学習された第１学習済みモデルを記憶しており、
前記検出部は、前記第１学習済みモデルを用いて前記撮像画像における前記搭乗者の位置を検出する請求項１に記載の車外飛び出し判定装置。

【請求項4】

前記検出部は、前記第１学習済みモデルを用いて前記撮像画像における前記搭乗者の体の部位の位置を検出し、
前記判定部は、前記撮像画像において、前記検出部によって検出された前記搭乗者の体の部位のうち、予め選択された特定の部位が前記車外判定領域に含まれている場合、前記搭乗者が車外に飛び出していると判定する請求項３に記載の車外飛び出し判定装置。

【請求項5】

前記第１学習済みモデルは、前記撮像装置による前記撮像画像を用いて機械学習されたモデルである請求項３又は請求項４に記載の車外飛び出し判定装置。

【請求項6】

前記判定装置は、画像が入力されると、当該画像を構成するピクセルのラベルを出力するように機械学習された第２学習済みモデルを記憶しており、
前記設定部は、
前記第２学習済みモデルを用いて前記撮像画像における前記搭乗者が搭乗する前記車両を示す領域である自車両領域を検出し、
前記撮像画像における前記自車両領域外の領域を前記車外判定領域として設定する請求項１に記載の車外飛び出し判定装置。

【請求項7】

前記判定装置は、前記撮像画像における前記自車両領域を膨張させる画像処理部を有し、
前記設定部は、前記撮像画像における前記画像処理部によって膨張された前記自車両領域外の領域を前記車外判定領域として設定する請求項６に記載の車外飛び出し判定装置。

【請求項8】

前記判定装置は、画像が入力されると、当該画像を構成するピクセルのラベルを出力するように機械学習された第２学習済みモデルを記憶しており、
前記検出部は、前記第２学習済みモデルを用いて前記撮像画像における前記搭乗者を示す領域である搭乗者領域を検出することによって、前記撮像画像における前記搭乗者の位置を検出する請求項１に記載の車外飛び出し判定装置。

【請求項9】

前記第２学習済みモデルは、前記撮像装置による前記撮像画像を用いて機械学習されたモデルである請求項６～８の何れか一項に記載の車外飛び出し判定装置。

【請求項10】

請求項１に記載の車外飛び出し判定装置が搭載された産業車両。

【請求項11】

報知部と、
前記報知部を制御する制御部と、
を備え、
前記制御部は、前記車外飛び出し判定装置による判定結果に基づいて、前記報知部を制御する請求項１０に記載の産業車両。

【請求項12】

前記産業車両の操作を行うための操作部を備え、
前記制御部は、前記車外飛び出し判定装置による判定結果に加えて、前記操作部に対する操作又は前記産業車両の動作に基づいて、前記報知部を制御する請求項１１に記載の産業車両。

【請求項13】

前記産業車両を駆動する駆動部と、
前記駆動部を制御する制御部と、
を備え、
前記制御部は、前記車外飛び出し判定装置による判定結果に基づいて、前記駆動部を制御する請求項１０に記載の産業車両。

【請求項14】

前記産業車両の操作を行うための操作部を備え、
前記制御部は、前記車外飛び出し判定装置による判定結果に加えて、前記操作部に対する操作又は前記産業車両の動作に基づいて、前記駆動部を制御する請求項１３に記載の産業車両。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車外飛び出し判定装置及び産業車両に関する。

【背景技術】

【0002】

特許文献１には、車両を運転する運転者が安全運転を行える状態にあるか、及び運転者が指差呼称等の動作を行っているかを判定する安全運転判定装置が開示されている。安全運転判定装置は、撮像部と判定部とを有している。撮像部は、車両に搭載されている。撮像部は、運転者の画像データを取得する。判定部は、画像データに基づいて、運転者が安全運転を行える状態にあるか、及び運転者が指差呼称等の動作を行っているかを判定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－８５１４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、運転者が安全運転を行える状態にあるか、及び運転者が指差呼称等の動作を行っているかだけでなく、車両の搭乗者が不安全な行動をしていないかを判定することも望まれている。車両の搭乗者の不安全な行動としては、例えば、車両の搭乗者の体の一部が車外に飛び出していることが考えられる。車両の搭乗者の体の一部が車外に飛び出していると、例えば、車両が横転した際に搭乗者の体の一部が車体と床面や地面との間に挟まれたり、車両の走行中に搭乗者の体の一部が車体と車両の周囲に存在する障害物との間に挟まれたりするおそれがある。また、車両がフォークリフトである場合には、車両の搭乗者の体の一部がマストのような可動部に挟まれるおそれもある。したがって、車両の搭乗者が車外に飛び出しているか否かを判定することが望まれている。しかしながら、特許文献１には、車両の搭乗者が車外に飛び出しているか否かを判定する方法については開示されていない。

【課題を解決するための手段】

【0005】

上記問題点を解決するための車外飛び出し判定装置は、車両に取り付けられた撮像装置と、前記撮像装置による撮像画像に基づいて前記車両の搭乗者が車外に飛び出しているか否かを判定する判定装置と、を備え、前記判定装置は、前記撮像画像に対して前記搭乗者が車外に飛び出しているか否かを判定するための車外判定領域を設定する設定部と、前記撮像画像における前記搭乗者の位置を検出する検出部と、前記検出部によって検出された前記搭乗者の位置が前記車外判定領域に含まれている場合、前記搭乗者が車外に飛び出していると判定する判定部と、を有することを要旨とする。

【0006】

上記構成によれば、撮像装置による撮像画像を用いて、車両の搭乗者が車外に飛び出しているか否かを判定できる。
上記車外飛び出し判定装置において、前記設定部は、前記判定装置に対して入力された前記撮像画像における指定領域を前記撮像画像における前記車外判定領域として設定してもよい。

【0007】

上記構成によれば、設定部は、撮像画像において車外を示す領域である車外領域を把握しなくても、撮像画像に対して車外判定領域を設定することができる。したがって、設定部が行う処理を簡素化できる。

【0008】

上記車外飛び出し判定装置において、前記判定装置は、画像が入力されると、当該画像における人体を構成する部位の位置を出力するように機械学習された第１学習済みモデルを記憶しており、前記検出部は、前記第１学習済みモデルを用いて前記撮像画像における前記搭乗者の位置を検出してもよい。

【0009】

上記車外飛び出し判定装置において、前記検出部は、前記第１学習済みモデルを用いて前記撮像画像における前記搭乗者の体の部位の位置を検出し、前記判定部は、前記撮像画像において、前記検出部によって検出された前記搭乗者の体の部位のうち、予め選択された特定の部位が前記車外判定領域に含まれている場合、前記搭乗者が車外に飛び出していると判定してもよい。

【0010】

上記構成によれば、車両の搭乗者の体の特定の部位が車外に飛び出しているか否かを判定できる。
上記車外飛び出し判定装置において、前記第１学習済みモデルは、前記撮像装置による前記撮像画像を用いて機械学習されたモデルであってもよい。

【0011】

上記構成によれば、第１学習済みモデルは、撮像装置による撮像画像以外の画像を用いて機械学習されている場合よりも、画像における人体を構成する部位の位置を精度良く検出することができる。

【0012】

上記車外飛び出し判定装置において、前記判定装置は、画像が入力されると、当該画像を構成するピクセルのラベルを出力するように機械学習された第２学習済みモデルを記憶しており、前記設定部は、前記第２学習済みモデルを用いて前記撮像画像における前記搭乗者が搭乗する前記車両を示す領域である自車両領域を検出し、前記撮像画像における前記自車両領域外の領域を前記車外判定領域として設定してもよい。

【0013】

上記構成では、設定部によって、撮像画像に対して車外判定領域を自動的に設定できる。したがって、車外飛び出し判定装置が搭載される車両の変更や、車両に対する撮像装置の取り付け位置の変更などに対して対応しやすい。

【0014】

上記車外飛び出し判定装置において、前記判定装置は、前記撮像画像における前記自車両領域を膨張させる画像処理部を有し、前記設定部は、前記撮像画像における前記画像処理部によって膨張された前記自車両領域外の領域を前記車外判定領域として設定してもよい。

【0015】

上記構成によれば、例えば、車両の搭乗者である運転者が後方確認のために車体の一部を掴むといった状況において、運転者が車外に飛び出していると判定されることを回避することができる。つまり、車両の搭乗者が車外に飛び出しているか否かの判定においてマージンを持たせることができる。

【0016】

上記車外飛び出し判定装置において、前記判定装置は、画像が入力されると、当該画像を構成するピクセルのラベルを出力するように機械学習された第２学習済みモデルを記憶しており、前記検出部は、前記第２学習済みモデルを用いて前記撮像画像における前記搭乗者を示す領域である搭乗者領域を検出することによって、前記撮像画像における前記搭乗者の位置を検出してもよい。

【0017】

上記構成によれば、検出部は、撮像画像における搭乗者のエッジを検出することができる。よって、車外飛び出し判定装置は、車両の搭乗者が車外に飛び出しているか否かをより精度良く判定できる。

【0018】

上記車外飛び出し判定装置において、前記第２学習済みモデルは、前記撮像装置による前記撮像画像を用いて機械学習されたモデルであってもよい。
上記構成によれば、第２学習済みモデルは、撮像装置による撮像画像以外の画像を用いて機械学習されている場合よりも、画像を構成するピクセルのラベル付けを精度良く行うことができる。

【0019】

上記問題点を解決するための産業車両は、上記車外飛び出し判定装置が搭載されていることを要旨とする。
上記構成によれば、撮像装置による撮像画像を用いて、産業車両の搭乗者が車外に飛び出しているか否かを判定できる。

【0020】

上記産業車両において、報知部と、前記報知部を制御する制御部と、を備え、前記制御部は、前記車外飛び出し判定装置による判定結果に基づいて、前記報知部を制御してもよい。

【0021】

例えば、産業車両の搭乗者が車外に飛び出していると車外飛び出し判定装置が判定した場合、制御部は、報知部を作動させることによって、搭乗者が車外に飛び出していることを搭乗者に知らせることができる。

【0022】

上記産業車両において、前記産業車両の操作を行うための操作部を備え、前記制御部は、前記車外飛び出し判定装置による判定結果に加えて、前記操作部に対する操作又は前記産業車両の動作に基づいて、前記報知部を制御してもよい。

【0023】

例えば、制御部は、操作部に対して後進操作が行われたときや産業車両の後進中に、搭乗者が車外後方に飛び出していると車外飛び出し判定装置が判定した場合、報知部を作動させる。これにより、産業車両の運転者は産業車両の後進を停止させたり、体が車外に飛び出していた搭乗者は体を車内に戻したりする。したがって、車両の搭乗者が車体と産業車両の後方にある障害物との間に挟まれるといった状況を回避できる。

【0024】

上記産業車両において、前記産業車両を駆動する駆動部と、前記駆動部を制御する制御部と、を備え、前記制御部は、前記車外飛び出し判定装置による判定結果に基づいて、前記駆動部を制御してもよい。

【0025】

例えば、産業車両の搭乗者が車外に飛び出していると車外飛び出し判定装置が判定した場合、制御部は、駆動部を制御することによって、産業車両の動作を制限することができる。

【0026】

上記産業車両において、前記産業車両の操作を行うための操作部を備え、前記制御部は、前記車外飛び出し判定装置による判定結果に加えて、前記操作部に対する操作又は前記産業車両の動作に基づいて、前記駆動部を制御してもよい。

【0027】

例えば、制御部は、操作部に対して後進操作が行われたときや産業車両の後進中に、搭乗者が車外後方に飛び出していると車外飛び出し判定装置が判定した場合、産業車両の後進が制限されるように駆動部を制御する。これにより、車両の搭乗者が車体と産業車両の後方にある障害物との間に挟まれるといった状況を回避できる。

【発明の効果】

【0028】

本発明によれば、車両の搭乗者が車外に飛び出しているか否かを判定できる。

【図面の簡単な説明】

【0029】

【図1】フォークリフトの側面図である。

【図2】第１実施形態における車外飛び出し判定装置の構成を示すブロック図である。

【図3】第１カメラによる前方撮像画像の一例を示す図である。

【図4】第２カメラによる後方撮像画像の一例を示す図である。

【図5】車外飛び出し判定処理を示すフローチャートである。

【図6】車外前方判定領域及び人体キーポイント検出結果を示す図である。

【図7】車外後方判定領域及び人体キーポイント検出結果を示す図である。

【図8】第２実施形態における車外飛び出し判定装置の構成を示すブロック図である。

【図9】設定用画像の一例を示す図である。

【図10】設定用画像に対するセマンティックセグメンテーションの結果を示す図である。

【図11】設定用画像における自車両領域を示す図である。

【図12】設定用画像における膨張処理後の自車両領域を示す図である。

【図13】車外後方判定領域を示す図である。

【図14】後方撮像画像の一例を示す図である。

【図15】後方撮像画像に対するセマンティックセグメンテーションの結果を示す図である。

【図16】車外後方判定領域及び運転者領域を示す図である。

【発明を実施するための形態】

【0030】

［第１実施形態］
以下、車外飛び出し判定装置及び産業車両を具体化した第１実施形態を図１～図７にしたがって説明する。本実施形態の車外飛び出し判定装置は、産業車両としてのフォークリフトに搭載されている。なお、以下の説明において、「前」、「後」、「左」、「右」、「上」、「下」とは、フォークリフトの運転者が車両前方（前進方向）を向いた状態を基準とした場合の「前」、「後」、「左」、「右」、「上」、「下」のことをいう。

【0031】

＜フォークリフト＞
図１に示すように、フォークリフト１０は、車体１１と、２つの駆動輪１２ａと、２つの操舵輪１２ｂと、運転室１３と、荷役装置１４と、操作部１５とを備えている。

【0032】

２つの駆動輪１２ａは、車体１１の前下部に設けられている。２つの操舵輪１２ｂは、車体１１の後下部に設けられている。
車体１１は、ヘッドガード１１ａと、２つのフロントピラー１１ｂと、２つのリアピラー１１ｃとを有している。リアピラー１１ｃは、フロントピラー１１ｂよりも後方に設けられている。ヘッドガード１１ａは、２つのフロントピラー１１ｂ及び２つのリアピラー１１ｃに支持されている。

【0033】

運転室１３は、ヘッドガード１１ａ、２つのフロントピラー１１ｂ、及び２つのリアピラー１１ｃによって囲まれた空間である。運転室１３には、運転席１３ａが設けられている。フォークリフト１０の運転者は、運転席１３ａに搭乗する。

【0034】

荷役装置１４は、車体１１の前方に設けられている。荷役装置１４は、マスト１４ａとフォーク１４ｂとを有している。マスト１４ａは、アウタマストとインナマストとを有している。インナマストは、アウタマストに対して昇降可能に設けられている。フォーク１４ｂは、図示しないリフトブラケットを介してインナマストに取り付けられている。フォーク１４ｂは、インナマストとともに昇降可能である。

【0035】

操作部１５は、フォークリフト１０の操作を行うための部分である。操作部１５は、フォークリフト１０の運転者によって操作される。操作部１５は、フォークリフト１０の走行動作に関する操作を行うための走行動作用操作部と、荷役装置１４による荷役動作に関する操作を行うための荷役動作用操作部とを有している。走行動作用操作部は、例えば、アクセルペダルやハンドルである。荷役動作用操作部は、例えば、リフトレバーやティルトレバー、リーチレバーである。

【0036】

図２に示すように、フォークリフト１０は、駆動部１６と、報知部１７と、制御部１８とを備えている。駆動部１６は、フォークリフト１０を走行動作させたり、荷役装置１４に荷役動作をさせたりする。報知部１７は、例えば、ブザーや警報ランプである。制御部１８は、駆動部１６及び報知部１７を制御する。制御部１８は、操作部１５と接続されている。制御部１８は、運転者による操作部１５に対する操作に基づいて、駆動部１６を制御する。

【0037】

本実施形態のフォークリフト１０は、工場や倉庫などの屋内において用いられる。フォークリフト１０の周囲には、パレットや三角コーンなどの障害物が存在する場合がある。なお、フォークリフト１０は、屋外で用いられてもよい。

【0038】

＜車外飛び出し判定装置＞
車外飛び出し判定装置２０は、フォークリフト１０に搭載されている。車外飛び出し判定装置２０は、フォークリフト１０の搭乗者が運転室１３の外部、すなわち車外に飛び出しているか否かを判定する。本実施形態では、フォークリフト１０の搭乗者として、フォークリフト１０の運転者を想定している。車外飛び出し判定装置２０は、制御部１８と接続されている。詳細については後述するが、本実施形態の制御部１８は、車外飛び出し判定装置２０の判定結果に基づいて、報知部１７を制御する。

【0039】

車外飛び出し判定装置２０は、撮像装置としてのカメラ２１と、判定装置２２とを有している。本実施形態では、車外飛び出し判定装置２０は、２つのカメラ２１を有している。２つのカメラ２１のうち、一方のカメラ２１を第１カメラ２１ａとし、他方のカメラ２１を第２カメラ２１ｂとする。第１カメラ２１ａ及び第２カメラ２１ｂはそれぞれ、判定装置２２と接続されている。判定装置２２は、カメラ２１による撮像画像に基づいて、フォークリフト１０の運転者が車外に飛び出しているか否かを判定する。本実施形態では、判定装置２２は、運転者が車外前方に飛び出しているか否かを判定するとともに、運転者が車外後方に飛び出しているか否かを判定する。

【0040】

カメラ２１は、デジタルカメラである。カメラ２１は、レンズと撮像素子とを有している。本実施形態のレンズは魚眼レンズである。したがって、本実施形態のカメラ２１は、魚眼カメラである。撮像素子は、例えば、ＣＣＤイメージセンサ(Charge Coupled Device image sensor)やＣＭＯＳイメージセンサ(Complementary Metal Oxide Semiconductor image sensor)である。撮像素子は、複数のピクセル（画素）によって構成されている。

【0041】

図１に示すように、第１カメラ２１ａは、ヘッドガード１１ａの前部に取り付けられている。第１カメラ２１ａは、下方を撮像するように取り付けられている。第１カメラ２１ａは、フォークリフト１０の左右方向の中央に位置している。

【0042】

図３は、第１カメラ２１ａによる撮像画像Ｉを示す。第１カメラ２１ａは、フォークリフト１０の前部を撮像する。第１カメラ２１ａは、運転室１３と荷役装置１４とを撮像する。運転者Ｄがフォークリフト１０に搭乗しているときには、第１カメラ２１ａは、運転者Ｄを上方かつ前方から撮像する。第１カメラ２１ａは、床面や障害物も撮像する。以下では、第１カメラ２１ａによる撮像画像Ｉを前方撮像画像Ｉｆともいう。

【0043】

図１に示すように、第２カメラ２１ｂは、ヘッドガード１１ａの後部に取り付けられている。第２カメラ２１ｂは、下方を撮像するように取り付けられている。第２カメラ２１ｂは、フォークリフト１０の左右方向の中央に位置している。

【0044】

図４は、第２カメラ２１ｂによる撮像画像Ｉを示す。第２カメラ２１ｂは、フォークリフト１０の後部を撮像する。第２カメラ２１ｂは、運転室１３とフォークリフト１０の後方とを撮像する。運転者Ｄがフォークリフト１０に搭乗しているときには、第２カメラ２１ｂは、運転者Ｄを上方かつ後方から撮像する。第２カメラ２１ｂは、床面や障害物も撮像する。以下では、第２カメラ２１ｂによる撮像画像Ｉを後方撮像画像Ｉｒともいう。

【0045】

第１カメラ２１ａは、第１撮像周期で撮像を行う。第２カメラ２１ｂは、第２撮像周期で撮像を行う。本実施形態では、第１撮像周期と第２撮像周期は同じ周期である。また、第１カメラ２１ａが撮像を行うタイミングと、第２カメラ２１ｂが撮像を行うタイミングは、一致している。撮像画像Ｉには、タイムスタンプ機能によって撮像時刻の情報が付与されている。

【0046】

図２に示すように、判定装置２２は、処理部２３と、記憶部２４とを有している。処理部２３としては、例えば、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又はDSP（Digital Signal Processor）が用いられる。記憶部２４は、RAM（Random Access Memory）及びROM（Read Only Memory）を含む。記憶部２４には、車外飛び出し判定装置２０を動作させるためのプログラムが記憶されている。記憶部２４は、処理を処理部２３に実行させるように構成されたプログラムコードまたは指令を格納しているといえる。記憶部２４、すなわちコンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。判定装置２２は、ASIC（Application Specific Integrated Circuit）やFPGA（Field Programmable Gate Array）等のハードウェア回路によって構成されていてもよい。処理回路である判定装置２２は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。

【0047】

本実施形態の処理部２３は、設定部２３ａと、検出部２３ｂと、判定部２３ｃとを有している。設定部２３ａは、撮像画像Ｉに対して、運転者Ｄが車外に飛び出しているか否かを判定するための車外判定領域を設定する。検出部２３ｂは、撮像画像Ｉにおける運転者Ｄの位置を検出する。判定部２３ｃは、設定部２３ａが撮像画像Ｉに対して設定した車外判定領域と、検出部２３ｂが検出した撮像画像Ｉにおける運転者Ｄの位置とに基づいて、運転者Ｄが車外に飛び出しているか否かを判定する。

【0048】

第１実施形態の記憶部２４は、第１学習済みモデルＭ１を記憶している。第１学習済みモデルＭ１は、人体キーポイント検出を行うように生成されたモデルである。すなわち、第１学習済みモデルＭ１は、画像が入力されると、入力された画像における人体を構成する部位の位置を出力する。本実施形態の第１学習済みモデルＭ１は、人体を構成する部位として、頭部、首、右肩、右肘、右手、左肩、左肘、左手、及び腰部を検出可能である。

【0049】

第１学習済みモデルＭ１は、教師有り学習によって機械学習されている。教師データは、複数のデータセットを有している。各データセットは、学習用画像と、正解データとを有している。学習用画像には、カメラ２１による撮像画像Ｉが用いられている。学習用画像には、フォークリフト１０の運転者Ｄの画像が含まれている。正解データは、学習用画像における人体を構成する部位の位置の正解情報を含んでいる。したがって、第１学習済みモデルＭ１は、カメラ２１による撮像画像Ｉを用いて機械学習されたモデルである。

【0050】

＜車外飛び出し判定処理＞
車外飛び出し判定装置２０が行う車外飛び出し判定処理について説明する。
図５に示すように、ステップＳ１１において、設定部２３ａは、撮像画像Ｉに対して運転者Ｄが車外に飛び出しているか否かを判定するための車外判定領域Ａｊを設定する。

【0051】

本実施形態では、設定部２３ａは、まず、カメラ２１から撮像画像Ｉを取得する。撮像画像Ｉには、運転者Ｄの画像が含まれていてもよいし、運転者Ｄの画像が含まれていなくてもよい。次に、フォークリフト１０の管理者は、図示しない表示部に表示された撮像画像Ｉに対して車外判定領域Ａｊとして設定したい領域を指定する。管理者は、図示しない入力部によって、指定した領域を判定装置２２に入力する。なお、フォークリフト１０の管理者は、フォークリフト１０の運転者Ｄであってもよいし、フォークリフト１０の運転者Ｄとは別の人であってもよい。設定部２３ａは、判定装置２２に対して入力された撮像画像Ｉにおける指定領域を撮像画像Ｉにおける車外判定領域Ａｊとして設定する。

【0052】

本実施形態では、設定部２３ａは、前方撮像画像Ｉｆに対して、運転者Ｄが車外前方に飛び出しているか否かを判定するための車外前方判定領域Ａｊｆを設定する。
図６に示すように、前方撮像画像Ｉｆにおいて一点鎖線によって囲まれた領域が車外前方判定領域Ａｊｆである。車外前方判定領域Ａｊｆは、例えば、前方撮像画像Ｉｆにおける荷役装置１４を示す領域に設定されている。

【0053】

また、設定部２３ａは、後方撮像画像Ｉｒに対して、運転者Ｄが車外後方に飛び出しているか否かを判定するための車外後方判定領域Ａｊｒを設定する。
図７に示すように、後方撮像画像Ｉｒにおいて一点鎖線によって囲まれた領域が車外後方判定領域Ａｊｒである。車外後方判定領域Ａｊｒは、例えば、後方撮像画像Ｉｒにおける床面を示す領域であって、フォークリフト１０よりも後方に位置する領域に設定されている。

【0054】

また、本実施形態では、フォークリフト１０の管理者は、運転者Ｄの体のどの部位が車外に飛び出したら、運転者Ｄが車外に飛び出していると判定するかを設定可能である。具体的には、フォークリフト１０の管理者は、第１学習済みモデルＭ１によって人体キーポイント検出可能な複数の部位から、運転者Ｄが車外に飛び出していると判定するために用いる部位を選択する。そして、フォークリフト１０の管理者は、入力部によって、選択した特定の部位を判定装置２２に対して入力する。

【0055】

図５に示すように、ステップＳ１２において、検出部２３ｂは、カメラ２１から撮像画像Ｉを取得する。ステップＳ１２において検出部２３ｂが取得する撮像画像Ｉには、運転者Ｄの画像が含まれている。

【0056】

本実施形態では、検出部２３ｂは、第１カメラ２１ａから複数枚の前方撮像画像Ｉｆを取得する。また、検出部２３ｂは、第２カメラ２１ｂから複数枚の後方撮像画像Ｉｒを取得する。検出部２３ｂが第１カメラ２１ａから取得した前方撮像画像Ｉｆの撮像時刻は、前方撮像画像Ｉｆ毎に異なっている。検出部２３ｂが第２カメラ２１ｂから取得した後方撮像画像Ｉｒの撮像時刻は、後方撮像画像Ｉｒ毎に異なっている。

【0057】

ステップＳ１３において、検出部２３ｂは、撮像画像Ｉにおける運転者Ｄの位置を検出する。
本実施形態では、検出部２３ｂは、第１学習済みモデルＭ１を用いて撮像画像Ｉにおける運転者Ｄの位置を検出する。詳しくは、検出部２３ｂは、撮像画像Ｉを第１学習済みモデルＭ１に入力する。第１学習済みモデルＭ１は、入力された撮像画像Ｉについて人体キーポイント検出を行う。すなわち、第１学習済みモデルＭ１は、撮像画像Ｉにおける人体を構成する部位の位置を出力する。検出部２３ｂは、第１学習済みモデルＭ１の出力結果により撮像画像Ｉにおける運転者Ｄの体の部位の位置を検出することによって、撮像画像Ｉにおける運転者Ｄの位置を検出する。

【0058】

本実施形態では、設定部２３ａは、第１学習済みモデルＭ１を用いて前方撮像画像Ｉｆにおける運転者Ｄの位置を検出する。
例えば、図６に示す前方撮像画像Ｉｆでは、運転者Ｄの頭部Ｐｈ、首Ｐｎ、右肩Ｐｒｓ、右肘Ｐｒｅ、右手Ｐｒｈ、左肩Ｐｌｓ、左肘Ｐｌｅ、左手Ｐｌｈ、及び腰部Ｐｗが検出される。

【0059】

また、設定部２３ａは、第１学習済みモデルＭ１を用いて後方撮像画像Ｉｒにおける運転者Ｄの位置を検出する。
例えば、図７に示す後方撮像画像Ｉｒでは、運転者Ｄの頭部Ｐｈ、首Ｐｎ、右肩Ｐｒｓ、右肘Ｐｒｅ、右手Ｐｒｈ、左肩Ｐｌｓ、及び腰部Ｐｗが検出される。

【0060】

図５に示すように、ステップＳ１４において、判定部２３ｃは、検出部２３ｂによって検出された運転者Ｄの位置が車外判定領域Ａｊに含まれているか否かを判定する。例えば、図６に示す前方撮像画像Ｉｆにおいて、運転者Ｄは車外判定領域Ａｊに含まれていない。一方、図７に示す後方撮像画像Ｉｒにおいて、運転者Ｄ、より詳しくは運転者Ｄの右手Ｐｒｈは、車外判定領域Ａｊに含まれている。

【0061】

判定部２３ｃは、検出部２３ｂによって検出された運転者Ｄの位置が車外判定領域Ａｊに含まれている場合（ステップＳ１４でＹＥＳ）、運転者Ｄが車外に飛び出していると判定する。判定部２３ｃは、検出部２３ｂによって検出された運転者Ｄの位置が車外判定領域Ａｊに含まれていない場合（ステップＳ１４でＮＯ）、運転者Ｄが車外に飛び出していないと判定する。

【0062】

本実施形態では、判定部２３ｃは、検出部２３ｂによって検出された運転者Ｄの体の部位のうち、管理者によって予め選択された特定の部位が車外判定領域Ａｊに含まれており、特定の部位が車外判定領域Ａｊに含まれている時間Ｔが所定の時間Ｔｔｈ以上である場合、運転者Ｄが車外判定領域Ａｊに含まれていると判定する。

【0063】

例えば、時刻ｔ１における撮像画像Ｉにおいて特定の部位が車外判定領域Ａｊに含まれているとする。また、時刻ｔ１よりも後の時刻ｔ２における撮像画像Ｉにおいて特定の部位が車外判定領域Ａｊに含まれているとする。この場合、時刻ｔ１から時刻ｔ２までの時間Ｔ＝ｔ２－ｔ１の間、特定の部位が車外判定領域Ａｊに含まれていると考えられる。したがって、判定部２３ｃは、時間Ｔ＝ｔ２－ｔ１が所定の時間Ｔｔｈ以上である場合には、運転者Ｄが車外判定領域Ａｊに含まれていると判定する。なお、所定の時間Ｔｔｈは、適宜設定可能である。

【0064】

一方、判定部２３ｃは、各撮像画像Ｉにおいて特定の部位が車外判定領域Ａｊに含まれていない場合、運転者Ｄが車外判定領域Ａｊに含まれていないと判定する。また、判定部２３ｃは、撮像画像Ｉにおいて特定の部位が車外判定領域Ａｊに含まれているものの、特定の部位が車外判定領域Ａｊに含まれている時間Ｔが所定の時間Ｔｔｈ未満である場合にも、運転者Ｄが車外判定領域Ａｊに含まれていないと判定する。

【0065】

本実施形態では、判定部２３ｃは、前方撮像画像Ｉｆにおいて運転者Ｄが車外前方判定領域Ａｊｆに含まれている場合、運転者Ｄが車外前方に飛び出していると判定する。また、判定部２３ｃは、後方撮像画像Ｉｒにおいて運転者Ｄが車外後方判定領域Ａｊｒに含まれている場合、運転者Ｄが車外後方に飛び出していると判定する。

【0066】

判定部２３ｃは、運転者Ｄが車外に飛び出していると判定すると、ステップＳ１５において、運転者Ｄが車外に飛び出している旨の信号を制御部１８に送信する。上述したように、制御部１８は、車外飛び出し判定装置２０による判定結果に基づいて、報知部１７を制御する。本実施形態では、制御部１８は、判定部２３ｃから運転者Ｄが車外に飛び出している旨の信号を受信すると、報知部１７を作動させる。具体的には、報知部１７は、ブザーを鳴らしたり、警告ランプを点灯させたりする。

【0067】

一方、運転者Ｄが車外に飛び出していないと判定部２３ｃが判定すると、ステップＳ１２に戻る。なお、２回目以降のステップＳ１２において検出部２３ｂが取得する撮像画像Ｉは、前回のステップＳ１２において検出部２３ｂが取得した撮像画像Ｉよりも後の撮像時刻の画像である。

【0068】

［本実施形態の効果］
本実施形態の効果を説明する。
（１－１）車外飛び出し判定装置２０は、フォークリフト１０に取り付けられたカメラ２１と、カメラ２１による撮像画像Ｉに基づいてフォークリフト１０の運転者Ｄが車外に飛び出しているか否かを判定する判定装置２２とを備えている。判定装置２２は、設定部２３ａと、検出部２３ｂと、判定部２３ｃとを有している。設定部２３ａは、撮像画像Ｉに対して運転者Ｄが車外に飛び出しているか否かを判定するための車外判定領域Ａｊを設定する。検出部２３ｂは、撮像画像Ｉにおける運転者Ｄの位置を検出する。判定部２３ｃは、検出部２３ｂによって検出された運転者Ｄの位置が車外判定領域Ａｊに含まれている場合、運転者Ｄが車外に飛び出していると判定する。これにより、車外飛び出し判定装置２０は、運転者Ｄが車外に飛び出しているか否かを判定できる。

【0069】

この構成では、車外飛び出し判定装置２０は、カメラ２１による撮像画像Ｉを用いて、運転者Ｄが車外に飛び出しているか否かを判定する。したがって、例えば、ドライブレコーダ等としてカメラ２１がフォークリフト１０に予め取り付けられていた場合には、当該カメラ２１を利用することができる。よって、車外飛び出し判定装置２０にかかるコストを削減できる。

【0070】

（１－２）設定部２３ａは、判定装置２２に対して入力された撮像画像Ｉにおける指定領域を撮像画像Ｉにおける車外判定領域Ａｊとして設定する。このため、設定部２３ａは、撮像画像Ｉにおいて車外を示す領域である車外領域を把握しなくても、撮像画像Ｉに対して車外判定領域Ａｊを設定することができる。したがって、設定部２３ａが行う処理を簡素化できる。

【0071】

（１－３）判定装置２２は、画像が入力されると、当該画像における人体を構成する部位の位置を出力するように機械学習された第１学習済みモデルＭ１を記憶している。検出部２３ｂは、第１学習済みモデルＭ１を用いて撮像画像Ｉにおける運転者Ｄの体の部位の位置を検出することにより、撮像画像Ｉにおける運転者Ｄの位置を検出する。判定部２３ｃは、撮像画像Ｉにおいて、検出部２３ｂによって検出された運転者Ｄの体の部位のうち、フォークリフト１０の管理者によって予め選択された特定の部位が車外判定領域Ａｊに含まれている場合、運転者Ｄが車外に飛び出していると判定する。これにより、運転者Ｄの体の特定の部位が車外に飛び出しているか否かを判定できる。

【0072】

（１－４）一般に、人体キーポイント検出の教師データには、人を真横から撮像した画像が用いられる。これに対し、本実施形態では、カメラ２１は、下方を撮像するようにフォークリフト１０に取り付けられている。カメラ２１は、運転者Ｄを上方から撮像する。このため、例えば、第１学習済みモデルＭ１が人を真横から撮像した画像を利用して機械学習されたモデルである場合、カメラ２１による撮像画像Ｉに対しては、人体キーポイント検出の検出精度が低下するおそれがある。これに対し、本実施形態の第１学習済みモデルＭ１は、カメラ２１による撮像画像Ｉを用いて機械学習されたモデルである。したがって、カメラ２１による撮像画像Ｉに対する人体キーポイント検出の検出精度を向上できる。

【0073】

（１－５）フォークリフト１０は、報知部１７と、報知部１７を制御する制御部１８とを備えている。制御部１８は、車外飛び出し判定装置２０による判定結果に基づいて、報知部１７を制御する。本実施形態では、運転者Ｄが車外に飛び出していると車外飛び出し判定装置２０が判定した場合、制御部１８は、報知部１７を作動させる。これにより、運転者Ｄの体の一部が車外に飛び出していることを運転者Ｄに対して知らせることができる。

【0074】

（１－６）本実施形態の車外飛び出し判定装置２０は、運転者Ｄが車外前方に飛び出しているか否かを判定する。この場合、車外飛び出し判定装置２０による判定結果を、例えば、運転者Ｄの体の一部がマスト１４ａなどの荷役装置１４の可動部に挟まれることを回避するために用いることができる。

【0075】

（１－７）本実施形態の車外飛び出し判定装置２０は、運転者Ｄが車外後方に飛び出しているか否かを判定する。この場合、車外飛び出し判定装置２０による判定結果を、例えば、運転者Ｄの体の一部が車体１１とフォークリフト１０の後方に存在する障害物との間に挟まれることを回避するために用いることができる。

【0076】

（１－８）カメラ２１は、魚眼カメラである。魚眼カメラは画角が広いため、広範囲を撮像することができる。
［第２実施形態］
以下、車外飛び出し判定装置及び産業車両を具体化した第２実施形態を図８～図１６にしたがって説明する。なお、第１実施形態と同じ構成及び処理については説明を省略する。

【0077】

＜車外飛び出し判定装置＞
図８に示すように、第２実施形態の処理部２３は、設定部２３ａ、検出部２３ｂ、及び判定部２３ｃに加えて、画像処理を行う画像処理部２３ｄを有している。

【0078】

第２実施形態の記憶部２４は、第１実施形態における第１学習済みモデルＭ１の代わりに第２学習済みモデルＭ２を有している。
第２学習済みモデルＭ２は、セマンティックセグメンテーションを行うように生成されたモデルである。すなわち、第２学習済みモデルＭ２は、画像が入力されると、入力された画像を構成する各ピクセルのラベルを出力する。本実施形態の第２学習済みモデルＭ２は、画像を構成する各ピクセルについて、自車両を表示するピクセル、床面を表示するピクセル、障害物を表示するピクセル、又は運転者を表示するピクセルの何れかにラベル付けする。なお、自車両とは、運転者Ｄが搭乗しているフォークリフト１０のことを指す。

【0079】

第２学習済みモデルＭ２は、教師有り学習によって機械学習されている。教師データは、複数のデータセットを有している。各データセットは、学習用画像と、正解データとを有している。学習用画像には、カメラ２１による撮像画像Ｉが用いられている。正解データは、学習用画像を構成する各ピクセルが、自車両を表示するピクセル、床面を表示するピクセル、障害物を表示するピクセル、又は運転者を表示するピクセルであるかの正解情報を含んでいる。したがって、第２学習済みモデルＭ２は、カメラ２１による撮像画像Ｉを用いて機械学習されたモデルである。

【0080】

＜車外飛び出し判定処理＞
車外飛び出し判定装置２０が行う車外飛び出し判定処理について説明する。
設定部２３ａは、ステップＳ１１において、撮像画像Ｉに対して車外判定領域Ａｊを設定する。前方撮像画像Ｉｆに対する車外前方判定領域Ａｊｆの設定は、第１実施形態と同様に行われる。後方撮像画像Ｉｒに対する車外後方判定領域Ａｊｒの設定は、次のように行われる。

【0081】

図９に示すように、設定部２３ａは、まず、カメラ２１から設定用画像Ｉｓを取得する。設定用画像Ｉｓは、第２カメラ２１ｂによる後方撮像画像Ｉｒである。設定用画像Ｉｓは、運転者Ｄがフォークリフト１０に搭乗していない状態で撮像された画像である。したがって、設定用画像Ｉｓには、運転者Ｄの画像が含まれていない。

【0082】

設定部２３ａは、次に、第２学習済みモデルＭ２に設定用画像Ｉｓを入力する。第２学習済みモデルＭ２は、設定用画像Ｉｓに対してセマンティックセグメンテーションを行う。

【0083】

図１０に示すように、設定用画像Ｉｓを構成する各ピクセルは、自車両を表示するピクセル、床面を表示するピクセル、又は障害物を表示するピクセルの何れかにラベル付けされる。

【0084】

図１１に示すように、設定部２３ａは、第２学習済みモデルＭ２による出力結果を用いて設定用画像Ｉｓにおいて自車両を示す領域である自車両領域Ａｆを検出する。具体的には、設定部２３ａは、設定用画像Ｉｓを構成するピクセルのうち、第２学習済みモデルＭ２によって自車両を表示するピクセルであるとラベル付けされたピクセルからなる領域を自車両領域Ａｆとする。また、設定部２３ａは、設定用画像Ｉｓにおける自車両領域Ａｆ外の領域を車外領域Ａｏｕｔとする。車外領域Ａｏｕｔは、設定用画像Ｉｓを構成するピクセルのうち、第２学習済みモデルＭ２によって床面又は障害物を表示するピクセルであるとラベル付けされたピクセルからなる領域である。

【0085】

図１２に示すように、画像処理部２３ｄは、設定用画像Ｉｓにおける自車両領域Ａｆを膨張させる膨張処理を行う。例えば、画像処理部２３ｄは、自車両領域Ａｆをモルフォロジー変換等によって膨張させる。なお、自車両領域Ａｆの膨張量は、カーネルサイズやイテレーションパラメータによって調整可能である。設定用画像Ｉｓにおける車外領域Ａｏｕｔは、自車両領域Ａｆを膨張させた分だけ減少する。

【0086】

設定部２３ａは、設定用画像Ｉｓにおける自車両領域Ａｆ外の領域を、後方撮像画像Ｉｒにおける車外後方判定領域Ａｊｒとして設定する。本実施形態では、設定部２３ａは、設定用画像Ｉｓにおける画像処理部２３ｄによる膨張処理後の自車両領域Ａｆ外の領域を、後方撮像画像Ｉｒにおける車外判定領域Ａｊとして設定する。具体的には、設定部２３ａは、車外領域Ａｏｕｔであって、膨張処理後の自車両領域Ａｆよりも後方の領域を車外後方判定領域Ａｊｒとして設定する。

【0087】

図１３に示すように、設定用画像Ｉｓにおいて一点鎖線によって囲まれた領域が車外後方判定領域Ａｊｒである。車外後方判定領域Ａｊｒは、設定用画像Ｉｓにおける床面又は障害物を示す領域であって、フォークリフト１０よりも後方に位置する領域に設定されている。

【0088】

検出部２３ｂは、ステップＳ１２において、カメラ２１から撮像画像Ｉを取得する。なお、ステップＳ１２については、第１実施形態と同じであるため、詳細な説明は省略する。

【0089】

図１４に示すように、ステップＳ１２において検出部２３ｂが取得する後方撮像画像Ｉｒは、運転者Ｄがフォークリフト１０に搭乗した状態で撮像された画像である。したがって、検出部２３ｂが取得する後方撮像画像Ｉｒには、運転者Ｄの画像が含まれている。

【0090】

なお、以下では、後方撮像画像Ｉｒに基づいて運転者Ｄが車外後方に飛び出しているか否かを判定する処理について説明する。前方撮像画像Ｉｆに基づいて運転者Ｄが車外前方に飛び出しているか否かを判定する処理については、同様の処理であるため、説明を省略する。

【0091】

検出部２３ｂは、ステップＳ１３において、後方撮像画像Ｉｒにおける運転者Ｄの位置を検出する。本実施形態では、検出部２３ｂは、第２学習済みモデルＭ２を用いて後方撮像画像Ｉｒにおける運転者Ｄの位置を検出する。

【0092】

詳しくは、検出部２３ｂは、第２学習済みモデルＭ２に後方撮像画像Ｉｒを入力する。第２学習済みモデルＭ２は、入力された後方撮像画像Ｉｒに対してセマンティックセグメンテーションを行う。

【0093】

図１５に示すように、後方撮像画像Ｉｒを構成する各ピクセルは、自車両を表示するピクセル、床面を表示するピクセル、障害物を表示するピクセル、又は運転者を表示するピクセルの何れかにラベル付けされる。

【0094】

図１６に示すように、設定部２３ａは、第２学習済みモデルＭ２による出力結果を用いて後方撮像画像Ｉｒにおいて搭乗者を示す領域である搭乗者領域としての運転者領域Ａｄを検出する。具体的には、設定部２３ａは、後方撮像画像Ｉｒを構成するピクセルのうち、第２学習済みモデルＭ２によって運転者を表示するピクセルであるとラベル付けされたピクセルからなる領域を運転者領域Ａｄとする。このように、設定部２３ａは、第２学習済みモデルＭ２を用いて後方撮像画像Ｉｒにおける運転者領域Ａｄを検出することによって、後方撮像画像Ｉｒにおける運転者Ｄの位置を検出する。

【0095】

判定部２３ｃは、ステップＳ１４において、検出部２３ｂによって検出された運転者Ｄの位置が車外後方判定領域Ａｊｒに含まれているか否かを判定する。判定部２３ｃは、検出部２３ｂによって検出された運転者Ｄの位置が車外後方判定領域Ａｊｒに含まれている場合、運転者Ｄが車外後方に飛び出していると判定する。判定部２３ｃは、検出部２３ｂによって検出された運転者Ｄの位置が車外後方判定領域Ａｊｒに含まれていない場合、運転者Ｄが車外後方に飛び出していないと判定する。

【0096】

本実施形態では、判定部２３ｃは、まず、後方撮像画像Ｉｒにおいて運転者領域Ａｄと車外後方判定領域Ａｊｒとが重なっているか否かを判定する。例えば、図１６に示す後方撮像画像Ｉｒでは、運転者領域Ａｄと車外後方判定領域Ａｊｒとは重なっている。なお、図１６に示す車外後方判定領域Ａｊｒは、上述したように、運転者Ｄがフォークリフト１０に搭乗していない状態で撮像された後方撮像画像Ｉｒを用いて設定されている。判定部２３ｃは、後方撮像画像Ｉｒにおいて運転者領域Ａｄと車外後方判定領域Ａｊｒとが重なっている場合、運転者領域Ａｄと車外後方判定領域Ａｊｒとが重なる面積（以下、「重合面積Ｓ」という。）を算出する。判定部２３ｃは、重合面積Ｓが所定の面積Ｓｔｈ以上であり、かつ重合面積Ｓが所定の面積Ｓｔｈ以上である時間Ｔが所定の時間Ｔｔｈ以上である場合、運転者Ｄが車外後方判定領域Ａｊｒに含まれていると判定する。

【0097】

例えば、時刻ｔ１における後方撮像画像Ｉｒにおいて重合面積Ｓが所定の面積Ｓｔｈ以上であるとする。また、時刻ｔ１よりも後の時刻ｔ２における後方撮像画像Ｉｒにおいて重合面積Ｓが所定の面積Ｓｔｈ以上であるとする。この場合、時刻ｔ１から時刻ｔ２までの時間Ｔ＝ｔ２－ｔ１の間、重合面積Ｓが所定の面積Ｓｔｈ以上であると考えられる。したがって、判定部２３ｃは、時間Ｔ＝ｔ２－ｔ１が所定の時間Ｔｔｈ以上である場合には、運転者Ｄが車外後方判定領域Ａｊｒに含まれていると判定する。なお、所定の面積Ｓｔｈ及び所定の時間Ｔｔｈはそれぞれ、適宜設定可能である。

【0098】

一方、判定部２３ｃは、後方撮像画像Ｉｒにおいて運転者領域Ａｄと車外後方判定領域Ａｊｒとが重なっていない場合、運転者Ｄが車外後方判定領域Ａｊｒに含まれていないと判定する。また、判定部２３ｃは、後方撮像画像Ｉｒにおいて運転者領域Ａｄと車外後方判定領域Ａｊｒとが重なっているものの、重合面積Ｓが所定の面積Ｓｔｈ未満である場合にも、運転者Ｄが車外後方判定領域Ａｊｒに含まれていないと判定する。さらに、判定部２３ｃは、重合面積Ｓが所定の面積Ｓｔｈ以上であるものの、重合面積Ｓが所定の面積Ｓｔｈ以上である時間Ｔが所定の時間Ｔｔｈ未満である場合にも、運転者Ｄが車外後方判定領域Ａｊｒに含まれていないと判定する。

【0099】

［本実施形態の効果］
第２実施形態では、第１実施形態の効果（１－１），（１－５）～（１－８）と同様の効果に加えて、以下の効果を得ることができる。

【0100】

（２－１）判定装置２２は、画像が入力されると、当該画像を構成するピクセルのラベルを出力するように機械学習された第２学習済みモデルＭ２を記憶している。設定部２３ａは、第２学習済みモデルＭ２を用いて撮像画像Ｉにおける自車両領域Ａｆを検出する。設定部２３ａは、撮像画像Ｉにおける自車両領域Ａｆ外の領域を車外判定領域Ａｊとして設定する。このため、設定部２３ａによって、撮像画像Ｉに対して車外判定領域Ａｊを自動的に設定できる。したがって、車外飛び出し判定装置２０が搭載されるフォークリフト１０の変更や、フォークリフト１０に対するカメラ２１の取り付け位置の変更などに対して対応しやすい。

【0101】

（２－２）判定装置２２は、撮像画像Ｉにおける自車両領域Ａｆを膨張させる画像処理部２３ｄを有している。設定部２３ａは、撮像画像Ｉにおける画像処理部２３ｄによって膨張された自車両領域Ａｆ外の領域を車外判定領域Ａｊとして設定する。これにより、例えば、運転者Ｄが後方確認のためにリアピラー１１ｃを掴むといった状況において、運転者Ｄが車外に飛び出していると判定されることを回避することができる。つまり、運転者Ｄが車外に飛び出しているか否かの判定においてマージンを持たせることができる。

【0102】

（２－３）検出部２３ｂは、第２学習済みモデルＭ２を用いて撮像画像Ｉにおける運転者領域Ａｄを検出することによって、撮像画像Ｉにおける運転者Ｄの位置を検出する。この場合、検出部２３ｂは、撮像画像Ｉにおける運転者Ｄのエッジを検出することができる。したがって、車外飛び出し判定装置２０は、運転者Ｄが車外に飛び出しているか否かをより精度良く判定できる。

【0103】

（２－４）第１学習済みモデルＭ１は、カメラ２１による撮像画像Ｉを用いて機械学習されたモデルである。したがって、第１学習済みモデルＭ１がカメラ２１による撮像画像Ｉ以外の画像を用いて機械学習されている場合と比較して、セマンティックセグメンテーションの精度を向上できる。

【0104】

（２－５）設定部２３ａは、第２学習済みモデルＭ２を用いて撮像画像Ｉに対して車外判定領域Ａｊを設定する。また、検出部２３ｂは、第２学習済みモデルＭ２を用いて撮像画像Ｉにおける運転者Ｄの位置を検出する。つまり、第２学習済みモデルＭ２は、設定処理及び検出処理の２つの処理に用いられている。したがって、例えば、設定部２３ａが第２学習済みモデルＭ２を用いて撮像画像Ｉに対して車外判定領域Ａｊを設定し、かつ検出部２３ｂが第１学習済みモデルＭ１を用いて撮像画像Ｉにおける運転者Ｄの位置を検出する場合と比較して、車外飛び出し判定装置２０の構成を簡素化できる。

【0105】

［変更例］
なお、上記実施形態は、以下のように変更して実施できる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施できる。

【0106】

○ 上記実施形態では、制御部１８は、車外飛び出し判定装置２０による判定結果に加えて、操作部１５に対する操作又はフォークリフト１０の動作に基づいて報知部１７を制御させてもよい。

【0107】

例えば、制御部１８は、操作部１５に対して荷役操作が行われたときや荷役装置１４の荷役動作中に、運転者Ｄが車外前方に飛び出していると判定された場合、報知部１７を作動させてもよい。報知部１７の作動によって、運転者Ｄは、荷役装置１４の荷役動作を停止させたり、車外に飛び出していた体の一部を車内に戻したりする。したがって、運転者Ｄがマスト１４ａなどの荷役装置１４の可動部に挟まれることを回避できる。

【0108】

例えば、制御部１８は、操作部１５に対して後進操作が行われたときやフォークリフト１０の後進中に、運転者Ｄが車外後方に飛び出していると判定された場合、報知部１７を作動させてもよい。報知部１７の作動によって、運転者Ｄは、フォークリフト１０の後進を停止させたり、車外に飛び出していた体の一部を車内に戻したりする。したがって、運転者Ｄが車体１１とフォークリフト１０の後方にある障害物との間に挟まれるといった状況を回避できる。

【0109】

なお、制御部１８は、報知部１７を作動させるだけでなく、例えば、報知部１７のブザー音を変更したりブザー音量を上げたりするようなしてもよい。
○ 制御部１８は、車外飛び出し判定装置２０の判定結果に基づいて、駆動部１６を制御してもよい。また、制御部１８は、車外飛び出し判定装置２０による判定結果に加えて、操作部１５に対する操作又はフォークリフト１０の動作に基づいて、駆動部１６を制御してもよい。

【0110】

例えば、制御部１８は、操作部１５に対して荷役操作が行われたときや荷役装置１４の荷役動作中に、運転者Ｄが車外前方に飛び出していると判定された場合、マスト１４ａの動作が制限されるように駆動部１６を制御してもよい。これにより、運転者Ｄがマスト１４ａなどの荷役装置１４の可動部に挟まれることを回避できる。

【0111】

例えば、制御部１８は、操作部１５に対して後進操作が行われたときやフォークリフト１０の後進中に、運転者Ｄが車外後方に飛び出していると判定された場合、フォークリフト１０の後進が制限されるように駆動部１６を制御してもよい。これにより、運転者Ｄが車体１１とフォークリフト１０の後方にある障害物との間に挟まれるといった状況を回避できる。

【0112】

○ 第２実施形態において、検出部２３ｂは、撮像画像Ｉに対するセマンティックセグメンテーションの結果を用いて、フォークリフト１０に対する障害物の位置を検出してもよい。具体的には、検出部２３ｂは、撮像画像Ｉを構成するピクセルのうち、障害物を表示するピクセルであるとラベル付けされたピクセルからなる領域を、撮像画像Ｉにおいて障害物を示す領域である障害物領域とする。また、検出部２３ｂは、撮像画像Ｉを構成するピクセルのうち、自車両を表示するピクセルであるとラベル付けされたピクセルからなる領域を、撮像画像Ｉにおける自車両領域Ａｆとする。検出部２３ｂは、撮像画像Ｉにおける障害物領域と自車両領域Ａｆとの位置関係から、フォークリフト１０に対する障害物の位置を検出する。検出部２３ｂは、検出したフォークリフト１０に対する障害物の位置を制御部１８に送信してもよい。

【0113】

制御部１８は、車外飛び出し判定装置２０による判定結果と、操作部１５に対する操作又はフォークリフト１０の動作とに加えて、検出部２３ｂによる障害物の検出結果に基づいて、報知部１７を制御してもよい。

【0114】

例えば、制御部１８は、操作部１５に対して後進操作が行われたときやフォークリフト１０の後進中に、フォークリフト１０の後方に障害物があると検出され、かつ運転者Ｄが車外後方に飛び出していると判定された場合、報知部１７を作動させてもよい。

【0115】

同様に、制御部１８は、車外飛び出し判定装置２０による判定結果と、操作部１５に対する操作又はフォークリフト１０の動作とに加えて、検出部２３ｂによる障害物の検出結果に基づいて、駆動部１６を制御してもよい。

【0116】

例えば、制御部１８は、操作部１５に対して後進操作が行われたときやフォークリフト１０の後進中に、フォークリフト１０の後方に障害物があると検出され、かつ運転者Ｄが車外後方に飛び出していると判定された場合、フォークリフト１０の後進が制限されるように駆動部１６を制御してもよい。

【0117】

○ 撮像装置は、カメラ２１に限定されない。撮像装置は、ビデオカメラでもよい。この場合、判定装置２２は、ビデオカメラが撮像した映像における任意の時刻の画像を撮像画像Ｉとして用いる。

【0118】

○ カメラ２１の数は、２つに限定されない。カメラ２１の数は、カメラ２１の画角及び車両の搭乗者が車外に飛び出しているか否かを判定したい範囲に応じて適宜設定される。

【0119】

○ カメラ２１は、魚眼カメラに限定されない。
○ フォークリフト１０に対するカメラ２１の取り付け位置は、ヘッドガード１１ａに限定されない。

【0120】

○ 第１カメラ２１ａによる第１撮像周期と第２カメラ２１ｂによる第２撮像周期は、異なっていてもよい。また、第１カメラ２１ａが撮像を行うタイミングと第２カメラ２１ｂが撮像を行うタイミングは、異なっていてもよい。

【0121】

○ 車外飛び出し判定装置２０は、車両の搭乗者が車外前方に飛び出しているか否かのみを判定してもよい。この場合、第２カメラ２１ｂは省略されてもよい。
○ 車外飛び出し判定装置２０は、車両の搭乗者が車外後方に飛び出しているか否かのみを判定してもよい。この場合、第１カメラ２１ａは省略されてもよい。

【0122】

○ 車外飛び出し判定装置２０は、搭乗者が車外前方に飛び出しているか否かを判定する前方用判定装置と、搭乗者が車外後方に飛び出しているか否かを判定する後方用判定装置とを個別に有していてもよい。

【0123】

○ 車外飛び出し判定装置２０は、搭乗者が車外左方に飛び出しているか否かを判定してもよい。この場合、撮像画像Ｉにおけるフォークリフト１０よりも左方の領域が車外判定領域Ａｊとして設定される。

【0124】

○ 車外飛び出し判定装置２０は、搭乗者が車外右方に飛び出しているか否かを判定してもよい。この場合、撮像画像Ｉにおけるフォークリフト１０よりも右方の領域が車外判定領域Ａｊとして設定される。

【0125】

○ 第１実施形態において、搭乗者の体の部位のうち、腰部より足元側の部位が車外に飛び出すことが想定される場合には、第１学習済みモデルＭ１は、画像における腰部より足元側の部位の位置も検出可能に学習されているのが好ましい。

【0126】

○ 第２実施形態において、第２学習済みモデルＭ２は、セマンティックセグメンテーションの代わりにインスタンスセグメンテーションを行うように機械学習された学習済みモデルであってもよい。

【0127】

○ 第１実施形態において、判定部２３ｃは、運転者Ｄの体の特定の部位が車外判定領域Ａｊに含まれている撮像画像Ｉの枚数に基づいて、運転者Ｄが車外判定領域Ａｊに含まれているか否かを判定してもよい。

【0128】

例えば、特定の部位が車外判定領域Ａｊに含まれている撮像画像Ｉが所定の枚数以上であり、かつ連続した画像である場合、判定部２３ｃは、運転者Ｄが車外判定領域Ａｊに含まれていると判定する。一方、特定の部位が車外判定領域Ａｊに含まれている撮像画像Ｉが所定の枚数未満である場合、判定部２３ｃは、運転者Ｄが車外判定領域Ａｊに含まれていないと判定する。また、所定の枚数以上の撮像画像Ｉにおいて特定の部位が車外判定領域Ａｊに含まれているものの、当該撮像画像Ｉが連続した画像でない場合には、判定部２３ｃは、運転者Ｄが車外判定領域Ａｊに含まれていないと判定する。なお、所定の枚数は、適宜変更可能である。

【0129】

第２実施形態についても同様に、判定部２３ｃは、重合面積Ｓが所定の面積Ｓｔｈ以上である撮像画像Ｉの枚数に基づいて、運転者Ｄが車外判定領域Ａｊに含まれているか否かを判定してもよい。

【0130】

○ 第１実施形態において、記憶部２４は、第１学習済みモデルＭ１に加えて第２学習済みモデルＭ２も記憶していてもよい。この場合、設定部２３ａは、第２実施形態のように第２学習済みモデルＭ２を用いて後方撮像画像Ｉｒに対して車外後方判定領域Ａｊｒを設定してもよい。

【0131】

○ 第１実施形態において、フォークリフト１０の管理者は、運転者Ｄが車外に飛び出していると判定するために用いる体の部位を選択しなくてもよい。
○ 第２実施形態において、設定部２３ａは、第１実施形態のように判定装置２２に入力された撮像画像Ｉにおける指定領域を撮像画像Ｉにおける車外判定領域Ａｊとして設定してもよい。

【0132】

○ 第２実施形態において、判定装置２２は、画像処理部２３ｄを有していなくてもよい。この場合、設定部２３ａは、設定用画像Ｉｓにおいて膨張処理が行われていない自車両領域Ａｆ外の領域を車外後方判定領域Ａｊｒとして設定する。

【0133】

○ 車外飛び出し判定装置２０は、例えば、トーイングトラクタなどのフォークリフト１０以外の産業車両に適用されてもよい。
○ 車両の搭乗者は、車両の運転者の１人に限定されない。複数人が搭乗する車両の場合、車両の搭乗者としては、運転者だけでなく、同乗者も想定される。この場合、記憶部２４は、インスタンスセグメンテーションを行うように機械学習された学習済みモデルを記憶しているのが好ましい。インスタンスセグメンテーションでは、搭乗者を区別してラベル付けを行う。したがって、車外飛び出し判定装置２０は、複数人の搭乗者のうち、どの搭乗者が車外に飛び出しているかを判定することができる。

【0134】

［付記］
上記各実施形態及び変更例から把握できる技術的思想を以下に記載する。
［１］車両に取り付けられた撮像装置と、前記撮像装置による撮像画像に基づいて前記車両の搭乗者が車外に飛び出しているか否かを判定する判定装置と、を備え、前記判定装置は、前記撮像画像に対して前記搭乗者が車外に飛び出しているか否かを判定するための車外判定領域を設定する設定部と、前記撮像画像における前記搭乗者の位置を検出する検出部と、前記検出部によって検出された前記搭乗者の位置が前記車外判定領域に含まれている場合、前記搭乗者が車外に飛び出していると判定する判定部と、を有することを特徴とする車外飛び出し判定装置。

【0135】

［２］前記設定部は、前記判定装置に対して入力された前記撮像画像における指定領域を前記撮像画像における前記車外判定領域として設定する［１］に記載の車外飛び出し判定装置。

【0136】

［３］前記判定装置は、画像が入力されると、当該画像における人体を構成する部位の位置を出力するように機械学習された第１学習済みモデルを記憶しており、前記検出部は、前記第１学習済みモデルを用いて前記撮像画像における前記搭乗者の位置を検出する［１］又は［２］に記載の車外飛び出し判定装置。

【0137】

［４］前記検出部は、前記第１学習済みモデルを用いて前記撮像画像における前記搭乗者の体の部位の位置を検出し、前記判定部は、前記撮像画像において、前記検出部によって検出された前記搭乗者の体の部位のうち、予め選択された特定の部位が前記車外判定領域に含まれている場合、前記搭乗者が車外に飛び出していると判定する［３］に記載の車外飛び出し判定装置。

【0138】

［５］前記第１学習済みモデルは、前記撮像装置による前記撮像画像を用いて機械学習されたモデルである［３］又は［４］に記載の車外飛び出し判定装置。
［６］前記判定装置は、画像が入力されると、当該画像を構成するピクセルのラベルを出力するように機械学習された第２学習済みモデルを記憶しており、前記設定部は、前記第２学習済みモデルを用いて前記撮像画像における前記搭乗者が搭乗する前記車両を示す領域である自車両領域を検出し、前記撮像画像における前記自車両領域外の領域を前記車外判定領域として設定する［１］に記載の車外飛び出し判定装置。

【0139】

［７］前記判定装置は、前記撮像画像における前記自車両領域を膨張させる画像処理部を有し、前記設定部は、前記撮像画像における前記画像処理部によって膨張された前記自車両領域外の領域を前記車外判定領域として設定する［６］に記載の車外飛び出し判定装置。

【0140】

［８］前記判定装置は、画像が入力されると、当該画像を構成するピクセルのラベルを出力するように機械学習された第２学習済みモデルを記憶しており、前記検出部は、前記第２学習済みモデルを用いて前記撮像画像における前記搭乗者を示す領域である搭乗者領域を検出することによって、前記撮像画像における前記搭乗者の位置を検出する［１］、［２］、［６］、及び［７］の何れか１つに記載の車外飛び出し判定装置。

【0141】

［９］前記第２学習済みモデルは、前記撮像装置による前記撮像画像を用いて機械学習されたモデルである［６］～［８］の何れか１つに記載の車外飛び出し判定装置。
［１０］［１］～［９］の何れか１つに記載の車外飛び出し判定装置が搭載された産業車両。

【0142】

［１１］報知部と、前記報知部を制御する制御部と、を備え、前記制御部は、前記車外飛び出し判定装置による判定結果に基づいて、前記報知部を制御する［１０］に記載の産業車両。

【0143】

［１２］前記産業車両の操作を行うための操作部を備え、前記制御部は、前記車外飛び出し判定装置による判定結果に加えて、前記操作部に対する操作又は前記産業車両の動作に基づいて、前記報知部を制御する［１１］に記載の産業車両。

【0144】

［１３］前記産業車両を駆動する駆動部と、前記駆動部を制御する制御部と、を備え、前記制御部は、前記車外飛び出し判定装置による判定結果に基づいて、前記駆動部を制御する［１０］～［１２］の何れか１つに記載の産業車両。

【0145】

［１４］前記産業車両の操作を行うための操作部を備え、前記制御部は、前記車外飛び出し判定装置による判定結果に加えて、前記操作部に対する操作又は前記産業車両に基づいて、前記駆動部を制御する［１３］に記載の産業車両。

【符号の説明】

【0146】

１０…産業車両としてのフォークリフト、１５…操作部、１６…駆動部、１７…報知部、１８…制御部、２０…車外飛び出し判定装置、２１…撮像装置としてのカメラ、２２…判定装置、２３ａ…設定部、２３ｂ…検出部、２３ｃ…判定部、２３ｄ…画像処理部、Ａｄ…搭乗者領域としての運転者領域、Ａｆ…自車両領域、Ａｊ…車外判定領域、Ｄ…搭乗者としての運転者、Ｉ…撮像画像、Ｍ１…第１学習済みモデル、Ｍ２…第２学習済みモデル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】