特開 2023-131369 運転支援装置、及び荷崩れ検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023131369

(43)【公開日】2023-09-22

(54)【発明の名称】運転支援装置、及び荷崩れ検出方法

(51)【国際特許分類】

   B60W 40/12 20120101AFI20230914BHJP

   B60R 1/26 20220101ALI20230914BHJP

   B62D 53/04 20060101ALI20230914BHJP

【ＦＩ】

B60W40/12

B60R1/26

B62D53/04 Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022036082

(22)【出願日】2022-03-09

(71)【出願人】

【識別番号】000000099

【氏名又は名称】株式会社ＩＨＩ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】香月 良夫

(72)【発明者】

【氏名】関谷 眞

【テーマコード（参考）】

3D241

【Ｆターム（参考）】

3D241BA50

3D241CA15

3D241CC08

3D241CE05

3D241DB46Z

3D241DB48Z

(57)【要約】

【課題】荷台で発生した荷崩れをより確実に検出する。
【解決手段】運転支援装置は、荷崩れを検出する運転支援装置であって、経時的に取得された仮想画像５の各々からエッジ画像１１を生成するエッジ画像生成部１０と、エッジ画像１１から判定領域２１を検出する判定領域検出部２０と、荷崩れが発生したか否かを判定する荷崩れ判定部３０と、を備える。荷崩れ判定部３０は、仮想画像５の第１仮想画像５ａから抽出された積荷６１の第１エッジ１３と、第１仮想画像５ａよりも前に生成された仮想画像５の第２仮想画像５ｂから抽出された積荷６１の第２エッジ１５とを比較することにより、荷崩れが発生したか否かを判定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

牽引車に牽引される荷台に積載された積荷の荷崩れを検出する運転支援装置であって、
前記牽引車の後方領域を上方から見た仮想画像を経時的に取得し、前記仮想画像の各々から少なくとも前記荷台及び前記積荷のエッジを含むエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、前記荷台に対応する判定領域を検出する判定領域検出部と、
前記荷崩れが発生したか否かを判定する荷崩れ判定部と、
を備え、
前記荷崩れ判定部は、前記仮想画像の第１仮想画像から抽出された前記積荷の第１エッジと、前記第１仮想画像よりも前に生成された前記仮想画像の第２仮想画像から抽出された前記積荷の第２エッジとを比較することにより、前記荷崩れが発生したか否かを判定する、運転支援装置。

【請求項2】

前記判定領域検出部は前記判定領域を経時的に追跡して、前記第１仮想画像から生成された第１エッジ画像内に検出された第１判定領域と、前記第２仮想画像から生成された第２エッジ画像内に検出された第２判定領域と、を関連付け、
前記荷崩れ判定部は、前記第１判定領域における前記第１エッジと、前記第２判定領域における前記第２エッジとを比較することにより、前記荷崩れが発生したか否かを判定する、請求項１に記載の運転支援装置。

【請求項3】

前記荷崩れ判定部は、前記第１エッジに基づくエッジ探索範囲を設定し、前記第１エッジと対応付け可能な前記第２エッジが前記エッジ探索範囲に含まれていないとき、前記荷崩れが発生したと判定する、請求項２に記載の運転支援装置。

【請求項4】

前記エッジ探索範囲は前記第１エッジの中心から所定距離以内の領域に設定される、請求項３に記載の運転支援装置。

【請求項5】

前記荷崩れ判定部は、前記第１エッジと前記第２エッジとの長さ及び姿勢の差が所定値以内のときに、前記第１エッジと前記第２エッジとが対応付け可能であると判定する、請求項３～４のいずれか一項に記載の運転支援装置。

【請求項6】

前記荷崩れ判定部は、前記エッジ探索範囲に前記第１エッジと対応付け可能な前記第２エッジが含まれるとき、前記第１エッジと当該第２エッジとを対応付け、前記第２判定領域における前記積荷のエッジの少なくとも一つが、前記第１判定領域における前記積荷のエッジと対応付けられていないとき、前記荷崩れが発生したと判定する、請求項３～５のいずれか一項に記載の運転支援装置。

【請求項7】

前記判定領域の寸法は、前記荷台に予め付与された識別符号に基づき設定される、請求項１～６のいずれか一項に記載の運転支援装置。

【請求項8】

前記荷崩れが発生したと前記荷崩れ判定部が判定したとき、当該荷崩れの発生を通知する通知部を備える、請求項１～７のいずれか一項に記載の運転支援装置。

【請求項9】

前記牽引車の走行を制御する車両制御部を備え、
前記車両制御部は、前記荷崩れが発生したと前記荷崩れ判定部が判定したとき、前記牽引車を減速又は停車させるための信号を出力する、請求項１～８のいずれか一項に記載の運転支援装置。

【請求項10】

牽引車に牽引される荷台に積載された積荷の荷崩れを検出する荷崩れ検出方法であって、
前記牽引車の後方領域を上方から見た仮想画像を経時的に取得し、前記仮想画像の各々から、少なくとも前記荷台及び前記積荷のエッジを含むエッジ画像を生成し、
前記エッジ画像から、前記荷台に対応する判定領域を検出し、
前記仮想画像の第１仮想画像から抽出された前記積荷の第１エッジと、前記第１仮想画像よりも前に生成された前記仮想画像の第２仮想画像から抽出された前記積荷の第２エッジと、を比較することにより、前記荷崩れが発生したか否かを判定する、荷崩れ検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は運転支援装置、及び荷崩れ検出方法に関する。

【背景技術】

【0002】

下記特許文献１が開示する荷室監視装置では、荷室画像取得部が車両の荷室内を撮影した画像を取得する。エッジ画像抽出部は、荷室画像取得部が撮影した荷室画像から積荷のエッジ画像を抽出する。閉領域抽出部は、エッジ画像抽出部が抽出したエッジ画像から閉領域を抽出する。閉領域監視部は、閉領域抽出部が抽出した閉領域の位置を監視する。荷崩れ判定部は、閉領域の移動量が予め定められた閾値を超えた場合、又は、閉領域の消失あるいは発生が起こった場合に、荷室で荷崩れが生じたと判定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】ＷＯ２０２０－２４５９０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば牽引自動車の牽引車にカメラを設置し、当該カメラで撮影した被牽引車の画像に基づき荷崩れを検出する場合、牽引車と被牽引車との連結角の変化、又は被牽引車の周囲に存在する物体の影響を受けるおそれが有る。即ち、連結角の変化、又は当該画像に被牽引車の周囲に存在する物体が映り込んだことに起因して、荷崩れが誤って検出されるおそれが有った。

【課題を解決するための手段】

【0005】

本開示に係る運転支援装置は、牽引車に牽引される荷台に積載された積荷の荷崩れを検出する運転支援装置であって、前記牽引車の後方領域を上方から見た仮想画像を経時的に取得し、前記仮想画像の各々から少なくとも前記荷台及び前記積荷のエッジを含むエッジ画像を生成するエッジ画像生成部と、前記エッジ画像から、前記荷台に対応する判定領域を検出する判定領域検出部と、前記荷崩れが発生したか否かを判定する荷崩れ判定部と、を備え、前記荷崩れ判定部は、前記仮想画像の第１仮想画像から抽出された前記積荷の第１エッジと、前記第１仮想画像よりも前に生成された前記仮想画像の第２仮想画像から抽出された前記積荷の第２エッジと、を比較することにより、前記荷崩れが発生したか否かを判定する。

【0006】

本開示に係る荷崩れ検出方法は、牽引車に牽引される荷台に積載された積荷の荷崩れを検出する荷崩れ検出方法であって、前記牽引車の後方領域を上方から見た仮想画像を経時的に取得し、前記仮想画像の各々から、少なくとも前記荷台及び前記積荷のエッジを含むエッジ画像を生成し、前記エッジ画像から、前記荷台に対応する判定領域を検出し、前記仮想画像の第１仮想画像から抽出された前記積荷の第１エッジと、前記第１仮想画像よりも前に生成された前記仮想画像の第２仮想画像から抽出された前記積荷の第２エッジと、を比較することにより、前記荷崩れが発生したか否かを判定する。

【発明の効果】

【0007】

本開示によれば、荷台で発生した荷崩れをより確実に検出することができる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る運転支援装置の全体的構成の一例を示すブロック図である。

【図2】実施形態に係る運転支援装置、及び荷崩れ検出方法を適用した車両を示す平面図である。

【図3】実施形態に係る運転支援装置、及び荷崩れ検出方法を適用した車両を示す側面図である。

【図4】周囲画像生成装置が生成した、時刻Ｔ２における仮想画像を示す模式図である。

【図5】周囲画像生成装置が生成した、時刻Ｔ１における仮想画像を示す模式図である。

【図6】第１実施形態に係るエッジ画像生成部が生成した、時刻Ｔ２におけるエッジ画像を示す模式図である。

【図7】第１実施形態に係るエッジ画像生成部が生成した、時刻Ｔ１におけるエッジ画像を示す模式図である。

【図8】第１実施形態に係る荷崩れ判定部について説明するための図であって、第１エッジと第２エッジとの位置的関係を示す模式図である。

【図9】第１実施形態に係る荷崩れ判定部について説明するための図であって、第１エッジと第２エッジとの位置的関係を示す模式図である。

【図10】第１実施形態に係る荷崩れ判定の一例について説明するための図であって、時刻Ｔ１におけるエッジ画像を示す模式図である。

【図11】第１実施形態に係る荷崩れ判定の一例について説明するための図であって、時刻Ｔ１におけるエッジ画像を示す模式図である。

【図12】第１実施形態に係る通知部について説明するための図であって、時刻Ｔ１における仮想画像に表示された強調表示の一例を示す部分模式図である。

【図13】第１実施形態に係る通知部について説明するための図であって、時刻Ｔ１における仮想画像に表示された強調表示の一例を示す部分模式図である。

【図14】第１実施形態に係る運転支援装置の動作の一例を示すフローチャートである。

【図15】第１実施形態に係る荷崩れ判定部の動作の一例を示すフローチャートである。

【図16】第２実施形態に係る運転支援装置の全体的構成の一例を示すブロック図である。

【図17】第２実施形態に係る運転支援装置の動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、いくつかの例示的な実施形態について説明する。なお、同一の機能を有する要素については同一の符号を付し、重複する説明を省略する。

【0010】

各図中のＦＲ，ＲＲは、牽引車Ｖ１の前後方向、即ち車両前後方向における前方、後方をそれぞれ示す。ＬＨ，ＲＨは、牽引車Ｖ１の幅方向、即ち車幅方向における左方、右方をそれぞれ示す。ＵＰ，ＤＮは、牽引車Ｖ１の上下方向、即ち車両上下方向における上方、下方をそれぞれ示す。なお、牽引車Ｖ１の前方とは、牽引車Ｖ１が前進する際の走行方向のことをいう。また牽引車Ｖ１の後方とは、牽引車Ｖ１が前進する際の走行方向とは反対の方向のことをいう。

【0011】

実施形態に係る運転支援装置、及び荷崩れ検出方法によれば、牽引車Ｖ１に牽引される荷台６０に積載された積荷６１の荷崩れを検出することができる。運転支援装置、及び荷崩れ検出方法は、図２及び図３に示す例のような、牽引車Ｖ１と被牽引車Ｖ２とが連結されることにより構成された牽引自動車である車両Ｖに適用されてもよい。なお、被牽引車Ｖ２は牽引車Ｖ１に牽引される車両であり、牽引車Ｖ１の後方側の部位に連結される。

【0012】

被牽引車Ｖ２は、積荷６１を積載可能な荷台６０を備える。荷台６０は牽引車Ｖ１の後方側の領域に配設されている。積荷６１は、スラブ、ビレット、コイル等であってもよい。例えば、積荷６１は、上下方向に積み重ねられた複数のスラブを含む。図示した例では、荷台６０は平面視で略矩形の形状を有する。この場合、荷台６０の長さ方向の寸法Ｌ１は、幅方向の寸法Ｗ１よりも長くてもよい。即ち、荷台６０は、その長さ方向に延在する、平面視で略長方形の形状を有する部分であってもよい。また、荷台６０には積荷６１の変位を規制する複数の金属柱（不図示）が立設されていてもよい。即ち、被牽引車Ｖ２はスタンション型のトレーラーであってもよい。なお、図示した例では、積荷６１は平面視で略矩形の形状を備える。また、図に例示した状態では、牽引車Ｖ１の前後方向と、被牽引車Ｖ２の前後方向とは略平行である。そのため、牽引車Ｖ１の前後方向と荷台６０の長さ方向とは互いに一致している。また、被牽引車Ｖ２の幅方向と、荷台６０の幅方向とは一致している。

【0013】

周囲画像生成装置３は仮想画像５を経時的に生成する装置である。仮想画像５は、牽引車Ｖ１の少なくとも後方領域を上方から俯瞰した映像である。なお、後方領域とは、牽引車Ｖ１が前進する際の走行方向とは反対側の領域である。周囲画像生成装置３は牽引車Ｖ１の周囲を経時的に撮影可能なカメラ４を備える。カメラ４は、牽引車Ｖ１の後方領域を経時的に撮影可能なカメラ４ａ，４ｂを含む。周囲画像生成装置３は、カメラ４ａ，４ｂの撮影画像を合成し、各時刻Ｔにおける仮想画像５を経時的に生成し出力することができる。なお、周囲画像生成装置３は牽引車Ｖ１に搭載されている。

【0014】

図２及び図３に示すように、カメラ４ａ，４ｂは、例えば牽引車Ｖ１のキャビン６２の後方側の部位に、後方に向けて取付けられてもよい。これにより、カメラ４ａ，４ｂによって積荷６１が荷台６０に積載された被牽引車Ｖ２を経時的に撮影することができる。なお、スラブ等を製造する製造事業所、又はトラックの積荷の積み替えを行う貨物ターミナル等では、被牽引車Ｖ２の台数が牽引車Ｖ１の台数より多い場合が有る。そのような場合であっても、カメラ４は牽引車Ｖ１に取付けられるため、被牽引車Ｖ２にカメラ４が設置されているか否かに関わらず、牽引車Ｖ１の後方領域を撮影することができる。換言すれば、複数の被牽引車Ｖ２で、カメラ４を備えた牽引車Ｖ１を共用することができ、より費用対効果を高めることができる。

【0015】

カメラ４ａ，４ｂは、積荷６１よりも上方であって、荷台６０の後端部６０ｂと、積荷６１の後端部６１ｂと、を同時に撮影可能な高さの位置に設置されている。なお、カメラ４ａ，４ｂはブラケット等の固定具（図示せず）を介して牽引車Ｖ１の車高よりも高い位置に取付けられてもよい。図示した例では、２つのカメラ４ａ，４ｂを用いて牽引車Ｖ１の後方領域を撮影しているが、これに限定されない。１つ、又は３つ以上のカメラを用いて牽引車Ｖ１の後方領域を撮影してもよい。

【0016】

なお、牽引車Ｖ１はカメラ４ｃ，４ｄ，４ｅを更に備えてもよい。カメラ４ｃは牽引車Ｖ１の前方側の部位に取付けられた、牽引車Ｖ１の前方領域を経時的に撮影可能なカメラである。カメラ４ｄは牽引車Ｖ１の左方側の部位に取付けられた、牽引車Ｖ１の左方領域を経時的に撮影可能なカメラである。カメラ４ｅは牽引車Ｖ１の右方側の部位に取付けられた、牽引車Ｖ１の右方領域を経時的に撮影可能なカメラである。図２及び図３に示した例では、カメラ４ｃ，４ｄ，４ｅは、上下方向においてカメラ４ａ，４ｂと略同じ位置に取付けられているが、これに限定されない。例えば、カメラ４ｃ，４ｄ，４ｅは、カメラ４ａ，４ｂよりも高い位置又は低い位置に設置されてもよい。なお、周囲画像生成装置３は、カメラ４ａ～４ｅにより撮影された画像を合成することで仮想画像５を生成してもよい。

【0017】

図４及び図５に例示するように、仮想画像５には、少なくとも牽引車Ｖ１の後方領域を上方から見た画像が含まれている。より具体的には、仮想画像５には荷台６０及び積荷６１が配設された、牽引車Ｖ１の後方領域を上方から見た画像が含まれている。なお、仮想画像５には、例えば被牽引車Ｖ２の周囲に存在する建物、又は道路に配設された構造物の画像が含まれてもよい。

【0018】

図５に例示する第１仮想画像５ａは、周囲画像生成装置３が経時的に生成した仮想画像５のうち、現在の時刻Ｔ１における画像である。即ち、第１仮想画像５ａは周囲画像生成装置３によって生成された仮想画像５のうち、撮影画像の時系列順において最も後に生成された、即ち最新の画像である。

【0019】

図４に例示する第２仮想画像５ｂは、周囲画像生成装置３が経時的に生成した仮想画像５のうち、ある時刻Ｔ２における画像である。時刻Ｔ２は、時刻Ｔ１から所定時間遡った時刻である。即ち、第２仮想画像５ｂは第１仮想画像５ａよりも前に生成された画像である。なお、当該所定時間は例えばカメラ４の撮影間隔と同じ時間であってもよく、当該撮影間隔の整数倍の時間であってもよい。例えば、第２仮想画像５ｂは、第１仮想画像５ａの１フレーム前に撮影された画像に基づいて生成された仮想画像５であってもよく、第１仮想画像５ａの複数フレーム前に撮影された画像に基づいて生成された仮想画像５であってもよい。

【0020】

図４及び図５に示す例では、牽引車Ｖ１は転舵角の変更により、矢印Ａに示すように左折動作を行っている。第２仮想画像５ｂは、被牽引車Ｖ２の前後方向が、牽引車Ｖ１の前後方向に対して連結角θ２で交差した状態を示している。一方、第１仮想画像５ａは第２仮想画像５ｂに示す状態から所定時間経過後、即ち、１又は複数フレーム後の仮想画像５である。第１仮想画像５ａは、被牽引車Ｖ２の前後方向が、牽引車Ｖ１の前後方向に対して連結角θ１で交差した状態を示す。この連結角θ１は、例えば図５に示すように、連結角θ２よりも大きい。

【0021】

（第１実施形態）
図１を参照して、第１実施形態に係る運転支援装置１ａの構成を説明する。本実施形態に係る運転支援装置１ａは、車両Ｖの運転支援に必要な処理を行うコントローラ２ａを備える。運転支援装置１ａには周囲画像生成装置３と、ＨＭＩ７（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）とが接続されている。

【0022】

まず、ＨＭＩ７について説明する。ＨＭＩ７は、コントローラ２ａに入出力を行うための装置であり、例えばタッチパネルディスプレイから構成された表示部８を備える（図１参照）。表示部８には、上述の仮想画像５、又は後述する通知部４０による強調表示等を表示可能であってもよい。また、表示部８の表示面には入力部９が設定されている。なお、ＨＭＩ７は例えば牽引車Ｖ１の車室内に設置されていてもよいが、これに限定されない。例えば、ＨＭＩ７は牽引車Ｖ１の状況を監視する管制施設に設置されてもよい。その場合には、ＨＭＩ７とコントローラ２ａとは無線接続されてもよい。また、牽引車Ｖ１の車室内と当該管制施設との両方にＨＭＩ７を設置してもよい。

【0023】

入力部９は、所定の符号、数値等をコントローラ２ａに入力することができるように構成されている。例えば、入力部９には被牽引車Ｖ２に付与された識別符号が入力可能である。識別符号は被牽引車Ｖ２毎に設定されている符号であり、荷台６０の長さ方向の寸法Ｌ１、及び幅方向の寸法Ｗ１と関連付けられている。即ち、入力部９に識別符号を入力することにより、コントローラ２ａは荷台６０の寸法Ｌ１、及び寸法Ｗ１を特定することができる。識別符号は文字、数字、記号等を含んでもよい。なお、入力部９は荷台６０の寸法Ｌ１の値、及び寸法Ｗ１の値を入力可能に構成されてもよい。

【0024】

入力部９には、運転支援開始の準備が完了したことを示す第１トリガ信号をコントローラ２ａに入力するための開始スイッチ（不図示）が設定されていてもよい。なお、ＨＭＩ７は、識別符号、又は、寸法Ｌ１及び寸法Ｗ１の値が入力されたこと応じて第１トリガ信号を出力してもよい。

【0025】

次にコントローラ２ａについて説明する。コントローラ２ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ、入出力部等を備える汎用のマイクロコンピュータである。マイクロコンピュータのメモリには、車両Ｖを運転支援するための既定のルール、指示等を含むコンピュータプログラムがインストールされている。当該コンピュータプログラムを実行することにより、マイクロコンピュータは、牽引車Ｖ１の運転支援を実施できる。

【0026】

図１に示す例では、コントローラ２ａは、エッジ画像生成部１０と、判定領域検出部２０と、荷崩れ判定部３０とを備える。

【0027】

エッジ画像生成部１０は、周囲画像生成装置３から仮想画像５を経時的に取得する。そして、仮想画像５の各々からエッジを抽出することにより、エッジ画像１１を生成する。エッジ画像１１は少なくとも荷台６０及び積荷６１のエッジを含む画像である。

【0028】

図６に例示するように、エッジ画像生成部１０は第２仮想画像５ｂ（図４参照）から第２エッジ画像１１ｂを生成する。図示した例では、第２エッジ画像１１ｂは、第２仮想画像５ｂから抽出された荷台６０の外周縁を構成する輪郭線である第２荷台エッジ１４と、積荷６１の外周縁の少なくとも一部を構成する輪郭線である第２エッジ１５と、を含む。

【0029】

また、図７に例示するように、エッジ画像生成部１０は第１仮想画像５ａ（図５参照）から第１エッジ画像１１ａを生成する。図示した例では、第１エッジ画像１１ａは、第１仮想画像５ａから抽出された荷台６０の外周縁を構成する輪郭線である第１荷台エッジ１２と、積荷６１の外周縁の少なくとも一部を構成する輪郭線である第１エッジ１３と、を含む。

【0030】

なお、図６及び図７では牽引車Ｖ１の輪郭線の表示を省略した。また、エッジ画像１１に含まれるエッジは図示した例に限定されない。例えば、積荷６１の外形を構成する各面の境界線を示す輪郭線、被牽引車Ｖ２の周囲に存在する建物の外形を構成する輪郭線、道路に配設された構造物の外形を構成する輪郭線等がエッジ画像１１に含まれてもよい。なお、第１エッジ画像１１ａを示す各図において、説明のため第２エッジ画像１１ｂに係る積荷６１のエッジを破線で示した。

【0031】

エッジ画像生成部１０が仮想画像５からエッジ画像１１を生成する際には、公知のエッジ検出処理を用いることができる。例えば、仮想画像５に勾配法、ラプラシアン法等のエッジ検出処理を適用することによりエッジ画像１１を生成してもよい。なお、勾配法は、画像に対して微分フィルタを適用して当該画像における各画素の勾配の大きさを求め、所定の閾値を用いて二値化することによりエッジを抽出する処理である。ラプラシアン法は、画像に対してラプラシアンフィルタを適用した後にゼロ交差を求め、所定の閾値を用いて二値化することによりエッジを抽出する処理である。

【0032】

次に判定領域検出部２０について説明する。判定領域検出部２０は、荷台６０に対応する判定領域２１をエッジ画像１１から検出する。図６に示す例では、判定領域検出部２０は第２エッジ画像１１ｂ内の判定領域２１として第２判定領域２３を検出している。第２判定領域２３は、第２エッジ画像１１ｂに含まれる輪郭線が形成する略矩形の閉領域のうち、荷台エッジ１４ａ、荷台エッジ１４ｂ、荷台エッジ１４ｃ、及び荷台エッジ１４ｄによって囲まれた閉領域である。

【0033】

また、図７に示す例では、判定領域検出部２０は第１エッジ画像１１ａ内の判定領域２１として第１判定領域２２を検出している。第１判定領域２２は、第１エッジ画像１１ａに含まれる輪郭線が形成する略矩形の閉領域のうち、荷台エッジ１２ａ、荷台エッジ１２ｂ、荷台エッジ１２ｃ、及び荷台エッジ１２ｄによって囲まれた閉領域である。

【0034】

荷台エッジ１２ａ，１４ａは荷台６０の前端部６０ａに対応する輪郭線であり、荷台エッジ１２ｂ，１４ｂは荷台６０の後端部６０ｂに対応する輪郭線である（図２参照）。また、荷台エッジ１２ｃ，１４ｃは荷台６０の幅方向の一側端部６０ｃに対応する輪郭線であり、荷台エッジ１２ｄ，１４ｄは荷台６０の幅方向の他側端部６０ｄに対応する輪郭線である。

【0035】

なお、判定領域２１は予め特定された荷台６０の長さ方向の寸法Ｌ１、及び幅方向の寸法Ｗ１に基づき検出される。例えば、荷台６０に予め付与された識別符号に基づき、検出される判定領域２１の寸法が設定されてもよい。図６又は図７に示す例では、荷台エッジ１２ａ、荷台エッジ１２ｂ、荷台エッジ１４ａ、及び荷台エッジ１４ｂは、予め特定された荷台６０の寸法Ｗ１に対応する画素数からなるエッジである。また、荷台エッジ１２ｃ、荷台エッジ１２ｄ、荷台エッジ１４ｃ、及び荷台エッジ１４ｄは、予め特定された荷台６０の寸法Ｌ１に対応する画素数からなるエッジである。

【0036】

判定領域検出部２０が判定領域２１を検出する際には、公知のパターン検出処理を用いることができる。例えば、エッジ画像１１にテンプレートマッチング等の処理を適用して判定領域２１を検出してもよい。テンプレートマッチングでは、所定の形状、寸法等を備えたテンプレートと同一又は類似したパターンを画像から検出する。当該テンプレートの寸法は、予め特定された荷台６０の寸法Ｗ１及び寸法Ｌ１に基づき設定される。

【0037】

判定領域検出部２０は判定領域２１の位置又は姿勢を経時的に追跡し、撮影時刻の異なる仮想画像５の各々から検出された判定領域２１同士を関連付けてもよい。図４及び図５に示す仮想画像５では、牽引車Ｖ１の左折動作により、時刻Ｔ１における連結角θ１は時刻Ｔ２における連結角θ２よりも大きい。そのため、第１仮想画像５ａに基づく第１判定領域２２の位置又は姿勢と、第２仮想画像５ｂに基づく第２判定領域２３の位置又は姿勢とが異なる。そのような場合であっても、判定領域検出部２０が、第１判定領域２２と第２判定領域２３とを互いに対応する判定領域２１として関連付けることにより、より確実に第１判定領域２２と第２判定領域２３とを比較することができる。

【0038】

なお、図６及び図７に示すエッジ画像１１では、第１判定領域２２の姿勢と、第２判定領域２３の姿勢とが一致するように、第１判定領域２２と第２判定領域２３とが関連付けられている。例えば、第１エッジ画像１１ａ又は第２エッジ画像１１ｂを適宜回転させ、両者の座標軸Ｘ及び座標軸Ｙを一致させることにより、第１判定領域２２と第２判定領域２３とを関連付けてもよい。なお、図示した座標軸Ｘは荷台６０の長さ方向に対応する座標軸であり、座標軸Ｙは荷台６０の幅方向に対応する座標軸である。

【0039】

次に荷崩れ判定部３０について説明する。荷崩れ判定部３０は、第１判定領域２２内における積荷６１のエッジと、第２判定領域２３内における積荷６１のエッジとを比較することにより、荷台６０で荷崩れが発生したか否かを判定する。より具体的には、荷崩れ判定部３０は、第１判定領域２２における第１エッジ１３と、第２判定領域２３における第２エッジ１５とを比較することにより、荷崩れが発生したか否かを判定する。図６及び図７に示す例では、第１エッジ１３は時刻Ｔ１における積荷６１の前端部６１ａに対応するエッジ１３ａである。また、第２エッジ１５は時刻Ｔ２における積荷６１の前端部６１ａに対応するエッジ１５ａである。荷崩れ判定部３０は、荷崩れが発生したと判定した場合には荷崩れの発生を示す第２トリガ信号を出力してもよい。

【0040】

荷崩れ判定部３０は、第１エッジ１３に基づくエッジ探索範囲３１を設定してもよい。図７に示す例では、エッジ探索範囲３１は第１エッジ１３の中心Ｏ１から所定距離以内の領域に設定されている。なお、図示した例では、中心Ｏ１は第１エッジ１３を構成する線分の中点である。また、当該所定距離はカメラ４ａ，４ｂ等の分解能、又は走行中の車両Ｖにおいて想定される積荷６１の振動の大きさ等に応じて適宜設定してもよい。ある実施形態では、当該所定距離は５～１５ｃｍであってもよい。

【0041】

次に図８及び図９を参照しながら、荷崩れ判定部３０による、第１エッジ１３と第２エッジ１５との比較と、第１エッジ１３と第２エッジ１５との対応付けが可能か否かの判定について説明する。なお、「対応付け」とは時刻Ｔ１における積荷６１のエッジと、時刻Ｔ２における積荷６１のエッジとを紐付けることをいう。例えば、第１エッジ１３と第２エッジ１５との対応付けは、時刻Ｔ２における第２エッジ１５が、時刻Ｔ１における第１エッジ１３に相当することを表す。

【0042】

図８に示す例では、第２エッジ１５の少なくとも一部がエッジ探索範囲３１内に含まれている。このとき、荷崩れ判定部３０は、第１エッジ１３と第２エッジ１５との長さの差に基づき、第１エッジ１３に第２エッジ１５が対応付け可能か否かを判定してもよい。例えば、第１エッジ１３の長さと、第２エッジ１５の長さとの差の絶対値が０ｃｍ以上、かつ所定値以下の場合に、荷崩れ判定部３０は第１エッジ１３に第２エッジ１５が対応付け可能であると判定する。即ち、荷崩れ判定部３０は、第１エッジ１３に対応付け可能な第２エッジ１５の少なくとも一部がエッジ探索範囲３１内に含まれると判定する。そして、荷崩れ判定部３０は第１エッジ１３と第２エッジ１５とを対応付ける。

【0043】

一方、荷崩れ判定部３０は、第１エッジ１３と第２エッジ１５の長さの差の絶対値が当該所定値を超える場合に、第１エッジ１３に第２エッジ１５が対応付けできないため、荷崩れが発生したと判定する。即ち、荷崩れ判定部３０は、第１エッジ１３と対応付け可能な第２エッジ１５がエッジ探索範囲３１内に含まれておらず、荷崩れが発生したと判定する。なお、当該所定値はカメラ４ａ，４ｂの分解能、又は走行中の車両Ｖにおいて想定される積荷６１の振動の大きさ等に応じて適宜設定することができる。ある実施形態では、当該所定値は１ｃｍ～１０ｃｍであってもよい。

【0044】

また、荷崩れ判定部３０は、第１エッジ１３の姿勢と、第２エッジ１５の姿勢との差に基づき、第１エッジ１３に第２エッジ１５が対応付け可能か否かを判定してもよい。例えば、第１エッジ１３と第２エッジ１５とのなす角度θ３が０度以上、かつ所定角度以下の場合に、荷崩れ判定部３０は第１エッジ１３に第２エッジ１５が対応付け可能であると判定する。即ち、荷崩れ判定部３０は、第１エッジ１３に対応付け可能な第２エッジ１５の少なくとも一部がエッジ探索範囲３１内に含まれると判定する。そして、荷崩れ判定部３０は第１エッジ１３と第２エッジ１５とを対応付ける。

【0045】

一方、荷崩れ判定部３０は、角度θ３が当該所定角度を超える場合に、第１エッジ１３に第２エッジ１５が対応付けできないため、荷崩れが発生したと判定する。即ち、荷崩れ判定部３０は、第１エッジ１３と対応付け可能な第２エッジ１５がエッジ探索範囲３１内に含まれておらず、荷崩れが発生したと判定する。なお、当該所定角度はカメラ４ａ，４ｂの分解能、又は走行中の車両Ｖにおいて想定される積荷６１の振動の大きさ等に応じて適宜設定することができる。ある実施形態では、当該所定角度は１度～４５度であってもよい。角度θ３は、第１エッジ１３と第２エッジ１５とのなす角のうち、小さい方の角度である。

【0046】

なお、図８に示す例では、第１エッジ１３に基づくエッジ探索範囲３１内に、第２エッジ１５の中心Ｏ２が位置している。一方、図９に示す例では、第２エッジ１５の中心Ｏ２がエッジ探索範囲３１の外に位置している。図９のような場合には、荷崩れ判定部３０は、第２エッジ１５がエッジ探索範囲３１内に含まれておらず、第２エッジ１５を第１エッジ１３に対応付けることができないと判定してもよい。即ち、荷崩れ判定部３０は第２エッジ１５の中心Ｏ２がエッジ探索範囲３１内に位置するか否かにより、第１エッジ１３と第２エッジ１５とが対応付け可能か否かを判断してもよい。

【0047】

図７に示す例では、積荷６１の輪郭線として、第１エッジ１３であるエッジ１３ａの他、エッジ１３ｂ、エッジ１３ｃ、及びエッジ１３ｄが抽出されている。このような場合には、エッジ１３ｂ～エッジ１３ｄの各々についても、エッジ１３ａと同様にエッジ探索範囲３１を設定し、対応付けが可能な積荷６１のエッジが第２判定領域２３に含まれているか判定する。そして、エッジ１３ｂ～エッジ１３ｄのいずれかが、第２判定領域２３における積荷６１のエッジと対応付けることができない場合には、荷崩れが発生したと判定する。

【0048】

一方、エッジ１３ｂ～エッジ１３ｄの各々が、第２判定領域２３における積荷６１のエッジのいずれかと対応付けることができる場合には、荷崩れ判定部３０は、エッジ１３ｂ～エッジ１３ｄの各々と、これらに対応付け可能なエッジの各々とを対応付けてもよい。例えば図７に示す例では、エッジ１３ｂとエッジ１５ｂ、エッジ１３ｃとエッジ１５ｃ、及びエッジ１３ｄとエッジ１５ｄの各々の組み合わせが対応付け可能な場合には、それぞれのエッジ同士を対応付けてもよい。

【0049】

なお、エッジ１３ｂ、エッジ１３ｃ、及びエッジ１３ｄは、時刻Ｔ１における積荷６１の後端部６１ｂ、一側端部６１ｃ、他側端部６１ｄに各々対応する。また、エッジ１５ｂ、エッジ１５ｃ、及びエッジ１５ｄは、時刻Ｔ２における積荷６１の後端部６１ｂ、一側端部６１ｃ、他側端部６１ｄに各々対応する。

【0050】

荷崩れ判定部３０は、第１判定領域２２内の積荷６１のエッジと、第２判定領域２３内の積荷６１のエッジとを比較して、第２判定領域２３内には存在するが第１判定領域２２内には存在しないエッジが検出された場合には、荷崩れが発生したと判定してもよい。

【0051】

図１０に示す例では、例えば荷台６０から積荷６１が落下したことにより、第１判定領域２２には積荷６１のエッジが含まれていない。一方、第２判定領域２３には第２エッジ１５が含まれている。即ち、第２判定領域２３における積荷６１の第２エッジ１５は、第１判定領域２２における積荷６１のエッジと対応付けられない。このような場合、荷崩れ判定部３０は荷崩れが発生したと判定する。

【0052】

また、図１１に示す例では、例えば荷台６０上で積荷６１が水平方向に変位したことにより、積荷６１の一側端部６１ｃが荷台６０の一側端部６０ｃよりも幅方向外方に位置している。そのため、エッジ１３ｃは第１判定領域２２内に含まれていない。よって、例えばエッジ１３ａとエッジ１５ａ、エッジ１３ｂとエッジ１５ｂ、及びエッジ１３ｄとエッジ１５ｄの各々の組み合わせが対応付けられた場合であっても、エッジ１５ｃは、第１判定領域２２内のいずれのエッジとも対応付けられない。このような場合には、荷崩れ判定部３０は荷崩れが発生したと判定する。即ち、荷崩れ判定部３０は、第２判定領域２３における積荷６１のエッジの少なくとも一つが、第１判定領域２２における積荷６１のエッジと対応付けられていないとき、荷崩れが発生したと判定してもよい。

【0053】

また、コントローラ２ａは通知部４０を備えてもよい。通知部４０は、荷崩れが発生したと荷崩れ判定部３０が判定したとき、荷崩れの発生を通知する機能を備える。通知部４０は、第２トリガ信号を荷崩れ判定部から受信したことに応じて荷崩れの発生を通知してもよい。なお、通知部４０は荷崩れの発生を警告音、又は表示部８への警告表示等によって通知してもよい。例えば、通知部４０は荷崩れの発生を示す警告音をＨＭＩ７のスピーカー（不図示）から発してもよく、荷崩れの発生を示す文字、図形、記号等を表示部８に表示してもよい。これにより、通知部４０は荷崩れの発生を牽引車Ｖ１の乗員、又は管制施設で車両Ｖを監視する監視者に通知することができる。

【0054】

また、通知部４０は、荷崩れの発生を強調するための強調表示を行ってもよい。強調表示は、荷崩れが発生したという判定の根拠となった積荷６１のエッジを表示部８に示す表示である。強調表示により、運転支援装置１ａは、積荷６１のうち荷崩れが発生した個所をより明瞭に通知することができる。なお、図１２及び図１３に示すように、強調表示は仮想画像５に重畳して表示されてもよい。これにより、運転支援装置１ａは、荷台６０における積荷６１の荷崩れが発生した位置をより明瞭に示すことができる。なお、強調表示の態様は図示した例に限定されず、より明瞭に荷崩れの発生を通知できるように、強調表示するエッジの色調、太さ等を適宜設定してもよい。

【0055】

図１２に示す例では、通知部４０は第１判定領域２２における積荷６１のエッジのうち、第２判定領域２３における積荷６１のエッジと対応付けされていないエッジを仮想画像５上に重畳することにより、強調表示を行っている。図示した例ではエッジ１３ａ，１３ｂは、第２判定領域２３における積荷６１のエッジと対応付けされていない。そのため、通知部４０はエッジ１３ａ，１３ｂを表示部８に表示している。

【0056】

図１３に示す例では、通知部４０は第２判定領域２３における積荷６１のエッジのうち、第１判定領域２２における積荷６１のエッジに対応付けられていないエッジを表示することにより、強調表示を行っている。図示した例ではエッジ１５ｃは、第１判定領域２２の積荷６１のエッジと対応付けられていない。そのため、通知部４０は、エッジ１５ｃを表示部８に表示することにより、強調表示を行っている。

【0057】

次に、図１４のフローチャートを参照しながら、運転支援装置１ａの動作の一例について説明する。図に例示するステップＳ１０１～ステップＳ１０４の処理を繰り返すことにより、車両Ｖの走行中に発生した荷崩れをより確実に検出することができる。

【0058】

運転支援装置１ａによる運転支援を開始するにあたり、まず、牽引車Ｖ１と被牽引車Ｖ２とを連結する作業を行う。連結作業は、製造事業所、又は貨物ターミナル等の敷地内で行われてもよい。次に、乗員がＨＭＩ７の入力部９を操作して荷台６０に付与された識別符号を入力する。その後、被牽引車Ｖ２の荷台６０に積荷６１を載置する作業が行われ、開始スイッチの操作に応じて第１トリガ信号がコントローラ２ａに入力され運転支援が開始される。なお、牽引車Ｖ１と被牽引車Ｖ２とを連結する際、予め荷台６０に積荷６１が載置されていてもよい。また、識別符号を入力してから、牽引車Ｖ１と被牽引車Ｖ２とを連結してもよい。また、入力部９への識別符号の入力に応じて第１トリガ信号が出力される場合には、開始スイッチの操作は省略できる。なお、これらの作業又は操作を行う前後にかけて任意のタイミングで、ＨＭＩ７の表示部８に仮想画像５を表示させる。例えば、入力部９に識別符号が入力された際に、表示部８に時刻Ｔ１における第１仮想画像５ａが表示されてもよい。

【0059】

Ｓ１０１において、エッジ画像生成部１０は、周囲画像生成装置３から取得した仮想画像５からエッジを抽出し、エッジ画像１１を生成する。例えば時刻Ｔ２においては、エッジ画像生成部１０は第２仮想画像５ｂから荷台６０の第２荷台エッジ１４と、積荷６１の第２エッジ１５とを抽出することにより、第２エッジ画像１１ｂを生成する。また、時刻Ｔ１においては、エッジ画像生成部１０は、第１仮想画像５ａから荷台６０の第１荷台エッジ１２と、積荷６１の第１エッジ１３と、を抽出することにより第１エッジ画像１１ａを生成する。その後、処理はステップＳ１０２に進む。

【0060】

なお、ステップＳ１０１では、時刻Ｔ２において第２エッジ１５であるエッジ１５ａの他、１つ以上のエッジが抽出されてもよい。図６に示す例では、第２エッジ１５の他、エッジ１５ｂ～エッジ１５ｄが抽出されている。また、時刻Ｔ１において、第１エッジ１３であるエッジ１３ａの他、１つ以上のエッジが抽出されてもよい。図７に示す例では、第１エッジ１３の他、エッジ１３ｂ～エッジ１３ｄが抽出されている。

【0061】

ステップＳ１０２において、判定領域検出部２０は、エッジ画像１１から、荷台６０に対応する判定領域２１を検出する。例えば、時刻Ｔ２において判定領域検出部２０は、第２エッジ画像１１ｂ内の第２判定領域２３を検出する。また、時刻Ｔ１において判定領域検出部２０は、第１エッジ画像１１ａ内の第１判定領域２２を検出する。その後、処理はステップＳ１０３に進む。

【0062】

ステップＳ１０３において、荷崩れ判定部３０は、荷台６０で荷崩れが発生したか否かを判定する。例えば、荷崩れ判定部３０は、第１エッジ１３と、第２エッジ１５とを比較することにより、荷崩れが発生したか否かを判定する。荷崩れが発生したと判定された場合（ステップＳ１０３でＹｅｓ）、処理はステップＳ１０４に進む。なお、その際に荷崩れ判定部３０は第２トリガ信号を出力してもよい。また、荷崩れが発生していないと判定された場合（ステップＳ１０３でＮｏ）、一連の処理は終了する。

【0063】

ステップＳ１０４において、通知部４０は荷崩れの発生を通知する。通知部４０は、第２トリガ信号を荷崩れ判定部から受信したことに応じて荷崩れの発生を通知してもよい。例えば、通知部４０は荷崩れの発生を示す警告音をＨＭＩ７のスピーカーから発することにより、荷崩れの発生を通知してもよい。また、通知部４０は、荷崩れの発生を強調するための強調表示を行ってもよい。例えば、通知部４０は、ＨＭＩ７の表示部８に表示された第１仮想画像５ａに、荷崩れが発生したという判定の根拠となった積荷６１のエッジを重畳して表示してもよい。ステップＳ１０４の後、一連の処理は終了する。

【0064】

次に、図１５のフローチャートを参照しながら、ステップＳ１０３における荷崩れが発生したか否かの判定の処理について、より詳細に説明する。

【0065】

ステップＳ３００において、荷崩れ判定部３０は、第１エッジ１３に基づくエッジ探索範囲３１を設定する。例えば、第１エッジ１３の中心Ｏ１から所定距離以内の領域をエッジ探索範囲３１として設定する。その後、処理はステップＳ３０１に進む。

【0066】

ステップＳ３０１において、荷崩れ判定部３０は、第１エッジ１３に対応付け可能な第２エッジ１５がエッジ探索範囲３１内に含まれるか否か判定する。ステップＳ３０１の判定は、第１エッジ１３と第２エッジ１５との長さ又は姿勢の差に基づき判断されてもよい。例えば、第１エッジ１３と第２エッジ１５との長さ及び姿勢の差が所定値以内の場合、荷崩れ判定部３０は、第１エッジ１３に対応付け可能な第２エッジ１５がエッジ探索範囲３１内に含まれていると判定する（ステップＳ３０１でＹｅｓ）。そして、処理はステップＳ３０２に進む。一方、第１エッジ１３と第２エッジ１５との長さ又は姿勢の差が所定値を超える場合、荷崩れ判定部３０は、第１エッジ１３に対応付け可能な第２エッジ１５がエッジ探索範囲３１内に含まれていないと判定する（ステップＳ３０１でＮｏ）。そして、処理はステップＳ３０５に進む。

【0067】

ステップＳ３０２では、荷崩れ判定部３０は、ステップＳ３０１で対応付け可能と判定された、第１判定領域２２内の積荷６１のエッジと、第２判定領域２３内の積荷６１エッジとを対応付ける。例えば、第１エッジ１３と第２エッジ１５とを対応付ける。そして処理はステップＳ３０３に進む。

【0068】

ステップＳ３０３において、荷崩れ判定部３０は、第１判定領域２２内の積荷６１のエッジ全てについてステップＳ３０１の判定が行われたかを判断する。例えば、時刻Ｔ１におけるステップＳ１０１で、第１エッジ１３（エッジ１３ａ）の他、エッジ１３ｂ～エッジ１３ｄが抽出されていた場合には、エッジ１３ａ～エッジ１３ｄの各々について、ステップＳ３０１の判定が行われたかを判断する。全てのエッジについてステップＳ３０１の判定が行われていた場合には（ステップＳ３０３でＹｅｓ）、処理はステップＳ３０４に進む。ステップＳ３０１の判定が行われていないエッジが第１判定領域２２内に存在する場合には（ステップＳ３０３でＮｏ）、処理はステップＳ３０１に戻り、判定未済のエッジについてステップＳ３０１の判定を行う。

【0069】

なお、図１０に示す例のように、時刻Ｔ１における第１判定領域２２に積荷６１のエッジが存在しない場合には、ステップＳ３００～ステップＳ３０３は省略されてもよい。

【0070】

ステップＳ３０４において、荷崩れ判定部３０は、第２判定領域２３における積荷６１のエッジに、ステップＳ３０２の対応付けが行われていないエッジが含まれるか否か判定する。そして、第２判定領域２３における積荷６１の全てのエッジについてステップＳ３０２の対応付けが行われていた場合には（ステップＳ３０４でＮｏ）、荷崩れが発生したか否かの判定は終了する。一方、第２判定領域２３における積荷６１のエッジの少なくとも一つが、第１判定領域２２における積荷６１のエッジと対応付けられていな場合（ステップＳ３０４でＹｅｓ）、処理はステップＳ３０５に進む。

【0071】

図１０に示す例では、第２判定領域２３には第２エッジ１５が含まれているが、第１判定領域２２には積荷６１のエッジが含まれていない。そのため、第２エッジ１５は第１判定領域２２内の積荷６１のエッジと対応付けられていない。よって、荷崩れ判定部３０はステップＳ３０４でＹｅｓと判定し、処理はステップＳ３０５に進む。

【0072】

なお、時刻Ｔ２におけるステップＳ１０１で積荷６１のエッジが複数抽出された場合には、荷崩れ判定部３０は、それら複数のエッジの各々について、ステップＳ３０２の対応付けが行われたか否か判定する。図１１に示す例では、エッジ１３ｃは第１判定領域２２に含まれていない。そのため、例えばエッジ１３ａとエッジ１５ａ、エッジ１３ｂとエッジ１５ｂ、及びエッジ１３ｄとエッジ１５ｄの組み合わせの各々が対応付けられた場合であっても、エッジ１５ｃは、第１判定領域２２内のいずれのエッジとも対応付けられない。よって、荷崩れ判定部３０はステップＳ３０４でＹｅｓと判定し、処理はステップＳ３０５に進む。

【0073】

ステップＳ３０５において、荷崩れ判定部３０は、荷台６０で積荷６１の荷崩れが発生したものと判定する。そして、荷崩れが発生したという判定の根拠となった積荷６１のエッジの、判定領域２１における位置、長さ、姿勢等の情報を保存する。例えば、図１２に示すようにエッジ１３ａ，１３ｂが、第２判定領域２３における積荷６１のエッジと対応付けされていない場合には、荷崩れ判定部３０はエッジ１３ａ，１３ｂの第１判定領域２２における位置、長さ、姿勢等の情報を保存する。図１３に示す例では、第２判定領域２３のエッジ１５ｃは、第１判定領域２２の積荷６１のエッジと対応付けられていない。そのため、荷崩れ判定部３０は、エッジ１５ｃの第２判定領域２３における位置、長さ、姿勢等の情報を保存する。ステップＳ３０５の後、荷崩れが発生したか否かの判定は終了する。

【0074】

（第２実施形態）
次に図１６を参照して、第２実施形態に係る運転支援装置１ｂの構成を説明する。運転支援装置１ｂは、車両Ｖの運転支援に必要な処理を行うコントローラ２ｂを備える。また、運転支援装置１ａと同様に、運転支援装置１ｂには周囲画像生成装置３と、ＨＭＩ７とが接続されている。コントローラ２ｂはコントローラ２ａに相当するマイクロコンピュータであり、コントローラ２ａと同様の機能を備えるが、更に車両制御部５０を含む。また、運転支援装置１ｂにはブレーキ駆動部５１が更に接続されている。

【0075】

運転支援装置１ｂは、例えば自動運転制御機能を備える車両Ｖに適用することができる。自動運転制御機能は、自車両の周囲の状況、又は自車両の状態等に基づいて、乗員による操舵、ペダル操作等の運転操作によらず、自車両の走行を自動的に制御する機能である。車両Ｖが自動運転制御機能を備える場合、乗員による操作を介することなく加減速、及び操舵を自動的に行う自動運転が可能である。また、当該自動運転には、所定走行環境において乗員による操作を介することなく、車両Ｖが加減速、及び操舵を自動的に行う場合を含んでもよい。当該の所定走行環境は、例えば製造事業所、又は貨物ターミナル等の敷地内であってもよい。

【0076】

車両制御部５０は、ブレーキ駆動部５１の制御を行う機能を有する。当該制御は、荷崩れ判定部３０から車両制御部５０に第２トリガ信号が入力されたことに応じて行われてもよい。荷崩れ判定部３０が荷崩れの発生を検出した場合には、車両制御部５０は牽引車Ｖ１を減速又は停車させるための第３トリガ信号を出力してもよい。

【0077】

ブレーキ駆動部５１は第３トリガ信号の入力に応じて、図示しないブレーキアクチュエータ等を駆動制御し、牽引車Ｖ１を減速又は停車させることができる。なお、コントローラ２ｂには、ステアリング駆動部、アクセル駆動部等（いずれも不図示）が接続されていてもよい。その場合には、車両制御部５０はステアリング駆動部、アクセル駆動部の制御を行う機能を有してもよい。これにより、例えば車両制御部５０が車両Ｖを減速又は停車させる際に、牽引車Ｖ１のステアリング又はアクセルを制御し、停車位置又は停車タイミングをより適切に制御することができる。

【0078】

次に、図１７のフローチャートを参照しながら、運転支援装置１ｂの動作の一例について説明する。図に例示するステップＳ１０１～ステップＳ1０５の処理を繰り返すことにより、車両Ｖの走行中に発生した荷崩れをより確実に検出することができる。更に、荷崩れが発生した場合に牽引車Ｖ１を減速又は停車させることができる。なお、ステップＳ１０１～ステップＳ１０４は第１実施形態と同様であるため説明を省略する。

【0079】

ステップＳ１０５では、車両制御部５０は牽引車Ｖ１を減速又は停車させるための第３トリガ信号を出力する。これによりブレーキ駆動部５１が制御され、牽引車Ｖ１が減速又は停車される。そして一連の処理は終了する。

【0080】

なお、図示した例ではステップＳ１０４の次にステップＳ１０５の処理が行われるが、これに限定されない。ステップＳ１０４とステップＳ１０５とは逆の順序で、又は同時に処理されてもよい。即ち、車両制御部５０が第３トリガ信号を出力してから、通知部４０が荷崩れの発生を通知してもよく、また、車両制御部５０が第３トリガ信号を出力するのと同時に、通知部４０が荷崩れの発生を通知してもよい。

【0081】

以上の説明では、判定領域２１は、予め入力された識別符号、又は荷台６０の寸法Ｌ１，Ｗ１に基づき検出される態様を例としたが、これに限定されない。例えば、判定領域検出部２０は、様々な被牽引車の荷台の形状的特徴を学習したＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いて、エッジ画像１１から荷台に相当する領域を識別し、判定領域２１を検出してもよい。その場合には、ＨＭＩ７を介した識別符号、及び荷台６０の寸法Ｌ１，Ｗ１の値の入力を省略することができる。換言すれば、当該ＡＩを備える判定領域検出部２０によって判定領域２１を検出することにより、入力された識別符号又は数値に基づく寸法Ｌ１，Ｗ１の特定が不要となる。そのため、運転支援装置１ａ，１ｂは、より容易に車両Ｖの運転支援を提供することができる。なお、このような場合にはコントローラ２ａ，２ｂにはＨＭＩ７が接続されていなくてもよい。

【0082】

次に、実施形態に係る運転支援装置、及び荷崩れ検出方法の作用効果について説明する。

【0083】

（１）実施形態に係る運転支援装置１ａ，１ｂは、牽引車Ｖ１に牽引される荷台６０に積載された積荷６１の荷崩れを検出する運転支援装置であって、牽引車Ｖ１の後方を上方から見た仮想画像５を経時的に取得し、仮想画像５の各々から少なくとも荷台６０及び積荷６１のエッジを含むエッジ画像１１を生成するエッジ画像生成部１０と、エッジ画像１１から、荷台６０に対応する判定領域２１を検出する判定領域検出部２０と、荷崩れが発生したか否かを判定する荷崩れ判定部３０と、を備える。荷崩れ判定部３０は、仮想画像５の第１仮想画像５ａから抽出された積荷６１の第１エッジ１３と、第１仮想画像５ａよりも前に生成された仮想画像５の第２仮想画像５ｂから抽出された積荷６１の第２エッジ１５とを比較することにより、荷崩れが発生したか否かを判定する。

【0084】

実施形態に係る運転支援装置１ａ，１ｂによれば、牽引車Ｖ１の後方領域を上方から見た仮想画像５に基づきエッジ画像１１を生成する。そして、エッジ画像１１から検出された判定領域２１における積荷６１のエッジに基づき、荷崩れを検出することができる。そのため、荷崩れ判定を行う際の、牽引車Ｖ１と被牽引車Ｖ２との連結角の変化、又は被牽引車の周囲に存在する物体による影響を抑制することができる。従って、運転支援装置１ａ，１ｂは荷台６０で発生した荷崩れをより確実に検出することができる。

【0085】

（２）判定領域検出部２０は判定領域２１を経時的に追跡して、第１仮想画像５ａから生成された第１エッジ画像１１ａ内に検出された第１判定領域２２と、第２仮想画像５ｂから生成された第２エッジ画像１１ｂ内に検出された第２判定領域２３と、を関連付け、荷崩れ判定部３０は、第１判定領域２２における第１エッジ１３と、第２判定領域２３における第２エッジ１５とを比較することにより、荷崩れが発生したか否かを判定してもよい。

【0086】

これにより、例えば時間経過に起因して、第１エッジ画像１１ａにおける第１判定領域２２と、第２エッジ画像１１ｂにおける第２判定領域２３と、の位置又は姿勢に差が生じたとしても、より確実に第１判定領域２２と第２判定領域２３とを比較することができる。そのため、第１判定領域２２における積荷６１のエッジと、第２判定領域２３における積荷６１のエッジと、をより確実に比較することができる。従って、運転支援装置１ａ，１ｂは荷台で発生した荷崩れをより確実に検出することができる。

【0087】

（３）荷崩れ判定部３０は、第１エッジ１３に基づくエッジ探索範囲３１を設定し、第１エッジ１３と対応付け可能な第２エッジ１５がエッジ探索範囲３１に含まれていないとき、荷崩れが発生したと判定してもよい。

【0088】

これにより、荷崩れ判定部３０は、第１エッジ１３と第２エッジ１５とをより確実に比較し、荷崩れが発生したか否かを判定することができる。従って、運転支援装置１ａ，１ｂは荷台で発生した荷崩れをより確実に検出することができる。

【0089】

（４）エッジ探索範囲３１は第１エッジ１３の中心Ｏ１から所定距離以内の領域に設定されてもよい。

【0090】

これにより、第１エッジ１３と第２エッジ１５とを比較する際の、仮想画像５が生成される際の誤差、又は車両Ｖの走行に起因する積荷６１の振動等の影響を抑制することができる。従って、運転支援装置１ａ，１ｂは荷台で発生した荷崩れをより確実に検出することができる。

【0091】

（５）荷崩れ判定部３０は、第１エッジ１３と第２エッジ１５との長さ及び姿勢の差が所定値以内のときに、第１エッジ１３と第２エッジ１５とが対応付け可能であると判定してもよい。

【0092】

これにより、荷崩れ判定部３０は、第１エッジ１３と第２エッジ１５とが対応付け可能か否かをより確実に判定することができる。従って、運転支援装置１ａ，１ｂは荷台で発生した荷崩れをより確実に検出することができる。

【0093】

（６）荷崩れ判定部３０は、エッジ探索範囲３１に第１エッジ１３と対応付け可能な第２エッジ１５が含まれるとき、第１エッジ１３と当該第２エッジ１５とを対応付け、第２判定領域２３における積荷６１のエッジの少なくとも一つが、第１判定領域２２における積荷６１のエッジと対応付けられていないとき、荷崩れが発生したと判定してもよい。

【0094】

例えば積荷６１の荷台６０からの落下、又は水平方向への変位等に起因して、第１判定領域２２における積荷６１のエッジの数が、第２判定領域２３における積荷６１のエッジの数よりも少なくなる場合がある。そのような場合であっても、荷崩れ判定部３０は荷崩れを検出することができる。従って、運転支援装置１ａ，１ｂは荷台で発生した荷崩れをより確実に検出することができる。

【0095】

（７）判定領域２１の寸法は、荷台６０に予め付与された識別符号に基づき設定されてもよい。

【0096】

識別符号は被牽引車Ｖ２毎に付与されている符号であり、荷台６０の長さ方向の寸法Ｌ１、及び幅方向の寸法Ｗ１と関連付けられている。そのため、運転支援装置１ａ，１ｂは識別符号に応じて荷台６０の寸法Ｌ１，Ｗ１を特定することができる。これにより、判定領域検出部２０はより確実に判定領域２１を検出することができる。

【0097】

（８）実施形態に係る運転支援装置１ａ，１ｂは、荷崩れが発生したと荷崩れ判定部３０が判定したとき、当該荷崩れの発生を通知する通知部４０を備えてもよい。

【0098】

これにより、運転支援装置１ａ，１ｂは荷崩れの発生を牽引車Ｖ１の乗員、又は管制施設で車両Ｖを監視する監視者等に通知することができる。そのため、運転支援装置１ａ，１ｂはより確実に車両Ｖの運転を支援することができる。

【0099】

（９）実施形態に係る運転支援装置１ｂは、牽引車Ｖ１の走行を制御する車両制御部５０を備え、車両制御部５０は、荷崩れが発生したと荷崩れ判定部３０が判定したとき、牽引車Ｖ１を減速又は停車させるための信号を出力してもよい。

【0100】

これにより、運転支援装置１ｂは荷崩れを検出した際に牽引車Ｖ１を減速又は停車させることができる。そのため、荷崩れが検出された際の運転支援をより確実に行うことができる。

【0101】

（１０）実施形態に係る荷崩れ検出方法は、牽引車Ｖ１に牽引される荷台６０に積載された積荷６１の荷崩れを検出する荷崩れ検出方法であって、牽引車Ｖ１の後方領域を上方から見た仮想画像５を経時的に取得し、仮想画像５の各々から、少なくとも荷台６０及び積荷６１のエッジを含むエッジ画像１１を生成し、エッジ画像１１から、荷台６０に対応する判定領域２１を検出し、仮想画像５の第１仮想画像５ａから抽出された積荷６１の第１エッジ１３と、第１仮想画像５ａよりも前に生成された仮想画像５の第２仮想画像５ｂから抽出された積荷６１の第２エッジ１５と、を比較することにより、荷崩れが発生したか否かを判定する。

【0102】

実施形態に係る荷崩れ検出方法によれば、牽引車Ｖ１の後方領域を上方から見た仮想画像５に基づきエッジ画像１１を生成する。そして、エッジ画像１１から検出された判定領域２１における積荷６１のエッジに基づき、荷崩れを検出することができる。そのため、荷崩れ判定を行う際の、牽引車Ｖ１と被牽引車Ｖ２との連結角の変化、又は被牽引車の周囲に存在する物体による影響を抑制することができる。従って、荷台６０で発生した荷崩れをより確実に検出することができる。

【0103】

本開示は、例えば持続可能な開発目標（ＳＤＧｓ）の目標９「強靭（レジリエント）なインフラ構築、包摂的かつ持続可能な産業化の促進及びイノベーションの推進を図る」に貢献することができる。

【0104】

以上、いくつかの実施形態を説明したが、上記開示内容に基づいて実施形態の修正又は変形をすることが可能である。上記実施形態の全ての構成要素、及び請求の範囲に記載された全ての特徴は、それらが互いに矛盾しない限り、個々に抜き出して組み合わせてもよい。

【符号の説明】

【0105】

１ａ 運転支援装置
１ｂ 運転支援装置
５ 仮想画像
５ａ 第１仮想画像
５ｂ 第２仮想画像
１０ エッジ画像生成部
１１ エッジ画像
１１ａ 第１エッジ画像
１１ｂ 第２エッジ画像
１３ 第１エッジ
１５ 第２エッジ
２０ 判定領域検出部
２１ 判定領域
２２ 第１判定領域
２３ 第２判定領域
３０ 荷崩れ判定部
３１ エッジ探索範囲
４０ 通知部
５０ 車両制御部
６０ 荷台
６１ 積荷
Ｖ１ 牽引車
Ｏ１ 中心

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】