知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024019248
(43)【公開日】2024-02-08
(54)【発明の名称】衝突回避システム
(51)【国際特許分類】
G08G 1/16 20060101AFI20240201BHJP
B60R 1/22 20220101ALI20240201BHJP
G08B 21/00 20060101ALI20240201BHJP
G08B 21/02 20060101ALI20240201BHJP
G08B 25/00 20060101ALI20240201BHJP
G08B 25/04 20060101ALI20240201BHJP
【ＦＩ】
G08G1/16 C
B60R1/22
G08B21/00 U
G08B21/02
G08B25/00 510M
G08B25/04 K
【審査請求】有
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023201754
(22)【出願日】2023-11-29
(62)【分割の表示】P 2022103661の分割
【原出願日】2022-06-28
(71)【出願人】
【識別番号】000253226
【氏名又は名称】濱田重工株式会社
(74)【代理人】
【識別番号】100120086
【弁理士】
【氏名又は名称】▲高▼津 一也
(74)【代理人】
【識別番号】100176142
【弁理士】
【氏名又は名称】清井 洋平
(72)【発明者】
【氏名】杉谷 領太
(72)【発明者】
【氏名】岡部 まり
(57)【要約】
【課題】運転中の車両の周辺に存在する各種の衝突回避対象の姿勢又は向きによらず、衝突回避対象を検出して、その種類を特定し、過剰な検出及び誤検出を防止して確実かつ効率的に車両と衝突回避対象との接触を防止可能な衝突回避システムを提供する。
【解決手段】検出したい衝突回避対象が含まれる学習用画像に基づいて機械学習を行い、機械学習モデルを構築する機械学習設定部１１と、車両の運転中に車両の周辺を撮影した画像を取得する画像取得部１２と、画像取得部１２で取得される画像と機械学習モデルから、車両の周辺に衝突回避対象が存在するか判別する機械学習推論部１４と、機械学習推論部１４で検出された衝突回避対象の位置情報を取得して車両と衝突回避対象との衝突可能性を判定する衝突回避設定部１５と、衝突回避設定部１５の判定に基づいて車両の運転者に対し警報を出力する警報出力部１６とを備える。
【選択図】図１
【解決手段】検出したい衝突回避対象が含まれる学習用画像に基づいて機械学習を行い、機械学習モデルを構築する機械学習設定部１１と、車両の運転中に車両の周辺を撮影した画像を取得する画像取得部１２と、画像取得部１２で取得される画像と機械学習モデルから、車両の周辺に衝突回避対象が存在するか判別する機械学習推論部１４と、機械学習推論部１４で検出された衝突回避対象の位置情報を取得して車両と衝突回避対象との衝突可能性を判定する衝突回避設定部１５と、衝突回避設定部１５の判定に基づいて車両の運転者に対し警報を出力する警報出力部１６とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
車両の運転中に機械学習による画像認識を用いて衝突回避対象を検出し、前記車両と前記衝突回避対象との衝突を防止する衝突回避システムであって、
検出したい前記衝突回避対象が含まれる学習用画像に基づいて機械学習を行い、機械学習モデルを構築する機械学習設定部と、前記車両の運転中に該車両の周辺を撮影した画像を取得する画像取得部と、該画像取得部で取得される前記画像と前記機械学習モデルから、前記車両の周辺に前記衝突回避対象が存在するか判別する機械学習推論部と、該機械学習推論部で検出された前記衝突回避対象の位置情報を取得して前記車両と前記衝突回避対象との衝突可能性を判定する衝突回避設定部と、該衝突回避設定部の判定に基づいて前記車両の運転者に対し警報を出力する警報出力部と、前記画像を基に作成されるリアルタイム動画が表示される表示部とを備え、前記リアルタイム動画には、前記車両の幅方向と平行に表示され前記車両からの距離を示す１又は複数の水平ラインが描画され、前記機械学習推論部で前記衝突回避対象が存在すると判別された時に、前記リアルタイム動画に、前記水平ラインに加え、前記衝突回避対象の範囲を示す矩形枠が描画され、前記衝突回避設定部では、前記矩形枠の下辺と、前記水平ラインとの位置関係から、前記車両と前記衝突回避対象との衝突可能性が判定されることを特徴とする衝突回避システム。
検出したい前記衝突回避対象が含まれる学習用画像に基づいて機械学習を行い、機械学習モデルを構築する機械学習設定部と、前記車両の運転中に該車両の周辺を撮影した画像を取得する画像取得部と、該画像取得部で取得される前記画像と前記機械学習モデルから、前記車両の周辺に前記衝突回避対象が存在するか判別する機械学習推論部と、該機械学習推論部で検出された前記衝突回避対象の位置情報を取得して前記車両と前記衝突回避対象との衝突可能性を判定する衝突回避設定部と、該衝突回避設定部の判定に基づいて前記車両の運転者に対し警報を出力する警報出力部と、前記画像を基に作成されるリアルタイム動画が表示される表示部とを備え、前記リアルタイム動画には、前記車両の幅方向と平行に表示され前記車両からの距離を示す１又は複数の水平ラインが描画され、前記機械学習推論部で前記衝突回避対象が存在すると判別された時に、前記リアルタイム動画に、前記水平ラインに加え、前記衝突回避対象の範囲を示す矩形枠が描画され、前記衝突回避設定部では、前記矩形枠の下辺と、前記水平ラインとの位置関係から、前記車両と前記衝突回避対象との衝突可能性が判定されることを特徴とする衝突回避システム。
【請求項2】
請求項１記載の衝突回避システムにおいて、前記画像及び前記リアルタイム動画は、前記機械学習設定部に保存されることを特徴とする衝突回避システム。
【請求項3】
請求項１記載の衝突回避システムにおいて、前記衝突回避設定部では、前記水平ラインの長さが伸縮されることにより、前記車両と前記衝突回避対象との衝突可能性があると判定される衝突判定領域が調整されることを特徴とする衝突回避システム。
【請求項4】
請求項１記載の衝突回避システムにおいて、前記衝突回避設定部では、前記衝突回避対象の種類及び該衝突回避対象と前記水平ラインとの位置関係から得られる前記車両から前記衝突回避対象までの距離に応じて、前記警報出力部により出力される警報の種類を切り替えることを特徴とする衝突回避システム。
【請求項5】
請求項４記載の衝突回避システムにおいて、前記警報出力部は、音の大きさ及び／又は光の点灯、点滅若しくは点灯色の変化により警報の種類を切り替えることを特徴とする衝突回避システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、各種重機を含む様々な車両の運転中に、他の車両及び人等を含む各種の衝突回避対象との接触事故を防止するための衝突回避システムに関する。
【背景技術】
【0002】
従来、土木作業及び建設作業の現場では、各種重機を含む様々な車両が運用されており、車両を運転する作業員及び車両の周辺で作業する作業員の安全確保のため、車両による接触事故を防止することが求められている。
例えば、特許文献１には、自車両前方の撮像画像から先行車両のブレーキランプ点灯を検出して先行車両の減速状態を検出し、先行車両と自車両との衝突可能性を判断する車両の衝突防止装置が開示されている。
また、特許文献２には、前進及び後進可能な自走式の車両本体の後方に存在する障害物を検知する障害物検知手段と、車両本体が後進しているときに、障害物検知手段の検知情報に基づいて衝突防止制御を実行する衝突防止補助装置とを備える建設車両が開示されている。
例えば、特許文献１には、自車両前方の撮像画像から先行車両のブレーキランプ点灯を検出して先行車両の減速状態を検出し、先行車両と自車両との衝突可能性を判断する車両の衝突防止装置が開示されている。
また、特許文献２には、前進及び後進可能な自走式の車両本体の後方に存在する障害物を検知する障害物検知手段と、車両本体が後進しているときに、障害物検知手段の検知情報に基づいて衝突防止制御を実行する衝突防止補助装置とを備える建設車両が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平１１－３９５９７号公報
【特許文献2】実用新案登録第３２１９００５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献１では、先行車両のブレーキランプの点灯を検出することが前提であるため、衝突回避対象が、ブレーキランプを有し、自車両の前方を走行する車両に限定される。従って、自車両から、衝突回避対象となる車両の正面又は側面しか見えない場合、及び衝突回避対象となる車両が停止している場合は、衝突防止装置が機能しないという課題がある。また、例えば作業現場に載置された資材等の静止物、作業現場に設置された柵、柱等の固定構造物といった車両以外の各種障害物及び作業員との衝突も回避することができず、汎用性及び機能性に欠けるという課題がある。
特許文献２では、自車両の後方に存在する障害物（衝突回避対象）を障害物検知手段で検知し、自車両が後進しているときに、障害物検知手段の検知情報に基づいて衝突防止制御を実行するので、自車両の前進時には機能せず、安全性に欠けるという課題がある。また、障害物検知手段は、２Ｄレーザーセンサ等により障害物の有無を検知するだけで、障害物の種類を特定することはできないため、本来必要のない(余計な)減速や停止が行われ、作業の効率を低下させるおそれがあり、実用性に欠けるという課題がある。
特許文献２では、自車両の後方に存在する障害物（衝突回避対象）を障害物検知手段で検知し、自車両が後進しているときに、障害物検知手段の検知情報に基づいて衝突防止制御を実行するので、自車両の前進時には機能せず、安全性に欠けるという課題がある。また、障害物検知手段は、２Ｄレーザーセンサ等により障害物の有無を検知するだけで、障害物の種類を特定することはできないため、本来必要のない(余計な)減速や停止が行われ、作業の効率を低下させるおそれがあり、実用性に欠けるという課題がある。
【0005】
本発明は、かかる事情に鑑みてなされたもので、運転中の車両の周辺に存在する各種の衝突回避対象の姿勢又は向き（配置）によらず、衝突回避対象を検出して、その種類を特定することができ、過剰な検出及び誤検出を防止して確実かつ効率的に車両と衝突回避対象との接触を防止することができる衝突回避システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的に沿う本発明に係る衝突回避システムは、車両の運転中に機械学習による画像認識を用いて衝突回避対象を検出し、前記車両と前記衝突回避対象との衝突を防止する衝突回避システムであって、
検出したい前記衝突回避対象が含まれる学習用画像に基づいて機械学習を行い、機械学習モデルを構築する機械学習設定部と、前記車両の運転中に該車両の周辺を撮影した画像を取得する画像取得部と、該画像取得部で取得される前記画像と前記機械学習モデルから、前記車両の周辺に前記衝突回避対象が存在するか判別する機械学習推論部と、該機械学習推論部で検出された前記衝突回避対象の位置情報を取得して前記車両と前記衝突回避対象との衝突可能性を判定する衝突回避設定部と、該衝突回避設定部の判定に基づいて前記車両の運転者に対し警報を出力する警報出力部と、前記画像を基に作成されるリアルタイム動画が表示される表示部とを備え、前記リアルタイム動画には、前記車両の幅方向と平行に表示され前記車両からの距離を示す１又は複数の水平ラインが描画され、前記機械学習推論部で前記衝突回避対象が存在すると判別された時に、前記リアルタイム動画に、前記水平ラインに加え、前記衝突回避対象の範囲を示す矩形枠が描画され、前記衝突回避設定部では、前記矩形枠の下辺と、前記水平ラインとの位置関係から、前記車両と前記衝突回避対象との衝突可能性が判定される。
検出したい前記衝突回避対象が含まれる学習用画像に基づいて機械学習を行い、機械学習モデルを構築する機械学習設定部と、前記車両の運転中に該車両の周辺を撮影した画像を取得する画像取得部と、該画像取得部で取得される前記画像と前記機械学習モデルから、前記車両の周辺に前記衝突回避対象が存在するか判別する機械学習推論部と、該機械学習推論部で検出された前記衝突回避対象の位置情報を取得して前記車両と前記衝突回避対象との衝突可能性を判定する衝突回避設定部と、該衝突回避設定部の判定に基づいて前記車両の運転者に対し警報を出力する警報出力部と、前記画像を基に作成されるリアルタイム動画が表示される表示部とを備え、前記リアルタイム動画には、前記車両の幅方向と平行に表示され前記車両からの距離を示す１又は複数の水平ラインが描画され、前記機械学習推論部で前記衝突回避対象が存在すると判別された時に、前記リアルタイム動画に、前記水平ラインに加え、前記衝突回避対象の範囲を示す矩形枠が描画され、前記衝突回避設定部では、前記矩形枠の下辺と、前記水平ラインとの位置関係から、前記車両と前記衝突回避対象との衝突可能性が判定される。
【0007】
【0008】
本発明に係る衝突回避システムにおいて、前記車両からリバース信号が出力されているか否かを検知して、前記車両が後進中か否かを判別する車両状態認識部を有し、前記衝突回避設定部では、前記車両状態認識部の判別結果に基づいて前記警報出力部による警報の出力を無効にする又は前記警報出力部により出力される警報の種類を切り替えることが好ましい。
【0009】
本発明に係る衝突回避システムにおいて、前記車両からリバース信号が出力されているか否かを検知して、前記車両が後進中か否かを判別する車両状態認識部を有し、前記衝突回避設定部では、前記車両状態認識部の判別結果に基づいて前記警報出力部による警報の出力を無効にする又は前記警報出力部により出力される警報の種類を切り替えるか、前記車両状態認識部の動作が強制的に停止されて前記車両が後進中か否かに関わらず前記警報出力部による警報の出力が行われるかを選択可能であってもよい。
【0010】
本発明に係る衝突回避システムにおいて、前記画像を基に作成されるリアルタイム動画が表示される表示部を有し、前記リアルタイム動画には、前記車両の幅方向と平行に表示され前記車両からの距離を示す１又は複数の水平ラインが描画され、前記機械学習推論部で前記衝突回避対象が存在すると判別された時に、前記リアルタイム動画に、前記水平ラインに加え、前記衝突回避対象の範囲を示す矩形枠が描画されることが好ましい。
【0011】
本発明に係る衝突回避システムにおいて、前記画像及び前記リアルタイム動画は、前記機械学習設定部に保存されることが好ましい。
【0012】
本発明に係る衝突回避システムにおいて、前記画像の保存は、前記機械学習推論部で前記衝突回避対象が存在すると判別された時から所定時間遡った期間について行われることが更に好ましい。
【0013】
【0014】
本発明に係る衝突回避システムにおいて、前記衝突回避設定部では、前記水平ラインの長さが伸縮されることにより、前記車両と前記衝突回避対象との衝突可能性があると判定される衝突判定領域が調整されることが更に好ましい。
【0015】
車両の運転中に機械学習による画像認識を用いて衝突回避対象を検出し、前記車両と前記衝突回避対象との衝突を防止する衝突回避方法は、検出したい前記衝突回避対象が含まれる学習用画像に基づいて機械学習を行い、機械学習モデルを構築する機械学習工程と、前記車両の運転中に該車両の周辺を撮影した画像を取得する画像取得工程と、該画像取得工程で取得される前記画像と前記機械学習モデルから、前記車両の周辺に前記衝突回避対象が存在するか判別する対象検出工程と、該対象検出工程で検出された前記衝突回避対象の位置情報を取得して前記車両と前記衝突回避対象との衝突可能性を判定する衝突判定工程と、該衝突判定工程で前記車両と前記衝突回避対象との衝突可能性があると判定された時に前記車両の運転者に対し警報を出力する警報出力工程とを備える。
【0016】
上記衝突回避方法において、前記衝突判定工程では、前記車両が後進中か否かが判別されて前記警報出力工程による警報の出力を無効にする又は前記警報出力工程により出力される警報の種類を切り替えることが好ましい。
【0017】
上記衝突回避方法において、前記衝突判定工程では、前記車両が後進中か否かが判別されて前記警報出力工程による警報の出力を無効にする又は前記警報出力工程により出力される警報の種類を切り替えるか、前記車両が後進中か否かに関わらず前記警報出力工程による警報の出力が行われるかを選択可能であってもよい。
【0018】
上記衝突回避方法において、前記画像を基に作成されるリアルタイム動画が表示される動画表示工程を有し、前記リアルタイム動画には、前記車両の幅方向と平行に表示され前記車両からの距離を示す１又は複数の水平ラインが描画され、前記対象検出工程で前記衝突回避対象が存在すると判別された時に、前記リアルタイム動画に、前記水平ラインに加え、前記衝突回避対象の範囲を示す矩形枠が描画されることが好ましい。
【0019】
上記衝突回避方法において、前記衝突判定工程では、前記矩形枠の下辺と、前記水平ラインとの位置関係から、前記車両と前記衝突回避対象との衝突可能性が判定されることが好ましい。
【0020】
上記衝突回避方法において、前記衝突判定工程では、前記水平ラインの長さが伸縮されることにより、前記車両と前記衝突回避対象との衝突可能性があると判定される衝突判定領域が調整されることが更に好ましい。
【発明の効果】
【0021】
本発明に係る衝突回避システムは、車両の運転中に機械学習による画像認識を用いて衝突回避対象を検出し、衝突回避対象の位置情報を取得して車両と衝突回避対象との衝突可能性があると判定した時に、車両の運転者に対し警報を出力することができるので、過剰な検出及び誤検出を防止して確実かつ効率的に衝突回避対象との接触を防止することができ、安全性に優れる。
【0022】
本発明に係る衝突回避システムにおいて、画像取得部が、車両に搭載され、車両の少なくとも後方及び運転者の死角となる領域を撮影する１又は複数のカメラを有する場合、衝突回避対象の検出漏れを防止することができ、衝突回避の確実性に優れる。
【0023】
本発明に係る衝突回避システムにおいて、車両が後進中か否かを判別した結果に基づいて警報の出力を無効にする又は出力される警報の種類を切り替える場合、不要（過剰）な警報が出力されることを防止し、効果的に衝突を回避することができる。
【0024】
本発明に係る衝突回避システムにおいて、車両が後進中か否かを判別した結果に基づいて警報の出力を無効にする又は出力される警報の種類を切り替えるか、車両が後進中か否かに関わらず警報の出力を行うかを選択可能である場合、警報が出力される条件を必要に応じて切り替える（選択する）ことができ、汎用性に優れる。
【0025】
本発明に係る衝突回避システムにおいて、車両の運転中に取得される画像を基にリアルタイム動画が作成され、車両の周辺に衝突回避対象が存在すると判別された時に、リアルタイム動画に、車両からの距離を示す水平ラインに加え、衝突回避対象の範囲を示す矩形枠が描画される場合、車両の運転者が衝突回避対象を見落とすことを防止できると共に、運転者は車両から衝突回避対象までの距離を正確に把握することができ、衝突を回避するために速やかに行動することができる。
【0026】
本発明に係る衝突回避システムにおいて、画像取得部で取得される画像及びリアルタイム動画が、機械学習設定部に保存される場合、それらの画像及びリアルタイム動画を利用して機械学習が行われ、継続的に衝突回避対象の検出精度の向上が図られる。
【0027】
本発明に係る衝突回避システムにおいて、画像の保存が、機械学習推論部で衝突回避対象が存在すると判別された時から所定時間遡った期間について行われる場合、実際には衝突回避対象が存在していたにも関わらず、衝突回避対象が検知されなかった期間（時間帯）の画像が取得される可能性があり、その画像が機械学習に利用されることにより、衝突回避対象の検出精度がさらに高まる。
【0028】
本発明に係る衝突回避システムにおいて、矩形枠の下辺と、水平ラインとの位置関係から、車両と衝突回避対象との衝突可能性が判定されるので、衝突回避対象の姿勢又は向きに関わらず、車両から衝突回避対象までの距離に応じて、衝突回避対象と車両との衝突可能性が高精度で判定され、衝突が確実に回避される。
【0029】
本発明に係る衝突回避システムにおいて、水平ラインの長さが伸縮されることにより、車両と衝突回避対象との衝突可能性があると判定される衝突判定領域が調整される場合、意図した領域のみで車両と衝突回避対象との衝突可能性が効果的に判定され、過剰な警報が低減されて、運転者の負担も軽減される。
【図面の簡単な説明】
【0030】
【図1】本発明の一実施の形態に係る衝突回避システムの構成を示すブロック図である。
【図2】同衝突回避システムの表示部に表示されるリアルタイム動画における１フレームの画像である。
【図3】同衝突回避システムで実行される衝突回避方法における衝突判定工程の説明図である。
【図4】同衝突回避システムで実行される衝突回避方法におけるリアルタイム動画の保存処理を示すフローチャートである。
【図5】同衝突回避システムで実行される衝突回避方法における衝突回避処理を示すフローチャートである。
【発明を実施するための形態】
【0031】
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
以下、図１～図５を参照して、本発明の一実施の形態に係る衝突回避システム１０及び衝突回避方法について説明する。
衝突回避システム１０及び衝突回避方法は、各種重機を含む様々な車両の運転中に、他の車両及び人等を含む各種の衝突回避対象との接触事故を防止するものである。具体的には、車両の運転中に機械学習による画像認識を用いて衝突回避対象を検出し、車両と衝突回避対象との衝突を防止することができる。ここで、車両の運転中には、車両の前進中又は後進中だけでなく、停車中も含まれる。
以下、図１～図５を参照して、本発明の一実施の形態に係る衝突回避システム１０及び衝突回避方法について説明する。
衝突回避システム１０及び衝突回避方法は、各種重機を含む様々な車両の運転中に、他の車両及び人等を含む各種の衝突回避対象との接触事故を防止するものである。具体的には、車両の運転中に機械学習による画像認識を用いて衝突回避対象を検出し、車両と衝突回避対象との衝突を防止することができる。ここで、車両の運転中には、車両の前進中又は後進中だけでなく、停車中も含まれる。
【0032】
図１に示すように、衝突回避システム１０は、検出したい衝突回避対象（例えば人、重機等を含む車両、通行の妨げとなる障害物等）が含まれる学習用画像に基づいて機械学習を行い、機械学習モデルを構築する機械学習設定部１１を備えている。
また、衝突回避システム１０は、車両の運転中に車両の周辺を撮影した画像を取得する画像取得部１２と、画像取得部１２で取得される画像を基に作成されるリアルタイム動画が表示される表示部１３を備えている。
そして、衝突回避システム１０は、画像取得部１２で取得される画像と機械学習モデルから、車両の周辺に衝突回避対象が存在するか判別する機械学習推論部１４と、機械学習推論部１４で検出された衝突回避対象の位置情報を取得して車両と衝突回避対象との衝突可能性を判定する衝突回避設定部１５を備えている。
また、衝突回避システム１０は、衝突回避設定部１５の判定に基づいて車両の運転者に対し警報を出力する警報出力部１６を備えている。
さらに、衝突回避システム１０は、車両からリバース信号が出力されているか否かを検知して、車両が後進中か否かを判別する車両状態認識部１７を有している。
この衝突回避システム１０は、既存の車両に簡単に後付け（搭載）することができるが、車両を製造する段階で組込むこともできる。
また、衝突回避システム１０は、車両の運転中に車両の周辺を撮影した画像を取得する画像取得部１２と、画像取得部１２で取得される画像を基に作成されるリアルタイム動画が表示される表示部１３を備えている。
そして、衝突回避システム１０は、画像取得部１２で取得される画像と機械学習モデルから、車両の周辺に衝突回避対象が存在するか判別する機械学習推論部１４と、機械学習推論部１４で検出された衝突回避対象の位置情報を取得して車両と衝突回避対象との衝突可能性を判定する衝突回避設定部１５を備えている。
また、衝突回避システム１０は、衝突回避設定部１５の判定に基づいて車両の運転者に対し警報を出力する警報出力部１６を備えている。
さらに、衝突回避システム１０は、車両からリバース信号が出力されているか否かを検知して、車両が後進中か否かを判別する車両状態認識部１７を有している。
この衝突回避システム１０は、既存の車両に簡単に後付け（搭載）することができるが、車両を製造する段階で組込むこともできる。
【0033】
ここで、衝突回避システム１０の一部は、コンピュータで構成することができる。つまり、衝突回避方法を実行するプログラムが、コンピュータにインストールされ、コンピュータのＣＰＵ及びＧＰＵがそのプログラムを実行することにより、コンピュータを上記の機械学習設定部１１、画像取得部１２、機械学習推論部１４、衝突回避設定部１５及び車両状態認識部１７として機能させることができる。表示部１３としては、コンピュータと一体化又は接続されたディスプレイが好適に用いられるが、車両にカーナビ又はテレビが搭載されている場合は、それらのモニタが表示部１３として使用されてもよいし、表示機能を有する車両のフロントガラスが表示部１３として使用されてもよい。
機械学習設定部１１による機械学習モデルの構築には、ニューラルネットワーク等の従来公知のアルゴリズムが用いられる。
画像取得部１２は、車両に搭載され、車両の少なくとも後方及び運転者の死角となる領域（例えば車両の左右両側の後方部）を撮影する１又は複数のカメラを有する。なお、画像取得部１２は、車両の前方及び左右の側方を撮影するカメラを有していてもよく、カメラの数及び配置は、各カメラの撮影範囲（視野角）等に応じて、適宜、選択される。画像取得部１２が複数のカメラを有する場合、表示部１３には、それぞれのカメラで撮影された画像を基に画像取得部１２で作成される複数のリアルタイム動画が並べて表示されてもよいし、所定の時間間隔で複数のリアルタイム動画の中から１つのリアルタイム動画が順次選択されて表示されてもよい。或いは、衝突回避設定部１５で衝突可能性があると判定された方向のリアルタイム動画が優先的に表示されてもよい。
機械学習設定部１１による機械学習モデルの構築には、ニューラルネットワーク等の従来公知のアルゴリズムが用いられる。
画像取得部１２は、車両に搭載され、車両の少なくとも後方及び運転者の死角となる領域（例えば車両の左右両側の後方部）を撮影する１又は複数のカメラを有する。なお、画像取得部１２は、車両の前方及び左右の側方を撮影するカメラを有していてもよく、カメラの数及び配置は、各カメラの撮影範囲（視野角）等に応じて、適宜、選択される。画像取得部１２が複数のカメラを有する場合、表示部１３には、それぞれのカメラで撮影された画像を基に画像取得部１２で作成される複数のリアルタイム動画が並べて表示されてもよいし、所定の時間間隔で複数のリアルタイム動画の中から１つのリアルタイム動画が順次選択されて表示されてもよい。或いは、衝突回避設定部１５で衝突可能性があると判定された方向のリアルタイム動画が優先的に表示されてもよい。
【0034】
リアルタイム動画には、図２に示すように、車両の幅方向と平行に表示され車両からの距離を示す複数（ここでは３本）の水平ライン２０が描画される。そして、機械学習推論部１４で衝突回避対象（ここでは人）２１が存在すると判別された時には、リアルタイム動画に、水平ライン２０に加え、衝突回避対象２１の範囲を示す矩形枠２２が描画される。各水平ラインの表示色は、適宜、選択されるが、例えば車両から近い順番に赤、黄、緑等のように色分けして危険性を表すようにしてもよいし、全て同じ色でもよい。また、水平ラインの数及び車両から各水平ラインまでの距離（水平ラインの配置間隔）は、適宜、選択される。衝突回避対象２１と車両が接近し、衝突回避対象２１がいずれかの水平ライン２０を跨いだ時に警報を発することができる。
なお、本実施の形態では、車両から各水平ライン２０までの距離が表示されているが、この表示は省略されてもよいし、運転者の操作により表示の有無が切り替えられてもよい。さらに、本実施の形態では、水平ライン２０と交互に補助ライン２３が描画されており、車両からの距離を細かく知ることができるが、補助ラインの数、配置間隔、長さ、表示色等は適宜、選択され、省略されてもよい。また、矩形枠２２の表示色は、適宜、選択されるが、警告時に矩形枠２２の表示色を変化させたり、矩形枠２２を点滅させたりしてもよい。なお、図２中、符号２４は運転中の車両が走行している道路である。
なお、本実施の形態では、車両から各水平ライン２０までの距離が表示されているが、この表示は省略されてもよいし、運転者の操作により表示の有無が切り替えられてもよい。さらに、本実施の形態では、水平ライン２０と交互に補助ライン２３が描画されており、車両からの距離を細かく知ることができるが、補助ラインの数、配置間隔、長さ、表示色等は適宜、選択され、省略されてもよい。また、矩形枠２２の表示色は、適宜、選択されるが、警告時に矩形枠２２の表示色を変化させたり、矩形枠２２を点滅させたりしてもよい。なお、図２中、符号２４は運転中の車両が走行している道路である。
【0035】
次に、衝突回避設定部１５による車両と衝突回避対象との衝突可能性の判定方法について図３を用いて具体的に説明する。
図３では、ショベルカーが衝突回避対象２５として検出され、図２と同様に、３本の水平ライン２０と、衝突回避対象２５の範囲を示す矩形枠２２が描画されている。
ここで、車両に近い方から順番に数えてｎ番目の水平ライン２０の左右両端の座標をそれぞれ（ＸＬｎ，Ｙｎ）、（ＸＲｎ，Ｙｎ）とする。また、ある時刻での矩形枠２２の下辺の左右両端の座標をそれぞれ（ＸｔＬ，Ｙｔ）、（ＸｔＲ，Ｙｔ）とする。水平ライン２０の長さは適宜、選択されるが、車両の幅と同等であることが好ましい。
このとき、ＸＬｎ≦ＸｔＬ≦ＸＲｎ及びＸＬｎ≦ＸｔＲ≦ＸＲｎのいずれか一方又は双方が満たされ、かつＹｔ≦Ｙｎが満たされれば、衝突回避対象２５は、ｎ番目の水平ライン２０の位置よりも車両に近い位置に存在しており、衝突回避対象２５の少なくとも一部がｎ番目の水平ライン２０（車両の幅）と重なっていることになるため、衝突回避設定部１５は、車両がそのまま前進すれば衝突回避対象２５と衝突する可能性があると判定し、警報出力部１６により所定の警報が出力される。
従って、衝突回避設定部１５で、水平ライン２０の長さが伸縮されることにより、車両と衝突回避対象２５との衝突可能性があると判定される衝突判定領域が調整される。つまり、水平ライン２０の長さが長ければ衝突判定領域が広く設定され、水平ライン２０の長さが短ければ衝突判定領域が狭く設定される。なお、何番目の水平ライン２０が上記の条件を満たした時に車両が衝突回避対象２５と衝突する可能性があると判定するか選択可能である。
図３では、ショベルカーが衝突回避対象２５として検出され、図２と同様に、３本の水平ライン２０と、衝突回避対象２５の範囲を示す矩形枠２２が描画されている。
ここで、車両に近い方から順番に数えてｎ番目の水平ライン２０の左右両端の座標をそれぞれ（ＸＬｎ，Ｙｎ）、（ＸＲｎ，Ｙｎ）とする。また、ある時刻での矩形枠２２の下辺の左右両端の座標をそれぞれ（ＸｔＬ，Ｙｔ）、（ＸｔＲ，Ｙｔ）とする。水平ライン２０の長さは適宜、選択されるが、車両の幅と同等であることが好ましい。
このとき、ＸＬｎ≦ＸｔＬ≦ＸＲｎ及びＸＬｎ≦ＸｔＲ≦ＸＲｎのいずれか一方又は双方が満たされ、かつＹｔ≦Ｙｎが満たされれば、衝突回避対象２５は、ｎ番目の水平ライン２０の位置よりも車両に近い位置に存在しており、衝突回避対象２５の少なくとも一部がｎ番目の水平ライン２０（車両の幅）と重なっていることになるため、衝突回避設定部１５は、車両がそのまま前進すれば衝突回避対象２５と衝突する可能性があると判定し、警報出力部１６により所定の警報が出力される。
従って、衝突回避設定部１５で、水平ライン２０の長さが伸縮されることにより、車両と衝突回避対象２５との衝突可能性があると判定される衝突判定領域が調整される。つまり、水平ライン２０の長さが長ければ衝突判定領域が広く設定され、水平ライン２０の長さが短ければ衝突判定領域が狭く設定される。なお、何番目の水平ライン２０が上記の条件を満たした時に車両が衝突回避対象２５と衝突する可能性があると判定するか選択可能である。
【0036】
警報出力部１６は、衝突回避設定部１５により、車両と衝突回避対象２５との衝突可能性があると判定された場合（車両と衝突回避対象２５との衝突を回避する動作が必要な場合）に、運転者に対して音及び／又は光で警報を出力することができればよい。
警報出力部１６としては、前述の表示部１３、コンピュータに内蔵若しくは接続されたスピーカー、又は車両に搭載されコンピュータに接続された警告灯等が好適に用いられる。例えば、表示部１３に危険性を知らせる文字、図形又は記号（マーク、サイン）等を表示させたり、それらを発光若しくは点滅させたり、スピーカーから音を発したり、警告灯を点灯若しくは点滅させたりして警告を行うことができる。なお、警告時に発せられる音（警告音）にはブザー又はチャイムだけでなく、音声（言葉）で衝突の危険性を知らせるものも含まれる。
警報出力部１６から出力される警報の種類は、衝突回避対象の種類及び車両から衝突回避対象までの距離等に応じて、適宜、選択（変更）可能である。例えば、車両から衝突回避対象までの距離が近付くにつれ、警告音を静かな（小さな）音から激しい（大きい）音に変化させることや警告灯の点灯色を変化させる（例えば緑→黄色→赤）ことができる。また、車両から衝突回避対象までの距離が遠い時は表示部の発光若しくは点滅又は警告灯の点灯若しくは点滅のみを行い、車両から衝突回避対象までの距離が近い時は警告音を併用することができる。いずれの場合も、運転手に対し効果的に注意を促すことができる。
警報出力部１６としては、前述の表示部１３、コンピュータに内蔵若しくは接続されたスピーカー、又は車両に搭載されコンピュータに接続された警告灯等が好適に用いられる。例えば、表示部１３に危険性を知らせる文字、図形又は記号（マーク、サイン）等を表示させたり、それらを発光若しくは点滅させたり、スピーカーから音を発したり、警告灯を点灯若しくは点滅させたりして警告を行うことができる。なお、警告時に発せられる音（警告音）にはブザー又はチャイムだけでなく、音声（言葉）で衝突の危険性を知らせるものも含まれる。
警報出力部１６から出力される警報の種類は、衝突回避対象の種類及び車両から衝突回避対象までの距離等に応じて、適宜、選択（変更）可能である。例えば、車両から衝突回避対象までの距離が近付くにつれ、警告音を静かな（小さな）音から激しい（大きい）音に変化させることや警告灯の点灯色を変化させる（例えば緑→黄色→赤）ことができる。また、車両から衝突回避対象までの距離が遠い時は表示部の発光若しくは点滅又は警告灯の点灯若しくは点滅のみを行い、車両から衝突回避対象までの距離が近い時は警告音を併用することができる。いずれの場合も、運転手に対し効果的に注意を促すことができる。
【0037】
車両状態認識部１７で検出されるリバース信号は、車両のギアがバックに入っている時に車両から出力される電気信号であり、この電気信号がデジタル信号に変換されて車両状態認識部１７に入力されることにより、車両が後進中であると判別される。車両からリバース信号が出力されていない時は、車両は前進中又は停車中（ギアがニュートラル又はパーキングに入っている場合も含む）であると判別される。そして、衝突回避設定部１５では、車両状態認識部１７の判別結果に基づいて警報出力部１６による警報の出力を無効にする又は警報出力部により出力される警報の種類を切り替える。
例えば、前述のように、機械学習推論部１４で、車両の前方に衝突回避対象が存在すると判別され、衝突回避設定部１５で、衝突回避対象の位置情報（車両から衝突回避対象までの距離）から、車両と衝突回避対象との衝突可能性があると判定された場合でも、車両状態認識部１７で、リバース信号が検出され車両が後進中であると判別された時には、警報が出力されない（警報の出力を無効にする）ようにするか、弱い警報が出力される（警報の種類を切り替える）ようにし、リバース信号が検出されず車両が後進中ではない（前進中又は停車中である）と判別された時には、警報出力部１６から警報（強い警報）が出力される（警報の種類を切り替える）ようにすることができる。
例えば、前述のように、機械学習推論部１４で、車両の前方に衝突回避対象が存在すると判別され、衝突回避設定部１５で、衝突回避対象の位置情報（車両から衝突回避対象までの距離）から、車両と衝突回避対象との衝突可能性があると判定された場合でも、車両状態認識部１７で、リバース信号が検出され車両が後進中であると判別された時には、警報が出力されない（警報の出力を無効にする）ようにするか、弱い警報が出力される（警報の種類を切り替える）ようにし、リバース信号が検出されず車両が後進中ではない（前進中又は停車中である）と判別された時には、警報出力部１６から警報（強い警報）が出力される（警報の種類を切り替える）ようにすることができる。
【0038】
また、機械学習推論部１４で、車両の後方に衝突回避対象が存在すると判別され、衝突回避設定部１５で、衝突回避対象の位置情報から、車両と衝突回避対象との衝突可能性があると判定された場合でも、車両状態認識部１７で、リバース信号が検出されず車両が後進中ではないと判別された時には、警報出力部１６から警報が出力されない（警報の出力を無効にする）ようにするか、弱い警報が出力される（警報の種類を切り替える）ようにし、リバース信号が検出され車両が後進中であると判別された時には、警報（強い警報）が出力される（警報の種類を切り替える）ようにすることができる。
つまり、衝突回避対象の位置（車両から見て衝突回避対象が存在する方向及び車両から衝突回避対象までの距離）と、車両の進行方向（車両が後進中、前進中又は停車中）との組合せに応じて、警報の出力を無効にする又は出力される警報の種類（強さ）を切り替える（選択する）ことにより、運転者に対して効果的に衝突の危険性を知らせることができる。
つまり、衝突回避対象の位置（車両から見て衝突回避対象が存在する方向及び車両から衝突回避対象までの距離）と、車両の進行方向（車両が後進中、前進中又は停車中）との組合せに応じて、警報の出力を無効にする又は出力される警報の種類（強さ）を切り替える（選択する）ことにより、運転者に対して効果的に衝突の危険性を知らせることができる。
【0039】
なお、衝突回避設定部１５では、上述のように、車両状態認識部１７の判別結果に基づいて警報出力部１６による警報の出力を無効にする又は警報出力部１６により出力される警報の種類を切り替えるか、車両状態認識部１７の動作が強制的に停止されて車両が後進中か否かに関わらず警報出力部１６による警報の出力が行われるかを選択可能とすることもできる。運転者の操作で、いずれか一方を選択可能とすることにより、汎用性が向上する。例えば、車両状態認識部１７の動作が強制的に停止されて車両が後進中か否かに関わらず警報出力部１６による警報の出力が行われるようにした場合、車両の周辺に存在する衝突回避対象が一定の距離に近付いた時に漏れなく警報が出力され、運転者に注意を促すことができる。
また、画像取得部１２で取得される画像及びその画像を基に作成されるリアルタイム動画は、機械学習設定部１１に保存される。これらの画像及びリアルタイム動画はそれぞれ取得された時点及び作成された時点でコンピュータのメモリに記憶されるが、ここでの保存は、それらのデータが、コンピュータに内蔵若しくは外付けされるハードディスク又はコンピュータに接続されるＣＤ－ＲＯＭ若しくはＵＳＢメモリ等の各種の記憶媒体（図示せず）に保存され、必要時に機械学習設定部１１から読み取り可能な状態となることを意味する。これにより、保存された画像及びリアルタイム動画が機械学習設定部１１での機械学習に利用され、衝突回避対象の検出精度が向上する。なお、画像の保存は、機械学習推論部１４で車両の周辺に衝突回避対象が存在すると判別された時から所定時間遡った期間について行われる。例えば、機械学習推論部１４で衝突回避対象が検知された時刻から過去１０フレーム分の画像が保存される。また、保存される画像は、画像取得部１２（カメラ）で取得された画像（生画像）、生画像に水平ラインが重ねて描画されたもの及び生画像に水平ラインと矩形枠が重ねて描画されたものである。リアルタイム動画は、衝突回避対象が検知されたか否かに関わらず、衝突回避システム１０が起動されている間、保存されることが好ましい。
また、画像取得部１２で取得される画像及びその画像を基に作成されるリアルタイム動画は、機械学習設定部１１に保存される。これらの画像及びリアルタイム動画はそれぞれ取得された時点及び作成された時点でコンピュータのメモリに記憶されるが、ここでの保存は、それらのデータが、コンピュータに内蔵若しくは外付けされるハードディスク又はコンピュータに接続されるＣＤ－ＲＯＭ若しくはＵＳＢメモリ等の各種の記憶媒体（図示せず）に保存され、必要時に機械学習設定部１１から読み取り可能な状態となることを意味する。これにより、保存された画像及びリアルタイム動画が機械学習設定部１１での機械学習に利用され、衝突回避対象の検出精度が向上する。なお、画像の保存は、機械学習推論部１４で車両の周辺に衝突回避対象が存在すると判別された時から所定時間遡った期間について行われる。例えば、機械学習推論部１４で衝突回避対象が検知された時刻から過去１０フレーム分の画像が保存される。また、保存される画像は、画像取得部１２（カメラ）で取得された画像（生画像）、生画像に水平ラインが重ねて描画されたもの及び生画像に水平ラインと矩形枠が重ねて描画されたものである。リアルタイム動画は、衝突回避対象が検知されたか否かに関わらず、衝突回避システム１０が起動されている間、保存されることが好ましい。
【0040】
次に、車両の運転中に機械学習による画像認識を用いて衝突回避対象を検出し、車両と衝突回避対象との衝突を防止するための衝突回避方法について説明する。
まず、機械学習工程で、検出したい衝突回避対象が含まれる学習用画像に基づいて機械学習を行い、機械学習モデルを構築する。これは、車両の運転中に衝突を回避しなければならない各種の衝突回避対象（人、各種重機を含む様々な車両、その他の障害物等）を事前に学習する工程である。これにより、実際の車両の運転中（認識時）に、衝突回避対象が存在するか否かを検出すると共に、衝突回避対象の種類を特定することが可能となる。
次に、画像取得工程で、車両の運転中に車両の周辺を撮影した画像を取得し、対象検出工程で、画像取得工程で取得される画像と機械学習モデルから、車両の周辺に衝突回避対象が存在するか判別する。
そして、対象検出工程で衝突回避対象が存在すると判別された時に、衝突判定工程で、対象検出工程で検出された衝突回避対象の位置情報を取得して車両と衝突回避対象との衝突可能性を判定する。
まず、機械学習工程で、検出したい衝突回避対象が含まれる学習用画像に基づいて機械学習を行い、機械学習モデルを構築する。これは、車両の運転中に衝突を回避しなければならない各種の衝突回避対象（人、各種重機を含む様々な車両、その他の障害物等）を事前に学習する工程である。これにより、実際の車両の運転中（認識時）に、衝突回避対象が存在するか否かを検出すると共に、衝突回避対象の種類を特定することが可能となる。
次に、画像取得工程で、車両の運転中に車両の周辺を撮影した画像を取得し、対象検出工程で、画像取得工程で取得される画像と機械学習モデルから、車両の周辺に衝突回避対象が存在するか判別する。
そして、対象検出工程で衝突回避対象が存在すると判別された時に、衝突判定工程で、対象検出工程で検出された衝突回避対象の位置情報を取得して車両と衝突回避対象との衝突可能性を判定する。
【0041】
警報出力工程は、衝突回避設定部の判定に基づいて車両の運転者に対し警報を出力する。つまり、衝突判定工程で、車両と衝突回避対象との衝突可能性があると判定された時に警報が出力される。運転者は、車両の進路を変更させたり、車両を停車させたりして衝突を回避することができる。
なお、衝突判定工程では、車両が後進中か否かが判別されて警報出力工程による警報の出力を無効にする又は警報出力工程により出力される警報の種類を切り替える。従って、衝突回避対象に対し、車両が、遠ざかる方向にあるか、近付く方向にあるかによって、警報の出力を無効にするか又は出力される警報の種類を適切に切り替えることができ、過剰な警報及び不必要な警報が出力されることを防止できる。
なお、衝突判定工程では、車両が後進中か否かが判別されて警報出力工程による警報の出力を無効にする又は警報出力工程により出力される警報の種類を切り替える。従って、衝突回避対象に対し、車両が、遠ざかる方向にあるか、近付く方向にあるかによって、警報の出力を無効にするか又は出力される警報の種類を適切に切り替えることができ、過剰な警報及び不必要な警報が出力されることを防止できる。
【0042】
また、衝突判定工程では、車両が後進中か否かが判別されて警報出力工程による警報の出力を無効にする又は警報出力工程により出力される警報の種類を切り替えるか、車両が後進中か否かに関わらず警報出力工程による警報の出力が行われるかを選択可能としてもよい。この場合、前述のように、車両と衝突回避対象との位置関係から、警報の出力を無効にする又は出力される警報の種類を切り替える以外に、車両が後進中か否か（車両と衝突回避対象との距離の増減傾向）に関わらず、衝突回避対象が車両から一定の距離内に存在する場合に強制的に警報を出力させることができ、必要に応じて（例えば車両又は衝突回避対象の種類等に応じて）、両者を使い分けることができる。
なお、車両の運転中は、動画表示工程が実行されており、画像取得工程で取得される画像を基にリアルタイム動画が作成され、車両に搭載された表示部に表示される。リアルタイム動画には、車両の幅方向と平行に表示され車両からの距離を示す１又は複数の水平ラインが描画される。これにより、運転者は車両の運転中に、車両の周辺に存在する様々な物が、車両からどの程度の距離にあるか確認することができる。また、前述の対象検出工程で衝突回避対象が存在すると判別された時には、リアルタイム動画に、水平ラインに加え、衝突回避対象の範囲を示す矩形枠が描画される。従って、運転者は、衝突回避対象を見逃すことがなく、車両から衝突回避対象までの距離を簡単に把握することができる。
なお、車両の運転中は、動画表示工程が実行されており、画像取得工程で取得される画像を基にリアルタイム動画が作成され、車両に搭載された表示部に表示される。リアルタイム動画には、車両の幅方向と平行に表示され車両からの距離を示す１又は複数の水平ラインが描画される。これにより、運転者は車両の運転中に、車両の周辺に存在する様々な物が、車両からどの程度の距離にあるか確認することができる。また、前述の対象検出工程で衝突回避対象が存在すると判別された時には、リアルタイム動画に、水平ラインに加え、衝突回避対象の範囲を示す矩形枠が描画される。従って、運転者は、衝突回避対象を見逃すことがなく、車両から衝突回避対象までの距離を簡単に把握することができる。
【0043】
次に、本発明の一実施の形態に係る衝突回避システムで実行される衝突回避方法におけるリアルタイム動画の保存処理について図４を用いて説明する。
衝突回避システム１０が起動されると、まず、リアルタイム動画が保存される動画保存フォルダの容量に空きがあるか確認される。ここで、衝突回避システム１０は、車両のエンジンの起動と連動して起動することが好ましいが、運転者が別途、ボタンを押す等して起動するものでもよい（Ｓ１：ステップ１）。
ステップ１で、動画保存フォルダの容量に空きがないと判定された場合、動画保存フォルダに保存されている古いリアルタイム動画のファイルが削除される。ここで、リアルタイム動画の１ファイル当たりの容量は予め決められており、動画保存フォルダの容量に１ファイル分以上の空きがあると判定されるまで、古いリアルタイム動画のファイルの削除が繰り返し行われる。ファイルは自動的に保存日時の古いものから順に削除されることが好ましいが、運転者が削除するファイルを選択できるようにしてもよい（Ｓ２：ステップ２）。
衝突回避システム１０が起動されると、まず、リアルタイム動画が保存される動画保存フォルダの容量に空きがあるか確認される。ここで、衝突回避システム１０は、車両のエンジンの起動と連動して起動することが好ましいが、運転者が別途、ボタンを押す等して起動するものでもよい（Ｓ１：ステップ１）。
ステップ１で、動画保存フォルダの容量に空きがないと判定された場合、動画保存フォルダに保存されている古いリアルタイム動画のファイルが削除される。ここで、リアルタイム動画の１ファイル当たりの容量は予め決められており、動画保存フォルダの容量に１ファイル分以上の空きがあると判定されるまで、古いリアルタイム動画のファイルの削除が繰り返し行われる。ファイルは自動的に保存日時の古いものから順に削除されることが好ましいが、運転者が削除するファイルを選択できるようにしてもよい（Ｓ２：ステップ２）。
【0044】
ステップ１で、動画保存フォルダの容量に空きがあると判定された場合、新たなリアルタイム動画の作成が開始される（Ｓ３：ステップ３）。
まず、車両に搭載されたカメラにより車両外部の画像が取得される。カメラの数及び配置は、先に説明した通りである（Ｓ４：ステップ４）。
そして、ステップ４で取得された画像と機械学習モデルから、車両の周辺に衝突回避対象が存在するか判別される（Ｓ５：ステップ５）。
ステップ５で、衝突回避対象が存在しないと判定された場合、カメラで取得された画像（カメラ生画像）に水平ライン２０（図２、図３参照）が描画された描画後画像が作成される（Ｓ６：ステップ６）。
ステップ５で、衝突回避対象が存在すると判定された場合、カメラで取得された画像（カメラ生画像）に水平ライン２０に加え、衝突回避対象２１又は２５の範囲を示す矩形枠２２（図２、図３参照）が描画された描画後画像が作成される（Ｓ７：ステップ７）。
まず、車両に搭載されたカメラにより車両外部の画像が取得される。カメラの数及び配置は、先に説明した通りである（Ｓ４：ステップ４）。
そして、ステップ４で取得された画像と機械学習モデルから、車両の周辺に衝突回避対象が存在するか判別される（Ｓ５：ステップ５）。
ステップ５で、衝突回避対象が存在しないと判定された場合、カメラで取得された画像（カメラ生画像）に水平ライン２０（図２、図３参照）が描画された描画後画像が作成される（Ｓ６：ステップ６）。
ステップ５で、衝突回避対象が存在すると判定された場合、カメラで取得された画像（カメラ生画像）に水平ライン２０に加え、衝突回避対象２１又は２５の範囲を示す矩形枠２２（図２、図３参照）が描画された描画後画像が作成される（Ｓ７：ステップ７）。
【0045】
ステップ６又はステップ７で作成された描画後画像はフレーム単位で取得され（Ｓ８：ステップ８）、作成中のリアルタイム動画に追加される。つまり、衝突回避方法を実行するプログラムがインストールされたコンピュータにより、画像の加工（描画後画像の作成）が行われ、加工後の画像（描画後画像）が順次フレーム単位で繋ぎ合わされてリアルタイム動画が作成（更新）される（Ｓ９：ステップ９）。
そして、ステップ９で新たな描画後画像が追加された後のリアルタイム動画のファイルの容量が、１ファイル当たりの容量の上限に達したか確認される（Ｓ１０：ステップ１０）。
ステップ１０で、１ファイル当たりの容量の上限に達したと判定されなければ、リアルタイム動画の作成を継続するため、ステップ４に戻り、ステップ４～ステップ１０の動作が繰り返される（Ｓ１１：ステップ１１）。
ステップ１０で、１ファイル当たりの容量の上限に達したと判定されれば、作成中のリアルタイム動画をファイルに保存し、新たなリアルタイム動画の作成を開始するため、ステップ１に戻り、ステップ１～ステップ１０の動作が繰り返される（Ｓ１２：ステップ１２）。
衝突回避システム１０が起動されている間、リアルタイム動画の保存処理は継続して行われる。
そして、ステップ９で新たな描画後画像が追加された後のリアルタイム動画のファイルの容量が、１ファイル当たりの容量の上限に達したか確認される（Ｓ１０：ステップ１０）。
ステップ１０で、１ファイル当たりの容量の上限に達したと判定されなければ、リアルタイム動画の作成を継続するため、ステップ４に戻り、ステップ４～ステップ１０の動作が繰り返される（Ｓ１１：ステップ１１）。
ステップ１０で、１ファイル当たりの容量の上限に達したと判定されれば、作成中のリアルタイム動画をファイルに保存し、新たなリアルタイム動画の作成を開始するため、ステップ１に戻り、ステップ１～ステップ１０の動作が繰り返される（Ｓ１２：ステップ１２）。
衝突回避システム１０が起動されている間、リアルタイム動画の保存処理は継続して行われる。
【0046】
次に、図４に示したリアルタイム動画の保存処理と並行して行われる衝突回避処理について図５を用いて説明する。
図４のステップ５で、衝突回避対象が存在すると判定された場合、リアルタイム動画の保存処理としてステップ７以降の処理が行われている間、図５に示す衝突回避方法が並行して行われる。
まず、衝突回避システム１０の設定（モード）がデジタル信号の入力モードになっているか判定される（Ｓ１３：ステップ１３）。
ステップ１３で、デジタル信号の入力モードになっていると判定された場合、リバース信号があるか（車両からリバース信号が出力されているか）確認される（Ｓ１４：ステップ１４）。
ステップ１４で、リバース信号があると判定された場合、自車が後進中であると判別され、第１の警報が発報（出力）される（Ｓ１５：ステップ１５）。
ステップ１４で、リバース信号がないと判定された場合、自車が前進中又は停車中であると判別され、第２の警報が発報（出力）される（Ｓ１６：ステップ１６）。
ステップ１３で、デジタル信号の入力モードになっていないと判定された場合、デジタル信号（リバース信号）の検出は行われず、車両状態（自車が後進中であるか否か）に関係なく、第３の警報が発報（出力）される（Ｓ１７：ステップ１７）。
図４のステップ５で、衝突回避対象が存在すると判定された場合、リアルタイム動画の保存処理としてステップ７以降の処理が行われている間、図５に示す衝突回避方法が並行して行われる。
まず、衝突回避システム１０の設定（モード）がデジタル信号の入力モードになっているか判定される（Ｓ１３：ステップ１３）。
ステップ１３で、デジタル信号の入力モードになっていると判定された場合、リバース信号があるか（車両からリバース信号が出力されているか）確認される（Ｓ１４：ステップ１４）。
ステップ１４で、リバース信号があると判定された場合、自車が後進中であると判別され、第１の警報が発報（出力）される（Ｓ１５：ステップ１５）。
ステップ１４で、リバース信号がないと判定された場合、自車が前進中又は停車中であると判別され、第２の警報が発報（出力）される（Ｓ１６：ステップ１６）。
ステップ１３で、デジタル信号の入力モードになっていないと判定された場合、デジタル信号（リバース信号）の検出は行われず、車両状態（自車が後進中であるか否か）に関係なく、第３の警報が発報（出力）される（Ｓ１７：ステップ１７）。
【0047】
第１～第３の警報のいずれかが発報されたら、カメラで取得された画像（生画像）及び加工後の画像（描画後画像）が保存される画像保存フォルダの容量に空きがあるか確認される（Ｓ１８：ステップ１８）。
ステップ１８で、画像保存フォルダの容量に空きがないと判定された場合、画像保存フォルダに保存されている古い画像（生画像及び描画後画像）のファイルが削除される。ここで、新たに取得された画像（生画像及び描画後画像）の総容量と同等以上の空きがあると判定されるまで、古い画像のファイルの削除が繰り返し行われる。ファイルは自動的に保存日時の古いものから順に削除されることが好ましいが、運転者が削除するファイルを選択できるようにしてもよい（Ｓ１９：ステップ１９）。
ステップ１８で、画像フォルダの容量に空きがあると判定された場合、ステップ５（図４参照）で衝突回避対象が検知された時の画像（生画像及び描画後画像）が保存される。ここでは、衝突回避対象が検知された時から所定時間遡った期間（例えば１０フレーム分）の画像が保存される。また、ステップ５で検知された衝突回避対象の種類と位置情報（車両から衝突回避対象までの距離等）のテキストデータも合わせて保存される（Ｓ２０：ステップ２０）。
本実施の形態では、第１の警報の内容と第３の警報の内容が同一であるが、第１～第３の警報の内容は適宜、選択され、一部又は全部が同一であってもよいし、異なっていてもよい。また、条件（例えば衝突回避対象の位置と車両の進行方向との組合せ）によっては第１～第３の警報のいずれかが省略され（無効にされ）てもよい。
ステップ１８で、画像保存フォルダの容量に空きがないと判定された場合、画像保存フォルダに保存されている古い画像（生画像及び描画後画像）のファイルが削除される。ここで、新たに取得された画像（生画像及び描画後画像）の総容量と同等以上の空きがあると判定されるまで、古い画像のファイルの削除が繰り返し行われる。ファイルは自動的に保存日時の古いものから順に削除されることが好ましいが、運転者が削除するファイルを選択できるようにしてもよい（Ｓ１９：ステップ１９）。
ステップ１８で、画像フォルダの容量に空きがあると判定された場合、ステップ５（図４参照）で衝突回避対象が検知された時の画像（生画像及び描画後画像）が保存される。ここでは、衝突回避対象が検知された時から所定時間遡った期間（例えば１０フレーム分）の画像が保存される。また、ステップ５で検知された衝突回避対象の種類と位置情報（車両から衝突回避対象までの距離等）のテキストデータも合わせて保存される（Ｓ２０：ステップ２０）。
本実施の形態では、第１の警報の内容と第３の警報の内容が同一であるが、第１～第３の警報の内容は適宜、選択され、一部又は全部が同一であってもよいし、異なっていてもよい。また、条件（例えば衝突回避対象の位置と車両の進行方向との組合せ）によっては第１～第３の警報のいずれかが省略され（無効にされ）てもよい。
【0048】
以上、本発明の実施の形態を説明したが、本発明は何ら上記した実施の形態に記載の構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。
【符号の説明】
【0049】
１０：衝突回避システム、１１：機械学習設定部、１２：画像取得部、１３：表示部、１４：機械学習推論部、１５：衝突回避設定部、１６：警報出力部、１７：車両状態認識部、２０：水平ライン、２１：衝突回避対象、２２：矩形枠、２３：補助ライン、２４：道路、２５：衝突回避対象
【図1】
【図2】
【図3】
【図4】
【図5】