知財求人 - 知財ポータルサイト「IP Force」
▶ ナカシャ クリエイテブ株式会社の特許一覧 ▶ 中日本ハイウェイ・エンジニアリング名古屋株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023074913
(43)【公開日】2023-05-30
(54)【発明の名称】監視警告装置、監視警告方法、プログラム
(51)【国際特許分類】
G08G 1/04 20060101AFI20230523BHJP
G08G 1/16 20060101ALI20230523BHJP
G06T 7/00 20170101ALI20230523BHJP
G08B 21/02 20060101ALI20230523BHJP
【ＦＩ】
G08G1/04 D
G08G1/16 D
G06T7/00 650B
G06T7/00 350C
G08B21/02
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021188103
(22)【出願日】2021-11-18
(71)【出願人】
【識別番号】501198084
【氏名又は名称】ナカシャ クリエイテブ株式会社
(71)【出願人】
【識別番号】391007460
【氏名又は名称】中日本ハイウェイ・エンジニアリング名古屋株式会社
(74)【代理人】
【識別番号】100087778
【弁理士】
【氏名又は名称】丸山 明夫
(72)【発明者】
【氏名】松井 良行
(72)【発明者】
【氏名】田中 昌之
(72)【発明者】
【氏名】佐伯 正人
(72)【発明者】
【氏名】恩田 尚明
【テーマコード（参考）】
5C086
5H181
5L096
【Ｆターム（参考）】
5C086AA22
5C086BA22
5C086CA28
5C086CB36
5C086DA33
5C086FA06
5H181AA01
5H181BB04
5H181BB20
5H181CC04
5H181CC24
5H181DD02
5H181FF04
5H181FF27
5H181LL02
5H181LL04
5H181LL07
5H181LL14
5L096BA02
5L096BA04
5L096CA04
5L096DA03
5L096FA03
5L096FA05
5L096FA18
5L096FA59
5L096GA51
5L096HA05
5L096HA09
5L096HA11
5L096JA22
5L096KA04
5L096KA15
(57)【要約】
【課題】 高速道路の本線規制を行わない簡単な巡視点検時、安心・安全を確保して、点検者が後方（車両の反進行方向）に気を取られることなく点検できるようにする。
【解決手段】 道路の路肩９１内から道路後方側を監視して路肩９１に進入して来る車両をユーザに警告する監視警告装置。道路後方側を撮像するカメラ３０、動画の各画像フレームから車両とクラスを検出及び識別し且つ追跡する画像処理手段５１、車両走行車線９２と路肩９１を区切る路面上の白線帯９０に重ねて境界線９を設定する境界線設定手段Ｓ２１、追跡中の車両が占める車両領域ＢＢを境界線９で分断した２領域Ｂ１，Ｂ２の面積比を、当該車両のクラスの警告閾値と比較して、閾値を越えた場合に警告する手段Ｓ４１を有する監視警告装置。
【選択図】 図１
【解決手段】 道路の路肩９１内から道路後方側を監視して路肩９１に進入して来る車両をユーザに警告する監視警告装置。道路後方側を撮像するカメラ３０、動画の各画像フレームから車両とクラスを検出及び識別し且つ追跡する画像処理手段５１、車両走行車線９２と路肩９１を区切る路面上の白線帯９０に重ねて境界線９を設定する境界線設定手段Ｓ２１、追跡中の車両が占める車両領域ＢＢを境界線９で分断した２領域Ｂ１，Ｂ２の面積比を、当該車両のクラスの警告閾値と比較して、閾値を越えた場合に警告する手段Ｓ４１を有する監視警告装置。
【選択図】 図１
【特許請求の範囲】
【請求項1】
道路の路肩又は最左車線内から道路後方側を監視して当該の路肩又は最左車線に進入して来る車両をユーザに警告する監視警告装置であって、
前記路肩又は最左車線内の所定位置から道路後方側を撮像するカメラと、
前記カメラから入力される動画の各画像フレームから車両と当該車両が属するクラスを検出及び識別し且つ追跡する画像処理手段と、
当該道路の車両走行車線と前記路肩又は最左車線とを区切る路面上の白線帯に重ねて前記各画像フレーム内に仮想の境界線を設定する境界線設定手段と、
前記画像処理手段が追跡中の車両が占める車両領域を前記境界線で分断して成る２領域の面積比の警告閾値を車両のクラス別に保持している閾値記憶手段と、
前記画像処理手段が追跡中の各車両について前記面積比を各々算出して当該の車両が属するクラスの警告閾値と各々比較する面積比処理手段と、
前記画像処理手段が追跡中の何れかの車両の前記面積比が当該車両のクラスの警告閾値を越えたと前記面積比処理手段が判定した場合に警告出力する警告手段と、
を有することを特徴とする監視警告装置。
前記路肩又は最左車線内の所定位置から道路後方側を撮像するカメラと、
前記カメラから入力される動画の各画像フレームから車両と当該車両が属するクラスを検出及び識別し且つ追跡する画像処理手段と、
当該道路の車両走行車線と前記路肩又は最左車線とを区切る路面上の白線帯に重ねて前記各画像フレーム内に仮想の境界線を設定する境界線設定手段と、
前記画像処理手段が追跡中の車両が占める車両領域を前記境界線で分断して成る２領域の面積比の警告閾値を車両のクラス別に保持している閾値記憶手段と、
前記画像処理手段が追跡中の各車両について前記面積比を各々算出して当該の車両が属するクラスの警告閾値と各々比較する面積比処理手段と、
前記画像処理手段が追跡中の何れかの車両の前記面積比が当該車両のクラスの警告閾値を越えたと前記面積比処理手段が判定した場合に警告出力する警告手段と、
を有することを特徴とする監視警告装置。
【請求項2】
請求項１に於いて、
前記画像処理手段が追跡中の車両が占める車両領域は、当該車両のバウンディングボックスの領域である、
ことを特徴とする監視警告装置。
前記画像処理手段が追跡中の車両が占める車両領域は、当該車両のバウンディングボックスの領域である、
ことを特徴とする監視警告装置。
【請求項3】
請求項１又は請求項２に於いて、
前記境界線設定手段は、操作入力装置からの入力に応じて前記境界線を設定する、
ことを特徴とする監視警告装置。
前記境界線設定手段は、操作入力装置からの入力に応じて前記境界線を設定する、
ことを特徴とする監視警告装置。
【請求項4】
請求項１又は請求項２に於いて、
前記路面上の白線帯が曲線状を成す場合、前記境界線設定手段は、前記路肩又は最左車線の危険領域を複数個の多角形に分割し、前記白線帯に重なる多角形の辺を近似的に前記境界線の各一部として設定する、
ことを特徴とする監視警告装置。
前記路面上の白線帯が曲線状を成す場合、前記境界線設定手段は、前記路肩又は最左車線の危険領域を複数個の多角形に分割し、前記白線帯に重なる多角形の辺を近似的に前記境界線の各一部として設定する、
ことを特徴とする監視警告装置。
【請求項5】
請求項４に於いて、
前記多角形は、前記危険領域内の奥側から手前側へ間隔を空けて順に設定した複数本の平行線を、順繰りに上辺及び下辺として形成される台形である、
ことを特徴とする監視警告装置。
前記多角形は、前記危険領域内の奥側から手前側へ間隔を空けて順に設定した複数本の平行線を、順繰りに上辺及び下辺として形成される台形である、
ことを特徴とする監視警告装置。
【請求項6】
請求項１～請求項５の何れかに於いて、
前記画像処理手段は、トラック、バス、普通乗用車、軽トラック、自動二輪車等の車種別の前面側の撮影画像に基づいて作成した多数の画像データを、車両検出及び識別用の教師データとして用いる深層学習により調整されている、
ことを特徴とする監視警告装置。
前記画像処理手段は、トラック、バス、普通乗用車、軽トラック、自動二輪車等の車種別の前面側の撮影画像に基づいて作成した多数の画像データを、車両検出及び識別用の教師データとして用いる深層学習により調整されている、
ことを特徴とする監視警告装置。
【請求項7】
コンピュータを、請求項１～請求項６の何れかの監視警告装置として機能させるためのプログラム。
【請求項8】
道路の路肩又は最左車線内から道路後方側を監視して当該の路肩又は最左車線に進入して来る車両をユーザに警告する監視警告方法であって、
前記路肩又は最左車線内の所定位置から道路後方側を撮像するカメラから入力される動画の各画像フレームから車両と当該車両が属するクラスを検出及び識別し且つ追跡し、
当該道路の車両走行車線と前記路肩又は最左車線とを区切る路面上の白線帯に重ねて前記各画像フレーム内に仮想の境界線を設定し、
前記追跡中の各車両について、当該の車両が占める車両領域を前記境界線で分断して成る２領域の面積比を各々算出して当該車両が属するクラスの警告閾値と各々比較し、
前記追跡中の何れかの車両の前記算出した面積比が当該車両のクラスの警告閾値を越えた場合に警告出力する、
ことを特徴とする監視警告方法。
前記路肩又は最左車線内の所定位置から道路後方側を撮像するカメラから入力される動画の各画像フレームから車両と当該車両が属するクラスを検出及び識別し且つ追跡し、
当該道路の車両走行車線と前記路肩又は最左車線とを区切る路面上の白線帯に重ねて前記各画像フレーム内に仮想の境界線を設定し、
前記追跡中の各車両について、当該の車両が占める車両領域を前記境界線で分断して成る２領域の面積比を各々算出して当該車両が属するクラスの警告閾値と各々比較し、
前記追跡中の何れかの車両の前記算出した面積比が当該車両のクラスの警告閾値を越えた場合に警告出力する、
ことを特徴とする監視警告方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定の監視領域に車両が進入すると、その車両の危険性を調べて危険な場合に警告出力する監視警告装置に関する。
例えば、高速道路の路肩又は最左車線に点検車両を一時的に駐車して降車し、周辺の状況を目視点検等する点検作業者の安全を確保するべく、後方から接近して来る車両を検出して危険性を判定し、危険な場合に警告する装置に関する。
また、上記の装置で実行される方法や、コンピュータを上記の装置として機能させるためのプログラムに関する。
例えば、高速道路の路肩又は最左車線に点検車両を一時的に駐車して降車し、周辺の状況を目視点検等する点検作業者の安全を確保するべく、後方から接近して来る車両を検出して危険性を判定し、危険な場合に警告する装置に関する。
また、上記の装置で実行される方法や、コンピュータを上記の装置として機能させるためのプログラムに関する。
【背景技術】
【0002】
特開２０１７－１６３３７４号公報（特許文献１）には、道路上の所定領域を撮像する撮像装置から入力される画像に基づいて、当該所定領域内の道路上を移動する物体の行動を精度良く推定する技術が開示されている。
特開２０１８－０２２２３４号公報（特許文献２）には、自車両の周辺に存在する他車両等の対象物を撮影画像から正確に検知する技術が開示されている。
特開２０１８－０２２２３４号公報（特許文献２）には、自車両の周辺に存在する他車両等の対象物を撮影画像から正確に検知する技術が開示されている。
【0003】
ディープラーニングによる物体検知はオブジェクト・ディテクションと称され、２０１６年頃から海外の論文（非特許文献１，２）に掲載され、オープンソースソフトウェアでの実装も行われるようになり、２０１８年春には、既存のコンピュータによるリアルタイム処理（３０［ｆｐｓ］以上）が可能となっている。
例えば、ディープラーニングによる物体検知・識別（クラス分け）に於いて、比較的知られた実装であるＳＳＤやＹＯＬＯでは、膨大な教師画像を用いた学習済モデルを使った転移学習によって、最小限の計算量で、オリジナルデータによるモデル構築が可能となっている。
例えば、ディープラーニングによる物体検知・識別（クラス分け）に於いて、比較的知られた実装であるＳＳＤやＹＯＬＯでは、膨大な教師画像を用いた学習済モデルを使った転移学習によって、最小限の計算量で、オリジナルデータによるモデル構築が可能となっている。
【0004】
物体追跡の手法として、ＳＯＲＴ（Simple Online and Realtime Tracking)の拡張であるＤｅｅｐ－ＳＯＲＴを挙げることができる。Ｄｅｅｐ－ＳＯＲＴについては、例えば、非特許文献３に掲載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１７－１６３３７４号公報
【特許文献2】特開２０１８－０２２２３４号公報
【非特許文献1】YOLOv3: An Incremental Improvement / Joseph Redmon, Ali Farhadi / University of Washington
【非特許文献2】SSD: Single Shot MultiBox Detector / Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg
【非特許文献3】https:nanonets.com/blog/object-tracking-deepsort/（２０２０年６月１６日現在）
【発明の概要】
【発明が解決しようとする課題】
【0006】
例えば、高速道路の巡視点検であって、本線規制を伴わない軽微な点検では、路肩に点検車両を一時的に駐車しておき、その前方（車両進行方向）を歩いて目視点検するのであるが、稀に、路肩を走行して来る車両もあるため、安全確保のための監視が望まれる。
つまり、点検者が後方（車両の反進行方向）に気を取られることなく安心・安全を確保したいという要請が有る。
また、安全・安心を、簡単に確保したいという要請もある。
本発明は、このような要請に応えることを目的とする。
つまり、点検者が後方（車両の反進行方向）に気を取られることなく安心・安全を確保したいという要請が有る。
また、安全・安心を、簡単に確保したいという要請もある。
本発明は、このような要請に応えることを目的とする。
【課題を解決するための手段】
【0007】
本発明の例を、下記［１］～［８］に記す。なお、この項（［課題を解決するための手段］）と次項（［発明の効果］）に於いて、符号は理解を容易にするために付したものであり、本発明を符号の構成に限定する趣旨ではない。
［１］発明１
道路の路肩９１又は最左車線内から道路後方側を監視して当該の路肩９１又は最左車線に進入して来る車両をユーザに警告する監視警告装置であって、
前記路肩９１又は最左車線内の所定位置から道路後方側を撮像するカメラ３０と、
前記カメラ３０から入力される動画の各画像フレームから車両と当該車両が属するクラスを検出及び識別し且つ追跡する画像処理手段５１と、
当該道路の車両走行車線９２と前記路肩９１又は最左車線とを区切る路面上の白線帯９０に重ねて前記各画像フレーム内に仮想の境界線９を設定する境界線設定手段Ｓ２１と、
前記画像処理手段５１が追跡中の車両が占める車両領域ＢＢを前記境界線９で分断して成る２領域Ｂ１，Ｂ２の面積比の警告閾値を車両のクラス別に保持している閾値記憶手段６１と、
前記画像処理手段５１が追跡中の各車両について前記面積比を各々算出して当該の車両が属するクラスの警告閾値と各々比較する面積比処理手段Ｓ２１，Ｓ２３と、
前記画像処理手段５１が追跡中の何れかの車両の前記面積比が当該車両のクラスの警告閾値を越えたと前記面積比処理手段Ｓ２３，Ｓ３１が判定した場合に警告出力する警告手段Ｓ４１と、
を有することを特徴とする監視警告装置。
［１］発明１
道路の路肩９１又は最左車線内から道路後方側を監視して当該の路肩９１又は最左車線に進入して来る車両をユーザに警告する監視警告装置であって、
前記路肩９１又は最左車線内の所定位置から道路後方側を撮像するカメラ３０と、
前記カメラ３０から入力される動画の各画像フレームから車両と当該車両が属するクラスを検出及び識別し且つ追跡する画像処理手段５１と、
当該道路の車両走行車線９２と前記路肩９１又は最左車線とを区切る路面上の白線帯９０に重ねて前記各画像フレーム内に仮想の境界線９を設定する境界線設定手段Ｓ２１と、
前記画像処理手段５１が追跡中の車両が占める車両領域ＢＢを前記境界線９で分断して成る２領域Ｂ１，Ｂ２の面積比の警告閾値を車両のクラス別に保持している閾値記憶手段６１と、
前記画像処理手段５１が追跡中の各車両について前記面積比を各々算出して当該の車両が属するクラスの警告閾値と各々比較する面積比処理手段Ｓ２１，Ｓ２３と、
前記画像処理手段５１が追跡中の何れかの車両の前記面積比が当該車両のクラスの警告閾値を越えたと前記面積比処理手段Ｓ２３，Ｓ３１が判定した場合に警告出力する警告手段Ｓ４１と、
を有することを特徴とする監視警告装置。
【0008】
＜用語の詳細＞
画像処理手段（検出器・分類器・追跡器）５１は、例えば、Ｄｅｅｐ－ＳＯＲＴ・ＹＯＬＯｖ３を実装することにより構成できる。物体の検出・識別（クラス分け）は、要求される性能によっては、ＹＯＬＯｖ３に代えて、例えばＳＳＤを用いることもできる。検出領域に於ける検出対象物体の挙動等を考慮して、また、物体情報処理装置に要求される精度や性能を考慮して、適宜のオープンソース（ライブラリ／プラットフォーム／ＡＩアプリケーション）を選定してよい。物体の検出と識別（クラス分け）は、同時でもよく、２段階で行うアプリケーションでもよい。また、学習データとしては、各種の車両（トラック、普通車、軽トラック、バス、自動二輪車、等）を前方側から撮影した多数の画像を適宜に用いると良好である。
面積比を、Ｂ１／Ｂ２、又は、Ｂ１／（Ｂ１＋Ｂ２）と定義した場合は、「警告閾値を越えた場合」とは、「面積比の算出値≧（or ＞）警告閾値」の場合を言う。
逆に、面積比を、Ｂ２／Ｂ１、又は、Ｂ２／（Ｂ１＋Ｂ２）と定義した場合は、「警告閾値を越えた場合」とは、「警告閾値≧（or ＞）面積比の算出値」の場合を言う。
ここで、Ｂ１とは車両領域内の路肩側の領域面積を言い、Ｂ２とは車両領域内の走行車線側の領域面積を言うものとする（図７（ｂ）（ｃ）参照）。
なお、閾値記憶手段が保持する警告閾値は、上記定義に則した閾値が用意されているものとする。例えば、Ｂ１／Ｂ２を用いるのであれば、各クラス（トラック、普通車、軽トラック、バス、自動二輪車、等）について、それぞれ、Ｂ１／Ｂ２で計測した結果に基づいて当該の道路種で危険と判断される閾値が用意されているものとする。例えば、高速道路であれば、接近して来る車両が高速であるため、点検作業者に十分な退避時間を確保させるべく、路肩領域への進入量が相対的に小さな場合が閾値とされる。
警告手段Ｓ４１は、例えば、警告音声を出力するようにスピーカを制御する手段や、点検作業者が持つ無線受信機に警告データを送る手段である。
画像処理手段（検出器・分類器・追跡器）５１は、例えば、Ｄｅｅｐ－ＳＯＲＴ・ＹＯＬＯｖ３を実装することにより構成できる。物体の検出・識別（クラス分け）は、要求される性能によっては、ＹＯＬＯｖ３に代えて、例えばＳＳＤを用いることもできる。検出領域に於ける検出対象物体の挙動等を考慮して、また、物体情報処理装置に要求される精度や性能を考慮して、適宜のオープンソース（ライブラリ／プラットフォーム／ＡＩアプリケーション）を選定してよい。物体の検出と識別（クラス分け）は、同時でもよく、２段階で行うアプリケーションでもよい。また、学習データとしては、各種の車両（トラック、普通車、軽トラック、バス、自動二輪車、等）を前方側から撮影した多数の画像を適宜に用いると良好である。
面積比を、Ｂ１／Ｂ２、又は、Ｂ１／（Ｂ１＋Ｂ２）と定義した場合は、「警告閾値を越えた場合」とは、「面積比の算出値≧（or ＞）警告閾値」の場合を言う。
逆に、面積比を、Ｂ２／Ｂ１、又は、Ｂ２／（Ｂ１＋Ｂ２）と定義した場合は、「警告閾値を越えた場合」とは、「警告閾値≧（or ＞）面積比の算出値」の場合を言う。
ここで、Ｂ１とは車両領域内の路肩側の領域面積を言い、Ｂ２とは車両領域内の走行車線側の領域面積を言うものとする（図７（ｂ）（ｃ）参照）。
なお、閾値記憶手段が保持する警告閾値は、上記定義に則した閾値が用意されているものとする。例えば、Ｂ１／Ｂ２を用いるのであれば、各クラス（トラック、普通車、軽トラック、バス、自動二輪車、等）について、それぞれ、Ｂ１／Ｂ２で計測した結果に基づいて当該の道路種で危険と判断される閾値が用意されているものとする。例えば、高速道路であれば、接近して来る車両が高速であるため、点検作業者に十分な退避時間を確保させるべく、路肩領域への進入量が相対的に小さな場合が閾値とされる。
警告手段Ｓ４１は、例えば、警告音声を出力するようにスピーカを制御する手段や、点検作業者が持つ無線受信機に警告データを送る手段である。
【0009】
［２］発明２
発明１に於いて、
前記画像処理手段５１が追跡中の車両が占める車両領域は、当該車両のバウンディングボックスＢＢの領域である、
ことを特徴とする監視警告装置。
［３］発明３
発明１又は発明２に於いて、
前記境界線設定手段Ｓ２１は、操作入力装置２０からの入力に応じて前記境界線９を設定する、
ことを特徴とする監視警告装置。
［４］発明４
発明１又は発明２に於いて、
前記路面上の白線帯９０が曲線状を成す場合、前記境界線設定手段Ｓ２１は、前記路肩９１又は最左車線の危険領域を複数個の多角形９ａ～９ｅに分割し、前記白線帯９０に重なる多角形の辺を近似的に前記境界線９の各一部として設定する、
ことを特徴とする監視警告装置。
［５］発明５
発明４に於いて、
前記多角形９ａ～９ｅは、前記危険領域内の奥側から手前側へ間隔を空けて順に設定した複数本の平行線を、順繰りに上辺及び下辺として形成される台形である、
ことを特徴とする監視警告装置。
奥側、手前側とは、道路の後方（車両の反進行方向）側を見たときの表現である。
［６］発明６
発明１～発明５の何れかに於いて、
前記画像処理手段５１は、トラック、バス、普通乗用車、軽トラック、自動二輪車等の車種別の前面側の撮影画像に基づいて作成した多数の画像データを、車両検出及び識別用の教師データとして用いる深層学習により調整されている、
ことを特徴とする監視警告装置。
［７］発明７
コンピュータを、発明１～発明６の何れかの監視警告装置として機能させるためのプログラム。
発明１に於いて、
前記画像処理手段５１が追跡中の車両が占める車両領域は、当該車両のバウンディングボックスＢＢの領域である、
ことを特徴とする監視警告装置。
［３］発明３
発明１又は発明２に於いて、
前記境界線設定手段Ｓ２１は、操作入力装置２０からの入力に応じて前記境界線９を設定する、
ことを特徴とする監視警告装置。
［４］発明４
発明１又は発明２に於いて、
前記路面上の白線帯９０が曲線状を成す場合、前記境界線設定手段Ｓ２１は、前記路肩９１又は最左車線の危険領域を複数個の多角形９ａ～９ｅに分割し、前記白線帯９０に重なる多角形の辺を近似的に前記境界線９の各一部として設定する、
ことを特徴とする監視警告装置。
［５］発明５
発明４に於いて、
前記多角形９ａ～９ｅは、前記危険領域内の奥側から手前側へ間隔を空けて順に設定した複数本の平行線を、順繰りに上辺及び下辺として形成される台形である、
ことを特徴とする監視警告装置。
奥側、手前側とは、道路の後方（車両の反進行方向）側を見たときの表現である。
［６］発明６
発明１～発明５の何れかに於いて、
前記画像処理手段５１は、トラック、バス、普通乗用車、軽トラック、自動二輪車等の車種別の前面側の撮影画像に基づいて作成した多数の画像データを、車両検出及び識別用の教師データとして用いる深層学習により調整されている、
ことを特徴とする監視警告装置。
［７］発明７
コンピュータを、発明１～発明６の何れかの監視警告装置として機能させるためのプログラム。
【0010】
［８］
道路の路肩９１又は最左車線内から道路後方側を監視して当該の路肩９１又は最左車線に進入して来る車両をユーザに警告する監視警告方法であって、
前記路肩９１又は最左車線内の所定位置から道路後方側を撮像するカメラ３０から入力される動画の各画像フレームから車両と当該車両が属するクラスを検出及び識別し且つ追跡し、
当該道路の車両走行車線９２と前記路肩９１又は最左車線とを区切る路面上の白線帯９０に重ねて前記各画像フレーム内に仮想の境界線９を設定し（Ｓ２１）、
前記追跡中の各車両について、当該の車両が占める車両領域ＢＢを前記境界線９で分断して成る２領域Ｂ１，Ｂ２の面積比を各々算出して（Ｓ２１）当該車両が属するクラスの警告閾値と各々比較し（Ｓ２３）、
前記追跡中の何れかの車両の前記算出した面積比が当該車両のクラスの警告閾値を越えた場合（Ｓ３１）に警告出力する（Ｓ４１）、
ことを特徴とする監視警告方法。
道路の路肩９１又は最左車線内から道路後方側を監視して当該の路肩９１又は最左車線に進入して来る車両をユーザに警告する監視警告方法であって、
前記路肩９１又は最左車線内の所定位置から道路後方側を撮像するカメラ３０から入力される動画の各画像フレームから車両と当該車両が属するクラスを検出及び識別し且つ追跡し、
当該道路の車両走行車線９２と前記路肩９１又は最左車線とを区切る路面上の白線帯９０に重ねて前記各画像フレーム内に仮想の境界線９を設定し（Ｓ２１）、
前記追跡中の各車両について、当該の車両が占める車両領域ＢＢを前記境界線９で分断して成る２領域Ｂ１，Ｂ２の面積比を各々算出して（Ｓ２１）当該車両が属するクラスの警告閾値と各々比較し（Ｓ２３）、
前記追跡中の何れかの車両の前記算出した面積比が当該車両のクラスの警告閾値を越えた場合（Ｓ３１）に警告出力する（Ｓ４１）、
ことを特徴とする監視警告方法。
【発明の効果】
【0011】
発明１は、道路の路肩９１又は最左車線内から道路後方側を監視して当該の路肩９１又は最左車線に進入して来る車両をユーザに警告する監視警告装置であって、前記路肩９１又は最左車線内の所定位置から道路後方側を撮像するカメラ３０と、前記カメラ３０から入力される動画の各画像フレームから車両と当該車両が属するクラスを検出及び識別し且つ追跡する画像処理手段５１と、当該道路の車両走行車線９２と前記路肩９１又は最左車線とを区切る路面上の白線帯９０に重ねて前記各画像フレーム内に仮想の境界線９を設定する境界線設定手段Ｓ２１と、前記画像処理手段５１が追跡中の車両が占める車両領域ＢＢを前記境界線９で分断して成る２領域Ｂ１，Ｂ２の面積比の警告閾値を車両のクラス別に保持している閾値記憶手段６１と、前記画像処理手段５１が追跡中の各車両について前記面積比を各々算出して当該の車両が属するクラスの警告閾値と各々比較する面積比処理手段Ｓ２１，Ｓ２３と、前記画像処理手段５１が追跡中の何れかの車両の前記面積比が当該車両のクラスの警告閾値を越えたと前記面積比処理手段Ｓ２３，Ｓ３１が判定した場合に警告出力する警告手段Ｓ４１とを有することを特徴とする監視警告装置であるため、例えば、本線規制を伴わない高速道路の巡視点検時、路肩に点検車両を一時的に駐車しておき、その前方（車両進行方向）を歩いて目視点検等する際に、路肩に進入して接近して来る車両が有ることを、適切なタイミング（十分な退避時間を確保できるタイミング）で、点検作業者（ユーザ）に警告できる。
発明２～６についても、上記を達成できる具体的な構成例を与えることができる。
発明７は、コンピュータで、上記を実現できる。
発明８は、発明１と同様である。
発明２～６についても、上記を達成できる具体的な構成例を与えることができる。
発明７は、コンピュータで、上記を実現できる。
発明８は、発明１と同様である。
【図面の簡単な説明】
【0012】
【図1】実施の形態の監視警告装置の機能と装置構成を説明するブロック図。
【図5】道路と路肩及び境界線等の関係の説明図。
【図6】（ａ）は安全確保に十分な時間（警告タイミング）の説明図、（ｂ）はトラックの車両領域ＢＢの説明図、（ｃ）は普通車の車両領域の説明図。
【図7】（ａ）は道路と路肩と境界線と車両領域ＢＢの説明図、（ｂ）は車両領域を分断する境界線の説明図、（ｃ）は車両領域を分断して成る２領域の説明図。
【発明を実施するための形態】
【0013】
図面を参照して、本発明の実施の形態を説明する。
図１に示すように、本実施の形態の監視警告装置は、カメラ３０と、カメラ３０からの画像を入力して処理する画像処理装置５と、キーボード或いはゲームパッド等で構成され得る操作入力装置２０と、記憶装置６０と、無線送信機５８と、これら各部を制御する制御装置（コンピュータ）５０を有する。これら各装置は独立の装置でもよく、また、一体型の装置でもよい。また、画像処理装置５や制御装置５０は、一般的には、画像処理基盤や制御基盤として実装される。また、記憶装置６０は、メモリやハードディスク或いはＳＳＤ等や、それらの組み合わせで構成されていてもよい。
図１に示すように、本実施の形態の監視警告装置は、カメラ３０と、カメラ３０からの画像を入力して処理する画像処理装置５と、キーボード或いはゲームパッド等で構成され得る操作入力装置２０と、記憶装置６０と、無線送信機５８と、これら各部を制御する制御装置（コンピュータ）５０を有する。これら各装置は独立の装置でもよく、また、一体型の装置でもよい。また、画像処理装置５や制御装置５０は、一般的には、画像処理基盤や制御基盤として実装される。また、記憶装置６０は、メモリやハードディスク或いはＳＳＤ等や、それらの組み合わせで構成されていてもよい。
【0014】
カメラ３０は、路肩９１（図７参照；路肩が無い場所では最左車線等）に一時的に設置されて、撮像対象である道路後方側領域を定位置から撮像し得る装置であり、例えば、３０ｆｐｓの動画像を画像処理装置５へ出力する。定位置としては、例えば、図５の各図のように、道路後方側の所定範囲（安全確保に十分なタイミングで車両を検出・追跡開始できる範囲；少なくとも図６（ａ）の監視エリアの範囲を含む）を一望できる位置を例示することができる。
かかる位置にカメラ３０を一時的に固定して、所望の動画像を撮像する。なお、カメラ３０は点検車両に搭載されたまま動作可能に構成されていてもよい。一時的な固定であるから、簡単に設置でき、取り去ることができる構成である。
かかる位置にカメラ３０を一時的に固定して、所望の動画像を撮像する。なお、カメラ３０は点検車両に搭載されたまま動作可能に構成されていてもよい。一時的な固定であるから、簡単に設置でき、取り去ることができる構成である。
【0015】
画像処理装置５は、カメラ３０から入力される動画像の各画像フレームから車両（トラック、乗用車、軽トラック、自動二輪車等）を検出及び識別し且つ追跡する画像処理部５１を有する。なお、図示は省略されているが、カメラ３０から入力される動画像を、制御装置５０からの指示に応じて、適宜、検出した車両にバウンディングボックスＢＢを重ねた画像として、リアルタイムで／静止状態で／繰り返して、表示し得る表示装置を、画像処理装置５の後段に備えていてもよい。
【0016】
画像処理部５１としては、撮像対象の特性等（検出対象の車両のサイズや速度等）に応じて要求される性能・精度の画像処理（各車両の検出・識別・追跡）を行い得る公知のＡＩアプリケーションを用いることができる。本実施の形態では、ＹＯＬＯ（You Only Look Once）に基づく構成を採用しているが、適宜に他の公知のＡＩアプリケーションを採用してもよい。例えば、ＹＯＬＯ（You Only Look Once）に代えて、性能を満たすのであれば、ＳＳＤ（Single Shot Multibox Detector）や、Ｆａｓｔｅｒ－Ｒ－ＣＮＮを用いることも考慮され得る。或いは、Ｄｅｅｐ－ＳＯＲＴ－ＹＯＬＯ．ｖ３等の採用も検討され得る。
【0017】
制御装置５０は、操作入力装置（ゲームパッドやキーボード等）２０からのユーザの操作入力に応じて、各装置を制御する。例えば、操作入力装置２０から「撮像開始」が指示されると、カメラ３０に撮像開始を指示して撮像を開始させる。カメラ３０は、撮像中の動画像、即ち、時系列の画像フレームを、順に画像処理装置５の画像処理部５１へ出力する。本実施の形態では、カメラ３０が出力する動画像は、３０ｆｐｓである。
【0018】
画像処理部５１は、カメラ３０から入力される動画像の各画像フレームから、車両（普通車、トラック、自動二輪車、軽トラック等）を検出及び識別（分類，クラス分け）するとともに、追跡し、各車両のデータ（バウンディングボックスＢＢの位置・サイズ、車両の種別（クラス）、ＩＤ、画像フレームの番号等）を適宜の記憶領域（不図示）に保持するとともに、制御装置５０へ出力する。
【0019】
制御装置５０は、画像処理部５１から現在の画像フレームのデータが入力されると、図２に示す処理を実行する。即ち、現在の画像フレーム内の各車両の車両領域（バウンディングボックスＢＢの領域）を、各々境界線９で分割して成る各２領域の面積比を求め、求めた各車両の面積比を、当該の車両が属するクラス（普通乗用車／トラック／自動二輪車／軽トラック等）の警告閾値と比較して、面積比が警告閾値を越えた場合にユーザに対して警告出力する処理を実行する。
【0020】
図２に則して説明する。
制御装置５０は、画像処理装置５から、現在の画像フレームで検出された諸データを取得する（Ｓ１１）。例えば、現在の画像フレームで検出された各車両とそのクラス及び当該の車両の車両領域（バウンディングボックス）ＢＢのサイズと位置、従前の画像フレームで検出され現在の画像フレームで追跡中である各車両とそのクラス及び当該の車両の車両領域（バウンディングボックス）ＢＢのサイズと位置を、取得する。
なお、走行車線９２と路肩９１との境界を示す境界線９のデータは、監視警告装置を設置したとき等に、初期設定で取得済みであるとする。
制御装置５０は、画像処理装置５から、現在の画像フレームで検出された諸データを取得する（Ｓ１１）。例えば、現在の画像フレームで検出された各車両とそのクラス及び当該の車両の車両領域（バウンディングボックス）ＢＢのサイズと位置、従前の画像フレームで検出され現在の画像フレームで追跡中である各車両とそのクラス及び当該の車両の車両領域（バウンディングボックス）ＢＢのサイズと位置を、取得する。
なお、走行車線９２と路肩９１との境界を示す境界線９のデータは、監視警告装置を設置したとき等に、初期設定で取得済みであるとする。
【0021】
次に、取得したデータを用いて、各車両の車両領域を境界線９で分断して成る２領域の面積比を、各々算出する（Ｓ２１）。
本実施の形態では、面積比として、Ｂ１／（Ｂ１＋Ｂ２）を算出する。
ここで、Ｂ１は当該の車両領域（バウンディングボックス）ＢＢを境界線９で分断したときの路肩９１側の領域の面積、Ｂ２は走行車線９２側の領域の面積である（図７）。
つまり、本実施の形態では、車両領域（バウンディングボックス）ＢＢを境界線９で分断したときの路肩９１側の領域の面積の、当該車両領域の面積に対する比を、面積比として用いている。
本実施の形態では、面積比として、Ｂ１／（Ｂ１＋Ｂ２）を算出する。
ここで、Ｂ１は当該の車両領域（バウンディングボックス）ＢＢを境界線９で分断したときの路肩９１側の領域の面積、Ｂ２は走行車線９２側の領域の面積である（図７）。
つまり、本実施の形態では、車両領域（バウンディングボックス）ＢＢを境界線９で分断したときの路肩９１側の領域の面積の、当該車両領域の面積に対する比を、面積比として用いている。
【0022】
この面積比を、当該の車両が属するクラス（普通乗用車／トラック／自動二輪車／軽トラック等）の警告閾値と比較する（Ｓ２３）。この警告閾値は、上記の面積比がどの程度になったとき、言い換えれば、検出・追跡中の車両が、どの距離で、どの程度まで、路肩に進入したときにユーザに対して警告すると、退避に十分な時間を確保できるかという観点から、試行錯誤を行って求めた値である。
なお、当然であるが、警告閾値としても、上記の定義「Ｂ１／（Ｂ１＋Ｂ２）」に対応する原理で求めた値がクラス別に用意されている。
また、監視警告装置から車両までの距離は、本実施の形態では、距離センサ７０からの入力データを用いて取得している。
なお、当然であるが、警告閾値としても、上記の定義「Ｂ１／（Ｂ１＋Ｂ２）」に対応する原理で求めた値がクラス別に用意されている。
また、監視警告装置から車両までの距離は、本実施の形態では、距離センサ７０からの入力データを用いて取得している。
【0023】
ステップＳ２３での比較の結果、何れかの車両の面積比が当該の車両が属するクラスの閾値を越えた場合は（Ｓ３１でＹＥＳ）、警告出力を行う（Ｓ４１）。
本実施の形態では、無線送信機５８へ「警告を送信すべき旨のデータ」を出力する。これにより、無線送信機５８は、各点検作業者が各々持っている各無線受信機８０へ、当該のデータを無線送信する。各無線受信機８０では、点検作業者の注意を確実に引く出力が行われる。例えば、大音量での警告音が出力される。
本実施の形態では、無線送信機５８へ「警告を送信すべき旨のデータ」を出力する。これにより、無線送信機５８は、各点検作業者が各々持っている各無線受信機８０へ、当該のデータを無線送信する。各無線受信機８０では、点検作業者の注意を確実に引く出力が行われる。例えば、大音量での警告音が出力される。
【0024】
なお、図１中、ＧＮＳＳ受信機１０は、ＧＮＳＳ衛星からの受信情報に基づいて、現在時刻・現在位置を出力する装置である。これにより、本実施の形態の監視警告装置は、上記の監視警告を行う正確な位置情報・時間情報を得ることができる。
【0025】
上記実施の形態では、面積比として、「Ｂ１／（Ｂ１＋Ｂ２）」を用いているが、これに代えて、
（１）「Ｂ１／Ｂ２」
（２）「Ｂ２／（Ｂ１＋Ｂ２」
（３）「Ｂ２／Ｂ１」
を用いることも可能である。その場合、当然ながら、各クラスの閾値としても、当該の定義に則した閾値を用いることとする。
また、上記（２）と（３）の場合、車両が路肩９１側へ進入する度合いが増すにつれて面積比の数値は小さくなる。したがって、「閾値を越えた場合」とは、「閾値を乗り越えて面積比が小さくなった場合」を意味することとなる。
（１）「Ｂ１／Ｂ２」
（２）「Ｂ２／（Ｂ１＋Ｂ２」
（３）「Ｂ２／Ｂ１」
を用いることも可能である。その場合、当然ながら、各クラスの閾値としても、当該の定義に則した閾値を用いることとする。
また、上記（２）と（３）の場合、車両が路肩９１側へ進入する度合いが増すにつれて面積比の数値は小さくなる。したがって、「閾値を越えた場合」とは、「閾値を乗り越えて面積比が小さくなった場合」を意味することとなる。
【0026】
上記実施の形態は、高速道路の路肩に本願発明の監視警告装置を設置した場合を説明しているが、本願発明は係る実施の形態に限定されない。例えば、サービスエリアの入口や出口に設置する場合も、路肩に代えて適宜の領域を監視すべき危険領域として設定することで、同様に処理が可能である。或いは、列車の駅のホーム等であって進入線路が曲線を成しているために早期に列車を視認できないような場合も、路肩に代えて同様に監視すべき危険領域を設定することで、本願発明を適用可能である。
【符号の説明】
【0027】
１０ ＧＮＳＳ受信機
２０ 操作入力装置
３０ カメラ
４０ 電源装置
５ 画像処理装置
５１ 画像処理部
５０ 制御装置
５８ 無線送信機
６０ 記憶装置
６１ 閾値記憶部
７０ 距離センサ
８０ 無線受信機
９ 境界線
９ａ，９ｂ，９ｃ，９ｄ，９ｅ 台形
９０ 白線帯
９１ 路肩又は最左車線
９２ 車両走行車線
ＢＢ 車両領域
Ｂ１ 車両領域内の路肩側の領域
Ｂ２ 車両領域内の走行車線側の領域
２０ 操作入力装置
３０ カメラ
４０ 電源装置
５ 画像処理装置
５１ 画像処理部
５０ 制御装置
５８ 無線送信機
６０ 記憶装置
６１ 閾値記憶部
７０ 距離センサ
８０ 無線受信機
９ 境界線
９ａ，９ｂ，９ｃ，９ｄ，９ｅ 台形
９０ 白線帯
９１ 路肩又は最左車線
９２ 車両走行車線
ＢＢ 車両領域
Ｂ１ 車両領域内の路肩側の領域
Ｂ２ 車両領域内の走行車線側の領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】