(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024144907
(43)【公開日】2024-10-15
(54)【発明の名称】判定装置および判定方法
(51)【国際特許分類】
G08G 1/16 20060101AFI20241004BHJP
G16Y 10/40 20200101ALI20241004BHJP
G16Y 20/20 20200101ALI20241004BHJP
G16Y 40/10 20200101ALI20241004BHJP
【FI】
G08G1/16 C
G16Y10/40
G16Y20/20
G16Y40/10
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023057079
(22)【出願日】2023-03-31
(71)【出願人】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】小林 雄士
(72)【発明者】
【氏名】宮崎 英明
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181BB04
5H181CC04
5H181FF04
5H181FF13
5H181FF27
5H181FF32
5H181LL02
5H181LL17
(57)【要約】
【課題】駐車時における危険度を適切に判定すること。
【解決手段】本発明に係る判定装置は、車両の運転時における危険度を判定するコントローラを有する判定装置であって、コントローラは、車両が駐車に関する駐車シーンにあるか否かを判定し、駐車シーン以外である場合には、車両で撮影された画像および車両の走行に関するセンサ情報から危険度を判定し、車両が前記駐車シーンである場合に、車両の走行に関するセンサ情報から危険度を判定するとともに、駐車シーン以外である場合に比べて危険度の判定感度を低くする。
【選択図】
図2
【特許請求の範囲】
【請求項1】
車両の運転時における危険度を判定するコントローラを有する判定装置であって、
前記コントローラは、
前記車両が駐車に関する駐車シーンにあるか否かを判定し、
前記駐車シーン以外である場合には、前記車両で撮影された画像および前記車両の走行に関するセンサ情報から危険度を判定し、
前記車両が前記駐車シーンである場合には、前記センサ情報から危険度を判定するとともに、前記駐車シーン以外である場合に比べて危険度の判定感度を低くする、
判定装置。
【請求項2】
前記コントローラは、
前記車両が駐車場内を走行中であるシーンを、前記駐車シーンと判定する、
請求項1に記載の判定装置。
【請求項3】
前記コントローラは、
前記画像の解析結果、または、前記車両の位置情報に基づいて、前記駐車シーンにあるか否かを判定する、
請求項2に記載の判定装置。
【請求項4】
前記コントローラは、
前記車両がバック走行中であるシーンを、前記駐車シーンと判定する、
請求項1に記載の判定装置。
【請求項5】
前記コントローラは、
前記車両が前記駐車シーンである場合に、危険度に上限を設け、上限以上の危険度を判定しない、
請求項1に記載の判定装置。
【請求項6】
前記コントローラは、
判定した前記危険度が閾値を超えたシーンを危険シーンとして抽出し、
前記閾値は、
前記駐車シーンにおける危険度の前記上限よりも高い値である、
請求項5に記載の判定装置。
【請求項7】
前記コントローラは、
各車両に搭載された車載装置から送信される前記画像または前記センサ情報に基づいて各車両の危険度を判定する、
請求項1に記載の判定装置。
【請求項8】
前記コントローラは、
前記車両で生じた加速度が閾値を超えたシーンの前記画像またはセンサ情報に基づいて前記危険度を判定する、
請求項1に記載の判定装置。
【請求項9】
車両の運転時における危険度をコントローラが判定する判定方法であって、
前記車両が駐車に関する駐車シーンにあるか否かを判定し、
前記駐車シーン以外である場合には、前記車両で撮影された画像および前記車両の走行に関するセンサ情報から危険度を判定し、
前記車両が前記駐車シーンである場合には、前記センサ情報から危険度を判定するとともに、前記駐車シーン以外である場合に比べて危険度の判定感度を低くする、
判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
開示の実施形態は、判定装置および判定方法に関する。
【背景技術】
【0002】
従来、運転中の車両の周囲を監視し、運転時の危険度を判定してユーザへ通知する技術がある。かかる技術として、特許文献1には、車両のシーンに応じて周辺監視の感度を切り替える技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、車両の駐車時における危険度の判定を適切に行うためには改善の余地があった。例えば、特許文献1の技術では、駐車場においては周辺監視の感度を高くするため、危険度を実際よりも高く判定してしまう。
【0005】
本発明は、上記に鑑みてなされたものであって、駐車時における危険度を適切に判定することができる判定装置および判定方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明に係る判定装置は、車両の運転時における危険度を判定するコントローラを有する判定装置であって、前記コントローラは、前記車両が駐車に関する駐車シーンにあるか否かを判定し、前記駐車シーン以外である場合には、前記車両で撮影された画像および前記車両の走行に関するセンサ情報から危険度を判定し、前記車両が前記駐車シーンである場合には、前記センサ情報から危険度を判定するとともに、前記駐車シーン以外である場合に比べて危険度の判定感度を低くする。
【発明の効果】
【0007】
本発明によれば、駐車時における危険度を適切に判定することができる。
【図面の簡単な説明】
【0008】
【
図4】
図4は、危険シーン情報の一例を示す図である。
【
図5】
図5は、判定ロジック別の危険度を示す模式図である。
【
図7】
図7は、判定装置が実行する処理手順を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本願の開示する判定装置および判定方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
【0010】
まず、実施形態に係る判定方法の概要について、
図1を用いて説明する。
図1は、判定システムの概要説明図である。
図1に示すように、判定システム1は、判定装置10と、車載装置20とを含む。また、判定装置10および車載装置20は、ネットワークNを介して接続される。
【0011】
判定装置10は、クラウドシステムやサーバ装置によって構成され、車載装置20からネットワークNを介して送信される各種情報を解析し、車両Vの運転時における危険度を判定する。
【0012】
本実施形態では、判定装置10をクラウドシステムやサーバ装置とすることで、各車載装置20の処理を削減することができる。そのため、車載装置20を安価な部品で構成することができるので、車載装置20の販売価格を抑えることができる。なお、判定装置10による処理の一部またはすべてを車載装置20が行うようにしてもよい。すなわち、車載装置20に判定装置10の一部またはすべての構成を組み込むことにしてもよい。
【0013】
車載装置20は、例えば、車両Vに搭載されたドライブレコーダである。車載装置20は、車両Vの周囲(例えば、前方)を撮影するカメラや、ネットワークNに接続する通信部を有する。
【0014】
また、車載装置20は、車両Vの挙動を示す各種センサに接続され、センサ情報を判定装置10へ送信する。センサ情報は、加速度情報、位置情報、車速情報、舵角情報、ブレーキ情報等を含む。なお、車載装置20は、ドライブレコーダに限定されず、例えば、カーナビゲーション装置など、カメラとは分離された装置であってもよい。
【0015】
判定システム1において、判定装置10は、車載装置20からセンサ情報を取得する(ステップS1)。判定装置10は、例えば、センサ情報に含まれる加速度情報に基づき、車両Vで発生した加速度が閾値を超えていた場合、当該加速度が閾値を超えていたシーンの画像を車載装置20に対して要求する(ステップS2)。なお、ステップS2における判定については、車載装置20側で行うようにしてもよい。
【0016】
そして、判定装置10は、車載装置20から要求した画像を取得し(ステップS3)、取得した画像を解析することによって、運転時の危険度(以下、単に「危険度」と記載)を判定する(ステップS4)。
【0017】
上述のように、判定装置10は、車両Vで閾値以上の加速度が生じたことを契機として危険度を判定する。この場合、判定装置10は、急ブレーキや、急操舵等が発生したシーンについて危険度を判定する一方、シフト操作によって車両Vに加速度が発生した場合についても、危険度の判定を行うことになる。
【0018】
具体的には、車両Vにおいて、シフト操作によってドライブからリバース、または、リバースからドライブへ替わった際に加速度が生じる場合があり、判定装置10は、急ブレーキや急操舵以外のシーンであっても危険度を行うことになる。
【0019】
また、例えば、車両Vが駐車場を走行する場面等の周囲に歩行者や他車両が存在する場面において、画像解析によって危険度の判定を行うと画像に歩行者や他車両が写る場合には、実際よりも高い危険度を判定してしまう。
【0020】
そこで、実施形態に係る判定装置10は、車両Vが駐車に関する駐車シーンであるか否かに応じて危険度の判定ロジックを切り替えることにした。本実施形態において、駐車シーンは、車両Vがバック走行中(駐車中)、および、車両Vが駐車場内の走行中を含む。
【0021】
実施形態に係る判定装置10は、車両Vが駐車シーン以外(以下、「通常走行シーン」と記載)である場合には、映像およびセンサ情報を基に危険度を判定し、車両Vが駐車シーンである場合には、センサ情報を基に危険度を判定する。
【0022】
これにより、実施形態に係る判定装置10では、例えば、車両Vが切り返し駐車を行う際のシフト操作によって車両Vで閾値以上の加速度が生じた場合には、映像解析による危険度の判定を回避することができる。
【0023】
また、実施形態に係る判定装置10は、車両Vが駐車場内である場合には、映像解析による危険度を判定しないことで、画像内に周囲の歩行者や他車両に写ることに起因した危険度の誤判定を抑制することができる。
【0024】
さらに、実施形態に係る判定装置10では、車両Vが駐車シーンである場合には、通常走行シーンに比べて危険度の判定感度を下げる。ここで、判定感度を下げるとは、同じシーンのデータに対して、危険度を低い値に判定することを指す。
【0025】
これにより、実施形態に係る判定装置10では、車両Vが切り返し駐車を行う際のシフト操作によって車両Vで閾値以上の加速度が生じた場合であっても、危険度を適切な値に判定することができる。
【0026】
このように、実施形態に係る判定装置10では、駐車シーンか否かによって、危険度の判定ロジックを切り替えるとともに、駐車シーンにおいては、通常走行シーンに比べて危険度の判定感度を下げる。
【0027】
これにより、実施形態に係る判定装置10では、車両の駐車時における危険度を適切に判定することができる。なお、危険度の誤判定を防止する観点からすれば、判定装置10は、駐車シーンと判定した場合には、危険度の判定を行わないようにしてもよい。
【0028】
次に、
図2を用いて、車載装置20の構成例について説明する。
図2は、車載装置20のブロック図である。
図2に示すように、車載装置20は、通信部21、位置情報取得部22、カメラ23、表示部24、記憶部25及び制御部26を有する。
【0029】
通信部21は、他の装置との間でデータの送受信を行うためのインタフェースである。例えば、通信部21は、NICである。
【0030】
位置情報取得部22は、GPS(Global Positioning System)を用いて車両Vの位置情報を取得する。カメラ23は、車両Vの前方(車両Vが前進する方向)を撮影するカメラである。なお、カメラ23は、例えば、車内(運転者)を撮影するカメラや、車両の周囲を撮影する複数のカメラを含むようにしてもよい。
【0031】
表示部24は、画面を表示するためのディスプレイである。表示部24は、タッチパネルディスプレイであってもよい。表示部24は、例えば、判定装置10から送信される通知情報を表示する。なお、通知情報の具体例については
図6を用いて後述する。
【0032】
車載装置20の制御部26及び記憶部25は、例えばCPU、ROM、RAM、フラッシュメモリ、入出力ポート等を有するコンピュータや各種の回路により実現される。
【0033】
また、車載装置20は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介してプログラム及び各種情報を取得するものであってもよい。
【0034】
制御部26は、コントローラ(controller)であり、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、記憶部25に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部26は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現することができる。
【0035】
制御部26は、車両Vの走行に関するセンサ情報を取得し、通信部21を介して、判定装置10へ所定周期で送信する。また、制御部26は、判定装置10による要求に基づいて、カメラ23によって撮影された画像(映像)を判定装置10へ送信する。なお、制御部26は、カメラ23によって撮影される画像を判定装置10へ常時送信するようにしてもよい。
【0036】
次に、
図3を用いて、実施形態に係る判定装置10の構成例について説明する。
図3は、判定装置10のブロック図である。
図3に示すように、判定装置10は、通信部11と、記憶部12と、制御部13とを備える。
【0037】
通信部11は、他の装置との間でデータの送受信を行うためのインタフェースである。例えば、通信部11は、NICである。
【0038】
記憶部12は、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の記憶デバイスによって実現される。記憶部12は、画像認識AI(Artificial Intelligence)、センサ解析AI等を記憶する。
【0039】
画像認識AIは、画像認識用のAIモデルであり、機械学習のアルゴリズムを用いて学習されたDNNモデル等である。例えば、画像認識AIは、画像あるいは映像が入力された際に、危険度を出力するように学習されたモデルである。
【0040】
センサ解析AIは、センサ情報を解析するAIモデルであり、機械学習のアルゴリズムを用いて学習されたDNNモデル等である。例えば、センサ解析AIは、車両Vのセンサ情報が入力された際に、危険度を出力するように学習されたモデルである。なお、画像認識AIおよびセンサ解析AIは、同じ事象の入力データ(画像、センサ情報)が入力された際に、同程度の危険度を出力するように学習されたモデルである。
【0041】
また、記憶部12は、危険シーン情報を記憶する。危険シーン情報は、後述する制御部13によって判定された危険度が閾値を超える危険シーンに関する情報である。ここで、
図4を用いて、危険シーン情報について説明する。
図4は、危険シーン情報の一例を示す図である。
【0042】
図4に示すように、危険シーン情報は、「ユーザID」、「危険シーン」等の項目を互いに対応付けた情報である。「ユーザID」は、車両Vの運転者を識別するための識別子であり、「危険シーン」は、対応するユーザIDによって識別される運転者の危険シーンに関する情報である。例えば、危険シーンには、危険シーンの映像、発生時刻、発生位置、センサ情報などといった情報が格納される。
【0043】
図3の説明に戻り、制御部13について説明する。制御部13は、コントローラ(controller)であり、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、記憶部12に記憶されている実施形態に係る画像処理プログラムがRAMを作業領域として実行されることにより実現される。また、制御部13は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現することができる。
【0044】
制御部13は、各車両Vの車載装置20から送信される画像やセンサ情報に基ついて、車両Vの運転時の危険度を判定する。まず、制御部13は、各車両Vの車載装置20から送信されるセンサ情報を所定周期で取得する。
【0045】
制御部13は、車載装置20から取得したセンサ情報に含まれる加速度情報に基づいて、車両Vの加速度が閾値を超えたか否かを判定する。制御部13は、車両Vの加速度が閾値を超えていた場合、車両Vが駐車シーンか否かを判定し、判定結果に応じて危険度の判定ロジックを切り替える。
【0046】
すなわち、制御部13は、加速度が閾値を超えたシーンについて危険度の判定を行う。これにより、制御部13は、危険度を判定すべきシーンに限定して危険度の判定処理を行うことができるので、すべてのシーンについて危険度の判定を行う場合に比べて処理負荷を軽減することができる。
【0047】
制御部13は、各車両Vの車載装置20から送信される位置情報に基づいて、駐車シーンか否かを判定する。具体的には、制御部13は、各車両Vの位置情報と駐車場マップ(不図示)とのマッピングによって駐車シーンか否かを判定する。この場合、制御部13は、車両Vが駐車場内を走行中である場合に、駐車シーンとして判定する。なお、ここでの駐車場は、比較的規模が大きい駐車場(例えば、駐車台数が20台以上)であり、ショッピングモール等に併設された駐車場が該当する。
【0048】
また、制御部13は、車両Vの速度情報に基づき、車両Vがバック走行中である場合に、駐車シーンとして判定する。この場合、制御部13は、車両Vが前進する場合の走行速度をプラスの値として取得し、車両Vが後進する場合の走行速度をマイナスの値として取得する。そして、制御部13は、走行速度がマイナスの値である場合に、車両Vがバック走行中であると判定する。
【0049】
また、制御部13は、駐車シーンか否かの判定を各車載装置20から送信される画像または映像を基に判定するようにしてもよい。例えば、この場合、制御部13は、対応する車両Vの車載装置20に対して、画像または映像の送信を要求し、車載装置20から送信される画像または映像を解析し、駐車場か否かを判定する。
【0050】
この場合、制御部13は、駐車場の画像を学習データとして学習が行われたAIに対し車載装置20から送信される画像または映像を入力することで、駐車場か否かを判定する。また、制御部13は、画像解析により得られるオプティカルフローからバック走行中か否かを判定し、駐車シーンか否かを判定するようにしてもよい。
【0051】
次に、制御部13は、駐車シーンであるか否かの判定結果に基づいて、危険度の判定ロジックを切り替える。具体的には、制御部13は、駐車シーン以外の通常走行シーンにおいては、画像認識AIおよびセンサ解析AIの双方のAIを用いて危険度を判定し、駐車シーンである場合には、センサ解析AIを用いて危険度を判定する。
【0052】
さらに、制御部13は、駐車シーンである場合には、危険度の判定感度を下げるとともに、上限値を設け、上限値以上の危険度を判定しないように設定する。ここで、各判定ロジックにおける危険度について
図5を用いて説明する。
図5は、判定ロジック別の危険度を示す模式図である。
【0053】
図5では、縦軸に危険度を示し、通常走行シーンおよび駐車シーンそれぞれの危険度を棒グラフで示している。
図5に示すように、駐車シーンにおける危険度の上限値max2は、通常走行シーンにおける危険度の上限値max1に比べて小さい値である。
【0054】
例えば、上限値max2は、上限値max1の3割程度の値であり、同じシーンのデータを入力した場合、通常走行シーンの危険度に対し、駐車シーンの危険度は約1/3程度の値となる。
【0055】
また、制御部13は、上限値max2よりも高い閾値thを超える危険度を判定した際に、危険シーンとして抽出する。すなわち、制御部13は、駐車シーンにおける判定ロジックにおいて、危険シーンを抽出しないように上限値max2を設定することになる。
【0056】
これにより、制御部13は、駐車シーンにおいては、危険シーンではないと判定することで、駐車シーンにおける危険シーンの誤抽出を抑制することができる。
【0057】
また、制御部13は、通常走行シーンにおいて判定した危険度が閾値thを超えた場合に、危険シーンとして抽出し、危険シーン情報(
図4参照)として記憶部12に格納する。また、制御部13は、危険シーンを抽出した場合、車載装置20の表示部24等を通じて、運転者に対して通知する。
【0058】
ここで、
図6を用いて運転者へ通知される通知情報について説明する。
図6は、通知情報の一例を示す図である。
図6に示すように、通知情報は、危険シーンの発生日時、場所、確認用映像等が含まれる。
【0059】
制御部13は、危険シーンを抽出した際に、これらの情報を含む通知情報を生成し、車載装置20等を通じて運転者に対して通知する。運転者は、通知情報に含まれる確認用映像を視聴することで、自身の運転を振り替えることができる。
【0060】
これにより、運転者に対して安全運転に対する意識の向上を促すことができる。なお、制御部13は、通知情報を運転者の端末装置(スマートフォン、タブレット端末、パソコン等)を通じて提供するようにしてもよい。また、車両Vが商用車(トラックやタクシー等)である場合には、商用車を管理する管理者の端末に対して通知するようにしてもよい。
【0061】
次に、
図7を用いて、実施形態に係る判定装置10が実行する処理手順について説明する。
図7は、判定装置10が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、制御部13によって繰り返し実行される。
【0062】
図7に示すように、まず、制御部13は、車両Vで一定値以上の加速度を検知すると(ステップS101)、車両Vが駐車場か否かを判定する(ステップS102)。すなわち、制御部13は、ステップS102において、車両Vの位置情報と駐車場マップのマッピング、または、車両Vで撮影された画像に対する画像解析により、車両Vが駐車場か否かを判定する。
【0063】
制御部13は、車両Vが駐車場でないと判定した場合(ステップS102;No)、車両Vがバック走行中か否かを判定する(ステップS103)。すなわち、制御部13は、車両Vの速度情報がマイナスの値を示すか否かによってバック走行中か否かを判定し、速度情報がマイナスの値である場合に、バック走行中と判定する。なお、制御部13は、車両Vの位置情報の時系列変化に基づいて、バック走行中か否かを判定するようにしてもよい。
【0064】
制御部13は、車両Vがバック走行中でないと判定した場合(ステップS103;No)、画像解析AIおよびセンサ解析AIで危険度を判定する(ステップS104)。すなわち、制御部13は、車両Vがバック走行中でないと判定した場合、車載装置20から取得し映像を画像認識AIへ入力し、センサ情報をセンサ解析AIに入力することによって危険度を判定する。
【0065】
つづいて、制御部13は、判定した危険度が閾値th(
図5参照)よりも高いか否かを判定し(ステップS105)、危険度が閾値thよりも大きい場合(ステップS105;Yes)、危険シーンとして抽出する(ステップS106)。
【0066】
そして、制御部13は、運転者に対し、抽出した危険シーンの危険シーン情報を通知して(ステップS107)、処理を終了する。また、制御部13は、ステップS102で駐車場と判定した場合、ステップS103でバック走行中と判定した場合(ステップS102/ステップS103;Yes)、センサ解析AIで危険度を判定する(ステップS108)。
【0067】
つまり、制御部13は、ステップS102、または、ステップS103において、駐車シーンと判定した場合には、センサ解析AIを用いて危険度を判定し、処理を終了する。また、制御部13は、ステップS105の判定において、判定した危険度が閾値th以下である場合(ステップS105;No)、ステップS106以降の処理を省略して処理を終了する。
【0068】
上述してきたように、実施形態に係る判定装置10は、車両Vの運転時における危険度を判定する制御部13(コントローラの一例)を有する判定装置であって、制御部13は、車両Vが駐車に関する駐車シーンにあるか否かを判定し、駐車シーン以外である場合には、車両Vで撮影された画像および車両の走行に関するセンサ情報から危険度を判定する。
【0069】
また、実施形態に係る判定装置10は、車両Vが駐車シーンである場合に、駐車シーン以外である場合に比べて危険度の判定感度を低くする。したがって、実施形態に係る判定装置10によれば、駐車時における危険度を適切に判定することができる。
【0070】
上述した実施形態では、通常走行シーンである場合に、画像解析により危険度を判定し、駐車シーンである場合には、センサ情報により危険度を判定する場合について説明したが、これに限定されるものではない。
【0071】
通常走行シーンおよび駐車シーンの双方のシーンで、画像解析により危険度を判定するようにしてもよい。この場合、例えば、危険度を判定するトリガとなる加速度に対する閾値を駐車シーンにおいては、通常走行シーンに比べて高く設定するようにしてもよい。
【0072】
すなわち、通常走行シーンにおいては加速度が第1閾値を超えた場合に、危険度を判定し、駐車シーンにおいては加速度が第1閾値よりも高い第2閾値を超えた場合に、危険度を判定する。これにより、駐車シーンにおいては、加速度が第2閾値を超えた場合にのみ、危険度の判定を行うことになるので、危険度の誤判定を抑制することができる。
【0073】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【0074】
1 判定システム
10 判定装置
11 通信部
12 記憶部
13 制御部
20 車載装置
21 通信部
22 位置情報取得部
23 カメラ
24 表示部
25 記憶部
26 制御部
V 車両