特許 7445310 運転状況監視・警告システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-28

(45)【発行日】2024-03-07

(54)【発明の名称】運転状況監視・警告システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240229BHJP

   B60R 1/08 20060101ALI20240229BHJP

   B60R 1/20 20220101ALI20240229BHJP

   G08G 1/16 20060101ALI20240229BHJP

   H04N 5/222 20060101ALI20240229BHJP

   H04N 7/18 20060101ALI20240229BHJP

   H04N 23/56 20230101ALI20240229BHJP

【ＦＩ】

H04N23/60 500

B60R1/08

B60R1/20

G08G1/16 C

H04N5/222 100

H04N7/18 J

H04N23/56

【請求項の数】 10

(21)【出願番号】P 2021080896

(22)【出願日】2021-05-12

(65)【公開番号】P2021180487

(43)【公開日】2021-11-18

【審査請求日】2021-05-12

【審判番号】

【審判請求日】2023-05-19

(31)【優先権主張番号】109115768

(32)【優先日】2020-05-12

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】521204437

【氏名又は名称】奇美車電股▲ふん▼有限公司

【氏名又は名称原語表記】ＣＨＩＭＥＩ ＭＯＴＯＲ ＥＬＥＣＴＲＯＮＩＣＳ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】ＮＯ．１０， ＪＩＮＧＺＨＯＮＧ ＲＤ．， ＹＯＮＧＫＡＮＧ ＤＩＳＴ．， ＴＡＩＮＡＮ ＣＩＴＹ ７１０， ＴＡＩＷＡＮ，

(74)【代理人】

【識別番号】100087398

【弁理士】

【氏名又は名称】水野 勝文

(74)【代理人】

【識別番号】100128783

【弁理士】

【氏名又は名称】井出 真

(74)【代理人】

【識別番号】100128473

【弁理士】

【氏名又は名称】須澤 洋

(74)【代理人】

【識別番号】100160886

【弁理士】

【氏名又は名称】久松 洋輔

(72)【発明者】

【氏名】徐學賢

(72)【発明者】

【氏名】張志平

(72)【発明者】

【氏名】王承謙

(72)【発明者】

【氏名】鍾凱全

【合議体】

【審判長】千葉 輝久

【審判官】板垣 有紀

【審判官】高橋 宣博

(56)【参考文献】

【文献】特開２０２０－１９３０３（ＪＰ，Ａ）

【文献】特開２００９－２０５３６０（ＪＰ，Ａ）

【文献】特開２００８－２３８９２７（ＪＰ，Ａ）

【文献】特開２０１１－２３８１６１（ＪＰ，Ａ）

【文献】特開２０１０－２２１９９４（ＪＰ，Ａ）

【文献】特開２００７－２２１２２５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０１４３９６７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／００４５８９０（ＵＳ，Ａ１）

【文献】特開２００８－７４１３９（ＪＰ，Ａ）

【文献】特開２００９－１１８２４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N 5/222

H04N 23/40 - 23/76

B60R 1/00

B60R 1/08

B60R 1/20

G08G 1/16

H04N 7/18

(57)【特許請求の範囲】

【請求項1】

車体の一側に設けられ、前記車体の前記一側の、前記車体の運転時の視覚的ブラインドエリアと前記車体の一部とを含む周囲の映像を撮ることに用いられるカメラと、
前記車体の前記一側に設けられ、選択的に赤外線を放出して前記周囲の映像に対して光補償を行うことに用いられ、前記赤外線が前記車体に照射しない赤外線光源と、
前記周囲の映像に対して映像処理を行うように前記カメラに電気的に接続され、前記周囲の映像において少なくとも１つのリスクオブジェクトをマークする処理モジュールと、を備え、
前記カメラの撮影視野角は、前記赤外線光源の照射方向と同じではなく、前記カメラで撮られる前記周囲の映像には前記視覚的ブラインドエリアに加えて前記車体の一部がさらに含まれるとともに、前記赤外線が前記車体に照射されて光の反射が引き起こされることがなく、前記車体の一部を含む周囲の映像のその後の映像認識が困難になることを避けることができる運転状況監視・警告システム。

【請求項2】

前記カメラは、広角カメラである請求項１に記載の運転状況監視・警告システム。

【請求項3】

前記カメラと前記赤外線光源の取り付け高さは、前記車体の車の天井よりも低く且つ前記車体の車窓よりも高い請求項１に記載の運転状況監視・警告システム。

【請求項4】

前記赤外線光源は、転向可能であり、且つその俯角がその取り付け高さによって変化する請求項１に記載の運転状況監視・警告システム。

【請求項5】

前記赤外線光源の水平視野（ｆｉｅｌｄ ｏｆ ｖｉｅｗ；ＦＯＶ）は、１２０度～１６０度の間にある請求項１に記載の運転状況監視・警告システム。

【請求項6】

前記周囲の映像は、前記車体の最前縁の前記一側の映像を含む請求項１に記載の運転状況監視・警告システム。

【請求項7】

前記周囲の映像は、前記車体の最前縁を超える前記一側の映像を含む請求項１に記載の運転状況監視・警告システム。

【請求項8】

前記処理モジュールは、前記リスクオブジェクトと前記車体との距離により、前記周囲の映像において前記リスクオブジェクトのリスク程度をマークする請求項１に記載の運転状況監視・警告システム。

【請求項9】

前記処理モジュールは、更に機械学習方法により前記リスクオブジェクトが車両又は脆弱道路利用者（ｖｕｌｎｅｒａｂｌｅ ｒｏａｄ ｕｓｅｒ）に属するかを識別する請求項１に記載の運転状況監視・警告システム。

【請求項10】

前記処理モジュールは、更に前記リスクオブジェクトと前記車体との距離、及び前記リスクオブジェクトが車両又は脆弱道路利用者に属するかということにより、前記周囲の映像において前記リスクオブジェクトのリスク程度をマークする請求項８に記載の運転状況監視・警告システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示内容は、運転状況監視・警告システムに関し、且つ特に運転時の視覚的ブラインドエリアにリスクオブジェクトがある場合に警告を出すことができる運転状況監視・警告システムに関する。

【背景技術】

【0002】

ブラインドスポット検出（Ｂｌｉｎｄ Ｓｐｏｔ Ｄｅｔｅｃｔｉｏｎ；ＢＳＤ）装置は、一般的に車両の両側にあるウイングミラーのブラケットに設けられ、ブラインドスポット検出装置のカメラで後ろへ撮影された映像により、車両の後ろに移動物体があるかどうかを知らせるようにドライバーに支援を与える。しかしながら、現在のブラインドエリア検出装置は、後ろから来る車両しか検出できず、バックミラーの前で移動する物体を検出することはできない。

【発明の概要】

【0003】

本開示の目的は、車体の一側に設けられ、車体の当該一側の、車体の運転時の視覚的ブラインドエリアと車体の一部とを含む周囲の映像を撮ることに用いられるカメラと、車体の当該一側に設けられ、選択的に赤外線を放出して周囲の映像に対して光補償を行うことに用いられ、赤外線が車体に照射しない赤外線光源と、周囲の映像に対して映像処理を行うようにカメラに電気的に接続され、周囲の映像における少なくとも１つのリスクオブジェクトをマークする処理モジュールと、を備える運転状況監視・警告システムを提供することにある。

【0004】

いくつかの実施例において、前記カメラは広角カメラである。

【0005】

いくつかの実施例において、前記カメラと前記赤外線光源の組み立て位置は、車体の車の天井よりも低く且つ車体の車窓よりも高い。

【0006】

いくつかの実施例において、前記赤外線光源は、転向可能であり、且つその俯角がその取り付け高さによって変化する。

【0007】

いくつかの実施例において、前記赤外線光源の水平視野（ｆｉｅｌｄ ｏｆ ｖｉｅｗ；ＦＯＶ）は、１２０度～１６０度の間にある。

【0008】

いくつかの実施例において、前記周囲の映像は、車体の最前縁の前記一側の映像を含む。

【0009】

いくつかの実施例において、前記周囲の映像は、車体の最前縁を超える前記一側映像を含む。

【0010】

いくつかの実施例において、前記処理モジュールは、更にリスクオブジェクトと車体との距離により周囲の映像においてリスクオブジェクトのリスク程度をマークする。

【0011】

いくつかの実施例において、前記処理モジュールは、機械学習方法によりリスクオブジェクトが車両又は脆弱道路利用者（ｖｕｌｎｅｒａｂｌｅ ｒｏａｄ ｕｓｅｒ）に属するかを識別する。

【0012】

いくつかの実施例において、前記処理モジュールは、更にリスクオブジェクトと車体との距離及びリスクオブジェクトが車両又は脆弱道路利用者に属するかということにより、周囲の映像においてリスクオブジェクトのリスク程度をマークする。

【0013】

本発明の上記の特徴、メリットをより分かりやすくするために、以下に特に実施例を挙げて、添付図面と併せて以下の通りに詳しく説明する。

【図面の簡単な説明】

【0014】

以下、添付図面を参照して詳しく説明することにより、本開示の態様をよりよく了解することができる。注意すべきなのは、業界標準の慣行によれば、各特徴は一定の縮尺で描かれていない。実質的に、検討をより明確にするために、各特徴のサイズを任意に拡大又は縮小することができる。

【図1】本開示の実施例による運転状況監視・警告システムを示すブロック図である。

【図2a】本開示の実施例による運転状況監視・警告システムのカメラの撮影範囲を示す正面模式図である。

【図2b】本開示の実施例による運転状況監視・警告システムのカメラの撮影範囲を示す上面模式図である。

【図3】本開示の実施例によるリスクオブジェクトのリスク程度を示す例示模式図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施例を詳細に検討する。しかしながら、理解すべきなのは、実施例は様々な特定の内容で実施されることができる多くの適用可能な概念を提供する。検討及び開示された実施例は、本発明の範囲を限定するためのものではなく、説明するためのものだけである。

【0016】

図１は、本開示の実施例による運転状況監視・警告システム１００を示すブロック図である。運転状況監視・警告システム１００は、カメラ１１０、赤外線光源１２０及び処理モジュール１３０を備える。

【0017】

図１に示す実施例において、運転状況監視・警告システム１００は、車体２００の右側に設けられる。しかしながら、それは例示だけであり、実質的に、運転状況監視・警告システム１００は車体２００の両側に設けられて、車体２００の両側に移動物体があるかどうかを監視することに寄与する。運転状況監視・警告システム１００のカメラ１１０は、車体２００の両側の周囲の映像を撮ることに用いられる。

【0018】

本開示の実施例において、処理モジュール１３０は、カメラ１１０と赤外線光源１２０に電気的に接続される。処理モジュール１３０は、選択的に赤外線を放出してカメラ１１０で撮られた周囲の映像に対して光補償を行うように赤外線光源１２０を制御する。

【0019】

例として、処理モジュール１３０は、カメラ１１０で撮られたシーンの光線が（例えば、感光性エレメントにより）特定値よりも低いと感知する場合、例えば、夜間又は光線が不十分な場合、赤外線を放出してカメラ１１０で撮られたシーンに対して光補償を行うように赤外線光源１２０を制御することができる。

【0020】

本開示の実施例において、赤外線光源１２０の水平視野（ｆｉｅｌｄ ｏｆ ｖｉｅｗ；ＦＯＶ）は、１２０度～１６０度の間にある。本開示の実施例において、赤外線光源１２０は、転向可能であり、言い換えれば、赤外線光源１２０の俯角を調整可能にするように回転機構部品に設けられる。

【0021】

本開示の実施例において、赤外線光源１２０の俯角は、赤外線光源１２０の取り付け高さによって変化しており、更に言えば、赤外線光源１２０の取り付け高さが低ければ、赤外線光源１２０の俯角はそれとともに小さくなり、赤外線光源１２０の取り付け高さが高ければ、赤外線光源１２０の俯角はそれとともに大きくなる。例として、赤外線光源１２０の取り付け高さが約２５０ｃｍであれば、赤外線光源１２０の俯角は約２０～３０度となり、赤外線光源１２０の取り付け高さが約３５０ｃｍであれば、赤外線光源１２０の俯角は約５０～６０度となる。

【0022】

本開示の実施例において、図１に示すように、運転状況監視・警告システム１００の取り付け高さは、車体２００の車の天井よりも低く且つ車体２００の車窓よりも高い。本開示の実施例において、図１に示すように、カメラ１１０の撮影視野角は、赤外線光源１２０の照射方向と同じではない。

【0023】

本開示の実施例において、カメラ１１０の撮影視野角は、下へ撮ってよいが、本開示はこれに限定されない。カメラ１１０の撮影視野角は、斜め下へ及び後ろへ撮ってもよい。本開示の実施例において、赤外線光源１２０の照射方向は、後ろへ照射してよいが、本開示はこれに限定されない。赤外線光源１２０の照射方向は、斜め後ろへ及び下へ撮ってもよい。しかしながら、カメラ１１０の撮影視野角及び赤外線光源１２０の照射方向は、どのように調整されても、何れも同じにならない。

【0024】

本開示の実施例において、カメラ１１０は、広角カメラであるため、広い水平視野角及び垂直視野角を有し、車体２００の一部だけでなく、できる限りに車体２００の両側の移動物体も撮ることができる。言い換えれば、カメラ１１０で撮られた周囲の映像は、車体２００の一部を含む。

【0025】

本開示の実施例において、カメラ１１０で撮られた周囲の映像が車体２００へ照射される赤外線光源１２０によって反射されてその後の映像認識が困難になることを避けるように、赤外線光源１２０は車体２００に照射しない。

【0026】

例として、車体２００へ照射される赤外線光源１２０により、カメラ１１０で撮られた周囲の映像に含まれる車体２００の一部は光を反射する場合、以下のようなことがあるかもしれない。（１）カメラ１１０のダイナミックレンジが十分に高くないと、周囲の映像が全体的に露光されて、周囲の映像における特徴が不足となり識別できなくなる。（２）カメラ１１０のダイナミックレンジが十分に高いと、光が反射される部分は周囲の映像の全体的な照度を低下させて、周囲の映像における特徴が不足となり識別できなくなる。（３）赤外線光源１２０からの赤外線が車体へ照射される反射光は屈折及び／又は反射によりカメラ１１０のレンズに入り散乱を引き起こして、周囲の映像における特徴が不足となり識別できなくなる。

【0027】

図２ａは、本開示の実施例による運転状況監視・警告システム１００のカメラ１１０の撮影範囲を示す正面模式図である。図２ｂは、本開示の実施例による運転状況監視・警告システム１００のカメラ１１０の撮影範囲を示す上面模式図である。

【0028】

図２ａと図２ｂに示すように、カメラ１１０で撮られた周囲の映像は、車体２００のウイングミラー（ｗｉｎｇ ｍｉｒｒｏｒ）２１０の前方の両側の映像を少なくとも含む。本開示の実施例において、カメラ１１０で撮られた周囲の映像は、車体２００のウイングミラー２１０の前方の運転時の視覚的ブラインドエリアを含む。注意すべきなのは、従来のブラインドスポット検出装置は、車両の両側のウイングミラーのブラケットに設けられたカメラによって後ろへ撮影するため、ウイングミラー２１０の前方の両側の映像を撮影することができない。

【0029】

図２ａと図２ｂに示すように、カメラ１１０で撮られた周囲の映像は、車体２００の最前縁及び最後縁の両側の映像を少なくとも含み、更に言えば、カメラ１１０で撮られた周囲の映像は、車体２００の最前縁及び最後縁を超える両側の映像を含む。注意すべきなのは、従来のブラインドスポット検出装置は、車両の両側のウイングミラーのブラケットに設けられたカメラによって後ろへ撮影するため、車体２００の最前縁の両側の映像を撮影することができない。

【0030】

本開示の実施例において、処理モジュール１３０は、カメラ１１０で撮られた周囲の映像を受信し、周囲の映像に対して映像処理を行って、周囲の映像においてリスクの移動物体（本文においてリスクオブジェクトと称される）があるかを識別して、周囲の映像において少なくとも１つのリスクオブジェクトをマークする。例として、図２ａと図２ｂに示す実施例において、処理モジュール１３０は、周囲の映像において車体２００の右方のウイングミラー２１０の前方の運転時の視覚的ブラインドエリアに位置する自転車３００のリスクオブジェクトがあると識別すると、周囲の映像において前記自転車３００をリスクオブジェクトとしてマークして（ひいては警告を出す）、車体が右に曲がる時に自転車３００にぶつからないようにドライバーに注意する。

【0031】

本開示の実施例において、処理モジュール１３０は、機械学習方法によりリスクオブジェクトが車両又は脆弱道路利用者（ｖｕｌｎｅｒａｂｌｅ ｒｏａｄ ｕｓｅｒ）に属するかを識別し、ただし、車両は、小型車両（例えば、自動車）、大型車両（例えばトラック）を含み、脆弱道路利用者は、歩行者、自転車、オートバイを含む。本開示の実施例において、処理モジュール１３０は、深層学習により歩行者、自転車、オートバイ、小型車両、大型車両に対してトレーニングすることによって、周囲の映像におけるリスクオブジェクトが車両又は脆弱道路利用者に属するかを識別することができる。例として、図２ａと図２ｂに示す実施例において、処理モジュール１３０は、周囲の映像において脆弱道路利用者に属する自転車３００を識別する。また、道路樹、道路建設設備（例えば、三角円錐等）、ポストボックス、街灯、ゴミ箱等の物体について、処理モジュール１３０の機械学習のトレーニング対象ではないため、処理モジュール１３０は、それらを未定義の物体（即ち、非リスクオブジェクト）と見なして、識別もマークも実行しない。

【0032】

本開示の実施例において、処理モジュール１３０は、リスクオブジェクトが車両又は脆弱道路利用者に属すると識別してから、更にリスクオブジェクトと車体２００との距離及び／又はリスクオブジェクトが車両又は脆弱道路利用者に属するかということにより、周囲の映像においてリスクオブジェクトだけでなく更に前記リスクオブジェクトのリスク程度をマークして、車体が曲がる時に前記リスクオブジェクトにぶつからないようにドライバーに注意する。

【0033】

図３は、本開示の実施例によるリスクオブジェクトのリスク程度を示す例示模式図である。図３に示す実施例において、リスクオブジェクトと車体２００との距離が近ければ、リスク程度が高くなり、リスク程度は、高い順にそれぞれ高リスク、中リスク、低リスクである。図３に示す実施例において、リスクオブジェクトが車両に属するとそのリスク程度が厳しくなく、リスクオブジェクトが脆弱道路利用者に属するとそのリスク程度が厳しい。例として、図３に示す実施例において、車体２００との距離が同じである場合、リスクオブジェクトが車両４００に属するとそのリスク程度は中リスクとされるが、リスクオブジェクトが脆弱道路利用者（自転車３００）に属するとそのリスク程度は高リスクとされる。

【0034】

本開示の実施例において、周囲の映像において四角のフレームによりリスクオブジェクトを囲み、且つ異なるフレームラインの色で前記リスクオブジェクトのリスク程度を表示する。例として、赤色のフレームラインで高リスクのリスクオブジェクト、黄色のフレームラインで中リスクのリスクオブジェクト、灰色のフレームラインで低リスクのリスクオブジェクトを表示することができる。

【0035】

要するに、本開示は、車体のウイングミラーの前方のリスクオブジェクトに対して検出を行って、運転時の視覚的ブラインドエリアにリスクオブジェクトがある場合に、車体が曲がる時に前記リスクオブジェクトにぶつからないように警告を出してドライバーに注意する運転状況監視・警告システムを提出する。

【0036】

以上で複数の実施例の特徴を叙述したため、当業者は本開示の態様をより良く理解することができる。当業者は、本開示を容易に他のプロセス及び構造を設計又は修正する基礎として、それにより、ここで記載されるこれらの実施例と同じ目標及び／又は同じ利点を達成できることを理解すべきである。当業者は、これらの同等の構造が本開示の精神及び範囲から逸脱せず、また、本開示の精神及び範囲から逸脱せずに様々な変形、置換及び変更を行うことができることも理解される。

【符号の説明】

【0037】

１００：運転状況監視・警告システム
１１０：カメラ
１２０：赤外線光源
１３０：処理モジュール
２００：車体
２１０：ウイングミラー
３００：自転車
４００：車両

【図1】

【図2a】

【図2b】

【図3】