特表 2024-528992 交通ミラーの方向を特定するための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-01

(54)【発明の名称】交通ミラーの方向を特定するための方法及びシステム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240725BHJP

   G06T 7/00 20170101ALI20240725BHJP

   G08G 1/16 20060101ALI20240725BHJP

【ＦＩ】

G06T7/70 B

G06T7/00 650Z

G06T7/00 350B

G08G1/16 C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024506705

(86)(22)【出願日】2022-07-29

(85)【翻訳文提出日】2024-03-05

(86)【国際出願番号】 EP2022071315

(87)【国際公開番号】W WO2023012049

(87)【国際公開日】2023-02-09

(31)【優先権主張番号】2111145.5

(32)【優先日】2021-08-03

(33)【優先権主張国・地域又は機関】GB

(81)【指定国・地域】

(71)【出願人】

【識別番号】322007626

【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(74)【代理人】

【識別番号】100191938

【弁理士】

【氏名又は名称】高原 昭典

(72)【発明者】

【氏名】板垣 紀章

(72)【発明者】

【氏名】浅井 祥朋

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC04

5H181LL01

5H181LL02

5H181LL04

5H181LL09

5H181LL15

5L096AA06

5L096BA04

5L096CA04

5L096DA01

5L096DA03

5L096EA16

5L096FA06

5L096FA67

5L096HA11

5L096KA04

5L096MA07

(57)【要約】

本開示は、交通ミラー（１０６）の方向を特定するための方法及びシステム（２００）を提供する。本方法は、車両（１０４）の視野（１０８）のリアルタイム画像から交通ミラー（１０６）の領域を検出することを含む。車両（１０４）の視野（１０８）のリアルタイム画像は、車両（１０４）の移動中にキャプチャされる。更に、本方法は、リアルタイム画像において検出される交通ミラー（１０６）の領域を処理することによって、交通ミラー（１０６）の１つ以上のエッジを識別することを含む。その後、本方法は、１つ以上のエッジの分析に基づいて交通ミラー（１０６）の形状を識別することを含む。更に、本方法は、交通ミラー（１０６）の形状に対応する所定の角度測定技術を用いて交通ミラー（１０６）の設置角度を測定することを含む。最後に、本方法は、交通ミラー（１０６）の設置角度の値に基づいて交通ミラー（１０６）の方向を特定することを含む。

【特許請求の範囲】

【請求項1】

交通ミラー（１０６）の方向を特定するための方法であって、
プロセッサ（２０２）によって、車両（１０４）の視野（１０８）のリアルタイム画像から交通ミラー（１０６）の領域を検出することであって、前記車両（１０４）の前記視野（１０８）の前記リアルタイム画像は、前記車両（１０４）の移動中にキャプチャされる、領域を検出することと、
前記プロセッサ（２０２）によって、前記リアルタイム画像において検出される前記交通ミラー（１０６）の前記領域を処理することによって、前記交通ミラー（１０６）の１つ以上のエッジを識別することと、
前記プロセッサ（２０２）によって、前記１つ以上のエッジの分析に基づいて前記交通ミラー（１０６）の形状を識別することと、
前記プロセッサ（２０２）によって、前記交通ミラー（１０６）の前記形状に対応する所定の角度測定技術を用いて前記交通ミラー（１０６）の設置角度を測定することと、
前記プロセッサ（２０２）によって、前記交通ミラー（１０６）の前記設置角度の値に基づいて前記交通ミラー（１０６）の前記方向を特定することと、
を含む、方法。

【請求項2】

前記車両（１０４）が、自律車両、又は先進運転支援システム（ＡＤＡＳ）を備える自律車両である、請求項１に記載の方法。

【請求項3】

前記交通ミラー（１０６）の前記領域が、所定の人工知能（ＡＩ）技術を用いて検出される、請求項１に記載の方法。

【請求項4】

前記交通ミラー（１０６）の前記形状が、円形、楕円形、又は多角形のうちの少なくとも１つである、請求項１に記載の方法。

【請求項5】

前記設置角度を測定することが、更に、前記プロセッサ（２０２）によって、前記設置角度を測定する前に、前記識別された形状に対して角度補償技術を適用することを含む、請求項１に記載の方法。

【請求項6】

前記設置角度が、前記車両（１０４）に対応する基準水平軸に対して測定される、請求項５に記載の方法。

【請求項7】

前記交通ミラー（１０６）の方向は、前記設置角度の値が９０度未満である場合に「右」として特定され、
前記交通ミラー（１０６）の前記方向が、前記設置角度の値が９０度～１８０度の間である場合に「左」として特定される、
請求項１に記載の方法。

【請求項8】

交通ミラー（１０６）の方向を特定するための安全監視システム（２００）であって、
プロセッサ（２０２）と、
前記プロセッサ（２０２）に結合され、前記プロセッサ（２０２）によって実行可能な命令を格納する少なくとも１つのメモリ（２０４）であって、前記命令が前記プロセッサ（２０２）に、
車両（１０４）の視野（１０８）のリアルタイム画像から交通ミラー（１０６）の領域を検出させることであって、前記車両（１０４）の前記視野（１０８）の前記リアルタイム画像は前記車両（１０４）の移動中にキャプチャされ、それらから検出させることと、
前記リアルタイム画像において検出される前記交通ミラー（１０６）の前記領域を処理することによって、前記交通ミラー（１０６）の１つ以上のエッジを識別させることと、
前記１つ以上のエッジの分析に基づいて前記交通ミラー（１０６）の形状を識別させることと、
前記交通ミラー（１０６）の前記形状に対応する所定の角度測定技術を用いて前記交通ミラー（１０６）の設置角度を測定させることと、
前記交通ミラー（１０６）の前記設置角度の値に基づいて前記交通ミラー（１０６）の前記方向を特定させることと、を行わせる、少なくとも１つのメモリ（２０４）と、
を備える、システム。

【請求項9】

前記車両が、自律車両、又は先進運転支援システム（ＡＤＡＳ）を備える自律車両である、請求項８に記載のシステム（２００）。

【請求項10】

前記交通ミラー（１０６）の前記領域が、所定の人工知能（ＡＩ）技術を用いて検出される、請求項８に記載のシステム（２００）。

【請求項11】

前記交通ミラー（１０６）の前記形状が、円形、楕円形、又は多角形のうちの少なくとも１つである、請求項８に記載のシステム（２００）。

【請求項12】

前記設置角度を測定することが、更に、前記設置角度を測定する前に、前記識別された形状に対して角度補償技術を適用することを含む、請求項８に記載のシステム（２００）。

【請求項13】

前記設置角度が、前記車両（１０４）に対応する基準水平軸に対して測定される、請求項１２に記載のシステム（２００）。

【請求項14】

前記交通ミラー（１０６）の方向は、前記設置角度の値が９０度未満である場合に「右」として特定され、
前記交通ミラー（１０６）の前記方向が、前記設置角度の値が９０度～１８０度の間である場合に「左」として特定される、
請求項８に記載のシステム（２００）。

【請求項15】

請求項１～７のいずれか一項に記載の方法を実行するためのコンピュータ読取可能命令を備える、非一時的コンピュータ読取可能ストレージ媒体。

【請求項16】

請求項８～１４のいずれか一項に記載の交通ミラー（１０６）の方向を特定するための安全監視システム（２００）を備える、車両（１０４）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、自律車両に関し、特に、画像分析を用いて交通ミラーの方向及び角度を特定するための方法及びシステムに関する。

【背景技術】

【0002】

道路ミラー又は道路安全ミラーは、道路、道路交差点、及びカーブ又は屈曲した車線における交通安全性を高めるために用いられる。交通ミラーは、道路上の死角に対してより良好な視認性を提供し、一般的な危険又は事故を防止するのに役立つ。一般に、交通ミラーは、反対側から来る他の車両があるかどうかを見るよう、運転者及び歩行者の両方に利益をもたらす。

【0003】

しかし、事故のリスクを更に軽減するためには、交通ミラーが運転者にはっきりと見えることが重要である。その上、先進運転支援システム（ＡＤＡＳ）及び全自動運転（ＡＤ）機構と一体化する車両のために、交通流の方向を正確に予測するよう、交通ミラーの方向及び角度を推定することも重要である。

【0004】

本開示の背景のセクションに開示する情報は、本発明の一般的な背景の理解を高めるためのものにすぎず、この情報を、当業者に既に知られている先行技術を形成することの承認又は何らかの形式の示唆として解釈すべきではない。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の態様は、交通ミラーの画像を分析することによって交通ミラーの方向を特定するための方法及びシステムを提供する。

【0006】

本開示の一態様は、交通ミラーの方向を特定するための方法を提供し、車両の視野のリアルタイム画像から交通ミラーの領域を検出することを含む。一実施形態において、車両の視野のリアルタイム画像は、車両の移動中に車両内のイメージセンサによってキャプチャされる。更に、本方法は、リアルタイム画像において検出される交通ミラーの領域を処理することによって、交通ミラーの１つ以上のエッジを識別することを含む。１つ以上のエッジを識別する際に、本方法は、１つ以上のエッジの分析に基づいて交通ミラーの形状を識別することを含む。交通ミラーの形状が識別されると、本方法は、交通ミラーの形状に対応する所定の角度測定技術を用いて交通ミラーの設置角度を測定することを含む。続いて、本方法は、交通ミラーの設置角度の値に基づいて交通ミラーの方向を特定することを含む。

【0007】

本開示の別の態様は、交通ミラーの方向を特定するための安全監視システムを提供する。システムは、プロセッサと、プロセッサに結合される少なくとも１つのメモリとを備える。少なくとも１つのメモリは、プロセッサによって実行可能であり、且つ、プロセッサに車両の視野のリアルタイム画像から交通ミラーの領域を検出させる命令を格納する。一実施形態において、車両の視野のリアルタイム画像は、車両の移動中に車両のイメージセンサによってキャプチャされる。更に、プロセッサは、リアルタイム画像において検出される交通ミラーの領域を処理することによって、交通ミラーの１つ以上のエッジを識別するよう構成される。１つ以上のエッジを識別した後、プロセッサは、１つ以上のエッジの分析に基づいて交通ミラーの形状を識別する。その後、プロセッサは、交通ミラーの形状に対応する所定の角度測定技術を用いて、交通ミラーの設置角度を測定する。最後に、プロセッサは、交通ミラーの設置角度の値に基づいて交通ミラーの方向を特定する。

【0008】

上記の方法及びシステムによる本開示の実施形態は、幾つかの利点をもたらす可能性がある。第１に、本開示の方法及びシステムは、道路上の交通ミラーの方向を特定するのに有用である。幾つかの実施形態において、交通ミラーの方向及び／又は角度は、先進運転支援システム（ＡＤＡＳ）及び自律運転（ＡＤ）統合車両にとって、正確なリスク予測のための重要な入力である。その結果、交通ミラーの方向を特定することは、交通安全性を高め、交通の危険又は事故のリスクを軽減する。

【0009】

前述の概要は、単なる例示であり、決して限定することを意図するものではない。本開示の１つ以上の実装の詳細が、添付の図面及び以下の発明の詳細な説明に記載される。他の局面、特徴、及び利点は、発明の詳細な説明及び図面から、並びに特許請求の範囲から明らかとなるだろう。

【0010】

本開示に組み込まれ、その一部を構成する添付図面は、例示的な実施形態を図示し、且つ説明と共に、開示する原理を説明する。図において、参照番号の左端の数字は、その参照番号が最初に出現する図を識別している。同様の特徴及びコンポーネントを参照するよう、図面全体を通して同じ番号を用いる。本主題の実施形態によるシステム及び／又は方法の幾つかの実施形態を、ここで、単なる例として、添付の図面に関して説明する。

【図面の簡単な説明】

【0011】

【図1】本開示の一実施形態による、交通ミラーのリアルタイム画像をキャプチャする車両を示す例示的な略図である。

【図2】本開示の一実施形態による、交通ミラーの方向を特定するための安全監視システムのブロック図を示す。

【図3A】本開示の一実施形態による、交通ミラーの方向を特定する方法に関与するステップのシーケンスを示す。

【図3B】本開示の一実施形態による、交通ミラーの方向を特定する方法に関与するステップのシーケンスを示す。

【図3C】本開示の一実施形態による、交通ミラーの方向を特定する方法に関与するステップのシーケンスを示す。

【図3D】本開示の一実施形態による、交通ミラーの方向を特定する方法に関与するステップのシーケンスを示す。

【図4A】本開示の代替の実施形態による、本開示の例示的な変形例を示す。

【図4B】本開示の代替の実施形態による、本開示の例示的な変形例を示す。

【図5】本開示の一実施形態による、方向を特定するための例示的な方法を示すフロー図である。

【発明を実施するための形態】

【0012】

本明細書中の任意のブロック図は、本主題の原理を具現化する例示的なシステムの概念図を表すことは、当業者によって正しく認識されるべきである。同様に、任意のフローチャート、フローチャート、状態遷移図、擬似コード等は、コンピュータ読取可能媒体において実質的に表され、コンピュータ又はプロセッサが明示的に示されているかどうかに関わらず、かかるコンピュータ又はプロセッサによって実行され得る様々なプロセスを表すことが正しく認識されるであろう。

【0013】

以下の開示において、単語「例示的」とは、「例、事例、又は例示としての役割を果たすこと」を意味するために本明細書中で用いられる。「例示的」として本明細書中に説明する本主題の任意の実施形態又は実装は、必ずしも他の実施形態よりも好ましいか又は有利であると解釈されない。

【0014】

本開示は、様々な改良形態及び代替形態に対する余地がある一方、それらの特定の実施形態を図面において例として示し、以下で詳細に説明する。しかし、本開示を、開示する特定の形態に限定することは意図しておらず、逆に、本開示は、本開示の精神及び適用範囲内に入る全ての変更形態、均等物及び代替形態を包含するものであることを理解すべきである。

【0015】

用語「含む（ｃｏｍｐｒｉｓｅｓ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、「包含する（ｉｎｃｌｕｄｅｓ）」又はそれらの任意の他の変形は、コンポーネント又はステップのリストを備えるセットアップ、デバイス又は方法が、それらのコンポーネント又はステップのみを含むのではなく、明示的に列挙されていないか、又はかかるセットアップ、若しくはデバイス、若しくは方法に固有ではない他のコンポーネント若しくはステップを含み得るように、非排他的な包含をカバーすることを意図する。言い換えれば、「１つの～を含む」によって進められるシステム又は装置における１つ以上の要素は、それより多くの制約がなければ、システム又は方法における他の要素又は追加の要素の存在を排除しない。

【0016】

本開示の実施形態の以下の詳細な説明において、この一部を形成し、本開示が実施され得る特定の実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が本開示を実施することを可能にするために十分に詳細に説明し、他の実施形態が利用され得、本開示の適用範囲から逸脱することなく変更形態がなされ得ることを理解されたい。以下の説明は、従って、限定する意味で取るべきではない。

【0017】

図１は、本開示の一実施形態による、交通ミラー１０６のリアルタイム画像を用いて交通ミラー１０６の方向を特定する方法を示す例示的な略図である。交通ミラー１０６は、交通衝突を回避するよう道路１０２上の所定の位置に設置される道路安全ミラー又は交通安全ミラーであってもよい。更に、交通ミラー１０６のリアルタイム画像は、車両１０４が道路１０２上を移動している間に車両１０４によってリアルタイムでキャプチャされる画像であってもよい。一実施形態において、本開示の安全監視システムが、図１に示す車両１０４に統合されていると仮定する。車両１０４が道路１０２上を移動しており、１台以上の他の車両１１０Ａ及び１１０Ｂが通過する交差点に至ったと仮定する。交通ミラー１０６は、交通ミラー１０６が道路１０２の両側から合流及び／又は分岐する１台以上の他の車両１１０Ａ、１１０Ｂを表示するように、交差点に位置決めされていると仮定する。図１に示す１台以上の他の車両１１０Ａ、１１０Ｂは、単に表現目的のためのものであり、これらは、窪み、歩行者等を含むが、これらに限定されない道路１０２上の他の種類の障害物及び危険を含む可能性があることは、当業者によって正しく認識されなければならない。

【0018】

一実施形態において、車両１０４は、限定はしないが、自律型又は自動運転車両、先進運転支援システム（ＡＤＡＳ）を有する支援運転車両であってもよい。衝突、事故、又は他の種類の危険の可能性を回避するため、車両１０４が、交通ミラー１０６上に表示される反射を読み取り、分析することが必要である可能性がある。加えて、進入車両又は危険の位置を正確に予測するために、車両１０４は、交通ミラー１０６が道路１０２上に設置されている正しい方向及び角度を推定する必要がある可能性がある。この目的のために、車両１０４は、交通ミラー１０６が車両１０４に関連付けられるイメージセンサの視野（ＦＯＶ）１０８内に現れる場合に、交通ミラー１０６のリアルタイム画像を連続的にキャプチャしてもよい。一実施形態において、車両１０４は、車両１０４の前方部分に構成されるイメージセンサを用いて、交通ミラー１０６のリアルタイム画像をキャプチャしてもよい。

【0019】

一実施形態において、上述の理由で交通ミラー１０６の方向を特定するため、車両１０４上の安全監視システムは、交通ミラー１０６のリアルタイム画像に関して１つ以上の人工知能（ＡＩ）及びディープラーニング（ＤＬ）に基づく演算を実行してもよい。例えば、安全監視システムに関連付けられるプロセッサは、リアルタイム画像内の交通ミラー１０６の領域を検出するためにリアルタイム画像を処理してもよい。リアルタイム画像内の交通ミラー１０６の領域は、交通ミラー１０６を表すリアルタイム画像の一部であってもよい。交通ミラー１０６の領域を検出した後、プロセッサは、リアルタイム画像内で検出される交通ミラー１０６の領域を更に処理することによって、交通ミラー１０６の１つ以上のエッジを識別してもよい。交通ミラー１０６の１つ以上のエッジは、リアルタイム画像内の交通ミラー１０６の境界を表す可能性がある。１つ以上のエッジを識別した後、プロセッサは、１つ以上のエッジの分析に基づいて交通ミラー１０６の形状を識別してもよい。その後、プロセッサは、交通ミラー１０６の形状に対応する所定の角度測定技術を用いて、交通ミラー１０６の設置角度を測定してもよい。最後に、プロセッサは、交通ミラー１０６の設置角度の値に基づいて交通ミラー１０６の方向を特定してもよい。交通ミラー１０６の方向を特定するためにリアルタイム画像を処理することに関与する様々なステップ及びプロセスの詳細な説明を、本開示の更なるセクションにおいて提供している。

【0020】

一実施形態において、一旦、交通ミラー１０６の方向が特定されると、交通ミラー１０６の方向は、道路１０２上の１台又は他の車両１１０Ａ、１１０Ｂの位置、速度、及び移動を正確に予測するための入力として用いられてもよい。例えば、自律／自動運転車両の場合、交通ミラー１０６の方向情報は、到来車両（即ち、１台以上の他の車両１１０Ａ、１１０Ｂのうちの１つ）又は他の障害物を慎重に走査し、その位置及び速度を推定するために用いられてもよい。その結果、これは、制御ユニットが交通ミラー１０６の方向に基づいて運転進路を容易に変更する可能性があるため、車両１０４の自律経路監視制御ユニットに関する処理負荷を低減することに役立つ。代替として、運転者支援車両又はＡＤＡＳ装備車両の場合、交通ミラー１０６の方向情報は、１台以上の他の車両１１０Ａ、１１０Ｂの位置及び速度について車両１０４の運転者に警告するために用いられてもよい。その後、車両１０４の進路は、任意のリスクを軽減するよう適切に変更されてもよい。

【0021】

図２は、本開示の一実施形態による、交通ミラー１０６の方向を特定するための安全監視システム２００のブロック図を示している。

【0022】

一実施形態において、安全監視システム２００は、車両１０４の移動中に遭遇する交通ミラー１０６の方向を特定するために車両１０４内に構成されてもよい。代替として、安全監視システム２００は、車両１０４に遠隔接続されてもよい。一実施形態において、安全監視システム２００は、限定しないが、プロセッサ２０２と、メモリ２０４と、Ｉ／Ｏインターフェース２０６とを備えてもよい。

【0023】

一実施形態において、プロセッサ２０２は、例えば、メモリ２０４にアクセスして、情報を格納し、それに格納される命令を実行することが可能なマイクロコントローラ又はグラフィックスプロセッシングユニット（ＧＰＵ）であってもよい。代替として、プロセッサ２０２は、車両１０４内の一部のエンジン制御ユニット（ＥＣＵ）であってもよい。一実施形態において、プロセッサ２０２及びメモリ２０４は、単一の集積回路に集積されてもよい。一実施形態において、メモリ２０４は、プロセッサ２０２によって実行可能な命令、及びプロセッサ２０２によって格納、取り出し、又はその他に用いられてもよいデータ等の、プロセッサ２０２によってアクセス可能な情報を格納する。例えば、プロセッサ２０２は、メモリ２０４に格納される命令に基づいて、本開示の幾つかの実施形態による、交通ミラー１０６の方向を特定するための方法を実行してもよい。一実施例として、メモリ２０４に格納されるデータは、限定しないが、１つ以上の交通ミラーの基準画像、交通ミラー１０６の測定された設置角度等を含んでもよい。一実施形態において、安全監視システム２００のＩ／Ｏインターフェース２０６は、安全監視システム２００を車両１０４の１つ以上の他のコンポーネントとインターフェース接続するために用いられてもよい。

【0024】

一実施形態において、安全監視システム２００は、イメージセンサモジュール２０８、領域検出モジュール２１０、エッジ検出モジュール２１２、形状識別モジュール２１４、角度測定モジュール２１６、及びユーザインターフェース２１８を含む１つ以上の機能モジュールを備えてもよい。一実施形態において、上記モジュールのそれぞれは、コントローラエリアネットワーク（ＣＡＮ）バスを介して他のモジュールのそれぞれに通信可能に結合されてもよい。更に、モジュールのそれぞれは、コントローラであってもよく、交通ミラー１０６の方向を特定するために、メモリ２０４に格納される命令及びデータに基づいて、プロセッサ２０２によって監督されてもよい。

【0025】

一実施形態において、イメージセンサモジュール２０８は、１つ以上のイメージセンサを備えてもよい。イメージセンサは、車両１０４の様々な部分に外部から取り付けられてもよい。更に、イメージセンサは、車両１０４が移動している限り、車両１０４の前方の視野（ＦＯＶ）１０８においてリアルタイム画像を連続的にキャプチャするよう構成されてもよい。代替として、イメージセンサは、交通ミラー１０６が車両１０４のＦＯＶ１０８において検出された場合にのみ、リアルタイム画像をキャプチャしてもよい。一実施例として、イメージセンサは、例えば、車両１０４のフロントバンパーに取り付けられるモノカメラ又は広角魚眼カメラ等のビジョンイメージセンサであってもよい。一実施形態において、イメージセンサモジュール２０８は、車両１０４の要件に基づいて、上述したもの以外の他の種類及び数のイメージセンサを備えてもよい。

【0026】

一実施形態において、領域検出モジュール２１０は、車両１０４のＦＯＶ１０８のリアルタイム画像から交通ミラー１０６の領域を検出するよう構成されてもよい。一実施例として、領域検出モジュール２１０は、単一物体位置特定又は物体検出等の１つ以上の所定のコンピュータビジョン技術を用いて、交通ミラー１０６の領域を検出してもよい。代替として、領域検出モジュール２１０は、リアルタイム画像内の交通ミラー１０６の領域を位置特定及び検出するための任意の他の人工知能（ＡＩ）及びディープラーニング（ＤＬ）技術を用いてもよい。一実施形態において、領域検出モジュール２１０への入力は、イメージセンサモジュール２０８によってキャプチャされる生のリアルタイム画像であってもよく、領域検出モジュール２１０の出力は、リアルタイム画像内の交通ミラー１０６の領域を強調表示する処理された画像であってもよい。領域検出モジュール２１０の例示的な出力を、図３Ａの画像３０２に示す。

【0027】

一実施形態において、エッジ検出モジュール２１２は、リアルタイム画像において検出される交通ミラー１０６の領域を処理することによって、交通ミラー１０６の１つ以上のエッジを識別するよう構成されてもよい。一実施形態において、エッジ検出モジュール２１２は、予めトレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）を用いて１つ以上のエッジを識別してもよい。代替として、エッジ検出モジュール２１２は、交通ミラー１０６の領域に対応する１つ以上のエッジを識別するために、任意の他のＡＩ及びＤＬ技術を用いてもよい。エッジ検出モジュール２１２の例示的な出力を、図３Ｂの画像３０４に示す。

【0028】

一実施形態において、形状識別モジュール２１４は、交通ミラー１０６の１つ以上の検出されたエッジを分析することによって、交通ミラー１０６の形状を識別するために構成されてもよい。形状識別モジュール２１４は、リアルタイム画像において識別される１つ以上のエッジを用いて形成されてもよい基本的な幾何学的形状を特定することによって形状を識別してもよい。一実施例として、交通ミラー１０６の形状は、円形、楕円形、又は多角形のうちの１つとして識別されてもよい。

【0029】

一実施形態において、角度測定モジュール２１６は、交通ミラー１０６の形状の分析に基づいて、交通ミラー１０６の設置角度を測定するために構成されてもよい。一実施形態において、設置角度は、交通ミラー１０６と、車両１０４が移動している道路１０２を表す水平軸との間の角度であってもよい。一実施例として、設置角度は、交通ミラー１０６が道路１０２上に垂直に及び／又は正確に垂直位置に設置される場合に９０度であってもよい。設置角度は、交通ミラー１０６が特定の方向に傾けられる及び／又は曲げられる場合に変化してもよい。一実施形態において、角度測定モジュール２１６は、交通ミラー１０６の識別された形状に基づいて設置角度を測定するための異なる角度測定技術を用いてもよい。一実施例として、楕円形状の交通ミラー１０６の設置角度を測定するために用いられる角度測定技術は、限定しないが、ＯｐｅｎＣＶ（登録商標）の「ｆｉｎｄＣｏｎｔｏｕｒｓ」機能等の既存の技術であってもよい。加えて、角度測定モジュール２１６は、設置角度を測定する前に、識別された形状における任意の不規則性を扱うための所定の自動角度補償技術を用いてもよい。一実施例として、所定の自動角度補償技術のうちの１つは、識別された形状を時計回り又は反時計回りの方向に所定の角度だけ回転させることであってもよい。

【0030】

一実施形態において、ユーザインターフェース２１８は、交通ミラー１０６の特定された方向及び角度を車両１０４内の運転者又は同乗者に表示及び／又は通知するために用いられてもよい。更に、ユーザインターフェース２１８は、車両１０４の運転者／同乗者に音声及び／又は視覚メッセージを通信するために用いられてもよい。一変形例において、ユーザインターフェース２１８は、計器パネル、電子ディスプレイ、及びオーディオシステム等の１つ以上のコンポーネントを備えてもよい。計器パネルは、例えば、スピードメータ、タコメータ、及び警告灯インジケータを表示するダッシュボード又はセンターディスプレイであってもよい。ユーザインターフェース２１８はまた、他の視覚的メッセージを運転者／同乗者に通信するためのインフォテインメント又はヘッドアップディスプレイ等の電子ディスプレイと、音声メッセージ、警告、又は音楽を再生するための音声システムとを備えてもよい。

【0031】

図３Ａ～図３Ｄは、本開示の一実施形態による、交通ミラー１０６の方向を特定する方法に関与するステップのシーケンスを示している。

【0032】

図３Ａは、車両１０４が移動しており、交通ミラー１０６が車両１０４の視野（ＦＯＶ）１０８内で検出されている間に、車両１０４のイメージセンサモジュール２０８によってキャプチャされる、車両１０４のＦＯＶ１０８の例示的なリアルタイム画像３００を示している。一実施形態において、リアルタイム画像３００をキャプチャした後、車両１０４内に構成される安全監視システム２００は、リアルタイム画像３００内の交通ミラー１０６の領域を検出するためにリアルタイム画像を処理してもよい。交通ミラー１０６の領域を備える、リアルタイム画像３００の切り取られた及び／又は抽出された部分を、図３Ａの画像３０２に示す。

【0033】

一実施形態において、交通ミラー１０６の領域が取得されると、安全監視システム２００は、図３Ｂの画像３０４に示すように、交通ミラー１０６の１つ以上のエッジを識別してもよい。その後、安全監視システム２００は、画像３０４内で検出される１つ以上のエッジの分析に基づいて、交通ミラー１０６の形状を識別してもよい。本実施例において、図３Ａの画像３００に示すように、交通ミラー１０６は形状が楕円形であるため、安全監視システム２００は、図３Ｃの画像３０６に示すように、１つ以上のエッジから楕円形の境界を検出してもよい。

【0034】

一実施形態において、交通ミラー１０６の形状を検出した後、安全監視システム２００は、車両１０４に対応する基準水平軸３０９に対する交通ミラー１０６の傾斜及び／又は旋回の角度を計算することによって、交通ミラー１０６の設置角度を測定してもよい。例えば、図３Ｄの画像３０８に示すように、基準水平軸３０９は、道路１０２及び／又は車両１０４の平面を表すｘ座標軸であってもよい。更に、画像３０８に示すように、設置角度は、検出された形状（画像３０８において点線で表示する）の傾斜軸と基準水平軸３０９との間の角度として計算されてもよい。画像３０８において、設置角度は、角度「θ」によって表されている。

【0035】

一実施形態において、設置角度が測定されると、安全監視システム２００は、設置角度の値に基づいて交通ミラー１０６の方向を特定してもよい。一実施形態において、交通ミラー１０６の方向は、設置角度の値が９０度未満である場合に「右」として特定されてもよい。代替の実施形態において、交通ミラー１０６の方向は、設置角度の値が９０度～１８０度の間の値である場合に「左」として特定されてもよい。本実施例において、交通ミラー１０６の方向は、設置角度「θ」が９０度～１８０度の間の値であるため、「右」として特定されてもよい。同じステップが、任意の形状及び大きさの交通ミラー１０６の設置角度を特定するために繰り返されてもよい。

【0036】

一実施形態において、図４Ａは、交通ミラー１０６が右に傾いている代替の実施形態を示している。ここで、図４Ａの画像４０４に示すように、設置角度「θ」は９０度未満の値であってもよく、従って、交通ミラー１０６の方向は左として特定されてもよい。

【0037】

図４Ｂは、多角形形状（例えば、正方形形状）を有する交通ミラー１０６の方向を検出するための、提案された開示の更に別の実施形態を示している。一実施形態において、図４Ｂの画像４０６は、交通ミラー１０６のリアルタイム画像であってもよい。画像４０８は、リアルタイム画像４０６から抽出される交通ミラー１０６の領域を表してもよい。一実施形態において、形状が多角形である交通ミラーに対して、設置角度は、画像４０８に示す交通ミラー１０６の領域に関して自動角度補償技術を実行することによって測定されてもよい。例えば、画像４０８内の交通ミラー１０６の領域は右に傾いているため、自動補償技術は、交通ミラー１０６の領域を反時計回りの方向に回転させて、交通ミラー１０６の領域の傾いた角度を補償してもよい。一実施例として、画像４０８を反時計回りに８度回転させて傾斜角度を補償し、補償された画像４１０を得てもよい。更に、交通ミラー１０６の設置角度は、画像４０８が回転された角度の大きさとして測定されてもよい。本実施例において、画像４０８が８度回転されたため、設置角度は８度として測定されてもよい。最後に、画像４０６の交通ミラー１０６の方向は、設置角度が９０度未満の値であるため、「右」として特定されてもよい。

【0038】

一実施形態において、上で示したプロセスは、任意の他の大きさ及び形状の交通ミラーの設置角度を測定するために用いられてもよい。

【0039】

図５は、本開示の一実施形態による、交通ミラー１０６の方向を特定するための例示的な方法５００を示すフロー図である。

【0040】

一実施形態において、方法５００は、交通ミラー１０６の方向を特定するために、順次又は本開示の他の実施形態と並行して実行されてもよい。例えば、交通の要件及び大きさに基づいて、交通ミラーは、限定しないが、楕円形、正方形、又は他の多角形形状を含む、異なる大きさ及び形状で用いられてもよい。このため、２つ以上のプロセスを同時に又は順次に実行して、交通ミラーの大きさ及び形状に関係なく、それらの方向を特定してもよい。

【0041】

方法５００の動作を、図１の安全監視システム２００を参照して説明する。しかし、他の同様のシステムも適切であってもよいことは正しく認識されるであろう。方法５００は、ステップ５０２において開始し、車両１０４のイグニッションがオンに切り替えられると開始されてもよい。方法５００の始まりを開始するための他のイベントも適切であってもよく、方法はまた、オンデマンドで開始されてもよい。

【0042】

ステップ５０２において、方法５００は、安全監視システム２００内のプロセッサ２０２に、車両１０４の視野（ＦＯＶ）１０８のリアルタイム画像から交通ミラー１０６の領域を検出することを開始させる。一実施形態において、車両１０４は、自律車両又は先進運転支援システム（ＡＤＡＳ）を備える車両１０４であってもよい。一実施形態において、車両１０４は、車両１０４内に構成されるイメージセンサを用いて、交通ミラー１０６を含む、車両１０４のＦＯＶ１０８のリアルタイム画像をキャプチャしてもよい。一実施形態において、交通ミラー１０６の領域は、限定しないが、予めトレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）等の所定の人工知能（ＡＩ）技術を用いて検出してもよい。

【0043】

ステップ５０４において、方法５００は、安全監視システム２００内のプロセッサ２０２に、リアルタイム画像において検出される交通ミラー１０６の領域を処理することによって、交通ミラー１０６の１つ以上のエッジを識別させる。一実施形態において、交通ミラー１０６の１つ以上のエッジは、所定のエッジ検出技術を用いて識別されてもよい。

【0044】

ステップ５０６において、方法５００は、安全監視システム２００内のプロセッサ２０２に、識別された１つ以上のエッジの分析に基づいて交通ミラー１０６の形状を識別させる。一実施形態において、交通ミラー１０６の形状は、限定しないが、円形、楕円形、又は多角形のうちの少なくとも１つであってもよい。

【0045】

ステップ５０８において、方法５００は、安全監視システム２００内のプロセッサ２０２に、交通ミラー１０６の設置角度を測定させる。一実施形態において、設置角度は、道路１０２に対する交通ミラー１０６の設置角度であってもよい。言い換えれば、設置角度は、道路１０２に対する交通ミラー１０６の傾斜角度であってもよい。一実施形態において、設置角度は、交通ミラー１０６の形状に対応する所定の角度測定技術を用いて測定されてもよい。一実施形態において、設置角度を測定することは、更に、設置角度を測定する前に、識別された形状に対して角度補償技術を適用することを含んでもよい。補償技術は、交通ミラー１０６の識別された形状に基づいて選択されてもよい。

【0046】

ステップ５１０において、方法５００は、安全監視システム２００内のプロセッサ２０２に、交通ミラー１０６の設置角度の値に基づいて交通ミラー１０６の方向を特定させる。一実施形態において、交通ミラー１０６の方向は、設置角度の値が９０度未満又は０～９０度の間である場合に「右」として特定されてもよい。同様に、交通ミラー１０６の方向は、設置角度の値が９０度～１８０度の間である場合に「左」として特定されてもよい。

【0047】

用語「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、「実施形態（ｅｍｂｏｄｉｍｅｎｔ）」、「複数の実施形態（ｅｍｂｏｄｉｍｅｎｔｓ）」、「実施形態（ｔｈｅ ｅｍｂｏｄｉｍｅｎｔ）」、「複数の実施形態（ｔｈｅ ｅｍｂｏｄｉｍｅｎｔｓ）」、「１つ以上の実施形態（ｏｎｅ ｏｒ ｍｏｒｅ ｅｍｂｏｄｉｍｅｎｔｓ）」、「幾つかの実施形態（ｓｏｍｅ ｅｍｂｏｄｉｍｅｎｔｓ）」、及び「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」とは、明示的な別段の定めがない限り、「本発明の１つ以上の（ただし、全てではない）実施形態」を意味する。

【0048】

用語「含む（ｉｎｃｌｕｄｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、及びそれらの変形例は、明示的な別段の定めがない限り、「含むが、限定しない」ことを意味する。項目の列挙されたリストは、明示的な別段の定めがない限り、項目のいずれか又は全てが相互に排他的であることを意味しない。

【0049】

用語「１つの（ａ）」、「１つの（ａｎ）」、及び「その（ｔｈｅ）」とは、明示的な別段の定めがない限り、「１つ以上」を意味する。互いに通信する幾つかのコンポーネントを有する実施形態の説明は、全てのかかるコンポーネントが必要とされることを意味するものではない。反対に、様々な任意のコンポーネントは、本発明の多種多様な可能な実施形態を例示するために説明される。

【0050】

単一のデバイス又は物品が本明細書中に説明されている場合、単一のデバイス／物品の代わりに１つを超えるデバイス／物品（それらが協働するかどうかに関わらず）が用いられてもよいことは明らかであろう。同様に、１つを超えるデバイス又は物品が本明細書中で説明される場合（それらが協働するかどうかに関わらず）、単一のデバイス／物品が、１つを超えるデバイス若しくは物品の代わりに用いられてもよいか、又は異なる数のデバイス／物品が、図示した数のデバイス若しくはプログラムの代わりに用いられてもよいことは明らかであろう。デバイスの機能及び／又は特徴は、かかる機能／特徴を有するものとして明示的に説明されていない１つ以上の他のデバイスによって代替として具現化されてもよい。従って、本発明の他の実施形態は、デバイス自体を含む必要はない。

【0051】

最終的に、本明細書において用いられる言語は、主に読みやすさ及び教示する目的のために選択されたものであり、本発明の主題を線引き又は制限するために選択されたものではない。従って、本発明の適用範囲は、この詳細な説明によってではなく、本明細書に基づく出願に関して発行される任意の特許請求の範囲によって限定されることを意図している。従って、本発明の実施形態は、以下の特許請求の範囲に記載する本発明の適用範囲を例示することを意図しているが、限定するものではない。

【0052】

様々な態様及び実施形態をここに開示したが、他の態様及び実施形態が、当業者には明らかとなるだろう。本明細書に開示する様々な態様及び実施形態は、例示を目的としており、限定することを意図するものではなく、真の適用範囲及び精神を以下の特許請求の範囲によって示す。

【符号の説明】

【0053】

１００ 例示的な図
１０２ 道路
１０４ 車両
１０６ 交通ミラー
１０８ 視野
１１０（１１０Ａ、１１０Ｂ） 他の車両
２００ 安全監視システム
２０２ プロセッサ
２０４ メモリ
２０６ Ｉ／Ｏインターフェース
２０８ イメージセンサモジュール
２１０ 領域検出モジュール
２１２ エッジ検出モジュール
２１４ 形状識別モジュール
２１６ 角度測定モジュール
２１８ ユーザインターフェース

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図5】

【国際調査報告】