▶ コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024075551
(43)【公開日】2024-06-04
(54)【発明の名称】現在の画像中のカーブミラーを検出するシステム及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240528BHJP
G06V 10/82 20220101ALI20240528BHJP
G06V 20/58 20220101ALI20240528BHJP
G08G 1/16 20060101ALI20240528BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 650A
G06V10/82
G06V20/58
G08G1/16 C
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023195724
(22)【出願日】2023-11-17
(31)【優先権主張番号】2217480.9
(32)【優先日】2022-11-23
(33)【優先権主張国・地域又は機関】GB
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】322007626
【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【弁理士】
【氏名又は名称】中村 真介
(74)【代理人】
【識別番号】100221981
【弁理士】
【氏名又は名称】石田 大成
(74)【代理人】
【識別番号】100191938
【弁理士】
【氏名又は名称】高原 昭典
(72)【発明者】
【氏名】新井 直樹
(72)【発明者】
【氏名】大川 一也
(72)【発明者】
【氏名】板垣 紀章
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB20
5H181CC04
5H181LL01
5H181LL04
5H181LL06
5H181LL09
5L096BA04
5L096CA04
5L096FA69
5L096HA04
5L096HA05
5L096HA11
5L096JA09
(57)【要約】
【課題】現在の画像中のカーブミラーを検出するシステム及び方法を提供する。
【解決手段】現在の画像（３００ｂ）中のカーブミラー（３０２ｂ、３０４ｂ）を検出するシステム（１００）及びコンピュータ実装方法が提供され、この方法は、現在の画像（３００ｂ）に機械学習物体検出アルゴリズムを適用して、現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出するステップと、１つ又は複数のカーブミラーを含む過去の画像（３００ａ）から、現在の画像（３００ａ）中の１つ又は複数のカーブミラー（３０２ａ、３０４ａ）を外挿法により推定するステップと、機械学習アルゴリズムにより検出された１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を、過去の画像（３００ａ）から外挿法により推定された１つ又は複数のカーブミラーで拡張するステップと、を含むことを特徴とする。
【選択図】図１
【解決手段】現在の画像（３００ｂ）中のカーブミラー（３０２ｂ、３０４ｂ）を検出するシステム（１００）及びコンピュータ実装方法が提供され、この方法は、現在の画像（３００ｂ）に機械学習物体検出アルゴリズムを適用して、現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出するステップと、１つ又は複数のカーブミラーを含む過去の画像（３００ａ）から、現在の画像（３００ａ）中の１つ又は複数のカーブミラー（３０２ａ、３０４ａ）を外挿法により推定するステップと、機械学習アルゴリズムにより検出された１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を、過去の画像（３００ａ）から外挿法により推定された１つ又は複数のカーブミラーで拡張するステップと、を含むことを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
現在の画像（３００ｂ）中のカーブミラー（３０２ｂ、３０４ｂ）を検出するコンピュータ実装方法において、
前記現在の画像（３００ｂ）に機械学習物体検出アルゴリズムを適用して、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出するステップと、
１つ又は複数のカーブミラーを含む過去の画像（３００ａ）から、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ａ、３０４ａ）を外挿法により推定するステップと、
前記機械学習アルゴリズムにより検出された前記１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を、前記過去の画像（３００ａ）から外挿法により推定された前記１つ又は複数のカーブミラーで拡張するステップと、
を含むことを特徴とするコンピュータ実装方法。
前記現在の画像（３００ｂ）に機械学習物体検出アルゴリズムを適用して、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出するステップと、
１つ又は複数のカーブミラーを含む過去の画像（３００ａ）から、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ａ、３０４ａ）を外挿法により推定するステップと、
前記機械学習アルゴリズムにより検出された前記１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を、前記過去の画像（３００ａ）から外挿法により推定された前記１つ又は複数のカーブミラーで拡張するステップと、
を含むことを特徴とするコンピュータ実装方法。
【請求項2】
前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を外挿法により推定するステップは、
前記過去の画像（３００ａ）中の前記カーブミラー（３０２ａ、３０４ａ）のひとつひとつについて、
前記現在の画像（３００ｂ）中の前記カーブミラー（３０４ｂ）の位置を前記過去の画像（３００ａ）に基づいて推定するステップと、
前記現在の画像（３００ｂ）内の前記推定位置で前記カーブミラー（３０４ｂ）を検出するステップと、
を含むことを特徴とする、請求項１に記載の方法。
前記過去の画像（３００ａ）中の前記カーブミラー（３０２ａ、３０４ａ）のひとつひとつについて、
前記現在の画像（３００ｂ）中の前記カーブミラー（３０４ｂ）の位置を前記過去の画像（３００ａ）に基づいて推定するステップと、
前記現在の画像（３００ｂ）内の前記推定位置で前記カーブミラー（３０４ｂ）を検出するステップと、
を含むことを特徴とする、請求項１に記載の方法。
【請求項3】
前記カーブミラー（３０４ｂ）の前記位置を推定するステップは、オプティカルフローアルゴリズムを適用するステップを含むことを特徴とする、請求項２に記載の方法。
【請求項4】
前記オプティカルフローアルゴリズムは、
前記過去の画像（３００ａ）内の前記カーブミラー（３０４ａ）の特徴点（３０６ａ、３０８ａ）を抽出するステップと、
前記現在の画像（３００ｂ）内で前記特徴点（３０６ｂ、３０８ｂ）を識別するステップと、
前記現在の画像内の関心対象領域（３１０）を前記現在の画像（３００ｂ）内の前記特徴点（３０６ｂ、３０８ｂ）の前記位置に基づいて取得するステップと、
を含むことを特徴とする、請求項３に記載の方法。
前記過去の画像（３００ａ）内の前記カーブミラー（３０４ａ）の特徴点（３０６ａ、３０８ａ）を抽出するステップと、
前記現在の画像（３００ｂ）内で前記特徴点（３０６ｂ、３０８ｂ）を識別するステップと、
前記現在の画像内の関心対象領域（３１０）を前記現在の画像（３００ｂ）内の前記特徴点（３０６ｂ、３０８ｂ）の前記位置に基づいて取得するステップと、
を含むことを特徴とする、請求項３に記載の方法。
【請求項5】
前記現在の画像（３００ｂ）内の前記推定位置において前記カーブミラー（３０４ｂ）を検出するステップは、前記関心対象領域（３１０）においてテンプレートマッチングアルゴリズムを適用するステップを含むことを特徴とする、請求項４に記載の方法。
【請求項6】
前記テンプレートマッチングアルゴリズムを適用するステップは、
前記過去の画像（３００ａ）から、前記過去の画像（３００ａ）中の前記検出されたカーブミラー（３０４ａ）を表すピクセル情報をテンプレートピクセル情報として抽出するステップと、
前記現在の画像（３００ｂ）内の前記関心対象領域（３１０）の中の前記カーブミラー（３０４ｂ）を前記テンプレートピクセル情報に基づいて検出するステップと、
を含むことを特徴とする、請求項５に記載の方法。
前記過去の画像（３００ａ）から、前記過去の画像（３００ａ）中の前記検出されたカーブミラー（３０４ａ）を表すピクセル情報をテンプレートピクセル情報として抽出するステップと、
前記現在の画像（３００ｂ）内の前記関心対象領域（３１０）の中の前記カーブミラー（３０４ｂ）を前記テンプレートピクセル情報に基づいて検出するステップと、
を含むことを特徴とする、請求項５に記載の方法。
【請求項7】
前記カーブミラー（３０４ｂ）は前記関心対象領域（３１０）において、前記関心対象領域内のピクセル情報が前記テンプレートピクセル情報のそれらとマッチした場合に検出されることを特徴とする、請求項６に記載の方法。
【請求項8】
前記１つ又は複数のカーブミラーを拡張するステップは、
前記１つ又は複数の外挿法により推定されたカーブミラーが前記機械学習物体検出アルゴリズムから前記現在の画像（３００ｂ）中で検出されない場合、前記外挿法により推定されたカーブミラー（３０４ｂ）を前記現在の画像中で検出されたカーブミラーとみなすステップ
を含むことを特徴とする、請求項１～７の何れか１項に記載の方法。
前記１つ又は複数の外挿法により推定されたカーブミラーが前記機械学習物体検出アルゴリズムから前記現在の画像（３００ｂ）中で検出されない場合、前記外挿法により推定されたカーブミラー（３０４ｂ）を前記現在の画像中で検出されたカーブミラーとみなすステップ
を含むことを特徴とする、請求項１～７の何れか１項に記載の方法。
【請求項9】
前記過去の画像（３００ａ）と現在の画像（３００ｂ）はビデオの画像フレームであることを特徴とする、請求項１～８の何れか１項に記載の方法。
【請求項10】
現在の画像（３００ｂ）中のカーブミラー（３０２、３０４）を検出するためのシステム（１００）において、
前記現在の画像（３００ｂ）と過去の画像（３００ａ）を捕捉するための画像捕捉装置（１０２）と、
前記画像捕捉装置（１０２）に連結され、前記現在の画像（３００ｂ）及び過去の画像（３００ａ）を受信するように構成された処理ユニット（１０４）と、を含み、
前記処理ユニット（１０４）はさらに、
前記現在の画像（３００ｂ）に機械学習物体検出アルゴリズムを適用して、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出し、
１つ又は複数のカーブミラー（３０２ａ、３０２ｂ）を含む過去の画像（３００ａ）から、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を外挿法により推定し、
前記機械学習アルゴリズムにより検出された前記１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を、前記過去の画像（３００ａ）から外挿法により推定された前記１つ又は複数のカーブミラーで拡張する
ように構成されることを特徴とするシステム（１００）。
前記現在の画像（３００ｂ）と過去の画像（３００ａ）を捕捉するための画像捕捉装置（１０２）と、
前記画像捕捉装置（１０２）に連結され、前記現在の画像（３００ｂ）及び過去の画像（３００ａ）を受信するように構成された処理ユニット（１０４）と、を含み、
前記処理ユニット（１０４）はさらに、
前記現在の画像（３００ｂ）に機械学習物体検出アルゴリズムを適用して、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出し、
１つ又は複数のカーブミラー（３０２ａ、３０２ｂ）を含む過去の画像（３００ａ）から、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を外挿法により推定し、
前記機械学習アルゴリズムにより検出された前記１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を、前記過去の画像（３００ａ）から外挿法により推定された前記１つ又は複数のカーブミラーで拡張する
ように構成されることを特徴とするシステム（１００）。
【請求項11】
前記過去の画像（３００ａ）から１つ又は複数のカーブミラーを外挿法により推定するために、前記処理ユニット（１０４）はさらに、
前記過去の画像（３００ａ）中の前記カーブミラー（３０２ａ、３０４ａ）のひとつひとつについて、
前記現在の画像（３００ｂ）内の前記カーブミラー（３０４ｂ）の位置を前記過去の画像（３００ａ）に基づいて推定し、
前記現在の画像（３００ｂ）内の前記推定位置において前記カーブミラー（３０４ｂ）を検出する
ように構成されることを特徴とする、請求項１０に記載のシステム（１００）。
前記過去の画像（３００ａ）中の前記カーブミラー（３０２ａ、３０４ａ）のひとつひとつについて、
前記現在の画像（３００ｂ）内の前記カーブミラー（３０４ｂ）の位置を前記過去の画像（３００ａ）に基づいて推定し、
前記現在の画像（３００ｂ）内の前記推定位置において前記カーブミラー（３０４ｂ）を検出する
ように構成されることを特徴とする、請求項１０に記載のシステム（１００）。
【請求項12】
前記カーブミラーの前記位置を推定するために、前記処理ユニット（１０４）はさらに、
前記過去の画像（３００ａ）内の前記カーブミラー（３０２ａ、３０４ａ）の特徴点（３０６ａ、３０８ａ）を抽出するステップと、
前記現在の画像（３００ｂ）内で前記特徴点（３０６ｂ、３０８ｂ）を識別するステップと、
前記現在の画像（３００ｂ）内の関心対象領域（３１０）を前記現在の画像（３００ｂ）内の前記特徴点（３０６ｂ、３０８ｂ）の前記位置に基づいて取得するステップと、
を含むオプティカルフローアルゴリズムを適用するように構成されることを特徴とする、請求項１１に記載のシステム（１００）。
前記過去の画像（３００ａ）内の前記カーブミラー（３０２ａ、３０４ａ）の特徴点（３０６ａ、３０８ａ）を抽出するステップと、
前記現在の画像（３００ｂ）内で前記特徴点（３０６ｂ、３０８ｂ）を識別するステップと、
前記現在の画像（３００ｂ）内の関心対象領域（３１０）を前記現在の画像（３００ｂ）内の前記特徴点（３０６ｂ、３０８ｂ）の前記位置に基づいて取得するステップと、
を含むオプティカルフローアルゴリズムを適用するように構成されることを特徴とする、請求項１１に記載のシステム（１００）。
【請求項13】
前記現在の画像（３００ｂ）内の前記推定位置において前記カーブミラーを検出するために、前記処理ユニット（１０４）はさらに、
前記過去の画像（３００ａ）から、前記過去の画像（３００ａ）中で検出された前記カーブミラー（３０４ａ）を表すピクセル情報をテンプレートピクセル情報として抽出するステップと、
前記現在の画像（３００ｂ）内の前記関心対象領域（３１０）内で前記カーブミラー（３０４ｂ）を前記テンプレートピクセル情報に基づいて検出するステップと、
を含むテンプレートマッチングアルゴリズムを適用するように構成されることを特徴とする、請求項１２に記載のシステム（１００）。
前記過去の画像（３００ａ）から、前記過去の画像（３００ａ）中で検出された前記カーブミラー（３０４ａ）を表すピクセル情報をテンプレートピクセル情報として抽出するステップと、
前記現在の画像（３００ｂ）内の前記関心対象領域（３１０）内で前記カーブミラー（３０４ｂ）を前記テンプレートピクセル情報に基づいて検出するステップと、
を含むテンプレートマッチングアルゴリズムを適用するように構成されることを特徴とする、請求項１２に記載のシステム（１００）。
【請求項14】
前記１つ又は複数のカーブミラーを拡張するために、前記処理ユニット（１０４）はさらに、
前記１つ又は複数の外挿法により推定されたカーブミラー（３０４ｂ）が前記機械学習物体検出アルゴリズムから前記現在の画像（３００ａ）中で検出されない場合に、前記外挿法により推定されたカーブミラーを前記現在の画像（３００ｂ）中で検出されたカーブミラー（３０４ｂ）とみなすように構成されることを特徴とする、請求項１０～１３の何れか１項に記載のシステム（１００）。
前記１つ又は複数の外挿法により推定されたカーブミラー（３０４ｂ）が前記機械学習物体検出アルゴリズムから前記現在の画像（３００ａ）中で検出されない場合に、前記外挿法により推定されたカーブミラーを前記現在の画像（３００ｂ）中で検出されたカーブミラー（３０４ｂ）とみなすように構成されることを特徴とする、請求項１０～１３の何れか１項に記載のシステム（１００）。
【請求項15】
ソフトウェア命令がその上に記憶されたコンピュータ可読記憶媒体において、前記ソフトウェア命令は、システムの処理ユニットにより実行されると、前記処理ユニットに請求項１～９の何れか１項に記載の現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出する方法を実行させることを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、広く、現在の画像中のカーブミラーを検出するシステム及び方法に関する。
【背景技術】
【0002】
道路交通事故は、道路交差点及びその周辺、及び例えば急カーブのあるような道路上の地点で発生しがちであり、これは、車両にとって異なる方向からの往来が見にくいことによる。特に、信号機のない交差点での事故発生件数は一般に、信号機のある場所より多い。
【0003】
交差点、特に信号機のない交差点での事故発生件数を減らすために、道路安全ミラー、例えばカーブミラーが、典型的に交差点及び例えば急カーブのある道路上の地点に設置される。このようなカーブミラーによって、車両はこれらの交差点や地点に存在する死角スポット等が見える状態になり得、それによって道路の使用者は安全であることを確認し、事故の発生を回避又は削減することが可能となる。当然のことながら、カーブミラーは自動車の外部にある。
【0004】
道路上の、例えば交差点及び急カーブ等のある地点のカーブミラーを検出するために、画像捕捉装置、例えばビデオカメラを車両に提供することが提案されている。カーブミラーの検出は、死角スポット検出の重要な役割を果たす。
【0005】
既存の先進運転支援システム（ＡＤＡＳ：Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の改良が望ましいことが認識されている。特に、ＡＤＡＳで使用するためのリアルタイムのカーブミラー認識に適合するために、既存の物体認識技術を向上させることができる。例えば、既存のＡＤＡＳは、カーブミラーをリアルタイムで素早く検出することができない。さらに、既存のシステムの精度にも問題があり、これは、検出されないいくつかのカーブミラーが偽陰性の検出であるからである。カーブミラーの正確な検出は、カーブミラーが、単にそれが存在する場所の周囲の画像を反射するだけであり、何れの決まったパターンも持たないため、困難である。
【0006】
さらに、本発明者らは、カーブミラー検出の計算速度もまた衝突のリスク予測に影響を与え得ることに気付いた。計算負荷は検出システムが複雑化するのに伴って増大するため、カーブミラー検出の計算速度はより低速となる傾向がある。発生し得る１つの問題は、現行のカーブミラー検出では、カーブミラーが検出されるまでにかなりの長さの時間がかかり得ることである。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】Ｒｅｄｍｏｎ，Ｊｏｓｅｐｈ＆Ｆａｒｈａｄｉ，Ａｌｉ．（２０１８）．Ｙｏｌｏｖ３：Ａｎ Ｉｎｃｒｅｍｅｎｔａｌ Ｉｍｐｒｏｖｅｍｅｎｔ
【非特許文献2】Ａｍｍａｒ ｅｔ．ａｌ．“Ｖｅｈｉｃｌｅ Ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ Ａｅｒｉａｌ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ：Ａ Ｃｏｍｐａｒａｔｉｖｅ Ｓｔｕｄｙ”
【非特許文献3】Ｂｅｒｔｈｏｌｄ Ｋ．Ｐ．Ｈｏｒｎ ａｎｄ Ｂｒｉａｎ Ｇ．Ｒｈｕｎｃｋ，Ｄｅｔｅｒｍｉｎｉｎｇ Ｏｐｔｉｃａｌ Ｆｌｏｗ（１９８０）
【非特許文献4】Ｗａｎｇ Ｓｈｕｇｅｎ（２００２）Ｆｒａｍｅｗｏｒｋ ｏｆ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ ｔｒｅｃｏｇｎｉｔｉｖｅ ｐｓｙｃｈｏｌｏｇｙ，Ｇｅｏ－ｓｐａｔｉａｌ Ｉｎｆｏｒａｍｔｉｏｎ Ｓｃｉｅｎｃｅ，５：２，７４－７８，ＤＯＩ：１０．１００７／ＢＦ０２８３３８９０
【非特許文献5】Ｂｏ ｅｔ ａｌ．“ＤＥＥＰ ＡＵＴＯＥＮＣＯＤＩＮＧ ＧＡＵＳＳＩＡＮ ＭＩＸＴＵＲＥ ＭＯＤＥＬ ＦＯＲ ＵＮＳＵＰＥＲＶＩＳＥＤ ＡＮＯＭＡＬＹ ＤＥＴＥＣＴＩＯＮ”
【発明の概要】
【発明が解決しようとする課題】
【0008】
それゆえ、上述の問題のうちの１つに対処するか、少なくともそれを改善しようとする、画像中のカーブミラーを検出するシステム及び方法が求められている。
【課題を解決するための手段】
【0009】
本開示のある態様によれば、現在の画像中のカーブミラーを検出するコンピュータ実装方法が提供され、方法は、現在の画像に機械学習物体検出アルゴリズムを適用して、現在の画像中の１つ又は複数のカーブミラーを検出するステップと、１つ又は複数のカーブミラーを含む過去の画像から、現在の画像中の１つ又は複数のカーブミラーを外挿法により推定するステップと、機械学習アルゴリズムにより検出された１つ又は複数のカーブミラーを、過去の画像から外挿法により推定された１つ又は複数のカーブミラーで拡張するステップと、を含むことを特徴とする。
【0010】
現在の画像中の１つ又は複数のカーブミラーを外挿法により推定するステップは、過去の画像中のカーブミラーのひとつひとつについて、現在の画像中のそのカーブミラーの位置を過去の画像に基づいて推定するステップと、現在の画像内の推定位置においてカーブミラーを検出するステップと、を含み得る。
【0011】
カーブミラーの位置を推定するステップは、オプティカルフローアルゴリズムを適用するステップを含み得る。
【0012】
オプティカルフローアルゴリズムは、過去の画像内のカーブミラーの特徴点を抽出するステップと、現在の画像内でその特徴点を識別するステップと、現在の画像内の関心対象領域を現在の画像内の特徴点の位置に基づいて取得するステップと、を含み得る。
【0013】
現在の画像内の推定位置においてカーブミラーを検出するステップは、関心対象領域においてテンプレートマッチングアルゴリズムを適用するステップを含み得る。
【0014】
テンプレートマッチングアルゴリズムを適用するステップは、過去の画像から、過去の画像中で検出されたカーブミラーを表すピクセル情報をテンプレートピクセル情報として抽出するステップと、現在の画像内の関心対象領域の中のカーブミラーをテンプレートピクセル情報に基づいて検出するステップと、を含み得る。
【0015】
カーブミラーは関心対象領域において、関心対象領域内のピクセル情報がテンプレートピクセル情報のそれらとマッチした場合に検出され得る。
【0016】
１つ又は複数のカーブミラーを拡張するステップは、１つ又は複数の外挿法により推定されたカーブミラーが機械学習物体検出アルゴリズムからは現在の画像中で検出されない場合、外挿法により推定されたカーブミラーを現在の画像中で検出されたカーブミラーとみなすステップを含み得る。
【0017】
過去の画像と現在の画像はビデオの画像フレームであり得る。
【0018】
本開示の他の態様によれば、現在の画像中のカーブミラーを検出するためのシステムが提供され、システムは、現在の画像と過去の画像を捕捉するための画像捕捉装置と、画像捕捉装置に連結され、現在の画像及び過去の画像を受信するように構成された処理ユニットと、を含み、処理ユニットはさらに、現在の画像に機械学習物体検出アルゴリズムを適用して、現在の画像中の１つ又は複数のカーブミラーを検出し、１つ又は複数のカーブミラーを含む過去の画像から、現在の画像中の１つ又は複数のカーブミラーを外挿法により推定し、機械学習アルゴリズムにより検出された１つ又は複数のカーブミラーを、過去の画像から外挿法により推定された１つ又は複数のカーブミラーで拡張するように構成されることを特徴とする。
【0019】
過去の画像から１つ又は複数のカーブミラーを外挿法により推定するために、処理ユニットはさらに、過去の画像中のカーブミラーのひとつひとつについて、現在の画像内のカーブミラーの位置を過去の画像に基づいて推定し、現在の画像内の推定位置においてカーブミラーを検出するように構成され得る。
【0020】
カーブミラーの位置を推定するために、処理ユニットはさらに、過去の画像内のカーブミラーの特徴点を抽出するステップと、現在の画像内でその特徴点を識別するステップと、現在の画像内の関心対象領域を現在の画像内の特徴点の位置に基づいて取得するステップを含むオプティカルフローアルゴリズムを適用するように構成され得る。
【0021】
現在の画像内の推定位置においてカーブミラーを検出するために、処理ユニットはさらに、過去の画像から過去の画像中で検出されたカーブミラーを表すピクセル情報をテンプレートピクセル情報として抽出するステップと、現在の画像内の関心対象領域の中でカーブミラーをテンプレートピクセル情報に基づいて検出するステップを含むテンプレートマッチングアルゴリズムを適用するように構成され得る。
【0022】
１つ又は複数のカーブミラーを拡張するために、処理ユニットはさらに、１つ又は複数の外挿法により推定されたカーブミラーが機械学習物体検出アルゴリズムからは現在の画像中で検出されない場合に、外挿法により推定されたカーブミラーを現在の画像中で検出されたカーブミラーとみなすように構成され得る。
【0023】
本開示の他の態様によれば、ソフトウェア命令がその上に記憶されたコンピュータ可読記憶媒体が提供され、これは、ソフトウェア命令が、システムの処理ユニットにより実行されると、処理ユニットに第一の態様で定義された、現在の画像中の１つ又は複数のカーブミラーを検出する方法を実行させることを特徴とする。
【0024】
本発明の例示的実施形態は、例にすぎない、下記のような図面に関する以下の説明文からよりよく理解され、当業者にとって容易に明らかになるであろう。
【図面の簡単な説明】
【0025】
【図1】例示的実施形態における現在の画像中のカーブミラーを検出するためのシステムを説明するための概略ブロック図である。
【図2】例示的実施形態における現在の画像中のカーブミラーを検出する方法を説明するための概略的フローチャート２００である。
【図3】過去の画像からの検出結果を使って現在の画像中のカーブミラーを検出する方法を説明する一連の画像を示す。
【図4】例示的実施形態の実装に適したコンピュータシステムの略図である。
【発明を実施するための形態】
【0026】
例示的な非限定の実施形態は、画像中の道路安全ミラー、例えばカーブミラーを検出するシステム及び方法を提供し得る。
【0027】
各種の実施形態において、「カーブミラー」という用語は、本明細書で使用されるかぎり、湾曲した反射面を有するミラーを広く意味する。各種の実施形態において、カーブミラーは曲面鏡部分を含む。各種の実施形態において、表面は凸（すなわち、外側に出っ張る）面である。各種の実施形態において、カーブミラーは凸面鏡である。
【0028】
各種の実施形態において、「画像」又は「画像データ」という用語は、本明細書で使用されるかぎり、使用者が見えるようにレンダリングできるあらゆるコンテンツ又はデータを広く意味する。各種の実施形態において、画像又は画像データはコンピュータ可読データを含む。各種の実施形態において、画像又は画像データは、コンピュータ可読データに変換され得る。各種の実施形態において、画像又は画像データは、本明細書で開示されるシステム及び方法のコンポーネントにより使用されるのに適当な、又は両立するフォーマットに変換され得る。例えば、画像又は画像データは、ビデオからのあるフレーム、ビデオからのそのフレームの一部、静止画像、静止画像の一部、又はその他であり得る。
【0029】
図１は、例示的実施形態における現在の画像中のカーブミラーを検出するためのシステム１００を説明するための概略ブロック図である。システム１００は、車両に搭載される。システム１００は、画像捕捉装置１０２と、画像捕捉装置１０２に連結された処理ユニット１０４を含む。
【0030】
この例示的実施形態において、画像捕捉装置１０２は、現在及び過去の画像を含む画像を取得するように構成される。車両の画像捕捉装置１０２は、車両本体の前部のバックミラーの付近又は車両のフロントグリルに配置されるカメラ又はビデオカメラであり得る。画像捕捉装置１０２は、車両前方に向かう所定の角度の画像捕捉エリアを有するように配置される。
【0031】
この例示的実施形態において、処理ユニット１０４は、システム１００のコンポーネントの機能を制御するように構成され得る。この例示的実施形態において、処理ユニット１０４、例えば車両の電子制御ユニット（ＥＣＵ）は、現在の画像に機械学習物体検出アルゴリズムを適用して、現在の画像中の１つ又は複数のカーブミラーを検出し、１つ又は複数のカーブミラーを含む過去の画像から、現在の画像中の１つ又は複数のカーブミラーを外挿法により推定し、機械学習アルゴリズムにより検出された１つ又は複数のカーブミラーを過去の画像から外挿法により推定された１つ又は複数のカーブミラーで拡張するように構成される。
【0032】
この例示的実施形態において、過去の画像から１つ又は複数のカーブミラーを外挿法により推定するために、処理ユニット１０４は、過去の画像のカーブミラーのひとつひとつについて、現在の画像内のカーブミラーの位置を過去の画像中の検出されたカーブミラーに基づいて推定し、現在の画像内の推定位置においてカーブミラーを検出するように構成され得る。
【0033】
この例示的実施形態において、現在の画像内のカーブミラーの位置を推定するために、処理ユニット１０４はオプティカルフローアルゴリズムを適用するように構成され得る。オプティカルフローアルゴリズムは、過去の画像内のカーブミラーの特徴点を抽出するステップと、現在の画像内でその特徴点を識別するステップと、現在の画像内の関心対象領域を現在の画像内の特徴点の位置に基づいて取得するステップを含み得る。
【0034】
この例示的実施形態において、現在の画像内の推定位置においてカーブミラーを検出するために、処理ユニット１０４はテンプレートマッチングアルゴリズムを適用するように構成され得る。テンプレートマッチングアルゴリズムは、過去の画像から、過去の画像中の検出されたカーブミラーを表すピクセル情報をテンプレートピクセル情報として抽出するステップと、現在の画像内の関心対象領域の中のカーブミラーをテンプレートピクセル情報に基づいて検出するステップを含み得る。カーブミラーは現在の画像中のカーブミラーのピクセル情報がテンプレートピクセル情報のそれらと実質的にマッチしたときに、現在の画像中で検出されると特定され得る。
【0035】
この例示的実施形態において、１つ又は複数のカーブミラーを拡張するために、処理ユニット１０４はさらに、１つ又は複数の外挿法により推定されたカーブミラーが機械学習物体検出アルゴリズムからは現在の画像中で検出されない場合に、外挿法により推定されたカーブミラーを現在の画像中で検出されたカーブミラーとみなすように構成され得る。
【0036】
この例示的実施形態において、過去の画像と現在の画像は、画像捕捉装置１０２により捕捉されたビデオの連続する画像フレームであり得る。過去の画像及び現在の画像はその後、処理ユニット１０４に送信されて処理される。
【0037】
例示的実施形態において、処理ユニット１０４はさらに物体検出ユニット１０６に連結され得て、物体検出ユニット１０６はさらに動作ユニット１０８に連結され得る。物体検出ユニット１０６は、処理ユニット１０４により検出されるカーブミラーについて物体検出を実行するように構成され得る。動作ユニット１０８は、物体検出ユニット１０６から１つ又は複数の命令を受け取るように構成され得て、例えば、これに限定されないが、車両の制動機能を作動させる、及び／又は車両の使用者に対する警告システムを作動させる、及び／又はステアリング制御を行うか、又はいかなる動作も行わないように構成され得る。
【0038】
動作ユニット１０８はまた、表示装置（図示せず）も含み得る。表示装置は、画像（現在及び／又は過去の画像等）がそこに表示されるように構成され得る。表示装置は、リアルタイムの現在の画像を表示するように構成され得て、そこには検出された１つ又は複数のカーブミラーの各々の周囲のバウンディングボックスが含まれる。表示装置は、車両に搭載され得る。表示装置は、車両内でそれが車両の運転者又は乗員から見えるように近くに配置される。
【0039】
動作中、十字路や交差点が画像捕捉装置１０２によって識別され得る。幾つかの例示的実施形態において、マップ情報が処理ユニット１０４に提供され得て、それによって処理ユニット１０４はこのマップ情報を使用して、例えばマップを全地球測位システム（ＧＰＳ）座標とマッチングして、十字路又は交差点を識別し得る。このような十字路や交差点で、処理ユニット１０４は機械学習物体検出アルゴリズムを過去の画像に適用して、過去の画像中のカーブミラーを検出する。その後、処理ユニット１０４は、オプティカルフローアルゴリズムを適用して、現在の画像内のカーブミラーの位置を、過去の画像内のカーブミラーの位置に基づいて推定する。続いて、処理ユニット１０４はテンプレートマッチングアルゴリズムを適用して、現在の画像内の推定位置でカーブミラーを検出する。
【0040】
図２は、ある例示的実施形態における現在の画像中のカーブミラーを検出するコンピュータ実装方法を説明するための概略的フローチャート２００である。ステップ２０２で、機械学習物体検出アルゴリズムが現在の画像に適用されて、現在の画像中の１つ又は複数のカーブミラーが検出される。ステップ２０４で、現在の画像中の１つ又は複数のカーブミラーが１つ又は複数のカーブミラーを含む過去の画像から外挿法により推定される。ステップ２０６で、機械学習アルゴリズムにより検出された１つ又は複数のカーブミラーは、過去の画像から外挿法により推定された１つ又は複数のカーブミラーで拡張される。
【0041】
現在の画像中のカーブミラーを検出する方法は、図１のシステム１００を使って実行され得る。例えば、機械学習物体検出アルゴリズムの適用、過去の画像からの外挿法による推定、及び機械学習アルゴリズムにより検出されたカーブミラーの過去の画像から外挿法により推定されたものによる拡張は、処理ユニット１０４により実行され得る。
【0042】
この例示的実施形態において、現在の画像中の１つ又は複数のカーブミラーを外挿法により推定するステップは、過去の画像中のカーブミラーのひとつひとつについて、現在の画像内のカーブミラーの位置を過去の画像に基づいて推定するステップと、現在の画像内の推定位置においてカーブミラーを検出するステップを含み得る。
【0043】
この例示的実施形態において、現在の画像内のカーブミラーの位置を推定するステップは、オプティカルフローアルゴリズムを適用するステップを含み得る。オプティカルフローアルゴリズムは、過去の画像内のカーブミラーの特徴点を抽出するステップと、現在の画像内でその特徴点を識別するステップと、現在の画像中の関心対象領域を現在の画像中の特徴点の位置に基づいて取得するステップを含み得る。
【0044】
この例示的実施形態において、現在の画像内の推定位置でカーブミラーを検出するステップは、関心対象領域でテンプレートマッチングアルゴリズムを適用するステップを含み得る。テンプレートマッチングアルゴリズムは、過去の画像から、検出されたカーブミラーを表すテンプレートピクセル情報を抽出するステップと、現在の画像内の関心対象領域の中でカーブミラーをテンプレートピクセル情報に基づいて検出するステップを含み得る。関心対象領域内のピクセル情報がテンプレートピクセル情報のそれらとマッチする場合、カーブミラーは現在の画像内の関心対象領域で検出されたとみなされる。
【0045】
この例示的実施形態において、１つ又は複数のカーブミラーを拡張するステップ２０６は、１つ又は複数の外挿法により推定されたカーブミラーが機械学習物体検出アルゴリズムからは現在の画像中で検出されない場合に、外挿法により推定されたカーブミラーを現在の画像中で検出されたカーブミラーとみなすステップを含み得る。
【0046】
この例示的実施形態において、画像中でカーブミラーがまったく検出又は識別され得ない。この例示的実施形態において、画像中で１つ又は複数のカーブミラーが識別又は検出され得る。この例示的実施形態において、現在又は過去の画像中で識別された１つ又は複数のカーブミラー候補から１つ又は複数のカーブミラーが識別又は検出され得る。
【0047】
この例示的実施形態において、機械学習アルゴリズムはリアルタイム物体検出システムであり得る。リアルタイム物体検出システムは、画像が一度だけ解析されるワンパス物体検出システムであり得る。リアルタイム物体検出システムは、Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）ｖ３システムであり得る。
【0048】
この例示的実施形態において、方法２００は、過去の画像中の１つ又は複数のカーブミラーの検出が真陽性であることを確認するステップをさらに含み得る。確認は、異常検出アルゴリズムに基づき得る。異常検出アルゴリズムは、Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＤＡＧＭＭ）に基づき得る。適切に高いフレームレート（例えば、３０ＦＰＳ）のビデオでは、過去の画像／フレームのうちの少なくとも１つが確認済みのカーブミラーを含んでいる可能性が高い。すなわち、１つの過去の画像中でカーブミラーが検出され、確認されると、（その１つの過去の画像の）直後の画像はトラッキング／オプティカルフローアルゴリズムを適用して、この後続の画像内のカーブミラーの位置を推定できることになる。
【0049】
この例示的実施形態において、過去の画像に含まれる１つ又は複数のカーブミラーは、現在の画像中のカーブミラーを検出する場合と同じ機械学習物体検出アルゴリズムを適用することによって検出され得る。過去の画像に含まれるこれらの検出されたカーブミラーもまた、それより前の過去の画像から外挿法により推定されたカーブミラーによって拡張され得る。
【0050】
この例示的実施形態において、方法は、画像捕捉装置を使って画像（例えば、現在、過去、それより前の過去の画像）を取得／獲得するステップをさらに含み得る。画像捕捉装置は、カメラ又はビデオカメラであり得る。画像捕捉装置は、車両に搭載され得て、車両本体の前方のバックラーの付近又は車両のフロントグリルに配置される。画像は、車両の前方に向かって得られる前方視野画像であり得る。画像は、異なる時間インスタンスにわたって得られる複数の画像であり得る。過去の画像は、現在の画像より早い時点で得られた画像であり得る。画像は、タイムシーケンスとしてビデオからの画像フレームであり得、各フレームは特定の時間インスタンスにおいて撮影された画像を表す。現在の画像はリアルタイム画像であり得る。現在及び過去の画像は、リアルタイムビデオからとられたフレームであり得る。過去の画像と現在の画像は、ビデオからとられた連続する画像フレームであり得る。ビデオはリアルタイムビデオであり得る。
【0051】
この例示的実施形態において、方法は、表示装置上に画像を表示するステップをさらに含み得る。表示装置は、現在の画像を表示し得て、そこには検出された１つ又は複数のカーブミラーの各々の周囲のバウンディングボックスが含まれる。表示装置は、車両に搭載され得て、車両内でそれが車両の運転者又は乗員から見えるように近くに配置される。
【0052】
この例示的実施形態において、方法は、現在の画像中で１つ又は複数のカーブミラーが検出されると、車両への／内の応答を作動させるステップをさらに含み得る。例えば、車両は、カーブミラーに近付くと低速になるか、停止するように構成され得る。車両はまた、その車両の運転者に警告するために警報を鳴らし得る。
【0053】
【0054】
図３Ａは、例示的実施形態における過去の画像３００ａを示す。過去の画像３００ａは、車両に搭載された画像捕捉装置により捕捉されたリアルタイムビデオの過去のフレームである。機械学習物体検出アルゴリズムが、画像捕捉装置に連結された電子制御ユニットにより過去の画像３００ａに適用されている。この例示的実施形態において、道路安全ミラー検出に使用される機械学習物体検出アルゴリズムは、Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）ｖ３として知られるリアルタイム物体検出システムに基づく。
【0055】
図３Ａに示されるように、２つのカーブミラー（又は道路安全ミラー）３０２ａ、３０４ａが機械学習物体検出アルゴリズムにより検出されている。ユーザにとってわかりやすくするために、検出されたカーブミラー３０２ａ、３０４ｂの周囲にバウンディングボックスが描かれている。
【0056】
この例示的実施形態において、機械学習物体検出アルゴリズムはまた、検出されたミラー３０２ａ、３０４ａが真陽性検出であることを確実にするための検証又は異常検出アルゴリズムも組み込み、又はさらに含み得る。検証は、異常検出アルゴリズムに基づき得る。異常検出アルゴリズムは、Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＤＡＧＭＭ）に基づき得る。適当に高いフレームレート（例えば、３０ＦＰＳ）のビデオでは、過去の画像／フレームの少なくとも１つが確認済みのカーブミラーを含んでいる可能性が高い。すなわち、カーブミラーが１つの過去の画像の中で検出され、確認されると、（その１つの過去の画像の）直後の画像は、トラッキング／オプティカルフローアルゴリズムを適用して、その後続の画像内のカーブミラーの位置を推定できることになる。
【0057】
図３Ｂは、例示的実施形態における現在の画像３００ｂを示す。過去の画像３００ａ（図３Ｂ）に関して、現在の画像３００ｂは車両に搭載された画像捕捉装置によって捕捉されたリアルタイムビデオの、より後のフレームである。すなわち、現在の画像３００ｂは、過去の画像３００ａより後の時点で捕捉される。同じ機械学習物体検出アルゴリズム（例えば、ＹＯＬＯ）が、画像捕捉装置に連結された電子制御ユニットにより現在の画像３００ｂに適用されている。
【0058】
図３Ｂに示されるように、現在の画像３００ｂでは、機械学習物体検出アルゴリズムによって１つのカーブミラー３０２ｂのみが検出されている。しかしながら、これは偽陰性であり、それは図３Ｂには実際には２つのカーブミラーがあるからである。本開示を理解しやすくするために、図３Ａのカーブミラー３０２ａ、３０４ａの当初の位置が図３Ｂにも残されている。カーブミラー３０２ａ、３０４ｂの位置は実際には現在の画像３００ｂの中にないと理解されたい。
【0059】
この例示的実施形態において、カーブミラーのための機械学習物体検出に加えて、処理ユニットは、カーブミラー３０２ａ、３０４ａを含む過去の画像３００ａから、現在の画像３００ｂ中のカーブミラーを外挿法により推定しようと試みる。これらの外挿法により推定されたミラーはその後、機械学習物体検出アルゴリズムによって、現在の画像３００ｂ内で検出されたものへと拡張される。
【0060】
この例示的実施形態において、過去の画像３００ａのカーブミラー３０２ａ、３０４ａを外挿により現在の画像３００ｂとするために、現在の画像内のカーブミラー３０２ｂ、３０４ｂの推定位置が過去の画像３００ａ中のカーブミラー３０２ａ、３０４ａの位置に基づいて推定される。これは、オプティカルフローアルゴリズムを過去の画像３００ａに適用することによって行われ得る。換言すれば、オプティカルフローアルゴリズムを適用することによって、処理ユニットは現在の画像内のカーブミラーの特徴の位置を過去の画像内のカーブミラーの特徴の位置から得ることができる。
【0061】
この例示的実施形態において、カーブミラー３０２及び３０４に関連付けられる特徴点３０６ａ、３０８ａは過去の画像３００ａ（図３Ａ）から抽出される。この例示的実施形態において、特徴点はカーブミラー３０２、３０４が取り付けられているポールの位置を表す。本開示を理解しやすくするために、過去の画像３００ａ内の特徴点３０６ａ、３０８ａは現在の画像３００ｂ（図３Ｂ）でも示されている。特徴点３０６ａ、３０８ａは、現在の画像３００ｂには実際には存在しないと理解されたい。次に、カーブミラー３０２及び３０４に関連付けらけれる同じ特徴点３０６ｂ及び３０８ｂが現在の画像３００ｂ内で識別される。過去の画像３００ａ内の位置（３０６ａ、３０８ａ）から現在の画像３００ｂ内の位置（３０６ｂ、３０８ｂ）へと移行する際の特徴点のフロー経路が図３Ｂに示されている。
【0062】
この例示的実施形態はカーブミラーに関する２つの特徴点を示しているが、何れの数の特徴点でも適切に適当であり得ると理解されたい。
【0063】
特徴点３０６及び３０８に対するカーブミラー３０２、３０４の相対位置は、過去の画像３００ａと現在の画像３００ｂにおいて比較的一定である。例えば、この例示的実施形態において、特定の特徴点３０６、３０８について、カーブミラー３０４ｂは現在の画像３００ｂ内の特徴点の右側のエリアにある可能性が高い。
【0064】
それゆえ、オプティカルフローアルゴリズムは現在の画像３００ｂの中の、カーブミラー３０４ｂが存在し得る関心対象領域３１０（図３Ｃ）を取得又は予測することができる。この関心対象領域３１０は、現在の画像３００ｂ内の特徴点３０６、３０８の位置に基づいて得られる。この関心対象領域３１０は、予想されるカーブミラーについて予想されるバウンディングボックスより大きい。この関心対象領域はまた、現在の画像３００ｂの中の、カーブミラー、例えば３０４がみつかると予想され得る探索エリアを表す。
【0065】
この例示的実施形態において、処理ユニットはすると、現在の画像内の既知の推定位置（例えば、関心対象領域３１０）で現在の画像３００ｂ内でのカーブミラーの位置を特定するか、その存在を検出しようと試みる。テンプレートマッチングアルゴリズムは、この目的のために処理ユニットにより適用され得る。
【0066】
テンプレートマッチングアルゴリズムにおいて、プロセッサは、過去の画像３００ａから、検出されたカーブミラー３０４ａを表すテンプレートピクセル情報を抽出する。その後、それはテンプレートピクセル情報を現在の画像３００ｂ内の関心対象領域の中から得られたピクセル情報とマッチさせようと試みる。関心対象領域内のピクセル情報がテンプレートピクセル情報のそれとマッチした場合、カーブミラーが検出されたとみなされる。換言すれば、過去の画像３００ａの中で検出されたカーブミラー３０４ａから得られたテンプレートピクセル情報がテンプレートマッチングのための標的物体として使用される。
【0067】
図３Ｄは、この例示的実施形態における現在の画像３００ｂ中のカーブミラー３０４ｂの検出を示す。今度はバウンダリボックス３１２はカーブミラー３０４ｂの上に描かれており、その検出を示している。外挿法により推定されたカーブミラー３０４ｂはここで現在の画像３００ｂ中で検出されたカーブミラーとしてみなされているが、これは機械学習物体検出アルゴリズムを使用したときの現在の画像３００ｂでは検出されていなかった。
【0068】
例示的実施形態において、カーブミラー候補検出のためのリアルタイム検出システムとしてＹＯＬＯｖ３が使用されると記載されている。ＹＯＬＯｖ３は、１つのニューラルネットワークを全体画像に適用するリアルタイム物体検出システムである。このネットワークは画像を領域に分割して、各領域に関するバウンディングボックス及び確率を予測する。これらのバウンディングボックスは、予測される確率により重み付けされる。ＹＯＬＯｖ３システムには、分類器に基づくシステムに比べて幾つかの利点がある。これは試験時間に全体画像を見るため、予測は通常、画像内のグローバルコンテクストに基づく。また、これは１回のネットワーク評価で予測を行うものであり、１つの画像に何千も必要とするＲ－ＣＮＮのようなシステムとは異なる。それによってきわめて高速となり、Ｒ－ＣＮＮより１０００倍超速く、高速Ｒ－ＣＮＮより１００倍速い。ＹＯＬＯｖ３に関するその他の情報は、参照により本明細書に援用される（非特許文献１）に見出し得る。ＹＯＬＯｖ３の例は、（非特許文献２）に見出し得、ＹＯＬＯｖ３のアーキテクチャの例は少なくとも３．２．１項及び図２において見出し得、及び、ＹＯＬＯｖ３の訓練の例は少なくとも４．２項に見出し得る。機械学習モデルの訓練に使用し得るデータセットの第一の例は、ｈｔｔｐｓ：／／ｃｏｃｏｄａｔａｓｅｔ．ｏｒｇ／＃ｈｏｍｅにおいて入手可能なＣＯＣＯデータセットであり、これは大規模物体検出、セグメンテーション、及びキャプショニングデータセットである、機械学習モデルの訓練に使用され得るデータセットの第二の例は、ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｔｏｒｏｎｔｏ．ｅｄｕ／～ｋｒｉｚ／ｃｉｆａｒ．ｈｔｍｌにおいて入手可能なＣＩＦＡＲ－１０又はＣＩＦＡＲ－１００データセットであり、これは８０００万個の小型画像データセットのラベル付きサブセットである。他の何れの適当なデータセットも使用され得ると想定される。
【0069】
ある例示的実施形態において、現在の画像内のカーブミラーの位置を、過去の画像内の検出されたカーブミラーの位置に基づいて推定するために、オプティカルフローアルゴリズムが適用／使用されると記載されている。例示的なオプティカルフローアルゴリズムは、（非特許文献３）において見出し得る。
【0070】
ある例示的実施形態において、現在の画像内のその推定位置でカーブミラーを検出するためにテンプレートマッチングアルゴリズムが適用／使用されると記載されている。例示的なテンプレートマッチングアルゴリズムは、（非特許文献４）において見出し得る。
【0071】
ある例示的実施形態において、カーブミラーの真陽性検出を特定するためにＤＡＧＭＭアルゴリズムが適用／使用されると記載されている。例示的なＤＡＧＭＭアルゴリズムは、ＩＣＬＡＲ ２０１８の会議資料として公開された（非特許文献５）において見出し得る。
【0072】
上述の例示的実施形態は、実行可能性調査において車両に取り付けられたフロントカメラを使って検証され、方法の有効性は、公道での実験結果によって実証された。
【0073】
上述の例示的実施形態は、既知の深層学習モデルだけを使用する方式と比較して、有益な点として、偽陰性結果の発生を低減させ、カーブミラー検出の精度を高めることができる。
【0074】
上述の例示的実施形態は、既知の深層学習モデルのみを使用する方式と比較して、有利な点として、より高速の計算を提供でき、有益な点として、時間を節約できる。
【0075】
上述の例示的実施形態は、例えば死角スポットのある道路位置及び信号機のない交差点での衝突予測及び衝突回避のために使用され得る。
【0076】
上述の例示的実施形態は、有利な点として、交差点及び見通しの悪い場所に新たな設備を構築するのに必要な投資額を、道路上にすでに存在する従来のインフラストラクチャのひとつである道路安全ミラーを利用することによって低減させ得る。
【0077】
上述の例示的実施形態は、有利な点として、先進運転支援システム（ＡＤＡＳ）等のレベル１及び２の自動運転（ＡＤ：Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ）システムをサポートするために使用され得て、レベル３より上のＡＤシステムをサポートするようにさらに拡張され得る。上述の例示的実施形態はまた、有益な点として、無人地上走行車両（ｕＧＶ：ｕｎｍａｎｎｅｄ ｇｒｏｕｎｄ ｖｅｈｉｃｌｅｓ）、無人搬送車（ＡＧＶ：ａｕｔｏｍａｔｅｄ ｇｕｉｄｅｄ ｖｅｈｉｃｌｅｓ）、自律走行車、ドローン等の他の形態の車両においても適用され得る。上述の例示的実施形態は、さらに有利な点として、ロボット工学の分野でも使用され得る。
【0078】
「連結される」又は「接続される」という用語は、この説明文で使用されるかぎり、特に別段の表明がなされないかぎり、直接接続されること、及び１つ以上の中間手段を通じて接続されることの両方をカバーすることが意図される。
【0079】
「（タスク／動作を実行する）ように構成される」、「（タスク／動作を実行する）ために構成される」等の用語は、この説明文中で使用されるかぎり、本明細書中に記載されているように配置又は設置された場合に、そのタスク／動作を実行する能力を有するようにプログラム可能、プログラムされる、接続可能、配線される、又はそれ以外に構成されることを含む。「（タスク／動作を実行する）ように構成される」、「（タスク／動作を実行する）ために構成される」等の用語は、「使用時に、そのタスク／動作が実行される」こと、例えば、特にタスク／動作を成す、又は実行すること、及び／又は特にそのように構成されること、及び／又は特にそのように配置されること、及び／又は特にそのようになされることをカバーすることが意図される。
【0080】
「及び／又は」、例えば「Ｘ及び／又はＹ」という用語は、「Ｘ及びＹ」と「Ｘ又はＹ」のどちらでも意味するものと理解されたく、両方の意味又は何れかの意味を明確に支持するものと理解すべきではない。
【0081】
「～に関連付けられる」、「～に関係する」等の用語は、本明細書で２つの要素に言及する際に使用されるかぎり、その２つの要素間の広い関係を指す。この関係には、限定ではないが、物理的、化学的、又は生物学的関係が含まれる。例えば、要素Ａが要素Ｂに関連付けられる場合、要素Ａ及びＢは相互に直接若しくは間接に取り付けられてよく、又は要素Ａは要素Ｂを含み、若しくはその逆でもある。
【0082】
「例示的実施形態」、「例示的実装」、「例示的に」等の用語は、本明細書で使用されるかぎり、本開示に記載されている主題の一例を示すことが意図されている。このような例は、特許請求項の中で定義されている１つ以上の特徴に関係し得て、必ずしも何れかの特徴の最良の例又はいかなる基本的な重要性も強調するように意図されていない。
【0083】
本明細書の説明は、特定の部分において、コンピュータメモリ又は電子回路内のデータに対して行われるアルゴリズム及び／又は機能動作として明示的又は黙示的に説明されることがある。これらのアルゴリズムによる説明及び／又は機能動作は通常、情報処理技術の当業者によって効率的な説明のために使用される。アルゴリズムは一般に、所望の結果につながる自己矛盾のないステップシーケンスに関係する。アルゴリズムのステップは、物理的数量、例えば保存、送信、伝送、結合、比較、及びその他の操作が可能な電気、磁気、又は光信号の物理的操作を含むことができる。
【0084】
さらに、特に別段の表明がなされないかぎり、また、以下のことから通常明らかであるように、当業者であれば、本明細書全体を通じて、「スキャンする」、「計算する」、「特定する」、「置き換える」、「生成する」、「初期化する」、「出力する」等の用語を利用した議論は、命令プロセッサ／コンピュータシステム又は同様の電子回路／デバイス／コンポーネントの、記載されているシステム内の物理的数量として表されるデータを操作／処理し、そのシステム又はその他の情報ストレージ、送信、又は表示デバイス等における物理的数量として同様に表される他のデータに変換する動作及びプロセスを指すと理解するであろう。
【0085】
この説明ではまた、上述の方法のステップを実行することと関連性のあるデバイス／装置も開示されている。このような装置は、この方法の目的のために特に構成され得るか、記憶部材の中に保存されたコンピュータプログラムにより選択的にアクティベート又は再構成される汎用コンピュータ／プロセッサ又はその他のデバイスを含み得る。本明細書に記載のアルゴリズム及びディスプレイは、何れの特定のコンピュータ又はその他の装置にも本来的に関係していない。汎用デバイス／マシンは本明細書中の教示にしたがって使用され得ると理解されたい。代替的に、方法ステップを実行するために特殊化されたデバイス／装置の構成が望まれ得る。
【0086】
それに加えて、説明はまた、本明細書に記載の方法のステップがコンピュータコードにより具現化され得ることが明らかであるという点で、コンピュータプログラムも黙示的にカバーすることが提案される。本明細書の説明の教示を実施するために、多様なプログラミング言語及び符号化が使用可能であることが分かるであろう。さらに、コンピュータプログラムは、それが該当する場合、何れの特定の制御フローにも限定されず、本発明の範囲から逸脱することなく、異なる制御フローを使用することもできる。
【0087】
さらに、コンピュータプログラムのステップの１つ又は複数は、それが該当する場合、並列に、及び／又は逐次的に実行され得る。このようなコンピュータプログラムは、それが該当する場合、何れのコンピュータ可読媒体に記憶されていてもよい。コンピュータ可読媒体は、磁気若しくは光ディスク、メモリチップ、又は適当なリーダ／汎用コンピュータとのインタフェースに適したその他の記憶装置等の記憶装置が含まれ得る。このような場合、コンピュータ可読記憶媒体は非一時的である。このような記憶媒体はまた、あらゆるコンピュータ可読媒体、例えばデータを短時間のみ、及び／又は電源があるときにのみ記憶する場合、例えばレジスタメモリ、プロセッサキャッシュ、及びＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、及びその他等の全てをカバーする。コンピュータ可読媒体は、インターネットシステムにおいて例示されるようなワイヤード媒体、又はＢｌｕｅｔｏｏｔｈテクノロジで例示されるようなワイヤレス媒体も含み得る。コンピュータ可読媒体は、例えばインターネット上又はイントラネット内のクラウドストレージであり得る。コンピュータプログラムは、適当なリーダにロードされ、そこで実行された場合、その結果として、前述の方法のステップを、例えば物理的実施形態で実装できる装置が有効に得られる。コンピュータ可読媒体は可搬式であることが意図され、コンピュータプログラムが、それが該当する場合、再現可能であるという点で再現可能である。
【0088】
例示的実施形態はまた、ハードウェアモジュールとしても実装され得る。モジュールとは、他のコンポーネント又はモジュールと共に使用するように設計された機能的ハードウェアユニットである。例えば、モジュールは、デジタル又は離散的電子コンポーネントを使って実装され得るか、又は、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＡＳＩＣ）等の電子回路全体の一部を形成することもできる。当業者であれば、例示的実施形態はまたハードウェア及びソフトウェアモジュールの組合せとしても実装できることが分かるであろう。
【0089】
追加的に、幾つかの実施形態を説明する際、本開示では特定のステップシーケンスとして方法及び／又はプロセスが開示され得る。しかしながら、それ以外が求められる場合を除き、方法又はプロセスは開示されている特定のステップシーケンスに限定されるべきではないと理解されたい。その他のステップシーケンスも可能であり得る。本明細書で開示されているステップの特定の順序は過度な限定と解釈されるべきではない。それ以外が求められる場合を除き、本明細書で開示される方法及び／又はプロセスは、ステップが記載されている順序で実行されることに限定されるべきではない。ステップシーケンスは変更されてもよいが、それでも本開示の範囲内にとどまる。
【0090】
さらに、本明細書の説明の中で、「実質的に」という用語は、使用されるときは毎回、「まったく」、又は「完全に」等を含むが、それに限定されないと理解されたい。それに加えて、「～を含む（ｃｏｍｐｒｉｓｉｎｇ、ｃｏｍｐｒｉｓｅ）」等の用語は、使用されるときは毎回、それらがその用語に続いて挙げられた要素／コンポーネントのほか、明示的に挙げられていないその他のコンポーネントも広く含むという点で、非限定的な説明言語であることが意図される。例えば、「～を含む（ｃｏｍｐｒｉｓｉｎｇ）」が使用される場合、「１つの」特徴への言及はまた、その特徴の「少なくとも１つ」への言及でもあることが意図される。「からなる（ｃｏｎｓｉｓｔｉｎｇ、ｃｏｎｓｉｓｔ）」等の用語は、適切な文脈において、「～を含む（ｃｏｍｐｒｉｓｉｎｇ、ｃｏｍｐｒｉｓｅ）」等の用語のサブセットと考えられ得る。したがって、本明細書において「～を含む（ｃｏｍｐｒｉｓｉｎｇ、ｃｏｍｐｒｉｓｅ）」等の用語を使って開示される実施形態においては、これらの実施形態が「～なる（ｃｏｎｓｉｓｔｉｎｇ、ｃｏｎｓｉｓｔ）」等の用語を使用する、それに対応する実施形態に関する教示も提供すると理解されたい。さらに、「約」、「ほぼ」等の用語は、使用されるときは毎回、典型的に合理的変動、例えば開示された値の＋／－５％の変動、又は開示された値の４％の変動、又は開示された値の３％の変動、又は開示された値の２％の変動、又は開示された値の１％の変動を意味する。
【0091】
さらに、本明細書の説明の中で、特定の値がある範囲で開示されることがある。ある範囲の端点を示す値は、好ましい範囲を例示することが意図されている。ある範囲が記載されているときは毎回、その範囲は考え得る小部分のほか、その範囲内の個々の数値の全てをカバーし、教示することが意図される。すなわち、ある範囲の端点は変更不能な限界と解釈されるべきではない。例えば、１％～５％の範囲との記述は、１％～２％、１％～３％、１％～４％、２％～３％等の小部分のほか、その範囲内の値を個別に、例えば１％、２％、３％、４％、５％と具体的に開示していることが意図される。範囲内の個々の数値はまた、整数、分数、小数も含むと理解されたい。さらに、ある範囲が記載されている場合は常に、その範囲が明示された数値の端点からさらに最大２桁多い小数位又は有効数字（適切である場合）の値をカバーし、教示することが意図されている。例えば、１％～５％の範囲という記述は、１．００％～５．００％及び１．０％～５．０％の範囲と、その範囲内のそれらの全ての中間値（例えば、１．０１％、１．０２％、．．．、４．９８％、４．９９％、５．００％及び１．１％、１．２％、．．．、４．８％、４．９％、５．０％等）も具体的に開示するように意図される。上述の具体的な開示の意図は、範囲のあらゆる深さ／幅にも当てはまる。
【0092】
様々な例示的実施形態は、コンピュータ実装環境の中で実行されるデータ構造、プログラムモジュール、プログラム、及びコンピュータ命令に関して実装できる。本明細書では、特別に構成された汎用コンピューティング環境が簡単に開示されている。１つ又は複数の例示的実施形態は、例えば図４に概略的に示されているような１つ又は複数のコンピュータシステムにおいて具現化され得る。
【0093】
１つ又は複数の例示的実施形態は、ソフトウェアとして、例えばコンピュータシステム４００内で実行され、コンピュータシステム４００にある例示的実施形態の方法を実行するように命令するコンピュータプログラムとして実装され得る。
【0094】
コンピュータシステム４００は、コンピュータユニット４０２、入力モジュール、例えばキーボード４０４及びポインティングデバイス４０６、並びに複数の出力デバイス、例えばディスプレイ４０８及びプリンタ４１０を含む。ユーザはコンピュータユニット４０２と、上述のデバイスを使って対話できる。ポインティングデバイスは、マウス、トラックボール、ペンデバイス、又は何れかの同様のデバイスで実装できる。１つ又は複数の他の入力デバイス（図示せず）、例えばジョイスティック、ゲームパッド、衛星受信アンテナ、スキャナ、タッチセンサスクリーン等もコンピュータユニット４０２に接続できる。ディスプレイ４０８としては、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、電界放出ディスプレイ（ＦＥＤ）、プラズマディスプレイ、又はユーザが見ることのできる画像を生成する他のあらゆるデバイスが含まれ得る。
【0095】
コンピュータユニット４０２は、適当なトランシーバデバイス４１４を介してコンピュータネットワーク４１２に接続でき、それによって例えばインターネット又は、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）若しくはＷｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＷＡＮ）又はパーソナルネットワーク等のその他のネットワークシステムにアクセスできる。ネットワーク４１２は、サーバ、ルータ、ネットワークパーソナルコンピュータ、ピアデバイス若しくはその他の共通ネットワークノード、ワイヤレス電話若しくはワイヤレス携帯情報端末を含むことができる。ネットワーキング環境は、オフィス、全社内コンピュータネットワーク、及びホームコンピュータシステム等に見られ得る。トランシーバデバイス４１４は、コンピュータユニット４０２内又は外部にあるモデム／ルータユニットとすることができ、ケーブルモデムや衛星モデム等、何れの種類のモデム／ルータであってもよい。
【0096】
図のネットワーク接続は例示的であり、コンピュータ間の通信リンクを確立するその他の方法も使用できると理解されたい。各種のプロトコルのうちの何れか、例えばＴＣＰ／ＩＰ、フレームリレー、イーサネット、ＦＴＰ、ＨＴＴＰ等の存在が仮定され、コンピュータユニット４０２はクライアントサーバ構成で動作させて、ユーザがウェブベースのサーバからウェブページを読み出せるようにすることができる。さらに、各種のウェブブラウザの何れかを使用して、ウェブページ上でデータを表示及び操作することもできる。
【0097】
この例のコンピュータユニット４０２は、プロセッサ４１８、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）４２０、及びＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）を含む。ＲＯＭ ４２２は、基本入出力システム（ＢＩＯＳ）情報を記憶するシステムメモリとすることができる。ＲＡＭ ４２０は、オペレーティングシステム、アプリケーションプログラム、及びプログラムデータ等の１つ又は複数のプログラムモジュールを記憶できる。
【0098】
コンピュータユニット４０２は、複数の入力／出力（Ｉ／Ｏ）インタフェースユニット、例えばディスプレイ４０８とのＩ／Ｏインタフェースユニット４２４及びキーボード４０４とのインタフェースユニット４２６をさらに含む。コンピュータユニット４０２のコンポーネントは典型的に、相互接続されたシステムバス４２８を介して接続されるように、また、関連技術の当業者の間で知られる方法で通信し、インタフェース／結合される。バス４２８は、様々なバスアーキテクチャの何れかを使用するメモリバス又はメモリコントローラ、周辺バス、及びローカルバスを含む幾つかの種類のバス構造のうちの何れとすることもできる。
【0099】
その他のデバイスもまた、システムバス４２８に接続できると理解されたい。例えば、ユニバーサルシリアルバス（ＵＳＢ）インタフェースを使ってビデオ又はデジタルカメラをシステムバス４２８に結合できる。追加のデバイスをコンピュータユニット４０２に結合するために、ＩＥＥＥ １３９４インタフェースを使用し得る。その他のメーカのインタフェースもまた使用可能であり、これは例えばＡｐｐｌｅ Ｃｏｍｐｕｔｅｒが開発したＦｉｒｅＷｉｒｅやＳｏｎｙが開発したｉ．Ｌｉｎｋである。デバイスをシステムバス４２８に結合することはまた、パラレルポート、ゲームポート、ＰＣＩボード又は、入力デバイスをコンピュータに結合するために使用される他の何れかのインタフェースを介しても行うことができる。また、コンポーネントは図示されていないが、マイクロフォンとスピーカを使って音声／オーディオを記録し、再生することもできると理解されたい。マイクロフォンとスピーカをシステムバス４２８に結合するために、サウンドカードを使用し得る。幾つかの周辺デバイスをシステムバス４２８に代替的なインタフェースを介して同時に結合できると理解されたい。
【0100】
アプリケーションプログラムは、ＣＤ ＲＯＭ又はフラッシュメモリキャリア等のデータ記憶媒体上に符号化／記憶された状態でコンピュータシステム４００のユーザに供給できる。アプリケーションプログラムは、データ記憶デバイス４３０の対応するテータ記憶媒体ドライブを使って読むことができる。データ記憶媒体は、ポータブルであることに限定されず、コンピュータユニット４０２内に埋め込まれる例も含むことができる。データ記憶デバイス４３０は、ハードディスクインタフェースユニット及び／又はリムーバブルメモリインタフェースユニット（何れも詳細には図示せず）を含むことができ、これらはそれぞれハードディスクドライブ及び／又はリムーバブルメモリドライブをシステムバス４２８に結合する。このことによって、データの読み書きが可能となる。リムーバブルメモリドライブの例としては、磁気ディスクドライブ及び光ディスクドライブが含まれる。ドライブ及びそれらに関連するコンピュータ可読媒体、例えばフロッピディスクはコンピュータ可読命令、データ構造、プログラムモジュール、及びコンピュータユニット４０２のためのその他のデータの不揮発性記憶を提供する。コンピュータユニット４０２は、このようなドライブのうちの複数を含み得ると理解されたい。さらに、コンピュータユニット４０２は、他の種類のコンピュータ可読媒体とインタフェースするためのドライブを含み得る。
【0101】
アプリケーションプログラムは、プロセッサ４１８による実行によって読み出され、制御される。プログラムデータの中間記憶は、ＲＡＭ ４２０を用いて行われ得る。例示的実施形態の方法は、コンピュータ可読命令、コンピュータ実行可能コンポーネントは、又はソフトウェアモジュールとして実装できる。１つ又は複数のソフトウェアモジュールは代替的に使用され得る。これらは実行可能プログラム、データリンクライブラリ、コンフィギュレーションファイル、データベース、グラフィック画像、バイナリデータファイル、テキストデータファイル、オブジェクトファイル、ソースコードファイル又はその他を含むことができる。１つ又は複数のコンピュータプロセッサがソフトウェアモジュールのうちの１つ又は複数を実行すると、そのソフトウェアモジュールは相互作用して、１つ又は複数のコンピュータシステムに本明細書の教示にしたがって動作させる。
【0102】
コンピュータユニット４０２の動作は、様々なプログラムモジュールによって制御できる。プログラムモジュールの例は、特定のタスクを実行するか、特定のアブストラクトデータタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、ライブラリ等である。例示的実施形態はまた、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースの、又はプログラム可能な民生用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯情報端末、モバイル電話等を含むその他のコンピュータシステム構成でも実装され得る。さらに、例示的実施形態はまた、分散型コンピューティング環境でも実装され得て、その場合、タスクはワイヤレス又はワイヤード通信ネットワークを通じてリンクされるリモート処理デバイスにより実行される。分散型コンピューティング環境では、プログラムモジュールはローカル及びリモート両方のメモリ記憶デバイスの中にあり得る。
【0103】
例示的実施形態はまた、ハンドヘルドデバイス、マルチプロセッサシステム／サーバ、マイクロプロセッサベースの、又はプログラム可能な民生用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯情報端末、モバイル電話等を含むその他のコンピュータシステム構成でも実装され得る。さらに、例示的実施形態はまた、分散型コンピューティング環境でも実装され得て、その場合、タスクはワイヤレス又はワイヤード通信ネットワークを通じてリンクされるリモート処理デバイスにより実行される。分散型コンピューティング環境では、プログラムモジュールはローカル及びリモート両方のメモリ記憶デバイスの中にあり得る。
【0104】
前述の例示的実施形態において、車両はユーザが運転する自動車として説明され得る。例示的実施形態はこのように限定されないと理解されたい。例えば、車両は、カーブミラーを検出できる何れの可動物体も含み得る。
【0105】
当業者であれば、特定の実施形態に対し、広く説明される本発明の範囲から逸脱せずに様々な変更及び／又は改良を加え得ることが分かるであろう。例えば、本明細書の説明の中で、異なる例示的実施形態の特徴は、異なる例示的実施形態間で混ぜ合わせ、組み合わせ、交換し、組み込み、採用し、改良し、含める等し得る。例えば、例示的実施形態は必ずしも相互に排他的であるわけではなく、これは、幾つかを１つ又は複数の実施形態と組み合わせて、新たな例示的実施形態を形成し得るからである。さらに、本開示は本明細書で論じた特徴／特長のうちの１つ又は複数を有する実施形態を提供するものの、これらの特徴／特長の１つ又は複数はまた、他の代替的実施形態では放棄されてもよく、本開示はこのような放棄及びそれに関連する代替的実施形態も支持する。本実施形態はしたがって、あらゆる点において例示的であって、限定的ではないとみなされるものとする。
【符号の説明】
【0106】
１００ 画像中のカーブミラーを検出するためのシステム
１０２ 画像捕捉装置
１０４ 処理ユニット
１０６ 物体検出ユニット
１０８ 動作ユニット
３００ａ 過去の画像
３００ｂ 現在の画像
３０２ａ 過去の画像中のカーブミラー
３０４ａ 過去の画像中のカーブミラー
３０２ｂ 現在の画像中のカーブミラー
３０４ｂ 現在の画像中のカーブミラー
３０６ａ 過去の画像内の特徴点
３０８ａ 過去の画像内の特徴点
３０６ｂ 現在の画像内の特徴点
３０８ｂ 現在の画像内の特徴点
３１０ 関心対象領域
３１２ バウンダリボックス
４００ コンピュータシステム
４０２ コンピュータユニット
４０４ キーボード
４０６ ポインティングデバイス
４０８ ディスプレイ
４１０ プリンタ
４１２ コンピュータネットワーク
４１４ トランシーバデバイス
４１８ プロセッサ
４２０ ランダムアクセスメモリ
４２２ リードオンリメモリ
４２４ 入力／出力インタフェースユニット
４２６ インタフェースユニット
４２８ システムバス
４３０ データ記憶デバイス
１０２ 画像捕捉装置
１０４ 処理ユニット
１０６ 物体検出ユニット
１０８ 動作ユニット
３００ａ 過去の画像
３００ｂ 現在の画像
３０２ａ 過去の画像中のカーブミラー
３０４ａ 過去の画像中のカーブミラー
３０２ｂ 現在の画像中のカーブミラー
３０４ｂ 現在の画像中のカーブミラー
３０６ａ 過去の画像内の特徴点
３０８ａ 過去の画像内の特徴点
３０６ｂ 現在の画像内の特徴点
３０８ｂ 現在の画像内の特徴点
３１０ 関心対象領域
３１２ バウンダリボックス
４００ コンピュータシステム
４０２ コンピュータユニット
４０４ キーボード
４０６ ポインティングデバイス
４０８ ディスプレイ
４１０ プリンタ
４１２ コンピュータネットワーク
４１４ トランシーバデバイス
４１８ プロセッサ
４２０ ランダムアクセスメモリ
４２２ リードオンリメモリ
４２４ 入力／出力インタフェースユニット
４２６ インタフェースユニット
４２８ システムバス
４３０ データ記憶デバイス
【図1】
【図2】
【図3】
【図4】
【手続補正書】
【提出日】2023-11-17
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【0105】
当業者であれば、特定の実施形態に対し、広く説明される本発明の範囲から逸脱せずに様々な変更及び／又は改良を加え得ることが分かるであろう。例えば、本明細書の説明の中で、異なる例示的実施形態の特徴は、異なる例示的実施形態間で混ぜ合わせ、組み合わせ、交換し、組み込み、採用し、改良し、含める等し得る。例えば、例示的実施形態は必ずしも相互に排他的であるわけではなく、これは、幾つかを１つ又は複数の実施形態と組み合わせて、新たな例示的実施形態を形成し得るからである。さらに、本開示は本明細書で論じた特徴／特長のうちの１つ又は複数を有する実施形態を提供するものの、これらの特徴／特長の１つ又は複数はまた、他の代替的実施形態では放棄されてもよく、本開示はこのような放棄及びそれに関連する代替的実施形態も支持する。本実施形態はしたがって、あらゆる点において例示的であって、限定的ではないとみなされるものとする。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
現在の画像（３００ｂ）中のカーブミラー（３０２ｂ、３０４ｂ）を検出するコンピュータ実装方法において、
前記現在の画像（３００ｂ）に機械学習物体検出アルゴリズムを適用して、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出するステップと、
１つ又は複数のカーブミラーを含む過去の画像（３００ａ）から、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ａ、３０４ａ）を外挿法により推定するステップと、
前記機械学習アルゴリズムにより検出された前記１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を、前記過去の画像（３００ａ）から外挿法により推定された前記１つ又は複数のカーブミラーで拡張するステップと、
を含むことを特徴とするコンピュータ実装方法。
２．
前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を外挿法により推定するステップは、
前記過去の画像（３００ａ）中の前記カーブミラー（３０２ａ、３０４ａ）のひとつひとつについて、
前記現在の画像（３００ｂ）中の前記カーブミラー（３０４ｂ）の位置を前記過去の画像（３００ａ）に基づいて推定するステップと、
前記現在の画像（３００ｂ）内の前記推定位置で前記カーブミラー（３０４ｂ）を検出するステップと、
を含むことを特徴とする、上記１に記載の方法。
３．
前記カーブミラー（３０４ｂ）の前記位置を推定するステップは、オプティカルフローアルゴリズムを適用するステップを含むことを特徴とする、上記２に記載の方法。
４．
前記オプティカルフローアルゴリズムは、
前記過去の画像（３００ａ）内の前記カーブミラー（３０４ａ）の特徴点（３０６ａ、３０８ａ）を抽出するステップと、
前記現在の画像（３００ｂ）内で前記特徴点（３０６ｂ、３０８ｂ）を識別するステップと、
前記現在の画像内の関心対象領域（３１０）を前記現在の画像（３００ｂ）内の前記特徴点（３０６ｂ、３０８ｂ）の前記位置に基づいて取得するステップと、
を含むことを特徴とする、上記３に記載の方法。
５．
前記現在の画像（３００ｂ）内の前記推定位置において前記カーブミラー（３０４ｂ）を検出するステップは、前記関心対象領域（３１０）においてテンプレートマッチングアルゴリズムを適用するステップを含むことを特徴とする、上記４に記載の方法。
６．
前記テンプレートマッチングアルゴリズムを適用するステップは、
前記過去の画像（３００ａ）から、前記過去の画像（３００ａ）中の前記検出されたカーブミラー（３０４ａ）を表すピクセル情報をテンプレートピクセル情報として抽出するステップと、
前記現在の画像（３００ｂ）内の前記関心対象領域（３１０）の中の前記カーブミラー（３０４ｂ）を前記テンプレートピクセル情報に基づいて検出するステップと、
を含むことを特徴とする、上記５に記載の方法。
７．
前記カーブミラー（３０４ｂ）は前記関心対象領域（３１０）において、前記関心対象領域内のピクセル情報が前記テンプレートピクセル情報のそれらとマッチした場合に検出されることを特徴とする、上記６に記載の方法。
８．
前記１つ又は複数のカーブミラーを拡張するステップは、
前記１つ又は複数の外挿法により推定されたカーブミラーが前記機械学習物体検出アルゴリズムから前記現在の画像（３００ｂ）中で検出されない場合、前記外挿法により推定されたカーブミラー（３０４ｂ）を前記現在の画像中で検出されたカーブミラーとみなすステップ
を含むことを特徴とする、上記１～７の何れか１つに記載の方法。
９．
前記過去の画像（３００ａ）と現在の画像（３００ｂ）はビデオの画像フレームであることを特徴とする、上記１～８の何れか１つに記載の方法。
１０．
現在の画像（３００ｂ）中のカーブミラー（３０２、３０４）を検出するためのシステム（１００）において、
前記現在の画像（３００ｂ）と過去の画像（３００ａ）を捕捉するための画像捕捉装置（１０２）と、
前記画像捕捉装置（１０２）に連結され、前記現在の画像（３００ｂ）及び過去の画像（３００ａ）を受信するように構成された処理ユニット（１０４）と、を含み、
前記処理ユニット（１０４）はさらに、
前記現在の画像（３００ｂ）に機械学習物体検出アルゴリズムを適用して、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出し、
１つ又は複数のカーブミラー（３０２ａ、３０２ｂ）を含む過去の画像（３００ａ）から、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を外挿法により推定し、
前記機械学習アルゴリズムにより検出された前記１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を、前記過去の画像（３００ａ）から外挿法により推定された前記１つ又は複数のカーブミラーで拡張する
ように構成されることを特徴とするシステム（１００）。
１１．
前記過去の画像（３００ａ）から１つ又は複数のカーブミラーを外挿法により推定するために、前記処理ユニット（１０４）はさらに、
前記過去の画像（３００ａ）中の前記カーブミラー（３０２ａ、３０４ａ）のひとつひとつについて、
前記現在の画像（３００ｂ）内の前記カーブミラー（３０４ｂ）の位置を前記過去の画像（３００ａ）に基づいて推定し、
前記現在の画像（３００ｂ）内の前記推定位置において前記カーブミラー（３０４ｂ）を検出する
ように構成されることを特徴とする、上記１０に記載のシステム（１００）。
１２．
前記カーブミラーの前記位置を推定するために、前記処理ユニット（１０４）はさらに、
前記過去の画像（３００ａ）内の前記カーブミラー（３０２ａ、３０４ａ）の特徴点（３０６ａ、３０８ａ）を抽出するステップと、
前記現在の画像（３００ｂ）内で前記特徴点（３０６ｂ、３０８ｂ）を識別するステップと、
前記現在の画像（３００ｂ）内の関心対象領域（３１０）を前記現在の画像（３００ｂ）内の前記特徴点（３０６ｂ、３０８ｂ）の前記位置に基づいて取得するステップと、
を含むオプティカルフローアルゴリズムを適用するように構成されることを特徴とする、上記１１に記載のシステム（１００）。
１３．
前記現在の画像（３００ｂ）内の前記推定位置において前記カーブミラーを検出するために、前記処理ユニット（１０４）はさらに、
前記過去の画像（３００ａ）から、前記過去の画像（３００ａ）中で検出された前記カーブミラー（３０４ａ）を表すピクセル情報をテンプレートピクセル情報として抽出するステップと、
前記現在の画像（３００ｂ）内の前記関心対象領域（３１０）内で前記カーブミラー（３０４ｂ）を前記テンプレートピクセル情報に基づいて検出するステップと、
を含むテンプレートマッチングアルゴリズムを適用するように構成されることを特徴とする、上記１２に記載のシステム（１００）。
１４．
前記１つ又は複数のカーブミラーを拡張するために、前記処理ユニット（１０４）はさらに、
前記１つ又は複数の外挿法により推定されたカーブミラー（３０４ｂ）が前記機械学習物体検出アルゴリズムから前記現在の画像（３００ａ）中で検出されない場合に、前記外挿法により推定されたカーブミラーを前記現在の画像（３００ｂ）中で検出されたカーブミラー（３０４ｂ）とみなすように構成されることを特徴とする、上記１０～１３の何れか１つに記載のシステム（１００）。
１５．
ソフトウェア命令がその上に記憶されたコンピュータ可読記憶媒体において、前記ソフトウェア命令は、システムの処理ユニットにより実行されると、前記処理ユニットに上記１～９の何れか１つに記載の現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出する方法を実行させることを特徴とするコンピュータ可読記憶媒体。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
現在の画像（３００ｂ）中のカーブミラー（３０２ｂ、３０４ｂ）を検出するコンピュータ実装方法において、
前記現在の画像（３００ｂ）に機械学習物体検出アルゴリズムを適用して、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出するステップと、
１つ又は複数のカーブミラーを含む過去の画像（３００ａ）から、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ａ、３０４ａ）を外挿法により推定するステップと、
前記機械学習アルゴリズムにより検出された前記１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を、前記過去の画像（３００ａ）から外挿法により推定された前記１つ又は複数のカーブミラーで拡張するステップと、
を含むことを特徴とするコンピュータ実装方法。
２．
前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を外挿法により推定するステップは、
前記過去の画像（３００ａ）中の前記カーブミラー（３０２ａ、３０４ａ）のひとつひとつについて、
前記現在の画像（３００ｂ）中の前記カーブミラー（３０４ｂ）の位置を前記過去の画像（３００ａ）に基づいて推定するステップと、
前記現在の画像（３００ｂ）内の前記推定位置で前記カーブミラー（３０４ｂ）を検出するステップと、
を含むことを特徴とする、上記１に記載の方法。
３．
前記カーブミラー（３０４ｂ）の前記位置を推定するステップは、オプティカルフローアルゴリズムを適用するステップを含むことを特徴とする、上記２に記載の方法。
４．
前記オプティカルフローアルゴリズムは、
前記過去の画像（３００ａ）内の前記カーブミラー（３０４ａ）の特徴点（３０６ａ、３０８ａ）を抽出するステップと、
前記現在の画像（３００ｂ）内で前記特徴点（３０６ｂ、３０８ｂ）を識別するステップと、
前記現在の画像内の関心対象領域（３１０）を前記現在の画像（３００ｂ）内の前記特徴点（３０６ｂ、３０８ｂ）の前記位置に基づいて取得するステップと、
を含むことを特徴とする、上記３に記載の方法。
５．
前記現在の画像（３００ｂ）内の前記推定位置において前記カーブミラー（３０４ｂ）を検出するステップは、前記関心対象領域（３１０）においてテンプレートマッチングアルゴリズムを適用するステップを含むことを特徴とする、上記４に記載の方法。
６．
前記テンプレートマッチングアルゴリズムを適用するステップは、
前記過去の画像（３００ａ）から、前記過去の画像（３００ａ）中の前記検出されたカーブミラー（３０４ａ）を表すピクセル情報をテンプレートピクセル情報として抽出するステップと、
前記現在の画像（３００ｂ）内の前記関心対象領域（３１０）の中の前記カーブミラー（３０４ｂ）を前記テンプレートピクセル情報に基づいて検出するステップと、
を含むことを特徴とする、上記５に記載の方法。
７．
前記カーブミラー（３０４ｂ）は前記関心対象領域（３１０）において、前記関心対象領域内のピクセル情報が前記テンプレートピクセル情報のそれらとマッチした場合に検出されることを特徴とする、上記６に記載の方法。
８．
前記１つ又は複数のカーブミラーを拡張するステップは、
前記１つ又は複数の外挿法により推定されたカーブミラーが前記機械学習物体検出アルゴリズムから前記現在の画像（３００ｂ）中で検出されない場合、前記外挿法により推定されたカーブミラー（３０４ｂ）を前記現在の画像中で検出されたカーブミラーとみなすステップ
を含むことを特徴とする、上記１～７の何れか１つに記載の方法。
９．
前記過去の画像（３００ａ）と現在の画像（３００ｂ）はビデオの画像フレームであることを特徴とする、上記１～８の何れか１つに記載の方法。
１０．
現在の画像（３００ｂ）中のカーブミラー（３０２、３０４）を検出するためのシステム（１００）において、
前記現在の画像（３００ｂ）と過去の画像（３００ａ）を捕捉するための画像捕捉装置（１０２）と、
前記画像捕捉装置（１０２）に連結され、前記現在の画像（３００ｂ）及び過去の画像（３００ａ）を受信するように構成された処理ユニット（１０４）と、を含み、
前記処理ユニット（１０４）はさらに、
前記現在の画像（３００ｂ）に機械学習物体検出アルゴリズムを適用して、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出し、
１つ又は複数のカーブミラー（３０２ａ、３０２ｂ）を含む過去の画像（３００ａ）から、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を外挿法により推定し、
前記機械学習アルゴリズムにより検出された前記１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を、前記過去の画像（３００ａ）から外挿法により推定された前記１つ又は複数のカーブミラーで拡張する
ように構成されることを特徴とするシステム（１００）。
１１．
前記過去の画像（３００ａ）から１つ又は複数のカーブミラーを外挿法により推定するために、前記処理ユニット（１０４）はさらに、
前記過去の画像（３００ａ）中の前記カーブミラー（３０２ａ、３０４ａ）のひとつひとつについて、
前記現在の画像（３００ｂ）内の前記カーブミラー（３０４ｂ）の位置を前記過去の画像（３００ａ）に基づいて推定し、
前記現在の画像（３００ｂ）内の前記推定位置において前記カーブミラー（３０４ｂ）を検出する
ように構成されることを特徴とする、上記１０に記載のシステム（１００）。
１２．
前記カーブミラーの前記位置を推定するために、前記処理ユニット（１０４）はさらに、
前記過去の画像（３００ａ）内の前記カーブミラー（３０２ａ、３０４ａ）の特徴点（３０６ａ、３０８ａ）を抽出するステップと、
前記現在の画像（３００ｂ）内で前記特徴点（３０６ｂ、３０８ｂ）を識別するステップと、
前記現在の画像（３００ｂ）内の関心対象領域（３１０）を前記現在の画像（３００ｂ）内の前記特徴点（３０６ｂ、３０８ｂ）の前記位置に基づいて取得するステップと、
を含むオプティカルフローアルゴリズムを適用するように構成されることを特徴とする、上記１１に記載のシステム（１００）。
１３．
前記現在の画像（３００ｂ）内の前記推定位置において前記カーブミラーを検出するために、前記処理ユニット（１０４）はさらに、
前記過去の画像（３００ａ）から、前記過去の画像（３００ａ）中で検出された前記カーブミラー（３０４ａ）を表すピクセル情報をテンプレートピクセル情報として抽出するステップと、
前記現在の画像（３００ｂ）内の前記関心対象領域（３１０）内で前記カーブミラー（３０４ｂ）を前記テンプレートピクセル情報に基づいて検出するステップと、
を含むテンプレートマッチングアルゴリズムを適用するように構成されることを特徴とする、上記１２に記載のシステム（１００）。
１４．
前記１つ又は複数のカーブミラーを拡張するために、前記処理ユニット（１０４）はさらに、
前記１つ又は複数の外挿法により推定されたカーブミラー（３０４ｂ）が前記機械学習物体検出アルゴリズムから前記現在の画像（３００ａ）中で検出されない場合に、前記外挿法により推定されたカーブミラーを前記現在の画像（３００ｂ）中で検出されたカーブミラー（３０４ｂ）とみなすように構成されることを特徴とする、上記１０～１３の何れか１つに記載のシステム（１００）。
１５．
ソフトウェア命令がその上に記憶されたコンピュータ可読記憶媒体において、前記ソフトウェア命令は、システムの処理ユニットにより実行されると、前記処理ユニットに上記１～９の何れか１つに記載の現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出する方法を実行させることを特徴とするコンピュータ可読記憶媒体。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
現在の画像（３００ｂ）中のカーブミラー（３０２ｂ、３０４ｂ）を検出するコンピュータ実装方法において、
前記現在の画像（３００ｂ）に機械学習物体検出アルゴリズムを適用して、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出するステップと、
１つ又は複数のカーブミラーを含む過去の画像（３００ａ）から、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ａ、３０４ａ）を外挿法により推定するステップと、
前記機械学習アルゴリズムにより検出された前記１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を、前記過去の画像（３００ａ）から外挿法により推定された前記１つ又は複数のカーブミラーで拡張するステップと、
を含むことを特徴とするコンピュータ実装方法。
前記現在の画像（３００ｂ）に機械学習物体検出アルゴリズムを適用して、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出するステップと、
１つ又は複数のカーブミラーを含む過去の画像（３００ａ）から、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ａ、３０４ａ）を外挿法により推定するステップと、
前記機械学習アルゴリズムにより検出された前記１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を、前記過去の画像（３００ａ）から外挿法により推定された前記１つ又は複数のカーブミラーで拡張するステップと、
を含むことを特徴とするコンピュータ実装方法。
【請求項2】
前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を外挿法により推定するステップは、
前記過去の画像（３００ａ）中の前記カーブミラー（３０２ａ、３０４ａ）のひとつひとつについて、
前記現在の画像（３００ｂ）中の前記カーブミラー（３０４ｂ）の位置を前記過去の画像（３００ａ）に基づいて推定するステップと、
前記現在の画像（３００ｂ）内の前記推定位置で前記カーブミラー（３０４ｂ）を検出するステップと、
を含むことを特徴とする、請求項１に記載の方法。
前記過去の画像（３００ａ）中の前記カーブミラー（３０２ａ、３０４ａ）のひとつひとつについて、
前記現在の画像（３００ｂ）中の前記カーブミラー（３０４ｂ）の位置を前記過去の画像（３００ａ）に基づいて推定するステップと、
前記現在の画像（３００ｂ）内の前記推定位置で前記カーブミラー（３０４ｂ）を検出するステップと、
を含むことを特徴とする、請求項１に記載の方法。
【請求項3】
前記カーブミラー（３０４ｂ）の前記位置を推定するステップは、オプティカルフローアルゴリズムを適用するステップを含むことを特徴とする、請求項２に記載の方法。
【請求項4】
前記オプティカルフローアルゴリズムは、
前記過去の画像（３００ａ）内の前記カーブミラー（３０４ａ）の特徴点（３０６ａ、３０８ａ）を抽出するステップと、
前記現在の画像（３００ｂ）内で前記特徴点（３０６ｂ、３０８ｂ）を識別するステップと、
前記現在の画像内の関心対象領域（３１０）を前記現在の画像（３００ｂ）内の前記特徴点（３０６ｂ、３０８ｂ）の前記位置に基づいて取得するステップと、
を含むことを特徴とする、請求項３に記載の方法。
前記過去の画像（３００ａ）内の前記カーブミラー（３０４ａ）の特徴点（３０６ａ、３０８ａ）を抽出するステップと、
前記現在の画像（３００ｂ）内で前記特徴点（３０６ｂ、３０８ｂ）を識別するステップと、
前記現在の画像内の関心対象領域（３１０）を前記現在の画像（３００ｂ）内の前記特徴点（３０６ｂ、３０８ｂ）の前記位置に基づいて取得するステップと、
を含むことを特徴とする、請求項３に記載の方法。
【請求項5】
前記現在の画像（３００ｂ）内の前記推定位置において前記カーブミラー（３０４ｂ）を検出するステップは、前記関心対象領域（３１０）においてテンプレートマッチングアルゴリズムを適用するステップを含むことを特徴とする、請求項４に記載の方法。
【請求項6】
前記テンプレートマッチングアルゴリズムを適用するステップは、
前記過去の画像（３００ａ）から、前記過去の画像（３００ａ）中の前記検出されたカーブミラー（３０４ａ）を表すピクセル情報をテンプレートピクセル情報として抽出するステップと、
前記現在の画像（３００ｂ）内の前記関心対象領域（３１０）の中の前記カーブミラー（３０４ｂ）を前記テンプレートピクセル情報に基づいて検出するステップと、
を含むことを特徴とする、請求項５に記載の方法。
前記過去の画像（３００ａ）から、前記過去の画像（３００ａ）中の前記検出されたカーブミラー（３０４ａ）を表すピクセル情報をテンプレートピクセル情報として抽出するステップと、
前記現在の画像（３００ｂ）内の前記関心対象領域（３１０）の中の前記カーブミラー（３０４ｂ）を前記テンプレートピクセル情報に基づいて検出するステップと、
を含むことを特徴とする、請求項５に記載の方法。
【請求項7】
前記カーブミラー（３０４ｂ）は前記関心対象領域（３１０）において、前記関心対象領域内のピクセル情報が前記テンプレートピクセル情報のそれらとマッチした場合に検出されることを特徴とする、請求項６に記載の方法。
【請求項8】
前記１つ又は複数のカーブミラーを拡張するステップは、
前記１つ又は複数の外挿法により推定されたカーブミラーが前記機械学習物体検出アルゴリズムから前記現在の画像（３００ｂ）中で検出されない場合、前記外挿法により推定されたカーブミラー（３０４ｂ）を前記現在の画像中で検出されたカーブミラーとみなすステップ
を含むことを特徴とする、請求項１～７の何れか１項に記載の方法。
前記１つ又は複数の外挿法により推定されたカーブミラーが前記機械学習物体検出アルゴリズムから前記現在の画像（３００ｂ）中で検出されない場合、前記外挿法により推定されたカーブミラー（３０４ｂ）を前記現在の画像中で検出されたカーブミラーとみなすステップ
を含むことを特徴とする、請求項１～７の何れか１項に記載の方法。
【請求項9】
前記過去の画像（３００ａ）と現在の画像（３００ｂ）はビデオの画像フレームであることを特徴とする、請求項１又は２に記載の方法。
【請求項10】
現在の画像（３００ｂ）中のカーブミラー（３０２、３０４）を検出するためのシステム（１００）において、
前記現在の画像（３００ｂ）と過去の画像（３００ａ）を捕捉するための画像捕捉装置（１０２）と、
前記画像捕捉装置（１０２）に連結され、前記現在の画像（３００ｂ）及び過去の画像（３００ａ）を受信するように構成された処理ユニット（１０４）と、を含み、
前記処理ユニット（１０４）はさらに、
前記現在の画像（３００ｂ）に機械学習物体検出アルゴリズムを適用して、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出し、
１つ又は複数のカーブミラー（３０２ａ、３０２ｂ）を含む過去の画像（３００ａ）から、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を外挿法により推定し、
前記機械学習アルゴリズムにより検出された前記１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を、前記過去の画像（３００ａ）から外挿法により推定された前記１つ又は複数のカーブミラーで拡張する
ように構成されることを特徴とするシステム（１００）。
前記現在の画像（３００ｂ）と過去の画像（３００ａ）を捕捉するための画像捕捉装置（１０２）と、
前記画像捕捉装置（１０２）に連結され、前記現在の画像（３００ｂ）及び過去の画像（３００ａ）を受信するように構成された処理ユニット（１０４）と、を含み、
前記処理ユニット（１０４）はさらに、
前記現在の画像（３００ｂ）に機械学習物体検出アルゴリズムを適用して、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出し、
１つ又は複数のカーブミラー（３０２ａ、３０２ｂ）を含む過去の画像（３００ａ）から、前記現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を外挿法により推定し、
前記機械学習アルゴリズムにより検出された前記１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を、前記過去の画像（３００ａ）から外挿法により推定された前記１つ又は複数のカーブミラーで拡張する
ように構成されることを特徴とするシステム（１００）。
【請求項11】
前記過去の画像（３００ａ）から１つ又は複数のカーブミラーを外挿法により推定するために、前記処理ユニット（１０４）はさらに、
前記過去の画像（３００ａ）中の前記カーブミラー（３０２ａ、３０４ａ）のひとつひとつについて、
前記現在の画像（３００ｂ）内の前記カーブミラー（３０４ｂ）の位置を前記過去の画像（３００ａ）に基づいて推定し、
前記現在の画像（３００ｂ）内の前記推定位置において前記カーブミラー（３０４ｂ）を検出する
ように構成されることを特徴とする、請求項１０に記載のシステム（１００）。
前記過去の画像（３００ａ）中の前記カーブミラー（３０２ａ、３０４ａ）のひとつひとつについて、
前記現在の画像（３００ｂ）内の前記カーブミラー（３０４ｂ）の位置を前記過去の画像（３００ａ）に基づいて推定し、
前記現在の画像（３００ｂ）内の前記推定位置において前記カーブミラー（３０４ｂ）を検出する
ように構成されることを特徴とする、請求項１０に記載のシステム（１００）。
【請求項12】
前記カーブミラーの前記位置を推定するために、前記処理ユニット（１０４）はさらに、
前記過去の画像（３００ａ）内の前記カーブミラー（３０２ａ、３０４ａ）の特徴点（３０６ａ、３０８ａ）を抽出するステップと、
前記現在の画像（３００ｂ）内で前記特徴点（３０６ｂ、３０８ｂ）を識別するステップと、
前記現在の画像（３００ｂ）内の関心対象領域（３１０）を前記現在の画像（３００ｂ）内の前記特徴点（３０６ｂ、３０８ｂ）の前記位置に基づいて取得するステップと、
を含むオプティカルフローアルゴリズムを適用するように構成されることを特徴とする、請求項１１に記載のシステム（１００）。
前記過去の画像（３００ａ）内の前記カーブミラー（３０２ａ、３０４ａ）の特徴点（３０６ａ、３０８ａ）を抽出するステップと、
前記現在の画像（３００ｂ）内で前記特徴点（３０６ｂ、３０８ｂ）を識別するステップと、
前記現在の画像（３００ｂ）内の関心対象領域（３１０）を前記現在の画像（３００ｂ）内の前記特徴点（３０６ｂ、３０８ｂ）の前記位置に基づいて取得するステップと、
を含むオプティカルフローアルゴリズムを適用するように構成されることを特徴とする、請求項１１に記載のシステム（１００）。
【請求項13】
前記現在の画像（３００ｂ）内の前記推定位置において前記カーブミラーを検出するために、前記処理ユニット（１０４）はさらに、
前記過去の画像（３００ａ）から、前記過去の画像（３００ａ）中で検出された前記カーブミラー（３０４ａ）を表すピクセル情報をテンプレートピクセル情報として抽出するステップと、
前記現在の画像（３００ｂ）内の前記関心対象領域（３１０）内で前記カーブミラー（３０４ｂ）を前記テンプレートピクセル情報に基づいて検出するステップと、
を含むテンプレートマッチングアルゴリズムを適用するように構成されることを特徴とする、請求項１２に記載のシステム（１００）。
前記過去の画像（３００ａ）から、前記過去の画像（３００ａ）中で検出された前記カーブミラー（３０４ａ）を表すピクセル情報をテンプレートピクセル情報として抽出するステップと、
前記現在の画像（３００ｂ）内の前記関心対象領域（３１０）内で前記カーブミラー（３０４ｂ）を前記テンプレートピクセル情報に基づいて検出するステップと、
を含むテンプレートマッチングアルゴリズムを適用するように構成されることを特徴とする、請求項１２に記載のシステム（１００）。
【請求項14】
前記１つ又は複数のカーブミラーを拡張するために、前記処理ユニット（１０４）はさらに、
前記１つ又は複数の外挿法により推定されたカーブミラー（３０４ｂ）が前記機械学習物体検出アルゴリズムから前記現在の画像（３００ａ）中で検出されない場合に、前記外挿法により推定されたカーブミラーを前記現在の画像（３００ｂ）中で検出されたカーブミラー（３０４ｂ）とみなすように構成されることを特徴とする、請求項１０～１３の何れか１項に記載のシステム（１００）。
前記１つ又は複数の外挿法により推定されたカーブミラー（３０４ｂ）が前記機械学習物体検出アルゴリズムから前記現在の画像（３００ａ）中で検出されない場合に、前記外挿法により推定されたカーブミラーを前記現在の画像（３００ｂ）中で検出されたカーブミラー（３０４ｂ）とみなすように構成されることを特徴とする、請求項１０～１３の何れか１項に記載のシステム（１００）。
【請求項15】
ソフトウェア命令がその上に記憶されたコンピュータ可読記憶媒体において、前記ソフトウェア命令は、システムの処理ユニットにより実行されると、前記処理ユニットに請求項１又は２に記載の現在の画像（３００ｂ）中の１つ又は複数のカーブミラー（３０２ｂ、３０４ｂ）を検出する方法を実行させることを特徴とするコンピュータ可読記憶媒体。
【外国語明細書】