▶ コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024075503
(43)【公開日】2024-06-03
(54)【発明の名称】画像中のカーブミラーを検出するシステム及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240527BHJP
G06V 20/58 20220101ALI20240527BHJP
G06V 10/82 20220101ALI20240527BHJP
【ＦＩ】
G06T7/00 350C
G06V20/58
G06V10/82
G06T7/00 650Z
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023195726
(22)【出願日】2023-11-17
(31)【優先権主張番号】2217405.6
(32)【優先日】2022-11-22
(33)【優先権主張国・地域又は機関】GB
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】322007626
【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【弁理士】
【氏名又は名称】中村 真介
(74)【代理人】
【識別番号】100221981
【弁理士】
【氏名又は名称】石田 大成
(74)【代理人】
【識別番号】100191938
【弁理士】
【氏名又は名称】高原 昭典
(72)【発明者】
【氏名】松▲ざき▼ 雄司
(72)【発明者】
【氏名】新井 直樹
(72)【発明者】
【氏名】大川 一也
(72)【発明者】
【氏名】板垣 紀章
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA04
5L096CA04
5L096DA03
5L096EA03
5L096FA04
5L096FA16
5L096FA62
5L096FA64
5L096FA66
5L096FA69
5L096GA41
5L096GA51
5L096HA11
5L096KA04
5L096MA07
(57)【要約】
【課題】画像中のカーブミラーを検出するためのシステム及び方法を提供する。
【解決手段】画像中のカーブミラー（８１４）を検出するシステム及びコンピュータ実装方法が提供され、方法が、画像（８０２）に機械学習アルゴリズムを適用して画像（８０２）中のカーブミラー候補（８００）を識別するステップと、識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するステップと、を含むことを特徴とする。
【選択図】図１
【解決手段】画像中のカーブミラー（８１４）を検出するシステム及びコンピュータ実装方法が提供され、方法が、画像（８０２）に機械学習アルゴリズムを適用して画像（８０２）中のカーブミラー候補（８００）を識別するステップと、識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するステップと、を含むことを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像（８０２）中のカーブミラー（８１４）を検出するコンピュータ実装方法であって、
前記画像（８０２）に機械学習アルゴリズムを適用して、前記画像（８０２）中のカーブミラー候補（８００）を識別するステップと、
前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するステップと
を含むことを特徴とするコンピュータ実装方法。
前記画像（８０２）に機械学習アルゴリズムを適用して、前記画像（８０２）中のカーブミラー候補（８００）を識別するステップと、
前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するステップと
を含むことを特徴とするコンピュータ実装方法。
【請求項2】
前記異常検出アルゴリズムは、Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＤＡＧＭＭ）に基づく、請求項１に記載の方法。
【請求項3】
前記カーブミラー候補（８００）は、それが交通標識（８２０）であり得ない場合に、カーブミラー（８１４）として確認される、請求項１又は２に記載の方法。
【請求項4】
前記異常検出アルゴリズムは、
前記カーブミラー候補（８００）に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ（８１２）上の点（８０８、８１０）を取得するステップであって、前記点（８０８、８１０）は前記変換マップ（８１２）上の前記カーブミラー候補（８００）を表すステップと、
前記点（８０８、８１０）が前記変換マップ（８１２）上の交通標識（８２０）を表すクラスタ（８１６、８１８）からの閾値距離を超えていれば、前記カーブミラー候補（８００）をカーブミラー（８１４）として確認するステップと
を含む、請求項１～３の何れか１項に記載の方法。
前記カーブミラー候補（８００）に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ（８１２）上の点（８０８、８１０）を取得するステップであって、前記点（８０８、８１０）は前記変換マップ（８１２）上の前記カーブミラー候補（８００）を表すステップと、
前記点（８０８、８１０）が前記変換マップ（８１２）上の交通標識（８２０）を表すクラスタ（８１６、８１８）からの閾値距離を超えていれば、前記カーブミラー候補（８００）をカーブミラー（８１４）として確認するステップと
を含む、請求項１～３の何れか１項に記載の方法。
【請求項5】
交通標識（８２０）を表す複数のクラスタ（８１６、８１８）があり、前記カーブミラー候補（８００）は、前記点（８０８、８１０）が前記クラスタ（８１６、８１８）の各々からの閾値距離を超えていれば、カーブミラー（８１４）であると確認される、請求項４に記載の方法。
【請求項6】
前記機械学習アルゴリズムは、カーブミラーについて最適化されたパラメータを有するバウンディングボックスを使って訓練される、請求項１～５の何れか１項に記載の方法。
【請求項7】
前記カーブミラーについて最適化された前記パラメータは、バウンディングボックスの高さ、前記バウンディングボックスの幅、前記バウンディングボックスの中心点の横座標、前記バウンディングボックスの前記中心点の縦座標、及び前記バウンディングボックスの高さ対重さ比を含む、請求項６に記載の方法。
【請求項8】
画像捕捉装置（１０２）を使って前記画像（８０２）を取得するステップをさらに含む、請求項１～７の何れか１項に記載の方法。
【請求項9】
前記画像（８０２）を取得する前記ステップは、異なる時間インスタンスにわたり複数の画像を取得するステップを含む、請求項８に記載の方法。
【請求項10】
前記画像はリアルタイム画像である、請求項１～９の何れか１項に記載の方法。
【請求項11】
画像（８０２）中のカーブミラー（８１４）を検出するためのシステム（１００）であって、
画像捕捉装置（１０２）と、
前記画像捕捉装置（１０２）に連結された電子制御ユニット（１０４）と
を含み、
前記画像捕捉装置（１０２）は前記画像（８０２）を取得するように構成され、
前記電子制御ユニット（１０４）は前記画像（８０２）に機械学習アルゴリズムを適用して前記画像（８０２）中のカーブミラー候補（８００）を識別し、前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するように構成される
ことを特徴とするシステム。
画像捕捉装置（１０２）と、
前記画像捕捉装置（１０２）に連結された電子制御ユニット（１０４）と
を含み、
前記画像捕捉装置（１０２）は前記画像（８０２）を取得するように構成され、
前記電子制御ユニット（１０４）は前記画像（８０２）に機械学習アルゴリズムを適用して前記画像（８０２）中のカーブミラー候補（８００）を識別し、前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するように構成される
ことを特徴とするシステム。
【請求項12】
前記異常検出アルゴリズムは、Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＤＡＧＭＭ）に基づく、請求項１１に記載のシステム。
【請求項13】
前記カーブミラー候補（８００）は、それが交通標識（８２０）であり得ない場合にカーブミラー（８１４）として確認される、請求項１１又は１２に記載のシステム。
【請求項14】
前記異常検出アルゴリズムは、
前記カーブミラー候補（８００）に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ（８１２）上の点（８０８、８１０）を取得するステップであって、前記点（８０８、８１０）は前記変換マップ（８１２）上の前記カーブミラー候補（８００）を表すステップと、
前記点（８０８、８１０）が前記変換マップ（８１２）上の交通標識（８２０）を表すクラスタ（８１６、８１８）からの閾値距離を超えていれば、前記カーブミラー候補（８００）をカーブミラー（８１４）として確認するステップと
を含む、請求項１１～１３の何れか１項に記載のシステム。
前記カーブミラー候補（８００）に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ（８１２）上の点（８０８、８１０）を取得するステップであって、前記点（８０８、８１０）は前記変換マップ（８１２）上の前記カーブミラー候補（８００）を表すステップと、
前記点（８０８、８１０）が前記変換マップ（８１２）上の交通標識（８２０）を表すクラスタ（８１６、８１８）からの閾値距離を超えていれば、前記カーブミラー候補（８００）をカーブミラー（８１４）として確認するステップと
を含む、請求項１１～１３の何れか１項に記載のシステム。
【請求項15】
画像（８０２）中のカーブミラー（８１４）を検出するためのコンピュータ実装方法を実行するようにシステムの処理ユニットに命令するための命令が記憶されたコンピュータ可読記憶媒体であって、前記方法は、
前記画像（８０２）に機械学習アルゴリズムを適用して、前記画像（８０２）中のカーブミラー候補（８００）を識別するステップと、
前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するステップと
を含むことを特徴とするコンピュータ可読記憶媒体。
前記画像（８０２）に機械学習アルゴリズムを適用して、前記画像（８０２）中のカーブミラー候補（８００）を識別するステップと、
前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するステップと
を含むことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、広く、画像中のカーブミラーを検出するシステム及びコンピュータ実装方法に関する。
【背景技術】
【0002】
道路交通事故は、道路交差点及びその周辺、及び例えば急カーブのあるような道路上の地点で発生しがちであり、これは、車両にとって異なる方向からの往来が見にくいことによる。特に、信号機のない交差点での事故発生件数は一般に、信号機のある場所より多い。
【0003】
交差点、特に信号機のない交差点での事故発生件数を減らすために、道路安全ミラー、例えばカーブミラーが、典型的に交差点及び例えば急カーブのある道路上の地点に設置される。このようなカーブミラーによって、車両はこれらの交差点や地点に存在する死角スポット等が見える状態になり得、それによって道路の使用者は安全であることを確認し、事故の発生を回避又は削減することが可能となる。当然のことながら、カーブミラーは自動車の外部にある。
【0004】
道路上の、例えば交差点及び急カーブ等のある地点のカーブミラーを検出するために、画像捕捉装置、例えばビデオカメラを車両に提供することが提案されている。カーブミラーの検出は、死角スポット検出の重要な役割を果たす。
【0005】
既存の先進運転支援システム（ＡＤＡＳ：Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の改良が望ましいことが認識されている。特に、ＡＤＡＳで使用するためのリアルタイムのカーブミラー認識に適合するために、既存の物体認識技術を向上させることができる。
【0006】
例えば、既存のＡＤＡＳは、カーブミラーをリアルタイムで素早く検出することができない。さらに、既存のシステムの精度にも問題があり、これは、検出される多くのカーブミラーが偽陽性の検出であるからである。カーブミラーの正確な検出は、カーブミラーが、単にそれが存在する場所の周囲の画像を反射するだけであり、何れの決まったパターンも持たないため、困難である。
【0007】
さらに、本発明者らは、カーブミラー検出の計算速度もまた衝突のリスク予測に影響を与え得ることに気付いた。計算負荷は検出システムが複雑化するのに伴って増大するため、カーブミラー検出の計算速度はより低速となる傾向がある。発生し得る１つの問題は、現行のカーブミラー検出では、カーブミラーが検出されるまでにかなりの長さの時間がかかり得ることである。
【先行技術文献】
【非特許文献】
【0008】
【非特許文献1】Ｒｅｄｍｏｎ，Ｊｏｓｅｐｈ＆Ｆａｒｈａｄｉ，Ａｌｉ．（２０１８）．Ｙｏｌｏｖ３：Ａｎ Ｉｎｃｒｅｍｅｎｔａｌ Ｉｍｐｒｏｖｅｍｅｎｔ
【非特許文献2】Ａｍｍａｒ Ａ，Ｋｏｕｂａａ Ａ，Ａｈｍｅｄ Ｍ，Ｓａａｄ Ａ，Ｂｅｎｊｄｉｒａ Ｂ．Ｖｅｈｉｃｌｅ Ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ Ａｅｒｉａｌ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ：Ａ Ｃｏｍｐａｒａｔｉｖｅ Ｓｔｕｄｙ．Ｅｌｅｃｔｒｏｎｉｃｓ．２０２１：１０（７）：８２０
【非特許文献3】Ｚｏｎｇ．Ｂ．，Ｓｏｎｇ．Ｑ．，Ｍｉｎ．Ｍ．，Ｃｈｅｎｇ．Ｗ．，Ｌｕｍｅｚａｎｕ，Ｃ．，Ｃｈｏ．Ｄ．，＆Ｃｈｅｎ．Ｈ．（２０１８）．Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｉｎｇ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ ｆｏｒ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ．ＩＣＬＲ
【発明の概要】
【発明が解決しようとする課題】
【0009】
それゆえ、上述の問題のうちの１つに対処するか、少なくともそれを改善しようとする、画像中のカーブミラーを検出するシステム及びコンピュータ実装方法が求められている。
【課題を解決するための手段】
【0010】
本開示の一態様によれば、画像中のカーブミラーを検出するコンピュータ実装方法が提供され、これは、画像に機械学習アルゴリズムを適用して、画像中のカーブミラー候補を識別するステップと、識別されたカーブミラー候補に異常検出アルゴリズムを適用して、そのカーブミラー候補がカーブミラーであるか否かを確認するステップと、を含むことを特徴とする。
【0011】
本明細書で開示される方法の異常検出アルゴリズムは、Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＤＡＧＭＭ）に基づき得る。
【0012】
本明細書で開示される方法のカーブミラー候補は、それが交通標識であり得ない場合に、カーブミラーとして確認され得る。
【0013】
本明細書で開示される方法の異常検出アルゴリズムは、カーブミラー候補に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ上の点を取得するステップであって、前記点は変換マップ上のカーブミラー候補を表すステップと、その点が変換マップ上の交通標識を表すクラスタからの閾値距離を超えていれば、カーブミラー候補をカーブミラーとして確認するステップと、を含み得る。
【0014】
交通標識を表す複数のクラスタがあり得、カーブミラー候補は、その点がクラスタの各々からの閾値距離を超えていれば、カーブミラーであると確認される。
【0015】
機械学習アルゴリズムは、カーブミラーについて最適化されたパラメータを有するバウンディングボックスを使って訓練され得る。
【0016】
カーブミラーについて最適化されたパラメータは、バウンディングボックスの高さ、バウンディングボックスの幅、バウンディングボックスの中心点の横座標、バウンディングボックスの中心点の縦座標、及びバウンディングボックスの高さ対重さ比を含み得る。
【0017】
方法は、画像捕捉装置を使って画像を取得するステップをさらに含み得る。
【0018】
画像を取得するステップは、異なる時間インスタンスにわたり複数の画像を取得するステップを含み得る。
【0019】
画像はリアルタイム画像であり得る。
【0020】
本開示の別の態様によれば、画像中のカーブミラーを検出するためのシステムが提供され、システムは、画像捕捉装置と、画像捕捉装置に連結された電子制御ユニットと、を含み、画像捕捉装置は画像を取得するように構成され、電子制御ユニットは画像に機械学習アルゴリズムを適用して画像中のカーブミラー候補を識別し、識別されたカーブミラー候補に異常検出アルゴリズムを適用して、カーブミラー候補がカーブミラーであるか否かを確認するように構成されることを特徴とする。
【0021】
本明細書で開示されるシステムの異常検出アルゴリズムは、Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＤＡＧＭＭ）に基づき得る。
【0022】
本明細書で開示されるシステムのカーブミラー候補は、それが交通標識であり得ない場合にカーブミラーとして確認され得る。
【0023】
本明細書で開示されるシステムの異常検出アルゴリズムは、そのカーブミラー候補に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ上の点を取得するステップであって、前記点は変換マップ上のカーブミラー候補を表すステップと、その点が変換マップ上の交通標識を表すクラスタからの閾値距離を超えていれば、そのカーブミラー候補をカーブミラーとして確認するステップと、を含み得る。
【0024】
本開示の別の態様によれば、画像中のカーブミラーを検出するためのコンピュータ実装方法を実行するようにシステムの処理ユニットに命令するための命令が記憶されたコンピュータ可読記憶媒体が提供され、方法は、画像に機械学習アルゴリズムを適用して、画像中のカーブミラー候補を識別するステップと、識別されたカーブミラー候補に異常検出アルゴリズムを適用して、そのカーブミラー候補がカーブミラーであるか否かを確認するステップと、を含むことを特徴とする。
【0025】
本発明の例示的実施形態は、例にすぎない、下記のような図面に関する以下の説明文からよりよく理解され、当業者にとって容易に明らかになるであろう。
【図面の簡単な説明】
【0026】
【図1】例示的実施形態における画像中のカーブミラーを検出するためのシステムを説明するための概略ブロック図である。
【図2】例示的実施形態における画像中のカーブミラーを検出するコンピュータ実装方法を説明するための概略的フローチャートである。
【図3】例示的実施形態における機械学習アルゴリズムを使って道路安全ミラー、例えばカーブミラーを検出するためのデータセット作成を説明するための一連の画像を示す。
【図4】例示的実施形態における道路安全ミラー検出の確認結果の１つのフレームショットである。
【図5】例示的実施形態により検出される道路安全ミラーの形態の真陽性画像の例を表す一連の画像を示す。
【図6】例示的実施形態により検出される道路交通標識の形態の偽陽性画像の例を表す一連の画像を示す。
【図7】例示的実施形態における画像中で識別されたカーブミラー候補のデータポイントを含む変換マップである。
【図8】例示的実施形態における改良された異常検出方法を説明する略図である。
【図9】例示的実施形態における改良された異常検出方法の有効性を示す写真である。
【図10】例示的実施形態におけるＴ字路での道路安全ミラー検出を示す略図と写真である。
【図11】例示的実施形態におけるモデル学習のためのデフォルトボックスの寸法に関するカーブミラーの寸法を示すチャートである。
【図12】例示的実施形態の実装に適したコンピュータシステムの略図である。
【発明を実施するための形態】
【0027】
例示的な非限定の実施形態は、画像中の道路安全ミラー、例えばカーブミラーを検出するシステム及びコンピュータ実装方法を提供し得る。
【0028】
各種の実施形態において、「カーブミラー」という用語は、本明細書で使用されるかぎり、湾曲した反射面を有するミラーを広く意味する。各種の実施形態において、カーブミラーは曲面鏡部分を含む。各種の実施形態において、表面は凸（すなわち、外側に出っ張る）面である。各種の実施形態において、カーブミラーは凸面鏡である。
【0029】
各種の実施形態において、「画像」又は「画像データ」という用語は、本明細書で使用されるかぎり、使用者が見えるようにレンダリングできるあらゆるコンテンツ又はデータを広く意味する。各種の実施形態において、画像又は画像データはコンピュータ可読データを含む。各種の実施形態において、画像又は画像データは、コンピュータ可読データに変換され得る。各種の実施形態において、画像又は画像データは、本明細書で開示されるシステム及び方法のコンポーネントにより使用されるのに適当な、又は両立するフォーマットに変換され得る。例えば、画像又は画像データは、ビデオからのあるフレーム、ビデオからのそのフレームの一部、静止画像、静止画像の一部、又はその他であり得る。
【0030】
図１は、例示的実施形態における画像中のカーブミラーを検出するためのシステム１００を説明するための概略ブロック図である。システム１００は、車両に搭載される。システム１００は、画像捕捉装置１０２と、画像捕捉装置１０２に連結された処理ユニット１０４を含む。
【0031】
例示的実施形態において、画像捕捉装置１０２は画像を取得するように構成される。車両の画像捕捉装置１０２は、車両本体の前方のバックミラーの付近に、又は車両のフロントグリルに配置されるカメラ又はビデオカメラであり得る。画像捕捉装置１０２は、その画像捕捉エリアが車両の前方に向かって所定の角度にあるように配置される。
【0032】
例示的実施形態において、処理ユニット１０４はシステム１００のコンポーネントの機能を制御するように構成され得る。例示的実施形態において、処理ユニット１０４、例えば車両の電子制御ユニット（ＥＣＵ）は、画像に機械学習アルゴリズムを適用して、画像中のカーブミラー候補を識別し、識別されたカーブミラー候補に異常検出アルゴリズムを適用して、そのカーブミラー候補がカーブミラーであるか否かを確認するように構成される。
【0033】
例示的実施形態において、異常検出アルゴリズムはＤｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＤＡＧＭＭ）に基づき得る。異常検出アルゴリズムは、カーブミラー候補を、それが道路標識であり得ない場合にカーブミラーであると確認するように構成され得る。例えば、異常検出アルゴリズムは、カーブミラー候補に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ上の点、例えばデータポイントを取得するステップであって、前記点は変換マップ上のカーブミラー候補を表すステップと、その点が変換マップ上の交通標識を表すクラスタからの閾値の距離を超えている場合に、カーブミラー候補をカーブミラーとして確認するステップと、を含み得る。例示的実施形態において、交通標識を表す点の複数のクラスタがあり得る。カーブミラー候補は、その点がクラスタの各々からの閾値距離を超えていれば、カーブミラーとして確認される。
【0034】
例示的実施形態において、処理ユニット１０４はさらに物体検出ユニット１０６に連結され得て、物体検出ユニット１０６はさらに動作ユニット１０８に連結され得る。物体検出ユニット１０６は、処理ユニット１０４により検出されるカーブミラーについて物体検出を実行するように構成され得る。動作ユニット１０８は、物体検出ユニット１０６から１つ又は複数の命令を受け取るように構成され得て、例えば、これに限定されないが、車両の制動機能を作動させる、及び／又は車両の使用者に対する警告システムを作動させる、及び／又はステアリング制御を行うか、又はいかなる動作も行わないように構成され得る。
【0035】
動作中、十字路又は交差点が画像捕捉装置１０２により識別され得る。幾つかの例示的実施形態において、マップ情報は処理ユニット１０４に提供され得て、処理ユニット１０４はこのマップ情報を使って、例えばマップを全地球測位システム（ＧＰＳ）座標とマッチさせて、十字路又は交差点を識別し得る。このような十字路又は交差点で、処理ユニット１０４は画像捕捉装置１０２により捕捉された画像に機械学習アルゴリズムを適用して画像中のカーブミラー候補を識別し、その後、識別されたカーブミラー候補に異常検出アルゴリズムを適用して、そのカーブミラー候補がカーブミラーであるか否かを確認する。
【0036】
図２は、例示的な実施形態における、画像中のカーブミラーを検出するコンピュータ実装方法を説明するための概略的フローチャート２００である。ステップ２０２で、機械学習アルゴリズムが画像に適用されて、画像中のカーブミラー候補が識別される。ステップ２０４で、異常検出アルゴリズムが、識別されたカーブミラー候補に適用されて、カーブミラー候補がカーブミラーであるか否かが確認される。画像中のカーブミラーを検出する方法は、図１のシステム１００を使って実装され得る。例えば、画像中のカーブミラー候補の識別と確認は処理ユニット１０４によって行われ得る。
【0037】
例示的実施形態において、方法は、画像捕捉装置を使って画像を取得／獲得するステップをさらに含み得る。画像捕捉装置はカメラ又はビデオカメラであり得る。画像捕捉装置は車両に搭載され得て、車両本体の前方のバックミラーの付近に、又は車両のフロントグリルに配置される。画像を取得するステップは、車両の前方に向かう前方視画像を取得することを含み得る。画像を取得するステップは、異なる時間インスタンスにわたる複数の画像を取得することを含み得る。例えば、異なる時間インスタンスにわたる複数の画像は、ビデオからの時間連続的な一連のフレームであり得、各フレームは特定の時間インスタンスで捕捉された画像を表す。画像は、リアルタイム画像であり得る。画像は、リアルタイムビデオから得られたフレームであり得る。
【0038】
例示的実施形態において、画像中にカーブミラー候補がまったく識別されないことがある。例示的実施形態において、画像中で１つ又は複数カーブミラー候補が識別され得る。例示的実施形態において、画像中で識別された１つ又は複数のカーブミラー候補から、カーブミラーがまったく確認されないことがある。例示的実施形態において、画像中で識別された１つ又は複数のカーブミラー候補から、１つ又は複数のカーブミラーが確認され得る。
【0039】
例示的実施形態において、機械学習アルゴリズムはリアルタイム物体検出システムであり得る。リアルタイム物体検出システムは、画像が一度だけ解析されるワンパス物体検出システムであり得る。リアルタイム物体検出システムは、Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）ｖ３システムであり得る。例示的実施形態において、機械学習アルゴリズムは、カーブミラーについて最適化されたパラメータのバウンディングボックスを使って訓練され得る。カーブミラーについて最適化されたパラメータは、バウンディングボックスの高さ、バウンディングボックスの幅、バウンディングボックスの中心点の横座標、バウンディングボックスの中心点の縦座標、及びバウンディングボックスの高さ対重さ比を含み得る。
【0040】
例示的実施形態において、異常検出アルゴリズムは、カーブミラー候補が交通標識ではない可能性に基づき得る。異常検出アルゴリズムは、Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＤＡＧＭＭ）に基づき得る。例示的実施形態において、異常検出アルゴリズムは、カーブミラー候補に関連付けられる画像データに自己符号化器の機能を適用して候補を異なるドメインに変換し、変換マップ上の点を取得するステップであって、前記点は変換マップ上のカーブミラー候補を表すステップと、その点が変換マップ上の交通標識を表すクラスタからの閾値距離を超えていれば、そのカーブミラー候補をカーブミラーであると確認するステップと、を含み得る。例示的実施形態において、交通標識を表す点の複数のクラスタがあり得る。カーブミラー候補は、その点がクラスタの各々からの閾値距離を超えていれば、カーブミラーとして確認される。
【0041】
図３Ａ～図３Ｃは、例示的実施形態における機械学習アルゴリズムを使用する道路安全ミラー、例えばカーブミラー検出のためのデータセット作成を説明するための一連の画像を示す。例示的実施形態において、道路安全ミラー検出に使用される機械学習アルゴリズムは、Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）ｖ３として知られるリアルタイム物体検出システムに基づく。例示的実施形態では、２０１９年時点での最新版が選択されている。
【0042】
図３Ａは、画像捕捉装置により捕捉された原画像を、その元のピクセルサイズで示す。学習データのために、高解像度ピクセル画像（ほぼ、約１２００万画素）が使用され得る。図３Ａに示されるように、道路安全ミラーの関心対象領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）情報は原画像内に含まれる。ＲＯＩとは、標的物体、すなわち道路安全ミラーのエリアが図３Ａにおいて枠３０２で囲まれている関心対象領域を意味する。図３Ｂは、図３Ａ原画像からスケールダウンされた所定の縮小ピクセルサイズ画像を示す。図３Ｃは、学習用データセットに使用されることになるＬ＊ａ＊ｂ＊色空間内の画像を示す。図３Ｃは、図３Ｂの所定の縮小ピクセルサイズ画像から変換される。
【0043】
例示的実施形態において、図３Ａの原画像は図３Ｂの所定の縮小ピクセルサイズにスケーリングされ、図３ＣのＬ＊ａ＊ｂ＊画像に変換される。当業者であれば分かるように、ＲＧＢ色空間は赤、緑、青色に基づく。Ｌ＊ａ＊ｂ＊色空間では、大文字Ｌ＊が輝度を意味し、小文字ａ＊、ｂ＊が補色を意味する。本発明者らはＬ＊ａ＊ｂ＊色空間が人間の視覚に近いようであることに気付いた。ＲＧＢ色空間では、明るさの状況に応じて色域を区別しにくい場合がある。他方で、Ｌ＊ａ＊ｂ＊色空間では人間の眼のように色領域を区別することが可能であり得る。それゆえ、例示的実施形態において、原画像は、ＹＯＬＯｖ３深層学習法の入力として使用するためにＬ＊ａ＊ｂ＊色空間に変換される。
【0044】
図４は、例示的実施形態における道路安全ミラー検出の確認結果の、１つのフレームショットである。本明細書で開示されるシステムと方法の例示的実施形態を使って、公道走行試験を行った。例示的実装では、低解像度カメラ（ほぼ、約３２万画素）が画像捕捉装置として使用されており、すなわち、データ収集に使用される高解像度カメラではない。例示的実装において、ＮＶＩＤＩＡ Ｊｅｔｓｏｎ Ｘａｖｉｅｒモジュールが処理ユニット、例えばコントローラとして使用された。例示的実装により検出された道路安全ミラーは、図４に示される枠４０２及び４０４によって囲まれている。
【0045】
図５Ａ及び図５Ｂは、例示的実施形態により検出された道路安全ミラーの形態の真陽性画像の例を表す一連の画像を示す。図６Ａ～図６Ｄは、例示的実施形態により検出された道路交通標識の形態の偽陽性画像の例を表す一連の画像を示す。
【0046】
低解像度カメラ（ほぼ、約３２万画素）を使用しているにもかかわらず、結果は、表１及び式（１）に記されているように、９５％を超える高い精度を示した。
【数1】
【0047】
【表1】
【0048】
表１の結果から分かるように、道路安全ミラー検出の結果に幾分かのＦＰがある。
【0049】
【0050】
図７は、例示的実施形態における、画像中で識別されたカーブミラー候補のデータポイント、例えば７０２ａ及び７０４ａを含む変換マップ７００である。
【0051】
図７に示されるように、変換マップ７００は、第一の交通標識７０２ｂを表す第一のデータポイント７０２ａ、第二の交通標識７０４ｂを表す第二のデータポイント７０４ａ、並びに、例えば画像上で丸として示される第一のカーブミラー７０８、及び楕円として示される第二のカーブミラー７１０を表すデータポイントのクラスタ７０６を含む。変換マップ７００上の各データポイントは、カーブミラー候補に関連付けられる画像データに異常検出方法を適用することによって得られる。第一のデータポイント７０２ａ及び第二のデータポイント７０４ａは、カーブミラーを表していない偽陽性結果の例である。
【0052】
異常検出方法は、偽陽性結果の問題を克服するための対策として使用され得る。異常検出方法の例はＤｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＤＡＧＭＭ）である。Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌを使用することにより、各物体について１つのデータポイントが取得され得て、変換マップ７００上の複数の物体についてデータポイントのクラスタが取得され得る。
【0053】
しかしながら、本発明者らは、ＤＡＧＭＭ等の既存の異常検出方法を用いても、道路安全ミラーから反射される動的で一貫しない画像により、道路安全ミラーの分布を定義することは、交通標識と比較して難しいことに気付いた。典型的に一定のパターンを表示する交通標識と異なり、カーブミラーには決まったパターンがなく、それが存在する場所の周囲の画像を反射するからである。したがって、カーブミラーにより表示される一貫したパターンはない。
【0054】
真陽性結果と偽陽性結果との区別のしにくさを克服するために、本発明者らは、改良された異常検出アルゴリズムを考案した。
【0055】
図８は、例示的実装における、改良された異常検出方法を説明する概略図である。例示的実装において、改良された異常検出方法はＤＡＧＭＭに基づく。
【0056】
例示的実装において、カーブミラー候補８００が画像８０２から識別される。カーブミラー候補８００は、機械学習アルゴリズム、例えば深層学習法ＹＯＬＯｖ３を画像８０２に適用することによって検出され得る。カーブミラー候補８００は、道路交通標識（すなわち、偽陽性）又はカーブミラー（すなわち、真陽性）の何れかであり得る。画像８０２から１つ又は複数のカーブミラー候補８００が識別され得る。例えば、画像８０２中には２つのカーブミラー候補があり、これは２つの枠８０４及び８０６で表される。
【0057】
その後、改良された異常検出方法は、カーブミラー候補８００に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ８１２上のデータポイント（例えば、８０８、８１０）を取得するステップであって、データポイント（例えば、８０８、８１０）は変換マップ８１２上のカーブミラー候補８００を表すステップと、データポイント（例えば、８０８）が変換マップ８１２上の交通標識を表すクラスタからの閾値距離を超えていれば、カーブミラー候補８００をカーブミラー８１４として確認するステップと、によって実行される。
【0058】
図８に示されるように、交通標識８２０を表す複数のクラスタ（例えば、８１６、８１８）がある。クラスタ（例えば、８１６、８１８）内のデータポイントが交通標識を表す場合、そのクラスタに近いデータポイントは交通標識である可能性があるが、他方で、クラスタから遠いデータポイントは道路安全ミラー、例えばカーブミラーである可能性がある。したがって、例示的実装において、道路交通標識を表すクラスタまでのデータポイントの距離が計算される。交通標識を表すクラスタまでのデータポイントの距離が所定の閾値を超えていれば、そのカーブミラー候補は道路安全ミラーとみなされる。交通標識を表すクラスタまでのデータポイントの距離が所定の閾値内であれば、カーブミラー候補は道路安全ミラーではないとみなされる。換言すれば、カーブミラー候補８００は、データポイント、例えば８０８がクラスタ（例えは、８１６、８１８）の各々からの閾値距離を超えていれば、カーブミラー８１４として確認される。一般に、カーブミラー候補の確認に使用される閾値距離は、使用されるカメラの解像度等の要素に依存し得る。したがって、各種の例示的実装において、カーブミラー候補を確認するための閾値距離は、カーブミラーの検出の真陽性結果を最大にし、偽陽性結果を最小化するように調整され、且つ最適化され得る。
【0059】
図９Ａ及び図９Ｂは、例示的実装における改良された異常検出方法の有効性を示す写真である。図９Ａは、改良された異常検出方法、例えばＤＡＧＭＭなしで得られた動画（すなわち、フレーム／画像のシーケンス）の一部からとった画像を示す。異常検出が適用されていなかったため、この動画では３１件の偽陽性検出があった。他方で、図９Ｂは改良された異常検出方法、例えばＤＡＧＭＭありで得られた、同じ動画の一部からとった画像である。図９Ｂに示されているように、同じ動画内に偽陽性検出はなかった。したがって、本明細書で開示される改良された異常検出方法の有効性はこの動画によって証明された。
【0060】
図１０は、例示的実施形態における、Ｔ字路での道路安全ミラーの検出を示す略図及び写真である。例示的実施形態において、改良された異常検出アルゴリズムＤＡＧＭＭを適用する方法による道路安全ミラー検出は、主体の車両１０００がＴ字路に近付いた後に確認された。２つの道路安全ミラーが識別されており、これは枠１００２及び１００４により示されている。したがって、本明細書で開示されるカーブミラーを検出するシステム及び方法は、道路安全ミラー検出における偽陽性結果を減少させることにおいて有効であり、道路安全ミラーをうまく検出できることが実証された。
【0061】
図１１は、例示的実施形態におけるモデル学習のためのデフォルトボックスの寸法に関するカーブミラーの寸法を示すチャートである。例示的実施形態において、機械学習アルゴリズムは、カーブミラーについて最適化されたパラメータを有するバウンディングボックスを使って訓練され得る。カーブミラーについて最適化されたパラメータは、バウンディングボックスの高さ、バウンディングボックスの幅、バウンディングボックスの中心点の横座標、バウンディングボックスの中心点の縦座標、及びバウンディングボックスの高さ対重さ比を含み得る。
【0062】
例示的実施形態において、深層学習方式がカーブミラーの認識に利用される。モデル学習のための通常のデフォルトボックスを使用する代わりに、機械学習モデルは、通常のデフォルトボックスから最適化されたカーブミラーサイズを使用し得る。最適なミラーサイズは、画像捕捉装置、例えばカメラが公道でのカーブミラーを検出する試験結果に基づいて特定される。最適なミラーサイズは、使用されるカメラの解像度等の要素に依存し得る。したがって、各種の例示的実施形態において、ミラーサイズは相応に調整され、最適化され得る。図１１に示される例示的実施形態において、最適なミラーサイズは全体の画像サイズに関して約０．２である。従来の通常のデフォルトボックスの利用と比較して、最適化されたカーブミラーサイズを採用することによって、より長距離からのカーブミラー検出が実現可能である。例示的実施形態において、最適化されたカーブミラーサイズの使用により、同等の正確さレベルを保ちながら、２１．５ミリ秒（ｍｓ）と、より速い検出時間が実現される。機械学習モデルの例は、Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ検出器（ＳＳＤ）であり得る。
【0063】
【表2】
【0064】
最適化されたカーブミラーサイズを使用する例示的実装において、まず、十字路が画像捕捉装置であるカメラにより検出される。任意選択により、マップ情報が有益であり得る。例えば、マップ情報が提供され得て、マップ情報が全地球測位システム（ＧＰＳ）座標に対してマッチングされ、十字路又は交差点が識別される。その後、この十字路において機械学習アルゴリズムが適用され、カーブミラーエリアが識別／検出される。
【0065】
例示的実施形態において、カーブミラー候補検出のためのリアルタイム検出システムとしてＹＯＬＯｖ３が使用されると記載されている。ＹＯＬＯｖ３は、１つのニューラルネットワークを全体画像に適用するリアルタイム物体検出システムである。このネットワークは画像を領域に分割して、各領域に関するバウンディングボックス及び確率を予測する。これらのバウンディングボックスは、予測される確率により重み付けされる。ＹＯＬＯｖ３システムには、分類器に基づくシステムに比べて幾つかの利点がある。これは試験時間に全体画像を見るため、予測は通常、画像内のグローバルコンテクストに基づく。また、これは１回のネットワーク評価で予測を行うものであり、１つの画像に何千も必要とするＲ－ＣＮＮのようなシステムとは異なる。それによってきわめて高速となり、Ｒ－ＣＮＮより１０００倍超速く、高速Ｒ－ＣＮＮより１００倍速い。ＹＯＬＯｖ３に関するその他の情報は、参照により本明細書に援用される（非特許文献１）に見出し得る。ＹＯＬＯｖ３の例は、参照により本明細書に援用される（非特許文献２）に見出し得、ＹＯＬＯｖ３のアーキテクチャの例は少なくとも３．２．１項及び図２において見出し得、及び、ＹＯＬＯｖ３の訓練の例は少なくとも４．２項に見出し得る。
【0066】
ＹＯＬＯｖ３機械学習モデルの訓練に使用し得るデータセットの第一の例は、ｈｔｔｐｓ：／／ｃｏｃｏｄａｔａｓｅｔ．ｏｒｇ／＃ｈｏｍｅにおいて入手可能なＣＯＣＯデータセットであり、これは大規模物体検出、セグメンテーション、及びキャプショニングデータセットである、ＹＯＬＯｖ３機械学習モデルの訓練に使用され得るデータセットの第二の例は、ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｔｏｒｏｎｔｏ．ｅｄｕ／～ｋｒｉｚ／ｃｉｆａｒ．ｈｔｍｌにおいて入手可能なＣＩＦＡＲ－１０又はＣＩＦＡＲ－１００データセットであり、これは８０００万個の小型画像データセットのラベル付きサブセットである。他の何れの適当なデータセットも使用され得ると想定される。
【0067】
例示的実施形態において、カーブミラー候補がカーブミラーであるか否かを確認するための異常検出アルゴリズムとしてＤＡＧＭＭが使用されると記されている。ＤＡＧＭＭは深層自己符号化器を利用して各入力テータポイントに対する低次元表現及び再構成エラーを生成し、それがさらにＧａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＧＭＭ）に供給される。分離された２段階訓練及び標準的なＥｘｐｅｃｔａｔｉｏｎ－Ｍａｘｉｍｉｚａｔｉｏｎ（ＥＭ）アルゴリズムを使用する代わりに、ＤＡＧＭＭは深層自己符号化器のパラメータと混合モデルをエンドトゥエンドで同時に合同で最適化し、別の推定ネットワークを使って混合モデルのパラメータ学習を容易にする。自己符号化再構成、潜在表現の密度推定、及び正則化のバランスをうまくとる合同最適化は、自己符号化器が、あまり魅力的でない局所最適解を避け、さらに再構成エラーを減らすのを助け、事前訓練が不要となる。ＤＡＧＭＭに関するその他の情報は、参照により本明細書に援用される（非特許文献３）に見出し得る。
【0068】
ＤＡＧＭＭ機械学習モデルの訓練に使用され得るデータセットの１つの例は、ｈｔｔｐｓ：／／ａｒｃｈｉｖｅ．ｉｃｓ．ｕｃｉ．ｅｄｕ／ｍｌ／ｄａｔａｓｅｔｓ／ＫＤＤ＋Ｃｕｐ＋１９９９＋Ｄａｔａにおいて入手可能な、ＵＣＩレポジトリからのＫＤＤＣＵＰ９９ １０パーセントデータセットである。他の何れの適当なデータセットも使用され得ることが想定される。
【0069】
上述の例示的実施形態は、実行可能性調査において車両に取り付けられたフロントカメラを使って検証され、方法の有効性は、公道での実験結果によって実証された。
【0070】
上述の例示的実施形態は、有益な点として、真円として示されるカーブミラーのほか、画像捕捉装置の視野角から楕円として示されるカーブミラーを検出できる。これは、カーブミラーが画像捕捉装置の視野角から楕円のように見える場合に典型的にそのカーブミラーを検出できない、既存のＡＤＡＳとは対照的である。
【0071】
上述の例示的実施形態は、既知の深層学習モデルのみを使用する方式と比較して、有益な点として、偽陽性結果の発生を低減させ、カーブミラー検出の精度を高めることかできる。これは、道路交通標識をカーブミラーと誤って識別する既存の検出システムと対照的である。
【0072】
上述の例示的実施形態は、既知の深層学習モデルのみを使用する方式と比較して、有利な点として、より高速の計算を提供でき、有益な点として、時間を節約できる。
【0073】
上述の例示的実施形態は、例えば死角スポットのある道路位置及び信号機のない交差点での衝突予測及び衝突回避のために使用され得る。
【0074】
上述の例示的実施形態は、有利な点として、交差点及び見通しの悪い場所に新たな設備を構築するのに必要な投資額を、道路上にすでに存在する従来のインフラストラクチャのひとつである道路安全ミラーを利用することによって低減させ得る。
【0075】
上述の例示的実施形態は、有利な点として、先進運転支援システム（ＡＤＡＳ）等のレベル１及び２の自動運転（ＡＤ：Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ）システムをサポートするために使用され得て、レベル３より上のＡＤシステムをサポートするようにさらに拡張され得る。上述の例示的実施形態はまた、有益な点として、無人地上走行車両（ｕＧＶ：ｕｎｍａｎｎｅｄ ｇｒｏｕｎｄ ｖｅｈｉｃｌｅｓ）、無人搬送車（ＡＧＶ：ａｕｔｏｍａｔｅｄ ｇｕｉｄｅｄ ｖｅｈｉｃｌｅｓ）、自律走行車、ドローン等の他の形態の車両においても適用され得る。上述の例示的実施形態は、さらに有利な点として、ロボット工学の分野でも使用され得る。
【0076】
「連結される」又は「接続される」という用語は、この説明文で使用されるかぎり、特に別段の表明がなされないかぎり、直接接続されること、及び１つ以上の中間手段を通じて接続されることの両方をカバーすることが意図される。
【0077】
「（タスク／動作を実行する）ように構成される」、「（タスク／動作を実行する）ために構成される」等の用語は、この説明文中で使用されるかぎり、本明細書中に記載されているように配置又は設置された場合に、そのタスク／動作を実行する能力を有するようにプログラム可能、プログラムされる、接続可能、配線される、又はそれ以外に構成されることを含む。「（タスク／動作を実行する）ように構成される」、「（タスク／動作を実行する）ために構成される」等の用語は、「使用時に、そのタスク／動作が実行される」こと、例えば、特にタスク／動作を成す、又は実行すること、及び／又は特にそのように構成されること、及び／又は特にそのように配置されること、及び／又は特にそのようになされることをカバーすることが意図される。
【0078】
「及び／又は」、例えば「Ｘ及び／又はＹ」という用語は、「Ｘ及びＹ」と「Ｘ又はＹ」のどちらでも意味するものと理解されたく、両方の意味又は何れかの意味を明確に支持するものと理解すべきではない。
【0079】
「～に関連付けられる」、「～に関係する」等の用語は、本明細書で２つの要素に言及する際に使用されるかぎり、その２つの要素間の広い関係を指す。この関係には、限定ではないが、物理的、化学的、又は生物学的関係が含まれる。例えば、要素Ａが要素Ｂに関連付けられる場合、要素Ａ及びＢは相互に直接若しくは間接に取り付けられてよく、又は要素Ａは要素Ｂを含み、若しくはその逆でもある。
【0080】
「例示的実施形態」、「例示的実装」、「例示的に」等の用語は、本明細書で使用されるかぎり、本開示に記載されている主題の一例を示すことが意図されている。このような例は、特許請求項の中で定義されている１つ以上の特徴に関係し得て、必ずしも何れかの特徴の最良の例又はいかなる基本的な重要性も強調するように意図されていない。
【0081】
本明細書の説明は、特定の部分において、コンピュータメモリ又は電子回路内のデータに対して行われるアルゴリズム及び／又は機能動作として明示的又は黙示的に説明されることがある。これらのアルゴリズムによる説明及び／又は機能動作は通常、情報処理技術の当業者によって効率的な説明のために使用される。アルゴリズムは一般に、所望の結果につながる自己矛盾のないステップシーケンスに関係する。アルゴリズムのステップは、物理的数量、例えば保存、送信、伝送、結合、比較、及びその他の操作が可能な電気、磁気、又は光信号の物理的操作を含むことができる。
【0082】
さらに、特に別段の表明がなされないかぎり、また、以下のことから通常明らかであるように、当業者であれば、本明細書全体を通じて、「スキャンする」、「計算する」、「特定する」、「置き換える」、「生成する」、「初期化する」、「出力する」等の用語を利用した議論は、命令プロセッサ／コンピュータシステム又は同様の電子回路／デバイス／コンポーネントの、記載されているシステム内の物理的数量として表されるデータを操作／処理し、そのシステム又はその他の情報ストレージ、送信、又は表示デバイス等における物理的数量として同様に表される他のデータに変換する動作及びプロセスを指すと理解するであろう。
【0083】
この説明ではまた、上述の方法のステップを実行することと関連性のあるデバイス／装置も開示されている。このような装置は、この方法の目的のために特に構成され得るか、記憶部材の中に保存されたコンピュータプログラムにより選択的にアクティベート又は再構成される汎用コンピュータ／プロセッサ又はその他のデバイスを含み得る。本明細書に記載のアルゴリズム及びディスプレイは、何れの特定のコンピュータ又はその他の装置にも本来的に関係していない。汎用デバイス／マシンは本明細書中の教示にしたがって使用され得ると理解されたい。代替的に、方法ステップを実行するために特殊化されたデバイス／装置の構成が望まれ得る。
【0084】
それに加えて、説明はまた、本明細書に記載の方法のステップがコンピュータコードにより具現化され得ることが明らかであるという点で、コンピュータプログラムも黙示的にカバーすることが提案される。本明細書の説明の教示を実施するために、多様なプログラミング言語及び符号化が使用可能であることが分かるであろう。さらに、コンピュータプログラムは、それが該当する場合、何れの特定の制御フローにも限定されず、本発明の範囲から逸脱することなく、異なる制御フローを使用することもできる。
【0085】
さらに、コンピュータプログラムのステップの１つ又は複数は、それが該当する場合、並列に、及び／又は逐次的に実行され得る。このようなコンピュータプログラムは、それが該当する場合、何れのコンピュータ可読媒体に記憶されていてもよい。コンピュータ可読媒体は、磁気若しくは光ディスク、メモリチップ、又は適当なリーダ／汎用コンピュータとのインタフェースに適したその他の記憶装置等の記憶装置が含まれ得る。このような場合、コンピュータ可読記憶媒体は非一時的である。このような記憶媒体はまた、あらゆるコンピュータ可読媒体、例えばデータを短時間のみ、及び／又は電源があるときにのみ記憶する場合、例えばレジスタメモリ、プロセッサキャッシュ、及びＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、及びその他等の全てをカバーする。コンピュータ可読媒体は、インターネットシステムにおいて例示されるようなワイヤード媒体、又はＢｌｕｅｔｏｏｔｈテクノロジで例示されるようなワイヤレス媒体も含み得る。コンピュータ可読媒体は、例えばインターネット上又はイントラネット内のクラウドストレージであり得る。コンピュータプログラムは、適当なリーダにロードされ、そこで実行された場合、その結果として、前述の方法のステップを、例えば物理的実施形態で実装できる装置が有効に得られる。コンピュータ可読媒体は可搬式であることが意図され、コンピュータプログラムが、それが該当する場合、再現可能であるという点で再現可能である。
【0086】
例示的実施形態はまた、ハードウェアモジュールとしても実装され得る。モジュールとは、他のコンポーネント又はモジュールと共に使用するように設計された機能的ハードウェアユニットである。例えば、モジュールは、デジタル又は離散的電子コンポーネントを使って実装され得るか、又は、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＡＳＩＣ）等の電子回路全体の一部を形成することもできる。当業者であれば、例示的実施形態はまたハードウェア及びソフトウェアモジュールの組合せとしても実装できることが分かるであろう。
【0087】
追加的に、幾つかの実施形態を説明する際、本開示では特定のステップシーケンスとして方法及び／又はプロセスが開示され得る。しかしながら、それ以外が求められる場合を除き、方法又はプロセスは開示されている特定のステップシーケンスに限定されるべきではないと理解されたい。その他のステップシーケンスも可能であり得る。本明細書で開示されているステップの特定の順序は過度な限定と解釈されるべきではない。それ以外が求められる場合を除き、本明細書で開示される方法及び／又はプロセスは、ステップが記載されている順序で実行されることに限定されるべきではない。ステップシーケンスは変更されてもよいが、それでも本開示の範囲内にとどまる。
【0088】
さらに、本明細書の説明の中で、「実質的に」という用語は、使用されるときは毎回、「まったく」、又は「完全に」等を含むが、それに限定されないと理解されたい。それに加えて、「～を含む（ｃｏｍｐｒｉｓｉｎｇ、ｃｏｍｐｒｉｓｅ）」等の用語は、使用されるときは毎回、それらがその用語に続いて挙げられた要素／コンポーネントのほか、明示的に挙げられていないその他のコンポーネントも広く含むという点で、非限定的な説明言語であることが意図される。例えば、「～を含む（ｃｏｍｐｒｉｓｉｎｇ）」が使用される場合、「１つの」特徴への言及はまた、その特徴の「少なくとも１つ」への言及でもあることが意図される。「からなる（ｃｏｎｓｉｓｔｉｎｇ、ｃｏｎｓｉｓｔ）」等の用語は、適切な文脈において、「～を含む（ｃｏｍｐｒｉｓｉｎｇ、ｃｏｍｐｒｉｓｅ）」等の用語のサブセットと考えられ得る。したがって、本明細書において「～を含む（ｃｏｍｐｒｉｓｉｎｇ、ｃｏｍｐｒｉｓｅ）」等の用語を使って開示される実施形態においては、これらの実施形態が「～なる（ｃｏｎｓｉｓｔｉｎｇ、ｃｏｎｓｉｓｔ）」等の用語を使用する、それに対応する実施形態に関する教示も提供すると理解されたい。さらに、「約」、「ほぼ」等の用語は、使用されるときは毎回、典型的に合理的変動、例えば開示された値の＋／－５％の変動、又は開示された値の４％の変動、又は開示された値の３％の変動、又は開示された値の２％の変動、又は開示された値の１％の変動を意味する。
【0089】
さらに、本明細書の説明の中で、特定の値がある範囲で開示されることがある。ある範囲の端点を示す値は、好ましい範囲を例示することが意図されている。ある範囲が記載されているときは毎回、その範囲は考え得る小部分のほか、その範囲内の個々の数値の全てをカバーし、教示することが意図される。すなわち、ある範囲の端点は変更不能な限界と解釈されるべきではない。例えば、１％～５％の範囲との記述は、１％～２％、１％～３％、１％～４％、２％～３％等の小部分のほか、その範囲内の値を個別に、例えば１％、２％、３％、４％、５％と具体的に開示していることが意図される。詳述の具体的な開示の意図は、ある範囲の何れの深さ／幅にも当てはまる。
【0090】
様々な例示的実施形態は、コンピュータ実装環境の中で実行されるデータ構造、プログラムモジュール、プログラム、及びコンピュータ命令に関して実装できる。本明細書では、特別に構成された汎用コンピューティング環境が簡単に開示されている。１つ又は複数の例示的実施形態は、例えば図１２に概略的に示されているような１つ又は複数のコンピュータシステムにおいて具現化され得る。
【0091】
１つ又は複数の例示的実施形態は、ソフトウェアとして、例えばコンピュータシステム１２００内で実行され、コンピュータシステム１２００にある例示的実施形態の方法を実行するように命令するコンピュータプログラムとして実装され得る。
【0092】
コンピュータシステム１２００は、コンピュータユニット１２０２、入力モジュール、例えばキーボード１２０４及びポインティングデバイス１２０６、並びに複数の出力デバイス、例えばディスプレイ１２０８及びプリンタ１２１０を含む。ユーザはコンピュータユニット１２０２と、上述のデバイスを使って対話できる。ポインティングデバイスは、マウス、トラックボール、ペンデバイス、又は何れかの同様のデバイスで実装できる。１つ又は複数の他の入力デバイス（図示せず）、例えばジョイスティック、ゲームパッド、衛星受信アンテナ、スキャナ、タッチセンサスクリーン等もコンピュータユニット１２０２に接続できる。ディスプレイ１２０８としては、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、電界放出ディスプレイ（ＦＥＤ）、プラズマディスプレイ、又はユーザが見ることのできる画像を生成する他のあらゆるデバイスが含まれ得る。
【0093】
コンピュータユニット１２０２は、適当なトランシーバデバイス１２１４を介してコンピュータネットワーク１２１２に接続でき、それによって例えばインターネット又は、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）若しくはＷｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＷＡＮ）又はパーソナルネットワーク等のその他のネットワークシステムにアクセスできる。ネットワーク１２１２は、サーバ、ルータ、ネットワークパーソナルコンピュータ、ピアデバイス若しくはその他の共通ネットワークノード、ワイヤレス電話若しくはワイヤレス携帯情報端末を含むことができる。ネットワーキング環境は、オフィス、全社内コンピュータネットワーク、及びホームコンピュータシステム等に見られ得る。トランシーバデバイス１２１４は、コンピュータユニット１２０２内又は外部にあるモデム／ルータユニットとすることができ、ケーブルモデムや衛星モデム等、何れの種類のモデム／ルータであってもよい。
【0094】
図のネットワーク接続は例示的であり、コンピュータ間の通信リンクを確立するその他の方法も使用できると理解されたい。各種のプロトコルのうちの何れか、例えばＴＣＰ／ＩＰ、フレームリレー、イーサネット、ＦＴＰ、ＨＴＴＰ等の存在が仮定され、コンピュータユニット１２０２はクライアントサーバ構成で動作させて、ユーザがウェブベースのサーバからウェブページを読み出せるようにすることができる。さらに、各種のウェブブラウザの何れかを使用して、ウェブページ上でデータを表示及び操作することもできる。
【0095】
この例のコンピュータユニット１２０２は、プロセッサ１２１８、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）１２２０、及びＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）を含む。ＲＯＭ １２２２は、基本入出力システム（ＢＩＯＳ）情報を記憶するシステムメモリとすることができる。ＲＡＭ １２２０は、オペレーティングシステム、アプリケーションプログラム、及びプログラムデータ等の１つ又は複数のプログラムモジュールを記憶できる。
【0096】
コンピュータユニット１２０２は、複数の入力／出力（Ｉ／Ｏ）インタフェースユニット、例えばディスプレイ１２０８とのＩ／Ｏインタフェースユニット１２２４及びキーボード１２０４とのインタフェースユニット１２２６をさらに含む。コンピュータユニット１２０２のコンポーネントは典型的に、相互接続されたシステムバス１２２８を介して接続されるように、また、関連技術の当業者の間で知られる方法で通信し、インタフェース／結合される。バス１２２８は、様々なバスアーキテクチャの何れかを使用するメモリバス又はメモリコントローラ、周辺バス、及びローカルバスを含む幾つかの種類のバス構造のうちの何れとすることもできる。
【0097】
その他のデバイスもまた、システムバス１２２８に接続できると理解されたい。例えば、ユニバーサルシリアルバス（ＵＳＢ）インタフェースを使ってビデオ又はデジタルカメラをシステムバス１２２８に結合できる。追加のデバイスをコンピュータユニット１２０２に結合するために、ＩＥＥＥ １３９４インタフェースを使用し得る。その他のメーカのインタフェースもまた使用可能であり、これは例えばＡｐｐｌｅ Ｃｏｍｐｕｔｅｒが開発したＦｉｒｅＷｉｒｅやＳｏｎｙが開発したｉ．Ｌｉｎｋである。デバイスをシステムバス１２２８に結合することはまた、パラレルポート、ゲームポート、ＰＣＩボード又は、入力デバイスをコンピュータに結合するために使用される他の何れかのインタフェースを介しても行うことができる。また、コンポーネントは図示されていないが、マイクロフォンとスピーカを使って音声／オーディオを記録し、再生することもできると理解されたい。マイクロフォンとスピーカをシステムバス１２２８に結合するために、サウンドカードを使用し得る。幾つかの周辺デバイスをシステムバス１２２８に代替的なインタフェースを介して同時に結合できると理解されたい。
【0098】
アプリケーションプログラムは、ＣＤ ＲＯＭ又はフラッシュメモリキャリア等のデータ記憶媒体上に符号化／記憶された状態でコンピュータシステム１２００のユーザに供給できる。アプリケーションプログラムは、データ記憶デバイス１２３０の対応するテータ記憶媒体ドライブを使って読むことができる。データ記憶媒体は、ポータブルであることに限定されず、コンピュータユニット１２０２内に埋め込まれる例も含むことができる。データ記憶デバイス１２３０は、ハードディスクインタフェースユニット及び／又はリムーバブルメモリインタフェースユニット（何れも詳細には図示せず）を含むことができ、これらはそれぞれハードディスクドライブ及び／又はリムーバブルメモリドライブをシステムバス１２２８に結合する。このことによって、データの読み書きが可能となる。リムーバブルメモリドライブの例としては、磁気ディスクドライブ及び光ディスクドライブが含まれる。ドライブ及びそれらに関連するコンピュータ可読媒体、例えばフロッピディスクはコンピュータ可読命令、データ構造、プログラムモジュール、及びコンピュータユニット１２０２のためのその他のデータの不揮発性記憶を提供する。コンピュータユニット１２０２は、このようなドライブのうちの複数を含み得ると理解されたい。さらに、コンピュータユニット１２０２は、他の種類のコンピュータ可読媒体とインタフェースするためのドライブを含み得る。
【0099】
アプリケーションプログラムは、プロセッサ１２１８による実行によって読み出され、制御される。プログラムデータの中間記憶は、ＲＡＭ １２２０を用いて行われ得る。例示的実施形態の方法は、コンピュータ可読命令、コンピュータ実行可能コンポーネントは、又はソフトウェアモジュールとして実装できる。１つ又は複数のソフトウェアモジュールは代替的に使用され得る。これらは実行可能プログラム、データリンクライブラリ、コンフィギュレーションファイル、データベース、グラフィック画像、バイナリデータファイル、テキストデータファイル、オブジェクトファイル、ソースコードファイル又はその他を含むことができる。１つ又は複数のコンピュータプロセッサがソフトウェアモジュールのうちの１つ又は複数を実行すると、そのソフトウェアモジュールは相互作用して、１つ又は複数のコンピュータシステムに本明細書の教示にしたがって動作させる。
【0100】
コンピュータユニット１２０２の動作は、様々なプログラムモジュールによって制御できる。プログラムモジュールの例は、特定のタスクを実行するか、特定のアブストラクトデータタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、ライブラリ等である。例示的実施形態はまた、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースの、又はプログラム可能な民生用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯情報端末、モバイル電話等を含むその他のコンピュータシステム構成でも実装され得る。さらに、例示的実施形態はまた、分散型コンピューティング環境でも実装され得て、その場合、タスクはワイヤレス又はワイヤード通信ネットワークを通じてリンクされるリモート処理デバイスにより実行される。分散型コンピューティング環境では、プログラムモジュールはローカル及びリモート両方のメモリ記憶デバイスの中にあり得る。
【0101】
例示的実施形態はまた、ハンドヘルドデバイス、マルチプロセッサシステム／サーバ、マイクロプロセッサベースの、又はプログラム可能な民生用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯情報端末、モバイル電話等を含むその他のコンピュータシステム構成でも実装され得る。さらに、例示的実施形態はまた、分散型コンピューティング環境でも実装され得て、その場合、タスクはワイヤレス又はワイヤード通信ネットワークを通じてリンクされるリモート処理デバイスにより実行される。分散型コンピューティング環境では、プログラムモジュールはローカル及びリモート両方のメモリ記憶デバイスの中にあり得る。
【0102】
前述の例示的実施形態において、車両はユーザが運転する自動車として説明され得る。例示的実施形態はこのように限定されないと理解されたい。例えば、車両は、カーブミラーを検出できる何れの可動物体も含み得る。
【0103】
当業者であれば、特定の実施形態に対し、広く説明される本発明の範囲から逸脱せずに様々な変更及び／又は改良を加え得ることが分かるであろう。例えば、本明細書の説明の中で、異なる例示的実施形態の特徴は、異なる例示的実施形態間で混ぜ合わせ、組み合わせ、交換し、組み込み、採用し、改良し、含める等し得る。例えば、例示的実施形態は必ずしも相互に排他的であるわけではなく、これは、幾つかを１つ又は複数の実施形態と組み合わせて、新たな例示的実施形態を形成し得るからである。さらに、本開示は本明細書で論じた特徴／特長のうちの１つ又は複数を有する実施形態を提供するものの、これらの特徴／特長の１つ又は複数はまた、他の代替的実施形態では放棄されてもよく、本開示はこのような放棄及びそれに関連する代替的実施形態も支持する。本実施形態はしたがって、あらゆる点において例示的であって、限定的ではないとみなされるものとする。
【符号の説明】
【0104】
１００ 画像中のカーブミラーを検出するためのシステム
１０２ 画像捕捉装置
１０４ 処理ユニット
１０６ 物体検出ユニット
１０８ 動作ユニット
３０２ 枠
４０２ 枠
４０４ 枠
７００ 変換マップ
７０２ａ 第一のデータポイント
７０２ｂ 第一の交通標識
７０４ａ 第二のデータポイント
７０４ｂ 第二の交通標識
７０６ データポイントのクラスタ
７０６ 第一のカーブミラー
７０８ 第二のカーブミラー
８００ カーブミラー候補
８０２ 画像
８０４ 枠
８０６ 枠
８０８ データポイント
８１０ データポイント
８１２ 変換マップ
８１４ カーブミラー
８１６ データポイントのクラスタ
８１８ データポイントのクラスタ
８２０ 交通標識
１０００ 主体の車両
１００２ 枠
１００４ 枠
１２００ コンピュータシステム
１２０２ コンピュータユニット
１２０４ キーボード
１２０６ ポインティングデバイス
１２０８ ディスプレイ
１２１０ プリンタ
１２１２ コンピュータネットワーク
１２１４ トランシーバデバイス
１２１８ プロセッサ
１２２０ ランダムアクセスメモリ
１２２２ リードオンリメモリ
１２２４ 入力／出力インタフェースユニット
１２２６ インタフェースユニット
１２２８ システムバス
１２３０ データ記憶デバイス
１０２ 画像捕捉装置
１０４ 処理ユニット
１０６ 物体検出ユニット
１０８ 動作ユニット
３０２ 枠
４０２ 枠
４０４ 枠
７００ 変換マップ
７０２ａ 第一のデータポイント
７０２ｂ 第一の交通標識
７０４ａ 第二のデータポイント
７０４ｂ 第二の交通標識
７０６ データポイントのクラスタ
７０６ 第一のカーブミラー
７０８ 第二のカーブミラー
８００ カーブミラー候補
８０２ 画像
８０４ 枠
８０６ 枠
８０８ データポイント
８１０ データポイント
８１２ 変換マップ
８１４ カーブミラー
８１６ データポイントのクラスタ
８１８ データポイントのクラスタ
８２０ 交通標識
１０００ 主体の車両
１００２ 枠
１００４ 枠
１２００ コンピュータシステム
１２０２ コンピュータユニット
１２０４ キーボード
１２０６ ポインティングデバイス
１２０８ ディスプレイ
１２１０ プリンタ
１２１２ コンピュータネットワーク
１２１４ トランシーバデバイス
１２１８ プロセッサ
１２２０ ランダムアクセスメモリ
１２２２ リードオンリメモリ
１２２４ 入力／出力インタフェースユニット
１２２６ インタフェースユニット
１２２８ システムバス
１２３０ データ記憶デバイス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【手続補正書】
【提出日】2023-11-17
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正の内容】
【0103】
当業者であれば、特定の実施形態に対し、広く説明される本発明の範囲から逸脱せずに様々な変更及び／又は改良を加え得ることが分かるであろう。例えば、本明細書の説明の中で、異なる例示的実施形態の特徴は、異なる例示的実施形態間で混ぜ合わせ、組み合わせ、交換し、組み込み、採用し、改良し、含める等し得る。例えば、例示的実施形態は必ずしも相互に排他的であるわけではなく、これは、幾つかを１つ又は複数の実施形態と組み合わせて、新たな例示的実施形態を形成し得るからである。さらに、本開示は本明細書で論じた特徴／特長のうちの１つ又は複数を有する実施形態を提供するものの、これらの特徴／特長の１つ又は複数はまた、他の代替的実施形態では放棄されてもよく、本開示はこのような放棄及びそれに関連する代替的実施形態も支持する。本実施形態はしたがって、あらゆる点において例示的であって、限定的ではないとみなされるものとする。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
画像（８０２）中のカーブミラー（８１４）を検出するコンピュータ実装方法であって、
前記画像（８０２）に機械学習アルゴリズムを適用して、前記画像（８０２）中のカーブミラー候補（８００）を識別するステップと、
前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するステップと
を含むことを特徴とするコンピュータ実装方法。
２．
前記異常検出アルゴリズムは、Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＤＡＧＭＭ）に基づく、上記１に記載の方法。
３．
前記カーブミラー候補（８００）は、それが交通標識（８２０）であり得ない場合に、カーブミラー（８１４）として確認される、上記１又は２に記載の方法。
４．
前記異常検出アルゴリズムは、
前記カーブミラー候補（８００）に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ（８１２）上の点（８０８、８１０）を取得するステップであって、前記点（８０８、８１０）は前記変換マップ（８１２）上の前記カーブミラー候補（８００）を表すステップと、
前記点（８０８、８１０）が前記変換マップ（８１２）上の交通標識（８２０）を表すクラスタ（８１６、８１８）からの閾値距離を超えていれば、前記カーブミラー候補（８００）をカーブミラー（８１４）として確認するステップと
を含む、上記１～３の何れか１つに記載の方法。
５．
交通標識（８２０）を表す複数のクラスタ（８１６、８１８）があり、前記カーブミラー候補（８００）は、前記点（８０８、８１０）が前記クラスタ（８１６、８１８）の各々からの閾値距離を超えていれば、カーブミラー（８１４）であると確認される、上記４に記載の方法。
６．
前記機械学習アルゴリズムは、カーブミラーについて最適化されたパラメータを有するバウンディングボックスを使って訓練される、上記１～５の何れか１つに記載の方法。
７．
前記カーブミラーについて最適化された前記パラメータは、バウンディングボックスの高さ、前記バウンディングボックスの幅、前記バウンディングボックスの中心点の横座標、前記バウンディングボックスの前記中心点の縦座標、及び前記バウンディングボックスの高さ対重さ比を含む、上記６に記載の方法。
８．
画像捕捉装置（１０２）を使って前記画像（８０２）を取得するステップをさらに含む、上記１～７の何れか１つに記載の方法。
９．
前記画像（８０２）を取得する前記ステップは、異なる時間インスタンスにわたり複数の画像を取得するステップを含む、上記８に記載の方法。
１０．
前記画像はリアルタイム画像である、上記１～９の何れか１つに記載の方法。
１１．
画像（８０２）中のカーブミラー（８１４）を検出するためのシステム（１００）であって、
画像捕捉装置（１０２）と、
前記画像捕捉装置（１０２）に連結された電子制御ユニット（１０４）と
を含み、
前記画像捕捉装置（１０２）は前記画像（８０２）を取得するように構成され、
前記電子制御ユニット（１０４）は前記画像（８０２）に機械学習アルゴリズムを適用して前記画像（８０２）中のカーブミラー候補（８００）を識別し、前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するように構成される
ことを特徴とするシステム。
１２．
前記異常検出アルゴリズムは、Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＤＡＧＭＭ）に基づく、上記１１に記載のシステム。
１３．
前記カーブミラー候補（８００）は、それが交通標識（８２０）であり得ない場合にカーブミラー（８１４）として確認される、上記１１又は１２に記載のシステム。
１４．
前記異常検出アルゴリズムは、
前記カーブミラー候補（８００）に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ（８１２）上の点（８０８、８１０）を取得するステップであって、前記点（８０８、８１０）は前記変換マップ（８１２）上の前記カーブミラー候補（８００）を表すステップと、
前記点（８０８、８１０）が前記変換マップ（８１２）上の交通標識（８２０）を表すクラスタ（８１６、８１８）からの閾値距離を超えていれば、前記カーブミラー候補（８００）をカーブミラー（８１４）として確認するステップと
を含む、上記１１～１３の何れか１つに記載のシステム。
１５．
画像（８０２）中のカーブミラー（８１４）を検出するためのコンピュータ実装方法を実行するようにシステムの処理ユニットに命令するための命令が記憶されたコンピュータ可読記憶媒体であって、前記方法は、
前記画像（８０２）に機械学習アルゴリズムを適用して、前記画像（８０２）中のカーブミラー候補（８００）を識別するステップと、
前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するステップと
を含むことを特徴とするコンピュータ可読記憶媒体。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
画像（８０２）中のカーブミラー（８１４）を検出するコンピュータ実装方法であって、
前記画像（８０２）に機械学習アルゴリズムを適用して、前記画像（８０２）中のカーブミラー候補（８００）を識別するステップと、
前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するステップと
を含むことを特徴とするコンピュータ実装方法。
２．
前記異常検出アルゴリズムは、Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＤＡＧＭＭ）に基づく、上記１に記載の方法。
３．
前記カーブミラー候補（８００）は、それが交通標識（８２０）であり得ない場合に、カーブミラー（８１４）として確認される、上記１又は２に記載の方法。
４．
前記異常検出アルゴリズムは、
前記カーブミラー候補（８００）に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ（８１２）上の点（８０８、８１０）を取得するステップであって、前記点（８０８、８１０）は前記変換マップ（８１２）上の前記カーブミラー候補（８００）を表すステップと、
前記点（８０８、８１０）が前記変換マップ（８１２）上の交通標識（８２０）を表すクラスタ（８１６、８１８）からの閾値距離を超えていれば、前記カーブミラー候補（８００）をカーブミラー（８１４）として確認するステップと
を含む、上記１～３の何れか１つに記載の方法。
５．
交通標識（８２０）を表す複数のクラスタ（８１６、８１８）があり、前記カーブミラー候補（８００）は、前記点（８０８、８１０）が前記クラスタ（８１６、８１８）の各々からの閾値距離を超えていれば、カーブミラー（８１４）であると確認される、上記４に記載の方法。
６．
前記機械学習アルゴリズムは、カーブミラーについて最適化されたパラメータを有するバウンディングボックスを使って訓練される、上記１～５の何れか１つに記載の方法。
７．
前記カーブミラーについて最適化された前記パラメータは、バウンディングボックスの高さ、前記バウンディングボックスの幅、前記バウンディングボックスの中心点の横座標、前記バウンディングボックスの前記中心点の縦座標、及び前記バウンディングボックスの高さ対重さ比を含む、上記６に記載の方法。
８．
画像捕捉装置（１０２）を使って前記画像（８０２）を取得するステップをさらに含む、上記１～７の何れか１つに記載の方法。
９．
前記画像（８０２）を取得する前記ステップは、異なる時間インスタンスにわたり複数の画像を取得するステップを含む、上記８に記載の方法。
１０．
前記画像はリアルタイム画像である、上記１～９の何れか１つに記載の方法。
１１．
画像（８０２）中のカーブミラー（８１４）を検出するためのシステム（１００）であって、
画像捕捉装置（１０２）と、
前記画像捕捉装置（１０２）に連結された電子制御ユニット（１０４）と
を含み、
前記画像捕捉装置（１０２）は前記画像（８０２）を取得するように構成され、
前記電子制御ユニット（１０４）は前記画像（８０２）に機械学習アルゴリズムを適用して前記画像（８０２）中のカーブミラー候補（８００）を識別し、前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するように構成される
ことを特徴とするシステム。
１２．
前記異常検出アルゴリズムは、Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＤＡＧＭＭ）に基づく、上記１１に記載のシステム。
１３．
前記カーブミラー候補（８００）は、それが交通標識（８２０）であり得ない場合にカーブミラー（８１４）として確認される、上記１１又は１２に記載のシステム。
１４．
前記異常検出アルゴリズムは、
前記カーブミラー候補（８００）に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ（８１２）上の点（８０８、８１０）を取得するステップであって、前記点（８０８、８１０）は前記変換マップ（８１２）上の前記カーブミラー候補（８００）を表すステップと、
前記点（８０８、８１０）が前記変換マップ（８１２）上の交通標識（８２０）を表すクラスタ（８１６、８１８）からの閾値距離を超えていれば、前記カーブミラー候補（８００）をカーブミラー（８１４）として確認するステップと
を含む、上記１１～１３の何れか１つに記載のシステム。
１５．
画像（８０２）中のカーブミラー（８１４）を検出するためのコンピュータ実装方法を実行するようにシステムの処理ユニットに命令するための命令が記憶されたコンピュータ可読記憶媒体であって、前記方法は、
前記画像（８０２）に機械学習アルゴリズムを適用して、前記画像（８０２）中のカーブミラー候補（８００）を識別するステップと、
前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するステップと
を含むことを特徴とするコンピュータ可読記憶媒体。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像（８０２）中のカーブミラー（８１４）を検出するコンピュータ実装方法であって、
前記画像（８０２）に機械学習アルゴリズムを適用して、前記画像（８０２）中のカーブミラー候補（８００）を識別するステップと、
前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するステップと
を含むことを特徴とするコンピュータ実装方法。
前記画像（８０２）に機械学習アルゴリズムを適用して、前記画像（８０２）中のカーブミラー候補（８００）を識別するステップと、
前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するステップと
を含むことを特徴とするコンピュータ実装方法。
【請求項2】
前記異常検出アルゴリズムは、Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＤＡＧＭＭ）に基づく、請求項１に記載の方法。
【請求項3】
前記カーブミラー候補（８００）は、それが交通標識（８２０）であり得ない場合に、カーブミラー（８１４）として確認される、請求項１又は２に記載の方法。
【請求項4】
前記異常検出アルゴリズムは、
前記カーブミラー候補（８００）に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ（８１２）上の点（８０８、８１０）を取得するステップであって、前記点（８０８、８１０）は前記変換マップ（８１２）上の前記カーブミラー候補（８００）を表すステップと、
前記点（８０８、８１０）が前記変換マップ（８１２）上の交通標識（８２０）を表すクラスタ（８１６、８１８）からの閾値距離を超えていれば、前記カーブミラー候補（８００）をカーブミラー（８１４）として確認するステップと
を含む、請求項１又は２に記載の方法。
前記カーブミラー候補（８００）に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ（８１２）上の点（８０８、８１０）を取得するステップであって、前記点（８０８、８１０）は前記変換マップ（８１２）上の前記カーブミラー候補（８００）を表すステップと、
前記点（８０８、８１０）が前記変換マップ（８１２）上の交通標識（８２０）を表すクラスタ（８１６、８１８）からの閾値距離を超えていれば、前記カーブミラー候補（８００）をカーブミラー（８１４）として確認するステップと
を含む、請求項１又は２に記載の方法。
【請求項5】
交通標識（８２０）を表す複数のクラスタ（８１６、８１８）があり、前記カーブミラー候補（８００）は、前記点（８０８、８１０）が前記クラスタ（８１６、８１８）の各々からの閾値距離を超えていれば、カーブミラー（８１４）であると確認される、請求項４に記載の方法。
【請求項6】
前記機械学習アルゴリズムは、カーブミラーについて最適化されたパラメータを有するバウンディングボックスを使って訓練される、請求項１又は２に記載の方法。
【請求項7】
前記カーブミラーについて最適化された前記パラメータは、バウンディングボックスの高さ、前記バウンディングボックスの幅、前記バウンディングボックスの中心点の横座標、前記バウンディングボックスの前記中心点の縦座標、及び前記バウンディングボックスの高さ対重さ比を含む、請求項６に記載の方法。
【請求項8】
画像捕捉装置（１０２）を使って前記画像（８０２）を取得するステップをさらに含む、請求項１又は２に記載の方法。
【請求項9】
前記画像（８０２）を取得する前記ステップは、異なる時間インスタンスにわたり複数の画像を取得するステップを含む、請求項８に記載の方法。
【請求項10】
前記画像はリアルタイム画像である、請求項１又は２に記載の方法。
【請求項11】
画像（８０２）中のカーブミラー（８１４）を検出するためのシステム（１００）であって、
画像捕捉装置（１０２）と、
前記画像捕捉装置（１０２）に連結された電子制御ユニット（１０４）と
を含み、
前記画像捕捉装置（１０２）は前記画像（８０２）を取得するように構成され、
前記電子制御ユニット（１０４）は前記画像（８０２）に機械学習アルゴリズムを適用して前記画像（８０２）中のカーブミラー候補（８００）を識別し、前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するように構成される
ことを特徴とするシステム。
画像捕捉装置（１０２）と、
前記画像捕捉装置（１０２）に連結された電子制御ユニット（１０４）と
を含み、
前記画像捕捉装置（１０２）は前記画像（８０２）を取得するように構成され、
前記電子制御ユニット（１０４）は前記画像（８０２）に機械学習アルゴリズムを適用して前記画像（８０２）中のカーブミラー候補（８００）を識別し、前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するように構成される
ことを特徴とするシステム。
【請求項12】
前記異常検出アルゴリズムは、Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄｅｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ（ＤＡＧＭＭ）に基づく、請求項１１に記載のシステム。
【請求項13】
前記カーブミラー候補（８００）は、それが交通標識（８２０）であり得ない場合にカーブミラー（８１４）として確認される、請求項１１又は１２に記載のシステム。
【請求項14】
前記異常検出アルゴリズムは、
前記カーブミラー候補（８００）に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ（８１２）上の点（８０８、８１０）を取得するステップであって、前記点（８０８、８１０）は前記変換マップ（８１２）上の前記カーブミラー候補（８００）を表すステップと、
前記点（８０８、８１０）が前記変換マップ（８１２）上の交通標識（８２０）を表すクラスタ（８１６、８１８）からの閾値距離を超えていれば、前記カーブミラー候補（８００）をカーブミラー（８１４）として確認するステップと
を含む、請求項１１又は１２に記載のシステム。
前記カーブミラー候補（８００）に関連付けられる画像データに自己符号化器の機能を適用して、変換マップ（８１２）上の点（８０８、８１０）を取得するステップであって、前記点（８０８、８１０）は前記変換マップ（８１２）上の前記カーブミラー候補（８００）を表すステップと、
前記点（８０８、８１０）が前記変換マップ（８１２）上の交通標識（８２０）を表すクラスタ（８１６、８１８）からの閾値距離を超えていれば、前記カーブミラー候補（８００）をカーブミラー（８１４）として確認するステップと
を含む、請求項１１又は１２に記載のシステム。
【請求項15】
画像（８０２）中のカーブミラー（８１４）を検出するためのコンピュータ実装方法を実行するようにシステムの処理ユニットに命令するための命令が記憶されたコンピュータ可読記憶媒体であって、前記方法は、
前記画像（８０２）に機械学習アルゴリズムを適用して、前記画像（８０２）中のカーブミラー候補（８００）を識別するステップと、
前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するステップと
を含むことを特徴とするコンピュータ可読記憶媒体。
前記画像（８０２）に機械学習アルゴリズムを適用して、前記画像（８０２）中のカーブミラー候補（８００）を識別するステップと、
前記識別されたカーブミラー候補（８００）に異常検出アルゴリズムを適用して、前記カーブミラー候補（８００）がカーブミラー（８１４）であるか否かを確認するステップと
を含むことを特徴とするコンピュータ可読記憶媒体。
【外国語明細書】