知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-10
(54)【発明の名称】方法及び装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20241003BHJP
G06N 20/00 20190101ALI20241003BHJP
G06N 3/08 20230101ALI20241003BHJP
G08G 1/00 20060101ALN20241003BHJP
【ＦＩ】
G06T7/00 650
G06T7/00 350C
G06N20/00
G06N3/08
G08G1/00 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024521767
(86)(22)【出願日】2022-10-17
(85)【翻訳文提出日】2024-05-30
(86)【国際出願番号】 GB2022052630
(87)【国際公開番号】W WO2023062390
(87)【国際公開日】2023-04-20
(31)【優先権主張番号】2114808.5
(32)【優先日】2021-10-15
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】524133446
【氏名又は名称】オクサ オートノミー リミテッド
(74)【代理人】
【識別番号】100120891
【弁理士】
【氏名又は名称】林 一好
(74)【代理人】
【識別番号】100165157
【弁理士】
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100205659
【弁理士】
【氏名又は名称】齋藤 拓也
(74)【代理人】
【識別番号】100126000
【弁理士】
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100185269
【弁理士】
【氏名又は名称】小菅 一弘
(72)【発明者】
【氏名】ポラヴ ホリア
(72)【発明者】
【氏名】アップクロフト ベン
(72)【発明者】
【氏名】ニューマン ポール
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181AA21
5H181BB20
5H181CC03
5H181CC14
5H181EE02
5H181FF10
5H181LL01
5L096BA04
5L096CA02
5L096DA02
5L096FA69
5L096HA11
5L096KA04
(57)【要約】
トレーニングデータを生成するコンピュータ実装方法であって、その方法が、環境の表現を提供するステップであって、環境の表現が、規定された構造及び／又は規定された形状を有する、ステップと、環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、環境の第一の変換された表現を含む、変換された表現のセットを含むトレーニングデータを生成するステップとを含み、環境の表現を提供するステップが、セマンティック情報を使用して環境の画像を少なくとも部分的に合成することを含む、コンピュータ実装方法。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
機械学習モデルを使用してタスクを実行する自律走行車両のコンピュータ実装方法であって、前記コンピュータ実装方法が、前記自律走行車両の環境の画像を取得するステップと、
取得された前記画像を条件分類器に適用するステップであって、前記条件分類器が、取得された前記画像の条件に関連付けられた１つ以上の値を生成するように構成される、ステップと、
前記１つ以上の値に基づいて前記機械学習モデルのパラメータ設定を決定するステップと、
決定された前記パラメータ設定を用いて、入力画像を前記機械学習モデルに適用することによって前記タスクを実行するステップと
を含む、コンピュータ実装方法。
【請求項2】
前記条件分類器がニューラルネットワークを含み、前記１つ以上の値が、１つ以上の予測条件特徴及び予測信頼度を含む、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記予測特徴又は各予測特徴が、活性化関数の出力を含む、請求項２に記載のコンピュータ実装方法。
【請求項4】
前記予測信頼度が、取得された前記画像の条件が画像の１つ以上の既知の条件のうちの１つである前記ニューラルネットワークの出力層からの確率を含む、請求項２又は請求項３に記載のコンピュータ実装方法。
【請求項5】
前記予測信頼度を信頼度閾値と比較するステップと、前記１つ以上の予測信頼度特徴と、既知の条件の１つ以上のそれぞれの信頼度特徴との間の類似度を決定するステップと
をさらに含む、請求項２～４のいずれか一項に記載のコンピュータ実装方法。
【請求項6】
前記予測信頼度が前記信頼度閾値を上回る場合、及び前記１つ以上の予測信頼度特徴の前記類似度がマッチング閾値より大きい場合、前記方法が、パラメータデータベースから機械学習モデルを検索するステップであって、検索された前記機械学習モデルが、取得された前記画像と一致する条件を含む画像内の前記機械学習モデルのトレーニングから得られたパラメータ設定を有し、前記パラメータ設定データベースが、異なる条件を含む画像を使用した前記機械学習モデルのトレーニングから導出された異なるパラメータ設定を各々有する複数の機械学習モデルを含む、ステップと、
取得された前記画像を検索された前記機械学習モデルに適用することによって前記タスクを実行するステップと
をさらに含む、請求項５に記載のコンピュータ実装方法。
【請求項7】
前記予測信頼度が前記信頼度閾値を上回る場合、及び前記１つ以上の予測信頼度特徴の前記類似度が非類似閾値より大きく、マッチング閾値未満である場合、前記方法が、パラメータデータベースから機械学習モデルを検索するステップであって、検索された前記機械学習モデルが、取得された前記画像に最も近い条件を含む画像内の前記機械学習モデルのトレーニングから得られたパラメータ設定を有し、前記パラメータ設定データベースが、異なる条件を含む画像を使用した前記機械学習モデルのトレーニングから導出された異なるパラメータ設定を各々有する複数の機械学習モデルを含む、ステップと、
前記予測条件特徴と、検索された前記機械学習モデルに関連付けられた条件の条件特徴との差を使用してそのパラメータ設定を補間することによって、検索された前記機械学習モデルを修正するステップと、
取得された前記画像を、補間された前記パラメータ設定を有する前記機械学習モデルに適用することによって前記タスクを実行するステップと
をさらに含む、請求項５又は請求項６に記載のコンピュータ実装方法。
【請求項8】
前記予測信頼度が前記信頼度閾値未満である場合、及び／又は前記１つ以上の予測信頼度特徴の前記類似度が非類似閾値未満である場合、前記方法が、検索された前記画像を未知の条件を含む画像として記憶するステップと、
任意選択で、前記自律走行車両により、最小リスク操作を実行するステップと
をさらに含む、請求項５～７のいずれか一項に記載のコンピュータ実装方法。
【請求項9】
前記タスクを実行した結果に基づいて経路を横断するように前記自律走行車両を制御するステップをさらに含む、請求項６又は請求項７に記載のコンピュータ実装方法。
【請求項10】
前記タスクが、セマンティックセグメンテーション、オブジェクト検出、及びオブジェクト認識を含むリストから選択される、請求項１～９のいずれか一項に記載のコンピュータ実装方法。
【請求項11】
前記条件が、天候の種類、天候の種類の等級、明るさ、明るさの等級、時間帯、及び季節を含むリストから選択される、請求項１～１０のいずれか一項に記載のコンピュータ実装方法。
【請求項12】
入力画像を使用してタスクを実行するための自律走行車両の機械学習モデルをトレーニングするコンピュータ実装方法であって、前記コンピュータ実装方法が、未知の条件を含む複数の画像を取得するステップと、
前記未知の条件を含む複数の取得された前記画像を機械学習モデルに適用することによって予測セマンティックマップを生成するステップと、
前記予測セマンティックマップとセマンティックマップグラウンドトゥルースとの間の誤差を最小化することによって前記機械学習モデルのパラメータを最適化して、前記未知の条件に対する前記機械学習モデルのパラメータ設定を生成するステップと、
前記機械学習モデルの生成された前記パラメータ設定をパラメータデータベースに記憶するステップであって、前記パラメータデータベースが、異なるパラメータ設定を各々有する複数の機械学習モデルを記憶するように構成され、各パラメータ設定が固有の条件に関連付けられる、ステップと
を含む、コンピュータ実装方法。
【請求項13】
前記未知の条件を含む複数の取得された前記画像を機械学習モデルに適用することによって予測セマンティックマップを前記生成するステップが、前記未知の条件を含む複数の取得された前記画像を、前記未知の条件とは異なる条件を含む画像を使用して以前にトレーニングされた機械学習モデルに適用することによって予測セマンティックマップを生成することを含む、請求項１２に記載のコンピュータ実装方法。
【請求項14】
前記未知の条件及び前記固有の条件が、各々、天候の種類、天候の種類の等級、明るさ、明るさの等級、時間帯、及び季節を含むリストから選択される、請求項１２又は請求項１３に記載のコンピュータ実装方法。
【請求項15】
前記タスクが、セマンティックセグメンテーション、オブジェクト検出、及びオブジェクト認識を含むリストから選択される、請求項１２～１４のいずれか一項に記載のコンピュータ実装方法。
【請求項16】
１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに請求項１～１５のいずれか一項に記載のコンピュータ実装方法を実行させる、記憶された命令を有する一時的、又は非一時的コンピュータ可読媒体。
【請求項17】
ストレージ、１つ以上のプロセッサ、１つ以上の画像センサ、及び１つ以上のアクチュエータを含む自律走行車両であって、前記ストレージが、請求項１６に記載の一時的、又は非一時的コンピュータ可読媒体を含む、自律走行車両。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自律走行車両に関する。
【背景技術】
【0002】
例えば、ＳＡＥレベル１からレベル５に従った自律走行車両（ＡＶ）の制御ソフトウェア（ＡＶスタックとしても知られている）の従来のテストには問題がある。例えば、自律走行車両についての制御ソフトウェアのテスト、例えば、インストール、保証、検証、実証、回帰及び／又は進行テストのために、ラベル付けされたトレーニングデータを取得するための従来の方法は、典型的には、以下を含む：
１．特定の要件（シナリオ、シーンの構造、シーンの外観、天候、運行領域、希少事象の発生）に基づくデータの収集、及び
２．データのラベル付け（画像及び／又はＬＩＤＡＲ空間におけるインスタンスセグメンテーション、動作のラベル付けなど）。
１．特定の要件（シナリオ、シーンの構造、シーンの外観、天候、運行領域、希少事象の発生）に基づくデータの収集、及び
２．データのラベル付け（画像及び／又はＬＩＤＡＲ空間におけるインスタンスセグメンテーション、動作のラベル付けなど）。
【0003】
これらの従来の方法は、膨大な費用及び時間がかかるだけでなく、低確率の事象を捕捉する必要があり、これは多くの場合不可能である。
【0004】
したがって、トレーニングデータを取得する必要がある。
【発明の概要】
【0005】
第一の態様は、トレーニングデータを生成するコンピュータ実装方法であって、その方法が、
環境の表現を提供するステップであって、環境の表現が、規定された（ｄｅｆｉｎｅｄ）構造及び／又は規定された形状を有する、ステップと、
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、環境の第一の変換された表現を含む、変換された表現のセットを含むトレーニングデータを生成するステップと
を含み、
環境の表現を提供するステップが、セマンティック情報を使用して環境の画像を少なくとも部分的に合成することを含む、コンピュータ実装方法を提供する。
環境の表現を提供するステップであって、環境の表現が、規定された（ｄｅｆｉｎｅｄ）構造及び／又は規定された形状を有する、ステップと、
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、環境の第一の変換された表現を含む、変換された表現のセットを含むトレーニングデータを生成するステップと
を含み、
環境の表現を提供するステップが、セマンティック情報を使用して環境の画像を少なくとも部分的に合成することを含む、コンピュータ実装方法を提供する。
【0006】
「トレーニング（ｔｒａｉｎｉｎｇ）データ」という用語は、トレーニングデータ、テストデータ、検証データ、及び実証データを含むように拡張することができる。
【0007】
第二の態様は、機械学習（ＭＬ）アルゴリズムをトレーニングするコンピュータ実装方法であって、その方法が、
第一の態様に従って、環境の第一の変換された表現を含む、変換された表現のセットを含むトレーニングデータを生成するステップと、
第一のクラスを含むクラスのセットに従って、変換された表現のセットを分類することを含む、ＭＬアルゴリズムをトレーニングするステップと
を含む、コンピュータ実装方法を提供する。
第一の態様に従って、環境の第一の変換された表現を含む、変換された表現のセットを含むトレーニングデータを生成するステップと、
第一のクラスを含むクラスのセットに従って、変換された表現のセットを分類することを含む、ＭＬアルゴリズムをトレーニングするステップと
を含む、コンピュータ実装方法を提供する。
【0008】
第三の態様は、第二の態様に従ってトレーニングされた機械学習（ＭＬ）アルゴリズムを使用して環境の表現のクラスを決定するコンピュータ実装方法であって、その方法が、
トレーニングされたＭＬアルゴリズムを使用して、環境の表現のクラスを推論することを含む、環境の表現のクラスを決定する（ｄｅｔｅｒｍｉｎｅ）ステップ
を含む、コンピュータ実装方法を提供する。
トレーニングされたＭＬアルゴリズムを使用して、環境の表現のクラスを推論することを含む、環境の表現のクラスを決定する（ｄｅｔｅｒｍｉｎｅ）ステップ
を含む、コンピュータ実装方法を提供する。
【0009】
第四の態様は、自車両（ｅｇｏ－ｖｅｈｉｃｌｅ）、例えばその制御ソフトウェアをテストするコンピュータ実装方法、例えば、インストール、保証、検証、実証、回帰及び／又は進行をテストするコンピュータ実装方法であって、その方法が、
第一の態様に従ってトレーニングデータを生成するステップと、
自車両、第一のアクタを含むアクタのセット、及び任意選択で第一のオブジェクトを含むオブジェクトのセットをその中に有する環境の第一の変換された表現を含むシナリオをシミュレートするステップと
を含み、第一のシナリオをシミュレートするステップが、
シナリオにおける自車両の欠陥を識別するステップ
を含む、コンピュータ実装方法を提供する。
第一の態様に従ってトレーニングデータを生成するステップと、
自車両、第一のアクタを含むアクタのセット、及び任意選択で第一のオブジェクトを含むオブジェクトのセットをその中に有する環境の第一の変換された表現を含むシナリオをシミュレートするステップと
を含み、第一のシナリオをシミュレートするステップが、
シナリオにおける自車両の欠陥を識別するステップ
を含む、コンピュータ実装方法を提供する。
【0010】
第五の態様は、第一の態様、第二の態様、第三の態様、及び／又は第四の態様に従う方法を実行するように構成されたプロセッサ及びメモリを含むコンピュータを提供する。
【0011】
第六の態様は、プロセッサ及びメモリを含むコンピュータによって実行されると、第一の態様、第二の態様、第三の態様、及び／又は第四の態様に従う方法をコンピュータに実行させる命令を含むコンピュータプログラムを提供する。
【0012】
第七の態様は、プロセッサ及びメモリを含むコンピュータによって実行されると、第一の態様、第二の態様、第三の態様、及び／又は第四の態様に従う方法をコンピュータに実行させる命令を含む非一時的コンピュータ可読記憶媒体を提供する。
【0013】
（本発明の詳細な説明）
本発明によれば、添付の特許請求の範囲に記載される方法が提供される。また、コンピュータプログラム、コンピュータ、非一時的コンピュータ可読記憶媒体及び車両も提供される。本発明の他の特徴は、従属請求項、及び以下の説明から明らかになるであろう。
本発明によれば、添付の特許請求の範囲に記載される方法が提供される。また、コンピュータプログラム、コンピュータ、非一時的コンピュータ可読記憶媒体及び車両も提供される。本発明の他の特徴は、従属請求項、及び以下の説明から明らかになるであろう。
【0014】
（トレーニングデータを生成する方法）
第一の態様は、トレーニングデータを生成するコンピュータ実装方法であって、その方法が、
環境の表現を提供するステップであって、環境の表現が、規定された構造及び／又は規定された形状を有する、ステップと、
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、環境の第一の変換された表現を含む、変換された表現のセットを含むトレーニングデータを生成するステップと
を含み、
環境の表現を提供するステップが、セマンティック情報を使用して環境の画像を少なくとも部分的に合成することを含む、コンピュータ実装方法を提供する。
第一の態様は、トレーニングデータを生成するコンピュータ実装方法であって、その方法が、
環境の表現を提供するステップであって、環境の表現が、規定された構造及び／又は規定された形状を有する、ステップと、
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、環境の第一の変換された表現を含む、変換された表現のセットを含むトレーニングデータを生成するステップと
を含み、
環境の表現を提供するステップが、セマンティック情報を使用して環境の画像を少なくとも部分的に合成することを含む、コンピュータ実装方法を提供する。
【0015】
トレーニングデータは、少なくとも部分的に合成された環境の表現を変換することによって生成されるため、トレーニングデータの生成は加速され、それは、グラウンドトゥルースが維持されている場合、自動的にラベル付けされ得る。環境の表現は、セマンティック情報を使用して少なくとも部分的に合成されるため、低確率の事象を表現することができ、それによって、より包括的なテストが提供され、したがって、ＡＶ制御ソフトウェアの安全性が向上する。このように、ＡＶのトレーニングデータを取得することが改良される。
【0016】
追加的及び／又は代替的に、第一の態様は、機械学習モデルのためのトレーニングデータを生成するためのコンピュータ実装方法であって、
その方法が、抽象的表現（セマンティック情報）からの画像生成に基づき、及び／又は
その方法が、１つ以上の学習された、又はヒューリスティクスベースの画像変換に基づく、コンピュータ実装方法を提供する。
その方法が、抽象的表現（セマンティック情報）からの画像生成に基づき、及び／又は
その方法が、１つ以上の学習された、又はヒューリスティクスベースの画像変換に基づく、コンピュータ実装方法を提供する。
【0017】
変換の例としては、天候の編集、部分的又は完全な画像合成、路面操作、動的アクタ操作、及びこれらの組み合わせが挙げられる。変換は、連鎖させることができる。
【0018】
特に、データの変換は、そのようなデータでトレーニングされたモデルの性能を向上させるために設計され、必ずしも自然／現実的な画像に完全に類似させる必要はない。
【0019】
言い換えれば、シーンの構造の抽象的表現は、その上でトレーニングされた視覚機械学習モデルの性能を最大化する視覚トレーニングデータを生成するためのガイダンスとして使用される。性能を最大化することは、必ずしもデータが現実的／自然な画像のマニホールド上にあることを意味しない。
【0020】
既存の解決策は、フォトリアリズムに焦点を置いており、最大限に情報を与えるトレーニングデータを生成することに焦点を置いていない。この方法は、最適なトレーニングデータを生成することに焦点を置き、その最適なトレーニングデータは、自然／現実的な画像のマニホールドの分布に従うとは限らないか、又はそのマニホールドの上にあるとは限らない。これは、トレーニングプロセスの間、データがどの程度情報を与えるかを測定できることを意味する。
【0021】
従来の方法とは対照的に、第一の態様に従う方法は、直接的に、又は単純な空間（例えばセマンティックセグメンテーション）におけるシミュレーション及び構成を活用することによって、コンピュータで（ｉｎ ｓｉｌｉｃｏ）トレーニングデータを生成し、次いでこの表現から十分に現実的な画像を合成する（この目的は、所与のタスク又はモデルにとって最適なトレーニングデータを合成することである）。多くの場合、これは自然な画像の分布とは別の分布に従うことによって達成することができる。さらに、本発明者らは変換の構成の組み立て（ｃｏｍｐｏｓａｂｉｌｉｔｙ）を可能にする。
【0022】
さらにまた、実際のデータ及び合成データを、異なる分布、例えば、昼から夜への変換に従うように変換／適応させ、この場合も最適なトレーニングデータを得ることが目的である。
【0023】
さらに、この方法は、既存（自然又は合成）の画像の構造を直接的に変換することができる。この例としては、以下に説明するように、道路アクタ（歩行者、車両）の移動／除去／配置、路面及び構造（道路標識、車線など）の操作が挙げられる。
【0024】
（コンピュータ実装方法）
この方法は、例えば、プロセッサ及びメモリを含むコンピュータによってコンピュータ実装される。適切なコンピュータは、公知である。
この方法は、例えば、プロセッサ及びメモリを含むコンピュータによってコンピュータ実装される。適切なコンピュータは、公知である。
【0025】
この方法は、例えば、第二の態様に従って、例えば、機械学習（ＭＬ）アルゴリズムをトレーニングするためのトレーニングデータ（ｄａｔａ）（すなわち、複数のデータ、なお、単数は、データム（ｄａｔｕｍ））を生成するものである。ＭＬアルゴリズムは、第二の態様に関して説明した通りであり得る。
【0026】
（環境の表現の提供）
この方法は、環境の表現を提供することを含む。一般に、シナリオは、その中に自車両、第一のアクタ（すなわち、少なくとも１つのアクタ）を含むアクタのセット、及び任意選択で第一のオブジェクトを含むオブジェクトのセットを有する環境を含む。シーンとしても知られている環境は、典型的には、当業者によって理解されるように、１つ以上の車線を有する１つ以上の道路、及び任意選択で１つ以上の障害物を含む。一般に、自車両は、対象のコネクテッド車両及び／又は自動車両であり、その挙動が、テスト、トライアル、又は運用シナリオにおいて主要な関心事である。自車両の挙動は、その制御ソフトウェア（ＡＶスタックとしても知られている）によって規定されることを理解すべきである。一例では、第一のアクタは道路利用者であり、例えば車両、歩行者、又はサイクリストである。他の道路利用者も知られている。一例では、第一のオブジェクトは、インフラストラクチャ、例えば信号機、もしくは静的な道路利用者を含み、及び／又はそれらである。一例では、アクタのセットはＡ個のアクタを含み、Ａは、１以上の自然数、例えば、１、２、３、４、５、６、７、８、９、１０又はそれ以上である。一例では、オブジェクトのセットはＯ個のオブジェクトを含み、Ｏは、１以上の自然数、例えば、１、２、３、４、５、６、７、８、９、１０又はそれ以上である。一例では、環境の表現は、例えば、生データ形式（バイナリ、ビットマップ、ＴＩＦＦ、ＭＲＣなど）又は別の画像データ形式（ＰＮＧ、ＪＰＥＧ）で保存された画像、符号化された画像、合成された画像、他の部分画像を参照して規定された画像、ベクトルグラフィックなどである。
この方法は、環境の表現を提供することを含む。一般に、シナリオは、その中に自車両、第一のアクタ（すなわち、少なくとも１つのアクタ）を含むアクタのセット、及び任意選択で第一のオブジェクトを含むオブジェクトのセットを有する環境を含む。シーンとしても知られている環境は、典型的には、当業者によって理解されるように、１つ以上の車線を有する１つ以上の道路、及び任意選択で１つ以上の障害物を含む。一般に、自車両は、対象のコネクテッド車両及び／又は自動車両であり、その挙動が、テスト、トライアル、又は運用シナリオにおいて主要な関心事である。自車両の挙動は、その制御ソフトウェア（ＡＶスタックとしても知られている）によって規定されることを理解すべきである。一例では、第一のアクタは道路利用者であり、例えば車両、歩行者、又はサイクリストである。他の道路利用者も知られている。一例では、第一のオブジェクトは、インフラストラクチャ、例えば信号機、もしくは静的な道路利用者を含み、及び／又はそれらである。一例では、アクタのセットはＡ個のアクタを含み、Ａは、１以上の自然数、例えば、１、２、３、４、５、６、７、８、９、１０又はそれ以上である。一例では、オブジェクトのセットはＯ個のオブジェクトを含み、Ｏは、１以上の自然数、例えば、１、２、３、４、５、６、７、８、９、１０又はそれ以上である。一例では、環境の表現は、例えば、生データ形式（バイナリ、ビットマップ、ＴＩＦＦ、ＭＲＣなど）又は別の画像データ形式（ＰＮＧ、ＪＰＥＧ）で保存された画像、符号化された画像、合成された画像、他の部分画像を参照して規定された画像、ベクトルグラフィックなどである。
【0027】
環境の表現は、規定された構造及び／又は規定された形状を有し、したがって、グラウンドトゥルースを提供する。すなわち、環境の表現は、当業者によって理解されるように、１つ以上の車線と、任意選択で１つ以上の障害物とを有する１つ以上の道路を含む。
【0028】
一例では、環境の表現を提供するステップは、環境の画像を少なくとも部分的に取得（キャプチャとしても知られている）することを含む。したがって、環境の表現は、モザイクのように、部分的に合成され、部分的に取得されてもよい。
【0029】
一例では、環境の表現を提供するステップは、環境の画像を少なくとも部分的に意セマンティックに構成することを含む。セマンティックな構成は、公知である。このように、低確率の事象を含むようなターゲット環境をセマンティックに構成してもよい。
【0030】
一例では、環境の表現を提供するステップは、環境の画像をインペインティングすること（ｉｎｐａｉｎｔｉｎｇ）を含む。このように、画像は、トレーニングのためにレンダリングすることができる。
【0031】
（トレーニングデータの生成）
この方法は、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによって、環境の第一の変換された表現を含む、変換された表現のセットを含むトレーニングデータを生成するステップを含む。一例では、変換された表現のセットは、Ｔ個の変換された表現を含み、Ｔは、１以上の自然数、例えば、１、２、３、４、５、６、７、８、９、１０、２０、５０、１００、２００、５００、１，０００、２，０００、５，０００、１０，０００、２０，０００、５０，０００又はそれ以上である。このように、トレーニングのための十分なデータセットを提供することができる。特に表現を変換することは、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１９０７．１１００４．ｐｄｆに記載されている通りであり得、この主題は、全体が参照により本明細書に組み込まれる。
この方法は、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによって、環境の第一の変換された表現を含む、変換された表現のセットを含むトレーニングデータを生成するステップを含む。一例では、変換された表現のセットは、Ｔ個の変換された表現を含み、Ｔは、１以上の自然数、例えば、１、２、３、４、５、６、７、８、９、１０、２０、５０、１００、２００、５００、１，０００、２，０００、５，０００、１０，０００、２０，０００、５０，０００又はそれ以上である。このように、トレーニングのための十分なデータセットを提供することができる。特に表現を変換することは、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１９０７．１１００４．ｐｄｆに記載されている通りであり得、この主題は、全体が参照により本明細書に組み込まれる。
【0032】
一例では、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成するステップは、第一のトレーニングされた変換を含むトレーニングされた変換（アダプタとしても知られている）のそれぞれのセットを使用して、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成することを含む。このように、トレーニングデータの生成が改良される。
【0033】
一例では、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成するステップは、第一のヒューリスティクスベースの変換を含むヒューリスティクスベースの変換のそれぞれのセットを使用して、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成することを含む。ヒューリスティクスベースの変換は、公知である。
【0034】
一例では、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成するステップは、第一の増強を含む増強のそれぞれのセットを使用して、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成することを含む。画像の増強は、公知である。
【0035】
一例では、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成するステップは、第一の条件を含む条件のそれぞれのセットを使用して、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成することを含む。一例では、第一の条件は、天候条件（例えば、太陽、雨、雲、雪、霧雨、霧）、季節条件（例えば、春、夏、秋、冬）、時間条件（昼、夜）、明るさ条件（まぶしい太陽、街灯、ヘッドライト）である。一例では、条件のセットはＣ個の条件を含み、Ｃは、１以上の自然数、例えば、１、２、３、４、５、６、７、８、９、１０、２０、５０、１００、２００、５００、又はそれ以上である。一例では、第一の条件を含む条件のそれぞれのセットを使用して、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することは、そのセットの複数の条件を使用することを含む。このように、条件を組み合わせてもよい。
【0036】
一例では、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成するステップは、環境の表現のセットを混合することを含む。このように、環境のさらなる表現を安価に生成することができる。
【0037】
一例では、環境の第一の変換された表現は、環境の表現の規定された構造及び／又は規定された形状を有する。このように、環境の表現のグラウンドトゥルースは、環境の第一の変換された表現に対して維持される。
【0038】
一例では、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成するステップは、環境の表現の規定された構造を、環境の第一の変換された表現の再規定された構造に再規定することを含む。このように、環境の表現のグラウンドトゥルースは、例えば、公知の方法で、環境の第一の変換された表現に対して再規定される。
【0039】
（環境の画像の合成）
環境の表現を提供するステップは、セマンティック情報を使用して環境の画像を少なくとも部分的に合成することを含む。
環境の表現を提供するステップは、セマンティック情報を使用して環境の画像を少なくとも部分的に合成することを含む。
【0040】
一例では、セマンティック情報を使用して環境の画像を少なくとも部分的に合成することは、データベースから、又は学習によって、セマンティック情報に対応する画像又はその一部を取得することを含む。
【0041】
（ＭＬアルゴリズムをトレーニングする方法）
第二の態様は、機械学習（ＭＬ）アルゴリズムをトレーニングするコンピュータ実装方法であって、その方法が、
第一の態様に従って環境の第一の変換された表現を含む変換された表現のセットを含むトレーニングデータを生成するステップと、
第一のクラスを含むクラスのセットに従って変換された表現のセットを分類することを含むＭＬアルゴリズムをトレーニングするステップと
を含む、コンピュータ実装方法を提供する。
第二の態様は、機械学習（ＭＬ）アルゴリズムをトレーニングするコンピュータ実装方法であって、その方法が、
第一の態様に従って環境の第一の変換された表現を含む変換された表現のセットを含むトレーニングデータを生成するステップと、
第一のクラスを含むクラスのセットに従って変換された表現のセットを分類することを含むＭＬアルゴリズムをトレーニングするステップと
を含む、コンピュータ実装方法を提供する。
【0042】
このように、変換された表現のセットは、例えば、環境の変換された表現を含む特定のシナリオをテストするために分類される。
【0043】
（コンピュータ実装方法）
この方法は、例えば、プロセッサ及びメモリを含むコンピュータによってコンピュータ実装される。適切なコンピュータは、公知である。
この方法は、例えば、プロセッサ及びメモリを含むコンピュータによってコンピュータ実装される。適切なコンピュータは、公知である。
【0044】
この方法は、ＭＬアルゴリズムをトレーニングするものである。
【0045】
（トレーニングデータの生成）
この方法は、第一の態様に従って環境の第一の変換された表現を含む変換された表現のセットを含むトレーニングデータを生成するステップを含む。
この方法は、第一の態様に従って環境の第一の変換された表現を含む変換された表現のセットを含むトレーニングデータを生成するステップを含む。
【0046】
（表現の分類）
この方法は、第一のクラスを含むクラスのセットに従って変換された表現のセットを分類することを含むＭＬアルゴリズムをトレーニングするステップを含む。
この方法は、第一のクラスを含むクラスのセットに従って変換された表現のセットを分類することを含むＭＬアルゴリズムをトレーニングするステップを含む。
【0047】
一例では、第一のクラスを含むクラスのセットは、例えば、第一の態様に関して説明したように、第一の条件を含む条件のセットである。
【0048】
一例では、この方法は、第一の条件に関連付けられた第一の特性的特徴を含む、特性的（中間的（ｉｎｔｅｒｍｅｄｉａｒｙ）としても知られている）特徴のセットを識別するステップを含む。このように、第一の条件に関連付けられた特性的特徴又は区別的特徴を識別し、新たな条件を発見することなどの比較のために使用することができる。
【0049】
（クラスを決定する方法）
第三の態様は、第二の態様に従ってトレーニングされた機械学習（ＭＬ）アルゴリズムを使用して環境の表現のクラスを決定するコンピュータ実装方法であって、その方法が、
トレーニングされたＭＬアルゴリズムを使用して環境の表現のクラスを推論することを含む、環境の表現のクラスを決定するステップ
を含む、コンピュータ実装方法を提供する。
第三の態様は、第二の態様に従ってトレーニングされた機械学習（ＭＬ）アルゴリズムを使用して環境の表現のクラスを決定するコンピュータ実装方法であって、その方法が、
トレーニングされたＭＬアルゴリズムを使用して環境の表現のクラスを推論することを含む、環境の表現のクラスを決定するステップ
を含む、コンピュータ実装方法を提供する。
【0050】
（コンピュータ実装方法）
この方法は、例えば、プロセッサ及びメモリを含むコンピュータによってコンピュータ実装される。適切なコンピュータは、公知である。
この方法は、例えば、プロセッサ及びメモリを含むコンピュータによってコンピュータ実装される。適切なコンピュータは、公知である。
【0051】
この方法は、例えば、第二の態様に関して説明したように、環境の表現のクラスを決定するものである。
【0052】
（表現のクラスの推論）
この方法は、例えば、第二の態様に関して説明したように、トレーニングされたＭＬアルゴリズムを使用して環境の表現のクラスを推論することを含む、環境の表現のクラスを決定するステップを含む。
この方法は、例えば、第二の態様に関して説明したように、トレーニングされたＭＬアルゴリズムを使用して環境の表現のクラスを推論することを含む、環境の表現のクラスを決定するステップを含む。
【0053】
一例では、この方法は、推論されたクラスの信頼度スコアを計算するステップを含む。例えば、計算された信頼度は、テスト中に使用することができる。
【0054】
一例では、この方法は、環境の表現の条件に関連付けられた、第一の特徴を含む特徴のセットを識別するステップを含む。
【0055】
一例では、この方法は、識別された特徴のセットを、環境の表現の条件に関連付けられた特性的特徴のセットと比較するステップを含む。
【0056】
一例では、この方法は、比較の結果に基づいて環境の表現を記憶するステップを含む。
【0057】
一例では、この方法は、環境の記憶された表現を使用して変換をトレーニングするステップを含む。
【0058】
一例では、この方法は、例えば、第一の態様に従って、トレーニングされた変換を使用してトレーニングデータを生成するステップを含む。
【0059】
一例では、この方法は、生成されたトレーニングデータを使用してＭＬアルゴリズムをトレーニングするステップを含む。
【0060】
一例では、この方法は、生成されたトレーニングデータを使用してＭＬアルゴリズムを検証するステップを含む。
【0061】
一例では、この方法は、比較の結果に基づいて動作を実行するステップを含む。このように、下流タスクは、例えば、そのパラメータを選択することなどにより、トレーニング又は調整され得る。
【0062】
（テスト方法）
第四の態様は、自車両、例えば、その制御ソフトウェアをテストするコンピュータ実装方法、例えば、インストール、保証、検証、実証、回帰及び／又は進行をテストするコンピュータ実装方法であって、その方法が、
第一の態様に従ってトレーニングデータを生成するステップと、
自車両、第一のアクタを含むアクタのセット、及び任意選択で第一のオブジェクトを含むオブジェクトのセットをその中に有する環境の第一の変換された表現を含むシナリオをシミュレートするステップと
を含み、第一のシナリオをシミュレートするステップが、
シナリオにおける自車両の欠陥を識別するステップ
を含む、コンピュータ実装方法を提供する。
第四の態様は、自車両、例えば、その制御ソフトウェアをテストするコンピュータ実装方法、例えば、インストール、保証、検証、実証、回帰及び／又は進行をテストするコンピュータ実装方法であって、その方法が、
第一の態様に従ってトレーニングデータを生成するステップと、
自車両、第一のアクタを含むアクタのセット、及び任意選択で第一のオブジェクトを含むオブジェクトのセットをその中に有する環境の第一の変換された表現を含むシナリオをシミュレートするステップと
を含み、第一のシナリオをシミュレートするステップが、
シナリオにおける自車両の欠陥を識別するステップ
を含む、コンピュータ実装方法を提供する。
【0063】
（コンピュータ、コンピュータプログラム、非一時的コンピュータ可読記憶媒体）
第五の態様は、第一の態様、第二の態様、第三の態様及び／又は第四の態様に従う方法を実行するように構成されたプロセッサ及びメモリを含むコンピュータを提供する。
第五の態様は、第一の態様、第二の態様、第三の態様及び／又は第四の態様に従う方法を実行するように構成されたプロセッサ及びメモリを含むコンピュータを提供する。
【0064】
第六の態様は、プロセッサ及びメモリを含むコンピュータによって実行されると、第一の態様、第二の態様、第三の態様及び／又は第四の態様に従う方法をコンピュータに実行させる命令を含むコンピュータプログラムを提供する。
【0065】
第七の態様は、プロセッサ及びメモリを含むコンピュータによって実行されると、第一の態様、第二の態様、第三の態様及び／又は第四の態様に従う方法をコンピュータに実行させる命令を含む、非一時的コンピュータ可読記憶媒体を提供する。
【0066】
（定義）
本明細書を通じて、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」又は「含む（ｃｏｍｐｒｉｓｅｓ）」という用語は、指定された構成要素を含むが、他の構成要素の存在を排除しないことを意味する。「から本質的になっている」又は「から本質的になる」という用語は、指定された構成要素を含むが、不純物として存在する材料、構成要素を提供するために使用されるプロセスの結果として存在する避けられない材料、及び着色剤などの本発明の技術的効果を達成する以外の目的で追加される構成要素を除く他の構成要素を除外することを意味する。
本明細書を通じて、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」又は「含む（ｃｏｍｐｒｉｓｅｓ）」という用語は、指定された構成要素を含むが、他の構成要素の存在を排除しないことを意味する。「から本質的になっている」又は「から本質的になる」という用語は、指定された構成要素を含むが、不純物として存在する材料、構成要素を提供するために使用されるプロセスの結果として存在する避けられない材料、及び着色剤などの本発明の技術的効果を達成する以外の目的で追加される構成要素を除く他の構成要素を除外することを意味する。
【0067】
「からなっている（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」又は「からなる（ｃｏｎｓｉｓｔｓ ｏｆ）」という用語は、指定された構成要素を含むが、他の構成要素を除外することを意味する。
【0068】
適切な場合にはいつでも、文脈に応じて、「含む」又は「含んでいる」という用語の使用は、「から本質的になる」又は「から本質的になっている」という意味を含むと解釈されることもでき、また、「からなる」又は「からなっている」という意味を含むと解釈されることもできる。
【0069】
本明細書で提示される任意の特徴は、適切な場合、個々に又は互いに組み合わせて、特に添付の特許請求の範囲に提示されるような組み合わせで使用することができる。本明細書で提示される、本発明の各態様又は例示的な実施形態に対する任意の特徴は、適切な場合、本発明の他の全ての態様又は例示的な実施形態にも適用可能である。言い換えれば、本明細書を読む当業者は、本発明の各態様又は例示的な実施形態に対する任意の特徴を、異なる態様と例示的な実施形態との間で交換可能であり、かつ組み合わせ可能であると考慮すべきである。
【図面の簡単な説明】
【0070】
本発明をより良く理解するために、また、その例示的な実施形態がどのように実施され得るかを示すために、例示のみの目的のために、添付の図面を参照する。
【0071】
【図1】例示的な実施形態による方法を詳細に概略的に示す。
【図2】例示的な実施形態による方法を詳細に概略的に示す。
【図4】例示的な実施形態による方法を詳細に概略的に示す。
【図6】例示的な実施形態による方法を詳細に概略的に示す。
【図8】例示的な実施形態による方法を詳細に概略的に示す。
【図10】例示的な実施形態による方法を詳細に概略的に示す。
【図12】例示的な実施形態による方法を詳細に概略的に示す。
【図15】例示的な実施形態による方法を詳細に概略的に示す。
【図16】例示的な実施形態による方法を詳細に概略的に示す。
【図17】例示的な実施形態による方法を詳細に概略的に示す。
【図18】例示的な実施形態による方法を詳細に概略的に示す。
【図19】例示的な実施形態による方法を詳細に概略的に示す。
【図20】例示的な実施形態による方法を詳細に概略的に示す。
【図21】例示的な実施形態による方法を詳細に概略的に示す。
【図22】画像の例を示す。
【図23】画像の例を示す。
【図24】画像の例を示す。
【発明を実施するための形態】
【0072】
概して、図１～図１４は、第一の態様に関して記載されるようなトレーニングデータを生成するコンピュータ実装方法を概略的に示し、この方法は、
環境の表現を提供するステップであって、環境の表現が、規定された構造及び／又は規定された形状を有する、ステップと、
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、環境の第一の変換された表現を含む、変換された表現のセットを含むトレーニングデータを生成するステップと
を含み、環境の表現を提供するステップは、セマンティック情報を使用して環境の画像を少なくとも部分的に合成することを含む。
環境の表現を提供するステップであって、環境の表現が、規定された構造及び／又は規定された形状を有する、ステップと、
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、環境の第一の変換された表現を含む、変換された表現のセットを含むトレーニングデータを生成するステップと
を含み、環境の表現を提供するステップは、セマンティック情報を使用して環境の画像を少なくとも部分的に合成することを含む。
【0073】
図１は、例示的な実施形態による方法を詳細に概略的に示す。
【0074】
特に、図１は、ラベル付けされたデータＤＬを含むコーパス１を示し、データは、手動又は自動でラベル付けされたデータＤＵ、及びラベル付けされていないデータＤＵである。ラベル付けされたデータＤＬは、環境のオリジナル画像ＩＯ、及びそのそれぞれのセマンティックマップ／オブジェクト位置／深度ＳＭＯＤを含む。ラベル付けされていないデータＤＵは、第一の条件Ｃ１（例えば、湿潤）、第二の条件Ｃ２（例えば、雪）、及び第三の条件Ｃ３（例えば、夜）を含む条件のセットを含む。
【0075】
図２は、例示的な実施形態による方法２を詳細に概略的に示す。
【0076】
この例では、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成するステップは、第一の条件を含むそれぞれの条件のセットを使用して、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成することを含む。
【0077】
この例では、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成するステップは、任意選択で、第一のトレーニングされた変換を含むトレーニングされた変換（アダプタとしても知られている）のそれぞれのセットを使用して、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成することを含む。
【0078】
この例では、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成するステップは、任意選択で、第一のヒューリスティクスベースの変換を含むそれぞれのヒューリスティクスベースの変換のセットを使用して、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成することを含む。
【0079】
一例では、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成するステップは、任意選択で、第一の増強を含むそれぞれの増強のセットを使用して、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによってトレーニングデータを生成することを含む。
【0080】
図２を参照すると、データ拡張は、画像増強タスク２０を実行することによって実行され得る。画像増強タスク２０は、敵対的生成エージェント（ＧＡＮ）を使用して実行され得る。オリジナル画像ＩＯ及びセマンティックマップ／オブジェクト／深度ＳＭＯＤは、ＧＡＮへの入力である。ＧＡＮは、オリジナル画像に基づいて増強画像を出力するようにトレーニングされる。増強画像ＩＡ１、ＩＡ２は、条件、例えば、付着した雨ＩＡ１又は付着した土ＩＡ２で増強されたオリジナル画像ＩＯであり得る。増強画像ＩＡ１、ＩＡ２の構造はオリジナル画像と同じであるため、グラウンドトゥルース、例えば、セマンティックマップ、オブジェクト位置、深度などは依然として有効である。
【0081】
セマンティックマップ、オブジェクト位置、深度ＳＭＯＤ、オリジナル画像ＩＯ、増強画像ＩＡ１、ＩＡ２は、ラベル付けされたデータであってもよい。このように、ＧＡＮをトレーニングすることは、教師ありであり得る。したがって、ＧＡＮは、１つ以上の条件でオリジナル画像を増強するようにトレーニングされ得る。条件は、天候条件、明るさ条件などを含み得る。
【0082】
図３Ａはオリジナル画像を示し、図３Ｂは増強画像（付着した雨）を示し、図３Ｃは図２に関して説明した方法によって生成された増強画像（付着した雨）を示す。それぞれのグラウンドトゥルースは、オリジナル画像又は条件を含む増強画像（図３Ｂ及び図３Ｃ）に対して有効である。
【0083】
図４は、トレーニングデータ例を生成する方法を概略的に示す。
【0084】
特に、図４は、対になっていない翻訳方法を使用したラベル付けされたデータＤＬの拡張４を示す。画像翻訳方法は、画像翻訳タスク２０であり得る。画像翻訳タスクは、サイクル一貫性ＧＡＮを使用して画像を異なるドメインに翻訳することができる。より具体的には、セマンティックマップ、オブジェクト位置、及び深度ＳＭＯＤに加えて、図２の方法を使用して方法から生成された増強画像ＩＡ、及びオリジナル画像ＯＩが、ｃｙｃｌｅＧＡＮに入力される。様々な条件、例えば、条件１（例えば、湿潤）Ｃ１、条件２（例えば、雪）Ｃ２、条件３（例えば、夜）Ｃ３が、ラベル付けされていないデータの形式で、ｃｙｃｌｅＧＡＮに入力され得る。条件データがラベル付けされていないため、ｃｙｃｌｅＧＡＮは教師なし方法でトレーニングされる。
【0085】
ｃｙｃｌｅＧＡＮは、異なる条件、例えば、条件１Ｃ１、条件２Ｃ２、又は条件３Ｃ３に翻訳されたオリジナル画像又は増強画像を出力するようにトレーニングされ得る。異なる条件ＩＣ１、ＩＣ２、ＩＣ３に翻訳されたオリジナル画像又は増強画像は、翻訳画像と呼ばれることがある。翻訳画像ＩＣ１、ＩＣ２、ＩＣ３は、オリジナル画像ＩＯ又は増強画像ＩＡのそれぞれの構造を保持することができ、したがって、それぞれのグラウンドトゥルース（セマンティックマップ、オブジェクト位置、深度）は依然として有効であり得る。
【0086】
図５Ａ及び図５Ｃは、オリジナル画像ＩＯの例を示し、図５Ｂ及び図５Ｄは、図４のｃｙｃｌｅＧＡＮを使用して生成された翻訳画像ＩＣ１、ＩＣ２の例を示す。図５Ｂ及び図５Ｄの翻訳画像の例示的な例は、図５Ａ及び図５Ｃからのオリジナル画像ＩＯを、夜間の条件、例えば、街灯、建物、車両などからの人工的な光である照明の低い明るさレベルで翻訳することによって生成された。
【0087】
【0088】
図５Ｃのオリジナル画像ＩＯは、日中における自動車及びサイクリストを含む都市の中央分離帯のある道路を示す。図５Ｄは、夜間における自動車及びサイクリストを含む都市の中央分離帯のある道路の翻訳画像ＩＣ２を示す。それぞれのグラウンドトゥルースは、オリジナル画像又は条件を含む増強画像（図５Ｂ及び図５Ｄ）に対して有効である。
【0089】
図４、及び図５Ａ～図５Ｄを参照してトレーニングされた離散ｃｙｃｌｅＧＡＮモデルは、単一の条件、例えば、日中又は夜間に関してトレーニングされ得ることに留意されたい。このように、既知の条件の各々に翻訳されたトレーニングデータを生成するために、既知の条件の各々に対して１つずつ、複数の離散ｃｙｃｌｅＧＡＮモデルをトレーニングすることが必要であり得る。
【0090】
【0091】
この例では、環境の表現を提供することは、環境の画像をインペインティングすることを含む。
【0092】
図６を参照すると、インペインティング及び／又は合成タスク６０が実行される。インペインティング及び／又は合成タスクは、ＧＡＮ、サイクル一貫性ＧＡＮ、又は変分オートエンコーダＶＡＥなどのオートエンコーダＡＥの形式をとり得る、インペインティングモデル又は合成モデルによって実行され得る。また、ビジョントランスフォーマ、拡散モデルなどを含む他のモデルを使用することもできる。
【0093】
インペインティングモデル又は合成モデルは、セマンティックマップＳＭ１を受信することができる。インペインティングモデル又は合成モデルは、画像を受信することができる。画像は、オリジナル画像ＩＯ、増強画像ＩＡ、又は翻訳画像ＩＣ１、ＩＣ２、ＩＣ３のいずれであってもよい。インペインティングモデル又は合成モデルは、受信した画像のスタイルにおけるセマンティックマップＳＭ１からの特徴に基づいて合成画像ＩＳを生成するようにトレーニングされ得る。合成画像ＩＳとターゲット画像ＩＴとの間の損失が決定される。ターゲット画像ＩＴは、インペインティングモデル又は合成モデルによって受信された画像であり得る。このように、ターゲット画像ＩＴは、オリジナル画像ＩＯ、増強画像ＩＡ、又は翻訳画像ＩＣ１、ＩＣ２、ＩＣ３であり得る。合成画像ＩＳとターゲット画像ＩＴとの間の損失を低減又は最小化するために、インペインティングモデル又は合成モデルのパラメータ設定（ｐａｒａｍｅｔｅｒｉｓａｔｉｏｎ）を変更又は最適化することができる。
【0094】
【0095】
図７Ａは、自動車を含む田舎の道路のセマンティックマップＳＭ１を示す。図７Ｂは、自動車を含む田舎の道路で日中の合成画像ＩＳを示す。言い換えれば、図７Ｂは、図７ＡのセマンティックマップＳＭ１からの特徴を示す合成モデルによって受信された画像のスタイルでの画像を示す。
【0096】
図７Ｃは、他の車両を含まないが、樹木及び建物を含み、郊外の中央分離帯のない道路の異なるセマンティックマップＳＭ１を示す。図７Ｄは、セマンティックマップＳＭ１に従って、他の車両を含まないが、樹木及び建物を含み、日中の郊外の中央分離帯のない道路の合成画像ＩＳを示す。
【0097】
図８は、セマンティックマップからトレーニング画像を生成する方法を概略的に示す。
【0098】
この例では、環境の表現を提供することは、少なくとも部分的に、環境の画像をセマンティックに構成することを含む。
【0099】
図８の方法は、セマンティックマップコンポーザ８０の追加により、図６の方法と同様に動作する。セマンティックマップコンポーザ８０は、セマンティックマップコンポーザモデルであってもよく、ＧＡＮ、サイクル一貫性ＧＡＮ、又はＶＡＥなどのＡＥを含んでもよい。また、ビジョントランスフォーマ、拡散モデルなどを含む他のモデルを使用することもできる。
【0100】
セマンティックマップコンポーザモデルは、ラベル付けされたデータＬＤのコーパスからの複数のセマンティックマップからの特徴を組み合わせることによって、新しいセマンティックマップＳＭを生成するようにトレーニングされ得る。
【0101】
図９Ａ及び図９Ｃは、セマンティックマップＳＭ１と、セマンティックマップＳＭ１がラベル付けされたデータＬＤのコーパスからのセマンティックマップである合成モデルを使用して取得された合成画像とのペアを示す。図９Ｂ及び図９Ｄは、それぞれ、図９Ａ及び図９Ｃのセマンティックマップに基づいてセマンティックマップコンポーザモデルによって生成された新しいセマンティックマップＳＭのペアを示す。新しいセマンティックマップＳＭは、それぞれのセマンティックマップＳＭ１と同じ道路を示しているが、道路標示は異なっている。各場合、セマンティックマップＳＭ１又は新しいセマンティックマップＳＭは、受信画像のスタイルで画像を生成するために合成モデルによって使用される。
【0102】
【0103】
【0104】
この例では、環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによってトレーニングデータを生成するステップは、環境の表現のセットを混合することを含む。
【0105】
特に、図１０は、他のタスクのトレーニングを加速するために、蒸留された（ｄｉｓｔｉｌｌｅｄ）多様なデータを生成するために、そのセマンティックセグメンテーションマップＳＭｎに対応する任意の他の画像ＩＫ（実際の画像、増強画像、又は合成画像）と直接的に組み合わせる又は混合することによって、セマンティックセグメンテーションマップＳＭｎから導出された最終的な合成画像ＩＦを生成するための、ラベル付けされたデータＤＬの拡張１０を示す。ラベル付けされたデータＬＤに含まれるオリジナル画像又は（第一の条件Ｃ１を含む）増強画像ＩＣ１、（第二の条件Ｃ２を含む）ＩＣ２、及び（第三の条件Ｃ３を含む）ＩＣ３は、同様に、オリジナル画像ＩＯ及び増強画像ＩＡのそれぞれの構造を保持し、したがって、それぞれのグラウンドトゥルース（セマンティックマップ／オブジェクト位置／深度ＳＭＯＤ）は、オリジナル画像又は条件ＩＣ１、ＩＣ２、ＩＣ３を含む増強画像に対して依然として有効である。
【0106】
図１１Ａはオリジナル画像（都市交差点、自動車、夏、建物）を示し、図１１Ｂは条件を含む増強画像（都市交差点、自動車、冬、樹木）を示し、図１１Ｃはオリジナル画像（都市交差点、自動車、雲量１／８、建物）を示し、図１１Ｄは、図１０に関して説明した方法によって生成された、条件を含む増強画像（都市交差点、自動車、雲量７／８、樹木）を示す。それぞれのグラウンドトゥルースは、オリジナル画像又は条件を含む増強画像（図１１Ｂ及び図１１Ｄ）に対して有効である。
【0107】
図１２は、例示的な実施形態による方法を詳細に概略的に示す。
【0108】
この例では、セマンティック情報を使用して環境の画像を少なくとも部分的に合成することは、データベースからセマンティック情報に対応する画像又はその一部を取得することを含む。
【0109】
特に、図１２は、実際の画像、増強画像、又は合成画像（共通のセグメンテーションマップを有する及び有しない）を、それらのセグメンテーションマップを使用してビルディングブロック（ブロブと称される）に分解できることを示す。複数のブロブは、ブロブデータベース（「実際の」画像ブロブデータベースＩＲ ＤＢ及び「合成」画像ブロブデータベースＩＳ ＤＢ）に形成され得る。シーンコンポーザ１２０は、複数のデータベースＩＲ ＤＢ、ＩＳ ＤＢからのブロブを新しい合成画像ＩＦ及びセグメンテーションマップに組み合わせるために使用される。
【0110】
図１３Ａは、オリジナル画像を示し、図１３Ｂは、ブロブ、例えば、瓦礫を保管する荷積みプラットフォームを含む増強画像を示す。図１３Ｃは、オリジナル画像を示し、図１３Ｄは、図１２に関して説明した方法によって生成された、ブロブ、例えば、自動車を含む増強画像を示す。それぞれのグラウンドトゥルースは、オリジナル画像又は条件を含む増強画像（図１３Ｂ及び図１３Ｄ）に対して有効である。
【0111】
図１４Ａ～図１４Ｆは、新しい条件、外観、構造、及びトレーニングデータを得るために連鎖的に適用された上記の変換の例を示す。図１４Ａはオリジナルフェイク（郊外、２車線、雲量７／８、冬、昼）を示し、図１４Ｂは変更された道路標示（３車線）を示し、図１４Ｃはクラススイッチ（秋）をさらに示し、図１４Ｄは追加された道路利用者（サイクリスト）をさらに示し、図１４Ｅは変化した条件（例えば、天候）（雨）をさらに示し、図１４Ｆは変更された時間帯（夜）をさらに示す。
【0112】
【0113】
上述したように、最終的な合成画像は、抽象的な表現（例えば、セマンティックマップ又はバウンディングボックス、図６～図７Ｄ）から導出されてもよく、及び／又は別の画像に対する変換の結果であってもよい（図２～図５Ｄ）。
【0114】
当業者に理解されるように、画像合成器ネットワーク（例えば、この特定の例ではＳＰＡＤＥ）は、他のアーキテクチャと交換可能である。
【0115】
上記のプロセスは、車両／プラットフォームが、新しい、変化する、又は未知の領域を探索する際に、リアルタイム又はほぼリアルタイムで下流タスクを改良するために、オンライン（車両上、プラットフォーム上）方式で適用できる可能性がある。
【0116】
概して、図１５～図１７は、第二の態様に関して説明されるように、機械学習（ＭＬ）アルゴリズムをトレーニングするコンピュータ実装方法を概略的に示し、この方法は、
第一の態様に従って、環境の第一の変換表現を含む変換表現のセットを含むトレーニングデータを生成するステップと、
第一のクラスを含むクラスのセットに従って変換された表現のセットを分類することを含む、ＭＬアルゴリズムをトレーニングするステップと
を含む。
第一の態様に従って、環境の第一の変換表現を含む変換表現のセットを含むトレーニングデータを生成するステップと、
第一のクラスを含むクラスのセットに従って変換された表現のセットを分類することを含む、ＭＬアルゴリズムをトレーニングするステップと
を含む。
【0117】
【0118】
特に、条件分類器１５０が、入力データ（すなわち、既知の条件を含む画像）ＩＣＫの条件又は外観を検出及び分類するようにトレーニングされる。条件分類器１５０は、ニューラルネットワークであり得る。条件分類器１５０は、予測条件ＰＣと現在の条件（ａｃｔｕａｌ ｃｏｎｄｉｔｉｏｎ）ＡＣとの間の分類損失を低減又は最小化するようにトレーニングされる。現在の条件ＡＣは既知の条件であり、入力データＩＣＫに関連付けられた条件である。
【0119】
さらに、条件分類器１５０の動作の一部として発せられた、又は生成された条件固有中間特徴（予測条件特徴ＰＣＦ）が、データベースＣＦ ＤＢに保存され得る。「特徴」という用語は、この文脈では、ニューラルネットワーク内からの活性化、又はニューラルネットワーク内からの活性化関数からの出力を意味するために使用され得る。ニューラルネットワーク内の各ノードの活性化関数のそれぞれの出力に各々関連付けられた、複数の予測条件特徴が存在し得る。このように、全ての活性化出力は予測条件特徴ＰＣＦとして記憶され得る。予測条件特徴ＰＣＦは、条件特徴データベースＣＦ ＤＢと呼ばれるデータベースに記憶され得る。
【0120】
条件分類器１５０は、任意選択で、予測に対する信頼度スコアＰｒを発することができる。予測信頼度Ｐｒは、取得された画像の条件が画像の１つ以上の未知の条件のうちの１つであるというニューラルネットワークの出力層の確率であり得る。例えば、ソフトマックス出力層が使用される場合、出力層の各ノードに関連付けられた確率が予測信頼度Ｐｒとして取り込まれる。
【0121】
この例では、既知の条件ＩＣＫを有する画像は、ラベル付けされたデータＬＤ（実際のデータ又は合成データ）に含まれる第一の条件Ｃ１（例えば、湿潤）、第二の条件Ｃ２（例えば、雪）、第三の条件Ｃ３（例えば、夜）、第四の条件Ｃ４（例えば、付着した水滴）、…、第Ｎの条件を含むセットを使用して生成される。
【0122】
図１６は、例示的な実施形態による方法１６を詳細に概略的に示し、概して方法１５に関して説明した通りであるが、簡潔にするために、その繰り返しは省略している。より具体的には、図１６は、新しい条件を識別する方法を概略的に示す。
【0123】
図１６では、未知の条件を含む入力画像ＩＣＵが、自律走行車両の１つ以上の画像センサによって取得される。取得された画像ＩＣＵは、条件分類器１５０に適用される。条件は、天候状態、時間帯、明るさ条件などの条件であり得る。条件分類器１５０は、入力画像ＩＣＵに基づいて、予測条件特徴ＰＣＦ、予測条件ＰＣ、及び予測信頼度Ｐｒを出力するように構成される。
【0124】
次に、方法は、条件特徴データベースＣＦ ＤＢにおいて類似特徴をチェックすることを含む。１６１において、予測信頼度Ｐｒが低い場合、例えば、信頼度閾値を下回る場合、又はデータベース内に類似特徴が存在しない場合、条件は新しい条件であると判定される。新しい条件は、１６２において新しい条件画像バッファＣＩＢに保存される。
【0125】
例えば、既知の条件は、１００％の明るさ、例えば日中であり得、別の既知の条件は０～２０％の明るさ、例えば夜間であり得る。入力画像ＩＣＵが、例えば５０％の明るさである夕方の時間帯に自律走行車両のカメラによってキャプチャされた場合、予測条件特徴ＰＣＦは、既知の条件のいずれについても予測条件特徴ＰＣＦを表さない。入力画像ＩＣＵについての条件特徴と既知の条件の条件特徴を比較するために、任意の適切なマッチャー（ｍａｔｃｈｅｒ）が使用され得る。
【0126】
図１７は、例示的な実施形態による方法１７を詳細に概略的に示し、概して方法１６に関して説明した通りであるが、簡潔にするために、その繰り返しは省略している。
【0127】
より具体的には、図１７は、条件固有の下流タスク、例えば、セマンティックセグメンテーション、オブジェクト検出、オブジェクト認識などを実行する方法１７を概略的に示す。
【0128】
方法１７は、１６０において特徴データベース内の類似特徴をチェックすることを含むまでは方法１６と同じである。
【0129】
次に、１７１において、条件特徴データベースＣＦ ＤＢ内に類似の特徴が存在し、予測信頼度Ｐｒが閾値を上回る場合、１７２において、パラメータ特徴データベースＰ ＤＢからパラメータが選択される。パラメータは、下流タスクに使用される特定の機械学習モデルのパラメータであってもよい。例えば、パラメータは、ニューラルネットワークの重みを含み得る。パラメータは、特定の下流タスクを実行するために機械学習モデルをトレーニングする際に決定される。例えば、セマンティックセグメンテーションを実行するために１００％の明るさの条件を使用してトレーニングされたモデルは、特定の重みを有する。セマンティックセグメンテーションを実行するために２０％の明るさの条件を使用してトレーニングされた方法は、異なる重みを有する。したがって、セマンティックセグメンテーションモデルには、複数のパラメータ設定が存在してもよく、モデルを使用してトレーニングされた各条件について１つの個別のパラメータ設定が存在してもよい。
【0130】
パラメータ設定が検索されると、特定の下流タスクが実行され得、例えば画像がパラメータ化され得る。
【0131】
これを行うために、方法は、予測信頼度を信頼度閾値と比較するステップと、１つ以上の予測信頼度特徴と、既知の条件の１つ以上のそれぞれの信頼度特徴との間の類似度を決定するステップとをさらに含み得る。
【0132】
上記の説明は、新しい条件と、下流タスクのパラメータ設定が知られている既知の条件との間が非常に近い、又は完全に一致する場合に適用可能である。この場合、予測信頼度Ｐｒが信頼度閾値を上回り、１つ以上の予測信頼度特徴の類似度がマッチング（ｍａｔｃｈｉｎｇ）閾値より大きいとき、方法は、パラメータデータベースから機械学習モデルを検索するステップであって、検索された機械学習モデルは、取得された画像と一致する条件を含む画像内での機械学習モデルのトレーニングから得られたパラメータ設定を有し、パラメータ設定データベースは、複数の機械学習モデルを含み、各々は、異なる条件を含む画像を使用した機械学習モデルのトレーニングから導出された異なるパラメータ設定を有する、ステップと、取得された画像を検索された機械学習モデルに適用することによってタスクを実行するステップとをさらに含む。
【0133】
類似の条件は、類似のアプローチを使用することができる。このような条件は、新しい条件の特徴と既知の条件についての特徴との間の一致が類似しているが、密接に一致していない場合である。例えば、第一の閾値と第二の閾値との差である。この場合、１７２においてパラメータデータベースＰ ＤＢから検索されたパラメータは、既知の最も近いパラメータ設定から補間され得る。例えば、密接に一致するパラメータ設定についてのモデルの重みは、新しい重みのセットで類似のモデルを生成するために補間され得る。下流の特定のタスク１７４は、補間されたパラメータ設定を有するモデルを使用して実行され得る。
【0134】
換言すれば、この場合に関して、予測信頼度が信頼度閾値を上回るとき、及び１つ以上の予測信頼度特徴の類似度が非類似閾値よりも大きく、マッチング閾値未満であるとき、方法は、パラメータデータベースから機械学習モデルを検索するステップであって、検索された機械学習モデルは、取得された画像に最も近い条件を含む画像内の機械学習モデルのトレーニングから得られたパラメータ設定を有し、パラメータ設定データベースは、複数の機械学習モデルを含み、各々は、異なる条件を含む画像を使用した機械学習モデルのトレーニングから導出された異なるパラメータ設定を有する、ステップと、予測条件特徴と、検索された機械学習モデルに関連付けられた条件の条件特徴との差を使用して、そのパラメータ設定を補間することによって、検索された機械学習モデルを修正するステップと、補間されたパラメータ設定を有する機械学習モデルに取得された画像を適用することによってタスクを実行するステップとをさらに含む。
【0135】
いずれの場合も、方法は、次いで、タスクを実行した結果に基づいて、自律走行車両が経路を横断することを制御することをさらに含み得る。
【0136】
逆に、図１６による方法のように、予測信頼度が信頼度閾値未満である場合、及び／又は１つ以上の予測信頼度特徴の類似度が非類似閾値未満である場合、方法は、検索された画像を未知の条件を含む画像として記憶するステップと、任意選択で、自律走行車両によって、最小リスク操作を実行するステップとをさらに含む。最小リスク操作は、例えば、緊急停止、又は例えば、道路脇への停車を含むことができる。
【0137】
上記の説明から明らかであるはずであるように、タスクは、セマンティックセグメンテーション、オブジェクト検出、及びオブジェクト認識を含むリストから選択され得る。
【0138】
上記の説明から明らかであるはずであるように、画像の条件は、天候の種類、天候の種類の等級、明るさ、明るさの等級、時間帯、及び季節を含むリストから選択され得る。このリストは、包括的なものではない。条件は、同様に、条件分類器において生成される特徴又は特徴の要約／統計によって特徴付けることができる。
【0139】
上記の説明から明らかなように、図１７は、機械学習モデルを使用してタスクを実行する自律走行車両のコンピュータ実装方法として要約できる方法を説明し、コンピュータ実装方法は、自律走行車両の環境の画像を取得するステップと、取得された画像を条件分類器に適用するステップであって、条件分類器は、取得された画像の条件に関連付けられた１つ以上の値を生成するように構成される、ステップと、１つ以上の値に基づいて機械学習モデルのパラメータ設定を決定するステップと、決定されたパラメータ設定を有する機械学習モデルに入力画像を適用することによってタスクを実行するステップとを含む。
【0140】
１つ以上の値は、予測条件特徴ＰＣＦ、予測条件ＰＣ、及び予測信頼度Ｐｒを含み得る。
【0141】
図１８は、例示的な実施形態による方法１８を詳細に概略的に示す。より具体的には、図１８は、画像バッファ（ＲＥＭＯＴＥ）に新たな条件を記憶する方法１８を概略的に示す。車両上（ＬＯＣＡＬ）トレーニングデータバッファＣＩＢＬは、例えばデータセンタにあるＲＥＭＯＴＥトレーニングデータバッファＣＩＢＲに、コピーによって無線で転送することができる（１８０）。
【0142】
図１９は、例示的な実施形態による方法１９を詳細に概略的に示す。より具体的には、図１９は、新しい条件を含む画像を使用して画像増強モデル又は画像翻訳モデルをトレーニングする方法１９を概略的に示す。画像増強モデル（例えばＧＡＮ）は、図２の画像増強モデル２０であってもよい。画像翻訳モデル（例えばｃｙｃｌｅＧＡＮ）は、図４の画像翻訳モデル２０であってもよい。このように、画像増強モデル又は画像翻訳モデルをトレーニングすることは、最も近い一致した条件で以前にトレーニングされたそれぞれのモデルを再トレーニングすることを意味し得る。
【0143】
それぞれのモデルの再トレーニングでは、新しい条件を含む画像が新しい条件画像バッファＣＩＢ（ＬＯＣＡＬ又はＲＥＭＯＴＥ）から取り出され、１９０においてそれぞれのモデルのトレーニングが行われる。さらに、新しい条件画像は、画像上のスタイルとして新しい条件を投入するために使用され得る。新たにトレーニングされたモデル２０は、新しい画像、すなわち、新しい条件ＩＣｎを含むオリジナル画像を生成することができる。
【0144】
図２０は、例示的な実施形態による方法２０を詳細に概略的に示す。より具体的には、図２０は、下流タスク、例えばセマンティックセグメンテーションをトレーニングするか、又は再トレーニングする方法２０を概略的に示す。図１７を参照して説明したように、未知の条件を含む画像を処理する条件分類器の予測特徴が、条件特徴データベースの特徴と一致する場合、下流タスクモデル、例えばセマンティックセグメンテーションモデルの個別のパラメータ設定が、パラメータデータベースから選択され得る。条件特徴が条件特徴データベースＣＦ ＤＢからの特徴に近い場合、パラメータデータベースＰ ＤＢからの個別のパラメータ設定が選択され得、それに応じて補間され得る。しかしながら、特徴が非類似である状況、例えば、上記の第二の閾値外にある状況では、下流タスクは実行されない。このような場合、下流タスクモデルは、新しい条件のための新しいパラメータ設定に再トレーニングされる必要がある。
【0145】
下流タスクモデルは、以前にトレーニングされた下流タスクモデルのパラメータ設定を取り、それを、新しい条件ＩＣｎを含むオリジナル画像を使用して再トレーニングし、そのオリジナル画像について予測セマンティックマップＳＭＰと既知のセマンティックマップＳＭＯＤとの間の損失を低減することによって再トレーニングされ得る。これは、グラウンドトゥルースが同じであるため可能である。
【0146】
図２０の方法２０は、入力画像を使用してタスクを実行する自律走行車両の機械学習モデルをトレーニングするコンピュータ実装方法として要約することができ、そのコンピュータ実装方法は、未知の条件を含む複数の画像を取得するステップと、未知の条件を含む複数の取得された画像を機械学習モデルに適用することによって予測セマンティックマップを生成するステップと、予測セマンティックマップとセマンティックマップグラウンドトゥルースとの間の誤差を最小化することによって機械学習モデルのパラメータを最適化して、未知の条件に対する機械学習モデルのパラメータ設定を生成するステップと、機械学習モデルの生成されたパラメータ設定をパラメータデータベースに記憶するステップであって、パラメータデータベースは、各々が異なるパラメータ設定を有する複数の機械学習モデルを記憶するように構成され、各パラメータ設定は固有の条件に関連付けられる、ステップとを含むことを理解されたい。
【0147】
さらに、未知の条件を含む複数の取得された画像を機械学習モデルに適用することによる予測セマンティックマップを生成するステップは、未知の（又は新たな）条件を含む複数の取得された画像ＩＣｎを、未知の条件とは異なる条件を含む画像を使用して以前にトレーニングされた機械学習モデルに適用することによって予測セマンティックマップＳＭＰを生成することを含み得る。
【0148】
上記のように、未知の条件及び固有の条件は、各々、天候の種類、天候の種類の等級、明るさ、明るさの等級、時間帯、及び季節を含むリストから選択される。「等級」という用語は、ある特定の条件の量を規定するために使用され得る。例えば、明るさの等級は、例えば、人工照明のない夜のトンネル内など、完全に暗い状態を０％とすることができ、例えば、日中など、完全に明るい状態を１００％の等級とすることができ、明るさは依然として明らかであるが、早朝に比べて減少している夕方の時間帯を５０％の等級の明るさとすることができる。
【0149】
さらに、タスクは、セマンティックセグメンテーション、オブジェクト検出、及びオブジェクト認識を含むリストから選択され得る。
【0150】
図２１は、例示的な実施形態による方法２１を詳細に概略的に示す。さらに、非常に重要なことに、オリジナルのグラウンドトゥルース（セグメンテーションマップ、オブジェクトのバウンディングボックス、深度など）とともに新たに作成されたデータは、信頼度２１１（グローバル、ローカル、インスタンス、又はピクセルワイズ）のプロキシとして予測性能を使用することによって既存のタスク２１０の性能をチェックするために使用され得る。これは、継続的で長期にわたる検証及び妥当性の確認の重要な態様を表し、特に有用であるだけでなく、既存の、継続的に変化／進化する、及び新しい領域の両方における自律プラットフォームの効果的な展開にとっても極めて重要である。
【0151】
【0152】
図１８に示す処理は、トレーニングデータバッファをデータセンタに無線転送し得る。
【0153】
【0154】
あるいは、全ての処理が完全に車両上で行われても、あるいは完全にデータセンタで行われてもよい。
【0155】
本方法は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに前述のコンピュータ実装方法を実行させる命令を記憶した、一時的又は非一時的コンピュータ可読媒体として具現化することができる。さらに、ストレージ、１つ以上のプロセッサ、１つ以上の画像センサ、及び１つ以上のアクチュエータを含む自律走行車両も本明細書で提供され、ストレージは、一時的、又は非一時的コンピュータ可読媒体を含む。
【0156】
全てのプロセスは、リアルタイム又はほぼリアルタイムで、連続的に（新しい条件を含むデータの全ての部分が直ちにトレーニングプロセスに使用される）、又は離散的に（データは、予測条件に基づいて、又は予測条件特徴に基づいてクラスタ化され、一定量が蓄積されたときにトレーニングに使用される）行われ得る。
【0157】
好ましい実施形態が示され、説明されてきたが、添付の特許請求の範囲に定義され、上述したように、本発明の範囲から逸脱することなく、様々な変更及び修正がなされ得ることが当業者には理解されるであろう。
【0158】
本明細書で記載される例示的な実施形態の少なくともいくつかは、部分的又は全体的に、専用の特殊用途ハードウェアを使用して構築することができる。本明細書で使用される「コンポーネント」、「モジュール」、又は「ユニット」などの用語は、個別又は集積コンポーネントの形態の回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）などのハードウェアデバイスを含み得るが、これらに限定されず、これらは、特定のタスクを実行するか、又は関連する機能を提供する。いくつかの実施形態では、記載される要素は、有形で永続的なアドレス指定可能な記憶媒体に存在するように構成され得、１つ以上のプロセッサ上で実行するように構成され得る。これらの機能要素は、いくつかの実施形態では、一例として、ソフトウェアコンポーネント、オブジェクト指向ソフトウェアコンポーネント、クラスコンポーネント及びタスクコンポーネント、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数などのコンポーネントを含み得る。例示的な実施形態は、本明細書で論じられているコンポーネント、モジュール、及びユニットを参照して記載されているが、そのような機能要素は、より少ない要素に組み合わされてもよいか、又は追加の要素に分離されてもよい。任意の特徴の様々な組み合わせが本明細書で記載されており、記載された特徴は、任意の適切な組み合わせで組み合わせることができることが理解されるであろう。特に、任意の１つの例示的な実施形態の特徴は、そのような組み合わせが相互に排他的である場合を除き、必要に応じて、任意の他の実施形態の特徴と組み合わせることができる。本明細書を通じて、「含んでいる」又は「含む」という用語は、指定されたコンポーネントを含むことを意味するが、他のコンポーネントの存在を排除するものではない。
【0159】
本出願に関連して本明細書と同時又はそれ以前に提出され、本明細書とともに一般に公開されている全ての論文及び文書に注意が向けられ、そのような全ての論文及び文書の内容は参照により本明細書に組み込まれる。
【0160】
本明細書（添付の特許請求の範囲、要約及び図面のいずれかを含む）に開示された特徴の全て、及び／又はそのように開示された任意の方法もしくはプロセスのステップの全ては、そのような特徴及び／又はステップの少なくともいくつかが相互に排他的である組み合わせを除き、任意の組み合わせで組み合わせることができる。
【0161】
本明細書（添付の特許請求の範囲、要約及び図面のいずれかを含む）に開示された各特徴は、明示的に別段の記載がない限り、同一、同等又は類似の目的を果たす代替的な特徴で置き換えることができる。したがって、明示的に別段の記載がない限り、開示された各特徴は、同等又は類似の特徴の一般的なシリーズの一例に過ぎない。
【0162】
本発明は、前述の実施形態の詳細に限定されるものではない。本発明は、本明細書（添付の特許請求の範囲、要約及び図面のいずれかを含む）に開示された特徴のいずれかの新規なもの、もしくはいずれかの新規な組み合わせ、又はそのように開示されたいずれかの方法もしくはプロセスのステップのいずれかの新規なもの、もしくはいずれかの新規な組み合わせに及ぶ。
【0163】
主題は、以下の条項を参照して理解することができる。
【0164】
（条項１）
トレーニングデータを生成するコンピュータ実装方法であって、その方法が、
環境の表現を提供するステップであって、環境の表現が、規定された構造及び／又は規定された形状を有する、ステップと、
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、環境の第一の変換された表現を含む、変換された表現のセットを含むトレーニングデータを生成するステップ
とを含み、
環境の表現を提供するステップが、セマンティック情報を使用して環境の画像を少なくとも部分的に合成することを含む、コンピュータ実装方法。
（条項２）
環境の表現を提供するステップが、環境の画像を少なくとも部分的に取得することを含む、条項１に記載の方法。
（条項３）
セマンティック情報を使用して環境の画像を少なくとも部分的に合成することが、データベースから、又は学習によってセマンティック情報に対応する画像又はその一部を取得することを含む、条項１又は２に記載の方法。
（条項４）
環境の表現を提供するステップが、環境の画像を少なくとも部分的にセマンティックに構成することを含む、条項１～３のいずれかに記載の方法。
（条項５）
環境の表現を提供するステップが、環境の画像をインペインティングすることを含む、条項１～４のいずれかに記載の方法。
（条項６）
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成するステップが、第一のトレーニングされた変換を含む、トレーニングされた変換のそれぞれのセットを使用して、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによって、トレーニングデータを生成することを含む、条項１～５のいずれかに記載の方法。
（条項７）
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成するステップが、第一のヒューリスティクスベースの変換を含む、ヒューリスティクスベースの変換のそれぞれのセットを使用して、環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成することを含む、条項１～６のいずれかに記載の方法。
（条項８）
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成するステップが、第一の増強を含む増強のそれぞれのセットを使用して、環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成することを含む、条項１～７のいずれかに記載の方法。
（条項９）
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成するステップが、第一の条件を含む条件のそれぞれのセットを使用して、環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成することを含む、条項１～８のいずれかに記載の方法。
（条項１０）
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成するステップが、環境の表現のセットを混合することを含む、条項１～９のいずれかに記載の方法。
（条項１１）
環境の第一の変換された表現が、環境の表現の規定された構造及び／又は規定された形状を有する、条項１～１０のいずれかに記載の方法。
（条項１２）
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成するステップが、環境の表現の規定された構造を、環境の第一の変換された表現の再規定された構造に再規定することを含む、条項１～１０のいずれかに記載の方法。
（条項１３）
機械学習（ＭＬ）アルゴリズムをトレーニングするコンピュータ実装方法であって、その方法が、
以前の条項のいずれかに従って、環境の第一の変換された表現を含む、変換された表現のセットを含むトレーニングデータを生成するステップと、
第一のクラスを含むクラスのセットに従って、変換された表現のセットを分類するステップを含む、ＭＬアルゴリズムをトレーニングするステップと
を含む、コンピュータ実装方法。
（条項１４）
第一のクラスを含むクラスのセットが、第一の条件を含む条件のセットである、条項１３に記載の方法。
（条項１５）
第一の条件に関連付けられた、第一の特性的特徴を含む特性的特徴のセットを識別するステップを含む、条項１４に記載の方法。
（条項１６）
条項１３～１５のいずれかに従ってトレーニングされた機械学習（ＭＬ）アルゴリズムを使用して環境の表現のクラスを決定するコンピュータ実装方法であって、その方法が、
トレーニングされたＭＬアルゴリズムを使用して、環境の表現のクラスを推論することを含む、環境の表現のクラスを決定するステップ
を含む、コンピュータ実装方法。
（条項１７）
環境の表現の条件に関連付けられた、第一の特徴を含む特徴のセットを識別するステップを含む、条項１６に記載の方法。
（条項１８）
推論されたクラスの信頼度スコアを計算するステップを含む、条項１７に記載の方法。
（条項１９）
識別された特徴のセットを、環境の表現の条件に関連付けられた特性的特徴のセットと比較するステップを含む、条項１７又は１８に記載の方法。
（条項２０）
比較の結果に基づいて環境の表現を記憶するステップを含む、条項１９に記載の方法。
（条項２１）
環境の記憶された表現を使用して変換をトレーニングするステップを含む、条項２０に記載の方法。
（条項２２）
トレーニングされた変換を使用してトレーニングデータを生成するステップを含む、条項２１に記載の方法。
（条項２３）
生成されたトレーニングデータを使用してＭＬアルゴリズムをトレーニングするステップを含む，条項２２に記載の方法。
（条項２４）
生成されたトレーニングデータを使用してＭＬアルゴリズムを検証するステップを含む、条項２２に記載の方法。
（条項２５）
比較の結果に基づいて動作を実行するステップを含む、条項１９に記載の方法。
トレーニングデータを生成するコンピュータ実装方法であって、その方法が、
環境の表現を提供するステップであって、環境の表現が、規定された構造及び／又は規定された形状を有する、ステップと、
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、環境の第一の変換された表現を含む、変換された表現のセットを含むトレーニングデータを生成するステップ
とを含み、
環境の表現を提供するステップが、セマンティック情報を使用して環境の画像を少なくとも部分的に合成することを含む、コンピュータ実装方法。
（条項２）
環境の表現を提供するステップが、環境の画像を少なくとも部分的に取得することを含む、条項１に記載の方法。
（条項３）
セマンティック情報を使用して環境の画像を少なくとも部分的に合成することが、データベースから、又は学習によってセマンティック情報に対応する画像又はその一部を取得することを含む、条項１又は２に記載の方法。
（条項４）
環境の表現を提供するステップが、環境の画像を少なくとも部分的にセマンティックに構成することを含む、条項１～３のいずれかに記載の方法。
（条項５）
環境の表現を提供するステップが、環境の画像をインペインティングすることを含む、条項１～４のいずれかに記載の方法。
（条項６）
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成するステップが、第一のトレーニングされた変換を含む、トレーニングされた変換のそれぞれのセットを使用して、環境の表現を、環境の第一の変換された表現を含む変換された表現のセットに変換することによって、トレーニングデータを生成することを含む、条項１～５のいずれかに記載の方法。
（条項７）
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成するステップが、第一のヒューリスティクスベースの変換を含む、ヒューリスティクスベースの変換のそれぞれのセットを使用して、環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成することを含む、条項１～６のいずれかに記載の方法。
（条項８）
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成するステップが、第一の増強を含む増強のそれぞれのセットを使用して、環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成することを含む、条項１～７のいずれかに記載の方法。
（条項９）
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成するステップが、第一の条件を含む条件のそれぞれのセットを使用して、環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成することを含む、条項１～８のいずれかに記載の方法。
（条項１０）
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成するステップが、環境の表現のセットを混合することを含む、条項１～９のいずれかに記載の方法。
（条項１１）
環境の第一の変換された表現が、環境の表現の規定された構造及び／又は規定された形状を有する、条項１～１０のいずれかに記載の方法。
（条項１２）
環境の表現を、環境の第一の変換された表現を含む、変換された表現のセットに変換することによって、トレーニングデータを生成するステップが、環境の表現の規定された構造を、環境の第一の変換された表現の再規定された構造に再規定することを含む、条項１～１０のいずれかに記載の方法。
（条項１３）
機械学習（ＭＬ）アルゴリズムをトレーニングするコンピュータ実装方法であって、その方法が、
以前の条項のいずれかに従って、環境の第一の変換された表現を含む、変換された表現のセットを含むトレーニングデータを生成するステップと、
第一のクラスを含むクラスのセットに従って、変換された表現のセットを分類するステップを含む、ＭＬアルゴリズムをトレーニングするステップと
を含む、コンピュータ実装方法。
（条項１４）
第一のクラスを含むクラスのセットが、第一の条件を含む条件のセットである、条項１３に記載の方法。
（条項１５）
第一の条件に関連付けられた、第一の特性的特徴を含む特性的特徴のセットを識別するステップを含む、条項１４に記載の方法。
（条項１６）
条項１３～１５のいずれかに従ってトレーニングされた機械学習（ＭＬ）アルゴリズムを使用して環境の表現のクラスを決定するコンピュータ実装方法であって、その方法が、
トレーニングされたＭＬアルゴリズムを使用して、環境の表現のクラスを推論することを含む、環境の表現のクラスを決定するステップ
を含む、コンピュータ実装方法。
（条項１７）
環境の表現の条件に関連付けられた、第一の特徴を含む特徴のセットを識別するステップを含む、条項１６に記載の方法。
（条項１８）
推論されたクラスの信頼度スコアを計算するステップを含む、条項１７に記載の方法。
（条項１９）
識別された特徴のセットを、環境の表現の条件に関連付けられた特性的特徴のセットと比較するステップを含む、条項１７又は１８に記載の方法。
（条項２０）
比較の結果に基づいて環境の表現を記憶するステップを含む、条項１９に記載の方法。
（条項２１）
環境の記憶された表現を使用して変換をトレーニングするステップを含む、条項２０に記載の方法。
（条項２２）
トレーニングされた変換を使用してトレーニングデータを生成するステップを含む、条項２１に記載の方法。
（条項２３）
生成されたトレーニングデータを使用してＭＬアルゴリズムをトレーニングするステップを含む，条項２２に記載の方法。
（条項２４）
生成されたトレーニングデータを使用してＭＬアルゴリズムを検証するステップを含む、条項２２に記載の方法。
（条項２５）
比較の結果に基づいて動作を実行するステップを含む、条項１９に記載の方法。
【図1】
【図2】
【図3A】
【図3B-3C】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7A-7D】
【図8】
【図9A-9B】
【図9C-9D】
【図10】
【図11A-11B】
【図11C-11D】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【手続補正書】
【提出日】2024-06-04
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
機械学習モデルを使用してタスクを実行する自律走行車両のコンピュータ実装方法であって、前記コンピュータ実装方法が、前記自律走行車両の環境の画像を取得するステップと、
取得された前記画像を条件分類器に適用するステップであって、前記条件分類器が、取得された前記画像の条件に関連付けられた１つ以上の値を生成するように構成される、ステップと、
前記１つ以上の値に基づいて前記機械学習モデルのパラメータ設定を決定するステップと、
決定された前記パラメータ設定を用いて、取得した前記画像を前記機械学習モデルに適用することによって前記タスクを実行するステップと
を含み、
前記条件分類器がニューラルネットワークを含み、前記１つ以上の値が、１つ以上の予測条件特徴及び予測信頼度を含み、
前記コンピュータ実装方法が、
前記予測信頼度を信頼度閾値と比較するステップと、
前記１つ以上の予測信頼度特徴と、既知の条件の１つ以上のそれぞれの信頼度特徴との間の類似度を決定するステップと
をさらに含み、
前記予測信頼度が前記信頼度閾値を上回る場合、及び前記１つ以上の予測信頼度特徴の前記類似度が非類似閾値より大きく、マッチング閾値未満である場合、前記方法が、
パラメータデータベースから機械学習モデルを検索するステップであって、検索された前記機械学習モデルが、取得された前記画像に最も近い条件を含む画像内の前記機械学習モデルのトレーニングから得られたパラメータ設定を有し、前記パラメータデータベースが、異なる条件を含む画像を使用した前記機械学習モデルのトレーニングから導出された異なるパラメータ設定を各々有する複数の機械学習モデルを含む、ステップと、
前記予測条件特徴と、検索された前記機械学習モデルに関連付けられた条件の条件特徴との差を使用してそのパラメータ設定を補間することによって、検索された前記機械学習モデルを修正するステップと、
取得された前記画像を、補間された前記パラメータ設定を有する前記機械学習モデルに適用することによって前記タスクを実行するステップと
をさらに含む、コンピュータ実装方法。
【請求項2】
前記予測特徴又は各予測特徴が、活性化関数の出力を含む、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記予測信頼度が、取得された前記画像の条件が画像の１つ以上の既知の条件のうちの１つである前記ニューラルネットワークの出力層からの確率を含む、請求項１に記載のコンピュータ実装方法。
【請求項4】
前記予測信頼度が前記信頼度閾値を上回る場合、及び前記１つ以上の予測信頼度特徴の前記類似度がマッチング閾値より大きい場合、前記方法が、パラメータデータベースから機械学習モデルを検索するステップであって、検索された前記機械学習モデルが、取得された前記画像と一致する条件を含む画像内の前記機械学習モデルのトレーニングから得られたパラメータ設定を有し、前記パラメータデータベースが、異なる条件を含む画像を使用した前記機械学習モデルのトレーニングから導出された異なるパラメータ設定を各々有する複数の機械学習モデルを含む、ステップと、
取得された前記画像を検索された前記機械学習モデルに適用することによって前記タスクを実行するステップと
をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項5】
前記予測信頼度が前記信頼度閾値未満である場合、及び／又は前記１つ以上の予測信頼度特徴の前記類似度が非類似閾値未満である場合、前記方法が、検索された前記画像を未知の条件を含む画像として記憶するステップと、
任意選択で、前記自律走行車両により、最小リスク操作を実行するステップと
をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項6】
前記タスクを実行した結果に基づいて経路を横断するように前記自律走行車両を制御するステップをさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項7】
前記タスクが、セマンティックセグメンテーション、オブジェクト検出、及びオブジェクト認識を含むリストから選択される、請求項１に記載のコンピュータ実装方法。
【請求項8】
前記条件が、天候の種類、天候の種類の等級、明るさ、明るさの等級、時間帯、及び季節を含むリストから選択される、請求項１に記載のコンピュータ実装方法。
【請求項9】
１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに請求項１に記載のコンピュータ実装方法を実行させる、記憶された命令を有する一時的、又は非一時的コンピュータ可読媒体。
【請求項10】
ストレージ、１つ以上のプロセッサ、１つ以上の画像センサ、及び１つ以上のアクチュエータを含む自律走行車両であって、前記ストレージが、請求項９に記載の一時的、又は非一時的コンピュータ可読媒体を含む、自律走行車両。
【国際調査報告】