特表 2023-527599 自動運転車両を動作させるためのコンピュータ実施方法、非一時的機械可読媒体、データ処理システムおよびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-30

(54)【発明の名称】自動運転車両を動作させるためのコンピュータ実施方法、非一時的機械可読媒体、データ処理システムおよびコンピュータプログラム

(51)【国際特許分類】

   B60W 40/04 20060101AFI20230623BHJP

   B60W 60/00 20200101ALI20230623BHJP

   G06T 7/00 20170101ALI20230623BHJP

【ＦＩ】

B60W40/04

B60W60/00

G06T7/00 650Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022520172

(86)(22)【出願日】2021-04-20

(85)【翻訳文提出日】2022-04-08

(86)【国際出願番号】 CN2021088379

(87)【国際公開番号】W WO2022222028

(87)【国際公開日】2022-10-27

(81)【指定国・地域】

(71)【出願人】

【識別番号】517323290

【氏名又は名称】バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド

【氏名又は名称原語表記】Ｂａｉｄｕ．ｃｏｍ Ｔｉｍｅｓ Ｔｅｃｈｎｏｌｏｇｙ （Ｂｅｉｊｉｎｇ） Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ａ２ Ｚｈｏｎｇｇｕａｎｃｕｎ Ｓｏｆｔｗａｒｅ Ｐａｒｋ １７ｔｈ ｂｕｉｌｄｉｎｇ， Ｎｏ．８， Ｄｏｎｇｂｅｉｗａｎｇ Ｗｅｓｔ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８０， Ｃｈｉｎａ

(71)【出願人】

【識別番号】516357421

【氏名又は名称】バイドゥ ユーエスエイ エルエルシー

【氏名又は名称原語表記】Ｂａｉｄｕ ＵＳＡ ＬＬＣ

(74)【代理人】

【識別番号】110000914

【氏名又は名称】弁理士法人ＷｉｓｅＰｌｕｓ

(72)【発明者】

【氏名】リュ， ジョン ホ

(72)【発明者】

【氏名】リー， リンチャン

【テーマコード（参考）】

3D241

5L096

【Ｆターム（参考）】

3D241BA50

3D241CC01

3D241CC08

3D241CC17

3D241CE06

3D241DC59Z

5L096AA02

5L096AA06

5L096BA04

5L096CA02

5L096DA02

5L096FA32

5L096GA51

5L096JA11

(57)【要約】

【課題】自動運転車両を動作させるためのコンピュータ実施方法、非一時的機械可読媒体、データ処理システムおよびコンピュータプログラムの提供。
【解決手段】ＡＤＶに搭載された、少なくとも１つの画像センサを含む複数のセンサから得られたセンサデータに基づいて、交通信号灯を検出することによって、運転環境を検知する。第１のフレームをキャプチャするために、第１のセンサセッティングを少なくとも１つの画像センサに適用し、第２のフレームをキャプチャするために、第２のセンサセッティングを少なくとも１つの画像センサに適用するようにする。第１のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて交通信号灯の色を確定する。第１のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて確定された交通信号灯の色と、第２のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて検知された運転環境とに基づいて、ＡＤＶを自律的に走行させるように制御する。
【選択図】図７

【特許請求の範囲】

【請求項1】

自動運転車両（ＡＤＶ）を動作させるためのコンピュータ実施方法であって、
前記ＡＤＶに搭載された、少なくとも１つの画像センサを含む複数のセンサから得られたセンサデータに基づいて、交通信号灯を検出することを含む運転環境を検知するステップと、
第１のフレームをキャプチャするために、第１のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、
第２のフレームをキャプチャするために、第２のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、
前記第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて前記交通信号灯の色を確定するステップと、
前記第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて確定された前記交通信号灯の色と、前記第２のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて検知された運転環境とに基づいて、前記ＡＤＶを自律的に走行させるように制御するステップと、を含むコンピュータ実施方法。

【請求項2】

前記第１のセンサセッティングは、第１の露光時間または第１のゲインの少なくとも一方を含み、
前記第２のセンサセッティングは、第２の露光時間または第２のゲインの少なくとも一方を含み、
前記第１の露光時間または第１のゲインの少なくとも一方はそれぞれ、前記第２の露光時間または第２のゲインの少なくとも一方よりも小さい、請求項１に記載の方法。

【請求項3】

前記第１のセンサセッティングは、昼光条件下での最小値または所定値に基づいて決定される、請求項１に記載の方法。

【請求項4】

前記第１のフレームにおける前記少なくとも１つの画像センサの前記センサデータにおける前記交通信号灯の周りの境界ボックスを確定するステップと、
前記境界ボックス内の画素の特徴を抽出するステップと、をさらに含む請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記境界ボックス内の前記画素の特徴は、前記境界ボックス内の前記画素の赤色、緑色、または青色のうちの１つの平均値、最小値、最大値、または百分位数のうちの少なくとも１つを含む、請求項４に記載の方法。

【請求項6】

前記第１のセンサセッティングは、前記境界ボックス内の前記画素の特徴の所定閾値に基づいて決定される、請求項４に記載の方法。

【請求項7】

前記交通信号灯を検出した際に、前記少なくとも１つの画像センサの初期センサセッティングにおける初期露出時間を確定するステップと、
前記少なくとも１つの画像センサの前記初期露光時間が所定閾値を超えたか否かを判断するステップと、をさらに含み、
前記少なくとも１つの画像センサの前記初期露光時間が前記所定閾値を超えたと判定したことに応答して、前記第１のセンサセッティングを前記少なくとも１つの画像センサに適用する、請求項１～６のいずれか１項に記載の方法。

【請求項8】

指令が格納されている非一時的機械可読媒体であって、
前記指令は、プロセッサによって実行されると、
前記ＡＤＶに搭載された、少なくとも１つの画像センサを含む複数のセンサから得られたセンサデータに基づいて、交通信号灯を検出することを含む運転環境を検知するステップと、
第１のフレームをキャプチャするために、第１のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、
第２のフレームをキャプチャするために、第２のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、
前記第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて前記交通信号灯の色を確定するステップと、
前記第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて確定された前記交通信号灯の色と、前記第２のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて検知された運転環境とに基づいて、前記ＡＤＶを自律的に走行させるように制御するステップと、を含む動作を前記プロセッサに実行させる、非一時的機械可読媒体。

【請求項9】

前記第１のセンサセッティングは、第１の露光時間または第１のゲインの少なくとも一方を含み、
前記第２のセンサセッティングは、第２の露光時間または第２のゲインの少なくとも一方を含み、
前記第１の露光時間または第１のゲインの少なくとも一方はそれぞれ、前記第２の露光時間または第２のゲインの少なくとも一方よりも小さい、請求項８に記載の非一時的機械可読媒体。

【請求項10】

前記第１のセンサセッティングは、昼光条件下での最小値または所定値に基づいて決定される、請求項８に記載の非一時的機械可読媒体。

【請求項11】

前記動作は、
前記第１のフレームにおける前記少なくとも１つの画像センサの前記センサデータにおける前記交通信号灯の周りの境界ボックスを確定するステップと、
前記境界ボックス内の画素の特徴を抽出するステップと、をさらに含む、請求項８～１０のいずれか１項に記載の非一時的機械可読媒体。

【請求項12】

前記境界ボックス内の前記画素の特徴は、前記境界ボックス内の前記画素の赤色、緑色、または青色のうちの１つの平均値、最小値、最大値、または百分位数のうちの少なくとも１つを含む、請求項１１に記載の非一時的機械可読媒体。

【請求項13】

前記第１のセンサセッティングは、前記境界ボックス内の前記画素の特徴の所定閾値に基づいて決定される、請求項１１に記載の非一時的機械可読媒体。

【請求項14】

前記動作は、
前記交通信号灯を検出した際に、前記少なくとも１つの画像センサの初期センサセッティングにおける初期露出時間を確定するステップと、
前記少なくとも１つの画像センサの前記初期露光時間が所定閾値を超えたか否かを判断するステップと、をさらに含み、
前記少なくとも１つの画像センサの前記初期露光時間が前記所定閾値を超えたと判定したことに応答して、前記第１のセンサセッティングを前記少なくとも１つの画像センサに適用する、請求項８～１３のいずれか１項に記載の非一時的機械可読媒体。

【請求項15】

プロセッサと、指令を格納するために前記プロセッサに接続されるメモリと、を備えるデータ処理システムであって、
前記指令は、前記プロセッサによって実行されると、
前記ＡＤＶに搭載された、少なくとも１つの画像センサを含む複数のセンサから得られたセンサデータに基づいて、交通信号灯を検出することを含む運転環境を検知するステップと、
第１のフレームをキャプチャするために、第１のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、
第２のフレームをキャプチャするために、第２のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、
前記第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて前記交通信号灯の色を確定するステップと、
前記第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて確定された前記交通信号灯の色と、前記第２のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて検知された運転環境とに基づいて、前記ＡＤＶを自律的に走行させるように制御するステップと、を含む動作を前記プロセッサに実行させる、データ処理システム。

【請求項16】

前記第１のセンサセッティングは、第１の露光時間または第１のゲインの少なくとも一方を含み、
前記第２のセンサセッティングは、第２の露光時間または第２のゲインの少なくとも一方を含み、
前記第１の露光時間または第１のゲインの少なくとも一方はそれぞれ、前記第２の露光時間または第２のゲインの少なくとも一方よりも小さい、請求項１５に記載のデータ処理システム。

【請求項17】

前記第１のセンサセッティングは、昼光条件下での最小値または所定値に基づいて決定される、請求項１５に記載のデータ処理システム。

【請求項18】

前記動作は、
前記第１のフレームにおける前記少なくとも１つの画像センサの前記センサデータにおける前記交通信号灯の周りの境界ボックスを確定するステップと、
前記境界ボックス内の画素の特徴を抽出するステップと、をさらに含む、請求項１５～１７のいずれか１項に記載のデータ処理システム。

【請求項19】

前記境界ボックス内の前記画素の特徴は、前記境界ボックス内の前記画素の赤色、緑色、または青色のうちの１つの平均値、最小値、最大値、または百分位数のうちの少なくとも１つを含む、請求項１８に記載のデータ処理システム。

【請求項20】

前記第１のセンサセッティングは、前記境界ボックス内の前記画素の特徴の所定閾値に基づいて決定される、請求項１８に記載のデータ処理システム。

【請求項21】

前記動作は、
前記交通信号灯を検出した際に、前記少なくとも１つの画像センサの初期センサセッティングにおける初期露出時間を確定するステップと、
前記少なくとも１つの画像センサの前記初期露光時間が所定閾値を超えたか否かを判断するステップと、をさらに含み、
前記少なくとも１つの画像センサの前記初期露光時間が前記所定閾値を超えたと判定したことに応答して、前記第１のセンサセッティングを前記少なくとも１つの画像センサに適用する、請求項１５～２０のいずれか１項に記載のデータ処理システム。

【請求項22】

プロセッサによって実行されるとき、請求項１～７のいずれか１項に記載の方法をプロセッサに実行させるコンピュータプログラムを含むコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本出願の実施形態は、主に自動運転車両（ＡＤＶ）を動作させることに関する。より具体的には、本出願の実施形態は、ＡＤＶのための交通信号灯（ｔｒａｆｆｉｃ ｌｉｇｈｔ）検出および分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に関する。

【背景技術】

【0002】

自動運転モード（例えば、ドライバーレス）で走行している車両は、乗員、特に運転手を運転関連責務から解放することができる。車両は、自動運転モードで走行しているとき、搭載されたセンサを使用して様々な場所にナビゲートすることができ、ヒューマンコンピュータインタラクションが最小限に抑えられた場合、または乗客がいない状況下などで走行することを可能にする。

【0003】

運動計画および制御は、自動運転における重要な操作である。交通信号灯検出と分類はＡＤＶの運動計画と制御に重要である。しかしながら、例えば、暗い／曇天環境下では、カラーアーチファクト（ｃｏｌｏｒ ａｒｔｉｆａｃｔ）により赤色の交通信号灯を認識することは困難である。赤色の交通信号灯を認識できない例が数多く報告されている。

【発明の概要】

【課題を解決するための手段】

【0004】

本出願の実施形態は、自動運転車両（ＡＤＶ）を動作させるためのコンピュータ実施方法、非一時的機械可読媒体、データ処理システムおよびコンピュータプログラム製品を提供する。

【0005】

第１の態様では、本出願のいくつかの実施形態は、自動運転車両を動作させるためのコンピュータ実施方法を提供する。当該方法は、ＡＤＶに搭載された、少なくとも１つの画像センサを含む複数のセンサから得られたセンサデータに基づいて、交通信号灯を検出することを含む運転環境を検知するステップと、第１のフレームをキャプチャするために、第１のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、第２のフレームをキャプチャするために、第２のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて交通信号灯の色を確定するステップと、第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて確定された交通信号灯の色と、第２のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて検知された運転環境とに基づいて、ＡＤＶを自律的に走行させるように制御するステップと、を含む。

【0006】

第２の態様では、本出願のいくつかの実施形態は、指令が格納されている非一時的機械可読媒体であって、当該指令は、プロセッサにより実行されると、ＡＤＶに搭載された、少なくとも１つの画像センサを含む複数のセンサから得られたセンサデータに基づいて、交通信号灯を検出することを含む運転環境を検知するステップと、第１のフレームをキャプチャするために、第１のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、第２のフレームをキャプチャするために、第２のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて交通信号灯の色を確定するステップと、第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて確定された交通信号灯の色と、第２のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて検知された運転環境とに基づいて、ＡＤＶを自律的に走行させるように制御するステップと、を含む動作をプロセッサに実行させる、非一時的機械可読媒体を提供する。

【0007】

第３の態様では、本出願のいくつかの実施形態は、プロセッサと、指令を格納するためにプロセッサに接続されるメモリと、を備えるデータ処理システムであって、指令は、プロセッサによって実行されると、ＡＤＶに搭載された、少なくとも１つの画像センサを含む複数のセンサから得られたセンサデータに基づいて、交通信号灯を検出することを含む運転環境を検知するステップと、第１のフレームをキャプチャするために、第１のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、第２のフレームをキャプチャするために、第２のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて交通信号灯の色を確定するステップと、第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて確定された交通信号灯の色と、第２のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて検知された運転環境とに基づいて、ＡＤＶを自律的に走行させるように制御するステップと、を含む動作をプロセッサに実行させる、データ処理システムを提供する。

【0008】

第４の態様では、本出願のいくつかの実施形態は、プロセッサによって実行されるとき、第１の態様に記載の方法をプロセッサに実行させるコンピュータプログラムを含むコンピュータプログラム製品を提供する。

【0009】

本出願の実施形態は、図面の各図において限定的ではなく例示的な形態で示され、図面における同じ図面符号が類似の素子を示す。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係るネットワーク化システムを示すブロック図である。

【図2】一実施形態に係る自動運転車両の一例を示すブロック図である。

【図3A】一実施形態に係る、自動運転車両と共に使用される自動運転システムの一例を示すブロック図である。

【図3B】一実施形態に係る、自動運転車両と共に使用される自動運転システムの一例を示すブロック図である。

【図4】一実施形態に係る自動運転車両の自動運転システムの制御モジュールの一例を示すブロック図である。

【図5】一実施形態に係る自動運転車両の自動運転システムのセンサの光強度に対する画素出力の一例を示す図である。

【図6A】一実施形態に係る自動運転車両の自動運転システムの光検出および分類の一例を示す図である。

【図6B】一実施形態に係る自動運転車両の自動運転システムの光検出および分類の一例を示す図である。

【図6C】一実施形態に係る自動運転車両の自動運転システムの光検出および分類の一例を示す図である。

【図7】一実施形態に係る自動運転車両の自動運転システムの光検出および分類プロセスの一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下に説明される詳細を参照しながら本出願の様々な実施形態および態様を説明し、添付図面には上記の各実施形態が示される。以下の説明および図面は、本出願を例示するためのものであり、限定するものとして解釈されるべきではない。本出願の様々な実施形態を全面的に理解するために、多くの特定の詳細を説明する。なお、本出願の実施形態を簡潔的に説明するために、周知または従来技術の詳細について説明していない場合もある。

【0012】

本明細書において、「一実施形態」または「実施形態」とは、当該実施形態に基づいて説明された特定の特徴、構造または特性が本出願の少なくとも一実施形態に含まれてもよいことを意味する。「一実施形態では」という表現は、本明細書の全体において全てが同一の実施形態を指すとは限らない。

【0013】

いくつかの実施形態によれば、交通信号灯を検出する際に、ＡＤＶのセンサの露光時間は、例えば、最小露光時間、または明るい光若しくは昼光の条件と同様の露光時間に短縮される。センサのすべてのゲインはｘ１に設定されてもよい。比較的短い露光時間または比較的低いゲインは、候補フレームのセンサのセンサセッティングに適用されてもよい。例えば、１つのフレーム（フレームＢ）が正常条件であってもよい。他のフレーム（フレームＡ）は、短い露光条件（例えば、短い露光時間または低いゲイン）であってもよい。例えば、交通信号灯の周りで境界ボックスを定義してもよい。赤色光、緑色光および／または青色光の統計量（平均値または最小値／最大値または百分位数など）を抽出してもよい。赤色光、緑色光および／または青色光の統計閾値を満たすために、短い露光時間／ゲインを適用してもよく、１つのフレーム（フレームＡ）に適用してもよい。このため、フレームＡを用いて交通信号灯の状況を認識することができる。フレームＢは、運転環境を検知するために使用できる。フレームＡを用いて認識された交通信号灯の状況と、フレームＡを用いて検知された運転環境の両方に基づいてＡＤＶを自律的に走行させるように制御してもよい。

【0014】

いくつかの実施形態によれば、ＡＤＶに搭載された、少なくとも１つの画像センサを含む複数のセンサから得られたセンサデータに基づいて、交通信号灯を検出することによって、運転環境を検知する。第１のセンサセッティングは、第１のフレームをキャプチャするために少なくとも１つの画像センサに適用され、第２のセンサセッティングは、第２のフレームをキャプチャするために少なくとも１つの画像センサに適用される。第１のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて交通信号灯の色を確定する。第１のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて確定された交通信号灯の色と、第２のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて検知された運転環境とに基づいて、ＡＤＶを自律的に走行させるように制御する。このように、ＡＤＶは赤色の交通信号灯を認識し、暗い／曇天環境下で運転環境を検知することができ、それによって運転安全性を高めることができる。

【0015】

一実施形態では、第１のセンサセッティングは、第１の露光時間または第１のゲインの少なくとも一方を含み、第２のセンサセッティングは、第２の露光時間または第２のゲインの少なくとも一方を含み、第１の露光時間または第１のゲインの少なくとも一方はそれぞれ、第２の露光時間または第２のゲインの少なくとも一方よりも小さい。

【0016】

一実施形態では、昼光条件下での最小値または所定値に基づいて第１のセンサセッティングを決定する。一実施形態では、第１のフレームにおける少なくとも１つの画像センサのセンサデータにおける交通信号灯の周りの境界ボックスを確定し、境界ボックス内の画素の特徴を抽出する。

【0017】

一実施形態では、境界ボックス内の画素の特徴は、境界ボックス内の画素の赤色、緑色、または青色のうちの１つの平均値、最小値、最大値、または百分位数のうちの少なくとも１つを含む。一実施形態では、境界ボックス内の画素の特徴の所定閾値に基づいて第１のセンサセッティングを決定する。

【0018】

一実施形態では、交通信号灯を検出した際に、少なくとも１つの画像センサの初期セッティングにおける初期露光時間を確定し、少なくとも１つの画像センサの初期露光時間が所定閾値を超えたか否かを判断する。少なくとも１つの画像センサの初期セッティングが所定閾値を超えたと判定したことに応答して、第１のセンサセッティングを少なくとも１つの画像センサに適用する。

【0019】

図１は、本出願の一実施形態に係る自動運転のネットワーク構成を示すブロック図である。図１に示すように、ネットワーク構成１００は、ネットワーク１０２を介して１つまたは複数のサーバ１０３～１０４に通信可能に接続される自動運転車両（ＡＤＶ）１０１を含む。一台のＡＤＶのみが示されたが、複数のＡＤＶがネットワーク１０２を介して互いに接続されてもよく、および／またはサーバ１０３～１０４に接続されてもよい。ネットワーク１０２は、任意のタイプのネットワークであってもよく、例えば、有線または無線のローカルエリアネットワーク（ＬＡＮ）、インターネットなどのワイドエリアネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク、またはそれらの組み合わせが挙げられる。サーバ１０３～１０４は、任意のタイプのサーバまたはサーバクラスタであってもよく、例えば、ネットワークまたはクラウドサーバ、アプリケーションサーバ、バックエンドサーバ、またはそれらの組み合わせが挙げられる。サーバ１０３～１０４は、データ解析サーバ、コンテンツサーバ、交通情報サーバ、地図・ポイントオブインタレスト（ＭＰＯＩ）サーバまたはロケーションサーバなどであってもよい。

【0020】

ＡＤＶとは、運転手からの入力がほとんどまたは全くない状態でナビゲートされて環境を通過する自動運転モードにあるように構成されることが可能な車両を指す。このようなＡＤＶは、車両の運転環境に関する情報を検出するように構成される１つまたは複数のセンサを備えるセンサシステムを備えていてもよい。例えば、ＡＤＶは、ＡＤＶの周りの運転環境を検知するための１つまたは複数のセンサを含んでもよい。前記車両およびその関連するコントローラは、検出された情報を使用して前記環境を通過するようにナビゲートする。ＡＤＶ１０１は、手動モード、完全自動運転モード、または部分自動運転モードで動作することができる。

【0021】

一実施形態では、ＡＤＶ１０１は、自動運転システム（ＡＤＳ）１１０、車両制御システム１１１、無線通信システム１１２、ユーザインターフェースシステム１１３およびセンサシステム１１５を含むが、これらに限定されない。ＡＤＶ１０１には、一般車両に備えられているいくつかの一般的なコンポーネント、例えばエンジン、車輪、ステアリングホイール、変速機などが更に備えられてもよい。前記コンポーネントは、車両制御システム１１１および／またはＡＤＳ１１０により複数種の通信信号および／またはコマンドを使用して制御可能である。これらの複数種の通信信号および／またはコマンドは、例えば、加速信号またはコマンド、減速信号またはコマンド、ステアリング信号またはコマンド、ブレーキ信号またはコマンドなどが挙げられる。

【0022】

コンポーネント１１０～１１５は、インターコネクト、バス、ネットワーク、またはそれらの組み合わせを介して互いに通信可能に接続されてもよい。例えば、コンポーネント１１０～１１５は、コントローラエリアネットワーク（ＣＡＮ）バスを介して互いに通信可能に接続されてもよい。ＣＡＮバスは、ホストコンピュータなしのアプリケーションでマイクロコントローラおよびデバイスが相互に通信できるように設計された車両バス規格である。それは、もともと自動車内の多重電気配線のために設計されたメッセージに基づくプロトコルであるが、他の多くの環境にも用いられる。

【0023】

ここで図２を参照すると、一実施形態では、センサシステム１１５は、１つまたは複数のカメラ２１１（１つまたは複数の画像センサを含む）、全地球測位システム（ＧＰＳ）ユニット２１２、慣性計測ユニット（ＩＭＵ）２１３、レーダユニット２１４および光検出・測距（ＬＩＤＡＲ）ユニット２１５を含むが、これらに限定されない。ＧＰＳシステム２１２は、ＡＤＶの位置に関する情報を提供するように動作可能な送受信機を含んでもよい。ＩＭＵユニット２１３は、慣性加速度に基づいてＡＤＶの位置および向きの変化を検知することができる。レーダユニット２１４は、無線信号を利用してＡＤＶのローカル環境内のオブジェクトを検知するシステムを表してもよい。いくつかの実施形態では、オブジェクトを検知することに加えて、レーダユニット２１４はさらに、オブジェクトの速度および／または進行方向を検知してもよい。ＬＩＤＡＲユニット２１５は、レーザを使用してＡＤＶが位置する環境内のオブジェクトを検知してもよい。ＬＩＤＡＲユニット２１５は、他のシステムコンポーネントのほかに、１つまたは複数のレーザ源、レーザスキャナおよび１つまたは複数の検出器を更に備えていてもよい。カメラ２１１は、ＡＤＶの周りの環境における画像を採集するための１つまたは複数の装置を備えていてもよい。例えば、カメラ２１１は、ＡＤＶの周りの環境における画像を採集するための１つまたは複数の画像センサを備えていてもよい。カメラ２１１は、スチルカメラおよび／またはビデオカメラであってもよい。カメラは、例えば、回転および／または傾斜のプラットフォームに取り付けられることによって、機械的に移動可能にしたものであってもよい。

【0024】

センサシステム１１５は、ソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサおよびオーディオセンサ（例えば、マイクロホン）などの他のセンサを更に含んでいてもよい。オーディオセンサは、ＡＤＶの周りの環境から音を採集するように構成されてもよい。ステアリングセンサは、ステアリングホイールのステアリング角、車両の車輪のステアリング角またはそれらの組み合わせを検知するように構成されてもよい。スロットルセンサおよびブレーキセンサそれぞれは、車両のスロットル位置およびブレーキ位置を検知する。場合によっては、スロットルセンサとブレーキセンサは統合型スロットル／ブレーキセンサとして一体化されてもよい。

【0025】

一実施形態では、車両制御システム１１１はステアリングユニット２０１、スロットルユニット２０２（加速ユニットともいう）およびブレーキユニット２０３を含むが、これらに限定されない。ステアリングユニット２０１は車両の方向または進行方向を調整するために用いられる。スロットルユニット２０２はモータまたはエンジンの速度を制御するために用いられ、モータまたはエンジンの速度は更に車両の速度および加速度を制御するために用いられる。ブレーキユニット２０３は、車両の車輪またはタイヤを減速させる摩擦を提供することにより車両を減速させる。なお、図２に示されたコンポーネントは、ハードウェア、ソフトウェアまたはそれらの組み合わせで実現されてもよい。

【0026】

図１を再び参照して、無線通信システム１１２は、ＡＤＶ１０１と、デバイス、センサ、他の車両など外部システムとの間の通信を可能にする。例えば、無線通信システム１１２と１つまたは複数のデバイスとは、直接無線通信するか、または通信ネットワークを介して無線通信してもよく、例えば、ネットワーク１０２を介してサーバ１０３～１０４と通信してもよい。無線通信システム１１２は、任意のセルラー通信ネットワークまたは無線ローカルエリアネットワーク（ＷＬＡＮ）を使用してもよく、例えば、ＷｉＦｉ（登録商標）を使用して別のコンポーネントまたはシステムと通信してもよい。無線通信システム１１２は、例えば、赤外線リンク、ブルートゥース（登録商標）などを使用して、デバイス（例えば、乗員のモバイルデバイス、表示装置、車両１０１内のスピーカ）と直接通信してもよい。ユーザインターフェースシステム１１３は、車両１０１内に実現された周辺装置の部分（例えば、キーボード、タッチスクリーン表示装置、マイクロホンおよびスピーカなどを含む）であってもよい。

【0027】

ＡＤＶ１０１の機能の一部または全部は、特に自動運転モードで動作しているときに、ＡＤＳ１１０によって制御または管理されてもよい。ＡＤＳ１１０は、必要なハードウェア（例えば、プロセッサ、メモリ、記憶装置）およびソフトウェア（例えば、オペレーティングシステム、計画・ルーティングプログラム）を備え、センサシステム１１５、制御システム１１１、無線通信システム１１２および／またはユーザインターフェースシステム１１３から情報を受信し、受信した情報を処理し、出発地から目的地までのルートまたは経路を計画し、その後、計画および制御情報に基づいて車両１０１を運転する。あるいは、ＡＤＳ１１０を車両制御システム１１１と一体に統合してもよい。

【0028】

例えば、乗員としてのユーザは、例えば、ユーザインターフェースを介して、トリップ（ｔｒｉｐ）の出発地位置および目的地を指定してもよい。ＡＤＳ１１０はトリップに関連するデータを取得する。例えば、ＡＤＶ１１０は、ＭＰＯＩサーバから位置およびルートデータを取得してもよく、前記ＭＰＯＩサーバはサーバ１０３～１０４の一部であってもよい。ロケーションサーバ（ｌｏｃａｔｉｏｎ ｓｅｒｖｅｒ）はロケーションサービスを提供し、ＭＰＯＩサーバは地図サービスおよび特定の位置のＰＯＩを提供する。あるいは、そのような位置およびＭＰＯＩ情報はＡＤＳ１１０の永続性記憶装置にローカルキャッシュされてもよい。

【0029】

ＡＤＶ１０１がルートに沿って移動している間、ＡＤＳ１１０は交通情報システムまたはサーバ（ＴＩＳ）からリアルタイム交通情報を取得してもよい。なお、サーバ１０３～１０４は第三者機関によって操作されてもよい。あるいは、サーバ１０３～１０４の機能は、ＡＤＳ１１０と一体に統合されてもよい。リアルタイム交通情報、ＭＰＯＩ情報および位置情報、並びにセンサシステム１１５によって検出または検知されたリアルタイムローカル環境データ（例えば、障害物、オブジェクト、周辺車両）に基づいて、ＡＤＳ１１０は、指定された目的地までに安全かつ効率的に到着するように、最適なルートを計画し、計画されたルートに従って、例えば、制御システム１１１によって車両１０１を運転してもよい。

【0030】

サーバ１０３は、様々な顧客向けにデータ解析サービスを行うためのデータ解析システムであってもよい。一実施形態では、データ解析システム１０３は、データコレクタ１２１と、機械学習エンジン１２２とを備える。データコレクタ１２１は、様々な車両（ＡＤＶまたは人間の運転手によって運転される一般車両）から運転統計データ１２３を収集する。運転統計データ１２３は、発行された運転指令（例えば、スロットル、ブレーキ、ステアリング指令）および車両のセンサによって異なる時点でキャプチャされた車両の応答（例えば、速度、加速、減速、方向）を示す情報を含む。運転統計データ１２３は更に、異なる時点における運転環境を記述する情報、例えば、ルート（出発地位置および目的地位置を含む）、ＭＰＯＩ、道路状況、天気状況などを含んでもよい。

【0031】

機械学習エンジン１２２は、運転統計データ１２３に基づいて、様々な目的でルールセット、アルゴリズムおよび／または予測モデル１２４を生成または訓練する。一実施形態では、アルゴリズム１２４は、ＡＤＶに搭載された複数のセンサから取得されたセンサデータに基づいて、（交通信号灯を検出することを含む）運転環境を検知するアルゴリズムまたはモデルを含んでもよく、複数のセンサは、少なくとも１つの画像センサを含む。アルゴリズム１２４は、第１のフレームをキャプチャするために第１のセンサセッティングを少なくとも１つの画像センサに適用するアルゴリズムまたはモデル、第２のフレームをキャプチャするために第２のセンサセッティングを少なくとも１つの画像センサに適用するアルゴリズムまたはモデル、第１のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて交通信号灯の状態を確定するアルゴリズムまたはモデル、および／または第１のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて確定された交通信号灯の状態と、第２のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて検知された運転環境とに基づいて、ＡＤＶを自律的に走行させるように制御するアルゴリズムまたはモデルをさらに含んでもよい。その後、アルゴリズム１２４を自動運転中にリアルタイムに利用できるようにＡＤＶにアップロードしてもよい。

【0032】

図３Ａおよび図３Ｂは、一実施形態に係るＡＤＶと共に使用されるＡＤＶの一例を示すブロック図である。システム３００は、図１のＡＤＶ１０１の一部として実施されてもよく、ＡＤＳ１１０、制御システム１１１およびセンサシステム１１５を含むが、これらに限定されない。図３Ａ～図３Ｂに示すように、ＡＤＳ１１０は、測位モジュール３０１、検知モジュール３０２、予測モジュール３０３、意思決定モジュール３０４、計画モジュール３０５、制御モジュール３０６およびルーティングモジュール３０７を含むが、これらに限定されない。

【0033】

モジュール３０１～３０７のうちの一部または全部は、ソフトウェア、ハードウェアまたはそれらの組み合わせで実現されてもよい。例えば、これらのモジュールは、永続性記憶装置３５２にインストールされ、メモリ３５１にロードされ、１つまたは複数のプロセッサ（図示せず）によって実行されてもよい。なお、これらのモジュールの一部または全部は、図２の車両制御システム１１１のモジュールの一部または全部と通信可能に接続されるか、または一体に統合されていてもよい。モジュール３０１～３０７の一部は、集積モジュールとして一体化されていてもよい。

【0034】

測位モジュール３０１は、ＡＤＶ３００の現在の位置（例えば、ＧＰＳユニット２１２を利用して）を特定し、ユーザのトリップまたはルートに関連する如何なるデータも管理する。測位モジュール３０１（地図・ルートモジュールとも呼ばれる）は、ユーザのトリップまたはルートに関連する如何なるデータも管理する。ユーザは、例えば、ユーザインターフェースを介してログインして、トリップの出発地位置および目的地を指定してもよい。測位モジュール３０１は、ＡＤＶ３００の地図・ルートデータ３１１のような他のコンポーネントと通信して、トリップ関連データを取得する。例えば、測位モジュール３０１は、ロケーションサーバおよび地図・ポイントオブインタレスト（ＭＰＯＩ）サーバから位置およびルートデータを取得してもよい。ロケーションサーバはロケーションサービスを提供し、ＭＰＯＩサーバは、地図サービスおよび特定位置のＰＯＩを提供し、これらは地図・ルートデータ３１１の一部としてキャッシュすることができる。ＡＤＶ３００がルートに沿って移動するとき、測位モジュール３０１は交通情報システムまたはサーバからリアルタイム交通情報を取得してもよい。

【0035】

検知モジュール３０２は、センサシステム１１５により提供されたセンサデータと、測位モジュール３０１により取得された測位情報とに基づいて、周りの環境の検知（ｐｅｒｃｅｐｔｉｏｎ）を確定する。検知情報は、一般運転手が運転手により運転されている車両の周りで検知するものを表すことができる。検知とは、例えばオブジェクトの形式で、車線構成、信号機の交通信号、他の車両の相対位置、歩行者、建築物、横断歩道または他の交通関連標識（例えば、止まれ標識、ゆずれ標識）などを含んでもよい。車線構成は、例えば、車線の形状（例えば、直線または湾曲）、車線の幅、道路内の車線数、一方向または二方向車線、合流車線または分流車線、退出車線など、１つまたは複数の車線を記述する情報を含む。

【0036】

検知モジュール３０２は、１つまたは複数のカメラによって取り込まれた画像を処理および解析して、ＡＤＶ環境内のオブジェクトおよび／または特徴を認識するためのコンピュータビジョンシステムまたはコンピュータビジョンシステムの機能を含んでもよい。前記オブジェクトは、交通信号灯、道路境界線、他の車両、歩行者および／または障害物などを含んでもよい。コンピュータビジョンシステムは、オブジェクト認識アルゴリズム、ビデオトラッキング、および他のコンピュータビジョン技術を使用することができる。いくつかの実施形態では、コンピュータビジョンシステムは、環境地図の描画、オブジェクトの追跡、およびオブジェクトの速度の推定などを行うことができる。検知モジュール３０２は、レーダおよび／またはＬＩＤＡＲのような他のセンサによって提供された他のセンサデータに基づいてオブジェクトを検出してもよい。

【0037】

各オブジェクトについて、予測モジュール３０３は、その場合にオブジェクトがどのように挙動するかを予測する。この予測は、地図・ルート情報３１１と交通ルール３１２のセットを考慮した時点で運転環境を検知する検知データに基づいて実行される。例えば、オブジェクトが反対方向の車両であり、かつ現在の運転環境が交差点を含む場合、予測モジュール３０３は、車両が直進するかまたは曲がるかを予測する。検知データが、交差点に信号機がないことを示す場合、予測モジュール３０３は、交差点に入る前に車両が完全に停止する必要があると予測する可能性がある。検知データが、車両が現在左折専用車線または右折専用車線にあることを示す場合、予測モジュール３０３は、車両がそれぞれ左折または右折する可能性がより高いと予測することができる。

【0038】

オブジェクトごとに対して、意思決定モジュール３０４はオブジェクトをどのように処置するかを決定する。例えば、特定のオブジェクト（例えば、交差ルートにおける他の車両）およびオブジェクトを記述するメタデータ（例えば、速度、方向、転向角（ｔｕｒｎｉｎｇ ａｎｇｌｅ））について、意思決定モジュール３０４は前記オブジェクトと遇うときに如何に対応するか（例えば、追い越し（ｏｖｅｒｔａｋｅ）、道譲り（ｙｉｅｌｄ）、停止（ｓｔｏｐ）、追い抜き（ｐａｓｓ））を決定する。意思決定モジュール３０４は、交通ルールまたは運転ルール３１２などのルールセットに基づいてそのような決定を行うことができ、前記ルールセットは永続性記憶装置３５２に格納されていてもよい。

【0039】

ルーティングモジュール３０７は、出発地から目的地までの１つまたは複数のルートまたは経路を提供するように構成される。ルーティングモジュール３０７は、出発地位置から目的地位置までの特定のトリップ（例えば、ユーザから受信された特定のトリップ）について、地図・ルート情報３１１を取得し、出発地位置から目的地位置までのすべての可能なルートまたは経路を確定する。ルーティングモジュール３０７は、出発地位置から目的地位置までの各ルートを確定する地形図形態の基準線を生成することができる。基準線とは、他の車両、障害物または交通状況などからの如何なる干渉を受けていない理想的なルートまたは経路をいう。つまり、道路に他の車両、歩行者または障害物がない場合、ＡＤＶは基準線に精確的にまたは密接的に従うべきである。そして、地形図を意思決定モジュール３０４および／または計画モジュール３０５に提供する。意思決定モジュール３０４および／または計画モジュール３０５は、他のモジュールにより提供された他のデータ（例えば、測位モジュール３０１からの交通状况、検知モジュール３０２により検知された運転環境および予測モジュール３０３により予測された交通状况など）に基づいて最適ルートのうちの一つを選択および変更するために、全ての走行可能なルートを検査する。その時点における特定の運転環境に応じて、ＡＤＶを制御するための実際の経路またはルートは、ルーティングモジュール３０７によって提供された基準線に近いかまたは異なっていてもよい。

【0040】

検知されたオブジェクトのそれぞれに対する決定に基づいて、計画モジュール３０５は、ルーティングモジュール３０７によって提供された基準線をベースとし、ＡＤＶに対して経路またはルート並びに運転パラメータ（例えば、距離、速度および／または転向角）を計画する。言い換えれば、特定のオブジェクトについて、意思決定モジュール３０４は該オブジェクトに対して何をするかを決定し、計画モジュール３０５はどのようにするかを決定する。例えば、特定のオブジェクトについて、意思決定モジュール３０４は前記オブジェクトを追い抜くか否かを決定することができ、計画モジュール３０５は前記オブジェクトを左側から追い抜くかまたは右側から追い抜くかを決定することができる。計画および制御データは、計画モジュール３０５により生成され、車両３００が次の移動周期（例えば、次のルート／経路区間）にはどのように移動するかを記述する情報を含む。例えば、計画および制御データは、車両３００に時速３０マイル（ｍｐｈ）で１０ｍ移動し、次に２５マイル（ｍｐｈ）の速度で右車線に変更することを示すことができる。

【0041】

制御モジュール３０６は、計画および制御データに基づいて、計画および制御データにより定義されたルートまたは経路に応じて、適当なコマンド若しくは信号を車両制御システム１１１に送信することによりＡＤＶを制御および運転する。前記計画および制御データは、経路またはルートに沿って異なる時点で適切な車両構成または運転パラメータ（例えば、スロットル、ブレーキ、およびステアリング制御コマンド）を使用して、車両をルートまたは経路の第１点から第２点まで走行させるのに十分な情報を含む。

【0042】

一実施形態では、計画段階は、例えば、時間間隔が１００ミリ秒（ｍｓ）の周期など、複数の計画周期（運転周期ともいう）で実行される。計画周期または運転周期のそれぞれについて、計画および制御データに基づいて１つまたは複数の制御コマンドを発する。すなわち、１００ｍｓごとに、計画モジュール３０５は、次のルートセグメントまたは経路区間（例えば、目標位置およびＡＤＶが目標位置に到着するのに必要な時間が含まれる）を計画する。あるいは、計画モジュール３０５は、具体的な速度、方向および／またはステアリング角（ｓｔｅｅｒｉｎｇ ａｎｇｌｅ）などを更に指定することができる。一実施形態では、計画モジュール３０５は、次の所定期間（例えば、５秒）のルートセグメントまたは経路区間を計画する。計画周期のそれぞれに対し、計画モジュール３０５は、前の周期で計画された目標位置に基づいて、現在の周期（例えば、次の５秒）のための目標位置を計画する。制御モジュール３０６は、次に、現在の周期における計画および制御データに基づいて１つまたは複数の制御コマンド（例えば、スロットル、ブレーキ、ステアリング制御コマンド）を生成する。

【0043】

なお、意思決定モジュール３０４および計画モジュール３０５は、集積モジュールとして一体化されてもよい。意思決定モジュール３０４／計画モジュール３０５は、ＡＤＶの運転経路を決定するためのナビゲーションシステムまたはナビゲーションシステムの機能を含んでいてもよい。例えば、ナビゲーションシステムは、ＡＤＶが最終的な目的地に通じる走行車線に基づく経路に沿って進行すると共に検知された障害物を実質的に回避するように、ＡＤＶをその経路に沿って移動させることを実現するための一連の速度および進行方向を確定することができる。目的地は、ユーザインターフェースシステム１１３を介したユーザ入力に従って設定されてもよい。ナビゲーションシステムは、ＡＤＶが走行している間に運転経路を動的に更新してもよい。ナビゲーションシステムは、ＡＤＶのための運転経路を確定するために、ＧＰＳシステムおよび１つまたは複数の地図からのデータを統合してもよい。

【0044】

図４は、一実施形態に係る自動運転車両の自動運転システムの検知モジュールおよび制御モジュールの一例を示すブロック図４００である。図４を参照すると、検知モジュール３０２は、検出モジュール４０１および確定モジュール４０４を含むが、これらに限定されない。検知モジュール３０２は、ＡＤＶに搭載された少なくとも１つの画像センサを含む複数のセンサから得られたセンサデータに基づいて、運転環境を検知するように構成される。検出モジュール４０１は、交通信号灯を検出するように構成される。制御モジュール３０６は、第１のセンサセッティングモジュール４０２および第２のセンサセッティングモジュール４０３を含むが、これらに限定されない。第１のセンサセッティングモジュール４０２は、第１のフレームをキャプチャするために第１のセンサセッティングを少なくとも１つの画像センサに適用するように構成され、第２のセンサセッティングモジュール４０３は、第２のフレームをキャプチャするために第２のセンサセッティングを少なくとも１つの画像センサに適用するように構成される。確定モジュール４０４は、第１のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて、交通信号灯の状態を確定するように構成される。検出モジュール４０１は、第２のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて、運転環境を検出するように構成される。制御モジュール３０６は、第１のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて確定された交通信号灯の状態と、第２のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて検出された運転環境とに基づいて、ＡＤＶを自律的に走行させるように制御するように構成される。例えば、制御モジュール３０６は、第１のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて確定された交通信号灯の状態に基づいてＡＤＶのブレーキを自動的に制御するように構成されてもよく、制御モジュール３０６はさらに、第２のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて検出された運転環境に基づいてＡＤＶの車輪を自動的に制御するように構成されてもよい。

【0045】

図５は、一実施形態に係る自動運転車両の自動運転システムの画像センサの光強度５０５に対する画素出力５０４の例示である図５００を示している。ＡＤＶの運動計画および制御のために、交通信号灯を検出し、交通信号灯（例えば、赤色、黄色、または緑色の交通信号灯信号（ｔｒａｆｆｉｃ ｌｉｇｈｔ ｓｉｇｎａｌ））を正しく分類することが重要である。しかし、特に暗い／曇天環境下では、赤色の交通信号灯信号を正確に認識することは困難である。カラーアーチファクトのため、赤色の交通信号灯信号を認識できない例が数多く報告されている。例えば、ＡＤＶは、赤色の交通信号灯信号を逃すことによって、赤色の交通信号灯信号を認識できない場合がある。別の例では、ＡＤＶは、赤色の交通信号灯信号を黄色の交通信号灯信号と誤って判断する場合がある。赤色の交通信号灯信号の認識に失敗したのは、ＡＤＶのカメラの画像センサのカラーアーチファクトによるものと考えられる。

【0046】

画像センサの画素出力５０４は、赤色光成分（Ｒ成分）５０１、緑色光成分（Ｇ成分）５０２および青色光成分（Ｂ成分）５０３を含む。例えば、ＡＤＶのカメラの画像センサは、光電センサの正方格子上にＲＧＢカラーフィルタを配置するためのカラーフィルタアレイ（ＣＦＡ）であるベイヤーフィルタ（Ｂａｙｅｒ ｆｉｌｔｅｒ）を使用してもよい。カラーフィルタのベイヤーフィルタの具体的な配置は、デジタルカメラ、カムコーダおよびスキャナのうち、カラー画像を作成するためのほとんどのシングルチップデジタル画像センサに用いられている。

【0047】

暗い／曇天環境下では、通常のセンサセッティングでは画像センサの露光時間が長くなる。そして、赤色光強度（Ｒ成分）５０１、緑色光強度（Ｇ成分）５０２および青色光強度（Ｂ成分）５０３が露光時間に応じて増加する。しかし、赤色光強度（Ｒ成分）は、緑色光強度飽和閾値５２２または青色光強度飽和閾値５２３よりも低い赤色光強度飽和閾値５２１（ｒｅｄ ｌｉｇｈｔ ｉｎｔｅｎｓｉｔｙ ｓａｔｕｒａｔｉｏｎ ｔｈｒｅｓｈｏｌｄ）を有する。

【0048】

ゾーン５１１では、赤色光強度（Ｒ成分）５０１、緑色光強度（Ｇ成分）５０２および青色光強度（Ｂ成分）５０３が増加し、３成分が適正な比率となる。したがって、画素出力５０４は赤色である。

【0049】

ゾーン５１２では、赤色光強度（Ｒ成分）５０１が赤色光強度飽和閾値５２１まで増加すると、赤色光強度（Ｒ成分）５０１は飽和し、それ以上高くならない。緑色光強度（Ｇ成分）５０２は依然として増大している。これにより、Ｒ成分とＧ成分の比率が変化し、ゾーン５１２において画素出力５０４がオレンジ色に変化する。

【0050】

ゾーン５１３では、緑色光強度（Ｇ成分）５０２が緑色光強度飽和閾値５２２に達すると、緑色光強度（Ｇ成分）５０２は飽和する。したがって、Ｒ成分５０１とＧ成分５０２との比率は１に近く、Ｂ成分５０３は低い。その結果、画素出力５０４は黄色を呈する。

【0051】

ゾーン５１４では、画素出力５０４は、３つの成分が全て飽和しているとき、白色を呈する。

【0052】

図５に示すように、暗い／曇天環境下では、通常のセンサセッティングでは、画像センサの露光時間が長くなるとアーチファクトが発生する場合があり、それによって赤色の交通信号灯信号を認識できなくなる。

【0053】

図６Ａ～図６Ｃは、一実施形態に係る自動運転車両の自動運転システムの光検出および分類の例示６００を示している。図６Ａは、光検出および分類のプロセスの一例を示している。図６Ｂは、図６ＡにおけるフレームＡ ６０２の部分６１０ａの拡大図を示している。図６Ｃは、図６ＡにおけるフレームＢ ６０３の部分６１０ｂの拡大図を示している。図６Ａ～６Ｃを参照すると、ＡＤＶは、ＡＤＶに搭載された１つまたは複数の画像センサを含む複数のセンサから取得されたセンサデータに基づいて、運転環境を検知することができる。各画像センサは、センサセッティングを有していてもよい。例えば、センサセッティングには、露光時間およびゲイン等が含まれる。

【0054】

初期時間Ｔ１において、ＡＤＶは、１つまたは複数の画像センサを含む複数のセンサから取得されたセンサデータに基づいて、１つまたは複数の交通信号灯６２０を検出することができる。ＡＤＶには１つまたは複数のカメラが搭載されてもよく、１つまたは複数のカメラのそれぞれは画像センサを含んでもよい。暗い／曇天環境下では、運転環境をキャプチャするために、１つまたは複数の画像センサの初期センサセッティングにおける初期露光時間（例えば、時刻Ｔ１における露光時間）を増加させることができる。

【0055】

一実施形態では、１つまたは複数の画像センサの初期センサセッティングにおける初期露光時間は、交通信号灯６２０を検出するときに決定することができる。１つまたは複数の画像センサの初期露光時間が所定閾値を超えたか否かを判定してもよい。例えば、所定閾値は、赤色光強度飽和閾値（例えば、図５の５２１）に基づいて決定されてもよい。図５に関連して説明したように、ＡＤＶは、１つまたは複数の画像センサの初期セッティングにおける初期露光時間が所定閾値を超えると、赤色の交通信号灯を認識できない場合がある。したがって、赤色の交通信号灯信号を正確に認識するためには、露光時間を最小露光時間、または明るい太陽光あるいは昼光下の条件と同様の露光時間に短縮すればよい。

【0056】

時間Ｔ２において、第１のセンサセッティングは、第１のフレーム（すなわち、「フレームＡ」６１０ａ）内の１つまたは複数の画像センサに適用されてもよい。第１のセンサセッティングは、第１の露光時間および／または第１のゲインを含んでもよい。例えば、第１の露光時間は、例えば、最小露光時間、または明るい太陽光あるいは昼光下の条件と同様の露光時間などの短縮された露光時間であってもよい。別の例として、すべてのゲインをｘ１または最小ゲインに設定してもよい。

【0057】

図６Ｂに示すように、「フレームＡ」６０２の部分６１０ａの拡大図では、例えば、短縮された露出時間および／または低減されたゲインのため、赤色の交通信号灯６２０は、赤色を呈してもよい。検知モジュール３０２内の確定モジュール４０４は、交通信号灯６２０の色を赤色として確定することができ、それによって赤色の交通信号灯６２０を認識することができる。しかしながら、第１のフレーム「フレームＡ」６０２における他の運転環境、例えば、車線構成、障害物等を特定することは困難である。

【0058】

時刻Ｔ３において、第２のセンサセッティングは、第２のフレーム（すなわち、「フレームＢ」６１０ｂ）における１つまたは複数の画像センサに適用されてもよい。第２のセンサセッティングは、第２の露光時間および／または第２のゲインを含んでもよい。第２のセンサセッティングは、暗い／曇天環境下における通常のセンサセッティングであってもよい。例えば、第２の露光時間は、明るい太陽光または昼光下の露光時間よりも長い露光時間であってもよい。別の例として、すべてのゲインを１ｘまたは最小ゲインよりも大きく設定してもよい。

【0059】

図６Ｃに示すように、「フレームＢ」６０３の部分６１０ｂの拡大図では、例えば、図５に関連して説明した露出時間の増加により、赤色の交通信号灯６２０は、オレンジ色または黄色を呈してもよい。しかしながら、検知モジュール３０２は、第２のフレーム「フレームＢ」６０３における１つまたは複数のセンサからのセンサデータに基づいて運転環境を検知するように構成されてもよい。ＡＤＶは、第２のフレーム「フレームＢ」６０３における他の運転環境、例えば、車線構成、障害物を認識することができる。

【0060】

ＡＤＶの制御モジュール３０６は、第１のセンサセッティングおよび第２のセンサセッティングを交互のフレームに適用してもよい。一実施形態では、ＡＤＶは、第１のフレームをキャプチャするために１つまたは複数のセンサに第１のセンサセッティングを適用し、第２のフレームをキャプチャするために１つまたは複数のセンサに第２のセンサセッティングを適用し、繰り返してもよい。

【0061】

一実施形態では、第１のフレーム「フレームＡ」６０２における１つまたは複数のセンサのセンサデータにおける交通信号灯６２０の周りの境界ボックス６２２を確定することができる。各交通信号灯６２０は、対応する境界ボックス６２２を有してもよい。境界ボックス６２２内の画素の特徴を抽出することができる。例えば、境界ボックス６２２内の画素の特徴は、境界ボックス６２２内の画素の赤色光（Ｒ成分）、緑色光（Ｇ成分）、または青色光（Ｂ成分）のうちの１つの平均値、最小値、最大値、または百分位数を含んでもよい。例示として、当該特徴は、赤色光（Ｒ成分）の平均値であってもよい。

【0062】

一実施形態では、第１のセンサセッティングは、境界ボックス内の画素の特徴の所定閾値に基づいて確定されてもよい。例えば、第１の露光時間は、境界ボックス６２２内の画素の赤色光（Ｒ成分）、緑色光（Ｇ成分）または青色光（Ｂ成分）のうちの１つの平均値、最小値、最大値または百分位数の所定閾値を満たすように設定されてもよい。例示として、第１の露光時間は、第１のフレーム「フレームＡ」６０２における境界ボックス６２２内の画素の赤色光（Ｒ成分）の平均値の所定閾値を満たすように設定されてもよい。別の例として、第１の露光時間は、第１のフレーム「フレームＡ」６０２における境界ボックス６２２内の画素の赤色光（Ｒ成分）の最大値の所定閾値を満たすように設定されてもよい。

【0063】

ＡＤＶは、第１のセンサセッティングと設定されたセンサセッティングとを交互に適用してもよい。ＡＤＶは、光条件および／または環境に応じて、複数の第１のフレームをキャプチャするために第１のセンサセッティングを適用するか、または複数の第２のフレームをキャプチャするために第２のセンサセッティングを適用してもよい。一実施形態では、ＡＤＶは、複数の第１のフレームをキャプチャするために第１のセンサセッティングを１つまたは複数の画像センサに適用し、第２のフレームをキャプチャするために第２のセンサセッティングを１つまたは複数の画像センサに適用してもよい。一実施形態では、ＡＤＶは、第１のフレームをキャプチャするために第１のセンサセッティングを１つまたは複数の画像センサに適用し、複数の第２のフレームをキャプチャするために第２のセンサセッティングを１つまたは複数の画像センサに適用してもよい。一実施形態では、ＡＤＶは、複数の第１のフレームをキャプチャするために第１のセンサセッティングを１つまたは複数の画像センサに適用し、複数の第２のフレームをキャプチャするために第２のセンサセッティングを１つまたは複数の画像センサに適用してもよい。

【0064】

第１のフレームにおける１つまたは複数の画像センサのセンサデータに基づいて確定された交通信号灯の色と、第２のフレームにおける１つまたは複数の画像センサのセンサデータに基づいて検知された運転環境とに基づいて、ＡＤＶを自律的に走行させるように制御してもよい。例えば、第１のフレームにおける１つまたは複数の画像センサのセンサデータに基づいて、交通信号灯の色が赤色であると判定したことに応答して、ＡＶのブレーキをかけてＡＤＶを停止するようにしてもよい。例えば、ＡＤＶの車輪は、第２のフレームにおける１つまたは複数の画像センサのセンサデータに基づいて検知された障害物に応じてＡＤＶの軌跡を変化させるように回転することができる。このように、ＡＤＶは赤色の交通信号灯信号を認識し、暗い／曇天環境下で運転環境を検知することができ、それにより運転安全性を高めることができる。

【0065】

図７は、一実施形態に係る自動運転車両の自動運転システムの光検出および分類のプロセスの一例を示すフローチャートである。プロセス７００は、ソフトウェア、ハードウェア、またはそれらの組み合わせを含み得る処理ロジックによって実行することができる。例えば、プロセス７００は、検知モジュール３０２および／または制御モジュール３０６によって実行されてもよい。図７を参照すると、動作７０１において、処理ロジックは、ＡＤＶに搭載された少なくとも１つの画像センサを含む複数のセンサから得られたセンサデータに基づいて、交通信号灯を検出することによってＡＤＶの周りの運転環境を検知する。動作７０２において、処理ロジックは、第１のフレームをキャプチャするために、第１のセンサセッティングを少なくとも１つの画像センサに適用するようにする。動作７０３において、処理ロジックは、第２のフレームをキャプチャするために、第２のセンサセッティングを少なくとも１つの画像センサに適用するようにする。動作７０４において、処理ロジックは、第１のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて交通信号灯の色を確定するようにする。動作７０５において、処理ロジックは、第１のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて確定された交通信号灯の色と、第２のフレームにおける少なくとも１つの画像センサのセンサデータに基づいて検知された運転環境とに基づいて、ＡＤＶを自律的に走行させるように制御する。当該プロセスにより、ＡＤＶは赤色の交通信号灯信号を認識し、暗い／曇天環境下で運転環境を検知することができ、それにより運転安全性を高めることができる。

【0066】

なお、以上に例示および説明されたコンポーネントの一部または全ては、ソフトウェア、ハードウェア、またはそれらの組み合わせで実現することができる。例えば、このようなコンポーネントは、永続性記憶装置にインストールされるとともに格納されるソフトウェアとして実現されてもよく、前記ソフトウェアは、本出願にわたって記載されたプロセスまたは動作を実施するように、プロセッサ（図示せず）を介してメモリにロードして実行されてもよい。あるいは、このようなコンポーネントは、集積回路（例えば、特定用途向け集積回路またはＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のような専用ハードウェアにプログラミングまたは埋め込まれた実行可能なコードとして実現されてもよく、前記実行可能なコードは、アプリケーションからの対応するドライバーおよび／またはオペレーティングシステムを介してアクセスすることができる。また、このようなコンポーネントは、ソフトウェアコンポーネントが１つまたは複数の特定の指令によってアクセス可能な指令セットの一部として、プロセッサまたはプロセッサコアにおける特定のハードウェアロジックとして実現することができる。

【0067】

上述した具体的な説明の一部は、既に、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムと記号表現により示された。これらのアルゴリズムの説明および表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。本明細書では、一般的に、アルゴリズムは、所望の結果につながるセルフコンシステントシーケンスと考えられる。これらの操作は、物理量の物理的処置が必要とされるものである。

【0068】

しかしながら、念頭に置くべきなのは、これらの用語および類似の用語の全ては、適切な物理量に関連付けられるものであり、これらの量を標識しやすくするためのものに過ぎない。以上の説明で他に明示的に記載されていない限り、本明細書の全体にわたって理解すべきなのは、用語（例えば、添付された特許請求の範囲に記載のもの）による説明とは、コンピュータシステム、または類似の電子式計算装置の動作および処理を指し、前記コンピュータシステムまたは電子式計算装置は、コンピュータシステムのレジスタおよびメモリにおける物理（電子）量として示されたデータを制御するとともに、前記データをコンピュータシステムメモリまたはレジスタまたはこのようなその他の情報記憶装置、伝送または表示装置において同様に物理量として示された別のデータに変換する。

【0069】

本出願の実施形態は、本明細書の動作を実行するための装置にも関する。このようなコンピュータプログラムは、非一時的コンピュータ可読媒体に格納される。機械可読媒体は、機械（例えば、コンピュータ）により読み取り可能な形式で情報を格納するための任意のメカニズムを含む。例えば、機械可読（例えば、コンピュータ可読）媒体は、機械（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリ装置）を含む。

【0070】

上述した図面において説明されたプロセスまたは方法は、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（例えば、非一時的コンピュータ可読媒体に具現化されるもの）、または両方の組み合わせを含む処理ロジックにより実行することができる。前記プロセスまたは方法は、以上で特定の順序に応じて説明されたが、前記動作の一部が異なる順序で実行されてもよいことを理解されたい。また、一部の操作は、順番ではなく並行して実行されてもよい。

【0071】

本出願の実施形態は、いずれの特定のプログラミング言語を参照することなく記載されている。理解すべきなのは、本明細書に記載の本出願の実施形態の教示を実現するために、様々なプログラミング言語を使用することができる。

【0072】

本明細書において、本出願の実施形態は、既にその具体的な例示的な実施形態を参照しながら記載された。明らかなように、添付された特許請求の範囲に記載された本出願のより広い趣旨および範囲を逸脱しない限り、本出願に対して様々な変更を行うことができる。それゆえに、本明細書および図面は、限定的な意味でなく、例示的な意味で理解されるべきである。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【手続補正書】

【提出日】2022-04-08

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

自動運転車両（ＡＤＶ）を動作させるためのコンピュータ実施方法であって、
前記ＡＤＶに搭載された、少なくとも１つの画像センサを含む複数のセンサから得られたセンサデータに基づいて、交通信号灯を検出することを含む運転環境を検知するステップと、
第１のフレームをキャプチャするために、第１のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、
第２のフレームをキャプチャするために、第２のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、
前記第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて前記交通信号灯の色を確定するステップと、
前記第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて確定された前記交通信号灯の色と、前記第２のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて検知された運転環境とに基づいて、前記ＡＤＶを自律的に走行させるように制御するステップと、を含むコンピュータ実施方法。

【請求項2】

前記第１のセンサセッティングは、第１の露光時間または第１のゲインの少なくとも一方を含み、
前記第２のセンサセッティングは、第２の露光時間または第２のゲインの少なくとも一方を含み、
前記第１の露光時間または第１のゲインの少なくとも一方はそれぞれ、前記第２の露光時間または第２のゲインの少なくとも一方よりも小さい、請求項１に記載の方法。

【請求項3】

前記第１のセンサセッティングは、昼光条件下での最小値または所定値に基づいて決定される、請求項１に記載の方法。

【請求項4】

前記第１のフレームにおける前記少なくとも１つの画像センサの前記センサデータにおける前記交通信号灯の周りの境界ボックスを確定するステップと、
前記境界ボックス内の画素の特徴を抽出するステップと、をさらに含む請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記境界ボックス内の前記画素の特徴は、前記境界ボックス内の前記画素の赤色、緑色、または青色のうちの１つの平均値、最小値、最大値、または百分位数のうちの少なくとも１つを含む、請求項４に記載の方法。

【請求項6】

前記第１のセンサセッティングは、前記境界ボックス内の前記画素の特徴の所定閾値に基づいて決定される、請求項４に記載の方法。

【請求項7】

前記交通信号灯を検出した際に、前記少なくとも１つの画像センサの初期センサセッティングにおける初期露出時間を確定するステップと、
前記少なくとも１つの画像センサの前記初期露光時間が所定時間閾値を超えたか否かを判断するステップと、をさらに含み、
前記少なくとも１つの画像センサの前記初期露光時間が前記所定時間閾値を超えたと判定したことに応答して、前記第１のセンサセッティングを前記少なくとも１つの画像センサに適用する、請求項１～６のいずれか１項に記載の方法。

【請求項8】

指令が格納されている非一時的機械可読媒体であって、
前記指令は、プロセッサによって実行されると、
前記ＡＤＶに搭載された、少なくとも１つの画像センサを含む複数のセンサから得られたセンサデータに基づいて、交通信号灯を検出することを含む運転環境を検知するステップと、
第１のフレームをキャプチャするために、第１のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、
第２のフレームをキャプチャするために、第２のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、
前記第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて前記交通信号灯の色を確定するステップと、
前記第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて確定された前記交通信号灯の色と、前記第２のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて検知された運転環境とに基づいて、前記ＡＤＶを自律的に走行させるように制御するステップと、を含む動作を前記プロセッサに実行させる、非一時的機械可読媒体。

【請求項9】

前記第１のセンサセッティングは、第１の露光時間または第１のゲインの少なくとも一方を含み、
前記第２のセンサセッティングは、第２の露光時間または第２のゲインの少なくとも一方を含み、
前記第１の露光時間または第１のゲインの少なくとも一方はそれぞれ、前記第２の露光時間または第２のゲインの少なくとも一方よりも小さい、請求項８に記載の非一時的機械可読媒体。

【請求項10】

前記第１のセンサセッティングは、昼光条件下での最小値または所定値に基づいて決定される、請求項８に記載の非一時的機械可読媒体。

【請求項11】

前記動作は、
前記第１のフレームにおける前記少なくとも１つの画像センサの前記センサデータにおける前記交通信号灯の周りの境界ボックスを確定するステップと、
前記境界ボックス内の画素の特徴を抽出するステップと、をさらに含む、請求項８～１０のいずれか１項に記載の非一時的機械可読媒体。

【請求項12】

前記境界ボックス内の前記画素の特徴は、前記境界ボックス内の前記画素の赤色、緑色、または青色のうちの１つの平均値、最小値、最大値、または百分位数のうちの少なくとも１つを含む、請求項１１に記載の非一時的機械可読媒体。

【請求項13】

前記第１のセンサセッティングは、前記境界ボックス内の前記画素の特徴の所定閾値に基づいて決定される、請求項１１に記載の非一時的機械可読媒体。

【請求項14】

前記動作は、
前記交通信号灯を検出した際に、前記少なくとも１つの画像センサの初期センサセッティングにおける初期露出時間を確定するステップと、
前記少なくとも１つの画像センサの前記初期露光時間が所定時間閾値を超えたか否かを判断するステップと、をさらに含み、
前記少なくとも１つの画像センサの前記初期露光時間が前記所定時間閾値を超えたと判定したことに応答して、前記第１のセンサセッティングを前記少なくとも１つの画像センサに適用する、請求項８～１３のいずれか１項に記載の非一時的機械可読媒体。

【請求項15】

プロセッサと、指令を格納するために前記プロセッサに接続されるメモリと、を備えるデータ処理システムであって、
前記指令は、前記プロセッサによって実行されると、
前記ＡＤＶに搭載された、少なくとも１つの画像センサを含む複数のセンサから得られたセンサデータに基づいて、交通信号灯を検出することを含む運転環境を検知するステップと、
第１のフレームをキャプチャするために、第１のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、
第２のフレームをキャプチャするために、第２のセンサセッティングを前記少なくとも１つの画像センサに適用するようにするステップと、
前記第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて前記交通信号灯の色を確定するステップと、
前記第１のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて確定された前記交通信号灯の色と、前記第２のフレームにおける前記少なくとも１つの画像センサのセンサデータに基づいて検知された運転環境とに基づいて、前記ＡＤＶを自律的に走行させるように制御するステップと、を含む動作を前記プロセッサに実行させる、データ処理システム。

【請求項16】

前記第１のセンサセッティングは、第１の露光時間または第１のゲインの少なくとも一方を含み、
前記第２のセンサセッティングは、第２の露光時間または第２のゲインの少なくとも一方を含み、
前記第１の露光時間または第１のゲインの少なくとも一方はそれぞれ、前記第２の露光時間または第２のゲインの少なくとも一方よりも小さい、請求項１５に記載のデータ処理システム。

【請求項17】

前記第１のセンサセッティングは、昼光条件下での最小値または所定値に基づいて決定される、請求項１５に記載のデータ処理システム。

【請求項18】

前記動作は、
前記第１のフレームにおける前記少なくとも１つの画像センサの前記センサデータにおける前記交通信号灯の周りの境界ボックスを確定するステップと、
前記境界ボックス内の画素の特徴を抽出するステップと、をさらに含む、請求項１５～１７のいずれか１項に記載のデータ処理システム。

【請求項19】

前記境界ボックス内の前記画素の特徴は、前記境界ボックス内の前記画素の赤色、緑色、または青色のうちの１つの平均値、最小値、最大値、または百分位数のうちの少なくとも１つを含む、請求項１８に記載のデータ処理システム。

【請求項20】

前記第１のセンサセッティングは、前記境界ボックス内の前記画素の特徴の所定閾値に基づいて決定される、請求項１８に記載のデータ処理システム。

【請求項21】

前記動作は、
前記交通信号灯を検出した際に、前記少なくとも１つの画像センサの初期センサセッティングにおける初期露出時間を確定するステップと、
前記少なくとも１つの画像センサの前記初期露光時間が所定時間閾値を超えたか否かを判断するステップと、をさらに含み、
前記少なくとも１つの画像センサの前記初期露光時間が前記所定時間閾値を超えたと判定したことに応答して、前記第１のセンサセッティングを前記少なくとも１つの画像センサに適用する、請求項１５～２０のいずれか１項に記載のデータ処理システム。

【請求項22】

プロセッサによって実行されるとき、請求項１～７のいずれか１項に記載の方法をプロセッサに実行させるコンピュータプログラム。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００４

【補正方法】変更

【補正の内容】

【0004】

本出願の実施形態は、自動運転車両（ＡＤＶ）を動作させるためのコンピュータ実施方法、非一時的機械可読媒体、データ処理システムおよびコンピュータプログラムを提供する。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

第４の態様では、本出願のいくつかの実施形態は、プロセッサによって実行されるとき、第１の態様に記載の方法をプロセッサに実行させるコンピュータプログラムを提供する。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００２３

【補正方法】変更

【補正の内容】

【0023】

ここで図２を参照すると、一実施形態では、センサシステム１１５は、１つまたは複数のカメラ２１１（１つまたは複数の画像センサを含む）、全地球測位システム（ＧＰＳ）ユニット２１２、慣性計測ユニット（ＩＭＵ）２１３、レーダユニット２１４および光検出・測距（ＬＩＤＡＲ）ユニット２１５を含むが、これらに限定されない。ＧＰＳユニット２１２は、ＡＤＶの位置に関する情報を提供するように動作可能な送受信機を含んでもよい。ＩＭＵユニット２１３は、慣性加速度に基づいてＡＤＶの位置および向きの変化を検知することができる。レーダユニット２１４は、無線信号を利用してＡＤＶのローカル環境内のオブジェクトを検知するシステムを表してもよい。いくつかの実施形態では、オブジェクトを検知することに加えて、レーダユニット２１４はさらに、オブジェクトの速度および／または進行方向を検知してもよい。ＬＩＤＡＲユニット２１５は、レーザを使用してＡＤＶが位置する環境内のオブジェクトを検知してもよい。ＬＩＤＡＲユニット２１５は、他のシステムコンポーネントのほかに、１つまたは複数のレーザ源、レーザスキャナおよび１つまたは複数の検出器を更に備えていてもよい。カメラ２１１は、ＡＤＶの周りの環境における画像を採集するための１つまたは複数の装置を備えていてもよい。例えば、カメラ２１１は、ＡＤＶの周りの環境における画像を採集するための１つまたは複数の画像センサを備えていてもよい。カメラ２１１は、スチルカメラおよび／またはビデオカメラであってもよい。カメラは、例えば、回転および／または傾斜のプラットフォームに取り付けられることによって、機械的に移動可能にしたものであってもよい。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００２８

【補正方法】変更

【補正の内容】

【0028】

例えば、乗員としてのユーザは、例えば、ユーザインターフェースを介して、トリップ（ｔｒｉｐ）の出発地位置および目的地を指定してもよい。ＡＤＳ１１０はトリップに関連するデータを取得する。例えば、ＡＤＶ１０１は、ＭＰＯＩサーバから位置およびルートデータを取得してもよく、前記ＭＰＯＩサーバはサーバ１０３～１０４の一部であってもよい。ロケーションサーバ（ｌｏｃａｔｉｏｎ ｓｅｒｖｅｒ）はロケーションサービスを提供し、ＭＰＯＩサーバは地図サービスおよび特定の位置のＰＯＩを提供する。あるいは、そのような位置およびＭＰＯＩ情報はＡＤＳ１１０の永続性記憶装置にローカルキャッシュされてもよい。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００６３

【補正方法】変更

【補正の内容】

【0063】

ＡＤＶは、第１のセンサセッティングと第２のセンサセッティングとを交互に適用してもよい。ＡＤＶは、光条件および／または環境に応じて、複数の第１のフレームをキャプチャするために第１のセンサセッティングを適用するか、または複数の第２のフレームをキャプチャするために第２のセンサセッティングを適用してもよい。一実施形態では、ＡＤＶは、複数の第１のフレームをキャプチャするために第１のセンサセッティングを１つまたは複数の画像センサに適用し、第２のフレームをキャプチャするために第２のセンサセッティングを１つまたは複数の画像センサに適用してもよい。一実施形態では、ＡＤＶは、第１のフレームをキャプチャするために第１のセンサセッティングを１つまたは複数の画像センサに適用し、複数の第２のフレームをキャプチャするために第２のセンサセッティングを１つまたは複数の画像センサに適用してもよい。一実施形態では、ＡＤＶは、複数の第１のフレームをキャプチャするために第１のセンサセッティングを１つまたは複数の画像センサに適用し、複数の第２のフレームをキャプチャするために第２のセンサセッティングを１つまたは複数の画像センサに適用してもよい。

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】００６４

【補正方法】変更

【補正の内容】

【0064】

第１のフレームにおける１つまたは複数の画像センサのセンサデータに基づいて確定された交通信号灯の色と、第２のフレームにおける１つまたは複数の画像センサのセンサデータに基づいて検知された運転環境とに基づいて、ＡＤＶを自律的に走行させるように制御してもよい。例えば、第１のフレームにおける１つまたは複数の画像センサのセンサデータに基づいて、交通信号灯の色が赤色であると判定したことに応答して、ＡＤＶのブレーキをかけてＡＤＶを停止するようにしてもよい。例えば、ＡＤＶの車輪は、第２のフレームにおける１つまたは複数の画像センサのセンサデータに基づいて検知された障害物に応じてＡＤＶの軌跡を変化させるように回転することができる。このように、ＡＤＶは赤色の交通信号灯信号を認識し、暗い／曇天環境下で運転環境を検知することができ、それにより運転安全性を高めることができる。

【手続補正9】

【補正対象書類名】図面

【補正対象項目名】図６Ａ

【補正方法】変更

【補正の内容】

【図6A】

【国際調査報告】