(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024022570
(43)【公開日】2024-02-16
(54)【発明の名称】車両周辺のオブジェクトを検知して走行する方法、装置及びシステム
(51)【国際特許分類】
G08G 1/16 20060101AFI20240208BHJP
【FI】
G08G1/16 A
【審査請求】有
【請求項の数】12
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023127337
(22)【出願日】2023-08-03
(31)【優先権主張番号】10-2022-0096457
(32)【優先日】2022-08-03
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2022-0123725
(32)【優先日】2022-09-28
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2022-0124595
(32)【優先日】2022-09-29
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】523045180
【氏名又は名称】42ドット・インコーポレイテッド
【氏名又は名称原語表記】42dot Inc.
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100161883
【弁理士】
【氏名又は名称】北出 英敏
(74)【代理人】
【識別番号】100227927
【弁理士】
【氏名又は名称】中村 拓
(72)【発明者】
【氏名】ヨン,ギュファン
(72)【発明者】
【氏名】キム,ハヨン
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181BB04
5H181BB13
5H181BB20
5H181CC04
5H181FF04
5H181FF13
5H181FF27
5H181FF33
5H181LL04
5H181LL08
5H181LL09
5H181LL15
(57)【要約】 (修正有)
【課題】1つ以上の過去周辺車両の移動情報を用いて現在ターゲット車両の未来軌跡を予測する方法を開示する。
【解決手段】サーバが、過去走行車両の基準位置での前記1つ以上の過去周辺車両に関する前記移動情報を受信するステップと、サーバが、前記移動情報から、第1時点-前記第1時点は、基準時点以前の過去時点に該当する-での前記1つ以上の過去周辺車両に関する第1状態情報を取得するステップと、サーバが、前記移動情報から、前記第1時点から所定の時間が経過した第2時点での前記1つ以上の過去周辺車両に関する移動位置を取得するステップと、サーバが、前記移動位置の分布をクラスタリング手法を用いて確率的に計算するステップとを含み、前記移動位置の分布は、前記現在ターゲット車両の未来軌跡を予測することに用いられることを特徴とする、方法を開示する。
【選択図】
図16
【特許請求の範囲】
【請求項1】
1つ以上の過去周辺車両の移動情報を用いて現在ターゲット車両の未来軌跡を予測する方法において、
サーバが、過去走行車両の基準位置での前記1つ以上の過去周辺車両に関する前記移動情報を受信するステップと、
前記サーバが、前記移動情報から、第1時点-前記第1時点は、基準時点以前の過去時点に該当する-での前記1つ以上の過去周辺車両に関する第1状態情報を取得するステップと、
前記サーバが、前記移動情報から、前記第1時点から所定の時間が経過した第2時点での前記1つ以上の過去周辺車両に関する移動位置を取得するステップと、
前記サーバが、前記移動位置の分布をクラスタリング手法を用いて確率的に計算するステップとを含み、
前記移動位置の分布は、前記現在ターゲット車両の未来軌跡を予測することに用いられることを特徴とする、方法。
【請求項2】
前記方法は、
前記基準位置及び前記基準時点での前記現在ターゲット車両に関する第2状態情報を受信するステップと、
前記1つ以上の過去周辺車両に関する前記移動位置の分布の中から前記現在ターゲット車両に関する前記第2状態情報とマッチングされる移動位置の分布を選択するステップとをさらに含む、請求項1に記載の方法。
【請求項3】
前記選択された移動位置の分布は、
第3時点-前記第3時点は、前記基準時点から前記所定の時間が経過した未来時点に該当する-での前記現在ターゲット車両に関する目標位置の分布を推定することに用いられ、
前記目標位置の分布は、
前記現在ターゲット車両の未来軌跡を予測することに用いられることを特徴とする、請求項2に記載の方法。
【請求項4】
前記過去周辺車両に関する第1状態情報と前記現在ターゲット車両に関する第2状態情報とは、車両の位置値及び速度値を含む、請求項1又は2に記載の方法。
【請求項5】
前記第2状態情報とマッチングされる前記移動位置の分布を選択するステップは、
前記現在ターゲット車両の位置値及び速度値を受信するステップと、
前記位置値から所定の範囲内に含まれる前記1つ以上の過去周辺車両の位置値を前記第1状態情報から抽出するステップと、
前記位置値を有する1つ以上の過去周辺車両の中から前記速度値から所定の範囲内に含まれる速度値を有する1つ以上の過去周辺車両を選択するステップと、
前記第2時点での前記選択された1つ以上の過去周辺車両に関する移動位置の分布を選択するステップとを含む、請求項2に記載の方法。
【請求項6】
前記移動位置は、
前記1つ以上の過去周辺車両が前記第2時点で走行中であった道路及び前記道路に含まれる車線の少なくともいずれかにより特定される位置である、請求項1に記載の方法。
【請求項7】
前記移動位置の分布を確率的に計算するステップは、
クラスタリング手法を用いることにより前記移動位置に関する1つ以上のクラスタを生成するステップと、
前記クラスタ別にガウス分布に近似させるステップと、
前記ガウス分布に近似した前記1つ以上のクラスタに対してGMM(Gaussian Mixture Model)を適用することにより前記移動位置に関するガウス混合分布を取得するステップとを含む、請求項1に記載の方法。
【請求項8】
前記クラスタリング手法は、DBSCAN(Density Based Spatial Clustering of Applications with Noise)手法である、請求項7に記載の方法。
【請求項9】
1つ以上の過去周辺車両の移動情報を用いて現在ターゲット車両の未来軌跡を予測するサーバにおいて、
前記サーバは、
少なくとも1つのプログラムが格納されたメモリと、
前記少なくとも1つのプログラムを実行する少なくとも1つのプロセッサとを含み、
前記少なくとも1つのプロセッサは、
過去走行車両の基準位置での前記1つ以上の過去周辺車両に関する前記移動情報を受信し、
前記移動情報から、第1時点-前記第1時点は、基準時点以前の過去時点に該当する-での前記1つ以上の過去周辺車両に関する第1状態情報を取得し、
前記移動情報から、前記第1時点から所定の時間が経過した第2時点での前記1つ以上の過去周辺車両に関する移動位置を取得し、
前記移動位置の分布をクラスタリング手法を用いて確率的に計算し、
前記移動位置の分布は、前記現在ターゲット車両の未来軌跡を予測することに用いられることを特徴とする、サーバ。
【請求項10】
請求項1に記載の方法をコンピュータで実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項11】
1つ以上の過去周辺車両の移動情報を用いて現在ターゲット車両の未来軌跡を予測するシステムにおいて、
過去走行車両の基準位置での1つ以上の過去周辺車両に関する移動情報を取得する過去走行車両内の装置と、
前記移動情報を用いて前記1つ以上の過去周辺車両に関する移動位置の分布を確率的に計算するサーバと、
前記移動位置の分布を用いて前記現在ターゲット車両の未来軌跡を予測する現在走行車両内の装置とを含み、
前記現在走行車両内の装置は、
前記基準位置及び基準時点での前記現在ターゲット車両に関する第2状態情報を取得し、
前記サーバから前記現在ターゲット車両に関する前記第2状態情報とマッチングされる前記過去周辺車両に関する前記移動位置の分布を受信し、
前記移動位置の分布を用いて第3時点-前記第3時点は、前記基準時点から所定の時間が経過した未来時点に該当する-での前記現在ターゲット車両に関する目標位置の分布を推定し、
前記目標位置の分布を用いて前記現在ターゲット車両の未来軌跡を予測する、システム。
【請求項12】
前記現在走行車両内の装置は、
前記目標位置に関するガウス混合分布を取得し、
前記ガウス混合分布の平均ポイントと前記ガウス混合分布に含まれるクラスタ別の確率を計算することをさらに含む、請求項11に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両周辺のオブジェクトを検知して走行する方法、装置及びシステムに関する。
【背景技術】
【0002】
情報通信技術と車両産業の融合により、車両のスマート化が急速に進んでいる。スマート化により、車両は単純な機械的装置からスマートカーに進化しており、特にスマートカーの中核技術として自律走行が注目されている。自律走行とは、運転者がハンドル、加速ペダル、ブレーキなどを操作しなくても車両が自ら目的地まで辿る技術である。
【0003】
自律走行に関する様々な付加機能が開発され続けており、各種データを用いて走行環境を認知及び判断して自動車を制御することにより搭乗者及び歩行者の両方に安全な自律走行経験を提供する方法に関する研究が求められ続けている。
【0004】
特に、自律走行車両は、安全な運行のために周辺車両の未来軌跡又は動きを予測することが必要であり得る。よって、周辺車両の軌跡を予測するための方法に関する発明の必要性が求められている。
【0005】
ただし、それ以外にも、周辺車両の動きを予測するのに活用できる情報が必要である。
【0006】
前述した背景技術は、発明者が本発明の導出のために保有していたか、又は本発明の導出過程で習得した技術情報であって、必ずしも本発明の出願前に一般公衆に公開された公知技術であるとはいえない。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本開示による一部の実施形態は、車両周辺のオブジェクトを検知して走行する方法、装置及びシステムを提供する。本発明が解決しようとする課題は、以上で述べられている課題に限定されず、述べられていない本発明の他の課題及び利点は、以下の説明により理解され、本発明の実施形態によりさらに明らかに理解されるであろう。また、本発明が解決しようとする課題及び利点は、特許請求の範囲に示されている手段及びその組み合わせにより実現できることが理解されるであろう。
【課題を解決するための手段】
【0008】
上述した技術的課題を解決するための技術的手段として、本開示の第1態様は、1つ以上の過去周辺車両の過去移動情報を用いて現在ターゲット車両の未来軌跡を予測の目標位置の分布を確率的に計算する方法において、サーバが、過去走行車両の基準位置での前記1つ以上の過去周辺車両に関する前記移動情報を受信するステップと、サーバが、前記移動情報から、第1時点-前記第1時点は、基準時点以前の過去時点に該当する-での前記1つ以上の過去周辺車両に関する第1状態情報を取得するステップと、サーバが、前記移動情報から、前記第1時点から所定の時間が経過した第2時点での前記1つ以上の過去周辺車両に関する移動位置を取得するステップと、サーバが、前記移動位置の分布をクラスタリング手法を用いて確率的に計算するステップとを含み、前記移動位置の分布は、前記現在ターゲット車両の未来軌跡を予測することに用いられることを特徴とする、方法を提供することができる。
【0009】
ここで、前記方法は、前記基準位置及び前記基準時点での前記現在ターゲット車両に関する第2状態情報を受信するステップと、前記1つ以上の過去周辺車両に関する前記移動位置の分布の中から前記現在ターゲット車両に関する前記第2状態情報とマッチングされる移動位置の分布を選択するステップとをさらに含んでもよい。
【0010】
ここで、前記選択された移動位置の分布は、第3時点-前記第3時点は、前記基準時点から前記所定の時間が経過した未来時点に該当する-での前記現在ターゲット車両に関する目標位置の分布を推定することに用いられ、前記目標位置の分布は、前記現在ターゲット車両の未来軌跡を予測することに用いられることを特徴とすることができる。
【0011】
ここで、前記過去周辺車両に関する第1状態情報と前記現在ターゲット車両に関する第2状態情報とは、車両の位置値及び速度値を含んでもよい。
【0012】
ここで、前記第2状態情報とマッチングされる前記移動位置の分布を選択するステップは、前記現在ターゲット車両の前記位置値及び前記速度値を受信するステップと、前記位置値から所定の範囲内に含まれる前記1つ以上の過去周辺車両の位置値を前記第1状態情報から抽出するステップと、前記位置値を有する1つ以上の過去周辺車両の中から前記速度値から所定の範囲内に含まれる速度値を有する1つ以上の過去周辺車両を選択するステップと、前記第2時点での前記選択された1つ以上の過去周辺車両に関する移動位置の分布を選択するステップとを含んでもよい。
【0013】
ここで、前記移動位置は、前記1つ以上の過去周辺車両が前記第2時点で走行中であった道路及び前記道路に含まれる車線の少なくともいずれかにより特定される位置であってもよい。
【0014】
ここで、前記移動位置の分布を確率的に計算するステップは、クラスタリング手法を用いることにより前記移動位置に関する1つ以上のクラスタを生成するステップと、前記クラスタ別にガウス分布に近似させるステップと、前記ガウス分布に近似した前記1つ以上のクラスタに対してGMM(Gaussian Mixture Model)を適用することにより前記移動位置に関するガウス混合分布を取得するステップとを含んでもよい。
【0015】
ここで、前記クラスタリング手法は、DBSCAN(Density Based Spatial Clustering of Applications with Noise)手法であってもよい。
【0016】
本開示の第2態様は、1つ以上の過去周辺車両の移動情報を用いて現在ターゲット車両の未来軌跡を予測するサーバにおいて、前記サーバは、少なくとも1つのプログラムが格納されたメモリと、前記少なくとも1つのプログラムを実行する少なくとも1つのプロセッサとを含み、前記少なくとも1つのプロセッサは、過去走行車両の基準位置での前記1つ以上の過去周辺車両に関する前記移動情報を受信し、前記移動情報から、第1時点-前記第1時点は、基準時点以前の過去時点に該当する-での前記1つ以上の過去周辺車両に関する第1状態情報を取得し、前記移動情報から、前記第1時点から所定の時間が経過した第2時点での前記1つ以上の過去周辺車両に関する移動位置を取得し、前記移動位置の分布をクラスタリング手法を用いて確率的に計算し、前記移動位置の分布は、前記現在ターゲット車両の未来軌跡を予測することに用いられることを特徴とする、サーバを提供することができる。
【0017】
本開示の第3態様は、1つ以上の過去周辺車両の移動情報を用いて現在ターゲット車両の未来軌跡を予測するシステムにおいて、過去走行車両の基準位置での1つ以上の過去周辺車両に関する移動情報を取得する過去走行車両内の装置と、前記移動情報を用いて前記1つ以上の過去周辺車両に関する移動位置の分布を確率的に計算するサーバと、前記移動位置の分布を用いて前記現在ターゲット車両の未来軌跡を予測する現在走行車両内の装置とを含み、前記現在走行車両内の装置は、前記基準位置及び基準時点での前記現在ターゲット車両に関する第2状態情報を取得し、前記サーバから前記現在ターゲット車両に関する前記第2状態情報とマッチングされる前記過去周辺車両に関する前記移動位置の分布を受信し、前記移動位置の分布を用いて第3時点-前記第3時点は、前記基準時点から前記所定の時間が経過した未来時点に該当する-での前記現在ターゲット車両に関する目標位置の分布を推定し、前記目標位置の分布を用いて前記現在ターゲット車両の未来軌跡を予測する、システムを提供することができる。
【0018】
ここで、前記現在走行車両内の装置は、前記目標位置に関するガウス混合分布を取得し、前記ガウス混合分布の平均ポイントと前記ガウス混合分布に含まれるクラスタ別の確率を計算することをさらに含んでもよい。
【0019】
本開示の第4態様は、本線合流のために右折することを計画中の自律走行車両の行動を決定する方法において、前記本線に含まれる車線の中から前記自律走行車両の走行経路と重なり得る衝突車線を取得するステップと、前記衝突車線を走行中の車両の中から前記自律走行車両との衝突可能性がある1つ以上の候補車両を分類するステップと、前記候補車両に対して経路を予測することにより、所定の時間内に前記候補車両が予め設定された衝突領域を占有するかを予測するステップと、前記占有に関する予測結果及び前記自律走行車両の現在走行状態に基づいて、前記右折することを計画中の自律走行車両の行動を決定するステップとを含む、方法を提供することができる。
【0020】
ここで、前記方法は、前記自律走行車両の前記走行経路と前記衝突車線に基づいて前記衝突領域を設定するステップをさらに含んでもよい。
【0021】
ここで、前記自律走行車両の行動を決定するステップは、前記現在走行状態が前記衝突領域から所定の距離内の領域である行動決定領域に進入している第1状態である場合、前記自律走行車両が前記行動決定領域で徐行するように、前記自律走行車両の行動を決定するステップを含んでもよい。
【0022】
ここで、前記自律走行車両の行動を決定するステップは、前記現在走行状態が第1状態であり、歩行者が識別されない場合、前記自律走行車両が前記行動決定領域で第1閾値速度以下で徐行するように、前記自律走行車両の行動を決定するステップを含んでもよい。
【0023】
ここで、前記自律走行車両の行動を決定するステップは、前記現在走行状態が第1状態であり、歩行者が識別された場合、前記自律走行車両が前記行動決定領域で第2閾値速度以下で徐行するように、前記自律走行車両の行動を決定するステップを含み、前記第1閾値速度の値は、前記第2閾値速度の値より大きい値であってもよい。
【0024】
ここで、前記自律走行車両の行動を決定するステップは、前記現在走行状態が前記行動決定領域で徐行している第2状態であり、前記候補車両が前記衝突領域を占有すると予測された場合、前記自律走行車両が前記行動決定領域で停止することにより所定の時間の間前記衝突領域を通過しないように、前記自律走行車両の行動を決定するステップを含んでもよい。
【0025】
ここで、前記自律走行車両の行動を決定するステップは、前記現在走行状態が前記行動決定領域で徐行している第2状態であり、前記候補車両が前記衝突領域を占有しないと予測される場合、前記自律走行車両が前記本線に右折することにより前記衝突領域を通過するように、前記自律走行車両の行動を決定するステップを含んでもよい。
【0026】
ここで、前記自律走行車両の行動を決定するステップは、前記現在走行状態が前記行動決定領域で停止している第3状態であり、前記候補車両が前記衝突領域を占有しないと予測される場合、前記自律走行車両が前記行動決定領域で徐行するように、前記自律走行車両の行動を決定するステップを含んでもよい。
【0027】
ここで、前記自律走行車両の行動を決定するステップは、前記現在走行状態が前記行動決定領域で停止している第3状態であり、前記候補車両が前記衝突領域を占有すると予測された場合、前記自律走行車両が前記行動決定領域で停止することを維持するように、前記自律走行車両の行動を決定するステップを含んでもよい。
【0028】
本開示の第5態様は、本線合流のために右折することを計画中の自律走行車両の行動を決定する装置において、前記装置は、少なくとも1つのプログラムが格納されたメモリと、前記少なくとも1つのプログラムを実行する少なくとも1つのプロセッサとを含み、前記少なくとも1つのプロセッサは、前記本線に含まれる車線の中から前記自律走行車両の走行経路と重なり得る衝突車線を取得し、前記衝突車線を走行中の車両の中から前記自律走行車両との衝突可能性がある1つ以上の候補車両を分類し、前記候補車両に対して経路を予測することにより、所定の時間内に前記候補車両が予め設定された衝突領域を占有するかを予測し、前記占有に関する予測結果及び前記自律走行車両の現在走行状態に基づいて、前記右折することを計画中の自律走行車両の行動を決定する、装置を提供することができる。
【0029】
本開示の第6態様は、第1態様による方法又は第4態様による方法をコンピュータで実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することができる。
【0030】
それら以外にも、本発明を実現するための他の方法、他のシステム、及び前記方法を実行するためのコンピュータプログラムが格納されたコンピュータで読み取り可能な記録媒体をさらに提供することができる。
【0031】
上記以外の他の態様、特徴、利点は、添付の図面、請求の範囲、及び以下の発明の詳細な説明から明らかになるであろう。
【発明の効果】
【0032】
前述した本開示の課題解決手段によれば、過去周辺車両に関する移動情報を用いて移動位置の分布を確率的に計算することにより、周辺車両の軌跡の予測に用いられる情報を生成することができる。
【0033】
前述した本開示の課題解決手段によれば、過去周辺車両に関する移動位置の分布を用いて周辺車両に関する目標位置の分布を推定することにより、周辺車両に関するより正確な未来軌跡を予測することができる。
【0034】
前述した本開示の課題解決手段によれば、自律走行車両の周辺車両の動きを観測することにより、本線合流のために右折することを計画中の自律走行車両のための安全かつ効率的な行動を決定することができる。
【図面の簡単な説明】
【0035】
【
図1】一実施形態による自律走行システムの例を説明するための図である。
【
図2A】一実施形態による装置の内部構成を説明するためのブロック図である。
【
図2B】一実施形態によるサーバの内部構成を説明するためのブロック図である。
【
図3】一実施形態による自律走行方式を説明するための図である。
【
図4】一実施形態による自律走行方式を説明するための図である。
【
図5】一実施形態による自律走行方式を説明するための図である。
【
図6】一実施形態による映像データに含まれる複数のオブジェクトの例を説明するための図である。
【
図7】一実施形態による1つ以上の過去周辺車両に関する移動情報を受信する方法を説明するための図である。
【
図8】一実施形態による移動情報から過去周辺車両に関する第1状態情報を取得する方法を説明するための図である。
【
図9】一実施形態による移動情報から過去周辺車両に関する移動位置を取得する方法を説明するための図である。
【
図10】一実施形態による移動情報から過去周辺車両に関する移動位置を取得する方法を説明するための図である。
【
図11】一実施形態による移動位置の分布をクラスタリング手法を用いて確率的に計算する方法を説明するための図である。
【
図12】一実施形態による移動位置の分布をクラスタリング手法を用いて確率的に計算する方法を説明するための図である。
【
図13】一実施形態による移動位置の分布を用いて現在ターゲット車両に関する目標位置の分布を推定する方法を説明するための図である。
【
図14】一実施形態による目標位置の分布を用いて現在ターゲット車両の未来軌跡を予測する方法を説明するための図である。
【
図15】本発明の一実施形態による過去周辺車両の移動情報を用いて移動位置の分布を確率的に計算する方法に関するフローチャートである。
【
図16】本発明の一実施形態による過去周辺車両の移動情報を用いて現在ターゲット車両の未来軌跡を予測する方法に関するフローチャートである。
【
図17】本開示の一実施形態による衝突車線を取得する方法を説明するための図である。
【
図18】本開示の一実施形態による衝突車線を走行中の車両の中から候補車両を分類する方法を説明するための図である。
【
図19】本開示の一実施形態による衝突車線を走行中の車両の中から候補車両を分類する方法を説明するための図である。
【
図20】本開示の一実施形態による候補車両が衝突領域を占有するかを予測する方法を説明するための図である。
【
図21】本開示の一実施形態による行動決定領域で自律走行車両の行動を決定する方法を説明するための図である。
【
図22】本開示の一実施形態による行動決定領域で自律走行車両の行動を決定する方法に関するフローチャートである。
【
図23】本開示の一実施形態による自律走行車両の行動決定方法に関するフローチャートである。
【発明を実施するための形態】
【0036】
本発明の利点及び特徴、並びにそれらを達成する方法は、添付の図面と共に詳細に説明される実施形態を参照することによって明らかになるであろう。しかし、本発明は、以下に提示される実施形態に限定されるものではなく、異なる様々な形態で実現することができ、本発明の思想及び技術範囲に含まれる全ての変換、均等物乃至代替物を含むものと理解されるべきである。以下に提示される実施形態は、本発明の開示を完全にし、本発明の属する技術の分野における通常の知識を有する者に発明の範疇を完全に理解させるために提供されるものである。本発明を説明するにあたり、関連する公知技術についての具体的な説明が本発明の要旨を不明にすると判断される場合、その詳細な説明を省略する。
【0037】
本出願で用いられる用語は、単に特定の実施形態を説明するために用いられるものであり、本発明の限定を意図するものではない。単数の表現は、文脈上明らかに他の意味を表さない限り、複数の表現を含む。本出願において、「含む」や「有する」などの用語は、明細書に記載された特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせが存在することを指定するものであり、1つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせの存在や追加の可能性を予め排除するものではないと理解されるべきである。
【0038】
本開示の一部の実施形態は、機能ブロック構成及び様々な処理ステップで示すことができる。そのような機能ブロックの一部又は全部は、特定の機能を実行する様々な数のハードウェア及び/又はソフトウェア構成で実現することができる。例えば、本開示の機能ブロックは、1つ以上のマイクロプロセッサにより実現するか、又は所定の機能のための回路構成により実現することができる。また、例えば、本開示の機能ブロックは、様々なプログラミング又はスクリプト言語で実現することができる。機能ブロックは、1つ以上のプロセッサで実行されるアルゴリズムで実現することができる。さらに、本開示は、電子的な環境設定、信号処理及び/又はデータ処理などのために従来技術を採用することができる。「メカニズム」、「要素」、「手段」、「構成」などの用語は広く用いることができ、機械的及び物理的な構成に限定されるものではない。
【0039】
なお、図面に示す構成要素間の連結線又は連結部材は、機能的連結及び/又は物理的連結もしくは回路接続を例示的に示すものに過ぎない。実際の装置では、代替可能又は追加の様々な機能的連結、物理的連結又は回路接続により構成要素間の連結を示すことができる。
【0040】
以下、「車両」とは、自動車、バス、バイク、キックボード又はトラックのように、機関を有して人や物を移動させるために用いられるあらゆる種類の運送手段を意味することができる。
【0041】
以下、添付図面を参照して本開示を詳細に説明する。
【0042】
図1は一実施形態による自律走行システムの例を説明するための図である。
【0043】
図1を参照すると、システム10は、サーバ20及び1つ以上の車両内の装置30を含んでもよい。例えば、サーバ20と車両内の装置30とは、有線又は無線通信方式で接続され、互いにデータ(例えば、映像データなど)を送受信することができる。
【0044】
説明の便宜上、
図1にはシステム10にサーバ20及び車両内の装置30が含まれることを示すが、それに限定されるものではない。例えば、システム10には他の外部デバイス(図示せず)が含まれてもよく、以下に説明されるサーバ20及び車両内の装置30の動作が単一のデバイス(例えば、サーバ20もしくは車両内の装置30)又はより多くのデバイスにより実現されてもよい。
【0045】
サーバ20は、車両内の装置30を含む外部デバイス(図示せず)と通信を行う装置であってもよい。一例として、サーバ20は、車両内の装置30が取得した映像データを含めて、様々なデータを格納する装置であってもよい。あるいは、サーバ20は、メモリ及びプロセッサを含み、独自な演算能力を備えたコンピューティング装置であってもよい。サーバ20がコンピューティング装置である場合、サーバ20は、後述する車両内の装置30の動作の少なくとも一部を行うことができる。例えば、サーバ20は、クラウド(cloud)サーバであってもよいが、それに限定されるものではない。
【0046】
一方、一例として、車両内の装置30は、車両内に組み込まれる電子装置であってもよい。例えば、車両内の装置30は、生産過程以降にチューニング(tuning)により車両内に挿入される電子装置であってもよい。例えば、車両内の装置30は、自律走行車両に装着されて自律走行車両を実現する自律走行装置であってもよい。
【0047】
他の例として、車両内の装置30は、移動性を有する電子装置であってもよい。例えば、車両内の装置30は、スマートフォン、タブレットPC、PC、スマートテレビ、PDA(personal digital assistant)、ラップトップ、メディアプレーヤ、ナビゲーション、カメラ付き装置、及びその他のモバイル電子装置で実現することができる。また、車両内の装置30は、通信機能及びデータ処理機能を備えた時計、メガネ、ヘッドバンド、指輪などのウェアラブル装置で実現することができる。
【0048】
図2Aは一実施形態による装置の内部構成を説明するためのブロック図である。
【0049】
図2Aを参照すると、車両内の装置100は、プロセッサ110、メモリ120、入出力インタフェース130及び通信モジュール140を含んでもよい。説明の便宜上、
図2Aには本発明に関連する構成要素のみ示されている。よって、
図2Aに示す構成要素に加えて他の汎用の構成要素が車両内の装置100にさらに含まれてもよい。また、
図2Aに示すプロセッサ110、メモリ120、入出力インタフェース130及び通信モジュール140が独立した装置で実現されてもよいことは、本発明に関連する技術分野における通常の知識を有する者にとって自明である。
【0050】
プロセッサ110は、基本的な算術、ロジック及び入出力演算を行うことにより、コンピュータプログラムの命令を処理することができる。ここで、命令は、メモリ120又は外部装置(例えば、サーバ20など)から提供されるようにすることができる。また、プロセッサ110は、車両内の装置100に含まれる他の構成要素の動作を全般的に制御することができる。
【0051】
プロセッサ110は、複数の論理ゲートのアレイで実現されてもよく、汎用のマイクロプロセッサとそのマイクロプロセッサで実行できるプログラムが格納されたメモリとの組み合わせで実現されてもよい。例えば、プロセッサ110は、汎用のプロセッサ、中央処理装置(CPU)、マイクロプロセッサ、デジタル信号プロセッサ(DSP)、制御器、マイクロ制御器、状態マシンなどを含むことができる。一部の環境で、プロセッサ110は、特定用途向け集積回路(ASIC)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)などを含むこともできる。例えば、プロセッサ110は、デジタル信号プロセッサ(DSP)とマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサの組み合わせ、デジタル信号プロセッサ(DSP)コアに結合された1つ以上のマイクロプロセッサの組み合わせ、又は任意の他のそのような構成の組み合わせなどの処理デバイスの組み合わせを示すこともできる。
【0052】
メモリ120は、非一時的な任意のコンピュータ可読記録媒体を含むことができる。一例として、メモリ120は、RAM(random access memory)、ROM(read only memory)、ディスクドライブ、SSD(solid state drive)、フラッシュメモリ(flash memory)などの永久大容量記憶装置(permanent mass storage device)を含むことができる。他の例として、ROM、SSD、フラッシュメモリ、ディスクドライブなどの永久大容量記憶装置は、メモリとは区分される別の永久記憶装置であってもよい。また、メモリ120には、運営体制(OS)と少なくとも1つのプログラムコード(例えば、車両内の装置100の動作として後述する動作をプロセッサ110が実行するためのコード)を格納することができる。
【0053】
このようなソフトウェア構成要素は、メモリ120とは別のコンピュータで読み取り可能な記録媒体からロードされるようにすることができる。このような別のコンピュータで読み取り可能な記録媒体は、車両内の装置100に直接接続できる記録媒体であってもよく、例えば、フロッピードライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含むことができる。あるいは、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではなく、通信モジュール140によりメモリ120にロードされるようにすることもできる。例えば、少なくとも1つのプログラムは、開発者又はアプリケーションのインストールファイルを配布するファイル配布システムが通信モジュール140により提供するファイルによりインストールされるコンピュータプログラム(例えば、車両内の装置100の動作として後述する動作をプロセッサ110が実行するためのコンピュータプログラムなど)に基づいてメモリ120にロードされるようにすることができる。
【0054】
入出力インタフェース130は、車両内の装置100に接続されるか又は車両内の装置100に含まれる入力又は出力のための装置(例えば、キーボード、マウスなど)とのインタフェースのための手段であってもよい。
図2Aにおいては、入出力インタフェース130がプロセッサ110とは別に構成された要素として示されているが、それに限定されるものではなく、入出力インタフェース130がプロセッサ110に含まれるように構成されてもよい。
【0055】
通信モジュール140は、ネットワークを介して外部装置(例えば、サーバ20)と車両内の装置100が互いに通信を行うための構成又は機能を提供することができる。また、通信モジュール140は、車両内の装置100が他の外部デバイスと通信を行うための構成又は機能を提供することができる。例えば、プロセッサ110の制御により提供される制御信号、命令、データなどが通信モジュール140とネットワークを介してサーバ20及び/又は外部デバイスに送信されるようにすることができる。
【0056】
一方、
図2Aには示されていないが、車両内の装置100は、ディスプレイ装置をさらに含んでもよい。あるいは、車両内の装置100は、独立したディスプレイ装置と有線又は無線通信方式で接続され、互いにデータを送受信することができる。
【0057】
図2Bは一実施形態によるサーバの内部構成を説明するためのブロック図である。
【0058】
図2Bを参照すると、サーバ200は、プロセッサ210、メモリ220及び通信モジュール230を含む。説明の便宜上、
図2Bには本発明に関連する構成要素のみ示されている。よって、
図2Bに示す構成要素に加えて他の汎用の構成要素がサーバ200にさらに含まれてもよい。また、
図2Bに示すプロセッサ210、メモリ220及び通信モジュール230が独立した装置で実現されてもよいことは、本発明に関連する技術分野における通常の知識を有する者にとって自明である。
【0059】
一実施形態によれば、後述する車両内の装置100のプロセッサ110の動作の少なくとも1つをサーバ200のプロセッサ210により行うことができる。その場合、車両内の装置100は、サーバ200から送信された情報をディスプレイ装置により出力することができる。
【0060】
一方、プロセッサ210の実現例は
図2Aを参照して上述したプロセッサ110の実現例と同様であるので、具体的な説明は省略する。
【0061】
メモリ220には、車両内の装置100が取得した映像データなど、様々なデータを格納することができる。また、メモリ220には、運営体制(OS)と少なくとも1つのプログラム(例えば、プロセッサ210が動作する上で必要なプログラムなど)を格納することができる。
【0062】
一方、メモリ220の実現例は
図2Aを参照して上述したメモリ120の実現例と同様であるので、具体的な説明は省略する。
【0063】
通信モジュール230は、ネットワークを介してサーバ200と1つ以上の車両内の装置100が互いに通信を行うための構成又は機能を提供することができる。また、通信モジュール230は、サーバ200が他の外部デバイスと通信を行うための構成又は機能を提供することができる。例えば、プロセッサ210の制御により提供される制御信号、命令、データなどが通信モジュール230とネットワークを介して車両内の装置100及び/又は外部デバイスに送信されるようにすることができる。
【0064】
図3は一実施形態による自律走行方式を説明するための図である。
【0065】
図3を参照すると、本発明の一実施形態による車両内の装置30は、車両に装着されて自律走行車両31を実現することができる。例えば、自律走行車両31に装着される車両内の装置30は、自律走行装置であってもよい。自律走行車両31に装着される自律走行装置は、周辺の状況情報を収集するための様々なセンサを含んでもよい。一例として、自律走行装置は、自律走行車両31の前面に装着されたイメージセンサ及び/又はイベントセンサにより、前方を運行中の先行車両32の動きを検知することができる。自律走行装置は、自律走行車両31の前方はもとより、隣の車路を運行中の他の走行車両33や、自律走行車両31周辺の歩行者などを検知するためのセンサをさらに含んでもよい。
【0066】
自律走行車両周辺の状況情報を収集するためのセンサの少なくとも1つは、
図3に示すように、所定の画角(FoV)を有することができる。一例として、自律走行車両31の前面に装着されたセンサが
図3に示すような画角(FoV)を有する場合、センサの中央で検出される情報が相対的に高い重要度を有することができる。これは、センサの中央で検出される情報に、先行車両32の動きに対応する情報のほとんどが含まれているからである。
【0067】
自律走行装置は、自律走行車両31のセンサが収集した情報をリアルタイムで処理して自律走行車両31の動きを制御する一方、センサが収集した情報の少なくとも一部はメモリ装置に格納することができる。
【0068】
図4は一実施形態による車両内の装置に含まれるハードウェアを示すブロック図である。
【0069】
図4を参照すると、車両内の装置40は、センサ部41、プロセッサ46、メモリシステム47、車体制御モジュール48などを含んでもよい。センサ部41は、複数のセンサ42~45を含み、複数のセンサ42~45は、イメージセンサ、イベントセンサ、照度センサ、GPS装置、加速度センサなどを含んでもよい。
【0070】
センサ42~45が収集したデータは、プロセッサ46に伝達されるようにすることができる。プロセッサ46は、センサ42~45が収集したデータをメモリシステム47に格納し、センサ42~45が収集したデータに基づいて車体制御モジュール48を制御して車両の動きを決定することができる。メモリシステム47は、2つ以上のメモリ装置と、メモリ装置を制御するためのシステムコントローラとを含んでもよい。メモリ装置のそれぞれは、1つの半導体チップとして提供することができる。
【0071】
メモリシステム47のシステムコントローラの他に、メモリシステム47に含まれるメモリ装置のそれぞれは、メモリコントローラを含んでもよく、メモリコントローラは、ニューラルネットワークなどの人工知能(AI)演算回路を含んでもよい。メモリコントローラは、センサ42~45又はプロセッサ46から受信したデータに所定の重みを与えて演算データを生成し、演算データをメモリチップに格納することができる。
【0072】
図5は一実施形態による自律走行装置が搭載された自律走行車両のセンサ(カメラを含む)が取得した映像データの例を示す図である。
【0073】
図5を参照すると、映像データ50は、自律走行車両の前面に装着されたセンサが取得したデータであってもよい。よって、映像データ50は、自律走行車両の前面部51、自律走行車両と同じ車路の先行車両52、自律走行車両周辺の走行車両53、背景54などを含むことができる。
【0074】
図5に示す実施形態による映像データ50において、自律走行車両の前面部51及び背景54が表示される領域のデータは、自律走行車両の運行に影響を及ぼす可能性がほとんどないデータであり得る。言い換えれば、自律走行車両の前面部51及び背景54は、相対的に低い重要度を有するデータとみなすことができる。
【0075】
それに対して、先行車両52との距離、走行車両53の車路変更の動きなどは、自律走行車両の安全な運行において非常に重要な要素であり得る。よって、映像データ50において、先行車両52や走行車両53などが含まれる領域のデータは、自律走行車両の運行において相対的に高い重要度を有することができる。
【0076】
自律走行装置のメモリ装置は、センサから受信した映像データ50の領域毎に異なる重みを与えて保存することができる。一例として、先行車両52や走行車両53などが含まれる領域のデータには高い重みを与え、自律走行車両の前面部51及び背景54が表示される領域のデータには低い重みを与えることができる。
【0077】
図6は一実施形態による映像データに含まれる複数のオブジェクトの例を説明するための図である。
【0078】
1つ以上の単眼カメラにより収集された映像データは、深度推定のための深層ニューラルネットワークモデルの学習のために用いることができる。収集された映像データには、複数のオブジェクトが含まれることがある。
【0079】
オブジェクトに関する情報は、オブジェクト種類情報及びオブジェクト属性情報を含む。ここで、オブジェクト種類情報は、オブジェクトの種類を示すインデックス情報であり、大きな範囲であるグループと、細かい範囲であるクラスとから構成される。また、オブジェクト属性情報は、オブジェクトの現在の状態に関する属性情報を示すものであり、動き情報、回転情報、交通情報、色情報及び可視性情報を含む。
【0080】
一実施形態において、オブジェクト種類情報に含まれるグループ及びクラスは、下記表1の通りであるが、それに限定されるものではない。
【表1】
また、オブジェクト属性情報に含まれる情報には、Action情報、Rotate情報、Traffic情報、Color情報及びVisibility情報が含まれてもよい。
【0081】
Action情報は、オブジェクトの動き情報を示し、停車、駐車、移動などと定義することができる。車両の場合、停車、駐車、移動をオブジェクト属性情報として決定することができ、信号機のように動きのないオブジェクトの場合、デフォルト値である静止をオブジェクト属性情報として決定することができる。
【0082】
Rotate情報は、オブジェクトの回転情報を示し、正面、後面、水平(horizontal)、垂直(vertical)、側面などと定義することができる。車両の場合、正面、後面、側面をオブジェクト属性情報として決定することができ、横方向又は縦方向の信号機は、それぞれ水平又は垂直をオブジェクト属性情報として決定することができる。
【0083】
Traffic情報は、オブジェクトの交通情報を意味し、交通標識の指示、注意、規制、補助標識などと定義することができる。Color情報は、オブジェクトの色情報を意味し、オブジェクトの色、信号機及び交通標識の色を示すことができる。
【0084】
図6を参照すると、収集された映像データに含まれるオブジェクトは、信号機、道路標識、現在走行中の車路、ロードマーキング、横断歩道、スピードバンプ、交差点などであってもよいが、それらに限定されるものではない。
【0085】
一方、上述したように、自律走行車両は、安全な運行のために、先行車両51や走行車両53などの動き又は軌跡を予測することが必要であり得る。
【0086】
自律走行車両周辺で運行されている周辺車両の動き又は軌跡を予測するために、周辺車両の運行に関して累積した過去走行情報及び地図情報を用いることができる。
【0087】
以下、
図7以下においては、1つ以上の過去周辺車両の移動情報を用いて、現在ターゲット車両に関する目標位置の分布を確率的に計算し、目標位置の分布を用いて、現在ターゲット車両に関する軌跡を予測する方法について説明する。
【0088】
図7は一実施形態による1つ以上の過去周辺車両に関する移動情報を受信する方法を説明するための図である。
【0089】
図7を参照すると、サーバ20は、過去走行車両の基準位置での1つ以上の過去周辺車両に関する移動情報を受信することができる。
【0090】
過去走行車両710とは、過去時点で道路を走行している自律走行車両を意味することができる。上述したように、過去走行車両710は、車両内の装置20(例えば、自律走行装置)を備えることにより、センサを用いて映像データを取得することができる。
【0091】
映像データは、上述したように、周辺を走行している車両に関する走行データを含んでもよい。すなわち、映像データには、自律走行車両の位置を基準として周辺車両に関する移動情報が含まれてもよい。例えば、映像データには、ある1つの時点で自律走行車両の前方で走行している周辺車両が他のある時点ではどこに移動したかに関するデータが含まれてもよい。
【0092】
一実施形態によれば、自律走行車両内の装置は、特定区間の運行を繰り返しながら映像データを取得することができる。すなわち、上述した過去走行車両710内の装置は、特定区間の運行を繰り返しながら取得した映像データを累積して格納することができる。例えば、累積した映像データには、1つ以上の過去周辺車両に関する移動情報が含まれてもよい。
【0093】
実施形態によれば、サーバは、過去走行車両内の装置から過去走行車両の基準位置での1つ以上の過去周辺車両に関する移動情報を受信することができる。
【0094】
図7を参照すると、過去走行車両710の位置を基準として、過去周辺車両に関する移動情報730が示される。移動情報730には、ある1つの時点で過去走行車両710の前方を走行している4台の過去周辺車両がその後どこに移動したかに関する情報が含まれてもよい。
【0095】
一方、上述したように、移動情報は、過去周辺車両の移動に関するログデータを含んでもよい。すなわち、ここで、ログデータとは、特定区間で繰り返して得られた周辺車両に関する移動情報を意味することができる。
【0096】
一実施形態によれば、サーバは、ログデータを上述した特定区間を格子で分けた空間に記録することができる。例えば、格子空間の1つの格子には、ある時点での過去周辺車両に関する位置値又は速度値を記録することができ、格子空間の他の格子には、他のある時点での上述した過去周辺車両に関する位置値又は速度値を記録することができる。
【0097】
他の実施形態によれば、サーバは、ログデータを用いてカテゴリー分布(Categorical distribution)を取得することができる。例えば、カテゴリー分布を用いることにより、特定の位置で特定の速度を有する車両が統計的にどの位置に多く移動し、どの位置に少なく移動するかが分かる。
【0098】
図8は一実施形態による移動情報から過去周辺車両に関する第1状態情報を取得する方法を説明するための図である。
【0099】
図8を参照すると、サーバは、移動情報から、第1時点での1つ以上の過去周辺車両に関する第1状態情報を取得することができる。ここで、第1時点は、基準時点以前の過去時点に該当することができる。例えば、第1時点とは、過去の特定の時刻又は過去の連続的な時間間隔を意味することができる。
【0100】
上述したように、移動情報は、過去走行車両の周辺を走行した過去周辺車両の走行に関する情報を含んでもよい。走行に関する情報には、周辺車両の位置、速度、車線、相対的な距離、ハンドルの方向などが含まれてもよい。よって、第1状態情報は、過去周辺車両の位置値及び速度値を含んでもよい。
【0101】
一実施形態によれば、過去周辺車両の位置値は、過去走行車両の位置を基準に決定されてもよい。一例として、過去周辺車両の位置値は、過去走行車両の位置を原点とする座標により決定されてもよい。他の例として、過去周辺車両の位置値は、過去走行車両の位置を基準に相対的な位置として決定されてもよい。
【0102】
一方、過去周辺車両の速度値とは、過去周辺車両が上述した位置値を有する瞬間の速度値を意味することができる。
【0103】
図8を参照すると、過去走行車両810の基準位置での過去周辺車両830に関する第1状態情報を取得することが示される。ここで、サーバは、累積した過去周辺車両の移動情報から過去周辺車両に関する状態情報を取得するので、移動情報には、同じ状態情報を有する複数の過去周辺車両が存在し得る。例えば、
図8において、過去周辺車両850は1つが示されているが、同じ位置値及び速度値を有する車両は複数の車両であり得る。すなわち、上述したように、過去のある1つの時点である第1時点で同じ位置値及び速度値を有する過去周辺車両は複数の車両であり得るが、第1時点以降の他の時点では、複数の車両がそれぞれ異なる位置値及び速度値を有することになり得る。
【0104】
以下、
図9及び
図10においては、
図8において同じ位置値を有する複数の過去周辺車両850の移動位置について説明する。
【0105】
図9及び
図10は一実施形態による移動情報から過去周辺車両に関する移動位置を取得する方法を説明するための図である。
【0106】
図9及び
図10を参照すると、サーバは、移動情報から、第1時点から所定の時間が経過した第2時点での1つ以上の過去周辺車両に関する移動位置を取得することができる。ここで、第2時点は、第1時点と同様に、基準時点以前の過去時点に該当することができる。
【0107】
一方、上述したように、移動情報は、過去走行車両の周辺を走行した過去周辺車両の走行に関する情報を含んでもよいので、サーバは、移動情報から、過去周辺車両がどの位置に移動したかに関する情報を取得することができる。
【0108】
ここで、移動位置は、ある特定の過去周辺車両に関する移動位置ではなく、移動情報に含まれる全ての過去周辺車両に関する移動位置を意味するものと理解することができる。
【0109】
ただし、
図9及び
図10においては、
図8において説明した内容との連携性及び説明の便宜のために、第1時点で特定の位置値を有する複数の過去周辺車両930、1030に関する移動位置を取得することについて説明する。
【0110】
例えば、
図9を参照すると、過去走行車両910の基準位置での右側車線で車両の前方に走行している車両930は、第1時点で第1状態情報を有する1つ以上の過去周辺車両930であることができる。一例として、第1時点で第1状態情報を有する車両930は、4台の過去周辺車両であると設定する。
【0111】
その後、第1時点から所定の時間が経過した第2時点で、上述した4台の過去周辺車両はそれぞれ異なる位置に移動することができる。例えば、
図9を参照すると、第2時点でのそれぞれの過去周辺車両に関する移動位置950を取得したことが示される。
【0112】
他の例として、
図10を参照すると、過去走行車両1010の基準位置での右側車線で車両の前方に走行している車両1030は、上述した
図9と同様に、第1時点で第1状態情報を有する1つ以上の過去周辺車両1030であることができる。
図9と同様に、第1時点で第1状態情報を有する車両1030は、4台の過去周辺車両であると設定する。
【0113】
その後、第1時点から所定の時間が経過した第2時点で、上述した4台の過去周辺車両はそれぞれ異なる位置に移動することができる。例えば、
図10を参照すると、第2時点でのそれぞれの過去周辺車両に関する移動位置1050、1070を取得したことが示される。
【0114】
図9における4台の過去周辺車両に関する移動位置950は、比較的近くに集まっていることを確認することができる。それに対して、
図10における4台の過去周辺車両に関する移動位置1050、1070は、3台の移動位置1050と1台の移動位置1070とが異なる道路に分けられていることを確認することができる。
【0115】
一方、
図9及び
図10を参照すると、設定された所定の時間によって、第2時点での1つ以上の過去周辺車両に関する移動位置として異なる移動位置を取得できることを確認することができる。例えば、
図9における所定の時間が
図10における所定の時間より短いことを推定することができる。
【0116】
ここで、所定の時間は、現在ターゲット車両に関する目標位置の分布を確率的に計算する時点に関連するものであり得る。例えば、基準時点からt
x時間以降の時点での目標位置の分布を計算する場合、第1時点と第2時点間の時間間隔もt
x時間であり得る。それについては、
図13及び
図14において詳細に説明する。
【0117】
一方、一実施形態によれば、1つ以上の過去周辺車両に関する移動位置は、運行中の道路及び車線に関する情報で特定することができる。例えば、過去周辺車両に関する移動位置は、過去周辺車両が第2時点で走行中であった道路及び道路に含まれる車線の少なくともいずれかにより特定される位置であってもよい。
【0118】
図11及び
図12は一実施形態による移動位置の分布をクラスタリング手法を用いて確率的に計算する方法を説明するための図である。
【0119】
図11及び
図12を参照すると、サーバは、移動位置の分布をクラスタリング手法を用いて確率的に計算することができる。
【0120】
上述したように、1つ以上の過去周辺車両に関する移動位置は、
図9のように、それぞれの位置が比較的集まっていることがある。あるいは、
図10のように、それぞれの位置が散在していることがある。
【0121】
本開示の一実施形態によれば、1つ以上の過去周辺車両に関する移動位置を用いて現在ターゲット車両の未来軌跡を予測するために、クラスタリング手法を用いることにより移動位置の分布を確率的に計算することができる。すなわち、クラスタリング手法を用いて移動位置の分布を計算することにより、未来軌跡の予測に容易に利用できるデータを生成することができる。
【0122】
クラスタリング手法とは、クラスタリングの対象となる個体を類似性又は距離によって類似した特性を有する個体同士を各クラスタに分類するデータマイニングの手法を意味することができる。例えば、クラスタリング手法は、K-平均手法、平均移動手法、DBSCAN(Density Based Spatial Clustering of Applications with Noise)手法及びGMM(Gaussian Mixture Model)の少なくともいずれかを含むことができる。
【0123】
一実施形態によれば、サーバは、クラスタリング手法を用いることにより移動位置に関する1つ以上のクラスタを生成することができる。例えば、サーバは、DBSCAN手法を用いることにより、1つ以上の過去周辺車両の移動位置に対して、所定の値を有する半径内に閾値数以上の移動位置が含まれる場合、1つのクラスタを生成することができる。
【0124】
実施形態によれば、サーバは、生成された各クラスタ別にガウス分布に近似させることができる。その後、サーバは、ガウス分布に近似した1つ以上のクラスタに対してGMM手法を適用することにより、移動位置に関するガウス混合分布を取得することができる。実施形態によれば、移動位置の分布を1つのガウス分布に近似させることができ、移動位置の分布を容易に計算することができる。
【0125】
図11及び
図12を参照すると、上述したように同じ位置値を有するものに設定した1つ以上の過去周辺車両1130、1230に関する移動位置の分布を確率的に計算したことが示される。
【0126】
図11の例示において、過去走行車両1110の前方には、1つ以上の過去周辺車両に関する、第1時点での位置値1130及び第2時点での移動位置の分布1150が示される。すなわち、第1時点で同じ位置値を有する4台の過去周辺車両は、第2時点で異なる位置に移動し、移動位置の分布は、比較的集まっているので、1つのクラスタ1150を形成できることが示される。
【0127】
図12の例示を参照すると、過去走行車両1210の前方には、1つ以上の過去周辺車両に関する、第1時点での位置値1230及び第2時点での移動位置の分布1250、1270が示される。すなわち、
図12の例示の場合、第1時点で同じ位置値を有する4台の過去周辺車両は、第2時点で異なる位置に移動し、移動位置の分布は、2つのクラスタ1250、1270を形成できることが示される。
【0128】
図11及び
図12の例示において、説明の便宜上、過去走行車両1110、1210の基準位置は同じものに設定し、1つ以上の過去周辺車両の第1時点での状態情報に含まれる位置値も同じものに設定した。すなわち、
図11及び
図12の例示から、第1時点と第2時点間の所定の時間間隔が異なる場合、移動位置の分布が異なるように計算されることを確認することができる。
【0129】
また、上述した
図9~
図12においては、特定の位置値を第1時点での第1状態情報として有する過去周辺車両に対して移動位置を取得し、移動位置の分布を計算することについて説明した。ただし、本開示の実施形態によれば、サーバは、移動情報に含まれる1つ以上の過去周辺車両のそれぞれに対して、第1時点での第1状態情報を取得し、第2時点での移動位置の分布を確率的に計算することができることを理解することができる。
【0130】
一方、上述したように計算された移動位置の分布は、現在ターゲット車両の未来軌跡を予測することに用いることができる。
【0131】
例えば、サーバは、現在走行車両内の装置から現在ターゲット車両に関する情報を受信し、マッチングされる移動位置の分布を現在走行車両内の装置が未来軌跡を予測することに提供することができる。
【0132】
具体的には、サーバは、現在走行車両内の装置から基準位置及び基準時点での現在ターゲット車両に関する第2状態情報を受信することができる。上述したように、現在走行車両とは、現在時点で道路を走行している自律走行車両を意味することができる。また、現在走行車両は、自律走行装置を備えることにより、センサを用いて映像データを取得することができ、現在走行車両内の装置は、現在ターゲット車両の未来軌跡を予測することできる。
【0133】
ここで、現在ターゲット車両とは、現在時点で自律走行車両の周辺を走行している周辺車両のうち、未来軌跡を予測しようとする車両を意味することができる。すなわち、現在ターゲット車両とは、複数の周辺車両を意味することができる。
【0134】
また、基準時点とは、現在ターゲット車両の未来軌跡を予測する時点を意味することができる。基準位置とは、上述した基準時点での現在走行車両の位置値を意味することができる。ここで、本開示の実施形態によれば、過去走行車両が取得した映像データを用いて、現在走行車両の周辺を走行するターゲット車両の軌跡を予測するために、過去走行車両及び現在走行車両の基準位置は同じ位置値を意味することができる。
【0135】
一方、現在ターゲット車両に関する第2状態情報は、上述したように、現在ターゲット車両の位置値及び速度値を含んでもよい。
【0136】
その後、サーバは、計算された移動位置の分布の中から現在ターゲット車両に関する第2状態情報とマッチングされる移動位置の分布を選択し、現在走行車両内の装置に提供することができる。
【0137】
一実施形態によれば、サーバは、現在ターゲット車両の位置値及び速度値を受信し、受信した現在ターゲット車両の位置値から所定の範囲内に含まれる1つ以上の過去周辺車両の位置値を第1状態情報から抽出することができる。
【0138】
ここで、所定の範囲は、現在ターゲット車両に関する目標位置の分布を計算することに対して要求される正確度によって範囲が異なり得る。一例として、現在ターゲット車両の位置値と過去周辺車両の位置値の差がないほど、正確な目標位置の分布を計算することができる。ただし、移動情報の量が制限的である場合、所定の範囲は、現在ターゲット車両の位置値と類似した位置値を抽出できる範囲に拡張することができる。
【0139】
その後、サーバは、抽出された位置値を有する1つ以上の過去周辺車両の中から、受信した現在ターゲット車両の速度値から所定の範囲内に含まれる速度値を有する1つ以上の過去周辺車両を選択することができ、選択された1つ以上の過去周辺車両に関する第2時点での移動位置の分布を現在ターゲット車両に関する第2状態情報とマッチングされる移動位置の分布として選択することができる。
【0140】
その後、サーバは、選択された移動位置の分布を現在走行車両内の装置に送信することにより、現在走行車両内の装置が未来軌跡を予測することに提供することができる。
【0141】
すなわち、選択された移動位置の分布は、第3時点での現在ターゲット車両に関する目標位置の分布を推定することに用いることができる。また、推定された現在ターゲット車両に関する目標位置の分布は、現在ターゲット車両の未来軌跡を予測することに用いることができる。
【0142】
ここで、現在ターゲット車両に関する目標位置の分布とは、ターゲット車両がどの地点を目標として走行しているかに関する情報を意味することができる。すなわち、目標位置の分布とは、基準時点から所定の時間が経過した未来のある時点で、ターゲット車両が到達する位置の分布を推定したものを意味することができる。
【0143】
上述したように、自律走行車両の周辺を走行している周辺車両の軌跡の予測において、周辺車両の目標位置に関する情報を用いることにより、より正確な軌跡の予測を行うことができる。また、周辺車両の軌跡の予測により、自律走行車両の行動を決定するか、運行を制御することができる。
【0144】
一方、第3時点は、基準時点から所定の時間が経過した未来時点に該当することができる。上述したように、ここで、所定の時間とは、第1時点と第2時点間の時間間隔と同じ時間間隔を意味することができる。例えば、現在ターゲット車両に対して5秒後の目標位置の分布を推定する場合、移動情報に含まれる過去周辺車両の第1時点と第2時点間の情報は、同様に5秒の時間間隔に関する情報であり得る。
【0145】
以下、
図13及び
図14において、移動位置の分布を用いて現在ターゲット車両に関する目標位置の分布を推定した例示と未来軌跡を予測した例示について説明する。
【0146】
図13は一実施形態による移動位置の分布を用いて現在ターゲット車両に関する目標位置の分布を推定する方法を説明するための図である。
【0147】
図13を参照すると、現在走行車両内の装置1310は、過去周辺車両に関する移動位置の分布を用いて第3時点での現在ターゲット車両1330に関する目標位置の分布1350、1370を推定することができる。
【0148】
具体的には、現在走行車両内の装置1310は、基準位置及び基準時点での現在ターゲット車両に関する第2状態情報を取得し、サーバに送信することができる。例えば、現在走行車両内の装置1310は、取得した映像データにより現在ターゲット車両1330に関する位置値及び速度値を取得し、サーバに送信することができる。
【0149】
その後、現在走行車両内の装置1310は、現在ターゲット車両に関する第2状態情報とマッチングされる過去周辺車両に関する移動位置の分布をサーバから受信することができる。例えば、現在ターゲット車両に関する第2状態情報が位置値A及び速度値Bを含む場合、サーバは、移動情報から第1時点で位置値A及び速度値Bを有する1つ以上の過去周辺車両に関する情報を検索し、第2時点での移動位置と、移動位置の分布を選択して現在走行車両内の装置に提供することができる。
【0150】
その後、現在走行車両内の装置1310は、移動位置の分布を用いて第3時点での現在ターゲット車両に関する目標位置の分布を推定することができる。例えば、
図13を参照すると、基準時点での現在ターゲット車両1330に関する第3時点での目標位置として、2つのクラスタ1350、1370が推定されたことが示される。現在ターゲット車両1330が第3時点で第1目標位置(1350)に到達する確率と第2目標位置(1370)に到達する確率として、それぞれ0.75と0.25が推定されたことを確認することができる。
【0151】
一実施形態によれば、現在走行車両内の装置1310は、目標位置に関するガウス混合分布を取得することができる。すなわち、上述した移動位置の分布のように、現在ターゲット車両に関する目標位置の分布に関して1つのガウス分布を取得することができる。
【0152】
また、実施形態によれば、現在走行車両内の装置1310は、ガウス混合分布の平均ポイントとガウス混合分布に含まれるクラスタ別の確率を計算することができる。例えば、
図13を参照すると、現在走行車両内の装置1310が第1目標位置の分布1350と第2目標位置の分布1370と共に、各分布の平均ポイント1351、1371を取得したことが示される。
【0153】
図14は一実施形態による目標位置の分布を用いて現在ターゲット車両の未来軌跡を予測する方法を説明するための図である。
【0154】
図14を参照すると、現在走行車両内の装置1410は、上述したように推定された目標位置の分布を用いて、現在ターゲット車両1430の未来軌跡を予測することができる。
【0155】
例えば、現在走行車両内の装置1410は、第3時点での現在ターゲット車両1430に関する目標位置の分布1450を推定することができる。第3時点での目標位置の分布1450は、比較的集まっている形態であって、1つのクラスタとして示されることがある。
【0156】
上述した実施形態によれば、現在走行車両内の装置1410は、移動位置の分布を用いて第4時点での現在ターゲット車両に関する目標位置の分布1470を推定することができる。
【0157】
ここで、第4時点は、基準時点から所定の時間が経過した未来時点に該当することができ、第3時点以降の未来時点に該当することができる。第4時点での目標位置の分布1470は、それぞれ異なる平均ポイントを有する2つのクラスタとして示されることがある。
【0158】
その後、現在走行車両内の装置1410は、第4時点以降の第5時点、第6時点での目標位置の分布を繰り返し推定することができる。すなわち、現在走行車両内の装置1410は、現在ターゲット車両に対して繰り返し推定した目標位置の分布を用いることにより、現在ターゲット車両の未来軌跡を予測することできる。例えば、
図14のように、各クラスタの平均ポイントを連結することにより、現在ターゲット車両の未来軌跡を予測することできる。
【0159】
図15は本発明の一実施形態による過去周辺車両の移動情報を用いて移動位置の分布を確率的に計算する方法に関するフローチャートである。
【0160】
図15を参照すると、1つ以上の過去周辺車両の移動情報を用いて過去周辺車両に関する移動位置の分布を確率的に計算する方法は、ステップ1510~1540を含んでもよい。ただし、それに限定されるものではなく、
図15に示すステップ以外に、他の汎用のステップが1つ以上の過去周辺車両の移動情報を用いて過去周辺車両に関する移動位置の分布を確率的に計算する方法にさらに含まれてもよい。
【0161】
まず、ステップ1510において、サーバは、過去走行車両の基準位置での1つ以上の過去周辺車両に関する移動情報を受信することができる。
【0162】
その後、ステップ1520において、サーバは、移動情報から、第1時点での1つ以上の過去周辺車両に関する第1状態情報を取得することができる。ここで、第1時点は、基準時点以前の過去時点に該当することができる。
【0163】
一実施形態によれば、第1状態情報は、過去周辺車両の位置値及び速度値を含んでもよい。
【0164】
その後、ステップ1530において、サーバは、移動情報から、第1時点から所定の時間が経過した第2時点での1つ以上の過去周辺車両に関する移動位置を取得することができる。
【0165】
一実施形態によれば、過去周辺車両に関する移動位置は、過去周辺車両が第2時点で走行中であった道路及び道路に含まれる車線の少なくともいずれかにより特定される位置であってもよい。
【0166】
その後、ステップ1540において、サーバは、移動位置の分布をクラスタリング手法を用いて確率的に計算することができる。
【0167】
一実施形態によれば、クラスタリング手法は、K-平均手法、平均移動手法、DBSCAN(Density Based Spatial Clustering of Applications with Noise)手法及びGMM(Gaussian Mixture Model)の少なくともいずれかを含むことができる。
【0168】
一実施形態によれば、サーバは、クラスタリング手法を用いることにより移動位置に関する1つ以上のクラスタを生成することができる。実施形態によれば、サーバは、生成された各クラスタ別にガウス分布に近似させることができる。その後、サーバは、ガウス分布に近似した1つ以上のクラスタに対してGMM手法を適用することにより、移動位置に関するガウス混合分布を取得することができる。
【0169】
一方、移動位置の分布は、現在ターゲット車両の未来軌跡を予測することに用いることができる。選択された移動位置の分布は、第3時点での現在ターゲット車両に関する目標位置の分布を推定することに用いることができる。また、推定された現在ターゲット車両に関する目標位置の分布は、現在ターゲット車両の未来軌跡を予測することに用いることができる。
【0170】
図16は本発明の一実施形態による過去周辺車両の移動情報を用いて現在ターゲット車両の未来軌跡を予測する方法に関するフローチャートである。
【0171】
図16を参照すると、1つ以上の過去周辺車両の移動情報を用いて現在ターゲット車両の未来軌跡を予測する方法は、ステップ1601~1608を含んでもよい。ただし、それに限定されるものではなく、
図16に示すステップ以外に、他の汎用のステップが1つ以上の過去周辺車両の移動情報を用いて現在ターゲット車両の未来軌跡を予測する方法にさらに含まれてもよい。
【0172】
まず、ステップ1601において、過去走行車両内の装置1610は、過去走行車両の基準位置での1つ以上の過去周辺車両に関する移動情報を取得し、サーバ1630に送信することができる。
【0173】
その後、ステップ1602において、サーバ1630は、移動情報から、第1時点での1つ以上の過去周辺車両に関する第1状態情報を取得することができる。ここで、第1時点は、基準時点以前の過去時点に該当することができる。
【0174】
その後、ステップ1603において、サーバ1630は、移動情報から、第1時点から所定の時間が経過した第2時点での1つ以上の過去周辺車両に関する移動位置を取得することができる。
【0175】
その後、ステップ1604において、サーバ1630は、移動位置の分布をクラスタリング手法を用いて確率的に計算することができる。
【0176】
その後、ステップ1605において、現在走行車両内の装置1650は、基準位置及び基準時点での現在ターゲット車両に関する第2状態情報を取得し、サーバ1630に送信することができる。
【0177】
一実施形態によれば、現在ターゲット車両に関する第2状態情報は、上述したように、現在ターゲット車両の位置値及び速度値を含んでもよい。
【0178】
その後、ステップ1606において、現在走行車両内の装置1650は、サーバから現在ターゲット車両に関する第2状態情報とマッチングされる過去周辺車両に関する移動位置の分布を受信することができる。
【0179】
一実施形態によれば、サーバ1630は、現在走行車両内の装置1650から基準位置及び基準時点での現在ターゲット車両に関する第2状態情報を受信することができる。その後、サーバ1630は、計算された移動位置の分布の中から現在ターゲット車両に関する第2状態情報とマッチングされる移動位置の分布を選択し、現在走行車両内の装置に提供することができる。
【0180】
一実施形態によれば、サーバ1630は、現在ターゲット車両の位置値及び速度値を受信し、受信した現在ターゲット車両の位置値から所定の範囲内に含まれる1つ以上の過去周辺車両の位置値を第1状態情報から抽出することができる。その後、サーバ1630は、抽出された位置値を有する1つ以上の過去周辺車両の中から、受信した現在ターゲット車両の速度値から所定の範囲内に含まれる速度値を有する1つ以上の過去周辺車両を選択することができ、選択された1つ以上の過去周辺車両に関する第2時点での移動位置の分布を現在ターゲット車両に関する第2状態情報とマッチングされる移動位置の分布として選択することができる。
【0181】
その後、ステップ1607において、現在走行車両内の装置1650は、移動位置の分布を用いて第3時点での現在ターゲット車両に関する目標位置の分布を推定することができる。ここで、第3時点は、基準時点から所定の時間が経過した未来時点に該当することができる。
【0182】
一実施形態によれば、現在走行車両内の装置1650は、目標位置に関するガウス混合分布を取得することができる。また、現在走行車両内の装置1650は、ガウス混合分布の平均ポイントとガウス混合分布に含まれるクラスタ別の確率を計算することができる。
【0183】
その後、ステップ1608において、現在走行車両内の装置1650は、目標位置の分布を用いて、現在ターゲット車両の未来軌跡を予測することできる。
【0184】
一方、以下、
図17~
図23においては、
図2~
図5において上述した自律走行車両が取得した映像データに基づいて自律走行車両の行動を決定する方法及び装置について説明する。
【0185】
図17は本開示の一実施形態による衝突車線を取得する方法を説明するための図である。
【0186】
図17を参照すると、車両内の装置は、衝突車線を取得することができる。一実施形態によれば、車両内の装置は、本線合流のために右折することを計画中の自律走行車両に対して右折のための一連の行動を決定することができる。
【0187】
衝突車線とは、本線に含まれる車線のうち、自律走行車両の走行経路と重なり得る車線を意味することができる。
【0188】
図17を参照すると、本線は、一方向の車線及び他の方向の車線を含んで少なくとも2つ以上の車線を含んでもよい。例えば、10時-4時方向の本線1701と1時-7時方向の本線1702とは、それぞれ4つの車線を含む。
【0189】
一方、自律走行車両の走行経路とは、自律走行車両が右折するために設定された経路を意味することができる。走行経路とは、上述した自律走行装置により設定された経路を意味することができる。あるいは、走行経路とは、外部サーバにより設定された経路であって、自律走行装置が受信した経路を意味することができるが、それに限定されるものではない。
【0190】
例えば、
図17を参照すると、自律走行車両1720が本線合流のために右折する走行経路1730を設定することができる。ここで、本線1701、1702に含まれる一部の車線1711、1712は、自律走行車両の走行経路1730と重なる可能性があり得る。上述した一部の車線1711、1712は、衝突車線として設定することができる。
【0191】
一実施形態によれば、車両内の装置は、上述した自律走行車両のセンサが取得した映像データから衝突車線を設定することができる。あるいは、他の実施形態によれば、車両内の装置は、外部装置又は外部サーバから車線に関する情報を受信することにより、衝突車線を取得することができる。
【0192】
図18及び
図19は本開示の一実施形態による衝突車線を走行中の車両の中から候補車両を分類する方法を説明するための図である。
【0193】
本開示の一例示として
図18を参照すると、自律走行車両1820内の装置は、本線に含まれる車線の中から自律走行車両1820の走行経路と重なり得る衝突車線1811~1813を取得することができる。
【0194】
例えば、衝突車線1811~1813には1つ以上の車両が走行中であり得る。ここで、車両内の装置は、自律走行車両1820の行動を決定するために、1つ以上の車両のうち、自律走行車両1820の右折との関連があり得る車両に集中して情報を収集することができる。
【0195】
図19を参照すると、車両内の装置は、衝突車線を走行中の車両の中から自律走行車両1920との衝突可能性がある1つ以上の候補車両を分類することができる。
【0196】
例えば、上述した
図18の衝突車線1811には2台の車両1911、1912が走行中であり得る。ここで、2台の車両1911、1912は、本線で自律走行車両1920との衝突可能性があるので、候補車両に分類されるようにすることができる。
【0197】
同様に、上述した
図18の衝突車線1813には1台の車両1914が走行中であり得る。車両1914は、交差点で左折するものと予想され、右折を計画中の自律走行車両1920と本線で衝突可能性があるので、候補車両に分類されるようにすることができる。
【0198】
他の例示として、上述した
図18の衝突車線1812には1台の車両1913が走行中であり得る。ただし、車両1913は、交差点で左折しているものと予想され、自律走行車両1920と本線で衝突可能性がないので、候補車両に分類されないようにすることができる。
【0199】
さらに他の例示として、本線を走行中の車両であるが衝突車線を走行中の車両でない車両は、自律走行車両1920と本線で衝突可能性がないので、候補車両に分類されないようにすることができる。
【0200】
一方、以下、自律走行車両1920の行動の決定において、衝突車両に関する情報がどのように用いられるかについて説明する。
【0201】
図20は本開示の一実施形態による候補車両が衝突領域を占有するかを予測する方法を説明するための図である。
【0202】
図20を参照すると、車両内の装置は、上述したような方法で分類された候補車両に対して経路を予測することにより、所定の時間内に候補車両が予め設定された衝突領域を占有するかを予測することができる。
【0203】
例えば、車両内の装置は、自律走行車両に備えられているセンサにより取得した映像データを用いて候補車両の未来経路を予測することができる。例えば、車両内の装置は、地図情報及び候補車両の過去走行情報を受信することができ、地図情報及び過去走行情報を用いて候補車両の未来経路を予測することができる。
【0204】
一実施形態によれば、車両内の装置は、候補車両に関する目標位置の分布を推定することにより、推定された目標位置の分布を用いて候補車両の未来経路を予測することができる。ここで、候補車両の目標位置は、候補車両が所定の時間以降に到達しようとする位置を意味することができる。実施形態によれば、過去走行情報と目標位置の分布を共に用いることにより、車両の未来軌跡をより正確に予測することができる。
【0205】
車両内の装置は、自律走行車両の周辺を走行する周辺車両に関する累積した過去走行情報を用いて候補車両に関する目標位置の分布を推定することができる。例えば、自律走行車両は、累積した過去走行情報に対してクラスタリング手法を用いることにより候補車両に関する目標位置の分布を推定することができる。一例として、クラスタリング手法は、DBSCAN(Density Based Spatial Clustering of Applications with Noise)手法、GMM(Gaussian Mixture Model)手法を含むことができる。
【0206】
一方、車両内の装置は、現在時点を基準として、所定の時間内に候補車両が衝突領域を占有するかを予測することができる。一例示として、所定の時間は、候補車両に対して予測される軌跡が何秒後の軌跡であるかに基づいて設定されてもよい。他の例示として、所定の時間は、自律走行車両が衝突領域に到達するまで何秒の時間がかかるかに基づいて設定されてもよい。例えば、所定の時間とは、5秒後の時間を意味することができる。
【0207】
ここで、衝突領域とは、自律走行車両と候補車両が所定の時間以降に衝突し得る領域を意味することができる。すなわち、衝突領域とは、本線に含まれる車線のうち、自律走行車両が右折して本線に合流することにより候補車両との衝突が発生する可能性がある車線に該当する領域を意味することができる。
【0208】
一実施形態によれば、車両内の装置は、衝突車線と自律走行車両の走行経路に基づいて衝突領域を設定することができる。車両内の装置は、衝突車線と自律走行車両の走行経路が重なる領域を衝突領域に設定することができる。
【0209】
例えば、
図20を参照すると、車両内の装置は、上述したように、衝突車線を走行中の車両の中から候補車両に分類された車両2011~2013に対して経路を予測することにより、所定の時間内に候補車両が予め設定された衝突領域2020を占有するかを予測することができる。車両内の装置は、候補車両2011~2013の衝突領域2020の占有に関する予測結果に基づいて自律走行車両2030の行動を決定することができる。
【0210】
図21は本開示の一実施形態による行動決定領域で自律走行車両の行動を決定する方法を説明するための図である。
【0211】
図21を参照すると、車両内の装置は、上述した方法による占有に関する予測結果及び自律走行車両2120の現在走行状態に基づいて、右折することを計画中の自律走行車両2120の行動を決定することができる。
【0212】
ここで、候補車両の衝突領域の占有に関する予測結果は、所定の時間内に衝突領域の一部の領域を占有すると予測されることと、所定の時間内に衝突領域のいずれの領域も占有しないと予測されることとを含んでもよい。
【0213】
また、自律走行車両2120の現在走行状態は、行動決定領域を基準として設定されてもよい。例えば、
図21を参照すると、行動決定領域2110とは、衝突領域から所定の距離内に位置する領域を意味するものであって、自律走行車両2120が衝突領域に突入する前に自律走行車両2120の行動を決定する領域を意味することができる。
【0214】
一例示として、自律走行車両2120の現在走行状態は、行動決定領域に進入している状態を含むことができる。他の例示として、自律走行車両2120の現在走行状態は、行動決定領域で徐行している状態を含むことができる。
【0215】
さらに他の例示として、自律走行車両2120の現在走行状態は、行動決定領域で停止している状態を含むことができる。
【0216】
一方、占有に関する予測結果及び自律走行車両2120の現在走行状態に基づいて、自律走行車両2120の行動を決定する具体的な実施形態については、以下で
図22と共に説明する。
【0217】
図22は本開示の一実施形態による行動決定領域で自律走行車両の行動を決定する方法に関するフローチャートである。
【0218】
図21で上述したように、車両内の装置は、候補車両の衝突領域の占有に関する予測結果及び自律走行車両の現在走行状態に基づいて、自律走行車両の行動を決定することができる。
【0219】
一実施形態によれば、自律走行車両の現在走行状態が行動決定領域に進入している第1状態である場合(2210)、車両内の装置は、自律走行車両が行動決定領域で徐行するように、自律走行車両の行動を決定(2220)することができる。
【0220】
一方、一実施形態によれば、車両内の装置は、自律走行車両が徐行する速度を決定することができる。例えば、車両内の装置は、上述したように取得した映像データから歩行者を識別することができ、歩行者の有無を用いて自律走行車両が徐行する速度を決定することができる。
【0221】
例えば、歩行者とは、行動決定領域又は衝突領域に含まれる横断歩道を歩いているか、上述した横断歩道周辺にいる人を意味することができる。車両内の装置は、歩行者が識別されない場合、自律走行車両が行動決定領域で第1閾値速度以下で徐行するように、自律走行車両の行動を決定することができる。
【0222】
あるいは、車両内の装置は、歩行者が識別された場合、自律走行車両が行動決定領域で第2閾値速度以下で徐行するように、自律走行車両の行動を決定することができる。ここで、第1閾値速度の値は、第2閾値速度の値より大きい値であってもよい。
【0223】
他の実施形態によれば、自律走行車両の現在走行状態が行動決定領域で徐行している第2状態である場合(2220)、車両内の装置は、候補車両の衝突領域の占有を予測(2230)して自律走行車両の行動を決定することができる。
【0224】
例えば、候補車両が衝突領域を占有すると予測された場合、車両内の装置は、自律走行車両が行動決定領域で停止することにより(2250)所定の時間の間衝突領域を通過しないように、自律走行車両の行動を決定することができる。
【0225】
他の例示として、候補車両が衝突領域を占有しないと予測された場合、車両内の装置は、自律走行車両が本線に右折することにより(2240)衝突領域を通過するように、自律走行車両の行動を決定することができる。
【0226】
他の実施形態によれば、自律走行車両の現在走行状態が行動決定領域で停止している第3状態である場合(2250)、車両内の装置は、候補車両の衝突領域の占有を予測(2260)して自律走行車両の行動を決定することができる。
【0227】
例えば、候補車両が衝突領域を占有しないと予測された場合、車両内の装置は、自律走行車両が行動決定領域で徐行(2220)するように、自律走行車両の行動を決定することができる。
【0228】
あるいは、候補車両が衝突領域を占有すると予測された場合、車両内の装置は、自律走行車両が行動決定領域で停止(2250)することを維持するように、自律走行車両の行動を決定することができる。
【0229】
図23は本開示の一実施形態による自律走行車両の行動決定方法に関するフローチャートである。
【0230】
図23を参照すると、本線合流のために右折することを計画中の自律走行車両の行動を決定する方法は、ステップ2310~2340を含んでもよい。ただし、それに限定されるものではなく、
図23に示すステップ以外に、他の汎用のステップが本線合流のために右折することを計画中の自律走行車両の行動を決定する方法にさらに含まれてもよい。
【0231】
まず、ステップ2310において、車両内の装置は、本線に含まれる車線の中から自律走行車両の走行経路と重なり得る衝突車線を取得することができる。
【0232】
その後、ステップ2320において、車両内の装置は、衝突車線を走行中の車両の中から自律走行車両との衝突可能性がある1つ以上の候補車両を分類することができる。
【0233】
その後、ステップ2330において、車両内の装置は、候補車両に対して経路を予測することにより、所定の時間内に候補車両が予め設定された衝突領域を占有するかを予測することができる。
【0234】
一実施形態によれば、車両内の装置は、候補車両に関する目標位置の分布を推定することにより、推定された目標位置の分布を用いて候補車両の未来経路を予測することができる。車両内の装置は、自律走行車両の周辺を走行する周辺車両に関する累積した過去走行情報を用いて候補車両に関する目標位置の分布を推定することができる。例えば、自律走行車両は、累積した過去走行情報に対してクラスタリング手法を用いることにより候補車両に関する目標位置の分布を推定することができる。一例として、クラスタリング手法は、DBSCAN(Density Based Spatial Clustering of Applications with Noise)手法、GMM(Gaussian Mixture Model)手法を含むことができる。
【0235】
その後、ステップ2340において、車両内の装置は、占有に関する予測結果及び自律走行車両の現在走行状態に基づいて、右折することを計画中の自律走行車両の行動を決定することができる。
【0236】
一実施形態によれば、自律走行車両の現在走行状態が行動決定領域に進入している第1状態である場合(2210)、車両内の装置は、自律走行車両が行動決定領域で徐行するように、自律走行車両の行動を決定(2220)することができる。
【0237】
一実施形態によれば、自律走行車両の現在走行状態が行動決定領域で徐行している第2状態である場合(2220)、車両内の装置は、候補車両の衝突領域の占有を予測(2230)して自律走行車両の行動を決定することができる。
【0238】
例えば、候補車両が衝突領域を占有すると予測された場合、車両内の装置は、自律走行車両が行動決定領域で停止することにより(2250)所定の時間の間衝突領域を通過しないように、自律走行車両の行動を決定することができる。
【0239】
他の例示として、候補車両が衝突領域を占有しないと予測された場合、車両内の装置は、自律走行車両が本線に右折することにより(2240)衝突領域を通過するように、自律走行車両の行動を決定することができる。
【0240】
他の実施形態によれば、自律走行車両の現在走行状態が行動決定領域で停止している第3状態である場合(2250)、車両内の装置は、候補車両の衝突領域の占有を予測(2260)して自律走行車両の行動を決定することができる。
【0241】
例えば、候補車両が衝突領域を占有しないと予測された場合、車両内の装置は、自律走行車両が行動決定領域で徐行(2220)するように、自律走行車両の行動を決定することができる。
【0242】
あるいは、候補車両が衝突領域を占有すると予測された場合、車両内の装置は、自律走行車両が行動決定領域で停止することを維持するように、自律走行車両の行動を決定することができる。
【0243】
本発明による実施形態は、コンピュータ上で様々な構成要素により実行できるコンピュータプログラムの形態で実現することができ、このようなコンピュータプログラムは、コンピュータで読み取り可能な媒体に記録することができる。ここで、媒体には、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体、CD-ROM、DVDなどの光記録媒体、フロプティカルディスク(floptical disk)などの光磁気記録媒体(magneto-optical medium)、ROM、RAM、フラッシュメモリなどのプログラム命令を記憶して実行するように特別に構成されたハードウェア装置が含まれる。
【0244】
一方、前記コンピュータプログラムは、本発明のために特別に設計及び構成されたものであってもよく、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。コンピュータプログラムの例には、コンパイラにより生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータにより実行される高級言語コードも含まれる。
【0245】
一実施形態によれば、本開示の様々な実施形態による方法は、コンピュータプログラム製品(computer program product)に含めて提供することができる。コンピュータプログラム製品は、商品として販売者と購入者との間で取引されるようにすることができる。コンピュータプログラム製品は、機器で読み取り可能な記憶媒体(例えば、compact disc read only memory(CD-ROM))の形態で配布するか、又はアプリケーションストア(例えば、プレイストアTM)を介して、もしくは2つのユーザ装置間で直接、オンラインで配布(例えば、ダウンロード又はアップロード)することができる。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部は、メーカーのサーバ、アプリケーションストアのサーバ、又は中継サーバのメモリなどの機器で読み取り可能な記憶媒体に少なくとも一時的に記憶されるか、一時的に生成されるようにすることができる。
【0246】
本発明による方法を構成するステップに関して、明白な順序の記載又はそれに反する記載がなければ、上記ステップは適切な順序で行うことができる。本発明は、必ずしも上記ステップの記載順序に限定されるものではない。本発明における全ての例又は例示的な用語(例えば、など)の使用は、単に本発明を詳細に説明するためのものであり、特許請求の範囲により限定されない限り、上記例又は例示的な用語により本発明の範囲が限定されるわけではない。また、当業者は、様々な修正、組み合わせ及び変更が加えられた特許請求の範囲又はその均等物の範疇内で設計条件及び要因に応じて構成できることを理解するであろう。
【0247】
よって、本発明の思想は、上述した実施形態に限定されて定められてはならず、添付の特許請求の範囲だけでなく、その特許請求の範囲と均等な又はそれから等価的に変更された全ての範囲は、本発明の思想の範疇に属するといえる。
【外国語明細書】