(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024084084
(43)【公開日】2024-06-24
(54)【発明の名称】経路案内と連動した自律走行ソフトウェアの検索及び学習による自律走行制御方法及び装置
(51)【国際特許分類】
B60W 50/00 20060101AFI20240617BHJP
G08G 1/09 20060101ALI20240617BHJP
B60W 60/00 20200101ALI20240617BHJP
【FI】
B60W50/00
G08G1/09 F
B60W60/00
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022203688
(22)【出願日】2022-12-20
(11)【特許番号】
(45)【特許公報発行日】2024-05-15
(31)【優先権主張番号】10-2022-0172560
(32)【優先日】2022-12-12
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】522494857
【氏名又は名称】カカオ、モビリティ、コーポレイション
【氏名又は名称原語表記】KAKAO MOBILITY CORP.
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100118843
【弁理士】
【氏名又は名称】赤岡 明
(74)【代理人】
【識別番号】100152205
【弁理士】
【氏名又は名称】吉田 昌司
(72)【発明者】
【氏名】ホン、スンファン
【テーマコード(参考)】
3D241
5H181
【Fターム(参考)】
3D241BA21
3D241BB31
3D241BB37
3D241CE02
3D241CE03
3D241CE04
3D241DB01Z
3D241DB46Z
3D241DC34Z
3D241DC41Z
3D241DC51Z
3D241DC53Z
3D241DD01Z
5H181AA01
5H181AA25
5H181BB04
5H181BB05
5H181CC03
5H181CC04
5H181CC12
5H181CC27
(57)【要約】
【課題】経路案内と連動した自律走行ソフトウェアの検索及び学習による自律走行制御方法及び装置を提供する。
【解決手段】前記自律走行制御方法は、移動体の経路要求及び該経路要求に応じた連関情報に基づいて経路情報を生成するステップと、前記経路情報及び前記連関情報に基づいて、経路及び運行制御のための自律走行認知、判断及び制御に関連する走行データ及び走行ソフトウェアを含む走行情報を検索して選択するステップと、前記経路要求、前記連関情報及び前記走行データを用いて前記走行ソフトウェアを学習するステップと、前記走行情報を前記移動体に配布し、前記走行情報に基づいて前記移動体の走行制御を実行するステップと、を含む。
【選択図】
図4
【特許請求の範囲】
【請求項1】
経路案内と連動した自律走行ソフトウェアの検索及び学習による自律走行制御方法であって、
移動体の経路要求及び該経路要求に応じた連関情報に基づいて経路情報を生成するステップと、
前記経路情報及び前記連関情報に基づいて、経路及び運行制御のための自律走行認知、判断及び制御に関連する走行データ及び走行ソフトウェアを含む走行情報を検索して選択するステップと、
前記経路要求、前記連関情報及び前記走行データを用いて前記走行ソフトウェアを学習するステップと、
前記走行情報を前記移動体に配布し、前記走行情報に基づいて前記移動体の走行制御を実行するステップと、を含む、自律走行制御方法。
【請求項2】
前記連関情報は、経路要求情報、前記移動体のユーザー情報、前記ユーザーの移動体に対するパターン情報、移動体情報、移動体状態情報、観測情報、イベント情報、道路情報、地図情報、経由地情報又は制約情報のうちの少なくとも一つを含む、請求項1に記載の自律走行制御方法。
【請求項3】
前記走行情報の検索は、前記走行情報が前記移動体に存在しない場合、外部デバイスの前記走行情報を検索して選択することを含む、請求項1に記載の自律走行制御方法。
【請求項4】
前記走行情報の検索は、前記経路情報、前記連関情報、前記走行データ及び前記走行ソフトウェアから導出される付加情報間の類似性を利用し、前記付加情報は、メタデータ、映像データ、データ幾何又は空間データのうちの少なくとも1つを含む、請求項1に記載の自律走行制御方法。
【請求項5】
前記走行情報を検索して選択するステップは、
前記付加情報の目標データに対する定義が推論されない場合、前記走行データ、前記走行ソフトウェア、前記目標データに対する群集化処理を介して類似メタデータを抽出するステップと、
前記抽出された類似メタデータに基づいて前記類似走行情報を検索するステップと、をさらに含む、請求項4に記載の自律走行制御方法。
【請求項6】
前記走行情報を検索して選択するステップは、前記走行データ及び前記走行ソフトウェアが安全運行モデルによる安全度を保障するか否かを決定することをさらに含み、
前記安全度が保障されない場合、前記移動体の運行制御権の手動介入を許容するか否かを決定するステップと、
前記手動介入が許容されない場合、前記移動体の経路情報を再設定するステップと、をさらに含む、請求項1に記載の自律走行制御方法。
【請求項7】
前記経路情報を生成するステップは、
前記道路地図基盤の候補経路情報を生成するステップと、
前記道路地図の道路ネットワーク、道路ノード、及び前記道路地図よりも精密な車線地図の車線ネットワーク、車線ノードに基づいて、前記道路ネットワークと前記車線ネットワーク間の連結関係を定義するステップと、
車線単位の経路情報が生成可能である場合、前記連結関係及び前記車線ノードに基づいて、前記道路ネットワークに追加ノードを生成するステップと、
前記連結関係を用いて、前記候補経路情報上に前記車線ネットワーク、前記車線ノードを登録するステップと、を含み、
前記走行情報を検索して選択するステップは、前記候補経路情報に関連する前記走行ソフトウェアを検索することを含み、
前記移動体の走行制御を実行するステップは、前記車線ネットワークと前記車線ノードが登録された前記候補経路情報に基づく前記走行ソフトウェアによって複数の設定経路を生成し、設定経路の性能評価を介して決定された経路情報を最終経路情報として設定し、前記最終経路情報に基づいて前記移動体を制御することを含む、請求項1に記載の自律走行制御方法。
【請求項8】
前記走行情報を検索して選択するステップの前に、前記経路情報及び前記連関情報に基づいて前記移動体の現在走行シナリオを生成するステップをさらに含み、
前記走行情報の検索は、前記現在走行シナリオに基づいて検索されることをさらに含む、請求項1に記載の自律走行制御方法。
【請求項9】
前記走行シナリオは、前記移動体及び他の移動体の過去走行に関連して蓄積され、
前記走行情報の検索は、前記蓄積された過去の走行シナリオは前記現在走行シナリオから推定される経路の位置に基づいて加重処理され、前記加重処理された過去の走行シナリオに基づいて前記走行情報を検索することを含む、請求項8に記載の自律走行制御方法。
【請求項10】
前記走行情報の検索は、前記移動体が前記経路情報及び前記連関情報に符合する走行ソフトウェアを保有しない場合、外部デバイスから取得した走行データ、及び前記移動体で走行状況を仮想化して生成した仮想走行データのうちの少なくとも一つの入力データを用いて、前記移動体が保有する走行ソフトウェアを更新又は修正することをさらに含む、請求項1に記載の自律走行制御方法。
【請求項11】
前記走行ソフトウェアの更新又は修正は、
前記入力データの直接利用に基づいて前記走行ソフトウェアを更新又は修正する処理、前記入力データの分析によって導出された特定のデータに基づいて前記走行ソフトウェアを更新又は修正する処理、及び前記入力データの一部に基づいて前記走行ソフトウェアを1次的に更新又は修正するとともに、前記入力データの他の一部に基づいて、前記1次的に更新又は修正された走行ソフトウェアを2次的に更新又は修正する処理のうちのいずれかによって行われる、請求項10に記載の自律走行制御方法。
【請求項12】
前記走行情報を検索して選択するステップは、
前記経路情報の経路で使用を予想するセンサー及び走行情報を探索するステップと、
前記探索されたセンサー及び走行情報を用いる場合、安全度保障及び資源支援が可能であるか否かを決定するステップと、
前記安全度保障及び前記資源支援が可能である場合、交通状況、周辺状況、時間、気象状態に基づいて、前記センサー及び前記走行情報の最適組み合わせを決定するステップと、を含む、請求項1に記載の自律走行制御方法。
【請求項13】
経路案内と連動した自律走行ソフトウェアの検索及び学習による自律走行制御装置であって、
少なくとも1つのインストラクションを保存するメモリーと、
前記メモリーに保存された前記少なくとも1つのインストラクションを実行するプロセッサと、を含み、
前記プロセッサは、
移動体の経路要求及び該経路要求に応じた連関情報に基づいて経路情報を生成し、
前記経路情報に基づいて、経路及び運行制御のための自律走行認知、判断及び制御に関連する走行データ及び走行ソフトウェアを含む走行情報を検索して選択し、
前記経路要求、前記連関情報及び前記走行データを用いて前記走行ソフトウェアを学習し、
前記走行情報を前記移動体に配布し、前記走行情報に基づいて前記移動体の走行制御を実行するように構成される、自律走行制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、経路案内と連動した自律走行ソフトウェアの検索及び学習による自律走行制御方法及び装置に係り、より具体的には、自律走行に適用される膨大で複雑なデータ及びソフトウェアを経路制御と効率よく連動するように処理する、経路案内と連動した自律走行ソフトウェアの検索及び学習による自律走行制御方法及び装置に関する。
【背景技術】
【0002】
自律走行システムが多様なモビリティ(mobility)分野で開発されており、商用化を模索している。モビリティは、例えば、車両、ロボット、ドローン、船舶などのように、ヒト及びモノを運搬する移動体基盤のサービスである。
【0003】
自律走行システムは、様々なテストを通じて、認知、判断、制御を行うソフトウェア、及び自律走行に活用されるデータなどを構築することができる。前記データは、例えば、精密地図、学習用データなどである。前記システムにおけるソフトウェア及びデータは、自律走行コンピューティングデバイス内にインストールしてサービスを行っている。
【0004】
さらに、最近では、無線ソフトウェア更新技術が開発されるにつれて、サーバーは、ソフトウェアを更新し、無線通信技術を用いて移動体へ伝送することができる。移動体は、更新されたソフトウェアを受信して、ソフトウェアによるサービスがナビゲーション、運転支援システム(ADAS)、車両用インフォテインメント(IVI、In-Vehicle Infotainment)などへ提供されている。
【0005】
自律走行システムも、無線データ共有及び更新技術を結合させるための様々な研究が試みられている。従来の車両のサービスに適用されるシステムとは異なり、自律走行システムに搭載されるソフトウェアとデータは、高い複雑さを有するとともに、走行状況と環境が定型化されないため、適正なソフトウェアとデータを提供することが困難であるという限界がある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示の技術的課題は、自律走行に適用される膨大で複雑なデータ及びソフトウェアを経路制御と効率よく連動するように処理する、経路案内と連動した自律走行ソフトウェアの検索及び学習による自律走行制御方法及び装置を提供することにある。
【0007】
本開示で解決しようとする技術的課題は、上述した技術的課題に限定されず、上述していない別の技術的課題は、以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。
【課題を解決するための手段】
【0008】
本開示の一態様によれば、経路案内と連動した自律走行ソフトウェアの検索及び学習による自律走行制御方法が提供される。上記の方法は、移動体の経路要求及び該経路要求に応じた連関情報に基づいて経路情報を生成するステップと、前記経路情報及び前記連関情報に基づいて、経路及び運行制御のための自律走行認知、判断及び制御に関連する走行データ及び走行ソフトウェアを含む走行情報を検索して選択するステップと、前記経路要求、前記連関情報及び前記走行データを用いて前記走行ソフトウェアを学習するステップと、前記走行情報を前記移動体に配布し、前記走行情報に基づいて前記移動体の走行制御を実行するステップと、を含む。
【0009】
本開示の他の態様によれば、経路案内と連動した自律走行ソフトウェアの検索及び学習による自律走行制御方法を実現する装置が提供される。
【0010】
本開示について簡略に上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を限定するものではない。
【発明の効果】
【0011】
本開示によれば、自律走行に適用される膨大で複雑なデータ及びソフトウェアを経路制御と効率よく連動するように処理する、経路案内と連動した自律走行ソフトウェアの検索及び学習による自律走行制御方法及び装置を提供することができる。
【0012】
本開示によれば、自律走行移動体が走行情報、すなわち、自律走行に必要な認知、判断、制御のためのソフトウェア及び走行データを更新するのにかかる時間、コンピューティング資源、コストを最小限に抑えることができる。
【0013】
本開示によれば、自律走行移動体に走行情報を収集して提供するとき、経路情報と共に、様々なデータを含む走行要求情報、例えば、ユーザー情報、経路上のインフラ情報、交通情報、環境情報、及び移動体のセンサーから取得した情報に基づいて走行シナリオを生成することができる。走行シナリオに対応する既存のデータとソフトウェアを検索して無い場合には、走行シナリオに符合する一連の処理、例えば、仮想化(Simulation)、データ変換、データ増殖、モデル生成が、移動体で取得したデータに基づいて行われ、これに基づいてモデル学習のための走行データ及び走行ソフトウェアを提供することができる。これにより、自律走行移動体の性能及び安全性が向上できる。
【0014】
本開示によれば、自律走行データ及び自律走行ソフトウェアに対する処理を自動化し、軽量化することができる。前記処理は、シミュレーション、データ変換、データ増殖及びモデル生成を含むことができる。前記処理のために、移動体から収集されたRAWデータ(raw data)の加工過程が自動化できる。加工過程は、RAWデータに対するセンサー融合(sensor fusion)、ラベリング(labeling)、アノテーション(annotation)、メタデータ(metadata)入力作業、変換(transformation)、増殖(augmentation)などを含むことができる。また、走行情報が候補経路情報に基づいて検索されてパッケージ化され、移動体に提供できる。
【0015】
本開示で得られる効果は、上述した効果に限定されず、上述してしない別の効果は、以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。
【図面の簡単な説明】
【0016】
【
図1】移動体がネットワークを介して他の装置と通信を行うことを示す図である。
【
図2】本開示の一実施形態による移動体に実現されるシステム構成図である。
【
図3】本開示の一実施形態による移動体及びサーバーのプロセッサの構成図である。
【
図4】本開示の一実施形態による経路案内と連動した自律走行制御方法を示すフローチャートである。
【
図5】移動体とサーバーとの間で実現される本開示の他の実施形態による自律走行制御方法を示すフローチャートである。
【
図6】類似走行情報の検索過程を示すフローチャートである。
【
図7】本開示の別の実施形態における経由地情報に基づく自律走行制御方法を示すフローチャートである。
【
図8】本開示の別の実施形態における制約情報に基づく自律走行制御方法を示すフローチャートである。
【
図9】異種の地図データに基づく経路情報の生成過程を示すフローチャートである。
【
図10-14】
図9において異種の地図データに基づいて連結ノードを生成するか、或いは連結ノードによる連結関係を定義することを例示する図である。
【
図15】多次元データに基づいて経路別性能を推定することを例示する図である。
【
図16】移動体及び外部から取得された収集データに基づいて走行シナリオを分析する過程の概念図である。
【
図17】走行シナリオに基づいて走行情報を検索する過程の概念図である。
【
図18】収集データを取得するセンサーと走行情報との最適化組み合わせを決定する過程を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、添付図面を参照して、本発明の実施形態について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。本開示は、様々な異なる形態で実現でき、ここで説明する実施形態に限定されない。
【0018】
本開示の実施形態を説明するにあたり、公知の構成又は機能に対する具体的な説明が本発明の要旨を不明瞭にするおそれがあると判断された場合は、その詳細な説明を省略する。そして、図面において、本開示についての説明と関係のない部分は省略し、同様の部分については同様の図面符号を付した。
【0019】
本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が介在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対の記載がない限り、他の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。
【0020】
本開示において、第1、第2などの用語は、ある構成要素を他の構成要素と区別する目的でのみ使用され、特に断りのない限り、構成要素間の順序又は重要度などを限定しない。よって、本開示の範囲内で、一実施形態における第1構成要素は他の実施形態における第2構成要素と呼んでもよく、同様に、一実施形態における第2構成要素を別の実施形態における第1構成要素と呼んでもよい。
【0021】
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためであり、構成要素が必ずしも分離されることを意味するものではない。すなわち、複数の構成要素が統合されて1つのハードウェア又はソフトウェア単位で構成してもよく、1つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成してもよい。したがって、別段の言及がなくても、このように統合又は分散された実施形態も本開示の範囲に含まれる。
【0022】
本開示において、「A又はB」、「A及びBのうちの少なくとも1つ」、「A又はBのうちの少なくとも1つ」、「A、B又はC」、「A、B及びCのうちの少なくとも1つ」、及び「A、B又はCのうちの少なくとも1つ(at least one of A,B,C or combination thereof)」などの語句のそれぞれは、それらの語句のうちの該当する語句に一緒に羅列された項目のいずれか、又はそれらのすべての可能な組み合わせを含むことができる。
【0023】
本開示において、様々な実施形態で説明する構成要素が必ずしも必須の構成要素を意味するものではなく、一部は選択的な構成要素であり得る。よって、一実施形態で説明する構成要素の部分集合で構成される実施形態も、本開示の範囲に含まれる。さらに、様々な実施形態で説明する構成要素にさらに他の構成要素を含む実施形態も、本開示の範囲に含まれる。
【0024】
本発明の利点及び特徴、及びそれらの達成方法は、添付図面と共に詳細に後述されている実施形態を参照することにより明確になるであろう。しかしながら、本発明は、以下に提示される実施形態に限定されるものではなく、互いに異なる様々な形態で実現でき、これらの実施形態は、本発明の開示を完全たるものにし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものである。
【0025】
図1は、移動体がネットワークを介して他の装置と通信を行うことを示す図である。
【0026】
図1を参照すると、移動体100は、移動可能なデバイスを指すことができる。移動体は、例えば、車両、個人モビリティ、移動オフィス又は移動ホテルであり得る。車両は、四輪の自動車、例えば、乗用車、SUV、小型トラックなどであってもよく、四輪超過の自動車、例えば、大型トラック、コンテナ運搬車両、重機車両などであってもよい。移動体100は、地上移動体の他にも航空又は海上移動体、例えば、ドローン、PAV(Personal Aerial Vehicle)又は船舶であってもよい。移動体100は、有人運行又は自律走行(半自律及び完全自律走行を含む)で実現でき、本開示では、移動体100が自律走行で実現されるデバイスを中心に述べる。
【0027】
移動体100は、他の移動体204又は他のデバイスと通信を行うことができる。他のデバイスは、例えば、自律走行を支援するサーバー200、ITS(Intelligent Transportation System)から情報を受信するためのITSデバイス202、様々な類型のユーザーデバイス206などを含むことができる。サーバー200は、移動体100から伝送される要求及びデータに応答して、走行情報、経路制御のために用いられる様々な情報を移動体100に送信することができる。走行情報は、移動体100の自律走行のために用いられる情報であり得る。具体的には、自律走行の認知、判断、制御に関連する走行データと走行ソフトウェアモジュールを含むことができる。以下では、走行ソフトウェアモジュールは、説明の便宜のために、走行ソフトウェアと混用できる。その詳細な説明は後述する。ITSデバイス202は、例えば、路側機(Road side unit)であってもよい。ITSデバイス202は、移動体100の要求に応じて、経路の運行制御に影響を及ぼす連関情報を移動体100に伝送することができる。
【0028】
移動体100は、セルラ(Cellular)通信、WAVE(Wireless Access in Vehicular Environment)通信、DSRC(Dedicated Short Range Communication)、又はその他の通信方式に基づいて他の移動体又は他のデバイスと通信を行うことができる。例えば、セルラ通信網として、LTE、5Gなどの通信網、WiFi通信網、WAVE通信網などが利用可能である。また、DSRCのように移動体100で使用される近距離通信網などが使用でき、上述した実施形態に限定されない。
【0029】
サーバー200は、移動体100と通信しながら、移動体100の経路及び運行制御を管理するための様々な走行情報を管理することができる。移動体100が経路及び後述の連関情報に基づいて走行情報を生成又は選択しない場合、サーバー200は、経路及び連関情報に符合する走行情報を検索し、移動体100に必要な走行情報を提供することができる。サーバー200は、経路及び連関情報に符合する走行情報を保有しない場合、学習過程を介して走行情報を生成して提供することができる。
【0030】
図2は、本開示の一実施形態による移動体に実現されるシステム構成図である。
【0031】
移動体100は、センサー部102、通信部104、連関情報管理部106、経路提供部108、コンポーネント部110、駆動部112、入出力インターフェース114、メモリー116及びプロセッサ118を含むことができる。本開示において、移動体100は、様々な類型のモビリティのうちの自律走行車両を例として説明する。
【0032】
センサー部102は、多重センサーを備えることができる。センサー部102は、例えば、測位センサー102a、映像センサー102b及び様々な類型のセンサーを備えることができる。
【0033】
測位センサー102aは、例えば、移動体100の位置、方向情報を収集することが可能なGNSS、IMUセンサー、航法センサー、GPSセンサー、INSセンサー、UWBセンサー、地磁気計などを含むことにより、移動体100の位置データを取得することができる。映像センサー102bは、移動体100の周辺環境、オブジェクトを映像データとして取得することができる。ライダーセンサー102cは、移動体100の周辺にレーザーを走査して周辺環境及びオブジェクトに対するポイントクラウド(pointcloud)、すなわち、ライダーデータを取得することができる。センサー部102は、周辺環境を認識するレーダーセンサーをさらに含むことができる。図面には示されていないが、センサー部102は、温度センサー、気圧センサーなどの気象センサーを備えてもよい。これに加えて、センサー部102は、移動体100の運行中に作動する駆動、ステアリング、制動などの発生及び動作の度合いを検出する様々なセンサーを含むことができる。
【0034】
通信部104は、サーバー200、ITSデバイス202、他の移動体と通信して、移動体100の多重センサーから取得されないか或いは移動体100で管理されない連関情報を受信することができる。サーバー200又は外部デバイスから取得される連関情報は、経由地点情報、イベント情報、道路情報、地図情報、空間情報、他のデバイスの観測情報などである。
【0035】
連関情報管理部106は、経路提供部108によって生成された経路による移動体100の走行制御において考慮される連関情報を生成してメモリー116を介して管理することができる。連関情報は、関連データの受信に応じて生成されて保持されるか、或いは関連データのリアルタイム取得に応じて変わることができる。
【0036】
また、連関情報管理部106は、移動体100で生成又は管理されない連関情報を外部デバイスから受信して管理することができる。外部デバイスは、例えば、サーバー200、ITSデバイス202、他の移動体204、他のユーザーデバイス206などである。
【0037】
連関情報は、例えば、ユーザーが入力する経路要求情報、ユーザー情報、パターン情報、移動体情報、移動体状態情報を含むことができる。また、連関情報は、観測情報、地図情報、空間情報、イベント情報、経由地情報、道路情報、制約情報などをさらに含むことができる。
【0038】
経路要求情報は、ユーザーが入出力インターフェース114を介して入力した出発地情報及び目的地情報であり得る。出発地情報は、例えば、現在位置に基づいて自動的に設定されるか、或いはユーザーの別途入力によって設定され得る。また、経路要求情報は、経由地点情報をさらに含むことができる。経由地点情報は、ユーザーの入力又は移動体100の設定によって決定できる。移動体100の設定の場合、ユーザーが経路要求情報と同一又は類似経路で走行した履歴に基づいて、ユーザーが所定の頻度以上に駐車した経由地点が経由地点情報として設定できる。前記履歴は、連関情報管理部106で管理されるパターン情報から確認できる。パターン情報の詳細は後述する。
【0039】
ユーザー情報は、移動体100を使用する搭乗者の個人情報であり、例えば、ユーザー識別情報、年齢、性別、健康状態などを含むことができる。ユーザー情報は、ユーザーの入力又は他のデバイスとの通信を介して取得できる。他のデバイスは、例えば、移動体100に搭乗したユーザーの個別デバイスであり、移動体100は、ユーザーデバイスに保存された個人情報を受信することができる。
【0040】
パターン情報は、移動体100の経路による走行制御においてユーザーが所定の頻度で提供された走行制御パターン、又はユーザーの要求に応じて前記走行制御に反映された走行制御パターンであり得る。
【0041】
パターン情報は、例えば、過去走行経路とこれに適用された運行制御に関する履歴情報、ユーザーの移動体運転及び使用パターン、走行情報に基づいて提供された移動体経路及び運行制御に関するオプションの選択パターン、特定の同乗者が搭乗した場合の移動体使用パターン等に関する情報である。パターン情報は、プロセッサ118が、移動体100の入出力インターフェース114を介してユーザーが選択したオプションの類型を分析することにより推定できる。また、パターン情報は、ユーザーデバイス又は移動体100から入力された特定の同乗者が搭乗した場合、ユーザーが利用する経路、移動体の操作パターンを含む走行パターンを含むことができる。また、パターン情報は、イベント情報、気象情報に関連してユーザーが利用する運転パターン、経由地点情報、走行した経路を含むことができる。これに加えて、パターン情報は、所定値以上のエネルギー消費が要求されるコンポーネント部110のモジュールに関連する使用パターンを含むことができる。例えば、経路による移動体100の走行中、外気温度又は移動体100の室内温度が所定値に達すると、ユーザーが、多くのエネルギー消費が要求されるヒータ又はエアコンを動作させる特定の挙動が規則的に発生することが認知できる。プロセッサ118は、特定の条件下での空調系統を使用するユーザー挙動を使用パターンとして認知し、連関情報管理部106は、使用パターンをパターン情報として管理することができる。
【0042】
移動体情報は、移動体100の仕様に関する情報である。移動体情報は、例えば、移動体100のエネルギー源、種類、年式、性能などに関する情報である。
【0043】
移動体状態情報は、移動体100のコンポーネント部110の状態に関する情報である。コンポーネント部110は、エネルギー系統、空調系統、制動系統、駆動系統、照明系統、便宜機能系統などを含むことができる。エネルギー系統に関する状態情報は、例えば、エネルギー残量、走行可能距離等を含むことができる。上述した系統に関する状態情報は、例えば、各系統を構成するモジュールの性能、正常/異常状態などを含むことができる。また、移動体状態情報は、移動体100に積載されたオブジェクトの類型、重量、形態などに関する情報をさらに含むことができる。
【0044】
観測情報は、移動体100の観測センサー又は外部デバイスから取得された移動体100の周辺環境に関するデータを含むことができる。観測センサーは、例えば、画像センサー102b、ライダーセンサー102c又はレーダーセンサーのうちの少なくとも1つである。観測情報は、移動体周辺のオブジェクトに関連する位置、種類、モーション、形状などに関するデータで構成できる。オブジェクトは、静的オブジェクト又は動的オブジェクトである。静的オブジェクトは、固定施設物などのように移動性を伴わないオブジェクトである。動的オブジェクトは、ヒト、他の移動体のように移動性があるオブジェクトである。動的オブジェクトは、例えば、観測センサーから取得されたデータを学習モデルを介して分析することにより決定できる。これに加えて、オブジェクトは、準(quasi)静的オブジェクト又は準動的オブジェクトである。準静的オブジェクトは、例えば観測センサーから取得されたデータに基づいて動的状態で認識されるが、移動体100の走行制御に影響を及ぼさないため、静的な状態に決定されるオブジェクトであり得る。準(quasi)動的オブジェクトは、例えば、実質的な静的状態として認識されるが、移動体100の走行制御に影響を及ぼして動的な状態に決定されるオブジェクトである。準静的及び準動的オブジェクトは、所定の学習モデルを介して決定できる。
【0045】
観測情報は、各センサーのタイプ情報、及び多様なセンサー間のマッチングと融合のためのセンサー間の幾何情報を含むことができる。幾何情報は、移動体100の走行中に取得されたセンサーデータ、及びセンサーに内在された固有情報に基づいて導出される内部幾何情報及び外部幾何情報を含むことができる。
【0046】
地図情報は、移動体100のメモリー及びサーバー200のデータベースのうちの少なくとも一つに保存される。連関情報管理部106が要求によって、経路要求情報に基づく地図情報を取得することができる。連関情報管理部106は、走行情報を検索又は選定するために、取得された地図情報をプロセッサ118に提供することができる。道路、道路周辺の施設物、車線情報などの様々なデータが地図情報に表現できる。地図情報は、同じ地域に対して異種の地図データを含むことができる。例えば、地図情報は、道路ネットワークに基づく地図及び車線ネットワークに基づく地図を備えることができる。車線ネットワーク基盤の地図は、具体的に車線単位又はcm単位の高精度で構築できる。
【0047】
空間情報は、移動体100のメモリー及びサーバー200のデータベースのうちの少なくとも一つに保存される。連関情報管理部106が要求によって、経路要求情報に基づく空間情報を取得することができる。空間情報は、地図情報に関連する3次元空間上で視点別に構造化できる。具体的には、空間情報は、地図上のオブジェクトの履歴情報を視点別に構造化して保存することができ、前記オブジェクトに関連する様々な情報をメタデータとして記録することができる。ソフトウェアは、例えば、全域的又は地域的に使用される走行ソフトウェアを含むことができる。また、移動体経路及び運行制御に使用されたソフトウェア、関連パラメータ、ソフトウェアの詳細モデルが最適化しながら更新される場合、空間情報は、当該地域に適用されたソフトウェア、パラメータ、詳細モデルに関連するソフトウェア連関情報を累積して保存することができる。
【0048】
イベント情報は、移動体100の周辺或いは予想経路で発生した様々な状況情報であり得る。イベント情報は、例えば、交通状況、事故状況、工事状況、局地的気象状況に関する情報である。イベント情報は、外部デバイスから取得できる。
【0049】
経由地情報は、経路上に存在する経由地に関する情報を含むことができる。一例として、経由地情報は、ユーザー情報及び移動体状態情報に基づいて、経路で選別された経由地に関する情報を含むことができる。
【0050】
道路情報は、走行制御に考慮される経路上の道路に関する情報である。例えば、道路情報は、経路上の傾斜、路面状態、曲率、舗装状態などを含むことができる。
【0051】
制約情報は、移動体情報及び経路に応じて移動体100に要求される規定に関する情報であり得る。例えば、制約情報は、自律走行で所定レベル以上に事故危険度を有する経路と、当該経路での自律走行制限に関する情報、移動体100の安全等級及び認証による走行制御の制限情報、道路状況及び環境によって要求される走行制御の制限情報などを含むことができる。
【0052】
一方、経路提供部108は、プロセッサ118との協業によって、ユーザーの経路要求情報、連関情報の少なくとも一部に基づいて全域的経路情報を生成することができる。また、現走行位置での詳細な経路制御のため、経路提供部108は、プロセッサ118との協業によって、リアルタイムで収集されるデータ及び連関情報の少なくとも一部に基づいて地域的経路情報を生成することができる。移動体100の自律走行は、生成された全域的及び地域的経路情報に基づいて制御できる。本開示では、経路提供部108がプロセッサ118とは別のモジュールとして例示されているが、他の例として、経路提供部108はプロセッサ118に含まれることで、プロセッサ118が経路提供部108の機能を行うことができる。
【0053】
コンポーネント部110は、例えば、エネルギー系統、空調系統、制動系統、駆動系統、照明系統、便宜機能系統を含むことができる。エネルギー系統は、例えば、燃料又は電池などのエネルギー源を供給するモジュール及びエネルギー管理モジュールを含むことができる。便宜機能系統は、例えば、シート、インフォテインメントなどのように、ユーザーにさらに便宜機能を提供するモジュールを含むことができる。センサー部102は、コンポーネント部110の各系統の状態を認識するための様々な種類のセンサーを備えることができる。
【0054】
駆動部112は、プロセッサ118の制御によって、移動体100の機械的動作を実行することができる。駆動部112は、前輪及び後輪に動力を伝達する動力系統、制動系統、ステアリングによる移動体100の方向を伝達するステアリング系統などである。
【0055】
入出力インターフェース114は、ユーザーインターフェースとして機能することができる。入出力インターフェース114は、プロセッサ118によって、移動体100の経路、動作状態、制御状態に関する情報を表示することができる。入出力インターフェース114は、ユーザー入力を検知可能なタッチスクリーン、又はユーザーの音声を認識するマイクロホンで構成され、プロセッサ118に指示するユーザーの要求を受信することができる。例えば、経路要求情報は入出力インターフェース114で受信され、プロセッサ118は、経路を設定するとともに、経路に符合する走行情報に基づいて移動体100を走行させることができる。
【0056】
メモリー116は、連関情報及び走行情報を保存することができる。走行情報は、走行データ及び走行ソフトウェアを含むことができる。サーバー200は、メモリー116に保存されていない大量の走行情報を保存して管理することができる。
【0057】
走行情報は、連関情報との関連性を有し、複数の走行データ及びソフトウェアのうちの少なくとも1つを選択するために使用される情報を含むことができる。また、既存の走行ソフトウェアが経路による走行制御に適用されないと決定されると、走行データは、既存の走行ソフトウェアに対する学習、更新又は修正を処理するために使用されるデータであり得る。例えば、新しい走行環境により、前記環境に最高の類似性を有する走行データは、前記環境に最高の類似性を有する走行ソフトウェアに対する上述の処理のために用いられることができる。走行データは、連関情報との関連性を有するパラメータ、及び当該パラメータの重みを含むことができる。
【0058】
例えば、連関情報が特定の年齢及び健康状態を有するユーザー情報、特定のユーザーのパターン情報及びイベント情報を有する場合、走行データは、上述した情報に関連して蓄積された様々なデータを含むことができる。具体的には、特定の年齢及び健康状態を有する他のユーザーが好むか或いは頻繁に使用する詳細な経路、速度、走行方式などは、走行データの一例であり得る。他の例として、特定のユーザーのパターン情報の場合、走行データは、パターン情報に関連する詳細経路、走行方式、経由地の様々な情報などを含むことができる。別の例として、連関情報がイベント情報である場合、特定の制御データは、イベント情報の状況による回避経路、走行方式に関するデータであり得る。
【0059】
走行ソフトウェアは、移動体100の経路及び連関情報に基づいて、最適経路及び運行制御を実現する学習モデルであり得る。走行ソフトウェアは、様々な経路及び多数の連関情報に符合するように複数に設けられることができる。最適に選択された走行ソフトウェアは、プロセッサ118によって実行され、経路上の走行制御を詳細に処理することができる。走行制御は。自律走行のための経路決定及び詳細な運行制御を含むことができる。走行制御は、例えば、経路変更、維持された経路での運行制御などである。
【0060】
プロセッサ118は、前述した構成要素を制御し、適用されたアルゴリズムに従って経路及び運行制御を各構成要素に命令することができる。また、プロセッサ118は、連関情報に関する走行情報を検索し、最適な走行情報を生成するように走行ソフトウェアを学習させることができる。プロセッサ118は、最適な走行情報を自分の移動体100に適用するように配布し、外部デバイスへ配布することができる。
【0061】
図3は、本開示の一実施形態による移動体及びサーバーのプロセッサの構成図である。本開示では、移動体100及びサーバー200のプロセッサに共通に機能するモジュールを中心に説明する。移動体100のプロセッサ118は、
図3に例示されたプロセッサ300と実質的に同一である。
【0062】
プロセッサ118は、経路要求情報と連関情報に基づいて走行データ及び走行ソフトウェアを検索する検索部302、経路要求情報と連関情報に関連する走行データを用いて走行ソフトウェアに対する学習、更新又は修正するための処理を実行する学習部304、及び走行データと走行ソフトウェアを移動体100に配布する配布部306を含むことができる。プロセッサ118がサーバー200に組み込まれた場合、配布部306は、移動体100との通信を通じて、最適化された走行情報を移動体100に伝送することができる。
【0063】
図4は、本開示の一実施形態による経路案内と連動した自律走行制御方法を示すフローチャートである。
【0064】
まず、移動体100のユーザーは、入出力インターフェース114を介して経路を要求し、プロセッサ118は、経路入力情報に基づいて、連関情報管理部106から連関情報を取得することができる(S105)。
【0065】
経路要求による情報は、ユーザーの入力又は移動体100の設定によって生成できる。ユーザーによる経路要求情報は、少なくとも目的地情報を含むことができる。また、ユーザーによる経路要求情報は、例えば、出発地情報及び経由地点情報をさらに含むことができる。移動体100の設定による場合、経路提供部108は、連関情報のパターン情報に基づいてユーザーの走行目的、時間、過去の経路要求情報を確認することにより、経路要求情報を生成することができる。
【0066】
ユーザーが別途の情報を入力しなくても、経路要求情報は、ユーザーが入力した情報に連関情報に基づく情報をさらに含むことができる。例えば、経路提供部108は、連関情報の移動体状態情報、ユーザー情報から確認された経由地点情報を経路要求情報に追加することができる。移動体状態情報に含まれているエネルギー残量が不足するか、或いはコンポーネント部110の一部のモジュールが異常状態である場合、移動体100は、目的地まで走行することができない。経路提供部108は、上述した例示による移動体状態情報に基づいて、エネルギー供給所、整備所を経由地点情報として含むことができる。別の例示として、搭乗者のうちの少なくとも一部が高齢又は悪い健康状態である場合、経路提供部108は、上述した例示によるユーザー情報に基づいて、休憩所を経由地点情報として含むことができる。連関情報の経由地情報が経由地点における駐車場情報を有する場合、経路提供部108は、駐車場情報を経由地点情報にさらに含むことができる。
【0067】
経路要求情報が生成されると、プロセッサ118は、経路要求情報に関連する連関情報を抽出して経路提供部108に提供することができる。プロセッサ118は、経路要求による目的地及び搭乗者に関連するパターン情報、ユーザー情報、移動体状態情報を抽出することができる。
【0068】
次に、プロセッサ118は、経路提供部108を制御して、経路要求情報に基づいて全域的経路情報を生成することができる(S110)。
【0069】
経路提供部108は、全域的経路情報を生成するための連関情報をさらに要求することができる。例えば、さらに要求される連関情報は、地図情報、イベント情報、道路情報、制約情報などである。メモリー116に保存された地図情報は、道路及び車線単位ネットワーク地図のうちの少なくとも1つである。例えば、目的地までの予定経路上に厳しい渋滞地域、集中豪雨予報地域、自律走行による事故確率が頻繁な地域、又は工事地域が含まれている場合、経路提供部108は、地図情報を分析し、上述した地域をできる限り回避するように全域的経路を樹立することができる。
【0070】
次いで、プロセッサ118は、経路提供部108を制御し、走行する移動体100のリアルタイム位置及び経路要求情報に基づいて、リアルタイム位置で地域的経路情報を生成することができる(S115)。
【0071】
経路提供部108は、地域的経路情報を生成するための連関情報をさらに要求することができる。例えば、さらに要求される連関情報は、観測情報、当該位置の空間情報、当該位置の地図情報などである。
【0072】
経路提供部108は、観測センサーから取得された周辺環境及びオブジェクトを空間情報と比較して、静的及び動的オブジェクトを識別し、識別されたオブジェクト及び地図情報に基づいて地域的経路を樹立することができる。
【0073】
次に、プロセッサ118は、検索部302を用いて、全域的経路及び地域的経路情報、連関情報に基づいて走行情報を検索することができる(S120)。
【0074】
プロセッサ118は、経路情報及び連関情報に基づく少なくとも1つの走行シナリオを生成することができる。走行シナリオは、例えば、上述した情報から抽出されるメタデータに基づいて生成され、走行環境、移動体100の状態、交通状況などを定義することができる。その詳細な説明は後述する。
【0075】
プロセッサ118は、検索のために、走行シナリオ及び連関情報からメタデータを取得し、取得したメタデータに基づいて走行データ及び少なくとも1つの走行ソフトウェアを検索することができる。
【0076】
続いて、プロセッサ118は、学習部304を用いて、走行情報を最適化することができる(S125)。
【0077】
例えば、検索された走行データは、分析、走行ソフトウェアの学習及び現在走行状況に符合するように最適化することができる。
【0078】
次に、プロセッサ118は、学習部304によって、走行データに基づいて走行ソフトウェアを学習させることができる(S130)。
【0079】
走行ソフトウェアは、周辺環境を認識するためのアルゴリズム、走行判断及び計画を設定するためのアルゴリズム、周辺環境認識、走行判断、走行制御に関連する設定値、重みを含むことができる。走行ソフトウェアは、例えば、多次元データを受信して周辺環境を認識し、経路及び運行に対する判断及び制御のための走行制御結果値を出力する多重レイヤーで構成される学習モデルであり得る。
【0080】
次いで、プロセッサ118は、学習部304によって、経路情報及び走行データによる走行ソフトウェアに対する性能を評価して、走行ソフトウェアの性能が良好であるかを決定することができる(S135)。
【0081】
例えば、学習された走行ソフトウェアの走行制御結果値による信頼度がしきい値以上であることを満たすことにより、学習部304は、前記ソフトウェアの性能が良好であると決定されることができる。走行ソフトウェアが複数である場合、学習部304は、しきい値以上の走行ソフトウェアのうち、最高の信頼度を有するソフトウェアが良好な性能を有すると決定することができる。
【0082】
前記性能が良好であれば、プロセッサ118は、走行データ及び走行ソフトウェアを含む走行情報を移動体100及びサーバー200に配布することができる(S140)。
【0083】
次いで、プロセッサ118は、配布された走行情報に基づいて、経路情報に応じた走行を実行するように移動体100を制御することができる(S145)。
【0084】
プロセッサ118は、移動体100が走行する間に実際に適用された走行制御に基づいて走行ソフトウェアを更新し、更新された走行ソフトウェアは経路及び連関情報に関連して管理できる。
【0085】
前記性能が良好でなければ、プロセッサ118は、経路提供部108を制御して、経路情報を再設定するか否かを決定することができる(S150)。
【0086】
経路情報の再設定は、例えば、全域的経路情報に基づく評価結果値が基準値未満であるか否かによって決定できる。例えば、ユーザーのパターン情報と類似した傾向を持たないか、或いは移動体状態情報又はユーザー情報に基づいて推定された経由地よりも過度な経由地点情報を含む場合、全域的経路情報に対する評価結果値は基準値に達しないことがある。上述した例示によれば、経路提供部108は、全域的経路を再設定することを決定することができる。
【0087】
経路情報の再設定を決定すれば、プロセッサ118は、経路提供部108を制御して、経路要求情報に基づいて全域的経路情報を再設定し、ステップS115以降の過程を再度行うことができる。
【0088】
経路情報の再設定を決定しなければ、経路提供部108を制御して、走行する移動体100のリアルタイム位置及び経路要求情報に基づいてリアルタイム位置で地域的経路情報を再生成することができる。プロセッサ118は、地域的経路情報の再生成後、ステップS120以降の過程を行うことができる。
【0089】
例えば、全域的経路情報に基づく評価結果値が基準値以上である場合、経路提供部108は、全域的経路情報を維持し、移動体が位置する局所的地点で地域的経路情報を再生成することができる。
【0090】
図5は、移動体とサーバーとの間で実現される本開示の他の実施形態による自律走行制御方法を示すフローチャートである。本開示は、走行情報が移動体100に存在しない場合、サーバー200から取得することを例示している。併せて、サーバー200は、
図3に例示されたプロセッサ300を用いて以下の過程を処理することができる。
【0091】
まず、移動体100のプロセッサ118は、
図4のステップS105~ステップS115と同様に、経路提供部108を用いて、全域的及び地域的経路情報を生成することができる(S205)。
【0092】
次に、プロセッサ118は、検索部302を用いて、全域的及び地域的経路情報、連関情報に基づいて、メモリー116が走行情報を保有するか否かを連関情報管理部に問い合わせることができる(S210)。
【0093】
問い合わせの結果、走行情報が移動体100に保有されている場合、プロセッサ118は、
図4のステップS120~ステップS130を行い、ステップS135と同様に、学習されたソフトウェアの性能が良好であるか否かを決定することができる(S215)。性能が良好であれば、プロセッサ118は、
図4のステップS135及びステップS140と同様に、走行情報を配布し、走行情報に基づいて走行するように移動体100を制御することができる(S220)。性能が良好でなければ、プロセッサ118は、
図4と同様に、ステップS105~S130を再び行うことができる。
【0094】
問い合わせの結果、走行情報が移動体100に保有されていない場合、移動体100は、サーバー200に走行情報の検索を要求し、サーバー200は、走行情報を検索することができる(S225)。
【0095】
サーバー200は、検索のために、移動体100から、全域的及び地域的経路情報、前記経路情報に関連する連関情報、及び移動体100が認識した周辺環境に関連する走行データを受信することができる。また、サーバー200は、ITSデバイス202及び他の移動体から、経路情報に関連する連関情報、及び周辺環境の認識による走行データを受信することができる。外部デバイスから受信される連関情報は、例えば、観測情報、イベント情報、道路情報、経由地情報、地図情報及び空間情報などを含むことができる。外部から受信される上述の情報は、更新されて最新バージョンの情報であり得る。
【0096】
移動体100が新しい経路、地域又は環境で自律走行にて走行する場合、移動体100が保有する走行情報は適用されるのが適切ではない。サーバー200は、経路情報、連関情報、移動体100の走行データから抽出される検索クエリを用いて走行情報を検索することができる。検索クエリは、例えば、移動体100の上述した情報から導出されたメタデータに基づいて生成できる。これに加えて、検索クエリは、移動体100の上述した情報に基づいて予測される走行シナリオに関連するメタデータをさらに含むことができる。
【0097】
サーバー200及び移動体100は、スキーマで構成され、スキーマを構成する核心キーワード及びこれにより連結されたモデルなどが互いに異なるように定義できる。他の自律走行移動体及びITSデバイス202も、上述したのと実質的に同一である。
【0098】
サーバー200で実現される検索アルゴリズムは、サーバー200に既に蓄積された走行情報、すなわち、走行データ及び走行ソフトウェアを表現するキーワード、コンテキストなどをメタデータ上に登録させることができる。サーバー200が走行情報を検索するとき、メタデータによる表現方式が同じ状況に対して、移動体100及び他のデバイス(例えば、サーバー200、ITSデバイス202、他の自律走行移動体)ごとに異なることがある。したがって、サーバー200は、キーワードとコンテキストに対する類似度を分析して走行情報を検索することができる。
【0099】
連関情報を生成するために収集されたRAWデータは、収集されたデータを説明するメタデータが場合によって記録されないことがある。これにより、収集されたデータに対するメタデータの入力が必要であることがある。
【0100】
収集されたデータのメタデータは特定の作業者よって入力されるか、或いは収集データ内の状態情報を入力する人工知能認知モデルを用いることにより記録できる。
【0101】
例えば、RAWデータは、観測センサー、測位センサー、補助センサーを用いて収集され、収集されたデータは前記認知モデルに入力されることにより、メタデータが分析できる。補助センサーは、例えば、気象センサー、気圧計、温度計などである。収集データ間の同期化(synchronization)、センサー融合(sensor fusion)過程、及び正位置(geo-referencing)過程を活用することにより、収集データが多重化されて前記認知モデルに入力できる。
【0102】
測位センサーと観測/補助センサーとの整合は、収集データの正位置過程を行うことができるようにする。位置を表現する場合、水平的位置、垂直的位置、又は3次元座標が表現できる。上記の位置又は座標は、所定の数学的モデル及び基準に基づいて表現できる。
【0103】
センサー間の融合情報の場合、収集データは、センサーの時間情報、幾何情報などを介して統合できる。観測センサーデータを例に挙げると、センサーの幾何モデルに対する内部パラメータ、外部パラメータ及び測位情報を用いることにより、観測センサーから収集されたデータが融合して解釈できる。
【0104】
例えば、映像データから認識されたオブジェクトの認知情報は、ライダーデータと連係されることにより、3次元位置情報として登録できる。3次元座標系上におけるオブジェクトとの距離、観測角が分析されて登録できる。
【0105】
複数の映像データが連係される場合、各映像データに適用されるカメラ、レンズの特性及び解釈モデルが推定されることにより、映像データ間の整合及び融合が処理できる。上記特性は、カメラとレンズの投影原理に基づく数式、例えば共線条件式に伴っている焦点距離、主点(principal point)、レンズ歪み、歪み係数(skew coefficient)変数である。解釈モデルは、例えば、数学的に定義された投影モデル、多項式比例モデル、ホモグラフィ(homography)モデル、アフィン(affine)モデルのうちの少なくとも1つである。
【0106】
複数のライダーデータを連係する場合、ライダー装置上のレーザー投射角、距離スケール、角度スケールなどが変数として推定され、ライダーデータ間の整合及び融合が処理できる。
【0107】
カメラデータとライダーデータとを連係する場合、映像とライダーセンサーとの幾何を連係する位置値と姿勢値が所定の変換式に対する変数値として推定できる。変換式は、例えば、剛体変換(rigid body transformation)、相似変換(similarity transformation)に関連する数式であり得る。正位置情報を付与するために、前記変数値は測位及び補助センサーデータと融合できる。
【0108】
正位置が付与された観測情報とオブジェクト情報は、精密地図情報と結合し、オブジェクトに対する状況情報が前記列挙した情報と結合してメタデータで表現できる。例えば、状況情報は、状況に応じて変化する交通インフラ情報及び気象情報であり、交通インフラ情報は、信号灯、横断歩道、交差路情報などであり得る。
【0109】
特定の状態を示す信号灯の点火は、時間経過に伴って変化し、信号灯の点火状態は、走行経路、自律走行計画、判断、制御に影響を及ぼすことができる。オブジェクトの状況情報は、例えば信号灯の点火状態別にメタデータとして定義できる。また、特定の時点区間のデータを追跡することにより、データの変化様相が分析され、メタデータは変化様相に基づいて定義できる。
【0110】
交通インフラ情報及びイベント情報(例、交通渋滞、工事)の他にも、周辺の動的オブジェクトの車線変更、横断歩道上の歩行者の移動などに関連する周辺情報は、自律走行の制御に使用される情報として定義できる。
【0111】
上記に例示した情報のメタデータは、サーバー200のデータベースに登録され、サーバー200は、経路情報、連関情報から抽出される検索クエリ及びメタデータに基づいて走行情報を検索することができる。
【0112】
次に、サーバー200は、検索された走行情報の性能が良好であると決定した場合(S230のY)、サーバー200は、移動体100から受信された情報及び検索された走行データを用いて走行ソフトウェアを学習させ(S235)、走行情報を移動体100に配布することができる(S240)。移動体100は、例えば所定の条件、例えば移動体100の停止又は一定速度以下の走行、通信状態が良好な地域で、サーバー200から走行情報をダウンロードすることができる。移動体100は、
図4のS135と同様に、配布された走行情報、例えば走行ソフトウェアの性能が移動体の状況に符合するように良好であるかを評価することができる。性能が良好であれば、プロセッサ118は、サーバー200から配布された走行情報に基づいて移動体100の走行を制御することができる。
【0113】
一方、検索された走行情報の性能が良好でない場合(S330のN)、サーバー200は、移動体100の情報から抽出された検索クエリ及びサーバー200の走行情報に付与されたメタデータを用いて類似の走行情報を検索することができる(S245)。
【0114】
例えば、サーバー200は、経路情報、連関情報及び走行データから推定される移動体100と類似の状況で使用される類似走行情報を検索することができる。また、サーバー200は、検索された類似走行情報のうち、高い頻度で使用される走行情報を優先的に選定することができる。
【0115】
次に、サーバー200は、類似走行情報を分析、学習、移動体100の走行状況に符合するように最適化できる(S250)。例えば、類似走行ソフトウェアは、移動体100及び外部デバイスから取得された走行データに基づいて更新又は修正できる。続いて、ステップS235及びステップS240と同様に、最適化された走行情報はサーバー200によって学習されて移動体100に配布できる。
【0116】
本開示では、移動体100が経路情報及び連関情報に適した走行ソフトウェアを保有していない場合、サーバー200が走行ソフトウェアを提供又は再学習することにより、移動体100に提供することを例示している。
【0117】
他の例では、移動体100が前記適した走行ソフトウェアを保有していない場合、外部デバイスから走行データを取得するか、或いは移動体100で走行状況を仮想化して仮想走行データを生成することができる。外部デバイスは、例えば、サーバー200、ITSデバイス202及び他の移動体204のうちの少なくとも1つである。移動体100は、外部の走行データ及び仮想走行データのうちの少なくとも1つの入力データを用いて、移動体100が保有する走行ソフトウェアを更新又は修正することができる。更新又は修正された走行ソフトウェアは、移動体100に適用できる。
【0118】
図6は、類似走行情報の検索過程を示すフローチャートである。
【0119】
図6による開示は、
図4及び
図5の検索で使用されるメタデータが走行情報に付与されたメタデータとして定義されていない場合、類似走行情報を検索する過程を例示している。
【0120】
まず、移動体100のプロセッサ118は、収集RAWデータ及び保有する走行ソフトウェアからメタデータを抽出することができる(S305)。
【0121】
収集RAWデータは、リアルタイムで収集される連関情報であり、例えば観測情報、イベント情報、移動体状態情報、制約情報などであり、上述した例に限定されない。これに加えて、メタデータは、経路情報及び走行シナリオから抽出できる。
【0122】
次に、プロセッサ118は、収集データ及び走行ソフトウェアのメタデータが異なるが、収集データに基づくメタデータから検索のための目標データの定義が推論されるか否かを把握することができる(S310)。
【0123】
一例として、収集データ、経路情報、連関情報及び走行シナリオのうちの少なくとも1つから周辺状況、交通状況、移動体状態が確認されると、目標データの定義が正常に推論されたと決定できる。目標データが定義されたか否かは、
図6のステップS310における検索目標の定義如何で表記されている。他の例として、上述した情報及び走行シナリオから推論される走行制御に対する要求情報が目標データから推論されると、目標データの定義が正常に推論されたと決定できる。例えば、大型商用車両が悪天候で安全規定を遵守するとともに、パターン情報に基づく運行所要時間を満たすように制御される必要があり得る。この場合、要求情報は、前記車両の経路情報、連関情報及び走行シナリオのメタデータから上述の条件を推論することができる。
【0124】
もし、目標データの定義が推論されると、プロセッサ118は、両側のメタデータ間の類似性を分析して、目標データに符合する類似走行情報を検索することができる(S315)。
【0125】
次に、プロセッサ118は、ステップS125及びステップS130と同様に、類似走行情報を最適化し(S320)、走行ソフトウェアを学習して配布することができる(S325、S330)。
【0126】
一方、目標データの定義が推論されなければ、プロセッサ118は、サーバー200に類似走行情報を検索するように要求することができる。サーバー200は、移動体100のメタデータ及び目標データを受信することができる。サーバー200は、目標データ、サーバー200が保有する走行データと走行ソフトウェアとの類似性を用いる非指導学習を介して群集化することにより、目標データ及びサーバー200の走行情報を分析することができる(S335)。
【0127】
次に、サーバー200は、分析結果に応じて、移動体100の目標データとメタデータに近接した類似メタデータを抽出し、類似メタデータに基づいて類似走行情報を検索することができる(S340)。
【0128】
次いで、サーバー200は、移動体100から受信されたメタデータに基づいて、類似走行情報が適用可能であるか否かを分析することができる(S345)。有効な適用と決定された場合、サーバー200は、類似走行情報を移動体100に伝送することができる。
【0129】
図7は、本開示の別の実施形態における経由地情報に基づく自律走行制御方法を示すフローチャートである。
【0130】
まず、移動体100のプロセッサ118は、上述した例と同様に、経路要求を受信し、連関情報を取得し(S405)、全域的及び地域的経路情報を生成することができる(S410)。
【0131】
本開示では、経路要求情報、ユーザー情報、移動体状態情報に応じて、経路情報が経由地点情報を含むことを例示している。
【0132】
プロセッサ118は、メモリー116が経由地に関する情報、すなわち走行情報を保有するかを確認することができる(S415)。
【0133】
一例として、経由地に関連する走行情報は、経由地の駐車情報に関連することができる。駐車情報は、駐車面の数/サイズ、交通弱者の優先駐車区域、電気自動車充電区域等である。前記走行情報は、例えば精密地図、AI学習データ及びモデル形態で表現できる。
【0134】
移動体100が経由地に関連する走行データを既に保有しているか、或いはリアルタイムで取得することができる場合、プロセッサ118は、前記データを保有したと決定することができる。
【0135】
経由地の走行データについて駐車情報を例として説明する。精密地図の場合、駐車場空間に存在する静的オブジェクトの3次元位置情報、オブジェクト間の連係関係、走行に関連する情報が地図化(mapping)されて管理できる。静的オブジェクトの情報は識別子及び更新履歴のうちの少なくとも1つを含むことができる。
【0136】
駐車に関連する走行シナリオが生成された場合、駐車面の幾何情報、駐車面の属性情報、駐車面での走行情報が走行データとして採用できる。属性情報は、例えば、交通弱者の駐車区域及び電気自動車充電区域である。走行情報は、例えば、駐車面の利用状態、駐車面での予想移動軌道、自律走行又は手動走行に必要な付加情報を含むことができる。
【0137】
走行ソフトウェアは、駐車情報及び他の情報を含む走行データに基づいて経由地への接近及び駐車のための走行制御を処理することができる。他の情報は、例えば、交通弱者を確認するユーザー情報、電気自動車を確認する移動体情報、エネルギー残量を確認する移動体状態情報、経由地点で移動体の平均的な挙動を確認するパターン情報などを含むことができる。
【0138】
プロセッサ118は、移動体100の履歴情報に基づいて、経由地に関する接近経路及び駐車に関連する走行データ、及び経由地点に適用された走行ソフトウェアを検索することができる。また、プロセッサ118は、例えば、観測センサー及び通信部104を介して取得される経由地の観測情報を取得することができる。具体的には、移動体100は、走行データに関連する情報を認知するために、経由地のインフラシステムに登録された情報を走行データとして受信することができる。
【0139】
もし、プロセッサ118は、経由地に関連する走行情報を保有していることを確認すると、プロセッサ118は、
図4と同様に、保有された走行情報に基づいて経由地に関連する走行を実行するように移動体100を制御することができる(S420)。プロセッサ118は、経由地での走行過程でリアルタイムにて取得される走行データに基づいて走行ソフトウェアを更新し、更新された走行ソフトウェアに基づいて走行を制御することができる。
【0140】
これとは異なり、走行情報が存在しなければ、プロセッサ118は、移動体100が保有する他の走行情報及び経由地に関連する外部デバイスの走行情報を用いて、経由地の走行情報を生成することができるか否かを決定することができる(S425)。
【0141】
一例として、プロセッサ118は、経由地の駐車情報及び走行ソフトウェアを保有していないが、経由地と類似した環境の他の経由地の駐車情報及び走行ソフトウェアに基づいて走行情報を生成することができるかを決定することができる。具体的には、プロセッサ118は、移動体100が一部保有した経由地の走行データ及び類似走行データを用いて、類似走行ソフトウェアを再学習又は修正することにより、経由地の走行情報を生成することができるかを決定することができる。
【0142】
他の例として、プロセッサ118は、外部デバイスに経由地及び類似環境の走行情報を要求して、受信した走行情報に基づいて、経由地の走行情報を生成することができるかを決定することができる。移動体100は、サーバー200、ITSデバイス202、他の移動体によるV2X(vehicle to everything)を通じて、走行情報を受信することができる。
【0143】
別の例として、プロセッサ118は、サーバー200に経由地の走行情報の生成を要求し、走行情報をサーバー200から取得することができるかを確認することで、走行情報が生成されるか否かを決定することができる。
【0144】
上述した例で、移動体100の走行、駐車、停車、経由、充電等の挙動が可能であるように、走行データは、ラスター(raster)、ベクトル(vector)、特徴(feature)、テンソル(tensor)などの形式でフォーマット(format)が変換されて提供できる。
【0145】
もし走行情報が生成できれば、プロセッサ118は、走行情報を生成又は取得し(S430)、走行情報に基づいて経由地に関連する走行を実行するように移動体100を制御することができる(S420)。
【0146】
もし走行情報が生成できなければ、プロセッサ118は、全域的及び地域的経路情報を再生成することができる。一例として、プロセッサ118は、経由地を除く経路に経路情報を再設定することができる。他の例として、プロセッサ118は、経由地を経路として含むが、駐車制御に関連する走行制御を手動運転に切り替えることができる。
【0147】
図8は、本開示の別の実施形態における制約情報に基づく自律走行制御方法を示すフローチャートである。
【0148】
まず、移動体100のプロセッサ118は、上述した例と同様に、経路要求を受信し、連関情報を取得し、初期の経路情報を生成することができる(S505)。
【0149】
本開示では、経路要求情報、移動体情報、制約情報、道路情報、移動体状態情報に応じて、初期の経路情報、すなわち、初期全域的経路情報及び初期地域的経路情報が生成されることを例示している。
【0150】
プロセッサ118は、
図7のステップS415、ステップS425及びステップS430と同様に、走行情報を確保することができるか否かを決定することができる(S510)。
【0151】
走行情報が確保されると、プロセッサ118は、走行情報が安全運行モデルによる安全度を保障するか否かを決定することができる(S515)。
【0152】
安全運行モデルは、経路に対する自律走行が適用される場合、移動体100が遵守すべき規制と認証、移動体100が参照すべき過去事故情報と事故責任情報、経路上の道路環境、緊急状況の対処情報に基づいて樹立されたモデルであり得る。
【0153】
例えば、認証に関連して、移動体100の種類、製造社、モデル及び搭乗者ごとに安全性に対する等級が異なるように設定できる。また、安全性の認証は、定型化区間及び非定型化区間で互いに異なることができる。非定型化区間は、例えば、子供保護区域、非舗装道路などである。認証は、標準認証機関で安全性が保障されたシナリオを含むことができる。危険度の高い地域に対して標準化された認証体系が設けられ、認証は、前記体系で要求する事項であり得る。
【0154】
過去事故情報は、例えば、経路における移動体100と同一又は類似する移動体100の実際事故、事故による被害範囲、特定地点での事故確率などを含むことができる。事故責任情報は、経路上の事故による責任、責任範囲などを含むことができる。
【0155】
緊急状況の対処情報は、例えば、自律走行を実現する移動体100の走行制御に影響を及ぼすセンサー部102及びコンポーネント部110の故障状況、又は経路上の災害、事故による非常状況に対応する緊急シナリオを含むことができる。故障状況に対応する緊急シナリオは、例えば、駐・停車地域、遠隔支援地域に関連する情報を含むことができる。
【0156】
もし、走行情報の安全度が保障されると、プロセッサ118は、初期の経路情報に関する安全運行モデル、走行データに基づいて走行ソフトウェアを学習させ、最終経路情報を生成することができる(S520)。
【0157】
走行ソフトウェアは、例えば、自律走行による規制違反可能性、事故確率、責任範囲の不明確性を最小限に抑えて安全性を確保するように処理できる。走行ソフトウェアの処理は、ステップS510のソフトウェアに対する更新、再学習又は修正であり得る。
【0158】
走行ソフトウェアは、認証に関連する情報に基づいて処理できる。認証連関情報は、上述したように、移動体情報及び搭乗者による安全性等級、高い危険度の地域に適用される認証体系、標準認証機関のシナリオなどを含むことができる。
【0159】
移動体100が安全運行モデルで指定された地点を走行する場合、走行データは、外部デバイスとのV2Xを介してリアルタイムで取得され、走行ソフトウェアは、取得された走行データを反映して処理することができる。これは、走行データが低仕様の観測センサー、所定基準以下の精度を有するか、或いはセンシング死角地帯のオブジェクトが認識されない場合に有用である。
【0160】
緊急状況が発生する場合、移動体100は、安全運行モデルの緊急シナリオ及び走行情報に応じて、安全度が強化された経路を設定することができる。
【0161】
もし、ステップS510又はS515で、走行情報が確保されないか、或いは安全度が保障されなければ、プロセッサ118は、経路上の特定の地点で運行制御権を自律走行から手動運転に切り替えて、手動介入が適用されるか否かを決定することができる(S525)。
【0162】
手動介入が適用されれば、プロセッサ118は、経路提供部108を介して、特定の地点で最高の安全度が保障されると推論される経路を提供することができる。
【0163】
手動介入が適用されなければ、プロセッサ118は、経路要求情報、移動体情報、制約情報、道路情報、移動体状態情報に応じて、初期の経路情報を変更することにより、経路情報を再設定することができる。
【0164】
経路情報は、例えば、全域的経路情報であってもよく、安全度が保障されていない特定の地点を迂回する経路と設定できる。
【0165】
上述した開示の追加実施形態として、連関情報が制約情報の他にも、他の情報をさらに含む実施形態について説明する。他の情報は、例えば、大型商用車両、車両用途、走行目的に関連する移動体情報、交通状況を含むイベント情報、道路情報、積載物情報を含む移動体状態情報及び観測情報を含むことができる。
【0166】
大型商用車両は、走行経路及び自律走行のための走行情報において、乗用車とは異なる。
図8に示すように、車両のサイズ、積載重量、規制、認証、道路状態、工事・事故地域等によって、大型商用車両に要求される規制及び安全度を満たすために、走行情報が設けられる必要がある。具体的には、走行データは、重量制限のある道路区間、及び時間帯、交通状況別に走行が不可能な道路区間を含むことができる。走行ソフトウェアは、上述した例示による走行データをさらに考慮して処理され、これにより最終経路情報が生成できる。
【0167】
また、特定地点の地域的経路情報の生成の場合、経路情報は、例えば車線単位で設定された経路で構成できる。大型商用車両の車線変更又はカーブ走行のための走行制御の場合、走行データは、例えば車線の数、交通状況に応じて利用可能な車線区間情報を含むことができる。交通状況は、例えば、時間帯別該当道路の渋滞、車両周辺の他の車両の移動軌跡、走行不可能な車線、車線の減少による車線現況などである。
【0168】
例えば、大型商用車両と小型車両が交差路の車線に平行に停止して左折する場合、走行データは、利用可能車線、大型商用車両のカーブ半径、小型車両の予想移動軌跡、反対側道路の車両の予想移動軌跡、同時左折による死角地帯範囲などを含むことができる。走行ソフトウェアは、上述した例示のデータに基づいて、大型車両の走行制御を処理することができる。例示的に、小型車両よりも大きいカーブ半径を有する大型車両が中央線を基準に小型車両よりも外側車線に停止することができる。また、交差路に位置する他の車両が小型及び大型車両をすべて認知することができるように、大型車両が小型車両に追従して左折できる。
【0169】
図9は、異種の地図データに基づく経路情報の生成過程を示すフローチャートである。本開示による過程は、移動体100及びサーバー200の少なくとも1つによって行われることができる。移動体100が本開示の過程を処理する場合、前記過程は、経路提供部108、連関情報管理部106、メモリー116及びプロセッサ118によって行われることができる。
【0170】
まず、
図4と同様に、候補経路情報が経路要求情報及び連関情報に基づいて生成できる(S605)。
【0171】
候補経路情報は、全域的経路情報であってもよく、道路基盤の経路情報であってもよい。候補経路情報は、初期の経路情報であり、連関情報に含まれる地図情報、又は走行データとして活用する地図情報に基づいて生成できる。地図情報は、道路ネットワークに基づく地図及び車線(lane)ネットワークに基づく地図を備えることができる。本例示では、初期の候補経路情報が道路ネットワークに基づく地図に基づいて生成できる。以下では、記載の便宜のため、道路ネットワーク基盤の地図及び車線ネットワーク基盤の地図は、それぞれ道路地図及び車線地図と略称できる。
【0172】
次に、車線ネットワークの車線ノードが道路ネットワークの道路ノード位置に基づいて検索できる(S610)。その後、連結ノード(node)が道路ノードと車線ノードとの連結(link)関係の類似性に基づいて検索できる(S615)。次いで、道路ネットワークと車線ネットワークとの連結関係が、前記検索された連結ノードに基づいて定義できる(S620)。
【0173】
ステップS610以降の過程は、移動体100の自律走行及び地域的経路に対する計画を樹立するために伴われることができる。通常の経路案内ナビゲーション(navigation)サービスは、全域経路情報であって、道路ネットワークに基づいて行われることができる。自律走行の場合、距離、時間、金額を経路上で最小化するコスト(cost)-最適化モデルが適用され、走行制御の計画が車線単位で定義された精密地図に基づいて樹立できる。したがって、通常のナビゲーション機能と自律走行機能とを連動させるために、データ及び/又はソフトウェア間の連係が要求される。
【0174】
図10~
図14を参照して、ステップS610~S620の過程について詳細に説明する。
図10~
図14は、
図9において異種の地図データに基づいて連結ノードを生成するか、或いは連結ノードによる連結関係を定義することを例示した図である。上記の過程は、道路地図と車線地図とのデータを連係するために、両データ間の基準として採用するベクトル形式のデータを用いることができる。ベクトル形式のデータは、点状のノード情報、線状のリンク情報、面状のポリゴン(polygon)を含むことができる。
【0175】
道路地図及び車線地図は、
図10に示すように、異種の地図データであって、互いに異なる表現方式を有することができる。道路地図は、例えば道路ネットワーク402を表し、車線地図は、当該道路の車線404、車線ネットワーク406、及び車線ネットワーク406上の車線ノード408を表すことができる。
【0176】
車線ノード408は、
図10に示すように、道路ネットワーク402の特定の道路ノードの周辺に位置した車線ネットワーク406に基づいて検索できる。
【0177】
道路地図及び車線地図は、ノード単位の決定方式によって異なる。前記ノード単位は、停止線、道路上の分岐及び合流地点、Uターン地点、交差路、道路種別修正地点、トールゲート等における車線の数、道路形態(形状、曲率、種類、傾斜)等によって決定できる。ノード基盤の整合の場合、両地図間の連結されるノードは、ノードとノードとを連結する位相関係における情報を用いて検索できる。例えば、前記情報は、前記位相関係における位置、形状、属性及び連結のうちの少なくとも1つを含むことができる。連結されるノードが存在しない場合、追加のノードが道路地図上に任意に付与され、両地図間の連結情報を構成することにより、両地図の表現方式間で連結情報が管理できる。
図10に示すように、車線ノード408は車路分岐として定義されるが、道路地図の分岐は存在しなくて連結関係が定義されないとき、連結関係を定義するために、道路ネットワーク上に任意のノード410が生成できる。
【0178】
図11に示すように、位置基盤の連結方式は、位置値基盤の検索範囲に存在する道路地図の基準ノード414に隣接する車線ノード408を検索することにより、検索範囲で基準ノード414とマッチングされる車線ノード416と決定することができる。検索範囲は、例えば、移動体100の走行位置、移動体100、及び周辺移動体に搭載された観測センサーの観測範囲などに基づいて設定できる。隣接する車線ノード408は、例えばKNN技法で検索できる。検索された車線ノード416は、位置座標を基準に検索されたノードであり得る。
【0179】
図12に示すように、基準ノード414に隣接する車線ノード408が、道路及び車線の進行方向、進行方向に沿って連結されたノード、Uターン位置に基づいて、検索範囲412内の車線ノード418と検索できる。検索された車線ノード418は、位置座標、位相、属性を基準に検索されたノードであり得る。
図12で検索された他の車線ノード416は、
図11の方式と同様の方式で検索されたノードであり得る。
【0180】
一方、道路地図及び車線地図は、ノード分割地点に登録されるノードの数が異なるので、1:1、1:M、N:1、N:Mなどの様々な連結関係を有することができる。ノード分割地点は、例えば、道路又は車線の分岐、合流、交差、回転などが発生する地点である。
【0181】
異種地図間で基準となるノード間の連結関係を定義するとき、両ノードのデータは、1:1の連結関係で関連することができる。1:Nの連結関係を決定する場合、ノード間の連結情報は、資料型(例えば、num、stringなど)に対する配列形態で連結関係を定義することができる。1:Nの連結関係を決定する他の例として、連結関係が1:1の関係で定義され、基準ノードと連結位相情報が両地図のうちの少なくとも1つに追加的に付与され、順次検索可能なフォーマットが定義され得る。
【0182】
道路地図の道路ノードA1(420)と車線ノードB1~B3(408)との連結関係の生成の場合、
図13に示すように、A1との連結関係は、[B1、B2、B3]のようにストリング(string)資料型に対する配列形態で定義できる。また、
図14に示すように、A1とB1との連結関係が定義され、A1(420)とB1、B2、B3(408)との連結関係は、車線ネットワーク406上に定義されたB1-B2-B3間の連結関係に基づいて類推できる。
【0183】
N:Mの関係に関する位相関係を定義する場合、相互配列形態の参照値が設定されて連結できる。他の例として、基準ノード間の1:1連結が各地図の内部連結関係に拡張し、順次接近が可能なフォーマットが定義されることができる。
【0184】
次に、車線単位の経路情報が両ネットワーク間の連結関係に基づいて生成できるかを決定することができる(S625)。
【0185】
再び
図9を参照すると、車線単位の経路情報が生成できれば、追加道路ノードが道路ネットワークに生成できる(S630)。
【0186】
車線単位の経路情報は、検索された車線ノード及び車線リンクが候補経路情報の道路ノード及び道路リンクと所定の隣接度によってマッチングされることにより生成されるものと決定できる。検索された車線ノードは、道路ネットワークに追加道路ノードとして生成できる。
【0187】
上述したステップS605~S635は、
図4のS110及びS115の詳細過程を構成することができる。
【0188】
続いて、両ネットワーク間の定義された連結関係を用いて、車線ネットワーク及び車線ノードがステップS605の候補経路情報から検索され、候補経路情報上に登録できる(S635)。
【0189】
次に、
図4と同様の方式を用いて、候補経路情報に関連する走行ソフトウェアが検索できる(S640)。ステップS640は、
図4のステップS120に相応する過程であり得る。
【0190】
走行ソフトウェアは、候補経路情報及び連関情報に関連する走行データ及び初期の変換された地図データに基づいて検索できる。
【0191】
移動体100が前記情報に符合する走行ソフトウェアを保有しない場合、移動体100は、例えば周辺車両、信号体系、路側機(RSU:Road Side Unit)、管制センター等の外部デバイスから取得した走行データ、及び移動体100で走行状況を仮想化(simulated)して生成した仮想走行データのうちの少なくとも一つによって走行ソフトウェアを生成することができる。具体的には、移動体100は、外部の走行データ及び仮想走行データのうちの少なくとも1つの入力データを用いて、保有している走行ソフトウェアを更新又は修正することができる。
【0192】
更新又は修正の処理を例示すると、走行ソフトウェアは、前記入力データの直接利用に基づいて更新又は修正できる。他の例示として、走行ソフトウェアは、前記入力データの分析によって導出された特定のデータに基づいて更新又は修正できる。別の例示として、走行ソフトウェアは、前記入力データの一部に基づいて1次的に更新又は修正され、1次的に処理された走行ソフトウェアは、前記入力データの他の一部に基づいて2次的に更新又は修正できる。
【0193】
他の例として、移動体100は、サーバー200に要求し、前記情報に符合する走行ソフトウェアを取得することができる。
【0194】
次に、地図情報に含まれている地図データは、走行ソフトウェアの利用に符合するように変換できる(S645)。
【0195】
地図情報は、道路ネットワーク及び車線ネットワークに関連するデータを含み、前記定義された連結関係に含まれているノード、リンクなどをさらに含むことができる。地図データは、使用目的に応じてラスター(raster)形式又はベクトル形式で表現できる。異種データ間のフォーマットは、予想される走行ソフトウェアに応じて変換できる。
【0196】
ベクトルデータがラスター形式に変換されるとき、マルチレイヤー(layer)の地図データは、格子(gird)などの特定の位置単位のフレーム(frame)によって生成され、最近接、内挿又は外挿されたデータがフレームに付与できる。したがって、多次元のラスターデータフォーマットが生成できる。多次元のデータは、コンボリューション(convolution)などのカーネル(kernel)を介して変換され、走行軌跡と共に融合して分析できる。これにより、移動体100及び周辺オブジェクトの動き予測が分析されるか、或いは地域的経路計画が樹立され得る。また、多次元のラスターデータは、多重レイヤーのベクトル形式のデータに変換でき、変換された相互レイヤーのデータは、定義された位相関係で連結されて分析できる。
【0197】
次に、
図4と同様の方式を用いて、走行ソフトウェアが候補経路情報及び連関情報に関連する走行データ及び初期の変換された地図データに基づいて検索され、少なくとも1つの設定経路を出力することができる。次いで、出力された設定経路に対する性能評価が行われることができる(S650)。
【0198】
図15に示すように、多次元データに属する地図データ、センサーデータ、走行データが融合して分析されることにより、複数の設定経路別信頼度が推定できる。
【0199】
併せて、移動体100周辺の移動体100の移動は、観測センサーのセンサーデータを分析して解釈されることにより把握できる。この時、走行データ、例えば、道路情報、観測情報、地図情報は融合して分析されることにより、設定経路が生成できる。
【0200】
多重データ間の融合は、走行ソフトウェアの構成に応じて様々な方式で処理できる。例えば、初期段階でデータ間の融合プロセスが行われ、融合したデータが解釈できる。他の例として、各データ別に分析された結果値が融合して解釈できる。別の例として、データが上述した例の中間段階で融合解釈されるか、或いは各データの分析による中間結果値が前記分析にフィードバックされ、相互影響関係が再解釈できる。
【0201】
多重レイヤーデータは、移動体100の経路軌跡と共に連結性を有することができる。
図16に示すように、地図データに属する静的(static)、準静的(semi-static)、準動的(semi-dynamic)情報は、時間及び空間同期化を介して、動的(dynamic)情報と連係できる。前記情報は、走行ソフトウェアの入力データとして使用できる。静的、準静的、準動的情報は、外部デバイスで収集されるデータを受信することにより取得されてもよい。また、動的情報及び準動的情報は、当該予測モデルを介して移動体及び周辺オブジェクトの挙動を予測して走行シナリオを生成し、走行シナリオは、走行ソフトウェアに入力データとして利用可能である。
【0202】
次に、最適な性能評価を示す設定経路が最適な経路情報として設定できる(S655)。
【0203】
最適な最終経路情報を設定するのに使用された走行ソフトウェアは、追って取得される走行データ及び観測情報に基づいて更新又は修正できる。
【0204】
図17は、走行シナリオに基づいて走行情報を検索する過程の概念図である。本開示は、
図4で説明した走行シナリオに基づく走行情報を検索し処理することを例示している。
【0205】
走行シナリオは、
図4の経路情報及び連関情報に基づいて生成できる。走行シナリオから抽出されるシナリオデータと既存の走行情報との類似性が分析されることにより、走行情報が検索できる。シナリオデータは、例えば、予想交通状況、走行環境、移動体状態などを含むことができる。具体的には、シナリオデータは、道路の形状、種類を含む道路特性、時間別交通状況、動的オブジェクトの移動パターン、搭乗者の使用パターンに応じて手動又は自動で入力された情報などであり得る。シナリオデータは、上述の例に関連するキーワード、コンテキスト、観測情報、空間情報などを含むことができる。
【0206】
メタデータは、経路情報、走行シナリオ及び連関情報から抽出され、移動体100及びサーバー200のうちの少なくとも1つに保有されている関連走行情報を検索するのに利用できる。また、データ幾何及び空間情報は、既に蓄積された連関情報及び走行データに基づいて分析されて当該結果値が管理できる。走行制御のための上述した情報、シナリオ及び当該結果値の整合及び分析によって、走行情報が検索できる。
【0207】
一方、移動体100及びサーバー200は、走行制御に適用された走行情報を蓄積し、走行情報に関連する付加情報を生成することができる。サーバー200は、他の移動体の走行情報を蓄積することができる。付加情報は、例えば、メタデータ、特徴情報、記述子(descriptor)情報及び空間情報のうちの少なくとも1つを含むことができる。移動体100及びサーバー200は、互いに異なるスキーマを有する付加情報を生成することができる。移動体100及びサーバー200において類似性を有する付加情報は、既存の走行経路の当該位置又は形状に連係されて管理できる。
【0208】
例えば、走行情報及び付加情報は、道路又は車線の形状、位置に応じてホットスポット(hot spot)の形態で管理できる。特定の位置からの物理的距離は、上述した走行情報の類似性分析に対する重み(weight)として使用できる。併せて、移動体100の経路に関連して既に蓄積されている特定の地域で、走行シナリオは現在の走行シナリオとして活用できる。
【0209】
例えば、走行データは、特定時間帯の予想交通渋滞状況が空間情報を仮想化したデータであり、経路設定の情報として使用できる。空間情報は、所定の方式による領域に区分され、既に蓄積された走行シナリオによる走行情報が各領域に蓄積されて記録できる。また、走行情報の安全度及び自律走行性能が各領域に蓄積され、最適経路の判断指標として提示できる。前記領域は、例えば、特定の格子、多角形、道路又は車線単位の点、線、面であり得る。蓄積された走行データは、既に使用された走行ソフトウェアを更新することができる。
【0210】
一方、走行情報は、定義されたメタデータ又は類似性分析を結果として階層化して保存できる。また、経路上に予想される走行情報及び関連収集データはリスト化して分類できる。前記分類された情報及びデータは、地図情報の精密地図情報で仮想化されて生成できる。精密地図情報は、既に蓄積された様々な情報、例えば、静的オブジェクト情報、動的オブジェクトの経路とこれらの間の相互連結情報、道路情報、イベント情報などを含むことができる。このようなデータは、走行データとして活用できる。
【0211】
既存の経路で適用された走行情報が付加情報として定義されるのに制限がある場合、当該走行情報は、他の情報に比べて低い優先順位に設定できる。また、他の走行情報よりも低い或いは基準値よりも低いユーザー経験を有する走行情報は、他の情報に比べて低い優先順位に設定できる。ユーザー経験が低い場合は、優先順位を低く設定することができる。ユーザー経験の評価は、搭乗者の走行及びこれに類似した走行を行った移動体100の評価及びユーザーの満足評価を分析することにより行われることができる。同一又は類似する走行に対するユーザー経験の評価は、群集化されて分析できる。
【0212】
図18は、収集データを取得するセンサーと走行情報との最適化組み合わせを決定する過程を示すフローチャートである。
【0213】
まず、移動体100のプロセッサ118は、
図4と同様の方式で、経路情報を生成することができる(S705)。
【0214】
次に、プロセッサ118は、経路情報を介して使用を予想するセンサー部102のセンサー及び走行情報を探索することができる(S710)。
【0215】
例えば、移動体100の観測センサーは、複数のセンサーを用いることができる。センサーの使用状態、性能、交通状況、周辺状況、気象状態、時間などに基づいて複数のセンサーのうちの少なくとも一部を使用することができる。他の例として、使用されるセンサーのうちの一部は最小限に利用されるように、センサーが探索できる。
【0216】
走行情報に属する走行ソフトウェアも、上記に列挙した事項及び使用されるセンサーに基づいて探索できる。
【0217】
次に、プロセッサ118は、探索されたセンサー及び走行情報に基づいて走行制御の安全度が保障されるかを決定するとともに、走行情報の取得に使用されるセンサー及び走行情報に割り当てられる資源が支援されるかを決定することができる(S715)。
【0218】
例えば、特定のセンサーの依存度を下げ、下げた依存度に応じた走行ソフトウェアを選択した組み合わせが安全度及び資源支援を全て満たすかを決定することができる。
【0219】
次に、プロセッサ118は、安全度及び資源が支持されるセンサー及び走行情報の複数の組み合わせのうち、最適な基準値を満たす前記組み合わせを決定することができる(S720)。
【0220】
GNSSなどの測位センサー102aは、映像センサー102b及びライダーセンサー102cに比べて低いエネルギーを消費し、測位センサー102aのデータは、他のセンサーに比べて低いコンピューティング資源を使用することができる。高速道路を利用した経路の場合、測位センサー102aは容易に受信されるとともに、高い測位精度を確保するので、映像及びライダー基盤の測位機能は最小化又は排除されるように、前記組み合わせが決定できる。
【0221】
交通渋滞、事故、工事等の交通状況がある場合、走行ソフトウェアは、C-ITSインフラ環境(ITSデバイス202の提供環境)に応じて選択できる。渋滞及び信号灯情報がC-ITSインフラから収集される場合、当該情報を認識するための映像センサー102bの依存度は下げることができる。C-ITSインフラから受信された現在信号灯状態、信号変更時点、信号灯と経路との連結関係が分析されることにより、映像センサー102bのデータから信号灯関連情報を処理する走行ソフトウェアの依存度を下げることができる。また、渋滞状況で移動体100及び周辺動的オブジェクトの位置/状態変化が相対的に低いので、センサーデータの処理頻度数が調整できる。走行ソフトウェアは、時間、気象、トンネル空間などの走行環境によって影響を受ける観測センサーの性能に応じて選択できる。
【0222】
前記組み合わせが決定された後、移動体100が保有する走行ソフトウェアは、最適基準値を満たす走行データ及びセンサー関連データに基づいて再学習できる。
【0223】
もし安全度及び資源のうちの少なくとも1つが支持されなければ、プロセッサ118は、他のセンサー及び他の走行情報を再探索し、ステップS715及びS720を再び行うことができる。
【0224】
前述した本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要に応じて、それぞれのステップが同時に又は異なる順に行われてもよい。本開示による方法を実現するために、例示するステップにさらに他のステップを含んでもよく、一部のステップを除いて残りのステップを含んでもよく、或いは一部のステップを除いて追加的な他のステップを含んでもよい。
【0225】
本開示の様々な実施形態は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な様相を説明するためのものであり、様々な実施形態で説明する事項は、独立して適用されてもよく、2つ以上の組み合わせで適用されてもよい。
【0226】
また、本開示の様々な実施形態は、ハードウェア、ファームウェア(firmware)、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、1つ又はそれ以上のASICs(Application Specific Integrated Circuits)、DSPs(Digital Signal Processors)、DSPDs(Digital Signal Processing Devices)、PLDs(Programmable Logic Devices)、FPGAs(Field Programmable Gate Arrays)、汎用プロセッサ(general processor)、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
【0227】
本開示の範囲は、様々な実施形態の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン実行可能な命令(例えば、オペレーティングシステム、アプリケーション、ファームウェア(firmware)、プログラムなど)、及びこのようなソフトウェア又は命令などが保存されて装置又はコンピュータ上で実行可能な非一時的コンピュータ可読媒体(non-transitory computer-readable medium)を含む。
【手続補正書】
【提出日】2024-01-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
経路案内と連動した自律走行ソフトウェアの検索及び学習による自律走行制御方法であって、
移動体の経路要求及び該経路要求に応じた連関情報に基づいて経路情報を生成するステップと、
前記経路情報及び前記連関情報に基づいて、経路及び運行制御のための自律走行認知、判断及び制御に関連する走行データ及び走行ソフトウェアを含む走行情報を検索して選択するステップと、
前記経路要求、前記連関情報及び前記走行データを用いて前記走行ソフトウェアを学習するステップと、
前記走行情報を前記移動体に配布し、前記走行情報に基づいて前記移動体の走行制御を実行するステップと、を含み、
前記走行情報の検索は、前記移動体が前記経路情報及び前記連関情報に符合する走行ソフトウェアを保有しない場合、外部デバイスから取得した走行データ、及び前記移動体で走行状況を仮想化して生成した仮想走行データのうちの少なくとも一つの入力データを用いて、前記移動体が保有する走行ソフトウェアを更新又は修正することをさらに含む、自律走行制御方法。
【請求項2】
前記連関情報は、経路要求情報、前記移動体のユーザー情報、前記ユーザーの移動体に対するパターン情報、移動体情報、移動体状態情報、観測情報、イベント情報、道路情報、地図情報、経由地情報又は制約情報のうちの少なくとも一つを含む、請求項1に記載の自律走行制御方法。
【請求項3】
前記走行情報の検索は、前記走行情報が前記移動体に存在しない場合、外部デバイスの前記走行情報を検索して選択することを含む、請求項1に記載の自律走行制御方法。
【請求項4】
前記走行情報の検索は、前記経路情報、前記連関情報、前記走行データ及び前記走行ソフトウェアから導出される付加情報間の類似性を利用し、前記付加情報は、メタデータ、映像データ、データ幾何又は空間データのうちの少なくとも1つを含む、請求項1に記載の自律走行制御方法。
【請求項5】
前記走行情報を検索して選択するステップは、
前記付加情報の目標データに対する定義が推論されない場合、前記走行データ、前記走行ソフトウェア、前記目標データに対する群集化処理を介して類似メタデータを抽出するステップと、
前記抽出された類似メタデータに基づいて類似走行情報を検索するステップと、をさらに含む、請求項4に記載の自律走行制御方法。
【請求項6】
前記走行情報を検索して選択するステップは、前記走行データ及び前記走行ソフトウェアが安全運行モデルによる安全度を保障するか否かを決定することをさらに含み、
前記安全度が保障されない場合、前記移動体の運行制御権の手動介入を許容するか否かを決定するステップと、
前記手動介入が許容されない場合、前記移動体の経路情報を再設定するステップと、をさらに含む、請求項1に記載の自律走行制御方法。
【請求項7】
前記経路情報を生成するステップは、
道路地図基盤の候補経路情報を生成するステップと、
道路地図の道路ネットワーク、道路ノード、及び前記道路地図よりも精密な車線地図の車線ネットワーク、車線ノードに基づいて、前記道路ネットワークと前記車線ネットワーク間の連結関係を定義するステップと、
車線単位の経路情報が生成可能である場合、前記連結関係及び前記車線ノードに基づいて、前記道路ネットワークに追加ノードを生成するステップと、
前記連結関係を用いて、前記候補経路情報上に前記車線ネットワーク、前記車線ノードを登録するステップと、を含み、
前記走行情報を検索して選択するステップは、前記候補経路情報に関連する前記走行ソフトウェアを検索することを含み、
前記移動体の走行制御を実行するステップは、前記車線ネットワークと前記車線ノードが登録された前記候補経路情報に基づく前記走行ソフトウェアによって複数の設定経路を生成し、設定経路の性能評価を介して決定された経路情報を最終経路情報として設定し、前記最終経路情報に基づいて前記移動体を制御することを含む、請求項1に記載の自律走行制御方法。
【請求項8】
前記走行情報を検索して選択するステップの前に、前記経路情報及び前記連関情報に基づいて前記移動体の現在走行シナリオを生成するステップをさらに含み、
前記走行情報の検索は、前記現在走行シナリオに基づいて検索されることをさらに含む、請求項1に記載の自律走行制御方法。
【請求項9】
前記走行シナリオは、前記移動体及び他の移動体の過去走行に関連して蓄積され、
前記走行情報の検索は、前記蓄積された過去の走行シナリオは前記現在走行シナリオから推定される経路の位置に基づいて加重処理され、前記加重処理された過去の走行シナリオに基づいて前記走行情報を検索することを含む、請求項8に記載の自律走行制御方法。
【請求項10】
前記走行ソフトウェアの更新又は修正は、
前記入力データの直接利用に基づいて前記走行ソフトウェアを更新又は修正する処理、前記入力データの分析によって導出された特定のデータに基づいて前記走行ソフトウェアを更新又は修正する処理、及び前記入力データの一部に基づいて前記走行ソフトウェアを1次的に更新又は修正するとともに、前記入力データの他の一部に基づいて、前記1次的に更新又は修正された走行ソフトウェアを2次的に更新又は修正する処理のうちのいずれかによって行われる、請求項1に記載の自律走行制御方法。
【請求項11】
前記走行情報を検索して選択するステップは、
前記経路情報の経路で使用を予想するセンサー及び走行情報を探索するステップと、
前記探索されたセンサー及び走行情報を用いる場合、安全度保障及び資源支援が可能であるか否かを決定するステップと、
前記安全度保障及び前記資源支援が可能である場合、交通状況、周辺状況、時間、気象状態に基づいて、前記センサー及び前記走行情報の最適組み合わせを決定するステップと、を含む、請求項1に記載の自律走行制御方法。
【請求項12】
経路案内と連動した自律走行ソフトウェアの検索及び学習による自律走行制御装置であって、
少なくとも1つのインストラクションを保存するメモリーと、
前記メモリーに保存された前記少なくとも1つのインストラクションを実行するプロセッサと、を含み、
前記プロセッサは、
移動体の経路要求及び該経路要求に応じた連関情報に基づいて経路情報を生成し、
前記経路情報に基づいて、経路及び運行制御のための自律走行認知、判断及び制御に関連する走行データ及び走行ソフトウェアを含む走行情報を検索して選択し、
前記経路要求、前記連関情報及び前記走行データを用いて前記走行ソフトウェアを学習し、
前記走行情報を前記移動体に配布し、前記走行情報に基づいて前記移動体の走行制御を実行するように構成され、
前記走行情報の検索は、前記移動体が前記経路情報及び前記連関情報に符合する走行ソフトウェアを保有しない場合、外部デバイスから取得した走行データ、及び前記移動体で走行状況を仮想化して生成した仮想走行データのうちの少なくとも一つの入力データを用いて、前記移動体が保有する走行ソフトウェアを更新又は修正することをさらに含む、自律走行制御装置。