特開 2024-28097 高度強化学習に基づく学習主体の自律的意思決定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024028097

(43)【公開日】2024-03-01

(54)【発明の名称】高度強化学習に基づく学習主体の自律的意思決定方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240222BHJP

   G08G 1/01 20060101ALI20240222BHJP

【ＦＩ】

G08G1/16 D

G08G1/01 D

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023051884

(22)【出願日】2023-03-28

(31)【優先権主張番号】202210992167.5

(32)【優先日】2022-08-18

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】522481248

【氏名又は名称】浙江工商大学

【氏名又は名称原語表記】ＺＨＥＪＩＡＮＧ ＧＯＮＧＳＨＡＮＧ ＵＮＩＶＥＲＳＩＴＹ

【住所又は居所原語表記】Ｎｏ．１８， Ｘｕｅｚｈｅｎｇ Ｓｔｒ． Ｘｉａｓｈａ Ｕｎｉｖｅｒｓｉｔｙ Ｔｏｗｎ Ｈａｎｇｚｈｏｕ， Ｚｈｅｊｉａｎｇ ３１００１８， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100088063

【弁理士】

【氏名又は名称】坪内 康治

(72)【発明者】

【氏名】劉東昇

(72)【発明者】

【氏名】劉彦▲に▼

(72)【発明者】

【氏名】王黎明

(72)【発明者】

【氏名】陳亜輝

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB20

5H181CC04

5H181DD07

5H181DD10

5H181LL01

5H181LL02

5H181LL04

5H181LL15

(57)【要約】      （修正有）

【課題】本発明は、高度強化学習に基づくエージェント自律意思決定技術の分野に関し、禁止標識状態にある交差点について基礎的なデータ取得を行うことにより、すべての比較対象の車のナンバー、右折時間、車両標識を得ることを目的とする。
【解決手段】比較対象はT1時間後に自動的に削除される。その後、すべての潜在的な対象に対して初期スクリーニングを行い、実際の対象の車のナンバー、進入時間及び車両標識と、比較対象の車のナンバー、右折時間及び車両標識との間の比較に基づいて、すべての初期疑わしい対象及びそれに対応する間隔時間を確定する。初疑対象に対して再度二次審査を行い、二次審査を通じて違反対象を確定し、法執行部門の処理を容易にし、現有技術においてこの問題に対して処理できず、安全上のリスクをもたらす問題を解決する。
【選択図】図１

【特許請求の範囲】

【請求項1】

高度強化学習に基づくエージェントの自律的意思決定方法であって、以下の手順を有することを特徴とする。
ステップ1：禁止状態にある交差点に対して基礎データ取得を行う：
対象物が指示した交差点で禁止標識状態にあるすべての右折車両画像を取得し、比較対象とする、
すべての比較対象の車のナンバー、右折時間、車両の標識を同期して自動的に取得する、比較対象はT1時間後に自動的に削除される；

【請求項2】

請求項１記載の方法において、ステップ１に続き、
ステップ2：その後、すべての潜在的対象に対して初期スクリーニングを行い、実際の対象のナンバープレート番号、進入時間及び車両標識と、比較対象のナンバープレート番号、右折時間及び車両標識との比較に基づき、すべての初期疑義対象及びその対応するインターバル時間を確定する。

【請求項3】

請求項２記載の方法において、ステップ２に続き、
ステップ3：疑わしい対象に対して二次審査を行う。二次審査の具体的な方式は次のとおりである：
S1：すべての疑義対象とそれに対応するインターバル時間を取得する；
S2：その後、初疑対象の右折進入対象の指示道路である曲がり先道路を取得し、曲がり先道路は初疑対象が右折進入対象の位置していた道路であり、曲がり先道路の対象車線を取得し、これを差し込み車線としてマークする；
S3：標識対象指令道路の右カーブが車線を差し込んだ交差点位置に入り、車線を差し込んだUターン地点の位置に到達するまでの距離を取得し、この距離をUターン距離としてマークし、Uターン地点は、車両がその地点でUターンできることを示す；
S4：その後、Uターン地点から曲がる前の道路から基準を満たした対象指令道路までの距離を取得し、その距離をゲージ内距離としてマークする；
S5：車線を差し込んだ速度制限値1を取得し、Uターン距離を速度制限値1で除してUターンシートを得た場合；
その後、曲がる前の道路の速度制限値2を取得し、ゲージ内距離をこの速度制限値2で割ってUターン2を求める、Uターン単時にUターン2時を加えて、短限消費時間を得る;
S6：インターバル時間が短い時間を超える初疑対象を投機対象としてマークする；
S7：投機対象をすべて得る。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自律的意思決定技術の分野に属し、具体的には、高度な強化学習に基づくエージェントの自律的意思決定方法である。

【背景技術】

【0002】

特許番号CN111833597Aの特許は、計画制御を有する交通状況における自主的な意思決定を開示している。自律移動体の交通シーンにおける運転決定を生成するための制御装置を提案する。制御装置は、訓練された自己学習モデルを含む第1のモジュールを含み、この第1のモジュールは、自律移動体の周囲の環境に関する情報を含むデータを受信し、訓練された自己学習モデルを用いて、受信したデータに基づいて自律移動体によって実行されるべきアクションを決定するように構成されている。制御装置は、第2モジュールを含む。第2のモジュールは、決定された動作を受信するように構成され、限られた時間範囲の間の自律移動体の周囲環境に関する情報を含むデータを受信する。限定された時間範囲の第1の期間の環境状態を予測し、受信された限定された時間範囲の動作および第1の期間の環境状態に基づいて自律移動体の軌跡を決定し、決定された軌跡に従って第1の期間の間自律移動体を制御するために信号を送信する。

【0003】

しかし、この特許については、交通シーンに合わせた自主的な意思決定、重要な部分が欠けています、現在の道路状況を走行していると、赤信号で直進している場合には、早めに右に曲がり、その後にUターンして再び右に曲がることで赤信号を回避することは、もちろん通常であれば許容されているが、右に曲がると逆にUターンしてしまうことが多く、安全上の問題が発生しているので、この問題を解決するための解決策を提供することを目的としたものである。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、先行技術に存在する技術的課題の少なくとも1つを解決することを目的とするものである。

【課題を解決するための手段】

【0005】

ステップ1：禁止状態にある交差点に対して基礎データ取得を行う：
対象物が指示した交差点で禁止標識状態にあるすべての右折車両画像を取得し、比較対象とする、
すべての比較対象の車のナンバー、右折時間、車両の標識を同期して自動的に取得する、比較対象はT1時間後に自動的に削除される。

【0006】

ステップ2：その後、すべての潜在的対象に対して初期スクリーニングを行い、実際の対象のナンバープレート番号、進入時間及び車両標識と、比較対象のナンバープレート番号、右折時間及び車両標識との比較に基づき、すべての初期疑義対象及びその対応するインターバル時間を確定する；

【0007】

ステップ3：疑わしい対象に対して二次審査を行う。二次審査の具体的な方式は次のとおりである：
S1：すべての疑義対象とそれに対応するインターバル時間を取得する。
S2：その後、初疑対象の右折進入対象の指示道路である曲がり先道路を取得し、曲がり先道路は初疑対象が右折進入対象の位置していた道路であり、曲がり先道路の対象車線を取得し、これを差し込み車線としてマークする。
S3：標識対象指令道路の右カーブが車線を差し込んだ交差点位置に入り、車線を差し込んだUターン地点の位置に到達するまでの距離を取得し、この距離をUターン距離としてマークし、Uターン地点は、車両がその地点でUターンできることを示す。
S4：その後、Uターン地点から曲がる前の道路から基準を満たした対象指令道路までの距離を取得し、その距離をゲージ内距離としてマークする。
S5：車線を差し込んだ速度制限値1を取得し、Uターン距離を速度制限値1で除してUターンシートを得た場合。
その後、曲がる前の道路の速度制限値2を取得し、ゲージ内距離をこの速度制限値2で割ってUターン2を求める、Uターン単時にUターン2時を加えて、短限消費時間を得る;
S6：インターバル時間が短い時間を超える初疑対象を投機対象としてマークする。
S7：投機対象をすべて得る。

【発明の効果】

【0008】

本発明は、禁止標識状態にある交差点について基礎的なデータ取得を行うことにより、比較対象となる全ての車両ナンバー、右折時刻、車両識別情報を得ることができる。比較対象はT1時間後に自動的に削除されます、その後、すべての潜在的な対象に対して初期スクリーニングを行い、実際の対象の車のナンバー、進入時間及び車両標識と、比較対象の車のナンバー、右折時間及び車両標識との間の比較に基づいて、すべての初期疑わしい対象及びそれに対応する間隔時間を確定する。
初疑対象に対して再度二次審査を行い、二次審査を通じて違反対象を確定し、法執行部門の処理を容易にし、現有技術においてこの問題に対して処理できず、安全上のリスクをもたらす問題を解決する。

【図面の簡単な説明】

【0009】

【図1】高度強化学習に基づくエージェントの自律的意思決定方法の一例としての交差点違反疑義車両決定方法を具現したシステムの構成図である。

【発明を実施するための形態】

【0010】

以下、実施形態と関連して、本発明の技術的態様を明確かつ完全に説明するが、説明された実施形態は本発明の一部の実施形態にすぎず、全ての実施形態ではないことは明らかである。本発明の実施形態に基づいて、当業者が創造的な労働を行わないことを前提として取得した他のすべての実施形態は、本発明の保護の範囲に属する。

【実施例0011】

ステップ1：対象物の状態を同期させ、任意の進行方向が禁止状態にある場合、自律的な意思決定判定を開始し、残りの状態では無音を維持する。ここでの任意の進行方向とは、信号機が指示を行うべき道路が通行可能な方向である。
ここで、対象となるオブジェクトは信号機の代わりであり、対象となるオブジェクトの状態は、信号機の実時間状態が赤、緑、黄の具体的ないずれであるかである。禁止標識状態とは、直進車線に対応する直進方向の車両が赤信号で通行止めになっている状態である。

【0012】

ステップ2：禁止標識状態にある交差点に対して基礎データ取得を行う。具体的な方法は次のとおりである：
対象物が指示した交差点では標識禁止状態にあるすべての右折車両の画像を取得し、これを比較対象としてマークし、すべての比較対象物の車のナンバー、右折時間、車両標識を同期して自動的に取得する。右折時間とは、対応する比較対象が右折した具体的な時点である、比較対象の保存T1時間後に自動的に削除され、T1はプリセットの数値で、通常は15分に値を取り、もちろん他の数値に設定することができる;
車両標識は車両ボンネットの色と車両ブランドを指し、車両ブランドはカメラでブランドを自働認識することで知ることができる;

【0013】

ステップ3：その後、すべての潜在的なオブジェクトに対して初期フィルタリングを行います。初期フィルタリングの具体的な方法は次のとおりである：
S01：右折により対象物が指示する道路に進入した全ての車両の画像を取得し、画像認識により該当車両を実物体としてマーキングし、全ての実物体の車番、進入時刻、車両標識を取得する、進入時間は、実オブジェクトが標的オブジェクトによって指示された道路に進入する時間ノードである。
S02：まず、ソリッドオブジェクトと比較オブジェクトとを任意の2つずつ照合し、ソリッドオブジェクトと比較オブジェクトのナンバープレートと車両標識とが一致するか否かを比較し、一致する場合には、一致したソリッドオブジェクトを初疑オブジェクトとしてマークする。
S03：同期は、疑義対象の進入時間と比較対象の右折時間とから、進入時間から右折時間までの間隔の時間長に応じて決定される間隔時間を得る。
S04：すべての疑義対象とその対応する間隔時間を得る;

【0014】

ステップ4：初疑対象に対して二次審査を行う。二次審査の具体的な方式は次のとおりである：
S1：すべての疑義対象とそれに対応するインターバル時間を取得する。
S2：その後、初疑対象の右折進入対象の指示道路である曲がり先道路を取得し、曲がり先道路は初疑対象が右折進入対象の位置していた道路であり、曲がり先道路の対象車線を取得し、これを差し込み車線としてマークする。ここでの差し込み車線は、対象物が指示する道路を右に曲がって進入することができることを満たしている。
S3：標識対象指令道路の右カーブが車線を差し込んだ交差点位置に入り、車線を差し込んだUターン地点の位置に到達するまでの距離を取得し、この距離をUターン距離としてマークし、Uターン地点は、車両がその地点でUターンできることを示す。
S4：その後、Uターン地点から曲がる前の道路から基準を満たした対象指令道路までの距離を取得し、その距離をゲージ内距離としてマークする。
S5：車線を差し込んだ速度制限値1を取得し、Uターン距離を速度制限値1で除してUターンシートを得た場合。
その後、曲がる前の道路の速度制限値2を取得し、ゲージ内距離をこの速度制限値2で割ってUターン2を求める、Uターン単時にUターン2時を加えて、短限消費時間を得る;
S6：インターバル時間が短い時間を超える初疑対象を投機対象としてマークする。
S7：投機対象をすべて得る。

【0015】

ステップ5：すべての投機対象とその画像を監督管理部門のスマート端末ポートに転送し、処理しやすくする。ここで投機対象とは、ユーザが赤信号を直進する際に、右折路からのUターンを待たずに再び右折し、合法的な位置からUターンせずに信号を回避する違法な場合をいう。

【実施例0016】

本発明の実施の形態2として、ステップ4は、実施の形態1を基本とし、実施の形態1とは若干異なる：
ステップ4：初疑対象に対して二次審査を行う。二次審査の具体的な方式は次のとおりである：
S1：すべての疑義対象とそれに対応するインターバル時間を取得する。
S2：その後、初疑対象の右折進入対象の指示道路である曲がり先道路を取得し、曲がり先道路は初疑対象が右折進入対象の位置していた道路であり、曲がり先道路の対象車線を取得し、これを差し込み車線としてマークする。ここでの差し込み車線は、対象物が指示する道路を右に曲がって進入することができることを満たしている。
S3：標識対象指令道路の右カーブが車線を差し込んだ交差点位置に入り、車線を差し込んだUターン地点の位置に到達するまでの距離を取得し、この距離をUターン距離としてマークし、Uターン地点は、車両がその地点でUターンできることを示す。
S4：その後、Uターン地点から曲がる前の道路から基準を満たした対象指令道路までの距離を取得し、その距離をゲージ内距離としてマークする。
S5：車線を差し込んだ速度制限値1を取得し、Uターン距離を速度制限値1で除してUターンシートを得た場合。
その後、曲がる前の道路の速度制限値2を取得し、ゲージ内距離をこの速度制限値2で割ってUターン2を求める、Uターン単時にUターン2時を加えて、短限消費時間を得る;ここで、車線を挿入してUターン位置が存在しない場合には、タイムスロットを0とする。
Uターン位置は存在しない。具体的には、次のようになる：
車線に沿って直進して、2つ目の信号に出会う前に、2つ目の信号の位置を含めて、いかなるUターン位置も存在しない；
S6：インターバル時間が短い時間を超える初疑対象を投機対象としてマークする；
S7：投機対象をすべて得る；