IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 浙江工商大学の特許一覧

特許7518993高度強化学習に基づく学習主体の自律的意思決定方法
<>
  • 特許-高度強化学習に基づく学習主体の自律的意思決定方法 図1
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-10
(45)【発行日】2024-07-19
(54)【発明の名称】高度強化学習に基づく学習主体の自律的意思決定方法
(51)【国際特許分類】
   G08G 1/16 20060101AFI20240711BHJP
   G08G 1/01 20060101ALI20240711BHJP
【FI】
G08G1/16 D
G08G1/01 D
【請求項の数】 1
(21)【出願番号】P 2023051884
(22)【出願日】2023-03-28
(65)【公開番号】P2024028097
(43)【公開日】2024-03-01
【審査請求日】2023-03-29
(31)【優先権主張番号】202210992167.5
(32)【優先日】2022-08-18
(33)【優先権主張国・地域又は機関】CN
【早期審査対象出願】
(73)【特許権者】
【識別番号】522481248
【氏名又は名称】浙江工商大学
【氏名又は名称原語表記】ZHEJIANG GONGSHANG UNIVERSITY
【住所又は居所原語表記】No.18, Xuezheng Str. Xiasha University Town Hangzhou, Zhejiang 310018, China
(74)【代理人】
【識別番号】100088063
【弁理士】
【氏名又は名称】坪内 康治
(72)【発明者】
【氏名】劉東昇
(72)【発明者】
【氏名】劉彦▲に▼
(72)【発明者】
【氏名】王黎明
(72)【発明者】
【氏名】陳亜輝
【審査官】佐藤 吉信
(56)【参考文献】
【文献】韓国公開特許第10-2021-0121988(KR,A)
【文献】特開2019-207651(JP,A)
【文献】中国特許出願公開第112749681(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00-99/00
(57)【特許請求の範囲】
【請求項1】
高度強化学習に基づく学習主体の自律的意思決定方法であって、
禁止状態にある道路の交差点に対して基礎データ取得を行うステップ1であって、
信号機が指示した道路の交差点で禁止標識状態にあるすべての右折車両画像を取得し、比較対象とし、
すべての比較対象の車のナンバー、右折時間、車両の標識を同期して自動的に取得し、比較対象は所定の時間後に自動的に削除されるステップ1と、
その後、すべての潜在的対象に対して初期スクリーニングを行い、実際の対象のナンバー、進入時間及び車両標識と、比較対象のナンバー、右折時間及び車両標識との比較に基づき、すべての疑わしい対象及びその対応するインターバル時間を確定する、ステップ1に続くステップ2と、
疑わしい対象に対して二次審査を行う、ステップ2に続くステップ3と、を含み、
前記二次審査は、
すべての疑わしい対象とそれに対応するインターバル時間を取得するステップS1と、
その後、疑わしい対象が右折により信号機指示道路に進入する曲がる前の道路を取得し、曲がる前の道路は疑わしい対象が右折により信号機指示道路に進入する前に位置していた道路であり、曲がる前の道路の対象車線を取得し、これを迂回車線としてマークするステップS2と、
信号機指示道路の右折により迂回車線に進入する道路の交差点位置から、迂回車線のUターン地点の位置に到達するまでの距離を取得し、この距離をUターン距離としてマークし、Uターン地点は、車両がその地点でUターンできることを示すステップS3と、
その後、Uターン地点から曲がる前の道路で信号機指示道路に到達するまでの距離を取得し、その距離を規則内距離としてマークするステップS4と、
迂回車線の速度制限値1を取得し、Uターン距離を速度制限値1で除してUターン前半所要時間を得て、
その後、曲がる前の道路の速度制限値2を取得し、規則内距離をこの速度制限値2で割ってUターン後半所要時間を求め、Uターン前半所要時間にUターン後半所要時間を加えて、下限所要時間を得るステップS5と、
インターバル時間が下限所要時間を超える疑わしい対象を投機対象としてマークするステップS6と、
投機対象をすべて得るステップS7と、
を含むことを特徴とする高度強化学習に基づく学習主体の自律的意思決定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自律的意思決定技術の分野に属し、具体的には、高度な強化学習に基づく学習主体の自律的意思決定方法である。
【背景技術】
【0002】
特許番号CN111833597Aの特許は、計画制御を有する交通状況における自主的な意思決定を開示している。自律移動体の交通シーンにおける運転決定を生成するための制御装置を提案する。制御装置は、訓練された自己学習モデルを含む第1のモジュールを含み、この第1のモジュールは、自律移動体の周囲の環境に関する情報を含むデータを受信し、訓練された自己学習モデルを用いて、受信したデータに基づいて自律移動体によって実行されるべきアクションを決定するように構成されている。制御装置は、第2モジュールを含む。第2のモジュールは、決定された動作を受信するように構成され、限られた時間範囲の間の自律移動体の周囲環境に関する情報を含むデータを受信する。限定された時間範囲の第1の期間の環境状態を予測し、受信された限定された時間範囲の動作および第1の期間の環境状態に基づいて自律移動体の軌跡を決定し、決定された軌跡に従って第1の期間の間自律移動体を制御するために信号を送信する。
【0003】
しかし、この特許については、交通シーンに合わせた自主的な意思決定、重要な部分が欠けています、現在の道路状況を走行していると、赤信号で直進している場合には、早めに右に曲がり、その後にUターンして再び右に曲がることで赤信号を回避することは、もちろん通常であれば許容されているが、右に曲がると逆にUターンしてしまうことが多く、安全上の問題が発生しているので、この問題を解決するための解決策を提供することを目的としたものである。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、先行技術に存在する技術的課題の少なくとも1つを解決することを目的とするものである。
【課題を解決するための手段】
【0005】
ステップ1:禁止状態にある道路の交差点に対して基礎データ取得を行い、
標識対象が指示した道路の交差点で禁止標識状態にあるすべての右折車両画像を取得し、比較対象と
すべての比較対象の車のナンバー、右折時間、車両の標識を同期して自動的に取得、比較対象はT1時間後に自動的に削除される。
【0006】
ステップ2:その後、すべての潜在的対象に対して初期スクリーニングを行い、実際の対象のナンバー、進入時間及び車両標識と、比較対象のナンバー、右折時間及び車両標識との比較に基づき、すべての疑わしい対象及びその対応するインターバル時間を確定する
【0007】
ステップ3:疑わしい対象に対して二次審査を行う。二次審査の具体的な方式は次のとおりであり、
S1:すべての疑わしい対象とそれに対応するインターバル時間を取得し、
S2:その後、疑わしい対象が右折により標識対象指示道路に進入する曲がる前の道路を取得し、曲がる前の道路は疑わしい対象が右折により標識対象指示道路に侵入する前に位置していた道路であり、曲がる前の道路の対象車線を取得し、これを迂回車線としてマークし、
S3:標識対象指示道路の右折により迂回車線に進入する道路の交差点位置から迂回車線Uターン地点の位置に到達するまでの距離を取得し、この距離をUターン距離としてマークし、Uターン地点は、車両がその地点でUターンできることを示し、
S4:その後、Uターン地点から曲がる前の道路で標識対象指示道路に到達するまでの距離を取得し、その距離を規則内距離としてマークし、
S5:迂回車線の速度制限値1を取得し、Uターン距離を速度制限値1で除してUターン前半所要時間を得て、
その後、曲がる前の道路の速度制限値2を取得し、規則内距離をこの速度制限値2で割ってUターン後半所要時間を求め、Uターン前半所要時間にUターン後半所要時間を加えて、下限所要時間を得て、
S6:インターバル時間が下限所要時間を超える疑わしい対象を投機対象としてマークし、
S7:投機対象をすべて得る。
【発明の効果】
【0008】
本発明は、禁止標識状態にある道路の交差点について基礎的なデータ取得を行うことにより、比較対象となる全ての車両ナンバー、右折時刻、車両識別情報を得ることができる。比較対象はT1時間後に自動的に削除されます、その後、すべての潜在的な対象に対して初期スクリーニングを行い、実際の対象の車のナンバー、進入時間及び車両標識と、比較対象の車のナンバー、右折時間及び車両標識との間の比較に基づいて、すべての疑わしい対象及びそれに対応する間隔時間を確定する。
疑わしい対象に対して再度二次審査を行い、二次審査を通じて違反対象を確定し、法執行部門の処理を容易にし、現有技術においてこの問題に対して処理できず、安全上のリスクをもたらす問題を解決する。
【図面の簡単な説明】
【0009】
図1】高度強化学習に基づく学習主体の自律的意思決定方法の一例としての道路の交差点違反疑義車両決定方法を具現したシステムの構成図である。
【発明を実施するための形態】
【0010】
以下、実施形態と関連して、本発明の技術的態様を明確かつ完全に説明するが、説明された実施形態は本発明の一部の実施形態にすぎず、全ての実施形態ではないことは明らかである。本発明の実施形態に基づいて、当業者が創造的な労働を行わないことを前提として取得した他のすべての実施形態は、本発明の保護の範囲に属する。
【実施例1】
【0011】
ステップ1:対象物の状態を同期させ、任意の進行方向が禁止状態にある場合、自律的な意思決定判定を開始し、残りの状態では無音を維持する。ここでの任意の進行方向とは、信号機が指示を行うべき道路が通行可能な方向である。
ここで、対象となるオブジェクトは信号機の代わりであり、対象となるオブジェクトの状態は、信号機の実時間状態が赤、緑、黄の具体的ないずれであるかである。禁止標識状態とは、直進車線に対応する直進方向の車両が赤信号で通行止めになっている状態である。
【0012】
ステップ2:禁止標識状態にある道路の交差点に対して基礎データ取得を行う。具体的な方法は次のとおりである
標識対象が指示した道路の交差点では標識禁止状態にあるすべての右折車両の画像を取得し、これを比較対象としてマークし、すべての比較対象の車のナンバー、右折時間、車両標識を同期して自動的に取得する。右折時間とは、対応する比較対象が右折した具体的な時点である、比較対象の保存T1時間後に自動的に削除され、T1はプリセットの数値で、通常は15分に値を取り、もちろん他の数値に設定することができる
車両標識は車両ボンネットの色と車両ブランドを指し、車両ブランドはカメラでブランドを自働認識することで知ることができる
【0013】
ステップ3:その後、すべての潜在的なオブジェクトに対して初期フィルタリングを行います。初期フィルタリングの具体的な方法は次のとおりである
S01:右折により標識対象指示道路に進入した全ての車両の画像を取得し、画像認識により該当車両を実物体としてマーキングし、全ての実物体の車番、進入時刻、車両標識を取得する進入時間は、実オブジェクトが標的オブジェクトによって指示された道路に進入する時間ノードである。
S02:まず、ソリッドオブジェクトと比較オブジェクトとを任意の2つずつ照合し、ソリッドオブジェクトと比較オブジェクトのナンバープレートと車両標識とが一致するか否かを比較し、一致する場合には、一致したソリッドオブジェクトを初疑オブジェクトとしてマークする。
S03:同期は、疑わしい対象の進入時間と比較対象の右折時間とから、進入時間から右折時間までの間隔の時間長に応じて決定される間隔時間を得る。
S04:すべての疑わしい対象とその対応する間隔時間を得る
【0014】
ステップ4:疑わしい対象に対して二次審査を行う。二次審査の具体的な方式は次のとおりであり、
S1:すべての疑わしい対象とそれに対応するインターバル時間を取得する。
S2:その後、疑わしい対象が右折により標識対象指示道路に進入する曲がる前の道路を取得し、曲がる前の道路は疑わしい対象が右折により標識対象指示道路に侵入する前に位置していた道路であり、曲がる前の道路の対象車線を取得し、これを迂回車線としてマークする。ここでの迂回車線は、標識対象が指示する道路を右に曲がって進入することができることを満たしている。
S3:標識対象指示道路の右折により迂回車線に進入する道路の交差点位置から迂回車線Uターン地点の位置に到達するまでの距離を取得し、この距離をUターン距離としてマークし、Uターン地点は、車両がその地点でUターンできることを示す。
S4:その後、Uターン地点から曲がる前の道路で標識対象指示道路に到達するまでの距離を取得し、その距離を規則内距離としてマークする。
S5:迂回車線の速度制限値1を取得し、Uターン距離を速度制限値1で除してUターン前半所要時間を得て、
その後、曲がる前の道路の速度制限値2を取得し、規則内距離をこの速度制限値2で割ってUターン後半所要時間を求め、Uターン前半所要時間にUターン後半所要時間を加えて、下限所要時間を得る
S6:インターバル時間が下限所要時間を超える疑わしい対象を投機対象としてマークする。
S7:投機対象をすべて得る。
【0015】
ステップ5:すべての投機対象とその画像を監督管理部門のスマート端末ポートに転送し、処理しやすくする。ここで投機対象とは、ユーザが赤信号を直進する際に、右折路からのUターンを待たずに再び右折し、合法的な位置からUターンせずに信号を回避する違法な場合をいう。
【実施例2】
【0016】
本発明の実施の形態2として、ステップ4は、実施の形態1を基本とし、実施の形態1とは若干異なる
ステップ4:疑わしい対象に対して二次審査を行う。二次審査の具体的な方式は次のとおりである
S1:すべての疑わしい対象とそれに対応するインターバル時間を取得する。
S2:その後、疑わしい対象が右折により標識対象指示道路に進入する曲がる前の道路を取得し、曲がる前の道路は疑わしい対象が右折により標識対象指示道路に侵入する前に位置していた道路であり、曲がる前の道路の対象車線を取得し、これを迂回車線としてマークする。ここでの迂回車線は、標識対象が指示する道路を右に曲がって進入することができることを満たしている。
S3:標識対象指示道路の右折により迂回車線に進入する道路の交差点位置から迂回車線Uターン地点の位置に到達するまでの距離を取得し、この距離をUターン距離としてマークし、Uターン地点は、車両がその地点でUターンできることを示す。
S4:その後、Uターン地点から曲がる前の道路で標識対象指示道路に到達するまでの距離を取得し、その距離を規則内距離としてマークする。
S5:迂回車線の速度制限値1を取得し、Uターン距離を速度制限値1で除してUターン前半所要時間を得て、
その後、曲がる前の道路の速度制限値2を取得し、規則内距離をこの速度制限値2で割ってUターン後半所要時間を求め、Uターン前半所要時間にUターン後半所要時間を加えて、下限所要時間を得るここで、迂回車線Uターン位置が存在しない場合には、下限所要時間を0とする。
Uターン位置は存在しないとは、具体的には、次のような状況を指す。
車線に沿って直進して、2つ目の信号に出会う前に、2つ目の信号の位置を含めて、いかなるUターン位置も存在しない
S6:インターバル時間が下限所要時間を超える疑わしい対象を投機対象としてマークする
S7:投機対象をすべて得る
【実施例3】
【0017】
もちろん、本発明の実施の形態3として、本発明は、実施の形態1を踏まえてステップ5の処理を行った後、以下のステップを実施する
SS1:すべての投機対象、および投機対象としてマークされた時点を取得し、すべての投機対象と投機時点を得る
SS2:現在から近い段階にあるすべての投機対象と、それが投機対象としてマークされた回数を獲得し、回数がX1以下のものを除去し、X1はあらかじめ設定された値であり、通常は2とする、「接近段階」とは、現在の時点から3ヶ月先まで推計して得られることをいう
SS3:残りの投機対象を慣性対象としてマーキングし、投機対象としてマーキングされた回数に対応する慣性回数としてマーキングし、すべての慣性対象と慣性回数を得る
SS4:任意の慣性オブジェクトは、最初から直近まで投機対象としてマークされた期間を取得し、投機対象としてマークされるごとに前回からの間隔時間を間投期間値としてマークし、Ji,i=1....nに対応して、n個の間投期間値が存在すること、すなわち投機対象としてマークされることがn+1回あることを示す
SS5:その後、Jiの平均値を自動的に計算し、それをPとしてマークし、Jiの重合度Dを次のように計算する
SS6:2倍の値は、重合度Dに基づいて定義され、DがX2より小さい場合は2になる。
X2≦D≦X3のとき、倍値を1.5とする。
D>X3の場合、2倍値は1と定義される。
SS7:その後、すべての慣性オブジェクトに対してステップSSP-SS7と同様の処理を行い、すべての慣性オブジェクトの倍値を得る
SS8:次の式を使用して、すべての慣性オブジェクトのメジャーを計算する
測定値=慣性回数×倍値、
SS9:慣性対象の測定値の大きい方から小さい方へ順序付け、上位35パーセントの対応する慣性対象を慣性対象としてマークする
SS10:実施の形態のステップ3における任意の慣習的指標の処理が疑わしい対象としてマークされた場合、同時に半投機対象としてマークし、該当する監督官庁のスマート端末ポートに送信することで処理を容易にしているが、ここで半投機対象は投機対象違法の事実が確定しておらず、軽微な出発が可能であり、その後投機対象としてマークされれば、正常に投機対象として処罰される。
【実施例4】
【0018】
本発明の実施の形態4として、具体的に実施する場合には、実施の形態1~実施の形態3を融合して実施する。
上記の数式の中の一部のデータはすべて次元を除去してその数値を取って計算して、数式は収集した大量のデータを経てソフトウェアシミュレーションを得て最も真実情況に近い1つの数式を得た式中の予め設定されたパラメータ及び予め設定された閾値は、当業者が実際の状況に応じて設定するか、又は大量のデータシミュレーションにより取得する。
図1