特開2024-76349IP Force 特許公報全文掲載

技術分野

強化学習モデル及び強化学習方法に関し、より詳細には、スキル正規化タスク分解に基づくマルチタスクオフライン強化学習モデル及びそれを用いたマルチタスクオフライン強化学習方法

要約特許出願時に添付された[要約書]

【課題】データ品質が一定せず、データが不足しているマルチタスクオフライン強化学習環境において、データ品質を考慮したスキル正規化タスク分解により、制御モデルの効率的かつ安定的な学習が可能な強化学習モデルを提供すること。
【解決手段】品質を考慮したスキル正規化タスク分解モデルと、仮想デモンストレーション生成によるデータ増強モデルと、を含むことができる。前記スキル正規化タスク分解モデルは、2nステップの状態-行動ペア(state-action pair)を使用してスキル埋め込みを実行する動作と、状態、行動、報酬、および次の状態を含むnステップ遷移(transition)を使用してスキル正規化を実行する動作と、エピソード単位のタスクをnステップ単位のサブタスクに分解する動作と、を行うことができる。
【選択図】図1

発明が解決しようとする課題[発明の詳細な説明]から抜粋

本発明の目的は、データ品質が一定せず、データが不足しているマルチタスクオフライン強化学習環境において、データ品質を考慮したスキル正規化タスク分解により、制御モデルの効率的かつ安定的な学習が可能な強化学習モデルを提供することである。

課題を解決するための手段[発明の詳細な説明]から抜粋

本発明の一目的を達成するために、本発明の実施形態による強化学習モデルは、品質を考慮したスキル正規化タスク分解モデルと、仮想デモンストレーション生成によるデータ増強モデルと、を含むことができる。前記スキル正規化タスク分解モデルは、2nステップの状態-行動ペア(state-action pair)を使用してスキル埋め込みを実行する動作と、状態、行動、報酬、および次の状態を含むnステップ遷移(t・・・ 続きを知財ポータルサイト IP Force にログインして見る

発明の効果[発明の詳細な説明]から抜粋

本発明の強化学習モデル及び強化学習方法によれば、データ品質が一定せず、データが不足しているマルチタスクオフライン強化学習環境において、データ品質を考慮したスキル正規化タスク分解により、制御モデルの効率的かつ安定的な学習が可能となる。

ただし、本発明の効果は、上述の効果に限定されるものではなく、本発明の思想及び領域から逸脱しない範囲で多様に拡張できる。

この発明についての権利主張の範囲[特許請求の範囲]

知財ポータルサイト IP Force にログインして確認する (無料)

この特許公報に記載されている図面[図面の簡単な説明]から抜粋

【図1】 本発明の実施形態による強化学習モデルの構成を示す概念図である。
【図2】 図1の強化学習モデルの動作を示すフローチャートである。
【図3】 スキル正規化タスク分解ステップの詳細ステップを示すフローチャートである。
【図4】 品質を考慮したスキル正規化タスク分解モデルの構造を示す図である。
【図5】 品質を考慮したスキル正規化タスク分解モデルの学習過程を示すアルゴリズムである。
【図6】 仮想デモンストレーション生成によるデータ増強モデルの構造を示す図である。
【図7】 本発明の実施形態による強化学習モデルを適用したロボットアーム制御学習性能を示す図である。
【図8】 本発明の実施形態による強化学習モデルを適用したドローン走行学習性能を示す図である。

選択図 図1出願人が指定した本件の代表的な図

全ての図面はログインすると無料で閲覧できます。ログイン・ユーザー登録

[広告欄]

ログインすれば広告は減ります

ログインすれば広告は減ります