特開 2023-104708 データ処理装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023104708

(43)【公開日】2023-07-28

(54)【発明の名称】データ処理装置、方法及びプログラム

(51)【国際特許分類】

   G06Q 10/047 20230101AFI20230721BHJP

【ＦＩ】

G06Q10/04 310

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022005864

(22)【出願日】2022-01-18

(71)【出願人】

【識別番号】000003333

【氏名又は名称】ボッシュ株式会社

(72)【発明者】

【氏名】中里 研一

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA04

(57)【要約】

【課題】ルート探索の効率化。
【解決手段】データ処理装置（１）は、複数の地点を訪問するルートを強化学習により探索する。データ処理装置（１）は、価値関数に基づいて前記ルートを探索する計算部（１２１）と、前記価値関数の損失関数が最小化するように前記価値関数を更新する更新部（１２２）と、を備える。前記価値関数は、前記各地点の訪問状態に対して推定される、次に訪問すべき各地点の価値を出力する。前記計算部（１２１）は、前記価値関数からの出力値が大きい地点へと移動する前記ルートを探索する。前記更新部（１２２）は、前記価値関数からの出力値が予め与えられた移動条件を満たさない場合、ペナルティ値を前記損失関数に加えて前記価値関数を更新する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の地点を訪問するルートを強化学習により探索するデータ処理装置（１）において、
価値関数に基づいて前記ルートを探索する計算部（１２１）と、
前記価値関数の損失関数が最小化するように前記価値関数を更新する更新部（１２２）と、を備え、
前記価値関数は、前記各地点の訪問状態に対して推定される、次に訪問すべき各地点の価値を出力し、
前記計算部（１２１）は、前記価値関数からの出力値が大きい地点へと移動する前記ルートを探索し、
前記更新部（１２２）は、前記価値関数からの出力値が予め与えられた移動条件を満たさない場合、ペナルティ値を前記損失関数に加えて前記価値関数を更新する
データ処理装置（１）。

【請求項2】

前記価値関数は、ニューラルネットワーク（５０）により近似され、
前記更新部（１２２）は、前記ニューラルネットワーク（５０）の出力層（５３）から出力された前記出力値であって、正規化される前の前記出力値が、前記移動条件を満たすか否かを判定する
請求項１に記載のデータ処理装置（１）。

【請求項3】

前記移動条件は、訪問すべき地点の順位又は位置に関する優先条件を含む
請求項１又は２に記載のデータ処理装置（１）。

【請求項4】

前記移動条件は、移動時の空間的な制約条件を含む
請求項１～３のいずれか一項に記載のデータ処理装置（１）。

【請求項5】

複数の地点を訪問するルートを強化学習により探索する方法において、
価値関数に基づいて前記ルートを探索するステップと、
前記価値関数の損失関数が最小化するように前記価値関数を更新するステップと、を含み、
前記価値関数は、前記各地点の訪問状態に対して推定される、次に訪問すべき各地点の価値を出力し、
前記ルートを検索するステップは、前記価値関数からの出力値が大きい地点へと移動する前記ルートを探索するステップを含み、
前記更新するステップは、前記価値関数からの出力値が予め与えられた移動条件を満たさない場合、ペナルティ値を前記損失関数に加えて前記価値関数を更新するステップを含む
方法。

【請求項6】

複数の地点を訪問するルートを探索する方法をコンピュータに実行させるためのプログラムであって、
前記方法は、
価値関数に基づいて前記ルートを探索するステップと、
前記価値関数の損失関数が最小化するように前記価値関数を更新するステップと、を含み、
前記価値関数は、前記各地点の訪問状態に対して推定される、次に訪問すべき各地点の価値を出力し、
前記ルートを検索するステップは、前記価値関数からの出力値が大きい地点へと移動する前記ルートを探索するステップを含み、
前記更新するステップは、前記価値関数からの出力値が予め与えられた移動条件を満たさない場合、ペナルティ値を前記損失関数に加えて前記価値関数を更新するステップを含む
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理装置、方法及びプログラムに関する。

【背景技術】

【0002】

巡回セールスマン問題（TSP:Traveling Salesman Problem）は、セールスマンが複数の都市を１回ずつ訪れるとき、どのような順番で巡回すれば総移動コストを最小にできるかを問う問題である。巡回セールスマン問題は、古典的な最適化問題として知られ、商品の配送ルート等の探索に応用されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０２２２９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

巡回セールスマン問題のような組み合わせ最適化問題は、組み合わせ数が膨大であることが一般的である。計算量が増え、ルート探索に時間がかかりやすい。その一方で、ルート探索においては、ある都市はある都市よりも優先して訪問した方がよいといったような経験知がすでに存在することがある。このような部分的な経験知はルート探索の指針となりやすい。

【0005】

本発明は、ルート探索の効率化を目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様は、複数の地点を訪問するルートを強化学習により探索するデータ処理装置（１）である。前記データ処理装置（１）は、価値関数に基づいて前記ルートを探索する計算部（１２１）と、前記価値関数の損失関数が最小化するように前記価値関数を更新する更新部（１２２）と、を備える。前記価値関数は、前記各地点の訪問状態に対して推定される、次に訪問すべき各地点の価値を出力する。前記計算部（１２１）は、前記価値関数からの出力値が大きい地点へと移動する前記ルートを探索する。前記更新部（１２２）は、前記価値関数からの出力値が予め与えられた移動条件を満たさない場合、ペナルティ値を前記損失関数に加えて前記価値関数を更新する。

【0007】

本発明の他の一態様は、複数の地点を訪問するルートを強化学習により探索する方法である。前記方法は、価値関数に基づいて前記ルートを探索するステップと、前記価値関数の損失関数が最小化するように前記価値関数を更新するステップと、を含む。前記価値関数は、前記各地点の訪問状態に対して推定される、次に訪問すべき各地点の価値を出力する。前記ルートを検索するステップは、前記価値関数からの出力値が大きい地点へと移動する前記ルートを探索するステップを含む。前記更新するステップは、前記価値関数からの出力値が予め与えられた移動条件を満たさない場合、ペナルティ値を前記損失関数に加えて前記価値関数を更新するステップを含む。

【0008】

本発明の他の一態様は、複数の地点を訪問するルートを探索する方法をコンピュータに実行させるためのプログラムである。前記方法は、価値関数に基づいて前記ルートを探索するステップと、前記価値関数の損失関数が最小化するように前記価値関数を更新するステップと、を含む。前記価値関数は、前記各地点の訪問状態に対して推定される、次に訪問すべき各地点の価値を出力する。前記ルートを検索するステップは、前記価値関数からの出力値が大きい地点へと移動する前記ルートを探索するステップを含む。前記更新するステップは、前記価値関数からの出力値が予め与えられた移動条件を満たさない場合、ペナルティ値を前記損失関数に加えて前記価値関数を更新するステップを含む。

【発明の効果】

【0009】

本発明によれば、ルート探索の効率化が可能である。

【図面の簡単な説明】

【0010】

【図1】データ処理装置の構成を示す図である。

【図2】ルート探索処理のフローチャートである。

【図3】与えられた複数の地点の一例を示す図である。

【図4】ニューラルネットワークの一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明のデータ処理装置、方法及びプログラムの実施の形態について、図面を参照して説明する。以下に説明する構成は本発明の一例（代表例）であり、本発明はこの構成に限定されない。

【0012】

図１は、本実施形態のデータ処理装置１の構成を示す。
データ処理装置１は、制御部１１、ルート探索部１２及び記憶部１３を備える。データ処理装置１は、操作部１４、表示部１５及び通信部１６をさらに備えることができる。

【0013】

制御部１１は、データ処理装置１の各部を制御する。例えば、制御部１１は、操作部１４の操作又は通信部１６により受信した指示データに応じて、ルート探索部１２にルートを探索させることができる。また制御部１１は、ルートの探索結果を表示部１５に表示させることができる。

【0014】

ルート探索部１２は、複数の地点を訪問するルートを強化学習により探索する。ルート探索部１２は、計算部１２１と更新部１２２とを備える。計算部１２１は、価値関数に基づいてルートを探索する。更新部１２２は、価値関数の損失関数が最小化するように価値関数を更新する。

【0015】

本実施形態においては、制御部１１及びルート探索部１２の処理は、ＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphic Processing Unit）のようなプロセッサ、マイクロコンピュータのようなコンピュータが、記憶部１３からプログラムを読み出して実行することにより実現されるソフトウェア処理である。当該処理は、ＡＳＩＣ又はＦＰＧＡのようなハードウェアによって実現されてもよい。

【0016】

記憶部１３は、上記コンピュータが読み取り可能なプログラム、及びプログラムの実行に用いられるテーブル等を記憶する。また記憶部１３は、ルート探索において予め与えられた地点及び環境の情報や移動条件の情報等を記憶する。記憶部１３としては、例えばハードディスク等の記録媒体を用いることができる。

【0017】

操作部１４は、キーボード又はマウス等である。操作部１４は、ユーザの操作を受け付けて、その操作内容を制御部１１に出力する。

【0018】

表示部１５は、ディスプレイ等である。表示部１５は、制御部１１からの表示指示にしたがって、操作画面や制御部１１の処理結果、ルート探索部１２の探索結果等を表示する。

【0019】

通信部１６は、ネットワークを介して外部のコンピュータと通信するインターフェイスである。

【0020】

図２は、ルート探索部１２が実行するルート探索処理の流れを示す。
ルート探索処理において、データ処理装置１には巡回すべき複数の地点を含む環境、各地点への移動条件等の情報が予め与えられる。当該情報は、通信部１６を介して外部のコンピュータから送信されてもよいし、操作部１４を介して入力されてもよい。与えられた情報は記憶部１３に保存され、ルート探索部１２は記憶部１３から当該情報を取得できる。

【0021】

図３は、与えられた環境の例を示す。当該環境は６×４ブロックからなり、４つの地点Ｋｉ（ｉ＝０，１，２，３）を含む。本実施形態において、ルート探索部１２は、エージェント３０がスタート地点Ｐｓから移動を開始し、各地点Ｋ０～Ｋ３を１回ずつ訪問する巡回ルートであって、エージェント３０の総移動コストが最小となる巡回ルートを探索する。移動コストとは、例えば移動に要する距離、時間又は費用等である。

【0022】

まず計算部１２１が、与えられたｎ個の地点Ｋｉ（ｉ＝０，１，・・・，ｎ）の訪問状態ｓを記憶部１３に保存する（ステップＳ１）。訪問状態ｓのデータは、未訪問の場合は０、訪問済みの場合は１、現在訪問中の場合は２に設定される。図３の例において、地点Ｋ０が訪問中、地点Ｋ１及びＫ２が未訪問、地点Ｋ４が訪問済みであるとき、ｓ＝｛２，０，０，１｝と表される。

【0023】

次いで、計算部１２１は、価値関数Ｖを定義する（ステップＳ２）。価値関数Ｖは、各地点の訪問状態ｓに対して、次に訪問すべき地点の価値を推定する状態価値関数である。

【0024】

例えば、価値関数Ｖは下記式（１）に示すように定義される。なお、各地点の訪問状態ｓに対して次に訪問すべき各地点の価値を推定できるのであれば、価値関数Ｖは式（１）に限定されず、目的のルート探索に合わせて適宜設計可能である。

【数1】

【0025】

ｓ_ｔは時間ステップｔにおける各地点の訪問状態を表し、ｓ_ｔ＋１は次の時間ステップｔ＋１における各地点の訪問状態を表す。Ｅ［］は、［］内の期待値を表す。γは割引率を表し、０＜γ≦１を満たす。ｒは報酬を表し、報酬関数によって与えられる。報酬関数は、巡回ルートの総移動コストが小さいほど高い報酬を出力する。例えば巡回ルートの総移動距離（エージェント３０が移動した総ブロック数）の逆数を報酬として出力する関数が、報酬関数として環境とともに与えられる。

【0026】

計算部１２１は、上記価値関数Ｖをニューラルネットワークにより近似する。図４は、価値関数Ｖを近似するニューラルネットワーク５０の例を示す。ニューラルネットワーク５０は、入力層５１、隠れ層５２、出力層５３及び正規化層５４を備える。入力層５１、隠れ層５２及び出力層５３は複数のノード５５を備え、隣り合う層のノード５５同士はエッジ５６によって結合されている。図４中の隠れ層５２は１層であるが、複数の隠れ層５２があってもよい。

【0027】

各地点の訪問状態ｓは、入力層５１の各ノード５５に入力され、エッジ５６により結合された隠れ層５２の各ノード５５へと出力される。隠れ層５２のノード５５では、各入力値に重みが乗算され、その和にバイアスが加算されて、出力層５３の各ノード５５に出力される。出力層５３でも隠れ層５２と同様にして入力値から出力値Ｖｉが計算される。

【0028】

正規化層５４では、softmax関数又はRelu関数のような正規化関数によって各出力値Ｖｉが正規化され、出力値Ｖｎｉが出力される。softmax関数の場合、各出力値Ｖｎｉの和が１であり、例えば地点Ｋ０の価値Ｖｎ０が０．９、地点Ｋ１の価値Ｖｎ１が０．０８のような出力値Ｖｎｉが出力される。

【0029】

次いで、計算部１２１は、上記価値関数Ｖに基づいて巡回ルートを探索する（ステップＳ３）。具体的には、計算部１２１は、ある方策π（ｓ）にしたがってエージェント３０の行動を選択する。例えば、計算部１２１は、左右上下のいずれかのブロックへ移動する行動を選択する。行動の選択を繰り返すことにより、エージェント３０は１ブロックずつ移動する。

【0030】

探索開始時、エージェント３０の現在位置はスタート地点Ｐｓであり、このときの訪問状態ｓは、ｓ＝｛０，０，０，０｝である。計算部１２１は、エージェント３０が行動するごとに訪問状態ｓを更新するが、訪問状態ｓが変化するのはエージェント３０がある地点Ｋｉに到達したときである。例えば、図３においてエージェント３０がスタート地点Ｐｓから地点Ｋ０に到達すると、ｓ＝｛２，０，０，０｝に変化する。地点Ｋ０を離れると、ｓ＝｛１，０，０，０｝に変化する。

【0031】

エージェント３０がすべての地点Ｋｉを訪問し終えて、ｓ＝｛１，１，１，１｝の訪問状態ｓに至ると、計算部１２１は探索を終了する。スタート地点Ｐｓから最後の地点までの一連の行動をエピソードという。その間にエージェント３０が移動した軌跡が、１つのエピソードで探索された巡回ルートとなる。

【0032】

探索が終了すると、更新部１２２は価値関数Ｖの損失関数Ｌ、つまり価値関数Ｖを近似するニューラルネットワークの損失関数Ｌを計算する（ステップＳ４）。下記式（２）は価値関数Ｖの損失関数Ｌの一例を示す。損失関数Ｌはこれに限らず、適宜設計可能である。

【数2】

【0033】

θは価値関数Ｖを近似するニューラルネットワーク５０のパラメータを表す。パラメータは、例えば各ノード５５での計算に使用される重み又はバイアス等である。ｍａｘは、訪問状態ｓ_ｔ（ｉ）における価値関数Ｖからの出力値Ｖｎｉのうち、最大値を出力するｍａｘ関数を表す。

【0034】

次いで、更新部１２２は、価値関数Ｖからの出力値Ｖｉが予め与えられた移動条件を満たすか否かを判定する（ステップＳ５）。移動条件が満たされる場合（ステップＳ５：ＹＥＳ）、更新部１２２は、上記損失関数Ｌが小さくなるように価値関数Ｖを更新する（ステップＳ７）。更新部１２２は、更新された価値関数Ｖによって方策πを更新する。

【0035】

更新により、各訪問状態ｓにおける価値関数Ｖからの出力値Ｖｎｉが高い地点Ｋｉに遷移するように、方策πが最適化される。最適化された方策πにしたがって行動を選択することにより、各地点Ｋｉを順に１回ずつ訪問するルートであって、総移動コストが小さいルートが探索される。

【0036】

移動条件が満たされない場合（ステップＳ５：ＮＯ）、更新部１２２はペナルティ値Ａ１を損失関数Ｌに加え（ステップＳ６）、その後に損失関数Ｌが小さくなるように価値関数Ｖを更新する（ステップＳ７）。下記式（２ａ）はペナルティ値Ａ１が加算された損失関数Ｌの一例を示す。

【数3】

【0037】

本実施形態において、移動条件は訪問すべき地点の順位に関する条件であり、当該順位は経験知として予め与えられる。例えば、ｉ＝ｍの地点からはｉ＝ｊの地点よりもｉ＝ｋの地点を先に訪問した方が効率的であることが経験的に知られている場合、順位に関する条件としてＶｋ＞Ｖｊが与えられる。

【0038】

更新部１２２は、ｉ＝ｍの地点を訪問済みの訪問状態ｓに対して、ニューラルネットワーク５０の出力層５３から出力された後、正規化層５４において正規化される前の出力値Ｖｉを取得する。更新部１２２は、取得した出力値Ｖｉが上記Ｖｋ＞Ｖｊの順位の条件を満たさない場合、ペナルティ値Ａ１を損失関数Ｌに加える。

【0039】

例えば、更新部１２２は、下記式（３ａ）に示すようなペナルティ値Ａ１を損失関数Ｌに加えることができる。

【数4】

【0040】

あるいは、下記式（３ｂ）に示すようなペナルティ値Ａ１が使用されてもよい。

【数5】

Ｒｅｌｕは、（）内の入力値が０以下の場合には出力値が常に０であり、入力値が０より大きい場合には出力値が入力値と同じ値となるランプ関数を表す。

【0041】

上記式（３ａ）によれば、Ｖｋ＞Ｖｊの条件が満たされない場合、ペナルティ値Ａ１が０より大きくなる。また上記式（３ｂ）によれば、Ｖｋ＞Ｖｊの条件が満たされる場合はペナルティ値Ａ１が０となり、Ｖｋ＞Ｖｊの条件が満たされない場合はペナルティ値Ａ１が０より大きくなる。

【0042】

よって、上記ペナルティ値Ａ１の加算により損失関数Ｌの誤差が拡大する。ニューラルネットワーク５０のパラメータθは誤差を縮小する方向に更新されるため、Ｖｋ＞Ｖｊの条件が満たされるように価値関数Ｖが最適化される。

【0043】

更新部１２２は、正規化される前の出力値Ｖｉではなく、正規化された後の出力値Ｖｎｉが上記順位の条件を満たすか否かを判定してもよいが、正規化される前の出力値Ｖｉによって移動条件が満たされるかを判定する方が、判定精度が高く好ましい。

【0044】

価値関数Ｖが更新されると、計算部１２１は更新された価値関数Ｖによって方策πを更新する（ステップＳ８）。下記式（４）は方策πの更新式を示すが、方策πの更新式はこれに限定されず、目的のルート探索に合わせて適宜設計可能である。

【数6】

ａｒｇｍａｘは、ａｒｇｍａｘ[ｆ（ｘ）]においてｆ（ｘ）が最大となるときのｘの集合を出力する関数を表す。

【0045】

価値関数Ｖの更新により、移動条件を満たす地点は、移動条件を満たさない地点よりも価値関数Ｖからの出力値Ｖｉが大きくなる。よって、移動条件を満たす地点を次に訪問すべき地点として当該地点へ移動する行動が、方策πによって選択されやすくなる。

【0046】

所定数のエピソードが終了していない場合は（ステップＳ９：ＮＯ）、ステップＳ３の処理に戻って次のエピソードを繰り返す。何度もエピソードを繰り返し、価値関数Ｖ及び方策πを反復して更新することにより、探索されるルートは、与えられた移動条件を満たすように各地点Ｋｉを１回ずつ訪問するように移動し、かつその総移動コストが小さいルートへと最適化されていく。そして、所定数のエピソードが終了すると（ステップＳ９：ＹＥＳ）、本処理が終了する。

【0047】

なお方策πを更新するタイミングは、適切なタイミングであれば、上記のように１エピソードごとに限られない。例えば、方策πを更新するタイミングは、複数エピソードごとであってもよいし、訪問状態ｓが遷移するごとであってもよい。またエージェント３０を移動させる方法も、価値関数Ｖを最大にするように移動する方法、価値関数Ｖの出力値に応じて確率的に移動する方法、又は時折ランダムに移動するε-greedy法等の公知の方法を採用することができる。

【0048】

以上のように、本実施形態によれば、各地点の訪問状態ｓに対して、次に訪問すべき各地点Ｋｉの価値を推定する価値関数Ｖが、計算部１２１によって定義される。計算部１２１は、価値関数Ｖからの出力値Ｖｎｉが大きい地点Ｋｉに移動するルートを探索する。

【0049】

更新部１２２は、上記価値関数Ｖをその損失関数Ｌが最小化するように更新するが、価値関数Ｖからの出力値Ｖｉが経験知として予め与えられた移動条件を満たさない場合は、損失関数Ｌにペナルティ値Ａ１を加えて価値関数Ｖを更新する。

【0050】

これにより、移動条件を満たさない地点の出力値Ｖｉは満たす地点よりも小さくなる。次の地点として移動条件を満たす地点に向かって移動する行動が選択されやすくなるため、移動コストが小さいだけでなく、経験知に準拠した巡回ルートの探索が可能である。部分的な経験を移動方針としてルートが探索されるため、探索の効率を向上させることができる。経験知も、ペナルティ値Ａ１の加算という簡単な処理によって容易に方策πに反映させることができる。

【0051】

本実施形態のルート探索は、例えば倉庫の収納棚から商品をピッキングするルート、商品を配送するルート等の物流の分野において好適に利用することができる。物流に限らず、建設現場で資材を搬送するルート、盛土の造成現場で土を搬送するルート等の様々なルートの探索に利用可能である。

【0052】

また上記ルート探索は、各地点を作業に置き換えれば、どの作業をどのような順序で行うのか、作業の手順の最適化にも応用することができる。例えば、料理には、材料を切る、調味料を加える、時間を置く、煮る、料理器具を洗う等の作業があるが、最短で料理を完成できるこれらの作業の順番を探索することができる。また部品Ａに部品Ｂを接着する、部品Ｃを部品Ａと嵌合する等の製品の組み立て手順等においても、効率が良い手順の探索が可能である。

【0053】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されない。

【0054】

（変形例１）
移動条件は、各地点の位置に関する条件であってもよい。例えば、現在の地点に近い地点があるにも関わらず遠い地点を訪問しようとすると遠回りになる。これを経験知として、例えばｉ＝ｍの地点はｉ＝ｊの地点と近く、ｉ＝ｋの地点と遠い位置関係にある場合、Ｖｊ＞Ｖｋの条件が与えられる。更新部１２２は、ｉ＝ｍの地点を訪問済みの訪問状態ｓに対する価値関数Ｖの出力値Ｖｉがこの条件を満たさない場合、損失関数Ｌにペナルティ値Ａ１を加算することができる。

【0055】

（変形例２）
移動条件は、上記順位又は位置のように優先すべき条件に限らず、制約条件であってもよい。制約条件としては、例えば各地点間にエージェント３０の進行を阻む障害物があるか、ルートが一方通行である等の移動時の空間的な制約条件が挙げられる。更新部１２２は、この制約条件が満たされない場合、損失関数Ｌにペナルティ値Ａ２を加算することができる。

【0056】

例えば、ｉ＝ｊの地点Ｋｊからは進入できないエリアがあり、当該エリアにｉ＝ｋの地点Ｋｋが位置する場合、ｍａｘＶｉ≠Ｖｋの条件が与えられる。ｉ＝ｊの地点を訪問済みの訪問状態ｓに対する価値関数Ｖからの出力値Ｖｉのうち、地点Ｋｊの出力値Ｖｊが最大である場合、つまりｍａｘＶｉ＝Ｖｋである場合、与えられた移動条件を満たさないため、損失関数Ｌにペナルティ値Ａ２が加算される。このときのペナルティ値Ａ２としては、例えばＡ２＝｜Ｖｋ｜又はＡ２＝｜Ｖｋ｜^２を用いることができる。

【0057】

ペナルティ値Ａ２の加算により損失関数Ｌの誤差が拡大する。当該誤差を最小化するように、つまり地点Ｋｋの出力値Ｖｋが他の地点より小さくなるように価値関数Ｖが更新されていくため、地点Ｋｊから地点Ｋｋに向かって移動する行動が選択されにくくなる。なお、制約条件を満たさない場合のペナルティ値Ａ２は、優先条件を満たさない場合のペナルティ値Ａ１の代わりに加算されてもよいし、両方が加算されてもよい。

【符号の説明】

【0058】

１・・・データ処理装置、１２・・・ルート探索部、１２１・・・計算部、１２２・・・更新部、１３・・・記憶部

【図1】

【図2】

【図3】

【図4】