特開 2023-31401 物流搬送速度制御エージェント学習装置、物流搬送速度制御エージェント学習方法、及び物流搬送速度制御エージェント学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023031401

(43)【公開日】2023-03-09

(54)【発明の名称】物流搬送速度制御エージェント学習装置、物流搬送速度制御エージェント学習方法、及び物流搬送速度制御エージェント学習プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230302BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021136852

(22)【出願日】2021-08-25

(71)【出願人】

【識別番号】516065135

【氏名又は名称】株式会社ＩＨＩ物流産業システム

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100175802

【弁理士】

【氏名又は名称】寺本 光生

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100167553

【弁理士】

【氏名又は名称】高橋 久典

(72)【発明者】

【氏名】鹿山 宏之

(72)【発明者】

【氏名】高橋 健吾

(57)【要約】

【課題】物流設備において搬送路に対して渋滞によりワークが受け付けられなくなることを抑制しつつ、エネルギ消費量を削減可能とする。
【解決手段】物流搬送路を形成する複数の搬送ユニットにおける搬送速度を制御する学習エージェント３を強化学習させる物流搬送速度制御エージェント学習装置１であって、モデル化された物流搬送路を用いて物流搬送路の状態及び当該状態に基づく報酬を算出する搬送路シミュレータ２と、報酬に基づいた評価が大きくなるように搬送速度に関する学習を行う学習エージェント３とを有し、搬送路シミュレータ２は、物流搬送路でワークの搬送が完了したことで得られる搬送完了報酬と、物流搬送路でワークの受け付けができない場合に与えられる受付拒否罰と、搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて報酬を算出する。
【選択図】図２

【特許請求の範囲】

【請求項1】

物流搬送路を形成する複数の搬送ユニットにおける搬送速度を制御する学習エージェントを強化学習させる物流搬送速度制御エージェント学習装置であって、
モデル化された前記物流搬送路を用いて前記物流搬送路の状態及び当該状態に基づく報酬を算出する搬送路シミュレータと、
前記報酬に基づいた評価が大きくなるように前記搬送速度に関する学習を行う前記学習エージェントと
を有し、
前記搬送路シミュレータは、前記物流搬送路でワークの搬送が完了したことで得られる搬送完了報酬と、前記物流搬送路で前記ワークの受け付けができない場合に与えられる受付拒否罰と、前記搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて前記報酬を算出する
ことを特徴とする物流搬送速度制御エージェント学習装置。

【請求項2】

モデル化された前記物流搬送路が、単一あるいは複数の搬送ユニットを含む制御対象部を複数有し、
前記学習エージェントは、前記制御対象部ごとに前記搬送速度を制御する
ことを特徴とする請求項１記載の物流搬送速度制御エージェント学習装置。

【請求項3】

前記搬送路シミュレータは、前記搬送ユニットごとの速度指令値に基づいて前記消費エネルギ増加罰を算出する
ことを特徴とする請求項２記載の物流搬送速度制御エージェント学習装置。

【請求項4】

前記搬送路シミュレータは、前記搬送ユニットごとの速度指令値を各々二乗した値の総和に基づいて前記消費エネルギ増加罰を算出することを特徴とする請求項３記載の物流搬送速度制御エージェント学習装置。

【請求項5】

前記搬送路シミュレータは、前記搬送ユニットごとの加速度に基づいて前記消費エネルギ増加罰を算出する
ことを特徴とする請求項２記載の物流搬送速度制御エージェント学習装置。

【請求項6】

前記物流搬送路におけるワークの搬送中にメンテンナンスによる停止期間が発生する可能性があるメンテナンス発生搬送ユニットが、前記物流搬送路を形成する複数の前記搬送ユニットに含まれ、
単一の前記制御対象部に含まれる前記メンテナンス発生搬送ユニットは１つ以下である
ことを特徴とする請求項２～５いずれか一項に記載の物流搬送速度制御エージェント学習装置。

【請求項7】

物流搬送路を形成する複数の搬送ユニットにおける搬送速度を制御する学習エージェントを強化学習させる物流搬送速度制御エージェント学習方法であって、
搬送路シミュレータによって、モデル化された前記物流搬送路を用いて前記物流搬送路の状態及び当該状態に基づく報酬を算出し、
前記学習エージェントが、前記報酬に基づいた評価が大きくなるように前記搬送速度に関する学習を行い、
前記搬送路シミュレータにて、前記物流搬送路でワークの搬送が完了したことで得られる搬送完了報酬と、前記物流搬送路で前記ワークの受け付けができない場合に与えられる受付拒否罰と、前記搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて前記報酬を算出する
ことを特徴とする物流搬送速度制御エージェント学習方法。

【請求項8】

コンピュータを、物流搬送路を形成する複数の搬送ユニットにおける搬送速度を制御する学習エージェントを強化学習させる物流搬送速度制御エージェント学習装置として機能させる物流搬送速度制御エージェント学習プログラムであって、
前記コンピュータを、モデル化された前記物流搬送路を用いて前記物流搬送路の状態及び当該状態に基づく報酬を算出する搬送路シミュレータと機能させ、
前記コンピュータを、前記報酬に基づいた評価が大きくなるように前記搬送速度に関する学習を行う前記学習エージェントとして機能させ、
前記コンピュータを前記搬送路シミュレータとして機能させる場合に、前記物流搬送路でワークの搬送が完了したことで得られる搬送完了報酬と、前記物流搬送路で前記ワークの受け付けができない場合に与えられる受付拒否罰と、前記搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて前記報酬を算出させる
ことを特徴とする物流搬送速度制御エージェント学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物流搬送速度制御エージェント学習装置、物流搬送速度制御エージェント学習方法、及び物流搬送速度制御エージェント学習プログラムに関するものである。

【背景技術】

【0002】

例えば特許文献１に示されているように、物流設備においては、ワークを搬送するための搬送路が複数設けられている。このような搬送路は、ワークを水平搬送するコンベヤや、ワークの移載を行う移載ロボット等の多種の搬送ユニットによって形成されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１１８１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、搬送路においてワークの搬送が滞ると、いわゆる渋滞が発生する。例えば、物流設備の全体が稼働している途中に、搬送路を形成する搬送ユニットの一部がメンテナンスによって停止する場合がある。このような場合には、メンテンナンスが実施される搬送ユニットが含まれる搬送路において、ワークの搬送が滞って渋滞が発生する。ワークの渋滞が解消されないと、時間の経過に伴って搬送路にワークを一時的に保留するスペースがなくなり、搬送路にてワークを受け付けることができなくなる。このように、上流から供給されたワークを搬送路にて受け付けることができなくなることをドロップと称する。つまり、搬送路に対して搬送能力を超える多くのワークが集まると、搬送路にてワークが受け付けできなくなり、ドロップが発生する。

【0005】

このようなドロップの発生を抑制するためには、搬送ユニットの搬送速度を常に最大とすることが考えられる。搬送ユニットの搬送速度を常に最大とすることで、搬送路におけるワークの数を最小限に抑えることができる。このため、ワークの集中や搬送ユニットのメンテナンスが発生した時点での搬送路上のワークの数が抑えられ、渋滞発生中において搬送路で一時的に受け入れられるワークの数を最大化することが可能になる。したがって、ドロップの発生を抑制することができる。

【0006】

しかしながら、常に搬送速度を最大とした場合には、渋滞が発生しないような場合においても搬送ユニットの搬送速度が不必要に最大の状態となる。このため、エネルギ消費量が大きくなることが想定される。

【0007】

本発明は、上述する問題点に鑑みてなされたもので、物流設備において搬送路に対して渋滞によりワークが受け付けられなくなることを抑制しつつ、エネルギ消費量を削減可能とすることを目的とする。

【課題を解決するための手段】

【0008】

本発明は、上記課題を解決するための手段として、以下の構成を採用する。

【0009】

本発明の第１の態様は、物流搬送路を形成する複数の搬送ユニットにおける搬送速度を制御する学習エージェントを強化学習させる物流搬送速度制御エージェント学習装置であって、モデル化された上記物流搬送路を用いて上記物流搬送路の状態及び当該状態に基づく報酬を算出する搬送路シミュレータと、上記報酬に基づいた評価が大きくなるように上記搬送速度に関する学習を行う上記学習エージェントとを有し、上記搬送路シミュレータは、上記物流搬送路でワークの搬送が完了したことで得られる搬送完了報酬と、上記物流搬送路で上記ワークの受け付けができない場合に与えられる受付拒否罰と、上記搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて上記報酬を算出するという構成を採用する。

【0010】

本発明の第２の態様は、上記第１の態様において、モデル化された上記物流搬送路が、単一あるいは複数の搬送ユニットを含む制御対象部を複数有し、上記学習エージェントが、上記制御対象部ごとに上記搬送速度を制御するという構成を採用する。

【0011】

本発明の第３の態様は、上記第２の態様において、上記搬送路シミュレータが、上記搬送ユニットごとの速度指令値に基づいて上記消費エネルギ増加罰を算出するという構成を採用する。

【0012】

本発明の第４の態様は、上記第３の態様において、上記搬送路シミュレータが、上記搬送ユニットごとの速度指令値を各々二乗した値の総和に基づいて上記消費エネルギ増加罰を算出するという構成を採用する。

【0013】

本発明の第５の態様は、上記第２の態様において、上記搬送路シミュレータが、上記搬送ユニットごとの加速度に基づいて上記消費エネルギ増加罰を算出するという構成を採用する。

【0014】

本発明の第６の態様は、上記第２～第５いずれかの態様において、上記物流搬送路におけるワークの搬送中にメンテンナンスによる停止期間が発生する可能性があるメンテナンス発生搬送ユニットが、上記物流搬送路を形成する複数の上記搬送ユニットに含まれ、単一の上記制御対象部に含まれる上記メンテナンス発生搬送ユニットは１つ以下であるという構成を採用する。

【0015】

本発明の第７の態様は、物流搬送路を形成する複数の搬送ユニットにおける搬送速度を制御する学習エージェントを強化学習させる物流搬送速度制御エージェント学習方法であって、搬送路シミュレータによって、モデル化された上記物流搬送路を用いて上記物流搬送路の状態及び当該状態に基づく報酬を算出し、上記学習エージェントが、上記報酬に基づいた評価が大きくなるように上記搬送速度に関する学習を行い、上記搬送路シミュレータにて、上記物流搬送路でワークの搬送が完了したことで得られる搬送完了報酬と、上記物流搬送路で上記ワークの受け付けができない場合に与えられる受付拒否罰と、上記搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて上記報酬を算出するという構成を採用する。

【0016】

本発明の第８の態様は、コンピュータを、物流搬送路を形成する複数の搬送ユニットにおける搬送速度を制御する学習エージェントを強化学習させる物流搬送速度制御エージェント学習装置として機能させる物流搬送速度制御エージェント学習プログラムであって、上記コンピュータを、モデル化された上記物流搬送路を用いて上記物流搬送路の状態及び当該状態に基づく報酬を算出する搬送路シミュレータと機能させ、上記コンピュータを、上記報酬に基づいた評価が大きくなるように上記搬送速度に関する学習を行う上記学習エージェントとして機能させ、上記コンピュータを上記搬送路シミュレータとして機能させる場合に、上記物流搬送路でワークの搬送が完了したことで得られる搬送完了報酬と、上記物流搬送路で上記ワークの受け付けができない場合に与えられる受付拒否罰と、上記搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて上記報酬を算出させるという構成を採用する。

【発明の効果】

【0017】

本発明によれば、搬送路シミュレータで算出された報酬が学習エージェントに入力され、報酬に基づいて学習エージェントが学習を行う。報酬は、物流搬送路でワークの搬送が完了したことで得られる搬送完了報酬と、物流搬送路でワークの受け付けができない場合に与えられる受付拒否罰と、搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて算出される。つまり、学習エージェントに入力される報酬は、搬送速度に関するエネルギ消費量が大きくなることで減少する。このため、本発明において、学習エージェントは、搬送速度に関するエネルギ消費量を小さくするように学習する。また、学習エージェントに入力される報酬は、物流搬送路でワークの受け付けができない場合に減少する。したがって、本発明によれば、学習エージェントは、物流搬送路でワークの受け付けができない場合を回避しようと学習する。よって、本発明によれば、物流設備において搬送路に対して渋滞によりワークが受け付けられなくなることを抑制しつつ、エネルギ消費量を削減することが可能になる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態における物流搬送速度制御エージェント学習装置のハードウェア構成の概略を示すブロック図である。

【図2】本発明の一実施形態における物流搬送速度制御エージェント学習装置の機能構成の概略を示すブロック図である。

【図3】モデル化された物流搬送路のイメージ図である。

【図4】ワークのドロップについて説明する模式図である。

【図5】本発明の一実施形態における物流搬送速度制御エージェント学習装置の動作を説明するためのフローチャートである。

【発明を実施するための形態】

【0019】

以下、図面を参照して、本発明に係る物流搬送速度制御エージェント学習装置、物流搬送速度制御エージェント学習方法、及び物流搬送速度制御エージェント学習プログラムの一実施形態について説明する。

【0020】

図１は、本実施形態の物流搬送速度制御エージェント学習装置１のハードウェア構成の概略を示すブロック図である。また、図１は、本実施形態の物流搬送速度制御エージェント学習装置１の機能構成の概略を示すブロック図である。

【0021】

本実施形態の物流搬送速度制御エージェント学習装置１は、学習エージェント３（図２参照）を強化学習させる装置である。学習エージェント３は、強化学習後に物流設備の制御装置にインストールされる。物流設備の制御装置にインストールされた学習エージェント３は、物流設備に設けられる物流搬送路の搬送速度を制御する。物流設備に設けられる物流搬送路は、コンベヤや移載装置等の多様な搬送ユニットによって形成される。学習エージェント３は、例えば各々の搬送ユニットにおける搬送速度の制御を行う。

【0022】

図１に示すように、物流搬送速度制御エージェント学習装置１は、記憶部１０、操作部１１、通信部１２、演算部１３及び表示部１４を備えており、コンピュータによって形成されている。

【0023】

記憶部１０は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリ、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等のストレージからなる。この記憶部１０は、学習プログラムＰ（物流搬送速度制御エージェント学習プログラム）を記憶している。また、記憶部１０は、各種のデータＤが記憶される。このデータＤには、演算部１３で用いられる初期データや、演算部１３の演算結果が含まれる。

【0024】

操作部１１は、物流搬送速度制御エージェント学習装置１を運用する作業者の操作指示を受け付ける入力装置であり、より具体的にはキーボードやマウス等のポインティングデバイスである。この操作部１１は、作業者の操作指示に対応した操作信号を演算部１３に出力する。通信部１２は、所定の通信回線を介して外部機器とデータの送受信を行う通信装置であり、例えばＬＡＮ（Local Area Network）やインターネットに準拠した通信プロトコルを用いて外部機器との通信を行う。

【0025】

演算部１３は、上述した学習プログラムＰ、データＤ、及び操作信号等に基づいて、学習エージェント３を強化学習させるための演算を行う演算装置である。この演算部１３は、インターフェース回路及びＣＰＵ（Central Processing Unit）等のハードウェアからなる。上記インターフェース回路は、記憶部１０、操作部１１、通信部１２及び表示部１４と各種信号の授受を行う電子回路である。ＣＰＵは、上述した学習プログラムＰを実行する中央処理装置である。

【0026】

表示部１４は、演算部１３で生成された画像データに基づいて学習プログラムＰに基づいて学習エージェント３の学習状態等を表示する表示装置である。なお、物流搬送速度制御エージェント学習装置１は、必ずしも表示部１４を備える必要はない。つまり、物流搬送速度制御エージェント学習装置１から通信部１２を介して出力されたデータに基づいて、外部機器が表示を行うようにしても良い。

【0027】

図１に示すようなハードウェア構成を有する物流搬送速度制御エージェント学習装置１は、図２に示す複数の機能部を有している。これらの機能部は、図１に示す各種ハードウェア、及び記憶部１０に記憶された学習プログラムＰ等が協働することによって具現化される。

【0028】

図２に示すように、物流搬送速度制御エージェント学習装置１は、上記機能部として、搬送路シミュレータ２と、学習エージェント３と、性能評価部４と、ハイパーパラメータ設定部５とを有している。

【0029】

搬送路シミュレータ２は、学習エージェント３の強化学習において用いられる「状態」、「行動」及び「報酬」のうち、「状態」及び「報酬」を算出して出力する。搬送路シミュレータ２は、モデル化された物流搬送路を用いて、学習エージェント３から出力される「行動」に基づいて、「状態」及び「報酬」を算出する。なお、モデル化された物流搬送路とは、学習後に学習プログラムＰがインストールされる物流設備に設置された物流搬送路を、シミュレーション用にモデル化したデータ群である。学習エージェント３は、物流搬送速度制御エージェント学習装置１によって強化学習されるエージェントであり、物流搬送路を形成する搬送ユニットにおけるワークの搬送速度を制御する。この学習エージェント３は、「状態」、「行動」及び「報酬」のうち、「行動」を算出して出力する。

【0030】

つまり、本実施形態の物流搬送速度制御エージェント学習装置１は、搬送路シミュレータ２で算出された「状態」及び「報酬」が学習エージェントに入力され、学習エージェントが搬送速度についての学習を行う。さらに、学習エージェント３が「行動」を選択（算出）して出力し、この「行動」に基づいて搬送路シミュレータ２が再び「状態」及び「報酬」を算出する。これらの動作を学習エージェント３の学習が進むまで繰り返すことで、物流搬送速度制御エージェント学習装置１は、学習エージェント３を強化学習させる。

【0031】

図２に示すように、搬送路シミュレータ２は、セル定義部２ａと、搬送路制御部２ｂと、報酬計算部２ｃとを有している。セル定義部２ａは、物流搬送路を複数部分（セル）に分割し、その単位要素であるセルの動作を定義する。

【0032】

図３は、モデル化された物流搬送路Ｈのイメージ図である。この図に示すように、本実施形態においては、物流搬送路Ｈは、複数のセルＳに分割して定義されている。各々のセルＳは、例えば物流搬送路Ｈを形成する搬送ユニット（コンベヤや移載ロボット等）ごとに設けられている。このような物流搬送路Ｈでは、隣接するセルＳにてワークＷが受け渡されることで、物流搬送路Ｈの一端側から他端側に向けてワークＷが搬送される。

【0033】

セル定義部２ａは、例えば各々のセルＳにおける搬送速度の設定可能範囲や加速度等の動作条件を定義する。また、本実施形態においてセル定義部２ａは、複数のセルＳ（すなわち搬送ユニット）を複数の制御対象部（第１制御対象部Ｔ１、第２制御対象部Ｔ２及び第３制御対象部Ｔ３）にグループ分けしている。

【0034】

物流搬送路Ｈを形成する複数の搬送ユニットの中には、物流設備が稼働している最中に、メンテナンス作業が必要となる搬送ユニットが存在する。このようなメンテナンス作業が必要となる搬送ユニットにてメンテナンス作業が発生すると、メンテナンス期間中、メンテナンス作業中の搬送ユニットをワークが通過できなくなる。メンテナンス作業が発生する可能性のある搬送ユニットに対応するセルＳをメンテナンス発生セルＳａ（メンテナンス発生搬送ユニット）とする。本実施形態では、このようなメンテナンス発生セルＳａは、制御対象部において１つ以下とされている。つまり、単一の制御対象部に含まれるメンテナンス発生セルＳａは、１つ以下である。このように、単一の制御対象部に含まれるメンテナンス発生セルＳａを１つ以下とすることで、単一の制御対象部の搬送速度が、複数のメンテナンス発生セルＳａの影響を受けることを抑止することが可能となる。

【0035】

本実施形態においては、例えば図３に示すように、１４個のセルＳが直列的に配列されて物流搬送路Ｈが形成されている。このような１４個のセルＳは、３つの制御対象部（第１制御対象部Ｔ１、第２制御対象部Ｔ２及び第３制御対象部Ｔ３）にグループ分けされている。第１制御対象部Ｔ１には、３つのセルＳが含まれている。第２制御対象部Ｔ２には、８つのセルＳが含まれている。第３制御対象部Ｔ３には、２つのセルＳが含まれている。なお、最後のセルＳは、ワークＷを受け取るのみでワークＷの搬送を行わないため、制御対象部に含められていない。

【0036】

また、本実施形態においては、第２制御対象部Ｔ２に含まれるセルＳのうち、最も搬送方向における上流側に位置するセルＳは、周期的にメンテナンスが行われるメンテナンス発生セルＳａである。また、本実施形態においては、第３制御対象部Ｔ３に含まれるセルＳのうち、最も搬送方向における上流側に位置するセルＳは、周期的にメンテナンスが行われるメンテナンス発生セルＳａである。

【0037】

このように制御対象部にメンテナンス発生セルＳａが含まれる場合には、制御対象部の最も上流側にメンテナンス発生セルＳａを配置することができる。制御対象部の最も上流側にメンテナンス発生セルＳａを配置することで、メンテナンス発生セルＳａでメンテナンスが発生した場合に、メンテナンス発生セルＳａの上流端に最も近接して配置されたセルＳまでワークＷを搬送することが可能になる。

【0038】

図２に戻り、搬送路制御部２ｂは、各々のセルＳを統括し、入力される「行動」に基づいて物流搬送路Ｈの全体の「状態」を算出する。具体的には、学習エージェント３からは、「行動」として、各々のセルＳの速度指令値が搬送路制御部２ｂに入力される。搬送路制御部２ｂは、セル定義部２ａで定義された条件の下、モデル化された物流搬送路Ｈを用いて、速度指令値に基づいて「状態」を算出する。搬送路制御部２ｂは、これらの速度指令値に応じて各々のセルＳの搬送速度を設定する。

【0039】

報酬計算部２ｃは、搬送路制御部２ｂで算出された「状態」に基づいて、「報酬」を算出する。本実施形態において報酬計算部２ｃは、例えば、下式（１）に基づいて「報酬」を算出する。

【0040】

【数1】

【0041】

式（１）において、ｒ_ｔは、時刻ｔにおける報酬を示している。また、ｘ_{ｔ，ｃａｔｃｈ}は、時刻ｔにて物流搬送路Ｈの最下流（上流側から１４番目のセルＳ）までワークＷを運んだかそうでないかに対応して１か０を取る変数である。なお、物流搬送路Ｈの最下流までワークＷを運んだ場合には、ｘ_{ｔ，ｃａｔｃｈ}は１を取る。一方、物流搬送路Ｈの最下流までワークＷを運んでいない場合には、ｘ_{ｔ，ｃａｔｃｈ}は０を取る。

【0042】

また、式（１）において、ｘ_{ｔ，ｄｒｏｐ}は、時刻ｔにてワークＷのドロップが発生したかそうでないかに対応して１か０を取る変数である。なお、ワークＷのドロップが発生した場合には、ｘ_{ｔ，ｄｒｏｐ}は１を取る。一方、ワークＷのドロップが発生していない場合には、ｘ_{ｔ，ｄｒｏｐ}は０を取る。

【0043】

ドロップとは、上流から物流搬送路Ｈに供給されようとするワークＷを物流搬送路Ｈにて受け付けることができなくなった事象が発生したことを意味する。図４は、ワークＷのドロップについて説明する模式図である。

【0044】

例えば、図４（ａ）に示すように、メンテナンス発生セルＳａにてメンテナンスが発生すると、ワークＷはメンテナンス発生セルＳａを通過することができなくなる。ただし、図４（ａ）に示すように、メンテナンス発生セルＳａの上流側にワークＷを留め置きすることが可能なセルＳが存在する場合には、物流搬送路ＨにてワークＷを受け取ることができるため、ドロップは発生しない。

【0045】

一方で、図４（ｂ）に示すように、メンテナンス発生セルＳａの上流側にワークＷを留め置きすることが可能なセルＳが存在しない場合には、物流搬送路ＨにてワークＷを受け取ることができない。このため、メンテナンス発生セルＳａの上流側にワークＷを留め置きすることが可能なセルＳが存在しない場合において、上流から物流搬送路Ｈに供給されようとするワークＷを物流搬送路Ｈにて受け付けることができなくなり、ワークＷのドロップが発生する。

【0046】

また、式（１）において、ｖ_{（ｔ，ｉ）}は時刻ｔにおけるｉ番目のセルＳへの速度指令値である。ＮはセルＳの総数である。またＡ、Ｂ、Ｃはハイパーパラメータである。

【0047】

式（１）において右辺第１項は、物流搬送路ＨでワークＷの搬送が完了したことで得られる搬送完了報酬を示している。また、式（１）において右辺第２項は、物流搬送路ＨでワークＷの受け付けができない場合に与えられる受付拒否罰を示している。また、式（１）において右辺第３項は、搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰を示している。

【0048】

つまり、本実施形態において報酬計算部２ｃは、物流搬送路ＨでワークＷの搬送が完了したことで得られる搬送完了報酬と、物流搬送路ＨでワークＷの受け付けができない場合に与えられる受付拒否罰と、搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて「報酬」を算出する。

【0049】

このような本実施形態の物流搬送速度制御エージェント学習装置１では、式（１）の右辺第１項によって、物流搬送路ＨでワークＷの搬送が完了するように学習エージェント３を学習させることができる。また、本実施形態の物流搬送速度制御エージェント学習装置１では、式（１）の右辺第２項によって、ワークＷのドロップを発生させないように学習エージェント３を学習させることができる。また、本実施形態の物流搬送速度制御エージェント学習装置１では、式（１）の右辺第３項によって、搬送速度に関するエネルギ消費量が大きくなることを抑制するように学習エージェント３を学習させることができる。

【0050】

したがって、本実施形態の物流搬送速度制御エージェント学習装置１では、物流搬送路ＨでワークＷの搬送が完了すること、ワークＷのドロップを発生させないことを優先として、搬送速度に関するエネルギ消費量が大きくなることを抑制するように学習エージェント３を学習させることができる。

【0051】

また、式（１）の右辺第３項に示されているように、本実施形態において報酬計算部２ｃは、セルＳ（搬送ユニット）ごとの速度指令値を各々二乗した値の総和に基づいて消費エネルギ増加罰を算出している。つまり、報酬計算部２ｃは、セルＳ（搬送ユニット）ごとの速度指令値に基づいて消費エネルギ増加罰を算出している。速度指令値が大きくなるほど、セルＳ（搬送ユニット）の消費エネルギが増加する。したがって、セルＳ（搬送ユニット）ごとの速度指令値に基づいて消費エネルギ増加罰を算出することによって、搬送ユニットの速度に応じて罰則を変化させることができる。

【0052】

なお、本実施形態では、セルＳ（搬送ユニット）ごとの速度指令値を各々二乗した値の総和に基づいて消費エネルギ増加罰を算出している。このような構成を採用することによって、搬送ユニットの搬送速度が大きい状態でさらに搬送速度を高めようとした場合の罰則が、搬送ユニットの搬送速度がゼロあるいは小さい状態で搬送速度を高めようとした場合の罰則よりも大きくなる。このため、例えば、搬送ユニットにおいて、ワークＷが停止した状態やワークＷの搬送速度が小さい状態から一定の速度まで搬送速度を素早く速めることが可能となる一方で、ワークＷの搬送速度が既に速い状態からさらに速めようとする動作を防ぐように学習エージェント３を学習させることができる。

【0053】

本実施形態において学習エージェント３は、ＰＰＯ（Proximal Policy Optimization）アルゴリズムに基づいて強化学習を行う。なお、学習エージェント３における強化学習の方法は、ＰＰＯアルゴリズムに限られるものではない。例えば、学習エージェント３は、Q-learning法、Soft Actor-Critic法、Temporal Difference learning法等に基づいて強化学習を行うようにしても良い。

【0054】

本実施形態において、学習エージェント３は、価値推定ネットワーク３ａと、方策ネットワーク３ｂと、ネットワーク更新部３ｃとを備えている。価値推定ネットワーク３ａは、搬送路シミュレータ２で算出された「状態」を用いて状態価値を推定する。方策ネットワーク３ｂは、価値推定ネットワーク３ａで推定された状態価値と、搬送路シミュレータ２で算出された「状態」を用いて、次に取る「行動」（各々のセルＳに対する速度指令値）を決定する。

【0055】

ネットワーク更新部３ｃは、ネットワーク更新部３ｃは、搬送路シミュレータ２で算出された「報酬」に基づいて、価値推定ネットワーク３ａと、方策ネットワーク３ｂとを更新する。例えば、ネットワーク更新部３ｃは、ＰＰＯアルゴリズムの更新式に従って、得られる「報酬」が最大化されるように価値推定ネットワーク３ａのパラメータと、方策ネットワーク３ｂのパラメータとを更新する。例えば、ネットワーク更新部３ｃは、搬送路シミュレータで算出された「報酬」の系列から累積報酬の系列を得て、状態価値の系列を用いてアドバンテージの系列を得ることで、価値推定ネットワーク３ａ及び方策ネットワーク３ｂの更新を行う。

【0056】

性能評価部４は、学習エージェント３が予め定められた性能を満たしているか否かの判定を行う。例えば、性能評価部４は、物流搬送路ＨでワークＷの搬送が完了すること、ワークＷのドロップを発生させないことを前提として、搬送速度に関するエネルギ消費量が予め定められた閾値を下回った場合に、学習エージェント３が予め定められた性能を満たしていると判定する。

【0057】

性能評価部４にて、学習エージェント３が予め定められた性能を満たしていると判定された場合には、学習エージェント３が学習済みとなり、学習エージェント３の強化学習が終了される。一方、性能評価部４にて、学習エージェント３が予め定められた性能を満たしていないと判定された場合には、学習エージェント３が学習済みとはならずに、学習エージェント３の強化学習が引き続き行われる。

【0058】

ハイパーパラメータ設定部５は、報酬計算部２ｃで用いる報酬計算式（例えば上述の式（１））におけるハイパーパラメータを設定する。例えば、学習エージェント３の学習率と、報酬計算式で用いる係数とがハイパーパラメータとして、ハイパーパラメータ設定部５によって設定される。

【0059】

なお、学習エージェント３の学習率とは、ネットワーク更新部３ｃにおける更新度合いの程度を決めるパラメータである。また、報酬計算式として上述の式（１）を用いる場合には、式（１）におけるＡ、Ｂ及びＣの係数がハイパーパラメータである。

【0060】

また、ハイパーパラメータ設定部５は、性能評価部４によって学習エージェント３が予め定められた性能を満たしていないと判定された場合に、報酬計算式におけるハイパーパラメータを更新する。つまり、ハイパーパラメータ設定部５は、報酬計算式として上述の式（１）を用いる場合には、性能評価部４によって学習エージェント３が予め定められた性能を満たしていないと判定された場合に、式（１）における係数Ａ、係数Ｂ及び係数Ｃを更新する。

【0061】

ハイパーパラメータ設定部５は、予め記憶されたアルゴリズムに基づいてハイパーパラメータを決定する。このアルゴリズムとしては、例えばベイズ最適化法のアルゴリズムを用いることができる。

【0062】

次に、このような構成の本実施形態の物流搬送速度制御エージェント学習装置１の動作（物流搬送速度制御エージェント学習方法）について、図５のフローチャートを参照して説明する。

【0063】

なお、以下の説明においては、物流搬送路Ｈのモデル化と、セル定義部２ａによるセルＳの定義は既に完了しているものとする。
図５に示すように、まず、ハイパーパラメータが決定される（ステップＳ１）。ここでは、ハイパーパラメータ設定部５によって、学習エージェント３の強化学習に用いるハイパーパラメータ（学習エージェント３の学習率や、報酬計算式で用いる係数）が決定される。

【0064】

続いて、搬送路シミュレータ２及び学習エージェント３の初期化が行われる（ステップＳ２）。ここでは、先の処理によって搬送路シミュレータ２や学習エージェント３が初期設定に対して変化している場合に、搬送路シミュレータ２や学習エージェント３を初期設定の状態に戻す。

【0065】

つまり、ステップＳ１にてハイパーパラメータが決定されると、ステップＳ２にて搬送路シミュレータ２及び学習エージェント３の初期化が行われる。したがって、本実施形態においては、ハイパーパラメータが更新した場合（後述するステップＳ８からステップＳ１に戻った場合）には、搬送路シミュレータ２や学習エージェント３が初期設定に戻される。

【0066】

搬送路シミュレータ２及び学習エージェント３の初期化が完了すると、タイムステップｔが０に設定され（ステップＳ３）、データ収集ステップ（ステップＳ４）が行われる。データ収集ステップでは、学習エージェント３から入力される「行動」に基づいて物流搬送路Ｈの全体の「状態」を搬送路制御部２ｂが算出する。なお、例えば、初期状態において学習エージェント３から入力される「行動」がない場合には、搬送路制御部２ｂは初期値として記憶された「状態」を出力する。

【0067】

また、データ収集ステップでは、搬送路シミュレータ２から入力された「状態」に基づいて、学習エージェント３が次のタイムステップで取る「行動」（各々のセルＳの速度指令値）を算出する。ここで、学習エージェント３は、入力された「状態」に対して、価値推定ネットワーク３ａを用いて状態価値を推定する。さらに、学習エージェント３は、状態価値と「状態」とに基づいて、単位時間後に取る「行動」を選択する。

【0068】

データ収集ステップでは、学習エージェント３から搬送路シミュレータ２に「行動」が入力されると、搬送路シミュレータ２は、セル定義部２ａにて定義された動作に従って単位時間後の「状態」を算出し、現在と単位時間後における「状態」の遷移に基づいて、現在のタイムステップにおける「報酬」を算出する。

【0069】

ここで、本実施形態においては、搬送路シミュレータ２は、物流搬送路ＨでワークＷの搬送が完了したことで得られる搬送完了報酬と、物流搬送路ＨでワークＷの受け付けができない場合に与えられる受付拒否罰と、搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて、報酬計算部２ｃにて「報酬」を算出する。

【0070】

データ収集ステップでは、搬送路シミュレータ２における「状態」及び「報酬」の算出と、学習エージェント３における「行動」の算出とが予め定められた回数行われる。データ収集ステップでは、上述の過程で得られた「報酬」が学習エージェント３においてデータとして収集される。

【0071】

続いて、パラメータ更新ステップ（ステップＳ５）が行われる。パラメータ更新ステップでは、データ収集ステップで収取された「報酬」に基づいて、学習エージェント３の価値推定ネットワーク３ａのパラメータと、方策ネットワーク３ｂとのパラメータの更新が、ネットワーク更新部３ｃによって行われる。ネットワーク更新部３ｃは、ＰＰＯアルゴリズムの更新式に従って、得られる「報酬」が最大化されるように価値推定ネットワーク３ａのパラメータと、方策ネットワーク３ｂのパラメータとを更新する。ここでは、例えば、ネットワーク更新部３ｃは、収集された「報酬」の系列から累積報酬の系列を得て、状態価値の系列を用いてアドバンテージの系列を得ることで、価値推定ネットワーク３ａ及び方策ネットワーク３ｂの更新を行う。

【0072】

パラメータ更新ステップが完了すると、タイムステップの更新が行われる（ステップＳ６）。ここでは、現在のタイムステップｔが１つ増加される。続いて、ステップＳ６において更新されたタイムステップが、予め定められた最大タイムステップ数Ｔ以上であるか否かの判定が行われる（ステップＳ７）。

【0073】

更新されたタイムステップが最大タイムステップ数Ｔ以上でない場合には、ステップＳ４に戻る。一方で、更新されたタイムステップが最大タイムステップ数Ｔ以上である場合には、学習エージェント３が十分な性能であるか否かの判定が行われる（ステップＳ８）。ここでは、性能評価部４が学習エージェント３の性能を評価かつ判断する。

【0074】

ステップＳ８において、学習エージェント３の性能が十分であると判定された場合には、学習エージェント３が学習済みであるとされ、学習エージェント３の強化学習が終了となる。一方で、ステップＳ８において、学習エージェント３の性能が十分でないと判定された場合には、再びステップＳ１に戻ってハイパーパラメータを決定する。このとき、例えば、ベイズ最適化法等のアルゴリズムによってハイパーパラメータが更新される。

【0075】

なお、ステップＳ１におけるハイパーパラメータの決定は、例えば作業者や外部機器が行うようにしても良い。このような場合には、物流搬送速度制御エージェント学習装置１にハイパーパラメータ設定部５を設けないようにすることも可能である。

【0076】

ステップＳ８において、学習済みであると判定された学習エージェント３は、物流設備にインストールされ、物流設備に設置された物流搬送路の速度制御を行う。学習済みの学習エージェント３によれば、物流搬送路でワークの搬送が完了すること、ワークのドロップを発生させないことを優先として、搬送速度に関するエネルギ消費量が大きくなることを抑制するように速度制御を行う。このため、学習エージェント３を用いることで、物流設備においてワークの搬送を確実に実施可能であると共に、エネルギの消費量を削減することが可能となる。

【0077】

このような学習済みの学習エージェント３は、例えば、搬送ユニットにてメンテナンスが実施されない期間あるいはメンテナンスまでの時間的余裕があるような場合には、規定の搬送時間を超えない範囲で、ドロップが発生せずにかつエネルギ消費量が小さくなるように搬送ユニットの速度を制御する。

【0078】

また、学習済みの学習エージェント３は、例えば、ある搬送ユニットのメンテナンスが迫っている場合には、この搬送ユニットがメンテナンスに入る前までに上流側における搬送速度を増加させて、メンテナンス対象の搬送ユニットの上流側に位置するワークの数を減少させる。また、学習済みの学習エージェント３は、例えば、ある搬送ユニットがメンテナンスを行っている場合には、この搬送ユニットの上流側におけるワークの搬送速度を遅くすることで、ドロップが発生しない範囲でエネルギ消費量が小さくなるように搬送ユニットの速度を制御する。

【0079】

以上のような本実施形態の物流搬送速度制御エージェント学習装置１は、物流搬送路を形成する複数の搬送ユニットにおける搬送速度を制御する学習エージェント３を強化学習させる。本実施形態の物流搬送速度制御エージェント学習装置１は、モデル化された物流搬送路Ｈを用いて物流搬送路Ｈの状態及び当該状態に基づく報酬を算出する搬送路シミュレータ２を備えている。また、本実施形態の物流搬送速度制御エージェント学習装置１は、報酬に基づいた評価が大きくなるように搬送速度に関する学習を行う学習エージェント３を備えている。搬送路シミュレータ２は、物流搬送路ＨでワークＷの搬送が完了したことで得られる搬送完了報酬と、物流搬送路ＨでワークＷの受け付けができない場合に与えられる受付拒否罰と、搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて報酬を算出する。

【0080】

本実施形態の物流搬送速度制御エージェント学習装置１によれば、搬送路シミュレータ２で算出された報酬が学習エージェント３に入力され、報酬に基づいて学習エージェント３が学習を行う。報酬は、物流搬送路でワークの搬送が完了したことで得られる搬送完了報酬と、物流搬送路でワークの受け付けができない場合に与えられる受付拒否罰と、搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて算出される。つまり、学習エージェント３に入力される報酬は、搬送速度に関するエネルギ消費量が大きくなることで減少する。

【0081】

したがって、本実施形態の物流搬送速度制御エージェント学習装置１によれば、学習エージェント３は、搬送速度に関するエネルギ消費量を小さくするように学習する。また、学習エージェント３に入力される報酬は、物流搬送路でワークの受け付けができない場合に減少する。このため、本実施形態の物流搬送速度制御エージェント学習装置１において、学習エージェント３は、物流搬送路でワークの受け付けができない場合を回避しようと学習する。よって、本実施形態の物流搬送速度制御エージェント学習装置１によれば、物流設備において搬送路に対して渋滞によりワークが受け付けられなくなることを抑制しつつ、エネルギ消費量を削減することが可能になる。

【0082】

また、本実施形態の物流搬送速度制御エージェント学習装置１において、モデル化された物流搬送路Ｈが、単一あるいは複数の搬送ユニットを含む制御対象部を複数（第１制御対象部Ｔ１、第２制御対象部Ｔ２及び第３制御対象部Ｔ３）有している。また、学習エージェント３が、制御対象部ごとに搬送速度を制御する。このため、全ての搬送ユニットを個別に制御するよりも、制御を容易化することが可能となる。

【0083】

また、本実施形態の物流搬送速度制御エージェント学習装置１において、搬送路シミュレータ２が、搬送ユニットごとの速度指令値に基づいて消費エネルギ増加罰を算出する。このため、速度指令値が大きくなるほど、搬送ユニットの消費エネルギが増加する。したがって、搬送ユニットごとの速度指令値に基づいて消費エネルギ増加罰を算出することによって、搬送ユニットの速度に応じて罰則を変化させることができる。

【0084】

また、本実施形態の物流搬送速度制御エージェント学習装置１において、搬送路シミュレータ２が、搬送ユニットごとの速度指令値を各々二乗した値の総和に基づいて消費エネルギ増加罰を算出する。このため、搬送ユニットの搬送速度が大きい状態でさらに搬送速度を高めようとした場合の罰則が、搬送ユニットの搬送速度がゼロあるいは小さい状態で搬送速度を高めようとした場合の罰則よりも大きくなる。したがって、例えば、搬送ユニットにおいて、ワークＷが停止した状態やワークＷの搬送速度が小さい状態から一定の速度まで搬送速度を素早く速めることが可能となる一方で、ワークＷの搬送速度が既に速い状態からさらに速めようとする動作を防ぐように学習エージェント３を学習させることができる。

【0085】

また、本実施形態の物流搬送速度制御エージェント学習装置１においては、物流搬送路ＨにおけるワークＷの搬送中にメンテンナンスによる停止期間が発生する可能性があるメンテナンス発生搬送ユニット（メンテナンス発生セルＳａ）が、物流搬送路を形成する複数の搬送ユニットに含まれ、単一の制御対象部に含まれるメンテナンス発生搬送ユニット（メンテナンス発生セルＳａ）は１つ以下である。このように、単一の制御対象部に含まれるメンテナンス発生セルＳａを１つ以下とすることで、単一の制御対象部の搬送速度が、複数のメンテナンス発生セルＳａの影響を受けることを抑止することが可能となる。

【0086】

また、以上のような本実施形態の物流搬送速度制御エージェント学習方法は、物流搬送路を形成する複数の搬送ユニットにおける搬送速度を制御する学習エージェント３を強化学習させる。本実施形態の物流搬送速度制御エージェント学習方法は、搬送路シミュレータ２によって、モデル化された物流搬送路Ｈを用いて物流搬送路Ｈの状態及び当該状態に基づく報酬を算出する。また、本実施形態の物流搬送速度制御エージェント学習方法においては、学習エージェント３が、報酬に基づいた評価が大きくなるように搬送速度に関する学習を行い、搬送路シミュレータ２にて、報酬を算出する。さらに、搬送路シミュレータ２によって、物流搬送路でワークの搬送が完了したことで得られる搬送完了報酬と、物流搬送路でワークの受け付けができない場合に与えられる受付拒否罰と、搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて報酬を算出する。

【0087】

このような本実施形態の物流搬送速度制御エージェント学習方法によれば、搬送路シミュレータ２で算出された報酬が学習エージェント３に入力され、報酬に基づいて学習エージェント３が学習を行う。報酬は、物流搬送路でワークの搬送が完了したことで得られる搬送完了報酬と、物流搬送路でワークの受け付けができない場合に与えられる受付拒否罰と、搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて算出される。つまり、学習エージェント３に入力される報酬は、搬送速度に関するエネルギ消費量が大きくなることで減少する。

【0088】

したがって、本実施形態の物流搬送速度制御エージェント学習方法によれば、学習エージェント３は、搬送速度に関するエネルギ消費量を小さくするように学習する。また、学習エージェント３に入力される報酬は、物流搬送路でワークの受け付けができない場合に減少する。このため、本実施形態の物流搬送速度制御エージェント学習方法において、学習エージェント３は、物流搬送路でワークの受け付けができない場合を回避しようと学習する。よって、本実施形態の物流搬送速度制御エージェント学習方法によれば、物流設備において搬送路に対して渋滞によりワークが受け付けられなくなることを抑制しつつ、エネルギ消費量を削減することが可能になる。

【0089】

また、本実施形態においては、上述のように、コンピュータが学習プログラムＰによって、物流搬送速度制御エージェント学習装置１として機能される。この学習プログラムＰは、コンピュータを、搬送路シミュレータ２及び学習エージェント３として機能させる。つまり、学習プログラムＰは、コンピュータを、物流搬送路を形成する複数の搬送ユニットにおける搬送速度を制御する学習エージェント３を強化学習させる物流搬送速度制御エージェント学習装置１として機能させる。また、学習プログラムＰは、コンピュータを、モデル化された物流搬送路Ｈを用いて物流搬送路Ｈの状態及び当該状態に基づく報酬を算出する搬送路シミュレータ２と機能させる。また、学習プログラムＰは、コンピュータを、報酬に基づいた評価が大きくなるように搬送速度に関する学習を行う学習エージェント３として機能させる。さらに、学習プログラムＰは、コンピュータを搬送路シミュレータ２として機能させる場合に、物流搬送路ＨでワークＷの搬送が完了したことで得られる搬送完了報酬と、物流搬送路ＨでワークＷの受け付けができない場合に与えられる受付拒否罰と、搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて報酬を算出させる。

【0090】

このような本実施形態の学習プログラムＰによれば、搬送路シミュレータ２で算出された報酬が学習エージェント３に入力され、報酬に基づいて学習エージェント３が学習を行う。報酬は、物流搬送路でワークの搬送が完了したことで得られる搬送完了報酬と、物流搬送路でワークの受け付けができない場合に与えられる受付拒否罰と、搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰とに基づいて算出される。つまり、学習エージェント３に入力される報酬は、搬送速度に関するエネルギ消費量が大きくなることで減少する。

【0091】

したがって、本実施形態の学習プログラムＰによれば、学習エージェント３は、搬送速度に関するエネルギ消費量を小さくするように学習する。また、学習エージェント３に入力される報酬は、物流搬送路でワークの受け付けができない場合に減少する。このため、本実施形態の学習プログラムＰにおいて、学習エージェント３は、物流搬送路でワークの受け付けができない場合を回避しようと学習する。よって、本実施形態の学習プログラムＰによれば、物流設備において搬送路に対して渋滞によりワークが受け付けられなくなることを抑制しつつ、エネルギ消費量を削減することが可能になる。

【0092】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は、上記実施形態に限定されないことは言うまでもない。上述した実施形態において示した各構成部材の諸形状や組み合わせ等は一例であって、本発明の趣旨から逸脱しない範囲において設計要求等に基づき種々変更可能である。

【0093】

例えば、上記実施形態においては、報酬計算式にて、搬送ユニットごとの速度指令値に基づいて消費エネルギ増加罰を算出するという構成を採用した。しかしながら、本発明はこれに限定されるものではない。例えば、物流搬送路の消費エネルギ量は、搬送ユニットの加速度に応じても変化する。つまり、搬送ユニットの加速度が大きい場合には、目標速度に到達するまでの期間が短くなるが、消費エネルギが大きくなる。一方、搬送ユニットの加速度が小さい場合には、目標速度に到達するまでの期間が長くなるが、消費エネルギが小さくなる。このため、搬送路シミュレータ２が、搬送ユニットごとの加速度に基づいて消費エネルギ増加罰を算出するという構成を採用することも可能である。

【0094】

また、上記実施形態においては、搬送ユニットごとの速度指令値を各々二乗した値の総和に基づいて消費エネルギ増加罰を算出した。しかしながら、本発明はこれに限定されるものではない。例えば、搬送ユニットごとの速度指令値の３以上の数の累乗により求められる値の総和に基づいて消費エネルギ増加罰を算出するようにしても良い。また、消費エネルギ増加罰を搬送ユニットごとに算出するようにしても良い。また、複数の搬送ユニットのうち、最も速度指令値が大きいものを用いて消費エネルギ増加罰を算出するようにしても良い。

【0095】

また、上記実施形態においては、報酬計算式における物流搬送路でワークの搬送が完了したことで得られる搬送完了報酬と、物流搬送路でワークの受け付けができない場合に与えられる受付拒否罰とが、０か１で与えられる構成について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、物流搬送路でワークの搬送が完了したことで得られる搬送完了報酬と物流搬送路でワークの受け付けができない場合に与えられる受付拒否罰との両方あるいはいずれか一方が、０から１までの中間値をとる構成を採用することも可能である。

【0096】

また、上記実施形態においては、報酬計算式が、物流搬送路でワークの搬送が完了したことで得られる搬送完了報酬を示す第１項と、物流搬送路でワークの受け付けができない場合に与えられる受付拒否罰を示す第２項と、搬送速度に関するエネルギ消費量が大きくなることで増加する消費エネルギ増加罰を示す第３項との３つの項を有していた。しかしながら、本発明はこれに限定されるものではなく、第４項以上の項を有する報酬計算式を用いることも可能である。

【符号の説明】

【0097】

１……物流搬送速度制御エージェント学習装置、２……搬送路シミュレータ、２ａ……セル定義部、２ｂ……搬送路制御部、２ｃ……報酬計算部、３……学習エージェント、３ａ……価値推定ネットワーク、３ｂ……方策ネットワーク、３ｃ……ネットワーク更新部、４……性能評価部、５……ハイパーパラメータ設定部、Ｈ……物流搬送路、Ｐ……学習プログラム（物流搬送速度制御エージェント学習プログラム）、Ｓ……セル（搬送ユニット）、Ｓａ……メンテナンス発生セル（メンテナンス発生搬送ユニット）、Ｔ１……第１制御対象部（制御対象部）、Ｔ２……第２制御対象部（制御対象部）、Ｔ３……第３制御対象部（制御対象部）、Ｗ……ワーク

【図1】

【図2】

【図3】

【図4】

【図5】