特開 2024-104832 仕分け装置の学習装置、仕分け装置の学習方法、及び仕分け装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024104832

(43)【公開日】2024-08-06

(54)【発明の名称】仕分け装置の学習装置、仕分け装置の学習方法、及び仕分け装置

(51)【国際特許分類】

   B65G 1/00 20060101AFI20240730BHJP

   B65G 47/46 20060101ALI20240730BHJP

【ＦＩ】

B65G1/00 501C

B65G47/46 Z

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023009216

(22)【出願日】2023-01-25

(71)【出願人】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(71)【出願人】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100124062

【弁理士】

【氏名又は名称】三上 敬史

(74)【代理人】

【識別番号】100148013

【弁理士】

【氏名又は名称】中山 浩光

(74)【代理人】

【識別番号】100162640

【弁理士】

【氏名又は名称】柳 康樹

(72)【発明者】

【氏名】岡本 和也

(72)【発明者】

【氏名】小出 幸和

(72)【発明者】

【氏名】野田 五十樹

【テーマコード（参考）】

3F015

3F022

【Ｆターム（参考）】

3F015AA06

3F015FA01

3F015FA02

3F015GA01

3F015GA02

3F022AA15

3F022FF01

3F022JJ01

3F022JJ19

3F022MM11

3F022NN31

3F022NN38

(57)【要約】

【課題】搬送効率を向上することができる仕分け装置の学習装置、仕分け装置の学習方法、及び仕分け装置を提供する。
【解決手段】制御部４１は、候補経路が複数存在する場合に、一つの候補経路を選択する経路選択部４３を備える。従って、経路選択部４３は、特に好ましい候補経路を選択することができる。経路選択部４３は、それぞれの候補経路に対し、行動を選択する確率、及び行動に伴う報酬に基づく方策評価を行うことによりＱ値を演算する。これにより、経路選択部４３は、各候補経路における行動を評価することができる。また、経路選択部４３は、方策評価によるＱ値の結果に対し、出力結果が収束するまで方策改善を繰り返すことで、候補経路を選択する。この場合、経路選択部４３は、各候補経路における条件しながら方策評価を行い、好ましい候補経路を選択できるようになるまで、処理を繰り返すことができる。
【選択図】図３

【特許請求の範囲】

【請求項1】

垂直搬送機を少なくとも含み、物品を仕分ける仕分け装置において、前記物品の経路を学習する制御部を備える仕分け装置の学習装置であって、
前記制御部は、
前記物品の前記経路の候補となる候補経路を探索する経路探索部と、
前記候補経路が複数存在する場合に、一つの候補経路を選択する経路選択部と、を備え、
前記経路選択部は、
それぞれの前記候補経路に対し、行動を選択する確率、及び行動に伴う報酬に基づく方策評価を行うことによりＱ値を演算し、
前記方策評価によるＱ値の結果に対し、出力結果が収束するまで方策改善を繰り返すことで、前記候補経路を選択する、仕分け装置の学習装置。

【請求項2】

前記経路選択部は、
行動のうち前記仕分け装置が有する搬入手段に前記物品が存在しない隙間部分が存在する場合を仮定し、
前記隙間部分に前記物品が存在しない場合、及び存在する場合におけるＱ値の結果をそれぞれ演算し、
それぞれのＱ値の結果の平均値を演算し、当該演算結果を前記隙間部分が存在する行動における演算に用いる、請求項１に記載の仕分け装置の学習装置。

【請求項3】

垂直搬送機を少なくとも含み、物品を仕分ける仕分け装置において、前記物品の経路を学習する仕分け装置の学習方法であって、
前記物品の前記経路の候補となる候補経路を探索する経路探索工程と、
前記候補経路が複数存在する場合に、一つの候補経路を選択する経路選択工程と、を備え、
前記経路選択工程では、
それぞれの前記候補経路に対し、行動を選択する確率、及び行動に伴う報酬に基づく方策評価を行うことによりＱ値を演算し、
前記方策評価によるＱ値の結果に対し、出力結果が収束するまで方策改善を繰り返すことで、前記候補経路を選択する、仕分け装置の学習方法。

【請求項4】

垂直搬送機を少なくとも含み、物品を仕分ける仕分け装置であって、
前記物品の経路に基づいて前記物品を仕分ける仕分け制御を行う仕分け制御部を備え、
前記仕分け制御部は、請求項１又は２の仕分け装置の学習装置によって選択された前記候補経路が記憶された記憶部から、前記物品の経路を読み出すことによって、前記仕分け制御を行う、仕分け装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仕分け装置の学習装置、仕分け装置の学習方法、及び仕分け装置に関する。

【背景技術】

【0002】

従来、物品を仕分ける仕分け装置として、例えば特許文献１に記載されたものが知られている。このシステムは、物品を搬入して、所定の階数の棚に仕分ける。仕分けられた物品は、各階にて、保管されて、出庫のタイミングになったら、搬送されて出庫される。この仕分け装置は、予め最適な経路を最適化テーブルに格納しておき、仕分け装置の運用時に最適化テーブルに問い合わせて、最適な経路を取得している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１４８１４６号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、上述のような仕分け装置よりも、より好適な経路を予め選択しておくことにより、搬送効率を向上することが求められていた。

【0005】

従って、本発明は、搬送効率を向上することができる仕分け装置の学習装置、仕分け装置の学習方法、及び仕分け装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る仕分け装置の学習装置は、垂直搬送機を少なくとも含み、物品を仕分ける仕分け装置において、物品の経路を学習する制御部を備える仕分け装置の学習装置であって、制御部は、物品の経路の候補となる候補経路を探索する経路探索部と、候補経路が複数存在する場合に、一つの候補経路を選択する経路選択部と、を備え、経路選択部は、それぞれの候補経路に対し、行動を選択する確率、及び行動に伴う報酬に基づく方策評価を行うことによりＱ値を演算し、方策評価によるＱ値の結果に対し、出力結果が収束するまで方策改善を繰り返すことで、候補経路を選択する。

【0007】

制御部は、物品の経路の候補となる候補経路を探索する経路探索部を備える。従って、学習装置は、仕分け装置が実際に仕分けを行うよりも事前の段階にて、物品の搬送経路として効率のよい候補経路を演算しておくことができる。ここで、制御部は、候補経路が複数存在する場合に、一つの候補経路を選択する経路選択部を備える。従って、効率の良い候補経路が複数探索された場合、経路選択部は、特に好ましい候補経路を選択することができる。経路選択部は、それぞれの候補経路に対し、行動を選択する確率、及び行動に伴う報酬に基づく方策評価を行うことによりＱ値を演算する。これにより、経路選択部は、各候補経路における行動を評価することができる。また、経路選択部は、方策評価によるＱ値の結果に対し、出力結果が収束するまで方策改善を繰り返すことで、候補経路を選択する。この場合、経路選択部は、各候補経路における方策評価を行い、好ましい候補経路を選択できるようになるまで、処理を繰り返すことができる。以上より、搬送効率を向上することができる。

【0008】

経路選択部は、行動のうち仕分け装置が有する搬入手段に物品が存在しない隙間部分が存在する場合を仮定し、隙間部分に物品が存在しない場合、及び存在する場合におけるＱ値の結果をそれぞれ演算し、それぞれのＱ値の結果の平均値を演算し、当該演算結果を隙間部分が存在する行動における演算に用いる。経路探索の演算上は、搬入手段に隙間部分が存在するが、実際の仕分け装置では、当該隙間部分に物品が存在する状態で仕分けを行う必要が生じる場合もある。従って、経路選択部は、隙間部分に物品が存在する場合と存在しない場合の両方を考慮することで、実際の仕分け作業に即した候補経路を選択することができる。

【0009】

本発明の一態様に係る仕分け装置の学習方法は、垂直搬送機を少なくとも含み、物品を仕分ける仕分け装置において、物品の経路を学習する仕分け装置の学習方法であって、物品の経路の候補となる候補経路を探索する経路探索工程と、候補経路が複数存在する場合に、一つの候補経路を選択する経路選択工程と、を備え、経路選択工程では、それぞれの候補経路に対し、行動を選択する確率、及び行動に伴う報酬に基づく方策評価を行うことによりＱ値を演算し、方策評価によるＱ値の結果に対し、出力結果が収束するまで方策改善を繰り返すことで、候補経路を選択する。

【0010】

この仕分け装置の学習方法によれば、上述の仕分け装置の学習装置と同趣旨の作用・効果を得ることができる。

【0011】

本発明の一態様に係る仕分け装置は、垂直搬送機を少なくとも含み、物品を仕分ける仕分け装置であって、物品の経路に基づいて物品を仕分ける仕分け制御を行う仕分け制御部を備え、仕分け制御部は、上述の学習装置によって選択された候補経路が記憶された記憶部から、物品の経路を読み出すことによって、仕分け制御を行う。

【0012】

この仕分け装置によれば、上述の仕分け装置の学習装置と同趣旨の作用・効果を得ることができる。

【発明の効果】

【0013】

本発明によれば、搬送効率を向上することができる仕分け装置の学習装置、仕分け装置の学習方法、及び仕分け装置を提供することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係る仕分け装置が適用される倉庫システムを示す概略側面図である。

【図2】本発明の実施形態に係る仕分け装置の構成を示す概略構成図である。

【図3】本実施形態に係る仕分け装置のブロック構成図である。

【図4】学習装置及び仕分け装置の処理内容を示す概念図である

【図5】最適化テーブルの一例である。

【図6】学習装置の処理内容を示すフローチャートである。

【図7】学習装置の処理内容について説明する概念図である。

【図8】学習装置の処理内容について説明する概念図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態について、図面を参照して詳細に説明する。

【0016】

図１は、本発明の実施形態に係る仕分け装置１が適用される倉庫システム１００を示す概略側面図である。図１に示すように、倉庫システム１００は、複数の物品１５０を入庫して保管し、保管された各物品１５０のうち、出庫すべきものを出庫可能なシステムである。倉庫システム１００は、倉庫本体部１０１と、入庫渡り通路１０３と、出庫渡り通路１０２と、入庫エレベータ１０５と、出庫エレベータ１０４と、を備える。倉庫本体部１０１は、複数段の棚１１０を有している。棚１１０は、倉庫本体部１０１の一方側の端部から他方側の端部へ延在している。棚１１０では、移載装置１１１にて、入庫経路から出庫経路への物品の移載動作が行われる。入庫渡り通路１０３は、倉庫本体部１０１の一方側の端部に設けられ、各段の棚１１０に対して物品１５０を入庫する機構である。出庫渡り通路１０２は、倉庫本体部１０１の他方側の端部に設けられ、各段の棚１１０から物品１５０を出庫する機構である。入庫エレベータ１０５は、搬入コンベア２１から入庫される物品１５０を上下させて、所望の棚１１０に対応する段の入庫渡り通路１０３へ物品１５０を供給する。出庫エレベータ１０４は、出庫対象となる物品１５０を棚１１０及び出庫渡り通路１０２から受け取り、図示しない出庫口へ昇降させる。出庫エレベータ１０４から出庫された物品１５０は、搬出コンベア１２１へ搬出される。このうち、入庫エレベータ１０５付近に、本実施形態に係る仕分け装置１が適用される。

【0017】

図２は、本発明の実施形態に係る仕分け装置１の構成を示す概略構成図である。図２に示すように、仕分け装置１は、物品１５０を搬送する搬送系２と、搬送系２を制御する仕分け制御部１０と、を備える。搬送系２は、搬入コンベア２１（搬入手段）と、搬送機２２と、搬出コンベア２３（搬出手段）と、を備える。このうち、搬送機２２は、前述の入庫エレベータ１０５を構成する機器である。搬入コンベア２１は、搬送機２２に搬入される物品１５０を当該搬送機２２側へ水平に搬送する装置である。搬入コンベア２１は、搬送機２２の所定の段に対して設けられている。搬出コンベア２３は、搬送機２２から搬出される物品１５０を水平に搬送する装置である。搬出コンベア２３は、入庫渡り通路１０３の各階（ここでは四階）に設けられる。

【0018】

搬送機２２は、水平方向移動手段（例えばコンベア）と、上下移動手段と、を備え、物品１５０を上下方向及び水平方向に移動させる装置である。これにより、搬送機２２は、各物品１５０を入庫渡り通路１０３における目的階へ移動させる。なお、図では、「ｎ階」を目的地とした物品１５０に対して、「ｎ」の数字が付されている。以降の図においても同様である。また、以降の説明では、ｎ階を目的値とした物品１５０を「ｎ階への物品」と称する場合がある。

【0019】

搬送機２２は、隣り合う複数の搬送箱２２ａを交互に昇降しつつ、物品１５０を水平方向（横方向）に移動させることで垂直搬送を行う垂直搬送機である。搬送機２２は、交互動作式の昇降装置であり、入庫レーンＲ１側の搬送棚２２Ａと、コンベア２３側の搬送棚２２Ｂと、を有している。搬送棚２２Ａ、２２Ｂは、それぞれ「自動倉庫の階数＋一階」分の段数の収容可能エリアＣＥを有している。そして、「自動倉庫の階数」分の段数（ここでは四段）で連続した搬送箱２２ａを有している。連続した搬送箱２２ａは、同時に上下移動する。連続した搬送箱２２ａが下側へ移動すると、下から順に一段目から四段目の収容可能エリアＣＥに各搬送箱２２ａが配置される。連続した搬送箱２２ａが上側へ移動すると、下から順に二段目から五段目の収容可能エリアＣＥに各搬送箱２２ａが配置される。なお、以降の説明において、単に段数について述べた場合、特に注意が無い限り、下からカウントした段数を示すものとする。また、搬送棚２２Ａの搬送箱２２ａと搬送棚２２Ｂの搬送箱２２ａは、交互に上下移動する。すなわち、搬送棚２２Ａの搬送箱２２ａが上側へ移動すると、搬送棚２２Ｂの搬送箱２２ａが下側へ移動する。これにより、搬送棚２２Ａ中の物品１５０を一段上昇させることができる（動作Ｍ１参照）。また、搬送棚２２Ａの搬送箱２２ａが下側へ移動すると、搬送棚２２Ｂの搬送箱２２ａが上側へ移動する。これにより、搬送棚２２Ｂ中の物品１５０を一段上昇させることができる。また、同じ段数において、搬送棚２２Ａの搬送箱２２ａと搬送棚２２Ｂの搬送箱２２ａとの間にて、物品１５０を水平方向に移動させることができ、相互に物品１５０の受け渡しと受け取りを行うことができる（動作Ｍ２参照）。また、搬送棚２２Ｂの搬送箱２２ａから目的の階数のコンベア２３へ物品１５０を受け渡すことができる（動作Ｍ３参照）。

【0020】

本実施形態では、下から二段目の収容可能エリアＣＥに対して入庫レーンＲ１が設けられ、下から一段目～四段目の収容可能エリアＣＥに対して四つのコンベア２３が設けられる。なお、図２において収容可能エリアＣＥのうち「Ｓ１」「Ｓ２」と示された箇所は、搬送棚２２Ａ，２２Ｂが昇降動作をするために設けられたスペースである。ただし、収容可能エリアＣＥ、入庫レーンＲ１、及びコンベア２３との位置関係は特に限定されるものではなく、物流倉庫１の構成に応じて、適宜設定されてよい。

【0021】

次に、図３を参照して、仕分け装置１及び学習装置４０のブロック構成について説明する。図３は、本実施形態に係る仕分け装置１及び学習装置４０のブロック構成図である。図４は、本実施形態に係る仕分け装置１及び学習装置４０の関係を示す概念図である。図４に示すように、仕分け装置１は、搬送効率のよい経路を設定し、当該経路にて物品１５０を搬送機２２で仕分ける。ここで、搬送機２２における経路について図４を参照して説明する。例えば、図４の「配置状態Ｓ１」に示すように、入庫レーンＲ１に対象となる物品１５０が存在している状態をスタート状態とする。図４の「最適経路ＡＳ１」の右端に示すように、全ての物品１５０が搬出コンベア２３に到達した状態をゴール状態とする。スタート状態とゴール状態との間では、仕分け装置１は、各物品の水平移動、及び垂直移動を同時に行い、各動作を組み合わせることによって、各物品１５０の目的地（目的階の搬出コンベア２３）まで搬送する。このとき、仕分け装置１は、複数の物品１５０を搬送機２２によって、搬送機２２の動作的制限下において、互いの物品１５０が干渉しないように、且つ、速やかに仕分けできるように、物品１５０を移動させる。

【0022】

学習装置４０は、仕分け装置１において搬送効率を向上できるような経路を学習する。学習装置４０は、強化学習を適用して経路を学習する。学習装置４０は、動的計画法の処理によって強化学習処理を行ってよい。例えば、学習装置４０は、実際の運用（図４の下段）がなされる事前段階に、所定のスタート状態に対して、最適経路ＡＳ１の候補となる候補経路を設定して、記憶部３に記憶される。図４に示す例では、配置状態Ｓ１に対して、候補経路ＣＳ１を設定し、記憶部３の最適化テーブルに格納している。学習装置４０は、あらゆるパターンの配置状態についての候補経路を最適化テーブルに格納できる。これにより、図４の下段に示すように、仕分け装置１は、仕分け対象となる配置状態Ｓ１の最適解を記憶部３の最適化テーブルに問い合わせる。記憶部３は、最適化テーブルの中から最適解としての最適経路ＡＳ１を仕分け装置１に返送する。これにより、仕分け装置１は、容易に最適経路ＡＳ１での仕分けが可能になる。

【0023】

仕分け制御部１０は、搬送系２を制御するユニットである。仕分け制御部１０は、搬入コンベア２１から搬入された物品１５０を搬送機２２で仕分けして搬出コンベア２３から搬出する。仕分け制御部１０は、仕分け装置１を統括的に管理するＥＣＵ[ElectronicControl Unit]を備えている。ＥＣＵは、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]、ＣＡＮ［Controller Area Network］、通信回路等を有する電子制御ユニットである。ＥＣＵでは、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。仕分け制御部１０は、動作制御部１１と、経路探索部１２と、最適化テーブル取得部１３と、を備える。

【0024】

動作制御部１１は、経路探索部１２で探索した経路に従って各物品１５０が搬送されるように、搬送系２の動作を制御するユニットである。動作制御部１１は、搬送系２の搬入コンベア２１、搬送機２２、及び搬出コンベア２３の各駆動部へ制御信号を送信することで、各駆動部を動作させる。

【0025】

経路探索部１２は、搬送系２の搬送機２２における、各物品１５０の経路を探索するユニットである。この際、経路探索部１２は、各物品１５０が仕分け部３１内にてどのような経路を通って、目的地まで到達するかを演算する。なお、経路探索部１２の経路探索方法は、例えば、特開２０２２－１４８１４６号などに記載されているような公知の方法を採用してよい。

【0026】

最適化テーブル取得部１３は、物品１５０の配置状態に対する最適な経路探索情報が予め準備された最適化テーブルを取得するユニットである。このような最適化テーブルは、記憶部３に記憶されている。従って、最適化テーブル取得部１３は、記憶部３から最適化テーブルを読み出して取得する。

【0027】

最適化テーブルは、スタート状態からゴール状態の全ての経路（図４の上段の候補経路ＣＳ１の全経路）をまとまったパターン情報として保存してもよいが、図５に示すように、ある配置状態に対して一ステップ先の最適経路を保存してもよい。図５は、一部の配置状態のみが示されているが、最適化テーブルには、あらゆる配置状態（「ｎｏｗ」の項目）の一ステップ先（「ｎｅｘｔ」の項目）の配置状態が格納されている。この場合、経路探索部１２は、スタート状態からゴール状態に至るまでの間、最適化テーブル（逆順テーブル）に再帰的に問い合わせをしてよい。例えば、経路探索部１２が配置状態Ｓ１について最適化テーブルに問い合わせたら、最適化テーブルは、一ステップ先の配置状態を最適解として返送する。次に、経路探索部１２は一ステップ先の配置状態について最適化テーブルに問い合わせ、最適化テーブルは、もう一ステップ先の配置状態を最適解として返送する。経路探索部１２は、このような問い合わせを繰り返すことで、ゴール状態までの経路を取得する。

【0028】

図３に示すように、学習装置４０は、制御部４１を備える。制御部４１は、学習装置４０を統括的に管理するＥＣＵを備える。制御部４１は、経路探索部４２と、経路選択部４３と、を備える。

【0029】

経路探索部４２は、演算の対象となる物品１５０の配置状態に対して、最適解の候補となる候補経路を探索する。なお、経路探索部４２が最適解となる候補経路を探索する方法は、例えば、特開２０２２－１４８１４６号などに記載されているような公知の方法を採用してよい。

【0030】

経路選択部４３は、候補経路が複数存在する場合に、一つの候補経路を選択する。すなわち、経路選択部４３は、一つの配置状態について、同率の評価となる候補経路が複数存在する場合、特に価値が高い候補経路を選択して、最適化テーブルに格納する。例えば、図５に示す例では、配置状態ｓ’に対して、一ステップ先の配置状態とするために選択可能な行動ａとして、三つの候補行動が候補として挙げられている。経路選択部４３は、後述の処理を行うことで、一つの行動に係る候補経路を選択経路ＤＬとして選択する。

【0031】

経路選択部４３は、それぞれの候補経路に対し、行動を選択する確率、及び行動に伴う報酬に基づく方策評価を行うことによりＱ値を演算する。最適化テーブルには、各配置状態に対するＱ値が設定される（図５参照）。学習の初期状態では、各配置状態のＱ値は「０」に設定されるが、経路選択部４３は、各配置状態に対するＱ値が収束するまで、方策評価を繰り返してＱ値を更新し続ける。また、経路選択部４３は、方策評価によるＱ値の結果に対し、出力結果が収束するまで方策改善を繰り返すことで、候補経路を選択する。

【0032】

ここで、本実施形態の例では、入庫レーンＲ１（搬入手段）には三つ分の物品１５０が配置可能である。図４に示す例では、入庫レーンＲ１に物品１５０が存在しない隙間部分ＢＫが存在している。従来の経路選択では、入庫レーンＲ１の範囲内の物品１５０だけを考慮した演算がなされていた。しかし、運用時には、入庫レーンＲ１には、当該入庫レーンＲ１の物品１５０数以上の物品１５０が入庫される（図２参照）。そのため、本実施形態に係る学習装置４０は、入庫レーンＲ１の範囲外にある物品１５０も考慮した行動価値の算出方法を強化学習に適用することができる。

【0033】

具体的に、経路選択部４３は、行動のうち仕分け装置１が有する入庫レーンＲ１に物品１５０が存在しない隙間部分ＢＫが存在する場合を仮定する（例えば、図５の「候補行動３」参照）。経路選択部４３は、隙間部分ＢＫに物品１５０が存在しない場合、及び存在する場合におけるＱ値の結果をそれぞれ演算する。経路選択部４３は、それぞれのＱ値の結果の平均値を演算し、当該演算結果を隙間部分ＢＫが存在する行動における演算に用いる。本演算の詳細については後述する。

【0034】

次に、図６を参照して、学習装置４０の動的計画法による強化学習の処理内容について説明する。図６に示すように、学習装置４０は、最適化テーブルの初期化を行う（ステップＳ１０）。ステップＳ１０では、経路選択部４３は、各配置状態に対する単数又は複数の候補経路の探索を行い、最適化テーブルに格納する。同率に評価される候補経路は、最適化テーブルに全て記述される（図５の「行動ａ’」参照）。また、各配置状態に対応するＱ値を「０」にする。最適化テーブルのその他の項目については、例えば特開２０２２－１４８１４６号に記載されているような公知の最適化テーブルと同様であってよい。方策の初期化には、離散一様分布を定義する。

【0035】

次に、経路選択部４３は、方策評価を行う（ステップＳ２０）。経路選択部４３は、それぞれの候補経路に対し、行動を選択する確率、及び行動に伴う報酬に基づく方策評価を行うことによりＱ値を演算する。ここで、図５に示すように、配置状態ｓで選択可能な行動ａとして、搬送機２２を上下方向に昇降させた行動が一つ示される。行動ａの後の配置状態が、次の配置状態ｓ’となる。配置状態ｓ’で選択可能な行動ａ’として、三つの候補行動が示される。この場合、配置状態ｓのＱ値である「Ｑ^π（ｓ，ａ）」を求める式として、以下の式（１）が採用される。「π（ｓ’， ａ’ ）」は、方策を示しており、配置状態ｓ’から行動ａ’を選ぶ確率を示している。初期状態では、複数の候補行動から均等に選択するよう離散一様分布を設定する。「Ｒ^ａ _ｓｓ’」は期待報酬を示しており、配置状態ｓから配置状態ｓ’になるまでの行動で報酬が定義される。例えば、「搬送機内を左右移動：－１．５」「搬送機を上下方向に昇降：－１．７５」「各物品が搬出コンベアに到達：＋１０」という報酬が設定されてよい。「γ」は、割引率であり、例えば０．９５に設定されてよい。

【数1】

【0036】

Ｑ値の計算について、図７に示すような簡易的な配置状態を例にして説明する。図７（ａ）は、入庫レーンＲ１に二階への物品１５０が一つ存在するスタート状態であり、図７（ｂ）（ｃ）の配置状態を経て、図７（ｄ）に示すゴール状態へ到達する。例えば、図７（ｃ）の状態のＱ値を求める。図７（ｃ）の次の行動は図７（ｄ）だけであるため、「π（ｓ’， ａ’ ）」は１となる。図７（ｄ）はゴール状態であり次のステップがないため、「Ｑ^π（ｓ’， ａ’ ）」は０となる。図７（ｃ）から図７（ｄ）の配置状態になると、ゴールに到達するため報酬は「＋１０」となる。よって、図７（ｃ）の配置状態のＱ値は「１０」となる。

【0037】

配置状態ｓのＱ値である「Ｑ^π（ｓ，ａ）」について説明する。候補行動１～３に対応する「Ｑ^π（ｓ’， ａ’）」をＱ１～Ｑ３とする。候補行動が複数ある配置状態ｓ’の場合、候補行動が三つあるので各候補行動の「π（ｓ’， ａ’ ）」の確率は三分の一（約０．３３）となる。よって、式（１）の各項に値を代入すると、「Ｑ^π（ｓ，ａ）＝－１．７５＋０．９５×（０．３３×Ｑ１＋０．３３×Ｑ２＋０．３３×Ｑ３）」となる。

【0038】

ここで、候補行動３の隙間部分ＢＫには物品１５０が存在しない。よって、経路選択部４３は、図８に示すように、隙間部分ＢＫに物品１５０が存在しない場合（図８（ａ））、及び、各階向けの物品１５０が存在する場合（図８（ｂ）～（ｅ））におけるＱ値の結果をそれぞれ演算する。そして、経路選択部４３は、それぞれのＱ値の結果の平均値を演算し、当該演算結果を隙間部分ＢＫが存在する候補行動３におけるＱ値の演算に用いる。図８（ａ）～（ｅ）における「Ｑ^π（ｓ’， ａ’ ）」をＱ３ａ～Ｑ３ｅとすると、候補行動３の「Ｑ^π（ｓ’， ａ’ ）」は、「Ｑ３＝（１／５） × （Ｑ３ａ＋Ｑ３ｂ＋Ｑ３ｃ＋Ｑ３ｄ＋Ｑ３ｅ）」という各Ｑ値の平均値となる。このような計算により、入庫レーンＲ１の範囲外にある物品１５０の影響を考慮してＱ値を計算することができる。なお、隙間部分ＢＫが二つある場合は、「物品を追加しない場合」「物品を一つ追加した場合」「物品を二つ追加した場合」のＱ値に対して、平均値を計算すればよい。

【0039】

図６に戻り、次に、経路選択部４３は、ステップＳ２０での演算結果に基づいて、最適化テーブルのＱ値を更新する（ステップＳ３０）。次に、経路選択部４３は、Ｑ値が収束したか否かを判定する（ステップＳ４０）。ステップＳ４０では、式（２）を用いて収束の判定を行う。「ｉ」は、方策評価を繰り返した回数となる。初期状態では各配置状態に対応するＱ値を全て０と仮定したため、方策評価を繰り返すことで、Ｑ値が正確な値に収束してゆく。例えば、図７（ａ）～（ｄ）のＱ値を「Ｑａ，Ｑｂ，Ｑｃ，Ｑｄ」とすると、初期段階では全て０に設定したため「０，０，０，０」となる。一回目の方策評価では、図７（ｃ）から図７（ｄ）となるときの報酬が「＋１０」であり、図７（ａ）から図７（ｂ）及び図７（ｂ）から図７（ｃ）となるときに「搬送機内を左右移動：－１．５」が起きているため「－１．５，－１．５，１０，０」となる。二回目の方策評価では、図７（ｃ）の「Ｑ^π（ｓ’， ａ’ ）」が１０となるため、図７（ｂ）のＱ値は、「Ｑ^π（ｓ，ａ）＝－１．５＋０．９５×１０＝８」となり、図７（ａ）のＱ値は、「Ｑ^π（ｓ，ａ）＝－１．５＋０．９５×（－１．５）＝－２．９２５」となるため「－２．９２５，８，１０，０」となる。三回目の方策評価では、図７（ｂ）の「Ｑ^π（ｓ’， ａ’）」が８となるため、図７（ａ）のＱ値は、「Ｑ^π（ｓ，ａ）＝－１．５＋０．９５×８＝６．１」となるため「６．１，８，１０，０」となる。四回目以降の方策評価では、各Ｑ値は変化しないため、図７についてはＱ値が収束したと言える。ある配置状態に対応するＱ値は早い段階で収束するが、他の配置状態に対応するＱ値は収束に時間がかかる場合がある。従って、経路選択部４３は、全ての配置状態に対応するＱ値のうち、前回のＱ値の演算結果との差が最も大きいものを探し、当該差が０．０１より小さければ、Ｑ値は収束したと判定する。なお、０．０１は参考値であり変更可能である。

【数2】

【0040】

ステップＳ４０が「ＮＯ」である場合、ステップＳ２０から処理が繰り返される。ステップＳ４０が「ＹＥＳ」である場合、経路選択部４３は、方策評価によるＱ値の結果に対し、方策改善を行う（ステップＳ５０）。経路選択部４３は、以下の方策改善の更新式である式（３）を用いて、方策を更新する。初期状態では、離散一様分布を設定することで、配置状態ｓで選択可能な全ての行動を選択する可能性を考慮した。従って、式（１）の「π（ｓ’， ａ’）」が全ての候補行動について一定であった。しかし、方策改善を行うことで、配置状態ｓから選択される行動ａが一つに限定される。図５の例では、候補行動２のＱ値が一番大きい場合、候補行動２の「π（ｓ’， ａ’）」が１となり、他の候補行動１，２は０となる。なお、方策改善を繰り返すなかで、候補行動１，２を選択してもよい。

【数3】

【0041】

経路選択部４３は、改善数が０であるか否かを判定する（ステップＳ６０）。ステップＳ６０が「ＮＯ」である場合、経路選択部４３は、ステップＳ２０から処理を繰り返す。これにより、改善した方策にて各Ｑ値を更新することができる。ステップＳ５０にて、何れの配置状態ｓに対しても方策改善が行われなかった場合、ステップＳ６０は「ＹＥＳ」となる。これにより、経路選択部４３は、方策評価によるＱ値の結果に対し、出力結果が収束するまで方策改善を繰り返すことができる。経路選択部４３は、出力結果が収束したときの候補行動を最適化テーブルにて選択された候補経路とする（ステップＳ７０）。選択した後は、残りの候補行動に係る候補経路は最適化テーブルから削除する。以上により、図６に示す処理が終了する。

【0042】

次に、本実施形態に係る仕分け装置１の学習装置４０、学習方法、及び仕分け装置１の作用・効果について説明する。

【0043】

制御部４１は、物品１５０の経路の候補となる候補経路を探索する経路探索部４２を備える。従って、学習装置４０は、仕分け装置１が実際に仕分けを行うよりも事前の段階にて、物品１５０の搬送経路として効率のよい候補経路を演算しておくことができる。ここで、制御部４１は、候補経路が複数存在する場合に、一つの候補経路を選択する経路選択部４３を備える。従って、効率の良い候補経路が複数探索された場合、経路選択部４３は、特に好ましい候補経路を選択することができる。経路選択部４３は、それぞれの候補経路に対し、行動を選択する確率、及び行動に伴う報酬に基づく方策評価を行うことによりＱ値を演算する。これにより、経路選択部４３は、各候補経路における行動を評価することができる。また、経路選択部４３は、方策評価によるＱ値の結果に対し、出力結果が収束するまで方策改善を繰り返すことで、候補経路を選択する。この場合、経路選択部４３は、各候補経路における条件しながら方策評価を行い、好ましい候補経路を選択できるようになるまで、処理を繰り返すことができる。以上より、搬送効率を向上することができる。

【0044】

経路選択部４３は、行動のうち仕分け装置１が有する搬入手段に物品が存在しない隙間部分ＢＫが存在する場合を仮定し、隙間部分ＢＫに物品が存在しない場合、及び存在する場合におけるＱ値の結果をそれぞれ演算し、それぞれのＱ値の結果の平均値を演算し、当該演算結果を隙間部分ＢＫが存在する行動における演算に用いる。経路探索の演算上は、入庫レーンＲ１に隙間部分ＢＫが存在するが、実際の仕分け装置１では、当該隙間部分ＢＫに物品１５０が存在する状態で仕分けを行う必要が生じる場合もある。従って、経路選択部４３は、隙間部分ＢＫに物品１５０が存在する場合と存在しない場合の両方を考慮することで、実際の仕分け作業に即した候補経路を選択することができる。

【0045】

本実施形態に係る仕分け装置１の学習方法は、垂直搬送機を少なくとも含み、物品１５０を仕分ける仕分け装置１において、物品１５０の経路を学習する仕分け装置１の学習方法であって、物品１５０の経路の候補となる候補経路を探索する経路探索工程（ステップＳＳ１０）と、候補経路が複数存在する場合に、一つの候補経路を選択する経路選択工程（ステップＳ２０～Ｓ７０）と、を備え、経路選択工程では、それぞれの候補経路に対し、行動を選択する確率、及び行動に伴う報酬に基づく方策評価を行うことによりＱ値を演算し、方策評価によるＱ値の結果に対し、出力結果が収束するまで方策改善を繰り返すことで、候補経路を選択する。

【0046】

この仕分け装置１の学習方法によれば、上述の仕分け装置１の学習装置４０と同趣旨の作用・効果を得ることができる。

【0047】

本実施形態に係る仕分け装置１は、垂直搬送機を少なくとも含み、物品１５０を仕分ける仕分け装置１であって、物品１５０の経路に基づいて物品を仕分ける仕分け制御を行う仕分け制御部１０を備え、仕分け制御部１０は、上述の学習装置４０によって選択された候補経路が記憶された記憶部３から、物品１５０の経路を読み出すことによって、仕分け制御を行う。

【0048】

この仕分け装置１によれば、上述の仕分け装置１の学習装置４０と同趣旨の作用・効果を得ることができる。

【0049】

本発明は、上述の実施形態に限定されない。

【0050】

上述の実施形態では、動的計画法が用いられたが、Ｑ学習などの他の強化学習方法が用いられてもよい。例えば、運用時に使用する保管棚の階層にバラツキを持たせたい場合がある。例えば、二階を多く利用し、四階の利用を少なくしたいなどの要望がある。この場合、強化学習にＱ学習を用いると、学習に用いるエピソードに保管棚の階層のバラツキを持たせることで、階層分布を考慮した学習が可能になる。また、入庫順番の規制を考慮したい場合がある。例えば、「一階行き→二階行き」はセットなどである。その場合も、同様にＱ学習を用いて学習のエピソードに規則性を持たせることで、規則性を考慮した学習が可能になる。

【0051】

上述の実施形態では、仕分け装置の範囲外（入庫レーンＲ１の範囲外）にある物品１５０の影響を考慮した行動評価を行ったが、範囲外の物品１５０を考慮しない行動評価を行ってもよい。この場合、Ｑ値の算出において「Ｑ３＝Ｑ３ａ」とする。この場合、行動評価の計算は容易になるが、経路選択して構築した最適化テーブルの搬送効率は、従来技術よりも向上させることができるものの、上述の実施形態より若干低下する。

【0052】

例えば、仕分け装置が適用されるシステムは、図１に示す倉庫システムに限定されない。また、仕分け部の搬送機は、図２に示すような交互に上下動するような一対の収容棚を有するタイプのものでなくてよい。例えば、ロータリー式の搬送機（収容棚が一段ずつ一定方向に周回移動するとともに、収容棚が周回移動しない際には、物品が収容棚間で移動可能な搬送機）を採用してよい。

【0053】

本実施形態では、搬入コンベア２１から入庫される物品１５０を各階の搬出コンベア２３に移動させる形態に関して説明したが、各階のコンベアから出庫される物品１５０を搬出コンベア１２１に移動させる形態に、本発明の仕分け装置の処理が適用されてもよい。

【0054】

また、搬出コンベアや搬出口は４段に限らず、２段や３段、５段より多くてもよい。また搬入口も１つではなく複数設けられていてもよい。

【符号の説明】

【0055】

１…仕分け装置、１０…仕分け制御部、４０…学習装置、４２…経路探索部、４３…経路選択部、２２…搬送機、１５０…物品、Ｒ１…入庫レーン（搬送手段）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】