知財求人 - 知財ポータルサイト「IP Force」
▶ 独立行政法人産業技術総合研究所の特許一覧 ▶ 株式会社豊田自動織機の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-04
(45)【発行日】2024-04-12
(54)【発明の名称】物流倉庫
(51)【国際特許分類】
B65G 1/04 20060101AFI20240405BHJP
B65G 1/137 20060101ALI20240405BHJP
【ＦＩ】
B65G1/04 507
B65G1/137 A
【請求項の数】
4
(21)【出願番号】P 2021085574
(22)【出願日】2021-05-20
(65)【公開番号】P2022178629
(43)【公開日】2022-12-02
【審査請求日】2023-08-24
(73)【特許権者】
【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
(73)【特許権者】
【識別番号】000003218
【氏名又は名称】株式会社豊田自動織機
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100124062
【弁理士】
【氏名又は名称】三上 敬史
(74)【代理人】
【識別番号】100148013
【弁理士】
【氏名又は名称】中山 浩光
(74)【代理人】
【識別番号】100162640
【弁理士】
【氏名又は名称】柳 康樹
(72)【発明者】
【氏名】野田 五十樹
(72)【発明者】
【氏名】加藤 紀彦
(72)【発明者】
【氏名】内田 雅喜
(72)【発明者】
【氏名】岡本 和也
【審査官】内田 茉李
(56)【参考文献】
【文献】特許第６６７７８５８（ＪＰ，Ｂ１）
【文献】特開昭６３－２１２６０４（ＪＰ，Ａ）
【文献】特開２０１７－１３４５６５（ＪＰ，Ａ）
【文献】特表２０２０－５３６０２５（ＪＰ，Ａ）
【文献】特開２０２０－１１４７７２（ＪＰ，Ａ）
【文献】特開昭５８－０９５００２（ＪＰ，Ａ）
【文献】特開２０１７－０３３９７９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６５Ｇ １／０４
Ｂ６５Ｇ １／１３７
(57)【特許請求の範囲】
【請求項1】
物品を保管する自動倉庫と、所定の順序に並べられた複数の前記物品を搬送する搬送レーンと、
前記搬送レーンと前記自動倉庫との間に設けられた搬送機と、
少なくとも前記搬送機を制御する制御部と、を備える物流倉庫であって、
前記制御部は、
前記自動倉庫の入庫・出庫情報を用いて、前記搬送機の動作順序リストに含まれる動作順序に対する最適指標を学習によって算出する学習処理部と、
前記最適指標に基づいて、前記動作順序リストから前記搬送機の動作順序を決定する動作順序決定部と、を有する、物流倉庫。
【請求項2】
前記学習処理部は、前記入庫・出庫情報に基づいて算出された前記物品の入庫・出庫特性の確率分布を取得すると共に、当該確率分布に基づいて前記動作順序リストにおける学習対象を選択して、Ｑ学習を行う、請求項１に記載された物流倉庫。
【請求項3】
前記学習処理部は、第１の物品リストの次に組み合わせられる第２の物品リストに対応する動作順序をランダムに選択し、
前記第２の物品リストの次に組み合わせられる第３の物品リストを前記確率分布に基づいて選択して、前記Ｑ学習を行う、請求項２に記載の物流倉庫。
【請求項4】
前記確率分布は、少なくとも前記自動倉庫の各階から入庫・出庫される前記物品の個数に基づいて算出される、請求項２又は３に記載の物流倉庫。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物流倉庫に関する。
【背景技術】
【0002】
物流センターなどでは、多品種の物品を自動倉庫に収納して保管している。そして物品を自動倉庫から出庫するときの効率的な方法が求められている。このような自動倉庫を有する物流倉庫として、従来、例えば特許文献１に記載されたものが知られている。この物流倉庫では、物品を出庫するために使用される搬送機をどのように選定するかという問題に対して、搬送機の能力及び出庫パレット数から搬送機の占有時間を評価し、時間が最小となるような出庫パレットの組合せパターンを計算している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００２－１７９２２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、上述の物流倉庫では、搬送機の能力と出庫パレット数に基づいて、適切な搬送機を選択することができるものの、どのような動作順序で搬送機を動作させることが適切であるかを演算することができない。従って、物流倉庫の搬送効率を向上させることができず、搬送効率のよい動作順序を演算しようとした場合に、演算処理時間が長くなってしまうという問題がある。
【0005】
従って、本発明は、搬送効率を向上させると共に、搬送機の動作順序の演算処理時間を短縮することができる物流倉庫を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る物流倉庫は、物品を保管する自動倉庫と、所定の順序に並べられた複数の物品を搬送する搬送レーンと、搬送レーンと自動倉庫との間に設けられた搬送機と、少なくとも搬送機を制御する制御部と、を備える物流倉庫であって、制御部は、自動倉庫の入庫・出庫情報を用いて、搬送機の動作順序リストに含まれる動作順序に対する最適指標を学習によって算出する学習処理部と、最適指標に基づいて、動作順序リストから搬送機の動作順序を決定する動作順序決定部と、を有する。
【0007】
物流倉庫において、制御部は、自動倉庫の入庫・出庫情報を用いて、搬送機の動作順序リストに含まれる動作順序に対する最適指標を学習によって算出する学習処理部を備えている。このように、学習処理部は、自動倉庫の入庫・出庫情報を反映させた状態にて、搬送機の動作順序の最適指標を学習することができる。動作順序決定部は、このような学習処理部での学習結果に係る最適指標に基づいて、動作順序リストから搬送機の動作順序を決定することができる。従って、動作順序決定部は、自動倉庫の入庫・出庫情報に対応する形で、適切な動作順序を決定することができ、物品の搬送効率を向上させることができる。また、動作順序決定部は、複雑な演算を行わなくとも、学習された最適指標を用いることで、適切な動作順序を速やかに決定することができる。そのため、動作順序決定部は、搬送機の動作順序を速やかに決定することが可能となる。以上より、搬送効率を向上させると共に、搬送機の動作順序の演算処理時間を短縮することができる。
【0008】
学習処理部は、入庫・出庫情報に基づいて算出された物品の入庫・出庫特性の確率分布を取得すると共に、当該確率分布に基づいて動作順序リストにおける学習対象を選択して、Ｑ学習を行ってよい。学習処理部が確率分布に基づいて学習を行う場合、物品の入庫・出庫特性を十分に反映させた状態で学習を行うことができる。また、学習処理部がＱ学習を行うことにより、未来の状態を考慮した選択が可能となる。
【0009】
学習処理部は、第１の物品リストの次に組み合わせられる第２の物品リストに対応する動作順序をランダムに選択し、第２の物品リストの次に組み合わせられる第３の物品リストを確率分布に基づいて選択して、Ｑ学習を行ってよい。この場合、学習処理部が学習を行う際の物品の配列が未知の場合であっても、未知の物品を確率分布に基づいて選択しながら、順次Ｑ学習を行うことができる。
【0010】
確率分布は、少なくとも自動倉庫の各階から入庫・出庫される物品の個数に基づいて算出されてよい。この場合、自動倉庫の階及び物品の個数に基づいて確率分布を容易に算出することが可能となる。
【発明の効果】
【0011】
本発明によれば、搬送効率を向上させると共に、搬送機の動作順序の演算処理時間を短縮することができる物流倉庫を提供できる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施形態に係る物流倉庫を示す概略側面図である。
【図2】本発明の実施形態に係る物流倉庫の構成を示す概略構成図である。
【図3】搬送系をモデル化した図である。
【図4】本実施形態に係る物流倉庫のブロック構成図である。
【図5】制御部の処理を概念的に示した概念図である。
【図6】制御部の処理を概念的に示した概念図である。
【図7】制御部の処理内容を説明するためのモデル図である。
【図8】外部記憶装置に記憶される組み合わせモデルとしてのＱテーブルの一例を示す図である。
【図9】確率分布の一例を示す図である。
【図10】制御部の処理内容を示すフローチャートである。
【図11】（ａ）は比較例が演算する物品リストの組み合わせの一例を示す図であり、（ｂ）は比較例２の動作効率を示すグラフである。
【図12】実施例、及び比較例１，２の効果を比較するためのグラフである。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【0014】
図１は、本発明の実施形態に係る物流倉庫１を示す概略側面図である。図１に示すように、物流倉庫１は、複数の物品１５０を入庫して保管し、保管された各物品１５０のうち、出庫すべきものを出庫可能なシステムである。物流倉庫１は、自動倉庫１００と、入庫エレベータ１０４（搬送機）と、出庫エレベータ１０５（搬送機）と、入庫レーン１２１（搬送レーン）と、出庫レーン２１（搬送レーン）と、を備える。自動倉庫１００は、物品１５０を保管する倉庫である。自動倉庫１００は、倉庫本体部１０１と、入庫渡り通路１０２と、出庫渡り通路１０３と、を備える。倉庫本体部１０１は、複数段の棚１１０を有している。棚１１０は、倉庫本体部１０１の一方側の端部から他方側の端部へ延在している。棚１１０では、移載装置１１１にて、入庫経路から出庫経路への物品の移載動作が行われる。入庫渡り通路１０２は、倉庫本体部１０１の一方側の端部に設けられ、各段の棚１１０に対して物品１５０を入庫する機構である。出庫渡り通路１０３は、倉庫本体部１０１の他方側の端部に設けられ、各段の棚１１０から物品１５０を出庫する機構である。入庫エレベータ１０４は、入庫レーン１２１から入庫される物品１５０を上下させて、所望の棚１１０に対応する段の入庫渡り通路１０２へ物品１５０を供給する。出庫エレベータ１０５は、出庫対象となる物品１５０を棚１１０及び出庫渡り通路１０３から受け取り、図示しない出庫口へ昇降させる。出庫エレベータ１０５から出庫された物品１５０は、出庫レーン２１へ搬出される。
【0015】
図２は、本発明の実施形態に係る物流倉庫１の構成を示す概略構成図である。以降の説明においては、物流倉庫１のうち、出庫側の構成を例にして説明を行う。ただし、本実施形態では出庫側の構成及び処理のみについて例示しているが、入庫側についても同趣旨の構成及び処理を採用可能である。この場合、物流倉庫１は、後述の出庫情報処理部１３に代えて「入庫情報処理部」を有する事となり、あるいは出庫情報処理部１３に加えて「入庫情報処理部」を有する事となる。図２に示すように、物流倉庫１は、物品１５０を搬送する搬送系２と、搬送系２を制御する制御部１０と、を備える。搬送系２は、出庫レーン２１と、搬送機２２と、自動倉庫１００のコンベア２３と、を備える。このうち、搬送機２２は、前述の出庫エレベータ１０５を構成する機器である。出庫レーン２１は、搬送機２２から物品１５０を受け取って水平に搬送する装置である。出庫レーン２１は、搬送機２２の所定の段に対して設けられている。コンベア２３は、自動倉庫１００から搬送機２２へ物品１５０を水平に搬送する装置である。コンベア２３は、出庫渡り通路１０３の各階（ここでは五階）に設けられる。
【0016】
搬送機２２は、水平方向移動手段（例えばコンベア）と、上下移動手段と、を備え、物品１５０を上下方向及び水平方向に移動させる装置である。これにより、搬送機２２は、各物品１５０を出庫渡り通路１０３における各階から受け取り、出庫レーン２１へ搬送することができる。なお、図では、自動倉庫１００での保管状態において「ｎ階」に配置される物品１５０に対して、「ｎ」の数字が付されている。以降の図においても同様である。また、以降の説明では、ｎ階の物品１５０を「ｎ階の物品」と称する場合がある。
【0017】
搬送機２２は、交互動作式の昇降装置であり、出庫レーン２１側の搬送棚２２Ａと、コンベア２３側の搬送棚２２Ｂと、を有している。搬送棚２２Ａ、２２Ｂは、それぞれ「自動倉庫の階数＋一階」分の段数の収容可能エリアＣＥを有している。そして、「自動倉庫の階数」分の段数（ここでは五段）で連続した搬送箱２２ａを有している。連続した搬送箱２２ａは、同時に上下移動する。連続した搬送箱２２ａが下側へ移動すると、下から順に一段目から五段目の収容可能エリアＣＥに各搬送箱２２ａが配置される。連続した搬送箱２２ａが上側へ移動すると、下から順に二段目から六段目の収容可能エリアＣＥに各搬送箱２２ａが配置される。なお、以降の説明において、単に段数について述べた場合、特に注意が無い限り、下からカウントした段数を示すものとする。また、搬送棚２２Ａの搬送箱２２ａと搬送棚２２Ｂの搬送箱２２ａは、交互に上下移動する。すなわち、搬送棚２２Ａの搬送箱２２ａが上側へ移動すると、搬送棚２２Ｂの搬送箱２２ａが下側へ移動し、搬送棚２２Ａの搬送箱２２ａが下側へ移動すると、搬送棚２２Ｂの搬送箱２２ａが上側へ移動する。また、同じ段数において、搬送棚２２Ａの搬送箱２２ａと搬送棚２２Ｂの搬送箱２２ａとの間にて、物品１５０を水平方向に移動させることができ、相互に物品１５０の受け渡しと受け取りを行うことができる。
【0018】
本実施形態では、下から二段目の収容可能エリアＣＥに対して出庫レーン２１が設けられ、下から一段目～五段目の収容可能エリアＣＥに対して五つのコンベア２３が設けられる。なお、図２において収容可能エリアＣＥの中で「Ｌ」「Ｒ」と示された箇所は、搬送棚２２Ａ，２２Ｂが昇降動作をするために設けられたスペースである。ただし、収容可能エリアＣＥ、出庫レーン２１、及びコンベア２３との位置関係は特に限定されるものではなく、物流倉庫１の構成に応じて、適宜設定されてよい。
【0019】
以降の説明においては、搬送系２を図３のようにモデル化して示す場合がある。一つの物品１５０を配置可能なエリアが、一つの四角形で示されている。なお、各物品１５０は、干渉物がないかぎり、水平方向に同時動作が可能である。垂直動作としては、搬送機２２の搬送棚の垂直動作中は、搬送機２２内の物品１５０は動作不可である。搬送機２２の垂直動作中は、出庫レーン２１及びコンベア２３は水平動作可能である。
【0020】
次に、図４を参照して、物流倉庫１のブロック構成について説明する。図４は、本実施形態に係る物流倉庫１のブロック構成図である。制御部１０は、搬送系２を制御するユニットである。制御部１０は、自動倉庫１００の各階から物品１５０を搬送機２２で受け取り、出庫レーン２１へ搬出するための制御を行う。制御部１０は、物流倉庫１を統括的に管理するＥＣＵ[ElectronicControl Unit]を備えている。ＥＣＵは、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]、ＣＡＮ［Controller Area Network］、通信回路等を有する電子制御ユニットである。ＥＣＵでは、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。制御部１０は、情報取得部１１と、学習処理部１２と、出庫情報処理部１３と、動作順序決定部１４と、動作制御部１６と、外部記憶装置１７と、を備える。本実施形態に係る物流倉庫１は、実際に搬送系２で物品１５０を搬送する前段階、あるいは搬送と同時に、自動倉庫１００の過去の出庫情報に基づいた学習を行う。また、物流倉庫１は、学習結果を用いて、搬送系２で物品１５０を搬送することができる。物流倉庫１が入庫側についての処理を行う場合、出庫情報処理部１３に代えて「入庫情報処理部」を有する事となり、あるいは出庫情報処理部１３に加えて「入庫情報処理部」を有する事となる。なお、以降の説明においては、本実施形態に係る物流倉庫１の制御部１０が物流倉庫１を実際に制御する時における処理を概念的に示した概念図を示す図５を適宜参照する。また、本実施形態に係る物流倉庫１の制御部１０の学習時における処理を概念的に示した概念図を示す図６を適宜参照する。
【0021】
まず、物流倉庫１の制御部１０が物流倉庫１を実際に制御するための構成要素について説明する。情報取得部１１は、実際の物品１５０の搬送時に用いられる各種情報を取得するユニットである。図５に示すように、情報取得部１１は、物品１５０の搬送時は、上位システムなどからの入力情報として出庫物品リストを取得する。出庫物品リストは、自動倉庫１００における物品１５０の保管状態に関する保管情報と、出庫レーン２１における物品１５０の搬送順序とを関連付けた搬送順序情報を示すリストである。保管状態に関する保管情報とは、本実施形態では、各物品１５０が自動倉庫１００において、どの階数に保管されていたかを示す情報である。出庫レーン２１における物品１５０の搬送順序は、搬送機２２から出庫レーン２１に払い出される物品１５０の順序である。図５では、出庫順序の１番目から「３階の物品、２階の物品、２階の物品、４階の物品、５階の物品」の順で出庫される旨の出庫物品リストが入力される。
【0022】
動作順序決定部１４は、出庫物品リストに対応して搬送系が採用する動作順序を決定するユニットである。図５に示すように、動作順序決定部１４は、出庫物品リストの分割処理を行い、分割結果を外部記憶装置１７に格納された組み合わせモデルに照会することで、動作順序を決定する。動作順序決定部１４は、出庫物品リストを搬送順に特定物品数の物品リストＧｉ，Ｇｉ＋１に分割する。本実施形態では、動作順序決定部１４は、出庫順序の前側の物品リストＧｉの末尾の末尾物品と、出庫順序の後側の物品リストＧｉ＋１の先頭の先頭物品とが、同一となるように出庫物品リストを分割する。具体的に、動作順序決定部１４は、「３階の物品、２階の物品、２階の物品」という物品リストＧｉと、「２階の物品、４階の物品、５の物品」という物品リストＧｉ＋１と、に分割する。
【0023】
ここで、搬送系２の動作順序について説明する。物品リストＧｉの動作順序とは、物品リストＧｉの各物品１５０が自動倉庫１００から搬送機２２に搬出される直前の状態（初期状態）から、出庫レーン２１への出庫が完了した状態（出庫完了状態）とするまでの間に実行される、搬送系２の動作ステップパターンを示す情報である。動作ステップパターンは、複数の動作ステップの組み合わせによって構成される。物品リストＧｉに対応する初期状態は、図７において「初期状態」で示すようなモデル図のような状態となる。すなわち、自動倉庫１００の搬出口（搬送機２２へ物品１５０を搬出する直前の位置）において、２階には二つの物品１５０が並び、３階には一つの物品１５０が配置されている。このような初期状態から、図７に示すように、搬送機２２を含む搬送系２が「動作ステップ１」～「動作ステップ６」を行う。これにより、「動作ステップ６」に示すように、「３階の物品、２階の物品、２階の物品」の順で三つの物品１５０の出庫レーン２１への出庫が完了する。このように、初期状態から出庫完了までに至る複数の動作ステップの組み合わせが、物品リストＧｉの動作順序に該当する。
【0024】
ここで、物品リストＧｉの物品１５０を初期状態から出庫完了状態とするための動作順序は、図７に示すものに限定されず、他にも複数の動作順序が存在している。動作ステップ数も図７では６ステップとなっているが、同じ動作ステップ数の動作順序も複数存在する。すなわち、６ステップより多いステップ数の動作順序も複数あり、同じ６ステップで異なる動作順序も複数ある。また、物品リストＧｉ＋１に対しても複数の動作順序が存在している。そのため、物品リストＧｉ，Ｇｉ＋１という一つの組み合わせに対して、「物品リストＧｉの動作順序＋物品リストＧｉ＋１の動作順序」の組み合わせが複数存在する。
【0025】
従って、外部記憶装置１７の組み合わせモデルは、図８に示すように、「物品リストＧｉの動作順序＋物品リストＧｉ＋１の動作順序」の動作順序の組み合わせが複数格納された動作順序リストを有すると共に、各動作順序の組み合わせに対して最適指標が設定されている。従って、動作順序決定部１４は、最適指標に基づいて、物品リストＧｉの動作順序（既知）に対して最適な物品リストＧｉ＋１の動作順序（未知）を選択することによって、出庫物品リストに対する搬送系２の動作順序を決定する。本実施形態では、最適指標として強化学習によって算出されたＱ値が採用されている。従って、動作順序決定部１４は、「物品リストＧｉの動作順序＋物品リストＧｉ＋１の動作順序」の動作順序の組み合わせのうち、設定されたＱ値が最小となるものを選択する。Ｑ値の算出方法の詳細については後述する。なお、図８に示すような組み合わせモデルをＱテーブルと称する場合もある。
【0026】
なお、図８の組み合わせモデルの動作順序リストは、物品リストＧｉに対する複数の動作順序に対して、「ｅｉ：物品リストＧｉの動作順序リスト番号」を付した状態で格納している。また、図８の組み合わせモデルの動作順序リストは、物品リストＧｉ＋１に対する複数の動作順序に対して、「ｅｉ＋１：物品リストＧｉ＋１の動作順序リスト番号」を付した状態で格納している。また、図８の組み合わせモデルは、「物品リストＧｉの動作順序＋物品リストＧｉ＋１の動作順序」の動作順序の組み合わせのそれぞれに対して、「ｒ：物品の移動回数（すなわち動作ステップの個数）」が格納されている。
【0027】
なお、本実施形態では、物品リストＧｉの動作順序のうちの末尾物品に対応する動作ステップパターンと、物品リストＧｉ＋１の動作順序のうちの先頭物品に対応する動作ステップパターンとを重ね合わせることで、両者の動作順序の結合が行われる。外部記憶装置７の組み合わせモデルには、当該結合がなされた状態の「物品リストＧｉの動作順序＋物品リストＧｉ＋１の動作順序」の動作順序の組み合わせが格納されている。
【0028】
動作制御部１６は、動作順序決定部１４によって決定された動作順序に基づいて搬送系２が動作するように、搬送系２を制御するユニットである。
【0029】
次に、まず、物流倉庫１の制御部１０が学習を行うための構成要素について説明する。図６に示すように、学習時において、情報取得部１１は、自動倉庫１００の出庫情報と、予め作成された動作順序リストと、を取得する。自動倉庫１００の出庫情報とは、過去の所定期間中における出庫の実績を示すデータである。図６に示す例では、出庫情報として、過去１００日分の出庫データが例示されている。この出庫情報は、過去１００日分で、自動倉庫１００の各階から何個の物品１５０が出庫されたかを示している。
【0030】
動作順序リストは、図８に示すデータベースのうち、「Ｑ値」の項目を除いた部分に対応する情報である。すなわち、動作順序リストは、「物品リストＧｉ，Ｇｉ＋１」の組み合わせを複数有する。また、動作順序リストは、「物品リストＧｉ，Ｇｉ＋１」の組み合わせのそれぞれに対して、「物品リストＧｉの動作順序＋物品リストＧｉ＋１の動作順序」の動作順序の組み合わせを複数有する。図６では、「特定物品数＝３」とした時の物品リストＧｉ，Ｇｉ＋１の一例として、出庫順に「３階の物品、２階の物品、２階の物品」という組み合わせを有する物品リストＧｉと、出庫順に「２階の物品、４階の物品、５階の物品」という組み合わせを有する物品リストＧｉ＋１が示されている。
【0031】
出庫情報処理部１３は、情報取得部１１で取得された自動倉庫１００の出庫情報を用いて、学習処理部１２が学習を行うことが出来る情報に処理するユニットである。本実施形態では、図６に示すように、出庫情報処理部１３は、出庫情報に基づいて物品１５０の出庫特性の確率分布を算出してよい。このような確率分布は、少なくとも自動倉庫１００の各階から出庫される物品１５０の個数に基づいて算出される。例えば、図９（ａ）に示す表が出庫情報として取得された場合、出庫情報処理部１３は、当該出庫情報を用いて図９に示すような確率分布を算出することができる。図９（ａ）に示す表では、各階の出庫数がいずれも１０００個となっている。従って、図９（ｂ）に示すように、各階からの物品が出庫される確率は、何れの階においても５分の１となっている。なお、出庫情報処理部１３は、単に各階の出庫数のみから確率分布を算出するのみならず、出庫順序、所定の特定の階から出庫された後に出庫される傾向を示す相関関係などの情報も考慮して、確率分布を算出してもよい。出庫情報処理部１３は、出庫情報を反映して学習を行うことができる情報であれば、確率分布以外の態様にて、出庫情報に関する情報を出力してよい。例えば、出庫情報処理部１３は、過去の所定期間における出庫順序などをそのまま学習処理部１２に出力してよい。
【0032】
学習処理部１２は、自動倉庫１００の出庫情報を用いて、搬送系２の動作順序リストに含まれる動作順序に対する最適指標を学習によって算出するユニットである。学習処理部１２は、図８の組み合わせモデルにおいて、「物品リストＧｉの動作順序＋物品リストＧｉ＋１の動作順序」の動作順序の組み合わせのそれぞれに対して設定された最適指標を学習によって算出する。学習処理部１２は、出庫情報に基づいて算出された物品１５０の出庫特性の確率分布を取得すると共に、当該確率分布に基づいて動作順序リストにおける学習対象を選択して、強化学習処理としてＱ学習を行う。学習処理部１２は、強化学習処理を行うことで、外部記憶装置１７のルールセットを更新する。
【0033】
具体的に、学習処理部１２は、以下の式（１）を用いてＱ値の更新を繰り返し行う。式（１）は、現在の「Ｇｔ、ｅｔ、Ｇｔ＋１、ｅｔ＋１」の組み合わせに対して設定されたＱ値と、次の「Ｇｔ＋１、ｅｔ＋１、Ｇｔ＋２、ｅｔ＋２」の組み合わせに対して設定されたＱ値とを用いることによって、「Ｇｔ、ｅｔ、Ｇｔ＋１、ｅｔ＋１」の組み合わせに対して設定されたＱ値を更新する式である。なお、現在のＱ値と次のＱ値のどちらを重み付けするかは、学習率αの値を変更することで調整可能である。「Ｇｔ、ｅｔ、Ｇｔ＋１、ｅｔ＋１」の組み合わせについては、図８のＱテーブルのうち、「Ｇｔ、ｅｔ、Ｇｔ＋１」の組み合わせのうち、最もＱ値が小さくなるものを採用する。なお、学習開始の初期状態においては、図８のＱテーブルの各Ｑ値には、暫定的な初期値が設定されている。これに対し、学習処理部１２は、出庫情報を用いて物品リストを順次更新しながら、式（１）を用いてＱ値を更新する。このようなＱ値の更新を繰り返し行うと、Ｑ値は、妥当な値に収束していく。このように収束したＱ値は、最適指標としての信頼度が高い値となる。
【数1】
【0034】
図１０を参照して、学習処理部１２による学習処理の内容の一例について説明する。まず、学習処理部１２は、図８のＱテーブルを初期化する（ステップＳ１０）。また、式（１）によるＱ値の計算を行うための初期値を設定する。例えば、「ｔ＝１」として、「Ｇ１：［５（階の物品）、２、１］、ｅ１、Ｇ２［１、３、３］、ｅ２、Ｇ３［３、４、２］」を既知の初期値に設定しておく。これにより、学習処理部１２は、これらの初期値を用いてＱ値を算出し（ステップＳ１０）、Ｑテーブルを更新する（ステップＳ３０）。これにより、外部記憶装置１７のルールセットが更新される。次に、学習処理部１２は、物品リストＧ３に対応する未定の動作順序リスト番号ｅ３を任意に選択する。ここでは、学習処理部１２は、物品リストＧ２（第１の物品リスト）の次に組み合わせられる物品リストＧ３（第２の物品リスト）に対応する動作順序をランダムに選択する。
【0035】
次に、学習処理部１２は、「ｔ＝ｔ＋１」とすることで、ｔの値を一つ進める（ステップＳ５０）。これにより、「ｔ＝２」となる。ここで、物品リストＧ３の次の物品リストＧ４は未知である。従って、学習処理部１２は、未知の物品リストＧ４を確率分布に従って選択する（ステップＳ６０）。例えば、「Ｇ３［３、４、２］」に続く物品として［４、５］が確率分布に基づいて選択された場合、物品リストＧ４は［２、４、５］となる。
【0036】
ここで、学習処理部１２は、図８のＱテーブルのＱ値が収束しているか否かを判定する。Ｑ値が収束していないと判定された場合、学習処理部１２は、「Ｇ２：［１、３、３］、ｅ２、Ｇ３［３、４、２］、ｅ３、Ｇ４［２、４、５］」として、式（１）を用いてＱ値を算出する（ステップＳ２０）。このように、物品リストを順次選択していきながら、ステップＳ２０～ステップＳ６０の処理を様々な組み合わせに係るＱ値について繰り返し行う。これにより、図８のＱテーブルに含まれる各Ｑ値が更新されていく。ステップＳ７０において、ＱテーブルのＱ値が収束したと判定された場合、図１０に示す処理が終了する。
【0037】
次に、本実施形態に係る物流倉庫の作用・効果について説明する。
【0038】
本実施形態に係る物流倉庫１において、制御部１０は、自動倉庫１００の出庫情報を用いて、搬送機２２を含む搬送系２の動作順序リストに含まれる動作順序に対する最適指標を学習によって算出する学習処理部１２を備えている。このように、学習処理部１２は、自動倉庫１００の出庫情報を反映させた状態にて、搬送機２２の動作順序の最適指標を学習することができる。動作順序決定部１４は、このような学習処理部１２での学習結果に係る最適指標に基づいて、動作順序リストから搬送機２２の動作順序を決定することができる。従って、動作順序決定部１４は、自動倉庫１００の出庫情報に対応する形で、適切な動作順序を決定することができ、物品１５０の搬送効率を向上させることができる。また、動作順序決定部１４は、複雑な演算を行わなくとも、学習された最適指標を用いることで、適切な動作順序を速やかに決定することができる。そのため、動作順序決定部１４は、搬送機２２の動作順序を速やかに決定することが可能となる。以上より、搬送効率を向上させると共に、搬送機２２の動作順序の演算処理時間を短縮することができる。
【0039】
学習処理部１２は、出庫情報に基づいて算出された物品１５０の出庫特性の確率分布を取得すると共に、当該確率分布に基づいて動作順序リストにおける学習対象を選択して、Ｑ学習を行ってよい。学習処理部１２が確率分布に基づいて学習を行う場合、物品１５０の出庫特性を十分に反映させた状態で学習を行うことができる。また、学習処理部１２がＱ学習を行うことにより、未来の状態を考慮した選択が可能となる。例えば、第１の物品リストと第２の物品リストを組合せるときに、第２の物品リストのどの動作順序を選択すれば、更に続く第３の物品リストとも良い組合せができるかといった未来の状態を考慮することが可能となる。
【0040】
学習処理部１２は、第１の物品リストの次に組み合わせられる第２の物品リストに対応する動作順序をランダムに選択し、第２の物品リストの次に組み合わせられる第３の物品リストを確率分布に基づいて選択して、Ｑ学習を行ってよい。この場合、学習処理部１２が学習を行う際の物品１５０の配列が未知の場合であっても、未知の物品１５０を確率分布に基づいて選択しながら、順次Ｑ学習を行うことができる。
【0041】
確率分布は、少なくとも自動倉庫１００の各階から出庫される物品１５０の個数に基づいて算出されてよい。この場合、自動倉庫１００の階及び物品１５０の個数に基づいて確率分布を容易に算出することが可能となる。
【0042】
例えば、比較例にかかる演算装置として、三つの物品の物品リストが複数組み合わせられたものについての搬送系２の動作順序を演算によって決定する演算装置を例示する。例えば、図１１（ａ）に示すように、２つの物品リストの組み合わせ、３つの物品リストの組み合わせ…７つの物品リストの組み合わせを行う場合を例示する。ここで、比較例１においては、組み合わせに係る物品リストの全てを一度に動作順序を演算する。比較例２においては、二の物品リストの組み合わせについて動作順序を演算し、それ以降は一つずつ物品リストを結合することで、順次、動作順序を演算する。この場合、図１２（ａ）に示すように、比較例１では、物品リストの組み合わせが増加するに従って、計算時間が大きく増加してしまうという問題がある。図１２（ｂ）に示すように、比較例２では、比較例１に比して動作のステップ数が増えている。自動倉庫では、１日あたり数百以上の物品が出庫されため、比較例２では、物品リスト数が増えるにつれて計算時間が増大する。また、実際の物流倉庫の現場では１日に出庫される全物品が事前には未決定で、自動倉庫の稼働中に出庫される物品が決定する状況もある。稼働中に物品が決定する状況下で、搬送系２の動作順序を求めると、動作効率が低下するという問題がある。具体的に、図１１（ｂ）の「Ａ～Ｆ」は、比較例２において「２つの物品リストの組み合わせ～７つの物品リストの組み合わせ」の動作順序の計算を行ったときの動作効率を示している。図１１（ｂ）に示すように、物品リストが増えるに従って、動作効率が低下している。
【0043】
これに対し、実施例として、強化学習によって学習したＱテーブルを用いて動作順序を演算する演算装置の実験結果を図１２に示す。図１２（ａ）に示すように、比較例１に比して大幅に計算時間を低減することができることが確認できる。具体的に、実施例は、組み合わせ数によらず、計算時間を約０．０３秒程度に抑えることができている。また、図１２（ｂ）に示すように、実施例は、比較例２よりも動作効率を約３％向上できている。特に、実施例では、自動倉庫の稼働中に出庫される物品が決定する状況であっても、予め学習を行っておいたＱ値を用いて動作順序を決定できるため、速やかに演算を行うことが出来る。実施例の演算装置は、物流倉庫１の現場でリアルタイムに学習してもよく、事前に学習をおこなっておいてもよく、現場の運用状況や変更に合わせた組合せモデルの構築が可能になる。
【0044】
本発明は、上述の実施形態に限定されない。
【0045】
上述の実施形態では、学習処理部１２は、出庫情報として、過去の実績情報を用いていたが、将来の出庫予定情報を用いて学習を行うことも可能である。また、データが少なく、確率分布を定義することが困難な場合であっても、ベイズ統計などを用いて最初に定義した確率分布を更新することも可能である。
【0046】
また、図１０のステップＳ４０では、未定の動作順序リスト番号をランダムに選択したが、ε－ｇｒｅｅｄｙ行動選択やＳｏｆｔｍｉｎ行動選択を用いた選択も適用可能である。
【0047】
また、外部記憶装置１７は、データベースではなく、テキストファイルなどの装置にも適用可能である。また、動作順序リストやＱテーブルを記憶する記憶部は、制御部１０の外部の記憶装置でなくともよく、制御部１０内部に設けられてもよい。
【0048】
図５は、出庫順序の前側の物品リストＧｉの末尾の末尾物品と、出庫順序の後側の物品リストＧｉ＋１の先頭の先頭物品とが、同一となるように出庫物品リストを分割した状態のルールセットが例示された。これに加え、ルールセットを作成するとき、同一の物品で分割しない場合も考慮してＱ学習させることで、同一物品が有る無し両方に対応したルールセットが作成可能となる。
【0049】
なお、物流倉庫１は、図１に示すような構成に限定されない。また、搬送機２２は、図２に示すような交互に上下動するような一対の収容棚を有するタイプのものでなくてよい。例えば、ロータリー式の搬送機（収容棚が一段ずつ一定方向に周回移動するとともに、収容棚が周回移動しない際には、物品が収容棚間で移動可能な搬送機）を採用してよい。また、搬送機として、図２に示すような垂直型の昇降機タイプのものではなく、水平型の搬送機が採用されてもよい。
【0050】
上述の実施形態では、出庫情報を用いて学習し、出庫時の動作順序を決定する例について説明した。ただし、物流倉庫は、入庫情報を用いて学習し、入庫時の動作順序を決定してもよい。入庫情報とは、過去の所定期間中における入庫の実績を示すデータである。なお、請求項における「入庫・出庫」とは、入庫、及び出庫の少なくとも一方を含む情報であることを意味する。従って、物流倉庫１は、入庫情報を用いて学習し、入庫時の動作順序を決定してよい。なお、物流倉庫１は、上述の学習及び動作順序の決定の処理を、出庫側のみに適用してよいし、入庫側のみに適用してよいし、出庫側及び入庫側の両方に適用してよい。
【符号の説明】
【0051】
１…物流倉庫、１０…制御部、１２…学習処理部、１４…動作順序決定部、２１…出庫レーン（搬送レーン）、２２…搬送機、１００…自動倉庫、１２１…入庫レーン（搬送レーン）。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】