特許 7513366 入出荷管理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-01

(45)【発行日】2024-07-09

(54)【発明の名称】入出荷管理システム

(51)【国際特許分類】

   G06Q 10/08 20240101AFI20240702BHJP

   B65G 1/04 20060101ALI20240702BHJP

   B65G 1/137 20060101ALI20240702BHJP

【ＦＩ】

G06Q10/08

B65G1/04 555B

B65G1/137 A

【請求項の数】 6

(21)【出願番号】P 2021205793

(22)【出願日】2021-12-20

(65)【公開番号】P2023091181

(43)【公開日】2023-06-30

【審査請求日】2022-12-22

(73)【特許権者】

【識別番号】000232807

【氏名又は名称】三菱ロジスネクスト株式会社

(74)【代理人】

【識別番号】110000475

【氏名又は名称】弁理士法人みのり特許事務所

(72)【発明者】

【氏名】辻阪 龍

【審査官】野口 俊明

(56)【参考文献】

【文献】特開２０１６－２２２４５５（ＪＰ，Ａ）

【文献】特開２０２０－０５０４７９（ＪＰ，Ａ）

【文献】国際公開第２０２０／２２５９９５（ＷＯ，Ａ１）

【文献】特開２０１３－１４７３０１（ＪＰ，Ａ）

【文献】特開２００１－２２０８（ＪＰ，Ａ）

【文献】特開２０２１－１２０７８４（ＪＰ，Ａ）

【文献】特開２０１２－８６９８４（ＪＰ，Ａ）

【文献】特開２０１５－１３８３２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｂ６５Ｇ １／０４

Ｂ６５Ｇ １／１３７

(57)【特許請求の範囲】

【請求項1】

倉庫で保管される荷物に係る荷物情報と、当該荷物を搬送するための搬送手段である荷役車両に係る搬送手段情報とを取得する情報取得部と、
前記荷物情報と前記搬送手段情報とに基づいて、強化学習を行うことにより前記荷役車両の行動を決定する行動決定部と、を備え、
前記情報取得部は、前記荷物情報として、前記倉庫に入荷されている荷物に係る第１荷物情報と、前記倉庫に入荷される予定の荷物に係る第２荷物情報とを取得し、
前記第１荷物情報は、荷物の位置を示す情報と、当該荷物が出荷される出荷予定時間に係る情報と、当該荷物が出荷される出荷場所に係る情報とを含み、
前記第２荷物情報は、荷物が入荷される入荷予定時間に係る情報と、当該荷物が入荷される入荷場所に係る情報とを含み、
前記搬送手段情報は、前記荷役車両の現在地に係る情報を含み、
前記行動決定部は、荷物が当該荷物の出荷予定時間に当該荷物の出荷場所に搬送されているときに報酬を得るものとし、かつ、荷物の入荷予定時間に当該荷物の入荷場所に他の荷物が存在するときに報酬が減らされるものとして、当該報酬を最も大きくする前記荷役車両の行動を決定する
ことを特徴とする入出荷管理システム。

【請求項2】

倉庫で保管される荷物に係る荷物情報と、当該荷物を搬送するための搬送手段である荷役車両に係る搬送手段情報とを取得する情報取得部と、
前記荷物情報と前記搬送手段情報とに基づいて、強化学習を行うことにより前記荷役車両の行動を決定する行動決定部と、を備え、
前記荷物情報は、荷物の位置を示す情報と、当該荷物が出荷される出荷予定時間に係る情報と、当該荷物が出荷される出荷場所に係る情報とを含み、
前記搬送手段情報は、前記荷役車両の現在地に係る情報と、前記荷役車両の向きに係る情報と、前記荷役車両の荷役揚高に係る情報とを含み、
前記行動決定部は、荷物が当該荷物の出荷予定時間に当該荷物の出荷場所に搬送されているときに報酬を得るものとして、当該報酬を最も大きくする前記荷役車両の行動を決定する
ことを特徴とする入出庫管理システム。

【請求項3】

前記行動決定部は、荷物が当該荷物の出荷予定時間に当該荷物の出荷場所に搬送されていないときに前記報酬が減らされるものとして、当該報酬を最も大きくする前記荷役車両の行動を決定する
ことを特徴とする請求項１または２に記載の入出荷管理システム。

【請求項4】

前記第２荷物情報は、荷物が出荷される出荷予定時間に係る情報と、当該荷物が出荷される出荷場所に係る情報とをさらに含む
ことを特徴とする請求項１に記載の入出荷管理システム。

【請求項5】

前記行動決定部は、前記荷役車両の行動として、前記倉庫における荷物の保管場所と、当該荷物の入荷場所から保管場所への搬送タイミングと、当該荷物の保管場所から出荷場所への搬送タイミングとを決定する
ことを特徴とする請求項１～４のいずれか一項に記載の入出荷管理システム。

【請求項6】

前記行動決定部により決定された行動を前記荷役車両に指令する荷役指令部を備え、
前記荷役車両は、前記荷役指令部の指令に基づいて荷物を搬送する無人搬送機である
ことを特徴とする請求項１～５のいずれか一項に記載の入出荷管理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、荷物の搬送手段の行動を決定する入出荷管理システムに関するものである。

【背景技術】

【0002】

一般に、倉庫内に荷物が入荷されてから出荷されるまでの当該倉庫内における荷物の保管場所は、管理装置が所定のプログラムに従って決定するように構成されている（例えば特許文献１参照）。

【0003】

特許文献１の商品配置システムは、出荷数量、出荷量パターン、出荷量ピーク位置の変化量を算出し、当該変化量の大きさに基づいて複数の商品を複数の商品群へと分類するグルーピング手段と、過去の出荷実績に基づいて商品の出荷数量を予測する出荷予測手段と、当該出荷予測手段の出荷予測に基づいて、分類された商品群毎の配置場所、および、複数の商品の配置場所を決定する配置場所決定手段とを有している。

【0004】

しかしながら、特許文献１では、商品を効率良く出荷するための物流ロボット（搬送手段）の行動は考慮されておらず、例えば荷物の搬送距離が長かったり搬送経路が混雑したりすることで荷物の搬送に遅延が生じるおそれがあり、出荷予定時刻に荷物を出荷場所に搬送することができない場合があった。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第６４５７７０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、上記事情に鑑みてなされたものであって、荷物の搬送の遅延を抑止することで出荷予定時刻に荷物を出荷場所に搬送できる入出荷管理システムを提供することを課題とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本願発明の入出荷管理システムは、倉庫で保管される荷物に係る荷物情報と、当該荷物を搬送するための搬送手段に係る搬送手段情報とを取得する情報取得部と、前記荷物情報と前記搬送手段情報とに基づいて、強化学習を行うことにより前記搬送手段の行動を決定する行動決定部と、を備え、前記情報取得部は、前記荷物情報として、前記倉庫に入荷されている荷物に係る第１荷物情報と、前記倉庫に入荷される予定の荷物に係る第２荷物情報とを取得し、前記第１荷物情報は、荷物の位置を示す情報と、当該荷物が出荷される出荷予定時間に係る情報と、当該荷物が出荷される出荷場所に係る情報とを含み、前記第２荷物情報は、荷物が入荷される入荷予定時間に係る情報と、当該荷物が入荷される入荷場所に係る情報とを含み、前記搬送手段情報は、前記荷役車両の現在地に係る情報を含み、前記行動決定部は、荷物が当該荷物の出荷予定時間に当該荷物の出荷場所に搬送されているときに報酬を得るものとし、かつ、荷物の入荷予定時間に当該荷物の入荷場所に他の荷物が存在するときに報酬が減らされるものとして、当該報酬を最も大きくする前記搬送手段の行動を決定することを特徴とする。
また、本願発明の入出荷管理システムは、倉庫で保管される荷物に係る荷物情報と、当該荷物を搬送するための搬送手段に係る搬送手段情報とを取得する情報取得部と、前記荷物情報と前記搬送手段情報とに基づいて、強化学習を行うことにより前記搬送手段の行動を決定する行動決定部と、を備え、前記荷物情報は、荷物の位置を示す情報と、当該荷物が出荷される出荷予定時間に係る情報と、当該荷物が出荷される出荷場所に係る情報とを含み、前記搬送手段情報は、前記荷役車両の現在地に係る情報と、前記荷役車両の向きに係る情報と、前記荷役車両の荷役揚高に係る情報とを含み、前記行動決定部は、荷物が当該荷物の出荷予定時間に当該荷物の出荷場所に搬送されているときに報酬を得るものとして、当該報酬を最も大きくする前記荷役車両の行動を決定することを特徴とする。

【0008】

また、前記行動決定部は、荷物が当該荷物の出荷予定時間に当該荷物の出荷場所に搬送されていないときに前記報酬が減らされるものとして、当該報酬を最も大きくする前記荷役車両の行動を決定することが好ましい。

【0009】

また、前記第２荷物情報は、荷物が出荷される出荷予定時間に係る情報と、当該荷物が出荷される出荷場所に係る情報とをさらに含むことが好ましい。

【0010】

また、前記行動決定部は、荷物の入荷予定時間に当該荷物の入荷場所に他の荷物が存在するときに前記報酬が減らされるものとして、当該報酬を最も大きくする前記荷役車両の行動を決定することが好ましい。

【0011】

また、前記行動決定部は、前記荷役車両の行動として、前記倉庫における荷物の保管場所と、当該荷物の入荷場所から保管場所への搬送タイミングと、当該荷物の保管場所から出荷場所への搬送タイミングとを決定することが好ましい。

【0012】

また、前記行動決定部により決定された行動を前記荷役車両に指令する荷役指令部を備え、前記荷役車両は、前記荷役指令部の指令に基づいて荷物を搬送する無人搬送機であることが好ましい。

【発明の効果】

【0013】

本発明によれば、荷物の搬送の遅延を抑止することで出荷予定時刻に荷物を出荷場所に搬送できる入出荷管理システムを提供することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係る入出荷管理システムの概要図である。

【図2】同実施形態に係る倉庫内の構成を示す平面図である。

【図3】搬送手段情報、第１荷物情報、および、第２荷物情報の具体例を示す説明図である。

【発明を実施するための形態】

【0015】

図１～３を参照して、本発明の一実施形態に係る入出荷管理システム１を説明する。
図１に示すように、入出荷管理システム１は、荷物Ｎの入出荷を管理する入出荷管理装置１０と、荷物Ｎの搬送手段である無人搬送機２０と、荷物Ｎを保管するためのラック３０とを備えている。

【0016】

入出荷管理装置１０は、倉庫Ｓに入荷された荷物Ｎが倉庫Ｓから出荷されるまでの間、当該荷物Ｎを管理する装置である。入出荷管理装置１０は、情報取得部１１と、記憶部１２と、行動決定部１３と、荷役指令部１４とを備えている。入出荷管理装置１０は、外部端末Ｔおよび無人搬送機２０と通信可能に構成されている。

【0017】

情報取得部１１は、搬送手段情報および荷物情報を取得する装置である。具体的には、例えば、情報取得部１１は、無人搬送機２０から搬送手段情報を取得する通信装置と、外部サーバー等の外部端末Ｔから荷物情報を取得する通信装置とにより構成されている。搬送手段情報は、倉庫Ｓで動作する無人搬送機２０に係る情報である。荷物情報は、倉庫Ｓで保管される荷物Ｎに係る情報である。荷物情報は、倉庫Ｓに入荷されている荷物Ｎに係る第１荷物情報と、倉庫Ｓに入荷される予定の荷物Ｎに係る第２荷物情報とを含む。搬送手段情報、第１荷物情報、および、第２荷物情報については、図３を参照して後述する。

【0018】

記憶部１２は、情報取得部１１で取得した情報を記憶する装置である。記憶部１２に記憶された搬送手段情報は、無人搬送機２０の現在状況に応じて適宜更新される。同様に、記憶部１２に記憶された荷物情報は、荷物Ｎの現在状況に応じて適宜更新される。

【0019】

また、記憶部１２は、行動決定部１３の強化学習に係る情報を記憶する。具体的には、記憶部１２は、例えば、後述する強化学習の過程で得られた状態遷移確率および報酬が得られる確率を記憶する。記憶部１２に記憶された状態遷移確率および報酬が得られる確率は、強化学習の過程で適宜更新される。

【0020】

行動決定部１３は、荷物情報と搬送手段情報とに基づいて、強化学習を行うことにより無人搬送機２０の行動を決定する装置である。行動決定部１３は、評価値である報酬が大きくなる無人搬送機２０の行動を決定する。具体的には、行動決定部１３は、荷物Ｎが当該荷物Ｎの出荷予定時間に当該荷物Ｎの出荷場所に搬送されているときに報酬を得るものとし、かつ、荷物Ｎが当該荷物Ｎの出荷予定時間に当該荷物Ｎの出荷場所に搬送されていないときに報酬が減らされる（すなわち負の報酬（ペナルティ）を得る）ものとし、かつ、荷物Ｎの入荷予定時間に当該荷物Ｎの入荷場所に他の荷物Ｎが存在するときに報酬が減らされるものとして、当該報酬を最も大きくする無人搬送機２０の行動を決定する。具体的には、例えば、行動決定部１３は、無人搬送機２０の行動として、倉庫Ｓにおける荷物Ｎの保管場所または一時保管場所と、当該荷物Ｎの入荷場所から保管場所または一時保管場所への搬送タイミングと、当該荷物Ｎの一時保管場所から保管場所への搬送タイミングと、当該荷物Ｎの保管場所から出荷場所への搬送タイミングとを決定する。

【0021】

荷役指令部１４は、行動決定部１３により決定された行動を無人搬送機２０に指令する装置である。荷役指令部１４は、無人搬送機２０に対して直接的または間接的に荷役の指令を行う。

【0022】

無人搬送機２０は、自律移動可能かつ荷物Ｎを搬送可能な移動体であって、荷役指令部１４の指令に基づいて荷物Ｎを搬送する。本実施形態では、無人搬送機２０は、荷物Ｎを昇降させるためのフォーク２１を備えた無人フォークリフトである。

【0023】

ラック３０は、荷物Ｎの保管場所に設けられた架台である。ラック３０は、荷物Ｎを支持するための棚３１を備えている。

【0024】

図２を参照して、無人搬送機２０が荷役を行う倉庫Ｓの環境の一例を説明する。
図２に示すように、倉庫Ｓには、例えば、入荷場所Ｒ１～Ｒ３と、保管場所Ｋ１～Ｋ６０と、一時保管場所Ｔ１～Ｔ３と、出荷場所Ｆ１～Ｆ３とが設けられている。

【0025】

入荷場所Ｒ１～Ｒ３は、倉庫Ｓに入荷された荷物Ｎが置かれる場所である。入荷場所Ｒ１～Ｒ３に置かれた荷物Ｎは、無人搬送機２０により空いている保管場所Ｋ１～Ｋ６０または一時保管場所Ｔ１～Ｔ３に搬送される。

【0026】

保管場所Ｋ１～Ｋ６０は、倉庫Ｓ内で荷物Ｎを保管する場所である。保管場所Ｋ１～Ｋ６０に置かれた荷物Ｎは、当該荷物Ｎが出荷される際に、無人搬送機２０により出荷場所Ｆ１～Ｆ３に搬送される。保管場所Ｋ１～Ｋ６０には、ラック３０が設けられており、保管場所Ｋ１～Ｋ６０の各々は、ラック３０の棚３１により区切られた複数段の保管場所Ｓ１～Ｓ３（図１参照）を含んでいる。

【0027】

一時保管場所Ｔ１～Ｔ３は、荷物Ｎを一時的に保管する場所である。一時保管場所Ｔ１～Ｔ３に置かれた荷物Ｎは、無人搬送機２０により空いている保管場所Ｋ１～Ｋ６０に搬送される。入荷場所Ｒ１～Ｒ３での混雑を解消するためには、一時保管場所Ｔ１～Ｔ３は、空いている保管場所Ｋ１～Ｋ６０に比べて入荷場所Ｒ１～Ｒ３の近くに位置することが好ましい。

【0028】

出荷場所Ｆ１～Ｆ３は、倉庫Ｓから出荷される荷物Ｎが置かれる場所である。出荷場所Ｆ１～Ｆ３に置かれた荷物Ｎは、無人搬送機２０と異なる他の搬送手段（図示略）により倉庫Ｓ外に搬送される。

【0029】

図３（Ａ）～（Ｃ）を参照して、無人搬送機２０の行動を決定するための情報について説明する。図３（Ａ）は、無人搬送機２０に係る情報である搬送手段情報の一例を示している。図３（Ｂ）は、倉庫Ｓに入荷されている荷物Ｎに係る情報である第１荷物情報の一例を示している。図３（Ｃ）は、倉庫Ｓに入荷される予定の荷物Ｎに係る情報である第２荷物情報の一例を示している。

【0030】

図３（Ａ）に示すように、搬送手段情報は、例えば、無人搬送機２０の現在状況、無人搬送機２０の現在地、無人搬送機２０の向き、および、無人搬送機２０の荷役揚高に係る情報を含んでいる。無人搬送機２０の現在状況は、無人搬送機２０が荷物Ｎを搬送しているか否かを示す。無人搬送機２０の現在地は、倉庫Ｓ内における無人搬送機２０の位置を示し、無人搬送機２０の向きは、基準方向に対する無人搬送機２０の姿勢角を示し、無人搬送機２０の荷役揚高は、当該無人搬送機２０が備えるフォーク２１の揚高を示す。

【0031】

無人搬送機２０の現在地（位置）、向き（姿勢角）、および、荷役揚高（フォーク２１の揚高）は、それぞれ、マルコフ決定過程の有限な状態集合の要素であり、無人搬送機２０の状態を離散的に表している。無人搬送機２０の位置は、無人搬送機２０の走行可能な複数のルートを所定の走行所要時間ｔで区切った離散化地点として表されている。無人搬送機２０の位置を示し得る離散化地点は、複数のルートの分岐地点を必ず含むように構成されている。具体的には、例えば、図２中の一点鎖線が無人搬送機２０の走行可能なルートを示しており、当該一点鎖線を結ぶ黒点が、無人搬送機２０の位置を示し得る離散化地点である。また、フォーク２１の揚高は、例えば、棚３１の高さに応じて離散化されている。

【0032】

図３（Ｂ）に示すように、第１荷物情報は、例えば、個々の荷物Ｎを識別するための識別子、荷物Ｎの現在状況、荷物Ｎの入荷場所、荷物Ｎの一時保管場所、荷物Ｎの保管場所、荷物Ｎが出荷される出荷予定時間、および、荷物Ｎが出荷される出荷場所に係る情報を含んでいる。荷物Ｎの現在状況は、荷物Ｎの位置を示す。荷物Ｎの位置は、荷物Ｎの現在状況が搬送中である場合は荷物Ｎを搬送している無人搬送機２０の現在地であり、荷物Ｎの現在状況が未保管である場合は荷物Ｎの入荷場所であり、荷物Ｎの現在状況が一時保管中である場合は荷物Ｎの一時保管場所であり、荷物Ｎの現在状況が保管中である場合は荷物Ｎの保管場所である。出荷予定時間は、出荷予定時刻までの残り時間を示す。

【0033】

図３（Ｃ）に示すように、第２荷物情報は、例えば、個々の荷物Ｎを識別するための識別子、荷物Ｎが入荷される入荷予定時間、荷物Ｎが入荷される入荷場所、荷物Ｎが出荷される出荷予定時間、および、荷物Ｎが出荷される出荷場所に係る情報を含んでいる。入荷予定時間は、入荷予定時刻までの残り時間を示し、出荷予定時間は、出荷予定時刻までの残り時間を示す。

【0034】

荷物Ｎの位置（すなわち、荷物Ｎを搬送中の無人搬送機２０の現在地、荷物Ｎの保管場所、荷物の一時保管場所）、荷物Ｎの入荷場所、荷物Ｎの出荷場所、荷物Ｎの入荷予定時間、および、荷物Ｎの出荷予定時間は、それぞれ、マルコフ決定過程の有限な状態集合の要素であり、荷物Ｎの状態を離散的に表している。荷物Ｎの入荷予定時間および出荷予定時間は、それぞれ、無人搬送機２０の位置を示し得る離散化地点の間隔に対応する走行所要時間ｔで離散化されている。

【0035】

以上のように構成された入出荷管理システム１において、強化学習を行う行動決定部１３は、マルコフ決定過程として定式化される環境において、現在の状態ｓ（情報取得部１１で取得した情報が示す状態）を観測し、新たな状態ｓ’に遷移させる行動ａ（すなわち無人搬送機２０の行動）を決定する。このとき、状態ｓ’への遷移に対応した報酬が発生し、遷移後の状態ｓ’および報酬は、現在の状態ｓと行動ａに依存する。行動ａは、例えば、任意の離散化地点を経由した他の離散化地点への移動（走行）、姿勢角の変更（旋回）、荷役揚高の変更（フォーク２１の昇降）、または、これらの組み合わせである。マルコフ決定過程は、価値反復法または方策反復法により解くことができ、強化学習アルゴリズムとしては、例えば、価値反復法の強化学習版であるＱ学習アルゴリズム等を採用することができる。

【0036】

報酬を最も大きくするように（すなわち報酬の低下を回避するように）行動ａが決定されることで、例えば、無人搬送機２０が以下の行動（Ａ）～（Ｃ）をとることが期待される。
（Ａ）荷物Ｎの出荷が多いことに起因して保管場所Ｋ１～Ｋ３０と出荷場所Ｆ１～Ｆ３との往復の頻度が高くなるとき、出荷場所Ｆ１～Ｆ３から比較的遠い保管場所Ｋ１～Ｋ３０の荷物Ｎを、荷物Ｎの出荷に先立って、出荷場所Ｆ１～Ｆ３から比較的近い保管場所Ｋ３１～Ｋ６０に予め搬送する。
（Ｂ）荷物Ｎの入荷が多いことに起因して入荷場所Ｒ１～Ｒ３から保管場所Ｋ１～Ｋ６０への荷捌きが遅くなるとき、入荷場所Ｒ１～Ｒ３から一時保管場所Ｔ１～Ｔ３に荷物Ｎを搬送し、その後、荷物Ｎの入荷が少なくなったときに一時保管場所Ｔ１～Ｔ３から保管場所Ｋ１～Ｋ６０に荷物Ｎを搬送する。
（Ｃ）荷物Ｎの入荷が多いことに起因して入荷場所Ｒ１～Ｒ３から保管場所Ｋ３１～Ｋ６０への荷捌きが遅くなるとき、入荷場所Ｒ１～Ｒ３から比較的近い保管場所Ｋ１～Ｋ３０に荷物Ｎを搬送し、その後、荷物Ｎの入荷が少なくなったときに保管場所Ｋ１～Ｋ３０から保管場所Ｋ３１～Ｋ６０に荷物Ｎを搬送する。

【0037】

本実施形態では以下の効果が得られる。
（１）荷物情報は、荷物Ｎが出荷される出荷予定時間に係る情報と、当該荷物Ｎが出荷される出荷場所に係る情報を含み、荷物情報等に基づいて強化学習を行う行動決定部１３は、荷物Ｎが当該荷物Ｎの出荷予定時間に当該荷物Ｎの出荷場所に搬送されているときに報酬を得るものとして、当該報酬を最も大きくする無人搬送機２０の行動を決定する。この構成によれば、行動決定部１３の強化学習により無人搬送機２０の行動が決定されるため、商品を効率良く出荷するためのプログラムを環境に合わせて作成する手間を省くことができ、無人搬送機２０が、行動決定部１３により決定された行動をとることで、出荷場所Ｆ１～Ｆ３への荷物Ｎの搬送の遅延を抑止することができ、出荷予定時刻に荷物Ｎを出荷場所Ｆ１～Ｆ３に搬送できる。

【0038】

（２）行動決定部１３は、荷物Ｎが当該荷物Ｎの出荷予定時間に当該荷物Ｎの出荷場所に搬送されていないときに報酬が減らされるものとして、当該報酬を最も大きくする無人搬送機２０の行動を決定する。この構成によれば、出荷場所Ｆ１～Ｆ３への荷物Ｎの搬送の遅延を一層抑止することができる。

【0039】

（３）情報取得部１１は、倉庫Ｓに入荷されている荷物Ｎに係る第１荷物情報と、倉庫Ｓに入荷される予定の荷物Ｎに係る第２荷物情報とを取得する。この構成によれば、行動決定部１３は、倉庫Ｓに入荷される予定の荷物Ｎに係る情報に基づいて、例えば入荷場所Ｒ１～Ｒ３での荷捌きを早くなるような無人搬送機２０の行動を決定することが可能となる。

【0040】

（４）行動決定部１３は、荷物Ｎの入荷予定時間に当該荷物Ｎの入荷場所に他の荷物Ｎが存在するときに報酬が減らされるものとして、当該報酬を最も大きくする無人搬送機２０の行動を決定する。すなわち、入荷場所が同じあって入荷予定時間の異なる２つの荷物Ｎのうち、入荷予定時間の早い方を荷物Ａとし、入荷予定時間の遅い方を荷物Ｂとしたとき、行動決定部１３は、荷物Ｂの入荷予定時間に荷物Ａが入荷場所から他の場所に搬送されていないときに報酬が減らされるものとして、当該報酬を最も大きくする無人搬送機２０の行動を決定する。この構成によれば、例えば入荷場所Ｒ１～Ｒ３から保管場所Ｋ１～Ｋ６０または一時保管場所Ｔ１～Ｔ３への荷物Ｎの搬送の遅延を抑止することができる。

【0041】

（５）行動決定部１３は、無人搬送機２０の行動として、倉庫Ｓにおける荷物Ｎの保管場所と、当該荷物Ｎの入荷場所から保管場所への搬送タイミングと、当該荷物Ｎの保管場所から出荷場所への搬送タイミングとを決定する。この構成によれば、倉庫Ｓにおける荷物Ｎの保管場所等を決定するプログラムを作成する必要がなくなる。

【0042】

（６）入出荷管理システム１は、行動決定部１３により決定された行動を無人搬送機２０に指令する荷役指令部１４を備える。この構成によれば、荷役指令部１４の指令に基づいて動作する無人搬送機２０により、荷物Ｎが自動的に搬送される。

【0043】

本発明は、上記実施形態に限定されるものではなく、上記構成を変更することもできる。例えば、以下のように変更して実施することもでき、以下の変更を組み合わせて実施することもできる。

【0044】

・入出荷管理システム１は、複数の無人搬送機２０を備えていてもよい。この場合、搬送手段情報は、個々の無人搬送機２０を識別するための識別子に係る情報を含み、荷物情報および搬送手段情報の少なくとも一方は、荷物Ｎと当該荷物Ｎを搬送する無人搬送機２０とを関連付ける情報を含む。このような構成では、例えば、無人搬送機２０が以下の行動（Ｄ）をとることが期待される。
（Ｄ）荷物Ｎの入荷が多いことに起因して入荷場所Ｒ１～Ｒ３が混雑するとき、入荷場所Ｒ１～Ｒ３から一時保管場所Ｔ１～Ｔ３に荷物Ｎを搬送し、その後、荷物Ｎの入荷が少なくなったときに一時保管場所Ｔ１～Ｔ３から保管場所Ｋ１～Ｋ６０に荷物Ｎを搬送する。

【0045】

・無人搬送機２０は、無人フォークリフト以外の荷役車両であってもよい。また、搬送手段は、無人搬送機２０に限定されず、行動決定部１３により決定された行動をとる作業者であってもよい。この場合、搬送手段としての作業者は、行動決定部１３により決定された行動を提示する装置（例えば映像を出力する表示装置）を参照し、その提示に従って荷物Ｎの搬送を行う。

【0046】

・状態ｓに係る情報（すなわり、無人搬送機２０に係る情報、および、荷物Ｎに係る情報）は、上記実施形態で挙げた情報に限られず、他の情報を含んでいてもよい。すなわち、無人搬送機２０に係る状態集合の要素、および、荷物Ｎに係る状態集合の要素は、上記実施形態に記載の要素のみに限定されない。例えば、無人搬送機２０が、フォーク２１を前後に移動させるリーチ機構を備えたフォークリフトである場合は、搬送手段情報にフォーク２１の前後位置に係る情報を含むことが好ましく、フォーク２１を前後に傾斜させるチルト機構を備えたフォークリフトである場合は、搬送手段情報にフォーク２１の傾斜角に係る情報を含むことが好ましく、フォーク２１を回転させるローテート機構を備えたフォークリフトである場合は、搬送手段情報にフォーク２１の回転角に係る情報を含むことが好ましい。また、例えば、無人搬送機２０が、昇降可能なステージを備えた無人搬送車（ＡＧＶ）である場合は、搬送手段情報にステージの揚高に係る情報を含むことが好ましく、ロボットアームを備えた無人搬送車である場合は、搬送手段情報にロボットアームの状態を示す情報を含むことが好ましい。これらの情報により表される無人搬送機２０に係る状態は、無人搬送機２０の全状態の集合（マルコフ決定過程で扱うことができない連続的な要素を含む）をＸとし、Ｘの部分集合であり要素数が有限の集合をＸｓｕｂとしたとき、Ｘｓｕｂに含まれる状態から同じくＸｓｕｂに含まれる状態に遷移し、かつ、遷移後に別の状態に遷移である（すなわち袋小路にならない）ことが要求される。このように、搬送手段情報に荷役装置に係る情報を拡張的に含めることで、マルコフ決定過程における状態ｓに係る相空間を高次元化することができる。

【符号の説明】

【0047】

１ 入出荷管理システム
１０ 入出荷管理装置
１１ 情報取得部
１２ 記憶部
１３ 行動決定部
１４ 荷役指令部
２０ 無人搬送機
２１ フォーク
３０ ラック
３１ 棚
Ｎ 荷物
Ｓ 倉庫
Ｔ 外部端末
Ｒ１～Ｒ３ 入荷場所
Ｋ１～Ｋ６０，Ｓ１～Ｓ３ 保管場所
Ｔ１～Ｔ３ 一時保管場所
Ｆ１～Ｆ３ 出荷場所

【図1】

【図2】

【図3】