知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022190579
(43)【公開日】2022-12-26
(54)【発明の名称】配送計画作成装置および配送計画作成システム
(51)【国際特許分類】
G06Q 10/04 20120101AFI20221219BHJP
【ＦＩ】
G06Q10/04 310
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021098962
(22)【出願日】2021-06-14
(71)【出願人】
【識別番号】000005234
【氏名又は名称】富士電機株式会社
(74)【代理人】
【識別番号】100104433
【弁理士】
【氏名又は名称】宮園 博一
(74)【代理人】
【識別番号】100202728
【弁理士】
【氏名又は名称】三森 智裕
(72)【発明者】
【氏名】桐生 智志
(72)【発明者】
【氏名】川口 繭子
(72)【発明者】
【氏名】島崎 祐一
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049AA04
(57)【要約】
【課題】配送時間の増加を抑制しつつ、売り切れに起因する自動販売機の商品の売上の低下を抑制する効率的な配送ルートを作成可能な配送計画作成装置を提供する。
【解決手段】この配送計画作成装置１０１は、配送計画作成部２３と、出力部４とを備える。そして、配送計画作成装置１０１は、商品の売上の予測値である予測需要と、商品の在庫情報とに基づいて、配送計画作成部２３の学習済モデルにより、複数の自動販売機Ｖへの商品の配送ルートを示す配送計画を作成する。配送計画作成装置１０１は、配送計画を実際に実施した際における配送実績情報に基づいて、配送計画作成部の学習済モデルを用いた機械学習を行うことによって、配送計画作成部の学習済モデルを更新する。出力部２３は、更新後の配送計画作成部２３の学習済モデルによって作成された配送計画を、ネットワーク２００を介して携帯端末１０２に出力する。
【選択図】図１
【解決手段】この配送計画作成装置１０１は、配送計画作成部２３と、出力部４とを備える。そして、配送計画作成装置１０１は、商品の売上の予測値である予測需要と、商品の在庫情報とに基づいて、配送計画作成部２３の学習済モデルにより、複数の自動販売機Ｖへの商品の配送ルートを示す配送計画を作成する。配送計画作成装置１０１は、配送計画を実際に実施した際における配送実績情報に基づいて、配送計画作成部の学習済モデルを用いた機械学習を行うことによって、配送計画作成部の学習済モデルを更新する。出力部２３は、更新後の配送計画作成部２３の学習済モデルによって作成された配送計画を、ネットワーク２００を介して携帯端末１０２に出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
機械学習により複数の自動販売機への商品の配送ルートを示す配送計画を作成する配送計画作成部と、
前記配送計画作成部により作成した前記配送計画を、ネットワークを介して、自動販売機に商品の補充作業を行う作業者が携帯する携帯端末に出力するための出力部とを備え、
前記複数の自動販売機の商品の売上の予測値である予測需要と、前記複数の自動販売機の各々の商品の在庫情報とに基づいて、前記配送計画作成部の学習済モデルにより前記配送計画を作成するように構成されており、
前記配送計画を実際に実施した際における、前記複数の自動販売機の商品の売上と、商品の配送にかかる総移動時間とを含む、配送実績情報に基づいて、前記配送計画作成部の前記学習済モデルを用いた機械学習を行うことによって、前記配送計画作成部の前記学習済モデルを更新するように構成されており、
前記出力部は、更新後の前記配送計画作成部の前記学習済モデルによって作成された前記配送計画を、ネットワークを介して前記携帯端末に出力するように構成されている、配送計画作成装置。
前記配送計画作成部により作成した前記配送計画を、ネットワークを介して、自動販売機に商品の補充作業を行う作業者が携帯する携帯端末に出力するための出力部とを備え、
前記複数の自動販売機の商品の売上の予測値である予測需要と、前記複数の自動販売機の各々の商品の在庫情報とに基づいて、前記配送計画作成部の学習済モデルにより前記配送計画を作成するように構成されており、
前記配送計画を実際に実施した際における、前記複数の自動販売機の商品の売上と、商品の配送にかかる総移動時間とを含む、配送実績情報に基づいて、前記配送計画作成部の前記学習済モデルを用いた機械学習を行うことによって、前記配送計画作成部の前記学習済モデルを更新するように構成されており、
前記出力部は、更新後の前記配送計画作成部の前記学習済モデルによって作成された前記配送計画を、ネットワークを介して前記携帯端末に出力するように構成されている、配送計画作成装置。
【請求項2】
前記配送計画作成部の前記学習済モデルは、状態としての前記予測需要および前記在庫情報に対する、行動としての前記配送計画によって得れられる価値を表す状態行動価値関数を含み、
前記配送計画作成部は、前記状態行動価値関数に基づいて、前記配送計画を作成するように構成されており、
前記配送実績情報に基づく前記配送計画作成部の前記学習済モデルを用いた強化学習によって、前記学習済モデルの前記状態行動価値関数を更新するように構成されている、請求項１に記載の配送計画作成装置。
前記配送計画作成部は、前記状態行動価値関数に基づいて、前記配送計画を作成するように構成されており、
前記配送実績情報に基づく前記配送計画作成部の前記学習済モデルを用いた強化学習によって、前記学習済モデルの前記状態行動価値関数を更新するように構成されている、請求項１に記載の配送計画作成装置。
【請求項3】
前記複数の自動販売機への商品の配送完了後において、前記配送計画作成部の前記学習済モデルを、前記配送実績情報に基づく前記配送計画作成部の前記学習済モデルを用いた機械学習によって更新するように構成されている、請求項１または２に記載の配送計画作成装置。
【請求項4】
前記作業者の商品の配送時における前記作業者の位置情報を含む前記配送実績情報を取得し、
前記配送計画作成部の前記学習済モデルは、取得された前記位置情報を含む前記配送実績情報に基づく、前記学習済モデルを用いた機械学習によって更新されるように構成されている、請求項３に記載の配送計画作成装置。
前記配送計画作成部の前記学習済モデルは、取得された前記位置情報を含む前記配送実績情報に基づく、前記学習済モデルを用いた機械学習によって更新されるように構成されている、請求項３に記載の配送計画作成装置。
【請求項5】
前記配送計画作成部は、前記配送計画の作成において、複数日間における前記複数の自動販売機の商品の売上の予測値である前記予測需要を用いるように構成されている、請求項１～４のいずれか１項に記載の配送計画作成装置。
【請求項6】
前記作業者による商品の配送時において、前記配送計画を実際に実施した際における前記配送実績情報を取得し、
前記配送計画作成部は、前記作業者による商品の配送時において取得された前記在庫情報を含む前記配送実績情報、および、前記複数の自動販売機の商品の売上の予測値である前記予測需要を入力として、前記配送計画を出力するように構成されており、
前記配送計画作成部の前記学習済モデルを更新せずに、取得した前記配送実績情報に基づいて、前記配送計画を修正するように構成されている、請求項１～５のいずれか１項に記載の配送計画作成装置。
前記配送計画作成部は、前記作業者による商品の配送時において取得された前記在庫情報を含む前記配送実績情報、および、前記複数の自動販売機の商品の売上の予測値である前記予測需要を入力として、前記配送計画を出力するように構成されており、
前記配送計画作成部の前記学習済モデルを更新せずに、取得した前記配送実績情報に基づいて、前記配送計画を修正するように構成されている、請求項１～５のいずれか１項に記載の配送計画作成装置。
【請求項7】
前記作業者による商品の配送時において、前記配送計画を実際に実施した際における前記配送実績情報を、ネットワークを介して取得し、
前記配送計画作成部の前記学習済モデルを更新せずに、取得した前記配送実績情報に基づいて、前記配送計画を前記作業者による商品の配送中に修正し、
修正後の前記配送計画を、ネットワークを介して、複数の前記作業者の各々の前記携帯端末に送信するように構成されている、請求項１～６のいずれか１項に記載の配送計画作成装置。
前記配送計画作成部の前記学習済モデルを更新せずに、取得した前記配送実績情報に基づいて、前記配送計画を前記作業者による商品の配送中に修正し、
修正後の前記配送計画を、ネットワークを介して、複数の前記作業者の各々の前記携帯端末に送信するように構成されている、請求項１～６のいずれか１項に記載の配送計画作成装置。
【請求項8】
複数の前記作業者による商品の配送時において、複数の前記作業者の各々が配送可能な商品の数である商品輸送量を、ネットワークを介して取得し、
前記配送計画作成部の前記学習済モデルを更新せずに、取得した複数の前記作業者の各々の前記商品輸送量に基づいて、前記配送計画を前記作業者による商品の配送中に修正し、
修正後の前記配送計画を、ネットワークを介して、複数の前記作業者の各々の前記携帯端末に送信するように構成されている、請求項１～７のいずれか１項に記載の配送計画作成装置。
前記配送計画作成部の前記学習済モデルを更新せずに、取得した複数の前記作業者の各々の前記商品輸送量に基づいて、前記配送計画を前記作業者による商品の配送中に修正し、
修正後の前記配送計画を、ネットワークを介して、複数の前記作業者の各々の前記携帯端末に送信するように構成されている、請求項１～７のいずれか１項に記載の配送計画作成装置。
【請求項9】
前記配送計画作成部の前記学習済モデルの作成を行う際に、
前記複数の自動販売機の商品の売上の予測値または過去の実績値の少なくとも一方と、前記複数の自動販売機の各々の商品の在庫数の予測値または過去の実績値の少なくとも一方とに基づく仮配送計画を、前記配送計画作成部により作成し、
前記仮配送計画による前記複数の自動販売機への商品の配送のシミュレーション結果における商品の売上と、前記複数の自動販売機への商品の配送のシミュレーション結果における商品の配送にかかる総移動時間とを含む、予測配送実績情報を取得し、
前記配送計画作成部における機械学習として、前記予測配送実績情報に基づく強化学習を行うことにより、前記学習済モデルを作成するように構成されている、請求項１～８のいずれか１項に記載の配送計画作成装置。
前記複数の自動販売機の商品の売上の予測値または過去の実績値の少なくとも一方と、前記複数の自動販売機の各々の商品の在庫数の予測値または過去の実績値の少なくとも一方とに基づく仮配送計画を、前記配送計画作成部により作成し、
前記仮配送計画による前記複数の自動販売機への商品の配送のシミュレーション結果における商品の売上と、前記複数の自動販売機への商品の配送のシミュレーション結果における商品の配送にかかる総移動時間とを含む、予測配送実績情報を取得し、
前記配送計画作成部における機械学習として、前記予測配送実績情報に基づく強化学習を行うことにより、前記学習済モデルを作成するように構成されている、請求項１～８のいずれか１項に記載の配送計画作成装置。
【請求項10】
自動販売機に商品の補充作業を行う作業者が携帯する携帯端末と、
複数の自動販売機への商品の配送ルートを示す配送計画を作成する配送計画作成装置と、を備え、
前記配送計画作成装置は、機械学習により前記配送計画を作成する配送計画作成部と、前記配送計画作成部により作成した前記配送計画を、ネットワークを介して、前記携帯端末に出力するための出力部とを含み、
前記複数の自動販売機の商品の売上の予測値である予測需要と、前記複数の自動販売機の各々の商品の在庫情報とに基づいて、前記配送計画作成部の学習済モデルにより前記配送計画を作成するように構成されており、
前記配送計画を実際に実施した際における、前記複数の自動販売機の商品の売上と、商品の配送にかかる総移動時間とを含む、配送実績情報に基づいて、前記配送計画作成部の前記学習済モデルを用いた機械学習を行うことによって、前記配送計画作成部の前記学習済モデルを更新するように構成されており、
前記出力部は、更新後の前記配送計画作成部の前記学習済モデルによって作成された前記配送計画を、ネットワークを介して前記携帯端末に出力するように構成されている、配送計画作成システム。
複数の自動販売機への商品の配送ルートを示す配送計画を作成する配送計画作成装置と、を備え、
前記配送計画作成装置は、機械学習により前記配送計画を作成する配送計画作成部と、前記配送計画作成部により作成した前記配送計画を、ネットワークを介して、前記携帯端末に出力するための出力部とを含み、
前記複数の自動販売機の商品の売上の予測値である予測需要と、前記複数の自動販売機の各々の商品の在庫情報とに基づいて、前記配送計画作成部の学習済モデルにより前記配送計画を作成するように構成されており、
前記配送計画を実際に実施した際における、前記複数の自動販売機の商品の売上と、商品の配送にかかる総移動時間とを含む、配送実績情報に基づいて、前記配送計画作成部の前記学習済モデルを用いた機械学習を行うことによって、前記配送計画作成部の前記学習済モデルを更新するように構成されており、
前記出力部は、更新後の前記配送計画作成部の前記学習済モデルによって作成された前記配送計画を、ネットワークを介して前記携帯端末に出力するように構成されている、配送計画作成システム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、配送計画作成装置および配送計画作成システムに関し、特に、複数の自動販売機への商品の配送ルートを示す配送計画を作成する配送計画作成装置および配送計画作成システムに関する。
【背景技術】
【0002】
従来、自動販売機管理システムが知られている（たとえば、特許文献１参照）。
【0003】
上記特許文献１には、電子マネーに対応して商品の販売を行う自動販売機における自動販売機管理システムが開示されている。この自動販売機管理システムでは、複数の自動販売機を巡回するルートマンが携帯する端末によって、電子マネーのデータを自動販売機から収集している。また、上記特許文献１に記載のような従来の自動販売機では、作業者（ルートマン）によって、商品の補充作業および金銭の回収などの作業が行われている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００９－３０１４０２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、自動販売機では、商品の売り切れが発生し、販売の機会を失うことによって、売上が低下する場合がある。そのため、担当する複数の自動販売機を随時巡回したり、予め定められた配送ルートを回りながら、商品の配送（補充）作業を行う作業者（ルートマン）によって、自動販売機に対する商品の補充などの作業が行われている。しかしながら、巡回ルートおよび予め定められた配送ルートは、必ずしも、実際の配送時において、配送時間の増加を抑制しつつ、売り切れに起因する自動販売機の商品の売上の低下を抑制する効率的な配送ルートとはならないという問題点がある。
【0006】
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、配送時間の増加を抑制しつつ、売り切れに起因する自動販売機の商品の売上の低下を抑制する効率的な配送ルートを作成可能な配送計画作成装置および配送計画作成システムを提供することである。
【課題を解決するための手段】
【0007】
上記目的を達成するために、この発明の第１の局面による配送計画作成装置は、機械学習により複数の自動販売機への商品の配送ルートを示す配送計画を作成する配送計画作成部と、配送計画作成部により作成した配送計画を、ネットワークを介して、自動販売機に商品の補充作業を行う作業者が携帯する携帯端末に出力するための出力部とを備え、複数の自動販売機の商品の売上の予測値である予測需要と、複数の自動販売機の各々の商品の在庫情報とに基づいて、配送計画作成部の学習済モデルにより配送計画を作成するように構成されており、配送計画を実際に実施した際における、複数の自動販売機の商品の売上と、商品の配送にかかる総移動時間とを含む、配送実績情報に基づいて、配送計画作成部の学習済モデルを用いた機械学習を行うことによって、配送計画作成部の学習済モデルを更新するように構成されており、出力部は、更新後の配送計画作成部の学習済モデルによって作成された配送計画を、ネットワークを介して携帯端末に出力するように構成されている。
【0008】
上記第１の局面による配送計画作成装置では、上記のように、複数の自動販売機の商品の売上の予測値である予測需要と、複数の自動販売機の各々の商品の在庫情報とに基づいて、配送計画作成部の学習済モデルにより配送計画を作成する。これにより、売り切れに起因する商品の売上の低下を抑制することが可能な配送計画を作成することができる。また、配送計画を実際に実施した際における配送実績情報に基づいて、配送計画作成部の学習済モデルを用いた機械学習を行うことによって、配送計画作成部の学習済モデルが更新される。これにより、配送計画作成部の学習済モデルを、配送計画を実際に実施した際における複数の自動販売機の商品の売上と商品の配送にかかる総移動時間とを含む配送実績情報が反映された学習済モデルに更新することができる。その結果、配送計画作成部は、学習済モデルの更新後の配送時において、配送計画を実際に実施した際における複数の自動販売機の商品の売上と商品の配送にかかる総移動時間とを含む配送実績情報が反映された効率的な配送計画を作成することができるようになる。これら結果、配送時間の増加を抑制しつつ、売り切れに起因する自動販売機の商品の売上の低下を抑制する効率的な配送ルートを作成することができる。また、出力部が、更新後の配送計画作成部の学習済モデルによって作成された配送計画を、ネットワークを介して携帯端末に出力するので、作業者は、携帯端末によって、上記配送実績情報が反映された、配送時間の増加を抑制しつつ、売り切れに起因する自動販売機の商品の売上の低下を抑制する効率的な配送計画を確認することができる。その結果、作業者は、上記配送実績情報が反映された、配送時間の増加を抑制しつつ、売り切れに起因する自動販売機の商品の売上の低下を抑制する効率的な商品の配送を行うことができる。
【0009】
上記第１の局面による配送計画作成装置において、好ましくは、配送計画作成部の学習済モデルは、状態としての予測需要および在庫情報に対する、行動としての配送計画によって得れられる価値を表す状態行動価値関数を含み、配送計画作成部は、状態行動価値関数に基づいて、配送計画を作成するように構成されており、配送実績情報に基づく配送計画作成部の学習済モデルを用いた強化学習によって、学習済モデルの状態行動価値関数を更新するように構成されている。このように構成すれば、配送実績情報に基づいて更新された状態行動価値関数によって、上記配送実績情報が反映された、配送時間が短く、自動販売機の商品の売上の多い配送計画を作成することができる。その結果、配送計画作成部によって、複数の自動販売機への商品の配送時において、配送時間の増加を抑制しつつ、売り切れに起因する自動販売機の商品の売上の低下を抑制可能な効率的な配送ルートを作成することができる。
【0010】
上記第１の局面による配送計画作成装置において、好ましくは、複数の自動販売機への商品の配送完了後において、配送計画作成部の学習済モデルを、配送実績情報に基づく配送計画作成部の学習済モデルを用いた機械学習によって更新するように構成されている。このように構成すれば、複数の自動販売機への商品の配送開始から配送完了までの上記配送実績情報を反映させるように、配送計画作成部の学習済モデルを更新することができる。その結果、学習済モデル更新後の配送計画作成部によって、複数の自動販売機への商品の配送時において、配送時間の増加をより抑制しつつ、売り切れに起因する自動販売機の商品の売上の低下をより抑制可能な、より効率的な配送計画（配送ルート）を作成することができる。
【0011】
上記第１の局面による配送計画作成装置において、好ましくは、作業者の商品の配送時における作業者の位置情報を含む配送実績情報を取得し、配送計画作成部の学習済モデルは、取得された位置情報を含む配送実績情報に基づく、学習済モデルを用いた機械学習によって更新されるように構成されている。このように構成すれば、作業者の位置情報を含む配送実績情報から、作業者の商品の配送時において、複数の自動販売機間の移動時間を取得することができる。その結果、実際の商品の配送において、複数の自動販売機間の移動時間が、配送計画を作成した際に想定した移動時間よりも長い場合には、作業者の位置情報を含む配送実績情報から取得した複数の自動販売機間の移動時間に基づいて、配送計画作成部の学習済モデルを更新することができる。これにより、複数の自動販売機間の経路や配送する自動販売機の順番を変えるなどして、より最適な配送ルートを作成することができるので、より効率的な配送計画を作成することができる。
【0012】
上記第１の局面による配送計画作成装置において、好ましくは、配送計画作成部は、配送計画の作成において、複数日間における複数の自動販売機の商品の売上の予測値である予測需要を用いるように構成されている。このように構成すれば、複数日間における商品の配送にかかる総移動時間の合計または総移動距離の合計が少ない配送ルートを作成することができる。その結果、複数日間にわたって配送する場合において効率的な複数の自動販売機への商品の配送ルートを、配送計画作成部によって作成することができる。
【0013】
上記第１の局面による配送計画作成装置において、好ましくは、作業者による商品の配送時において、配送計画を実際に実施した際における配送実績情報を取得し、配送計画作成部は、作業者による商品の配送時において取得された在庫情報を含む配送実績情報、および、複数の自動販売機の商品の売上の予測値である予測需要を入力として、配送計画を出力するように構成されており、配送計画作成部の学習済モデルを更新せずに、取得した配送実績情報に基づいて、配送計画を修正するように構成されている。このように構成すれば、配送計画作成部は、実際の在庫情報に基づいて、学習済モデルの更新前に配送計画を修正することができる。その結果、学習済モデルの更新前に実際の在庫情報を反映させ、より効率的な配送計画に、配送計画を修正することができる。また、配送計画作成部の学習済モデルを更新せずに、配送計画を修正することによって、配送計画作成部の学習済モデルを随時更新する場合に比べて、配送計画の修正を容易に行うことができる。
【0014】
上記第１の局面による配送計画作成装置において、好ましくは、作業者による商品の配送時において、配送計画を実際に実施した際における配送実績情報を、ネットワークを介して取得し、配送計画作成部の学習済モデルを更新せずに、取得した配送実績情報に基づいて、配送計画を作業者による商品の配送中に修正し、修正後の配送計画を、ネットワークを介して、複数の作業者の各々の携帯端末に送信するように構成されている。このように構成すれば、作業者による商品の配送中において、取得した配送実績情報に基づいて修正された配送計画が複数の作業者の各々の携帯端末に送信されるので、作業者は、商品の配送中において、リアルタイムで配送中の状況を反映した効率的な商品の配送を行うことができる。また、配送計画作成部の学習済モデルを更新せずに、配送計画を修正することによって、配送計画作成部の学習済モデルを随時更新する場合に比べて、商品の配送中におけるリアルタイムでの配送計画の修正を迅速に行うことができる。
【0015】
上記第１の局面による配送計画作成装置において、好ましくは、複数の作業者による商品の配送時において、複数の作業者の各々が配送可能な商品の数である商品輸送量を、ネットワークを介して取得し、配送計画作成部の学習済モデルを更新せずに、取得した複数の作業者の各々の商品輸送量に基づいて、配送計画を作業者による商品の配送中に修正し、修正後の配送計画を、ネットワークを介して、複数の作業者の各々の携帯端末に送信するように構成されている。このように構成すれば、作業者による商品の配送中において、取得した複数の作業者の各々の商品輸送量に基づいて配送計画を修正することができるので、ある作業者の商品輸送量が不足した場合でも、商品輸送量に余裕のある他の作業者が代わりに商品の補充を行うように配送ルートを修正することができる。そして、修正後の配送計画が複数の作業者の各々の携帯端末に送信されるので、作業者は、作業者毎の商品輸送量を反映した効率的な商品の配送を行うことができる。また、配送計画作成部の学習済モデルを更新せずに、配送計画を修正することによって、配送計画作成部の学習済モデルを随時更新する場合に比べて、取得した複数の作業者の各々の商品輸送量に基づく配送計画の修正を、商品の配送中において迅速に行うことができる。
【0016】
上記第１の局面による配送計画作成装置において、好ましくは、配送計画作成部の学習済モデルの作成を行う際に、複数の自動販売機の商品の売上の予測値または過去の実績値の少なくとも一方と、複数の自動販売機の各々の商品の在庫数の予測値または過去の実績値の少なくとも一方とに基づく仮配送計画を、配送計画作成部により作成し、仮配送計画による複数の自動販売機への商品の配送のシミュレーション結果における商品の売上と、複数の自動販売機への商品の配送のシミュレーション結果における商品の配送にかかる総移動時間とを含む、予測配送実績情報を取得し、配送計画作成部における機械学習として、予測配送実績情報に基づく強化学習を行うことにより、学習済モデルを作成するように構成されている。このように構成すれば、仮配送計画に基づくシミュレーション結果によって得られる予測配送実績情報によって、実際に商品の配送を実施する前に、強化学習による学習を行わせることができる。その結果、仮配送計画に基づくシミュレーション結果によって得られる予測配送実績情報による強化学習を行わない場合に比べて、実際の商品の配送を行う前に、より効率的な配送計画を作成可能な配送計画作成部の学習済モデルを作成することができる。
【0017】
上記目的を達成するために、この発明の第２の局面による配送計画作成システムは、自動販売機に商品の補充作業を行う作業者が携帯する携帯端末と、複数の自動販売機への商品の配送ルートを示す配送計画を作成する配送計画作成装置と、を備え、配送計画作成装置は、機械学習により配送計画を作成する配送計画作成部と、配送計画作成部により作成した配送計画を、ネットワークを介して、携帯端末に出力するための出力部とを含み、複数の自動販売機の商品の売上の予測値である予測需要と、複数の自動販売機の各々の商品の在庫情報とに基づいて、配送計画作成部の学習済モデルにより配送計画を作成するように構成されており、配送計画を実際に実施した際における、複数の自動販売機の商品の売上と、商品の配送にかかる総移動時間とを含む、配送実績情報に基づいて、配送計画作成部の学習済モデルを用いた機械学習を行うことによって、配送計画作成部の学習済モデルを更新するように構成されており、出力部は、更新後の配送計画作成部の学習済モデルによって作成された配送計画を、ネットワークを介して携帯端末に出力するように構成されている。
【0018】
上記第２の局面による配送計画作成システムでは、上記のように、配送計画作成装置が、複数の自動販売機の商品の売上の予測値である予測需要と、複数の自動販売機の各々の商品の在庫情報とに基づいて、配送計画作成部の学習済モデルにより配送計画を作成する。これにより、売り切れに起因する商品の売上の低下を抑制することが可能な配送計画を作成することができる。また、配送計画を実際に実施した際における配送実績情報に基づいて、配送計画作成部の学習済モデルを用いた機械学習を行うことによって、配送計画作成部の学習済モデルが更新される。これにより、配送計画作成部の学習済モデルを、配送計画を実際に実施した際における複数の自動販売機の商品の売上と商品の配送にかかる総移動時間とを含む配送実績情報が反映された学習済モデルに更新することができる。その結果、配送計画作成部は、学習済モデルの更新後の配送時において、配送計画を実際に実施した際における複数の自動販売機の商品の売上と商品の配送にかかる総移動時間とを含む配送実績情報が反映された効率的な配送計画を作成することができるようになる。これら結果、配送時間の増加を抑制しつつ、売り切れに起因する自動販売機の商品の売上の低下を抑制する効率的な配送ルートを作成することができる。また、出力部が、更新後の配送計画作成部の学習済モデルによって作成された配送計画を、ネットワークを介して携帯端末に出力するので、作業者は、携帯端末によって、上記配送実績情報が反映された、配送時間の増加を抑制しつつ、売り切れに起因する自動販売機の商品の売上の低下を抑制する効率的な配送計画を確認することができる。その結果、作業者は、上記配送実績情報が反映された、配送時間の増加を抑制しつつ、売り切れに起因する自動販売機の商品の売上の低下を抑制する効率的な商品の配送を行うことができる。
【発明の効果】
【0019】
本発明によれば、上記のように、配送時間の増加を抑制しつつ、売り切れに起因する自動販売機の商品の売上の低下を抑制する効率的な配送ルートを作成することができる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態による配送計画作成システムの一例を示した図である。
【図2】本発明の一実施形態による配送計画作成装置の機能ブロック図である。
【図3】シミュレーション結果を用いた学習済モデルの作成時におけるデータの入出力を示した図である。
【図4】仮配送計画作成の一例を示した図である。
【図5】Ｑ関数の生成を示す図である。
【図6】シミュレーション結果の一例を示した図である。
【図7】シミュレーション結果の他の一例を示した図である。
【図8】シミュレーション結果を用いた強化学習を行った後の学習済モデルによって作成された仮配送計画のシミュレーション結果の一例を示した図である。
【図9】複数日間の需要情報に基づいたシミュレーション結果の一例を示した第１図である。
【図10】複数日間の需要情報に基づいたシミュレーション結果の一例を示した第２図である。
【図11】配送計画作成の一例を示した図である。
【図12】商品の配送中における配送計画の修正の一例を示した第１図である。
【図13】商品の配送中における配送計画の修正の一例を示した第２図である。
【図14】商品の配送中における配送計画の修正の他の一例を示した第１図である。
【図15】商品の配送中における配送計画の修正の他の一例を示した第２図である。
【図16】配送完了後における学習済モデルの更新時におけるデータの入出力を示した図である。
【図17】配送完了後におけるＱ関数の更新を示す図である。
【図18】配送完了後における学習済モデルの更新による配送計画の変化の一例を示した第１図である。
【図19】配送完了後における学習済モデルの更新による配送計画の変化の一例を示した第２図である。
【発明を実施するための形態】
【0021】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【0022】
（配送計画作成システムの全体構成）
図１を参照して、本実施形態による配送計画作成システム１００の全体構成について説明する。
図１を参照して、本実施形態による配送計画作成システム１００の全体構成について説明する。
【0023】
図１に示すように、配送計画作成システム１００は、複数の自動販売機Ｖへの商品の配送ルートを示す配送計画を作成する配送計画作成装置１０１と、自動販売機Ｖに商品の補充作業を行う作業者Ｍ（ルートマン）が携帯する携帯端末１０２とを備える。
【0024】
配送計画作成装置１０１は、ネットワーク２００を介して、作業者Ｍ（ルートマン）が携帯する（保持する）携帯端末１０２に、配送ルートを通知（表示）する。また、後述する配送実績情報が、定期的に配送計画作成装置１０１に送信される。配送実績情報の送信は、作業者Ｍの操作（入力）によって行われてもよいし、携帯端末１０２によって自動的に行われてもよい。そして、配送計画作成装置１０１は、受信した配送実績情報を反映して、配送計画を修正し、作業者Ｍの携帯端末１０２に通知する。
【0025】
配送計画作成装置１０１は、ネットワーク２００を介して、携帯端末１０２および自動販売機Ｖと通信可能に接続されたサーバである。配送計画作成装置１０１は、ネットワーク２００を介して、携帯端末１０２とのデータの送受信を行っている。配送計画作成装置１０１は、ネットワーク２００を介して、後述する配送実績情報を取得する。そして、配送計画作成装置１０１は、ネットワーク２００を介して、作成した配送計画を携帯端末１０２に送信する。
【0026】
また、配送計画作成装置１０１は、ネットワーク２００を介して、自動販売機Ｖとのデータの送受信を行っている。たとえば、配送計画作成装置１０１は、自動販売機Ｖの商品の売上（売上本数および売上金額）および在庫数などデータを、ネットワーク２００を介して、取得している。また、配送計画作成システム１００では、配送計画作成装置１０１に、ネットワーク２００を介して、自動販売機Ｖの補充またはメンテナンス作業が行われていることを通知し、自動販売機Ｖの状態から、作業者Ｍの位置情報を、配送計画作成装置１０１に提供するように構成してもよい。また、図１では、自動販売機Ｖからのデータが、ネットワーク２００を介して、配送計画作成装置１０１に送信される例を示したが、自動販売機Ｖからのデータが、自動販売機Ｖの管理サーバ（自動販売機管理サーバ）を介して、配送計画作成装置１０１にデータを送信されてもよい。また、自動販売機Ｖからのデータが、携帯端末１０２を介して、配送計画作成装置１０１にデータを送信されてもよい。
【0027】
携帯端末１０２は、ネットワーク２００に接続可能な端末である。たとえば、携帯端末１０２は、スマートフォンやタブレットＰＣなどの端末である。携帯端末１０２には、配送計画作成装置１０１とデータ通信を行い、配送計画を通知（表示）するためのアプリケーションがインストールされる。また、携帯端末１０２は、自動販売機Ｖと通信可能に構成されており、自動販売機Ｖとの間でデータの送受信が行うことが可能である。
【0028】
そして、作業者Ｍは、配送計画作成装置１０１によって作成され、携帯端末１０２に通知される配送計画（配送ルート）に従って、自動販売機Ｖへの商品の配送および補充作業を行う。配送計画作成装置１０１（配送計画作成システム１００）によって作成される配送計画には、配送計画作成装置１０１を利用するユーザが管理する複数の自動販売機Ｖの配送（補充）作業を担当する複数の作業者Ｍの各々の配送ルートが含まれている。また、配送計画作成装置１０１（配送計画作成システム１００）によって作成される配送計画は、複数の作業者Ｍの各々が、自動販売機Ｖに配送（補充）する商品の種類および商品の数量（配送拠点から運び出す商品の種類および商品の数量）の情報を含んでもよい。
【0029】
（配送計画作成装置の構成）
配送計画作成装置１０１は、図２に示すように、データベース部１と、処理部２と、入力部３と、出力部４とを備える。
配送計画作成装置１０１は、図２に示すように、データベース部１と、処理部２と、入力部３と、出力部４とを備える。
【0030】
データベース部１は、後述する配送計画作成部２３による配送計画の作成に用いられるデータ（拠点間移動情報、初期在庫情報、配送計画、予測需要、位置情報、需要情報、在庫情報、総移動時間、売上、商品輸送量などのデータ）を記憶（格納）している。データベース部１は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置（内部ストレージ）を含む。
【0031】
処理部２は、演算部２１と、シミュレータ２２と、配送計画作成部２３と、予測部２４とを備える。本実施形態では、演算部２１、シミュレータ２２、配送計画作成部２３および予測部２４は、配送計画作成装置１０１内において機能ブロックとして構成されているが、各々独立した装置であってもよい。処理部２（演算部２１）は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサおよびメモリなどを含んでいる。
【0032】
演算部２１は、データベース部１、シミュレータ２２、配送計画作成部２３および予測部２４の機能およびデータを処理するように構成されている。シミュレータ２２は、後述する仮配送計画による複数の自動販売機Ｖへの商品の配送のシミュレーションを行うように構成されている。
【0033】
また、配送計画作成部２３は、機械学習により複数の自動販売機Ｖへの商品の配送ルートを示す配送計画を作成するように構成されている。
【0034】
また、本実施形態では、配送計画作成部２３において、シミュレーション結果を用いた強化学習（オフライン学習）と、実際に配送を行った際に得られる配送実績情報（総移動時間、売上、商品輸送量、位置情報および在庫情報）を用いた強化学習（オンライン学習）とが行われる。
【0035】
また、配送計画作成部２３の学習済モデルは、後述するように、状態としての予測需要および在庫情報に対する、行動としての配送計画によって得れられる価値を表す状態行動価値関数（Ｑ関数）を含む。配送計画作成部２３は、状態行動価値関数（Ｑ関数）に基づいて、配送計画を作成するように構成されている。
【0036】
予測部２４は、自動販売機Ｖにより販売される商品の需要の予測（売上本数の予測）を行うように構成されている。また、予測部２４は、将来の自動販売機Ｖの商品の在庫数（自動販売機Ｖの商品の在庫数の変化）の予測を行うように構成されている。予測部２４による売上本数および在庫数の予測は、ニューラルネットワークなどの既存の予測技術によって計算される。
【0037】
また、配送計画作成装置１０１は、複数の自動販売機Ｖの商品の売上の予測値である予測需要と、複数の自動販売機Ｖの各々の商品の在庫情報とに基づいて、配送計画作成部２３の学習済モデルにより配送計画を作成するように構成されている。
【0038】
また、配送計画作成装置１０１は、後述するように、配送計画を実際に実施した際における配送実績情報に基づいて、配送計画作成部２３の学習済モデルを用いた機械学習を行うことによって、配送計画作成部２３の学習済モデルを更新するように構成されている。なお、配送実績情報は、複数の自動販売機Ｖの商品の売上と、商品の配送にかかる総移動時間とを含む。本実施形態では、配送実績情報は、商品の配送にかかる総移動時間、複数の自動販売機Ｖの商品の売上（売上本数）、商品輸送量、作業者Ｍの位置情報および複数の自動販売機Ｖの商品の在庫情報を含む（図１６参照）。なお、配送実績情報は、複数の自動販売機Ｖの商品の売上として、売上本数に加えて、売上金額を含んでもよい。配送実績情報は、携帯端末１０２および自動販売機Ｖから得られる情報（データ）である。
【0039】
入力部３は、ネットワーク２００を介して、配送実績情報が入力される（配送実績情報を受け取る）ように構成されている。
【0040】
出力部４は、配送計画作成装置１０１は、配送計画作成部２３により作成した配送計画を、ネットワーク２００を介して、携帯端末１０２に出力するように構成されている。
【0041】
また、出力部４は、更新後（配送実績情報を用いた機械学習が行われた）の配送計画作成部２３の学習済モデルによって作成された配送計画を、ネットワーク２００を介して携帯端末１０２に出力するように構成されている。
【0042】
（シミュレーション結果を用いた機械学習）
次に、図３～図１０を参照して、配送計画の作成（配送計画計算）に用いられる学習済モデルを作成するためのシミュレーション結果を用いた機械学習について説明する。シミュレーション結果を用いた機械学習は、作業者Ｍによる実際の配送を行う前（配送計画作成システム１００の実運用前）に行われる。
次に、図３～図１０を参照して、配送計画の作成（配送計画計算）に用いられる学習済モデルを作成するためのシミュレーション結果を用いた機械学習について説明する。シミュレーション結果を用いた機械学習は、作業者Ｍによる実際の配送を行う前（配送計画作成システム１００の実運用前）に行われる。
【0043】
配送計画作成装置１０１は、配送計画作成部２３の学習済モデルの作成を行う際に、複数の自動販売機Ｖの商品の売上の予測値と、複数の自動販売機Ｖの各々の商品の在庫数の予測値とに基づく仮配送計画を、配送計画作成部２３により作成（図３参照）している。
【0044】
本実施形態では、配送計画作成部２３は、仮配送計画の作成において、予測部２４によって予測された複数日間における複数の自動販売機Ｖの商品の売上の予測値と、予測部２４によって複数日間における複数の自動販売機Ｖの各々の商品の在庫数の予測値とを用いて、仮配送計画を作成する。なお、仮配送計画の作成時に用いる期間（複数日間の範囲）は、複数の自動販売機Ｖの商品の売上の予測値および複数の自動販売機Ｖの各々の商品の在庫数の予測値で同一である。
【0045】
また、図３に示すように、配送計画作成装置１０１では、仮配送計画に基づいたシミュレーションが行われる。また、シミュレーション結果を用いた機械学習では、需要情報および在庫情報から、シミュレーションに用いる配送計画（仮配送計画）を作成（計算）する。
【0046】
配送計画作成装置１０１は、仮配送計画による複数の自動販売機Ｖへの商品の配送のシミュレーション結果における商品の売上と、複数の自動販売機Ｖへの商品の配送のシミュレーション結果における商品の配送にかかる総移動時間とを含む、予測配送実績情報を取得する。本実施形態では、予測配送実績情報は、商品の配送にかかる総移動時間、複数の自動販売機Ｖの商品の売上（売上本数）、商品輸送量、作業者Ｍの位置情報および複数の自動販売機Ｖの商品の在庫情報を含む（図３参照）。また、予測配送実績情報は、複数の自動販売機Ｖの商品の売上として、売上本数に加えて、売上金額を含んでもよい。
【0047】
そして、シミュレータ２２によるシミュレーションによって、在庫情報および総移動時間、商品の売上数、作業者Ｍ（ルートマン）が輸送している商品の輸送量（商品輸送量）、および、作業者Ｍの位置情報を時刻毎に計算する。
【0048】
シミュレーション結果を用いた機械学習では、需要情報、在庫情報（初期在庫情報）、仮配送計画、予測配送実績情報（商品の配送にかかる総移動時間、複数の自動販売機Ｖの商品の売上、商品輸送量、作業者Ｍの位置情報および複数の自動販売機Ｖの商品の在庫情報）に基づいて学習を行う。シミュレーション結果を用いた機械学習では、シミュレータ２２を活用して、連続した一定期間の機械学習が複数回繰り返される。なお、需要情報は過去の需要実績、および、ニューラルネットワークなどの既存の予測技術によって計算された予測需要を用いることができる。
【0049】
なお、配送計画作成装置１０１では、強化学習による学習済モデルの作成が行われる。配送計画作成装置１０１は、配送計画作成部２３における機械学習として、予測配送実績情報に基づく強化学習を行うことにより、学習済モデルを作成する。
【0050】
図４に示すように、配送計画（仮配送計画）の計算には需要情報、在庫情報、商品輸送量、および、作業者Ｍの位置情報を用いる。在庫情報は、連続する一定期間のシミュレーションの初期には、予め設定された在庫数（初期在庫情報）を用い、それ以降のシミュレーションでは、シミュレータ２２が出力する在庫情報を用いる。
【0051】
また、需要情報は、予測値または過去の実績値を利用し、将来の期間の需要情報を利用する。配送先は学習した結果を用いる。計算結果によっては、配送しない配送先（自動販売機Ｖ）があり、配送自体行わない場合もある。配送計画作成部２３によって計算される配送計画をＡとすると、配送計画（Ａ）は、下記の式（１）によって計画される。
Ａ＝π（Ｓ）・・・（１）
πは、状態（Ｓ）から配送計画を計算する関数（方策関数）でニューラルネットワークや最適化計算による計算を表し、状態（Ｓ）は需要情報、在庫情報、各作業者Ｍの位置情報および商品輸送量を表す。
Ａ＝π（Ｓ）・・・（１）
πは、状態（Ｓ）から配送計画を計算する関数（方策関数）でニューラルネットワークや最適化計算による計算を表し、状態（Ｓ）は需要情報、在庫情報、各作業者Ｍの位置情報および商品輸送量を表す。
【0052】
シミュレータ２２におけるシミュレーションでは、たとえば、配送計画に示された配送先の商品数を最大値まで補充する。そして、需要情報をもとに、次の時刻の在庫情報と売り上げを計算する。商品の需要が、自動販売機Ｖの在庫数（商品数）より大きい場合は、存在している在庫数（商品数）が売上となり、在庫は０となる。また、在庫数（商品数）が需要より大きい場合は、在庫数（商品数）から需要量を引いた分が、次の時刻の在庫となり、売上は需要量と等しくなる。
【0053】
なお、総移動時間は、各作業者Ｍ（複数の作業者Ｍ）の移動時間の合計である。各作業者Ｍの移動時間は、拠点間移動情報に含まれる拠点間移動時間によって計算する。拠点間移動時間は、各配送先間（各自動販売機Ｖ間）の移動時間と、配送拠点と配送先（自動販売機Ｖ）との間の移動時間が設定（入力）されている。
【0054】
図５に示すように、配送計画作成装置１０１の配送計画作成部２３は、シミュレーション結果を用いた学習が行われる。シミュレーション結果を用いた学習は既存の強化学習方法によって学習する。強化学習に必要な報酬ｒは、たとえば、下記の式（２）に示すように、総移動時間（Ｒ１）および売上（Ｒ２）の重みづけ(α)による合計によって計算する。
ｒ＝α×Ｒ１＋Ｒ２・・・（２）
なお、報酬ｒには、全体の配達終了時間（各ルートマンの総移動時間の最大値）、商品の売上金額、および、売上による利益（利益率）などを考慮して学習させてもよい。
ｒ＝α×Ｒ１＋Ｒ２・・・（２）
なお、報酬ｒには、全体の配達終了時間（各ルートマンの総移動時間の最大値）、商品の売上金額、および、売上による利益（利益率）などを考慮して学習させてもよい。
【0055】
本実施形態では、強化学習方法として、Ｄｅｅｐ Ｑ Ｎｅｔｗｏｒｋを用いる。そして、在庫情報および需要情報の状態（Ｓ）に応じた行動である配送計画（Ａ）に対する状態行動価値関数（Ｑ関数：Ｑ（Ｓ，Ａ））をニューラルネットワークによって学習する。
【0056】
なお、機械学習には、他の既存の強化学習方法を用いてもよい。たとえば、ＤｏｕｂｌｅＤＱＮ、Ａ３Ｃ、Ａｃｔｏｒ－Ｃｒｉｔｉｃ、方策勾配法、Ｒａｉｎｂｏｗ、Ｑ学習、ＳＡＲＳＡ、Ａｐｅ－Ｘ、Ｒ２Ｄ２、ＮＧＵ、Ａｇｅｎｔ５７、ＳＡＣ、ＴＤ３、ＤＤＰＧ、ＴＲＰＯ、ＰＰＯなどを用いてもよい。
【0057】
図５に示すように、Ｑ関数を学習した場合、配送計画（Ａ）の計算では、たとえば、Ｑ関数を最適にする（Ｑ関数が極小値になる）配送計画（Ａ*）を下記の式（３）によって計算する。
Ａ*＝π（Ｓ）＝ａｒｇｍｉｎAＱ（Ｓ，Ａ）・・・（３）
シミュレーション結果を用いて学習した学習済モデルによって作成される配送計画は、最適な配送計画（Ａ*）のほかに確率λで、最適でない配送計画（たとえば、ランダムな配送計画）を行い、より良い配送計画（より小さい極小値）の探索が行われる。
Ａ*＝π（Ｓ）＝ａｒｇｍｉｎAＱ（Ｓ，Ａ）・・・（３）
シミュレーション結果を用いて学習した学習済モデルによって作成される配送計画は、最適な配送計画（Ａ*）のほかに確率λで、最適でない配送計画（たとえば、ランダムな配送計画）を行い、より良い配送計画（より小さい極小値）の探索が行われる。
【0058】
また、最適な配送計画（Ａ*）の計算は、他にもニューラルネットワークを用いて、下記の式（４）のように計算することもできる。
Ａ*＝π（Ｓ）＝ＮＳθ（Ｓ）・・・（４）
なお、θはニューラルネットワークのパラメータである。この場合は、シミュレーション結果を用いた機械学習および配送実績情報を用いた機械学習において、配送計画を計算するＮＳθ（Ｓ）の学習も行う。
Ａ*＝π（Ｓ）＝ＮＳθ（Ｓ）・・・（４）
なお、θはニューラルネットワークのパラメータである。この場合は、シミュレーション結果を用いた機械学習および配送実績情報を用いた機械学習において、配送計画を計算するＮＳθ（Ｓ）の学習も行う。
【0059】
図６～図８を参照して、シミュレーション結果を用いた学習の一例を説明する。図６～図８に示す例では、作業者Ｍは、配送拠点から商品を積み込み、配送先となる自動販売機Ｖに補充する。配送を行うと配送先の商品はすべて最大まで補充される。そして、補充する商品は３種類（商品Ａ１～Ａ３）あるとし、各自動販売機Ｖの商品の補充可能な最大値は１０本としている。さらに、配送を行う作業者Ｍは、作業者Ｍ１の１人とし、配送先は、３つの拠点（自動販売機Ｖ１～Ｖ３）があるものとする。
【0060】
図６は、移動時間を重視して、自動販売機Ｖ１およびＶ２にのみ商品を配送する場合のシミュレーション結果を示している。図６の左に示すように、需要情報では、自動販売機Ｖ３の商品Ａ～Ｃの各々の需要が８本であるのに対して、在庫情報では、自動販売機Ｖ３の商品Ａ～Ｃの各々の在庫が１本である。この場合、自動販売機Ｖ３は需要に対して、在庫数（商品数）が不足しており、自動販売機Ｖ１およびＶ２にのみ商品を配送する場合、自動販売機Ｖ３の商品Ａ～Ｃの各々の売り上げが、需要に対して７本少なくなる。また、図７は、売上（売上本数）を考慮してすべての自動販売機（自動販売機Ｖ１～Ｖ３）を配送する場合のシミュレーション結果を示している。この場合、自動販売機Ｖ３も配送することによって、需要を満たすだけの商品が補充され、売上（売上本数）は、自動販売機Ｖ３への商品の配送を行わない場合（図６参照）よりも増加する。具体的には、自動販売機Ｖ３への商品の配送を行わない場合（図６参照）の自動販売機Ｖ３の売上（売上本数）が、３本（商品Ａ：１本、商品Ｂ：１本、商品Ｃ：１本）から、２１本（商品Ａ：７本、商品Ｂ：７本、商品Ｃ：７本）に増加（図７参照）する。一方で、総移動時間も、３．５時間（図６の右下参照）から４時間（図７の右下参照）に増加する。このような、仮配送計画の作成と、仮配送計画に基づいたシミュレーション結果による強化学習とを繰り返していく。
【0061】
図８は、自動販売機Ｖ２は、需要が少ないので配送しなくてよいことを学習した状態の配送計画作成部２３の学習済みモデルを用いたシミュレーション結果を示している。配送先を自動販売機Ｖ１およびＶ３にすることによって、需要を満たすだけの商品数が確保されてかつ総移動時間も短い配送計画を作成できる。具体的には、自動販売機Ｖ１およびＶ２の売上（売上本数）を低下させることなく、自動販売機Ｖ３の売上（売上本数）を２１本（商品Ａ：７本、商品Ｂ：７本および商品Ｃ：７本）に増加（図８右参照）させるとともに、総移動時間も３．５時間（図８下参照）に抑えている。
【0062】
また、図９および図１０は、複数日間の需要情報を基づいたシミュレーション結果の一例を示している。図９および図１０に示したシミュレーションでは、需要情報を２日分使用している。このシミュレーションにより、将来（２日間）の需要情報を用いることにより、１日の移動時間が長くなったとしても、２日間の移動時間（トータルの移動時間）が、短くなるように配送計画を立てることができる。
【0063】
図９に示した例は、２日目の商品の需要を考慮しない場合であり、１日目に自動販売機Ｖ１およびＶ３に配送し、２日目に自動販売機Ｖ２にのみに配送を行うことになり、効率が悪い。この場合の２日間の総移動時間は、６．５時間（図９の下参照）である。一方、図１０に示した例では、２日目の商品の需要を考慮し、２日目に補充が必要なことを見越して、１日目において予め自動販売機Ｖ２にも配送している。この場合の２日間の総移動時間は、４時間（図１０の下参照）である。このように配送することによって、２日目に、自動販売機Ｖ２のみに配送を行う必要がなくなり、２日間の総移動時間が６．５時間（図９下参照）から４時間（図１０下参照）となるので、２日間の総移動時間が短くなる。
【0064】
【0065】
なお、シミュレーション結果を用いた機械学習は、自動販売機Ｖの数、自動販売機Ｖの設置場所、作業者Ｍの人数、道路状況の変更などがあった場合に、再度実施される。また、自動販売機Ｖによって販売される商品の変更、または、季節に変わり目などに、シミュレーション結果を用いた機械学習を再度行ってもよい。
【0066】
また、作業者Ｍによる実際の商品に配送時（配送計画作成システム１００の実運用時）では、始めにシミュレーション結果を用いた機械学習した結果（学習済モデル）を用いて、配送計画を作成する。そして、作成した配送計画（配送ルート）に従って、作業者Ｍが、実際に配送を実施する。そして、配送計画作成システム１００（配送計画作成装置１０１）は、実際の配送実績である配送実績情報（商品の配送にかかる総移動時間、複数の自動販売機Ｖの商品の売上、商品輸送量、作業者Ｍの位置情報および複数の自動販売機Ｖの商品の在庫情報）を用いた強化学習を実施する。
【0067】
（配送計画作成および配送時における配送計画の修正）
配送計画作成部２３は、配送計画の作成において、複数日間における複数の自動販売機Ｖの商品の売上の予測値である予測需要（図１１参照）を用いるように構成されている。
配送計画作成部２３は、配送計画の作成において、複数日間における複数の自動販売機Ｖの商品の売上の予測値である予測需要（図１１参照）を用いるように構成されている。
【0068】
また、配送計画作成装置１０１は、作業者Ｍによる商品の配送時において、配送計画を実際に実施した際における配送実績情報を取得する。具体的には、配送計画作成装置１０１は、作業者Ｍによる商品の配送時において、配送計画を実際に実施した際における配送実績情報を、ネットワーク２００を介して取得している。
【0069】
そして、配送計画作成部２３は、作業者Ｍによる商品の配送時において取得された在庫情報を含む配送実績情報、および、複数の自動販売機Ｖの商品の売上の予測値である予測需要を入力として、配送計画を出力する（図１１参照）ように構成されている。
【0070】
また、配送計画作成装置１０１は、配送計画作成部２３の学習済モデルを更新せずに、取得した配送実績情報に基づいて、配送計画を修正するように構成されている。具体的には、配送計画作成装置１０１は、配送計画作成部２３の学習済モデルを更新せずに、取得した配送実績情報に基づいて、配送計画を作業者Ｍによる商品の配送中に修正する。そして、配送計画作成装置１０１は、修正後の配送計画を、ネットワーク２００を介して、複数の作業者Ｍの各々の携帯端末１０２に送信するように構成されている。
【0071】
より具体的には、配送計画作成装置１０１は、複数の作業者Ｍによる商品の配送時において、複数の作業者Ｍの各々が配送可能な商品の数である商品輸送量を、ネットワーク２００を介して取得する。そして、配送計画作成装置１０１は、配送計画作成部２３の学習済モデルを更新せずに、取得した複数の作業者Ｍの各々の商品輸送量に基づいて、配送計画を作業者Ｍによる商品の配送中に修正する。さらに、配送計画作成装置１０１は、取得した複数の作業者Ｍの各々の商品輸送量に基づいて修正した修正後の配送計画を、ネットワーク２００を介して、複数の作業者Ｍの各々の携帯端末１０２に送信するように構成されている。
【0072】
本実施形態では、前述したように、配送計画作成装置１０１は、配送開始時点の配送計画（図１２参照）に対して、作業者Ｍの輸送している商品輸送量に基づいて配送計画を修正している。たとえば、作業者Ｍ２が担当する自動販売機Ｖ４の売上（売上本数）が予測より多く、配送計画作成において想定（予測）した自動販売機Ｖ４に補充する商品の量（予測補充量）が３本（図１２参照）であったのに対して、実際には６本補充する必要があった場合（図１３参照）には、配送する商品の数（商品輸送量）が足りなくなり、作業者Ｍ２は自動販売機Ｖ７に商品を補充できなくなってしまう。そこで、自動販売機Ｖ１の売上（売上本数）が予測より少なく、自動販売機Ｖ１の予測補充量が５本（図１２参照）であったのに対して、実際には１本しか補充する必要がなかったため、商品輸送量に余裕ができた作業者Ｍ１が、作業者Ｍ２の代わりに、自動販売機Ｖ７の商品の補充を行うように配送計画を修正（図１３参照）する。また、配送計画において、予め商品輸送量が多めに設定されていた別の作業者Ｍが、自動販売機Ｖ７の商品の補充を行ってもよい。その結果、特定の自動販売機（自動販売機Ｖ４）に補充する商品の量が、予測されていた売上本数に対する補充量（予想補充量）より多くなり、作業者Ｍ（作業者Ｍ２）の商品輸送量が足りなくなったとしても、他の作業者Ｍ（作業者Ｍ１）と協力して配送計画を修正（図１３参照）することで、自動販売機Ｖへの補充量が足りなくなるケースを防ぐことが可能である。
【0073】
また、配送計画作成装置１０１は、作業者Ｍの商品の配送時における作業者Ｍの位置情報を含む配送実績情報を取得するように構成されている。そして、配送計画作成装置１０１は、配送計画作成部２３の学習済モデルを更新せずに、取得した作業者Ｍの位置情報に基づいて、配送計画を作業者Ｍによる商品の配送中に修正する。さらに、配送計画作成装置１０１は、取得した作業者Ｍの位置情報に基づいて修正した修正後の配送計画を、ネットワーク２００を介して、複数の作業者Ｍの各々の携帯端末１０２に送信するように構成されている。
【0074】
なお、作業者Ｍの位置情報は、作業者Ｍによる入力操作やＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などによって、携帯端末１０２から配送計画作成装置１０１に送信（通知）されてもよいし、自動販売機Ｖの商品の補充時（メンテナンス時）において、携帯端末１０２と自動販売機Ｖとが通信したこと、および、自動販売機Ｖが開閉されたことをトリガにして、自動販売機Ｖから配送計画作成装置１０１に送信（通知）されてもよい。
【0075】
また、配送計画作成装置１０１は、図１４に示したような配送計画（配送ルート）において、特定の作業者Ｍ（作業者Ｍ２）が、渋滞などの影響によって、配送が遅れている場合には、別の作業者Ｍ（作業者Ｍ１）が、配送が遅れている作業者Ｍ２の代わりに、配送が遅れている作業者Ｍ２の担当する自動販売機（自動販売機Ｖ７）への商品の配送を行うように配送計画を修正（図１５参照）する。たとえば、図１４に示したような配送計画（配送ルート）によって商品の配送を実施している際に、作業者Ｍ２の配送が渋滞などの影響によって遅れ、作業者Ｍ１による配送が自動販売機Ｖ３まで進んでいるのに、作業者Ｍ２による配送が自動販売機Ｖ４にまでしか進んでいない場合（図１５参照）には、配送計画を修正する。このような場合には、配送計画を、作業者Ｍ１が自動販売機Ｖ１、Ｖ２、Ｖ３の順に配送し、作業者Ｍ２が自動販売機Ｖ４、Ｖ５、Ｖ６、Ｖ７の順に配送する配送計画（図１４参照）から、たとえば、作業者Ｍ１が自動販売機Ｖ１、Ｖ２、Ｖ３、Ｖ７の順に配送し、作業者Ｍ２が自動販売機Ｖ４、Ｖ５、Ｖ６の順に配送する配送計画（図１５参照）に修正する。これにより、配送が遅れている場合でも、複数の作業者Ｍの間で協力することによって、全ての作業者Ｍが配送を完了する時刻を早めることができる。
【0076】
（配送実績情報を用いた機械学習）
配送計画作成装置１０１は、図１６に示すように、複数の自動販売機Ｖへの商品の配送完了後において、配送計画作成部２３の学習済モデルを、配送実績情報（総移動時間、売上、商品輸送量、位置情報および在庫情報）に基づく配送計画作成部２３の学習済モデルを用いた機械学習によって更新するように構成されている。なお、配送計画作成部２３の学習済モデルの更新は、毎日行われてもよいし、数日おきに行われてもよい。また、配送計画作成部２３の学習済モデルの更新は、ユーザの任意の期間または任意のタイミングで行われてもよい。
配送計画作成装置１０１は、図１６に示すように、複数の自動販売機Ｖへの商品の配送完了後において、配送計画作成部２３の学習済モデルを、配送実績情報（総移動時間、売上、商品輸送量、位置情報および在庫情報）に基づく配送計画作成部２３の学習済モデルを用いた機械学習によって更新するように構成されている。なお、配送計画作成部２３の学習済モデルの更新は、毎日行われてもよいし、数日おきに行われてもよい。また、配送計画作成部２３の学習済モデルの更新は、ユーザの任意の期間または任意のタイミングで行われてもよい。
【0077】
配送計画作成装置１０１は、配送実績情報に基づく配送計画作成部２３の学習済モデルを用いた強化学習によって、学習済モデルの状態行動価値関数（Ｑ関数）が更新される。具体的には、配送計画作成装置１０１は、複数の自動販売機Ｖへの商品の配送完了後において、配送実績情報に基づく配送計画作成部２３の学習済モデルを用いた強化学習によって、学習済モデルの状態行動価値関数（Ｑ関数）を更新するように構成されている。
【0078】
図１７は、配送実績情報を用いた学習の一例を示しており、状態行動価値関数（Ｑ関数）を用いる強化学習方法を使用した例を示している。配送実績情報を用いた学習では、シミュレーション結果を用いた学習の場合と同様に、作業者Ｍ（ルートマン）が実際に配送を行った際の実際の総移動時間および実際の売上実績から報酬ｒを計算する。
【0079】
そして、実際に配送を行った配送計画、配送実績情報（総移動時間、売上、商品輸送量、位置情報および在庫情報）、および、予測需要を用いて、実際の配送の前に、シミュレーション結果を用いて学習した状態行動価値関数（Ｑ関数）を更新（修正）する。本実施形態では、実際の配送に伴う実績（配送実績情報）を用いて学習しなおすことで、より最適な配送ルート（配送計画）を計算することが可能となる。なお、配送実績情報を用いた学習も、シミュレーション結果を用いた学習と同様に既存の強化学習技術を用いることができる。本実施形態では、シミュレーション結果を用いた学習と同様の強化学習によって、学習済モデル（Ｑ関数）の更新を行う。
【0080】
また、配送計画作成装置１０１は、前述したように、作業者Ｍの商品の配送時における作業者Ｍの位置情報を含む配送実績情報を取得する。そして、配送計画作成部２３の学習済モデルは、取得された位置情報を含む配送実績情報に基づく、学習済モデルを用いた機械学習によって更新されるように構成されている。
【0081】
図１８および図１９は、作業者Ｍの位置情報を含む配送実績情報を用いて強化学習した結果を示している。作業者Ｍの位置情報を含む配送実績情報を用いた強化学習では、たとえば、渋滞を回避する配送計画を学習することが可能である。配送実績情報を用いた学習では自動販売機Ｖ１、自動販売機Ｖ３の順で配送していた配送ルート（図１８参照）を、渋滞を考慮した学習で（過去の移動時間の実績の学習で）自動販売機Ｖ３、自動販売機Ｖ１の順に変更（図１９参照）する。その結果、総移動時間が４．５時間（図１８の右下参照）から、３．５時間（図１９の右下参照）になり、総移動時間がより短くなる（１時間短縮される）配送計画を作成可能となる。
【0082】
（本実施形態の効果）
本実施形態では、以下のような効果を得ることができる。
本実施形態では、以下のような効果を得ることができる。
【0083】
本実施形態による配送計画作成装置１０１（配送計画作成システム１００）では、複数の自動販売機Ｖの商品の売上の予測値である予測需要と、複数の自動販売機Ｖの各々の商品の在庫情報とに基づいて、配送計画作成部２３の学習済モデルにより配送計画を作成する。これにより、売り切れに起因する商品の売上の低下を抑制することが可能な配送計画を作成することができる。また、配送計画を実際に実施した際における配送実績情報に基づいて、配送計画作成部２３の学習済モデルを用いた機械学習を行うことによって、配送計画作成部２３の学習済モデルが更新される。これにより、配送計画作成部２３の学習済モデルを、配送計画を実際に実施した際における複数の自動販売機Ｖの商品の売上と商品の配送にかかる総移動時間とを含む配送実績情報が反映された学習済モデルに更新することができる。その結果、配送計画作成部２３は、学習済モデルの更新後の配送時において、配送計画を実際に実施した際における複数の自動販売機Ｖの商品の売上と商品の配送にかかる総移動時間とを含む配送実績情報が反映された効率的な配送計画を作成することができるようになる。これら結果、配送時間の増加を抑制しつつ、売り切れに起因する自動販売機Ｖの商品の売上の低下を抑制する配送ルートを作成することができる。また、出力部４が、更新後の配送計画作成部２３の学習済モデルによって作成された配送計画を、ネットワーク２００を介して携帯端末１０２に出力するので、作業者Ｍは、携帯端末１０２によって、上記配送実績情報が反映された、配送時間の増加を抑制しつつ、売り切れに起因する自動販売機Ｖの商品の売上の低下を抑制する効率的な配送計画を確認することができる。その結果、作業者Ｍは、上記配送実績情報が反映された、配送時間の増加を抑制しつつ、売り切れに起因する自動販売機Ｖの商品の売上の低下を抑制する効率的な商品の配送を行うことができる。
【0084】
また、本実施形態では、上記のように、配送計画作成部２３の学習済モデルは、価値を表す状態行動価値関数（Ｑ関数）を含み、配送計画作成部２３は、状態行動価値関数に基づいて、配送計画を作成するように構成されている。そして、配送計画作成装置１０１は、配送実績情報に基づく配送計画作成部２３の学習済モデルを用いた強化学習によって、学習済モデルの状態行動価値関数を更新する。これにより、配送実績情報に基づいて更新された状態行動価値関数によって、上記配送実績情報が反映された、配送時間が短く、自動販売機Ｖの商品の売上の多い配送計画を作成することができる。その結果、配送計画作成部２３によって、複数の自動販売機Ｖへの商品の配送時において、配送時間の増加を抑制しつつ、売り切れに起因する自動販売機Ｖの商品の売上の低下を抑制可能な効率的な配送ルートを作成することができる。
【0085】
また、本実施形態では、上記のように、複数の自動販売機Ｖへの商品の配送完了後において、配送計画作成部２３の学習済モデルを、配送実績情報に基づく配送計画作成部２３の学習済モデルを用いた機械学習によって更新する。これにより、複数の自動販売機Ｖへの商品の配送開始から配送完了までの上記配送実績情報を反映させるように、配送計画作成部２３の学習済モデルを更新することができる。その結果、学習済モデル更新後の配送計画作成部２３によって、複数の自動販売機Ｖへの商品の配送時において、配送時間の増加をより抑制しつつ、売り切れに起因する自動販売機Ｖの商品の売上の低下をより抑制可能な、より効率的な配送計画（配送ルート）を作成することができる。
【0086】
また、本実施形態では、上記のように、配送計画作成装置１０１は、作業者Ｍの商品の配送時における作業者Ｍの位置情報を含む配送実績情報を取得する。そして、配送計画作成部２３の学習済モデルは、取得された位置情報を含む配送実績情報に基づく、学習済モデルを用いた機械学習によって更新される。これにより、作業者Ｍの位置情報を含む配送実績情報から、作業者Ｍの商品の配送時において、複数の自動販売機Ｖ間の移動時間を取得することができる。その結果、実際の商品の配送において、複数の自動販売機Ｖ間の移動時間が、配送計画を作成した際に想定した移動時間よりも長い場合には、作業者Ｍの位置情報を含む配送実績情報から取得した複数の自動販売機Ｖ間の移動時間に基づいて、配送計画作成部２３の学習済モデルを更新することができる。これにより、複数の自動販売機Ｖ間の経路や配送する自動販売機Ｖの順番を変えるなどして、より最適な配送ルートを作成することができるので、より効率的な配送計画を作成することができる。
【0087】
また、本実施形態では、上記のように、配送計画作成部２３は、配送計画の作成において、複数日間における複数の自動販売機Ｖの商品の売上の予測値である予測需要を用いる。これにより、複数日間における商品の配送にかかる総移動時間の合計または総移動距離の合計が少ない配送ルートを作成することができる。その結果、複数日間にわたって配送する場合において効率的な複数の自動販売機Ｖへの商品の配送ルートを、配送計画作成部２３によって作成することができる。
【0088】
また、本実施形態では、上記のように、配送計画作成装置１０１は、作業者Ｍによる商品の配送時において、配送計画を実際に実施した際における配送実績情報を取得する。そして、配送計画作成部２３は、作業者Ｍによる商品の配送時において取得された在庫情報を含む配送実績情報、および、複数の自動販売機Ｖの商品の売上の予測値である予測需要を入力として、配送計画を出力するように構成されている。さらに、配送計画作成装置１０１は、配送計画作成部２３の学習済モデルを更新せずに、取得した配送実績情報に基づいて、配送計画を修正する。これにより、配送計画作成部２３は、実際の在庫情報に基づいて、学習済モデルの更新前に配送計画を修正することができる。その結果、学習済モデルの更新前に実際の在庫情報を反映させ、より効率的な配送計画に、配送計画を修正することができる。また、配送計画作成部２３の学習済モデルを更新せずに、配送計画を修正することによって、配送計画作成部２３の学習済モデルを随時更新する場合に比べて、配送計画の修正を容易に行うことができる。
【0089】
また、本実施形態では、上記のように、配送計画作成装置１０１は、作業者Ｍによる商品の配送時において、配送計画を実際に実施した際における配送実績情報を、ネットワーク２００を介して取得している。そして、配送計画作成装置１０１は、配送計画作成部２３の学習済モデルを更新せずに、取得した配送実績情報に基づいて、配送計画を作業者Ｍによる商品の配送中に修正し、修正後の配送計画を、ネットワーク２００を介して、複数の作業者Ｍの各々の携帯端末１０２に送信する。これにより、作業者Ｍによる商品の配送中において、取得した配送実績情報に基づいて修正された配送計画が複数の作業者Ｍの各々の携帯端末１０２に送信されるので、作業者Ｍは、商品の配送中において、リアルタイムで配送中の状況を反映した効率的な商品の配送を行うことができる。また、配送計画作成部２３の学習済モデルを更新せずに、配送計画を修正することによって、配送計画作成部２３の学習済モデルを随時更新する場合に比べて、商品の配送中におけるリアルタイムでの配送計画の修正を迅速に行うことができる。
【0090】
また、本実施形態では、上記のように、配送計画作成装置１０１は、複数の作業者Ｍによる商品の配送時において、複数の作業者Ｍの各々が配送可能な商品の数である商品輸送量を、ネットワーク２００を介して取得している。そして、配送計画作成装置１０１は、配送計画作成部２３の学習済モデルを更新せずに、取得した複数の作業者Ｍの各々の商品輸送量に基づいて、配送計画を作業者Ｍによる商品の配送中に修正し、修正後の配送計画を、ネットワーク２００を介して、複数の作業者Ｍの各々の携帯端末１０２に送信する。これにより、作業者Ｍによる商品の配送中において、取得した複数の作業者Ｍの各々の商品輸送量に基づいて配送計画を修正することができるので、ある作業者Ｍの商品輸送量が不足した場合でも、商品輸送量に余裕のある他の作業者Ｍが代わりに商品の補充を行うように配送ルートを修正することができる。そして、修正後の配送計画が複数の作業者Ｍの各々の携帯端末１０２に送信されるので、作業者Ｍは、作業者Ｍ毎の商品輸送量を反映した効率的な商品の配送を行うことができる。また、配送計画作成部２３の学習済モデルを更新せずに、配送計画を修正することによって、配送計画作成部２３の学習済モデルを随時更新する場合に比べて、取得した複数の作業者Ｍの各々の商品輸送量に基づく配送計画の修正を、商品の配送中において迅速に行うことができる。
【0091】
また、本実施形態では、上記のように、配送計画作成装置１０１は、配送計画作成部２３の学習済モデルの作成を行う際に、複数の自動販売機Ｖの商品の売上の予測値と、複数の自動販売機Ｖの各々の商品の在庫数の予測値とに基づく仮配送計画を、配送計画作成部２３により作成している。そして、配送計画作成装置１０１は、仮配送計画による複数の自動販売機Ｖへの商品の配送のシミュレーション結果における商品の売上と、複数の自動販売機Ｖへの商品の配送のシミュレーション結果における商品の配送にかかる総移動時間を含む予測配送実績情報を取得する。そして、配送計画作成装置１０１は、配送計画作成部２３における機械学習として、予測配送実績情報に基づく強化学習を行うことにより、学習済モデルを作成する。これにより、仮配送計画に基づくシミュレーション結果によって得られる予測配送実績情報によって、実際に商品の配送を実施する前に、強化学習による学習を行わせることができる。その結果、仮配送計画に基づくシミュレーション結果によって得られる予測配送実績情報による強化学習を行わない場合に比べて、実際の商品の配送を行う前に、より効率的な配送計画を作成可能な配送計画作成部２３の学習済モデルを作成することができる。
【0092】
［変形例］
今回開示された実施形態は、全ての点で例示であり制限的なものではないと考えられるべきである。本発明の範囲は上記実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内での全ての変更（変形例）が含まれる。
今回開示された実施形態は、全ての点で例示であり制限的なものではないと考えられるべきである。本発明の範囲は上記実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内での全ての変更（変形例）が含まれる。
【0093】
たとえば、上記実施形態では、配送実績情報は、商品の配送にかかる総移動時間、複数の自動販売機Ｖの商品の売上（売上本数）、商品輸送量、作業者Ｍの位置情報および複数の自動販売機Ｖの商品の在庫情報を含む例を示したが、本発明はこれに限られない。本発明では、配送実績情報は、商品の配送にかかる総移動距離を含んでもよいし、自動販売機Ｖが販売した商品の売上金額および利益（利益率）を含んでもよい。
【0094】
また、上記実施形態では、予測配送実績情報は、商品の配送にかかる総移動時間、複数の自動販売機Ｖの商品の売上（売上本数）、商品輸送量、作業者Ｍの位置情報および複数の自動販売機Ｖの商品の在庫情報を含む例を示したが、本発明はこれに限られない。本発明では、予測配送実績情報は、商品の配送にかかる総移動距離を含んでもよいし、自動販売機Ｖが販売した商品の売上金額および利益（利益率）を含んでもよい。
【0095】
また、上記実施形態では、配送計画作成装置１０１は、配送実績情報に基づく配送計画作成部２３の学習済モデルを用いた強化学習によって、学習済モデルの状態行動価値関数を更新する例を示したが、本発明はこれに限られない。本発明では、配送計画作成装置１０１は、ニューラルネットワークを用いた学習、教師なし学習、および、教師あり学習のように、強化学習以外の機械学習によって、学習済モデルを更新するように構成してもよい。
【0096】
また、上記実施形態では、複数の自動販売機Ｖへの商品の配送完了後において、配送計画作成部２３の学習済モデルを、配送実績情報に基づく配送計画作成部２３の学習済モデルを用いた機械学習によって更新する例を示したが、本発明はこれに限られない。本発明では、配送計画作成装置１０１は、作業者Ｍによる商品の配送中に配送計画作成部２３の学習済モデルを更新してもよい。
【0097】
また、上記実施形態では、配送計画作成部２３の学習済モデルが、取得された位置情報を含む配送実績情報に基づく、学習済モデルを用いた機械学習によって更新される例を示したが、本発明はこれに限られない。本発明では、配送計画作成部の学習済モデルが、取得した複数の作業者の各々の商品輸送量に基づいて、学習済モデルを用いた機械学習によって更新されてもよい。
【0098】
また、上記実施形態では、配送計画作成部２３の学習済モデルを更新せずに、取得した複数の作業者Ｍの各々の商品輸送量に基づいて、配送計画を作業者Ｍによる商品の配送中に修正するとともに、配送計画作成部２３の学習済モデルを更新せずに、取得した位置情報に基づいて、配送計画を作業者Ｍによる商品の配送中に修正する例を示したが、本発明はこれに限られない。本発明では、配送計画作成部の学習済モデルを更新せずに、取得した複数の作業者の各々の商品輸送量または位置情報のいずれか一方に基づいて、配送計画を作業者による商品の配送中に修正する構成であってもよい。
【0099】
また、上記実施形態では、配送計画作成部２３は、配送計画の作成において、複数日間における複数の自動販売機Ｖの商品の売上の予測値である予測需要を用いる例を示したが、本発明はこれに限られない。本発明では、配送計画作成部２３は、配送計画および仮配送計画の作成において、１日分の複数の自動販売機Ｖの商品の売上の予測値である予測需要を用いてもよい。
【0100】
また、上記実施形態では、配送計画作成装置１０１は、配送計画作成部２３の学習済モデルを更新せずに、取得した配送実績情報に基づいて、配送計画を作業者Ｍによる商品の配送中に修正する例を示したが、本発明はこれに限られない。本発明では、配送完了後の学習済みモデルの更新のみを行い、作業者Ｍによる商品の配送中に、配送計画を修正しなくてもよい。
【0101】
また、上記実施形態では、配送計画作成部２３は、仮配送計画の作成において、複数の自動販売機Ｖの商品の売上の予測値と、複数の自動販売機Ｖの各々の商品の在庫数の予測値とを用いて、仮配送計画を作成する例を示したが、本発明はこれに限られない。本発明では、仮配送計画の作成において、複数の自動販売機の商品の売上および在庫数の各々の過去の実績値を用いてもよいし、複数の自動販売機の商品の売上および在庫数の各々の予測値および過去の実績値の両方を用いてもよい。また、本発明では、仮配送計画の作成において、複数の自動販売機の商品の売上および在庫数の各々のうち、一方は予測値および過去の実績値の両方を用い、他方は予測値または過去の実績値のいずれかを用いてもよい。
【符号の説明】
【0102】
４ 出力部
２３ 配送計画作成部
１００ 配送計画作成システム
１０１ 配送計画作成装置
１０２ 携帯端末
２００ ネットワーク
Ｍ、Ｍ１、Ｍ２ 作業者
Ｖ、Ｖ１、Ｖ２、Ｖ３、Ｖ４、Ｖ５、Ｖ６、Ｖ７ 自動販売機
２３ 配送計画作成部
１００ 配送計画作成システム
１０１ 配送計画作成装置
１０２ 携帯端末
２００ ネットワーク
Ｍ、Ｍ１、Ｍ２ 作業者
Ｖ、Ｖ１、Ｖ２、Ｖ３、Ｖ４、Ｖ５、Ｖ６、Ｖ７ 自動販売機
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】