特開 2024-35542 評価装置、評価方法、および評価プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024035542

(43)【公開日】2024-03-14

(54)【発明の名称】評価装置、評価方法、および評価プログラム

(51)【国際特許分類】

   G06Q 10/08 20240101AFI20240307BHJP

【ＦＩ】

G06Q10/08

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022140065

(22)【出願日】2022-09-02

(71)【出願人】

【識別番号】000153546

【氏名又は名称】ロジスティード株式会社

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】東條 紀子

(72)【発明者】

【氏名】芹田 進

(72)【発明者】

【氏名】尾白 大知

(72)【発明者】

【氏名】鴨志田 亮太

(72)【発明者】

【氏名】植木 隆雄

(72)【発明者】

【氏名】山元 龍

(72)【発明者】

【氏名】劉 齊

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA16

5L049CC51

(57)【要約】

【課題】性能変化対象の改善具合を把握すること。
【解決手段】評価装置は、第１計画データに基づく運用対象の実運用結果に基づいて、記運用対象での運用に関する性能変化対象により前記第１計画データを更新した第２計画データを用いて前記運用対象での運用を模擬した模擬結果の正しさを判定する第１判定処理と、前記第１判定処理によって前記模擬結果が正しいと判定された場合、前記実運用結果の第１評価値との差が、前記模擬結果の第２評価値と前記第１評価値との差よりも小さくなるように、前記性能変化対象の性能を段階的に変化させた場合の複数段階の前記模擬結果の第３評価値を算出する算出処理と、前記第１評価値、前記第２評価値、および、前記算出処理によって算出された前記各段階の第３評価値を出力する出力処理と、を実行する。
【選択図】図８

【特許請求の範囲】

【請求項1】

プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する評価装置であって、
前記プロセッサは、
第１計画データに基づく運用対象の実運用結果に基づいて、前記運用対象での運用に関する性能変化対象により前記第１計画データを更新した第２計画データを用いて前記運用対象での運用を模擬した模擬結果の正しさを判定する第１判定処理と、
前記第１判定処理によって前記模擬結果が正しいと判定された場合、前記実運用結果の第１評価値との差が、前記模擬結果の第２評価値と前記第１評価値との差よりも小さくなるように、前記性能変化対象の性能を段階的に変化させた場合の複数段階の前記模擬結果の第３評価値を算出する算出処理と、
前記第１評価値、前記第２評価値、および、前記算出処理によって算出された前記各段階の第３評価値を出力する出力処理と、
を実行することを特徴とする評価装置。

【請求項2】

請求項１に記載の評価装置であって、
前記第１判定処理では、前記プロセッサは、前記実運用結果に基づいて、複数の前記性能変化対象の組み合わせにより前記第１計画データを更新した第２計画データを用いて前記運用対象を模擬した模擬結果の正しさを判定し、
前記算出処理では、前記プロセッサは、前記第１判定処理によって前記模擬結果が正しいと判定された場合、前記第１評価値との差が、前記第２評価値と前記第１評価値との差よりも小さくなるように、複数の前記性能変化対象の組み合わせのうち少なくとも１つの性能変化対象の性能を段階的に変化させた場合の複数段階の前記模擬結果の第３評価値を算出する、
ことを特徴とする評価装置。

【請求項3】

請求項１または２に記載の評価装置であって、
前記算出処理では、前記プロセッサは、前記第１判定処理によって前記模擬結果が正しいと判定された場合、前記第１評価値との差が、前記第２評価値と前記第１評価値との差よりも小さくなるように、前記性能変化対象が有する複数の性能のうち１以上の性能を段階的に変化させた場合の複数段階の前記模擬結果の第３評価値を算出する、
ことを特徴とする評価装置。

【請求項4】

請求項１に記載の評価装置であって、
前記プロセッサは、
前記第１判定処理によって前記模擬結果が正しいと判定された場合、前記模擬結果が前記実運用結果に比べて良好か否かを判定する第２判定処理を実行し、
前記算出処理では、前記プロセッサは、前記第２判定処理によって前記模擬結果が良好でないと判定された場合、前記第１評価値との差が、前記第２評価値と前記第１評価値との差よりも小さくなるように、前記複数段階の前記模擬結果の第３評価値を算出する、
することを特徴とする評価装置。

【請求項5】

請求項１に記載の評価装置であって、
前記算出処理では、前記プロセッサは、前記第２評価値から前記複数段階の第３評価値の最後の段階の第３評価値までに、前記性能の変化により前記模擬結果がどの程度改善したかを示す改善度を段階ごとに算出し、
前記出力処理では、前記プロセッサは、前記算出処理によって段階ごとに算出された改善度を出力する、
ことを特徴とする評価装置。

【請求項6】

請求項５に記載の評価装置であって、
前記算出処理では、前記プロセッサは、連続する２つの段階の改善度と、前記第１評価値と、前記第３評価値と、に基づいて、前記連続する２つの段階間の前記性能の変化により前記模擬結果の改善がどの程度寄与したかを示す改善寄与度を算出し、
前記出力処理では、前記プロセッサは、前記算出処理によって段階ごとに算出された改善寄与度を出力する、
ことを特徴とする評価装置。

【請求項7】

請求項６に記載の評価装置であって、
前記出力処理では、前記プロセッサは、前記性能ごとに前記複数段階の前記改善寄与度を示すグラフを出力する、
ことを特徴とする評価装置。

【請求項8】

請求項１に記載の評価装置であって、
前記出力処理では、前記プロセッサは、前記複数段階の各段階における前記性能変化対象の計算時間を出力する、
ことを特徴とする評価装置。

【請求項9】

プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する評価装置が実行する評価方法であって、
前記評価方法は、
前記プロセッサが、
第１計画データに基づく運用対象の実運用結果に基づいて、前記運用対象での運用に関する性能変化対象により前記第１計画データを更新した第２計画データを用いて前記運用対象での運用を模擬した模擬結果の正しさを判定する第１判定処理と、
前記第１判定処理によって前記模擬結果が正しいと判定された場合、前記実運用結果の第１評価値との差が、前記模擬結果の第２評価値と前記第１評価値との差よりも小さくなるように、前記性能変化対象の性能を段階的に変化させた場合の複数段階の前記模擬結果の第３評価値を算出する算出処理と、
前記第１評価値、前記第２評価値、および、前記算出処理によって算出された前記各段階の第３評価値を出力する出力処理と、
を実行することを特徴とする評価方法。

【請求項10】

プロセッサに、
第１計画データに基づく運用対象の実運用結果に基づいて、前記運用対象での運用に関する性能変化対象により前記第１計画データを更新した第２計画データを用いて前記運用対象での運用を模擬した模擬結果の正しさを判定する第１判定処理と、
前記第１判定処理によって前記模擬結果が正しいと判定された場合、前記実運用結果の第１評価値との差が、前記模擬結果の第２評価値と前記第１評価値との差よりも小さくなるように、前記性能変化対象の性能を段階的に変化させた場合の複数段階の前記模擬結果の第３評価値を算出する算出処理と、
前記第１評価値、前記第２評価値、および、前記算出処理によって算出された前記各段階の第３評価値を出力する出力処理と、
を実行させることを特徴とする評価プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、評価対象を評価する評価装置、評価方法、および評価プログラムに関する。

【背景技術】

【0002】

特許文献１は、予測対象の実績値と複数の説明変数の各々の時系列データとに基づいて予測対象の予測値を予測する予測装置を開示する。この予測装置は、実績値と予測値とに基づいて予測精度を算出し、複数の説明変数のうち第１説明変数の時系列データを用いて予測した第１予測値と、複数の説明変数のうち第１説明変数とは異なる第２説明変数の時系列データを用いて予測した第２予測値と、予測精度と、に基づいて、第１説明変数が予測値に与えた影響の度合いである第１貢献度と、第２説明変数が予測値に与えた影響の度合いである第２貢献度と、を算出し、第１貢献度と第２貢献度とに基づいて、複数の説明変数から除外される除外対象の説明変数を決定し、除外対象を出力する。

【0003】

特許文献２は、商品棚のレイアウトを設計する商品棚レイアウト設計装置を開示する。この商品棚レイアウト設計装置は、複数の商品棚レイアウト案それぞれの作成において、商品棚群と、商品割付と、最大保管量と、補充点と、を前記商品棚レイアウト案に含め、該複数の商品棚レイアウト案それぞれのピッキング作業工数を算出し、該複数の商品棚レイアウト案それぞれの補充作業工数を算出し、該複数の商品棚レイアウト案それぞれにおけるピッキング作業工数と補充作業工数とに基づいて、商品棚レイアウト案を選択する。

【0004】

特許文献３は、原材料の流通過程における流通量を適切に管理する在庫管理発注装置を開示する。この在庫管理発注装置は、小売店で販売される商品の過去需要情報，原材料メーカーへの発注履歴情報および自社倉庫への入庫履歴情報，原材料の受注履歴情報および納入履歴情報，賞味期限または消費期限とそれらの期限までの日数により算出される入庫期限情報，納品期限情報，原材料の自社の在庫数量情報，商品のレシピ情報，商品製造業者の原材料の使用期限管理ルールを示す日数管理ルール情報を記憶し、商品の今後の需要，商品製造業者の原材料ごとの理論在庫を予測すると共に、その理論在庫から自社倉庫内の原材料必要在庫数を演算し、自社倉庫における原材料ごとの保持数を決定するとともに、決定された保持数の在庫を確保するために必要な発注数を演算する。

【0005】

特許文献４は、製造業のサプライチェーンマネジメントにおける入荷数量意思決定支援に、需給不一致によって生じる需給調整リスクを時系列にシミュレーションする方法を用いる意思決定支援方法を開示する。この意思決定支援方法は、計画時期ごとの販売価格計画と製品原価計画と需要予測数量とからなる時系列予測データと、入荷計画の時系列データとを用いて、需給の不一致による損失を時系列シミュレーションし、入荷計画数量の意思決定支援を行う。シミュレーションでは、時系列予測データのずれに対する損失感度分析処理と、シミュレーションの進行状況を監視し入荷打切り時期を通知する監視処理と、指定した期間の時系列入荷計画を作成する入荷最適化処理とにより、ユーザが入力した各計画時期の入荷計画を用いて入荷計画の時系列データを作成する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２１－０６８１７３号公報

【特許文献2】国際公開第２０１６／１３５９１１号

【特許文献3】特開２０１８－２０５８６２号公報

【特許文献4】特開２００２－２８８４０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に示したような予測ツールのみでは、倉庫内作業の生産性向上のための予測に基づく倉庫内最適化を実現することができない。特許文献２に示したような最適化ツールのみでも、倉庫内作業の生産性向上のための予測に基づく倉庫内最適化を実現することができない。

【0008】

特許文献３に示したような予測ツールと最適化ツールとを用いた検証環境の運用結果が、従来環境の実運用結果と比べて改善効果がなかった場合、検証環境の改修が必要となる。しかしながら、その際にどの機能に着目して修正すべきかが分からない。特に予測ツールは、どの程度の誤差であれば活用可能であるかが分からない。

【0009】

また、特許文献４に示したような感度分析は、ある数値が変化したときにその数値と連動して動く別の数値がどれだけ変化するかを分析する技術である。検証環境に感度分析を適用して、各機能の性能を変動させたときの運用結果からどの機能をどう改善すべきかを特定しようとしても、各性能をどのように変動させるべきであるかが不明である。一般的な感度分析では性能を上下に振るだけであるが、性能の組み合わせも多く計算コストが膨大になる。

【0010】

本発明は、性能変化対象の改善具合を把握することを目的とする。

【課題を解決するための手段】

【0011】

本願において開示される発明の一側面となる評価装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する評価装置であって、前記プロセッサは、第１計画データに基づく運用対象の実運用結果に基づいて、前記運用対象での運用に関する性能変化対象により前記第１計画データを更新した第２計画データを用いて前記運用対象での運用を模擬した模擬結果の正しさを判定する第１判定処理と、前記第１判定処理によって前記模擬結果が正しいと判定された場合、前記実運用結果の第１評価値との差が、前記模擬結果の第２評価値と前記第１評価値との差よりも小さくなるように、前記性能変化対象の性能を段階的に変化させた場合の複数段階の前記模擬結果の第３評価値を算出する算出処理と、前記第１評価値、前記第２評価値、および、前記算出処理によって算出された前記各段階の第３評価値を出力する出力処理と、を実行することを特徴とする。

【発明の効果】

【0012】

本発明の代表的な実施の形態によれば、性能変化対象の改善具合を把握することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0013】

【図1】図１は、倉庫内作業の流れを示す説明図である。

【図2】図２は、ピッキングエリアの概略の一例を示す平面図である。

【図3】図３は、予測最適化検証１を示すブロック図である。

【図4】図４は、予測ツールの一例を示す説明図である。

【図5】図５は、間口最適化ツールの一例を示す説明図である。

【図6】図６は、補充運用シミュレータの一例を示す説明図である。

【図7】図７は、計算機のハードウェア構成例を示すブロック図である。

【図8】図８は、予測最適化検証システムによる予測最適化検証処理手順例を示すフローチャートである。

【図9】図９は、ステップＳ８０１の具体例を示す説明図である。

【図10】図１０は、ステップＳ８０３の具体例を示す説明図である。

【図11】図１１は、比較Ｃ１－１～Ｃ１－３の設定例を示す説明図である。

【図12】図１２は、ステップＳ８０４の具体例１を示す説明図である。

【図13】図１３は、ステップＳ８０４の具体例２を示す説明図である。

【図14】図１４は、計画シミュレータの性能の改修例を示す説明図である。

【図15】図１５は、ステップＳ８０５の具体例を示す説明図である。

【図16】図１６は、改善寄与度を示す棒グラフである。

【図17】図１７は、予測最適化検証２を示すブロック図である。

【発明を実施するための形態】

【0014】

＜倉庫内作業の流れ＞
図１は、倉庫内作業の流れを示す説明図である。倉庫１００は、上位システム１１０および下位システム１１１により管理される。上位システム１１０は、倉庫１００全体を管理する１以上の計算機である。下位システム１１１は、倉庫１００内での仕分け等の作業を管理する１以上の計算機である。たとえば、上位システム１１０は、各配送先からの注文（オーダ）を受け付け、そのオーダに関する仕分作業を下位システム１１１に指示する。下位システム１１１は、間口最適化ツールなどにより定期補充計画および開口・レイアウト計画を作成する。

【0015】

倉庫１００では、荷主からの物品１０１が入荷される。入荷された物品１０１は、作業員による入荷作業により、リザーブエリア１０２に保管される。リザーブエリア１０２に保管された物品１０１は、定期補充計画にしたがって、作業員による補充作業により、アクティブエリア１０３に保管される。

【0016】

アクティブエリア１０３とは、顧客から注文があった場合に、作業員が物品１０１を取り出すエリアである。アクティブエリア１０３内に保管されている物品１０１には、最大保管量および補充点が設定される。補充点とは、物品１０１をリザーブエリア１０２から補充する契機となるその物品１０１のアクティブエリア１０３内での最低保管量である。すなわち、その物品１０１について補充点を下回ると、補充点以上となるようにリザーブエリア１０２から補充される。

【0017】

アクティブエリア１０３では、物品１０１は、間口・レイアウト計画にしたがって保管される。アクティブエリア１０３に保管された物品１０１は出庫エリア１０４に搬送され、出庫エリア１０４から出荷される。アクティブエリア１０３をピッキングエリアと称す。

【0018】

図２は、ピッキングエリアの概略の一例を示す平面図である。ピッキングエリアには複数の棚があり、各棚はそれぞれ物品１０１が割付けられている。ピッキング作業員は、ピッキング開始地点からスタートして、ピックアップすべき物品１０１の棚を巡回しながら物品１０１をピックアップする。すべての物品１０１のピックアップが完了した後、ピッキング作業員はピッキング終了地点に移動する。また、補充作業員は、各物品１０１の在庫量が補充点を下回った場合に、リザーブエリアの棚等から物品１０１をピックアップし、補充開始地点から棚に移動して補充を行った後、補充終了地点に移動する。

【0019】

下位システム１１１は、上記のようなピッキング作業と補充作業を考慮した棚レイアウト案を設計し、利用者に提供する。提供される棚レイアウト案は、ピッキングエリア内における棚の配置と、当該棚と当該棚に保管される物品種類との対応を示す物品割付と、当該物品割付において各物品棚に保管される各物品の最大保管量と、補充が必要となる保管量を示す補充点を含む。より具体的には、下位システム１１１は、条件を変えて棚レイアウト案の設計を繰り返すことで、最適な棚レイアウト案を設計する。最適な棚レイアウト案を採用することにより、棚レイアウトが最適化される。棚レイアウトの最適化は、作業員が手作業で行ってもよく、倉庫１００が自動倉庫システムを採用していれば、自動または半自動で実行してもよい。

【0020】

＜予測最適化検証１＞
図３は、予測最適化検証１を示すブロック図である。予測最適化検証１は、上位システム１１０または下位システム１１１に実装される。以下、予測最適化検証１が実装された上位システム１１０または下位システム１１１を、評価装置３００と称す。

【0021】

予測最適化検証１とは、特許文献１で示したような予測ツールおよび特許文献２で示したような最適化ツールの性能を段階的に変化させた際の補充運用の模擬結果を評価値として算出し、最良の評価値に対して模擬結果が改善する割合を改善度として提示する処理である。

【0022】

なお、「ツール」とは、データが入力されると結果を出力する機構であり、ソフトウェアで実装されてもよく、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のようなハードウェアで実装されてもよい。また、「ツール」は、シミュレータでもよく、機械学習モデルでもよい。

【0023】

評価装置３００は、出荷予測値を下限値、出荷実績値を上限値として、予測ツール３１２の性能を変化させ、間口最適化ツール３１４がもつ計画シミュレータ３４１の運用再現度を下限値、実際の補充運用を再現している補充運用シミュレータ３１６の運用再現度を上限値として、間口最適化ツール３１４の性能を変化させる。

【0024】

すなわち、評価装置３００は、一般的な感度分析のように、性能を上下に振るのではなく、最も理想的な値に向かって差分を埋める形で、段階的に変化させる。

【0025】

また、評価装置３００は、予測ツール３１２の性能をドメイン知識に基づいてパタン化した性能に絞って、出荷予測値を下限値、出荷実績値を上限値として、変化させる。たとえば、評価装置３００は、様々な精度指標（Ｍａｐｅ、２０％以上誤差のある日の割合など）を用いて、各精度指標が改善するように、精度を変化させる。また、評価装置３００は、曜日によって出荷先が違うのであれば、曜日ごとに性能を改善するパタンで、精度を変化させてもよい。

【0026】

実運用環境３２０において、評価装置３００は、物品１０１の補充点、保管量、および在庫量を管理する。評価装置３００は、上位システム１１０から出荷要求を受信すると、出荷指示を作業員２０６に発行し、評価装置３００は、物品１０１の補充点、保管量、および在庫量を参照して、定期補充３６１の指示を作業員２０６に発行する。

【0027】

実運用環境３２０においては、評価装置３００は、実計画データ３２５に基づいて、倉庫１００の実運用３２６を実行し、実運用結果３２７を出力する。実計画データ３２５とは、物品１０１ごとの実際の補充点および保管量である。実運用３２６は、定期補充３６１と、ピッキング作業３６２と、緊急補充３６３と、を含む。

【0028】

定期補充３６１とは、定期補充計画にしたがって、リザーブエリア１０２からアクティブエリア１０３に在庫量が補充点以下の物品１０１を定期的に補充する作業である。例えば、１日の作業開始時に、実施する。ピッキング作業３６２とは、オーダに応じた数の物品１０１を棚の間口から順次取り出す作業である。緊急補充３６３とは、ピッキング作業３６２中に物品１０１の不足分を緊急的に補充する作業である。

【0029】

実運用結果３２７とは、実定期補充回数、実緊急補充回数、および実運用工数である。実定期補充回数とは、実運用３２６において実際に発生した定期補充３６１の回数である。実緊急補充回数とは、実運用３２６において実際に発生した緊急補充３６３の回数である。実運用工数は、実定期補充回数および実緊急補充回数を用いて算出される実運用３２６の評価値である。本例では、実運用工数は、実定期補充回数および実緊急補充回数が大きいほど大きい値となる。したがって、実運用工数の値が小さいほど良い評価となる。

【0030】

検証環境３１０において、評価装置３００は、予測ツール３１２、間口最適化ツール３１４、および補充運用シミュレータ３１６を用いる。出荷実績ＤＢ３１１は、物品１０１の出荷実績値を記憶するデータベースである。

【0031】

予測ツール３１２は、たとえば、特許文献１で示したように、物品１０１の出荷実績値が入力されるとその物品１０１の出荷予測値を出力するソフトウェアである。予測ツール３１２は、物品１０１の実定期補充回数および実緊急補充回数が入力されるとその物品１０１の予測定期補充回数および予測緊急補充回数を出力してもよい。

【0032】

出荷予測ＤＢ３１３は、出荷予測値を記憶するデータベースである。間口最適化ツール３１４は、たとえば、特許文献２で示したような間口最適化ツールであり、物品１０１の出荷予測値が入力されるとその物品１０１の最適な補充点および最適な保管量を予測に基づく計画データ３１５として算出するソフトウェアである。

【0033】

定期的に実施する定期補充３６１では、アクティブエリア１０３の物品１０１が少なくなってきたら、リザーブエリア１０２からアクティブエリア１０３に物品１０１が補充される。ピッキング作業３６２中に、アクティブエリア１０３の物品１０１が不足すると緊急補充３６３が実施される。緊急補充３６３は、工程に遅れが出るなどによりコストが高くなるため、定期補充３６１でできるだけ対応できることが望ましい。そのためには、各物品１０１の補充点や保管量を適切な量にする必要がある。したがって、限られたエリアの中で、どの物品１０１の保管量および補充点を多めにして、どの物品１０１を少なめにするか、物品１０１間の調整が必要となる。このため、間口最適化ツール３１４は、最適な補充点および保管量を算出する。

【0034】

具体的には、たとえば、間口最適化ツール３１４は、複数の機能、たとえば、計画シミュレータ３４１と探索機能３４２とを含む。計画シミュレータ３４１は、ピッキング作業工数および補充作業工数を算出する。具体的には、たとえば、計画シミュレータ３４１は、棚間の動線距離、各棚とピッキング開始地点との間、各棚とピッキング終了地点との間、各棚と補充作業開始地点との間、及び各棚と補充作業終了地点との間、における動線距離を算出する。

【0035】

計画シミュレータ３４１は、ピッキング作業時間を算出する。ピッキング作業時間は、ピッキング作業における動線距離を作業員の移動速度で除した時間と、物品１０１の出荷予測量と単位ピッキング作業時間との積となる時間と、の和である。ピッキング作業工数は、出荷予測ＤＢのうち予測対象として選択された全エントリについてのピッキング作業時間の合計である。

【0036】

計画シミュレータ３４１は、物品１０１の補充作業時間を算出する。物品１０１の補充作業時間は、たとえば、予測補充回数×（（補充開始地点～各物品が保管される棚～補充終了地点の動線距離／補充作業における作業員の移動速度）＋単位補充作業時間）により算出される。補充作業工数は、各物品１０１の補充作業時間の合計である。予測補充回数は、予測定期補充回数および予測緊急補充回数の和である。例えば、予測定期補充回数や予測緊急補充回数は、補充運用（定期補充３６１、ピッキング作業３６２、緊急補充３６３）を模擬して算出する。

【0037】

探索機能３４２は、たとえば、ピッキング作業工数や補充作業工数の最適値を探索するために、計画シミュレータ３４１の条件を変えて繰り返し模擬するように制御する機能である。条件とは、たとえば、作業工数の算出対象となる棚配置、物品割付、棚群である。棚配置とは、倉庫１００内での棚ごとの位置を示す情報である。物品割付とは、棚と棚に保管される物品１０１との対応関係を示す情報である。物品割付には、物品１０１の補充点、保管量、在庫量といった在庫データ（図５で後述）が含まれる。

【0038】

計画シミュレータ３４１および探索機能３４２は、間口最適化ツール３１４に含まれる複数の機能の一例であり、このほかにも物品１０１の最適な補充点および最適な保管量を算出するための既知の機能が含まれる。

【0039】

補充運用シミュレータ３１６は、出荷実績ＤＢ３１１と予測に基づく計画データ３１５とを用いて補充運用（定期補充３６１、ピッキング作業３６２、緊急補充３６３）を模擬し、補充運用の模擬結果３１７を出力するソフトウェアである。評価装置３００は、模擬結果３１７と実運用結果３２７とを比較することにより、図８～図１６で後述する予測最適化検証を実行する。

【0040】

＜予測ツール３１２＞
図４は、予測ツール３１２の一例を示す説明図である。予測ツール３１２は、出荷実績データ４０１が入力されると、出荷予測データ４０２を出力する。出荷実績データ４０１は、出荷実績ＤＢ３１１に含まれるデータである。

【0041】

出荷実績データ４０１は、日付４１１と、物品名４１２と、出荷実績値４１３と、を含む。日付４１１は、その物品１０１の出荷日である。図４の例では、日付４１１が１／１～１／３１までの期間の出荷実績データ４０１を示している。物品名４１２は、その物品１０１の名称である。出荷実績値４１３は、その物品１０１が出荷された数量である。

【0042】

出荷予測データ４０２は、日付４２１と、物品名４１２と、出荷予測値４２３と、を含む。日付４２１は、その物品１０１が出荷予測値４２３分出荷される日である。日付４２１は、上位システム１１０または下位システム１１１により設定される。図４の例では、日付４２１が２／１～２／７までの期間の出荷予測データ４０２を示している。出荷予測値４２３は、その物品１０１が出荷される予測数量である。

【0043】

なお、図４では、予測ツール３１２は、出荷予測データ４０２を出力したが、予測ツール３１２の性能をチューニングすることにより、出荷予測値４２３を出荷実績値４１３に近づけたり、出荷実績値４１３から遠ざけたりする変化を段階的に実行可能である。

【0044】

＜間口最適化ツール３１４＞
図５は、間口最適化ツール３１４の一例を示す説明図である。間口最適化ツール３１４は、出荷予測データ４０２および在庫データ５００が入力されると、最適化結果５１０を出力する。

【0045】

在庫データ５００は、下位システム１１１に保持されているデータであり、物品名４１２と、補充点５０１と、保管量５０２と、在庫量５０３と、棚番号５０４と、を有する。補充点５０１は、物品１０１を補充する契機となるその物品１０１のアクティブエリア１０３内での最低保管量である。すなわち、その物品１０１について補充点５０１を下回ると、補充点５０１以上となるように補充される。保管量５０２は、その物品１０１が棚番号５０４で特定される棚の間口で保管可能な最大数量である。在庫量５０３は、その物品１０１が棚番号５０４で特定される棚の間口で保管されている数量である。棚番号５０４は、その物品１０１がアクティブエリア１０３に保管されている棚を一意に特定する識別番号である。

【0046】

最適化結果５１０は、予測に基づく計画データ３１５であり、具体的には、たとえば、物品名４１２と、補充点５１１と、保管量５１２と、を含む。補充点５１１は、その物品１０１についての補充点５０１の最適化後の最低保管量である。保管量５１２は、その物品１０１が棚番号５０４で特定される棚の間口で保管可能な最適化後の最大数量である。

【0047】

＜補充運用シミュレータ３１６＞
図６は、補充運用シミュレータ３１６の一例を示す説明図である。補充運用シミュレータ３１６は、最適化結果５１０で在庫データ５００を更新する（ステップＳ６００）。図６の例では、物品名４１２が「Ａ」の物品１０１（以下、物品Ａ）と物品名４１２が「Ｂ」の物品１０１（以下、物品Ｂ）とについて、補充点５０１および保管量５０２が補充点５１１および保管量５１２の値に更新される。

【0048】

つぎに、補充運用シミュレータ３１６は、定期補充３６１を模擬する（ステップＳ６０１）。具体的には、たとえば、補充運用シミュレータ３１６は、ステップＳ６００の更新後の在庫データ５００を参照して、在庫量５０３が補充点５０１を下回っている物品１０１について保管量５０２を満たすように補充したことを模擬し、在庫量５０３を更新する。補充運用シミュレータ３１６は、定期補充３６１を模擬した回数を、定期補充回数６１１としてカウントし、定期補充３６１の運用コスト（１回あたりの工数（分））を計測する。

【0049】

補充運用シミュレータ３１６は、ピッキング作業３６２を模擬する（ステップＳ６０２）。具体的には、たとえば、補充運用シミュレータ３１６は、出荷実績データ４０１を用いて、在庫データ５００を参照して物品１０１を収集して在庫が減ったことを模擬し、在庫量５０３を更新する。

【0050】

補充運用シミュレータ３１６は、ピッキング作業３６２によって在庫量５０３がマイナスとなる物品１０１については、緊急補充６０３を模擬して、在庫量５０３が保管量５０２となるように在庫量５０３を更新する（ステップＳ６０３）。補充運用シミュレータ３１６は、緊急補充６０３を模擬した回数を、緊急補充回数６１２としてカウントし、緊急補充６０３の運用コスト（１回あたりの工数（分））を計測する。

【0051】

補充運用シミュレータ３１６は、運用工数６１３を算出する（ステップＳ６０４）。運用工数６１３は、下記式（１）により算出される。

【0052】

運用工数
＝定期補充回数×定期補充の運用コスト＋緊急補充回数×緊急補充の運用コスト…（１）

【0053】

本例では、運用工数６１３は、定期補充回数６１１および緊急補充回数６１２が大きいほど大きい値となる。したがって、運用工数６１３の値が小さいほど良い評価となる。

【0054】

なお、実運用３２６の評価値である実運用工数も、実運用環境３２０において上記式（１）のように算出される。具体的には、たとえば、定期補充回数６１１が実定期補充回数になり、定期補充３６１の運用コストが、実運用環境３２０における定期補充３６１の運用コストになり、緊急補充回数６１２が実緊急補充回数になり、緊急補充３６３の運用コストが、実運用環境３２０における緊急補充３６３の運用コストになる。

【0055】

＜計算機のハードウェア構成例＞
図７は、計算機のハードウェア構成例を示すブロック図である。計算機７００は、プロセッサ７０１と、記憶デバイス７０２と、入力デバイス７０３と、出力デバイス７０４と、通信インターフェース（通信ＩＦ）７０５と、を有する。プロセッサ７０１、記憶デバイス７０２、入力デバイス７０３、出力デバイス７０４、および通信ＩＦ７０５は、バス７０６により接続される。プロセッサ７０１は、計算機７００を制御する。記憶デバイス７０２は、プロセッサ７０１の作業エリアとなる。また、記憶デバイス７０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス７０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス７０３は、データを入力する。入力デバイス７０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナ、マイク、センサがある。出力デバイス７０４は、データを出力する。出力デバイス７０４としては、たとえば、ディスプレイ、プリンタ、スピーカがある。通信ＩＦ７０５は、ネットワークと接続し、データを送受信する。

【0056】

計算機７００は、上位システム１１０および下位システム１１１～１１３（評価装置３００を含む）を構成する。

【0057】

＜予測最適化検証処理手順＞
図８は、評価装置３００による予測最適化検証処理手順例を示すフローチャートである。評価装置３００は、補充運用シミュレータ３１６による模擬結果３１７が正しいか否かを判定する（ステップＳ８０１）。模擬結果３１７が正しい場合（ステップＳ８０１：Ｙｅｓ）、ステップＳ８０２に移行する。模擬結果３１７が正しくない場合（ステップＳ８０１：Ｎｏ）、評価装置３００は、予測最適化検証を終了する。ステップＳ８０１の詳細は、図９で後述する。

【0058】

ステップＳ８０１：Ｙｅｓのあと、評価装置３００は、検証環境３１０の模擬結果３１７が実運用環境３２０の実運用結果３２７に比べて良好か否かを判定する（ステップＳ８０２）。具体的には、たとえば、評価装置３００は、検証環境３１０の運用工数６１３と実運用環境３２０の実運用工数とを比較して、運用工数６１３が実運用工数以下であれば、良好と判定し、運用工数６１３が実運用工数より大きければ、良好でないと判定する。

【0059】

良好な場合（ステップＳ８０２：Ｙｅｓ）、評価装置３００は、予測最適化検証を終了する。良好でない場合（ステップＳ８０２：Ｎｏ）、ステップＳ８０３に移行する。

【0060】

ステップＳ８０２：Ｎｏのあと、評価装置３００は、予測ツール３１２の性能を段階的に変化させた場合の模擬結果３１７の評価を実行する（ステップＳ８０３）。ステップＳ８０３の詳細は、図１０および図１１で後述する。

【0061】

ステップＳ８０３のあと、評価装置３００は、間口最適化ツール３１４の性能を段階的に変化させた場合の模擬結果３１７の評価を実行する（ステップＳ８０４）。ステップＳ８０４の詳細は、図１２～図１４で後述する。

【0062】

ステップＳ８０４のあと、評価装置３００は、改善度の評価を実行する（ステップＳ８０５）。ステップＳ８０５の詳細は、図１５および図１６で後述する。ステップＳ８０５のあと、評価装置３００は、予測最適化検証を終了する。

【0063】

［ステップＳ８０１］
図９は、ステップＳ８０１の具体例を示す説明図である。図３でも説明したように、評価装置３００は、実運用環境３２０において、実計画データ３２５（在庫データ５００）を用いて、実運用３２６を実行し、実運用結果３２７を得る。実運用結果３２７には、実定期補充回数９１１および実緊急補充回数９１２が含まれる。

【0064】

同様に、評価装置３００は、検証環境３１０において、実計画データ３２５（在庫データ５００）を用いて、補充運用シミュレータ３１６による模擬を実行し、模擬結果３１７を得る。模擬結果３１７には、定期補充回数６１１および緊急補充回数６１２が含まれる。

【0065】

実定期補充回数９１１と定期補充回数６１１との差があらかじめ設定された第１許容範囲内であり、かつ、実緊急補充回数９１２と緊急補充回数６１２との差があらかじめ設定された第２許容範囲内であれば、評価装置３００は、補充運用シミュレータ３１６による模擬結果３１７が正しい（妥当）と判定する（ステップＳ８０１：Ｙｅｓ）。

【0066】

一方、実定期補充回数９１１と定期補充回数６１１との差が第１許容範囲外であり、または、実緊急補充回数９１２と緊急補充回数６１２との差が第２許容範囲外であれば、評価装置３００は、補充運用シミュレータ３１６による模擬結果３１７が正しくない（妥当でない）と判定する（ステップＳ８０１：Ｎｏ）。

【0067】

［ステップＳ８０３］
図１０は、ステップＳ８０３の具体例を示す説明図である。表１０００において、環境カラム１００１は、評価装置３００による実行環境を示す。具体的には、たとえば、検証環境３１０、検証環境３１０における比較Ｃ１－１～Ｃ１－３、実運用環境３２０である。比較Ｃ１－１～Ｃ１－３は、検証環境３１０の性能を段階的に変化させた場合（すなわち、出荷実績値４１３と出荷予測値４２３との差分である誤差を段階的に小さくした場合）の実行例である。図１０では、比較Ｃ１－１～Ｃ１－３のように３段階としたが、２段階以上であればよい。

【0068】

予測ツール３１２において出荷予測値４２３を段階的に変化させるチューニングとしては、たとえば、予測ツール３１２がコストと性能とのバランスなどで、一部機能を除外して性能を抑える設定がある場合には、段階的に機能を追加することで性能を上げていくという方法がある。予測ツール３１２の性能を変化させない方法もある。この点について図１１で後述する。

【0069】

予測ツールカラム１００２は、環境カラム１００１の各実行環境における、予測ツール３１２の性能を示す。予測ツール３１２の性能とは、たとえば、出荷実績値４１３と出荷予測値４２３との誤差である。検証環境３１０での性能を誤差Ｅ０、検証環境３１０の比較Ｃ１－１～Ｃ１－３での各々の性能を誤差Ｅ１～Ｅ３とする。この場合、Ｅ０＞Ｅ１＞Ｅ２＞Ｅ３となる。誤差Ｅ３の値は「０」、すなわち、出荷実績値４１３と出荷予測値４２３との値が同じである。実運用環境３２０では、予測ツール３１２は使用されない。

【0070】

間口最適化ツールカラム１００３は、環境カラム１００１の各実行環境における、間口最適化ツール３１４の性能を示す。具体的には、たとえば、間口最適化ツールカラム１００３は、サブカラムとして、たとえば、探索回数カラム１０３１と計画シミュレータカラム１０３２とを含む。

【0071】

探索回数カラム１０３１は、間口最適化ツール３１４の性能の１つであり、環境カラム１００１の実行環境ごとに、探索機能３４２によって制御する計画シミュレータ３４１の探索回数を規定する。図１０の例では、検証環境および比較Ｃ１－１～Ｃ１－３のいずれにおいても「現状の設定」、すなわち、同一の探索回数に設定されている。

【0072】

計画シミュレータカラム１０３２も、間口最適化ツール３１４の性能の１つであり、環境カラム１００１の実行環境ごとに、計画シミュレータ３４１の改修状態を規定する。図１０の例では、検証環境３１０および比較Ｃ１－１～Ｃ１－３のいずれにおいても「現状の計画ＳＩＭ」、すなわち、計画シミュレータ３４１が同一の性能に設定されている。

【0073】

なお、実運用環境３２０における「補充点方式」とは、物品１０１の在庫量５０３が補充点５０１を下回ると保管量５０２となるように補充する実運用３２６の方式である。

【0074】

運用工数カラム１００４は、環境カラム１００１の実行環境ごとに、運用工数６１３（実運用環境３２０では実運用工数１０４０）を規定する。図１０の例では、検証環境３１０および比較Ｃ１－１～Ｃ１－３のいずれにおいても間口最適化ツール３１４の性能は同一である一方、予測ツール３１２の性能が異なるため、予測ツール３１２の性能の差が運用工数６１３の差に対応する。

【0075】

評価装置３００は、比較Ｃ１－３の運用工数６１３が実運用工数１０４０よりも大きい、すなわち、評価が悪い場合には、間口最適化ツール３１４に課題があると特定する。図１０の例では、比較Ｃ１－３の運用工数６１３が「１０」で実運用工数１０４０が「１２」であるため、比較Ｃ１－３の運用工数６１３＜実運用工数１０４０となる。したがって、比較Ｃ１－３の運用工数６１３の評価がよいため、間口最適化ツール３１４に課題がないと判明する。

【0076】

たとえば、検証環境３１０の運用工数６１３と比較Ｃ１－２の運用工数６１３とを比較すると、運用工数６１３が検証環境３１０から８減少しているため、予測ツール３１２の性能が８改善していることがわかる。実使用環境３２０の実運用工数１０４０と比較Ｃ１－３の運用工数６１３とを比較すると、比較Ｃ１－３の運用工数６１３が実使用環境３２０の実運用工数１０４０を下回っている。したがって、予測ツール３１２を比較Ｃ１－３の性能にまで改善させることが目標となる。

【0077】

評価装置３００は、ステップＳ８０３において、表１０００を表示可能に出力する。具体的には、たとえば、評価装置３００は、表１０００を、出力デバイス７０４の一例である表示装置に表示したり、通信ＩＦ７０５を介して他の計算機に送信したりする。

【0078】

図１１は、比較Ｃ１－１～Ｃ１－３の設定例を示す説明図である。図１０では、予測ツール３１２のチューニングにより、予測ツール３１２の性能を変化させて比較Ｃ１－１～Ｃ１－３の誤差Ｅ１～Ｅ３を規定したが、図１１は、予測ツール３１２の性能を変化させずに比較Ｃ１－１～Ｃ１－３の誤差Ｅ１～Ｅ３を規定する例である。

【0079】

グラフ１１００は、検証環境３１０および比較Ｃ１－１～Ｃ１－３の各々の出荷予測値４２３の経時的変化を示す。横軸は時間であり、縦軸は出荷予測値４２３である。

【0080】

評価装置３００は、検証環境３１０の日付４２１の各々において、出荷実績値４１３と出荷予測値４２３との差分である誤差Ｅ０を予測ツール３１２の性能として算出する。評価装置３００は、誤差Ｅ０を段階数で割る。本例の場合は、比較Ｃ１－１～Ｃ１－３の３段階であるため、評価装置３００は、誤差Ｅ０を３で割る。

【0081】

評価装置３００は、誤差Ｅ０を段階数で割った割り算結果に対し、比較Ｃ１－１～Ｃ１－３の段数の値を乗じる。評価装置３００は、比較Ｃ１－１であれば、１段階目であるため、割り算結果に１を乗じ、比較Ｃ１－２であれば、２段階目であるため、割り算結果に２を乗じ、比較Ｃ１－３であれば、３段階目であるため、割り算結果に３を乗じる。

【0082】

評価装置３００は、乗算結果の各々に出荷実績値４１３を加算する。これにより、比較Ｃ１－１～Ｃ１－３の各々について日付４２１ごとの出荷予測値４２３が得られる。なお、各々の乗算結果が日付４２１ごとの誤差Ｅ１～Ｅ３になる。

【0083】

このように、ステップＳ８０３では、評価装置３００は、実運用結果３２７の実運用工数１０４０である「１２」（第１評価値）との差が、模擬結果３１７の検証環境３１０の運用工数６１３である「２０」（第２評価値）と実運用工数１０４０である「１２」との差である「８」よりも小さくなるように、予測ツール３１２の性能（誤差Ｅ０）を段階的に変化させた場合の複数段階の模擬結果３１２として比較Ｃ１－１～Ｃ１－３の運用工数６１３である「１９」、「１２」、「１０」（第３評価値）を算出する。

【0084】

すなわち、比較Ｃ１－１の運用工数６１３である「１９」と実運用工数１０４０である「１２」（第１評価値）との差は「７」、比較Ｃ１－２の運用工数６１３である「１２」と実運用工数１０４０である「１２」（第１評価値）との差は「０」、比較Ｃ１－３の運用工数６１３である「１０」と実運用工数１０４０である「１２」（第１評価値）との差は「－２」である。

【0085】

なお、上記以外にも予測ツール３１２の性能を精度で定義することができる。たとえば、出荷予測値４２３と出荷実績値４１３とのＲＭＳＥ（平均平方二乗誤差）を予測ツール３１２の性能に用いることにより、出荷予測値４２３と出荷実績値４１３とがどれだけ離れているかを評価することができる。

【0086】

また、予測ツール３１２の性能変化をパタンとして用意してもよい。たとえば、倉庫１００から出荷する物品１０１のカテゴリが曜日によって異なるような場合、あるカテゴリ（たとえば、日用品）については予測ツール３１２の性能が悪くてもいいが、他のカテゴリ（たとえば、食品）については予測ツール３１２の性能が良好となるよう要求される場合がある。このような場合、日用品については、比較Ｃｘ－ｙの出荷予測値４２３を検証環境３１０の出荷予測値４２３と同じ値となるパタンとしてもよい。

【0087】

また、ある日付４２１について突発的に出荷予測値４２３が増えることは事前のセール情報で把握済みな場合がある。このような場合、その日付４２１の突発的な出荷予測値４２３については、精度向上の必要がない。このような場合、当該日付４２１以外の日付４２１について、出荷予測値４２３と検証環境３１０の出荷実績値４１３との間に、比較Ｃｘ－ｙの出荷予測値４２３を設定するパタンを用意してもよい。

【0088】

［ステップＳ８０４］
図１２は、ステップＳ８０４の具体例１を示す説明図である。ステップＳ８０４では、間口最適化ツール３１４の性能を段階的に変化させている。表１２００において、環境カラム１００１の検証環境３１０は、探索回数カラム１０３１を「現状の設定」、すなわち、探索回数を５回とした間口最適化ツール３１４の性能である。環境カラム１００１の比較Ｃ２－１は、探索回数カラム１０３１を「現状の設定」よりも１回多い６回とした間口最適化ツール３１４の性能である。

【0089】

環境カラム１００１の比較Ｃ２－２は、探索回数カラム１０３１を６回よりも１回多い７回とした間口最適化ツール３１４の性能である。環境カラム１００１の比較Ｃ２－３は、探索回数カラム１０３１を７回よりも１回多い８回（最大設定）とした間口最適化ツール３１４の性能である。なお、探索回数を段階的に１増加させたが増加回数は２以上でもよい。また、探索回数以外の条件であってもよい。

【0090】

このように、ステップＳ８０４では、評価装置３００は、実運用結果３２７の実運用工数１０４０である「１２」（第１評価値）との差が、模擬結果３１７の検証環境３１０の運用工数６１３である「２０」（第２評価値）と実運用工数１０４０である「１２」との差である「８」よりも小さくなるように、間口最適化ツール３１４の性能（探索回数）を段階的に変化させた場合の複数段階の模擬結果３１２として比較Ｃ２－１～Ｃ２－３の運用工数６１３である「１９」、「１９」、「１８」（第３評価値）を算出する。

【0091】

すなわち、比較Ｃ２－１の運用工数６１３である「１９」と実運用工数１０４０である「１２」（第１評価値）との差は「７」、比較Ｃ２－２の運用工数６１３である「１９」と実運用工数１０４０である「１２」（第１評価値）との差は「７」、比較Ｃ２－３の運用工数６１３である「１８」と実運用工数１０４０である「１２」（第１評価値）との差は「６」である。

【0092】

図１３は、ステップＳ８０４の具体例２を示す説明図である。図１２の表１２００では、探索回数を段階的に変化させたが、図１３の表１３００では、計画シミュレータ３４１の性能を段階的に変化させた例である。表１３００において、環境カラム１００１の検証環境３１０は、計画シミュレータカラム１０３２を「現状の計画ＳＩＭ」とした間口最適化ツール３１４の性能である。

【0093】

環境カラム１００１の比較Ｃ３－１は、計画シミュレータカラム１０３２を「現状の計画ＳＩＭに改修Ｒ１」を行った場合の間口最適化ツール３１４の性能である。環境カラム１００１の比較Ｃ３－２は、計画シミュレータカラム１０３２を「現状の計画ＳＩＭに改修Ｒ２」を行った場合の間口最適化ツール３１４の性能である。環境カラム１００１の比較Ｃ３－３は、計画シミュレータカラム１０３２を「現状の計画ＳＩＭに改修Ｒ３」を行った場合の間口最適化ツール３１４の性能である。

【0094】

このように、ステップＳ８０４では、評価装置３００は、実運用結果３２７の実運用工数１０４０である「１２」（第１評価値）との差が、模擬結果３１７の検証環境３１０の運用工数６１３である「２０」（第２評価値）と実運用工数１０４０である「１２」との差である「８」よりも小さくなるように、間口最適化ツール３１４の性能（計画シミュレータ３４１の改修状態）を段階的に変化させた場合の複数段階の模擬結果３１２として比較Ｃ３－１～Ｃ３－３の運用工数６１３である「１５」、「１５」、「１５」（第３評価値）を算出する。

【0095】

すなわち、比較Ｃ３－１の運用工数６１３である「１５」と実運用工数１０４０である「１２」（第１評価値）との差は「３」、比較Ｃ３－２の運用工数６１３である「１５」と実運用工数１０４０である「１２」（第１評価値）との差は「３」、比較Ｃ３－３の運用工数６１３である「１５」と実運用工数１０４０である「１２」（第１評価値）との差は「３」である。

【0096】

図１４は、計画シミュレータ３４１の性能の改修例を示す説明図である。検証環境３１０は、補充上限回数、曜日考慮、および入荷考慮といった性能が設定されていない実行環境である。補充上限回数とは、補充回数の上限値である。曜日考慮とは、曜日（月～金と土日）の違いを考慮した設定の有無である。入荷考慮とは、入荷量を考慮する設定の有無である。

【0097】

改修Ｒ１は、検証環境３１０において補充上限回数が「なし」から「あり」に変更される設定を示す。改修Ｒ１後の実行環境が比較Ｃ３－１である。改修Ｒ２は、検証環境３１０において補充上限回数が「なし」から「あり」に変更され、かつ、曜日考慮が「なし」から「あり」に変更される設定を示す。改修Ｒ２後の実行環境が比較Ｃ３－２である。改修Ｒ３は、検証環境３１０において補充上限回数が「なし」から「あり」に変更され、かつ、曜日考慮が「なし」から「あり」に変更され、かつ、入荷考慮が「なし」から「あり」に変更される設定を示す。改修Ｒ３後の実行環境が比較Ｃ３－３である。比較Ｃ３－３は、補充運用シミュレータ３１６と同じ実行環境である。

【0098】

評価装置３００は、ステップＳ８０４において、表１２００、１３００を表示可能に出力する。具体的には、たとえば、評価装置３００は、表１２００、１３００を、出力デバイス７０４の一例である表示装置に表示したり、通信ＩＦ７０５を介して他の計算機に送信したりする。

【0099】

なお、ステップＳ８０３では、評価装置３００が予測ツール３１２の性能（誤差Ｅ０）のみについて３段階の比較Ｃ１－１～Ｃ１－３の運用工数６１３を算出した例を説明した。また、ステップＳ８０４では、評価装置３００が間口最適化ツール３１４の性能（探索回数）のみについて３段階の比較Ｃ２－１～Ｃ２－３の運用工数６１３を算出した例と、評価装置３００が間口最適化ツール３１４の性能（計画シミュレータ３４１の改修状態）のみについて３段階の比較Ｃ３－１～Ｃ３－３の運用工数６１３を算出した例と、を説明した。

【0100】

評価装置３００は、性能変化させる段階数を３段階に限らず、２または４段階以上実行してもよい。また、評価装置３００は、これらの例以外にも、予測ツール３１２の性能（誤差Ｅ０）と間口最適化ツール３１４の性能（探索回数）との各々を上記の例のように複数段階性能変化させる例を実行してもよく、予測ツール３１２の性能（誤差Ｅ０）と間口最適化ツール３１４の性能（計画シミュレータ３４１の改修状態）との各々を上記の例のように複数段階性能変化させる例を実行してもよく、間口最適化ツール３１４の性能（探索回数）と間口最適化ツール３１４の性能（計画シミュレータ３４１の改修状態）との各々を上記の例のように複数段階性能変化させる例を実行してもよく、予測ツール３１２の性能（誤差Ｅ０）と間口最適化ツール３１４の性能（探索回数）と間口最適化ツール３１４の性能（計画シミュレータ３４１の改修状態）との各々を上記の例のように複数段階性能変化させる例を実行してもよい。

【0101】

［ステップＳ８０５］
図１５は、ステップＳ８０５の具体例を示す説明図である。表１５００は、表１０００、表１２００、表１３００を結合した表である。なお、図面の制約上、実運用環境３２０は１行にまとめた。また、表１５００には、改善度カラム１５０１、改善寄与度カラム１５０２、および計算時間カラム１５０３が追加されている。評価装置３００は、改善度カラム１５０１の各改善度、改善寄与度カラム１５０２の各改善寄与度、および計算時間カラム１５０３の各計算時間を算出する。

【0102】

改善度とは、性能変化により模擬結果３１７がどの程度改善したかを示す指標値であり、検証環境３１０の運用工数６１３から比較Ｃｘ－ｙ（ｘ＝１～３、ｙ＝１～３）の運用工数６１３を引いた値である。改善度が大きいほど改善効果が出ていることを示す。たとえば、検証環境３１０の運用工数６１３は「２０」であり、比較Ｃ１－１の運用工数６１３は「１９」であるため、比較Ｃ１－１の改善度は、「１」である。

【0103】

改善寄与度は、比較Ｃｚ（ｚは１～３のいずれか）のうち各比較Ｃｚ－ｙが規定する性能変化が模擬結果３１７の改善に寄与した寄与率である。ｚ＝１は出荷予測値、ｚ＝２は探索回数、ｚ＝３は計画シミュレータの改修を示す。比較Ｃｚ－ｙにおける改善寄与度は、下記式（２）により算出される。

【0104】

比較Ｃｚ－ｙにおける改善寄与度
＝（比較Ｃｚ－ｙの改善度－比較Ｃｚ－（ｙ－１）の改善度）／（検証環境３１０の運用工数－実運用環境３２０の実運用工数）…（２）

【0105】

なお、ｙ＝１の場合、比較Ｃｚ－（ｙ－１）の改善度は、検証環境３１０の改善度となる。これにより、１段階前の実行環境からの改善度の上昇度が数値化される。

【0106】

また、計算時間は、検証開始から運用工数６１３を算出するまでの時間である。計算時間を表示することにより、ユーザはメリットデメリットを加味して最適な設定が選択することができる。

【0107】

図１６は、改善寄与度を示す棒グラフである。棒グラフ１６００において、横軸はＣｚを示し、縦軸は改善寄与度を示す。Ｃ１（出荷予測値）においては、比較Ｃ１－２の改善寄与度が最も高いことがわかる。したがって、予測ツール３１２の誤差が比較Ｃ１－２の誤差Ｅ１相当になるように予測ツール３１２を改修すればよいことがわかる。また、比較Ｃ１－２にまで改修すると実運用環境３２０と同等の結果になることがわかる。

【0108】

また、比較Ｃ１－３にまで予測ツール３１２を改修すると、間口最適化ツール３１４（探索機能３４２、計画シミュレータ３４１）が現状のままでも、実運用環境３２０の補充点方式よりも２５％優れた効果を奏することがわかる。

【0109】

また、Ｃ２（探索回数）とＣ３（計画シミュレータ）とを比較すると、Ｃ３（計画シミュレータ）の方が、改善寄与度が高いことがわかる。したがって、ユーザは、予測ツール３１２の比較Ｃ１－２までの改修の次に、計画シミュレータ３４１を比較Ｃ３―１まで改善すれば、全体の改善効果がＣ２（探索回数）を改善するよりも高くなることがわかる。

【0110】

評価装置３００は、ステップＳ８０５において、表１５００および棒グラフ１６００を表示可能に出力する。具体的には、たとえば、評価装置３００は、表１５００および棒グラフ１６００を、出力デバイス７０４の一例である表示装置に表示したり、通信ＩＦ７０５を介して他の計算機に送信したりする。

【0111】

＜予測最適化検証２＞
図１７は、予測最適化検証２を示すブロック図である。予測最適化検証２は、実運用３２６をしながら性能変化対象のツールをモニタリングする予測最適化検証である。予測最適化検証２は、図３の予測最適化検証１をせずに実行されてもよく、図３の予測最適化検証１による性能変化対象のツールの改善後に実行されてもよい。

【0112】

図３の予測最適化検証１との相違点は、検証環境３１０では、評価装置３００は、性能変化対象のツールを用いずに、出荷実績ＤＢ３１１の出荷実績データ４０１を入力して計画算出１７１１を実行し、実計画データ３２５、すなわち、在庫データ５００を生成する。そして、検証環境３１０では、評価装置３００は、実計画データ３２５（すなわち、在庫データ５００）を補充運用シミュレータ３１６に入力して補充運用を模擬し、模擬結果１７１７を出力する。すなわち、評価装置３００は、図６に示したように、ステップＳ６０１～Ｓ６０４を実行して、定期補充回数６１１および緊急補充回数６１２を出力する。

【0113】

これに対し、実運用環境３２０では、図３の予測最適化検証１における検証環境３１０と同様に、評価装置３００は、予測に基づく計画データ３１５、すなわち、最適化結果５１０を生成する。そして、評価装置３００は、予測に基づく計画データ３１５（最適化結果５１０）を用いて在庫データ５００を更新し、更新後の在庫データ５００で倉庫１００の実運用３２６を行い、実運用結果１７２７（実定期補充回数９１１、実緊急補充回数９１２）を出力する。

【0114】

このあと、評価装置３００は、図８のステップＳ８０１で示したように、実運用結果１７２７と模擬結果１７１７とを比較して、実運用結果１７２７が正しいか否かを判定する。具体的には、たとえば、実定期補充回数９１１と定期補充回数６１１との差があらかじめ設定された第１許容範囲内であり、かつ、実緊急補充回数９１２と緊急補充回数６１２との差があらかじめ設定された第２許容範囲内であれば、評価装置３００は、実運用結果１７２７が正しいと判定する。このようにして、予測最適化検証２では、評価装置３００は、実運用３２６をしながら性能変化対象のツールをモニタリングすることができる。

【0115】

以上説明したように、上述した評価装置３００によれば、最良の評価値（運用工数）に対する改善割合を改善度として提示することができる。具体的には、たとえば、ユーザは、改善寄与度が大きいほど、改修効果が高いと判定することができる。また、予測ツール３２４や間口最適化ツール３１４の性能変化を段階的に実施することで、ユーザは、予測ツール３２４や間口最適化ツール３１４の改修の感度が分かり、どの程度改善する必要があるかを判定することができる。

【0116】

また、現状の検証環境３１０の性能の初期値として、特定の１つの性能（たとえば、図１０に示した予測ツール３１２の精度）を変化させて評価したが、図１２や図１３に示したように、複数機能の性能を同時に変化させて組み合わせることで、改善の組み合わせによる効果の検証や特定の性能の初期値を変更する検証ができるようになる。特定の性能の初期値を変更する検証としては、たとえば、予測ツール３１２の性能が出荷実績値である場合の間口最適化ツール３１４の性能変化の影響を確認する検証である。

【0117】

なお、上述した説明では、予測ツール３２４や間口最適化ツール３１４の性能を３段階で変化させたが、３段階に限定されず、２段階以上あればよい。また、評価装置３００は、ステップＳ８０３～Ｓ８０５の処理をすべて実行する必要はなく、ステップＳ８０３～Ｓ８０５のうち少なくとも１つを実行すればよい。

【0118】

また、上述した説明では、対象となる性能を、予測ツール３１２の精度や間口最適化ツール３１４の探索回数、計画シミュレータ３４１の改修状態としたが、これらには限定されない。性能変化の対象となるツールは、一方のツールの出力が他方のツールの入力に用いられるなど、複数のツール間で連携するような構成であれば、予測ツール３１２および間口最適化ツール３１４以外の他のツールでもよい。

【0119】

また、上述した説明では、評価装置３００の内部に予測ツール３２４や間口最適化ツール３１４といった性能変化対象となる各種ツールを実装したが、ツール自体は評価装置３００外の外部の計算機７００に実装されてもよい。この場合、評価装置３００は、当該外部の計算機７００が計算した予測に基づく計画データ３１５を当該外部の計算機７００から取得することになる。

【0120】

また、補充運用シミュレータ３１６も当該外部の計算機７００に実装されてもよい。この場合、評価装置３００は、当該外部の計算機７００が計算した模擬結果３１７を当該外部の計算機７００から取得することになる。

【0121】

また、上述した評価装置３００は、下記（１）～（８）のように構成することもできる。

【0122】

（１）プログラムを実行するプロセッサ７０１と、前記プログラムを記憶する記憶デバイス７０２と、を有する評価装置３００であって、前記プロセッサ７０１は、
第１計画データ（実計画データ３２５）に基づく運用対象（倉庫１００）の実運用結果（実運用結果３２７）に基づいて、性能変化対象（ツール）により前記第１計画データを更新した第２計画データ（予測に基づく計画データ３１５）を用いて前記運用対象を模擬した模擬結果３１７の正しさを判定する第１判定処理（ステップＳ８０１）と、
前記第１判定処理によって前記模擬結果が正しいと判定された場合（ステップＳ８０１：Ｙｅｓ）、前記実運用結果の第１評価値（実運用工数１０４０）との差が、前記模擬結果の第２評価値（検証環境３１０の運用工数６１３）と前記第１評価値との差よりも小さくなるように、前記性能変化対象の性能（誤差Ｅ０、探索回数、計画シミュレータの改修状態）を段階的に変化させた場合の複数段階の前記模擬結果の第３評価値（比較Ｃｘ－ｙの運用工数６１３）を算出する算出処理（ステップＳ８０３～Ｓ８０５）と、
前記第１評価値、前記第２評価値、および、前記算出処理によって算出された前記各段階の第３評価値を出力する出力処理（ステップＳ８０３～Ｓ８０５）と、を実行する。

【0123】

これにより、ユーザは、第１評価値（実運用工数１０４０）、第２評価値（検証環境３１０の運用工数６１３）、および第３評価値（ツールを性能変化させた際に算出される運用工数６１３）を参照することができ、性能変化対象をどのくらい改善すればよいかを直感的に把握することができる。

【0124】

（２）上記（１）の評価装置３００において、
前記第１判定処理では、前記プロセッサ７０１は、前記実運用結果に基づいて、複数の前記性能変化対象の組み合わせ（予測ツール３１２および間口最適化ツール３１４）により前記第１計画データを更新した第２計画データを用いて前記運用対象を模擬した模擬結果の正しさを判定し、
前記算出処理では、前記プロセッサ７０１は、前記第１判定処理によって前記模擬結果が正しいと判定された場合、前記第１評価値との差が、前記第２評価値と前記第１評価値との差よりも小さくなるように、複数の前記性能変化対象の組み合わせのうち少なくとも１つの性能変化対象の性能を段階的に変化させた場合の複数段階の前記模擬結果の第３評価値を算出する。

【0125】

これにより、表１５００に示したように、複合的な性能変化対象に対しても、ユーザは、第１評価値（実運用工数１０４０）、第２評価値（検証環境３１０の運用工数６１３）、および第３評価値（複数のツールのうちの少なくとも１つを性能変化させたときの運用工数６１３）を参照することができ、性能変化対象をどのくらい改善すればよいかを直感的に把握することができ、性能変化の採用基準として用いることができる。

【0126】

（３）上記（１）または（２）の評価装置３００において、
前記算出処理では、前記プロセッサ７０１は、前記第１判定処理によって前記模擬結果が正しいと判定された場合、前記第１評価値との差が、前記第２評価値と前記第１評価値との差よりも小さくなるように、前記性能変化対象が有する複数の性能のうち１以上の性能を段階的に変化させた場合の複数段階の前記模擬結果の第３評価値を算出する。

【0127】

これにより、表１０００、１２００、１３００、１５００に示したように、複合的な性能に対しても、ユーザは、第１評価値（実運用工数１０４０）、第２評価値（検証環境３１０の運用工数６１３）、および第３評価値（ツールが有する複数の性能のうちの少なくとも一つを性能変化させたときの運用工数６１３）を参照することができ、性能変化対象をどのくらい改善すればよいかを直感的に把握することができ、性能変化の採用基準として用いることができる。

【0128】

（４）上記（１）の評価装置３００において、
前記プロセッサ７０１は、
前記第１判定処理によって前記模擬結果が正しいと判定された場合、前記模擬結果が前記実運用結果に比べて良好か否かを判定する第２判定処理（ステップＳ８０２）を実行し、前記算出処理では、前記プロセッサ７０１は、前記第２判定処理によって前記模擬結果が良好でないと判定された場合（ステップＳ８０２：Ｎｏ）、前記第１評価値との差が、前記第２評価値と前記第１評価値との差よりも小さくなるように、前記複数段階の前記模擬結果の第３評価値を算出する。

【0129】

これにより、改善分析（ステップＳ８０３～Ｓ８０５）の要否を判断し、することができる。改善分析（ステップＳ８０３～Ｓ８０５）が必要な場合にのみ実行することができる。

【0130】

（５）上記（１）の評価装置３００において、
前記算出処理では、前記プロセッサ７０１は、前記第２評価値から前記複数段階の第３評価値の最後の段階（比較Ｃｘ－３）の第３評価値までに、前記性能の変化により前記模擬結果がどの程度改善したかを示す改善度を段階ごとに算出し、
前記出力処理では、前記プロセッサ７０１は、前記算出処理によって段階ごとに算出された改善度を出力する。

【0131】

これにより、表１５００に示したように改善割合が改善度として定量化されるため、ユーザは、各段階の性能変化によりどの程度運用工数６１３が改善するかを把握することができ、性能変化の採用基準として用いることができる。

【0132】

（６）上記（５）の評価装置３００において、
前記算出処理では、前記プロセッサ７０１は、連続する２つの段階（比較Ｃｘ－（ｙ－１）、比較Ｃｘ－ｙ）の改善度と、前記第１評価値と、前記第３評価値と、に基づいて、前記連続する２つの段階間の前記性能の変化により前記模擬結果の改善がどの程度寄与したかを示す改善寄与度を算出し、
前記出力処理では、前記プロセッサ７０１は、前記算出処理によって段階ごとに算出された改善寄与度を出力する。

【0133】

これにより、表１５００に示したように改善割合の寄与率が改善寄与度として定量化されるため、ユーザは、各段階の性能変化により運用工数６１３の改善がどの程度寄与しているかを把握することができ、性能変化の採用基準として用いることができる。

【0134】

（７）上記（６）の評価装置３００において、
前記出力処理では、前記プロセッサ７０１は、前記性能ごとに前記複数段階の前記改善寄与度を示すグラフ（棒グラフ１６００）を出力する。

【0135】

これにより、ユーザは、どの性能のどの段階がどのくらい改善に寄与しているかを把握することができ、性能変化の採用基準として用いることができる。

【0136】

（８）上記（１）の評価装置３００において、
前記出力処理では、前記プロセッサは、前記複数段階の各段階における前記性能変化対象の計算時間を出力する。

【0137】

これにより、ユーザは、性能変化に要する時間を把握することができ、性能変化の採用基準として用いることができる。

【0138】

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。たとえば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。

【0139】

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、たとえば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサ７０１がそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

【0140】

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の記録媒体に格納することができる。

【0141】

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

【符号の説明】

【0142】

１００ 倉庫
１０１ 物品
３００ 評価装置
３１０ 検証環境
３１２ 予測ツール
３１４ 間口最適化ツール
３１５ 予測に基づく計画データ
３１６ 補充運用シミュレータ
３１７ 模擬結果
３１０ 実運用環境
３２０ 検証環境
３２４ 予測ツール
３２５ 実計画データ
３２６ 実運用
３２７ 実運用結果
３４１ 計画シミュレータ
３４２ 探索機能
３６１ 定期補充
３６２ ピッキング作業
３６３ 緊急補充
４０１ 出荷実績データ
４０２ 出荷予測データ
５００ 在庫データ
５１０ 最適化結果
７００ 計算機
７０１ プロセッサ
７０２ 記憶デバイス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】