特許 7188619 コンテナ積載計画装置、方法、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-05

(45)【発行日】2022-12-13

(54)【発明の名称】コンテナ積載計画装置、方法、および、プログラム

(51)【国際特許分類】

   G06Q 10/08 20120101AFI20221206BHJP

【ＦＩ】

G06Q10/08

【請求項の数】 10

(21)【出願番号】P 2021572137

(86)(22)【出願日】2020-01-20

(86)【国際出願番号】 JP2020001759

(87)【国際公開番号】W WO2021149115

(87)【国際公開日】2021-07-29

【審査請求日】2022-06-09

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】比嘉 亮太

【審査官】田付 徳雄

(56)【参考文献】

【文献】特開２０２０－３８４１（ＪＰ，Ａ）

【文献】特開２０１６－８８６３０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／０１４５５０１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

積載対象のコンテナの情報、貨車の積載状態、および、コンテナ到着予測の入力を受け付ける入力部と、
過去の積載実績または積載計画に基づいて学習された、前記貨車の積載状態に対して想定されるコンテナの積載位置の選択確率を算出する方策関数および前記貨車の積載状態に対する価値を算出する価値関数に基づいて、前記貨車における前記積載対象のコンテナの積載位置を決定する積載位置決定部とを備え、
前記積載位置決定部は、前記コンテナ到着予測に基づいて算出される前記価値関数と、前記方策関数とに基づいてコンテナの積載位置を決定する
ことを特徴とするコンテナ積載計画装置。

【請求項2】

積載位置決定部は、ノードがコンテナの積載位置に対応するモンテカルロ木探索により、価値関数と方策関数とを含む前記ノードの選択基準の値を最大にするコンテナの積載位置を、コンテナ到着予測が示すコンテナの到着順に複数回試行して、コンテナの積載位置を決定する
請求項１記載のコンテナ積載計画装置。

【請求項3】

積載位置決定部は、試行回数が最も多いノードに対応する積載位置を、コンテナの積載位置として決定する
請求項２記載のコンテナ積載計画装置。

【請求項4】

積載位置決定部は、コンテナ到着予測から予測される第一のコンテナについて、選択基準の値を最大化する積載位置に対応するノードを試行して第一の価値関数の値を算出し、前記第一のコンテナの後に予測される第二のコンテナについて、前記試行した積載位置に対応するノードから、さらに下位のノードを試行して第二の価値関数の値を算出し、当該第二の価値関数の値を上位のノードの第一の価値関数の値に加算して、当該上位のノードの第一の価値関数の値を更新する
請求項２または請求項３記載のコンテナ積載計画装置。

【請求項5】

選択基準は、試行回数が多いノードほど、価値関数の値を減少させるとともに方策関数の値を減少させるように定義される
請求項２から請求項４のうちのいずれか１項に記載のコンテナ積載計画装置。

【請求項6】

積載位置決定部は、試行結果をもとにボルツマン分布を用いて方策分布を計算する
請求項１から請求項５のうちのいずれか１項に記載のコンテナ積載計画装置。

【請求項7】

積載対象のコンテナの情報、貨車の積載状態、および、コンテナ到着予測の入力を受け付け、
過去の積載実績または積載計画に基づいて学習された、前記貨車の積載状態に対して想定されるコンテナの積載位置の選択確率を算出する方策関数および前記貨車の積載状態に対する価値を算出する価値関数に基づいて、前記貨車における前記積載対象のコンテナの積載位置を決定し、
前記コンテナの積載位置を決定する際、前記コンテナ到着予測に基づいて算出される前記価値関数と、前記方策関数とに基づいてコンテナの積載位置を決定する
ことを特徴とするコンテナ積載計画方法。

【請求項8】

ノードがコンテナの積載位置に対応するモンテカルロ木探索により、価値関数と方策関数とを含む前記ノードの選択基準の値を最大にするコンテナの積載位置を、コンテナ到着予測が示すコンテナの到着順に複数回試行して、コンテナの積載位置を決定する
請求項７記載のコンテナ積載計画方法。

【請求項9】

コンピュータに、
積載対象のコンテナの情報、貨車の積載状態、および、コンテナ到着予測の入力を受け付ける入力処理、および、
過去の積載実績または積載計画に基づいて学習された、前記貨車の積載状態に対して想定されるコンテナの積載位置の選択確率を算出する方策関数および前記貨車の積載状態に対する価値を算出する価値関数に基づいて、前記貨車における前記積載対象のコンテナの積載位置を決定する積載位置決定処理を実行させ、
前記積載位置決定処理で、前記コンテナ到着予測に基づいて算出される前記価値関数と、前記方策関数とに基づいてコンテナの積載位置を決定させる
ためのコンテナ積載計画プログラム。

【請求項10】

コンピュータに、
積載位置決定処理で、ノードがコンテナの積載位置に対応するモンテカルロ木探索により、価値関数と方策関数とを含む前記ノードの選択基準の値を最大にするコンテナの積載位置を、コンテナ到着予測が示すコンテナの到着順に複数回試行させて、コンテナの積載位置を決定させる
請求項９記載のコンテナ積載計画プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、貨車に積載するコンテナの位置を計画するコンテナ積載計画装置、コンテナ積載計画方法、および、コンテナ積載計画プログラムに関する。

【背景技術】

【0002】

近年、ＡＩ（Artificial
Intelligence ）や、ＩｏＴ（Internet of Things）の発展に伴い、物流業界においても、業務効率化や自動化が求められている。鉄道貨物輸送も、物流業界における輸送形態の一つであり、鉄道貨物輸送に用いられるコンテナの管理もまた、効率化が求められている。

【0003】

コンテナを管理するシステムの一例が、非特許文献１に記載されている。非特許文献１に記載されたシステムは、コンテナの位置等をリアルタイムに把握することで、コンテナの操配を適切に行う。また、非特許文献１に記載されたシステムは、自動枠調整機能を備えており、自動的に最も早く到着する列車の予約を行うとともに、新たな荷物のオーダが発生する都度、余裕のある荷物について他の列車への変更を行う。

【先行技術文献】

【非特許文献】

【0004】

【文献】花岡俊樹，“ＲＦＩＤを活用した鉄道コンテナ管理システム”，電気設備学会学会誌，２００８年，第２８巻，５月号，ｐ．３１１－３１５

【発明の概要】

【発明が解決しようとする課題】

【0005】

一方、非特許文献１に記載されたシステムでは、コンテナの積載バランス等、積載の際の制約は考慮されていない。また、実際の積載現場においては、予約の変更等が発生する場合が存在する。しかし、非特許文献１に記載されたシステムでは、現状の逐次変化を考慮しない静的なシステムであるため、そのような変化に対応できず、現場での判断により適宜補正されているという実態がある。そのため、対応を行う作業者の熟練度合いにより、積載効率が異なってしまうという課題がある。

【0006】

また、想定されるコンテナのパターンの組み合わせを単純に最適化しようとした場合、組み合わせ爆発が生じてしまうため、現場でリアルタイムに積載位置を計画しようとしても現実的な時間で処理することは難しい。

【0007】

そこで、本発明では、効率的なコンテナの積載位置をリアルタイムに計画できるコンテナ積載計画装置、コンテナ積載計画方法、および、コンテナ積載計画プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明によるコンテナ積載計画装置は、積載対象のコンテナの情報、貨車の積載状態、および、コンテナ到着予測の入力を受け付ける入力部と、過去の積載実績または積載計画に基づいて学習された、貨車の積載状態に対して想定されるコンテナの積載位置の選択確率を算出する方策関数および貨車の積載状態に対する価値を算出する価値関数に基づいて、貨車における積載対象のコンテナの積載位置を決定する積載位置決定部とを備え、積載位置決定部が、コンテナ到着予測に基づいて算出される価値関数と、方策関数とに基づいてコンテナの積載位置を決定することを特徴とする。

【0009】

本発明によるコンテナ積載計画方法は、積載対象のコンテナの情報、貨車の積載状態、および、コンテナ到着予測の入力を受け付け、過去の積載実績または積載計画に基づいて学習された、貨車の積載状態に対して想定されるコンテナの積載位置の選択確率を算出する方策関数および貨車の積載状態に対する価値を算出する価値関数に基づいて、貨車における積載対象のコンテナの積載位置を決定し、コンテナの積載位置を決定する際、コンテナ到着予測に基づいて算出される価値関数と、方策関数とに基づいてコンテナの積載位置を決定することを特徴とする。

【0010】

本発明によるコンテナ積載計画プログラムは、コンピュータに、積載対象のコンテナの情報、貨車の積載状態、および、コンテナ到着予測の入力を受け付ける入力処理、および、過去の積載実績または積載計画に基づいて学習された、貨車の積載状態に対して想定されるコンテナの積載位置の選択確率を算出する方策関数および貨車の積載状態に対する価値を算出する価値関数に基づいて、貨車における積載対象のコンテナの積載位置を決定する積載位置決定処理を実行させ、積載位置決定処理で、コンテナ到着予測に基づいて算出される価値関数と、方策関数とに基づいてコンテナの積載位置を決定させることを特徴とする。

【発明の効果】

【0011】

本発明によれば、効率的なコンテナの積載位置をリアルタイムに計画できる。

【図面の簡単な説明】

【0012】

【図1】本発明によるコンテナ積載計画装置の一実施形態の構成例を示すブロック図である。

【図2】方策関数の例を示す説明図である。

【図3】コンテナの積載位置を決定する処理の例を示す説明図である。

【図4】先読みによるノード選択の例を示す説明図である。

【図5】ノードを追加する処理の例を示す説明図である。

【図6】各ノードで算出された値の総和を算出する処理の例を示す説明図である。

【図7】シミュレーションの実行結果の例を示す説明図である。

【図8】試行結果の出力例を示す説明図である。

【図9】コンテナ積載計画装置の動作例を示すフローチャートである。

【図10】本発明によるコンテナ積載計画装置の概要を示すブロック図である。

【図11】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態を図面を参照して説明する。

【0014】

図１は、本発明によるコンテナ積載計画装置の一実施形態の構成例を示すブロック図である。本実施形態のコンテナ積載計画装置１００は、入力部１０と、記憶部２０と、積載位置決定部３０と、出力部４０とを含む。

【0015】

なお、図１に例示するように、本実施形態のコンテナ積載計画装置１００が、サーバ２００に接続され、全体として、コンテナ積載計画システム１として実現されていてもよい。

【0016】

入力部１０は、積載対象のコンテナの情報、および、貨車の積載状態の入力を受け付ける。積載対象のコンテナの情報とは、貨車に積載する対象のコンテナの情報であり、例えば、コンテナの長さや、荷物の有り無しなどの情報を含む。また、貨車の積載状態とは、対象の貨車全体においてコンテナがどの位置に配置されているかを示す。

【0017】

本実施形態では、説明を簡易化するために、コンテナの種類を３種類（１２フィートコンテナ、２０フィートコンテナ、および、３０フィートコンテナ）とし、それぞれのコンテナの荷物の有り、または、無しの状況を想定する。以下、貨車の積載状態を、以下の数字で識別する。
０：コンテナを置いてない状態
１：１２フィートコンテナを配置
２：空の１２フィートコンテナ配置
３：２０フィートコンテナを配置
４：空の２０フィートコンテナ配置
５：３０フィートコンテナを配置
６：空の３０フィートコンテナ配置

【0018】

各貨車の積載位置をＮとし、貨車の番号をＮ´とすると、状態集合

【0019】

【数1】

【0020】

は、以下のように表わされる。

【0021】

ｓ∈｛０，１，２，３，４，５，６｝^Ｎ×Ｎ´

【0022】

例えば、貨車の積載位置が５通り存在し、貨車が２４～２６台程度存在するとした場合、状態数は、７^１３０≒１０^１１０になる。このように簡易化した場合にも、組み合わせの数が膨大になると言える。

【0023】

さらに、入力部１０は、コンテナ到着予測の入力を受け付ける。コンテナ到着予測は、積載対象のコンテナの次以降に到着する予定のコンテナ（到着が確定しているコンテナも含む）を示す情報である。なお、コンテナ到着予測に、積載対象のコンテナの情報が含まれていてもよい。

【0024】

コンテナ到着予測が表わす態様は任意である。コンテナ到着予測が、例えば、到着予定（積載予定）の具体的なコンテナを表す情報であってもよい。また、他にも、コンテナ到着予測が、コンテナの種類ごとに到着する確率（重み）の予測分布からコンテナをサンプリングできるような情報であってもよい。

【0025】

例えば、到着予定のコンテナの状態をｓ´とした場合、ｈ個先読みできるとすると、時刻ｔにおける状態ｓ_ｔ´は、以下のように表わすことができる。なお、以下の状態ｓ_ｔ´が、コンテナ到着予測の確率分布ｐ_θｂ（ｓ´）から生成されてもよい。

【0026】

ｓ_ｔ´∈｛０，１，２，３，４，５，６｝^ｈ

【0027】

記憶部２０は、後述する積載位置決定部３０が、コンテナの積載位置を決定する際に用いる各種情報を記憶する。本実施形態では、記憶部２０は、方策関数および価値関数を記憶する。価値関数Ｖ_θ（ｓ）は、貨車の積載状態ｓに対する価値（評価値）を算出する関数である。例えば、コンテナ積載の場合、価値関数を、最大積載量（貨車の長さ）に対するコンテナの積載量の割合を算出する関数として定義できる。

【0028】

具体的には、積載できたか否かを表す報酬関数をｒ_ｔ∈｛０，１｝、重み（積載したコンテナフィート）をｗ_ｔ∈｛１２，２０，３０｝、積載位置の数をＮ（＝５）、貨車の数をＮ´（＝２６）とした場合、価値関数Ｖ_ｄ（ｓ）を、以下に示す式１で表わすことができる。なお、価値関数を、簡易的に、最終状態において積み付けが成功した場合に１、
失敗した場合に０をとる関数として定義してもよい。

【0029】

【数2】

【0030】

また、方策関数π（ａ_ｔ｜ｓ_ｔ）は、貨車の積載状態ｓ_ｔに対して想定されるコンテナの積載位置の選択確率（次の行動の確率）を算出する関数である。コンテナ積載の場合、ここで行われる選択とは、時刻ｔにおいて、Ｎ×Ｎ´通りの位置の中からコンテナを逐次配置する行動ａ_ｔである。

【0031】

図２は、方策関数の例を示す説明図である。図２に例示するように、方策関数π（ａ_ｔ｜ｓ_ｔ）は、貨車の積載状態と、判明している次に積載するコンテナ（積載対象のコンテナ）の情報を入力として、次の行動の確率（すなわち、ある状態ｓにおける各積載位置の選択確率）を出力する。

【0032】

方策関数および価値関数は、過去の積載実績または積載計画を示す学習データを用いて学習されてもよい。ここで、積載計画とは、後述する積載位置決定部３０が決定したコンテナの積載位置を示す情報を意味する。なお、方策関数および価値関数の学習方法は任意である。方策関数および価値関数は、例えば、深層学習を行う学習器を用いて学習されてもよい。また、図１に示す例では、サーバ２００の学習器２２０により学習された方策関数および価値関数が用いられてもよい。

【0033】

積載位置決定部３０は、方策関数および価値関数に基づいて、貨車における積載対象のコンテナの積載位置を決定する。特に、本実施形態では、積載位置決定部３０は、コンテナ到着予測に基づいて算出される価値関数と、方策関数とに基づいて、コンテナの積載位置を決定する。

【0034】

なお、すべての貨車の積載状態から想定される分岐について評価（最適化）を行おうとしても、組み合わせ数が膨大になってしまい、リアルタイムに処理を行うことは難しい。そこで、本実施形態では、シミュレーションによって有効な手を集中して探索するため、積載位置決定部３０は、モンテカルロ木探索を利用して、コンテナの積載位置を決定する。

【0035】

ここで、モンテカルロ木探索を利用してコンテナの積載位置を決定する具体例を説明する。図３は、コンテナの積載位置を決定する処理の例を示す説明図である。本具体例では、貨車の初期状態をｓ_０とし、以降予測されるコンテナの状態を、ｓ_１，ｓ_２…とする。図３に示す例では、コンテナ到着予測１０１に基づき、初期状態ｓ_０で積み込むコンテナが「１２フィートコンテナ」、次の状態ｓ_１で配置すると予測されるコンテナが「２０フィートコンテナ」、さらに次の状態ｓ_２で配置すると予測されるコンテナが「３０フィートコンテナ」であるとする。

【0036】

モンテカルロ木における各ノードが、積載位置（すなわち、どの貨車のどの位置に積むか）に対応する。図３に例示するように、初期状態ｓ_０では、ルートノード１０２のみ存在する。積載位置決定部３０は、コンテナ到着予測が示すコンテナの到着順に試行を繰り返して、コンテナの積載位置を決定する。その際、積載位置決定部３０は、価値関数と方策関数とを含むモンテカルロ木のノードの選択基準の値を最大にするコンテナの積載位置を選択する試行を繰り返す。そして、積載位置決定部３０は、試行回数の最も多いノードが示す積載位置を、コンテナの積載位置として決定する。

【0037】

なお、この選択基準は、コンテナ到着予測に基づいて行われる先読みによる評価と、意思決定の確率に基づく評価とのトレードオフを考慮して定義される。ここで、意思決定の確率は、方策関数に基づいて算出でき、先読みによる評価は、先読みを辿った際に計算される価値関数の総和で算出できる。

【0038】

そこで、積載位置決定部３０は、以下の式２で定義される選択基準Ｘ（ｓ，ａ）の値が最も大きくなるノードを選択する試行を繰り返してもよい。式２において、Ｗ（ｓ）は、ノード配下に存在する各ノードで算出された価値関数Ｖ_θ（ｓ）の値の総和を示し、Ｎ（ｓ，ａ）は、そのノードの選択回数（試行回数）を示す。なお、選択される貨車をａ_１とし、貨車の積載位置をａ_２とすると、積載位置ａ＝（ａ_１，ａ_２）である。

【0039】

【数3】

【0040】

上記の式２に例示する選択基準は、試行回数が多いノードほど、価値関数の値を減少させるとともに方策関数の値を減少させるように定義される基準と言える。

【0041】

以下、図３に例示する状態に基づいて行われる試行を具体的に説明する。図４は、先読みによるノード選択の例を示す説明図である。まず、積載位置決定部３０は、コンテナ到着予測から、状態ｓで配置すると予測されるコンテナの情報を取得する（ステップＳ５１）。初期状態ｓ_０では、積載位置決定部３０は、状態ｓ_１で配置すると予測されるコンテナの情報（２０フィートコンテナ）を取得する。

【0042】

次に、積載位置決定部３０は、現在の状態ｓがリーフノードか否か判定する（ステップＳ５２）。ここでは、ｓ_０がリーフノードでない（すなわち、ステップＳ５２におけるＮｏ）ため、ステップＳ５３に進む。

【0043】

ステップＳ５３において、積載位置決定部３０は、選択基準Ｘ（ｓ，ａ）が最大になるノードを選択する。初期状態ｓ_０では、どのノードもまだ試行を行っていないため、状態ｓ_１において、１番目の貨車の１番目（ａ＝（１，１））の積載位置１０３が選択されたとする。その後、積載位置決定部３０は、状態を１つ進め（ステップＳ５４）、ステップＳ５１の処理に戻る。

【0044】

積載位置決定部３０は、再度、コンテナ到着予測から、状態ｓで配置すると予測されるコンテナの情報を取得する（ステップＳ５１）。状態ｓ_１では、積載位置決定部３０は、状態ｓ_２で配置すると予測されるコンテナの情報（３０フィートコンテナ）を取得する。

【0045】

次に、積載位置決定部３０は、現在の状態ｓがリーフノードか否か判定する（ステップＳ５２）。ここでは、ｓ_１はリーフノードである（すなわち、ステップＳ５２におけるＹｅｓ）ため、ノードを追加する処理に進む。

【0046】

図５は、ノードを追加する処理の例を示す説明図である。積載位置決定部３０は、現在のノードに対する子ノードｓ´を追加する（ステップＳ５５）。そして、積載位置決定部３０は、追加した子ノードの状態ｓ´（ここでは、ｓ_２）について、候補となる各積載位置に対する方策関数（π_θ（ａ｜ｓ´））の値および価値関数（Ｖ_θ（ｓ´））の値を算出する（ステップＳ５６）。また、積載位置決定部３０は、追加した各ノードの情報を初期化する（ステップＳ５７）。すなわち、積載位置決定部３０は、各積載位置について、Ｎ（ｓ´，ａ）＝０、Ｗ（ｓ´，ａ）に設定する。

【0047】

図６は、ノード配下に存在する各ノードで算出された値の総和を算出する処理の例を示す説明図である。図６に例示する処理は、リーフノードの価値関数を逆に伝播させる処理を示す。まず、積載位置決定部３０は、現在の状態ｓがルートノードか否か判定する（ステップＳ５８）。状態ｓ_２はルートノードでない（ステップＳ５８におけるＮｏ）ため、ステップＳ５９に進む。

【0048】

ステップＳ５９において、積載位置決定部３０は、リーフノードの状態（ここでは、ｓ_２）で算出される価値関数の値ｓ_Ｌ（ここでは、Ｖ_θ（ｓ_２））を上位のノード（ここでは、ｓ_１）の価値関数の総和Ｗ（ｓ，ａ）に加算し、総和を更新する（ここでは、Ｗ（ｓ_１，ａ））。また、積載位置決定部３０は、上位のノード（ここでは、ｓ_１）の選択回数Ｎ（ｓ，ａ）に１を加算し、総和を更新する（ここでは、Ｎ（ｓ_１，ａ））（ステップＳ５９）。そして、積載位置決定部３０は、上位のノードに処理を戻す（ステップＳ６０）。

【0049】

その後、ステップＳ５８以降の処理を繰り返す。具体的には、積載位置決定部３０は、現在の状態ｓがルートノードか否か判定する（ステップＳ５８）。状態ｓ_１はルートノードでない（ステップＳ５８におけるＮｏ）ため、ステップＳ５９に進む。

【0050】

ステップＳ５９において、積載位置決定部３０は、リーフノードの状態（ここでは、ｓ_２）で算出される価値関数の値ｓ_Ｌ（ここでは、Ｖ_θ（ｓ_２））を上位のノード（ここでは、ｓ_０）の価値関数の総和Ｗ（ｓ，ａ）に加算し、総和を更新する（ここでは、Ｗ（ｓ_０，ａ））。また、積載位置決定部３０は、上位のノード（ここでは、ｓ_０）の選択回数Ｎ（ｓ，ａ）に１を加算し、総和を更新する（ここでは、Ｎ（ｓ_０，ａ））（ステップＳ５９）。そして、積載位置決定部３０は、上位のノードに処理を戻す（ステップＳ６０）。

【0051】

その後、ステップＳ５８以降の処理を繰り返す。具体的には、積載位置決定部３０は、現在の状態ｓがルートノードか否か判定する（ステップＳ５８）。状態ｓ_０はルートノードである（ステップＳ５８におけるＹｅｓ）ため、処理を終了する。

【0052】

積載位置決定部３０は、このシミュレーションを複数回実行することにより、各ノード（積載位置）の試行回数Ｎ（ｓ，ａ）を得ることができる。図７は、シミュレーションの実行結果の例を示す説明図である。図７に示す例では、シミュレーションを１００回行った結果、少なくとも１番目の貨車の１番目の積載位置（ａ＝（１，１））の試行が１０回行われたことを示す。

【0053】

また、積載位置決定部３０は、試行結果をもとにボルツマン分布を用いて方策分布を計算してもよい。具体的には、積載位置決定部３０は、以下に示す式３に基づいて、方策分布を計算してもよい。式３において、Ｎ（ｓ，ａ）は、状態ｓで実行された試行の回数であり、βは逆温度である。βの設定は任意であり、最適な積載位置を決定する場合、β^－１＝０とすればよい。これは、ａｒｇｍａｘ_ａπ（ａ｜ｓ）に対応する。

【0054】

【数4】

【0055】

また、シミュレーション回数をＬとしたとき、積載位置決定部３０は、以下の式４に例示する制約条件を考慮して、方策分布を計算してもよい。

【0056】

【数5】

【0057】

出力部４０は、決定したコンテナの積載位置を出力する。また、出力部４０は、試行において選択した貨車および積載位置に関する情報を試行結果として出力してもよい。図８は、試行結果の出力例を示す説明図である。図８に示す例では、横軸に選択した貨車の番号ａ_１を設定し、縦軸に貨車において選択した積載位置ａ_２を設定したグラフを示す。また、図８に示す例では、グラフ上部に貨車ごとの選択回数、グラフ右部に積載位置ごとの選択回数を、それぞれ棒グラフで示し、選択された積載位置をグラフ中丸印で表している。

【0058】

入力部１０と、積載位置決定部３０と、出力部４０とは、プログラム（コンテナ積載計画プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics
Processing Unit））によって実現される。また、記憶部２０は、例えば、磁気ディスク等により実現される。

【0059】

例えば、プログラムは、コンテナ積載計画装置１００が備える記憶部２０に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、入力部１０、積載位置決定部３０、および、出力部４０として動作してもよい。また、コンテナ積載計画装置１００の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。

【0060】

また、入力部１０と、積載位置決定部３０と、出力部４０とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。

【0061】

また、コンテナ積載計画装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

【0062】

図１において、サーバ２００は、価値関数および方策関数を学習する装置であり、入力部２１０と、学習器２２０と、記憶部２３０と、出力部２４０とを含む。

【0063】

入力部２１０は、学習に用いる過去の積載実績または積載計画を示す学習データの入力を受け付ける。また、入力部２１０は、受け付けた学習データを記憶部２３０に記憶させてもよい。

【0064】

学習器２２０は、受け付けた学習データを用いた機械学習により、価値関数および方策関数を学習する。学習器２２０が行う学習方法は任意であり、例えば、広く知られた深層学習により価値関数および方策関数が学習されてもよい。

【0065】

記憶部２３０は、生成された価値関数および方策関数を記憶する。また、記憶部２３０は、受け付けた学習データを記憶してもよい。記憶部２３０は、例えば、磁気ディスク等により実現される。

【0066】

出力部２４０は、生成した価値関数および方策関数を出力する。出力部２４０は、生成した価値関数および方策関数をコンテナ積載計画装置１００に送信して、記憶部２０に記憶させてもよい。

【0067】

次に、本実施形態のコンテナ積載計画装置１００の動作を説明する。図９は、本実施形態のコンテナ積載計画装置１００の動作例を示すフローチャートである。入力部１０は、積載対象のコンテナの情報、貨車の積載状態、および、コンテナ到着予測の入力を受け付ける（ステップＳ１１）。積載位置決定部３０は、コンテナ到着予測に基づいて算出される価値関数と方策関数とに基づいて、積載対象のコンテナの積載位置を決定する（ステップＳ１２）。

【0068】

以上のように、本実施形態では、入力部１０が、積載対象のコンテナの情報、貨車の積載状態、および、コンテナ到着予測の入力を受け付け、積載位置決定部３０が、方策関数および価値関数に基づいて、貨車における積載対象のコンテナの積載位置を決定する。その際、積載位置決定部３０は、コンテナ到着予測に基づいて算出される価値関数と、方策関数とに基づいてコンテナの積載位置を決定する。よって、効率的なコンテナの積載位置をリアルタイムに計画できるため、積載効率の安定化に繋がる。

【0069】

次に、本発明の概要を説明する。図１０は、本発明によるコンテナ積載計画装置の概要を示すブロック図である。本発明によるコンテナ積載計画装置８０（例えば、コンテナ積載計画装置１００）は、積載対象のコンテナの情報、貨車の積載状態、および、コンテナ到着予測の入力を受け付ける入力部８１（例えば、入力部１０）と、過去の積載実績または積載計画に基づいて学習された、貨車の積載状態に対して想定されるコンテナの積載位置の選択確率を算出する方策関数（例えば、π（ａ_ｔ｜ｓ_ｔ））および貨車の積載状態に対する価値を算出する価値関数（例えば、Ｖ_θ（ｓ_ｔ））に基づいて、貨車における積載対象のコンテナの積載位置を決定する積載位置決定部８２（例えば、積載位置決定部３０）とを備えている。

【0070】

そして、積載位置決定部８２は、コンテナ到着予測に基づいて算出される価値関数と、方策関数とに基づいてコンテナの積載位置を決定する。

【0071】

そのような構成により、効率的なコンテナの積載位置をリアルタイムに計画できる。

【0072】

具体的には、積載位置決定部８２は、ノードがコンテナの積載位置に対応するモンテカルロ木探索（例えば、図３から図６に例示するモンテカルロ木探索）により、価値関数と方策関数とを含むノードの選択基準（例えば、上記式２）の値を最大にするコンテナの積載位置を、コンテナ到着予測が示すコンテナの到着順に複数回試行して、コンテナの積載位置を決定してもよい。

【0073】

その際、積載位置決定部８２は、試行回数が最も多いノードに対応する積載位置を、コンテナの積載位置として決定してもよい。

【0074】

また、積載位置決定部８２は、コンテナ到着予測から予測される第一のコンテナについて、選択基準の値を最大化する積載位置に対応するノードを試行して第一の価値関数の値を算出し、第一のコンテナの後に予測される第二のコンテナについて、試行した積載位置に対応するノードから、さらに下位のノードを試行して第二の価値関数の値を算出し、その第二の価値関数の値を上位のノードの第一の価値関数の値に加算して、その上位のノードの第一の価値関数の値を更新してもよい。そのような構成により、リーフノードの価値関数の値を逆伝播させることが可能になる。

【0075】

選択基準は、試行回数が多いノードほど、価値関数の値を減少させるとともに方策関数の値を減少させるように定義されてもよい。

【0076】

また、積載位置決定部８２は、試行結果をもとにボルツマン分布を用いて方策分布を計算してもよい（例えば、上記式３および式４）。

【0077】

図１１は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、プロセッサ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４を備える。

【0078】

上述のコンテナ積載計画装置８０は、コンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラム（コンテナ積載計画プログラム）の形式で補助記憶装置１００３に記憶されている。プロセッサ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。

【0079】

なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read-only memory ）、ＤＶＤ－ＲＯＭ（Read-only
memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行してもよい。

【0080】

また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0081】

１ コンテナ積載計画システム
１０ 入力部
２０ 記憶部
３０ 積載位置決定部
４０ 出力部
１００ コンテナ積載計画装置
２００ サーバ
２１０ 入力部
２２０ 学習器
２３０ 記憶部
２４０ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】