7480909 コンテナ積載管理システム、および、コンテナ積載管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-30

(45)【発行日】2024-05-10

(54)【発明の名称】コンテナ積載管理システム、および、コンテナ積載管理方法

(51)【国際特許分類】

   B65G 63/00 20060101AFI20240501BHJP

   B65G 67/04 20060101ALI20240501BHJP

【ＦＩ】

B65G63/00 J

B65G67/04

【請求項の数】 7

(21)【出願番号】P 2023501708

(86)(22)【出願日】2021-02-24

(86)【国際出願番号】 JP2021006861

(87)【国際公開番号】W WO2022180679

(87)【国際公開日】2022-09-01

【審査請求日】2023-08-07

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】比嘉 亮太

【審査官】松江川 宗

(56)【参考文献】

【文献】特開２０００－０７６２２０（ＪＰ，Ａ）

【文献】特開２０１９－１０４５７８（ＪＰ，Ａ）

【文献】特開２００５－０７５５９２（ＪＰ，Ａ）

【文献】特開２０１６－０８８６３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６５Ｇ ５７／００－５７／３２，６０／００－６１／００，

６３／００－６３／０６

(57)【特許請求の範囲】

【請求項1】

積載するコンテナを管理するコンテナ管理装置と、
問い合わせに応じて前記コンテナの積載位置を返信するコンテナ積載計画装置と、
前記コンテナ積載計画装置がコンテナの積載位置を決定する際に用いるモデルを学習する学習装置とを備え、
前記コンテナ管理装置は、
次に積載するコンテナである対象コンテナの情報の入力を受け付ける積載コンテナ情報入力手段と、
現在の積載状態および前記対象コンテナの情報を、前記コンテナ積載計画装置に送信して、当該対象コンテナの積載位置を問い合わせる問い合わせ手段と、
前記コンテナ積載計画装置から受信した積載位置に前記対象コンテナを積載した場合の評価値を出力する評価手段と、
前記積載状態および前記対象コンテナの情報、前記対象コンテナの積載位置、並びに、前記評価値を含むデータを学習データとして出力する出力手段とを含み、
前記学習装置は、
出力された前記学習データを用いた機械学習により、前記モデルを学習する学習手段と、
学習された前記モデルを出力するモデル出力手段とを含み、
前記コンテナ積載計画装置は、
前記コンテナ管理装置から受信した前記積載状態に基づいて、前記対象コンテナの積載位置を決定する積載位置決定手段を含み、
前記積載位置決定手段は、出力されたモデルを用いて前記対象コンテナの積載位置を決定する
ことを特徴とするコンテナ積載管理システム。

【請求項2】

学習装置の学習手段は、出力された学習データを用いて深層学習によりモデルを学習し、
モデル出力手段は、学習されたモデルのパラメータを出力し、
積載位置決定手段は、出力されたパラメータを適用したモデルを用いて対象コンテナの積載位置を決定する
請求項１記載のコンテナ積載管理システム。

【請求項3】

コンテナ管理装置は、
コンテナ積載計画装置から受信したコンテナの積載位置の妥当性を検証する検証手段を含み、
評価手段は、前記妥当性の検証結果が妥当であるほど高くするように評価値を算出する
請求項１または請求項２記載のコンテナ積載管理装置。

【請求項4】

コンテナ積載計画装置は、
コンテナ到着予測の入力を受け付ける入力手段と、
決定された対象コンテナの積載位置を、コンテナ管理装置に対して出力する積載位置出力手段とを含み、
積載位置決定手段は、過去の積載実績または積載計画に基づいて学習された、貨車の積載状態に対して想定されるコンテナの積載位置の選択確率を算出する方策関数および貨車の積載状態に対する価値を算出する価値関数に基づいて、対象コンテナの積載位置を決定し、
前記価値関数は、前記コンテナ到着予測に基づいて算出される
請求項１から請求項３のうちのいずれか１項に記載のコンテナ積載管理システム。

【請求項5】

積載位置決定手段は、ノードがコンテナの積載位置に対応するモンテカルロ木探索により、価値関数と方策関数とを含む前記ノードの選択基準の値を最大にするコンテナの積載位置を、コンテナ到着予測が示すコンテナの到着順に複数回試行して、対象コンテナの積載位置を決定する
請求項４記載のコンテナ積載管理システム。

【請求項6】

積載するコンテナを管理するコンテナ管理装置が、次に積載するコンテナである対象コンテナの情報の入力を受け付け、
前記コンテナ管理装置が、現在の積載状態および前記対象コンテナの情報を、問い合わせに応じてコンテナの積載位置を返信するコンテナ積載計画装置に送信して、当該対象コンテナの積載位置を問い合わせ、
前記コンテナ積載計画装置が、前記コンテナ管理装置から受信した前記積載状態に基づいて、前記対象コンテナの積載位置を決定し、
前記コンテナ管理装置が、前記コンテナ積載計画装置から受信した積載位置に前記対象コンテナを積載した場合の評価値を出力し、
前記コンテナ管理装置が、前記積載状態および前記対象コンテナの情報、前記対象コンテナの積載位置、並びに、前記評価値を含むデータを学習データとして出力し、
前記コンテナ積載計画装置がコンテナの積載位置を決定する際に用いるモデルを学習する学習装置が、出力された前記学習データを用いた機械学習により、当該モデルを学習し、
前記学習装置が、学習された前記モデルを出力し、
前記コンテナ積載計画装置が、出力されたモデルを用いて前記対象コンテナの積載位置を決定する
ことを特徴とするコンテナ積載管理方法。

【請求項7】

学習装置が、出力された学習データを用いて深層学習によりモデルを学習し、
前記学習装置が、学習されたモデルのパラメータを出力し、
前記コンテナ積載計画装置が、出力されたパラメータを適用したモデルを用いて対象コンテナの積載位置を決定する
請求項６記載のコンテナ積載管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、貨車に積載するコンテナを管理するコンテナ積載管理システム、および、コンテナ積載管理方法に関する。

【背景技術】

【0002】

近年、ＡＩ（Artificial Intelligence ）や、ＩｏＴ（Internet of Things）の発展に伴い、物流業界においても、業務効率化や自動化が求められている。鉄道貨物輸送も、物流業界における輸送形態の一つであり、鉄道貨物輸送に用いられるコンテナの管理もまた、効率化が求められている。

【0003】

コンテナを管理するシステムの一例が、非特許文献１に記載されている。非特許文献１に記載されたシステムは、コンテナの位置等をリアルタイムに把握することで、コンテナの操配を適切に行う。また、非特許文献１に記載されたシステムは、自動枠調整機能を備えており、自動的に最も早く到着する列車の予約を行うとともに、新たな荷物のオーダが発生する都度、余裕のある荷物について他の列車への変更を行う。

【先行技術文献】

【非特許文献】

【0004】

【文献】花岡俊樹，“ＲＦＩＤを活用した鉄道コンテナ管理システム”，電気設備学会誌，２００８年，第２８巻，５月号，ｐ．３１１－３１５

【発明の概要】

【発明が解決しようとする課題】

【0005】

一方、非特許文献１に記載されたシステムでは、コンテナの積載バランス等、積載の際の制約は考慮されていない。また、実際の積載現場においては、予約の変更等が発生する場合が存在する。しかし、非特許文献１に記載されたシステムでは、現状の逐次変化を考慮しない静的なシステムであるため、そのような変化に対応できず、現場での判断により適宜補正されているという実態がある。そのため、対応を行う作業者の熟練度合いにより、積載効率が異なってしまうという課題がある。

【0006】

このような問題に対し、過去の積載実績から好ましい積載位置を決定するためのモデルを学習し、日々の業務で利用することが考えられる。しかし、好ましい積載状態は、時代の変化に応じて変化するため、モデルの精度を維持できるよう、モデルの内容を逐次見直せることが好ましい。一方、日々の変化に追随するよう、モデルの見直しを随時行おうとする場合、技術者の作業負担が大きくなってしまうという問題もある。そのため、技術者の負荷を抑制しつつ、積載位置を決定するためのモデルの精度を維持できることが好ましい。

【0007】

そこで、本発明では、技術者の負荷を抑制しつつ、積載位置を決定するためのモデルの精度を維持できるコンテナ積載管理システム、コンテナ積載管理方法、および、コンテナ積載管理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明によるコンテナ積載管理システムは、積載するコンテナを管理するコンテナ管理装置と、問い合わせに応じてコンテナの積載位置を返信するコンテナ積載計画装置と、コンテナ積載計画装置がコンテナの積載位置を決定する際に用いるモデルを学習する学習装置とを備え、コンテナ管理装置が、次に積載するコンテナである対象コンテナの情報の入力を受け付ける積載コンテナ情報入力手段と、現在の積載状態および対象コンテナの情報を、コンテナ積載計画装置に送信して、その対象コンテナの積載位置を問い合わせる問い合わせ手段と、コンテナ積載計画装置から受信した積載位置に対象コンテナを積載した場合の評価値を出力する評価手段と、積載状態および対象コンテナの情報、対象コンテナの積載位置、並びに、評価値を含むデータを学習データとして出力する出力手段とを含み、学習装置が、出力された学習データを用いた機械学習により、モデルを学習する学習手段と、学習されたモデルを出力するモデル出力手段とを含み、コンテナ積載計画装置が、コンテナ管理装置から受信した積載状態に基づいて、対象コンテナの積載位置を決定する積載位置決定手段を含み、積載位置決定手段が、出力されたモデルを用いて対象コンテナの積載位置を決定することを特徴とする。

【0009】

本発明によるコンテナ積載管理方法は、積載するコンテナを管理するコンテナ管理装置が、次に積載するコンテナである対象コンテナの情報の入力を受け付け、コンテナ管理装置が、現在の積載状態および対象コンテナの情報を、問い合わせに応じてコンテナの積載位置を返信するコンテナ積載計画装置に送信して、その対象コンテナの積載位置を問い合わせ、コンテナ積載計画装置が、コンテナ管理装置から受信した積載状態に基づいて、対象コンテナの積載位置を決定し、コンテナ管理装置が、コンテナ積載計画装置から受信した積載位置に対象コンテナを積載した場合の評価値を出力し、コンテナ管理装置が、積載状態および対象コンテナの情報、対象コンテナの積載位置、並びに、評価値を含むデータを学習データとして出力し、コンテナ積載計画装置がコンテナの積載位置を決定する際に用いるモデルを学習する学習装置が、出力された学習データを用いた機械学習により、そのモデルを学習し、学習装置が、学習されたモデルを出力し、コンテナ積載計画装置が、出力されたモデルを用いて対象コンテナの積載位置を決定することを特徴とする。

【発明の効果】

【0010】

本発明によれば、技術者の負荷を抑制しつつ、積載位置を決定するためのモデルの精度を維持できる。

【図面の簡単な説明】

【0011】

【図1】本発明によるコンテナ積載管理システムの一実施形態の構成例を示すブロック図である。

【図2】方策関数の例を示す説明図である。

【図3】コンテナの積載位置を決定する処理の例を示す説明図である。

【図4】先読みによるノード選択の例を示す説明図である。

【図5】ノードを追加する処理の例を示す説明図である。

【図6】各ノードで算出された値の総和を算出する処理の例を示す説明図である。

【図7】シミュレーションの実行結果の例を示す説明図である。

【図8】試行結果の出力例を示す説明図である。

【図9】価値関数および方策関数を表わす深層学習モデルの例を示す説明図である。

【図10】コンテナ積載管理システムの動作例を示す説明図である。

【図11】コンテナの積載状態を可視化した画面の例を示す説明図である。

【図12】コンテナ積載管理システムの他の動作例を示す説明図である。

【図13】本発明によるコンテナ積載管理システムの概要を示すブロック図である。

【図14】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態を図面を参照して説明する。

【0013】

図１は、本発明によるコンテナ積載管理システムの一実施形態の構成例を示すブロック図である。本実施形態のコンテナ積載管理システム１は、コンテナ積載計画装置１００と、サーバ２００と、管理装置３００とを備えている。コンテナ積載計画装置１００と、サーバ２００と、管理装置３００とは、通信回線を通じて相互に接続される。

【0014】

管理装置３００は、貨車に積載するコンテナの情報を管理する装置である。コンテナ積載計画装置１００は、他の装置（具体的には管理装置３００）からの問い合わせに応じて、コンテナの積載位置を計画して返信する装置である。また、サーバ２００は、コンテナ積載計画装置１００がコンテナの積載位置を決定する際に用いるモデル（より具体的には、価値関数および方策関数）を学習する装置である。

【0015】

本実施形態では、コンテナ積載計画装置１００と、サーバ２００と、管理装置３００とが、それぞれ別の装置で実現されている場合を例示している。ただし、これらの装置が１つの装置で実現されていてもよく、各装置の構成要素がそれぞれ別の装置で実現されていてもよい。

【0016】

本実施形態の管理装置３００は、記憶部３１０と、積載コンテナ情報入力部３２０と、問い合わせ部３３０と、積載位置入力部３４０と、検証部３５０と、評価部３６０と、コンテナ予測部３７０と、出力部３８０とを含む。

【0017】

記憶部３１０は、管理装置３００が処理を行う際に用いる各種情報を記憶する。具体的には、本実施形態の記憶部３１０は、コンテナを積載する貨車の情報（例えば、貨車数や、貨車の大きさなど）や、コンテナを積載する際の制約などを記憶する。他にも、記憶部３１０は、コンテナを積載する列車の出発地点および到着地点の情報、経路や経由地、天候などの情報を記憶していていもよい。これらの情報は、数値データや画像データ、文字情報や、ベクトル表現された情報など、任意の形式で表現されていてもよい。記憶部３１０は、例えば、磁気ディスク等により実現される。

【0018】

積載コンテナ情報入力部３２０は、次に積載するコンテナ（以下、対象コンテナと記すこともある。）の情報の入力を受け付ける。入力されるコンテナの情報として、例えば、コンテナのサイズ（例えば、１２，２０，３１，４０フィートなど）や、属性（企業名、荷物の搭載の有無、積載物資、到着地点など）を示す情報が挙げられる。積載コンテナ情報入力部３２０は、例えば、既存のシステムから次に積載するコンテナの情報の入力を受け付けてもよく、ユーザの明示の操作による入力を受け付けてもよい。

【0019】

また、積載コンテナ情報入力部３２０は、後述するコンテナ予測部３７０による到着コンテナの予測結果の入力を受け付けてもよい。なお、予測結果に基づいて後続の処理が行われる場合、管理装置３００は、到着予測に基づく処理を実施するシミュレータとして動作する。

【0020】

問い合わせ部３３０は、現在の貨車の積載状態および次に積載するコンテナ（すなわち、対象コンテナ）の情報をコンテナ積載計画装置１００に送信して、そのコンテナの積載位置を問い合わせる。以下の説明では、ある時刻ｔにおける積載状態および対象コンテナの情報を状態ｓ_ｔと記し、問い合わせに応じて指定されるコンテナの積載位置をａ_ｔ（行動ａ_ｔ）と記すこともある。すなわち、問い合わせ部３３０は、時刻ｔにおける状態ｓ_ｔをコンテナ積載計画装置１００に送信してコンテナの積載位置ａ_ｔを問い合わせる。

【0021】

積載状態とは、コンテナが貨車に積載されている状態を示す情報であり、具体的には、どの貨車のどの位置にどのコンテナが積載されているかを示す情報である。また、積載状態には、後述するコンテナ予測部３７０によるコンテナ到着予測が含まれていてもよい。

【0022】

なお、ユーザによって、明示的にコンテナの積載位置ａ_ｔが指定される場合、問い合わせ部３３０は、コンテナ積載計画装置１００へ問い合わせを行わなくてもよい。

【0023】

積載位置入力部３４０は、ある時刻ｔにおけるコンテナの積載位置の入力を受け付ける。積載位置入力部３４０は、コンテナ積載計画装置１００からコンテナの積載位置の入力を受け付けてもよく、キーボードやタッチパネルなどを介して、ユーザからコンテナの積載位置の入力を受け付けてもよい。

【0024】

検証部３５０は、受け付けたコンテナの積載位置の妥当性を検証する。具体的には、検証部３５０は、受け付けたコンテナの積載位置が、制約を満たしているか否か判定する。この制約は、積載する貨車や運用ルール、時刻や安全性等に基づき、予め定められる。具体的には、制約の例として、物理的に積載可能か、車両全体としてのバランスが保たれているか、出発時の運用ルールが守られているか、などが挙げられる。

【0025】

なお、受け付けたコンテナの積載位置が制約を満たしていることが明らかな場合、検証部３５０は、コンテナの積載位置の妥当性を検証する処理を必ずしも行う必要はない。ただし、ユーザからコンテナの積載位置の入力を受け付ける場合など、受け付けたコンテナの積載位置が制約を満たしているか不明である可能性もある。そのため、検証部３５０が妥当性を検証することで、不適切な積載指示を行うことを抑制できる。

【0026】

評価部３６０は、積載位置にコンテナを積載した場合の好ましさを示す評価値を出力する。評価値の算出方法は任意であり、予め定義された方法に基づいて算出される。例えば、より多くのコンテナを積み付けられたことを示す効率性の観点や、より収益性の高いコンテナを積み付けられたことを示す収益性の観点で、評価値の算出方法が定義されていてもよい。検証部３５０は、例えば、後述するコンテナ積載計画装置１００の記憶部２０に記憶された価値関数（下記に示す式１）に基づいて評価値を出力してもよい。

【0027】

また、よりシンプルに、評価部３６０は、妥当性の検証結果が妥当であるほど高くするように評価値を算出してもよい。具体的には、評価部３６０は、積載位置に対してコンテナの積載が成功した場合に、評価値として１を出力し、積載が失敗した場合に、評価値として０または－１を出力してもよい。なお、後述するコンテナ積載計画装置１００から、コンテナの積載位置と共に、その積載位置にコンテナを積載した場合の評価値を受信した場合、評価部３６０は、受信した評価値を出力してもよい。

【0028】

コンテナ予測部３７０は、到着するコンテナを予測する。なお、コンテナ予測部３７０が到着するコンテナを予測する方法は任意であり、一般に知られた方法が用いられてもよい。コンテナ予測部３７０は、例えば、過去の到着履歴を参照して到着するコンテナを予測してもよいし、予め学習された予測モデルに基づいて、到着するコンテナを予測してもよい。

【0029】

また、コンテナ予測部３７０は、後述するコンテナ積載計画装置１００の入力部１０が受け付けるコンテナ到着予測と同様の情報を生成してもよい。なお、入力部１０が受け付けるコンテナ到着予測の内容については後述される。

【0030】

出力部３８０は、対象コンテナの積載位置を出力する。このとき、出力部３８０は、検証部３５０が妥当と判断した対象コンテナの積載位置を出力するようにしてもよい。なお、出力部３８０は、検証部３５０が妥当ではないと判断した場合、積載位置と共に、妥当ではない理由（例えば、制約条件違反など）を出力してもよい。

【0031】

さらに、出力部３８０は、評価部３６０によって出力された評価値を、対象コンテナの積載に対応させて時系列に可視化してもよい。また、各列車に着目した場合、積載されるコンテナの数は累積的に増加していく。そこで、出力部３８０は、コンテナを積載する列車ごとに、コンテナの積載に対応させて時系列に累積した評価値を出力してもよい。

【0032】

また、出力部３８０は、対象コンテナと共に、コンテナ予測部３７０によって予測されたコンテナ到着予測を到着予定順に併せて出力してもよい。その際、出力部３８０は、到着が確定しているコンテナと、到着が未確定のコンテナ（到着すると予想されたコンテナ）とを、異なる態様で出力してもよい。具体的には、対象コンテナは到着が確定しているコンテナであり、到着が未確定のコンテナは、到着すると予測されたコンテナである。なお、出力部３８０が出力する画面例については後述される。

【0033】

他にも、出力部３８０は、状態ｓ_ｔ（すなわち、積載状態および対象コンテナの情報）と、受信した対象コンテナの積載位置ａ_ｔと、その受信結果に対する評価値とを組み合わせたデータを、後述する学習器２２０が用いる学習データとして生成してもよい。なお、この評価値は、後述するコンテナ積載計画装置１００からから受信した価値関数により算出される評価値であってもよく、評価部３６０によって算出された評価値であってもよい。そして、出力部３８０は、生成した学習データを学習器２２０に出力する。出力部３８０は、この学習データを逐次サーバ２００に出力してもよく、この学習データを記憶部３１０に記憶しておき、定期的にまとめてサーバ２００へ出力してもよい。

【0034】

図１において、コンテナ積載計画装置１００は、入力部１０と、記憶部２０と、積載位置決定部３０と、出力部４０とを含む。

【0035】

入力部１０は、管理装置３００から、積載対象のコンテナ（すなわち、対象コンテナ）の情報、および、貨車の積載状態の入力を受け付ける。積載対象のコンテナの情報とは、上述するように、貨車に積載する対象のコンテナの情報であり、例えば、コンテナの長さや、荷物の有り無しなどの情報を含む。また、貨車の積載状態とは、上述するように、対象の貨車全体においてコンテナがどの位置に配置されているかを示す。

【0036】

本実施形態では、説明を簡易化するために、コンテナの種類を３種類（１２フィートコンテナ、２０フィートコンテナ、および、３０フィートコンテナ）とし、それぞれのコンテナの荷物の有り、または、無しの状況を想定する。以下、貨車の積載状態を、以下の数字で識別する。
０：コンテナを置いてない状態
１：１２フィートコンテナを配置
２：空の１２フィートコンテナ配置
３：２０フィートコンテナを配置
４：空の２０フィートコンテナ配置
５：３０フィートコンテナを配置
６：空の３０フィートコンテナ配置

【0037】

各貨車の積載位置をＮとし、貨車の番号をＮ´とすると、状態集合

【0038】

【数1】

【0039】

は、以下のように表わされる。

【0040】

ｓ∈｛０，１，２，３，４，５，６｝^Ｎ×Ｎ´

【0041】

例えば、貨車の積載位置が５通り存在し、貨車が２４～２６台程度存在するとした場合、状態数は、７^１３０≒１０^１１０になる。このように簡易化した場合にも、組み合わせの数が膨大になると言える。

【0042】

さらに、入力部１０は、コンテナ到着予測の入力を受け付ける。コンテナ到着予測は、積載対象のコンテナの次以降に到着する予定のコンテナ（到着が確定しているコンテナも含む）を示す情報である。なお、コンテナ到着予測に、積載対象のコンテナの情報が含まれていてもよい。

【0043】

コンテナ到着予測が表わす態様は任意である。コンテナ到着予測が、例えば、到着予定（積載予定）の具体的なコンテナを表す情報であってもよい。また、他にも、コンテナ到着予測が、コンテナの種類ごとに到着する確率（重み）の予測分布からコンテナをサンプリングできるような情報であってもよい。

【0044】

例えば、到着予定のコンテナの状態をｓ´とした場合、ｈ個先読みできるとすると、時刻ｔにおける状態ｓ_ｔ´は、以下のように表わすことができる。なお、以下の状態ｓ_ｔ´が、コンテナ到着予測の確率分布ｐ_θｂ（ｓ´）から生成されてもよい。

【0045】

ｓ_ｔ´∈｛０，１，２，３，４，５，６｝^ｈ

【0046】

記憶部２０は、後述する積載位置決定部３０が、コンテナの積載位置を決定する際に用いる各種情報を記憶する。本実施形態では、記憶部２０は、方策関数および価値関数を記憶する。価値関数Ｖ_θ（ｓ）は、貨車の積載状態ｓに対する価値（評価値）を算出する関数である。例えば、コンテナ積載の場合、価値関数を、最大積載量（貨車の長さ）に対するコンテナの積載量の割合を算出する関数として定義できる。

【0047】

具体的には、積載できたか否かを表す報酬関数をｒ_ｔ∈｛０，１｝、重み（積載したコンテナフィート）をｗ_ｔ∈｛１２，２０，３０｝、積載位置の数をＮ（＝５）、貨車の数をＮ´（＝２６）とした場合、価値関数Ｖ_ｄ（ｓ）を、以下に示す式１で表わすことができる。なお、価値関数を、簡易的に、最終状態において積み付けが成功した場合に１、 失敗した場合に０をとる関数として定義してもよい。

【0048】

【数2】

【0049】

また、方策関数π（ａ_ｔ｜ｓ_ｔ）は、貨車の積載状態ｓ_ｔに対して想定されるコンテナの積載位置の選択確率（次の行動の確率）を算出する関数である。コンテナ積載の場合、ここで行われる選択とは、時刻ｔにおいて、Ｎ×Ｎ´通りの位置の中からコンテナを逐次配置する行動ａ_ｔである。

【0050】

図２は、方策関数の例を示す説明図である。図２に例示するように、方策関数π（ａ_ｔ｜ｓ_ｔ）は、貨車の積載状態と、判明している次に積載するコンテナ（積載対象のコンテナ）の情報を入力として、次の行動の確率（すなわち、ある状態ｓにおける各積載位置の選択確率）を出力する。

【0051】

方策関数および価値関数は、過去の積載実績または積載計画を示す学習データを用いて学習されてもよい。ここで、積載計画とは、後述する積載位置決定部３０が決定したコンテナの積載位置を示す情報を意味する。なお、方策関数および価値関数の学習方法は任意である。方策関数および価値関数は、例えば、深層学習を行う学習器を用いて学習されてもよい。また、図１に示す例では、サーバ２００の学習器２２０により学習された方策関数および価値関数が用いられてもよい。

【0052】

積載位置決定部３０は、貨車における積載対象のコンテナの積載位置を決定する。単純には、積載位置決定部３０は、予め定めた規則に基づいて（例えば、ルールベースで）積載位置を決定してもよい。規則として、例えば、前方から順番、すでに積載されている車両を優先する、各駅でコンテナを搬送しやすい位置を優先する、などが挙げられる。

【0053】

なお、より好ましい積載位置を決定するため、積載位置決定部３０は、方策関数および価値関数に基づいて、貨車における積載対象のコンテナの積載位置を決定してもよい。特に、本実施形態では、積載位置決定部３０は、コンテナ到着予測に基づいて算出される価値関数と、方策関数とに基づいて、コンテナの積載位置を決定する場合について説明する。

【0054】

なお、すべての貨車の積載状態から想定される分岐について評価（最適化）を行おうとしても、組み合わせ数が膨大になってしまい、リアルタイムに処理を行うことは難しい。そこで、本実施形態では、シミュレーションによって有効な手を集中して探索するため、積載位置決定部３０は、モンテカルロ木探索を利用して、コンテナの積載位置を決定する。

【0055】

ここで、モンテカルロ木探索を利用してコンテナの積載位置を決定する具体例を説明する。図３は、コンテナの積載位置を決定する処理の例を示す説明図である。本具体例では、貨車の初期状態をｓ_０とし、以降予測されるコンテナの状態を、ｓ_１，ｓ_２…とする。図３に示す例では、コンテナ到着予測１０１に基づき、初期状態ｓ_０で積み込むコンテナが「１２フィートコンテナ」、次の状態ｓ_１で配置すると予測されるコンテナが「２０フィートコンテナ」、さらに次の状態ｓ_２で配置すると予測されるコンテナが「３０フィートコンテナ」であるとする。

【0056】

モンテカルロ木における各ノードが、積載位置（すなわち、どの貨車のどの位置に積むか）に対応する。図３に例示するように、初期状態ｓ_０では、ルートノード１０２のみ存在する。積載位置決定部３０は、コンテナ到着予測が示すコンテナの到着順に試行を繰り返して、コンテナの積載位置を決定する。その際、積載位置決定部３０は、価値関数と方策関数とを含むモンテカルロ木のノードの選択基準の値を最大にするコンテナの積載位置を選択する試行を繰り返す。そして、積載位置決定部３０は、試行回数の最も多いノードが示す積載位置を、コンテナの積載位置として決定する。

【0057】

なお、この選択基準は、コンテナ到着予測に基づいて行われる先読みによる評価と、意思決定の確率に基づく評価とのトレードオフを考慮して定義される。ここで、意思決定の確率は、方策関数に基づいて算出でき、先読みによる評価は、先読みを辿った際に計算される価値関数の総和で算出できる。

【0058】

そこで、積載位置決定部３０は、以下の式２で定義される選択基準Ｘ（ｓ，ａ）の値が最も大きくなるノードを選択する試行を繰り返してもよい。式２において、Ｗ（ｓ）は、ノード配下に存在する各ノードで算出された価値関数Ｖ_θ（ｓ）の値の総和を示し、Ｎ（ｓ，ａ）は、そのノードの選択回数（試行回数）を示す。なお、選択される貨車をａ_１とし、貨車の積載位置をａ_２とすると、積載位置ａ＝（ａ_１，ａ_２）である。

【0059】

【数3】

【0060】

上記の式２に例示する選択基準は、試行回数が多いノードほど、価値関数の値を減少させるとともに方策関数の値を減少させるように定義される基準と言える。

【0061】

以下、図３に例示する状態に基づいて行われる試行を具体的に説明する。図４は、先読みによるノード選択の例を示す説明図である。まず、積載位置決定部３０は、コンテナ到着予測から、状態ｓで配置すると予測されるコンテナの情報を取得する（ステップＳ５１）。初期状態ｓ_０では、積載位置決定部３０は、状態ｓ_１で配置すると予測されるコンテナの情報（２０フィートコンテナ）を取得する。

【0062】

次に、積載位置決定部３０は、現在の状態ｓがリーフノードか否か判定する（ステップＳ５２）。ここでは、ｓ_０がリーフノードでない（すなわち、ステップＳ５２におけるＮｏ）ため、ステップＳ５３に進む。

【0063】

ステップＳ５３において、積載位置決定部３０は、選択基準Ｘ（ｓ，ａ）が最大になるノードを選択する。初期状態ｓ_０では、どのノードもまだ試行を行っていないため、状態ｓ_１において、１番目の貨車の１番目（ａ＝（１，１））の積載位置１０３が選択されたとする。その後、積載位置決定部３０は、状態を１つ進め（ステップＳ５４）、ステップＳ５１の処理に戻る。

【0064】

積載位置決定部３０は、再度、コンテナ到着予測から、状態ｓで配置すると予測されるコンテナの情報を取得する（ステップＳ５１）。状態ｓ_１では、積載位置決定部３０は、状態ｓ_２で配置すると予測されるコンテナの情報（３０フィートコンテナ）を取得する。

【0065】

次に、積載位置決定部３０は、現在の状態ｓがリーフノードか否か判定する（ステップＳ５２）。ここでは、ｓ_１はリーフノードである（すなわち、ステップＳ５２におけるＹｅｓ）ため、ノードを追加する処理に進む。

【0066】

図５は、ノードを追加する処理の例を示す説明図である。積載位置決定部３０は、現在のノードに対する子ノードｓ´を追加する（ステップＳ５５）。そして、積載位置決定部３０は、追加した子ノードの状態ｓ´（ここでは、ｓ_２）について、候補となる各積載位置に対する方策関数（π_θ（ａ｜ｓ´））の値および価値関数（Ｖ_θ（ｓ´））の値を算出する（ステップＳ５６）。また、積載位置決定部３０は、追加した各ノードの情報を初期化する（ステップＳ５７）。すなわち、積載位置決定部３０は、各積載位置について、Ｎ（ｓ´，ａ）＝０、Ｗ（ｓ´，ａ）に設定する。

【0067】

図６は、ノード配下に存在する各ノードで算出された値の総和を算出する処理の例を示す説明図である。図６に例示する処理は、リーフノードの価値関数を逆に伝播させる処理を示す。まず、積載位置決定部３０は、現在の状態ｓがルートノードか否か判定する（ステップＳ５８）。状態ｓ_２はルートノードでない（ステップＳ５８におけるＮｏ）ため、ステップＳ５９に進む。

【0068】

ステップＳ５９において、積載位置決定部３０は、リーフノードの状態（ここでは、ｓ_２）で算出される価値関数の値ｓ_Ｌ（ここでは、Ｖ_θ（ｓ_２））を上位のノード（ここでは、ｓ_１）の価値関数の総和Ｗ（ｓ，ａ）に加算し、総和を更新する（ここでは、Ｗ（ｓ_１，ａ））。また、積載位置決定部３０は、上位のノード（ここでは、ｓ_１）の選択回数Ｎ（ｓ，ａ）に１を加算し、総和を更新する（ここでは、Ｎ（ｓ_１，ａ））（ステップＳ５９）。そして、積載位置決定部３０は、上位のノードに処理を戻す（ステップＳ６０）。

【0069】

その後、ステップＳ５８以降の処理を繰り返す。具体的には、積載位置決定部３０は、現在の状態ｓがルートノードか否か判定する（ステップＳ５８）。状態ｓ_１はルートノードでない（ステップＳ５８におけるＮｏ）ため、ステップＳ５９に進む。

【0070】

ステップＳ５９において、積載位置決定部３０は、リーフノードの状態（ここでは、ｓ_２）で算出される価値関数の値ｓ_Ｌ（ここでは、Ｖ_θ（ｓ_２））を上位のノード（ここでは、ｓ_０）の価値関数の総和Ｗ（ｓ，ａ）に加算し、総和を更新する（ここでは、Ｗ（ｓ_０，ａ））。また、積載位置決定部３０は、上位のノード（ここでは、ｓ_０）の選択回数Ｎ（ｓ，ａ）に１を加算し、総和を更新する（ここでは、Ｎ（ｓ_０，ａ））（ステップＳ５９）。そして、積載位置決定部３０は、上位のノードに処理を戻す（ステップＳ６０）。

【0071】

その後、ステップＳ５８以降の処理を繰り返す。具体的には、積載位置決定部３０は、現在の状態ｓがルートノードか否か判定する（ステップＳ５８）。状態ｓ_０はルートノードである（ステップＳ５８におけるＹｅｓ）ため、処理を終了する。

【0072】

積載位置決定部３０は、このシミュレーションを複数回実行することにより、各ノード（積載位置）の試行回数Ｎ（ｓ，ａ）を得ることができる。図７は、シミュレーションの実行結果の例を示す説明図である。図７に示す例では、シミュレーションを１００回行った結果、少なくとも１番目の貨車の１番目の積載位置（ａ＝（１，１））の試行が１０回行われたことを示す。

【0073】

また、積載位置決定部３０は、試行結果をもとにボルツマン分布を用いて方策分布を計算してもよい。具体的には、積載位置決定部３０は、以下に示す式３に基づいて、方策分布を計算してもよい。式３において、Ｎ（ｓ，ａ）は、状態ｓで実行された試行の回数であり、βは逆温度である。βの設定は任意であり、最適な積載位置を決定する場合、β^－１＝０とすればよい。これは、ａｒｇｍａｘ_ａπ（ａ｜ｓ）に対応する。

【0074】

【数4】

【0075】

また、シミュレーション回数をＬとしたとき、積載位置決定部３０は、以下の式４に例示する制約条件を考慮して、方策分布を計算してもよい。

【0076】

【数5】

【0077】

出力部４０は、決定したコンテナの積載位置を出力する。また、出力部４０は、試行において選択した貨車および積載位置に関する情報を試行結果として出力してもよい。図８は、試行結果の出力例を示す説明図である。図８に示す例では、横軸に選択した貨車の番号ａ_１を設定し、縦軸に貨車において選択した積載位置ａ_２を設定したグラフを示す。また、図８に示す例では、グラフ上部に貨車ごとの選択回数、グラフ右部に積載位置ごとの選択回数を、それぞれ棒グラフで示し、選択された積載位置をグラフ中丸印で表している。

【0078】

入力部１０と、積載位置決定部３０と、出力部４０とは、プログラム（コンテナ積載計画プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit））によって実現される。また、記憶部２０は、例えば、磁気ディスク等により実現される。

【0079】

例えば、プログラムは、コンテナ積載計画装置１００が備える記憶部２０に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、入力部１０、積載位置決定部３０、および、出力部４０として動作してもよい。また、コンテナ積載計画装置１００の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。

【0080】

また、入力部１０と、積載位置決定部３０と、出力部４０とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。

【0081】

また、コンテナ積載計画装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

【0082】

なお、コンテナ積載計画装置１００に対して問い合わせを行う管理装置３００の、積載コンテナ情報入力部３２０、問い合わせ部３３０、積載位置入力部３４０、検証部３５０、評価部３６０、コンテナ予測部３７０および出力部３８０も、プログラム（管理プログラム）に従って動作するコンピュータのプロセッサによって実現される。

【0083】

図１において、サーバ２００は、上述するように、価値関数および方策関数を学習する装置であり、入力部２１０と、学習器２２０と、記憶部２３０と、出力部２４０とを含む。

【0084】

入力部２１０は、学習に用いる過去の積載実績または積載計画を示す学習データの入力を受け付ける。また、入力部２１０は、受け付けた学習データを記憶部２３０に記憶させてもよい。

【0085】

また、本実施形態の入力部２１０は、管理装置３００（より具体的には、出力部３８０）から学習データの入力を受け付けてもよい。具体的には、入力部２１０は、上述するように、管理装置３００から、学習データの入力を逐次受け付けてもよく、定期的に受け付けてもよい。

【0086】

学習器２２０は、受け付けた学習データを用いた機械学習により、価値関数および方策関数を示すモデル学習する。学習器２２０が行う学習方法は任意であり、例えば、広く知られた深層学習により価値関数および方策関数が学習されてもよい。

【0087】

また、学習器２２０が学習を行うタイミングも任意である。学習器２２０は、例えば、業務時間内に蓄積された学習データを業務時間外にまとめて管理装置３００から受信し、受信した学習データを用いて学習処理を行ってもよい。また、学習器２２０は、業務時間内に逐次学習データを管理装置３００から受信して学習処理を行ってもよい。ただし、学習データの受信と、学習処理とは同期している必要はない。

【0088】

このように、学習器２２０が、運用時に取得される情報に基づいて生成される学習データに基づいて、価値関数および方策関数を学習することにより、コンテナ積載計画装置１００が現状に則してコンテナの積載位置を決定することが可能になる。

【0089】

以下、本実施形態の学習器２２０が深層学習により価値関数および方策関数を学習する方法の具体例を説明する。図９は、価値関数および方策関数を表わす深層学習モデルの例を示す説明図である。

【0090】

図９に例示する深層学習モデルは、積載状態および次に積載するコンテナ（すなわち、対象コンテナ）を入力層とし、方策関数π_θ（ａ｜ｓ）および価値関数Ｖ_θ（ｓ）を示すモデルを出力層とする、デュアルネットワーク型のモデルｆ_θ（ｓ）＝（π_θ（ａ｜ｓ），Ｖ_θ（ｓ））である。中間層は、ＣＮＮ（Convolutional Neural Network）ブロックおよびＲｅｓｉｄｕａｌ（残差）ブロックを、全体をカバーできる程度繰り返す構造を有することで特徴量設計を行う機能を有する。そして、Ｌｏｓｓ関数θを最小化するため、学習器２２０は、勾配法（ＧＤ：Gradient Descent）およびＬ２正則化により、以下に例示する式５による更新処理を行う。

【0091】

【数6】

【0092】

記憶部２３０は、生成された価値関数および方策関数を記憶する。具体的には、記憶部２３０は、図９に例示する深層学習モデルを価値関数および方策関数として記憶していてもよい。また、記憶部２３０は、受け付けた学習データを記憶してもよい。記憶部２３０は、例えば、磁気ディスク等により実現される。

【0093】

出力部２４０は、生成した価値関数および方策関数を出力する。具体的には、出力部２４０は、学習された図９に例示する深層学習モデルのパラメータを出力してもよい。出力部２４０は、例えば、生成した価値関数および方策関数をコンテナ積載計画装置１００に送信して、記憶部２０に記憶させてもよい。この場合、積載位置決定部３０は、出力されたパラメータを適用したモデルを用いて対象コンテナの積載位置を決定すればよい。

【0094】

このとき、出力部２４０は、予め定めたタイミング（例えば、１日に１回、業務開始前など）で生成された価値関数および方策関数をコンテナ積載計画装置１００に送信して、これらの関数の内容（パラメータ）を更新させてもよい。

【0095】

入力部２１０と、学習器２２０と、出力部２４０とは、プログラム（学習プログラム）に従って動作するコンピュータのプロセッサによって実現される。

【0096】

次に、本実施形態のコンテナ積載管理システムの動作を説明する。

【0097】

まず初めに、実際のコンテナ積載の場面において、コンテナ積載管理システム１が作業者等により利用される場合の動作を説明する。図１０は、本実施形態のコンテナ積載管理システム１の動作例を示す説明図である。

【0098】

管理装置３００の積載コンテナ情報入力部３２０は、対象コンテナの情報の入力を受け付ける（ステップＳ１０１）。問い合わせ部３３０は、現在の積載状態および入力された対象コンテナの情報をコンテナ積載計画装置１００に送信して、対象コンテナの積載位置を問い合わせる（ステップＳ１０２）。

【0099】

コンテナ積載計画装置１００の入力部１０は、管理装置３００から、積載状態および入力された対象コンテナの情報の入力を受け付ける（ステップＳ１０３）。積載位置決定部３０は、現在の積載状態から、対象コンテナの積載位置を決定する（ステップＳ１０４）。そして、出力部４０は、決定されたコンテナの積載位置を管理装置３００に対して出力する（ステップＳ１０５）。なお、出力部４０は、決定したコンテナの積載位置に対する評価値を併せて管理装置３００に対して出力してもよい。

【0100】

管理装置３００の積載位置入力部３４０は、管理装置３００からコンテナの積載位置の入力を受け付ける（ステップＳ１０６）。なお、検証部３５０が、受け付けたコンテナの積載位置の妥当性を検証してもよい。評価部３６０は、その積載位置に対象コンテナを積載した場合の評価値を出力する（ステップＳ１０７）。そして、出力部３８０は、対象コンテナの積載に対応させて時系列に評価値を出力する（ステップＳ１０８）。

【0101】

図１１は、コンテナの積載状態を可視化した画面の例を示す説明図である。図１１に例示する領域Ｒ１は、現在の列車の積載状況（より具体的には、出発時の積載状態）を示す画面であり、主に作業者および管理者が参照する画面である。また、領域Ｒ１の上部の領域Ｒ２には、次に到着する予定のコンテナ（すなわち、対象コンテナ）の情報を表示している。

【0102】

そして、領域Ｒ３は、対象コンテナの積載に対応させて時系列に評価値を出力する画面であり、主に管理者が参照する画面である。出力部４０は、図１１に例示するように、対象コンテナの積載に対応させて評価値を時系列に累積させて出力してもよい。なお、図１１に示す例では、コンテナをモノクロ２値で記載しているが、各コンテナが種類ごとに異なる色で表示されていてもよい。

【0103】

次に、コンテナ積載の運用時に、コンテナ積載管理システム１がモデルを学習する場合の動作を説明する。図１２は、本実施形態のコンテナ積載管理システム１の他の動作例を示す説明図である。なお、管理装置３００が、受け付けた対象コンテナの情報および積載状態をコンテナ積載計画装置１００に送信してコンテナの積載位置の入力を受け付けるまでの処理は、図１０におけるステップＳ１０１からステップＳ１０６までの処理と同様である。なお、検証部３５０が、受け付けたコンテナの積載位置の妥当性を検証する図１０のステップＳ１０７の処理を行ってもよい。

【0104】

評価部３６０は、コンテナの積載位置に対する評価値を出力する（ステップＳ２０１）。出力部３８０は、状態ｓ_ｔ（すなわち、積載状態および対象コンテナの情報）と、受信した対象コンテナの積載位置ａ_ｔと、評価値とを組み合わせた学習データを生成する（ステップＳ２０２）。そして、出力部３８０は、生成した学習データを、サーバ２００に送信する（ステップＳ２０３）。

【0105】

サーバ２００の入力部２１０は、学習データの入力を受け付ける（ステップＳ２０４）。学習器２２０は、受け付けた学習データを用いた機械学習により、価値関数および方策関数を学習する（ステップＳ２０５）。出力部２４０は、生成した価値関数および方策関数をコンテナ積載計画装置１００に対して出力する（ステップＳ２０６）。

【0106】

コンテナ積載計画装置１００は、サーバ２００から送信された価値関数および方策関数で既存の価値関数および方策関数を更新する（ステップＳ２０７）。以降、更新された価値関数および方策関数を用いて、対象コンテナの積載位置の決定が行われる。

【0107】

以上のように、本実施形態では、管理装置３００の積載コンテナ情報入力部３２０が、対象コンテナの情報の入力を受け付け、問い合わせ部３３０が、現在の積載状態および対象コンテナの情報を、コンテナ積載計画装置１００に送信して、対象コンテナの積載位置を問い合わせる。コンテナ積載計画装置１００の積載位置決定部３０は、受信した積載状態から対象コンテナの積載位置を決定すると、管理装置３００の評価部３６０が、決定された積載位置に対象コンテナを積載した場合の評価値を出力する。そして、出力部３８０は、積載状態および対象コンテナの情報、対象コンテナの積載位置、並びに、評価値を組み合わせた学習データを生成して出力する。サーバ２００の学習器２２０は、その学習データを用いた機械学習により、モデルを学習し、出力部２４０が、学習されたモデルを出力する。そして、コンテナ積載計画装置１００の積載位置決定部３０は、出力されたモデルを用いて対象コンテナの積載位置を決定する。

【0108】

よって、技術者の負荷を抑制しつつ、積載位置を決定するためのモデルの精度を維持できる。

【0109】

また、本実施形態では、管理装置３００の積載コンテナ情報入力部３２０が、対象コンテナの情報の入力を受け付け、問い合わせ部３３０が、現在の積載状態および対象コンテナの情報を、コンテナ積載計画装置１００に送信して、対象コンテナの積載位置を問い合わせる。そして、評価部３６０が、コンテナ積載計画装置１００から受信した積載位置に対象コンテナを積載した場合の評価値を出力し、出力部３８０が、対象コンテナの積載に対応させて時系列に評価値を出力する。

【0110】

よって、作業者の熟練度合いに関わらず、コンテナの積載位置を適切に決定することができ、かつ、決定された積載位置の評価を逐次把握することができる。

【0111】

次に、本発明の概要を説明する。図１３は、本発明によるコンテナ積載管理システムの概要を示すブロック図である。本発明によるコンテナ積載管理システム６０（例えば、コンテナ積載管理システム１）は、積載するコンテナを管理するコンテナ管理装置７０（例えば、管理装置３００）と、問い合わせに応じてコンテナの積載位置を返信するコンテナ積載計画装置８０（例えば、コンテナ積載計画装置１００）と、コンテナ積載計画装置８０がコンテナの積載位置を決定する際に用いるモデルを学習する学習装置９０（例えば、サーバ２００）とを備えている。

【0112】

コンテナ管理装置７０は、次に積載するコンテナである対象コンテナの情報の入力を受け付ける積載コンテナ情報入力手段７１（例えば、積載コンテナ情報入力部３２０）と、現在の積載状態および対象コンテナの情報を、コンテナ積載計画装置８０に送信して、その対象コンテナの積載位置を問い合わせる問い合わせ手段７２（例えば、問い合わせ部３３０）と、コンテナ積載計画装置８０から受信した積載位置に対象コンテナを積載した場合の評価値を出力する評価手段７３（例えば、評価部３６０）と、積載状態および対象コンテナの情報、対象コンテナの積載位置、並びに、評価値を含むデータを学習データとして出力する出力手段７４（例えば、出力部３８０）とを含む。

【0113】

学習装置９０は、出力された学習データを用いた機械学習により、モデルを学習する学習手段９１（例えば、学習器２２０）と、学習されたモデルを出力するモデル出力手段９２（例えば、出力部２４０）とを含む。

【0114】

コンテナ積載計画装置８０は、コンテナ管理装置７０から受信した積載状態に基づいて、対象コンテナの積載位置を決定する積載位置決定手段８１（例えば、積載位置決定部３０）を含む。そして、積載位置決定手段８１は、出力されたモデルを用いて対象コンテナの積載位置を決定する。

【0115】

そのような構成により、技術者の負荷を抑制しつつ、積載位置を決定するためのモデルの精度を維持できる。

【0116】

具体的には、学習装置９０の学習手段９１は、出力された学習データを用いて深層学習によりモデル（例えば、図９に例示する深層学習モデル）を学習し、モデル出力手段９２は、学習されたモデルのパラメータを出力してもよい。そして、積載位置決定手段８１は、出力されたパラメータを適用したモデルを用いて対象コンテナの積載位置を決定してもよい。

【0117】

また、コンテナ管理装置７０は、コンテナ積載計画装置から受信したコンテナの積載位置の妥当性を検証する検証手段（例えば、検証部３５０）を含んでいてもよい。そして、評価手段７３は、妥当性の検証結果が妥当であるほど高くするように評価値を算出してもよい。

【0118】

また、コンテナ積載計画装置８０は、コンテナ到着予測の入力を受け付ける入力手段（例えば、入力部１０）と、決定された対象コンテナの積載位置を、コンテナ管理装置７０に対して出力する積載位置出力手段（例えば、出力部４０）とを含んでいてもよい。そして、積載位置決定手段８１は、過去の積載実績または積載計画に基づいて学習された、貨車の積載状態に対して想定されるコンテナの積載位置の選択確率を算出する方策関数（例えば、π（ａ_ｔ｜ｓ_ｔ））および貨車の積載状態に対する価値を算出する価値関数（例えば、Ｖ_θ（ｓ_ｔ））に基づいて、対象コンテナの積載位置を決定し、価値関数が、コンテナ到着予測に基づいて算出されてもよい。

【0119】

そのような構成により、効率的なコンテナの積載位置をリアルタイムに計画できる。したがって、学習データもリアルタイムに生成することができるため、業務の運用時に並行して学習処理を行うことも可能になる。

【0120】

具体的には、積載位置決定手段８１は、ノードがコンテナの積載位置に対応するモンテカルロ木探索（例えば、図３から図６に例示するモンテカルロ木探索）により、価値関数と方策関数とを含むノードの選択基準（例えば、上記式２）の値を最大にするコンテナの積載位置を、コンテナ到着予測が示すコンテナの到着順に複数回試行して、対象コンテナの積載位置を決定してもよい。

【0121】

図１４は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、プロセッサ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４を備える。

【0122】

上述のコンテナ積載管理システムの各装置は、コンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置１００３に記憶されている。プロセッサ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。

【0123】

なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read-only memory ）、ＤＶＤ－ＲＯＭ（Read-only memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行してもよい。

【0124】

また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0125】

１ コンテナ積載管理システム
１０ 入力部
２０ 記憶部
３０ 積載位置決定部
４０ 出力部
１００ コンテナ積載計画装置
２００ サーバ
２１０ 入力部
２２０ 学習器
２３０ 記憶部
２４０ 出力部
３００ 管理装置
３１０ 記憶部
３２０ 積載コンテナ情報入力部
３３０ 問い合わせ部
３４０ 積載位置入力部
３５０ 検証部
３６０ 評価部
３７０ コンテナ予測部
３８０ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】