特許 7468883 輸送計画作成装置、輸送計画作成方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】輸送計画作成装置、輸送計画作成方法、プログラム

(51)【国際特許分類】

   G06Q 10/083 20240101AFI20240409BHJP

   B65G 61/00 20060101ALI20240409BHJP

【ＦＩ】

G06Q10/083

B65G61/00 530

【請求項の数】 5

(21)【出願番号】P 2019202557

(22)【出願日】2019-11-07

(65)【公開番号】P2021077027

(43)【公開日】2021-05-20

【審査請求日】2022-10-11

(73)【特許権者】

【識別番号】000232221

【氏名又は名称】日本電気航空宇宙システム株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100134544

【弁理士】

【氏名又は名称】森 隆一郎

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】大西 宏典

(72)【発明者】

【氏名】佐々木 一

【審査官】小原 正信

(56)【参考文献】

【文献】特開平０７－２３４９９７（ＪＰ，Ａ）

【文献】特開２０１９－１２４９９０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０１８５０８７（ＵＳ，Ａ１）

【文献】特開２０１９－０３４８３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｂ６５Ｇ ６１／００

(57)【特許請求の範囲】

【請求項1】

発地から着地まで輸送する輸送対象物に関する輸送情報に基づいて、輸送装置に対する積荷行動または前記輸送装置からの積荷の荷下ろし行動または前記輸送装置の移動の何れかを示す前記輸送装置の輸送行動の組み合わせを抽出し、
前記輸送行動の組み合わせそれぞれに対する、前記輸送対象物を保管する拠点における当該輸送対象物の属性および当該拠点の施設において当該輸送対象物が占有する容積の情報を含む拠点保管情報と、前記輸送装置の現在位置、積載容量、現時点で既に定められている輸送計画を含む輸送現況情報を更新して、前記輸送行動の組み合わせそれぞれに対する状態行動価値を算出し、算出した状態行動価値をもとに輸送行動の組み合わせを１つ選択し、当該選択した輸送行動の組み合わせを行った場合の状態変化と得られる報酬に基づいて、状態行動価値関数を更新する
輸送計画作成装置。

【請求項2】

前記状態行動価値関数と新たな輸送情報とに基づいて、前記輸送行動を含む輸送計画情報を作成する
請求項１に記載の輸送計画作成装置。

【請求項3】

選択した輸送行動の組み合わせを行った場合の状態変化と得られる報酬に基づいて、報酬が大きく算出できる状態行動価値関数に更新する
請求項１または請求項２に記載の輸送計画作成装置。

【請求項4】

輸送計画作成装置は、
発地から着地まで輸送する輸送対象物に関する輸送情報に基づいて、輸送装置に対する積荷行動または前記輸送装置からの積荷の荷下ろし行動または前記輸送装置の移動の何れかを示す前記輸送装置の輸送行動の組み合わせを抽出し、
前記輸送行動の組み合わせそれぞれに対する、前記輸送対象物を保管する拠点における当該輸送対象物の属性および当該拠点の施設において当該輸送対象物が占有する容積の情報を含む拠点保管情報と、前記輸送装置の現在位置、積載容量、現時点で既に定められている輸送計画を含む輸送現況情報を更新して、前記輸送行動の組み合わせそれぞれに対する状態行動価値を算出し、算出した状態行動価値をもとに輸送行動の組み合わせを１つ選択し、当該選択した輸送行動の組み合わせを行った場合の状態変化と得られる報酬に基づいて、状態行動価値関数を更新する
輸送計画作成方法。

【請求項5】

輸送計画作成装置のコンピュータに、
発地から着地まで輸送する輸送対象物に関する輸送情報に基づいて、輸送装置に対する積荷行動または前記輸送装置からの積荷の荷下ろし行動または前記輸送装置の移動の何れかを示す前記輸送装置の輸送行動の組み合わせを抽出する手段と、
前記輸送行動の組み合わせそれぞれに対する、前記輸送対象物を保管する拠点における当該輸送対象物の属性および当該拠点の施設において当該輸送対象物が占有する容積の情報を含む拠点保管情報と、前記輸送装置の現在位置、積載容量、現時点で既に定められている輸送計画を含む輸送現況情報を更新して、前記輸送行動の組み合わせそれぞれに対する状態行動価値を算出し、算出した状態行動価値をもとに輸送行動の組み合わせを１つ選択し、当該選択した輸送行動の組み合わせを行った場合の状態変化と得られる報酬に基づいて、状態行動価値関数を更新する手段と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、輸送計画作成装置、輸送計画作成方法、プログラムに関する。

【背景技術】

【0002】

物流業界等において輸送対象物の輸送計画を効率よく行うことが求められている。特許文献１には輸送計画を作成する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－１３６４２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで輸送計画の作成には時間や労力がかかり、また輸送業者の報酬が大きくなるよう考慮した輸送計画の作成が求められている。

【0005】

そこでこの発明は、上述の課題を解決する輸送計画作成装置、輸送計画作成方法、プログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の第１の態様によれば、輸送計画作成装置は、発地から着地まで輸送する輸送対象物に関する輸送情報に基づいて、輸送装置に対する積荷行動または前記輸送装置からの積荷の荷下ろし行動または前記輸送装置の移動の何れかを示す前記輸送装置の輸送行動の組み合わせを抽出し、前記輸送行動の組み合わせそれぞれに対する状態行動価値を算出し、算出した状態行動価値をもとに輸送行動の組み合わせを１つ選択し、当該選択した輸送行動の組み合わせを行った場合の状態変化と得られる報酬に基づいて、状態行動価値関数を更新することを特徴とする。

【0007】

本発明の第２の態様によれば、輸送計画作成方法は、輸送計画作成装置が、発地から着地まで輸送する輸送対象物に関する輸送情報に基づいて、輸送装置に対する積荷行動または前記輸送装置からの積荷の荷下ろし行動または前記輸送装置の移動の何れかを示す前記輸送装置の輸送行動の組み合わせを抽出し、前記輸送行動の組み合わせそれぞれに対する状態行動価値を算出し、算出した状態行動価値をもとに輸送行動の組み合わせを１つ選択し、当該選択した輸送行動の組み合わせを行った場合の状態変化と得られる報酬に基づいて、状態行動価値関数を更新することを特徴とする。

【0008】

本発明の第３の態様によれば、プログラムは、輸送計画作成装置のコンピュータに、発地から着地まで輸送する輸送対象物に関する輸送情報に基づいて、輸送装置に対する積荷行動または前記輸送装置からの積荷の荷下ろし行動または前記輸送装置の移動の何れかを示す前記輸送装置の輸送行動の組み合わせを抽出する手段と、前記輸送行動の組み合わせそれぞれに対する状態行動価値を算出し、算出した状態行動価値をもとに輸送行動の組み合わせを１つ選択し、当該選択した輸送行動の組み合わせを行った場合の状態変化と得られる報酬に基づいて、状態行動価値関数を更新する手段と、を実行させることを特徴とする。

【発明の効果】

【0009】

本発明によれば、輸送業者の報酬が大きくなるよう考慮した輸送対象物の輸送計画を自動で作成することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態による輸送計画作成システムの概略構成図である。

【図2】本発明の一実施形態による輸送計画作成装置のハードウェア構成図である。

【図3】本発明の一実施形態による輸送計画作成装置の機能ブロック図である。

【図4】本発明の一実施形態による輸送計画作成装置の処理フローを示す第一の図である。

【図5】本発明の一実施形態による輸送計画作成装置の処理フローを示す第二の図である。

【図6】本発明の一実施形態による輸送計画作成装置の最小構成を示す図である。

【図7】本発明の一実施形態による最小構成による輸送計画作成装置の処理フローを示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態による輸送計画作成装置を図面を参照して説明する。
図１は本実施形態による輸送計画作成装置を含む輸送計画作成システムの概略構成図である。
図１で示すように、輸送計画作成システム１００は、輸送計画作成装置１、輸送拠点に設けられた拠点端末３００、輸送装置（トラックなどの車両、船舶、鉄道車両、輸送航空機、貨物船など）の情報を記憶する輸送装置端末４００を含んで構成される。輸送計画作成装置１と拠点端末３００、輸送計画作成装置１と輸送装置端末４００とはそれぞれ有線ネットワークや無線ネットワーク等の通信ネットワーク５００を介して通信接続している。

【0012】

図２は輸送計画作成装置のハードウェア構成図である。
図２で示すように、輸送計画作成装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、インタフェース１０５（入力装置、出力装置など）、通信モジュール１０６等の各ハードウェア構成を一例として備える。

【0013】

図３は輸送計画作成装置の機能ブロック図である。
輸送計画作成装置１のＣＰＵ１０１は、予め輸送計画作成装置１に記録されている輸送計画作成プログラムを実行する。これにより輸送計画作成装置１は、マスタデータ管理部１１０、現況管理部１２０、輸送要求管理部１３０、輸送実績管理部１４０、表示部１５０、強化学習部１６０、報酬関数管理部１７０、輸送計画管理部１８０の各機能を発揮する。

【0014】

図４は輸送計画作成装置の処理フローを示す第一の図である。
次に輸送計画作成装置１の処理フローについて順を追って説明する。
輸送計画作成装置１には、輸送計画作成の対象期間ｄ（日）における時刻ｔ（０≦ｔ≦Ｔ）ごとの離散的時刻集合情報｛０、１、・・・、ｔ、・・・、Ｔ｝と、学習試行回数Ｎとが与えられて記録される。例えば離散的時刻集合情報は、対象期間ｄがｄ＝２（日）、離散的時刻集合情報が示す集合で表される各時刻ｔが１時間間隔で更新される値である場合、離散的時刻集合情報｛０、１、・・・、ｔ、・・・、Ｔ｝はＴ＝４８となる。また離散的時刻集合情報は、対象期間ｄがｄ＝２（日）、各時刻ｔが３０分間隔で更新される値である場合、離散的時刻集合情報｛０、１、・・・、Ｔ｝はＴ＝９６となる。

【0015】

ここで、輸送計画作成装置１のマスタデータ管理部１１０は、拠点端末３００から拠点施設情報、輸送装置情報、利用可能施設情報、輸送装置別経路情報を取得する。拠点施設情報は、拠点端末３００が設置されている輸送拠点の容積（拠点施設が倉庫である場合には、その倉庫の容積（輸送対象物の収容可能量））や、輸送において当該拠点の使用可否を含む情報である。輸送装置情報は、輸送装置（トラック等の車両、鉄道車両、輸送機及び貨物船等）の諸元を含む情報である。利用可能施設情報は、輸送装置の識別情報と当該輸送装置が利用可能な施設の識別情報とを関係づけた情報を保持し、複数の輸送装置に関してそれらの関係を含んでいる。利用可能施設情報により、どの輸送装置がどの施設（港湾、空港、配送の拠点など）が利用可能かを把握することができる。輸送装置別経路情報は、拠点端末３００が設置されている輸送拠点を利用する輸送装置が当該輸送拠点から他の輸送拠点まで移動する際の経路情報を、輸送装置ごとに示す情報である。

【0016】

また現況管理部１２０は、拠点端末３００から拠点保管現況情報を取得する。拠点保管情報は、輸送拠点において保管している貨物などの輸送対象物の属性情報、当該輸送対象物が輸送拠点の施設を占有している容積などの情報を含む。また現況管理部１２０は、輸送装置端末４００から、当該輸送装置端末４００を搭載した輸送装置の現在位置、積載容量、当該輸送装置について現時点で既に定められている輸送計画（発地、着地、輸送日時、重量、容積率などを含む情報）などを含む輸送現況情報を取得する。現況管理部１２０は、これら拠点保管現況情報、輸送現況情報などを記憶する。

【0017】

輸送要求管理部１３０は、拠点端末３００または輸送装置端末４００から、新たな輸送対象物の発地、着地、輸送日時、重量、容積、輸送完了時に得られる予定収入などの情報を含む輸送情報を取得する。輸送要求管理部１３０は新たな輸送対象物に関する輸送情報をデータベース１０４等に記録する。

【0018】

輸送実績管理部１４０は、拠点端末３００または輸送装置端末４００から輸送計画情報に従って輸送装置が輸送した結果を示す輸送実績情報を取得する。輸送実績情報には、発地、着地、輸送完了日時、重量、容積率などの情報が含まれてよい。輸送実績管理部１４０はこれら輸送実績情報を記憶する。

【0019】

報酬関数管理部１７０は、マスタデータ管理部１１０、現況管理部１２０、輸送要求管理部１３０、強化学習部１６０、輸送計画管理部１８０、輸送実績管理部１４０から必要な情報を取得し、強化学習時に使用する報酬を算出するための報酬関数を算出し、更新する。

【0020】

このように各機能部が上述の各情報を取得した状態において、強化学習部１６０は、処理の開始の指示を入力する。すると強化学習部１６０は、拠点施設情報、輸送装置情報、利用可能施設情報、輸送装置別経路情報を、マスタデータ管理部１１０から取得する（ステップＳ１０１）。また強化学習部１６０は、報酬関数管理部１７０より報酬関数を取得する（ステップＳ１０２）。強化学習部１６０は、離散的時刻集合情報と学習試行回数Ｎとを取得する（ステップＳ１０３）。強化学習部１６０は、試行回数ｎを１と設定する試行回数初期化を行う（ステップＳ１０４）。また強化学習部１６０は、離散的時刻集合情報に含まれる最初の時刻を時刻ｔと設定する時刻初期化を行う（ステップＳ１０５）。強化学習部１６０は試行回数ｎが学習試行回数Ｎ以下かを判定する（ステップＳ１０６）。

【0021】

試行回数ｎが学習試行回数Ｎ以下である場合、強化学習部１６０は、現況管理部１２０から拠点保管現況情報と輸送現況情報とを取得する（ステップＳ１０７）。強化学習部１６０は、現況管理部１２０から取得した拠点保管現況情報と輸送現況情報とを、現在設定されている時刻ｔにおける情報と設定して記憶する。そして強化学習部１６０は、輸送要求管理部１３０から輸送情報を取得する（ステップＳ１０８）。強化学習部１６０は設定した時刻ｔが、離散的時刻集合情報が示す集合の最終時刻Ｔまでの期間以上の時刻（ｔ≦Ｔ）かを判定する（ステップＳ１０９）。

【0022】

強化学習部１６０は設定した現在の時刻ｔが最終時刻Ｔまでの期間内の時刻である場合には、取得した情報に基づいて、各輸送装置が取り得る輸送行動の組み合わせを全て抽出する（ステップＳ１１０）。輸送行動とは、輸送装置に対する積荷行動または前記輸送装置からの前記積荷の荷下ろし行動または前記輸送装置の移動の何れかの輸送装置の状態を示す。

【0023】

例えば、輸送装置としてトラックＡ（積荷なし）とトラックＢ（積荷なし）があり、トラックＡとトラックＢの現在地点が輸送拠点１で、輸送拠点１に輸送対象物ｃと輸送対象物ｄがあり、トラックＡとトラックＢは輸送拠点１から輸送拠点２に移動できる場合を想定する。この場合、トラックＡ、トラックＢの取り得る行動は、輸送拠点１に留まる、輸送拠点２に移動する、輸送対象物ｃを積む、輸送対象物ｄを積む、の４種類となり、トラックＡ、トラックＢの取り得る行動の組み合わせは以下の１４通りとなる。

【0024】

・トラックＡは輸送対象物ｃを積む、トラックＢは輸送拠点１に留まる。
・トラックＡは輸送対象物ｃを積む、トラックＢは輸送拠点２に移動する。
・トラックＡは輸送対象物ｃを積む、トラックＢは輸送対象物ｄを積む。
・トラックＡは輸送対象物ｄを積む、トラックＢは輸送拠点１に留まる。
・トラックＡは輸送対象物ｄを積む、トラックＢは輸送拠点２に移動する。
・トラックＡは輸送対象物ｄを積む、トラックＢは輸送対象物ｃを積む。
・トラックＡは輸送拠点１に留まる、トラックＢは輸送拠点１に留まる。
・トラックＡは輸送拠点１に留まる、トラックＢは輸送拠点２に移動する。
・トラックＡは輸送拠点１に留まる、トラックＢは輸送対象物ｃを積む。
・トラックＡは輸送拠点１に留まる、トラックＢは輸送対象物ｄを積む。
・トラックＡは輸送拠点２に移動する、トラックＢは輸送拠点１に留まる。
・トラックＡは輸送拠点２に移動する、トラックＢは輸送拠点２に移動する。
・トラックＡは輸送拠点２に移動する、トラックＢは輸送対象物ｃを積む。
・トラックＡは輸送拠点２に移動する、トラックＢは輸送対象物ｄを積む。
なお、トラックＡとトラックＢが共に輸送対象物ｃを積む行動の組み合わせと、トラックＡとトラックＢが共に輸送対象物ｄを積む行動の組み合わせは、実現不可能な組み合わせのため、除外とする。

【0025】

次に、強化学習部１６０は、各輸送装置が取り得る輸送行動の組み合わせ１つ１つに対する状態行動価値を算出する（ステップＳ１１１）。強化学習部１６０は、各輸送装置が取り得る輸送行動の組み合わせ１つ１つに対する状態行動価値に基づいて、各輸送装置が取り得る輸送行動の組み合わせから１つを選択する（ステップＳ１１２）。強化学習部１６０は、選択した各輸送装置が取り得る輸送行動の組み合わせに基づく行動が行われた場合の、拠点保管現況情報、輸送現況情報を更新し、その行動によって得られる報酬を算出する（ステップＳ１１３）。例えば強化学習部１６０は、報酬関数管理部１７０から報酬関数を取得し、当該報酬関数を用いて、選択した各輸送装置が取り得る輸送行動の組み合わせに基づく行動によって得られる報酬を算出する。報酬関数は、一例としては、貨物を輸送先である着地に届けた場合の予定収入を加算し、輸送装置が移動する際に輸送コストを減算する関数である。

【0026】

強化学習部１６０は、選択した各輸送装置が取り得る輸送行動の組み合わせに基づく行動と、その行動を行った場合の拠点保管現況情報と、輸送現況情報と、報酬との関係と、過去のそれらの関係とに基づいて、状態行動価値関数を更新する（ステップＳ１１４）。状態行動価値関数は、拠点保管現況情報と、輸送現況情報と、選択した各輸送装置が取り得る輸送行動の組み合わせに基づく行動と、報酬との関係に基づいて、選択した各輸送装置が取り得る輸送行動の組み合わせに基づく行動と、それによる拠点保管現況情報と輸送現況情報とが示す現況情報との関係の良さの度合いを算出する関数である。なお、最終時刻Ｔ時点の総報酬が大きいほど、選択した各輸送装置が取り得る輸送行動の組み合わせに基づく行動と現況情報との関係の良さの度合いが高いと言うことができる。

【0027】

このような処理により、強化学習部１６０は、輸送計画作成対象期間Ｔにおいて、選択した各輸送装置が取り得る輸送行動の組み合わせに基づく行動と、それによる拠点保管現況情報と輸送現況情報とが示す現況情報との関係の良さの度合いを示す状態行動価値関数を学習する。

【0028】

強化学習部１６０は時刻ｔが示す時間の間に上述のステップＳ１１０～ステップＳ１１４の処理を１回行う。そして強化学習部１６０は、時刻ｔに１を加算する（ステップＳ１１５）。その後、強化学習部１６０は、ステップＳ１０９からの処理を繰り返す。

【0029】

ステップＳ１０９において強化学習部１６０は、設定した時刻ｔが、離散的時刻集合情報が示す集合の最終時刻Ｔまでの期間（ｔ≦Ｔ）以上である場合（ｔ＞Ｔ）、試行回数ｎに１を加算する（ステップＳ１１６）。そして強化学習部１６０は時刻初期化を行ってｔ＝０と設定し、ステップＳ１０５からの処理を繰り返す。

【0030】

強化学習部１６０は、学習試行回数Ｎ以下かを判定するステップＳ１０６の判定をｎ＞Ｎとなるまで行う。強化学習部１６０は試行回数ｎ＞学習試行回数Ｎとなるまで、ステップＳ１０６以降の処理を繰り返す。強化学習部１６０は、試行回数ｎ＞学習試行回数Ｎとなった場合には、最終的に更新された状態行動価値関数を学習結果として記憶する（ステップＳ１１７）。

【0031】

なお強化学習部１６０は、強化学習として、試行錯誤を通じて「価値を最大化するような行動」を学習する。ここで、強化学習の例としては、Ｑ学習がある。これは、ある状態ｓで行動ａを選択したときの価値Ｑ（ｓ，ａ）を学習する方法である。ある状態ｓのとき、Ｑ（ｓ，ａ）が最も高いａを最適な行動として選択すればよいが、最初は正しいＱ（ｓ，ａ）の値はわからないため、強化学習部１６０は、ランダムな値を設定しておき、実際に行動をシミュレーションしながら正しいＱ（ｓ，ａ）を学習する。ここで、状態行動価値関数Ｑ（ｓ，ａ）の一般的な更新式は以下の式（１）のように表すことができる。

【0032】

【数1】

【0033】

ここで、αは学習率、γは割引率という定数である。またｒ＋１は、状態がｓｔからｓｔ＋１に遷移したときに得た報酬(即時報酬)である。この更新式（１）により、ある状態ｓにおける行動ａの評価値Ｑ（ｓ_ｔ，ａ_ｔ）よりも、行動ａによる次の状態ｓ_ｔ＋１における最良の行動の評価値Ｑ（ｓ_ｔ＋１，ｍａｘ＿ａ_ｔ＋１）のほうが大きければ、Ｑ（ｓ_ｔ，ａ_ｔ）を大きくし、逆に小さければ、Ｑ（ｓ_ｔ，ａ_ｔ）も小さくなる。このため、ある状態におけるある行動の価値を、次の状態における最良の行動の価値に近づけることになる。本実施形態においては、各現況情報が状態ｓを表しており、輸送装置（トラック等）が複数あるため、各輸送装置の取り得る行動の組み合わせを１つの行動ａとして扱う。

【0034】

輸送計画作成装置１は、状態行動価値関数を用いて輸送計画情報を作成する（ステップＳ１１８）。

【0035】

図５は輸送計画作成装置の処理フローを示す第二の図である。
上述のステップＳ１１８の処理は、具体的には、輸送計画作成装置１の輸送計画管理部１８０が、時刻を初期化する（ステップＳ２０１）。輸送計画管理部１８０は、現況管理部１２０から拠点保管現況情報と輸送現況情報とを取得する（ステップＳ２０２）。輸送計画管理部１８０は、現況管理部１２０から取得した拠点保管現況情報と輸送現況情報とを、現在設定されている時刻ｔにおける情報と設定して記憶する。そして輸送計画管理部１８０は、輸送要求管理部１３０から輸送情報を取得する（ステップＳ２０３）。輸送計画管理部１８０は、設定した時刻ｔが、離散的時刻集合情報が示す集合の最終時刻Ｔまでの期間以上の時刻（ｔ≦Ｔ）かを判定する（ステップＳ２０４）。輸送計画管理部１８０は、ｔ≦Ｔと判定した場合、各輸送装置が取り得る輸送行動の組み合わせを全て抽出する（ステップＳ２０５）。次に、輸送計画管理部１８０は、各輸送装置が取り得る輸送行動の組み合わせ１つ１つに対する状態行動価値を算出する（ステップＳ２０６）。輸送計画管理部１８０は、各輸送装置が取り得る輸送行動の組み合わせ１つ１つに対する状態行動価値に基づいて、各輸送装置が取り得る輸送行動の組み合わせから状態行動価値が最も大きい輸送行動の組み合わせを選択する（ステップＳ２０７）。輸送計画管理部１８０は、選択した輸送行動の組み合わせに基づく行動が行われた場合の、拠点保管現況情報、輸送現況情報を更新し、その行動によって得られる報酬を算出する（ステップＳ２０８）。

【0036】

輸送計画管理部１８０は、時刻ｔに１を加算する（ステップＳ２０９）。その後、輸送計画管理部１８０は、ステップＳ２０４からの処理を繰り返す指示を行う。輸送計画管理部１８０は、ステップＳ２０４においてｔ＞Ｔと判定した場合、選択してきた輸送行動の組み合わせを元に、輸送計画情報を作成する。輸送計画管理部１８０は作成した輸送計画情報を、拠点端末３００や輸送装置端末４００へ送信する（ステップＳ２１０）。輸送計画情報は、例えば、輸送装置Ａが輸送拠点１で輸送対象物ｃを積み、輸送拠点２に届ける（輸送拠点２で下ろす）といった情報である。輸送装置は、輸送計画情報に基づいて、輸送を行う。

【0037】

上述の輸送計画作成装置１の処理によれば、輸送業者の報酬が大きくなるよう考慮した輸送対象物の輸送計画を自動で作成することができる。

【0038】

なお上述の処理において、拠点端末３００や輸送装置端末４００は、輸送実績に関する情報を輸送実績管理部１４０に送信する。輸送実績管理部１４０は、輸送実績情報をデータベース１０４に記録する。そして、報酬関数管理部１７０は、マスタデータ管理部１１０、現況管理部１２０、輸送要求管理部１３０、強化学習部１６０、輸送計画管理部１８０及び輸送実績管理部１４０等の各機能部が取得した情報を取得する。報酬関数管理部１７０は取得した情報と報酬との関係に基づいて、報酬を算出する報酬関数を機械学習により算出する。そして報酬関数管理部１７０は新たな報酬関数を算出した場合、報酬関数を更新する。

【0039】

図６は輸送計画作成装置の最小構成を示す図である。
図７は最小構成による輸送計画作成装置の処理フローを示す図である。
輸送計画作成装置１は、少なくも強化学習部１６０を備える。
強化学習部１６０は、発地から着地まで輸送する輸送対象物に関する輸送情報に基づいて、輸送装置に対する積荷行動または輸送装置からの積荷の荷下ろし行動または輸送装置の移動の何れかを示す輸送装置の輸送行動の組み合わせを抽出する（ステップＳ３０１）。
また強化学習部１６０は、輸送行動の組み合わせそれぞれに対する状態行動価値を算出し、算出した状態行動価値をもとに輸送行動の組み合わせを１つ選択し、当該選択した輸送行動の組み合わせを行った場合の状態変化と得られる報酬に基づいて、状態行動価値関数を更新する（ステップＳ３０２）。

【0040】

上述の輸送計画作成装置１は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

【0041】

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0042】

１・・・輸送計画作成装置
３００・・・拠点端末
４００・・・輸送装置端末
５００・・・通信ネットワーク
１１０・・・マスタデータ管理部
１２０・・・現況管理部
１３０・・・輸送要求管理部
１４０・・・輸送実績管理部
１５０・・・表示部
１６０・・・強化学習部
１７０・・・報酬関数管理部
１８０・・・輸送計画管理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】