知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-31
(45)【発行日】2024-11-11
(54)【発明の名称】割当結果決定装置及び割当結果決定方法
(51)【国際特許分類】
G08G 1/123 20060101AFI20241101BHJP
G08G 1/00 20060101ALI20241101BHJP
G08G 9/00 20060101ALI20241101BHJP
【ＦＩ】
G08G1/123 A
G08G1/00 D
G08G9/00 A
【請求項の数】
4
(21)【出願番号】P 2024515821
(86)(22)【出願日】2022-05-12
(86)【国際出願番号】 JP2022020003
(87)【国際公開番号】W WO2023218583
(87)【国際公開日】2023-11-16
【審査請求日】2024-03-12
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】大西 直
(72)【発明者】
【氏名】芳川 昇之
【審査官】田中 将一
(56)【参考文献】
【文献】特開２０１７－１９９１９３（ＪＰ，Ａ）
【文献】特表２０２０－５３１９９３（ＪＰ，Ａ）
【文献】特開２０２０－１８４０９４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００ － ９９／００
(57)【特許請求の範囲】
【請求項1】
複数の割当対象物に対する割り当て順序を示す割当結果として、第１の時刻のときに決定された第１の割当結果と、前記第１の時刻よりも後の時刻である第２の時刻のときに決定された第２の割当結果とを取得し、割当結果を前記第１の割当結果から前記第２の割当結果に変更した場合のコストの増加量である変更コストを算出する変更コスト算出部と、前記第１の割当結果及び前記第２の割当結果のそれぞれを報酬値予測用の学習モデルに与えて、前記学習モデルから、前記第１の割当結果の良否の程度を示す第１の報酬値と前記第２の割当結果の良否の程度を示す第２の報酬値とを取得し、前記第２の報酬値から前記第１の報酬値を減算することで、前記第１の報酬値と前記第２の報酬値との報酬値差分を予測する報酬値差分予測部と、
前記報酬値差分予測部により予測された報酬値差分が０よりも大きく、かつ、前記変更コスト算出部により算出された変更コストがコスト閾値以下であれば、前記第２の割当結果を選択し、前記報酬値差分予測部により予測された報酬値差分が０以下、又は、前記変更コスト算出部により算出された変更コストが前記コスト閾値よりも大きければ、前記第１の割当結果を選択する割当結果選択部と、
前記第１の割当結果を報酬関数に与えて前記第１の報酬値を算出し、前記第２の割当結果を前記報酬関数に与えて前記第２の報酬値を算出し、前記第２の報酬値から前記第１の報酬値を減算することで、前記第１の報酬値と前記第２の報酬値との報酬値差分を算出する報酬値差分算出部と、を備え、
前記報酬値差分予測部は、前記予測した報酬値差分と、前記報酬値差分算出部により算出された報酬値差分との差異が小さくなるように、前記学習モデルを更新する
割当結果決定装置。
【請求項2】
複数の割当対象物に対する割り当て順序を示す割当結果として、第１の時刻における前記複数の割当対象物のスケジュール情報を第１の学習モデルに与えて、前記第１の学習モデルから第１の割当結果を取得する第１の割当結果取得部と、前記複数の割当対象物に対する割り当て順序を示す割当結果として、前記第１の時刻よりも後の時刻である第２の時刻における前記複数の割当対象物のスケジュール情報を第２の学習モデルに与えて、前記第２の学習モデルから第２の割当結果を取得する第２の割当結果取得部と、
前記第１の割当結果取得部から出力される前記第１の割当結果と、前記第２の割当結果取得部から出力される前記第２の割当結果とを取得し、割当結果を前記第１の割当結果から前記第２の割当結果に変更した場合のコストの増加量である変更コストを算出する変更コスト算出部と、
前記変更コスト算出部により算出された変更コストに基づいて、前記第１の割当結果、又は、前記第２の割当結果を選択する割当結果選択部と、
前記割当結果選択部により選択された割当結果に割当違反があれば、当該割当違反に対するペナルティ値を算出するペナルティ値算出部と、を備え、
前記ペナルティ値算出部は、前記割当結果選択部により選択された割当結果を目的関数に与えて、前記目的関数の値を算出し、前記目的関数の値である目的関数値を前記ペナルティ値に加算し、
前記第２の割当結果取得部は、前記目的関数値が付加されたペナルティ値が小さくなるように、前記第２の学習モデルを更新する、
割当結果決定装置。
【請求項3】
複数の割当対象物に対する割り当て順序を示す割当結果として、第１の時刻のときに決定された第１の割当結果と、前記第１の時刻よりも後の時刻である第２の時刻のときに決定された第２の割当結果とを取得し、割当結果を前記第１の割当結果から前記第２の割当結果に変更した場合のコストの増加量である変更コストを算出する変更コスト算出部と、前記第１の割当結果及び前記第２の割当結果のそれぞれを報酬値予測用の学習モデルに与えて、前記学習モデルから、前記第１の割当結果の良否の程度を示す第１の報酬値と前記第２の割当結果の良否の程度を示す第２の報酬値とを取得し、前記第２の報酬値から前記第１の報酬値を減算することで、前記第１の報酬値と前記第２の報酬値との報酬値差分を予測する報酬値差分予測部と、
前記報酬値差分予測部により予測された報酬値差分が０よりも大きく、かつ、前記変更コスト算出部により算出された変更コストがコスト閾値以下であれば、前記第２の割当結果を選択し、前記報酬値差分予測部により予測された報酬値差分が０以下、又は、前記変更コスト算出部により算出された変更コストが前記コスト閾値よりも大きければ、前記第１の割当結果を選択する割当結果選択部と、
前記第１の割当結果を報酬関数に与えて前記第１の報酬値を算出し、前記第２の割当結果を前記報酬関数に与えて前記第２の報酬値を算出し、前記第２の報酬値から前記第１の報酬値を減算することで、前記第１の報酬値と前記第２の報酬値との報酬値差分を算出する報酬値差分算出部と、を備える割当結果決定装置の割当結果決定方法であって、
前記報酬値差分予測部が、前記予測した報酬値差分と、前記報酬値差分算出部により算出された報酬値差分との差異が小さくなるように、前記学習モデルを更新する、
割当結果決定方法。
【請求項4】
複数の割当対象物に対する割り当て順序を示す割当結果として、第１の時刻における前記複数の割当対象物のスケジュール情報を第１の学習モデルに与えて、前記第１の学習モデルから第１の割当結果を取得する第１の割当結果取得部と、前記複数の割当対象物に対する割り当て順序を示す割当結果として、前記第１の時刻よりも後の時刻である第２の時刻における前記複数の割当対象物のスケジュール情報を第２の学習モデルに与えて、前記第２の学習モデルから第２の割当結果を取得する第２の割当結果取得部と、
前記第１の割当結果取得部から出力される前記第１の割当結果と、前記第２の割当結果取得部から出力される前記第２の割当結果とを取得し、割当結果を前記第１の割当結果から前記第２の割当結果に変更した場合のコストの増加量である変更コストを算出する変更コスト算出部と、
前記変更コスト算出部により算出された変更コストに基づいて、前記第１の割当結果、又は、前記第２の割当結果を選択する割当結果選択部と、
前記割当結果選択部により選択された割当結果に割当違反があれば、当該割当違反に対するペナルティ値を算出するペナルティ値算出部と、を備える割当結果決定装置の割当結果決定方法であって、
前記ペナルティ値算出部が、前記割当結果選択部により選択された割当結果を目的関数に与えて、前記目的関数の値を算出し、前記目的関数の値である目的関数値を前記ペナルティ値に加算し、
前記第２の割当結果取得部が、前記目的関数値が付加されたペナルティ値が小さくなるように、前記第２の学習モデルを更新する、
割当結果決定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、割当結果決定装置及び割当結果決定方法に関するものである。
【背景技術】
【0002】
複数の割当対象物に対する割り当て順序を決定する装置として、例えば、複数の航空機の着陸順序を決定する着陸順序決定装置がある（例えば、特許文献１を参照）。
当該着陸順序決定装置は、それぞれの航空機が滑走路に到着する到着予定時刻と、それぞれの航空機の機体サイズとに基づいて、複数の航空機の着陸順序を決定するスケジューラを備えている。当該スケジューラは、複数の航空機の着陸順序を決定した後に、例えば、いずれかの航空機の到着予定時刻に変更が生じた場合、複数の航空機の着陸順序を再決定する。
当該着陸順序決定装置は、それぞれの航空機が滑走路に到着する到着予定時刻と、それぞれの航空機の機体サイズとに基づいて、複数の航空機の着陸順序を決定するスケジューラを備えている。当該スケジューラは、複数の航空機の着陸順序を決定した後に、例えば、いずれかの航空機の到着予定時刻に変更が生じた場合、複数の航空機の着陸順序を再決定する。
【先行技術文献】
【特許文献】
【0003】
【文献】特表２００６－５２３８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
複数の航空機の着陸順序を決定した後に、いずれかの航空機の到着予定時刻に変更が生じた場合に、決定した着陸順序を維持するよりも着陸順序を変更した方が、運航コストが低い場合と、着陸順序を変更するよりも着陸順序を維持した方が、運航コストが低い場合とがある。運航コストとしては、例えば、航空機の燃料コストのほか、パイロットの肉体的な負担、又は、パイロットの精神的な負担に係る負担コストがある。
特許文献１に開示されている着陸順序決定装置では、スケジューラが、複数の航空機の着陸順序を決定した後に、いずれかの航空機の到着予定時刻に変更が生じた場合に、複数の航空機の着陸順序を変更することで、運航コストが上昇してしまうことがあるという課題があった。
特許文献１に開示されている着陸順序決定装置では、スケジューラが、複数の航空機の着陸順序を決定した後に、いずれかの航空機の到着予定時刻に変更が生じた場合に、複数の航空機の着陸順序を変更することで、運航コストが上昇してしまうことがあるという課題があった。
【0005】
本開示は、上記のような課題を解決するためになされたもので、複数の割当対象物に対する割り当て順序を示す割当結果として、第１の割当結果が決定された後に、第２の割当結果が決定された場合に、コストに基づいて、第１の割当結果、又は、第２の割当結果を選択することができる割当結果決定装置及び割当結果決定方法を得ることを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る割当結果決定装置は、複数の割当対象物に対する割り当て順序を示す割当結果として、第１の時刻のときに決定された第１の割当結果と、第１の時刻よりも後の時刻である第２の時刻のときに決定された第２の割当結果とを取得し、割当結果を第１の割当結果から第２の割当結果に変更した場合のコストの増加量である変更コストを算出する変更コスト算出部と、第１の割当結果及び第２の割当結果のそれぞれを報酬値予測用の学習モデルに与えて、学習モデルから、第１の割当結果の良否の程度を示す第１の報酬値と第２の割当結果の良否の程度を示す第２の報酬値とを取得し、第２の報酬値から第１の報酬値を減算することで、第１の報酬値と第２の報酬値との報酬値差分を予測する報酬値差分予測部と、報酬値差分予測部により予測された報酬値差分が０よりも大きく、かつ、変更コスト算出部により算出された変更コストがコスト閾値以下であれば、第２の割当結果を選択し、報酬値差分予測部により予測された報酬値差分が０以下、又は、変更コスト算出部により算出された変更コストがコスト閾値よりも大きければ、第１の割当結果を選択する割当結果選択部と、第１の割当結果を報酬関数に与えて第１の報酬値を算出し、第２の割当結果を報酬関数に与えて第２の報酬値を算出し、第２の報酬値から第１の報酬値を減算することで、第１の報酬値と第２の報酬値との報酬値差分を算出する報酬値差分算出部と、を備える。報酬値差分予測部は、予測した報酬値差分と、報酬値差分算出部により算出された報酬値差分との差異が小さくなるように、学習モデルを更新する。
【発明の効果】
【0007】
本開示によれば、複数の割当対象物に対する割り当て順序を示す割当結果として、第１の割当結果が決定された後に、第２の割当結果が決定された場合に、コストに基づいて、第１の割当結果、又は、第２の割当結果を選択することができる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係る割当結果決定装置を示す構成図である。
【図2】実施の形態１に係る割当結果決定装置のハードウェアを示すハードウェア構成図である。
【図3】割当結果決定装置が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
【図4】実施の形態１に係る割当結果決定装置の差分予測処理部６を示す構成図である。
【図5】３台の飛行機の着陸の割り当て順序を示す割当結果の一例を示す説明図である。
【図7】図７Ａは、スケジュール情報Ｓａが第１の割当結果取得部１に与えられたときに、第１の割当結果取得部１により取得される第１の割当結果Ｘａの一例を示す説明図、図７Ｂは、スケジュール情報Ｓｂが第２の割当結果取得部２に与えられたときに、第２の割当結果取得部２により取得される第２の割当結果Ｘｂの一例を示す説明図である。
【図8】変更コスト表の一例を示す説明図である。
【図9】減衰関数ｇ（ｊ）を示す説明図である。
【図10】図１０Ａは、航空機ｊ４の割り当て順序が先頭から数えて４番目から最後尾に変更された場合の差異情報ｄａｂを示す説明図、図１０Ｂは、スケジュール情報Ｓａに含まれていなかった航空機ｊ８が、スケジュール情報Ｓｂに含まれた場合の差異情報ｄａｂを示す説明図である。
【図11】実施の形態２に係る割当結果決定装置を示す構成図である。
【図12】実施の形態２に係る割当結果決定装置のハードウェアを示すハードウェア構成図である。
【図13】実施の形態２に係る割当結果決定装置の報酬値差分算出部８を示す構成図である。
【図14】実施の形態２に係る割当結果決定装置の差分予測処理部１０を示す構成図である。
【図15】実施の形態３に係る割当結果決定装置を示す構成図である。
【図16】実施の形態３に係る割当結果決定装置のハードウェアを示すハードウェア構成図である。
【発明を実施するための形態】
【0009】
以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。
【0010】
実施の形態１．
図１は、実施の形態１に係る割当結果決定装置を示す構成図である。
図２は、実施の形態１に係る割当結果決定装置のハードウェアを示すハードウェア構成図である。
図１に示す割当結果決定装置は、第１の割当結果取得部１、第２の割当結果取得部２、変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７を備えている。
図１に示す割当結果決定装置は、複数の割当対象物に対する割り当て順序を示す割当結果として、例えば、複数の航空機の離着陸の割り当て順序を示す割当結果を決定するものとする。しかし、割当対象物は、航空機に限るものではなく、例えば、荷物、又は、タクシーであってもよい。割当対象物が例えばタクシーであれば、図１に示す割当結果決定装置は、タクシーの配車順序を示す割当結果を決定する。
図１は、実施の形態１に係る割当結果決定装置を示す構成図である。
図２は、実施の形態１に係る割当結果決定装置のハードウェアを示すハードウェア構成図である。
図１に示す割当結果決定装置は、第１の割当結果取得部１、第２の割当結果取得部２、変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７を備えている。
図１に示す割当結果決定装置は、複数の割当対象物に対する割り当て順序を示す割当結果として、例えば、複数の航空機の離着陸の割り当て順序を示す割当結果を決定するものとする。しかし、割当対象物は、航空機に限るものではなく、例えば、荷物、又は、タクシーであってもよい。割当対象物が例えばタクシーであれば、図１に示す割当結果決定装置は、タクシーの配車順序を示す割当結果を決定する。
【0011】
第１の割当結果取得部１は、例えば、図２に示す第１の割当結果取得回路２１によって実現される。
第１の割当結果取得部１は、第１の時刻における複数の割当対象物である航空機のスケジュール情報Ｓａを第１の学習モデル１ａに与えて、第１の学習モデル１ａから第１の割当結果Ｘａを取得する。
第１の割当結果取得部１は、第１の割当結果Ｘａを変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７のそれぞれに出力する。
スケジュール情報Ｓａは、例えば、それぞれの航空機の着陸予定時刻又はそれぞれの航空機の離陸予定時刻と、それぞれの航空機の機体サイズとを示す情報を含んでいる。第１の割当結果Ｘａは、第１の時刻のときに決定された割当結果である。
第１の割当結果取得部１は、第１の時刻における複数の割当対象物である航空機のスケジュール情報Ｓａを第１の学習モデル１ａに与えて、第１の学習モデル１ａから第１の割当結果Ｘａを取得する。
第１の割当結果取得部１は、第１の割当結果Ｘａを変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７のそれぞれに出力する。
スケジュール情報Ｓａは、例えば、それぞれの航空機の着陸予定時刻又はそれぞれの航空機の離陸予定時刻と、それぞれの航空機の機体サイズとを示す情報を含んでいる。第１の割当結果Ｘａは、第１の時刻のときに決定された割当結果である。
【0012】
第１の学習モデル１ａは、学習時において、入力データとして、複数の航空機のスケジュール情報Ｓが与えられ、教師データとして、複数の航空機の離着陸の割り当て順序を示す割当結果Ｘが与えられ、割当結果Ｘを学習している。
第１の学習モデル１ａは、推論時において、複数の航空機のスケジュール情報Ｓａが与えられたとき、スケジュール情報Ｓａに対応する第１の割当結果Ｘａを出力する。
ここでは、第１の学習モデル１ａが、教師あり学習によって学習している。しかし、これは一例に過ぎず、第１の学習モデル１ａは、例えば、教師なし学習、強化学習、又は、数理最適化手法によって学習しているものであってもよい。
第１の学習モデル１ａは、推論時において、複数の航空機のスケジュール情報Ｓａが与えられたとき、スケジュール情報Ｓａに対応する第１の割当結果Ｘａを出力する。
ここでは、第１の学習モデル１ａが、教師あり学習によって学習している。しかし、これは一例に過ぎず、第１の学習モデル１ａは、例えば、教師なし学習、強化学習、又は、数理最適化手法によって学習しているものであってもよい。
【0013】
第２の割当結果取得部２は、例えば、図２に示す第２の割当結果取得回路２２によって実現される。
第２の割当結果取得部２は、第１の時刻よりも後の時刻である第２の時刻における複数の割当対象物である航空機のスケジュール情報Ｓｂを第２の学習モデル２ａに与えて、第２の学習モデル２ａから第２の割当結果Ｘｂを取得する。
スケジュール情報Ｓｂは、例えば、それぞれの航空機の着陸予定時刻又はそれぞれの航空機の離陸予定時刻と、それぞれの航空機の機体サイズとを示す情報を含んでいる。第２の割当結果Ｘｂは、第２の時刻のときに決定された割当結果である。
第２の割当結果取得部２は、第２の割当結果Ｘｂを変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７のそれぞれに出力する。
第２の割当結果取得部２は、第１の時刻よりも後の時刻である第２の時刻における複数の割当対象物である航空機のスケジュール情報Ｓｂを第２の学習モデル２ａに与えて、第２の学習モデル２ａから第２の割当結果Ｘｂを取得する。
スケジュール情報Ｓｂは、例えば、それぞれの航空機の着陸予定時刻又はそれぞれの航空機の離陸予定時刻と、それぞれの航空機の機体サイズとを示す情報を含んでいる。第２の割当結果Ｘｂは、第２の時刻のときに決定された割当結果である。
第２の割当結果取得部２は、第２の割当結果Ｘｂを変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７のそれぞれに出力する。
【0014】
第２の学習モデル２ａは、学習時において、入力データとして、複数の航空機のスケジュール情報Ｓが与えられ、教師データとして、複数の航空機の離着陸の割り当て順序を示す割当結果Ｘが与えられ、割当結果Ｘを学習している。
第２の学習モデル２ａは、推論時において、複数の航空機のスケジュール情報Ｓｂが与えられたとき、スケジュール情報Ｓｂに対応する第２の割当結果Ｘｂを出力する。
ここでは、第２の学習モデル２ａが、教師あり学習によって学習している。しかし、これは一例に過ぎず、第２の学習モデル２ａは、例えば、教師なし学習、強化学習、又は、数理最適化手法によって学習しているものであってもよい。
第２の学習モデル２ａは、推論時において、複数の航空機のスケジュール情報Ｓｂが与えられたとき、スケジュール情報Ｓｂに対応する第２の割当結果Ｘｂを出力する。
ここでは、第２の学習モデル２ａが、教師あり学習によって学習している。しかし、これは一例に過ぎず、第２の学習モデル２ａは、例えば、教師なし学習、強化学習、又は、数理最適化手法によって学習しているものであってもよい。
【0015】
変更コスト算出部３は、例えば、図２に示す変更コスト算出回路２３によって実現される。
変更コスト算出部３は、第１の割当結果取得部１から第１の割当結果Ｘａを取得し、第２の割当結果取得部２から第２の割当結果Ｘｂを取得する。
変更コスト算出部３は、割当結果を第１の割当結果Ｘａから第２の割当結果Ｘｂに変更した場合のコストの増加量である変更コストＣａｂを算出する。割当対象物が航空機であれば、変更コスト算出部３により増加量が算出されるコストは、運航コストである。運航コストとしては、例えば、航空機の燃料コストのほか、パイロットの肉体的な負担、又は、パイロットの精神的な負担に係る負担コストがある。
変更コスト算出部３は、変更コストＣａｂを割当結果選択部７に出力する。
変更コスト算出部３は、第１の割当結果取得部１から第１の割当結果Ｘａを取得し、第２の割当結果取得部２から第２の割当結果Ｘｂを取得する。
変更コスト算出部３は、割当結果を第１の割当結果Ｘａから第２の割当結果Ｘｂに変更した場合のコストの増加量である変更コストＣａｂを算出する。割当対象物が航空機であれば、変更コスト算出部３により増加量が算出されるコストは、運航コストである。運航コストとしては、例えば、航空機の燃料コストのほか、パイロットの肉体的な負担、又は、パイロットの精神的な負担に係る負担コストがある。
変更コスト算出部３は、変更コストＣａｂを割当結果選択部７に出力する。
【0016】
報酬値差分予測部４は、例えば、図２に示す報酬値差分予測回路２４によって実現される。
報酬値差分予測部４は、割当結果差異検出部５及び差分予測処理部６を備えている。
報酬値差分予測部４は、第１の割当結果Ｘａ及び第２の割当結果Ｘｂのそれぞれを図４に示す報酬値予測用の学習モデル６ｃに与えて、学習モデル６ｃから、第１の割当結果Ｘａの良否の程度を示す第１の報酬値Ｒｐｒｅｄａと第２の割当結果Ｘｂの良否の程度を示す第２の報酬値Ｒｐｒｅｄｂとを取得する。
報酬値差分予測部４は、第２の報酬値Ｒｐｒｅｄｂから第１の報酬値Ｒｐｒｅｄａを減算することで、第１の報酬値Ｒｐｒｅｄａと第２の報酬値Ｒｐｒｅｄｂとの報酬値差分ΔＲｐｒｅｄを予測する。
報酬値差分予測部４は、報酬値差分ΔＲｐｒｅｄを割当結果選択部７に出力する。
報酬値差分予測部４は、割当結果差異検出部５及び差分予測処理部６を備えている。
報酬値差分予測部４は、第１の割当結果Ｘａ及び第２の割当結果Ｘｂのそれぞれを図４に示す報酬値予測用の学習モデル６ｃに与えて、学習モデル６ｃから、第１の割当結果Ｘａの良否の程度を示す第１の報酬値Ｒｐｒｅｄａと第２の割当結果Ｘｂの良否の程度を示す第２の報酬値Ｒｐｒｅｄｂとを取得する。
報酬値差分予測部４は、第２の報酬値Ｒｐｒｅｄｂから第１の報酬値Ｒｐｒｅｄａを減算することで、第１の報酬値Ｒｐｒｅｄａと第２の報酬値Ｒｐｒｅｄｂとの報酬値差分ΔＲｐｒｅｄを予測する。
報酬値差分予測部４は、報酬値差分ΔＲｐｒｅｄを割当結果選択部７に出力する。
【0017】
割当結果差異検出部５は、第１の時刻におけるスケジュール情報Ｓａと第２の時刻におけるスケジュール情報Ｓｂとの差異を検出し、差異を示す差異情報ｄａｂを差分予測処理部６に出力する。
【0018】
差分予測処理部６は、割当結果差異検出部５から出力された差異情報ｄａｂが、差異がある旨を示していれば、第１の割当結果Ｘａ及び第２の割当結果Ｘｂのそれぞれを報酬値予測用の学習モデル６ｃに与えて、学習モデル６ｃから、第１の報酬値Ｒｐｒｅｄａと第２の報酬値Ｒｐｒｅｄｂとを取得する。
差分予測処理部６は、第２の報酬値Ｒｐｒｅｄｂから第１の報酬値Ｒｐｒｅｄａを減算することで、第１の報酬値Ｒｐｒｅｄａと第２の報酬値Ｒｐｒｅｄｂとの報酬値差分ΔＲｐｒｅｄを予測する。
差分予測処理部６は、報酬値差分ΔＲｐｒｅｄを割当結果選択部７に出力する。
差分予測処理部６は、第２の報酬値Ｒｐｒｅｄｂから第１の報酬値Ｒｐｒｅｄａを減算することで、第１の報酬値Ｒｐｒｅｄａと第２の報酬値Ｒｐｒｅｄｂとの報酬値差分ΔＲｐｒｅｄを予測する。
差分予測処理部６は、報酬値差分ΔＲｐｒｅｄを割当結果選択部７に出力する。
【0019】
割当結果選択部７は、例えば、図２に示す割当結果選択回路２７によって実現される。
割当結果選択部７は、変更コスト算出部３により算出された変更コストＣａｂに基づいて、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂを選択する。
具体的には、割当結果選択部７は、報酬値差分予測部４により予測された報酬値差分ΔＲｐｒｅｄが０よりも大きく、かつ、変更コストＣａｂがコスト閾値Ｔｈｃ以下であれば、第２の割当結果Ｘｂを選択する。
割当結果選択部７は、報酬値差分ΔＲｐｒｅｄが０以下、又は、変更コストＣａｂがコスト閾値Ｔｈｃよりも大きければ、第１の割当結果Ｘａを選択する。
コスト閾値Ｔｈｃは、割当結果選択部７の内部メモリに格納されていてもよいし、割当結果決定装置の外部から与えられるものであってもよい。
割当結果選択部７は、変更コスト算出部３により算出された変更コストＣａｂに基づいて、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂを選択する。
具体的には、割当結果選択部７は、報酬値差分予測部４により予測された報酬値差分ΔＲｐｒｅｄが０よりも大きく、かつ、変更コストＣａｂがコスト閾値Ｔｈｃ以下であれば、第２の割当結果Ｘｂを選択する。
割当結果選択部７は、報酬値差分ΔＲｐｒｅｄが０以下、又は、変更コストＣａｂがコスト閾値Ｔｈｃよりも大きければ、第１の割当結果Ｘａを選択する。
コスト閾値Ｔｈｃは、割当結果選択部７の内部メモリに格納されていてもよいし、割当結果決定装置の外部から与えられるものであってもよい。
【0020】
図１では、割当結果決定装置の構成要素である第１の割当結果取得部１、第２の割当結果取得部２、変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７のそれぞれが、図２に示すような専用のハードウェアによって実現されるものを想定している。即ち、割当結果決定装置が、第１の割当結果取得回路２１、第２の割当結果取得回路２２、変更コスト算出回路２３、報酬値差分予測回路２４及び割当結果選択回路２７によって実現されるものを想定している。
第１の割当結果取得回路２１、第２の割当結果取得回路２２、変更コスト算出回路２３、報酬値差分予測回路２４及び割当結果選択回路２７のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。
第１の割当結果取得回路２１、第２の割当結果取得回路２２、変更コスト算出回路２３、報酬値差分予測回路２４及び割当結果選択回路２７のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。
【0021】
割当結果決定装置の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、割当結果決定装置が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が該当する。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が該当する。
【0022】
図３は、割当結果決定装置が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
割当結果決定装置が、ソフトウェア又はファームウェア等によって実現される場合、第１の割当結果取得部１、第２の割当結果取得部２、変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムがメモリ４１に格納される。そして、コンピュータのプロセッサ４２がメモリ４１に格納されているプログラムを実行する。
割当結果決定装置が、ソフトウェア又はファームウェア等によって実現される場合、第１の割当結果取得部１、第２の割当結果取得部２、変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムがメモリ４１に格納される。そして、コンピュータのプロセッサ４２がメモリ４１に格納されているプログラムを実行する。
【0023】
また、図２では、割当結果決定装置の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、割当結果決定装置がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、割当結果決定装置における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
【0024】
図４は、実施の形態１に係る割当結果決定装置の差分予測処理部６を示す構成図である。
図４に示す差分予測処理部６は、第１の予測処理部６ａ、第２の予測処理部６ｂ、報酬値予測用の学習モデル６ｃ及び差分算出処理部６ｄを備えている。
図４に示す差分予測処理部６は、第１の予測処理部６ａ、第２の予測処理部６ｂ、報酬値予測用の学習モデル６ｃ及び差分算出処理部６ｄを備えている。
【0025】
第１の予測処理部６ａは、割当結果差異検出部５から出力された差異情報ｄａｂが、差異がある旨を示していれば、第１の割当結果取得部１から出力された第１の割当結果Ｘａを報酬値予測用の学習モデル６ｃに与えて、学習モデル６ｃから、第１の報酬値Ｒｐｒｅｄａを取得する。
第１の予測処理部６ａは、第１の報酬値Ｒｐｒｅｄａを差分算出処理部６ｄに出力する。
第１の予測処理部６ａは、第１の報酬値Ｒｐｒｅｄａを差分算出処理部６ｄに出力する。
【0026】
第２の予測処理部６ｂは、割当結果差異検出部５から出力された差異情報ｄａｂが、差異がある旨を示していれば、第２の割当結果取得部２から出力された第２の割当結果Ｘｂを報酬値予測用の学習モデル６ｃに与えて、学習モデル６ｃから、第２の報酬値Ｒｐｒｅｄｂを取得する。
第２の予測処理部６ｂは、第２の報酬値Ｒｐｒｅｄｂを差分算出処理部６ｄに出力する。
第２の予測処理部６ｂは、第２の報酬値Ｒｐｒｅｄｂを差分算出処理部６ｄに出力する。
【0027】
報酬値予測用の学習モデル６ｃは、学習時において、入力データとして、割当結果Ｘが与えられ、教師データとして、報酬値Ｒｐｒｅｄが与えられ、報酬値Ｒｐｒｅｄを学習している。報酬値Ｒｐｒｅｄは、例えば、割当結果Ｘを選択した場合のコストが高ければ、小さい値であり、割当結果Ｘを選択した場合のコストが低ければ、大きな値である。
学習モデル６ｃは、推論時において、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂが与えられたとき、第１の割当結果Ｘａに対応する第１の報酬値Ｒｐｒｅｄａ、又は、第２の割当結果Ｘｂに対応する第２の報酬値Ｒｐｒｅｄｂを出力する。
ここでは、学習モデル６ｃが、教師あり学習によって学習している。しかし、これは一例に過ぎず、学習モデル６ｃは、例えば、教師なし学習、強化学習、又は、数理最適化手法によって学習しているものであってもよい。
学習モデル６ｃは、推論時において、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂが与えられたとき、第１の割当結果Ｘａに対応する第１の報酬値Ｒｐｒｅｄａ、又は、第２の割当結果Ｘｂに対応する第２の報酬値Ｒｐｒｅｄｂを出力する。
ここでは、学習モデル６ｃが、教師あり学習によって学習している。しかし、これは一例に過ぎず、学習モデル６ｃは、例えば、教師なし学習、強化学習、又は、数理最適化手法によって学習しているものであってもよい。
【0028】
差分算出処理部６ｄは、第２の報酬値Ｒｐｒｅｄｂから第１の報酬値Ｒｐｒｅｄａを減算することで、第１の報酬値Ｒｐｒｅｄａと第２の報酬値Ｒｐｒｅｄｂとの報酬値差分ΔＲｐｒｅｄを算出する。
差分算出処理部６ｄは、報酬値差分ΔＲｐｒｅｄを割当結果選択部７に出力する。
差分算出処理部６ｄは、報酬値差分ΔＲｐｒｅｄを割当結果選択部７に出力する。
【0029】
図５は、３台の飛行機の着陸の割り当て順序を示す割当結果の一例を示す説明図である。
図５の例では、３台の飛行機が、小型飛行機、中型飛行機、又は、大型飛行機である。
図５の例では、小型飛行機が着陸した後の着陸禁止時間は６０［ｓｅｃ］、中型飛行機が着陸した後の着陸禁止時間は１８０［ｓｅｃ］、大型飛行機が着陸した後の着陸禁止時間は２４０［ｓｅｃ］である。
中型飛行機、大型飛行機、小型飛行機の順番で着陸を許可した場合、図５に示すように、３台の飛行機の全てが着陸するまでの最短時間は、４２０（＝１８０＋２４０）［ｓｅｃ］である。
中型飛行機、小型飛行機、大型飛行機の順番で着陸を許可した場合、図５に示すように、３台の飛行機の全てが着陸するまでの最短時間は、２４０（＝１８０＋６０）［ｓｅｃ］である。
したがって、中型飛行機、小型飛行機、大型飛行機の順番で着陸を許可した場合、中型飛行機、大型飛行機、小型飛行機の順番で着陸を許可した場合よりも、全てが着陸するまでの最短時間は、１８０（＝４２０－２４０）［ｓｅｃ］の時間だけ短くなる。
図５の例では、３台の飛行機が、小型飛行機、中型飛行機、又は、大型飛行機である。
図５の例では、小型飛行機が着陸した後の着陸禁止時間は６０［ｓｅｃ］、中型飛行機が着陸した後の着陸禁止時間は１８０［ｓｅｃ］、大型飛行機が着陸した後の着陸禁止時間は２４０［ｓｅｃ］である。
中型飛行機、大型飛行機、小型飛行機の順番で着陸を許可した場合、図５に示すように、３台の飛行機の全てが着陸するまでの最短時間は、４２０（＝１８０＋２４０）［ｓｅｃ］である。
中型飛行機、小型飛行機、大型飛行機の順番で着陸を許可した場合、図５に示すように、３台の飛行機の全てが着陸するまでの最短時間は、２４０（＝１８０＋６０）［ｓｅｃ］である。
したがって、中型飛行機、小型飛行機、大型飛行機の順番で着陸を許可した場合、中型飛行機、大型飛行機、小型飛行機の順番で着陸を許可した場合よりも、全てが着陸するまでの最短時間は、１８０（＝４２０－２４０）［ｓｅｃ］の時間だけ短くなる。
【0030】
次に、図１に示す割当結果決定装置の動作について説明する。
図６は、図１に示す割当結果決定装置の処理手順である割当結果決定方法を示すフローチャートである。
第１の割当結果取得部１は、第１の時刻における複数の航空機のスケジュール情報Ｓａを取得する。
スケジュール情報Ｓａは、例えば、それぞれの航空機の着陸予定時刻又はそれぞれの航空機の離陸予定時刻と、それぞれの航空機の機体サイズとを示す情報を含んでいる。
第１の割当結果取得部１は、スケジュール情報Ｓａを第１の学習モデル１ａに与えて、第１の学習モデル１ａから第１の割当結果Ｘａを取得する（図６のステップＳＴ１）。
第１の割当結果取得部１は、第１の割当結果Ｘａを変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７のそれぞれに出力する。
図６は、図１に示す割当結果決定装置の処理手順である割当結果決定方法を示すフローチャートである。
第１の割当結果取得部１は、第１の時刻における複数の航空機のスケジュール情報Ｓａを取得する。
スケジュール情報Ｓａは、例えば、それぞれの航空機の着陸予定時刻又はそれぞれの航空機の離陸予定時刻と、それぞれの航空機の機体サイズとを示す情報を含んでいる。
第１の割当結果取得部１は、スケジュール情報Ｓａを第１の学習モデル１ａに与えて、第１の学習モデル１ａから第１の割当結果Ｘａを取得する（図６のステップＳＴ１）。
第１の割当結果取得部１は、第１の割当結果Ｘａを変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７のそれぞれに出力する。
【0031】
図７Ａは、スケジュール情報Ｓａが第１の割当結果取得部１に与えられたときに、第１の割当結果取得部１により取得される第１の割当結果Ｘａの一例を示す説明図である。
図７Ａにおいて、ｔ１，ｔ２，・・・・，ｔ８は、時刻であり、ｊ１，ｊ２，・・・・，ｊ５は、航空機を識別するＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）である。
“０”は、航空機の離着陸を割り当てることができない旨を示し、“１”は、航空機の離着陸を割り当てることができる旨を示している。
図７Ａの例では、航空機ｊ３，航空機ｊ５，航空機ｊ１，航空機ｊ２，航空機ｊ４の順番で離着陸を許可する第１の割当結果Ｘａが得られている。
図７Ａにおいて、ｔ１，ｔ２，・・・・，ｔ８は、時刻であり、ｊ１，ｊ２，・・・・，ｊ５は、航空機を識別するＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）である。
“０”は、航空機の離着陸を割り当てることができない旨を示し、“１”は、航空機の離着陸を割り当てることができる旨を示している。
図７Ａの例では、航空機ｊ３，航空機ｊ５，航空機ｊ１，航空機ｊ２，航空機ｊ４の順番で離着陸を許可する第１の割当結果Ｘａが得られている。
【0032】
第２の割当結果取得部２は、第１の時刻よりも後の時刻である第２の時刻における複数の航空機のスケジュール情報Ｓｂを取得する。
スケジュール情報Ｓｂは、例えば、それぞれの航空機の着陸予定時刻又はそれぞれの航空機の離陸予定時刻と、それぞれの航空機の機体サイズとを示す情報を含んでいる。
第２の割当結果取得部２は、スケジュール情報Ｓｂを第２の学習モデル２ａに与えて、第２の学習モデル２ａから第２の割当結果Ｘｂを取得する（図６のステップＳＴ２）。
第２の割当結果取得部２は、第２の割当結果Ｘｂを変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７のそれぞれに出力する。
スケジュール情報Ｓｂは、例えば、それぞれの航空機の着陸予定時刻又はそれぞれの航空機の離陸予定時刻と、それぞれの航空機の機体サイズとを示す情報を含んでいる。
第２の割当結果取得部２は、スケジュール情報Ｓｂを第２の学習モデル２ａに与えて、第２の学習モデル２ａから第２の割当結果Ｘｂを取得する（図６のステップＳＴ２）。
第２の割当結果取得部２は、第２の割当結果Ｘｂを変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７のそれぞれに出力する。
【0033】
図７Ｂは、スケジュール情報Ｓｂが第２の割当結果取得部２に与えられたときに、第２の割当結果取得部２により取得される第２の割当結果Ｘｂの一例を示す説明図である。
図７Ｂにおいて、ｔ１，ｔ２，・・・・，ｔ８は、時刻であり、ｊ１，ｊ２，・・・・，ｊ５は、航空機を識別するＩＤである。
“０”は、航空機の離着陸を割り当てることができない旨を示し、“１”は、航空機の離着陸を割り当てることができる旨を示している。
図７Ｂの例では、航空機ｊ３，航空機ｊ１，航空機ｊ５，航空機ｊ２，航空機ｊ４の順番で離着陸を許可する第２の割当結果Ｘｂが得られている。
図７Ｂにおいて、ｔ１，ｔ２，・・・・，ｔ８は、時刻であり、ｊ１，ｊ２，・・・・，ｊ５は、航空機を識別するＩＤである。
“０”は、航空機の離着陸を割り当てることができない旨を示し、“１”は、航空機の離着陸を割り当てることができる旨を示している。
図７Ｂの例では、航空機ｊ３，航空機ｊ１，航空機ｊ５，航空機ｊ２，航空機ｊ４の順番で離着陸を許可する第２の割当結果Ｘｂが得られている。
【0034】
変更コスト算出部３は、第１の割当結果取得部１から第１の割当結果Ｘａを取得し、第２の割当結果取得部２から第２の割当結果Ｘｂを取得する。
変更コスト算出部３は、例えば、図８に示すような変更コスト表を参照して、割当結果を第１の割当結果Ｘａから第２の割当結果Ｘｂに変更した場合のコストの増加量である変更コストＣａｂを算出する（図６のステップＳＴ３）。
変更コスト算出部３は、変更コストＣａｂを割当結果選択部７に出力する。
変更コスト算出部３は、例えば、図８に示すような変更コスト表を参照して、割当結果を第１の割当結果Ｘａから第２の割当結果Ｘｂに変更した場合のコストの増加量である変更コストＣａｂを算出する（図６のステップＳＴ３）。
変更コスト算出部３は、変更コストＣａｂを割当結果選択部７に出力する。
【0035】
図８は、変更コスト表の一例を示す説明図である。
図８において、ｊ１，ｊ２，・・・・，ｊ５は、航空機を示す識別記号である。表内の数字は、変更コストを示している。
例えば、第１の割当結果がＸａ＝［ｊ３，ｊ５，ｊ１，ｊ２，ｊ４］であり、第２の割当結果がＸｂ＝［ｊ３，ｊ１，ｊ５，ｊ２，ｊ４］である場合、航空機ｊ５と航空機ｊ１との順番が入れ替えられている。このため、変更コストＣａｂは、“１００”である。
例えば、第１の割当結果がＸａ＝［ｊ３，ｊ５，ｊ１，ｊ２，ｊ４］であり、第２の割当結果がＸｂ＝［ｊ３，ｊ２，ｊ５，ｊ１，ｊ４］である場合、航空機ｊ５と航空機ｊ２との順番が入れ替えられ、さらに、航空機ｊ５と航空機ｊ１との順番が入れ替えられている。このため、変更コストＣａｂは、“１８０”（＝８０＋１００）である。
図８において、ｊ１，ｊ２，・・・・，ｊ５は、航空機を示す識別記号である。表内の数字は、変更コストを示している。
例えば、第１の割当結果がＸａ＝［ｊ３，ｊ５，ｊ１，ｊ２，ｊ４］であり、第２の割当結果がＸｂ＝［ｊ３，ｊ１，ｊ５，ｊ２，ｊ４］である場合、航空機ｊ５と航空機ｊ１との順番が入れ替えられている。このため、変更コストＣａｂは、“１００”である。
例えば、第１の割当結果がＸａ＝［ｊ３，ｊ５，ｊ１，ｊ２，ｊ４］であり、第２の割当結果がＸｂ＝［ｊ３，ｊ２，ｊ５，ｊ１，ｊ４］である場合、航空機ｊ５と航空機ｊ２との順番が入れ替えられ、さらに、航空機ｊ５と航空機ｊ１との順番が入れ替えられている。このため、変更コストＣａｂは、“１８０”（＝８０＋１００）である。
【0036】
図１に示す割当結果決定装置では、変更コスト算出部３が、図８に示すような変更コスト表を参照して、変更コストＣａｂを算出している。しかし、これは一例に過ぎず、変更コスト算出部３は、例えば、以下のようにして、変更コストＣａｂを算出してもよい。
まず、変更コスト算出部３は、以下の式（１）に示すように、第２の割当結果Ｘｂ’から第１の割当結果Ｘａを減算することで、割当差分ΔＸを算出する。Ｘｂ’は、第２の割当結果Ｘｂの時刻を第１の割当結果Ｘａの時刻に合わせたものである。例えば、第１の割当結果Ｘａの時刻が、ｔ１，ｔ２，・・・・，ｔ８であり、第２の割当結果Ｘｂの時刻が、ｔ３，ｔ４，・・・・，ｔ１０であれば、第２の割当結果Ｘｂの時刻ｔ３がｔ１、時刻ｔ４がｔ２、時刻ｔ１０がｔ８であるものとする。
ΔＸ＝Ｘｂ’－Ｘａ （１）
まず、変更コスト算出部３は、以下の式（１）に示すように、第２の割当結果Ｘｂ’から第１の割当結果Ｘａを減算することで、割当差分ΔＸを算出する。Ｘｂ’は、第２の割当結果Ｘｂの時刻を第１の割当結果Ｘａの時刻に合わせたものである。例えば、第１の割当結果Ｘａの時刻が、ｔ１，ｔ２，・・・・，ｔ８であり、第２の割当結果Ｘｂの時刻が、ｔ３，ｔ４，・・・・，ｔ１０であれば、第２の割当結果Ｘｂの時刻ｔ３がｔ１、時刻ｔ４がｔ２、時刻ｔ１０がｔ８であるものとする。
ΔＸ＝Ｘｂ’－Ｘａ （１）
【0037】
次に、変更コスト算出部３は、割当差分ΔＸを以下の式（２）に代入することで、順序の変更に伴う変更コストＣ０を算出する。
また、変更コスト算出部３は、割当差分ΔＸを以下の式（３）に代入することで、時刻の変更に伴う変更コストＣｔを算出する。
また、変更コスト算出部３は、割当差分ΔＸを以下の式（３）に代入することで、時刻の変更に伴う変更コストＣｔを算出する。
【0038】
ｄａｂは、割当結果差異検出部５から変更コスト算出部３に出力される差異情報ｄａｂである。図１では、割当結果差異検出部５から変更コスト算出部３への矢印が省略されている。スケジュール情報Ｓａとスケジュール情報Ｓｂとの差異が無ければ、ｄａｂ＝０であり、スケジュール情報Ｓａとスケジュール情報Ｓｂとの差異があれば、ｄａｂ＝１である。
γ０，γｔのそれぞれは、係数である。
【0039】
変更コスト算出部３は、例えば、以下の式（４）に示すように、順序の変更に伴う変更コストＣ０と時刻の変更に伴う変更コストＣｔとを重み付け加算することで、変更コストＣａｂを算出する。
Ｃａｂ＝Ｃ０＋ｗ・Ｃｔ （４）
式（４）において、ｗは、重み係数である。
Ｃａｂ＝Ｃ０＋ｗ・Ｃｔ （４）
式（４）において、ｗは、重み係数である。
【0040】
報酬値差分予測部４は、報酬値差分ΔＲｐｒｅｄを予測する（図６のステップＳＴ４）。
以下、報酬値差分予測部４による報酬値差分ΔＲｐｒｅｄの予測処理を具体的に説明する。
報酬値差分予測部４の割当結果差異検出部５は、第１の時刻におけるスケジュール情報Ｓａと第２の時刻におけるスケジュール情報Ｓｂとを取得する。
割当結果差異検出部５は、図１０に示すように、スケジュール情報Ｓａとスケジュール情報Ｓｂとの差異を検出し、差異を示す差異情報ｄａｂを差分予測処理部６に出力する。変更コスト算出部３が、式（４）によって、変更コストＣａｂを算出する場合、割当結果差異検出部５は、差異情報ｄａｂを変更コスト算出部３に対しても出力する。
図１０Ａは、航空機ｊ４の割り当て順序が先頭から数えて４番目から最後尾に変更された場合の差異情報ｄａｂを示す説明図である。
図１０Ｂは、スケジュール情報Ｓａに含まれていなかった航空機ｊ８が、スケジュール情報Ｓｂに含まれた場合の差異情報ｄａｂを示す説明図である。
図１０Ａ及び図１０Ｂにおいて、○の中の数字は、航空機を識別するＩＤである。ただし、ｊの記号は省略している。
スケジュール情報Ｓａとスケジュール情報Ｓｂとの差異が無ければ、ｄａｂ＝０であり、スケジュール情報Ｓａとスケジュール情報Ｓｂとの差異があれば、ｄａｂ＝１である。
以下、報酬値差分予測部４による報酬値差分ΔＲｐｒｅｄの予測処理を具体的に説明する。
報酬値差分予測部４の割当結果差異検出部５は、第１の時刻におけるスケジュール情報Ｓａと第２の時刻におけるスケジュール情報Ｓｂとを取得する。
割当結果差異検出部５は、図１０に示すように、スケジュール情報Ｓａとスケジュール情報Ｓｂとの差異を検出し、差異を示す差異情報ｄａｂを差分予測処理部６に出力する。変更コスト算出部３が、式（４）によって、変更コストＣａｂを算出する場合、割当結果差異検出部５は、差異情報ｄａｂを変更コスト算出部３に対しても出力する。
図１０Ａは、航空機ｊ４の割り当て順序が先頭から数えて４番目から最後尾に変更された場合の差異情報ｄａｂを示す説明図である。
図１０Ｂは、スケジュール情報Ｓａに含まれていなかった航空機ｊ８が、スケジュール情報Ｓｂに含まれた場合の差異情報ｄａｂを示す説明図である。
図１０Ａ及び図１０Ｂにおいて、○の中の数字は、航空機を識別するＩＤである。ただし、ｊの記号は省略している。
スケジュール情報Ｓａとスケジュール情報Ｓｂとの差異が無ければ、ｄａｂ＝０であり、スケジュール情報Ｓａとスケジュール情報Ｓｂとの差異があれば、ｄａｂ＝１である。
【0041】
差分予測処理部６の第１の予測処理部６ａは、第１の割当結果取得部１から第１の割当結果Ｘａを取得し、割当結果差異検出部５から差異情報ｄａｂを取得する。
第１の予測処理部６ａは、差異情報ｄａｂが“１”であれば、第１の割当結果Ｘａを報酬値予測用の学習モデル６ｃに与えて、学習モデル６ｃから、第１の報酬値Ｒｐｒｅｄａを取得する。
第１の予測処理部６ａは、第１の報酬値Ｒｐｒｅｄａを差分算出処理部６ｄに出力する。
第１の予測処理部６ａは、差異情報ｄａｂが“１”であれば、第１の割当結果Ｘａを報酬値予測用の学習モデル６ｃに与えて、学習モデル６ｃから、第１の報酬値Ｒｐｒｅｄａを取得する。
第１の予測処理部６ａは、第１の報酬値Ｒｐｒｅｄａを差分算出処理部６ｄに出力する。
【0042】
差分予測処理部６の第２の予測処理部６ｂは、第２の割当結果取得部２から第２の割当結果Ｘｂを取得し、割当結果差異検出部５から差異情報ｄａｂを取得する。
第２の予測処理部６ｂは、差異情報ｄａｂが“１”であれば、第２の割当結果Ｘｂを報酬値予測用の学習モデル６ｃに与えて、学習モデル６ｃから、第２の報酬値Ｒｐｒｅｄｂを取得する。
第２の予測処理部６ｂは、第２の報酬値Ｒｐｒｅｄｂを差分算出処理部６ｄに出力する。
第２の予測処理部６ｂは、差異情報ｄａｂが“１”であれば、第２の割当結果Ｘｂを報酬値予測用の学習モデル６ｃに与えて、学習モデル６ｃから、第２の報酬値Ｒｐｒｅｄｂを取得する。
第２の予測処理部６ｂは、第２の報酬値Ｒｐｒｅｄｂを差分算出処理部６ｄに出力する。
【0043】
差分算出処理部６ｄは、第１の予測処理部６ａから第１の報酬値Ｒｐｒｅｄａを取得し、第２の予測処理部６ｂから第２の報酬値Ｒｐｒｅｄｂを取得する。
差分算出処理部６ｄは、以下の式（５）に示すように、第２の報酬値Ｒｐｒｅｄｂから第１の報酬値Ｒｐｒｅｄａを減算することで、第１の報酬値Ｒｐｒｅｄａと第２の報酬値Ｒｐｒｅｄｂとの報酬値差分ΔＲｐｒｅｄを算出する。報酬値差分ΔＲｐｒｅｄがマイナスの値である場合、第２の割当結果Ｘｂを選択した場合のコストは、第１の割当結果Ｘａを選択した場合のコストよりも高い。報酬値差分ΔＲｐｒｅｄがプラスの値である場合、第２の割当結果Ｘｂを選択した場合のコストは、第１の割当結果Ｘａを選択した場合のコストよりも低い。
ΔＲｐｒｅｄ＝Ｒｐｒｅｄｂ－Ｒｐｒｅｄａ （５）
差分算出処理部６ｄは、報酬値差分ΔＲｐｒｅｄを割当結果選択部７に出力する。
差分算出処理部６ｄは、以下の式（５）に示すように、第２の報酬値Ｒｐｒｅｄｂから第１の報酬値Ｒｐｒｅｄａを減算することで、第１の報酬値Ｒｐｒｅｄａと第２の報酬値Ｒｐｒｅｄｂとの報酬値差分ΔＲｐｒｅｄを算出する。報酬値差分ΔＲｐｒｅｄがマイナスの値である場合、第２の割当結果Ｘｂを選択した場合のコストは、第１の割当結果Ｘａを選択した場合のコストよりも高い。報酬値差分ΔＲｐｒｅｄがプラスの値である場合、第２の割当結果Ｘｂを選択した場合のコストは、第１の割当結果Ｘａを選択した場合のコストよりも低い。
ΔＲｐｒｅｄ＝Ｒｐｒｅｄｂ－Ｒｐｒｅｄａ （５）
差分算出処理部６ｄは、報酬値差分ΔＲｐｒｅｄを割当結果選択部７に出力する。
【0044】
割当結果選択部７は、第１の割当結果取得部１から第１の割当結果Ｘａを取得し、第２の割当結果取得部２から第２の割当結果Ｘｂを取得する。
割当結果選択部７は、変更コスト算出部３により算出された変更コストＣａｂと報酬値差分予測部４により予測された報酬値差分ΔＲｐｒｅｄとに基づいて、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂを選択する（図６のステップＳＴ５）。
即ち、割当結果選択部７は、報酬値差分予測部４により予測された報酬値差分ΔＲｐｒｅｄが０よりも大きく、かつ、変更コストＣａｂがコスト閾値Ｔｈｃ以下であれば、第２の割当結果Ｘｂを選択する。
割当結果選択部７は、報酬値差分ΔＲｐｒｅｄが０以下、又は、変更コストＣａｂがコスト閾値Ｔｈｃよりも大きければ、第１の割当結果Ｘａを選択する。
割当結果選択部７は、変更コスト算出部３により算出された変更コストＣａｂと報酬値差分予測部４により予測された報酬値差分ΔＲｐｒｅｄとに基づいて、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂを選択する（図６のステップＳＴ５）。
即ち、割当結果選択部７は、報酬値差分予測部４により予測された報酬値差分ΔＲｐｒｅｄが０よりも大きく、かつ、変更コストＣａｂがコスト閾値Ｔｈｃ以下であれば、第２の割当結果Ｘｂを選択する。
割当結果選択部７は、報酬値差分ΔＲｐｒｅｄが０以下、又は、変更コストＣａｂがコスト閾値Ｔｈｃよりも大きければ、第１の割当結果Ｘａを選択する。
【0045】
図１に示す割当結果決定装置では、割当結果選択部７が、変更コストＣａｂと報酬値差分ΔＲｐｒｅｄとに基づいて、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂを選択している。しかし、これは一例に過ぎず、割当結果選択部７は、変更コストＣａｂのみに基づいて、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂを選択するようにしてもよい。割当結果選択部７が、変更コストＣａｂのみに基づいて、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂを選択する場合、割当結果決定装置は、報酬値差分予測部４を備える必要がない。
また、割当結果選択部７は、報酬値差分ΔＲｐｒｅｄのみに基づいて、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂを選択するようにしてもよい。割当結果選択部７が、報酬値差分ΔＲｐｒｅｄのみに基づいて、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂを選択する場合、割当結果決定装置は、変更コスト算出部３を備える必要がない。
また、割当結果選択部７は、報酬値差分ΔＲｐｒｅｄのみに基づいて、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂを選択するようにしてもよい。割当結果選択部７が、報酬値差分ΔＲｐｒｅｄのみに基づいて、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂを選択する場合、割当結果決定装置は、変更コスト算出部３を備える必要がない。
【0046】
以上の実施の形態１では、複数の割当対象物に対する割り当て順序を示す割当結果として、第１の時刻のときに決定された第１の割当結果と、第１の時刻よりも後の時刻である第２の時刻のときに決定された第２の割当結果とを取得し、割当結果を第１の割当結果から第２の割当結果に変更した場合のコストの増加量である変更コストを算出する変更コスト算出部３を備えるように、割当結果決定装置を構成した。また、割当結果決定装置は、変更コスト算出部３により算出された変更コストに基づいて、第１の割当結果、又は、第２の割当結果を選択する割当結果選択部７を備えている。したがって、割当結果決定装置は、複数の割当対象物に対する割り当て順序を示す割当結果として、第１の割当結果が決定された後に、第２の割当結果が決定された場合に、コストに基づいて、第１の割当結果、又は、第２の割当結果を選択することができる。
【0047】
実施の形態２．
実施の形態２では、学習モデル１０ｃを更新する報酬値差分予測部９を備える割当結果決定装置について説明する。
実施の形態２では、学習モデル１０ｃを更新する報酬値差分予測部９を備える割当結果決定装置について説明する。
【0048】
図１１は、実施の形態２に係る割当結果決定装置を示す構成図である。図１１において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
図１２は、実施の形態２に係る割当結果決定装置のハードウェアを示すハードウェア構成図である。図１２において、図２と同一符号は同一又は相当部分を示すので説明を省略する。
図１１に示す割当結果決定装置は、第１の割当結果取得部１、第２の割当結果取得部２、変更コスト算出部３、報酬値差分予測部９、割当結果選択部７及び報酬値差分算出部８を備えている。
図１２は、実施の形態２に係る割当結果決定装置のハードウェアを示すハードウェア構成図である。図１２において、図２と同一符号は同一又は相当部分を示すので説明を省略する。
図１１に示す割当結果決定装置は、第１の割当結果取得部１、第２の割当結果取得部２、変更コスト算出部３、報酬値差分予測部９、割当結果選択部７及び報酬値差分算出部８を備えている。
【0049】
報酬値差分算出部８は、例えば、図１２に示す報酬値差分算出回路２８によって実現される。
報酬値差分算出部８は、第１の割当結果Ｘａを報酬関数に与えて第１の報酬値Ｒａを算出し、第２の割当結果Ｘｂを報酬関数に与えて第２の報酬値Ｒｂを算出する。
報酬値差分算出部８は、第２の報酬値Ｒｂから第１の報酬値Ｒａを減算することで、第１の報酬値Ｒａと第２の報酬値Ｒｂとの報酬値差分ΔＲを算出する。
報酬値差分算出部８は、報酬値差分ΔＲを報酬値差分予測部９に出力する。
報酬値差分算出部８は、第１の割当結果Ｘａを報酬関数に与えて第１の報酬値Ｒａを算出し、第２の割当結果Ｘｂを報酬関数に与えて第２の報酬値Ｒｂを算出する。
報酬値差分算出部８は、第２の報酬値Ｒｂから第１の報酬値Ｒａを減算することで、第１の報酬値Ｒａと第２の報酬値Ｒｂとの報酬値差分ΔＲを算出する。
報酬値差分算出部８は、報酬値差分ΔＲを報酬値差分予測部９に出力する。
【0050】
報酬値差分予測部９は、例えば、図１２に示す報酬値差分予測回路２９によって実現される。
報酬値差分予測部９は、割当結果差異検出部５及び差分予測処理部１０を備えている。
報酬値差分予測部９は、第１の割当結果Ｘａ及び第２の割当結果Ｘｂのそれぞれを図１４に示す報酬値予測用の学習モデル１０ｃに与えて、学習モデル１０ｃから、第１の割当結果Ｘａの良否の程度を示す第１の報酬値Ｒｐｒｅｄａと第２の割当結果Ｘｂの良否の程度を示す第２の報酬値Ｒｐｒｅｄｂとを取得する。
報酬値差分予測部９は、第２の報酬値Ｒｐｒｅｄｂから第１の報酬値Ｒｐｒｅｄａを減算することで、第１の報酬値Ｒｐｒｅｄａと第２の報酬値Ｒｐｒｅｄｂとの報酬値差分ΔＲｐｒｅｄを予測する。
報酬値差分予測部９は、報酬値差分ΔＲｐｒｅｄを割当結果選択部７に出力する。
また、報酬値差分予測部９は、予測した報酬値差分ΔＲｐｒｅｄと、報酬値差分算出部８により算出された報酬値差分ΔＲとの差異が小さくなるように、学習モデル１０ｃを更新する。
報酬値差分予測部９は、割当結果差異検出部５及び差分予測処理部１０を備えている。
報酬値差分予測部９は、第１の割当結果Ｘａ及び第２の割当結果Ｘｂのそれぞれを図１４に示す報酬値予測用の学習モデル１０ｃに与えて、学習モデル１０ｃから、第１の割当結果Ｘａの良否の程度を示す第１の報酬値Ｒｐｒｅｄａと第２の割当結果Ｘｂの良否の程度を示す第２の報酬値Ｒｐｒｅｄｂとを取得する。
報酬値差分予測部９は、第２の報酬値Ｒｐｒｅｄｂから第１の報酬値Ｒｐｒｅｄａを減算することで、第１の報酬値Ｒｐｒｅｄａと第２の報酬値Ｒｐｒｅｄｂとの報酬値差分ΔＲｐｒｅｄを予測する。
報酬値差分予測部９は、報酬値差分ΔＲｐｒｅｄを割当結果選択部７に出力する。
また、報酬値差分予測部９は、予測した報酬値差分ΔＲｐｒｅｄと、報酬値差分算出部８により算出された報酬値差分ΔＲとの差異が小さくなるように、学習モデル１０ｃを更新する。
【0051】
図１１では、割当結果決定装置の構成要素である第１の割当結果取得部１、第２の割当結果取得部２、変更コスト算出部３、報酬値差分予測部９、割当結果選択部７及び報酬値差分算出部８のそれぞれが、図１２に示すような専用のハードウェアによって実現されるものを想定している。即ち、割当結果決定装置が、第１の割当結果取得回路２１、第２の割当結果取得回路２２、変更コスト算出回路２３、報酬値差分予測回路２９、割当結果選択回路２７及び報酬値差分算出回路２８によって実現されるものを想定している。
第１の割当結果取得回路２１、第２の割当結果取得回路２２、変更コスト算出回路２３、報酬値差分予測回路２９、割当結果選択回路２７及び報酬値差分算出回路２８のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
第１の割当結果取得回路２１、第２の割当結果取得回路２２、変更コスト算出回路２３、報酬値差分予測回路２９、割当結果選択回路２７及び報酬値差分算出回路２８のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
【0052】
割当結果決定装置の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、割当結果決定装置が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
割当結果決定装置が、ソフトウェア又はファームウェア等によって実現される場合、第１の割当結果取得部１、第２の割当結果取得部２、変更コスト算出部３、報酬値差分予測部９、割当結果選択部７及び報酬値差分算出部８におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図３に示すメモリ４１に格納される。そして、図３に示すプロセッサ４２がメモリ４１に格納されているプログラムを実行する。
割当結果決定装置が、ソフトウェア又はファームウェア等によって実現される場合、第１の割当結果取得部１、第２の割当結果取得部２、変更コスト算出部３、報酬値差分予測部９、割当結果選択部７及び報酬値差分算出部８におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図３に示すメモリ４１に格納される。そして、図３に示すプロセッサ４２がメモリ４１に格納されているプログラムを実行する。
【0053】
また、図１２では、割当結果決定装置の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、割当結果決定装置がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、割当結果決定装置における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
【0054】
図１３は、実施の形態２に係る割当結果決定装置の報酬値差分算出部８を示す構成図である。
図１３に示す報酬値差分算出部８は、第１の報酬値算出部８ａ、第２の報酬値算出部８ｂ及び差分算出処理部８ｃを備えている。
第１の報酬値算出部８ａは、第１の割当結果取得部１から第１の割当結果Ｘａを取得する。
第１の報酬値算出部８ａは、第１の割当結果Ｘａを報酬関数に与えて第１の報酬値Ｒａを算出し、第１の報酬値Ｒａを差分算出処理部８ｃに出力する。
図１３に示す報酬値差分算出部８は、第１の報酬値算出部８ａ、第２の報酬値算出部８ｂ及び差分算出処理部８ｃを備えている。
第１の報酬値算出部８ａは、第１の割当結果取得部１から第１の割当結果Ｘａを取得する。
第１の報酬値算出部８ａは、第１の割当結果Ｘａを報酬関数に与えて第１の報酬値Ｒａを算出し、第１の報酬値Ｒａを差分算出処理部８ｃに出力する。
【0055】
第２の報酬値算出部８ｂは、第２の割当結果取得部２から第２の割当結果Ｘｂを取得する。
第２の報酬値算出部８ｂは、第２の割当結果Ｘｂを報酬関数に与えて第２の報酬値Ｒｂを算出し、第２の報酬値Ｒｂを差分算出処理部８ｃに出力する。
差分算出処理部８ｃは、第１の報酬値算出部８ａから第１の報酬値Ｒａを取得し、第２の割当結果取得部２から第２の報酬値Ｒｂを取得する。
差分算出処理部８ｃは、第２の報酬値Ｒｂから第１の報酬値Ｒａを減算することで、第１の報酬値Ｒａと第２の報酬値Ｒｂとの報酬値差分ΔＲを算出する。
差分算出処理部８ｃは、報酬値差分ΔＲを報酬値差分予測部９に出力する。
第２の報酬値算出部８ｂは、第２の割当結果Ｘｂを報酬関数に与えて第２の報酬値Ｒｂを算出し、第２の報酬値Ｒｂを差分算出処理部８ｃに出力する。
差分算出処理部８ｃは、第１の報酬値算出部８ａから第１の報酬値Ｒａを取得し、第２の割当結果取得部２から第２の報酬値Ｒｂを取得する。
差分算出処理部８ｃは、第２の報酬値Ｒｂから第１の報酬値Ｒａを減算することで、第１の報酬値Ｒａと第２の報酬値Ｒｂとの報酬値差分ΔＲを算出する。
差分算出処理部８ｃは、報酬値差分ΔＲを報酬値差分予測部９に出力する。
【0056】
図１４は、実施の形態２に係る割当結果決定装置の差分予測処理部１０を示す構成図である。
図１４に示す差分予測処理部１０は、第１の予測処理部１０ａ、第２の予測処理部１０ｂ、報酬値予測用の学習モデル１０ｃ及び差分算出処理部１０ｄを備えている。
図１４に示す差分予測処理部１０は、第１の予測処理部１０ａ、第２の予測処理部１０ｂ、報酬値予測用の学習モデル１０ｃ及び差分算出処理部１０ｄを備えている。
【0057】
第１の予測処理部１０ａは、割当結果差異検出部５から出力された差異情報ｄａｂが、差異がある旨を示していれば、第１の割当結果取得部１から出力された第１の割当結果Ｘａを報酬値予測用の学習モデル１０ｃに与えて、学習モデル１０ｃから、第１の報酬値Ｒｐｒｅｄａを取得する。
第１の予測処理部１０ａは、第１の報酬値Ｒｐｒｅｄａを差分算出処理部１０ｄに出力する。
第１の予測処理部１０ａは、第１の報酬値Ｒｐｒｅｄａを差分算出処理部１０ｄに出力する。
【0058】
第２の予測処理部１０ｂは、割当結果差異検出部５から出力された差異情報ｄａｂが、差異がある旨を示していれば、第２の割当結果取得部２から出力された第２の割当結果Ｘｂを報酬値予測用の学習モデル１０ｃに与えて、学習モデル１０ｃから、第２の報酬値Ｒｐｒｅｄｂを取得する。
第２の予測処理部１０ｂは、第２の報酬値Ｒｐｒｅｄｂを差分算出処理部１０ｄに出力する。
第２の予測処理部１０ｂは、第２の報酬値Ｒｐｒｅｄｂを差分算出処理部１０ｄに出力する。
【0059】
報酬値予測用の学習モデル１０ｃは、学習時において、入力データとして、割当結果Ｘが与えられ、教師データとして、報酬値Ｒｐｒｅｄが与えられ、報酬値Ｒｐｒｅｄを学習している。
学習モデル１０ｃは、推論時において、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂが与えられたとき、第１の割当結果Ｘａに対応する第１の報酬値Ｒｐｒｅｄａ、又は、第２の割当結果Ｘｂに対応する第２の報酬値Ｒｐｒｅｄｂを出力する。
ここでは、学習モデル１０ｃが、教師あり学習によって学習している。しかし、これは一例に過ぎず、学習モデル１０ｃは、例えば、教師なし学習、強化学習、又は、数理最適化手法によって学習しているものであってもよい。
学習モデル１０ｃは、推論時において、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂが与えられたとき、第１の割当結果Ｘａに対応する第１の報酬値Ｒｐｒｅｄａ、又は、第２の割当結果Ｘｂに対応する第２の報酬値Ｒｐｒｅｄｂを出力する。
ここでは、学習モデル１０ｃが、教師あり学習によって学習している。しかし、これは一例に過ぎず、学習モデル１０ｃは、例えば、教師なし学習、強化学習、又は、数理最適化手法によって学習しているものであってもよい。
【0060】
差分算出処理部１０ｄは、第２の報酬値Ｒｐｒｅｄｂから第１の報酬値Ｒｐｒｅｄａを減算することで、第１の報酬値Ｒｐｒｅｄａと第２の報酬値Ｒｐｒｅｄｂとの報酬値差分ΔＲｐｒｅｄを算出する。
【0061】
次に、図１１に示す割当結果決定装置の動作について説明する。ただし、報酬値差分算出部８及び報酬値差分予測部９以外は、図１に示す割当結果決定装置と同様である。このため、ここでは、報酬値差分算出部８及び報酬値差分予測部９の動作のみを説明する。
【0062】
報酬値差分算出部８の第１の報酬値算出部８ａは、第１の割当結果取得部１から第１の割当結果Ｘａを取得する。
第１の報酬値算出部８ａは、第１の割当結果Ｘａを以下の式（６）に示すような報酬関数に与えて第１の報酬値Ｒａを算出する。
Ｒａ＝Ｒａｓｓｉｇｎａ＋α・Ｒｓｅｐａｒａｔｉｏｎａ （６）
式（６）において、Ｒａｓｓｉｇｎａは、それぞれの航空機の割当時刻が、適正な時刻であるか否かを評価するための評価値である。Ｒａｓｓｉｇｎａは、第１の割当結果Ｘａによって決まる値であり、それぞれの航空機の割当時刻が、割当可能な時刻の範囲内で早い時刻であるほど、大きな値になる。
Ｒｓｅｐａｒａｔｉｏｎａは、複数の航空機の割当間隔に関する評価値である。Ｒｓｅｐａｒａｔｉｏｎａは、第１の割当結果Ｘａによって決まる値であり、割当間隔が割当可能な最小間隔よりも大きければ、割当間隔が小さいほど、大きな値になる。
αは、重み係数である。
第１の報酬値算出部８ａは、第１の報酬値Ｒａを差分算出処理部８ｃに出力する。
第１の報酬値算出部８ａは、第１の割当結果Ｘａを以下の式（６）に示すような報酬関数に与えて第１の報酬値Ｒａを算出する。
Ｒａ＝Ｒａｓｓｉｇｎａ＋α・Ｒｓｅｐａｒａｔｉｏｎａ （６）
式（６）において、Ｒａｓｓｉｇｎａは、それぞれの航空機の割当時刻が、適正な時刻であるか否かを評価するための評価値である。Ｒａｓｓｉｇｎａは、第１の割当結果Ｘａによって決まる値であり、それぞれの航空機の割当時刻が、割当可能な時刻の範囲内で早い時刻であるほど、大きな値になる。
Ｒｓｅｐａｒａｔｉｏｎａは、複数の航空機の割当間隔に関する評価値である。Ｒｓｅｐａｒａｔｉｏｎａは、第１の割当結果Ｘａによって決まる値であり、割当間隔が割当可能な最小間隔よりも大きければ、割当間隔が小さいほど、大きな値になる。
αは、重み係数である。
第１の報酬値算出部８ａは、第１の報酬値Ｒａを差分算出処理部８ｃに出力する。
【0063】
第２の報酬値算出部８ｂは、第２の割当結果取得部２から第２の割当結果Ｘｂを取得する。
第２の報酬値算出部８ｂは、第２の割当結果Ｘｂを以下の式（７）に示すような報酬関数に与えて第２の報酬値Ｒｂを算出する。
Ｒｂ＝Ｒａｓｓｉｇｎｂ＋β・Ｒｓｅｐａｒａｔｉｏｎｂ （７）
式（７）において、Ｒａｓｓｉｇｎｂは、それぞれの航空機の割当時刻が、適正な時刻であるか否かを評価するための評価値である。Ｒａｓｓｉｇｎｂは、第２の割当結果Ｘｂによって決まる値であり、それぞれの航空機の割当時刻が、割当可能な時刻の範囲内で早い時刻であるほど、大きな値になる。
Ｒｓｅｐａｒａｔｉｏｎｂは、複数の航空機の割当間隔に関する評価値である。Ｒｓｅｐａｒａｔｉｏｎｂは、第２の割当結果Ｘｂによって決まる値であり、割当間隔が割当可能な最小間隔よりも大きければ、割当間隔が小さいほど、大きな値になる。
βは、重み係数である。
第２の報酬値算出部８ｂは、第２の報酬値Ｒｂを差分算出処理部８ｃに出力する。
第２の報酬値算出部８ｂは、第２の割当結果Ｘｂを以下の式（７）に示すような報酬関数に与えて第２の報酬値Ｒｂを算出する。
Ｒｂ＝Ｒａｓｓｉｇｎｂ＋β・Ｒｓｅｐａｒａｔｉｏｎｂ （７）
式（７）において、Ｒａｓｓｉｇｎｂは、それぞれの航空機の割当時刻が、適正な時刻であるか否かを評価するための評価値である。Ｒａｓｓｉｇｎｂは、第２の割当結果Ｘｂによって決まる値であり、それぞれの航空機の割当時刻が、割当可能な時刻の範囲内で早い時刻であるほど、大きな値になる。
Ｒｓｅｐａｒａｔｉｏｎｂは、複数の航空機の割当間隔に関する評価値である。Ｒｓｅｐａｒａｔｉｏｎｂは、第２の割当結果Ｘｂによって決まる値であり、割当間隔が割当可能な最小間隔よりも大きければ、割当間隔が小さいほど、大きな値になる。
βは、重み係数である。
第２の報酬値算出部８ｂは、第２の報酬値Ｒｂを差分算出処理部８ｃに出力する。
【0064】
差分算出処理部８ｃは、第１の報酬値算出部８ａから第１の報酬値Ｒａを取得し、第２の割当結果取得部２から第２の報酬値Ｒｂを取得する。
差分算出処理部８ｃは、以下の式（８）に示すように、第２の報酬値Ｒｂから第１の報酬値Ｒａを減算することで、第１の報酬値Ｒａと第２の報酬値Ｒｂとの報酬値差分ΔＲを算出する。
ΔＲｐｒｅｄ＝Ｒｂ－Ｒａ （８）
差分算出処理部８ｃは、報酬値差分ΔＲを報酬値差分予測部９の差分予測処理部１０に出力する。
差分算出処理部８ｃは、以下の式（８）に示すように、第２の報酬値Ｒｂから第１の報酬値Ｒａを減算することで、第１の報酬値Ｒａと第２の報酬値Ｒｂとの報酬値差分ΔＲを算出する。
ΔＲｐｒｅｄ＝Ｒｂ－Ｒａ （８）
差分算出処理部８ｃは、報酬値差分ΔＲを報酬値差分予測部９の差分予測処理部１０に出力する。
【0065】
差分予測処理部１０の第１の予測処理部１０ａは、第１の割当結果取得部１から第１の割当結果Ｘａを取得し、割当結果差異検出部５から差異情報ｄａｂを取得する。
第１の予測処理部１０ａは、差異情報ｄａｂが“１”であれば、第１の割当結果Ｘａを報酬値予測用の学習モデル１０ｃに与えて、学習モデル１０ｃから、第１の報酬値Ｒｐｒｅｄａを取得する。
第１の予測処理部１０ａは、第１の報酬値Ｒｐｒｅｄａを差分算出処理部１０ｄに出力する。
第１の予測処理部１０ａは、差異情報ｄａｂが“１”であれば、第１の割当結果Ｘａを報酬値予測用の学習モデル１０ｃに与えて、学習モデル１０ｃから、第１の報酬値Ｒｐｒｅｄａを取得する。
第１の予測処理部１０ａは、第１の報酬値Ｒｐｒｅｄａを差分算出処理部１０ｄに出力する。
【0066】
第２の予測処理部１０ｂは、第２の割当結果取得部２から第２の割当結果Ｘｂを取得し、割当結果差異検出部５から差異情報ｄａｂを取得する。
第２の予測処理部１０ｂは、差異情報ｄａｂが“１”であれば、第２の割当結果Ｘｂを報酬値予測用の学習モデル１０ｃに与えて、学習モデル１０ｃから、第２の報酬値Ｒｐｒｅｄｂを取得する。
第２の予測処理部１０ｂは、第２の報酬値Ｒｐｒｅｄｂを差分算出処理部１０ｄに出力する。
第２の予測処理部１０ｂは、差異情報ｄａｂが“１”であれば、第２の割当結果Ｘｂを報酬値予測用の学習モデル１０ｃに与えて、学習モデル１０ｃから、第２の報酬値Ｒｐｒｅｄｂを取得する。
第２の予測処理部１０ｂは、第２の報酬値Ｒｐｒｅｄｂを差分算出処理部１０ｄに出力する。
【0067】
差分算出処理部１０ｄは、第１の予測処理部１０ａから第１の報酬値Ｒｐｒｅｄａを取得し、第２の予測処理部１０ｂから第２の報酬値Ｒｐｒｅｄｂを取得する。
差分算出処理部１０ｄは、上記の式（５）に示すように、第２の報酬値Ｒｐｒｅｄｂから第１の報酬値Ｒｐｒｅｄａを減算することで、第１の報酬値Ｒｐｒｅｄａと第２の報酬値Ｒｐｒｅｄｂとの報酬値差分ΔＲｐｒｅｄを算出する。
差分算出処理部１０ｄは、報酬値差分ΔＲｐｒｅｄを割当結果選択部７に出力する。
差分算出処理部１０ｄは、上記の式（５）に示すように、第２の報酬値Ｒｐｒｅｄｂから第１の報酬値Ｒｐｒｅｄａを減算することで、第１の報酬値Ｒｐｒｅｄａと第２の報酬値Ｒｐｒｅｄｂとの報酬値差分ΔＲｐｒｅｄを算出する。
差分算出処理部１０ｄは、報酬値差分ΔＲｐｒｅｄを割当結果選択部７に出力する。
【0068】
第１の予測処理部１０ａ及び第２の予測処理部１０ｂのそれぞれは、差分算出処理部１０ｄにより算出された報酬値差分ΔＲｐｒｅｄと、報酬値差分算出部８の差分算出処理部８ｃにより算出された報酬値差分ΔＲとの差異が小さくなるように、学習モデル１０ｃを更新する。
具体的には、第１の予測処理部１０ａ及び第２の予測処理部１０ｂのそれぞれは、（ΔＲ－ΔＲｐｒｅｄ）２が最小になるように、学習モデル１０ｃの重みを更新する。
具体的には、第１の予測処理部１０ａ及び第２の予測処理部１０ｂのそれぞれは、（ΔＲ－ΔＲｐｒｅｄ）２が最小になるように、学習モデル１０ｃの重みを更新する。
【0069】
以上の実施の形態２では、第１の割当結果を報酬関数に与えて第１の報酬値を算出し、第２の割当結果を報酬関数に与えて第２の報酬値を算出し、第２の報酬値から第１の報酬値を減算することで、第１の報酬値と第２の報酬値との報酬値差分を算出する報酬値差分算出部８を備えるように、図１１に示す割当結果決定装置を構成した。また、図１１に示す割当結果決定装置は、報酬値差分予測部９が、予測した報酬値差分と、報酬値差分算出部８により算出された報酬値差分との差異が小さくなるように、学習モデル１０ｃを更新する。したがって、図１１に示す割当結果決定装置は、図１に示す割当結果決定装置よりも、割当結果の選択精度を高めることができる。
【0070】
実施の形態３．
実施の形態３では、ペナルティ値算出部１１を備える割当結果決定装置について説明する。
実施の形態３では、ペナルティ値算出部１１を備える割当結果決定装置について説明する。
【0071】
図１５は、実施の形態３に係る割当結果決定装置を示す構成図である。図１５において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
図１６は、実施の形態３に係る割当結果決定装置のハードウェアを示すハードウェア構成図である。図１６において、図２と同一符号は同一又は相当部分を示すので説明を省略する。
図１５に示す割当結果決定装置は、第１の割当結果取得部１、第２の割当結果取得部１５、変更コスト算出部３、報酬値差分予測部４、割当結果選択部７及びペナルティ値算出部１１を備えている。
図１６は、実施の形態３に係る割当結果決定装置のハードウェアを示すハードウェア構成図である。図１６において、図２と同一符号は同一又は相当部分を示すので説明を省略する。
図１５に示す割当結果決定装置は、第１の割当結果取得部１、第２の割当結果取得部１５、変更コスト算出部３、報酬値差分予測部４、割当結果選択部７及びペナルティ値算出部１１を備えている。
【0072】
ペナルティ値算出部１１は、例えば、図１６に示すペナルティ値算出回路３１によって実現される。
ペナルティ値算出部１１は、ペナルティ値算出処理部１２、目的関数値算出部１３及び関数値加算部１４を備えている。
ペナルティ値算出部１１は、割当結果選択部７により選択された割当結果に割当違反があれば、割当違反に対するペナルティ値を算出する。
ペナルティ値算出部１１は、ペナルティ値を第２の割当結果取得部１５に出力する。
ペナルティ値算出部１１は、ペナルティ値算出処理部１２、目的関数値算出部１３及び関数値加算部１４を備えている。
ペナルティ値算出部１１は、割当結果選択部７により選択された割当結果に割当違反があれば、割当違反に対するペナルティ値を算出する。
ペナルティ値算出部１１は、ペナルティ値を第２の割当結果取得部１５に出力する。
【0073】
ペナルティ値算出処理部１２は、割当結果選択部７により選択された割当結果に割当違反があれば、割当違反に対するペナルティ値を算出する。
ペナルティ値算出処理部１２は、ペナルティ値を関数値加算部１４に出力する。
目的関数値算出部１３は、割当結果選択部７により選択された割当結果を目的関数に与えて、目的関数の値である目的関数値を算出する。
目的関数値算出部１３は、目的関数値を関数値加算部１４に出力する。
関数値加算部１４は、ペナルティ値算出処理部１２により算出されたペナルティ値に対して、目的関数値算出部１３により算出された目的関数値を加算する。
関数値加算部１４は、目的関数値加算後のペナルティ値を第２の割当結果取得部１５に出力する。
ペナルティ値算出処理部１２は、ペナルティ値を関数値加算部１４に出力する。
目的関数値算出部１３は、割当結果選択部７により選択された割当結果を目的関数に与えて、目的関数の値である目的関数値を算出する。
目的関数値算出部１３は、目的関数値を関数値加算部１４に出力する。
関数値加算部１４は、ペナルティ値算出処理部１２により算出されたペナルティ値に対して、目的関数値算出部１３により算出された目的関数値を加算する。
関数値加算部１４は、目的関数値加算後のペナルティ値を第２の割当結果取得部１５に出力する。
【0074】
図１５に示す割当結果決定装置では、ペナルティ値算出部１１が、ペナルティ値算出処理部１２、目的関数値算出部１３及び関数値加算部１４を備えている。しかし、これは一例に過ぎず、例えば、ペナルティ値算出部１１が、ペナルティ値算出処理部１２、又は、目的関数値算出部１３のいずれか一方だけを備えるものであってもよい。ペナルティ値算出部１１が、ペナルティ値算出処理部１２のみを備える場合、ペナルティ値算出処理部１２により算出されたペナルティ値を第２の割当結果取得部１５に出力する。ペナルティ値算出部１１が、目的関数値算出部１３のみを備える場合、目的関数値をペナルティ値として第２の割当結果取得部１５に出力する。
【0075】
第２の割当結果取得部１５は、例えば、図１６に示す第２の割当結果取得回路３５によって実現される。
第２の割当結果取得部１５は、第２の時刻におけるスケジュール情報Ｓｂを第２の学習モデル１５ａに与えて、第２の学習モデル１５ａから第２の割当結果Ｘｂを取得する。
第２の割当結果取得部１５は、第２の割当結果Ｘｂを変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７のそれぞれに出力する。
また、第２の割当結果取得部１５は、ペナルティ値算出部１１により算出されたペナルティ値が小さくなるように、第２の学習モデル１５ａを更新する。
第２の割当結果取得部１５は、第２の時刻におけるスケジュール情報Ｓｂを第２の学習モデル１５ａに与えて、第２の学習モデル１５ａから第２の割当結果Ｘｂを取得する。
第２の割当結果取得部１５は、第２の割当結果Ｘｂを変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７のそれぞれに出力する。
また、第２の割当結果取得部１５は、ペナルティ値算出部１１により算出されたペナルティ値が小さくなるように、第２の学習モデル１５ａを更新する。
【0076】
第２の学習モデル１５ａは、学習時において、入力データとして、複数の航空機のスケジュール情報Ｓが与えられ、教師データとして、複数の航空機の離着陸の割り当て順序を示す割当結果Ｘが与えられ、割当結果Ｘを学習している。
第２の学習モデル１５ａは、推論時において、複数の航空機のスケジュール情報Ｓｂが与えられたとき、スケジュール情報Ｓｂに対応する第２の割当結果Ｘｂを出力する。
ここでは、第２の学習モデル１５ａが、教師あり学習によって学習している。しかし、これは一例に過ぎず、第２の学習モデル１５ａは、例えば、教師なし学習、強化学習、又は、数理最適化手法によって学習しているものであってもよい。
第２の学習モデル１５ａは、推論時において、複数の航空機のスケジュール情報Ｓｂが与えられたとき、スケジュール情報Ｓｂに対応する第２の割当結果Ｘｂを出力する。
ここでは、第２の学習モデル１５ａが、教師あり学習によって学習している。しかし、これは一例に過ぎず、第２の学習モデル１５ａは、例えば、教師なし学習、強化学習、又は、数理最適化手法によって学習しているものであってもよい。
【0077】
図１５に示す割当結果決定装置は、第２の割当結果取得部１５及びペナルティ値算出部１１のそれぞれが、図１に示す割当結果決定装置に適用されているものである。しかし、これは一例に過ぎず、第２の割当結果取得部１５及びペナルティ値算出部１１のそれぞれが、図１１に示す割当結果決定装置に適用されているものであってもよい。
【0078】
図１５では、割当結果決定装置の構成要素である第１の割当結果取得部１、第２の割当結果取得部１５、変更コスト算出部３、報酬値差分予測部４、割当結果選択部７及びペナルティ値算出部１１のそれぞれが、図１６に示すような専用のハードウェアによって実現されるものを想定している。即ち、割当結果決定装置が、第１の割当結果取得回路２１、第２の割当結果取得回路３５、変更コスト算出回路２３、報酬値差分予測回路２４、割当結果選択回路２７及びペナルティ値算出回路３１によって実現されるものを想定している。
第１の割当結果取得回路２１、第２の割当結果取得回路３５、変更コスト算出回路２３、報酬値差分予測回路２４、割当結果選択回路２７及びペナルティ値算出回路３１のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
第１の割当結果取得回路２１、第２の割当結果取得回路３５、変更コスト算出回路２３、報酬値差分予測回路２４、割当結果選択回路２７及びペナルティ値算出回路３１のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
【0079】
割当結果決定装置の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、割当結果決定装置が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
割当結果決定装置が、ソフトウェア又はファームウェア等によって実現される場合、第１の割当結果取得部１、第２の割当結果取得部１５、変更コスト算出部３、報酬値差分予測部４、割当結果選択部７及びペナルティ値算出部１１におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図３に示すメモリ４１に格納される。そして、図３に示すプロセッサ４２がメモリ４１に格納されているプログラムを実行する。
割当結果決定装置が、ソフトウェア又はファームウェア等によって実現される場合、第１の割当結果取得部１、第２の割当結果取得部１５、変更コスト算出部３、報酬値差分予測部４、割当結果選択部７及びペナルティ値算出部１１におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図３に示すメモリ４１に格納される。そして、図３に示すプロセッサ４２がメモリ４１に格納されているプログラムを実行する。
【0080】
また、図１６では、割当結果決定装置の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、割当結果決定装置がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、割当結果決定装置における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
【0081】
次に、図１５に示す割当結果決定装置の動作について説明する。ただし、ペナルティ値算出部１１及び第２の割当結果取得部１５以外は、図１に示す割当結果決定装置と同様である。このため、ここでは、ペナルティ値算出部１１及び第２の割当結果取得部１５の動作のみを説明する。
【0082】
ペナルティ値算出部１１のペナルティ値算出処理部１２は、割当結果選択部７により選択された割当結果Ｘｓｅｌとして、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂを取得する。
ペナルティ値算出処理部１２は、割当結果Ｘｓｅｌが示すそれぞれの航空機の割当時刻が、割当可能な時刻であるか否かを判定する。
図１７Ａは、割当可能な時刻と割当不可能な時刻とを示す説明図である。
図１７Ａにおいて、ｔ１，ｔ２，・・・・，ｔ８は、時刻であり、ｊ１，ｊ２，・・・・，ｊ５は、航空機を識別するＩＤである。
“０”は、割当不可能な時刻を示し、“１”は、割当可能な時刻を示している。
割当結果Ｘｓｅｌが示すそれぞれの航空機の割当時刻が、割当可能な時刻に割り当てられていれば、割当結果に割当違反がなく、割当不可能な時刻に割り当てられていれば、割当結果に割当違反がある。
ペナルティ値算出処理部１２は、割当結果Ｘｓｅｌが示すそれぞれの航空機の割当時刻が、割当可能な時刻であるか否かを判定する。
図１７Ａは、割当可能な時刻と割当不可能な時刻とを示す説明図である。
図１７Ａにおいて、ｔ１，ｔ２，・・・・，ｔ８は、時刻であり、ｊ１，ｊ２，・・・・，ｊ５は、航空機を識別するＩＤである。
“０”は、割当不可能な時刻を示し、“１”は、割当可能な時刻を示している。
割当結果Ｘｓｅｌが示すそれぞれの航空機の割当時刻が、割当可能な時刻に割り当てられていれば、割当結果に割当違反がなく、割当不可能な時刻に割り当てられていれば、割当結果に割当違反がある。
【0083】
図１７Ｂは、ペナルティ表を示す説明図である。
図１７Ｂに示すペナルティ表は、割当可能な時刻に割り当てられた場合のペナルティ値と、割当不可能な時刻に割り当てられた場合のペナルティ値とを示している。
図１７Ｂの例では、割当可能な時刻に割り当てられた場合のペナルティ値は、“０”であり、割当不可能な時刻に割り当てられた場合のペナルティ値は、マイナスの値である。
例えば、割当可能な時刻よりも早い時刻に割り当てられた場合のペナルティ値は、割当可能な時刻よりも早い時刻の割当ほど、絶対値が大きい。
ペナルティ値算出処理部１２は、割当違反があれば、図１７Ｂに示すペナルティ表を参照して、ペナルティ値ｐを算出する。
例えば、航空機ｊ２が時刻ｔ２に割り当てられる割当違反と、航空機ｊ３が時刻ｔ５に割り当てられる割当違反とがあれば、ペナルティ値ｐは、－５１０（＝－５００－１０）になる。
例えば、航空機ｊ５が時刻ｔ６に割り当てられる割当違反のみがあれば、ペナルティ値ｐは、－５になる。
ペナルティ値算出処理部１２は、ペナルティ値ｐを関数値加算部１４に出力する。
図１７Ｂに示すペナルティ表は、割当可能な時刻に割り当てられた場合のペナルティ値と、割当不可能な時刻に割り当てられた場合のペナルティ値とを示している。
図１７Ｂの例では、割当可能な時刻に割り当てられた場合のペナルティ値は、“０”であり、割当不可能な時刻に割り当てられた場合のペナルティ値は、マイナスの値である。
例えば、割当可能な時刻よりも早い時刻に割り当てられた場合のペナルティ値は、割当可能な時刻よりも早い時刻の割当ほど、絶対値が大きい。
ペナルティ値算出処理部１２は、割当違反があれば、図１７Ｂに示すペナルティ表を参照して、ペナルティ値ｐを算出する。
例えば、航空機ｊ２が時刻ｔ２に割り当てられる割当違反と、航空機ｊ３が時刻ｔ５に割り当てられる割当違反とがあれば、ペナルティ値ｐは、－５１０（＝－５００－１０）になる。
例えば、航空機ｊ５が時刻ｔ６に割り当てられる割当違反のみがあれば、ペナルティ値ｐは、－５になる。
ペナルティ値算出処理部１２は、ペナルティ値ｐを関数値加算部１４に出力する。
【0084】
ここでは、ペナルティ値算出処理部１２が、図１７Ｂに示すペナルティ表を参照して、ペナルティ値を算出している。しかし、これは一例に過ぎず、例えば、ペナルティ値算出処理部１２は、割当結果Ｘｓｅｌを以下の式（９）に示すようなペナルティ関数ｐ（Ｘｓｅｌ）に与えて、ペナルティ関数ｐ（Ｘｓｅｌ）の値であるペナルティ値ｐを算出するようにしてもよい。
【0085】
式（９）において、ペナルティ関数ｐ（Ｘｓｅｌ）は、減衰関数であり、割当違反がなければ、０である。
γｊは係数であり、ｊ＝ｊ１，ｊ２，・・・・，Ｊである。
【0086】
目的関数値算出部１３は、割当結果選択部７により選択された割当結果Ｘｓｅｌとして、第１の割当結果Ｘａ、又は、第２の割当結果Ｘｂを取得する。
目的関数値算出部１３は、割当結果Ｘｓｅｌを以下の式（１０）に示すような目的関数ｆ（Ｘｓｅｌ）に与えて、目的関数ｆ（Ｘｓｅｌ）の値である目的関数値ｆを算出する。
ｆ（Ｘｓｅｌ）＝ｆａｓｓｉｇｎ＋ε・ｆｓｅｐａｒａｔｉｏｎ （１０）
式（１０）において、ｆａｓｓｉｇｎは、割当結果Ｘｓｅｌによって決まる値である。ｆａｓｓｉｇｎは、割当結果Ｘｓｅｌが示すそれぞれの航空機の割当時刻が、割当可能な時刻の範囲内であれば、割当時刻が割当可能時刻の範囲内で早い時刻であるほど、大きな値になる。割当結果Ｘｓｅｌが示すそれぞれの航空機の割当時刻が、割当不可能な時刻であれば、ｆａｓｓｉｇｎは、－１０００等の小さな値になる。
ｆｓｅｐａｒａｔｉｏｎは、割当結果Ｘｓｅｌによって決まる値である。ｆｓｅｐａｒａｔｉｏｎは、割当間隔が割当可能な最小間隔よりも大きければ、割当間隔が小さいほど、大きな値になる。割当間隔が割当可能な最小間隔よりも小さければ、ｆｓｅｐａｒａｔｉｏｎは、－１０００等の小さな値になる。
εは、重み係数である。
目的関数値算出部１３は、目的関数値ｆを関数値加算部１４に出力する。
目的関数値算出部１３は、割当結果Ｘｓｅｌを以下の式（１０）に示すような目的関数ｆ（Ｘｓｅｌ）に与えて、目的関数ｆ（Ｘｓｅｌ）の値である目的関数値ｆを算出する。
ｆ（Ｘｓｅｌ）＝ｆａｓｓｉｇｎ＋ε・ｆｓｅｐａｒａｔｉｏｎ （１０）
式（１０）において、ｆａｓｓｉｇｎは、割当結果Ｘｓｅｌによって決まる値である。ｆａｓｓｉｇｎは、割当結果Ｘｓｅｌが示すそれぞれの航空機の割当時刻が、割当可能な時刻の範囲内であれば、割当時刻が割当可能時刻の範囲内で早い時刻であるほど、大きな値になる。割当結果Ｘｓｅｌが示すそれぞれの航空機の割当時刻が、割当不可能な時刻であれば、ｆａｓｓｉｇｎは、－１０００等の小さな値になる。
ｆｓｅｐａｒａｔｉｏｎは、割当結果Ｘｓｅｌによって決まる値である。ｆｓｅｐａｒａｔｉｏｎは、割当間隔が割当可能な最小間隔よりも大きければ、割当間隔が小さいほど、大きな値になる。割当間隔が割当可能な最小間隔よりも小さければ、ｆｓｅｐａｒａｔｉｏｎは、－１０００等の小さな値になる。
εは、重み係数である。
目的関数値算出部１３は、目的関数値ｆを関数値加算部１４に出力する。
【0087】
関数値加算部１４は、ペナルティ値算出処理部１２からペナルティ値ｐを取得し、目的関数値算出部１３から目的関数値ｆを取得する。
関数値加算部１４は、以下の式（１１）に示すように、ペナルティ関数ｐと目的関数値ｆとを重み付け加算する。
ｐ’＝ｐ＋δ・ｆ （１１）
式（１１）において、δは、重み係数である。
関数値加算部１４は、目的関数値加算後のペナルティ値ｐ’を第２の割当結果取得部１５に出力する。
関数値加算部１４は、以下の式（１１）に示すように、ペナルティ関数ｐと目的関数値ｆとを重み付け加算する。
ｐ’＝ｐ＋δ・ｆ （１１）
式（１１）において、δは、重み係数である。
関数値加算部１４は、目的関数値加算後のペナルティ値ｐ’を第２の割当結果取得部１５に出力する。
【0088】
第２の割当結果取得部１５は、ペナルティ値算出部１１からペナルティ値ｐ’が与えられると、ペナルティ値ｐ’が小さくなるように、第２の学習モデル１５ａを更新する。
第２の割当結果取得部１５は、第２の時刻におけるスケジュール情報Ｓｂが与えられると、スケジュール情報Ｓｂを第２の学習モデル１５ａに与えて、第２の学習モデル１５ａから第２の割当結果Ｘｂを取得する。
第２の割当結果取得部１５は、第２の割当結果Ｘｂを変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７のそれぞれに出力する。
第２の割当結果取得部１５は、第２の時刻におけるスケジュール情報Ｓｂが与えられると、スケジュール情報Ｓｂを第２の学習モデル１５ａに与えて、第２の学習モデル１５ａから第２の割当結果Ｘｂを取得する。
第２の割当結果取得部１５は、第２の割当結果Ｘｂを変更コスト算出部３、報酬値差分予測部４及び割当結果選択部７のそれぞれに出力する。
【0089】
以上の実施の形態３では、割当結果選択部７により選択された割当結果に割当違反があれば、割当違反に対するペナルティ値を算出するペナルティ値算出部１１を備えように、図１５に示す割当結果決定装置を構成した。また、図１５に示す割当結果決定装置は、第２の割当結果取得部１５が、ペナルティ値算出部１１により算出されたペナルティ値が小さくなるように、第２の学習モデル１５ａを更新する。したがって、図１５に示す割当結果決定装置は、図１に示す割当結果決定装置よりも、割当結果の選択精度を高めることができる。
【0090】
なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【0091】
本開示は、割当結果決定装置及び割当結果決定方法に適している。
【符号の説明】
【0092】
１ 第１の割当結果取得部、１ａ 第１の学習モデル、２ 第２の割当結果取得部、２ａ 第２の学習モデル、３ 変更コスト算出部、４ 報酬値差分予測部、５ 割当結果差異検出部、６ 差分予測処理部、６ａ 第１の予測処理部、６ｂ 第２の予測処理部、６ｃ 学習モデル、６ｄ 差分算出処理部、７ 割当結果選択部、８ 報酬値差分算出部、８ａ 第１の報酬値算出部、８ｂ 第２の報酬値算出部、８ｃ 差分算出処理部、９ 報酬値差分予測部、１０ 差分予測処理部、１０ａ 第１の予測処理部、１０ｂ 第２の予測処理部、１０ｃ 学習モデル、１０ｄ 差分算出処理部、１１ ペナルティ値算出部、１２ ペナルティ値算出処理部、１３ 目的関数値算出部、１４ 関数値加算部、１５ 第２の割当結果取得部、１５ａ 第２の学習モデル、２１ 第１の割当結果取得回路、２２ 第２の割当結果取得回路、２３ 変更コスト算出回路、２４ 報酬値差分予測回路、２７ 割当結果選択回路、２８ 報酬値差分算出回路、２９ 報酬値差分予測回路、３１ ペナルティ値算出回路、３５ 第２の割当結果取得回路、４１ メモリ、４２ プロセッサ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】