(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-08
(45)【発行日】2024-04-16
(54)【発明の名称】待機位置決定装置、および搬送システム
(51)【国際特許分類】
G05D 1/24 20240101AFI20240409BHJP
G05D 1/221 20240101ALI20240409BHJP
G05D 1/43 20240101ALI20240409BHJP
【FI】
G05D1/24
G05D1/221
G05D1/43
(21)【出願番号】P 2020133334
(22)【出願日】2020-08-05
【審査請求日】2023-06-23
(73)【特許権者】
【識別番号】000006297
【氏名又は名称】村田機械株式会社
(74)【代理人】
【識別番号】100109210
【氏名又は名称】新居 広守
(72)【発明者】
【氏名】後藤 歩
【審査官】田中 友章
(56)【参考文献】
【文献】特開2009-215032(JP,A)
【文献】特開平9-152913(JP,A)
【文献】国際公開第2019/244910(WO,A1)
【文献】特開2018-25847(JP,A)
【文献】米国特許出願公開第2020/0019183(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G05D 1/00
(57)【特許請求の範囲】
【請求項1】
複数箇所に配置されるステーションと、前記ステーションの一つから他の前記ステーションまで荷物を搬送する指示が含まれる搬送要求に基づき自律的に荷物を搬送する複数台の搬送車とを備える搬送システムに対し、前記搬送車の待機位置を決定する待機位置決定装置であって、
搬送要求によってそれぞれの前記ステーションが搬送元となる確率を前記ステーションのそれぞれについて取得する確率取得部と、
各前記搬送車が搬送に要した時間の前記搬送車のそれぞれ積算である積算時間を取得する積算時間取得部と、
前記搬送車のそれぞれの位置を示す搬送車位置を取得する位置情報取得部と、
所定の搬送要求に基づいて各搬送車が現在位置から荷物の搬送元ステーションへの移動に要する時間を少なくとも含む予想時間を取得する予想時間取得部と、
前記搬送車のそれぞれの前記積算時間の相互の差分が小さくなり、かつ前記積算時間の和が少なくなるように各待機位置について非線形の演算により状態行動価値を算出する価値算出部と、
各前記搬送車の積算時間、および各待機位置の状態行動価値に基づき前記搬送車の待機位置を決定する待機位置決定部と、
を備える待機位置決定装置。
【請求項2】
搬送要求が発生するたびに待機位置を決定する
請求項1に記載の待機位置決定装置。
【請求項3】
前記待機位置決定部は、
搬送要求が割り付けられていない前記搬送車のうち積算時間が最も短い前記搬送車の待機位置を状態行動価値の最も高い待機位置に決定する
請求項1または2に記載の待機位置決定装置。
【請求項4】
前記価値算出部は、
強化学習により状態行動価値であるQ値を算出する、
請求項1から3のいずれか一項に記載の待機位置決定装置。
【請求項5】
複数箇所に配置されるステーションと、
前記ステーションの一つから他の前記ステーションまで荷物を搬送する指示が含まれる搬送要求に基づき自律的に荷物を搬送する複数台の搬送車と、
搬送要求によってそれぞれの前記ステーションが搬送元となる確率を前記ステーションのそれぞれについて取得する確率取得部と、
各前記搬送車が搬送に要した時間の前記搬送車のそれぞれ積算である積算時間を取得する積算時間取得部と、
前記搬送車のそれぞれの位置を示す搬送車位置を取得する位置情報取得部と、
所定の搬送要求に基づいて各搬送車が現在位置から荷物の搬送元ステーションへの移動に要する時間を少なくとも含む予想時間を取得する予想時間取得部と、
前記搬送車のそれぞれの前記積算時間の相互の差分が小さくなり、かつ前記積算時間の和が少なくなるように各待機位置について非線形の演算により状態行動価値を算出する価値算出部と、
各前記搬送車の積算時間、および各待機位置の状態行動価値に基づき前記搬送車の待機位置を決定する待機位置決定部と、
を備える搬送システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、搬送要求に基づき自律的に荷物を搬送する複数台の搬送車を備える搬送システム、および搬送車の待機位置を決定する待機位置決定装置に関する。
【背景技術】
【0002】
従来、所定のステーションから荷物を受け取り、他のステーションまで荷物を搬送して当該ステーションに荷物を受け渡すことができる複数の無人搬送車を備えた搬送システムが存在している。
【0003】
このような搬送システムにおいては、例えば、無人搬送車の一日の稼働時間が均等になるように搬送要求と、充電タイミングと、を無人搬送車に割り付けることにより荷物の処理量の増減に対応する技術が提案されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが、複数の無人搬送車の稼働時間を均一にすると、荷物を受け取るステーションから遠い位置で待機している無人搬送車に搬送要求が割り付けられる場合があるなど、搬送効率の低下を招く可能性がある。
【0006】
本発明は、上記課題に鑑みなされたものであり、搬送効率の低下を抑制しつつ複数の無人搬送車の稼働時間の均一化を図ることができる待機位置決定装置、および搬送システムの提供を目的としている。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の1つである待機位置決定装置は、複数箇所に配置されるステーションと、前記ステーションの一つから他の前記ステーションまで荷物を搬送する指示が含まれる搬送要求に基づき自律的に荷物を搬送する複数台の搬送車とを備える搬送システムに対し、前記搬送車の待機位置を決定する待機位置決定装置であって、搬送要求によってそれぞれの前記ステーションが搬送元となる確率を前記ステーションのそれぞれについて取得する確率取得部と、各前記搬送車が搬送に要した時間の前記搬送車のそれぞれ積算である積算時間を取得する積算時間取得部と、前記搬送車のそれぞれの位置を示す搬送車位置を取得する位置情報取得部と、所定の搬送要求に基づいて各搬送車が現在位置から荷物の搬送元ステーションへの移動に要する時間を少なくとも含む予想時間を取得する予想時間取得部と、前記搬送車のそれぞれの前記積算時間の相互の差分が小さくなり、かつ前記積算時間の和が少なくなるように各待機位置について非線形の演算により状態行動価値を算出する価値算出部と、各前記搬送車の積算時間、および各待機位置の状態行動価値に基づき前記搬送車の待機位置を決定する待機位置決定部と、を備える。
【0008】
また、上記目的を達成するために、本発明の他の1つである搬送システムは、複数箇所に配置されるステーションと、前記ステーションの一つから他の前記ステーションまで荷物を搬送する指示が含まれる搬送要求に基づき自律的に荷物を搬送する複数台の搬送車と、搬送要求によってそれぞれの前記ステーションが搬送元となる確率を前記ステーションのそれぞれについて取得する確率取得部と、各前記搬送車が搬送に要した時間の前記搬送車のそれぞれ積算である積算時間を取得する積算時間取得部と、前記搬送車のそれぞれの位置を示す搬送車位置を取得する位置情報取得部と、所定の搬送要求に基づいて各搬送車が現在位置から荷物の搬送元ステーションへの移動に要する時間を少なくとも含む予想時間を取得する予想時間取得部と、前記搬送車のそれぞれの前記積算時間の相互の差分が小さくなり、かつ前記積算時間の和が少なくなるように各待機位置について非線形の演算により状態行動価値を算出する価値算出部と、各前記搬送車の積算時間、および各待機位置の状態行動価値に基づき前記搬送車の待機位置を決定する待機位置決定部と、を備える。
【発明の効果】
【0009】
本発明によれば、稼働効率の均一化と高い搬送効率の確保とを両立できるように搬送車の待機位置を最適化できる。
【図面の簡単な説明】
【0010】
【
図1】
図1は、搬送システムの全体構成を示す平面図である。
【
図2】
図2は、待機位置決定装置の各構成を示すブロック図である。
【
図3】
図3は、搬送システムの全体構成を示す平面図である。
【発明を実施するための形態】
【0011】
以下に、本発明に係る待機位置決定装置、および搬送システムの実施の形態について、図面を参照しつつ説明する。なお、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の位置関係、および接続状態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下では複数の発明を一つの実施の形態として説明する場合があるが、請求項に記載されていない構成要素については、その請求項に係る発明に関しては任意の構成要素であるとして説明している。また、図面は、本発明を説明するために適宜強調や省略、比率の調整を行った模式的な図となっており、実際の形状や位置関係、比率とは異なる場合がある。
【0012】
図1は、搬送システムの全体構成を示す平面図である。搬送システム100は、第一ステーション111-第四ステーション114(これらをステーションと総称する場合がある。)と、第一搬送車121-第三搬送車123(これらを搬送車と総称する場合がある。)と、待機位置決定装置130とを備えている。なお、
図1中に示すX軸、Y軸は、ステーションや待機位置の座標を示すための仮想的な軸である。本実施の形態では、搬送エリアを9×10の90マスに分割している。一マスは、搬送車が1台配置できる大きさとしている。
【0013】
ステーションは、荷物200を搬送車に受け渡し、また荷物200を搬送車から受け取る設備である。ステーションの種類は、特に限定されるものではないが、例えばコンベアなどを例示することができる。また、受け渡し専用、または受け取り専用のステーションが存在してもよく、受け渡し、および受け取りが可能なステーションが存在してもよい。ステーションは、搬送車との間で荷物200を受け渡すことができる移載装置を備えてもよい。
【0014】
本実施の形態の場合、第一ステーション111-第四ステーション114は、受け渡し、および受け取りの両方が可能なステーションとして説明する。第一ステーション111-第四ステーション114は、搬送車が走行できる矩形領域の周縁に分散して配置されている。
【0015】
搬送車は、ステーションの一つから他のステーションまで荷物200を搬送する指示が含まれる搬送要求に基づき自律的に荷物200を搬送する自走式の台車である。搬送車の種類は特に限定されるものではなく、床面を自在に走行できる搬送車、磁気マーカ、白線などの目印を辿って走行する搬送車、格子状の軌道を走行し交差点で任意の軌道を選択する有軌道の搬送車などを例示できる。
【0016】
本実施の形態の場合、第一搬送車121-第三搬送車123は、自己位置を認識しながら自律的に床面を無人状態で走行する無人走行車であり、荷物200を載置状態で保持して搬送する。第一搬送車121-第三搬送車123は、ステーションとの間で荷物200を移載することができる移載装置を備えている。
【0017】
図2は、待機位置決定装置の各構成を示すブロック図である。待機位置決定装置130は、搬送システム100において、搬送車の待機位置を決定する。本実施の形態の場合、待機位置決定装置130は、コンピュータに待機位置決定プログラムを実行させることにより実現されるコントローラであり、処理部として確率取得部131と、積算時間取得部132と、位置情報取得部133と、予想時間取得部134と、価値算出部135と、待機位置決定部136と、通信部137と、記憶部138と、を備えている。
【0018】
確率取得部131は、搬送要求によってそれぞれのステーションが搬送元となる確率を第一ステーション111-第四ステーション114のそれぞれについて取得する。取得された確率は、各ステーションに紐付けられた状態で記憶部138に記憶される。確率取得部131の確率の取得方法は、特に限定されるものではなく、上位コンピュータ等などから取得しても構わない。また、確率取得部131は、搬送要求を上位コンピュータ等から取得する度に第一ステーション111-第四ステーション114のいずれが搬送元かを自らカウントして集計することにより確率を取得しても構わない。また、確率取得部131は、時間帯、季節などに基づき取得した確率を調整しても構わない。また、確率取得部131は、作業者などからの入力に基づき確率を取得しても構わない。確率取得部131が取得する確率をPj(t)と表す。jは、ステーションを識別する自然数(j=1,…,M)である。本実施の形態の場合、M=4である。tは、搬送要求が出される度にカウントアップ(またはダウンでもよい)される自然数である。
【0019】
積算時間取得部132は、各搬送車が搬送に要した時間の搬送車のそれぞれ積算である積算時間を取得する。取得された積算時間は各搬送車に紐付けられて記憶部138に記憶される。搬送に要した時間とは、それぞれの搬送車の現在位置から荷物200の搬送元ステーションへの移動時間、搬送車がステーションから荷物200を受け取ってから荷物200の受け渡し先であるステーションに到着するまでの移動時間の少なくとも一方を含む。さらに、搬送に要した時間には、ステーションから搬送車への荷物200の移載(荷つかみ)にかかる移載時間、搬送車からステーションへの荷物200の移載(荷おろし)にかかる移載時間、および待機位置への移動時間の少なくとも1つを含めても構わない。積算時間をsum_costVk(t)と表す。kは搬送車を識別する自然数(k=1,…,N)である。本実施の形態の場合、N=3である。
【0020】
積算時間は、所定の期間内における積算でもよく、搬送システム100の稼働開始から現在に至るまでの積算時間でも構わない。
【0021】
位置情報取得部133は、搬送車のそれぞれの位置を示す搬送車位置を取得する。位置情報取得部133の搬送車位置の取得方法は特に限定されるものではなく、搬送車を統括して管理する管理コントローラから各搬送車の搬送車位置を取得しても構わない。本実施の形態の場合、搬送車は、自己位置を認識しながら自律的に走行する装置であるため、位置情報取得部133は、通信部137を介して各搬送車から搬送車を示す識別子と共に自己位置を受信しそれぞれの搬送車の搬送車位置を取得する。
【0022】
予想時間取得部134は、所定の搬送要求に基づいて各搬送車が荷物200の搬送に要する時間を示す予想時間を取得する。予想時間取得部134の予想時間の取得方法は、特に限定されるものではなく、上位コンピュータ等などから取得しても構わない。また、予想時間取得部134が、出された搬送要求に含まれる搬送元のステーションの位置、搬送先のステーションの位置、位置情報取得部133が取得した搬送車位置等に基づき自ら算出して予想時間を取得しても構わない。予想時間取得部134が取得する予想時間をtemp_costVijと表す。iは、待機位置の候補点を識別する自然数(i=1,…,L)である。jは、搬送要求に含まれる搬送元ステーションを識別する自然数(j=1,…,M)である。本実施の形態の場合、M=4である。本実施の形態の場合、N=3である。
【0023】
なお、予想時間は、それぞれの搬送車の現在位置から荷物200の搬送元ステーションへの移動時間を少なくとも含む。さらに、予想時間には、搬送車が搬送元ステーションから搬送先ステーションまでの移動時間、搬送元ステーションから搬送車への荷物200の移載(荷つかみ)にかかる移載時間、搬送車から搬送先ステーションへの荷物200の移載(荷おろし)にかかる移載時間、および待機位置への移動時間の少なくとも1つを含めても構わない。予想時間の内容は積算時間の内容と一致させても構わない。
【0024】
価値算出部135は、搬送車のそれぞれの積算時間の相互の差分が小さくなり、かつ積算時間の和が少なくなるように各待機位置について非線形の演算により状態行動価値を算出する。例えば待機位置は、搬送車の走行、および停止が認められているエリア内であれば任意に設定される。待機位置は、
図1に示すような直交するX軸、Y軸をエリア内に仮想的に設定し、X座標、Y座標により特定すればよい。なお、待機位置の数が多いと状態行動価値の算出に時間がかかるため、2つの搬送車を隣り合わせで配置できる間隔程度のメッシュにより待機位置を設定してもよい。
【0025】
本実施の形態の場合、価値算出部135は、強化学習により状態行動価値であるQ値を算出する。強化学習の種類は特に限定されるものではないが、本実施の形態の場合、強化学習としてQ学習を採用している。Q学習に用いるQ更新式は、Qi(t+1)=(1-α)*Qi(t)+α*(R+γ*Ei[Q])・・・式(1)である。i=1,…,Lである。アスタリスクは乗算を示す。Qi(t+1)は次ステップのQ値、Qi(t)は現ステップのQ値である。αは学習率、γは割引率であり、任意に設定される。
【0026】
報酬Rは、任意の数式で与えることができるが、本実施の形態の場合、報酬は、R=-Σ(sum_costVk(t))^2/(Σsum_costVk(t))^2・・・式(2)で与えられる。Σは、全ての搬送車についての総和を示す。^はべき乗である。
【0027】
期待値Ei[Q]は、任意の数式で与えることができるが、本実施の形態の場合、期待値は、Ei[Q]=-Σ(Ei[sum_costVk(t)])^2/(ΣEi[sum_costVk(t)])^2・・・式(3)で与えられる。Σは、全ての搬送車についての総和を示す。
【0028】
Ei[sum_costVk(t)]=sum_costVk(t)+ΣPj(t)*(temp_costVij)・・・式(4)。i=1,…,Lである。k=1,…,Nである。なお、式(4)におけるΣは、全てのステーションについての総和を示す。
【0029】
本実施の形態の場合、搬送要求が出されるたびに、以上の式(1)-(4)についての計算を行って各待機位置のQ値を算出する。
【0030】
待機位置決定部136は、各搬送車の積算時間、および各待機位置の状態行動価値に基づき前記搬送車の待機位置を決定する。本実施の形態の場合、待機位置決定部136は、搬送要求が割り付けられていない搬送車のうち積算時間が最も短い搬送車の待機位置をQ値が最も高い待機位置に決定する。
【0031】
なお、待機位置決定部136は、待機位置を決定した搬送車に対し通信部137を介して待機位置を通知しても構わない。また、上位のコントローラに通知しても構わない。
【0032】
搬送システム100は、積算時間が最も短い搬送車を待機位置決定部136が決定した待機位置に待機させることで、各搬送車の積算時間の均一化を図ることができる。また、全搬送車の積算時間の総和が少なくなる。つまり、複数の搬送要求を実行することにより全体的な搬送効率の向上を図ることができる。
【0033】
次に前記実施の形態において、上記式(1)~(4)を利用して、搬送車の待機位置を決定する方法を説明する。
【0034】
図1に示すように、本実施の形態では、搬送システム100は、第一搬送車-第三搬送車を備え、第一ステーション-第四ステーションを備えている。なお、以下の決定手順は、
図3に示すように符合の代わりに各搬送車の中央、および各ステーションの中央に附した数字によりそれぞれを区別している。また、搬送エリアは、各ステーションの荷物200の移載位置を含む矩形であり、9×10の90マスに分割する。一マスは、搬送車が1台配置できる大きさとしている。
【0035】
第一搬送車へ搬送要求が割り付けられたタイミングであるとする。このタイミングにおいて、待機位置決定装置130は、総搬送時間が最も短い第二搬送車の待機ポイントを、上記式(1)~(4)を利用して決定する。以下に決定手順を示す。
【0036】
(手順1)
第二搬送車の現在位置(2,3)において、各ステーションへの移動時間(temp_costVij)を求める。
【0037】
j=1のときtemp_costVij=12s
j=2のときtemp_costVij=7s
j=3のときtemp_costVij=3s
j=4のときtemp_costVij=3s
【0038】
(手順2)
任意の方法で、各ステーション.からの要求発生確率Pjを取得する。
【0039】
j=1のとき第一ステーション=30%
j=2のとき第二ステーション=25%
j=3のとき第三ステーション=25%
j=4のとき第四ステーション=20%
【0040】
(手順3)
現時点(第一搬送車へ搬送要求が割り付けられたタイミング)での各搬送車の搬送積算時間sum_costVkを取得する。
【0041】
k=1のとき第一搬送車=50s
k=2のとき第二搬送車=0s
k=3のとき第三搬送車=100s
【0042】
(手順4)
前回の待機ポイント更新計算での計算結果Qi(t)を取得する。
【0043】
(手順5)
式(2)により報酬Rを計算する。
【0044】
報酬Rは、各搬送車の搬送積算時間の差が小さいほど大きな値となる。
【0045】
(手順6)
式(4)の「Pj(t)*(temp_costVij)」を計算する。
【0046】
例えば、j=2(第二ステーションから搬送指令が出ると予測)のとき、(2,3)におけるPj(t)*(temp_costVij)
25%×7s(第二ステーションまでの移動時間)=1.75
以上の計算を各座標(i)に対して行う。
【0047】
(手順7)
式(4)のEi[sum_costVk(t)]を計算する。
【0048】
待機ポイントを更新する号機(第二搬送車)においては、すべての場所に対してEi[sum_costVk(t)]を計算する。
【0049】
その他の第一搬送車(4,9),3号機(7,4)については、現在位置のみの計算でよい。
【0050】
例えば、k=2のときの(4,4)におけるEi[sum_costVk(t)]
0(搬送積算時間)+2.7(手順6で計算した値)+1.5+1+0.8=6
k=2,(4,5)におけるEi[sum_costVk(t)]=6
以上の計算を各座標(i)に対して行う。
【0051】
(手順8)
Ei[Q]について、各座標(i)で計算する。第一搬送車(4,9),3号機(7,4)は、現在位置の値。
【0052】
例えば、(2,3)⇒-0.50294
(3,3)⇒-0.50624
以上の計算を各座標(i)に対して行う。
【0053】
(手順9)
α=0.5、γ=0.5として、Qi(t+1)について各座標(i)で計算する。
【0054】
例えば、(5,10)⇒-0.40441
(8,10)⇒-0.40551
以上の計算を各座標(i)に対して行う。
【0055】
(結果)
Qi(t+1)が最も大きな値となる位置(5,10)を第二搬送車の待機ポイントとする。
【0056】
なお、本発明は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本発明の実施の形態としてもよい。また、上記実施の形態に対して本発明の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本発明に含まれる。
【0057】
例えば待機位置決定装置130が取得する複数の情報は、搬送システム100を実際に稼働させた結果として取得してもよいが、前記情報の少なくとも一部を搬送システム100のシミュレーションに基づき取得しても構わない。
【0058】
また、搬送車がそれぞれ自己の積算時間を保持しておき、予想時間取得部134は、各搬送車から通信部137を介して予想時間を取得してもよい。
【0059】
また、待機位置決定部136は、積算時間が最も短い搬送車の待機位置をQ値が最も高い待機位置に決定し、積算時間が次に短い搬送車の待機位置をQ値が次に高い待機位置に決定してもよい。また、積算時間の短い順に高いQ値の待機位置を順に決定しても構わない。
【産業上の利用可能性】
【0060】
本発明は、搬送元のステーションを複数備える無人搬送システムなどに利用可能である。
【符号の説明】
【0061】
100 搬送システム
111 第一ステーション
114 第四ステーション
121 第一搬送車
123 第三搬送車
130 待機位置決定装置
131 確率取得部
132 積算時間取得部
133 位置情報取得部
134 予想時間取得部
135 価値算出部
136 待機位置決定部
137 通信部
138 記憶部
200 荷物