(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-17
(45)【発行日】2024-01-25
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
B65G 1/137 20060101AFI20240118BHJP
B66F 9/24 20060101ALI20240118BHJP
【FI】
B65G1/137 B
B66F9/24 Z
(21)【出願番号】P 2019232022
(22)【出願日】2019-12-23
【審査請求日】2022-11-29
(73)【特許権者】
【識別番号】000191076
【氏名又は名称】日鉄ソリューションズ株式会社
(74)【代理人】
【識別番号】100117857
【氏名又は名称】南林 薫
(72)【発明者】
【氏名】小宮山 正知
【審査官】福島 和幸
(56)【参考文献】
【文献】特開2018-158779(JP,A)
【文献】国際公開第2018/066230(WO,A1)
【文献】特開2016-050106(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B65G 1/137
B66F 9/24
(57)【特許請求の範囲】
【請求項1】
保持部により物品を保持した状態で移動可能に構成された運搬装置の、当該保持部の少なくとも一部の周囲の状態の検知結果に応じた状態情報を取得する取得手段と、
前記状態情報に基づき、前記運搬装置により運搬された前記物品が載置された載置領域に対する、当該物品の載置状態を認識する認識手段と、
運搬の対象となる1以上の物品それぞれについて、前記認識の結果に基づき、当該1以上の物品それぞれの前記載置状態を管理する管理手段と、
を備え、
前記管理手段は、前記載置状態の認識結果に応じた情報を時系列に沿って管理する、
情報処理装置。
【請求項2】
前記認識手段は、前記載置状態として、少なくとも、前記載置領域と前記物品との間の位置及び姿勢のうち少なくいずれかの関係を認識する、請求項
1に記載の情報処理装置。
【請求項3】
前記認識手段は、前記載置状態として、少なくとも、前記載置領域に対する、当該載置領域に載置された前記物品の位置及び姿勢のうちの少なくともいずれかのずれを認識し、
前記管理手段は、前記ずれの認識結果に応じて、所定の出力手段に報知情報を報知させる、
請求項
2に記載の情報処理装置。
【請求項4】
前記管理手段は、認識された前記ずれの量が閾値を超えた場合に、前記出力手段に前記報知情報を報知させる、請求項
3に記載の情報処理装置。
【請求項5】
前記管理手段は、前記物品の種別に応じて前記閾値を制御する、請求項
4に記載の情報処理装置。
【請求項6】
前記管理手段は、前記載置領域に応じて前記閾値を制御する、請求項
4または5に記載の情報処理装置。
【請求項7】
前記管理手段は、前記載置状態の認識結果に基づき、前記載置領域を前記物品が占める占有率を算出する、請求項
1~6のいずれか1項に記載の情報処理装置。
【請求項8】
前記状態情報は、前記保持部により前記物品が保持された状態において、当該物品の少なくとも一部と、当該物品の少なくとも一部の周囲の領域と、を含むように設定された領域の状態の検知結果に応じた情報である、
請求項1~
7のいずれか1項に記載の情報処理装置。
【請求項9】
前記状態情報は、前記載置領域に対して前記保持部に保持された前記物品の積み下ろしが行われた後に取得された、当該保持部の少なくとも一部の周囲に位置する当該物品の少なくとも一部と、当該物品の少なくとも一部の周囲の領域と、の状態の検知結果に応じた情報である、請求項
8に記載の情報処理装置。
【請求項10】
前記状態情報は、前記保持部により保持された状態で前記載置領域に運搬された前記物品が、当該載置領域に対して積み下ろしが行われる前に取得された、当該物品の少なくとも一部と、当該物品の少なくとも一部の周囲の領域と、の状態の検知結果に応じた情報である、請求項
8に記載の情報処理装置。
【請求項11】
前記状態情報は、前記保持部に対して所定の位置関係となるように支持された検知部による、当該保持部の少なくとも一部の周囲の状態の検知結果に応じた情報である、請求項1~
10のいずれか1項に記載の情報処理装置。
【請求項12】
前記検知部は、撮像部であり、
前記状態情報は、前記撮像部により撮像された画像であり、
前記撮像部は、前記保持部により前記物品が保持された状態における、当該物品の少なくとも一部と、当該物品の少なくとも一部の周囲の領域と、を含む領域が画角内に収まるように支持される、
請求項
11に記載の情報処理装置。
【請求項13】
前記運搬装置は、フォークリフトであり、
前記保持部は、前記フォークリフトが備えるフォークである、
請求項1~12のいずれか1項に記載の情報処理装置。
【請求項14】
前記認識手段は、前記載置領域に載置された前記物品の周囲に載置された他の物品の載置状態を認識する、請求項1~
13のいずれか1項に記載の情報処理装置。
【請求項15】
情報処理装置が実行する情報処理方法であって、
保持部により物品を保持した状態で移動可能に構成された運搬装置の、当該保持部の少なくとも一部の周囲の状態の検知結果に応じた状態情報を取得する取得ステップと、
前記状態情報に基づき、前記運搬装置により運搬された前記物品が載置された載置領域に対する、当該物品の載置状態を認識する認識ステップと、
運搬の対象となる1以上の物品それぞれについて、前記認識の結果に基づき、当該1以上の物品それぞれの前記載置状態を管理する管理ステップと、
を含み、
前記管理ステップは、前記載置状態の認識結果に応じた情報を時系列に沿って管理する、
情報処理方法。
【請求項16】
コンピュータに、
保持部により物品を保持した状態で移動可能に構成された運搬装置の、当該保持部の少なくとも一部の周囲の状態の検知結果に応じた状態情報を取得する取得ステップと、
前記状態情報に基づき、前記運搬装置により運搬された前記物品が載置された載置領域に対する、当該物品の載置状態を認識する認識ステップと、
運搬の対象となる1以上の物品それぞれについて、前記認識の結果に基づき、当該1以上の物品それぞれの前記載置状態を管理する管理ステップと、
を実行させ、
前記管理ステップは、前記載置状態の認識結果に応じた情報を時系列に沿って管理する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
フォークリフト等の運搬装置(荷役作業機械)を利用した荷役作業の管理に係る技術が各種提案されている。このような荷役作業の管理に係る技術として、特に、荷役作業における安全管理に関する技術が注目されている。具体的な一例として、フォークリフト等のような運搬装置が用いられる状況下では、棚等の荷物の載置場所に対してずれが生じた状態で荷物が載置されると、当該荷物のずれに伴う影響が事故発生の一要因となるような状況も想定され得る。このような背景から、例えば、特許文献1には、荷役作業の管理に係る技術の一例として、自動格納機能を有する貯蔵設備において、センサを利用して収納棚から荷物がはみ出しているか否かを検知する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方で、棚等のような物品の載置領域に設置したセンサを荷役作業の管理に利用するような状況下では、載置領域の広さや、載置領域が設定された場所の数等に応じて、設置されるセンサの数が増大する。このような状況下では、センサの数に比例して、当該センサの設置に係るコストや、当該センサのメンテナンスに係るコストが増大する場合がある。
【0005】
本発明は上記の問題を鑑み、荷役作業の管理をより低いコストで実現可能とすることを目的とする。
【課題を解決するための手段】
【0006】
本発明の情報処理装置は、保持部により物品を保持した状態で移動可能に構成された運搬装置の、当該保持部の少なくとも一部の周囲の状態の検知結果に応じた状態情報を取得する取得手段と、前記状態情報に基づき、前記運搬装置により運搬された前記物品が載置された載置領域に対する、当該物品の載置状態を認識する認識手段と、運搬の対象となる1以上の物品それぞれについて、前記認識の結果に基づき、当該1以上の物品それぞれの前記載置状態を管理する管理手段と、を備え、前記管理手段は、前記載置状態の認識結果に応じた情報を時系列に沿って管理する。
【発明の効果】
【0007】
本発明によれば、荷役作業の管理をより低いコストで実現することが可能となる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、管理システムの概要について説明するための説明図である。
【
図2】
図2は、情報収集ユニットの構成について説明するための説明図である。
【
図3】
図3は、物品の載置状態の認識について概要を説明するための説明図である。
【
図4】
図4は、物品の載置状態の認識について概要を説明するための説明図である。
【
図5】
図5は、情報処理装置のハードウェア構成の一例を示した図である。
【
図6】
図6は、管理システムの機能構成の一例を示したブロック図である。
【
図7】
図7は、管理システムの処理の一例を示したフローチャートである。
【発明を実施するための形態】
【0009】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0010】
<概要>
図1を参照して、本実施形態に係る管理システム1の概要について説明する。本実施形態に係る管理システム1は、倉庫等の所定の空間において、荷物を運搬する運搬装置の作業状態を管理するシステムである。管理システム1は、情報処理装置100と、運搬装置190とを含む。なお、本実施形態では、便宜上、運搬装置190としてフォークリフトが適用されるものとする。また、運搬装置190は、情報収集ユニット193を備える。情報処理装置100と情報収集ユニット193とは所定のネットワークを介して情報を送受信可能に構成されている。例えば、
図1に示す例では、情報処理装置100と情報収集ユニット193とは無線のネットワークを介して接続される。
【0011】
なお、
図1では、管理システム1の特徴をよりわかりやすくするために、運搬装置190が1台の場合について示しているが、複数台の運搬装置190が運用されてもよい。この場合には、各運搬装置190が情報収集ユニット193を備え、情報処理装置100と、各運搬装置190が備える情報収集ユニット193それぞれと、が無線のネットワークを介して接続されればよい。
また、運搬装置190による荷物等の物品の運搬に係る動作が阻害されなければ、情報処理装置100と情報収集ユニット193とを接続するネットワークの種別は特に限定されない。具体的な一例として、情報処理装置100と情報収集ユニット193とが複数種類のネットワークを介して接続されていてもよく、一部に有線のネットワークが含まれていてもよい。また、情報処理装置100と情報収集ユニット193との間の通信が他の通信装置により中継されてもよい。すなわち、情報処理装置100と情報収集ユニット193との間で論理的なネットワークを介した通信が確立されていればよく、物理的なネットワークの実現方法は特に限定されない。
【0012】
情報収集ユニット193は、運搬装置190に関連する各種状態に関する情報を収集し、収集した当該情報を、ネットワークを介して情報処理装置100に送信する。
具体的には、本実施形態に係る情報収集ユニット193は、運搬装置190の周囲の状態に応じた状態情報、特に、フォーク等のような保持部に保持された荷物等の物品の状態や、当該保持部や当該物品の周囲の状態に関する情報を収集可能に構成されている。
【0013】
ここで、
図2を参照して、情報収集ユニット193の構成の一例についてより詳しく説明する。運搬装置190は、フォーク等ように荷物等の物品を保持する保持部191と、当該保持部191を支持する支持部192とを含む。支持部192は、所定の範囲内で移動可能に支持されている。すなわち、支持部192の移動に伴い、当該支持部192に支持された保持部191が、当該支持部192と一体的に移動する。このような構成により、例えば、保持部191に荷物が載置された状態で、支持部192を上方向に向けて移動させることで、当該荷物を持ち上げることが可能となる。
【0014】
また、情報収集ユニット193は、検知部194を備えており、保持部191と検知部194とが所定の位置関係となるように支持部192の一部に支持される。これにより、例えば、保持部191に保持された物品を持ち上げるために支持部192が移動した場合においても、情報収集ユニット193が支持部192と一体的に移動するため、保持部191と情報収集ユニット193(特に、検知部194)との間の位置関係が維持される。
【0015】
検知部194は、運搬装置190の周囲の環境の状態、特に、保持部191に保持された物品が所望の載置領域に設置された場合における当該物品及び当該載置領域の状態を検知する。
具体的な一例として、
図2は、床面に対して物品が載置される載置領域302の範囲を示す枠301が設定されており、運搬装置190が、保持部191により保持された物品303(荷物等)を当該載置領域302に載置する状況を模式的に示している。検知部194は、保持部191の少なくとも一部を含む領域197を検知対象として、当該領域197の状態を検知する。具体的には、領域197は、保持部191により物品303が保持された状態において、当該物品303の少なくとも一部と、当該物品303の少なくとも一部の周囲の領域と、が含まれるように設定されるとよい。より具体的には、領域197は、保持部191に保持された物品303が載置領域302に載置された際に、当該物品303と、当該載置領域302の規定に係る指標(例えば、枠301や、棚のフレーム等)の少なくとも一部が含まれるように設定されるとよい。このような構成に基づき、検知部194は、所定の広さを有する領域197を検知対象として、2次元的または3次元的に、運搬装置190の周囲の状態、特に、保持部191により保持された物品303の状態と、当該物品303の周囲の状態とを検知する。
【0016】
具体的な一例として、検知部194は、被写体を撮像する撮像部(例えば、デジタルカメラ等)により実現されてもよい。この場合には、保持部191により物品が保持された状態において、当該物品の少なくとも一部と、当該物品の少なくとも一部の周囲の領域と、が当該撮像部(検知部194)の画角内に収まるように、情報収集ユニット193が支持されるとよい。
図2に示す例では、領域197は、上記撮像部の画角(撮像範囲)に相当する。
なお、上記はあくまで一例であり、保持部191により保持された物品303の少なくとも一部と、当該物品303の少なくとも一部の周囲の領域と、を含む領域197の状態を検知することが可能であれば、検知部194として適用される構成は特に限定されない。具体的な一例として、検知部194が、所謂デプスセンサとして構成されていてもよい。この場合には、検知部194は、所定の検知領域内に位置する物体の各部との距離(デプス)を測定し、距離の測定結果を2次元的にマッピングすることで所謂デプスマップを生成してもよい。
【0017】
以上のような構成に基づき、保持部191により保持された物品303と当該物品303の周囲の領域との状態が検知部194により検知され、当該検知結果に応じた情報が、情報収集ユニット193により、ネットワークを介して情報処理装置100に送信される。これにより、情報処理装置100は、情報収集ユニット193から送信される情報に基づき、載置領域302に対する物品303の載置状態を認識することが可能となる。具体的には、情報処理装置100は、情報収集ユニット193から送信される情報に基づき、物品303と、枠301により規定される載置領域302と、を認識することで、当該載置領域302に対する物品303の載置状態を認識する。また、情報処理装置100は、上記認識の結果を利用することで、個々の物品の載置状態の管理や、所望の領域に載置された一連の物品の載置状態(例えば、デッドスペースが発生しているか否か等)の管理を行うことも可能となる。
【0018】
なお、載置領域302に対する物品303の載置状態の認識には、例えば、載置領域302に対して物品303が載置された直後に検知部194により検知された情報が利用されるとよい。より具体的には、保持部191により保持された物品303が載置領域302に載置された後においても、検知部194が状態検知の対象とする領域内に物品303が位置する間は、当該検知部194により当該物品303の少なくとも一部の状態を検知可能である。このような前提の基で、保持部191により保持された物品303が載置領域302に載置された後に取得された、当該物品303の少なくとも一部の状態の検知結果に応じた情報が、載置領域302に対する物品303の載置状態の認識に利用されるとよい。
また、他の一例として、載置領域302に対して物品303が載置された直前に検知部194により検知された情報が、載置領域302に対する物品303の載置状態の認識に利用されてもよい。具体的には、運搬装置190は、保持部191により物品303が保持された状態で載置領域302に移動した後(すなわち、物品303を載置領域302に運搬した後)に、当該載置領域302に対して当該物品303の積み下ろしを行うこととなる。このような前提の基で、保持部191により保持された状態で載置領域302に運搬された物品303が、当該載置領域302に対して積み下ろしが行われる前に取得された、当該物品303の少なくとも一部と、当該物品303の少なくとも一部の周囲の領域と、の状態の検知結果に応じた情報が、載置領域302に対する物品303の載置状態の認識に利用されるとよい。
【0019】
また、情報収集ユニット193は、GNSS(Global Navigation Satellite System)等の技術に基づき、運搬装置190の位置情報を取得し、当該位置情報を情報処理装置100に通知してもよい。これにより、情報処理装置100は、運搬装置190の位置情報を加味して、運搬装置190により運搬された物品の載置領域に対する載置状態の認識や管理を行うことも可能となる。
【0020】
ここで、
図3及び
図4を参照して、情報処理装置100が、情報収集ユニット193により収集された情報に基づき、載置領域に対する物品の載置状態の認識に係る処理の一例について概要を説明する。なお、
図3及び
図4に示す例では、検知部194として撮像部が適用されているものとする。
【0021】
まず、
図3を参照する。
図3に示す例では、棚310においてフレーム(例えば、仕切り板や棚板等)に仕切られた複数の領域が載置領域311として設定されている。また、撮像部(検知部194)により、保持部191に保持された荷物313と、当該荷物313の周囲の領域と、を含む領域197が撮像される。情報収集ユニット193は、撮像部(検知部194)による上記撮像の結果に応じた画像(以下、「撮像画像」とも称する)を、ネットワークを介して情報処理装置100に送信する。
【0022】
このような構成の基で、保持部191に保持された荷物313が載置領域311に載置された状態で、撮像部により、当該荷物313と、当該載置領域311を規定している棚310のフレームと、が撮像され、撮像画像が情報処理装置100に送信される。情報処理装置100は、送信された当該撮像画像に基づき、被写体として撮像された、荷物313と、当該荷物313の周囲に存在する棚310のフレームと、を認識する。情報処理装置100は、例えば、棚310のフレームの認識結果に基づき、当該フレームにより囲われた領域を物品(例えば、荷物等)の載置領域311として認識してもよい。
【0023】
そして、情報処理装置100は、載置領域311と、当該載置領域311に載置された荷物313と、の間の位置及び姿勢のうち少なくともいずれかの関係に基づき、当該載置領域311に対する当該荷物313の載置状態を認識する。具体的な一例として、情報処理装置100は、載置領域311に対する、当該載置領域311に載置された荷物313の位置及び姿勢のうち少なくともいずれかのずれを認識してもよい。
【0024】
ここで、
図4を参照する。
図4は、
図3に示す載置領域311のように、棚のフレームにより囲まれた領域が載置領域として設定され、当該載置領域に荷物等の物品が載置されている状態を模式的に示している。
具体的には、棚の棚板321及び仕切り板322に囲まれた4つの領域が載置領域323a~323dとして設定されている。なお、以降の説明では、載置領域323a~323dを特に区別しない場合には、「載置領域323」と称する場合がある。また、載置領域323aには荷物324aが載置されており、載置領域323bには荷物324bが載置されている。
【0025】
図4に示す例では、荷物324aは、載置領域323aの規定された位置に規定された姿勢で載置されている。この、載置領域323aに載置された荷物324aの状態が、載置領域に対する荷物の正しい載置状態であるものとする。
これに対して、荷物324bは、載置領域323bに対して誤った載置状態で載置されている。具体的には、荷物324bは、載置領域323aに載置された荷物324aに比べて、載置領域323bに対して傾いた状態で載置されており、当該載置領域323bとの間に姿勢のずれが生じている。
【0026】
情報処理装置100は、荷物324a及び324bそれぞれが載置領域323に載置された際に撮像部(検知部194)により撮像された画像に基づき、載置領域323に対する荷物324a及び324bそれぞれの載置状態を認識する。
具体的な一例として、荷物324aは、載置領域323aに対する位置及び姿勢のずれが閾値以下であるものとする。この場合には、情報処理装置100は、載置領域323a及び荷物324aの撮像結果に応じた画像を解析することで、載置領域323aに対する荷物324aの位置及び姿勢のずれを認識し、当該認識結果に基づき荷物324aが正しい載置状態にあると認識する。
また、他の一例として、荷物324bは、載置領域323aに対する位置及び姿勢のずれが閾値を超えているものとする。この場合には、情報処理装置100は、載置領域323b及び荷物324bの撮像結果に応じた画像を解析することで、載置領域323bに対する荷物324bの位置及び姿勢のずれを認識し、当該認識結果に基づき荷物324bが誤った載置状態にあると認識する。
【0027】
また、情報処理装置100は、荷物324a及び324bそれぞれの載置状態の認識結果に応じた情報を所定の記憶領域に記憶させることで、荷物324a及び324bそれぞれの載置状態を管理してもよい。これにより、情報処理装置100は、例えば、荷物324a及び324bそれぞれの載置状態の管理結果に応じて、所定の出力部を介してユーザに情報を報知することも可能である。また、他の一例として、情報処理装置100は、荷物324a及び324bそれぞれの載置状態の管理結果を、他の荷役管理に利用することも可能となる。
【0028】
以上、本実施形態に係る管理システム1の概要について説明した。なお、以降では、本実施形態に係る管理システム1についてより詳しく説明する。
【0029】
<ハードウェア構成>
図5を参照して、本実施形態に係る情報処理装置100のハードウェア構成の一例について説明する。
図5に示すように、本実施形態に係る情報処理装置100は、CPU(Central Processing Unit)210と、ROM(Read Only Memory)220と、RAM(Random Access Memory)230とを含む。また、情報処理装置100は、補助記憶装置240と、出力装置250と、入力装置260と、ネットワークI/F270とを含む。CPU210と、ROM220と、RAM230と、補助記憶装置240と、出力装置250と、入力装置260と、ネットワークI/F270とは、バス280を介して相互に接続されている。
【0030】
CPU210は、情報処理装置100の各種動作を制御する中央演算装置である。例えば、CPU210は、情報処理装置100全体の動作を制御してもよい。ROM220は、CPU210で実行可能な制御プログラムやブートプログラムなどを記憶する。RAM230は、CPU210の主記憶メモリであり、ワークエリア又は各種プログラムを展開するための一時記憶領域として用いられる。
【0031】
補助記憶装置240は、各種データや各種プログラムを記憶する。補助記憶装置240は、HDD(Hard Disk Drive)や、SSD(Solid State Drive)に代表される不揮発性メモリ等のような、各種データを一時的または持続的に記憶可能な記憶デバイスにより実現される。
【0032】
出力装置250は、各種情報を出力する装置であり、ユーザに対する各種情報の提示に利用される。本実施形態では、出力装置250は、ディスプレイ等の表示デバイスにより実現される。出力装置250は、各種表示情報を表示させることで、ユーザに対して情報を提示する。ただし、他の例として、出力装置250は、音声や電子音等の音を出力する音響出力デバイスにより実現されてもよい。この場合には、出力装置250は、音声や電信等の音を出力することで、ユーザに対して情報を提示する。また、出力装置250として適用されるデバイスは、ユーザに対して情報を提示するために利用する媒体に応じて適宜変更されてもよい。なお、出力装置250が、各種情報の提示に利用される「出力部」の一例に相当する。
【0033】
入力装置260は、ユーザからの各種指示の受け付けに利用される。本実施形態では、入力装置260は、マウス、キーボード、タッチパネル等の入力デバイスを含む。ただし、他の例として、入力装置260は、マイクロフォン等の集音デバイスを含み、ユーザが発話した音声を集音してもよい。この場合には、集音された音声に対して音響解析や自然言語処理等の各種解析処理が施されることで、この音声が示す内容がユーザからの指示として認識される。また、入力装置260として適用されるデバイスは、ユーザからの指示を認識する方法に応じて適宜変更されてもよい。また、入力装置260として複数種類のデバイスが適用されてもよい。
【0034】
ネットワークI/F270は、外部の装置とのネットワークを介した通信に利用される。なお、ネットワークI/F270として適用されるデバイスは、通信経路の種別や適用される通信方式に応じて適宜変更されてもよい。
【0035】
CPU210は、ROM220又は補助記憶装置240に記憶されたプログラムをRAM230に展開し、このプログラムを実行することで、
図6に示す管理システム1の機能構成や、
図7に示すフローチャートで示された処理が実現される。
【0036】
<機能構成>
図6を参照して、本実施形態に係る管理システム1の機能構成の一例について、特に、情報処理装置100及び情報収集ユニット193の機能構成に着目して説明する。
【0037】
まず、情報収集ユニット193の機能構成について説明する。
図1及び
図2を参照して説明したように、情報収集ユニット193は、運搬装置190の保持部191と所定の位置関係となるように、当該運搬装置190に支持される。例えば、
図2に示す例では、保持部191を支持する支持部192により、情報収集ユニット193が支持されることで、当該情報収集ユニット193が保持部191と所定の位置関係となるように支持されている。
【0038】
情報収集ユニット193は、検知部194と、通信部196とを含む。また、情報収集ユニット193は、位置情報取得部195を含んでもよい。検知部194は、
図1及び
図2に示す検知部194に相当する。
【0039】
通信部196は、情報収集ユニット193の各構成が、所定のネットワークを介して外部の装置(例えば、情報処理装置100)との間で情報やデータを送受信するための構成である。なお、通信部196を実現するためのデバイスは、情報やデータの送受信に利用されるネットワークの種別に応じて適宜変更されてもよい。具体的な一例として、情報収集ユニット193が他の装置と無線のネットワークを介して情報やデータの送受信が行う場合には、通信部196は、使用する無線信号の周波数帯に応じたアンテナや変調器等を含んでもよい。なお、以降では、情報収集ユニット193の各構成が他の装置と情報やデータの送受信を行う場合には、特に説明が無い限りは、通信部196を介して情報やデータの送受信が行われるものとする。
【0040】
位置情報取得部195は、
図1及び
図2を参照して前述した、運搬装置190の位置情報の取得に係る構成である。位置情報取得部195は、取得した運搬装置190の位置情報を、ネットワークを介して情報処理装置100に通知する。
【0041】
次いで、情報処理装置100の機能構成について説明する。情報処理装置100は、通信部101と、認識部102と、管理部103と、記憶部104とを含む。また、情報処理装置100は、出力部105を含んでもよい。
【0042】
通信部101は、情報処理装置100の各構成が、所定のネットワークを介して外部の装置(例えば、情報収集ユニット193)との間で情報やデータを送受信するための構成である。なお、情報収集ユニット193における通信部196と同様に、通信部101を実現するためのデバイスについては、情報やデータの送受信に利用されるネットワークの種別に応じて適宜変更されてもよい。また、以降では、情報処理装置100の各構成が他の装置と情報やデータの送受信を行う場合には、特に説明が無い限りは、通信部101を介して情報やデータの送受信が行われるものとする。
【0043】
記憶部104は、情報処理装置100内の各部が処理を実行するためのデータやプログラムを記憶する記憶領域である。また、記憶部104は、情報処理装置100内の各部が生成した情報やデータを記憶してもよい。
なお、記憶部104は、例えば、情報処理装置100に内蔵された記憶装置により実現されてもよい。また、他の一例として、記憶部104は、情報処理装置100とは異なる外部の記憶装置により実現されてもよい。具体的には、記憶部104は、情報処理装置100に対して外付けされた記憶装置により実現されてもよいし、情報処理装置100とネットワークを介して接続された記憶装置により実現されてもよい。
【0044】
認識部102は、検知部194による検知結果に応じた情報を情報収集ユニット193から取得し、取得した当該情報に基づき、物品(すなわち、運搬装置190により運搬された物品)が載置された載置領域に対する、当該物品の載置状態を認識する。具体的な一例として、認識部102は、物品の運搬先となる載置領域に対して運搬装置190により運搬された物品が載置された状態で取得された上記情報に基づき、当該載置領域に対する当該物品の載置状態を認識してもよい。なお、この際に、認識部102は、取得した情報に対して所定の解析処理を施し、当該解析処理の結果に基づき、上記載置領域に対する物品の載置状態を認識してもよい。また、検知部194による検知結果に応じた情報が、「運搬装置の周囲の状態の検知結果に応じた状態情報」の一例に相当する。
【0045】
例えば、認識部102は、撮像部として構成された検知部194による撮像結果に応じた画像(撮像画像)を取得し、当該画像に対して画像解析を施すことで、物品が載置された載置領域に対する当該物品の載置状態を認識してもよい。
【0046】
より具体的には、認識部102は、取得した撮像画像に対して画像解析を施すことで、当該撮像画像に撮像された被写体の特徴に応じた特徴量を抽出し、当該特徴量に基づき、載置領域に対する物品の載置状態を認識してもよい。この場合には、認識部102は、例えば、被写体の形状や色等の視覚的な特徴に応じた特徴量を抽出し、抽出した特徴量を、従前に運搬対象の物品や載置領域の規定に係る指標等について抽出された特徴量と比較する。そして、認識部102は、当該比較の結果に基づき、撮像画像に被写体として撮像された物品や載置領域を認識してもよい。
また、この際に、認識部102は、物品や載置領域等の認識対象自体の特徴(形状や色等)に応じた特徴量に限らず、例えば、当該認識対象に付されたマーカやタグ等の特徴に応じた特徴量を利用して、当該認識対象の認識を行ってもよい。
なお、この場合には、比較対象となる特徴量に関する情報については、例えば、認識部102が読み出し可能な記憶領域(例えば、記憶部104)に記憶させておくとよい。
【0047】
そして、認識部102は、物品及び載置領域の認識結果に基づき、当該載置領域に対する当該物品の位置及び姿勢のうち少なくともいずれかを、当該載置領域に対する当該物品の載置状態として認識してもよい。また、認識部102は、当該載置領域に対する当該物品の位置及び姿勢のうち少なくともいずれかのずれを、当該載置領域に対する当該物品の載置状態として認識してもよい。
【0048】
また、上記はあくまで一例であり、載置領域に対する物品の載置状態の認識に係る処理の内容は、情報収集ユニット193から取得される情報の種別に応じて適宜変更されてもよい。例えば、検知部194としてデプスセンサが適用される場合には、載置領域に対する物品の載置状態に応じたデプスマップから取得される特徴量に応じて、当該物品の載置状態の認識が行われるように、認識部102の処理が適宜変更されてもよい。
【0049】
また、認識部102として、所謂機械学習に基づき構築された識別器を適用することも可能である。
具体的な一例として、認識部102は、運搬対象の物品と、当該物品が載置される載置領域と、を事前の機械学習に基づき個別に識別し、当該識別の結果に基づき、当該載置領域に対する当該物品の載置状態を認識してもよい。この場合には、運搬対象の物品の認識に係る教師データ(例えば、当該物品の撮像画像)や、載置領域の規定に利用される物体の認識に係る教師データ(例えば、当該物体の撮像画像)を利用した教師あり学習に基づき、上記識別器が構築されてもよい。
また、他の一例として、認識部102は、載置領域に対する物品の載置状態自体を事前の機械学習に基づき識別してもよい。この場合には、載置領域に対する物品の載置状態(例えば、載置領域に対する物品の位置や姿勢のずれの度合いに応じた状態)ごとの教師データを利用した教師あり学習に基づき、上記識別器が構築されてもよい。
【0050】
以上のようにして、認識部102は、情報収集ユニット193から取得した情報に基づき載置領域に対する物品の載置状態を認識し、認識結果に応じた情報を管理部103に出力する。なお、上述の通り、認識部102から出力される、物品が載置された載置領域に対する当該物品の載置状態の認識結果に応じた情報は、検知部194による検知結果に応じた情報に基づいている。すなわち、認識部102から出力される当該情報が、「運搬装置の周囲の状態の検知結果に応じた状態情報」の他の一例に相当する。
【0051】
管理部103は、運搬の対象となる1以上の物品それぞれについて、載置領域に対する当該物品の載置状態の認識結果に応じた情報を認識部102から取得し、当該情報に基づき当該1以上の物品それぞれの載置状態の管理を行う。
【0052】
例えば、管理部103は、載置領域に対する物品の位置及び姿勢のうち少なくともいずれかの関係に応じて当該物品の載置状態を特定し、当該特定の結果に基づき当該物品の載置状態の管理を行ってもよい。
具体的な一例として、管理部103は、載置領域に対する物品の位置及び姿勢のうち少なくともいずれかの関係に応じて、「1.正常状態」、「2.配置にずれがある状態」、及び「3.配置ずれがあり、かつ危険な状態」のいずれに該当するかを判定してもよい。この場合には、管理部103は、1以上の物品それぞれに対する当該判定の結果(すなわち、物品の載置状態の特定結果)に基づき、当該1以上の物品それぞれの載置状態の管理を行ってもよい。また、管理部103は、1以上の物品それぞれに対する当該判定の結果に基づき、当該1以上の物品を含む一連の物品の載置状態(例えば、判定対象の物品と周囲に載置された物品との載置状態等)を管理してもよい。
なお、「1.正常状態」は、例えば、物品が載置領域の所定の位置に所定の姿勢で載置されている状態に相当する。また、「2.配置にずれがある状態」は、例えば、物品が所定の姿勢で載置されているが、載置された位置にずれが生じている状態や、物品が所定の位置に載置されているが、載置された姿勢に傾きが生じている状態等に相当する。また、「3.配置ずれがあり、かつ危険な状態」は、例えば、物品が載置領域に対して傾いた状態で載置されており当該傾きの大きさが閾値を超える状態や、物品の一部が載置領域からはみ出した状態で載置されている状態等に相当する。
【0053】
また、他の一例として、管理部103は、載置領域に対する物品の位置及び姿勢のうち少なくともいずれかのずれの度合いに応じて当該物品の載置状態を特定し、当該特定の結果に基づき当該物品の載置状態の管理を行ってもよい。
具体的な一例として、管理部103は、上記ずれの度合いを閾値と比較し、当該比較の結果に応じて、「1.正常状態」、「2.配置にずれがある状態」、及び「3.配置ずれがあり、かつ危険な状態」のいずれに該当するかを判定してもよい。この場合には、「1.正常状態」、「2.配置にずれがある状態」、「3.配置ずれがあり、かつ危険な状態」の順で、上記ずれの度合いがより小さい状態から当該ずれの度合いがより大きい状態に該当するように、上記判定に利用される閾値が設定されるとよい。そして、管理部103は、上記判定の結果(すなわち、物品の載置状態の特定結果)に基づき、物品の載置状態の管理(例えば、1以上の物品それぞれの載置状態の管理や、当該1以上の物品を含む一連の物品の載置状態の管理等)を行ってもよい。
【0054】
また、管理部103は、情報収集ユニット193から対応する運搬装置190の位置情報を取得し、当該位置情報を、当該運搬装置190が運搬した物品の載置状態の管理に利用してもよい。具体的な一例として、管理部103は、運搬装置190が保持部191に保持された物品の積み下ろしを行った際に取得された当該運搬装置190の位置情報を利用することで、当該物品が載置された位置を推定してもよい。この場合には、管理部103は、上述した物品の載置状態の特定結果と、当該物品の位置の推定結果と、を関連付けた情報に基づき、当該物品の載置状態の管理を行ってもよい。これにより、管理部103は、管理対象となる物品が、どの位置にどのような載置状態で載置されているかを管理することが可能となる。
【0055】
管理部103は、物品の載置状態の管理に係るデータを、所定の記憶領域(例えば、記憶部104)に記憶させてもよい。これにより、管理部103は、例えば、各物品の載置状態の管理結果を時系列に沿ってデータとして記録しておくことも可能となる。
【0056】
また、管理部103は、物品の載置状態の管理結果に応じた情報やデータを所定の出力先に出力してもよい。
具体的な一例として、管理部103は、物品の載置状態の管理結果に応じた情報を出力部105に出力させることで、当該情報をユーザに提示してもよい。より具体的な一例として、管理部103は、載置領域に対する物品の位置や姿勢のずれの認識結果に応じて、出力部105に報知情報を報知させてもよい。これにより、例えば、載置領域に対する物品の位置や姿勢のずれが閾値を超える場合に、ユーザに対して警告を報知することも可能となる。
また、他の一例として、管理部103は、物品の載置状態の管理結果に応じたデータを、ネットワークを介して他の装置に送信してもよい。これにより、当該他の装置は、当該データに基づき物品の載置状態を認識することが可能となり、ひいては、当該状態の認識結果を他の処理の実行に利用することも可能となる。
【0057】
出力部105は、各種情報を出力することで、当該情報をユーザに提示する。
例えば、出力部105は、ディスプレイ等のようの表示デバイスを含んでもよい。この場合には、出力部105は、提示対象となる情報に応じた表示情報を表示させることで、当該情報をユーザに提示してもよい。
また、出力部105は、所謂スピーカ等のような音響出力デバイスを含んでもよい。この場合には、出力部105は、提示対象となる情報に応じた音声や電子音等の音響を出力することで、当該情報をユーザに提示してもよい。
もちろん上記はあくまで一例であり、情報の提示方法に応じて、出力部105の構成が適宜変更されてもよい。
【0058】
なお、上記機能構成はあくまで一例であり、上述した各部の処理を実現することが可能であれば、必ずしも本実施形態に係る管理システム1の機能構成を限定するものではない。例えば、情報処理装置100の少なくとも一部の機能が、複数の装置が協働すること実現されてもよい。具体的な一例として、情報処理装置100の一部の機能が、情報処理装置100とは異なる他の装置により実現されてもよい。より具体的な一例として、認識部102と管理部103とのそれぞれに相当する機能構成が、互いに異なる他の装置に設けられていてもよい。このように、本実施形態に係る管理システム1の技術思想を逸脱しない範囲であれば、管理システム1の一部の構成や処理が適宜変更されてもよい。
【0059】
また、上記では、運搬装置190が1台の場合に着目して説明したが、複数の運搬装置190が管理の対象となってもよい。この場合には、情報処理装置100が、各運搬装置190に支持された情報収集ユニット193から情報やデータを取得した際に、当該情報や当該データの送信元を特定できるとよい。具体的な一例として、情報収集ユニット193は、送信対象となる情報やデータに対して自身の識別情報を関連付けたうえで、当該情報や当該データを情報処理装置100に送信すればよい。これにより、情報処理装置100は、受信した情報やデータに関連付けられた識別情報に基づき、当該情報や当該データの送信元を識別することが可能となる。また、情報処理装置100は、どの情報収集ユニット193がどの運搬装置190に支持されているかを示す情報をあらかじめ保持しておくことで、送信元の情報収集ユニット193の特定結果に基づき、対応する運搬装置190を特定することも可能となる。これにより、情報処理装置100は、各運搬装置190の識別結果に基づき、当該運搬装置190が運搬対象とする物品(荷物等)を特定することで、当該運搬装置190により載置領域に載置された物品を識別することも可能となる。
【0060】
<処理>
図7を参照して、本実施形態に係る管理システム1の処理の一例について説明する。なお、
図7に示す例では、本実施形態に係る管理システム1の特徴をよりわかりやすくするために、検知部194として撮像部が適用された場合に着目して、特に、情報処理装置100の処理について説明する。
【0061】
S101において、情報処理装置100(認識部102)は、運搬装置190により運搬された物品が載置された状態における、検知部194による当該運搬装置190の周囲の状態の撮像結果に応じた画像を取得する。検知部194は、上述したように保持部191により保持された物品の少なくとも一部と、当該物品の少なくとも一部の周囲の領域と、が画角内に収まるように支持されている。これにより、載置領域に物品が載置された状態で検知部194により運搬装置190の周囲の状態が撮像されると、撮像結果に応じた画像には、上記物品と、上記載置領域の規定に係る指標(例えば、枠や、棚のフレーム等)と、が撮像されることとなる。なお、検知部194により撮像された画像が、運搬装置の周囲の状態の検知結果に応じた「状態情報」の一例に相当する。また、S101の処理が、上記状態情報を取得する取得処理の一例に相当する。
【0062】
S102において、情報処理装置100(認識部102)は、取得した画像(状態情報)に対して画像解析を施すことで、当該画像に撮像された物品と、当該物品が載置された載置領域と、を認識する。そして、情報処理装置100は、物品及び載置領域の認識結果に基づき、当該載置領域に対する当該物品の載置状態を認識する。
例えば、情報処理装置100は、物品及び載置領域の認識結果に基づき、当該載置領域に対する当該物品の位置及び姿勢のうち少なくともいずれかを、当該載置領域に対する当該物品の載置状態として認識してもよい。
【0063】
S103において、情報処理装置100(管理部103)は、運搬の対象となる1以上の物品それぞれについて、載置領域に対する物品の載置状態の認識結果に応じた情報を取得し、当該情報に基づき当該1以上の物品それぞれの載置状態の管理を行う。
具体的な一例として、情報処理装置100は、載置領域に対する物品の位置及び姿勢のうち少なくともいずれかの関係に応じて、「1.正常状態」、「2.配置にずれがある状態」、及び「3.配置ずれがあり、かつ危険な状態」のいずれに該当するかを判定してもよい。この場合には、情報処理装置100は、当該判定の結果(すなわち、物品の載置状態の特定結果)に基づき、物品の載置状態の管理を行ってもよい。
また、情報処理装置100は、情報収集ユニット193から対応する運搬装置190の位置情報を取得し、当該位置情報を、当該運搬装置190が運搬した物品の載置状態の管理に利用してもよい。
これにより、例えば、情報処理装置100は、物品の載置状態の管理結果に応じた情報を所定の出力部(例えば、出力部105)に出力させることで、当該情報をユーザに提示することも可能となる。
【0064】
<補足>
実施形態として上述した例はあくまで一例であり、必ずしも管理システム1を実現するための構成や、当該管理システム1の処理を限定するものではない。すなわち、上述した本実施形態に係る管理システム1の実現に係る技術思想を逸脱しない範囲で、管理システム1の構成や処理の一部が適宜変更されてもよい。
【0065】
具体的な一例として、情報処理装置100の各機能構成のうち少なくとも一部の構成が、情報収集ユニット193側に設けられていてもよい。具体的な一例として、認識部102に相当する構成が、情報収集ユニット193側に設けられていてもよい。
また、他の一例として、情報収集ユニット193と情報処理装置100とが一体的に構成されていてもよい。この場合には、情報処理装置100側の機能構成に相当する部分(例えば、認識部102や管理部103)のうち、情報収集ユニット193側の機能構成(例えば、検知部194や位置情報取得部195)から情報を取得する処理が、「取得処理」の一例に相当する。
【0066】
また、上記では運搬装置190としてフォークリフトが適用される場合の一例について説明したが、必ずしも本実施形態に係る管理システム1の適用先を限定するものではない。すなわち、荷物等の物品を何らかの方法で保持する保持部を備えた装置により運搬された物品の、所望の載置領域に対する載置状態を管理するような場合には、本実施形態に係る管理システム1を適用することが可能である。
具体的な一例として、運搬装置190としてクレーンを適用することも可能である。この場合には、例えば、クレーンのフックに相当する部分が保持部191の一例に相当する。
また、他の一例として、ショベルカーやブルドーザー等の工作機械を本実施形態に係る管理システム1における運搬装置190と見立てて、当該工作機械により運搬された土砂等の載置状態の管理を行うことも可能である。この場合には、例えば、ショベルカーやブルドーザーのバケットに相当する部分が、保持部191の一例に相当する。
【0067】
また、情報処理装置100は、載置領域に対する物品の載置状態の特定に係る条件を制御してもよい。
例えば、情報処理装置100は、物品の種別に応じて、載置領域に対する当該物品の載置状態の特定に係る条件(例えば、位置及び姿勢のずれの特定に利用する閾値)を制御してもよい。具体的には、運搬対象となる物品の形状が必ずしも一般的な箱のように直方体や立方体の形状を有しているとは限らない。このような状況下では、例えば、載置領域に対する物品の姿勢を調整したとしても、当該物品の一部が当該載置領域に対して傾いた状態で載置されることとなる場合がある。このような場合には、情報処理装置100は、運搬対象となる物品の形状に応じて、載置領域に対する物品の載置状態が正常と判定する条件(例えば、載置領域に対する物品の位置や姿勢のずれの比較対象となる閾値)を緩和してもよい。なお、この場合には、物品の種別を特定する方法は特に限定されない。例えば、情報処理装置100は、物品の撮像結果に応じた画像に基づき当該物品の種別を特定してもよいし、物品に付されたマーカやタグ等の読み取り結果に基づき当該物品の種別を特定してもよい。
また、他の一例として、情報処理装置100は、載置領域の種別に応じて、載置領域に対する当該物品の載置状態の特定に係る条件(例えば、位置及び姿勢のずれの特定に利用する閾値)を制御してもよい。上述した物品の場合と同様に、載置領域の形状についても、必ずしも方形状とは限らない。このような状況下では、例えば、運搬対象となる物品が箱状の形状(直方体や立方体の形状)を有している場合に、載置領域に対する物品の姿勢を調整したとしても、当該物品の一部が当該載置領域に対して傾いた状態で載置されることとなる場合がある。そのため、このような場合には、情報処理装置100は、運搬対象となる物品が載置される載置領域の形状に応じて、載置領域に対する物品の載置状態が正常と判定する条件(例えば、載置領域に対する物品の位置や姿勢のずれの比較対象となる閾値)を緩和してもよい。なお、この場合には、載置領域の種別を特定する方法は特に限定されない。例えば、情報処理装置100は、載置領域の撮像結果に応じた画像に基づき当該載置領域の種別を特定してもよいし、載置領域に付されたマーカやタグ等の読み取り結果に基づき当該載置領域の種別を特定してもよい。
【0068】
また、情報処理装置100は、運搬装置により運搬された物品が載置された載置領域に対する当該物品の載置状態に加えて、当該物品の周囲に載置された他の物品の載置状態を認識してもよい。例えば、検知部194(例えば、撮像部)が状態検知の対象とする領域の広さに応じて、当該検知部194は、載置領域に載置された物品の状態に加えて、当該物品の周囲に載置された他の物品の状態を検知することも可能である。この場合には、情報処理装置100は、運搬された物品の載置状態の認識結果に加えて、当該物品の周囲に載置された他の物品の載置状態の認識結果を、一連の物品の載置状態の管理に利用してもよい。これにより、例えば、運搬された物品が載置領域に載置された際に、周囲に載置された他の物品に対して運搬された物品や運搬装置の保持部が接触することで他の物品の載置状態が変化した場合に、当該他の物品の載置状態の変化を認識することが可能となる。
【0069】
また、情報処理装置100は、載置領域に対する物品の載置状態の認識結果に応じた情報を時系列に沿って履歴として管理してもよい。また、この際に、情報処理装置100は、物品の載置状態の認識結果に応じた情報に対して、当該物品を運搬した運搬装置に関する情報や、当該物品が載置された載置領域に関する情報を関連付けてもよい。以上のようにして蓄積された履歴を解析することで、例えば、載置された際に物品の位置や姿勢のずれが発生しやすい載置領域や、載置領域に対して物品の積み下ろしが行われる際に当該物品の位置や姿勢のずれが発生しやすい運搬装置を特定することも可能となる。
【0070】
<むすび>
以上説明したように、本実施形態に係る管理システム1において、情報処理装置100は、取得手段と、認識手段とを備える。取得手段は、保持部により物品を保持した状態で移動可能に構成された運搬装置の、当該保持部の少なくとも一部の周囲の状態の検知結果に応じた状態情報を取得する。認識手段は、上記状態情報に基づき、上記運搬装置により運搬された上記物品が載置された載置領域に対する、当該物品の載置状態を認識する。以上のような構成により、本実施形態に係る管理システム1に依れば、運搬対象となる物品や当該物品が載置される棚等の載置領域に対してセンサ等を設けなくとも、当該載置領域に対する当該物品の載置状態を認識することが可能となる。すなわち、本実施形態に係る管理システム1に依れば、荷役作業の管理をより低いコストで実現することが可能となる。
また、本実施形態に係る管理システム1に依れば、必ずしもセンサ等を利用する必要が無いため、センサの動作が制限されるような環境下においても、所望の載置領域に対する物品の載置状態を認識することが可能となる。
【0071】
また、本実施形態に係る管理システム1に依れば、物品の載置状態の認識結果(例えば、載置領域に対する物品のずれ等)を荷役作業の管理に利用することで、倉庫等のような物品(荷物等)が載置される空間を有効に活用することも可能となる。
具体的には、撮像画像に対して画像解析を施すことで、載置された物品(荷物等)のサイズを取得したり、倉庫内の棚に紐付けられた荷物の情報のうち、予め登録された当該荷物のサイズの情報を利用することで、当該棚において荷物が占める占有率を算出して荷役管理に利用するような場合がある。このような場合において、荷物が本来載置される領域からずれた状態で載置されると、デッドスペースが生じる等の影響により、事前に算出された占有率の通りに荷物を載置することが困難となる場合がある。本実施形態に係る管理システム1に依れば、このような現象の発生を未然に防止することが可能となる。
また、ずれの度合いが閾値より小さいために誤った載置状態にあると認識しない場合であっても、認識された載置状態に基づき、より正確な占有率を算出することが可能となる。これにより、例えば、それぞれの載置領域について算出された占有率や各運搬装置の状態に基づいて、各運搬装置に対してより適切な作業指示を行うことが可能となる。
【符号の説明】
【0072】
1 管理システム
100 情報処理装置
101 通信部
102 認識部
103 管理部
104 記憶部
105 出力部
190 運搬装置
191 保持部
192 支持部
193 情報収集ユニット
194 検知部
195 位置情報取得部
196 通信部