IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ JFEエンジニアリング株式会社の特許一覧

特開2022-39395情報処理装置、情報処理方法、プログラム、格納施設、およびゲート施設
<図1>
  • 特開-情報処理装置、情報処理方法、プログラム、格納施設、およびゲート施設 図1
  • 特開-情報処理装置、情報処理方法、プログラム、格納施設、およびゲート施設 図2
  • 特開-情報処理装置、情報処理方法、プログラム、格納施設、およびゲート施設 図3
  • 特開-情報処理装置、情報処理方法、プログラム、格納施設、およびゲート施設 図4
  • 特開-情報処理装置、情報処理方法、プログラム、格納施設、およびゲート施設 図5
  • 特開-情報処理装置、情報処理方法、プログラム、格納施設、およびゲート施設 図6
  • 特開-情報処理装置、情報処理方法、プログラム、格納施設、およびゲート施設 図7
  • 特開-情報処理装置、情報処理方法、プログラム、格納施設、およびゲート施設 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022039395
(43)【公開日】2022-03-10
(54)【発明の名称】情報処理装置、情報処理方法、プログラム、格納施設、およびゲート施設
(51)【国際特許分類】
   B65G 61/00 20060101AFI20220303BHJP
【FI】
B65G61/00 524
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2020144395
(22)【出願日】2020-08-28
(71)【出願人】
【識別番号】000004123
【氏名又は名称】JFEエンジニアリング株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】芳賀 継彦
(72)【発明者】
【氏名】氏福 誠治
(72)【発明者】
【氏名】長田 翔
(57)【要約】
【課題】輸送容器に生じる損傷の位置や種類を予測することができること。
【解決手段】記憶部および制御部を備え、所定の経路で輸送される輸送容器に生じる損傷を予測する情報処理装置であって、記憶部には、輸送容器を他の輸送容器と識別する識別情報と関連付けられた、輸送容器に関する容器情報が時間に沿ってまとめられた輸送容器経時状態情報が記憶され、制御部は、識別情報を取得し、取得した識別情報に基づいて、記憶部から、識別情報に関連付けされた輸送容器経時状態情報を読み出し、読み出した輸送容器経時状態情報の少なくとも一部に基づいて、輸送容器経時状態情報における最新の日時より後の期間における、輸送容器に生じる損傷を予測する。
【選択図】図8
【特許請求の範囲】
【請求項1】
記憶部および制御部を備え、所定の経路で輸送される輸送容器に生じる損傷を予測する情報処理装置であって、
前記記憶部には、前記輸送容器を他の輸送容器と識別する識別情報と関連付けられた、前記輸送容器に関する容器情報が時間に沿ってまとめられた輸送容器経時状態情報が記憶され、
前記制御部は、
前記識別情報を取得し、
取得した前記識別情報に基づいて、前記記憶部から、前記識別情報に関連付けされた前記輸送容器経時状態情報を読み出し、
読み出した前記輸送容器経時状態情報の少なくとも一部に基づいて、前記輸送容器経時状態情報における最新の日時より後の期間における、前記輸送容器に生じる損傷を予測する
情報処理装置。
【請求項2】
前記制御部は、
前記輸送容器を撮像した画像情報および前記輸送容器の状態をセンシングしたセンサ情報の少なくとも一方を取得し、
取得した前記画像情報および前記センサ情報の少なくとも一方に基づいて、前記識別情報を取得する
請求項1に記載の情報処理装置。
【請求項3】
前記制御部は、
前記記憶部から前記輸送容器経時状態情報を入力パラメータとして取得し、前記記憶部から読み出した前記輸送容器経時状態情報を容器損傷学習モデルに入力し、
前記最新の日時より後の期間における、前記輸送容器に生じる損傷を出力パラメータとして出力し、
前記容器損傷学習モデルは、前記記憶部に蓄積された一部の期間の前記輸送容器経時状態情報を学習用入力パラメータとし、前記記憶部に蓄積された前記一部の期間における最新の日時よりも後の日時の輸送容器経時状態情報に含まれる前記輸送容器に発生した損傷の状態を学習用出力パラメータとして、機械学習によって生成された学習モデルである
請求項1または2に記載の情報処理装置。
【請求項4】
前記容器損傷学習モデルは、再帰型ニューラルネットワークに基づいて生成された学習モデルである
請求項3に記載の情報処理装置。
【請求項5】
前記容器情報は、前記輸送容器の輸送に関する情報、および前記輸送容器の修理に関する情報を含む
請求項1~4のいずれか1項に記載の情報処理装置。
【請求項6】
前記容器情報は、前記輸送容器の画像情報および前記輸送容器のセンサ情報の少なくとも一方を含む
請求項2または請求項2を引用する請求項3~5のいずれか1項に記載の情報処理装置。
【請求項7】
記憶部および制御部を備え、所定の経路で輸送される輸送容器に生じる損傷を予測する情報処理装置が実行する情報処理方法であって、
前記記憶部には、前記輸送容器を他の輸送容器と識別する識別情報と関連付けられた、前記輸送容器に関する容器情報が時間に沿ってまとめられた輸送容器経時状態情報が記憶され、
前記識別情報を取得し、
取得した前記識別情報に基づいて、前記記憶部から、前記識別情報に関連付けされた前記輸送容器経時状態情報を読み出し、
読み出した前記輸送容器経時状態情報の少なくとも一部に基づいて、前記輸送容器経時状態情報における最新の日時より後の期間における、前記輸送容器に生じる損傷を予測する
情報処理方法。
【請求項8】
制御部と、所定の経路で輸送される輸送容器を他の輸送容器と識別する識別情報と関連付けられた、前記輸送容器に関する容器情報が時間に沿ってまとめられた輸送容器経時状態情報が記憶された記憶部と、を備え、前記輸送容器に生じる損傷を予測する情報処理装置における前記制御部に、
前記識別情報を取得し、
取得した前記識別情報に基づいて、前記記憶部から、前記識別情報に関連付けされた前記輸送容器経時状態情報を読み出し、
読み出した前記輸送容器経時状態情報の少なくとも一部に基づいて、前記輸送容器経時状態情報における最新の日時より後の期間における、前記輸送容器に生じる損傷を予測する
ことを実行させるプログラム。
【請求項9】
所定の経路で輸送される輸送容器を格納する格納施設であって、
請求項1~6のいずれか1項に記載の情報処理装置を備える
格納施設。
【請求項10】
所定の経路で輸送される輸送容器が通過するゲート施設であって、
前記輸送容器を撮像する撮像部と、前記輸送容器をセンシングするセンサ部と、を備え、
前記撮像部によって得られた画像情報および前記センサ部によって得られたセンサ情報の少なくとも一方の情報を取得する請求項2または請求項2を引用する請求項3~6のいずれか1項に記載の情報処理装置を備える
ゲート施設。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、プログラム、格納施設、およびゲート施設に関する。
【背景技術】
【0002】
従来、コンテナの海上輸送業務においては、輸送中の温度変化や湿度変化から積み荷を保護するために、コンテナ自体の保守管理が重要である。そこで、港湾ターミナルなどにおいては、コンテナの搬入時や搬出時に、外観や内部の検査を目視で行っている。また、コンテナの搬入時や搬出時に、必要に応じてメンテナンスを行っている。
【0003】
具体的に、特許文献1には、輸送容器にセンサを取り付けて、リアルタイムで輸送容器の状態を観測して、異常の検知を行う技術が開示されている。特許文献2には、輸送容器に取り付けた温度センサからの得られる情報に基づいて、輸送容器の異常の検知や予測を実行する技術が開示されている。特許文献3には、倉庫における故障分析および診断を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001-130716号公報
【特許文献2】特開2003-232888号公報
【特許文献3】特表2008-546613号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、港湾ターミナルなどにおいて搬入や搬出されるコンテナなどの輸送容器は、その長さが長いものもあるため、輸送容器の全面を精査するには大きな労力が必要となる。しかしながら、特許文献1,2に記載の技術においてはいずれも、輸送容器のどの部分に損傷などの発生するかについては、検知することも予測することもできず、異常の予測が温度に限定されていることから、輸送容器に関する情報が有効活用されていなかった。特許文献3においても、倉庫における損傷の分析および診断を行っているものの、損傷などを予測することは困難であった。そのため、輸送容器に生じる損傷の位置や種類を予測する技術の開発が求められていた。
【0006】
本発明は、上記に鑑みてなされたものであって、その目的は、輸送容器に生じる損傷の位置や種類を予測することができる情報処理装置、情報処理方法、プログラム、格納施設、およびゲート施設を提供することにある。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明の一態様に係る情報処理装置は、記憶部および制御部を備え、所定の経路で輸送される輸送容器に生じる損傷を予測する情報処理装置であって、前記記憶部には、前記輸送容器を他の輸送容器と識別する識別情報と関連付けられた、前記輸送容器に関する容器情報が時間に沿ってまとめられた輸送容器経時状態情報が記憶され、前記制御部は、前記識別情報を取得し、取得した前記識別情報に基づいて、前記記憶部から、前記識別情報に関連付けされた前記輸送容器経時状態情報を読み出し、読み出した前記輸送容器経時状態情報の少なくとも一部に基づいて、前記輸送容器経時状態情報における最新の日時より後の期間における、前記輸送容器に生じる損傷を予測する。
【0008】
本発明の一態様に係る情報処理装置は、上記の発明において、前記制御部は、前記輸送容器を撮像した画像情報および前記輸送容器の状態をセンシングしたセンサ情報の少なくとも一方を取得し、取得した前記画像情報および前記センサ情報の少なくとも一方に基づいて、前記識別情報を取得する。
【0009】
本発明の一態様に係る情報処理装置は、上記の発明において、前記制御部は、前記記憶部から前記輸送容器経時状態情報を入力パラメータとして取得し、前記記憶部から読み出した前記輸送容器経時状態情報を容器損傷学習モデルに入力し、前記最新の日時より後の期間における、前記輸送容器に生じる損傷を出力パラメータとして出力し、前記容器損傷学習モデルは、前記記憶部に蓄積された一部の期間の前記輸送容器経時状態情報を学習用入力パラメータとし、前記記憶部に蓄積された前記一部の期間における最新の日時よりも後の日時の輸送容器経時状態情報に含まれる前記輸送容器に発生した損傷の状態を学習用出力パラメータとして、機械学習によって生成された学習モデルである。本発明の一態様に係る情報処理装置は、この構成において、前記容器異常学習モデルは、再帰型ニューラルネットワークに基づいて生成された学習モデルである。
【0010】
本発明の一態様に係る情報処理装置は、上記の発明において、前記容器情報は、前記輸送容器の輸送に関する情報、および前記輸送容器の修理に関する情報を含む。
【0011】
本発明の一態様に係る情報処理装置は、上記の発明において、前記容器情報は、前記輸送容器の画像情報および前記輸送容器のセンサ情報の少なくとも一方を含む。
【0012】
本発明の一態様に係る情報処理方法は、記憶部および制御部を備え、所定の経路で輸送される輸送容器に生じる損傷を予測する情報処理装置が実行する情報処理方法であって、前記記憶部には、前記輸送容器を他の輸送容器と識別する識別情報と関連付けられた、前記輸送容器に関する容器情報が時間に沿ってまとめられた輸送容器経時状態情報が記憶され、前記識別情報を取得し、取得した前記識別情報に基づいて、前記記憶部から、前記識別情報に関連付けされた前記輸送容器経時状態情報を読み出し、読み出した前記輸送容器経時状態情報の少なくとも一部に基づいて、前記輸送容器経時状態情報における最新の日時より後の期間における、前記輸送容器に生じる損傷を予測する。
【0013】
本発明の一態様に係るプログラムは、制御部と、所定の経路で輸送される輸送容器を他の輸送容器と識別する識別情報と関連付けられた、前記輸送容器に関する容器情報が時間に沿ってまとめられた輸送容器経時状態情報が記憶された記憶部と、を備え、前記輸送容器に生じる損傷を予測する情報処理装置における前記制御部に、前記識別情報を取得し、取得した前記識別情報に基づいて、前記記憶部から、前記識別情報に関連付けされた前記輸送容器経時状態情報を読み出し、読み出した前記輸送容器経時状態情報の少なくとも一部に基づいて、前記輸送容器経時状態情報における最新の日時より後の期間における、前記輸送容器に生じる損傷を予測することを実行させる。
【0014】
本発明の一態様に係る格納施設は、所定の経路で輸送される輸送容器を格納する格納施設であって、上記の発明による情報処理装置を備える。
【0015】
本発明の一態様に係るゲート施設は、所定の経路で輸送される輸送容器が通過するゲート施設であって、前記輸送容器を撮像する撮像部と、前記輸送容器をセンシングするセンサ部と、を備え、前記撮像部によって得られた画像情報および前記センサ部によって得られたセンサ情報の少なくとも一方の情報を取得する上記の発明による情報処理装置を備える。
【発明の効果】
【0016】
本発明に係る情報処理装置、情報処理方法、プログラム、格納施設、およびゲート施設は、輸送容器に生じる損傷の位置や種類を予測することが可能となる。
【図面の簡単な説明】
【0017】
図1図1は、本発明の一実施形態による情報処理装置を適用した港湾管理システムの構成を示すブロック図である。
図2図2は、本発明の一実施形態による情報処理装置に記憶されるコンテナ経時状態情報の例を示す表である。
図3図3は、本発明の一実施形態による情報処理装置に記憶されるコンテナ情報の時間履歴を示す図である。
図4図4は、本発明の一実施形態による学習方法における学習対の例を示す図である。
図5図5は、本発明の一実施形態による学習方法における修理箇所および種類のベクトル表現の設定例を説明するための図である。
図6図6は、本発明の一実施形態による情報処理方法を説明するためのフローチャートである。
図7図7は、本発明の一実施形態による港湾管理システムにおけるデータの流れを示す図である。
図8図8は、本発明の一実施形態による情報処理装置によってコンテナ情報から損傷の位置および種類を予測する方法を説明するための図である。
【発明を実施するための形態】
【0018】
以下、本発明の一実施形態について図面を参照しつつ説明する。なお、以下の一実施形態の全図においては、同一または対応する部分には同一の符号を付す。また、本発明は以下に説明する一実施形態によって限定されるものではない。また、以下に説明する一実施形態は、例えば、港湾ターミナルのコンテナ流通業務に関連して、特にコンテナなどの輸送容器の保守に関するが、必ずしもこれに限定されるものではない。
【0019】
図1は、本発明の一実施形態による情報処理装置を適用した管理システムの構成を示すブロック図である。図1に示すように、本発明の一実施形態による管理システムとしての港湾管理システム1は、ネットワーク2を介して互いに通信可能な、学習装置10、管理装置20、およびゲート施設30を有する。なお、管理装置20が学習装置10を備えても良い。管理装置20は、ネットワーク2を介してゲート施設30から各種情報を収集可能に構成される。また、学習装置10および管理装置20は、ネットワーク2を介してユーザ端末40と通信可能としても良い。
【0020】
ネットワーク2は、例えば、インターネットなどの公衆通信網であって、例えばLAN(Local Area Network)、WAN(Wide Area Network)、携帯電話などの電話通信網や公衆回線、VPN(Virtual Private Network)、および専用線などの一または複数の組み合わせからなる。ネットワーク2は、有線通信および無線通信が適宜組み合わされている。
【0021】
(ゲート施設)
検査設備としてのゲート施設30は例えば、コンテナ38が格納される格納庫などの格納施設の出入口に設けられる。ゲート施設30は、ゲート31に少なくとも1台のカメラなどの撮像装置を有する撮像部33、および少なくとも1台のセンサを有するセンサ部34を備える。撮像部33を構成する撮像装置は、静止画を撮像するカメラや動画を撮像するカメラなどを上げることができる。センサ部34を構成するセンサは、レーザを照射するレーザスキャンセンサやTOF(Time Of Flight)カメラなどの測距センサ、X線を照射するX線センサ、および赤外線を照射する赤外線センサなどを挙げることができる。なお、撮像部33およびセンサ部34のいずれか一方を備えていれば良い。ゲート31は、輸送容器としてのコンテナ38を積載した例えば車両などの移動体50が通過可能に構成される。なお、ゲート31を通過する移動体50は、車両以外にも、コンテナ38を積載可能な種々の移動体であっても良い。
【0022】
(学習装置)
本実施形態において、機械学習装置としての学習装置10は、ゲート施設30において、撮像部33により撮像されて得られたコンテナ38の画像データや、センサ部34により検知されて得られたコンテナ38のセンサ情報などの情報、取得可能に構成される。なお、撮像部33が動画を撮像した場合の映像データは、複数の画像データとして扱うことができるので、画像データは撮像データの概念を含む。学習装置10は、通信部(図示せず)を有する少なくとも1つのゲート施設30から送信される種々の情報を、ネットワーク2を介して収集するデータ収集処理を実行する。
【0023】
学習装置10は、収集した種々の情報によって機械学習を実行可能である。学習装置10は、制御部11、記憶部12、通信部13、出力部14、および入力部15を備える。
【0024】
制御部11は、具体的に、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)などのプロセッサ、およびRAM(Random Access Memory)やROM(Read Only Memory)などの主記憶部(いずれも図示せず)を備える。
【0025】
記憶部12は、物理的には、RAMなどの揮発性メモリ、ROMなどの不揮発性メモリ、EPROM(Erasable Programmable ROM)、ハードディスクドライブ(HDD、Hard Disk Drive)、ソリッドステートドライブ(SSD、Solid State Drive)、およびリムーバブルメディアなどから選ばれた記憶媒体から構成される。なお、リムーバブルメディアは、例えば、USB(Universal Serial Bus)メモリ、または、CD(Compact Disc)、DVD(Digital Versatile Disc)、またはBD(Blu-ray(登録商標) Disc)のようなディスク記録媒体である。また、外部から装着可能なメモリカードなどのコンピュータ読み取り可能な記録媒体を用いて記憶部12を構成しても良い。記憶部12には、学習装置10の動作を実行するための、オペレーティングシステム(Operating System:OS)、各種プログラム、各種テーブル、各種データベースなどが記憶可能である。各種プログラムには、本実施形態による学習モデルやニューラルネットワークも含まれる。これらの各種プログラムは、ハードディスク、フラッシュメモリ、CD-ROM、DVD-ROM、フレキシブルディスクなどのコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。
【0026】
本実施形態において、制御部11は、記憶部12に記憶されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部などを制御することで、所定の目的に合致した機能を実現できる。具体的に、制御部11は、プログラムの実行によって、学習部111、予測部112、演算部113、および状態入力部114の機能を実現できる。
【0027】
制御部11によるプログラムの実行によって、学習部111の機能が実行される。学習部111は、学習装置10が受信した入出力データセットに基づいて機械学習を行うことができる。学習部111は、学習したコンテナ38の損傷に関する学習結果を、容器損傷学習モデルとしてのコンテナ損傷学習モデル121として記憶部12に記憶させる。学習部111は、学習を行っているニューラルネットワークとは別に、所定のタイミングで、当該タイミングにおける最新の学習モデルを、記憶部12に記憶させても良い。記憶部12に記憶させる際には、古いコンテナ損傷学習モデル121を削除して最新のコンテナ損傷学習モデル121を記憶させる更新でも良いし、古いコンテナ損傷学習モデル121の一部または全部を保存したまま最新のコンテナ損傷学習モデル121を記憶させる蓄積でも良い。なお、コンテナ損傷学習モデル121は、例えばLSTM(Long short-term memory)などの再帰型ニューラルネットワーク(Recurrent Neural Network:RNN)により生成される学習モデルである。
【0028】
通信手段としての通信部13は、例えば、LAN(Local Area Network)インターフェースボードや、無線通信のための無線通信回路などである。LANインターフェースボードや無線通信回路は、ネットワーク2に接続される。通信部13は、ネットワーク2に接続して、管理装置20、ゲート施設30、またはユーザ端末40との間で通信を行う。
【0029】
出力手段としての出力部14は、制御部11による制御に従って、液晶ディスプレイやプラズマディスプレイなどのディスプレイの画面上に、文字や図形などを表示したり、スピーカから音声を出力したりして、所定の情報を外部に通知するように構成される。さらに、出力部14は、印刷用紙などに所定の情報を印刷することによって出力するプリンタを含む。記憶部12に格納された各種情報は、例えば所定の事務所などに設置された出力部14のモニタなどで確認することができる。入力手段としての入力部15は、例えば、キーボードや出力部14の内部に組み込まれて表示パネルのタッチ操作を検出するタッチパネル式キーボード、または外部との間の通話を可能とする音声入力デバイスなどから構成される。なお、出力部14および入力部15を一体化させて、例えばタッチパネルディスプレイやスピーカマイクロホンなどの入出力部としても良い。
【0030】
(管理装置)
管理装置20は、ネットワーク2を介して学習装置10、ゲート施設30、およびユーザ端末40と通信可能な構成を有する。管理装置20は、制御部21、記憶部22、通信部23、出力部24、および入力部25を備える。制御部21、記憶部22、通信部23、出力部24、および入力部25はそれぞれ、物理的および機能的には、上述した制御部11、記憶部12、通信部13、出力部14、および入力部15と同様の構成を有する。
【0031】
本実施形態において制御部21は、記憶部22に記憶されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部などを制御することで、所定の目的に合致した機能を実現できる。具体的に、制御部21は、プログラムの実行によって、搬入出管理部211およびID認識部212の機能を実現できる。搬入出管理部211は、コンテナ38における、例えばコンテナターミナルへの搬入やコンテナターミナルからの搬出など、コンテナ38に関する各種の管理を行う。ID認識部212は、個々のコンテナ38から、これらのコンテナ38を相互に識別するための固有のコンテナ識別IDを取得する。コンテナ識別IDは、コンテナ38に対して、撮像部33が撮像して得た画像データや、センサ部34によって検知することが可能である。コンテナ識別IDは、個々のコンテナ38を互いに識別するための各種情報を含み、コンテナ38に関連する情報の通信に際して、学習装置10や管理装置20にアクセスするために必要な情報を含む。
【0032】
記憶部22には、搬入出管理部211が取得したコンテナ情報を含むコンテナ経時状態情報が格納されたコンテナ経時状態データベース221が格納されている。容器経時状態情報としてのコンテナ経時状態情報は、コンテナ38のコンテナ識別IDに関連付けられて、検索可能な状態でコンテナ経時状態データベース221に格納されている。
【0033】
図2および図3はそれぞれ、本実施形態によるコンテナ経時状態情報を示す表および図である。図2に示すように、輸送容器経時状態情報としてのコンテナ経時状態情報に含まれる容器情報としてのコンテナ情報は、例えば、コンテナ38の配送経路、発注者(発注業者)、配送業者、および修理履歴などの情報を含む。なお、配送経路の情報は、例えば、配送元の国および配送先の国や具体的な経路などの情報を含む。また、修理履歴の情報は、例えば、修理を行った時期や修理された箇所などの情報を含む。コンテナ情報は、コンテナ38の状態を撮像した画像情報や、コンテナ38をセンシングしたセンサ情報を含んでも良い。センサ情報は、測距センサによる距離情報、X線センサによるX線情報、および赤外線センサによる赤外線情報の内の少なくとも1つの情報を含む。
【0034】
図3に示すように、コンテナ経時状態情報は、それぞれのコンテナを識別するコンテナ識別IDと関連付けられたコンテナ情報が、時間に関連付けられて構成されて時系列にまとめられた情報を含む。また、コンテナ経時状態情報は、コンテナ38の損傷の状態を撮像した画像情報(ダメージ画像情報)や、コンテナ38の損傷の状態がセンシングされたセンサ情報(ダメージセンサ情報)を含む。図3に示すように、ダメージ画像情報としては、コンテナ38のダメージの状態を色分けやハッチングで分けた画像情報とすることができる。図3に示す例において例えば、コンテナAのコンテナ情報においては、損傷の度合いに応じて色分け(図3中、ハッチング分け)されている。これらのコンテナ情報が時間履歴に沿ったコンテナ経時状態情報として、それぞれコンテナ識別IDに関連付けされてコンテナ経時状態データベース221に格納されている。なお、コンテナ情報のデータベース(コンテナ情報データベース)をコンテナ経時状態データベース221とは別に構成しても良い。また、上述したコンテナ情報を含むコンテナ経時状態情報は、上述した情報に限定されない。
【0035】
図1に戻り、通信部23は、ネットワーク2に接続して、学習装置10、ゲート施設30、およびユーザ端末40との間で通信可能である。通信部23は、制御部21による制御に基づいて出力される指令信号によって、撮像部33が撮像した画像情報やセンサ部34により得られたセンサ情報などの各種情報を収集する。なお、通信部23によって送受信される情報は、これらの情報に限定されない。本実施形態において管理装置20は、ネットワーク2を介して通信可能なクラウドサーバとして機能させることもできる。
【0036】
(ユーザ端末)
利用端末としてのユーザ端末40は、例えば、港湾ターミナルなどでコンテナ38を検査する作業者などによって操作される。ユーザ端末40は、例えば、通信アプリケーションによる各種データや音声を用いた通話によって、ユーザ識別情報およびユーザ入力情報を含むユーザ情報などの各種情報を管理装置20に送信する。ユーザ端末40は、管理装置20からコンテナ38の損傷予測情報などの各種情報を受信可能に構成される。
【0037】
ユーザ端末40は、互いに通信可能に接続された、制御部41、記憶部42、入出力部43、および通信部44を備える。制御部41、記憶部42、および通信部44はそれぞれ、物理的および機能的には、上述した制御部11,21、記憶部12,22、および通信部13,23と同様の構成を有する。入出力部43は、上述した出力部14,24、および入力部15,25が一体化された構成を有する。ここで、ユーザ端末40において、外部との間の通話は、他のユーザ端末40との通話のみならず、例えば管理装置20に常駐するオペレータや人工知能システムとの通話なども含む。なお、入出力部43を、上述した出力部14および入力部15と同様に別体で構成しても良い。
【0038】
制御部41は、記憶部42に格納されたOSおよび各種アプリケーションプログラムの実行により、記憶部42、入出力部43、および通信部44の動作を統括的に制御する。通信部44は、ネットワーク2を介して、ユーザ識別情報、ユーザ入力情報、および損傷予測情報などの各種情報を、学習装置10や管理装置20などとの間で送受信する。記憶部42は、ユーザ識別情報を記憶可能に構成されている。
【0039】
上述したユーザ端末40は、具体的に、スマートフォンなどの携帯電話、ノート型やタブレット型などの情報端末、またはノート型やデスクトップ型のパーソナルコンピュータなどを採用することができる。
【0040】
(学習方法)
次に、本実施形態による上述した港湾管理システム1における学習装置10による学習方法について説明する。図4および図5はそれぞれ、本実施形態による学習装置10による学習方法を説明するための概略図である。
【0041】
本実施形態による学習方法は、まず、図1に示す学習装置10におけるコンテナ経時状態データベース122を、管理装置20におけるコンテナ経時状態データベース221と同期させる。次に、学習装置10の制御部11における学習部111は、コンテナ経時状態データベース122に格納されたコンテナ経時状態情報(図3参照)を取得する。これにより、管理装置20のコンテナ経時状態データベース221に蓄積されたコンテナ経時状態情報からコンテナ38に関する各種の履歴を取得することができ、教師データを取得できる。図4に示すように、制御部11の学習部111は、取得したコンテナ経時状態情報における所定のコンテナ38の過去のコンテナ情報に基づいて、コンテナ38における所定の範囲の過去の破損箇所や内容と、この過去の破損箇所に対する未来の破損個所や内容との関係を、例えば非線形表現が可能な方法によって学習を行う。学習部111は、ニューラルネットワークに所定期間の過去の損傷や修理の箇所の時系列データと、その所定期間における過去の損傷や修理の箇所に対して当該所定期間よりも未来の時間方向にある所定時期の損傷の個所のデータとを教師データとして学習を行う。これにより、過去のコンテナ経時状態情報と、この過去のコンテナ経時状態情報に対して未来の時点におけるコンテナ38の損傷の箇所について学習を行う。
【0042】
ここで、学習部111による学習においては、コンテナ38の状態をベクトルで表現する。なお、センサ情報および画像情報についてはそれぞれ、入力されたセンサ情報および画像情報をそのままベクトルとして利用することができる。配送国や配送者については、個々の配送国や配送者に対してそれぞれ、固有の配送国固有情報(配送国ID)や配送者固有情報(配送者ID)を割り当てて、ベクトルの成分の要素とする。なお、配送国や配送者をそれぞれ、ベクトルの成分に割り当てて軸を分割して0または1で表現する、いわゆるワンホット表現(one-hot表現)を採用しても良い。
【0043】
例えば、配送国IDとしては、0:A国、1:B国、2:C国、…、n:Z国、…などと割り当てることができる。同様に、配送者IDとしては、0:政府機関、1:A社、2:B法人、…、n:株式会社Z、…などと割り当てることができる。この場合、図4(a)に示す状態ベクトルは、例えば、以下の(1)式などで与えられる。また、同様の状態ベクトルをワンホット表現で示すと、以下の(2)式で与えられる。なお、以下の(1)式や(2)式以外の方法で状態ベクトルを表記することも可能である。
状態ベクトル(配送元,配送先,業者)
=(A国,B国,A社)=(0,2,1)…(1)
状態ベクトル(A国発,B国発,C国発,D国発,…,A国着,B国着,C国着,…)
=(1,0,0,0,…,0,1,0,…)…(2)
【0044】
また、修理箇所および損傷の種類をベクトルで表現する。具体的に例えば、図5に示すように、コンテナ38の外面の複数面、具体的には例えば6面のそれぞれを、メッシュ状に仮想的な複数領域に分割して、量子化する。図5に示す例では例えば、コンテナ38の前面を第1面381、側面を第2面382、第3面383、第4面384、および第5面385、後面を第6面386として、第1面381~第6面386のそれぞれの面を、16分割した複数領域に分割する。なお、分割する領域の数は16に限定されない。その上で、それぞれの第1面381~第6面386における損傷の状態を例えばワンホット表現されたベクトルによって表示する。具体的に、図4(b)に示す損傷ベクトルは、所定の位置において損傷が存在しない場合、損傷ベクトルは例えば以下の(3)式などで与えられる。なお、ここで、損傷ベクトルは、過去の修理された状態および修理箇所などについてのベクトルである。
(損傷なし,穴(小),穴(大),亀裂(小),…)=(1,0,0,0,…)…(3)
【0045】
図5に示す例においては、第2面382の分割された2箇所の位置に、損傷や修理された部分(以下、損傷)38a,38bが存在する。それぞれの損傷38a,38bに関して、これらの損傷38a,38bの種類を、例えばワンホット表現によってベクトルで表示する。
【0046】
ここで、図4(b)に示す場合には、損傷38a,38bの部分における損傷ベクトルは、以下の(4)式、(5)式で表すことができる。
第2面382の第1領域に穴(小)の損傷38bが存在する場合
(損傷なし,穴(小),穴(大),亀裂(小),…)=(0,1,0,0,…)…(4)
第2面382の第2領域に穴(大)の損傷38aが存在する場合
(損傷なし,穴(小),穴(大),亀裂(小),…)=(0,0,1,0,…)…(5)
これらの式は、コンテナ38の外面の面数(図5では、6面)と、分割したメッシュ状の領域の数(図5では、16領域)との積、例えば96式だけ立式される。
また、損傷38a,38bの種類の数(図5では、少なくとも4種類)に関しては、損傷として列挙する必要があるものをあらかじめ設定することが可能である。
【0047】
また、損傷38a,38bの位置を、損傷ベクトルの成分とすることも可能である。この場合、例えば以下の(6)式のようにワンホット表現で表すことができる。
(第1面第1領域,第1面第2領域,…,第2面第1領域,第2面第2領域,…,第6面第15領域,第6面第16領域,損傷なし,穴(小),穴(大),亀裂(小),…)…(6)
具体的には、例えば、以下の(6-1)式や(6-2)式などで表すことができる。
第1面381の第1領域に損傷が存在しない場合
(第1面第1領域,第1面第2領域,…,第2面第1領域,第2面第2領域,…,第6面第15領域,第6面第16領域,損傷なし,穴(小),穴(大),亀裂(小),…)
=(1,0,…,0,0,…,0,0,1,0,0,0,…)…(6-1)
第2面382の第2領域に穴(大)の損傷38aが存在する場合
(第1面第1領域,第1面第2領域,…,第2面第1領域,第2面第2領域,…,第6面第15領域,第6面第16領域,損傷なし,穴(小),穴(大),亀裂(小),…)
=(0,0,…,0,1,…,0,0,0,0,1,0,…)…(6-2)
【0048】
以上のように、図4(b)に示すように、所定の時点における状態ベクトルに対して、同時点での損傷ベクトルを対応させることができる。その上で、過去の状態ベクトル、例えば所定期間における状態ベクトル、図4(a)に示す例においては例えば左から4つ分の○印の状態ベクトルを教師データの入力パラメータ(学習用入力パラメータ)とする。また、過去の状態ベクトルより後の損傷ベクトル、図4(b)に示す例においては例えば左から5つ目の×印の損傷ベクトルを教師データの出力パラメータ(学習用出力パラメータ)とする。すなわち、蓄積されたコンテナ経時状態情報のうちの将来の予測に用いるコンテナ経時状態情報のうちの最新の日時より後の期間における損傷ベクトルとする。同様にして、図4に示す例において学習部111は、所定時点における1つの損傷ベクトルと、この損傷ベクトルより過去に遡った例えば4つの時点におけるシーケンスの状態ベクトルとに基づいて、機械学習を行う(many to one)。学習部111は、これらの時系列に沿って得られた複数の教師データの入力パラメータおよび出力パラメータによって、時系列に沿って順次機械学習を行う。ここで、機械学習は、所定の範囲における過去および未来の、状態ベクトルと損傷ベクトルとの関係を非線形表現が可能な方法で行われ、具体的には例えば、再起型ニューラルネットワーク(RNN)、特にLSTMによって行うことが好ましい。以上により、学習部111はコンテナ損傷学習モデル121を生成する。なお、コンテナ損傷学習モデル121の生成方法は、上述した例に限定されず、コンテナ損傷学習モデル121は、種々の機械学習によって生成することが可能である。
【0049】
(情報処理方法)
次に、以上のように構成された港湾管理システム1における学習装置10、管理装置20、およびゲート施設30において実行される情報処理方法について説明する。図6図7、および図8はそれぞれ、本実施形態による情報処理方法を説明するためのフローチャート、データの送信経路、および予測方法の概略を示す図である。なお、学習装置10と管理装置20とゲート施設30とユーザ端末40との間における情報の送受信、供給、または取得は、ネットワーク2を介して実行されるが、都度の説明は省略する。
【0050】
図6に示すように、ステップST1においてゲート施設30において、コンテナ38を積載した移動体50がゲート31を通過する。この際、ゲート31に設けられた撮像部33およびセンサ部34によって、コンテナ38の外面、具体的に例えばコンテナ38の撮像可能な面を撮像して画像情報を取得したり、コンテナ38に対してセンシングすることによりセンサ情報を取得したりする。なお、撮像部33による撮像とセンサ部34によるセンシングのいずれか一方のみを実行しても良く、さらに作業者による目視による検査結果を画像情報やセンサ情報に追加しても良い。また、コンテナ38が移動体50に搭載された状態以外にも、港湾ターミナルにおいて、コンテナ38がクレーンや立体倉庫に格納されている場合には、隠れている下面や前面なども撮像したりセンシングしたりすることが可能となる。
【0051】
図7に示すように、撮像部33が撮像した画像情報は、管理装置20に送信され、ID認識部212が取得する。一方、画像情報およびセンサ部34がセンシングして得たセンサ情報は、管理装置20に送信される。センサ情報は、測距センサによって計測されて得られた距離情報や、X線センサによって計測されて得られたX線情報などを含むが、赤外線情報などのその他のセンサ情報を含んでいても良い。なお、画像情報は、コンテナ38の表面の状態の情報に対応する。距離情報は、コンテナ38の表面の凹凸の情報に対応する。X線、紫外線、または赤外線などの可視光外の情報は、コンテナ38の表面および内部の腐食情報に対応する。
【0052】
次に、図6に示すステップST2に移行して管理装置20の制御部21のID認識部212は、取得した画像情報に基づいて、コンテナ38のコンテナ識別IDを認識する。通常、コンテナ38に固有のコンテナ識別IDは、コンテナ38の外面に表示されているため、図7に示すようにID認識部212は、画像情報からコンテナ識別IDを抽出して認識できる。なお、コンテナ識別IDがRFIDなどによって記録されている場合には、センサ部34によってコンテナ識別IDをセンシングするようにしても良い。ID認識部212は、認識したコンテナ識別IDを登録キーとしてコンテナ経時状態データベース221に格納する。
【0053】
続いて、図6に示すステップST3に移行してID認識部212は、図7に示すように、認識したコンテナ識別IDを搬入出管理部211に出力する。搬入出管理部211は、取得したコンテナ識別IDに基づいて、コンテナ経時状態データベース221からコンテナ識別IDに関連付けされた過去のコンテナ経時状態情報を読み出す。
【0054】
続いて、図6に示すステップST4に移行して搬入出管理部211は、図7に示すように、撮像部33やセンサ部34から取得した画像情報やセンサ情報などの登録データを、取得した日時および時刻などの時点の情報、例えば現在の日時や時刻と関連付けて、コンテナ情報に追加する。搬入出管理部211は、取得した画像情報やセンサ情報を追加したコンテナ情報を、コンテナ経時状態情報として、ID認識部212から入力されたコンテナ識別IDと関連付けて、記憶部22のコンテナ経時状態データベース221に格納する。生成されたコンテナ経時状態情報は、学習装置10に送信されて、コンテナ経時状態データベース122に格納される。以上のステップST1~ST4を繰り返し実行することによって、コンテナ経時状態データベース122,221にコンテナ経時状態情報が蓄積されて、コンテナ損傷学習モデル121を生成したり更新したりするための教師データが蓄積されることになる。
【0055】
その後、ステップST5に移行して、図1および図8に示すように、学習装置10における制御部11の状態入力部114は、コンテナ経時状態データベース122からコンテナ識別IDに関連付いたコンテナ経時状態情報を読み出して、演算部113に出力する。演算部113は、コンテナ経時状態情報から状態ベクトルを生成して予測部112に出力する。なお、コンテナ経時状態情報は、状態ベクトルとしてコンテナ経時状態データベース122,221に格納されていても良い。この場合、状態入力部114は、コンテナ経時状態情報を予測部112に直接出力しても良い。
【0056】
一方、予測部112は、記憶部12からコンテナ損傷学習モデル121を読み出し、入力されたコンテナ経時状態情報を入力パラメータとして、コンテナ損傷学習モデル121に入力する。予測部112は、コンテナ損傷学習モデル121に基づいて、出力パラメータとして損傷ベクトルを出力する。予測部112は、現在より後の期間、すなわち将来におけるコンテナ38の損傷ベクトルを生成して出力する。ステップST5により、学習装置10に入力された所定のコンテナ38のコンテナ経時状態情報に基づいて、コンテナ38の将来における損傷ベクトルを予測できる。
【0057】
次に、ステップST6に移行して予測部112は、ステップST5において予測した損傷ベクトルに基づいて、コンテナ38において現在から後の将来の期間に損傷が生じる位置および種類を導出する。予測部112は、導出した損傷の位置および種類の情報を、通信部13からユーザ端末40に送信する。ユーザ端末40を所持してコンテナ38を検査する作業者は、受信した将来的に損傷が生じる可能性が高い位置の情報および種類の情報によって、所定のコンテナ38における損傷が生じる可能性が高い位置や種類を認識できる。以上の、ステップST5,ST6によって、コンテナ識別IDに関連付けられた所定のコンテナ38のコンテナ経時状態情報に基づいて、コンテナ38の将来における損傷の位置および種類を予測でき、作業者が認識できる。
【0058】
具体的に図8に示す例においては、将来のコンテナ38における、第1面381a、第2面382a、第3面383a、第4面384a、第5面385a、および第6面386aのそれぞれにおいて、メッシュ状に例えば16分割された領域のうちのいずれの領域に、どのような種類の損傷が生じるかが予測される。予測部112は例えば、位置として「第3面383aの第2領域」、種類として「穴(大)」の損傷38cが生じる可能性が高いと導出する。同様に予測部112は、位置として「コンテナ38の第2面382aの第10領域」、種類として「穴(小)」の損傷38dが生じる可能性が高いと導出する。作業者は、ユーザ端末40の入出力部43から、損傷38c,38dが生じる可能性が高い部分を集中的に点検することができる。
【0059】
以上説明した一実施形態によれば、管理装置20に蓄積されたコンテナ情報を含むコンテナ経時状態情報に基づいたコンテナ損傷学習モデル121によって、所定の時点における特定のコンテナ38の外面の画像情報やセンサ情報と、過去のコンテナ経時状態情報とに基づいて、特定のコンテナ38における将来の損傷の位置や種類を予測することが可能となる。そのため、コンテナ38に関して得られた損傷の位置や種類の予測結果情報から、作業者が目視によって確認する作業において、例えば損傷の発生が予測されるコンテナ38の右側面を重点的に検査するなどの、確認の優先順位を設定できるので、作業者の作業負荷を低減できる。さらに、コンテナ38における将来の損傷の位置や種類を予測することによって、高い確率で損傷の発生が予測される軽微な損傷部分を事前に補修するなど、予防的な保全作業を行うことができるので、損傷の発生を未然に抑制できる可能性が向上する。
【0060】
(記録媒体)
上述の一実施形態において、学習装置10や管理装置20が実行する処理方法を実行させるプログラムを、コンピュータその他の機械やウェアラブルデバイスなどの装置(以下、コンピュータなど、という)が読み取り可能な記録媒体に記録することができる。コンピュータなどに、この記録媒体のプログラムを読み込ませて実行させることにより、当該コンピュータなどが移動体制御装置として機能する。ここで、コンピュータなどが読み取り可能な記録媒体とは、データやプログラムなどの情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータなどから読み取ることができる非一時的な記録媒体をいう。このような記録媒体のうちのコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、BD、DAT、磁気テープ、フラッシュメモリなどのメモリカードなどがある。また、コンピュータなどに固定された記録媒体としてハードディスク、ROMなどがある。さらに、SSDは、コンピュータなどから取り外し可能な記録媒体としても、コンピュータなどに固定された記録媒体としても利用可能である。
【0061】
また、一実施形態による学習装置10、および管理装置20に実行させるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
【0062】
(その他の実施形態)
一実施形態においては、上述した「部」を、「回路」などに読み替えることができる。例えば、制御部は、制御回路に読み替えることができる。
【0063】
なお、本明細書におけるフローチャートの説明では、「まず」、「次に」、「その後」、「続いて」などの表現を用いてステップ間の処理の前後関係を明示していたが、本実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【0064】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。本開示のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。例えば、上述の一実施形態において挙げた数値や情報の種類はあくまでも例に過ぎず、必要に応じてこれと異なる数値や情報の種類を用いても良く、上述の一実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。
【0065】
例えば、上述の一実施形態においては、港湾管理システム1において、学習装置10、管理装置20、ゲート施設30、およびユーザ端末40をそれぞれ別体として説明しているが、必ずしも別体で構成することに限定されない。具体的に、学習装置10と管理装置20とを一体に構成しても良い。また、ゲート施設30が学習装置10を備えていても良い。さらに、ゲート施設30が設置される格納施設に学習装置10を備えても良い。管理装置20においても、ゲート施設30に備えるように構成しても良く、ゲート施設30を備える格納施設に備えても良い。
【符号の説明】
【0066】
1 港湾管理システム
2 ネットワーク
10 学習装置
11,21,41 制御部
12,22,42 記憶部
13,23,44 通信部
14,24 出力部
15,25 入力部
20 管理装置
30 ゲート施設
31 ゲート
33 撮像部
34 センサ部
38 コンテナ
38a,38b,38c,38d 損傷
40 ユーザ端末
43 入出力部
50 移動体
111 学習部
112 予測部
113 演算部
114 状態入力部
121 コンテナ損傷学習モデル
122,221 コンテナ経時状態データベース
211 搬入出管理部
212 ID認識部
381,381a 第1面
382,382a 第2面
383,383a 第3面
384,384a 第4面
385,385a 第5面
386,386a 第6面
図1
図2
図3
図4
図5
図6
図7
図8