ホーム > 特許ランキング > 株式会社豊田中央研究所
知財求人 - 知財ポータルサイト「IP Force」
特開2024-113258情報処理システム、情報処理方法及び情報処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024113258
(43)【公開日】2024-08-22
(54)【発明の名称】情報処理システム、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06Q 50/04 20120101AFI20240815BHJP
G06Q 10/06 20230101ALI20240815BHJP
G06T 19/00 20110101ALI20240815BHJP
【ＦＩ】
G06Q50/04
G06Q10/06
G06T19/00 A
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023018108
(22)【出願日】2023-02-09
(71)【出願人】
【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人ＩＰＸ
(72)【発明者】
【氏名】大濱 吉紘
(72)【発明者】
【氏名】石田 皓之
(72)【発明者】
【氏名】大石 航志
(72)【発明者】
【氏名】岡田 遼嗣
(72)【発明者】
【氏名】下岡 和也
(72)【発明者】
【氏名】伊藤 誠悟
(72)【発明者】
【氏名】牧野 寛也
【テーマコード（参考）】
5B050
5L049
5L050
【Ｆターム（参考）】
5B050BA08
5B050BA09
5B050BA13
5B050CA07
5B050CA08
5B050DA10
5B050EA07
5B050EA12
5B050EA18
5B050FA02
5B050FA09
5B050GA08
5L049CC03
5L049DD02
5L050CC03
5L050DD02
(57)【要約】 （修正有）
【課題】シミュレータ等を用いた設備の構築又は運用を改善する。
【解決手段】生産設備と、情報処理装置と、複数のユーザ端末とが通信回線を通じて通信する情報処理システムにおいて、情報処理装置が有するプロセッサの取得部は、設備のレイアウト設計を示す設計情報と、レイアウト設計に従って実装される現実空間における設備の運用状況に関する運用情報と、を取得する。生成部は、設計情報と運用情報とに基づき仮想設備を生成する。仮想設備は、所定の仮想空間内で再現された設備であり、学習モデルによって仮想空間内において運用される。生成部はまた、仮想設備に対する所定の物理シミュレーションの結果に基づき少なくとも１つの学習データを生成する。学習データは、仮想設備の学習モデルの学習に用いられる。学習部は、学習データを用いた仮想設備の学習モデルの学習を行い、その結果に基づき、現実空間における学習モデルの学習パラメータを出力する。
【選択図】図５
【解決手段】生産設備と、情報処理装置と、複数のユーザ端末とが通信回線を通じて通信する情報処理システムにおいて、情報処理装置が有するプロセッサの取得部は、設備のレイアウト設計を示す設計情報と、レイアウト設計に従って実装される現実空間における設備の運用状況に関する運用情報と、を取得する。生成部は、設計情報と運用情報とに基づき仮想設備を生成する。仮想設備は、所定の仮想空間内で再現された設備であり、学習モデルによって仮想空間内において運用される。生成部はまた、仮想設備に対する所定の物理シミュレーションの結果に基づき少なくとも１つの学習データを生成する。学習データは、仮想設備の学習モデルの学習に用いられる。学習部は、学習データを用いた仮想設備の学習モデルの学習を行い、その結果に基づき、現実空間における学習モデルの学習パラメータを出力する。
【選択図】図５
【特許請求の範囲】
【請求項1】
情報処理システムであって、
次の各ステップがなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備え、
取得ステップでは、設備のレイアウト設計を示す設計情報と、前記レイアウト設計に従って実装される現実空間における設備の運用状況に関する運用情報と、を取得し、ここで、前記設備は、少なくとも１つの学習パラメータを含む学習モデルに基づき駆動可能な駆動機器を含み、
第１の生成ステップでは、前記設計情報と前記運用情報とに基づき、仮想設備を生成し、ここで、
前記仮想設備は、所定の仮想空間内で再現された前記設備であり、前記学習モデルによって前記仮想空間内において運用可能に構成され、
第２の生成ステップでは、前記仮想設備に対する所定の物理シミュレーションの結果に基づき少なくとも１つの学習データを生成し、ここで、前記学習データは、前記仮想設備の前記学習モデルの学習に用いられ、
出力ステップでは、前記学習データを用いた前記仮想設備の学習モデルの学習の結果に基づき、前記現実空間における前記学習モデルの前記学習パラメータを出力する、情報処理システム。
次の各ステップがなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備え、
取得ステップでは、設備のレイアウト設計を示す設計情報と、前記レイアウト設計に従って実装される現実空間における設備の運用状況に関する運用情報と、を取得し、ここで、前記設備は、少なくとも１つの学習パラメータを含む学習モデルに基づき駆動可能な駆動機器を含み、
第１の生成ステップでは、前記設計情報と前記運用情報とに基づき、仮想設備を生成し、ここで、
前記仮想設備は、所定の仮想空間内で再現された前記設備であり、前記学習モデルによって前記仮想空間内において運用可能に構成され、
第２の生成ステップでは、前記仮想設備に対する所定の物理シミュレーションの結果に基づき少なくとも１つの学習データを生成し、ここで、前記学習データは、前記仮想設備の前記学習モデルの学習に用いられ、
出力ステップでは、前記学習データを用いた前記仮想設備の学習モデルの学習の結果に基づき、前記現実空間における前記学習モデルの前記学習パラメータを出力する、情報処理システム。
【請求項2】
請求項１に記載の情報処理システムにおいて、
前記取得ステップでは、さらに、前記設備における擾乱に関する擾乱情報を含み、
前記第２の生成ステップでは、さらに、前記仮想空間内での前記擾乱情報に基づき、前記学習データの少なくとも１つに対して前記擾乱を作用させることにより、擾乱学習データを生成し、
前記出力ステップでは、さらに、前記擾乱学習データを用いた前記仮想設備の前記学習モデルの学習の結果に基づき、前記現実空間における前記学習モデルの前記学習パラメータを出力する、情報処理システム。
前記取得ステップでは、さらに、前記設備における擾乱に関する擾乱情報を含み、
前記第２の生成ステップでは、さらに、前記仮想空間内での前記擾乱情報に基づき、前記学習データの少なくとも１つに対して前記擾乱を作用させることにより、擾乱学習データを生成し、
前記出力ステップでは、さらに、前記擾乱学習データを用いた前記仮想設備の前記学習モデルの学習の結果に基づき、前記現実空間における前記学習モデルの前記学習パラメータを出力する、情報処理システム。
【請求項3】
請求項１に記載の情報処理システムにおいて、
前記物理シミュレーションは、光学的なシミュレーションを含み、
前記学習データは、前記仮想設備の画像データおよびＬｉＤＡＲデータのうちの少なくとも１つを含む、情報処理システム。
前記物理シミュレーションは、光学的なシミュレーションを含み、
前記学習データは、前記仮想設備の画像データおよびＬｉＤＡＲデータのうちの少なくとも１つを含む、情報処理システム。
【請求項4】
請求項１に記載の情報処理システムにおいて、
さらに、学習ステップでは、少なくとも前記学習データに基づく前記仮想設備の学習モデルの学習を行う、情報処理システム。
さらに、学習ステップでは、少なくとも前記学習データに基づく前記仮想設備の学習モデルの学習を行う、情報処理システム。
【請求項5】
請求項１に記載の情報処理システムにおいて、
さらに更新ステップでは、前記運用情報に基づき計算される適応度が所定の更新条件を満たす場合に、前記学習モデルの更新を行い、ここで、前記適応度は、前記仮想設備の運用状況と前記現実空間における前記設備の運用状況との整合性を示す、情報処理システム。
さらに更新ステップでは、前記運用情報に基づき計算される適応度が所定の更新条件を満たす場合に、前記学習モデルの更新を行い、ここで、前記適応度は、前記仮想設備の運用状況と前記現実空間における前記設備の運用状況との整合性を示す、情報処理システム。
【請求項6】
請求項１に記載の情報処理システムにおいて、
評価ステップでは、前記物理シミュレーションに基づき、前記設計情報の妥当性を示す評価指標を出力し、
学習停止ステップでは、前記評価指標が所定の停止条件を満たす場合に前記学習モデルの学習を実行しない、情報処理システム。
評価ステップでは、前記物理シミュレーションに基づき、前記設計情報の妥当性を示す評価指標を出力し、
学習停止ステップでは、前記評価指標が所定の停止条件を満たす場合に前記学習モデルの学習を実行しない、情報処理システム。
【請求項7】
請求項６に記載の情報処理システムにおいて、
提示ステップでは、前記停止条件が満たされた場合に、満たされた前記停止条件に関する停止情報を、ユーザが視認可能な態様で提示させる、情報処理システム。
提示ステップでは、前記停止条件が満たされた場合に、満たされた前記停止条件に関する停止情報を、ユーザが視認可能な態様で提示させる、情報処理システム。
【請求項8】
情報処理方法であって、
請求項１～請求項７の何れか１つに記載の情報処理システムの各ステップを含む、情報処理方法。
請求項１～請求項７の何れか１つに記載の情報処理システムの各ステップを含む、情報処理方法。
【請求項9】
情報処理プログラムであって、
少なくとも１つのコンピュータに、請求項１～請求項７の何れか１つに記載の情報処理システムの各ステップを実行させる、情報処理プログラム。
少なくとも１つのコンピュータに、請求項１～請求項７の何れか１つに記載の情報処理システムの各ステップを実行させる、情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
特許文献１には、機械学習を用いて高精度に装置の故障検知と予知を行うことの可能なシステム・装置・方法を提供する物流システムが開示されている。
【0003】
当該物流システムは、物流センターの入荷から出荷までの全工程において、センシング手段および／または映像取得手段より取得された搬送物と作業員とマテハン機器の識別情報を通信回線より入手し、コンピュータ上の３Ｄシミュレータにより前記搬送物の物流量と、前記作業員および／または前記マテハン機器の動線とを最適化し、物流量情報と、故障検知及び／もしくは故障予知情報と、を表示する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－１４８９３５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、このようなコンピュータ上の３Ｄシミュレータ等を用いた設備の構築または運用等には、未だ改善の余地がある。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、情報処理システムが提供される。この情報処理システムでは、次の各ステップがなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備える。取得ステップでは、設備のレイアウト設計を示す設計情報と、レイアウト設計に従って実装される現実空間における設備の運用状況に関する運用情報と、を取得する。設備は、少なくとも１つの学習パラメータを含む学習モデルに基づき駆動可能な駆動機器を含む。第１の生成ステップでは、設計情報と運用情報とに基づき、仮想設備を生成する。仮想設備は、所定の仮想空間内で再現された設備であり、学習モデルによって仮想空間内において運用可能に構成される。第２の生成ステップでは、仮想設備に対する所定の物理シミュレーションの結果に基づき少なくとも１つの学習データを生成する。学習データは、仮想設備の学習モデルの学習に用いられる。出力ステップでは、学習データを用いた仮想設備の学習モデルの学習の結果に基づき、現実空間における学習モデルの学習パラメータを出力する。
【0007】
このような構成によれば、設備の構築または運用等をより効率的に行うことができる。
【図面の簡単な説明】
【0008】
【図1】情報処理システム１を表す構成図である。
【図2】情報処理装置２のハードウェア構成を示すブロック図である。
【図3】ユーザ端末３のハードウェア構成を示すブロック図である。
【図4】生産設備４の一例を示す図である。
【図5】プロセッサ２３が備える機能部の一例を示す図である。
【図6】情報処理システム１において実行される第１の情報処理の流れの一例を示すアクティビティ図である。
【図7】生産設備４と仮想生産設備５の関係を示す概念図である。
【図8】情報処理システム１において実行される第２の情報処理の流れの一例を示すアクティビティ図である。
【図9】情報処理システム１において実行される、停止操作が行われた場合の処理の流れの一例を示すアクティビティ図である。
【図10】工作設備６との一例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0010】
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
【0011】
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０または１で構成される２進数のビット集合体としての信号値の高低、または量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
【0012】
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、およびメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
【0013】
１．ハードウェア構成
本節では、ハードウェア構成について説明する。
本節では、ハードウェア構成について説明する。
【0014】
<情報処理システム１>
図１は、情報処理システム１を表す構成図である。情報処理システム１は、情報処理装置２と、ユーザ端末３と、生産設備４とを備える。情報処理装置２と、ユーザ端末３と、生産設備４とは、電気通信回線を通じて通信可能に構成されている。一実施形態において、情報処理システム１とは、１つまたはそれ以上の装置または構成要素からなるものである。仮に例えば、情報処理装置２のみからなる場合であれば、情報処理システム１は、情報処理装置２となりうる。以下、これらの構成要素について説明する。
図１は、情報処理システム１を表す構成図である。情報処理システム１は、情報処理装置２と、ユーザ端末３と、生産設備４とを備える。情報処理装置２と、ユーザ端末３と、生産設備４とは、電気通信回線を通じて通信可能に構成されている。一実施形態において、情報処理システム１とは、１つまたはそれ以上の装置または構成要素からなるものである。仮に例えば、情報処理装置２のみからなる場合であれば、情報処理システム１は、情報処理装置２となりうる。以下、これらの構成要素について説明する。
【0015】
<情報処理装置２>
図２は、情報処理装置２のハードウェア構成を示すブロック図である。情報処理装置２は、通信部２１と、記憶部２２と、プロセッサ２３とを備え、これらの構成要素が情報処理装置２の内部において通信バス２０を介して電気的に接続されている。各構成要素についてさらに説明する。
図２は、情報処理装置２のハードウェア構成を示すブロック図である。情報処理装置２は、通信部２１と、記憶部２２と、プロセッサ２３とを備え、これらの構成要素が情報処理装置２の内部において通信バス２０を介して電気的に接続されている。各構成要素についてさらに説明する。
【0016】
通信部２１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、ＢＬＵＥＴＯＯＴＨ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、情報処理装置２は、通信部２１およびネットワークを介して、外部から種々の情報を通信してもよい。
【0017】
記憶部２２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、プロセッサ２３によって実行される情報処理装置２に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部２２は、プロセッサ２３によって実行される情報処理装置２に係る種々のプログラムや変数等を記憶している。
【0018】
プロセッサ２３は、情報処理装置２に関連する全体動作の処理・制御を行う。プロセッサ２３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。プロセッサ２３は、記憶部２２に記憶された所定のプログラムを読み出すことによって、情報処理装置２に係る種々の機能を実現する。すなわち、記憶部２２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例であるプロセッサ２３によって具体的に実現されることで、プロセッサ２３に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、プロセッサ２３は単一であることに限定されず、機能ごとに複数のプロセッサ２３を有するように実施してもよい。またそれらの組合せであってもよい。
【0019】
<ユーザ端末３>
図３は、ユーザ端末３のハードウェア構成を示すブロック図である。ユーザ端末３は、通信部３１と、記憶部３２と、プロセッサ３３と、表示部３４と、ＨＭＩデバイス３５とを備え、これらの構成要素がユーザ端末３の内部において通信バス３０を介して電気的に接続されている。通信部３１、記憶部３２およびプロセッサ３３の説明は、情報処理装置２における各部の説明と同様のため省略する。
図３は、ユーザ端末３のハードウェア構成を示すブロック図である。ユーザ端末３は、通信部３１と、記憶部３２と、プロセッサ３３と、表示部３４と、ＨＭＩデバイス３５とを備え、これらの構成要素がユーザ端末３の内部において通信バス３０を介して電気的に接続されている。通信部３１、記憶部３２およびプロセッサ３３の説明は、情報処理装置２における各部の説明と同様のため省略する。
【0020】
表示部３４は、ユーザ端末３筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部３４は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイおよびプラズマディスプレイ等の表示デバイスを、ユーザ端末３の種類に応じて使い分けて実施することが好ましい。
【0021】
ＨＭＩデバイス３５は、ヒューマン・マシン・インターフェースデバイスである。ＨＭＩデバイス３５は、ユーザ端末３の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、ＨＭＩデバイス３５は、表示部３４と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード、音声認識装置、ジェスチャ検出装置、視線検出装置、生体信号検出装置、撮像装置などを採用してもよい。すなわち、ＨＭＩデバイス３５がユーザによってなされた操作入力を受け付ける。ＨＭＩデバイス３５は、応答として、通信バス３０を介し操作入力に対応する信号をプロセッサ３３に転送する。プロセッサ３３が必要に応じて所定の制御や演算を実行しうる。ＨＭＩデバイス３５は、ユーザからの入力を受付可能に構成されている入力部を含むともいえる。
【0022】
<生産設備４>
図４は、生産設備４の一例を示す図である。生産設備４は、所定の製品の生産および管理を行うための共用倉庫であり、設備の一態様である。図４に示すように、本実施形態では、生産設備４は、生産設備４は、入庫設備４１と、出庫設備４２と、保管設備４３と、照明設備４４と、駆動機器としてのフォークリフト４５と、を備える。また、生産設備４は、当該製品の生産を行う製造ラインをさらに備えていてもよい。
図４は、生産設備４の一例を示す図である。生産設備４は、所定の製品の生産および管理を行うための共用倉庫であり、設備の一態様である。図４に示すように、本実施形態では、生産設備４は、生産設備４は、入庫設備４１と、出庫設備４２と、保管設備４３と、照明設備４４と、駆動機器としてのフォークリフト４５と、を備える。また、生産設備４は、当該製品の生産を行う製造ラインをさらに備えていてもよい。
【0023】
<入庫設備４１>
入庫設備４１は、製品を生産する生産ラインと、生産ラインで生産された製品を入庫するための入庫領域とを備える。生産ラインは、例えば製品の原材料の導入機、原材料の加工機、導入機または加工機等で処理された対象物を搬送する搬送機など、種々の生産機器を含み、これらの機器がユーザ等の指定に基づくレイアウトに従って配置される。入庫領域は、例えば入庫用の台座などである。当該台座には、生産された製品が搭載されたパレットなどが載置される。
入庫設備４１は、製品を生産する生産ラインと、生産ラインで生産された製品を入庫するための入庫領域とを備える。生産ラインは、例えば製品の原材料の導入機、原材料の加工機、導入機または加工機等で処理された対象物を搬送する搬送機など、種々の生産機器を含み、これらの機器がユーザ等の指定に基づくレイアウトに従って配置される。入庫領域は、例えば入庫用の台座などである。当該台座には、生産された製品が搭載されたパレットなどが載置される。
【0024】
<出庫設備４２>
出庫設備４２は、入庫設備４１に載置された製品等を外部に出庫するための設備であり、例えば入庫設備４１と同様の出庫用の台座や、トラック等の搬出用車両であってもよい。
出庫設備４２は、入庫設備４１に載置された製品等を外部に出庫するための設備であり、例えば入庫設備４１と同様の出庫用の台座や、トラック等の搬出用車両であってもよい。
【0025】
<保管設備４３>
保管設備４３は、製品などの物品を保管可能な設備であり、例えば棚である。保管設備４３は、入庫された製品を保管するための設備として機能する一方で、後述されるフォークリフト４５が生産設備４の内部を移動する際の障害物でもあり、フォークリフト４５の進入禁止領域を規定する。
保管設備４３は、製品などの物品を保管可能な設備であり、例えば棚である。保管設備４３は、入庫された製品を保管するための設備として機能する一方で、後述されるフォークリフト４５が生産設備４の内部を移動する際の障害物でもあり、フォークリフト４５の進入禁止領域を規定する。
【0026】
<照明設備４４>
照明設備４４は、生産設備４の内部に光を照射または導入することにより生産設備４の内部の明るさを調整可能な設備であり、例えば、採光窓や照明器具などである。照明設備４４が生産設備４の内部に光を照射または導入することにより、生産設備４の内部の視認性が変わる。これは、当該光が生産設備４に含まれる製品等に直接照射されること、および、生産設備４に含まれる他の部材、例えば、生産設備４の壁面、床面、保管設備４３等、によって散乱され、これらの部材が製品等に対して間接照明として機能することに起因する。そのため、生産設備４の内部の視覚的な情報に対する擾乱として機能する。
照明設備４４は、生産設備４の内部に光を照射または導入することにより生産設備４の内部の明るさを調整可能な設備であり、例えば、採光窓や照明器具などである。照明設備４４が生産設備４の内部に光を照射または導入することにより、生産設備４の内部の視認性が変わる。これは、当該光が生産設備４に含まれる製品等に直接照射されること、および、生産設備４に含まれる他の部材、例えば、生産設備４の壁面、床面、保管設備４３等、によって散乱され、これらの部材が製品等に対して間接照明として機能することに起因する。そのため、生産設備４の内部の視覚的な情報に対する擾乱として機能する。
【0027】
<フォークリフト４５>
フォークリフト４５は、少なくとも１つの学習パラメータを含む学習モデルＭ１に基づき駆動可能に構成されている。本実施形態のフォークリフト４５は、所定の学習モデルＭ１に従って、生産設備４内での経路Ｒに沿った走行および製品の荷役等の動作を行うように構成される。学習モデルＭ１は、例えば製品を積載したパレット等の識別対象を他の物品等から識別するように構成された識別器として機能する。また、フォークリフト４５は、生産設備４の内部を移動するための地図を記憶している。当該地図の形式は任意であるが、例えば、占有格子地図によって表される。占有格子地図では、上記入庫設備４１、出庫設備４２、および保管設備４３が存在する位置や、物品等が観測された位置を進入禁止領域として表現されている。フォークリフト４５は、当該進入禁止領域に対応する占有格子を回避するように、所定の経路Ｒに沿って走行を行う。当該占有格子地図は、フォークリフト４５によって自動的に生成されたものでも、情報処理装置２等の外部装置によって生成されたものでもよい。本実施形態のフォークリフト４５は、現実空間の生産設備４の内部を走行可能な車体４５１と、製品を荷役可能な荷役装置４５２と、検出装置４５３と、を備える。
フォークリフト４５は、少なくとも１つの学習パラメータを含む学習モデルＭ１に基づき駆動可能に構成されている。本実施形態のフォークリフト４５は、所定の学習モデルＭ１に従って、生産設備４内での経路Ｒに沿った走行および製品の荷役等の動作を行うように構成される。学習モデルＭ１は、例えば製品を積載したパレット等の識別対象を他の物品等から識別するように構成された識別器として機能する。また、フォークリフト４５は、生産設備４の内部を移動するための地図を記憶している。当該地図の形式は任意であるが、例えば、占有格子地図によって表される。占有格子地図では、上記入庫設備４１、出庫設備４２、および保管設備４３が存在する位置や、物品等が観測された位置を進入禁止領域として表現されている。フォークリフト４５は、当該進入禁止領域に対応する占有格子を回避するように、所定の経路Ｒに沿って走行を行う。当該占有格子地図は、フォークリフト４５によって自動的に生成されたものでも、情報処理装置２等の外部装置によって生成されたものでもよい。本実施形態のフォークリフト４５は、現実空間の生産設備４の内部を走行可能な車体４５１と、製品を荷役可能な荷役装置４５２と、検出装置４５３と、を備える。
【0028】
<検出装置４５３>
検出装置４５３は、フォークリフト４５の周囲の物品を検出可能に構成される。本実施形態の検出装置４５３は、フォークリフト４５の周囲の物品を光学的に撮像可能な撮像カメラを含み、車体４５１または荷役装置４５２に取り付けられている。本実施形態の撮像カメラは、フォークリフト４５の前方を撮像可能に構成されている。なお、検出装置４５３は、撮像カメラに限られず、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）や超音波検出装置など、フォークリフト４５と物品との位置関係を把握可能な情報を検出可能であれば任意である。検出装置４５３は、フォークリフト４５の状態を検出可能に構成されていてもよい。例えば、検出装置４５３は、フォークリフト４５の走行状態（走行速度、方向など）を検出する速度計、荷役装置４５２の状態（例えば、フォークの位置、ティルト角など）を検出する検出器などを含んでいてもよい。
検出装置４５３は、フォークリフト４５の周囲の物品を検出可能に構成される。本実施形態の検出装置４５３は、フォークリフト４５の周囲の物品を光学的に撮像可能な撮像カメラを含み、車体４５１または荷役装置４５２に取り付けられている。本実施形態の撮像カメラは、フォークリフト４５の前方を撮像可能に構成されている。なお、検出装置４５３は、撮像カメラに限られず、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）や超音波検出装置など、フォークリフト４５と物品との位置関係を把握可能な情報を検出可能であれば任意である。検出装置４５３は、フォークリフト４５の状態を検出可能に構成されていてもよい。例えば、検出装置４５３は、フォークリフト４５の走行状態（走行速度、方向など）を検出する速度計、荷役装置４５２の状態（例えば、フォークの位置、ティルト角など）を検出する検出器などを含んでいてもよい。
【0029】
２．情報処理装置２の機能構成
図５は、プロセッサ２３が備える機能部の一例を示す図である。図５に示すように、プロセッサ２３は、取得部２３１と、生成部２３２と、シミュレーション部２３３と、評価部２３４と、学習部２３５と、更新部２３６と、提示部２３７と、学習停止部２３８とを備える。本節では、これらの機能部の概要を説明する。各機能部の詳細は、後述の情報処理と合わせて説明される。
図５は、プロセッサ２３が備える機能部の一例を示す図である。図５に示すように、プロセッサ２３は、取得部２３１と、生成部２３２と、シミュレーション部２３３と、評価部２３４と、学習部２３５と、更新部２３６と、提示部２３７と、学習停止部２３８とを備える。本節では、これらの機能部の概要を説明する。各機能部の詳細は、後述の情報処理と合わせて説明される。
【0030】
取得部２３１は、ユーザ端末３または他のデバイスからの情報を取得するように構成される。取得部２３１は、記憶部２２の少なくとも一部であるストレージ領域に記憶されている種々の情報を読み出し、読み出された情報を記憶部２２の少なくとも一部である作業領域に書き込むことで、種々の情報を取得可能に構成されている。ストレージ領域とは、例えば、記憶部２２のうち、ＳＳＤ等のストレージデバイスとして実施される領域である。作業領域とは、例えば、ＲＡＭ等のメモリとして実施される領域である。なお、取得部２３１による取得は、プロセッサ２３に含まれる各機能部の出力結果を取得することを含む。
【0031】
生成部２３２は、取得された情報に基づき、所定の仮想空間と、当該仮想空間に含まれる種々のオブジェクトを生成するように構成される。これにより、生成部２３２は、仮想空間の内部で生産設備４を再現する。このような仮想空間を生成する具体的態様は任意であるが、例えば、ＮＶＩＤＩＡ社製のＯｍｎｉｖｅｒｓｅ（登録商標）等の種々のプラットフォームを用いて実現可能である。
【0032】
シミュレーション部２３３は、取得された種々の情報に基づき、種々の物理シミュレーションを行うように構成される。これにより、シミュレーション部２３３は、仮想空間内で再現された生産設備４の動作を、仮想空間内で再現することができる。このような仮想空間での種々の物理シミュレーションを行う方法は任意であるが、例えば、におけるＮＶＩＤＩＡ社製のＩｓａａｃ Ｓｉｍ（登録商標）などの種々のシミュレーションツールを用いて実現可能である。
【0033】
評価部２３４は、取得された情報に基づき、所定の評価対象に関する種々の評価指標を出力するように構成される。評価部２３４は、出力される評価指標に基づき、種々の条件に関する判定を行うように構成される。
【0034】
学習部２３５は、取得された情報、出力された評価指標、シミュレーション部２３３による物理シミュレーションの結果等に基づき、学習モデルＭ１の学習を行う。
【0035】
更新部２３６は、取得される情報、または学習部２３５による学習結果等に基づき、学習モデルＭ１に関する種々のパラメータや、生産設備４のレイアウト設計に関する情報、仮想空間内の状態などの種々の情報を更新する。
【0036】
提示部２３７は、種々の情報を表示可能に構成される。当該情報は、ユーザ端末３の表示部３４または他のデバイスを介して、ユーザに提示可能である。かかる場合、例えば、提示部２３７は、画面、静止画又は動画を含む画像、アイコン、メッセージ等の視覚情報を、ユーザ端末３の表示部３４に表示させるように制御する。提示部２３７は、視覚情報をユーザ端末３に表示させるためのレンダリング情報だけを生成してもよい。なお、提示部２３７は、ユーザ端末３または他のデバイスユーザを介さずに、出力された情報をユーザに対して提示してもよい。
【0037】
学習停止部２３８は、所定の停止条件が満たされた場合に学習モデルＭ１の学習を停止するように構成される。
【0038】
３．情報処理について
本節では、前述した情報処理システム１において実行される情報処理について説明する。本実施形態の情報処理は、仮想空間での物理シミュレーションを用いた第１の情報処理と、生産設備４の運用の際のフォークリフト４５の動作と適応度との関係を記録するための第２の情報処理と、所定の停止操作が行われた場合に行われる第３の情報処理とを含む。
本節では、前述した情報処理システム１において実行される情報処理について説明する。本実施形態の情報処理は、仮想空間での物理シミュレーションを用いた第１の情報処理と、生産設備４の運用の際のフォークリフト４５の動作と適応度との関係を記録するための第２の情報処理と、所定の停止操作が行われた場合に行われる第３の情報処理とを含む。
【0039】
３．１．第１の情報処理の流れについて
まず、第１の情報処理の流れについて説明する。図６は、情報処理システム１において実行される第１の情報処理の流れの一例を示すアクティビティ図である。なお、当該情報処理は、図示されない任意の例外処理を含みうる。例外処理は、当該情報処理の中断や、各処理の省略を含む。当該情報処理にて行われる選択または入力は、ユーザによる操作に基づくものでも、ユーザの操作に依らず自動で行われるものでもよい。
まず、第１の情報処理の流れについて説明する。図６は、情報処理システム１において実行される第１の情報処理の流れの一例を示すアクティビティ図である。なお、当該情報処理は、図示されない任意の例外処理を含みうる。例外処理は、当該情報処理の中断や、各処理の省略を含む。当該情報処理にて行われる選択または入力は、ユーザによる操作に基づくものでも、ユーザの操作に依らず自動で行われるものでもよい。
【0040】
［アクティビティＡ１］
まずアクティビティＡ１にて、取得部２３１は、設備のレイアウト設計を示す設計情報ＩＦ１と、運用情報ＩＦ２とを取得する。これらの情報は、例えば、生産設備４の設計担当者等のユーザによって入力される。
まずアクティビティＡ１にて、取得部２３１は、設備のレイアウト設計を示す設計情報ＩＦ１と、運用情報ＩＦ２とを取得する。これらの情報は、例えば、生産設備４の設計担当者等のユーザによって入力される。
【0041】
設計情報ＩＦ１は、生産設備４のレイアウト設計を示す。設計情報ＩＦ１は、例えば、生産設備４の寸法や、入庫設備４１、出庫設備４２、保管設備４３、照明設備４４等の位置、大きさ、および範囲などを含む。また、設計情報ＩＦ１は、入庫設備４１、出庫設備４２、および保管設備４３に収容される製品または他の物品に関する情報（例えば、種類、大きさ、数、収容方法など）を含んでいてもよい。設計情報ＩＦ１は、生産設備４の設計図面、建築図、間取り図、３ＤＣＡＤデータ等の生産設備４の全体を示す情報や、生産設備４の内部に収容される製品または物品によって表される。
【0042】
運用情報ＩＦ２は、レイアウト設計に従って実装される現実空間における生産設備４の運用状況に関する情報である。運用情報ＩＦ２は、例えば、入庫設備４１に含まれる機器の位置、大きさ、もしくは範囲、製品の種類、搬入量、もしくは搬出料、照明設備４４の動作状態もしくは動作スケジュール（例えば、照明設備４４の点灯時間や照度など）、生産設備４によって搬送される対象物、またはフォークリフト４５の車種、走行時間、走行速度、もしくは走行スケジュールなどを含む。生産設備４が既に実装されている場合、取得部２３１は、当該生産設備４の運用情報ＩＦ２を取得するが、生産設備４が実装予定のものであり、まだ実装されていない場合、取得部２３１は、当該実装予定の生産設備４の運用情報ＩＦ２、すなわち、予定されている運用に関する情報、を取得する。
【0043】
［アクティビティＡ２］
次に、処理がアクティビティＡ２に進み、生成部２３２は、設計情報ＩＦ１と運用情報ＩＦ２とに基づき、仮想設備としての仮想生産設備５を生成する。仮想生産設備５は、後述される物理シミュレーションが行われる仮想空間において、生産設備４に対応するオブジェクトである。
次に、処理がアクティビティＡ２に進み、生成部２３２は、設計情報ＩＦ１と運用情報ＩＦ２とに基づき、仮想設備としての仮想生産設備５を生成する。仮想生産設備５は、後述される物理シミュレーションが行われる仮想空間において、生産設備４に対応するオブジェクトである。
【0044】
【0045】
仮想設備としての仮想生産設備５は、仮想空間内で再現された生産設備４であり、学習モデルＭ１によって仮想空間内において運用可能に構成される。仮想生産設備５は、仮想入庫設備５１と、仮想出庫設備５２と、仮想保管設備５３と、仮想照明設備５４と、仮想駆動機器としての仮想フォークリフト５５と、を備える。仮想入庫設備５１、仮想出庫設備５２、仮想保管設備５３、仮想照明設備５４、および仮想フォークリフト５５は、それぞれ、仮想空間において、入庫設備４１、出庫設備４２、保管設備４３、照明設備４４、およびフォークリフト４５に相当するオブジェクトである。これらのオブジェクトは、テクスチャによって表現されていても、点群等の座標データの集合として表現されていてもよい。また、プロセッサ２３は、このように生成された仮想空間を、フォークリフト４５が把握可能な仮想的な占有格子地図として記憶部２２に格納してもよい。
【0046】
仮想照明設備５４は、仮想空間内で行われる物理シミュレーションのなかで擾乱の発生源として機能する。例えば、仮想照明設備５４は、仮想生産設備５の内部に光の照射または導入を行うか否か、照射または導入される光の性質、例えば、強度、スペクトル、伝搬態様（点光源的な光の伝搬や面光源的な光の伝搬等）、等を設定可能に構成されている。生成部２３２は、仮想照明設備５４の設定を行うことにより、光源に関する擾乱情報ＩＦ３を生成することができる。
【0047】
仮想フォークリフト５５は、仮想生産設備５の内部を移動可能に構成されるオブジェクトである。仮想フォークリフト５５は、フォークリフト４５と対応するように、仮想車体５５１と、仮想荷役装置５５２と、仮想検出装置５５３と、を備える。仮想車体５５１、仮想荷役装置５５２、および仮想検出装置５５３は、それぞれ仮想空間において、車体４５１、荷役装置４５２、および検出装置４５３に相当するオブジェクトである。仮想フォークリフト５５は、仮想生産設備５の内部を移動し、仮想荷役装置５５２を用いて仮想空間内の製品や、製品が搭載されたパレット等の荷役を行うことができる。仮想検出装置５５３は、仮想空間内の状態を検出するように構成され、仮想生産設備５に含まれるセンサを擬似的に再現する。本実施形態では、仮想検出装置５５３は、仮想空間にて撮像カメラとして機能する、仮想撮像カメラを含む。仮想撮像カメラは、現実空間における撮像カメラと同様の光景を再現するように構成され、仮想フォークリフト５５から見た生産設備４の光景を観測することができる。そのため、仮想撮像カメラは、フォークリフト４５の撮像カメラによる観測結果を仮想空間で再現するシミュレータともいえる。このような仮想検出装置５５３の観測結果は、例えば、少なくとも１つの画像データとして出力可能である。
【0048】
［アクティビティＡ３］
図６に示すように、アクティビティＡ２の後、処理がアクティビティＡ３に進み、プロセッサ２３は、経由点Ｐ１を設定する（図７参照）。経由点Ｐ１は、仮想フォークリフト５５が開始位置から目標位置までの経路Ｒに含まれる必要がある特定の位置に関する情報である。経由点Ｐ１を設定することは、単に経由点Ｐ１の位置を設定することに限られず、経由点Ｐ１にて仮想フォークリフト５５に行わせる動作（例えば、荷役動作、旋回動作、待機動作など）を設定することを含み得る。
図６に示すように、アクティビティＡ２の後、処理がアクティビティＡ３に進み、プロセッサ２３は、経由点Ｐ１を設定する（図７参照）。経由点Ｐ１は、仮想フォークリフト５５が開始位置から目標位置までの経路Ｒに含まれる必要がある特定の位置に関する情報である。経由点Ｐ１を設定することは、単に経由点Ｐ１の位置を設定することに限られず、経由点Ｐ１にて仮想フォークリフト５５に行わせる動作（例えば、荷役動作、旋回動作、待機動作など）を設定することを含み得る。
【0049】
［アクティビティＡ４］
次に、処理がアクティビティＡ４に進み、生成部２３２は、生成された仮想生産設備５と、設定された経由点Ｐ１とに基づき、仮想フォークリフト５５が走行する経路Ｒを生成する。経路Ｒは、現実空間の占有格子地図においてフォークリフト４５が走行する経路と一致するように構成される。生成部２３２は、仮想生産設備５に含まれるオブジェクトが進入禁止領域として表現された仮想的な占有格子地図を生成し、仮想入庫設備５１から経由点Ｐ１を含むように仮想出庫設備５２まで移動する経路Ｒを生成する。経路Ｒは、生産設備４に含まれるフォークリフト４５の運用を規定する情報であり、運用情報ＩＦ２の一態様である。
次に、処理がアクティビティＡ４に進み、生成部２３２は、生成された仮想生産設備５と、設定された経由点Ｐ１とに基づき、仮想フォークリフト５５が走行する経路Ｒを生成する。経路Ｒは、現実空間の占有格子地図においてフォークリフト４５が走行する経路と一致するように構成される。生成部２３２は、仮想生産設備５に含まれるオブジェクトが進入禁止領域として表現された仮想的な占有格子地図を生成し、仮想入庫設備５１から経由点Ｐ１を含むように仮想出庫設備５２まで移動する経路Ｒを生成する。経路Ｒは、生産設備４に含まれるフォークリフト４５の運用を規定する情報であり、運用情報ＩＦ２の一態様である。
【0050】
［アクティビティＡ５］
次に、処理がアクティビティＡ５に進み、シミュレーション部２３３は、仮想生産設備５に対して所定の物理シミュレーションを実行する。本実施形態の物理シミュレーションは、光学的なシミュレーションを含む。光学的なシミュレーションとは、フォトリアルな物理シミュレータを用いたシミュレーションであり、例えば、レイトレーシング等により間接照明効果を考慮したシミュレーションである。これにより、シミュレーション部２３３は、生産設備４と同様の光の照射または散乱による外観を、仮想生産設備５の内部にて再現することができる。
次に、処理がアクティビティＡ５に進み、シミュレーション部２３３は、仮想生産設備５に対して所定の物理シミュレーションを実行する。本実施形態の物理シミュレーションは、光学的なシミュレーションを含む。光学的なシミュレーションとは、フォトリアルな物理シミュレータを用いたシミュレーションであり、例えば、レイトレーシング等により間接照明効果を考慮したシミュレーションである。これにより、シミュレーション部２３３は、生産設備４と同様の光の照射または散乱による外観を、仮想生産設備５の内部にて再現することができる。
【0051】
本実施形態では、シミュレーション部２３３は、取得された運用情報ＩＦ２に基づき、このようなフォトリアルに再現された仮想生産設備５に対して現実空間に実装される生産設備４と同様の動作を行わせる。これにより、シミュレーション部２３３は、仮想生産設備５を用いて生産設備４を忠実に再現することにより、生産設備４のレイアウト設計の変更または更新による影響を事前に推測することができる。
【0052】
［アクティビティＡ６］
次に、処理がアクティビティＡ６に進み、評価部２３４は、物理シミュレーションに基づき、設計情報ＩＦ１の妥当性を示す評価指標を出力する。評価指標は、設計情報ＩＦ１の物理的整合性を示す情報でもあり、例えば、設計情報ＩＦ１によって生成される仮想生産設備５内のオブジェクト（仮想入庫設備５１等）が他のオブジェクトと干渉しているか否か、仮想保管設備５３の配置等によって仮想フォークリフト５５が仮想入庫設備５１から仮想出庫設備５２に移動可能な経路Ｒが存在する否かなどに応じて値が変わる。当該評価指標が所定の停止条件を満たしている場合、処理がアクティビティＡ１に戻り、ユーザは、再度、設計情報ＩＦ１等を情報処理装置２に入力し、取得部２３１は、当該設計情報ＩＦ１等を取得する。そのため、プロセッサ２３は、評価指標が停止条件を満たす場合に学習モデルＭ１の学習を実行しない。なお、評価指標は数値情報等に限られず、上述した条件として表現されていてもよい。これにより、設備のレイアウトが物理的に実装困難である等の事情により学習の前提が妥当でない場合に学習モデルの学習が行われない。これにより、計算資源の無駄を減らすことができる。
次に、処理がアクティビティＡ６に進み、評価部２３４は、物理シミュレーションに基づき、設計情報ＩＦ１の妥当性を示す評価指標を出力する。評価指標は、設計情報ＩＦ１の物理的整合性を示す情報でもあり、例えば、設計情報ＩＦ１によって生成される仮想生産設備５内のオブジェクト（仮想入庫設備５１等）が他のオブジェクトと干渉しているか否か、仮想保管設備５３の配置等によって仮想フォークリフト５５が仮想入庫設備５１から仮想出庫設備５２に移動可能な経路Ｒが存在する否かなどに応じて値が変わる。当該評価指標が所定の停止条件を満たしている場合、処理がアクティビティＡ１に戻り、ユーザは、再度、設計情報ＩＦ１等を情報処理装置２に入力し、取得部２３１は、当該設計情報ＩＦ１等を取得する。そのため、プロセッサ２３は、評価指標が停止条件を満たす場合に学習モデルＭ１の学習を実行しない。なお、評価指標は数値情報等に限られず、上述した条件として表現されていてもよい。これにより、設備のレイアウトが物理的に実装困難である等の事情により学習の前提が妥当でない場合に学習モデルの学習が行われない。これにより、計算資源の無駄を減らすことができる。
【0053】
本実施形態では、さらに、提示部２３７は、停止条件が満たされた場合に、満たされた停止条件に関する停止情報を、ユーザが視認可能な態様で提示させる。これにより、ユーザは、停止情報に基づき設計情報の見直しを効率的に行うことができる。停止情報は、例えば、上記停止条件の内容、出力された評価指標の詳細（例えば、経路Ｒが存在しない、保管設備４３の耐久性が不足している等の情報）を含む。
【0054】
［アクティビティＡ７］
一方、停止条件が満たされない場合、処理がアクティビティＡ７に進み、物理シミュレーションの結果に基づき、フォークリフト４５の移動時間を算出し、ユーザとしての設計担当者に提示する。設計担当者は、提示された結果に基づき、生産設備４のレイアウトの変更をするか否かを指定する。設計担当者がレイアウトの変更を指定した場合、処理がアクティビティＡ１に戻り、取得部２３１は、新たな設計情報ＩＦ１および運用情報ＩＦ２を取得する。
一方、停止条件が満たされない場合、処理がアクティビティＡ７に進み、物理シミュレーションの結果に基づき、フォークリフト４５の移動時間を算出し、ユーザとしての設計担当者に提示する。設計担当者は、提示された結果に基づき、生産設備４のレイアウトの変更をするか否かを指定する。設計担当者がレイアウトの変更を指定した場合、処理がアクティビティＡ１に戻り、取得部２３１は、新たな設計情報ＩＦ１および運用情報ＩＦ２を取得する。
【0055】
［アクティビティＡ８］
次に、処理がアクティビティＡ８に進み、取得部２３１は、記憶部２２等を参照し、低適応度記録を取得する。低適応度記録は、後述される適応度が低い状況に関する生産設備４の動作記録であり、生産設備４と仮想生産設備５との運用の乖離が生じている場合のフォークリフト４５の操作等と対応付けられている。当該低適応度記録は、後述される学習モデルＭ１の学習の際に学習データＤ１の一部（例えば、生成される学習データＤ１に対するラベル）として用いられる。
次に、処理がアクティビティＡ８に進み、取得部２３１は、記憶部２２等を参照し、低適応度記録を取得する。低適応度記録は、後述される適応度が低い状況に関する生産設備４の動作記録であり、生産設備４と仮想生産設備５との運用の乖離が生じている場合のフォークリフト４５の操作等と対応付けられている。当該低適応度記録は、後述される学習モデルＭ１の学習の際に学習データＤ１の一部（例えば、生成される学習データＤ１に対するラベル）として用いられる。
【0056】
［アクティビティＡ９］
次に、処理がアクティビティＡ９に進み、プロセッサ２３は、設計情報ＩＦ１および運用情報ＩＦ２に基づき、仮想空間内での仮想生産設備５のレイアウトを決定する。
次に、処理がアクティビティＡ９に進み、プロセッサ２３は、設計情報ＩＦ１および運用情報ＩＦ２に基づき、仮想空間内での仮想生産設備５のレイアウトを決定する。
【0057】
［アクティビティＡ１０］
次に、処理がアクティビティＡ１０に進み、プロセッサ２３は、設計情報ＩＦ１および運用情報ＩＦ２に基づき、仮想生産設備５内で再現する擾乱を設定する。これにより、生成部２３２は、擾乱情報ＩＦ３を生成する。仮想生産設備５に作用させる擾乱を設定することは、生産設備４における擾乱に関する擾乱情報ＩＦ３を取得することの一態様である。例えば、プロセッサ２３は、設計情報ＩＦ１および運用情報ＩＦ２によって規定される範囲内で照明設備４４のそれぞれの照度の上限値、下限値、およびステップ幅を設定し、上限値と下限値によって規定される定義域内でステップ幅の間隔でサンプリングされた照度の値を擾乱情報ＩＦ３として生成する。
次に、処理がアクティビティＡ１０に進み、プロセッサ２３は、設計情報ＩＦ１および運用情報ＩＦ２に基づき、仮想生産設備５内で再現する擾乱を設定する。これにより、生成部２３２は、擾乱情報ＩＦ３を生成する。仮想生産設備５に作用させる擾乱を設定することは、生産設備４における擾乱に関する擾乱情報ＩＦ３を取得することの一態様である。例えば、プロセッサ２３は、設計情報ＩＦ１および運用情報ＩＦ２によって規定される範囲内で照明設備４４のそれぞれの照度の上限値、下限値、およびステップ幅を設定し、上限値と下限値によって規定される定義域内でステップ幅の間隔でサンプリングされた照度の値を擾乱情報ＩＦ３として生成する。
【0058】
［アクティビティＡ１１］
次に、処理がアクティビティＡ１１に進み、プロセッサ２３は、仮想生産設備５の観測態様を決定する。プロセッサ２３は、例えば、仮想検出装置５５３の位置、方位、視野角、観測時刻、仮想照明設備５４の動作条件などを設定する。仮想検出装置５５３の位置は、仮想生産設備５を観測するための観測位置の１つである。プロセッサ２３は、仮想検出装置５５３とは異なる観測手段を用いて、仮想フォークリフト５５以外の視座から仮想生産設備５の観測を行わせてもよい。
次に、処理がアクティビティＡ１１に進み、プロセッサ２３は、仮想生産設備５の観測態様を決定する。プロセッサ２３は、例えば、仮想検出装置５５３の位置、方位、視野角、観測時刻、仮想照明設備５４の動作条件などを設定する。仮想検出装置５５３の位置は、仮想生産設備５を観測するための観測位置の１つである。プロセッサ２３は、仮想検出装置５５３とは異なる観測手段を用いて、仮想フォークリフト５５以外の視座から仮想生産設備５の観測を行わせてもよい。
【0059】
［アクティビティＡ１２］
次に、処理がアクティビティＡ１２に進み、シミュレーション部２３３は、決定された観測態様に従って物理シミュレーションを行う。これにより、プロセッサ２３は、仮想フォークリフト５５が仮想生産設備５内を移動することで仮想検出装置５５３の観測位置を更新しながら、仮想生産設備５の観察を行うことができる。生成部２３２は、当該観測の結果を、少なくとも１つの画像データとして生成する。当該画像データは、後述される学習モデルＭ１の学習の際の学習データＤ１として用いられる。言い換えれば、生成部２３２は、仮想生産設備５に対する所定の物理シミュレーションの結果に基づき少なくとも１つの学習データＤ１を生成する。学習データＤ１は、仮想生産設備５の学習モデルＭ１の学習に用いられる。なお、仮想検出装置５５３は、検出装置４５３と同様にＬｉＤＡＲ等であってもよいことから、学習データＤ１は、仮想生産設備５の画像データおよびＬｉＤＡＲデータのうちの少なくとも１つを含む。
次に、処理がアクティビティＡ１２に進み、シミュレーション部２３３は、決定された観測態様に従って物理シミュレーションを行う。これにより、プロセッサ２３は、仮想フォークリフト５５が仮想生産設備５内を移動することで仮想検出装置５５３の観測位置を更新しながら、仮想生産設備５の観察を行うことができる。生成部２３２は、当該観測の結果を、少なくとも１つの画像データとして生成する。当該画像データは、後述される学習モデルＭ１の学習の際の学習データＤ１として用いられる。言い換えれば、生成部２３２は、仮想生産設備５に対する所定の物理シミュレーションの結果に基づき少なくとも１つの学習データＤ１を生成する。学習データＤ１は、仮想生産設備５の学習モデルＭ１の学習に用いられる。なお、仮想検出装置５５３は、検出装置４５３と同様にＬｉＤＡＲ等であってもよいことから、学習データＤ１は、仮想生産設備５の画像データおよびＬｉＤＡＲデータのうちの少なくとも１つを含む。
【0060】
本実施形態では、生成部２３２は、さらに、仮想空間内での擾乱情報ＩＦ３に基づき、学習データＤ１の少なくとも１つに対して擾乱を作用させることにより、擾乱学習データＤ２を生成する。擾乱学習データＤ２は、学習データＤ１と同様に学習モデルＭ１の学習に用いられる。そのため、学習モデルＭ１の学習に用いられるデータ数を増やすことができるため、学習モデルＭ１の精度向上を図ることができる。また、擾乱学習データＤ２は、擾乱の影響が反映された学習データＤ１ともいえる。そのため、当該擾乱学習データＤ２を用いて学習モデルＭ１の学習を行うことにより、現実空間における状況の変化、例えば、照明の劣化、新しい機器の導入、天候など、が物理シミュレーションにおける擾乱として取り込まれ、より様々な状況への適用性が高い学習パラメータを得ることができる。したがって、設備の運用効率を向上することができる。このような学習データＤ１および擾乱学習データＤ２等の学習モデルＭ１の学習に用いられる学習データの集合を、データセットといい、記憶部２２等に記憶される。
【0061】
［アクティビティＡ１３］
次に、処理がアクティビティＡ１３に進み、学習部２３５は、データセットに基づく仮想生産設備５の学習モデルＭ１の学習を行う。すなわち、学習部２３５は、少なくとも学習データＤ１に基づく仮想生産設備５の学習モデルＭ１の学習を行う。これにより、プロセッサ２３は、学習データＤ１を用いた仮想設備の学習モデルＭ１の学習の結果に基づき、現実空間における学習モデルＭ１の学習パラメータを出力する。本実施形態では、プロセッサ２３は、さらに、擾乱学習データＤ２を用いた仮想設備の学習モデルＭ１の学習の結果に基づき、現実空間における学習モデルＭ１の学習パラメータを出力する。プロセッサ２３は、学習パラメータ等の学習結果を、現実空間の生産設備４の学習モデルＭ１に適用可能な態様で出力する。
次に、処理がアクティビティＡ１３に進み、学習部２３５は、データセットに基づく仮想生産設備５の学習モデルＭ１の学習を行う。すなわち、学習部２３５は、少なくとも学習データＤ１に基づく仮想生産設備５の学習モデルＭ１の学習を行う。これにより、プロセッサ２３は、学習データＤ１を用いた仮想設備の学習モデルＭ１の学習の結果に基づき、現実空間における学習モデルＭ１の学習パラメータを出力する。本実施形態では、プロセッサ２３は、さらに、擾乱学習データＤ２を用いた仮想設備の学習モデルＭ１の学習の結果に基づき、現実空間における学習モデルＭ１の学習パラメータを出力する。プロセッサ２３は、学習パラメータ等の学習結果を、現実空間の生産設備４の学習モデルＭ１に適用可能な態様で出力する。
【0062】
本実施形態の学習データＤ１および擾乱学習データＤ２は、複数の視点で仮想生産設備５を撮影した画像であり、学習モデルＭ１の識別対象であるパレットに相当するオブジェクトが複数配置されている。擾乱学習データＤ２は、学習データＤ１に含まれる画像データに対して、擾乱情報ＩＦ３に基づき四角柱状のオブジェクトが配置されるように処理された画像データである。四角柱状のオブジェクトは、例えば一時的に配置された荷物等の、移動可能な物品である。このような物品は、学習モデルＭ１による検出装置４５３の検出結果に基づくパレットの認識を阻害するおそれがある。そこで、このような認識対象を阻害する画像データを擾乱情報ＩＦ３に基づき予め生成し、当該画像データに基づき学習モデルＭ１の学習を行うことで、仮想空間内での物理シミュレーションによって現実の生産設備４に搭載される学習モデルＭ１の性能を向上することができる。
【0063】
［アクティビティＡ１４］
図７に示すように、次に、処理がアクティビティＡ１４に進み、プロセッサ２３は、運用情報ＩＦ２に基づき適応度を計算する。適応度は、仮想設備の運用状況と現実空間における設備の運用状況との整合性を示す。適応度の具体的態様は任意であるが、例えば、生産設備４に含まれる検出装置４５３等のセンサによって構築される現実空間での占有格子地図と、仮想生産設備５に含まれる仮想検出装置５５３等によって構築される仮想空間での仮想的な占有格子地図との類似度を適応度とする。適応度は、生産設備４における占有格子地図と仮想空間における仮想的な占有格子地図との整合性（例えば一致度合い）が高いほど大きくなる。このように、適応度は、生産設備４と仮想生産設備５とを比較可能であれば任意である。その後、プロセッサ２３は、適応度が所定の更新条件を満たすか否かを判定する。更新条件は、上述の学習結果に基づき学習モデルＭ１を更新するか否かを判定するための条件であり、本実施形態では、適応度が閾値未満であることを含む。閾値は、生産設備４の運用に対する許容度合いに応じてユーザ等により任意に設定可能である。適応度が更新条件を満たさない場合（本実施形態では適応度が閾値以上である場合）、後述されるアクティビティＡ１５～アクティビティＡ１７の処理が省略され、第１の情報処理が終了する。
図７に示すように、次に、処理がアクティビティＡ１４に進み、プロセッサ２３は、運用情報ＩＦ２に基づき適応度を計算する。適応度は、仮想設備の運用状況と現実空間における設備の運用状況との整合性を示す。適応度の具体的態様は任意であるが、例えば、生産設備４に含まれる検出装置４５３等のセンサによって構築される現実空間での占有格子地図と、仮想生産設備５に含まれる仮想検出装置５５３等によって構築される仮想空間での仮想的な占有格子地図との類似度を適応度とする。適応度は、生産設備４における占有格子地図と仮想空間における仮想的な占有格子地図との整合性（例えば一致度合い）が高いほど大きくなる。このように、適応度は、生産設備４と仮想生産設備５とを比較可能であれば任意である。その後、プロセッサ２３は、適応度が所定の更新条件を満たすか否かを判定する。更新条件は、上述の学習結果に基づき学習モデルＭ１を更新するか否かを判定するための条件であり、本実施形態では、適応度が閾値未満であることを含む。閾値は、生産設備４の運用に対する許容度合いに応じてユーザ等により任意に設定可能である。適応度が更新条件を満たさない場合（本実施形態では適応度が閾値以上である場合）、後述されるアクティビティＡ１５～アクティビティＡ１７の処理が省略され、第１の情報処理が終了する。
【0064】
［アクティビティＡ１５］
一方、適応度が更新条件を満たす場合（本実施形態では適応度が閾値未満である場合）に、処理がアクティビティＡ１５に進み、プロセッサ２３は、学習モデルＭ１の更新に関する情報をユーザに対して通知する。
一方、適応度が更新条件を満たす場合（本実施形態では適応度が閾値未満である場合）に、処理がアクティビティＡ１５に進み、プロセッサ２３は、学習モデルＭ１の更新に関する情報をユーザに対して通知する。
【0065】
［アクティビティＡ１６］
次に、処理がアクティビティＡ１６に進み、プロセッサ２３は、生産設備４からの停止通知を要求する。停止通知は、運用が行われている生産設備４において所定の停止操作が行われたことを示す情報である。当該要求に応じて、生産設備４の現場にて運用を行っている現場担当者に対して、停止操作を行うような報知が行われる。
次に、処理がアクティビティＡ１６に進み、プロセッサ２３は、生産設備４からの停止通知を要求する。停止通知は、運用が行われている生産設備４において所定の停止操作が行われたことを示す情報である。当該要求に応じて、生産設備４の現場にて運用を行っている現場担当者に対して、停止操作を行うような報知が行われる。
【0066】
［アクティビティＡ１７］
その後、現場担当者によって停止操作が行われることで停止通知が生成され、取得部２３１が停止通知を取得した場合、処理がアクティビティＡ１７に進み、更新部２３６は、学習モデルの更新を行う。言い換えれば、更新部２３６は、運用情報ＩＦ２に基づき計算される適応度が所定の更新条件を満たす場合に、学習モデルの更新を行う。生産設備４は、更新後の学習モデルＭ１を用いて、再び運用される。
その後、現場担当者によって停止操作が行われることで停止通知が生成され、取得部２３１が停止通知を取得した場合、処理がアクティビティＡ１７に進み、更新部２３６は、学習モデルの更新を行う。言い換えれば、更新部２３６は、運用情報ＩＦ２に基づき計算される適応度が所定の更新条件を満たす場合に、学習モデルの更新を行う。生産設備４は、更新後の学習モデルＭ１を用いて、再び運用される。
【0067】
本実施形態では、更新部２３６は、さらに、適応度が所定の更新条件を満たす場合に、検出装置４５３等の観測結果に基づき、仮想生産設備５のレイアウト設計を更新する。これにより、仮想生産設備５が、現実空間における生産設備４の状況の変化を追従できていない等の事情により仮想生産設備５の運用状況と現実空間における生産設備４の運用状況とに乖離が生じた場合にも、仮想生産設備５が生産設備４の最新の運用状況等を反映することができる。そのため、当該乖離を低減することができる。例えば、プロセッサ２３は、検出装置４５３によって新たに物品等が検出された場合に、検出装置４５３によって生成される画像データに基づき、仮想生産設備５内の対応する位置に当該物品等に対応するオブジェクトを生成する。また、プロセッサ２３は、検出装置４５３によって既存の設備、例えば、入庫設備４１等が当初の設計情報ＩＦ１に基づく位置から移動していたことが観測された場合に、当該観測結果に基づき、仮想生産設備５内の仮想入庫設備５１の位置を更新する。
【0068】
アクティビティＡ１７の処理の後、第１の情報処理が終了する。
【0069】
以上のような情報処理により、現実空間に実装される、または実装される予定の設備を、レイアウト設計を示す設計情報をもとに仮想空間内で仮想設備として再現することができる。これにより、ユーザは、仮想空間内で行われる物理シミュレーションの結果に基づき、実際に設備の構築または運用を開始する前、または実際に設備の運用を行う際に、当該設備の妥当性を評価することができる。したがって、設備の構築または運用のコストを低減することができる。
【0070】
３．２．第２の情報処理の流れについて
次に、第２の情報処理の流れについて説明する。図８は、情報処理システム１において実行される第２の情報処理の流れの一例を示すアクティビティ図である。
次に、第２の情報処理の流れについて説明する。図８は、情報処理システム１において実行される第２の情報処理の流れの一例を示すアクティビティ図である。
【0071】
［アクティビティＡ１０１］
まず、アクティビティＡ１０１にて、取得部２３１は、製品の入庫に関する入庫情報を取得する。これにより、プロセッサ２３は、荷役が必要な製品の存在を認識する。
まず、アクティビティＡ１０１にて、取得部２３１は、製品の入庫に関する入庫情報を取得する。これにより、プロセッサ２３は、荷役が必要な製品の存在を認識する。
【0072】
［アクティビティＡ１０２］
次に、処理がアクティビティＡ１０２に進み、プロセッサ２３は、フォークリフト４５に対して荷役の開始を指示する。
次に、処理がアクティビティＡ１０２に進み、プロセッサ２３は、フォークリフト４５に対して荷役の開始を指示する。
【0073】
［アクティビティＡ１０３］
次に、処理がアクティビティＡ１０３に進み、フォークリフト４５は、自己位置推定を実行し、占有格子地図における自己の位置を把握する。自己位置推定の方法は、ＧＰＳ等の外部信号を用いた手法、検出装置４５３によって所定のランドマークを観測することにより得られるランドマーク情報を用いた手法など任意である。本実施形態では、フォークリフト４５は、現実空間にて検出される情報に基づいて自己位置推定を行う。これにより、生産設備４と仮想生産設備５との適応度が低い状態でフォークリフト４５が動作することを抑制することができる。なお、ランドマークの検出は、上述の学習モデルＭ１等にランドマークを識別するように学習させ、ランドマークの識別器として用いればよい。
次に、処理がアクティビティＡ１０３に進み、フォークリフト４５は、自己位置推定を実行し、占有格子地図における自己の位置を把握する。自己位置推定の方法は、ＧＰＳ等の外部信号を用いた手法、検出装置４５３によって所定のランドマークを観測することにより得られるランドマーク情報を用いた手法など任意である。本実施形態では、フォークリフト４５は、現実空間にて検出される情報に基づいて自己位置推定を行う。これにより、生産設備４と仮想生産設備５との適応度が低い状態でフォークリフト４５が動作することを抑制することができる。なお、ランドマークの検出は、上述の学習モデルＭ１等にランドマークを識別するように学習させ、ランドマークの識別器として用いればよい。
【0074】
［アクティビティＡ１０４］
次に、処理がアクティビティＡ１０４に進み、取得部２３１は、推定されたフォークリフト４５の自己位置を取得し、生成された仮想生産設備５に基づき入庫経路を生成する。入庫経路は、開始位置（すなわち、推定されたフォークリフト４５の自己位置）から入庫設備４１（詳細には、入庫された製品等が配置されている地点）までの経路Ｒである。
次に、処理がアクティビティＡ１０４に進み、取得部２３１は、推定されたフォークリフト４５の自己位置を取得し、生成された仮想生産設備５に基づき入庫経路を生成する。入庫経路は、開始位置（すなわち、推定されたフォークリフト４５の自己位置）から入庫設備４１（詳細には、入庫された製品等が配置されている地点）までの経路Ｒである。
【0075】
［アクティビティＡ１０５］
次に、処理がアクティビティＡ１０５に進み、フォークリフト４５は、送信された入庫経路に沿って、目標位置としての入庫設備へと移動する。このとき、フォークリフト４５は、自己位置と検出装置４５３の観測結果とに基づいて、占有格子地図を更新する。
次に、処理がアクティビティＡ１０５に進み、フォークリフト４５は、送信された入庫経路に沿って、目標位置としての入庫設備へと移動する。このとき、フォークリフト４５は、自己位置と検出装置４５３の観測結果とに基づいて、占有格子地図を更新する。
【0076】
［アクティビティＡ１０６］
次に、処理がアクティビティＡ１０６に進み、フォークリフト４５は、開始位置から入庫設備４１までの移動の間の種々のセンサ情報をプロセッサ２３に送信する。センサ情報は、検出装置４５３の検出結果（例えば、連続画像、所定のフレームレートにしたがって撮像された画像データ等）や、フォークリフト４５の速度計の検出結果、フォークリフト４５の位置情報等を含む。言い換えれば、フォークリフト４５は、移動中の動作履歴をセンサ情報としてプロセッサ２３に送信する。このとき、センサ情報は、運用情報ＩＦ２と対応付けられて送信される。例えば、センサ情報は、運用情報ＩＦ２にて規定されている生産設備４の動作の種類および時刻等と、実際に検出装置４５３等にて検出された生産設備４（詳細にはフォークリフト４５）の動作および時刻等を対応付ける。これらの差分は、生産設備４と仮想生産設備５との乖離が大きくなるほど大きくなる傾向がある。
次に、処理がアクティビティＡ１０６に進み、フォークリフト４５は、開始位置から入庫設備４１までの移動の間の種々のセンサ情報をプロセッサ２３に送信する。センサ情報は、検出装置４５３の検出結果（例えば、連続画像、所定のフレームレートにしたがって撮像された画像データ等）や、フォークリフト４５の速度計の検出結果、フォークリフト４５の位置情報等を含む。言い換えれば、フォークリフト４５は、移動中の動作履歴をセンサ情報としてプロセッサ２３に送信する。このとき、センサ情報は、運用情報ＩＦ２と対応付けられて送信される。例えば、センサ情報は、運用情報ＩＦ２にて規定されている生産設備４の動作の種類および時刻等と、実際に検出装置４５３等にて検出された生産設備４（詳細にはフォークリフト４５）の動作および時刻等を対応付ける。これらの差分は、生産設備４と仮想生産設備５との乖離が大きくなるほど大きくなる傾向がある。
【0077】
［アクティビティＡ１０７］
次に、処理がアクティビティＡ１０７に進み、プロセッサ２３は、アクティビティＡ１０６にて送信されるセンサ情報を取得し、記憶部２２等に記録する。特に、プロセッサ２３は、後述される停止動作が行われた場合に行われた復帰操作に関する情報をセンサ情報として取得し、記憶部２２等に記憶する。
次に、処理がアクティビティＡ１０７に進み、プロセッサ２３は、アクティビティＡ１０６にて送信されるセンサ情報を取得し、記憶部２２等に記録する。特に、プロセッサ２３は、後述される停止動作が行われた場合に行われた復帰操作に関する情報をセンサ情報として取得し、記憶部２２等に記憶する。
【0078】
［アクティビティＡ１０８］
その後、フォークリフト４５が入庫設備４１に到達した場合、処理がアクティビティＡ１０８に進み、フォークリフト４５は、荷役処理を実行する。これにより、フォークリフト４５は、荷役装置４５２に入庫設備４１に配置された荷役対象を積載し、予め定められた位置（例えば、出庫設備４２や保管設備４３など）へと移動させる。荷役動作は、例えば、検出装置４５３を用いた荷役対象の観測結果を学習モデルＭ１に入力することによって行われる荷役対象の検出、荷役対象への誘導（例えば、荷役装置４５２のフォークとパレットとの相対位置の調整、フォークとパレットの挿入穴との角度ズレの調整など）、および荷役装置４５２の動作（例えばフォークの上下等）による荷役対象の積載等を行う。これにより、荷役対象が荷役装置４５２に積載されたことが確認された場合、フォークリフト４５は、荷役処理を終了する。
その後、フォークリフト４５が入庫設備４１に到達した場合、処理がアクティビティＡ１０８に進み、フォークリフト４５は、荷役処理を実行する。これにより、フォークリフト４５は、荷役装置４５２に入庫設備４１に配置された荷役対象を積載し、予め定められた位置（例えば、出庫設備４２や保管設備４３など）へと移動させる。荷役動作は、例えば、検出装置４５３を用いた荷役対象の観測結果を学習モデルＭ１に入力することによって行われる荷役対象の検出、荷役対象への誘導（例えば、荷役装置４５２のフォークとパレットとの相対位置の調整、フォークとパレットの挿入穴との角度ズレの調整など）、および荷役装置４５２の動作（例えばフォークの上下等）による荷役対象の積載等を行う。これにより、荷役対象が荷役装置４５２に積載されたことが確認された場合、フォークリフト４５は、荷役処理を終了する。
【0079】
［アクティビティＡ１０９］
次に、処理がアクティビティＡ１０９に進み、フォークリフト４５は、アクティビティＡ１０６と同様に、アクティビティＡ１０８にて行われた荷役処理の際のセンサ情報をプロセッサ２３に送信する。
次に、処理がアクティビティＡ１０９に進み、フォークリフト４５は、アクティビティＡ１０６と同様に、アクティビティＡ１０８にて行われた荷役処理の際のセンサ情報をプロセッサ２３に送信する。
【0080】
［アクティビティＡ１１０］
次に、処理がアクティビティＡ１１０に進み、プロセッサ２３は、アクティビティＡ１０７と同様に、アクティビティＡ１０９にて送信されたセンサ情報を取得し、記憶部２２等に記録する。
次に、処理がアクティビティＡ１１０に進み、プロセッサ２３は、アクティビティＡ１０７と同様に、アクティビティＡ１０９にて送信されたセンサ情報を取得し、記憶部２２等に記録する。
【0081】
［アクティビティＡ１１１］
次に、処理がアクティビティＡ１１１に進み、生成部２３２は、荷役処理の終了位置から出庫設備４２までの出庫経路を生成する。出庫経路の生成態様は、上述の経路Ｒまたは入庫経路と同様である。その後プロセッサ２３は、生成された出庫経路をフォークリフト４５に送信する。
次に、処理がアクティビティＡ１１１に進み、生成部２３２は、荷役処理の終了位置から出庫設備４２までの出庫経路を生成する。出庫経路の生成態様は、上述の経路Ｒまたは入庫経路と同様である。その後プロセッサ２３は、生成された出庫経路をフォークリフト４５に送信する。
【0082】
［アクティビティＡ１１２］
次に、処理がアクティビティＡ１１２に進み、フォークリフト４５は、生成された出庫経路を取得し、出庫経路に沿って出庫設備４２へ移動する。このとき、フォークリフト４５は、自己位置と検出装置４５３の観測結果とに基づいて、占有格子地図を更新する。
次に、処理がアクティビティＡ１１２に進み、フォークリフト４５は、生成された出庫経路を取得し、出庫経路に沿って出庫設備４２へ移動する。このとき、フォークリフト４５は、自己位置と検出装置４５３の観測結果とに基づいて、占有格子地図を更新する。
【0083】
［アクティビティＡ１１３］
次に、処理がアクティビティＡ１１３に進み、フォークリフト４５は、アクティビティＡ１０６と同様に、アクティビティＡ１０８にて行われた荷役処理の際のセンサ情報をプロセッサ２３に送信する。
次に、処理がアクティビティＡ１１３に進み、フォークリフト４５は、アクティビティＡ１０６と同様に、アクティビティＡ１０８にて行われた荷役処理の際のセンサ情報をプロセッサ２３に送信する。
【0084】
［アクティビティＡ１１４］
次に、処理がアクティビティＡ１１４に進み、プロセッサ２３は、アクティビティＡ１０７と同様に、アクティビティＡ１０９にて送信されたセンサ情報を取得し、記憶部２２等に記録する。
次に、処理がアクティビティＡ１１４に進み、プロセッサ２３は、アクティビティＡ１０７と同様に、アクティビティＡ１０９にて送信されたセンサ情報を取得し、記憶部２２等に記録する。
【0085】
［アクティビティＡ１１５］
次に、処理がアクティビティＡ１１５に進み、フォークリフト４５は、降荷動作を実行する。これにより、荷役対象が出庫設備４２に降荷される。
次に、処理がアクティビティＡ１１５に進み、フォークリフト４５は、降荷動作を実行する。これにより、荷役対象が出庫設備４２に降荷される。
【0086】
［アクティビティＡ１１６］
次に、処理がアクティビティＡ１１６に進み、フォークリフト４５は、アクティビティＡ１０６と同様に、アクティビティＡ１０８にて行われた荷役処理の際のセンサ情報をプロセッサ２３に送信する。
次に、処理がアクティビティＡ１１６に進み、フォークリフト４５は、アクティビティＡ１０６と同様に、アクティビティＡ１０８にて行われた荷役処理の際のセンサ情報をプロセッサ２３に送信する。
【0087】
［アクティビティＡ１１７］
次に、処理がアクティビティＡ１１７に進み、取得部２３１は、アクティビティＡ１０７と同様に、アクティビティＡ１０９にて送信されたセンサ情報を取得し、記憶部２２等に記録する。
次に、処理がアクティビティＡ１１７に進み、取得部２３１は、アクティビティＡ１０７と同様に、アクティビティＡ１０９にて送信されたセンサ情報を取得し、記憶部２２等に記録する。
【0088】
［アクティビティＡ１１８］
次に、処理がアクティビティＡ１１８に進み、フォークリフト４５は、プロセッサ２３に対して荷役が終了したことを通知する。その後、荷役対象が生産設備４から出庫される。
次に、処理がアクティビティＡ１１８に進み、フォークリフト４５は、プロセッサ２３に対して荷役が終了したことを通知する。その後、荷役対象が生産設備４から出庫される。
【0089】
［アクティビティＡ１１９］
次に、処理がアクティビティＡ１１９に進み、プロセッサ２３は、適応度算出処理を実行する。これにより、プロセッサ２３は、取得されたセンサ情報と、生産設備４の地図情報（本実施形態では現実空間における占有格子地図）と、仮想生産設備５の地図情報（本実施形態では仮想空間における仮想的な占有格子地図）とに基づいて、学習モデルＭ１の適応度を算出し、記憶部２２等に記録する。ここでは、占有格子地図の類似度に基づき適応度が算出される場合について説明する。
次に、処理がアクティビティＡ１１９に進み、プロセッサ２３は、適応度算出処理を実行する。これにより、プロセッサ２３は、取得されたセンサ情報と、生産設備４の地図情報（本実施形態では現実空間における占有格子地図）と、仮想生産設備５の地図情報（本実施形態では仮想空間における仮想的な占有格子地図）とに基づいて、学習モデルＭ１の適応度を算出し、記憶部２２等に記録する。ここでは、占有格子地図の類似度に基づき適応度が算出される場合について説明する。
【0090】
まず、プロセッサ２３は、記憶部２２等を参照し、フォークリフト４５の操作履歴を含むセンサ情報、特に復帰操作、を取得する。次に、プロセッサ２３は、取得されたセンサ情報に基づき、現実空間における最新の占有格子地図を取得し、当該占有格子地図を、仮想生産設備５における仮想的な占有格子地図と比較し、その類似度を算出する。このとき、プロセッサ２３は、取得されたセンサ情報に基づき、類似度を算出する際の格子の重みを設定してもよい。例えば、プロセッサ２３は、占有格子地図上で復帰操作が行われた位置に対応する格子の重みを、他の格子の重みより大きく設定してもよい。停止操作および復帰操作等の緊急的な操作は、生産設備４と仮想生産設備５との乖離と相関がある。そのため、このような操作から現れる生産設備４と仮想生産設備５との乖離を適応度に反映させることができる。
【0091】
このような第２の情報処理により、低適応度記録が生成され、プロセッサ２３は、このように生成された低適応度記録を参照しつつ、上記第１の情報処理を行う。
【0092】
３．３．停止操作が行われた場合の処理の流れについて
次に、第２の情報処理のなかで停止操作が行われた場合の処理の流れについて説明する。図９は、情報処理システム１において実行される、停止操作が行われた場合の処理の流れの一例を示すアクティビティ図である。
次に、第２の情報処理のなかで停止操作が行われた場合の処理の流れについて説明する。図９は、情報処理システム１において実行される、停止操作が行われた場合の処理の流れの一例を示すアクティビティ図である。
【0093】
［アクティビティＡ２０１］
次に、処理がアクティビティＡ２０１に進み、フォークリフト４５は、ユーザ（例えば、フォークリフト４５の操縦者または監督者）から停止操作を受け付ける。停止操作は、例えば、フォークリフト４５の自動走行にて予定されていない、手動のブレーキング操作、非常停止ボタンの操作などを緊急的な停止を行うための操作を含む。停止操作は、占有格子地図に記録されていない障害物を検出装置４５３が検出し、当該障害物が経路Ｒに沿った走行を阻害すると判定された場合に、フォークリフト４５が自発的に停止操作の指示を行うための信号の生成であってもよい。
次に、処理がアクティビティＡ２０１に進み、フォークリフト４５は、ユーザ（例えば、フォークリフト４５の操縦者または監督者）から停止操作を受け付ける。停止操作は、例えば、フォークリフト４５の自動走行にて予定されていない、手動のブレーキング操作、非常停止ボタンの操作などを緊急的な停止を行うための操作を含む。停止操作は、占有格子地図に記録されていない障害物を検出装置４５３が検出し、当該障害物が経路Ｒに沿った走行を阻害すると判定された場合に、フォークリフト４５が自発的に停止操作の指示を行うための信号の生成であってもよい。
【0094】
［アクティビティＡ２０２］
次に、処理がアクティビティＡ２０２に進み、フォークリフト４５は、停止処理を実行する。これにより、フォークリフト４５は走行を中止し、その場に一時的に停止する。このとき、フォークリフト４５は、走行が規制されている状態となる。
次に、処理がアクティビティＡ２０２に進み、フォークリフト４５は、停止処理を実行する。これにより、フォークリフト４５は走行を中止し、その場に一時的に停止する。このとき、フォークリフト４５は、走行が規制されている状態となる。
【0095】
［アクティビティＡ２０３］
次に、処理がアクティビティＡ２０３に進み、フォークリフト４５は、ユーザからの所定の復帰操作を受け付ける。
次に、処理がアクティビティＡ２０３に進み、フォークリフト４５は、ユーザからの所定の復帰操作を受け付ける。
【0096】
［アクティビティＡ２０４］
次に、処理がアクティビティＡ２０４に進み、フォークリフト４５は、ユーザからの復帰操作に応じて、復帰処理を実行する。これにより、フォークリフト４５は、再び走行可能な状態となる。
次に、処理がアクティビティＡ２０４に進み、フォークリフト４５は、ユーザからの復帰操作に応じて、復帰処理を実行する。これにより、フォークリフト４５は、再び走行可能な状態となる。
【0097】
［アクティビティＡ２０５］
次に、処理がアクティビティＡ２０５に進み、フォークリフト４５は、荷役処理等を再開する。このとき、情報処理システム１は、停止操作が行われた段階での処理から再開しても、上記第２の情報処理を最初から行ってもよい。このとき、フォークリフト４５は、センサ情報に紐づけて、停止操作および復帰操作に関する操作情報をプロセッサ２３に送信する。
次に、処理がアクティビティＡ２０５に進み、フォークリフト４５は、荷役処理等を再開する。このとき、情報処理システム１は、停止操作が行われた段階での処理から再開しても、上記第２の情報処理を最初から行ってもよい。このとき、フォークリフト４５は、センサ情報に紐づけて、停止操作および復帰操作に関する操作情報をプロセッサ２３に送信する。
【0098】
［アクティビティＡ２０６］
次に、処理がアクティビティＡ２０６に進み、プロセッサ２３は、センサ情報および操作情報を取得し、記憶部２２等に記録する。
次に、処理がアクティビティＡ２０６に進み、プロセッサ２３は、センサ情報および操作情報を取得し、記憶部２２等に記録する。
【0099】
このような第３の情報処理によって、センサ情報と操作情報との相関が、生産設備４の運用と連動してリアルタイムで記録される。当該相関は、例えば、アクティビティＡ１１９での適応度算出処理において適応度を算出する際に用いられる。
【0100】
上記実施形態では、第１の情報処理、第２の情報処理、および第３の情報処理はそれぞれ別々のアクティビティ図を用いて説明されたが、これらの処理は個別に行われても、連動して行われてもよい。また、これらの処理は、単独で行われても並行して行われてもよい。
【0101】
４．その他
上記情報処理の態様はあくまで一例であり、これに限られない。
上記情報処理の態様はあくまで一例であり、これに限られない。
【0102】
上記情報処理が適用される設備は、上記の共有倉庫のような生産設備４に限られない。例えば、上記情報処理は、学習モデルＭ１に基づき切削対象を認識し、その認識結果に応じて対象の工作を行う工作設備に適用されても、製品の規格を学習モデルＭ１に基づき認識し、その認識結果に応じて駆動機器としてのロボットアームに製品を並べる配置設備に適用されてもよい。
【0103】
図１０は、工作設備６との一例を示す図である。工作設備６は、駆動機器としての切削装置６１と、保持装置６２と、を含む。切削装置６１は、保持装置６２によって保持される切削対象Ｗを加工するように構成され、プロセッサ２３からの制御指令に基づいて二次元的または三次元的に移動可能に構成される。プロセッサ２３は、例えば、取得部２３１として、切削装置６１および保持装置６２のレイアウト設計（例えば切削装置６１、保持装置６２および切削対象Ｗの位置関係、寸法、材質など）を示す設計情報ＩＦ１と、レイアウト設計に従って実装される現実空間における工作設備６の運用状況に関する運用情報ＩＦ２（例えば、切削対象Ｗの切削シーケンスや、切削対象Ｗの切削数など）を取得する。このような情報に基づき、仮想空間における工作設備６に相当する仮想工作設備７を生成する。仮想工作設備７は、切削装置６１に対応するオブジェクトであり、仮想保持装置７２は、保持装置６２に対応するオブジェクトである。プロセッサ２３は、このような仮想工作設備７において物理シミュレーションを実行することにより、仮想工作設備７にて仮想的な切削対象Ｗの切削を行い、規格に適合した切削対象Ｗに関する画像データを学習データＤ１として生成する。このとき、プロセッサ２３は、寸法公差や仮想切削装置７１の動作のブレなどを含む擾乱情報ＩＦ３に基づき、規格に適合しない、いわゆる不良品となる切削対象Ｗに関する画像データを擾乱学習データＤ２として生成する。学習部２３５は、これらの学習データＤ１および擾乱学習データＤ２を含むデータセットを用いて、学習モデルＭ１の学習を行い、当該学習の結果に基づき、現実空間における仮想工作設備７の学習モデルＭ１の学習パラメータを出力し、学習モデルＭ１の更新を行う。
【0104】
擾乱情報ＩＦ３は、仮想照明設備５４から照射または導入される光、すなわち光源に関する情報に限られない。例えば、擾乱情報ＩＦ３は、仮想生産設備５に含まれる各オブジェクトの動作によって生じる音、振動、熱等の、光以外の擾乱に関する情報を含んでいてもよい。
【0105】
学習モデルＭ１は、現実空間のものと仮想空間のものとで共通であってもよい。
【0106】
情報処理装置２は、オンプレミス形態であってもよく、クラウド形態であってもよい。クラウド形態の情報処理装置２としては、例えば、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）、クラウドコンピューティングという形態で、上述の機能や処理を提供してもよい。
【0107】
上記実施形態では、情報処理装置２が種々の記憶・制御を行ったが、情報処理装置２に代えて、複数の外部装置が用いられてもよい。すなわち、種々の情報やプログラムは、ブロックチェーン技術等を用いて複数の外部装置に分散して記憶されてもよい。
【0108】
上記実施形態は、情報処理システム１に限定されず、情報処理方法であっても、情報処理プログラムであってもよい。情報処理方法は、情報処理システム１の各ステップを含む。情報処理プログラムは、少なくとも１つのコンピュータに、情報処理システム１の各ステップを実行させる。
【0109】
上記情報処理システム１等は、次に記載の各態様で提供されてもよい。
【0110】
（１）情報処理システムであって、次の各ステップがなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備え、取得ステップでは、設備のレイアウト設計を示す設計情報と、前記レイアウト設計に従って実装される現実空間における設備の運用状況に関する運用情報と、を取得し、ここで、前記設備は、少なくとも１つの学習パラメータを含む学習モデルに基づき駆動可能な駆動機器を含み、第１の生成ステップでは、前記設計情報と前記運用情報とに基づき、仮想設備を生成し、ここで、前記仮想設備は、所定の仮想空間内で再現された前記設備であり、前記学習モデルによって前記仮想空間内において運用可能に構成され、第２の生成ステップでは、前記仮想設備に対する所定の物理シミュレーションの結果に基づき少なくとも１つの学習データを生成し、ここで、前記学習データは、前記仮想設備の前記学習モデルの学習に用いられ、出力ステップでは、前記学習データを用いた前記仮想設備の学習モデルの学習の結果に基づき、前記現実空間における前記学習モデルの前記学習パラメータを出力する、情報処理システム。
【0111】
このような構成によれば、現実空間に実装される、または実装される予定の設備を、レイアウト設計を示す設計情報をもとに仮想空間内で仮想設備として再現することができる。これにより、ユーザは、仮想空間内で行われる物理シミュレーションの結果に基づき、実際に設備の構築または運用を開始する前、または実際に設備の運用を行う際に、当該設備の妥当性を評価することができる。したがって、設備の構築または運用のコストを低減することができる。
【0112】
（２）上記（１）に記載の情報処理システムにおいて、前記取得ステップでは、さらに、前記設備における擾乱に関する擾乱情報を含み、前記第２の生成ステップでは、さらに、前記仮想空間内での前記擾乱情報に基づき、前記学習データの少なくとも１つに対して前記擾乱を作用させることにより、擾乱学習データを生成し、前記出力ステップでは、さらに、前記擾乱学習データを用いた前記仮想設備の前記学習モデルの学習の結果に基づき、前記現実空間における前記学習モデルの前記学習パラメータを出力する、情報処理システム。
【0113】
このような構成によれば、現実空間における状況の変化、例えば、照明の劣化、新しい機器の導入、天候、他の歩行者、他の車両、ロボットなど、が物理シミュレーションにおける擾乱として取り込まれるため、より様々な状況への適用性が高い学習パラメータを得ることができる。したがって、設備の運用効率を向上することができる。
【0114】
（３）上記（１）又は（２）に記載の情報処理システムにおいて、前記物理シミュレーションは、光学的なシミュレーションを含み、前記学習データは、前記仮想設備の画像データおよびＬｉＤＡＲデータのうちの少なくとも１つを含む、情報処理システム。
【0115】
このような構成によれば、設備の運用等に関与するユーザによる設備の観察結果と仮想空間設備の視覚的な情報とを比較することにより、より直感的に学習結果の妥当性を判断しやすくなる。
【0116】
（４）上記（１）～（３）の何れか１つに記載の情報処理システムにおいて、さらに、学習ステップでは、少なくとも前記学習データに基づく前記仮想設備の学習モデルの学習を行う、情報処理システム。
【0117】
（５）上記（１）～（４）の何れか１つに記載の情報処理システムにおいて、さらに更新ステップでは、前記運用情報に基づき計算される適応度が所定の更新条件を満たす場合に、前記学習モデルの更新を行い、ここで、前記適応度は、前記仮想設備の運用状況と前記現実空間における前記設備の運用状況との整合性を示す、情報処理システム。
【0118】
このような構成によれば、例えば、仮想設備が、現実空間における前記設備の状況の変化を追従できていない等の事情により仮想設備の運用状況と現実空間における設備の運用状況とに乖離が生じた場合に、学習モデルが更新される。これにより、当該乖離を許容範囲に抑えやすくなる。
【0119】
（６）上記（１）～（５）の何れか１つに記載の情報処理システムにおいて、評価ステップでは、前記物理シミュレーションに基づき、前記設計情報の妥当性を示す評価指標を出力し、学習停止ステップでは、前記評価指標が所定の停止条件を満たす場合に前記学習モデルの学習を実行しない、情報処理システム。
【0120】
このような構成によれば、設備のレイアウトが物理的に実装困難である等の事情により学習の前提が妥当でない場合に学習モデルの学習が行われない。これにより、計算資源の無駄を減らすことができる。
【0121】
（７）上記（６）に記載の情報処理システムにおいて、提示ステップでは、前記停止条件が満たされた場合に、満たされた前記停止条件に関する停止情報を、ユーザが視認可能な態様で提示させる、情報処理システム。
【0122】
このような構成によれば、ユーザは、停止情報に基づき設計情報の見直しを効率的に行うことができる。
【0123】
（８）情報処理方法であって、上記（１）～（７）の何れか１つに記載の情報処理システムの各ステップを含む、情報処理方法。
【0124】
（９）情報処理プログラムであって、少なくとも１つのコンピュータに、上記（１）～（７）の何れか１つに記載の情報処理システムの各ステップを実行させる、情報処理プログラム。
もちろん、この限りではない。
もちろん、この限りではない。
【0125】
最後に、本開示に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0126】
１ ：情報処理システム
２ ：情報処理装置
２０ ：通信バス
２１ ：通信部
２２ ：記憶部
２３ ：プロセッサ
２３１ ：取得部
２３２ ：生成部
２３３ ：シミュレーション部
２３４ ：評価部
２３５ ：学習部
２３６ ：更新部
２３７ ：提示部
２３８ ：学習停止部
３ ：ユーザ端末
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：プロセッサ
３４ ：表示部
３５ ：ＨＭＩデバイス
４ ：生産設備
４１ ：入庫設備
４２ ：出庫設備
４３ ：保管設備
４４ ：照明設備
４５ ：フォークリフト
４５１ ：車体
４５２ ：荷役装置
４５３ ：検出装置
５ ：仮想生産設備
５１ ：仮想入庫設備
５２ ：仮想出庫設備
５３ ：仮想保管設備
５４ ：仮想照明設備
５５ ：仮想フォークリフト
５５１ ：仮想車体
５５２ ：仮想荷役装置
５５３ ：仮想検出装置
６ ：工作設備
６１ ：切削装置
６２ ：保持装置
７ ：仮想工作設備
７１ ：仮想切削装置
７２ ：仮想保持装置
Ｄ１ ：学習データ
Ｄ２ ：擾乱学習データ
Ｐ１ ：経由点
Ｒ ：経路
Ｗ ：切削対象
２ ：情報処理装置
２０ ：通信バス
２１ ：通信部
２２ ：記憶部
２３ ：プロセッサ
２３１ ：取得部
２３２ ：生成部
２３３ ：シミュレーション部
２３４ ：評価部
２３５ ：学習部
２３６ ：更新部
２３７ ：提示部
２３８ ：学習停止部
３ ：ユーザ端末
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：プロセッサ
３４ ：表示部
３５ ：ＨＭＩデバイス
４ ：生産設備
４１ ：入庫設備
４２ ：出庫設備
４３ ：保管設備
４４ ：照明設備
４５ ：フォークリフト
４５１ ：車体
４５２ ：荷役装置
４５３ ：検出装置
５ ：仮想生産設備
５１ ：仮想入庫設備
５２ ：仮想出庫設備
５３ ：仮想保管設備
５４ ：仮想照明設備
５５ ：仮想フォークリフト
５５１ ：仮想車体
５５２ ：仮想荷役装置
５５３ ：仮想検出装置
６ ：工作設備
６１ ：切削装置
６２ ：保持装置
７ ：仮想工作設備
７１ ：仮想切削装置
７２ ：仮想保持装置
Ｄ１ ：学習データ
Ｄ２ ：擾乱学習データ
Ｐ１ ：経由点
Ｒ ：経路
Ｗ ：切削対象
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
