IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社LexxPlussの特許一覧

特許7708487情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル
<>
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図1
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図2
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図3
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図4
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図5
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図6
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図7
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図8
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図9
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図10
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図11
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図12
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図13
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図14
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図15
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図16
  • 特許-情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-07-07
(45)【発行日】2025-07-15
(54)【発明の名称】情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデル
(51)【国際特許分類】
   G05B 19/05 20060101AFI20250708BHJP
   G05D 1/648 20240101ALI20250708BHJP
【FI】
G05B19/05 A
G05D1/648
【請求項の数】 18
(21)【出願番号】P 2025520727
(86)(22)【出願日】2025-04-02
(86)【国際出願番号】 JP2025013446
【審査請求日】2025-04-09
【早期審査対象出願】
(73)【特許権者】
【識別番号】521293800
【氏名又は名称】株式会社LexxPluss
(74)【代理人】
【識別番号】110002790
【氏名又は名称】One ip弁理士法人
(72)【発明者】
【氏名】阿蘓 将也
【審査官】田中 友章
(56)【参考文献】
【文献】特許第7595817(JP,B1)
【文献】中国特許出願公開第118246477(CN,A)
【文献】米国特許出願公開第2024/0242029(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G05B 19/05
G05D 1/648
(57)【特許請求の範囲】
【請求項1】
制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、前記制御対象ロボットの制御に関する情報を示す制御関連情報を前記学習モデルに生成させる生成部と、
前記制御関連情報を記憶する記憶部と、を備え、
前記学習モデルは、学習データセットを学習することで構築されており、
前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、
前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報、前記学習用ロボットの前記制御情報の変更履歴を示す情報、及び、前記変更履歴によって示される変更の理由に関する情報を含む、情報生成装置。
【請求項2】
前記学習用ロボットの前記制御情報は、作業者によって操作される入力装置を介して作成される制御情報を含む、請求項1に記載の情報生成装置。
【請求項3】
前記制御関連情報は、前記制御対象ロボットの制御情報を含む、請求項1又は請求項2に記載の情報生成装置。
【請求項4】
制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、前記制御対象ロボットの制御に関する情報を示す制御関連情報を前記学習モデルに生成させる生成部と、
前記制御関連情報を記憶する記憶部と、を備え、
前記学習モデルは、学習データセットを学習することで構築されており、
前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、
前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報を含み、
前記制御関連情報は、前記ドキュメントデータの不備の可能性を直接的又は間接的に示す情報を含む、情報生成装置。
【請求項5】
制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、前記制御対象ロボットの制御に関する情報を示す制御関連情報を前記学習モデルに生成させる生成部と、
前記制御関連情報を記憶する記憶部と、を備え、
前記学習モデルは、学習データセットを学習することで構築されており、
前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、
前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報を含み、
前記制御関連情報は、前記ドキュメントデータに不備が存在する可能性を示す情報、及び、前記ドキュメントデータの内容の変更が発生する可能性を示す情報のうちの少なくとも1つの情報を含む、情報生成装置。
【請求項6】
前記ドキュメントデータの内容に関連する参照用制御関連情報をデータベース装置から検索する検索部を更に備え、
前記参照用制御関連情報は、ロボットの制御に関する情報であり、
前記生成部は、前記ドキュメントデータ及び前記検索部による検索結果を前記学習モデルに入力し、前記制御関連情報を前記学習モデルに生成させる、請求項1又は請求項4に記載の情報生成装置。
【請求項7】
前記データベース装置は、前記ロボットの制御情報の変更履歴を示す情報を格納している、請求項6に記載の情報生成装置。
【請求項8】
前記制御関連情報は、前記制御対象ロボットの制御情報を含み、
前記学習モデルによって生成された前記制御対象ロボットの前記制御情報を、変更履歴を示す情報とともに前記データベース装置に格納することで、前記データベース装置を更新する更新部を更に備える、請求項7に記載の情報生成装置。
【請求項9】
前記学習モデルは、ロボットに関する業界標準情報又は法的規制情報を事前に学習している、請求項1又は請求項4に記載の情報生成装置。
【請求項10】
前記ドキュメントデータの内容に関連する業界標準情報又は法的規制情報をデータベース装置から検索する検索部を更に備え、
前記生成部は、前記ドキュメントデータ及び前記検索部による検索結果を前記学習モデルに入力し、前記制御関連情報を前記学習モデルに生成させる、請求項1又は請求項4に記載の情報生成装置。
【請求項11】
前記学習用ロボットは、無人搬送ロボットであり、
前記制御対象ロボットは、無人搬送ロボットである、請求項1又は請求項4に記載の情報生成装置。
【請求項12】
前記無人搬送ロボットは、前記無人搬送ロボットに配置された状態で駆動する作業ロボットを搬送する、請求項11に記載の情報生成装置。
【請求項13】
制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、前記制御対象ロボットの制御に関する情報を示す制御関連情報を前記学習モデルに生成させるステップと、
前記制御関連情報を取得するステップと、を含み、
前記学習モデルは、学習データセットを学習することで構築されており、
前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、
前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報、前記学習用ロボットの前記制御情報の変更履歴を示す情報、及び、前記変更履歴によって示される変更の理由に関する情報を含む、情報生成方法。
【請求項14】
コンピュータに、
制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、前記制御対象ロボットの制御に関する情報を示す制御関連情報を前記学習モデルに生成させるステップと、
前記制御関連情報を取得するステップと、を実行させ、
前記学習モデルは、学習データセットを学習することで構築されており、
前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、
前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報、前記学習用ロボットの前記制御情報の変更履歴を示す情報、及び、前記変更履歴によって示される変更の理由に関する情報を含む、コンピュータプログラム。
【請求項15】
制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、前記制御対象ロボットの制御に関する情報を示す制御関連情報を前記学習モデルに生成させるステップと、
前記制御関連情報を取得するステップと、を含み、
前記学習モデルは、学習データセットを学習することで構築されており、
前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、
前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報を含み、
前記制御関連情報は、前記ドキュメントデータの不備の可能性を直接的又は間接的に示す情報を含む、情報生成方法。
【請求項16】
コンピュータに、
制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、前記制御対象ロボットの制御に関する情報を示す制御関連情報を前記学習モデルに生成させるステップと、
前記制御関連情報を取得するステップと、を実行させ、
前記学習モデルは、学習データセットを学習することで構築されており、
前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、
前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報を含み、
前記制御関連情報は、前記ドキュメントデータの不備の可能性を直接的又は間接的に示す情報を含む、コンピュータプログラム。
【請求項17】
制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、前記制御対象ロボットの制御に関する情報を示す制御関連情報を前記学習モデルに生成させるステップと、
前記制御関連情報を取得するステップと、を含み、
前記学習モデルは、学習データセットを学習することで構築されており、
前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、
前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報を含み、
前記制御関連情報は、前記ドキュメントデータに不備が存在する可能性を示す情報、及び、前記ドキュメントデータの内容の変更が発生する可能性を示す情報のうちの少なくとも1つの情報を含む、情報生成方法。
【請求項18】
コンピュータに、
制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、前記制御対象ロボットの制御に関する情報を示す制御関連情報を前記学習モデルに生成させるステップと、
前記制御関連情報を取得するステップと、を実行させ、
前記学習モデルは、学習データセットを学習することで構築されており、
前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、
前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報を含み、
前記制御関連情報は、前記ドキュメントデータに不備が存在する可能性を示す情報、及び、前記ドキュメントデータの内容の変更が発生する可能性を示す情報のうちの少なくとも1つの情報を含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデルに関する。
【背景技術】
【0002】
近年、工場及び倉庫内などの施設内における荷物の運搬に自律走行可能な無人搬送車を活用することが実用化されている。施設内に敷設された所定のレール軌道に沿って、無人搬送車を所定の目的位置まで走行させる誘導方式の制御技術が例えば特許文献1などに開示されている。また、自己位置推定と環境地図作成により目的地まで走行制御を行う自律走行方式の技術が例えば特許文献2などに記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平11-305837号公報
【文献】特開2012-093811号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載された無人搬送車を制御するためには、要求仕様に基づいて人によって無人搬送車の制御情報を作成する必要がある。従って、制御情報の作成者には、例えば、多大な労力、豊富な経験、及び、蓄積された知識が要求される。この点は、無人搬送車に限られず、その他のロボットの制御情報を作成する際も同様である。また、この点は、ロボットの制御情報に限られず、ロボットの要求仕様を作成する際も同様である。
【0005】
そこで、本開示は上記の問題点に鑑みてなされたものであり、その目的は、制御対象ロボットの制御に関する情報である制御関連情報を容易に生成できる情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデルを提供することである。
【課題を解決するための手段】
【0006】
本開示によれば、制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、前記制御対象ロボットの制御に関する情報を示す制御関連情報を前記学習モデルに生成させる生成部と、前記制御関連情報を記憶する記憶部と、を備え、前記学習モデルは、学習データセットを学習することで構築されており、前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報を含む、情報生成装置が提供される。
【0007】
本開示によれば、制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、前記制御対象ロボットの制御に関する情報を示す制御関連情報を前記学習モデルに生成させるステップと、前記制御関連情報を取得するステップと、を含み、前記学習モデルは、学習データセットを学習することで構築されており、前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報を含む、情報生成方法が提供される。
【0008】
本開示によれば、コンピュータに、制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、前記制御対象ロボットの制御に関する情報を示す制御関連情報を前記学習モデルに生成させるステップと、前記制御関連情報を取得するステップと、を実行させ、前記学習モデルは、学習データセットを学習することで構築されており、前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報を含む、コンピュータプログラムが提供される。
【0009】
本開示によれば、学習データセットを学習することで構築され、制御対象ロボットの制御に関する情報を示す制御関連情報を生成するように、コンピュータを機能させる学習モデルであって、前記制御対象ロボットに実行させる動作内容を示すドキュメントデータを入力して、前記制御関連情報を生成するように、前記コンピュータを機能させ、前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報を含む、学習モデルが提供される。
【発明の効果】
【0010】
本開示によれば、制御対象ロボットの制御に関する情報である制御関連情報を容易に生成できる情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデルを提供することができる。
【図面の簡単な説明】
【0011】
図1】本開示の実施形態1に係るロボットシステムの構成例を示すブロック図である。
図2】実施形態1に係る学習装置の構成例を示すブロック図である。
図3】実施形態1に係る学習装置の動作の一例を説明するための図である。
図4】実施形態1に係る学習方法の一例を示すフローチャートである。
図5】実施形態1に係る情報生成装置の構成例を示すブロック図である。
図6】実施形態1に係る情報生成装置の動作の一例を説明するための図である。
図7】実施形態1に係る情報生成方法の一例を示すフローチャートである。
図8】本開示の実施形態2に係る学習装置の動作の一例を説明するための図である。
図9】実施形態2に係る情報生成装置の動作の一例を説明するための図である。
図10】本開示の実施形態3に係る情報生成装置の動作の一例を説明するための図である。
図11】実施形態3に係る情報生成方法の一例を示すフローチャートである。
図12】本開示の実施形態4に係る情報生成装置の動作の一例を説明するための図である。
図13】実施形態4に係る情報生成方法の一例を示すフローチャートである。
図14】本開示の実施形態5に係る学習装置の動作の一例を説明するための図である。
図15】実施形態5に係る学習方法の一例を示すフローチャートである。
図16】本開示の実施形態6に係る情報生成装置の動作の一例を説明するための図である。
図17】実施形態6に係る情報生成方法の一例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、図中、データベースを「DB」と表記する場合がある。
【0013】
(実施形態1)
図1図7を参照して、本開示の実施形態1に係るロボットシステムSYSを説明する。図1は、ロボットシステムSYSの構成例を示すブロック図である。図1に示すように、ロボットシステムSYSは、学習装置100と、生成AI(Artificial Intelligence)装置200と、情報生成装置300と、ロボット管理装置400と、少なくとも1つのロボットRBと、少なくとも1つのドキュメントデータベース装置500と、少なくとも1つの制御データベース装置600と、を備える。ロボットシステムSYSは、少なくとも1つの環境データベース装置700を備えていてもよい。
【0014】
ドキュメントデータベース装置500は、少なくとも1つのドキュメントデータベース501を含む。ドキュメントデータベース501は、ドキュメントデータ502を格納する。ドキュメントデータ502は、ロボットRBに実行させる動作内容を示す。ドキュメントデータベース501は、異なる複数のドキュメントデータ502を格納していてもよい。また、ドキュメントデータベース装置500は、異なる複数のドキュメントデータベース501を含んでいてもよい。例えば、ドキュメントデータベース501は、ロボットRB1に対するドキュメントデータ502を格納し、別のドキュメントデータベース501は、ロボットRB2に対するドキュメントデータ502を格納する。
【0015】
ドキュメントデータ502は、例えば、テキスト、画像、及び、線図(例えば、CAD図)のうちの1以上の種類のデータを含む。つまり、ドキュメントデータ502は、一種類のデータ形式のデータを含んでいてもよいし、複数種類のデータ形式のデータを含んでいてもよい。
【0016】
ドキュメントデータ502は、例えば、ロボットRBの仕様書を示すデータである。仕様書は、例えば、ロボットRBの要件仕様書及び/又は要求定義書である。換言すれば、ドキュメントデータ502は、ロボットRBに対する要求仕様を示すデータである。
【0017】
具体的には、ドキュメントデータ502は、ロボットRBに対する作業要件を含む。作業要件は、ロボットRBに実行させる作業内容に関する要件である。作業要件は、例えば、作業プロセス定義、作業対象、作業内容、作業環境条件、並びに、作業タイミングのうちの1以上の情報を含む。
【0018】
作業プロセス定義は、例えば、対象作業プロセスの定義(例えば、部品供給工程)、対象設備及びライン情報(例えば、製造ライン1、2、3)、業務フロー(例えば、業務シーケンスを含む)、並びに、異常時対応フローのうちの1以上の情報を含む。
【0019】
作業対象は、例えば、対象物(ワーク)の種類、形状及びサイズ(例えば、部品の種類)、対象物の物理特性(例えば、重量、材質、又は、柔軟性)、対象物の姿勢及び状態(例えば、向き又は配置状態)、並びに、取り扱い注意事項のうちの1以上を含む。
【0020】
作業内容は、例えば、具体的な作業手順(例えば、ピッキング、搬送、又は供給)、作業地点情報(例えば、部品供給口の位置)、タスク遂行能力要件(例えば、スループット又はサイクルタイム)、同時実行可能タスク数、並びに、作業の自律性レベル要件(例えば、完全手動制御、半自律制御、又は、完全自律制御)のうちの1以上の情報を含む。作業の自律性レベル要件は、ロボットRBによる作業の自動化の度合いのレベルを示す。
【0021】
作業環境条件は、例えば、工程レイアウト情報(例えば、各ラインの部品供給口の数と位置)、作業スペース制約、他設備との位置関係、並びに、作業経路上の障害物のうちの1以上の情報を含む。
【0022】
作業タイミング及び同期は、例えば、作業順序及び優先度ルール、他工程との同期条件、タクトタイム要件、作業サイクル及びタイミング、並びに、タスク切替時間要件のうちの1以上の情報を含む。
【0023】
ドキュメントデータ502は、ロボットRBの機能要件を含んでいてもよい。機能要件は、ロボットRB自体の能力に関する要件である。機能要件は、基本機能、センシング及び認識能力、並びに、インタラクションのうちの1以上の情報を含む。
【0024】
基本機能は、例えば、動作範囲及び自由度、可搬重量及び最大荷重、移動速度及び加速度、最大移動速度、停止精度、位置決め精度及び繰り返し精度、エンドエフェクタの種類及び機能、並びに、電源性能のうちの1以上の情報を含む。電源性能は、例えば、バッテリの稼働時間、バッテリの充電時間、及び、バッテリ交換情報のうちの1以上を含む。
【0025】
センシング及び認識能力は、例えば、搭載センサ種類(例えば、カメラ、LiDAR、又は、力覚センサ)、対象物認識能力、環境認識能力、自己位置推定精度、障害物検知能力及び検知距離、並びに、センサフュージョン機能のうちの1以上の情報を含む。
【0026】
移動及びナビゲーションは、移動方式(例えば、車輪、クローラ、又は脚)、ナビゲーション方式、経路計画アルゴリズム、マッピング能力、狭路通過能力、並びに、段差及び傾斜対応能力のうちの1以上の情報を含む。
【0027】
インタラクションは、ヒューマンインタフェース種類、音声認識及び発話能力、ジェスチャー認識及び表示能力、遠隔操作インタフェース、ティーチング方式、並びに、フィードバック提示機能のうちの1以上を含む。
【0028】
ドキュメントデータ502は、ロボットRBの非機能要件を含んでいてもよい。非機能要件は、ロボットRBの機能要件以外の特性又は性質を表す要件である。つまり、非機能要件は、品質属性に関する要件である。非機能要件は、例えば、安全性、信頼性及び堅牢性、保守性、通信及び連携、並びに、パフォーマンスのうちの1以上の情報を含む。
【0029】
安全性は、例えば、安全機能及び停止機能、リスクアセスメント結果、安全規格適合性(例えば、ISO 10218、ISO/TS 15066)、フェイルセーフ機構、衝突検知及び回避能力、並びに、電気安全性のうちの1以上の情報を含む。リスクアセスメントは、例えば、安全規格(例えば、ISO 10218、又は、ISO 12100)に基づいて実施される。
【0030】
信頼性及び堅牢性は、例えば、平均故障間隔、可用性(アップタイム率)、故障検知機能、エラー回復能力、環境耐性(例えば、温度、湿度、又は、粉塵)、並びに、耐久性(例えば、動作寿命又は部品寿命)のうちの1以上の情報を含む。
【0031】
保守性は、例えば、メンテナンス周期、部品交換容易性、自己診断機能、リモートメンテナンス機能、ソフトウェア更新方法、並びに、バックアップ及びリストア機能のうちの1以上の情報を含む。
【0032】
通信及び連携は、例えば、通信インタフェース(有線又は無線)、通信プロトコル、帯域要件、他システムとの連携機能、クラウド連携機能、並びに、データ送受信形式のうちの1以上の情報を含む。通信プロトコルとは、ロボットRBが他の機器又はシステムと通信するために対応している通信規格又は通信方式のことである。通信プロトコルは、例えば、産業通信プロトコルである。産業通信プロトコルは、例えば、EtherCAT、FL-net、EtherNet/IP、PROFINET、POWERLINK、SERCOS III、CC-LINK、又は、Modbus TCPである。
【0033】
パフォーマンスは、例えば、処理能力及び演算性能、レスポンス時間、リアルタイム性、資源効率(例えば、電力又は計算リソース)、スケーラビリティ、又は、最適化能力のうちの1以上の情報を含む。
【0034】
ドキュメントデータ502は、ロボットRBのシステム実装要件を含んでいてもよい。システム実装要件は、ロボットRBの構成及び実装に関する要件である。システム実装要件は、例えば、ハードウェア仕様、ソフトウェアアーキテクチャ、及び、物理的特性のうちの1以上の情報を含む。
【0035】
ハードウェア仕様は、例えば、プロセッサ種類及び性能、メモリ容量及び種類、ストレージ容量及び種類、電源仕様(例えば、電圧又は消費電力)、バッテリ容量及び種類、並びに、冷却システムのうちの1以上の情報を含む。
【0036】
ソフトウェアアーキテクチャは、例えば、オペレーティングシステム、ミドルウェア要件、制御アルゴリズム、データ処理パイプライン、AIモデル及び機械学習手法、並びに、ソフトウェアモジュール構成のうちの1以上の情報を含む。
【0037】
物理的特性は、例えば、寸法及びサイズ、重量、形状及び外観、設置面積及び接地圧、材質及び表面仕上げ、並びに、外観情報のうちの1以上の情報を含む。
【0038】
ドキュメントデータ502は、ロボットRBの運用要件を含んでいてもよい。運用要件は、ロボットRBの導入、運用及び管理に関する要件である。運用要件は、例えば、設置及び導入、運用管理、拡張性及びカスタマイズ性、コンプライアンス、並びに、環境適応性のうちの1以上の情報を含む。
【0039】
設置及び導入は、設置条件及び設置方法、初期設定手順、キャリブレーション方法、試運転手順、トレーニング要件、並びに、施工条件のうちの1以上の情報を含む。
【0040】
運用管理は、例えば、運用監視機能、フリートマネジメント機能、ユーザ管理及び権限設定、スケジューリング機能、稼働分析及びレポート機能、並びに、オペレーション支援機能のうちの1以上の情報を含む。フリートマネジメント機能は、複数のロボットRBを統合的に管理及び制御する機能を示す。具体的には、フリートマネジメント機能は、複数のロボットRBの稼働状況監視、作業割り当て、経路計画の最適化、バッテリ管理、及び/又は、メンテナンス計画を一元的に行う仕組みを示す。
【0041】
拡張性及びカスタマイズ性は、例えば、拡張方法、拡張モジュール対応、API(Application Programming Interface)サポート、カスタマイズ可能パラメータ、外部連携機能、及び、アップグレードパスのうちの1以上の情報を含む。拡張方法は、例えば、ある設備に導入するロボットRBを他の設備に導入する際の拡張方法である。拡張モジュール対応は、例えば、追加機能モジュールの接続及び制御に関する構成及び情報を示す。APIサポートは、ロボットRBが外部システム(例えば、ロボット管理装置400、産業用機器EQ又は管理システムMG)と連携する際に提供されるAPIの情報を示す。外部連携機能は、ロボットRBが製造元又は開発元以外の第三者が製造又は開発した外部装置と連携又は統合する機能である。外部装置は、例えば、産業用機器EQである。
【0042】
コンプライアンスは、例えば、適合法規制、認証要件(例えば、CE又はUL)、個人情報保護対応、セキュリティ対応、環境規制対応、及び、業界標準対応のうちの1以上の情報を含む。認証要件は、ロボットRBが各国又は地域の規制又は標準に準拠していることを証明するために取得すべき認証に関する要件を示す。セキュリティ対応は、ロボットRBがサイバー攻撃又は不正アクセスから守られるように設計及び運用するための対応を示す。例えば、セキュリティ対応は、通信の暗号化、制御情報の暗号化、制御情報の難読化、アクセス制御、脆弱性対策、ログ管理、並びに、マルウェア対策のうちの1以上の対応を含む。環境規制対応は、ロボットRBが従うべき環境規制に関する対応を示す。業界標準対応は、ロボットRBが従うべき業界標準に関する対応を示す。業界標準は、例えば、安全規格又は通信規格などの規格である。環境規制に関する情報及び業界標準に関する情報は、ロボットRBの環境に関する情報である。
【0043】
環境適応性は、例えば、対応可能環境条件(室内又は屋外)、照明条件対応範囲、防塵及び防水性能、温度及び湿度動作範囲、電磁両立性(EMC:Electromagnetic Compatibility)、及び、騒音レベルのうちの1以上の情報を含む。
【0044】
制御データベース装置600は、少なくとも1つの制御データベース601を含む。制御データベース601は、制御関連情報602を格納する。制御関連情報602は、ロボットRBの制御に関する情報を示す。制御関連情報602は、対応するドキュメントデータ502に基づいて作成されたロボットRBの制御情報603を含む。制御データベース装置600とドキュメントデータベース装置500とにおいて、制御関連情報602と、対応するドキュメントデータ502とは、互いに関連付けられている。制御関連情報602は、典型的には、テキスト形式で示される。なお、制御関連情報602は、例えば、バイナリ形式又は専用形式であってもよい。専用形式は、業界、会社、団体、又は、システムによって定められる形式である。
【0045】
制御データベース601は、異なる複数の制御関連情報602を格納していてもよい。また、制御データベース装置600は、異なる複数の制御データベース601を含んでいてもよい。例えば、制御データベース601は、ロボットRB1に対する制御関連情報602を格納し、別の制御データベース601は、ロボットRB2に対する制御関連情報602を格納する。
【0046】
ロボットRBの制御情報603は、典型的には、ドキュメントデータ502に基づいて作成される制御設定ファイルを含む。制御設定ファイルは、ロボットRBが特定の作業を実行するために必要な具体的なパラメータと動作シーケンスとを定義する情報を含む。制御設定ファイルは、例えば、テキスト形式の構造化記述言語で記述された構造化データである。構造化記述言語は、例えば、YAML、TOML、又は、JSONである。構造化記述言語は人間が可読できる言語である。ロボットRBのプロセッサは、制御設定ファイルを制御プログラムによって解析(パース)し、解析結果を動作実行時に処理することで、制御設定ファイルに従った動作を実行する。なお、制御設定ファイルは、例えば、機械語にコンパイルされた後にロボットRBのプロセッサによって処理されてもよい。
【0047】
制御情報603は、ドキュメントデータ502に基づいて作成されるため、制御情報603は、ドキュメントデータ502を構成する各情報に応じた内容の情報を含む。
【0048】
制御情報603は、環境定義情報、動作パラメータ情報、タスク定義情報、安全設定情報、連携設定情報、及び、運用管理情報のうちの1以上の情報を含む。具体的には、制御情報603は、環境定義情報、動作パラメータ情報、及び、タスク定義情報を含むことが好ましい。制御情報603は、安全設定情報、連携設定情報、及び、運用管理情報のうちの1以上の情報を更に含むことが好ましい。
【0049】
環境定義情報は、ロボットRBが動作する物理的空間又は仮想的空間に関する情報である。環境定義情報は、例えば、作業空間情報、基準点情報、動作可能範囲情報、動作禁止領域情報、及び、環境状態情報のうちの1以上の情報を含む。作業空間情報は、作業空間の地図情報及び座標系情報のうちの1以上の情報を含む。基準点情報は、例えば、キャリブレーションの基準点、座標系の原点、ロボットRBによる位置認識の基準点、又は、作業座標の基準点である。環境状態情報は、ロボットRBが作業又は移動を行う空間に関する構成又は状態を示す。
【0050】
動作パラメータ情報は、ロボットRBの物理的挙動を制御する技術的パラメータ群である。動作パラメータ情報は、例えば、動作定義情報(例えば、速度、加速度、又は、トルク)、力制限プロファイル、位置決め精度、センサフィードバック設定、制御ゲイン、及び、ダンピング係数のうちの1以上の情報を含む。
【0051】
タスク定義情報は、ロボットRBが実行すべき作業内容に関する定義を示す。タスク定義情報は、例えば、動作プログラム、動作シーケンス定義、条件判断、例外処理ロジック、タスク優先度、インターロック条件、作業完了判定基準、及び、品質閾値のうちの1以上の情報を含む。
【0052】
安全設定情報は、ロボットRBの動作時の安全性確保のための情報である。安全設定情報は、例えば、衝突検知センサのパラメータ(例えば、感度、検知範囲、又は、反応閾値)、回避行動時の動作パラメータ、安全監視領域、制限値定義、非常停止条件、フェールセーフモード設定、人間協働時の速度、及び、力制限値のうちの1以上の情報を含む。
【0053】
連携設定情報は、ロボットRBが外部装置(例えば、ロボット管理装置400、管理システムMG、又は、産業用機器EQ)と連携する際に要求される情報である。連携設定情報は、例えば、外部装置との通信方法、外部装置との接続時の認証情報、セキュリティ情報、データフォーマット、メッセージ構造定義、通信タイミング、及び、同期パラメータのうちの1以上の情報を含む。通信方法は、例えば、通信プロトコル(例えば、産業通信プロトコル)、API設定情報、及び、URLのうちの1以上の情報を含む。API設定情報は、外部装置と連携するためのAPIを利用するための情報であり、例えば、APIエンドポイントのURL及びAPIキーである。
【0054】
運用管理情報は、ロボットRB単体又は複数のロボットRBの特定業務における効率的な運用を実現するための情報である。運用管理情報は、例えば、ロボットRB単体または複数のロボットRBの動作優先順位、スケジューリング、リソース管理、エラー処理、及び、パフォーマンス評価のうちの1以上の情報を含む。
【0055】
環境データベース装置700については、後述の実施形態4、5において説明する。
【0056】
学習装置100は、未学習又は事前学習済みの学習モデルTMBに学習データセット(以下、「学習データセットTD」)を学習させることで、学習モデルTMを構築する。学習モデルTMは、学習済みモデルである。学習モデルTM、TMBは、コンピュータプログラムである。また、学習装置100は、学習モデルTMに学習データセットTDを再学習させることで、学習モデルTMのパラメータを更新してもよい。
【0057】
本明細書において、「学習」は、例えば、「機械学習」を示す。
【0058】
学習データセットTDは、学習用のロボットに実行させる動作内容を示す学習用のドキュメントデータ502、及び、学習用のロボットの制御に関する情報である学習用の制御関連情報602を含む。学習用のロボットは、本開示の「学習用ロボット」の一例に相当する。学習用の制御関連情報602は、本開示の「学習用制御関連情報」の一例に相当する。
【0059】
本明細書において、学習用のロボットは、例えば、学習データセットTDを取得するためにだけに稼働するロボットであってもよいし、実際の作業目的のために現場で稼働するロボットであってもよい。学習用のドキュメントデータ502及び制御関連情報602は、学習データセット専用として取得されたドキュメントデータ及び制御関連情報であってもよいし、実際の作業目的のために現場で稼働するロボットに対するドキュメントデータ及び制御関連情報であってもよい。学習用のドキュメントデータ502は、本開示の「学習用ドキュメントデータ」の一例に相当する。
【0060】
生成AI装置200は、学習装置100によって生成された学習モデルTMを記憶する。生成AI装置200は、例えば、サーバである。
【0061】
情報生成装置300は、制御対象のロボットRBに実行させる動作内容を示すドキュメントデータ502を学習モデルTMに入力し、制御対象のロボットRBの制御に関する情報である制御関連情報602を学習モデルTMに生成させる。従って、実施形態1によれば、人だけで制御関連情報602を作成する場合と比較して、制御関連情報602を容易に生成できる。その結果、例えば、制御関連情報602の作成に携わる人の労力を軽減できる。また、例えば、制御関連情報602の作成に携わる人の経験及び知識の多寡が制御関連情報602の品質に影響を及ぼすことを抑制できる。制御対象のロボットRBは、本開示の「制御対象ロボット」の一例に相当する。
【0062】
ロボットRBは、制御関連情報602に含まれる制御情報603に基づいて動作する。つまり、ロボットRBは、制御情報603に基づいて稼働する。ロボットRBは、実際の作業目的のために現場で稼働するが、この場合のドキュメントデータ502及び制御関連情報602を学習用のドキュメントデータ及び制御関連情報として使用してもよい。また、ドキュメントデータ502及び制御関連情報602を学習用として取得するだけの目的でロボットRBを稼働させてもよい。これらの観点からは、ロボットRBは、実際の作業目的を達成するための制御対象のロボットにもなり得るし、学習用のロボットにもなり得る。
【0063】
ロボットRBは、例えば、無人ロボットである。ただし、ロボットRBは、有人ロボットであってもよい。また、ロボットRBは、例えば、搬送車若しくはコンベア等の搬送ロボット、又は、多関節ロボット等の作業ロボットである。
【0064】
ロボットシステムSYSは、複数のロボットRBを備えていてもよい。複数のロボットRBは、同じ種類のロボットであってもよいし、異なる種類のロボットであってもよい。ロボットRBの種類は特に限定されない。
【0065】
ロボットRB1は、例えば、搬送対象物を搬送する無人搬送ロボットである。ロボットシステムSYSは、1又は複数のロボットRB1を備えていてもよい。搬送対象物は、例えば、台車、ワーク、荷物、又は、ロボット(例えば、搬送ロボット又は作業ロボット)である。
【0066】
無人搬送ロボットは、例えば、製造工場や物流倉庫などにおいて、各種製造部品、荷物等の搬送対象物を搬送するために用いられる無人搬送車である。無人搬送車は、例えば、AGV(Automatic Guided Vehicle)又はAMR(Autonomous Mobile Robot)である。一例として、無人搬送車は、自律走行モード及び/又は誘導走行モードを有している。誘導走行モードとは、無人搬送車が現実又は仮想のガイドラインに沿って移動する走行モードのことである。自律走行モードとは、無人搬送車が自己位置を推定することで、ガイドラインが配置されていないエリアを移動可能な走行モードのことである。自律走行モードは、例えば、SLAM(Simultaneous Localization and Mapping)機能により実現される。また、無人搬送車は、搬送対象物を牽引して走行する。搬送対象物は、無人搬送車に対して、例えば、回動可能に連結される。
【0067】
特に、ロボットRB1が、無人搬送ロボットである場合は、例えば、ドキュメントデータ502の作業要件、機能要件、及び、非機能要件は、次の情報を含んでいてもよい。
【0068】
作業要件(業務プロセス定義)は、例えば、対象搬送工程の定義、搬送ルート及び経由点定義、物流管理システムとの連携フロー、異常発生時の代替フロー、並びに、複数台協調搬送ルールのうち1以上の情報を含んでいてもよい。
【0069】
作業要件(作業対象物)は、例えば、搬送対象物の種類・形状・サイズ、荷物の重量範囲、パレット・台車・コンテナの仕様、荷物の識別方法(タグ・コード等)、並びに、特殊取り扱い要件(温度管理等)のうち1以上の情報を含んでいてもよい。
【0070】
作業要件(作業内容)は、例えば、自律搬送タスク、ピックアップ及びドロップオフ精度、高精度ドッキング制御(位置決め精度)、搬送中の荷崩れ防止のための加減速制御、荷物受け渡し協調制御、荷物のピックアップ手順、搬送経路及び優先順位、ドロップオフ(荷下ろし)手順、バッテリ充電タイミング、複数目的地への巡回方法、並びに、空車走行最適化のうちの1以上の情報を含んでいてもよい。自律搬送タスクは、搬送対象物の搬送を開始、実行、及び、完了する一連の作業定義を示す。ピックアップ及びドロップオフ精度は、受け渡し位置に対する許容誤差を示す。
【0071】
作業要件(作業タイミング及び同期)は、例えば、ライン同期機能(生産ラインとの連動制御)、複数のロボットRB1間の交通調整プロトコル、搬送容量オーバーフロー時の自動分散処理、搬送タスク優先順位設定、特定時間帯の運行制限、荷物受け渡しタイミング精度、複数のロボットRB1間の交通調整、並びに、充電スケジューリングのうちの1以上の情報を含んでいてもよい。
【0072】
作業要件(作業環境条件)は、例えば、走行路の幅及び形状、充電ステーション配置、荷物受け渡し場所のレイアウト、人との共存エリア指定、交差点・合流点の通行ルール、並びに、専用レーン設置要件のうちの1以上の情報を含んでいてもよい。
【0073】
機能要件(基本機能)は、例えば、最大積載量及び牽引能力、最高走行速度及び加速・減速性能、連続走行時間(バッテリ駆動時間)、最小回転半径及び旋回性能、勾配走行能力(最大登坂角度)、並びに、台車連結数上限(複数台車牽引時)のうちの1以上の情報を含んでいてもよい。
【0074】
機能要件(センシング及び認識能力)は、例えば、障害物検知範囲及び精度、走行経路認識能力(例えば、磁気テープ、QRコード(登録商標)、又は、マーカ)、荷物検知・識別能力(例えば、バーコード、RFID、又は、画像認識)、充電ステーション認識精度、人・動的障害物の追跡機能、並びに、ドッキング位置認識精度のうちの1以上の情報を含んでいてもよい。
【0075】
機能要件(移動及びナビゲーション)は、例えば、ロボットRB1の走行方式、地図、自己位置推定精度、動的経路再計画、特定箇所走行制御、衝突回避機能、走行路認識不能時の代替ナビゲーション機能、台車の自動連結及び切離し制御、動的障害物に対する予測的回避動作、交差点での優先順位に基づく通行調整機能、ハイブリッド走行方式における切替規則、マッピング機能及び地図更新能力、並びに、経路計画アルゴリズムのうちの1以上の情報を含んでいてもよい。走行方式は、自律走行モードのみを実装した走行方式、誘導走行モードのみを実装した走行方式、又は、ハイブリッド走行方式である。ハイブリッド走行方式は、自律走行モード及び誘導走行モードの双方を実装した走行方式である。特定箇所走行制御は、狭路又は交差点等の特定箇所における走行制御を示す。衝突回避機能は、例えば、障害物検知精度、衝突回避制御、及び、非常停止トリガのうちの1以上の情報を含む。障害物検知精度は、例えば、静止物又は動的障害物の検知性能又は検知範囲を示す。衝突回避機能は、停止、減速、又は、回避経路選択などの実行制御を示す。ハイブリッド走行方式における切替規則は、自律走行モードから誘導走行モードへの切り替え制御条件、及び、誘導走行モードから自律走行モードへの切り替え制御条件を含む。
【0076】
非機能要件(安全性)は、例えば、非常停止機能(手動及び自動)、衝突防止センサ冗長性、低速走行モード(人との協調作業時)、フェイルセーフ機構(制御不能時)、安全規格適合性、並びに、衝突時の衝撃吸収構造のうちの1以上の情報を含んでいてもよい。
【0077】
非機能要件(信頼性及び堅牢性)は、例えば、牽引安定性、混載搬送対応、及び、連続稼働性能のうちの1以上の情報を含んでもよい。牽引安定性は、例えば、台車連結時の蛇行、転倒、又は、脱落を防止するための設計要件を示す。混載搬送対応は、複数種類の物品を同時に運ぶ能力とその制御設計を示す。連続稼働性能は、稼働中のバッテリ交換及び自己充電機能等に起因するダウンタイムの最小化機能、又は、連続稼働時間を示す。
【0078】
また、ロボットRB1が、無人搬送ロボットである場合は、例えば、制御情報603の環境定義情報、動作パラメータ情報、タスク定義情報、安全設定情報、連携設定情報、及び、運用管理情報は、次の情報を含んでいてもよい。
【0079】
環境定義情報は、例えば、地図情報、ガイドライン情報、走行可能床面条件、充電ステーション位置、物流拠点定義(例えば、ピックアップ及びドロップポイントの位置)、走行可能エリア、及び、走行禁止エリアのうちの1以上の情報を含む。
【0080】
動作パラメータ情報は、例えば、駆動輪設定情報(例えば、駆動輪の制御パラメータ)、牽引負荷対応パラメータ(例えば、運搬重量に応じた駆動力又は加速度調整値)、バッテリ消費最適化設定(例えば、走行パターンによる電力消費調整パラメータの設定)、及び、スリップ対応設定のうちの1以上の情報を含む。
【0081】
タスク定義情報は、例えば、動作シナリオ、荷役シーケンス、荷台操作手順、充電タイミング判断条件、台車の連結及び切離し手順、並びに、走行パターンによる電力消費調整パラメータのうちの1以上の情報を含む。動作シナリオは、ロボットRB1が実行すべき一連の動作内容を定義する情報である。動作シナリオは、例えば、ロボットRB1の目的地の情報、目的地に行き着くまでに実行する複数の動作内容、複数動作の動作順序、及び、複数動作の切替条件を含む。荷役シーケンスは、例えば、荷物の受け取り及び下ろしの動作シーケンスである。
【0082】
安全設定情報は、例えば、人検知範囲設定、速度制限情報(例えば、エリアごとの最高速度)、荷崩れ防止パラメータ(例えば、急発進又は急停止防止のための加速度制限値)、並びに、交通ルール(例えば、交差点での減速プロファイル又は通行優先順位決定ルール)のうちの1以上の情報を含む。
【0083】
連携設定情報は、例えば、ドッキング条件、ロボットRB1とゲート若しくはエレベータとの連携設定、並びに、交通管制システムとの連携設定のうちの1以上の情報を含む。ドッキング条件は、例えば、ロボットRBが、充電ステーション、台車、又は、受け渡し機構にドッキングする際の条件を示す。
【0084】
運用管理情報は、例えば、搬送タスク割当ポリシー、走行経路占有時間管理、バッテリ残量に基づくタスク制限、及び、混雑時迂回経路定義のうちの1以上の情報を含む。搬送タスク割当ポリシーは、例えば、複数のロボットRB1間での搬送タスクの最適分配アルゴリズムを含む。
【0085】
また、ロボットRB2は、例えば、無人搬送ロボットに配置された状態で駆動する作業ロボットである。作業ロボットは、例えば、多関節ロボットである。作業ロボットは、例えば、協働ロボットであってもよい。協働ロボットとは、人と協働して作業を実行するロボットのことである。ロボットシステムSYSは、1又は複数のロボットRB2を備えていてもよい。なお、多関節ロボットは、例えば、協働ロボットであってもよい。
【0086】
特に、ロボットRB2が、協働ロボットとして機能する多関節ロボットである場合は、例えば、ドキュメントデータ502の作業要件、機能要件、及び、非機能要件は、次の情報を含んでいてもよい。
【0087】
作業要件(業務プロセス定義)は、例えば、人及びロボットRB2の作業分担情報、協働作業の手順、人及びロボットRB2の異常時の役割分担、並びに、ロボットRB2介入判断基準のうちの1以上の情報を含んでいてもよい。
【0088】
作業要件(作業対象)は、例えば、ワークの把持特性(例えば、形状、硬さ、又は、重量)、組立て公差要件、ワークの位置公差、並びに、工具操作要件(例えば、トルク又は精度)のうちの1以上の情報を含んでいてもよい。
【0089】
作業要件(作業内容)は、例えば、組立て若しくは加工の具体的手順、力制御による組付け動作、作業品質の自己評価、並びに、ワークに対する動作シーケンスのうちの1以上の情報を含んでいてもよい。動作シーケンスは、例えば、ワークのピックアップ(把持)、位置及び姿勢の調整、移動経路に沿った搬送、目的位置への配置、並びに、リリース(把持解除)を含む。
【0090】
作業要件(作業環境条件)は、例えば、人及びロボット共有作業空間、工具及び部品供給位置、レイアウト、及び、環境照明条件(ビジョン用)のうちの1以上の情報を含んでいてもよい。
【0091】
作業要件(作業タイミング及び同期)は、例えば、人との作業受け渡しタイミング、作業進捗に合わせた動作適応、人の作業リズムへの同調、並びに、複数工程間のタクト調整のうちの1以上の情報を含んでいてもよい。
【0092】
機能要件(基本機能)は、例えば、各関節の可動範囲及びトルク性能、協働用途での出力制限機能、エンドエフェクタ自動交換機能、位置繰り返し精度、並びに、経路追従精度のうちの1以上の情報を含んでいてもよい。
【0093】
機能要件(センシング及び認識能力)は、例えば、関節トルク監視機能、人との接触検知センサ、ワークの位置及び姿勢認識、ハンド部の把持力制御、組立て部品の適合判定、並びに、環境変化への適応検知のうちの1以上の情報を含んでいてもよい。
【0094】
機能要件(移動及びナビゲーション)は、例えば、作業空間内の障害物回避、関節角度の最適解選択、特異点回避アルゴリズム、動的障害物に対する軌道修正、並びに、作業座標系の自動キャリブレーションのうちの1以上の情報を含んでいてもよい。
【0095】
機能要件(インタラクション)は、例えば、人との意図共有インタフェース、力制御によるダイレクトティーチング、ハプティックフィードバック機能、作業状態の視覚的表示機能、ジェスチャー認識による指示入力、並びに、音声コマンド対応のうちの1以上の情報を含んでいてもよい。
【0096】
非機能要件(安全性)は、例えば、力覚モニタリングに基づく衝突検知、速度及びトルク制限機能、パワーのリミッティング制御、安全監視空間の動的設定、人接近時の自動減速機能、並びに、危険度に応じた安全停止区分実装のうちの1以上の情報を含んでいてもよい。
【0097】
また、ロボットRB2が、協働ロボットとして機能する多関節ロボットである場合は、例えば、制御情報603の環境定義情報、動作パラメータ情報、タスク定義情報、安全設定情報、連携設定情報、及び、運用管理情報は、次の情報を含んでいてもよい。
【0098】
環境定義情報は、例えば、ロボット基準座標系、工具先端座標系、若しくは、ワーク座標系の位置及び方向、工具先端位置の校正用基準点座標、協働作業領域(人とロボットRB2とが共有する作業空間の境界定義)、干渉確認用形状、工具取付位置情報、工具重量、及び、工具重心位置のうちの1以上の情報を含む。
【0099】
動作パラメータ情報は、例えば、関節可動範囲、動力学補正値(例えば、動作時の慣性力、遠心力、又は重力の影響を補正するパラメータ)、柔軟性制御設定(ロボットRB2の硬さ又は柔らかさを調整する制御係数)、動作経路設定(滑らかな加減速を実現する経路生成の調整値)、位置決め精度調整(各軸の位置制御精度に関するゲイン設定)、力検出設定(各関節のトルク監視値)、並びに、特異点対策設定(例えば、機構的に不安定になる姿勢を回避するための制御値)のうちの1以上の情報を含んでいてもよい。
【0100】
タスク定義情報は、例えば、基本動作種別設定(例えば、点間移動、直線移動、又は、円弧移動の速度又は加速度設定)、力制御作業設定(例えば、位置と力を同時に制御するための制御方向と反力設定)、工具動作条件、画像連動制御設定(例えば、カメラ画像に基づく位置修正の制御設定)、空間軌道定義(例えば、滑らかな曲線による作業経路の数学的定義)、組立作業手順、並びに、電気的及び機械的な接続確認条件のうちの1以上の情報を含む。
【0101】
安全設定情報は、例えば、速度若しくは加速度制限値、安全評価基準値、人接近時速度調整、最小安全距離計算値(例えば、人とロボットRB2との間で維持すべき安全距離の計算設定)、安全監視領域、並びに、出力制限設定(例えば、各関節の最大トルク制限値と衝突検知の閾値)のうちの1以上の情報を含む。
【0102】
連携設定情報は、例えば、画像処理連携(例えば、カメラ画像取得と画像データ形式の設定)、及び、複合センサ統合設定(例えば、複数のセンサ情報を組み合わせる処理設定の情報)のうちの1以上の情報を含む。
【0103】
運用管理情報は、例えば、動作優先順位設定(例えば、複数の作業実行時の処理優先順位と資源配分規則)、動作記録設定、点検計画設定、遠隔監視設定、異常復旧手順、並びに、協働作業効率設定(人とロボットRB2との作業分担を最適化する調整値)のうちの1以上の情報を含む。
【0104】
ロボット管理装置400は、複数のロボットRBを管理する。ロボット管理装置400は、例えば、PLC(Programmable Logic Controller)及び/又はFMS(Fleet Management System)を含む。
【0105】
学習装置100、生成AI装置200、情報生成装置300、ロボット管理装置400、ロボットRB、ドキュメントデータベース装置500、制御データベース装置600、及び、環境データベース装置700は、ネットワークNWに接続され、互いに通信可能である。ネットワークNWは、例えば、インターネット、閉域網、公衆電話網、LAN(Local Area Network)、及び、近距離無線ネットワークを含む。
【0106】
また、ネットワークNWには、少なくとも1つの産業用機器EQが接続されていてもよい。複数の産業用機器EQがネットワークNWに接続されてもよい。産業用機器EQは、例えば、工場又は倉庫などの事業用設備において、製品の製造、処理、搬送、又は、制御を目的として使用される機械又は装置を示す。産業用機器EQは、例えば、コンベア又はエレベータであるが、特に限定されない。産業用機器EQは、ロボットを含んでいてもよい。
【0107】
更に、ネットワークNWには、管理システムMGが接続されていてもよい。管理システムMGは、産業用機器EQ及びロボットシステムSYSを管理する。管理システムMGは、例えば、MES(Manufacturing Execution System)及び/又はWMS(Warehouse Management System)を含む。
【0108】
なお、生成AI装置200、ロボット管理装置400、ドキュメントデータベース装置500、制御データベース装置600、環境データベース装置700、及び、管理システムMGの各々は、例えば、処理部、記憶部、通信部、入力部、及び、出力部を含む。
【0109】
次に、図2図4を参照して学習装置100を説明する、図2は、学習装置100の構成例を示すブロック図である。図2に示すように、学習装置100は、処理部110、入力部120、出力部130、通信部140、及び、記憶部150を含む。
【0110】
入力部120は、処理部110に対して各種情報を入力するための入力機器である。例えば、入力部120は、キーボード及びポインティングデバイス、又は、タッチパネルである。
【0111】
出力部130は、各種情報を出力する。出力部130は、例えば、各種情報を表示する表示部を含む。表示部は、例えば、液晶ディスプレイ、又は、有機エレクトロルミネッセンスディスプレイである。
【0112】
通信部140は、ネットワークNWに接続される。通信部140は、ネットワークNWに接続された各種装置と通信する。通信部140は、所定の通信プロトコルに従って通信を行う通信機であり、例えば、ネットワークインタフェースコントローラを含む。所定の通信プロトコルは、例えば、イーサネット(登録商標)に準拠したプロトコル、インターネット・プロトコル・スイート、及び/又は、近距離無線通信規格に準拠したプロトコルである。
【0113】
処理部110は、各種処理(各種演算)を実行する。処理部110は、入力部120、出力部130、通信部140、及び、記憶部150を制御する。処理部110は、1以上のプロセッサを含む。プロセッサは、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、又は、ASIC(Application Specific Integrated Circuit)である。プロセッサは、コンピュータプログラムよって動作してもよいし、ハードワイヤードロジックによって動作してもよい。
【0114】
記憶部150は、1以上の記憶装置を含み、データ及びコンピュータプログラムを記憶する。記憶部150は、例えば、半導体メモリ等の主記憶装置と、半導体メモリ又はストレージドライブ等の補助記憶装置とを含む。ストレージドライブは、例えば、ハードディスクドライブ又はソリッドステートドライブである。記憶部150は、例えば、非一時的コンピュータ読取可能記憶媒体であってもよい。
【0115】
処理部110は、取得部111と、学習部112とを含む。具体的には、処理部110のプロセッサが、記憶部150に記憶されたコンピュータプログラムを実行することで、取得部111及び学習部112として機能する。
【0116】
なお、生成AI装置200、ロボット管理装置400、ドキュメントデータベース装置500、制御データベース装置600、環境データベース装置700、及び、管理システムMGの処理部、記憶部、通信部、入力部、及び、出力部のハードウェア構成は、それぞれ、処理部110、記憶部150、通信部140、入力部120、及び、出力部130のハードウェア構成と同様である。
【0117】
図3は、学習装置100の動作を説明するための図である。学習装置100にとって、ロボットRBは学習用のロボットRBである。図3に示すように、取得部111は、ドキュメントデータベース501から学習用のドキュメントデータ502を取得する。以下、学習用のドキュメントデータ502をドキュメントデータ502Tと記載する場合がある。また、取得部111は、制御データベース601から学習用の制御関連情報602を取得する。制御関連情報602は、学習用のロボットRBの制御情報603を含む。以下、学習用の制御関連情報602及び制御情報603をそれぞれ制御関連情報602T及び制御情報603Tと記載する場合がある。記憶部150(図2)は、ドキュメントデータ502T及び制御関連情報602Tを学習データセットTDとして記憶する。
【0118】
学習部112は、生成AI装置200にアクセスして、未学習又は事前学習済みの学習モデルTMBに学習データセットTDを学習させることで、学習モデルTMを構築する。つまり、学習部112は、学習データセットTDに基づき、ドキュメントデータ502を入力した場合に、制御関連情報602(具体的には、制御情報603)を生成する学習モデルTMBを構築する。
【0119】
ここで、制御データベース601において、学習用のロボットRBの制御情報603Tは、作業者によって操作される入力装置を介して作成される制御情報を含む。従って、実施形態1によれば、作業者(例えば、熟練者)の経験及び知識に基づく制御情報603Tを学習モデルTMBに学習させることができる。このように、作業者の経験及び知識が反映された高品質な制御情報603Tを学習データセットTDに含めることで、得られる学習モデルTMの精度が向上し、信頼性の高い制御情報603の生成が可能となる。
【0120】
引き続き図3を参照して学習モデルTMの詳細を説明する。学習部112は、学習アルゴリズムを実行することで、学習データセットTDを用いた学習を実行する。学習部112は、複数の学習データセットTDを用いて繰り返し学習を実行することで、学習モデルTMを生成する。
【0121】
一例として、学習部112は、事前学習済みの大規模言語モデル(LLM:Large Language Model)又は視覚言語モデル(VLM:Vision Language Model)をファインチューニングすることで、学習モデルTMを生成する。ファインチューニングに用いる学習アルゴリズムは、例えば、自己教師あり学習、強化学習、教師あり学習、若しくは、教師なし学習、又は、それらの1以上の組合せである。具体的には、学習アルゴリズムは、線形回帰、ニューラルネットワーク、ディープニューラルネットワーク、決定木、ランダムフォレスト、勾配ブースティング、又は、正則化回帰である。なお、例えば、LLM及びVLMを生成する際の学習アリゴリズムは、例えば、自己教師あり学習である。具体的には、学習アリゴリズムは、例えば、ニューラルネットワーク、ディープニューラルネットワーク、又は、Transformer、である。
【0122】
図4は、実施形態1に係る学習方法の一例を示すフローチャートである。学習方法は学習装置100によって実行される。図4に示すように、学習方法は、ステップS1~ステップS4を含む。学習方法は、ステップS5~ステップS7を更に含むことが好ましい。
【0123】
図4に示すように、まず、ステップS1において、取得部111は、ドキュメントデータベース501からドキュメントデータ502Tを取得する。
【0124】
次に、ステップS2において、取得部111は、制御データベース601から制御関連情報602T(制御情報603T)を取得する。
【0125】
次にステップS3において、学習部112は、学習データセットTD(ドキュメントデータ502T及び制御関連情報602T)を用いて、第1学習アルゴリズムによって、LLM又はVLMを学習させる(第1学習)。第1学習アルゴリズムは、例えば、教師あり学習である。この場合、ドキュメントデータ502Tが説明変数(入力)であり、制御情報603Tが目的変数(出力)である。つまり、制御情報603Tが正解ラベルに相当する。
【0126】
次に、ステップS4において、学習部112は、第1終了条件を満たしたか否かを判定する。第1終了条件は、例えば、エポック数が第1所定値に到達したことである。
ステップS4で否定判定された場合(NO)、処理はステップS1に進む。
一方、ステップS4で肯定判定された場合(YES)、処理はステップS5に進む。
【0127】
次に、ステップS5において、取得部111は、ドキュメントデータベース501からドキュメントデータ502Tを取得する。
【0128】
次に、ステップS5において、学習部112は、ドキュメントデータ502Tを用いて、第2学習アルゴリズムによって、第1学習完了後のLLM又はVLMを学習させる(第2学習)。第2学習アルゴリズムは、例えば、強化学習である。この場合、例えば、学習部112は、第1学習完了後のLLM又はVLMが生成した制御情報603Tの実行結果及び/又は品質を数値評価し、数値評価の結果である評価値に基づいて報酬値を算出し、報酬値を用いて強化学習アルゴリズムによりLLM又はVLMの強化学習を実行する。制御情報603Tの実行結果は、例えば、制御情報603TによるロボットRBの動作結果である。
【0129】
次に、ステップS6において、学習部112は、第2終了条件を満たしたか否かを判定する。第2終了条件は、例えば、イテレーション数が第2所定値に到達したことである。
ステップS6で否定判定された場合(NO)、処理はステップS5に進む。
一方、ステップS6で肯定判定された場合(YES)、学習方法は終了する。
【0130】
以上の結果、第1学習及び第2学習の完了後のLLM又はVLMが、学習モデルTMとして生成される。よって、精度の高い学習モデルTMを生成できる。以上のように、LLM又はVLMに、ドキュメントデータ502Tと制御関連情報602Tとの関係性を学習させることで、学習モデルTMが生成される。
【0131】
次に、図5図7を参照して情報生成装置300を説明する、図5は、情報生成装置300の構成例を示すブロック図である。図5に示すように、情報生成装置300は、処理部310、入力部320、出力部330、通信部340、及び、記憶部350を含む。処理部310、入力部320、出力部330、通信部340、及び、記憶部350のハードウェア構成は、それぞれ、図2の学習装置100の処理部110、入力部120、出力部130、通信部140、及び、記憶部150のハードウェア構成と同様である。
【0132】
入力部320は、処理部310に対して各種情報を入力するための入力機器である。出力部330は、各種情報を出力する。出力部330は、例えば、各種情報を表示する表示部を含む。通信部340は、ネットワークNWに接続され、ネットワークNWに接続された各種装置と通信する。処理部310は、各種処理(各種演算)を実行する。記憶部350は、1以上の記憶装置を含み、データ及びコンピュータプログラムを記憶する。
【0133】
処理部310は、受付部311と、生成部312と、更新部313とを含む。具体的には、処理部310のプロセッサが、記憶部350に記憶されたコンピュータプログラムを実行することで、受付部311、生成部312、及び、更新部313として機能する。
【0134】
図6は、情報生成装置300の動作を説明するための図である。図7は、実施形態1に係る情報生成方法の一例を示すフローチャートである。情報生成方法は、ロボットRBに対するドキュメントデータ502を学習モデルTMに入力して、ロボットRBの制御関連情報602Aを学習モデルTMから取得する。ロボットRBは制御対象である。情報生成方法は情報生成装置300によって実行される。図7に示すように、情報生成方法は、ステップS21~ステップS26を含む。
【0135】
図6及び図7に示すように、まず、ステップS21において、情報生成装置300の受付部311は、ロボットRBに対するドキュメントデータ502を受け付ける。例えば、受付部311は、ドキュメントデータ502をドキュメントデータベース501から取得する。記憶部350(図5)は、ドキュメントデータ502を記憶する。
【0136】
次に、ステップS22において、生成部312は、ロボットRBに実行させる動作内容を示すドキュメントデータ502を学習モデルTMに入力し、ロボットRBの制御に関する情報を示す制御関連情報602Aを学習モデルTMに生成させる。具体的には、生成部312は、ドキュメントデータ502を学習モデルTMに入力し、ロボットRBの制御情報603Aを学習モデルTMに生成させる。
【0137】
次に、ステップS23において、生成部312は、学習モデルTMから制御関連情報602Aを取得する。制御関連情報602Aは制御情報603Aを含む。記憶部350は、制御関連情報602Aを記憶する。
【0138】
次に、ステップS24において、生成部312は、制御情報603Aを、制御対象のロボットRBに送信する。ロボットRBは、制御情報603Aに基づいて動作する。実施形態1によれば、学習モデルTMによって高速に制御情報603Aを生成できるため、ロボットRBの稼働開始時期を短縮できる。
【0139】
次に、ステップS25において、更新部313は、制御関連情報602Aを制御データベース601に格納することで、制御データベース601を更新する。制御関連情報602Aは制御情報603Aを含む。具体的には、更新部313は、制御関連情報602Aを制御データベース装置600に送信する。そして、制御データベース装置600は、更新部313による更新指示に基づいて、制御関連情報602Aを制御データベース601に格納する。なお、制御データベース装置600は、制御情報603Aを、制御対象のロボットRBに送信してもよい。この場合は、ステップS4を省略できる。
【0140】
次に、ステップS26において、更新部313は、学習装置100(図2)に対して、制御データベース601が更新されたこと示す情報(以下、「更新通知情報」)を送信する。そして、情報生成方法は終了する。
【0141】
学習装置100の取得部111(図3)は、更新通知情報を受信すると、制御データベース601から、新たに格納された制御関連情報602Aを学習用の制御関連情報602Tとして取得する。また、取得部111は、更新通知情報を受信すると、ドキュメントデータベース501から、制御関連情報602Aを生成する際に使用したドキュメントデータ502(制御関連情報602Aに対応するドキュメントデータ502)を学習用のドキュメントデータ502Tとして取得する。そして、学習部112は、学習データセットTD(ドキュメントデータ502T及び制御関連情報602T)を学習モデルTMに再学習させることで、学習モデルTMのパラメータを更新する。このように、更新通知情報を受信するたびに再学習を実行することを「逐次再学習」と記載する場合がある。実施形態1によれば、更新通知情報が自動的に情報生成装置300から学習装置100に送信されるため、自動的に逐次再学習を実行できる。
【0142】
なお、学習部112は、例えば、定期的に学習モデルTMを再学習させてもよいし、所定数の更新通知情報を受信した場合に学習モデルTMを再学習させてもよい。このような再学習を「バッチ再学習」と記載する場合がある。バッチ再学習を実行する場合は、前回の再学習時よりも後に制御データベース601に追加された制御関連情報602T、及び、対応するドキュメントデータ502Tが、学習データセットTDとして使用される(図3)。
【0143】
(実施形態2)
図4及び図7図9を参照して、本開示の実施形態2に係るロボットシステムSYSを説明する。実施形態2では、学習用の制御関連情報602Tが、変更履歴情報を含む点で、実施形態1と主に異なる。以下、実施形態2が実施形態1と異なる点を主に説明する。
【0144】
図8は、実施形態2に係るロボットシステムSYSの学習装置100の動作を説明するための図である。図8に示すように、取得部111は、ドキュメントデータベース501から学習用のドキュメントデータ502Tを取得する。また、取得部111は、制御データベース601から学習用の制御関連情報602Tを取得する。制御関連情報602Tは、学習用のロボットRBの制御情報603Tに加えて、制御情報603Tの変更履歴を示す情報(以下、「変更履歴情報604T」)を含む。記憶部150(図2)は、ドキュメントデータ502T及び制御関連情報602Tを学習データセットTDXとして記憶する。例えば、制御情報603Tは、制御データベース601において、変更履歴情報604Tによってバージョン管理されている。従って、制御情報603Tには、1以上のバージョンがある。また、ドキュメントデータ502Tは、制御データベース601において、制御情報603Tの変更履歴に対応して、バージョン管理されていることが好ましい。従って、この場合は、制御データベース601において、ドキュメントデータ502Tのバージョンと、制御情報603Tのバージョンとが対応付けられている。
【0145】
学習部112は、生成AI装置200にアクセスして、未学習又は事前学習済みの学習モデルTMBに学習データセットTDXを学習させることで、学習モデルTMを構築する。このように、実施形態2によれば、制御情報603Tの変更履歴情報604Tを学習データセットTDXに含めることで、学習モデルTMBは、制御情報603Tの動的及び時系列的な変遷情報を学習できる。その結果、学習モデルTMBは、制御情報603Tの変更過程における判断基準及び改善の傾向を学習できる。よって、得られる学習モデルTMの精度が更に向上し、更に信頼性の高い制御情報603を生成できる。なお、
【0146】
更に、実施形態2では、学習用の制御関連情報602Tは、制御情報603T及び変更履歴情報604Tに加えて、制御情報603Tの変更履歴によって示される変更の理由に関する情報605T(以下、「変更理由情報605T」)を含むことが好ましい。この好ましい例によれば、学習データセットTDXが、ドキュメントデータ502T、制御情報603T、変更履歴情報604T、及び、変更理由情報605Tを含む。このように、変更理由情報605Tを学習させることで、得られる学習モデルTMは、変更の背後にある意図及び判断基準を理解し、状況に応じたより適切かつ説明可能な制御情報603を生成できる。
【0147】
例えば、変更理由情報605Tを学習して生成された学習モデルTMは、変更の意図を推測できる。従って、新たな状況に対しても柔軟な判断を行うことができ、新たな状況に対しても信頼性の高い制御情報603を生成できる。
【0148】
例えば、変更理由情報605Tを学習することで、学習モデルTMは、制御情報603を説明する説明情報(以下、「説明情報EX」)を生成できる。説明情報EXは、学習モデルTMが、制御情報603を生成するに至った根拠を示す。説明情報EXは、例えば、テキスト形式で示される。例えば、説明情報EXは、制御情報603を「なぜこのように生成したのか」を示す説明を含む。従って、制御情報603の説明情報EXをユーザに提供できる。その結果、ユーザに対して、制御情報603の信頼性が高いことを示すことができる。よって、ユーザは、制御情報603を高い信頼をもってロボットRBに導入できる。このように、説明可能なAI(XAI:Explainable AI)である学習モデルTMを提供できる。
【0149】
図4及び図8を参照して、実施形態2の学習モデルTMの詳細を説明する。実施形態2が実施形態1と異なる点を主に説明する。まず、図4に示すように、ステップS1において、取得部111は、ドキュメントデータベース501からドキュメントデータ502Tを取得する。
【0150】
次に、ステップS2において、取得部111は、制御データベース601から制御関連情報602T(制御情報603T、変更履歴情報604T、及び、変更理由情報605T)を取得する。なお、制御関連情報602Tは、変更理由情報605Tを含んでいなくてもよい。
【0151】
次にステップS3において、学習部112は、学習データセットTDX(ドキュメントデータ502T及び制御関連情報602T)を用いて、第1学習アルゴリズムによって、LLM又はVLMを学習させる(第1学習)。第1学習アルゴリズムは、例えば、自己学習である。自己学習では、変更履歴情報604T及び/又は変更理由情報605Tに基づいて、制御情報603Tの各部分に対して自動的にラベルが付されて、学習が実行される。この場合、ラベルは、例えば、制御情報603Tの各部分の信頼度を示す。例えば、変更が少ない部分には高い信頼度を示すラベルが付され、頻繁に変更された部分には低い信頼度を示すラベルが付される。そして、自己学習では、ラベル付けされた制御情報603Tとドキュメントデータ502Tとを用いて、ドキュメントデータ502が入力された場合に制御情報603を生成するように、制御情報603Tとドキュメントデータ502Tとの対応関係をLLM又はVLMを学習させる。この場合、ラベルによって示される信頼度が学習時の重み付けとして機能するため、LLM又はVLMは、制御情報603Tとドキュメントデータ502Tとの対応関係をより緻密に学習することができる。
【0152】
なお、第1学習アルゴリズムは、例えば、教師なし学習又は教師あり学習であってもよい。教師なし学習では、変更履歴情報604T及び/又は変更理由情報605Tに基づいて、ドキュメントデータ502Tに対する制御情報603Tの変遷パターンが学習される。教師あり学習では、例えば、学習データセットTDXは、互いに対応するバージョンのドキュメントデータ502T(説明変数)と制御関連情報602T(目的変数)とで構成される。
【0153】
次に、ステップS4及びステップS5が実行される。ステップS4及びステップS5は、それぞれ、実施形態1のステップS4及びステップS5と同様である。
【0154】
次に、ステップS6において、学習部112は、第2学習アルゴリズムによって、LLM又はVLMを学習させる(第2学習)。第2学習アルゴリズムは、強化学習である。この点は、実施形態1と同様である。ただし、学習部112は、変更履歴情報604T及び/又は変更理由情報605Tを報酬値に反映させて強化学習を実行することで、より信頼度の高い学習モデルTMを構築できる。
【0155】
次に、ステップS7が実行される。ステップS7は、実施形態1のステップS7と同様である。ステップS1~ステップS7によって、LLM又はVLMに、ドキュメントデータ502Tと制御関連情報602Tとの関係性を学習させることで、学習モデルTMが生成される。
【0156】
次に、図9を参照して、実施形態2に係る情報生成装置300の動作を説明する。この場合、実施形態2に係る情報生成方法は、図7に示す情報生成方法と同様である。従って、図7も参照して、実施形態2が実施形態1と異なる点を主に説明する。図7に示すように、実施形態2に係る情報性生成方法は、ステップS21~ステップS26を含む。ロボットRBは制御対象である。
【0157】
図9は、実施形態2に係る情報生成装置300の動作を説明するための図である。図7及び図9に示すように、ステップS22において、生成部312は、ドキュメントデータ502を学習モデルTMに入力し、ロボットRBの制御情報603Aを学習モデルTMに生成させる。この場合、生成部312は、学習モデルTMに対して、制御情報603Aに加えて、制御情報603Aの説明情報EXを生成させることが好ましい。具体的には、生成部312は、プロンプトを学習モデルTMに入力し、学習モデルTMに制御情報603A及び説明情報EXを生成させる。プロンプトは、例えば、「ドキュメントデータ502に基づいて制御情報603Aを生成するとともに、制御情報603Aの説明情報EXを生成すること」を要求する内容を含む。
【0158】
次に、ステップS23において、生成部312は、学習モデルTMから制御関連情報602Aを取得する。制御関連情報602Aは、制御情報603A及び説明情報EXを含む。
【0159】
次に、ステップS24において、生成部312は、制御情報603Aを、制御対象のロボットRBに送信する。
【0160】
次に、ステップS25において、更新部313は、ロボットRBの制御情報603Aを、説明情報EXとともに制御データベース601に格納することで、制御データベース601を更新する。つまり、制御データベース601は、制御情報603A及び説明情報EXを含む制御関連情報602Aを格納する。従って、実施形態2によれば、説明情報EXを学習データセットTDXに含めることができる。その結果、学習モデルTMが、出力(制御情報603A)と根拠(説明情報EX)との関係を自己評価又は自己検証するようになり、学習モデルTMにおいて、矛盾のある出力又は誤った出力を自律的に検出又は回避できる能力が強化される。
【0161】
すなわち、図8に戻って、学習用の制御関連情報602Tは説明情報EXを更に含むことができる。そして、学習部112は、生成AI装置200にアクセスして、未学習又は事前学習済みの学習モデルTMBに、説明情報EXを含む学習データセットTDXを学習させることで、学習モデルTMを構築する。なお、図3の学習用の制御関連情報602Tに、説明情報EXを更に含めてもよい。
【0162】
なお、学習装置100は、更新通知情報を受信すると、実施形態1と同様に、逐次再学習又はバッチ再学習を実行する。
【0163】
また、制御データベース601において、変更履歴情報604Tは、作業者によって操作される入力装置を介して制御情報603が作成された際の変更履歴情報を含む。従って、実施形態2によれば、作業者(例えば、熟練者)の経験及び知識に基づく変更履歴情報604Tを学習モデルTMBに学習させることができる。このように、作業者の経験及び知識が反映された高品質な変更履歴情報604Tを学習データセットTDに含めることで、得られる学習モデルTMの精度が更に向上し、更に信頼性の高い制御情報603の生成が可能となる。
【0164】
好ましくは、制御データベース601において、変更理由情報605Tは、作業者によって操作される入力装置を介して作成された変更理由情報を含む。従って、実施形態2によれば、作業者の経験及び知識に基づく的確な変更理由情報605Tを学習モデルTMBに学習させることができる。
【0165】
制御データベース装置600は、バージョン管理システムを有している。バージョン管理ステムによって、制御データベース601における変更履歴情報604及び変更理由情報605が管理される。
【0166】
ここで、図7及び図9に戻って、実施形態2の変形例を説明する。変形例では、ステップS21において、受付部311は、ドキュメントデータ502をドキュメントデータベース501から受け付けるとともに、修正対象(改善対象)の制御情報603を制御データベース601から受け付ける。そして、ステップS22において、生成部312は、ドキュメントデータ502及び制御情報603を学習モデルTMに入力し、学習モデルTMに制御情報603を修正(改善)させる。具体的には、生成部312は、プロンプトを学習モデルTMに入力し、学習モデルTMに制御情報603を修正(改善)させる。プロンプトは、例えば、「ドキュメントデータ502に基づいて作成された制御情報603を修正(改善)すること」を要求する内容を含む。
【0167】
この場合、生成部312は、学習モデルTMにプロンプトを入力することで、学習モデルTMに対して、制御情報603の修正(改善)に加えて、制御情報603の変更理由情報605を生成させることが好ましい。変更理由情報605は、制御情報603に対する修正(改善)の理由(制御情報603を変更した理由)に関する情報を含む。「修正(改善)の理由」は、「変更の理由」の一例である。プロンプトは、例えば、「ドキュメントデータ502に基づいて作成された制御情報603を修正(改善)するとともに、変更理由情報605を生成すること」を要求する内容を含む。
【0168】
そして、ステップS23において、生成部312は、修正後(改善後)の制御情報603A及び変更理由情報605を取得する。更に、ステップS24において、生成部312は制御情報603AをロボットRBに送信する。
【0169】
そして、ステップS25において、更新部313は、修正後(改善後)の制御情報603Aを、変更履歴情報604とともに制御データベース601に格納することで、制御データベース601を更新する。つまり、更新部313は、学習モデルTMによって生成された制御情報603Aを、変更履歴情報604とともに制御データベース装置600に格納することで、制御データベース装置600を更新する。従って、変形例によれば、変更履歴情報604を学習用の変更履歴情報604Tとして活用できる。好ましくは、更新部313は、制御情報603Aを、変更履歴情報604及び変更理由情報605とともに制御データベース601に格納することで、制御データベース601を更新する。この好ましい例によれば、変更履歴情報604及び変更理由情報605を学習用の変更履歴情報604T及び変更理由情報605として活用できる。
【0170】
なお、変形例のステップS21でドキュメントデータ502を取得せず、変形例のステップS22でドキュメントデータ502を学習モデルTMに入力しなくてもよい。この例も、変形例の一種である。
【0171】
なお、図6の実施形態1の変形例として、実施形態2の変形例と同様にして、生成部312は、学習モデルTMに制御情報603を修正(改善)させてもよい。この場合、ドキュメントデータ502を学習モデルTMに入力してもよいし、入力しなくてもよい。
【0172】
(実施形態3)
図10及び図11を参照して、本開示の実施形態3に係るロボットシステムSYSを説明する。実施形態3では、学習モデルTMが制御データベース601を参照して制御関連情報602を生成する点で、実施形態1、2と主に異なる。以下、実施形態3が実施形態1、2と異なる点を主に説明する。
【0173】
図10は、実施形態3に係る情報生成装置300の動作を説明するための図である。図10に示すように、情報生成装置300の処理部310は、受付部311と、検索部315と、生成部312と、更新部313とを含む。具体的には、処理部310のプロセッサが、記憶部350に記憶されたコンピュータプログラムを実行することで、受付部311、検索部315、生成部312、及び、更新部313として機能する。
【0174】
図11は、実施形態3に係る情報生成方法の一例を示すフローチャートである。ロボットRBは制御対象である。情報生成方法は情報生成装置300によって実行される。図11に示すように、情報生成方法は、ステップS31~ステップS37を含む。
【0175】
図10及び図11に示すように、まず、ステップS31において、受付部311は、制御対象のロボットRBに対するドキュメントデータ502を受け付ける。この点は、図7の実施形態1のステップS21と同様である。
【0176】
次に、ステップS32において、検索部315は、ドキュメントデータ502に基づいて生成された検索クエリに基づいて、ドキュメントデータ502の内容に関連する制御関連情報602を制御データベース装置600から検索する。制御データベース装置600は、複数の制御関連情報602を格納している。制御関連情報602は、ロボットRBの制御に関する情報であり、ロボットRBの制御情報603及び変更履歴情報604を含む。制御関連情報602は、変更理由情報605を更に含むことが好ましい。検索結果として出力される制御関連情報602は、後述するように、学習モデルTMによって参照される。このため、検索対象としての制御関連情報602は、本開示の「参照用制御関連情報」の一例に相当する。制御データベース装置600は、本開示の「データベース装置」の一例に相当する。
【0177】
検索クエリは、例えば、ドキュメントデータ502の全内容である。なお、検索クエリは、例えば、ドキュメントデータ502の一部の内容、特徴的内容、又は、要約であってもよい。
【0178】
次に、ステップS33において、生成部312は、ドキュメントデータ502及び検索部315による検索結果(制御関連情報602)を学習モデルTMに入力し、制御関連情報602A(具体的には、制御情報603A)を学習モデルTMに生成させる。学習モデルTMは、実施形態2に係る学習モデルTM(図9)である。
【0179】
次に、ステップS34において、生成部312は、学習モデルTMから制御関連情報602Aを取得する。制御関連情報602Aは制御情報603Aを含む。記憶部350は、制御関連情報602Aを記憶する。
【0180】
次に、ステップS35~ステップS37が実行される。ステップS35~ステップS37は、それぞれ、図7の実施形態1のステップS24~ステップS26と同様である。ただし、ステップS36では、更新部313は、制御データベース601に対応して、制御ベクトルデータベース601Vも更新する。つまり、制御ベクトルデータベース601Vに、制御関連情報602Aを示す制御関連ベクトル情報602Vを格納することで、制御ベクトルデータベース601Vを更新する。
【0181】
以上、図10及び図11を参照して説明したように、実施形態3によれば、学習モデルTMには、ドキュメントデータ502だけでなく、検索部315による検索結果としての制御関連情報602が入力される。従って、学習モデルTMは、制御データベース装置600に格納された制御関連情報602を参照して、ドキュメントデータ502に基づいて制御情報603Aを生成できる。従って、学習モデルTMは、直近の制御関連情報602(制御情報603、変更履歴情報604、及び、変更理由情報605)を取り込むことがきる。加えて、制御対象のロボットRBに対するドキュメントデータ502に基づく検索クエリによって検索が実行されるため、学習モデルTMは、ドキュメントデータ502によって示される要求仕様に類似又は関連した制御関連情報602を取り込むことができる。その結果、学習モデルTMは、更に信頼性の高い制御情報603Aを生成できる。
【0182】
引き続き図10を参照して詳細に説明する。制御データベース装置600は、制御ベクトルデータベース601Vを格納する。制御ベクトルデータベース601Vは、複数の制御関連情報602をそれぞれ示す複数の制御関連ベクトル情報602Vを格納している。制御関連ベクトル情報602Vは、制御データベース601に格納されている制御関連情報602の特徴を複数の数値ベクトルで表現した情報を示す。この場合、特徴は、例えば、制御関連情報602の意味的及び/又は構造的な特徴である。数値ベクトルは、例えば、多次元の実数値の配列によって示される。制御ベクトルデータベース601Vと制御データベース601とにおいて、制御関連ベクトル情報602Vと、対応する制御関連情報602とは、互いに関連付けられている。
【0183】
制御関連ベクトル情報602Vの各々は、制御ベクトル情報603V及び変更履歴ベクトル情報604Vを含む。制御関連ベクトル情報602Vの各々は、変更理由ベクトル情報605Vを更に含むことが好ましい。制御ベクトル情報603Vは、制御情報603の特徴を複数の数値ベクトルで表現した情報を示す。この場合、特徴は、例えば、制御情報603の意味的及び/又は構造的な特徴である。変更履歴ベクトル情報604Vは、変更履歴情報604の特徴を複数の数値ベクトルで表現した情報を示す。この場合、特徴は、例えば、変更履歴情報604の意味的及び/又は構造的な特徴である。変更理由ベクトル情報605Vは、変更理由情報605の特徴を複数の数値ベクトルで表現した情報を示す。この場合、特徴は、例えば、変更理由情報605の意味的及び/又は構造的な特徴である。
【0184】
また、情報生成装置300の処理部310は、前処理部314を更に含む。具体的には、処理部310のプロセッサが、記憶部350に記憶されたコンピュータプログラムを実行することで、受付部311、前処理部314、検索部315、生成部312、及び、更新部313として機能する。
【0185】
更に、ネットワークNW(図1)には、ベクトル生成装置800が接続されている。ベクトル生成装置800は、テキスト及び画像を数値ベクトルに変換する。ベクトル生成装置800は、例えば、マルチモーダル埋め込みモデルを含む。マルチモーダル埋め込みモデルとは、異なる種類のデータを共通に処理及び理解して、異なる種類のデータを数値ベクトルに変換するように設計された機械学習モデルのことである。例えば、マルチモーダル埋め込みモデルは、画像とテキストとを同一の埋め込み空間にマッピングして数値ベクトル化することにより、画像とテキストとの間の意味的な対応関係を推論できる特徴を有する。
【0186】
前処理部314は、ドキュメントデータ502をベクトル生成装置800に入力する。ベクトル生成装置800は、ドキュメントデータ502を数値ベクトル情報に変換する。数値ベクトル情報は、複数の数値ベクトルを含む。この場合、前処理部314は、ドキュメントデータ502のうちのテキストをセグメント化することが好ましい。セグメント化とは、テキストを意味的又は構造的な単位ごとに分割する処理のことである。セグメント化により、テキストが複数のセグメントに分割される。前処理部314は、複数のセグメントをベクトル生成装置800に入力する。ベクトル生成装置800は、複数のセグメントをそれぞれ示す複数の数値ベクトルを生成する。また、前処理部314は、ドキュメントデータ502に1以上の画像が含まれる場合は、画像をベクトル生成装置800に入力する。更に、前処理部314は、ドキュメントデータ502に1以上の線図が含まれる場合は、線図を画像に変換し、線図を示す画像をベクトル生成装置800に入力する。ベクトル生成装置800は、画像を示す数値ベクトルを生成する。
【0187】
セグメント化は、好ましくは、チャンク化である。チャンクとは、意味又は機能を有するテキストの塊のことである。例えば、前処理部314は、LLM又はVLMを使用して、ドキュメントデータ502のうちのテキストを複数のチャンクに分割する。そして、前処理部314は、各チャンクをベクトル生成装置800によって数値ベクトルに変換する。チャンク化においては、前処理部314は、学習モデルTMを使用してチャンク化を実行してもよいし、別のLLM又はVLMを使用してチャンク化を実行してもよい。
【0188】
検索部315は、ドキュメントデータ502を示す数値ベクトル情報と、制御ベクトルデータベース601Vの制御関連ベクトル情報602Vとの間で、各数値ベクトルの類似度を算出する。そして、検索部315は、算出された各類似度に基づいて、ドキュメントデータ502を示す数値ベクトル情報と制御関連ベクトル情報602Vとの間の類似度(以下、「総合類似度」)を算出する。検索部315は、ドキュメントデータ502を示す数値ベクトル情報を、各制御関連ベクトル情報602Vと比較することで、制御関連ベクトル情報602Vごとに、総合類似度を算出する。そして、検索部315は、複数の総合類似度のうち、類似度の高い上位N個の総合類似度を選択する。Nは1以上の整数を示す。検索部315は、上位N個の総合類似度を示すN個の制御関連ベクトル情報602Vに対応するN個の制御関連情報602を制御データベース601から取得する。検索部315は、N個の制御関連情報602を検索結果として生成部312に出力する。
【0189】
生成部312は、検索部315から検索結果として出力されたN個の制御関連情報602及びドキュメントデータ502を学習モデルTMに入力し、学習モデルTMに、ドキュメントデータ502の内容に応じた制御関連情報602A(具体的には、制御情報603A)を生成させる。例えば、生成部312は、プロンプトを作成し、プロンプトを学習モデルTMに入力する。プロンプトは、例えば、「N個の制御関連情報602を参照して、ドキュメントデータ502によって示される要求仕様を実現できる制御情報603Aを生成すること」を要求する内容を含む。その結果、学習モデルTMは、検索部315による検索結果として出力されたN個の制御情報603を参照してドキュメントデータ502に応じた制御情報603Aを生成する。
【0190】
なお、実施形態3において、学習モデルTMとして、図6の実施形態1(変形例を含む)の学習モデルTMを使用してもよい。また、実施形態3において図6の実施形態1(変形例を含む)の学習モデルTMを使用する場合、又は、実施形態3(変形例を含む)の学習モデルTMを使用する場合において、制御データベース601の制御関連情報602は、変更履歴情報604及び変更理由情報605を含まなくてもよい。この場合、制御ベクトルデータベース601Vの制御関連ベクトル情報602Vは、変更履歴ベクトル情報604V及び変更理由ベクトル情報605Vを含まなくてもよい。これらの例も、変形例の一種である。
【0191】
(実施形態4)
図1図12及び図13を参照して、本開示の実施形態4に係るロボットシステムSYSを説明する。実施形態4では、学習モデルTMが環境データベース装置700を参照して制御関連情報602を生成する点で、実施形態3と主に異なる。以下、実施形態4が実施形態3と異なる点を主に説明する。
【0192】
図1に示すように、環境データベース装置700は、少なくとも1つの環境データベース701を含む。環境データベース装置700は、複数の環境データベース701を格納していてもよい。環境データベース701は、1以上の環境情報702を格納している。この場合、例えば、環境情報702はテキスト形式で格納される。
【0193】
環境情報702は、例えば、ロボットRBの技術的環境又は法的環境に関する情報を含む。環境情報702は、例えば、国、地域、又は、事業会社において定められる。「法的」は、法的拘束力を有する場合に限られず、自主規制等の「準法的」を含む。
【0194】
技術的環境に関する環境情報702は、例えば、ロボットRBに関する業界標準を定める情報(以下、「業界標準情報」)である。業界標準情報は、例えば、ロボットRBに関する技術的な規格を定める情報である。業界標準情報は、例えば、通信規格情報、制御関連規格情報、ロボット性能規格情報、又は、インタフェース仕様情報である。通信規格情報は、例えば、EtherCAT、PROFINET、Modbus、又は、CANopenである。制御関連規格情報は、例えば、PLCopen、ROS、又は、OPC-UAである。ロボット性能規格情報は、例えば、ISO 9283(性能試験)、又は、ISO 10218(ロボット設計)である。インタフェース仕様情報は、例えば、USB規格である。
【0195】
法的環境に関する環境情報702は、例えば、ロボットRBに関する法的規制を定める情報(以下、「法的規制情報」)である。法的規制情報は、例えば、ロボットRBに関する法的な規格を定める情報である。法的規制情報は、例えば、安全規格情報、地域法規制情報、又は、化学物質規制情報である。安全規格情報は、例えば、機械指令(Machinery Directive)、RoHS、REACH、WEEE、又は、労働安全衛生法である。地域法規制情報は、例えば、日本の電気用品安全法(PSE)、米国のOSHA基準、又は、EUのCEマーキング要件である。化学物質規制情報は、例えば、GHS、TSCA(米国)、又は、PRTR(日本)である。
【0196】
図12は、実施形態4に係る情報生成装置300の動作を説明するための図である。図13は、実施形態4に係る情報生成方法の一例を示すフローチャートである。ロボットRBは制御対象である。情報生成方法は情報生成装置300によって実行される。図13に示すように、情報生成方法は、ステップS41~ステップS48を含む。
【0197】
図12及び図13に示すように、まず、ステップS41において、受付部311は、制御対象のロボットRBに対するドキュメントデータ502を受け付ける。この点は、図11のステップS31と同様である。
【0198】
次に、ステップS42において、検索部315は、ドキュメントデータ502に基づいて生成された検索クエリに基づいて、ドキュメントデータ502の内容に関連する制御関連情報602を制御データベース装置600から検索する(検索処理)。この点は、図11のステップS32と同様である。
【0199】
次に、ステップS43において、検索部315は、ドキュメントデータ502に基づいて生成された検索クエリに基づいて、ドキュメントデータ502の内容に関連する環境情報702を環境データベース装置700から検索する。環境データベース装置700は、複数の環境情報702を格納している。検索クエリは、例えば、ドキュメントデータ502の全内容である。
【0200】
次に、ステップS44において、生成部312は、ドキュメントデータ502及び検索部315による検索結果(制御関連情報602及び環境情報702)を学習モデルTMに入力し、制御関連情報602A(具体的には、制御情報603A)を学習モデルTMに生成させる。学習モデルTMは、実施形態2に係る学習モデルTM(図9)である。
【0201】
次に、ステップS45において、生成部312は、学習モデルTMから制御関連情報602Aを取得する。制御関連情報602Aは制御情報603Aを含む。記憶部350は、制御関連情報602Aを記憶する。
【0202】
次に、ステップS46~ステップS48が実行される。ステップS46~ステップS48は、それぞれ、図11のステップS35~ステップS37と同様である。
【0203】
以上、図12及び図13を参照して説明したように、実施形態4によれば、学習モデルTMには、ドキュメントデータ502だけでなく、検索部315による検索結果としての環境情報702が入力される。環境情報702は、例えば、業界標準情報又は法的規制情報である。従って、学習モデルTMは、制御対象のロボットRBが準拠すべき業界標準情報又は法的規制情報を反映した制御情報603Aを生成できる。なお、検索部315による検索結果としての制御関連情報602が学習モデルTMに入力される場合の効果は、実施形態3と同様である。
【0204】
引き続き図12を参照して詳細に説明する。環境データベース装置700は、環境ベクトルデータベース701Vを格納する。環境ベクトルデータベース701Vは、複数の環境情報702をそれぞれ示す複数の環境ベクトル情報702Vを格納している。環境ベクトル情報702Vは、環境データベース701に格納されている環境情報702の特徴を複数の数値ベクトルで表現した情報を示す。この場合、特徴は、例えば、環境情報702の意味的及び/又は構造的な特徴である。環境ベクトルデータベース701Vと環境データベース701とにおいて、環境ベクトル情報702Vと、対応する環境情報702とは、互いに関連付けられている。
【0205】
検索部315は、ドキュメントデータ502を示す数値ベクトル情報と、環境ベクトルデータベース701Vの環境ベクトル情報702Vとの間で、各数値ベクトルの類似度を算出する。そして、検索部315は、算出された各類似度に基づいて、ドキュメントデータ502を示す数値ベクトル情報と環境ベクトル情報702Vとの間の類似度(以下、「総合類似度」)を算出する。検索部315は、ドキュメントデータ502を示す数値ベクトル情報を、各環境ベクトル情報702Vと比較することで、環境ベクトル情報702Vごとに、総合類似度を算出する。そして、検索部315は、複数の総合類似度のうち、類似度の高い上位M個の総合類似度を選択する。Mは1以上の整数を示す。検索部315は、上位M個の総合類似度を示すM個の環境ベクトル情報702Vに対応するM個の環境情報702を環境データベース701から取得する。検索部315は、M個の環境情報702を検索結果として生成部312に出力する。
【0206】
生成部312は、検索部315から検索結果として出力されたN個の制御関連情報602、検索部315から検索結果として出力されたM個の環境情報702、及び、ドキュメントデータ502を学習モデルTMに入力し、学習モデルTMに、ドキュメントデータ502の内容に応じた制御関連情報602A(具体的には、制御情報603A)を生成させる。その結果、学習モデルTMは、検索部315による検索結果として出力されたN個の制御情報603及びM個の環境情報702を参照してドキュメントデータ502に応じた制御情報603Aを生成できる。
【0207】
なお、実施形態4において、生成部312は制御関連情報602を学習モデルTMに入力しなくてもよい。この場合は、生成部312は、検索部315から検索結果として出力されたM個の環境情報702、及び、ドキュメントデータ502を学習モデルTMに入力し、学習モデルTMに、ドキュメントデータ502の内容に応じた制御関連情報602A(具体的には、制御情報603A)を生成させる。この場合、制御データベース装置600は、制御ベクトルデータベース601Vを含まなくてもよい。これらの例も、変形例の一種である。
【0208】
また、検索部315は、異なる種類の複数の環境データベース701から、異なる種類の環境情報702を検索してもよい。この場合は、生成部312は、検索結果としての異なる種類の環境情報702を学習モデルTMに入力する。異なる種類の環境データベース701は、例えば、業界標準情報を示す環境情報702を格納している環境データベース701、及び、法的規制情報を示す環境情報702を格納している環境データベース701である。これらの例も、変形例の一種である。
【0209】
なお、実施形態4において、学習モデルTMとして、図6の実施形態1(変形例を含む)の学習モデルTMを使用してもよい。また、制御データベース601の制御関連情報602は、変更履歴情報604及び変更理由情報605を含まなくてもよい。この場合、制御ベクトルデータベース601Vの制御関連ベクトル情報602Vは、変更履歴ベクトル情報604V及び変更理由ベクトル情報605Vを含まなくてもよい。これらの例も、変形例の一種である。
【0210】
(実施形態5)
図14及び図15を参照して、本開示の実施形態5に係るロボットシステムSYSを説明する。実施形態5では、学習モデルTMが環境データベース装置700に格納された環境情報702を事前学習している点で、実施形態3及び実施形態4と主に異なる。以下、実施形態5が実施形態3及び実施形態4と異なる点を主に説明する。
【0211】
図14は、実施形態5に係る学習装置100の動作を説明するための図である。学習装置100にとって、ロボットRBは学習用のロボットRBである。図14に示すように、学習部112は、学習データセットTDX(ドキュメントデータ502T及び制御関連情報602T)を学習モデルTMBに学習させる前段階において、環境データベース701に格納された環境情報702を学習モデルTMBに学習させる。
【0212】
具体的には、取得部111は、環境データベース701から環境情報702を取得する。記憶部150(図2)は、環境情報702を記憶する。そして、学習部112は、生成AI装置200にアクセスして、学習モデルTMBに環境情報702を事前学習させる。環境情報702は、ロボットRBに関する業界標準情報又は法的規制情報である。
【0213】
環境情報702の事前学習の完了後に、学習部112は、環境情報702を事前学習した学習モデルTMBに、学習データセットTDX(ドキュメントデータ502T及び制御関連情報602T)を学習させる。その結果、学習データセットTDXだけでなく、環境情報702も学習した学習モデルTMが生成される。
【0214】
なお、取得部111は、異なる種類の複数の環境データベース701から、異なる種類の環境情報702を取得してもよい。この場合は、学習部112は、異なる種類の環境情報702を学習モデルTMに事前学習させる。異なる種類の環境データベース701は、例えば、業界標準情報を示す環境情報702を格納している環境データベース701、及び、法的規制情報を示す環境情報702を格納している環境データベース701である。
【0215】
図15を参照して、実施形態5に係る学習方法を説明する。一例として、学習部112は、事前学習済みのLLM又はVLMを段階的にファインチューニングすることで、学習モデルTMを生成する。
【0216】
図15は、実施形態5に係る学習方法の一例を示すフローチャートである。図15に示すように、学習方法は、ステップS51~ステップS60を含む。ステップS51~ステップS53がファインチューニングの第1段階であり、ステップS54~ステップS60がファインチューニングの第2段階である。
【0217】
まず、ステップS51において、取得部111は、環境データベース701から環境情報702を取得する。
【0218】
次に、ステップS52において、学習部112は、環境情報702を用いて、学習アルゴリズムによって、LLM又はVLMを学習させる。学習アルゴリズムは、例えば、自己教師あり学習である。
【0219】
次に、ステップS53において、学習部112は、全ての環境情報702に対して事前学習が完了したか否かを判定する。
ステップS53で否定判定された場合(NO)、処理はステップS51に進む。
一方、ステップS53で肯定判定された場合(YES)、処理はステップS54に進む。このようにして、環境情報702の事前学習が完了する。
【0220】
次に、ステップS54~ステップS60が実行される。ステップS54~ステップS60は、図4を参照して説明した実施形態2に係るステップS1~ステップS7と同様である。
【0221】
次に、図10及び図11を参照して、実施形態5に係る情報生成装置300の動作を説明する。図10及び図11に示すように、ステップS33では、生成部312は、ドキュメントデータ502及び検索部315による検索結果(制御関連情報602)を学習モデルTMに入力し、制御関連情報602A(具体的には、制御情報603A)を学習モデルTMに生成させる。この場合、学習モデルTMは、環境情報702を事前学習している。環境情報702は、例えば、ロボットRBに関する業界標準情報又は法的規制情報である。従って、実施形態5によれば、学習モデルTMは、制御対象のロボットRBが準拠すべき業界標準情報又は法的規制情報を反映した制御情報603Aを生成できる。
【0222】
なお、実施形態1(変形例を含む)、実施形態2(変形例を含む)、及び、実施形態4(変形例を含む)に係る情報生成装置300は、実施形態5に係る学習モデルTMを使用してもよい。これらの例も、変形例の一種である。
【0223】
(実施形態6)
図8図16及び図17を参照して、本開示の実施形態6に係るロボットシステムSYSを説明する。実施形態6では、学習モデルTMがドキュメントデータ502の不備の可能性を直接的又は間接的に示す情報を含む点で、実施形態1~実施形態5と主に異なる。以下、実施形態6が実施形態3と異なる点を主に説明する。
【0224】
図8に示すように、実施形態6に係る学習部112は、生成AI装置200にアクセスして、未学習又は事前学習済みの学習モデルTMBに学習データセットTDX(ドキュメントデータ502T及び制御関連情報602T)を学習させることで、学習モデルTMを構築する。つまり、学習部112は、学習データセットTDXに基づいて、ドキュメントデータ502を入力した場合に、制御関連情報602Bを生成する学習モデルTMを構築する。制御関連情報602Bは、制御対象のロボットRBの制御に関する情報である。制御関連情報602Bは、ドキュメントデータ502の不備の可能性を直接的又は間接的に示す情報(以下、「不備示唆情報603B」)を含む。
【0225】
図4及び図8を参照して、実施形態6の学習モデルTMの詳細を説明する。実施形態6が実施形態2と異なる点を主に説明する。まず、図4に示すように、ステップS1及びステップS2が実行され、取得部111は、ドキュメントデータ502T及び制御関連情報602T(制御情報603T、変更履歴情報604T、及び、変更理由情報605T)を取得する。なお、制御関連情報602Tは、変更理由情報605Tを含んでいなくてもよい。
【0226】
次にステップS3において、学習部112は、学習データセットTDX(ドキュメントデータ502T及び制御関連情報602T)を用いて、第1学習アルゴリズムによって、LLM又はVLMを学習させる(第1学習)。第1学習アルゴリズムは、例えば、自己学習である。自己学習では、変更履歴情報604T及び/又は変更理由情報605Tに基づいて、ドキュメントデータ502Tの不備(例えば、曖昧さ、矛盾、不足、又は、誤り)と、不備に対応する制御情報603Tの変更パターンとの関連性を学習させる。この場合、例えば、ドキュメントデータ502Tの各部分に対して自動的にラベルが付されて、学習が実行される。ラベルは、例えば、ドキュメントデータ502Tの各部分の信頼度を示す。例えば、変更履歴情報604T及び/又は変更理由情報605Tによって示される制御情報603Tの変更頻度の高い部分に対応するドキュメントデータ502Tの対応部分には、低い信頼度を示すラベルが付され、変更頻度の低い部分に対応するドキュメントデータ502Tの対応部分には、高い信頼度を示すラベルが付される。そして、自己学習では、ラベル付けされたドキュメントデータ502Tと制御情報603Tとを用いて、ドキュメントデータ502が入力された場合に不備示唆情報603Bを生成するように、LLM又はVLMを学習させる。この場合、ラベルによって示される信頼度が学習時の重み付けとして機能するため、LLM又はVLMは、ドキュメントデータ502Tの不備と、不備に対応する制御情報603Tの変更パターンとの関連性をより緻密に学習できる。
【0227】
次に、ステップS4及びステップS5が実行される。ステップS4及びステップS5は、それぞれ、実施形態1のステップS4及びステップS5と同様である。
【0228】
次に、ステップS6において、学習部112は、第2学習アルゴリズムによって、LLM又はVLMを学習させる(第2学習)。第2学習アルゴリズムは、強化学習である。この場合、例えば、学習部112は、第1学習完了後のLLM又はVLMが生成した不備示唆情報603Bの品質を数値評価し、数値評価の結果である評価値に基づいて報酬値を算出し、報酬値を用いて強化学習アルゴリズムによりLLM又はVLMの強化学習を実行する。不備示唆情報603Bの品質は、例えば、示唆の正確性、示唆の網羅性(潜在的不備を見逃さない程度)、及び、示唆の有用性のうちの少なくとも1つの指標に基づいて決定される。
【0229】
次に、ステップS7が実行される。ステップS7は、実施形態2のステップS7と同様である。ステップS1~ステップS7によって、LLM又はVLMをベースとして、ドキュメントデータ502の入力によって不備示唆情報603Bを生成する学習モデルTMが構築される。
【0230】
実施形態6によれば、制御情報603Tの変更履歴情報604Tを学習データセットTDXに含めることで、学習モデルTMBは、制御情報603Tの動的及び時系列的な変遷情報を学習できる。その結果、学習モデルTMBは、制御情報603Tの変更過程における判断基準及び改善の傾向を学習できる。よって、得られる学習モデルTMの精度が更に向上し、更に信頼性の高い不備示唆情報603Bを生成できる。
【0231】
更に、実施形態6では、制御関連情報602Tは、制御情報603T及び変更履歴情報604Tに加えて、変更理由情報605Tを含むことが好ましい。この好ましい例によれば、学習データセットTDXが、ドキュメントデータ502T、制御情報603T、変更履歴情報604T、及び、変更理由情報605Tを含む。このように、変更理由情報605Tを学習させることで、得られる学習モデルTMは、変更の背後にある意図及び判断基準を理解し、状況に応じたより適切かつ説明可能な不備示唆情報603Bを生成できる。
【0232】
例えば、変更理由情報605Tを学習して生成された学習モデルTMは、変更の意図を推測できる。従って、新たな状況に対しても柔軟な判断を行うことができ、新たな状況に対しても信頼性の高い不備示唆情報603Bを生成できる。
【0233】
例えば、変更理由情報605Tを学習することで、学習モデルTMは、不備示唆情報603Bを説明する説明情報(以下、「説明情報EY」)を生成できる。説明情報EYは、学習モデルTMが、不備示唆情報603Bを生成するに至った根拠を示す。説明情報EYは、例えば、テキスト形式で示される。例えば、説明情報EYは、不備示唆情報603Bを「なぜこのように生成したのか」を示す説明を含む。従って、不備示唆情報603Bの説明情報EYをユーザに提供できる。その結果、ユーザに対して、不備示唆情報603Bの信頼性が高いことを示すことができる。よって、ユーザは、不備示唆情報603Bを高い信頼をもって受け入れることができる。このように、説明可能なAI(XAI)である学習モデルTMを提供できる。
【0234】
図16は、実施形態6に係る情報生成装置300の動作を説明するための図である。図17は、実施形態6に係る情報生成方法の一例を示すフローチャートである。ロボットRBは制御対象である。情報生成方法は情報生成装置300によって実行される。図17に示すように、情報生成方法は、ステップS71~ステップS75を含む。
【0235】
図16及び図17に示すように、まず、ステップS71において、受付部311は、制御対象のロボットRBに対するドキュメントデータ502を受け付ける。この点は、図11のステップS31と同様である。
【0236】
次に、ステップS72において、検索部315は、ドキュメントデータ502に基づいて生成された検索クエリに基づいて、ドキュメントデータ502の内容に関連する制御関連情報602を制御データベース装置600から検索する。この点は、図11のステップS32と同様である。
【0237】
次に、ステップS73において、生成部312は、ドキュメントデータ502及び検索部315による検索結果(制御関連情報602)を学習モデルTMに入力し、制御関連情報602B(具体的には、不備示唆情報603B)を学習モデルTMに生成させる。
【0238】
次に、ステップS74において、生成部312は、学習モデルTMから制御関連情報602Bを取得する。制御関連情報602Bは不備示唆情報603Bを含む。記憶部350は、制御関連情報602Bを記憶する。
【0239】
次に、ステップS75において、更新部313は、不備示唆情報603Bを、ドキュメントデータ502に関連付けてドキュメントデータベース501に格納することで、ドキュメントデータベース501を更新する。そして、情報生成方法が終了する。
【0240】
以上、図16及び図17を参照して説明したように、実施形態6によれば、学習モデルTMは、不備示唆情報603Bを生成する。従って、ユーザは、不備示唆情報603Bによって、ドキュメントデータ502の不備の可能性を認識できる。その結果、ユーザは、不備示唆情報603Bに基づいて、ドキュメントデータ502を改善することができる。
【0241】
また、実施形態6では、制御関連情報602B(具体的には、不備示唆情報603B)は、ドキュメントデータ502に不備が存在する可能性を示す情報、及び、ドキュメントデータ502の内容の変更が発生する可能性を示す情報のうちの少なくとも1つの情報を含む。
【0242】
ユーザは、ドキュメントデータ502に不備が存在する可能性を示す情報に基づいて、ドキュメントデータ502の修正又は改善を実施できる。ドキュメントデータ502に不備が存在する可能性を示す情報は、例えば、ドキュメントデータ502における不備部分の箇所、不備部分の改善案、及び、不備部分の代替案のうちの1以上の情報を含んでいてもよい。
【0243】
また、ユーザは、ドキュメントデータ502の内容の変更が発生する可能性を示す情報に基づいて、ドキュメントデータ502の将来の修正又は改善を検討できる。ドキュメントデータ502の内容の変更が発生する可能性を示す情報は、例えば、ドキュメントデータ502において将来に変更が発生し得る部分の箇所、将来に変更が発生し得る部分の改善案、及び、将来に変更が発生し得る部分の代替案のうちの1以上の情報を含んでいてもよい。
【0244】
また、実施形態6では、学習モデルTMには、ドキュメントデータ502だけでなく、検索部315による検索結果としての制御関連情報602が入力される。従って、学習モデルTMは、制御データベース装置600に格納された制御関連情報602を参照して、ドキュメントデータ502に基づいて不備示唆情報603Bを生成できる。従って、学習モデルTMは、直近の制御関連情報602(制御情報603、変更履歴情報604、及び、変更理由情報605)を取り込むことがきる。加えて、制御対象のロボットRBに対するドキュメントデータ502に基づく検索クエリによって検索が実行されるため、学習モデルTMは、ドキュメントデータ502によって示される要求仕様に類似又は関連した制御関連情報602を取り込むことができる。その結果、学習モデルTMは、更に信頼性の高い不備示唆情報603Bを生成できる。
【0245】
なお、実施形態1(変形例を含む)、実施形態2(変形例を含む)、実施形態4(変形例を含む)、及び、実施形態5(変形例を含む)において、学習部112は、学習データセットTD又は学習データセットTDに基づいて、ドキュメントデータ502を入力した場合に、制御関連情報602(具体的には、不備示唆情報603B)を生成する学習モデルTMを構築してもよい。これらの例も、変形例の一種である。
【0246】
例えば、実施形態1では、学習部112は、学習データセットTD(制御情報603T及びドキュメントデータ502T)に基づいて、ドキュメントデータ502を入力した場合に、不備示唆情報603Bを生成する学習モデルTMを構築することができる。従って、この場合、人だけで不備示唆情報603Bを作成する場合と比較して、不備示唆情報603Bを容易に生成できる。その結果、例えば、ドキュメントデータ502をチェックする人の労力を軽減できる。また、例えば、不備示唆情報603Bをチェックする人の経験及び知識の多寡が不備示唆情報603Bの的確性に影響を及ぼすことを抑制できる。
【0247】
また、例えば、実施形態1において、学習部112は、学習データセットTDX(ドキュメントデータ502T及び制御情報603T)を用いた自己教師あり学習により、学習モデルTMBに、ドキュメントデータ502Tと制御情報603Tとの対応関係(例えば、構造的及び/又は意味的対応関係)を学習させることで、ドキュメントデータ502Tの不備を検出する能力及び不備示唆情報603Bを生成する能力を有する学習モデルTMBを生成してもよい。
【0248】
また、例えば、実施形態5では、学習部112は、環境情報702を事前学習した学習モデルTMBに、学習データセットTDX又は学習データセットTDを学習させることで、ドキュメントデータ502を入力した場合に、不備示唆情報603Bを生成する学習モデルTMを構築することができる。従って、この場合、学習モデルTMは、制御対象のロボットRBが準拠すべき業界標準情報又は法的規制情報を反映した不備示唆情報603Bを生成できる。この点は、実施形態4において学習モデルTMに不備示唆情報603Bを生成させる場合も同様である。
【0249】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0250】
本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置(例えばクラウドサーバ)等により実現されてもよい。
【0251】
本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る処理部110、310の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【0252】
図4図7図11図13図15、及び、図17おいては、処理部110又は310は、記憶部150又は350に記憶されたコンピュータプログラムを実行することで、学習方法又は情報生成方法に含まれる各ステップを実行する。換言すれば、コンピュータプログラムは、処理部110又は310に、学習方法又は情報生成方法に含まれる各ステップを実行させる。処理部110又は310は、本開示の「コンピュータ」の一例に相当する。更に換言すれば、コンピュータプログラム製品は、処理部110又は310によってコンピュータプログラムが実行された際に、学習方法又は情報生成方法に含まれる各ステップを実現する。また、学習モデルTMは、学習データセットTD又はTDXを学習することで構築され、制御対象のロボットRBの制御に関する情報を示す制御関連情報602A又は602Bを生成するように、コンピュータを機能させる。具体的には、学習モデルTMは、制御対象のロボットRBに実行させる動作内容を示すドキュメントデータ502を入力して、制御関連情報602A又は602Bを生成するように、コンピュータを機能させる。
【0253】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0254】
なお、以下のような構成も本開示の技術的範囲に属する。
【0255】
(項目1)
制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、前記制御対象ロボットの制御に関する情報を示す制御関連情報を前記学習モデルに生成させる生成部と、
前記制御関連情報を記憶する記憶部と、を備え、
前記学習モデルは、学習データセットを学習することで構築されており、
前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、
前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報を含む、情報生成装置。
【0256】
(項目2)
前記学習用制御関連情報は、前記学習用ロボットの前記制御情報の変更履歴を示す情報を含む、項目1に記載の情報生成装置。
【0257】
(項目3)
前記学習用制御関連情報は、前記変更履歴によって示される変更の理由に関する情報を含む、項目2に記載の情報生成装置。
【0258】
(項目4)
前記学習用ロボットの前記制御情報は、作業者によって操作される入力装置を介して作成される制御情報を含む、項目1から項目3のいずれかに記載の情報生成装置。
【0259】
(項目5)
前記制御関連情報は、前記制御対象ロボットの制御情報を含む、項目1から項目4のいずれかに記載の情報生成装置。
【0260】
(項目6)
前記制御関連情報は、前記ドキュメントデータの不備の可能性を直接的又は間接的に示す情報を含む、項目1から項目4のいずれかに記載の情報生成装置。
【0261】
(項目7)
前記制御関連情報は、前記ドキュメントデータに不備が存在する可能性を示す情報、及び、前記ドキュメントデータの内容の変更が発生する可能性を示す情報のうちの少なくとも1つの情報を含む、項目1から項目4のいずれかに記載の情報生成装置。
【0262】
(項目8)
前記ドキュメントデータの内容に関連する参照用制御関連情報をデータベース装置から検索する検索部を更に備え、
前記参照用制御関連情報は、ロボットの制御に関する情報であり、
前記生成部は、前記ドキュメントデータ及び前記検索部による検索結果を前記学習モデルに入力し、前記制御関連情報を前記学習モデルに生成させる、項目1から項目7のいずれかに記載の情報生成装置。
【0263】
(項目9)
前記データベース装置は、前記ロボットの制御情報の変更履歴を示す情報を格納している、項目8に記載の情報生成装置。
【0264】
(項目10)
前記制御関連情報は、前記制御対象ロボットの制御情報を含み、
前記学習モデルによって生成された前記制御対象ロボットの前記制御情報を、変更履歴を示す情報とともに前記データベース装置に格納することで、前記データベース装置を更新する更新部を更に備える、項目9に記載の情報生成装置。
【0265】
(項目11)
前記学習モデルは、ロボットに関する業界標準情報又は法的規制情報を事前に学習している、項目1から項目10のいずれかに記載の情報生成装置。
【0266】
(項目12)
前記ドキュメントデータの内容に関連する業界標準情報又は法的規制情報をデータベース装置から検索する検索部を更に備え、
前記生成部は、前記ドキュメントデータ及び前記検索部による検索結果を前記学習モデルに入力し、前記制御関連情報を前記学習モデルに生成させる、項目1から項目11のいずれかに記載の情報生成装置。
【0267】
(項目13)
前記学習用ロボットは、無人搬送ロボットであり、
前記制御対象ロボットは、無人搬送ロボットである、項目1から項目12のいずれかに記載の情報生成装置。
【0268】
(項目14)
前記無人搬送ロボットは、前記無人搬送ロボットに配置された状態で駆動する作業ロボットを搬送する、項目13に記載の情報生成装置。
【0269】
(項目15)
制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、前記制御対象ロボットの制御に関する情報を示す制御関連情報を前記学習モデルに生成させるステップと、
前記制御関連情報を取得するステップと、を含み、
前記学習モデルは、学習データセットを学習することで構築されており、
前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、
前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報を含む、情報生成方法。
【0270】
(項目16)
コンピュータに、
制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、前記制御対象ロボットの制御に関する情報を示す制御関連情報を前記学習モデルに生成させるステップと、
前記制御関連情報を取得するステップと、を実行させ、
前記学習モデルは、学習データセットを学習することで構築されており、
前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、
前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報を含む、コンピュータプログラム。
【0271】
(項目17)
学習データセットを学習することで構築され、制御対象ロボットの制御に関する情報を示す制御関連情報を生成するように、コンピュータを機能させる学習モデルであって、
前記制御対象ロボットに実行させる動作内容を示すドキュメントデータを入力して、前記制御関連情報を生成するように、前記コンピュータを機能させ、
前記学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、前記学習用ロボットの制御に関する情報である学習用制御関連情報を含み、
前記学習用制御関連情報は、前記学習用ドキュメントデータに基づいて作成された前記学習用ロボットの制御情報を含む、学習モデル。
【産業上の利用可能性】
【0272】
本開示は、情報生成装置、情報生成方法、コンピュータプログラム、及び、学習モデルを提供するものであり、産業上の利用可能性を有する。
【符号の説明】
【0273】
100 学習装置、111 取得部、112 学習部、200 生成AI装置、300 情報生成装置、311 受付部、312 生成部、313 更新部、314 前処理部、315 検索部、400 ロボット管理装置、500 ドキュメントデータベース装置、600 制御データベース装置(データベース装置)、700 環境データベース装置(データベース装置)、TM 学習モデル、RB ロボット、EQ 産業用機器、MG 管理システム、NW ネットワーク
【要約】
本開示の情報生成装置は、制御対象ロボットに実行させる動作内容を示すドキュメントデータを学習モデルに入力し、制御対象ロボットの制御に関する情報を示す制御関連情報を学習モデルに生成させる生成部と、制御関連情報を記憶する記憶部と、を備え、学習モデルは、学習データセットを学習することで構築されており、学習データセットは、学習用ロボットに実行させる動作内容を示す学習用ドキュメントデータ、及び、学習用ロボットの制御に関する情報である学習用制御関連情報を含み、学習用制御関連情報は、学習用ドキュメントデータに基づいて作成された学習用ロボットの制御情報を含む。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17