特許 7595817 制御システム、制御方法、および制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-28

(45)【発行日】2024-12-06

(54)【発明の名称】制御システム、制御方法、および制御プログラム

(51)【国際特許分類】

   G06N 3/0475 20230101AFI20241129BHJP

【ＦＩ】

G06N3/0475

【請求項の数】 23

(21)【出願番号】P 2024544530

(86)(22)【出願日】2023-11-30

(86)【国際出願番号】 JP2023042874

【審査請求日】2024-07-25

(31)【優先権主張番号】P 2023191481

(32)【優先日】2023-11-09

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110002491

【氏名又は名称】弁理士法人クロスボーダー特許事務所

(72)【発明者】

【氏名】三輪 祥太郎

(72)【発明者】

【氏名】乙村 浩太郎

(72)【発明者】

【氏名】洲鎌 康

(72)【発明者】

【氏名】前川 清石

(72)【発明者】

【氏名】南本 高志

【審査官】児玉 崇晶

(56)【参考文献】

【文献】特開２０２１－１７９６５５（ＪＰ，Ａ）

【文献】特開平６－２６６４０３（ＪＰ，Ａ）

【文献】特開２０２１－７４５２８（ＪＰ，Ａ）

【文献】国際公開第２０２２／２６９８６９（ＷＯ，Ａ１）

【文献】特開２００７－２７６０５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０４７５

(57)【特許請求の範囲】

【請求項1】

ユーザによる対象機器に対する命令であって前記対象機器に対する複数の操作から構成される命令を示す第１の情報の入力を受け付ける入力インタフェースと、
前記第１の情報を学習モデルに入力し、前記複数の操作を実現するための前記対象機器における一連の制御である順次制御を示す第２の情報を出力する学習モデル部と、
前記対象機器に対する命令と前記対象機器の制御コードとを対応付けた命令ルールを用いて、前記第１の情報により示される命令が前記命令ルールに含まれる命令に合致するか否かを判定する入力判断部とを備え、
前記入力判断部は、
前記第１の情報により示される命令が前記命令ルールに含まれる命令に合致しなければ、前記第１の情報を前記学習モデル部に出力する制御システム。

【請求項2】

前記入力判断部は、
前記第１の情報により示される命令が前記命令ルールに含まれる命令に合致すれば、前記第１の情報により示される命令に対応する制御コードを前記対象機器に出力する請求項１に記載の制御システム。

【請求項3】

ユーザによる対象機器に対する命令であって前記対象機器に対する複数の操作から構成される命令を示す第１の情報の入力を受け付ける入力インタフェースと、
前記第１の情報を学習モデルに入力し、前記複数の操作を実現するための前記対象機器における一連の制御である順次制御を示す第２の情報を出力する学習モデル部と、
前記対象機器に対する命令が前記対象機器の制御コードに対応するか否かを機械学習により判定する入力判断部とを備え、
前記入力判断部は、
前記第１の情報により示される命令が前記対象機器の制御コードに対応しないと判定されると、前記第１の情報を前記学習モデル部に出力する制御システム。

【請求項4】

前記入力判断部は、
前記第１の情報により示される命令が前記対象機器の制御コードに対応すると判定されると、前記第１の情報により示される命令に対応する前記対象機器の制御コードを前記対象機器に出力する請求項３に記載の制御システム。

【請求項5】

前記学習モデル部は、
前記第２の情報として、前記順次制御が前記対象機器の制御コードによって示されている情報を前記対象機器に出力する請求項１から請求項４のいずれか１項に記載の制御システム。

【請求項6】

前記入力インタフェースは、互いに異なるユーザからの複数の命令を複数の第１の情報として受け付け、
前記学習モデル部は、
前記複数の第１の情報により示される前記複数の命令を調停し、前記複数の命令を実現する一つの順次制御を示す情報を、前記第２の情報として出力する請求項１から請求項４のいずれか１項に記載の制御システム。

【請求項7】

前記制御システムは、
前記対象機器を操作する操作画面ユーザインタフェースである機器操作装置を備え、
前記学習モデル部は、
前記順次制御を示す操作画面を前記第２の情報として生成し、前記機器操作装置に前記操作画面を表示し、前記操作画面を介して前記ユーザに前記順次制御を承認するか否かを選択させ、
前記機器操作装置は、
前記ユーザにより前記順次制御が承認されると、前記ユーザにより承認された順次制御を示す前記対象機器の制御コードを前記対象機器に送信する請求項１から請求項４のいずれか１項に記載の制御システム。

【請求項8】

前記学習モデル部は、
前記順次制御の候補一覧を示す前記操作画面を前記第２の情報として生成し、前記機器操作装置に前記操作画面を表示し、前記操作画面を介して前記ユーザに前記候補一覧から順次制御を選択させ、
前記機器操作装置は、
前記ユーザにより選択された順次制御を前記ユーザにより承認された順次制御として、前記対象機器の制御コードを前記対象機器に送信する請求項７に記載の制御システム。

【請求項9】

前記機器操作装置は、
前記対象機器と前記対象機器とは異なる他の機器とを操作可能な汎用操作装置であり、
前記学習モデル部は、
前記機器操作装置に表示する表示形式が格納された表示形式情報を用いて、前記順次制御を示す表示を前記第２の情報として前記機器操作装置の表示画面に表示する請求項７に記載の制御システム。

【請求項10】

前記機器操作装置は、
前記ユーザが利用する種類の異なる複数の機器を操作可能である請求項９に記載の制御システム。

【請求項11】

前記機器操作装置は、
前記入力インタフェースを備え、前記ユーザにより承認された順次制御を表示画面に表示することにより、前記ユーザによる前記対象機器に対する命令の入力を支援する請求項７に記載の制御システム。

【請求項12】

前記学習モデル部は、
前記対象機器の環境を表す環境情報に基づいて、特定の環境に対応する前記第２の情報を出力する請求項１から請求項４のいずれか１項に記載の制御システム。

【請求項13】

前記環境情報は、前記対象機器の状態、前記対象機器の周囲の状態、および前記ユーザのバイタルデータを含む前記ユーザの状態の少なくともいずれかを前記環境として含む請求項１２に記載の制御システム。

【請求項14】

前記学習モデル部は、
前記ユーザにおける前記対象機器に対する命令の履歴を含むユーザ履歴情報に基づいて、前記ユーザに応じた前記第２の情報を出力する請求項１２に記載の制御システム。

【請求項15】

前記ユーザ履歴情報は、前記ユーザが入力した命令、前記ユーザおよび前記対象機器の状態、出力された前記対象機器の制御コード、および前記環境の変化を含み、
前記学習モデル部は、
前記ユーザ履歴情報に基づいて、前記ユーザおよび前記対象機器の状態に応じた前記第２の情報を出力する請求項１４に記載の制御システム。

【請求項16】

前記学習モデル部は、
前記第１の情報を第１の学習モデルに入力し、前記環境情報に基づいて特定の環境に応じた前記順次制御を示す操作情報を出力する第１の学習モデル部と、
前記操作情報を第２の学習モデルに入力し、前記操作情報を実現するための前記対象機器の制御コードを前記第２の情報として前記対象機器に出力する第２の学習モデル部と
を備える請求項１４に記載の制御システム。

【請求項17】

前記第１の学習モデル部は、
前記第１の情報を第１の学習モデルに入力し、前記環境情報と前記ユーザ履歴情報とに基づいて前記ユーザおよび前記対象機器の状態に応じた前記順次制御を示す前記操作情報を出力する請求項１６に記載の制御システム。

【請求項18】

前記学習モデルは、ＬＬＭ（Ｌａｒｇｅ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）またはＶＬＭ（Ｖｉｓｉｏｎ－Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）である請求項１から請求項４のいずれか１項に記載の制御システム。

【請求項19】

前記入力インタフェースは、
前記第１の情報として、信号コード、自然言語、および画像の少なくともいずれかまたは組み合わせの入力を受け付ける請求項１から請求項４のいずれか１項に記載の制御システム。

【請求項20】

コンピュータが、ユーザによる対象機器に対する命令であって前記対象機器に対する複数の操作から構成される命令を示す第１の情報の入力を受け付け、
コンピュータが、前記第１の情報を学習モデルに入力し、前記複数の操作を実現するための前記対象機器における一連の制御である順次制御を示す第２の情報を出力する学習モデル処理を実行し、
コンピュータが、前記対象機器に対する命令と前記対象機器の制御コードとを対応付けた命令ルールを用いて、前記第１の情報により示される命令が前記命令ルールに含まれる命令に合致するか否かを判定し、
コンピュータが、前記第１の情報により示される命令が前記命令ルールに含まれる命令に合致しなければ、前記第１の情報を前記学習モデル処理に出力する制御方法。

【請求項21】

ユーザによる対象機器に対する命令であって前記対象機器に対する複数の操作から構成される命令を示す第１の情報の入力を受け付ける入力インタフェース処理と、
前記第１の情報を学習モデルに入力し、前記複数の操作を実現するための前記対象機器における一連の制御である順次制御を示す第２の情報を出力する学習モデル処理と、
前記対象機器に対する命令と前記対象機器の制御コードとを対応付けた命令ルールを用いて、前記第１の情報により示される命令が前記命令ルールに含まれる命令に合致するか否かを判定する入力判断処理と
をコンピュータに実行させる制御プログラムであって、
前記入力判断処理は、
前記第１の情報により示される命令が前記命令ルールに含まれる命令に合致しなければ、前記第１の情報を前記学習モデル処理に出力する制御プログラム。

【請求項22】

コンピュータが、ユーザによる対象機器に対する命令であって前記対象機器に対する複数の操作から構成される命令を示す第１の情報の入力を受け付け、
コンピュータが、前記第１の情報を学習モデルに入力し、前記複数の操作を実現するための前記対象機器における一連の制御である順次制御を示す第２の情報を出力する学習モデル処理を実行し、
コンピュータが、前記対象機器に対する命令が前記対象機器の制御コードに対応するか否かを機械学習により判定し、
コンピュータが、前記第１の情報により示される命令が前記対象機器の制御コードに対応しないと判定されると、前記第１の情報を前記学習モデル処理に出力する制御方法。

【請求項23】

ユーザによる対象機器に対する命令であって前記対象機器に対する複数の操作から構成される命令を示す第１の情報の入力を受け付ける入力インタフェース処理と、
前記第１の情報を学習モデルに入力し、前記複数の操作を実現するための前記対象機器における一連の制御である順次制御を示す第２の情報を出力する学習モデル処理と、
前記対象機器に対する命令が前記対象機器の制御コードに対応するか否かを機械学習により判定する入力判断処理と
をコンピュータに実行させる制御プログラムであって、
前記入力判断処理は、
前記第１の情報により示される命令が前記対象機器の制御コードに対応しないと判定されると、前記第１の情報を前記学習モデル処理に出力する制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、制御システム、制御方法、および制御プログラムに関するものである。

【背景技術】

【0002】

近年、ＡＩ（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）の活用が進んでいる。特に、生成ＡＩ（ｇｅｎｅｒａｔｉｖｅ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）と呼ばれる、多様なコンテンツを生成できるＡＩも普及しはじめており、ＡＩの活用先が広がることが予想される。ＡＩの活用先は、家庭内における作業に留まらず、ビル、工場、駅、学校、病院または商業施設などの各種施設内、および道路、野外施設、上空または海上などの屋外など種々な場所・場面における作業が考えられている。

【0003】

例えば、特許文献１には、大規模言語モデルを利用して機械を制御するプログラムを生成する加工プログラム生成装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２１－０６０８０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

人または物による作業を支援するために、機器の制御プログラムの生成に限らず、該作業に含まれるタスクの一部またはすべてを学習モデルが担うことを考える。なお、「人または物による作業」には、人または機械によって行われる実空間上の作業だけでなく、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）などのプロセッサが行う情報処理のようなデータ空間上の作業を含む。

【0006】

物による作業の例としては、例えば、以下が挙げられる。
・ロボット、機械、装置、センサなどの各種機器による作業
・車、電車、バス、飛行体、船などの各種モビリティによる作業
当該作業には、例えば、制御、処理、加工、指示、計算、入力、出力、表示、通信、試験、製造、変換、生成、計測、照射、放出、吸入、放熱、加熱、冷却、記録、読出、成形、駆動、移動、運搬、飛行、調査、監視、計測、抽出などと呼ばれる作業が含まれうる。

【0007】

また、人による作業の例としては、例えば、以下が挙げられる。
・人が人または他の生き物を相手に行う作業
・人が各種機器に対して行う作業
当該作業には、例えば、会話、視聴、確認、操作、監視、指示、調停、解釈などと呼ばれる作業が含まれうる。

【0008】

なお、上述した例は一例であり、本開示の支援対象とされる作業は、これらに限定されない。

【0009】

何らかの学習モデルを利用して、人または物による作業に含まれるタスクの一部またはすべてを情報処理装置に実行させる場合、モデルの出力の妥当性が問題となる場合がある。また、モデルの出力に影響を与えるモデルの入力の妥当性が問題となる場合がある。

【0010】

また、対象の機器によっては、現在の状況を把握した上でないと適切な制御ができない場合がある。そのような場合には、状況認識をいかに行うかが問題となりうる。このとき、現在の状況だけでなく過去の状況を含めた連続性をもった状況の認識が必要となる場合も考えられる。例えば、過去に行った制御の内容を元に次の制御を決定する場合などにおいて、制御の連続性を担保するために、状況認識の精度が問題となる場合がある。

【0011】

また、機器の制御に即時性が求められる場合などには、学習モデルに指示を与えてから結果を得るまでの応答時間が問題となる場合がある。

【0012】

また、機器の変更または追加の度にモデルを学習しなおす必要があるなど、モデルの保守性が問題となる場合がある。

【0013】

このように、学習モデルの利用には依然、種々の問題が散在している。問題の大小によっては、せっかく学習モデルを利用して作業の効率化または高性能化を図ろうとしても、逆に作業の効率または性能を落とすことになりかねない。

【0014】

学習モデルを利用した際のこれらの問題は、特に、支援対象とする作業が複雑であればあるほど、また支援対象とする作業が高度であればあるほど顕著になるであろう。

【0015】

そこで、本開示は、学習モデルを利用して、人または物による作業の効率化もしくは高性能化をより図ることを目的とする。

【課題を解決するための手段】

【0016】

本開示にかかる制御システムは、
ユーザによる対象機器に対する命令であって前記対象機器に対する複数の操作から構成される命令を示す第１の情報の入力を受け付ける入力インタフェースと、
前記第１の情報を学習モデルに入力し、前記複数の操作を実現するための前記対象機器における一連の制御である順次制御を示す第２の情報を出力する学習モデル部と
を備える。

【発明の効果】

【0017】

本開示では、学習モデルを利用して、複数の操作を要する複雑な命令に対して、対象機器における順次制御を示す情報を出力することができる。よって、本開示によれば、ユーザによる作業の効率化もしくは高性能化をより図ることができる。

【図面の簡単な説明】

【0018】

【図1】実施の形態１にかかる制御システムの例を示す構成図である。

【図2】学習モデル部の構成例を示す説明図である。

【図3】学習モデル部の他の構成例を示す説明図である。

【図4】学習モデル部の他の構成例を示す説明図である。

【図5】学習モデル部を含む制御部の動作環境である情報処理装置の例を示す構成図である。

【図6】モデル生成部におけるモデル学習の例を示す説明図である。

【図7】実施の形態１にかかる制御システムの動作例を示すフローチャートである。

【図8】実施の形態１にかかる制御システムの他の例を示す構成図である。

【図9】実施の形態１にかかる制御システムの他の例を示す構成図である。

【図10】実施の形態１にかかる制御システムの他の例を示す構成図である。

【図11】実施の形態２にかかる制御システムの例を示す構成図である。

【図12】実施の形態２にかかる制御システムの他の例を示す構成図である。

【図13】実施の形態２にかかる制御システムの動作例を示すフローチャートである。

【図14】実施の形態３にかかる制御システムの例を示す構成図である。

【図15】実施の形態３にかかる制御システムの動作例を示すフローチャートである。

【図16】実施の形態３にかかる制御システムの他の例を示す構成図である。

【図17】実施の形態３にかかる変形例の動作例を示すフローチャートである。

【図18】実施の形態３にかかる制御システムの他の例を示す構成図である。

【図19】実施の形態３にかかる制御システムの他の例を示す構成図である。

【図20】実施の形態３にかかる制御システムの他の例を示す構成図である。

【図21】実施の形態３にかかる制御システムの他の例を示す構成図である。

【図22】実施の形態３にかかる変形例の動作例を示すフローチャートである。

【図23】実施の形態４にかかる制御システムの例を示す構成図である。

【図24】実施の形態４にかかる制御システムの動作例を示すフローチャートである。

【図25】実施の形態４にかかる制御システムの他の例を示す構成図である。

【図26】実施の形態４にかかる変形例の動作例を示すフローチャートである。

【図27】実施の形態５にかかる制御システムの例を示す構成図である。

【図28】実施の形態５にかかる制御システムの動作例を示すフローチャートである。

【図29】実施の形態５にかかる制御システムの他の例を示す構成図である。

【図30】実施の形態５にかかる制御システムの他の例を示す構成図である。

【図31】実施の形態５にかかる制御システムの他の例を示す構成図である。

【図32】実施の形態５にかかる制御システムの他の例を示す構成図である。

【図33】実施の形態３にかかる変形例の動作例を示すフローチャートである。

【図34】実施の形態３にかかる変形例の動作例を示すフローチャートである。

【図35】実施の形態３にかかる変形例の動作の別例を示すフローチャートである。

【図36】実施の形態３にかかる制御システムの他の例を示す構成図である。

【図37】実施の形態３にかかる制御システムの他の例を示す構成図である。

【図38】実施の形態３にかかる変形例の動作例を示すフローチャートである。

【図39】実施の形態３にかかる制御システムの他の例を示す構成図である。

【図40】実施の形態３にかかる変形例の動作例を示すフローチャートである。

【発明を実施するための形態】

【0019】

以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面を参照して説明する。以下では、同一の要素については同じ符号を付し、説明を省略する。

【0020】

実施の形態１．
本実施の形態では、学習モデルを利用して、対象機器のコード生成にかかる作業を支援する例について説明する。

【0021】

図１は、実施の形態１にかかる制御システム１０００の例を示す構成図である。図１に示す制御システム１０００は、学習モデルを利用して機器を制御するための制御システムであって、学習モデル部１００と、機器情報記憶部１１０（図中では機器情報ＤＢと記す）と、実行コード生成部１２０とを備える。

【0022】

なお、図１には、ユーザ１および対象機器２が示されているが、これらを含めて制御システム１０００としてもよい。その場合において、「ユーザ１」を「ユーザ端末１」と読み替えてもよい。この点について、他の実施の形態においても同様である。

【0023】

学習モデル部１００は、入力情報Ｄ１１が入力されると、制御記述Ｄ１２を出力する。学習モデル部１００は、入力情報Ｄ１１が入力されると、後述するモデル情報Ｄ１０２に基づいて、制御記述Ｄ１２を出力する。

【0024】

本実施の形態において、学習モデル部１００は、入力情報Ｄ１１が入力されると、入力情報Ｄ１１に対応する制御記述Ｄ１２を出力するように構成されたモデルおよびその動作環境である。また、学習モデル部１００は、入力情報Ｄ１１が入力されると、入力情報Ｄ１１、機器情報Ｄ１３および／または学習モデル部１００において他に参照可能な情報（後述のモデル参照情報Ｄ１０４等）に基づいて、制御記述Ｄ１２を生成して出力するように構成されたモデルおよびその動作環境であってもよい。

【0025】

本実施の形態において、入力情報Ｄ１１は、対象機器２に対して要求される制御内容を示す情報を含む。入力情報Ｄ１１は、例えば、対象機器２に対する制御内容を示すテキスト、画像、音声またはそれらの組み合わせ等であってもよい。入力情報Ｄ１１は、例えば、対象機器２に対する複数の制御内容を示すテキスト、画像、音声またはそれらの組み合わせ等であってもよい。また、入力情報Ｄ１１は、時間的に連続して行われる制御の内容を示す情報を含んでいてもよく、その場合、上述したような制御内容を示すテキスト、画像、音声またはそれらの組み合わせ等を含む所定のデータ構造の時系列データであってもよい。制御内容の示し方は、学習モデル部１００が用いるモデルの入力形式に合致していることを前提とするが、学習モデル部１００の前段にエラー処理、補正処理または変換処理が含まれる場合等はこの限りではない。

【0026】

入力情報Ｄ１１における制御内容の示し方の例示としては、対象機器２に対して行う制御を特定した上で、その制御を行うためのパラメータの値や、制御後の状態を指定する方法が挙げられる。その場合、入力情報Ｄ１１は、例えば、制御を特定する情報と、その制御を行うためのパラメータの値または制御後の状態を示す情報とを含んでもよい。制御を行うためのパラメータの値には、例えば、制御の種別（ＯＮ／ＯＦＦなど）、向き、量、時間に関する値が含まれうる。制御内容の例としては、ＰＬＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｃｏｎｔｒｏｌｌｅｒ）に対して「機能ＸをＯＮにする」、ロボットアームに対して「先端をＡ地点に移動する」、空気調和器に対して「設定温度を１度下げる」などが挙げられる。また、入力情報Ｄ１１における制御内容の示し方の例示として、関数などの仕様を説明したドキュメント文字列（ｄｏｃｓｔｒｉｎｇ）、仕様書、または他機種等の他の機器に適用されている仕様書、設計書、操作命令、制御コード、ソースコード等の各種の情報を用いる方法が挙げられる。

【0027】

なお、入力情報Ｄ１１における制御内容の示し方として、上述したような明示的に示す方法だけなく、例えば、ある操作によって実施される制御がある場合にその操作内容を示すことで、対応する制御内容を示す方法も挙げられる。また、例えば、特定の制御に紐づくユーザ１の言動、対象機器２の動作結果または他の機種等への同様の制御指令等をもって暗黙的に示す方法も挙げられる。換言すると、入力情報Ｄ１１には、対象機器２に対する制御内容を直接示す情報だけでなく、その制御内容に対応する操作内容またはユーザ１の言動や対象機器２の画像等を用いて間接的に示す情報も含まれうる。一例として、空気調和器の温度制御に関する制御内容を示すものとして、ユーザ１の「暑い」といった言葉や、汗を拭く、袖をまくる、手で仰ぐといったユーザ１の暑がる素振りを用いることができる。この場合、入力情報Ｄ１１として、ユーザ１の発言を示すテキスト、音声または画像等の情報や、ユーザ１の素振りを示す画像（動画）等の情報を用いることができる。他の例として、ロボット機器のアーム制御に関する制御内容を示すものとして、ロボット機器の制御後の姿勢や、所定の部位の移動先地点を指定する情報や、人または他の物（当該ロボットの疑似的な動きをするシミュレータ。画面上の物も含む）によるロボット動作の模倣動作またはロボットに対する指示動作（指さし等のジェスチャによる動作指示）を示す情報を用いることができる。

【0028】

ここで、入力情報Ｄ１１の形式は特に限定されない。例えば、該情報は、テキスト、画像、音声、所定の設計言語で記述されたデータ、制御記述（ソースコードおよび所定のプログラミングプラットフォーム言語で記述された情報を含む）、その他のプラットフォーム言語で記述された情報、制御指令（制御命令、制御信号、制御コードおよびコントローラコマンドを含む）または実行コードであってもよい。なお、これらの情報は適宜組み合わせられる。なお、本開示において、特に区別なく「テキスト」といった場合には、自然言語をテキストで表現したもの以外に、人が判別できないような所定の設計言語で記述されたデータ、制御記述（ソースコードおよび所定のプログラミングプラットフォーム言語で記述された情報を含む）、その他のプラットフォーム言語で記述された情報、制御指令（制御命令、制御信号、制御コードおよびコントローラコマンドを含む）および実行コード等の機械が判別するデータをテキストで表現したものが含まれうる。

【0029】

制御記述Ｄ１２は、後段の実行コード生成部１２０が判別可能な所定の形式で記述された制御に関する情報を含む。制御記述Ｄ１２は、例えば、所定のプログラミング言語で記述されたソースコードである。また、制御記述Ｄ１２は、例えば、所定のプログラミングプラットフォームが扱う形式（プラットフォーム言語）で記述されたコマンド群であってもよい。ここで、所定のプログラミングプラットフォームには、ノーコードプログラミングプラットフォームおよびローコードプログラミングプラットフォームが含まれうる。

【0030】

機器情報記憶部１１０は、対象機器２に関する情報である機器情報Ｄ１３を記憶する。機器情報Ｄ１３には、例えば、対象機器２の機能、性能、構造、寸法、動作および／または制御方法を示す情報が含まれうる。また、機器情報Ｄ１３には、例えば、対象機器２の制御に用いられるプログラムに関する情報が含まれていてもよい。機器情報Ｄ１３は、例えば、対象機器２のマニュアルまたは取扱い説明書をデータ化したものであってもよい。ここでのデータ化はテキスト化、画像データ化、読み上げ音声によるデータ化、それらの組み合わせも含まれる。機器情報Ｄ１３は、例えば、学習モデル部１００が制御記述Ｄ１２を出力する際の追加情報として用いられる。

【0031】

また、機器情報Ｄ１３には、対象機器２の状態を示す情報が含まれていてもよい。対象機器２の状態を示す情報には、対象機器２の現在の状態だけでなく、過去の状態を示す情報も含まれうる。例えば、機器情報Ｄ１３は、対象機器２の状態を示す所定のデータ構造の時系列データを含んでいてもよい。対象機器２の状態を示す情報は、例えば、対象機器２から出力される情報であってもよいし、ユーザ１または他の機器が入力した情報であってもよい。対象機器２の状態を示す情報には、対象機器２から出力される各種の情報（例えば、エラー情報、ログ情報、通知情報など）が含まれうる。以下、本実施の形態において、特に対象機器２の状態を示す情報を、状態情報Ｄ１５という場合がある。

【0032】

実行コード生成部１２０は、制御記述Ｄ１２が入力されると、制御記述Ｄ１２に基づいて、対象機器２が実行可能なコードである実行コードＤ１４を生成して出力する。実行コードＤ１４は、例えば、機械語で記述されたコード群であってもよい。実行コードＤ１４は、例えば、対象機器２が実際に制御する際に用いられる情報を含む。実行コードＤ１４は、例えば、対象機器２が判別可能な形式で記述された制御に関する情報であればよい。実行コード生成部１２０は、例えば、制御記述Ｄ１２を実行コードＤ１４に変換するコンパイラであってもよい。

【0033】

実行コード生成部１２０から出力された実行コードＤ１４は、対象機器２に入力される。これにより、対象機器２が、実行コード生成部１２０から出力された実行コードＤ１４に従って動作する。対象機器２への実行コードＤ１４の入力は、実行コード生成部１２０から直接入力されてもよいし、通信ネットワークや他の機器（サーバ、各種の変換装置等）や人の手を介してなど間接的に入力されてもよい。

【0034】

対象機器２は、特に限定されない。なお、対象機器２は、実行コードＤ１４を受け取って実際に実行可能な機器であることを前提としているが、対象機器２との間に、書込装置などの対象機器２に実行コードを読み込ませるインタフェースを含む場合は、この限りではない。

【0035】

対象機器２は、例えば、ＰＬＣ、加工機、ロボット、レーダー、センサ、カメラ、プロジェクタ、通信機器である。また、対象機器２は、例えば、空気調和機、冷蔵庫、テレビ、照明、洗濯機であってもよい。また、対象機器２は、例えば、エレベータ、モビリティ、搬送装置、その他の機械、またはそのような機械を制御する制御装置であってもよい。また、対象機器２は、発電・変電・蓄電プラント、水処理プラントなどにおいて稼働する機器、その他の機器を制御する制御装置であってもよい。また、学習モデル部１００が実行コードＤ１４を生成してもよい。例えば、制御記述Ｄ１２がインタプリタ言語であって対象機器２が制御記述Ｄ１２を受け取ってそのまま実行可能な機器である場合、制御記述Ｄ１２は実行コードＤ１４と見なすことができる。この場合、実行コード生成部１２０は省略することができる。なお、制御記述Ｄ１２は、コンパイルまたは最適化処理により、対象機器２の処理により適した実行コードＤ１４に変換されてもよい。

【0036】

図２は、学習モデル部１００の構成例を示す説明図である。図２に示すように、学習モデル部１００は、情報処理装置１０上で動作するモデル制御部１０１と、モデル情報Ｄ１０２を記憶するモデル情報記憶部１１（図中では、モデル情報ＤＢと記す）とを備えていてもよい。ここで、モデル情報記憶部１１は、ネットワークを介して接続される複数のデータベースにより構成されていてもよい。

【0037】

モデル情報Ｄ１０２は、モデルの情報を含む。モデル情報Ｄ１０２は、モデルの情報として、例えば、モデル入力データＤ１０１とモデル出力データＤ１０３との間の相関関係を示す情報を含んでいてもよい。また、モデル情報Ｄ１０２は、モデルの情報として、例えば、モデル出力データＤ１０３の候補を示す情報を含んでいてもよい。また、モデル情報Ｄ１０２は、モデルの情報として、さらにモデル出力データＤ１０３の候補を示す情報と、それら候補同士の関係を示す情報とを含んでいてもよい。また、モデル情報Ｄ１０２は、例えば、制約条件、重みづけ変数および評価関数など、学習モデルの挙動を規定する情報であるモデルパラメータを含んでいてもよい。

【0038】

モデルは、例えば、教師あり学習、強化学習または教師なし学習によって機械学習されたモデルであってもよい。該モデルは、例えば、深層学習、遺伝的プログラム、機能論理プログラムその他の公知のアルゴリズム・方法に従って学習を実行して得られたモデルであってもよい。また、モデルは、例えば、ＮＮ（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデル、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデル、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）、拡散モデル（Ｄｉｆｆｕｓｉｏｎ ｍｏｄｅｌ）、Ｔｒａｎｓｆｏｒｍｅｒモデル、ＬＬＭ（Ｌａｒｇｅ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）、ＶＬＭ（Ｖｉｓｕａｌ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）、ＧＰＴ（Ｇｅｎｅｒａｔｉｖｅ Ｐｒｅ－ｔｒａｉｎｅｄ Ｔｒａｎｓｆｏｒｍｅｒ）、ＣＬＩＰ（Ｃｏｎｔｒａｓｔｉｖｅ Ｌａｎｇｕａｇｅ Ｉｍａｇｅ Ｐｒｅ－ｔｒａｉｎｉｎｇ）と呼ばれるモデルであってもよい。また、モデルは、予め決められたテーブルを参照したり、予め決められた条件に基づいて判定を行ったりすることにより出力結果を得るルールベースで記述されるモデルであってもよい。なお、上述したモデルは排他的な物ではなく、例えば、ＬＬＭ、ＶＬＭ、ＢＥＲＴ、ＧＰＴは、Ｔｒａｎｓｆｏｒｍｅｒモデルに含まれる。また、例えば、Ｔｒａｎｓｆｏｒｍｅｒモデルは、ＮＮモデルに含まれる。また、学習アルゴリズムおよびモデルは複数の種類を組み合わせたものであってもよい。モデルには、複数の異なる種類のデータを組み合わせて学習したマルチモーダルモデルと呼ばれるものも含まれる。

【0039】

モデル制御部１０１は、モデル入力データＤ１０１を受け付けると、モデル入力データＤ１０１およびモデル情報Ｄ１０２に基づいて、モデル入力データＤ１０１に対応するモデル出力データＤ１０３を出力する。モデル制御部１０１は、モデル入力データＤ１０１を受け付けると、例えば、モデル情報Ｄ１０２で示されるモデルを用いて、モデル入力データＤ１０１に対応するモデル出力データＤ１０３を出力する。

【0040】

モデル制御部１０１は、例えば、情報処理装置１０が備えるプログラムに従って動作するＣＰＵなどによって実現される。以下では、学習モデル部１００を人工知能部と呼ぶ場合がある。ここで、人工知能部は、推論、判断などの知的な機能を備えたＡＩおよびその動作環境をいう。したがって、モデル制御部１０１は、推論、判断などの知的な機能を備えたＡＩおよびその動作環境を含んでいてもよい。モデル制御部１０１は、例えば、上述したような学習モデルを備えたＡＩおよびその動作環境であってもよい。モデル制御部１０１は、情報処理装置１０が備える制御部１０４の一要素（モジュール）であってもよい。

【0041】

また、学習モデル部１００は、図３に示すように、さらにモデル参照情報Ｄ１０４を記憶する参照情報記憶部１２（図中では、参照情報ＤＢ１２と記す）を備えていてもよい。ここで、参照情報記憶部１２は、ネットワークを介して接続される複数のデータベースにより構成されていてもよい。後述するその他の記憶部（例えば、機器情報記憶部等）についても同様である。

【0042】

モデル参照情報Ｄ１０４は、モデル制御部１０１がモデル出力データを出力するために参照する情報である。モデル参照情報Ｄ１０４には、過去に入力されたモデル入力データの履歴および／または過去に出力したモデル出力データの履歴が含まれうる。また、モデル参照情報Ｄ１０４には、過去の入力に含まれる特徴量と、その入力に対して行った出力に含まれる特徴量とを対応づけた情報が含まれうる。また、モデル参照情報Ｄ１０４には、過去の入力に対して出力した結果に対する評価の情報が含まれうる。

【0043】

また、モデル参照情報Ｄ１０４は、モデル入力データＤ１０１に含まれる表現または概念に関連する情報を含んでいてもよい。モデル参照情報Ｄ１０４は、例えば、モデル入力データＤ１０１に含まれうる特定の表現または概念と、その表現または概念に関連する他の表現または概念とを対応づけた情報を含んでいてもよい。ここで、ある表現または概念に関連する他の表現または概念には、ある表現または概念をより具体化した表現または概念や、ある表現または概念に基づいて想起される他の表現または概念が含まれる。モデル参照情報Ｄ１０４は、例えば、モデル入力データＤ１０１に含まれうる特定の表現または概念と、その表現または概念に関連する表現または概念とを対応づけた情報を含んでいてもよい。一例として、モデル参照情報Ｄ１０４は、例えば、モデル入力データＤ１０１に含まれうる特定の表現または概念と、その表現または概念に関連する情報とを対応づけた情報を含んでいてもよい。モデル参照情報Ｄ１０４は、例えば、モデル入力データＤ１０１に含まれうる表現または概念から抽出される探索用のキーと値とを対応づけた情報を含んでいてもよい。モデル参照情報Ｄ１０４は、いわゆるグラウンディングのための情報を含んでいてもよい。また、モデル参照情報Ｄ１０４は、実世界のエンティティとその間の関係を記述した、いわゆる知識グラフを含んでいてもよい。知識グラフでは、さまざまな情報を体系的に連結してグラフ構造で表現される。

【0044】

また、モデル参照情報Ｄ１０４は、いわゆるアテンションのための情報を含んでいてもよい。例えば、モデル参照情報Ｄ１０４は、モデル入力データＤ１０１に含まれうる表現または概念と、他の表現または概念との相関関係を示す情報を含んでいてもよい。また、モデル参照情報Ｄ１０４は、モデル入力データＤ１０１に含まれうる表現または概念と紐づけられたモデル出力データＤ１０３に含まれうる表現または概念から抽出されるキー情報を特徴量とする特徴量マップを含んでいてもよい。また、モデル参照情報Ｄ１０４は、モデル入力データＤ１０１に含まれうる表現または概念から抽出されるクエリとそのクエリに対応する探索用のキー情報とを対応づけた情報を含んでいてもよい。

【0045】

図３に示す例では、モデル制御部１０１は、モデル入力データＤ１０１を受け付けると、モデル入力データＤ１０１、モデル情報Ｄ１０２およびモデル参照情報Ｄ１０４に基づいて、モデル出力データＤ１０３を出力する。

【0046】

なお、学習モデル部１００は、参照情報記憶部１２に代えて、モデル参照情報Ｄ１０４を検索する検索エンジンもしくは該検索エンジンとのインタフェースを含むこともできる。そのような場合において、該検索エンジンの検索範囲は、外部のネットワークでもよいし、特定のネットワークでもよい。ここで、外部のネットワークまたは特定のネットワークの１つとして、本開示の制御システムが備えるデータベース（例えば、機器情報ＤＢなど）を用いることができる。

【0047】

「学習モデル」といった場合、入力された情報に対して、学習された情報に基づいて何らかの出力を行うコンピュータアルゴリズムもしくは学習された情報そのものを指す場合がある。しかし、動作環境下で「学習モデル」といった場合には、そのようなコンピュータアルゴリズムを動作させる実際のプログラムおよびその動作環境を指す場合が多い。本開示では、後者を採用し、単なるアルゴリズムまたは学習された情報群を示すものと区別するために、モデル情報Ｄ１０２に記憶された情報等に基づき、実際に動作するモデルを「学習モデル」と呼ぶ。本開示にかかる制御システムでは、そのような学習モデルに相当するものとして、学習モデル部（特にモデル制御部１０１）を備えている。したがって、以下、制御システムの説明において「学習モデル」といった場合には、学習モデル部またはそのうちの特にモデル制御部１０１を指すものとする。

【0048】

図４は、学習モデル部１００の他の構成例を示す説明図である。図４に示すように、学習モデル部１００は、入力部１０２と、出力部１０３と、制御部１０４とを備えていてもよい。

【0049】

入力部１０２は、モデル入力データＤ１０１を受け付ける。入力部１０２は、ユーザ１等によって入力されたモデル入力データＤ１０１を受け付けてもよい。入力部１０２は、時系列データを構成するモデル入力データＤ１０１を受け付けてもよい。このとき、入力部１０２は、時系列データを構成するモデル入力データＤ１０１を逐次受け付けてもよいし、ある程度バッファリングされたモデル入力データＤ１０１を受け付けてもよい。また、入力部１０２は、複数の入力元から入力されたモデル入力データＤ１０１を受け付けてよい。その際、入力部１０２は、入力元の情報（例えば、ユーザ識別子、ユーザの属性情報等）が付されたモデル入力データＤ１０１を受け付けてもよいし、入力部１０２が入力元を判別してモデル入力データＤ１０１に入力元の情報を付した上で受け付けてもよいし、特に何もせず受け付けてもよい。入力部１０２は、例えば、情報処理装置１０が備える各種の入力装置（例えば、ポインティングデバイス、キーボード、音声入力装置、画像入力装置、データ読取装置、各種通信インタフェースに対応したデータ入力装置等）により実現される。なお、入力部１０２は、情報処理装置１０の外部機器によって実現されてもよい。その場合、情報処理装置１０は、当該入力部１０２とのインタフェースを含んでいればよい。

【0050】

出力部１０３は、制御部１０４で生成された対象物を出力する。ここで、対象物には、モデル出力データＤ１０３または該モデル出力データＤ１０３から生成されるデータが含まれる。また、出力部１０３は、制御部１０４で生成された対象物に複数の出力先への情報が含まれている場合、複数の出力先に対象物を出力してもよい。その際、出力部１０３は、複数の出力先に同じデータを出力してもよいし、出力先ごとに異なるデータを出力してもよい。出力部１０３は、例えば、情報処理装置１０が備える各種の出力装置（例えば、表示装置、音声出力装置、画像出力装置、データ書込装置、各種の通信インタフェースに対応したデータ出力装置等）により実現される。なお、出力部１０３は、情報処理装置１０の外部機器によって実現されてもよい。その場合、情報処理装置１０は、当該出力部１０３とのインタフェースを含んでいればよい。

【0051】

制御部１０４は、情報処理装置１０上で動作し、上述のモデル制御部１０１に加えて、前処理部１０５と、後処理部１０６とを含む。

【0052】

前処理部１０５は、制御部１０４で生成される対象物の精度を上げるための処理を行う。前処理部１０５は、例えば、モデル入力データＤ１０１に対し、要素の追加、変更または削除、もしくはデータの変換（加工を含む）を行ってもよい。

【0053】

前処理部１０５は、例えば、入力部１０２がモデル入力データＤ１０１を受け付けると、モデル入力データＤ１０１に対し、要素の変更（追加および削除を含む）もしくはデータの変換（加工を含む）を行ってもよい。要素の変更もしくはデータの変換（加工を含む）には、データ形式の変更だけでなく、データが表す表現または概念の変更も含まれる。後段のモデル制御部１０１には、モデル入力データＤ１０１として、前処理部１０５による変更後のデータが入力される。前処理部１０５が行う処理は、いわゆるモデル制御部１０１へのプロンプト整形を含む。

【0054】

前処理部１０５は、例えば、モデル入力データＤ１０１を所定の単位データに分解する処理を行ってもよい。また、前処理部１０５は、例えば、複数のモデル入力データＤ１０１を統合する処理を行ってもよい。さらに、前処理部１０５は、モデル入力データＤ１０１を所定の単位データに分解したうえで要素の変更もしくはデータの変換をしてもよいし、複数のモデル入力データＤ１０１を統合したうえで、要素の変更もしくはデータの変換をしてもよい。

【0055】

後処理部１０６は、例えば、制御部１０４（特にモデル制御部１０１）で生成された対象物に問題があった場合に、対象物を修正する。後処理部１０６は、例えば、上述した知識グラフを用いて、対象物に問題があるか否かを判断してもよい。例えば、知識グラフによって示される関係と、モデル入力データに含まれる表現または概念とモデル出力データに含まれる表現または概念との関係、および／またはモデル出力データに含まれる表現または概念同士の関係との間の類似性を比較して、知識グラフによって示される関係から所定の距離以上離れている場合に、対象物に問題があると判断してもよい。

【0056】

なお、上述した構成要素のうちモデル制御部１０１以外の構成要素は必須ではなく、適宜実装の有無を選択できる。

【0057】

また、モデル情報Ｄ１０２および学習モデルが用いるその他の情報は、予め用意されたものであってもよいし、必要に応じて、通信ネットワークを介して取得されるものであってもよい。

【0058】

図５は、学習モデル部１００を含む制御部１０４等の動作環境としての情報処理装置１０の他の例を示す構成図である。図５に示す情報処理装置１０は、学習モデル部１００（特にモデル制御部１０１）と、入力処理部２０１と、出力確認部２０２と、修正確認部２０３とを含む制御部１０４ａを備えていてもよい。

【0059】

入力処理部２０１は、ユーザ１などの入力元１ａから入力情報Ｄ１１を受け付ける。また、入力処理部２０１は、学習モデル部１００に、受け付けた入力情報Ｄ１１をモデル入力データＤ１０１として出力する。

【0060】

その際、入力処理部２０１は、例えば、入力情報Ｄ１１に対して、要素の変更もしくはデータの変換をしたものを、モデル入力データＤ１０１として出力してもよい。入力処理部２０１は、例えば、入力情報Ｄ１１からノイズを除去してもよい。また、入力処理部２０１は、例えば、入力情報Ｄ１１に定性的な情報が含まれている場合に、該情報を定量的な情報に変換してもよい。また、入力処理部２０１は、例えば、入力情報Ｄ１１に定量的な情報が含まれている場合に、該量を入力情報Ｄ１１の要求の対象とされる機器やその動作環境に応じて補正してもよい。また、入力処理部２０１は、例えば、いわゆるグラウンディング処理、すなわち入力情報Ｄ１１で示される表現または概念を、より具体化した表現または概念に変更してもよい。

【0061】

また、入力処理部２０１は、入力情報Ｄ１１に不明確または不確定な情報が含まれている場合に、入力元に問合せを返してもよい。入力処理部２０１は、問合せとして、例えば、入力内容を確認するメッセージ、入力情報Ｄ１１の修正案を提案するメッセージ、状態もしくは表現の異なる入力情報Ｄ１１の再入力などを依頼するメッセージを出力してもよい。また、入力情報Ｄ１１の修正案は、後述する修正確認部２０３によって生成されたものであってもよい。以下では、入出力後の学習モデルの入出力データに対して内容の修正、追加、取消を示す情報を、補足情報Ｄ１８と呼ぶ場合がある。修正案は補足情報Ｄ１８の一例である。

【0062】

出力確認部２０２は、学習モデル部１００から出力されるモデル出力データＤ１０３に基づいて、対象機器２の制御および状態を模擬したシミュレーションを実施する。出力確認部２０２は、モデル出力データＤ１０３を、対象機器２の制御および状態を模擬することができる所定のシミュレータ（不図示）に合致する制御情報に変換した上で、シミュレーションを実施してもよい。出力確認部２０２がシミュレータの機能を有していてもよい。出力確認部２０２は、シミュレーションを実施する際、モデル出力データＤ１０３の出力先２ａから取得される情報を利用してもよい。ここで、出力先２ａには、モデル出力データＤ１０３から生成される情報の出力先が含まれる。出力先２ａから取得される情報には、例えば、後述する状態情報Ｄ１５および／またはフィードバック情報Ｄ１６が含まれていてもよい。

【0063】

出力確認部２０２は、例えば、対象機器２の状態、対象機器２を含むシステムの状態、および／または対象機器２が有するワークの状態を確認してもよい。また、出力確認部２０２は、動作確認をする前に、モデル出力データＤ１０３またはそれをもとに生成される情報に対して、人が理解できる中間生成物を生成して、表示してもよい。中間生成物の例としては、制御プログラムに対してソースコードや、対象機器２への操作指令に対して対象機器２のコントローラの操作画像が挙げられる。また、出力確認部２０２は、シミュレーションの結果を、学習モデルの信頼性指標とともに表示してもよい。

【0064】

以下は、学習モデルの信頼性指標の例である。例えば、事前学習時等に、学習モデルへの入力があるごとにその結果を人が評価した結果を蓄積し、入力と評価結果を学習した評価ネットワークを備え、学習モデル使用時に、学習モデルの入力を上述した評価ネットワークにも入力して、その出力結果を信頼性指標としてもよい。

【0065】

また、例えば、事前学習時等に、学習モデルの出力をクラスタリングする学習器を備え、学習モデル使用時に、学習モデルの出力を上述した学習器にも入力して、そのクラスタリングの結果を信頼性指標としてもよい。

【0066】

また、例えば、事前学習時等に、学習モデルへの入力があるごとにその結果を人が評価した結果を蓄積し、評価結果が高い入力の特徴量を学習した評価ネットワークを備え、学習モデル使用時に、学習モデルの入力を上述した評価ネットワークにも入力して、その出力結果である特徴量と学習結果の特徴量との類似度を信頼性指標としてもよい。

【0067】

また、例えば、事前学習時等に、学習モデルへの入力があるごとにその結果を人が評価した結果を蓄積し、評価結果が高い学習モデルの入力をクラスタリングする学習器を備え、学習モデル使用時に、学習モデルの入力を上述した学習器にも入力して、そのクラスタリングの結果を信頼性指標としてもよい。

【0068】

修正確認部２０３は、出力確認部２０２によって実施されたシミュレーションの結果を用いて、モデル出力データＤ１０３および／またはモデル入力データＤ１０１の正当性を判断する。修正確認部２０３は、例えば、シミュレーション結果で示される対象機器２の状態と、入力情報Ｄ１１、モデル出力データＤ１０３および／またはモデル入力データＤ１０１により特定される対象機器２の状態とを比較して、正しい制御が行われているかどうかを判断することにより、モデル出力データＤ１０３および／またはモデル入力データＤ１０１の正当性を判断してもよい。修正確認部２０３は、シミュレーション結果で示される対象機器２の状態と、モデル出力データＤ１０３および／またはモデル入力データＤ１０１により特定される対象機器２の状態とが一致した場合に、正しい制御が行われていると判断してもよい。ここで比較する対象機器２の状態は１つに限られない。

【0069】

また、修正確認部２０３は、例えば、シミュレーション結果で示される対象機器２の状態または制御の軌跡が、入力情報Ｄ１１で示される制御と一致しているかどうか、または予め禁止されている内容を含んでいないかどうか等を確認することにより、モデル出力データＤ１０３および／またはモデル入力データＤ１０１の正当性を判断してもよい。

【0070】

また、修正確認部２０３は、シミュレーション結果を、入力情報Ｄ１１の入力元１ａに提示して、所望の制御が行われているかどうかを回答してもらうことにより、モデル出力データＤ１０３および／またはモデル入力データＤ１０１の正当性を判断してもよい。

【0071】

修正確認部２０３は、モデル出力データＤ１０３および／またはモデル入力データＤ１０１が正しくないと判断した場合、モデル入力データＤ１０１を修正してもよい。また、修正確認部２０３は、モデル入力データＤ１０１の修正に代えて、入力情報Ｄ１１に対する補足情報Ｄ１８を生成し、入力元１ａに出力してもよい。

【0072】

制御システム１０００は、例えば、学習モデル部１００の動作環境として、図１～図５のいずれかに示す構成を備えていてもよい。学習モデル部１００と同様、その場合においても、当該構成の一部またはすべては、制御システム１０００の内部構成であってもよいし、外部構成であってもよい。

【0073】

なお、上述した学習モデル部１００およびその周辺の構成はあくまで例示であって、すべての構成要素が必須の構成ではなく、所望の機能に応じて適宜実装の有無を選択すればよい。

【0074】

図６は、モデル学習の例を示す説明図である。図６に示すように、モデル情報Ｄ１０２は、例えば、モデル生成部１０７が、モデル学習データＤ１０５を用いて機械学習することによって生成されたものであってもよい。

【0075】

モデル生成部１０７は、所定のアルゴリズムに従い、入力されたモデル学習データＤ１０５に基づいて、モデル情報Ｄ１０２を生成もしくは更新する処理部である。モデル生成部１０７は、例えば、情報処理装置２０が備えるプログラムに従って動作するＣＰＵなどによって実現される。ここで、モデル生成部１０７が従うアルゴリズムは、学習モデルに対応する機械学習のアルゴリズム、例えば教師あり学習、強化学習または教師なし学習であってもよいし、深層学習、遺伝的プログラム、機能論理プログラムその他の公知のアルゴリズムであってもよい。

【0076】

また、モデル生成部１０７は、入力されたモデル学習データＤ１０５に対して、さらにモデル参照情報Ｄ１０４に基づいてモデル情報Ｄ１０２を生成もしくは更新してもよい。また、モデル生成部１０７は、入力されたモデル学習データＤ１０５に対して、さらにモデル制御部１０１からのモデル出力データＤ１０３に基づいてモデル情報Ｄ１０２を生成、更新してもよい。

【0077】

モデル学習データＤ１０５は、特に限定されない。モデル学習データＤ１０５は、例えば、学習アルゴリズムとして教師あり学習を用いる場合には、入力されうるモデル入力データＤ１０１の候補と、それに対応するモデル出力データＤ１０３の候補とを含んでいてもよい。また、モデル学習データＤ１０５には、実際に入力されたモデル入力データＤ１０１および／または実際に出力されたモデル出力データＤ１０３が含まれていてもよい。実際のモデル入力データＤ１０１および／またはモデル出力データＤ１０３を適宜用いることにより、フィードバック制御を行うことができる。また、モデル学習データＤ１０５には、学習モデルが実際に動作するシステムが備える機器もしくは処理部より取得される情報が含まれていてもよい。

【0078】

モデル生成部１０７によって生成もしくは更新されたモデル情報Ｄ１０２は、モデル情報記憶部１１に記憶されることにより、モデル制御部１０１に提供される。または、モデル生成部１０７は、モデル情報Ｄ１０２を直接モデル制御部１０１に出力することも可能である。

【0079】

モデル生成部１０７は、例えば、事前学習により、モデル制御部１０１がモデル情報Ｄ１０２を使用する前に、入力されたモデル学習データＤ１０５を用いてモデル情報Ｄ１０２を生成し、モデル情報記憶部１１に記憶してもよい。

【0080】

モデル生成部１０７によるモデル情報Ｄ１０２の更新は、いわゆるＦｉｎｅＴｕｎｅと呼ばれる処理であってもよい。

【0081】

なお、モデル生成部１０７は、制御システム１０００に含まれていてもよいし、制御システム１０００とは別のシステムに含まれていてもよい。

【0082】

また、図１では、学習モデル部１００と、機器情報記憶部１１０および機器情報Ｄ１３とを分けて示しているが、機器情報記憶部１１０および機器情報Ｄ１３は学習モデル部１００の一部であってもよい。すなわち、学習モデル部１００が機器情報記憶部１１０および機器情報Ｄ１３を含んでいてもよい。例えば、学習モデル部１００が、後述する参照情報記憶部１２の１つとして機器情報記憶部１１０を備えていてもよい。また、学習モデル部１００が用いるモデルを学習するモデル学習フェーズにおいて機器情報Ｄ１３を用いることで、該モデルに機器情報Ｄ１３が予め組み込まれている状態としてもよい。その場合、機器情報記憶部１１０は省略されてもよい。

【0083】

また、学習モデル部１００の一部またはすべては、制御システム１０００の内部構成であってもよいし、制御システム１０００の外部構成であってもよい。制御システム１０００の外部構成とした場合、制御システム１０００は、学習モデル部１００の一部またはすべてに代えて、該一部またはすべてを備える外部のシステムとの間で情報をやり取りできるインタフェースを備えていればよい。例えば、制御システム１０００は、学習モデルのコアと呼ばれるモデル情報記憶部１１を外部構成としてもよい。また、例えば、制御システム１０００は、学習モデルのコアと呼ばれるモデル情報記憶部１１およびモデルのアルゴリズムを担うモデル制御部１０１を外部構成としてもよい。

【0084】

以下、制御システム１０００において、学習モデルのアルゴリズムを担うモデル制御部１０１と、そのようなモデル制御部１０１に要求を投げて応答を得る処理を行う部分とを区別するために、後者の処理を行う部分を「モデル処理部」と呼ぶ場合がある。モデル処理部は、より具体的には、上述した情報処理装置１０、制御部１０４または制御部１０４ａのうちモデル制御部１０１以外の部分に相当する。なお、モデル処理部は、例えば、モデル制御部１０１が内部環境に存在する場合は、情報処理装置１０上で動作する、学習モデルアプリケーションを呼び出す、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、プロンプトアプリケーション（とその動作環境とされる制御部）によって実現されてもよい。なお、モデル処理部は、例えば、モデル制御部１０１が外部環境に存在する場合は、情報処理装置１０上で動作するブラウザ、クライアントアプリケーション（とその動作環境とされる制御部）によって実現されてもよい。

【0085】

なお、上述した学習モデルおよびその動作環境としての情報処理装置の構成、並びに学習モデルとそれを備える制御システムとの関係については、他の実施の形態においても同様である。

【0086】

本実施の形態において、入力情報Ｄ１１がモデル入力データＤ１０１に相当する。また、制御記述Ｄ１２がモデル出力データＤ１０３に相当する。学習モデル部１００（特に、モデル制御部１０１）は、例えば、入力情報Ｄ１１を受け付けると、モデル情報Ｄ１０２および必要に応じてモデル参照情報Ｄ１０４に基づいて、入力情報Ｄ１１に対応する制御記述Ｄ１２を出力するよう構成されてもよい。

【0087】

また、そのような場合において、学習モデル部１００に対応して備えられるモデル生成部１０７は、例えば、モデル制御部１０１に入力されうる入力情報Ｄ１１の候補を含むモデル学習データＤ１０５を用いて機械学習を行って、モデル情報Ｄ１０２を生成または更新してもよい。また、モデル生成部１０７は、例えば、モデル制御部１０１に入力されうる入力情報Ｄ１１の候補と、それに対応する制御記述Ｄ１２の候補とを含むモデル学習データＤ１０５を用いて機械学習を行って、モデル情報Ｄ１０２を生成または更新してもよい。

【0088】

本実施の形態において、学習モデル部１００は、例えば、自然言語を入力して出力結果を得るＬＬＭなどの言語学習モデルおよびその動作環境であってもよい。また、学習モデル部１００は、例えば、画像を入力して出力結果を得るＶＬＭなどの画像学習モデルおよびその動作環境であってもよい。また、学習モデル部１００は、例えば、自然言語と画像を入力して出力結果を得るマルチモーダルモデルおよびその動作環境であってもよい。その場合において、入力情報Ｄ１１は、テキストデータ、画像データ、テキストデータと画像データの組み合わせ、またはそれらに変換可能なデータ形式（音声データ、音声データと画像データの組み合わせである動画など）で入力されてもよい。なお、本実施の形態で用いる学習モデルは上述したモデルに限定されない。

【0089】

本実施の形態において、制御システム１０００が受け付ける入力情報Ｄ１１は、作業環境、ここでは対象機器２が動作する環境における要望（ここでは、対象機器２に対して要求される制御内容）に関する情報ということができる。したがって、制御システム１０００が受け付ける入力情報Ｄ１１は、作業環境における要望を示す第１の情報の一例ということができる。また、制御記述Ｄ１２および実行コードＤ１４は、そのような入力情報Ｄ１１に対応して、当該作業（対象機器２への制御にかかる作業）に用いられる情報ということができる。以下では、入力情報Ｄ１１に基づくモデル入力データが入力される学習モデルの動作環境より所定の出力先に出力される制御記述Ｄ１２を、第２の情報と呼ぶ場合がある。

【0090】

ここで、入力情報Ｄ１１とモデル入力データとの関係において、入力情報Ｄ１１に基づくモデル入力データといった場合には、入力情報Ｄ１１そのもの、入力情報Ｄ１１を学習モデルの入力に合致する形式に変換したもの、入力情報Ｄ１１を補足したものが含まれうる。また、モデル出力データと第２の情報との関係において、モデル出力データに基づく第２の情報といった場合には、モデル出力データそのものの、モデル出力データを出力先の入力に合致する形式に変換したもの、モデル出力データを補足したものが含まれうる。他の実施の形態における入出力情報とモデル入出力データとの関係についても同様である。

【0091】

次に、本実施の形態の制御システム１０００の動作を説明する。図７は、制御システム１０００の動作例を示すフローチャートである。

【0092】

図７に示す例では、まず、制御システム１０００が、入力情報Ｄ１１を受け付ける（ステップＳ１１０）。例えば、上述した入力部１０２または入力処理部２０１が、入力情報Ｄ１１を受け付けてもよい。受け付けた入力情報Ｄ１１は、モデル入力データＤ１０１として、学習モデル部１００に入力される。

【0093】

ステップＳ１１０において、制御システム１０００は、複数の入力情報Ｄ１１を受け付けてもよい。また、制御システム１０００は、ユーザ１と対話的に、すなわちユーザ１との間で入力情報Ｄ１１に関連する情報の入出力を繰り返しながら、よりユーザ１の要望に合致する入力情報Ｄ１１を受け付けてもよい。

【0094】

次いで、制御システム１０００は、学習モデル部１００を用いた制御記述Ｄ１２の生成処理を行う（ステップＳ１１１）。ステップＳ１１１では、学習モデル部１００が、入力された入力情報Ｄ１１に対応する制御記述Ｄ１２を生成して出力する。例えば、学習モデル部１００（より具体的には、モデル制御部１０１）が、モデル情報Ｄ１０２および入力された入力情報Ｄ１１、並びに必要に応じて機器情報Ｄ１３を含むモデル参照情報Ｄ１０４に基づいて、入力情報Ｄ１１に対応する制御記述Ｄ１２を出力する。学習モデル部１００は、例えば、テキストデータを生成可能な学習モデルを用いて、入力された入力情報Ｄ１１からテキストデータの制御記述Ｄ１２を生成してもよい。

【0095】

ステップＳ１１１において、さらに学習モデル部１００（より具体的には、前処理部１０５または入力処理部２０１）が、モデル制御部１０１の処理の前に、制御記述Ｄ１２の精度を上げるために、入力された入力情報Ｄ１１に対し、要素の追加、変更または削除、もしくはデータの変換（加工を含む）を行ってもよい。また、ステップＳ１１１において、さらに学習モデル部１００（より具体的には、後処理部１０６）が、モデル制御部１０１の処理の後に、制御記述Ｄ１２に問題があるか否かを判断して、問題があると判断した場合に制御記述Ｄ１２を修正する処理を行ってもよい。

【0096】

学習モデル部１００から出力された制御記述Ｄ１２は、実行コード生成部１２０に入力される。制御記述Ｄ１２が入力されると、実行コード生成部１２０が、入力された制御記述Ｄ１２に基づいて実行コードＤ１４を生成する（ステップＳ１１２）。

【0097】

次いで、実行コード生成部１２０によって生成された実行コードＤ１４が、対象機器２に入力される（ステップＳ１１３）。既に説明したように、対象機器２への実行コードＤ１４の入力は、制御システム１０００（より具体的に実行コード生成部１２０）から直接入力されてもよいし、通信ネットワークや他の機器（サーバ、各種の変換装置等）や人の手を介して間接的に入力されてもよい。

【0098】

これにより、対象機器２が、入力された実行コードＤ１４に従って動作する。

【0099】

制御システム１０００は、実行コードＤ１４を出力した結果、対象機器２が制御されるなどして対象機器２の状態に変化があれば、状態情報Ｄ１５を取得してもよい（ステップＳ１１４）。取得した状態情報Ｄ１５は、例えば、機器情報Ｄ１３の一部として機器情報記憶部１１０に記憶される。制御システム１０００は、例えば、取得した状態情報Ｄ１５を用いて、機器情報記憶部１１０に記憶されている機器情報Ｄ１３を更新してもよい。また、制御システム１０００は、例えば、取得した状態情報Ｄ１５を、制御結果を示す情報としてユーザ１、学習モデル部１００または図示しない他の装置に出力してもよい。なお、制御システム１０００が状態情報Ｄ１５を用いない場合には、ステップＳ１１４の処理は省略されうる。

【0100】

制御システム１０００は、ステップＳ１１０～ステップＳ１１４の処理を、複数回（例えば、対象機器２に対して所望の制御が完了するまで）繰り返してもよい。

【0101】

なお、制御システム１０００は、制御記述Ｄ１２をユーザ１の操作端末等に出力して、ユーザ１が内容を確認した上で、ユーザ１の操作によってその後の処理（実行コード生成部１２０でのコード生成等）が実行されるようにしてもよい。

【0102】

学習モデル部１００に入力された状態情報Ｄ１５は、例えば、学習モデル部１００の追加学習に利用される。学習モデル部１００は、例えば、入力された状態情報Ｄ１５に基づいて、モデル情報Ｄ１０２および／またはモデル参照情報Ｄ１０４を更新してもよい。

【0103】

以上のように、本実施の形態によれば、ユーザ１が制御記述Ｄ１２を作成することなく、ユーザ１から入力される入力情報Ｄ１１から実行コードＤ１４を生成できるので、対象機器２を制御する作業の効率化を図ることができる。

【0104】

また、本実施の形態において、入力情報Ｄ１１は、対象機器２に対する制御内容を明示的または暗黙的に示すテキスト、画像、音声またはそれらの組み合わせであってもよいため、さらに入力情報Ｄ１１の入力の手間を抑制しつつ、対象機器２を制御する作業の効率化を図ることができる。

【0105】

また、本実施の形態によれば、入力情報Ｄ１１から学習モデルを利用して制御記述Ｄ１２を生成できるので、ユーザ１が対象機器２の細かな仕様や制御記述Ｄ１２の仕様など対象機器２を制御するための情報等を知らなくても、入力情報Ｄ１１に対応する制御記述Ｄ１２を生成できるので、対象機器２を制御する作業の高性能化を図ることができる。ここで、対象機器２を制御する作業の高性能化には、対象機器２の制御の高精度も含まれる。

【0106】

また、本実施の形態では、入力情報Ｄ１１に基づいて対象機器２を制御した後に取得される状態情報Ｄ１５を、次の制御記述Ｄ１２の生成等に利用することができるので、対象機器２を制御する作業の高性能化をより図ることができる。

【0107】

なお、上述した例では、対象機器２は１つしか示していないが、制御システム１０００が制御対象とする対象機器２は複数であってもよい。そのような場合、例えば、入力情報Ｄ１１に対象機器２を判別可能な情報を含ませてもよいし、学習モデル部１００への入力側（入力部１０２、前処理部１０５、入力処理部２０１）が入力情報Ｄ１１に基づいて対象機器２を判別する処理を行ってもよいし、学習モデル部１００が、学習の結果として対象機器２が判別された制御内容を出力してもよい。

【0108】

変形例１－１．
次に、制御システム１０００の変形例を説明する。図８は、本実施の形態にかかる制御システム１０００の変形例である制御システム１０００ａの例を示す構成図である。なお、制御システム１０００と同じ要素については、同じ符号を付し説明を省略する。

【0109】

図８に示す制御システム１０００ａでは、学習モデル部１００からの出力を、ユーザ１が確認した上で、後段の実行コード生成部１２０に入力する。

【0110】

本実施の形態において、ユーザ１は、学習モデル部１００から出力された制御記述Ｄ１２を確認し、確認結果をもとに、入力情報Ｄ１１を入力することができる。また、ユーザ１は、学習モデル部１００から出力された制御記述Ｄ１２に加えて、実行コード生成部１２０および／または対象機器２からのフィードバック情報Ｄ１６を確認し、それらの確認結果をもとに、入力情報Ｄ１１を入力してもよい。この際、ユーザ１は、新たな内容の入力情報Ｄ１１を入力するほか、すでに入力した内容の修正、追加、取消を示す入力情報Ｄ１１を入力してもよい。このとき、入力情報Ｄ１１に、学習モデル部１００に対する指令を含ませることができる。例えば、ユーザ１は、フィードバック情報Ｄ１６とともに、入力情報Ｄ１１に含まれる不具合、または出力された制御記述Ｄ１２に含まれる不具合を取り除くための指令を、入力情報Ｄ１１として入力してもよい。ここで、不具合を取り除くための指令には、不具合の原因や不具合の解決方法を探すための入力も含まれる。

【0111】

フィードバック情報Ｄ１６は、学習モデル部１００より後段の処理部に制御を要求した際に、該処理部から返される該要求に対する応答を含んでいてもよい。また、フィードバック情報Ｄ１６は、学習モデル部１００より後段の処理部に制御を要求した後に該処理部から得られる情報を含んでいてもよい。フィードバック情報Ｄ１６は、例えば、実行コード生成部１２０に対して、制御記述Ｄ１２を入力して制御記述Ｄ１２の生成を要求した際に、実行コード生成部１２０から返される該要求に対する応答を含んでもよい。また、フィードバック情報Ｄ１６は、対象機器２に対して、実行コードＤ１４を入力してコードの実行を要求した際に、対象機器２から返される該要求に対する応答を含んでもよい。フィードバック情報Ｄ１６には、状態情報Ｄ１５が含まれうる。フィードバック情報Ｄ１６は、直接ユーザ１に向けて出力されてもよいし、実行コード生成部１２０または制御システム１０００が備える出力装置（不図示）を介してユーザ１に出力されてもよい。

【0112】

また、フィードバック情報Ｄ１６は、学習モデル部１００より後段の処理部に対して要求する制御が該処理部において正しく実行されるかどうかを判断するための情報を含むことができる。当該情報は、該処理部から直接得られる情報に限定されない。例えば、別の人、機器、ネットワークまたはＡＩ（いずれも不図示）から得られる情報であってもよい。フィードバック情報Ｄ１６は、例えば、実行時間または制御の軌跡情報など、実行コードＤ１４が目的の制御を正しく実行できるかどうかを判断するための解析情報を含むことができる。ユーザ１は、例えば、フィードバック情報Ｄ１６に含まれるそのような情報に基づいて、制御記述Ｄ１２におけるフローのタイミングの制御またはリードタイムの調整等を、学習モデル部１００に指示することも可能である。

【0113】

また、ユーザ１は、例えば、フィードバック情報Ｄ１６を利用して学習モデル部１００と複数回のやりとりを行って、その都度、出力された制御記述Ｄ１２の正当性（問題の有無）を判断するようにしてもよい。ユーザ１は、制御記述Ｄ１２に問題がないと判断した場合に、該制御記述Ｄ１２を実行コード生成部１２０に出力するようにしてもよい。

【0114】

フィードバック情報Ｄ１６の取得は、例えば、上述したステップＳ１１４において行うことができる。

【0115】

なお、図８では、ユーザ１が実行コード生成部１２０に制御記述Ｄ１２を入力する例が示されているが、実行コード生成部１２０への制御記述Ｄ１２の入力は、ユーザ１からの指示を受けた学習モデル部１００が行うことも可能である。

【0116】

本例において、制御記述Ｄ１２は、例えば、ローコードまたはノーコードに対応した記述を含んでいてもよい。

【0117】

本例におけるユーザ１と学習モデル部１００との間の情報のやりとりは、例えば、ユーザ１が備える端末を介して行われてもよいし、学習モデル部１００が動作する情報処理装置１０が備えるユーザインタフェース（例えば、入力部１０２）を介して行われてもよい。

【0118】

また、本例における入力情報Ｄ１１の更新を、ユーザ１ではなく、制御システム１０００側（例えば、修正確認部２０３等）で行うように構成されてもよい。

【0119】

また、フィードバック情報Ｄ１６は学習モデル部１００に入力されてもよい。学習モデル部１００に入力されたフィードバック情報Ｄ１６は、例えば、学習モデル部１００の追加学習に利用される。学習モデル部１００は、入力されたフィードバック情報１６に基づいて、モデル情報Ｄ１０２および／またはモデル参照情報Ｄ１０４を更新してもよい。

【0120】

他の点に関しては、本実施の形態にかかる他の制御システムと同様でよい。

【0121】

以上のように、本変形例では、ユーザ１は、学習モデル部１００から出力される制御記述Ｄ１２を確認して学習モデル部１００との間で追加の指示やバグ相談等のやり取りを行いながら、入力情報Ｄ１１を修正することができるので、出力される制御記述Ｄ１２の高精度化を図ることができる。その結果、対象機器２を制御する作業の効率化および高性能化を図ることができる。

【0122】

変形例１－２．
次に、制御システム１０００の第２の変形例を説明する。図９は、制御システム１０００の変形例である制御システム１０００ｂの例を示す構成図である。なお、制御システム１０００および制御システム１０００ａと同じ要素については、同じ符号を付して説明を省略する。

【0123】

図９に示す制御システム１０００ｂでは、学習モデル部１００が、ユーザ１に、問合せＤ１７を返す点が異なる。問合せＤ１７の例としては、例えば、不明確または不確定な入力情報Ｄ１１を問い直すもの、解を問うもの、状態または表現を変えたものへの再入力を依頼するものが挙げられる。学習モデル部１００は、不明確または不確定な入力情報Ｄ１１の問い直しとして、参照箇所の提示とともに、より具体的な情報の入力を求める問合せＤ１７を、ユーザ１に向けて出力してもよい。また、学習モデル部１００は、解を問うものとして、参照箇所の提示とともに、解の候補を選択肢として与える問合せＤ１７を、ユーザ１に向けて出力してもよい。また、学習モデル部１００は、解を問うものとして、参照箇所の提示とともに、最も可能性が高いと思われる解の情報とともにその正否を問う問合せＤ１７を、ユーザ１に向けて出力してもよい。また、学習モデル部１００は、一旦人の理解が容易な中間的な制御記述である中間制御記述を生成し、生成された中間制御記述とともに、その正否を問う問合せＤ１７を、ユーザ１に向けて出力してもよい。

【0124】

問合せＤ１７の出力は、例えば、上述したステップＳ１１０の後において行われてもよい。

【0125】

学習モデル部１００は、問合せＤ１７に対するユーザ１からの回答を受け付けると、入力情報Ｄ１１を更新するまたは入力情報Ｄ１１の解釈（意味づけ）を確定してもよい。

【0126】

本例における上述した学習モデル部１００の処理は、例えば、学習モデル部１００の入力部１０２もしくは前処理部１０５、または情報処理装置１０が備える入力処理部２０１（不図示）の一部の機能として実装することも可能である。

【0127】

以上のように、本変形例では、入力された入力情報Ｄ１１に対して、ユーザ１に問合せＤ１７を出力してその回答をもとに入力情報Ｄ１１の更新または解釈の確定を行うので、入力情報Ｄ１１の不確定さを解消できる。その結果、出力される制御記述Ｄ１２の高精度化、ひいては対象機器２を制御する作業の効率化および高性能化を図ることができる。

【0128】

変形例１－３．
次に、制御システム１０００の第３の変形例を説明する。図１０は、制御システム１０００の変形例である制御システム１０００ｃの例を示す構成図である。なお、制御システム１０００，１０００ａ，１０００ｂと同じ要素については、同じ符号を付して説明を省略する。

【0129】

図１０に示す制御システム１０００ｃは、さらに状態取得部１３０を備えている。状態取得部１３０は、学習モデル部１００から出力される制御記述Ｄ１２およびそれから生成される実行コードＤ１４の処理先から、処理結果を示すフィードバック情報Ｄ１６もしくは処理後の機器の状態を示す状態情報Ｄ１５を取得する。ここで、フィードバック情報Ｄ１６または状態情報Ｄ１５は、実行時間または制御の軌跡情報など、実行コードＤ１４が目的の制御を正しく実行できたかどうかを判断するための情報を含むことができる。

【0130】

状態取得部１３０は、例えば、取得したそれらの情報を学習モデル部１００に入力してもよい。また、状態取得部１３０は、例えば、取得したそれらの情報に基づいて、機器情報Ｄ１３を更新してもよい。また、状態取得部１３０は、例えば、取得したそれらの情報に基づいて、入力情報Ｄ１１を補足（追加、修正、取消を含む）する情報を生成し、補足情報Ｄ１８として学習モデル部１００に入力してもよい。また、状態取得部１３０は、例えば、取得したそれらの情報に基づいて、制御記述Ｄ１２を補足（追加、修正、取消を含む）する情報を生成し、補足情報Ｄ１８として学習モデル部１００に入力してもよい。

【0131】

状態取得部１３０は、例えば、新たな内容の制御指令、もしくはすでに入力した入力情報Ｄ１１で示された内容の追加、修正、取消を示す指令を、補足情報Ｄ１８として生成して、学習モデル部１００に入力してもよい。また、状態取得部１３０は、例えば、取得した情報とともに、入力情報Ｄ１１に含まれる不具合、または出力された制御記述Ｄ１２に含まれる不具合を取り除くための指令を、補足情報Ｄ１８として学習モデル部１００に入力してもよい。

【0132】

状態取得部１３０は、例えば、取得した情報が、処理先における正常処理または正常状態を示す情報であるか否かを判断し、そうでない場合に、取得した情報とともに、すでに入力した入力情報Ｄ１１で示された内容の修正、追加、取消を示す補足情報Ｄ１８を、学習モデル部１００に入力してもよい。

【0133】

学習モデル部１００は、例えば、入力された情報（状態情報Ｄ１５、フィードバック情報Ｄ１６、補足情報Ｄ１８等）に基づいて、モデル情報Ｄ１０２および／またはモデル参照情報Ｄ１０４を更新してもよい。

【0134】

補足情報Ｄ１８の生成は、例えば、上述したステップＳ１１５において行われてもよい。また、補足情報Ｄ１８の出力先には、学習モデル部１００以外も含まれうる。制御システム１０００は、例えば、状態取得部１３０により生成された補足情報Ｄ１８を、ユーザ１または図示しない他の装置に出力してもよい。

【0135】

また、状態取得部１３０は、対象機器２を実際には動作させずに、対象機器２のシミュレータ（不図示）による動作結果または対象機器２のデバッグモードでの動作結果を取得するようにしてもよい。対象機器２のデバッグモードとは、対象機器２の制御基板上で実行コードを実行するが、実際の機器制御は行わず、内部状態のみを更新するモードをいい、空運転モードとも呼ばれる。デバッグモードを利用することで、安全に、対象機器２上で実際の制御に近い状態にて実行コードＤ１４を試すことができる。

【0136】

本変形例に限らず、対象機器２を実際には動作させずに、学習モデル部１００から出力される制御記述Ｄ１２および制御記述Ｄ１２から生成される実行コードＤ１４の正当性を判断する方法として、実行コード生成部１２０は、実行コードＤ１４の出力先として、対象機器２とシミュレータとを切替可能なように接続されていてもよい。シミュレータには、拡張現実空間にて対象機器２のアイコンを動作させるものを含む。また、実行コード生成部１２０は、実行コードＤ１４を対象機器２に出力する際に、通常モードでの実行かデバッグモードでの実行かを指示する情報を付与してもよい。

【0137】

本例における状態取得部１３０の処理は、例えば、学習モデル部１００の入力部１０２、前処理部１０５および後処理部１０６、または情報処理装置１０が備える入力処理部２０１、出力確認部２０２および修正確認部２０３（いずれも不図示）の一部の機能として実装することも可能である。

【0138】

他の点に関しては、本実施の形態にかかる他の制御システムと同様でよい。

【0139】

以上のように、本変形例では、入力された入力情報Ｄ１１に対して、状態取得部１３０が、モデル出力データＤ１０３および／またはそれを元に生成される情報の出力先とされる対象機器２または実行コード生成部１２０から、処理結果を示すフィードバック情報Ｄ１６もしく処理後の機器の状態を示す状態情報Ｄ１５を取得し、取得した情報に基づいて、学習モデル部１００に対して適宜補足情報Ｄ１８を発行する。これにより、制御記述Ｄ１２の高精度化、ひいては対象機器２を制御する作業の効率化および高性能化を図ることができる。

【0140】

また、本変形例では、例えば、人とマシン（状態取得部１３０）とが協調して、学習モデル部１００への入力の精度を向上させることができるので、ユーザ１の作業負荷の軽減にも貢献できる。

【0141】

実施の形態２．
次に、本実施の形態２について説明する。本実施の形態では、学習モデルを利用して、対象機器の制御にかかる作業を支援する例について説明する。

【0142】

以下では、例えば工場内において、ＰＬＣ、加工機、ロボット、センサ、搬送装置その他の機械の制御装置などの各種の制御機器を制御することを考える。熟練の作業者であれば、多種多様な制御機器や複雑な制御機器の制御方法を熟知しているかもしれないが、配置換えなどによってそうでない作業者が制御機器に対して制御を行う必要が生じる場合がある。また、新たな制御機器（バージョンアップを含む）の導入があると、新たな制御機器に対応した制御方法を作業者全員に周知させる必要があり、周知が十分でないとミスにつながるおそれがある。

【0143】

そのような場合に、具体的な制御方法、例えば制御機器に対して行う制御命令、制御信号、制御コードもしくは制御機器に対応するコントローラへのコマンド等を知らなくても、確実に所望の制御が行えると作業の効率化および高性能化につながるため好ましい。

【0144】

なお、機器を制御する場面は工場内に限られず、本実施の形態の活用場面も工場内に限定されない。

【0145】

図１１は、実施の形態２にかかる制御システム２０００の例を示す構成図である。図１１に示す制御システム２０００は、学習モデルを利用して機器を制御するための制御システムであって、学習モデル部２００と、機器情報記憶部２１０（図中では機器情報ＤＢと記す）とを備える。

【0146】

学習モデル部２００は、入力情報Ｄ２１が入力されると、制御指令Ｄ２２を出力する。学習モデル部２００は、例えば、入力情報Ｄ２１が入力されると、モデル情報Ｄ１０２に基づいて制御指令Ｄ２２を出力する。学習モデル部２００の構成は、実施の形態１における学習モデル部１００と基本的に同様でよい。

【0147】

本実施の形態において、学習モデル部２００は、入力情報Ｄ２１が入力されると、入力情報Ｄ２１に対応する制御指令Ｄ２２を出力するように構成されたモデルおよびその動作環境である。また、学習モデル部２００は、入力情報Ｄ２１が入力されると、入力情報Ｄ２１、機器情報Ｄ２３および学習モデル部２００において他に参照可能な情報に基づいて、制御指令Ｄ２２を生成して出力するように構成されたモデルおよびその動作環境であってもよい。

【0148】

本実施の形態において、入力情報Ｄ２１は、対象機器２に対する制御内容を示す情報を含む。入力情報Ｄ２１は、例えば、対象機器２に対する制御内容を示すテキスト、画像、音声またはそれらの組み合わせであってもよい。入力情報Ｄ２１は、例えば、対象機器２に対する複数の制御内容を示すテキスト、画像、音声またはそれらの組み合わせであってもよい。また、入力情報Ｄ２１は、時間的に連続して行われる制御内容を示す情報を含んでいてもよく、その場合、上述したような制御内容を示すテキスト、画像、音声またはそれらの組み合わせを含む所定のデータ構造の時系列データであってもよい。制御内容の示し方は、学習モデル部２００が用いるモデルの入力形式に合致していることを前提とするが、学習モデル部２００の前段にエラー処理、補正処理または変換処理が含まれる場合等はこの限りではない。

【0149】

入力情報Ｄ２１における制御内容の示し方は、例えば、実施の形態１と同様でよい。例えば、対象機器２に対して行う制御を特定した上で、その制御を行うためのパラメータの値や、制御後の状態を指定してもよい。その場合、入力情報Ｄ２１は、例えば、制御を特定する情報と、その制御を行うためのパラメータの値または制御後の状態を示す情報とを含んでもよい。また、入力情報Ｄ２１には、対象機器２に対する制御内容を直接示す情報だけでなく、その制御内容に対応する操作内容、ユーザ１の言動、対象機器２の画像または他の機種等における同様の制御指令等を用いて間接的に示す情報も含まれうる。

【0150】

制御指令Ｄ２２は、対象機器２または対象機器２に制御を要求するインタフェースが判別可能な所定の形式で示される対象機器２の制御に関する情報を含む。制御指令Ｄ２２は、対象機器２への制御要求を示す情報を含んでいてもよい。制御指令Ｄ２２は、例えば、対象機器２に対する制御命令、制御信号、制御コードである。また、制御指令Ｄ２２は、例えば、対象機器２に対応した所定のコントローラが扱う形式で記述されたコマンドであってもよい。

【0151】

機器情報記憶部２１０は、対象機器２に関する情報である機器情報Ｄ２３を記憶する。機器情報記憶部２１０および機器情報Ｄ２３の取り扱いは、実施の形態１における機器情報記憶部１１０および機器情報Ｄ１３と基本的に同様である。なお、本実施の形態における機器情報Ｄ２３には、例えば、対象機器２の制御に用いられる情報が含まれていてもよい。機器情報Ｄ２３は、例えば、学習モデル部２００が制御指令Ｄ２２を出力する際の追加情報として用いられる。以下、本実施の形態において、特に対象機器２の状態を示す情報を、状態情報Ｄ２５という場合がある。

【0152】

本実施の形態において、学習モデル部２００は、例えば、自然言語を入力して出力結果を得るＬＬＭなどの言語学習モデルおよびその動作環境であってもよい。また、学習モデル部２００は、例えば、画像を入力して出力結果を得るＶＬＭなどの画像学習モデルおよびその動作環境であってもよい。また、学習モデル部２００は、例えば、自然言語と画像を入力して出力結果を得るマルチモーダルモデルおよびその動作環境であってもよい。その場合において、入力情報Ｄ２１は、テキストデータ、画像データ、テキストデータと画像データの組み合わせ、またはそれらに変換可能なデータ形式（音声データ、音声データと画像データの組み合わせである動画など）で入力されてもよい。なお、本実施の形態で用いる学習モデルは上述したモデルに限定されない。

【0153】

本実施の形態では、説明を簡略にするために、学習モデル部１００に対応して備えられる構成要素の符号をそのまま用いて、学習モデル部２００に対応して備えられる構成要素を説明する場合があるが、それらは、あくまで学習モデル部２００に対応して備えられている点に留意されたい。なお、他の実施の形態においても同様である。

【0154】

本実施の形態において、入力情報Ｄ２１がモデル入力データＤ１０１に相当する。また、制御指令Ｄ２２がモデル出力データＤ１０３に相当する。学習モデル部２００（特に、モデル制御部１０１）は、例えば、入力情報Ｄ２１を受け付けると、モデル情報Ｄ１０２および必要に応じてモデル参照情報Ｄ１０４に基づいて、入力情報Ｄ２１に対応する制御指令Ｄ２２を出力するよう構成されてもよい。

【0155】

また、そのような場合において、学習モデル部２００に対応して備えられるモデル生成部１０７は、例えば、モデル制御部１０１に入力されうる入力情報Ｄ２１の候補を含むモデル学習データＤ１０５を用いて機械学習を行って、モデル情報Ｄ１０２を生成または更新してもよい。また、モデル生成部１０７は、例えば、モデル制御部１０１に入力されうる入力情報Ｄ２１の候補と、それに対応する制御指令Ｄ２２の候補とを含むモデル学習データＤ１０５を用いて機械学習を行って、モデル情報Ｄ１０２を生成または更新してもよい。

【0156】

符号Ｄ２６は、対象機器２における制御結果を示すフィードバック情報である。本実施の形態においても、モデル出力データＤ１０３および／またはそれを元に生成される情報の出力先から、状態情報Ｄ２５および／またはフィードバック情報Ｄ２６を取得してもよい。制御システム２０００は、例えば、取得した状態情報Ｄ２５および／またはフィードバック情報Ｄ２６を、制御結果を示す情報としてユーザ１、学習モデル部２００または図示しない他の装置に出力してもよい。また、制御システム２０００は、取得した状態情報Ｄ２５および／またはフィードバック情報Ｄ２６に基づいて、学習モデル部２００の入出力データに対する補足情報Ｄ２８を生成して、ユーザ１、学習モデル部２００または図示しない他の装置に発行することも可能である。また、制御システム２０００は、入力情報Ｄ２１に不明確または不確定な情報が含まれる場合に、ユーザ１に問合せＤ２７を返すように構成されてもよい。問合せＤ２７の取り扱いは、実施の形態１の問合せＤ１７と同様である。

【0157】

図１２は、制御システム２０００の他の例を示す構成図である。図１２に示すように、制御システム２０００は、状態情報Ｄ２５および／またはフィードバック情報Ｄ２６の取得および補足情報Ｄ２８の発行を行う状態取得部２３０をさらに備えてもよい。状態取得部２３０は、実施の形態１の状態取得部１３０と同様である。

【0158】

本実施の形態においても、対象機器２は特に限定されない。なお、対象機器２は、制御指令Ｄ２２を受け取って実際に制御可能な機器であることを前提としているが、対象機器２との間にコントローラまたはコンバータなどの各種信号を変換する変換装置を含む場合は、この限りではない。その場合、変換装置が制御指令Ｄ２２を受け取って対象機器２を制御すればよい。

【0159】

本実施の形態において、制御システム２０００が受け付ける入力情報Ｄ２１は、作業環境、ここでは対象機器２が動作する環境における要望（ここでは、対象機器２に対して要求される制御内容）に関する情報ということができる。したがって、制御システム２０００が受け付ける入力情報Ｄ２１は、作業環境における要望を示す第１の情報の一例ということができる。また、制御指令Ｄ２２は、そのような入力情報Ｄ２１に対応して、当該作業（対象機器２への制御にかかる作業）に用いられる情報ということができる。以下では、入力情報Ｄ２１に基づくモデル入力データが入力される学習モデルの動作環境より所定の出力先に出力される制御指令Ｄ２２を、第２の情報と呼ぶ場合がある。

【0160】

次に、本実施の形態の制御システム２０００の動作を説明する。図１３は、制御システム２０００の動作例を示すフローチャートである。

【0161】

図１３に示す例では、まず、制御システム２０００が、入力情報Ｄ２１を受け付ける（ステップＳ２１０）。例えば、上述した入力部１０２または入力処理部２０１が、入力情報Ｄ２１を受け付けてもよい。受け付けた入力情報Ｄ２１は、モデル入力データＤ１０１として、学習モデル部２００に入力される。

【0162】

次いで、制御システム２０００は、学習モデル部２００を用いた制御指令Ｄ２２の生成処理を行う（ステップＳ２１１）。ステップＳ２１１では、学習モデル部２００（より具体的には、モデル制御部１０１）が、モデル情報Ｄ１０２および入力された入力情報Ｄ２１、並びに必要に応じて機器情報Ｄ２３を含むモデル参照情報Ｄ１０４に基づいて、入力情報Ｄ２１に対応する制御指令Ｄ２２を出力する。

【0163】

ステップＳ２１１において、学習モデル部２００は、例えば、バイナリデータを生成可能な学習モデルを用いて、入力された入力情報Ｄ２１からバイナリデータの制御指令Ｄ２２を生成してもよい。また、学習モデル部２００は、例えば、テキストデータを生成可能な学習モデルを用いて、入力された入力情報Ｄ２１からテキストデータの制御指令Ｄ２２を生成してもよい。また、学習モデル部２００は、例えば、画像データを生成可能な学習モデルを用いて、入力された入力情報Ｄ２１から画像データの制御指令Ｄ２２を生成してもよい。また、学習モデル部２００は、例えば、音声データを生成可能な学習モデルを用いて、入力された入力情報Ｄ２１から音声データの制御指令Ｄ２２を生成してもよい。

【0164】

ステップＳ２１１において、さらに学習モデル部２００の前処理部１０５および／または後処理部１０６が、上述した処理を行ってもよい。

【0165】

学習モデル部２００から出力された制御指令Ｄ２２は、例えば、対象機器２に入力される（ステップＳ２１２）。対象機器２への制御指令Ｄ２２の入力は、制御システム２０００（より具体的に学習モデル部２００またはその動作環境である情報処理装置１０）から直接入力されてもよいし、通信ネットワークや他の機器（サーバ、各種の変換装置等）を介して間接的に入力されてもよい。

【0166】

これにより、対象機器２が、入力された制御指令Ｄ２２に従って動作する。

【0167】

制御システム２０００は、制御指令Ｄ２２を出力した結果、対象機器２が制御されるなどして対象機器２の状態に変化がある、対象機器２からフィードバックがある場合、状態情報Ｄ２５およびフィードバック情報Ｄ２６を取得してもよい（ステップＳ２１３）。なお、ステップＳ２１３の処理は必須ではなく、適宜省略されうる。

【0168】

制御システム２０００は、ステップＳ２１０～ステップＳ２１３の処理を、複数回（例えば、対象機器２に対して所望の制御が完了するまで）繰り返してもよい。

【0169】

以上のように、本実施の形態によれば、ユーザ１が対象機器２に対する具体的な制御方法を知らなくても、ユーザ１から入力される入力情報Ｄ２１から制御指令Ｄ２２を生成し、生成された制御指令Ｄ２２に基づいて対象機器２を制御できるので、対象機器２の制御にかかる作業の効率化および高度化を図ることができる。

【0170】

また、本実施の形態によれば、あいまいな情報からでも、適切な状態に機器を制御することができる。

【0171】

実施の形態３．
次に、本実施の形態３について説明する。本実施の形態では、学習モデルを利用して、対象機器の操作にかかる作業を支援する例について説明する。

【0172】

以下では、例えば家庭やビル内において、空気調和機、冷蔵庫、テレビ、照明、洗濯機、プロジェクタ、各種のセンサ、通信機器などの各種機器を操作することを考える。近年、これらコンシューマ向けの機器であっても提供される機能が高度化しており、制御が複雑化している。複雑な制御を簡単に行えるように操作画面やリモートコントローラなどのコントローラに工夫を施しているが、それでもすべての操作を覚えるのは難しく、所望の機能が提供されているにもかかわらず、その機能に容易にたどり着けないことがある。

【0173】

また、同種の機能にもかかわらず、機種によって提供される機能名が異なっていたり、細かな機能に違いがあったり、制御方法が異なっていることも多く、買い替えなどによって異なる機種を導入する場面では、それらの違いを一から覚えなければならず煩雑であった。

【0174】

また、機器によっては過去の操作履歴を覚えておく、動作環境を把握するなどして、適切な状態に自動で制御するものもあるが、人によって適切な状態が異なる場合に複数人が集まる場面または一人であっても体調などの変化によって適切な状態が異なるような場面では、的確な制御が困難な場合があった。

【0175】

そのような場合に、具体的な操作方法を知らなくても、また操作者が適切とされる状態を把握していなくても、所望の状態にするための操作が簡単に行えると作業の効率化および高性能化につながるため好ましい。

【0176】

なお、機器を操作する場面は家庭内またはビル内に限られず、本実施の形態の活用場面も家庭内またはビル内に限定されない。

【0177】

図１４は、実施の形態３にかかる制御システム３０００の例を示す構成図である。図１４に示す制御システム３０００は、学習モデルを利用して機器を操作するための制御システムであって、学習モデル部３００と、機器情報記憶部３１０（図中では機器情報ＤＢと記す）と、入力インタフェース３１１（図中では入力ＩＦと記す）と、出力インタフェース３１２（図中では出力ＩＦと記す）とを備える。

【0178】

学習モデル部３００は、入力情報Ｄ３１が入力されると、操作指令Ｄ３２を出力する。学習モデル部３００は、例えば、入力情報Ｄ３１が入力されると、モデル情報Ｄ１０２に基づいて操作指令Ｄ３２を出力する。学習モデル部３００の構成は、実施の形態１における学習モデル部１００と基本的に同様でよい。

【0179】

本実施の形態において、学習モデル部３００は、入力情報Ｄ３１が入力されると、入力情報Ｄ３１に対応する操作指令Ｄ３２を出力するように構成されたモデルおよびその動作環境である。また、学習モデル部３００は、入力情報Ｄ３１が入力されると、入力情報Ｄ３１、機器情報Ｄ３３および学習モデル部３００において他に参照可能な情報に基づいて、操作指令Ｄ３２を生成して出力するように構成されたモデルおよびその動作環境であってもよい。

【0180】

本実施の形態において、入力情報Ｄ３１は、対象機器２に対して要求される操作内容を示す情報を含む。入力情報Ｄ３１は、例えば、対象機器２に対する操作内容を示すテキスト、画像、音声またはそれらの組み合わせであってもよい。入力情報Ｄ３１は、例えば、対象機器２に対する複数の操作内容を示すテキスト、画像、音声またはそれらの組み合わせであってもよい。また、入力情報Ｄ３１は、時間的に連続して行われる操作内容を示す情報を含んでいてもよく、その場合、上述したような操作内容を示すテキスト、画像、音声またはそれらの組み合わせを含む所定のデータ構造の時系列データであってもよい。操作内容の示し方は、学習モデル部３００が用いるモデルの入力形式に合致していることを前提とするが、学習モデル部３００の前段にエラー処理、補正処理または変換処理が含まれる場合等はこの限りではない。

【0181】

入力情報Ｄ３１における操作内容の示し方の例示としては、対象機器２に対して行う操作を特定した上で、その操作を行うためのパラメータの値や、操作後の状態を指定してもよい。その場合、入力情報Ｄ３１は、例えば、操作を特定する情報と、その操作を行うためのパラメータの値または操作後の状態を示す情報とを含んでもよい。操作を行うためのパラメータの値には、例えば、操作の種別（ＯＮ／ＯＦＦなど）、向き、量、時間に関する値が含まれうる。また、入力情報Ｄ３１には、対象機器２に対する操作内容を直接示す情報だけでなく、その操作内容に対応する制御内容、ユーザ１の言動、対象機器２の画像または他の機種における同様の操作指令等を用いて間接的に示す情報も含まれうる。

【0182】

操作指令Ｄ３２は、対象機器２または対象機器２に制御を要求するインタフェース（人を含む）が判別可能な所定の形式で示される対象機器２の操作に関する情報を含む。操作指令Ｄ３２は、対象機器２への操作要求または制御要求を示す情報を含んでいてもよい。操作指令Ｄ３２は、例えば、対象機器２に対する操作命令、操作信号、操作コード、制御命令、制御信号、制御コードである。また、操作指令Ｄ３２は、例えば、対象機器２に対応した所定のコントローラが扱う形式で記述されたコマンドであってもよい。操作指令Ｄ３２は、上述した制御指令Ｄ２２に、操作に関する情報を加えた概念といえる。また、操作指令Ｄ３２は、例えば、該インタフェースが人である場合、すなわち人を介して対象機器２に制御が要求される場合、人が判別可能な形式で示される対象機器２の操作方法を示す情報であってもよい。

【0183】

機器情報記憶部３１０は、対象機器２に関する情報である機器情報Ｄ３３を記憶する。機器情報記憶部３１０および機器情報Ｄ３３の取り扱いは、実施の形態１における機器情報記憶部１１０および機器情報Ｄ１３と基本的に同様である。なお、本実施の形態における機器情報Ｄ３３には、例えば、対象機器２の操作に用いられる情報が含まれていてもよい。機器情報Ｄ３３には、例えば、操作内容に対して実際に対象機器２に行われる操作の手順を示す情報が含まれうる。また、機器情報Ｄ３３には、例えば、対象機器２に発行される命令、信号、コード等が含まれうる。機器情報Ｄ３３は、例えば、学習モデル部３００が操作指令Ｄ３２を出力する際の追加情報として用いられる。以下、本実施の形態において、特に対象機器２の状態を示す情報を、状態情報Ｄ３５という場合がある。
例えば、機器情報Ｄ３３には、対象機器２のマニュアルといった機械情報と、対象機器２を操作するリモートコントローラの通信仕様といった制御コードの情報とが含まれる。マニュアルには、画像が含まれていてもよい。

【0184】

入力インタフェース３１１は、ユーザ１からの入力情報Ｄ３１を受け付けて、学習モデル部３００に入力するインタフェースである。入力インタフェース３１１は、例えば、ユーザ１から入力される入力情報Ｄ３１を、学習モデル部３００の入力に合致したデータに変換して出力するインタフェースであってもよい。なお、入力インタフェース３１１は、例えば、上述した入力部１０２の一例として備えられてもよい。

【0185】

出力インタフェース３１２は、学習モデル部３００からの操作指令Ｄ３２を受け付けて、所定の出力先に出力するインタフェースである。なお、出力インタフェース３１２は、例えば、上述した出力部１０３の一例として備えられてもよい。出力インタフェース３１２は、例えば、学習モデル部３００から出力される操作指令Ｄ３２を、所定の出力先に合致したデータに変換して出力するインタフェースであってもよい。本実施の形態では、出力インタフェース３１２の出力先として、対象機器２、コントローラ４（不図示）、所定の表示器７（不図示）、ユーザ１の操作端末（不図示）、および物理的なものではなく、ホログラムやプロジェクション等空間プロジェクション表示器が含まれうる。

【0186】

本実施の形態において、学習モデル部３００は、例えば、自然言語を入力して出力結果を得るＬＬＭなどの言語学習モデルおよびその動作環境であってもよい。また、学習モデル部３００は、例えば、画像を入力して出力結果を得るＶＬＭなどの画像学習モデルおよびその動作環境であってもよい。また、学習モデル部３００は、例えば、自然言語と画像を入力して出力結果を得るマルチモーダルモデルおよびその動作環境であってもよい。その場合において、入力情報Ｄ３１は、テキストデータ、画像データ、テキストデータと画像データの組み合わせ、またはそれらに変換可能なデータ形式（音声データ、音声データと画像データの組み合わせである動画など）で入力されてもよい。なお、本実施の形態で用いる学習モデルは上述したモデルに限定されない。

【0187】

本実施の形態において、入力情報Ｄ３１がモデル入力データＤ１０１に相当する。また、操作指令Ｄ３２がモデル出力データＤ１０３に相当する。学習モデル部３００（特に、モデル制御部１０１）は、例えば、入力情報Ｄ３１を受け付けると、モデル情報Ｄ１０２および必要に応じてモデル参照情報Ｄ１０４に基づいて、入力情報Ｄ３１に対応する操作指令Ｄ３２を出力するよう構成されてもよい。

【0188】

また、そのような場合において、学習モデル部３００に対応して備えられるモデル生成部１０７は、例えば、モデル制御部１０１に入力されうる入力情報Ｄ３１の候補を含むモデル学習データＤ１０５を用いて機械学習を行って、モデル情報Ｄ１０２を生成または更新してもよい。また、モデル生成部１０７は、例えば、モデル制御部１０１に入力されうる入力情報Ｄ３１の候補と、それに対応する操作指令Ｄ３２の候補とを含むモデル学習データＤ１０５を用いて機械学習を行って、モデル情報Ｄ１０２を生成または更新してもよい。

【0189】

図示省略しているが、本実施の形態においても、学習モデル部３００のモデル出力データＤ１０３および／またはそれを元に生成される情報の出力先から、状態情報Ｄ３５および／またはフィードバック情報Ｄ３６を取得してもよい。制御システム３０００は、例えば、取得した状態情報Ｄ３５および／またはフィードバック情報Ｄ３６を、応答結果を示す情報としてユーザ１、学習モデル部３００または図示しない他の装置に出力してもよい。また、制御システム３０００は、入力情報Ｄ３１に不明確または不確定な情報が含まれる場合に、ユーザ１に問合せＤ３７を返すように構成されてもよい。また、制御システム３０００は、取得した状態情報Ｄ３５および／またはフィードバック情報Ｄ３６に基づいて、学習モデル部３００の入出力データに対する補足情報Ｄ３８を生成して、ユーザ１、学習モデル部３００または図示しない他の装置に発行することも可能である。状態情報Ｄ３５、フィードバック情報Ｄ３６、問合せＤ３７および補足情報Ｄ３８の取り扱いは、実施の形態１と基本的に同様でよい。

【0190】

また、制御システム３０００は、状態情報Ｄ３５および／またはフィードバック情報Ｄ３６を取得し、必要に応じて補足情報Ｄ３８を発行する状態取得部３３０（不図示）をさらに備えてもよい。状態取得部３３０は、実施の形態１の状態取得部１３０と同様である。

【0191】

本実施の形態においても、対象機器２は特に限定されない。なお、対象機器２は、操作指令Ｄ３２を受け取って操作指令Ｄ３２で示される操作内容に対応した制御が可能な機器であることを前提としているが、対象機器２との間にコントローラ４またはコンバータなどの各種信号を変換する変換装置または操作者を含む場合は、この限りではない。その場合、変換装置または操作者が操作指令Ｄ３２を受け取って対象機器２を操作すればよい。

【0192】

本実施の形態において、制御システム３０００が受け付ける入力情報Ｄ３１は、作業環境、ここでは対象機器２が動作する環境における要望（ここでは、対象機器に対して要求される操作内容）に関する情報ということができる。あるいは、入力情報Ｄ３１は、作業環境、ここでは対象機器２が動作する環境における要望（ここでは、対象機器に対して要求される操作内容）に関する命令といってもよい。したがって、制御システム３０００が受け付ける入力情報Ｄ３１は、作業環境における要望あるいは命令を示す第１の情報の一例ということができる。また、操作指令Ｄ３２は、そのような入力情報Ｄ３１に対応して、当該作業（対象機器２への操作にかかる作業）に用いられる情報ということができる。以下では、入力情報Ｄ３１に基づくモデル入力データが入力される学習モデルの動作環境より所定の出力先に出力される操作指令Ｄ３２を、第２の情報と呼ぶ場合がある。

【0193】

次に、本実施の形態の制御システム３０００の動作を説明する。図１５は、制御システム３０００の動作例を示すフローチャートである。

【0194】

図１５に示す例では、まず、制御システム３０００の入力インタフェース３１１が、入力情報Ｄ３１を受け付ける（ステップＳ３１０）。受け付けた入力情報Ｄ３１は、モデル入力データＤ１０１として、学習モデル部３００に入力される。
入力情報Ｄ３１は、ユーザ１による対象機器２に対する命令である。また、命令は、対象機器２に対する複数の操作から構成される命令であってもよい。すなわち、命令は、「１℃温度を上げる」のような単純な操作から構成されるものであってもよいし、対象機器２に対して複数の操作を要する複雑な命令であってもよい。

【0195】

次いで、制御システム３０００は、学習モデル部３００を用いた操作指令Ｄ３２の生成処理を行う（ステップＳ３１１）。
ステップＳ３１１において、学習モデル部３００は、入力情報Ｄ３１（第１の情報）を学習モデルに入力し、対象機器２における一連の制御である順次制御を示す操作指令Ｄ３２（第２の情報）を出力する。順次制御とは、入力情報Ｄ３１として入力された命令の実現に要する複数の操作を実現するための、対象機器２における一連の制御である。例えば、学習モデル部３００は、操作指令Ｄ３２（第２の情報）として、順次制御が対象機器２の制御コードによって示されている情報を、出力インタフェース３１２を介して対象機器２に出力してもよい。
具体的には、以下の通りである。

【0196】

ステップＳ３１１では、学習モデル部３００（より具体的には、モデル制御部１０１）が、モデル情報Ｄ１０２および入力された入力情報Ｄ３１、並びに必要に応じて機器情報Ｄ３３を含むモデル参照情報Ｄ１０４に基づいて、入力情報Ｄ３１に対応する操作指令Ｄ３２を生成して出力する。

【0197】

ステップＳ３１１において、学習モデル部３００は、例えば、バイナリデータを生成可能な学習モデルを用いて、入力された入力情報Ｄ３１からバイナリデータの操作指令Ｄ３２を生成してもよい。また、学習モデル部３００は、例えば、テキストデータを生成可能な学習モデルを用いて、入力された入力情報Ｄ３１からテキストデータの操作指令Ｄ３２を生成してもよい。また、学習モデル部３００は、例えば、画像データを生成可能な学習モデルを用いて、入力された入力情報Ｄ３１から画像データの操作指令Ｄ３２を生成してもよい。また、学習モデル部３００は、例えば、音声データを生成可能な学習モデルを用いて、入力された入力情報Ｄ３１から音声データの操作指令Ｄ３２を生成してもよい。

【0198】

ステップＳ３１１において、さらに学習モデル部３００の前処理部１０５および／または後処理部１０６が、上述した処理を行ってもよい。

【0199】

学習モデル部３００から出力された操作指令Ｄ３２は、例えば、出力インタフェース３１２を介して所定の出力先に出力される。ここで、所定の出力先は、対象機器２、コントローラ４、所定の表示器７（不図示）、ユーザ１の操作端末（不図示）、または物理的なものではなく、ホログラムやプロジェクション等空間プロジェクション表示器であってもよい。所定の出力先に操作指令Ｄ３２が入力されると、入力された操作指令Ｄ３２に従って対象機器２が操作される（ステップＳ３１２）。

【0200】

例えば、出力インタフェース３１２は、操作指令Ｄ３２を対象機器２に向けて出力してもよい。この場合、操作指令Ｄ３２（例えば、操作命令、操作信号、操作コード、制御命令、制御信号または制御コードなど）を受け付けた対象機器２が、操作指令Ｄ３２に従って実際の制御を実行してもよい。また、出力インタフェース３１２は、操作指令Ｄ３２を対象機器２に対応するコントローラ４に向けて出力してもよい。この場合、操作指令Ｄ３２（例えば、コントローラ４に対するコマンド、操作命令、操作信号、操作コード等の、対象機器２にとって間接的な制御情報）を受け付けたコントローラ４が、操作指令Ｄ３２に従って対象機器２を操作してもよい。コントローラ４は、受け付けた操作指令Ｄ３２で示される制御情報に基づき、制御コード等の直接的な制御情報を対象機器２に出力することで対象機器２を操作してもよい。ここで、コントローラ４は、例えば、対象機器２に備え付けられた操作盤であってもよいし、ユーザが直接操作する対象機器２に対応するリモートコントローラであってもよい。コントローラ４には、対象機器２固有のものと、汎用のものとが含まれる。また、出力インタフェース３１２は、操作指令Ｄ３２をユーザ１の操作端末または所定の表示器に向けて出力してもよい。この場合、操作指令Ｄ３２（例えば、操作方法を示す情報等）を受け付けたユーザ１の操作端末または表示器が操作指令Ｄ３２を表示する。そして、ユーザ１が表示された操作指令Ｄ３２を参照して、対象機器２またはコントローラ４を操作してもよい。

【0201】

出力先への操作指令Ｄ３２の入力は、制御システム３０００（より具体的に学習モデル部３００またはその動作環境である情報処理装置１０）から直接入力されてもよいし、通信ネットワークや他の機器（サーバ、各種の変換装置等）を介して間接的に入力されてもよい。

【0202】

これにより、対象機器２が、操作指令Ｄ３２に従って動作する。

【0203】

制御システム３０００は、操作指令Ｄ３２を出力した結果、対象機器２が操作されるなどして対象機器２の状態に変化がある。状態が変化した対象機器２からフィードバックがある場合には、制御システム３０００は、状態情報Ｄ３５およびフィードバック情報Ｄ３６を取得してもよい（ステップＳ３１３）。なお、ステップＳ３１３の処理は必須ではなく、適宜省略されうる。

【0204】

制御システム３０００は、ステップＳ３１０～ステップＳ３１３の処理を、複数回（例えば、対象機器２に対して所望の操作が完了するまで）繰り返してもよい。

【0205】

以上のように、本実施の形態によれば、ユーザ１が対象機器２に対する具体的な操作方法を知らなくても、ユーザ１から入力される入力情報Ｄ３１から操作指令Ｄ３２を生成し、生成された操作指令Ｄ３２に基づいて対象機器２を操作できるので、対象機器２の操作にかかる作業の効率化および高度化を図ることができる。

【0206】

また、本実施の形態によれば、あいまいな情報からでも、適切な状態に機器を操作することができる。また、本実施の形態によれば、機器に依存せず、その機器の操作方法を学習しなくても、適切な状態に機器を操作することができる。

【0207】

また、ユーザにとっては簡単な操作であっても、複数の操作を要する複雑な命令が入力される場合がある。このような命令の入力の例として、例えば、「午前中は湿気の少ない自然の状態で午後から涼しくする」といった自然言語での命令の入力があげられる。また、「希望する部屋の温度および湿度の変化をグラフで表した画像」といった画像による命令の入力があげられる。このように複数の操作を要する複雑な命令が入力された場合でも、学習モデル部によれば、命令を実現するための対象機器における一連の制御である順次制御を示す情報を出力することができる。よって、本実施の形態によれば、ユーザによる作業の効率化もしくは高性能化をより図ることができる。

【0208】

変形例３－１．
次に、制御システム３０００の変形例を説明する。図１６は、本実施の形態にかかる制御システム３０００の変形例である制御システム３０００ａの例を示す構成図である。なお、制御システム３０００と同じ要素については、同じ符号を付し説明を省略する。

【0209】

図１６に示す制御システム３０００ａは、さらに入力判断部３１を備えている。入力判断部３１は、入力情報Ｄ３１を受け付けると、入力情報Ｄ３１を解析して、入力情報Ｄ３１に対する制御先を切り替える手段である。本変形例において、入力判断部３１は、入力情報Ｄ３１に対する制御先を、学習モデル部３００と、出力インタフェース３１２あるいは出力インタフェースを介した対象機器２との間で切り替える。

【0210】

入力判断部３１は、命令ルールを用いて、入力情報Ｄ３１（第１の情報）により示される命令が命令ルールに含まれる命令に合致するか否かを判定する。
命令ルールとは、機器に対する命令と、その命令を実現するためにその機器に送信する制御コードとを対応付けた情報である。命令ルールには、例えば、対象機器２に対する命令と、対象機器２の制御コードとが対応付けられている。なお、命令ルールにおいて、対象機器２に対する命令には、入力情報Ｄ３１として入力される形式の情報が設定される。また、命令ルールにおいて、対象機器２に対する命令に対応付けられる情報、すなわち対象機器２の制御コードは、操作指令Ｄ３２として出力される形式の情報であればよい。例えば、命令ルールにおいて、対象機器２に対する命令に対応付けられる情報は、制御信号やパラメータなどでもよい。

【0211】

入力判断部３１は、入力情報Ｄ３１により示される命令が命令ルールに含まれる命令に合致すれば、入力情報Ｄ３１により示される命令に対応する制御コードを、出力インタフェース３１２を介して対象機器２に出力する。また、入力判断部３１は、入力情報Ｄ３１により示される命令が命令ルールに含まれる命令に合致しなければ、入力情報Ｄ３１を学習モデル部３００に出力する。

【0212】

あるいは、入力判断部３１は、対象機器２に対する命令が対象機器２の制御コードに対応するか否かを機械学習により判定してもよい。
そして、入力判断部３１は、入力情報Ｄ３１により示される命令が対象機器２の制御コードに対応すると判定されると、入力情報Ｄ３１により示される命令に対応する制御コードを、出力インタフェース３１２を介して対象機器２に出力する。また、入力判断部３１は、入力情報Ｄ３１により示される命令が対象機器２の制御コードに対応しないと判定されると、入力情報Ｄ３１を学習モデル部３００に出力する。
さらに、以下に説明する。

【0213】

入力判断部３１は、例えば、入力情報Ｄ３１が対象機器２に対する操作の命令ルールに合致しているか否かによって、入力情報Ｄ３１に対する制御先を切り替えてもよい。入力判断部３１は、入力情報Ｄ３１が対象機器２に対する操作の命令ルールに合致している場合には、入力情報Ｄ３１をそのまま出力インタフェース３１２に入力してもよい。一方、入力判断部３１は、入力情報Ｄ３１が対象機器２に対する操作の命令ルールに合致していない場合には、入力情報Ｄ３１を学習モデル部３００に入力してもよい。

【0214】

操作の命令ルールに合致しているか否かは、例えば、ルールベースで記述されるモデルを用いて判断してもよい。ここで、入力判断部３１は、学習モデル部３００に対して相対的に軽量な学習モデルであってもよい。すなわち、学習モデル部３００で用いられるモデルを上位ＡＩとすると、入力判断部３１にて用いられるモデルはより軽量で処理能力が低い下位ＡＩであってもよい。このように、制御システム３０００ａでは、下位ＡＩと上位ＡＩが協働して処理を行ってもよい。

【0215】

出力インタフェース３１２には、操作指令Ｄ３２として考えられる複数の出力をその妥当性で順位付けし、妥当性の高いものから低いものへ並べたり、妥当性の高いものを妥当性の低いものより、大きな文字や面積で表示してもよい。

【0216】

以下、出力インタフェース３１２において入力される情報を区別するために、学習モデル部３００から出力される操作指令Ｄ３２を操作指令Ｄ３２ａと呼び、出力インタフェース３１２に出力される入力情報Ｄ３１を操作指令Ｄ３２ｂと呼ぶ場合がある。

【0217】

本例において、出力インタフェース３１２は、操作指令Ｄ３２ａまたは操作指令Ｄ３２ｂを受け付けて、所定の出力先に出力するインタフェースであればよい。

【0218】

次に、本変形例の制御システム３０００ａの動作を説明する。図１７は、制御システム３０００ａの動作例を示すフローチャートである。

【0219】

図１７に示す例では、まず、制御システム３０００ａの入力インタフェース３１１が、入力情報Ｄ３１を受け付ける（ステップＳ３１０）。受け付けた入力情報Ｄ３１は、入力判断部３１に入力される。

【0220】

次いで、入力判断部３１が、入力情報Ｄ３１が対象機器２に対する操作の命令ルールに合致しているか否かを判断する（ステップＳ３２１）。ここで、入力情報Ｄ３１が対象機器２に対する操作の命令ルールに合致していると判断された場合（ステップＳ３２１のＹｅｓ）、入力情報Ｄ３１を出力インタフェース３１２に入力する（ステップＳ３２２に進む）。一方、入力情報Ｄ３１が対象機器２に対する操作の命令ルールに合致していないと判断された場合（ステップＳ３２１のＮｏ）、入力情報Ｄ３１を学習モデル部３００に入力する（ステップＳ３１１に進む）。

【0221】

ステップＳ３１１～ステップＳ３１３の処理は図１５に示す例と同様である。

【0222】

ステップＳ３２２では、出力インタフェース３１２が、命令ルールにおいて、入力された入力情報Ｄ３１に対応する制御コードといった情報を操作指令Ｄ３２ｂとして所定の出力先に出力する。これにより、対象機器２が、操作指令Ｄ３２ｂに従って動作する。

【0223】

他の点に関しては、本実施の形態にかかる他の制御システムと同様でよい。

【0224】

以上のように、本変形例によれば、ユーザ１からの入力が対象機器２に対する操作の命令ルールに合致している場合には、その入力に従って対象機器２を操作させることができる。一方で、合致していない場合には学習モデルを利用して対象機器２を操作させることができる。このため、対象機器２の操作にかかる作業の効率化および費用の低減化をより図ることができる。

【0225】

変形例３－２．
次に、制御システム３０００の他の変形例を説明する。本変形例では、学習モデルを用いて複数入力の調停を含んだ操作指令を生成する。

【0226】

図１８は、本実施の形態にかかる制御システム３０００の変形例である制御システム３０００ｂの例を示す構成図である。なお、制御システム３０００と同じ要素については、同じ符号を付し説明を省略する。

【0227】

図１８に示す制御システム３０００ｂでは、入力インタフェース３１１が、複数のユーザ１から入力情報Ｄ３１を受け付ける。
例えば、入力インタフェース３１１は、互いに異なるユーザ１－１，１－２，・・・，１－ｎ（ｎは、２以上の自然数）からの複数の命令を複数の入力情報Ｄ３１（第１の情報）として受け付ける。
そして、学習モデル部３００は、複数の入力情報Ｄ３１により示される複数の命令を調停する。学習モデル部３００は、調停の結果、複数の命令を実現する一つの順次制御を示す情報を、操作指令Ｄ３２（第２の情報）として出力する。

【0228】

入力インタフェース３１１は、複数のユーザ１から入力情報Ｄ３１を受け付けて、学習モデル部３００に入力する。このとき、入力インタフェース３１１は、入力元のユーザ１の情報が付された入力情報Ｄ３１を受け付けてもよいし、入力インタフェース３１１が入力元のユーザ１を判別して入力元の情報を付した上で入力情報Ｄ３１を受け付けてもよいし、特に何もせず受け付けてもよい。

【0229】

学習モデル部３００は、入力インタフェース３１１が受け付けた入力情報Ｄ３１群が入力されると、入力情報Ｄ３１群に対応する操作指令Ｄ３２を出力するように構成されたモデルおよびその動作環境であればよい。入力情報Ｄ３１群に対応する操作指令Ｄ３２は、複数の入力情報Ｄ３１により示される複数の命令を実現する一つの順次制御を示す情報である。学習モデル部３００は、入力情報Ｄ３１群が入力されると、入力情報Ｄ３１群、機器情報Ｄ３３および学習モデル部３００において他に参照可能な情報に基づいて、操作指令Ｄ３２を生成して出力するように構成されたモデルおよびその動作環境であってもよい。

【0230】

次に、本変形例の制御システム３０００ｂの動作を説明する。図３３は、制御システム３０００ｂの動作例を示すフローチャートである。

【0231】

入力インタフェース３１１は、複数のユーザ１から、複数の入力情報Ｄ３１を受け付けて、学習モデル部３００に入力する（ステップＳ３３０）。
学習モデル部３００は、複数の入力情報Ｄ３１により示される複数の命令を調停し、複数の命令を実現する一つの順次制御を示す情報を、操作指令Ｄ３２として出力する（ステップＳ３３１）。
ステップＳ３１２～ステップＳ３１３の処理は図１５に示す例と同様である。

【0232】

例えば、学習モデル部３００は、自然言語を入力して出力結果を得るＬＬＭなどの言語学習モデルを用いて、言語空間上（より具体的には、言語空間の情報を有する特徴ベクトル空間上）で好適解を抽出する処理を行うことで、入力情報Ｄ３１群によって示される異なる操作内容に対して折衷案となる操作指令Ｄ３２を生成して出力してもよい。このとき、学習モデル部３００は、入力元のユーザ１ごとの入力情報Ｄ３１の履歴および／または入力元のユーザ１ごとの操作指令Ｄ３２の履歴を参照してもよい。

【0233】

他の点に関しては、本実施の形態にかかる他の制御システムと同様でよい。

【0234】

以上のように、本変形例によれば、複数のユーザから異なる操作内容に関する情報が入力された場合であっても、学習モデル部３００を用いてそれらの内容が調停されたより適切な操作指令Ｄ３２を生成することができるので、対象機器２の操作にかかる作業の高機能化をより図ることができる。

【0235】

本変形例によれば、例えば、熱環境に対する嗜好性が異なる複数のユーザの要望を調停し、複数の要望に対してベストあるいはベターとなるような好適な機器の制御コードやパラメータを出力することができる。学習モデル部では、相反する単語が出てきた場合に、一種の平均化したような出力をするので、相反する単語を両方生かしたような命令を出すことが可能となる。
このように、本変形例にかかる制御システムによれば、調停の結果、より複雑な順次制御を出力することができる。具体的には、「暑いと言っている人（例えば右側）にのみ風をあて、左側は風向を真下に向けて人に当たらないようにし、室温はむしろ０．５℃上げる」といった複雑な順次制御を出力することができる。

【0236】

変形例３－３．
次に、制御システム３０００の他の変形例を説明する。本変形例では、学習モデルを用いて操作画面ユーザインタフェースを生成する。

【0237】

図１９は、本実施の形態にかかる制御システム３０００の変形例である制御システム３０００ｃの例を示す構成図である。なお、制御システム３０００と同じ要素については、同じ符号を付し説明を省略する。

【0238】

図１９に示す制御システム３０００ｃは、操作画面ユーザインタフェース３（図中では、操作画面ＵＩと記す）をさらに備えている。また、学習モデル部３００が、操作指令Ｄ３２として、入力情報Ｄ３１に対応した操作内容の操作を対象機器２に対して実際に行う操作画面を生成する。

【0239】

学習モデル部３００が生成する操作画面は、例えば、操作内容の説明とともに、ユーザからの操作入力を受け付けて、受け付けた操作入力に応じた制御コード等の制御指令Ｄ３４を出力する機能が備えられた画面ＡＰＩであってもよい。ＡＰＩは、Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅの略語である。ここで、操作入力に応じた制御コード等の出力には、１つの操作入力に応じて複数の制御指令Ｄ３４がシーケンシャルに出力される態様も含まれる。また、該操作画面は、２以上の異なる操作内容に対応した操作説明、操作入力受付および制御指令出力を備えた画面ＡＰＩであってもよい。学習モデル部３００は、例えば、入力情報Ｄ３１に対応する操作指令Ｄ３２として２以上の異なる操作内容を示す操作情報を抽出し、それぞれの操作情報に対応する、操作入力受付および制御指令出力を備えた画面ＡＰＩを生成してもよい。

【0240】

また、学習モデル部３００が生成する操作画面は、対応する操作内容に応じた操作箇所が強調して表示される、操作機能が制限されて表示される、画面上のＵＩ部品の位置、形態（形、大きさ、色等）が変更されて表示されるように既存の操作画面の表示態様が変更されたものであってもよい。

【0241】

操作画面ユーザインタフェース３は、対象機器２に対する操作画面を表示し、また当該操作画面上にユーザ操作にかかる入力を受け付けるインタフェースである。操作画面ユーザインタフェース３は、例えば、タッチパネルディスプレイ、操作ボタンと表示部とを備えたコントローラによって実現されてもよい。また、操作画面ユーザインタフェース３は、マウスなどの操作入力装置と連携するディスプレイなどの表示装置によって実現されてもよい。

【0242】

操作画面ユーザインタフェース３は、対象機器２を操作する機器操作装置に備えられていてもよい。操作画面ユーザインタフェース３は、対象機器２を操作する機器操作装置の例であってもよい。また、機器操作装置は、入力インタフェース３１１を備えていてもよい。すなわち、機器操作装置は、ユーザ１による対象機器２への命令を入力するリモートコントローラであってもよい。
また、機器操作装置は、ユーザ１により承認された順次制御を表示画面に表示することにより、ユーザ１による対象機器２に対する命令の入力を支援する機能を有していてもよい。

【0243】

また、本変形例における出力インタフェース３１２は、学習モデル部３００から出力される操作指令Ｄ３２（操作画面）を、操作画面ユーザインタフェース３に出力する。

【0244】

また、本変形例において、学習モデル部３００は、ユーザ１の期待する操作を対話的に確認する機能を有していてもよい。そのような場合において、学習モデル部３００は、例えば、操作指令Ｄ３２としての操作画面を提示した後で、操作指令Ｄ３２の再取得を依頼する旨の情報を受け取ると、入力情報の一部、モデルパラメータの一部もしくは参照情報の参照先の変更等をしたうえで、操作指令Ｄ３２の再取得を行ってもよい。

【0245】

次に、本変形例の制御システム３０００ｃの動作を説明する。図３４は、制御システム３０００ｃの動作例を示すフローチャートである。

【0246】

ステップＳ３１０の処理は、図１５のステップＳ３１０と同様である。
なお、上述したように、機器操作装置は、過去にユーザ１により承認された順次制御を表示画面に表示することにより、ユーザ１による対象機器２に対する命令の入力を支援してもよい。

【0247】

ステップＳ３４１において、学習モデル部３００は、順次制御を示す操作指令Ｄ３２（第２の情報）として順次制御を示す操作画面を生成する。順次制御を示す操作画面とは、順次制御が表示された操作画面である。具体例として、入力情報Ｄ３１「午前中は湿気の少ない自然の状態とし、午後から涼しくする」に対して、次のような順次制御が操作指令Ｄ３２として出力されるものとする。順次制御の例としては、「８：００ＡＭから１２：００ＡＭまでドライの自動運転、０：００ＰＭから５：００ＰＭまで現状より－２℃の自動運転」などがあげられる。学習モデル部３００は、このような順次制御をユーザ１に提示するための操作画面を生成する。

【0248】

ステップＳ３４２において、学習モデル部３００は、操作画面ユーザインタフェース３（機器操作装置）に操作画面を表示する。学習モデル部３００は、操作画面を介してユーザ１に順次制御を承認するか否かを選択させる。

【0249】

ステップＳ３４３において、操作画面ユーザインタフェース３（機器操作装置）において、ユーザ１により順次制御が承認されたか否かが判定される。例えば、操作画面に承認ボタンなどを表示し、承認ボタンが押下された場合に順次制御が承認されたと判定してもよい。
順次制御が承認された場合、処理はステップＳ３４４に進む。
順次制御が承認されない場合、処理はステップＳ３１０に戻る。

【0250】

ステップＳ３４４において、操作画面ユーザインタフェース３（機器操作装置）は、ユーザ１により承認された順次制御を示す対象機器２の制御コードを、対象機器２に送信する。これにより、対象機器２が操作される。

【0251】

ステップＳ３１３の処理は、図１５のステップＳ３１３と同様である。
なお、ステップＳ３１０において、機器操作装置は、ユーザ１により承認された順次制御の情報がフィードバック情報Ｄ３６として取得してもよい。ユーザ１による命令の入力時に、フィードバック情報Ｄ３６を表示画面に表示することにより、ユーザ１による対象機器２に対する命令の入力を支援することができる。

【0252】

次に、本変形例の制御システム３０００ｃの動作の別例を説明する。図３５は、制御システム３０００ｃの動作の別例を示すフローチャートである。
ステップＳ３１０の処理は、図１５のステップＳ３１０と同様である。

【0253】

ステップＳ３５１において、学習モデル部３００は、順次制御の候補一覧を示す操作指令Ｄ３２（操作画面）を第２の情報として生成する。
ステップＳ５２において、学習モデル部３００は、操作画面ユーザインタフェース３（機器操作装置）に操作画面を表示する。学習モデル部３００は、操作画面を介してユーザ１に候補一覧から順次制御を選択させる。

【0254】

ステップＳ３５３において、操作画面ユーザインタフェース３（機器操作装置）において、ユーザ１により候補一覧から順次制御が選択されたか否かが判定される。例えば、候補一覧の各候補に選択ボタンを表示し、選択ボタンが押下された場合に、対応する順次制御が選択されたと判定してもよい。また、何も選択されずに「次へ」ボタンが押下された場合などは、ユーザ１が候補一覧の順次制御をすべて承認しないものと判断してもよい。
順次制御が選択された場合、処理はステップＳ３５４に進む。
順次制御から選択されない場合、処理はステップＳ３１０に戻る。

【0255】

ステップＳ３５４において、操作画面ユーザインタフェース３（機器操作装置）は、ユーザ１により選択された順次制御を示す対象機器２の制御コードを、対象機器２に送信する。これにより、対象機器２が操作される。

【0256】

ステップＳ３１３の処理は、図１５のステップＳ３１３と同様である。

【0257】

以上のように、本変形例では、所望の操作を簡単にもしくはわかりやすく行うことができるよう処置（画面ＡＰＩの構築または表示態様の変更等）が施された操作画面を、学習モデル部３００を用いて生成することができるので、対象機器２の操作にかかる作業の効率化をより図ることができる。また、本変形例によれば、学習モデル部３００が生成した操作指令の説明等をユーザ１が確認しながら実際の操作を行うことができるので、ミスなく操作を実施することができる。
また、本変形例によれば、学習モデル部３００が生成した順次制御の操作指令で、本当に良いかどうかをユーザ１に確認させることができる。よって、対象機器２の状態を、ユーザ１の所望の状態により近付けることができる。

【0258】

例えば、様々な機能をリモートコントローラの画面に配置してしまうと、リモートコントローラの画面が非常に煩雑になるケースがある。本変形例によれば、リモートコントローラの操作画面を、ユーザ１が所望の機能に絞ってシンプルにすることができる。
また、本変形例によれば、ユーザ１がやりたい機能を音声またはテキストで入力すると、該当する制御メニュー、もしくは近い制御メニューの候補を操作画面に表示することができる。これにより、ユーザ１が適切な操作を選べるという効果がある。

【0259】

また、本変形例において、操作画面にいくつか出てくる候補の中から確率の高いものを一番大きく表示し、順に小さく表示するなど、よりユーザ１に適した表示にしてもよい。
順次制御としては、複数操作を一度にまとめたものを表示することが好ましい。順次制御は、例えば、「入りタイマー２時間後に冷房・室温２８℃で運転し、かつ５時間後に電源をＯＦＦする」、「最初冷房運転で強風とするが、１時間後にドライで弱風にきりかえる」といった複数操作を一度にまとめたものとなる。

【0260】

また、本変形例において、入力情報に対応して出力された操作画面に、過去の操作履歴や操作の頻度などから、入力頻度の高い操作指令を候補として操作画面に追加してもよい。なお、機器操作装置（リモートコントローラ）側で操作内容を記憶している場合は、過去の操作履歴を学習モデル部に問い合わせることなく、追加の操作指令を表示することが可能となる。

【0261】

変形例３－４．
次に、制御システム３０００の他の変形例を説明する。本変形例では、学習モデルが環境情報をさらに用いて操作指令を生成する。

【0262】

図２０は、本実施の形態にかかる制御システム３０００の変形例である制御システム３０００ｄの例を示す構成図である。なお、制御システム３０００と同じ要素については、同じ符号を付し説明を省略する。

【0263】

図２０に示す制御システム３０００ｄは、環境情報記憶部３１３（図中では、環境情報ＤＢと記す）をさらに備えている。

【0264】

学習モデル部３００は、対象機器２の環境を表す環境情報Ｄ３３ａに基づいて、特定の環境に対応する順次制御を示す操作指令Ｄ３２（第２の情報）を出力する。
環境情報Ｄ３３ａは、対象機器２の状態、対象機器２の周囲の状態、およびユーザ１のバイタルデータを含むユーザ１の状態の少なくともいずれかを環境として含むものとする。環境情報Ｄ３３ａは、対象機器２の状態、対象機器２の周囲の状態、およびユーザ１のバイタルデータを含むユーザ１の状態の全てを含むものであってもよい。
以下にさらに説明する。

【0265】

環境情報記憶部３１３は、対象機器２の稼働先の環境の情報である環境情報Ｄ３３ａを記憶する。環境情報Ｄ３３ａは、対象機器２が稼働している空間に関する情報を含んでいてもよい。本変形例では、対象機器２が稼働している空間に存在している物または人に関する情報および対象機器２の操作者であるユーザ１も、環境の一部とする。したがって、環境情報Ｄ３３ａは、該物または人もしくはユーザ１に関する情報を含んでいてもよい。

【0266】

環境情報Ｄ３３ａは、例えば、人の属性、温度、位置、姿勢、心拍などの情報を、その人に関する情報として含んでもよい。また、環境情報Ｄ３３ａは、例えば、その空間の所在、温度、湿度、明るさなどの情報を、その空間に関する情報として含んでいてもよい。また、環境情報Ｄ３３ａは、そのような空間または人に関する情報が変化した場合に、その推移を示す情報を保持してもよい。ここで、推移を示す情報は時系列データ、履歴情報とも呼ばれる。環境情報Ｄ３３ａは、例えば、学習モデルのモデル参照情報Ｄ１０４の一部として構成されてもよい。

【0267】

環境情報Ｄ３３ａは、例えば、図示しないセンサ等によって取得されてもよい。

【0268】

学習モデル部３００は、例えば、入力情報Ｄ３１が入力されると、入力情報Ｄ３１、機器情報Ｄ３３、環境情報Ｄ３３ａおよび学習モデル部３００において他に参照可能な情報に基づいて、操作指令Ｄ３２を生成して出力するように構成されたモデルおよびその動作環境である。

【0269】

以上のように、本変形例によれば、学習モデルが、対象機器２が稼働している空間に関する環境情報Ｄ３３ａをも用いて操作指令Ｄ３２を生成することができるので、対象機器２の操作にかかる作業の高機能化をより図ることができる。

【0270】

変形例３－５．
次に、制御システム３０００の他の変形例を説明する。本変形例では、２つの学習モデルを組み合わせて操作指令を生成する。図２１は、本実施の形態にかかる制御システム３０００の変形例である制御システム３０００ｅの例を示す構成図である。なお、制御システム３０００と同じ要素については、同じ符号を付し説明を省略する。

【0271】

図２１に示す制御システム３０００ｅでは、図２０に示した学習モデル部３００に代えて、第１の学習モデル部３００としての学習モデル部３００ａと、第２の学習モデル部３００としての学習モデル部３００ｂとを備える。

【0272】

学習モデル部３００ａは、入力情報Ｄ３１が入力されると、操作情報Ｄ３２０を出力する。学習モデル部３００ａは、入力情報Ｄ３１が入力されると、入力情報Ｄ３１および環境情報Ｄ３３ａに少なくとも基づいて、操作情報Ｄ３２０を生成して出力するように構成されたモデルおよびその動作環境であってもよい。

【0273】

ここで、操作情報Ｄ３２０は、後段の学習モデル部３３０ｂが判別可能な所定の形式で示される対象機器２の操作に関する情報を含む。ここで、操作情報Ｄ３２０は、入力情報Ｄ３１で示される操作内容を、環境情報Ｄ３３ａに応じて補足（追加、修正、取消を含む）した情報であってもよい。操作情報Ｄ３２０は、対象機器２が駆動される空間の状況に合わせて、入力情報Ｄ３１で示される操作内容またはその表現を変化させた情報であってもよい。学習モデル部３００ａは、主に、入力情報Ｄ３１に対してグラウンディングを行うモデルであってもよい。

【0274】

例えば、所望の操作が同じであっても、対象機器２が駆動している環境によって言語表現に差が生じる、事象に対する認識の仕方に差が生じることが考えられる。例えば、方言や言い回しの癖、社内用語や家庭内用語の使用、暑さ／寒さといった知覚の違いなどによって、入力情報Ｄ３１が意味する操作内容が異なる場合がある。

【0275】

学習モデル部３００ａは、例えば、そのような言語表現の違いおよび／または事象に対する認識の違いを吸収してより一般的化または具体化された内容に修正する役目を果たす。学習モデル部３００ａは、参照先のデータベースが制限されるなどローカルな情報をもとに出力結果を得るローカルな学習モデルであってもよい。

【0276】

学習モデル部３００ａによって生成された操作情報Ｄ３２０は、学習モデル部３００ｂに入力される。

【0277】

学習モデル部３００ｂは、基本的には、上述した学習モデル部３００と同様でよい。ただし、入力情報Ｄ３１に代えて、学習モデル部３００ａによって生成された操作情報Ｄ３２０が入力される。

【0278】

学習モデル部３００ｂは、操作情報Ｄ３２０が入力されると、操作指令Ｄ３２を出力する。学習モデル部３００ｂは、操作情報Ｄ３２０が入力されると、操作情報Ｄ３２０、機器情報Ｄ３３および学習モデル部３００ｂにおいて他に参照可能な情報に基づいて、操作指令Ｄ３２を生成して出力するように構成されたモデルおよびその動作環境であってもよい。学習モデル部３００ｂは、外部ネットワークに自由にアクセス可能であるなどグローバルな情報をもとに出力結果を得るグローバルな学習モデルであってもよい。

【0279】

図２２は、本変形例の動作例を示すフローチャートである。図２２に示す例では、制御システム３０００ｅの入力インタフェース３１１が、ステップＳ３１０で入力情報Ｄ３１を受け付けると、入力情報Ｄ３１は、学習モデル部３００ａに入力される。

【0280】

次いで、制御システム３０００ｅは、学習モデル部３００ａを用いた操作情報Ｄ３２０の生成処理を行う（ステップＳ３３１）。ステップＳ３３１では、学習モデル部３００ａ（より具体的には、モデル制御部１０１）が、モデル情報Ｄ１０２および入力された入力情報Ｄ３１、並びに必要に応じて環境情報Ｄ３３ａを含むモデル参照情報Ｄ１０４に基づいて、入力情報Ｄ３１に対応する操作情報Ｄ３２０を生成して出力する。学習モデル部３００ａから出力された操作情報Ｄ３２０は、学習モデル部３００ｂに入力される。

【0281】

次いで、制御システム３０００ｅは、学習モデル部３００ｂを用いた操作指令Ｄ３２の生成処理を行う（ステップＳ３３２）。ステップＳ３３２では、学習モデル部３００ｂ（より具体的には、モデル制御部１０１）が、モデル情報Ｄ１０２および入力された操作情報Ｄ３２０、並びに必要に応じて機器情報Ｄ３３を含むモデル参照情報Ｄ１０４に基づいて、操作情報Ｄ３２０に対応する操作指令Ｄ３２を生成して出力する。

【0282】

以降の処理は、本実施の形態にかかる他の制御システムと同様でよい。

【0283】

以上のように、学習モデル部３００は、第１の学習モデル部３００ａと第２の学習モデル部３００ｂとを備える。第１の学習モデル部３００ａは、入力情報Ｄ３１（第１の情報）を第１の学習モデルに入力し、環境情報Ｄ３３ａに基づいて特定の環境に応じた順次制御を示す操作情報Ｄ３２０を出力する。第２の学習モデル部３００ａは、操作情報Ｄ３２０を第２の学習モデルに入力し、操作情報Ｄ３２０を実現するための対象機器２の制御コードを第２の情報として出力インタフェース３１２を介して対象機器２に出力する。

【0284】

以上のように、本変形例によれば、ユーザ１から入力される入力情報Ｄ３１に対して、言語表現の違いおよび／または事象に対する認識の違いを吸収してより一般的化または具体化された内容に変更した上で、操作指令Ｄ３２を生成することができるので、対象機器２の操作にかかる作業の高機能化をより図ることができる。

【0285】

なお、変形例３－４に示した構成でも、学習モデル部３００が、環境情報Ｄ３３ａ、機器情報Ｄ３３および過去の操作履歴を含むモデル参照情報Ｄ１０４等に基づいて、言語表現の違いおよび／または事象に対する認識の違いを平準化した操作指令Ｄ３２を生成することは可能である。しかし、本変形例によれば、学習モデルの役割を、表現の差の吸収と、操作指令への変換といったように明確に分けることができるので、学習モデルをそれに特化して学習させることができ、学習の規模を抑えるなどコンパクトな設計にできる。

【0286】

変形例３－６．
次に、制御システム３０００の他の変形例を説明する。図３６は、本実施の形態にかかる制御システム３０００の変形例である制御システム３０００ｆの例を示す構成図である。なお、制御システム３０００と同じ要素については、同じ符号を付し説明を省略する。
制御システム３０００ｆでは、制御システム３０００の構成に加え、汎用操作装置４ａと表示形式情報３５０とが備えられている。

【0287】

汎用操作装置４ａは、対象機器２と、対象機器２とは異なる他の機器とを操作可能な汎用の操作装置である。汎用操作装置４ａは、ユーザ１が利用する種類の異なる複数の機器を操作可能であるものとする。例えば、ユーザ１が利用する空気調和機全般、あるいはキッチン家電全般のように、汎用操作装置４ａは、機器の種別ごとに操作することができる操作装置であってもよい。また、ユーザ１が利用する空気調和機、空気清浄機、照明、サーキュレータ、テレビ、およびオーディオ機器といったリビングルームに設置された機器全般を操作することができるといった、エリアごとの操作装置であってもよい。
表示形式情報３５０は、汎用操作装置４ａに表示する表示形式、すなわちフォーマットが格納された情報である。

【0288】

学習モデル部３００は、表示形式情報３５０を用いて、順次制御を示す表示を第２の情報として汎用操作装置４ａの表示画面に表示する。学習モデル部３００は、汎用操作装置４ａの表示画面を介して、変形例３－３の図１９にて説明したようなユーザ１による順次制御の承認あるいは選択を取得し、対象機器２を制御してもよい。
本変形例における汎用操作装置４ａは、変形例３－３にて説明した機器操作装置と同様の機能を有していてもよい。例えば、入力インタフェース３１１と汎用操作装置４ａは、同一機器でもよい。汎用操作装置４ａとして、例えば、マイクと、学習モデル部３００（ＬＬＭ・ＶＬＭ）に問い合わせる通信手段とがあれば、リモートコントローラデバイスとして構成することは可能である。

【0289】

以上のように、本変形例によれば、ユーザ１が慣れ親しんだデバイスにより機器を操作することができ、対象機器の操作にかかる作業の効率化をより図ることができる。

【0290】

変形例３－７．
次に、制御システム３０００の他の変形例を説明する。本変形例では、学習モデルがユーザ履歴情報をさらに用いて操作指令を生成する。

【0291】

図３７は、本実施の形態の変形例３－４にかかる制御システム３０００ｄにおけるさらなる変形例である制御システム３０００ｇの例を示す構成図である。なお、変形例３－４にかかる制御システム３０００ｄ（図２０）と同じ要素については、同じ符号を付し説明を省略する。

【0292】

図３７に示す制御システム３０００ｇは、ユーザ履歴情報記憶部３６０（図中では、ユーザ履歴情報ＤＢと記す）をさらに備えている。

【0293】

学習モデル部３００は、ユーザ１における対象機器２に対する命令の履歴を含むユーザ履歴情報Ｄ３６１に基づいて、ユーザ１に応じた順次制御を示す操作指令Ｄ３２（第２の情報）を出力する。

【0294】

ユーザ履歴情報Ｄ３６１は、例えば、ユーザ１が入力した命令、その際のユーザ１および対象機器２の状態、出力された対象機器２の制御コード、および環境の変化が対応付けられた情報である。
学習モデル部３００は、さらにユーザ履歴情報Ｄ３６１に基づいて、ユーザ１および対象機器２の状態に応じた順次制御を示す操作指令Ｄ３２（第２の情報）を出力する。すなわち、学習モデル部３００は、環境情報Ｄ３３ａおよびユーザ履歴情報Ｄ３６１に基づいて、ユーザ１の状態および嗜好、ならびに対象機器２の状態に応じた順次制御を示す操作指令Ｄ３２（第２の情報）を出力する。

【0295】

学習モデル部３００は、例えば以下のようにユーザ履歴情報Ｄ３６１をユーザ履歴情報記憶部３６０に蓄積する。
（１）入力情報Ｄ３１が入力されると、環境情報Ｄ３３ａに基づいて、その時のユーザ１および対象機器２の状態を取得する。入力情報Ｄ３１と、その時のユーザ１および対象機器２の状態を対応付けてユーザ履歴情報記憶部３６０に格納する。
（２）入力情報Ｄ３１に対して学習モデルから出力された操作指令Ｄ３２を、上記入力情報Ｄ３１等に対応付けてユーザ履歴情報記憶部３６０に格納する。
（３）操作指令Ｄ３２により対象機器２が操作された後のユーザ１および対象機器２の状態を取得して、上記入力情報Ｄ３１等に対応付けてユーザ履歴情報記憶部３６０に格納する。対象機器２が操作された後のユーザ１および対象機器２の状態は、対象機器２のセンサなどにより取得してもよい。
なお、上記（１）から（３）はユーザ履歴情報Ｄ３６１の生成の一例であり、他の方法によりユーザ履歴情報Ｄ３６１を生成してもよい。

【0296】

次に、本実施の形態の制御システム３０００ｇの動作を説明する。図３８は、制御システム３０００ｇの動作例を示すフローチャートである。
ステップＳ３１０，およびステップＳ３１２～ステップＳ３１３の処理は図１５に示す例と同様である。

【0297】

ステップＳ３６１において、学習モデル部３００は、環境情報Ｄ３３ａおよびユーザ履歴情報Ｄ３６１に基づいて、ユーザ１の状態および嗜好、ならびに対象機器２の状態および周囲の状態に応じた順次制御を示す操作指令Ｄ３２（第２の情報）を出力する。

【0298】

学習モデル部３００は、例えば、入力情報Ｄ３１が入力されると、入力情報Ｄ３１、機器情報Ｄ３３、環境情報Ｄ３３ａ、およびユーザ履歴情報Ｄ３６１に基づいて、順次制御を示す操作指令Ｄ３２を生成して出力する。これにより、操作指令Ｄ３２は、対象機器２の状態および周囲の状態、ならびにユーザ１の状態および嗜好に応じた適切なものとなる。

【0299】

また、学習モデル部３００は、他に参照可能な情報に基づいて、操作指令Ｄ３２を生成して出力してもよい。例えば、天候や天気に関する外部情報を参照してもよい。

【0300】

以上のように、本変形例によれば、学習モデルが、環境情報Ｄ３３ａおよびユーザ履歴情報Ｄ３６１をも用いて操作指令Ｄ３２を生成することができる。よって、本変形例によれば、対象機器２の状態および周囲の状態、ユーザ１の状態および嗜好に応じた適切な操作指令Ｄ３２を出力することができる。よって、対象機器２の操作にかかる作業の高精度化および高機能化をより図ることができる。

【0301】

また、本変形例によれば、学習モデルが環境情報およびユーザ履歴情報を用いて、環境ごとのユーザの嗜好を学習することができる。よって、本変形例によれば、ユーザ１にとってより快適な状況を提供することができる。

【0302】

変形例３－８．
次に、制御システム３０００の他の変形例を説明する。本変形例では、２つの学習モデルを組み合わせて操作指令を生成する。図３９にかかる制御システム３０００ｈは、変形例３－５および変形例３－７にかかる制御システム３０００ｅ（図２１）および制御システム３０００ｇ（図３７）の変形例である。なお、制御システム３０００ｅおよび制御システム３０００ｇと同じ要素については、同じ符号を付し説明を省略する。

【0303】

本変形例では、第１の学習モデル部３００ａは、入力情報Ｄ３１を第１の学習モデルに入力し、環境情報Ｄ３３ａとユーザ履歴情報Ｄ３６１とに基づいて、ユーザ１および対象機器２の状態に応じた順次制御を示す操作情報Ｄ３２０を出力する。
第１の学習モデル部３００ｂについては、変形例３－５と同様である。

【0304】

図４０は、本変形例の動作例を示すフローチャートである。
ステップＳ３１０，ステップＳ３１２～ステップＳ３１３の処理は図２２に示す例と同様である。

【0305】

ステップＳ３７１において、制御システム３０００ｈは、第１の学習モデル部３００ａを用いた操作情報Ｄ３２０の生成処理を行う。第１の学習モデル部３００ａが、第１の学習モデルに入力情報Ｄ３１を入力し、入力情報Ｄ３１に対応する操作情報Ｄ３２０を生成して出力する。第１の学習モデルは、環境情報Ｄ３３ａ、ユーザ履歴情報Ｄ３６１、および必要に応じて他の外部情報に基づいて、入力情報Ｄ３１に対応する操作情報Ｄ３２０を出力するモデルである。すなわち、第１の学習モデル部３００ａは、対象機器２の状態および周囲の状態、ユーザ１の状態および嗜好に応じた操作情報Ｄ３２０を出力するように構成されたモデルおよびその動作環境である。第１の学習モデル部３００ａから出力された操作情報Ｄ３２０は、第２の学習モデル部３００ｂに入力される。

【0306】

ステップＳ３７２において、制御システム３０００ｈは、第２の学習モデル部３００ｂを用いた操作指令Ｄ３２の生成処理を行う。第２の学習モデル部３００ｂが、第２の学習モデルに操作情報Ｄ３２０を入力し、操作情報Ｄ３２０に対応する操作指令Ｄ３２を生成して出力する。第２の学習モデルは、機器情報Ｄ３３に基づいて、操作情報Ｄ３２０に対応する操作指令Ｄ３２を出力するモデルである。すなわち、第２の学習モデル部３００ｂは、機器情報Ｄ３３に基づいて、対象機器２の制御コードといった操作指令Ｄ３２を出力するように構成されたモデルおよびその動作環境である。第２の学習モデル部３００ｂから出力された操作指令Ｄ３２は、出力インタフェース３１２に出力される。

【0307】

以上のように、本変形例によれば、ユーザ１および対象機器２における状態や周囲の環境といったユーザ固有の情報を考慮する第１の学習モデルと、対象機器２について汎用の情報を考慮する第２の学習モデルとを切り分けることができる。ここで、第２の学習モデルは、対象機器２について汎用の情報から生成するため、例えば、対象機器２の工場にて搭載することが可能である。一方、ユーザ固有の第１の学習モデルは、ユーザの環境に応じてアップデートされていくモデルである。
ユーザ固有のモデルはユーザに特化したコンパクトなもので実現できるため、カスタマイズし易い。一方、機器汎用のモデルは、全ユーザに対して汎用であるため、大規模となる。
本変形例によれば、ユーザ固有のモデルと、機器汎用のモデルとを別の構成としてるので、メーカにとってはユーザ環境ごとにモデルを用意する必要が無いという効果がある。また、ユーザ固有のモデルのみをアップデートし易くなるため、ユーザにとっては自分専用の信頼感がある制御システムが提供されるという効果がある。

【0308】

以上の実施の形態３，および変形例３－１から３－８において、複数の部分を組み合わせて実施しても構わない。あるいは、これらの実施の形態３，および変形例３－１から３－８のうち、１つの部分を実施しても構わない。その他、これらの実施の形態３，および変形例３－１から３－８を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
すなわち、実施の形態３，および変形例３－１から３－８の自由な組み合わせ、あるいは実施の形態３，および変形例３－１から３－８の任意の構成要素の変形、もしくは実施の形態３，および変形例３－１から３－８において任意の構成要素の省略が可能である。

【0309】

実施の形態４．
次に、本実施の形態４について説明する。本実施の形態では、学習モデルを利用して、ある作業状況の監視にかかる作業を支援する例について説明する。

【0310】

例えば、工場内において、ロボットやＰＬＣなどの制御機器を含むＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）システムの異常を監視することを考える。例えば、制御機器の対象ワークにおいて明らかな設置ミスがあった場合、ルールベース等よる既存の監視アルゴリズムでも対応可能であるが、わずかな設置ミスが引き金となって後工程で異常が発見されるような場合も考えられる。そのような場合に、例えば異常検知をトリガにして解析等を行ったとしても、状況の把握および改善方法の取得を的確に行うことが困難であった。

【0311】

本実施の形態では、比較的小さな不具合が波及して大きな異常となるなど、発生状況が既存のルールに合致せず原因の究明が難しいケースが想定しうる作業環境の監視にかかる作業を支援することで、監視作業の効率化および高性能化を図る。

【0312】

図２３は、実施の形態４にかかる制御システム４０００の例を示す構成図である。図２３に示す制御システム４０００は、学習モデルを利用して、特定の作業状況を監視するための制御システムであって、センサ５と、学習モデル部４００ａと、学習モデル部４００ｂと、機器情報記憶部４１０（図中では機器情報ＤＢと記す）と、モデルインタフェース６（図中ではモデルＩＦと記す）と、表示器７とを備える。

【0313】

センサ５は、監視対象とされる作業の状況を示すデータを取得する。以下、センサ５が取得するデータを、センサデータという。センサデータは、例えば、監視対象とされる作業の様子を撮影した画像データであってもよい。また、センサデータは、例えば、監視対象とされる作業の様子を録音した音声データであってもよい。また、センサデータは、例えば、監視対象とされる作業を行う人または物の位置などの状態を計測した計測データであってもよい。

【0314】

センサ５によるセンサデータの取得は、常に行われることを前提としているが、例えば、人または他の監視システムによって与えられるトリガに基づいて行われてもよい。センサ５によって取得されたセンサデータは、入力情報Ｄ４１として学習モデル部４００ａに入力される。また、入力情報Ｄ４１とされるセンサデータ自体が、人または他の監視システムから与えられてもよい。そのような場合には、センサ５は省略可能である。

【0315】

学習モデル部４００ａは、入力情報Ｄ４１が入力されると、解析結果Ｄ４２ａを出力する。学習モデル部４００ａは、例えば、入力情報Ｄ４１が入力されると、モデル情報Ｄ１０２に基づいて解析結果Ｄ４２ａを出力する。学習モデル部４００ａの構成は、実施の形態１における学習モデル部１００と基本的に同様でよい。

【0316】

本実施の形態において、学習モデル部４００ａは、入力情報Ｄ４１が入力されると、入力情報Ｄ４１に対応する解析結果Ｄ４２ａを出力するように構成されたモデルおよびその動作環境である。また、学習モデル部４００ａは、例えば、入力情報Ｄ４１が入力されると、入力情報Ｄ４１、機器情報Ｄ４３および学習モデル部４００ａにおいて他に参照可能な情報（モデル参照情報Ｄ１０４等）に基づいて、解析結果Ｄ４２ａを生成して出力するように構成されたモデルおよびその動作環境であってもよい。ここで、学習モデル部４００ａは、モデル参照情報Ｄ１０４として、監視対象の作業に関する情報を参照、利用してもよい。監視対象の作業に関する情報は、例えば、当該作業を行う位置、人、物、手順、条件等を示す情報であってもよい。学習モデル部４００ａは、例えば、モデル参照情報Ｄ１０４として、作業に利用される機器の条件、設置環境、操作手順などが記載されたマニュアルをデータ化したものを用いてもよい。

【0317】

本実施の形態において、入力情報Ｄ４１は、監視対象とされる作業の状況を示す情報を含む。ここで、監視対象とされる作業には、人または機器による１以上の作業が含まれる。入力情報Ｄ４１は、例えば、監視対象とされる作業の状況を示す計測値、画像、音声またはそれらの組み合わせであってもよい。入力情報Ｄ４１は、例えば、監視対象とされる複数の作業の状況を示す計測値、画像、音声またはそれらの組み合わせであってもよい。また、入力情報Ｄ４１は、時間的に連続して行われる作業の状況を示す情報を含んでいてもよく、その場合、上述したような状況を示す計測値、画像、音声またはそれらの組み合わせを含む所定のデータ構造の時系列データであってもよい。作業状況の示し方は、学習モデル部４００ａが用いるモデルの入力形式に合致していることを前提とするが、学習モデル部４００ａの前段にエラー処理、補正処理または変換処理が含まれる場合等はこの限りではない。

【0318】

解析結果Ｄ４２ａは、入力情報Ｄ４１で示される作業状況を解析した状況解析結果を示す情報を含む。状況解析結果を示す情報は、入力情報Ｄ４１で示される作業状況において存在している物体（環境）および／または起きている事象を示す情報であってもよい。状況解析結果を示す情報は、入力情報Ｄ４１で示される作業状況の解釈を示す情報ということができる。解析結果Ｄ４２ａは、例えば、入力情報Ｄ４１で示される作業状況の解釈を示すテキストであってもよい。また、解析結果Ｄ４２ａは、例えば、入力情報Ｄ４１で示される作業状況において正常時の状況とは異なる部分に着目して、該部分の解釈を示すテキストであってもよい。なお、解析結果Ｄ４２ａの形式はテキスト以外であってもよい。解析結果Ｄ４２ａは、後段の学習モデル部４００ｂが判別可能な所定の形式で記述されていれば、特に形式は限定されず、例えばテキスト、画像、音声またはそれらを組み合わせた形式であってもよい。

【0319】

作業状況の解釈例としては、該作業状況に存在している物体をその属性を用いて表現する、該作業状況において生じた事象を、５Ｗ１Ｈまたは７Ｗ１Ｈなどの所定の構文形式で表現する、もしくはそのような具体化表現にしたうえでさらに要約する、などが挙げられる。そのほかにも、該作業状況において行われている作業を複数の視点に分解して解釈して、視点ごとに表現する、該作業状況において行われている作業が複数の小作業またはステップを含む場合に、対象作業を小作業単位またはステップ単位に分解して小作業ごともしくはステップごとに説明する、などが挙げられる。解析結果Ｄ４２ａは、このような、入力情報Ｄ１１で示される作業状況に対して具体化、細分化および／または特異点抽出に、さらに所定の形式での表現化が加わったものといえる。このように解析結果Ｄ４２ａでは、作業状況が分かりやすく、整理された状態で表現される。

【0320】

学習モデル部４００ｂは、解析結果Ｄ４２ａが入力されると、解析結果Ｄ４２ｂを出力する。学習モデル部４００ｂは、例えば、解析結果Ｄ４２ａが入力されると、モデル情報Ｄ１０２に基づいて解析結果Ｄ４２ｂを出力する。学習モデル部４００ｂの構成は、実施の形態１における学習モデル部１００と基本的に同様でよい。

【0321】

本実施の形態において、学習モデル部４００ｂは、解析結果Ｄ４２ａが入力されると、解析結果Ｄ４２ａに対応する解析結果Ｄ４２ｂを出力するように構成されたモデルおよびその動作環境である。また、学習モデル部４００ｂは、例えば、解析結果Ｄ４２ａが入力されると、解析結果Ｄ４２ａ、機器情報Ｄ４３および／または当該学習モデル部において参照可能な情報（モデル参照情報Ｄ１０４等）に基づいて、解析結果Ｄ４２ｂを生成して出力するように構成されたモデルおよびその動作環境であってもよい。

【0322】

解析結果Ｄ４２ｂは、学習モデル部４００ａによる作業状況の解析結果から導き出される作業状況の改善方法を示す情報を含む。作業状況の改善方法を示す情報は、正常でない状態を正常に回復させるための回復方法を示す情報であってもよいし、人が困っている、機器が止まっているなど、監視対象とされる作業が行われている環境（作業環境）において何らかの問題が発生している場合にその問題の解決方法を示す情報であってもよい。

【0323】

改善方法を示す情報は、例えば、該方法を示すテキスト、画像または音声であってもよいし、該方法の実施先とされる機器（対象機器２）に対する制御指令（例えば、命令、制御信号、制御コードなど）、該方法を記述した手順書、シーケンス図、ソースコード、実行コードまたは該方法をコントローラに実行させるためのコントローラコマンドであってもよい。改善方法を示す情報は、該方法を示すテキスト、画像、音声、所定の設計言語で記述されたデータ、制御記述（ソースコードおよび所定のプログラミングプラットフォーム言語で記述された情報を含む）、その他のプラットフォーム言語で記述された情報、制御指令（制御命令、制御信号、制御コードおよびコントローラコマンドを含む）、実行コードおよびそれらのうちの２以上の要素の組み合わせであってもよい。所定の設計言語としては、例えば、ＵＭＬ（Ｕｎｉｆｉｅｄ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）が挙げられるが、この限りではない。

【0324】

以下では、学習モデル部４００ａを第１の学習モデル部４００と呼び、解析結果Ｄ４２ａを第１の解析結果Ｄ４２と呼ぶ場合がある。また、学習モデル部４００ｂを第２の学習モデル部４００と呼び、解析結果Ｄ４２ｂを第２の解析結果Ｄ４２と呼ぶ場合がある。

【0325】

既に説明したように、解析結果Ｄ４２ａは、入力情報Ｄ４１で示される作業状況の状況解析結果を示す情報を含む。したがって、学習モデル部４００ｂは、解析結果Ｄ４２ａで示される状況解析結果に対応する解析結果Ｄ４２ｂを出力するように構成されたモデル、およびその動作環境であってもよい。ここで、状況解析結果を示す情報が、入力情報Ｄ４１で示される作業状況を解説したテキストである場合、学習モデル部４００ｂは、作業状況を解説したテキストに対応する解析結果Ｄ４２ｂを出力するように構成されたモデル、およびその動作環境であってもよい。

【0326】

機器情報記憶部４１０および機器情報Ｄ４３の取り扱いは、実施の形態１における機器情報記憶部１１０および機器情報Ｄ１３と基本的に同様である。なお、本実施の形態では、機器情報記憶部４１０は、対象機器２として、監視対象とされる作業に関係する機器に関する情報である機器情報Ｄ４３を記憶する。ここで、作業に関係する機器には、広く上述した状況解析および改善方法の導出に必要とされる機器が含まれる。より具体的に、該作業に用いられる機器だけでなく、該作業を行う人または機器に影響を与える機器が含まれる。作業を行う人または機器に影響を与える機器は、より具体的には、作業を行う人または機器に直接または間接的に変化をもたらす機器であってもよい。一例として、該作業に直接用いられる機器（加工機、搬送機などの各種機械および作業台、工具などの道具類も含む）、該該作業に直接用いられる機器を制御する機器（電源、リレー、スイッチ、コントローラなど）、作業環境に変化をもたらす機器（照明機器、空調機器、掃除機、清浄器など）が挙げられる。

【0327】

機器情報Ｄ４３は、例えば、学習モデル部４００ａおよび／または学習モデル部４００ｂがモデル出力データＤ１０３（解析結果Ｄ４２ａ，解析結果Ｄ４２ｂ）を出力する際の追加情報として用いられる。以下、本実施の形態において、特に対象機器２の状態を示す情報を、状態情報Ｄ４５という場合がある。

【0328】

本実施の形態において、学習モデル部４００ａは、画像を入力して出力結果を得るＶＬＭなどの画像学習モデルおよびその動作環境であってもよい。また、学習モデル部４００ａは、例えば、自然言語と画像を入力して出力結果を得るマルチモーダルモデルおよびその動作環境であってもよい。また、学習モデル部４００ｂは、例えば、自然言語を入力して出力結果を得るＬＬＭなどの言語学習モデルおよびその動作環境であってもよい。その場合において、入力情報Ｄ４１は、テキストデータ、画像データ、テキストデータと画像データの組み合わせ、またはそれらに変換可能なデータ形式（音声データ、音声データと画像データの組み合わせである動画など）で入力されてもよい。なお、本実施の形態で用いる学習モデルは上述したモデルに限定されない。

【0329】

モデルインタフェース６は、学習モデル部４００ａおよび学習モデル部４００ｂからモデル出力データ（解析結果Ｄ４２ａおよび解析結果Ｄ４２ｂ）を受け付けると、所定の出力先に出力するインタフェースである。モデルインタフェース６は、例えば、学習モデル部４００ａおよび学習モデル部４００ｂから出力されるモデル出力データを所定の出力先に合致したデータに変換して出力するインタフェースであってもよい。モデルインタフェース６は、例えば、上述した出力部１０３の一例として備えられてもよい。本実施の形態では、モデルインタフェース６の出力先として、対象機器２および表示器７を含む。

【0330】

モデルインタフェース６は、例えば、解析結果Ｄ４２ａに含まれる状況解析結果と、解析結果Ｄ４２ｂに含まれる改善方法とを示す結果情報Ｄ４４ａを表示器７に出力するとともに、解析結果Ｄ４２ｂに含まれる改善方法を示す結果情報Ｄ４４ｂを対象機器２に出力してもよい。このとき、モデルインタフェース６は、解析結果Ｄ４２ａおよび／または解析結果Ｄ４２ｂから一部のデータを取り出して、出力先に合致したデータ形式に変換した上で結果情報Ｄ４４ａおよび結果情報Ｄ４４ｂとして出力してもよい。

【0331】

なお、図２３に示す例では、モデルインタフェース６の出力先として、対象機器２と表示器７とを示しているが、モデル出力データの出力先は上記に限られない。例えば、出力対象とされるモデル出力データが示す状況の改善方法に、対象機器２に対する制御を示す情報が含まれる場合、モデルインタフェース６は、例えば、該方法の実施先としての対象機器２に直接、モデル出力データまたは該方法を示す情報を出力する以外に、対象機器２が受け付け可能な情報に変換する変換装置（不図示）にモデル出力データまたは該方法を示す情報を出力することも可能である。該変換装置は、例えば、入力された情報を対象機器２が判別可能な制御記述または実行コードに変換する実施の形態１の制御システム１０００であってもよい。

【0332】

また、モデルインタフェース６自体が、変換装置の機能を有していてもよい。例えば、モデルインタフェース６は、モデル出力データの出力コントロールだけでなく、学習モデル部４００ｂが出力した改善方法をインタプリタで実行可能なコードに変換し、変換したコードを出力またはコードに基づいて機器を制御する機能を有していてもよい。また、モデルインタフェース６は、改善方法の中で緊急度が高い処理が含まれている場合に、直ちに該処理を実行するなど処理フローを制御する機能を有していてもよい。また、モデルインタフェース６は、表示器７で表示した方法の提案に対する回答など、表示器７の表示を経て入力されるプロンプトを、学習モデル部４００ｂに伝達する機能を有していてもよい。

【0333】

また、モデルインタフェース６は、上述した出力確認部２０２および修正確認部２０３の機能を有していてもよい。例えば、モデルインタフェース６は、解析された状況の緊急度を判断し、緊急度が高くないと判断した場合に、改善方法の妥当性を監視者への問い合わせもしくはシミュレータ等を用いて確認し、改善方法が妥当でなければその旨を学習モデル部４００ｂに伝達して再度改善方法の出力を促してもよい。その際、モデルインタフェース６は、対象の学習モデル部のモデル入力データに対して補足情報Ｄ４８を発行してもよい。

【0334】

本実施の形態において、入力情報Ｄ４１が学習モデル部４００ａのモデル入力データＤ１０１に相当する。また、解析結果Ｄ４２ａが学習モデル部４００ａのモデル出力データＤ１０３に相当する。また、解析結果Ｄ４２ａが学習モデル部４００ｂのモデル入力データＤ１０１に相当する。また、解析結果Ｄ４２ｂが学習モデル部４００ｂのモデル出力データＤ１０３に相当する。学習モデル部４００ａ（特に、モデル制御部１０１）は、例えば、入力情報Ｄ４１を受け付けると、モデル情報Ｄ１０２および必要に応じてモデル参照情報Ｄ１０４に基づいて、入力情報Ｄ４１に対応する解析結果Ｄ４２ａを出力するよう構成されてもよい。また、学習モデル部４００ｂ（特に、モデル制御部１０１）は、例えば、解析結果Ｄ４２ａを受け付けると、モデル情報Ｄ１０２および必要に応じてモデル参照情報Ｄ１０４に基づいて、解析結果Ｄ４２ａに対応する解析結果Ｄ４２ｂを出力するよう構成されてもよい。

【0335】

また、そのような場合において、学習モデル部４００ａに対応して備えられるモデル生成部１０７は、例えば、モデル制御部１０１に入力されうる入力情報Ｄ４１の候補を含むモデル学習データＤ１０５を用いて機械学習を行って、モデル情報Ｄ１０２を生成または更新してもよいし、モデル制御部１０１に入力されうる入力情報Ｄ４１の候補と、それに対応する解析結果Ｄ４２ａの候補とを含むモデル学習データＤ１０５を用いて機械学習を行って、モデル情報Ｄ１０２を生成または更新してもよい。また、学習モデル部４００ｂに対応して備えられるモデル生成部１０７は、例えば、モデル制御部１０１に入力されうる解析結果Ｄ４２ａの候補を含むモデル学習データＤ１０５を用いて機械学習を行って、モデル情報Ｄ１０２を生成または更新してもよいし、モデル制御部１０１に入力されうる解析結果Ｄ４２ａの候補と、それに対応する解析結果Ｄ４２ｂの候補とを含むモデル学習データＤ１０５を用いて機械学習を行って、モデル情報Ｄ１０２を生成または更新してもよい。

【0336】

図示省略しているが、本実施の形態においても、学習モデル部４００ａおよび学習モデル部４００ｂのモデル出力データＤ１０３および／またはそれを元に生成される情報の出力先から、状態情報Ｄ４５および／またはフィードバック情報Ｄ４６を取得してもよい。制御システム４０００は、例えば、取得した状態情報Ｄ４５および／またはフィードバック情報Ｄ４６を、制御結果を示す情報としてユーザ、学習モデル部４００ａ、学習モデル部４００ｂまたは図示しない他の装置に出力してもよい。また、制御システム４０００は、入力情報Ｄ４１に不明確または不確定な情報が含まれる場合に、ユーザに問合せＤ４７を返すように構成されてもよい。また、制御システム４０００は、取得した状態情報Ｄ４５および／またはフィードバック情報Ｄ４６に基づいて、学習モデル部４００ａおよび学習モデル部４００ｂの入出力データに対する補足情報Ｄ４８を生成して、ユーザ、学習モデル部４００ａ、学習モデル部４００ｂまたは図示しない他の装置に発行することも可能である。状態情報Ｄ４５、フィードバック情報Ｄ４６、問合せＤ４７および補足情報Ｄ４８の取り扱いは、実施の形態１と基本的に同様でよい。ここで、ユーザへの情報の出力は、例えば、表示器７または図示しない情報処理装置１０が備える入出力インタフェースを介して行ってもよい。

【0337】

また、制御システム４０００は、状態情報Ｄ４５および／またはフィードバック情報Ｄ４６を取得し、必要に応じて補足情報Ｄ４８を発行する状態取得部４３０（不図示）をさらに備えてもよい。状態取得部４３０は、実施の形態１の状態取得部１３０と同様である。

【0338】

本実施の形態においても、対象機器２は特に限定されない。なお、対象機器２は、解析結果Ｄ４２ｂを受け取って実際に制御可能な機器であることを前提としているが、対象機器２との間に上述した変換装置を含む場合は、この限りではない。

【0339】

本実施の形態において、制御システム４０００が受け付ける入力情報Ｄ４１は、作業環境における状況（ここでは、監視作業が行われる環境における状況）に関する情報ということができる。したがって、制御システム４０００が受け付ける入力情報Ｄ４１は、作業環境における状況を示す第１の情報の一例ということができる。また、解析結果Ｄ４２ａおよび解析結果Ｄ４２ｂは、そのような入力情報Ｄ４１に対応して、当該作業（監視作業）に用いられる情報ということができる。以下では、入力情報Ｄ４１に基づくモデル入力データが入力される学習モデルの動作環境より所定の出力先に出力される解析結果Ｄ４２ａおよび／または解析結果Ｄ４２ｂを、第２の情報と呼ぶ場合がある。

【0340】

次に、本実施の形態の制御システム４０００の動作を説明する。図２４は、制御システム４０００の動作例を示すフローチャートである。

【0341】

図２４に示す例では、まず、制御システム４０００が、入力情報Ｄ４１を受け付ける（ステップＳ４１０）。例えば、上述した入力部１０２または入力処理部２０１が、入力情報Ｄ４１を受け付けてもよい。受け付けた入力情報Ｄ４１は、モデル入力データＤ１０１として、学習モデル部４００ａに入力される。

【0342】

次いで、制御システム４０００は、学習モデル部４００ａを用いた解析結果Ｄ４２ａの生成処理を行う（ステップＳ４１１）。ステップＳ４１１では、学習モデル部４００ａ（より具体的には、モデル制御部１０１）が、モデル情報Ｄ１０２および入力された入力情報Ｄ４１、並びに必要に応じて機器情報Ｄ４３を含むモデル参照情報Ｄ１０４に基づいて、入力情報Ｄ４１に対応する解析結果Ｄ４２ａを出力する。学習モデル部４００ａは、例えば、テキストデータを生成可能な学習モデルを用いて、入力された入力情報Ｄ４１からテキストデータの解析結果Ｄ４２ａを生成してもよい。

【0343】

ステップＳ４１１において、さらに学習モデル部４００ａの前処理部１０５および／または後処理部１０６が、上述した処理を行ってもよい。

【0344】

学習モデル部４００ａから出力された解析結果Ｄ４２ａは、学習モデル部４００ｂに入力される。また、学習モデル部４００ａから出力された解析結果Ｄ４２ａは、学習モデル部４００ｂおよびモデルインタフェース６に入力される。学習モデル部４００ａから出力された解析結果Ｄ４２ａは、学習モデル部４００ｂを経由してモデルインタフェース６に入力されてもよい。その場合、学習モデル部４００ｂは、解析結果Ｄ４２ａと解析結果Ｄ４２ｂとを含むモデル出力データＤ１０３を出力してもよい。

【0345】

次いで、制御システム４０００は、学習モデル部４００ｂを用いた解析結果Ｄ４２ｂの生成処理を行う（ステップＳ４１２）。ステップＳ４１２では、学習モデル部４００ｂ（より具体的には、モデル制御部１０１）が、モデル情報Ｄ１０２および入力された解析結果Ｄ４２ａ、並びに必要に応じて機器情報Ｄ４３を含むモデル参照情報Ｄ１０４に基づいて、解析結果Ｄ４２ａに対応する解析結果Ｄ４２ｂを出力する。学習モデル部４００ｂは、例えば、テキストデータを生成可能な学習モデルを用いて、入力された解析結果Ｄ４２ａからバイナリデータの解析結果Ｄ４２ｂを生成してもよい。また、学習モデル部４００ｂは、例えば、テキストデータとバイナリデータとを生成可能な学習モデルを用いて、入力された解析結果Ｄ４２ａからテキストデータとバイナリデータの解析結果Ｄ４２ｂを生成してもよい。

【0346】

ステップＳ４１２において、さらに学習モデル部４００ｂの前処理部１０５および／または後処理部１０６が、上述した処理を行ってもよい。

【0347】

学習モデル部４００ｂから出力された解析結果Ｄ４２ｂは、例えば、モデルインタフェース６に入力される。

【0348】

モデルインタフェース６は、学習モデル部４００ａおよび学習モデル部４００ｂによる解析結果に基づき、対象機器２を制御および／または表示器７に情報を表示させる（ステップＳ４１３）。ステップＳ４１３では、例えば、モデルインタフェース６は、所定の出力先に、解析結果Ｄ４２ａと解析結果Ｄ４２ｂとに基づく情報を出力する。モデルインタフェース６は、例えば、解析結果Ｄ４２ａと解析結果Ｄ４２ｂとに基づいて、状況解析結果および改善方法を示す結果情報Ｄ４４ａを表示器７に出力するとともに、解析結果Ｄ４２ｂに基づく改善方法を示す結果情報Ｄ４４ｂを対象機器２に出力する。

【0349】

結果情報Ｄ４４ａは、例えば、文字および音声で、作業環境において発生した状況と改善方法を示すものであってもよい。また、結果情報Ｄ４４ｂは、例えば、文字または制御信号で、改善方法を示すものであってもよい。

【0350】

これにより、表示器７が、結果情報Ｄ４４ａに基づいて、解析結果Ｄ４２ａで示される状況解析結果と、解析結果Ｄ４２ｂで示される改善方法とを表示するとともに、対象機器２が、結果情報Ｄ４４ｂに基づいて、解析結果Ｄ４２ｂで示される改善方法を実施する。表示器７および対象機器２への情報入力は、制御システム４０００（より具体的にモデルインタフェース６）から直接入力されてもよいし、通信ネットワークや他の機器（サーバ、各種の変換装置等）や人の手を介して間接的に入力されてもよい。

【0351】

制御システム４０００は、対象機器２が制御されるなどして対象機器２の状態に変化がある、出力先からフィードバックがある場合、状態情報Ｄ４５およびフィードバック情報Ｄ４６を取得してもよい（ステップＳ４１４）。なお、ステップＳ４１４の処理は必須ではなく、適宜省略されうる。

【0352】

制御システム４０００は、ステップＳ４１０～ステップＳ４１４の処理を、複数回（例えば、対象の作業環境において所望の状態になるまで）繰り返してもよい。

【0353】

以上のように、本実施の形態によれば、状況の把握と改善方法の取得とを、異なる学習モデルを用いて２段階で行っているので、最終的な生成物の精度を向上させることができ、その結果、作業状況の監視にかかる作業の効率化を図ることができる。

【0354】

例えば、状況把握を行う場面では、「何かおかしなことが発生した」といった、作業環境において正常でない状態を広く検知することが重要となる。一方で、改善方法を取得する場面では、「この機械を止めて、ワークの位置をＡ地点に移動させ、機械の状態を状態Ｂに戻した上で再稼働させる」といった具体的な情報が重要となる。

【0355】

このような抽出したい情報すなわち目的とされる情報の抽象度が異なる場合に、１つの学習モデルで一緒に学習・抽出しようとすると、出力結果の精度が落ちることが懸念される。特に、改善方法の取得においては、作業環境の知識・情報をもとに具体的な方法の提示が求められる。そのような場合、学習モデルを分けて適切なドメイン知識（環境情報）を与えてあげることで、出力精度をより確実に向上させることができる。

【0356】

また、状況の把握と改善方法の取得という異なるタスクに対する解を１つの学習モデルで得ようとした場合、ハルシネーションの問題が顕著になることが考えられる。これは、一方のタスク（改善方法の取得）の解が尤もらしく見えるように他方のタスク（状況の把握）の解を調整する機能が、モデルアルゴリズムの中で暗黙に働く可能性があるからである。本実施の形態によれば、このようなハルシネーションの問題に対しても効果を生じる。すなわち、状況の把握と改善方法の取得という２つのタスクに対応して、学習モデルを分けることで、それぞれの学習モデルに入るモーダルを抑え、その結果ハルシネーションの大きさを抑えることができるので、最終的な生成物の精度を向上させることができる。

【0357】

さらに、本実施の形態では、学習モデル部４００ａおよび学習モデル部４００ｂの出力結果である解析結果Ｄ４２ａおよび解析結果Ｄ４２ｂを言語化して表示器７に表示させることができるので、人がその内容を確認することで、ハルシネーションを抑制して、より確実に状況改善のための方法を実現させることができる。

【0358】

なお、本実施の形態の制御システム４０００は、上述した工場内における機器の制御システムの監視だけでなく、例えば、物流システムにおける物流対象の監視にも適用できる。

【0359】

変形例４－１．
次に、制御システム４０００の変形例を説明する。図２５は、本実施の形態にかかる制御システム４０００の変形例である制御システム４０００ａの例を示す構成図である。なお、制御システム４０００と同じ要素については、同じ符号を付し説明を省略する。

【0360】

図２５に示す制御システム４０００ａでは、異なる方法で状況の解析および改善を行う２つの解析手段を備え、発生した状況に応じて、適宜用いる解析手段を切り替える点が制御システム４０００と異なる。

【0361】

図２５に示す制御システム４０００ａは、上述した学習モデル部４００ａおよび学習モデル部４００ｂを用いて状況の解析と改善方法の取得を行う部分を、第１の解析部４１－１として、さらに、第２の解析部４１－２と、切替部４２と、出力切替スイッチ４３とを備えている。

【0362】

第２の解析部４１－２は、第１の解析部４１－１とは異なる方法で、入力情報Ｄ４１に対して状況の解析および改善方法の取得を行う手段であれば特に問わない。一例として、第２の解析部４１－２は、ルールベースで状況の解析および改善方法の取得を行う手段であってもよい。第２の解析部４１－２は、例えば、入力情報Ｄ４１が入力されると、入力情報Ｄ４１が予め定められた異常のパターンに合致するか否かを判定し、いずれかの異常のパターンと合致した場合に、その異常のパターンに応じた改善方法を取得してもよい。第２の解析部４１－２は、少なくとも状況の改善方法を含む解析結果Ｄ４２ｃを出力する。

【0363】

解析結果Ｄ４２ｃは、例えば、上述の結果情報Ｄ４４ａに相当する情報と、結果情報Ｄ４４ｂに相当する情報とを含んでいてもよい。本変形例では、解析結果Ｄ４２ｃは、少なくとも第２の解析部４１－２によって得られた改善方法を示す結果情報Ｄ４４ｂを含む。

【0364】

本変形例において、第２の解析部４１－２は、例えば、作業環境内に配されているＰＬＣ、情報処理装置等に実装されるなどにより、内部の実行モジュールとして実現されてもよい。

【0365】

切替部４２は、所定の条件に従い、入力情報Ｄ４１に対する制御先を切り替える手段である。本変形例において、切替部４２は、入力情報Ｄ４１に対する制御先を、第１の解析部４１－１と、第２の解析部４１－２との間で切り替える。切替部４２は、例えば、入力情報Ｄ４１が既存のルールに合致しているか否かによって、入力情報Ｄ４１に対する制御先を切り替えてもよい。このとき、切替部４２は、入力情報Ｄ４１が既存のルールに合致している場合に入力情報Ｄ４１の出力先を第２の解析部４１－２に切り替え、合致していない場合に入力情報Ｄ４１の出力先を第１の解析部４１－１に切り替えることで、制御先を切り替えてもよい。

【0366】

切替部４２は、例えば、監視者からの指示に従い、入力情報Ｄ４１に対する制御先を切り替えてもよい。また、切替部４２は、例えば、時間、作業内容または監視者の有無などによって入力情報Ｄ４１に対する制御先を切り替えてもよい。また、切替部４２は、例えば、作業環境において異常が発生しているか否かによって入力情報Ｄ４１に対する制御先を切り替えてもよい。ここで、作業環境における異常の発生の有無は、例えば、異常信号が発生しているか否かによって判断してもよい。例えば、切替部４２は、異常時に、入力情報Ｄ４１に対する制御先を第１の解析部４１－１に切り替えてもよい。また、切替部４２は、例えば、作業環境において発生している異常の度合いまたは緊急度によって、入力情報Ｄ４１に対する制御先を切り替えてもよい。

【0367】

また、切替部４２は、入力情報Ｄ４１に対する制御先の切替に伴って、第１の解析部４１－１の出力または第２の解析部４１－２の出力と、解析結果の出力先とされる対象機器２および表示器７とを接続する接続路（回路または通信路など）を切り替える出力切替スイッチ４３を制御してもよい。

【0368】

切替部４２は、例えば、入力情報Ｄ４１に対する制御先を第１の解析部４１－１に切り替えた際に、出力切替スイッチ４３を制御して、第１の解析部４１－１の出力と対象機器２および表示器７とを接続する接続路をオンにして、第２の解析部４１－２の出力と対象機器２および表示器７とを接続する接続路をオフにしてもよい。同様に、切替部４２は、例えば、入力情報Ｄ４１に対する制御先を第２の解析部４１－２に切り替えた際に、出力切替スイッチ４３を制御して、第２の解析部４１－２の出力と対象機器２および表示器７とを接続する接続路をオンにして、第１の解析部４１－１の出力と対象機器２および表示器７とを接続する接続路をオフにしてもよい。

【0369】

図２６は、本変形例の動作例を示すフローチャートである。図２６に示す例では、制御システム４０００ａがステップＳ４１０で入力情報Ｄ４１を受け付けると、切替部４２が、所定の条件に従い、入力情報Ｄ４１に対する制御先を切り替える（ステップＳ４２１）。図２６に示す例では、切替部４２は、入力情報Ｄ４１が既存のルールに合致しているか否かを判断し、合致していないと判断した場合には（ステップＳ４２１のＮｏ）、第１の解析処理に進む（ステップＳ４２２）。一方、入力情報Ｄ４１が既存のルールに合致していると判断した場合には、（ステップＳ４２１のＹｅｓ）、第２の解析処理に進む（ステップＳ４２３）。

【0370】

ステップＳ４２２の第１の解析処理では、第１の解析部４１－１としての学習モデル部４００ａおよび学習モデル部４００ｂが、状況の解析および改善方法の取得を行う。学習モデル部４００ａおよび学習モデル部４００ｂは、第１の解析処理の結果として、状況の解析結果を含む解析結果Ｄ４２ａおよび該状況の改善方法を含む解析結果Ｄ４２ｂを出力する。

【0371】

ステップＳ４２３の第２の解析処理では、第２の解析部４１－２が、既存のルールに従い、状況の解析および改善方法の取得を行う。第２の解析部４１－２は、例えば、第１の解析処理の結果として、少なくとも状況の改善方法を含む解析結果Ｄ４２ｃを出力する。

【0372】

第１の解析部４１－１または第２の解析部４１－２による解析処理の結果が出力されると、出力切替スイッチ４３の状態に応じて、いずれかの解析処理の結果に基づき、対象機器２を制御および／または表示器７に情報を表示させる（ステップＳ４２４）。

【0373】

本例では、第１の解析部４１－１が解析処理を行う状況では、第１の解析部４１－１の出力と対象機器２および表示器７とを接続する接続路がオンになっている。その場合、モデルインタフェース６が、例えば、解析結果Ｄ４２ａと解析結果Ｄ４２ｂとに基づいて、状況解析結果および改善方法を示す結果情報Ｄ４４ａを表示器７に出力するとともに、解析結果Ｄ４２ｂに基づく改善方法を示す結果情報Ｄ４４ｂを対象機器２に出力してもよい。一方、第２の解析部４１－２が解析処理を行う状況では、第２の解析部４１－２の出力と対象機器２および表示器７とを接続する接続路がオンになっている。その場合、第２の解析部４１－２から出力される解析結果Ｄ４２ｃに基づいて、状況解析結果および改善方法を示す結果情報Ｄ４４ａが表示器７に出力され、および／または改善方法を示す結果情報Ｄ４４ｂが対象機器２に出力されてもよい。

【0374】

表示器７には、例えば、作業員が確認可能な態様で結果情報Ｄ４４ｂが表示されてもよい。その場合、作業員は表示器７に表示された結果情報Ｄ４４ｂを参照して、結果情報Ｄ４４ｂが示す改善方法を確認して、該方法にかかる作業を実施してもよい。また、作業員は、結果情報Ｄ４４ｂが示す改善方法を確認して、その妥当性を判断してもよい。このとき、作業員は、結果情報Ｄ４４ｂが示す改善方法が妥当でない場合には、学習モデル部４００ｂに別の改善方法の取得（モデル出力データの再取得）を促してもよい。学習モデル部４００ｂは、例えば、モデル出力データの再取得を依頼する旨の情報を受け取ると、入力情報の一部、モデルパラメータの一部もしくは参照情報の参照先の変更等をしたうえで、モデル出力データの再取得を行ってもよい。

【0375】

以降の処理は、本実施の形態にかかる他の制御システムと同様でよい。

【0376】

以上のように、本変形例では、異なる方法で状況の解析および改善方法の取得を行う複数の解析部を備え、状況に応じてそれらを切り替えるように構成されている。このため、より状況に合った制御を可能にすることができる。例えば、原因が明確な問題に対しては処理負荷の高い第２の解析部が即座に状況を解析して改善方法を提示・実行させ、原因が明確でない問題に対しては学習モデルを用いた第１の解析部が複雑な状況を解析してより良い改善方法を提示・実行させるといったことが可能となる。

【0377】

なお、上述した例では、第１の解析部４１－１が２つの学習モデルを用いて状況の解析と改善方法の取得を行う例を示したが、第１の解析部４１－１の構成は上述した例に限定されない。例えば、状況の解析が不要な場合には、学習モデル部４００ａを省略することも可能である。また、改善方法の取得が不要な場合には、学習モデル部４００ｂを省略することも可能である。また、状況の解析と改善方法の取得を１つの学習モデル部で行うことも可能である。

【0378】

例えば、第１の解析部４１－１が、入力情報Ｄ４１に基づき、状況の改善方法の取得を行う学習モデル部４００ｂを含む場合において、切替部４２が、異常時に入力情報Ｄ４１に対する制御先を第１の解析部４１－１に切り替えてもよい。その場合、第１の解析部４１－１の学習モデル部４００ｂは、入力情報Ｄ４１が入力されると、入力情報Ｄ４１によって示される異常の発生状況に対応した改善方法を示す情報を出力するよう構成されていればよい。このとき、学習モデル部４００ｂは、当該制御システムがアクセス可能な機器情報記憶部４１０を参照して、該状況に対応した改善方法を示す情報を出力してもよい。

【0379】

実施の形態５．
次に、本実施の形態５について説明する。本実施の形態では、学習モデルを利用して、コールセンタや製品サイトなどにおける、ユーザからの情報発信に対して反応を返す応答作業を支援する例について説明する。ここで、ユーザからの情報発信には、あるサービス、情報、事象または物に関する問い合わせや意見が含まれうる。

【0380】

図２７は、実施の形態５にかかる制御システム５０００の例を示す構成図である。図２７に示す制御システム５０００は、学習モデル部５００と、参照情報記憶部１２と、データベース検索部５１１（図中ではＤＢ検索部と記す）と、コントロール生成部５１２と、音声認識部５１３ｖと、音声合成部５１４ｖとを備える。ここで、参照情報記憶部１２、データベース検索部５１１およびコントロール生成部５１２は、学習モデル部５００の一部として備えられていてもよい。

【0381】

学習モデル部５００は、入力情報Ｄ５１が入力されると、応答内容を示す応答情報Ｄ５２を出力する。学習モデル部５００は、例えば、入力情報Ｄ５１が入力されると、モデル情報Ｄ１０２に基づいて応答情報Ｄ５２を出力する。学習モデル部５００の構成は、実施の形態１における学習モデル部１００と基本的に同様でよい。

【0382】

本実施の形態において、学習モデル部５００は、入力情報Ｄ５１が入力されると、入力情報Ｄ５１に対応する応答情報Ｄ５２を出力するように構成されたモデルおよびその動作環境である。また、学習モデル部５００は、入力情報Ｄ５１が入力されると、入力情報Ｄ５１および学習モデル部５００において他に参照可能な情報に基づいて、応答情報Ｄ５２を生成して出力するように構成されたモデルおよびその動作環境であってもよい。

【0383】

本実施の形態において、入力情報Ｄ５１は、ユーザ１等から発信された内容を示す情報を含む。入力情報Ｄ５１は、作業環境において反応が要求される内容を示す情報を含んでいてもよい。入力情報Ｄ５１は、例えば、あるサービス、情報、事象、物に関する問い合わせまたは意見を示すテキスト、画像、音声またはそれらの組み合わせであってもよい。入力情報Ｄ５１は、例えば、あるサービス、情報、事象、物に関する複数の問い合わせまたは意見を示すテキスト、画像、音声またはそれらの組み合わせであってもよい。また、入力情報Ｄ５１は、時間的に連続する発信内容を示す情報を含んでいてもよく、その場合、上述したような発信内容を示すテキスト、画像、音声またはそれらの組み合わせを含む所定のデータ構造の時系列データであってもよい。発信内容の示し方は、学習モデル部５００が用いるモデルの入力形式に合致していることを前提とするが、学習モデル部５００の前段に、エラー処理、補正処理または変換処理が備えられる場合等はこの限りではない。

【0384】

応答情報Ｄ５２は、入力情報Ｄ５１に含まれる発信内容に対する応答を示す情報を含む。応答情報Ｄ５２は、例えば、入力情報Ｄ５１に含まれる発信内容が示すサービス、情報、事象または物に関する問い合わせまたは意見に対する応答を示す情報であってもよい。

【0385】

参照情報記憶部１２は、学習モデル部５００のモデル制御部１０１が応答情報Ｄ５２を出力するために参照するモデル参照情報Ｄ１０４を記憶する。モデル参照情報Ｄ１０４は、例えば、入力情報Ｄ５１に含まれうるサービス、情報、事象または物にかかわる情報を含む。ここで、参照情報記憶部１２は、特定のサービス、情報、事象または物に関する情報を、モデル参照情報Ｄ１０４として特に記憶してもよい。モデル参照情報Ｄ１０４は、例えば、応答マニュアルをデータ化したものを含んでいてもよい。また、モデル参照情報Ｄ１０４は、例えば、過去に入力された入力情報Ｄ５１またはそれに含まれる発信内容の履歴を含んでいてもよい。このとき、参照情報記憶部１２は、発信元のユーザ１の情報（例えば、ユーザ識別子、ユーザの属性情報等）ととともに、過去に入力された入力情報Ｄ５１またはそれに含まれる発信内容を示す履歴情報を、モデル参照情報Ｄ１０４として記憶してもよい。以下、本実施の形態において、特に発信元のユーザ１の状態を示す情報を、状態情報Ｄ５５という場合がある。

【0386】

データベース検索部５１１は、参照情報記憶部１２およびその他のデータベースの検索エンジンである。データベース検索部５１１は、学習モデル部５００のモデル制御部１０１からの要求に応じて、データベース検索部５１１がアクセス可能に接続されているデータベースを検索して検索結果を出力する。このとき、データベース検索部５１１は、アクセス先のデータベースが制限されていてもよい。

【0387】

コントロール生成部５１２は、学習モデル部５００（特に、モデル制御部１０１）がモデル出力データを生成する際の前提条件を設定するためのインタフェースである。コントロール生成部５１２は、例えば、学習モデル部５００が制御対象とする情報を認識する、および／または出力の傾向を設定するために使用されるインタフェースであってもよい。ここで、制御対象情報は、モデル制御部１０１における制御の焦点を当てる対象を示す情報である。モデル制御部１０１は、例えば、コントロール生成部５１２によって示される制御対象情報に基づいて、モデル入力データＤ１０１からモデル出力データＤ１０３を生成するように構成されてもよい。コントロール生成部５１２は、例えば、ユーザが入力したモデル入力データの一部を、制御対象情報として認識させる、モデル制御部１０１が生成した情報を制御対象情報として認識させる、またはモデル制御部１０１が生成して他の制御部が修正した情報を制御対象情報として認識させてもよい。制御対象情報および／または出力の傾向設定は、ユーザが指定してもよいし、外部の処理部が指定してもよいし、予め定められたアルゴリズムに従いコントロール生成部５１２が指定してもよい。

【0388】

音声認識部５１３ｖは、ユーザ１からの入力に音声形式の入力情報Ｄ５１ｖが含まれている場合に、入力情報Ｄ５１ｖで示される音声を認識して、学習モデル部５００のデータ形式に合致する形式に変換して出力する。音声認識部５１３ｖは、例えば、音声形式の入力情報Ｄ５１ｖをテキスト形式の入力情報Ｄ５１に変換するものであってもよい。

【0389】

音声合成部５１４ｖは、応答情報Ｄ５２で示される内容を音声形式に変換して出力する。音声合成部５１４ｖは、例えば、学習モデル部５００からの出力である応答情報Ｄ５２に音声以外のデータ形式が含まれる場合に、応答情報Ｄ５２で示される該部分の内容を音声形式に変換して出力する。音声合成部５１４ｖは、例えば、応答情報Ｄ５２がデータ形式の指定を含むデータ構造である場合に、該指定において音声形式が指定されているデータ要素を、音声形式に変換して出力するものであってもよい。音声合成部５１４ｖは、例えば、テキスト形式の応答情報Ｄ５２を音声形式の応答情報Ｄ５２ｖに変換するものであってもよい。

【0390】

なお、上述した例では、ユーザ１との入出力に音声形式のデータが用いられる例を示しているが、ユーザ１との入出力に用いられるデータ形式は音声形式に限定されない。その場合、音声認識部５１３ｖおよび音声合成部５１４ｖに代えて、ユーザ１からの入力に用いられるデータ形式を学習モデル部５００の入力に用いられるデータ形式に変換する処理部および学習モデル部５００からの出力に用いられるデータ形式をユーザ１の入力に用いられるデータ形式に変換する処理部を備えればよい。

【0391】

また、学習モデル部５００がユーザ１からの入力に用いられるデータ形式を受付可能な場合は、音声認識部５１３ｖは省略可能である。また、ユーザ１が学習モデル部５００からの出力に用いられるデータ形式を受付可能な場合は、音声合成部５１４ｖは省略可能である。

【0392】

本実施の形態において、入力情報Ｄ５１がモデル入力データＤ１０１に相当する。また、応答情報Ｄ５２がモデル出力データＤ１０３に相当する。学習モデル部５００（特に、モデル制御部１０１）は、例えば、入力情報Ｄ５１を受け付けると、モデル情報Ｄ１０２および必要に応じてモデル参照情報Ｄ１０４に基づいて、入力情報Ｄ５１に対応する応答情報Ｄ５２を出力するよう構成されてもよい。

【0393】

また、そのような場合において、学習モデル部５００に対応して備えられるモデル生成部１０７は、例えば、モデル制御部１０１に入力されうる入力情報Ｄ５１の候補を含むモデル学習データＤ１０５を用いて機械学習を行って、モデル情報Ｄ１０２を生成または更新してもよい。また、モデル生成部１０７は、例えば、モデル制御部１０１に入力されうる入力情報Ｄ５１の候補と、それに対応する応答情報Ｄ５２の候補とを含むモデル学習データＤ１０５を用いて機械学習を行って、モデル情報Ｄ１０２を生成または更新してもよい。

【0394】

図示省略しているが、本実施の形態においても、学習モデル部５００のモデル出力データＤ１０３および／またはそれを元に生成される情報の出力先から、状態情報Ｄ５５および／またはフィードバック情報Ｄ５６を取得してもよい。制御システム５０００は、例えば、取得した状態情報Ｄ５５および／またはフィードバック情報Ｄ５６を、応答結果を示す情報として所定の監督者、学習モデル部５００または図示しない他の装置に出力してもよい。また、制御システム５０００は、入力情報Ｄ５１に不明確または不確定な情報が含まれる場合に、ユーザ１に問合せＤ５７を返すように構成されてもよい。また、制御システム５０００は、取得した状態情報Ｄ５５および／またはフィードバック情報Ｄ５６に基づいて、学習モデル部５００の入出力データに対する補足情報Ｄ５８を生成して、ユーザ１、所定の監督者、学習モデル部５００または図示しない他の装置に発行することも可能である。状態情報Ｄ５５、フィードバック情報Ｄ５６、問合せＤ５７および補足情報Ｄ５８の取り扱いは、実施の形態１と基本的に同様でよい。

【0395】

また、制御システム５０００は、状態情報Ｄ５５および／またはフィードバック情報Ｄ５６を取得し、必要に応じて補足情報Ｄ５８を発行する状態取得部５３０（不図示）をさらに備えてもよい。状態取得部５３０は、実施の形態１の状態取得部１３０と同様である。

【0396】

本実施の形態において、制御システム５０００が受け付ける入力情報Ｄ５１は、作業環境における要求（ここでは、問合せに対して応答作業が行われる環境において応答という反応を要求する発信内容）に関する情報ということができる。したがって、制御システム５０００が受け付ける入力情報Ｄ５１は、作業環境における要求を示す第１の情報の一例ということができる。また、応答情報Ｄ５２は、そのような入力情報Ｄ５１に対応して、当該作業（応答作業）に用いられる情報ということができる。以下では、入力情報Ｄ５１に基づくモデル入力データが入力される学習モデルの動作環境より所定の出力先に出力される応答情報Ｄ５２を、第２の情報と呼ぶ場合がある。

【0397】

次に、本実施の形態の制御システム５０００の動作を説明する。図２８は、制御システム５０００の動作例を示すフローチャートである。

【0398】

図２８に示す例では、まず、制御システム５０００が、入力情報Ｄ５１ｖを受け付ける（ステップＳ５１０）。例えば、上述した入力部１０２または入力処理部２０１が、入力情報Ｄ５１ｖを受け付けてもよい。受け付けた入力情報Ｄ５１ｖは、音声認識部５１３ｖに入力される。

【0399】

音声認識部５１３ｖは、入力情報Ｄ５１ｖを受け付けると、入力情報Ｄ５１ｖに含まれる音声を認識して、学習モデル部５００の入力のデータ形式に合致した入力情報Ｄ５１に変換する（ステップＳ５１１）。変換された入力情報Ｄ５１は、モデル入力データＤ１０１として、学習モデル部５００に入力される。

【0400】

なお、音声認識部５１３ｖが省略される場合、受け付けた入力情報Ｄ５１ｖをモデル入力データＤ１０１として学習モデル部５００に入力してもよい。

【0401】

次いで、制御システム５０００は、学習モデル部５００を用いた応答情報Ｄ５２の生成処理を行う（ステップＳ５１２）。ステップＳ５１２では、学習モデル部５００（より具体的には、モデル制御部１０１）が、モデル情報Ｄ１０２および入力された入力情報Ｄ５１、並びに必要に応じてモデル参照情報Ｄ１０４に基づいて、入力情報Ｄ５１に対応する応答情報Ｄ５２を出力する。

【0402】

ステップＳ５１２において、さらに学習モデル部５００の前処理部１０５および／または後処理部１０６が、上述した処理を行ってもよい。

【0403】

学習モデル部５００から出力された応答情報Ｄ５２は、例えば、音声合成部５１４ｖに入力される（ステップＳ５１３）。音声合成部５１４ｖへの応答情報Ｄ５２の入力は、制御システム５０００（より具体的に学習モデル部５００またはその動作環境としての情報処理装置１０等）から直接入力されてもよいし、通信ネットワークや他の機器（サーバ、各種の変換装置等）や人の手を介して間接的に入力されてもよい。

【0404】

次いで、音声合成部５１４ｖは、入力された応答情報Ｄ５２を音声形式の応答情報Ｄ５２ｖに変換して出力する（ステップＳ５１４）。音声合成部５１４ｖは、例えば、音声以外のデータ形式である応答情報Ｄ５２で示される応答内容を発話する音声を合成することにより、応答情報Ｄ５２ｖを生成してもよい。応答情報Ｄ５２ｖは、入力情報Ｄ５１ｖの発信元であるユーザ１に向けて出力される（ステップＳ５１５）。

【0405】

なお、音声合成部５１４ｖが省略される場合、学習モデル部５００から出力された応答情報Ｄ５２が、入力情報Ｄ５１ｖの発信元であるユーザ１に向けて出力されてもよい。

【0406】

以上のように、本実施の形態では、ユーザ１からの発信情報に対して、オペレータや予め応答する内容が埋め込まれたサイト等を用意しなくても、学習モデル部５００を用いて動的に応答情報Ｄ５２を生成して発信元のユーザに返信できるので、応答作業の効率化および高性能化を図ることができる。

【0407】

変形例５－１．
次に、制御システム５０００の変形例を説明する。図２９は、本実施の形態にかかる制御システム５０００の変形例である制御システム５０００ａの例を示す構成図である。なお、制御システム５０００と同じ要素については、同じ符号を付し説明を省略する。

【0408】

図２９に示す制御システム５０００ａでは、正誤判断部５１５を備える点が、制御システム５０００と異なる。

【0409】

正誤判断部５１５は、学習モデル部５００からの出力である応答情報Ｄ５２が示す内容が正しい内容であるか否かを判定する。正誤判断部５１５は、例えば、応答情報Ｄ５２が示す内容が正しい内容であると判断した場合にのみ、該応答情報Ｄ５２をユーザ１に向けて出力したり、参照情報記憶部１２の内容を更新したりするようにしてもよい。

【0410】

また、正誤判断部５１５は、例えば、応答情報Ｄ５２が示す内容が正しい内容でないと判断した場合には、学習モデル部５００に別の応答情報Ｄ５２の取得（モデル出力データの再取得）を促してもよい。正誤判断部５１５は、例えば、上述した後処理部１０６の一例として備えられてもよい。

【0411】

他の点に関しては、本実施の形態にかかる他の制御システムと同様でよい。

【0412】

以上のように、本変形例によれば、学習モデル部５００からの出力である応答情報が示す内容が正しい内容であるか否かを判定し、その結果に基づいて、ユーザへの出力の有無、応答情報の再取得、参照情報の更新を行うので、応答作業の高性能化をより図ることができる。

【0413】

変形例５－２．
次に、制御システム５０００の第２の変形例を説明する。図３０は、本実施の形態にかかる制御システム５０００の変形例である制御システム５０００ｂの例を示す構成図である。なお、制御システム５０００および制御システム５０００ａと同じ要素については、同じ符号を付して説明を省略する。

【0414】

図３０に示すように、制御システム５０００ｂは、さらに感情判定部５１６を備えていてもよい。

【0415】

感情判定部５１６は、入力情報Ｄ５１その他の情報を用いて、発信元のユーザ１の感情を判定する。また、感情判定部５１６は、学習モデル部５００からの応答情報Ｄ５２をユーザ１に向けて出力した後のユーザ１の感情を判定してもよい。

【0416】

感情判定部５１６によって判定されたユーザ１の感情は、モデル参照情報Ｄ１０４に含まれる状態情報Ｄ５５として学習モデル部５００に入力されてもよいし、参照情報記憶部１２にモデルの入出力のデータとともに履歴として記録されてもよい。

【0417】

参照情報記憶部１２に記録する方法として、例えば、制御システム５０００ｂが、さらに登録判定部５１８を備え、登録判定部５１８が、感情判定部５１６によるユーザ１の感情の判定結果に基づいて、参照情報記憶部１２に記録させるか否かを判定してもよい。

【0418】

登録判定部５１８は、例えば、判定されたユーザ１の感情がポジティブなものであれば、良好事例として、参照情報記憶部１２に、モデルの入出力のデータを履歴情報として記録させてもよい。このとき、登録判定部５１８は、学習モデル部５００からの応答情報Ｄ５２の出力前のユーザ１の感情の判定結果がある場合には、参照情報記憶部１２に、応答前後の感情情報を含むモデルの入出力のデータを履歴情報として記録させてもよい。

【0419】

また、登録判定部５１８は、例えば、判定されたユーザ１の感情がネガティブなものであれば、不良事例として、参照情報記憶部１２にモデルの入出力のデータを履歴情報として記録させてもよい。このとき、登録判定部５１８は、学習モデル部５００からの応答情報Ｄ５２の出力前のユーザ１の感情の判定結果がある場合には、参照情報記憶部１２に、応答前後の感情情報を含むモデルの入出力のデータを履歴情報として記録させてもよい。

【0420】

また、制御システム５０００ｂは、さらに追加学習部５１９を備え、参照情報記憶部１２の内容を更新する際に、更新情報に基づいて、参照情報記憶部１２が記憶するモデル参照情報Ｄ１０４およびその他のモデル制御部１０１が参照する情報を再構築（追加学習）してもよい。

【0421】

また、制御システム５０００ｂは、感情判定部５１６に代えてまたは感情判定部５１６に加えて、評価取得部５１７を備えていてもよい。

【0422】

評価取得部５１７は、ユーザ１に応答情報Ｄ５２の評価を問い合わせ、その回答として評価情報Ｄ５９を取得する。評価情報Ｄ５９は、例えば、上述したユーザ１の感情と同様に、モデルが参照する情報の更新、追加学習等に用いることができる。

【0423】

また、制御システム５０００ｂは、さらにコントロール決定部５２０を備えていてもよい。

【0424】

コントロール決定部５２０は、ユーザ１からの入力情報に対する音声認識結果、感情判定結果および／または応答情報Ｄ５２の評価結果、オペレータ（不図示）からの指示等に基づいて、コントロール生成部５１２に対して制御対象情報の指定および／または出力の傾向設定の指定を行う。ここで、ユーザ１からの入力情報に対する音声認識結果には、ユーザ１の属性、感情、地域、言語、過去の利用の有無、利用頻度などの情報が含まれうる。また、コントロール決定部５２０は、ユーザ１からの入力情報に対する音声認識結果、感情判定結果および／または応答情報Ｄ５２の評価結果、オペレータ（不図示）からの指示等に基づいて、音声合成部５１４ｖに対して合成音声の設定を行ってもよい。

【0425】

コントロール決定部５２０は、例えば、出力の傾向設定の一例として、応答における説明の難易度、話し方（口調やトーン）、言語、文法のレベル、丁寧さ、話し手の立ち位置、話の帰着先などを指定することができる。合成音声の性別、口調、トーンなどを指定することができる。また、コントロール決定部５２０は、例えば、合成音声の設定の一例として、合成音声の性別、話し方、言語、文法のレベル、丁寧さなどを指定することができる。コントロール決定部５２０は、例えば、予め定められた設定ルールに基づいて、これらの設定を行ってもよい。

【0426】

なお、図３０で示した制御システム５０００ｂの要素は、所望の機能に応じて適宜選択可能である。

【0427】

他の点に関しては、本実施の形態にかかる他の制御システムと同様でよい。

【0428】

以上のように、本変形例によれば、コントロール決定部５２０が、制御システム５０００ｂから取得可能な情報等に基づいて、制御対象情報の指定および／または出力の傾向設定の指定を行うので、発信元の要求に合致しやすい応答情報を生成することができる。このため、ユーザへの応答作業の高性能化をより図ることができる。

【0429】

変形例５－３．
次に、制御システム５０００の第３の変形例を説明する。図３１は、本実施の形態にかかる制御システム５０００の変形例である制御システム５０００ｃの例を示す構成図である。なお、制御システム５０００、制御システム５０００ａおよび制御システム５０００ｂと同じ要素については、同じ符号を付して説明を省略する。

【0430】

図３１に示すように、制御システム５０００ｃは、さらに画像解析部５１３ｉ、画像生成部５１４ｉ、プログラム生成部５１４ｐを備えていてもよい。

【0431】

画像解析部５１３ｉは、ユーザ１からの入力に画像形式の入力情報Ｄ５１ｉが含まれている場合に、入力情報Ｄ５１ｉで示される画像を解析して、学習モデル部５００のデータ形式に合致する形式に変換して出力する。画像解析部５１３ｉは、例えば、画像形式の入力情報Ｄ５１ｉをテキスト形式の入力情報Ｄ５１に変換するものであってもよい。

【0432】

画像解析部５１３ｉは、例えば、ユーザ１からの入力に、ユーザ１が所持している製品の操作画面をキャプチャした画像が含まれている場合に、該画像を解析して、どの製品のどの操作画面であるか、どういった操作状態にあるかを特定し、それを説明するテキストに変換して出力してもよい。また、画像解析部５１３ｉは、例えば、ユーザ１からの入力に、ユーザ１が閲覧しているある購入サイトをキャプチャした画像が含まれている場合に、該画像を解析して、どのサイトのどの操作画面であるか、どういった操作状態にあるかを特定し、それを説明するテキストに変換して出力してもよい。

【0433】

画像生成部５１４ｉは、応答情報Ｄ５２に基づいて画像を生成して出力する。画像生成部５１４ｉは、例えば、学習モデル部５００からの出力である応答情報Ｄ５２に画像以外のデータ形式が含まれる場合に、応答情報Ｄ５２で示される該部分の内容を示す画像を生成して出力してもよい。画像生成部５１４ｉは、例えば、応答情報Ｄ５２がデータ形式の指定を含むデータ構造である場合に、該指定において画像形式が指定されているデータ要素を、画像形式に変換して出力するものであってもよい。画像生成部５１４ｉは、例えば、テキスト形式の応答情報Ｄ５２に基づいて、画像形式の応答情報Ｄ５２ｖを生成するものであってもよい。例えば、画像生成部５１４ｉは、入力情報Ｄ５１に含まれる画像に、テキスト形式の応答情報Ｄ５２が示す内容を注釈として付け加える合成処理を行ってもよい。また、テキスト形式の応答情報Ｄ５２に基づいて、画像生成部５１４ｉは、入力情報Ｄ５１に含まれる画像の一部分を強調表示する処理を行ってもよい。画像生成部５１４ｉは、学習モデルを用いて入力情報（応答情報Ｄ５２および必要に応じて入力情報Ｄ５１）から画像を生成するものであってもよい。

【0434】

プログラム生成部５１４ｐは、応答情報Ｄ５２で示される内容を所定のプログラムのデータ形式に変換して出力する。プログラム生成部５１４ｐは、例えば、学習モデル部５００からの出力である応答情報Ｄ５２に所定のプログラムのデータ形式以外のデータ形式が含まれる場合に、応答情報Ｄ５２で示される該部分の内容を所定のプログラムのデータ形式に変換して出力する。プログラム生成部５１４ｐは、例えば、応答情報Ｄ５２がデータ形式の指定を含むデータ構造である場合に、該指定において所定のプログラムのデータ形式が指定されているデータ要素を、所定のプログラムのデータ形式に変換して出力するものであってもよい。プログラム生成部５１４ｐは、例えば、テキスト形式の応答情報Ｄ５２を所定のプログラムのデータ形式の応答情報Ｄ５２ｐに変換するものであってもよい。プログラム生成部５１４ｐは、学習モデルを用いて入力情報から所定のプログラムを生成するものであってもよい。

【0435】

画像解析部５１３ｉによる画像解析処理は、例えば、上述したステップＳ５１１において行われる。また、画像生成部５１４ｉによる画像生成処理およびプログラム生成部５１４ｐによるプログラム生成処理は、例えば、上述したステップＳ５１４において行われる。

【0436】

他の点に関しては、本実施の形態にかかる他の制御システムと同様でよい。

【0437】

以上のように、本変形例によれば、音声だけでなく、音声と画像とによって問い合わせおよび応答を行うことができるので、例えば、操作画面に対する問合せなどに対して、より効果的に応答をすることができる。また、本変形例によれば、音声と画像に加えてプログラムも応答情報として発信元に提供できるので、不具合対応などの問合せに対してより効果的に応答をすることができる。

【0438】

変形例５－４．
次に、制御システム５０００の第４の変形例を説明する。図３２は、本実施の形態にかかる制御システム５０００の変形例である制御システム５０００ｄの例を示す構成図である。なお、制御システム５０００～制御システム５０００ｃと同じ要素については、同じ符号を付して説明を省略する。

【0439】

本変形例では、ユーザ１からの問合せ内容および／または学習モデルからの出力結果をもとに、オペレータ８による応答または別の学習モデルによる応答に切り替える機能を有する。

【0440】

図３２に示すように、制御システム５０００ｄは、呼出確認部５３１と、出力選択部５３２とをさらに備えることができる。

【0441】

ここで、制御システム５０００ｄは、第１の応答機能として学習モデル部５００ａを備えるとともに、第２の応答機能としてオペレータ８およびオペレータ８との通信チャネルを備えているものとする。また、制御システム５０００ｄは、さらに第３の応答機能として学習モデル部５００ａとはアルゴリズムまたは用いるデータが異なる別の学習モデル部５００ｂを備えていてもよい。なお、第２の応答機能として、学習モデル部５００ａとはアルゴリズムまたは用いるデータが異なる別の学習モデル部５００ｂを備えてもよい。その場合、第３の応答機能として、さらに、オペレータ８およびオペレータ８との通信チャネルを備えていてもよい。なお、応答機能の種類および数は特に限定されない。例えば、切り替え先の応答機能は、学習モデルを用いない応答システムであってもよい。

【0442】

本例では、第１の応答機能とされる学習モデル部５００ａが、上述した学習モデル部５００であって、第２の応答機能がオペレータ８およびオペレータ８との通信チャネルであって、第３の応答機能が学習モデル部５００ａとはアルゴリズムまたは用いるデータが異なる別の学習モデル部５００ｂである場合を例に説明する。

【0443】

ここで、学習モデル部５００ａは、参照先のデータベースが制限されるなどローカルな情報をもとに出力結果を得るローカルな学習モデルであってもよく、学習モデル部５００ｂは、外部ネットワークに自由にアクセス可能であるなどグローバルな情報をもとに出力結果を得るグローバルな学習モデルであってもよい。

【0444】

呼出確認部５３１は、ユーザ１からの問合せ内容および／または学習モデルからの出力結果に基づいて、応答処理を行う処理先を切り替える。

【0445】

呼出確認部５３１は、ユーザ１からの問合せ内容および／または学習モデルからの出力結果に基づいて、例えば、第１の応答機能による出力の精度が見込めないと判断された場合に、第２の応答機能としてオペレータ８を呼び出してもよい。呼出確認部５３１は、例えば、オペレータ８との通信チャネルを用いて、オペレータ８を呼び出すとともに、入力情報Ｄ５１をそのオペレータ８の操作機器に入力してもよい。また、呼出確認部５３１は、オペレータ８との通信チャネルを用いて、オペレータ８を呼び出すとともに、入力情報Ｄ５１をそのオペレータ８の操作端末（不図示）に入力してもよい。

【0446】

また、呼出確認部５３１は、さらに第２の応答機能への呼び出しが不能である、または出力の精度が見込めないと判断された場合に、第３の応答機能として、学習モデル部５００ｂを呼び出してもよい。呼出確認部５３１は、例えば、学習モデル部５００ｂとのインタフェースを用いて学習モデル部５００ｂに入力情報Ｄ５１を入力することで、学習モデル部５００ｂを呼び出してもよい。

【0447】

ここで、出力精度の判断は、例えば、応答機能自身が出力する評価値や尤度などを用いて判断してもよいし、上述した信頼性評価を用いて判断してもよい。また、応答機能自身が、分からない旨や他の機能の呼び出しを依頼する旨のメッセージを出力する場合には、そのようなメッセージの有無により判断することも可能である。

【0448】

出力選択部５３２は、呼出確認部５３１による応答処理の切替結果に基づいて、ユーザ１に向けて出力する応答情報Ｄ５２を選択する。出力選択部５３２は、呼出確認部５３１による応答処理の切替結果、応答処理の実行主体が第１の応答機能とされた場合は、第１の応答機能からの出力とされる応答情報Ｄ５２ａを、ユーザ１に向けて出力する。また、出力選択部５３２は、呼出確認部５３１による応答処理の切替結果、応答処理の実行主体が第２の応答機能とされた場合は、第２の応答機能からの出力とされる応答情報Ｄ５２ｂを、ユーザ１に向けて出力する。また、出力選択部５３２は、呼出確認部５３１による応答処理の切替結果、応答処理の実行主体が第３の応答機能とされた場合は、第３の応答機能からの出力とされる応答情報Ｄ５２ｃを、ユーザ１に向けて出力する。

【0449】

出力選択部５３２は、実行主体とされた応答機能と、出力先とされるユーザ１とを接続する接続路（回路または通信路など）を切り替える出力切替スイッチ（不図示）を制御することにより、選択された応答機能からの出力をユーザ１に向けて出力してもよい。

【0450】

ここで、応答機能とユーザ１との接続路には、必要に応じて上述した音声合成部、画像生成部、プログラム生成部などの各種変換装置や所定のインタフェースが含まれうる。

【0451】

例えば、オペレータ８が操作端末を用いて文字入力したものが応答情報Ｄ５２ｂとして出力される場合、応答機能とユーザ１との接続路には、テキストを音声に変換する音声合成部が含まれていてもよい。また、出力選択部５３２は、第２の応答機能等の出力として、第１の応答機能により出力された応答情報Ｄ５２ａを修正したものを受け付けることも可能である。この場合において、オペレータ８の操作端末はテキスト表示部およびテキスト入力部を含み、制御システム５０００ｄは、例えば、オペレータ８の操作端末から出力される応答情報Ｄ５２ｂの一部を修正した応答情報Ｄ５２ｂを受け付けてもよい。

【0452】

他の点に関しては、本実施の形態にかかる他の制御システムと同様でよい。

【0453】

以上のように、本変形例によれば、上述した学習モデル部５００を用いて応答を生成する以外にも、例えば、オペレータによる応答生成や、他の学習モデル（例えば、複数のモデルを接続したタンデム構造モデルや、マルチモーダルモデルや、所定の機器またはサービスに特化して学習されたモデルを含む）を用いて応答を生成させることができるので、ユーザへの応答作業の高性能化をより図ることができる。

【0454】

ロボットへの操作指示や人とロボットとの協調作業などのロボット制御では、その複雑性や高度性は人と機械の相対的関係にも依存する。上述した各実施の形態の構成ならびに各変形例の構成を為すことで、該ロボット制御の複雑性や高度性が改善もしくは軽減されるので、人による機械に対する相対的な操作能力のばらつきを改善、もしくは人による機械に対する操作嗜好性の違いへの反映をより図ることができる。

【0455】

なお、上述した各実施の形態では、着目する作業に応じたシステム構成の一例を例示して説明したが、本開示にかかる制御システムは上述した例に限定されない。例えば、本開示にかかる制御システムは、上述した各実施の形態のうちの１つまたは複数を適宜組み合わせることも可能である。

【0456】

一例として、本開示にかかる制御システムは、実施の形態１の構成と実施の形態４の構成とを組み合わせて、実施の形態４の機能を利用してセンサデータから得られた解決方法を示す情報を、実施の形態１の制御システムに入力してプログラムに変換して対象機器２を直接制御することも可能である。

【0457】

また、各実施の形態および変形例は、上述した例に限定されず、開示の範囲内で適宜変更可能である。

【0458】

また、本開示にかかる制御システムおよび制御方法には、以下の付記に記載の制御システムおよび制御方法が含まれる。

【0459】

（付記１）
機器を用いた人または物による作業を支援するための制御システムであって、
前記作業が行われる環境である作業環境における状況または要望を示す第１の情報の入力を受け付ける入力インタフェースと、
所定の学習モデルに対してアクセス可能に備えられるモデル処理部と、
前記学習モデルからの出力に基づいて、前記作業を支援するための第２の情報を出力する出力インタフェースと、を備え、
前記モデル処理部は、前記第１の情報に基づくモデル入力データを前記学習モデルに入力して、前記学習モデルから前記モデル入力データに対応するモデル出力データを受け付け、
前記モデル出力データは、前記作業に用いられる情報を含み、
前記出力インタフェースは、前記モデル出力データに基づく前記第２の情報を出力する
ことを特徴とする制御システム。
（付記２）
前記第１の情報は、前記機器に対して要求される制御内容または操作内容を示す情報を含み、
前記モデル入力データは、前記第１の情報で示される制御内容または操作内容が前記学習モデルの入力に合致する形式で示されたデータであり、
前記モデル出力データは、前記モデル入力データで示される制御内容または操作内容に対応する、前記機器の制御または操作に用いられる情報を含み、
前記第２の情報は、前記モデル出力データに含まれる前記機器の制御または操作に用いられる情報が、前記出力インタフェースの出力先において判別可能な所定の形式で記述された情報を含む
付記１に記載の制御システム。
（付記３）
前記出力インタフェースの出力先が、前記機器または前記機器に制御を要求するインタフェースであり、
前記機器または前記機器に制御を要求するインタフェースに前記第２の情報が出力された結果、前記機器が制御される
付記２に記載の制御システム。
（付記４）
前記機器が実行可能なコードである実行コードを生成して出力する実行コード生成部をさらに備え、
前記出力インタフェースの出力先が、前記実行コード生成部であり、
前記実行コード生成部に前記第２の情報が出力された結果、生成される実行コードにより、前記機器が制御される
付記２に記載の制御システム。
（付記５）
前記出力インタフェースの出力先が、ユーザが操作する端末であり、
前記端末に前記第２の情報が出力された結果、前記機器が制御される
付記２に記載の制御システム。
（付記６）
前記第１の情報は、前記作業環境における状況を示す情報を含み、
前記モデル入力データは、前記第１の情報で示される前記作業環境の状況が前記学習モデルの入力に合致する形式で示されたデータであり、
前記モデル出力データは、前記モデル入力データで示される前記作業環境の状況の分析結果および／または該状況の改善方法に関する情報を含み、
前記第２の情報は、前記前記作業環境における状況の分析結果および／または該状況の改善方法に関する情報が、前記出力インタフェースの出力先において判別可能な所定の形式で記述された情報を含む
付記１に記載の制御システム。
（付記７）
前記モデル処理部は、第１の学習モデルおよび第２の学習モデルに対してアクセス可能に備えられ、
前記モデル処理部は、前記第１の情報に基づく第１のモデル入力データを、前記第１の学習モデルに入力して、前記第１の学習モデルから前記第１のモデル入力データに対応する第１のモデル出力データを受け付け、
前記モデル処理部は、前記第１のモデル出力データに基づく第２のモデル入力データを前記第２の学習モデルに入力して、前記第２の学習モデルから前記第２のモデル入力データに対応する第２のモデル出力データを受け付け、
前記出力インタフェースは、前記第２のモデル出力データに基づく前記第２の情報を出力する
付記１に記載の制御システム。
（付記８）
前記第１の情報は、前記機器に対して要求される制御内容または操作内容を示す情報を含み、
前記第１のモデル入力データは、前記第１の情報で示される制御内容または操作内容が前記第１の学習モデルの入力に合致する形式で示されたデータであり、
前記第１のモデル出力データは、前記第１のモデル入力データで示される制御内容または操作内容が、より一般的化または具体化されて示される情報を含み、
前記第２のモデル入力データは、前記第１のモデル出力データで示される制御内容または操作内容が前記第２の学習モデルの入力に合致する形式で示されたデータであり、
前記第２のモデル出力データは、前記第２のモデル入力データで示される制御内容または操作内容に対応する、前記機器の制御または操作に用いられる情報を含み、
前記第２の情報は、前記第２のモデル出力データに含まれる前記機器の制御または操作に用いられる情報が、前記出力インタフェースの出力先において判別可能な所定の形式で記述された情報を含む
付記７に記載の制御システム。
（付記９）
前記第１の情報は、前記作業環境における状況を示す情報を含み、
前記第１のモデル入力データは、前記第１の情報で示される前記作業環境の状況が前記第１の学習モデルの入力に合致する形式で示されたデータであり、
前記第１のモデル出力データは、前記モデル入力データで示される前記作業環境の状況の分析結果を含み、
前記第２のモデル入力データは、前記第１のモデル出力データで示される前記作業環境の状況の分析結果が前記第２の学習モデルの入力に合致する形式で示されたデータであり、
前記第２のモデル出力データは、前記第２のモデル入力データで示される前記作業環境の分析結果に対応する、前記作業環境における状況の改善方法に関する情報を含み、
前記第２の情報は、前記第２のモデル出力データに含まれる、少なくとも前記作業環境における状況の改善方法に関する情報が、前記出力インタフェースの出力先において判別可能な所定の形式で記述された情報を含む
付記７に記載の制御システム。
（付記１０）
前記作業は、機器を用いた人または物による応答であり、
前記第１の情報は、前記作業環境において反応が要求される内容である反応要求内容を示す情報を含み、
前記モデル入力データは、前記第１の情報で示される反応要求内容が前記学習モデルの入力に合致する形式で示されたデータであり、
前記モデル出力データは、前記モデル入力データで示される反応要求内容に対応する、前記応答に用いられる情報を含み、
前記第２の情報は、前記モデル出力データに含まれる前記応答に用いられる情報が、前記出力インタフェースの出力先において判別可能な所定の形式で記述された情報を含む
付記１に記載の制御システム。
（付記１１）
前記出力インタフェースの出力先が、操作画面を介して前記機器に制御を要求する画面操作インタフェースであり、
前記モデル出力データは、前記モデル入力データで示される制御内容または操作内容に対応する操作を前記機器に対して実際に行うための操作画面であって、前記出力インタフェースの出力先において判別可能な所定の形式で記述された操作画面の情報を含む
付記３に記載の制御システム。
（付記１２）
前記入力インタフェースは、複数のユーザから、前記作業環境における要望を示す前記第１の情報の入力を受け付け、
前記モデル処理部は、前記複数のユーザから入力された前記第１の情報を含む前記モデル入力データを前記学習モデルに入力して、前記学習モデルから前記モデル入力データに対応する前記モデル出力データを受け付ける
付記１から付記１１のいずれかに記載の制御システム。
（付記１３）
前記学習モデルは、自然言語を入力して出力結果を得る言語学習モデル、画像を入力して出力結果を得る画像学習モデル、および自然言語と画像とを入力して出力結果を得るマルチモーダルモデルである
付記１から付記１２のいずれかに記載の制御システム。
（付記１４）
前記モデル処理部は、第１の学習モデルおよび第２の学習モデルに対してアクセス可能に備えられ、
前記第１の学習モデルおよび前記第２の学習モデルの一方は、参照先のデータベースが内部の情報に制限されるローカルな学習モデルであり、
前記第１の学習モデルおよび前記第２の学習モデルの他方は、参照先のデータベースが内部の情報に制限されないグローバルな学習モデルである
付記１から付記１３のいずれかに記載の制御システム。
（付記１５）
前記モデル処理部は、第１の学習モデルおよび第２の学習モデルに対してアクセス可能に備えられ、
前記第１の学習モデルおよび前記第２の学習モデルの一方は、前記作業環境において特に定めた情報が参照可能な学習モデルであり、
前記第１の学習モデルおよび前記第２の学習モデルの他方は、前記作業環境において特に定めた情報が参照不可能な学習モデルである
付記１から付記１３のいずれかに記載の制御システム。
（付記１６）
前記学習モデルから出力されるモデル出力データに基づいて、前記機器の制御および状態を模擬したシミュレーションを実施する出力確認部を備える
付記１から付記１５のいずれかに記載の制御システム。
（付記１７）
前記出力インタフェースの出力先から収集される情報に基づいて、前記学習モデルの追加学習、または出力した情報の正誤判定、出力する情報のフロー制御が行われる
付記１から付記１６のいずれかに記載の制御システム。
（付記１８）
第の１情報に不明確または不確定な情報が含まれている場合に、入力元に問合せを行う入力処理部を備える
付記１から付記１７のいずれかに記載の制御システム。
（付記１９）
前記問合せには、前記学習モデルの入出力データに対して内容の修正、追加、取消を示す情報が含まれる
付記１から付記１８のいずれかに記載の制御システム。
（付記２０）
前記第１の情報は、前記作業が行われる環境である作業環境における状況または要望を時間の情報とともに示す時系列データである
付記１から付記１９のいずれかに記載の制御システム。
（付記２１）
前記学習モデルの実行環境として、モデルの情報を記憶するモデル情報記憶部と、前記モデル入力データを受け付けて、前記モデル入力データおよび前記モデル情報記憶に記憶されている情報に基づいて、前記モデル出力データを出力するモデル制御部、とを備える
付記１から付記１９のいずれかに記載の制御システム。
（付記２２）
機器を用いた人または物による作業を支援するための制御方法であって、
入力インタフェースが、前記作業が行われる環境である作業環境における状況または要望を示す第１の情報の入力を受け付け、
所定の学習モデルに対してアクセス可能に備えられるモデル処理部が、前記第１の情報に基づくモデル入力データを前記学習モデルに入力して、前記学習モデルから前記モデル入力データに対応するモデル出力データであって、前記作業に用いられる情報を含むモデル出力データを受け付け、
出力インタフェースが、前記学習モデルからの出力に基づき、前記モデル出力データに基づく第２の情報であって前記作業を支援するための第２の情報を出力する
ことを特徴とする制御方法。

【産業上の利用可能性】

【0460】

本開示にかかる制御システムは、人または物による作業を支援する作業支援システムの一部として好適に適用可能である。また、本開示にかかる制御システムは、機器を用いて何らかの制御または作業を行う場合の該機器を制御する制御システムとして好適に適用可能である。ここで、制御システムは、ＦＡ機器を制御する制御システム、家庭やビル内における制御システム、ネットワーク上で情報処理を行うサーバ装置等の情報処理装置を制御する制御システムとしても好適に適用可能である。

【符号の説明】

【0461】

１０００，１０００ａ，１０００ｂ，１０００ｃ，２０００，３０００，３０００ａ，３０００ｂ，３０００ｃ，３０００ｄ，３０００ｅ，４０００，４０００ａ，５０００，５０００ａ，５０００ｂ，５０００ｄ 制御システム、１００，２００，３００，３００ａ，３００ｂ，４００，４００ａ，４００ｂ，５００，５００ａ，５００ｂ 学習モデル部、１０，２０ 情報処理装置、１１ モデル情報記憶部、１２ 参照情報記憶部、１０１ モデル制御部、１０２ 入力部、１０３ 出力部、１０５ 前処理部、１０６ 後処理部、１０７ モデル生成部、１０４，１０４ａ 制御部、２０１ 入力処理部、２０２ 出力確認部、２０３ 修正確認部、１ ユーザ、１ａ 入力元、２ 対象機器、２ａ 出力先、３ 操作画面ユーザインタフェース、４ コントローラ、４ａ 汎用操作装置、４１－１，４１－２ 解析部、４２ 切替部、４３ 出力切替スイッチ、５ センサ、６ モデルインタフェース、７ 表示器、８ オペレータ、１１０，２１０，３１０，４１０ 機器情報記憶部、１２０ 実行コード生成部、２３０ 状態取得部、３１１ 入力インタフェース、３１２ 出力インタフェース、３１３ 環境情報記憶部、３５０ 表示形式情報、３６０ ユーザ履歴情報記憶部、５１１ データベース検索部、５１２ コントロール生成部、５１３ｖ 音声認識部、５１３ｉ 画像解析部、５１４ｖ 画像合成部、５１４ｐ プログラム生成部、５１５ 正誤判断部、５１６ 感情判定部、５１７ 評価取得部、５１８ 登録判定部、５１９ 追加学習部、５３１ 呼出確認部、５３２ 出力選択部、５３３ 出力切替部、Ｄ１０１ モデル入力データ、Ｄ１０２ モデル情報、Ｄ１０３ モデル出力データ、Ｄ１０４ モデル参照情報、Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１，Ｄ５１，Ｄ５１ｖ，Ｄ５１ｉ 入力情報、Ｄ１２ 制御記述、Ｄ２２，Ｄ３４ 制御指令、Ｄ４２ａ，Ｄ４２ｂ 解析結果、Ｄ５２，Ｄ５２ｖ，Ｄ５２ｉ，Ｄ５２ｐ，Ｄ５２ａ，Ｄ５２ｂ，Ｄ５２ｃ 応答情報、Ｄ３２，Ｄ３２ａ，Ｄ３２ｂ 操作指令、Ｄ３２０ 操作情報、Ｄ１３，Ｄ２３，Ｄ３３，Ｄ４３ 機器情報、Ｄ３３ａ 環境情報、Ｄ１４ 実行コード、Ｄ４４ａ，Ｄ４４ｂ 結果情報、Ｄ１５，Ｄ２５，Ｄ３５，Ｄ４５ 状態情報、Ｄ１６，Ｄ２６，Ｄ３６，Ｄ４６ フィードバック情報、Ｄ１７，Ｄ２７，Ｄ３７，Ｄ４７，Ｄ５７ 問合せ、Ｄ１８，Ｄ２８，Ｄ３８，Ｄ４８ 補足情報、Ｄ５９ 評価情報、Ｄ３６１ ユーザ履歴情報。

【要約】

制御システム（３０００）は、ユーザ（１）による対象機器（２）に対する命令である入力情報（Ｄ３１）の入力を受け付ける入力インタフェース（３１１）を備える。入力情報（Ｄ３１）は、対象機器（２）に対する複数の操作から構成される命令を示す情報である。学習モデル部（３００）は、入力情報（Ｄ３１）を学習モデルに入力し、複数の操作を実現するための対象機器（２）における一連の制御である順次制御を示す操作指令（Ｄ３２）を出力する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】