特許 7595818 情報処理装置、制御方法、及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-28

(45)【発行日】2024-12-06

(54)【発明の名称】情報処理装置、制御方法、及び制御プログラム

(51)【国際特許分類】

   B25J 13/06 20060101AFI20241129BHJP

【ＦＩ】

B25J13/06

【請求項の数】 10

(21)【出願番号】P 2024549435

(86)(22)【出願日】2022-11-30

(86)【国際出願番号】 JP2022044205

(87)【国際公開番号】W WO2024116333

(87)【国際公開日】2024-06-06

【審査請求日】2024-08-20

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100116964

【弁理士】

【氏名又は名称】山形 洋一

(74)【代理人】

【識別番号】100120477

【弁理士】

【氏名又は名称】佐藤 賢改

(74)【代理人】

【識別番号】100135921

【弁理士】

【氏名又は名称】篠原 昌彦

(74)【代理人】

【識別番号】100203677

【弁理士】

【氏名又は名称】山口 力

(72)【発明者】

【氏名】飯島 尚仁

(72)【発明者】

【氏名】粟野 智治

(72)【発明者】

【氏名】半田 香

【審査官】松浦 陽

(56)【参考文献】

【文献】特開昭６２－０４４３８４（ＪＰ，Ａ）

【文献】国際公開第２０１９／０５９３６４（ＷＯ，Ａ１）

【文献】特開２００３－１５９６７３（ＪＰ，Ａ）

【文献】中国特許出願公開第１０９２５６００７（ＣＮ，Ａ）

【文献】国際公開第２０１９／０９７６７６（ＷＯ，Ａ１）

【文献】特開２０１８－１５１６８３（ＪＰ，Ａ）

【文献】国際公開第２０１９／１５９２６９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

Ｅ０２Ｆ ９／１６

(57)【特許請求の範囲】

【請求項1】

ロボットを遠隔操作することができる操作者に音を提供する出力装置と通信する情報処理装置であって、
前記操作者の生体情報、前記ロボットの周囲の音を示す音信号を含むロボット情報、前記操作者が前記出力装置を介して音を聞いている音空間である音空間領域を示す情報、作業判定学習済モデル、及びパラメータ決定学習済モデルを取得する取得部と、
前記ロボット情報と前記作業判定学習済モデルとを用いて、前記操作者が前記ロボットを介して作業を行っているか否かを判定する判定部と、
前記操作者が前記ロボットを介して作業を行っている場合、取得された前記生体情報と、過去に取得された生体情報とを用いて、前記操作者の集中度を特定する特定部と、
前記パラメータ決定学習済モデルを用いて、前記音空間領域及び前記集中度に応じた音空間を前記操作者に提供するためのパラメータを決定する決定部と、
前記パラメータに基づいて、前記音信号に対して、信号処理を行い、前記信号処理により得られた音信号を前記出力装置に送信する制御部と、
を有する情報処理装置。

【請求項2】

ロボットを遠隔操作することができる操作者に音を提供する出力装置と通信する情報処理装置であって、
前記操作者の生体情報、前記ロボットの動きに関する情報であるロボット動き情報、前記ロボットの周囲の音を示す音信号、前記操作者が前記出力装置を介して音を聞いている音空間である音空間領域を示す情報、作業判定学習済モデル、パラメータ決定学習済モデル、及び集中度特定学習済モデルを取得する取得部と、
前記ロボットの周囲の音を示す前記音信号と前記作業判定学習済モデルとを用いて、前記操作者が前記ロボットを介して作業を行っているか否かを判定する判定部と、
前記操作者が前記ロボットを介して作業を行っている場合、前記生体情報と、取得された前記ロボット動き情報と、過去に取得されたロボット動き情報と、前記集中度特定学習済モデルとを用いて、前記操作者の集中度を特定する特定部と、
前記パラメータ決定学習済モデルを用いて、前記音空間領域及び前記集中度に応じた音空間を前記操作者に提供するためのパラメータを決定する決定部と、
前記パラメータに基づいて、前記音信号に対して、信号処理を行い、前記信号処理により得られた音信号を前記出力装置に送信する制御部と、
を有する情報処理装置。

【請求項3】

ロボットを遠隔操作することができる操作者に音を提供する出力装置と通信する情報処理装置であって、
前記操作者の生体情報、前記ロボットの周囲の音を示す音信号を含むロボット情報、前記操作者が前記出力装置を介して音を聞いている音空間である音空間領域を示す情報、作業判定学習済モデル、及びパラメータ決定学習済モデルを取得する取得部と、
前記ロボット情報と前記作業判定学習済モデルとを用いて、前記操作者が前記ロボットを介して作業を行っているか否かを判定する判定部と、
前記操作者が前記ロボットを介して作業を行っている場合、取得された前記ロボット情報、及び過去に取得されたロボット情報から得られる前記操作者の作業時間に基づいて、前記操作者の集中度を特定する特定部と、
前記パラメータ決定学習済モデルを用いて、前記音空間領域及び前記集中度に応じた音空間を前記操作者に提供するためのパラメータを決定する決定部と、
前記パラメータに基づいて、前記音信号に対して、信号処理を行い、前記信号処理により得られた音信号を前記出力装置に送信する制御部と、
を有する情報処理装置。

【請求項4】

前記特定部は、前記操作者が前記ロボットを介して作業を行っている場合、取得された前記ロボット情報、及び過去に取得されたロボット情報から得られる前記操作者の作業時間と作業内容とに基づいて、前記操作者の集中度を特定する、
請求項３に記載の情報処理装置。

【請求項5】

ロボットを遠隔操作することができる操作者に音を提供する出力装置と通信する情報処理装置が、
前記操作者の生体情報、前記ロボットの周囲の音を示す音信号を含むロボット情報、前記操作者が前記出力装置を介して音を聞いている音空間である音空間領域を示す情報、作業判定学習済モデル、及びパラメータ決定学習済モデルを取得し、前記ロボット情報と前記作業判定学習済モデルとを用いて、前記操作者が前記ロボットを介して作業を行っているか否かを判定し、前記操作者が前記ロボットを介して作業を行っている場合、取得された前記生体情報と、過去に取得された生体情報とを用いて、前記操作者の集中度を特定し、前記パラメータ決定学習済モデルを用いて、前記音空間領域及び前記集中度に応じた音空間を前記操作者に提供するためのパラメータを決定し、
前記パラメータに基づいて、前記音信号に対して、信号処理を行い、
前記信号処理により得られた音信号を前記出力装置に送信する、
制御方法。

【請求項6】

ロボットを遠隔操作することができる操作者に音を提供する出力装置と通信する情報処理装置が、
前記操作者の生体情報、前記ロボットの動きに関する情報であるロボット動き情報、前記ロボットの周囲の音を示す音信号、前記操作者が前記出力装置を介して音を聞いている音空間である音空間領域を示す情報、作業判定学習済モデル、パラメータ決定学習済モデル、及び集中度特定学習済モデルを取得し、前記ロボットの周囲の音を示す前記音信号と前記作業判定学習済モデルとを用いて、前記操作者が前記ロボットを介して作業を行っているか否かを判定し、前記操作者が前記ロボットを介して作業を行っている場合、前記生体情報と、取得された前記ロボット動き情報と、過去に取得されたロボット動き情報と、前記集中度特定学習済モデルとを用いて、前記操作者の集中度を特定し、前記パラメータ決定学習済モデルを用いて、前記音空間領域及び前記集中度に応じた音空間を前記操作者に提供するためのパラメータを決定し、
前記パラメータに基づいて、前記音信号に対して、信号処理を行い、
前記信号処理により得られた音信号を前記出力装置に送信する、
制御方法。

【請求項7】

ロボットを遠隔操作することができる操作者に音を提供する出力装置と通信する情報処理装置が、
前記操作者の生体情報、前記ロボットの周囲の音を示す音信号を含むロボット情報、前記操作者が前記出力装置を介して音を聞いている音空間である音空間領域を示す情報、作業判定学習済モデル、及びパラメータ決定学習済モデルを取得し、前記ロボット情報と前記作業判定学習済モデルとを用いて、前記操作者が前記ロボットを介して作業を行っているか否かを判定し、前記操作者が前記ロボットを介して作業を行っている場合、取得された前記ロボット情報、及び過去に取得されたロボット情報から得られる前記操作者の作業時間に基づいて、前記操作者の集中度を特定し、前記パラメータ決定学習済モデルを用いて、前記音空間領域及び前記集中度に応じた音空間を前記操作者に提供するためのパラメータを決定し、
前記パラメータに基づいて、前記音信号に対して、信号処理を行い、
前記信号処理により得られた音信号を前記出力装置に送信する、
制御方法。

【請求項8】

ロボットを遠隔操作することができる操作者に音を提供する出力装置と通信する情報処理装置に、
前記操作者の生体情報、前記ロボットの周囲の音を示す音信号を含むロボット情報、前記操作者が前記出力装置を介して音を聞いている音空間である音空間領域を示す情報、作業判定学習済モデル、及びパラメータ決定学習済モデルを取得し、前記ロボット情報と前記作業判定学習済モデルとを用いて、前記操作者が前記ロボットを介して作業を行っているか否かを判定し、前記操作者が前記ロボットを介して作業を行っている場合、取得された前記生体情報と、過去に取得された生体情報とを用いて、前記操作者の集中度を特定し、前記パラメータ決定学習済モデルを用いて、前記音空間領域及び前記集中度に応じた音空間を前記操作者に提供するためのパラメータを決定し、
前記パラメータに基づいて、前記音信号に対して、信号処理を行い、
前記信号処理により得られた音信号を前記出力装置に送信する、
処理を実行させる制御プログラム。

【請求項9】

ロボットを遠隔操作することができる操作者に音を提供する出力装置と通信する情報処理装置に、
前記操作者の生体情報、前記ロボットの動きに関する情報であるロボット動き情報、前記ロボットの周囲の音を示す音信号、前記操作者が前記出力装置を介して音を聞いている音空間である音空間領域を示す情報、作業判定学習済モデル、パラメータ決定学習済モデル、及び集中度特定学習済モデルを取得し、前記ロボットの周囲の音を示す前記音信号と前記作業判定学習済モデルとを用いて、前記操作者が前記ロボットを介して作業を行っているか否かを判定し、前記操作者が前記ロボットを介して作業を行っている場合、前記生体情報と、取得された前記ロボット動き情報と、過去に取得されたロボット動き情報と、前記集中度特定学習済モデルとを用いて、前記操作者の集中度を特定し、前記パラメータ決定学習済モデルを用いて、前記音空間領域及び前記集中度に応じた音空間を前記操作者に提供するためのパラメータを決定し、
前記パラメータに基づいて、前記音信号に対して、信号処理を行い、
前記信号処理により得られた音信号を前記出力装置に送信する、
処理を実行させる制御プログラム。

【請求項10】

ロボットを遠隔操作することができる操作者に音を提供する出力装置と通信する情報処理装置に、
前記操作者の生体情報、前記ロボットの周囲の音を示す音信号を含むロボット情報、前記操作者が前記出力装置を介して音を聞いている音空間である音空間領域を示す情報、作業判定学習済モデル、及びパラメータ決定学習済モデルを取得し、前記ロボット情報と前記作業判定学習済モデルとを用いて、前記操作者が前記ロボットを介して作業を行っているか否かを判定し、前記操作者が前記ロボットを介して作業を行っている場合、取得された前記ロボット情報、及び過去に取得されたロボット情報から得られる前記操作者の作業時間に基づいて、前記操作者の集中度を特定し、前記パラメータ決定学習済モデルを用いて、前記音空間領域及び前記集中度に応じた音空間を前記操作者に提供するためのパラメータを決定し、
前記パラメータに基づいて、前記音信号に対して、信号処理を行い、
前記信号処理により得られた音信号を前記出力装置に送信する、
処理を実行させる制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、制御方法、及び制御プログラムに関する。

【背景技術】

【0002】

操作者がロボットを遠隔操作する技術が知られている。ロボットには、ダミーヘッドが設けられている。ダミーヘッドには、ロボットの周囲の音が入力される。操作者は、ダミーヘッドを介して、ロボットの周囲の音を聞くことができる。ここで、ダミーヘッドに関する技術が提案されている（特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開昭６２－０４４３８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記したように、操作者には、ロボットの周囲の音が提供される。ロボットの周囲の音には、雑音が含まれている。例えば、ロボットが工場に設置されている場合、ロボットの周囲の音には、工場内の雑音が含まれている。雑音は、操作者にとって不必要な音である。不必要な音が操作者に提供されることは、操作者の作業効率を下げる。

【0005】

本開示の目的は、操作者の作業効率を上げることである。

【課題を解決するための手段】

【0006】

本開示の一態様に係る情報処理装置が提供される。情報処理装置は、ロボットを遠隔操作することができる操作者に音を提供する出力装置と通信する。情報処理装置は、前記操作者の生体情報、前記ロボットの周囲の音を示す音信号を含むロボット情報、前記操作者が前記出力装置を介して音を聞いている音空間である音空間領域を示す情報、作業判定学習済モデル、及びパラメータ決定学習済モデルを取得する取得部と、前記ロボット情報と前記作業判定学習済モデルとを用いて、前記操作者が前記ロボットを介して作業を行っているか否かを判定する判定部と、前記操作者が前記ロボットを介して作業を行っている場合、取得された前記生体情報と、過去に取得された生体情報とを用いて、前記操作者の集中度を特定する特定部と、前記パラメータ決定学習済モデルを用いて、前記音空間領域及び前記集中度に応じた音空間を前記操作者に提供するためのパラメータを決定する決定部と、前記パラメータに基づいて、前記音信号に対して、信号処理を行い、前記信号処理により得られた音信号を前記出力装置に送信する制御部と、を有する。

【発明の効果】

【0007】

本開示によれば、操作者の作業効率を上げることができる。

【図面の簡単な説明】

【0008】

【図1】制御システムを示す図である。

【図2】情報処理装置が有するハードウェアを示す図である。

【図3】情報処理装置の機能を示すブロック図である。

【図4】集中度と作業時間との対応関係の例を示すグラフである。

【図5】音が聞こえる方向の例を示す図である。

【図6】音空間領域を２次元で表す場合の例を示す図である。

【図7】強化学習を説明するための図である。

【図8】教師あり学習を説明するための図である。

【図9】ルールベースの例を示す図である。

【図10】情報処理装置で実行される処理の例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。

【0010】

実施の形態１．
図１は、制御システムを示す図である。制御システムは、情報処理装置１００、生体センシングデバイス２００、ロボットセンシングデバイス３００、及び出力装置４００を含む。
情報処理装置１００、生体センシングデバイス２００、ロボットセンシングデバイス３００、及び出力装置４００は、ネットワークを介して通信する。ネットワークは、有線ネットワーク又は無線ネットワークである。

【0011】

制御システムでは、操作者は、ロボットの遠隔操作を行うことができる。
情報処理装置１００は、制御方法を実行する装置である。

【0012】

生体センシングデバイス２００は、操作者の生体情報を計測する。例えば、生体情報は、感覚器、運動器に関する情報である。例えば、感覚器に関する情報は、目の情報、表情、心拍、及び脳波などの情報である。具体的に、目の情報は、視線の方向、目の開き具合、瞳孔の形状、時間当たりの瞬きの回数などである。目の情報及び表情は、カメラから取得できる。心拍は、リストバンド型の計測器から取得できる。脳波は、ユーザの頭部に装着した脳波センサから取得できる。また、例えば、運動器に関する情報は、操作者の骨格の動き、頭部の動きなどの情報である。骨格の動きは、カメラから取得できる。頭部の動きは、ユーザの頭部に装着したセンサから取得できる。

【0013】

ロボットセンシングデバイス３００は、環境情報を含むロボット情報を取得する。環境情報は、ロボットの周囲の環境に関する情報である。例えば、環境情報は、ロボットの周囲の環境を示す画像又は映像である。また、例えば、環境情報は、ロボットの周囲の音を示す音信号である。画像又は映像は、ロボットに搭載されているカメラから取得できる。音信号は、ロボットに搭載されているマルチチャネルマイクから取得できる。ロボット情報には、ロボット位置情報、及びロボット動き情報が含まれてもよい。ロボット位置情報は、ロボットの位置を示す情報である。例えば、ロボット位置情報は、ロボットに搭載されているＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）から取得できる。ロボット動き情報は、ロボットの動きに関する情報である。ロボット動き情報は、操作者がコントローラに入力した内容から取得されてもよい。

【0014】

例えば、出力装置４００は、スピーカ、ヘッドホンなどである。出力装置４００は、操作者に音を提供する。

【0015】

次に、情報処理装置１００が有するハードウェアを説明する。
図２は、情報処理装置が有するハードウェアを示す図である。情報処理装置１００は、プロセッサ１０１、揮発性記憶装置１０２、不揮発性記憶装置１０３、及びインタフェース１０４を有する。

【0016】

プロセッサ１０１は、情報処理装置１００全体を制御する。例えば、プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などである。プロセッサ１０１は、マルチプロセッサでもよい。また、情報処理装置１００は、処理回路を有してもよい。

【0017】

揮発性記憶装置１０２は、情報処理装置１００の主記憶装置である。例えば、揮発性記憶装置１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。不揮発性記憶装置１０３は、情報処理装置１００の補助記憶装置である。例えば、不揮発性記憶装置１０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。
インタフェース１０４は、生体センシングデバイス２００、ロボットセンシングデバイス３００、及び出力装置４００と通信する。

【0018】

次に、情報処理装置１００が有する機能を説明する。
図３は、情報処理装置の機能を示すブロック図である。情報処理装置１００は、記憶部１１０、取得部１２０、判定部１３０、特定部１４０、決定部１５０、及び制御部１６０を有する。

【0019】

記憶部１１０は、揮発性記憶装置１０２又は不揮発性記憶装置１０３に確保した記憶領域として実現してもよい。
取得部１２０、判定部１３０、特定部１４０、決定部１５０、及び制御部１６０の一部又は全部は、処理回路によって実現してもよい。また、取得部１２０、判定部１３０、特定部１４０、決定部１５０、及び制御部１６０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ１０１が実行するプログラムは、制御プログラムとも言う。例えば、制御プログラムは、記録媒体に記録されている。

【0020】

記憶部１１０は、様々な情報を記憶する。
取得部１２０は、操作者の生体情報を生体センシングデバイス２００から取得する。取得部１２０は、ロボット情報をロボットセンシングデバイス３００から取得する。取得部１２０は、他の装置を介して、生体情報及びロボット情報を取得してもよい。
取得部１２０は、生体情報及びロボット情報を取得する度に、生体情報及びロボット情報を記憶部１１０に格納してもよい。これにより、記憶部１１０には、生体情報及びロボット情報が蓄積される。

【0021】

取得部１２０は、音空間領域を示す情報を取得する。音空間領域は、操作者が出力装置４００を介して音を聞いている音空間である。簡単に言えば、音空間領域は、現在、操作者が音を聞いている音空間である。音空間領域の詳細は、後で説明する。なお、取得部１２０は、音空間領域を示す情報を記憶部１１０又は外部装置から取得する。外部装置は、情報処理装置１００に接続可能な装置である。例えば、外部装置は、クラウドサーバである。なお、外部装置の図は、省略されている。

【0022】

また、取得部１２０は、作業判定学習済モデルを取得する。例えば、取得部１２０は、作業判定学習済モデルを記憶部１１０から取得する。また、例えば、取得部１２０は、作業判定学習済モデルを外部装置から取得する。

【0023】

判定部１３０は、ロボット情報と作業判定学習済モデルとを用いて、操作者がロボットを介して作業を行っているか否かを判定する。言い換えれば、判定部１３０は、ロボット情報と作業判定学習済モデルとを用いて、操作者が遠隔操作でロボットを動かしているか否かを判定する。また、判定部１３０は、ロボット情報と作業判定学習済モデルとを用いて、操作者がロボットを介して、特定の作業を行っているか否かを判定すると表現してもよい。例えば、判定部１３０がロボット情報を作業判定学習済モデルに入力することで、作業判定学習済モデルは、操作者がロボットを介して、作業を行っているか否かを示す情報を出力する。判定部１３０は、当該情報に基づいて、操作者がロボットを介して、作業を行っているか否かを判定する。なお、例えば、作業判定学習済モデルは、ロボット情報に含まれている音信号に基づいて、操作者がロボットを介して、作業を行っているか否かを推定する。また、例えば、作業判定学習済モデルは、ロボット情報に含まれているロボット動き情報に基づいて、操作者がロボットを介して、作業を行っているか否かを推定する。

【0024】

特定部１４０は、操作者がロボットを介して作業を行っている場合、生体情報とロボット情報とのうちの少なくとも１つを用いて、操作者の集中度を特定する。

【0025】

集中度の特定方法を説明する。特定部１４０は、取得された生体情報を用いて、集中度を特定する。例えば、特定部１４０は、生体情報と集中度との対応関係を示すテーブルを用いて、取得された生体情報に対応する集中度を特定する。また、例えば、特定部１４０が、取得された生体情報を学習済モデルに入力することで、当該学習済モデルは、集中度を出力してもよい。

【0026】

特定部１４０は、取得された生体情報（すなわち、現在の生体情報）と、過去に取得された生体情報とを用いて、操作者の集中度を特定してもよい。

【0027】

また、特定部１４０は、取得された生体情報と、取得されたロボット情報（すなわち、現在のロボット情報）と、過去に取得されたロボット情報と、学習済モデルとを用いて、操作者の集中度を特定してもよい。ここで、ロボット情報を用いる理由を説明する。ロボット情報に含まれているロボット動き情報が示すロボットの動きと、集中度とには、関係がある。ロボットが無駄のない動きをしている場合、操作者の集中度は、高いと言える。一方、ロボットがぎこちない動き（すなわち、無駄な動き）をしている場合、操作者の集中度は、低いと言える。このように、ロボットの動きと、集中度とには、関係がある。そのため、集中度を特定する際の１つの要素として、ロボット情報を用いることは、高い精度の集中度を得ることができる。

【0028】

また、特定部１４０は、取得されたロボット情報、及び過去に取得されたロボット情報から得られる操作者の作業時間に基づいて、操作者の集中度を特定してもよい。当該集中度の特定では、学習済モデルが用いられてもよい。例えば、特定部１４０が、作業時間を学習済モデルに入力することで、当該学習済モデルは、集中度を出力する。例えば、当該学習済モデルは、集中度と作業時間との対応関係を示す情報を学習することで、得られる。ここで、集中度と作業時間との対応関係の例を示す。

【0029】

図４は、集中度と作業時間との対応関係の例を示すグラフである。図４の縦軸は、集中度を示している。図４の横軸は、作業時間を示している。当該学習済モデルは、グラフが示すような学習データを学習することで、得られる。
また、当該集中度の特定では、集中度を特定可能なテーブルが用いられてもよい。

【0030】

さらに、特定部１４０は、取得されたロボット情報、及び過去に取得されたロボット情報から得られる操作者の作業時間と作業内容とに基づいて、操作者の集中度を特定してもよい。当該集中度の特定では、集中度を特定可能なテーブル又は学習済モデルが用いられてもよい。

【0031】

なお、特定部１４０が学習済モデルを用いる場合、当該学習済モデルは、取得部１２０により取得される。例えば、取得部１２０は、当該学習済モデルを記憶部１１０又は外部装置から取得する。また、当該学習済モデルは、集中度特定学習済モデルとも言う。

【0032】

決定部１５０は、パラメータ決定学習済モデルを用いて、音空間領域及び集中度に応じた音空間を操作者に提供するためのパラメータを決定する。また、この文章は、次のように表現してもよい。決定部１５０は、音空間領域、集中度、及びパラメータ決定学習済モデルを用いて、操作者の作業効率を上げるための音空間を提供するためのパラメータを決定する。

【0033】

詳細には、決定部１５０が音空間領域及び集中度をパラメータ決定学習済モデルに入力することで、パラメータ決定学習済モデルは、当該パラメータを出力する。なお、パラメータ決定学習済モデル及び音空間領域は、後で説明する。
ここで、音が聞こえる方向は、次の図のように表すことができる。

【0034】

図５は、音が聞こえる方向の例を示す図である。図５は、音の聞こえる方向が球面上で表現されている場合を示している。そして、図５では、音の聞こえる方向は、矢印１０で表されている。また、図５は、音空間領域１１で表している。

【0035】

また、音空間領域を２次元で表現した場合を示す。
図６は、音空間領域を２次元で表す場合の例を示す図である。図６では、音空間領域が角度で表されている。例えば、図６では、音空間領域が、９０度又は２７０度で表されている。なお、角度の基準は、操作者の正面方向でもよい。説明を簡単にするために、以下、音空間領域は、２次元で表現されるものとする。

【0036】

次に、パラメータ決定学習済モデルを説明する。パラメータ決定学習済モデルは、取得部１２０により取得される。例えば、取得部１２０は、パラメータ決定学習済モデルを記憶部１１０又は外部装置から取得する。パラメータ決定学習済モデルは、機械学習により得ることができる。例えば、パラメータ決定学習済モデルは、強化学習により、得ることができる。強化学習を、図を用いて説明する。

【0037】

図７は、強化学習を説明するための図である。強化学習における環境部分が、操作者の集中度に相当する。強化学習におけるエージェントが、音空間領域制御器に相当する。
例えば、集中度が高い状態を維持させる場合、集中度が高くなった行動に対して高い報酬が得られるように報酬関数が、設計される。そして、最適方策が、学習される。

【0038】

また、パラメータ決定学習済モデルは、強化学習以外の学習方法により、得られてもよい。例えば、パラメータ決定学習済モデルは、教師あり学習により、得ることができる。教師あり学習を、図を用いて説明する。

【0039】

図８は、教師あり学習を説明するための図である。一定時間における操作者の集中度と傾向との関係を示す状態が、１２種類、作成される。１２種類の状態は、操作者の状態と表現してもよい。機械学習では、一定時間における操作者の集中度が、入力データとして用いられる。また、機械学習では、操作者の状態が、正解ラベルとして用いられる。パラメータは、操作者の状態をもとにルールベースで決定する。ルールベースの例を示す。

【0040】

図９は、ルールベースの例を示す図である。例えば、操作者の状態が“Ｓ２”であり、かつ音空間領域が９０度以下である場合、音空間領域を広げるためのパラメータが出力される。

【0041】

また、次の教師あり学習が行われてもよい。パラメータの時系列データが、入力データとして用いられる。そして、機械学習では、集中度が最も上がると予想されるパラメータが出力されるように、学習が、行われる。
このように、パラメータ決定学習済モデルが、学習により、得られる。

【0042】

ここで、具体例を用いて、パラメータの決定方法を説明する。
例えば、現在の音空間領域が広く（例えば、２７０度）、かつ集中度が低い場合、決定部１５０は、操作者の集中度を高めるために、音空間領域を狭めるためのパラメータを決定する。例えば、決定部１５０は、音空間領域を２７０度から９０度にするためのパラメータを決定する。

【0043】

また、例えば、現在の音空間領域が狭く（例えば、９０度）、かつ集中度が低い場合、操作者が過集中で疲労していると言える。そこで、決定部１５０は、操作者をリラックスさせるために、音空間領域を広げるためのパラメータを決定する。例えば、決定部１５０は、音空間領域を９０度から２７０度にするためのパラメータを決定する。

【0044】

制御部１６０は、決定されたパラメータに基づいて、ロボット情報に含まれる音信号に対して、信号処理を行う。例えば、信号処理は、ビームフォーミング処理、音のマスキング処理などである。これにより、当該音信号は、当該パラメータに応じた音信号に変換される。

【0045】

制御部１６０は、信号処理により得られた音信号を出力装置４００に送信する。これにより、例えば、音空間領域が広い音が提供され、かつ集中度が低い操作者は、音空間領域が狭められた音を聞くことができる。これにより、操作者の集中度が高くなるので、操作者の作業効率が上がる。また、例えば、音空間領域が狭い音が提供され、かつ集中度が低い操作者は、音空間領域が広げられた音を聞くことができる。これにより、操作者がリラックスするので、操作者の作業効率が上がる。

【0046】

次に、情報処理装置１００で実行される処理を、フローチャートを用いて説明する。
図１０は、情報処理装置で実行される処理の例を示すフローチャートである。
（ステップＳ１１）取得部１２０は、生体情報と、ロボット情報と、現在の音空間領域を示す情報とを取得する。
（ステップＳ１２）判定部１３０は、ロボット情報と作業判定学習済モデルとを用いて、操作者がロボットを介して、作業を行っているか否かを判定する。作業が行われている場合、処理は、ステップＳ１３に進む。作業が行われていない場合、処理は、終了する。

【0047】

（ステップＳ１３）特定部１４０は、生体情報とロボット情報とを用いて、操作者の集中度を特定する。
（ステップＳ１４）決定部１５０は、パラメータ決定学習済モデルを用いて、音空間領域及び集中度に応じた音空間を操作者に提供するためのパラメータを決定する。
（ステップＳ１５）制御部１６０は、決定されたパラメータに基づいて、ロボット情報に含まれる音信号に対して、信号処理を行う。
（ステップＳ１６）制御部１６０は、信号処理により得られた音信号を出力装置４００に送信する。

【0048】

実施の形態によれば、情報処理装置１００は、操作者の作業効率を上げるための音空間を提供するためのパラメータを決定する。情報処理装置１００は、決定されたパラメータに基づいて、音信号に対して信号処理を行う。情報処理装置１００は、信号処理により得られた音信号を、出力装置４００を介して、操作者に提供する。そのため、情報処理装置１００は、操作者の作業効率を上げることができる。

【符号の説明】

【0049】

１０ 矢印、 １１ 音空間領域、 １００ 情報処理装置、 １０１ プロセッサ、 １０２ 揮発性記憶装置、 １０３ 不揮発性記憶装置、 １０４ インタフェース、 １１０ 記憶部、 １２０ 取得部、 １３０ 判定部、 １４０ 特定部、 １５０ 決定部、 １６０ 制御部、 ２００ 生体センシングデバイス、 ３００ ロボットセンシングデバイス、 ４００ 出力装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】