IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧

特開2023-104512音量制御装置、機器、制御システム、およびプログラム
<>
  • 特開-音量制御装置、機器、制御システム、およびプログラム 図1
  • 特開-音量制御装置、機器、制御システム、およびプログラム 図2
  • 特開-音量制御装置、機器、制御システム、およびプログラム 図3
  • 特開-音量制御装置、機器、制御システム、およびプログラム 図4
  • 特開-音量制御装置、機器、制御システム、およびプログラム 図5
  • 特開-音量制御装置、機器、制御システム、およびプログラム 図6
  • 特開-音量制御装置、機器、制御システム、およびプログラム 図7
  • 特開-音量制御装置、機器、制御システム、およびプログラム 図8
  • 特開-音量制御装置、機器、制御システム、およびプログラム 図9
  • 特開-音量制御装置、機器、制御システム、およびプログラム 図10
  • 特開-音量制御装置、機器、制御システム、およびプログラム 図11
  • 特開-音量制御装置、機器、制御システム、およびプログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023104512
(43)【公開日】2023-07-28
(54)【発明の名称】音量制御装置、機器、制御システム、およびプログラム
(51)【国際特許分類】
   H04Q 9/00 20060101AFI20230721BHJP
   H04L 67/306 20220101ALI20230721BHJP
   H04L 67/60 20220101ALI20230721BHJP
   H04L 12/28 20060101ALI20230721BHJP
   G06F 3/16 20060101ALI20230721BHJP
【FI】
H04Q9/00 301D
H04L67/306
H04L67/60
H04L12/28 500E
G06F3/16 540
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022005537
(22)【出願日】2022-01-18
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100171446
【弁理士】
【氏名又は名称】高田 尚幸
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(74)【代理人】
【識別番号】100171930
【弁理士】
【氏名又は名称】木下 郁一郎
(72)【発明者】
【氏名】溝川 あい
(72)【発明者】
【氏名】小松 佑人
(72)【発明者】
【氏名】遠藤 大礎
【テーマコード(参考)】
5K048
【Fターム(参考)】
5K048AA04
5K048AA05
5K048BA01
5K048BA02
5K048BA12
5K048EB02
5K048EB03
5K048EB12
5K048EB14
5K048HA01
5K048HA02
(57)【要約】
【課題】操作対象機器だけに対して命令を送るという操作性を有しながら、ユーザーの意図に沿った制御を複数の機器に対して行える音量制御装置や機器を提供する。
【解決手段】音量制御装置は、操作対象機器への命令を取得するユーザー制御受信部と、複数の機器のそれぞれから、機器が発する音のユーザーへの聞こえ方に関する情報を含む機器情報を取得する機器情報取得部と、ユーザー制御受信部が取得した命令と、機器情報取得部が取得した機器のそれぞれについての機器情報とに基づき、機器が発する音の音量についてのユーザーの意図を解釈する処理を行うユーザー意図解釈部と、ユーザー意図解釈部が解釈した結果として得られたユーザーの意図に基づいて、複数の機器の少なくとも一部の機器に対する制御内容を決定する機器制御決定部と、機器制御決定部が決定した制御内容に基づいて、制御対象となる機器を制御する機器制御部と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
ユーザー入力装置から操作対象機器への命令の情報を取得するユーザー制御受信部と、
前記操作対象機器を含む複数の機器のそれぞれから、前記機器が発する音のユーザーへの聞こえ方に関する情報を含む機器情報を取得する機器情報取得部と、
前記ユーザー制御受信部が取得した前記命令の情報と、前記機器情報取得部が取得した前記機器のそれぞれについての前記機器情報と、に基づき、前記機器が発する音の音量についてのユーザーの意図を解釈する処理を行うユーザー意図解釈部と、
前記ユーザー意図解釈部が解釈した結果として得られたユーザーの前記意図に基づいて、前記複数の機器の少なくとも一部の機器に対する制御内容を決定する機器制御決定部と、
前記機器制御決定部が決定した機器ごとの前記制御内容に基づいて、制御対象となるそれぞれの前記機器を制御する機器制御部と、
を備える音量制御装置。
【請求項2】
前記機器情報は、当該機器の位置情報と、当該機器が音声出力部を有する場合には前記音声出力部が出力する音声の音量レベルと、当該機器の稼働状態を表す情報と、当該機器が移動手段を持つ機器である場合には当該機器の移動方向と、当該機器の発する音に関する設定項目が存在する場合には前記設定項目についての設定値と、当該機器が出力音量の設定が可能である場合には前記ユーザーが過去に設定した音量設定値の情報と、の少なくともいずれかを含む、
請求項1に記載の音量制御装置。
【請求項3】
前記ユーザーの位置情報と、前記ユーザーの好みの音量に関する情報と、前記ユーザーが音を聞く際の前記機器ごとの優先度に関する情報と、前記ユーザーの好みのコンテンツに関する情報と、の少なくともいずれかを含む情報であるユーザー情報を保持するユーザー情報管理部、
をさらに備え、
前記ユーザー意図解釈部は、前記ユーザー情報管理部から取得する前記ユーザー情報にも基づいて、前記機器が発する音の音量についてのユーザーの意図を解釈する処理を行う、
請求項1または2に記載の音量制御装置。
【請求項4】
自装置が発する音のユーザーへの聞こえ方に関する情報を含む機器情報を管理する機器状態管理部と、
外部の音量制御装置に対して前記機器情報を送信する機器情報提供部と、
前記音量制御装置から送信される、自装置が発する音のユーザーへの聞こえ方に影響する制御情報を受信するとともに、受信した前記制御情報に基づいて、自装置が出力する音声の音量と自装置において音を発しながら動作する動作部と、の少なくともいずれかを制御する制御部と、
を備える機器。
【請求項5】
前記機器情報は、当該機器の位置情報と、当該機器が音声出力部を有する場合には前記音声出力部が出力する音声の音量レベルと、当該機器の稼働状態を表す情報と、当該機器が移動手段を持つ機器である場合には当該機器の移動方向と、当該機器の発する音に関する設定項目が存在する場合には前記設定項目についての設定値と、当該機器が出力音量の設定が可能である場合には前記ユーザーが過去に設定した音量設定値の情報と、の少なくともいずれかを含む、
請求項4に記載の機器。
【請求項6】
ユーザー入力装置から自装置への命令の情報を受信するユーザー制御受信部と、
前記ユーザー制御受信部が受信した前記命令の情報を、前記音量制御装置に対して送信するユーザー制御提供部と、
をさらに備え、
前記制御部は、前記ユーザー制御受信部が受信した前記命令の情報に基づいて直ちに、自装置が出力する音声の音量と自装置において音を発しながら動作する動作部と、の少なくともいずれかを制御することをせず、前記音量制御装置に対して送信した前記命令の情報に基づいて前記音量制御装置が送信する前記制御情報に基づいて、自装置が出力する音声の音量と自装置において音を発しながら動作する動作部と、の少なくともいずれかを制御する、
請求項4または5に記載の機器。
【請求項7】
ユーザー入力装置と、
前記ユーザー入力装置が送信する自装置への命令の情報を受信する操作対象機器と、
前記ユーザー入力装置が送信する前記命令の情報による操作対象ではない機器と、
前記操作対象機器および前記機器を制御する音量制御装置と、
を含んで構成される制御システムであって、
当該制御システムが含む前記音量制御装置は、請求項1から3までのいずれか一項に記載の音量制御装置であり、
当該制御システムが含む前記操作対象機器は、請求項6に記載の機器であり、
当該制御システムが含む前記機器は、請求項4または5に記載の機器である、
制御システム。
【請求項8】
ユーザー入力装置から操作対象機器への命令の情報を取得するユーザー制御受信部と、
前記操作対象機器を含む複数の機器のそれぞれから、前記機器が発する音のユーザーへの聞こえ方に関する情報を含む機器情報を取得する機器情報取得部と、
前記ユーザー制御受信部が取得した前記命令の情報と、前記機器情報取得部が取得した前記機器のそれぞれについての前記機器情報と、に基づき、前記機器が発する音の音量についてのユーザーの意図を解釈する処理を行うユーザー意図解釈部と、
前記ユーザー意図解釈部が解釈した結果として得られたユーザーの前記意図に基づいて、前記複数の機器の少なくとも一部の機器に対する制御内容を決定する機器制御決定部と、
前記機器制御決定部が決定した機器ごとの前記制御内容に基づいて、制御対象となるそれぞれの前記機器を制御する機器制御部と、
を備える音量制御装置、としてコンピューターを機能させるプログラム。
【請求項9】
自装置が発する音のユーザーへの聞こえ方に関する情報を含む機器情報を管理する機器状態管理部と、
外部の音量制御装置に対して前記機器情報を送信する機器情報提供部と、
前記音量制御装置から送信される、自装置が発する音のユーザーへの聞こえ方に影響する制御情報を受信するとともに、受信した前記制御情報に基づいて、自装置が出力する音声の音量と自装置において音を発しながら動作する動作部と、の少なくともいずれかを制御する制御部と、
を備える機器、としてコンピューターを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音量制御装置、機器、制御システム、およびプログラムに関する。
【背景技術】
【0002】
従来技術において、操作対象機器(例えばテレビ受像機等)が発する音量を調整するために、例えば、ユーザーがリモコン装置を操作して、リモコン装置からの制御信号を受信した操作対象機器がその音量を上げたり下げたりする仕組みが用いられていた。
【0003】
近年、家庭用のIoT(Internet of Things)機器が普及している。例えば一部屋の中に、テレビやスマートスピーカーといったメディア機器のほか、掃除機、空気清浄機、電動歯ブラシなど音を発するIoT機器が混在している。それらの機器の音が混在することによって、ユーザーがその時点で聞きたいとは感じていないIoT機器の音によって、聞きたい機器の音声が聞き取りにくくなってしまうこともある。そのような場合には、ユーザーにとって適切な音量環境を整えるためには、聞きたい機器の音量を上下させることだけでは不十分である。言い換えれば、ユーザーが居る環境全体の音量レベルが適切なものとはならないことがある。また、ユーザーの住居環境などにおいて、機器全体の許容される音量についても上限がある。ユーザーがそれらの情報をすべて勘案して、各機器の音量や動作をコントロールすることはきわめて困難である。
【0004】
特許文献1には、音声制御機能付きのIoTシステムとその情報処理方法が記載されている。この特許文献1に記載の技術では、システム内に存在する複数のIoTデバイスのうちのいずれか2個のIoTデバイスの間での通信状態および双方向性を管理する。そして、認識された音声コンテンツを1対多の放送形態で無線送信し、メッセージを1つの指定されたデバイスに送信する。そして特定のコマンドを実行することによって、一斉放送の形態で選択されたIoTデバイスを駆動し、または返信された情報を取得し、動作の利便性を高めるようにしている。
【0005】
特許文献2には、IoT機器を制御するための端末装置の構成が記載されている。この特許文献2に記載の技術では、放送あるいは通信によって提供されるコンテンツと連動してIoT機器を動作させる。具体的には、端末装置が、コンテンツ自体または当該コンテンツの各シーンに記述されたメタデータに応じてIoT機器を選択し、そのIoT機器を動作させる制御を行う。この技術では、IoT機器の制御内容をコンテンツ内に記述している。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2017-192091号公報
【特許文献2】特開2021-135621号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ユーザーは、リモコン装置等を用いた簡単な操作で音量を制御することを望む。ユーザーがリモコン装置等を用いて1つの機器に対する操作を行った場合に、そのユーザーの意図を推定して操作対象以外の機器も制御できるようにすることが望まれる。また、そのとき、個々のIoT機器を制御するための情報をコンテンツごとに予め記述する手間がかからないことが望まれる。
【0008】
本発明は、上記のような事情を考慮して為されたものであり、ユーザーにとってはユーザー入力装置(リモコン装置等)を用いて簡単に操作対象機器だけに対して命令を送るという操作性を有しながら、操作対象機器を含む複数の機器についてユーザーの意図に沿った制御を行うことを可能とする音量制御装置、機器、制御システム、およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【0009】
[1]上記の課題を解決するため、本発明の一態様による音量制御装置は、ユーザー入力装置から操作対象機器への命令の情報を取得するユーザー制御受信部と、前記操作対象機器を含む複数の機器のそれぞれから、前記機器が発する音のユーザーへの聞こえ方に関する情報を含む機器情報を取得する機器情報取得部と、前記ユーザー制御受信部が取得した前記命令の情報と、前記機器情報取得部が取得した前記機器のそれぞれについての前記機器情報と、に基づき、前記機器が発する音の音量についてのユーザーの意図を解釈する処理を行うユーザー意図解釈部と、前記ユーザー意図解釈部が解釈した結果として得られたユーザーの前記意図に基づいて、前記複数の機器の少なくとも一部の機器に対する制御内容を決定する機器制御決定部と、前記機器制御決定部が決定した機器ごとの前記制御内容に基づいて、制御対象となるそれぞれの前記機器を制御する機器制御部と、を備えるものである。
ここで、操作対象機器は、一例として、放送信号を受信して、その放送信号に基づく映像および音声をユーザーに対して提示するテレビ受像機である。
【0010】
[2]また、本発明の一態様は、上記の音量制御装置において、前記機器情報は、当該機器の位置情報と、当該機器が音声出力部を有する場合には前記音声出力部が出力する音声の音量レベルと、当該機器の稼働状態を表す情報と、当該機器が移動手段を持つ機器である場合には当該機器の移動方向と、当該機器の発する音に関する設定項目が存在する場合には前記設定項目についての設定値と、当該機器が出力音量の設定が可能である場合には前記ユーザーが過去に設定した音量設定値の情報と、の少なくともいずれかを含む、というものである。
ここで、機器の稼働状態とは、その機器が稼働中であるか停止中であるかを表す情報や、機器の動作モードについての情報や、機器の動作の強さ(弱/中/強など)や、機器の動作の出力数値の情報によって表される。
【0011】
[3]また、本発明の一態様は、上記の音量制御装置において、前記ユーザーの位置情報と、前記ユーザーの好みの音量に関する情報と、前記ユーザーが音を聞く際の前記機器ごとの優先度に関する情報と、前記ユーザーの好みのコンテンツに関する情報と、の少なくともいずれかを含む情報であるユーザー情報を保持するユーザー情報管理部、をさらに備え、前記ユーザー意図解釈部は、前記ユーザー情報管理部から取得する前記ユーザー情報にも基づいて、前記機器が発する音の音量についてのユーザーの意図を解釈する処理を行う、というものである。
【0012】
[4]また、本発明の一態様による機器は、自装置が発する音のユーザーへの聞こえ方に関する情報を含む機器情報を管理する機器状態管理部と、外部の音量制御装置に対して前記機器情報を送信する機器情報提供部と、前記音量制御装置から送信される、自装置が発する音のユーザーへの聞こえ方に影響する制御情報を受信するとともに、受信した前記制御情報に基づいて、自装置が出力する音声の音量と自装置において音を発しながら動作する動作部と、の少なくともいずれかを制御する制御部と、を備えるものである。
【0013】
[5]また、本発明の一態様は、上記の機器において、前記機器情報は、当該機器の位置情報と、当該機器が音声出力部を有する場合には前記音声出力部が出力する音声の音量レベルと、当該機器の稼働状態を表す情報と、当該機器が移動手段を持つ機器である場合には当該機器の移動方向と、当該機器の発する音に関する設定項目が存在する場合には前記設定項目についての設定値と、当該機器が出力音量の設定が可能である場合には前記ユーザーが過去に設定した音量設定値の情報と、の少なくともいずれかを含む、というものである。
【0014】
[6]また、本発明の一態様は、上記の機器において、ユーザー入力装置から自装置への命令の情報を受信するユーザー制御受信部と、前記ユーザー制御受信部が受信した前記命令の情報を、前記音量制御装置に対して送信するユーザー制御提供部と、をさらに備え、前記制御部は、前記ユーザー制御受信部が受信した前記命令の情報に基づいて直ちに、自装置が出力する音声の音量と自装置において音を発しながら動作する動作部と、の少なくともいずれかを制御することをせず、前記音量制御装置に対して送信した前記命令の情報に基づいて前記音量制御装置が送信する前記制御情報に基づいて、自装置が出力する音声の音量と自装置において音を発しながら動作する動作部と、の少なくともいずれかを制御する、ものである。
この[6]に記載の機器は、ユーザー入力装置からの命令を直接受信するものであり、「操作対象機器」とも呼ばれる。操作対象機器は、一例として、放送信号を受信して、その放送信号に基づく映像および音声をユーザーに対して提示するテレビ受像機である。
【0015】
[7]また、本発明の一態様による制御システムは、ユーザー入力装置と、前記ユーザー入力装置が送信する自装置への命令の情報を受信する操作対象機器と、前記ユーザー入力装置が送信する前記命令の情報による操作対象ではない機器と、前記操作対象機器および前記機器を制御する音量制御装置と、を含んで構成される制御システムであって、当該制御システムが含む前記音量制御装置は、上記[1]から[3]までのいずれかに記載の音量制御装置であり、当該制御システムが含む前記操作対象機器は、上記[6]に記載の機器であり、当該制御システムが含む前記機器は、上記[4]または[5]に記載の機器である、というものである。
上記の操作対象機器は、一例として、放送信号を受信して、その放送信号に基づく映像および音声をユーザーに対して提示するテレビ受像機である。
【0016】
[8]また、本発明の一態様は、ユーザー入力装置から操作対象機器への命令の情報を取得するユーザー制御受信部と、前記操作対象機器を含む複数の機器のそれぞれから、前記機器が発する音のユーザーへの聞こえ方に関する情報を含む機器情報を取得する機器情報取得部と、前記ユーザー制御受信部が取得した前記命令の情報と、前記機器情報取得部が取得した前記機器のそれぞれについての前記機器情報と、に基づき、前記機器が発する音の音量についてのユーザーの意図を解釈する処理を行うユーザー意図解釈部と、前記ユーザー意図解釈部が解釈した結果として得られたユーザーの前記意図に基づいて、前記複数の機器の少なくとも一部の機器に対する制御内容を決定する機器制御決定部と、前記機器制御決定部が決定した機器ごとの前記制御内容に基づいて、制御対象となるそれぞれの前記機器を制御する機器制御部と、を備える音量制御装置、としてコンピューターを機能させるプログラムである。
【0017】
[9]また、本発明の一態様は、自装置が発する音のユーザーへの聞こえ方に関する情報を含む機器情報を管理する機器状態管理部と、外部の音量制御装置に対して前記機器情報を送信する機器情報提供部と、前記音量制御装置から送信される、自装置が発する音のユーザーへの聞こえ方に影響する制御情報を受信するとともに、受信した前記制御情報に基づいて、自装置が出力する音声の音量と自装置において音を発しながら動作する動作部と、の少なくともいずれかを制御する制御部と、を備える機器、としてコンピューターを機能させるプログラムである。
あるいは、本発明の一態様は、自装置が発する音のユーザーへの聞こえ方に関する情報を含む機器情報を管理する機器状態管理部と、外部の音量制御装置に対して前記機器情報を送信する機器情報提供部と、前記音量制御装置から送信される、自装置が発する音のユーザーへの聞こえ方に影響する制御情報を受信するとともに、受信した前記制御情報に基づいて、自装置が出力する音声の音量と自装置において音を発しながら動作する動作部と、の少なくともいずれかを制御する制御部と、としてコンピューターを機能させるプログラムである。
【発明の効果】
【0018】
本発明によれば、音量制御装置は、ユーザー入力装置から取得した操作対象機器への命令の情報と、機器が発する音のユーザーへの聞こえ方に関する情報を含む機器情報とに基づき、ユーザーの意図を解釈する。音量制御装置は、解釈結果であるユーザーの意図に基づき、操作対象機器だけではなく、その他の機器に対しても、制御内容を決定することができる。
【図面の簡単な説明】
【0019】
図1】本発明の実施形態による制御システムの概略構成を示すブロック図である。
図2】同実施形態による音量制御装置の概略機能構成を示すブロック図である。
図3】同実施形態によるユーザー入力装置の概略機能構成を示すブロック図である。
図4】同実施形態による操作対象機器(例えば、テレビ受像機)の概略機能構成を示すブロック図である。
図5】同実施形態によるIoT機器(操作対象機器以外)の概略機能構成を示すブロック図である。
図6】同実施形態による制御システムにおける処理シーケンスの第1例を示すシーケンス図(1/2)である。
図7】同実施形態による制御システムにおける処理シーケンスの第1例を示すシーケンス図(2/2)である。
図8】同実施形態による音量制御装置の機器情報管理部が保持する機器情報(外部の機器の情報)の構成例を示す概略図である。
図9】同実施形態による制御システムにおける処理シーケンスの第2例を示すシーケンス図(1/2)である。
図10】同実施形態による制御システムにおける処理シーケンスの第2例を示すシーケンス図(2/2)である。
図11】同実施形態による制御システムにおける処理シーケンスの第3例を示すシーケンス図である。
図12】同実施形態の制御システムを構成する各装置が持つコンピューターの内部構成の例を示すブロック図である。
【発明を実施するための形態】
【0020】
次に、本発明の一実施形態について、図面を参照しながら説明する。
【0021】
本実施形態では、ユーザーがユーザー入力装置を用いてひとつの操作対象機器に対して音量制御の操作を行うと、各機器の動作状況に応じて、音量制御装置が、ユーザーのその操作の位置を解釈する。音量制御装置は、その解釈結果に基づいて自動的に複数の機器(上記の操作対象機器および他の機器群)の音量や動作を制御する。音量制御装置は、単に機器が出力する音量を制御するだけではなく、機器の動作や位置や移動方向などをも制御する。これらによって、ユーザーにとって適切な環境が実現される。言い換えれば、ユーザーの意図に沿った音量の環境が実現される。つまり、特許文献2に記載された技術とは異なり、本実施形態では、IoT機器を制御するための情報をコンテンツ内に記述する必要がない。
【0022】
図1は、本実施形態による制御システムの概略機能構成を示すブロック図である。図示するように、制御システム100は、音量制御装置1と、ユーザー入力装置3と、操作対象機器5と、IoT機器群7Gと、を含んで構成される。IoT機器群7Gは、IoT機器7の集合である。これらの装置等の機能は、例えば、コンピューターとプログラムとを用いてで実現することが可能である。また、各装置は、必要に応じて、記憶手段を有する。記憶手段は、例えば、プログラム上の変数や、プログラムの実行によりアロケーションされるメモリーである。また、必要に応じて、磁気ハードディスク装置やソリッドステートドライブ(SSD)といった不揮発性の記憶手段を用いるようにしてもよい。また、各装置の少なくとも一部の機能を、プログラムではなく専用の電子回路として実現してもよい。
【0023】
制御システム100に含まれる各装置は、相互に通信することが可能である。例えば、音量制御装置1は、ユーザー入力装置3や操作対象機器5やIoT機器7のそれぞれと、例えば無線通信による情報の交換が可能である。また、ユーザー入力装置3から操作対象機器5に対して、赤外線信号や、電波や、光信号や、音声や、その他の手段によって情報を伝達することが可能である。
【0024】
音量制御装置1は、操作対象機器5やIoT機器7のそれぞれが発する音(コンテンツを再生した音や、騒音・雑音等の、両方を含む)の音量を制御するために設けられる装置である。音量制御装置1は、操作対象機器5やIoT機器7が発する音のユーザーへの聞こえ方に関する情報である機器情報と、ユーザー入力装置3が操作対象機器5に対して送信した命令の定宇都に基づいて、上記の操作対象機器5やIoT機器7の制御を行う。音量制御装置1は、さらに、ユーザーの位置やユーザーの好み等を表す情報であるユーザー情報にも基づいて、上記の操作対象機器5やIoT機器7の制御を行ってもよい。
【0025】
ユーザー入力装置3は、ユーザーが機器に対する指令を入力するための装置である。ユーザー入力装置3は、ユーザーの操作に基づいて、機器に対する制御信号を出力する。ユーザー入力装置3は、具体的には、例えば、テレビリモコン装置やスマートスピーカーなどである。テレビリモコン装置は、ユーザーの押しボタン等による操作に基づいて赤外線信号等による制御信号を出力する。スマートスピーカーは、ユーザーの話し言葉の音声に基づいて通信による制御信号を出力する。
【0026】
ユーザー入力装置3は、操作対象機器5を操作するための信号として、赤外線信号、ブルートゥース(Bluetooth,登録商標)による通信、BLE(Bluetooth Low Energy)による通信、ミリ波通信、様々な物理的手段によるIP(Internet Protocol)パケットでの通信を用いることができる。ユーザー入力装置3は、さらに、音声信号を用いて操作対象機器5に対する制御情報を伝えてもよい。ユーザー入力装置3は、さらに、タッチパネル等を用いたタッチ操作のインターフェースを介して操作対象機器5に対する制御情報を伝えてもよい。ユーザー入力装置3は、赤外線等の制御信号を用いることによって、操作対象機器5に対する命令を伝える。また、ユーザー入力装置3は、操作対象機器5に対する命令の情報を、音量制御装置1に対して渡すようにしてもよい。
【0027】
ユーザー入力装置3が送信する命令は、テレビ受像機等の操作対象機器5の操作に関する命令である。この命令は、操作対象機器5の電源をON/OFFしたり、操作対象機器5からの音声出力の音量をUP/DOWNしたり、操作対象機器5が再生するコンテンツ(放送サービス等)を選択したりするための命令である。
【0028】
なお、ユーザー入力装置3は、操作対象機器5と共通の筐体に収容された装置であってもよい。
【0029】
操作対象機器5は、ユーザー入力装置3による操作の対象となる機器である。操作対象機器5は、典型例としては、テレビ受像機である。テレビ受像機は、放送信号を受信して、その放送信号から抽出される映像および音声をユーザーに対して提示する装置である。なお、操作対象機器5は、無線通信手段を備える。これにより、操作対象機器5は、音量制御装置1との間で、例えばIP(インターネットプロトコル)パケットを用いた通信を行うことができる。
【0030】
IoT機器群7Gは、下で説明するIoT機器7の集合である。IoTは「Internet of Things」(もののインターネット)の略である。
【0031】
IoT機器7は、音量制御装置1との間で通信する機能を有する機器類である。IoT機器7は、具体的には、例えば、テレビ受像機や、スピーカー(IoTスピーカー、スマートスピーカー等)や、IoT空気清浄機や、IoT掃除機(自律的に移動する掃除機を含む)や、振動を起こす振動装置や、空調装置や、換気扇や、扇風機や、浴室やキッチン等に湯を供給するための湯沸かし器や、電動歯ブラシや、電動ベッドや、冷蔵庫や、洗濯機や、電子レンジや、炊飯器や、ミキサーや、電力管理システムや、自動車や、その他の装置等を含み得る。ただし、IoT機器7は、上に例示列挙したものには限られない。IoT機器7は、音を発するものである。IoT機器7は、例えばスピーカー等を備えることによって音を発するものであってもよいし、スピーカー等以外の機能によって音を発するものであってもよいし、その両方を備えるものであってもよい。
【0032】
IoT機器7がスピーカー以外の機能によって音を発するしくみは、例えば、次のようなものであってよい。IoT機器7は、電気モーターや内燃機関等によって可動部を動かすことによって音を発するものであってよい。また、IoT機器7は、その内部等において流体(液体あるいは気体)が移動することによって振動が生じて音を発するものであってもよい。また、IoT機器7は、燃料等の物質が燃焼することによって音を発するものであってもよい。
【0033】
ここで、制御システム100における、ユーザーや各装置・機器の位置の把握方法について説明する。後述するように、制御システム100においては、ユーザーや各装置・機器の位置に基づいて音量を制御する場合がある。そのために、制御システム100は、ユーザーや各装置・機器の位置を測定するための手段を持つ。一例として、ユーザーが装着するGPS端末の機能や、各装置・機器に設けられたGPS端末の機能を用いて、それらの位置(座標値)を把握するようにしてもよい。なおGPSは、「Global Positioning System」の略である。また、GPS端末の代わりに、ユーザーが近距離無線通信手段を持ち、あるいは各装置が近距離無線通信手段を備え、部屋等に設けられた機器から発信されるビーコン信号を受信することによって、ユーザーや各装置・機器の位置(座標値)を把握するようにしてもよい。また、それらの代わりに、例えば部屋などに設けられた撮像手段(カメラ)で撮影した画像を幾何学的に解析することによりユーザーや各装置・機器の位置(座標値)を求めてもよい。
【0034】
また、制御システム100においては、ユーザーや各装置・機器の座標値だけではなく、ユーザーや各装置・機器がどの部屋に存在するかを把握する場合がある。これは、制御システム100において音量の制御を行う場合に、部屋の壁やドア等によって音が遮蔽されるため、ユーザーや各装置・機器が存在する部屋を特定する情報が有用であるためである。ユーザーや各装置・機器が存在する部屋を特定するためには、制御システム100において、各装置・機器(の少なくとも一部)が、間取り情報を参照することができるようにする。間取り情報は、特定の位置(点)を表す3次元座標の情報と、部屋を識別する情報とを対応付けることのできる情報である。間取り情報は、一例として、3次元座標を用いて部屋の境界面(壁や、床や、天井など)を表し得る情報であってよい。なお、高さ方向の位置を把握する必要のない場合には、3次元座標の代わりに2次元座標を用いてもよい。
【0035】
制御システム100において、ユーザーが居る位置において聞こえる音の音量を用いた制御を行う場合がある。ここでの音は、操作対象機器5が出力する音や、IoT機器7が発する音である。ユーザーが居る位置における音量の測定のためには、例えば、次の2つの手法のいずれかを利用することができる。第1の手法は、操作対象機器5やIoT機器7が発する音のパワーと、空間等における音の減衰度に基づいて、ユーザーの位置における音量を算出する手法である。第2の手法は、ユーザーの位置の近くに設けられたマイクロフォンを用いて音量を測定する手法である。ここで、マイクロフォンは、ユーザーが使用する端末装置やユーザーの近傍のIoT機器に設けられているものであってよい。
【0036】
図2は、本実施形態による音量制御装置の概略機能構成を示すブロック図である。図示するように、音量制御装置1は、ユーザー制御受信部11と、ユーザー意図解釈部12と、機器制御決定部13と、機器制御部14と、ユーザー情報管理部15と、機器情報取得部16と、機器情報管理部17と、を含んで構成される。
【0037】
ユーザー制御受信部11は、ユーザー入力装置3からの命令(制御信号)、あるいは操作対象機器5のユーザー制御提供部52から渡される命令を受け取る。つまり、ユーザー制御受信部11は、ユーザー入力装置3から操作対象機器5に対して送信される命令の情報を取得する。ユーザー制御受信部11は、受け取った命令の内容を、ユーザー意図解釈部12に渡す。
【0038】
ユーザー意図解釈部12は、ユーザー制御受信部11が取得した命令の情報と、機器情報取得部16が取得した機器のそれぞれについての機器情報と、に基づき、機器が発する音の音量についての上記の命令におけるユーザーの意図を解釈する処理を行う。ユーザー意図解釈部12は、ユーザー情報管理部15から取得するユーザー情報にも基づいて、機器が発する音の音量についての命令におけるユーザーの意図を解釈する処理を行ってもよい。つまり本実施形態におけるユーザー意図解釈部12は、ユーザー情報管理部15から得られたユーザー情報と機器情報管理部17から得られた機器情報とに基づき、ユーザー制御受信部11から渡される命令(ユーザーに基づく制御信号)の意図を解釈する。ユーザー意図解釈部12は、その解釈結果を機器制御決定部13に渡す。
【0039】
ユーザー意図解釈部12が実行する具体的な処理は、入力情報(命令、機器情報、ユーザー情報等)のパターンに基づいて、出力情報(解釈結果である意図)を決定する処理である。ユーザー意図解釈部12による処理の手法の例については、後述する。
【0040】
機器制御決定部13は、ユーザー意図解釈部12から渡される解釈(ユーザーからの命令の解釈)と、機器情報管理部17から渡される機器情報とに基づいて、制御内容を決定する。つまり、機器制御決定部13は、ユーザー意図解釈部12が解釈した結果として得られたユーザーの意図に基づいて、複数の機器(操作対象機器5やIoT機器7)の少なくとも一部の機器に対する制御内容を決定する。機器制御決定部13は、決定した制御内容を、機器制御部14に伝える。
【0041】
機器制御部14は、機器制御決定部13が決定した制御内容に基づいて、操作対象機器5やIoT機器7に対する制御信号を出力する。つまり、機器制御部14は、機器制御決定部13が決定した機器(操作対象機器5やIoT機器7)ごとの制御内容に基づいて、制御対象となるそれぞれの機器を制御する。
【0042】
ユーザー情報管理部15は、ユーザー情報を取得し、保持・管理する。なお、ユーザー情報は、ユーザーのメディア視聴に関する情報を含む。ユーザー情報は、ユーザー入力装置3を操作するユーザーの位置情報と、前記ユーザーの好みの音量に関する情報と、ユーザーが音を聞く際の機器ごとの優先度に関する情報と、ユーザーの好みのコンテンツに関する情報と、の少なくともいずれかを含む情報である。ユーザー情報管理部15は、ユーザー入力装置3に対してユーザー情報を要求することによって、ユーザー入力装置3からユーザー情報を取得することができる。ユーザー情報管理部15は、また、過去においてユーザーが入力あるいは設定した情報の履歴等を、ユーザー情報として保持してもよい。
【0043】
機器情報取得部16は、操作対象機器5の機器情報提供部55またはIoT機器7の機器情報提供部75から、それぞれの機器に関する機器情報を取得する。この機器情報は、機器(操作対象機器5またはIoT機器7)が発する音のユーザーへの聞こえ方に関する情報を含む。機器情報取得部16は、取得した機器情報を、機器情報管理部17に渡す。
【0044】
なお、機器情報取得部16が取得する機器情報は、それぞれの機器の位置情報と、当該機器が音声出力部を有する場合には前記音声出力部が出力する音声の音量レベルと、当該機器の稼働状態を表す情報と、当該機器が移動手段を持つ機器である場合には当該機器の移動方向と、当該機器の発する音に関する設定項目が存在する場合には前記設定項目についての設定値と、当該機器が出力音量の設定が可能である場合にはユーザーが過去に設定した音量設定値の情報と、の少なくともいずれかを含む情報である。ここで、機器の稼働状態は、その機器が稼働中であるか停止中であるかを表す情報や、機器の動作モードについての情報や、機器の動作の強さ(弱/中/強など)や、機器の動作の出力数値の情報によって表される。
【0045】
機器情報管理部17は、機器情報取得部16が取得した各機器(操作対象機器5やIoT機器7)の機器情報を保持し、管理する。機器情報管理部17は、機器情報取得部16から機器情報を受け取った際に、その機器情報をユーザー意図解釈部12に伝える。
【0046】
図3は、本実施形態によるユーザー入力装置の概略機能構成を示すブロック図である。図示するように、ユーザー入力装置3は、ユーザー制御送信部31と、ユーザー情報送信部32と、を含んで構成される。
【0047】
ユーザー制御送信部31は、操作対象機器5に対して、命令の信号を送信する。命令は、例えば、音量UP/DOWNの指示や、電源ON/OFFの指示等であってよい。ユーザー制御送信部31は、命令の信号を、操作対象機器5だけでなく、音量制御装置1にも渡すようにしてよい。ユーザー制御送信部31は、赤外線信号、ブルートゥース(Bluetooth,登録商標)、BLE(Bluetooth Low Energy)、音声信号、タッチ(操作対象機器5が持つタッチパネル等への接触による信号)、ミリ波通信、IPパケット等の手段を用いて、操作対象機器5に対して命令を送信する。
【0048】
ユーザー情報送信部32は、音量制御装置1のユーザー情報管理部15に対してユーザー情報を送信する。ユーザー情報については、既に説明した通りである。
【0049】
図4は、本実施形態による操作対象機器の概略機能構成を示すブロック図である。図示するように、操作対象機器5は、ユーザー制御受信部51と、ユーザー制御提供部52と、制御部53と、機器状態管理部54と、機器情報提供部55と、音声出力部56と、動作部57と、を含んで構成される。
【0050】
ユーザー制御受信部51は、ユーザー入力装置3からの命令(制御信号)を受信する。ユーザー制御受信部51は、受信した命令をユーザー制御提供部52に渡す。また、ユーザー制御受信部51は、受信した命令を制御部53にも渡す。なお、ユーザー制御受信部51は、ユーザー入力装置3からの信号を受信するための手段(例えば、無線信号受信器等)を備えている。
【0051】
ユーザー制御提供部52は、ユーザー制御受信部51から上記の命令を受け取る。ユーザー制御提供部52は、受け取った命令の内容を表す情報を、音量制御装置1のユーザー制御受信部11に対して送信する。これにより、ユーザー入力装置3から発信された命令の内容は、操作対象機器5に伝わるだけでなく、他の機器(IoT機器7等)へも影響を及ぼすことが可能となる。
【0052】
制御部53は、自装置(操作対象機器5)による動作や音声出力を制御する。本実施形態における制御部53は、ユーザー制御受信部51から命令(ユーザー入力装置3から送信された命令)を受け取った場合には、機器状態管理部54に対して、当該機器(操作対象機器5)に関する情報を機器情報提供部55に渡すように指示する。また、制御部53は、音量制御装置1の機器制御部14から制御信号を受信した場合には、その制御信号にしたがって、音声出力部56や動作部57の少なくともいずれかを制御する。音量制御装置1の機器制御部14から受信する制御信号は、自装置が発する音のユーザーへの聞こえ方に影響する制御のための情報を含む。
【0053】
なお、制御部53は、ユーザー制御受信部51が受信した命令の情報に基づいて直ちに、自装置(音声出力部56)が出力する音声の音量と自装置において音を発しながら動作する動作部57と、の少なくともいずれかを制御することをせず、音量制御装置1に対して送信した命令の情報に基づいて音量制御装置1から送信される制御情報に基づいて、自装置(音声出力部56)が出力する音声の音量と自装置において音を発しながら動作する動作部57と、の少なくともいずれかを制御する、つまり、制御部53は、ユーザー入力装置3からの命令に基づいて直ちに音声出力部56や動作部57を制御するのではなく、ユーザー入力装置3からの命令を音量制御装置1が解釈した結果に基づいて音量制御装置1から送信される制御信号に基づいて制御を行う。
【0054】
具体的には、制御部53は、音声出力部56が出力する音声の音量を制御する。つまり、制御部53は、音声出力部56における音量のUP(アップ)/DOWN(ダウン)の制御を行う。また、制御部53は、動作部57による動作を制御する。また、制御部53は、操作対象機器5自体の電源のON/OFFの制御を行ってもよい。
【0055】
機器状態管理部54は、当該機器の情報(機器情報と呼ぶ)を保持し、管理する。機器状態管理部54は、制御部53からの指示があった場合には、その指示に基づいて機器情報提供部55に対して機器情報を渡す。機器情報とは、自装置が発する音のユーザーへの聞こえ方に関する情報を含む情報である。機器情報は、その時点における機器の状態に関する情報を含む。機器情報の具体例は、既に説明した通りである。
【0056】
機器情報提供部55は、機器状態管理部54から渡される機器情報を、音量制御装置1の機器情報取得部16に対して送信する。
【0057】
音声出力部56は、電気信号に基づく音声を出力する。音声出力部56は、音声を出力するためのスピーカー(イヤフォン等を含む)を備えている。音声出力部56は、音声信号に基づいてスピーカーの振動板を振動させることによって音を出力する。音声出力部56が出力する音声の音量は、制御部53によって制御される。
【0058】
動作部57は、音声出力以外の動作を行う機能を有するユニットである。操作対象機器5がテレビ受像機である場合には、動作部57は、テレビ受像機の電源のON/OFFを行ったり、受信するサービスの選局を行ったり、インターネットで配信されるコンテンツをサーバー装置に対して要求したり、画面の明るさや色合い等を調整したりする。操作対象機器5が移動する機能を有する装置である場合には、動作部57は、操作対象機器5を、所定の位置に向けて、所定の方向に向けて、所定の速度で移動させる。ここでの移動の目的位置や目的方向や速度は、可変であり、制御部53によって制御され得るものであってよい。操作対象機器5が可動部を有している場合には、動作部57は、モーターや内燃機関等が供給するエネルギーによってその可動部を動かす。ここでの可動部の運動の内容や方向や速さや強さ等は、可変であり、制御部53によって制御され得るものであってよい。操作対象機器5が流体(液体や気体)の移動をさせるものである場合には、動作部57は、ファン等によってその流体を移動させたり、ファン等の運動の速さや開閉可能な弁等の開度によってその流量を変えたりする。
【0059】
これらの動作部57による動作は、制御部53によって制御され得る。つまり、動作部57が起こす動作によって発せられる音の量(強さ)は、制御部53によって制御され得る。
【0060】
音声出力部56が出力する音の量や、動作部57の動作によって発せられる音の量は、操作対象機器5とユーザーとの位置関係に依って、ユーザー側での聞こえ方(ユーザーが感じる音量)が変わる。言い換えれば、ユーザーが認識する音の量は、操作対象機器5とユーザーとの間の距離や、操作対象機器5とユーザーとの間に壁等の遮蔽物が存在するか否かに依って変わる。つまり、操作対象機器5が移動する機能を有する装置である場合には、動作部57は、操作対象機器5を移動させることによって、音声出力部56や動作部57から発せられる音の、ユーザーが感じる音の量を変えることができる。即ち、制御部53がこれらを変えるための制御を行うことができる。
【0061】
図5は、本実施形態によるIoT機器の概略機能構成を示すブロック図である。図示するように、IoT機器7は、制御部73と、機器状態管理部74と、機器情報提供部75と、音声出力部76と、動作部77と、を含んで構成される。つまり、IoT機器7は、操作対象機器5の構成と類似の構成を有する。ただし、IoT機器7は、操作対象機器5の構成におけるユーザー制御受信部51とユーザー制御提供部52に相当する機能を持たなくてよい。つまり、IoT機器7は、操作対象機器5とは異なり、ユーザー入力装置3からの命令(制御信号)を受信しない。ただし、操作対象機器5と同様に、IoT機器7は、自装置の機器情報を音量制御装置1に提供する。機器情報については、既に説明した通りである。また、操作対象機器5と同様に、IoT機器7は、音量制御装置1からの指示(制御信号)に基づいて、動作(音量のUP/DOWNを含む)の制御を行う。IoT機器7を構成する各部の機能は、次の通りである。
【0062】
なお、IoT機器7は、音声出力部76と動作部77とのうちのいずれか一方を持たない構成としてもよい。
【0063】
制御部73は、操作対象機器5における制御部53と同様に、自装置(IoT機器7)による動作や音声出力を制御する。具体的には、制御部73は、音量制御装置1の機器制御部14から制御信号を受信した場合には、その制御信号にしたがって、音声出力部76や動作部77を制御する。つまり、制御部73は、音声出力部76が出力する音声の音量を制御する。つまり、制御部73は、音声出力部76における音量のUP/DOWNの制御を行う。また、制御部73は、動作部77による動作を制御する。また、制御部73は、IoT機器7自体の電源のON/OFFの制御を行ってもよい。
【0064】
機器状態管理部74は、操作対象機器5における機器状態管理部54と同様に、当該機器(自装置)の情報(機器情報と呼ぶ)を保持し、管理する。機器状態管理部74は、制御部73からの指示に基づいて、機器情報提供部75に対して機器情報を渡す。
【0065】
なお、機器情報は、音声出力状態、音声出力レベル、動作状況、動作モード、位置情報(座標値等)、移動方向、移動速度などを含むものであってよい。
【0066】
機器情報提供部75は、操作対象機器5における機器情報提供部55と同様に、機器状態管理部74から渡される機器情報を、音量制御装置1の機器情報取得部16に対して送信する。
【0067】
音声出力部76は、操作対象機器5における音声出力部56と同様に、電気信号(音声信号)に基づく音声を出力する。音声出力部76は、音声を出力するためのスピーカー(イヤフォン等を含む)を備えている。音声出力部76が出力する音声の音量は、制御部73によって制御される。つまり、制御部73は、音声出力部76が出力する音声の音量をUP/DOWNさせる制御を行う。
【0068】
動作部77は、操作対象機器5における動作部57と同様に、音声出力以外の動作を行う機能を有するユニットである。つまり、動作部77は、IoT機器7の電源のON/OFFを行ったり、IoT機器7がコンテンツを受信する機器である場合にはそのコンテンツの種別を選択したりする。IoT機器7が移動する機能を有する装置である場合には、動作部77は、IoT機器7を、所定の位置に向けて、所定の方向に向けて、所定の速度で移動させる。IoT機器7が可動部を有している場合には、動作部77は、モーターや内燃機関等が供給するエネルギーによってその可動部を動かす。IoT機器が流体(液体や気体)の移動をさせるものである場合には、動作部77は、ファン等によってその流体を移動させたり、ファン等の運動の速さや開閉可能な弁等の開度によってその流量を変えたりする。
【0069】
これらの動作部57による動作は、制御部73によって制御され得る。言い換えれば、動作部77の動作によって発せられる音の音量は、制御部73によって制御され得る。
【0070】
IoT機器7自体が移動するものであってもよい。例えば、IoT機器7が自動車や電動キックボードや電動車いすやドローン等である場合には、動作部77は、IoT機器7自体を移動させてその位置を変えさせる。また、例えば、IoT機器7が自律移動型の掃除機等である場合にも、動作部77は、IoT機器7自体を移動させてその位置を変えさせる。音声出力部76が出力する音の量や、動作部77の動作によって発せられる音の量は、IoT機器7とユーザーとの位置関係に依って、ユーザー側での聞こえ方(ユーザーが感じる音量)が変わる。言い換えれば、ユーザーが認識する音の量は、IoT機器7とユーザーとの間の距離や、IoT機器7とユーザーとの間に壁等の遮蔽物が存在するか否かに依って変わる。つまり、IoT機器7が移動する機能を有する装置である場合には、動作部77は、IoT機器7を移動させることによって、音声出力部76や動作部77から発せられる音の、ユーザーが感じる音の量を変えることができる。即ち、制御部73がこれらを変えるための制御を行うことができる。
【0071】
次に、制御システム100における処理の流れの例について、装置間でのやりとりを示す図を参照しながら説明する。
【0072】
[処理シーケンス(第1例)]
図6および図7は、制御システム100における処理シーケンスの第1例を示すシーケンス図である。図6図7との両方で一連のシーケンスを示している。この第1例では、ユーザー入力装置3がテレビのリモコン装置であり、操作対象機器5がそのリモコン装置からの信号を受信するテレビ受像機であり、IoT機器7-1がスマートスピーカーであり、IoT機器7-2が自律移動式掃除機であることを想定する。ただし、具体的な機器の種別は、異なるものであってもよい。なお、本例では、後述するように、ユーザー入力装置3のユーザー情報送信部32は、音量制御装置1からの要求に応じて、ユーザー情報を音量制御装置1に対して提供する機能を有している。この第1例の処理シーケンスは、ユーザー入力装置3が操作対象機器5に対して音量UPの命令(制御信号)を送信する場合の処理である。以下、この図に沿って第1例を説明する。
【0073】
まずステップS1(図6)において、ユーザー入力装置3のユーザー制御送信部31は、操作対象機器5のユーザー制御受信部51に対して、音量UPの命令(制御信号)を送信する。ユーザー制御受信部51は、この命令を受信する。なお、この音量UPの命令のトリガーとなるのは、テレビの音声出力をよりよく聞きたいと考えたユーザーによるボタン操作である。
【0074】
次にステップS2において、操作対象機器5のユーザー制御提供部52は、ステップS1において受信された音量UPの命令の信号を、音量制御装置1のユーザー制御受信部11に対して送信する。ユーザー制御受信部11は、提供されたこの命令の情報を受信する。即ち、ユーザー制御受信部11は、操作対象機器5が音量UPの命令を受信したという情報を得る。
【0075】
なお、ステップS2において、ユーザー制御受信部11は、操作対象機器5側から音量UPの命令の情報を得る代わりに、ユーザー入力装置3側から直接この音量UPの命令を受信してもよい。
【0076】
そのいずれの場合も、音量制御装置1内において、ユーザー制御受信部11は、受信した音量UPの命令の情報を、ユーザー意図解釈部12に渡す。
【0077】
次にステップS3において、音量制御装置1の機器制御部14は、操作対象機器5と、IoT機器7-1および7-2とのそれぞれに対して、機器情報を要求する。
【0078】
次にステップS4において、音量制御装置1の機器情報取得部16は、ステップS3における要求に対応して、操作対象機器5の機器情報提供部55や、IoT機器7-1および7-2のそれぞれの機器情報提供部75から提供される機器情報を受信する。機器情報取得部16は、取得した各機器の機器情報を、機器情報管理部17に渡す。機器情報管理部17は、取得した機器情報を、ユーザー意図解釈部12に渡すことができる。
【0079】
機器情報管理部17は、各機器から取得した機器情報を保持し、管理する。機器情報は、その機器の音量レベルや、機器の現在の動作モード(例えば、「強」あるいは「弱」など)や、機器の位置や、機器が向かう方向や、ユーザーを基準としたときの機器の相対位置の情報や、ユーザーによる過去の音量設定値や、現在における機器の音声再生状況や、音声再生周波数や、設定可能項目や、機器の総低出力音量など、の情報を含んでよい。なお、機器情報提供部55や75が自装置についての機器情報を提供する代わりに、センサーを保持する機器が他の機器についての機器情報を検知して、機器情報取得部16に提供するようにしてもよい。なお、機器情報管理部17が記憶する機器情報の具体的構成例については、後で、図8を参照しながら説明する。
【0080】
次にステップS5において、音量制御装置1のユーザー情報管理部15は、ユーザー入力装置3のユーザー情報送信部32に対して、ユーザー情報要求を送信する。ユーザー情報送信部32は、この要求を受信する。
【0081】
次にステップS6において、ユーザー入力装置3のユーザー情報送信部32は、ステップS5で受信した要求に応じて、音量制御装置のユーザー情報管理部15に対してユーザー情報を送信する。ユーザー情報管理部15は、取得したユーザー情報を記憶し、管理する。ユーザー情報管理部15は、取得したユーザー情報を、ユーザー意図解釈部12に渡す。
【0082】
ユーザー情報管理部15は、さらに、過去におけるユーザーからの命令と機器制御決定部13における決定事項との関連の履歴を、ユーザー情報として取得してもよい。なお、ユーザー情報は、ユーザーのメディア視聴に関する情報を含む。ユーザー情報は、例えば、ユーザーの位置情報や、ユーザーの好みの音量設定値や、ユーザーが優先的に使用する音声出力デバイスや、ユーザーが再生するコンテンツの傾向などといった情報を含む。
【0083】
次にステップS7において、音量制御装置1のユーザー意図解釈部12は、ユーザー入力装置3から送信されたユーザーの命令の意図を、解釈・推定する。ここでは、ユーザー意図解釈部12は、ユーザーの命令の情報(音量UP)と、機器情報管理部17から得られる機器情報と、ユーザー情報管理部15から得られるユーザー情報とに基づいて、意図解釈の処理を実行する。
【0084】
ここでは、想定される情報に基づいて、命令の意図解釈の処理の例を説明する。各機器の機器情報は次の通りである場合を想定する。即ち、操作対象機器5(テレビ受像機)の機器情報は、テレビの位置情報(座標値)と、テレビが現在放送を受信し再生中であることと、テレビが出力している音量が50dB(デシベル)であることを表している。また、テレビの位置情報と、音量制御装置1が持つ建物の間取りの情報とから、ユーザー意図解釈部12は、テレビがリビングルームに存在していることを把握できる。また、IoT機器7-1(スマートスピーカー)の機器情報は、スマートスピーカーの位置情報と、スマートスピーカーが現在出力停止中であることとを表している。スマートスピーカーの位置情報と、音量制御装置1が持つ建物の間取りの情報とから、ユーザー意図解釈部12は、スマートスピーカーがリビングルームに存在していることを把握できる。IoT機器7-2(自律移動式掃除機)の機器情報は、掃除機の位置情報と、掃除機の現時点での動作モードが「強」である(動作モードは、「強」または「弱」のいずれか)ことと、掃除機が発している音(動作モード「強」におけるモーター音や、走行音など)の音量が50dBであることを表している。掃除機の位置情報と、音量制御装置1が持つ建物の間取りの情報とから、ユーザー意図解釈部12は、掃除機がリビングルームに存在していることを把握できる。また、ユーザー情報は、ユーザーの位置情報を含んでいる。ユーザーの位置情報と、音量制御装置1が持つ建物の間取りの情報とから、ユーザー意図解釈部12は、ユーザーがリビングルームに存在していることを把握できる。
【0085】
つまり、ユーザー意図解釈部12は、スマートスピーカー(IoT機器7-1)はユーザーおよびテレビ受像機(操作対象機器5)と同じ部屋に存在しているが音声を出力していないことを把握している。また、ユーザー意図解釈部12は、自律移動式掃除機(IoT機器7-2)が、ユーザーおよびテレビ受像機(操作対象機器5)と同じ部屋に存在していて、且つ動作モード「強」で動作中であることを把握している。ユーザー意図解釈部12は、同じ部屋の中では音が遮蔽されにくいという知識(またはルール)を予め保持しており、利用することができる。また、ユーザー意図解釈部12は、目的音であると考えられるテレビの出力音量(50dB)と、雑音であると考えられる掃除機が発する音の音量(50dB)との差が、所定の閾値(例えば、6dB)未満であることを把握する。この状況において、ユーザー意図解釈部12は、別に説明する方法によってユーザーの命令の意図を解釈する。即ち、ユーザー意図解釈部12は、自律移動式掃除機(IoT機器7-2)が発する音が、テレビ受像機(操作対象機器5)が発する音に干渉している(騒音である)ことを想定できる。この想定に基づき、ユーザー意図解釈部12は、ユーザーからの命令である「音量UP」の意図が、「ユーザーがテレビをより聞きやすくしたいと考えている」であることという解釈をする。ユーザー意図解釈部12は、その解釈結果を、機器制御決定部13に渡す。
【0086】
次にステップS8において、音量制御装置1の機器制御決定部13は、ユーザー意図解釈部12から渡されたユーザー意図(上記の通り、「ユーザーがテレビを聞きやすくする」)に基づいて、各機器への制御の内容を決定する。本例では、機器制御決定部13は、テレビの出力音量と掃除機が発する音の音量との差を3dB以上確保するための手段を得るために、予め保持している知識の情報を検索する。その結果、機器制御決定部13は、掃除機が発する音の音量を下げるとともに、掃除機をユーザーおよびテレビが存在する部屋から別の部屋に移動させることを決定する。さらに具体的には、機器制御決定部13は、掃除機の動作モードを「弱」に変更するとともに、掃除機を別の部屋に移動させることを決定する。機器制御決定部13は、その決定事項を機器制御部14に渡す。機器制御部14は、機器制御決定部13から渡された決定事項を実現するために掃除機に対して送信する制御信号を生成する。
【0087】
それとともに、機器制御決定部13は、操作対象機器5に対しては、音量UPの指令を行うことを決定する。具体的には、操作対象機器5が出力する音声の音量を56dBにすることを決定する。この音量UPも、ユーザー意図解釈部12によって推定されたユーザー意図(ユーザーがテレビを聞きやすくする)に基づくものである。
【0088】
次にステップS9において、音量制御装置1の機器制御部14は、IoT機器7-2(自律移動式掃除機)に対して、制御指令を送信する。IoT機器7-2の制御部73は、この音量制御装置1からの指示の情報を受信する。本ステップでIoT機器7-2に対して送られる制御指令は、掃除機の動作モードを「弱」に変更すること、および掃除機をリビングルームから別の部屋に移動させることを表す制御情報である。制御部73は、受信した制御指令に基づいて、次のステップ以後で、自装置の動作を制御する。
【0089】
次にステップS10において、IoT機器7-2(自律移動式掃除機)の制御部73は、自装置が移動するように、動作部77を制御する。動作部77は、自装置の移動のためのモーターを含んでいる。音量制御装置1からの移動の指示は、前述の間取りの情報に基づくものであり、移動先(別の部屋)である目的地の座標情報を含んでいる。あるいは、IoT機器7-2自身が間取り情報を保持して、移動先(指示された部屋)の位置の座標情報を算出してもよい。本ステップの制御により、IoT機器7-2は、元のリビングルームから、別の部屋に移動する。元のリビングルームと別の部屋とは、壁等によって仕切られており、部屋を移ることによって、IoT機器7-2が発する音のユーザーの耳への影響は軽減される。
【0090】
次にステップS11において、IoT機器7-2(自律移動式掃除機)の制御部73は、自装置の動作モードを「弱」にするように、動作部77を制御する。動作部77は、掃除機による空気等の吸い込みのためのモーターを含んでいる。本ステップでの動作によって、IoT機器7-2は動作モード「弱」に切り替わり、IoT機器7-2が発する音(モーター音など)の音量は小さくなる。IoT機器7-2の機器状態管理部74は、自装置の機器情報を更新する。つまり、IoT機器7-2の機器情報として、自装置の位置(座標)の情報が更新され、また自装置の現時点での動作モードの情報が「弱」に更新される。
【0091】
次にステップS12において、IoT機器7-2(自律移動式掃除機)の機器情報提供部75は、ステップS9における指令を受けた後の状況を、音量制御装置1に通知する。具体的には、機器情報提供部75は、少なくとも、更新後の自装置の位置情報(座標値)と自装置の動作モード(弱)を、音量制御装置1に通知する。音量制御装置1の機器情報取得部16は、IoT機器7-2からの、更新された機器情報を受信する。音量制御装置1の機器情報管理部17は、自身が管理するIoT機器7-2の機器情報を最新の状態に更新する。
【0092】
次にステップS13において、音量制御装置1の機器制御部14は、操作対象機器5(テレビ受像機)に対して、音量UP制御の指令を送信する。この指令も、前述の機器制御決定部13の決定に基づくものである。操作対象機器5の制御部53は、音量制御装置1からのこの指令を受信する。制御部53は、音声出力部56を制御し、テレビ受像機からの出力音声の音量を上げる。
【0093】
上記のステップS13までの一連の処理によって、IoT機器7-2は別の部屋に移動し、IoT機器の7-2の動作モードは「弱」に変更され(発する音は小さくなる)、IoT機器7-1は音声出力を停止したままである。また、操作対象機器5の音声出力の音量は高められる。つまり、解釈結果であるユーザーの意図に沿った制御が自動的に為される。
【0094】
次に、図7に移ってステップS14において、ユーザー入力装置3のユーザー制御送信部31は、操作対象機器5(テレビ受像機)のユーザー制御受信部51に対して、音量UPの命令(制御信号)を送信する。ユーザー制御受信部51は、この命令を受信する。なお、この音量UPの命令のトリガーとなるのは、ユーザーによるユーザー入力装置3(テレビリモコン装置)のボタン操作である。つまり、ステップS13までの制御が実行されたにも関わらず、本例では、ユーザーはさらに音量UPの操作を行っている。操作対象機器5は、ステップS1の命令を受けたときと同様に動作する。
【0095】
次にステップS15において、操作対象機器5のユーザー制御提供部52は、音量制御装置1に対して、ステップS14で受信した命令(音量UP)の情報を送信する。音量制御装置1のユーザー制御受信部11は、ステップS2のときと同様に、この情報を受信する。ユーザー制御受信部11は、受信した命令(音量UP)の情報を、ユーザー意図解釈部12に渡す。
【0096】
なお、音量制御装置1は、ステップS4およびS12の処理において、各機器の機器情報を受信済みである。つまり、音量制御装置1の機器情報管理部17は、既に最新の機器情報を保持している。また、音量制御装置1は、ステップS6の処理において、ユーザー情報を受信済みである。つまり、音量制御装置1のユーザー情報管理部15は、既に最新のユーザー情報を保持している。したがって、今回は、音量制御装置1は、機器情報やユーザー情報を取得するための手順を省略することができる。
【0097】
次にステップS16において、音量制御装置1のユーザー意図解釈部12は、既に得られている情報にも基づいて、ステップS15において音量制御装置1が取得した命令についてのユーザーの意図を解釈・推定する。ユーザー意図解釈部12は、解釈の結果であるユーザーの意図を、機器制御決定部13に渡す。
【0098】
具体的には、ここでは、ユーザー意図解釈部12は、ユーザーの意図を次のように解釈する。ユーザー意図解釈部12は、IoT機器7-2(自律移動型掃除機)の最新の機器情報を獲得しており、この掃除機(IoT機器7-2)は、ユーザーのいるリビングルームとは別の部屋で、動作モード「弱」で動作していることを把握する。ユーザー意図解釈部12は、掃除機とユーザーとの位置関係や、掃除機が動作モード「弱」で稼働しているという事実から、予め得ている知識の情報にも基づき、掃除機の発する音がユーザーの位置においては40dBの音量であることを把握する。また、ユーザー意図解釈部12は、テレビ(操作対象機器5)の音量も把握している。これら両方の音量に基づき、ユーザー意図解釈部12は、ユーザーの意図を「まだ掃除機の発する音が大きいために、テレビが出力する音声をさらに聞き取りやすくしたい」というものであると解釈する。
【0099】
次にステップS17において、音量制御装置1の機器制御決定部13は、ステップS16におけるユーザー意図解釈部12の解釈結果に基づいて、制御内容を決定する。なお、機器制御決定部13は、既にステップS13において音量UPの指示をテレビ(操作対象機器5)に対して実施済みであることと、これ以上テレビの出力音声の音量を上げると環境全体の音量が望ましい上限値を越えてしまうことを把握している。環境全体の音量の上限値は、ユーザーのいる場所が住宅内であるという知識(音量制御装置1が予め持っている情報)と、住宅における音量上限値の規定値とによって決まる。また、テレビ(操作対象機器5)の出力音声の音量が既に設定可能な上限に達している場合も、音量をさらに上げることはできない。機器制御決定部13は、これらの拘束条件の中で、ユーザーの意図に整合する制御を決定する。機器制御決定部13は、具体的には、テレビが出力する音声をユーザーにとってさらに聞き取りやすいものとするために、次の制御を決定する。即ち、ここで決定される制御内容は、テレビ(操作対象機器5)の出力音声の音量を現状のまま(ステップS13において変更したときのまま)維持することと、掃除機(IoT機器7-2)の稼働を停止させることである。つまり、機器制御決定部13は、掃除機(IoT機器7-2)に対しては制御指令(稼働停止の指示)を送信するとともに、テレビ(操作対象機器5)やスマートスピーカー(IoT機器7-1)に対してはなにも指示しない(現状通りとする)ことを決定する。機器制御決定部13は、この決定内容の情報を機器制御部14に渡す。
【0100】
なお、下記の参考文献には、騒音の音量と目的とする音声の音量(それぞれの単位はdB(デシベル))との差によって目的とする音量の聞き取りやすさが決まることが記載されている。
[参考文献]「UNI-PEX 音ものがたり スピーカーの音量」,ユニペックス株式会社,令和3年(西暦2021年)12月25日にダウンロード
【0101】
具体的には、掃除機の音(騒音)の音量を基準としたときに、テレビの出力音の音量が+1dB以上且つ+3dB未満程度のときには、ユーザーは「何かが聞こえる」という認識を持つ程度である。テレビの出力音声の音量が+3dB程度のときには、ユーザーは「放送内容がわかる」という程度で聞き取ることができる。テレビの出力音の音量が+6dB以上であるときには、ユーザーはテレビの音声の内容を「よく聞こえる」と認識する。ユーザー意図解釈部12や機器制御決定部13は、こういった音量の差に基づくユーザーの認識のしかたを、予め知識として保持しており、こういった知識の情報にも基づいて、処理を行う。
【0102】
次にステップS18において、音量制御装置1の機器制御部14は、ステップS17において決定された制御内容にしたがって、IoT機器7-2(自律移動式掃除機)への制御指令を送信する。具体的には、前述の通り、この制御指令は、掃除機(IoT機器7-2)の稼働を停止させるものである。IoT機器7-2の制御部73は、この制御指令を受信する。
【0103】
なお、前述の通り、機器制御部14は、操作対象機器5(テレビ)やIoT機器7-1(スマートスピーカー)に対しては、このタイミングにおいては特に制御指令を送信しない。
【0104】
次にステップS19において、IoT機器7-2の制御部73は、ステップS18で受信した制御指令に基づいて、自装置の動作部77を制御する。具体的には、制御部73は、自装置(掃除機)の稼働を停止させる。つまり、これにより、掃除機(IoT機器7-2)は吸気のためのモーターを停止させる。また、掃除機(IoT機器7-2)は、移動用モーターによる自装置の移動も行わなくなる。これらにより、掃除機(IoT機器7-2)は、音を発しなくなる。IoT機器7-2の機器状態管理部74は、自装置の機器情報を更新する。即ち、機器状態管理部74は、機器情報の中において、稼働状態を「停止」とし、移動状態を「停止」とするように更新する。また、機器状態管理部74は、機器情報の中の自装置の位置情報(座標値)を、移動を停止した時点の位置に固定させる。
【0105】
次にステップS20において、IoT機器7-2の機器情報提供部75は、最新の状況を音量制御装置1に対して通知する。具体的には、機器情報提供部75は、少なくとも、稼働状態が「停止」であり、移動状態が「停止」であるという機器情報を、音量制御装置1に対して送信する。また、機器情報提供部75は、最新の時点における自装置の位置情報(座標値)を、音量制御装置1に対して送信するようにしてもよい。
【0106】
以上説明したように、この第1例の処理シーケンスによると、制御システム100では、ユーザー入力装置3からの「音量UP」の命令をトリガーとして、それぞれの状況に応じてユーザー意図解釈部12がその命令におけるユーザーの意図を解釈し、その解釈結果に基づいて、操作対象機器5だけでなく、IoT機器7の動作をも制御することが可能である。
【0107】
図8は、音量制御装置1の機器情報管理部17が保持する機器情報の構成例を示す概略図である。ここに示す機器情報は、機器情報取得部16が操作対象機器5やIoT機器群7Gからそれぞれ収集して、機器情報管理部17が持つデータベース等において管理されるものである。図示するように、機器情報管理部17が持つ機器情報は、例えば表形式のデータとして管理され得る。この表における1行のデータが、1個の機器(操作対象機器5またはIoT機器7)に対応する情報を保持する。なお、ここに示す機器情報は、各機器の最新の情報のみを保持する場合の例である。機器情報管理部17が、最新の機器情報だけではなく、各機器の機器情報の履歴を保持するようにしてもよい。
【0108】
図示する構成の機器情報は、機器ID、操作対象、種別、音量レベル、動作状況、位置(座標値)、部屋/区画、ユーザーから見た方向、ユーザーからの距離といった項目のデータを持つ。機器IDは、制御システム100内において個々の機器を一意に識別するための識別情報である。操作対象は、その機器が操作対象機器であるか否かを表す情報である。操作対象の値が「TRUE」である機器は、操作対象機器である。操作対象の値が「FALSE」である機器は、操作対象機器ではない機器である。図6および図7に示したシーケンスの例では、操作対象機器5(テレビ受像機)についての操作対象機器の値は「TRUE」である。一方で、IoT機器7-1(スマートスピーカー)やIoT機器7-2(自律移動式掃除機)についての操作対象機器の値は「FALSE」である。種別は、機器の種別を表す名称(一般名詞)である。音量レベルは、特定の時点におけるその機器が発する音の音量である。音量は、スピーカー等が出力する音声のみの音量を表すものであってもよいし、スピーカー等からの出力の他に、動作部が動作することによる音(騒音、雑音等)を含む音の音量を表すものであってもよい。動作状況は、機器の動作状況を表す。動作状況の値は、再生中、停止、動作中などといったものである。動作状況の値が、機器の動作モード(例えば、強あるいは弱)の情報を含むものであってもよい。位置は、機器が特定の時点において存在する位置の座標値である。図示する例では3次元座標として位置を表している。機器等についての高さ方向(z軸)の座標値が不要である場合には2次元座標で位置を表してもよい。部屋/区画は、機器が特定の時点において存在する部屋等を表す情報である。部屋/区画は、例えば、「リビングルーム」などいった、部屋あるいは区画を特定する情報を持つ。部屋/区画は、前記の位置と、間取り情報とによって求められる場合がある。ユーザーから見た方向およびユーザーからの距離は、機器とユーザーとの相対的な位置関係を表す情報である。ユーザーから見た方向は、平面視したときに、ユーザーの位置を基準として機器の方向を表す情報である。例えば真北を0°(度)として、時計回りに、0°以上360°未満の数値で方向を表すことができる。ユーザーからの距離は、ユーザーの位置を基準として、機器のユーザーからの距離(単位は、例えばセンチメートル(cm))を表す。
【0109】
図8のデータ例において、1行目の行(機器IDが、100000)は、図6および図7の説明における操作対象機器5(テレビ受像機)の状況を表すデータである。また、2行目の行(機器IDが、100001)は、IoT機器7-1(スマートスピーカー)の状況を表すデータである。また、3行目の行(機器IDが、100002)は、IoT機器7-2(自律移動式掃除機)の状況を表すデータである。
【0110】
[処理シーケンス(第2例)]
図9および図10は、制御システム100における処理シーケンスの第2例を示すシーケンス図である。図9図10との両方で一連のシーケンスを示している。第2例では、ユーザー入力装置3がテレビのリモコン装置であり、操作対象機器5がそのリモコン装置からの信号を受信するテレビ受像機であり、IoT機器7-1がスマートスピーカーであることを想定する。ただし、具体的な機器の種別は、異なるものであってもよい。この第2例の処理シーケンスは、ユーザー入力装置3が操作対象機器5に対して音量DOWNの命令(制御信号)を送信する場合の処理である。以下において、この図に沿って第2例を説明する。
【0111】
まずステップS31(図9)において、ユーザー入力装置3のユーザー制御送信部31は、操作対象機器5のユーザー制御受信部51に対して、音量DOWNの命令(制御信号)を送信する。ユーザー制御受信部51は、この命令を受信する。なお、この音量DOWNの命令のトリガーとなるのは、テレビの音声出力の音量が大きすぎると考えたユーザーによるボタン操作である。
【0112】
次にステップS32において、操作対象機器5のユーザー制御提供部52は、ステップS31において受信された音量DOWNの命令を表す情報を、音量制御装置1のユーザー制御受信部11に対して送信する。ユーザー制御受信部11は、提供されたこの命令の情報を受信する。即ち、ユーザー制御受信部11は、操作対象機器5が音量DOWNの命令を受信したという情報を得る。なお、ステップS32において、ユーザー制御受信部11は、操作対象機器5側から音量DOWNの命令の情報を得る代わりに、ユーザー入力装置3側から直接この音量DOWNの命令を受信してもよい。いずれの場合も、ユーザー制御受信部11は、受信した音量DOWNの命令の情報を、ユーザー意図解釈部12に渡す。
【0113】
次にステップS33において、音量制御装置1の機器制御部14は、操作対象機器5とIoT機器7-1とのそれぞれに対して、機器情報を要求する。
【0114】
次にステップS34において、音量制御装置1の機器情報取得部16は、ステップS33で送信した機器情報の要求に対応して、操作対象機器5の機器情報提供部55や、IoT機器7-1の機器情報提供部75から提供される機器情報を受信する。機器情報取得部16は、取得した各機器の機器情報を、機器情報管理部17に渡す。機器情報管理部17は、取得した機器情報を、ユーザー意図解釈部12に渡すことができる。機器情報管理部17が管理する機器情報は、第1例において説明したものと同様の情報である。
【0115】
次にステップS35において、音量制御装置1のユーザー情報管理部15は、ユーザー入力装置3のユーザー情報送信部32に対して、ユーザー情報要求を送信する。ユーザー情報送信部32は、この要求を受信する。
【0116】
次にステップS36において、ユーザー入力装置3のユーザー情報送信部32は、ステップS35で受信した要求に応じて、音量制御装置のユーザー情報管理部15に対してユーザー情報を送信する。ユーザー情報管理部15は、取得したユーザー情報を記憶し、管理する。ユーザー情報管理部15は、取得したユーザー情報をユーザー意図解釈部12に渡す。ユーザー情報管理部15が管理するユーザー情報については、第1例で説明した通りである。つまり、ユーザー情報は、ユーザーの位置情報、ユーザーの好みの音量設定値、ユーザーが優先的に使用する音声出力デバイス、ユーザーが再生するコンテンツの傾向などといった情報を含む。
【0117】
次にステップS37において、音量制御装置1のユーザー意図解釈部12は、ユーザー入力装置3から送信されたユーザーの命令の意図を、解釈・推定する。ここでは、ユーザー意図解釈部12は、ユーザーの命令の情報(音量DOWN)と、機器情報管理部17から得られる機器情報と、ユーザー情報管理部15から得られるユーザー情報とに基づいて、意図解釈の処理を実行する。
【0118】
本例において、ユーザー意図解釈部12は、次のように意図を解釈することが想定される。ユーザー意図解釈部12は、ステップS34において取得した機器情報に基づき、操作対象機器5(テレビ受像機)とIoT機器7-1(スマートスピーカー)の両方から音声が出力されていることを把握する。また、同様に、ユーザー意図解釈部12は、操作対象機器5(テレビ受像機)とIoT機器7-1(スマートスピーカー)とが同じ部屋(リビングルーム)に存在していることを把握する。また、同様に、ユーザー意図解釈部12は、ユーザーが存在する位置において、放送番組を再生している操作対象機器5(テレビ受像機)から出力される音量の方が、音声を出力(音楽等の再生)しているIoT機器7-1(スマートスピーカー)から出力される音量を、+6dB上回っている状態であることを把握する。この状況においてユーザーからの命令が操作対象機器5(テレビ受像機)の音量DOWNであったことから、ユーザー意図解釈部12は、ユーザーの意図はIoT機器7-1(スマートスピーカー)の音をより聞きやすくしたいということであると解釈する。ユーザー意図解釈部12は、その解釈結果を、機器制御決定部13に渡す。
【0119】
次にステップS38において、音量制御装置1の機器制御決定部13は、ユーザー意図解釈部12から渡されたユーザー意図(上記の通り、「ユーザーがスマートスピーカーの音を聞きやすくする」)に基づいて、各機器への制御の内容を決定する。具体的には、本例では、機器制御決定部13は、IoT機器7-1(スマートスピーカー)の出力音量を上げ、操作対象機器5(テレビ受像機)の出力音量を下げる、という制御を行うことを決定する。機器制御決定部13は、その決定事項を機器制御部14に渡す。機器制御部14は、機器制御決定部13から渡された決定事項を実現するために、IoT機器7-1(スマートスピーカー)および操作対象機器5(テレビ受像機)のそれぞれに対して送信する制御信号を生成する。
【0120】
次にステップS39において、音量制御装置1の機器制御部14は、IoT機器7-1(スマートスピーカー)に対して、制御指令を送信する。IoT機器7-1の制御部73は、この音量制御装置1からの指示の情報を受信する。本ステップでIoT機器7-1に対して送られる制御指令は、音量UPの制御である。制御部73は、受信した制御指令に基づいて、次のステップ以後で、自装置の動作を制御する。
【0121】
次にステップS40において、IoT機器7-1(スマートスピーカー)の制御部73は、自装置の音声出力部76からの出力音量を上げるように制御する。これにより、IoT機器7-1(スマートスピーカー)の音声出力部76は、出力音量を上げる。また、IoT機器7-1の機器状態管理部74は、自装置の機器情報を更新する。つまり、IoT機器7-1の機器情報として、自装置の出力音量の値を、音量UP後の数値に更新する。
【0122】
次にステップS41において、IoT機器7-1(スマートスピーカー)の機器情報提供部75は、ステップS40における音量UPの制御を行った後の状況(機器情報)を、音量制御装置1に通知する。具体的には、機器情報提供部75は、少なくとも、更新後の自装置の設定音量の値を、音量制御装置1に通知する。音量制御装置1の機器情報取得部16は、IoT機器7-1からその機器情報を受信する。音量制御装置1の機器情報管理部17は、自身が管理するIoT機器7-1の機器情報を最新の状態に更新する。
【0123】
次にステップS42において、音量制御装置1の機器制御部14は、操作対象機器5(テレビ受像機)に対して、音量DOWN制御の指令を送信する。この指令も、前述の通り、機器制御決定部13の決定に基づくものである。操作対象機器5の制御部53は、音量制御装置1からのこの指令を受信する。
【0124】
次にステップS43において、操作対象機器5の制御部53は、音声出力部56を制御し、テレビ受像機からの出力音声の音量を下げる。
【0125】
上記のステップS43までの一連の処理によって、IoT機器7-1(スマートスピーカー)が出力する音量は上げられ、操作対象機器5(テレビ受像機)が出力する音量は下げられる。つまり、ユーザー意図解釈部12が解釈した通りのユーザーの意図に沿った制御が自動的に為される。
【0126】
次に、図10に移ってステップS44において、ユーザー入力装置3のユーザー制御送信部31は、操作対象機器5(テレビ受像機)のユーザー制御受信部51に対して、音量DOWNの命令(制御信号)を送信する。ユーザー制御受信部51は、この命令を受信する。この音量UPの命令のトリガーとなるのは、ユーザーによるユーザー入力装置3(テレビリモコン装置)のボタン操作である。
【0127】
次にステップS45において、操作対象機器5のユーザー制御提供部52は、音量制御装置1に対して、ステップS44で受信した命令(音量DOWN)の情報を送信する。音量制御装置1のユーザー制御受信部11は、この情報を受信する。ユーザー制御受信部11は、受信した命令(音量DOWN)の情報を、ユーザー意図解釈部12に渡す。
【0128】
なお、音量制御装置1は、各機器の最新の機器情報を受信済みである。また、音量制御装置1は、ユーザー情報を受信済みである。よって、今回、音量制御装置1は、機器情報やユーザー情報を取得するための手順を省略することができる。
【0129】
次にステップS46において、音量制御装置1のユーザー意図解釈部12は、既に得られている情報に基づいて、ステップS45において音量制御装置1が取得した命令についてのユーザーの意図を解釈・推定する。
【0130】
具体的には、ここでは、ユーザー意図解釈部12は、ユーザーの意図を次のように解釈する。ユーザー意図解釈部12は、ユーザーと操作対象機器5(テレビ受像機)とIoT機器7-1(スマートスピーカー)とが同一の部屋(リビングルーム)に存在することを把握している。また、ユーザー意図解釈部12は、その時点では、ユーザーが存在する場所において、操作対象機器5(テレビ受像機)が出力している音の音量がIoT機器7-1(スマートスピーカー)が出力している音の音量よりも6dB以上小さいことを把握している。ここでの6dBは、2つの音の音量の差についての閾値である。このような状況においてユーザーが音量DOWNの命令を発したことについて、ユーザー意図解釈部12は、ユーザーの意図を、「ユーザーは当該部屋における環境全体の音量を下げたい(静かにしたい)」というものであると解釈する。ユーザー意図解釈部12は、解釈の結果であるユーザーの意図を、機器制御決定部13に渡す。
【0131】
次にステップS47において、音量制御装置1の機器制御決定部13は、ステップS46におけるユーザー意図解釈部12の解釈結果に基づいて、制御内容を決定する。つまり、解釈結果である「当該部屋における環境全体の音量を下げたい」という意図に基づいて、機器制御決定部13は、操作対象機器5(テレビ受像機)が出力する音量を下げ、且つIoT機器7-1(スマートスピーカー)が出力する音量も下げることを決定する。機器制御決定部13は、この決定内容の情報を機器制御部14に渡す。機器制御部14は、機器制御決定部13から渡された決定に基づいて、制御対象である各機器(操作対象機器5とIoT機器7-1のそれぞれ)を制御するための指令を作成する。
【0132】
次にステップS48において、音量制御装置1の機器制御部14は、IoT機器7-1(スマートスピーカー)に対して、制御指令を送信する。IoT機器7-1の制御部73は、この音量制御装置1からの指示の情報を受信する。本ステップでIoT機器7-1に対して送られる制御指令は、音量DOWNの制御である。
【0133】
次にステップS49において、IoT機器7-1(スマートスピーカー)の制御部73は、自装置の音声出力部76からの出力音量を下げるように制御する。これにより、IoT機器7-1(スマートスピーカー)の音声出力部76は、出力音量を下げる。また、IoT機器7-1の機器状態管理部74は、自装置の機器情報を更新する。つまり、IoT機器7-1の機器情報として、自装置の出力音量の値を、音量DOWN後の数値に更新する。
【0134】
次にステップS50において、IoT機器7-1(スマートスピーカー)の機器情報提供部75は、ステップS49における音量DOWNの制御後の状況(機器情報)を、音量制御装置1に通知する。具体的には、機器情報提供部75は、更新後の自装置の出力音量の値を、音量制御装置1に通知する。音量制御装置1の機器情報取得部16は、その機器情報を受信する。音量制御装置1の機器情報管理部17は、自身が管理するIoT機器7-1の機器情報を最新の状態に更新する。
【0135】
次にステップS51において、音量制御装置1の機器制御部14は、操作対象機器5(テレビ受像機)に対して、音量DOWN制御の指令を送信する。この指令も、機器制御決定部13の決定に基づくものである。操作対象機器5の制御部53は、音量制御装置1からのこの指令を受信する。
【0136】
次にステップS52において、操作対象機器5(テレビ受像機)の制御部53は、音声出力部56を制御し、テレビ受像機からの出力音声の音量を下げる。
【0137】
以上説明したように、この第2例の処理シーケンスにおいても、制御システム100では、ユーザー入力装置3からの「音量DOWN」の命令をトリガーとして、それぞれの状況に応じてユーザー意図解釈部12がその命令におけるユーザーの意図を解釈し、その解釈結果に基づいて、操作対象機器5だけでなく、IoT機器7の動作をも制御することが可能である。
【0138】
[処理シーケンス(第3例)]
図11は、制御システム100における処理シーケンスの第3例を示すシーケンス図である。第3例では、ユーザー入力装置3がテレビのリモコン装置であり、操作対象機器5がそのリモコン装置からの信号を受信するテレビ受像機であり、IoT機器7-1がスマートスピーカーであることを想定する。ただし、具体的な機器の種別は、異なるものであってもよい。この第3例の処理シーケンスは、ユーザー入力装置3が操作対象機器5に対して電源ONの命令(制御信号)を送信する場合の処理である。以下、この図に沿って第3例を説明する。
【0139】
まずステップS61において、ユーザー入力装置3のユーザー制御送信部31は、操作対象機器5のユーザー制御受信部51に対して、電源ON(オン)の命令(制御信号)を送信する。ユーザー制御受信部51は、この命令を受信する。なお、この電源ONの命令のトリガーとなるのは、ユーザーによる電源ON/OFFボタンの押下操作である。
【0140】
次にステップS62において、操作対象機器5のユーザー制御提供部52は、ステップS61において受信された電源ONの命令の情報を、音量制御装置1のユーザー制御受信部11に対して送信する。ユーザー制御受信部11は、提供されたこの命令の情報を受信する。なお、ステップS62において、ユーザー制御受信部11は、操作対象機器5側から電源ONの命令の情報を得る代わりに、ユーザー入力装置3側から直接この電源ONの命令を受信してもよい。いずれの場合も、ユーザー制御受信部11は、受信した電源ONの命令の情報を、ユーザー意図解釈部12に渡す。
【0141】
次にステップS63において、音量制御装置1の機器制御部14は、操作対象機器5とIoT機器7-1とのそれぞれに対して、機器情報を要求する。
【0142】
次にステップS64において、音量制御装置1の機器情報取得部16は、ステップS63で送信した機器情報の要求に対応して、操作対象機器5の機器情報提供部55や、IoT機器7-1の機器情報提供部75から提供される機器情報を受信する。機器情報取得部16は、取得した各機器の機器情報を、機器情報管理部17に渡す。機器情報管理部17は、取得した機器情報を、ユーザー意図解釈部12に渡すことができる。
【0143】
次にステップS65において、音量制御装置1のユーザー情報管理部15は、ユーザー入力装置3のユーザー情報送信部32に対して、ユーザー情報要求を送信する。ユーザー情報送信部32は、この要求を受信する。
【0144】
次にステップS66において、ユーザー入力装置3のユーザー情報送信部32は、ステップS65で受信した要求に応じて、音量制御装置のユーザー情報管理部15に対してユーザー情報を送信する。ユーザー情報管理部15は、取得したユーザー情報を記憶し、管理する。ユーザー情報管理部15は、取得したユーザー情報をユーザー意図解釈部12に渡す。
【0145】
次にステップS67において、音量制御装置1のユーザー意図解釈部12は、ユーザー入力装置3から送信されたユーザーの命令の意図を、解釈・推定する。ここでは、ユーザー意図解釈部12は、ユーザーの命令の情報(電源ON)と、機器情報管理部17から得られる機器情報と、ユーザー情報管理部15から得られるユーザー情報とに基づいて、意図解釈の処理を実行する。
【0146】
本例において、ユーザー意図解釈部12は、次のように意図を解釈することが想定される。ユーザー意図解釈部12は、元々、操作対象機器5(テレビ受像機)がリビングルームに存在していて、且つその電源がOFF(オフ)の状態であることを把握している。また、ユーザー意図解釈部12は、IoT機器7-1(スマートスピーカー)がリビングルームに存在していて、且つIoT機器7-1は所定の音量で音声を出力していることを把握している。ユーザー意図解釈部12は、その時点でのIoT機器7-1(スマートスピーカー)の音量も把握している。
【0147】
ユーザー意図解釈部12は、予め持つ知識により、操作対象機器5とIoT機器7-1とが同一の部屋に存在する場合に、操作対象機器5の電源がOFFからONに変更されるときにはユーザーはIoT機器7-1(スマートスピーカー)の音量が下がることを望むはずであると判断する。また、ユーザー意図解釈部12は、その状況において、操作対象機器5(テレビ受像機)から出力される音の音量が、IoT機器7-1(スマートスピーカー)から出力される音の音量を、+6dB以上上回ることが望ましいと判断する。ユーザー意図解釈部12は、これらの判断結果をユーザーの意図とする。つまり、ユーザー意図解釈部12は、ユーザーの意図は「テレビの電源をONにしたときにテレビから出力される音声を聞きやすくする」ことであると解釈する。ユーザー意図解釈部12は、推定されたこのユーザー意図を、機器制御決定部13に伝える。
【0148】
次にステップS68において、音量制御装置1の機器制御決定部13は、ユーザー意図解釈部12から渡された上記のユーザー意図(「テレビの電源をONにしたときにテレビから出力される音声を聞きやすくする」)に基づいて、機器の制御内容を決定する。具体的には、機器制御決定部13は、操作対象機器5(テレビ受像機)の電源をONにするとともに、IoT機器7-1(スマートスピーカー)の出力音量を下げる、という制御を行うことを決定する。機器制御決定部13は、その決定事項を機器制御部14に渡す。機器制御部14は、機器制御決定部13から渡された決定事項を実現するために、IoT機器7-1(スマートスピーカー)および操作対象機器5(テレビ受像機)のそれぞれに対して送信する制御信号を生成する。
【0149】
次にステップS69において、音量制御装置1の機器制御部14は、操作対象機器5(テレビ受像機)およびIoT機器7-1(スマートスピーカー)のそれぞれに対して、ステップS68で生成した制御指令を送信する。操作対象機器5の制御部53およびIoT機器7-1の制御部73のそれぞれは、音量制御装置1からの指示の情報を受信する。つまり、操作対象機器5の制御部53は、電源ONの指示の信号を受信する。また、IoT機器7-1の制御部73は、音量DOWNの指示の信号を受信する。
【0150】
次にステップS70において、操作対象機器5の制御部53は、ステップS69において受信した指令に基づいて、自装置(テレビ受像機)の電源をONにする。これにより、操作対象機器5(テレビ受像機)は、所定の放送サービスを受信し、その映像を画面に表示するとともに、音声を音声出力部56から出力する。なお、このときに操作対象機器5(テレビ受像機)から出力される音量を、ステップS69における制御指令によって制御するようにしてもよい。操作対象機器5は、自装置の機器情報を最新の状態に更新して保持する。
【0151】
次にステップS71において、IoT機器7-1の制御部73は、ステップS69において受信した指令に基づいて、自装置(スマートスピーカー)の音声出力部76から出力される音声の音量を下げる制御を行う。IoT機器7-1は、自装置の機器情報を最新の状態に更新して保持する。
【0152】
次にステップS72において、操作対象機器5(テレビ受像機)およびIoT機器7-1(スマートスピーカー)のそれぞれは、音量制御装置1に対して、自装置の状況を通知する。つまり、それぞれの装置の最新の状態を表す機器情報は、音量制御装置1に対して伝えられる。音量制御装置1の機器情報取得部16は、これらそれぞれの機器から送信される状況通知を受信する。機器情報取得部16は、受信した状況通知に含まれている各装置の最新の状態を表す機器情報を、機器情報管理部17に渡す。機器情報管理部17は、各機器の最新の状態の情報を、記憶する。
【0153】
以上説明したように、この第3例の処理シーケンスによると、制御システム100では、ユーザー入力装置3からの「電源ON」の命令をトリガーとして、ユーザー意図解釈部12がその命令におけるユーザーの意図を解釈し、単に操作対象機器5の電源をONにするだけでなく、IoT機器7の動作をも制御することが可能である。
【0154】
次に、本実施形態の音量制御装置1における、ユーザー意図解釈部12の処理と、機器制御決定部13の処理とについて、さらに説明する。ユーザー意図解釈部12と機器制御決定部13とのそれぞれは、入力される情報に基づいて、出力する情報(制御信号等)を決定する。シーケンス図で説明した処理の第1例、第2例、第3例のそれぞれにおける、ユーザー意図解釈部12と機器制御決定部13とのそれぞれの入出力関係を整理すると、次の表1から表5までの通りである。
【0155】
表1から表5までのそれぞれは、入力情報、意図(解釈結果)、制御内容というそれぞれの項目を持つ表である。このうち、入力情報は、ユーザー意図解釈部12がユーザーの意図を解釈する処理の基となる情報である。また、意図(解釈結果)は、ユーザー意図解釈部12が解釈した処理の結果として出力する情報である。意図(解釈結果)は、機器制御決定部13が機器の制御を決定するための入力ともなる情報である。機器制御決定部13は、意図(解釈結果)に基づいて、制御内容を決定する。なお、機器制御決定部13が制御内容を決定する際に、表内の入力情報を参照するようにしてもよい。
【0156】
下の表1は、第1例のステップS7におけるユーザー意図解釈部12の処理と、それに関連する機器制御決定部13の処理の内容を整理したものである。
【0157】
【表1】
【0158】
下の表2は、第1例のステップS16におけるユーザー意図解釈部12の処理と、それに関連する機器制御決定部13の処理の内容を整理したものである。
【0159】
【表2】
【0160】
下の表3は、第2例のステップS37におけるユーザー意図解釈部12の処理と、それに関連する機器制御決定部13の処理の内容を整理したものである。
【0161】
【表3】
【0162】
下の表4は、第2例のステップS46におけるユーザー意図解釈部12の処理と、それに関連する機器制御決定部13の処理の内容を整理したものである。
【0163】
【表4】
【0164】
下の表5は、第3例のステップS67におけるユーザー意図解釈部12の処理と、それに関連する機器制御決定部13の処理の内容を整理したものである。
【0165】
【表5】
【0166】
ユーザー意図解釈部12は、下に説明する第1の手法から第3の手法までのいずれかを用いて、あるいはそれらの複数を併用することによって、ユーザーの意図を解釈する処理を行い得る。
【0167】
[第1の手法:ユーザー意図解釈部12]
ユーザー意図解釈部12は、表1から表5までにおいて例示したような入力のパターンと出力のパターンとの対応関係を、あらかじめ記憶しておく。ユーザー意図解釈部12は、ユーザー入力装置3側からの命令(音量UP等)を取得した際に、その対応関係のテーブルを参照し、入力情報(命令、機器情報、ユーザー情報)にマッチするパターンを検索する。そして、ユーザー意図解釈部12は、入力情報にマッチするパターンが発見された場合に、そのパターンが有する解釈結果を、ユーザーの意図として出力する。なお、入力と出力との対応関係は、あらかじめ適切な手段を用いて洗い出しておくようにする。この対応関係の洗い出しは、例えば人手で行うようにしてもよい。
【0168】
[第2の手法:ユーザー意図解釈部12]
ユーザー意図解釈部12は、表1から表5までにおいて例示したような入力のパターンと出力のパターンとの対応関係を、あらかじめ記憶しておく。また、ユーザー意図解釈部12は、所定の入力情報を前提としたときに、ユーザーが好ましいと感じた出力(意図解釈)の統計を、あらかじめ記憶しておく。この統計は、例えば、ユーザーからのフィードバック情報(意図解釈が好ましいものであったか否かを表す情報)を得ることによって獲得する。言い換えれば、ユーザー意図解釈部12は、ユーザーの操作履歴に基づいて、ユーザーが好ましいと感じた出力(意図解釈)の統計を獲得する。ユーザー意図解釈部12は、入力情報にマッチするパターンが発見された場合に、その統計を参照して、ユーザーが好ましいと感じる傾向の強い出力のパターンを、意図の解釈結果として選択し、出力する。
【0169】
[第3の手法:ユーザー意図解釈部12]
ユーザー意図解釈部12は、表1から表5までにおいて例示したような入力のパターンと出力のパターンとの対応関係について、正例のデータと負例のデータとを学習用データとして用いて予め機械学習を行っておくようにする。ユーザー意図解釈部12は、その機械学習の結果得られるモデルを、内部に保持する。モデルは、所定の入力情報が与えられたときに、学習用データにおける正例に近い傾向を有するユーザー意図を出力する。つまり、ユーザー意図解釈部12は、機械学習済みのモデルを用いて、ユーザーの意図を推定する処理を行う。
【0170】
なお、機器制御決定部13は、ユーザーの意図と、機器(操作対象機器5やIoT機器7)に対する制御内容との対応関係を、あらかじめテーブル等の記憶手段に格納して保持しておくようにする。機器制御決定部13は、ユーザー意図解釈部12が出力した特定の意図(ユーザーの意図)に応じて、そのテーブル等を参照し、その意図に合った制御内容を決定する。
【0171】
処理シーケンスの第1例から第3例まで(図6,7,9,10,11)では、IoT機器7がスマートスピーカーである場合と自律移動式掃除機である場合とについて説明した。IoT機器7としては、上記の例以外にも、様々な機器を制御対象とすることができる。IoT機器7が、例えば、空気清浄機、掃除機、電動歯ブラシ、冷蔵庫、電子レンジ、炊飯器、ミキサー、換気扇などといった機器のいずれかである場合には、これらの機器の動作状態(動作モード、強さ等)を変えることによって、これらの機器が発する音の音量を、大きくしたり小さくしたりといったように、制御することができる。また、IoT機器7が浴室等にお湯を供給する湯沸かし器である場合、湯沸かしの速度を速くしたり(お湯の温度上昇を相対的に速くする)遅くしたり(お湯の温度上昇を相対的に遅くする)することによって、湯沸かし器の稼働音の音量を、大きくしたり小さくしたり、制御することができる。また、IoT機器7が電動ベッドである場合、電気モーターによってベッドの傾斜を変える速度を速くしたり遅くしたりすることによって、電動ベッドが発する音の音量を、大きくしたり小さくしたり、制御することができる。また、IoT機器7が電力管理システムの制御装置である場合、所定の電力使用系統における全体的な使用電力を大きくしたり小さくしたりすることにより、その系統で稼働する装置等の全体の稼働音の音量を、大きくしたり小さくしたり、制御することができる。また、IoT機器7がガソリン等で駆動するタイプの自動車である場合、エンジンの単位時間当たりの回転数(駐車中のアイドリング状態でのエンジンの回転数である場合を含む)を速くしたり遅くしたり(エンジンを停止させてもよい)することにより、エンジンの稼働音の音量を、大きくしたり小さくしたり、制御することができる。また、IoT機器7が自ら移動する装置(移動型ロボットやドローン等)である場合、そのIoT機器7を、単に隣室に移動するだけではなく、より遠くの場所に移動させること等に依っても、そのIoT機器7が発する音のユーザーにとっての音量を、大きくしたり小さくしたり、制御することができる。
【0172】
図12は、本実施形態の制御システムを構成する各装置が持つコンピューターの内部構成の例を示すブロック図である。音量制御装置1や、ユーザー入力装置3や、操作対象機器5や、IoT機器7の少なくとも一部の機能は、コンピューターを用いて実現され得る。図示するように、そのコンピューターは、中央処理装置901と、RAM902と、入出力ポート903と、入出力デバイス904や905等と、バス906と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置901は、RAM902等から読み込んだプログラムに含まれる命令を実行する。中央処理装置901は、各命令にしたがって、RAM902にデータを書き込んだり、RAM902からデータを読み出したり、算術演算や論理演算を行ったりする。RAM902は、データやプログラムを記憶する。RAM902に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、RAMは、「ランダムアクセスメモリー」の略である。入出力ポート903は、中央処理装置901が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス904や905は、入出力デバイスである。入出力デバイス904や905は、入出力ポート903を介して中央処理装置901との間でデータをやりとりする。バス906は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置901は、バス906を介してRAM902のデータを読んだり書いたりする。また、例えば、中央処理装置901は、バス906を介して入出力ポートにアクセスする。
【0173】
上述した実施形態における音量制御装置1や、ユーザー入力装置3や、操作対象機器5や、IoT機器7の少なくとも一部の機能をコンピューターで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM、DVD-ROM、USBメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。つまり、「コンピューター読み取り可能な記録媒体」とは、非一過性の(non-transitory)コンピューター読み取り可能な記録媒体であってよい。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0174】
以上、複数の実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。
【0175】
[変形例1]
上で説明した処理シーケンスの第1例から第3例までにおいては、ユーザー入力装置3は、テレビのリモコン装置であった。ユーザー入力装置3は、その他の装置であってもよい。ユーザー入力装置3は、例えば、スマートフォンや、タブレット型端末や、腕時計型端末や、スマートスピーカー等であってもよい。いずれの場合も、ユーザー入力装置3は、赤外線信号や、IPパケット等を用いて、操作対象機器5に対して命令の信号を送信する。
【0176】
[変形例2]
上記実施形態では、音量制御装置1が、操作対象機器5やIoT機器7が発する音の音量を制御するものであった。変形例として、音量を制御する代わりに、制御装置が他の対象を制御するものであってもよい。ここでの制御対象は、例えば、光量、消費電力(または消費電力量)、その他の資源の量などであってよい。
【0177】
[変形例3]
上記実施形態では、操作対象機器5がテレビ受像機である場合について説明した。操作対象機器5は、他の機器であってもよい。操作対象機器5は、例えば、オーディオ再生装置、発光装置、自動車、飛行機、ドローン、電動キックボード等、操作対象となり得るいかなる機器であってもよい。
【0178】
[変形例4]
上記実施形態では、ユーザー意図解釈部12は、ユーザーからの命令の情報と、機器情報と、ユーザー情報とに基づいて、その命令についてのユーザーの意図を解釈する処理を行っていた。変形例として、ユーザー意図解釈部12は、ユーザー情報に基づかず、ユーザーからの命令の情報と、機器情報とに基づいて、その命令についてのユーザーの意図を解釈する処理を行うようにしてもよい。
【0179】
以上、この発明の実施形態(変形例を含む)について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【0180】
本発明は、例えば、住環境や、事業所や、展示場や、イベント会場や、公共スペース等の様々な場所において、複数の機器を連携させて制御するためのシステムとして利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。
【符号の説明】
【0181】
1 音量制御装置
3 ユーザー入力装置
5 操作対象機器
7 IoT機器
7-1 IoT機器(スマートスピーカー)
7-2 IoT機器(自律移動式掃除機)
7G IoT機器群
11 ユーザー制御受信部
12 ユーザー意図解釈部
13 機器制御決定部
14 機器制御部
15 ユーザー情報管理部
16 機器情報取得部
17 機器情報管理部
31 ユーザー制御送信部
32 ユーザー情報送信部
51 ユーザー制御受信部
52 ユーザー制御提供部
53 制御部
54 機器状態管理部
55 機器情報提供部
56 音声出力部
57 動作部
73 制御部
74 機器状態管理部
75 機器情報提供部
76 音声出力部
77 動作部
100 制御システム
901 中央処理装置
902 RAM
903 入出力ポート
904,905 入出力デバイス
906 バス
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12