知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-27
(45)【発行日】2024-03-06
(54)【発明の名称】命令送信装置、命令転送システム、命令送信方法及びプログラム
(51)【国際特許分類】
G06F 3/12 20060101AFI20240228BHJP
B41J 29/38 20060101ALI20240228BHJP
G10L 15/22 20060101ALI20240228BHJP
【ＦＩ】
G06F3/12 344
B41J29/38 401
G06F3/12 309
G06F3/12 378
G10L15/22 453
G06F3/12 337
【請求項の数】
5
(21)【出願番号】P 2020044704
(22)【出願日】2020-03-13
(65)【公開番号】P2021144645
(43)【公開日】2021-09-24
【審査請求日】2023-01-16
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】渡邊 究
【審査官】松浦 かおり
(56)【参考文献】
【文献】特開２０１９－１８５７３４（ＪＰ，Ａ）
【文献】特開２０１３－０９７４３５（ＪＰ，Ａ）
【文献】特開２０１９－１０９７５２（ＪＰ，Ａ）
【文献】特開２０１５－１８５０４７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０９ － ３／１２
Ｂ４１Ｊ ２９／００ －２９／７０
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８－ ３／０４８９５
Ｇ０６Ｆ ３／１６
Ｇ１０Ｌ １５／００ －１７／２６
Ｈ０４Ｎ １／００
(57)【特許請求の範囲】
【請求項1】
音声を集音して音声データを取得する特定の音声取得装置が送信した前記音声データに含まれる命令を示す第１の命令情報を受信する受信手段と、前記第１の命令情報から、所定の命令を実行する特定の命令実行装置が受信不可能で且つ前記特定の命令実行装置に所定の命令を転送する特定の命令転送装置が受信可能な前記命令を示す第２の命令情報に変換する変換手段と、
前記第２の命令情報及び前記命令実行装置への宛先を示す特定の宛先情報を前記命令転送装置に送信する送信手段と、を有し、
前記受信手段は、前記特定の音声取得装置が送信した当該音声取得装置を識別するための特定の識別情報を受信し、
前記送信手段は、所定の音声取得装置を識別するための所定の識別情報と、転送先である所定の命令実行装置への宛先を示す所定の宛先情報と、を関連付けて管理された転送先管理情報において、前記特定の識別情報に対応する特定の宛先情報を、前記第２の命令情報とともに前記命令転送装置に送信し、
前記転送先管理情報で管理されている前記特定の宛先情報は第１の宛先情報であり、
前記送信手段は、前記受信手段が前記音声データとともに第２の宛先情報を受信した場合には、前記転送先管理情報で管理されている前記第１の宛先情報ではなく、前記第２の宛先情報を、前記第２の命令情報とともに前記命令転送装置に送信する命令送信装置。
【請求項2】
前記送信手段は、前記宛先情報に前記命令実行装置へのＩＰアドレス情報及び前記命令実行装置の装置名のうち少なくとも一方を含めることを特徴とする請求項１に記載の命令送信装置。
【請求項3】
音声を集音して音声データを取得する特定の音声取得装置が送信した前記音声データに含まれる命令を示す第１の命令情報を受信し、前記第１の命令情報に基づいて、前記命令を示す第２の命令情報を命令転送装置に送信する命令送信装置と、所定の命令を実行する特定の命令実行装置と、
を有する命令転送システムであって、
前記命令送信装置は、
前記特定の音声取得装置が送信した当該音声取得装置を識別するための特定の識別情報を受信し、
前記第１の命令情報から、前記特定の命令実行装置が受信不可能で且つ前記特定の命令実行装置に所定の命令を転送する前記特定の命令転送装置が受信可能な前記命令を示す第２の命令情報に変換し、
所定の音声取得装置を識別するための所定の識別情報と、転送先である所定の命令実行装置への宛先を示す所定の宛先情報と、を関連付けて管理された転送先管理情報において、前記特定の識別情報に対応する特定の宛先情報である第１の宛先情報を、前記第２の命令情報とともに前記命令転送装置に送信し、
前記音声データとともに第２の宛先情報を受信した場合には、前記転送先管理情報で管理されている前記第１の宛先情報ではなく、前記第２の宛先情報を、前記第２の命令情報とともに前記命令転送装置に送信し、
前記特定の命令転送装置は、前記特定の宛先情報で示される前記特定の命令実行装置に、前記特定の命令実行装置が受信可能な前記命令を示す第３の命令情報に変換して転送することを特徴とする命令転送システム。
【請求項4】
音声を集音して音声データを取得する特定の音声取得装置が送信した前記音声データに含まれる命令を示す第１の命令情報に基づいて、前記命令を示す第２の命令情報を送信する命令送信装置が実行する命令送信方法であって、前記音声データに含まれる命令を示す第１の命令情報を受信する受信ステップと、
前記第１の命令情報から、所定の命令を実行する特定の命令実行装置が受信不可能で且つ前記特定の命令実行装置に所定の命令を転送する特定の命令転送装置が受信可能な前記命令を示す第２の命令情報に変換する変換ステップと、
前記第２の命令情報及び前記命令実行装置への宛先を示す特定の宛先情報を前記命令転送装置に送信する送信ステップと、を含み、
前記受信ステップでは、前記特定の音声取得装置が送信した当該音声取得装置を識別するための特定の識別情報を受信し、
前記送信ステップでは、所定の音声取得装置を識別するための所定の識別情報と、転送先である所定の命令実行装置への宛先を示す所定の宛先情報と、を関連付けて管理された転送先管理情報において、前記特定の識別情報に対応する特定の宛先情報を、前記第２の命令情報とともに前記命令転送装置に送信し、
前記転送先管理情報で管理されている前記特定の宛先情報は第１の宛先情報であり、
前記送信ステップでは、前記受信ステップにおいて前記音声データとともに第２の宛先情報を受信した場合には、前記転送先管理情報で管理されている前記第１の宛先情報ではなく、前記第２の宛先情報を、前記第２の命令情報とともに前記命令転送装置に送信する、
処理を実行する命令送信方法。
【請求項5】
コンピュータに、請求項４に記載の命令送信方法を実行させることを特徴とするプログラム。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、命令送信装置、命令転送ステム、命令送信方法及びプログラムに関する。
【背景技術】
【0002】
今日において、音声により機器操作を行うＡＩ（ＡＩ：Artificial Intelligence）音声アシスタントが知られている。また、音声によって操作可能なスマート家電も知られており、音声操作の分野は今後も更なる成長が見込まれている。
【0003】
例えば、音声操作の一例として、携帯端末に入力された音声に基づいて取得された音声データをサーバへ送信し、サーバで受信した音声データを制御命令に変換して複数の機器のうちから特定した機器へ送信するシステムが開示されている（特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に開示された発明においては、制御命令を実行する機器が古い機種などで音声操作に対応していない若しくは対応できない場合、その機器に対しては音声操作による制御ができないという課題が生じる。
【課題を解決するための手段】
【0005】
上述した課題を解決するために、請求項１に係る発明は、音声を集音して音声データを取得する特定の音声取得装置が送信した前記音声データに含まれる命令を示す第１の命令情報を受信する受信手段と、前記第１の命令情報から、所定の命令を実行する特定の命令実行装置が受信不可能で且つ前記特定の命令実行装置に所定の命令を転送する特定の命令転送装置が受信可能な前記命令を示す第２の命令情報に変換する変換手段と、前記第２の命令情報及び前記命令実行装置への宛先を示す特定の宛先情報を前記命令転送装置に送信する送信手段と、を有し、前記受信手段は、前記特定の音声取得装置が送信した当該音声取得装置を識別するための特定の識別情報を受信し、前記送信手段は、所定の音声取得装置を識別するための所定の識別情報と、転送先である所定の命令実行装置への宛先を示す所定の宛先情報と、を関連付けて管理された転送先管理情報において、前記特定の識別情報に対応する特定の宛先情報を、前記第２の命令情報とともに前記命令転送装置に送信し、前記転送先管理情報で管理されている前記特定の宛先情報は第１の宛先情報であり、前記送信手段は、前記受信手段が前記音声データとともに第２の宛先情報を受信した場合には、前記転送先管理情報で管理されている前記第１の宛先情報ではなく、前記第２の宛先情報を、前記第２の命令情報とともに前記命令転送装置に送信する命令送信装置である。
【発明の効果】
【0006】
本発明によれば、制御命令を実行する機器が音声操作に対応していない若しくは対応できない場合であっても、音声操作によって与えられた制御命令を実行させることが可能になるという効果を奏する。
【図面の簡単な説明】
【0007】
【図1】第１の実施形態に係る命令転送システムの構成の一例を示す図である。
【図2】スマートスピーカのハードウェア構成の一例を示す図である。
【図3】音声認識サーバ装置のハードウェア構成の一例を示す図である。
【図4】ＡＩアシスタントサーバ装置のハードウェア構成の一例を示す図である。
【図5】（Ａ）は転送管理テーブルの概念図、（Ｂ）は転送先装置管理テーブルの概念図である。
【図6】ＭＦＰのハードウェア構成の一例を示す図である。
【図7】第１の実施形態に係る命令転送システムを構成する各装置の機能ブロックの一例を示す図である。
【図8】第１の実施形態に係る処理の一例を示すシーケンス図である。
【図9】第１の実施形態に係る送信先決定処理の詳細の一例を示すフローチャートである。
【図10】第２の実施形態に係る命令転送システムの構成の一例を示す図である。
【図11】第２の実施形態に係る命令転送システムを構成する各装置の機能ブロックの一例を示す図である。
【図12】第２の実施形態に係る処理の一例を示すシーケンス図である。
【図13】第３の実施形態に係る命令転送システムの構成の一例を示す図である。
【図14】第３の実施形態に係る命令転送システムを構成する各装置の機能ブロックの一例を示す図である。
【図15】第３の実施形態に係る処理の一例を示すシーケンス図である。
【発明を実施するための形態】
【0008】
〔全体概略〕
以下、図面を用いて、本発明の一実施形態の全体の概略について説明する。本実施形態は、音声操作を利用した命令転送システムを開示している。即ち、本実施形態は、音声操作に対応するＭＦＰ６が音声操作による命令を受け取り、受け取った命令を音声操作に対応しないＭＦＰ８が実行可能な命令に変換してＭＦＰ８に送信し、ＭＦＰ８が音声操作に対応した命令の実行を可能にする発明を開示している。
以下、図面を用いて、本発明の一実施形態の全体の概略について説明する。本実施形態は、音声操作を利用した命令転送システムを開示している。即ち、本実施形態は、音声操作に対応するＭＦＰ６が音声操作による命令を受け取り、受け取った命令を音声操作に対応しないＭＦＰ８が実行可能な命令に変換してＭＦＰ８に送信し、ＭＦＰ８が音声操作に対応した命令の実行を可能にする発明を開示している。
【0009】
〔実施形態の全体構成〕
図１は、第１の実施形態に係る命令転送システムの構成の一例を示す図である。図１に示すように、命令転送システムは、少なくとも１以上のスマートスピーカ又は通信端末２、音声認識サーバ装置３、ＡＩアシスタントサーバ装置４、ＭＦＰ（Multifunction Peripheral）６及び少なくとも１以上のＭＦＰ８を、例えばＬＡＮ（Local Area Network）等のネットワーク７を介して相互に接続することで形成されている。
図１は、第１の実施形態に係る命令転送システムの構成の一例を示す図である。図１に示すように、命令転送システムは、少なくとも１以上のスマートスピーカ又は通信端末２、音声認識サーバ装置３、ＡＩアシスタントサーバ装置４、ＭＦＰ（Multifunction Peripheral）６及び少なくとも１以上のＭＦＰ８を、例えばＬＡＮ（Local Area Network）等のネットワーク７を介して相互に接続することで形成されている。
【0010】
スマートスピーカ又は通信端末２は、内蔵されているマイクで音声を集音して音声データを得るリモート操作可能な周知のスマートスピーカ装置、又はマイク及びスピーカを備えるスマートフォンなどの通信端末である。また、スマートスピーカ又は通信端末２は、音声入力によって、例えば、音楽及び動画などの各種コンテンツ、天気、ニュース等の視聴を可能にする人工知能を搭載した機器であり、例えば、対話型の音声操作に対応したＡＩアシスタント機能を備える。さらに、スマートスピーカ又は通信端末２は、照明及び家電等の各種機器をユーザ（使用者ともいう）の発話等に伴う音声によって遠隔操作する機能も備える。
【0011】
上述したように、スマートスピーカ又は通信端末２は、例えば、ユーザの音声操作を受け付け、受け付けた音声操作により取得した音声データ（音声情報ともいう）を取得する音声取得装置の一例として機能する。また、スマートスピーカ又は通信端末２（以下、単に「スマートスピーカ２」という）は、命令転送システムにおいて２以上備えられていてもよく、音声操作により取得した音声データを、ネットワーク７を介して音声認識サーバ装置３に送信する。さらに、スマートスピーカ２は、音声操作により取得した音声データを補完するために、ユーザに対してフィードバックを行うためのマイク機能、カメラ機能を上述したマイク及び内蔵カメラで実現してもよい。
【0012】
音声認識サーバ装置３は、スマートスピーカ２で取得した音声データを受信し、テキストデータに変換する機能を備える。
【0013】
ＡＩアシスタントサーバ装置４は、音声認識サーバ装置３と連携してスマートスピーカ２で取得した音声データを処理する機能を備える。例えば、ＡＩアシスタントサーバ装置４は、音声認識サーバ装置３によって変換されたユーザの意図（指示）に基づいて、ＭＦＰ６がネットワーク７を介して受信及び実行可能な命令等に変換する。その後、ＡＩアシスタントサーバ装置４は、変換した命令等を、ネットワーク７を介してＭＦＰ６に送信する。
【0014】
また、ＡＩアシスタントサーバ装置４は、ＨＤＤ４０４等の記憶部に管理データベース４４１（以下、「管理ＤＢ４４１」という）及び紐づけ用データベース４４２（以下、「紐づけ用ＤＢ４４２」という）を備えている。管理ＤＢ４４１及び紐づけ用ＤＢ４４２は、例えば、クラウドサービス装置５がネットワーク７上に備えるＨＤＤ等の記憶部を用いることができる。このほか、管理ＤＢ４４１及び紐づけ用ＤＢ４４２のうち、少なくとも一方を、ネットワーク７を介してクラウドサービス装置５でアクセス可能な別のサーバ装置に記憶してもよい。
【0015】
管理ＤＢ４４１には、例えば、ＡＩアシスタントサーバ装置４が提供するコンテンツ（データ）としてのテキストデータ、音声データ、画像データ及びＭＦＰ６等で使用されるデータファイルが記憶、管理される。管理ＤＢ４４１で記憶、管理される情報は、例えば、ネットワーク７を介して接続されるＭＦＰ６によって新規追加又は変更することができる。図１では、管理ＤＢ４４１とＭＦＰ６は別体として図示されているが、同一の機能を備えた記憶媒体として構成されてもよい。この場合、後述する管理プログラムは、管理ＤＢ４４１に対してＭＦＰ６に対する命令を送信することによって、管理ＤＢ４４１が管理する各種情報を取得してもよい。なお、命令は、所定の画像データに係る画像に対する所定の出力命令の一例である。
【0016】
紐づけ用ＤＢ４４２には、例えば、各スマートスピーカ２を識別するための装置識別情報を示すデバイスＩＤ（以下、「デバイスＩＤ」という）と、各スマートスピーカ２に関連付けられたＭＦＰ６を識別するための装置識別情報を示す命令転送装置ＩＤとが関連付けられて記憶されている。この紐づけ用ＤＢ４４２の詳細については、後述する。なお、ＭＦＰ６は、命令転送装置の一例である。
【0017】
本実施形態では、管理ＤＢ４４１及び紐づけ用ＤＢ４４２は、ＡＩアシスタントサーバ装置４に含まれることを例示しているが、それぞれＡＩアシスタントサーバ装置４と別に設けられてもよいし、いずれか一方がＡＩアシスタントサーバ装置４に含まれ、他方がＡＩアシスタントサーバ装置４と別に設けられてもよい。
【0018】
また、本実施形態では、音声認識サーバ装置３及びＡＩアシスタントサーバ装置４を、ネットワーク７を介して一つに纏めたクラウドサービス装置５として説明する。但し、音声認識サーバ装置３、ＡＩアシスタントサーバ装置４のそれぞれは、さらに複数のサーバ装置に分けて実現されてもよい。一方で、音声認識サーバ装置３の機能の一部又は全部をＡＩアシスタントサーバ装置４が有していてもよいし、ＡＩアシスタントサーバ装置４の機能の一部又は全部を音声認識サーバ装置３が有していてもよい。つまり、音声認識サーバ装置３とＡＩアシスタントサーバ装置４は、互いの機能を補完し合うように構成されていてもよい。さらに、クラウドサービス装置５は、一つのサーバによって構成されていてもよいし、３以上のサーバによって構成されていてもよい。なお、上述したクラウドサービス装置５を構成する音声認識サーバ装置３及びＡＩアシスタントサーバ装置４のうち少なくとも一つ又はその両方は、命令等を送信する命令送信装置の一例である。
【0019】
ＭＦＰ６は、ＭＦＰ８の状態に応じて、クラウドサービス装置５から送信された命令をＭＦＰ８で実行可能な命令に変換し、変換した命令をＭＦＰ８に転送する。なお、命令は、例えば、ユーザがスマートスピーカ２に対して行った音声操作により与えられた原稿を印刷するための指示（以下、「印刷指示」という）に基づいて生成される。さらに、命令は、例えば、ユーザがスマートスピーカ２に対して行った音声操作により与えられた原稿をＭＦＰ６に保存（例えばストレージ機能を利用したファイルの保存）し、所定の時間を空けてから印刷又は他の装置に転送するための指示（以下、「保存指示」という）に基づいて生成される。なお、上述した印刷指示又は保存指示は、音声データに含まれる命令を示す第１の命令情報の一例である。
【0020】
なお、後述するようにクラウドサービス装置５の機能の一部又は全部を、スマートスピーカ２、ＭＦＰ６又はＭＦＰ６に代わるサーバ装置が有していてもよい。つまり、クラウドサービス装置５の機能の全部をスマートスピーカ２、ＭＦＰ６又はＭＦＰ６に代わるサーバ装置が有している場合、命令転送システムにクラウドサービス装置５は含まれていなくてもよい。このような場合、スマートスピーカ２はクラウドサービス装置５を介さずにＭＦＰ６と通信してもよく、命令転送システムは、スマートスピーカ２及びＭＦＰ６を纏めた音声応答システム１５を構築してもよい。ここで、ＭＦＰ６は命令転送装置の一例であり、ＭＦＰ８は命令実行装置の一例である。なお、上述したネットワーク７は、有線ＬＡＮ、無線ＬＡＮのいずれで構成されてもよい。
【0021】
【0022】
＜スマートスピーカのハードウェア構成＞
図２は、スマートスピーカのハードウェア構成の一例を示す図である。スマートスピーカ２は、図２に示すようにＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、外部インターフェイス（Ｉ／Ｆ）２０４及び通信Ｉ／Ｆ２０５を含むハードウェア資源を、内部バス２０６を介して相互に接続される。
図２は、スマートスピーカのハードウェア構成の一例を示す図である。スマートスピーカ２は、図２に示すようにＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、外部インターフェイス（Ｉ／Ｆ）２０４及び通信Ｉ／Ｆ２０５を含むハードウェア資源を、内部バス２０６を介して相互に接続される。
【0023】
ＣＰＵ２０１は、スマートスピーカ２全体を統括制御する制御デバイスである。
【0024】
ＲＡＭ２０２は、例えば、ＲＯＭ２０３等に記憶された各種プログラムがダウンロードされ、ＣＰＵ２０１によって各種処理が実行されるワークエリアとしての機能を有する。
【0025】
ＲＯＭ２０３には、操作音声処理プログラムを含む各種プログラムを構成するデータが記憶されている。ＣＰＵ２０１は、これらの処理プログラムを実行することで、ＭＦＰ６に対する画像操作及び音声操作による処理を可能とする。また、ＣＰＵ２０１は、クラウドサービス装置５から取得したデータのタッチパネル２７への表示制御、スピーカ２８を介したフィードバックのための音声出力制御、画像出力制御等を実行する。
【0026】
外部Ｉ／Ｆ２０５には、タッチパネル２０８、スピーカ２０９、マイクロホン２１０及びカメラ２１１が接続される。
【0027】
通信Ｉ／Ｆ２０６は、音声操作によって得られた情報を、ネットワーク７を介して音声認識サーバ装置３に送信する。また、通信Ｉ／Ｆ２０６は、ネットワーク７を介して他の装置と通信を行う際、有線、無線いずれの通信形態でも通信を行うことが可能である。
【0028】
内部バス２０７は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、外部Ｉ／Ｆ２０５及び通信Ｉ／Ｆ２０６を接続する汎用バスである。この内部バス２０６は、スマートスピーカ等の汎用機器で一般的に用いられるバスであればその種類は問わない。
【0029】
タッチパネル２０８は、例えば、液晶表示部（ＬＣＤ：Liquid Crystal Display）とタッチセンサとが一体的に形成されたものである。タッチパネル２０８は、液晶表示部上に配置されたタッチキー等に対してユーザがタッチ動作等を行うことによって、所望の動作が指定される。
【0030】
スピーカ２０９は、ユーザに対して、不足する情報の入力等を促すための音声による音声フィードバックを行う。
【0031】
マイクロホン２１０は、例えば、音声操作によってＭＦＰ６に対して印刷を実行させるために、ユーザが発話した音声によって与えられた音声データを取得する。取得された音声データは、通信Ｉ／Ｆ２０６を介して音声認識サーバ装置３に送信され、音声認識サーバ装置３でテキストデータに変換される。
【0032】
カメラ２１１は、スマートスピーカ２の周辺を撮影して画像データを取得する。撮影された画像データは、動画像データ若しくは静止画像データ（以下、単に「画像データ」ともいう）として通信Ｉ／Ｆ２０６を介して音声認識サーバ装置３に送信される。
【0033】
＜音声認識サーバ装置のハードウェア構成＞
図３は、音声認識サーバ装置のハードウェア構成の一例を示す図である。
音声認識サーバ装置３は、図３に示すように、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ＨＤＤ（Hard Disk Drive）３０４、外部インターフェイス（Ｉ／Ｆ）３０５及び通信Ｉ／Ｆ３０６を含むハードウェア資源を、内部バス３０７を介して相互に接続される。
図３は、音声認識サーバ装置のハードウェア構成の一例を示す図である。
音声認識サーバ装置３は、図３に示すように、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ＨＤＤ（Hard Disk Drive）３０４、外部インターフェイス（Ｉ／Ｆ）３０５及び通信Ｉ／Ｆ３０６を含むハードウェア資源を、内部バス３０７を介して相互に接続される。
【0034】
ＨＤＤ３０４には、操作音声変換プログラム及び操作解釈プログラムを構成するデータが記憶されている。具体的には、操作音声変換プログラムは、例えば、スマートスピーカ２から受信した音声データをテキストデータに変換し、変換したテキストデータを予め定義された辞書情報と一致するか否かを判断する。辞書情報と一致するか否かの判断において、操作音声変換プログラムは、辞書情報と一致した場合には、テキストデータをユーザの意図を示すインテント（Ｉｎｔｅｎｔ）及び所定の処理の実行条件などの変数を示すパラメータに変換する。その後、操作音声変換プログラムは、ユーザの意図を示すインテント及び所定の処理の実行条件などの変数を示すパラメータを、ＡＩアシスタントサーバ装置４に送信する。
【0035】
なお、本発明に係る実施形態において、変換とは、音声操作に含まれるユーザの意図（指示）を、ＭＦＰ６等の命令転送装置が解釈又は実行可能な言語（機械語等）にすることを含む。つまり、変換とは、人間が用いる言語を機械が解釈する言語（機械語等）にすることを意味するものであって、本質的な意味や機能を変えるものではない。
【0036】
ＣＰＵ３０１は、上述した操作音声変換プログラムを含む各種プログラムを実行する。つまり、音声認識サーバ装置３は、スマートスピーカ２のマイクロホン２０９で集音された音声データを受信して、音声操作による指示内容を認識して解析する装置として機能する。なお、操作音声変換プログラム及び操作解釈プログラムは、一つのサーバ装置で実行されてもよいし、それぞれ異なるサーバ装置で実行されてもよい。さらに、複数のサーバ装置の連携によって、これらのプログラムが実行されてもよい。
【0037】
ＲＡＭ３０２には、例えば、ＲＯＭ３０３等の記憶部に記憶された各種プログラムがダウンロードされ、ＣＰＵ３０１によって各種処理が実行されるワークエリアとしての機能を有する。
【0038】
ＲＯＭ３０３には、ＨＤＤ３０４に記憶された各種プログラム以外のその他のプログラムを構成するデータが記憶されている。ＣＰＵ３０１は、ＲＯＭ３０３に記憶された各種プログラムを実行することで、スマートスピーカ２及びＡＩアシスタントサーバ装置４との間の制御を行ってもよい。
【0039】
外部Ｉ／Ｆ３０５には、ディスプレイ３０８及び操作パネル３０９が接続される。
【0040】
通信Ｉ／Ｆ３０６は、ユーザの発話等に伴う音声操作によって得られた画像データ、音声データ等をスマートスピーカ２から受信する。また、通信Ｉ／Ｆ３０６は、ネットワーク７を介して他の装置と通信を行う際、有線、無線いずれの通信形態でも通信を行うことが可能である。
【0041】
内部バス３０７は、上述したようにＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ＨＤＤ３０４、外部Ｉ／Ｆ３０５及び通信Ｉ／Ｆ３０６を接続する汎用バスである。この内部バス３０７は、音声認識サーバ装置３がサーバ装置としての機能が実現できるものであれば、その種類は問わない。
【0042】
ディスプレイ３０８は、例えば、液晶表示部（ＬＣＤ：Liquid Crystal Display）で構成され、例えば、音声認識サーバ装置３の各種状態を表示する。
【0043】
操作パネル３０９は、例えば、液晶表示部とタッチセンサとが一体的に形成された、いわゆるタッチパネルである。操作者（ユーザ）は、操作パネル３０９を用いて所望の出力命令を実行する場合、操作パネル３０９に表示された操作ボタン（ソフトウェアキー、アイコン等）を接触操作することで、所望の動作を指定する。なお、操作パネル３０９は、その機能の代用として一般的なＰＣのキーボードでもよい。
【0044】
また、操作音声処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（登録商標）、半導体メモリなどのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、インターネット等のネットワーク経由でインストールするかたちで提供してもよいし、音声認識サーバ装置３のＲＯＭ等の記憶部に予め組み込んで提供してもよい。
【0045】
＜ＡＩアシスタントサーバ装置のハードウェア構成＞
図４は、ＡＩアシスタントサーバ装置のハードウェア構成の一例を示す図である。ＡＩアシスタントサーバ装置４は、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、ＨＤＤ４０４、外部インターフェイス（Ｉ／Ｆ）４０５及び通信Ｉ／Ｆ４０６を含むハードウェア資源を、内部バス４０７を介して相互に接続している。また、外部Ｉ／Ｆ４０５には、ディスプレイ４０８及び操作パネル４０９が接続されている。
図４は、ＡＩアシスタントサーバ装置のハードウェア構成の一例を示す図である。ＡＩアシスタントサーバ装置４は、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、ＨＤＤ４０４、外部インターフェイス（Ｉ／Ｆ）４０５及び通信Ｉ／Ｆ４０６を含むハードウェア資源を、内部バス４０７を介して相互に接続している。また、外部Ｉ／Ｆ４０５には、ディスプレイ４０８及び操作パネル４０９が接続されている。
【0046】
ＨＤＤ４０４には、音声アシスタントプログラム及び管理プログラムを含む各種プログラムが記憶されている。音声アシスタントプログラムは、上述した操作音声変換プログラムに対して辞書情報を提供する。さらに、管理プログラムは、例えば、後述するインテント及びパラメータに基づいて、ＡＩアシスタントサーバ装置４が解釈可能なデータに変換した出力命令を、ＭＦＰ６等の命令転送装置に送信するためのプログラムである。
【0047】
また、ＨＤＤ４０４は、ＡＩ記憶部４４０、管理ＤＢ４４１及び紐づけ用ＤＢ４４２を有している。ＡＩ記憶部４４０には、ユーザが音声操作によって指示された命令等の出力命令を解釈するための辞書情報が記憶されている。この辞書情報には、エンティティ（Ｅｎｔｉｔｙ）情報及びインテント（Ｉｎｔｅｎｔ）情報が含まれる。エンティティ情報は、ＭＦＰ６が所定の処理を実行するためのパラメータと自然言語を関連付ける情報である。また、インテント情報は、所定の処理の種類を示す情報である。
【0048】
管理ＤＢ４４１には、例えば、ＡＩアシスタントサーバ装置４がクラウドサービス装置５として提供するコンテンツを示すテキストデータ、ＭＦＰ６に出力される画像ファイルなどの画像データ及びスマートスピーカ２にフィードバックする際に用いられる音声データ等が記憶されている。
【0049】
ＣＰＵ４０１は、音声認識サーバ装置３で生成された解釈結果をＭＦＰ６に対する命令等のデータに変換してネットワーク７を介してＭＦＰ６に送信する。なお、ユーザから指示された意図は、例えば、ＭＦＰ６への命令等のための指示を含む。このようにして、スマートスピーカ２で取得された音声データにより、ＭＦＰ６を操作することができる。
【0050】
ＲＡＭ４０２は、例えば、ＨＤＤ４０４等の記憶部に記憶された各種プログラムがダウンロードされ、ＣＰＵ４０１によって各種処理が実行されるワークエリアとしての機能を有する。
【0051】
ＲＯＭ４０３には、例えば、ＨＤＤ４０４に記憶されたプログラム以外の各種プログラムを構成するデータが記憶されている。
【0052】
外部Ｉ／Ｆ４０５には、ディスプレイ４０８及び操作パネル４０９が接続される。
【0053】
通信Ｉ／Ｆ４０６は、音声認識サーバ装置３及びＭＦＰ６に対するデータの送受信を、ネットワーク７を介して行う。また、通信Ｉ／Ｆ４０６は、ネットワーク７を介して他の装置と通信を行う際、有線、無線いずれの通信形態でも通信を行うことが可能である。
【0054】
内部バス４０７は、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、ＨＤＤ４０４、外部Ｉ／Ｆ４０５及び通信Ｉ／Ｆ４０６を接続する汎用バスである。この内部バス４０７は、ＡＩアシスタントサーバ装置４が命令送信装置の機能を実現するものであれば、その種類は問わない。
【0055】
ディスプレイ４０８は、例えば、液晶表示部（ＬＣＤ：Liquid Crystal Display）で構成され、例えば、ＡＩアシスタントサーバ装置４の各種状態を表示する。
【0056】
操作パネル４０９は、例えば、液晶表示部とタッチセンサとが一体的に形成された、いわゆるタッチパネルである。操作者（ユーザ）は、操作パネル４０９を用いて所望の出力命令を実行する場合、操作パネル４０９に表示された操作ボタン（ソフトウェアキー、アイコン等）を接触操作することで、所望の動作を指定する。なお、操作パネル４０９は、その機能の代用として一般的なＰＣのキーボードでもよい。
【0057】
＜クラウドサービス装置のハードウェア構成＞
クラウドサービス装置５は、音声認識サーバ装置３及びＡＩアシスタントサーバ装置４を纏めたもので、スマートスピーカ２及びＭＦＰ６とそれぞれネットワーク７を介して接続される。クラウドサービス装置５を構成するハードウェア構成は、音声認識サーバ装置３及びＡＩアシスタントサーバ装置４で説明したとおりである。
クラウドサービス装置５は、音声認識サーバ装置３及びＡＩアシスタントサーバ装置４を纏めたもので、スマートスピーカ２及びＭＦＰ６とそれぞれネットワーク７を介して接続される。クラウドサービス装置５を構成するハードウェア構成は、音声認識サーバ装置３及びＡＩアシスタントサーバ装置４で説明したとおりである。
【0058】
＜ＭＦＰのハードウェア構成＞
図６は、ＭＦＰのハードウェア構成の一例を示す図である。ＭＦＰ６及びＭＦＰ８は、コントローラ６００、近距離無線通信回路６２０、エンジン制御部６３０、操作パネル６４０、ネットワークＩ／Ｆ６５０を備えている。
図６は、ＭＦＰのハードウェア構成の一例を示す図である。ＭＦＰ６及びＭＦＰ８は、コントローラ６００、近距離無線通信回路６２０、エンジン制御部６３０、操作パネル６４０、ネットワークＩ／Ｆ６５０を備えている。
【0059】
これらのうち、コントローラ６００は、例えば、操作パネル６４０からの入力等を制御する。また、コントローラ６００は、ＭＦＰ６の全体制御を行う制御部としてのＣＰＵ６０１、システムメモリ（ＭＥＭ－Ｐ）６０２、ノースブリッジ（ＮＢ）６０３、サウスブリッジ（ＳＢ）６０４、ＡＳＩＣ（Application Specific Integrated Circuit）６０６、記憶部としてのローカルメモリ（ＭＥＭ－Ｃ）６０７、ＨＤＤコントローラ６０８及び記憶部としてのＨＤＤ６０９を有する。さらに、ＮＢ６０３とＡＳＩＣ６０６との間は、ＡＧＰ（Accelerated Graphics Port）バス６２１で接続される。
【0060】
ＮＢ６０３は、ＣＰＵ６０１と、ＭＥＭ－Ｐ６０２、ＳＢ６０４及びＡＳＩＣ６０６とを接続するためのブリッジ回路である。ＮＢ６０３は、ＭＥＭ－Ｐ６０２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩ（Peripheral Component Interconnect）マスタ及びＡＧＰターゲットとを有する。
【0061】
ＭＥＭ－Ｐ６０２は、コントローラ６００の各機能を実現させるプログラム及びデータの格納用メモリであるＲＯＭ６０２ａ、プログラム及びデータの展開並びに原稿スキャン時のストレージ用メモリ及びメモリ印刷時の描画用メモリなどとして用いるＲＡＭ６０２ｂを備える。なお、ＲＡＭ６０２ｂに記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルで、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0062】
ＳＢ６０４は、ＮＢ６０３とＰＣＩデバイス、周辺デバイスとを接続するためのブリッジ回路である。
【0063】
ＡＳＩＣ６０６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ（Integrated Circuit）である。その役割は、ＡＧＰバス６２１、ＰＣＩバス６２２、ＨＤＤコントローラ６０８及びＭＥＭ－Ｃ６０７をそれぞれ接続するブリッジ回路である。また、ＡＳＩＣ６０６は、ＰＣＩターゲット及びＡＧＰマスタ、ＡＳＩＣ６０６に接続される他のデバイスの動作及びタイミングを調停するアービタ（ＡＲＢ）、ＭＥＭ－Ｃ６０７を制御するメモリコントローラ、ＤＭＡ制御を司るＤＭＡＣ（Direct Memory Access Controller）、スキャナ部６３１及びプリンタ部６３２との間でＰＣＩバス６２２を介したデータ転送を行うＰＣＩユニットを有する。
【0064】
なお、ＡＳＩＣ６０６には、ＵＳＢ（Universal Serial Bus）のインターフェイス、及び、ＩＥＥＥ１３９４（Institute of Electrical and Electronics Engineers 1394）のインターフェイスを接続するようにしてもよい。
【0065】
ＭＥＭ－Ｃ６０７は、コピー用画像バッファ及び符号バッファとして用いるローカルメモリである。
【0066】
ＨＤＤ６０９は、画像データの蓄積、原稿の印刷時に用いるフォントデータの蓄積、フォームの蓄積等を行うためのストレージである。ＨＤＤコントローラ６０８は、ＣＰＵ６０１の制御にしたがってＨＤＤ６０９に対するデータの読出し又は書込みを制御する。
【0067】
ＡＧＰバス６２１は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインターフェイスである。ＡＧＰバス６２１は、ＭＥＭ－Ｐ６０２に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にすることができる。
【0068】
近距離無線通信回路６２０は、近距離無線通信を行うための回路であり、近距離無線通信回路用アンテナ６２０ａを備える。近距離無線通信回路６２０は、例えば、ＮＦＣ（Near Field Communication）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信回路である。
【0069】
エンジン制御部６３０は、スキャナ部６３１及びプリンタ部６３２によって構成される。スキャナ部６３１及びプリンタ部６３２には、誤差拡散及びガンマ変換などの画像処理部分が含まれる。
【0070】
操作部１１の一部としての操作パネル６４０は、ＭＦＰ６に搭載又は接続可能であり、パネル表示部６４０ａ及びパネル操作部６４０ｂを含む。本実施形態では、一例としてＭＦＰ６に接続可能な状態を示している。パネル表示部６４０ａは、現在の設定値及び選択画面等を表示させ、操作者からの入力を受け付けるタッチパネル等を備える。また、パネル操作部６４０ｂは、原稿サイズ、ファイル形式、カラー／モノクロ、部数等で与えられる印刷に係る属性情報（各種条件ともいう）の入力を受け付けるテンキー及びコピー開始指示を受け付けるスタートキー等を備える。
【0071】
ネットワークＩ／Ｆ６５０は、通信ネットワークを利用してデータ通信をするためのインターフェイスである。近距離無線通信回路６２０及びネットワークＩ／Ｆ６５０は、ＰＣＩバス６２２を介して、ＡＳＩＣ６０６に電気的に接続される。
【0072】
なお、ＭＦＰ６は、パネル表示部６４０ａに表示される又はパネル操作部６４０ｂが備えるアプリケーション切替キーにより、ドキュメントボックス機能、コピー機能、プリンタ機能及びファクシミリ機能を切り替えて選択することが可能となる。つまり、ＭＦＰ６は、ドキュメントボックス機能の選択時にはドキュメントボックスモードとなり、コピー機能の選択時にはコピーモードとなり、プリンタ機能の選択時にはプリンタモードとなり、ファクシミリ機能の選択時にはファクシミリモードとなる。
【0073】
〔機能構成〕
＜命令転送システムの機能構成＞
図７は、命令転送システムを構成する各装置の機能ブロックの一例を示す図である。命令転送システムは、図１に示したように、スマートスピーカ２、音声認識サーバ装置３、ＡＩアシスタントサーバ装置４、クラウドサービス装置５及びＭＦＰ６がそれぞれネットワーク７を介して接続されている。
＜命令転送システムの機能構成＞
図７は、命令転送システムを構成する各装置の機能ブロックの一例を示す図である。命令転送システムは、図１に示したように、スマートスピーカ２、音声認識サーバ装置３、ＡＩアシスタントサーバ装置４、クラウドサービス装置５及びＭＦＰ６がそれぞれネットワーク７を介して接続されている。
【0074】
＜スマートスピーカの機能構成＞
スマートスピーカ２は、クラウドサービス装置５を構成する音声認識サーバ装置３及びＡＩアシスタントサーバ装置４との間で、例えば音声データ、画像データ及びテキストデータ等に係るデータ通信を行う。
スマートスピーカ２は、クラウドサービス装置５を構成する音声認識サーバ装置３及びＡＩアシスタントサーバ装置４との間で、例えば音声データ、画像データ及びテキストデータ等に係るデータ通信を行う。
【0075】
（操作音声処理プログラムの機能）
スマートスピーカ２は、図２に示されているＲＡＭ２０２又はＲＯＭ２０３によって構築される記憶部２０００を有している。また、スマートスピーカ２のＣＰＵ２０１は、記憶部２０００に記憶された操作音声処理プログラムをＲＡＭ２０２に展開して実行することで、例えば、送受信部２１、取得部２２、フィードバック部２３及び記憶・読出処理部２９として機能又は機能する手段を構成する。
スマートスピーカ２は、図２に示されているＲＡＭ２０２又はＲＯＭ２０３によって構築される記憶部２０００を有している。また、スマートスピーカ２のＣＰＵ２０１は、記憶部２０００に記憶された操作音声処理プログラムをＲＡＭ２０２に展開して実行することで、例えば、送受信部２１、取得部２２、フィードバック部２３及び記憶・読出処理部２９として機能又は機能する手段を構成する。
【0076】
<スマートスピーカの各機能構成>
次に、スマートスピーカ２の各機能構成について説明する。送受信部２１は、ネットワーク７を介してスマートスピーカ２とクラウドサービス装置５との間の通信を制御し、各種データ又は情報の送受信を行う。その際、送受信部２１は、スマートスピーカ２の通信Ｉ／Ｆ２０６を制御して各種データ又は情報の送受信を行う。送受信部２１は、次に説明する取得部２２が取得したスマートスピーカ２に対してユーザが行った所定の操作及び指示等に基づく情報をクラウドサービス装置５に送信する。また、送受信部２１は、フィードバックのために、クラウドサービス装置５からテキストデータ、画像データ、音声データ等を取得する。さらに、送受信部２１は、ユーザが行った所定の操作及び指示等に係る情報をクラウドサービス装置５に送信する際に、スマートスピーカ２を特定するデバイスＩＤもあわせて送信する。
次に、スマートスピーカ２の各機能構成について説明する。送受信部２１は、ネットワーク７を介してスマートスピーカ２とクラウドサービス装置５との間の通信を制御し、各種データ又は情報の送受信を行う。その際、送受信部２１は、スマートスピーカ２の通信Ｉ／Ｆ２０６を制御して各種データ又は情報の送受信を行う。送受信部２１は、次に説明する取得部２２が取得したスマートスピーカ２に対してユーザが行った所定の操作及び指示等に基づく情報をクラウドサービス装置５に送信する。また、送受信部２１は、フィードバックのために、クラウドサービス装置５からテキストデータ、画像データ、音声データ等を取得する。さらに、送受信部２１は、ユーザが行った所定の操作及び指示等に係る情報をクラウドサービス装置５に送信する際に、スマートスピーカ２を特定するデバイスＩＤもあわせて送信する。
【0077】
上述したように、送受信部２１は、スマートスピーカ２がＬＡＮ等のネットワーク７を介して接続される他の装置との通信を制御する。この通信を行う際の通信方式は、例えば、一般的にＬＡＮで使用されるＥｔｈｅｒｎｅｔ（登録商標）等の通信プロトコルが用いられる。この送受信部については、後述する音声認識サーバ装置３、ＡＩアシスタントサーバ装置４、クラウドサービス装置５及びＭＦＰ６が有する各送受信部についても同様の機能を有する。
【0078】
取得部２２は、データ取得手段の一例である。取得部２２は、マイクロホン２１０を介して集音されたユーザの音声操作に伴う指示音声を取得する。また、取得部２２は、ユーザによるタップ操作又は物理スイッチの押下などの機械操作を含む指示操作を取得してもよい。つまり、取得部２２は、指示音声及び指示操作を含む各種指示を表す指示情報のうち少なくとも一つを取得する。なお、指示音声には、例えば、ＭＦＰ６等に所定の命令を実行させるための情報が含まれる。本実施形態において、ユーザの音声操作により与えられる指示音声で示される音声データは、例えば、ユーザ自身の発話音声の他、ユーザが予め録音した音声を再生した音声、コンピュータで擬人化された音声等を集音して取得した音声データの少なくとも一方の音声データである。
【0079】
取得部２２は、上述した操作音声処理プログラムを実行することで、ユーザの音声操作よって与えられた音声データを取得してクラウドサービス装置５に送信する。さらに取得部２２は、フィードバック部２３と協働して、クラウドサービス装置５から取得した音声データ及びテキストデータ等を、タッチパネル２０８に表示するか、又はスピーカ２０９を介した音声をユーザに通知する。なお、タッチパネル２０８は、スマートスピーカ２と一体で構成されていてもよいし、別々に構成されていてもよい。スマートスピーカ２と別々に構成される場合、タッチパネル２０８は、スマートスピーカ２と行う無線通信等に必要な無線通信インターフェイスを備えておけばよい。
【0080】
フィードバック部２３は、ユーザによって与えられた音声データに基づいてＭＦＰ６で実行される印刷処理又は命令の転送処理において、必要に応じてスマートスピーカ２がユーザに対して応答するように機能する。このフィードバック部２３によって、本実施形態はスマートスピーカ２を操作するユーザとの間での対話型システムを実現している。また、この対話型システムにおける音声操作を実現するため、フィードバック部２３は、例えば、ユーザから与えられた指示音声に対して不足するデータを補うために音声又は画像によるフィードバックを行う。さらに、フィードバック部２３は、タッチパネル２０８の画面への表示により、フィードバック対象のテキスト、音声又は画像をユーザに提供してもよい。なお、フィードバック部２３による対話型動作及びフィードバックの詳細については、後述する。
【0081】
記憶・読出処理部２９は、例えば、ＲＯＭ２０３に対する各種データの書込み処理、並びにＲＯＭ２０３に記憶された操作音声処理プログラム等の各種プログラムを構成するデータの読出し処理を行う。
【0082】
なお、本実施形態では、送受信部２１、取得部２２、フィードバック部２３及び記憶・読出処理部２９は、ソフトウェアで実現されてもよい。また、送受信部２１、取得部２２、フィードバック部２３及び記憶・読出処理部２９は、他のプログラムに処理の一部を実行させ、又は他のプログラムを用いて間接的に処理を実行させてもよい。さらに、送受信部２１、取得部２２、フィードバック部２３及び記憶・読出処理部２９は、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現されてもよい。
【0083】
＜音声認識サーバ装置の機能構成＞
音声認識サーバ装置３は、スマートスピーカ２から受信した音声データを解析し、テキストデータへ変換する。また、テキストデータと事前登録されている辞書情報とに基づいてユーザの意図を解釈し、解釈結果をＡＩアシスタントサーバ装置４に送信する。
音声認識サーバ装置３は、スマートスピーカ２から受信した音声データを解析し、テキストデータへ変換する。また、テキストデータと事前登録されている辞書情報とに基づいてユーザの意図を解釈し、解釈結果をＡＩアシスタントサーバ装置４に送信する。
【0084】
（操作音声変換プログラムの機能）
操作認識サーバ装置３は、図３に示されているＲＡＭ３０２、ＲＯＭ３０３、又はＨＤＤ３０４によって構築される記憶部３０００を有している。音声認識サーバ装置３のＣＰＵ３０１は、スマートスピーカ２を介してユーザによって与えられた音声データに応じて、記憶部３０００に記憶された操作音声変換プログラム等をＲＡＭ３０２に展開して実行する。これらの操作音声変換プログラム等が実行されることにより、ＣＰＵ３０１は、例えば、送受信部３１、取得部３２、変換部３５、解釈部３６及び記憶・読出処理部３９として機能又は機能する手段を構成する。
操作認識サーバ装置３は、図３に示されているＲＡＭ３０２、ＲＯＭ３０３、又はＨＤＤ３０４によって構築される記憶部３０００を有している。音声認識サーバ装置３のＣＰＵ３０１は、スマートスピーカ２を介してユーザによって与えられた音声データに応じて、記憶部３０００に記憶された操作音声変換プログラム等をＲＡＭ３０２に展開して実行する。これらの操作音声変換プログラム等が実行されることにより、ＣＰＵ３０１は、例えば、送受信部３１、取得部３２、変換部３５、解釈部３６及び記憶・読出処理部３９として機能又は機能する手段を構成する。
【0085】
<音声認識サーバ装置の各機能構成>
次に、音声認識サーバ装置３の各機能構成について説明する。送受信部３１は、ネットワーク７を介してスマートスピーカ２又はＡＩアシスタントサーバ装置４との間の通信を制御し、各種データ又は情報の送受信を行う。具体的には、送受信部３１は、ユーザによって与えられた音声データの受信、及びスマートスピーカ２に対するテキストデータの送信等を行うように、音声認識サーバ装置３の通信Ｉ／Ｆ３０６を制御する。
次に、音声認識サーバ装置３の各機能構成について説明する。送受信部３１は、ネットワーク７を介してスマートスピーカ２又はＡＩアシスタントサーバ装置４との間の通信を制御し、各種データ又は情報の送受信を行う。具体的には、送受信部３１は、ユーザによって与えられた音声データの受信、及びスマートスピーカ２に対するテキストデータの送信等を行うように、音声認識サーバ装置３の通信Ｉ／Ｆ３０６を制御する。
【0086】
取得部３２は、スマートスピーカ２から送信される音声操作に基づく指示情報を取得する。なお、取得部３２は、スマートスピーカ２のタッチパネル、ボタン又はスイッチ等のユーザの操作に基づく情報を取得してもよい。
【0087】
変換部３５は、取得部３２で取得したユーザの名前、指示音声等に係る音声データをテキストデータに変換する。
【0088】
解釈部３６は、変換部３５で変換されたテキストデータに基づいて、ユーザから与えられた音声データに基づく指示内容を解釈する。具体的には、解釈部３４は、音声アシスタントプログラムから提供された辞書情報に基づいて、テキストデータに含まれる単語などが辞書情報と一致しているか否かを判断する。そして、辞書情報と一致している場合には、解釈部３４は、ユーザの意図を示すインテントと所定の処理の実行条件などの変数を示すパラメータに変換する。解釈部３４は、インテント及びパラメータを、送受信部３１を介してＡＩアシスタントサーバ装置４で実行される管理プログラムに送信する。
【0089】
このとき、解釈部３４は、スマートスピーカ２のデバイスＩＤも、インテント及びパラメータと共に送受信部３１を介してＡＩアシスタントサーバ装置４で実行される管理プログラムに送信する。このとき、解釈部３４は、ユーザが用いたデバイスを特定するためのスマートスピーカ２のデバイスＩＤも共に管理プログラムに送信する。
【0090】
記憶・読出処理部３９は、例えば、記憶部３０００に記憶されている操作音声変換プログラム等の各種プログラムを構成する各種データの読出し、及び記憶部３０００への各種データの書込み等の処理を行う。
【0091】
なお、本実施形態では、送受信部３１、取得部３２、変換部３５、解釈部３４及び記憶・読出処理部３９は、ソフトウェアで実現されてもよい。また、送受信部３１、取得部３２、変換部３５、解釈部３４及び記憶・読出処理部３９は、他のプログラムに処理の一部を実行させ、又は他のプログラムを用いて間接的に処理を実行させてもよい。例えば、操作音声変換プログラムの解釈部３４の機能の一部又は全てを音声アシスタントプログラムに実行させてもよい。これらの場合、例えば、テキストデータに含まれる単語などが辞書情報と一致しているか否かの判断、及び辞書情報と一致している場合にユーザの意図を示すインテントと所定の処理の実行条件などの変数を示すパラメータへの変換は、音声アシスタントアプリ等に実行させてもよい。さらに、解釈部３４は、インテント及びパラメータを音声アシスタントプログラム等から取得するものとしてもよい。さらに、送受信部３１、取得部３２、変換部３５、解釈部３４及び記憶・読出処理部３９のうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。
【0092】
また、上述した例では、送受信部３１、取得部３２、変換部３５、解釈部３４及び記憶・読出処理部３９をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよいこと等は、上述の他のプログラムと同様である。
【0093】
＜ＡＩアシスタントサーバ装置の機能構成＞
ＡＩアシスタントサーバ装置４は、例えば、音声認識サーバ装置３で実行された操作音声変換プログラム音声アシスタントプログラムによって得られたインテント、パラメータ及びスマートスピーカ２のデバイスＩＤ等を取得して、後述する各機能の処理を行う。
ＡＩアシスタントサーバ装置４は、例えば、音声認識サーバ装置３で実行された操作音声変換プログラム音声アシスタントプログラムによって得られたインテント、パラメータ及びスマートスピーカ２のデバイスＩＤ等を取得して、後述する各機能の処理を行う。
【0094】
また、ＡＩアシスタントサーバ装置４は、音声認識サーバ装置３から要求された辞書情報を提供する。さらに、ＡＩアシスタントサーバ装置４は、音声認識サーバ装置３から受信した解釈結果を、ＭＦＰ６に対する命令等のデータに変換する。その後、ＡＩアシスタントサーバ装置４は、変換した命令等のデータをＭＦＰ６に送信する。ＭＦＰ６では、ＡＩアシスタントサーバ装置４から送信される命令等にしたがって他のＭＦＰへの命令転送処理又は印刷処理が実行される。なお、ＡＩアシスタントサーバ装置４は、ＭＦＰ６に命令等を送信する以外に、例えば、ＭＦＰ６を管理する他のサーバ装置が存在すれば、ＭＦＰ６で実行される他の出力命令等を他のサーバ装置に送信してもよい。
【0095】
（管理プログラムの機能）
ＡＩアシスタントサーバ装置４は、図４に示されているＲＡＭ４０２及びＨＤＤ４０４によって構築される記憶部４０００を有している。ＡＩアシスタントサーバ装置４のＣＰＵ４０１は、ネットワーク７を介して音声認識サーバ装置３の記憶部３０００に記憶された音声アシスタントプログラム及び管理プログラムを取得し、図４に示されているＲＡＭ４０２に展開して実行する。ＣＰＵ４０１は、これらのプログラムのうち、管理プログラムを実行することで、例えば、送受信部４１、取得部４２、変換部４３、送信制御部４５、処理部４６及び記憶・読出処理部４９として機能又は機能する手段を構成する。なお、下記各テーブルで同じ名称の項目（カラム）は同じ意味を示すため、二つ目以降の説明を省略する。
ＡＩアシスタントサーバ装置４は、図４に示されているＲＡＭ４０２及びＨＤＤ４０４によって構築される記憶部４０００を有している。ＡＩアシスタントサーバ装置４のＣＰＵ４０１は、ネットワーク７を介して音声認識サーバ装置３の記憶部３０００に記憶された音声アシスタントプログラム及び管理プログラムを取得し、図４に示されているＲＡＭ４０２に展開して実行する。ＣＰＵ４０１は、これらのプログラムのうち、管理プログラムを実行することで、例えば、送受信部４１、取得部４２、変換部４３、送信制御部４５、処理部４６及び記憶・読出処理部４９として機能又は機能する手段を構成する。なお、下記各テーブルで同じ名称の項目（カラム）は同じ意味を示すため、二つ目以降の説明を省略する。
【0096】
○転送管理テーブル○
図５（Ａ）は、転送管理テーブルを示す概念図である。記憶部４０００には、図５（Ａ）に示されている転送管理テーブルによって構成されている紐づけ用ＤＢ４４２が構築されている。この転送管理テーブルでは、装置名毎に音声操作対応状況が関連付けられて記憶、管理されている。
図５（Ａ）は、転送管理テーブルを示す概念図である。記憶部４０００には、図５（Ａ）に示されている転送管理テーブルによって構成されている紐づけ用ＤＢ４４２が構築されている。この転送管理テーブルでは、装置名毎に音声操作対応状況が関連付けられて記憶、管理されている。
【0097】
これらのうち、装置名は、命令転送システムにおける命令転送装置（ＭＦＰ６）又は命令実行装置（ＭＦＰ８）の名称である。
【0098】
音声操作対応状況は、ユーザから与えられた音声操作に伴う音声データに含まれる命令を受信又は実行の可否（対応可能であるか否か）を示すものである。
【0099】
○転送先装置管理テーブル○
図５（Ｂ）は、転送先装置管理テーブルを示す概念図である。記憶部４０００には、図５（Ｂ）に示されている転送先装置管理テーブルによって構成されている紐づけ用ＤＢ４４２が構築されている。この転送先装置管理テーブルでは、デバイスＩＤ毎に転送先装置名及び転送先装置のＩＰアドレス又はＨｏｓｔ名が関連付けられて記憶、管理されている。
図５（Ｂ）は、転送先装置管理テーブルを示す概念図である。記憶部４０００には、図５（Ｂ）に示されている転送先装置管理テーブルによって構成されている紐づけ用ＤＢ４４２が構築されている。この転送先装置管理テーブルでは、デバイスＩＤ毎に転送先装置名及び転送先装置のＩＰアドレス又はＨｏｓｔ名が関連付けられて記憶、管理されている。
【0100】
これらのうち、デバイスＩＤは、スマートスピーカ２（音声取得装置）を識別するための装置識別情報の一例である。但し、デバイスＩＤに代えて又は加えて、スマートスピーカ２の装置名を示す音声取得装置名が管理されてもよい。
【0101】
転送先装置名は、例えば、ユーザから与えられた音声操作に基づく印刷指示を変換した命令が転送される命令転送装置又は命令実行装置の装置名である。
【0102】
転送先装置のＩＰアドレス又はＨｏｓｔ名は、上述した転送先装置を識別するためのＩＰアドレス、Ｈｏｓｔ名である。なお、ＩＰアドレス、Ｈｏｓｔ名を含む転送先装置に係る情報は、転送先装置（命令実行装置）への宛先を示す特定の宛先情報の一例である。
【0103】
なお、装置先装置管理テーブルは、未登録のユーザのユーザＩＤ及びそのユーザが使用するスマートスピーカ２のデバイスＩＤ、並びに、そのユーザが指定した命令転送装置ＩＤをそれぞれ関連付けて、新たに追加登録されるようにしてもよい。
【0104】
さらに、転送先装置管理テーブルは、ＭＦＰ６のＨＤＤ６０９等の記憶部に記憶、管理されていてもよい。この場合、転送先装置管理テーブルはＭＦＰ６でのみ利用されるため、ＭＦＰ６の装置名及びＭＦＰ６の装置ＩＤを含まなくてもよい。
【0105】
また、上述した各テーブルの値は、命令転送システムにおいて、必要に応じて適宜更新、変更等が行われてもよい。
【0106】
<ＡＩアシスタントサーバ装置の各機能構成>
次に、ＡＩアシスタントサーバ装置４の各機能構成について説明する。送受信部４１は、ユーザの音声取得装置２に対する解釈結果の送信、及びユーザによって与えられた音声データに係るテキストデータの受信等を行うように通信Ｉ／Ｆ４０６を制御する。
次に、ＡＩアシスタントサーバ装置４の各機能構成について説明する。送受信部４１は、ユーザの音声取得装置２に対する解釈結果の送信、及びユーザによって与えられた音声データに係るテキストデータの受信等を行うように通信Ｉ／Ｆ４０６を制御する。
【0107】
取得部４２は、は、音声認識サーバ装置３から送信されるインテント、パラメータ及びスマートスピーカ２のデバイスＩＤ等を取得する。さらに、音声認識サーバ装置３から送信されたユーザのユーザＩＤも取得する。
【0108】
変換部４３は、記憶部４０００に記憶されているテキストデータ、インテント及びパラメータの関係を予め定義した辞書情報を管理する。音声アシスタントプログラムが実行されると、変換部４３は、音声認識サーバ装置３で実行される操作音声変換プログラムに対して辞書情報を提供する。
【0109】
また、変換部４３は、音声認識サーバ装置３の変換部３５で変換されたテキストデータに基づいて、ユーザから与えられた音声操作の内容を変換、解釈する。具体的には、変換部４３は、まず操作音声変換プログラムからテキストデータを取得し、テキストデータに含まれる単語などが辞書情報と一致しているか否かを判断する。その判断の結果、辞書情報と一致している場合には、変換部４３は、テキストデータをインテントとパラメータに変換する。その後、変換部４３は、インテント及びパラメータを操作音声変換プログラムに対して提供する。
【0110】
上述したように、変換部４３は、ユーザによる印刷指示等に対する応答としてテキストデータ及び音声データ等を操作音声変換プログラム等に提供する。また、ＭＦＰ６に対する命令及びファイル出力命令等の実行条件を示すパラメータが不足している場合には、変換部４３は、操作音声変換プログラムの少なくとも一方を介してスマートスピーカ２に対してフィードバックを行う。このフィードバックにより、変換部４３は、ユーザに対して不足しているパラメータの入力を促す。ここで、変換部４３は、不足しているパラメータを確認するために必要な情報として、所定のパラメータ情報をスマートスピーカ２に送信してもよい。さらに、変換部４３は、パラメータの指定を促すために必要な情報としてテキストデータ、画像データ及び音声データ等をスマートスピーカ２に送信してもよい。上述したそれぞれの処理によって、ユーザは、どのような情報が不足しているかをスマートスピーカ２から出力される音声、画像等によって確認することができる。
【0111】
さらに、変換部４３は、ユーザから指定された出力指示に基づいて出力命令に変換可能か否か、あるいは、変換された出力命令が各出力処理で実行可能か否かを判断する。判断時に必要となる判断対象は、変換部４３で解釈された解釈結果、取得した機器情報で示されるＭＦＰ６等の命令転送装置の状態、及びユーザから指定された印刷指示等である。ユーザから指定された印刷に係る内容は、例えば、ユーザから指示された時間帯にＭＦＰ６が使用可能か否かの判断処理、ＭＦＰ６の電源状態の変更処理、ＭＦＰ６に対する印刷処理である。また、ユーザから指定された印刷指示等に基づく各処理が実行可能と判断された場合、変換部４３は、ＭＦＰ６に出力要求の一例としての命令及びファイル出力命令等の各種出力命令に変換するように判定する。その後、変換部４３は、音声認識サーバ装置３で実行された操作音声変換プログラムにより変換されたインテント及びパラメータなどの解釈結果を、ＭＦＰ６が実行可能な命令等の出力命令に変換する。一方、実行不可能と判断された場合、変換部４３は、操作音声変換プログラム等の実行により、スマートスピーカ２に対して指示情報の再取得要求（情報の補完）を示す要求情報、エラーメッセージ等のレスポンス情報等を、スマートスピーカ２に対してフィードバックする。
【0112】
上述したように、変換部４３は、スマートスピーカ２で取得したユーザの意図（指示）を表す第１の命令情報を、ＭＦＰ６等の命令実行装置が実行可能な命令を表す第２の命令情報に変換する変換手段の一例として機能する。
【0113】
送信制御部４５は、転送先装置管理テーブルから転送先となる転送先装置（ＭＦＰ６又はＭＦＰ８）を決定し、決定した転送先装置に対して、変換部４３で変換した第２の命令情報を送信する。また、送信制御部４５は、転送先となる転送先装置を決定する際に、デバイスＩＤを検索キーとして転送先装置管理テーブルを検索することにより、対応する転送先装置名を読み出す（抽出する）。さらに、送信制御部４５は、送信先が決定したことを、スマートスピーカ２を介してユーザにフィードバック処理する機能も併せ持つ。
【0114】
処理部４６は、ＡＩアシスタントサーバ装置４から送信された第１の命令情報を、ＭＦＰ６自らが実行する場合の印刷処理、スキャン処理及びファイル転送処理等の各種処理を実行する。
【0115】
記憶・読出処理部４９は、記憶部４０００に記憶された音声アシスタントプログラム、管理プログラム等の各種プログラムを構成する各種データの読出し、記憶部４０００への各種データの書込み等の処理を行う。
【0116】
上述した送受信部４１、取得部４２、変換部４３、送信制御部４５、処理部４６及び記憶・読出処理部４９のそれぞれの機能は一例であり、どの機能ユニットがどのような処理を行うかは、命令転送システムのシステム構成若しくはソフトウェア構成により適宜変えることができる。
【0117】
なお、本実施形態では、送受信部４１、取得部４２、変換部４３、送信制御部４５、処理部４６及び記憶・読出処理部４９をソフトウェアで実現することとしたが、これらのうち、一又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。また、送受信部４１、取得部４２、変換部４３、送信制御部４５、処理部４６及び記憶・読出処理部４９が実現する機能は、音声認識サーバ装置３の記憶部３０００に記憶された他のプログラムに処理の一部を実行させる、又は他のプログラムを用いて間接的に処理を実行させてもよい。
【0118】
＜ＭＦＰ６の機能構成＞
ＭＦＰ６は、図６に示されているＨＤＤ６０９等によって構築される記憶部６０００を有している。ＭＦＰ６のＣＰＵ６０１は、クラウドサービス装置５から送信された命令及びファイル出力命令等の各種出力命令に基づいて、記憶部６０００に記憶された命令情報変換プログラム又は印刷実行プログラムをＲＡＭ６０２ｂに展開して実行する。ＣＰＵ６０１は、この印刷実行プログラムを実行することで、例えば、送受信部６１、変換部６２、通知部６３、転送部６４、実行部６５及び記憶・読出処理部６９として機能又は機能する手段を構成する。
ＭＦＰ６は、図６に示されているＨＤＤ６０９等によって構築される記憶部６０００を有している。ＭＦＰ６のＣＰＵ６０１は、クラウドサービス装置５から送信された命令及びファイル出力命令等の各種出力命令に基づいて、記憶部６０００に記憶された命令情報変換プログラム又は印刷実行プログラムをＲＡＭ６０２ｂに展開して実行する。ＣＰＵ６０１は、この印刷実行プログラムを実行することで、例えば、送受信部６１、変換部６２、通知部６３、転送部６４、実行部６５及び記憶・読出処理部６９として機能又は機能する手段を構成する。
【0119】
<ＭＦＰ６の各機能構成>
次に、ＭＦＰ６の各機能構成について説明する。送受信部６１は、クラウドサービス装置５（ＡＩアシスタントサーバ装置４の送受信部４１）とネットワーク７を介して通信を行う。
次に、ＭＦＰ６の各機能構成について説明する。送受信部６１は、クラウドサービス装置５（ＡＩアシスタントサーバ装置４の送受信部４１）とネットワーク７を介して通信を行う。
【0120】
また、送受信部６１は、ＭＦＰ６で実行される命令及びファイル出力命令等の各種出力命令を、クラウドサービス装置５から受信する。つまり、送受信部６１は、クラウドサービス装置５から各種出力命令を受信する受信手段の機能を担う。
【0121】
変換部６２は、クラウドサービス装置５から送信されたＭＦＰ６が実行可能な第１の命令情報（命令及びファイル出力命令等に係る命令情報）を、ＭＦＰ６の転送先となるＭＦＰ８が実行可能な命令を示す第２の命令情報に変換する。例えば、クラウドサービス装置５から送信された命令（第１の命令）を命令転送システム上のＭＦＰ８が受信又は実行できないとき、ＭＦＰ６は、ＭＦＰ８に代わって第１の命令情報を一旦受信し、ＭＦＰ８が受信及び実行可能な第２の命令情報に変換する。なお、変換部６２が機能するとき、ＭＦＰ６は、第１の命令情報を第２の命令情報に変換及び転送するためのアプリケーションソフトウェアを実行する。
【0122】
転送部６４は、変換部６２で変換された第２の命令情報を、第２の命令情報で実行される画像ファイル等とともに転送先装置となるＭＦＰ８に転送する。なお、転送部６４は、ユーザから与えられた印刷指示を受け付けた時点で、転送先装置となるＭＦＰ８を、ＡＩアシスタントサーバ装置４を経由して音声、メール及び画像配信等によってスマートスピーカ２に通知してもよい。
【0123】
実行部６５は、クラウドサービス装置５から受信した命令情報に基づいて、ＭＦＰ６において印刷処理を実行する。また、実行部６５は、例えば、命令受信部６５２が命令を受信した場合、命令に含まれる上述の各種情報に基づいて、記憶部６０００に記憶された印刷処理の状況を更新する。また、実行部６５は、命令情報の転送先となる転送先装置が命令及びファイル出力命令等を実行できない状態などの場合に、自身で命令の実行可否をユーザに対してメール等で問い合わせ、ユーザからの許可が出た場合に、転送予定の命令情報に基づく命令を実行する機能を有する。その際、ＭＦＰ６が何らかの原因で自身でも印刷処理ができない場合は、ＭＦＰ６から外部（ユーザ等）に対してエラー通知としてのステータス信号を送信してもよい。なお、ユーザに対するメール等の問合せは、実行部６５によって、ユーザが所有する端末装置のメールアドレスとＭＦＰ６のメールアドレスとのメール通信により実行することができる。
【0124】
上述したように、実行部６５は、スマートスピーカ２に対して与えられた印刷指示及びファイル出力指示等に基づく命令及びファイル出力命令等を実行する第１の実行手段の機能を担う。また、実行部６５は、ＭＦＰ６における転送処理又は印刷処理に加えて外部装置へのファイル送信及びストレージへの保存等を行う出力処理の場合は、ＡＩアシスタントサーバ装置４から受信した各種命令に係るファイル及びデータを出力形式で送信することが可能である。
【0125】
記憶・読出処理部６９は、記憶部６０００を制御して、各種データの読出し、書込みを行う。
【0126】
なお、本実施形態では、送受信部６１、変換部６２、通知部６３、転送部６４、実行部６５及び記憶・読出処理部６９をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。
【0127】
＜ＭＦＰ８の機能構成＞
続いて、ＭＦＰ８の機能構成を説明する。ＭＦＰ８のハードウェア構成は、上述したＭＦＰ６と同様であるため、以下、ＭＦＰ６のハードウェア構成をＭＦＰ８のハードウェア構成として説明する。ＭＦＰ８は、図６に示されているＨＤＤ６０９等と同等の記憶手段によって構築される記憶部８０００を有している。ＭＦＰ８のＣＰＵ６０１は、ＭＦＰ６から送信された第２の命令情報に基づいて、記憶部８０００に記憶された命令実行プログラムをＲＡＭ６０２ｂに展開して実行する。ＣＰＵ６０１は、この命令実行プログラムを実行することで、例えば、送受信部８１、判断部８２、通知部８３、実行部８５及び記憶・読出処理部８９として機能又は機能する手段を構成する。
続いて、ＭＦＰ８の機能構成を説明する。ＭＦＰ８のハードウェア構成は、上述したＭＦＰ６と同様であるため、以下、ＭＦＰ６のハードウェア構成をＭＦＰ８のハードウェア構成として説明する。ＭＦＰ８は、図６に示されているＨＤＤ６０９等と同等の記憶手段によって構築される記憶部８０００を有している。ＭＦＰ８のＣＰＵ６０１は、ＭＦＰ６から送信された第２の命令情報に基づいて、記憶部８０００に記憶された命令実行プログラムをＲＡＭ６０２ｂに展開して実行する。ＣＰＵ６０１は、この命令実行プログラムを実行することで、例えば、送受信部８１、判断部８２、通知部８３、実行部８５及び記憶・読出処理部８９として機能又は機能する手段を構成する。
【0128】
<ＭＦＰ８の各機能構成>
次に、ＭＦＰ８の各機能構成について説明する。但し、上述したＭＦＰ６の各機能構成と共通する機能構成については、説明を省略する。
次に、ＭＦＰ８の各機能構成について説明する。但し、上述したＭＦＰ６の各機能構成と共通する機能構成については、説明を省略する。
【0129】
判断部８２は、クラウドサービス装置５（ＡＩアシスタントサーバ装置４の送受信部４１）とネットワーク７を介して通信を行う。
【0130】
なお、本実施形態では、送受信部８１、判断部８２、通知部８３、実行部８５及び記憶・読出処理部８９をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。
〔実施形態の処理又は動作〕
●第１の実施形態
以下、図８及び図９を用いて、本発明の第１の実施形態について説明する。
〔実施形態の処理又は動作〕
●第１の実施形態
以下、図８及び図９を用いて、本発明の第１の実施形態について説明する。
【0131】
＜命令転送システムの処理の概要＞
図８は、第１の実施形態に係るユーザの音声操作に基づく処理の一例を示すシーケンス図である。第１の実施形態では、クラウドサービス装置５からＭＦＰ６に対して第１の命令を送信した後、ＭＦＰ６で受信した第１の命令をＭＦＰ８が実行可能な第２の命令に変換し、第２の命令をＭＦＰ８に転送する処理について説明する。具体的には、第１の実施形態では、ユーザの音声操作によって得られた出力命令を示す印刷指示に基づいて、音声認識サーバ装置３とＡＩアシスタントサーバ装置４とが協働して構成したクラウドサービス装置５から命令転送装置の一例であるＭＦＰ６（以下、ＭＦＰ＿＃１）に対して第１の命令情報を送信し、ＭＦＰ＿＃１において、命令実行装置の一例であるＭＦＰ８（以下、ＭＦＰ＿＃２）で実行可能な命令を示す第２の命令情報に変換してＭＦＰ＿＃２に転送し、ＭＦＰ＿＃２で印刷処理を行う場合を例示する。なお、本実施形態においては、所定の通信プロトコルによって、少なくともスマートスピーカ２、音声認識サーバ装置３及びＡＩアシスタントサーバ装置４との間の通信が確立しているものとする。
図８は、第１の実施形態に係るユーザの音声操作に基づく処理の一例を示すシーケンス図である。第１の実施形態では、クラウドサービス装置５からＭＦＰ６に対して第１の命令を送信した後、ＭＦＰ６で受信した第１の命令をＭＦＰ８が実行可能な第２の命令に変換し、第２の命令をＭＦＰ８に転送する処理について説明する。具体的には、第１の実施形態では、ユーザの音声操作によって得られた出力命令を示す印刷指示に基づいて、音声認識サーバ装置３とＡＩアシスタントサーバ装置４とが協働して構成したクラウドサービス装置５から命令転送装置の一例であるＭＦＰ６（以下、ＭＦＰ＿＃１）に対して第１の命令情報を送信し、ＭＦＰ＿＃１において、命令実行装置の一例であるＭＦＰ８（以下、ＭＦＰ＿＃２）で実行可能な命令を示す第２の命令情報に変換してＭＦＰ＿＃２に転送し、ＭＦＰ＿＃２で印刷処理を行う場合を例示する。なお、本実施形態においては、所定の通信プロトコルによって、少なくともスマートスピーカ２、音声認識サーバ装置３及びＡＩアシスタントサーバ装置４との間の通信が確立しているものとする。
【0132】
上述したような特徴により、命令転送装置の一例であるＭＦＰ＿＃１は、ユーザが行った音声操作に基づいて生成された第１の命令情報を命令実行装置の状態に応じて第２の命令情報に変換する。これに続いて、ＭＦＰ＿＃１は、変換した第２の命令情報を命令実行装置の一例であるＭＦＰ＿＃２に転送することで、ＭＦＰ＿＃２は、ユーザが行った音声操作に基づく印刷処理を実行することができるようになる。
【0133】
ここで、クラウドサービス装置５からある装置に送信された命令情報が、その装置で受信可能であるか不可能であるかについて説明する。命令情報が受信可能であるためには、その装置で、予め決められたプロトコルを利用する必要がある。一方で、以下のような場合には、命令が受信不可能となる。
１．ファームウェアのバージョンが古い機種が、機器を操作するためのＡＰＩ（Application Programming Interface）を外部に提供していない場合
２．ＡＰＩを外部に提供しているが、ファームウェアのバージョンが古く、命令が受けられない場合
３．ファームウェアのバージョンが古く、最初に必要なスマートスピーカとのペアリングができない（通信プロトコルが利用できない、又は通信プロトコルのバージョンが古い）場合
第１の実施形態では、クラウドサービス装置５から送信された第１の命令を実行可能なＭＦＰ６を、「音声操作に対応したＭＦＰ＿＃１（新機）」（以降、ＭＦＰ＿＃１と記す）という。一方、クラウドサービス装置５から送信された第１の命令を実行不可能なＭＦＰ８を、「音声操作に対応していないＭＦＰ＿＃２（旧機）」（以降、ＭＦＰ＿＃２と記す）という。なお、クラウドサービス装置５は、本実施形態に係る命令送信システムの一例である。
１．ファームウェアのバージョンが古い機種が、機器を操作するためのＡＰＩ（Application Programming Interface）を外部に提供していない場合
２．ＡＰＩを外部に提供しているが、ファームウェアのバージョンが古く、命令が受けられない場合
３．ファームウェアのバージョンが古く、最初に必要なスマートスピーカとのペアリングができない（通信プロトコルが利用できない、又は通信プロトコルのバージョンが古い）場合
第１の実施形態では、クラウドサービス装置５から送信された第１の命令を実行可能なＭＦＰ６を、「音声操作に対応したＭＦＰ＿＃１（新機）」（以降、ＭＦＰ＿＃１と記す）という。一方、クラウドサービス装置５から送信された第１の命令を実行不可能なＭＦＰ８を、「音声操作に対応していないＭＦＰ＿＃２（旧機）」（以降、ＭＦＰ＿＃２と記す）という。なお、クラウドサービス装置５は、本実施形態に係る命令送信システムの一例である。
【0134】
以下に、図８の各シーケンス図における処理を示す。本実施形態に係る命令転送システムでは、まずユーザは、自らが使用するスマートスピーカ２に対して、発話を伴う音声操作等により自身のユーザ名及びユーザＩＤの少なくとも一方を入力する。具体的には、スマートスピーカ２は、ユーザによってユーザ名及びユーザＩＤの少なくとも一方がマイクロホン２０９を介して入力されると、ユーザ名及びユーザＩＤの少なくとも一方とスマートスピーカ２の装置名及びデバイスＩＤの少なくとも一方との関連付けを行う。
【0135】
その後、ＭＦＰ＿＃２は、ＭＦＰ＿＃１に対して、予め自身の存在を登録する接続・登録処理を実行する（ステップＳ１０１）。この登録の方法は、例えば、ＩＰアドレス、ｍＤＮＳで解決が可能なドメイン名、ホスト名、及びどのような指示を受け付けることが可能であるかを示すＣａｐａｂｉｌｉｔｙ（ケーパビリティ）と呼ばれるデータを含む。
【0136】
ステップＳ１０１でＭＦＰ＿＃２から接続・登録処理を実行されたＭＦＰ＿＃１は、実行された接続・登録情報をＭＦＰ＿＃１に記憶した後、接続・登録情報をＡＩアシスタントサーバ装置４に送信する（ステップＳ１０２）。このとき、ＭＦＰ＿＃１の転送部６４は、操作部を介してスマートスピーカ２のデバイスＩＤ又はユーザＩＤの入力を受け付け、受け付けた情報を接続・登録情報に含めてＡＩアシスタントサーバ装置４へ送信してもよい。ＡＩアシスタントサーバ装置４の送信制御部４５は、接続・登録情報に基づいて転送管理テーブル及び転送先装置管理テーブルを生成する。つまり、送信制御部４５は、転送管理テーブルにおいて、装置名としてＭＦＰ＿＃２と音声操作対応状況を登録する。また、送信制御部４５は、転送先装置管理テーブルにおいて、デバイスＩＤと対応付けて転送先装置名としてＭＦＰ＿＃２とＩＰアドレスを登録する。
【0137】
次にユーザは、音声操作によりスマートスピーカ２のマイクロホン２０９に、例えば、「ファイルＡを印刷して」と発話する。つまり、ユーザの音声操作により、スマートスピーカ２の取得部２２は、ユーザから与えられた音声データを、マイクロホン２０９を介して取得する（ステップＳ１０３）。このとき、音声操作に代えて、スマートスピーカ２に備えられた操作部の特定の操作ボタン等をユーザが押下してファイル名等を設定し、印刷実行ボタン等を押下することにより、ＭＦＰ６に対する印刷指示をスマートスピーカ２に与えるようにしてもよい。なお、ユーザが押下する操作部の特定の操作ボタンは、出力命令を示す印刷指示を受け付ける受付手段又は機能の一例である。
【0138】
上述したように、ユーザによる音声操作を受け付けることで、スマートスピーカ２は、原稿の印刷指示である印刷指示をユーザから取得することができる。なお、ユーザが保持する原稿の印刷指示に関する内容であれば、発話内容は上述したものに限定されない。さらに、ユーザがカメラ２１１に原稿を翳した場合は、必ずしも発話による情報を与えなくてもよい。
【0139】
次に、取得部２２は、音声操作に基づいて取得した音声データ、デバイスＩＤ、デバイス位置情報及びユーザＩＤを含む情報を、送受信部２１を介して音声認識サーバ装置３の操作音声変換プログラムに送信する（ステップＳ１０４）。ここで、上述した「ファイルＡを印刷して」のようなユーザの音声操作に基づいて取得された音声データは、上述した印刷指示に相当し、第１の命令情報の一例である。
【0140】
なお、デバイスＩＤは、ユーザに関連付けられたスマートスピーカ２を特定する情報の一例であり、転送先装置管理テーブルに示したとおりである。送受信部２１は、例えば、デバイスＩＤに代えて又は加えて、スマートスピーカ２の位置を示す位置情報、スマートスピーカ２を使用するユーザ個人を特定するユーザＩＤ、ユーザ名又はユーザの所属する組織等の個人を特定する情報を送信してもよい。
【0141】
また、ユーザＩＤを特定する方法として、例えば、以下の方法がある。一つは、スマートスピーカ２に向けて自分の名前をマイクロホン２０９に向けて発話する方法である。この名前の発話を受けて、音声認識サーバ装置３の変換部３５は、発話された名前のテキスト化を行う。続いて、ＡＩアシスタントサーバ装置４の取得部４２は、音声認識サーバ装置３の変換部３５によりテキスト化された名前から、ＡＩアシスタントサーバ装置４で記憶、管理されているユーザ名を照合して、名前を発話したユーザのユーザＩＤを特定する。また、ユーザによる名前の発話に代えてユーザのメールアドレス等が発話されるようにしてもよい。さらに、スマートスピーカ２のカメラ２１１を使用して撮影されたユーザの顔写真等に係る撮影画像とユーザＩＤとが照合されるようにしてもよい。さらに、スマートスピーカ２に備えられた操作部にユーザ名及びユーザＩＤの少なくとも一方が入力されるようにしてもよい。
【0142】
続いて、音声認識サーバ装置３の取得部３２は、送受信部３１を介して、デバイスＩＤ、デバイス位置情報及びユーザＩＤを含む情報とあわせてスマートスピーカ２から送信された音声データを取得する。その後、音声認識サーバ装置３の変換部３５は、スマートスピーカ２から送信された音声データをテキスト化する（ステップＳ１０５）。
【0143】
なお、取得部３２は、スマートスピーカ２に備えられた音声データを得るための取得部２２の機能を兼ね備えてもよい。その場合、取得部３２は、例えば、マイクロホン２０９を介して集音されたユーザの指示音声を、スマートスピーカ２のデバイスＩＤ及びユーザのユーザＩＤとあわせて取得する機能を有する。つまり、取得部３２は、上述したステップＳ１０２及びステップＳ１０３の機能を兼用する。このような取得部３２は、スマートスピーカ２の取得部２２と同様に、データ取得手段の一例として機能してもよい。つまり、音声認識サーバ装置３は、データ取得手段を備えるサーバ装置の一例として機能してもよい。
【0144】
上述したように、音声認識サーバ装置３の変換部３５は、スマートスピーカ２から取得した音声データをテキスト化する。このテキスト化の処理は、例えば、「ファイルＡを印刷して」という内容の音声操作に基づく音声データをテキストデータに変換する処理を行う。なお、上述した「ファイルＡを印刷して」という発話内容は、命令転送装置に送信される第１の命令に変換するための出力命令情報の一例である。
【0145】
続いて、変換部３５は、ＡＩアシスタントサーバ装置４で実行される音声アシスタントプログラムに対して辞書情報を要求するために、テキスト化した音声データを、送受信部３１を介してＡＩアシスタントサーバ装置４に送信する（ステップＳ１０６）。なお、上述した原稿特定情報の要求及び辞書情報の要求は、一度のタイミングでＡＩアシスタントサーバ装置４に送信されてもよいし、時間を分けて送信されてもよい。
【0146】
辞書情報の要求を受信したＡＩアシスタントサーバ装置４は、音声アシスタントプログラムを実行させる。音声アシスタントプログラムが実行されることにより機能する取得部４２は、記憶部４０００に構築されている紐づけ用ＤＢ４４２を検索し、テキスト化された音声データから辞書情報を取得する。その後、取得部４２は、取得した辞書情報を音声認識サーバ装置３で実行される操作音声変換プログラムにそれぞれ送信（提供）する（ステップＳ１０７）。
【0147】
続いて、音声認識サーバ装置３で操作音声変換プログラムが実行されることにより、解釈部３６は、スマートスピーカ２から送信されたテキスト化された音声データを解釈する。続いて、解釈部３６は、ユーザが行った音声操作に対応したインテント（Ｉｎｔｅｎｔ）とパラメータ（Ｐａｒａｍｅｔｅｒ）を生成する（ステップＳ１０８）。具体的には、解釈部３６は、音声アシスタントプログラムから取得した辞書情報に基づいて、テキストデータに含まれる単語及び所定の意味を持つことば等が辞書情報と一致しているか否かを判断する。つまり、テキスト解釈を行う。テキストデータに含まれる単語及び所定の意味を持つことば等が辞書情報と一致している場合、解釈部３６は、ユーザから指示された内容に対応したインテント及び各種処理の実行条件等の変数を示すパラメータに変換する。
【0148】
ここで、インテントとは、ＭＦＰ６に対して送信する印刷要求などの各種出力処理の対象、種類等を示す情報であり、パラメータとは、各種出力処理の設定等を示す情報である。本実施形態の場合、インテントは、例えば、ＭＦＰ６に対して要求するジョブの種類を示す情報、すなわちＭＦＰ６に対する印刷要求を示す情報であり、パラメータは、そのインテントに関連する内容、例えば、ＭＦＰ６に対して要求するジョブに関連する情報、すなわちＭＦＰ６で実行される印刷時の付随情報を示す情報である。
【0149】
続いて、解釈部３６は、生成したインテント、パラメータ、スマートスピーカ２のデバイスＩＤをＡＩアシスタントサーバ装置４で実行される管理プログラムに送信する（ステップＳ１０９）。管理プログラムは、インテントとパラメータに基づいて必須パラメータが充足しているか否かを判断する。必須パラメータとしては、印刷枚数、カラー／モノクロ等の任意の条件を設定することができる。
【0150】
次に、クラウドサービス装置５で実行される命令への変換について説明する。ここでの処理は、主に、ユーザの音声操作に伴う音声データから、命令への変換に係る命令への変換が行われる。なお、命令への変換には、インテント及びパラメータが必要となる。
【0151】
まず、ＡＩアシスタントサーバ装置４の変換部４３は、取得部４２で取得されたインテント、パラメータ及びスマートスピーカ２のデバイスＩＤ等に基づいて、命令転送装置に対する命令を示す命令情報に変換する（ステップＳ１１０）。このとき、インテント又はパラメータには、変換部４３により転送先装置管理テーブルが参照されることで、デバイスＩＤ：ＳＩＤ１に対応する命令転送装置の一例である「ＭＦＰ＿＃１」が与えられる。以下、命令転送装置としてＭＦＰ＿＃１を例に説明するが、所定の命令を示す命令情報を他の装置に転送可能な装置であれば、その種類は問わない。
【0152】
変換部４３によるデータ変換に伴い、送信制御部４５は、スマートスピーカ２のデバイスＩＤ、ユーザ名及びユーザＩＤ、並びに転送先装置管理テーブルで管理される情報に基づいて、印刷に用いられるＭＦＰ＿＃１を特定する。
【0153】
さらに変換部４３は、ユーザによって与えられた音声データに対して、ＭＦＰ＿＃１で実行又は転送される出力命令情報の変換（生成）に必要な情報を補完することができる。しかし、命令に係る必須パラメータの生成に必要な情報を補完できない場合は、変換部４３は、スマートスピーカ２を介してユーザにフィードバックを行い、必須パラメータの生成に必要な情報の入力（取得）をユーザに促すよう制御してもよい。
【0154】
＜命令情報の送信先決定処理＞
続いて、ＡＩアシスタントサーバ装置４で実行される、命令情報の送信先決定処理について説明する。
続いて、ＡＩアシスタントサーバ装置４で実行される、命令情報の送信先決定処理について説明する。
【0155】
命令情報のうち、変換部４３により変換された命令情報に対して、送信制御部４５は、記憶部４０００に記憶、管理された管理ＤＢ４４１及び紐づけ用ＤＢ４０２を参照して、命令情報の送信先を決定する（ステップＳ１１１）。このステップＳ１１１については、別途フローチャートを用いて詳細に説明する。
【0156】
<送信先決定処理の詳細フロー>
図９は、第１の実施形態に係る送信先決定処理の詳細の一例を示すフローチャートである。図９に示されているように、送信制御部４５は、変換部４３により変換された命令情報に含まれるデバイスＩＤを検索キーとして紐づけ用ＤＢ４０２で管理されている転送先装置管理テーブルを検索することにより、対応する転送先装置名を読み出す（ステップＳ１１０１）。
図９は、第１の実施形態に係る送信先決定処理の詳細の一例を示すフローチャートである。図９に示されているように、送信制御部４５は、変換部４３により変換された命令情報に含まれるデバイスＩＤを検索キーとして紐づけ用ＤＢ４０２で管理されている転送先装置管理テーブルを検索することにより、対応する転送先装置名を読み出す（ステップＳ１１０１）。
【0157】
続いて、送信制御部４５は、ユーザから音声操作によって与えられた印刷指示に対して送信先（転送先）が与えられたか否かを、読み出した転送先装置名から判断する。具体的には、送信制御部４５は、ユーザから与えられた印刷指示に対して送信先（転送先）を示す送信先情報が含まれているか否かを判断する（ステップＳ１１０２）。この送信先情報とは、例えば、ユーザの発話によって与えられる転送先の装置名を示す転送先装置名である。なお、転送先装置名とは、例えば、ＭＦＰ＿＃１、ＭＦＰ＿＃２、等のように装置の種類や機能（ＭＦＰ）を表す名称の後に「＃」で続けられる管理番号等の番号が付与された名称を意味するものであり、装置自体の固有名詞を含むような名称ではない。したがって、ＡＩアシスタントサーバ装置４は、このような前提にしたがって、転送先装置名を登録した転送先装置管理テーブルを管理することになる。
【0158】
送信先が与えられたと判断された場合（ステップＳ１１０２；ＹＥＳ）、送信制御部４５は、与えられた送信先情報と転送先装置管理テーブルによって管理されているスマートスピーカ２のデバイスＩＤに対応する転送先装置名とを比較する（ステップＳ１１０３）。
【0159】
音声操作によって与えられた転送先の装置名と転送先装置管理テーブルによって管理されている転送先装置名、又は、音声操作によって与えられた転送先の宛先を示す宛先情報と転送先装置管理テーブルによって管理されている転送先装置のＩＰアドレス／Ｈｏｓｔ名（第１の宛先情報）とが一致すると判断された場合（ステップＳ１１０３；ＹＥＳ）、送信制御部４５は、第２の命令情報の一例である転送先装置管理テーブルによって管理されている転送先装置名で示される命令実行装置への宛先を示す宛先情報を、命令転送装置の一例であるＭＦＰ＿＃１に送信してこのフローを抜ける（ステップＳ１１０４）。
【0160】
一方、テーブルデータと一致しないと判断された場合（ステップＳ１１０３；ＮＯ）、送信制御部４５は、第２の命令情報の一例である命令情報及び音声操作によって与えられた転送先情報で示される命令実行装置への宛先を示す宛先情報を、命令転送装置の一例であるＭＦＰ＿＃１に送信してこのフローを抜ける（ステップＳ１１０５）。つまり、ステップＳ１１０３の判断に基づくステップＳ１１０４及びＳ１１０５の処理は、送受信部４１が、音声操作によって与えられた音声データとともに特定の宛先情報（第２の宛先情報）を受信した場合には、送信制御部４５は、転送先装置管理テーブルで管理されている宛先（第１の宛先情報）ではなく、受信された特定の宛先情報（第２の宛先情報）を、第２の命令情報とともにＭＦＰ＿＃１に送信する。
【0161】
なお、ステップＳ１１０４及びＳ１１０５の処理については、ＡＩアシスタントサーバ装置４にＭＦＰ６（ＭＦＰ＿＃１）のような印刷機能を有する機構を持たせてもよい。その場合、ＡＩアシスタントサーバ装置４は、上述の各処理において送信先（転送先）が自装置（ＡＩアシスタントサーバ装置４）であれば、印刷機能を用いてユーザから与えられた印刷に係る命令を実行することも可能である。
【0162】
また、音声操作によって転送先が与えられていないと判断された場合（ステップＳ１１０２；ＮＯ）、送信制御部４５はさらに、予め指定された送信先があるか否かを判断する（ステップＳ１１０６）。
【0163】
予め指定された送信先があると判断された場合（ステップＳ１１０６；ＹＥＳ）、送信制御部４５は、第２の命令情報の一例である命令情報及び転送先情報で示される命令実行装置への宛先を示す特定の宛先情報を、予め指定された送信先に送信してこのフローを抜ける（ステップＳ１１０７）。
【0164】
一方、予め指定された送信先がないと判断された場合（ステップＳ１１０６；ＮＯ）、送信制御部４５は、スマートスピーカ２を介してユーザにフィードバック処理してこのフローを抜ける。又は送信制御部４５は、第２の命令情報の一例である命令情報をＭＦＰ＿＃１に送信してこのフローを抜ける（ステップＳ１１０８）。
【0165】
なお、図９に示したフローチャートは一例であって、実行される処理は上述した例に限らない。例えば、本実施形態に係る命令転送システムの置かれた環境及びシステムの用途等に応じて、上述したフローチャートの内容を適宜変えてもよい。
【0166】
＜命令情報の送信処理＞
図８に戻り、送信制御部４５は、送信先が決定したことを、クラウドサービス装置５を介してスマートスピーカ２に対して、例えば、音声応答によってフィードバック処理する（ステップＳ１１２）。
図８に戻り、送信制御部４５は、送信先が決定したことを、クラウドサービス装置５を介してスマートスピーカ２に対して、例えば、音声応答によってフィードバック処理する（ステップＳ１１２）。
【0167】
続いて、スマートスピーカ２のフィードバック部２３は、送受信部２１を介してユーザに音声による応答を行い、ＡＩアシスタントサーバ装置４で生成された命令が命令転送装置の一例であるＭＦＰ＿＃１を経由して、所望の命令実行装置（例えば、ＭＦＰ＿＃２）に転送されたことを示すメッセージを、ユーザに音声等で応答する（ステップＳ１１３）。
【0168】
続いて、送信制御部４５は、ステップＳ１１０で変換部４３により変換された命令を示す命令情報を、印刷される画像ファイルとあわせて送受信部４１を介してＭＦＰ＿＃１に送信する（ステップＳ１１４）。このとき、送信制御部４５は、印刷対象である画像ファイルを送信してもよいが、画像ファイルのファイル名、画像ファイルの格納場所を示す情報等をＭＦＰ＿＃１に送るようにしてもよい。このようにすることで、画像ファイル自体を送信する場合と比較して、ＡＩアシスタントサーバ装置４とＭＦＰ＿＃１の間の通信量を軽減させることができる。なお、ステップＳ１１４で、変換部４３から印刷対象となる画像ファイルの格納場所を示す情報を受信した場合には、ＭＦＰ＿＃１は、その情報に基づいて格納場所にアクセスすることによってファイルを取得することができる。
【0169】
ステップＳ１１３で、ＡＩアシスタントサーバ装置４から命令情報を受信したＭＦＰ＿＃１の変換部６２は、送信された宛先情報を確認する。宛先情報がＭＦＰ＿＃１である場合又は宛先情報が含まれていない場合には、ＭＦＰ＿＃１の実行部６５が、命令実行装置としてファイルの印刷を実行する。また、宛先情報がＭＦＰ＿＃１以外のＭＦＰである場合には、転送部６４が、送受信部６１を介して宛先情報が示す装置に対して命令情報を転送する。ここでは、例えば、宛先情報から命令情報の転送先がＭＦＰ＿＃２であることを確認したものとする。その後、変換部６２は、命令実行装置の一例であるＭＦＰ＿＃２が受信及び実行可能な第２の命令情報に変換する。この変換処理は、音声対応しているＭＦＰ＿＃１の変換部６２が、ネットワーク７を介して音声対応していないＭＦＰ＿＃２で受信及び実行可能な命令（言語）に変換することで実現される（ステップＳ１１５）。
【0170】
続いて、転送部６４は、変換部６２で変換されたＭＦＰ＿＃２で受信及び実行可能な命令情報をＭＦＰ＿＃２に転送する（ステップＳ１１６）。
【0171】
ＭＦＰ＿＃１から命令情報を送信されたＭＦＰ＿＃２は、判断部８２で実行可能か否かを判断し、実行可能であれば実行部が命令情報非よって示される命令を実行する（ステップＳ１１７）。なお、判断部８２は、受信した命令情報に係る命令が実行可能でないと判断した場合は、自身の装置の状態を確認し、所定時間待機するなどで実行可能と判断した場合は、実行可能な状態になるまで待機してもよい。また、ステップＳ１１７の処理は、上述したステップＳ１１３～Ｓ１１６の処理と、処理の主体が異なることにより非同期で行われるため、ステップＳ１１３～Ｓ１１６の処理の前若しくは処理の途中で実行されてもよい。
【0172】
以上の処理により、図８に示されている命令転送システムにおける一連のシーケンスが終了する。
【0173】
本実施形態では、ユーザから与えられる音声取得装置としてスマートスピーカ２を例に説明したが、これに代わり汎用のスマートフォンを用いても同様の構成、作用を実現することが可能である。その場合、スマートスピーカ２を利用するよりも、さらに多数のユーザがこの命令転送システムを利用し、所望の指示をＭＦＰ等に行うシステムを構築することが可能になる。
【0174】
〔本実施形態の主な効果〕
以上説明したように第１の実施形態によれば、送信制御部４５は、ステップＳ１１１で、ユーザの音声指示に基づいて変換された所定の命令を示す命令情報に対して、以下の処理を実行する。すなわち、送信制御部４５は、ユーザが所定の命令を実行させたい音声操作に対応しないＭＦＰ＿＃２（命令実行装置）が受信不可能で且つ音声操作に対応するＭＦＰ＿＃１（命令転送装置）が受信可能な所定の命令を示す命令情報の転送先を判断する。さらに、送信制御部４５は、変換された命令情報と、転送先として判断したＭＦＰ＿＃２（命令実行装置）への宛先を示す特定の宛先情報をＭＦＰ＿＃１（命令転送装置）に送信する（ステップＳ１１０４）。これにより、ＭＦＰ＿＃１（命令転送装置）は、音声指示に基づいて変換された所定の命令情報をＭＦＰ＿＃２（命令実行装置）に転送することが可能となり、その結果、ユーザは、音声指示に対応しないＭＦＰ＿＃２（命令実行装置）において所定の処理を行わせることが可能となる。
●第２の実施形態
続いて、図面を用いて、本発明の第２の実施形態について説明する。
以上説明したように第１の実施形態によれば、送信制御部４５は、ステップＳ１１１で、ユーザの音声指示に基づいて変換された所定の命令を示す命令情報に対して、以下の処理を実行する。すなわち、送信制御部４５は、ユーザが所定の命令を実行させたい音声操作に対応しないＭＦＰ＿＃２（命令実行装置）が受信不可能で且つ音声操作に対応するＭＦＰ＿＃１（命令転送装置）が受信可能な所定の命令を示す命令情報の転送先を判断する。さらに、送信制御部４５は、変換された命令情報と、転送先として判断したＭＦＰ＿＃２（命令実行装置）への宛先を示す特定の宛先情報をＭＦＰ＿＃１（命令転送装置）に送信する（ステップＳ１１０４）。これにより、ＭＦＰ＿＃１（命令転送装置）は、音声指示に基づいて変換された所定の命令情報をＭＦＰ＿＃２（命令実行装置）に転送することが可能となり、その結果、ユーザは、音声指示に対応しないＭＦＰ＿＃２（命令実行装置）において所定の処理を行わせることが可能となる。
●第２の実施形態
続いて、図面を用いて、本発明の第２の実施形態について説明する。
【0175】
〔システムの概略〕
図１０は、第２の実施形態に係る命令転送システムの構成の一例を示す図である。図１０に示されているように、第２の実施形態の命令転送システムは、少なくとも１以上のスマートスピーカ２、音声認識サーバ装置３、ＡＩアシスタントサーバ装置４、ＭＦＰ（Multifunction Peripheral）８、及びサーバ装置９を、例えばＬＡＮ（Local Area Network）等のネットワーク７を介して相互に接続することで形成されている。
図１０は、第２の実施形態に係る命令転送システムの構成の一例を示す図である。図１０に示されているように、第２の実施形態の命令転送システムは、少なくとも１以上のスマートスピーカ２、音声認識サーバ装置３、ＡＩアシスタントサーバ装置４、ＭＦＰ（Multifunction Peripheral）８、及びサーバ装置９を、例えばＬＡＮ（Local Area Network）等のネットワーク７を介して相互に接続することで形成されている。
【0176】
第２の実施形態に係る命令転送システムは、図１に示されている第１の実施形態に係る命令転送システムとの対比において、ＭＦＰ６に代えて上述したサーバ装置９が含まれている点で相違する。なお、サーバ装置９は、命令転送装置の一例である。なお、サーバ装置９が、クラウドサービス装置５から送信された所定の命令を示す命令情報をＭＦＰ８で実行可能な出力命令に変換する方法は、第１の実施形態でＭＦＰ６が実行した方法と同様である。
【0177】
〔ハードウェア構成〕
以下、第２の実施形態におけるハードウェア構成について説明する。但し、第１の実施形態との差異部分のみについて説明するため、サーバ装置９のハードウェア構成を説明する。サーバ装置９は、第１の実施形態で説明した音声認識サーバ装置３又はＡＩアシスタントサーバ装置４のハードウェア構成と同様である。そのため、詳細な説明を省略する。
以下、第２の実施形態におけるハードウェア構成について説明する。但し、第１の実施形態との差異部分のみについて説明するため、サーバ装置９のハードウェア構成を説明する。サーバ装置９は、第１の実施形態で説明した音声認識サーバ装置３又はＡＩアシスタントサーバ装置４のハードウェア構成と同様である。そのため、詳細な説明を省略する。
【0178】
〔機能構成〕
図１１は、第２の実施形態に係る命令転送システムを構成する各装置の機能ブロックの一例を示す図である。第２の実施形態に係るハードウェア構成は、第１の実施形態との比較においてサーバ装置９のみが差異となる。そこで、機能構成についても、第１の実施形態との差異部分であるサーバ装置９の機能構成について説明する。
図１１は、第２の実施形態に係る命令転送システムを構成する各装置の機能ブロックの一例を示す図である。第２の実施形態に係るハードウェア構成は、第１の実施形態との比較においてサーバ装置９のみが差異となる。そこで、機能構成についても、第１の実施形態との差異部分であるサーバ装置９の機能構成について説明する。
【0179】
＜サーバ装置の機能構成＞
サーバ装置９は、例えば、図３に示されている音声認識サーバ装置３のハードウェア構成と同様の記憶装置によって構築される記憶部９０００を有している。サーバ装置９のＣＰＵは、クラウドサービス装置５から送信された命令及びファイル出力命令等の各種出力命令に基づいて、記憶部９０００に記憶された命令情報変換プログラムをＲＡＭ等の逐次書換え可能なメモリに展開して実行する。ＣＰＵは、この命令情報変換プログラムを実行することで、例えば、送受信部９１、変換部９２、通知部９３、表示制御部９４、転送部９５及び記憶・読出処理部９９として機能又は機能する手段を構成する。
サーバ装置９は、例えば、図３に示されている音声認識サーバ装置３のハードウェア構成と同様の記憶装置によって構築される記憶部９０００を有している。サーバ装置９のＣＰＵは、クラウドサービス装置５から送信された命令及びファイル出力命令等の各種出力命令に基づいて、記憶部９０００に記憶された命令情報変換プログラムをＲＡＭ等の逐次書換え可能なメモリに展開して実行する。ＣＰＵは、この命令情報変換プログラムを実行することで、例えば、送受信部９１、変換部９２、通知部９３、表示制御部９４、転送部９５及び記憶・読出処理部９９として機能又は機能する手段を構成する。
【0180】
<サーバ装置の各機能構成>
次に、サーバ装置９の各機能構成について説明する。送受信部９１、変換部９２、通知部９３、転送部９５及び記憶・読出処理部９９は、第１の実施形態で説明したＭＦＰ６の送受信部６１、変換部６２、通知部６３、転送部６４及び記憶・読出処理部６９とそれぞれ同様であるため、詳細な説明を省略する。
次に、サーバ装置９の各機能構成について説明する。送受信部９１、変換部９２、通知部９３、転送部９５及び記憶・読出処理部９９は、第１の実施形態で説明したＭＦＰ６の送受信部６１、変換部６２、通知部６３、転送部６４及び記憶・読出処理部６９とそれぞれ同様であるため、詳細な説明を省略する。
【0181】
ここで、表示制御部９４は、例えば、サーバ装置９における各処理の状態、クラウドサービス装置５との通信におけるプロトコル、画像等を表示装置に表示させる機能を担う。
【0182】
＜命令転送システムの処理の概要＞
図１２は、第２の実施形態に係るユーザの音声操作に基づく処理の一例を示すシーケンス図である。第２の実施形態では、ＡＩアシスタントサーバ装置４からサーバ装置９に対して第１の命令を送信した後、サーバ装置９で受信した第１の命令をＭＦＰ８が実行可能な第２の命令に変換し、第２の命令をＭＦＰ８に転送する処理について説明する。具体的には、第２の実施形態では、ユーザの音声操作によって得られた出力命令を示す印刷指示に基づいて、音声認識サーバ装置３とＡＩアシスタントサーバ装置４とが協働して構成したクラウドサービス装置５から命令転送装置の一例であるサーバ装置９に対して第１の命令情報を送信し、サーバ装置９において、命令実行装置の一例であるＭＦＰ８（以下、ＭＦＰ＿＃２）で実行可能な命令を示す第２の命令情報に変換してＭＦＰ＿＃２に転送し、ＭＦＰ＿＃２で印刷処理を行う場合を例示する。なお、本実施形態においては、所定の通信プロトコルによって、少なくともスマートスピーカ２、音声認識サーバ装置３及びＡＩアシスタントサーバ装置４との間の通信が確立しているものとする。
図１２は、第２の実施形態に係るユーザの音声操作に基づく処理の一例を示すシーケンス図である。第２の実施形態では、ＡＩアシスタントサーバ装置４からサーバ装置９に対して第１の命令を送信した後、サーバ装置９で受信した第１の命令をＭＦＰ８が実行可能な第２の命令に変換し、第２の命令をＭＦＰ８に転送する処理について説明する。具体的には、第２の実施形態では、ユーザの音声操作によって得られた出力命令を示す印刷指示に基づいて、音声認識サーバ装置３とＡＩアシスタントサーバ装置４とが協働して構成したクラウドサービス装置５から命令転送装置の一例であるサーバ装置９に対して第１の命令情報を送信し、サーバ装置９において、命令実行装置の一例であるＭＦＰ８（以下、ＭＦＰ＿＃２）で実行可能な命令を示す第２の命令情報に変換してＭＦＰ＿＃２に転送し、ＭＦＰ＿＃２で印刷処理を行う場合を例示する。なお、本実施形態においては、所定の通信プロトコルによって、少なくともスマートスピーカ２、音声認識サーバ装置３及びＡＩアシスタントサーバ装置４との間の通信が確立しているものとする。
【0183】
上述したような特徴により、命令転送装置の一例であるサーバ装置９は、ユーザが行った音声操作に基づいて生成された第１の命令情報を命令実行装置の一例であるＭＦＰ＿＃２の状態に応じて第２の命令情報に変換し、変換した第２の命令情報をＭＦＰ＿＃２に転送することで、ＭＦＰ＿＃２は、ユーザが行った音声操作に基づく印刷処理を実行することができるようになる。
【0184】
以下に、図１２の各シーケンス図における処理を示す。但し、図１２のステップＳ１０１～Ｓ１１０までの処理は、図８に示されている第１の実施形態に係るユーザの音声操作に基づく処理の一例を示すシーケンス図のステップＳ１０１～Ｓ１１０の処理と同様のため、詳細な説明を省略する。
【0185】
さらに、第２の実施形態では、サーバ装置９がステップＳ１０１及びＳ１０２で音声非対応のＭＦＰ８に対して、ＭＦＰ８が受信及び実行可能な命令を示す第２の命令情報に変換するだけであるため、第１の実施形態で行ったステップＳ１１１の詳細な処理は不要となる。なお、サーバ装置９から第２の命令情報が転送される命令実行装置が複数存在する場合は、転送部９５は、クラウドサービス装置５から送信される宛先情報を参照して、その宛先を示す命令実行装置が受信及び実行可能な命令情報に変換した命令情報を転送する。
【0186】
続いて、ステップＳ１１２～Ｓ１１７までの処理についても、第１の実施形態と同様のため、詳細な説明を省略する。
【0187】
〔本実施形態の主な効果〕
以上説明したように第２の実施形態によれば、サーバ装置９は、クラウドサービス装置５から送信された、ユーザの音声指示に基づいて変換された所定の命令を示す命令情報に対して、以下の処理を実行する。すなわち、クラウドサービス装置５の送信制御部４５は、ユーザが所定の命令を実行させたい音声操作に対応しないＭＦＰ＿＃２（命令実行装置）が受信不可能で且つ音声操作に対応するサーバ装置９（命令転送装置）が受信可能な所定の命令を示す命令情報と、転送先として判断したＭＦＰ＿＃２（命令実行装置）への宛先を示す特定の宛先情報をサーバ装置９（命令転送装置）に送信する（ステップＳ１１３）。これにより、サーバ装置９（命令転送装置）は、音声指示に基づいて変換された所定の命令情報をＭＦＰ＿＃２（命令実行装置）に転送することが可能となり、その結果、ユーザは、音声指示に対応しないＭＦＰ＿＃２（命令実行装置）において所定の処理を行わせることが可能となる。
●第３の実施形態
続いて、図面を用いて、本発明の第３の実施形態について説明する。
以上説明したように第２の実施形態によれば、サーバ装置９は、クラウドサービス装置５から送信された、ユーザの音声指示に基づいて変換された所定の命令を示す命令情報に対して、以下の処理を実行する。すなわち、クラウドサービス装置５の送信制御部４５は、ユーザが所定の命令を実行させたい音声操作に対応しないＭＦＰ＿＃２（命令実行装置）が受信不可能で且つ音声操作に対応するサーバ装置９（命令転送装置）が受信可能な所定の命令を示す命令情報と、転送先として判断したＭＦＰ＿＃２（命令実行装置）への宛先を示す特定の宛先情報をサーバ装置９（命令転送装置）に送信する（ステップＳ１１３）。これにより、サーバ装置９（命令転送装置）は、音声指示に基づいて変換された所定の命令情報をＭＦＰ＿＃２（命令実行装置）に転送することが可能となり、その結果、ユーザは、音声指示に対応しないＭＦＰ＿＃２（命令実行装置）において所定の処理を行わせることが可能となる。
●第３の実施形態
続いて、図面を用いて、本発明の第３の実施形態について説明する。
【0188】
〔システムの概略〕
図１３は、第３の実施形態に係る命令転送システムの構成の一例を示す図である。図１３に示すように、第３の実施形態の命令転送システムは、少なくとも１以上のスマートスピーカ２、音声認識サーバ装置３、ＡＩアシスタントサーバ装置４及びＭＦＰ（Multifunction Peripheral）８を、例えばＬＡＮ（Local Area Network）等のネットワーク７を介して相互に接続することで形成されている。
図１３は、第３の実施形態に係る命令転送システムの構成の一例を示す図である。図１３に示すように、第３の実施形態の命令転送システムは、少なくとも１以上のスマートスピーカ２、音声認識サーバ装置３、ＡＩアシスタントサーバ装置４及びＭＦＰ（Multifunction Peripheral）８を、例えばＬＡＮ（Local Area Network）等のネットワーク７を介して相互に接続することで形成されている。
【0189】
本実施形態に係る命令転送システムは、第１の実施形態に係る命令転送システムとの対比において、ＭＦＰ６が含まれていない点、第２の実施形態に係る命令転送システムとの対比において、サーバ装置９が含まれていない点でそれぞれ相違する。つまり、第３の実施形態では、クラウドサービス装置５から送信された所定の命令を示す命令情報をスマートスピーカ２で受信し、スマートスピーカ２がＭＦＰ８で実行可能な命令を示す命令情報に変換してＭＦＰ８に転送する構成を特徴としている。なお、スマートスピーカ２が、クラウドサービス装置５から送信された所定の命令を示す命令情報をＭＦＰ８で実行可能な命令を示す命令情報に変換する方法は、第１の実施形態でＭＦＰ６が実行した方法、及び第２の実施形態でサーバ装置９が実行した方法と同様である。
【0190】
〔ハードウェア構成〕
第３の実施形態におけるハードウェア構成については、上述したように、第１の実施形態及び第２の実施形態とそれぞれ差異はあるが、新たな構成はないため、詳細な説明を省略する。
第３の実施形態におけるハードウェア構成については、上述したように、第１の実施形態及び第２の実施形態とそれぞれ差異はあるが、新たな構成はないため、詳細な説明を省略する。
【0191】
〔機能構成〕
図１４は、第３の実施形態に係る命令転送システムを構成する各装置の機能ブロックの一例を示す図である。第３の実施形態では、スマートスピーカ２に係る機能構成が、第１の実施形態及び第２の実施形態との比較において差異部分が生じている。そこで、機能構成についても、第１の実施形態及び第２の実施形態との差異部分であるスピーカ２の機能構成について説明する。
図１４は、第３の実施形態に係る命令転送システムを構成する各装置の機能ブロックの一例を示す図である。第３の実施形態では、スマートスピーカ２に係る機能構成が、第１の実施形態及び第２の実施形態との比較において差異部分が生じている。そこで、機能構成についても、第１の実施形態及び第２の実施形態との差異部分であるスピーカ２の機能構成について説明する。
【0192】
＜スマートスピーカの機能構成＞
スマートスピーカ２のＣＰＵ２０１は、ＲＯＭ２０３等の記憶部２０００に記憶された命令情報変換プログラムをＲＡＭ２０２に展開して実行する。ＣＰＵ２０１は、この命令情報変換プログラムを実行することで、例えば、送受信部２１、取得部２２、フィードバック部２３、変換部２４、転送部２５及び記憶・読出処理部２９として機能又は機能する手段を構成する。
スマートスピーカ２のＣＰＵ２０１は、ＲＯＭ２０３等の記憶部２０００に記憶された命令情報変換プログラムをＲＡＭ２０２に展開して実行する。ＣＰＵ２０１は、この命令情報変換プログラムを実行することで、例えば、送受信部２１、取得部２２、フィードバック部２３、変換部２４、転送部２５及び記憶・読出処理部２９として機能又は機能する手段を構成する。
【0193】
<スマートスピーカの各機能構成>
次に、スマートスピーカ２の各機能構成について説明する。送受信部２１、取得部２２、フィードバック部２３及び記憶・読出処理部２９は、第１の実施形態及び第２の実施形態で説明したスマートスピーカ２の送受信部２１、取得部２２、フィードバック部２３及び記憶・読出処理部２９とそれぞれ同様であるため、詳細な説明を省略する。
次に、スマートスピーカ２の各機能構成について説明する。送受信部２１、取得部２２、フィードバック部２３及び記憶・読出処理部２９は、第１の実施形態及び第２の実施形態で説明したスマートスピーカ２の送受信部２１、取得部２２、フィードバック部２３及び記憶・読出処理部２９とそれぞれ同様であるため、詳細な説明を省略する。
【0194】
ここで、変換部２４及び転送部２５は、上述したＭＦＰ６の変換部６２及び転送部６４、又はサーバ装置９の変換部９２及び転送部９５とそれぞれ同様の機能を備えるため、ここでは詳細の説明を省略する。
【0195】
＜命令転送システムの処理の概要＞
図１５は、第３の実施形態に係るユーザの音声操作に基づく処理の一例を示すシーケンス図である。第３の実施形態では、ＡＩアシスタントサーバ装置４からスマートスピーカ２に対して第１の命令を送信した後、スマートスピーカ２で受信した第１の命令をＭＦＰ８が実行可能な第２の命令に変換し、第２の命令をＭＦＰ８に転送する処理について説明する。具体的には、第３の実施形態では、ユーザの音声操作によって得られた出力命令を示す印刷指示に基づいて、音声認識サーバ装置３とＡＩアシスタントサーバ装置４とが協働して構成したクラウドサービス装置５から命令転送装置の一例であるスマートスピーカ２に対して第１の命令情報を送信し、スマートスピーカ２において、命令実行装置の一例であるＭＦＰ８（以下、ＭＦＰ＿＃２）で実行可能な命令を示す第２の命令情報に変換してＭＦＰ＿＃２に転送し、ＭＦＰ＿＃２で印刷処理を行う場合を例示する。なお、本実施形態においては、所定の通信プロトコルによって、少なくともスマートスピーカ２、音声認識サーバ装置３及びＡＩアシスタントサーバ装置４との間の通信が確立しているものとする。
図１５は、第３の実施形態に係るユーザの音声操作に基づく処理の一例を示すシーケンス図である。第３の実施形態では、ＡＩアシスタントサーバ装置４からスマートスピーカ２に対して第１の命令を送信した後、スマートスピーカ２で受信した第１の命令をＭＦＰ８が実行可能な第２の命令に変換し、第２の命令をＭＦＰ８に転送する処理について説明する。具体的には、第３の実施形態では、ユーザの音声操作によって得られた出力命令を示す印刷指示に基づいて、音声認識サーバ装置３とＡＩアシスタントサーバ装置４とが協働して構成したクラウドサービス装置５から命令転送装置の一例であるスマートスピーカ２に対して第１の命令情報を送信し、スマートスピーカ２において、命令実行装置の一例であるＭＦＰ８（以下、ＭＦＰ＿＃２）で実行可能な命令を示す第２の命令情報に変換してＭＦＰ＿＃２に転送し、ＭＦＰ＿＃２で印刷処理を行う場合を例示する。なお、本実施形態においては、所定の通信プロトコルによって、少なくともスマートスピーカ２、音声認識サーバ装置３及びＡＩアシスタントサーバ装置４との間の通信が確立しているものとする。
【0196】
上述したような特徴により、命令転送装置の一例であるスマートスピーカ２は、ユーザが行った音声操作に基づいて生成された第１の命令情報を命令実行装置の一例であるＭＦＰ＿＃２の状態に応じて第２の命令情報に変換し、変換した第２の命令情報をＭＦＰ＿＃２に転送することで、ＭＦＰ＿＃２は、ユーザが行った音声操作に基づく印刷処理を実行することができるようになる。
【0197】
以下に、図１５の各シーケンス図における処理を示す。但し、図１５のステップＳ１０１～Ｓ１１０までの処理は、図８に示されている第１の実施形態及び図１２に示されている第２の実施形態に係るユーザの音声操作に基づく処理の一例を示すシーケンス図のステップＳ１０１～Ｓ１１０の処理と同様のため、詳細な説明を省略する。
【0198】
さらに、第３の実施形態では、スマートスピーカ２がステップＳ１０１及びＳ１０２で音声非対応のＭＦＰ８に対して、ＭＦＰ８が受信及び実行可能な命令を示す第２の命令情報に変換するだけであるため、第１の実施形態で行ったステップＳ１１１の詳細な処理は不要となる。なお、スマートスピーカ２から第２の命令情報が転送される命令実行装置が複数存在する場合は、転送部２５は、クラウドサービス装置５から送信される宛先情報を参照して、その宛先を示す命令実行装置が受信及び実行可能な命令情報に変換した命令情報を転送する。
【0199】
続いて、ステップＳ１１２～Ｓ１１７までの処理において、ステップＳ１１３及びステップＳ１１４の処理の送信先が、第１及び第２の実施形態との対比においてスマートスピーカ２に送信される点が異なるのみである。そこで、詳細な説明を省略する。
【0200】
〔本実施形態の主な効果〕
以上説明したように第３の実施形態によれば、スマートスピーカ２は、クラウドサービス装置５から送信された、ユーザの音声指示に基づいて変換された所定の命令を示す命令情報に対して、以下の処理を実行する。すなわち、クラウドサービス装置５の送信制御部４５は、ユーザが所定の命令を実行させたい音声操作に対応しないＭＦＰ＿＃２（命令実行装置）が受信不可能で且つ音声操作に対応するサーバ装置９（命令転送装置）が受信可能な所定の命令を示す命令情報と、転送先として判断したＭＦＰ＿＃２（命令実行装置）への宛先を示す特定の宛先情報をサーバ装置９（命令転送装置）に送信する（ステップＳ１１３）。これにより、スマートスピーカ２（命令転送装置）は、音声指示に基づいて変換された所定の命令情報をＭＦＰ＿＃２（命令実行装置）に転送することが可能となり、その結果、ユーザは、音声指示に対応しないＭＦＰ＿＃２（命令実行装置）において所定の処理を行わせることが可能となる。
以上説明したように第３の実施形態によれば、スマートスピーカ２は、クラウドサービス装置５から送信された、ユーザの音声指示に基づいて変換された所定の命令を示す命令情報に対して、以下の処理を実行する。すなわち、クラウドサービス装置５の送信制御部４５は、ユーザが所定の命令を実行させたい音声操作に対応しないＭＦＰ＿＃２（命令実行装置）が受信不可能で且つ音声操作に対応するサーバ装置９（命令転送装置）が受信可能な所定の命令を示す命令情報と、転送先として判断したＭＦＰ＿＃２（命令実行装置）への宛先を示す特定の宛先情報をサーバ装置９（命令転送装置）に送信する（ステップＳ１１３）。これにより、スマートスピーカ２（命令転送装置）は、音声指示に基づいて変換された所定の命令情報をＭＦＰ＿＃２（命令実行装置）に転送することが可能となり、その結果、ユーザは、音声指示に対応しないＭＦＰ＿＃２（命令実行装置）において所定の処理を行わせることが可能となる。
【0201】
さらに、第３の実施形態によれば、クラウドサービス装置５の送信制御部４５から送信されたユーザの音声指示に基づいて変換された所定の命令を示す命令情報を音声操作に対応しないＭＦＰ＿＃２（命令実行装置）が受信可能な命令を示す命令情報に変換してＭＦＰ＿＃２に転送する機能を持つため、第１の実施形態で使用されるＭＦＰ６（ＭＦＰ＿＃１）や、第２の実施形態で使用されるサーバ装置９などの比較的高価な資産を用いることなく低価格なシステムで同様の効果を得ることができるという効果を奏する。
【0202】
〔補足〕
上述した各実施形態によれば、音声による指示だけで所望の命令を実行することが可能になるため、従来のようなタッチパネル２７等のＧＵＩ（Graphical User Interface）による操作を不要とすることができる。このため、操作に慣れているユーザであっても、さらに正確かつ簡単な入力操作を可能とすることができる。また、対話等による操作サポートによって、例えば、複雑なネットワーク設定、高度な処理の設定又は新規アプリの導入等が不要となる。その結果、高齢者又は機械操作に不慣れなユーザ等であっても、ユーザが希望する操作を正確かつ簡単に実行可能とすることができ、利便性が向上する。さらに、操作性の向上が期待できる。
上述した各実施形態によれば、音声による指示だけで所望の命令を実行することが可能になるため、従来のようなタッチパネル２７等のＧＵＩ（Graphical User Interface）による操作を不要とすることができる。このため、操作に慣れているユーザであっても、さらに正確かつ簡単な入力操作を可能とすることができる。また、対話等による操作サポートによって、例えば、複雑なネットワーク設定、高度な処理の設定又は新規アプリの導入等が不要となる。その結果、高齢者又は機械操作に不慣れなユーザ等であっても、ユーザが希望する操作を正確かつ簡単に実行可能とすることができ、利便性が向上する。さらに、操作性の向上が期待できる。
【0203】
また、スマートスピーカ２を一例とする音声取得装置は、マイク機能、撮像（撮影）機能、スピーカ機能、表示機能、操作機能及び通信機能等を備えた装置であれば、スマートスピーカに限られない。音声取得装置は、例えば、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ、デスクトップＰＣ又はイヤホン型の送受信装置であってもよい。このイヤホン型の送受信装置とは、例えば、ユーザの耳に装着された状態で発話したユーザ自身の音声を受信（取得）し、受信した音声を音声データに変換して所定のサーバ装置に送信し、所定のサーバ装置からフィードバック結果等を受信（取得）する機能を備えた通信装置をいう。
【0204】
さらに、ＭＦＰ６及びＭＦＰ８を一例とする命令転送装置及び命令実行装置は、通信機能を備え、入力（受信）したデータに所定の処理を行い出力（送信）することが可能な装置であれば画像形成装置（ＭＦＰ）に限られない。つまり、命令転送装置は、例えば、ＰＪ（Projector：プロジェクタ）、ＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）、デジタルサイネージ等の電子機器であってもよい。さらに、命令転送装置は、ＨＵＤ（Head Up Display）装置、産業機械、（撮影）装置、集音装置、医療機器、ネットワーク家電、自動車（Connected Car）、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット通信端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。
【0205】
上述した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサ、上述した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）及び従来の回路モジュール等のデバイスを含むものとする。
【0206】
最後に、上述の実施形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。これらの各実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置換え、変更を行うことも可能である。例えば、上述の第１の実施形態の説明では、音声認識サーバ装置３がユーザにより与えられた発話等に対応するテキストデータを生成し、生成したテキストデータに基づいて、ＡＩアシスタントサーバ装置４がユーザの意図している操作を解釈して各種出力命令に変換した。しかし、スマートスピーカ２に、画像認識機能、音声認識機能及び解釈機能を設け、スマートスピーカ２で、ユーザのジェスチャ操作及び音声操作から意図する指示内容を解釈してもよい。これにより、音声認識サーバ装置３及びＡＩアシスタントサーバ装置４を不要とすることができ、システム構成を簡素化することができる。
【0207】
このような各実施形態及び各実施形態の変形は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0208】
２ スマートスピーカ又は通信端末（音声取得装置の一例、命令転送装置の一例）
４ ＡＩアシスタントサーバ装置（命令送信装置の一例）
５ クラウドサービス装置（命令送信システムの一例）
６ ＭＦＰ（命令転送装置の一例）
８ ＭＦＰ（命令実行装置の一例）
９ サーバ装置（命令転送装置の一例）
１５ 音声応答システム
２２ 取得部（データ取得手段の一例）
３２ 取得部（データ取得手段の一例）
４１ 送受信部（受信手段、送信手段の一例）
４２ 取得部（受信手段の一例）
４３ 変換部
６１ 送受信部（送信手段の一例）
６２ 変換部（変換手段の一例）
４ ＡＩアシスタントサーバ装置（命令送信装置の一例）
５ クラウドサービス装置（命令送信システムの一例）
６ ＭＦＰ（命令転送装置の一例）
８ ＭＦＰ（命令実行装置の一例）
９ サーバ装置（命令転送装置の一例）
１５ 音声応答システム
２２ 取得部（データ取得手段の一例）
３２ 取得部（データ取得手段の一例）
４１ 送受信部（受信手段、送信手段の一例）
４２ 取得部（受信手段の一例）
４３ 変換部
６１ 送受信部（送信手段の一例）
６２ 変換部（変換手段の一例）
【先行技術文献】
【特許文献】
【0209】
【文献】特開２００３－０５１８８７号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
