(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-01
(45)【発行日】2024-11-12
(54)【発明の名称】情報処理装置、情報処理システム、制御方法、並びにプログラム
(51)【国際特許分類】
G06F 3/16 20060101AFI20241105BHJP
G10L 15/22 20060101ALI20241105BHJP
G03G 21/00 20060101ALI20241105BHJP
B41J 29/38 20060101ALI20241105BHJP
【ＦＩ】
G06F3/16 540
G10L15/22 200V
G06F3/16 610
G03G21/00 390
B41J29/38
【請求項の数】
8
(21)【出願番号】P 2020106388
(22)【出願日】2020-06-19
(65)【公開番号】P2022001997
(43)【公開日】2022-01-06
【審査請求日】2023-06-06
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100125254
【弁理士】
【氏名又は名称】別役 重尚
(72)【発明者】
【氏名】笠原 良介
【審査官】田川 泰宏
(56)【参考文献】
【文献】特開２０１１－０１４９９６（ＪＰ，Ａ）
【文献】特開２００６－０６５５２０（ＪＰ，Ａ）
【文献】特開２０１９－０９６２９５（ＪＰ，Ａ）
【文献】特開２０１４－２１５９２７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０１７７７４６（ＵＳ，Ａ１）
【文献】特開２０１９－２００４７２（ＪＰ，Ａ）
【文献】特開２０１８－０４７６４３（ＪＰ，Ａ）
【文献】特開２０１５－０７９４３２（ＪＰ，Ａ）
【文献】特開２０２０－０８７３７７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／１６
Ｇ１０Ｌ １５／２２
Ｇ０３Ｇ ２１／００
Ｂ４１Ｊ ２９／３８
(57)【特許請求の範囲】
【請求項1】
スマートスピーカと連携する情報処理装置であって、ユーザの識別情報を取得する第１の取得手段と、
前記取得した識別情報に紐づく言語情報と、国情報と、を取得する第２の取得手段と、
前記取得した言語情報から１つの言語を特定し、特定された前記言語のうち前記国情報に対応する前記言語を特定する特定手段と、
前記スマートスピーカの音声設定を前記特定手段により特定された前記国情報に対応する前記言語に設定するよう前記スマートスピーカに対し要求する要求手段と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記音声設定には、音量設定が少なくとも含まれることを特徴とする請求項１記載の情報処理装置。
【請求項3】
ユーザが操作可能な操作パネルをさらに有し、前記第２の取得手段が取得した前記言語情報に基づいて、前記操作パネルに表示される言語を変更する、ことを特徴とする請求項１または２に記載の情報処理装置。
【請求項4】
前記第１の取得手段は、前記ユーザの識別情報を近距離無線通信によって取得する、ことを特徴とする請求項１乃至３の何れか一項に記載の情報処理装置。
【請求項5】
情報処理装置と、スマートスピーカと、スマートスピーカの設定を管理するサーバとが連携する情報処理システムであって、前記情報処理装置は、
ユーザの識別情報を取得する第１の取得手段と、
前記取得した識別情報に紐づく言語情報と、国情報と、を取得する第２の取得手段と、
前記取得した言語情報から１つの言語を特定し、特定された前記言語のうち前記国情報に対応する前記言語を特定する特定手段と、
前記スマートスピーカの音声設定を前記特定手段により特定された前記国情報に対応する前記言語に設定するよう前記サーバに要求する第１の要求手段とを備え、
前記サーバは、
前記第１の要求手段による要求に基づいて前記スマートスピーカに対し音声設定の変更を要求する第２の要求手段を備え、
前記スマートスピーカは、
前記第２の要求手段による要求に基づいて自機の音声設定を変更する変更手段を備えることを特徴とする情報処理システム。
【請求項6】
スマートスピーカと連携する情報処理装置の制御方法であって、ユーザの識別情報を取得する第１の取得ステップと、
前記取得した識別情報に紐づく言語情報と、国情報と、を取得する第２の取得ステップと、
前記取得した言語情報から１つの言語を特定し、特定された前記言語のうち前記国情報に対応する前記言語を特定する特定ステップと、
前記スマートスピーカの音声設定を前記特定ステップにおいて特定された前記国情報に対応する前記言語に設定するよう前記スマートスピーカに対し要求する要求ステップと、
を有することを特徴とする制御方法。
【請求項7】
情報処理装置と、スマートスピーカと、スマートスピーカの設定を管理するサーバとが連携する情報処理システムの制御方法であって、前記情報処理装置において、
ユーザの識別情報を取得する第１の取得ステップと、
前記取得した識別情報に紐づく言語情報と、国情報と、を取得する第２の取得ステップと、
前記取得した言語情報から１つの言語を特定し、特定された前記言語のうち前記国情報に対応する前記言語を特定する特定ステップと、
前記スマートスピーカの音声設定を前記特定ステップにおいて特定された前記国情報に対応する前記言語に設定するよう前記サーバに要求する第１の要求ステップとを実行し、
前記サーバにおいて、
前記第１の要求ステップにおける要求に基づいて前記スマートスピーカに対し音声設定の変更を要求する第２の要求ステップを実行し、
前記スマートスピーカにおいて、
前記第２の要求ステップにおける要求に基づいて自機の音声設定を変更する変更ステップを実行することを特徴とする制御方法。
【請求項8】
請求項６又は７記載の制御方法を実行することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理システム、制御方法、並びにプログラムに関し、特に、音声による操作が可能なスマートスピーカと連携する情報処理装置、これらを含む情報処理システム、制御方法、並びにプログラムに関する。
【背景技術】
【0002】
スマートスピーカと連携するプリンタ等の事務機器が普及してきている（例えば、特許文献１参照）。
【0003】
このようなスマートスピーカを快適に使いこなすには、スマートスピーカの設定を適切に調節することが望ましい。その一方、これと連携する事務機器は、オフィス内に置かれる場合、様々なユーザによって利用される。そのため、連携機能を利用するユーザによって、スマートスピーカの快適な操作環境は人によって異なる。例えば、ユーザがスマートスピーカに発話する際の言語、およびスマートスピーカがユーザに対する発話に用いるべき言語は、ユーザによって異なる。そのため、利用ユーザ毎に適切にスマートスピーカの設定をおこなうことが望ましい。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１９－１８３９４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、異なるユーザがスマートスピーカの利用を開始する毎に、そのユーザの指示で設定を変更するのは手間である。
【0006】
そこで、本発明の目的は、ユーザにとって聞き取りやすいスマートスピーカの音声設定とすることができる情報処理装置、情報処理システム、制御方法、並びにプログラムを提供することである。
【課題を解決するための手段】
【0007】
本発明の請求項１に係る情報処理装置は、スマートスピーカと連携する情報処理装置であって、ユーザの識別情報を取得する第１の取得手段と、前記取得した識別情報に紐づく言語情報と、国情報と、を取得する第２の取得手段と、前記取得した言語情報から１つの言語を特定し、特定された前記言語のうち前記国情報に対応する前記言語を特定する特定手段と、前記スマートスピーカの音声設定を前記特定手段により特定された前記国情報に対応する前記言語に設定するよう前記スマートスピーカに対し要求する要求手段と、を備えることを特徴とする。
【0008】
本発明の請求項５に係る情報処理システムは、情報処理装置と、スマートスピーカと、スマートスピーカの設定を管理するサーバとが連携する情報処理システムであって、前記情報処理装置は、ユーザの識別情報を取得する第１の取得手段と、前記取得した識別情報に紐づく言語情報と、国情報と、を取得する第２の取得手段と、前記取得した言語情報から１つの言語を特定し、特定された前記言語のうち前記国情報に対応する前記言語を特定する特定手段と、前記スマートスピーカの音声設定を前記特定手段により特定された前記国情報に対応する前記言語に設定するよう前記サーバに要求する第１の要求手段とを備え、前記サーバは、前記第１の要求手段による要求に基づいて前記スマートスピーカに対し音声設定の変更を要求する第２の要求手段を備え、前記スマートスピーカは、前記第２の要求手段による要求に基づいて自機の音声設定を変更する変更手段を備えることを特徴とする。
【発明の効果】
【0009】
本発明によれば、ユーザにとって聞き取りやすいスマートスピーカの音声設定とすることができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態に係る情報処理システム全体構成の一例を示す図である。
【図5】ＭＦＰのデバイス制御プログラムの機能構成を示すブロック図である。
【図6】スマートスピーカの音声デバイス制御プログラムの機能構成を示すブロック図である。
【図7】クラウドサーバの音声データ変換制御プログラムの機能構成を示すブロック図である。
【図8】情報処理システムにおいて実行される実施例１に係るユーザログイン時の制御シーケンスである。
【図14】情報処理システムにおいて実行される実施例２に係るユーザログイン時の制御シーケンスである。
【図15】情報処理システムにおいて実行される実施例２に係るジョブ実行時の制御シーケンスである。
【図19】ＭＦＰにおいてユーザ認証が成功した場合に実行される、ステップＳ９１０での操作パネルのホーム画面の表示切替を示す図である。
【図20】ＭＦＰ内で保持されるログインユーザ情報テーブルを示す図である。
【図21】ＭＦＰ内で保持される国設定テーブル、ロケールコードテーブル、ロケールコードルックアップテーブル、音量設定テーブル、及び音量設定ルックアップテーブルを示す図である。
【図22】ＭＦＰからクラウドサーバに送信される音声制御情報の例を示す図である。
【図23】クラウドサーバからスマートスピーカに送信される音声デバイス制御情報の例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について図面を用いて説明する。
【0012】
＜全体構成＞
図１は、本発明の実施形態に係る情報処理システム１００の全体構成の一例を示す図である。
図１は、本発明の実施形態に係る情報処理システム１００の全体構成の一例を示す図である。
【0013】
図１において、情報処理システム１００は、情報処理装置として、プリントやスキャン機能を有する複合機（以下、ＭＦＰという）１０１、音声制御装置としてスマートスピーカ１０２、及びクラウドサーバ１０３を含む。ＭＦＰ１０１及びスマートスピーカ１０２は、ネットワーク１０４を介して通信可能である。また、クラウドサーバ１０３は、ゲートウェイ１０５及びネットワーク１０４を介して、ＭＦＰ１０１及びスマートスピーカ１０２と通信可能である。
【0014】
情報処理システム１００において、クラウドサーバ１０３は、例えば「ジョブ実行」「ジョブ設定」といったスマートスピーカ１０２からＭＦＰ１０１を操作するためのサービスを保持する。また、クラウドサーバ１０３は、スマートスピーカ１０２からネットワーク１０４を介して所定の音声データを受信する。
【0015】
クラウドサーバ１０３は音声データを受信すると、音声データに対応したサービスを実行し、ネットワーク１０４を介してそのサービスが生成したデバイス操作データをＭＦＰ１０１に送信する。
【0016】
ＭＦＰ１０１はクラウドサーバ１０３よりデバイス操作データを受信すると、デバイス操作データに対応した処理を実行する。ＭＦＰ１０１は、ネットワーク１０４を介してクラウドサーバ１０３に実行した処理の応答を送信する。
【0017】
クラウドサーバ１０３はＭＦＰ１０１より実行した処理の応答を受信すると、応答メッセージデータを生成してネットワーク１０４を介してスマートスピーカ１０２に送信する。
【0018】
スマートスピーカ１０２はクラウドサーバ１０３より応答メッセージデータを受信すると、応答メッセージデータに対応した音声を発声する。
【0019】
ＭＦＰ１０１は、ＭＦＰ他装置データ１０７及びＭＦＰ自装置データ１０６等の情報を保持する。
【0020】
ＭＦＰ他装置データ１０７は、サービスを利用するユーザのアカウント情報や、各サービスの結果をクラウドサーバ１０３に通知するための応答通知用ＵＲＬ情報等から成る。
【0021】
ＭＦＰ自装置データ１０６は、ＭＦＰ１０１にネットワーク経由でアクセスするためのＩＰアドレスやＭＡＣアドレス等から成る。
【0022】
スマートスピーカ１０２は、スマートスピーカ他装置データ１０９及びスマートスピーカ自装置データ１０８等の情報を保持する。
【0023】
スマートスピーカ他装置データ１０９は、サービスを利用するアカウント情報、サービス起動ワード、サービス起動ワードに対応するクラウドサーバ１０３のサービスＵＲＬ等から成る。
【0024】
スマートスピーカ自装置データ１０８は、スマートスピーカ１０２にネットワーク経由でアクセスするためのＩＰアドレスやＭＡＣアドレス等から成る。
【0025】
クラウドサーバ１０３は、ＭＦＰ１０１、スマートスピーカ１０２がサービスをネットワーク経由でクラウドサーバ１０３のサービスを利用するためのサービスＵＲＬ情報を保持する。
【0026】
クラウドサーバ１０３は、クラウドサーバ自装置データ１１０及びクラウドサーバ他装置データ１１１等の情報を保持する。
【0027】
クラウドサーバ自装置データ１１０は、ＭＦＰ１０１が各サービスの結果をクラウドサーバ１０３に通知するための応答通知用ＵＲＬ情報から成る。
【0028】
クラウドサーバ他装置データ１１１は、サービスを利用するユーザのアカウント、情報処理システム１００において利用するＭＦＰ１０１、スマートスピーカ１０２のＩＰアドレス及びＭＡＣアドレス等から成る。
【0029】
クラウドサーバ１０３は、クラウドサーバ他装置データ１１１に保持されているＩＰアドレス、ＭＡＣアドレスを利用してＭＦＰ１０１、スマートスピーカ１０２と通信を行う。
【0030】
ネットワーク１０４は、スマートスピーカ１０２で取得した音声データを、クラウドサーバ１０３へ送信する。また、ネットワーク１０４は、クラウドサーバ１０３からスマートスピーカ１０２に各種データを送信し、クラウドサーバ１０３からプリントジョブやスキャンジョブなどの各種データを送受信する。
【0031】
ゲートウェイ１０５は、例えば、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮルータなどである。ただし、他の無線通信方式に従って動作する能力を有してもよい。また、無線ＬＡＮルータではなく、１０ＢＡＳＥ－Ｔ、１００ＢＡＳＥ－Ｔ、１２００ＢＡＳＥ－Ｔなどに代表されるＥｔｈｅｒｎｅｔ規格に準拠した有線ＬＡＮルータなどであってもよく、他の有線通信方式に従って動作する能力を有してもよい。尚、前記ＩＥＥＥ８０２．１１規格シリーズとは、ＩＥＥＥ８０２．１１ａやＩＥＥＥ８０２．１１ｂ等のように、ＩＥＥＥ８０２．１１に属する一連の規格を含む。
【0032】
尚、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【0033】
＜ＭＦＰの構成＞
図２は、ＭＦＰ１０１のハードウェアの概略構成例を示すブロック図である。
図２は、ＭＦＰ１０１のハードウェアの概略構成例を示すブロック図である。
【0034】
図２において、ＭＦＰ１０１は、コントローラ部２００、これに接続する操作パネル２０９、プリントエンジン２１１、スキャナ２１３、及びカードリーダ２１４を備える。
【0035】
コントローラ部２００は、ＣＰＵ２０２、ＲＡＭ２０３、ＲＯＭ２０４、ストレージ２０５、ネットワークＩ／Ｆ２０６、ディスプレイコントローラ２０７、操作Ｉ／Ｆ２０８、プリントコントローラ２１０、及びスキャンコントローラ２１２を備える。各構成は、システムバス２０１に接続されており、互いに通信可能である。
【0036】
ＣＰＵ２０２は、ＭＦＰ１０１全体の動作を制御する。ＣＰＵ２０２は、ＲＯＭ２０４またはストレージ２０５に記憶された制御プログラムを読み出して、読取制御や印刷制御などの各種制御を行う。
【0037】
ＲＡＭ２０３は、揮発性メモリであり、ＣＰＵ２０２の主記憶メモリ及びワークエリアや、ＲＯＭ２０４に記憶された各種制御プログラムを展開するための一時記憶領域として用いられる。
【0038】
ＲＯＭ２０４は、不揮発性メモリであり、ＣＰＵ２０２で実行可能な制御プログラムを記憶する。
【0039】
ストレージ２０５は、ＲＡＭ２０３と比較して大容量な記憶デバイス（例えばハードディスクドライブ：ＨＤＤ）であり、印刷データ、画像データ、各種プログラム、及び各種設定情報（ＭＦＰ他装置データ１０７及びＭＦＰ自装置データ１０６等）を記憶する。尚、ストレージ２０５はソリッドステートドライブ（ＳＳＤ）などでもよく、ハードディスクドライブと同等の機能を有する他の記憶装置に置き換えてもよい。
【0040】
尚、本実施形態のＭＦＰ１０１では、１つのＣＰＵ２０２が１つのメモリ（ＲＡＭ２０３）を用いて後述するフローチャートに示す各処理を実行するものとするが、他の様態であっても構わない。例えば複数のＣＰＵ、ＲＡＭ、ＲＯＭ、及びストレージを協働させて後述するフローチャートに示す各処理を実行することもできる。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路を用いて一部の処理を実行するようにしてもよい。
【0041】
ネットワークＩ／Ｆ２０６は、ネットワーク１０４を介してＭＦＰ１０１を外部の装置と通信させるためのインタフェースである。また、ＭＦＰ１０１は、ネットワークＩ／Ｆ２０６を介して受信した印刷データを、ストレージ２０５又はＲＯＭ２０４に記憶された印刷データを解析するためのソフトウェアモジュール（ＰＤＬ解析部、不図示）によって解析する。ＰＤＬ解析部は、様々な種類のページ記述言語（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）で表現された印刷データに基づいてプリントエンジン２１１で印刷するためのデータを生成する。
【0042】
ディスプレイコントローラ２０７は、操作パネル２０９とカードリーダ２１４と接続される。操作Ｉ／Ｆ２０８によって制御された画面を操作パネル２０９に表示し、ユーザが操作パネル２０９を操作すると、ＣＰＵ２０２はディスプレイコントローラ２０７を介してユーザ操作に対応したイベントを取得する。
【0043】
操作パネル２０９は、タッチパネルにより構成され、操作Ｉ／Ｆ２０８によって制御された画面を表示すると共に、その画面へのユーザ入力を検知する。
【0044】
プリントコントローラ２１０は、プリントエンジン２１１と接続される。印刷すべき画像データはプリントコントローラ２１０を介してプリントエンジン２１１に転送される。プリントエンジン２１１は制御コマンド及び印刷すべき画像データを受信し、この画像データに基づいた画像をシート上に形成する。プリントエンジン２１１の印刷方式は、電子写真方式であってもよいし、インクジェット方式であってもよい。電子写真方式の場合は、感光体上に静電潜像を形成した後トナーにより現像し、そのトナー像をシートに転写し、転写されたトナー像を定着することにより画像を形成する。一方、インクジェット方式の場合は、インクを吐出してシートに画像を形成する。
【0045】
スキャンコントローラ２１２は、スキャナ２１３と接続される。スキャナ２１３はシート上の画像を読み取って、画像データを生成する。スキャナ２１３によって生成された画像データはストレージ２０５に記憶される。また、ＭＦＰ１０１では、スキャナ２１３により生成された画像データをプリントエンジン２１１に転送することでシート上に画像を形成することができる。スキャナ２１３は、原稿フィーダ（不図示）を有しており、原稿フィーダに載置されたシートを１枚ずつ搬送させながら読み取ることが可能である。
【0046】
カードリーダ２１４は、ユーザによりその近傍にスマートカードが近づけられた際、スマートカードから情報を読み取ってユーザ認証を行う。カードリーダ２１４でユーザ認証が成功すると、ユーザはＭＦＰ１０１においてコピー、プリント、スキャンといった複数の機能を利用することが可能となる。
【0047】
＜スマートスピーカの構成＞
図３は、スマートスピーカ１０２のハードウェア構成例を示すブロック図である。
図３は、スマートスピーカ１０２のハードウェア構成例を示すブロック図である。
【0048】
図３において、スマートスピーカ１０２は、コントローラ部３００と、これに付随するデバイスとして、音声入力デバイスとしてのマイクロフォン３０８、音声出力デバイスとしてのスピーカ３１０、及び通知デバイスとしてのＬＥＤ３１２とを備える。
【0049】
コントローラ部３００は、ＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、ストレージ３０５、ネットワークＩ／Ｆ３０６、マイクＩ／Ｆ３０７、オーディオコントローラ３０９、および表示コントローラ３１１を含む。各構成は、システムバス３０１に接続されており、互いに通信可能である。
【0050】
ＣＰＵ３０２はコントローラ部３００全体の動作を制御する中央演算装置である。
【0051】
ＲＡＭ３０３は、揮発性メモリであり、ＣＰＵ３０２の主記憶メモリ及びワークエリアや、ストレージ３０５に記憶された各種制御プログラムを展開するための一時記憶領域として用いられる。
【0052】
ＲＯＭ３０４は、不揮発性メモリであり、ＣＰＵ３０２の起動用プログラムが格納されている。
【0053】
ストレージ３０５は、ＲＡＭ３０３と比較して大容量な記憶デバイス（例えばＳＤカード）である。ストレージ３０５にはコントローラ部３００が実行する、スマートスピーカ１０２の制御用プログラムが格納されている。尚、ストレージ３０５はＳＤカード以外のフラッシュＲＯＭなどに置き換えてもよく、ＳＤカードと同等の機能を有する他の記憶デバイスに置き換えてもよい。
【0054】
ＣＰＵ３０２は電源ＯＮ等の起動時、ＲＯＭ３０４に格納されている起動用プログラムを実行する。この起動用プログラムを実行することにより、ＣＰＵ３０２は、ストレージ３０５に格納されている制御用プログラムを読み出し、ＲＡＭ３０３上に展開する。ＣＰＵ３０２は起動用プログラムを実行すると、続けてＲＡＭ３０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ３０２は制御用プログラム実行時に用いるデータもＲＡＭ３０３上に格納して読み書きを行う。ストレージ３０５上にはさらに、制御用プログラム実行時に必要な各種設定などを格納することができ、ＣＰＵ３０２によって読み書きされる。
【0055】
ネットワークＩ／Ｆ３０６は、ネットワーク１０４を介してスマートスピーカ１０２を外部の装置と通信させるためのインタフェースである。ネットワークＩ／Ｆ３０６は、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線通信方式に従って通信を行うための回路やアンテナを含んで構成される。ただし、無線通信方式でなくＥｔｈｅｒｎｅｔ規格に準拠した有線通信方式であってもよく、無線通信方式に限定するものではない。
【0056】
マイクＩ／Ｆ３０７は、マイクロフォン３０８に接続され、マイクロフォン３０８から入力されたユーザが発した音声を、符号化された音声データに変換し、ＣＰＵ３０２の指示に応じてＲＡＭ３０３に保持する。
【0057】
マイクロフォン３０８は、本実施形態においては、スマートフォンなどに搭載される小型のＭＥＭＳマイクロフォンであるが、ユーザの音声を取得できるものであれば他のデバイスに置き換えてもよい。また、マイクロフォン３０８は、ユーザが発した音声の到来方向を算出できるように、３個以上を所定の位置に配して用いることが好ましい。ただし、マイクロフォン３０８が１個であっても本実施形態に係る情報処理システム１００は実現でき、３個以上にこだわるものではない。
【0058】
オーディオコントローラ３０９は、スピーカ３１０に接続され、ＣＰＵ３０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ３１０を通じて音声を出力する。
【0059】
スピーカ３１０は、ユーザが発した音声に対してスマートスピーカ１０２が応答していることを示す応答音、及び、クラウドサーバ１０３によって合成された音声を再生する。スピーカ３１０は音声を再生するための汎用のデバイスである。
【0060】
表示コントローラ３１１は、ＬＥＤ３１２に接続され、ＣＰＵ３０２の指示に応じてＬＥＤ３１２の表示を制御する。ここでは、表示コントローラ３１１は、スマートスピーカ１０２がユーザの音声を正しく入力していることを示すためのＬＥＤ３１２の点灯制御を主に行う。ＬＥＤ３１２は、例えば、ユーザが可視可能な青色などのＬＥＤである。ＬＥＤ３１２は汎用のデバイスである。尚、スマートスピーカ１０２において、ＬＥＤ３１２の代わりに、文字や絵を表示可能なディスプレイ装置を用いてもよい。
【0061】
＜クラウドサーバのハードウェア構成＞
図４は、クラウドサーバ１０３のコントローラ部４００のハードウェアの概略構成例を示すブロック図である。
図４は、クラウドサーバ１０３のコントローラ部４００のハードウェアの概略構成例を示すブロック図である。
【0062】
図４に示すように、コントローラ部４００は、ＣＰＵ４０２、ＲＡＭ４０３、ＲＯＭ４０４、ストレージ４０５、ネットワークＩ／Ｆ４０６を含む。各構成は、システムバス４０１に接続されており、互いに通信可能である。
【0063】
ＣＰＵ４０２は、コントローラ部４００全体の動作を制御する中央演算装置である。
【0064】
ＲＡＭ４０３は、揮発性メモリである。
【0065】
ＲＯＭ４０４は、不揮発性メモリであり、ＣＰＵ４０２の起動用プログラムが格納されている。
【0066】
ストレージ４０５は、ＲＡＭ４０３と比較して大容量な記憶装置（例えばハードディスクドライブ：ＨＤＤ）である。ストレージ４０５にはコントローラ部４００が実行する、クラウドサーバ１０３の制御用プログラムが格納されている。尚、ストレージ４０５はソリッドステートドライブ（ＳＳＤ）などでもよく、ハードディスクドライブと同等の機能を有する他の記憶装置に置き換えてもよい。
【0067】
ＣＰＵ４０２は電源ＯＮ等の起動時、ＲＯＭ４０４に格納されている起動用プログラムを実行する。この起動用プログラムを実行することにより、ＣＰＵ４０２は、ストレージ４０５に格納されている制御用プログラムを読み出し、ＲＡＭ４０３上に展開する。ＣＰＵ４０２は起動用プログラムを実行すると、続けてＲＡＭ４０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ４０２は制御用プログラム実行時に用いるデータもＲＡＭ４０３上に格納して読み書きを行う。ストレージ４０５上にはさらに、制御用プログラム実行時に必要な各種設定を格納することができ、ＣＰＵ４０２によって読み書きされる。
【0068】
ネットワークＩ／Ｆ４０６は、ネットワーク１０４を介してクラウドサーバ１０３を外部の装置と通信させるためのインタフェースである。
【0069】
＜ＭＦＰのデバイス制御プログラムの機能構成＞
図５は、ＭＦＰ１０１のデバイス制御プログラム５００の機能構成を示すブロック図である。
図５は、ＭＦＰ１０１のデバイス制御プログラム５００の機能構成を示すブロック図である。
【0070】
デバイス制御プログラム５００は、前述したＲＯＭ２０４に格納される制御プログラムの１つであり、ＣＰＵ２０２がその起動時にＲＡＭ２０３上に展開して実行する。
【0071】
図５に示すように、デバイス制御プログラム５００は、データ送受信部５０１、データ解析部５０２、ジョブ制御部５０３、データ管理部５０４、表示部５０５、操作対象判定部５０６、スキャン部５０７、及びプリンタ部５０８を備える。
【0072】
データ送受信部５０１は、ネットワークＩ／Ｆ２０６を介して、ネットワーク１０４に直接又は間接的に接続するスマートスピーカ１０２及びクラウドサーバ１０３とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部５０１は、クラウドサーバ１０３が生成するデバイス操作データを受信する。また、データ送受信部５０１は、ジョブ実行結果、デバイス操作結果の応答の画面表示内容が更新されたことを示す画面更新通知、及び、ジョブの状態を示すジョブ実行状態通知をクラウドサーバ１０３へ送信する。画面更新通知やジョブ実行状態通知の内容に関しては図８、図１４のシーケンスを用いて後述する。
【0073】
データ解析部５０２は、データ送受信部５０１が受信したデバイス操作データや操作対象判定部５０６から受信したジョブパラメータ及びジョブ開始指示をデバイス制御プログラム５００内の各モジュールが通信するコマンドに変換する。その後、データ解析部５０２は、その変換後のコマンドをジョブ制御部５０３、データ管理部５０４、及び表示部５０５のうちの少なくとも１つの対応するデバイスに送信する。
【0074】
ジョブ制御部５０３は、プリンタ部５０８に対し、プリントコントローラ２１０を介したプリントエンジン２１１の制御指示を行うと共に、スキャン部５０７に対し、スキャンコントローラ２１２を介したスキャナ２１３の制御指示を行う。例えば、表示部５０５が操作パネル２０９にコピー機能画面を表示中に、操作対象判定部５０６がその画面中のスタートキーの押下を検知した場合、データ解析部５０２は操作対象判定部５０６からコピージョブのジョブパラメータとジョブ開始指示を受信する。データ解析部５０２は、受信したジョブパラメータからスキャンジョブパラメータを含むスキャンコマンド及びプリンタジョブパラメータを含むプリントコマンドを生成する。その後、データ解析部５０２は、生成したスキャンコマンドをスキャン部５０７へ送信し、プリントコマンドをプリンタ部５０８へ送信する。これにより、スキャナ２１３によって読取られた画像データをプリントエンジン２１１でシートに印刷するよう制御する。尚、スキャン、及び、プリント制御の仕組みについては、主旨ではないため、これ以上の説明は割愛する。
【0075】
データ管理部５０４は、デバイス制御プログラム５００の実行において生成した作業データや、各デバイス制御に必要な設定パラメータ（ＭＦＰ設定情報）など様々なデータをＲＡＭ２０３およびストレージ２０５上の所定の領域へ保存し、管理する。例えば、後述するジョブ制御部５０３で生成する各種ジョブのパラメータ設定項目及びその設定値の組み合わせから成るジョブデータや、操作パネル２０９に表示する言語の情報である表示言語設定情報などがデータ管理部５０４で保存・管理される。また、データ管理部５０４は、ゲートウェイ１０５との通信に必要な認証情報、クラウドサーバ１０３と通信するために必要なデバイス情報などを保存し、管理する。データ管理部５０４は、また、ＭＦＰ１０１で画像形成する対象の画像データを保存し、管理する。また、データ管理部５０４は、表示部５０５が画面表示制御に用いる画面制御情報と、操作対象判定部５０６が操作対象を判定するために用いる操作対象判定情報とを、表示部５０５が表示制御する操作パネル２０９の画面ごとに管理する。
【0076】
さらに、データ管理部５０４は、ログインユーザ情報テーブル２００１及びユーザログインフラグを保持し管理する。ここで、ログインユーザ情報テーブル２００１は、図２０に示すように、ユーザの識別ＩＤ（識別情報）、ユーザ名、ユーザの使用言語情報、及びユーザの利用機能制限情報が含まれるユーザ毎のレコード情報のリストからなる。尚、ログインユーザ情報テーブル２００１には、ユーザ毎にスマートスピーカ１０２の喋るスピード（早い～遅い）、性別（男性、女性、無性）、音声の高低（高い～低い）、キャラクター（子供、老人、ロボット）等のスマートスピーカ情報を含んでもよい。またデータ管理部５０４は、図２１の国設定テーブル２１０１、ロケールコードテーブル２１０２、ロケールコードルックアップテーブル２１０３も保持し、管理する。尚、国設定テーブル２１０１は、その中の１つの国が選択された状態でＲＡＭ２０３に保存される。
【0077】
また、データ管理部５０４は、音量設定テーブル２１０４及び音量設定ルックアップテーブル２１０５をＲＡＭ２０３に保持し、管理する。
【0078】
表示部５０５は、ディスプレイコントローラ２０７を介して、操作パネル２０９の制御を行う。より具体的には、ユーザが操作可能なＵＩ部品（ボタン、プルダウンリスト、チェックボックスなど）を操作パネル２０９に表示する。表示部５０５は、操作パネル２０９の画面をデータ管理部５０４に保存されている画面表示制御情報及び言語設定に基づいて更新する。具体的には、この画面更新の際、データ管理部５０４に保存されている言語設定に対応する言語辞書をストレージ２０５から取得し、その言語辞書を元にしたテキストデータからなる画面に操作パネル２０９の画面が更新される。
【0079】
操作対象判定部５０６は、操作Ｉ／Ｆ２０８を介して、操作パネル２０９上のタッチされた座標を取得し、その座標に位置するＵＩ部品をユーザが現在操作している対象として判定する。また、ユーザの持つスマートカードがカードリーダ２１４の通信可能エリア内に入った場合、そのスマートカードをユーザが現在操作している対象として判定する。
【0080】
さらに、操作対象判定部５０６は、操作対象として判定したＵＩ部品に対応する画面表示制御情報を読み出し、当該情報に基づいて操作受付時の処理内容を決定する。例えば、操作対象判定部５０６は、表示部５０５に対して操作パネル２０９の画面の表示内容の更新指示を出したり、ユーザ操作により設定されたジョブのパラメータおよび当該ジョブの開始指示をデータ解析部５０２に送信したりする。
【0081】
スキャン部５０７は、ジョブ制御部５０３から送信されたスキャンジョブパラメータ設定に基づいて、スキャンコントローラ２１２を介してスキャナ２１３でスキャンを実行し、読み取った画像データをデータ管理部５０４に保存する。
【0082】
プリンタ部５０８は、ジョブ制御部５０３から送信されたプリントジョブパラメータ設定に基づいて、プリントコントローラ２１０を介してプリントエンジン２１１で印刷を実行する。
【0083】
＜スマートスピーカの音声デバイス制御プログラムの機能構成＞
図６は、スマートスピーカ１０２の音声デバイス制御プログラム６００の機能構成を示すブロック図である。
図６は、スマートスピーカ１０２の音声デバイス制御プログラム６００の機能構成を示すブロック図である。
【0084】
音声デバイス制御プログラム６００は、前述したストレージ３０５に格納される制御プログラムの１つであり、ＣＰＵ３０２がスマートスピーカ１０２の起動時にＲＡＭ３０３上に展開して実行する。
【0085】
図６に示すように、音声デバイス制御プログラム６００は、データ送受信部６０１、データ管理部６０２、音声制御部６０３、音声取得部６０４、音声再生部６０５、表示部６０６、音声操作開始検知部６０７、及び発話終了判定部６０８を備える。
【0086】
データ送受信部６０１は、ネットワークＩ／Ｆ３０６を介して、ネットワーク１０４に直接又は間接的に接続するＭＦＰ１０１及びクラウドサーバ１０３とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部６０１は、音声取得部６０４で取得されたユーザの発した音声データをクラウドサーバ１０３に送信し、また、ユーザへの応答となる、クラウドサーバ１０３上で生成される音声合成データをクラウドサーバ１０３から受信する。
【0087】
データ管理部６０２は、音声デバイス制御プログラム６００の実行において生成した作業データなど様々なデータをストレージ３０５上の所定の領域へ保存し、管理する。ここでデータ管理部６０２で保存・管理されるデータには、音声再生部６０５で再生する音声の音量設定データや、ゲートウェイ１０５との通信に必要な認証情報が含まれる。さらにデータ管理部６０２は、ＭＦＰ１０１、及び、クラウドサーバ１０３と通信するために必要な各デバイス情報などを保存し、管理する。
【0088】
音声取得部６０４は、マイクロフォン３０８で取得されるスマートスピーカ１０２の近辺にいるユーザのアナログ音声を、音声データに変換した後、ＲＡＭ３０３上に一時保存する。音声取得部６０４は、ユーザのアナログ音声は、例えば、ＭＰ３などの所定のフォーマットにおいて変換した後、クラウドサーバ１０３に送信するための符号化された音声データとしＲＡＭ３０３上に一時的に保存する。音声取得部６０４の処理開始及びその終了のタイミングは音声制御部６０３によって管理される。また、音声データの符号化は汎用のストリーミング用フォーマットでもよい。この場合、音声取得部６０４は符号化された音声データを順次、データ送受信部６０１に送信し、ＭＦＰ１０１及びクラウドサーバ１０３の少なくとも一方にその音声データを送信するようにしてもよい。
【0089】
音声再生部６０５は、データ送受信部６０１が受信した音声合成データ（音声メッセージ）を、オーディオコントローラ３０９を介してスピーカ３１０で再生する。音声再生部６０５の音声再生のタイミングは音声制御部６０３によって管理される。
【0090】
表示部６０６は、表示コントローラ３１１を介して、ＬＥＤ３１２の表示を行う。例えば、音声操作開始検知部６０７で音声操作が開始したことを検知した場合にＬＥＤ３１２を点灯制御する。表示部６０６の表示のタイミングは音声制御部６０３によって管理される。
【0091】
音声操作開始検知部６０７は、ユーザの発したウェイクワード、または、スマートスピーカ１０２の操作開始キー（不図示）の押下を検知し、音声制御部６０３へ操作開始通知を送信する。ここで、ウェイクワードとは、予め決められている音声ワードである。音声操作開始検知部６０７は、マイクロフォン３０８で取得されるスマートスピーカ１０２の近辺にいるユーザのアナログ音声から、常時ウェイクワードを検知する。ユーザはウェイクワードを話し、続いて自身が行いたいことを話すことでＭＦＰ１０１の操作を行うことができる。音声操作開始検知部６０７がウェイクワードを検知してからの音声処理については後述する。
【0092】
発話終了判定部６０８は、音声取得部６０４での処理の終了タイミングを判定する。例えば、音声取得部６０４でユーザのアナログ音声が取得された後、ユーザの発話が無い時間（以降、空白時間と呼ぶ）が所定時間（例えば３秒）となったときにユーザの発話が終了したと判定し、音声制御部６０３へ発話終了通知を送信する。尚、終了タイミングの判定は、空白時間に基づいて行う他、ユーザが発した所定の語句に基づいて行ってもよい。例えば、「はい」、「いいえ」、「ＯＫ」、「キャンセル」、「終了」、「スタート」、「開始」などをその所定の語句に予め設定しておくことができる。これにより、かかる所定の語句のいずれかがユーザにより発せられた場合は、空白時間が所定時間を経過する前にユーザの発話が終了したと判定してもよい。また、終了タイミングの判定は、スマートスピーカ１０２ではなく、クラウドサーバ１０３で行うようにしてもよく、ユーザの発話内容の意味や文脈から発話の終了を判定するようにしてもよい。
【0093】
音声制御部６０３は、音声デバイス制御プログラム６００における制御の中心であり、音声デバイス制御プログラム６００内の他の各モジュールが相互に連携して動作するよう制御する。具体的には、音声取得部６０４、音声再生部６０５、表示部６０６の処理開始・終了の制御を行う。また、音声取得部６０４で音声データが取得された後、音声データをデータ送受信部６０１でクラウドサーバ１０３へ送信するよう制御する。また、クラウドサーバ１０３からの音声合成データをデータ送受信部６０１で受信後、音声再生部６０５で音声合成データを再生するよう制御する。
【0094】
ここで、音声取得部６０４、音声再生部６０５、表示部６０６の処理開始・終了のタイミングについて述べる。
【0095】
音声制御部６０３は、音声操作開始検知部６０７からの操作開始通知を受信すると、音声取得部６０４の処理を開始する。また、発話終了判定部６０８からの発話終了通知を受信すると、音声取得部６０４の処理を終了する。
【0096】
例えば、ユーザがウェイクワードを発話し、続いて「コピーしたい」と発話したとする。このとき、音声操作開始検知部６０７が、ウェイクワードのアナログ音声を検知し、音声制御部６０３に操作開始通知を送信する。音声制御部６０３は、操作開始通知を受信すると、音声取得部６０４に処理を開始させ、ユーザとの対話セッションを開始する。これにより処理を開始した音声取得部６０４は、ユーザが発声した「コピーしたい」というアナログ音声を取得し、音声データへ変換した後その変換後の音声データをＲＡＭ３０３上に一時保存する。
【0097】
その後、発話終了判定部６０８が、音声取得部６０４が「コピーしたい」というアナログ音声を取得した後の空白時間が所定時間となったと判定すると、発話終了通知を音声制御部６０３に送信する。音声制御部６０３は、発話終了通知を受信すると、音声取得部６０４に処理を終了させる。以下、音声制御部６０３が音声取得部６０４に処理を開始させてから終了させるまでのスマートスピーカ１０２の状態を発話処理状態と呼ぶ。音声制御部６０３は、発話処理状態中にＬＥＤ３１２を点灯表示させるよう表示部６０６を制御する。
【0098】
音声制御部６０３は、発話終了判定部６０８より発話終了通知を受信すると、音声取得部６０４がＲＡＭ２０２上に一時保存された音声データをデータ送受信部６０１でクラウドサーバ１０３へ送信する。その後、データ送受信部６０１がクラウドサーバ１０３からの応答メッセージを受信するのを待つ。ここでクラウドサーバ１０３からの応答メッセージには、例えば、応答であることを示すヘッダ部と、音声合成データとが含まれる。音声制御部６０３は、データ送受信部６０１でクラウドサーバ１０３からの応答メッセージを受信すると、音声再生部６０５で応答メッセージに含まれる音声合成データ（例えば「コピー画面を表示します」）を再生する。その後、音声制御部６０３は、データ送受信部６０１でクラウドサーバ１０３から応答メッセージと同時に対話セッション終了通知を受信すると、音声再生部６０５で応答メッセージに含まれる音声合成データ（例えば「コピーを終了しました」）を再生する。また受信した対話セッション終了通知に応じて、音声制御部６０３は、ユーザとの対話セッションを終了する。尚、音声制御部６０３が、発話終了判定部６０８からの発話終了通知を受信してから、クラウドサーバ１０３から対話セッション終了通知を受信するまでの状態を応答処理状態と呼ぶ。音声制御部６０３は、応答処理状態中にＬＥＤ３１２を点滅表示させるよう表示部６０６を制御する。
【0099】
応答処理状態の終了後も、ユーザとの対話セッションが継続している間は、ユーザは再度ウェイクワードを発話せずとも、「コピーしたい」と発話した後に続けてＭＦＰ１０１においてユーザが行いたいことを発話することができる。尚、対話セッションの終了は、クラウドサーバ１０３が判定して、スマートスピーカ１０２に対話セッション終了通知を送信する。音声制御部６０３は、クラウドサーバ１０３から対話セッション終了通知が送信されると、ユーザとの対話セッションを終了するようデータ送受信部６０１を制御する。以下、音声制御部６０３がデータ送受信部６０１に対話セッションを終了させてから次の対話セッションを開始させるまでのスマートスピーカ１０２の状態を待機状態と呼ぶ。また、スマートスピーカ１０２の起動後、音声制御部６０３が音声操作開始検知部６０７からの操作開始通知を受信するまでは、常時待機状態である。音声制御部６０３は、待機状態の間、ＬＥＤ３１２を消灯させるよう表示部６０６を制御する。
【0100】
＜クラウドサーバの音声データ変換制御プログラムの機能構成＞
図７は、クラウドサーバ１０３の音声データ変換制御プログラム７００の機能構成を示すブロック図である。
図７は、クラウドサーバ１０３の音声データ変換制御プログラム７００の機能構成を示すブロック図である。
【0101】
音声データ変換制御プログラム７００は、前述したストレージ４０５に格納される制御プログラムの１つであり、ＣＰＵ４０２がクラウドサーバ１０３の起動時にＲＡＭ４０３上に展開して実行する。
【0102】
図７に示すように、音声データ変換制御プログラム７００は、データ送受信部７０１、データ管理部７０２、デバイス操作データ生成部７０３、及び音声データ変換部７１０を備える。また音声データ変換部７１０は、音声認識部７０５、形態素解析部７０６、グループＩＤ判定部７０７、及び音声合成部７０８を備える。
【0103】
データ送受信部７０１は、ネットワークＩ／Ｆ４０６及びクラウドサーバ１０３の外部のゲートウェイ１０５を介して、ネットワーク１０４に接続するＭＦＰ１０１及びスマートスピーカ１０２とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部７０１は、スマートスピーカ１０２からユーザの音声データを受信する。また、データ送受信部７０１は、グループＩＤ判定部７０７で判定されたグループＩＤや音声認識部７０５で音声認識処理して生成されるテキストデータを送信する。
【0104】
データ管理部７０２は、音声データ変換制御プログラム７００の実行において生成した作業データや、音声データ変換部７１０で用いられる音声認識処理用データなど様々なデータをストレージ４０５上の所定の領域へ保存し、管理する。尚、データ管理部７０２で保存・管理される音声認識処理用データには、音声認識部７０５での音声データのテキスト変換用の音響モデルや言語モデルや、形態素解析部７０６でのテキストの形態素解析用の辞書が含まれる。また、グループＩＤ判定部７０７でのグループＩＤの判定用のグループＩＤリストや、音声合成部７０８での音声合成用の音声データベースも、データ管理部７０２で管理される音声認識処理用データに含まれる。さらにデータ管理部７０２は、スマートスピーカ１０２、及び、ＭＦＰ１０１と通信するために必要な各デバイス情報などを保存し、管理する。
【0105】
音声認識部７０５は、データ送受信部７０１よりユーザの音声データが入力されると、その音声データをテキストに変換するための音声認識処理を行う。音声認識処理は、音響モデルを用いてユーザの音声データを音素に変換し、さらに言語モデルを用いて音素を実際のテキストデータに変換する。尚、本実施形態においては、ユーザの音声データの言語は複数存在してよい。そのため、音声認識部７０５は、入力された音声データの言語を判定して、その判定された言語に沿ったテキストデータに変換する第一の音声認識方式を用いても良い。また、音声認識部７０５は、入力された音声データを複数の言語の音響モデルを用いて音素に変換し、夫々の音響モデルに対応する言語モデルを用いて、複数の言語ごとのテキストデータに変換して出力する第二の音声認識方式を用いても良い。第二の音声認識方式の場合、複数の言語形式で入力された音声データをテキストデータに変換するため、音声認識部７０５は音声認識処理の結果として、テキストデータとその言語形式から成る複数の音声認識データを出力する。以下、本実施形態においては第二の音声認識方式が用いられる場合について説明する。
【0106】
本実施例では、音声認識部７０５は、入力された音声データを、日本語及び英語の２つの言語形式で音声認識する。この結果、１つ以上のカナから構成されるテキストデータと言語設定「日本語」から成る音声認識データと、１つ以上のアルファベットから構成されるテキストデータと言語設定「英語」から成る音声認識データとが、音声認識部７０５より出力する。
【0107】
但し、音声データがテキストに変換されるのであれば、音声認識部７０５で用いられる音声認識処理はこれに限定されない。音声認識処理の詳細は主旨ではないため、これ以上の説明は割愛する。
【0108】
形態素解析部７０６は、音声認識部７０５から出力された音声認識データに含まれるテキストデータを、その言語設定に沿って形態素解析する。具体的には、形態素解析部７０６は、言語設定の文法や、品詞などの情報をもつ辞書からテキストデータに含まれる形態素列を導出し、さらに各形態素の品詞などを判別する。形態素解析部７０６は、例えば、ＪＵＭＡＮ、茶筒、ＭｅＣａｂ等の公知の形態素解析ソフトウェアを用いて実現することができる。
【0109】
形態素解析ソフトウェアに関しては公知の技術であるため、ここでの詳細な記載は行わない。
【0110】
【0111】
本処理は、情報処理システム１００を構成するＭＦＰ１０１、スマートスピーカ１０２、クラウドサーバ１０３間でのデータのやり取りにより実行される。より具体的には、ＭＦＰ１０１にユーザがログインする認証動作時にＭＦＰ１０１が内部に保持する設定情報をクラウドサーバ１０３およびスマートスピーカ１０２に通知することで、それぞれの設定が変更される。
【0112】
図８で示すシーケンスの例では、ＭＦＰ１０１、クラウドサーバ１０３、スマートスピーカ１０２は互いに通信可能な状態である。また、ＭＦＰ１０１は初期設定を完了し、電源ＯＮの起動後にコピー、スキャン、プリントといった機能を呼び出し可能なホーム画面を標準言語設定で表示している状態である。ここで、本実施例の標準言語設定は日本語である。
【0113】
以下、ＭＦＰ１０１を実行主体とする動作は、実際は図５を用いて上述したデバイス制御プログラム５００をＣＰＵ２０２が実行することにより行われる。また、スマートスピーカ１０２を実行主体とする動作は、実際は図６を用いて上述した音声デバイス制御プログラム６００をＣＰＵ３０２が実行することにより行われる。同様に、クラウドサーバ１０３を実行主体とする動作は、実際は図７を用いて上述した音声データ変換制御プログラム７００をＣＰＵ４０２が実行することにより行われる。
【0114】
まず、ステップＳ８０１では、ＭＦＰ１０１は、ユーザよりログイン操作を受け付ける（第１の取得手段）。本実施例では、ログイン操作とは、スマートカードをカードリーダ２１４に近づけるユーザ操作を指すが、これに限定されない。例えば、ユーザ名およびパスワード、個人識別番号（ＰＩＮ）、もしくはユーザと関連付けられた他の情報を操作パネル２０９に入力するユーザ操作がログイン操作であってもよい。
【0115】
ステップＳ８０２では、まず、ＭＦＰ１０１は、ステップＳ８０１で受け付けたログイン操作に応じてログイン処理を行う。その結果、ユーザの認証に成功すると、次にＭＦＰ１０１は、音声制御情報を取得する（第２の取得手段）。ここで、音声制御情報とは、ストレージ２０５に保持している情報から、認証に成功したユーザのユーザ情報や、ＭＦＰ１０１で保持しているＭＦＰ設定情報のうちクラウドサーバ１０３やスマートスピーカ１０２へ通知する情報からなる。また、ＭＦＰ１０１は、取得したユーザ情報にユーザの使用言語が含まれる場合、操作パネル２０９の表示言語をユーザの使用言語へと変更することで、スマートスピーカ１０２の音声設定の変更をクラウドサーバ１０３に要求する（第１の要求手段）。
【0116】
ステップＳ８０３では、ＭＦＰ１０１は、ステップＳ８０２で取得した音声制御情報を、ネットワークＩ／Ｆ４０７を通してクラウドサーバ１０３に送信する。ステップＳ８０１～Ｓ８０３の処理の詳細は図９を用いて後述する。
【0117】
ステップＳ８０４では、クラウドサーバ１０３は、データ送受信部７０１でステップＳ８０３において送信された音声制御情報を受信すると、その音声制御情報に応じて音声データ処理に関する設定値（以下、音声デバイス制御情報という）を変更する。ステップＳ８０４の処理の詳細は図１２のフローチャートを用いて後述する。
【0118】
ステップＳ８０５では、クラウドサーバ１０３は、ステップＳ８０４で変更された音声デバイス制御情報をデータ送受信部７０１でスマートスピーカ１０２に送信する。これにより、クラウドサーバ１０３は、スマートスピーカ１０２に対して音声設定の変更を要求する（要求手段，第２の要求手段）。
【0119】
ステップＳ８０６では、スマートスピーカ１０２は、データ送受信部６０１でステップＳ８０５において送信された音声デバイス制御情報を受信すると、これに応じて音声制御部６０３のロケール設定や音量設定等の設定を変更する（変更手段）。ステップＳ８０５の処理の詳細は図１３のフローチャートを用いて後述する。
【0120】
図９は、図８のステップＳ８０１～Ｓ８０３においてＭＦＰ１０１が実行する、ログイン実行時処理のフローチャートである。以下説明する通り、ステップＳ９０１，Ｓ９０７の処理が夫々、ステップＳ８０１，Ｓ８０３の処理に該当し、図９のそれ以外のステップの処理がステップＳ８０２の処理に該当する。
【0121】
ステップＳ９０１では、ステップＳ８０１の処理を実行する。すなわち、ユーザの持つスマートカードがカードリーダ２１４の通信可能エリア内に入ると、操作対象判定部５０６がカードリーダ２１４によりそのスマートカードを検知し、ユーザ情報を取得する。次に、操作対象判定部５０６はデータ管理部５０４に保持されているログインユーザ情報テーブル２００１と、取得したユーザ情報を照合する。
【0122】
ステップＳ９０２では、データ解析部５０２は、ステップＳ９０１での照合の結果、一致する情報がある場合、データ解析部５０２はユーザの認証に成功したと判断し、ステップＳ９０３へ遷移する。そうでない場合、データ解析部５０２はユーザの認証に成功しなかったと判断し、ステップＳ９１２へ遷移する。
【0123】
ステップＳ９０３では、データ管理部５０４は、ユーザログインフラグをユーザがログイン状態であることを示すＯＮに変更し、その変更後のユーザログインフラグをＲＡＭ２０３に保存する。
【0124】
ステップＳ９０４では、データ管理部５０４は、ユーザ情報をログインユーザ情報テーブル２００１から取得する。例えば、ログインユーザが識別ＩＤが１のユーザである場合、識別ＩＤが１のレコード情報をユーザ情報としてログインユーザ情報テーブル２００１から取得し、ＲＡＭ２０３に保存する。
【0125】
ステップＳ９０５では、データ解析部５０２は、ステップＳ９０４でデータ管理部５０４が取得したユーザ情報及びＭＦＰ１０１で保持しているＭＦＰ設定情報から、ロケール情報を取得するロケール情報取得処理を実行する。ロケール情報取得処理の詳細は図１０のフローチャートを用いて後述する。データ解析部５０２は、取得したロケール情報をＲＡＭ２０３に保存する。
【0126】
ステップＳ９０６では、データ解析部５０２は、ＭＦＰ１０１で保持しているＭＦＰ設定情報から音量設定情報を取得する。音量設定情報取得処理の詳細は後述の図１１のフローチャートを用いて後述する。データ解析部５０２は、取得した音量設定情報をＲＡＭ２０３に保存する。
【0127】
ステップＳ９０７では、ステップＳ８０３の処理を実行する。すなわち、データ送受信部５０１は、ステップＳ９０３～Ｓ９０６でＲＡＭ２０３に保存された、ユーザログインフラグ、ユーザ情報、ロケール情報、及び音量設定情報を含む音声制御情報を、クラウドサーバ１０３に送信する。本実施例では、この送信の際、図２２に示すＪｓｏｎデータ方式を用いるが、かかるデータ方式に限定されない。例えばＸＭＬといったデータ方式を用いても良い。また、ログインユーザ情報テーブルにスマートスピーカ情報が含まれる場合、音声制御情報にスマートスピーカ情報を含めるようにしてもよい。
【0128】
ステップＳ９０８では、データ解析部５０２はステップＳ９０４でデータ管理部５０４が取得したユーザ情報に、使用言語情報が設定されているかを判断する。設定されている場合はステップＳ９０９へ遷移する。設定されていない場合はステップＳ９１０へと遷移する。
【0129】
ステップＳ９０９では、データ解析部５０２は、データ管理部５０４で保存・管理されている、操作パネル２０９に表示する言語の情報である表示言語設定情報を、ユーザ情報に設定されている使用言語情報に基づき変更する。
【0130】
ステップＳ９１０では、表示部５０５は、ＲＡＭ２０３の表示言語設定情報を参照し、ディスプレイコントローラ２０７を介して操作パネル２０９のホーム画面の表示を切り替え、本処理を終了する。これにより、操作パネル２０９のホーム画面の表示言語は、ログインユーザの使用言語に切り替わる。この切り替えについては図１９を用いて後述する。
【0131】
ステップＳ９１１では、表示部５０５は、ディスプレイコントローラ２０７を制御して操作パネル２０９にログインエラー発生画面を表示し、本処理を終了する。
【0132】
【0133】
ステップＳ１００１では、ユーザ情報、すなわち、データ管理部５０４がステップＳ９０４でＲＡＭ２０３に保存したレコード情報から、使用言語情報を取得する。ここでは、識別ＩＤが１のユーザがログインしている場合、ステップＳ１００１にて図２０のログインユーザ情報テーブルから識別ＩＤが１に紐づく使用言語情報として「Ｅｎ」を取得した場合について、以下説明する。
【0134】
ステップＳ１００２では、データ管理部５０４がＲＡＭ２０３に保持・管理している国設定テーブル２１０１において選択されている国設定情報を取得する。
【0135】
ステップＳ１００３では、データ解析部５０２がステップＳ１００１，Ｓ１００２で取得した使用言語情報「Ｅｎ」と国設定情報の組み合わせのロケール情報が、ＲＡＭ２０３に保持されているロケールコードテーブル２１０２にあるか否か判断する。この判断の結果、ある場合はステップＳ１００５に遷移し、ない場合はステップＳ１００４へ遷移する。例えば、ステップＳ１００２で取得した国設定情報が「アメリカ」である場合、これと使用言語情報「Ｅｎ」の組み合わせである、「ｅｎ－ＵＳ：英語（アメリカ）」がロケールコードテーブル２１０２にあると判断される。また、ステップＳ１００２で取得した国設定情報が「カナダ」である場合、これと使用言語情報「Ｅｎ」の組み合わせである、「ｅｎ－ＣＡ：英語（カナダ）」がロケールコードテーブル２１０２にあると判断される。一方、例えばステップＳ１００２で取得した国設定情報が「日本」である場合、これと使用言語情報「Ｅｎ」の組み合わせであるロケール情報はロケールコードテーブル２１０２にないと判断される。
【0136】
ステップＳ１００４では、データ解析部５０２がステップＳ１００１で取得した使用言語情報である「Ｅｎ」に対応するロケール情報が、ＲＡＭ２０３に保持されているロケールコードルックアップテーブル２１０３にあるか否かを判断する。図２１に示すように、ロケールコードルックアップテーブル２１０３には、「Ｅｎ」に対応するロケール情報「ｅｎ－ＵＳ」があるので、この場合はステップＳ１００５へと遷移する。一方、ステップＳ１００１で取得した使用言語情報がロケールコードルックアップテーブル２１０３にない場合、ステップＳ１００６へ遷移する。
【0137】
ステップＳ１００５では、データ解析部５０２がステップＳ１００３でロケールコードテーブル２１０２にあったロケール情報もしくはステップＳ１００４でロケールコードルックアップテーブル２１０３にあったロケール情報を取得する。この時、これまでにロケール設定として保持していたロケール情報をデフォルトのロケール情報としてＲＡＭ２０３へ保持し、本処理を終了する。
【0138】
ステップＳ１００６では、データ解析部５０２がデフォルトのロケール情報を取得し、本処理を終了する。
【0139】
【0140】
ステップＳ１１０１では、データ解析部５０２が、ＲＡＭ２０３に保持されている音量設定テーブル２１０４の情報を取得する。
【0141】
ステップＳ１１０２では、データ解析部５０２がＲＡＭ２０３上のカウンタｎを０に初期化する。
【0142】
ステップＳ１１０３では、データ解析部５０２が音量設定テーブル２１０４のｎ行目のレコードデータを取得する。
【0143】
ステップＳ１１０４では、データ解析部５０２が音量設定テーブル２１０４のｎ行目のレコードデータにある音量設定値をＲＡＭ２０３上に用意した音量合計値に加算する。
【0144】
ステップＳ１１０５では、データ解析部５０２がＲＡＭ２０３上のカウンタｎを１加算する。
【0145】
ステップＳ１１０６では、ｎがＮ－１である場合、データ解析部５０２は音量設定テーブル２１０４の全ての行のレコードデータの参照は終了したと判断し、ステップＳ１１０７へ遷移する。一方、ｎがＮ－１未満の場合、レコードデータの参照を継続すべく、ステップＳ１１０３へ戻る。尚、Ｎは、音量設定テーブル２１０４の全レコードデータ数（本実施例では７）である。
【0146】
このように、ステップＳ１１０３～Ｓ１１０６までの動作を繰り返し行い、すべてのレコードデータにある音量設定値を合計した音量合計値を算出する。
【0147】
ステップＳ１１０７では、データ解析部５０２は、上記算出された音量合計値をＮで割った音量平均値を算出する。
【0148】
ステップＳ１１０８では、データ解析部５０２がステップＳ１１０７で算出された音量平均値を入力値とした場合の出力値を、音量設定ルックアップテーブル２１０５から取得する。
【0149】
ステップＳ１１０９では、データ解析部５０２がステップＳ１１０８で取得した出力値を音量設定情報として取得し、本処理を終了する。
【0150】
図１１の処理によれば、図２１の音量設定テーブル２１０４にあるＭＦＰ１０１側で保持している通知音や警告音の平均値を算出し、その平均値からスマートスピーカ１０２側で必要となる音量を推測して設定する。これにより、スマートスピーカ１０２側の音量を適切に設定することができる。
【0151】
【0152】
本処理は、データ送受信部７０１が、ステップＳ９０７でデータ送受信部５０１が送信した音声制御情報をネットワークＩ／Ｆ４０６を通じて受信した際に、ＣＰＵ４０２により開始される処理である。
【0153】
ステップＳ１２０１では、音声認識部７０５がデータ送受信部７０１で受信した音声制御情報のユーザログインフラグがＯＮかＯＦＦかを確認する。確認の結果、ＯＮの場合は（ステップＳ１２０１でＹＥＳ）、ステップＳ１２０２へ遷移する一方、ＯＦＦの場合は（ステップＳ１２０１でＮＯ）、ステップＳ１２０９へ遷移する。
【0154】
ステップＳ１２０２では、音声認識部７０５がデータ送受信部７０１で受信した音声制御情報にロケール情報があるか否かを判断する。判断の結果、ある場合は（ステップＳ１２０２でＹＥＳ）、ステップＳ１２０３へ遷移する一方、無い場合は（ステップＳ１２０２でＮＯ）、ステップＳ１２０５へ遷移する。
【0155】
ステップＳ１２０３では、音声認識部７０５が、音声制御情報にあったロケール情報に基づき、ＲＡＭ４０３が保持しているロケール設定を変更する。この時、変更前のロケール設定は、標準言語設定としてＲＡＭ４０３へ保持しておく。
【0156】
ステップＳ１２０４では、データ管理部７０２が、ステップＳ１２０３で変更されたロケール設定を、スマートスピーカ１０２へ送信するデータとしてＲＡＭ４０３へ保持する。
【0157】
ステップＳ１２０５では、音声認識部７０５が、データ送受信部７０１で受信した音声制御情報に音量設定情報があるか否かを判断する。判断の結果、ある場合は（ステップＳ１２０５でＹＥＳ）、ステップＳ１２０６へ遷移する一方、無い場合は（ステップＳ１２０５でＮＯ）、ステップＳ１２０７へ遷移する。
【0158】
ステップＳ１２０６では、データ管理部７０２が、音声制御情報にあった音量設定情報に、スマートスピーカ１０２へ送信するデータとしてＲＡＭ４０３が保持している音量設定を変更する。この時、変更前の音量設定は、標準音量設定としてＲＡＭ４０３へ保持しておく。
【0159】
ステップＳ１２０７では、音声認識部７０５が、データ送受信部７０１で受信した音声制御情報のユーザ情報に利用機能制限情報があるか否かを判断する。判断の結果、ある場合は（ステップＳ１２０７でＹＥＳ）、ステップＳ１２０８へ遷移する一方、無い場合は（ステップＳ１２０７でＮＯ）、ステップＳ１２１０へ遷移する。
【0160】
ステップＳ１２０８では、データ管理部７０２が、音声制御情報にあった利用機能制限情報に基づき、ＲＡＭ４０３が保持しているジョブ種の制限設定を変更する。この時、変更前のジョブ種の制限設定は、標準ジョブ種設定としてＲＡＭ４０３へ保持しておく。その後、ステップＳ１２１０へ遷移する。
【0161】
ステップＳ１２０９では、ＲＡＭ４０３から標準言語設定及び標準音量設定を取得する。その後、取得した標準言語設定及び標準音量設定に基づき、スマートスピーカ１０２へ送信するデータとしてＲＡＭ４０３が保持しているロケール設定及び音量設定を変更し、ステップＳ１２１０へ遷移する。また、ＲＡＭ４０３に保持されている標準ジョブ種設定に、ＲＡＭ４０３が保持しているジョブ種の制限設定を変更する。
【0162】
ステップＳ１２１０では、音声認識部７０５が、ＲＡＭ４０３にスマートスピーカ１０２へ送信するデータが存在するか判断する。判断の結果、ある場合は（ステップＳ１２１０でＹＥＳ）、ステップＳ１２１１へ遷移する一方、無い場合は（ステップＳ１２１０でＮＯ）、本処理をそのまま終了する。
【0163】
ステップＳ１２１１では、データ送受信部７０１が、ＲＡＭ４０３にスマートスピーカ１０２へ送信するデータとして保持されているデータを音声デバイス制御情報としてネットワークＩ／Ｆ４０６から送信し、本処理を終了する。この時送信するデータ方式としては図２３に示したＪｓｏｎデータ方式を１つの例として示すが、これに限らずとも良い。例えばＸＭＬといった方式でも良い。
【0164】
【0165】
本処理は、データ送受信部６０１が、ステップＳ１２１１でデータ送受信部７０１が送信した音声デバイス制御情報をネットワークＩ／Ｆ３０６を通じて受信した際に、ＣＰＵ３０２により開始される処理である。
【0166】
ステップＳ１３０１では、音声制御部６０３が、データ送受信部６０１で受信した音声デバイス制御情報にロケール設定が存在するか判断する。判断の結果、ある場合は（ステップＳ１３０１でＹＥＳ）、ステップＳ１３０２へ遷移する一方、無い場合は（ステップＳ１３０１でＮＯ）、ステップＳ１３０３へ遷移する。
【0167】
ステップＳ１３０２では、音声制御部６０３が、音声デバイス制御情報のロケール設定にＲＡＭ３０３が保持しているロケール設定を変更する。
【0168】
ステップＳ１３０３では、音声制御部６０３が、データ送受信部６０１で受信した音声デバイス制御情報に音量設定が存在するか判断する。判断の結果、ある場合は（ステップＳ１３０３でＹＥＳ）、ステップＳ１３０４へ遷移する一方、無い場合は（ステップＳ１３０１でＮＯ）、本処理を終了する。
【0169】
ステップＳ１３０４では、音声制御部６０３が、音声デバイス制御情報の音量設定に、ＲＡＭ３０３が保持している音量設定を変更し、本処理を終了する。
【0170】
図１９は、ＭＦＰ１０１でユーザ認証が成功した場合に実行される、ステップＳ９１０での操作パネル２０９のホーム画面の表示切替を示す図である。
【0171】
ここでは、操作パネル２０９に標準言語設定である日本語のホーム画面１９０１が表示された状態で、ユーザがカードリーダ２１４にスマートカードを近づけた結果、ＭＦＰ１０１がそのユーザのユーザ認証に成功した場合について説明する。
【0172】
スマートカードから取得したユーザ情報に含まれる使用言語情報が「Ｅｎ」である場合、ステップＳ９０９においてＭＦＰ１０１における表示言語設定情報が英語に変更される。この場合、ステップＳ９１０において表示部５０５はディスプレイコントローラ２０７を制御し、操作パネル２０９に表示されるホーム画面１９０１を、表示言語が英語のホーム画面１９０２に切り替える。
【0173】
一方、スマートカードから取得したユーザ情報に含まれる使用言語情報が「Ｊｐ」である場合、ステップＳ９０９においてＭＦＰ１０１における表示言語設定情報が日本語に変更される。この場合、ステップＳ９１０において表示部５０５はディスプレイコントローラ２０７を制御し、操作パネル２０９に表示されるホーム画面１９０１を、表示言語が日本語のホーム画面１９０１のままとする。
【0174】
以上説明した通り、本実施例では、ログインユーザが使用する言語でスマートスピーカ１０２におけるウェイクワードの判定やクラウドサーバ１０３における音声認識を行うことが可能となるため、ユーザビリティの向上に付与する。
【0175】
＜実施例２＞
実施例１では、ＭＦＰ１０１へのログイン時のユーザ認証がＭＦＰ１０１内で実行された。これに対し本実施例では、ＭＦＰ１０１へのログイン時のユーザ認証がクラウドサーバ１０３で実行される。これにより本実施例では、従来はＭＦＰ１０１で判断していたログインユーザごとに利用可能なジョブ種類の判断をクラウドサーバ１０３上で実行可能となる。
実施例１では、ＭＦＰ１０１へのログイン時のユーザ認証がＭＦＰ１０１内で実行された。これに対し本実施例では、ＭＦＰ１０１へのログイン時のユーザ認証がクラウドサーバ１０３で実行される。これにより本実施例では、従来はＭＦＰ１０１で判断していたログインユーザごとに利用可能なジョブ種類の判断をクラウドサーバ１０３上で実行可能となる。
【0176】
＜ログイン時の制御シーケンス＞
図１４は、情報処理システム１００において実行される本実施例に係るユーザログイン時の制御シーケンスである。
図１４は、情報処理システム１００において実行される本実施例に係るユーザログイン時の制御シーケンスである。
【0177】
本処理は、情報処理システム１００を構成するＭＦＰ１０１、スマートスピーカ１０２、クラウドサーバ１０３間でのデータのやり取りにより実行される。より具体的には、ＭＦＰ１０１にユーザがログインする認証動作時にＭＦＰ１０１が内部に保持する設定情報をクラウドサーバ１０３に通知することで、その設定が変更される。
【0178】
図１４で示すシーケンスの例では、ＭＦＰ１０１、クラウドサーバ１０３は互いに通信可能な状態である。また、ＭＦＰ１０１は初期設定を完了し、電源ＯＮの起動後にコピー、スキャン、プリントといった機能を呼び出し可能なホーム画面を標準言語設定で表示している状態である。ここで、本実施例の標準言語設定は日本語である。
【0179】
実施例１と同様、以下、ＭＦＰ１０１を実行主体とする動作は、実際は図５を用いて上述したデバイス制御プログラム５００をＣＰＵ２０２が実行することにより行われる。また、スマートスピーカ１０２を実行主体とする動作は、実際は図６を用いて上述した音声デバイス制御プログラム６００をＣＰＵ３０２が実行することにより行われる。同様に、クラウドサーバ１０３を実行主体とする動作は、実際は図７を用いて上述した音声データ変換制御プログラム７００をＣＰＵ４０２が実行することにより行われる。
【0180】
まず、ステップＳ１４０１では、ＭＦＰ１０１は、ユーザよりログイン操作を受け付ける。本実施例では、ログイン操作とは、スマートカードをカードリーダ２１４に近づけるユーザ操作を指すが、これに限定されない。例えば、ユーザ名およびパスワード、個人識別番号（ＰＩＮ）、もしくはユーザと関連付けられた他の情報を操作パネル２０９に入力するユーザ操作がログイン操作であってもよい。
【0181】
ステップＳ１４０２では、まず、ＭＦＰ１０１は、ステップＳ１４０１で受け付けたログイン操作に応じてログイン処理を行う。その結果、ユーザ認証に成功すると、次にＭＦＰ１０１は、音声制御情報を取得する。ここで、音声制御情報とは、ストレージ２０５に保持している情報から、認証に成功したユーザのユーザ情報や、ＭＦＰ１０１で保持しているＭＦＰ設定情報のうちクラウドサーバ１０３やスマートスピーカ１０２へ通知する情報からなる。また、ＭＦＰ１０１は、取得したユーザ情報にユーザの使用言語が含まれる場合、操作パネル２０９の表示言語をユーザの使用言語へと変更する。
【0182】
ステップＳ１４０３では、ＭＦＰ１０１は、ステップＳ１４０２で取得した音声制御情報を、ネットワークＩ／Ｆ４０７を通してクラウドサーバ１０３に送信する。ステップＳ１４０１～Ｓ１４０３の処理の詳細は図１６を用いて後述する。
【0183】
ステップＳ１４０４では、クラウドサーバ１０３は、データ送受信部７０１でステップＳ８０３において送信された音声制御情報を受信すると、その音声制御情報に応じてスマートスピーカ１０２に対して音声操作するユーザの利用可能ジョブ種を変更する。ステップＳ１４０４の処理の詳細は図１７のフローチャートを用いて後述する。
【0184】
【0185】
＜ジョブ実行の制御シーケンス＞
図１５は、情報処理システム１００において実行される本実施例に係るジョブ実行時の制御シーケンスである。
図１５は、情報処理システム１００において実行される本実施例に係るジョブ実行時の制御シーケンスである。
【0186】
本処理は、情報処理システム１００を構成するＭＦＰ１０１、スマートスピーカ１０２、クラウドサーバ１０３間でのデータのやりとりにより実行される。より具体的には、本制御シーケンスでは、スマートスピーカ１０２がユーザから音声操作を受けると、その音声操作に応じてＭＦＰ１０１が各処理を実行し、その後スマートスピーカ１０２がその実行結果を示す応答をユーザに音声で返す。
【0187】
尚、図１５で示すシーケンスの例では、図１４のユーザログイン時の制御シーケンスが終了しており、且つスマートスピーカ１０２、ＭＦＰ１０１、クラウドサーバ１０３は互いに通信可能な状態である。さらに、ＭＦＰ１０１は、ログインユーザの使用言語でホーム画面１９０１を表示している状態である。また、スマートスピーカ１０２の音声操作開始検知部６０７は、自機の近辺にいるユーザのアナログ音声からマイクロフォン３０８で常時ウェイクワードを検知する状態である。
【0188】
まず、ステップＳ１５０１では、スマートスピーカ１０２は、ユーザによる音声操作開始指示操作を音声操作開始検知部６０７で検知する。本実施例では、音声操作開始指示操作とは、ユーザがスマートスピーカ１０２に対してウェイクワードを発声する操作を指すがこれに限定されない。例えば、スマートスピーカ１０２の操作開始キーのユーザ押下が音声操作開始指示操作であってもよい。
【0189】
ステップＳ１５０２では、スマートスピーカ１０２は、表示部６０６でスマートスピーカ１０２が発話処理状態となったことを示すべくＬＥＤ３１２を点灯させると同時に、音声取得部６０４に処理を開始させ、ユーザとの対話セッションを開始する。
【0190】
ステップＳ１５０３では、スマートスピーカ１０２は、ユーザによるジョブ実行指示の操作を音声取得部６０４（検知手段）で検知する。ここでジョブ実行指示の操作とは、発話処理状態中にユーザが情報処理システム１００でジョブを実行させるべく、例えば、「４部コピーをして」や「Ｆｏｕｒ Ｃｏｐｉｅｓ」と発声する操作を指す。音声取得部６０４（変換手段）は、ジョブ実行指示の操作のアナログ音声を取得すると、これを音声データに変換してＲＡＭ３０３上に一時保存する。その後、空白時間が所定時間経過し、発話終了判定部６０８がユーザの発話が終了したと判定した場合、ステップＳ１５０４に進む。
【0191】
ステップＳ１５０４では、スマートスピーカ１０２は、表示部６０６でスマートスピーカ１０２が応答処理状態となることを示すべくＬＥＤ３１２を点滅させると同時に音声取得部６０４に処理を終了させる。
【0192】
ステップＳ１５０５では、スマートスピーカ１０２は、データ送受信部６０１で、ステップＳ１５０３においてＲＡＭ３０３上で一時保存された音声データをクラウドサーバ１０３に送信する。
【0193】
ステップＳ１５０６では、クラウドサーバ１０３は、データ送受信部７０１で受信した音声データに基づくジョブ実行処理を開始する。
【0194】
ジョブ実行処理は、音声認識処理及び言語判定処理と、それ以降に実行されるジョブ投入処理により構成される。
【0195】
音声認識処理とは、音声認識部７０５が、データ送受信部７０１で受信した音声データから、上述した第二の音声認識方式を用いてテキストデータとその言語形式から成る複数の音声認識データを出力する処理である。
【0196】
言語判定処理とは、形態素解析部７０６（特定手段）が、音声認識処理より出力された音声認識データに含まれるテキストデータを、その言語設定に沿って形態素解析する処理である。これにより、ステップＳ１５０３のジョブ実行指示操作において、ユーザが実行を指示したジョブのジョブ種類や各種キーワードが特定される。
【0197】
ジョブ投入処理は、オペレーション判定処理、ジョブ情報生成処理、利用可能ジョブ判定処理、及びＭＦＰ１０１へのジョブ情報の送信を行う。さらにその後、ジョブ投入処理では、ＭＦＰ１０１からのジョブ実行開始通知及びジョブ実行終了通知の受信、これらの通知に応じた音声合成処理及びその音声合成データのスマートスピーカ１０２への送信を実行する。ジョブ投入処理の詳細は図１８のフローチャートを用いて後述する。
【0198】
ステップＳ１５０７では、ＭＦＰ１０１は、ステップＳ１５０６で開始したジョブ実行処理においてクラウドサーバ１０３から送信された言語設定付ジョブ情報に応じた処理を行う。
【0199】
ステップＳ１５０８では、スマートスピーカ１０２は、データ送受信部６０１で、ステップＳ１５０６で開始したジョブ実行処理においてクラウドサーバ１０３から送信された音声合成データを受信する。
【0200】
ステップＳ１５０９では、スマートスピーカ１０２は、音声再生部６０５で、ステップＳ１５０８で受信した音声合成データ（例えば「コピーを開始します」という音声合成データ）を、スピーカ３１０を通じて再生する。
【0201】
ステップＳ１５１０では、スマートスピーカ１０２は、データ送受信部６０１で、ステップＳ１５０６で開始したジョブ実行処理においてクラウドサーバ１０３から送信された音声合成データ及び対話セッション終了通知を受信する。ここで、対話セッション終了通知とは、クラウドサーバ１０３からスマートスピーカ１０２に対して、ユーザとの対話セッションを終了するよう指示する通知である。
【0202】
ステップＳ１５１１では、スマートスピーカ１０２は、音声再生部６０５で、ステップＳ１５１０で受信した音声合成データ（例えば「コピーを終了しました」という音声合成データ）を、スピーカ３１０を通じて再生する。
【0203】
ステップＳ１５１２では、スマートスピーカ１０２は、表示部６０６でスマートスピーカ１０２が応答処理状態を終了し、待機状態となることを示すべくＬＥＤ３１２を消灯させる。
【0204】
ステップＳ１５１３では、スマートスピーカ１０２は、待機状態へ移行し、ユーザとの対話セッションを終了する。
【0205】
尚、図１５のシーケンスにおいて、スマートスピーカ１０２が応答処理状態である（すなわち、ＬＥＤ３１２が点滅中である）場合であっても、音声操作開始検知部６０７はウェイクワードを検知する。これにより、ユーザは、応答処理状態にあるスマートスピーカ１０２に対してウェイクワードの発話に続いて機能呼び出し指示操作として「キャンセル」、または「中止」などと発声することで、対話セッションを強制的に終了することができる。
【0206】
図１６は、図１４のステップＳ１４０１～Ｓ１４０３においてＭＦＰ１０１が実行する、ログイン実行時処理のフローチャートである。以下説明する通り、ステップＳ１６０１，Ｓ１６０６の処理が夫々、ステップＳ１４０１，Ｓ１４０３の処理に該当し、図１６のそれ以外のステップの処理がステップＳ１４０２の処理に該当する。
【0207】
ステップＳ１６０１では、ステップＳ１４０１の処理を実行する。すなわち、ユーザの持つスマートカードがカードリーダ２１４の通信可能エリア内に入ると、操作対象判定部５０６がカードリーダ２１４によりそのスマートカードを検知し、ユーザ情報を取得する。次に、操作対象判定部５０６はデータ管理部５０４に保持されているログインユーザ情報テーブル２００１と、取得したユーザ情報を照合する。
【0208】
ステップＳ１６０２では、データ解析部５０２は、ステップＳ１６０１での照合の結果、一致する情報がある場合、データ解析部５０２はユーザの認証に成功したと判断し、ステップＳ１６０３へ遷移する。そうでない場合、データ解析部５０２はユーザの認証に成功しなかったと判断し、ステップＳ１６０７へ遷移する。
【0209】
ステップＳ１６０３では、データ管理部５０４は、ユーザログインフラグをユーザがログイン状態であることを示すＯＮに変更し、その変更後のユーザログインフラグをＲＡＭ２０３に保存する。
【0210】
ステップＳ１６０４では、データ管理部５０４は、ユーザ情報をログインユーザ情報テーブル２００１から取得する。例えば、ログインユーザが識別ＩＤが１のユーザである場合、識別ＩＤが１のレコード情報をユーザ情報としてログインユーザ情報テーブル２００１から取得し、ＲＡＭ２０３に保存する。
【0211】
ステップＳ１６０５では、データ解析部５０２は、ステップＳ１６０４でデータ管理部５０４が取得したユーザ情報からログインユーザの利用可能ジョブ種を取得する。例えば、ログインユーザが識別ＩＤが１のユーザである場合、ログインユーザの利用可能ジョブ種の情報としてＳＥＮＤ／ＰＲＩＮＴ／ＳＣＡＮ／ＦＡＸを取得し、ＲＡＭ２０３に保存する。また、データ解析部５０２は、ステップＳ９０５，Ｓ９０６と同様の処理により、ロケール情報、音量設定情報を取得し、ＲＡＭ２０３に保存する。
【0212】
ステップＳ１６０６では、ステップＳ１４０３の処理を実行する。すなわち、データ送受信部５０１は、ステップＳ１６０３，Ｓ１６０５でＲＡＭ２０３に保存された、ユーザログインフラグ、ログインユーザの利用可能ジョブ種の情報、ロケール情報、及び音量設定情報を含む音声制御情報を、クラウドサーバ１０３に送信する。その後、本処理を終了する。
【0213】
ステップＳ１６０７では、表示部５０５は、ディスプレイコントローラ２０７を制御して操作パネル２０９にログインエラー発生画面を表示し、本処理を終了する。
【0214】
【0215】
本処理は、データ送受信部７０１が、ステップＳ１６０６でデータ送受信部５０１が送信した音声制御情報をネットワークＩ／Ｆ４０６を通じて受信した際に、ＣＰＵ４０２により開始される処理である。
【0216】
ステップＳ１７０１では、音声認識部７０５がデータ送受信部７０１で受信した音声制御情報をユーザログインフラグがＯＮかＯＦＦか確認する。確認の結果、ＯＮの場合は（ステップＳ１７０１でＹＥＳ）、ステップＳ１７０２へ遷移する一方、ＯＦＦの場合は（ステップＳ１７０１でＮＯ）、ステップＳ１７０４へ遷移する。
【0217】
ステップＳ１７０２では、音声認識部７０５が、データ送受信部７０１で受信した音声制御情報にログインユーザの利用可能ジョブ種の情報があるか否かを判断する。判断の結果、ある場合は（ステップＳ１７０２でＹＥＳ）、ステップＳ１７０３へ遷移する一方、無い場合は（ステップＳ１７０２でＮＯ）、ステップＳ１７０５へ遷移する。
【0218】
ステップＳ１７０３では、データ管理部７０２が、音声制御情報にあったログインユーザの利用可能ジョブ種の情報に基づき、ＲＡＭ４０３が保持している利用可能ジョブ種の設定を変更する。この時、変更前の利用可能ジョブ種の設定は、標準ジョブ種設定としてＲＡＭ４０３へ保持し、本処理を終了する。
【0219】
ステップＳ１７０４では、ＲＡＭ４０３に保持されている標準ジョブ種設定に、ＲＡＭ４０３が保持している利用可能ジョブ種の設定を変更し、本処理を終了する。
【0220】
【0221】
本処理は、クラウドサーバ１０３が、ステップＳ１５０５でスマートスピーカ１０２からユーザからのジョブ実行指示の操作の音声データを受信し、音声認識処理でこれをテキストデータとし、言語判定処理でテキストデータを形態素解析した後に実行される。
【0222】
まず、ステップＳ１８０１で、ＣＰＵ４０２は、オペレーション判定処理を実行する。具体的には、言語判定処理での形態素解析結果に、ＲＡＭ４０３に保存されているグループＩＤリストのジョブ必須設定キーワードが揃っているかどうかを判断する。ジョブ必須設定キーワードは、ステップＳ１５０３でのジョブ実行指示の操作を行う際に必ずユーザが設定しなければならない設定を示すキーワードである。例えば、形態素解析結果にジョブ種類として「ＥＭＡＩＬＳＥＮＤ」が含まれる場合、形態素解析結果には宛先を意味するキーワード（例えば「ＣＮＦ００００４」）ジョブ必須設定キーワードがなければならない。尚、ジョブ必須設定キーワードはジョブ種類によって異なり、ジョブ必須設定キーワードが無いジョブ種類もあれば、複数のジョブ必須設定キーワードが存在するジョブ種類もあっても良い。
【0223】
ステップＳ１８０１でジョブ必須設定キーワードが揃っていると判断された場合、ステップＳ１８０２に遷移し、ＣＰＵ４０２（生成手段）は、形態素解析結果に基づきジョブ情報生成処理を実行する。この処理により、ＭＦＰ１０１がジョブを実行するためのデバイス操作データである言語設定付ジョブ情報が生成される。
【0224】
ステップＳ１８０３で、ＣＰＵ４０２は、利用可能ジョブ判定処理を実行する。具体的には、ＲＡＭ４０３が保持している利用可能ジョブ種の設定に、形態素解析結果に含まれるジョブ種類が含まれる場合、ステップＳ１８０４に遷移し、そうでない場合、ステップＳ１８０９に遷移する。
【0225】
ステップＳ１８０４で、データ送受信部７０１（送信手段）はステップＳ１８０２で生成した言語設定付ジョブ情報を、ネットワークＩ／Ｆ４０６を介してＭＦＰ１０１に送信する。ＭＦＰ１０１はこの言語設定付ジョブ情報を受信すると、図１５のステップＳ１５０７の処理を開始する。
【0226】
ステップＳ１８０５で、データ送受信部７０１はネットワークＩ／Ｆ４０６を介してＭＦＰ１０１からのジョブ終了通知の受信を待ち、この受信があったときにステップＳ１８０６に遷移する。尚、図１８においては不図示だが、データ送受信部７０１がＭＦＰ１０１からジョブ実行開始通知を受信した場合、ＣＰＵ４０２は、ジョブ開始通知に対応したテキストメッセージであるジョブ開始音声を生成してスマートスピーカ１０２に送信してもよい。ジョブ開始音声の例として、「ジョブが開始しました」が挙げられる。
【0227】
ステップＳ１８０６でジョブ終了通知を受信すると、ＣＰＵ４０２は受信したジョブ終了通知に対応したジョブ終了音声メッセージを生成し、ＲＡＭ４０３上の音声データにセットする。ここで、ジョブ終了通知がジョブが正常に終了した旨の通知である場合は、「ジョブが終了しました」という音声メッセージがジョブ終了音声メッセージとして生成される。一方、ジョブ終了通知がＭＦＰ１０１で用紙Ｊａｍやエラーが発生した旨の通知である場合は、「エラー終了しました」という音声メッセージがジョブ終了音声メッセージとして生成される。
【0228】
ステップＳ１８０７で、データ送受信部７０１はネットワークＩ／Ｆ４０６を介して、ＲＡＭ４０３上にセットされた音声データをスマートスピーカ１０２に送信し、本処理を終了する。ここで、ＲＡＭ４０３上にセットされた音声データとは、ステップＳ１８０６又は後述のステップＳ１８０８，Ｓ１８０９のうちのいずれかにおいてＲＡＭ４０３上にセットされた音声データを指す。
【0229】
ステップＳ１８０１でジョブ必須設定キーワードが揃っていないと判断された場合、ステップＳ１８０８に遷移する。ステップＳ１８０８では、ＣＰＵ４０２はジョブ必須設定キーワードの入力を促すためのテキストメッセージであるジョブ設定誘導音声メッセージを生成し、ＲＡＭ４０３上の音声データにセットする。ジョブ設定誘導音声メッセージの一例として、ユーザがＥＭＡＩＬＳＥＮＤを指定した状態で宛先が指定されていない場合に、「送信先の宛先を入力してください」が挙げられる。
【0230】
ステップＳ１８０３でログインユーザが利用可能なジョブ種類ではないと判断された場合、ステップＳ１８０９に遷移する。ステップＳ１８０９では、ＣＰＵ４０２はジョブ利用が不可であることを通知するテキストメッセージであるジョブ利用不可音声メッセージを生成し、ＲＡＭ４０３上の音声データにセットする。ジョブ利用不可音声メッセージの一例として、ユーザが利用不可となっているＳＥＮＤを指定した状態で宛先が指定されていない場合に、「その機能は利用できません」が挙げられる。
【0231】
以上説明した通り、ログインユーザごとに利用可能なジョブ種類の判定をクラウドサーバ１０３で行うことが可能となる。
【0232】
尚、本実施形態に係る情報処理システム１００においては、ＭＦＰ１０１とクラウドサーバ１０３は別装置としたが、一体化された情報処理装置であってもよい。
【0233】
また、本実施形態に係る情報処理システム１００においては、クラウドサーバ１０３がスマートスピーカ１０２の設定を管理したが、クラウド上ではないサーバがスマートスピーカ１０２の設定を管理してもよい。
【0234】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶（格納）した記録媒体は本発明を構成することになる。
本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶（格納）した記録媒体は本発明を構成することになる。
【符号の説明】
【0235】
１００ 情報処理システム
１０１ ＭＦＰ
１０２ スマートスピーカ
１０３ クラウドサーバ
１０４ ネットワーク
１０５ ゲートウェイ
２１４ カードリーダ
５００ デバイス制御プログラム
６００ 音声デバイス制御プログラム
７００ 音声データ変換制御プログラム
１０１ ＭＦＰ
１０２ スマートスピーカ
１０３ クラウドサーバ
１０４ ネットワーク
１０５ ゲートウェイ
２１４ カードリーダ
５００ デバイス制御プログラム
６００ 音声デバイス制御プログラム
７００ 音声データ変換制御プログラム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】