特許 7404974 情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-18

(45)【発行日】2023-12-26

(54)【発明の名称】情報処理装置及びプログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20231219BHJP

   G06F 3/01 20060101ALI20231219BHJP

   B41J 29/38 20060101ALI20231219BHJP

   H04N 1/00 20060101ALI20231219BHJP

   G10L 15/10 20060101ALI20231219BHJP

【ＦＩ】

G06F3/16 650

G06F3/01 510

B41J29/38 202

H04N1/00 350

H04N1/00 127A

G10L15/10 200W

【請求項の数】 6

(21)【出願番号】P 2020062809

(22)【出願日】2020-03-31

(65)【公開番号】P2021163074

(43)【公開日】2021-10-11

【審査請求日】2023-02-21

(73)【特許権者】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】110000992

【氏名又は名称】弁理士法人ネクスト

(72)【発明者】

【氏名】楠本 直毅

【審査官】宇佐田 健二

(56)【参考文献】

【文献】国際公開第２０１９／２０７９００（ＷＯ，Ａ１）

【文献】国際公開第２０１９／０１３３１６（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０２３７０８５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１，３／１６

Ｂ４１Ｊ ２９／３８

Ｈ０４Ｎ １／００

Ｇ１０Ｌ １５／１０

(57)【特許請求の範囲】

【請求項1】

通信インタフェースと、
記憶装置と、
制御装置と、
を備え、
前記制御装置は、
前記通信インタフェースを介して接続された、音声を入力及び出力するスマートスピーカから、画像形成装置のユーザが発話することにより入力された音声の内容を認識する音声内容認識処理と、
前記認識された音声の内容の中に、前記画像形成装置の設定に関する用語が含まれている場合、
前記画像形成装置の設定情報を前記画像形成装置から取得する取得処理と、
前記認識された音声の内容と、前記取得された前記画像形成装置の設定情報とを対応付け、前記画像形成装置の設定に関するログ情報として前記記憶装置に記憶するログ情報記憶処理と、
を実行し、
前記ログ情報記憶処理では、
前記認識された音声の内容の中に、前記画像形成装置の設定に関する用語が含まれていない場合、
前記認識された音声の内容と、前記取得された前記画像形成装置の設定情報とを対応付け、前記画像形成装置の設定に関しないログ情報として前記記憶装置に記憶する、
情報処理装置。

【請求項2】

前記ログ情報記憶処理では、前記画像形成装置の設定情報に加えて、前記画像形成装置に画像形成を指示したアプリケーションの情報も前記画像形成装置の設定に関する前記ログ情報として記憶する、
請求項１に記載の情報処理装置。

【請求項3】

前記ログ情報記憶処理では、前記画像形成装置の設定情報に加えて、前記画像形成装置の機器情報も前記画像形成装置の設定に関する前記ログ情報として記憶する、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記画像形成装置の設定情報は、複数の設定項目の設定を含み、
前記ログ情報記憶処理では、前記認識された音声の内容と、前記複数の設定項目の設定から前記認識された音声の内容と関連する１つを対応付け、前記画像形成装置の設定に関するログ情報として前記記憶装置に記憶する、
請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

前記ログ情報記憶処理では、前記認識された音声の内容が程度を示す用語を含む場合、前記程度を示す用語も併せて前記画像形成装置の設定に関するログ情報として前記記憶装置に記憶する、
請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

通信インタフェースと、記憶装置と、を備えた情報処理装置のコンピュータが実行可能なプログラムであって、
前記コンピュータに、
前記通信インタフェースを介して接続された、音声を入力及び出力するスマートスピーカから、画像形成装置のユーザが発話することにより入力された音声の内容を認識する音声内容認識処理と、
前記音声内容認識処理によって認識された音声の内容の中に、前記画像形成装置の設定に関する用語が含まれている場合、
前記画像形成装置の設定情報を前記画像形成装置から取得する取得処理と、
前記認識された音声の内容と、前記取得された前記画像形成装置の設定情報とを対応付け、前記画像形成装置の設定に関するログ情報として前記記憶装置に記憶するログ情報記憶処理と、
を実行させ、
前記ログ情報記憶処理では、
前記認識された音声の内容の中に、前記画像形成装置の設定に関する用語が含まれていない場合、
前記認識された音声の内容と、前記取得された前記画像形成装置の設定情報とを対応付け、前記画像形成装置の設定に関しないログ情報として前記記憶装置に記憶する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、画像形成装置を音声により制御する技術に関するものである。

【背景技術】

【0002】

特許文献１には、操作画面に対するユーザの操作履歴を記録しておき、その操作履歴を利用して操作画面を変更する構成が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－２１３５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に記載の構成では、操作画面に対するユーザの操作情報しかログとして収集していないので、操作画面を超えたユーザの好みや要望をログとして収集することができない。

【0005】

本願は、ユーザの幅広い好みや要望をログとして収集することが可能となる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本願の情報処理装置は、通信インタフェースと、記憶装置と、制御装置と、を備え、制御装置は、通信インタフェースを介して接続された、音声を入力及び出力するスマートスピーカから、画像形成装置のユーザが発話することにより入力された音声の内容を認識する音声内容認識処理と、認識された音声の内容の中に、画像形成装置の設定に関する用語が含まれている場合、画像形成装置の設定情報を画像形成装置から取得する取得処理と、認識された音声の内容と、取得された画像形成装置の設定情報とを対応付け、画像形成装置の設定に関するログ情報として記憶装置に記憶するログ情報記憶処理と、を実行する。

【0007】

なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、情報処理方法、画像形成装置の制御方法、装置の機能または上記方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

【発明の効果】

【0008】

本願によれば、ユーザの幅広い好みや要望をログとして収集することが可能となる。

【図面の簡単な説明】

【0009】

【図1】本願の一実施形態に係る画像形成システムの構成を示すブロック図である。

【図2】図１の画像形成システムによって実行される印刷制御処理のシーケンス図である。

【図3】図２のシーケンス図の続きのシーケンス図である。

【図4】ログ情報として記憶されるデータの一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本願の実施の形態を図面に基づいて詳細に説明する。

【0011】

図１は、本願の一実施形態に係る画像形成システム１０００の構成を示している。画像形成システム１０００は、中継器１００と、プリンタ２００と、スマートスピーカ３００と、アプリケーションサーバ４００とにより主として構成されている。なお、本実施形態の画像形成システム１０００では、中継器１００とプリンタ２００とスマートスピーカ３００は、同じユーザによって利用される。

【0012】

画像形成システム１０００で用いられるアクセスポイント５０は、例えば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎの規格に従った通信方式を用いて無線ＬＡＮのアクセスポイントとしての機能を実現する。アクセスポイント５０は、ＬＡＮ７０に接続されている。ＬＡＮ７０は、例えば、イーサネット（登録商標）規格に準拠して構築された有線ネットワークである。ＬＡＮ７０は、インターネット８０に接続されている。アプリケーションサーバ４００は、インターネット８０に接続されている。

【0013】

中継器１００は、アプリケーションサーバ４００とプリンタ２００との間で送受信されるデータを中継する装置である。中継器１００は、中継器１００全体を制御するためのＣＰＵ１１０と、ＲＯＭやＲＡＭ、ＮＶＭなどのメモリ１２０と、プリンタ２００とＰ２Ｐ通信するためのブルートゥース（登録商標）ＩＦ１６０と、アプリケーションサーバ４００と通信するための無線ＬＡＮＩＦ１８０と、を主に備えている。中継器１００は、例えば、スマートフォン等のモバイル端末によって構成されている。なお、ＮＶＭは、non-volatile memoryの略語であり、Ｐ２Ｐは、Peer to Peerの略語であり、ＩＦは、Interfaceの略語である。

【0014】

メモリ１２０は、データ記憶領域１２２及び制御プログラム領域１２４を含んでいる。データ記憶領域１２２は、ＣＰＵ１１０が制御プログラムなどを実行する際に必要なデータなどを記憶する領域である。また、制御プログラム領域１２４は、ＯＳや制御プログラム、ファームウェアなどを記憶する領域である。

【0015】

ブルートゥースＩＦ１６０は、アンテナを含み、ブルートゥース方式に準拠した近距離無線通信を行うためのインタフェースである。ブルートゥースＩＦ１６０を介して、中継器１００は、プリンタ２００と通信可能に接続される。無線ＬＡＮＩＦ１８０は、アンテナを含み、例えば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎの規格に従った通信方式を用いて無線通信を行う。これにより、中継器１００は、アクセスポイント５０を介してＬＡＮ７０及びインターネット８０に接続され、アプリケーションサーバ４００と通信可能に接続される。なお、プリンタ２００が無線ＬＡＮＩＦを備える場合には、中継器１００は無線ＬＡＮＩＦ１８０を介して、プリンタ２００と通信可能に接続するように構成してもよい。

【0016】

プリンタ２００は、例えば、ＣＰＵとメモリを含む制御部２１０と、制御部２１０の制御に従って印刷を行う印刷機構２５０と、ブルートゥースＩＦ２６０と、を備えている。印刷機構２５０は、シートに画像を印刷する機構であり、電子写真方式、インクジェット方式、サーマル方式等の印刷機構である。ブルートゥースＩＦ２６０は、アンテナを含み、ブルートゥース方式に準拠した近距離無線通信を行うためのインタフェースであり、上述のように中継器１００との通信のために用いられる。なお、プリンタ２００は、ブルートゥースＩＦ２６０に代えて無線ＬＡＮＩＦを備え、中継器１００と通信可能に接続するよう構成してもよい。

【0017】

プリンタ２００は、無線ＬＡＮＩＦを備えていない場合、中継器１００とは通信可能に接続されるが、アプリケーションサーバ４００とは直接、通信することができない。

【0018】

スマートスピーカ３００は、ユーザが発話した音声に応じて特定の処理を実行する装置である。特定の処理は、例えば、音声データを生成して、アプリケーションサーバ４００に送信する処理を含む。スマートスピーカ３００は、ＣＰＵとメモリとを含む制御部３１０と、音声入出力部３５０と、ブルートゥースＩＦ３６０と、無線ＬＡＮＩＦ３８０と、を備えている。

【0019】

音声入出力部３５０は、スピーカとマイクとを含み、音声の入力と音声の出力に関する処理を実行する。例えば、音声入出力部３５０は、制御部３１０の制御に従って、ユーザが発話した音声を検出し、その音声を示す音声データを生成する。また、音声入出力部３５０は、受信した音声データに応じた音声をスピーカから発生する。

【0020】

無線ＬＡＮＩＦ３８０は、アンテナを含み、例えば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎの規格に従った通信方式を用いて無線通信を行う。これにより、スマートスピーカ３００は、アクセスポイント５０を介してＬＡＮ７０及びインターネット８０に接続され、アプリケーションサーバ４００と通信可能に接続される。

【0021】

アプリケーションサーバ４００は、例えば、いわゆるクラウドサービスを提供する事業者が運営するサーバである。アプリケーションサーバ４００は、アプリケーションサーバ４００全体を制御するＣＰＵ４１０と、ＲＯＭ、ＲＡＭ、ＨＤＤ、ＳＳＤ及び光ディスクドライブなどを含む記憶部４２０と、を備えている。アプリケーションサーバ４００は、さらに、インターネット８０と接続するためのネットワークＩＦ４８０を備えている。なお、図１では、アプリケーションサーバ４００は、概念的に１個のサーバとして図示されているが、実際は、互いに通信可能に接続された複数個のサーバを含む、いわゆるクラウドサーバである。

【0022】

記憶部４２０は、データ記憶領域４２２及びプログラム記憶領域４２４を含んでいる。データ記憶領域４２２は、ＣＰＵ４１０が処理を行う際に必要なデータなどを記憶する記憶領域として、また、ＣＰＵ４１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域として機能する。プログラム記憶領域４２４は、ＯＳ、情報処理プログラム、その他各種のアプリやファームウェアなどを記憶する領域である。情報処理プログラムには、音声解析プログラム４２４ａ及び印刷関連プログラム４２４ｂが含まれる。音声解析プログラム４２４ａは、例えば、アプリケーションサーバ４００の運営者によって、アプリケーションサーバ４００にアップロードされることによって提供される。印刷関連プログラム４２４ｂは、例えば、アプリケーションサーバ４００のリソースを利用して印刷サービスを提供する事業者、例えば、プリンタ２００を製造する事業者によって、アプリケーションサーバ４００にアップロードされることによって提供される。なお、音声解析プログラム４２４ａの全部または一部が、プリンタ２００を製造する事業者によって提供されてもよい。あるいは、印刷関連プログラム４２４ｂの全部または一部がアプリケーションサーバ４００を運営する事業者によって提供されてもよい。

【0023】

アプリケーションサーバ４００、特にＣＰＵ４１０は、音声解析プログラム４２４ａを実行することによって、音声解析処理部４２４ａ′（図２参照）として機能する。音声解析処理部４２４ａ′は、音声認識処理や形態素解析処理を実行する。音声認識処理は、音声データを解析して、音声データによって示される発話の内容を示すテキストデータを生成する処理である。形態素解析処理は、そのテキストデータを解析して、発話の内容に含まれる単語などの構成単位（形態素と呼ばれる）の抽出や、抽出された形態素の種別（例えば、品詞の種別）の特定を行う処理である。

【0024】

また、アプリケーションサーバ４００、特にＣＰＵ４１０は、印刷関連プログラム４２４ｂを実行することによって、印刷関連処理部４２４ｂ′（図２参照）として機能する。印刷関連処理部４２４ｂ′は、音声データを解析して得られるテキストデータを用いて、プリンタ２００に動作指示を行うコマンドを生成する処理などを実行する。

【0025】

図２及び図３は、画像形成システム１０００によって実行される印刷制御処理のシーケンスを示している。印刷制御処理は、スマートスピーカ３００とアプリケーションサーバ４００とが協働して、プリンタ２００に印刷を実行させる処理である。

【0026】

図２及び図３の印刷制御処理は、所定の事前処理が実行された以降の処理を示している。その事前処理とは、まず、ユーザが、画像形成システム１０００に含まれない端末装置、例えばスマートフォンやＰＣ等を用いてスマートスピーカ３００にアクセスし、上記制御部３１０に含まれるメモリにユーザＩＤと声紋を登録する。次に、ユーザは、アプリケーションサーバ４００とプリンタ２００との間でデータが正しく送受信されるように、中継器１００、プリンタ２００及びスマートスピーカ３００を設定する。さらに、ユーザは、上記端末装置にインストールされた印刷アプリを用いてプリンタ２００に印刷を指示する。このような事前処理の実行により、ユーザは、プリンタ２００から印刷結果を受け取り、その印刷結果に不満あるいは要求を抱いている状態となっている。

【0027】

図２において、まずＳ２で、ユーザが発話する。ユーザは、印刷結果が自身の意図した濃度より少し薄く感じたので、スマートスピーカ３００に対して、例えば「もう少し濃くなる？」と問いかけている。印刷制御処理は、スマートスピーカ３００がその発話された音声を検出した場合に、開始する。

【0028】

Ｓ４では、スマートスピーカ３００は、ユーザによって発話された音声を示す音声データを生成する。つまり、「もう少し濃くなる？」との音声がスマートスピーカ３００に入力されると、スマートスピーカ３００は、その音声を示す音声データを生成する。

【0029】

次に、Ｓ６では、スマートスピーカ３００は、その音声データと登録済みのユーザＩＤとをアプリケーションサーバ４００の音声解析処理部４２４ａ′に送信する。音声データの送信には、公知のプロトコル、例えば、ＨＴＴＰが用いられる。

【0030】

アプリケーションサーバ４００がその音声データとユーザＩＤとを受信すると、Ｓ８にて、アプリケーションサーバ４００の音声解析処理部４２４ａ′は、受信された音声データを解析する。具体的には、音声解析処理部４２４ａ′は、音声データに対して音声認識処理を実行し、音声データによって示される音声を示すテキストデータを生成する。例えば、「もう少し濃くなる？」との音声を示す音声データを受信した場合には、音声解析処理部４２４ａ′は、その音声の内容を示すテキストデータを生成する。音声解析処理部４２４ａ′は、さらに、そのテキストデータに対して形態素解析処理を実行する。これにより、生成されたテキストデータから、例えば、「もう少し」、「濃く」、「なる？」などの単語が抽出されるとともに、これらの単語の品詞種別（例えば、名詞、動詞）が特定される。音声解析処理部４２４ａ′は、形態素解析結果として、抽出された単語に品詞種別を対応付けたリストを生成する。

【0031】

次に、Ｓ１０では、音声解析処理部４２４ａ′は、生成されたテキストデータと、形態素解析結果と、スマートスピーカ３００から受信されたユーザＩＤと、を、印刷関連処理部４２４ｂ′に渡す。具体的には、音声解析処理部４２４ａ′は、例えば、データ記憶領域４２２内の所定領域にテキストデータと形態素解析結果とユーザＩＤとを格納して、印刷関連プログラム４２４ｂをコールする。

【0032】

音声解析処理部４２４ａ′からテキストデータと形態素解析結果とユーザＩＤとを受け取ると、Ｓ１２にて、印刷関連処理部４２４ｂ′は、テキストデータと形態素解析結果とを用いて、次に行うべき内容を決定する処理を実行する。具体的には、印刷関連処理部４２４ｂ′は、「もう少し」から何かの変更が小程度であり、「濃く」から何かは設定パラメータの項目が濃度パラメータであって、さらに変更する方向が増加方向であり、「なる？」から可能かどうかを問い合わせていることであると認識する。そして、この認識結果から、印刷関連処理部４２４ｂ′は、ユーザの発話内容が「濃度パラメータの値を現在の値より少し濃い方向に増加させること」と認識し、そのためにまず、プリンタ２００に対して、濃度パラメータの現在の設定値を問い合わせることであると決定する。そして、印刷関連処理部４２４ｂ′は、濃度パラメータの現在の設定値を問い合わせるためのコマンド（以下「現設定要求コマンド」という）を生成する。

【0033】

次に、Ｓ１４では、印刷関連処理部４２４ｂ′は、現設定要求コマンドを中継器１００に送信する。中継器１００は、Ｓ１６にて、受信した現設定要求コマンドをそのまま、プリンタ２００に送信する。

【0034】

プリンタ２００は、現設定要求コマンドを受信すると、Ｓ１８にて、濃度パラメータの現在の設定値及びプリンタ２００のモデル名を含む応答（以下「現設定応答」という）を中継器１００に送信する。

【0035】

中継器１００は、Ｓ２０にて、受信した現設定応答をそのまま、アプリケーションサーバ４００に送信する。アプリケーションサーバ４００の印刷関連処理部４２４ｂ′は、Ｓ２２にて、受信した現設定応答に基づいた処理を実行する。具体的には、例えば、現設定応答に、濃度パラメータの現在の設定値として“５”が含まれているとする。アプリケーションサーバ４００は、例えば、データ記憶領域４２２内にプリンタ２００を含む各種画像形成装置それぞれについて全設定パラメータの情報を記憶している。印刷関連処理部４２４ｂ′は、現設定応答に含まれるモデル名と一致する画像形成装置、つまりプリンタ２００の全設定パラメータの情報から、濃度パラメータとして設定可能な最大値を取得する。その最大値が、例えば“１０”であるとすると、印刷関連処理部４２４ｂ′は、濃度パラメータの値を現在値“５”からさらに“５”段階増加できることを知る。そこで、印刷関連処理部４２４ｂ′は、そのことを知らせるための音声データの基になるテキストデータを生成する。例えば、印刷関連処理部４２４ｂ′は、「５」、「濃くできる」と、小程度に対して「２」を選び、「あと５段階濃くできます。２段階濃くして再印刷しましょうか」のテキストデータを生成する。そして、印刷関連処理部４２４ｂ′は、Ｓ２４にて、生成したテキストデータを音声解析処理部４２４ａ′に渡す。

【0036】

次に、Ｓ２６では、音声解析処理部４２４ａ′は、そのテキストデータに基づいて音声データを作成する。そして、音声解析処理部４２４ａ′は、図３のＳ２８にて、作成した音声データをスマートスピーカ３００に送信する。

【0037】

次に、Ｓ３０では、スマートスピーカ３００は、受信した音声データを音声として発生させる。この音声を聞いたユーザは、Ｓ３２にて、例えば「ＯＫ」と発話する。また、例えば「１段階だけ濃くして」と発話してもよい。これに応じて、スマートスピーカ３００及び音声解析処理部４２４ａ′は、Ｓ３２にて、上記Ｓ４～Ｓ１０の処理と同様の処理を実行し、テキストデータを生成して、印刷関連処理部４２４ｂ′に渡す。

【0038】

Ｓ３６では、印刷関連処理部４２４ｂ′は、そのテキストデータに基づいてコマンドを作成する。具体的には、印刷関連処理部４２４ｂ′は、２段階であれば、濃度パラメータの値を現在の設定値＋２、すなわち７にして、再印刷することを指示するコマンドを生成する。そして、アプリケーションサーバ４００は、Ｓ３８にて、生成したコマンドを中継器１００に送信する。中継器１００は、Ｓ４０にて、受信した再印刷のコマンドをそのまま、プリンタ２００に送信する。Ｓ４２では、プリンタ２００は、受信した再印刷のコマンドに従って、濃度パラメータの設定値にて印刷機構２５０を制御し、制御部２１０に記憶している前回印刷に用いた印刷データに基づく再印刷を実行する。

【0039】

印刷関連処理部４２４ｂ′は、上記Ｓ３８で、印刷コマンドを中継器１００に送信するときに、プリンタ２００に再印刷を指示したことを知らせるための音声データの基になるテキストデータを生成し、音声解析処理部４２４ａ′に渡すようにしてもよい。これにより、スマートスピーカ３００から、プリンタ２００に再印刷を指示したことを知らせる音声が発生するので、ユーザは、プリンタ２００から再印刷結果が出力されることを事前に知ることができる。

【0040】

また、再印刷結果に不満な場合には、ユーザは再度、不満な内容をスマートスピーカ３００に発話する。これに応じて、上記Ｓ４～Ｓ４２の処理が繰り返され、プリンタ２００から再々印刷結果が出力される。

【0041】

なお、プリンタ２００は、濃度パラメータの設定値を変更できるように構成されているが、他のプリンタでは、濃度パラメータの設定値を変更できないモデルもある。その場合には、印刷関連処理部４２４ｂ′は、設定変更できないことを知らせるための音声データの基になるテキストデータを生成し、音声解析処理部４２４ａ′に渡すようにすればよい。

【0042】

また、本実施形態では、上記Ｓ２で、ユーザが「もう少し濃くなる？」と問いかけているので、上記Ｓ３０で、「あと５段階濃くできます。２段階濃くして再印刷しましょうか」とユーザに返答している。これに代えて、上記Ｓ２２～Ｓ３４の処理を省略して、ユーザに返答せずに、処理をＳ２０からＳ３６に進ませ、「濃く」から決定した濃度パラメータの現在値に、「もう少し」から少し増加方向に決定した値だけ加算して、再印刷することを指示するコマンドを生成するようにしてもよい。

【0043】

なお、本実施形態において、ユーザが発話した内容やスマートスピーカ３００から発生された音声の内容は、一例に過ぎない。また、決定した設定パラメータの項目も、濃度パラメータに限らず、ユーザの発話内容に応じて様々な設定パラメータの項目が決定される。さらに、パラメータ値も、増加方向の変更に限らず、減少方向の変更もあり得る。また、変更しないこともあり得る。

【0044】

このように、本実施形態の画像形成システム１０００では、プリンタ２００からの印刷結果に不満あるいは要求を抱いたユーザは、抱いた不満あるいは要求の内容をスマートスピーカ３００に発話するだけで、その不満を解消する印刷結果、あるいはその要求に沿った印刷結果になるように、自動的に設定パラメータの項目とその値が決定されて、プリンタ２００に対する印刷制御がなされるので、ユーザの意図通りの画像形成を行うことが可能となる。特に、変更すべき設定パラメータの値と印刷結果の関係をよく理解していないようなユーザにとって、ユーザが直接、設定パラメータの項目とパラメータ値を指示しなくてもよいので、有用である。

【0045】

また、ユーザは印刷結果に対する直感的な印象を発話するだけで、印刷設定が変更されて意図通りの印刷結果が得られるので、ユーザは直感的に印刷設定の変更ができるようになる。この結果、ユーザは、印刷アプリからユーザの意図通りの印刷結果が得られるような印刷設定を探す必要がなくなる。また、印刷アプリに予め登録されている印刷設定にはない、新規な印刷設定に変更できることもあり得る。

【0046】

本実施形態の画像形成システム１０００では、アプリケーションサーバ４００が、ユーザの発話内容の解析からプリンタ２００へ送信するコマンドの生成まで行うので、スマートスピーカ３００として種々のものを採用してもよい。つまり、機種依存性がない。また、中継器１００も、アプリケーションサーバ４００とプリンタ２００との間で送受信されるデータをそのまま中継するだけであるので、データの中継ができるものであればよく、機種依存性がない。

【0047】

図４は、アプリケーションサーバ４００の印刷関連処理部４２４ｂ′が記憶部４２０に記憶するログ情報のフォーマットの一例を示している。印刷関連処理部４２４ｂ′は、ユーザがスマートスピーカ３００に発話すると、発話の度にログ情報を取得し、記憶部４２０に記憶するようにしている。ログ情報は、図４に示すように、１．発話データと２．プリンタ情報とを対応付けて記憶する。

【0048】

１．発話データとしては、１－１：日時、１－２：地域、１－３：生データ及び１－４：抽出データを取得する。「日時」は、ユーザが発話した日時である。「地域」は、ユーザが発話したときに居る地域である。地域は、国家単位、県単位、市町村単位、さらに細かい単位など、いずれの単位でもよい。例えば、スマートスピーカ３００にＧＰＳを搭載し、ＧＰＳから得られた位置情報に基づいて、「地域」を決定すればよい。「生データ」は、スマートスピーカ３００から入力された音声データそのものである。「抽出データ」とは、「生データ」から、上述のようにして生成されたテキストデータと、このテキストデータに形態素解析処理を施して生成された形態素解析結果のことである。

【0049】

２．プリンタ情報としては、２－１：印刷アプリ情報、２－２：印刷設定及び２－３：モデル情報を取得する。「印刷アプリ情報」は、上記図２及び図３の印刷制御処理の事前処理で用いた印刷アプリの情報のことである。印刷アプリの情報は、その印刷アプリがインストールされている端末装置に問い合わせるか、あるいは、プリンタ２００が印刷に使用された印刷アプリの情報を記憶している場合には、上記Ｓ１４で、現設定要求コマンドを送信するときに、印刷アプリの情報も問い合わせるようにすればよい。「印刷設定」は、プリンタ２００の発話時に設定中の印刷設定である。Ｓ１４では、上記Ｓ２で発話された発話内容に関連する設定パラメータの情報のみ要求するようにしたが、全ての設定パラメータの設定情報を要求するようにすればよい。「モデル情報」は、プリンタ２００のモデル名のことである。上記Ｓ１８では、プリンタ２００は、モデル名も含んだ現設定応答を生成するので、このモデル名を用いればよい。なお、「印刷設定」は、プリンタ２００に設定中の印刷設定の全てであっても、そのうちの一部であってもよい。一部とは、１つであってもよい。この場合、発話内容に関係の深い１つの印刷設定を選択するようにしてもよい。

【0050】

さらにログ情報を、発話データ内にプリンタ２００の設定に関する用語が含まれているログ情報と、プリンタ２００の設定に関する用語が含まれていないログ情報とに分類し、各類型毎に記憶しておく。このように記憶しておけば、類型毎にログ情報を使用でき、便利である。なお、プリンタ２００の設定に関する用語が含まれているか否かは、１－４：抽出データに基づいて直ちに判断できる。

【0051】

このようにして取得したログ情報は、プリンタ２００に対するユーザの幅広い好みや要望を知り、今後の製品開発に生かすために利用する。従来から、印刷アプリのＵＩ画面に対するユーザ操作は操作ログとして記憶されていたが、ユーザがしたいこと（Ｗａｎｔ）を把握できる範囲は限られていた。例えば、濃度パラメータの設定値が最大に設定されている場合、ユーザはその設定値でよいのか、もっと濃くしたいのか、操作ログからでは判断が困難である。一方、ユーザの発話が「もっと濃くしたい」や「まだ薄いな」であり、これがログ情報として収集されていた場合、ユーザのＷａｎｔは、装置の設定可能な範囲を超えたＷａｎｔであることが分かる。このように、本実施形態のログ情報からは、ユーザの幅広い好みや要望を知ることができる。

【0052】

なお、ログ情報として、音声データをテキスト化しただけの情報を記憶することも考えられるが、それでは、何を基準にユーザがその発話に及んだか、後から分かり難い。そこで、本実施形態では、プリンタの設定等の情報と発話の情報とを対応付けて、ログ情報として記憶するようにしている。これにより、ユーザのＷａｎｔの把握の正確性が大きく向上し、ログ情報としての有用性も大きく向上する。

【0053】

また、ユーザの好みや要望を知る方法として、例えば、プリンタのサポートサイトなどにユーザの要望欄を設け、自由に書き込んでもらう方法がある。この方法で得られたユーザの好みや要望には、偏りがある場合がある。つまり、積極的に書き込む意思のあるユーザからの好みや要望しか得られないからである。これに対して、本実施形態のようにして得られるログ情報からは、偏りのない広い範囲のユーザからの好みや要望を得ることができる。このため、幅広いユーザのＷａｎｔに対応したサービスの提供等の事業拡大や、次の製品開発等に生かすことができる。

【0054】

以上説明したように、本実施形態のアプリケーションサーバ４００は、ネットワークＩＦ４８０と、記憶部４２０と、ＣＰＵ４１０と、を備えている。そして、ＣＰＵ４１０は、ネットワークＩＦ４８０を介して接続された、音声を入力及び出力するスマートスピーカ３００から、プリンタ２００のユーザが発話することにより入力された音声の内容を認識する音声内容認識処理と、認識された音声の内容の中に、プリンタ２００の設定に関する用語が含まれている場合、プリンタ２００の印刷設定をプリンタ２００から取得する取得処理と、認識された音声の内容と、取得されたプリンタ２００の印刷設定とを対応付け、プリンタ２００の設定に関するログ情報として記憶部４２０に記憶するログ情報記憶処理と、を実行する。

【0055】

このように、本実施形態のアプリケーションサーバ４００では、ユーザの幅広い好みや要望をログとして収集することが可能となる。

【0056】

ちなみに、本実施形態において、アプリケーションサーバ４００は、「情報処理装置」の一例である。ネットワークＩＦ４８０は、「通信インタフェース」の一例である。記憶部４２０は、「記憶装置」の一例である。ＣＰＵ４１０は、「制御装置」の一例である。プリンタ２００は、「画像形成装置」の一例である。印刷設定は、「設定情報」の一例である。

【0057】

また、ログ情報記憶処理では、プリンタ２００の印刷設定に加えて、プリンタ２００に印刷を指示した印刷アプリ情報もプリンタ２００の設定に関するログ情報として記憶する。これにより、印刷アプリについてのユーザの幅広い好みや要望をログとして収集することができる。ちなみに、印刷は、「画像形成」の一例である。印刷アプリ情報は、「アプリケーションの情報」の一例である。

【0058】

また、ログ情報記憶処理では、プリンタ２００の印刷設定に加えて、プリンタ２００のモデル情報もプリンタ２００の設定に関するログ情報として記憶する。これにより、プリンタ２００のモデル毎にユーザの幅広い好みや要望をログとして収集することができる。ちなみに、モデル情報は、「機器情報」の一例である。

【0059】

また、ログ情報記憶処理では、認識された音声の内容の中に、プリンタ２００の設定に関する用語が含まれていない場合、認識された音声の内容と、取得されたプリンタ２００の設定情報とを対応付け、プリンタ２００の設定に関しないログ情報として記憶部４２０に記憶する。これにより、プリンタ２００の設定に関しない音声内容を含むユーザの幅広い好みや要望をログとして収集することができる。

【0060】

また、プリンタ２００の印刷設定は、複数の設定項目の設定を含み、ログ情報記憶処理では、認識された音声の内容と、複数の設定項目の設定から認識された音声の内容と関連する１つを対応付け、プリンタ２００の設定に関するログ情報として記憶部４２０に記憶する。これにより、設定項目を絞りつつ、ユーザの幅広い好みや要望をログとして収集することができる。

【0061】

また、ログ情報記憶処理では、認識された音声の内容が程度を示す用語を含む場合、程度を示す用語も併せてプリンタ２００の設定に関するログ情報として記憶部４２０に記憶する。これにより、程度を含むユーザの幅広い好みや要望もログとして収集することができる。ちなみに、「もっと濃くしたい」や「まだ薄いな」は、「程度」の一例である。

【0062】

なお、本発明は上記実施形態に限定されるものでなく、その趣旨を逸脱しない範囲で様々な変更が可能である。

【0063】

（１）上記実施形態では、音声データを解析する処理は、アプリケーションサーバ４００の音声解析処理部４２４ａ′が実行している。これに代えて、音声データを解析する処理の一部または全部は、スマートスピーカ３００が実行してもよい。また、音声データを解析する処理の一部または全部は、印刷関連処理部４２４ｂ′が実行してもよい。例えば、音声解析処理部４２４ａ′は、音声認識処理を行ってテキストデータを生成する処理だけを行い、単語を抽出する形態素解析処理は、印刷関連処理部４２４ｂ′が実行してもよい。

【0064】

（２）上記実施形態では、画像形成装置として、プリンタ２００を採用したが、これに限らず、印刷機能にスキャン機能やファックス機能を加えた複合機を採用してもよい。この場合には、例えば、スマートスピーカ３００に入力される音声に応じて、その複合機に印刷を行わせることができる。

【0065】

（３）アプリケーションサーバ４００は、クラウドサーバであるが、ＬＡＮ７０に接続され、インターネット８０に接続されないローカルサーバであってもよい。この場合には、スマートスピーカ３００からアプリケーションサーバ４００にユーザＩＤなどの識別情報を送信せず、音声データだけを送信してもよい。

【0066】

（４）中継器１００とプリンタ２００とを接続するインタフェースは、ブルートゥースＩＦ１６０に限らず、例えば、ＵＳＢなどの有線インタフェースであってもよいし、ＮＦＣ（Near field communicationの略）などの他の無線インタフェースであってもよい。

【0067】

（５）上記実施形態では、中継器１００が、アプリケーションサーバ４００とプリンタ２００との間で送受信されるデータを中継する構成としたが、さらにアプリケーションサーバ４００との間にスマートスピーカ３００を介して中継してもよい。この場合、スマートスピーカ３００のブルートゥースＩＦ１６０あるいは無線ＬＡＮＩＦ１８０を用いた通信が中継器１００との間で行われる。また、プリンタ２００が無線ＬＡＮＩＦを備えているような場合、アプリケーションサーバ４００が中継器１００を介さずに直接プリンタ２００と通信するようにしてもよいし、あるいはアプリケーションサーバ４００がスマートスピーカ３００を介してプリンタ２００と通信するようにしてもよい。

【0068】

（６）上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

【符号の説明】

【0069】

５０…アクセスポイント、７０…ＬＡＮ、８０…インターネット、１００…中継器、１１０…ＣＰＵ、１２０…メモリ、１６０，２６０，３６０…ブルートゥースＩＦ、１８０，３８０…無線ＬＡＮＩＦ、２００…プリンタ、２１０…制御部、２５０…印刷機構、３００…スマートスピーカ、３１０…制御部、３５０…音声入出力部、４００…アプリケーションサーバ、４１０…ＣＰＵ、４２０…記憶部、４２４ａ…音声解析プログラム、４２４ｂ…印刷関連プログラム、４２４ｂ′…印刷関連処理部、４２４ａ′…音声解析処理部、４８０…ネットワークＩＦ、１０００…画像形成システム。

【図1】

【図2】

【図3】

【図4】