(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-22
(45)【発行日】2022-08-30
(54)【発明の名称】メッセージ変換システム、メッセージ変換方法およびメッセージ変換プログラム
(51)【国際特許分類】
B41J 29/42 20060101AFI20220823BHJP
B41J 29/38 20060101ALI20220823BHJP
G03G 21/00 20060101ALI20220823BHJP
H04N 1/00 20060101ALI20220823BHJP
【FI】
B41J29/42 F
B41J29/38 202
G03G21/00 386
H04N1/00 127A
H04N1/00 350
(21)【出願番号】P 2018169514
(22)【出願日】2018-09-11
【審査請求日】2021-07-15
(73)【特許権者】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001900
【氏名又は名称】弁理士法人 ナカジマ知的財産綜合事務所
(72)【発明者】
【氏名】川畑 博征
【審査官】牧島 元
(56)【参考文献】
【文献】特開2012-033009(JP,A)
【文献】特開2016-173724(JP,A)
【文献】特開2016-046621(JP,A)
【文献】特開2006-270891(JP,A)
【文献】特開2011-191961(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B41J 29/42
B41J 29/38
G03G 21/00
H04N 1/00
(57)【特許請求の範囲】
【請求項1】
被操作装置の操作パネルに表示した操作画面が利用者によりカスタマイズ自在であり、カスタマイズ後の操作画面とカスタマイズされる前のデフォルト画面とのうちの一方の操作画面に関するメッセージを他方の操作画面に関するメッセージに変換するメッセージ変換システムであって、
デフォルト画面上に存在する操作項目ごとに、当該操作項目の名称およびその操作項目が操作された場合に被操作装置本体に対して行うこととなる動作制御の識別情報を取得する第1の取得手段と、
カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の名称およびその操作項目が操作された場合に前記被操作装置に対して行うこととなる動作制御の識別情報を前記被操作装置から取得する第2の取得手段と、
前記被操作装置本体に対する動作制御の識別情報ごとに、デフォルト画面上での操作項目の名称と、カスタマイズ後の操作画面上での操作項目の名称とを対応付けた対比表を作成する作成手段と、
カスタマイズ後の操作画面とデフォルト画面とのうちの一方の操作画面についてのメッセージに含まれている操作項目の名称に対応する動作制御の識別情報を特定し、
この特定した識別情報に対応する他方の操作画面の操作項目の名称を、前記対比表を参照して求め、前記メッセージ中に含まれている一方の操作画面の操作項目の名称を、他方の操作画面の操作項目の名称に置き換える置換手段と、を備える
ことを特徴とするメッセージ変換システム。
【請求項2】
前記動作制御の識別情報は、前記操作パネルに前記操作画面を表示するためのソースコードにおいて、当該動作制御の実行を前記被操作装置に要求するためのAPIライブラリ関数を指定する情報である
ことを特徴とする請求項1に記載のメッセージ変換システム。
【請求項3】
前記操作画面を表示するためのスクリプトは、HTMLおよびJavascriptを用いて記述されており、
前記第1、第2の取得手段は、inputタグ内のvalue属性で指定された文字列または当該inputタグの直前に記載された文字列を操作メニューの名称として特定し、前記inputタグのonclick属性で指定されたJavascript関数を前記動作制御の識別情報として特定する
ことを特徴とする請求項2に記載のメッセージ変換システム。
【請求項4】
前記操作画面を表示するためのスクリプトは、HTMLおよびJavascriptを用いて記述されており、
前記第1、第2の取得手段は、inputタグ内のvalue属性で指定された文字列または当該inputタグの直前に記載された文字列を操作メニューの名称として特定し、前記inputタグのonclick属性で指定されたJavascript関数内で用いられているAPIライブラリ関数を前記動作制御の識別情報として特定する
ことを特徴とする請求項2に記載のメッセージ変換システム。
【請求項5】
前記置換手段は、音声入力によって前記メッセージを受け付ける
ことを特徴とする請求項1または4に記載のメッセージ変換システム。
【請求項6】
前記置換手段は、画面入力された操作指示から前記メッセージを生成する
ことを特徴とする請求項1または4に記載のメッセージ変換システム。
【請求項7】
カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の位置情報を前記被操作装置から取得する第3の取得手段と、
デフォルト画面についてのメッセージをカスタマイズ後の操作画面についてのメッセージに変換する場合に、前記置換手段による置き換え後のメッセージにおいて、カスタマイズ後の操作画面の操作項目の名称に対して当該操作項目の位置情報を追加する追加手段と、を備える
ことを特徴とする請求項1から6のいずれかに記載のメッセージ変換システム。
【請求項8】
前記置換手段による置き換え後のメッセージにおいて、カスタマイズ後の操作画面の操作項目の名称に対応する当該操作項目の位置情報が示す位置の表示内容を、前記被操作装置に強調表示させる強調表示手段を備える
ことを特徴とする請求項7に記載のメッセージ変換システム。
【請求項9】
前記置換手段による置き換え後のメッセージを、前記被操作装置に音声出力させる音声出力手段と、を備える
ことを特徴とする請求項1から8のいずれかに記載のメッセージ変換システム。
【請求項10】
前記置換手段による置き換え後のメッセージを、前記被操作装置の操作画面にテキスト表示させるテキスト表示手段を備える
ことを特徴とする請求項1から9のいずれかに記載のメッセージ変換システム。
【請求項11】
被操作装置の操作パネルに表示した操作画面に関するメッセージを変換するメッセージ変換システムであって、
操作画面に表示され
る操作項目ごとに、当該操作項目の名称および位置情報を取得する取得手段と、
メッセージを受け付ける受付手段と、
受け付けたメッセージが前記操作項目の名称を含む場合には、当該操作項目の位置情報を特定し、当該位置情報を含むメッセージに変換する変換手段と、を備える
ことを特徴とするメッセージ変換システム。
【請求項12】
前記受付手段は、音声入力によって前記メッセージを受け付ける
ことを特徴とする請求項11に記載のメッセージ変換システム。
【請求項13】
前記変換後のメッセージを音声出力する音声出力手段を備える
ことを特徴とする請求項11または12に記載のメッセージ変換システム。
【請求項14】
前記変換後のメッセージを、前記被操作装置の操作画面上にテキスト表示するテキスト表示手段を備える
ことを特徴とする請求項11から13のいずれかに記載のメッセージ変換システム。
【請求項15】
前記変換手段が特定した前記位置情報が示す位置を、前記被操作装置の操作画面に表示する
ことを特徴とする請求項11から14のいずれかに記載のメッセージ変換システム。
【請求項16】
前記被操作装置は、画像形成装置である
ことを特徴とする請求項1から15のいずれかに記載のメッセージ変換システム。
【請求項17】
被操作装置の操作パネルに表示した操作画面が利用者によりカスタマイズ自在であり、カスタマイズ後の操作画面とカスタマイズされる前のデフォルト画面とのうちの一方の操作画面に関するメッセージを他方の操作画面に関するメッセージに変換するメッセージ変換方法であって、
デフォルト画面上に存在する操作項目ごとに、当該操作項目の名称およびその操作項目が操作された場合に被操作装置本体に対して行うこととなる動作制御の識別情報を取得する第1の取得ステップと、
カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の名称およびその操作項目が操作された場合に前記被操作装置に対して行うこととなる動作制御の識別情報を前記被操作装置から取得する第2の取得ステップと、
前記被操作装置本体に対する動作制御の識別情報ごとに、デフォルト画面上での操作項目の名称と、カスタマイズ後の操作画面上での操作項目の名称とを対応付けた対比表を作成する作成ステップと、
カスタマイズ後の操作画面とデフォルト画面とのうちの一方の操作画面についてのメッセージに含まれている操作項目の名称に対応する動作制御の識別情報を特定し、
この特定した識別情報に対応する他方の操作画面の操作項目の名称を、前記対比表を参照して求め、前記メッセージ中に含まれている一方の操作画面の操作項目の名称を、他方の操作画面の操作項目の名称に置き換える置換ステップと、を含む
ことを特徴とするメッセージ変換方法。
【請求項18】
被操作装置の操作パネルに表示した操作画面が利用者によりカスタマイズ自在であり、カスタマイズ後の操作画面とカスタマイズされる前のデフォルト画面とのうちの一方の操作画面に関するメッセージを他方の操作画面に関するメッセージに変換するメッセージ変換方法をコンピューターに実行させるメッセージ変換プログラムであって、
デフォルト画面上に存在する操作項目ごとに、当該操作項目の名称およびその操作項目が操作された場合に被操作装置本体に対して行うこととなる動作制御の識別情報を取得する第1の取得ステップと、
カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の名称およびその操作項目が操作された場合に前記被操作装置に対して行うこととなる動作制御の識別情報を前記被操作装置から取得する第2の取得ステップと、
前記被操作装置本体に対する動作制御の識別情報ごとに、デフォルト画面上での操作項目の名称と、カスタマイズ後の操作画面上での操作項目の名称とを対応付けた対比表を作成する作成ステップと、
カスタマイズ後の操作画面とデフォルト画面とのうちの一方の操作画面についてのメッセージに含まれている操作項目の名称に対応する動作制御の識別情報を特定し、
この特定した識別情報に対応する他方の操作画面の操作項目の名称を、前記対比表を参照して求め、前記メッセージ中に含まれている一方の操作画面の操作項目の名称を、他方の操作画面の操作項目の名称に置き換える置換ステップと、をコンピューターに実行させることを特徴とするメッセージ変換プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、メッセージ変換システム、メッセージ変換方法およびメッセージ変換プログラムに関し、特にカスタマイズされた操作画面について遣り取りされるメッセージを理解し易くなるように変換する技術に関する。
【背景技術】
【0002】
近年、電子写真方式の画像形成装置は多機能化が進んでおり、さまざまな機能を備えた複合機(MFP: Multi-Function Peripheral)が広く普及している。このため複合機を操作するための操作パネルの表示内容もまた複雑になってきているが、その一方で、複合機のユーザーは必ずしもすべての機能を満遍なく利用している訳でなく、一部の機能しか利用しないことが多い。また、オフィス等で複合機を利用する場合にはコスト管理などの目的から、利用することができる機能を制限したい場合がある。
【0003】
このような理由から、複合機の操作画面をカスタマイズさせる技術が提案されてる(例えば、特許文献1を参照)。このような従来技術によれば、ユーザーの利用を制限したい機能については操作パネルに表示しないようにすることができる。従って、多数のユーザーが複合機を共用する場合であっても、機能ごとの利用の可否を全ユーザーに周知徹底しなくても、確実にコスト管理などを実行することができる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2016-45788号公報
【文献】特開2009-110050号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、複合機の操作画面がカスタマイズされていると、カスタマイズされていないデフォルトの操作画面を想定して作成されたマニュアルを参照しても、複合機の操作の仕方を理解することができなくなる恐れがある。また、複合機の機能ごとの利用頻度がユーザーによって異なっていることも多いため、利用頻度が低い機能を利用する際に、操作のし方がすぐには分からない場合もあり得る。
【0006】
このような場合に、複合機のカスタマー・サービスを利用して操作方法を問い合わせることができればユーザーの利便性を向上させることができる。しかしながら、操作画面がカスタマイズされた結果、操作画面上のボタン等の配置や機能その他の名称が変更されている場合には、問い合わせを受けたカスタマー・エンジニア(CE)は操作画面のカスタイマイズ後の表示状態を知ることができないために、ユーザーからの問い合わせの内容を理解することが難しくなる場合がある。
【0007】
また、CEがデフォルトの操作画面の表示状態に基づいて操作方法を説明しても、ユーザーにとってCEの説明内容を理解することが難しい場合には、カスタマイズ後の操作画面を用いて所望の操作を実行することができない恐れがある。
【0008】
本発明は、上述のような問題に鑑みて為されたものであって、カスタマイズされた操作画面について遣り取りされるメッセージを理解し易くなるように変換することができるメッセージ変換システム、メッセージ変換方法およびメッセージ変換プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明に係るメッセージ変換システムは、被操作装置の操作パネルに表示した操作画面が利用者によりカスタマイズ自在であり、カスタマイズ後の操作画面とカスタマイズされる前のデフォルト画面とのうちの一方の操作画面に関するメッセージを他方の操作画面に関するメッセージに変換するメッセージ変換システムであって、デフォルト画面上に存在する操作項目ごとに、当該操作項目の名称およびその操作項目が操作された場合に被操作装置本体に対して行うこととなる動作制御の識別情報を取得する第1の取得手段と、カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の名称およびその操作項目が操作された場合に前記被操作装置に対して行うこととなる動作制御の識別情報を前記被操作装置から取得する第2の取得手段と、前記被操作装置本体に対する動作制御の識別情報ごとに、デフォルト画面上での操作項目の名称と、カスタマイズ後の操作画面上での操作項目の名称とを対応付けた対比表を作成する作成手段と、カスタマイズ後の操作画面とデフォルト画面とのうちの一方の操作画面についてのメッセージに含まれている操作項目の名称に対応する動作制御の識別情報を特定し、この特定した識別情報に対応する他方の操作画面の操作項目の名称を、前記対比表を参照して求め、前記メッセージ中に含まれている一方の操作画面の操作項目の名称を、他方の操作画面の操作項目の名称に置き換える置換手段と、を備えることを特徴とする。
【0010】
この場合において、前記動作制御の識別情報は、前記操作パネルに前記操作画面を表示するためのソースコードにおいて、当該動作制御の実行を前記被操作装置に要求するためのAPIライブラリ関数を指定する情報であってもよい。
【0011】
また、前記操作画面を表示するためのスクリプトは、HTMLおよびJavascript(登録商標)を用いて記述されており、前記第1、第2の取得手段は、inputタグ内のvalue属性で指定された文字列または当該inputタグの直前に記載された文字列を操作メニューの名称として特定し、前記inputタグのonclick属性で指定されたJavascript(登録商標)関数を前記動作制御の識別情報として特定してもよい。
【0012】
或いは、前記操作画面を表示するためのスクリプトは、HTMLおよびJavascript(登録商標)を用いて記述されており、前記第1、第2の取得手段は、inputタグ内のvalue属性で指定された文字列または当該inputタグの直前に記載された文字列を操作メニューの名称として特定し、前記inputタグのonclick属性で指定されたJavascript(登録商標)関数内で用いられているAPIライブラリ関数を前記動作制御の識別情報として特定してもよい。
【0013】
また、前記置換手段は、音声入力によって前記メッセージを受け付けてもよい。
【0014】
また、前記置換手段は、画面入力された操作指示から前記メッセージを生成してもよい。
【0015】
また、カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の位置情報を前記被操作装置から取得する第3の取得手段と、デフォルト画面についてのメッセージをカスタマイズ後の操作画面についてのメッセージに変換する場合に、前記置換手段による置き換え後のメッセージにおいて、カスタマイズ後の操作画面の操作項目の名称に対して当該操作項目の位置情報を追加する追加手段と、を備えるのが望ましい。
【0016】
また、前記置換手段による置き換え後のメッセージにおいて、カスタマイズ後の操作画面の操作項目の名称に対応する当該操作項目の位置情報が示す位置の表示内容を、前記被操作装置に強調表示させる強調表示手段を備えると好適である。
【0017】
また、前記置換手段による置き換え後のメッセージを、前記被操作装置に音声出力させる音声出力手段と、を備えてもよい。
【0018】
また、前記置換手段による置き換え後のメッセージを、前記被操作装置の操作画面にテキスト表示させるテキスト表示手段を備えてもよい。
【0019】
また、被操作装置の操作パネルに表示した操作画面に関するメッセージを変換するメッセージ変換システムであって、操作画面に表示される操作項目ごとに、当該操作項目の名称および位置情報を取得する取得手段と、メッセージを受け付ける受付手段と、受け付けたメッセージが前記操作項目の名称を含む場合には、当該操作項目の位置情報を特定し、当該位置情報を含むメッセージに変換する変換手段と、を備えてもよい。
【0020】
また、前記受付手段は、音声入力によって前記メッセージを受け付けてもよい。
【0021】
また、前記変換後のメッセージを音声出力する音声出力手段を備えてもよい。
【0022】
また、前記変換後のメッセージを、前記被操作装置の操作画面上にテキスト表示するテキスト表示手段を備えてもよい。
【0023】
また、前記変換手段が特定した前記位置情報が示す位置を、前記被操作装置の操作画面に表示してもよい。
【0024】
また、前記被操作装置は、画像形成装置であってもよい。
【0025】
また、本発明に係るメッセージ変換方法は、被操作装置の操作パネルに表示した操作画面が利用者によりカスタマイズ自在であり、カスタマイズ後の操作画面とカスタマイズされる前のデフォルト画面とのうちの一方の操作画面に関するメッセージを他方の操作画面に関するメッセージに変換するメッセージ変換方法であって、デフォルト画面上に存在する操作項目ごとに、当該操作項目の名称およびその操作項目が操作された場合に被操作装置本体に対して行うこととなる動作制御の識別情報を取得する第1の取得ステップと、カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の名称およびその操作項目が操作された場合に前記被操作装置に対して行うこととなる動作制御の識別情報を前記被操作装置から取得する第2の取得ステップと、前記被操作装置本体に対する動作制御の識別情報ごとに、デフォルト画面上での操作項目の名称と、カスタマイズ後の操作画面上での操作項目の名称とを対応付けた対比表を作成する作成ステップと、カスタマイズ後の操作画面とデフォルト画面とのうちの一方の操作画面についてのメッセージに含まれている操作項目の名称に対応する動作制御の識別情報を特定し、この特定した識別情報に対応する他方の操作画面の操作項目の名称を、前記対比表を参照して求め、前記メッセージ中に含まれている一方の操作画面の操作項目の名称を、他方の操作画面の操作項目の名称に置き換える置換ステップと、を含むことを特徴とする。
【0026】
また、本発明に係るメッセージ変換プログラムは、被操作装置の操作パネルに表示した操作画面が利用者によりカスタマイズ自在であり、カスタマイズ後の操作画面とカスタマイズされる前のデフォルト画面とのうちの一方の操作画面に関するメッセージを他方の操作画面に関するメッセージに変換するメッセージ変換方法をコンピューターに実行させるメッセージ変換プログラムであって、デフォルト画面上に存在する操作項目ごとに、当該操作項目の名称およびその操作項目が操作された場合に被操作装置本体に対して行うこととなる動作制御の識別情報を取得する第1の取得ステップと、カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の名称およびその操作項目が操作された場合に前記被操作装置に対して行うこととなる動作制御の識別情報を前記被操作装置から取得する第2の取得ステップと、前記被操作装置本体に対する動作制御の識別情報ごとに、デフォルト画面上での操作項目の名称と、カスタマイズ後の操作画面上での操作項目の名称とを対応付けた対比表を作成する作成ステップと、カスタマイズ後の操作画面とデフォルト画面とのうちの一方の操作画面についてのメッセージに含まれている操作項目の名称に対応する動作制御の識別情報を特定し、この特定した識別情報に対応する他方の操作画面の操作項目の名称を、前記対比表を参照して求め、前記メッセージ中に含まれている一方の操作画面の操作項目の名称を、他方の操作画面の操作項目の名称に置き換える置換ステップと、をコンピューターに実行させることを特徴とする。
【発明の効果】
【0027】
このようにすれば、メッセージ中のカスタマイズ画面の操作項目の名称をデフォルト画面の操作項目の名称に置き換えるので、CEは、カスタマイズ画面を知らなくても、ユーザーからの問い合わせメッセージの内容を理解することができる。また、メッセージ中のデフォルト画面の操作項目の名称をカスタマイズ画面の操作項目の名称に置き換えるので、デフォルト画面を用いた操作指示をメッセージ送信すれば、カスタマイズ画面を用いた操作指示をユーザーに伝えることができる。
【図面の簡単な説明】
【0028】
【
図1】本発明の実施の形態に係るメッセージ変換システム1のシステム構成を示す図である。
【
図2】メッセージ変換システム1の典型的な動作を説明するシーケンス図である。
【
図3】複合機110の主要な構成を示す外観斜視図である。
【
図4】制御部300の主要な構成を示すブロック図である。
【
図5】問い合わせの送信に関する制御部300の主要な動作を示すフローチャートである。
【
図6】仲介サーバー100の主要な構成を示すブロック図である。
【
図7】仲介サーバー100の主要な動作を示すフローチャートである。
【
図8】仲介サーバー100による対比表作成処理を説明するフローチャートである。
【
図9】PC120の主要な構成を示すブロック図である。
【
図10】PC120の主要な動作を示すフローチャートである。
【
図11】メッセージ変換システム1の動作例を示すシーケンス図である。
【
図12】(a)はカスタマイズ画面の一例として簡単コピー画面を示す図であり、(b)は簡単コピー画面に関連する詳細設定を行わせる簡単コピー/詳しく画面を例示する図である。
【
図13】簡単コピー画面のソースコードの一部を例示する図である。
【
図14】簡単コピー画面および簡単コピー/詳しく画面の画面名称、UI名称、UI位置およびAPIライブラリ関数を一覧するUI名称一覧表を示す図である。
【
図15】(a)はデフォルト画面の一例としてコピー操作画面を示す図であり、(b)はコピー操作画面に関連する詳細設定を行わせるコピー/詳細画面を例示する図である。
【
図16】コピー操作画面およびコピー/詳細画面の画面名称、UI名称およびAPIライブラリ関数を一覧するUI名称一覧表を示す図である。
【
図18】メッセージ変換システム1の別の動作例を示すシーケンス図である。
【
図19】本発明の変形例に係る複合機110の主要な動作を示すフローチャートである。
【
図20】本発明の変形例に係る複合機110が実行するUI名称一覧表作成処理を説明するフローチャートである。
【
図21】(a)は強調表示を行った操作画面を例示する図であり、(b)は応答テキストを表示した操作画面を例示する図である。
【発明を実施するための形態】
【0029】
以下、本発明に係るメッセージ変換システム、メッセージ変換方法およびメッセージ変換プログラムの実施の形態について、図面を参照しながら説明する。
[1]メッセージ変換システムの構成
まず、本実施の形態に係るメッセージ変換システムのシステム構成について説明する。
【0030】
図1に示すように、本実施の形態に係るメッセージ変換システム1は、オフィス112に設置された複合機(MFP: Multi-Function Peripheral)110、インターネット130に接続された仲介サーバー100およびサービス・センター122に設置されたパーソナル・コンピューター(PC)120を備えており、複合機110およびPC120もまたインターネット130に接続されている。
【0031】
複合機110は、操作パネル111を備えている。操作パネル111は、液晶ディスプレイ(LDC: Liquid Crystal Display)とタッチパッドとからなるタッチパネルを備えており、ユーザーに対して情報を提示したり、ユーザーから指示入力を受け付けたりする。操作パネル111の液晶ディスプレイに表示される操作画面は、ユーザーがカスタマイズすることができる。
【0032】
操作パネル111は、タッチパネルの他、ハードキー、マイクロおよびスピーカーを備えており、マイクロを用いてユーザーから音声指示を受け付けたり、スピーカーを用いてユーザーに対する音声出力を行ったりすることができる。また、ハードキーのうちの1つは音声ガイドキーになっている。ユーザーが当該音声ガイドキーを押下すると、サービス・センター122から音声によるカスタマー・サービスを受けることができる。
【0033】
サービス・センター122のPC120にはヘッドセット121が接続されている。ヘッドセット121はスピーカーとマイクとを備えており、サービス・センター122のカスタマー・エンジニア(CE)はヘッドセット121を装着することによって、複合機110のユーザーに音声によるカスタマー・サービスを提供することができる。
[2]メッセージ変換手順
次に、メッセージ変換システム1のメッセージ変換手順について説明する。
【0034】
図2に示すように、複合機110は、音声ガイドキーが押下され、ユーザーから音声による問い合わせを受け付けると、当該問い合わせの音声データを仲介サーバー100へ送信する。複合機110の操作パネル111の液晶ディスプレイに表示される操作画面は、ユーザーによってカスタマイズされており、当該音声による問い合わせは、カスタマイズ後の操作画面(以下、「カスタマイズ画面」という。)に表示される名称(カスタマー名称)を含んでいる可能性がある。
【0035】
問い合わせを受けた仲介サーバー100は、複合機110に対して、操作パネル111の液晶ディスプレイに操作画面を表示するためのソースコードを要求する。本実施の形態においては、当該ソースコードはHTML(HyperText Markup Language)で記述されているが、他の言語で記述されていてもよい。仲介サーバー100からの要求に対して、複合機110はユーザーがカスタマイズした操作画面のソースコードを仲介サーバー100に送信する。
【0036】
仲介サーバー100は、複合機110からソースコードを受け付けると、当該ソースコードの内容を精査して、ユーザー・インターフェイス(UI)毎に、デフォルトの操作画面(以下、「デフォルト画面」という。)における名称(以下、「デフォルト名称」という。)と、カスタマイズ画面における名称(以下、「カスタイマイズ名称」という。)と、を対比する対比表を作成する。
【0037】
次いで、仲介サーバー100は、複合機110から受けた問い合わせ中のUI名称を、対比表で当該UI名称に対応するデフォルト画面のUI名称に置き換えて、置換後の問い合わせ音声データをPC120へ送信する。置換後の問い合わせ音声データを受け付けると、PC120はヘッドセット121のスピーカーを用いて当該音声を再生出力し、サービス・センター122のCEに聴かせる。
【0038】
当該再生出力に先立って、PC120は、問い合わせ音声データを受信した旨を画面表示や音声出力によってCEに報知し、当該報知を受けたCEが問い合わせ音声の再生を指示してもよい。
【0039】
その後、PC120は、音声入力によって、CEからの応答を受け付けると、当該応答音声データを仲介サーバー100へ送信する。CEは、ユーザー側のカスタマイズ画面のUI名称を知り得ないので、応答音声においてはデフォルト画面のUI名称が使用される。
【0040】
応答音声データを受信すると、仲介サーバー100は、対応表を参照して、応答音声で使用されているデフォルト画面のUI名称をカスタマイズ画面のUI名称に置き換える。仲介サーバー100は、更に、カスタマイズ画面のUI名称に当該UIの表示位置情報を追加して、置換および追加後の応答音声データを複合機110へ送信する。
【0041】
複合機110は、応答音声データを受信すると、操作パネル111のスピーカーを用いて当該応答音声を再生出力する。
【0042】
このようにすれば、ユーザーからの問い合わせに対して、複合機110の操作画面がカスタマイズされていても、当該カスタマイズ画面を用いてユーザー操作を行うための操作指示を生成して、ユーザーに報知することができる。
[3]複合機110の構成と動作
次に、複合機110の構成と動作について説明する。
(3-1)複合機110の構成
図3に示すように、複合機110は、画像形成部301、給紙部302、画像読み取り部303、操作パネル111および後処理部306等を備えており、画像形成処理、複写処理、ファクシミリ送受信処理などの処理を実行する。画像形成部301には、制御部300、作像部および定着部(いずれも不図示)が搭載されており、制御部300はインターネット130およびファクシミリ回線(不図示)に接続されている。
【0043】
操作パネル111は、液晶ディスプレイ(LCD: Liquid Crystal Display)とタッチパッドを有するタッチパネル311、スピーカー312、マイク313および音声ガイドキー314を備えており、複合機110のユーザーに対する情報提示や、ユーザーによるタッチ入力およびキー入力の受け付け、警報音の鳴動によるユーザーの注意喚起などを行う。
【0044】
複合機110のユーザーが操作パネル111を操作することによって複合機110に画像形成処理を指示したり、制御部300にて他の装置から印刷ジョブを受け付けたりした場合、画像形成部301は、作像部にてモノクロ又はカラーのトナー像を形成する。
【0045】
当該トナー像の形成と並行して、給紙部302が記録シートを供給すると、画像形成部301は当該記録シートにトナー像を転写した後、定着部にてトナー像を記録シートに熱定着する。両面印刷を行う場合には、記録シートを再給紙経路へ搬送し、表裏を反転させて、記録シートの裏面にトナー像を転写し、熱定着する。トナー像の熱定着を完了した記録シートは、後処理を行わない場合には、胴内空間に設けられた排紙トレイ305へ排出される。
【0046】
後処理を行う場合には、画像形成部301は記録シートを後処理装置306へ排出する。後処理装置306は、折り、パンチ、綴じ、断裁、挿入、ステープル、スタック等の後処理を記録シートに施した後、後処理装置306の側面から突出するように設けられた排紙トレイ307へ排出する。排紙トレイ307は複数のトレイからなっている。
【0047】
原稿の読み取り処理や複写処理、ファクシミリ送信処理などを実行する際には、画像読み取り部303がカラー原稿またはモノクロ原稿を読み取って画像データを生成する。画像読み取り部303は、プラテンセット方式に従ってプラテンガラス上に載置された原稿を読み取ってもよいし、シートスルー方式に従って自動原稿搬送装置(ADF: Automatic Document Feeder)で原稿を搬送しながら、原稿の片面または両面を読み取ってもよい。
【0048】
複写処理の場合は、読み取った画像データを用いて画像形成部301が画像形成を実行する。ファクシミリ送信処理の場合は、読み取った画像データを送信先のファクシミリ装置とネゴシエーションした解像度でファクシミリ送信する。制御部300はファクシミリ回線を経由してファクシミリ・データを受信することもできる。
【0049】
なお、給紙部302は、複数の給紙トレイを備えており、ユーザーが指定した給紙トレイ、またはユーザーが給紙トレイを指定しなかった場合には優先指定されている給紙トレイから記録シートを供給する。
(3-2)制御部300の構成
次に、制御部300の構成と動作について説明する。
【0050】
図4に示すように、制御部300は、CPU(Central Processing Unit)401、ROM(Read Only Memory)402、RAM(Random Access Memory)403等を備えており、複合機110に電源が投入されると、CPU401はROM402からブートプログラムを読み出して、RAM403を作業用記憶領域として起動する。その後、CPU401はHDD(Hard Disk Drive)404からOSや制御プログラムを読み出して実行する。
【0051】
NIC(Network Interface Card)405は、CPU401がインターネット130を経由して仲介サーバー100にアクセスするための通信処理を実行する。FAXインターフェイス406は、ファクシミリ回線を経由したファクシミリ・データの送受信を実行する。
【0052】
画像形成処理を実行する際には、CPU401は、作像部411を制御してモノクロまたはカラーのトナー像を形成し、定着部412を温度制御しながら記録シートにトナー像を熱定着する。また、CPU401は、給紙部502を制御してユーザーが指定した記録シートを給紙させる。
【0053】
CPU401は、操作パネル504を用いて、ユーザーに情報を表示したり、ユーザーからの指示入力を受け付けたりする。更に、CPU401は、後処理部506を制御して、折り、パンチ、綴じ、断裁、挿入、ステープル、スタック等の後処理を記録シートに施して、排紙トレイ507上に排出する。
(3-3)制御部300の動作
図5に示すように、制御部300は、音声ガイドキー314が押下されたら(S501:YES)、ユーザーからマイク313にて問い合わせの音声入力を受け付けて(S502)、受け付けた問い合わせの音声データを、インターネット130を経由して仲介サーバー100へ送信する(S503)。複合機110のユーザーは、カスタマイズ画面に表示されたUI名称を使用して当該問い合わせを行うことができる。
【0054】
その後、仲介サーバー100からソースコードの要求を受け付けると(S504:YES)、当該処理要求に応じてカスタマイズしたソースコードを仲介サーバー100へ送信する(S505)。このとき、ソースコードと併せて、複合機110の機種を識別するための識別情報を仲介サーバーへ送信する。
【0055】
更に、仲介サーバー100から応答の音声データを受信したら(S506:YES)、当該応答をスピーカー312にて応答を音声出力する(S507)。当該応答にはカスタマイズ画面に表示されたUI名称が使用されているので、複合機110のユーザーがカスタマイズ画面を用いて操作を行う際に便利である。
[4]仲介サーバー100の構成と動作
次に、仲介サーバー100の構成と動作について説明する。
(4-1)仲介サーバー100の構成
次に、仲介サーバー100の構成と動作について説明する。
【0056】
図6に示すように、仲介サーバー100は、CPU(Central Processing Unit)601、ROM(Read Only Memory)602、RAM(Random Access Memory)603等を備えており、電源が投入されると、CPU601はROM602からブートプログラムを読み出して、RAM603を作業用記憶領域として起動する。その後、CPU601はHDD(Hard Disk Drive)604からOSや制御プログラムを読み出して実行する。
【0057】
NIC(Network Interface Card)605は、CPU601がインターネット130を経由して複合機110およびPC120にアクセスするための通信処理を実行する。HDD604は複合機110の機種ごとに、デフォルト画面の名称および当該デフォルト画面に表示されるUI名称にonclick要素またはAPIライブラリ関数を対応付けた一覧表を予め記憶している。
(4-2)仲介サーバー100の動作
図7に示すように、仲介サーバー100は、複合機110から問い合わせ音声データを受信したら(S701:YES)、当該問い合わせ音声に含まれたUI名称をカスタマイズ画面のUI名称からデフォルト画面のUI名称に置換するために、複合機110の操作パネル111にカスタマイズ画面を表示するためのソースコードを要求する(S702)。当該ソースコードは、本実施の形態においてはHTMLで記述されているが、他の言語で記述されていてもよい。
【0058】
複合機110からソースコードを受信すると(S703:YES)、仲介サーバー100は、当該ソースコードを後述のように解析して対比表を作成する対比表作成処理を実行する(S704)。また、仲介サーバー100は、音声認識技術を用いて、問い合わせの音声データ(問い合わせメッセージ)をテキストデータに変換し(S705)、当該テキストデータを単語ごとに分節して、名詞を抽出する。
【0059】
そして、抽出した名詞が、カスタマイズ画面のUI名称または画面名称として対比表に記載されているか確認して、記載されている場合には名詞を当該カスタマイズ画面のUI名称または画面名称に対応するデフォルト画面のUI名称または画面名称に置き換える(S706)。仲介サーバー100は、置換後のテキストデータ(置換後の問い合わせメッセージ)から音声データを合成して、PC120へ送信する(S707)。
【0060】
PC120から応答の音声データを受信すると(S708:YES)、仲介サーバー100は、音声認識技術を用いて、応答の音声データ(応答メッセージ)をテキストデータに変換する(S709)。そして、上記と同様に対比表を用いて、当該テキストデータに含まれているデフォルト画面のUI名称および画面名称をカスタマイズ画面のUI名称および画面名称に置き換えるとともに、UI名称に当該UIの位置を追加する(S710)。
【0061】
例えば、応答テキストデータが「コピーのステープル」であって、対比表において、画面名称は「コピー」に「簡単コピー」が対応し、UI名称は「ステープル」に「ホッチキス」が対応し、「ホッチキス」に対応するUI位置が「右の2番目」である場合には、「簡単コピーの右の2番目のホッチキス」のようにUI名称および画面名称を置換し、UI位置を追加する。
【0062】
仲介サーバー100は、音声合成技術を用いて、最後に、置換および追加後のテキストデータ(置換および追加後の応答メッセージ)から音声データを合成し、合成した音声データを複合機110へ送信する(S711)。
(4-3)対比表作成処理
仲介サーバー100が実行する対比表作成処理について説明する。
【0063】
対比表作成処理においては、
図8に示すように、仲介サーバー100は、ソースコードを参照して、画面名称を取得する(S801)。本実施の形態においては、ソースコード中の<title>タグを用いて画面名称が指定されており、当該<title>タグを検出することによって画面名称を特定する。次に、操作画面上の上下方向におけるUI位置を表す作業用変数Rowの値を0に初期化する(S802)。
【0064】
そして、ソースコードを先頭から順に探索して、<div>タグを取得する(S803)。取得した<div>タグがtable属性である場合には(S804:YES)、ステップS803へ進む。取得した<div>タグの属性がrowである場合には、言い換えると<div>タグのclassが「row」ならば(S805:YES)、テーブル内で格子状に配列されたUI位置の新しい行が開始されたと判断して、作業用変数Rowの値を1だけ増加させるとともに、左右方向におけるUI位置を表す作業用変数Columnの値を0にし(S812)、ステップS803へ進む。
【0065】
取得した<div>タグが<input>タグを含んでいない場合は(S806:NO)、<div>タグに含まれている文字列をUI名称として取得する(S813)。一方、取得した<div>タグが<input>タグを含んでいたら(S806:YES)、onclick要素を取得する(S807)。なお、ソースコードの冒頭で、javascript(登録商標)を用いてonclick要素が定義されている場合には、onclick要素に代えて、onclick要素の当該定義の中に記載されているAPIライブラリ関数の名称を取得してもよい。
【0066】
その後、作業用変数Columnの値を1だけ増加させ(S808)、デフォルト画面に関する一覧表を参照して、ステップS808で取得したonclick要素またはAPIライブラリ関数の名称に対応するデフォルト画面のUI名称と画面名称とを取得する(S809)。そして、カスタマイズ画面のUI名称、画面名称、onclick要素およびUIの表示位置情報(作業用変数Row、Columnの値)と、デフォルト画面のUI名称および画面名称とを対比表に記録する(S810)。
【0067】
更に、ソースコードを参照して、EOF(End of File)ならば(S811:YES)、対比表作成処理を終了する。EOFでなければ(S811:NO)、ステップS803へ進む。
[5]PC120の構成と動作
次に、PC120の構成と動作について説明する。
(5-1)PC120の構成
次に、PC120の構成と動作について説明する。
【0068】
図9に示すように、PC120は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903等を備えており、電源が投入されると、CPU901はROM902からブートプログラムを読み出して、RAM903を作業用記憶領域として起動する。その後、CPU901はHDD(Hard Disk Drive)904からOSや制御プログラムを読み出して実行する。
【0069】
NIC(Network Interface Card)905は、CPU901がインターネット130を経由して仲介サーバー100にアクセスするための通信処理を実行する。液晶ディスプレイ906はCEに問い合わせの入着を報知するなど、情報を提示するキーボード907およびマウス908はCEがPC120に情報を入力したり処理を指示したりするために用いられる。
【0070】
ヘッドセット121は、マイク901とスピーカー911を備えており、スピーカー911を用いて問い合わせを音声出力したり、マイク901を用いて応答を音声入力したりするのに用いられる。
(5-2)PC120の動作
図10に示すように、PC120は、仲介サーバー100から問い合わせ音声データを受信したら(S1001:YES)、液晶ディスプレイ906にて画面表示をしたり、スピーカー911から呼び出し音を出力したりして、問い合わせの入着を報知する(S1002)。これに対して、CEがPC120に問い合わせ音声の再生を指示すると(S1003:YES)、PC120はスピーカー911を用いて問い合わせ音声を再生する(S1004)。
【0071】
その後、PC120は、CEから応答の音声入力を受け付けると(S1005:YES)、当該応答の音声データを仲介サーバー100へ送信する(S1006)。
[6]動作例
次に、例を挙げて本実施の形態に係るメッセージ変換システム1の動作を説明する。
(6-1)動作の概要
本動作例は、
図11に示すように、まず、複合機110のユーザーが音声ガイドキー314を押下して、「ホッチキスのとめ方を教えて」との問い合わせを音声入力すると、複合機110は当該音声データを仲介サーバー100に送信する。
【0072】
仲介サーバー100は、当該音声データにカスタマイズ画面のUI名称や画面名称が含まれていたら、デフォルト画面のUI名称や画面名称に置き換える。本動作例では、カスタマイズ画面におけるUI名称である「ホッチキス」がデフォルト画面のUI名称である「ステープル」に置き換えられる。この置換によって、問い合わせ音声が「ホッチキスのとめ方を教えて」から「ステープルのとめ方を教えて」に変更される。仲介サーバー100は、置換後の問い合わせ音声データをサービス・センター122のPC120へ送信する。
【0073】
サービス・センター122のPC120は、受信した問い合わせ音声を再生して、CEに聴かせた後、当該CEから応答の音声入力を受け付ける。本動作例では、応答の音声は「ステープルを有効にして下さい」というものである。PC120は、応答の音声を受け付けると、当該音声データを仲介サーバー100へ送信する。
【0074】
仲介サーバー100は、PC120から応答の音声データを受信すると、当該音声データに含まれているデフォルト画面のUI名称や画面名称をカスタマイズ画面のUI名称や画面名称に置き換えるとともに、カスタマイズ画面のUI名称に当該UIの表示位置情報を追加する。これによって、「ステープルを有効にして下さい」が「簡単コピー画面の右の2番目のホッチキスを有効にして下さい」に変更される。仲介サーバー100は、置換及び追加後の応答の音声データを複合機110へ送信する。
(6-2)カスタマイズ画面
本動作例に係るカスタマイズ画面は、
図12(a)に示すように、コピー操作を行うための操作画面であって、画面名称は「簡単コピー」である。「簡単コピー」画面の1行目第1列のUI1201のUI名称は「色」であり、第2列のUI1202のUI名称は「Nup」である。第2行第1列のUI1203のUI名称は「部数」であり、第2列のUI1204のUI名称は「ホッチキス」であって、各項目について設定を行うことができる。
【0075】
第3列の左側部分には「詳しく」ボタンが設けられており、「詳しく」ボタンがタッチされると、「簡単コピー/詳しく」画面が表示される。また、右側部分には「開始」ボタンが設けられており、「開始」ボタンがタッチされると、複合機110がコピー動作を開始する。
【0076】
「簡単コピー/詳しく」画面は、
図12(b)に示すように、「簡単コピー」画面に関する詳細設定を行うための画面である。「簡単コピー/詳しく」画面には、「原稿種別」、「原稿サイズ」、「枠消し」、「印刷サイズ」、「白紙除去」、「パンチ」、「メディア」、「綴じ方向」などのUI名称が表示されており、各項目について設定を行うことができる。
【0077】
また、「簡単コピー/詳しく」画面の右下には「cancel」ボタンおよび「OK」ボタンが配置されている。「cancel」ボタンがタッチされると、「簡単コピー/詳しく」画面を表示させてから当該操作画面の各項目について行った設定が無効にされ、「簡単コピー」画面へ復帰する。一方、「OK」ボタンがタッチされると、「簡単コピー/詳しく」画面を表示させてから当該操作画面の各項目について行った設定が有効にされ、「簡単コピー」画面へ復帰する。
【0078】
カスタマイズ画面「簡単コピー」を表示するためのソースコードは、
図13に示すように、<title>タグを用いて画面名称1301である「簡単コピー」が記述されている。続いて、<head>タグ内の更に<script>タグ内にjavascript(登録商標)を用いてOnButton1Click()などのonclick関数が定義されている。図示は省略するが、この定義には複合機110のAPIライブラリ関数が使用される。
【0079】
更に、下方には、<div>タグ1304を用いて、罫線を伴わない表である旨が宣言され、更に、<div>タグ1305を用いて、UIが1行に配置される旨が宣言された後、1つ目のUIのUI名称1306である「色」が記載されている。同様に、UI名称1307、1309および1310は「Nup」、「部数」および「ホッチキス」である。
【0080】
なお、UI名称1307、1309の間で<div>タグ1308によって、新たな行が宣言されているので、UI名称1306、1307と、UI名称1309、1310とは異なる行に配置される。
【0081】
UI名称1310の「ホッチキス」に対応する<input>タグはonclick要素1311として、OnButton4Click()が記載されている。また、上方の<script>タグ内では当該OnButton4Click()の内容が定義されており、当該定義を参照することによって、UI名称1310に対応するAPIライブラリ関数を特定することができる。
【0082】
ソースコードの末尾はEOF1312になっている。
【0083】
図14は、
図13に例示した「簡単コピー」画面のソースコードおよび「簡単コピー/詳しく」画面のソースコード(図示省略)に基づいて作成したUI一覧表である。UI一覧表では、API毎に、当該APIに対応する画面名称、UI名称およびUI位置が記録される。例えば、「簡単コピー」画面の「右の2番目」に表示され、UI名称が「ホッチキス」のUIは「API_Staple」というAPIライブラリ関数に対応付けて記録されている。
【0084】
なお、API欄に代えてonclick要素欄を設けてonclick要素の名称を記録してもよい。この場合、例えば、UI名称「ホッチキス」に対応するAPIライブラリ関数「API_Staple」に代えて、onclick要素の名称「OnButton4Click」が記録される。
(6-3)デフォルト画面
デフォルト画面の一例として、APIライブラリ関数「API_Staple」に対応するUI名称「ステープル」が表示される「コピー」画面を
図15(a)に示す。「コピー」画面には、「原稿サイズ」、「Nup」、「用紙サイズ」、「ステープル」、「カラー」、「パンチ」、「部数」、「綴じ方向」等のUI名称が表示されており、各項目について設定を行うことができる。また、「コピー」画面の左下部分には「コピー」画面に関する詳細設定を行うデフォルト画面である「コピー/詳細」画面を表示するための「詳細」ボタンが設けられている。また、「開始」ボタンは複合機110にコピーを開始させるためのボタンである。
【0085】
図15(b)に示すように、「コピー/詳細」画面には「原稿種別」、「枠消し」、「白紙除去」、「メディア」等のUI名称が表示されており、各項目について設定を行うことができる。「cancel」ボタンは、「簡単コピー/詳しく」画面を表示させてから当該操作画面の各項目について行った設定が無効にされ、「簡単コピー」画面へ復帰するボタンである。「OK」ボタンは、「簡単コピー/詳しく」画面を表示させてから当該操作画面の各項目について行った設定が有効にされ、「簡単コピー」画面へ復帰するボタンである。
【0086】
図16は、デフォルト画面「コピー」、「コピー/詳細」に関するUI一覧表である。
図16のUI一覧表では、例えば、APIライブラリ関数「API_Staple」に対応するUI名称として「ステープル」、画面名称として「コピー」が記録されている。
(6-4)対比表
対比表は、
図17に示すように、デフォルト画面のUIとカスタマイズ画面のUIとをAPIライブラリ関数をキーとして対応付ける表である。「デフォルト画面」欄は、「画面名称」、「UI名称」の2つの欄からなっており、「カスタマイズ画面」欄は、「画面名称」、「UI名称」に加えて「UI位置」の3つの欄からなっており、いずれの欄にも「APIライブラリ関数」欄に記載されたAPIライブラリ関数に対応する画面名称、UI名称およびUI位置が記録される。
【0087】
例えば、「APIライブラリ関数」欄が「API_Staple」である場合には、「デフォルト画面」欄の「画面名称」欄は「コピー」、「UI名称」は「ステープル」である。また、「カスタマイズ画面」欄の「画面名称」欄は「簡単コピー」であり、「UI名称」欄は「ホッチキス」であり、「UI位置」欄は「右の2番目」である。
【0088】
このような対比表を用いれば、例えば、置換前の問い合わせテキストが「ホッチキス」ならば、「カスタマイズ画面」欄の「UI名称」欄の「ホッチキス」に対応する「デフォルト画面」欄の「UI名称」欄を参照して、問い合わせテキスト中の「ホッチキス」を「ステープル」に置き換えることができる。
【0089】
逆に、置換前の応答テキストが「ステープル」ならば、「デフォルト画面」欄の「UI名称」欄の「ステープル」に対応する「カスタマイズ画面」欄の「UI名称」欄を参照して、応答テキスト中の「ステープル」を「ホッチキス」に置き換えることができる。
(6-5)別の動作例
図18は、本実施の形態に係るメッセージ変換システム1の別の動作例を示すシーケンス図である。
【0090】
図18に示すように、複合機110のユーザーが、音声ガイドキー314を押下して、「バインダーに綴じれるように穴をあけてほしい。印刷されないページは消して。」との問い合わせ音声を、マイク313を用いて入力すると、当該問い合わせ音声を受信した仲介サーバー100は、複合機110からソースコードを取得して対比表を作成し、問い合わせ音声の置換を試みる。しかしながら、当該問い合わせ音声にはUI名称が含まれていないので、仲介サーバー100は、問い合わせ音声をそのままサービス・センター122のPC120へ送信する。
【0091】
なお、この場合において、複合機110から受信した問い合わせ音声を一旦、テキストデータに変換した後、当該テキストデータから音声データを合成してPC120へ送信してもよいし、置換すべきUI名称が含まれていないので、複合機110から受信した問い合わせ音声をそのままPC120へ送信してもよい。
【0092】
この問い合わせに対して、サービス・センター122のCEが「用紙サイズはA4で縦の原稿でよいですか?」と応答すると、当該応答の音声データを受信した仲介サーバー100は、対比表を参照して、UI名称の置換を試みるが、当該応答音声にはUI名称が含まれていないので、仲介サーバー100は、応答音声をそのまま複合機110へ送信する。
【0093】
複合機110は、応答音声データを受信して、再生出力すると、複合機110のユーザーは、「はい」と音声入力するので、これを問い合わせ音声として仲介サーバー100へ送信する。子の問い合わせ音声もまた置換すべきUI名称が含まれていないので、仲介サーバー100は当該問い合わせ音声データをPC120へ送信する。
【0094】
この場合において、複合機110のユーザーから1回目の問い合わせ音声と2回目の問い合わせ音声とが、仲介サーバー100が受信した時間間隔が所定の時間間隔以下である等、互いに関連すると判断される場合には、仲介サーバー100は、2回目の問い合わせ音声を受信しても、複合機110へのソースコードの要求を省略し、1回目の問い合わせ音声を受信した際に作成した対比表を継続して使用してもよい。
【0095】
このようにすれば、同じソースコードを用いて同じ対比表を作成するという無駄な処理を省くことができるので、仲介サーバー100および複合機110の処理負荷を低減することができる。また、複合機110のユーザーが問い合わせてからサービス・センター122のCEが応答するまでの応答時間を短縮することができるので、複合機110のユーザーにとっての利便性を向上させることができる。
【0096】
サービス・センター122のCEは、複合機110のユーザーから「はい」との問い合わせ音声を受信すると、「用紙をA4縦に、綴じ方向を長辺綴じに、白紙除去を有効に、ステープルを長辺2点綴じに、パンチを2穴に設定して下さい。」との応答を音声入力して、当該応答音声データを仲介サーバー100へ送信する。
【0097】
当該応答音声データを受信した仲介サーバー100は、対比表を参照して、「デフォルト画面」欄の「UI名称」欄に記載されている「ステープル」および「白紙除去」を「カスタマイズ画面」欄の「UI名称」欄の「ホッチキス」および「白紙削除」に置き換える。一方、「綴じ方向」および「パンチ」は、「デフォルト画面」欄の「UI名称」欄と「カスタマイズ画面」欄の「UI名称」欄とで同じであるため置き換えない、若しくは置き換えても変化しない。
【0098】
当該置き換え後に、「カスタマイズ画面」欄の「UI名称」欄に記載されている「綴じ方向」に「カスタマイズ画面」欄の「画面名称」欄の「簡単コピー/詳しく」と、「UI位置」欄の「右の4番目」との語を追加して、「簡単コピー/詳しく画面の右の4番目の綴じ方向」とする。
【0099】
「カスタマイズ画面」欄の「UI名称」欄に記載されている「白紙除去」については、「カスタマイズ画面」欄の「画面名称」欄の「簡単コピー/詳しく」と、「UI位置」欄の「左の3番目」との語を追加して、「簡単コピー/詳しく画面の左の3番目の白紙削除」とする。
【0100】
「カスタマイズ画面」欄の「UI名称」欄に記載されている「ホッチキス」については、「カスタマイズ画面」欄の「画面名称」欄の「簡単コピー」と、「UI位置」欄の「右の2番目」との語を追加して、「簡単コピー/詳しく画面の右の2番目のホッチキス」とする。
【0101】
「カスタマイズ画面」欄の「UI名称」欄に記載されている「パンチ」については、「カスタマイズ画面」欄の「画面名称」欄の「簡単コピー/詳しく」と、「UI位置」欄の「右の3番目」との語を追加して、「簡単コピー/詳しく画面の右の3番目のパンチ」とする。
【0102】
このように置換および追加した応答音声データを、仲介サーバー100は、複合機110へ送信する。応答音声データを受信した複合機110は、当該応答音声を再生出力する。
【0103】
以上のように、問い合わせ音声や応答音声は必ずしもUI名称を含んでいるとは限らないが、本実施の形態に係るメッセージ変換システム1によれば、問い合わせ音声や応答音声がUI名称を含んでいない場合であっても、複合機110のユーザーとサービス・センター122のCEとの会話を阻害することなく、円滑に進行させることができる。
[7]変形例
以上、本発明を実施の形態に基づいて説明してきたが、本発明が上述の実施の形態に限定されないのは勿論であり、以下のような変形例を実施することができる。
(7-1)上記の実施の形態においては、複合機110のユーザーからの問い合わせに対してサービス・センター122のCEが応答する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて、次のようにしてもよい。
【0104】
例えば、複合機110のユーザーの問い合わせに対して、複合機110自体が応答してもよい。
図19に示すように、複合機110は、予めUI名称の一覧表を作成し(S1901)、音声ガイドキー314が押下されたら(S1902:YES)、複合機110はガイド音声を出力して(S1903)、ユーザーから問い合わせの音声入力を受け付ける(S1904)。ガイド音声は、例えば、「知りたい操作名を教えて下さい。」である。
【0105】
次に、複合機110は、受け付けた問い合わせ音声をテキストデータに変換し(S1905)、得られたテキストデータからUI名称を取得する(S1906)。例えば、「ホッチキス」という問い合わせ音声を受け付けた場合には、当該問い合わせ音声をテキストデータに変換して、当該テキストデータを分節し、UI名称一覧表に該当する語が含まれているか確認する(S1907)。UI名称一覧表は、例えば、
図14に例示したような表である。
【0106】
UI名称一覧表に該当する語が含まれていなければ(S1908:NO)、該当するUI名称が無い旨を音声出力によって通知する(S1913)。当該音声出力は、例えば、「お問い合わせの操作名はサポートされておりません。」というものである。
【0107】
UI名称一覧表に該当する語が含まれている場合には(S1908:YES)、当該UI名称に対応する画面名称とUI位置を取得して(S1909)、応答テキストを作成する(S1910)。例えば、UI名称が「ホッチキス」で、画面名称が「簡単コピー」、UI位置が「右の2番目」である場合には、「簡単コピー画面の右の2番目のホッチキスを設定して下さい」という応答テキストが作成される。
【0108】
その後、複合機110は、当該応答テキストから音声データを音声合成して(S1911)、得られた音声データをスピーカー312から音声出力して(S1912)、ステップS1902へ進み、次の問い合わせを待つ。
【0109】
なお、ステップS1901のUI名称一覧表作成処理においては、
図20に示すように、複合機110は、
図13に例示したようなソースコード毎に、画面名称を取得し(S2001)、作業用変数Row、Columnの値をともに0に初期化し、<div>タグを取得し(S2003)、<div>タグがtable属性である場合には(S2004:YES)、ステップS2003へ戻って、次の<div>タグを取得する。
【0110】
<div>タグがtable属性でない場合であって(S2004:NO)、かつrow属性である場合には(S2005:YES)、作業用変数Rowの値を1だけ増加させるとともに、作業用変数Columnの値を0にして(S2011)、次の<div>タグを取得する(S2003)。<div>タグがrow属性でない場合であって、かつ<input>タグを含んでいない場合には(S2006:NO)、<div>タグ内の文字列をUI名称として取得し(S2012)、次の<div>タグを取得する(S2003)。
【0111】
<div>タグが<input>タグを含んでいる場合には(S2006:YES)、APIライブラリ関数としてonclick要素を取得する(S2007)。このonclick要素は、ソースコード冒頭の<head>タグ部分に記述されたjavascript(登録商標)を参照して、APIライブラリ関数に置き換えてもよい。更に、作業用変数Columnの値を1だけ増加させる(S2008)。
【0112】
このようにして取得したUI名称、画面名称、APIライブラリ関数および作業用変数RowおよびColumnの値から定まるUI位置をUI名称一覧表に記録する(S2009)する。その後、EOFでなければ(S2010:NO)、ステップS2003へ進んで、上記の処理を繰り返す。また、EOFであれば(S2010:YES)、当該ソースコードに関するUI名称一覧表の作成処理を終了する。
【0113】
このようにすれば、簡易な内容の問い合わせであれば、サービス・センター122のCEに連絡を取らなくても、複合機110が迅速に応答することができるので、ユーザーの利便性を向上させることができる。なお、複合機110が応答することができない場合には、上記の実施の形態のように、仲介サーバー100を経由して、サービス・センター122のCEに問い合わせ音声を送信してもよい。
(7-2)上記の実施の形態においては、仲介サーバー100が問い合わせ音声の送信元の複合機110に対してカスタマイズ画面のソースコードを要求する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。
【0114】
例えば、上記変形例において説明したように、複合機110が予めUI名称一覧表を作成しておき、仲介サーバー100は、カスタマイズ画面のソースコードに代えてUI名称一覧表を複合機110に要求してもよい。このようにすれば、カスタマイズ画面のソースコードからUI名称、画面名称、APIライブラリ関数およびUI位置を取得する処理が仲介サーバー100に集中することによって、仲介サーバー100の処理負荷が増大するのを回避することができる。
【0115】
従って、複合機110がユーザーの問い合わせ音声を送信してから、サービス・センター122のCEによる応答音声を複合機110が受信するまでの応答時間を短縮することができるので、ユーザーの利便性を向上させることができる。
【0116】
更に、複合機110がデフォルト画面のソースコードを保持している場合には、複合機110が予め対比表を作成しておき、問い合わせ音声を受信した仲介サーバー100が複合機110に対して対比表を要求してもよい。このようにすれば、対比表を作成するための処理負荷を仲介サーバー100が負担する必要が無いので、更にメッセージ変換システム1の応答性能を向上させることができる。
【0117】
また、複合機110は操作画面がカスタマイズされると直ちにカスタマイズ画面のソースコードを仲介サーバー100に登録し、当該登録を受けた仲介サーバー100は、問い合わせ音声の受信に先立って、予め対比表を作成しておいてもよい。このようにしても、問い合わせ音声を受信してから対比表を作成する場合と比較して、メッセージ変換システム1の応答性能を向上させることができる。
(7-3)上記の実施の形態においては、仲介サーバー100、複合機110およびPC120が問い合わせ音声データや応答音声データを送受信する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。
【0118】
例えば、複合機110は、音声認識処理によって問い合わせ音声データから問い合わせテキストデータを生成して仲介サーバー100に送信し、仲介サーバーは、問い合わせテキストデータに対するUI名称等の置換処理のみを行って、当該処理後の問い合わせテキストデータをPC120へ送信し、PC120が、音声合成処理によって当該問い合わせテキストデータ(問い合わせメッセージ)から問い合わせ音声データを合成して、再生出力してもよい。
【0119】
同様に、PC120は、音声認識処理によって応答音声データから応答テキストデータを生成して仲介サーバー100に送信し、仲介サーバーは、応答テキストデータ(応答メッセージ)に対するUI名称等の置換およびUI位置等の追加処理のみを行って、当該処理後の応答テキストデータを複合機110へ送信し、複合機110が、音声合成処理によって当該応答テキストデータから応答音声データを合成して、再生出力してもよい。
【0120】
このようにすれば、音声認識処理および音声合成処理の負荷が仲介サーバーに集中するのを回避することができるので、メッセージ変換システム1の応答性能を向上させることができる。また、仲介サーバー100、複合機110およびPC120が音声データを送受信するための通信処理に要する負荷や、音声データを伝送するために要するネットワーク負荷を低減することができる。
(7-4)上記実施の形態においては、複合機110が応答音声を再生出力することによってユーザー操作を指示する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに加えて、ユーザーが操作を希望するUIを音声出力するのに加えて、強調表示してもよい。
【0121】
例えば、ユーザーがホッチキスの設定を行いたい場合には、
図21に示すように、操作画面2101上で、ホッチキスのUI名称等を反転表示2102することによって強調してもよい。また、強調枠を表示したり、表示色を変更したり、或いは点滅表示する等してもよい。このようにすれば、操作すべきUIが更に分かり易くなるので、ユーザーの利便性を向上させることができる。
【0122】
また、操作画面2101上に応答テキスト2103を表示してもよい。このようにすれば、複合機110のユーザーが応答音声を聞き漏らした場合や、応答音声が聞き取り辛い場合でも、ユーザーに操作方法をより確実に伝達することができる。
(7-5)上記実施の形態においては、サービス・センター122のCEからの応答音声が再生出力されてから、複合機110のユーザーが次の問い合わせを行う場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、サービス・センター122のCEからの応答音声が再生出力するのを待つことなく、複合機110のユーザーは次の問い合わせを音声入力してもよい。このように、本発明によれば、通常の電話に近い自然な形で問い合わせを行うことができる。
(7-6)上記実施の形態においては、応答の音声入力を受け付けることによって応答のテキストデータを生成する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、音声入力に代えて、デフォルト画面に対する画面入力を受け付けることによって応答のテキストデータを生成してもよい。
【0123】
例えば、サービス・センター122のCEがデフォルト画面であるコピー画面のステープルにマウス908のマウスカーソルを合わせてクリック操作をしたら、UI名称として「ステープル」を取得し、当該UI名称「ステープル」に対応するAPIライブラリ関数「API_Staple」を特定することによって、応答のテキストデータを生成してもよい。このようにして生成した応答のテキストデータを、PC120は仲介サーバー100へ送信する。
【0124】
このようにして、応答のテキストデータを生成しても同様の効果を得ることができる。
【0125】
なお、問い合わせのテキストデータに関しては、複合機110のユーザーが問い合わせを行うのは、そもそも画面操作方法が分からないためであることから、画面入力によって問い合わせのテキストデータを生成することはできない。従って、複合機110に対する画面入力によって、問い合わせのテキストデータを生成するGUI(Graphical User Interface)を設ける必要はない。
(7-7)上記実施の形態においては、オフィス112に複合機110が設置されている場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、複合機110に代えてプリンター装置やスキャナー装置、複写装置やファクシミリ装置といった単機能機を設置してもよい。また、操作画面を表示してユーザー操作を受け付ける情報処理装置であれば、単機能機以外の情報処理装置であってもよい。複合機110に代えて情報処理装置を設置した場合であっても、本発明を適用すれば同様の効果を得ることができる。
(7-8)上記実施の形態においては、メッセージ変換システム1を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、本発明は、当該メッセージ変換システム1が実行するメッセージ変換方法であってもよい。また、当該メッセージ変換方法をコンピューターに実行させるメッセージ変換プログラムであってもよい。いずれの場合も本発明の効果は同じである。
(7-9)上述した各装置は、マイクロプロセッサーとメモリとを備えているという意味においてコンピューターシステムである。メモリは、コンピュータープログラムを記憶しており、マイクロプロセッサーは、コンピュータープログラムに従って動作する。
【0126】
ここで、コンピュータープログラムは、所定の機能を達成するために、コンピューターに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【0127】
また、コンピュータープログラムは、コンピューター読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録されているとしてもよい。
【0128】
また、コンピュータープログラムを、無線又は有線の電気通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するとしてもよい。
【産業上の利用可能性】
【0129】
本発明に係るメッセージ変換システム、メッセージ変換方法およびメッセージ変換プログラムは、カスタマイズされた操作画面についてやり取りされるメッセージを理解し易くなるように変換する技術として有用である。
【符号の説明】
【0130】
1………メッセージ変換システム
100…仲介サーバー
110…複合機
111…操作パネル
120…パーソナル・コンピューター
121…ヘッドセット
122…サービス・センター
130…インターネット