(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-12
(45)【発行日】2022-12-20
(54)【発明の名称】画像処理システム、画像処理装置、クラウドサーバおよびプログラム
(51)【国際特許分類】
H04N 1/00 20060101AFI20221213BHJP
B41J 29/38 20060101ALI20221213BHJP
B41J 29/00 20060101ALI20221213BHJP
G03G 21/00 20060101ALI20221213BHJP
G03G 21/14 20060101ALI20221213BHJP
G06F 3/12 20060101ALI20221213BHJP
G06F 3/16 20060101ALI20221213BHJP
【FI】
H04N1/00 127A
B41J29/38
B41J29/38 104
B41J29/00 Z
G03G21/00 386
G03G21/00 388
G03G21/14
G06F3/12 303
G06F3/12 336
G06F3/12 388
G06F3/16 630
(21)【出願番号】P 2018234235
(22)【出願日】2018-12-14
【審査請求日】2021-11-17
(73)【特許権者】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】100117673
【氏名又は名称】中島 了
(72)【発明者】
【氏名】小林 美奈子
【審査官】野口 俊明
(56)【参考文献】
【文献】特開2003-051887(JP,A)
【文献】特開2004-109352(JP,A)
【文献】特開2016-019127(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 1/00
B41J 29/38
B41J 29/00
G03G 21/00
G03G 21/14
G06F 3/12
G06F 3/16
(57)【特許請求の範囲】
【請求項1】
画像処理装置とクラウドサーバとを備え、前記画像処理装置と前記クラウドサーバと外部装置との連携処理によって前記画像処理装置を操作することが可能な画像処理システムであって、
前記クラウドサーバは、
前記画像処理装置を操作するための音声指示であって、ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示を前記外部装置から取得する取得手段と、
前記音声指示に基づく指示コマンドを前記画像処理装置に送信する指示送信手段と、
を備え、
前記画像処理装置は、
前記ユーザの手指による操作入力指示を受け付ける操作入力手段と、
前記クラウドサーバから送信されてくる前記指示コマンドを含む受信指示と前記ユーザの手指による前記操作入力指示との少なくとも一方に基づいて、前記画像処理装置の動作に関する設定情報を設定する設定手段と、
前記設定手段によって設定されていた前記設定情報を所定の無指示期間の経過に応答してリセットするオートリセットを実行するリセット制御手段と、
を備え、
前記画像処理装置のリセット制御手段は、前記音声指示による前記画像処理装置の操作が開始される場合、前記オートリセットの実行を抑制
し、
前記画像処理装置は、前記ユーザと前記外部装置との間で前記会話が継続されている期間において、前記オートリセットの実行を抑制することを特徴とする画像処理システム。
【請求項2】
画像処理装置とクラウドサーバとを備え、前記画像処理装置と前記クラウドサーバと外部装置との連携処理によって前記画像処理装置を操作することが可能な画像処理システムであって、
前記クラウドサーバは、
前記画像処理装置を操作するための音声指示であって、ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示を前記外部装置から取得する取得手段と、
前記音声指示に基づく指示コマンドを前記画像処理装置に送信する指示送信手段と、
を備え、
前記画像処理装置は、
前記ユーザの手指による操作入力指示を受け付ける操作入力手段と、
前記クラウドサーバから送信されてくる前記指示コマンドを含む受信指示と前記ユーザの手指による前記操作入力指示との少なくとも一方に基づいて、前記画像処理装置の動作に関する設定情報を設定する設定手段と、
前記設定手段によって設定されていた前記設定情報を所定の無指示期間の経過に応答してリセットするオートリセットを実行するリセット制御手段と、
を備え、
前記画像処理装置のリセット制御手段は、前記音声指示による前記画像処理装置の操作が開始される場合、前記オートリセットの実行を抑制し、
前記画像処理装置は、前記所定の無指示期間が経過しても前記オートリセットを実行しないことによって、前記オートリセットの実行を抑制することを特徴とする画像処理システム。
【請求項3】
画像処理装置とクラウドサーバとを備え、前記画像処理装置と前記クラウドサーバと外部装置との連携処理によって前記画像処理装置を操作することが可能な画像処理システムであって、
前記クラウドサーバは、
前記画像処理装置を操作するための音声指示であって、ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示を前記外部装置から取得する取得手段と、
前記音声指示に基づく指示コマンドを前記画像処理装置に送信する指示送信手段と、
を備え、
前記画像処理装置は、
前記ユーザの手指による操作入力指示を受け付ける操作入力手段と、
前記クラウドサーバから送信されてくる前記指示コマンドを含む受信指示と前記ユーザの手指による前記操作入力指示との少なくとも一方に基づいて、前記画像処理装置の動作に関する設定情報を設定する設定手段と、
前記設定手段によって設定されていた前記設定情報を所定の無指示期間の経過に応答してリセットするオートリセットを実行するリセット制御手段と、
を備え、
前記画像処理装置のリセット制御手段は、前記音声指示による前記画像処理装置の操作が開始される場合、前記オートリセットの実行を抑制し、
前記クラウドサーバは、
前記ユーザと前記外部装置との間での前記会話の開始を検出する検出手段と、
前記会話の前記開始が検出される場合、前記オートリセットの実行を抑制すべき旨の指示であるオートリセット抑制指示を前記画像処理装置に対して通知する通知手段と、
を備え、
前記画像処理装置は、前記オートリセット抑制指示に基づき、前記オートリセットの実行を抑制することを特徴とする画像処理システム。
【請求項4】
請求項3に記載の画像処理システムにおいて、
前記検出手段は、前記会話の終了をも検出し、
前記通知手段は、前記ユーザと前記外部装置との間での前記会話の終了が検出される場合、前記オートリセット抑制指示を解除するオートリセット抑制解除指示を前記画像処理装置に対して通知し、
前記画像処理装置は、前記オートリセット抑制解除指示に基づき、前記オートリセットの実行の抑制を解除することを特徴とする画像処理システム。
【請求項5】
請求項3に記載の画像処理システムにおいて、
前記所定の無指示期間は、第1の無指示期間であり、
前記画像処理装置は、
前記第1の無指示期間と同一あるいは異なる長さの第2の無指示期間の経過に応答して前記画像処理装置をスリープ状態に遷移させるオートスリープを実行するスリープ制御手段、
をさらに備え、
前記画像処理装置は、前記オートリセット抑制指示が通知されている場合、前記オートリセットの実行のみならず前記オートスリープの実行をも抑制することを特徴とする画像処理システム。
【請求項6】
請求項3に記載の画像処理システムにおいて、
前記所定の無指示期間は、第1の無指示期間であり、
前記画像処理装置は、
前記第1の無指示期間と同一あるいは異なる長さの第2の無指示期間の経過に応答して前記画像処理装置をスリープ状態に遷移させるオートスリープを実行するスリープ制御手段、
をさらに備え、
前記クラウドサーバの前記通知手段は、前記会話の前記開始が検出される場合、前記オートスリープの実行を抑制すべき旨の指示であるオートスリープ抑制指示をも前記画像処理装置に対して通知し、
前記画像処理装置は、前記オートスリープ抑制指示に基づき、前記オートスリープの実行を抑制することを特徴とする画像処理システム。
【請求項7】
請求項3に記載の画像処理システムにおいて、
前記所定の無指示期間は、第1の無指示期間であり、
前記画像処理装置は、
前記第1の無指示期間と同一あるいは異なる長さの第2の無指示期間の経過に応答して前記画像処理装置を前記ユーザのログイン状態からログアウト状態に遷移させるオートログアウトを実行する認証制御手段、
をさらに備え、
前記画像処理装置は、前記オートリセット抑制指示が通知されている場合、前記オートリセットの実行のみならず前記オートログアウトの実行をも抑制することを特徴とする画像処理システム。
【請求項8】
請求項3に記載の画像処理システムにおいて、
前記所定の無指示期間は、第1の無指示期間であり、
前記画像処理装置は、
前記第1の無指示期間と同一あるいは異なる長さの第2の無指示期間の経過に応答して前記画像処理装置を前記ユーザのログイン状態からログアウト状態に遷移させるオートログアウトを実行する認証制御手段、
をさらに備え、
前記クラウドサーバの前記通知手段は、前記会話の前記開始が検出される場合、前記オートログアウトの実行を抑制すべき旨の指示であるオートログアウト抑制指示をも前記画像処理装置に対して通知し、
前記画像処理装置は、前記オートログアウト抑制指示に基づき、前記オートログアウトの実行を抑制することを特徴とする画像処理システム。
【請求項9】
画像処理装置とクラウドサーバとを備え、前記画像処理装置と前記クラウドサーバと外部装置との連携処理によって前記画像処理装置を操作することが可能な画像処理システムであって、
前記クラウドサーバは、
前記画像処理装置を操作するための音声指示であって、ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示を前記外部装置から取得する取得手段と、
前記音声指示に基づく指示コマンドを前記画像処理装置に送信する指示送信手段と、
を備え、
前記画像処理装置は、
前記ユーザの手指による操作入力指示を受け付ける操作入力手段と、
前記クラウドサーバから送信されてくる前記指示コマンドを含む受信指示と前記ユーザの手指による前記操作入力指示との少なくとも一方に基づいて、前記画像処理装置の動作に関する設定情報を設定する設定手段と、
前記設定手段によって設定されていた前記設定情報を所定の無指示期間の経過に応答してリセットするオートリセットを実行するリセット制御手段と、
を備え、
前記画像処理装置のリセット制御手段は、前記音声指示による前記画像処理装置の操作が開始される場合、前記オートリセットの実行を抑制し、
前記クラウドサーバは、
前記ユーザと前記外部装置との間での前記会話の継続中であるか否かを判定する判定手段、
をさらに備え、
前記画像処理装置は、
前記会話の継続中であるか否かを前記クラウドサーバに問い合わせる問合せ手段、
をさらに備え、
前記画像処理装置は、前記会話の継続中である旨の返答が前記クラウドサーバから受信される場合、前記オートリセットの実行を抑制することを特徴とする画像処理システム。
【請求項10】
請求項9に記載の画像処理システムにおいて、
前記所定の無指示期間は、第1の無指示期間であり、
前記画像処理装置は、
前記第1の無指示期間と同一あるいは異なる長さの第2の無指示期間の経過に応答して前記画像処理装置をスリープ状態に遷移させるオートスリープを実行するスリープ制御手段、
をさらに備え、
前記画像処理装置は、前記会話の継続中である旨の返答が前記クラウドサーバから受信される場合、前記オートリセットの実行のみならず前記オートスリープの実行をも抑制することを特徴とする画像処理システム。
【請求項11】
請求項9に記載の画像処理システムにおいて、
前記所定の無指示期間は、第1の無指示期間であり、
前記画像処理装置は、
前記第1の無指示期間と同一あるいは異なる長さの第2の無指示期間の経過に応答して前記画像処理装置を前記ユーザのログイン状態からログアウト状態に遷移させるオートログアウトを実行する認証制御手段、
をさらに備え、
前記画像処理装置は、前記会話の継続中である旨の返答が前記クラウドサーバから受信される場合、前記オートリセットの実行のみならず前記オートログアウトの実行をも抑制することを特徴とする画像処理システム。
【請求項12】
画像処理装置とクラウドサーバとを備え、前記画像処理装置と前記クラウドサーバと外部装置との連携処理によって前記画像処理装置を操作することが可能な画像処理システムであって、
前記クラウドサーバは、
前記画像処理装置を操作するための音声指示であって、ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示を前記外部装置から取得する取得手段と、
前記音声指示に基づく指示コマンドを前記画像処理装置に送信する指示送信手段と、
を備え、
前記画像処理装置は、
前記ユーザの手指による操作入力指示を受け付ける操作入力手段と、
前記クラウドサーバから送信されてくる前記指示コマンドを含む受信指示と前記ユーザの手指による前記操作入力指示との少なくとも一方に基づいて、前記画像処理装置の動作に関する設定情報を設定する設定手段と、
前記設定手段によって設定されていた前記設定情報を所定の無指示期間の経過に応答してリセットするオートリセットを実行するリセット制御手段と、
を備え、
前記画像処理装置のリセット制御手段は、前記音声指示による前記画像処理装置の操作が開始される場合、前記オートリセットの実行を抑制し、
前記クラウドサーバは、
前記ユーザと前記外部装置との間での前記会話の継続中であるか否かを判定する判定手段と、
をさらに備え、
前記指示送信手段は、前記会話の継続中において、ダミーコマンドを前記画像処理装置に対して送信し、
前記画像処理装置は、前記ダミーコマンドが受信される場合、前記ユーザからの指示が受け付けられたものとみなして、前記所定の無指示期間に関する計時時間をリセットすることを特徴とする画像処理システム。
【請求項13】
請求項12に記載の画像処理システムにおいて、
前記指示送信手段は、前記会話の継続中において、前記ダミーコマンドを前記画像処理装置に対して所定期間間隔で送信することを特徴とする画像処理システム。
【請求項14】
請求項12に記載の画像処理システムにおいて、
前記クラウドサーバは、
前記音声指示に基づく前記指示コマンドを前記音声指示に応答して前記画像処理装置に送信するか否かを決定する決定手段、
をさらに備え、
前記指示送信手段は、
前記音声指示に基づく前記指示コマンドを前記音声指示に応答して前記画像処理装置に送信することが決定される場合、前記音声指示に基づく前記指示コマンドを前記音声指示に応答して前記画像処理装置に送信し、
前記音声指示に基づく前記指示コマンドを前記音声指示に応答して前記画像処理装置に送信しないことが決定される場合、前記ダミーコマンドを前記音声指示に応答して前記画像処理装置に対して送信することを特徴とする画像処理システム。
【請求項15】
クラウドサーバおよび外部装置と連携することが可能な画像処理装置であって、
ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示に基づく指示コマンドであって前記画像処理装置を操作するための指示コマンドを前記クラウドサーバから受信する受信手段と、
前記ユーザの手指による操作入力指示を受け付ける操作入力手段と、
前記クラウドサーバから送信されてくる前記指示コマンドを含む受信指示と前記ユーザの手指による前記操作入力指示との少なくとも一方に基づいて、前記画像処理装置の動作に関する設定情報を設定する設定手段と、
前記設定手段によって設定されていた前記設定情報を所定の無指示期間の経過に応答してリセットするオートリセットを実行するリセット制御手段と、
を備え、
前記リセット制御手段は、前記音声指示に基づく前記指示コマンドによる前記画像処理装置の操作が開始される場合、
前記ユーザと前記外部装置との間で前記会話が継続されている期間において、前記オートリセットの実行を抑制することを特徴とする画像処理装置。
【請求項16】
クラウドサーバおよび外部装置と連携することが可能な画像処理装置に内蔵されたコンピュータに、
a)ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示に基づく指示コマンドであって前記画像処理装置を操作するための指示コマンドを前記クラウドサーバから受信するステップと、
b)前記クラウドサーバから送信されてくる前記指示コマンドを含む受信指示と前記ユーザの手指による前記画像処理装置の操作入力手段を介した操作入力指示との少なくとも一方に基づいて、前記画像処理装置の動作に関する設定情報を設定するステップと、
c)前記音声指示に基づく前記指示コマンドによる前記画像処理装置の操作が開始される場合、前記ステップb)において設定されていた前記設定情報を所定の無指示期間の経過に応答してリセットするオートリセット、の実行を
、前記ユーザと前記外部装置との間で前記会話が継続されている期間において抑制するステップと、
を実行させるためのプログラム。
【請求項17】
画像処理装置および外部装置と連携することが可能なクラウドサーバであって、
前記画像処理装置を操作するための音声指示であって、ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示を前記外部装置から取得する取得手段と、
前記音声指示に基づく指示コマンドを前記画像処理装置に送信する指示送信手段と、
前記ユーザと前記外部装置との間での前記会話の継続中か否かを判定する判定手段と、
前記会話の継続中である旨が判定される場合、前記画像処理装置において設定されていた設定情報を所定の無指示期間の経過に応答してリセットするオートリセット、の実行を抑制させるための通知を前記画像処理装置に送信する通知手段と、
を備えることを特徴とするクラウドサーバ。
【請求項18】
請求項17に記載のクラウドサーバにおいて、
前記通知手段は、前記会話の継続中である旨が判定される場合、前記オートリセットの実行を抑制すべき旨の指示であるオートリセット抑制指示を前記画像処理装置に送信して、前記オートリセットの実行を抑制させることを特徴とするクラウドサーバ。
【請求項19】
請求項17に記載のクラウドサーバにおいて、
前記通知手段は、前記会話の継続中である旨が判定される場合、ダミーコマンドを前記画像処理装置に対して送信して、前記オートリセットの実行を抑制させることを特徴とするクラウドサーバ。
【請求項20】
画像処理装置および外部装置と連携することが可能なクラウドサーバに内蔵されたコンピュータに、
a)前記画像処理装置を操作するための音声指示であって、ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示を前記外部装置から取得するステップと、
b)前記音声指示に基づく指示コマンドを前記画像処理装置に送信するステップと、
c)前記ユーザと前記外部装置との間での前記会話の継続中か否かを判定するステップと、
d)前記会話の継続中である旨が判定される場合、前記画像処理装置において設定されていた設定情報を所定の無指示期間の経過に応答してリセットするオートリセット、の実行を抑制させるための通知を前記画像処理装置に送信するステップと、
を実行させるためのプログラム。
【請求項21】
請求項20に記載のプログラムにおいて、
前記ステップd)は、
d-1)前記会話の継続中である旨が判定される場合、前記オートリセットの実行を抑制すべき旨の指示であるオートリセット抑制指示を前記画像処理装置に送信して、前記オートリセットの実行を抑制させるステップ、
を備えることを特徴とするプログラム。
【請求項22】
請求項20に記載のプログラムにおいて、
前記ステップd)は、
d-2)前記会話の継続中である旨が判定される場合、ダミーコマンドを前記画像処理装置に対して送信して、前記オートリセットの実行を抑制させるステップ、
を備えることを特徴とするプログラム。
【請求項23】
請求項22に記載のプログラムにおいて、
前記ステップd-2)は、
d-2-1)前記会話の継続中である旨が判定される場合、前記ダミーコマンドを所定期間間隔で前記画像処理装置に対して送信して、前記オートリセットの実行を抑制させるステップ、
を備えることを特徴とするプログラム。
【請求項24】
請求項22に記載のプログラムにおいて、
前記コンピュータに、
e)前記音声指示に基づく前記指示コマンドを前記音声指示に応答して前記画像処理装置に送信するか否かを決定するステップ、
をさらに実行させ、
前記音声指示に基づく前記指示コマンドを前記音声指示に応答して前記画像処理装置に送信することが前記ステップe)にて決定される場合、前記ステップb)において、前記音声指示に基づく前記指示コマンドが前記音声指示に応答して前記画像処理装置に送信され、
前記音声指示に基づく前記指示コマンドを前記音声指示に応答して前記画像処理装置に送信しないことが前記ステップe)にて決定される場合、前記ステップd-2)において、前記ダミーコマンドが前記音声指示に応答して前記画像処理装置に対して送信されることによって、前記オートリセットの実行が抑制されることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、MFP(マルチ・ファンクション・ペリフェラル(Multi-Functional Peripheral))などの画像処理装置を備える画像処理システム、およびそれに関連する技術に関する。
【背景技術】
【0002】
MFPの中には、その操作パネル部に対して一定期間に亘って操作がなされない場合(所定の無操作期間が経過する場合)、操作パネル部を用いて設定されてきた設定内容を自動的にリセットする機能(オートリセット機能とも称する)を備えるものが存在する(特許文献1等参照)。このようなオートリセット機能は、MFPを複数のユーザで共用する場合等において特に有用である。
【0003】
また、スマートスピーカ(AIスピーカ)等の音声デバイスを利用してユーザ指示(音声指示)を付与し、対象装置を操作する技術が存在する。より詳細には、音声デバイスに入力された音声データがクラウドサーバに送信され、当該音声データに関する自然言語解析処理がクラウドサーバによって施されてユーザ指示内容が特定される。このような技術(クラウドサーバによる自然言語解析処理等)を応用することによれば、MFPを音声で操作すること、たとえば、MFPのコピージョブにおける各種設定を音声(「コピーしたい」、「両面印刷」等)で指定することなどが可能である。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、音声デバイスを利用してMFPの設定処理を実行する場合、上記のオートリセット機能は次のように改変されることが好ましい。具体的には、音声デバイスからクラウドサーバを経由したユーザ指示が一定期間(たとえば50秒)に亘ってMFPに送信されないときに、所定の無指示期間が経過したと判定されて、MFPの設定内容がリセットされればよい。
【0006】
しかしながら、このような改変がなされる場合、音声デバイスとクラウドサーバとの間のみでの処理が比較的長期に亘ること、換言すれば、MFPへの指示が比較的長期(たとえば、70秒)に亘ってなされないことが生じ得る。たとえば、ユーザから付与された不明確な指示の内容を確認するために、クラウドサーバ50から音声デバイス70に音声出力用の音声データを送信し、当該音声データに基づく音声出力によってユーザからの指示を再度入力してもらうことなどが生じ得る。この場合、比較的長期に亘る無指示期間が経過する可能性が高い。
【0007】
このような場合、音声デバイスとクラウドサーバとMFPとの連携処理が実際には継続されているにもかかわらず、クラウドサーバからMFPへの指示が一定期間に亘って存在しない(すなわち所定の無指示期間が経過した)と判定され、MFPは、自装置に格納した設定内容を自動的にリセット(オートリセット)してしまう。このような状況においてユーザが設定を最初からやり直すことは、大きな手間を要する。
【0008】
そこで、この発明は、画像処理装置において無用にオートリセットが発生することを防止することが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【0009】
上記課題を解決すべく、請求項1の発明は、画像処理装置とクラウドサーバとを備え、前記画像処理装置と前記クラウドサーバと外部装置との連携処理によって前記画像処理装置を操作することが可能な画像処理システムであって、前記クラウドサーバは、前記画像処理装置を操作するための音声指示であって、ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示を前記外部装置から取得する取得手段と、前記音声指示に基づく指示コマンドを前記画像処理装置に送信する指示送信手段と、を備え、前記画像処理装置は、前記ユーザの手指による操作入力指示を受け付ける操作入力手段と、前記クラウドサーバから送信されてくる前記指示コマンドを含む受信指示と前記ユーザの手指による前記操作入力指示との少なくとも一方に基づいて、前記画像処理装置の動作に関する設定情報を設定する設定手段と、前記設定手段によって設定されていた前記設定情報を所定の無指示期間の経過に応答してリセットするオートリセットを実行するリセット制御手段と、を備え、前記画像処理装置のリセット制御手段は、前記音声指示による前記画像処理装置の操作が開始される場合、前記オートリセットの実行を抑制し、前記画像処理装置は、前記ユーザと前記外部装置との間で前記会話が継続されている期間において、前記オートリセットの実行を抑制することを特徴とする。
【0010】
請求項2の発明は、画像処理装置とクラウドサーバとを備え、前記画像処理装置と前記クラウドサーバと外部装置との連携処理によって前記画像処理装置を操作することが可能な画像処理システムであって、前記クラウドサーバは、前記画像処理装置を操作するための音声指示であって、ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示を前記外部装置から取得する取得手段と、前記音声指示に基づく指示コマンドを前記画像処理装置に送信する指示送信手段と、を備え、前記画像処理装置は、前記ユーザの手指による操作入力指示を受け付ける操作入力手段と、前記クラウドサーバから送信されてくる前記指示コマンドを含む受信指示と前記ユーザの手指による前記操作入力指示との少なくとも一方に基づいて、前記画像処理装置の動作に関する設定情報を設定する設定手段と、前記設定手段によって設定されていた前記設定情報を所定の無指示期間の経過に応答してリセットするオートリセットを実行するリセット制御手段と、を備え、前記画像処理装置のリセット制御手段は、前記音声指示による前記画像処理装置の操作が開始される場合、前記オートリセットの実行を抑制し、前記画像処理装置は、前記所定の無指示期間が経過しても前記オートリセットを実行しないことによって、前記オートリセットの実行を抑制することを特徴とする。
【0013】
請求項3の発明は、画像処理装置とクラウドサーバとを備え、前記画像処理装置と前記クラウドサーバと外部装置との連携処理によって前記画像処理装置を操作することが可能な画像処理システムであって、前記クラウドサーバは、前記画像処理装置を操作するための音声指示であって、ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示を前記外部装置から取得する取得手段と、前記音声指示に基づく指示コマンドを前記画像処理装置に送信する指示送信手段と、を備え、前記画像処理装置は、前記ユーザの手指による操作入力指示を受け付ける操作入力手段と、前記クラウドサーバから送信されてくる前記指示コマンドを含む受信指示と前記ユーザの手指による前記操作入力指示との少なくとも一方に基づいて、前記画像処理装置の動作に関する設定情報を設定する設定手段と、前記設定手段によって設定されていた前記設定情報を所定の無指示期間の経過に応答してリセットするオートリセットを実行するリセット制御手段と、を備え、前記画像処理装置のリセット制御手段は、前記音声指示による前記画像処理装置の操作が開始される場合、前記オートリセットの実行を抑制し、前記クラウドサーバは、前記ユーザと前記外部装置との間での前記会話の開始を検出する検出手段と、前記会話の前記開始が検出される場合、前記オートリセットの実行を抑制すべき旨の指示であるオートリセット抑制指示を前記画像処理装置に対して通知する通知手段と、を備え、前記画像処理装置は、前記オートリセット抑制指示に基づき、前記オートリセットの実行を抑制することを特徴とする。
【0014】
請求項4の発明は、請求項3の発明に係る画像処理システムにおいて、前記検出手段は、前記会話の終了をも検出し、前記通知手段は、前記ユーザと前記外部装置との間での前記会話の終了が検出される場合、前記オートリセット抑制指示を解除するオートリセット抑制解除指示を前記画像処理装置に対して通知し、前記画像処理装置は、前記オートリセット抑制解除指示に基づき、前記オートリセットの実行の抑制を解除することを特徴とする。
【0015】
請求項5の発明は、請求項3の発明に係る画像処理システムにおいて、前記所定の無指示期間は、第1の無指示期間であり、前記画像処理装置は、前記第1の無指示期間と同一あるいは異なる長さの第2の無指示期間の経過に応答して前記画像処理装置をスリープ状態に遷移させるオートスリープを実行するスリープ制御手段、をさらに備え、前記画像処理装置は、前記オートリセット抑制指示が通知されている場合、前記オートリセットの実行のみならず前記オートスリープの実行をも抑制することを特徴とする。
【0016】
請求項6の発明は、請求項3の発明に係る画像処理システムにおいて、前記所定の無指示期間は、第1の無指示期間であり、前記画像処理装置は、前記第1の無指示期間と同一あるいは異なる長さの第2の無指示期間の経過に応答して前記画像処理装置をスリープ状態に遷移させるオートスリープを実行するスリープ制御手段、をさらに備え、前記クラウドサーバの前記通知手段は、前記会話の前記開始が検出される場合、前記オートスリープの実行を抑制すべき旨の指示であるオートスリープ抑制指示をも前記画像処理装置に対して通知し、前記画像処理装置は、前記オートスリープ抑制指示に基づき、前記オートスリープの実行を抑制することを特徴とする。
【0017】
請求項7の発明は、請求項3の発明に係る画像処理システムにおいて、前記所定の無指示期間は、第1の無指示期間であり、前記画像処理装置は、前記第1の無指示期間と同一あるいは異なる長さの第2の無指示期間の経過に応答して前記画像処理装置を前記ユーザのログイン状態からログアウト状態に遷移させるオートログアウトを実行する認証制御手段、をさらに備え、前記画像処理装置は、前記オートリセット抑制指示が通知されている場合、前記オートリセットの実行のみならず前記オートログアウトの実行をも抑制することを特徴とする。
【0018】
請求項8の発明は、請求項3の発明に係る画像処理システムにおいて、前記所定の無指示期間は、第1の無指示期間であり、前記画像処理装置は、前記第1の無指示期間と同一あるいは異なる長さの第2の無指示期間の経過に応答して前記画像処理装置を前記ユーザのログイン状態からログアウト状態に遷移させるオートログアウトを実行する認証制御手段、をさらに備え、前記クラウドサーバの前記通知手段は、前記会話の前記開始が検出される場合、前記オートログアウトの実行を抑制すべき旨の指示であるオートログアウト抑制指示をも前記画像処理装置に対して通知し、前記画像処理装置は、前記オートログアウト抑制指示に基づき、前記オートログアウトの実行を抑制することを特徴とする。
【0019】
請求項9の発明は、画像処理装置とクラウドサーバとを備え、前記画像処理装置と前記クラウドサーバと外部装置との連携処理によって前記画像処理装置を操作することが可能な画像処理システムであって、前記クラウドサーバは、前記画像処理装置を操作するための音声指示であって、ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示を前記外部装置から取得する取得手段と、前記音声指示に基づく指示コマンドを前記画像処理装置に送信する指示送信手段と、を備え、前記画像処理装置は、前記ユーザの手指による操作入力指示を受け付ける操作入力手段と、前記クラウドサーバから送信されてくる前記指示コマンドを含む受信指示と前記ユーザの手指による前記操作入力指示との少なくとも一方に基づいて、前記画像処理装置の動作に関する設定情報を設定する設定手段と、前記設定手段によって設定されていた前記設定情報を所定の無指示期間の経過に応答してリセットするオートリセットを実行するリセット制御手段と、を備え、前記画像処理装置のリセット制御手段は、前記音声指示による前記画像処理装置の操作が開始される場合、前記オートリセットの実行を抑制し、前記クラウドサーバは、前記ユーザと前記外部装置との間での前記会話の継続中であるか否かを判定する判定手段、をさらに備え、前記画像処理装置は、前記会話の継続中であるか否かを前記クラウドサーバに問い合わせる問合せ手段、をさらに備え、前記画像処理装置は、前記会話の継続中である旨の返答が前記クラウドサーバから受信される場合、前記オートリセットの実行を抑制することを特徴とする。
【0020】
請求項10の発明は、請求項9の発明に係る画像処理システムにおいて、前記所定の無指示期間は、第1の無指示期間であり、前記画像処理装置は、前記第1の無指示期間と同一あるいは異なる長さの第2の無指示期間の経過に応答して前記画像処理装置をスリープ状態に遷移させるオートスリープを実行するスリープ制御手段、をさらに備え、前記画像処理装置は、前記会話の継続中である旨の返答が前記クラウドサーバから受信される場合、前記オートリセットの実行のみならず前記オートスリープの実行をも抑制することを特徴とする。
【0021】
請求項11の発明は、請求項9の発明に係る画像処理システムにおいて、前記所定の無指示期間は、第1の無指示期間であり、前記画像処理装置は、前記第1の無指示期間と同一あるいは異なる長さの第2の無指示期間の経過に応答して前記画像処理装置を前記ユーザのログイン状態からログアウト状態に遷移させるオートログアウトを実行する認証制御手段、をさらに備え、前記画像処理装置は、前記会話の継続中である旨の返答が前記クラウドサーバから受信される場合、前記オートリセットの実行のみならず前記オートログアウトの実行をも抑制することを特徴とする。
【0022】
請求項12の発明は、画像処理装置とクラウドサーバとを備え、前記画像処理装置と前記クラウドサーバと外部装置との連携処理によって前記画像処理装置を操作することが可能な画像処理システムであって、前記クラウドサーバは、前記画像処理装置を操作するための音声指示であって、ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示を前記外部装置から取得する取得手段と、前記音声指示に基づく指示コマンドを前記画像処理装置に送信する指示送信手段と、を備え、前記画像処理装置は、前記ユーザの手指による操作入力指示を受け付ける操作入力手段と、前記クラウドサーバから送信されてくる前記指示コマンドを含む受信指示と前記ユーザの手指による前記操作入力指示との少なくとも一方に基づいて、前記画像処理装置の動作に関する設定情報を設定する設定手段と、前記設定手段によって設定されていた前記設定情報を所定の無指示期間の経過に応答してリセットするオートリセットを実行するリセット制御手段と、を備え、前記画像処理装置のリセット制御手段は、前記音声指示による前記画像処理装置の操作が開始される場合、前記オートリセットの実行を抑制し、前記クラウドサーバは、前記ユーザと前記外部装置との間での前記会話の継続中であるか否かを判定する判定手段と、をさらに備え、前記指示送信手段は、前記会話の継続中において、ダミーコマンドを前記画像処理装置に対して送信し、前記画像処理装置は、前記ダミーコマンドが受信される場合、前記ユーザからの指示が受け付けられたものとみなして、前記所定の無指示期間に関する計時時間をリセットすることを特徴とする。
【0023】
請求項13の発明は、請求項12の発明に係る画像処理システムにおいて、前記指示送信手段は、前記会話の継続中において、前記ダミーコマンドを前記画像処理装置に対して所定期間間隔で送信することを特徴とする。
【0024】
請求項14の発明は、請求項12の発明に係る画像処理システムにおいて、前記クラウドサーバは、前記音声指示に基づく前記指示コマンドを前記音声指示に応答して前記画像処理装置に送信するか否かを決定する決定手段、をさらに備え、前記指示送信手段は、前記音声指示に基づく前記指示コマンドを前記音声指示に応答して前記画像処理装置に送信することが決定される場合、前記音声指示に基づく前記指示コマンドを前記音声指示に応答して前記画像処理装置に送信し、前記音声指示に基づく前記指示コマンドを前記音声指示に応答して前記画像処理装置に送信しないことが決定される場合、前記ダミーコマンドを前記音声指示に応答して前記画像処理装置に対して送信することを特徴とする。
【0026】
請求項15の発明は、クラウドサーバおよび外部装置と連携することが可能な画像処理装置であって、ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示に基づく指示コマンドであって前記画像処理装置を操作するための指示コマンドを前記クラウドサーバから受信する受信手段と、前記ユーザの手指による操作入力指示を受け付ける操作入力手段と、前記クラウドサーバから送信されてくる前記指示コマンドを含む受信指示と前記ユーザの手指による前記操作入力指示との少なくとも一方に基づいて、前記画像処理装置の動作に関する設定情報を設定する設定手段と、前記設定手段によって設定されていた前記設定情報を所定の無指示期間の経過に応答してリセットするオートリセットを実行するリセット制御手段と、を備え、前記リセット制御手段は、前記音声指示に基づく前記指示コマンドによる前記画像処理装置の操作が開始される場合、前記ユーザと前記外部装置との間で前記会話が継続されている期間において、前記オートリセットの実行を抑制することを特徴とする。
【0027】
請求項16の発明は、クラウドサーバおよび外部装置と連携することが可能な画像処理装置に内蔵されたコンピュータに、a)ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示に基づく指示コマンドであって前記画像処理装置を操作するための指示コマンドを前記クラウドサーバから受信するステップと、b)前記クラウドサーバから送信されてくる前記指示コマンドを含む受信指示と前記ユーザの手指による前記画像処理装置の操作入力手段を介した操作入力指示との少なくとも一方に基づいて、前記画像処理装置の動作に関する設定情報を設定するステップと、c)前記音声指示に基づく前記指示コマンドによる前記画像処理装置の操作が開始される場合、前記ステップb)において設定されていた前記設定情報を所定の無指示期間の経過に応答してリセットするオートリセット、の実行を、前記ユーザと前記外部装置との間で前記会話が継続されている期間において抑制するステップと、を実行させるためのプログラムであることを特徴とする。
【0028】
請求項17の発明は、画像処理装置および外部装置と連携することが可能なクラウドサーバであって、前記画像処理装置を操作するための音声指示であって、ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示を前記外部装置から取得する取得手段と、前記音声指示に基づく指示コマンドを前記画像処理装置に送信する指示送信手段と、前記ユーザと前記外部装置との間での前記会話の継続中か否かを判定する判定手段と、前記会話の継続中である旨が判定される場合、前記画像処理装置において設定されていた設定情報を所定の無指示期間の経過に応答してリセットするオートリセット、の実行を抑制させるための通知を前記画像処理装置に送信する通知手段と、を備えることを特徴とする。
【0029】
請求項18の発明は、請求項17の発明に係るクラウドサーバにおいて、前記通知手段は、前記会話の継続中である旨が判定される場合、前記オートリセットの実行を抑制すべき旨の指示であるオートリセット抑制指示を前記画像処理装置に送信して、前記オートリセットの実行を抑制させることを特徴とする。
【0030】
請求項19の発明は、請求項17の発明に係るクラウドサーバにおいて、前記通知手段は、前記会話の継続中である旨が判定される場合、ダミーコマンドを前記画像処理装置に対して送信して、前記オートリセットの実行を抑制させることを特徴とする。
【0031】
請求項20の発明は、画像処理装置および外部装置と連携することが可能なクラウドサーバに内蔵されたコンピュータに、a)前記画像処理装置を操作するための音声指示であって、ユーザと前記外部装置との間での会話において前記ユーザによって付与される音声指示を前記外部装置から取得するステップと、b)前記音声指示に基づく指示コマンドを前記画像処理装置に送信するステップと、c)前記ユーザと前記外部装置との間での前記会話の継続中か否かを判定するステップと、d)前記会話の継続中である旨が判定される場合、前記画像処理装置において設定されていた設定情報を所定の無指示期間の経過に応答してリセットするオートリセット、の実行を抑制させるための通知を前記画像処理装置に送信するステップと、を実行させるためのプログラムであることを特徴とする。
【0032】
請求項21の発明は、請求項20の発明に係るプログラムにおいて、前記ステップd)は、d-1)前記会話の継続中である旨が判定される場合、前記オートリセットの実行を抑制すべき旨の指示であるオートリセット抑制指示を前記画像処理装置に送信して、前記オートリセットの実行を抑制させるステップ、を備えることを特徴とする。
【0033】
請求項22の発明は、請求項20の発明に係るプログラムにおいて、前記ステップd)は、d-2)前記会話の継続中である旨が判定される場合、ダミーコマンドを前記画像処理装置に対して送信して、前記オートリセットの実行を抑制させるステップ、を備えることを特徴とする。
【0034】
請求項23の発明は、請求項22の発明に係るプログラムにおいて、前記ステップd-2)は、d-2-1)前記会話の継続中である旨が判定される場合、前記ダミーコマンドを所定期間間隔で前記画像処理装置に対して送信して、前記オートリセットの実行を抑制させるステップ、を備えることを特徴とする。
【0035】
請求項24の発明は、請求項22の発明に係るプログラムにおいて、前記コンピュータに、e)前記音声指示に基づく前記指示コマンドを前記音声指示に応答して前記画像処理装置に送信するか否かを決定するステップ、をさらに実行させ、前記音声指示に基づく前記指示コマンドを前記音声指示に応答して前記画像処理装置に送信することが前記ステップe)にて決定される場合、前記ステップb)において、前記音声指示に基づく前記指示コマンドが前記音声指示に応答して前記画像処理装置に送信され、前記音声指示に基づく前記指示コマンドを前記音声指示に応答して前記画像処理装置に送信しないことが前記ステップe)にて決定される場合、前記ステップd-2)において、前記ダミーコマンドが前記音声指示に応答して前記画像処理装置に対して送信されることによって、前記オートリセットの実行が抑制されることを特徴とする。
【発明の効果】
【0036】
請求項1から請求項24に記載の発明によれば、画像処理装置において無用にオートリセットが発生することを防止することが可能である。
【図面の簡単な説明】
【0037】
【
図1】第1実施形態に係る画像処理システムの構成を示す概略図である。
【
図3】クラウドサーバの機能ブロックを示す図である。
【
図4】第1実施形態の動作の概略を示す概念図である。
【
図5】クラウドサーバの動作を示すフローチャートである。
【
図6】クラウドサーバの動作を示すフローチャートである。
【
図8】画像処理システムにおける動作例を示すタイミングチャートである。
【
図9】第2実施形態の動作の概略を示す概念図である。
【
図11】クラウドサーバの動作を示すフローチャートである。
【
図12】MFPの動作を示すフローチャートである。
【
図13】画像処理システムにおける動作例を示すタイミングチャートである。
【
図14】第3実施形態の動作の概略を示す概念図である。
【
図15】クラウドサーバの動作を示すフローチャートである。
【
図16】画像処理システムにおける動作例を示すタイミングチャートである。
【
図17】クラウドサーバの動作(ダミーコマンド送信動作等)を示すフローチャートである。
【
図18】第4実施形態の動作の概略を示す概念図である。
【
図19】クラウドサーバの動作を示すフローチャートである。
【
図20】画像処理システムにおける動作例を示すタイミングチャートである。
【
図21】比較例に係る動作例を示すタイミングチャートである。
【発明を実施するための形態】
【0038】
以下、本発明の実施形態を図面に基づいて説明する。
【0039】
<1.第1実施形態>
<1-1.システム構成>
図1は、本発明の第1実施形態に係る画像処理システム1の構成を示す概略図である。
図1に示されるように、画像処理システム1は、クラウドサーバ50とMFP10と音声デバイス(外部装置)70とを備える。
【0040】
MFP10とクラウドサーバ50とは、ネットワーク108を介して互いに接続される。また、音声デバイス70とクラウドサーバ50とは、ネットワーク108を介して互いに接続される。ネットワーク108は、LAN(Local Area Network)およびインターネットなどによって構成される。また、ネットワーク108に対する接続態様は、有線接続であってもよく、或いは無線接続であってもよい。
【0041】
音声デバイス70は、スピーカ(音声出力部)およびマイク(音声入力部)を備える装置である。この音声デバイス70は、いわゆるスマートスピーカである。音声デバイス70は、ネットワーク108を介してクラウドサーバ50と通信し、クラウドサーバ50との間で音声情報等を授受することが可能である。クラウドサーバ50は、入力された音声(入力音声データ)を音声デバイス70から受信するとともに、当該音声(入力音声)に対する自然言語解析処理を実行し、入力音声によるユーザ指示を受け付けることが可能である。また、クラウドサーバ50は、当該ユーザ指示等に応答する音声(応答音声)(詳細には、音声データ)を音声デバイス70に送信し、音声デバイス70のスピーカを介して応答音声を出力(音声出力)することが可能である。
【0042】
次に、MFP10およびクラウドサーバ50について説明する。
【0043】
<1-2.MFP10の構成>
図2は、MFP(マルチ・ファンクション・ペリフェラル(Multi-Functional Peripheral))10の機能ブロックを示す図である。
【0044】
MFP10は、スキャン機能、コピー機能、ファクシミリ機能およびボックス格納機能などを備える装置(複合機とも称する)である。具体的には、MFP10は、
図2の機能ブロック図に示すように、画像読取部2、印刷出力部3、通信部4、格納部5、操作部6およびコントローラ9等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。なお、MFP10は、画像処理装置あるいは画像形成装置などとも表現される。
【0045】
画像読取部2は、MFP10の所定の位置に載置された原稿を光学的に読み取って(すなわちスキャンして)、当該原稿の画像データ(原稿画像なしいスキャン画像とも称する)を生成する処理部である。この画像読取部2は、スキャン部であるとも称される。
【0046】
印刷出力部3は、印刷対象に関するデータに基づいて紙などの各種の媒体に画像を印刷出力する出力部である。このMFP10は、電子写真方式のプリンタ(フルカラープリンタ)でもあり、印刷出力部3は、露光部、現像部、転写部、定着部などの各種のハードウエア機構を有している。
【0047】
通信部4は、公衆回線等を介したファクシミリ通信を行うことが可能な処理部である。さらに、通信部4は、ネットワーク108を介したネットワーク通信を行うことも可能である。このネットワーク通信では、たとえば、TCP/IP(Transmission Control Protocol / Internet Protocol)およびHTTP(HyperText Transfer Protocol)等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、MFP10は、所望の相手先(たとえば、クラウドサーバ50等)との間で各種のデータを授受することが可能である。通信部4は、各種データを送信する送信部4aと各種データを受信する受信部4bとを有する。
【0048】
格納部5は、半導体メモリ(RAM等)およびハードディスクドライブ(HDD)等の記憶装置で構成される。MFP10の格納部5(半導体メモリ等)には、MFP10における実行対象ジョブに関する設定内容(クラウドサーバ50から送信されてきた設定情報等を含む)が一時的に格納される。
【0049】
操作部6は、MFP10に対する操作入力を受け付ける操作入力部6aと、各種情報の表示出力を行う表示部6bとを備えている。このMFP10においては、略板状の操作パネル部18(
図1参照)が設けられ、当該操作パネル部18は、その正面側にタッチパネル19(
図1参照)を有している。タッチパネル19は、液晶表示パネルに圧電センサ等が埋め込まれて構成され、各種情報を表示するとともに操作者からの操作入力を受け付けることが可能である。たとえば、タッチパネル19においては、メニュー画面等の各種の画面(ボタン画像等を含む)等が表示される。操作者は、タッチパネル19内に仮想的に配置されるボタン(ボタン画像で表現されるボタン)を押下することによって、MFP10の各種設定内容を変更することなどが可能である。タッチパネル19は、操作入力部6aの一部としても機能するとともに、表示部6bの一部としても機能する。
【0050】
コントローラ(制御部)9は、MFP10に内蔵され、MFP10を統括的に制御する制御装置である。コントローラ9は、CPUおよび各種の半導体メモリ(RAMおよびROM)等を備えるコンピュータシステムとして構成される。コントローラ9は、CPUにおいて、ROM(例えば、EEPROM(登録商標))内に格納されている所定のソフトウエアプログラム(以下、単にプログラムとも称する)を実行することによって、各種の処理部を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)は、USBメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されてMFP10にインストールされるようにしてもよい。あるいは、当該プログラムは、ネットワーク等を経由してダウンロードされてMFP10にインストールされるようにしてもよい。
【0051】
ここでは、当該プログラムとして、「音声アプリケーションソフトウエア」Q1(音声デバイス70およびクラウドサーバ50と連携し、音声によってMFP10を操作するためのアプリケーションソフトウエア)がMFP10にインストールされている。換言すれば、クラウドサーバ50とMFP10との連携用のアプリケーションソフトウエア(クラウドサーバから送信されてきた設定情報に基づきMFP10における設定処理を実行するアプリケーションソフトウエア)がMFP10において実装されている。なお、「音声アプリケーションソフトウエア」(Q1)は、「音声アプリケーション」あるいは「音声アプリ」などとも称される。
【0052】
具体的には、
図2に示すように、コントローラ9は、当該プログラムの実行により、通信制御部11aと入力制御部11bと表示制御部11cと動作制御部11dと設定処理部11eとリセット制御部11fとスリープ制御部11gと認証制御部11hとを含む各種の処理部を実現する。
【0053】
通信制御部11aは、他の装置(クラウドサーバ50等)との間の通信動作を制御する処理部である。
【0054】
表示制御部11cは、表示部6bにおける表示動作を制御する処理部である。表示制御部11cは、MFP10を操作するための操作画面(MFP10におけるジョブに関する設定画面を含む)等を表示部6bに表示させる。
【0055】
入力制御部11bは、操作入力部6aに対する操作入力動作を制御する制御部である。たとえば、入力制御部11bは、操作画面に対する操作入力を受け付ける動作を制御する。
【0056】
動作制御部11dは、MFP10における印刷出力動作、スキャン動作、ファクシミリ通信動作等を制御する制御部である。
【0057】
設定処理部11eは、MFP10の動作に関する設定情報を設定する処理部である。設定処理部11eは、クラウドサーバ50から送信されてくる指示コマンドを含む受信指示とユーザの手指による操作入力指示(操作パネル部18等を用いた操作入力指示)との少なくとも一方に基づいて、当該設定情報を設定する。
【0058】
リセット制御部11fは、設定処理部11eによって設定されていた設定情報を所定の無指示期間M1の経過に応答して(自動的に)リセットする処理(以下、「オートリセット」とも称する)を実行する処理部である。後に詳述するように、リセット制御部11fは、音声指示によるMFP10の操作が開始される場合、オートリセットの実行(発生)を抑制する。
【0059】
スリープ制御部11gは、一定の無指示期間M2の経過に応答してMFP10をスリープ状態に遷移させる処理(以下、「オートスリープ」とも称する)を実行する処理部である。
【0060】
認証制御部11hは、ユーザ認証処理を実行する処理部である。認証制御部11hは、一定の無指示期間M3の経過に応答してMFP10を或るユーザU1のログイン状態から(当該ユーザU1の)ログアウト状態に遷移させる処理(以下、「オートログアウト」とも称する)をも実行する。
【0061】
なお、第1実施形態においては、上述の無指示期間M1,M2,M3は、互いに同一(たとえば、いずれも30秒)であるものとする。ただし、これに限定されず、無指示期間M1,M2,M3は、互いに異なる値であってもよい。たとえば、期間M1が30秒であり、期間M3が60秒であり、期間M2が90秒であってもよい。
【0062】
また、この第1実施形態では、これらの期間M1,M2,M3は、MFP10内の同じタイマー11p(不図示)によって計時され、何らかの指示がMFP10にて受け付けられると、タイマー11pがゼロにリセット(期間M1,M2,M3に関する計時時間が何れもゼロにリセット)される。
【0063】
<1-3.クラウドサーバ50の構成>
次に、
図3を参照しながら、クラウドサーバ50の構成について説明する。
図3は、クラウドサーバ50の機能ブロックを示す図である。
【0064】
クラウドサーバ50は、
図3の機能ブロック図に示すように、通信部54、格納部55およびコントローラ59等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。
【0065】
通信部54は、ネットワーク108を介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、TCP/IP(Transmission Control Protocol / Internet Protocol)およびHTTP(HyperText Transfer Protocol)等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、クラウドサーバ50は、所望の相手先(MFP10および音声デバイス70等)との間で各種のデータを授受することが可能である。通信部54は、各種データを送信する送信部54aと各種データを受信する受信部54bとを有する。
【0066】
格納部55は、半導体メモリ(RAM等)およびハードディスクドライブ(HDD)等の記憶装置で構成される。
【0067】
図3のコントローラ(制御部)59は、クラウドサーバ50に内蔵され、クラウドサーバ50を統括的に制御する制御装置である。コントローラ59は、CPUおよび各種の半導体メモリ(RAMおよびROM)等を備えるコンピュータシステムとして構成される。コントローラ59は、CPUにおいて、記憶部(半導体メモリ等)内に格納されている所定のプログラム(OSおよびアプリケーション等)を実行することによって、各種の処理部を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)は、可搬性の記録媒体(CD-ROMおよびUSBメモリなど)に記録され、当該記録媒体から読み出されてクラウドサーバ50にインストールされてもよい。あるいは、当該プログラムは、ネットワーク等を経由して送信され、クラウドサーバ50にインストールされるようにしてもよい。
【0068】
ここでは、当該プログラムとして、「MFP連携用クラウドアプリケーションソフトウエア」Q5(音声デバイス70およびクラウドサーバ50と連携し、音声によってMFP10を操作するためのアプリケーションソフトウエア(サーバ用アプリケーション))がインストールされている。なお、「MFP連携用クラウドアプリケーションソフトウエア」(Q5)は、「MFP連携用クラウドアプリケーション」あるいは「MFP連携用クラウドアプリ」などとも称される。
【0069】
コントローラ59は、当該プログラムの実行により、通信制御部59aと取得部59bと決定部59cと指示送信部59dと判定部59eと通知部59fとを含む各種の処理部を実現する。
【0070】
通信制御部59aは、通信部54等と協働して、MFP10および音声デバイス70等との通信動作を制御する処理部である。
【0071】
取得部59bは、通信制御部59a等と協働して、MFP10を操作するための音声指示を音声デバイス70から取得する処理部である。当該音声指示は、ユーザと音声デバイス70との間での会話において当該ユーザによって付与される。より詳細には、取得部59bは、音声デバイス70から受信した音声(入力音声)に対する自然言語解析処理を実行し、入力音声によるユーザ指示(音声指示)を解釈(理解)することが可能である。
【0072】
決定部59cは、音声指示に基づく指示コマンドを当該音声指示に応答してMFP10に送信するか否かを決定する処理部である。
【0073】
指示送信部59dは、取得部59bによって取得された音声指示に基づき指示コマンドを生成し、当該指示コマンドをMFP10に送信する処理部である。指示送信部59dは、通信制御部59a等と協働して、当該指示コマンドをMFP10に送信する。また、指示送信部59dは、指示コマンドを音声デバイス70からの音声指示に応答してMFP10に送信することが決定部59cによって決定されることを条件として、当該指示コマンドをMFP10に送信する。
【0074】
判定部59eは、ユーザと音声デバイス70との間での会話が実行されているか否かを判定する処理部である。換言すれば、判定部59eは、MFP10とクラウドサーバ50と音声デバイス70との連携処理が継続されているか否かを判定する処理部である。詳細には、判定部59eは、ユーザと音声デバイス70との間での会話の開始を検出するとともに、当該会話の終了をも検出する。ひいては、判定部59eは、ユーザと音声デバイス70との間での会話が継続中であるか否かを判定する。なお、判定部59eは、会話の開始および/または終了等を検出する検出部とも称される。
【0075】
通知部59fは、通信制御部59a等と協働して、「オートリセット抑制指示」(オートリセットの実行を抑制すべき旨の指示)をMFP10に対して通知する処理部である。
【0076】
ここにおいて、クラウドサーバ50は、単一のサーバ装置(コンピュータ装置)で構成されていることを要さず、複数のサーバ装置で構成されていてもよい。この場合、上記の複数の処理部の一部あるいは全部が互いに異なるサーバ装置で実現されてもよい。また、各処理部で実行される処理が複数のサーバ装置で分散されて実行されてもよい。本願では、単一のサーバ装置のみならず、複数のサーバ装置で構成されるサーバ装置群をも、「クラウドサーバ」と称するものとする。
【0077】
<1-4.動作概要>
次に、本システム1における動作の概要について、
図4を参照しつつ説明する。
図4は、第1実施形態の動作の概略を示す概念図である。
【0078】
画像処理システム1では、MFP10とクラウドサーバ50と音声デバイス70との連携処理によってMFP10が操作される。具体的には、ユーザが操作パネル部18(および/またはIDカード認証装置等)を用いてMFP10にログインした後、音声デバイス70を用いた音声指示(クラウドサーバ50を介した指示)によって、MFP10におけるジョブに関する設定処理等が実行される。なお、この実施形態では、MFP10は、音声デバイス70を用いた音声指示に基づく設定処理に加えて、MFP10の操作パネル部18を用いた操作指示(クラウドサーバ50を介さない指示)に基づく設定処理をも受け付ける。ここでは、音声デバイス70を用いた音声指示に基づく設定処理等を中心に説明する。
【0079】
音声デバイス70は、ユーザによって入力された音声(換言すれば、音声入力されたユーザ指示(音声指示))を受け付けると、当該音声(詳細には音声データ)をクラウドサーバ50に送信する。クラウドサーバ50は、音声デバイス70からの音声データに基づいて、ユーザ指示(MFP10の設定処理等に関するユーザ指示)を取得する。具体的には、クラウドサーバ50は、音声デバイス70から受信した音声データに対して自然言語解析処理等を実行し、ユーザの音声指示内容を把握(理解)し、ユーザ指示を取得(特定)する。このようにして、クラウドサーバ50は、MFP10を操作するための音声指示(詳細には、ユーザと音声デバイス70との間での会話において当該ユーザによって付与される音声指示)を音声デバイス70から取得する。
【0080】
そして、クラウドサーバ50は、当該ユーザ指示(音声指示)に基づく指示コマンド(MFP10のジョブに関する設定コマンド等)をMFP10に送信する。
【0081】
MFP10は、クラウドサーバ50から送信されてきた当該設定情報を、MFP10内の格納部5(
図2)に格納し、自装置10内の当該格納部5に格納された当該設定情報に基づき、MFP10に関する設定処理を実行する。
【0082】
ここにおいて、MFP10は、「オートリセット機能」を有している。具体的には、MFP10は、所定の無指示期間M1(たとえば、30秒)の経過に応答して、MFP10の格納部5内に(一時的に)格納されている設定情報をリセットする(各設定項目に関する各設定値をデフォルト値(初期値)に戻す)。この実施形態では、当該所定の無指示期間M1は、MFP10の操作パネル部18を介したユーザ指示(操作パネル部18に対するユーザの手指等に基づく直接的な操作指示)が存在せず且つ音声デバイス70とクラウドサーバ50とを介した音声指示(詳細には、当該音声指示に基づく指示コマンド)も存在しない期間である。
【0083】
画像処理システム1においては、三者10,50,70の連携処理中に音声デバイス70とクラウドサーバ50との間のみでの処理が比較的長期に亘って行われること(換言すれば、MFP10への指示が比較的長期に亘ってなされないこと)が生じ得る。たとえば、ユーザと音声デバイス70等との間での設定内容を確認するための処理に相当程度の期間を要する場合、当該相当程度の期間においてはクラウドサーバ50からMFP10への指示は送信されない。
【0084】
図21は、このような状況を示す図である。
図21は、音声デバイス70とクラウドサーバ50とMFP10との間での情報の授受等を示すタイミングチャートである。
図21においては、比較例に係るシステムにおいて上述の状況が生じている様子等が示されている。
【0085】
図21では、ユーザが、「コピーしたい」との音声指示に続いて、「両面にして」との音声指示を付与している。この場合、クラウドサーバ50は、「両面」が設定処理に関する指示であることを理解できたとしても、当該音声指示「両面」が「両面原稿」と「両面印刷」とのいずれを意図するのかを判別することができない。ここで、「両面原稿」は、設定項目「原稿の読取面」の設定値を(片面ではなく)「両面」に設定することを意味し、「両面印刷」は、設定項目「印刷出力用紙の出力面」の設定値を(片面ではなく)「両面」に設定することを意味する。
【0086】
これに対して、クラウドサーバ50は、設定値「両面」として、2種類の設定項目(「原稿の読取面」および「印刷出力用紙の出力面」)に関する各設定値が存在する旨を判定するとともに、ユーザの指示内容を一意に特定できない旨(指示内容の特定に失敗した旨)を判定する。すなわち、クラウドサーバ50は、ユーザ指示が不明確である旨を判定する。そして、クラウドサーバ50は、2種類の設定値(両面原稿/両面印刷)のうちのいずれを意図しているかをユーザに問い合わせる。具体的には、クラウドサーバ50は、「両面原稿ですか?両面印刷ですか」の文字列情報を音声デバイス70に送信し、音声デバイス70にて音声出力させる。ユーザは、このような問合せに対して、所望の選択肢(たとえば、「両面印刷」)を回答する。これによれば、クラウドサーバ50は、ユーザの意図を把握することが可能である。
【0087】
しかしながら、このような確認のための問合せと当該問合せに対する回答とに関しては、相当程度の期間を要する。そして、このような期間においては、MFP10に対しては何らの指示も付与されない。したがって、この場合、所定の無指示期間M1が経過する可能性が高い。
【0088】
このような場合、MFP10は、所定の無指示期間M1が経過したと判定し、自装置内の格納部5に一時的に格納していた設定内容をリセットする。すなわち、実際にはユーザの音声指示による設定処理が継続しているにもかかわらず、MFP10においてオートリセットが発生してしまう(
図21の中段付近参照)。オートリセットが発生すると、ユーザは設定を最初からやり直すことなどを求められるなどユーザの利便性が低下する。このような不要なオートリセットは発生しないことが好ましい。
【0089】
これに対して、この実施形態では、次のような処理が実行される。
【0090】
具体的には、クラウドサーバ50は、音声指示によるMFP10の操作が開始される場合、MFP10におけるオートリセットの実行を抑制させるための通知をMFP10に送信する。より具体的には、クラウドサーバ50は、「オートリセット抑制指示」(オートリセットの実行を抑制すべき旨の指示)をMFP10に通知する(
図4参照)。詳細には、クラウドサーバ50は、ユーザと音声デバイス70との間での会話(MFP10の操作に関する会話)の開始を検出する場合、「オートリセット抑制指示」をMFP10に対して通知する(後述するステップS34(
図5および
図8参照))。そして、MFP10(詳細には、リセット制御部11f(
図2))は、受信されたオートリセット抑制指示に基づき、オートリセットの実行を抑制する。詳細には、所定の無指示期間M1が経過してもオートリセットを実行しないことによって、オートリセットの実行が抑制される。たとえば、MFP10は、オートリセットに関する無指示期間M1を計時するタイマー11pの計時結果を無視するとともに当該計時結果をリセットすることによって、オートリセットの不実行を実現する。なお、当該タイマー11pを動作させないこと等によって、オートリセットの不実行が実現されてもよい。
【0091】
このようなオートリセットの抑制処理によれば、MFP10において無用にオートリセットが発生することを防止することが可能である。
【0092】
より詳細には、MFP10は、ユーザと音声デバイス70との間で会話が継続されている期間において、オートリセットの実行を抑制する。
【0093】
具体的には、クラウドサーバ50は、当該会話の開始に応じてオートリセット抑制指示をMFP10に通知した後において、当該会話の終了が検出されると、今度は「オートリセット抑制解除指示」(オートリセット抑制指示を解除する旨の指示)をMFP10に対して通知する。MFP10(リセット制御部11f)は、オートリセット抑制解除指示に基づき、オートリセットの実行の抑制を解除する。以後、MFP10は、通常通り、所定の無指示期間M1が経過すると直ちにオートリセットを実行する。
【0094】
なお、クラウドサーバ50からMFP10への各種の情報(たとえば、指示コマンド、ダミーコマンド(後述)、オートリセット抑制指示およびオートリセット抑制解除指示等)は、いわゆるプッシュ(Push)技術(情報の送り手側(サーバ等)から通信リクエストが開始される通信技術)を利用して送信されればよい。Push技術としては、MQTT(Message Queuing Telemetry Transport)等の各種のプロトコル(メッセージ通知型のプロトコル等)を利用するものが例示される。また、当該Push技術として、ポーリング技術等を用いて擬似的にPush送信を実現するもの(MFP10からクラウドサーバ50への通信をトリガーとして双方向通信を行う構成を用いたPush技術等)が利用されてもよい。たとえば、ロングポーリング技術(COMET等)、あるいはウエブソケット(WebSocket)技術等が利用されてもよい。
【0095】
以下では、上述の動作(オートリセットの抑制動作等)について更に詳細に説明する。
【0096】
<1-5.動作詳細>
図5および
図6は、クラウドサーバ50の動作を示すフローチャートであり、
図7は、MFP10の動作を示すフローチャートである。また、
図8は、画像処理システム1における各装置10,50,70の動作例を示すタイミングチャートである。以下、これらの図等を参照しながら、画像処理システム1の動作について詳細に説明する。
【0097】
ステップS10(
図5)の会話セッション判断ルーチン(
図6も参照)において、クラウドサーバ50は、音声デバイス70からの音声指示を受け付ける(ステップS11)と、所定の会話生成ロジックに基づいて音声応答を生成し、当該音声応答を音声デバイス70に向けて送信する(ステップS12)。その後、処理はステップS16に進む。
【0098】
たとえば、クラウドサーバ50は、「コピーしたい」との音声指示をユーザU1から音声デバイス70を介して受け付けると、コピー指示(コピー設定指示)が受け付けられた旨を理解する。そして、クラウドサーバ50は、「コピー1部、ステープル有り、等のデフォルト設定で良いですか?」との音声応答を生成し、当該音声応答を音声デバイス70に向けて送信する(
図8参照)。これに応じて、当該音声応答が音声デバイス70によって音声出力される。
【0099】
あるいは、クラウドサーバ50は、「両面にして」との音声指示をユーザU1から音声デバイス70を介して受け付けると、指示内容(設定項目)が不明確である旨を判定する。そして、クラウドサーバ50は、「両面原稿ですか?両面印刷ですか?」との音声応答を生成し、当該音声応答を音声デバイス70に向けて送信する(
図8参照)。これに応じて、当該音声応答が音声デバイス70によって音声出力される。
【0100】
あるいは、クラウドサーバ50は、「両面印刷」との音声指示をユーザU1から音声デバイス70を介して受け付けると、指示内容(設定項目「印刷出力用紙の出力面」を「両面」に設定すること)を理解する。そして、クラウドサーバ50は、「両面印刷ですね?コピーを実行してもよいですか?」との音声応答を生成し、当該音声応答を音声デバイス70に向けて送信する(
図8参照)。これに応じて、当該音声応答が音声デバイス70によって音声出力される。
【0101】
なお、音声指示が所定の期間L11に亘って受け付けられない場合、(ステップS13からステップS14に進み、)クラウドサーバ50は会話継続の是非をユーザに確認する。具体的には、クラウドサーバ50は、再度発話を促す音声応答(「終了しますか?」等)(終了確認用音声応答)を生成し、当該音声応答を音声デバイス70に向けて送信する。音声デバイス70が終了確認用音声応答を音声出力したことに対して、ユーザからの返答(音声入力)が得られない場合(及び、「はい」との返答(終了する旨の返答)が得られた場合)、クラウドサーバ50は会話の終了を判定し、ステップS15からステップS16に進む。逆に、会話継続の意思が確認された場合には、ステップS15から再びステップS11に戻る。
【0102】
ステップS16では、クラウドサーバ50は、会話の状態を判定する。具体的には、会話の開始時点であるか、会話の終了時点であるか、あるいは、会話の途中(会話期間の途中)であるかが判定される。なお、クラウドサーバ50は、会話の開始時点から会話の終了時点までの期間を会話の継続期間であると判定する。
【0103】
たとえば、会話未開始の状態で音声指示が受信された場合、クラウドサーバ50は、会話が開始された旨を判定する。換言すれば、クラウドサーバ50は、会話の開始を検出する。会話の開始時点においては、クラウドサーバ50は、ログイン中のユーザU1に関する会話セッションの状態情報を「継続」に設定するとともに(ステップS21)、会話セッションの開始が検出されたことを、呼出元ルーチンに対して通知する(ステップS22)。
【0104】
会話が開始された後、終了判定条件が充足される場合、クラウドサーバ50は、会話が終了した旨を判定する。換言すれば、クラウドサーバ50は、会話の終了を検出する。終了判定条件としては、たとえば、明示の終了指示(音声指示)が付与されたこと、あるいは、所定期間に亘って音声デバイス70からの音声指示が存在せず且つ終了確認用音声応答に対する音声指示も行われないこと、などが例示される。なお、終了確認用音声応答が行われず、所定期間に亘って音声デバイス70からの音声指示が存在しないことのみで、会話の終了が判定されてもよい。
【0105】
会話の終了時点においては、クラウドサーバ50(詳細にはステップS10の処理ルーチン)は、ログイン中のユーザU1に関する会話セッションの状態情報を「終了」に設定するとともに(ステップS24)、会話セッションの終了が検出されたことを、呼出元ルーチンに対して通知する(ステップS25)。
【0106】
また、会話の開始時点と会話の終了時点との間の期間においては、クラウドサーバ50は、会話の途中である旨を判定する。
【0107】
会話の途中においては、クラウドサーバ50は、ログイン中のユーザU1に関する会話セッションの状態情報は「継続」のまま変更されず、会話が継続中であること(会話セッションが継続中であること)を、呼出元ルーチンに対して通知する(ステップS23)。
【0108】
このような会話セッション判断ルーチン(ステップS10)による処理の後、クラウドサーバ50は、音声デバイス70から受信した音声指示に基づく指示コマンドを当該音声指示に応答してMFP10に送信すべきか否か、を判定する(ステップS31(
図5))。換言すれば、現時点が音声指示に基づく指示コマンドをMFP10に送信するタイミングであるか否か、が判定される。
【0109】
音声指示に基づく指示コマンドを音声指示に応答してMFP10に送信すべき旨が判定される場合には、クラウドサーバ50は、当該指示コマンドをMFP10に送信する(ステップS32)。ステップS31,S32については後に説明する。
【0110】
次のステップS33では、ステップS10での判断結果に応じた分岐処理が行われる。
【0111】
また、会話セッション判断ルーチン(ステップS10)によって会話の開始が検出された場合、ステップS33からステップS34に進み、クラウドサーバ50は、「オートリセット抑制指示」をMFP10に送信する。その後、ステップS10に戻る。
【0112】
また、会話セッション判断ルーチン(ステップS10)によって会話の終了が検出された場合、ステップS33からステップS35に進み、クラウドサーバ50は、「オートリセット抑制解除指示」をMFP10に送信する。その後、ステップS10に戻る。
【0113】
会話セッション判断ルーチン(ステップS10)によって会話の継続中であることが検出された場合、クラウドサーバ50は、「オートリセット抑制指示」と「オートリセット抑制解除指示」とのいずれをも送信せずに、ステップS10に戻る。
【0114】
たとえば、クラウドサーバ50は、会話未開始の状態で、「コピーしたい」との音声指示をユーザU1から音声デバイス70を介して受け付けると、会話の開始を検出する(S16,S21,S22)。また、クラウドサーバ50は、当該音声指示に基づく指示コマンド(具体的には、「コピー」ジョブに関する設定動作の実行コマンド(「コピー設定」))を送信するタイミングであることをも判定する(ステップS31でYES)。そして、クラウドサーバ50は、「コピー設定」コマンドをMFP10に対して送信する(ステップS32)とともに、「オートリセット抑制指示」をもMFP10に対して送信する(ステップS34)。
【0115】
また、クラウドサーバ50は、会話継続中において、「両面にして」との音声指示をユーザU1から音声デバイス70を介して受け付けると、会話の継続中を検出する(S16,S23)。また、当該音声指示「両面にして」の指示内容が不明確であることに基づき、当該音声指示に基づく指示コマンドをMFP10に対して送信するタイミングではないことをも判定する(ステップS31でNO)。この場合、クラウドサーバ50は、いずれのコマンド(指示コマンド、オートリセット抑制指示コマンド、オートリセット抑制解除指示コマンド)をもMFP10に対して送信しない。
【0116】
また、クラウドサーバ50は、会話の開始後において、「コピーを実行してもよいですか?」とのクラウドサーバ50および音声デバイス70からの問いかけ(音声応答)に対して、「はい」との音声指示をユーザU1から音声デバイス70を介して受け付けると、明示の会話終了指示であると判断して、会話の終了を検出する(S16,S24,S25)。また、当該音声指示に基づく指示コマンド(具体的には、「コピー」ジョブに関する出力動作の開始コマンド(「コピー出力開始」))を送信するタイミングであることをも判定する(ステップS31でYES)。そして、クラウドサーバ50は、「コピー出力開始」コマンドをMFP10に対して送信する(ステップS32)とともに、「オートリセット抑制解除指示」をもMFP10に対して送信する(ステップS35)。
【0117】
一方、MFP10は、指示コマンドを受信する(ステップS72(
図7)でYES)と、当該指示コマンドへの対応処理を実行する(ステップS74)とともに、オートリセット用のタイマー11pを再設定する(ステップS75)。具体的には、MFP10は、当該タイマー11pの計時用カウンタをゼロにリセット(所定の無指示期間M1に関する計時時間をリセット)した上で当該タイマー11pによる計時を開始(再開)する。また、指示コマンドをMFP10が受信しない状態で所定の無指示期間M1が経過する(ステップS72でNO、且つ、ステップS73でYES)と、MFP10は、オートリセットの抑制中か否かを判定する(ステップS76)。「オートリセット抑制指示」を受信した後且つ「オートリセット抑制解除指示」を受信するまでの期間においては、オートリセットの抑制中である旨が判定される。一方、「オートリセット抑制指示」を受信する前、あるいは「オートリセット抑制解除指示」を受信した後においては、オートリセットの抑制中でない旨(抑制解除)が判定される。
【0118】
具体的には、MFP10は、「オートリセット抑制指示」を受信すると、当該オートリセット抑制指示に基づき、オートリセットの実行を抑制する(抑制開始)。MFP10は、オートリセットの抑制中である旨を判定し、オートリセットの実行を抑制する。より具体的には、所定の無指示期間M1(たとえば30秒)が経過した場合(ステップS73でYES)であっても、オートリセットの抑制中である旨が判定されるとき(ステップS76でYESのとき)には、MFP10はオートリセット(ステップS79)を実行しない(
図8も参照)。これによれば、
図8を
図21と比較すると判るように、「コピーしたい」との音声指示から所定の無指示期間M1が経過しても、オートリセットが発生しない。したがって、MFP10において無用なオートリセットの発生を防止することが可能である。
【0119】
また、MFP10は、「オートリセット抑制解除指示」を受信すると、当該オートリセット抑制解除指示に基づき、オートリセットの実行抑制を解除する。この結果、当該解除時点から所定の無指示期間M1が経過する場合には、MFP10はオートリセットを実行する(ステップS79)。これによれば、会話が行われていない期間においては、オートリセット機能を適切に有効化することが可能である。
【0120】
以上のように、第1実施形態の動作によれば、音声指示によるMFP10の操作が開始される場合、オートリセットの実行(発生)が抑制される(
図8等参照)。より具体的には、会話の開始が検出される場合、クラウドサーバ50は、オートリセット抑制指示をMFP10に対して通知し(ステップS34)、MFP10は、当該オートリセット抑制指示に基づき、オートリセットの実行を抑制する。したがって、MFP10において無用なオートリセットの発生を防止することが可能である。
【0121】
なお、上記実施形態においては、所定の無指示期間M1が経過してもオートリセットが実行されないこと(「オートリセットの不実行」、あるいは、「オートリセットの無効化」とも表現される)によって、オートリセットの実行が抑制されているが、これに限定されない。たとえば、オートリセットの実行タイミングを遅延させることによってオートリセットの実行が抑制されるようにしてもよい。詳細には、MFP10(リセット制御部11f)は、所定の無指示期間M1の長さをデフォルト値(たとえば30秒)から別の値(当該前記デフォルト値よりも大きな値)(たとえば5分)に変更(延長)し、オートリセットの開始タイミングを遅延させることによって、オートリセットの実行を抑制するようにしてもよい。
【0122】
また、上記第1実施形態においては、MFP10は、単一のタイマー11pの計時時間に基づいて、所定の無指示時間M1,M2,M3の経過の有無を判定しているが、これに限定されない。たとえば、MFP10は、複数のタイマーの計時時間に基づいて各無指示時間M1,M2,M3の経過の有無を判定してもよい。
【0123】
また、無指示時間M1,M2,M3の経過の有無が単一のタイマーと複数のタイマーとのいずれによって計時されている場合であっても、オートリセット抑制指示に基づきオートリセットの実行が抑制されるとともに、次述するようにオートスリープの実行および/またはオートログアウトの実行もが抑制されてもよい。
【0124】
具体的には、MFP10は、オートリセット抑制指示が通知されている場合、オートリセット抑制指示に基づき、オートリセットの実行のみならず「オートスリープ」の実行をも抑制するようにしてもよい。より詳細には、MFP10は、オートリセット抑制指示が通知されている場合、オートスリープの抑制指示も付与されたものとみなして、オートスリープの実行をも抑制してもよい。ここで、「オートスリープ」は、無指示期間M2の経過に応答して(自動的に)MFP10をスリープ状態に遷移させる処理である。無指示期間M2は、オートリセットに関する所定の無指示期間M1と同一の長さを有してもよく、あるいは異なる長さを有してもよい。
【0125】
あるいは、クラウドサーバ50は、会話の開始を検出する場合、「オートリセット抑制指示」に加えて「オートスリープ抑制指示」(オートスリープの実行を抑制すべき旨の指示)をもMFP10に対して(明示的に)通知するようにしてもよい。そして、MFP10は、オートスリープ抑制指示に基づき、オートスリープの実行を抑制してもよい。
【0126】
なお、オートスリープの実行の抑制は、オートスリープの不実行によって実現されてもよく、あるいは期間M2の延長等によって実現されてもよい。また、「オートリセット」と「オートスリープ」とが互いに連動している場合(無指示期間M1,M2が互いに同じ値である場合等)に上記各変形例が適用されてもよく、あるいは、「オートリセット」と「オートスリープ」とが別々に作動する場合(無指示期間M1,M2が互いに異なる値である場合等)に上記各変形例が適用されてもよい。
【0127】
また、MFP10は、オートリセット抑制指示が通知されている場合、オートリセット抑制指示に基づき、オートリセット(およびオートスリープ)の実行のみならず「オートログアウト」の実行をも抑制するようにしてもよい。より詳細には、MFP10は、オートリセット抑制指示が通知されている場合、オートログアウト(およびオートスリープ)の抑制指示も付与されたものとみなして、オートログアウト(およびオートスリープ)の実行をも抑制してもよい。ここで、「オートログアウト」は、無指示期間M3の経過に応答して(自動的に)MFP10をユーザのログイン状態からログアウト状態に遷移させる処理である。無指示期間M3は、オートリセットに関する所定の無指示期間M1と同一の長さを有してもよく、あるいは異なる長さを有してもよい。
【0128】
あるいは、クラウドサーバ50は、会話の開始を検出する場合、「オートリセット抑制指示」(および「オートスリープ抑制指示」)に加えて「オートログアウト抑制指示」(オートログアウトの実行を抑制すべき旨の指示)をもMFP10に対して(明示的に)通知するようにしてもよい。そして、MFP10は、オートログアウト抑制指示に基づき、オートログアウトの実行を抑制してもよい。
【0129】
なお、オートログアウトの実行の抑制は、オートログアウトの不実行によって実現されてもよく、あるいは期間M3の延長等によって実現されてもよい。また、「オートリセット」と「オートログアウト」とが互いに連動している場合(無指示期間M1,M3が互いに同じ値である場合等)に上記各変形例が適用されてもよく、あるいは、「オートリセット」と「オートログアウト」とが別々に作動する場合(無指示期間M1,M3が互いに異なる値である場合等)に上記各変形例が適用されてもよい。また、「オートリセット」と「オートスリープ」と「オートログアウト」とが互いに連動している場合(無指示期間M1,M2,M3が互いに同じ値である場合等)に上記各変形例が適用されてもよく、あるいは、「オートリセット」と「オートスリープ」と「オートログアウト」とが別々に作動する場合(無指示期間M1,M2,M3が互いに異なる値である場合等)に上記各変形例が適用されてもよい。
【0130】
<2.第2実施形態>
第2実施形態は、第1実施形態の変形例である。以下では、第1実施形態との相違点を中心に説明する。
【0131】
図9は、第2実施形態に係る画像処理システム1(1B)の動作を示す概念図である。
図9に示されるように、第2実施形態では、ユーザと音声デバイス70との間での会話が継続中であるか否かに関する問合せを、MFP10がクラウドサーバ50に対して実行する。そして、MFP10は、当該問合せに対して「会話継続中」の回答を受信した場合、オートリセットの実行を抑制する。
【0132】
図10は、第2実施形態に係るMFP10(10B)の機能ブロックを示す図である。また、
図11は、第2実施形態に係るクラウドサーバ50(50B)の動作を示すフローチャートであり、
図12は、第2実施形態に係るMFP10Bの動作を示すフローチャートである。また、
図13は、第2実施形態に係る画像処理システム1(1B)の動作例を示す図である。
【0133】
図11等に示されるように、第2実施形態に係るクラウドサーバ50の動作は、ステップS34,S35(
図5)の処理を実行しない(すなわち、オートリセット抑制指示を送信せず且つオートリセット抑制解除指示も送信しない)点で、第1実施形態に係るクラウドサーバ50の動作と相違する。なお、クラウドサーバ50は、第1実施形態と同様、ステップS10(
図6参照)の動作等を実行し、会話の継続性に関する情報を管理する。
【0134】
また、第2実施形態に係るMFP10(詳細には、問合せ部11i(
図10参照))は、所定の無指示期間M1が経過した場合(ステップS73B(
図12)でYESの場合)、オートリセットを直ちには実行せず、音声デバイス70およびクラウドサーバ50等を用いた会話の継続中であるか否かをクラウドサーバ50に対して問い合わせる(ステップS86(
図12))。会話の継続中でない旨の返答がクラウドサーバ50から受信される場合(ステップS87でNOの場合)、MFP10は、オートリセットを実行する(ステップS89)。一方、会話の継続中である旨の返答がクラウドサーバ50から受信される場合(ステップS87でYESの場合)、MFP10は、オートリセットの実行を抑制する(ステップS88(
図13も参照))。具体的には、オートリセット用タイマー11pが再設定される。詳細には、MFP10は、オートリセット用タイマー11pのカウンタをゼロにリセット(換言すれば、所定の無指示期間M1の経過を無効化)した上で、計時を開始(再開)する。
【0135】
たとえば、
図13に示されるように、「両面にして」の音声指示の後に、MFP10内のオートリセット用タイマー11pがカウントアップした場合(所定の無指示期間M1が経過した場合)には、MFP10は、会話の継続中であるか否かをクラウドサーバ50に対して問い合わせる(ステップS86(
図12も参照))。
【0136】
クラウドサーバ50は、MFP10からの問合せを受信すると、会話の継続中か否かに関する状態をMFP10に回答(返信)する。具体的には、クラウドサーバ50は、会話の継続性に関する直近の判定処理(ステップS10)の判定結果をMFP10に返信する。なお、クラウドサーバ50における当該処理(判定結果の返信処理等)は、
図11とは別のルーチン(不図示)で実行される。
【0137】
MFP10は、会話の継続中である旨をクラウドサーバ50から受信するときには、所定の無指示期間M1の経過を無効化すること(タイマー再設定等)によってオートリセットを抑制する(ステップS88)。
【0138】
以上のような動作によっても、MFP10におけるオートリセットの実行(発生)が抑制される。より具体的には、MFP10は、会話の継続中であるか否かをクラウドサーバ50に問い合わせ、会話の継続中である旨の返答がクラウドサーバ50から受信される場合、オートリセットの実行を抑制する。したがって、MFP10における無用なオートリセットの発生を防止することが可能である。
【0139】
なお、上記第2実施形態においては、会話の継続中である旨の返答がクラウドサーバ50から受信される場合、オートリセットの実行のみが抑制されているが、これに限定されない。たとえば、会話の継続中である旨の返答がクラウドサーバ50から受信される場合、MFP10は、オートリセットの実行のみならず、オートスリープおよび/またはオートログアウトの実行をも抑制してもよい。換言すれば、オートスリープ(および/またはオートログアウト)の実行抑制指示も付与されたものとみなして、オートスリープ(および/またはオートログアウト)の実行をも抑制してもよい。
【0140】
また、上記第2実施形態では、MFP10からクラウドサーバ50への問合せが、前回の指示時点から所定の無指示期間M1が経過するごとに行われているが、これに限定されない。たとえば、当該問合せは、前回の指示時点から所定の期間L12(期間M1よりも短い期間)が経過するごとに行われてもよい。
【0141】
<3.第3実施形態>
第3実施形態は、第1実施形態の変形例である。以下では、第1実施形態との相違点を中心に説明する。
【0142】
図14は、第3実施形態に係る画像処理システム1(1C)の動作を示す概念図である。第3実施形態では、MFP10におけるオートリセットの実行を抑制させるための通知として、ダミーコマンド(後述)が利用される。具体的には、
図14に示されるように、第3実施形態では、ユーザと音声デバイス70との間での会話の継続中においては、クラウドサーバ50からMFP10に対してダミーコマンド(後述)が周期的に(所定時間L13(後述)間隔で)送信される(ステップS43(
図15も参照))。MFP10は、ダミーコマンドが受信される場合、ユーザからの指示(および当該指示に応じた指示コマンド)が受け付けられたものと判定する。これに応じて、MFP10のオートリセット用タイマー11pによる計時時間が所定の無指示期間M1に到達しなくなり、結果的にオートリセットの実行が抑制される。
【0143】
ここで、「ダミーコマンド」は、MFP10で受信されても当該MFP10の動作には実質的な影響を与えないコマンドである。たとえば、MFP10での動作に実質的な影響を与える通常の指示コマンド(上述の「コピー設定」(コピーモード設定コマンド)、「設定:両面印刷」(両面印刷設定コマンド)、などの指示コマンド)とは全く異なる新たなコマンド(たとえば「ダミー指示」等)がダミーコマンドとして設けられればよい。
【0144】
図15は、第3実施形態に係るクラウドサーバ50(50C)の動作を示すフローチャートであり、
図16は、第3実施形態に係る画像処理システム1(1C)の動作例を示す図である。また、
図17は、
図15とは別のルーチンに関するクラウドサーバ50の動作を示す図である。なお、第3実施形態に係るMFP10(10C)は、第1実施形態と同様の動作(
図7参照)を実行する。当該MFP10Cは、クラウドサーバ50からのダミーコマンドを受け付けた場合、クラウドサーバ50からの通常の指示コマンドを受け付けた場合と同様に、ステップS75の処理(タイマー再設定処理)を実行する。この場合、MFP10Cは、ステップS74(
図7)の処理を実行しなくてもよい。
【0145】
図15および
図16に示されるように、第3実施形態においては、明示的なオートリセット抑制指示(ステップS34(
図5))および明示的なオートリセット抑制解消指示(ステップS35(
図5))が送信されない点で第1実施形態と相違する。
【0146】
そして、この第3実施形態においては、
図15に示されるように、会話開始直後であることがステップS33で判定されると、会話の開始直後にクラウドサーバ50内の周期タイマー59p(不図示)による計時を開始する(ステップS41(
図15))。なお、周期タイマー59pは、たとえば、クラウドサーバ50のコントローラ等において実現されればよい。
【0147】
また、会話継続中であることがステップS33で判定されると、ステップS10に戻る。会話の開始時点から会話の終了時点までの期間(換言すれば、会話の継続中)においては、
図17の動作もがクラウドサーバ50によって実行される。
図17の動作は、
図15の動作と並列的に実行される。
【0148】
具体的には、周期タイマー59pによる所定期間(所定周期)L13の経過の有無がステップS42で判定される。所定期間L13は、所定の無指示期間M1よりも小さな値である。たとえば、所定の無指示期間M1が「30秒」である場合、所定期間L13は「25秒」に予め設定されればよい。
【0149】
所定期間L13が未だ経過していない旨がステップS42で判定される場合、クラウドサーバ50は、ステップS43の処理を実行せずにステップS42に戻る。一方、所定期間L13が経過した旨がステップS42で判定されると、クラウドサーバ50はダミーコマンドをMFP10に送信するとともに当該周期タイマー59pを再設定する(ステップS43)。
【0150】
このような動作により、会話継続中においては、ダミーコマンドが所定周期L13でクラウドサーバ50からMFP10へと送信される。
図16においては、所定期間L13の経過ごとに、ダミーコマンドがクラウドサーバ50からMFP10へと送信されている。より詳細には、「コピー設定」(コピーモード設定コマンド)の送信時点と「設定:両面印刷」(両面印刷設定コマンド)の送信時点との間の期間においても、所定期間L13の経過毎に、クラウドサーバ50は、ダミーコマンドをMFP10へと送信している。
【0151】
なお、会話が終了したことがステップS33(
図15)で判定されると、クラウドサーバ50は、周期タイマー59pの使用を終了(ステップS44)し、
図15(および
図17)の処理を終了する。
【0152】
一方、MFP10は、ダミーコマンドをクラウドサーバ50から受信する場合、ユーザからの指示(および当該指示に応じた指示コマンド)を受け付けたものとみなして、オートリセットの実行を抑制する。より具体的には、MFP10は、MFP10内のオートリセット用タイマー11pを再設定(所定の無指示期間M1に関する計時時間をリセット)する(ステップS75(
図7参照))ことによって、オートリセットの実行を抑制する。
【0153】
以上のような動作によれば、クラウドサーバ50は、ユーザと音声デバイス70との会話の継続中において、ダミーコマンドをMFP10に対して所定期間間隔で送信する。そして、MFP10は、ダミーコマンドを受信する場合、ユーザからの指示を受け付けたものとみなして、オートリセットの実行を抑制する。したがって、MFP10における無用なオートリセットの発生を防止することが可能である。
【0154】
また、MFP10は、ダミーコマンドの受信によって、オートリセットの実行のみならず、オートログアウトの実行およびオートスリープの実行をも回避できる。すなわち、MFP10における無用なオートログアウトの発生、および無用なオートスリープの発生をも防止することが可能である。
【0155】
ここにおいて、「ダミーコマンド」は、上述のように、通常の指示コマンドとは全く異なる新たなコマンド(たとえば「ダミー指示」等)であってもよいが、これに限定されない。
【0156】
たとえば、ダミーコマンドは、前回送信されたコマンドと同じコマンドであってもよい。具体的には、クラウドサーバ50は、コピーモード設定コマンドを(通常コマンドとして)MFP10に送信した後に、引き続いて同じコマンド(コピーモード設定コマンド)をダミーコマンドとしてMFP10に送信してもよい。MFP10が前回と同じコマンドを今回受信しても、今回受信したコマンドはMFP10の動作には実質的な影響を与えない。具体的には、MFP10が現在のモード(コピーモード)と同じモードへの変更指示(「コピー設定」(コピーモード設定コマンド))を受信しても、当該MFP10のモードは(実質的には)同じであり変更されない。このように、前回送信されたコマンドと同じコマンドがダミーコマンドとして送信されてもよい。
【0157】
また、現在のモードでは設定され得ない設定項目(現在のモードでは有効でない設定項目)に関する設定指示コマンドがダミーコマンドとして送信されてもよい。たとえば、スキャンモードでのみ有効なスキャン設定項目「読取解像度」の内容(「600dpi」等)をコピーモードで指定するコマンド、あるいはスキャンモードでのみ有効なスキャン設定項目「保存ファイル形式」の内容(「PDF形式」等)をコピーモードで指定するコマンド等がダミーコマンドとして送信されてもよい。
【0158】
また、MFP10には設けられていない機能に関する設定指示コマンドがダミーコマンドとして送信されてもよい。たとえば、A3サイズの印刷出力機能を有しないMFP10に対して設定項目「印刷出力サイズ」の設定値(内容)を「A3」に設定すべき旨の指示コマンドが、ダミーコマンドとして送信されてもよい。あるいは、ステープル機能を有しないMFP10に対して設定項目「ステープル」の設定値を「有り」に設定すべき旨の指示コマンドが、ダミーコマンドとして送信されてもよい。
【0159】
なお、「ダミーコマンド」は、無効コマンド(コマンド自身が無効なコマンド)、無意義コマンドあるいは無意味コマンド(MFP10で受信されても実質的な意義(意味)を有しないコマンド)などとも称される。
【0160】
<4.第4実施形態>
第4実施形態は、第3実施形態の変形例である。以下では、第3実施形態との相違点を中心に説明する。
【0161】
上記第3実施形態では、ダミーコマンドが周期的に送信されている。換言すれば、ユーザによる音声指示のタイミングとは無関係にダミーコマンドが送信されている。しかしながら、本発明はこれに限定されない。たとえば、音声指示のタイミングに合わせて、ダミーコマンドが送信されてもよい(
図18等参照)。第4実施形態では、このような態様について説明する。
【0162】
図18は、第4実施形態に係る画像処理システム1(1D)の動作を示す概念図である。
図18に示されるように、第4実施形態では、会話の継続中において音声指示のタイミングに合わせて、ダミーコマンドと当該音声指示に対応する指示コマンド(対応コマンド)とのうちのいずれか一方が送信される。
【0163】
図19は、第4実施形態に係るクラウドサーバ50(50D)の動作を示すフローチャートであり、
図20は、第4実施形態に係る画像処理システム1(1D)の動作例を示す図である。なお、第4実施形態に係るMFP10は、第3実施形態と同様の動作(
図7参照)を実行する。
【0164】
図19に示されるように、会話セッション判断ルーチン(ステップS10)による処理の後、ステップS31の分岐処理に進む。
【0165】
次のステップS31では、音声デバイス70から受信した音声指示に基づく指示コマンドを音声指示に応答してMFP10に送信すべきか否か、がクラウドサーバ50によって判定(決定)される。音声指示に基づく指示コマンドをMFP10に送信すべき旨が判定される場合には、クラウドサーバ50は、当該指示コマンドをMFP10に送信する(ステップS32)。一方、音声指示に基づく指示コマンドをMFP10に送信すべきでない旨が判定される場合には、ステップS32の処理は実行されず且つステップS53の処理が実行される。ステップS53では、クラウドサーバ50は、ダミーコマンドをMFP10に送信する。
【0166】
ステップS33では、会話の継続性に関する判定結果に応じて分岐する。会話の継続中(初回の音声指示の受付時点以後且つ会話の終了時点よりも前)が判定された場合、再びステップS10に戻る。一方、会話の終了が検出された場合、
図19の処理は終了する。
【0167】
たとえば、
図20に示されるように、音声指示「コピーしたい」が受け付けられて会話が開始される場合、ステップS31にて当該音声指示に基づく指示コマンドが当該音声指示に応答して送信されるべき旨が判定され、指示コマンド(「コピー設定」コマンド)がクラウドサーバ50からMFP10に送信される(ステップS32(
図19))(
図20の上段部分も参照)。
【0168】
また、会話の継続中において音声指示「両面にして」が受け付けられた場合、(当該音声指示の内容が不明確であることに起因して)当該音声指示の内容をユーザに確認すべき旨が決定される。その結果、当該音声指示に基づく指示コマンドをMFP10に(未だ)送信すべきでない旨が判定される(ステップS31)。そして、ダミーコマンドがクラウドサーバ50からMFP10に送信される(ステップS53)(
図20の中段付近も参照)。
【0169】
また、会話の継続中において音声指示「両面印刷」が受け付けられた場合、当該音声指示に基づく指示コマンドをMFP10に送信すべき旨が判定され、通常コマンド(両面印刷設定コマンド)がクラウドサーバ50からMFP10に送信される(ステップS32)(
図20の下段付近も参照)。
【0170】
以上のような動作によれば、音声指示が付与されるタイミングに合わせて、通常の指示コマンドとダミーコマンドとの何れか一方がクラウドサーバ50からMFP10へと送信される。たとえば、「コピー設定」(コピーモード設定コマンド)の送信時点と「設定:両面印刷」(両面印刷設定コマンド)の送信時点との間(詳細には、音声指示「両面にして」の付与タイミング)においても、クラウドサーバ50は、ダミーコマンドをMFP10へと送信する。そして、MFP10は、ダミーコマンドを受信する場合、ユーザからの指示を受け付けたものとみなして、オートリセットの実行を抑制する。したがって、MFP10における無用なオートリセットの発生を防止することが可能である。
【0171】
<5.変形例等>
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【0172】
たとえば、上記各実施形態においては、コピージョブに関する設定処理に本発明が適用される態様が例示されているが、これに限定されず、スキャンジョブなどの他のジョブに関する設定処理に本発明が適用されてもよい。
【0173】
また、上記各実施形態においては、画像処理装置としてMFP10が例示されているが、これに限定されない。画像処理装置は、コピー装置、印刷出力装置(単機能プリンタ等)、あるいはスキャナ装置などであってもよい。
【符号の説明】
【0174】
1 画像処理システム
10 MFP(画像処理装置)
18 操作パネル部
19 タッチパネル
50 クラウドサーバ
70 音声デバイス(外部装置)