▶ ＡＶＩＴＡ株式会社の特許一覧 ▶ 国立大学法人大阪大学の特許一覧
特開2023-87718情報処理システム、情報処理装置、制御プログラムおよび制御方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023087718
(43)【公開日】2023-06-26
(54)【発明の名称】情報処理システム、情報処理装置、制御プログラムおよび制御方法
(51)【国際特許分類】
H04L 51/04 20220101AFI20230619BHJP
H04L 51/10 20220101ALI20230619BHJP
H04L 51/21 20220101ALI20230619BHJP
【ＦＩ】
H04L51/04
H04L51/10
H04L51/21
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021202151
(22)【出願日】2021-12-14
(71)【出願人】
【識別番号】521413866
【氏名又は名称】ＡＶＩＴＡ株式会社
(71)【出願人】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(74)【代理人】
【識別番号】100090181
【弁理士】
【氏名又は名称】山田 義人
(74)【代理人】
【識別番号】100168217
【弁理士】
【氏名又は名称】大村 和史
(72)【発明者】
【氏名】石黒 浩
(72)【発明者】
【氏名】三上 崇志
(72)【発明者】
【氏名】西口 昇吾
(57)【要約】
【課題】 利用者を応対しているときに、他の操作者と他の利用者のやり取りを知ることができる。
【解決手段】 サーバ（１２）は、ＣＰＵ（２０）を含み、サーバが提供するショッピングサイトのウェブ画面（１００）が利用者側端末（１６）に表示される。操作者は、チャットまたはトークで、ショッピングサイトに関する利用者の質問に応答したり、利用者を接客したりする。このとき、操作者側端末（１８）には、チャット画面またはトーク画面が表示され、トーク中では、利用者の音声がスピーカ（６４）から出力される。操作者が、他の操作者と他の利用者のやり取りの出力をサーバに要求すると、所定の条件で選択された他の操作者の操作者側端末から、他の操作者と他の利用者のやり取りが操作者の操作者側端末に送信され、出力される。
【選択図】 図７
【解決手段】 サーバ（１２）は、ＣＰＵ（２０）を含み、サーバが提供するショッピングサイトのウェブ画面（１００）が利用者側端末（１６）に表示される。操作者は、チャットまたはトークで、ショッピングサイトに関する利用者の質問に応答したり、利用者を接客したりする。このとき、操作者側端末（１８）には、チャット画面またはトーク画面が表示され、トーク中では、利用者の音声がスピーカ（６４）から出力される。操作者が、他の操作者と他の利用者のやり取りの出力をサーバに要求すると、所定の条件で選択された他の操作者の操作者側端末から、他の操作者と他の利用者のやり取りが操作者の操作者側端末に送信され、出力される。
【選択図】 図７
【特許請求の範囲】
【請求項1】
所定のサービスを提供するサーバ、複数の前記利用者側端末および複数の前記操作者側端末を備え、前記所定のサービスを利用する利用者の前記利用者側端末と当該利用者に応対する操作者の前記操作者側端末の間でメッセージを送受信する情報処理システムであって、
前記操作者側端末は、
自機の操作者である第１操作者によって入力されたメッセージを当該第１操作者と対話する第１利用者の前記利用者側端末に送信する送信手段、
前記第１利用者の前記利用者側端末から送信されるメッセージを受信する第１受信手段、
前記第１受信手段によって受信されたメッセージを出力する第１出力手段、
前記第１操作者の要求に応じて送信される、第１操作者とは異なる第２操作者の前記操作者側端末と前記第１利用者とは異なる第２利用者の前記利用者側端末の間で送信または受信されるメッセージを受信する第２受信手段、および
前記第２受信手段によって受信されたメッセージを出力する第２出力手段を備える、情報処理システム。
前記操作者側端末は、
自機の操作者である第１操作者によって入力されたメッセージを当該第１操作者と対話する第１利用者の前記利用者側端末に送信する送信手段、
前記第１利用者の前記利用者側端末から送信されるメッセージを受信する第１受信手段、
前記第１受信手段によって受信されたメッセージを出力する第１出力手段、
前記第１操作者の要求に応じて送信される、第１操作者とは異なる第２操作者の前記操作者側端末と前記第１利用者とは異なる第２利用者の前記利用者側端末の間で送信または受信されるメッセージを受信する第２受信手段、および
前記第２受信手段によって受信されたメッセージを出力する第２出力手段を備える、情報処理システム。
【請求項2】
前記サーバは、前記第１操作者の要求に応じて、前記第２利用者に応対する前記第２操作者を選択する選択手段をさらに備える、請求項１記載の情報処理システム。
【請求項3】
前記選択手段は、過去の応対回数に基づく所定の条件で前記第２操作者を選択する、請求項２記載の情報処理システム。
【請求項4】
前記操作者側端末は、表示装置およびスピーカをさらに備え、
前記第１出力手段は、前記利用者側端末から送信されたテキストのメッセージを前記表示装置に表示し、前記利用者側端末から送信された音声のメッセージを前記スピーカに出力し、
前記第２出力手段は、前記第２操作者の前記操作者側端末と前記第２利用者の前記利用者側端末の間で送信または受信されるテキストのメッセージを前記表示装置に表示し、前記第２操作者の前記操作者側端末と前記第２利用者の前記利用者側端末の間で送信または受信される音声のメッセージを前記スピーカに出力する、請求項１から３までのいずれかに記載の情報処理システム。
前記第１出力手段は、前記利用者側端末から送信されたテキストのメッセージを前記表示装置に表示し、前記利用者側端末から送信された音声のメッセージを前記スピーカに出力し、
前記第２出力手段は、前記第２操作者の前記操作者側端末と前記第２利用者の前記利用者側端末の間で送信または受信されるテキストのメッセージを前記表示装置に表示し、前記第２操作者の前記操作者側端末と前記第２利用者の前記利用者側端末の間で送信または受信される音声のメッセージを前記スピーカに出力する、請求項１から３までのいずれかに記載の情報処理システム。
【請求項5】
前記第２出力手段は、前記第２操作者の前記操作者側端末と前記第２利用者の前記利用者側端末の間で送信または受信される音声のメッセージを前記スピーカに出力するとともに、前記第２操作者の音声の出力に合せて発話動作を行うアバターの画像および前記第２利用者の音声の出力に合せて発話動作を行う他のアバターの画像を前記表示装置に表示する、請求項４記載の情報処理システム。
【請求項6】
前記送信手段は、前記第１操作者の映像を前記第１利用者の前記利用者側端末にさらに送信し、
前記第１受信手段は、前記第１利用者の前記利用者側端末から送信される当該第１利用者の映像をさらに受信し、
前記第１出力手段は、前記第１受信手段によって受信された前記第１利用者の映像をさらに出力し、
前記第２受信手段は、前記第２操作者の前記操作者側端末と前記第２利用者の前記利用者側端末の間で送信または受信される映像をさらに受信し、
前記第２出力手段は、前記第２受信手段によって受信された映像をさらに出力する、請求項１から３までのいずれかに記載の情報処理システム。
前記第１受信手段は、前記第１利用者の前記利用者側端末から送信される当該第１利用者の映像をさらに受信し、
前記第１出力手段は、前記第１受信手段によって受信された前記第１利用者の映像をさらに出力し、
前記第２受信手段は、前記第２操作者の前記操作者側端末と前記第２利用者の前記利用者側端末の間で送信または受信される映像をさらに受信し、
前記第２出力手段は、前記第２受信手段によって受信された映像をさらに出力する、請求項１から３までのいずれかに記載の情報処理システム。
【請求項7】
前記第２出力手段は、前記第２操作者の前記操作者側端末から前記第２利用者の前記利用者側端末に前記第２操作者の映像が送信されない場合に、前記第２操作者の前記操作者側端末から前記第２利用者の前記利用者側端末に送信される音声のメッセージを前記スピーカに出力するとともに、前記第２操作者の音声の出力に合せて発話動作を行うアバターの画像を前記表示装置に表示し、前記第２利用者の前記利用者側端末から前記第２操作者の前記操作者側端末に映像が送信されない場合に、前記第２利用者の前記利用者側端末から前記第２操作者の前記操作者側端末に送信される音声のメッセージを前記スピーカに出力するとともに、前記第２操作者の音声の出力に合せて発話動作を行うアバターの画像および前記第２利用者の音声の出力に合せて発話動作を行う他のアバターの画像を前記表示装置に表示する、請求項６記載の情報処理システム。
【請求項8】
サーバが提供する所定のサービスを利用する利用者の利用者側端末との間でメッセージを送受信する操作者の情報処理装置であって、
前記操作者によって入力されたメッセージを当該操作者が応対する利用者の前記利用者側端末に送信する送信手段、
前記利用者の前記利用者側端末から送信されるメッセージを受信する第１受信手段、
前記第１受信手段によって受信されたメッセージを出力する第１出力手段、
前記操作者の要求に応じて送信される、他の操作者の情報処理装置と他の利用者の利用者側端末の間で送信または受信されるメッセージを受信する第２受信手段、および
前記第２受信手段によって受信されたメッセージ出力する第２出力手段を備える、情報処理装置。
前記操作者によって入力されたメッセージを当該操作者が応対する利用者の前記利用者側端末に送信する送信手段、
前記利用者の前記利用者側端末から送信されるメッセージを受信する第１受信手段、
前記第１受信手段によって受信されたメッセージを出力する第１出力手段、
前記操作者の要求に応じて送信される、他の操作者の情報処理装置と他の利用者の利用者側端末の間で送信または受信されるメッセージを受信する第２受信手段、および
前記第２受信手段によって受信されたメッセージ出力する第２出力手段を備える、情報処理装置。
【請求項9】
サーバが提供する所定のサービスを利用する利用者の利用者側端末との間でメッセージを送受信する操作者の情報処理装置の制御プログラであって、
前記情報処理装置のプロセッサに、
前記操作者によって入力されたメッセージを当該操作者が応対する利用者の前記利用者側端末に送信する送信ステップ、
前記利用者側端末から送信されるメッセージを受信する第１受信ステップ、
前記第１受信ステップにおいて受信したメッセージを出力する第１出力ステップ、
前記操作者の要求に応じて送信される、他の操作者の情報処理装置と他の利用者の利用者側端末の間で送信または受信されるメッセージを受信する第２受信ステップ、および
前記第２受信ステップにおいて受信したメッセージを出力する第２出力ステップを実行させる、制御プログラム。
前記情報処理装置のプロセッサに、
前記操作者によって入力されたメッセージを当該操作者が応対する利用者の前記利用者側端末に送信する送信ステップ、
前記利用者側端末から送信されるメッセージを受信する第１受信ステップ、
前記第１受信ステップにおいて受信したメッセージを出力する第１出力ステップ、
前記操作者の要求に応じて送信される、他の操作者の情報処理装置と他の利用者の利用者側端末の間で送信または受信されるメッセージを受信する第２受信ステップ、および
前記第２受信ステップにおいて受信したメッセージを出力する第２出力ステップを実行させる、制御プログラム。
【請求項10】
サーバが提供する所定のサービスを利用する利用者の利用者側端末との間でメッセージを送受信する操作者の情報処理装置の制御方法であって、
（ａ）前記操作者によって入力されたメッセージを当該操作者が応対する利用者の前記利用者側端末に送信するステップ、
（ｂ）前記利用者側端末から送信されるメッセージを受信するステップ、
（ｃ）前記ステップ（ｂ）において受信したメッセージを出力するステップ、
（ｄ）前記操作者の要求に応じて送信される、他の操作者の情報処理装置と他の利用者の利用者側端末の間で送信または受信されるメッセージを受信するステップ、および
（ｅ）前記ステップ（ｄ）において受信したメッセージを出力するステップを含む、制御方法。
（ａ）前記操作者によって入力されたメッセージを当該操作者が応対する利用者の前記利用者側端末に送信するステップ、
（ｂ）前記利用者側端末から送信されるメッセージを受信するステップ、
（ｃ）前記ステップ（ｂ）において受信したメッセージを出力するステップ、
（ｄ）前記操作者の要求に応じて送信される、他の操作者の情報処理装置と他の利用者の利用者側端末の間で送信または受信されるメッセージを受信するステップ、および
（ｅ）前記ステップ（ｄ）において受信したメッセージを出力するステップを含む、制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、情報処理システム、情報処理装置、制御プログラムおよび制御方法に関し、特にたとえば、利用者と操作者がチャットまたはトークでコミュニケーションを行う、情報処理システム、情報処理装置、制御プログラムおよび制御方法に関する。
【背景技術】
【0002】
この種の従来の情報処理装置の一例が特許文献１に開示される。特許文献１に開示される提供サーバは、チャットサービスを提供し、顧客とオペレータがチャットする場合に、顧客が使用する端末にチャット画面が表示される。また、オペレータが使用する監視装置には、オペレータ用のチャット画面が表示される。
【0003】
また、従来の情報処理装置の他の例が特許文献２に開示される。特許文献２に開示される情報処理システムでは、ユーザが商品に関することや、ショッピングサイトの利用方法に関することについて相談したい場合、ユーザは、ショッピングサイト画面に設けられた呼出ボタンを押下することで、オペレータを呼び出して相談することができる。呼出ボタンが押下されると、情報処理装置は、ユーザ端末に表示されたウェブサイトを、その表示態様を再現してオペレータ端末に表示させるとともに、対話環境において、ウェブサイト上に、オペレータ端末を操作するオペレータの画像又はこれと同期されたアバターを表示させる。したがって、オペレータ端末では、オペレータ端末に表示されたウェブサイトの画面が共有され、オペレータの画像又はこれと同期されたアバターが表示される。また、対話環境において、オペレータ端末のブラウザ上に、ユーザ端末を操作するユーザの画像又はこれと同期されたアバター画像を表示させてもよいことが開示される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－１５３１９０号
【特許文献2】特許第６９３７５３４号
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の特許文献１および特許文献２では、オペレータは、テキストまたは音声でユーザに応対し、その場合に、特許文献１では、オペレータが使用する監視装置にはオペレータ用のチャット画面が表示され、特許文献２では、オペレータ端末のブラウザ上に、オペレータに対応するアバター画像などが表示される。
【0006】
上記のオペレータは、他のオペレータとは独立して、ユーザに応対するため、応対の習熟度の高い（つまり、経験の豊富な）オペレータの応対の仕方を知るのは困難である。このため、応対の習熟度の低い（つまり、経験の浅い）オペレータは、ユーザに応対することに関して、習熟度の高いオペレータにアドバイスをもらうのが一般的である。
【0007】
しかしながら、習熟度の低いオペレータにとっては、アドバイスをもらうだけよりも、習熟度の高いオペレータが実際に行っている応対を見たり聞いたりする方が分かり易く、上達への近道である。
【0008】
一方で、習熟度の高い操作者は、習熟度の低いオペレータから単に相談を受けるよりも、習熟度の低いオペレータが実際に行っている応対を見たり聞いたりする方が、適切なアドバイスを行うことができる。
【0009】
したがって、背景技術のようなチャットサービスおよび情報処理システムについて改善の余地がある。
【0010】
それゆえに、この発明の主たる目的は、新規な、情報処理システム、情報処理装置、制御プログラムおよび制御方法を提供することである。
【0011】
また、この発明の他の目的は、所定のサービスを利用する利用者と応対しながら、他の操作者と他の利用者のやり取りを知ることができる、情報処理システム、情報処理装置、制御プログラムおよび制御方法を提供することである。
【課題を解決するための手段】
【0012】
第１の発明は、所定のサービスを提供するサーバ、複数の利用者側端末および複数の操作者側端末を備え、所定のサービスを利用する利用者の利用者側端末と当該利用者に応対する操作者の操作者側端末の間でメッセージを送受信する情報処理システムであって、操作者側端末は、自機の操作者である第１操作者によって入力されたメッセージを当該第１操作者と対話する第１利用者の利用者側端末に送信する送信手段、第１利用者の利用者側端末から送信されるメッセージを受信する第１受信手段、第１受信手段によって受信されたメッセージを出力する第１出力手段、第１操作者の要求に応じて送信される、第１操作者とは異なる第２操作者の操作者側端末と第１利用者とは異なる第２利用者の利用者側端末の間で送信または受信されるメッセージを受信する第２受信手段、および第２受信手段によって受信されたメッセージを出力する第２出力手段を備える、情報処理システムである。
【0013】
第２の発明は、第１の発明に従属し、サーバは、第１操作者の要求に応じて、第２利用者に応対する第２操作者を選択する選択手段をさらに備える。
【0014】
第３の発明は、第２の発明に従属し、選択手段は、過去の応対回数に基づく所定の条件で第２操作者を選択する。
【0015】
第４の発明は、第１から第３の発明までのいずれかに従属し、操作者側端末は、表示装置およびスピーカをさらに備え、第１出力手段は、利用者側端末から送信されたテキストのメッセージを表示装置に表示し、利用者側端末から送信された音声のメッセージをスピーカに出力し、第２出力手段は、第２操作者の操作者側端末と第２利用者の利用者側端末の間で送信または受信されるテキストのメッセージを表示装置に表示し、第２操作者の操作者側端末と第２利用者の利用者側端末の間で送信または受信される音声のメッセージをスピーカに出力する。
【0016】
第５の発明は、第４の発明に従属し、第２出力手段は、第２操作者の操作者側端末と第２利用者の利用者側端末の間で送信または受信される音声のメッセージをスピーカに出力するとともに、第２操作者の音声の出力に合せて発話動作を行うアバターの画像および第２利用者の音声の出力に合せて発話する他のアバターの画像を表示装置に表示する。
【0017】
第６の発明は、第１から第３の発明までのいずれかに従属し、送信手段は、第１操作者の映像を第１利用者の利用者側端末にさらに送信し、第１受信手段は、第１利用者の利用者側端末から送信される当該第１利用者の映像をさらに受信し、第１出力手段は、第１受信手段によって受信された第１利用者の映像をさらに出力し、第２受信手段は、第２操作者の操作者側端末と第２利用者の利用者側端末の間で送信または受信される映像をさらに受信し、第２出力手段は、第２受信手段によって受信された映像をさらに出力する。
【0018】
第７の発明は、第６の発明に従属し、第２出力手段は、第２操作者の操作者側端末から第２利用者の利用者側端末に第２操作者の映像が送信されない場合に、第２操作者の操作者側端末から第２利用者の利用者側端末に送信される音声のメッセージをスピーカに出力するとともに、第２操作者の音声の出力に合せて発話動作を行うアバターの画像を表示装置に表示し、第２利用者の利用者側端末から第２操作者の操作者側端末に映像が送信されない場合に、第２利用者の利用者側端末から第２操作者の操作者側端末に送信される音声のメッセージをスピーカに出力するとともに、第２操作者の音声の出力に合せて発話動作を行うアバターの画像および第２利用者の音声の出力に合せて発話動作を行う他のアバターの画像を表示装置に表示する。
【0019】
第８の発明は、サーバが提供する所定のサービスを利用する利用者の利用者側端末との間でメッセージを送受信する操作者の情報処理装置であって、操作者によって入力されたメッセージを当該操作者が応対する利用者の利用者側端末に送信する送信手段、利用者の利用者側端末から送信されるメッセージを受信する第１受信手段、第１受信手段によって受信されたメッセージを出力する第１出力手段、操作者の要求に応じて送信される、他の操作者の情報処理装置と他の利用者の利用者側端末の間で送信または受信されるメッセージを受信する第２受信手段、および第２受信手段によって受信されたメッセージ出力する第２出力手段を備える、情報処理装置である。
【0020】
第９の発明は、サーバが提供する所定のサービスを利用する利用者の利用者側端末との間でメッセージを送受信する操作者の情報処理装置の制御プログラであって、情報処理装置のプロセッサに、操作者によって入力されたメッセージを当該操作者が応対する利用者の利用者側端末に送信する送信ステップ、利用者側端末から送信されるメッセージを受信する第１受信ステップ、第１受信ステップにおいて受信したメッセージを出力する第１出力ステップ、操作者の要求に応じて送信される、他の操作者の情報処理装置と他の利用者の利用者側端末の間で送信または受信されるメッセージを受信する第２受信ステップ、および第２受信ステップにおいて受信したメッセージを出力する第２出力ステップを実行させる、制御プログラムである。
【0021】
第１０の発明は、サーバが提供する所定のサービスを利用する利用者の利用者側端末との間でメッセージを送受信する操作者の情報処理装置の制御方法であって、（ａ）操作者によって入力されたメッセージを当該操作者が応対する利用者の利用者側端末に送信するステップ、（ｂ）利用者側端末から送信されるメッセージを受信するステップ、（ｃ）ステップ（ｂ）において受信したメッセージを出力するステップ、（ｄ）操作者の要求に応じて送信される、他の操作者の情報処理装置と他の利用者の利用者側端末の間で送信または受信されるメッセージを受信するステップ、および（ｅ）ステップ（ｄ）において受信したメッセージを出力するステップを含む、制御方法である。
【発明の効果】
【0022】
この発明によれば、所定のサービスを利用する利用者と応対しながら、他の操作者と他の利用者のやり取りを知ることができる。
【0023】
この発明の上述の目的、その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0024】
【図5】図５（Ａ）は操作者Ａの操作者側端末の表示装置に表示される操作者Ａのチャット画面の一例を示す図であり、図５（Ｂ）は操作者Ａの操作者側端末の表示装置に表示される操作者Ａのトーク画面の一例を示す図である。
【図6】図６（Ａ）は操作者Ｂの操作者側端末の表示装置に表示される操作者Ｂのチャット画面の一例を示す図であり、図６（Ｂ）は操作者Ｂの操作者側端末の表示装置に表示される操作者Ｂのトーク画面の一例を示す図である。
【図7】図７（Ａ）は操作者Ａの操作者側端末の表示装置に並べて表示される操作者Ａのチャット画面と操作者Ｂのチャット画面の一例を示す図であり、図７（Ｂ）は操作者Ａの操作者側端末の表示装置に並べて表示される操作者Ａのトーク画面と操作者Ｂのトーク画面の一例を示す図である。
【発明を実施するための形態】
【0025】
図１を参照して、この実施例の情報処理システム１０はサーバ１２を含み、サーバ１２は、ネットワーク１４を介して、複数の利用者側端末１６および複数の操作者側端末１８に通信可能に接続される。
【0026】
複数の利用者側端末１６は、それぞれ、異なる利用者によって使用され、複数の操作者側端末１８は、それぞれ、異なる操作者によって使用される。この実施例では、利用者は、サーバ１２によって提供される所定のサービスを利用する者である。操作者は、利用者に応対する者である。
【0027】
サーバ１２は、情報処理装置であり、汎用のサーバを用いることができる。この実施例では、サーバ１２は、所定のサービスを提供するサイトを運営するために設けられる。
【0028】
ネットワーク１４は、インターネットを含むＩＰ網（または、ＩＰネットワーク）と、このＩＰ網にアクセスするためのアクセス網（または、アクセスネットワーク）とから構成される。アクセス網としては、公衆電話網、携帯電話網、有線ＬＡＮ、無線ＬＡＮ、ＣＡＴＶ（Cable Television）等を用いることができる。
【0029】
利用者側端末１６は、サーバ１２とは異なる他の情報処理装置であり、一例として、スマートフォンであり、ブラウザ機能を備えている。他の例では、利用者側端末１６として、タブレットＰＣ、ノート型ＰＣまたはデスクトップ型ＰＣなどの汎用の端末を用いることもできる。したがって、利用者側端末１６は、ＣＰＵ１６０および記憶部（ＨＤＤ、ＲＯＭおよびＲＡＭを含む）１６２を備えるとともに、通信インタフェース、入出力インタフェース、入力装置および表示装置などのコンポーネントを備える。ただし、入力装置および表示装置は、利用者側端末１６に一体的に設けられてもよいし、利用者側端末１６の本体に接続されていてもよい。
【0030】
操作者側端末１８は、サーバ１２および利用者側端末１６とは異なるその他の情報処理装置であり、一例として、ノート型ＰＣまたはデスクトップ型ＰＣであるが、他の例では、スマートフォンまたはタブレットＰＣなどの汎用の端末を用いることもできる。
【0031】
図２は図１に示したサーバ１２の電気的な構成を示すブロック図である。図２に示すように、サーバ１２はＣＰＵ２０を含み、ＣＰＵ２０は、内部バスを介して、記憶部２２、通信インタフェース（以下、「通信Ｉ／Ｆ」という）２４および入出力インタフェース（以下、「入出力Ｉ／Ｆ」という）２６に接続される。
【0032】
ＣＰＵ２０は、サーバ１２の全体的な制御を司る。ただし、ＣＰＵ２０に代えて、ＣＰＵ機能、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）を設けてもよい。記憶部２２は、ＨＤＤ、ＲＯＭおよびＲＡＭを含む。ただし、ＨＤＤに代えて、または、ＨＤＤ、ＲＯＭおよびＲＡＭに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。
【0033】
通信Ｉ／Ｆ２４は、ＣＰＵ２０の制御の下、ネットワーク１４を介して、利用者側端末１６および操作者側端末１８などの外部のコンピュータとの間で、制御信号およびデータの送受信を行うために有線インタフェースを有する。ただし、通信Ｉ／Ｆ２４としては、無線ＬＡＮまたはBluetooth（登録商標）等の無線インタフェースを使用することもできる。
【0034】
入出力Ｉ／Ｆ２６には、入力装置２８および表示装置３０が接続されている。入力装置２８として、キーボードおよびコンピュータマウスが用いられる。表示装置３０は、ＬＣＤまたは有機ＥＬディスプレイである。
【0035】
入出力Ｉ／Ｆ２６は、入力装置２８から入力された操作データ（または、操作情報）をＣＰＵ２０に出力し、また、ＣＰＵ２０によって生成された画像データを表示装置３０に出力して、画像データに対応する画面を表示装置３０に表示させる。
【0036】
なお、図２に示すサーバ１２の電気的な構成は一例であり、限定される必要はない。
【0037】
図３は図１に示した操作者側端末１８の電気的な構成を示すブロック図である。図３に示すように、操作者側端末１８はＣＰＵ５０を含み、ＣＰＵ５０は、内部バスを介して、記憶部５２、通信Ｉ／Ｆ５４および入出力Ｉ／Ｆ５６に接続される。
【0038】
ＣＰＵ５０は、操作者側端末１８の全体的な制御を司る。ただし、ＣＰＵ５０に代えて、ＣＰＵ機能、ＧＰＵ機能等の複数の機能を含むＳｏＣを設けてもよい。記憶部５２は、ＨＤＤ、ＲＯＭおよびＲＡＭを含む。ただし、ＨＤＤに代えて、または、ＨＤＤ、ＲＯＭおよびＲＡＭに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。
【0039】
通信Ｉ／Ｆ５４は、ＣＰＵ５０の制御の下、ネットワーク１４を介して、操作者側端末１８などの外部のコンピュータとの間で、制御信号およびデータの送受信を行うために有線インタフェースを有する。ただし、通信Ｉ／Ｆ５４としては、無線ＬＡＮまたはBluetooth（登録商標）等の無線インタフェースを使用することもできる。
【0040】
入出力Ｉ／Ｆ５６には、入力装置５８および表示装置６０、マイク６２およびスピーカ６４が接続されている。マイク６２およびスピーカ６４は、操作者が利用者との間で音声通話するために使用するマイク付きのヘッドセットを構成してもよい。
【0041】
また、入力装置５８は、キーボードおよびコンピュータマウスである。さらに、タッチパネルが設けられる場合もある。タッチパネルは、汎用のタッチパネルであり、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。
【0042】
ただし、操作者側端末１８として、スマートフォンまたはタブレットＰＣが用いられる場合には、入力装置５８は、タッチパネルおよびハードウェアのボタンである。
【0043】
入出力Ｉ／Ｆ５６は、マイク６２で検出された操作者の音声をデジタルの音声データに変換してＣＰＵ５０に出力するとともに、ＣＰＵ５０によって出力される音声データをアナログの音声信号に変換してスピーカ６４から出力させる。ただし、この実施例では、ＣＰＵ５０から出力される音声データは、利用者側端末１６から受信した音声データである。
【0044】
また、入出力Ｉ／Ｆ５６は、入力装置５８から入力された操作データ（または、操作情報）をＣＰＵ５０に出力し、また、ＣＰＵ５０によって生成された画像データを表示装置６０に出力して、画像データに対応する画面を表示装置６０に表示させる。ただし、外部のコンピュータ（たとえば、サーバ１２または操作者側端末１８）から受信した画像データがＣＰＵ５０によって出力される場合もある。
【0045】
なお、図３に示す操作者側端末１８の電気的な構成は一例であり、限定される必要はない。他の例では、操作者側端末１８はカメラを備えていてもよい。また、各操作者側端末１８は、同じ構成である必要はない。
【0046】
また、操作者側端末１８がスマートフォンである場合には、携帯電話通信網、または、携帯電話網および公衆電話網を介して、通話するための通話回路を備えるが、この実施例では、そのような通話は行わないため、図示は省略してある。
【0047】
以下、この実施例の情報処理システム１０の動作について具体的に説明するが、各利用者側端末１６の動作は同じであるため、複数台のうちの１台について説明し、他の利用者側端末１６についての説明は省略することにする。また、各操作者側端末１８の動作が同じである場合には、複数台のうちの１台について説明し、他の操作者側端末１８についての説明は省略することにする。
【0048】
このような情報処理システム１０では、サーバ１２が提供する所定のサービスを利用者が利用している場合に、つまり、利用者が利用者側端末１６を使用して、サーバ１２が提供する所定のサービスのウェブ画面１００を見ている場合に、所定の条件を満たすと、操作者（オペレータ）とチャットまたはトークでコミュニケーションできる、アプリケーション（以下、「利用者側アプリ」という）が起動される。
【0049】
一例として、所定のサービスは、オンラインショッピングであり、利用者はウェブ画面１００において、商品を探し、購入操作を行うことで所望の商品を購入するなどの電子商取引を行うことができる。したがって、ウェブ画面１００は、所定のサービスのウェブサイト（この実施例では、ショッピングサイト）に含まれるウェブページの画面である。
【0050】
なお、オンラインショッピング自体は既に周知であるため、オンラインショッピングに関するサーバ１２および利用者側端末１６の処理についての説明は省略することにする。
【0051】
また、利用者に応対する操作者は、利用者とチャットまたはトークでコミュニケーションを行う相手である。複数の操作者のうちから１の操作者がサーバ１２によってマッチングされ、利用者の利用者側端末１６と当該利用者とマッチングされた操作者の操作者側端末１８が通信する。つまり、利用者の利用者側端末１６とマッチングされた操作者の操作者側端末１８が通信可能に接続され、操作者側端末１８では、利用者とチャットまたはトークでコミュニケーションを行うためのアプリ（以下、「操作者側アプリ」という）が実行される。
【0052】
また、オンラインショッピングでは、各操作者は、チャットまたはトークで、マッチングされた利用者側端末１６の利用者に応対する。具体的には、各操作者は、利用者のメッセージ（たとえば、問い合わせ）に対して対応（応答）したり、当該利用者に対して接客を行ったりする。また、各操作者は、自宅またはオフィス内の各々のデスクのような個別の空間または場所で、つまり、独立して、自身の操作者側端末１８を用いて利用者に応対する。
【0053】
図４は、ウェブ画面１００の前面に、利用者側アプリの選択画面１１０が表示された場合の一例を示す。ただし、ウェブ画面１００は、ウェブブラウザを起動し、所定のＵＲＬを入力することにより、利用者側端末１６の表示装置に表示される。上述したように、ウェブ画面１００は、所定のサービスのウェブサイト（または、ウェブページ）の画面である。図４では、或るオンラインショッピングのウェブ画面１００の例が示される。また、選択画面１１０は、利用者側アプリが起動されたときなどに表示される初期画面である。
【0054】
上述したように、利用者側アプリは、所定の条件を満たす場合に、起動される。この実施例では、所定の条件は、所定のサービスのウェブ画面１００を表示した状態において、利用者が利用者側アプリの起動（または、実行）を指示したこと、利用者の操作が所定時間（たとえば、３０秒）以上無いこと、当該ウェブ画面において同じ位置または似たような場所（近くの位置）を指示していること、所定のサービスにおいて複数回（たとえば、３回）同じウェブ画面に戻ってくることである。
【0055】
なお、図４では、ウェブ画面１００が、利用者側端末１６がスマートフォンである場合の表示装置に表示された例を示してある。また、ウェブ画面１００は一例であり、オンラインショッピング以外のフリーマーケットまたはオークションなどの他の商取引を行うサービスについての画面が表示される場合もある。
【0056】
選択画面１１０には、ボタン１１２、ボタン１１２およびボタン１１４が縦に並んで設けられる。
【0057】
ボタン１１２は、利用者が操作者とチャットするためのボタンである。チャットとは、テキストでメッセージをやり取りすることによってリアルタイムに話をすることを意味し、この実施例では、利用者および操作者の操作によって、利用者側端末１６と操作者側端末１８の間で、テキストデータが送受信される。
【0058】
ボタン１１４は、利用者が操作者とトークするためのボタンである。トークとは、音声でメッセージをやり取りすることによってリアルタイムに話をすることを意味し、この実施例では、利用者および操作者の発話によって、利用者側端末１６と操作者側端末１８の間で、音声データが送受信される。
【0059】
ボタン１１６は、利用者側アプリを終了するためのボタンである。ボタン１１６がオンされると、利用者側アプリが終了され、利用者側端末１６では、選択画面１１０が非表示される。
【0060】
図示および詳細な説明については省略するが、チャット中では、利用者側端末１６の表示装置にチャット画面が表示される。チャット画面は、後述する操作者側のチャット画面２００と同様の画面である。トーク中では、利用者側端末１６の表示装置には、操作者の画像（または、映像）または操作者に対応するアバターの画像が表示される。ただし、チャット画面にも、操作者の画像または操作者に対応するアバターの画像が表示されてもよい。
【0061】
この明細書において、アバターとは、チャットまたはトークの相手（対話の相手）である人間の分身となるキャラクタを意味する。一例として、アバターの画像は、人間を模したキャラクタの画像である。他の例では、アバターの画像は、動物またはロボットを模したキャラクタ、アニメキャラクタ、ゲームキャラクタなどの画像でもよい。
【0062】
図５（Ａ）は或る操作者（説明の都合上、「操作者Ａ」という）の操作者側端末１８の表示装置６０に表示されるチャット画面２００（２００Ａ）の一例を示す図であり、図５（Ｂ）は操作者Ａの操作者側端末１８の表示装置６０に表示されるトーク画面３００（３００Ａ）の一例を示す図である。ただし、図５（Ａ）および図５（Ｂ）に示す例では、操作者Ａは利用者Ｘと対話しているものとする。
【0063】
また、図６（Ａ）は操作者Ａとは異なる他の操作者（説明の都合上、「操作者Ｂ」という）の操作者側端末１８の表示装置６０に表示されるチャット画面２００（２００Ｂ）の一例を示す図であり、図６（Ｂ）は操作者Ｂの操作者側端末１８の表示装置６０に表示されるトーク画面３００（３００Ｂ）の一例を示す図である。ただし、図６（Ａ）および図６（Ｂ）に示す例では、操作者Ｂは利用者Ｘとは異なる利用者Ｙと対話しているものとする。
【0064】
また、操作者Ａは、所定のサービスに関して利用者に応対することについて初心者であり（つまり、経験が浅い）、一方、操作者Ｂは、所定のサービスに関して利用者に応対することについて熟練者である（つまり、経験が豊富である）と仮定する。つまり、操作者Ｂは、所定のサービスに関して利用者に応対することについて操作者Ａよりも習熟度が高い。
【0065】
図５（Ａ）に示すように、チャット画面２００Ａでは、操作者Ａの対話内容（すなわち、応答内容のメッセージ）はチャット画面２００Ａの左側に寄せられた表示枠２０２に表示される。また、利用者Ｘの対話内容（すなわち、質問内容のメッセージ）はチャット画面２００Ａの右側に寄せられた表示枠２０４に表示される。
【0066】
ただし、メッセージは、時系列に従って、チャット画面２００の上方から順に下側に追加するように表示される。
【0067】
したがって、図５（Ａ）に示す例では、操作者Ａが「はい」、「どうされましたか？」と連続してメッセージを利用者Ｘに送信し、これらのメッセージを受けて、利用者Ｘが「風邪を引きました」、「薬はありますか？」と連続してメッセージを操作者Ａに送信し、これらのメッセージを受けて、さらに、操作者Ａが「あります」とメッセージを利用者Ｘに送信している。
【0068】
図示は省略するが、さらに、対話（メッセージのやり取り）が続く場合には、画面が上方にスクロールされ、メッセージが最下段に表示される。
【0069】
チャット中では、操作者Ａが、ハードウェアまたはソフトウェアのキーボードを操作して、応答内容のメッセージを入力すると、これに応じて、応答内容のメッセージがテキストで表示枠２０２に表示される。つまり、表示装置６０に表示されたチャット画面２００が更新される。また、操作者Ａが応答内容のメッセージの送信を指示すると、入力された応答内容のメッセージが利用者Ｘの利用者側端末１６に送信される。
【0070】
また、利用者Ｘによって入力され、利用者Ｘの利用者側端末１６から送信された質問内容のメッセージが操作者Ａの操作者側端末１８で受信されると、操作者Ａの操作者側端末１８では、受信した質問内容のメッセージがテキストで表示枠２０４に表示される。つまり、表示装置６０に表示されたチャット画面２００が更新される。
【0071】
ただし、上述したように、応答内容のメッセージまたは質問内容のメッセージが表示されるときに、表示枠２０２または表示枠２０４が現在表示されている１または複数の表示枠（２０２、２０４）の下側に表示される。
【0072】
また、図５（Ｂ）に示すように、トーク画面３００Ａでは、操作者Ａのアバターの画像３０２と利用者Ｘのアバターの画像３０４が表示される。詳細な説明は省略するが、操作者Ａのアバターは、事前に、操作者Ａによって選択され、利用者Ｘのアバターも、事前に、利用者Ｘによって選択される。また、利用者Ｘによって選択されたアバターの種類は、トークの開始に先立って、利用者側端末１６から操作者側端末１８に通知される。
【0073】
図５（Ｂ）に示す例では、アバターの画像３０２およびアバターの画像３０４は、それぞれ、人間を模したキャラクタの画像である。ただし、アバターの画像３０２およびアバターの画像３０４は、人間の上半身についての画像である。
【0074】
また、アバターの画像３０２およびアバターの画像３０４は、対面して表示され、アバターの画像３０２は背面側を表示され、アバターの画像３０４は正面側を表示される。つまり、仮想空間において、対面するように配置された操作者Ａのアバターと利用者Ｘのアバターを操作者Ａのアバターの右斜め後方から仮想カメラ（三人称視点）で撮影した画像がトーク画面３００として表示される。
【0075】
このように、利用者Ｘのアバターの画像３０４の正面側を表示するのは、操作者Ａに利用者Ｘのアバターの顔を見て対話させるようにするためである。したがって、操作者Ａは利用者Ｘと対話し易いと考えられる。また、利用者Ｘのアバターの画像３０４のみならず、操作者Ａのアバターの画像３０２を表示するのは、後述するように、操作者のトーク画面３００のみならず、他の操作者のトーク画面３００を表示するとともに、当該他の操作者と当該他の操作者が応対する他の利用者の音声を出力する場合に、他の操作者および他の利用者のいずれが発話しているかを容易に判断するためである。したがって、後述するように、トーク画面３００では、アバターの画像３０２およびアバターの画像３０４は、操作者Ａおよび利用者Ｘの音声に合せて発話動作を行う。
【0076】
トーク中では、操作者Ａが発話すると、その発話内容（または、応答内容）の音声、すなわち、メッセージの音声がマイク６２を通して入力され（つまり、マイク６２で検出され）、入力された応答内容の音声が利用者Ｘの利用者側端末１６に送信される。また、操作者Ａの応答内容がマイク６２で検出されると、操作者Ａのアバターの画像３０２が発話動作を行う。この実施例では、操作者Ａのアバターの画像３０２が発話動作を行う場合のアニメーションが予め用意されており、操作者Ａが発話するときに、その発話に合せてアニメーションが再生される。発話動作は、アバターの身振り手振りで表現される。トーク画面３００では、操作者Ａのアバターの顔は表示されない、または、ほとんど表示されないため、発話動作において、顔の表情の変化および口の動きは表現されない。
【0077】
また、利用者Ｘによって入力され、利用者Ｘの利用者側端末１６から送信された質問内容の音声、すなわち、メッセージの音声が操作者Ａの操作者側端末１８で受信されると、操作者Ａの操作者側端末１８では、受信した質問内容の音声がスピーカ６４から出力される。また、スピーカ６４から出力される質問内容の音声に合せて、利用者Ｘのアバターの画像２５４が発話動作を行う。この実施例では、操作者Ａのアバターの画像３０２と同様に、利用者Ｘが発話動作を行う場合のアニメーションが予め用意されており、利用者Ｘの音声がスピーカ６４から出力されるときに、その出力に合せてアニメーションが再生される。発話動作は、アバターの身振り手振りで表現される。ただし、利用者Ｘのアバターは正面側を表示されるため、アバターの画像３０４は、利用者Ｘの音声がスピーカ６４から出力されるときに、さらに、出力される音声に合せてリップシンクされる。
【0078】
上述したように、図６（Ａ）は操作者Ｂのチャット画面２００の一例であり、図６（Ｂ）は操作者Ｂのトーク画面３００の一例である。図６（Ａ）のチャット画面２００では、操作者Ｂと利用者Ｙの発話内容（やり取り）のメッセージがテキストで表示される。図６(Ｂ)のトーク画面３００では、操作者Ｂのアバターの画像３０２と利用者Ｙのアバターの画像３０４が表示される。
【0079】
図６（Ａ）に示すチャット画面２００は、図５（Ａ）に示したチャット画面２００と同様であり、図６（Ｂ）に示すトーク画面３００は、図５（Ｂ）に示したトーク画面３００と同様であるため、詳細な説明については省略する。
【0080】
操作者Ｂにおいても、操作者Ａと同様に、チャットにおいては、利用者Ｙとの間でメッセージがやり取りされ、その内容がチャット画面２００に表示される。
【0081】
図６（Ａ）に示す例では、操作者Ｂが「こんにちは」、「何をお探しでしょうか？」と連続してメッセージを利用者Ｙに送信し、これらのメッセージを受けて、利用者Ｙが「マスクです」、「どんなのがありますか？」と連続してメッセージを操作者Ｂに送信し、これらのメッセージを受けて、さらに、操作者Ｂが「不織布のものがあります」とメッセージを利用者Ｙに送信している。
【0082】
また、トークにおいては、利用者Ｙとの間で音声がやり取りされ、操作者Ｂが発話するときに、操作者Ｂのアバターの画像３０２が発話動作を行い、利用者Ｙの音声を出力するときに、利用者Ｙのアバターの画像３０４がリップシンクして発話動作を行う。
【0083】
上述したように、利用者側アプリが実行されると、利用者の選択により、チャットまたはトークを行うことができる。操作者は、サーバ１２からの要求に応じて応対を開始し、サーバ１２によってマッチングされた利用者との間で、チャットまたはトークを行う。ただし、操作者の操作者側端末１８は、サーバ１２によってマッチングされた利用者の利用者側端末１６との間で接続状態を確立する。
【0084】
このような場合において、通常、操作者の操作者側端末１８の表示装置６０には、サーバ１２によってマッチングされた利用者との間で行われるチャットまたはトークについての画面または画像（アバターの画像）が表示される。また、トークの場合には、さらに、利用者の音声がスピーカ６４から出力される。つまり、操作者側端末１８では、自機の操作者と当該操作者が応対する利用者のやり取りについての画面（画像）が出力されたり、画面（画像）および音声が出力されたりする。
【0085】
操作者は、他の操作者とは独立して、利用者に応対するため、習熟度の高い（つまり、経験の豊富な）操作者のやり取りを見たり聞いたりして知ることは困難である。このため、習熟度の低い（つまり、経験の浅い）操作者は、利用者に応対することに関して、習熟度の高い操作者にアドバイスをもらうのが一般的である。
【0086】
しかしながら、習熟度の低い操作者にとっては、アドバイスをもらうだけよりも、習熟度の高い操作者が実際に行っているやり取りを見たり聞いたりする方が分かり易く、上達への近道である。
【0087】
また、習熟度の高い操作者は、相談されるだけよりも、習熟度の低い操作者が実際に行っているやり取りを見たり聞いたりする方が改善点を容易に知ることができ、適切なアドバイスを行うことができる。
【0088】
したがって、この実施例では、操作者の要求があった場合に、操作者の操作者側端末１８において、当該操作者と利用者のやり取りのみならず、他の操作者と他の利用者のやり取りについても出力するようにしてある。つまり、操作者は、利用者に応対しているときに、他の操作者と他の利用者のやり取りを見たり聞いたりする。ただし、他の操作者と他の利用者のやり取りのメッセージをテキストで見るだけでもよいし、他の操作者と他の利用者のやり取りのメッセージを音声で聞くだけでもよい。
【0089】
具体的には、操作者が、利用者に応対している場合に、操作者側端末１８を用いて、他の操作者のやり取りを出力することを指示すると、つまり、他の操作者のやり取りを送信することを要求（以下、「送信要求」という）すると、送信要求がサーバ１２に送信される。
【0090】
図示は省略したが、チャット画面２００またはトーク画面３００には、他の操作者のやり取りを出力することを指示するためのボタン画像またはアイコンが表示され、このボタン画像またはアイコンが操作されると、送信要求がサーバ１２に送信される。
【0091】
サーバ１２は、送信要求を受信すると、送信要求の要求元の操作者側端末１８の操作者よりも、応対の習熟度の高い他の操作者であって、現在、他の利用者に応対している操作者を選択する。ただし、この実施例では、要求元の操作者側端末１８でチャットの処理が実行されている場合には、チャット中の他の操作者が選択され、要求元の操作者側端末１８でトークの処理が実行されている場合には、トーク中の他の操作者が選択される。他の操作者の選択方法の詳細については、後述する。
【0092】
また、サーバ１２は、要求元（つまり、やり取りの送信先）の操作者側端末１８への接続情報（以下、「送信先の接続情報」という）を、選択した他の操作者の操作者側端末１８に送信する。また、サーバ１２は、選択した他の操作者（つまり、やり取りの送信元）の操作者側端末１８への接続情報（以下、「送信元の接続情報」という）を、要求元（つまり、やり取りの送信先）の操作者側端末１８（以下、「送信先の操作者側端末１８」ということにする）に送信する。
【0093】
したがって、要求元の操作者側端末１８と他の操作者の操作者側端末１８は、互いの接続情報を用いて接続状態を確立する。すると、他の操作者の操作者側端末１８は、チャットの処理を行っている場合には、チャット画面２００を更新するときに、当該チャット画面２００の画像データを送信先の操作者側端末１８に送信する。また、他の操作者の操作者側端末１８は、トークの処理を行っている場合には、自機の操作者（すなわち、他の操作者）の音声を、当該自機の操作者が応対する利用者（すなわち、他の利用者）の利用者側端末１６に送信するとき、または、他の利用者の利用者側端末１６から受信した他の利用者の音声をスピーカ６４に出力するときに、当該音声に対応する音声データとトーク画面３００の画像データを送信先の操作者側端末１８に送信する。
【0094】
したがって、チャット中では、送信先の操作者側端末１８の表示装置６０には、当該操作者側端末１８の操作者が応対中のチャット画面２００と、他の操作者と他の利用者のやり取りについてのチャット画面２００が表示される。
【0095】
たとえば、操作者Ａが送信要求を送信した要求元の操作者側端末１８の操作者（つまり、送信先の操作者）であり、操作者Ｂが選択した他の操作者（つまり、送信元の操作者）である場合には、図７（Ａ）に示すように、操作者Ａの操作者側端末１８の表示装置６０には、図５（Ａ）に示したような操作者Ａのチャット画面２００Ａおよび図６（Ａ）に示したような操作者Ｂのチャット画面２００Ｂが並んで表示される。
【0096】
ただし、チャット画面２００Ａとチャット画面２００Ｂは重ならないように表示されればよく、チャット画面２００Ａとチャット画面２００Ｂは並んで表示される必要はない。後述するトーク画面３００Ａとトーク画面３００を表示装置６０に表示する場合も同様である。
【0097】
また、送信先の操作者側端末１８で、他の操作者と他の利用者のやり取りについてのチャット画面２００の表示を停止することが指示されると、つまり、他の操作者と他の利用者のチャット画面２００を閉じることが指示されると、送信元の操作者側端末１８にやり取りの送信停止が指示される。そして、送信先の操作者側端末１８では、他の操作者と他の利用者のやり取りについてのチャット画面２００が閉じられる。また、送信元の操作者側端末１８は、やり取りの送信停止の指示を受信すると、サーバ１２にやり取りの送信停止を通知する。
【0098】
また、トーク中では、送信先の操作者側端末１８のスピーカ６４から、当該操作者側端末１８の操作者が対話している利用者の音声が出力され、他の操作者と当該他の操作者の音声が出力される。また、送信先の操作者側端末１８の表示装置６０には、当該操作者側端末１８の操作者が応対中のトーク画面３００と、他の操作者と他の利用者のやり取りのトーク画面３００が表示される。
【0099】
たとえば、操作者Ａが送信要求を送信した要求元の操作者側端末１８の操作者であり、操作者Ｂが選択した他の操作者である場合には、操作者Ａの操作者側端末１８の表示装置６０のスピーカ６４から、利用者Ｘの音声が出力され、操作者Ｂと利用者Ｙの音声が出力される。また、利用者Ｘ、操作者Ｂおよび利用者Ｙの少なくとも１人の音声が出力されるとともに、図７（Ｂ）に示すように、操作者Ａの操作者側端末１８の表示装置６０には、図５（Ｂ）に示したような操作者Ａのトーク画面３００Ａおよび図６（Ｂ）に示したような操作者Ｂのトーク画面３００Ｂが並んで表示される。ただし、上述したように、出力される音声に合せて、対応するアバターの画像３０２、３０４が発話動作を行う。
【0100】
また、送信先の操作者側端末１８で、他の操作者と他の利用者のトークのやり取りの出力を停止することが指示されると、つまり、他の操作者と他の利用者のやり取りについてのトーク画面３００を閉じることが指示されると、送信元の操作者側端末１８にやり取りの送信停止が指示される。そして、送信先の操作者側端末１８では、他の操作者と他の利用者のやり取りについてのトーク画面３００が閉じられる。また、送信元の操作者側端末１８は、やり取りの送信停止の指示を受信すると、サーバ１２にやり取りの送信停止を通知する。
【0101】
上述したように、チャットまたはトークにおいて、他の操作者Ｂと他の利用者Ｙのやり取りを出力するので、操作者Ａは、リアルタイムに、操作者Ｂと利用者Ｙのやり取りを参考にして、または、真似して、利用者Ｘに応対することができる。また、操作者Ａは、操作者Ｂと利用者Ｙのやり取りを見て、操作者Ａ自身または操作者Ｂの利用者に対する応対についての改善点を知ることもできる。
【0102】
次に、他の操作者の選択方法について詳細に説明する。サーバ１２は、他の操作者を選択する場合に、図８に示す操作者情報を参照する。図８に示す操作者情報は、所定のサービスを利用する利用者に対して応対する、すなわち、利用者の質問に対して応答したり、接客を行なったりする複数の操作者の各々についての各種の情報である。
【0103】
図８に示すように、操作者情報は、操作者ＩＤに対応して、接続情報、習熟度、応対回数、応対状況および選択情報が記載される。操作者ＩＤの欄には、操作者の識別情報が記載される。図８に示す例では、識別情報として、１文字のアルファベットが記載される。ただし、これは一例であり、操作者ＩＤは、操作者の名称でもよいし、２文字以上のアルファベットまたは数字或いはアルファベットと数字の組み合わせでもよい。上述の説明では省略したが、操作者側端末１８から送信される送信要求には、操作者ＩＤが付加されている。
【0104】
接続情報の欄には、操作者ＩＤが示す操作者の操作者側端末１８への接続情報が記載される。一例として、接続情報は、ＩＰアドレスである。ただし、図８では、「接続情報」の文字列に、操作者ＩＤの文字を付加して示してある。
【0105】
習熟度の欄には、操作者ＩＤが示す操作者の習熟度を表す数値が記載される。一例として、習熟度は１０段階で表される。習熟度は、所定のサービスを利用する利用者に対して応対した回数（以下、「応対回数」ということがある。）に応じた数値であり、数値が大きくなるに連れて高くなる。一例として、習熟度は、応対回数が２００回を超える度に、一段階高くされる。ただし、習熟度が１０になると、それ以上は高くされない。
【0106】
応対回数の欄には、操作者ＩＤが示す操作者が利用者を応対した回数を示す数値が記載される。応対回数は、操作者がチャットの処理またはトークの処理を終了したときに、１加算される。
【0107】
応対状況の欄には、操作者ＩＤが示す操作者の現在の応対状況が記載される。利用者とチャットしている操作者については「チャット中」と記載される。利用者とトークしている操作者については「トーク中」と記載される。利用者とチャットもトークもしていないが、チャットまたはトークが可能な状態である操作者については「待機中」と記載される。チャットまたはトークが可能な状態でない操作者については「不在」と記載される。ただし、チャットまたはトークが可能な状態とは、サーバ１２がマッチングした利用者とチャットまたはトークによるコミュニケーションを行うことが可能な状態であることを意味する。
【0108】
選択情報の欄には、操作者ＩＤが示す操作者がやり取りを他の操作者に送信する操作者として選択されているかどうかを示す情報が記載される。他の操作者にやり取りを送信する操作者として選択されている場合には「選択済み」と記載される。一方、他の操作者にやり取りを送信する操作者として選択されていない場合には「未選択」と記載される。したがって、やり取りの送信停止が通知されると、やり取りの送信停止を通知した操作者側端末１８についての選択情報が「選択済み」から「未選択」に設定される。
【0109】
この実施例では、サーバ１２は、操作者から送信要求が有ると、操作者情報を参照して、送信要求に付加された操作者ＩＤに対応する習熟度および応対状況を取得する。送信要求の要求元の操作者の習熟度よりも高い習熟度の操作者のうち、送信要求の要求元の操作者と同じ応対状況で、選択情報が未選択の操作者を、やり取りを送信する操作者（すなわち、送信元の操作者）として選択する。
【0110】
ただし、該当する操作者が複数存在する場合には、より習熟度が高い操作者が送信元の操作者として選択される。これは一例であり、習熟度の高い複数の操作者からランダムに１の操作者が送信元の操作者として選択されてもよい。
【0111】
なお、この実施例では、送信要求の要求元の操作者の習熟度が１０の場合には、サーバ１２は、やり取りを送信する送信元の操作者を選択せずに、選択しないことを要求元の操作者の操作者側端末１８に送信する。
【0112】
また、この実施例では、送信要求の要求元の操作者の習熟度よりも高い習熟度の操作者を選択するようにしてあるが、他の例では、送信要求の要求元の操作者の習熟度よりも低い習熟度の操作者を選択するようにしてもよい。さらに、その他の例では、送信要求の要求元の操作者の習熟度と同じ習熟度の操作者を選択するようにしてもよい。かかる場合には、操作者は、同じ習熟度の操作者のやり取りを参考にすることができる。
【0113】
また、高い習熟度の操作者または低い習熟度の操作者を選択する場合には、習熟度が、複数段階（たとえば、２～３段階）以上高い操作者または低い操作者を選択するようにしてもよい。
【0114】
また、この実施例では、習熟度が高い操作者、習熟度が低い操作者、または習熟度が同じ操作者を選択することを、要求元の操作者が指定できるようにしてもよい。
【0115】
図９は操作者側端末１８に内蔵される記憶部（ここでは、ＲＡＭ）５２のメモリマップ５００の一例を示す。ＲＡＭは、ＣＰＵ５０のワーク領域およびバッファ領域として使用される。図９に示すように、記憶部５２は、プログラム記憶領域５０２およびデータ記憶領域５０４を含む。プログラム記憶領域５０２には、この実施例の制御プログラムが記憶されている。
【0116】
制御プログラムは、チャットまたはトークでコミュニケーションを行う操作者側端末１８の操作者側アプリのプログラムであって、メイン処理プログラム５０２ａ、通信プログラム５０２ｂ、操作検出プログラム５０２ｃ、音検出プログラム５０２ｄ、画像生成プログラム５０２ｅ、画像出力プログラム５０２ｆ、音出力プログラム５０２ｇ、要求プログラム５０２ｈおよび他のやり取り出力プログラム５０２ｉなどが記憶される。
【0117】
メイン処理プログラム５０２ａは、チャットまたはトークでコミュニケーションを行う操作者側アプリのメインルーチンの処理（全体的な処理）を実行するためのプログラムである。
【0118】
通信プログラム５０２ｂは、外部の機器、この実施例では、サーバ１２、利用者側端末１６および他の操作者側端末１８と有線または無線で通信するためのプログラムである。
【0119】
操作検出プログラム５０２ｃは、操作者の操作に従って入力装置５８から入力される操作データを検出し、記憶部５２のデータ記憶領域５０４に記憶するためのプログラムである。
【0120】
音検出プログラム５０２ｄは、マイク６２から入力される操作者の音声を検出するためのプログラムである。
【0121】
画像生成プログラム５０２ｅは、表示装置６０に表示するための各種の画面に対応する画像データを、画像生成データ５０４ｅを用いて生成するためのプログラムである。
【0122】
画像出力プログラム５０２ｆは、他の操作者側端末１８から受信した画像データまたは／および画像生成プログラム５０２ｅに従って生成した画像データを表示装置６０に出力するためのプログラムである。
【0123】
音出力プログラム５０２ｇは、利用者側端末１６から受信した利用者の音声データ、他の操作者側端末１８から受信した他の操作者の音声データおよび他の利用者の音声データを出力するためのプログラムである。
【0124】
要求プログラム５０２ｈは、操作者の操作に応じて、他の操作者のやり取りの送信要求をサーバ１２に送信するためのプログラムである。
【0125】
他のやり取り出力プログラム５０２ｉは、他の操作者の操作者側端末１８から受信したチャット画面２００の画像データ、または、他の操作者の操作者側端末１８から受信したトークの音声データおよびトーク画面３００の画像データを出力するためのプログラムである。ただし、トークの音声データは、他の操作者の音声データまたは当該他の操作者が応対する利用者の音声データである。以下、トークの音声データについては、同じである。
【0126】
図示は省略するが、プログラム記憶領域５０２には、操作者側端末１８のオペレーティングシステムなどのミドルウェア、ブラウザプログラム、操作者側アプリ以外の他のアプリケーションのプログラムも記憶される。
【0127】
なお、ブラウザプログラムは、所定のサービスのウェブサイトを含む任意のウェブサイトについてのウェブ画面の表示、ウェブ画面のスクロール、ページ移動などに関する処理およびウェブ画面における操作に対応する処理などを実行するためのプログラムである。
【0128】
また、記憶部５２のデータ記憶領域５０４には、送信データ５０４ａ、受信データ５０４ｂ、操作データ５０４ｃ、音声データ５０４ｄおよび画像生成データ５０４ｅなどが記憶される。また、データ記憶領域５０４には、送信要求フラグ５０４ｆおよびやり取り送信フラグ５０４ｇが設けられる。
【0129】
送信データ５０４ａは、サーバ１２、利用者側端末１６または他の操作者側端末１８に送信するデータであり、操作者側端末１８の操作者の操作者ＩＤが付加される。サーバ１２に送信するデータは、チャットまたはトークを開始または終了することを通知するデータおよび送信要求についてのデータである。また、利用者側端末１６に送信するデータは、チャットにおける操作者の応答内容についてのテキストデータおよびトークにおける操作者の応答内容についての音声データである。さらに、他の操作者側端末１８に送信するデータは、チャット画面２００の画像データ、および、トークの音声データおよびトーク画面３００の画像データである。
【0130】
受信データ５０４ｂは、サーバ１２、利用者側端末１６および他の操作者側端末１８から送信され、受信したデータである。サーバ１２から受信したデータは、チャットまたはトークによるコミュニケーションを行う利用者側端末１６の接続情報についてデータ、やり取りを送信する他の操作者側端末１８の接続情報（すなわち、送信元の接続情報）についてのデータ、および、他の操作者のやり取りの送信要求の要求元の操作者側端末１８の接続情報（すなわち、送信先の接続情報）についてのデータである。利用者側端末１６から受信したデータは、チャットにおける利用者の質問内容（つまり、メッセージ）についてのテキストデータ、および、トークにおける利用者の質問内容（つまり、メッセージ）についての音声データである。また、他の操作者側端末１８から受信したデータは、他の操作者のチャット画面２００の画像データ、他の操作者側端末１８から受信した他の操作者のトークの音声データおよびトーク画面３００の画像データである。
【0131】
操作データ５０４ｃは、操作検出プログラム５０２ｃに従って検出された操作データである。音声データ５０４ｄは、音検出プログラム５０２ｄに従って検出された音声データである。
【0132】
画像生成データ５０４ｅは、操作者側端末１８の表示装置６０に表示される各種の画面を生成するためのデータであり、アバターの画像を生成するためのデータを含む。アバターの画像を生成するためのデータには、アバターの静止画像のデータおよび発話動作についてのアニメーションのデータが含まれる。
【0133】
送信要求フラグ５０４ｆは、送信要求を送信したかどうかを判断するためのフラグであり、送信要求を送信した場合にオンされ、送信要求を送信していない（解除した）場合にオフされる。
【0134】
やり取り送信フラグ５０４ｇは、他の操作者側端末１８に、自機の操作者のやり取りを送信するかどうかを判断するためのフラグであり、やり取りを送信することが設定されている場合にオンされ、やり取りを送信することが設定されていない場合にオフされる。
【0135】
図示は省略するが、データ記憶領域５０４には、制御プログラムを実行するために必要な他のデータが記憶されたり、制御プログラムを実行するために必要なタイマ（カウンタ）および他のフラグが設けられたりする。
【0136】
また、図示は省略するが、サーバ１２の記憶部（ここでは、ＲＡＭ）２２は、プログラム記憶領域およびデータ記憶領域を含む。プログラム記憶領域には、通信プログラム、更新プログラム、および選択プログラムなどが記憶される。
【0137】
通信プログラムは、外部の機器、この実施例では、利用者側端末１６および操作者側端末１８と有線または無線で通信（データの送信および受信）するためのプログラムである。
【0138】
更新プログラムは、図８に示した操作者情報を更新するためのプログラムである。
【0139】
選択プログラムは、操作者側端末１８からの送信要求に従って、利用者とのやり取りを当該操作者側端末１８に送信する他の操作者側端末１８（の操作者）を選択するためのプログラムである。
【0140】
図示は省略するが、プログラム記憶領域５０２には、サーバ１２のオペレーティングシステムなどのミドルウェア、所定のサービスを提供する、すなわちショッピングサイトを運営するためのプログラム、利用者側端末１６からの要求に従って応対する操作者をマッチングするためのプログラム、他のアプリケーション・プログラムも記憶される。
【0141】
データ記憶領域には、送信データ、受信データおよび操作者情報データなどが記憶される。
【0142】
送信データは、利用者側端末１６または操作者側端末１８に送信するデータであり、この実施例では、応対される操作者の操作者側端末１８の接続情報データ、応対する利用者の利用者側端末１６の接続情報のデータ、送信元の接続情報のデータ、および、送信先の接続情報のデータである。
【0143】
受信データは、利用者側端末１６または操作者側端末１８から送信され、受信したデータである。利用者側端末１６から送信され、受信したデータは、応対することを要求するデータである。操作者側端末１８から送信され、受信したデータは、チャットまたはトークを開始または終了することを通知するデータ、送信要求についてのデータおよび送信停止指示のデータである。
【0144】
操作者情報データは、図８に示した操作情報についてのデータであり、この実施例では、サーバ１２が管理するデータベースから取得される。サーバ１２が管理するデータベースは、サーバ１２に内蔵される記憶部（ここでは、ＨＤＤ）２２、または、サーバ１２に直接またはネットワーク１４を介して通信可能に接続されたデータベースである。
【0145】
また、図示は省略するが、利用者側端末１６の記憶部１８２のプログラム記憶領域には、メイン処理プログラム、操作検出プログラム、通信プログラム、画像生成プログラム、画像出力プログラム、音検出プログラム、音出力プログラムおよびブラウザプログラムなどが記憶される。
【0146】
メイン処理プログラムは、チャットまたはトークでコミュニケーションを行う利用者側端末１６のアプリケーションのメインルーチンの処理（全体的な処理）を実行するためのプログラムである。
【0147】
操作検出プログラムは、利用者の操作に従って入力装置から入力される操作データを検出し、記憶部１６２のデータ記憶領域に記憶するためのプログラムである。
【0148】
通信プログラムは、外部の機器、この実施例では、サーバ１２および操作者側端末１８と有線または無線で通信するためのプログラムである。
【0149】
画像生成プログラムは、表示装置に表示するための各種の画面に対応する画像データを、画像生成データを用いて生成するためのプログラムである。
【0150】
画像出力プログラムは、サーバ１２から受信した画像データまたは／および画像生成プログラムに従って生成した画像データを表示装置に出力するためのプログラムである。
【0151】
音検出プログラムは、マイクから入力される利用者の音声を検出するためのプログラムである。
【0152】
音出力プログラムは、受信した操作者の音声データを出力するためのプログラムである。
【0153】
ブラウザプログラムは、所定のサービスのウェブサイトを含む任意のウェブサイトについてのウェブ画面の表示、ウェブ画面のスクロール、ページ移動などに関する処理およびウェブ画面における操作に対応する処理などを実行するためのプログラムである。
【0154】
また、記憶部５２のデータ記憶領域には、操作データ、送信データ、受信データ、画像生成データおよび音声データなどが記憶される。
【0155】
操作データは、操作検出プログラムに従って検出された操作データである。送信データは、サーバ１２または操作者側端末１８に送信するデータであり、チャットにおける利用者の質問内容（つまり、メッセージ）についてのテキストデータおよびトークにおける利用者の質問内容（つまり、メッセージ）についての音声データである。受信データは、操作者側端末１８から送信され、受信したデータであり、チャットにおける操作者の応答内容（つまり、メッセージ）についてのテキストデータおよびトークにおける操作者の応答内容（つまり、メッセージ）についての音声データである。
【0156】
画像生成データは、利用者側端末１６の表示装置に表示される各種の画面を生成するためのデータである。音声データは、音検出プログラムに従って検出された利用者の音声に対応するデータである。
【0157】
図１０－図１３は、操作者側端末１８のＣＰＵ５０の制御処理の一例を示すフロー図である。操作者側端末１８は、サーバ１２から応対することを要求した利用者の利用者側端末１６の接続情報を受信すると、当該利用者側端末１６と接続状態を確立し、制御処理を開始する。また、ＣＰＵ５０は、必要に応じて、後述する要求判断処理（図１４－図１６参照）および他のやり取りの出力処理（図１７および図１８参照）を、制御処理と並行して実行する。
【0158】
図１０に示すように、操作者側端末１８のＣＰＵ５０は、制御処理を開始すると、ステップＳ１で、チャットかどうかを判断する。ここでは、ＣＰＵ５０は、サーバ１２によってマッチングされた利用者側端末１６と接続状態を確立したときに、チャットの処理を実行することが通知されたかどうかを判断する。
【0159】
ステップＳ１で“ＮＯ”であれば、つまり、トークであれば、図１２に示すステップＳ３３に進む。一方、ステップＳ１で“ＹＥＳ”であれば、つまり、チャットであれば、ステップＳ３で、チャットの開始をサーバ１２通知し、ステップＳ５で、図５（Ａ）または図６（Ａ）に示したようなチャット画面２００を表示装置６０に表示する。ただし、チャットが開始された当初では、チャットのやり取りは表示されていない初期の状態のチャット画面２００が表示装置６０に表示される。
【0160】
次のステップＳ７では、応答内容の入力かどうかを判断する。ここでは、ＣＰＵ５０は、応答内容（メッセージのテキスト）のキー入力を示す操作データが入力装置５８から入力されたかどうかを判断する。
【0161】
ステップＳ７で“ＹＥＳ”であれば、つまり、応答内容の入力であれば、ステップＳ９で、チャット画面２００を更新して、ステップＳ７に戻る。ステップＳ９では、ＣＰＵ５０は、操作データが示すキー入力に対応する文字または文字列をテキストで表示する表示枠２０２を追加したチャット画面２００の画像データを生成して、表示装置６０に出力する。
【0162】
一方、ステップＳ７で“ＮＯ”であれば、つまり、応答内容の入力でなければ、ステップＳ１１で、応答内容の送信かどうかを判断する。ここでは、ＣＰＵ５０は、応答内容が確定したこと（または、応答内容を送信すること）を示す操作データが入力装置５８から入力されたかどうかを判断する。
【0163】
ステップＳ１１で“ＮＯ”であれば、つまり、応答内容の送信でなければ、図１１に示すステップＳ１９に進む。一方、ステップＳ１１で“ＹＥＳ”であれば、つまり、応答内容の送信であれば、ステップＳ１３で、応答内容のテキストデータを利用者側端末１６に送信して、ステップＳ１５で、やり取り送信フラグ５０４ｇがオンであるかどうかを判断する。
【0164】
ステップＳ１５で“ＮＯ”であれば、つまり、やり取り送信フラグ５０４ｇがオフであれば、ステップＳ１９に進む。一方、ステップＳ１５で“ＹＥＳ”であれば、つまり、やり取り送信フラグ５０４ｇがオンであれば、ステップＳ１７で、チャット画面２００の画像データを送信先の操作者側端末１８に送信して、ステップＳ１９に進む。ステップＳ１７では、上述したように、ステップＳ９で更新したチャット画面２００の画像データが送信される。
【0165】
図１１に示すように、ステップＳ１９では、質問内容のテキストデータを利用者側端末１６から受信したかどうかを判断する。ステップＳ１９で“ＮＯ”であれば、つまり、質問内容のテキストデータを利用者側端末１６から受信していなければ、ステップＳ２７に進む。一方、ステップＳ１９で“ＹＥＳ”であれば、つまり、質問内容のテキストデータを利用者側端末１６から受信すれば、ステップＳ２１で、チャット画面２００を更新する。ステップＳ２１では、受信した質問内容のテキストデータに対応するテキストを表示した表示枠２０４を追加したチャット画面２００の画像データを生成し、表示装置６０に出力する。
【0166】
続くステップＳ２３では、やり取り送信フラグ５０４ｇがオンであるかどうかを判断する。ステップＳ２３で“ＮＯ”であれば、ステップＳ２７に進む。一方、ステップＳ２３で“ＹＥＳ”であれば、ステップＳ２５で、チャット画面２００の画像データを送信先の操作者側端末１８に送信して、ステップＳ２７に進む。ステップＳ２５では、上述したように、ステップＳ２１で更新したチャット画面２００の画像データが送信される。
【0167】
ステップＳ２７では、チャットの終了かどうかを判断する。ここでは、ＣＰＵ５０は、操作者によってチャットの終了を指示されたり、利用者側端末１６からチャットの終了を指示されたりしたかを判断する。
【0168】
ステップＳ２７で“ＮＯ”であれば、つまり、チャットの終了でなければ、ステップＳ７に戻る。一方、ステップＳ２７で“ＹＥＳ”であれば、つまり、チャットの終了であれば、ステップＳ２９で、チャット画面２００を閉じて、ステップＳ３１で、チャットの終了をサーバ１２に通知して、制御処理を終了する。
【0169】
また、上述したように、ステップＳ１で“ＮＯ”であれば、図１２に示すステップＳ３３で、トークの開始をサーバ１２に通知し、ステップＳ３５で、図５（Ｂ）または図６（Ｂ）に示したようなトーク画面３００を表示装置６０に表示する。つまり、ＣＰＵ５０は、図５（Ｂ）または図６（Ｂ）に示したようなトーク画面３００の画像データを生成して表示装置６０に出力する。
【0170】
続くステップＳ３７では、音声の入力かどうかを判断する。ここでは、ＣＰＵ５０は、マイク６２で音声を検出したかどうかを判断する。ステップＳ３７で“ＮＯ”であれば、つまり、音声の入力でなければ、図１３に示すステップＳ４７に進む。一方、ステップＳ３７で“ＹＥＳ”であれば、つまり、音声の入力であれば、ステップＳ３９で、入力された音声データを利用者側端末１６に送信し、ステップＳ４１で、トーク画面３００を更新する。ステップＳ４１では、ＣＰＵ５０は、操作者に対応するアバターが発話動作を行うようにアバターの画像３０２を更新したトーク画面３００の画像データを生成して、表示装置６０に出力する。
【0171】
続くステップＳ４３では、やり取り送信フラグ５０４ｇがオンであるかどうかを判断する。ステップＳ４３で“ＮＯ”であれば、ステップＳ４７に進む。一方、ステップＳ４３で“ＹＥＳ”であれば、ステップＳ４５で、ステップＳ４１で更新したトーク画面３００の画像データおよび入力された音声データを送信先の操作者側端末１８に送信して、ステップＳ４７に進む。
【0172】
図１３に示すように、ステップＳ４７では、質問内容の音声データを受信したかどうかを判断する。ステップＳ４７で“ＹＥＳ”であれば、つまり、質問内容の音声データを受信すれば、ステップＳ４９で、受信した質問内容の音声データをスピーカ６４に出力し、ステップＳ５１で、トーク画面３００を更新する。ステップＳ５１では、ＣＰＵ５０は、質問内容の音声データに合せて利用者のアバターに発話動作を行わせるようにアバターの画像３０４を更新したトーク画面３００の画像データを生成して、表示装置６０に出力する。
【0173】
続くステップＳ５３では、やり取り送信フラグ５０４ｇがオンであるかどうかを判断する。ステップＳ５３で“ＮＯ”であれば、図１２に示したステップＳ３７に戻る。一方、ステップＳ５３で“ＹＥＳ”であれば、ステップＳ５５で、トーク画面３００の画像データと音声データを送信先の操作者側端末１８に送信して、ステップＳ３７に進む。ステップＳ５５では、ＣＰＵ５０は、ステップＳ５１で更新したトーク画面３００の画像データと受信した音声データを送信先の操作者側端末１８に送信する。
【0174】
また、ステップＳ４７で“ＮＯ”であれば、つまり、質問内容の音声データを受信していなければ、ステップＳ５７で、トークの終了かどうかを判断する。ここでは、ＣＰＵ５０は、操作者によってトークの終了を指示されたり、利用者側端末１６からトークの終了を指示されたりしたかを判断する。
【0175】
ステップＳ５７で“ＮＯ”であれば、つまり、トーク終了でなければ、ステップＳ３７に戻る。一方、ステップＳ５７で“ＹＥＳ”であれば、つまり、トーク終了であれば、ステップＳ５９で、トーク画面３００を閉じて、ステップＳ６１で、トークの終了をサーバ１２に通知して、制御処理を終了する。
【0176】
図１４－図１６は、操作者側端末１８のＣＰＵ５０の要求判断処理の一例を示すフロー図である。要求判断処理は、制御処理が開始されると、開始され、制御処理と並行して実行される。また、要求判断処理は、制御処理が終了されると、終了される。
【0177】
図１４に示すように、ＣＰＵ５０は、要求判断処理を開始すると、ステップＳ８１で、送信要求フラグ５０４ｆがオンであるかどうかを判断する。ステップＳ８１で“ＹＥＳ”であれば、つまり、送信要求フラグ５０４ｆがオンであれば、図１５に示すステップＳ９３に進む。
【0178】
一方、ステップＳ８１で“ＮＯ”であれば、つまり、送信要求フラグ５０４ｆがオフであれば、ステップＳ８３で、他の操作者のやり取りの送信要求が有るかどうかを判断する。
【0179】
ステップＳ８３で“ＮＯ”であれば、つまり、他の操作者のやり取りの送信要求が無ければ、図１６に示すステップＳ９９に進む。一方、ステップＳ８３で“ＹＥＳ”であれば、つまり、他の操作者のやり取りの送信要求が有れば、ステップＳ８５で、送信要求フラグ５０４ｆをオンし、ステップＳ８７で、他の操作者と他の利用者のやり取りの送信要求をサーバ１２に送信する。
【0180】
続くステップＳ８９では、送信元の接続情報を受信したかどうかを判断する。ステップＳ８９で“ＮＯ”であれば、つまり、送信元の接続情報を受信していなければ、ステップＳ８９に戻る。一方、ステップＳ８９で“ＹＥＳ”であれば、つまり、送信元の接続情報を受信すれば、ステップＳ９１で、送信元である他の操作者側端末１８と接続状態を確立して、図１５に示すステップＳ９３に進む。
【0181】
図１５に示すように、ステップＳ９３では、やり取りの送信停止の指示が有るかどうかを判断する。ここでは、ＣＰＵ５０は、他の操作者と他の利用者のやり取りのチャット画面２００または他の操作者と他の利用者のやり取りのトーク画面３００を閉じることが指示されたかどうかを判断する。
【0182】
ステップＳ９３で“ＮＯ”であれば、つまり、やり取りの送信停止の指示が無ければ、図１６に示すステップＳ９９に進む。
【0183】
一方、ステップＳ９３で“ＹＥＳ”であれば、つまり、やり取りの送信停止の指示が有れば、ステップＳ９５で、送信要求フラグ５０４ｆをオフし、ステップＳ９７で、送信元の操作者側端末１８にやり取りの送信停止を指示して、ステップＳ９９に進む。
【0184】
図１６に示すように、ステップＳ９９では、やり取り送信フラグ５０４ｇがオンであるかどうかを判断する。ステップＳ９９で“ＹＥＳ”であれば、つまり、やり取り送信フラグ５０４ｇがオンであれば、ステップＳ１０７に進む。一方、ステップＳ９９で“ＮＯ”であれば、つまり、やり取り送信フラグ５０４ｇがオフであれば、ステップＳ１０１で、送信先の接続情報を受信したかどうかを判断する。
【0185】
ステップＳ１０１で“ＮＯ”であれば、つまり、送信先の接続情報を受信していなければ、図１４に示したステップＳ８１に戻る。一方、ステップＳ１０１で“ＹＥＳ”であれば、つまり、送信先の接続情報を受信すれば、ステップＳ１０３で、やり取り送信フラグ５０４ｇをオンし、ステップＳ１０５で、送信先の操作者側端末１８と接続状態を確立する。
【0186】
そして、ステップＳ１０７で、やり取りの送信停止の指示を受信したかどうかを判断する。ステップＳ１０７で“ＮＯ”であれば、つまり、やり取りの送信停止の指示を受信していなければ、ステップＳ８１に戻る。一方、ステップＳ１０７で“ＹＥＳ”であれば、つまり、やり取りの送信停止の指示を受信すれば、ステップＳ１０９で、やり取りの送信停止をサーバ１２に通知し、ステップＳ１１１で、やり取り送信フラグ５０４ｇをオフして、ステップＳ８１に戻る。
【0187】
図１７および図１８は、操作者側端末１８のＣＰＵ５０の他のやり取りの出力処理の一例を示すフロー図である。ＣＰＵ５０は、操作者の指示に従って、他のやり取りの出力処理を開始し、制御処理および要求判断処理のそれぞれと並行して実行する。
【0188】
図１７に示すように、ステップＳ１３１では、チャット中かどうかを判断する。ステップＳ１３１で“ＮＯ”であれば、つまり、トーク中であれば、図１８に示すステップＳ１４１に進む。一方、ステップＳ１３１で“ＹＥＳ”であれば、つまり、チャット中であれば、ステップＳ１３３で、他の操作者のチャット画面２００の画像データを受信したかどうかを判断する。
【0189】
ステップＳ１３３で“ＮＯ”であれば、つまり、他の操作者のチャット画面２００の画像データを受信していなければ、ステップＳ１３７に進む。一方、ステップＳ１３３で“ＹＥＳ”であれば、つまり、他の操作者のチャット画面２００の画像データを受信すれば、ステップＳ１３５で、受信した他の操作者のチャット画面を表示または更新して、ステップＳ１３７に進む。ステップＳ１３５では、ＣＰＵ５０は、受信した画像データを表示装置６０に出力する。
【0190】
ステップＳ１３７では、他の操作者のチャット画面２００の表示終了かどうかを判断する。ここでは、ＣＰＵ５０は、他の操作者のチャット画面２００の表示を終了することが指示されたかどうかを判断する。ステップＳ１３７で“ＮＯ”であれば、つまり、他の操作者のチャット画面２００の表示終了でなければ、ステップＳ１３３に戻る。
【0191】
一方、ステップＳ１３７で“ＹＥＳ”であれば、つまり、他の操作者のチャット画面２００の表示終了であれば、ステップＳ１３９で、他の操作者のチャット画面２００を閉じて、他のやり取りの出力処理を終了する。
【0192】
また、上述したように、ステップＳ１３１で“ＮＯ”であれば、図１８に示すステップＳ１４１で、他の操作者のトーク画面３００の画像データおよび音声データを受信したかどうかを判断する。
【0193】
ステップＳ１４１で“ＮＯ”であれば、つまり、他の操作者のトーク画面３００の画像データおよび音声データを受信していなければ、ステップＳ１４７に進む。
【0194】
一方、ステップＳ１４１で“ＹＥＳ”であれば、つまり、他の操作者のトーク画面３００の画像データおよび音声データを受信すれば、ステップＳ１４３で、他の操作者のトークのやり取りの音声を出力する。つまり、ＣＰＵ５０は、受信した音声データ、すなわち、他の操作者または他の利用者の音声についての音声データを出力する。次のステップＳ１４５では、他の操作者のトーク画面３００を表示または更新して、ステップＳ１４７に進む。
【0195】
ステップＳ１４７では、他の操作者のトークのやり取りの出力終了かどうかを判断する。ここでは、ＣＰＵ５０は、他の操作者のトークのやり取りの出力を終了することが指示されたかどうかを判断する。ステップＳ１４７で“ＮＯ”であれば、つまり、他の操作者のトークのやり取りの出力終了でなければ、ステップＳ１４１に戻る。
【0196】
一方、ステップＳ１４７で“ＹＥＳ”であれば、つまり、他の操作者のトークのやり取りの出力終了であれば、ステップＳ１４９で、他の操作者のトーク画面３００を閉じて、他のやり取りの出力処理を終了する。
【0197】
図１９および図２０は、サーバ１２のＣＰＵ２０の他の操作者選択および解除処理の一例を示すフロー図である。上述したように、サーバ１２のＣＰＵ２０の所定のサービス（すなわち、オンラインショッピング）に関する処理についての説明は省略するが、ＣＰＵ２０は、このオンラインショッピングに関する処理と並行して、他の操作者選択および解除処理を実行する。
【0198】
図１９に示すように、ＣＰＵ２０は、他の操作者選択および解除処理を開始すると、ステップＳ３０１で、送信要求が有るかどうかを判断する。ステップＳ３０１で“ＮＯ”であれば、つまり、送信要求が無ければ、ステップＳ３１１に進む。
【0199】
一方、ステップＳ３０１で“ＹＥＳ”であれば、つまり、送信要求が有れば、ステップＳ３０３で、やり取りを送信する他の操作者すなわち送信元の操作者を選択する。上述したように、この実施例では、送信要求の要求元の操作者側端末１８の操作者よりも高い習熟度の操作者であって、同じ応対状況で選択情報が未選択の操作者が選択される。
【0200】
続くステップＳ３０５で、選択した他の操作者すなわち送信元の操作者側端末１８に送信先の接続情報を送信し、ステップＳ３０７で、送信先の操作者側端末１８に送信元の接続情報を送信し、ステップＳ３０９で、操作者情報において、選択した他の操作者の操作者側端末１８の選択情報を選択済みに設定する。
【0201】
そして、ステップＳ３１１で、送信停止の通知が有るかどうかを判断する。ステップＳ３１１で“ＮＯ”であれば、つまり、送信停止の通知が無ければ、ステップＳ３０１に戻る。一方、ステップＳ３１１で“ＹＥＳ”であれば、つまり、送信停止の通知が有れば、ステップＳ３１３で、操作者情報において、送信停止を通知した操作者側端末１８の選択情報を未選択に設定する。
【0202】
図２０に示すように、続くステップＳ３１５では、チャットまたはトークの開始の通知が有るかどうかを判断する。ステップＳ３１５で“ＮＯ”であれば、つまり、チャットまたはトークの開始の通知が無ければ、ステップＳ３１９に進む。一方、ステップＳ３１５で“ＹＥＳ”であれば、つまり、チャットまたはトークの開始の通知が有れば、ステップＳ３１７で、操作者情報において、チャットまたはトークの開始を通知した操作者側端末１８の操作者の応対状況をチャット中またはトーク中に変更して、ステップＳ３１９に進む。
【0203】
ステップＳ３１９では、チャットまたはトークの終了の通知が有るかどうかを判断する。ステップＳ３１９で“ＮＯ”であれば、つまり、チャットまたはトークの終了の通知が無ければ、ステップＳ３０１に戻る。
【0204】
一方、ステップＳ３１９で“ＹＥＳ”であれば、つまり、チャットまたはトークの終了の通知が有れば、ステップＳ３２１で、操作者情報において、チャットまたはトークの終了を通知した操作者側端末１８の操作者の応対状況を待機中に変更し、ステップＳ３２３で、操作者情報において、チャットまたはトークの終了を通知した操作者側端末１８の操作者の応対回数を１加算する。
【0205】
続いて、ステップＳ３２５では、習熟度の上昇かどうかを判断する。ここでは、ＣＰＵ２０は、応対回数が前回習熟度を上昇させてから２００加算されたかどうかを判断する。ステップＳ３２５で“ＮＯ”であれば、つまり、習熟度の上昇でなければ、ステップＳ３０１に戻る。一方、ステップＳ３２５で“ＹＥＳ”であれば、つまり、習熟度の上昇であれば、ステップＳ３２７で、操作者情報において、チャットまたはトークの終了を通知した操作者側端末１８の操作者習熟度を１加算して、ステップＳ３０１に戻る。
【0206】
この実施例によれば、操作者が利用者に応対しているときに、他の操作者と他の利用者のやり取りを出力するので、他の操作者と他の利用者のやり取りを見たり聞いたりすることができる。つまり、操作者が利用者に応対しているときに、他の操作者と他の利用者のやり取りを知ることができる。
【0207】
したがって、たとえば、習熟度の低い操作者は、習熟度の高い他の操作者のやり取りを参考にして、または、真似して、利用者とやり取りすることができる。また、たとえば、習熟度の高い操作者は、習熟度の低い操作者のやり取りを見たり聞いたりして、当該習熟度の低い操作者に対して的確なアドバイスをすることができる。さらに、たとえば、操作者は、習熟度が同じ操作者のやり取りを参考にすることもできる。
【0208】
なお、この実施例では、他（送信元）の操作者側端末から送信先の操作者側端末に音声データまたは／および音声データを送信するようにしたが、サーバを介して送信するようにしてもよい。
【0209】
また、この実施例では、習熟度の高さに基づいて他の操作者を選択するようにしたが、これに限定される必要はない。習熟度に代えて、優秀度（たとえば、売り上げの高さまたは制約数の多さ）に基づいて他の操作者を選択するようにしてもよい。
【0210】
さらに、この実施例では、トークの場合には、送信先の操作者側端末の表示装置に、他（送信元）の操作者側端末のトーク画面も出力するようにしたが、出力しないようにしてもよい。かかる場合には、やり取りの音声データのみが、他（送信元）の操作者側端末から送信先の操作者側端末に送信される。
【0211】
さらにまた、この実施例では、ショッピングサーバが他の操作者の選択等も行うようにしたが、ショッピングサーバとは異なる別のサーバが他の操作者の選択等を行うようにしてもよい。かかる場合には、別のサーバが操作者情報を管理し、図１９および図２０に示した他の操作者選択および解除処理を実行する。
【0212】
また、この実施例では、利用者は、操作者とチャットまたはトークでコミュニケーションを行うようにしたが、チャット（つまり、テキストのやり取り）のみ、または、トーク（つまり、音声のやり取り）のみでコミュニケーションを行うようにしてもよい。つまり、やり取りのメッセージをテキストで見るだけでも、他の操作者と他の利用者のやり取りを知ることができるし、やり取りのメッセージを音声で聞くだけでも、他の操作者と他の利用者のやり取りを知ることができる。
【0213】
さらに、この実施例では、他（送信元）の操作者側端末で生成された他の操作者のチャット画面またはトーク画面の画像データを送信先の操作者側端末に送信するようにしたが、これに限定される必要はない。他の操作者のチャット画面またはトーク画面の画像データは、送信先の操作者側端末で生成するようにしてもよい。この場合、他の操作者側端末は、チャット画面またはトーク画面の画像データを操作者側端末に送信しない。
【0214】
かかる場合には、たとえば、チャットの場合には、他の操作者および他の利用者のメッセージについてのテキストデータが送信先の操作者側端末に送信され、他の操作者のチャット画面の画像データが生成および出力される。ただし、テキストデータには、他の操作者のメッセージであるか他の利用者のメッセージであるかを識別する識別情報が付加される。
【0215】
また、たとえば、トークの場合には、他の操作者が使用するアバターの種類と当該他の操作者が応対する他の利用者が使用するアバターの種類が、他の操作者側端末から送信先の操作者側端末に、最初に、または、毎回、音声データを送信するときに通知される。ただし、音声データには、他の操作者のメッセージであるか他の利用者のメッセージであるかを識別する識別情報が付加される。また、送信先の操作者側端末では、通知された他の操作者および他の利用者が使用する２つのアバターの種類に対応する２つのアバターの画像を含む他の操作者側端末のトーク画面の画像データが生成および出力される。ただし、他の操作者のメッセージの音声データを出力する場合には、音声データの出力に合せて他の操作者のアバターの画像が発話動作され、他の利用者のメッセージの音声データを出力する場合には、音声データの出力に合せて他の利用者のアバターの画像が発話動作される。
【0216】
さらにまた、この実施例では、送信先（要求元）の操作者側端末でチャットの処理が実行されている場合には、チャット中の他の操作者が選択され、送信先（要求元）の操作者側端末でトークの処理が実行されている場合には、トーク中の他の操作者が選択されるようにしたが、これに限定される必要はない。要求元の操作者側端末で処理されているのがチャットまたはトークに拘わらず、チャット中またはトーク中の他の操作者が選択されるようにしてもよい。かかる場合には、チャットの処理が実行されている場合には、他の操作者のトーク画面が出力されるとともに、他の操作者と他の利用者のやり取りの音声が出力される場合がある。また、トークの処理が実行されている場合に、他の操作者のチャット画面が表示される場合もある。
【0217】
また、この実施例では、他（送信元）の操作者として選択されている場合には、さらに、他（送信元）の操作者として選択されないようにしたが、選択されるようにしてもよい。かかる場合には、２以上の送信先の操作者側端末に、利用者とのやり取りの音声データまたは／および画像データを送信する。また、操作者情報から選択情報が削除される。
【0218】
さらに、この実施例では、操作者側端末と利用者側端末との間で、チャットまたはトークを行う場合には、テキストデータまたは音声データを操作者側端末と利用者側端末で送受信するようにしたが、サーバを介して送受信するようにしてもよい。
【0219】
さらにまた、この実施例では、チャットでは、操作者との間でテキストをやり取りするようにしたが、利用者側端末は、ネットワーク（クラウド）上のチャットサービスサーバにアクセスし、チャットボットとメッセージをやり取りするようにしてもよい。
【0220】
また、この実施例では、操作者の音声を利用者側端末または送信先の操作者側端末のスピーカからそのまま出力するようにしたが、操作者の音声を変換した音声を出力するようにしてもよい。
【0221】
他の実施例の情報処理システム１０は、利用者と操作者がビデオ通話を行うようにした以外は上述の実施例と同じであるため、異なる内容について説明し、重複する内容については説明を省略する、または、簡単に説明することにする。
【0222】
他の実施例の情報処理システム１０では、利用者と操作者がビデオ通話を行うため、利用者側端末１６には、利用者を撮影するためのカメラが設けられ、操作者側端末１８には、操作者を撮影するためのカメラが設けられる。
【0223】
他の実施例において、利用者が操作者とビデオ通話することを要求すると、上述の実施例と同様に、複数の操作者のうちから１の操作者がサーバ１２によってマッチングされ、利用者の利用者側端末１６と当該利用者とマッチングされた操作者の操作者側端末１８の間でビデオ通話が開始される。したがって、他の実施例では、操作者側アプリは、利用者とビデオ通話を実行するためのアプリケーション・プログラムである。
【0224】
なお、図示は省略するが、他の実施例では、利用者側アプリの選択画面１１０において、ボタン１１２およびボタン１１４に代えて、ビデオ通話を実行するためのボタンが設けられる。このビデオ通話を実行するためのボタンがオンされると、サーバ１２に操作者とビデオ通話することが要求される。
【0225】
他の実施例では、各操作者は、ビデオ通話で、マッチングされた利用者側端末１６の利用者に応対する。具体的には、各操作者は、利用者のメッセージ（たとえば、問い合わせ）に対して対応（応答）したり、当該利用者に対して接客を行ったりする。ビデオ通話自体は、公知の技術であるため、詳細な説明は省略する。
【0226】
簡単に説明すると、ビデオ通話では、利用者の映像は利用者側端末１６に設けられたカメラで撮影され、利用者側端末１６の表示装置に表示される。また、操作者の映像は操作者側端末１８に設けられたカメラで撮影され、操作者側端末１８の表示装置６０に表示される。
【0227】
ただし、上述の実施例で説明したように、操作者が発話すると、その発話内容（または、応答内容）の音声、すなわち、メッセージの音声がマイク６２を通して入力され（つまり、マイク６２で検出され）、入力された応答内容の音声が利用者Ｘの利用者側端末１６に送信される。
【0228】
また、利用者の映像および音声が利用者側端末１６から操作者側端末１８に送信され、操作者側端末１８の表示装置６０に利用者の映像が表示されるとともに、スピーカ６４から利用者の音声が出力される。一方、操作者の映像および音声が操作者側端末１８から利用者側端末１６に送信され、利用者側端末１６の表示装置に操作者の映像が表示されるとともに、スピーカから操作者の音声が出力される。つまり、利用者の映像および音声と、操作者の映像および音声が、利用者側端末１６と操作者側端末１８の間でやり取りされる。
【0229】
図２１（Ａ）は操作者Ａの操作者側端末１８の表示装置６０に表示されるビデオ通話画面４００（４００Ａ）の一例を示す図であり、図２１（Ｂ）は操作者Ｂの操作者側端末１８の表示装置６０に表示されるビデオ通話画面４００（４００Ｂ）の一例を示す図である。ただし、上述の実施例で説明したように、操作者Ａは利用者Ｘと対話しているものとし、操作者Ｂは利用者Ｙと対話しているものとする。
【0230】
図２１（Ａ）に示す例では、表示枠４０２に操作者Ａの映像が表示され、表示枠４０４に利用者Ｘの映像が表示される。同様に、図２１（Ｂ）に示す例では、表示枠４０２に操作者Ａの映像が表示され、表示枠４０４に利用者Ｙの映像が表示される。
【0231】
他の実施例においても、操作者の要求があった場合に、操作者の操作者側端末１８において、当該操作者と利用者のやり取りのみならず、他の操作者と他の利用者のやり取りについても出力するようにしてある。
【0232】
具体的には、操作者が、利用者に応対している場合に、操作者側端末１８を用いて、他の操作者のやり取りを出力することを指示すると、つまり、他の操作者のやり取りを送信することを要求（以下、「送信要求」という）すると、送信要求がサーバ１２に送信される。
【0233】
サーバ１２において、他の利用者に応対している他の操作者を選択する方法は上述の実施例で説明した方法と同じである。ただし、他の実施例では、操作者と利用者はビデオ通話を行うため、図８に示した操作者情報において、応対状況の欄には、「ビデオ通話中」、「待機中」または「不在」が記載される。つまり、利用者とビデオ通話している操作者については「ビデオ通話中」と記載される。利用者とビデオ通話をしていないが、ビデオ通話可能な状態である操作者については「待機中」と記載される。ビデオ通話が可能な状態でない操作者については「不在」と記載される。ただし、ビデオ通話が可能な状態とは、サーバ１２がマッチングした利用者とビデオ通話によるコミュニケーションを行うことが可能な状態であることを意味する。
【0234】
サーバ１２は、他の操作者を選択すると、要求元（つまり、やり取りの送信先）の操作者側端末１８への送信先の接続情報を、選択した他の操作者の操作者側端末１８に送信する。また、サーバ１２は、選択した他の操作者（つまり、やり取りの送信元）の操作者側端末１８への送信元の接続情報を、送信先の操作者側端末１８に送信する。
【0235】
したがって、要求元の操作者側端末１８と他の操作者の操作者側端末１８は、互いの接続情報を用いて接続状態を確立する。すると、他の操作者の操作者側端末１８は、他の操作者の映像および音声を送信先の操作者側端末１８に送信するとともに、他の利用者の映像および音声を送信先の操作者側端末１８に送信する。ただし、映像および音声には、他の操作者または他の利用者を識別可能な情報が付加されている。ただし、他の操作者および他の利用者の映像はカメラがオフされていない限り、常に、送信先の操作者側端末１８に送信されるが、他の操作者の音声および他の利用者の音声は検出された場合にのみ、送信先の操作者側端末１８に送信される。
【0236】
したがって、送信先の操作者側端末１８の表示装置６０には、当該操作者側端末１８の操作者が応対中のビデオ通話画面４００と、他の操作者と他の利用者のやり取りについてのビデオ通話画面４００が表示される。
【0237】
たとえば、操作者Ａが送信要求を送信した要求元の操作者側端末１８の操作者（つまり、送信先の操作者）であり、操作者Ｂが選択した他の操作者（つまり、送信元の操作者）である場合には、図２１（Ｃ）に示すように、操作者Ａの操作者側端末１８の表示装置６０には、図２１（Ａ）に示したような操作者Ａのビデオ通話画面４００Ａおよび図２１（Ｂ）に示したような操作者Ｂのビデオ通話画面４００Ｂが並んで表示される。
【0238】
ただし、ビデオ通話画面４００Ａとビデオ通話画面４００Ｂは重ならないように表示されればよく、ビデオ通話画面４００Ａとビデオ通話画面４００Ｂは並んで表示される必要はない。
【0239】
また、送信先の操作者側端末１８で、他の操作者と他の利用者のやり取りについての出力を停止することが指示されると、送信元の操作者側端末１８にやり取りの送信停止が指示される。そして、送信先の操作者側端末１８では、他の操作者と他の利用者のやり取りの出力が停止され、他の操作者と他の利用者のビデオ通話画面４００が閉じられる。また、送信元の操作者側端末１８は、やり取りの送信停止の指示を受信すると、サーバ１２にやり取りの送信停止を通知する。
【0240】
具体的には、他の実施例の操作者側端末１８のＣＰＵ５０は、図１０－図１３に示した制御処理に代えて、図２２および図２３に示す制御処理を実行する。また、他の実施例の操作者側端末１８のＣＰＵ５０は、図１７および図１８に示した他のやり取りの出力処理に代えて、図２４に示す他のやり取りの出力処理を実行する。ただし、他の実施例においても、操作者側端末１８のＣＰＵ５０は、図１４－図１６に示した要求判断処理を実行する。また、他の実施例のサーバ１２のＣＰＵ２０は、図１９および図２０に示した他の操作者選択および解除処理の一部を変更した処理を実行する。具体的には、他の実施例のサーバ１２のＣＰＵ２０は、図２０の一部を変更した図２５の処理を実行する。以下、図２２－図２５のフロー図について説明するが、既に説明した内容と同じ内容については簡単に説明することにする。
【0241】
なお、図示は省略するが、ＣＰＵ５０は、制御処理と並行して、カメラでの撮影処理を実行し、操作者の映像データを取得する。また、ＣＰＵ５０は、制御処理と並行して、他の装置（利用者側端末１６および他の操作者側端末１８）から送信されるデータの受信処理を実行する。さらに、通信相手の利用者側においても、ビデオ通話処理が実行される。
【0242】
図２２に示すように、ＣＰＵ５０は、制御処理を開始すると、ビデオ通話処理を開始し、ステップＳ４０１で、ビデオ通話の開始をサーバ１２に通知する。次のステップＳ４０３では、図２１（Ａ）または図２１（Ｂ）に示したようなビデオ通話画面４００を表示装置６０に表示する。つまり、ＣＰＵ５０は、図２１（Ａ）または図２１（Ｂ）に示したようなビデオ通話画面４００の画像データを生成して表示装置６０に出力する。
【0243】
続くステップＳ４０５では、操作者の映像データを出力する。つまり、操作者側端末１８に設けられたカメラで撮影された映像データを、ビデオ通話画面４００の表示枠４０２に出力する。
【0244】
続いて、ステップＳ４０７では、音声の入力かどうかを判断する。ここでは、ＣＰＵ５０は、マイク６２で音声を検出したかどうかを判断する。ステップＳ４０７で“ＮＯ”であれば、つまり、音声の入力でなければ、ステップＳ４０９で、操作者の映像データを利用者側端末１６に送信して、ステップＳ４１３に進む。
【0245】
一方、ステップＳ４０７で“ＹＥＳ”であれば、つまり、音声の入力であれば、ステップＳ４１１で、操作者の映像データと入力された音声データを利用者側端末１６に送信して、ステップＳ４１３に進む。
【0246】
ステップＳ４１３では、やり取り送信フラグ５０４ｇがオンであるかどうかを判断する。ステップＳ４１３で“ＮＯ”であれば、図２３に示すステップＳ４１７に進む。一方、ステップＳ４１３で“ＹＥＳ”であれば、ステップＳ４１５で、操作者の映像データおよび入力された音声データを送信先の操作者側端末１８に送信して、ステップＳ４１７に進む。ただし、音声データが入力されていない場には、ステップＳ４１７では、操作者の映像データのみが送信先の操作者側端末１８に送信される。
【0247】
図２３に示すステップＳ４１７では、受信データに音声データが含まれるかどうかを判断する。ステップＳ４１７で“ＮＯ”であれば、つまり、受信データに音声データが含まれていない場合には、ステップＳ４１９で、利用者の映像データをビデオ通話画面４００の表示枠４０４に出力して、ステップＳ４２３に進む。
【0248】
一方、ステップＳ４１７で“ＹＥＳ”であれば、つまり、受信データに音声データが含まれている場合には、ステップＳ４２１で、利用者の映像データをビデオ通話画面４００の表示枠４０４に出力するとともに、利用者の質問内容の音声データをスピーカ６４に出力して、ステップＳ４２３に進む。
【0249】
ステップＳ４２３では、やり取り送信フラグ５０４ｇがオンであるかどうかを判断する。ステップＳ４２３で“ＮＯ”であれば、ステップＳ４２７に進む。一方、ステップＳ４２３で“ＹＥＳ”であれば、ステップＳ４２５で、利用者側端末１６から受信したデータを送信先の操作者側端末１８に送信して、ステップＳ４２７に進む。ステップＳ４２５では、ＣＰＵ５０は、音声データを受信していない場合には、映像データのみを送信先の操作者側端末１８に送信し、音声データも受信している場合には、映像データと音声データを送信先の操作者側端末１８に送信する。
【0250】
ステップＳ４２７では、ビデオ通話の終了かどうかを判断する。ここでは、ＣＰＵ５０は、操作者によってビデオ通話の終了を指示されたり、利用者側端末１６からビデオ通話の終了を指示されたりしたかを判断する。
【0251】
ステップＳ４２７で“ＮＯ”であれば、つまり、ビデオ通話の終了でなければ、図２２に示したステップＳ４０５に戻る。一方、ステップＳ４２７で“ＹＥＳ”であれば、つまり、ビデオ通話の終了であれば、ステップＳ４２９で、ビデオ通話画面４００を閉じて、ステップＳ４３１で、ビデオ通話の終了をサーバ１２に通知して、制御処理を終了する。
【0252】
なお、図２２および図２３では、利用者側端末１６と操作者側端末１８の間で映像データが送受信されるようにしたが、これに限定される必要はない。ビデオ通話においては、カメラ（ビデオ）をオフすることもできる。利用者側端末１６のカメラがオフされている場合には、利用者の映像データが利用者側端末１６から操作者側端末１８に送信されない。この場合、ビデオ通話画面４００の表示枠４０４に利用者の映像データは出力されない。また、操作者側端末１８のカメラがオフされている場合には、操作者の映像データが、ビデオ通話画面４００の表示枠４０２に出力されず、操作者側端末１８から利用者側端末１６に送信されることもない。
【0253】
図２４に示すように、ＣＰＵ５０は、他の実施例の他のやり取りの出力処理を開始すると、ステップＳ４５１で、他の操作者についてのデータが有るかどうかを判断する。ここでは、ＣＰＵ５０は、他の操作者の映像データ、または、他の操作者の映像データおよび音声データが有るかどうかを判断する。
【0254】
ステップＳ４５１で“ＮＯ”であれば、つまり、他の操作者についてのデータが無ければ、ステップＳ４５５に進む。一方、ステップＳ４５１で“ＹＥＳ”であれば、つまり、他の操作者についてのデータが有れば、ステップＳ４５３で、他の操作者のデータを出力して、ステップＳ４５５に進む。ステップＳ４５３では、他の操作者の映像データを他の操作者のビデオ通話画面４００の表示枠４０２に出力し、他の操作者の応答内容の音声データも有る場合には、当該音声データをスピーカ６４から出力する。
【0255】
ステップＳ４５５で、他の利用者についてのデータが有るかどうかを判断する。ここでは、ＣＰＵ５０は、他の利用者の映像データ、または、他の利用者の映像データおよび音声データが有るかどうかを判断する。
【0256】
ステップＳ４５５で“ＮＯ”であれば、つまり、他の利用者についてのデータが無ければ、ステップＳ４５９に進む。一方、ステップＳ４５５で“ＹＥＳ”であれば、つまり、他の利用者についてのデータが有れば、ステップＳ４５７で、他の利用者のデータを出力して、ステップＳ４５９に進む。ステップＳ４５７では、他の利用者の映像データを他の利用者のビデオ通話画面４００の表示枠４０４に出力し、他の利用者の質問内容の音声データも有る場合には、当該音声データをスピーカ６４から出力する。
【0257】
ステップＳ４５９では、他の操作者のビデオ通話のやり取りの出力終了かどうかを判断する。ここでは、ＣＰＵ５０は、他の操作者のビデオ通話のやり取りの出力を終了することが指示されたかどうかを判断する。ステップＳ４５９で“ＮＯ”であれば、つまり、他の操作者のビデオ通話のやり取りの出力終了でなければ、ステップＳ４５１に戻る。
【0258】
一方、ステップＳ４５９で“ＹＥＳ”であれば、つまり、他の操作者のビデオ通話のやり取りの出力終了であれば、ステップＳ４６１で、他の操作者のビデオ通話画面４００を閉じて、他のやり取りの出力処理を終了する。
【0259】
【0260】
図２５に示すように、ステップＳ３１５ａでは、ビデオ通話の開始の通知が有るかどうかを判断する。ステップＳ３１５ａで“ＮＯ”であれば、つまり、ビデオ通話の開始の通知が無ければ、ステップＳ３１９ａに進む。一方、ステップＳ３１５ａで“ＹＥＳ”であれば、つまり、ビデオ通話の開始の通知が有れば、ステップＳ３１７ａで、操作者情報において、ビデオ通話の開始を通知した操作者側端末１８の操作者の応対状況をビデオ通話中に変更して、ステップＳ３１９ａに進む。
【0261】
ステップＳ３１９ａでは、ビデオ通話の終了の通知が有るかどうかを判断する。ステップＳ３１９ａで“ＮＯ”であれば、つまり、ビデオ通話の終了の通知が無ければ、図１９に示したステップＳ３０１に戻る。
【0262】
一方、ステップＳ３１９ａで“ＹＥＳ”であれば、つまり、ビデオ通話の終了の通知が有れば、ステップＳ３２１に進む。ステップＳ３２１以降の処理は、上述の実施例で説明したとおりであるため、重複した説明は省略する。
【0263】
他の実施例においても、操作者が利用者に応対しているときに、他の操作者と他の利用者のやり取りを出力するので、他の操作者と他の利用者のやり取りを見たり聞いたりすることができる。つまり、操作者が利用者に応対しているときに、他の操作者と他の利用者のやり取りを知ることができる。
【0264】
上述したように、他の実施例では、操作者と利用者のビデオ通話において、カメラ（ビデオ）がオフされる場合には、映像データを取得できないため、音声データのみが送受信される。
【0265】
したがって、操作者側端末１８は、操作者の映像データを取得できない場合には、操作者のアバターの画像を表示し、操作者の音声を出力するときに、出力する音声に合せてリップシンクして発話動作させるようにしてもよい。同様に、操作者側端末１８は、利用者の映像データを取得できない場合には、利用者のアバターの画像を表示し、利用者の音声を出力するときに、出力する音声に合せてリップシンクして発話動作させるようにしてもよい。
【0266】
この場合には、送信元の操作者側端末１８は、操作者（つまり、他の操作者）の音声に合せてリップシンクして発話動作させるアバターの画像の画像データおよび操作者（つまり、他の操作者）の音声データを送信先の操作者側端末１８に送信する。したがって、送信先の操作者側端末１８では、他の操作者のビデオ通話画面４００の表示枠４０２に他の操作者のアバターの画像が表示され、他の操作者の音声がスピーカ６４から出力される。
【0267】
同様に、送信元の操作者側端末１８は、利用者（つまり、他の利用者）の音声に合せてリップシンクして発話動作させるアバターの画像の画像データおよび利用者（つまり、他の利用者）の音声データを送信先の操作者側端末１８に送信する。したがって、送信先の操作者側端末１８では、他の利用者のビデオ通話画面４００の表示枠４０４に他の利用者のアバターの画像が表示され、他の利用者の音声がスピーカ６４から出力される。
【0268】
ただし、他の操作者のアバターの画像および他の利用者のアバターの画像は、送信先の操作者側端末１８で生成するようにしてもよい。
【0269】
つまり、他の操作者の映像が送信先の操作者側端末１８に送信されない場合に、送信先の操作者側端末１８の表示装置６０に、他の操作者のアバターの画像が表示され、他の利用者の映像が送信先の操作者側端末１８に送信されない場合に、送信先の操作者側端末１８の表示装置６０に、他の利用者のアバターの画像が表示される。
【0270】
なお、上述の各実施例では、アバターの身振り手振りで表現される発話動作のアニメーションを再生するようにしたが、アバターに対応する利用者または操作者の画像を撮影し、撮影した画像に基づいてアバターの身振り手振りを表現するようにしてもよい。
【0271】
また、上述の各実施例で示したフロー図の各ステップは同じ結果が得られる場合には、処理する順番を変更することが可能である。
【0272】
さらに、上述の各実施例で挙げた各種の画面、具体的数値はいずれも単なる例示であり、必要に応じて適宜変更可能である。たとえば、トークの場合には、利用者および操作者の２体のアバターを表示するようにしたが、利用者のアバターのみを表示するようにしてもよい。
【符号の説明】
【0273】
１０ …情報処理システム
１２ …サーバ
１４ …ネットワーク
１６ …利用者側端末
１８ …操作者側端末
２０、５０、１８０ …ＣＰＵ
２２、５２、１８２ …記憶部
２４、５４ …通信Ｉ／Ｆ
２６、５６ …入出力Ｉ／Ｆ
２８、５８ …入力装置
３０、６０ …表示装置
３２、６２ …マイク
３４、６４ …スピーカ
１２ …サーバ
１４ …ネットワーク
１６ …利用者側端末
１８ …操作者側端末
２０、５０、１８０ …ＣＰＵ
２２、５２、１８２ …記憶部
２４、５４ …通信Ｉ／Ｆ
２６、５６ …入出力Ｉ／Ｆ
２８、５８ …入力装置
３０、６０ …表示装置
３２、６２ …マイク
３４、６４ …スピーカ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】