特開 2022-122399 ネットワークシステム、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022122399

(43)【公開日】2022-08-23

(54)【発明の名称】ネットワークシステム、情報処理方法、およびプログラム

(51)【国際特許分類】

   H04M 3/523 20060101AFI20220816BHJP

   G06F 13/00 20060101ALI20220816BHJP

   G06Q 50/10 20120101ALI20220816BHJP

【ＦＩ】

H04M3/523

G06F13/00 500H

G06Q50/10

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021019596

(22)【出願日】2021-02-10

(71)【出願人】

【識別番号】519091502

【氏名又は名称】株式会社ＴＥＣＨ ＭＯＮＳＴＥＲ

(74)【代理人】

【識別番号】100148275

【弁理士】

【氏名又は名称】山内 聡

(74)【代理人】

【識別番号】100136319

【弁理士】

【氏名又は名称】北原 宏修

(74)【代理人】

【識別番号】100142745

【弁理士】

【氏名又は名称】伊藤 世子

(74)【代理人】

【識別番号】100143498

【弁理士】

【氏名又は名称】中西 健

(72)【発明者】

【氏名】京保 雄一

【テーマコード（参考）】

5B084

5K201

5L049

【Ｆターム（参考）】

5B084AA01

5B084AA02

5B084AB06

5B084AB07

5B084AB11

5B084AB30

5B084BA08

5B084BB04

5B084CA07

5B084CF12

5B084DB08

5B084DC02

5B084DC03

5B084DC13

5K201BA13

5K201CA04

5K201CA10

5K201DC06

5K201EC05

5K201ED05

5K201EF04

5K201EF10

5L049CC11

(57)【要約】

【課題】オペレータがユーザに必要な情報をより効率的に伝えることができる技術を提供する。
【解決手段】カメラ２９０を含むユーザ端末２００と、操作部３４０を含むオペレータ端末３００と、を備えるネットワークシステム１が提供される。ユーザ端末は、カメラで撮影中の画像をインターネットを介してオペレータ端末に送信するとともに、カメラで撮影中の画像とオペレータ端末からの動画像とを表示する。オペレータ端末は、操作部に入力される命令に基づいて、カメラで撮影された画像に対する編集中の画像を、インターネットを介して動画像としてユーザ端末に送信する。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラを含むユーザ端末と、
操作部を含むオペレータ端末と、を備え、
前記ユーザ端末は、前記カメラで撮影中の画像をインターネットを介して前記オペレータ端末に送信するとともに、前記カメラで撮影中の画像と前記オペレータ端末からの動画像とを表示し、
前記オペレータ端末は、前記操作部に入力される命令に基づいて、前記カメラで撮影された画像に対する編集中の画像を、インターネットを介して前記動画像として前記ユーザ端末に送信する、ネットワークシステム。

【請求項2】

前記オペレータ端末は、前記編集中の画像として、前記カメラで撮影中の画像を切り取った静止画像に対する編集中のストリーミング画像を、前記ユーザ端末に送信する、請求項１に記載のネットワークシステム。

【請求項3】

前記オペレータ端末は、前記編集中の画像として、前記カメラで撮影中の動画像に対する編集中のストリーミング画像を、前記ユーザ端末に送信する、請求項１に記載のネットワークシステム。

【請求項4】

前記ユーザ端末は、前記カメラで撮影中の画像と、前記オペレータ端末からの編集中の画像と、を同時に並べて表示する、請求項１から３のいずれか１項に記載のネットワークシステム。

【請求項5】

前記オペレータ端末は、前記カメラで撮影中の画像と、前記編集中の画像と、を同時に並べて表示する、請求項１から４のいずれか１項に記載のネットワークシステム。

【請求項6】

ユーザ端末が、カメラで撮影中の画像を表示しながら、前記カメラで撮影中の画像をインターネットを介してオペレータ端末に送信するステップと、
前記オペレータ端末が、操作部に入力される命令に基づいて、前記カメラで撮影された画像に対する編集中の動画像を、インターネットを介して前記ユーザ端末に送信するステップと、
前記ユーザ端末が、前記動画像を表示するステップと、を備える情報処理方法。

【請求項7】

オペレータ端末のためのプログラムであって、
ユーザ端末で撮影された動画像を、インターネットを介して受信して表示するステップと、
前記操作部に入力される命令に基づいて、前記ユーザ端末で撮影された画像に対する編集命令を受け付けるステップと、
編集中の動画像を、インターネットを介して前記ユーザ端末に送信するステップと、をプロセッサに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、インターネットなどのネットワークを利用したユーザとオペレータのコミュニケーションのためのネットワークシステムの技術に関する。

【背景技術】

【0002】

従前より、インターネットなどのネットワークを利用したユーザとオペレータとのコミュニケーションのための技術や、オペレータがユーザを支援するための技術などが知られている。たとえば、特開２０１６－１８３９６８号公報（特許文献１）には、音声ガイド支援システム及びそのプログラムが開示されている。特許文献１によると、ユーザのガイドを行う場合に、オペレータ端末に、ユーザ端末からのカメラ撮影画像データを表示して、ユーザ向けの音声入力がある場合には、ユーザ用音声データとしてユーザ端末宛にセンタサーバを介して送信すると共に、ユーザ周囲の人向けの音声入力がある場合には、外部用音声データとしてユーザ端末宛にセンタサーバを介して送信し、ユーザ端末が、受信したユーザ用音声データを音声入出力装置に音声出力し、受信した外部用音声データを音声外部出力部から外部へ音声出力する音声ガイド支援システムが提供される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１８３９６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、オペレータがユーザに必要な情報をより効率的に伝えることができる技術を提供することにある。

【課題を解決するための手段】

【0005】

本発明の一態様に従うと、カメラを含むユーザ端末と、操作部を含むオペレータ端末と、を備えるネットワークシステムが提供される。ユーザ端末は、カメラで撮影中の画像をインターネットを介してオペレータ端末に送信するとともに、カメラで撮影中の画像とオペレータ端末からの動画像とを表示する。オペレータ端末は、操作部に入力される命令に基づいて、カメラで撮影された画像に対する編集中の画像を、インターネットを介して動画像としてユーザ端末に送信する。

【発明の効果】

【0006】

以上のように、本発明によれば、オペレータがユーザに必要な情報をより効率的に伝えることができるようになる。

【図面の簡単な説明】

【0007】

【図1】第１の実施の形態にかかるネットワークシステム１の全体構成と動作概要を示すイメージ図である。

【図2】第１の実施の形態にかかるオペレータ端末３００とユーザ端末２００の画面例を示すイメージ図である。

【図3】第１の実施の形態にかかるサーバ１００の構成を示すブロック図である。

【図4】第１の実施の形態にかかるユーザ端末２００の構成を示すブロック図である。

【図5】第１の実施の形態にかかるオペレータ端末３００の構成を示すブロック図である。

【図6】第１の実施の形態にかかるネットワークシステムの情報処理を示す第１のフローチャートである。

【図7】第３の実施の形態にかかるネットワークシステム１を示すイメージ図である。

【図8】第４の実施の形態にかかるオペレータ端末３００とユーザ端末２００の画面例を示すイメージ図である。

【図9】第４の実施の形態にかかるオペレータ端末３００とユーザ端末２００の画面例を示すイメージ図である。

【図10】第５の実施の形態にかかるオペレータ端末３００とユーザ端末２００の画面例を示すイメージ図である。

【図11】第６の実施の形態にかかるオペレータ端末３００とユーザ端末２００の画面例を示すイメージ図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
＜第１の実施の形態＞
＜ネットワークシステム１の全体構成＞

【0009】

まず、図１を参照して本実施の形態にかかるネットワークシステム１の全体構成について説明する。本実施の形態にかかるネットワークシステム１は、主に、ユーザサポートサービスを提供するためのサーバ１００と、当該サービスを利用する質問者としてのユーザが利用するユーザ端末２００と、回答者としてのオペレータが利用するオペレータ端末３００とを含む。

【0010】

なお、サーバ１００は、クラウド上の単一または複数の装置によって実現されるものである。たとえば、サーバ１００は、最初にＱ＆Ａの問い合わせを受け付けてチャットボットなどによって対応するＷｅｂサイトを運営するサーバや、オペレータの稼働状態やオペレータ端末３００の利用状態などを管理するサーバや、ユーザ端末２００とオペレータ端末３００とを常時接続させるためのサーバなどを含む概念である。

【0011】

ユーザ端末２００は、スマートフォンやタブレットやパーソナルコンピュータなどによって実現され、インターネットやキャリア網を介してサーバ１００やオペレータ端末３００と通信可能である。

【0012】

オペレータ端末３００は、パーソナルコンピュータやタブレットやスマートフォンなどによって実現され、インターネットやキャリア網を介してサーバ１００やユーザ端末２００と通信可能である。
＜ネットワークシステム１の動作概要＞

【0013】

次に、図１および図２を参照して、本実施の形態にかかるネットワークシステム１の動作概要について説明する。以下では、一例として、ユーザが、電気機器の使用方法をオペレータに教えてもらう場合について説明するが、本実施の形態にかかるネットワークシステム１は、他にも、料理の方法を伝える場合や、診察や、スポーツや、観光ガイドなどにも利用することができる。

【0014】

本実施の形態においては、まず、質問者が、ユーザ端末２００を利用して、電気機器のホームページなどに貼られている質問のためのバナーやショートメールのＵＲＬなどをクリックする。サーバ１００は、オペレータとやり取りするためのユーザ側ＷＥＢページをユーザ端末２００にダウンロードして、登録されているオペレータの中から、現在顧客対応中でないオペレータを探す。サーバ１００は、空いているオペレータを見つけると、当該オペレータのオペレータ端末３００に、ユーザとやり取りするためのオペレータ側ＷＥＢページをダウンロードする。本実施の形態においては、ＷｅｂＲＴＣ（Web Real-Time Communications）の技術を利用して、ユーザ端末２００とオペレータ端末３００とが、音声や画像をやり取りするものである。

【0015】

図２（Ａ）に示すように、ユーザ端末２００は、ダウンロードしたＷＥＢページの指示に従って、カメラを起動して、撮影中の画像をディスプレイの左側の画面２３１に表示するとともに、撮影している動画像やマイクで取得した音声を常時接続サーバを介してオペレータ端末３００に送信する。オペレータ端末３００は、ダウンロードしたＷＥＢページの指示に従って、ユーザ端末２００で撮影されている画像のストリーミング映像をディスプレイの左側の画面３３１に表示するとともに、ユーザ端末２００に入力された音声をスピーカから出力する。なお、オペレータ端末３００のマイクで取得された音声は、ユーザ端末２００のスピーカから出力される。

【0016】

この状態において、オペレータが所望のタイミングで所定のボタン３３３を押すと、オペレータ端末３００は、ダウンロードしたＷＥＢページの指示に従って、図２（Ｂ）に示すように、押されたタイミングの画像の静止画像を、ディスプレイの右側の編集用画面３３２に表示する。オペレータは、当該静止画像に対して編集を加えることができる。たとえば、説明の対象となっているボタンや操作部やその他の部位に印をつけたり、説明のためのイラストやテキストなどを描いたりすることができる。オペレータ端末３００は、編集されている右側の画面３３２の動画像やマイクで取得した音声を常時接続サーバを介してユーザ端末２００に送信する。ユーザ端末２００は、ＷＥＢページの指示に従って、ユーザ端末２００で撮影されている動画像をディスプレイの左側の画面２３１に表示するとともに、オペレータ端末３００からの編集中の動画像のストリーミング映像をディスプレイの右側の画面２３２に表示する。なお、この状態において、ユーザ端末２００に入力された音声はオペレータ端末３００で出力され、オペレータ端末３００に入力された音声はユーザ端末２００で出力される。

【0017】

このように、本実施の形態においては、ユーザ端末２００のカメラで撮影されている画像をオペレータが確認できるだけでなく、オペレータはユーザやユーザ端末２００から見えている景色に対して画像や文字やイラストなどを描くことができる。つまり、オペレータは、ユーザの周囲の状況を的確に認識しやすくなり、ユーザに対する説明も容易になる。また、ユーザは、自分が見ている景色に対して説明が付されたストリーミング画像を確認しながら、オペレータの説明を聞くことができる。その結果、ユーザがオペレータの意図を認識しやすく、オペレータとユーザとの間での話の齟齬を低減することができる。

【0018】

以下、このような機能を実現するためのネットワークシステム１の具体的な構成について詳述する。
＜サーバの構成＞

【0019】

まず、本実施の形態にかかるネットワークシステム１を構成するサーバ１００の構成の一態様について説明する。図３を参照して、サーバ１００は、主たる構成要素として、ＣＰＵ（Central Processing Unit）１１０と、メモリ１２０と、操作部１４０と、通信インターフェイス１６０とを含む。

【0020】

ＣＰＵ１１０は、メモリ１２０に記憶されているプログラムを実行することによって、サーバ１００の各部を制御する。たとえば、ＣＰＵ１１０は、メモリ１２０に格納されているプログラムを実行し、各種のデータを参照することによって、後述する各種の処理を実行する。

【0021】

メモリ１２０は、各種のＲＡＭ、各種のＲＯＭなどによって実現され、サーバ１００に内包されているものであってもよいし、サーバ１００の各種インターフェイスに着脱可能なものであってもよいし、サーバ１００からアクセス可能な他の装置の記録媒体であってもよい。メモリ１２０は、ＣＰＵ１１０によって実行されるプログラムや、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、入力されたデータ、その他の本実施の形態にかかるサービスに利用されるデータベースなどを記憶する。

【0022】

たとえば、メモリ１２０は、オペレータのＩＤと、オペレータの名前と、オペレータ端末３００のＩＤと、現在の稼働状態などの対応関係を記憶する。

【0023】

操作部１４０は、サービスの管理者などの命令を受け付けて、当該命令をＣＰＵ１１０に入力する。

【0024】

通信インターフェイス１６０は、ＣＰＵ１１０からのデータを、インターネット、キャリア網、ルータなどを介して、ユーザ端末２００や、オペレータ端末３００や、その他の機器などに送信する。逆に、通信インターフェイス１６０は、インターネット、キャリア網、ルータなどを介してそれらの機器からのデータを受信して、ＣＰＵ１１０に受け渡したり、メモリ１２０に格納したりする。
＜ユーザ端末２００の構成＞

【0025】

次に、図４を参照して、質問者などのユーザが利用するユーザ端末２００の構成の一態様について説明する。たとえば本実施の形態にかかるユーザ端末２００は、主たる構成要素として、ＣＰＵ２１０と、メモリ２２０と、ディスプレイ２３０と、操作部２４０と、通信インターフェイス２６０と、スピーカ２７０と、マイク２８０と、カメラ２９０とを含む。

【0026】

ＣＰＵ２１０は、メモリ２２０に記憶されているプログラムを実行することによって、ユーザ端末２００の各部を制御する。

【0027】

メモリ２２０は、各種のＲＡＭや、各種のＲＯＭなどによって実現される。メモリ２２０は、各種サービスのためのアプリケーションプログラム、インターネットからダウンロードしたＷＥＢページ、カメラ２９０で撮影した動画像データや静止画像データ、マイク２８０で取得した音声データ、各種のサービス専用のアプリケーションプログラム、ＣＰＵ３１０によるプログラムの実行により生成されたデータ、サーバ１００から受信したデータ、操作部２４０を介して入力されたデータ、ユーザ端末２００自身の情報やユーザを特定するための情報などを記憶する。

【0028】

ディスプレイ２３０は、ＣＰＵ２１０からのデータに基づいて、画像やテキストを表示する。操作部２４０は、ポインティングデバイスやスイッチなどから構成され、ユーザからの各種の命令をＣＰＵ２１０に入力する。なお、ユーザ端末２００は、ディスプレイ２３０と操作部２４０とを含むタッチパネル２５０を有してもよい。

【0029】

通信インターフェイス２６０は、インターネットやキャリア網やルータなどを介して、サーバ１００やオペレータ端末３００などの他の装置との間でデータを送受信する。たとえば、ＣＰＵ２１０は、ＷＥＢブラウザのプログラムやその他のアプリケーションプログラムに従って、通信インターフェイス２６０を介してサーバ１００と、画像データや、音声データや、チャットのためのテキストデータなど、各種の情報をやりとりする。

【0030】

スピーカ２７０は、ＣＰＵ２１０からの信号に基づいて、各種の音声を出力する。ＣＰＵ２１０は、オペレータ端末３００が取得したオペレータの音声やチャットのテキストを音声出力してもよい。

【0031】

マイク２８０は、音声を受け付けて、音声データをＣＰＵ２１０に入力する。ＣＰＵ２１０は、操作部２４０に限らず、ユーザからの音声メッセージを受け付けて、当該音声メッセージをサーバ１００に送信する。

【0032】

カメラ２９０は、ＣＰＵ２１０からの指示に従って、動画像や静止画像を撮影して、当該画像データをＣＰＵ２１０に入力したり、メモリ２２０に格納したりする。
＜オペレータ端末３００の構成＞

【0033】

図５を参照して、ネットワークシステム１を構成するオペレータやサービスマンなどが利用するオペレータ端末３００の構成の一態様について説明する。たとえばオペレータ端末３００は、主たる構成要素として、ＣＰＵ３１０と、メモリ３２０と、ディスプレイ３３０と、操作部３４０と、通信インターフェイス３６０と、スピーカ３７０と、マイク３８０とを含む。

【0034】

ＣＰＵ３１０は、メモリ３２０に記憶されているプログラムを実行することによって、オペレータ端末３００の各部を制御する。

【0035】

メモリ３２０は、各種のＲＡＭや、各種のＲＯＭなどによって実現される。メモリ３２０は、各種サービスのためのアプリケーションプログラム、インターネットからダウンロードしたＷＥＢページ、ユーザ端末２００からの動画像データ、切り取った静止画像データ、オペレータ端末３００での編集内容を示すデータや編集画面自体の変化を示す動画像データ、各種のサービス専用のアプリケーションプログラムや、ＣＰＵ３１０によるプログラムの実行により生成されたデータ、サーバ１００から受信したデータ、操作部３４０を介して入力されたデータ、オペレータ端末３００自身の情報やオペレータを特定するための情報などを記憶する。

【0036】

ディスプレイ３３０は、ＣＰＵ３１０からのデータに基づいて、画像やテキストを表示する。操作部３４０は、ポインティングデバイスやスイッチなどから構成され、ユーザからの、画像にイラストやテキストなどを追加する命令や編集を施すための命令などの各種の命令をＣＰＵ３１０に入力する。本実施の形態においては、オペレータ端末３００は、ディスプレイ３３０と操作部３４０とを含むタッチパネル３５０を有していることが好ましい。

【0037】

通信インターフェイス３６０は、インターネットやキャリア網やルータなどを介して、サーバ１００やユーザ端末２００などの他の装置との間でデータを送受信する。たとえば、ＣＰＵ３１０は、ＷＥＢブラウザのアプリケーションプログラムや各種サービスのアプリケーションプログラムに従って、通信インターフェイス３６０を介してサーバ１００と、画像データや、音声データや、チャットのためのテキストデータなど、各種の情報をやりとりする。

【0038】

スピーカ３７０は、ＣＰＵ３１０からの信号に基づいて、各種の音声を出力する。ＣＰＵ２１０は、ユーザ端末２００が取得したユーザの音声やチャットのテキストを音声出力してもよい。

【0039】

マイク３８０は、音声を受け付けて、音声データをＣＰＵ３１０に入力する。ＣＰＵ３１０は、操作部３４０に限らず、オペレータからの音声メッセージを受け付けて、当該音声メッセージをサーバ１００に送信してもよい。

【0040】

カメラ３９０は、ＣＰＵ３１０からの指示に従って、動画像や静止画像を撮影して、当該画像データをＣＰＵ３１０に入力したり、メモリ３２０に格納したりする。
＜ネットワークシステム１の情報処理＞

【0041】

次に、図６を参照して、本実施の形態にかかるネットワークシステム１のサーバ１００やユーザ端末２００やオペレータ端末３００における情報処理について説明する。なお、サーバ１００のＣＰＵ１１０は、メモリ１２０のプログラムに従って、以下の処理を実行する。ユーザ端末２００のＣＰＵ２１０は、メモリ２２０のプログラムに従って、以下の処理を実行する。オペレータ端末３００のＣＰＵ３１０は、メモリ３２０のプログラムに従って、以下の処理を実行する。

【0042】

まず、オペレータ端末３００のＣＰＵ３１０は、操作部３４０を介して、オペレータからの指示に従って、通信インターフェイス３６０を介してサーバ１００に接続する（ステップＳ１０２）。

【0043】

サーバ１００のＣＰＵ１１０は、オペレータ端末３００からの要求に応じて、通信インターフェイス１６０を介して、ログイン用のＷＥＢページをオペレータ端末３００にダウンロードする（ステップＳ１０４）。

【0044】

オペレータ端末３００のＣＰＵ３１０は、ＷＥＢページをディスプレイ３３０に表示する。ＣＰＵ３１０は、操作部３４０を介して、オペレータのＩＤやパスワードの入力を受け付けて、通信インターフェイス３６０を介してサーバ１００に認証を要求する（ステップＳ１０６）。

【0045】

サーバ１００のＣＰＵ１１０は、認証に成功すると、通信インターフェイス１６０を介して、オペレータ用のピアツーピア通信のためのＷＥＢページをオペレータ端末３００にダウンロードする（ステップＳ１０８）。

【0046】

オペレータ端末３００のＣＰＵ３１０は、サーバ１００からのＷＥＢページをディスプレイ３３０に表示して、ユーザからの質問を待ち受ける（ステップＳ１１０）。

【0047】

ユーザ端末２００のＣＰＵ２１０は、操作部２４０を介して、ユーザからの指示に従って、通信インターフェイス２６０を介してサーバ１００に接続する（ステップＳ１１２）。たとえば、各種のホームページなどに貼られている質問のためのバナーやショートメールのＵＲＬなどをクリックすることによって、サーバ１００への接続処理を開始することができる。

【0048】

サーバ１００のＣＰＵ１１０は、ユーザ端末２００からの要求に応じて、通信インターフェイス１６０を介して、ユーザサポート用のピアツーピア通信のためのＷＥＢページをユーザ端末２００にダウンロードする（ステップＳ１１４）。

【0049】

ユーザ端末２００のＣＰＵ２１０は、サーバ１００からのＷＥＢページをディスプレイ２３０に表示する。ＣＰＵ２１０は、操作部２４０を介してオペレータとのリアルタイムビデオ通信を開始するための命令を受け付けると、ＷＥＢページやリモートＷｅｂＲＴＣの指示に従って、カメラ２９０を起動して、オペレータからの応答を待ち受ける（ステップＳ１１６）。

【0050】

サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、オペレータ端末３００にユーザが待機していることを表示させる（ステップＳ１１８）。

【0051】

オペレータ端末３００のＣＰＵ３１０は、操作部３４０を介して、オペレータからの開始命令を受け付けて（ステップＳ１２０）、通信インターフェイス３６０を介して、その旨をサーバ１００に応答する（ステップＳ１２２）。

【0052】

サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、ユーザ端末２００とオペレータ端末３００とに、ピアツーピア通信の接続に必要な情報を提供する（ステップＳ１２４）。

【0053】

ユーザ端末２００とオペレータ端末３００とは、上述のサーバ１００を介さないピアツーピア通信の接続に必要な情報を交換し合うことによって、ピアツーピア通信を開始して（ステップＳ１２６）、以下の状態に移行する。

【0054】

ユーザ端末２００のＣＰＵ２１０は、カメラ２９０による撮影を行いながら、図２に示すように、撮影中の動画像をディスプレイ２３０の左側に表示したり、当該動画像やマイク２８０からの音声を通信インターフェイス３６０を介してオペレータ端末３００に送信したりする（ステップＳ１３０）。また、ＣＰＵ２１０は、通信インターフェイス２６０を介して、オペレータ端末３００からの編集中の動画像ストリーミングデータや音声データを受信して、編集中の動画像をディスプレイ２３０の右側に表示したり、スピーカ２７０からオペレータの音声を出力したりする（ステップＳ１３０）。また、ＣＰＵ２１０は、オペレータとの通信を終了するためのボタンをディスプレイ２３０に表示したり、チャット画面２３５を表示したりする。

【0055】

オペレータ端末３００のＣＰＵ３１０は、図２に示すように、ユーザ端末２００で撮影中の動画像をディスプレイ３３０の左側に表示したり、ユーザ端末２００からの音声をスピーカ３７０から出力したりする（ステップＳ１４０）。ＣＰＵ３１０は、操作部３４０からのオペレータによる切り取り命令を受け付けて、動画像から静止画像を取得して、ディスプレイ３３０の右側の編集用画面３３２に表示させる。ＣＰＵ３１０は、タッチパネル３５０を介して静止画像に対して画像やテキストなどを上書きしたり編集したりしながら、当該編集されている画面自体の動画像やマイク３８０で拾った音声を通信インターフェイス３６０を介してユーザ端末２００に送信する。

【0056】

なお、編集中においても、ＣＰＵ３１０は、ディスプレイ３３０の左側に、ユーザ端末２００から受信したカメラの撮影画像のストリーミング映像を表示しており、操作部３４０からのオペレータによる切り取り命令を受け付けて、動画像から静止画像を取得してもよい。すなわち、オペレータは、ディスプレイ３３０の右側の編集画面の静止画像を自由に更新して、編集作業を仕切り直すことができる。

【0057】

ユーザ端末２００とオペレータ端末３００とは、画面２３５，３３５を利用して、テキストやスタンプなどによるチャットを実行できる（ステップＳ１５０）

【0058】

本実施の形態においては、ＣＰＵ３１０は、通信インターフェイス３６０を介して、ユーザ端末２００からのカメラ動画像や音声や、オペレータ端末３００での編集中の動画像や音声などをサーバ１００にアップロードする（ステップＳ１５２）。

【0059】

サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、オペレータ端末３００から受信した、ユーザ端末２００からのカメラ動画像や音声や、オペレータ端末３００での編集中の動画像や音声などをデータベースに蓄積していく（ステップＳ１５４）。

【0060】

本実施の形態においては、ユーザ端末２００に対するユーザの命令や、オペレータ端末３００に対するオペレータの命令や、通信切断などによって（ステップＳ１６０）、ユーザ端末２００のＣＰＵ２１０は、ピアツーピアによるオペレータ端末３００との通信を終了し（ステップＳ１６２）、オペレータ端末３００のＣＰＵ３１０は、ピアツーピアによるユーザ端末２００との通信を終了する（ステップＳ１６４）。
＜第２の実施の形態＞

【0061】

上記の実施の形態においては、サポートセンターとのコールセッション中に、ユーザ端末２００において２つのビデオストリームが表示される。たとえば、１つ目のビデオストリームはオーディオがミュートされたユーザ端末２００のカメラ２９０からの撮影画像であり、２つ目はオペレータ端末３００からの編集に関するビデオ/オーディオストリームである。なお、オペレータ端末３００から登録済みの製品のサポートファイルなどからビデオファイルのＵＲＬを送信すると、ユーザ端末２００において３つ目のビデオが表示される場合もある。

【0062】

スマートフォンなどのＯＳ（Operating System）の中には、ユーザ端末２００が、オペレータ端末３００からのビデオファイルを再生しようとすると、リモートＷｅｂＲＴＣによるビデオ/オーディオストリームを停止してしまうものもある。つまり、ユーザは、いずれかの音声やビデオしか視聴することができない場合がある。オペレータ端末３００からのビデオファイルを再生しつつ、リモートＷｅｂＲＴＣのビデオ/オーディオストリームを中断しないようにするためには、新しいビデオファイルの音声をミュートする必要があるが、この場合は、ユーザ端末２００では、オペレータ端末３００からのビデオの音声を聞くことができないという問題が生じる。

【0063】

そこで、本実施の形態においては、以下のように構成されている。ユーザ端末２００のＣＰＵ２１０は、オペレータ端末３００からのビデオファイルのＵＲＬを受け取ると、ＷＥＢページの指示に従って、属性「ミュート」がオンになっている新しいビデオ要素を作成する。そして、ユーザ端末２００のＣＰＵ２１０は、操作部２４０を介してユーザから、オペレータ端末３００からのビデオの再生命令を受け付けると、ＷＥＢブラウザがリモートによるＷｅｂＲＴＣビデオストリームを停止してしまわないように、ミュートされたビデオを再生し始める。そして、すぐに、ＣＰＵ２１０は、ＷＥＢページの指示に従って、オペレータ端末３００からのビデオのミュートを解除して、当該ビデオの音声をスピーカ２７０から出力し始める。

【0064】

なお、オペレータ端末３００からのビデオを一時停止した場合には、ＣＰＵ２１０は、ＷＥＢページの指示に従って、オペレータ端末３００からのビデオのサウンドを再度ミュートにする。ユーザ端末２００のＣＰＵ２１０は、オペレータ端末３００からのビデオを再度再生する場合には、一旦ミュートされた状態で動画を再生し始めてから、すぐにＷＥＢページの指示に従って、ミュートを解除する。

【0065】

本実施の形態においては、ユーザ端末２００では、このような処理を実行することによって、リモートからのＷｅｂＲＴＣビデオ/オーディオストリームを継続的に再生し続けながら、並行して、オペレータ端末３００からのサポートビデオファイルも再生することができるものである。
＜第３の実施の形態＞

【0066】

また、ユーザ端末２００やオペレータ端末３００などのピア間で接続を確立しようとすると、ＷＥＢブラウザ間の直接接続が確立できない可能性ある。

【0067】

より詳細には、図７に示すように、ピアが同じローカルネットワークにない場合、各ピアのパブリックアドレスを検出するために、パブリックにアクセス可能なＳＴＵＮ（Session Traversal Utilities for NATs）サーバが使用される。ＳＴＵＮサーバを使用すると、クライアントは、ＮＡＴ（Network Address Translation）によって割り当てられたパブリックＩＰアドレスとポートに関する情報を取得できる。これによって、相手端末からのデータパケットを受信することができる。

【0068】

しかしながら、パブリックＩＰアドレスとポートに関する既知の情報があっても、ピア間の直接接続が不可能になる場合がある。たとえば、ＮＡＴまたはファイアウォールがそのような直接的なトラフィックを許可しないことがある。このような場合、ピア間の接続を確立する方法としては、ＴＵＲＮ（Traversal Using Relay around NAT）と呼ばれる公的にアクセス可能な中間サーバを介してデータストリームをルーティングすることが有効である。ＴＵＲＮサーバは、ピア間のデータのリレーポイントとして動作し、あるピアから別のピアにデータストリームを転送する。

【0069】

ＴＵＲＮサーバは、ほとんどの場合ピア間の接続を提供するが、データストリームのリレーに使用するにはリソースを大量に消費する可能性があるため、最初に他のメカニズム（直接接続やＳＴＵＮサーバなど）を使用し、それらが失敗した場合に、フォールバックして、ＴＵＲＮサーバを使用することが好ましい。

【0070】

たとえば、ＩＣＥ（Interactive Connectivity Establishment）方法論を採用するなどして、接続を確立するための最適な方法を見つけることができる。

【0071】

本実施の形態においては、ユーザ端末２００からの呼びかけと、オペレータ端末３００の応答とに基づいて、まず、サーバ１００との間のＷｅｂＲＴＣ接続の確立を試みる。ユーザ端末２００のＷＥＢブラウザはＳＤＰオファーを生成し、それをシグナリング（Ｗｅｂｓｏｃｋｅｔ）サーバに送信する。シグナリングサーバが、ＳＤＰオファーをオペレータ端末３００に転送する。オペレータ端末３００のＷＥＢブラウザは、ユーザ端末２００からのＳＤＰオファーを使用してＳＤＰ応答を生成し、それをシグナリングサーバに送信する。シグナリングサーバはそれをユーザ端末２００に配信する。その間、接続用のＩＣＥ候補が収集され、シグナリングサーバを介してユーザ端末２００とオペレータ端末３００との間で交換される。ユーザ端末２００やオペレータ端末３００は、直接接続するための最適な候補を見つけて使用する。このようにして、ユーザ端末２００とオペレータ端末３００とが相互に直接的に常時接続ができると、両者のＷＥＢブラウザの間でデータパケットを直接的に送受信することができる。

【0072】

なお、ＮＡＴやファイアウォールなどが原因で、直接ピアツーピア接続を確立するために使用できるＩＣＥ候補がない場合は、ユーザ端末２００やオペレータ端末３００はＴＵＲＮサーバから取得したＩＣＥ候補を介して接続を試みる。ＴＵＲＮサーバを介した接続が確立されると、ＴＵＲＮサーバは、ピア間でデータパケットを中継する仲介サーバとして機能し始める。ＴＵＲＮサーバを介してデータを中継する場合、ユーザ端末２００やオペレータ端末３００はデータパケットをＴＵＲＮサーバに送信し、ＴＵＲＮサーバはそれらを別のピアに転送する。データパケットの中継にＴＵＲＮサーバを使用することで、ピア同士の直接接続が不可能な場合でも、ＴＵＲＮサーバを介してピアを接続することが可能になる。

【0073】

また、ＴＵＲＮサーバによるリレーを必要とする多数の接続を処理するために、ＳＴＵＮ／ＴＵＲＮサーバクラスターの前に負荷分散を実装して、クラスター内の複数のサーバに負荷を分散させることができる。負荷分散を実装することにより、システムはスケーラブルになり、接続負荷を複数のＴＵＲＮサーバのノードに分散することで、必要に応じて接続の増加に対応することができるようになる。
＜第４の実施の形態＞

【0074】

上記の実施の形態においては、図２（Ｂ）に示すように、オペレータ端末３００においては、ディスプレイ３３０の左側にユーザ端末２００のカメラ２９０の撮影画像のストリーミングが表示され、ディスプレイ３３０の右側に編集画面が表示されるものであった。しかしながら、表示される位置は特に限定されない。たとえば、図８に示すように、オペレータ端末３００において、ディスプレイ３３０の右側にユーザ端末２００のカメラ２９０の撮影画像のストリーミングが表示され、ディスプレイ３３０の左側に編集画面が表示されてもよい。

【0075】

同様に、図８に示すように、ユーザ端末２００において、ディスプレイ２３０の右側にユーザ端末２００のカメラ２９０の撮影画像が表示され、ディスプレイ２３０の左側にオペレータ端末３００からの編集画面のストリーミングが表示されてもよい。

【0076】

あるいは、図９に示すように、オペレータ端末３００において、ディスプレイ３３０の上側または下側にユーザ端末２００のカメラ２９０の撮影画像のストリーミングが表示され、ディスプレイ３３０の下側または上側に編集画面が表示されてもよい。

【0077】

同様に、図９に示すように、ユーザ端末２００において、ディスプレイ２３０の上側または下側にユーザ端末２００のカメラ２９０の撮影画像が表示され、ディスプレイ２３０の下側または上側にオペレータ端末３００からの編集画面のストリーミングが表示されてもよい。
＜第５の実施の形態＞

【0078】

あるいは、常時２つの画面が表示されなくてもよい。たとえば、図１０（Ａ）に示すように、ユーザ端末２００は、ダウンロードしたＷＥＢページの指示に従って、カメラを起動して、撮影している最中の動画像をディスプレイ２３０に表示するとともに、撮影している動画像やマイクで取得した音声を常時接続サーバを介してオペレータ端末３００に送信する。オペレータ端末３００は、ダウンロードしたＷＥＢページの指示に従って、ユーザ端末２００で撮影されている最中の動画像をディスプレイ３３０に表示するとともに、ユーザ端末２００に入力された音声をスピーカから出力する。なお、オペレータ端末３００のマイクで取得された音声は、ユーザ端末２００のスピーカから出力される。

【0079】

この状態において、オペレータが所望のタイミングで所定のボタンを押すと、オペレータ端末３００は、ダウンロードしたＷＥＢページの指示に従って、図１０（Ｂ）に示すように、押されたタイミングの画像が静止画像として、ディスプレイ３３０の編集画面に表示する。オペレータは、当該静止画像に対して編集を加えることができる。たとえば、説明の対象となっているボタンや操作部やその他の部位に印をつけたり、説明のためのイラストを描いたりすることができる。オペレータ端末３００は、ダウンロードしたＷＥＢページの指示に従って、編集されている最中の右側の画面の動画像やマイクで取得した音声を常時接続サーバを介してユーザ端末２００に送信する。ユーザ端末２００は、ダウンロードしたＷＥＢページの指示に従って、オペレータ端末３００からの編集中の動画像をディスプレイ２３０に表示する。なお、この状態において、ユーザ端末２００に入力された音声はオペレータ端末３００で出力され、オペレータ端末３００に入力された音声はユーザ端末２００で出力される。

【0080】

なお、オペレータの説明がユーザに上手く伝わらない場合は、オペレータ端末３００でも、ユーザ端末２００でも、カメラに戻るためのボタン３３４、２３４を押すことによって、ＣＰＵ３１０，２１０が、ＷＥＢページやリモートＷｅｂＲＴＣの指示に従って、図１０（Ａ）に示す状態からの処理を実行し直すことが好ましい。

【0081】

このように、本実施の形態においても、オペレータはユーザに見えている景色に対して画像や文字やイラストなどを描くことができる。つまり、オペレータは、ユーザの周囲の状況を的確に認識しやすくなり、ユーザに対する説明も容易になる。また、ユーザは、自分が見ている景色に対して説明が付された画像を確認することができる。その結果、ユーザがオペレータの意図を認識しやすくなり、オペレータとユーザとの間での話の齟齬を低減することができる。
＜第６の実施の形態＞

【0082】

上記の実施の形態においては、オペレータ端末３００において、ユーザ端末２００で撮影された動画像を切り取った静止画像に対する編集を行い、当該編集中のストリーミング画像をユーザ端末２００で表示するものであった。しかしながら、図１１に示すように、オペレータ端末３００において、ユーザ端末２００で撮影された動画像に編集を行い、当該編集中のストリーミング画像をユーザ端末２００で表示してもよい。

【0083】

より詳細には、本実施の形態においては、図６のピアツーピア通信の開始（ステップＳ１２６）の後、以下のような処理が行われる。

【0084】

ユーザ端末２００のＣＰＵ２１０は、カメラ２９０による撮影を行いながら、図１１に示すように、撮影中の動画像をディスプレイ２３０の左側に表示したり、当該動画像やマイク２８０からの音声を通信インターフェイス３６０を介してオペレータ端末３００に送信したりする（ステップＳ１３０）。また、ＣＰＵ２１０は、通信インターフェイス２６０を介して、オペレータ端末３００からの編集中の動画像ストリーミングデータや音声データを受信して、編集中の動画像をディスプレイ２３０の右側に表示したり、スピーカ２７０からオペレータの音声を出力したりする（ステップＳ１３０）。また、ＣＰＵ２１０は、オペレータとの通信を終了するためのボタンをディスプレイ２３０に表示したり、チャット画面２３５を表示したりする。

【0085】

オペレータ端末３００のＣＰＵ３１０は、図１１に示すように、ユーザ端末２００で撮影中の動画像をディスプレイ３３０の左側に表示したり、ユーザ端末２００からの音声をスピーカ３７０から出力したりする（ステップＳ１４０）。ＣＰＵ３１０は、操作部３４０からのオペレータによる編集開始を受け付けて、ユーザ端末２００からの動画像自体を、ディスプレイ３３０の右側の編集用画面３３２に表示させる。ＣＰＵ３１０は、タッチパネル３５０を介して静止画像に対して画像やテキストなどを上書きしたり編集したりしながら、当該編集されている画面自体の動画像やマイク３８０で拾った音声を通信インターフェイス３６０を介してユーザ端末２００に送信する。

【0086】

なお、撮影動画に対する編集としては、キーボードやペンや筆などによる編集に限らず、オペレータ端末３００のＣＰＵ３１０は、オペレータ端末３００のカメラ３９０や外付けのカメラ３９０によって撮影された静止画像や動画像などを、ＭＲ（Mixed Reality）技術を利用することによって、ユーザ端末２００の撮影動画に合成させることも可能である。この場合は、ユーザ端末２００やオペレータ端末３００では、ユーザ端末２００で撮影中の動画と、ユーザ端末２００で撮影中の動画に編集が加わった動画と、が並べて、または切り替わりながら表示される。

【0087】

なお、上記の実施の形態や本実施の形態の処理の方法を、ユーザ端末２００やオペレータ端末３００において、切り替えられることが好ましい。たとえば、ユーザ端末２００のＣＰＵ２１０が、操作部２４０を介してユーザからの指示を受け付けることによって、第１の実施の形態の表示態様から、第４の実施の形態の表示態様に切り替えてもよい。あるいは、オペレータ端末３００のＣＰＵ３１０が、操作部３４０を介してオペレータからの指示を受け付けることによって、第１の実施の形態の処理方法から、本実施の形態の処理方法に切り替えてもよい
＜第７の実施の形態＞

【0088】

上記の実施の形態のネットワークシステム１の各装置の役割の一部または全部を他の装置が実行してもよい。たとえば、サーバ１００やユーザ端末２００やオペレータ端末３００の各々の役割の一部または全部を別の装置が担ったり、それらの装置の１つ１つの役割の一部または全部を、複数の装置で分担したりしてもよい。たとえば、サーバ１００の役割が、クラウド上の複数の装置で実現されてもよいし、ＷＥＢページやＷＥＢブラウザの役割が、ユーザ端末２００やオペレータ端末３００の別のアプリケーションプログラムで実現されたり、サーバ１００によって実現されたりしてもよい。逆に、サーバ１００の役割の一部または全部がユーザ端末２００やオペレータ端末３００によって実現されてもよい。
＜まとめ＞

【0089】

上記の実施の形態においては、カメラを含むユーザ端末と、操作部を含むオペレータ端末と、を備えるネットワークシステムが提供される。ユーザ端末は、カメラで撮影中の画像をインターネットを介してオペレータ端末に送信するとともに、カメラで撮影中の画像とオペレータ端末からの動画像とを表示する。オペレータ端末は、操作部に入力される命令に基づいて、カメラで撮影された画像に対する編集中の画像を、インターネットを介して動画像としてユーザ端末に送信する。

【0090】

好ましくは、オペレータ端末は、編集中の画像として、カメラで撮影中の画像を切り取った静止画像に対する編集中のストリーミング画像を、ユーザ端末に送信する。

【0091】

好ましくは、オペレータ端末は、編集中の画像として、カメラで撮影中の動画像に対する編集中のストリーミング画像を、ユーザ端末に送信する。

【0092】

好ましくは、ユーザ端末は、カメラで撮影中の画像と、オペレータ端末からの編集中の画像と、を同時に並べて表示する。

【0093】

好ましくは、オペレータ端末は、カメラで撮影中の画像と、編集中の画像に対する編集中の画像と、を同時に並べて表示する。

【0094】

上記の実施の形態においては、ユーザ端末が、カメラで撮影中の画像を表示しながら、カメラで撮影中の画像をインターネットを介してオペレータ端末に送信するステップと、オペレータ端末が、操作部に入力される命令に基づいて、カメラで撮影された画像に対する編集中の動画像を、インターネットを介してユーザ端末に送信するステップと、ユーザ端末が、動画像を表示するステップと、を備える情報処理方法が提供される。

【0095】

上記の実施の形態においては、オペレータ端末のためのプログラムが提供される。プログラムは、ユーザ端末で撮影された動画像を、インターネットを介して受信して表示するステップと、操作部に入力される命令に基づいて、ユーザ端末で撮影された画像に対する編集命令を受け付けるステップと、編集中の動画像を、インターネットを介してユーザ端末に送信するステップと、をプロセッサに実行させる。

【0096】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0097】

１ ：ネットワークシステム
１００ ：サーバ
１１０ ：ＣＰＵ
１２０ ：メモリ
１４０ ：操作部
１６０ ：通信インターフェイス
２００ ：ユーザ端末
２１０ ：ＣＰＵ
２２０ ：メモリ
２３０ ：ディスプレイ
２４０ ：操作部
２５０ ：タッチパネル
２６０ ：通信インターフェイス
２７０ ：スピーカ
２８０ ：マイク
２９０ ：カメラ
３００ ：オペレータ端末
３１０ ：ＣＰＵ
３２０ ：メモリ
３３０ ：ディスプレイ
３４０ ：操作部
３５０ ：タッチパネル
３６０ ：通信インターフェイス
３７０ ：スピーカ
３８０ ：マイク
３９０ ：カメラ
３９０Ｂ ：外付けカメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】