特許 7577944 通信端末、通信システム、共有方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-28

(45)【発行日】2024-11-06

(54)【発明の名称】通信端末、通信システム、共有方法、及びプログラム

(51)【国際特許分類】

   H04L 67/00 20220101AFI20241029BHJP

   H04M 1/00 20060101ALI20241029BHJP

   H04N 7/14 20060101ALI20241029BHJP

【ＦＩ】

H04L67/00

H04M1/00 Q

H04N7/14 110

【請求項の数】 10

(21)【出願番号】P 2020125345

(22)【出願日】2020-07-22

(65)【公開番号】P2022021639

(43)【公開日】2022-02-03

【審査請求日】2023-05-11

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】三神 惇平

(72)【発明者】

【氏名】長谷川 尭志

(72)【発明者】

【氏名】戸田 勝之

(72)【発明者】

【氏名】堀内 岳志

【審査官】中川 幸洋

(56)【参考文献】

【文献】特開２０１８－００５２７３（ＪＰ，Ａ）

【文献】特開２０１５－０２２４９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ ６７／００

Ｈ０４Ｍ １／００

Ｈ０４Ｎ ７／１４

(57)【特許請求の範囲】

【請求項1】

入力された入力情報を他の通信端末と共有する通信端末であって、
表示された所定領域の全体に対する入力が可能な第１のモードから、前記所定領域の全体に対する入力が不可能な第２のモードに変更するモード変更を行うモード変更手段と、
前記他の通信端末が送信したモード変更の指示を受信する受信手段と、
前記第２のモードにおいて、前記所定領域のうちの特定領域に対する入力を可能にする入力可能手段と、
を有し、
前記モード変更の指示は、前記特定領域の候補である入力可能候補領域の情報を含み、
前記モード変更手段は、前記受信手段によって受信された前記モード変更の指示に基づいて、前記モード変更手段が前記第１のモードから前記第２のモードに変更し、
前記受信手段は、前記他の通信端末が前記入力可能候補領域に対応するアイコンを押下することにより送信した変更情報を受信し、
前記入力可能手段は、前記受信手段によって受信された前記変更情報に基づいて、前記他の通信端末が押下した前記アイコンに対応する入力可能候補領域に対する入力を可能にすることを特徴とする通信端末。

【請求項2】

前記入力可能候補領域の外縁を表示する表示制御手段を有することを特徴とする請求項１に記載の通信端末。

【請求項3】

前記入力可能候補領域に対する入力が不可能な状態で前記表示制御手段が前記入力可能候補領域の外縁を第１の表示形態で表示した後、前記入力可能手段が前記入力可能候補領域に対する入力を可能にする際に、前記表示制御手段が前記外縁を前記第１の表示形態から第２の表示形態に変更することを特徴とする請求項２に記載の通信端末。

【請求項4】

前記第１の表示形態と前記第２の表示形態は、形状及び色の少なくとも一方が異なることを特徴とする請求項３に記載の通信端末。

【請求項5】

前記表示制御手段は、前記他の通信端末が押下していない前記アイコンと、前記他の通信端末が押下した前記アイコンを、異なる表示形態で表示することを特徴とする請求項２に記載の通信端末。

【請求項6】

前記他の通信端末が前記モード変更を受け付けることによって、前記モード変更の指示を送信することを特徴とする請求項１に記載の通信端末。

【請求項7】

前記表示制御手段は、前記入力可能候補領域の情報に含まれる前記入力可能候補領域の外縁を示すデータに基づいて、前記入力可能候補領域の外縁を表示することを特徴とする請求項２に記載の通信端末。

【請求項8】

請求項１に記載の通信端末と、
前記他の通信端末と、
を有することを特徴とする通信システム。

【請求項9】

入力された入力情報を他の通信端末と共有する通信端末が実行する共有方法であって、
表示された所定領域の全体に対する入力が可能な第１のモードから、前記所定領域の全体に対する入力が不可能な第２のモードに変更するモード変更を行うモード変更ステップと、
前記他の通信端末が送信したモード変更の指示を受信する受信ステップと、
前記第２のモードにおいて、前記所定領域のうちの特定領域に対する入力を可能にする入力可能ステップと、
を有し、
前記モード変更の指示は、前記特定領域の候補である入力可能候補領域の情報を含み、
前記モード変更ステップは、前記受信ステップによって受信された前記モード変更の指示に基づいて、前記モード変更ステップが前記第１のモードから前記第２のモードに変更し、
前記受信ステップは、前記他の通信端末が前記入力可能候補領域に対応するアイコンを押下することにより送信した変更情報を受信し、
前記入力可能ステップは、前記受信ステップによって受信された前記変更情報に基づいて、前記他の通信端末が押下した前記アイコンに対応する入力可能候補領域に対する入力を可能にすることを特徴とする共有方法。

【請求項10】

コンピュータに、請求項９に記載の方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示内容は、通信端末、通信システム、共有方法、及びプログラムに関する。

【背景技術】

【0002】

近年、店舗業務のスリム化及び効率化の観点から、リモートコンシェルジュ（遠隔接客）のサービスが行われるようになった。これにより、例えば、店舗内の従業員が接客中のため、顧客が接客応対の順番待ちをしなければならない場合であっても、顧客は店舗端末からインターネット等を介して遠隔のサービスセンタの専門的なスキルを有する説明者（コンシェルジュ）の説明者端末にアクセスし、説明者と映像通話を行うことで、接客応対のサービスを受けることができる（特許文献１参照）。

【0003】

また、最近は、接客応対する従業員が在籍する有人店舗以外に、従業員が在籍していない無人店舗が運営されるようになった。このような無人店舗にも店舗端末が設置されており、顧客は無人店舗に赴き、店舗端末を利用してサービスセンタの説明者と映像通話を行うことで、接客応対のサービスを受けることができる。

【0004】

更に、説明者端末と店舗端末とで同じ申込書等の画像（画面）を表示させ、説明者の映像通話の指示によって顧客が所定の記入欄に電子ペン等で名前等を入力することも可能である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、遠隔による映像通話の場合、説明者が面と向かって顧客に指示する場合に比べて伝えづらい場合も生じる。よって、顧客は説明者が意図しない場所に名前等を入力することで、話し合いの時間が長くなってしまうという課題が生じる。

【課題を解決するための手段】

【0006】

請求項１に係る発明は、入力された入力情報を他の通信端末と共有する通信端末であって、表示された所定領域の全体に対する入力が可能な第１のモードから、前記所定領域の全体に対する入力が不可能な第２のモードに変更するモード変更を行うモード変更手段と、前記他の通信端末が送信したモード変更の指示を受信する受信手段と、前記第２のモードにおいて、前記所定領域のうちの特定領域に対する入力を可能にする入力可能手段と、を有し、前記モード変更の指示は、前記特定領域の候補である入力可能候補領域の情報を含み、前記モード変更手段は、前記受信手段によって受信された前記モード変更の指示に基づいて、前記モード変更手段が前記第１のモードから前記第２のモードに変更し、前記受信手段は、前記他の通信端末が前記入力可能候補領域に対応するアイコンを押下することにより送信した変更情報を受信し、前記入力可能手段は、前記受信手段によって受信された前記変更情報に基づいて、前記他の通信端末が押下した前記アイコンに対応する入力可能候補領域に対する入力を可能にすることを特徴とする通信端末である。

【発明の効果】

【0007】

以上説明したように本発明によれば、説明時間が長くなってしまうということを抑制することができるという効果を奏する。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る通信ルートを示した概念図である。

【図2】店舗の顧客とサービスセンタの説明者が遠隔的に映像通話をしている状況を示したイメージ図である。

【図3】本実施形態の通信システムを構築する各端末及び各装置のハードウェア構成図である。

【図4】本実施形態に係る通信システムの各機能ブロック図である。

【図5】店舗端末、通信管理装置、及び説明者端末でそれぞれ管理されている共通のストロークデータ管理テーブルを示す概念図である。

【図6】（Ａ）は認証管理テーブルを示す概念図、（Ｂ）は端末状態管理テーブルを示す概念図である。

【図7】（Ａ）は宛先リスト管理テーブルを示す概念図、（Ｂ）はセッション管理テーブルを示す概念図、（Ｃ）は通信情報管理テーブルを示す概念図である。

【図8】各画像レイヤの構成図である。

【図9】店舗端末の映像通話の準備処理を示し、特に各端末の稼働状態を取得する処理を示すシーケンス図である。

【図10】店舗端末で表示される画面を示す図である。

【図11】通信確立制御の詳細な処理を示したシーケンス図である。

【図12】双方向入力機能を起動する処理を示したシーケンス図である。

【図13】説明者端末側の入力用画像の表示例を示す図である。

【図14】資料画像を共有するための処理を示したシーケンス図である。

【図15】（Ａ）は説明者端末側の表示画像を示す図、（Ｂ）は店舗端末側の表示画像を示す図である。

【図16】入力可能候補領域の共有処理を示したシーケンス図である。

【図17】（Ａ）は説明者端末側の表示画像を示す図、（Ｂ）は店舗端末側の表示画像を示す図である。

【図18】（Ａ）は説明者端末側の表示画像を示す図、（Ｂ）は店舗端末側の表示画像を示す図である。

【図19】入力許可の共有処理を示したシーケンス図である。

【図20】（Ａ）は説明者端末側の表示画像を示す図、（Ｂ）は店舗端末側の表示画像を示す図である。

【図21】入力内容の共有処理を示したシーケンス図である。

【図22】（Ａ）は説明者端末側の表示画像を示す図、（Ｂ）は店舗端末側の表示画像を示す図である。

【発明を実施するための形態】

【0009】

〔通信システムの全体構成〕
図１を用いて、通信システムの全体構成について説明する。図１は、本発明の実施形態に係る通信システムの全体構成図である。ここでは、顧客、この顧客に旅行商品を販売する旅行会社、及びこの旅行会社にリモートコンシェルジュ（遠隔接客）を行うためのシステムを提供するシステム提供者が登場する。

【0010】

旅行会社は、関東や関西等の複数のエリア毎に、有人店舗、無人店舗、及びサービスセンタを運営している。なお、図１では、無人店舗ＵＳが一店舗しか示されていないが、複数あってもよいし、有人店舗であってもよい。

【0011】

有人店舗では、通常、来店した顧客に対して従業員が旅行商品の案内を行うが、従業員が接客中のため、新たに来店した顧客に接客応対できない場合がある。また、無人店舗には、そもそも接客対応する従業員がいない。このような場合、顧客は、有人店舗又は無人店舗ＵＳ内の店舗端末１を利用し、インターネット等の通信ネットワーク１００を介してサービスセンタＳＣの任意の説明者Ｅの説明者端末９にアクセスして、説明者から旅行商品に関する遠隔接客を受けることができる。図１の例では、顧客Ｃは、無人店舗ＵＳに来店した者である。

【0012】

店舗端末１及び説明者端末９は、ＰＣ(personal computer)によって構成されている。有人店舗、無人店舗ＵＳには複数の店舗端末が設置されていてもよい。また、サービスセンタＳＣには、複数の説明者端末が設置されてもよい。

【0013】

中継装置３、及び通信管理装置５は、サーバ等のコンピュータである。中継装置３は、店舗端末１のいずれかと説明者端末９のいずれかとの間で映像通話をする場合の画像データ及び音データを中継する。通信管理装置５は、店舗端末１及び説明者端末９からのログイン認証、店舗端末１及び説明者端末９の通信状況の管理、宛先リストの管理、及び中継装置３の通信状況等を一元的に管理する。中継装置３、及び通信管理装置５に関しては、後ほど詳細に説明する。

【0014】

また、店舗端末１、説明者端末９、中継装置３、及び通信管理装置５は、インターネット等の通信ネットワーク１００に接続することが可能である。

【0015】

なお、中継装置３、及び通信管理装置５は、単一のコンピュータによって構築されてもよいし、各部（機能又は手段）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

【0016】

図２は、店舗の顧客とサービスセンタの説明者が遠隔的に映像通話をしている状況を示したイメージ図である。図２では、無人店舗ＵＳに来店した顧客Ｃが店舗端末１を利用すると共に、サービスセンタＳＣの説明者Ｅが説明者端末９を利用している状態が示されている。このように、顧客Ｃは、遠隔接客によって説明者Ｅから旅行商品等の説明を受けることができる。なお、説明者端末９側には、「双方向入力開始」ボタン９９０が表示されている。

【0017】

〔通信システムの各ハードウェア構成〕
続いて、図３を用いて、図１に示される通信システムを構築している各端末（店舗端末１、説明者端末９及び各装置（中継装置３、通信管理装置５、サービス情報管理装置７）のハードウェア構成について説明する。なお、本実施形態では、各端末及び各装置は全て同じ構成であるとして、店舗端末１のハードウェア構成を説明し、他の端末及び装置のハードウェア構成の説明を省略する。

【0018】

図３に示されているように、店舗端末１は、コンピュータにより構成されており、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０４、ＨＤＤ(Hard Disk Drive)コントローラ１０５、ディスプレイ１０６、外部機器接続Ｉ／Ｆ(Interface)１０８、ネットワークＩ／Ｆ１０９、バスライン１１０、キーボード１１１、ポインティングデバイス１１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ１１４、メディアＩ／Ｆ１１６を備えている。

【0019】

これらのうち、ＣＰＵ１０１は、コンピュータ全体の動作を制御する。ＲＯＭ１０２は、ＩＰＬ等のＣＰＵ１０１の駆動に用いられるプログラムを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。ＨＤ１０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ１０５は、ＣＰＵ１０１の制御にしたがってＨＤ１０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ１０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ１０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ１０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。バスライン１１０は、図３に示されているＣＰＵ１０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0020】

また、キーボード１１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス１１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ１１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ１１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－ＲやＢｌｕ-ｒａｙ Ｄｉｓｃ（ブルーレイディスク）等であってもよい。メディアＩ／Ｆ１１６は、フラッシュメモリ等の記録メディア１１５に対するデータの読み出し又は書き込み（記憶）を制御する。

【0021】

また、外部機器接続Ｉ／Ｆには、集音装置の一例としてのマイク１２１、音出力装置の一例としてのスピーカ１２２、及び撮像装置の一例としてのカメラ１２３が接続されている。なお、図３では、マイク１２１、スピーカ１２２、及びカメラ１２３は、外付けの装置として示されているが、外部機器接続Ｉ／Ｆを介さずに内蔵装置としても良い。

【0022】

〔通信システムの各機能構成〕
次に、図３乃至図８を用いて、本実施形態の通信システムの各機能構成について説明する。図４は、本実施形態に係る通信システムの各機能ブロック図である。

【0023】

＜店舗端末の機能構成＞
まず、図３及び図４を用いて、店舗端末１の機能構成について説明する。図４に示されているように、店舗端末１は、送受信部１１、受付部１２、通信制御部１３、表示制御部１４、判断部１５、双方向入力部１６、モード変更部１７、算出部１８、及び記憶・読出処理部１９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＨＤ１０４からＲＡＭ１０３上に展開されたプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能、又は機能する手段である。また、店舗端末１は、図３に示されているＲＡＭ１０３及びＨＤ１０４によって構築される記憶部１０００を有している。

【0024】

（ストローク情報管理テーブル）
図５は、店舗端末、通信管理装置、及び説明者端末でそれぞれ管理されている共通のストロークデータ管理テーブルを示す概念図である。

【0025】

記憶部１０００には、図５で示されているようなストローク情報管理テーブルによってストローク情報管理ＤＢ１００１が構築されている。このストローク情報管理テーブルでは、後述のステップＳ２４８～Ｓ２５０によって説明者端末９から送られて来たストローク情報、及び、後述のステップＳ２８１によって店舗端末１が顧客Ｃから受け付けたストローク情報が管理されている。ストローク情報は、ストロークＩＤ、接続ＩＤ、画面ＩＤ、ストローク座標、ストロークの色、ストロークの幅、閉領域化の有無、及び入力可否の各情報が関連付けられて含まれている。

【0026】

これらのうち、ストロークＩＤは、ストローク情報を識別するためのストローク識別情報の一例である。接続ＩＤは、通信情報管理テーブル（図７（Ｃ）参照）の接続ＩＤと同じである。画面ＩＤは、入力画面１００（９００）を識別するための画面識別情報の一例である。ストローク座標は、入力画面１００（９００）上におけるストロークの位置を特定するための座標である。ストロークの色は、利用者（顧客Ｃ又は説明者Ｅ）によって設定されたストロークの色を示す情報である。ストロークの幅は、利用者（顧客Ｃ又は説明者Ｅ）によって設定されたストロークの幅を示す情報である。「閉領域化の有無」は、例えば、図１７（Ａ）に示されているように、電子ペン９０で入力可能候補領域９４０が描かれることで、閉ざされた領域が形成されたか否かを示す情報である。入力可否は、入力可能モードになっているか又は入力不可モードになっているかを示す情報である。入力可能モードの場合は、店舗端末１側で顧客Ｃが電子ペン１０により資料画像上に文字等を入力可能な状態である。入力不可モードは、店舗端末１側で顧客Ｃが電子ペン１０により資料画像上に文字等を入力不可能な入力不可モードに設定されているかを示す情報である。これに関しては、後ほど、詳細に説明する。なお、入力可能モードは第１のモードの一例である。入力不可モードは第２のモードの一例である。また、電子ペン１０（９０）を用いなくても、指等で直接ディスプレイ１０６（９０６）に触れて入力しても良い。

【0027】

（店舗端末の各機能構成）
次に、店舗端末１の各構成要素について説明する。送受信部１１は、図３に示されているＣＰＵ１０１からの命令、並びに外部機器接続Ｉ／Ｆ１０８及びネットワークＩ／Ｆ１０９によって実現され、通信ネットワーク１００を介して他の端末、装置又はシステムと各種データ（または情報）の送受信を行う。

【0028】

受付部１２は、主に、図３に示されているＣＰＵ１０１からの命令、並びにキーボード１１１及びポインティングデバイス１１２操作ボタン１０８及電源スイッチ１０９によって実現され、利用者による各種入力を受け付ける。

【0029】

通信制御部１３は、図３に示されているＣＰＵ１０１からの命令によって実現され、外部機器接続Ｉ／Ｆ１０８に接続された外付けのカメラから、このカメラが被写体を撮像して得た画像データを入力する。また、通信制御部１３は、外部機器接続Ｉ／Ｆ１０８に接続された外付けのマイクから、このマイクが集音して得た音データを入力する。更に、通信制御部１３は、映像通話の相手から受信した画像データ及び自端末で得た画像データを表示制御部１４に出力する。また、通信制御部１３は、映像通話の相手から受信した音データ及び自端末で得た音データを、外部機器接続Ｉ／Ｆ１０８に接続された外付けのスピーカに出力する。

【0030】

表示制御部１４は、主に、図３に示されているＣＰＵ１０１からの命令によって実現され、ディスプレイ１０６又は外部機器接続Ｉ／Ｆに接続された外付けのディスプレイに対して画像データを出力することで、画像を表示させる。

【0031】

判断部１５は、主に、図３に示されているＣＰＵ１０１からの命令によって実現され、各種判断を行う。判断内容については後述する。

【0032】

双方向入力部１６は、主に、図３に示されているＣＰＵ１０１からの命令によって実現され、通信端末１が説明者端末９との間で双方向入力を実現する機能である。例えば、通信端末１側で入力された文字は説明者端末９側で表示される。

【0033】

モード変更部１７は、主に、図３に示されているＣＰＵ１０１からの命令によって実現され、入力可能モードから入力不可モードへの変更、及び、入力不可モードから入力可能モードへの変更を行う。

【0034】

算出部１８は、顧客Ｃによって入力されたストロークに基づいて、相手側の説明者端末９でも同じストロークを再生するためのストローク座標を算出する。

【0035】

記憶・読出処理部１９は、主に、図３に示されているＣＰＵ１０１からの命令及びＨＤＤコントローラ１０５によって実行され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりする処理を行う。

【0036】

更に、記憶部１０００には、他の端末との通信を行う際に受信される画像データ及び音データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ１０６又は外付けのディスプレイに画像が表示され、上書きされる前の音データによって外付けのスピーカから音声が出力される。

【0037】

＜説明者端末の機能構成＞
続いて、図３及び図４を用いて、説明者端末９の機能構成について説明する。図４に示されているように、説明者端末９は、送受信部９１、受付部９２、通信制御部９３、表示制御部９４、判断部９５、双方向入力部９６、モード変更部９７、算出部９８、及び記憶・読出処理部９９を有している。また、説明者端末９は、図３に示されているＲＡＭ１０３及びＨＤ１０４によって構築される記憶部９０００を有している。記憶部９０００には、ストローク情報管理ＤＢ９００１が構築されている。このストローク情報管理ＤＢ９００１は、既に説明したストローク情報管理ＤＢ１００１と同じ構造を有しているため、説明を省略する。

【0038】

なお、説明者端末９の送受信部９１、受付部９２、通信制御部９３、表示制御部９４、判断部９５、双方向入力部９６、モード変更部９７、算出部９８、及び記憶・読出処理部９９は、それぞれ、店舗端末１の送受信部１１、受付部１２、通信制御部１３、表示制御部１４、判断部１５、双方向入力部１６、モード変更部１７、算出部１８、及び記憶・読出処理部１９と同様の機能を有するため、これらの説明を省略する。なお、算出部９８は、説明者Ｅによって入力されたストロークに基づいて、相手側の店舗端末１でも同じストロークを再生するためのストローク座標を算出する。

【0039】

＜中継装置の機能構成＞
続いて、図３及び図４を用いて、中継装置３の機能構成について説明する。図４に示されているように、中継装置３は、転送部を兼ねた送受信部３１、判断部３２、及び記憶・読出処理部３９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＨＤ１０４からＲＡＭ１０３上に展開されたプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は機能する手段である。また、中継装置３は、図３に示されているＲＡＭ１０３及びＨＤ１０４によって構築される記憶部３０００を有している。

【0040】

（中継装置の各機能構成）
次に、中継装置３の各機能構成について詳細に説明する。図４に示されている中継装置３の送受信部３１は、図３に示されているＣＰＵ１０１からの命令、及び図３に示されているネットワークＩ／Ｆ１０９によって実現され、通信ネットワーク１００を介して他の端末、装置、又はシステムと各種データ（または情報）の送受信を行う。また、送受信部３１は、転送部としての役割も果たし、所定の端末ら送信されて来た画像データ及び音データを、他の端末に転送する。

【0041】

判断部３２は、図３に示されているＣＰＵ１０１からの命令によって実現され、データの遅延状態の判断等を行なう。

【0042】

記憶・読出処理部３９は、図３に示されているＣＰＵ１０１からの命令、及び図３に示されているＨＤＤ１０５によって実現され、記憶部３０００に各種データを記憶したり、記憶部３０００に記憶された各種データを読み出したりする処理を行う。

【0043】

＜通信管理装置の機能構成＞
続いて、図３及び図４を用いて、通信管理装置５の機能構成について説明する。図４に示されているように、通信管理装置５は、送受信部５１、選択部５３、作成部５４、判断部５５、及び記憶・読出処理部５９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＨＤ１０４からＲＡＭ１０３上に展開されたプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は機能する手段である。また、通信管理装置５は、図３に示されているＲＡＭ１０３及びＨＤ１０４により構築される記憶部５０００を有している。

【0044】

（認証管理テーブル）
図６（Ａ）は、認証管理テーブルを示す概念図である。記憶部５０００には、図６（Ａ）に示されているような認証管理テーブルによって構成されている認証管理ＤＢ５００１が構築されている。この認証管理テーブルでは、通信管理装置５によって管理される全ての端末１，９の各通信ＩＤに対して、各パスワードが関連付けられて管理される。なお、パスワードは認証情報の一例であり、認証情報にはアクセストークンも含まれる。

【0045】

（端末状態管理テーブル）
図６（Ｂ）は、端末状態管理テーブルを示す概念図である。記憶部５０００には、図６（Ｂ）に示されているような端末状態管理テーブルによって構成されている端末状態管理ＤＢ５００２が構築されている。この端末状態管理テーブルでは、各端末１，９の通信ＩＤ毎に、各端末１，９を宛先とした場合の宛先名、各端末１，９の稼動状態、後述のログイン要求情報が通信管理装置５で受信された受信日時、及び店舗端末１，９のＩＰアドレスが関連付けられて管理される。なお、通信ＩＤ、宛先名、及び端末のＩＰアドレスは、各端末１，９が、通信管理装置５によるサービスの提供を受けるために事前登録する際に記憶される。

【0046】

（宛先リスト管理テーブル）
図７（Ａ）は、宛先リスト管理テーブルを示す概念図である。記憶部５０００には、図７（Ａ）に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理ＤＢ５００３が構築されている。この宛先リスト管理テーブルでは、通話の開始を要求する開始端末の通信ＩＤに対して、宛先端末の候補として登録されている宛先端末の通信ＩＤが全て関連付けられて管理される。なお、宛先リストは、宛先情報の一例であり、宛先情報には、リスト形式になっておらず、通信ＩＤ等の宛先に関する情報が羅列されていてもよい。

【0047】

（セッション管理テーブル）
図７（Ｂ）は、セッション管理テーブルを示す概念図である。記憶部５０００には、図７（Ｂ）に示されているようなセッション管理テーブルによって構成されているセッション管理ＤＢ５００４が構築されている。このセッション管理テーブルでは、各端末と中継装置３との間で相互通信を行なうためのセッションを識別するための通信セッションＩＤ毎に、使用される中継装置３の中継装置ＩＤ、開始端末の通信ＩＤ、宛先端末の通信ＩＤ、宛先端末において画像データが受信される際の受信の遅延時間（ｍｓ）、及びこの遅延時間が示されている遅延情報を宛先端末から送られて来て通信管理装置５で受信された受信日時が関連付けられて管理される。

【0048】

（通信情報管理テーブル）
図７（Ｃ）は、通信情報管理テーブルを示す概念図である。記憶部５０００には、図７（Ｃ）に示されているような通信情報管理テーブルによって構成されている通信情報管理ＤＢ５００５が構築されている。この通信情報管理テーブルでは、各端末と中継装置３との間で行なわれる相互通信を識別するための接続ＩＤ毎に、この使用される中継装置３の中継装置のＩＰアドレス、及び相互通信する端末の通信ＩＤが関連付けられて管理される。

【0049】

（ストローク情報管理テーブル）
記憶部５０００には、図５に示されているようなストローク情報管理テーブルによって構成されているストローク情報管理ＤＢ５００６が構築されている。ストローク情報管理ＤＢ５００６は、既に説明したストローク情報管理ＤＢ１００１と同じ構造を有しているため、説明を省略する。

【0050】

（通信管理装置の各機能構成）
次に、通信管理装置５の各機能構成について詳細に説明する。なお、以下では、通信管理装置５の各機能構成を説明するにあたって、図３に示されている各構成要素のうち、通信管理装置５の各機能構成を実現させるための主な構成要素との関係も説明する。

【0051】

図４に示されている通信管理装置５の送受信部３１は、図３に示されているＣＰＵ１０１からの命令及びネットワークＩ／Ｆ１０９によって実現され、通信ネットワーク１００を介して他の端末、装置、又はシステムと各種データ（または情報）の送受信を行う。

【0052】

選択部５３は、図３に示されているＣＰＵ１０１からの命令によって実現され、各端末のＩＰアドレスに基づいて、相互通信に最適な中継装置を選択する。

【0053】

作成部５４は、図３に示されているＣＰＵ１０１からの命令によって実現され、各端末からの相互通信の開始要求に応じて、通信情報を作成する。この通信情報は、選択部５３によって選択された中継装置のＩＰアドレス、及び上述の通信ＩＤ等を含んでいる。

【0054】

判断部５５は、図３に示されているＣＰＵ１０１からの命令によって実現され、各種判断を行なう。

【0055】

記憶・読出処理部５９は、図３に示されているＣＰＵ１０１からの命令及びＨＤＤコントローラ１０５によって実現され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを読み出したりする処理を行う。

【0056】

＜各画像レイア＞
続いて、図８を用いて、電子黒板１に表示される各画像レイアについて説明する。図８に示されているように、表示制御部１４（９４）は、４つの画像レイアを重畳する画像を作成する。図８は、各画像レイヤの構成図である。各画像レイヤは、重なっても利用者が見える順に、左から、ＵＩ画像（Ａ）、店舗端末１のストローク画像（Ｂ１）、説明者端末９のストローク画像（Ｂ２）、及び資料画像の各レイアの構成となっている。これらのうち、ＵＩ画像（Ａ）、店舗端末のストローク画像（Ｂ１）、説明者端末のストローク画像（Ｂ２）及び背景画像（Ｃ）は、店舗端末１及び説明者端末９で表示される画像のレイアである。なお、この画像のレイヤとはン別に、ピクチャー・イン・ピクチャーの技術により、相手側の拠点の映像が表示される。以下に、各画像のレイヤについて説明する。

【0057】

ＵＩ画像（Ａ）のレイヤは、利用者が電子ペン１０（９０）で所定の入力又は選択を行うことができるように、アイコン等を表示して入力又は選択等のＵＩ操作を受け付けるレイヤである。図８では、後述のタスクバー９２０，９３０（１３０）が表示されている。

【0058】

店舗端末１のストローク画像（Ｂ１）のレイヤは、顧客が電子ペン１０で描画したストローク画像を相手側の説明者端末９と共有するためのレイヤである。この場合、電子黒板１は、通信ネットワーク１００を介して相手側の説明者端末９にストローク情報を送信する。ここでは、顧客の氏名等の入力内容を表すストローク画像ｂ１が表示されている。

【0059】

説明者端末９のストローク画像（Ｂ２）のレイヤは、説明者Ｅが電子ペン９０で描画したストローク画像を相手側の顧客端末１と共有するためのレイヤである。この場合、説明者端末９は、通信ネットワーク１００を介して相手側の顧客端末１にストローク情報を送信する。ここでは、後述の入力可能領域等の入力内容を表すストローク画像ｂ２が表示されている。

【0060】

資料画像（Ｃ）のレイヤは、説明者Ｅが相手側の顧客端末１と、資料画像を共有するためのレイヤである。この場合、説明者端末９は、通信ネットワーク１００を介して相手側の顧客端末１に資料画像のデータを送信する。ここでは、資料画像の一例として、図１５に示されているような個入会員申込書の画像が表示されている。

【0061】

〔実施形態の処理又は動作〕
次に、図９乃至図２２を用いて、本実施形態に係る通信システムにおける処理または動作を説明する。ここでは、図２に示されているように、顧客Ｃが、無人店舗ＵＳに入店し、店舗端末１を使ってサービスセンタＳＣに対して映像通話を開始することで、説明者Ｅから資料情報の書き方の説明を受ける場合について説明する。なお、以下、映像通話の開始を要求する要求元としての店舗端末１は「開始端末」と表され、要求先である宛先（中継先）としての説明者端末９は「宛先端末」と表される場合もある。

【0062】

＜映像通話の開始処理＞
顧客Ｃが店舗端末１で映像通話を開始する操作を行うことで、図９に示されているように、店舗端末１の作成部５４は、自ら通信セッションを識別するためのセッションＩＤを作成する（Ｓ２２）。次に、送受信部１１は、通信ネットワーク１００を介して通信管理装置５に、ログイン要求を示すログイン要求情報を送信する（Ｓ２３）。このログイン要求情報には、ステップＳ２２で作成されたセッションＩＤ、自端末の通信ＩＤ及びパスワードが含まれている。なお、ここでは、通信ＩＤは、ステップＳ２３でログイン要求を送信した店舗端末１を識別するためのＩＤであり、端末を識別する端末ＩＤ、顧客等の利用者を識別する利用者ＩＤであってもよい。

【0063】

次に、通信管理装置５の記憶・読出処理部５９は、送受信部５１を介して受信したログイン要求情報に含まれている通信ＩＤ及びパスワードを検索キーとして、認証管理テーブル（図６（Ａ）参照）を検索し、同一の通信ＩＤ及び同一のパスワードが管理されているかを判断することによって端末認証を行う（Ｓ２４）。ここでは、記憶・読出処理部５９によって、同一の通信ＩＤ及び同一のパスワードが管理されているものとして、続けて説明する。

【0064】

記憶・読出処理部５９によって、同一の通信ＩＤ及び同一のパスワードが管理されているものとして、正当な利用権限を有する端末からのログイン要求であると判断された場合には、記憶・読出処理部５９は、端末状態管理テーブル（図６（Ｂ）参照）において、上記ステップＳ２３で受信された通信ＩＤのレコードの稼動状態のフィールド部分を「Online(通話可能)」に変更すると共に、受信日時のフィールド部分に上記ステップＳ２３によってログイン要求が受信された受信日時を記憶する（Ｓ２５）。これにより、例えば、端末状態管理テーブルには、通信ＩＤ「０１ａａ」に、稼動状態「Online(通話可能)」、受信日時「２０２０．４．１０．１３：４０」及びＩＰアドレス「１．２．１．４」が関連付けて管理されることになる。なお、端末のＩＰアドレスは、事前に登録されているのではなく、上記ステップＳ２３で店舗端末１から送信されるようにしてもよい。

【0065】

次に、記憶・読出処理部５９は、上記ステップＳ２３によって受信された店舗端末１の通信ＩＤ及びパスワードを含む新しいレコードを、セッション管理テーブル（図７（Ｂ）参照）で追加して管理する（Ｓ２６）。そして、通信管理装置５の送受信部５１は、上記ステップ２４の処理によって得られた認証結果が示された認証結果情報を、通信ネットワーク１００を介して、上記ログイン要求してきた店舗端末１に送信する（Ｓ２７）。

【0066】

ログイン要求端末（店舗端末１）の送受信部１１が、正当な利用権限を有する端末であると判断された結果が示された認証結果情報を受信すると、送受信部１１が通信ネットワーク１００を介して通信管理装置５へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する（Ｓ２８）。これにより、通信管理装置５の送受信部５１は、宛先リスト要求情報を受信する。

【0067】

次に、記憶・読出処理部５９は、ログイン要求端末（店舗端末１）の通信ＩＤ「０１ａｂ」を検索キーとして、宛先リスト管理テーブル（図７（Ａ）参照）を検索し、ログイン要求端末（店舗端末１）と通信することができる宛先候補の通信ＩＤを読み出すと共に、この通信ＩＤに対応する宛先名を端末状態管理テーブル（図６（Ｂ）参照）から読み出す（ステップＳ２９）。ここでは、ログイン要求端末（店舗端末１）の通信ＩＤ「０１ａｂ」に対応する宛先候補のそれぞれの通信ＩＤと、これらに対応する宛先名が抽出される。

【0068】

次に、通信管理装置５の記憶・読出処理部５９は、記憶部５０００から宛先リスト枠のデータを読み出す（Ｓ３０）。そして、送受信部５１は、この宛先リスト枠及び上記記憶・読出処理部５９によって読み出された通信ＩＤ及び宛先名を含めた「宛先リスト情報（宛先リスト枠、通信ＩＤ、宛先名）」を、ログイン要求端末（店舗端末１）に送信する（Ｓ３１）。これにより、ログイン要求端末（店舗端末１）では、送受信部１１が宛先リスト情報を受信し、記憶・読出処理部１９が記憶部１０００へ宛先リスト情報を記憶する（Ｓ３２）。

【0069】

このように、本実施形態では、各端末で宛先リスト情報を管理するのではなく、通信管理装置５が全ての端末の宛先リスト情報を一元管理している。よって、通信システムに新たな端末が含まれるようになったり、既に含まれている端末に替えて新機種の端末を含めるようになったり、宛先リスト枠の見栄え等を変更することになった場合でも、通信管理装置５側で一括して対応するため、各端末側で宛先リスト情報の変更を行う手間を省くことができる。

【0070】

また、通信管理装置５の記憶・読出処理部５９は、上述の読み出した宛先候補の通信ＩＤを検索キーとして、端末状態管理テーブル（図６（Ｂ）参照）を検索し、上記通信ＩＤ毎に、対応する稼動状態を読み出すことで、宛先候補としての通信端末の各稼動状態を取得する（Ｓ３３）。

【0071】

次に、送受信部５１は、上記ステップＳ２６で使用された検索キーとしての各通信ＩＤと、対応する各宛先端末の稼動状態とが含まれた「端末の状態情報」を、通信ネットワーク１００を介して開始端末（店舗端末１）に送信する（Ｓ３４）。

【0072】

次に、開始端末（店舗端末１）の記憶・読出処理部１９は、順次、通信管理装置５から受信した端末の状態情報を記憶部１０００に記憶する（Ｓ３５）。よって、開始端末（店舗端末１）は、上記各端末の状態情報を受信することで、開始端末（店舗端末１）と通信することができる宛先候補である説明者端末９等の現時点のそれぞれの稼動状態を取得することができる。

【0073】

次に、ログイン要求端末（店舗端末１）の表示制御部１４は、記憶部１０００に記憶されている宛先リスト情報、及び端末の状態情報に基づいて、宛先候補としての端末の状態を反映させた宛先リストを作成する（Ｓ３６）。この宛先リストは、図１０に示すように、店舗端末１で表示される。

【0074】

一方、通信管理装置５の記憶・読出処理部５９は、ログイン要求端末（店舗端末１）の通信ＩＤに基づいて宛先リスト管理テーブル（図７（Ａ）参照）を検索することにより、ログイン要求端末（店舗端末１）の通信ＩＤを宛先候補として登録している他の端末の通信ＩＤを抽出する（Ｓ３７）。

【0075】

次に、通信管理装置５の記憶・読出処理部５９は、ログイン要求端末（店舗端末１）の通信ＩＤに基づいて端末状態管理テーブル（図６（Ｂ）参照）を検索し、ログイン要求端末（店舗端末１）の稼動状態を取得する（Ｓ３８）。

【0076】

そして、送受信部５１は、上記ステップＳ３７で抽出された通信ＩＤに係る端末のうち、端末状態管理テーブル（図６（Ｂ）参照）で稼動状態が「Online」となっている端末に、上記ステップＳ３８で取得されたログイン要求端末（店舗端末１）の通信ＩＤと稼動状態が含まれる「端末の状態情報」を送信する（Ｓ３９）。なお、送受信部５１が説明者端末９に端末の状態情報を送信する際に、各通信ＩＤに基づいて、端末状態管理テーブル（図６（Ｂ）参照）で管理されている通信端末のＩＰアドレスを参照する。これにより、ログイン要求端末（店舗端末１）を宛先候補として通信することができる他の宛先端末のそれぞれに、上記ログイン要求端末（店舗端末１）の通信ＩＤ、及び稼動状態を伝えることができる。これにより、宛先候補（説明者端末９）においても、図１０（Ｃ）に示されているような宛先候補の状態を表示させることができる（Ｓ４０）。

【0077】

＜通信確立制御の処理＞
続いて、図１１を用いて、店舗端末１と説明者端末９の間の通信確立制御の処理（Ｓ９０参照）について詳細に説明する。図１１は、通信確立制御の詳細な処理を示したシーケンス図である。

【0078】

まず、店舗端末１は、通信管理装置５に対して、映像通信を開始する要求を示す開始要求情報を送信する（ステップＳ１０１）。この開始要求情報には、開始端末（ここでは、店舗端末１）の通信ＩＤ、及び、宛先端末（ここでは、説明者端末９）の説明者Ｅの通信ＩＤが含まれている。これにより、通信管理装置５は、開始要求情報を受信する。

【0079】

次に、通信管理装置５では、選択部５３が、開始端末及び宛先端末の各ＩＰアドレスに基づいて、最寄の中継装置を選択する（ステップＳ１０２）。各端末のＩＰアドレスは端末管理テーブルで管理されており、各中継装置のＩＰアドレスは記憶部５０００に予め記憶されている。次に、作成部５４は、中継装置のＩＰアドレス、及び上述の通信ＩＤを含む通信情報を作成する（ステップＳ１０３）。そして、記憶・読出処理部５９は、通信情報管理ＤＢ５００５（図７（Ｃ）参照）に、通信情報の内容である通信ＩＤ及び中継装置のＩＰアドレス、並びに、ステップＳ１０１で受信された開始端末及び宛先端末の説明者の各通信ＩＤを関連付けて記憶することにより管理する。その後、送受信部５１は、宛先端末（ここでは、説明者端末９）に対して、開始要求情報を送信する（ステップＳ１０５）。この開始要求情報には、上記ステップＳ１０１で開始端末から送られて来た各通信ＩＤに加え、通信情報が含まれている。これにより、宛先端末の送受信部９１は、開始要求情報を受信する。

【0080】

次に、宛先端末では、説明者端末９の判断部１５が、ステップＳ１０５で受信された開始端末（店舗端末１）の通信ＩＤが、予め取得している店舗端末１の通信ＩＤと同じであるかを判断する（Ｓ１０６）。この場合、基本的に同じであるため、送受信部９１は、通信管理装置５に対して応答可情報を送信する（ステップＳ１０７）。この場合の応答可情報は応答可である旨を示し、開始端末の通信ＩＤが含まれている。これにより、通信管理装置５の送受信部５１は、応答可情報を受信する。

【0081】

次に、通信管理装置５の記憶・読出処理部５９は、ステップＳ１０７で受信された開始端末の通信ＩＤを検索キーとして、通信情報管理ＤＢ５００５を検索することにより、対応する通信情報（通信ＩＤ、中継装置ＩＰアドレス）を読み出す（ステップＳ１０８）。そして、送受信部５１は、開始端末に対して、応答可情報を送信する。この場合の応答可情報には、ステップＳ１０８で読み出された通信情報が含まれている。これにより、開始端末の送受信部１１は、応答可情報を受信する。

【0082】

次に、宛先端末の送受信部９１は、ステップＳ１０５で受信した通信情報に含まれる中継装置のＩＰアドレスに対して、相互通信のセッションを確立する要求を示す確立要求情報を送信する（ステップＳ１１０）。この確立要求情報には、開始端末の通信ＩＤと宛先端末の説明者の通信ＩＤが含まれている。また、送信元である宛先端末のＩＰアドレスも送信される。一方、開始端末の送受信部１１は、ステップＳ１０９で受信した通信情報に含まれる中継装置のＩＰアドレスに対して、相互通信のセッションを確立する要求を示す確立要求情報を送信する（ステップＳ１１１）。この確立要求情報には、開始端末の通信ＩＤと宛先端末の説明者の通信ＩＤが含まれている。また、送信元である開始端末のＩＰアドレスも送信される。これにより、中継装置３と開始端末との間で、画像及び音を相互通信するための映像通話用の通信セッションが確立すると共に（ステップＳ１１２－１）、中継装置３と宛先端末との間で、画像及び音を相互通信するための映像通話用の通信セッションが確立する（ステップＳ１１２－２）。

【0083】

次に、開始端末の送受信部１１は、通信管理装置５に対して自端末（開始端末）の状態情報を送信する（ステップＳ１１３－１）。この状態情報には、開始端末の通信ＩＤ、及び稼動状態情報（ここでは「通信中」）が含まれている。これにより、通信管理装置５の送受信部５１は、開始端末の状態情報を受信する。一方、宛先端末の送受信部９１は、通信管理装置５に対して自端末（宛先端末）の状態情報を送信する（ステップＳ１１３－２）。この状態情報には、宛先端末の通信ＩＤ、及び稼動状態情報（ここでは「Chat(通信中)」）が含まれている。これにより、通信管理装置５の送受信部５１は、宛先端末の状態情報を受信する。このように、各端末は、通信管理装置５に対して、自ら自端末の稼動状態を通知する。そして、通信管理装置５では、記憶・読出処理部５９が、端末状態管理ＤＢ（図６（Ｂ）参照）において、開始端末の通信ＩＤに関連付けられている稼動状態を「Chat(通信中)」に変更すると共に、宛先端末の通信ＩＤに関連付けられている稼動状態を「Chat(通信中)」に変更する（ステップＳ１１４）。以上より、開始端末（店舗端末１）及び宛先端末（説明者端末９）では、図２に示されているように、相互通信により映像通話をすることができる。

【0084】

＜双方向入力の処理＞
続いて、図１２乃至図２２を用いて、店舗端末１と説明者端末９との間の双方向入力の処理について説明する。

【0085】

（双方向入力部の起動処理）
まずは、図１２及び図１３を用いて、店舗端末１及び説明者端末９における双方向入力部の起動処理について説明する。図１２は、双方向入力部を起動する処理を示したシーケンス図である。図１３は、説明者端末側の入力用画像の表示例を示す図である。

【0086】

図１２に示されているように、店舗端末１と説明者端末９との間で映像通話中に、説明者Ｅが店舗側の顧客Ｃに対して、電子書類にサイン等の入力をしてもらいたい場合、説明者Ｅが図２に示されている「双方向入力開始」ボタン９９０を押下すると、受付部９２が、双方向入力部９６の起動を受け付ける（Ｓ２０１）。これにより、双方向入力部９６が起動する（Ｓ２０２）。そして、表示制御部９４が、ディスプレイ９０６上に、図１３に示されているような入力画面を表示させる。

【0087】

図１３に示されているように、説明者端末９側で表示される入力画面９００の上端部には、隠すことが可能なタスクバー９２０が表示され、入力画面９００の左端部には、隠すことが可能なタスクバー９３０が表示される。

【0088】

更に、タスクバー９２０には、ファイル選択ボタン９２１、保存ボタン９２２、ページ戻しボタン９２３、各ページのサムネイル９２４、ページ送りボタン９２５、ページ追加ボタン９２６、ページ削除ボタン９２７、及び入力不可モードボタン９２８が含まれている。

【0089】

これらのうち、ファイル選択ボタン９２１は、説明者が入力画面９００に表示するファイルを追加（選択）するためにファイルの選択を開始するボタンである。これにより、ファイルブラウザが表示される。保存ボタン９２２は、入力されたストロークのデータ及び（又は）資料画像等の画像データを１つのファイルに保存するためのボタンである。ページ戻しボタン９２３は、現在、入力画面９００に表示されているページに対し１ページ前のページを入力画面９００に表示するためのボタンである。各ページのサムネイル９２４は、例えば、３つ分の各ページのサムネイルが表示される。ページ送りボタン９２５は、現在、入力画面９００に表示されているページに対し１ページ先のページを入力画面に表示するためのボタンである。ページ追加ボタン９２６は、新たに初期状態のページを追加するためのボタンである。ページ削除ボタン９２７は、現在、入力画面９００に表示中のページを削除するためのボタンである。そして、入力不可モードボタン９２８は、通信相手としての店舗端末1に対して、店舗端末１側で表示されている入力画面１００への入力が可能な入力可能モードから入力が不可能な入力不可モードに変更させる場合のボタンである。なお、入力可能モードは第１のモードの一例である。入力不可モードは第２のモードの一例である。

【0090】

一方、タスクバー９３０には、ペンボタン９３１、蛍光ボタン９３２、マーカーボタン９３３、部分消しゴムボタン９３４、全部消しゴムボタン９３５、Undoボタン９３６、Redoボタン９３７、カーソルボタン９３８、及びサイズ変更ボタン９３９が含まれている。

【0091】

これらのうち、ペンボタン９３１は、現在設定されている色で説明者Ｅが入力画面９００にストロークを書き込む（入力する）ことができる状態にするためのボタンである。蛍光ボタン９３２は、現在設定されている色で説明者Ｅがやや太い蛍光色のストロークを書き込む（入力する）ことができる状態にするためのボタンである。マーカーボタン９３３は、一時的に表示されるが自動的に消去されるマーカーを説明者Ｅが書き込む（入力する）ことができる状態にするためのボタンである。部分消しゴムボタン９３４は、一旦書き込んだストローク画像を説明者Ｅが削除できる状態にするためのボタンである。この場合、説明者Ｅが指定したストローク画像の部分だけが削除される。全部消しゴムボタン９３５は、入力画面９００一面全体に書き込まれている（入力されている）ストローク画像を一度の操作で全て削除するためのボタンである。Undoボタン９３６は、ストローク画像を１操作分前の状態に戻すボタンである。一筆書きが1操作分に該当する。Redoボタン９３７は、ストローク画像を１操作分先の状態に戻すボタンである。カーソルボタン９３８は、入力画面９００上にカーソルを表示させるためのボタンである。このカーソルにより、入力画面９００上の特定の位置を指し示すことができる。サイズ変更ボタン９３９は、押下されることで、拡大及び縮小率の候補がプルダウンメニュー等で表示され、説明者Ｅによって特定の候補が選択されることで、入力画面９００内の表示を拡大（又は縮小）するためのボタンである。

【0092】

なお、店舗端末１側でも入力画面１００が表示されるが、入力画面１００にはタスクバー９２０と同じタスクバーは表示されず、タスクバー９３０と同じタスクバー１３０のみが表示される。

【0093】

次に、送受信部９１が通信管理装置５に対して、双方向入力部１６の起動要求を送信する（Ｓ２０４）。この起動要求には、説明者端末９及び店舗端末１と中継装置３との間で行なわれる相互通信を識別するための接続ＩＤが含まれている。これにより、通信管理装置５は、双方向入力部１６の起動要求を受信する。

【0094】

次に、通信管理装置５の送受信部５１は、ステップＳ２０４で受信した双方向入力部１６の起動要求を、店舗端末１に送信（又は転送）する（Ｓ２０５）。これにより、店舗端末１の送受信部１１は、接続ＩＤを含めて双方向入力部１６の起動要求を受信する。

【0095】

次に、店舗端末１では、双方向入力部１６が起動する（Ｓ２０６）。そして、表示制御部１４が、ディスプレイ１０６上に入力画面１００を表示させる（Ｓ２０７）。

【0096】

次に、店舗端末１の送受信部１０１は、通信管理装置５に対して、双方向入力部１６の起動が完了した旨を示す起動完了通知を送信する（Ｓ２０８）。この起動完了通知には、店舗端末１と説明者端末９の通信を識別するための接続ＩＤが含まれている。これにより、通信管理装置５の送受信部５１は起動完了通知を受信する。

【0097】

次に、通信管理装置５の送受信部５１は、説明者端末９に対して、起動完了通知を送信（転送）する（Ｓ２０９）。これにより、説明者端末９の送受信部９１は、起動完了通知を受信する。そして、説明者端末９では、表示制御部９４がディスプレイ９０６上に、起動が完了した旨の情報を表示する（Ｓ２１０）。

【0098】

（資料画像の共有処理）
続いて、図１４及び図１５を用いて、説明者端末９が店舗端末１と資料画像を共有するための処理について説明する。図１４は、資料画像を共有するための処理を示したシーケンス図である。図１５において、（Ａ）は説明者端末側の表示画像を示す図、（Ｂ）は店舗端末側の表示画像を示す図である。

【0099】

図１４に示されているように、説明者端末９の送受信部９１は、説明者Ｅからファイル名等の資料画像の指定を受け付けると、受付部９２が資料画像の指定を受け付ける（Ｓ２２１）。これにより、記憶・読出処理部９９は、記憶部９０００から資料画像データを読み出し、図１５（Ａ）に示されているように、表示制御部９４がディスプレイ９０６の入力画面９００上に資料画像を表示させる（Ｓ２２２）。ここでは、資料画像は個人会員申込書の画像である。

【0100】

次に、送受信部９１は、通信管理装置５に対して、資料画像データのアップロードを行う（Ｓ２２３）。これにより、通信管理装置５では、記憶・読出処理部５９が、記憶部９０００に資料画像データを記憶する。そして、送受信部５１は、説明者端末９に対して、アップロードが完了した旨を示すアップロード完了通知を送信する（Ｓ２２５）。これにより、説明者端末９の送受信部９１は、アップロード完了通知を受信する。

【0101】

一方、通信管理装置５の送受信部５１は、店舗端末１に対して、資料画像のダウンロードを行わせる旨を示すダウンロード指示を送信する（Ｓ２２６）。このダウンロード指示には、資料画像データの保存場所を示すＵＲＬ(Uniform Resource Locator)が含まれている。これにより、店舗端末１の送受信部１１は、資料画像データのダウンロード指示を受信する。

【0102】

次に、店舗端末１では、ステップＳ２２６で受信されたＵＲＬに対して、資料画像データのダウンロードを要求する（Ｓ２２７）。これにより、通信管理装置５では、記憶・読出処理部５９が、ＵＲＬで示される記憶部５０００の記憶領域から資料画像データを読み出す（Ｓ２２８）。そして、送受信部５１は、店舗端末１に対して、資料画像データのダウンロードを行う（Ｓ２２９）。これにより、店舗端末１の送受信部１１が、資料画像データを受信する。

【0103】

次に、店舗端末１では、図１５（Ｂ）に示されているように、表示制御部１４がディスプレイ１０６の入力画面１００上に、説明者端末９側と同じ資料画像を表示させる（Ｓ２３０）。そして、店舗端末１の送受信部１１は、通信管理装置５に対して、入力画面１００の表示を完了した旨を示す表示完了通知を送信する（Ｓ２３１）。これにより、通信管理装置５の送受信部５１は、表示完了通知を受信する。

【0104】

次に、通信管理装置５では、送受信部５１が説明者端末９に対して、表示完了通知を送信（転送）する（Ｓ２３２）。これにより、説明者端末９の送受信部９１は、表示完了通知を受信する。そして、説明者端末９では、表示制御部９４がディスプレイ９０６の入力画面９００上に、表示が完了した旨を示す情報を表示させる（Ｓ２３３）。

【0105】

（入力可能候補領域の共有処理）
続いて、図１５乃至図１８を用いて、説明者端末９が店舗端末１と入力可能候補領域を共有する処理を説明する。図１６は、入力可能候補領域の共有処理を示したシーケンス図である。図１７において、（Ａ）は説明者端末側の表示画像を示す図、（Ｂ）は店舗端末側の表示画像を示す図である。図１８において、（Ａ）は説明者端末側の表示画像を示す図、（Ｂ）は店舗端末側の表示画像を示す図である。

【0106】

まず、図１５（Ａ）に示されているように、説明者Ｅが電子ペン９０で入力不可モードボタン９２８を押下することで、受付部９２が入力不可モードへの変更を受け付ける（Ｓ２４１）。これにより、モード変更部９７が、入力可能モードから入力不可モードに変更する（Ｓ２４２）。

【0107】

次に、図１７（Ａ）に示されているように、説明者Ｅが電子ペン９０で顧客Ｃに入力して欲しい領域（入力可能候補領域９４０）を囲むと、受付部９２が入力可能候補領域９４０の選択を受け付ける（Ｓ２４３）。入力可能候補領域９４０は、入力不可モード下であっても、入力を可能にする領域の候補であって、この時点では候補であって入力可能候補領域９４０内に入力はできない。これにより、表示制御部９４は、図１７（Ａ）に示されているように、入力可能候補領域９４０を表示させる（Ｓ２４４）。ここでは、入力可能候補領域９４０の外縁が破線によって表されているが、実線であってもよく、又は領域内が周囲と異なる色で表示されてもよい。後述の入力可能候補領域９６０も同様である。なお、ストローク座標のデータは、入力可能領域（入力可能候補領域）の外縁を示すデータである。
更に、表示制御部９４は、入力可能候補領域９４０がロックされ、まだ入力できないことを視覚的に示す施錠アイコン９５０を、入力可能候補領域９４０の近くに表示させる（Ｓ２４５）。この施錠アイコン９５０及び後述の解錠アイコン９５１は、ストローク情報管理ＤＢ９００１において、特定のテーブル（例えば、ストロークＩＤ「Ｓ９０１」のテーブル）に対応している。

【0108】

次に、説明者端末９では、算出部９８が、入力可能候補領域９４０のストローク座標を算出する（Ｓ２４６）。そして、記憶・読出処理部９９が、ストローク情報管理ＤＢ９００１（図５（Ｃ）参照）に、ストローク座標を含むストローク情報を新たな一レコードして記憶する（Ｓ２４７）。このステップＳ２４７で記憶されたストローク情報には、図５（Ｃ）に示されているように、ストロークデータＩＤ、接続ＩＤ、画像ＩＤ、ストローク座標、ストロークの色、ストロークの幅、閉領域化の有無、及び、入力可否が含まれている。なお、記憶・読出処理部９９は、ステップＳ２４３で算出したストローク座標等をストローク情報管理ＤＢ９００１に記憶する際に、ストロークＩＤを生成する。また、この時点では、入力可能候補領域９４０は、閉領域であるため閉領域化の有無は、「１（有）」として示され、ロックが掛かっているため入力可否は「否」で示されている。

【0109】

次に、送受信部９１は、通信管理装置５に対して、入力可能モードから入力不可モードへ変更する指示を示すモード変更指示を送信する（Ｓ２４８）。このモード変更指示には、ステップＳ２４７で記憶されたストローク情報が含まれている。これにより、通信管理装置５の送受信部５１は、ストローク情報を受信する。そして、通信管理装置５の記憶・読出処理部５９は、ストローク情報管理ＤＢ５００６に、ステップＳ２４８で受信したストローク情報を新たな一レコードして記憶する（Ｓ２４９）。

【0110】

次に、通信管理装置５の送受信部５１が、店舗端末１に対して、ステップＳ２４８で受信したモード変更指示を送信（転送）する（Ｓ２５０）。これにより、店舗端末１の送受信部１１が、ストローク情報を含むモード変更指示を受信する。

【0111】

次に、店舗端末１では、記憶・読出処理部１９が、ストローク情報管理ＤＢ１００１に、ステップＳ２５０で受信されたストローク情報を新たな一レコードして記憶する（Ｓ２５１）。そして、モード変更部１７は、ステップＳ２５０で受信したモード変更指示に基づき入力可能モードから入力不可モードにモード変更する（Ｓ２５２）。そして、図１７（Ｂ）に示されているように、表示制御部１４は、ストローク情報に基づき、ディスプレイ１０６の入力画面１００上において、説明者端末９側と同じ位置に、入力可能候補領域９４０に対応する入力可能候補領域１４０を表示させる（Ｓ２５３）。この場合、表示制御部１４は、入力画面９００上に入力された入力可能候補領域９４０を、ストローク情報によって入力画面１００上における同じ位置に同じ色及び同じ幅で入力可能候補領域１４０として表示する。ここでも、入力可能候補領域１４０の外縁が破線によって表されているが、実線であってもよく、又は領域内が周囲と異なる色で表示されてもよい。後述の入力可能候補領域１６０も同様である。
また、上記ステップＳ２４７，Ｓ２４９，Ｓ２５１の処理によって、店舗端末１、通信管理装置５、及び説明者端末９の３カ所で、同じストローク情報を共有することができる。

【0112】

なお、図１７（Ａ）では、店舗端末１側で施錠アイコン９５０に対応する施錠アイコンを表示していないが、表示するようにしてもよい。

【0113】

以上により、説明者端末９側で入力及び表示された入力可能候補領域９４０は、店舗端末１側でも入力可能候補領域１４０として表示される。

【0114】

また、図１８（Ａ）に示されているように、説明者Ｅが、入力可能候補領域９４０とは異なる入力可能候補領域９６０を入力すると、上記ステップＳ２４１～Ｓ２５１の処理が繰り返され、表示制御部９４は入力可能候補領域９６０及び施錠アイコン９７０を表示させると共に、表示制御部１４は入力可能候補領域１６０を表示させる。

【0115】

（入力可能領域への変更処理）
続いて、図１９及び図２０を用い、説明者端末９から店舗端末１に対して、入力可能候補領域から入力可能領域に変更する処理を説明する。なお、入力可能候補領域は入力できない状態の領域であり、入力可能領域は入力できる状態の領域である。図１９は、入力可能候補領域から入力可能領域への変更処理を示したシーケンス図である。図２０において、（Ａ）は説明者端末側の表示画像を示す図、（Ｂ）は店舗端末側の表示画像を示す図である。

【0116】

まず、説明者Ｅが電子ペン９０で図１８（Ａ）に示されている施錠アイコン９５０を押下すると、受付部９２は入力可能候補領域９４０に対する入力許可の受け付けを行う（Ｓ２６１）。これにより、表示制御部９４が、施錠アイコン９５０から図２０（Ａ）に示されているような解錠アイコン９５１に表示変更させると共に、入力可能候補領域９４０から図２０（Ａ）に示されているような入力可能領域９４１に変更表示させることで、入力許可の表示を行う（Ｓ２６２）。ここでは、入力可能領域９４１の外縁が実線によって表されているが、破線であってもよく、又は領域内が周囲と異なる色で表示されてもよい。但し、施錠アイコン９５０，９７０や、解錠アイコン９５１を表示させない場合、入力可能候補領域９４０，９６０と、入力可能領域９４１の区別がつかなくなるため、図２０（Ａ）で示されているように、入力可能候補領域９６０を破線で表し、入力可能領域９４１を実線で表すなどの表示形態の区別をすることが望ましい。このように、入力可能候補領域９４０と入力可能領域９４１は、形状及び色の少なくとも一方が異なることが望ましい。なお、入力可能候補領域９４０が第１の表示形態の一例であり、入力可能領域９４１が第２の表示形態の一例である。

【0117】

次に、記憶・読出処理部９９は、ストローク情報管理ＤＢ９００１において、表示変更された解錠アイコン９５１に対応するレコードの「入力可否」欄を「否」から「可」に変更する（Ｓ２６３）。

【0118】

次に、説明者端末９の送受信部９１は、通信管理装置５に対して、上記ステップＳ２６３で変更した内容（「可」）を示す変更情報を送信する（Ｓ２６４）。この変更情報には、ステップＳ２６３で変更されたレコードの接続ＩＤが含まれている。これにより、通信管理装置５の送受信部５１は、変更情報を受信する。

【0119】

次に、通信管理装置５では、上記ステップＳ２６３の処理と同様に、記憶・読出処理部５９が、ストローク情報管理ＤＢ５００６において、表示変更された解錠アイコン９５１（即ち、ステップＳ２６４で受信された接続ＩＤ）に対応するレコードの「入力可否」欄を「否」から「可」に変更する（Ｓ２６５）。そして、送受信部５１は、店舗端末１に対して、上記ステップＳ２６４で受信した変更情報を送信（転送）する（Ｓ２６６）。これにより、店舗端末１の送受信部１１は、変更情報を受信する。

【0120】

次に、店舗端末１では、上記ステップＳ２６３，Ｓ２６５の処理と同様に、記憶・読出処理部１９が、ストローク情報管理ＤＢ１００１において、表示変更された解錠アイコン９５１（即ち、ステップＳ２６６で受信された接続ＩＤ）に対応するレコードの「入力可否」欄を「否」から「可」に変更する（Ｓ２６７）。そして、受付部１２は、特定領域としての入力可能候補領域１４０に対する電子ペン１０の入力を受け付けることを可能にする（Ｓ２６８）。この場合、受付部１２は、入力可能部としての役割を果たす。また、表示制御部１４は、図１８（Ｂ）に示されている入力可能候補領域１４０から図２０（Ｂ）に示されているような入力可能領域１４１に変更表示させることで、入力許可の表示を行う（Ｓ２６８）。この際、説明者Ｅは、念のために、映像通話によって入力可能領域１４１に対して入力することが可能な状態になった旨を伝えてもよい。ここでも、入力可能領域１４１の外縁が実線によって表されているが、破線であってもよく、又は領域内が周囲と異なる色で表示されてもよい。但し、入力可能候補領域１４０，１６０と、入力可能領域１４１の区別がつかなくなるため、図２０（Ｂ）で示されているように、入力可能領域１４１を実線で表し、入力可能候補領域１６０を破線で表すなどの表示形態の区別をすることが望ましい。このように、入力可能領域１４１と入力可能候補領域１６０は、形状及び色の少なくとも一方が異なることが望ましい。なお、入力可能候補領域１４０が第１の表示形態の一例であり、入力可能領域１４１が第２の表示形態の一例である。

【0121】

以上により、顧客Ｃは、入力可能領域１４１に対して、電子ペン１０により自分の氏名を入力することが可能になった状態を把握することができる。

【0122】

（入力内容の共有処理）
続いて、図２１及び図２２を用い、店舗端末１から説明者端末９に対して、入力内容を共有する処理を説明する。図２１は、入力内容の共有処理を示したシーケンス図である。図２２において、（Ａ）は説明者端末側の表示画像を示す図、（Ｂ）は店舗端末側の表示画像を示す図である。

【0123】

まず、顧客Ｃが図２２（Ｂ）に示されているように、電子ペン１０を用いて、入力可能領域１４１内に所望の情報（ここでは、顧客Ｃの氏名）を入力すると、受付部１２は入力内容の受け付けを行う（Ｓ２８１）。これにより、表示制御部１４が、図２２（Ｂ）に示されているように、入力可能領域１４１内に、入力内容を表示させる（Ｓ２８２）。そして、算出部１８が、入力可能領域１４１に入力されたストロークのストローク座標を算出する（Ｓ２８３）。そして、記憶・読出処理部１９が、ストローク情報管理ＤＢ１００１（図５（Ｃ）参照）に、ストローク座標を含むストローク情報を新たな一レコードとして記憶する（Ｓ２８４）。このステップＳ２８４で記憶されたストローク情報には、図５（Ｃ）に示されているように、ストロークデータＩＤ、接続ＩＤ、画像ＩＤ、ストローク座標、ストロークの色、ストロークの幅、及び閉領域化の有無が含まれる。この場合も、記憶・読出処理部１９は、新たにストロークＩＤを生成する。なお、店舗端末１側で入力された場合、ストローク情報には入力可否が含まれない。

【0124】

次に、送受信部１１は、通信管理装置５に対して、ステップＳ２８４で記憶されたストローク情報を送信する（Ｓ２８５）。これにより、通信管理装置５の送受信部５１は、ストローク情報を受信する。そして、通信管理装置５の記憶・読出処理部５９は、ストローク情報管理ＤＢ５００６に、ステップＳ２８５で受信したストローク情報を新たな一レコードして記憶する（Ｓ２８６）。

【0125】

次に、通信管理装置５の送受信部５１が、説明者端末９に対して、ステップＳ２８５で受信したストローク情報を送信（転送）する（Ｓ２８７）。これにより、説明者端末９の送受信部９１が、ストローク情報を受信する。

【0126】

次に、説明者端末９では、記憶・読出処理部９９が、ストローク情報管理ＤＢ９００１に、ステップＳ２８７で受信したストローク情報を新たな一レコードして記憶する（２８８）。そして、図１７（Ｂ）に示されているように、表示制御部１４は、ステップＳ２５０で受信したストローク情報に基づいて、ディスプレイ９０６の入力画面９００上において、店舗端末１側と同じ位置に、店舗端末１側の入力内容（ここでは、氏名）に対応する入力情報を表示させる（Ｓ２８９）。この場合、表示制御部９４は、入力画面１００上に入力された入力内容を、ストローク情報によって入力画面９００上における同じ位置に同じ色及び同じ幅で表示する。また、上記ステップＳ２８４，Ｓ２８６，Ｓ２８７の処理によって、店舗端末１、通信管理装置５、及び説明者端末９の３カ所で、同じストローク情報を共有することができる。

【0127】

以上により、店舗端末１側で入力及び表示された入力内容は、説明者端末９側でも同じ形態で表示される。

【0128】

〔本実施形態の主な効果〕
以上説明したように本実施形態によれば、表示された所定領域の全体に対する入力が可能な入力可能モードから、所定領域の全体に対する入力が不可能な入力不可モードに変更することで、顧客Ｃが勝手に入力することを防止する。更に、この入力不可モードにおいて、所定領域のうちの特定領域に対する入力を可能にすることで、遠隔（リモート）による映像通話の場合であっても、顧客Ｃは説明者Ｅによる所望の特定領域を把握することができる。これにより、説明者Ｅと顧客Ｃとの話し合いの時間が長くなってしまうことを抑制することができるという効果を奏する。なお、この場合の「所定領域の全体」は、入力画面１００の全体であってもよいし、入力画面１００上の一部に表示された資料画像の全体であってもよい。

【0129】

〔補足〕
なお、店舗端末１は、通信端末の一例である。店舗端末１には、ＰＣだけでなく、スマートウォッチ、ゲーム機、映像通話専用機なども含まれる。説明者端末は、他の通信端末の一例である。

【0130】

各ＣＰＵ１０１，３０１，５０１，９０１等の各構成要素は、単一であってもよく複数であってもよい。

【0131】

また、上述の実施形態における各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU、及び従来の回路モジュール等のデバイスを含む。

【符号の説明】

【0132】

１ 店舗端末（通信端末の一例）
３ 中継装置
５ 通信管理装置
９ 説明者端末（他の通信端末の一例）
１１ 送受信部（送信手段の一例、受信手段の一例）
１２ 受付部（入力可能手段の一例）
１３ 通信制御部
１４ 表示制御部（表示制御手段の一例）
１５ 判断部
１６ 双方向入力部
１７ モード変更部（モード変更手段の一例）
１８ 算出部
１００ 通信ネットワーク

【先行技術文献】

【特許文献】

【0133】

【文献】特開２００８－１５４０５９号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】