【実施例】
【0012】
図1は、コミュニケーションシステム1のシステム構成を示すブロック図である。
コミュニケーションシステム1は、インターネット3に通信可能に接続されたアプリ配信サーバ5、メインサーバ10、通話サーバ30、及びユーザ端末50を有している。
【0013】
メインサーバ10は、制御部11、通信部12、操作入力部13、表示部14、及び記憶部15を備えている。
通話サーバ30は、制御部31、通信部32、操作入力部33、表示部34、及び記憶部35を備えている。
ユーザ端末50は、制御部51、通信部52、操作入力部53、表示部54、音声入力部55、音声出力部56、記憶部57、および撮影部58を備えている。
【0014】
メインサーバ10と通話サーバ30は、サーバコンピュータで構成されており、ユーザ端末50はスマートフォン等の移動体端末により構成されている。これらは、いずれもハードウェア要素としてCPUとROMとRAM等で構成されて各種演算や制御動作を実行する制御部(11,31,51)、LANボードやWIFIユニット等で構成されて有線または無線での通信を実行する通信部(12,32,52)、タッチパネルやキーボードやマウスや押下ボタンやこれらの複数で構成されて接触操作による入力を受け付ける操作入力部(13,33,53)、液晶ディスプレイや有機ELディスプレイ等で構成されて文字や図等の画像を表示する表示部(14,34,54)、およびハードディスクやフラッシュメモリ等で構成されて情報のリードライトを許容する記憶部(15,35,57)を備えている。
【0015】
また、ユーザ端末50には、さらに、マイクによって音声を集音することで音声入力を受け付ける音声入力部55、スピーカーから音を発して音声出力を行う音声出力部56、デジタルカメラによって静止画や動画を撮影する撮影部58を備えている。
【0016】
メインサーバ10の記憶部15には、全体を管理する管理プログラム15aと、お絵かき処理を管理するお絵かき管理プログラム15bと、ユーザ端末50とユーザに関するユーザ関連データ15cとが記憶されている。ユーザ関連データ15cには、ユーザ端末50の識別情報(MACアドレス等)、ユーザを識別するユーザ識別情報(IDまたは電話番号等)、および、ユーザのコミュニケーション相手(友達)に関するコミュニケーション相手情報等、適宜の情報を記憶している。なお、お絵かき管理プログラム15bは、管理プログラム15aと同じメインサーバ10にインストールするに限らず、別途の描画サーバを設けて、この描画サーバにインストールされてもよい。
【0017】
通話サーバ30の記憶部35には、アドレス発行等を行って通話相手を管理する通話相手管理プログラム35aと、IPネットワーク内で、IP電話端末の回線交換を行うIP−PBX(Internet Protocol Private Branch eXchange)等の通話プログラム35bと、ユーザ端末50の識別情報等で構成されて通話を実現するための情報である通話用管理情報35cとを記憶している。
【0018】
ユーザ端末50の記憶部57は、コミュニケーション用のアプリケーションであるコミュニケーションアプリ57a、および、コミュニケーション相手の識別情報等のコミュニケーション相手データ57bを記憶している。
【0019】
図2は、
図1とともに説明したハードウェアを用いてメインサーバ10、通話サーバ30、およびユーザ端末50の各制御部11,31,51がそれぞれのプログラム(15a,15b,35a,35b,57a)によって実行する機能を表す機能ブロック図である。
【0020】
図3〜
図5は、ユーザ端末50の表示部54に表示する各画面の構成を説明する説明図である。各画面は、表示によってユーザに伝えるとともに、表示部54に重ねて設けられた透明のタッチパネルが入力操作されることによって操作入力を受け付ける入力要素としても機能する。
【0021】
接続相手選択部65は、
図3(A)に示す接続相手選択画面110を表示し、一覧表示部116に一覧表示した接続相手116aの中からひとつ(一人)をユーザに選択させる。この接続相手116aは、特定の個人ひとりである場合もあれば、複数人で作成されたグループである場合もある。
【0022】
接続相手選択画面110の下部には、メッセージを送受信したことのある接続相手を一覧表示するとともに新たな接続相手への新規メッセージの送信も可能とするメッセージボタン117、登録済みの接続相手を一覧表示部116に一覧表示して接続相手(友だち)の追加を可能とする画面を表示する連絡先ボタン118、接続相手(友だち)を追加する友だち追加ボタン119、接続相手と音声による双方向の無料通話を行う通話操作ボタン120、およびプロフィール編集や設定変更やスタンプ購入やグリーティングカード購入や画面イメージ変更やお絵描きチャットやお絵描きメールやイベント表示や機種変更処理や公式アカウント確認や月額コース変更や災害時メッセージ送信等を可能とする画面に移行するその他ボタン121を備えている。
【0023】
なお、接続相手選択画面110で通話操作ボタン120が選択されると、通話開始処理部71(
図2参照)は、接続相手一覧を表示して接続相手を選択させ、メインサーバ10とは別に設けられた通話サーバ30に通話依頼信号を送信し、接続相手との通話機能部73による通話状態へ移行する。このとき、接続相手が通話許可して通話接続が完了するまで、「相手の応答を待っています。」等の接続待ちメッセージを画面上に表示する。
【0024】
これらの各要素により、接続相手選択部65(
図2参照)は、ユーザによる接続相手の選択を受け付け、選択された接続相手とメッセージによるコミュニケーションを行うメッセージ機能部66へ接続相手を渡す。
メッセージ機能部66は、文字入力機能部66a、絵文字入力機能部66b、イラスト選択機能部66c、手書き入力機能部66d、手書き複合入力機能部66e、及びデコレーション写真作成機能部66fを有している。
【0025】
メッセージ機能部66は、
図3(B)のメッセージ表示画面130を表示し、入力されたメッセージの接続相手への送信と、送信した送信メッセージ136および接続相手から受信した受信メッセージ135のタイムライン表示部134への表示を行う。タイムライン表示部134では、左右のうち一方が自分、他方が自分以外の接続相手となっており、送信と受信が一目でわかるように表示される。
【0026】
メッセージ表示画面130の上部には、接続相手選択画面110に移行する戻るボタン131、接続相手の氏名(若しくはニックネーム)を表示する接続相手表示部132、表示している接続相手とのメッセージに関する設定等を行うためのポップアップ画面(図示省略)を表示する設定ボタン133が設けられている。
【0027】
このポップアップ画面(図示省略)には、タイムラインへ他のユーザを招待する招待ボタン、タイムラインの接続相手をブロックするブロックボタン、表示名を編集する表示名編集ボタン、およびタイムライン表示部134の背景(画像、色、写真等)を変更する背景設定ボタンが設けられている。
【0028】
招待ボタンが選択されると、接続相手追加部61(
図2参照)が機能し、上述した一覧表示部116と同様の画面を表示して追加する接続相手の選択を受け付け、選択された接続相手との接続を確立して、以降の入力メッセージを追加した接続相手に送信するとともに、追加した接続相手から受信したメッセージをタイムライン表示部134に時系列に表示する。
【0029】
メッセージ表示画面130の下部には、コミュニケーション方法を選択するコミュニケーション方法選択部137、入力内容を文字か絵文字かに切り替えてその入力を受け付ける入力内容受付部138、入力内容受付部138に入力する絵文字(アイコン)を選択する絵文字選択部(アイコン選択部)121、送信するイラスト(スタンプ)を選択するイラスト選択部(スタンプ選択部)122、手書き描画画像を作成する手書き描画画像作成部123、手書き描画やスタンプ等を複合して画像作成できる複合画像作成部124、デコレーション写真を作成するデコレーション写真作成部125、および入力された内容を接続相手に送信する送信ボタン139が設けられている。
【0030】
コミュニケーション方法選択部137が選択されると、メッセージ表示画面130の下方約半分の領域にコミュニケーション方法一覧(図示省略)を表示する。このコミュニケーション方法一覧には、通話機能部73を機能させて相手と無料通話が可能な通話操作ボタン、デコレーション写真作成機能部66fを機能させてデコレーションした写真を撮影するデコレーション写真作成ボタン、過去に作成した手書き描画画像(お絵かきによる画像)を選択して送信する手書き描画画像選択ボタン(スクラップブック)、写真撮影または動画撮影をして送信するカメラボタン、手書き入力機能部66dを機能させて手書き入力による描画を受け付けて作成された手書き入力画像を送信する手書き入力ボタン(お絵かきメール)、予め登録された定型文を選択して送信する定型文送信ボタン、撮影済みの
写真を選択して送信する写真送信ボタン(ギャラリー)、録画済みの動画を選択して送信する動画送信ボタン(モーション)、フリーハンドでのお絵かき(手書き描画)をしてできた絵を送信するお絵かきメールボタン、接続相手とリアルタイムで双方向にフリーハンドでのお絵かきをするお絵かきトークボタン(お絵かきチャット)、連絡先を送信する連絡先送信ボタン、予め登録されているグリーティングカードを選択して送信するカードボタン、および指定範囲の地図を送信する地図ボタン等が設けられている。
【0031】
入力内容受付部138が選択されると、
図3(C)に示すように、文字入力用の文字選択入力部128が表示される。この文字選択入力部は、ひらがなを入力するひらがな入力部、アルファベットを入力するアルファベット入力部、数字を入力する数字入力部、および絵文字を入力する絵文字入力部を適宜切替表示できる。この文字選択入力部128でユーザに入力された文字は、入力内容受付部138に表示され、送信ボタン139でテキストデータとして送信される。
【0032】
手書き描画画像作成部123が選択されると、手書き入力機能部66dが機能し、
図3(D)に示す手書き描画画面170を表示する。
手書き描画画面170は、画面の大部分を占めてフリーハンドでの描画を受け付けて表示する手書き描画部175を備えている。この手書き描画部175は、初期表示としてあらかじめ定められた単調な背景画像(例えば、一色の背景画像、一色で明度のグラデーションが施された背景画像など)が表示されており、この実施例では白色の背景が表示されている。手書き描画画面170の上部には、手書き描画を終了してメッセージ表示画面130にキャンセルボタン171、手書き描画部175の描画内容を画面上で消去して背景(初期の白色の背景、または選択された写真画像)のみを表示するゴミ箱ボタン172、および背景を写真撮影してその写真に差し替えるか撮影済みの写真に差し替えるか地図の
位置と範囲を指定してその地図に差し替える背景合成ボタン173、および作成した手書き描画画像を送信する送信ボタン174を備えている。手書き描画画面170の下部には、イラスト(スタンプ)を張り付けできるイラスト追加ボタン176、描画するペンの形状(大きさなど)を変更するペン形状変更ボタン177、描画するペンの色を変更するペン色変更ボタン178、描画内容を部分的に消去する消しゴムを選択する消しゴムボタン179、描画操作を1つ前に戻す戻るボタン181、戻した描画操作を1つ後に進める進むボタン182、および、描画内容を記憶部57(
図1参照)に記憶または送信(メール送信、短文投稿サイトへの投稿、またはSNSへの投稿など)する描画内容発信ボタン(描画内容保存ボタン)183を備えている。これらのボタン176〜183は、描画する
ツールを選択するツール選択部として機能する。なお、ゴミ箱ボタン172は、背景以外を削除する構成であるから、背景として写真画像が選択されて表示されている場合は、写真画像がそのまま残る。このため、手書き描画によって線図や手書き文字を描いてから写真を選択し、手書き文字や線図の表示をやり直したい場合に写真画像を残したまま再作成することができる。なお、写真画像も消去したい場合は、キャンセルボタン171によって作成を一旦キャンセルすれば、再度白色の背景だけのまっさらなキャンバス上に手書き描画を開始できる。
【0033】
ペン形状変更ボタン177が選択された場合、
図4(A)に示すように、ペン形状を一覧表示するペン形状選択部177aを表示し、どの形状のペンにするか選択を受け付けて、以降はその形状のペンで描画を行えるようにする。なお、図示の例では、ペン形状としてサイズの異なるペンを選択できるようにしているが、形状の異なるペン形状を選択可能としてもよい。
【0034】
ペン色変更ボタン178が選択された場合、
図4(B)に示すように、ペン色を一覧表示するペン色選択部178aを表示し、どの色のペンにするか選択を受け付けて、以降はその色のペンで描画を行えるようにする。なお、ノーマル、パステル、半透明といったグループを選択して当該グループ内のペン色を選択する構成とすることで、多数の色から容易に任意の色を選択できるようにしている。
【0035】
イラスト追加ボタン176が選択された場合、
図4(C)に示すように、下方のツール群の表示をイラスト追加用表示に切り替える。このイラスト追加用表示のときに表示されるツール群は、手書き描画画面へ戻るボタン176a、イラスト選択ボタン(スタンプ選択ボタン)176b、イラストを左に任意の角度に回転させるイラスト左回転ボタン176c、イラストを右へ任意の角度に回転させるイラスト右回転ボタン176d、イラストのサイズを縮小するイラスト縮小ボタン176e、および、イラストのサイズを拡大するイラスト拡大ボタン176fを備えている。これにより、任意のイラストを張り付け、サイズおよび向きを変更できるようにしている。
【0036】
背景合成ボタン173が選択された場合、
図4(D)に示すように、合成対象選択表示部190を表示し、撮影済みの写真画像をライブラリから選択させるライブラリから選択ボタン191、カメラで写真撮影してその写真を採用する撮影ボタン192、地図を表示させて任意の位置および範囲の地図を選択させる地図選択ボタン193、および背景合成をキャンセルするキャンセルボタン195を備えている。
【0037】
描画内容発信ボタン(描画内容保存ボタン)183が選択された場合、
図5(A)の発信先指定部210を表示し、完成した手書き描画画像を保存する保存ボタン211、完成した手書き描画画像をメッセージ表示画面130へメール送信するメール送信ボタン212、完成した手書き描画画像をその他のアプリケーション(例えばメールアプリケーション、画像編集アプリケーション等)に送信するその他アプリ転送ボタン213、および完成した手書き描画画像の発信を取りやめるキャンセルボタン215を備えている。
【0038】
複合画像作成部124が選択された場合、
図5(B)に示すように、複合画像作成画面17を表示する。複合画像作成画面230は、手書き描画を受け付ける手書き描画部6を備えており、下方に、グリーティング用フレーム選択部(グリーティング用テンプレート選択部)231、写真選択部232、手書き描画画像作成部123、グリーティング用イラスト選択部(グリーティング用貼付素材選択部)233、およびイラスト選択部(スタンプ選択部)122を備えている。
【0039】
グリーティング用フレーム選択部231は、グリーティング用のフレーム画像をダウンロードした複数の画像の中から選択させ、選択されたフレーム画像を手書き描画部175に重ねて表示(合成表示)する。
【0040】
写真選択部232は、撮影済みの写真を選択するか、あるいは写真撮影をしてその撮影をした写真を選択することを受け付け、選択された写真を手書き描画部175に重ねて表示(合成表示)する。
【0041】
グリーティング用イラスト選択部233は、グリーティング用のイラスト画像をダウンロードした複数の画像の中から選択させ、選択されたイラスト画像を手書き描画部175に重ねて表示(合成表示)する。これらの選択部231,232,233は、手書き描画画像を作成するツールを選択するツール選択部として機能する。
【0042】
このようにして、
図5(C)に示すように、背景画像222の上に手書き文字220が描かれた手書き描画画像を迅速に作成でき、さらに、
図5(D)に示すように、写真画像225(ユーザ選択画像)等を手書き文字220の向こう側に合成することができる。
【0043】
また、手書き描画画像に書き込みできる各要素は、要素毎にレイヤー構造となっている。すなわち、最も上面(手前側)のレイヤーから最も下面(奥側)のレイヤーまでの順で説明すると、第1レイヤーがイラスト用レイヤー、第2レイヤーが手書き描画用レイヤー、第3レイヤーがフレーム用レイヤー、第4レイヤーが写真レイヤー(および背景レイヤー)となっている。このため、イラストは常に手前に表示され、手書き描画の線などがイラストの手前に重なってきたなくなることが防止され、かつ、手書き描画の線がイラスト以外に隠されることが無い(写真の裏に隠れて全く見えなくなることや、フレームによって切り取られるといったことが無い)ように構成されている。同じレイヤー上の描かれたオブジェクトは、後のものが手前に配置される。したがって、イラストを配置した後に重ねてイラストを配置すると、後から配置したイラストが前面に現れ、先に配置したイラストのうち後のイラストと重なっている部分は見えないこととなる。このようにして、簡易操作で最も適切な手書き描画画像が作成されるように構成されている。
【0044】
メインサーバ10(
図2参照)のメッセージ転送部17は、ユーザ端末50から受信した送信メッセージ136(
図3(B)参照)の内容を接続相手のユーザ端末50に転送する。また、メッセージ転送部17は、転送したメッセージを時系列に管理するメッセージ管理機能部としても機能する。これにより、入力完了したメッセージの双方向でのやり取りおよび過去からのやり取りの時系列での確認を可能にしている。
【0045】
なお、上述した手書き描画画面170を用いた手書き描画でのコミュニケーションは、完成した手書き描画画像を送信する形でメールのようにして行われるが、コミュニケーションシステム1は、このような手書き描画によるコミュニケーションをリアルタイムに行うお絵描きトーク機能も有している。
【0046】
上述したコミュニケーション方法選択部137にてお絵かきトークボタン(お絵かきチャット)が選択された場合、ユーザ端末50(
図2参照)は、お絵かきトークを開始する旨のお絵かきトーク開始用通知(図示省略)を表示してキャンセルボタンとOKボタンを表示し、OKボタンが選択されるとお絵かき開始処理部67(
図2参照)によってお絵かき処理を開始する。
【0047】
このとき、お絵かき開始処理部67は、お絵かき機能部69を起動してお絵かきトーク画面(
図3(D)の手書き描画画面170と同一要素を全て有する同様のお絵描きトーク画面)を表示させると共に、接続相手とのお絵かきトークを開始するお絵かきトーク開始依頼信号をメインサーバ10へ送信する。お絵かきトーク開始依頼信号を受けたメインサーバ10は、お絵かきリアルタイム処理部18によって接続相手にお絵かきトーク開始要求があることを知らせるお絵かきトーク招待メッセージ(図示省略)を表示する。これを受けた接続相手は、自身のユーザ端末50により「OK」を選択してお絵かきトークを開始するか、あるいは「キャンセル」をしてメッセージにて「少し待って」と回答するといったことができる。「OK」が選択されてこの信号をメインサーバ10が受信すると、お
絵かきリアルタイム処理部18は、接続相手となっている2以上のユーザ端末50のお絵かき機能部69に対して情報(パケット)を連続的に送受信する双方向のリアルタイムでのお絵かき処理を開始する。
【0048】
ユーザ端末50のお絵かき機能部69は、お絵かきトーク画面(
図3(D)の手書き描画画面170と同様のお絵描きトーク画面)を表示し、ユーザによるフリーハンドの描画を受け付け、自己のユーザと接続相手がフリーハンドで描画した軌跡をリアルタイムに表示部54(
図1参照)に表示する。
【0049】
キャンセルボタン171が選択されると、お絵かき終了処理部68(
図2参照)は、メインサーバ10に退出信号を送信してお絵かきトークを終了し、メッセージ機能部66によりメッセージを送受信するメッセージ表示画面130に戻る。
【0050】
お絵かきリアルタイム処理部18は、ユーザ端末50のお絵かき機能部69によって描画された情報(パケット)を刻々とリアルタイムで受け取って接続相手にリアルタイムで送信する。また、接続相手の両方から同時に描画された場合、この両方の描画内容を描画前の画像に対して合成する合成処理を行ってから接続相手のお絵かき機能部69へ送信する。従って、お絵かきトークをしている利用者は、自分が描画している最中であっても相手の描画も同時に描かれ、1つのキャンバスに接続相手と一緒に描いているようにリアルタイムの描画を行える。
【0051】
メインサーバ10(
図2参照)の接続状態確認部19は、お絵かきリアルタイム処理部18によってユーザ端末50と双方向にやり取りしている応答状態を確認している。接続状態確認部19は、相手からの応答が所定時間無くなる、あるいは相手からの応答信号が不適切な信号になっている等、お絵かきトーク中であるユーザ端末50の1つが電波状態の悪いこと等に起因する応答不可状態であると判断すると、接続を切断し、お絵かきトークをしている他方のユーザ端末50(応答のある方のユーザ端末50)に対して、接続が切断されたことを通知する。
【0052】
接続断通知部62は、メインサーバ10からの通知を受けて、例えば「○○が退室しました。」というメッセージをユーザ端末50の画面上に表示する。この通知により、リアルタイムの通信が切断され、お絵かきトークでこちらが描いている描画内容が相手に伝わっていない状態であることをユーザに伝える。
【0053】
お絵かきトーク画面で通話操作ボタンが選択されると、通話開始処理部71(
図2参照)は、メインサーバ10とは別に設けられた通話サーバ30に通話依頼信号を送信し、通話機能部73による通話状態へ移行する。このとき、接続相手が通話許可して通話接続が完了するまで、「相手の応答を待っています。」等の接続待ちメッセージを画面上に表示する。
【0054】
通話サーバ30は、アドレス割り当て部37により、通話要求してきたユーザ端末50と、その接続相手となっている相手側のユーザ端末50に対して、一時的アドレスをそれぞれ割り当てる。このアドレスによって通話相手を特定することで、双方向の通話を可能としている。すなわち、相手側の電話番号を知らなくても、その都度割り当てられるアドレスを用いてIP電話による通話が可能となる。また、アドレス割り当て部37は、接続相手のユーザ端末50に通話要求があることを通知する。
【0055】
この通知を受けたユーザ端末50は、
図4(C)に示すように、お絵かきトーク画面に着信中メッセージを表示し、着信中であること(通話要求が来て電話のコール状態であること)をユーザに知らせる。このとき、ユーザ端末50は、操作案内メッセージも表示し、通話操作ボタンを選択することで通話開始できること、通話中もお絵かきトークは継続して利用できることをユーザに知らせる。
【0056】
通話サーバ30の通話リアルタイム処理部38は、アドレス割り当て部37で割り当てられたアドレスのユーザ端末50との間で通話信号(パケット)を送受信し、通話を実施する。この通話リアルタイム処理部38は、IP−PBX(Internet Protocol Private Branch eXchange)の機能を有しており、通話の中継を実現している。
【0057】
ユーザ端末50の通話機能部73は、通話サーバ30を介した接続相手のユーザ端末50との通話(電話)を実行する。この通話中のとき、お絵かきトーク画面は、通話操作ボタンの形状および色を変更して、通話中であることをユーザに知らせる。このとき、通話機能部73と並列にお絵かき機能部69も動作しているため、ユーザ端末50は、通話とお絵かきの両方を同時にリアルタイムに送受信できる。従って、
図4(D)に示すように手書き描画部175に描画しながら口頭で説明するといったことができる。
【0058】
通話サーバ30(
図2参照)の電波状態確認部39は、ユーザ端末50との電波状態を確認する。すなわち、電波状態が良好であると通話が良好に成立するが、電波状態がある程度悪くなると通話の音が途切れる等の状態が発生し、さらに電波状態が悪くなると通話ができなくなる。このため、ユーザ端末50の電波状態を常時確認している。
【0059】
通話切断部41は、電波状態確認部39で確認している電波状態が所定状態より悪くなると、通話の切断を実行する。この所定状態は、完全に通話不可となった状態ではなく、それより前の通話が少々困難になっている電波状態としている。すなわち、電波が完全に遮断されていなくても、ある程度悪くなっている状態(例えば、スマートフォンの機能による電波状態を示すアンテナ表示がフルでもゼロでもなく3本中1本または2本となっている状態など)であると、パケットロス等が発生し始めるため、画面上は通話継続中に見えるにもかかわらず音声が届かないことが生じる。本実施形態では、お絵かきトークをしながら通話も行うため、通常の音声通話のみの電話と違い、音声が届いていないことに気づきにくい。つまり、お絵かきトークのリアルタイム処理が正常動作しながら通話音声が
届かないといった状況が生じると、ユーザは音声が届いていないとは思わない。このため、こちらが言ったことを相手が無視して(実際には音声が届いていない)お絵かきトークでの描画を続けているような状態が生じ得る。このような状況を避けるため、パケットロス等によって音声が届かない状況の発生し得る電波状態になると、通話切断部41が強制的に通話を切断し、一時的にユーザ端末50に付与していたアドレスを解放する。
【0060】
このときアドレスを解放することによって、使われないアドレスが割り当て不可状態で残り続けてアドレスが枯渇することを防止している。通話切断部41は、通話が切断されたことを通話の接続をしていた全て(2人通話であれば2人、グループ通話であればグループ全員)のユーザ端末50に通知する。
【0061】
ユーザ端末50の通話断通知部63は、通話サーバ30からの通知を受けて、「無料通話を終了しました。」というメッセージをユーザ端末50の画面上に表示する。この通知により、リアルタイムの通話が切断され、会話が相手に伝わっていない状態であることをユーザに伝えるとともに、リアルタイムのお絵かきトークは継続する。
【0062】
また、上述した通話サーバ30(
図2参照)の電波状態確認部39は、電波状態が悪くなって通話が成立しない接続断状態になった場合、通話中であるユーザ端末50の1つが電波状態の悪いこと等に起因する応答不可状態であると判断すると、接続を切断し、通話をしている他方のユーザ端末50(応答のある方のユーザ端末50)に対して、通話の接続が切断されたことを通知する。この状態のときは、メインサーバ10の接続状態確認部19においても応答不可状態であると判断して接続を切断することになるから、お絵かきトークと通話の両方が接続断となる。このため、ユーザ端末50には、「相手の接続を待っています」といった接続待機メッセージと、お絵かきトークと通話が終了したことを示す「○○が退室し無料通話も終了しました」といった全リアルタイム処理終了メッセージ
を表示する。またこのとき、通話切断されたユーザ端末50の通話操作ボタンの形状と色も通話していない状態の表示に戻す。なお、図示の例はグループでお絵かきトークおよび通話をしていた場合の例であり、そのグループ内の一人の通信が切断されたことを表示している。
【0063】
ユーザ端末50において、通話中に通話操作ボタンが選択されると、通話終了処理部72(
図2参照)は、通話を終了して通話相手のユーザ端末50に通話終了を通知するとともに、通話操作ボタンの形状と色も通話していない状態の表示に戻す。
【0064】
以上の構成及び動作により、手書き描画を用いたコミュニケーションを容易に行うことができ、温かみのあるコミュニケーションが自然に繰り広げられるコミュニケーションシステム1を提供することができる。
【0065】
すなわち、入力した文字を中心とするコミュニケーションは、コンピュータによって表示される機械的な文字を使用するため、表示も機械的で温かみに欠ける。仮に、写真に文字などを描いて送信できる機能を設けたとしても、そのように写真を選択して文字を描く行為に時間がかかるため、そのような文字が描かれた写真等によるコミュニケーション回数は多くならない。したがって、入力した文字が大部分となるコミュニケーションが繰り広げられる。
【0066】
これに対して、コミュニケーションシステム1は、接続相手選択画面110にてコミュニケーションの相手を選択してメッセージ表示画面130を表示すると、文字選択入力(文字ボタンの選択による入力、キー入力)による文字入力のできる入力内容受付部138と、手書き描画を行える手書き描画画像作成部123および複合画像作成部124が、同一画面に並んでいる。
【0067】
そして、文字選択入力をする場合は、第1の操作として入力内容受付部138を選択して文字選択入力部128を表示させ、第2の操作として文字選択入力部128による文字選択入力が可能な状態となる。
【0068】
また、手書き描画をする場合は、第1の操作として手書き描画画像作成部123(または複合画像作成部124)を選択して手書き描画画面170(または複合画像作成画面230)を表示させ、第2の操作として手書き描画部175に直接手書き描画することが可能な状態となる。つまり、手書き描画画面170(または複合画像作成画面230)が表示された段階で、ペンの色とサイズがデフォルト値として初期設定されたもの(若しくは前回最終使用のものとしてもよい)に決定しているため、ペン等を選ばなくとも手書き描画を開始できる。
【0069】
従って、文字選択入力を開始するための手間(操作回数)と、手書き描画を開始するための手間(操作回数)は変わらないため、操作の面倒さで手書き描画を避けるといったことが生じない。しかも、手書き描画は、文字選択入力で必要とされる文字選択入力部128でのキー選択といった煩わしい操作がないため、キー配列を覚えるといったことをせずとも、白紙の背景に直接手書きで描き始めることができ、文字選択入力よりも容易である。
【0070】
このように、手書き描画が容易になる構成であるため、本コミュニケーションシステム1を用いたコミュニケーションは、自然に手書き描画が増加し、接続相手とのやり取りの多くが手書き描画となる。そうすると、メッセージ表示画面130のタイムライン表示部134には、送信メッセージ136および受信メッセージ135として多くの手書き描画画像が並ぶこととなり、温かみのあるコミュニケーション画面となる。
【0071】
このように、手書き描画をするための手間が文字選択入力をするための手間と同一かそれ以下とすることで、コンピュータを用いながらもあたたかみのあるコミュニケーションが自然に行われるコミュニケーションシステム1を提供でき、コミュニケーションする人々の気持ちを明るくでき、かつ感情豊かなコミュニケーションを促進できる。
【0072】
また、上述した構成及び動作により、早いレスポンスで幅広い手段を通じて円滑なコミュニケーションをとることのできるコミュニケーションシステム1を提供することができ、ユーザの満足度を向上させることができる。
【0073】
お絵かきトークや通話では、メッセージを入力し完成させてから送信ボタンを押して送信するようなコミュニケーションとは異なり、描画の開始と共に描画の軌跡に沿って相手側のユーザ端末50にもリアルタイムで表示されていき、また会話もリアルタイムで相手に届くため、非常に緊密なコミュニケーションをとることができる。
【0074】
メッセージの送受信やお絵かきトークの後に通話を開始できるようにしているため、音の無いコミュニケーションをしてから音のあるコミュニケーションに移行することができる。これにより、通話しようと思ったら相手が声を出して話せない状況であった場合など、無音で通話要求と通話拒否のやりとりをし、かつ、通話できない理由を伝えるといったことができる。これにより、お互いのその時の状況に応じた円滑なコミュニケーションを図ることができる。
【0075】
また、お絵かきトークをして接続相手と無音のリアルタイムコミュニケーションを取っている状態から、通話による音ありのリアルタイムコミュニケーションを追加できるため、通話の要求があって出られない状況であっても、無音でお絵かきトークによって今は通話できないといったことを知らせることができる。このように通話できない理由を即座に伝えられるため、円滑なコミュニケーションをとることができる。
【0076】
また、お絵かきトークから通話を追加する際、通話要求を受けたユーザ端末50では無音のメッセージにて通話を受けるか確認するため、音を出さずに通話可否を決定することができる。このため、例えば会議中等の電話に出られない状況で通話要求が届いても、手元の操作で音を出さずに通話要求をキャンセルし、さらにお絵かきトークで今は難しいことを無音で伝える、あるいはメッセージ表示画面130に戻ってメッセージで今は難しいことを無音で伝えることができる。
【0077】
また、電波状態がある程度悪くなると、お絵かきトークを継続しつつ通話を終了するため、こちらの会話が相手に届いていないと思わずにコミュニケーションを続けようとするといった状態を防止できる。
【0078】
また、通話依頼のある毎にアドレスを一時的に割り当て、通話が切断されるとアドレスを解放する構成であるため、ユーザ毎に予めアドレスを割り当てる必要がなく、アドレスの枯渇を防止することができる。また、一時的なアドレスを用いて通話を実現するため、相手の電話番号等を知らなくても通話できる。従って、例えば2人でお絵かきトークと通話を行っていて、一人は知っているがもう一人は知らない人をコミュニケーションに追加するときに、電話番号を知らせたりせずとも追加したい人を招待して3者通話を行うことができる。
【0079】
また、メインサーバ10と通話サーバ30を別のサーバとしたため、パケット量の集中を回避してリアルタイム処理が遅くなることを防止できる。
【0080】
このようにして、リアルタイム性が高くコミュニケーション手段の幅が広いコミュニケーションシステム1を提供できる。特に、コミュニケーションシステム1は、触覚と視覚、および聴覚によるコミュニケーションを同時に処理でき、しかも、これを手のひらで持つ携帯型の情報端末で実現することができる。
【0081】
また、コミュニケーションシステム1は、作成し終えたメッセージや写真等を送受信するメッセージのやり取りをしている途中からリアルタイムのお絵かきトークに移行できるため、ユーザ感覚としての応答速度を速めて緊密なコミュニケーションに移行できる。さらに、お絵かきトークを継続しながら通話も同時に開始できるため、描画によるリアルタイムのコミュニケーションと話すこと(音声)によるリアルタイムのコミュニケーションを同時並行にとることができ、幅広い手段を用いて相手のレスポンスがリアルタイムに得られる非常に緊密なコミュニケーションをとることができる。
【0082】
この発明におけるサーバは、実施形態のメインサーバ10に対応し、以下同様に、
メッセージ送受信プログラムは、管理プログラム15aとお絵かき管理プログラム15bに対応し、
メッセージ管理機能部は、メッセージ転送部17に対応し、
通信手段は、通信部32に対応し、
入力手段は、操作入力部33に対応し、
表示手段は、表示部34に対応し、
コミュニケーションプログラムは、コミュニケーションアプリ57aに対応し、
相手選択部は、接続相手選択部65に対応し、
手書き入力開始指示部は、手書き描画画像作成部123および複合画像作成部124に対応し、
送受信メッセージ表示部は、タイムライン表示部134に対応し、
メッセージ入力部は、入力受付部入力内容し、
手書き描画入力部は、手書き描画画面170および複合画像作成画面230に対応し、
消去操作部は、ゴミ箱ボタン172に対応し、
背景画像選択部は、背景合成ボタン173に対応し、
描画領域部は、手書き描画部175に対応し、
ツール選択部は、イラスト追加ボタン176、ペン形状変更ボタン177、ペン色変更ボタン178、消しゴムボタン179、グリーティング用フレーム選択部231、写真選択部232、およびグリーティング用イラスト選択部233に対応し、
ユーザ選択画像は、写真画像225に対応するが、
この発明は本実施形態に限られず他の様々な実施形態とすることができる。