(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0014】
以下、本発明の実施形態の例を、図面を用いて説明する。
【0015】
図1は、本発明の実施形態に係るテレビ通話システムの一実施例を示すブロック構成図である。本実施例は、テレビ通話装置としてテレビ受信装置1、端末装置2を用いたテレビ通話システムであり、テレビ通話サーバ3、ルータ4、外部ネットワーク5、基地局6、ルータ7を有する。
【0016】
ルータ4及び7は、IEEE802.11a/b/nなどのWi−fi規格による無線LAN機能或いは有線LAN機能を備え、通信回線を経由して外部ネットワーク5に接続される。
【0017】
テレビ受信装置1は、ルータ4と無線LANまたは有線LANで接続されており、ルータ4から外部ネットワーク5を介してテレビ通話サーバ3と接続され、IP電話によるテレビ通話を行う。
【0018】
端末装置2は、ルータ7と無線LANまたは有線LANで接続されており、ルータ7から外部ネットワーク5を介してテレビ通話サーバ3と接続され、IP電話によるテレビ通話を行う。さらに、端末装置2は、W−CDMA(Wideband Code Division Multiple Access)やGSM(Global System for Mobile communications:登録商標)などの遠距離無線通信により基地局6から外部ネットワーク5を介してテレビ通話サーバ3と接続され、IP電話によるテレビ通話を行うことができる。
[テレビ通話サーバのハードウェア構成]
図2は、本発明の実施形態に係るテレビ通話サーバ3の構成例を示すブロック図である。
【0019】
図2においてテレビ通話サーバ3は、制御部301、メモリ302、ストレージ部303、通信部304を備え、それぞれはバス300で相互に接続されている。制御部301はCPU(Central Processing Unit)等で構成され、メモリ302に記憶したプログラムを実行することによって、各構成部を制御し、各種の処理を行っている。ストレージ部303は、ユーザのアカウントを認証するための情報等のユーザ情報を記憶している。通信部304は外部ネットワーク5と接続するためのインターフェースであり、ユーザのテレビ通話サーバ3へのログイン状態等の情報を外部ネットワーク5から基地局6或いはルータ4、7を介してネットワーク接続に対応したテレビ受信装置1、端末装置2等に送出する。
[テレビ受信装置のハードウェア構成]
図3は、本発明の実施形態に係るテレビ受信装置1の構成例を示すブロック図である。
【0020】
図3において制御部101は、CPU等で構成され、メモリ103に記憶されたオペレーティングシステムや各種のアプリケーションプログラムなどに従ってテレビ受信装置1の全体を制御する。システムバス100は制御部101とテレビ受信装置1内の各部との間でデータ送受信を行うためのデータ通信路である。また、通話者認識部102は撮像部115から画像処理部114を介して取り込んだ通話元のユーザの映像、及び通信部117、ルータ4、外部ネットワーク5を介して得られる通話先の相手の映像から通話者を認識する。
【0021】
ストレージ部104は、テレビ受信装置1のユーザに関する情報等を記憶する個別情報記憶領域104a、デジタル放送番組の録画及びデジタル放送番組録画に関連する情報(予約情報等)を記憶する番組記録領域104b、音楽/ビデオ/写真のデータなどのユーザデータを保存するユーザデータ記憶領域104c、及びその他情報記憶領域104dを有する。個別情報記憶領域104aにはテレビ通話サービスを行うサーバに接続するユーザのアカウントの情報や通話者認識部102で使用する通話元のユーザの顔、及び通話先の相手の顔を認識するための情報、或いはテレビ通話時の背景画像のデータ等が記憶されている。
【0022】
また、テレビ受信装置1は、通信部117、ルータ4、外部ネットワーク5を介して、新規アプリケーションをダウンロードすることにより機能拡張が可能である。この際、ダウンロードした前記新規アプリケーションはその他情報記憶領域104dに記憶される。その他情報記憶領域104dに記憶された前記新規アプリケーションがメモリ103上に展開されて実行されることにより、テレビ受信装置1は多種の新規機能を実現できる。
【0023】
外部インターフェース105は、テレビ受信装置1の機能を拡張するためのインターフェース群であり、本実施例では、映像入力インターフェース105a、音声入力インターフェース105b、USB(Universal Serial Bus)インターフェース105cを有する。映像入力インターフェース105a及び音声入力インターフェース105bは、外部映像/音声出力機器からの映像信号/音声信号の入力を行う。USBインターフェース105cはキーボード等のUSB機器若しくはメモリカード類の接続等を行う。テレビ受信装置1が外部に接続されたHDD(Hard Disc Drive)装置等にデジタル放送番組の録画を行う場合、USBインターフェース105cにHDD装置等を接続すれば良い。また、映像入力インターフェース105a、音声入力インターフェース105bはHDMI(High-Definition Multimedia Interface:登録商標)を用いて、映像と音声を一緒に入力するようにしてもよい。
【0024】
操作部106は、テレビ受信装置1に対する操作指示の入力を行う指示入力部であり、本実施例では、ボタンスイッチを並べた操作キー106a及びリモコン120からの赤外線信号を受信するリモコン受信部106bを有する。USBインターフェース105cに接続されたキーボード等を用いてテレビ受信装置1の操作を行っても良い。また、通信部117を介して接続された携帯端末装置やその他のPC等を用いてテレビ受信装置1の操作を行っても良い。
【0025】
チューナ108は、アンテナ107が受信した放送波からテレビ受信装置1のユーザが選局したチャンネルの信号を抽出し、TS(Transport Stream)信号を復調する。分離部109は、前記TS信号をそれぞれパケット化された映像データと音声データと付随情報データとに分離し、デコーダ部110に出力する。ここで、映像データは映像デコーダ110aに、音声データは音声デコーダ110bに、付随情報データは情報デコーダ110cに出力される。映像デコーダ110aは、分離部109から出力された映像データをデコードし、映像信号として画像処理部114に出力する。音声デコーダ110bは、分離部109から出力された音声データをデコードし、音声信号として音声処理部111に出力する。情報デコーダ110cは、分離部109から出力された付随情報データを処理し、特に各番組の番組名、ジャンル、放映開始/終了日時、等の番組情報を含むSI(Service Information)情報等を取得する。
【0026】
表示部116は、例えば液晶パネルのような表示デバイスであり、画像処理部114で処理された映像信号を表示する。また、画像処理部114は、入力された映像信号に対して、必要に応じてフォーマット変換、メニューやその他のOSD(On Screen Display)信号の重畳処理、或いはテレビ通話において撮像部から入力された通話者の画像と個別情報記憶領域104aに記憶された背景画像の合成処理等を行う。スピーカ113は音声処理部111で処理した音声信号を出力する。
【0027】
撮像部115はカメラなどであり、テレビ通話時の通話者の映像を取り込んで画像処理部に出力する。画像処理部114は、前記映像に基づいて画像情報を生成する。マイク112は外部の音声を取り込んで音声処理部111に出力するものであり、テレビ通話等に用いられる。
【0028】
通信部117は有線LANまたは無線LANによりルータ4と接続され、インターネット等の外部ネットワーク5と情報の送受信、或いは音声や画像信号をインターネットプロトコルで通信してテレビ通話等を行う。
【0029】
なお、以上の説明では撮像部115及びマイク112をテレビ受信装置1に内蔵している構成としたが、USBインターフェース105cを介して外部に設けられたカメラ或いはマイクを用いるようにしてもよい。
[端末装置のハードウェア構成]
図4は、本発明の実施形態に係る端末装置2の構成例を示すブロック図である。
【0030】
ここでは、端末装置2がスマートフォンの場合を例にして説明する。端末装置2は、制御部201、通話者認識部202、メモリ203、ストレージ204、GPS(Global Positioning System)受信部205、地磁気センサ206、加速度センサ207、ジャイロセンサ208、入出力インターフェース209、マイク210、音声処理部211、スピーカ212、外部音声出力部213、操作入力部214、表示部215、画像処理部216、撮像部217、基地局通信部218、無線通信部219を備え、それぞれはバス200に相互に接続されている。
【0031】
制御部201はCPU等で構成されは、メモリ203に記憶したオペレーティングシステムや各種のアプリケーションプログラムなどを実行することによって、各構成部を制御し、各種の処理を行う。また、通話者認識部202は撮像部217から画像処理部216を介して取り込んだ通話元のユーザの映像、及び基地局通信部218、基地局6或いは無線通信部219、ルータ7を介して外部ネットワーク5に接続して得られるテレビ通話を行う通話先の相手の映像から通話者を認識する。
【0032】
ストレージ部204はユーザに関する情報等を記憶する個別情報記憶領域204a、音楽、ビデオ、写真のデータなどのユーザデータを保存するユーザデータ記憶領域204b、及びその他情報記憶領域204cを有する。個別情報記憶領域204aにはテレビ通話サービスを行うサーバに接続するユーザのアカウントの情報や通話者認識部202で使用する通話元のユーザの顔、及び通話先の相手の顔を認識するための情報、或いはテレビ通話時の背景画像のデータ等が記憶されている。
【0033】
GPS受信部205は、上空にあるGPS衛星からの信号を受信するものである。これにより、端末装置2の現在位置を検出する。地磁気センサ206は端末装置2の向いている方向を検出するセンサである。加速度センサ207は端末装置2の加速度を検出するセンサであり、ジャイロセンサ208は、端末装置2の角速度を検出するセンサである。これらにより、端末装置2の傾き、動きが詳細に検出される。
【0034】
入出力インターフェース209は、例えばUSBなどであり、図示しない外部機器とデータの送受信を行うインターフェースである。
【0035】
マイク210は、外部の音声を入力し、スピーカ212は、外部に対して音声を出力する。外部音声出力部213は図示しないイヤフォンを接続して音声を出力する。入出力される音声は、音声処理部211にて音声処理される。
【0036】
操作入力部214は、例えば静電容量式などのタッチパッド方式の入力手段であり、指やタッチペンなどによる接触操作(以降、タッチという)を操作入力としてユーザの操作を検出する。表示部215は液晶パネルなどに映像や画像を表示し、その表示面に操作入力部214を有する。
【0037】
撮像部217はカメラなどである。表示部215に表示される映像や、撮像部217から入力された映像は画像処理部216にて処理され、入力された映像信号に対して必要に応じてフォーマット変換、或いはテレビ通話において撮像部217から入力された通話者の画像と個別情報記憶領域204aに記憶された背景画像の合成処理等を行う。
【0038】
基地局通信部218は、W−CDMAやGSMなどの基地局6と遠距離の無線通信を行う通信インターフェースである。無線通信部219は、無線LANによりルータ4と無線通信を行う通信インターフェースである。これにより端末装置2は、基地局6或いはルータ7を介して外部ネットワーク5に接続され、情報の送受信、或いは音声や画像信号をインターネットプロトコルで通信してテレビ通話等を行うことができる。
【0039】
基地局通信部218或いは無線通信部219は基地局6或いはルータ7を介して外部ネットワーク5に接続される。これにより、メモリ203或いはストレージ204に記憶されるプログラム或いはデータは、図示しない外部サーバなどからダウンロードされ、随時更新・追加される。また、入出力インターフェース209がパソコン等の外部機器と接続されることにより、データやプログラム等を更新、追加することも可能である。
【0040】
以下、テレビ通話処理の動作例について説明する。
[テレビ通話処理の実施形態例]
図5は、本発明の実施形態に係るテレビ通話処理の一例を示すシーケンス図であり、テレビ通話装置aのユーザaとテレビ通話装置b(他のテレビ通話装置)のユーザbにおいてテレビ通話を行う場合の処理の一例を示すシーケンス図である。ここで、テレビ通話装置はテレビ受信装置1或いは端末装置2等のテレビ通話可能な装置である。
【0041】
テレビ通話装置aのユーザa及びテレビ通話装置bのユーザbが、それぞれメニュー画面からテレビ通話アプリケーションを選択し、起動要求を行う(S501a、S501b)。これにより、テレビ通話装置a及びテレビ通話装置bはテレビ通話アプリケーションを起動し(S502a、S502b)、テレビ通話サーバ3にアクセスを行い、ログイン画面情報を要求して取得する(S503a、S503b)。
【0042】
次にテレビ通話装置a及びテレビ通話装置bは、それぞれログイン画面表示し(S504a、S504b)、ユーザa及びユーザbがユーザカウントおよびパスワードを入力すると(S505a、S505b)、入力されたユーザカウントおよびパスワードのログイン情報をテレビ通話装置からテレビ通話サーバ3に送信する。
【0043】
テレビ通話サーバ3は、ストレージ部303に蓄積されたユーザ情報を参照し、正規の登録ユーザであればユーザアカウントを認証する(S506a、S506b)。次にテレビ通話装置a及びテレビ通話装置bは、それぞれ撮像部115又は217から入力されるユーザの画像に基づいて顔認識処理を行う(S507a、S507b)。
【0044】
顔認識処理により認識した顔が、予め登録されたアカウントのメンバーの顔と一致する場合には、ログインしたユーザとして、登録されたメンバー名を設定する。ここで、メンバーとは、テレビ通話装置aに登録されている該テレビ通話装置aを利用して通話が可能な(或いは、そのような通話の許可又は権限が与えられている)1または複数のユーザを意味するものとする。上記顔認識処理により複数のメンバーが認識された場合には、複数のメンバー名をユーザとして設定してもよく、或いは、認識したメンバーのリストを表示してユーザの一人がリストから選択したメンバー名をログインしたユーザとして設定するようにしてもよく、或いは、メンバーを指定せずにアカウント名をログインしたユーザとして設定するようにしてもよい。また、双子のように二人の判別が困難な場合には、候補のリストを表示してユーザがリストから選択したメンバー名をログインしたユーザとして設定するようにしてもよい。
【0045】
予め登録されたアカウントのメンバーの顔に一致しない場合には、ログインしたユーザとして新たなアカウント名を設定する(S508a、S508b)。新たなアカウント名は、ログインしたユーザ自身が設定しても良く、テレビ通話装置が設定しても良い。また、後述する
図6のメンバー設定処理S612を行い、設定されたメンバーをユーザとして設定するようにしてもよい。
【0046】
テレビ通話装置を所有する世帯の家族の一人により、各家族について例えば撮像部115又は217で撮像した顔の画像とメンバー名とが、テレビ通話装置の個別情報記憶部104a又は204aに登録されている。ユーザがログインした際にS507a、S507bにおける顔認識処理において、該ユーザの顔を撮像部115又は217が撮像して得た画像が、個別情報記憶部104a又は204aに登録されていた顔の画像のいずれかと一致するか否かを判定する。以下で詳しく述べるように、前記判定結果に応じて、撮像部115又は217で撮像した現在の画像につき、例えば背景画像を通話先に送るか否かを決める。これにより、家族以外のユーザも含めた複数の人がテレビ通話装置を利用する場合においても、使い勝手の良いテレビ通話環境が得られる。
【0047】
次にテレビ通話装置a及びテレビ通話装置bは、ユーザが「ログアウト」を選択するまでそれぞれ繰り返し処理S510a及びS510bを行う。繰り返し処理S510a及びS510bでは、まずテレビ通話装置a及びテレビ通話装置bが実行する処理の選択画面を表示する(S511a、S511b)。ユーザから選択結果が入力されると(S512a、S512b)、テレビ通話装置a及びテレビ通話装置bは、それぞれ選択結果に応じた分岐処理S520a及びS520bを実行する。ユーザが「ユーザ設定」を選択した場合にはユーザ設定処理S521a、S521bを実行し、「通話先選択」を選択した場合には通話先選択処理S522a、S522bを実行し、「通話」を選択した場合には通話処理S523a、S523bを実行する。「ログアウト」を選択した場合にはログアウト処理S524a,S524bを実行し、繰り返し処理S510a、S510bを抜けて、テレビ通話アプリケーションを終了する(S530a、S530b)。
【0048】
次に、
図5のユーザ設定処理S521a、S521bを
図6乃至
図8のシーケンス図に基づき、通話先選択処理S522a、S522bを
図11と
図12のシーケンス図に基づき、通話処理S523a、S523bを
図17乃至
図21のシーケンス図に基づき、順次詳しく説明する。まず、ユーザ設定処理S521a、S521bについて述べる。
【0049】
図6は、本発明の実施形態に係るユーザ設定処理S521の一例を示すシーケンス図である。
【0050】
ユーザ設定処理ではユーザが「設定終了」を選択するまで繰り返し処理S600を行う。繰り返し処理S600では、まずテレビ通話装置はユーザ設定する項目を選択する画面を表示する(S601)。ユーザにより設定項目選択結果が入力されると(S602)、テレビ通話装置は選択結果に応じた分岐処理S610を実行する。ユーザが「アカウント設定」を選択した場合にはテレビ通話サーバ3にログインするためのアカウント情報の設定処理S611を実行し、「メンバー設定」を選択した場合には同じアカウントでテレビ通話を行うメンバーを設定する処理S612を実行する。「設定終了」を選択した場合には終了処理S613を実行し、繰り返し処理S600を抜けて、ユーザ設定処理を終了する。
【0051】
図7は、本発明の実施形態に係るメンバー設定処理S612の一例を示すシーケンス図である。
【0052】
メンバー設定処理ではユーザが「設定終了」を選択するまで繰り返し処理S700を行う。繰り返し処理S700では、まずテレビ通話装置においてユーザ設定する項目を選択する画面を表示する(S701)。ユーザから設定項目選択結果が入力されると(S702)、テレビ通話装置は選択結果に応じた分岐処理S710を実行する。ユーザが「新規登録」を選択した場合には同じアカウントでテレビ通話を行うメンバーを新規登録する処理S711を実行し、「登録変更」を選択した場合には既に登録されているメンバーの登録内容を変更する処理S712を実行する。「設定終了」を選択した場合には終了処理S713を実行し、繰り返し処理S700を抜けて、メンバー設定処理を終了する。
【0053】
図8は、本発明の実施形態に係るメンバーの新規登録処理S711の一例を示すシーケンス図である。
【0054】
新規登録処理ではユーザが選択入力処理S805或いはS842で「登録終了」を選択するまで繰り返し処理S800を行う。繰り返し処理S800では、まず新規に登録するメンバーの名前を入力するよう要求する画面を表示する(S801)。ユーザが名前を入力すると(S802)、入力された名前をログインしたアカウントのメンバーとして登録する(S803)。次に登録されたメンバーの顔認識を行うための顔画像を登録するための顔画像ソースを選択する画面を表示する(S804)。ユーザから選択結果が入力されると(S805)、テレビ通話装置は選択結果に応じた分岐処理S810を実行する。ユーザが「カメラ」を選択した場合には、例えばテレビ受信装置1は撮像部115から入力された画像を表示部115に表示し、端末装置2は撮像部217から入力された画像を表示部215に表示する(S811)。「ファイル」を選択した場合には、例えばテレビ受信装置1はストレージ部104のユーザデータ記憶領域104cに記憶されている写真或いはビデオの画像ファイル、端末装置2はストレージ部204のユーザデータ記憶領域204bに記憶されている写真或いはビデオの画像ファイルを選択する処理S812を行い、選択された画像をテレビ受信装置1の表示部115或いは端末装置の表示部215に表示する(S813)。また、「登録終了」を選択した場合には顔画像の登録を行わず、終了処理S814を行い、繰り返し処理S800を抜けて、新規登録処理を終了する。
【0055】
選択処理S810で「カメラ」或いは「ファイル」を選択した場合には、次に表示部に表示された画像について顔認識処理(S820)を行い、認識結果に応じた条件処理S830を行う。条件処理S830では認識した顔が一人以上の場合には、表示部は登録するメンバーの顔を選択する画面を表示し(S831)、ユーザが登録する顔を選択する(S832)。次に、ユーザからの登録決定入力S840により、認識した顔が一人の場合は認識した顔をメンバー名に対応して登録し、認識した顔が一人以上の場合には選択した顔をメンバー名に対応して登録する(S841)。メンバーをさらに登録するか、登録処理を終了するかを選択する画面を表示部が表示する(S842)。ユーザが選択結果を入力すると(S843)、テレビ通話装置は選択結果に応じた条件処理S850を実行する。条件処理S850では「登録終了」が選択された場合、終了処理S851を行い、繰り返し処理S800を抜けて、新規登録処理を終了する。「追加登録」が選択された場合には、繰り返し処理S800により新規メンバーの登録を続ける。
【0056】
図9は、メンバーの新規登録処理時のテレビ受信装置1の表示の一例を示す。
【0057】
図9の例は選択処理S810において「ファイル」を選択し、ユーザデータ記憶領域104cに記憶された写真について顔認識を行う場合の例である。ログインしたアカウント名が90aに、登録するメンバー名が90bに表示されている。また、選択した写真のファイル名が90eに表示されている。認識した顔を示す複数の枠90c、90dが表示され、登録する顔として選択したほうの枠90dが太枠で表示されている。ここで、例えばユーザがリモコン120の所定のボタンを押すことで登録決定入力が行われ、メンバー名に対応した顔認識情報が個別情報記憶領域104aに登録される。なお、ビデオ(動画)の画像ファイルに基づいて顔認識を行う場合には、顔認識の精度の点から登録するメンバーの顔が映っている時点で静止状態として行うことが望ましい。
【0058】
図10は、ユーザアカウントに関連付けて個別情報記憶領域104aに登録される情報の例を示す。ユーザアカウント名10aに対応したメンバー名10b、登録された顔画像データ10c、及び各メンバーの顔を認識するための顔認識データ10dが登録されている。顔認識データ10dとしては例えば目と鼻の位置関係等の顔の特徴を数値化したデータが用いられる。
【0059】
次に、先の
図5における通話先選択処理S522について説明する。
【0060】
図11は、本発明の実施形態に係る通話先選択処理S522の一例を示すシーケンス図である。
【0061】
通話先選択処理S522では、まずテレビ通話装置から外部ネットワーク5を介してテレビ通話サーバ3にアクセスを行い、通話先として登録されているアカウントがテレビ通話サーバ3にログインしているか否かの情報、ログインしているアカウントのテレビ通話装置のIPアドレス情報、通話中か否かの情報等を要求し、取得する(S1101)。次にユーザが選択入力処理S1112で「終了」を選択するまで繰り返し処理S1110を行う。繰り返し処理S1110では、まず通話元・通話先を選択する画面を表示する(S1111)。次にユーザからの選択処理S1112に応じて分岐処理S1120を行う。選択処理S1112において「決定」が選択された場合には通話元・通話先の設定処理S1121を行い、「通話先登録追加」が選択された場合には新規の通話先のアカウントの登録を行う処理S1122を行い、「通話先登録変更」が選択された場合には既に登録されているアカウントの情報を変更する処理S1123を行う。
【0062】
図12は、本発明の実施形態に係る通話先登録追加処理S1122の一例を示すシーケンス図である。
【0063】
通話先登録追加処理ではユーザが「設定終了」を選択するまで繰り返し処理S1200を行う。繰り返し処理S1200では、まずテレビ通話装置はユーザが設定する項目を選択する画面を表示する(S1201)。ここで、テレビ通話装置はテレビ受信装置1或いは端末装置2等のテレビ通話可能な装置である。ユーザから設定項目選択結果が入力されると(S1202)、テレビ通話装置は選択結果に応じた分岐処理S1210を実行する。ユーザが「アカウント設定」を選択した場合には通話先のアカウントの名称等の情報を設定する処理S1211を実行し、「メンバー設定」を選択した場合には通話先のアカウントで通話を行うメンバーを設定する処理S1212を実行する。「設定終了」を選択した場合には終了処理S1213を実行し、繰り返し処理S1200を抜けて、ユーザ設定処理を終了する。
【0064】
図13は、通話先選択処理S522におけるテレビ受信装置1の表示の一例を示す。
【0065】
図13において通話元のアカウント及びアカウントに登録されたメンバーの名前と顔が1300aに表示され、通話元として選択されたメンバーの表示枠が太枠で表示されている。例えば顔認識処理S507で顔認識され、ログインユーザ設定処理S508で設定されたメンバーが通話元として選択される。この場合の選択は初期選択としてログインユーザ設定処理S508に基づいて行われるが、選択を変更することも可能であり、顔認識の誤りによりログインユーザ設定処理S508でのユーザ設定が間違っていた場合にも、選択変更することで正しい通話元のメンバーを設定することができる。また、特定のメンバーを指定せず、ユーザアカウントのみを設定することも可能である。
【0066】
また、通話先のアカウント及びアカウントに登録されたメンバーの名前、顔、選択した通話先に対する背景の設定、及び通話先のアカウントがテレビ通話サーバ3にログインしているかを示す状態(On Line/Off Line)等が1300bに表示されており、通話先として選択されたメンバーの表示枠が太枠で表示されている。また、S1120の分岐処理に対応して、「決定」の選択肢に対応したボタン1300c、「通話先登録追加」の選択肢に対応したボタン1300d、「通話先登録変更」の選択肢に対応したボタン1300e、「設定終了」の選択肢に対応したボタン1300gが表示されており、テレビ受信装置1のリモコン120によりボタンを選択することで、各ボタンに対応した処理が実行される。
【0067】
図14は、通話先カウントに関連付けて個別情報記憶領域104a或いは204aに登録される情報の例を示す。通話先カウント名14aに対応したメンバー名14b、登録された顔画像データ14c、及び各メンバーの顔を認識するための顔認識データ14dが登録されている。顔認識データとしては例えば目と鼻の位置関係等の顔の特徴を数値化したデータが用いられる。通話先アカウントのメンバーの顔認識は通話先メンバー設定処理S1212において行われ、ユーザアカウントのメンバーの新規登録処理S711と同様の処理により行うことができる。例えば顔画像ソースとしてユーザデータ記憶領域104c或いは204bに記憶されている通話先アカウントのメンバーが映っている写真或いはビデオの画像ファイルにより顔認識を行い、登録する。或いはテレビ通話中の相手の顔を顔画像ソースとして顔認識を行い、登録するようにしてもよい。
【0068】
図15は、通話元と通話先に対応して個別に設定する背景設定データの一例を示す。通話元のユーザアカウントの各メンバー15aに対して、通話先アカウントの各メンバーに対する背景設定データ15bが記憶される。例えば通話元のユーザアカウントのメンバーを未指定、通話先アカウントを“Oooo Yyyy”とした場合の背景設定はA2であり(これは
図13の設定画面でメンバーを指定しないでアカウントのみ設定した場合のように、通話元、通話先ともにユーザアカウントのみが指定され、特定のメンバーを指定せずに通話する場合に相当。未登録のユーザに限らず、登録済のメンバーであっても通話元としてメンバーを指定しない場合がある。)、ユーザアカウントのメンバーが“Cccc”に対して通話先アカウントを“Oooo Yyyy”のメンバー“Qqqq”とした場合の背景設定はB2となる(これは通話元、通話先ともにユーザアカウントのメンバーまで指定して通話する場合に相当)。
【0069】
図16は、背景設定データの例を示す。例えば背景番号A1では背景画像はなく、通話元のテレビ通話装置の撮像部で取り込んだ画像が、人物及び背景とも、そのまま通話先のテレビ通話装置の画面に表示される設定となる。背景番号A2では通話元のテレビ通話装置の撮像部で取り込んだ背景画像は送られず、通話先のテレビ通話装置の画面に通話元の背景画像が表示されない設定となる。また、背景番号B1やB2では選択された背景画像に通話元のテレビ通話装置の撮像部で取り込んだ人物画像を合成し、通話先のテレビ通話装置の画面に表示される設定となる。
【0070】
以上で示したように、通話先メンバー設定処理S1212において通話先のメンバーを設定することにより、通話元のメンバーと通話先のメンバーに応じて、(登録されているかどうかではなく、指定されているかどうか)、通話先に送られる画像における背景画像が選択される。これにより、例えばさほど懇意でないユーザ同士が通話する場合に、背景画像として部屋の状態が知られる画像が供給されるような、好ましくない状況が解消され、使い勝手の良いテレビ通話環境が得られる。(例えば、子供同士の通話であればお互いに気に入ったキャラクターの背景にするなど、親と子、子と子のように登録されているメンバーでも背景を変えたい場合がある)。
【0071】
次に、先の
図5における通話処理S523について説明する。
【0072】
図17は、本発明の実施形態に係る通話処理S523の一例を示すシーケンス図である。本例は通話元のユーザaのテレビ通話装置aと通話先のユーザbのテレビ通話装置bによりテレビ通話を行う場合の例である。
【0073】
まず、テレビ通話装置aは通話先として指定したアカウントのメンバー名に基づいて、
図15に示すような通話元と通話先に対応した背景設定データに従って背景画像を設定する(S1701)。次に通話元のテレビ通話装置aから、通話先情報要求/取得処理S1101で取得した通話先情報に基づいて通話先選択処理S522で選択した、通話先のアカウントへの呼出要求を送信する(S1702)。通話先のテレビ通話装置bは通話呼出を受信すると表示部に着信を知らせる画面を表示する(S1703)。通話先のユーザbが着信に応答すると(S1704)、通話先のテレビ通話装置bから通話元のテレビ通話装置aに着信応答を送信する。これにより、テレビ通話装置aとテレビ通話装置bとの間にテレビ通話のための通信路が確立される。
【0074】
テレビ通話装置aは背景設定データに従って通話元のテレビ通話装置aの撮像部で取り込んだ画像を背景画像に合成した画像、及び音声の送信を開始する(S1705)。テレビ通話装置bは受信した画像を表示し音声を出力し(S1706)、テレビ通話装置bの個別情報記憶領域に
図14に示すように記憶されている通話元のユーザaのアカウントのメンバーの顔認識データと、受信した画像とを用いて、通話元のユーザaの認識を行う(S1707)。テレビ通話装置bの個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定する(S1708)。以降ユーザa或いはユーザbから「通話終了」の選択入力されるまで、繰り返し処理S1720を実行する。
【0075】
繰り返し処理S1720では、テレビ通話装置a及びテレビ通話装置bにおいて、テレビ通話装置の撮像部で取り込んだ画像と設定した背景画像を合成した画像及び音声の送受信を行い(S1721)、受信した画像を表示し音声を出力する(S1722a、S1722b)。ユーザa或いはユーザbからの選択入力(S1723a、S1723b)に基づいて条件処理を行い、「通話終了」が選択された場合には通話終了処理(S1724a、S1724b)を行い、繰り返し処理を抜けて、通話処理を終了する。
【0076】
本実施例では受話側のテレビ通話装置bは、ログイン時にユーザbの顔認識を行い、テレビ通話装置aから送られた画像を用いて送話側のユーザaの顔を認識することにより、送話側と受話側のアカウントのメンバーを特定することができ、メンバーに応じた背景を設定することが可能となる。また、送話側のユーザaがメンバーとして登録されていない場合には、通話元の撮像部で撮影した画像、或いは、そのうち背景画像をテレビ通話装置aに送信しないように設定することができる。
【0077】
図18は、本発明の実施形態に係る通話処理S523のシーケンス図の第2の例を示す。
図18において、
図17のシーケンス図と同じ処理には同じ符号を付し、説明を省略する。
【0078】
図18において、テレビ通話装置bは個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定し(S1708)、通話先のテレビ通話装置bの撮像部で取り込んだ画像と設定した背景画像を合成した画像及び音声の送信を開始する(S1709)。テレビ通話装置aは受信した画像の表示と音声を出力し(S1710)、テレビ通話装置aの個別情報記憶領域に記憶されている通話先のアカウントのメンバーの顔認識データと、受信した画像とを用いて、通話先のユーザbの認識を行う(S1711)。テレビ通話装置aの個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定する(S1712)。以降ユーザa或いはユーザbから「通話終了」の選択入力されるまで、繰り返し処理S1720を実行する。
【0079】
以上の第2のシーケンス図の例に示す処理では、着信応答した通話先のユーザbが通話元のユーザaが通話先として選択したアカウントのメンバーではなかった場合にも、テレビ通話装置aは、テレビ通話装置bから送られた画像により顔認識を行い、認識した結果に応じて背景画像を設定することで、送話側と受話側のアカウントのメンバーに応じた背景を設定することが可能となる。
【0080】
図19は、本発明の実施形態に係る通話処理S523のシーケンス図の第3の例を示す。
図19において、
図17のシーケンス図と同じ処理には同じ符号を付し、説明を省略する。本例ではテレビ通話サーバ3に、異なるメンバーが同じアカウントで、テレビ受信装置1と端末装置2でログインした場合のように、同じアカウントでログインしたテレビ通話装置が複数ある場合に対応する。
【0081】
まず、テレビ通話装置aは通話先として指定したアカウントのメンバー名に基づいて、
図15に示すような通話元と通話先に対応した背景設定データに従って背景画像を設定する(S1901)。次に通話元のテレビ通話装置aから通話先情報要求/取得処理S1101で取得した通話先情報に基づいて、通話先として指定したアカウントでログインしているテレビ通話装置b及びテレビ通話装置cに、通話元のアカウントのユーザaのメンバー名、及び通話先として指定したアカウントのメンバー名等の通話者情報と通話呼出を送信する(S1902)。通話先のテレビ通話装置b及びテレビ通話装置cは通話呼出を受信すると、表示部に通話元のユーザaのアカウントのメンバー名、及び通話先として指定したアカウントのメンバー名等の情報と、着信を知らせる画面を表示する(S1903b、S1903c)。
【0082】
ここでは、ユーザcが通話先として指されたアカウントのメンバー名に一致しているものとする。ユーザcが着信に応答すると(S1904)、テレビ通話装置cは、ログイン時に認識したユーザcのメンバー名等の通話者情報と着信応答を送信する。テレビ通話装置aはテレビ通話装置cからの着信応答を受信することで、テレビ通話装置aとテレビ通話装置cとの間にテレビ通話のための通信路が確立される。
【0083】
また、テレビ通話装置cは受信した通話元のユーザaのアカウントのメンバー名に基づいて、テレビ通話装置cの個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定する(S1905)。テレビ通話装置aは受信した通話者情報のメンバー名に基づいて、テレビ通話装置aの個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定する(S1906)。以降ユーザa或いはユーザcから通話終了の選択入力がされるまで、繰り返し処理S1720を実行する。
【0084】
以上の第3のシーケンス図の例に示す処理では、通話先として指定したアカウントのメンバー名等の情報がテレビ通話装置に表示されるため、同じアカウントで複数のテレビ通話装置がログインされた場合でも、指定されたアカウントのメンバーが自分宛ての呼出であることを確認して応答することが可能となる。また、通話相手のアカウントのメンバー名の情報等が送られてくるため、通話相手から送られてくる画像を用いた顔認識によりメンバーを特定する必要がなく、
図14に示す通話相手のカウントに関連付けて各メンバーの顔画像データ14c、及び各メンバーの顔を認識するための顔認識データ14dを登録する必要がない。
【0085】
また、通話呼出及び着信応答の時点で通話相手のメンバーが特定でき、通話元と通話先の通話相手に対応した背景設定データに従って背景画像を設定することができる。また、間違えてユーザbが着信応答した場合にも、背景設定処理S1906により受信した通話者情報のメンバー名に基づいて、通話元と通話先に対応した背景設定データに従って背景画像を設定することができる。これにより、通話先として指定したアカウントのメンバー以外の人、或いはメンバーとして登録されていない人が着信応答した場合には、通話元の撮像部で撮影した画像を送信しないように設定することができる。
【0086】
図20は、本発明の実施形態に係る通話処理S523のシーケンス図の第4の例を示す。
図20において、
図17のシーケンス図と同じ処理には同じ符号を付し、説明を省略する。本例では同じアカウントでテレビ通話サーバ3にログインしたテレビ通話装置が複数ある場合に対応する。
【0087】
まず、テレビ通話装置aは通話先として指定したアカウントのメンバー名に基づいて、
図15に示すような通話元と通話先に対応した背景設定データに従って背景画像を設定する(S2001)。次に通話元のテレビ通話装置aから通話先情報要求/取得処理S1101で取得した通話先情報に基づいて、通話先として指定したアカウントでログインしているテレビ通話装置b及びテレビ通話装置cに通話者情報と通話呼出要求を送信する(S2002)。通話先のテレビ通話装置b及びテレビ通話装置cは、受信した情報から得られる通話先として指定されたアカウントのメンバー名と、テレビ通話装置b及びテレビ通話装置cにおいてログインユーザ設定処理で設定したユーザ名を、それぞれ比較する通話者判定処理を行う(S2003b、S2003c)。
【0088】
通話先として指定されたアカウントのメンバー名とログインユーザ設定処理で設定したユーザ名が一致する場合には、表示部は通話元のユーザaのアカウントのメンバー名及び通話先のアカウントのメンバー名等の情報と、着信を知らせる画面を表示する(S2004)。ここでは、ユーザcが通話先として指されたアカウントのメンバー名に一致しているものとする。通話先のユーザcが着信に応答すると(S2005)、テレビ通話装置cが着信応答を送信する。テレビ通話装置aがテレビ通話装置cからの着信応答を受信することで、テレビ通話装置aとテレビ通話装置cとの間にテレビ通話のための通信路が確立される。
【0089】
また、テレビ通話装置cは受信した通話元のユーザaのアカウントのメンバー名に基づいて、テレビ通話装置cの個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定する(S2006)。以降ユーザa或いはユーザcから通話終了の選択入力されるまで、繰り返し処理S1720を実行する。
【0090】
以上の第4のシーケンス図の例に示す処理では、通話先として指定されたアカウントのメンバー名と、テレビ通話装置においてログインユーザ設定処理で設定したユーザ名が一致するテレビ通話装置のみに着信通知が表示されるため、同じアカウントで複数のテレビ通話装置がログインされた場合でも、指定されたアカウントのメンバーが応答することが可能となる。また、通話相手のアカウントのメンバー名の情報等が送られてくるため、通話相手から送られてくる画像により顔認識によりメンバーを特定する必要がなく、
図14に示す通話相手のカウントに関連付けて各メンバーの顔画像データ14c、及び各メンバーの顔を認識するための顔認識データ14dを登録する必要がない。また、通話呼出及び着信応答の時点で通話相手のメンバーが特定でき、通話元と通話先における通話相手に対応した背景設定データに従って背景画像を設定することができる。
【0091】
図21は、本発明の実施形態に係る通話処理S523のシーケンス図の第5の例を示す。
図21において、
図17のシーケンス図と同じ処理には同じ符号を付し、説明を省略する。
【0092】
まず、テレビ通話装置aは通話先として指定したアカウントのメンバー名に基づいて、テレビ通話装置aの個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定する(S2301)。次に通話先情報要求/取得処理S1101で取得したログイン中のアカウント、テレビ通話装置のIPアドレス情報、及びメンバー名等の通話先情報に基づいて呼出先のテレビ通話装置を決定し(S2302)、通話先として指定したアカウントのメンバーでログインしているテレビ通話装置cに通話呼出を送信する(S2303)。
【0093】
テレビ通話装置cは通話者情報と通話呼出を受信すると、表示部に通話元のユーザaのアカウントのメンバー名、及び通話先のアカウントのメンバー名等の情報と着信を知らせる画面を表示する(S2304)。通話先のユーザcが着信に応答すると(S2305)、テレビ通話装置cからテレビ通話装置aに着信応答を送信する。テレビ通話装置aはテレビ通話装置cからの着信応答を受信し、テレビ通話装置aとテレビ通話装置cとの間にテレビ通話のための通信路が確立される。
【0094】
また、受信した通話元のユーザaのアカウントのメンバー名に基づいて、テレビ通話装置cの個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定する(S2306)。以降ユーザa或いはユーザcから通話終了の選択入力されるまで、繰り返し処理S1720を実行する。
【0095】
以上の第5のシーケンス図の例に示す処理では通話先情報要求/取得処理S1101で取得したログイン中のアカウント、テレビ通話装置のIPアドレス、及びメンバー名等の通話先情報を取得することで、通話先として指定したアカウントのメンバーがログインしているテレビ通話装置のみに着信通知が表示されるため、同じアカウントで複数のテレビ通話装置がログインされた場合でも、指定されたアカウントのメンバーが応答することが可能となる。また、通話相手のアカウントのメンバー名の情報等が送られてくるため、通話相手から送られてくる画像により顔認識によりメンバーを特定する必要がなく、
図14に示す通話相手のカウントに関連付けて各メンバーの顔画像データ14c、及び各メンバーの顔を認識するための顔認識データ14dを登録する必要がない。また、通話呼出及び着信応答の時点で通話相手のメンバーが特定でき、通話元と通話先の通話相手に対応した背景設定データに従って背景画像を設定することができる。
【0096】
図22は、本発明の実施形態に係るテレビ通話処理のシーケンス図の第2の例を示す図である。
図22において、
図5のシーケンス図と同じ処理には同じ符号を付し、説明を省略する。
図22はユーザaのテレビ通話装置aとテレビ通話サーバ3の処理部分についてのみ記載したものであり、他のユーザのテレビ通話装置においても同様の処理が行われる。
【0097】
テレビ通話装置aのユーザaよりメニュー画面からテレビ通話アプリケーションを選択し、起動要求を行う(S501a)。これにより、テレビ通話アプリケーションを起動し(S502a)、テレビ通話サーバ3にアクセスを行い、ログイン画面情報を要求/取得する(S503a)。
【0098】
次にテレビ通話装置aはログイン画面表示し(S504a)、ユーザaがユーザカウントおよびパスワードを入力すると(S505a)、入力されたユーザカウントおよびパスワードのログイン情報をテレビ通話装置aからテレビ通話サーバ3に送信する。
【0099】
テレビ通話サーバ3は、ストレージ303に蓄積されたユーザ情報を参照し、正規の登録ユーザであればユーザアカウントを認証する(S506a)。
【0100】
次にテレビ通話装置aは、撮像部から入力されるユーザの画像に基づいて顔認識処理を行う(S507a)。顔認識処理により認識した顔が、予め登録されたアカウントのメンバーの顔に一致する場合には、認識したメンバー名をログインしたユーザとして設定し、予め登録されたアカウントのメンバーの顔に一致しない場合には、ログインしたユーザをアカウント名に設定する(S508a)。
【0101】
ここで、複数のメンバーが認識された場合には、複数のメンバー名をユーザとして設定する。次にユーザとして設定したメンバー名等のユーザ情報をテレビ通話サーバ3に送信する(S540a)。テレビ通話サーバ3はユーザ情報からログインしたアカウント名、テレビ通話装置のIPアドレス情報、及びメンバー名等の情報をメモリ302或いはストレージ部303に記憶する(S541a)。以降、ユーザが「ログアウト」を選択するまで繰り返し処理S510aを行う。
【0102】
図23は、通話先選択処理S522におけるテレビ受信装置1の表示の他の一例を示す。
【0103】
テレビ通話サーバ3は、ログインユーザ情報記憶処理S541において記憶したログインしているユーザのアカウント名、メンバー名等の情報を、
図11の通話先情報要求/取得処理S1101において取得することにより、通話先のアカウントのメンバー名毎にログイン状態を表示し、通話先を指定することができる。
【0104】
以上の実施例において、通話先のアカウントのメンバーを特定する方法として顔認識により行う例を示したが、通話先のアカウントのメンバーの音声認識データを記憶しておき、音声認識により行うようにしてもよい。また、本実施例では通話元と通話先のメンバーにより背景画像を個別に設定するようにしたが、背景画像に限らず、例えば音声が聞き取りにくいメンバーが通話先の場合には音量を大きい設定にするなど、他の項目を個別に設定するようにしてもよい。
【0105】
また、アカウントに関連付けて登録するメンバー名、通話元と通話先のメンバーに対応した背景画像の設定をテレビ通話装置の個別情報記憶領域に記憶するようにしたが、これに限らずテレビ通話サーバのストレージ部303のユーザ情報として記憶するようにしてもよい。これにより、個々のテレビ通話装置でアカウントに関連付けて登録するメンバー名、通話元と通話先のメンバーに対応した背景画像の設定を行う必要がなく、しかも複数のテレビ通話装置で通話元と通話先のメンバーに対応した設定を行うことができる。
【0106】
また、本実施例では通話先情報要求/取得処理S1101においてテレビ通話サーバ3から通話先情報要求/取得を行うものとしたが、これに限らずスカイプで用いられている「スーパーノード」のようにログイン中のアカウント、テレビ通話装置のIPアドレス等の情報を有する装置に対して通話先情報要求/取得を行うようにしてもよい。
【0107】
尚、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、各実施例のシーケンスは本発明の要旨を逸脱しない範囲で処理の追加・削除・置換・順番を変更することが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。
【0108】
また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現しても良い。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ103や203、或いはストレージ104や204に置くことができる。
【0109】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。