(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-04-22
(45)【発行日】2024-05-01
(54)【発明の名称】携帯端末装置、着信画面表示方法およびプログラム
(51)【国際特許分類】
H04M 1/72484 20210101AFI20240423BHJP
H04M 1/00 20060101ALI20240423BHJP
【FI】
H04M1/72484
H04M1/00 S
(21)【出願番号】P 2023033846
(22)【出願日】2023-03-06
【審査請求日】2023-03-06
(73)【特許権者】
【識別番号】000227205
【氏名又は名称】NECプラットフォームズ株式会社
(74)【代理人】
【識別番号】100080816
【氏名又は名称】加藤 朝道
(74)【代理人】
【識別番号】100098648
【氏名又は名称】内田 潔人
(72)【発明者】
【氏名】トウ 天宇
【審査官】松原 徳久
(56)【参考文献】
【文献】特開2003-249994(JP,A)
【文献】特開2002-084360(JP,A)
【文献】米国特許出願公開第2015/0086000(US,A1)
【文献】特開2020-205486(JP,A)
【文献】特開2014-006869(JP,A)
【文献】特開2018-098777(JP,A)
【文献】特開2002-152332(JP,A)
【文献】特開2017-152808(JP,A)
【文献】特開2016-040716(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04M1/00
1/24-1/82
99/00
(57)【特許請求の範囲】
【請求項1】
ビデオ着信があった場合、発信者番号、発信者情報、およびプレビュービデオ情報を含む着信信号を受信する着信信号受信部と、
前記発信者番号、前記発信者情報、および前記プレビュービデオ情報から抽出した発信者情報画像を含む着信画面を表示する着信画面表示部と、
一定時間毎に前記プレビュービデオ情報から抽出した発信者情報画像を含むバナー通知を送出するバナー通知送出部と、を備える携帯端末装置。
【請求項2】
請求項1記載の携帯端末装置であって、
前記バナー通知送出部は、前記プレビュービデオ情報から、音声認識によりテキスト情報を取得し、取得した当該テキスト情報を前記バナー通知に付加して送出する、携帯端末装置。
【請求項3】
請求項1記載の携帯端末装置であって、
前記バナー通知送出部は、少なくともビデオ応答、音声応答、および拒否を含む応答手段を、前記バナー通知に付加して送出する、携帯端末装置。
【請求項4】
請求項2記載の携帯端末装置であって、
前記バナー通知送出部は、前記テキスト情報の量に応じて、前記バナー通知の表示領域のサイズまたは表示テキストのサイズを調整する、携帯端末装置。
【請求項5】
請求項2記載の携帯端末装置であって、
前記バナー通知送出部は、前記テキスト情報を前記発信者情報画像に合成して、前記バナー通知を送出する、携帯端末装置。
【請求項6】
請求項1記載の携帯端末装置であって、
前記バナー通知送出部は、前記バナー通知上に、可能な応答手段の情報を付加して送出する、携帯端末装置。
【請求項7】
請求項1記載の携帯端末装置であって、
前記着信画面表示部の機能は、通話機能を使用するアプリケーション間の競合を管理する機能、およびセキュリティロック中の着信を可能とする機能を提供するフレームワークの機能の一部として提供される、携帯端末装置。
【請求項8】
携帯端末装置によって実行される着信画面表示方法であって、
ビデオ着信があった場合、発信者番号、発信者情報、およびプレビュービデオ情報を含む着信信号を受信し、
前記発信者番号、前記発信者情報、および前記プレビュービデオ情報から抽出した発信者情報画像を含む着信画面を表示するとともに、一定時間毎に前記プレビュービデオ情報から抽出した発信者情報画像を含むバナー通知を送出して表示させる、着信画面表示方法。
【請求項9】
コンピュータを、
ビデオ着信があった場合、発信者番号、発信者情報、およびプレビュービデオ情報を含む着信信号を受信する手段と、
前記発信者番号、前記発信者情報、および前記プレビュービデオ情報から抽出した発信者情報画像を含む着信画面を表示する手段と、
一定時間毎に前記プレビュービデオ情報から抽出した発信者情報画像を含むバナー通知を送出して表示させる手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、携帯端末装置、着信画面表示方法およびプログラムに関する。
【背景技術】
【0002】
例えば、カメラ付きドアホンからの着信を受信した場合に、カメラ付きドアホンが撮影している訪問者の映像データを取得し、これをカメラ付きドアホンの着信画面データとする。そして、このカメラ付きドアホンの着信画面データに従い着信画面を表示して、カメラ付きドアホンからの着信を知らせる技術がある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
以下の分析は、本発明によって与えられたものである。
【0005】
携帯端末装置間のビデオ通話がなされている。携帯端末装置は、スマートフォン端末に代表され、OS(Operating System)として、Apple社が開発したiOSを搭載するiPhone(登録商標)端末と、Google社が基本骨子を策定したAndroid(登録商標)を搭載する端末とに大別される。
【0006】
iPhone端末でビデオ通話を行う場合、iPhone端末上で音声通話および/またはビデオ通話を行うためのVoIP(Voice over Internet Protocol)アプリケーション(ビデオ通話アプリ)を動作させる。iPhone端末は、OS(iOS)に電話機能アプリケーションが既設されており、そのアプリケーションの通話における発着信制御を、CallKitと呼ばれるフレームワークが担う。ビデオ通話アプリも、発着信制御にCallKitを利用することができる。ただし、CallKitを利用する場合、着信画面はCallKitの着信画面(標準着信画面とも呼ぶ。)となる。この標準着信画面は、着信時、CallKitにより、電話帳に登録された情報から生成される。したがって、CallKitを利用する場合、着信時に表示画面に表示したい情報は、予め電話帳に登録しておく必要がある。
【0007】
ビデオ通話アプリがCallKitを利用しない場合、着信画面を自由に作成することができる。しかしながら、CallKitを利用しない場合、ビデオ通話アプリでの通話時に、OSの電話機能アプリケーションで着信が発生すると、OSの電話機能アプリケーションが優先され、ビデオ通話が途切れる。また、CallKitを利用しない状態で、端末セキュリティロック時に着信を受けた場合、ユーザはまずセキュリティロックを解除する必要があり、ユーザビリティが著しく低下する。このように、他の通話アプリケーションと競合動作管理、および端末セキュリティロック時の着信応答のため、ビデオ通話用アプリの運用にはCallKitの利用が望ましい。
【0008】
特許文献1に開示の技術によれば、カメラ付きドアホンを発信元とする着信を受信した場合、カメラ付きドアホンが撮像している訪問者の映像データを、着信画面データとして、カメラ付きドアホンの番号情報に対応付けて記憶し、着信画面に表示して着信を知らせる。記憶する先を、iPhone端末内の電話帳にすれば、CallKitにより、ビデオ着信時に、応答前に発信元の映像を確認できる。
【0009】
しかしながら、ビデオのフレームを1枚しか表示できず、最適に映ったとは限らないため、プレビューとして物足りない感がある。さらに、携帯端末装置間の着信では、ビデオプレビューと共に発信者の音声も受信できることがある。しかしながら、特許文献1に開示の技術を適用したとしても、iPhone端末では、これを有効に利用できていない。
【0010】
本発明は、上記事情に鑑みてなされたもので、携帯端末装置において、ビデオ通話の着信時に利用可能な情報、機能を活用し、ユーザの利便性を向上させることに貢献する技術を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の第一の視点によれば、
ビデオ着信があった場合、発信者番号、発信者情報、およびプレビュービデオ情報を含む着信信号を受信する着信信号受信部と、
前記発信者番号、前記発信者情報、および前記プレビュービデオ情報から抽出した発信者情報画像を含む着信画面を表示する着信画面表示部と、
一定時間毎に前記プレビュービデオ情報から抽出した発信者情報画像を含むバナー通知を送出するバナー通知送出部と、を備える携帯端末装置が提供される。
【0012】
本発明の第二の視点によれば、
携帯端末装置によって実行される着信画面表示方法であって、
ビデオ着信があった場合、発信者番号、発信者情報、およびプレビュービデオ情報を含む着信信号を受信し、
前記発信者番号、前記発信者情報、および前記プレビュービデオ情報から抽出した発信者情報画像を含む着信画面を表示するとともに、一定時間毎に前記プレビュービデオ情報から抽出した発信者情報画像を含むバナー通知を送出して表示させる、着信画面表示方法が提供される。
【0013】
本発明の第三の視点によれば、
コンピュータを、
ビデオ着信があった場合、発信者番号、発信者情報、およびプレビュービデオ情報を含む着信信号を受信する手段と、
前記発信者番号、前記発信者情報、および前記プレビュービデオ情報から抽出した前記発信者情報画像を含む着信画面を表示する手段と、
一定時間毎に前記プレビュービデオ情報から抽出した発信者情報画像を含むバナー通知を送出して表示させる手段として機能させるためのプログラムが提供される。
【0014】
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
【発明の効果】
【0015】
本発明によれば、携帯端末からのビデオ通話の着信時に利用可能な情報を活用し、ユーザの利便性向上に貢献する。
【図面の簡単な説明】
【0016】
【
図1】本開示に係る携帯端末装置の概略構成を示すブロック図である。
【
図2】(a)および(b)は、それぞれ、本開示の着信画面の一例を説明するための説明図であり、(c)は、CallKitに用意された標準着信画面の一例を説明するための説明図である。
【
図3】第一実施形態の電話システムの全体構成の一例を示す図である。
【
図4】第一実施形態の携帯電話端末の機能ブロックの一例を示す図である。
【
図5】(a)および(b)は、それぞれ第一実施形態の着信信号および電話帳の一例を説明するための説明図である。
【
図6】(a)は、第一実施形態の着信画面の一例を、(b)および(c)は、それぞれ、第一実施形態の着信画面上に表示されるバナー通知の一例を、(d)は、第一実施形態のバナー通知の一例を、説明するための説明図である。
【
図7】第一実施形態の着信画面表示処理のフローチャートである。
【
図8】第一実施形態のバナー通知処理のフローチャートである。
【
図9】第一実施形態の携帯電話端末のハードウェア構成の一例を示す図である。
【
図10】第二実施形態の応答受付部が付加されたバナー通知の一例を説明するための説明図である。
【
図11】第二実施形態の携帯電話端末の機能ブロックの一例を示す図である。
【
図12】(a)~(d)は、本発明の実施形態の変形例の着信画面例を説明するための説明図である。
【発明を実施するための形態】
【0017】
以下、本発明の一実施形態(以下、本実施形態と呼ぶ。)の概要について図面を参照して説明する。なお、図面の参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向および単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。
【0018】
また、図中の各ブロックの入出力の接続点には、ポートやインタフェースがあるが図示を省略する。また、以下の説明において、「Aおよび/またはB」は、AまたはB、もしくは、AおよびBという意味で用いる。
【0019】
本開示の実施形態の説明に先立ち、本開示の概要を説明する。本開示では、予め携帯端末装置が備える、標準電話アプリ操作UIのフレームワーク上で、当該標準電話アプリ操作UIがカバーできていない処理を実現する。具体的には、iOSで稼働するCallKitの標準着信画面にビデオ通話のビデオプレビュー表示等を実現する。
【0020】
図1は、本開示に係る携帯端末装置800の概略構成図である。携帯端末装置800は、例えば、OSとしてiOSを搭載した端末(iOS端末)であり、着信信号受信部810と、電話帳登録部820と、着信画面表示部830と、バナー通知送出部840と、を備える。
【0021】
着信信号受信部810は、ビデオ着信があった場合、着信信号を受信する。着信信号は、発信者番号と、発信者情報と、プレビュービデオ情報と、を含む。また、プレビュービデオ情報は、1以上の発信者情報画像(フレーム)を備える。なお、ビデオ着信は、ビデオ通話を要求する着信である。
【0022】
電話帳登録部820は、プレビュービデオ情報から発信者情報画像を抽出し、抽出した発信者情報画像を、携帯端末装置800が管理する電話帳850に登録する。このとき、着信信号に含まれる発信者番号に対応づけて登録する。さらに、発信者情報も、併せて登録してもよい。この電話帳850は、iOS端末が備えるCallKitが着信受信時にアクセスする電話帳である。CallKitは、VoIPを用いた通話をするために必要なUI(User Interface)機能をアプリケーションから利用できるフレームワークである。
【0023】
着信画面表示部830は、発信者番号を受け取り、電話帳850を参照し、受け取った発信者番号に対応づけて登録されている発信者情報画像を取得する。発信者情報が登録されている場合は、併せて取得する。そして、着信画面表示部830は、
図2(a)に示すように、発信者番号311(および発信者情報)と発信者情報画像321とを含む着信画面300を生成し、携帯端末装置800の表示画面上に表示し、ユーザに着信を知らせる。
【0024】
バナー通知送出部840は、着信画面300を表示後、ユーザが応答するまで、所定の時間間隔で(一定時間毎に)、バナー通知350を作成し、表示する処理を繰り返す。バナー通知350は、
図2(a)に示すように、プレビュービデオ情報から抽出した発信者情報画像321を、バナー画像351として備える。バナー通知350は、携帯端末装置800の表示画面上の、バナー表示領域に表示される。
【0025】
例えば、プレビュービデオ情報に音声情報が含まれている場合、バナー通知送出部840は、所定期間の音声情報を抽出し、音声認識によりテキスト情報を取得する。そして、取得したテキスト情報をバナー通知350に、バナーテキスト352として付加してもよい。なお、音声認識は、携帯端末装置800内で行ってもよいし、外部の、例えば、クラウド上の音声認識サービスサーバ等に送信し、変換後のテキストを受信してもよい。
【0026】
さらに、バナー通知送出部840は、
図2(b)に示すように、少なくともビデオ応答、音声応答、および拒否を含む応答手段(応答受付部360)を、前記バナー通知350に付加して送出してもよい。
【0027】
本開示では、着信時、プレビュービデオ情報から取得した発信者情報画像が、発信者番号に対応づけて電話帳850に登録される。携帯端末装置800のOSがiOSである場合、CallKitによる処理が可能である。したがって、他の電話機能アプリケーションで着信が発生しても、そちらが優先されることなく、通話セキュリティロック中の着信であってもセキュリティロックを解除せずに着信に応答できる。
【0028】
なお、CallKitは、電話帳850に登録された情報を取得して着信画面300を表示する。このため、予め各携帯端末装置800内の電話帳850に、着信画面300に表示したい情報を登録する必要がある。しかしながら、例えば、携帯端末装置800の所持者が頻繁に変わるような使用環境では、毎回、登録情報を変更、更新することは手間である。さらに、緊急事態の発生等のニュアンスは、予め電話帳850に登録された静止画や最初の1フレームの画像では伝わりにくい。
【0029】
また、CallKitに用意された標準着信画面390は、ビデオ着信の場合、プレビューと音声応答機能を提供していない。標準着信画面390は、
図2(c)に示すように、テキストで電話番号および/または名称が表示されるテキスト表示領域391と、画像表示領域392と、指示表示領域393と、を備える。したがって、ビデオ着信であっても、
図2(c)に示すように、文字と、予め電話帳850に登録された連絡先写真と、が表示される。また、指示表示領域393には、ビデオ着信に応答するか拒否するかの受付ボタンのみ表示される。
【0030】
このような標準着信画面390の表示では、例えば、医療従事者が使用する場合、通常の単なる業務連絡であるか、緊急事態の通報であるかが伝わりにくい。すなわち、ビデオ着信中の相手映像のプレビューを表示できないため、ビデオ着信中に相手のプレビュービデオ情報が伝わらず、特に、緊急事態に直面する可能性の高い看護師から医師への連絡時に応答すべき着信を逃したり、応答したくない着信に応答したりする問題が多発している。しかしながら、本開示によれば、ビデオ着信中に発信元のプレビュービデオ情報が刻々と伝わり、このような事態は解消する。
【0031】
さらに、プレビュービデオ情報に発信者の音声が含まれることがあるが、iOSの携帯端末装置800では、着信音に重ねての音声再生ができない。しかしながら、本開示によれば、音声をテキスト化してバナー通知350として表示するため、発信者の音声内容も着信側で把握できる。
【0032】
また、iOSの携帯端末装置800の標準着信画面390では、一般に応答ボタンは1つである。ビデオ通話の着信に対しては、ビデオ着信しか選べない。音声のみで応答したい場合であっても、音声のみの通話には対応できない。しかし、本開示によれば、応答受付部360を表示し、多様な応答を受け付ける。したがって、音声のみの対応も可能となる。
【0033】
<<第一実施形態>>
以下、図面を参照しつつ、本開示の実施形態を説明する。
図3は、本実施形態の電話システム101の全体構成の一例である。本図に示すように、本実施形態では、発信元の携帯電話端末(発信者端末100a)から、中継サーバ910を介して、発信先の携帯電話端末(受信者端末100b)に、ビデオ通話を発信する。
【0034】
なお、発信者端末100aおよび受信者端末100bは、iOSを搭載した携帯電話端末(例えば、Apple社製のiPhone端末等)とする。以下、区別する必要がない場合は、携帯電話端末100で代表する。また、携帯電話端末100は、本実施形態のVoIPアプリ(ビデオ通話アプリ)を搭載しているものとする。ビデオ通話アプリは、音声通話、ビデオ通話およびその発着信の制御を行うアプリケーションである。中継サーバ910は、VoIPを中継可能なVoIP中継サーバである。
【0035】
さらに、本実施形態の受信者端末100bは、インターネット等のネットワーク900を介して音声認識サーバ920にアクセス可能とする。音声認識サーバ920は、音声を認識し、テキストに変換する処理を行うサーバである。
【0036】
図4は、本実施形態の携帯電話端末100の機能ブロック図である。本図に示すように、本実施形態の携帯電話端末100は、OS110としてiOSを搭載する。また、携帯電話端末100には、ビデオ通話アプリ120がインストールされ、電話帳130と、CallKit140と、ネットワークインタフェース(NWI/F)150と、外部インタフェース(外部I/F)160と、を備える。
【0037】
ビデオ通話アプリ120およびCallKit140は、OS110上で動作する。電話帳130は、データベースであり、ビデオ通話アプリ120およびCallKit140からアクセス可能である。
【0038】
ビデオ通話アプリ120は、着信時の処理を行う着信処理部と、通話時の処理を行う通話処理部とを備える。以下、本実施形態に関連する着信処理部の詳細について説明する。
【0039】
ビデオ通話アプリ120の着信処理部は、他の携帯電話端末等からのビデオ通話を要求する着信(ビデオ着信)を受信し、ビデオプレビューを実現する着信画面を生成する。本実施形態のビデオ通話アプリ120の着信処理部は、着信信号受信部121と、登録データ生成部122と、電話帳操作部123と、CallKit操作部124と、バナー通知制御部125と、タイマ126と、を備える。
【0040】
着信信号受信部121は、NWI/F150を介して、他の携帯電話端末等から送信されたビデオ通話の着信信号200を受信する。着信信号200は、
図5(a)に示すように、発信者番号210と、発信者情報220と、プレビュービデオ情報230と、を含む。着信信号受信部121は、着信信号200がビデオ通話の着信信号である場合、着信信号200に含まれる発信者番号210と発信者情報220とプレビュービデオ情報230とを登録データ生成部122に渡す。
【0041】
なお、着信信号受信部121は、例えば、着信信号200に、プレビュービデオ情報230が含まれている場合、ビデオ通話の着信と判別する。その他、着信信号200は、着信種別を特定する情報を含んでいてもよい。この場合、着信信号受信部121は、着信種別を特定する情報により、着信の種別を判別する。
【0042】
登録データ生成部122は、着信信号受信部121から受け取った情報に基づいて、電話帳130へ登録する登録データを生成する。登録データは、発信者番号210と発信者情報220と発信者情報画像とを含む。発信者情報画像は、プレビュービデオ情報230から取得した画像である。例えば、プレビュービデオ情報230のストリームから1フレームを抽出し、発信者情報画像とする。
【0043】
例えば、プレビュービデオ情報230が、Webコンテンツとして提供される場合、登録データ生成部122は、HTML(Hyper Text Markup Language)を解析し、画像データ(画像ファイル)を特定する。そして、例えば、最初のフレーム内の画像データを、発信者情報画像として抽出する。
【0044】
電話帳操作部123は、電話帳130のデータを操作する。電話帳130には、
図5(b)に示すように、電話番号131と名称132と画像133とが登録可能である。
【0045】
電話帳130は、さらに、退避領域134と備考135とを備える。退避領域134は、画像データを一時的に保持する領域である。また、備考135は、レコード種別を特定する情報を保持する。本実施形態では、例えば、レコードが、本実施形態のビデオプレビューのために新規に作成されたものである場合、フラグを設定する。なお、退避領域134と備考135とは、電話帳130とは別の記憶領域に保存されてもよい。
【0046】
本実施形態では、電話帳操作部123は、登録データ生成部122から、登録データを受け取ると、既に、当該発信者の情報が登録されているか否かを判別する。本実施形態では、例えば、登録データ内の発信者番号210と電話番号131とを照合し、一致するものが登録されているか否かを判別する。一致するレコードが登録されている場合、当該レコードの画像133を一時的に退避領域134に退避し、発信者情報画像を画像133に登録する。
【0047】
一方、未登録の場合、当該登録データを用いて、レコードを作成する。電話帳操作部123は、登録データ生成部122から受信した発信者番号210、発信者情報220および発信者情報画像を登録する。例えば、発信者番号210を、電話番号131に、発信者情報220の一部または全部を名称132に、発信者情報画像を画像133に、それぞれ登録する。そして、この場合、備考135にビデオプレビューのために登録されたレコードであることを意味するフラグを設定する。
【0048】
電話帳操作部123は、所定のタイミングで、備考135にフラグが設定されているレコードを電話帳130から削除する。また、電話帳操作部123は、所定のタイミングで、退避領域134に退避している画像を、画像133に戻す。所定のタイミングは、例えば、着信処理終了時、具体的には、ユーザが着信に応答したタイミング、あるいは、着信応答を拒否したタイミング等である。あるいは、所定のタイミングは、当該着信に対する通話が終了したタイミングであってもよい。
【0049】
CallKit操作部124は、電話帳操作部123が登録データを電話帳130に登録した後、CallKit140に発信者番号210を通知することにより、着信を通知する。
【0050】
CallKit140は、OS110において、通話機能を使用するアプリケーション間の競合を管理する機能、セキュリティロック中の着信を可能とする機能、および着信画面を表示する機能を提供するフレームワークである。CallKit140は、着信が通知されると、電話帳130のデータを利用して標準着信画面390を着信画面300として生成する。具体的には、電話帳130から、発信者番号(電話番号131)に対応して登録された名称132および画像133を取得する。CallKit140は、電話番号131、取得した名称132および画像133を含む着信画面300を生成し、外部インタフェース(外部I/F)160を通じて表示画面上に表示する。
【0051】
図6(a)は、表示画面上に表示される着信画面300の一例を示す。着信画面300は、テキスト表示領域310と、画像表示領域320と、指示表示領域330と、を備える。テキスト表示領域310、画像表示領域320および指示表示領域330は、それぞれ、標準着信画面390のテキスト表示領域391、画像表示領域392および指示表示領域393に対応する。
【0052】
テキスト表示領域310には、電話帳130の発信者番号(電話番号131)と名称132から取得したデータとがテキストデータで表示される。具体的には、発信者の電話番号131と発信者の情報である名称132等である。電話番号131と発信者の情報とのいずれか一方でもよい。また、画像表示領域320には、発信者情報画像が表示される。さらに、指示表示領域330には、当該着信に対し、応答するか、拒否するか、のユーザの意思を受け付ける受付ボタン等が表示される。なお、テキスト表示領域310に表示するテキストデータの文字数がテキスト当該領域に表示可能な文字数を超える場合、テキストデータは、例えば、テキスト表示領域310においてスクロール表示されてもよい。
【0053】
タイマ126は、時間を計測する。本実施形態では、着信信号200を受信した際、計測を開始し、所定の時間間隔で、バナー通知制御部125に通知する。
【0054】
バナー通知制御部125は、着信画面300に重畳するバナー通知を生成する。本実施形態では、タイマ126からの通知を受け取る毎に、プレビュービデオ情報230から、予め定めた1フレーム分の画像を抽出し、バナー画像とする。抽出するフレームは、例えば、最新のフレームである。なお、画像の抽出手法は、登録データ生成部122による抽出手法と同様である。また、バナー通知制御部125は、バナー通知を生成する際、着信画面300を表示中であるか否かを、判別する。
【0055】
本実施形態のバナー通知制御部125は、さらに、バナーテキストを生成する。バナーテキストは、例えば、着信信号200に含まれる発信者番号210と、予め定めたメッセージ等を含む。メッセージは、例えば、「ビデオ着信中」等である。さらに、発信者情報220も含めてもよい。
【0056】
さらに、本実施形態のバナーテキストには、プレビュービデオ情報230に含まれる音声情報(音声データ)をテキストに変換したテキスト情報を含めてもよい。この場合、バナー通知制御部125は、プレビュービデオ情報230から、所定期間の音声情報を抽出する。そして、抽出した音声データをテキスト情報に変換し、バナーテキストを生成する。音声データは、自装置(携帯電話端末100)が、音声データを認識してテキスト化する音声認識アプリケーションを搭載している場合、それを用いてもよい。また、外部の音声認識サービスを用いてもよい。
【0057】
例えば、クラウド上の音声認識サービス(音声データからの文字起しクラウドサービス)を、外部の音声認識サービスとして用いる場合、バナー通知制御部125は、NWI/F150を介して、所定期間の音声データを、ネットワーク900上の音声認識サービスを提供する音声認識サーバ920に、送信し、それに応じて返信されたテキスト情報を用いる。
【0058】
音声データを抽出する所定期間は、カスタマイズできる長さを想定し、例えば、5秒間と設定してもよい。例えば、バナー通知間隔を5秒とする場合、4秒までにテキスト変換を終えてビデオ通話アプリに返す必要がある。バナー通知制御部125は、例えば、4秒以内にテキストが検出できなかった場合、次の間隔まで音声データを蓄積し続ける。最大10秒間の音声データを蓄積した後、テキスト検知成否に関わらず、音声データをリセットする。なお、所定期間は、例えば、バナー通知を生成する所定間隔と同一であってもよい。
【0059】
バナー通知制御部125は、所定の時間間隔で、生成したバナー画像とバナーテキストとを所定の領域に配置し、バナー通知を生成する。そして、生成する毎に、外部I/F160を介して送出し、表示画面上の、予め定めた領域に表示させる。
【0060】
図6(b)は、着信画面300に、バナー通知350を重畳表示した場合の表示例である。また、
図6(d)は、バナー通知350のみを拡大した図である。
図6(d)に示すように、バナー通知350は、バナー画像351と、バナーテキスト352とを備える。上述のように、バナーテキスト352が、その表示領域に表示可能な文字数を超える場合、バナー通知制御部125は、スクロール表示してもよい。また、バナー通知制御部125は、
図6(c)に示すように、文字数に応じて、バナー通知350のサイズを変更してもよい。
【0061】
具体的には、バナー通知制御部125は、例えば、バナーテキスト352の全ての文字が収まるよう、バナー通知350のサイズを調整してもよい。また、バナー通知制御部125は、バナーテキスト352の全ての文字が収まるよう、バナー通知350に表示する表示テキストのフォントサイズを調整してもよい。
【0062】
以上において、携帯電話端末100は、
図1の携帯端末装置800に対応する。また、着信信号受信部121は、着信信号受信部810に、登録データ生成部122および電話帳操作部123は、電話帳登録部820に対応する。CallKit操作部124およびCallKit140は、着信画面表示部830に対応する。バナー通知制御部125は、バナー通知送出部840に対応する。電話帳130は、電話帳850に対応する。
【0063】
[ビデオ着信時処理]
以下、本実施形態の携帯電話端末100によるビデオ着信時処理の流れを説明する。本実施形態では、着信画面表示処理と、バナー通知処理とが、並行して行われる。以下、それぞれについて説明する。
【0064】
[着信画面表示処理]
まず、着信画面表示処理の流れを説明する。
図7は、本実施形態の着信画面表示処理の処理フローである。本処理は、ビデオ通話アプリ120の着信信号受信部121が、着信信号200を受信したことを契機に開始される。
【0065】
着信信号受信部121は、着信信号200を解析し、ビデオ通話を要求する着信(ビデオ着信)であるかを判別する(ステップS1101)。着信信号受信部121は、例えば、プレビュービデオ情報230が含まれている場合、ビデオ着信と判別する。
【0066】
ビデオ着信でない場合は、そのまま処理を終了する。この場合、CallKit140が着信を受け、標準着信画面390を生成して表示する等の着信処理を行う。
【0067】
着信信号受信部121は、ビデオ着信と判別した場合(S1101;Yes)、着信信号200に含まれる発信者番号210、発信者情報220およびプレビュービデオ情報230を登録データ生成部122に渡す。登録データ生成部122は、プレビュービデオ情報230から1フレーム抽出し(ステップS1102)、発信者情報画像を取得する。そして、発信者番号210、発信者情報220および発信者情報画像を登録データとする(ステップS1103)。ここで、生成した登録データは、電話帳操作部123に渡される。
【0068】
電話帳操作部123は、登録データに対応する発信者のレコードが、電話帳130に既登録であるかを判別する(ステップS1104)。本実施形態では、登録データの発信者番号210に一致する番号が、電話帳130の電話番号131に登録されている場合、既登録と判別する。
【0069】
既登録と判別した場合(S1104;Yes)、電話帳操作部123は、当該レコードの画像133を、退避領域134に退避させる。そして、登録データに含まれる発信者情報画像を画像133として登録する。
【0070】
一方、既登録と判別しない場合(S1104;No)、電話帳操作部123は、登録データを、新規レコードとして電話帳130に追加登録する(ステップS1106)。このとき、備考135に、フラグを設定する。
【0071】
CallKit操作部124は、電話帳操作部123による操作が終了すると、CallKit140に発信者番号210を通知し、着信を通知する。これにより、CallKit140は、電話帳130を参照して着信画面300を生成し、表示画面上に表示する(ステップS1107)。
【0072】
その後、電話帳操作部123は、CallKit140が、ユーザから指示表示領域330を介した対応の指示を受け付けると(ステップS1108)、電話帳130を操作し(ステップS1109)、元にもどし、処理を終了する。なお、本実施形態では、ユーザからの対応は、着信に応答または着信拒否のいずれかである。また、ステップS1109で行う電話帳130の操作は、例えば、退避領域134に画像が登録されている場合、当該画像を、画像133に移動させる、および、備考135にフラグが設定されているレコードがある場合、当該レコードを削除する、のいずれかである。
【0073】
[バナー通知処理]
次に、バナー通知処理について説明する。
図8は、本実施形態のバナー通知処理の処理フローである。本処理も、着信画面表示処理同様、ビデオ通話アプリ120の着信信号受信部121が、着信信号200を受信したことを契機に開始される。本処理は、着信画面表示処理とは、独立して実行される。以下、バナー通知350を更新する「所定期間」と音声データを蓄積する期間とを同一とし、Tと表す。
【0074】
バナー通知処理は、着信画面表示処理において、着信信号受信部121が、ビデオ着信と判定した場合(ステップS1101)に行われる。
【0075】
バナー通知制御部125は、タイマ126および蓄積した音声データをクリアする(ステップS1201)。
【0076】
その後、バナー通知制御部125は、プレビュービデオ情報230から、音声データを抽出し、蓄積を開始する(ステップS1202)。そして、所定期間Tを経過すると(ステップS1203)、バナー通知制御部125は、蓄積した音声データをテキストデータに変換する(ステップS1204)。例えば、外部の音声から文字起こしクラウドサービス(音声認識サーバ920)等に音声データを送信することにより、テキストデータを得る。自装置(携帯電話端末100)が、当該アプリケーションを備えている場合は、それを用いてもよい。これにより、バナー通知制御部125は、バナーテキスト352を得る。
【0077】
また、バナー通知制御部125は、プレビュービデオ情報230から、1フレーム抽出し(ステップS1205)、バナー画像351を得る。ここでは、バナー通知制御部125は、例えば、その時点のプレビュービデオ情報230の最新のフレームを抽出する。
【0078】
バナー通知制御部125は、バナーテキスト352およびバナー画像351を用いて、バナー通知350を生成し、表示画面上の所定の領域に表示する(ステップS1206)。
【0079】
その後、バナー通知制御部125は、上記着信画面表示処理において、CallKit140が対応の指示を受け付けたかを判別する(ステップS1108)。そして、対応の指示を受け付けた場合(S1108;Yes)、表示画面上に表示されているバナー通知350を消去し(ステップS1207)、処理を終了する。一方、対応の指示を受け付けていない場合、すなわち、まだ、着信画面表示がなされている場合、ステップS1201へ戻り、処理を繰り返す。
【0080】
[ハードウェア構成]
携帯電話端末100のハードウェア構成を説明する。
図9は、携帯電話端末100のハードウェア構成図である。携帯電話端末100は、プロセッサ191と、記憶部192と、ROM(Read Only Memory)193と、RAM(Random Access Memory)194と、通信インタフェース(I/F:Interface)195と、ユーザインタフェース196と、マイク197と、スピーカ198と、を備える。
【0081】
通信I/F195は、無線通信手段を介して、中継サーバ910(
図3参照)と携帯電話端末100とを接続するためのインタフェースである。携帯電話端末100は、通信I/F195を介して、中継サーバ910から着信信号を受信する。
【0082】
ユーザインタフェース196は、例えばディスプレイなどの表示装置を含む。表示装置は、タッチパネルとして構成されており、入力部を兼ねる。本実施形態では、着信画面300およびバナー通知350は、ディスプレイなどの表示装置に表示される。また、本実施形態では、ビデオ通話を行う。この際、ビデオデータは、表示装置に表示される。
【0083】
マイク197およびスピーカ198は、通話において使用される。また、スピーカ198は、着信音の鳴動等にも用いられる。
【0084】
記憶部192は、各種のデータを保持する。ROM193は、不揮発性の記憶装置である。ROM193には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。プロセッサ191が実行するプログラムは、記憶部192またはROM193に格納され得る。また、本実施形態では、電話帳130は、記憶部192またはROM193に記憶される。
【0085】
上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、携帯電話端末100に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、CD(compact disc)、又はDVD(digital versatile disk)などの光ディスク媒体、及び、マスクROM、PROM(programmable ROM)、EPROM(erasable PROM)、フラッシュROM、又はRAMなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いてコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0086】
RAM194は、揮発性の記憶装置である。RAM194には、DRAM(Dynamic Random Access Memory)又はSRAM(Static Random Access Memory)などの各種半導体メモリデバイスが用いられる。RAM194は、データなどを一時的に格納する内部バッファとして用いられ得る。プロセッサ191は、記憶部192またはROM193に格納されたプログラムをRAM194に展開し、実行する。プロセッサ191がプログラムを実行することで、例えば
図4に示されるビデオ通話アプリ120、CallKit140などの機能が実現される。
【0087】
以上説明したように、本実施形態によれば、着信画面300に表示する背景画像に、プレビュービデオ情報230から取得した発信者情報画像を用いる。これにより、ビデオ通話の着信中に、プレビュービデオ情報230に含まれる画像、すなわち、発信者のリアルタイムの画像を見ることができ、発信者の様子を知ることができる。本実施形態の手法によれば、OSがiOSの携帯電話端末100であっても、既存の機能を活かしながら、上記ビデオプレビューを得ることができる。
【0088】
例えば、医療機関の連絡等に用いる場合、連絡元の看護師が、緊急の要件で発信しているのか、あるいは、それほど急ぎでない業務連絡で発信しているのか、一目で把握することができ、着信側も、適切に対応することができる。
【0089】
さらに、本実施形態によれば、着信中、所定の時間間隔で、バナー通知350上のバナー画像351が更新される。これにより、発信元の情報をリアルタイムで把握することができる。
【0090】
また、本実施形態によれば、着信中、バナー通知350上にバナーテキスト352として、プレビュービデオ情報230に含まれる音声データがテキストに変換されて表示される。これにより、発信元の様子をより把握しやすくなり、応答要否を、より適切に判断できる。一般に、OSがiOSの携帯電話端末100では、着信音とともに音声再生を行うことができない。しかし、本実施形態によれば、プレビュービデオ情報230に含まれる音声データの内容を把握することができる。
【0091】
また、本実施形態の携帯電話端末100は、CallKit140が処理可能な標準着信画面390でこれらを実現している。したがって、CallKit140が実現する各種の機能を活用しつつ、より有用な情報を提供できる。
【0092】
以上より、本実施形態によれば、携帯電話端末100において、ビデオ通話の着信時に、利用可能な情報を活用することで、利便性が向上する。
【0093】
一般に、iOSの携帯電話端末100の標準着信画面390でのビデオ着信時は、リアルタイムの相手の状況を、プレビューとして確認できず、応答に迷う場合がしばしばあり、ビデオ通話機能の有効活用の妨げになっている。本実施形態によれば、相手のプレビュー画像の表示と音声内容の見える化を実現することで、ビデオ通話機能の使い勝手を大いに改善するだけでなく、ビデオプレビューをメイン機能とするナースコールやインターホン製品の、OSがiOSである携帯電話端末との連携におけるソリューションの差別化への寄与が大きい。ナースコールやインターホン製品とVoIPアプリの連携に加えて、いかなるビデオ着信を提供するシステムにおいても、本実施形態の導入により、iOSの携帯電話端末100におけるユーザビリティが格段に向上する。
【0094】
例えば、病院の中で病室にいる看護師から会議中の医師にVoIPアプリでビデオ発信する場合等、特に有用である。
【0095】
<<第二実施形態>>
次に、本発明を適用する第二実施形態を説明する。本実施形態では、バナー通知350を活用し、ビデオ通話による応答と、音声のみの通話応答との使い分けを可能とする。以下、本実施形態について、第一実施形態と異なる点に主眼をおいて説明する。
【0096】
本実施形態の携帯電話端末100の機能構成およびハードウェア構成は、第一実施形態と同様である。ただし、本実施形態では、バナー通知制御部125が、バナー通知350として、バナー画像351およびバナーテキスト352に加え、応答ボタンを表示する。そして、当該応答ボタンを介して、応答を受け付ける。
【0097】
本実施形態のバナー通知制御部125は、バナー通知350に応答受付部360を付加して、外部I/F160を介して送出し、表示画面上の、予め定めた領域に表示させる。
【0098】
応答受付部360が付加されたバナー通知350の一例を、
図10に示す。本図に示すように、応答受付部360は、例えば、ビデオ通話を行う応答(ビデオ応答)の指示を受け付ける領域と、音声通話を行う応答(音声応答)の指示を受け付ける領域と、応答を拒否する指示を受け付ける領域とを備える。なお、その他の応答、指示を受け付ける領域を備えてもよい。
【0099】
バナー通知制御部125は、ユーザからの指示を受け付けると、指示に応じた処理を行う。例えば、ビデオ応答の指示を受け付けると、ビデオ通話アプリ120の通話処理部170(
図11参照)に、ビデオ通話を行うよう指示を出す。また、音声応答の指示を受け付けると通話処理部170に、音声通話を行うよう指示を出す。また、拒否の指示を受け付けると、CallKit140に着信拒否の指示を出す。
【0100】
以上説明したように、本実施形態では、バナー通知制御部125は、少なくとも、ビデオ応答、音声応答および拒否を含む応答指示を受け付ける応答受付部360を、バナー通知350に付加して送出する。そして、当該応答受付部360を介して、ユーザからの指示を受け付ける。
【0101】
従来、標準着信画面390には指示受付ボタンが2つしかない。すなわち、ビデオ通話の着信に対しては、ビデオ通話の応答か拒否しかできず、音声通話の着信に対しては、音声通話の応答か拒否しかできない。しかしながら、本実施形態によれば、バナー通知350に、応答指示を受け付ける領域を用意する。そして、バナー通知350からVoIPアプリ(ビデオ通話アプリ)に遷移できる。したがって、ビデオ通話の着信であっても、音声通話を行うよう応答することができる。
【0102】
本実施形態によれば、第一実施形態と同様の効果に加え、多種の応答オプションを提供できる。例えば、音声通話なら応答できるような状況の場合、従来であれば、拒否するしかなかったところ、音声通話での応答が可能となるため、応答できる可能性が高まる。したがって、より利便性が高まる。
【0103】
<変形例1>
第二実施形態で、多様な応答オプションの提供手法は、上記に限定されない。例えば、
図12(a)に示すように、バナー通知350に、音声応答が可能であることを示すメッセージ353を表示させてもよい。バナー通知制御部125は、例えば、一定期間、応答がない場合、バナー通知350にバナー画像351およびバナーテキスト352を表示する替わりに、上記メッセージ353を表示させるよう制御してもよい。あるいは、所定の時間間隔で、通常のバナー通知350(バナー画像351とバナーテキスト352)と、メッセージ353とを交互に表示させてもよい。
【0104】
また、
図12(b)に示すように、メッセージ353に加え、上記応答受付部360を表示させてもよい。
【0105】
さらに、
図12(c)および
図12(d)に示すように、音声応答が可能な場合、発信者情報画像の表示なしに、バナー通知350にメッセージ353を表示させてもよい。
【0106】
<変形例2>
なお、上記各実施形態では、バナー通知350が、バナー画像351およびバナーテキスト352の両方を備える場合を例にあげて説明した。しかし、これに限定されない。バナー通知350として所定時間間隔で表示する情報は、いずれか一方であってもよい。また、テキスト情報を合成したバナー画像をバナー通知としてもよい。
【0107】
<変形例3>
また、上記各実施形態では、登録データ生成部122は、プレビュービデオ情報230の最初のフレーム内の画像を、発信者情報画像として抽出しているが、これに限定されない。例えば、簡単な画像解析処理を行い、人物の画像と特定された画像データを発信者情報画像として抽出するよう構成してもよい。
【0108】
<変形例4>
また、上記各実施形態では、携帯電話端末100が、OSがiOSである携帯電話端末(例えば、Apple社製のiPhone)である場合を例にあげて説明した。しかし、携帯電話端末100は、これに限定されない。例えば、iPadOSを有するiPad(登録商標)であってもよい。また、ビデオプレビューを提供しない標準の着信画面を有する、その他の携帯端末であってもよい。
【0109】
<変形例5>
また、携帯電話端末100が複数の着信音を備える場合、発信者番号(電話番号131)毎に着信音が設定されていてもよい。この場合、例えば、電話帳130は、さらに、着信音を設定する設定欄を備え、当該設定欄に予め設定する。
【0110】
また、発信者番号(電話番号131)毎に、画像表示領域320の背景色、バナー通知350の表示色等を変更してもよい。この場合も、同様に、電話帳130に各種の色を設定する設定欄を備え、当該設定欄に予め設定する。
【0111】
なお、上述の説明で用いたフローチャートでは、複数の工程(処理)が順番に記載されているが、各工程の実行順序は、その記載の順番に制限されない。例えば、各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。
【0112】
また、携帯電話端末100の記憶部192に記憶されたプログラムは、非一時的なコンピュータ可読記録媒体(non-transitory computer-readable storage medium)に記録されたプログラム製品として提供することができる。これらは、非一時的なコンピュータ可読記録媒体に記録された各種プログラムを中長期的に記憶することに利用することが可能である。
【0113】
以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。
【0114】
上記の実施形態および変形例の一部又は全部は、以下に付記する形態のように記載されうるが、以下には限られない。
(付記1)
ビデオ着信があった場合、発信者番号、発信者情報、およびプレビュービデオ情報を含む着信信号を受信する着信信号受信部と、
前記発信者番号、前記発信者情報、および前記プレビュービデオ情報から抽出した発信者情報画像を含む着信画面を表示する着信画面表示部と、
一定時間毎に前記プレビュービデオ情報から抽出した発信者情報画像を含むバナー通知を送出するバナー通知送出部と、を備える携帯端末装置。
(付記2)
付記1に記載の携帯端末装置において、
前記バナー通知送出部は、前記プレビュービデオ情報から、音声認識によりテキスト情報を取得し、取得した当該テキスト情報を前記バナー通知に付加して送出することが望ましい。
(付記3)
付記1または2に記載の携帯端末装置において、
前記バナー通知送出部は、少なくともビデオ応答、音声応答、および拒否を含む応答手段を、前記バナー通知に付加して送出することが望ましい。
(付記4)
付記2記載の携帯端末装置において、
前記バナー通知送出部は、前記テキスト情報の量に応じて、前記バナー通知の表示領域のサイズまたは表示テキストのサイズを調整することが望ましい。
(付記5)
付記2記載の携帯端末装置において、
前記バナー通知送出部は、前記テキスト情報を前記発信者情報画像に合成して、前記バナー通知を送出することが望ましい。
(付記6)
付記1から5のいずれかに記載の携帯端末装置において、
前記バナー通知送出部は、前記バナー通知上に、可能な応答手段の情報を付加して送出することが望ましい。
(付記7)
付記1から6のいずれかに記載の携帯端末装置において、
前記着信画面表示部の機能は、通話機能を使用するアプリケーション間の競合を管理する機能、およびセキュリティロック中の着信を可能とする機能を提供するフレームワークの機能の一部として提供されることが望ましい。
(付記8)
携帯端末装置によって実行される着信画面表示方法であって、
ビデオ着信があった場合、発信者番号、発信者情報、およびプレビュービデオ情報を含む着信信号を受信し、
前記発信者番号、前記発信者情報、および前記プレビュービデオ情報から抽出した発信者情報画像を含む着信画面を表示するとともに、一定時間毎に前記プレビュービデオ情報から抽出した発信者情報画像を含むバナー通知を送出して表示させる、着信画面表示方法。
(付記9)
コンピュータを、
ビデオ着信があった場合、発信者番号、発信者情報、およびプレビュービデオ情報を含む着信信号を受信する手段と、
前記発信者番号、前記発信者情報、および前記プレビュービデオ情報から抽出した発信者情報画像を含む着信画面を表示する手段と、
一定時間毎に前記プレビュービデオ情報から抽出した発信者情報画像を含むバナー通知を送出して表示させる手段として機能させるためのプログラム。
なお、付記8、9の各形態は、付記1の形態と同様に、付記2-7の形態に展開することが可能である。
【0115】
なお、上記の特許文献等の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
【符号の説明】
【0116】
100:携帯電話端末、100a:発信者端末、100b:受信者端末、101:電話システム、110:OS、120:ビデオ通話アプリ、121:着信信号受信部、122:登録データ生成部、123:電話帳操作部、124:CallKit操作部、125:バナー通知制御部、126:タイマ、130:電話帳、131:電話番号、132:名称、133:画像、134:退避領域、135:備考、140:CallKit、150:NWI/F、160:外部I/F、170:通話処理部、191:プロセッサ、192:記憶部、193:ROM、194:RAM、195:通信I/F、196:ユーザインタフェース、197:マイク、198:スピーカ、
200:着信信号、210:発信者番号、220:発信者情報、230:プレビュービデオ情報、
300:着信画面、310:テキスト表示領域、311:発信者番号、320:画像表示領域、321:発信者情報画像、330:指示表示領域、350:バナー通知、351:バナー画像、352:バナーテキスト、353:メッセージ、360:応答受付部、390:標準着信画面、391:テキスト表示領域、392:画像表示領域、393:指示表示領域、
800:携帯端末装置、810:着信信号受信部、820:電話帳登録部、830:着信画面表示部、840:バナー通知送出部、850:電話帳、
900:ネットワーク、910:中継サーバ、920:音声認識サーバ
【要約】
【課題】携帯端末において、ビデオ通話の着信時に利用可能な情報、機能を活用し、ユーザの利便性を向上させる。
【解決手段】携帯端末装置は、ビデオ着信があった場合、発信者番号、発信者情報、およびプレビュービデオ情報を含む着信信号を受信する着信信号受信部と、前記発信者番号、前記発信者情報、および前記プレビュービデオ情報から抽出した発信者情報画像を含む着信画面を表示する着信画面表示部と、一定時間毎に前記プレビュービデオ情報から抽出した発信者情報画像を含むバナー通知を送出するバナー通知送出部と、を備える。
【選択図】
図1