IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シャープ株式会社の特許一覧

特開2023-167250端末装置、通信システム及び通信方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023167250
(43)【公開日】2023-11-24
(54)【発明の名称】端末装置、通信システム及び通信方法
(51)【国際特許分類】
   H04M 1/00 20060101AFI20231116BHJP
   H04L 67/141 20220101ALI20231116BHJP
   H04L 67/54 20220101ALI20231116BHJP
   H04N 7/14 20060101ALI20231116BHJP
【FI】
H04M1/00 R
H04L67/141
H04L67/54
H04N7/14
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022078287
(22)【出願日】2022-05-11
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100112335
【弁理士】
【氏名又は名称】藤本 英介
(74)【代理人】
【識別番号】100101144
【弁理士】
【氏名又は名称】神田 正義
(74)【代理人】
【識別番号】100101694
【弁理士】
【氏名又は名称】宮尾 明茂
(74)【代理人】
【識別番号】100124774
【弁理士】
【氏名又は名称】馬場 信幸
(72)【発明者】
【氏名】峠田 正樹
【テーマコード(参考)】
5C164
5K127
【Fターム(参考)】
5C164FA09
5C164UB41S
5C164UB81S
5C164VA07S
5C164VA18P
5C164YA12
5K127BA01
5K127CA27
5K127CA34
5K127CB12
5K127CB22
5K127DA01
5K127DA12
5K127GA02
5K127GB12
5K127GB21
5K127GB72
5K127GB74
5K127GD01
5K127GD07
5K127HA02
5K127HA03
5K127JA05
5K127JA33
5K127KA04
(57)【要約】
【課題】被呼者を煩わせることなく会話要求を送信する端末装置等を提供する。
【解決手段】被呼者が使用する被呼側端末装置が取得した情報に基づいて、被呼者の在否を判定する。被呼者が存在すると判定された場合、被呼側端末装置に対し、会話の開始を要求する会話要求を送信する。
【選択図】図2
【特許請求の範囲】
【請求項1】
被呼者が使用する被呼側端末装置が取得した情報に基づいて、前記被呼者の在否を判定する判定部と、
前記判定部によって前記被呼者が存在すると判定された場合、前記被呼側端末装置に対し、会話の開始を要求する会話要求を送信する制御部と
を備えることを特徴とする端末装置。
【請求項2】
前記判定部によって前記被呼者が不在と判定された場合、前記会話要求を前記被呼側端末装置に送信しない、請求項1に記載の端末装置。
【請求項3】
前記被呼側端末装置のマイクから入力された音声に基づいて、前記被呼者が音声を発しているか否かを判定する音声判定を実行する音声判定部を更に備え、
前記判定部によって前記被呼者が存在すると判定され、かつ、前記音声判定によって前記被呼者が音声を発していないと判定された場合、前記制御部は、前記被呼側端末装置に前記会話要求を送信する、
請求項1または2に記載の端末装置。
【請求項4】
前記被呼側端末装置からの入力に基づいて、前記被呼者が作業に集中しているか否かを判定する集中判定部を更に備え、
前記判定部によって前記被呼者が存在すると判定され、かつ、前記集中判定部によって前記被呼者が集中していないと判定された場合、前記制御部は、前記被呼側端末装置に前記会話要求を送信する、
請求項1に記載の端末装置。
【請求項5】
前記会話の重要度の入力を受け付ける重要度部を更に備え、
前記判定部によって前記被呼者が存在すると判定された場合、前記制御部は、
前記被呼側端末装置に対し、前記会話要求と共に前記重要度を送信し、
前記被呼側端末装置に、前記重要度に応じた表示をさせる、
請求項1に記載の端末装置。
【請求項6】
前記被呼側端末装置のカメラで撮影された画像を前記被呼側端末装置から受信するモニタリング部と、
前記モニタリング部が受信した画像を表示する表示部と、
を更に備え、
自端末装置が、前記会話要求の受諾を示す会話受諾を、前記被呼側端末装置から受信する前に、前記表示部は前記画像を表示する、
請求項1に記載の端末装置。
【請求項7】
発呼者及び複数の被呼者からなる3人以上のグループで行う会話であるグループ会話に必須の前記被呼者を少なくとも一人指定する必須通話相手指定部を更に備え、
前記判定部は、複数の被呼側端末装置における前記判定部の判定結果を取得し、
前記判定部によって、前記指定された必須の被呼者全員が存在すると判定された場合、前記制御部は、前記グループ会話を開始するための会話要求を送信する、
請求項1に記載の端末装置。
【請求項8】
請求項1に記載の端末装置における前記被呼側端末装置であって、
前記会話要求の受信に応じて着信通知を表示し、
当該被呼側端末装置のカメラで撮影された画像または当該被呼側端末装置の表示部での表示の状態に応じて、前記着信通知の表示位置を制御する、
端末装置。
【請求項9】
発呼側端末装置と被呼側端末装置とを備える通信システムにおいて、
前記被呼側端末装置での入力に基づいて、前記被呼側端末装置を使用する被呼者の在否を判定する判定部と、
前記判定部によって前記被呼者が存在すると判定された場合、前記発呼側端末装置から前記被呼側端末装置に対し、会話の開始を要求する会話要求を送信する制御部と、
を備えることを特徴とする通信システム。
【請求項10】
被呼側端末装置での入力に基づいて、前記被呼側端末装置を使用する被呼者の在否を判定し、
前記判定によって前記被呼者が存在すると判定された場合、発呼側端末装置から前記被呼側端末装置に対し、会話の開始を要求する会話要求を送信する
ことを特徴とする通信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は端末装置等に関する。
【背景技術】
【0002】
リモートワークの推進等を背景として、ビデオ通話サービスの利用が進んでいる。一般に、ビデオ通話を開始するには、発呼側の端末装置にて被呼側の端末装置を指定して会話要求を送信する。会話要求に応答した被呼側端末装置が会話受諾を返信すると、会話が開始される。
【0003】
通常、会話要求を送信する時点では、発呼者は被呼者の状態を知らない。このため、発呼者は、被呼者が会話に不都合な状況にあるときに会話要求を送信する場合がある。その結果、被呼者が現に行っている会話や集中している作業を妨げる恐れがある。
【0004】
特許文献1には、顔方向が天井ディスプレイに向いたことを検出して会話モードに遷移することが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006-139028号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1によれば、利用者、すなわち、発呼者は、自分の顔の向きによって会話モードに遷移させることができる。しかし、特許文献1には、通信相手が通信可能な状況にあるときに会話モードに選択させる旨の開示はない。
【0007】
本開示の目的は、被呼者を煩わせることなく会話要求を送信する端末装置等を提供することである。
【課題を解決するための手段】
【0008】
本開示の端末装置は、被呼者が使用する被呼側端末装置が取得した情報に基づいて、前記被呼者の在否を判定する判定部と、前記判定部によって前記被呼者が存在すると判定された場合、前記被呼側端末装置に対し、会話の開始を要求する会話要求を送信する制御部とを備えることを特徴とする。
【0009】
本開示の通信システムは、発呼側端末装置と被呼側端末装置とを備える通信システムにおいて、前記被呼側端末装置での入力に基づいて、前記被呼側端末装置を使用する被呼者の在否を判定する判定部と、前記定部によって前記被呼者が存在すると判定された場合、前記発呼側端末装置から前記被呼側端末装置に対し、会話の開始を要求する会話要求を送信する制御部と、備えることを特徴とする。
【0010】
本開示の通信方法は、被呼側端末装置での入力に基づいて、前記被呼側端末装置を使用する被呼者の在否を判定し、前記判定によって前記被呼者が存在すると判定された場合、発呼側端末装置から前記被呼側端末装置に対し、会話の開始を要求する会話要求を送信することを特徴とする。
【発明の効果】
【0011】
本開示によれば、被呼者を煩わせることなく会話要求を送信する端末装置等が提供される。
【図面の簡単な説明】
【0012】
図1】本開示のシステム全体について説明するための図である。
図2】本開示の端末装置の機能構成を説明するための図である。
図3】第1実施形態におけるシステムの動作を説明するための図である。
図4】第1実施形態において発呼側の端末装置が表示する画面の例を説明するための図である。
図5】第1実施形態において被呼側の端末装置が表示する画面の例を説明するための図である。
図6】第1実施形態において発呼側の端末装置が表示する画面の例を説明するための図である。
図7】第2実施形態におけるシステムの動作を説明するための図である。
図8】第2実施形態において発呼側の端末装置が表示する画面の例を説明するための図である。
図9】第3実施形態におけるシステムの動作を説明するための図である。
図10】第3実施形態において発呼側の端末装置が表示する画面の例を説明するための図である。
図11】第4実施形態におけるシステムの動作を説明するための図である。
図12】第4実施形態における重要度の選択について説明するための図である。
図13】第4実施形態において発呼側の端末装置が表示する画面の例を説明するための図である。
図14】第4実施形態において被呼側の端末装置が表示する画面の例を説明するための図である。
図15】第5実施形態におけるシステムの動作を説明するための図である。
図16】第5実施形態におけるモニタリングを説明するための図である。
図17】第5実施形態において発呼側の端末装置が表示する画面の例を説明するための図である。
図18】第5実施形態において被呼側の端末装置が表示する画面の例を説明するための図である。
図19】第6実施形態におけるシステムの動作を説明するための図である。
図20】第6実施形態において発呼側の端末装置が表示する画面の例を説明するための図である。
図21】第7実施形態における被呼側の端末装置の動作を説明するための図である。
図22】第7実施形態において被呼側の端末装置が表示する画面の例を説明するための図である。
図23】第7実施形態において被呼側の端末装置が表示する画面の例を説明するための図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して本開示を実施するための実施形態について説明する。なお、以下の実施形態及び変形は、本開示を説明するための一例であり、特許請求の範囲に記載した開示の技術的範囲が、以下の記載に限定されるものではない。
【0014】
[1.システムと端末装置]
[1.1 通信システム]
図1は、本開示の通信システム1の構成について説明するための図である。通信システム1において、発呼側端末装置3は、LAN(Local Area Network)5、インターネット7及びLAN9を介して、被呼側端末装置11に接続されている。
【0015】
通信システム1では、発呼側端末装置3が被呼側端末装置11に対して会話要求を送信する。会話要求に応答して、被呼側端末装置11が会話受諾を発呼側端末装置3に送信すると、発呼側端末装置3と被呼側端末装置11との間で会話が開始される。会話は、画像と音声を互いに伝送しあうビデオ通話として行われてもよいし、音声のみを互いに伝送しあう音声通話として行われてもよい。尚、本願において画像とは、静止画及び動画の両方を含むものとする。
【0016】
発呼側端末装置3の代わりに、無線LAN機能を有する発呼側端末装置13が用いられてもよい。発呼側端末装置13は、アクセスポイント15を介してLAN5に接続される。同様に、被呼側端末装置11の代わりに、無線LAN機能を有する被呼側端末装置17が用いられてもよい。被呼側端末装置17は、アクセスポイント19を介してLAN9に接続される。
【0017】
通信システム1は、更に、共有スケジュールサーバ21を備える。共有スケジュールサーバ21は、各登録者のスケジュールを記載した共有予定表を電子化したデータベースを備える。より具体的には、共有スケジュールサーバ21のデータベースは、登録者識別情報、開始時刻、終了時刻、場所等を含むレコードを有する。
【0018】
[1.2 端末装置]
図2は、端末装置30の機能構成を説明するための図である。典型的な例では、端末装置30は、デスクトップ型やノート型のワークステーション、パーソナルコンピュータである。端末装置30は、タブレット型の情報処理装置でもよい。端末装置30は、発呼側の端末装置としても被呼側の端末装置としても動作可能である。端末装置30は、発呼側端末装置3、13としても被呼側端末装置11、17としても動作する。発呼側端末装置13及び被呼側端末装置17は、後述する通信部39として無線LAN機能を備える。端末装置30は、不図示のオペレーティングシステム(Operating System, OS)に従って動作する。端末装置30のOSは、マルチタスクOSであることが好ましい。
【0019】
端末装置30は、記憶部31を有する。記憶部31は、通信アプリケーション33、アドレス帳データ35、設定データ37を記憶する。また、端末装置30は、通信部39、入力部41、表示部43、接続部45、カメラ47、マイク49、スピーカ51、制御部53を備える。制御部53は、発呼先選択部55、人検出部57、発着信制御部59、通話部61、スケジューラ部63、音声判定部65、集中判定部67、重要度部69、モニタリング部71、必須通話相手指定部73、通知配置部74を備える。
【0020】
記憶部31は、端末装置30の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部31は、DRAM(Dynamic Random Access Memory)等の一時的な記憶が可能な記録装置や、例えば、半導体メモリで構成されたSSD(Solid State Drive)や、磁気ディスクで構成されたHDD(Hard Disk Drive)等の非一時的な記録装置を含むものである。また、記憶部31は、説明の都合上1つの構成としているが、プログラムの実行に利用される領域(主記憶領域)と、プログラムやデータを保存する領域(補助記憶領域)、キャッシュに利用する領域等、それぞれ用途毎に別の装置として構成してもよい。
【0021】
通信アプリケーション33は、端末装置30を、通信システム1の発呼側端末装置3、13、被呼側端末装置11、17として動作させるためのプログラムである。通信アプリケーション33は、端末装置30のOS上で動作する独立したアプリケーションである。通信アプリケーション33は、端末装置30のOSに組み込まれたアプリケーションであってもよい。特に、通信アプリケーション33は、通信アプリケーション33に従って端末装置30が動作したとき、表示部43に表示される様々な通知画面や選択画面のデータを含む。選択画面としては例えば重要度の選択画面を含む。通知画面には具体的には次のようなものがある。
・被呼者に対して現に着信していることを通知するもの。
・発呼者に対して被呼者が不在なことを通知するもの。
・発呼者に対して、被呼者が話し中であることを通知するもの。
・発呼者に対して、被呼者が作業に集中していることを通知するもの。
・発呼者に対して、被呼者の応答待ちであることを通知するもの。
・被呼者に対して、発呼者がカメラのリアルタイム画像を要求していることを通知するもの。
【0022】
アドレス帳データ35は、通信アプリケーション33を用いて通信を行う相手(登録者)の名前、登録者識別情報、アドレス情報、所属、アイコン画像、住所、電話番号等を互いに関連付けて記憶したデータである。登録者識別情報は、登録者を互いに識別するための識別情報である。登録者識別情報は、例えば、共有スケジュールサーバ21において登録者を識別する際に用いられる。アドレス情報は、登録者が使用する端末装置を互いに識別するための識別情報である。アドレス情報は、例えば、通信アプリケーション33において発呼先を指定する際や、発呼元を識別する際に用いられる。
【0023】
設定データ37は、通信アプリケーション33が動作する際に参照する各種の設定データである。例えば、端末装置30のユーザが、入力部41から入力したものが設定データ37として記憶される。通信部39を介したデータ通信によって受信したデータが、設定データ37として記憶されてもよい。接続部45を介して接続された外部記憶装置からコピーしたデータが、設定データ37として記憶されてもよい。設定データ37は、例えば、端末装置30の使用者の名前、登録者識別情報、アドレス情報、所属、アイコン画像、住所、電話番号等を含んでよい。
【0024】
通信部39は、ネットワークと接続するための機能部である。通信部39は、例えば、有線LANや無線LAN、LTE網に接続可能なインタフェースを備える。通信部39がネットワークに接続されることで、他の装置や、外部ネットワークに接続されることとなる。特に、発呼側端末装置13及び被呼側端末装置17として動作する場合、通信部39は、無線LAN子機を備える。
【0025】
入力部41は、ユーザからの操作入力を受け付ける。例えば、入力部41は、ハードウェアキーやソフトウェアキーで構成される。入力部41は、例えばタッチディスプレイとして、次に説明する表示部43と一体に構成されてもよい。
【0026】
表示部43は、画像や文字を表示するための機能部である。例えば、液晶ディスプレイ(LCD)や、有機ELパネル等により構成されている。表示部43は、単体の表示装置であってもよいし、更に外部に接続された表示装置を含むものであってもよい。
【0027】
接続部45は、端末装置30と他の機器を接続する。例えば、接続部45は、USBインタフェースであり、USBメモリ等が接続される。また、接続部45は、それ以外にも、例えば、NFC(Near field communication)、Bluetooth(登録商標)といった近距離無線を備えてもよい。
【0028】
また、通信部39と、接続部45とは、一体に構成されてもよい。例えば、一つの無線通信のインタフェースとして備えており、無線LANや、Bluetooth(登録商標)を利用可能としてもよい。
【0029】
カメラ47は、CCD(Charge-Coupled Device)イメージセンサ、CMOS(Complementary MOS)イメージセンサ等のイメージセンサを備える。また、カメラ47は、イメージセンサの駆動回路、ADコンバータ等を備え、デジタル化した画像信号を出力する。カメラ47は、端末装置30の使用者を撮影可能なように構成される。典型的な例では、カメラ47は、デスクトップ型やノート型のパーソナルコンピュータのディスプレイの上部や、タブレットの画面の周縁部に配置される。例えば、端末装置30がパーソナルコンピュータ(Personal Computer, PC)の場合、カメラ47は、PC内蔵またはPCに外付けされたWebカメラでもよい。
【0030】
マイク49は、音を電気信号に変換するマイクロフォン、マイクロフォンの出力をデジタル信号に変換するADコンバータ等を備える。マイク49は、端末装置30の周辺の音を入力可能なように構成される。マイク49は、特に、使用者が、端末装置30を通常使用する位置と姿勢にあるときに、使用者の声を拾えるように構成される。典型的な例では、マイク49は、デスクトップ型やノート型のパーソナルコンピュータのディスプレイの周縁部や、タブレットの画面の周縁部に配置される。端末装置30がPCであり、カメラ47がWebカメラの場合、マイク49は、Webカメラに内蔵されたマイクであってもよい。
【0031】
スピーカ51は、音声信号を音声に変換して出力する。スピーカ51は、デジタル信号をアナログ信号に変換するDAコンバータ、アナログ信号を増幅してスピーカを駆動するアンプ、音を発生するスピーカユニットを備える。
【0032】
制御部53は、端末装置30の全体を制御するための機能部である。制御部53は、1又は複数の制御装置や、制御回路で構成されており、例えば、CPU(Central Processing Unit)や、SoC(System on a Chip)等により構成されている。制御部53は、記憶部31に記憶されている各種プログラムを読み出して実行することにより各種機能を実現する。特に、制御部53は、通信アプリケーション33を読み出して実行することにより、発呼先選択部55、人検出部57、発着信制御部59、通話部61、スケジューラ部63、音声判定部65、集中判定部67、重要度部69、モニタリング部71、必須通話相手指定部73、通知配置部74として機能する。
【0033】
発呼先選択部55は、アドレス帳データ35の登録者を表示部43に表示して、入力部41にて指定された登録者を宛先として選択する。
【0034】
人検出部57は、被呼側の端末装置30の近傍に人がいるか否かを検出する。より具体的には、人検出部57は、発呼先選択部55にて宛先として選択された登録者のアドレス情報に基づいて、宛先登録者(すなわち被呼者)が使用する端末装置30に対し、カメラ47で現に撮影されている画像の送信を要求する。また、人検出部57は、受信した画像を解析して、人間の顔として認識される領域が画像に含まれるか否かを判定する。以下、このような人間の顔の検出を顔検出と呼ぶ。また、人検出部57は、発呼側の端末装置30から顔検出のための画像を要求されると、カメラ47を用いて画像を撮影する。人検出部57は、撮影した画像を発呼側の端末装置30に送信する。
【0035】
上述の人検出部57は、カメラ47の画像に基づく顔検出を行うことによって人を検出したが、人を検出する手法は顔検出に限定されない。
【0036】
例えば、被呼側の端末装置30に、接続部45を介して人を検出する人感センサを接続し、その人感センサの出力に基づいて被呼側の端末装置30近傍の所定の空間に人がいるか否かを検出してもよい。人感センサには、赤外線を利用して人体が発する体温を検出する赤外線センサ、透過型或いは反射型の超音波センサ等が考えられるが、他の検出原理を用いるものでもよい。
【0037】
また、例えば、被呼側の端末装置30を使用する者が着席する座席に、着座した人の有無を検出可能な重量センサを設け、その重量センサを接続部45を介して被呼側の端末装置30に接続してもよい。
【0038】
発着信制御部59は、人検出部57にて顔が検出された場合、発呼先選択部55にて選択された登録者のアドレス情報を宛先として、会話要求を送信する。また、発着信制御部59は、他の端末装置30から会話要求を受信すると、表示部43で着信通知を表示する。この表示に応答して、入力部41から会話を受諾する旨の操作がなされると、発着信制御部59は、通話部61に対し、会話要求の送信元との通話を開始させる。発着信制御部59は、人検出部57にて顔が検出されなかった場合、表示部43で不在通知を表示する。
【0039】
通話部61は、カメラ47から入力された画像と、マイク49から入力された音声とを、通信部39、LAN5、インターネット7、LAN9を介して、会話受諾の送信先/送信元の端末装置30に送信する。また、通話部61は、会話受諾の送信先/送信元の端末装置30から、LAN9、インターネット7、LAN5を介して画像と音声とを受信する。通話部61は、受信した画像を表示部43で表示する。通話部61は、受信した音声をスピーカ51から出力する。
【0040】
スケジューラ部63は、人検出部57にて顔が検出されなかった場合、通信部39、LAN5、インターネット7を介して、共有スケジュールサーバ21に問合せを行う。すなわち、発呼先選択部55にて宛先として選択された登録者が使用する端末装置30のカメラ47の画像から、顔が検出されなかった場合、スケジューラ部63は、アドレス帳データ35から、その選択された登録者の登録者識別情報を取得する。スケジューラ部63は、その登録者識別情報と現時刻を含むレコードを共有スケジュールサーバ21に問い合わせる。共有スケジュールサーバ21からレコードを受信すると、スケジューラ部63は、そのレコードに基づく情報を表示部43に表示する。
【0041】
音声判定部65は、マイク49から入力された音声情報に基づいて、被呼者が現に誰かと会話やミーティングをしているか否かを判定する。会話中或いはミーティング中の場合、音声判定部65は、会話要求を受信可能な状況にないと判定する。より具体的には、音声判定部65は、被呼側の端末装置30の音声判定部65に対し、音声データを要求する。これに応答した被呼側の端末装置30から音声データを受信すると、音声判定部65は、音声データを解析して、被呼者が現に誰かと会話しているか否かを判定する。以下、この判定を音声判定と呼ぶものとする。音声判定は、一定値を超える音量が、一定時間を超えて発生しているか否かに基づいて行われてもよい。音声判定は、音声の周波数が、人間の声の帯域に含まれるか否かに基づいて行われてもよい。音声判定は、通信アプリケーション33またはその他の通信アプリケーションで現に通話中か否かに基づいて行われてもよい。また、音声判定は、これら以外に基づいてなされてもよいし、これらの組み合わせに基づいてなされてもよい。
【0042】
発呼側の端末装置30の集中判定部67は、被呼者の集中度に基づいて、被呼者が会話要求を受信してよい状況にあるか否かを判定する。より具体的には、発呼側の端末装置30の集中判定部67は、被呼側の端末装置30に対し、カメラ47で現に撮影されている画像を要求する。この要求に応答して、被呼側の端末装置30から画像を受信すると、発呼側の端末装置30の集中判定部67は、画像を解析して、被呼者が現に作業に集中しているか否かを判定する。以下、この判定を集中判定と呼ぶものとする。また、発呼側の端末装置30から画像を要求された場合、被呼側の端末装置30の集中判定部67は、カメラ47で画像を撮影する。被呼側の端末装置30の集中判定部67は、撮影した画像を発呼側の端末装置30に送信する。
【0043】
集中判定部67が集中判定の際に画像を解析する手法には様々なものが考えられる。例えば、集中判定部67は、カメラ47で撮影された被呼者の顔の映像をフレーム毎に解析して、各フレームにおける被呼者の目の位置を算出してもよい。この場合、算出した目の位置が、所定の期間内、所定の大きさの範囲内にある(すなわち、所定の期間内、目があまり動いていない)場合、集中判定部67は、被呼者がなんらかの作業に集中していると判定する。
【0044】
また、集中判定部67は、目の位置の代わりに、被呼者の顔の映像のフレーム毎に目線の向きを算出してもよい。このとき、算出した目線の向きが、所定の角度範囲内にある場合、被呼者はなんらかの作業に集中していると判定する。例えば、端末装置30がデスク上に設置されたPCであり、目線が、デスクの天板か表示部43の画面に向いている場合、集中判定部67は、被呼者が集中していると判定する。
【0045】
上述の集中判定部67は、カメラ47で撮影した被呼者の顔の画像の解析結果に基づく集中判定を行ったが、集中判定部67は、上述の手法と共に、または、上述の手法に代わって、別の手法を用いて集中判定を行ってもよい。例えば、集中判定部67は、入力部41からの入力頻度を測定し、その測定結果と閾値とを比較してもよい。測定した入力頻度が閾値を超える場合、集中判定部67は、被呼者が入力作業に集中していると判定する。
【0046】
重要度部69は、表示部43に重要度の選択画面を表示する。重要度は会話の重要度を示す。重要度は、発呼者の主観に基づいて定められる。重要度部69は、選択画面の表示に応答して、入力部41から入力された重要度を受け付ける。重要度部69は、会話要求の送信に合わせて、受け付けた重要度を被呼側の端末装置30に送信する。発呼側の端末装置30から重要度を受信した場合、重要度部69は、受信した重要度に応じた着信通知を表示する。
【0047】
発呼側の端末装置30のモニタリング部71は、通信部39を用いて、LAN5、インターネット7、LAN9を介して、被呼側の端末装置30に対し、被呼側の端末装置30のカメラ47で現在撮影される画像(モニター画像)を要求する。モニター画像を受信すると、発呼側の端末装置30のモニタリング部71は、表示部43にそのモニター画像を表示する。逆に、発呼側の端末装置30からモニター画像を要求されると、被呼側の端末装置30のモニタリング部71は、カメラ47を用いて画像を撮影し、その画像を発呼側の端末装置30に送信する。
【0048】
必須通話相手指定部73は、グループ会話の必須の参加者を指定する。グループ会話とは、3人以上で会話する通話である。グループ会話は、一人の発呼者が、二人以上の被呼者を指定して行われる。発呼者は、グループ会話を開始する条件として、特定の被呼者(必須通話相手)がそのグループ会話に参加可能であることを、発呼側の端末装置30の入力部41を介して必須通話相手指定部73に入力する。発呼側の端末装置30の発着信制御部59は、必須通話相手指定部73によって指定された必須通話相手全員が、顔検出、音声判定、集中判定によって会話要求を受信してもよい状態にあると判定された場合に、発呼者が指定した被呼者に対し、会話要求を送信する。
【0049】
通知配置部74は、会話要求の受信に応答して、着信通知を被呼側の端末装置30の表示部43に表示する際、その配置位置を被呼者の状況に応じて制御する。制御の手法には、着信通知が確実に被呼者の目に留まることを優先するものと、着信通知が被呼者の作業の妨げにならないことを優先するものがある。
【0050】
前者の制御手法の一例としては、カメラ47で撮影した画像と、設定データ37に基づいて、端末装置30の使用者が、表示部43のどこを注視しているかを算出し、その位置またはその近傍に着信通知を表示するものがある。
【0051】
また、前者の制御手法の他の一例としては、マウスカーソルの現在位置を取得して、その位置またはその近傍に着信通知を表示するものがある。
【0052】
後者の制御手法の一例としては、被呼側の端末装置30がマルチタスクOSで動作し、その表示部43において、アクティブウィンドウが全画面表示をしていない場合に、着信通知をアクティブウィンドウの外側に表示するものがある。
【0053】
後者の制御手法の他の一例としては、被呼側の端末装置30が、表示部43として2台以上のディスプレイ装置を備える場合に、ディスプレイ装置に予め付与された優先度に従って、優先度が低いディスプレイ装置に着信通知を表示するものがある。具体的には、被呼側の端末装置30が、ファーストディスプレイ、セカンドディスプレイの2台のディスプレイ装置を有する場合、セカンドディスプレイに着信通知を表示する。
【0054】
上述の説明では、顔検出、音声判定、集中判定をそれぞれ発呼側の端末装置30で行うものとして説明したが、被呼側の端末装置30で行ってもよい。例えば、顔検出を被呼側で行う場合、発呼側端末装置30の人検出部57は、被呼側端末装置30の人検出部57に対し、顔検出の結果を要求する。この要求を受けて、被呼側端末装置30の人検出部57は、カメラ47で画像を撮影し、その撮影された画像に対して顔検出を行い、その結果を発呼側端末装置30の人検出部57に送信する。音声判定および集中判定についても同様である。
【0055】
また、上述の説明では、集中判定は、カメラ47で撮影される画像に基づいて行われることとしたが、入力部41での入力状態に基づいて行われることとしてもよい。具体的には、キーボードの入力頻度や、マウスカーソルの移動頻度を監視し、これらの頻度が所定の閾値を超える場合、被呼者は集中していると判定してもよい。
【0056】
特に、通信部39、入力部41、表示部43、カメラ47、マイク49及びスピーカ51は、端末装置30の一部として構成されてもよいし、外部装置として構成されて、接続部45を介して端末装置30に接続されてもよい。
【0057】
以下の説明では、発呼側端末装置3と被呼側端末装置11の組み合わせとする。また、発呼側端末装置3の機能構成について言及する際には、図2の端末装置30の参照符号の末尾にSを追加して記す。例えば、端末装置30Sは、発呼側端末装置3と同義であり、制御部53Sは、発呼側端末装置3の制御部を表す。同様に、被呼側端末装置11の機能構成について言及する際には、図2の端末装置30の参照符号の末尾にRを追加して記す。例えば、端末装置30Rは、被呼側端末装置11と同義であり、制御部53Rは、被呼側端末装置11の制御部を表す。
【0058】
また、以下の説明において、端末装置30Sと端末装置30Rの間で行われるやりとりは、特に記載がない限り、通信部39S、LAN5、インターネット7、LAN9及び通信部39Rを介して行われる。
【0059】
[2.第1実施形態]
[2.1 動作]
図3は、第1実施形態に係る通信システム1の動作を、発呼側端末装置3(端末装置30S)を中心に記載したフローチャートである。図4(A)(B)は、端末装置30Sで表示される画面の例である。図5(A)(B)は端末装置30Rで表示される画面の例である。図6(A)(B)は端末装置30Sで表示される画面の例である。
【0060】
発呼先選択部55は、アドレス帳データ35を読み出して、表示部43に表示する。このとき例えば図4(A)のアドレス帳91が表示される。入力部41Sによって、アドレス帳の登録者の一人が指定されると、発呼先選択部55は、その指定された登録者を会話相手(被呼者)として選択する(ステップS1)。このとき発呼先選択部55は、図4(B)のように、指定された登録者93がアドレス帳91の中から選択された状態を表示部43Sに表示させる。登録者93は、名前が「高橋」であり、所属部署が「BBB事業本部 CCC事業部 …」であり、所属会社が「AAA株式会社」である。尚、図4(A)(B)には図示されていないが、アドレス帳データ35には、各登録者の登録者識別情報、及び、各登録者が使用する端末装置30のアドレス情報が更に含まれる。
【0061】
人検出部57Sは、人検出部57Rに画像を要求する(ステップS3)。人検出部57Rは、カメラ47Rを用いて画像を撮影し、その画像を人検出部57Sに送信する。画像を受信すると、人検出部57Sは、その画像を解析して、画像中の所定の位置(例えば、着席した人の顔の位置)に、顔が検出できるか否かを判定する(ステップS5)。
【0062】
顔が検出できた場合(ステップS5、「はい」)、発着信制御部59Sは、設定データ37Sから端末装置30Sの使用者、すなわち、発呼者の名前、登録者識別情報、アドレス情報、所属、アイコン画像、住所、電話番号等の発呼者情報を読み出す。発着信制御部59Sは、発呼者情報を含む会話要求を発着信制御部59Rに送信する(ステップS7)。
【0063】
会話要求を受信すると、発着信制御部59Rは、例えば図5(A)または図5(B)のような着信通知95、96を表示部43Rに表示する(ステップS9)。着信通知95には、発呼者情報のうち、名前、所属部署、所属会社が表示され、更に、「着信中です。」とのメッセージが文字で表示されている。着信通知96では、発呼者の名前が記載され、所属部署、所属会社は省略されている。また、着信通知96では、「着信中です。」との文字メッセージの代わりに、通話を示すアイコンが表示されている。
【0064】
入力部41Rにて拒否98を選択する操作がなされると、発着信制御部59Rは、会話拒否を発着信制御部59Sに送信する。発着信制御部59Sは、会話拒否を受信する(ステップS11、「はい」)と、処理を終了する。
【0065】
入力部41Rにて了承97を選択する操作がなされると、発着信制御部59Rは、通信受諾を発着信制御部59Sに送信する。会話受諾の受信(ステップS11、「いいえ」、ステップS13、「はい」)に応じて、通話部61Sは通話部61Rと通話を開始する(ステップS15)。ビデオ通話の場合、通話部61Sは、カメラ47Sから入力された画像と、マイク49Sから入力された音声とを通話部61Rに送信する。通話部61Rから画像と音声を受信すると、通話部61Sは、画像を表示部43Sで表示し、音声をスピーカ51Sで出力する。通話部61Rも同様に動作する。
【0066】
ステップS5で顔が検出できなかった場合(ステップS5、「いいえ」)、発着信制御部59Sは、表示部43Sを用いて例えば図6(A)または図6(B)の不在通知99、103を表示する(ステップS17)。不在通知99は、登録者93の表示に、不在を示すアイコン101を追加したものである。尚、アドレス帳91の登録者93の表示にアイコン101を追加することにより、不在通知99を兼ねてもよい。
【0067】
また、ステップS5で顔が検出できなかった場合(ステップS5、「いいえ」)、スケジューラ部63Sは、通信部39S、LAN5、インターネット7を介して共有スケジュールサーバ21に対して、被呼者の予定を問い合わせる。すなわち、スケジューラ部63Sは、ステップS1で選択した被呼者の登録者識別情報を共有スケジュールサーバ21に送信して、現在の予定を含む被呼者のスケジュールデータを要求する。共有スケジュールサーバ21からスケジュールデータを受信すると、スケジューラ部63Sは、表示部43Sで表示する(ステップS19)。入力部41Sにて不在通知103でOK105が選択されると処理を終了する。
【0068】
[2.2 効果]
本実施形態によれば、端末装置30Sは、会話要求の送信に先立って、被呼者の画像に基づいて在席状況を確認し、被呼者が在席の場合には会話要求を送信する一方、不在の場合には会話要求を送信せず、代わりに被呼者の予定を表示する。このため、本実施形態によれば、無意味な会話要求の送信を低減することができる。
【0069】
[3.第2実施形態]
[3.1 動作]
図7は、第2実施形態における通信システム1の動作を発呼側の端末装置30(端末装置30S)を中心にして説明したフローチャートである。図8は、第2実施形態において発呼側の端末装置30Sが表示する通知画面の一例である。第2実施形態の動作は、第1実施形態の動作に加えて、音声判定に関するステップS31、S33及びS35を含む。ここでは、追加したステップについて説明する。
【0070】
ステップS5において顔が検出されると、音声判定部65Sは、音声判定をするか否かを尋ねる通知画面を表示部43Sに表示させる(ステップS31)。図8(A)の通知画面111は、このとき表示される通知画面の例である。入力部41Sにて会話113を選択する入力がなされる(ステップS31、「いいえ」)と、ステップS7に進む。
【0071】
入力部41Sにて音声確認115を選択する入力がなされる(ステップS31、「はい」)と、音声判定部S65は、音声判定部65Rに音声を要求する。音声判定部65Rは、マイク49Rを用いて、被呼側の端末装置30R周辺の音の音声データを生成し、その音声データを音声判定部65Sに送信する。音声判定部65Sは、受信した音声データを解析して、被呼者が現に話をしているか否かを判定する(ステップS33)。
【0072】
被呼者が現に話をしていると判定された場合(ステップS33、「はい」)、音声判定部S65は、例えば図8(B)の通知画面111Aを表示部43Sに表示させると共に、音声判定を繰り返す。通知画面111Aは、被呼者が現に話し中であることを示すアイコン117Aを含む。
【0073】
逆に、被呼者が現に話をしていないと判定された場合(ステップS33、「いいえ」)、音声判定部S65は、例えば図8(C)の通知画面111Bを表示部43Sに表示させることにより、被呼者が非会話状態であることを通知(ステップS35)し、ステップS7に進む。通知画面111Bは、被呼者が現に話をしていないことを示すアイコン117Bを含む。
【0074】
[3.2 効果]
本実施形態によれば、会話要求の送信に先立って、被呼側の端末装置30S周辺で発生する音に基づく音声判定を行うことができる。音声判定により、被呼者が会話をしている場合は会話要求の送信を保留し、被呼者が会話をしていない場合に会話要求を送信する。このため、発呼者は、被呼者が現に誰かと話をしているときに会話要求を送信することにより、被呼者の話を妨げるのを回避することができる。
【0075】
[4.第3実施形態]
[4.1 動作]
図9は、第3実施形態における通信システム1の動作を発呼側の端末装置30(端末装置30S)を中心にして説明したフローチャートである。図10は、第3実施形態において発呼側の端末装置30Sが表示する通知画面の一例である。第3実施形態の動作は、第1実施形態の動作に加えて、音声判定及び集中判定に関するステップを含む。ここでは、追加したステップについて説明する。
【0076】
ステップS5で人を検出すると、音声判定部65Sは、ステップS33と同様にして被呼者が現に話をしているか否かを判定する(ステップS41)。話をしていると判定された(ステップS41、「はい」)場合、音声判定部65Sは同様の音声判定を繰り返す。
【0077】
話をしていないと判定された(ステップS41、「いいえ」)場合、集中判定部67Sは、例えば図10(A)の通知画面を表示部43Sに表示させる(ステップS43)。
【0078】
入力部41Sにて会話123を選択する入力がなされる(ステップS43、「いいえ」)と、ステップS7に進む。他方、入力部41Sにて集中判定125を選択する入力がなされる(ステップS43、「はい」)と、集中判定部67Sは、集中判定部67Rに画像を要求する。この要求に応答して、集中判定部67Rは、カメラ47を用いて画像を生成する。集中判定部67Rは、この画像を集中判定部67Sに送信する。集中判定部67Sは、受信した画像を解析して、被呼者が現在作業に集中しているか否かを判定する(ステップS45)。
【0079】
被呼者が現在作業に集中していないと判定された場合(ステップS45、「いいえ」)、集中判定部67Sは、例えば図10(B)のような通知画面121Aを表示部43Sに表示させることにより、被呼者は非集中状態にあると発呼者に通知する(ステップS47)。アイコン127Aは、被呼者が現に作業に集中している状況ではないこと、言い換えれば会話要求を送信しても被呼者の妨げにならない状況であることを示している。これにより、集中判定部67Sは、被呼者が作業等に集中していないことを発呼者に通知する。この後、ステップS7に進み、会話要求が送信される。
【0080】
他方、被呼者が現に作業に集中していると判定された場合(ステップS45、「はい」)、集中判定部67Sは、例えば図10(C)の通知画面121Bを表示部43Sに表示させることにより、被呼者は集中状態にあると発呼者に通知する(ステップS49)。アイコン127Bは、被呼者が現に作業に集中していること、言い換えれば会話要求を送信すると被呼者の妨げになる状況であることを示している。これにより、集中判定部67Sは、被呼者が作業等に集中していることを発呼者に通知する。集中判定部67Sは、被呼者が集中していないと判定されるまで集中判定を繰り返す。
【0081】
[4.2 効果]
本実施形態によれば、会話要求の送信に先立って、被呼者の画像に基づいて集中判定を行い、被呼者が現に作業に集中している場合は会話要求の送信を保留し、被呼者が現に集中していない場合に会話要求を送信する。このため、本実施形態によれば、会話要求を送信することによって、作業に集中している被呼者を邪魔するのを回避することができる。
【0082】
[5.第4実施形態]
本実施形態では、発呼側の端末装置30Sは、会話要求と共に、その会話の重要度を被呼側の端末装置30Rに送信する。
【0083】
[5.1 動作]
図11は、第4実施形態における通信システム1の動作を発呼側の端末装置30(端末装置30S)を中心にして説明したフローチャートである。図12は、重要度選択処理S51について説明するためのフローチャートである。図13は、発呼側の端末装置30Sで表示される重要度選択画面の一例である。図14は、被呼側の端末装置30Rで表示される重要度別の着信通知の例である。
【0084】
第4実施形態は、第1実施形態の動作にステップS51を加え、更に、ステップS7及びS9をそれぞれステップS53及びS55に置き換えている。ここでは追加または置換したステップS51、S53及びS55について説明する。
【0085】
ステップS1で会話相手が選択されると、重要度部69Sは、図12の重要度選択処理を行う(ステップS51)。重要度部69Sは、表示部43Sにより、図13(A)の選択要求131を表示して、被呼側の端末装置30Rにて重要度を表示する際の表示形式を選択するように、発呼者に求める(ステップS71)。
【0086】
入力部41Sが「背景」132を選択する入力を受け付けた場合(ステップS71、「はい」)、重要度部69Sは、表示部43Sにより、図13(B)の選択要求134を表示して、重要度を選択するように発呼者に求める(ステップS73)。入力部41Sが「通常」135を選択する入力を受け付けた場合(ステップS73、「通常」)、重要度部69Sは通常表示を選択する(ステップS75)。入力部41Sが「重要」136を選択する入力を受け付けた場合(ステップS73、「重要」)、重要度部69Sは重要背景表示を選択する(ステップS77)。入力部41Sが「最重要」137を選択する入力を受け付けた場合(ステップS73、「最重要」)、重要度部69Sは最重要背景表示を選択する(ステップS79)。
【0087】
入力部41Sが「枠線」133を選択する入力を受け付けた場合(ステップS71、「いいえ」)も、ステップS73と同様にして重要度が選択(ステップS81)される。すなわち、通常表示、重要枠線表示及び最重要枠線表示のいずれかが選択される(ステップS75、S83、S85)。
【0088】
ステップS5にて、人が検出されると、発着信制御部59Sは、会話要求と共に、ステップS51で選択された重要度の表示形式と、重要度とを発着信制御部59Rに送信する(ステップS53)。発着信制御部59Rは、受信した重要度の表示形式、重要度に応じた着信通知を表示部43Rで表示する(ステップS55)。
【0089】
図12のステップS73またはステップS81で通常表示形式が選択された場合、図5(A)の着信通知95または図5(B)の着信通知96が表示される(ステップS75)。ステップS73で重要背景表示が選択された場合、図14の着信通知96A1が表示される(ステップS77)。ステップS73で最重要背景表示が選択された場合、図14の着信通知96A2が表示される(ステップS79)。ステップS81で重要枠線表示が選択された場合、図14の着信通知96L1が表示される(ステップS83)。ステップS81で最重要背景表示が選択された場合、図14の着信通知96L2が表示される(ステップS83)。各着信通知が表示されているとき、入力部41Rにより「了承」97を選択する入力が受付されると、発着信制御部59Rは、発着信制御部59Sに会話受諾を送信して、ステップS15に進む。
【0090】
[5.2 効果]
本実施形態によれば、被呼者は、会話要求を受信したとき、その会話の重要度を知ることができる。このため、被呼者は、自分の現状とその会話の重要度とを考慮して、その会話要求を受諾すべきか否かを判断することができる。
【0091】
[6.第5実施形態]
[6.1 動作]
図15は、第5実施形態における通信システム1の動作を発呼側の端末装置30(端末装置30S)を中心にして説明したフローチャートである。図16は、ステップS91のモニタリング処理について説明するフローチャートである。図17は、モニタリング処理において発呼側の端末装置30Sで表示される通知画面の例である。図18は、モニタリング処理において被呼側の端末装置30Rで表示される着信通知の例である。
【0092】
第5実施形態の動作は、第1実施形態の動作に加えて、モニタリング処理に関するステップS91を追加したものである。ここでは、追加したステップについて説明する。尚、一連の動作が始まる前に、被モニタリング設定が設定データ37の一部として記憶部31Sに記憶されている。被モニタリング設定は、発呼側の端末装置30Sからモニタリングを要求された場合に、常に許可するか否かと、常に不許可にするか否かを定めた設定である。この設定は、被呼者が入力部41Rを用いて予め設定されている。
【0093】
会話要求を送信し、会話拒否及び会話受諾のどちらも受信していない場合(ステップS13、「いいえ」)、モニタリング部71Sは、図16のモニタリング処理を実行する(ステップS91)。まず、モニタリング部71Sは、表示部43Sにより、例えば図17(A)の待ち通知161を表示する(ステップS101)。これにより、モニタリング部71Sは、発呼者に対し、被呼者の会話受諾を待っていることを通知する。また、モニタリング部71Sは、発呼者に対し、「カメラで確認する」163、「会話を要求する」165及び「発呼を中止する」167のいずれかを選択するように求める。
【0094】
入力部41Sで「カメラで確認する」163を選択する入力を受け付けた場合(ステップS103、「はい」)、モニタリング部71Sは、モニタリング部71Rにモニター画像の送信を要求する。モニタリング部71Rは、設定データ37Rを参照して、モニター画像の送信の可否を判定する。
【0095】
設定データ37Rの被モニタリング設定に「常に許可」と設定されている場合(ステップS105、「はい」)、モニタリング部71Rは、カメラ47Rを用いて被呼者の画像を撮影し、その画像をモニタリング部71Sに送信する。モニタリング部71Sは、その画像を、表示部43Sを用いて表示する(ステップS107)。
【0096】
このとき表示部43Sは、発呼者に対し、図17(B)のような待ち画面169を表示する。待ち通知161と比較すると、待ち画面169では、「カメラで確認する」163に代わって、モニター画像171が表示されている。モニター画像171は、被呼者のリアルタイム画像である。
【0097】
設定データ37Rの被モニタリング設定が「常に不許可」と設定されている場合(ステップS109、「はい」)、モニタリング部71Rは、画像を送信しない旨をモニタリング部71Sに通知する。モニタリング部71Sは、表示部43Sを用いて、例えば図17(C)の待ち画面173を表示する。待ち通知161と比較すると、待ち画面173では、「カメラで確認する」163に代わって、「表示できません」175が表示される。これにより、発呼者は、被呼者がモニタリングを拒否したことを知ることができる。
【0098】
設定データ37Rに「常に許可」及び「常に不許可」のどちらも設定されていない場合(ステップS109、「いいえ」)、モニタリング部71Rは、表示部43Rを用いて、例えば図18(A)の着信通知181を表示させる。着信通知181は、文字メッセージ185「着信中です。先方はカメラ画像を要求しています。」を含む。文字メッセージ185は、会話要求を受信したことと、発呼者が現在の被呼者のカメラ画像を要求していることを被呼者に通知する。
【0099】
また、着信通知181は、「今回のみ許可」187、「今回のみ不許可」189、「常に許可」191、「常に不許可」193及び「会話を開始する」195を被呼者に対して選択肢として提示する。「今回のみ許可」187及び「今回のみ不許可」189は、設定データ37の被モニタリング設定を変更することなく、今回のモニタリング要求のみ許可するまたは不許可する指示である。「常に許可」191及び「常に不許可」193は、設定データ37の被モニタリング設定を変更すると共に、今回のモニタリング要求に対して変更後の被モニタリング設定に従って応答する旨の指示である。「会話を開始する」195は、会話を受諾する旨の指示である。
【0100】
尚、図18(A)の着信通知181の代わりに、図18(B)の着信通知181Aのような着信通知が表示されてもよい。着信通知181と比較すると、着信通知181Aは、文字メッセージ185の代わりにアイコン185Aを含み、発呼者183の代わりに発呼者183Aを含む点で異なる。着信通知181と比較すると、着信通知181Aは、表示の形式を簡略化することにより、視認性を高めている。特に、文字メッセージ185の代わりにアイコン185Aを用いることにより、直観的な操作が可能となる。
【0101】
入力部41Rにて「今回のみ許可」187を選択する入力を受け付けた場合(ステップS115、「はい」)、ステップS107に進む。入力部41Rにて「常に許可」191を選択する入力を受け付けた場合(ステップS115、「いいえ」、ステップS117、「はい」)、モニタリング部71Rは、設定データ37Rの被モニタリング設定を「常に許可」に変更(ステップS119)して、ステップS107に進む。入力部41Rにて「常に不許可」193を選択する入力を受け付けた場合(ステップS115、「いいえ」、ステップS117、「いいえ」、ステップS121、「はい」)、モニタリング部71Rは、設定データ37Rの被モニタリング設定を「常に不許可」に変更(ステップS123)して、ステップS111に進む。入力部41Rにて「今回のみ不許可」189を選択する入力を受け付けた場合(ステップS115、「いいえ」、ステップS117、「いいえ」、ステップS121、「いいえ」)、モニタリング部71Rは、ステップS111に進む。
【0102】
[6.2 効果]
本実施形態によれば、発呼者は、被呼者から会話要求に対する応答がない場合に、被呼者の状況を、モニター画面を通じて視認することができる。このため、発呼者は、被呼者が会話可能な状態にあるか否かを直接的に判断することができる。
【0103】
[6.3 変形]
上述のモニタリング処理では、発呼側の端末装置30Sが、被呼側の端末装置30Rから画像を受信して、その画像を表示部43Sで表示した。これに代えて、或いは、これに加えて、発呼側の端末装置30Sが、被呼側の端末装置30Rから音声を受信して、その音声をスピーカ51Sで出力してもよい。このようにすれば、発呼者は、被呼者の状況をより正確に認識することができる。
【0104】
また、上述の説モニタリング処理では、発呼側の端末装置30Sが、被呼側の端末装置30Rから画像を受信して、その画像を表示部43Sで表示した。このような、被呼側の画像を発呼側で表示するモニタリングと並行して、発呼側の画像を被呼側で表示する、逆向きのモニタリングを行ってもよい。このようにすれば、被呼者は、発呼者の表情等から、要求されている会話の重要度や緊急度をより正確に認識することができる。
【0105】
また、上述の説明では、被モニタリング設定は、発呼者によらず一律に定められたが、被モニタリング設定を発呼者別に設定することとしてもよい。例えば、上司に対しては被モニタリング設定を「常に許可」に設定し、部下に対しては「常に不許可」に設定することが考えられる。
【0106】
[7.第6実施形態]
【0107】
[7.1 動作]
図19は、第6実施形態における通信システム1の動作を発呼側の端末装置30(端末装置30S)を中心にして説明したフローチャートである。図20は、発呼側の端末装置30Sで表示される画面の例である。本実施形態は、顔検知の有無のみによって会話要求を送信する点で、第1実施形態と共通する。ただし、第1実施形態では一対一の通話を行うのに対して、本実施形態では3人以上が参加するグループ会話を行う点で異なる。
【0108】
発呼先選択部55Sは、アドレス帳データ35を読み出して、表示部43Sに表示する。このとき例えばアドレス帳91が図20(A)のように表示される。入力部41Sによって、アドレス帳の登録者から二人以上が指定されると、発呼先選択部55Sは、その指定された登録者をそれぞれ会話相手(被呼者)として選択する(ステップS181)。
【0109】
図20(A)では、登録者203、205及び207が指定されている。登録者203は、名前が「高橋」である。登録者205は、名前が「伊藤」である。登録者207は、名前が「中村」である。尚、図20(A)には図示されていないが、アドレス帳データ35には、各登録者の登録者識別情報、及び、各登録者が使用する端末装置30のアドレス情報も含まれている。以下、登録者203、205、207の端末装置をそれぞれ端末装置30R1、30R2、30R3と記す。端末装置30R1、30R2、30R3それぞれの機能構成の参照符号についても、図2の参照符号の末尾に、R1、R2、R3を付与して区別する。また、被呼側の端末装置30R1、R2、R3に共通する場合、総称して端末装置30Rと記す。機能構成の参照符号についても同様である。
【0110】
必須通話相手指定部73Sは、入力部41Sからの入力に従って、発呼先選択部55Sによって発呼先として選択された登録者それぞれを、必須参加者または任意参加者に設定する(ステップS183)。ここで必須参加者とは、今から行おうとしているグループ会話に必須の登録者であることを示す設定である。任意参加者とは、参加してもしなくてもよい登録者であることを示す設定である。図20(A)では、必須に設定されていることを示すため、登録者203が二重の点線枠線で囲まれている。
【0111】
人検出部57Sは、人検出部57Rに画像を要求する(ステップS185)。人検出部57Rは、カメラ47Rを用いて画像を撮影し、その画像を人検出部57Sに送信する。画像を受信すると、人検出部57Sは、その画像を解析して、画像中の所定の位置(例えば、着席した人の顔の位置)に、顔が検出できるか否かを判定する(ステップS187)。
【0112】
必須参加者全員が検出された場合(ステップS187、「はい」)、発着信制御部59Sは、設定データ37Sから端末装置30Sの使用者、すなわち、発呼者の発呼者情報を読み出す。発呼者情報は、例えば、発呼者の名前、登録者識別情報、アドレス情報、所属、アイコン画像、住所、電話番号等を含む。発着信制御部59Sは、発呼者情報を含む会話要求を発着信制御部59Rに送信する(ステップS189)。
【0113】
尚、任意参加者の顔検出の結果は、ステップS189への移行に影響しない。発着信制御部59Sは、任意参加者の顔が誰も検出されなくても、必須参加者全員の顔が検出された場合には、会話要求を送信する。逆に、任意参加者全員の顔が検出された場合でも、必須参加者の顔が一人でも検出されなかった場合、発着信制御部59Sは、会話要求を送信しない。
【0114】
会話要求を受信すると、発着信制御部59Rは、例えば図5(A)の着信通知95を表示部43Rに表示する(ステップS190)。着信通知95には、発呼者情報のうち、名前、所属部署、所属会社が表示されている。
【0115】
入力部41Rにて了承97を選択する操作がなされると、発着信制御部59Rは、通信受諾を発着信制御部59Sに送信する(ステップS191)。会話受諾の受信に応じて、通話部61Sは通話部61Rと通話を開始する(ステップS193)。ビデオ通話の場合、通話部61Sは、カメラ47Sから入力された画像と、マイク49Sから入力された音声とを通話部61Rに送信する。通話部61Rから画像と音声を受信すると、通話部61Sは、画像を表示部43Sで表示し、音声をスピーカ51Sで出力する。通話部61Rも同様に動作する。
【0116】
ステップS187で必須参加者に一人でも顔が検出できなかった者がいた場合(ステップS187、「いいえ」)、発着信制御部59Sは、表示部43Sを用いて例えば図20(B)の不在通知209を表示する(ステップS195)。スケジューラ部63Sは、通信部39S、LAN5、インターネット7を介して共有スケジュールサーバ21に対して、不在の必須参加者の予定を問い合わせる。すなわち、スケジューラ部63Sは、ステップS183で設定した必須参加者のうち、顔が検出されなかった者の登録者識別情報を共有スケジュールサーバ21に送信して、現在の予定を含むその必須参加者のスケジュールデータを要求する。共有スケジュールサーバ21からスケジュールデータを受信すると、スケジューラ部63Sは、表示部43Sで表示する(ステップS197)。入力部41Sにて不在通知209でOK211が選択されると処理を終了する。
【0117】
尚、不在通知209には、必須参加者であって顔が検出できなかった者の名前が表示されているが、任意参加者であって顔が検出できなかった者の名前については、表示してもよく、しなくてもよい。
【0118】
[7.2 効果]
本実施形態によれば、グループ会話を発呼する際に、必須参加者を設定し、必須参加者が不在の場合、必須参加者及び任意参加者への会話要求の送信を取りやめることができる。このため、必須参加者全員が揃わず、開催しても意味がないグループ会話のために会話要求を送信して、被呼者を煩わせるのを避けることができる。
【0119】
[8.第7実施形態]
[8.1 動作]
図21は、会話要求を受信したときの被呼側の端末装置30Rの動作について説明するためのフローチャートである。本実施形態の被呼側の端末装置30Rの動作は、上述の第1から第6実施形態のいずれとも組み合わせ可能である。
【0120】
設定データ37Rには、着信設定が含まれる。着信設定は、会話要求を受信したとき、表示部43Rの画面上のどこに着信通知を表示するかを決定する配置方法が設定されている。配置方法には、注視位置法、カーソル位置法、非アクティブ領域法、非ファーストディスプレイ法がある。図22(A)は注視位置法を説明するための図である。図22(B)はカーソル位置法を説明するための図である。図23(A)は非アクティブ領域法を説明するための図である。図23(B)は非ファーストディスプレイ法を説明するための図である。
【0121】
また、設定データ37Rには、使用者が端末装置30Sを通常の姿勢で使用する際における、カメラ47S、表示部43S、使用者の位置関係に関する位置関係情報が含まれる。より具体的には、ディスプレイ装置の画面サイズ、高さ、使用者の着席位置からディスプレイ装置までの距離、カメラ47Sから使用者の着席位置までの距離等を含む。
【0122】
発呼側の端末装置30Sから会話要求を受信する(ステップS131)と、発着信制御部55Rは、設定データ37Rの着信設定を参照して、着信通知の配置方法を選択する。
【0123】
設定された配置方法が注視位置法の場合(ステップS135、「はい」)、図22(A)に示すように、通知配置部74Rは、カメラ47Rで撮影した画像を解析して、被呼者223の顔の向きと視線方向を検出する(ステップS137)。通知配置部74Rは、位置関係情報を設定データ37Rから読み出す(ステップS139)。通知配置部74Rは、ステップS137で検出した被呼者223の顔と目と、ステップS139で読みだした位置関係情報に基づいて、被呼者223が表示部43RSの画面221上のどこを注視しているかを算出する(ステップS141)。通知配置部74Rは、算出した注視位置225またはその近傍に着信通知227を表示する(ステップS143)。
【0124】
設定された配置方法がカーソル位置法の場合(ステップS145、「はい」)、通知配置部74Rは、例えば制御部53上で実行されている不図示のOS(Operating System)に、表示部43Rの画面上におけるマウスカーソルの位置を問い合わせる(ステップS147)。通知配置部74は、図22(B)に示すように、表示部43Sの画面231において、取得したマウスカーソル233の位置またはその近傍に着信通知235を表示させる(ステップS149)。
【0125】
設定された配置方法が非アクティブ領域法の場合(ステップS151、「はい」)、通知配置部74Rは、例えば制御部53上で実行されている不図示のOSに、アクティブウィンドウの位置とサイズとを問い合わせる(ステップS153)。問合せの結果、アクティブウインドウが全画面表示されている場合(ステップS155、「はい」)、通知配置部74Rは、表示部43Rの画面の端部に着信通知を表示させる(ステップS157)。
【0126】
一方、問合せの結果、アクティブウィンドウが全画面表示ではない場合(ステップS155、「いいえ」)、通知配置部74Rは、例えば制御部53上で実行されている不図示のOSに表示部43Rのディスプレイ解像度を問い合わせる(ステップS159)。
【0127】
図23(A)に示すように、通知配置部74Rは、ステップS153で取得したアクティブウィンドウ243の位置とサイズと、ステップS159で取得したディスプレイ(画面241)の解像度に基づいて、アクティブウィンドウ外の領域の座標範囲を算出する。通知配置部74Rは、表示部43Rに画面241を表示させる。その際、通知配置部74Rは、画面241において、アクティブウィンドウ外の領域の内部または近傍に位置するように着信通知245を表示させる(ステップS161)。
【0128】
設定された配置方法が、注視位置法、カーソル位置法、非アクティブ領域法ではない(ステップS135、S145、S151、「いいえ」)場合、次のように動作する。通知配置部74Rは、OS等に表示部43Rとして複数台のディスプレイ装置が接続されているか否かを問い合わせる(ステップS163)。複数台のディスプレイ装置が接続されている場合、通知配置部74Rは、非ファーストディスプレイ法を採用して、表示部43Rのファーストディスプレイ以外のディスプレイに着信通知を表示させる(ステップS165)。図23(B)は、ファーストディスプレイ251とセカンドディスプレイ253を備える表示部43Rの例を示す。非ファーストディスプレイ法では、通知配置部74Rは、セカンドディスプレイ253に着信通知255を表示させる。
【0129】
尚、設定された配置方法が、注視位置法、カーソル位置法、非アクティブ領域法ではなく(ステップS135、S145、S151、「いいえ」)、かつ、表示部43Rとしてディスプレイ装置が一台だけ接続されているとする。この場合、通知配置部74Rは、ステップS153に進み、非アクティブ領域法を適用する。
【0130】
[8.2 効果]
本実施形態によれば、端末装置30の使用者は、被呼側の端末装置30Rとして動作するときに、着信通知が表示される位置を、自分の好みに応じて変更することができる。確実に着信通知に気が付くことを優先する場合、使用者は、着信設定として、注視位置法またはカーソル位置法を設定データ37に設定することが好ましい。着信通知が作業の邪魔にならないことを優先する場合、使用者は、着信設定として、非アクティブ領域法または非ファーストディスプレイ法を設定データ37に設定することが好ましい。
【0131】
[8.3 変形]
上述の動作では、被呼側の端末装置30Rは、予め設定された着信設定に従って着信通知を配置したが、発呼側の端末装置30Sで配置方法を指定して、会話要求と共に被呼側の端末装置30Rに送信してもよい。この場合、端末装置30Rは、指定された配置方法に従って着信通知を配置し表示する。本変形によれば、発呼者は、着信通知を確実に被呼者に認識させることを優先する場合には、注視位置法またはカーソル位置法を指定し、被呼者の邪魔をしないことを優先する場合には、非アクティブ領域法または非ファーストディスプレイ法を指定する。これにより、発呼者は、会話の用件に応じた配置方法を選択することができる。
【0132】
更に、上述の変形は、第4実施形態の重要度と組み合わせることが好ましい。第4実施形態において、端末装置30Sから受信した重要度に応じて、端末装置30Rは、配置方法を決定してもよい。例えば、重要度「最重要」または「重要」と共に会話要求を受信した場合は、通知配置部74Rは、注視位置法またはカーソル位置法に従って着信通知を配置して表示する。他方、重要度「通常」と共に会話要求を受信した場合は、非アクティブ領域法または非ファーストディスプレイ法に従って着信通知を配置して表示する。
【0133】
上述の動作では、被呼側の端末装置30Rは、被呼者の注視位置(S141)、カーソル位置(S147)、アクティブウィンドウの位置、サイズ(S153)、ディスプレイ解像度(S159)、セカンドディスプレイの有無(S163)に応じて、着信通知の配置位置を変更した。こうした着信通知の配置位置に加えて、着信通知の表示色を変更してもよい。
【0134】
例えば、通知配置部74Rは、着信通知の配置位置を決定した後、着信通知を表示部43Rの画面上に配置したときに、着信通知を取り囲む領域の明度を算出する。通知配置部74Rは、算出した明度と閾値との比較結果に応じて、着信通知の周縁部の色を決定してもよい。通知配置部74Rは、算出した明度が閾値よりも暗い場合、着信通知の周縁部の明度を明るくし、逆に算出した明度が閾値よりも明るい場合、着信通知の周縁部の明度を暗くする。これにより、着信通知の周縁部とその周囲との明度の違いを大きくし、着信通知が目立ちやすいようにする。
【0135】
通知配置部74Rは、着信通知の配置位置の変更に加えて或いは代えて、着信通知の表示サイズを変更してもよい。例えば、通知配置部74Rは、ステップS137、S139、S141と同様にして注視位置を算出すると共に、ステップS147と同様にしてカーソル位置を取得する。通知配置部74Rは、注視位置とカーソル位置の間の距離を求め、その距離と閾値とを比較する。
【0136】
比較の結果、その距離が閾値よりも小さい(すなわち、注視位置とカーソル位置とが近い)場合、通知配置部74Rは、着信通知の表示サイズを標準のサイズで表示する。他方、その距離が閾値よりも大きい(すなわち、注視位置とカーソル位置とが遠い)場合、通知配置部74Rは、着信通知の表示サイズを標準のサイズよりも大きく(例えば、標準のサイズの2倍)で表示する。
【0137】
通知配置部74Rは、着信通知の配置位置の変更に加えて或いは代えて、音を発してもよい。例えば、上述のように注視位置とカーソル位置の間の距離と閾値とを比較し、注視位置とカーソル位置とが離れている場合、通知配置部74Rは、スピーカ51Rから注意を促すブザー音等を発することとしてもよい。
【0138】
[9.その他]
本開示は上述した各実施形態及び変形に限定されるものではなく、種々の変更が可能である。すなわち、本開示の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本開示の技術的範囲に含まれる。
【0139】
また、上述した実施形態は、説明の都合上、それぞれ別に説明している部分があるが、技術的に可能な範囲で組み合わせて実行してもよいことは勿論である。
【0140】
また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、CPU等を制御するプログラム(コンピュータを機能させるプログラム)である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置(例えば、RAM)に蓄積され、その後、各種ROM(Read Only Memory)やHDD等の記憶装置に格納され、必要に応じてCPUによって読み出し、修正・書き込みが行なわれる。
【0141】
ここで、プログラムを格納する記録媒体としては、半導体媒体(例えば、ROMや、不揮発性のメモリカード等)、光記録媒体・光磁気記録媒体(例えば、DVD(Digital Versatile Disc)、MO(Magneto Optical Disc)、MD(Mini Disc)、CD(Compact Disc)、BD (Blu-ray(登録商標) Disk) 等)、磁気記録媒体(例えば、磁気テープ、フレキシブルディスク等)等の何れであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本開示の機能が実現される場合もある。
【0142】
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本開示に含まれるのは勿論である。
【符号の説明】
【0143】
1 通信システム
3、11、30 端末装置
5、9 LAN(Local Area Network)
13、17 端末装置(無線接続)
15、19 アクセスポイント
21 スケジュールサーバ
31 記憶部
33 通信アプリケーション
35 アドレス帳データ
37 設定データ
39 通信部
41 入力部
43 表示部
45 接続部
47 カメラ
49 マイク
51 スピーカ
53 制御部
55 発呼先選択部
57 人検出部
59 発着信制御部
61 通話部
63 スケジューラ部
65 音声判定部
67 集中判定部
69 重要度部
71 モニタリング部
73 必須通話相手指定部
75 通知配置部
91、201 アドレス帳
93、203、205、207 登録者
95、96、96A1、96A2、96L1、96L2、181、181A、227、235、245、255 着信通知
97 了承
98 拒否
99、103、209 不在通知
105、211 OK
111、111A、111B、121、121A、121B 通知画面
113、123 会話
115 音声確認
117A、117B、127A、127B アイコン
125 集中判定
131、134 選択要求
132 背景
133 枠線
135 通常
136 重要
137 最重要
161、169、173 待ち通知
163 カメラで確認する
165 会話を要求する
167 発呼を中止する
171 モニター画像
175 表示できません
187 今回のみ許可
189 今回のみ不許可
191 常に許可
193 常に不許可
195 会話を開始する
221、231、241 画面
223 目(被呼者)
225 注視位置
233 マウスカーソル
243 アクティブウィンドウ
251 ファーストディスプレイ
253 セカンドディスプレイ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23