特許第6767926号(P6767926)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東芝映像ソリューション株式会社の特許一覧

<>
  • 特許6767926-電子装置、方法及びプログラム 図000002
  • 特許6767926-電子装置、方法及びプログラム 図000003
  • 特許6767926-電子装置、方法及びプログラム 図000004
  • 特許6767926-電子装置、方法及びプログラム 図000005
  • 特許6767926-電子装置、方法及びプログラム 図000006
  • 特許6767926-電子装置、方法及びプログラム 図000007
  • 特許6767926-電子装置、方法及びプログラム 図000008
  • 特許6767926-電子装置、方法及びプログラム 図000009
  • 特許6767926-電子装置、方法及びプログラム 図000010
  • 特許6767926-電子装置、方法及びプログラム 図000011
  • 特許6767926-電子装置、方法及びプログラム 図000012
  • 特許6767926-電子装置、方法及びプログラム 図000013
  • 特許6767926-電子装置、方法及びプログラム 図000014
  • 特許6767926-電子装置、方法及びプログラム 図000015
  • 特許6767926-電子装置、方法及びプログラム 図000016
  • 特許6767926-電子装置、方法及びプログラム 図000017
  • 特許6767926-電子装置、方法及びプログラム 図000018
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6767926
(24)【登録日】2020年9月24日
(45)【発行日】2020年10月14日
(54)【発明の名称】電子装置、方法及びプログラム
(51)【国際特許分類】
   H04M 1/00 20060101AFI20201005BHJP
   H04M 1/60 20060101ALI20201005BHJP
   H04M 3/42 20060101ALI20201005BHJP
【FI】
   H04M1/00 V
   H04M1/60 A
   H04M3/42 Z
【請求項の数】6
【全頁数】25
(21)【出願番号】特願2017-101880(P2017-101880)
(22)【出願日】2017年5月23日
(65)【公開番号】特開2018-198366(P2018-198366A)
(43)【公開日】2018年12月13日
【審査請求日】2019年6月12日
(73)【特許権者】
【識別番号】000214984
【氏名又は名称】東芝映像ソリューション株式会社
(74)【代理人】
【識別番号】110001737
【氏名又は名称】特許業務法人スズエ国際特許事務所
(72)【発明者】
【氏名】村上 雅俊
【審査官】 石井 則之
(56)【参考文献】
【文献】 特表2015−523830(JP,A)
【文献】 特開2018−056688(JP,A)
【文献】 特開2004−140731(JP,A)
【文献】 特開2003−189370(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04M 1/00
1/24−3/00
3/16−3/20
3/38−3/58
7/00−7/16
11/00−11/10
99/00
(57)【特許請求の範囲】
【請求項1】
第2電子装置と通信可能であり、ハンズフリーの通話に用いられる電子装置であって、
他のユーザからの第1ユーザとの通話要求を受信する受信部と、
前記第1ユーザの周囲の撮像結果または前記第1ユーザの周囲の音の集音結果の少なくとも一方を用いて、前記他のユーザと前記第1ユーザとの通話のときに、前記電子装置により音声を出力するか前記第2電子装置により音声を出力するかを判定する判定部と、
前記電子装置により音声を出力すると判定する場合に、前記他のユーザからの音声を出力する出力部と、
前記第2電子装置により音声を出力すると判定する場合に、前記他のユーザからの音声の信号を前記第2電子装置へ送信する送信部と、を備え、
前記第1ユーザの周囲に、前記第1ユーザ以外の他者がいる場合は、前記判定部は、前記第2電子装置により音声を出力すると判定する、電子装置。
【請求項2】
前記判定部により前記第2電子装置により音声を出力すると判定された場合は、前記出力部は、前記第2電子装置に着信があることを報知するための信号を出力する、請求項1記載の電子装置。
【請求項3】
他のユーザからの第1ユーザとの通話要求を受信し、
前記第1ユーザの周囲の撮像結果または前記第1ユーザの周囲の音の集音結果の少なくとも一方を用いて、前記他のユーザと前記第1ユーザとの通話のときに、ハンズフリーの通話に用いられる電子装置により音声を出力するか第2電子装置により音声を出力するかを判定し、
前記電子装置により音声を出力すると判定する場合に、前記他のユーザからの音声を出力し、
前記第2電子装置により音声を出力すると判定する場合に、前記他のユーザからの音声の信号を前記第2電子装置へ送信し、
前記第1ユーザの周囲に、前記第1ユーザ以外の他者がいる場合は、前記第2電子装置により音声を出力すると判定する、方法。
【請求項4】
前記第2電子装置により音声を出力すると判定された場合は、前記第2電子装置に着信があることを報知するための信号を出力する、請求項記載の方法。
【請求項5】
コンピュータに、
他のユーザからの第1ユーザとの通話要求を受信させ、
前記第1ユーザの周囲の撮像結果または前記第1ユーザの周囲の音の集音結果の少なくとも一方を用いて、前記他のユーザと前記第1ユーザとの通話のときに、電子装置により音声を出力させるか第2電子装置により音声を出力させるかを判定させ、
前記電子装置により音声を出力すると判定させた場合に、前記他のユーザからの音声を出力させ、
前記第2電子装置により音声を出力すると判定させた場合に、前記他のユーザからの音声の信号を前記第2電子装置へ送信させ、
前記電子装置がハンズフリーの通話に用いられる機器であることを判定させ、
前記第1ユーザの周囲に、前記第1ユーザ以外の他者がいる場合は、前記第2電子装置により音声を出力すると判定させる、プログラム。
【請求項6】
前記コンピュータに、
前記第2電子装置により音声を出力すると判定された場合は、前記第2電子装置に着信があることを報知するための信号を出力させる、請求項記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
実施形態は、電子装置、方法及びプログラムに関する。
【背景技術】
【0002】
携帯可能な電子機器、例えばスマートフォンや携帯電話装置、タブレットPCあるいはウェアラブル端末装置が広く普及している。近年、携帯可能な電子機器との間の通信が可能で、携帯可能な電子機器を任意の位置に位置させたまま携帯可能な電子機器との間の通信を、マイクロフォンによる音声の取得とスピーカーからの音声出力とにより中継する非携帯型の通信装置も広まりつつある。非携帯型の通信装置は、ハンズフリー通信デバイス(Internet on Things(IoT)デバイス)と称される場合もある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011−23779号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
携帯電話装置に着信した電話(音声通信)をハンズフリー通信デバイス(非携帯型の通信装置)のスピーカーにより再生する場合、携帯電話装置の所有者の周囲に所有者以外の人物が居ると、通話の内容への気遣いを必要とすることがある。話したい内容によっては、話したい相手(所有者)を、話したい相手以外の人物が居ない場所に呼び出すことも必要となる。すなわち、非携帯型の通信装置においては、話したい相手の周囲に他の人物が居るか否かを特定することが必要である。
【0005】
本発明の一形態の目的は、電子機器と通信する非携帯型の通信装置と電子機器との間の出力の出力先を非携帯型の通信装置及びまたは電子機器の周囲の状況に基づいて設定する電子装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【0006】
実施形態によれば、電子装置は、第2電子装置と通信可能であり、ハンズフリーの通話に用いられる電子装置であって、受信部と、判定部と、出力部と、送信部と、を具備する。前記受信部は、他のユーザからの第1ユーザとの通話要求を受信する。前記判定部は、前記第1ユーザの周囲の撮像結果または前記第1ユーザの周囲の音の集音結果の少なくとも一方を用いて、前記他のユーザと前記第1ユーザとの通話のときに、前記電子装置により音声を出力するか前記第2電子装置により音声を出力するかを判定する。前記出力部は、前記電子装置により音声を出力すると判定する場合に、前記他のユーザからの音声を出力する。前記送信部は、前記第2電子装置により音声を出力すると判定する場合に、前記他のユーザからの音声の信号を前記第2電子装置へ送信する。前記第1ユーザの周囲に、前記第1ユーザ以外の他者がいる場合は、前記判定部は、前記第2電子装置により音声を出力すると判定する。
【図面の簡単な説明】
【0007】
図1図1は、一実施形態が適用されたあるファミリーの通信システムの一例を示す説明図である。
図2図2は、通信デバイス11Aの構成例を代表して示す図である。
図3図3は、本通信システムが備える構成の一部を取り出して示す図である。
図4図4は、図3に示す構成が、図1に示したファミリーに対して適用された様子を例示する図である。
図5図5は、図13のデータが更新されるときの動作フローの一例を示す図である。
図6図6は、図1のサーバが図12図13図14のデータを認識できることを前提とし、前記サーバが、いずれのデバイスと通信を行ったかに応じて、当該デバイスの登録者IDを特定する方法を説明するフローチャートである。
図7図7は、本実施形態の通信システムが通話の相手の居場所を特定し、そして通信ルートを形成する場合の例を示すフローチャートである。
図8図8は、本通信システムの動作のさらに他の例を示すフローチャートである。
図9図9は、通信デバイスあるいは特殊な携帯端末の他の例を示す図である。
図10図10は、特殊な携帯端末の変形例を示す図である。
図11図11は、本通信システムが具体的にデパートや工場、等に導入された場合の使用例を示す説明図である。
図12図12は、本通信システムに登録されている登録者、通信デバイス、および携帯端末の登録情報テーブルを示す図である。
図13図13は、本通信システムに登録されている登録者、通信デバイス、および携帯端末などの現在位置を把握するために利用される状況テーブルを示す図である。
図14図14は、本通信ルートが確立される場合に利用される接続先(移動先)判断テーブルを示す図である。
図15図15は、本通信ルートが確立される場合に利用される着信・接続先判断テーブルを示す図である。
図16図16は、本実施形態の通信システムが通話の相手の居場所を特定し、通信ルートを形成する場合において、相手の居場所の周囲の状況をもとに、通信の転送ルート(着信・接続先)を判定するためのフローチャートである。
図17図17は、本実施形態の通信システムが通話の相手の居場所を特定し、通信ルートを形成する場合において、相手の居場所の周囲の状況をもとに、通信の転送ルート(着信・接続先)を判定するためのフローチャートである。
【発明を実施するための形態】
【0008】
以下、図面を参照して、実施の一形態について説明する。
【0009】
<選択すべき複数の通信ルートを含む環境の概要>
図1は一実施形態が適用されたあるファミリーの通信システム(域内(家庭内)の選択すべき複数の通信ルートを含む環境)の一例を示している。
【0010】
図1が示す域内(家庭内)において、ファミリーは、例えば息子(子供(男))12、娘(子供(女))13、母親14、祖父15、父親16を含む。ファミリーの家は、少なくとも息子の部屋、娘の部屋、台所、図示していないが夫婦の部屋(主寝室)、居間、があり、庭があるものとする。ファミリーのそれぞれは、1対1で紐づけられた携帯可能な電子機器、例えばスマートフォンや携帯電話装置、タブレットPCあるいはウェアラブル端末装置、等、を所有(所有)している。なお、携帯電話装置を、例えば鞄の中や衣服のポケットに収容し、例えばリストバンドや腕時計型、あるいはヘッドホンとマイクロフォンとが一体に用意されたヘッドセット、もしくはマイクロフォンと小型スピーカーとを一体にしたペン型、等のさまざまな補助的機器を併用することも、もちろん可能である。
【0011】
息子12の部屋には、非携帯型の通信装置(通信デバイス)11Aが、娘の部屋には、同じく通信デバイス11Bが、台所には、同じく通信デバイス11Cが、それぞれ、配置されているものとする。
【0012】
個々の通信デバイス11(A,B,C(特に識別を必要としない場合は、添え字を省略する場合もある)は、対話用電子装置、シング(Internet on Things(IoT)、多機能装置)、監視用電子装置などと称されることもある。通信デバイス11の構成については、図2を参照して説明するが、例えば通信デバイス11が位置する空間において、その空間に居る誰かとの間で音声通話(対話)を実現するための周囲の音を取得する音響取得部(マイクロフォンと称する場合もある]と音声再生部[スピーカーと称する場合もある]と、を備える。音響取得部(マイクロフォン)は、対話のための音声に加え、周囲の音も取得できる。
【0013】
通信デバイス11はまた、映像取得部[カメラ]を備える。カメラは、通信デバイス11と一体に用意されてもよいし、独立して用意されてもよい。(カメラが)独立して用意される場合、任意の位置に既に設置されているカメラからの映像信号(撮像データ)を取得するものであってもよい。
【0014】
個々の通信デバイス11は、近距離無線通信機能や域内通信(Local Area Network)機能、音声認識機能、映像認識機能、及びまたは種々のセンサー(検出機能)、等のうちのいくつかの機能が組み合わせられて用意されることができる。なお、域内通信機能としては、例えば無線通信機能(Wi−Fi)であることが好ましい。また、スピーカーとマイクロフォンとについても、既に設けられているスピーカーを音声出力部として利用し、通信デバイス11は、マイクロフォンの機能を提供するものであってもよい。
【0015】
なお、以下の説明において、父親16が所有する電子機器24は、父親16が保持して外出していることにより、域外に位置しているものとする。また、母親15が所有する電子機器22は、母親が保持していることにより、台所に位置しているものとする。なお、息子12は、電子機器を保有していないものとする。また、娘13が所有する電子機器21は、娘が室内に放置していることにより、娘の部屋に位置しているものとする。また、祖父15が所有する電子機器23は、祖父15が(祖父の)部屋あるいは居間に放置しているものとする。なお、祖母(域外に居るものとして図示していない)が所有する電子機器は、公衆通信網を介して通信が可能な祖母の住まいである他の域内において祖母が保持しているものとする。
【0016】
なお、それぞれの携帯可能な電子機器の位置、及びまたはそれを所有する人の位置および保持しているか否か、は、選択すべき通信ルートが変化する例として、逐次変更されるものとする。すなわち、個々の通信デバイス11は、その空間に居る誰か(各人)が所有している携帯可能な電子機器(ここでは、携帯端末21,22,23,23,25)と各人がその時点で利用可能な通信デバイス11とにより、例えば通信デバイス11のマイクロフォンによる音声の取得とスピーカーによる音声での出力とによるハンズフリー状態で、相手が所有する携帯可能な電子機器との間の情報伝達(対話)を実現できる。
【0017】
なお、以下の説明において、「ハンズフリー機器」を、
(1)ユーザが本機器を用いて通話をするときに、もっぱら、ユーザは本機器を机や棚等に置いたまま使用することが想定される機器であり、スピーカーや会議システム、カーナビ(移動体ナビゲーションシステム)、プロジェクタ、等を含む携帯型電子機器とする。なお、ハンズフリー機器であっても、出力音量を小さくすることで、本機器を持たなければ通話に使用不可となる場合もある。また、上述したように、補助的機器を併用する場合も、図15図16及び図17を用いて後段に説明する着信・接続先判断においては、ハンズフリー機器とする。
【0018】
これに対して、「非ハンズフリー機器」を、
(2)ユーザが本機器を用いて通話をするときに、もっぱら、ユーザが本機器を手で持ち、スピーカー又はマイク部を、耳又は口に近づけて使用することが想定される機器であり、例えばスマートフォンや携帯電話、を含む非携帯型電子機器とする。なお、非ハンズフリー機器であっても、出力音量を大きくすることで、本機器を机等に置いたまま使用可能となる場合もある。
【0019】
個々の通信デバイス11は、それぞれルータ40との間で、近距離通信を行うことがでる。この通信は、例えばWi−Fi(登録商標)を経由する通信である。ルータ40はWi−Fiにより、携帯端末と通信を行うことができる。さらにまたルータ40は、インターネット51を介して、サーバ50との間でも通信を行うことができる。
【0020】
また、通信デバイス11A,11B、11Cのそれぞれは、それぞれの近くの携帯端末とも、個々に通信を行うことができる。この通信は、例えばBluetooth(登録商標)による通信である。
【0021】
図1の例であると、ルータ40と、通信デバイス11A、11B、11Cと携帯端末23とが、それぞれWi−Fiによる通信を行うことができる。また、通信デバイス11B及び11Cも、それぞれ、ルータ40を介して、携帯端末21もしくは22と通信を行うことができる。
【0022】
なお、息子12、娘13、母親14は、それぞれの通信デバイス11A、11B、11C、または携帯端末を介して、父親16の携帯端末24を呼び出すことができる。このときの通信ルートは、ルータ40、インターネット51、サーバ50、アクセスポイント52、父親の携帯端末24により形成される。逆に父親16は、自身の携帯端末24から、息子12、娘13、母親14の通信デバイス11A、11B、11Cに回線を接続することもできる。
【0023】
図2は、通信デバイス11(A,B,C(特に識別を必要とする場合は、添え字を添付する)の構成の一例を示している。
【0024】
通信デバイス11は、制御部100を有する。制御部100は、音声データを出力することができ、音声データは音声出力部110でDA変換され、音量などの制御がなされ、スピーカー111に供給される。
【0025】
カメラ121が撮像した映像信号は、映像キャプチャ122にてデジタル化、符号化され制御部100に入力する。制御部100は、照明電源123を制御して照明器124を制御することができる。さらに制御部100は、マイク131、音声取得部132を介して近くの音声を取得することができる。照明器124は、カメラ121による撮影が行われるとき、周囲が暗い場合、撮影領域を照明するために利用される。
【0026】
制御部100は、送受信機141を介して、近距離の携帯端末や通信デバイスとの間で、Wi−Fi機能(域内通信(無線LAN)機能)による通信を行う。また制御部100は、送受信機142を介して、近くの携帯端末と近距離無線通信、例えばBluetoothによる通信を行うことができる。
【0027】
制御部100には、各種センサー143からの検知信号が入力されてもよいし、制御部100が各種センサー143の動作制御(例えばオンオフ、特性切換えなど)を行ってもよい。なお、カメラ、マイク、スピーカーは、ユーザの操作により、それぞれをオフ又はオンすることが可能である。また、個々の通信デバイス11において、カメラ、スピーカー、マイクロフォンの少なくとも1つは、既に設けられているものからのデータを利用するものであってもよい。なお、通信デバイス11は、例えばカメラ付きのPC(パーソナルコンピュータ)、等であってもよい。また、近距離無線通信機能としては、例えばzigbee(登録商標)、Z-Wave(登録商標)、等の利用も可能である。
【0028】
図3は、上記通信システムが備える構成の一部を取り出して示している。受信部301は、外部から入力する呼び出し信号を受け取り、第1ユーザとの通信を要求する。第1ユーザとは、例えば機器311を有する又は機器311の近くに居るユーザである。
【0029】
特定部302は、受信部301が受信した呼び出し信号に応じて、複数の機器の中から、前記第1ユーザが近辺に存在する、或は第1ユーザが所有する第1機器311を特定することができる。そして通信部303は、特定部302が特定した結果に応じて、第1機器311が前記要求に応じた通信ができるように通信ルートを確立する。
【0030】
図3に示した構成は、単独である1つの通信デバイス内に構築されてもよいし、サーバ50内に構築されて、各デバイスと連携してもよい。さらには、図1に示す複数のデバスで分担して構成されてもよい。すなわち、上述したように、例えばスピーカーやカメラのように既に用意されている要素からの出力(データ)を用いることが可能である。
【0031】
図4は、上記した構成が、図1に示したファミリーに対して適用された様子を例示している。以下、会話(通信)を開始する発話人(息子12、妹13、母14、祖父15、父16の何れか)と、発話人が通話したい相手((息子12、妹13、母14、祖父15、父16の何れか)と、の間で通信ルートが形成される例を各種説明する。通信ルートは受信部301、特定部302、通信部303を介して実行される。
【0032】
(例1)
本システムは、基本的には、会話を開始する人(発話側)が、自身の近くの通信デバイスに対して、通話したい相手(通話の相手)の名を呼ぶ(例えばママ、パパと呼びかける)と、自動的に通話の相手の居場所の近くにある通信デバイスに音声出力(呼びかけ音声)もしくは呼び出し音が出力される。なお、通話したい相手を特定(指定)するための手法(UI(User Interface))としては、音声による指示や映像認識結果の認証に加えて、例えば発話者が保持している端末装置のスクリーンが表示するGUI(Graphical User Interface)や、スクリーンが表示するボタンもしくはリモコン装置、等において広く用いられるボタン(ハードウエアボタン)であってもよい。また、例えば音声による指示においても、さまざまな読み替え、例えば人名、兄弟姉妹や祖父母(父、母)のように年齢的な情報から個人を特定できる呼称(お兄ちゃん/おばあちゃん)、ニックネーム、等のそれぞれに対して同一人物を特定できるよう、読み替え辞書が用意される。
【0033】
例えば、図1に示す息子12が、息子の部屋で「ママと話したい」と発話すると、母親14が居る台所の通信デバイス11Cと子供部屋の通信デバイス11Aとの間の通信ルートが形成され、通信デバイス11Cから「ママと話したい」と言う音声が出力される。他の寝室や居間の通信デバイスとは接続されない。
【0034】
(例2)
この場合、通話の相手(例えばママ)が通信デバイス11Cの近くに居るかどうかは、通信デバイス11Cに付属しているカメラ、あるいは通信デバイス11Cと連携しママが居る部屋や台所に設置された別のカメラデバイスによる人物認識(顔認識)機能により判断している。
【0035】
(例3)
例えば、息子12が、子供部屋で「パパと話したい」と発話したが、ルータ40を中心としたホーム内の通信デバイスや携帯端末のWi−Fiでは検知できない(パパは家の中にはいないと判断される)場合がある。この場合はパパの携帯端末24に自動的に回線がつながる。図1に示すように、パパ16が家の中にはいないと判断された場合は、ルータ40、インターネット51、サーバ50、アクセスポイント52、携帯端末24の通信ルートが確立される。この場合、パパ(父親)16が、例えば勤務として海外に居るような場合であっても、インターネット51を経由して、パパ16が所有する携帯端末との間に通信ルートが確立される。なお、パパ16が、例えば勤務として海外に居るような場合については、例えば「パパは、外国で仕事しているよ」、等のメッセージあるいは音声を出力して、不用意にインターネット51を経由する通信ルートが確立されることを抑止することもできる。
【0036】
別の例として、例えば母親14が通信デバイス11Cに「おじいちゃん」と呼びかけたとする。図1の例では、祖父15は庭に居て、祖父15が所有する携帯端末23はルータ40により検知されている。この場合は、通信デバイス11Cとルータ40と、携帯端末23との通信ルートが形成され、携帯端末23への着信が行われる。
【0037】
(例4)
通話の相手が、家庭内に設置されている通信デバイスの近くに居るかどうかは、通話の相手が携帯する携帯端末(デバイス)と通信デバイスとが近距離無線通信を行うことで、前記通信デバイスが判断することもできる。すなわち、部屋のデバイスが近距離無線通信で通話の相手のスマートフォンを検知した場合は、その部屋のデバイスに接続する。
【0038】
そして、通信デバイスが近距離無線通信で通話の相手の携帯端末を検知している場合は、発話側の通信デバイスはその通信デバイスに接続される。例えば、図1に示すように、娘13の部屋においては、娘13の部屋の通信デバイス11Bが近くにある娘の携帯端末21を検知している。このような場合、例えば、母親14が、「わかめ」(娘の名前)を通信デバイス11Cに呼びかけると、通信デバイス11Cと通信デバイス11B間の通信ルートが形成される。
【0039】
また通話の相手が、通信デバイスの近くに居て、携帯端末が携帯されているかどうかの判断は、例えば、当該携帯端末の加速度センサー情報の出力があるか否かにより判断する。つまり、図1の例であると、娘13が携帯端末21に触れて、例えばゲームなど楽しんでいる場合、通信デバイス11Bは、Bluetoothを介する通信により携帯端末21が近くにあることを検知する。
【0040】
なお、通話(会話)したい相手や特定の人物が近傍にいること(もしくは来客の有無)を検出する方法としては、通信デバイス11による相手(ユーザ)が保持する携帯端末装置の検出に限らす、例えばカメラ装置による人物の認識、マイクロフォン(スピーカーを非使用時にマイクロフォンとして利用することを含む)による音声の取得、取得した音声の特徴量に基づく個人特定、人感(感熱)センサーによる誰かの存在の検出と音声や映像による個人特定、等、人物を検知できる方法であればどのようなものであってもよい。但し、ペット、等については、予め検出除外対象として登録できることが好ましい。
【0041】
(例5)
上記例4のように、通信デバイスとその近くの携帯端末は、関連づけられているが、もし、携帯端末が携帯(携行)されていないと判断した場合は、発話側のデバイスは当該携帯端末に接続されることはない(携帯(携行)されていないと判断した場合、その部屋の通信デバイス11には接続しない)。
【0042】
例えば、図1の例の場合、母親14が「かつお」(息子12の名前)を通信デバイス11Cに呼びかけると息子12は、携帯端末を所有していないので、通信デバイス11Cと通信デバイス11Aの通信ルートが形成されるだけである。
【0043】
(例6)
上記例5のように携帯端末が携帯されていないと判断した場合であっても、当該携帯端末あるいは部屋が特別に登録されている場合は、発話側の通信デバイスは当該携帯端末に接続される。
【0044】
例えば、寝室に居る時、携帯端末をベットサイドに置いているので、特定のデバイス(身につけていなくてもその部屋に居ると見なす)として登録しておくことで、寝室の携帯端末と呼び出し側の通信デバイス間の接続ルートが形成可能となる。例えば、部屋を自由にかつ身軽に動けない人(病人や要介護者)の場合は、携帯端末をベッドサイドに長時間置くことが多いので、特別のデバイスとして、当該携帯端末を登録することが好ましい。なお、登録しておく条件としては、例えば食事時間帯や入浴時間帯、等の部屋に居ない、とみなすことのできる時間帯は除外することが好ましい。
【0045】
(例7)
例えば例1において、接続先が不明の場合(相手の通話可能な接続先が見つからない場合)は、その旨、(音声などで)通信デバイスからユーザに知らしめる。
【0046】
例えば、図1において息子12が「山田さんと話したい」と発話したが、山田さんの情報がシステムに登録されていない場合「山田さんは登録されておりません」と通信デバイス11Aが返答する。
【0047】
(例8)
上記の例は、通信デバイスから携帯端末に接続される通信ルートを主に説明した。しかし、外部から直接、携帯端末に電話がかかってくること[通話要求(着呼)]がある。この場合、携帯端末から近くの通信デバイスに接続され、さらにこの通信デバイスから、当該携帯端末の所有者が近くに居る他の通信デバイスに接続されるという通信ルートを構築することもできる。
【0048】
図1において、娘13が例えば台所に移動し、母親14が行う料理の手伝いをしているものとする。このとき、娘21の寝室の携帯端末21(娘が所有する携帯端末)に外部から電話がかかってきたとする。この場合、本電子システムは娘13の居場所を把握しているので、携帯端末21から通信デバイス11B、ルータ40、通信デバイス11Cへの通信ルートが形成される。また別の例としては、寝室にて充電中の携帯端末にかかってくる場合もある、しかし、携帯端末の持ち主は、寝室とは異なるリビングに居る場合がある。この場合、寝室の携帯端末にかかってきた電話が、近距離無線通信により自動接続された寝室の通信デバイスを経由して、持ち主が居るリビングの通信デバイスに自動的に接続され、その通信デバイスを通して相手と会話することができる。
【0049】
なお、個々の人物が携帯端末を保持(携行)しているか否かに拘わらず、例えば家族からの域外からの通信回線を介した通信が着信し、いずれの通信デバイスによっても携帯端末と紐付けられた相手の居場所が特定できない場合、等においては、その(通信対象の)相手が所有している携帯端末に、通信が着信していることを、例えば公衆通信網を通じて通知(報知と称する場合もある)する。一方で、発信者が不明の通信、等については、例えば通話ができないことを通知するメッセージ、あるいはデータを返信する。なお、通信が着信していることをその相手の携帯端末に通知する優先度を、予め設定することができる。例えば、家族や友人からの通信は、深夜であっても通知することが好ましい。反面、仕事関係であることが明らかな発信元からの通知については、勤務時間帯(通常考え得る業務対応時間)に、かけなおしてもらうことを、返信してもよい。また、上述の(例6)のように、予め登録された場所にある携帯端末に通信が着信していることを通知する場合、家族からの通信であることが明らかであるような場合に制限をかけることも可能である。
【0050】
<参照テーブル及びデータ>
次に、上記した各通信ルートをダイナミックに構築するために使用される参照テーブルやデータについて説明する。
【0051】
図12は、上記した通信システムに登録されている登録者、通信デバイス、および携帯端末の登録情報テーブルを示している。
図13は、上記した通信システムに登録されている登録者、通信デバイス、および携帯端末などの現在位置を把握するために利用される状況テーブルを示している。
図14は、上記したように通信ルートが確立される場合に利用される接続先(移動先)判断テーブルを示している。
【0052】
図15は、本通信ルートが確立される場合に利用される着信・接続先判断テーブルを示す図である。図12乃至図15が示すそれぞれのデータは、図1に示したサーバ50が有してもよいし、図1に示した通信デバイスのいずれかが有してもよい。
【0053】
まず上記の通信システムが正確に動作するために、図12(登録情報テーブル)に示すように本システムを利用する人の登録と、使用する通信デバイスの登録と、使用する携帯端末などの登録が必要である。その他、通信システムに組み込まれる監視カメラ、インターフォン、温度、湿度、光、音などの特殊センサーなどが追加されてもよい。
【0054】
図12に示す登録情報テーブルには、ファミリー構成員である父、母、息子、娘、祖父の識別データ(ID)が登録される。また各登録者の呼び名(お父さん、お母さん、かつお(息子)、わかめ(娘)、おじいちゃん)が登録される。さらに各人が所有する携帯端末の電話番号、携帯端末のBluetooth ID、携帯端末のMACアドレス、顔データ、携帯端末を身に着けていなくても連絡することが決められている通信デバイス(IoT)のアドレスなどが登録される。
【0055】
図13が示す状況テーブルには、まずファミリー構成員である父、母、息子(かつお)、娘(わかめ)、祖父の識別データ(ID)が、記述される。そして各構成員が、現在、通信デバイスや携帯端末とどのようにかかわっているかを示す状況データが更新して記述される。この状況データの更新時点は、定期的であってもよいし、或は通話の相手の呼び出しがなされた場合であってもよい。
【0056】
図14が示す接続先(移動先)判断テーブルは、話者が通話の相手を呼び出したときに通話の相手の居場所と通信ルート(接続ルート)を決定するために必要な、要件データの組み合わせを示している。
【0057】
ケース1は、ある通信デバイスを介して通話の相手の顔が認識されている場合である。なおケース1は、いずれの通信デバイスも近距離無線で通話の相手の携帯端末を検知していない、ルータがWi−Fiで通話の相手の携帯端末を検知していない、通話の相手の携帯端末の加速度センサー情報もない、状況である。この場合は、顔を認識した通信デバイスが設置されている部屋に通話の相手が居ることが判断される。この結果、ケース1において呼び出された通話の相手に対しては、顔認識した通信デバイスに対する通信ルートが確立される。
【0058】
ケース2は、顔認識がない、通話の相手に関連つけられている通信デバイスが近距離無線で通話の相手の携帯端末を検知していること、通話の相手が携帯端末を身に着けていること、が分かっている例である。この場合は、通話の相手は、当該通信デバイスが設置されている部屋に居ると判断される。そして、このケース2では、話者側のデバイスが家庭内で当該部屋に設置されている通信デバイスに接続される、通信ルートが確立される。
【0059】
ケース3は、顔認識がない、通話の相手に関連つけられている特定の部屋の通信デバイスが近距離無線で通話の相手の携帯端末を検知していること、通話の相手が携帯端末を身に着けていないこと、が分かっている例である。この例は、先の(例6)で説明した環境である。この場合は、通話の相手が特定の部屋に居ると判断される。そしてこのケース3では、話者側のデバイスが家庭内で当該特定の部屋に設置されている通信デバイスに接続される通信ルート、が確立される。
【0060】
ケース4は、顔認識がない、通話の相手に関連つけられている特定の部屋の通信デバイスが近距離無線で通話の相手の携帯端末を検知している、通話の相手が携帯端末を身に着けていないこと、が分かっている例である。この場合は、通話の相手は、居場所不明と判断される。このケース4の例外が先のケース3である。このケース4では、先の(例7)で説明したように相手の通話可能な接続先が見つからない旨、(音声などで)通信デバイスからユーザに知らしめる。
【0061】
ケース5は、顔認識がない、通話の相手に関連つけられている特定の部屋の通信デバイスが近距離無線で通話の相手の携帯端末を検知していない、しかしルータがWi−Fi通信により通話の相手が携帯端末を身に着けていること、が分かっている例である。この場合は、通話の相手が、家の近くに居るが通信デバイス(IoT)がそばに無いところに居ると判断する。
【0062】
このケース5では、先の(例3)で説明したように、母親14が通信デバイス11Cに「おじいちゃん」と呼びかけた場合に相当する。この場合は、話者のデバイスが、携帯端末にWi−Fi通信より接続される。
【0063】
ケース6は、顔認識がない、通話の相手に関連つけられている特定の部屋の通信デバイスが近距離無線で通話の相手の携帯端末を検知していない、しかしルータがWi−Fi通信により通話の相手の携帯端末を検知している、しかし当該携帯端末を身に着けていない場合の例である。このケース6では、先の(例7)で説明したように相手の通話可能な接続先が見つからない旨、(音声などで)通信デバイスからユーザに知らしめる。
【0064】
ケース7は、顔認識がない、通話の相手に関連つけられている特定の部屋の通信デバイスが近距離無線で通話の相手の携帯端末を検知していない、ルータがWi−Fi通信により通話の相手の携帯端末を検知していない、場合の例である。この時は、本通信システムは、通話の相手は外出中であることが判断される。そして、通話の相手の携帯端末に対して、携帯端末番号による電話接続を行う。
【0065】
上記したように本通信システムは、通話の相手の状況に応じて、通信ルートを確定することができる。そのために、本通信システムは、図12に示した登録情報テーブル、図13に示した状況テーブル、図14に示した接続先(移動先)判断テーブル、図15に示した着信・接続先判断テーブルを活用する。
【0066】
図12が示す登録情報テーブルは、通信デバイスが各部屋に設置された場合に登録情報テーブルに共通データとして登録される。
【0067】
例えば、ある1つの通信デバイスと、ユーザの携帯端末とを接続する。接続方法は、例えば通信デバイスを登録モードに設定し、ユーザの携帯端末を例えばBluetoothを介する動作モードに設定し、携帯端末に通信デバイスのIDを入力する。これにより、通信デバイスと携帯端末が通信状態となる。そして、携帯端末の画面には、「登録者IDを入力してください」と表示される。登録者IDは、任意でよい。この場合家族の登録者IDが重複しない方がよい。登録者IDの次に「呼び名である、かつお、わかめ、パパ、ママ、おじいちゃん等」を入力することができる。
【0068】
このとき、自動的に携帯端末の電話番号、Bluetooth ID、MACアドレスなどが通信デバイスへ送られて登録される。また、「顔画像データを入力しますか?」というメッセージが、携帯端末の画面に表示される。ユーザは顔画像データを入力する場合は、例えば通信デバイスのカメラの正面に顔を向けて、「ハイ」、「どうぞ」と言えば、ユーザの顔画像が通信デバイスにより取得される。逆にユーザが「いいえ」と言えば、顔画像の取得はなされない。
【0069】
さらにまた、通信デバイスが登録モードにあるときは、通話の相手が、携帯端末を身につけていないと判断されたとしても、通信ルートを形成して連絡する通信デバイスを登録することができる(特定の部屋の通信デバイスである)。この登録受付は、先のケース3で説明した通信ルートを確立するためのものである。登録モードのメニューにおいて、例えば「特定の部屋の通信デバイスを登録しますか?」と言うようなメッセージが用意されている。ユーザは、このメッセージを選択して、携帯端末に特定の部屋の通信デバイスのIDを入力して確定を操作すればよい。
【0070】
上記した通信システムでは、話者により呼び出しがあった場合、或は、定期的に、図13が示す状況テーブルのデータを更新する。しかし、携帯端末の揺れ(持ち運びがされたと判断できる揺れ)の情報を受けた場合には、その都度、図13が示すデータを更新することが好ましい。
【0071】
図5は、図13が示すデータが更新されるときの動作フローの一例を示す図である。携帯端末端末をその所有者が持って移動するときは、携帯端末の加速度センサー情報に変化がある(Sa1)。
【0072】
この変化は、例えば通信デバイスと携帯端末間のBluetoothを介した通信、或はルータ40と携帯端末間のWi−Fi通信により検出される。Bluetoothを介する通信の実行や、Wi−Fi経由の通信の実行は、通信デバイス内の制御部、ルータ内の制御部により起動される。取得された携帯端末の加速度センサー情報の変化の有無は、先の図13において、加速度センサー情報の欄の更新に用いられる。加速度センサー情報は、「携帯端末を見に付けている」あるいは「携帯端末を身に着けていない」を示すことになる。またこの時、加速度センサー情報がBluetooth通信で検出されたのか、Wi−Fi通信で検出されたのか、両方で検出されたのかを示す情報も図13において更新される。
【0073】
つまり、上記の通信の工程においては、加速度センサー情報の変化の有無、携帯端末と通信した通信デバイスのID、または通信したルータのIPアドレスが分かるので、該携帯端末がどの部屋にあるのか、或は部屋に無いのかが判明する。これにより、登録者の居場所、状況などが更新可能となる(Sa5)。
【0074】
また、顔画像データを図12に登録しているユーザは、カメラをオンしている各部屋の通信デバイスにより、顔認識されることが可能である。通信デバイスは、カメラを介して移動体を検知したときに、顔画像データを取得することができる(Sa2)。この通信システムは、取得した顔画像データと図12に登録されている顔画像データとを比較し、どの部屋で誰の顔画像データが取得されたかを把握することができる。
【0075】
取得した顔画像データがある登録者の登録顔画像データと一致した場合、取得した通信デバイスの部屋に該登録者が居ることが判明する。この判明結果に応じて、該登録者の「居場所及び状況などを更新することができる(Sa6)。
【0076】
さらに、通信デバイスはマイクを備えるので、音声認識機能を利用してもよい。登録者の音声データが、顔画像データと同様に、例えば図12に登録される。そして、通信デバイスが、ユーザの音声をピックアップしたとき、ユーザの音声を認識し、部屋に居ることを特定する。
【0077】
図6は、例えば図1のサーバ40が図12図13図14のデータを認識できることを前提とし、前記サーバ40が、いずれのデバイスと通信を行ったかに応じて、当該デバイスの登録者IDを特定する方法を示している(Sb1)。
【0078】
図6に示す(Sb2)のケースを説明する。サーバ50が、ルータ40と何れかの通信デバスを経由する通信に基づいて、顔画像データを取得することがある。この場合、この顔画像データに対応する登録顔画像データを検出する。この場合、図12が示す登録情報を参照して検出した登録顔画像データに対応する登録者IDを決定する。
【0079】
図6に示す(Sb3)のケースを説明する。サーバ50が、ルータ40、いずれかの通信デバイスそしていずれかの携帯端末を経由する通信に基づいて、携帯端末の動きを示す加速度センサー情報を検出する場合がある。この場合は、図12を参照して該携帯端末と通信デバイスとの通信に利用されたBluetooth IDを特定し、このBluetooth IDに対応する登録者IDを決定する。
【0080】
図6に示す(Sb4)のケースを説明する。サーバ50が、ルータ40又はアクセスポイント52を経由して携帯端末と通信し、その携帯端末の加速度センサー情報を検出する場合がある。この場合は、図12を参照し、ルータ40経由の場合は、携帯端末のBluetooth IDに対応する登録者IDを決定し、アクセスポイント52経由の場合は、携帯端末電話番号に対応する登録者IDを決定する。
【0081】
図7は、本実施形態の通信システムが通話の相手の居場所を特定し、そして通信ルートを形成する場合の例を示している。ユーザがある部屋の通信デバイスに呼びかけたとする。つまり通信デバイスが呼び出し音(発話)をピックアップしたとする。すると、通信システムは、呼び出し音(例えばママと話したい等)の音声認識を行い、通話の相手であり、図12が示す登録情報に登録されている登録者ID(母親のID)をサーチする(Sc1)。もし図12に登録者IDが無い場合は、呼びかけられた通信デバイス(呼び出し元のデバイス)が、「登録者ではありません」と音声で返事する(Sc4)。
【0082】
登録者IDが検出された場合は、呼び出し先(通話の相手)の登録者IDに基づいて、図13を参照し、通話の相手の状況(自分の部屋に居る?別の部屋に居る?外出?など)を判断する。そして図13が示す状況に基づいて、話者から通話の相手までの通信ルートを特定する(Sc3)。
【0083】
通信ルートの特定のための処理は、各種の状況に応じて実施される。図13を参照した結果、通話の相手(登録者ID)のデバイスが通信デバイスであることが決まった場合は、呼び出し元の通信デバイスと通話の相手の通信デバイスとの間の通信ルートを形成する(Sc5)。
【0084】
図13を参照した結果、通話の相手(登録者ID)のデバイスがWi−Fi通信を介して通話する携帯端末であることが決まった場合は、呼び出し元の通信デバイスと通話の相手の携帯端末との間の通信ルートをIPアドレスを用いて形成する(Sc6)。
【0085】
図13を参照した結果、通話の相手(登録者ID)のデバイスが携帯端末の電話番号を介して通話する携帯端末であることが決まった場合は、呼び出し元の通信デバイスと通話の相手の携帯端末との間の通信ルートを携帯端末の電話番号を用いて形成する(Sc7)。
【0086】
図13を参照した結果、通話の相手の居場所を特定できなかった場合は、呼び出し元の通信デバイスを制御し、「居場所がわかりません」と音声応答を実行させる。
【0087】
図8は、本通信システムの動作のさらに他の例を示すフローチャートである。今までの説明は、通信デバイスから他の通信デバイス、外部の携帯端末、などに向かって通信ルートが形成される例を主に説明した。
【0088】
さらに本通信システムは、受信者(通話の相手)の状況に応じて、音声を通信デバイスから出力することも可能であるし、携帯端末から出力することも可能である。
【0089】
まず通信デバイスは、近距離無線通信より、携帯端末の着信を検知することができる(Sd1)。このとき通信デバイスは、携帯端末のBluetooth IDを取得する(Sd2)。次に図12が示す登録情報を参照して、取得したBluetooth IDから、携帯端末の持ち主の登録者IDを取得する(Sd3)。
【0090】
次に、通信システムは、図12が示す状況データを参照し、取得した登録者IDに基づいて携帯端末の持ち主の居場所を特定する(Sd4)。次に特定した居場所には、先の着信を検知した通信デバイスが設置されているか否かを判定する(Sd5)。もし、携帯端末の持ち主が、先の着信を検知した通信デバイスの近く(部屋)に居ることが判明した場合(Sd6)、当該通信デバイスに携帯端末を、Bluetoothを介する通信で接続し、携帯端末に着信した呼び出し音及び音声を、前記着信を検知した通信デバイスから出力することができる(Sd7)。
【0091】
ステップSd6において、着信を検知した通信デバイスとは、異なる通信デバイスの近くに前記携帯端末の持ち主が居る場合は、本通信システムは、着信を検知した通信デバイスと前記異なる通信デバイスとの間の通信ルートを形成する。そして、本通信システムは、前記異なる通信デバイスから、携帯端末に着信した呼び出し音及び音声を出力する(Sd8、Sd9)。
【0092】
上記した通信ルートが形成されると、着信が切れたかどうかの判定がなされ(Sd10)、通信ルートが維持されていれば、発話が開始されているかどうかを判定し(Sd11)、開始されていれば通話中と判定する(Sd12)。着信が切れたことの判定がなされた場合(Sd10)、通信は終了する。
【0093】
先のSd5において、携帯端末の持ち主が、通信デバイスの配置されている部屋に居ないことが判断された場合、図7のSc1に移る。図7の処理では、再度登録者IDのチェックから始まり、相手の状況(居場所、不明)を判断して、通信ルートを確保するか、相手が登録されていない場合は、呼び出しものとデバイスから「登録者ではありません」、等の音声による返信を行う。
【0094】
なお、図16に示すように、例えば携帯端末(対象の所有者が保持している携帯電話装置)に着信した通信を、対象の所有者が居る周囲の環境に応じ、所有者の近くに位置する通信デバイス11に転送し(着信させ)、通信デバイス11を通じてハンズフリー状態で通信可能とすることができる。また、図17に示すように、所有者の近くに位置する通信デバイス11に着信した通信を、対象の所有者が保持している携帯端末(携帯電話装置)に転送し(着信させ)、携帯端末装置を利用するよう誘導する非ハンズフリー状態で通信することもできる。
【0095】
すなわち、図16または図17に示すように、対象者に向けて着信する通信が対象者の携帯端末に着信する場合と通信が対象者の近くに位置している通信デバイス11に着信する場合とにおいて、図15が示す着信・接続先判断テーブルを参照する。図15に従い、着信した機器を介した通信を促すか、ハンズフリー機器への着信を非ハンズフリー機器に接続もしくは非ハンズフリー機器への着信をハンズフリー機器に接続する、か、を選択する。
【0096】
より詳細には、図15に示すように、通信が着信した着信デバイスが公衆通信網を利用した携帯端末である場合[1]、その携帯端末の近くに通信デバイスがあるか、を検出し、通信デバイスが[無い]場合[10]には、携帯端末で着信を報知する(接続を変更しない)、とする。
【0097】
一方で、通信デバイスが[ある]場合[11]には、通信デバイスの近くに居る人物の数(人数)を判定し、
[11A] 通信デバイスの近くに居る人物の数(人数)が1である(対象者のみが居る)場合、通信デバイスに接続する(携帯端末への通信を通信デバイスに接続し、通信デバイスのスピーカーとマイクロフォンとにより、ハンズフリー通信を実行する。
【0098】
[11B] 通信デバイスの近くに居る人物の数(人数)が2以上である(対象者以外の誰かも居る)場合、通信デバイスへは接続しない(携帯端末への通信をそのまま携帯端末に接続し、携帯端末による非ハンズフリー状態を実行する)。
【0099】
なお、通信デバイスが撮影機能(カメラ)を持っていない、あるいは撮影機能がオフされていることにより、通信デバイスの近くに居る人物の数(人数)を検出できない場合についても、通信デバイスへは接続しない(携帯端末への通信をそのまま携帯端末に接続し、携帯端末による非ハンズフリー状態を実行する[11C])。
【0100】
これにより、着信対象の携帯端末を保持している人物への通信が着信した場合、対象者が居る場所に対象者が1人で居る場合には、携帯端末への通信に対し、通信デバイスによるハンズフリー状態で応答することができる。一方で、対象者の周囲に少なくとも誰かが居る場合には、周囲の誰かに通信の内容を知られることの無いよう、携帯端末を用いた非ハンズフリー状態で通信に応答することができる。
【0101】
なお、例えば対象者の周囲に居る誰かが、例えば子供、特に赤ちゃんであることが通信デバイスにより検出されている場合には、通信デバイスによるハンズフリー状態が維持される。但し、通信への応答中に赤ちゃんが泣きだしたような場合には、例えば携帯端末のタッチパネルが表示するボタンや音声指示により、携帯端末を用いる非ハンズフリー応答に切り替えることも可能である。
【0102】
また、例えば対象者の周囲に居る誰かが、例えば子供であり、通信が外出先の父親からの(子供を含む)家族全員を対象と通信であるような場合には、例えば携帯端末のタッチパネルが表示するボタンや音声指示により、通信デバイスを用いるハンズフリー応答に切り替えることも可能である。
【0103】
またさらに、例えば対象者の周囲に居る誰かが、親しい友人であり、通信が、予約をした商業施設からの通信であるような場合においても同様に、例えば携帯端末のタッチパネルが表示するボタンや音声指示により、通信デバイスを用いるハンズフリー応答に切り替えることも可能である。
【0104】
反面、対象者の周囲に誰も居ない(ハンズフリー状態での通信が可能である)場合であっても、例えばテレビジョン受信装置、等により番組やネットワーク配信のコンテンツを再生している状態、もしくはオーディオ機器により音楽を楽しんでいるような状態を通信デバイスが検出している場合には、通信デバイスを用いるハンズフリー応答に切り替えない(接続を変更しない(携帯端末で着信を報知する))ものとする。ここで、テレビジョン受信装置、等により番組やネットワーク配信のコンテンツを再生している状態、もしくはオーディオ機器により音楽を楽しんでいるような状態は、例えば音源の方向が固定されている及びまたは一定の周波数帯の音声信号が継続されている、等の特徴により、人物による会話とを識別できる。
【0105】
また、対象者の周囲に誰も居ない(ハンズフリー状態での通信が可能である)場合であっても、例えば玄関、等に設けられているカメラにより来客(来訪者)があることが検出できた場合は、通信デバイスを用いるハンズフリー応答に切り替えない(接続を変更しない(携帯端末で着信を報知する))、あるいはハンズフリー応答から携帯端末による非ハンズフリー応答に変更するものとする。この場合、来訪者が帰った(玄関から出て行った)ことが検出できた時点で、ハンズフリー応答を設定する(ハンズフリー応答中に非ハンズフリー応答に変更した場合、ハンズフリー応答に戻す)ことも可能である。
【0106】
また、通信が着信した着信デバイスが、LAN回線(Wi−Fi)を通じた通信デバイスである場合[2]、その通信デバイスの近くに、(転送)対象の携帯端末があるか、を検出し、携帯端末が[無い]場合[20]には、そのまま通信デバイスで着信を出力する(接続を変更しない)。
【0107】
一方で、携帯端末が[ある]場合[21]には、通信デバイスの近くに居る人物の数(人数)を判定し、
[21A] 通信デバイスの近くに居る人物の数(人数)が1である(対象者のみが居る)場合、携帯端末に接続しない(通信デバイスのスピーカーとマイクロフォンとを用いるハンズフリー状態を継続する)。
【0108】
[21B] 通信デバイスの近くに居る人物の数(人数)が2以上である(対象者以外の誰かも居る)場合、携帯端末に接続する(通信デバイスのスピーカーとマイクロフォンとを用いるハンズフリー状態での接続をやめて、着信対象者の携帯端末へ(非ハンズフリー状態となるよう)、通信を接続する)。
【0109】
なお、通信デバイスが撮影機能(カメラ)を持っていない、あるいは撮影機能がオフされていることにより通信デバイスの近くに居る人物の数(人数)を検出できない場合についても、着信対象者の携帯端末へ通信を接続しない(通信デバイスへ着信した通信を着信対象者の携帯端末に接続し、携帯端末による非ハンズフリー状態での通信を実行する[21C])。
【0110】
また、[着信先の周囲の状況]として、着信対象者の周囲に居る人物が自身(着信対象者)のみであるか否か、については、通信デバイスのカメラの映像で判定することを優先するが、上述したように通信デバイスのカメラが必ずしも機能していない場合や通信デバイスがカメラを持っていない場合、例えば近隣に別のカメラがあるならば、そのカメラからの映像を共用してもよい。なお、通信デバイスがカメラを持っていない場合であっても、例えばマイクロフォンが検出する着信対象者の周囲の音(他の人物の声)、等を検出し、その結果に基づいて、着信対象者の周囲に他の人物が居るか否か、を判断してもよい、
なお、対象者の周囲に誰も居ない(ハンズフリー状態での通信が可能である)場合であっても、例えばテレビジョン受信装置、等により番組やネットワーク配信のコンテンツを再生している状態、もしくはオーディオ機器により音楽を楽しんでいるような状態を通信デバイスが検出している場合には、通信デバイスを用いるハンズフリー応答から携帯端末で着信に応答するよう、携帯端末で着信を報知することが好ましい。
【0111】
これにより、携帯端末を保持している人物の近くにマイクロフォンによる集音とスピーカーによる音声出力が可能な通信デバイスがある場合において、通信デバイスの近傍に着信対象者(携帯端末所有者)以外の人物が居る場合には、通信デバイスに着信した通信を、携帯端末への通信に切り替え、周囲の誰かに通信の内容を知られることの無いよう、携帯端末を用いた非ハンズフリー状態で通信に応答することができる。なお、着信対象者が携帯端末を保持し、その近傍に位置する通信デバイスに着信があった場合において、通信デバイス(携帯端末所有者)の周囲に騒音がある場合、等においては、通信デバイスを介するハンズフリーの通話が困難であり、着信対象者が保持する携帯端末に、通信デバイスに着信した通信を接続する。これにより、着信対象者は、通信デバイスに着信した通信の内容を容易に認識できる(通信の内容を好適な条件を聞き取ることができる)。
【0112】
より具体的には、
(例9)
例えば、子供部屋から「ママと話したい(ママどこ?/ママ?)」と発話すると、ママが居るリビングの非携帯型の通信装置と子供部屋の非携帯型の通信装置との間の通信ルートが確立される。このとき、リビングにママ以外の人も居ると、リビングの通信デバイスは、ママの携帯端末に、例えばBluetoothで接続する。リビングにはママだけが居る(ママしか居ない)場合は、リビングの通信デバイスは、マイクロフォンとスピーカーとにより、(ママが)ハンズフリーで子供部屋に居る子供(達)と会話できるよう、通信ルートを確立する。
【0113】
すなわち、図15が示す接続先判断により、例えば携帯端末(携帯電話装置、等)と非携帯型ハンズフリーの通信デバイス(インターフォン、通話機能のある監視カメラ、等)が近くにある場合は、カメラやマイクなどのセンサーで周りの状況(自身を含む人の有無、騒音の有無、等)を認識し、その状況に応じて、携帯端末または非携帯型の通信装置の一方に、着信を自動的に接続することができる。
【0114】
(例10)
例えば、リビングに居るママの携帯端末に電話が掛かってきた(通信が着信した)場合に、リビングにはママしか居ないときは、ママの携帯端末からBluetooth等の近距離通信装置を介してリビングの通信デバイスに接続する。これにより、ママは、ハンズフリーで自身の携帯端末に着信した電話に応答することができる。なお、ママ以外の人もリビングに居る場合には、ママの携帯端末に(そのまま)着信させる。
【0115】
すなわち、携帯端末への着信があった場合に、携帯端末の所有者の周りに所有者の他に誰も居なければ、所有者が居る部屋(場所)の非携帯型の通信装置に接続することで、所有者はハンズフリーで着信に応答できる。
【0116】
(例11)
例えば、リビングにママが居ることを非携帯型の通信装置が認識していることによりリビングの非携帯型の通信装置に電話が掛かってきた(通信が着信した)場合で、かつリビングにはママしか居ないときは、リビングの非携帯型の通信装置に接続することで、着信をハンズフリー通信が可能にする。一方で、リビングにママの他の誰かが居る場合には、ママの携帯端末へBluetooth等の近距離通信装置を介してリビングの非携帯型の通信装置から着信を接続する。
【0117】
すなわち、携帯端末所有者が居る場所(部屋)にある非携帯型の通信装置への着信があった場合に、携帯端末所有者の周りに所有者の他に誰も居なければ所有者が居る部屋(場所)の非携帯型の通信装置に接続する(非携帯型の通信装置への通信ルートを維持する)ことで、所有者はハンズフリーで着信に応答できる。一方で、所有者以外の人もリビングに居る場合には、所有者の携帯端末に着信を接続する(接続先を変更する)ことで、通信の内容が不所望に所有者以外の誰かに認識されることを抑止できる。
【0118】
(例12)
例えば、リビングにママが居ることを非携帯型の通信装置が認識している場合に、ママの携帯端末に電話が掛かってきた(通信が着信した)とき、リビングにママ以外の誰かが居るならば、着信をママの携帯端末へ接続し、リビングの非携帯型の通信装置にて、ママの携帯端末へ着信があることを、報知する。例えば、リビングの非携帯型の通信装置の音声出力機能により「ママへの着信があります/電話だよ!」、等の音声出力を、出力する。従って、ママは、自身の携帯端末への着信に、容易に気づくことができる。
【0119】
すなわち、非携帯型の通信装置が着信対象者の所有する携帯端末を保持した所有者とそれ以外の誰かとが居ることを検出している場合、携帯端末への通信が着信すると、着信を携帯端末に接続し、非携帯型の通信装置から、携帯端末に着信している旨、知らせることができる。
【0120】
なお、上述の(例9)−(例12)においても、非携帯型の通信の近傍に着信対象者が1名のみ居ることが明らかであっても、周りの音が大きい場合、等においては、全ての着信を着信対象者が所有する携帯端末に着信させることが好ましい。
【0121】
図16および図17は、図15について説明した上述の内容をソフトウェア的に示すもので、図16は、着信対象者(携帯端末所有者)が保持する携帯端末に通信が着信した場合の接続先の判定の一例を、図17は、着信対象者(携帯端末所有者)の近傍に位置する非携帯型の通信装置に通信が着信した場合の接続先の判定の一例を、それぞれ示す。
【0122】
図16が示すように、着信対象者(携帯端末所有者)が保持する携帯端末に着信があった場合(Se1)、サーバ50が保持する図15に示した着信・接続先判断テーブルにアクセスして接続先を、携帯端末とする(Se2)。続いて、携帯端末の近傍に非携帯型の通信装置が位置しているか否かを判定する(Se3)。
【0123】
非携帯型の通信装置が接続対象の携帯端末の近傍に位置していることが検出できた場合であって(Se3−YES)、非携帯型の通信装置がその近傍に着信対象者以外の誰かが居ることを検出した場合(Se4−YES)、非携帯型の通信装置は、着信対象者の携帯端末に着信があることを報知する(Se5)。なお、着信があることの報知は、例えば非携帯型の通信装置のスピーカーからの音声出力であってもよいし、例えば非携帯型の通信装置の制御によるその場所の照明の点滅、等により(携帯端末への)着信を知らせるものであってもよい。また、例えばテレビジョン装置がある場合であって、テレビジョン装置が番組やコンテンツを再生している場合には、(携帯端末への)着信を知らせるメッセージを表示してもよい。
【0124】
なお、携帯端末の近傍に位置する非携帯型の通信装置11において着信対象者以外の誰もその近傍に居ないことを検出した場合(Se4−NO)や、携帯端末の近傍に非携帯型の通信装置が無い場合(Se3−NO)は、図15に示した接続先への接続が維持される。
【0125】
図17が示すように、非携帯型の通信装置に着信対象者(携帯端末所有者)向けの着信があった場合(Sf1)、サーバ50が保持する図15に示した着信・接続先判断テーブルにアクセスして接続先を判断する(Sf2)。
【0126】
続いて、接続先が携帯端末である場合(Sf3−YES)、携帯端末を保持した着信対象者の近傍に位置する非携帯型の通信装置により、着信対象者(携帯端末保持者)以外の誰かが居るか否かを判定する(Sf4)。
【0127】
携帯端末の近傍に着信対象者以外の誰かが居ることが検出できた場合(Sf4−YES)、非携帯型の通信装置から着信対象者の携帯端末に着信があることを報知する(Sf5)。なお、着信があることの報知は、図16により説明したと同様に、例えば非携帯型の通信装置のスピーカーからの音声出力であってもよいし、例えば非携帯型の通信装置の制御によるその場所の照明の点滅、等により(携帯端末への)着信を知らせるものであってもよい。また、例えばテレビジョン装置がある場合であって、テレビジョン装置が番組やコンテンツを再生している場合には、(携帯端末への)着信を知らせるメッセージを表示してもよい。
【0128】
図9は、他の実施形態の通信デバイスあるいは携帯端末27を示している。この通信デバイス又は携帯端末27は、相手からの映像データを受信し、またこちらから映像データを送信する対話アプリケーションを所有している。そのために、少なくともディスプレイ27a、カメラ27bおよびスピーカー27cを備える。
【0129】
通信デバイスがこのような機能を備えることにより、話者と相手とは、手話などで対話することが可能となる。
【0130】
図10は、報知デバイス28の一例を示している。例えば、図9に示したような通信デバイスを使用する使用者が、騒音のある環境の中で働く場合、着信に気づかない場合がある。そこで、この報知デバイス28は、通信デバイスあるいは携帯端末27に着信があった場合、連動して動作し、(振動子による)振動、(発光部による)ライトフラッシュ、或は(温度上昇機構による)熱、或はこれらの組み合わせにより、利用者に着信を知らせることができる。
【0131】
図11は、上述した電子装置及び方法を、デパート(大規模商業施設)あるいは工場、等で利用する場合の概念図を示している。
【0132】
図11が示す電子装置及び方法においては、通信デバイス11A,11B,11C,11Dが、ピンポイントで、任意のフロアF3,F4,F5あるいはF6に位置する任意の携帯端末(もしくはインターフォンもしくは主として閉じた域内で利用されるIP電話)271a乃至271k、271n、271m、のいずれかを指定して、外部と接続することができる。
【0133】
このために全館に放送される館内放送でなく、特定のエリアを指定して音声や特定規則で構成された信号、等を提供することができる。デパートでは、従業員への連絡、各店の特有のBGMを流すことができる。工場では、エリアごとに独立して従業員に作業指示などのメッセージを送ることができる。
【0134】
なお、図11が示す例は、例えば駅やショッピングモール、地下街、等においても適用可能であることはいうまでもない。また、特定の携帯端末を検出するために、個々のフロアの通信デバイス11(A,B,・・・,)のカメラが特定した映像あるいは音声から、館内放送すべきフロアやフロア内の特定のブロックを検出することができる。なお、通信は、上述した館内放送のように、一方向の通信であってもよい。
【0135】
ところで、図11が示すように、例えば大規模商業施設(デパート)や工場、あるいは倉庫、等のように、任意数のフロアや複数のブロック(区画)を含む場合においては、話したい相手が携帯端末を身につけていて、かつその近傍に通信デバイスが存在することが認識されている(通信ルートが確立されている)場合であっても、対象の携帯端末に着信した通信を(その近傍の)通信デバイスに接続しないことが好ましい。すなわち、対象の携帯端末に着信した通信をその近傍の通信デバイスに接続したとしても、対象の携帯端末を保持した人物の周囲に騒音がある場合、等においては、通信デバイスを介するハンズフリーの通話が困難であることは、想像に難くない。
【0136】
従い、図15が示す着信・接続先判断テーブル、及び図16が示すフローに基づいて、例えば携帯端末に着信した通信については、対象者が保持する携帯端末に接続する。同様に、図15が示す着信・接続先判断テーブル、及び図17が示すフローに基づいて、例えば通信デバイスに着信した一斉放送や、呼び出し、等についても、対象者が保持する携帯端末に接続すればよい。
【0137】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0138】
11A,11B,11C…通信デバイス、12…息子(子供(男))、13…娘(子供(女))、14…母親、15…祖父、16…父親、21,22,23,24…携帯端末、40…ルータ、50…サーバ、52…アクセスポイント、301…受信部、302…相手機器特定部、303…通信部、311,312,313…機器。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17