(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
H04N 7/14 20060101AFI20241126BHJP
【FI】
H04N7/14 110
(21)【出願番号】P 2021554884
(86)(22)【出願日】2020-10-23
(86)【国際出願番号】 JP2020039843
(87)【国際公開番号】W WO2021090702
(87)【国際公開日】2021-05-14
【審査請求日】2023-09-01
(31)【優先権主張番号】P 2019202081
(32)【優先日】2019-11-07
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】小池 龍正
【審査官】富樫 明
(56)【参考文献】
【文献】特開平08-251561(JP,A)
【文献】国際公開第2016/159163(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/14-7/15
(57)【特許請求の範囲】
【請求項1】
第1の撮影装置と第1の表示装置が設置された第1の空間と、第2の撮影装置と第2の表示装置が設置された第2の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、
前記第2の撮影装置の画角外の位置にいる第2のユーザを検出したとき、前記第2の撮影装置の画角外に前記第2のユーザがいることを、前記第1の空間にいる第1のユーザに通知するための処理を行う処理部を備える
情報処理装置。
【請求項2】
前記処理部は、前記第1の空間にいる第1のユーザのうち、特定の対象となる第1の特定ユーザに、前記
第2の空間で集音された音に含まれる、前記第2の撮影装置の画角外の気配音を通知するための処理を行う
請求項1に記載の情報処理装置。
【請求項3】
前記処理部は、
前記第2の空間で集音された音を、前記第1の空間に設置された第1の音出力装置にリアルタイムで出力させる出力制御部と、
前記第2の空間で集音された音のうち、前記第2の撮影装置の画角外の前記気配音を分析する分析部と
を有し、
前記出力制御部は、前記気配音の分析結果に基づいて、前記気配音を、前記第1の音出力装置にリアルタイムで出力させる
請求項2に記載の情報処理装置。
【請求項4】
前記処理部は、前記気配音の分析結果に基づいて、前記気配音の出力方法を選択する出力方法選択部をさらに有し、
前記出力制御部は、選択対象の出力方法を用いて、前記気配音を、前記第1の音出力装置に出力させる
請求項3に記載の情報処理装置。
【請求項5】
前記処理部は、前記第1の空間にいて、前記第2の撮影装置の画角外に注目する第1の注目ユーザの前記第2の撮影装置の画角外に対する注目度を解析する第1の注目度解析部をさらに有し、
前記出力方法選択部は、前記第1の注目ユーザの前記注目度に応じて、前記気配音の出力方法を選択する
請求項4に記載の情報処理装置。
【請求項6】
前記出力制御部は、前記第1の空間にいる第1のユーザのうち、前記第1の注目ユーザに対して前記気配音を出力させる
請求項5に記載の情報処理装置。
【請求項7】
前記第1の注目度解析部は、前記第1の注目ユーザが視線を向けている前記第2の撮影装置の画角外の位置、前記第1の注目ユーザが前記第2の撮影装置の画角外に視線を向けた時間の長さ、前記第1の注目ユーザの頭部の向き、および、前記第1の注目ユーザが発した音声に基づいて、前記第1の注目ユーザの前記注目度を解析する
請求項
5または6に記載の情報処理装置。
【請求項8】
前記出力方法選択部は、前記気配音の出力方法として、前記気配音の指向性を調整して出力する方法を選択し、
前記出力制御部は、前記第1の注目ユーザに向けて、指向性を調整した前記気配音を出力させる
請求項6に記載の情報処理装置。
【請求項9】
前記処理部は、前記第2の空間で、前記第2の撮影装置の画角外の位置にいる前記第2のユーザの前記第1の空間に対する注目度を解析する第2の注目度解析部をさらに有し、 前記出力制御部は、前記第1の空間に注目する第2の注目ユーザの前記注目度に応じて、前記気配音の出力方法を選択する
請求項4に記載の情報処理装置。
【請求項10】
前記出力制御部は、前記第1の空間にいる第1のユーザのうち、前記第2の注目ユーザによって注目された第1の被注目ユーザに対して前記気配音を出力させる
請求項9に記載の情報処理装置。
【請求項11】
前記第2の注目度解析部は、前記第2の注目ユーザが視線を向けている前記第1の空間の位置、前記第2の注目ユーザが前記第1の被注目ユーザに視線を向けた時間の長さ、前記第2の注目ユーザが前記第1の被注目ユーザに視線を向けた回数、および、前記第2の注目ユーザの頭部の向きに基づいて、前記第2の注目ユーザの前記注目度を解析する
請求項10に記載の情報処理装置。
【請求項12】
前記出力方法選択部は、前記気配音の出力方法として、前記気配音の指向性を調整して出力する方法を選択し、
前記出力制御部は、前記第1の被注目ユーザに向けて、指向性を調整した前記気配音を出力させる
請求項10に記載の情報処理装置。
【請求項13】
前記出力制御部は、前記第2の注目ユーザの周囲の音を気配音として前記第1の音出力装置に出力させる
請求項
9から12のいずれかに記載の情報処理装置。
【請求項14】
前記出力制御部は、前記第2の注目ユーザの前記注目度に応じて、前記第1の空間に設置された発光体を発光させる
請求項9に記載の情報処理装置。
【請求項15】
前記出力制御部は、前記第2の注目ユーザの前記注目度に応じて、前記第1の空間にいる第1のユーザのうち、前記第2の注目ユーザによって注目された第1の被注目ユーザが所持する機器を振動させる
請求項9に記載の情報処理装置。
【請求項16】
前記処理部は、
前記第2の空間で集音された音を、前記第1の空間に設置された第1の音出力装置にリアルタイムで出力させる出力制御部と、
前記第2の空間にいる第2のユーザが行った行動の秘匿度を取得する秘匿度取得部と を有し、
前記出力制御部は、前記秘匿度に応じて、前記第1の空間にいる前記第1のユーザに対して秘匿音を出力させる
請求項1に記載の情報処理装置。
【請求項17】
前記処理部は、
前記第2の空間で集音された音を、前記第1の空間に設置された第1の音出力装置にリアルタイムで出力させる出力制御部と、
前記第1の空間にいる第1のユーザが行った行動の秘匿度を解析する秘匿度解析部と を有し、
前記出力制御部は、前記第2の空間で、前記第2の撮影装置の画角外に前記第2のユーザがいるとき、前記秘匿度に応じて、前記第1の空間にいる前記第1のユーザに対して気配音を出力させる
請求項1に記載の情報処理装置。
【請求項18】
前記第1の空間に設置された前記第1の撮影装置と前記第1の表示装置、または前記第2の空間に設置された前記第2の撮影装置と前記第2の表示装置と一体となって構成され、他方の空間に設置される情報処理装置とネットワークを介して相互に接続される
請求項
1から17のいずれかに記載の情報処理装置。
【請求項19】
情報処理装置が、
第1の撮影装置と第1の表示装置が設置された第1の空間と、第2の撮影装置と第2の表示装置が設置された第2の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、
前記第2の撮影装置の画角外の位置にいる第2のユーザを検出したとき、前記第2の撮影装置の画角外に前記第2のユーザがいることを、前記第1の空間にいる第1のユーザに通知するための処理を行う
情報処理方法。
【請求項20】
コンピュータに、
第1の撮影装置と第1の表示装置が設置された第1の空間と、第2の撮影装置と第2の表示装置が設置された第2の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、
前記第2の撮影装置の画角外の位置にいる第2のユーザを検出したとき、前記第2の撮影装置の画角外に前記第2のユーザがいることを、前記第1の空間にいる第1のユーザに通知するための処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、遠隔地の映像を見ているユーザに対して、映像の画角外にいる人の存在をより適切な形で気づかせることができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
従来、ビデオコミュニケーションシステムを使用して、遠隔地にいるユーザどうしがお互いに顔を見ながら会話し、より親密なコミュニケーションを図ることが可能となっている。
【0003】
例えば特許文献1には、遠隔地に居るユーザどうしが、実際に対面しているかのように臨場感のあるコミュニケーションをとることができる映像表示システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、上述したような映像表示システムにおいて、遠隔地の様子をディスプレイ越しに見ているユーザが、遠隔地の映像の撮影に用いられているカメラの画角外にいる人に気づかない場合がある。
【0006】
特に、遠隔地の様子を見ているユーザが複数いる場合、画角外を気にする一部のユーザにだけ、画角外に人がいることを気づかせるようにすることが好ましい。
【0007】
本技術はこのような状況に鑑みてなされたものであり、遠隔地の映像を見ているユーザに対して、映像の画角外にいる人の存在をより適切な形で気づかせることができるようにするものである。
【課題を解決するための手段】
【0008】
本技術の一側面の情報処理装置は、第1の撮影装置と第1の表示装置が設置された第1の空間と、第2の撮影装置と第2の表示装置が設置された第2の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、前前記第2の撮影装置の画角外の位置にいる第2のユーザを検出したとき、前記第2の撮影装置の画角外に前記第2のユーザがいることを、前記第1の空間にいる第1のユーザに通知するための処理を行う処理部を備える情報処理装置である。
【0009】
本技術の一側面の情報処理方法は、情報処理装置が、第1の撮影装置と第1の表示装置が設置された第1の空間と、第2の撮影装置と第2の表示装置が設置された第2の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、前記第2の撮影装置の画角外の位置にいる第2のユーザを検出したとき、前記第2の撮影装置の画角外に前記第2のユーザがいることを、前記第1の空間にいる第1のユーザに通知するための処理を行う情報処理方法である。
【0010】
本技術の一側面のプログラムは、コンピュータに、第1の撮影装置と第1の表示装置が設置された第1の空間と、第2の撮影装置と第2の表示装置が設置された第2の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、前記第2の撮影装置の画角外の位置にいる第2のユーザを検出したとき、前記第2の撮影装置の画角外に前記第2のユーザがいることを、前記第1の空間にいる第1のユーザに通知するための処理を実行させるためのプログラムである。
【0011】
本技術の一側面においては、第1の撮影装置と第1の表示装置が設置された第1の空間と、第2の撮影装置と第2の表示装置が設置された第2の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、前記第2の撮影装置の画角外の位置にいる第2のユーザを検出したとき、前記第2の撮影装置の画角外に前記第2のユーザがいることを、前記第1の空間にいる第1のユーザに通知するための処理が行われる。
【図面の簡単な説明】
【0012】
【
図1】本技術の一実施形態に係るビデオコミュニケーションシステムの構成例を示す図である。
【
図2】テレコミュニケーション装置の外観の構成例を示す正面図である。
【
図3】テレコミュニケーション装置が使用される状況の例を示す図である。
【
図4】テレコミュニケーション装置の第1の出力制御の概要を示す図である。
【
図5】ユーザの注目度とA地点側での出力方法の組み合わせの例を示す図である。
【
図6】テレコミュニケーション装置の第1の構成例を示すブロック図である。
【
図7】テレコミュニケーション装置の動作について説明するフローチャートである。
【
図8】テレコミュニケーション装置の第2の出力制御の概要を示す図である。
【
図9】テレコミュニケーション装置の第2の出力制御の概要を示す図である。
【
図10】B地点の状況とA地点側での出力方法の組み合わせの例を示す図である。
【
図11】テレコミュニケーション装置の第2の構成例を示すブロック図である。
【
図12】テレコミュニケーション装置の動作について説明するフローチャートである。
【
図13】テレコミュニケーション装置の第3の出力制御の概要を示す図である。
【
図14】テレコミュニケーション装置の第3の出力制御の概要を示す図である。
【
図15】テレコミュニケーション装置の第4の出力制御の概要を示す図である。
【
図16】テレコミュニケーション装置の第3の構成例を示すブロック図である。
【
図17】テレコミュニケーション装置の動作について説明するフローチャートである。
【
図18】テレコミュニケーション装置が行う他の出力制御の概要を示す図である。
【
図19】発光体が設けられたテレコミュニケーション装置の例を示す正面図である。
【
図20】光の強さと注目度の関係の例を示す図である。
【
図21】カメラとセンサの形態の例を模式的に示す図である。
【
図22】ビデオコミュニケーションシステムの他の構成例を示す図である。
【
図23】ビデオコミュニケーションシステムのさらに他の構成例を示す図である。
【
図24】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【0013】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.ビデオコミュニケーションシステムについて
2.第1の出力制御について
3.第2の出力制御について
4.第3の出力制御について
5.第4の出力制御について
6.変形例
【0014】
<1.ビデオコミュニケーションシステムについて>
図1は、本技術の一実施形態に係るビデオコミュニケーションシステムの構成例を示す図である。
【0015】
図1に示すように、ビデオコミュニケーションシステム1は、2台の情報処理装置としてのテレコミュニケーション装置11aとテレコミュニケーション装置11bが、インターネットなどのネットワーク12を介して接続されることによって構成される。
【0016】
テレコミュニケーション装置11aとテレコミュニケーション装置11bは、異なる建物、異なる部屋といったように、それぞれ異なる空間に設けられる。
図1に示す、テレコミュニケーション装置11aの近傍にいるユーザと、テレコミュニケーション装置11bの近傍にいるユーザは、お互いに遠隔地にいるユーザとなる。
【0017】
テレコミュニケーション装置11aとテレコミュニケーション装置11bは、基本的に同じ構成を有している。後に詳述するように、テレコミュニケーション装置11aとテレコミュニケーション装置11bには、それぞれ、大型のサイズのディスプレイの他に、周辺の様子を撮影するカメラ、環境音などの周辺の音を集音するマイクロフォン、音を出力するスピーカなどが設けられる。
【0018】
テレコミュニケーション装置11aとテレコミュニケーション装置11bの間では、それぞれのカメラにより撮影された映像、マイクロフォンにより集音された音などの送受信が、例えば、双方の接続が確立されている間、常時、リアルタイムで行われる。
【0019】
テレコミュニケーション装置11aは、テレコミュニケーション装置11bにより撮影された映像を表示するとともに、テレコミュニケーション装置11bにより集音された音を出力する。
【0020】
テレコミュニケーション装置11bにより撮影された映像には、テレコミュニケーション装置11bのユーザの姿を含む、テレコミュニケーション装置11bが設置されている空間の様子が映っている。また、テレコミュニケーション装置11bにより集音された音には、テレコミュニケーション装置11bのユーザの音声を含む、テレコミュニケーション装置11bが設置されている空間の環境音が含まれている。
【0021】
これにより、例えば、テレコミュニケーション装置11aのユーザは、自分の近くにあるテレコミュニケーション装置11aの向こう側に相対してテレコミュニケーション装置11bのユーザがいるように感じることができる。
【0022】
同様に、テレコミュニケーション装置11bは、テレコミュニケーション装置11aにより撮影された映像を表示するとともに、テレコミュニケーション装置11aにより集音された音を出力する。
【0023】
テレコミュニケーション装置11aにより撮影された映像には、テレコミュニケーション装置11aのユーザの姿を含む、テレコミュニケーション装置11aが設置されている空間の様子が映っている。また、テレコミュニケーション装置11aにより集音された音には、テレコミュニケーション装置11aのユーザの音声を含む、テレコミュニケーション装置11aが設置されている空間の環境音が含まれている。
【0024】
これにより、例えば、テレコミュニケーション装置11bのユーザは、自分の近くにあるテレコミュニケーション装置11bの向こう側に相対してテレコミュニケーション装置11aのユーザがいるように感じることができる。
【0025】
テレコミュニケーション装置11aのユーザは、あたかも隣接した空間にテレコミュニケーション装置11bのユーザがいるかのように、テレコミュニケーション装置11bのユーザと、自然体でコミュニケーションを図ることができる。
【0026】
同様に、テレコミュニケーション装置11bのユーザは、あたかも隣接した空間にテレコミュニケーション装置11aのユーザがいるかのように、テレコミュニケーション装置11aのユーザと、自然体でコミュニケーションを図ることができる。
【0027】
すなわち、テレコミュニケーション装置11aとテレコミュニケーション装置11bのユーザは、それぞれ、コミュニケーションを図ろうと積極的に意識することなく、お互いの存在を近く感じながら、より円滑にコミュニケーションを図ることができる。
【0028】
以下、適宜、テレコミュニケーション装置11aおよび11bを区別する必要がない場合、まとめてテレコミュニケーション装置11という。対になって設けられる他の構成についても同様にまとめて説明する。
【0029】
図2は、テレコミュニケーション装置11aの外観の構成例を示す正面図である。
【0030】
図2に示すように、テレコミュニケーション装置11aの筐体正面には、細幅のフレーム21を残して、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどにより構成される縦長長方形のディスプレイ22が設けられる。
【0031】
ディスプレイ22の前方には、例えばフレーム21に固定された指示部材(図示せず)を介してセンサユニット23が設けられる。センサユニット23には、カメラ24と、2つのセンサであるセンサ25-1,25-2が設けられる。
【0032】
また、フレーム21を構成する上下左右の縁部分のうちの上方の縁部分にはマイクロフォン26が設けられ、左右の縁部分にはそれぞれスピーカ27-1,27-2が設けられる。
【0033】
ディスプレイ22は、テレコミュニケーション装置11bから送信されてくる映像情報に基づいて、テレコミュニケーション装置11bにより撮影された撮影画像に応じた映像を表示する。
【0034】
カメラ24は、テレコミュニケーション装置11aの前方の空間を撮影する。カメラ24によって撮影された撮影画像に応じた映像を表す映像情報は、テレコミュニケーション装置11bに対して送信される。
【0035】
センサ25-1,25-2は、カメラ、赤外線センサなどの各種のセンサにより構成される。センサ25-1,25-2は、センサによる検出結果に基づいて環境情報を生成する。
【0036】
環境情報は、センサ25を構成するカメラによって撮影された撮影画像に応じた映像、赤外線センサによって取得された情報などを含む情報である。センサ25を構成するカメラによって撮影された撮影画像に応じた映像には、カメラ24の撮影画角外の範囲であるカメラ画角外の様子も映っている。
【0037】
カメラ画角外の情報を含む環境情報は、テレコミュニケーション装置11bに送信される。テレコミュニケーション装置11bにおいては、例えば、環境情報に基づいて、カメラ画角外から聞こえる音(カメラ画角外の位置を音源位置とする音)が分析される。
【0038】
マイクロフォン26は、テレコミュニケーション装置11aが設置されている空間の音を集音する。マイクロフォン26により集音された音を表す音情報は、テレコミュニケーション装置11bに送信される。
【0039】
スピーカ27-1,27-2は、テレコミュニケーション装置11bから送信されてくる音情報に基づいて、テレコミュニケーション装置11bが設置されている空間の音を出力する。
【0040】
なお、テレコミュニケーション装置11bは、
図2に示すテレコミュニケーション装置11aの構成と同じ構成を有している。以下、適宜、
図2に示すテレコミュニケーション装置11aの構成を、テレコミュニケーション装置11bの構成として流用して説明する。
【0041】
また、
図2において、カメラ24、センサ25-1,25-2、マイクロフォン26、およびスピーカ27-1,27-2の設置位置は一例であり、その機能を実現可能な位置であれば、他の位置に設置されても構わないし、その設置個数も任意である。
【0042】
図3は、テレコミュニケーション装置11が使用される状況の例を示す図である。
【0043】
図3に示すように、例えば、テレコミュニケーション装置11a,11bは、互いに離れた空間であるA地点とB地点にそれぞれ設置される。
図3の中央に示す波線は、テレコミュニケーション装置11aが設置されている空間とテレコミュニケーション装置11bが設置されている空間とが離れていることを表す。
【0044】
図3の例においては、A地点には、テレコミュニケーション装置11aの前方に、2人のユーザであるユーザA1,A2がいるものとされている。例えば、ユーザA1は、テレコミュニケーション装置11aに表示される映像を見て、B地点にいるユーザB1と会話をしているユーザである。ユーザA2は、ユーザA1の後方の位置から、テレコミュニケーション装置11aの方を見ているユーザである。
【0045】
一方、B地点には、テレコミュニケーション装置11bの前方に、2人のユーザであるユーザB1,B2がいるものとされている。例えば、ユーザB1は、テレコミュニケーション装置11bに表示される映像を見て、A地点にいるユーザA1と会話をしているユーザである。ユーザB2は、カメラ画角外で作業を行っているユーザである。
【0046】
B地点の範囲として破線で示す範囲#1は、テレコミュニケーション装置11b(に設置されたカメラ24)のカメラ画角の範囲である。破線で示す範囲#2,#3は、それぞれ、テレコミュニケーション装置11b(に設置されたカメラ24)のカメラ画角外の範囲である。
【0047】
このように、テレコミュニケーション装置11aとテレコミュニケーション装置11bは、周囲に複数のユーザがいる状況において使用されることがある。周囲にいるユーザの行動に応じて、テレコミュニケーション装置11aとテレコミュニケーション装置11bの出力が制御される。
【0048】
<2.第1の出力制御について>
・出力制御の概要
図4は、テレコミュニケーション装置11の第1の出力制御の概要を示す図である。
【0049】
図4の例においては、A地点のテレコミュニケーション装置11aの前方に、ユーザA2だけがいるものとされている。一方、B地点にはユーザB2だけがいるものとされている。ユーザB2は、カメラ画角外の範囲である範囲#3にいるユーザである。
【0050】
このとき、テレコミュニケーション装置11bのカメラ画角の範囲である範囲#1内に誰もいないから、テレコミュニケーション装置11aに表示される映像には誰も映らない。また、テレコミュニケーション装置11aの前方にいるユーザA2は、
図4の吹き出しに示すようにカメラ画角外に注目して、誰かいないかのぞき込むような行為をとることが想定される。
【0051】
このような状況において、テレコミュニケーション装置11aは、ユーザA2が注目行為を行ったことを検出した場合、ユーザA2に向けて、強調した気配音を出力する。気配音は、テレコミュニケーション装置11bのカメラ画角外にいる人の気配をユーザA2に感じさせるための、カメラ画角外から聞こえる音である。
【0052】
注目行為は、ユーザがカメラ画角外を気にする行為である。ユーザがカメラ画角外を気にする行為には、テレコミュニケーション装置11aのディスプレイ22の左右いずれかの端を注目する行為、カメラ画角外を気にするようにテレコミュニケーション装置11aをのぞき込む行為が含まれる。
【0053】
気配音の出力は、カメラ画角外に対するユーザA2の注目度の大きさに応じて制御される。テレコミュニケーション装置11aは、ユーザA2の注目行為に基づいて注目度の大きさを解析し、注目度の大きさに応じて、気配音の出力方法などを制御することになる。
【0054】
図5は、ユーザA2の注目度とA地点側での出力方法の組み合わせの例を示す図である。
【0055】
図5の例においては、ユーザA2の注目行為として、注目度の高い順に、B地点の映像を表示しているディスプレイ22の端を凝視する行為、B地点の様子をのぞきみる行為、「誰かいますか」などの発話によってB地点のカメラ画角外に人がいるか否かを確認する行為、および、B地点の方に顔を向ける行為が示されている。
【0056】
図5の表の1行目の項目の下段の2行目に示すように、ユーザA2が、B地点の映像を表示しているディスプレイ22の端を凝視する注目行為を行った場合、テレコミュニケーション装置11aは、スピーカ27-1,27-2の指向性を調整し、ユーザA2に向けて、強調した気配音を出力する。このとき、ユーザA2に向けるようにスピーカ27-1,27-2の指向性を調整するとともに、気配音の音量を上げる処理がテレコミュニケーション装置11aにより行われる。
【0057】
図5の表の3行目に示すように、ユーザA2が、B地点の様子をのぞきみる注目行為を行った場合、テレコミュニケーション装置11aは、スピーカ27-1,27-2の指向性を調整し、ユーザA2に向けて、気配音を出力する。このとき、ユーザA2に向けるようにスピーカ27-1,27-2の指向性を調整する処理がテレコミュニケーション装置11aにより行われる。
【0058】
図5の表の4行目に示すように、ユーザA2が、「誰かいますか」のような発話によって、B地点のカメラ画角外に人がいるか否かを確認する注目行為を行った場合、テレコミュニケーション装置11aは、ユーザA2の発話に対する応答の有無に応じた出力方法で気配音を出力する。
【0059】
例えば、ユーザB2が応答した場合、テレコミュニケーション装置11aは、通常のビデオコミュニケーションシステムにおける出力を行う。通常のビデオコミュニケーションシステムにおける出力として、例えば、カメラ画角外から聞こえる気配音ではなく、B地点において集音された環境音を出力する処理がテレコミュニケーション装置11aにより行われる。
【0060】
一方、ユーザB2による応答がない場合、テレコミュニケーション装置11aは、A地点の全体に向けて、強調した気配音を出力する。このとき、気配音の音量を上げる処理がテレコミュニケーション装置11aにより行われる。
【0061】
図5の表の5行目に示すように、ユーザA2が、テレコミュニケーション装置11aのディスプレイを見ることによって、B地点の方に顔を向ける注目行為を行った場合、テレコミュニケーション装置11aは、通常のビデオコミュニケーションシステムにおける出力を行う。
【0062】
このように、ユーザA2の注目行為の注目度が高いほど、カメラ画角外から聞こえる気配音が、より強調した形でユーザA2に向けて出力される。
【0063】
これにより、ユーザA2は、テレコミュニケーション装置11aから出力される気配音によって、接続先のテレコミュニケーション装置11b(に設置されたカメラ24)のカメラ画角外に人がいることに気づくことが可能となる。
【0064】
また、注目行為を行ったユーザA2に向けて気配音が出力されるため、テレコミュニケーション装置11aは、接続先のカメラ画角外を気にしているユーザA2に対してだけ、カメラ画角外にいる人の存在を気づかせることができる。
【0065】
例えば、
図3のユーザA1のように、接続先のカメラ画角外のことを気にすることなくユーザB1と会話を行っているユーザA1に対しては、気配音が出力されない。ユーザA1は、カメラ画角外にいる人のことを気にせずに、ユーザB1との会話を続けることができる。
【0066】
このように、カメラ画角外を気にしているユーザにだけ気配音が提示されるため、カメラ画角外にいる人の存在をより適切な形で気づかせることが可能となる。
【0067】
・テレコミュニケーション装置11の構成
図6は、テレコミュニケーション装置11の第1の構成例を示すブロック図である。
【0068】
図6に示すように、テレコミュニケーション装置11は、入力部31、処理部32、送信部33、受信部34、および出力部35から構成される。
【0069】
入力部31は、
図2のカメラ24等の撮影装置、センサ25-1,25-2等のセンシング装置、マイクロフォン26等の集音装置などにより構成される。例えば、入力部31は、カメラ24により撮影された撮影画像に応じた空間の映像情報、センサ25-1,25-2により生成された環境情報、およびマイクロフォン26により集音された環境音の音情報を処理部32に供給する。
【0070】
カメラ画角外の音を集音するマイクロフォン、カメラ24により撮影される被写体までの距離を測定するデプスセンサなどがセンサ25-1,25-2として入力部31に含まれるようにしてもよい。この場合、環境情報には、マイクロフォンやデプスセンサによる検出結果も含められる。
【0071】
処理部32は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などにより構成される。処理部32は、所定のプログラムを実行することによって、テレコミュニケーション装置11の全体の動作を制御する。
【0072】
図6に示すように、処理部32は、注目度解析部41、環境情報分析部42、気配音出力方法選択部43、および気配音制御部44により構成される。
【0073】
注目度解析部41は、入力部31から供給された映像情報、環境情報、および環境音の音情報を送信部33に供給する。
【0074】
また、注目度解析部41は、入力部31から供給された映像情報、環境情報、および環境音の音情報に基づいて、テレコミュニケーション装置11の前方にいるユーザの、接続先のカメラ画角外に対する注目度を解析する。
【0075】
注目度解析部41は、例えば、テレコミュニケーション装置11の前方にいるユーザが凝視している位置、ディスプレイ22に視線を向けている時間の長さ、発した音声、および、ユーザの頭部の向きに基づいて、ユーザの注目度の大きさを解析する。接続先のカメラ画角外に対する注目度の解析の方法として各種の方法を用いることができる。
【0076】
注目度解析部41によって解析されたユーザの注目度を表す情報である注目度情報は、気配音出力方法選択部43に供給される。
【0077】
環境情報分析部42は、受信部34から供給された接続先の映像情報と環境音の音情報とを出力部35に供給する。
【0078】
また、環境情報分析部42は、受信部34から供給された接続先の環境情報に基づいて、接続先の環境音に含まれる、カメラ画角外から聞こえる音とカメラ画角内から聞こえる音とを分析する。カメラ画角外から聞こえる音が、ユーザに適宜提示する気配音として用いられる。
【0079】
なお、カメラ画角外から聞こえる音とカメラ画角内から聞こえる音とを分析する環境情報分析部42においては、接続先のカメラ画角外に存在するユーザの検出も行われる。
【0080】
具体的には、環境情報分析部42は、接続先のカメラ画角外の様子が映っている映像を用いたボーン推定を行うことによって、カメラ画角外に存在するユーザの検出を行う。ボーン推定は、撮影画像を用いて人の骨格を推定する技術である。また、接続先のカメラ画角外の様子が映っている映像を用いた背景差分の検出と顔認識を行うことによって、カメラ画角外に存在するユーザの検出が行われるようにしてもよい。
【0081】
なお、カメラ画角外に存在するユーザの検出に用いられる、接続先のカメラ画角外の様子が映っている映像は、接続先の環境情報に含まれる情報である。
【0082】
環境情報分析部42による分析の結果を表す情報は、接続先の環境音の音情報とともに気配音出力方法選択部43に供給される。
【0083】
気配音出力方法選択部43は、環境情報分析部42から供給された情報と、注目度解析部41から供給された注目度情報とに基づいて、気配音を出力する方法を選択する。例えば、気配音出力方法選択部43は、気配音を出力するスピーカ27-1,27-2の指向性や気配音の音量の大きさを選択する。
【0084】
接続先の環境音の音情報、環境情報分析部42による分析の結果を表す情報、および、気配音の出力方法を表す情報は、気配音制御部44に供給される。
【0085】
気配音制御部44は、気配音出力方法選択部43から供給された情報に基づいて、接続先の環境音の音情報を加工することによって、気配音の音情報を生成する。例えば、気配音制御部44は、接続先のカメラ画角外から聞こえる気配音の音情報を、接続先の環境音の音情報から抽出することによって、気配音の音情報を生成する。
【0086】
気配音制御部44は、気配音の音情報を出力部35に供給し、気配音出力方法選択部43により選択された出力方法で気配音を出力させる。
【0087】
送信部33は、処理部32から供給された映像情報、環境情報、および環境音の音情報を、接続先のテレコミュニケーション装置11にネットワーク12を介して送信する。
【0088】
受信部34は、接続先のテレコミュニケーション装置11からネットワーク12を介して送信されてくる接続先の映像情報、環境情報、および環境音の音情報を受信し、環境情報分析部42に供給する。
【0089】
送信部33と受信部34は、無線LAN(Local Area Network)やセルラー方式の通信(例えばLTE-Advancedや5G等)などの無線通信または有線通信に対応した通信モジュールなどから構成される。
【0090】
出力部35は、例えば、
図2のディスプレイ22等の表示装置、スピーカ27-1,27-2等の音出力装置などにより構成される。出力部35に対しては、接続先の映像情報と環境音の音情報が環境情報分析部42から供給される。また、出力部35に対しては、気配音の音情報が気配音制御部44から供給される。
【0091】
出力部35は、接続先の映像情報に基づいて、接続先のテレコミュニケーション装置11が設置された空間の映像をディスプレイ22に表示させる。また、出力部35は、接続先の環境音の音情報に基づいて、接続先のテレコミュニケーション装置11が設置された空間の環境音をスピーカ27-1,27-2から出力する。さらに、出力部35は、気配音制御部44による制御に従って、スピーカ27-1,27-2から気配音を出力する。
【0092】
なお、
図6に示したテレコミュニケーション装置11の構成は一例であって、他の構成を用いても構わない。例えば、半導体メモリやHDD(Hard Disk Drive)などから構成される補助記憶装置としての記憶部などを設けても構わない。出力部35において、ディスプレイ22の代わりに、プロジェクタ等の表示装置を用いたり、スピーカ27-1,27-2の代わりに、有線または無線で接続されるイヤフォン等の音出力装置を用いたりしてもよい。
【0093】
また、気配音制御部44は、気配音に限らず、他の手法を用いて、ユーザに対して通知を行うようにしてもよい。すなわち、気配音(音)のほか、LED(Light Emitting Diode)等の発光体を発光させたり、ディスプレイ22にGUI(Graphical User Interface)を表示させたり、あるいは、ユーザが所持する機器と無線通信を行って当該機器を振動させたりするなどの手法を用いることができる。また、複数の手法を組み合わせてもよい。このように、気配音制御部44は、いわば出力制御部として、各種の出力機能を有する出力部35を制御し、ユーザに対する通知が行われるようにする。
【0094】
・テレコミュニケーション装置11の動作
ここで、
図7のフローチャートを参照して、以上のような構成を有するテレコミュニケーション装置11の動作について説明する。
【0095】
図7を参照して説明する処理は、例えば、接続先のテレコミュニケーション装置11からネットワーク12を介して、映像情報と環境音の音情報とが送信されてきたときに開始される。
【0096】
なお、接続先のカメラ画角外に対するユーザの注目度を解析する注目度解析部41の処理は、
図7の処理と並行して適宜行われる。また、入力部31により取得された映像情報、環境情報、および環境音の音情報は、送信部33により、接続先のテレコミュニケーション装置11に対してネットワーク12を介して送信される。
【0097】
ステップS1において、受信部34は、接続先のテレコミュニケーション装置11から送信されてきた接続先の映像情報、環境情報、および環境音の音情報を受信する。
【0098】
ステップS2において、環境情報分析部42は、接続先の環境情報に基づいて、接続先の環境音に含まれる、カメラ画角内から聞こえる音とカメラ画角外から聞こえる音とを分析する。
【0099】
ステップS3において、気配音出力方法選択部43は、注目度解析部41により解析された注目度情報に応じて、気配音の出力方法を選択する。
【0100】
ステップS4において、気配音制御部44は、接続先の環境音の音情報を加工することによって気配音の音情報を生成する。上述したように、気配音の音情報の生成は、カメラ画角外を気にする注目行為を行っているユーザがいる場合に行われる処理である。
【0101】
ステップS5において、気配音制御部44は、接続先の環境音と映像とともに、気配音出力方法選択部43により選択された出力方法で、出力部35に気配音を出力させる。
【0102】
以上の処理により、テレコミュニケーション装置11は、接続先のカメラ画角外を気にしているユーザに対してだけ、接続先のカメラ画角外にいる人の存在を気づかせることが可能となる。
【0103】
テレコミュニケーション装置11のユーザは、接続先のカメラ画角外を注目する行為を行うことによって、接続先のカメラ画角外に人がいることを表す情報の通知を受け取ることが可能となる。
【0104】
<3.第2の出力制御について>
・出力制御の概要
図8、
図9は、テレコミュニケーション装置11の第2の出力制御の概要を示す図である。
【0105】
この例においては、接続先の映像を見ているユーザの注目度ではなく、接続先のカメラ画角外にいるユーザの注目度に応じて、気配音の出力が制御される。
【0106】
図8の例においては、
図4を参照して説明した場合と同様に、A地点のテレコミュニケーション装置11aの前方にユーザA2がいるものとされている。一方、B地点の範囲#3にユーザB2がいるものとされている。
図8の吹き出しに示すように、ユーザB2はA地点の映像に注目していない。
【0107】
このように、カメラ画角外にいるユーザであるユーザB2がA地点の映像に注目していない場合、テレコミュニケーション装置11aは、通常のビデオコミュニケーションシステムにおける出力を行う。
【0108】
一方、
図9の吹き出しに示すように、ユーザB2がA地点の映像に注目している場合、テレコミュニケーション装置11aは、ユーザB2が注目しているユーザA2に向けて、強調した気配音を出力する。
【0109】
図10は、B地点の状況とA地点側での出力方法の組み合わせの例を示す図である。
【0110】
図10の例においては、B地点の状況として、ユーザB2の注目度の高い順に、カメラ画角外にユーザB2が存在していて、ユーザB2の注目度が高い状況、カメラ画角外にユーザB2が存在していて、注目はしているが、ユーザB2の注目度が所定の注目度未満である状況、カメラ画角外にユーザB2が存在しているが、注目していない状況、および、カメラ画角外にユーザB2が存在しない状況が示されている。
【0111】
図10の表の1行目の項目の下段の2行目に示すように、B地点の状況が、ユーザB2がカメラ画角外に存在していて、ユーザB2の注目度が高い状況である場合、テレコミュニケーション装置11aは、スピーカ27-1,27-2の指向性を調整し、ユーザA2に向けて、強調した気配音を出力する。
【0112】
テレコミュニケーション装置11aは、ユーザB2がテレコミュニケーション装置11bの近傍でユーザA2を凝視している場合、ユーザA2に対して所定の時間以上の間、視線を向けた場合、所定の回数以上の視線を向けた場合などにおいて、ユーザB2の注目度が高いと判断する。
【0113】
図10の表の3行目に示すように、B地点の状況が、ユーザB2がカメラ画角外に存在していて、ユーザA2に対して注目しているが、注目度が閾値未満である状況である場合、テレコミュニケーション装置11aは、スピーカ27-1,27-2の指向性を調整し、ユーザA2に向けて気配音を出力する。
【0114】
図10の表の4行目に示すように、B地点の状況が、ユーザB2がカメラ画角外に存在しているが、A地点の映像に注目していない状況である場合、テレコミュニケーション装置11aは、通常のビデオコミュニケーションシステムにおける出力を行う。
【0115】
図10の表の5行目に示すように、B地点の状況が、カメラ画角外にユーザが存在していない状況である場合、テレコミュニケーション装置11aは、通常のビデオコミュニケーションシステムにおける出力を行う。
【0116】
このように、ユーザB2の注目度が大きいほど、カメラ画角外から聞こえる気配音が、より強調した形でユーザA2に向けて出力される。
【0117】
これにより、ユーザA2は、テレコミュニケーション装置11aから出力される気配音によって、接続先のテレコミュニケーション装置11b(に設置されたカメラ24)のカメラ画角外に、ユーザA2自身に注目する人がいることに気づくことが可能となる。
【0118】
・テレコミュニケーション装置11の構成
図11は、テレコミュニケーション装置11の第2の構成例を示すブロック図である。
【0119】
図11において、
図6のテレコミュニケーション装置11の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。後述する
図16においても同様である。
【0120】
図11に示す処理部32の構成は、接続先注目度解析部51が環境情報分析部42の後段に設けられる点で、
図6を参照して説明した構成と異なる。
【0121】
接続先注目度解析部51に対しては、接続先の映像情報、環境情報、環境音の音情報、および、環境情報分析部42による分析の結果を表す情報が環境情報分析部42から供給される。
【0122】
接続先注目度解析部51は、環境情報分析部42から供給された接続先の映像情報と環境音の音情報を出力部35に供給する。
【0123】
また、接続先注目度解析部51は、環境情報分析部42から供給された接続先の環境情報に基づいて、接続先のカメラ画角外にいるユーザの注目度を解析する。
【0124】
接続先注目度解析部51は、例えば、接続先のユーザが凝視している位置、ディスプレイ22に視線を向けている時間の長さ、ディスプレイ22に視線を向けた回数、および、接続先のユーザの頭部の向きに基づいて、接続先のユーザの注目度の大きさを解析する。
【0125】
例えば、接続先のカメラ画角外にいるユーザの注目度の解析は、接続先の赤外線センサによって取得された情報に基づくアイトラッキングにより行われる。また、接続先のカメラ画角外の様子が映っている映像に基づいて、接続先のユーザの顔の向きを検出する方法により、接続先のカメラ画角外にいるユーザの注目度の解析が行われるようにしてもよい。
【0126】
なお、接続先のユーザの注目度の解析に用いられる、赤外線センサによって取得された情報や接続先のカメラ画角外の様子が映っている映像は、接続先の環境情報に含まれる情報である。
【0127】
接続先注目度解析部51によって解析された接続先のユーザの注目度を表す情報である、接続先ユーザの注目度情報は、接続先の環境音の音情報、および、環境情報分析部42による分析の結果を表す情報とともに気配音出力方法選択部43に供給される。
【0128】
気配音出力方法選択部43は、接続先注目度解析部51から供給された接続先ユーザの注目度情報に基づいて、気配音を出力する方法を選択する。例えば、接続先のユーザの注目度の閾値判定が行われ、判定結果に基づいて、気配音の出力方法が選択される。
【0129】
・テレコミュニケーション装置11の動作
ここで、
図12のフローチャートを参照して、
図11の構成を有するテレコミュニケーション装置11の動作について説明する。
【0130】
図12を参照して説明する処理も、例えば、接続先のテレコミュニケーション装置11からネットワーク12を介して、映像情報と環境音の音情報とが送信されてきた後に開始される。
【0131】
なお、接続先のカメラ画角外にいるユーザの注目度を解析する接続先注目度解析部51の処理は、
図12の処理と並行して適宜行われる。また、入力部31により取得された映像情報、環境情報、および環境音の音情報は、送信部33により、ネットワーク12を介して接続先のテレコミュニケーション装置11に対して送信される。
【0132】
ステップS51,S52の処理は、
図7のステップS1,S2の処理と同様である。すなわち、接続先の環境音に含まれる、カメラ画角内から聞こえる音とカメラ画角外から聞こえる音とが分析される。
【0133】
ステップS53において、気配音出力方法選択部43は、接続先注目度解析部51により解析された接続先ユーザの注目度情報に応じて、気配音の出力方法を選択する。
【0134】
ステップS54,S55の処理は、
図7のステップS4,S5の処理と同様である。すなわち、気配音の音情報が生成され、接続先の環境音と映像とともに、気配音が出力される。
【0135】
以上の処理により、テレコミュニケーション装置11は、接続先のカメラ画角外にいる人に注目されているユーザに対してだけ、画角外にいる人の存在を気づかせることが可能となる。
【0136】
<4.第3の出力制御について>
図13、
図14は、テレコミュニケーション装置11の第3の出力制御の概要を示す図である。
【0137】
この例においては、接続先のカメラ画角外にいるユーザの注目度に応じて、カメラ画角外にいるユーザの周辺の音である気配音の出力が制御される。
【0138】
図13の例においては、
図9を参照して説明した場合と同様に、A地点のテレコミュニケーション装置11aの前方にユーザA2がいるものとされている。一方、B地点の範囲#3にユーザB2がいるものとされている。
図13の吹き出しに示すように、ユーザB2はA地点の映像に注目している。
【0139】
このように、接続先のカメラ画角外にいるユーザであるユーザB2が接続先の映像に注目している場合、テレコミュニケーション装置11aは、ユーザB2が注目しているユーザA2に向けて、強調した気配音を出力する。この例においては、ユーザB2の周囲の範囲である範囲#11内から聞こえる音が気配音として出力される。
【0140】
なお、
図14に示すように、ユーザA2に対して注目しているユーザB2が範囲#1にいる場合においても、テレコミュニケーション装置11aは、範囲#11内から聞こえる音を気配音として出力する。
【0141】
なお、第3の出力制御において、テレコミュニケーション装置11の構成と処理の流れは、基本的に第2の出力制御と同様、すなわち、
図11に示した構成と
図12に示した処理の流れと同様であるため、その説明は省略する。
【0142】
以上のように、ユーザA2は、テレコミュニケーション装置11aから出力される気配音によって、ユーザA2自身に注目している人がカメラ画角外またはカメラ画角内にいることに気づくことが可能となる。
【0143】
<5.第4の出力制御について>
・出力制御の概要
図15は、テレコミュニケーション装置11の第4の出力制御の概要を示す図である。
【0144】
この例においては、テレコミュニケーション装置11aが設置された空間にいるユーザの動作の秘匿度に応じて、テレコミュニケーション装置11bにおける音の出力が制御される。
【0145】
図15の例においては、A地点のテレコミュニケーション装置11aの前方に、2人のユーザであるユーザA11,A12がいるものとされている。一方、B地点には、範囲#3にユーザB2だけがいるものとされている。
図15の吹き出しに示すように、ユーザA11,A12は、B地点のカメラ画角外にユーザB2がいることに気づいておらず、個人的な内容などの秘匿性の高い内容の会話を行っている。
【0146】
このような状況において、テレコミュニケーション装置11bは、A地点においてユーザA11,A12が行っている秘匿性の高い会話を検知した場合、ユーザA11,A12が行っている会話の秘匿度に基づいて、A地点において集音された秘匿音を、音質を劣化させるなどして加工して出力する。秘匿音は、環境音に含まれる音のうちの、秘匿にすべき会話などの音である。
【0147】
ユーザB2は、音質が劣化し、会話内容が聞き取りづらいような音声を聞くことになる。
【0148】
これにより、テレコミュニケーション装置11bは、接続先のテレコミュニケーション装置11aの近傍にいるユーザが行う秘匿性の高い会話の音声を、B地点にいるユーザに対して聞き取りづらい音質で出力することが可能となる。
【0149】
なお、
図15の例では、テレコミュニケーション装置11bがA地点においてユーザA11,A12が行っている秘匿性の高い会話を検知した場合を示したが、テレコミュニケーション装置11aが、B地点において複数のユーザが行っている秘匿性の高い会話を検知した場合も同様に処理することができる。
【0150】
・テレコミュニケーション装置11の構成
図16は、テレコミュニケーション装置11の第3の構成例を示すブロック図である。
【0151】
図16に示す処理部32の構成は、秘匿度解析部71、接続先秘匿度取得部72、秘匿音出力方法選択部73、および秘匿音制御部74が設けられる点で、
図6を参照して説明した構成と異なる。
【0152】
秘匿度解析部71に対しては、映像情報、環境情報、および環境音の音情報が入力部31から供給される。
【0153】
秘匿度解析部71は、入力部31から供給された環境情報と環境音の音情報に基づいて、テレコミュニケーション装置11が設置された空間にいるユーザの音声の秘匿度を解析する。
【0154】
秘匿度解析部71は、例えば、世間に知られていない内容の会話の音声や、他人を傷つけるような内容の会話の音声を秘匿度の高い音声として判断する。
【0155】
なお、秘匿度の高さの解析に、ニューラルネットワークやディープラーニングなどの手法を用いた機械学習により生成された学習モデルが用いられるようにしてもよい。
【0156】
秘匿度解析部71によって解析されたユーザの音声の秘匿度を表す情報である秘匿度情報は、入力部31から供給された映像情報、環境情報、および環境音の音情報とともに送信部33に供給される。
【0157】
送信部33は、秘匿度解析部71から供給された映像情報、環境情報、環境音の音情報、および秘匿度情報を、接続先のテレコミュニケーション装置11にネットワーク12を介して送信する。
【0158】
受信部34は、接続先のテレコミュニケーション装置11からネットワーク12を介して送信されてくる接続先の映像情報、環境情報、環境音の音情報、秘匿度情報を受信し、処理部32の環境情報分析部42に供給する。
【0159】
環境情報分析部42は、環境情報分析部42による分析の結果を表す情報を、接続先の映像情報、接続先の音情報、および接続先の秘匿度情報とともに、接続先秘匿度取得部72に供給する。
【0160】
接続先秘匿度取得部72は、環境情報分析部42から供給された接続先の映像情報、環境音の音情報を出力部35に供給する。
【0161】
また、接続先秘匿度取得部72は、環境情報分析部42から供給された接続先の秘匿度情報、環境音の音情報、および、環境情報分析部42による分析の結果を表す情報を秘匿音出力方法選択部73に供給する。
【0162】
秘匿音出力方法選択部73は、接続先秘匿度取得部72から供給された秘匿度情報と、環境情報分析部42による分析の結果を表す情報とに基づいて、秘匿音を出力する方法を選択する。例えば、秘匿音出力方法選択部73は、秘匿音を歪ませる方法や特定の周波数のみのレベルを持ち上げる方法を選択する。
【0163】
秘匿音の出力方法を表す情報は、接続先の環境音の音情報および秘匿度情報とともに秘匿音制御部74に供給される。
【0164】
秘匿音制御部74は、秘匿音出力方法選択部73から供給された接続先の秘匿度情報に基づいて、接続先の環境音の音情報を加工することによって、秘匿音の音情報を生成する。例えば、秘匿音制御部74は、秘匿度の高い会話の音声の音情報を接続先の環境音の音情報から抽出することによって、秘匿音の音情報を生成する。
【0165】
また、秘匿音制御部74は、秘匿音出力方法選択部73から供給された秘匿音の出力方法を表す情報に基づいて、秘匿音を加工する。秘匿音制御部74は、加工された秘匿音の音情報を出力部35に供給し、加工された秘匿音を出力させる。
【0166】
・テレコミュニケーション装置11の動作
ここで、
図17のフローチャートを参照して、
図16の構成を有するテレコミュニケーション装置11の動作について説明する。
【0167】
図17を参照して説明する処理は、例えば、接続先のテレコミュニケーション装置11からネットワーク12を介して、映像情報、環境音の音情報、および秘匿度情報が送信されてきたときに開始される。
【0168】
なお、入力部31により取得された映像と環境音の音情報、および秘匿度情報は、送信部33によりネットワーク12を介して、接続先のテレコミュニケーション装置11に対して送信される。
【0169】
ステップS101において、受信部34は、接続先のテレコミュニケーション装置11から送信されてきた接続先の映像情報、秘匿度情報、および環境音の音情報を受信する。
【0170】
ステップS102において、環境情報分析部42と接続先秘匿度取得部72は、接続先の環境音の音情報を、秘匿度情報、および、環境情報分析部42による分析の結果を表す情報とともに秘匿音出力方法選択部73に供給する。
【0171】
ステップS103において、秘匿音出力方法選択部73は、接続先の秘匿度情報に基づいて、秘匿音の出力方法を選択する。
【0172】
ステップS104において、秘匿音制御部74は、接続先の秘匿度情報に基づいて、接続先の環境音の音情報を加工することによって、秘匿音を生成する。秘匿音制御部74は、秘匿音の出力方法を表す情報に基づいて、秘匿音を加工する。上述したように、秘匿音の生成と秘匿音の加工は、秘匿性の高い会話を行っているユーザがいる場合に行われる処理である。
【0173】
ステップS105において、秘匿音制御部74は、接続先の環境音と映像とともに、出力部35に、加工された秘匿音を出力させる。
【0174】
以上の処理により、秘匿性の高い会話の音声が、接続先のテレコミュニケーション装置11のカメラ画角外にいるユーザに提示されるのを防ぐことが可能となる。
【0175】
なお、接続先のカメラ画角外にいるユーザの周囲の気配音が、秘匿性の高い行動を行っているユーザに向けて出力されるようにして、接続先のカメラ画角外にいるユーザの存在を気づかせるようにしてもよい。
【0176】
図18は、テレコミュニケーション装置11が行う他の出力制御の概要を示す図である。
【0177】
図18の例においては、A地点のテレコミュニケーション装置11aの前方にユーザA11がいるものとされている。一方、B地点の範囲#3にユーザB2だけがいるものとされている。ユーザA11は、カメラ画角外にいるユーザB2に気づかずに、個人的な行動などの秘匿性の高い行動を行っているユーザである。
【0178】
ユーザA11が秘匿性の高い行動を行っていることを検出した場合、テレコミュニケーション装置11aは、ユーザA11に向けて、強調した気配音を出力する。接続先のカメラ画角外の気配音の出力は、A地点にいるユーザA11が行う行動の秘匿性の高さに応じて制御される。なお、気配音に限らず、他の手法を用いてユーザA11に対して通知が行われても構わない。
【0179】
秘匿性の高い行動を行っているユーザA11に向けて気配音が出力されるため、テレコミュニケーション装置11は、ユーザA11に対してだけ、カメラ画角外にいる人の存在を気づかせることができる。
【0180】
例えば、接続先のカメラ画角外に人がいることに気づいたユーザA11は、秘匿性の高い行動をやめることができる。
【0181】
このように、秘匿性の高い行動を行っているユーザにだけ気配音を提示することにより、カメラ画角外にいる人の存在をより適切な形で気づかせることが可能となる。
【0182】
<6.変形例>
・発光体について
テレコミュニケーション装置11に設けられた発光体の発光によって、接続先のカメラ画角外にいる人の存在が提示されるようにしてもよい。
【0183】
図19は、発光体が設けられたテレコミュニケーション装置11aの例を示す正面図である。
【0184】
例えば、テレコミュニケーション装置11aのディスプレイ22の上下左右の縁部分に発光体が設けられる。
【0185】
テレコミュニケーション装置11bのカメラ画角外にユーザB2がいる場合、
図19に示すように、テレコミュニケーション装置11aのディスプレイ22には、ユーザB2の映像が映らない。
図19において、テレコミュニケーション装置11aの右隣りにユーザB2を破線で示していることは、B地点において、ユーザB2がカメラ画角外にいることを表す。
【0186】
この場合、テレコミュニケーション装置11aは、ユーザB2がいる方向の縁部分の発光体である、右側の縁部分に設けられた発光体を発光させる。
図19において、ディスプレイ22の右端の色が塗られている部分は、発光体が発光していることを表す。
【0187】
カメラ画角外にいる人の存在を提示する発光は、テレコミュニケーション装置11aの周囲にユーザが1人しかいない場合、または、テレコミュニケーション装置11aの周囲にいる複数人のユーザに対して、カメラ画角外の人の存在を同時に伝える場合に行われる。なお、発光体の光の強さは、A地点の映像に対するユーザB2の注目度を表すようにしてもよい。
【0188】
図20は、光の強さと注目度の関係の例を示す図である。
【0189】
図20においては、横軸がユーザB2の注目度を表し、縦軸が光の強さを表す。
【0190】
図20に示すように、テレコミュニケーション装置11aは、例えば、接続先のカメラ画角外にいるユーザB2の注目度が高いほど、強い光を発光させる。
【0191】
テレコミュニケーション装置11aのユーザは、発光体の光の強さによって、接続先のカメラ画角外にいるユーザの注目度合いを知ることが可能となる。
【0192】
なお、テレコミュニケーション装置11aのユーザが所持するスマートフォンなどの携帯端末が振動することによって、接続先のカメラ画角外にいるユーザの注目度合が通知されるようにしてもよい。この場合、テレコミュニケーション装置11aの気配音制御部44は、接続先のカメラ画角外にいるユーザB2の注目度に応じて、テレコミュニケーション装置11aのユーザが所持する携帯端末を制御して振動させる。
【0193】
・カメラ24とセンサ25について
以上においては、カメラ24とセンサ25がセンサユニット23に設けられるものとしたが、カメラ24とセンサ25が他の形態で設けられるようにしてもよい。
【0194】
図21は、カメラ24とセンサ25の形態の例を模式的に示す図である。
【0195】
図21のAに示すように、カメラ24とセンサ25を別々に設けることが可能である。
図21のAの例においては、フレーム21の左右の端に、カメラとして構成されるセンサ25-1,25-2がそれぞれ設けられている。
【0196】
カメラ24の画角の範囲である範囲#51の映像が、接続先のテレコミュニケーション装置11のディスプレイ22に表示される。また、範囲#52-1,#52-2の映像が、ディスプレイ表示画角外(カメラ24の画角外)の様子の検出に用いられる。
【0197】
範囲#52-1,#52-2は、範囲#51と重複する範囲を除いたセンサ25-1,23-2のそれぞれの画角の範囲である。
【0198】
図21のBに示すように、カメラ24自体をセンサ25として用いることも可能である。例えば、カメラ24は、広角カメラにより構成され、テレコミュニケーション装置11の中央に設けられる。
【0199】
カメラ24の画角内の範囲のうちの一部の範囲を表す範囲#61の映像が、接続先のテレコミュニケーション装置11のディスプレイ22に表示される。また、範囲#62の映像が、ディスプレイ表示画角外の様子の検出に用いられる。
【0200】
範囲#62は、範囲#61を除いたカメラ24の画角の範囲である。
【0201】
図21のCに示すように、テレコミュニケーション装置11の外部にセンサ25を設けることも可能である。例えば、テレコミュニケーション装置11が設置された壁と異なる壁にセンサ25を構成するカメラが設けられる。
【0202】
図21のAと同様に、カメラ24の画角の範囲である範囲#51の映像が、接続先のテレコミュニケーション装置11のディスプレイ22に表示される。また、範囲#71の映像が、ディスプレイ表示画角外の様子の検出に用いられる。
【0203】
範囲#71は、範囲#51と重複する領域を除いたセンサ25の画角の範囲である。
【0204】
・システム構成について
図6などにおいて、処理部32がテレコミュニケーション装置11に設けられるものとしたが、処理部32の全部または一部の機能については、ネットワーク12に接続されたサーバにおいて実現されるようにしてもよい。
【0205】
図22は、ビデオコミュニケーションシステムの他の構成例を示す図である。
【0206】
図22に示すビデオコミュニケーションシステムは、テレコミュニケーション装置11a、テレコミュニケーション装置11b、サーバ101のそれぞれが、インターネットなどのネットワーク12を介して接続されることによって構成される。サーバ101には、
図6、
図11、または
図16を参照して説明した処理部32の全部または一部の構成が設けられる。
【0207】
このように、処理部32がテレコミュニケーション装置11の外部に設けられるようにしてもよい。
【0208】
例えば、テレコミュニケーション装置11からサーバ101に対しては、映像情報、環境情報、環境音の音情報などの各種の情報が送信される。
【0209】
例えば、サーバ101からテレコミュニケーション装置11に対しては、接続先の映像情報、環境情報、および環境音の音情報などの各種の情報が送信される。
【0210】
テレコミュニケーション装置11を制御するホームサーバが、テレコミュニケーション装置11に対して設けられるようにしてもよい。
【0211】
図23は、ビデオコミュニケーションシステムのさらに他の構成例を示す図である。
【0212】
図23に示すビデオコミュニケーションシステムは、テレコミュニケーション装置11aとテレコミュニケーション装置11bがネットワーク12を介して接続されることによって構成される。
【0213】
テレコミュニケーション装置11aは、入出力部111aとホームサーバ112aにより構成される。入出力部111aには、入力部31と出力部35の構成が設けられる。また、ホームサーバ112aには、処理部32、送信部33、受信部34の構成が設けられる。ホームサーバ112aは、テレコミュニケーション装置11bのホームサーバ112bとネットワーク12を介して接続される。
【0214】
同様に、テレコミュニケーション装置11bは、入出力部111bとホームサーバ112bにより構成される。入出力部111bには、入力部31と出力部35の構成が設けられる。また、ホームサーバ112bには、処理部32、送信部33、受信部34の構成が設けられる。ホームサーバ112bは、ホームサーバ112aとネットワーク12を介して接続される。
【0215】
このように、処理部32などの構成がディスプレイ22などを有する入出力部111の外部に設けられるようにしてもよい。
【0216】
なお、ホームサーバ112a,112bには、処理部32の一部の構成を設けて、処理部32の残りの一部が、入出力部111a,111bに設けられるようにしてもよい。
【0217】
以上のように、本技術では、テレコミュニケーション装置11aが設置されたA地点の空間と、テレコミュニケーション装置11bが設置されたB地点の空間との間で、一方の空間でカメラ24により撮影された撮影画像に応じた映像を、他方の空間でディスプレイ22によりリアルタイムで表示するに際して、B地点に設置されたカメラ24の画角外の位置にいるユーザを検出したとき、そのユーザがいることを、A地点にいるユーザに通知するための処理が行われる。
【0218】
これにより、A地点において、B地点の映像を見ているユーザに対して、B地点の映像の画角外にいる人の存在をより適切な形で気づかせることができる。
【0219】
特に、本技術では、A地点にいるユーザのうち、特定の対象となるユーザに、B地点に設置されたマイクロフォン26により集音された音に含まれる、B地点に設置されたカメラ24の画角外の気配音を通知するための処理が行われる。
【0220】
これにより、A地点において、B地点の様子を見ているユーザが複数いる場合に、カメラ画角外を気にする一部のユーザにだけ、カメラ画角外に人がいることを気づかせることができる。
【0221】
・コンピュータの例
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。また、プログラムは、単一のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【0222】
また、上述したテレコミュニケーション装置11などによる一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
【0223】
図24は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0224】
コンピュータにおいて、CPU201,ROM202,RAM203は、バス204により相互に接続されている。
【0225】
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、キーボード、マウス、マイクロフォンなどよりなる入力部206、ディスプレイ、スピーカなどよりなる出力部207、ハードディスクや不揮発性のメモリなどよりなる記憶部208、ネットワークインタフェースなどよりなる通信部209、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア211を駆動するドライブ210が接続されている。
【0226】
以上のように構成されるコンピュータでは、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205およびバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
【0227】
コンピュータ(CPU201)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア211に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【0228】
そして、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
【0229】
・その他
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0230】
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0231】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0232】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0233】
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
(1)
第1の撮影装置と第1の表示装置が設置された第1の空間と、第2の撮影装置と第2の表示装置が設置された第2の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、
前記第2の撮影装置の画角外の位置にいる第2のユーザを検出したとき、前記第2の撮影装置の画角外に前記第2のユーザがいることを、前記第1の空間にいる第1のユーザに通知するための処理を行う処理部を備える
情報処理装置。
(2)
前記第1の空間にいる第1のユーザのうち、特定の対象となる第1の特定ユーザに、前記2の空間で集音された音に含まれる、前記第2の撮影装置の画角外の気配音を通知するための処理を行う
前記(1)に記載の情報処理装置。
(3)
前記処理部は、
前記第2の空間で集音された音を、前記第1の空間に設置された第1の音出力装置にリアルタイムで出力させる出力制御部と、
前記第2の空間で集音された音のうち、前記第2の撮影装置の画角外の前記気配音を分析する分析部と
を有し、
前記出力制御部は、前記気配音の分析結果に基づいて、前記気配音を、前記第1の音出力装置にリアルタイムで出力させる
前記(2)に記載の情報処理装置。
(4)
前記処理部は、前記気配音の分析結果に基づいて、前記気配音の出力方法を選択する出力方法選択部をさらに有し、
前記出力制御部は、選択対象の出力方法を用いて、前記気配音を、前記第1の音出力装置に出力させる
前記(3)に記載の情報処理装置。
(5)
前記処理部は、前記第1の空間にいて、前記第2の撮影装置の画角外に注目する第1の注目ユーザの前記第2の撮影装置の画角外に対する注目度を解析する第1の注目度解析部をさらに有し、
前記出力方法選択部は、前記第1の注目ユーザの前記注目度に応じて、前記気配音の出力方法を選択する
前記(4)に記載の情報処理装置。
(6)
前記出力制御部は、前記第1の空間にいる第1のユーザのうち、前記第1の注目ユーザに対して前記気配音を出力させる
前記(5)に記載の情報処理装置。
(7)
前記第1の注目度解析部は、前記第1の注目ユーザが視線を向けている前記第2の撮影装置の画角外の位置、前記第1の注目ユーザが前記第2の撮影装置の画角外に視線を向けた時間の長さ、前記第1の注目ユーザの頭部の向き、および、前記第1の注目ユーザが発した音声に基づいて、前記第1の注目ユーザの前記注目度を解析する
前記(5)または(6)に記載の情報処理装置。
(8)
前記出力方法選択部は、前記気配音の出力方法として、前記気配音の指向性を調整して出力する方法を選択し、
前記出力制御部は、前記第1の注目ユーザに向けて、指向性を調整した前記気配音を出力させる
前記(6)に記載の情報処理装置。
(9)
前記処理部は、前記第2の空間で、前記第2の撮影装置の画角外の位置にいる前記第2のユーザの前記第1の空間に対する注目度を解析する第2の注目度解析部をさらに有し、
前記出力制御部は、前記第1の空間に注目する第2の注目ユーザの前記注目度に応じて、前記気配音の出力方法を選択する
前記(4)に記載の情報処理装置。
(10)
前記出力制御部は、前記第1の空間にいる第1のユーザのうち、前記第2の注目ユーザによって注目された第1の被注目ユーザに対して前記気配音を出力させる
前記(9)に記載の情報処理装置。
(11)
前記第2の注目度解析部は、前記第2の注目ユーザが視線を向けている前記第1の空間の位置、前記第2の注目ユーザが前記第1の被注目ユーザに視線を向けた時間の長さ、前記第2の注目ユーザが前記第1の被注目ユーザに視線を向けた回数、および、前記第2の注目ユーザの頭部の向きに基づいて、前記第2の注目ユーザの前記注目度を解析する
前記(10)に記載の情報処理装置。
(12)
前記出力方法選択部は、前記気配音の出力方法として、前記気配音の指向性を調整して出力する方法を選択し、
前記出力制御部は、前記第1の被注目ユーザに向けて、指向性を調整した前記気配音を出力させる
前記(10)に記載の情報処理装置。
(13)
前記出力制御部は、前記第2の注目ユーザの周囲の音を気配音として前記第1の音出力装置に出力させる
前記(9)乃至(12)のいずれかに記載の情報処理装置。
(14)
前記出力制御部は、前記第2の注目ユーザの前記注目度に応じて、前記第1の空間に設置された発光体を発光させる
前記(9)に記載の情報処理装置。
(15)
前記出力制御部は、前記第2の注目ユーザの前記注目度に応じて、前記第1の空間にいる第1のユーザのうち、前記第2の注目ユーザによって注目された第1の被注目ユーザが所持する機器を振動させる
前記(9)に記載の情報処理装置。
(16)
前記処理部は、
前記第2の空間で集音された音を、前記第1の空間に設置された第1の音出力装置にリアルタイムで出力させる出力制御部と、
前記第2の空間にいる第2のユーザが行った行動の秘匿度を取得する秘匿度取得部と を有し、
前記出力制御部は、前記秘匿度に応じて、前記第1の空間にいる前記第1のユーザに対して秘匿音を出力させる
前記(1)に記載の情報処理装置。
(17)
前記処理部は、
前記第2の空間で集音された音を、前記第1の空間に設置された第1の音出力装置にリアルタイムで出力させる出力制御部と、
前記第1の空間にいる第1のユーザが行った行動の秘匿度を解析する秘匿度解析部と
を有し、
前記出力制御部は、前記第2の空間で、前記第2の撮影装置の画角外に前記第2のユーザがいるとき、前記秘匿度に応じて、前記第1の空間にいる前記第1のユーザに対して気配音を出力させる
前記(1)に記載の情報処理装置。
(18)
前記第1の空間に設置された前記第1の撮影装置と前記第1の表示装置、または前記第2の空間に設置された前記第2の撮影装置と前記第2の表示装置と一体となって構成され、他方の空間に設置される情報処理装置とネットワークを介して相互に接続される
前記(1)乃至(17)のいずれかに記載の情報処理装置。
(19)
情報処理装置が、
第1の撮影装置と第1の表示装置が設置された第1の空間と、第2の撮影装置と第2の表示装置が設置された第2の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、
前記第2の空間で集音された音から前記第2の撮影装置の画角外の音を検出したとき、前記画角外の音を、前記第1の空間にいる第1のユーザに通知するための処理を行う
情報処理方法。
(20)
コンピュータに、
第1の撮影装置と第1の表示装置が設置された第1の空間と、第2の撮影装置と第2の表示装置が設置された第2の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、
前記第2の空間で集音された音から前記第2の撮影装置の画角外の音を検出したとき、前記画角外の音を、前記第1の空間にいる第1のユーザに通知するための処理を実行させるためのプログラム。
【符号の説明】
【0234】
1 ビデオコミュニケーションシステム, 11 テレコミュニケーション装置, 21 フレーム, 22 ディスプレイ, 23 センサユニット, 24 カメラ, 25-1,25-2 センサ, 26 マイクロフォン, 27-1,27-2 スピーカ, 31 入力部, 32 処理部, 33 送信部, 34 受信部, 35 出力部, 41 注目度解析部, 42 環境情報分析部, 43 気配音出力方法選択部, 44 気配音制御部, 51 接続先注目度解析部, 71 秘匿度解析部, 72 接続先秘匿度取得部, 73 秘匿音出力方法選択部, 74 秘匿音制御部, 101 サーバ, 111a,111b ホームサーバ, 112a,112b 入出力部