(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-16
(45)【発行日】2023-10-24
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20231017BHJP
H04M 1/00 20060101ALI20231017BHJP
【FI】
G06F3/01 560
H04M1/00 R
G06F3/01 510
(21)【出願番号】P 2020521035
(86)(22)【出願日】2019-02-26
(86)【国際出願番号】 JP2019007289
(87)【国際公開番号】W WO2019225100
(87)【国際公開日】2019-11-28
【審査請求日】2022-02-09
(31)【優先権主張番号】P 2018098746
(32)【優先日】2018-05-23
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】阪井 祐介
【審査官】滝谷 亮一
(56)【参考文献】
【文献】特開2015-192208(JP,A)
【文献】米国特許出願公開第2009/0128306(US,A1)
【文献】特開2012-060673(JP,A)
【文献】米国特許出願公開第2015/0220199(US,A1)
【文献】米国特許出願公開第2011/0169908(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
H04M 1/00
(57)【特許請求の範囲】
【請求項1】
他空間においてセンシングした振動情報および音声情報を取得し、
前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行う制御部を備え
、
前記知覚提示領域は、テーブルであり、
前記テーブルの天板には、音声出力部および振動提示部が設けられる、
情報処理装置。
【請求項2】
前記他空間は、通信先空間であり、
前記制御部は、前記通信先空間の振動情報および音声情報を、リアルタイムで前記知覚提示領域から出力する、請求項1に記載の情報処理装置。
【請求項3】
前記他空間は、過去空間であり、
前記制御部は、記憶された過去の振動情報および音声情報を、前記知覚提示領域から出力する、請求項1に記載の情報処理装置。
【請求項4】
前記振動情報および前記音声情報は、前記他空間に存在するテーブルの天板に設けられたセンサにより、当該天板で発生する前記知覚対象による実際の振動および物音を経時的にセンシングしたデータである、請求項
1に記載の情報処理装置。
【請求項5】
前記他空間に存在する前記テーブルの天板の形状と、前記空間に存在する前記テーブルの天板の形状は同様である、請求項
4に記載の情報処理装置。
【請求項6】
前記制御部は、
前記他空間に存在する前記テーブルの天板の形状と、前記空間に存在する前記テーブルの天板の形状に差がある場合、形状差に応じて、前記振動情報および前記音声情報を補正した上で出力するよう制御する、請求項
4に記載の情報処理装置。
【請求項7】
他空間においてセンシングした振動情報および音声情報を取得し、
前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行う制御部を備え、
前記知覚提示領域は、平面部と、当該平面部の両側に配置された柱部とから成る窓枠型ユニットであり、
前記平面部および柱部には、それぞれ、音声出力部および振動提示部が設けられる、
情報処理装置。
【請求項8】
前記柱部には、
内側の面に、第1の音声出力部が設けられ、
手前側の面に、第2の音声出力部が設けられる、請求項
7に記載の情報処理装置。
【請求項9】
前記知覚対象は、実物体、人間、または、自然現象である、請求項1に記載の情報処理装置。
【請求項10】
前記他空間は、通信先空間であり、
前記知覚提示領域は、テーブルであり、
前記制御部は、
前記通信先空間から取得した、前記他空間に存在する第1の知覚対象の存在を触覚および聴覚により知覚させるための前記振動情報および前記音声情報を、リアルタイムで前記テーブルの天板に設けられた音声出力部および振動提示部から出力する制御と、
前記空間に存在する前記テーブルの天板に設けられたセンサにより、当該天板で発生する第2の知覚対象による実際の振動および物音を経時的にセンシングしたデータを、前記通信先空間に送信する制御を行う、請求項
4に記載の情報処理装置。
【請求項11】
前記制御部は、
前記通信先空間から取得した前記振動情報および前記音声情報を、前記音声出力部および前記振動提示部から出力している際、前記センサによるセンシングを抑制する制御を行う、請求項
10に記載の情報処理装置。
【請求項12】
プロセッサが、
他空間においてセンシングした振動情報および音声情報を取得することと、
前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行うことと、
を含
み、
前記知覚提示領域は、テーブルであり、
前記テーブルの天板には、音声出力部および振動提示部が設けられる、
情報処理方法。
【請求項13】
プロセッサが、
他空間においてセンシングした振動情報および音声情報を取得することと、
前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行うことと、
を含み、
前記知覚提示領域は、平面部と、当該平面部の両側に配置された柱部とから成る窓枠型ユニットであり、
前記平面部および柱部には、それぞれ、音声出力部および振動提示部が設けられる、
情報処理方法。
【請求項14】
コンピュータを、
他空間においてセンシングした振動情報および音声情報を取得し、
前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行う制御部として機能させ
、
前記知覚提示領域は、テーブルであり、
前記テーブルの天板には、音声出力部および振動提示部が設けられる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
近年、映画や映像コンテンツと連動して、音声や振動を提示する手法がある。
【0003】
例えば下記特許文献1および特許文献2では、スクリーンやディスプレイ手前に設けられる椅子に関し、スクリーンやディスプレイの情景の臨場感をより高めるため、椅子を振動させる振動装置(体感音響装置用の椅子)の技術が開示されている。情景に応じて椅子が音響的に振動されることにより、観客は身体に振動を体感し、より強く臨場感を得ることができる。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第3066637号公報
【文献】特許第3484494号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述したような振動装置は、エンターテインメントを目的とした用途において、映像を主たる情報チャネルとしているものである。
【0006】
一方、従来、テレビ電話等、音声および映像を用いたコミュニケーションシステムが開示されているが、コミュニケーション相手や、通信接続先の空間の存在感や実在感といったものを、立体的、空間的に認知することは難しかった。
【0007】
また、上述した臨場感を与える振動装置を、テレビ電話等の双方向コミュニケーションに適用したとしても、画面に映る遠隔地の情景といった視覚的な情報に意識が集中しがちになり、よりリアルに、コミュニケーション相手の存在や気配、通信接続先の空間の様子といったことを、立体的、空間的に感じることは困難であった。
【0008】
そこで、本開示では、音声と振動を主たる情報チャネルとし、他空間の知覚対象について、よりリアリティのある実在感を提示することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【0009】
本開示によれば、他空間においてセンシングした振動情報および音声情報を取得し、前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行う制御部を備える、情報処理装置を提案する。
【0010】
本開示によれば、プロセッサが、他空間においてセンシングした振動情報および音声情報を取得することと、前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行うことと、を含む、情報処理方法を提案する。
【0011】
本開示によれば、コンピュータを、他空間においてセンシングした振動情報および音声情報を取得し、前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行う制御部として機能させるための、プログラムを提案する。
【発明の効果】
【0012】
以上説明したように本開示によれば、音声と振動を主たる情報チャネルとし、他空間の知覚対象について、よりリアリティのある実在感を提示することが可能となる。
【0013】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0014】
【
図1】本開示の一実施形態による情報処理システムの概要について説明する図である。
【
図2】本実施形態による情報処理システムの全体構成の一例を示す図である。
【
図3】本実施形態による情報処理装置の構成の一例を示すブロック図である。
【
図4】本実施形態による情報処理装置の各種センサおよびアクチュエータの配置構成の一例について説明する図である。
【
図5】本実施形態による情報処理装置の各種センサおよびアクチュエータの配置構成の一例について説明する図である。
【
図6】本実施形態による情報処理装置の各種センサおよびアクチュエータの配置構成の一例について説明する図である。
【
図7】本実施形態による情報処理装置の各種センサおよびアクチュエータの配置構成の一例について説明する図である。
【
図8】本実施形態による双方向コミュニケーション通信における出力制御処理の流れの一例を示すシーケンス図である。
【
図9】本実施形態による情報処理装置の他の構成例を示す図である。
【
図10】本実施形態によるユーザ位置に応じたつながり感調整について説明する図である。
【発明を実施するための形態】
【0015】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0016】
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.情報処理装置1の構成
2-1.内部構成
2-2.外観構成
3.動作処理
4.補足
4-1.リアルタイム感の提示
4-2.エコー、ハウリングの抑制
4-3.平面の周辺空間からの情報伝達
4-4.コンテンツMix
5.他の構成例
6.まとめ
【0017】
<<1.本開示の一実施形態による情報処理システムの概要>>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。
図1に示すように、本実施形態による情報処理システムは、例えばデスクやテーブルに、マイクロホン(以下、マイクと称す)、振動センサ、スピーカ、および振動提示部(振動アクチュエータ)を設けたコミュニケーション装置(情報処理装置1)を用いて、音声および振動を主な情報チャネルとした双方向コミュニケーションを実現する。
【0018】
マイク、振動センサ、スピーカ、および振動提示部は、それぞれ複数設けられていてもよい。
【0019】
例えば
図1に示すように、空間bにある情報処理装置1Bの天板に設けられた複数のセンサ(不図示)により、ユーザCがテーブルで食事を取っている際に発生する物音や振動を検知し(例えば水差し20をテーブルに置く動作)、その情報を、空間aにある情報処理装置1Aの天板に設けられた複数のスピーカや振動提示部から出力する。この際、情報処理装置1Aでは、物音や振動が、実際に情報処理装置1Bで発生した位置と同じ位置で再生されるようにする。
【0020】
空間aに居るユーザA、ユーザBは、聴覚と、テーブルの天板上に置いた手のひら等から得る触覚(天板の振動)により、離れた場所に居るユーザの動作(例えば水差し20をテーブルに置く動作)や、物体(例えば、水差し20)が、あたかも目の前に実際に存在しているかのような感覚(テレプレゼンス感)を得ることができる。ペンフィールドの脳地図からも明らかなように、人間の脳の感覚野では、指、手、手首、前腕、肘等のパートが大きな割合を示すため、本実施形態による相手ユーザやモノといった知覚対象の存在感をよりリアルに感じられる部位と言える。したがって本実施形態では、手の平や腕を乗せ易いテーブル天板状の装置を用いて、ユーザが手の平、手首、腕といった部位で触覚を得ることができることで、より効果的に、相手ユーザやモノの存在感を感じることができる。
【0021】
テーブル上で検知および再生される情報は、水差し20をテーブルに置く動作に限定されず、例えば、コップを置く音・振動、コップに水を入れる音・振動、ナイフやフォークを用いて食事をしている際の音・振動等、様々である。相手側テーブル(情報処理装置1B)におけるこれらの様々な音や振動が経時的に検知、伝送され、ユーザ側の対応するテーブル(情報処理装置1B)で再生される。
【0022】
かかる手法は、従来、視覚的な映像効果(例えば高解像度、高ダイナミックレンジ、色再現性、光線再現による立体表現等)に偏重しがちであったテレプレゼンス通信手法に対して、相対的に重視されてこなかった聴覚的な音声効果(3次元的な音源・音場再現、立体感の表現など)と、手のひら等を通じた触覚的な振動効果(平面上の振動分布の再現、解像感、過渡応答など)を組み合わせることで、より無意識的な、中央視野でなく周辺聴野的な感覚を通じて、相手ユーザや物体、空間の雰囲気のような感覚をリアルに感じることができる。
【0023】
すなわち、本実施形態では、振動と音で、目には見えない対象の、大きさ、重さ、材質(素材)、質感、形状、動き等(他空間の雰囲気、相手ユーザや物体の存在)を「認知」する、すなわち、その対象を頭に思い浮かべることができる。例えば、目の前のテーブルで鉛筆が転がる音と振動が発生すると、実際には鉛筆が目に見えていなくても、鉛筆が転がっている様子が頭に思い浮かんだり、また、水差しが置かれた重たい音や振動がすると、水がたっぷり入ったガラス勢の水差しがテーブルに置かれた様子が思い浮かんだりする。これらは、その人が今まで生きてきた中で聞いたことがある音など、脳に蓄積された情報が適宜呼び出され、その情景が思い浮かぶものと考えられる。このような「認知」は、あえて「映像」の情報チャネルを遮断することで効果的に生じ得る。「映像」がある場合、「映像」に集中して脳が緊張状態となり、自身の脳で情景を思い浮かべるといったことが低減し、遠隔地の空間の情景を画面を介して見ている、といった認識を意識的にしてしまう(臨場感が損なわれる)。一方、「映像」が無い場合、意識が一点に集中してしまうことが回避され、脳がリラックスした状態となり、より周辺視野的な感覚で、音と振動から情景を思い浮かべることができる。これらの音と振動は、ユーザの目の前の実際に存在するテーブルから発生するため、目には見えないがその対象が目の前に存在しているような、よりリアルな存在感を認知することが可能となる。
【0024】
図1に示す例の場合、例えばユーザAは、ユーザCが目の前に居て一緒に食事をしているような存在感、気配を感じることができる。また、ユーザBは、ユーザCが自分と重なって感じることができ、ユーザC目線での周囲の空気感を感じることが可能となる。
【0025】
なお、空間aの情報も、情報処理装置1Aによりセンシングして空間bの情報処理装置1Bで再生することで、双方向コミュニケーションが実現される。
【0026】
また、もちろん映像的な効果を組み合わせること(音源位置に物体や効果を表示するなど)も可能であるが、その効果が過度となることで上記のように人間が、“相手ユーザや物体、空間を感じやすい”状態を阻害する可能性があるため、その効果を最適にコントロールする制御が重要となる。人間の状態の検出には脳波や生体センシングを直接的に用いることも可能であるが、観測者問題も想定されるため、極力事前にそのような変化の兆しとなる挙動などを学習し、簡易な方法でパターン検出できるようにすることで、最適制御に活用できる。
【0027】
このように、本実施形態では、音声と振動を主たる情報チャネルとし、他空間の知覚対象について、よりリアリティのある実在感を提示することが可能となる。
【0028】
続いて、このような本実施形態による情報処理システムの全体構成について
図2を参照して説明する。
図2は、本実施形態による情報処理システムの全体構成の一例を示す図である。
【0029】
図2に示すように、本実施形態による情報処理システムは、情報処理装置1A、情報処理装置1B、および、サーバ2を含む。
【0030】
情報処理装置1(1A、1B)については、
図1を参照して概要を説明した通りである。
【0031】
サーバ2は、各情報処理装置1やユーザに関する情報を取得し得る。また、サーバ2は、情報処理装置1間でやり取りされたコミュニケーション内容(センシングデータ)を蓄積していてもよい。また、サーバ2は、情報処理装置1間の通信接続や切断を制御してもよいし、双方向コミュニケーションの制御を行ってもよい。
【0032】
なお、情報処理装置1Aと情報処理装置1Bが、ネットワーク3を介して直接データの送受信を行い、サーバ2の制御によらずに、双方向コミュニケーションを実現してもよい。
【0033】
以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムに含まれる情報処理装置1の具体的な構成について図面を参照して説明する。
【0034】
<<2.情報処理装置1の構成>>
<2-1.内部構成>
図3は、本実施形態による情報処理装置1の構成の一例を示すブロック図である。
図3に示すように、情報処理装置1は、制御部10、通信部11、入力部12、出力部13、および記憶部14を有する。
【0035】
制御部10は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置1内の動作全般を制御する。制御部10は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部10は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
【0036】
また、本実施形態による制御部10は、通信制御部101、出力制御部102、および、つながり感調整部103としても機能する。
【0037】
通信制御部101は、入力部12により取得したセンシングデータを、通信部から通信先装置に送信する制御や、通信先装置から送信されたセンシングデータを通信部から受信する等の通信制御を適宜行い、双方向コミュニケーションを実現し得る。
【0038】
出力制御部102は、通信先装置から送信されたセンシングデータを、出力部13から出力する制御を行う。コミュニケーション装置の形状(すなわち、
図1に示すテーブル天板の形状)は、通信相手側と同様であることが好ましいが、通信相手側と異なる場合、出力制御部102は、形状差に応じて上記センシングデータを適宜補正する。また、出力制御部102は、双方向コミュニケーション状態において、エコーキャンセル(抑制)や(振動)ハウリングキャンセル(抑制)のため、所定のフィルタを用いた信号処理を行い得る。
【0039】
つながり感調整部103は、ユーザ状態やユーザの明示的な指示等に応じて、通信相手とのつながり感を調整する制御を行う。「つながり感の調整」とは、相手ユーザの存在感、気配、物体、空間の雰囲気等を、より高臨場感で共有するか、低臨場感で共有するかの調整である。より高臨場感で共有したい場合、出力する情報(音・振動)の明瞭度や再現度を上げる。一方、低臨場感で共有したい場合、すなわち、あまり積極的なつながりではないが何となく相手側の様子が知りたい場合には、例えば会話の内容や細かな動作などは伝わらなくとも大まかに誰がいるのか、楽しそうなのかどうか(声のトーンや振動の柔らかさ)を伝えることができる程度に、出力する情報(音・振動)の明瞭度や再現度を下げる。このような出力情報の調整は、フィルタ制御や波形制御等により行い得る。
【0040】
(通信部11)
通信部11は、有線または無線によりネットワーク3と接続し、ネットワーク上のサーバ2や、他の情報処理装置1(通信先装置)等の外部装置と、データの送受信を行う。通信部11は、例えば有線/無線LAN(Local Area Network)、またはWi-Fi(登録商標)、Bluetooth(登録商標)、携帯通信網(LTE(Long Term Evolution)、3G(第3世代の移動体通信方式))等により外部装置と通信接続する。
【0041】
(入力部12)
入力部12は、情報処理装置1に対する入力情報を検出し、制御部10に出力する。入力部12は、振動センサ121およびマイク122を有する。振動センサ121は、例えばテーブルの天板に複数設けられ、天板上で発生する振動を検知する。マイク122は、例えばテーブルの天板に複数設けられ、天板上で発生する物音や動作音、ユーザの音声等を検知する。また、入力部12は、ユーザによる情報処理装置1に対する操作入力を検出してもよい。
【0042】
(出力部13)
出力部13は、情報処理装置1からユーザに対する出力情報を提示する。出力部13は、振動提示部131およびスピーカ132を有する。振動提示部131は、例えばテーブルの天板に複数設けられ、通信先のコミュニケーション装置の天板上で発生した振動を再現する。また、スピーカ132は、例えばテーブルの天板に複数設けられ、通信先のコミュニケーション装置の天板上で発生した物音、動作音、ユーザの音声等を再現する。
【0043】
(記憶部14)
記憶部14は、制御部10の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
【0044】
以上、本実施形態による情報処理装置1の構成について具体的に説明した。なお情報処理装置1の構成は、
図3に示す例に限定されない。例えば、情報処理装置1の少なくとも一部の構成が外部装置にあってもよいし、制御部10の各機能の少なくとも一部がサーバ2により実現されてもよい。
【0045】
<2-2.外観構成>
続いて、本実施形態による情報処理装置1の各種センサ(振動センサ121、マイク122)および振動提示部131やスピーカ132の配置構成について、
図4~
図7を参照して説明する。
【0046】
本実施形態による情報処理装置1は、
図1に示すように、一例として、デスクやテーブルといった形状のコミュ二ケーション装置により実現し、平面の天板に、各種センサおよびアクチュエータを配置している。各種センサおよび振動提示部131やスピーカ132の配置は、等間隔など、特定のパターンで配置することで、より効果的に、ユーザの動作や、物体、空間の検知および提示を可能とする。
【0047】
ここで、具体的な装置構成および配置パターンについていくつかの実施例を示す。なお、コミュニケーション通信に用いる双方のテーブル天板の形状は、同一形状であることでより再現性が高くできるため好ましいが、異なる形状同士であってもよい。異なる形状の場合、例えばユーザ周辺の身体的相関位置を合わせる等、出力情報の位置(音源位置、振動位置)を適宜補正することで、同等の効果を得ることが可能である。
【0048】
図4は、情報処理装置1の各種センサおよびアクチュエータの配置構成の一例について説明する図である。
図4に示すように、情報処理装置1の天板が正方形の場合において、天板表面の四隅にスピーカ132a~132d(例えばフルレンジスピーカ)を配置し、天板裏面には、4つの振動提示部131a~131dを均等に配置し、さらに4つの入力部12(振動センサ121およびマイク122)を中央に配置する。4つのスピーカ132および入力部12は、例えば
図4に示すように、天板裏面を十字に仕切って形成された4つの各マスにそれぞれ分配して配置され得る。なお天板の材質は、木材、メタル、ガラス等、特に限定はしない。
【0049】
天板の形状は正方形に限定されず、例えば
図5に示すような長方形であってもよい。この場合、情報処理装置1-1の天板表面において、2つのスピーカ132a、132bが、長手側の一辺の角に配置され、天板裏面において、2つの振動提示部131a、131bが、2つに仕切られたマスの各中央にそれぞれ配置されると共に、2つの入力部12a、12bが、仕切りの一端側に、仕切りを挟んで配置される。
【0050】
若しくは、例えば
図6に示すように、情報処理装置1-2の天板表面において、2つのスピーカ132a、132bが、対角の角に配置され、天板裏面において、2つの振動提示部131a、131bが、2つに仕切られたマスの各中央にそれぞれ配置されると共に、2つの入力部12a、12bが、仕切りの両端側に、それぞれ仕切りを挟んで反対側に配置されるようにしてもよい。
【0051】
さらに、
図7に示すように、センサやアクチュエータの数を増やして高密度化してもよい。
図7に示すように、例えば情報処理装置1-3の天板表面において、8つのスピーカ132a~132hが均等に並べられ、天板裏面において、8つの振動提示部131a~131hが、8つに仕切られたマスの各中央にそれぞれ配置されると共に、8つの入力部12a~12hが、各マスの角にそれぞれ配置されるようにしてもよい。
【0052】
以上いくつかの配置を例示したが、本実施形態による入力部12と振動提示部131、スピーカ132の配置はこれに限定されない。いずれにしても、入力部12によるINPUTと振動提示部131やスピーカ132によるOUTPUTの干渉(もれこみ)を極力低減しながらも、音声や振動の空間的分布を検知、提示できるバランスの良い配置が好ましい。なお、干渉の低減は、ハードウェア配置による対処の他、信号処理によるノイズ抑制や、複数素子間でのアレイ処理(マイクアレイ等)を組み合わせることで対処することも可能である。
【0053】
また、テーブル天板の形状は四角形に限定されず、三角形や五角形等の多角形であってもよいし、楕円や真円等の円形であってもよいし、その他曲線を含む形状であってもよいし、曲線と直線を含む形状であってもよい。
【0054】
<<3.動作処理>>
続いて、本実施形態による情報処理システムの動作処理について、
図8を用いて具体的に説明する。
図8は、本実施形態による双方向コミュニケーション通信における出力制御処理の流れの一例を示すシーケンス図である。
【0055】
図8に示すように、まず、一方の情報処理装置1から接続要求を行い、他方の情報処理装置1で接続要求が受諾されると、両装置間での通信接続が確立する(ステップS103~S106)。なお、通信接続の確率は、サーバ2を介して行うようにしてもよい。
【0056】
次に、各情報処理装置1は、それぞれ入力部12により音声や振動のセンシングを行い(ステップS109、S112)、センシングした音声情報および振動情報を、互いに送受信する(ステップS115)。
【0057】
次いで、各情報処理装置1は、テーブル面の形状差がある場合、形状差に応じて補正を行う(ステップS118、S121)。具体的には、情報処理装置1の出力制御部102は、通信相手の装置から受信したテーブル面の形状情報に基づいて形状差を算出し、音源位置および振動位置を補正(例えばユーザとの相関位置を調整)する。
【0058】
次に、各情報処理装置1の出力制御部102は、通信相手側の情報を出力部13から出力する制御を行う(ステップS124、S127)。これにより、通信相手側のテーブル面で発生している振動や音が再現され、ユーザは、よりリアルに、相手ユーザの存在感や物体の実在感を感じることが可能となる。
【0059】
次いで、各情報処理装置1は、ユーザの状態を認識し(ステップS130、S133)、ユーザ状態を互いに送受信する(ステップS136)。
【0060】
次に、各情報処理装置1のつながり感調整部103は、相手ユーザの状態に応じて、相手側とのつながり感を調整し、通信相手側の情報の出力を制御する(ステップS139、S142)。つながり感、すなわち臨場感の高低は、相手ユーザの状態に応じて調整されてもよい。例えば両方のユーザが椅子に座った場合には臨場感を高くし、相手ユーザがテーブルから離れている場合は、臨場感を低く、すなわち、つながり感を低くして、アンビエントな情報を提示するようにする。さらには、本実施形態による情報処理システムは、ユーザがコミュニケーション装置であるテーブルに近付いた場合に、所定の通信相手側に接続要求を行い、相手ユーザもテーブルに近付いた際に接続受諾として通信接続を確立するようにしてもよい。
【0061】
そして、一方の情報処理装置1から切断要求を行い、他方の情報処理装置1で切断要求が受諾されると、両装置間での通信接続が終了する(ステップS145~S148)。なお、かかる通信接続の切断も、ユーザ状態に応じたつながり感調整により自動的に行ってもよい。すなわち、一方のユーザがテーブルから離れた場合、切断要求を行い、相手ユーザもテーブルから離れた場合に、切断受諾として通信接続を終了するようにしてもよい。
【0062】
このように、本実施形態では、「つながり感調整」により接続状態を制御できる。従来のコミュニケーション装置においては、接続状態のON/OFF操作が必要である上に、一旦接続状態となると、ユーザの状態に関係無く、全ての情報が同一のクオリティで送出されてしまうことから、ユーザの不快感につながり、無意識的な常時接続状態が維持できない。これに対し、本実施形態では、ユーザ状態に応じたつながり感調整を行うことで、特にユーザが操作をしなくても、テーブルに近付いたり座るといった積極的な行動に応じて、好ましい再現度で相手側と通信接続が行われるため、安心して無意識的な常時接続状態を維持することができる。
【0063】
以上、本実施形態による動作処理の流れの一例を説明した。なお
図8に示す動作処理は一例であって、本開示は
図8に示す例に限定されない。例えば、本開示は、
図8に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよいし、スキップされてもよい。
【0064】
<<4.補足>>
<4-1.リアルタイム感の提示>
本実施形態による情報処理システムは、リアルタイムの双方向コミュニケーションに限定されず、一方の空間で過去に記憶された音と振動を他方の空間で再生(若しくは同じ空間の過去の記録を再生)することで、過去の人物とコミュニケーションが取れるようにする(知覚させる)ことも可能である。
【0065】
この際、情報処理装置1は、疑似的なインタラクション効果を付加することで、リアルタイムではないコミュニケーション(異なる時間に収録された音声・振動データ)においても、リアルタイム感を提示することが可能となる。例えば過去の記録に基づいて将棋のゲームを提示する場合に、次の将棋の駒を置くまでに「間」を設けたり、(リアルの)ユーザの動作に応じて、記録された音声・振動データの出力タイミングを制御するようにしてもよい。
【0066】
<4-2.エコー、ハウリングの抑制>
本実施形態による情報処理装置1では、リアルタイムでの双方向コミュニケーション通信の状態において、天板や装置構造を通じて、音声や振動情報が、マイク122とスピーカ132、振動センサ121と振動提示部131との間等で漏れこみ、増幅や共振することで、系が不安定になるため、装置内での機械的若しくは信号処理的なエコーキャンセル、共振キャンセルといったノイズ抑制処理を行うことで、高品質な通信を実現する。
【0067】
具体的な抑制処理としては、半二重的な適応スイッチ手法や、全二重的なノイズキャンセル手法、適応フィルタによるエコー除去など、一般的な音声処理手法を最適化して適用してもよい。また、システムが持つ共振周波数によって発生する特定周波数のレベルをノッチフィルタで抑制する手法もある。また、想定される双方向通信システムとその利用環境についてそれらがどのような特性を持っているかを推測し、それに対して高速に適応フィルタを最適化していく高速H-Infinityフィルタ技術もある。
【0068】
本実施形態による情報処理装置1では、空気を伝搬する振動が、振動センサ121にフィードバックして、ハウリングが発生し、特定の共振周波数のレベルが増幅され、騒音や異常振動が発生する場合がある。そこで、上述したような音声処理で利用されているエコーキャンセル手法を、振動センサ121と振動提示部131にも拡張し、音声のみでなく振動チャンネルにおいても適応フィルタ技術を用いて双方向高品質伝送を実現することが可能である。
【0069】
また、情報処理装置1は、通信先からのセンシングデータを出力部13から出力している際は(振動提示部131やスピーカ132がONの時)、入力部12によるセンシングを行わない(振動センサ121およびマイク122をOFF、若しくは検知レベルを抑制)よう制御することで(スイッチング制御)、より効果的に、エコーやハウリングキャンセルを行うことが可能となる。どちらを優先するかは、適宜判断し得る。例えば先に一定時間以上話したり物音を立てている方を優先するようにしてもよい。
【0070】
また、
図4~
図7で挙げたような特定のパターン配置によって、ノイズを抑制したり、パターン毎に最適な抑制処理を行うことも可能である。
【0071】
<4-3.平面の周辺空間からの情報伝達>
上述した実施形態では、テーブル天板といった平面上に、センサやアクチュエータを配置しているが、これらの配置によっては(例えば床や天井、階段等)、テーブル天板を含むより広い周辺空間の状態(例えば2階の足音等)を伝えることも可能である。
【0072】
これにより、従来の視覚や聴覚のみの通信機器では表現、伝達できなかった情報を相手に伝えることができ、ユーザは、より自然に場の雰囲気を感じることができるため、テーブルを介したコミュニケーションや遠隔での共同作業などにおいて、ユーザの心身のストレスなどの負荷を低減し、より自然で快適な、クリエイティブな成果につなげることができる。
【0073】
<4-4.コンテンツMix>
本実施形態による情報処理装置1は、情報提示の種類として、音声と振動を主に説明したが、本実施形態はこれに限定されず、風(暖かい風、冷たい風、強い風、弱い風)、香り、水(水滴、パラパラと吹き込んでくる雨、水蒸気等)といった環境情報の提示を行うことも可能である。
【0074】
本実施形態による双方向コミュニケーションでは、実際に存在している空間同士の情報をよりリアルに、現実に即して検出し提示するが、場合によっては、これらの空間とは全く異なる場所(例えばリゾートホテルのラウンジや、高山の頂上等)の状況や雰囲気を組み合わせて、実際の相手空間からのセンシングデータに、他の空間の環境情報を適度に組み合わせて(例えば、浜の風や波の音、森の中のすがすがしい雰囲気や空気、香り)その場のコミュニケーションをより豊かで快適なものにすることが可能となる。
【0075】
このような仮想的な情報の提示は、従来はVR(Virtual Reality)装置のように全てが仮想情報として提示されるか否かといった切替えしかできなかったが、本実施形態では、リアルタイムで実際に存在する情報に加えて、様々な環境(仮想環境を含む)の情報を任意のバランスで重畳することで、様々な感覚(雰囲気、状況)を提示することができる。
【0076】
<<5.他の構成例>>
本実施形態によるコミュニケーション装置(情報処理装置1)の構成は、デスクやテーブル等の天板(平面)を中心とした構成に限定されず、建築空間における間仕切りや、柱、窓辺の窓台、窓枠等領域に振動提示部131やスピーカ132を配置し、通信相手側または仮想的な環境音と、通信相手側のリアルタイムの室内の会話や物音等を提示することも可能である。以下、
図9を参照して具体的に説明する。
【0077】
図9は、本実施形態による情報処理装置の他の構成例を示す図である。
図9に示すように、情報処理装置110は、手を置ける程度の幅のある窓台部111(平面部)と、窓台部111の両側に配置された柱部112a、112bを含む窓枠型の構成を有する。窓台部111には振動提示部131が設けられ、上述した実施形態と同様に、窓台部111に置かれた手の平や腕等に対して振動を提示し、他空間の雰囲気や存在(物の振動、風の振動、車の振動等)を知覚させることが可能である。窓台部111には、さらにスピーカ132が設けられてもよい。窓台部111の振動提示部131やスピーカ132の配置構成は、
図4~
図7を参照して説明した構成であってもよい。
【0078】
柱部112a、112bには、振動提示部131およびスピーカ132が設けられ、音と振動の提示により、他空間の雰囲気や存在(物の振動、風の振動、車の振動、物音、風や鳥、木々等の自然の音、話し声等)を知覚させることが可能である。
【0079】
窓台部111および柱部112a、112bには、さらに入力部12も設けられ、双方向通信を可能とする。
【0080】
また、柱部112a、112bに設けられる振動提示部131およびスピーカ132の配置は特に限定しないが、例えば柱部112a、112bには、手前側に、平面波ラインアレイスピーカ132bを設け、内側面(柱部112a、112bが向かい合う面)には、上部と下部にスピーカ132a、132bを設ける。情報処理装置110は、高低差のあるスピーカ132a、132bを利用してそれぞれ適切な音声出力、例えば上部のスピーカ132aからは上空の環境音を出力し、下部のスピーカ132bからは室内の会話音や物音を出力するようにしてもよい。
【0081】
また、例えば柱部112a、112bには、複数の振動提示部131a、131bを設ける。柱部112a、112bの下方に設けられている振動提示部131bからの振動は床面に伝わり、ユーザは足からも振動を感じることができる。また、柱部112a、112bの上端が天井に接している際、上方の振動提示部131aによる振動は天井にも伝わり、より立体的に他空間の様子を感じさせることが可能となる。
【0082】
入力部12、振動提示部131、およびスピーカ132の配置は、基本的には特別な制約はなく、同一素子による幾何学的な配置、あるいは異なる素子による有機的・ランダム的な配置において、上述したような適応フィルタ等を用いた信号処理と組み合わせることによってエコー、ハウリングのキャンセルを実施し、所望の遠隔地同士における音声や振動の2次元/3次元的な分布を収録および提示(再生)することが可能である。
【0083】
また、配置に関し、窓台部111等の物体表面上や、空気中の任意の領域内における特定ゾーンを定義し、そのゾーンにおける各種振動を収録し、同時に提示(再生)するためのINPUT/OUTPUT素子をゾーン内若しくは周辺に設置し、それらで発生する伝送ループの中のエコー・ハウリングなどを抑制する信号処理や筐体設計の最適化を行ってもよい。
【0084】
このように、窓枠型の情報処理装置110は、音や振動の提示を、平面(2次元)だけではなく、垂直に建て付けられた柱部112を用いて立体的に(3次元)提示することが可能となり、よりリアルに、他空間の雰囲気や気配を感じさせることが可能となる。この場合も、上記実施形態と同様に、香りや風、水等、情報チャネルを増やして、臨場感をより高めることが可能である。
【0085】
また、窓枠型の情報処理装置110は、
図9に示すように、実際に窓の近くに配置してもよい。ユーザが窓に近付いて、窓台部111に手を置いて外を眺めたりしている際に、他の空間の雰囲気が、音、振動等により提示される。窓台部111の幅および奥行きは時に限定せず、例えば実際の窓に合わせた幅であってもよい。
【0086】
若しくは、柱部112だけを、部屋の間仕切り等のインテリアエレメントとして設置するようにしてもよい。
【0087】
以上の構成により、本実施形態では、立体的な音と振動の空間を形成し、他空間の雰囲気や存在感を、よりリアルに再現することが可能となる。
【0088】
(つながり感の調整)
本実施形態による情報処理装置110は、装置に対するユーザの相対的位置情報(距離や方位)や状態(寝ている、起きている、話し中、テレビを見ている等)に応じて、通信先とのつながり感を自動的に調整することが可能である。例えば情報処理装置110は、ユーザが装置から離れているときには、つながり感レベルの低い、アンビエントな情報を提示するよう制御し、ユーザが装置に徐々に接近し、窓台部111に手のひらを乗せたりした場合には、より高臨場感な情報提示にシフトしていくなどのインタラクティブな制御を行う。
【0089】
図10は、本実施形態によるユーザ位置に応じたつながり感調整について説明する図である。
図10に示すように、装置からの距離に応じてゾーンを設定し、提示する情報レベル(音、振動等)を段階的に制御することが可能である。
【0090】
例えば
図10に示すように、ゾーン3では、あいまいな雰囲気しか把握できないが(はっきり聞こえない音、弱い振動等)、情報処理装置110に近づいていき、ゾーン2、ゾーン1と至近ゾーンに入っていくと、通信先の空間の音声や振動情報がより明瞭に提示され、ユーザが体感するつながり感のレベルが上がる(すなわち高臨場感を感じられる)。
【0091】
なお、ユーザの状態センシングは、振動センサ121により歩く振動を検知して近付いたか否かを判断してもよいし、マイク122により足音やユーザの声により近付いたか否かを判断してもよい。または、赤外線による人感センサ等を設けて、ユーザの接近を検知してもよい。
【0092】
情報処理装置110は、つながり感の調整を、ユーザの状態センシング結果に基づいて動的に切り替えてもよいし、装置側で、実際に領域を限定した音声(指向性スピーカやエリア限定の波面合成スピーカ等)や振動の提示を行い、複数ユーザに対して同様のインタラクティブな効果を提示することもできる(すなわち、例えばゾーン3に居るユーザに対しては臨場感を低く提示し、ゾーン1に居るユーザに対しては臨場感を高く提示する)。
【0093】
また、上記ゾーン毎においては、相互に伝送信号が過度に干渉しないような分離処理を行ってもよい。例えば
図4のテーブル天板の裏面に設けた仕切り部材のような加工を加えることで、ゾーン間の情報の過度の干渉・混合を避けることが可能である。また、適度にゾーン間をつなぐ領域での音声や振動の分布を生成することで、ゾーン間の中間領域をユーザが触れた際に、どちら側から振動が来ているか(物体が存在するのか)、或いはどれぐらいの範囲にわたって振動が広がっているかといった感覚をユーザに提示することができる。
【0094】
本実施形態では、建築構造に固定若しくは一体化した装置形状を活用して3次元的な情報提示が可能である。従来の双方向コミュニケーションシステムでは、スマートフォンやウェアラブル端末等、基本的に独立した筐体が手持ちや身体に装着された状態で情報が提示されていたため、周辺環境や雰囲気をまとめて収録することや、再生することが困難であった。本実施形態では、テーブル型、窓枠型、柱型といった建築構造的要素を有し、基本的には情報提示場所が固定されているため、より自然かつ安定して周辺空間の収録と再生を行うことができる。
【0095】
<<6.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、音声と振動を主たる情報チャネルとし、他空間の知覚対象について、よりリアリティのある実在感を提示することが可能となる。
【0096】
また、本実施形態では、音声および振動を主たる情報チャネルとして、特にデスクやテーブル状の装置の天板(平面)に対して手のひらを置く形態を用いることで、より繊細に、リアリティのある実在感を提示することができる。
【0097】
また、本実施形態では、音声および振動チャンネルを2次元/3次元空間に配置した複数素子群を通じて収録(センシング)して、相手側へ伝送し、再生(提示)をするため、コミュニケーションを行うユーザは、よりリアルな、立体的、空間的に相手ユーザや空間の存在感、実在感を感じることができる。
【0098】
なお、上述した実施形態では、振動を提示する知覚提示領域として、テーブル天板といった物理的な領域を挙げたが、本開示はこれに限定されず、風や水を放出することで触覚を与える領域(非接触領域)も、知覚提示領域(より具体的には、力触覚領域)に含まれ得る。
【0099】
また、上述した実施形態では、テーブル天板に複数の振動提示部131を設けて、異なる振動位置で提示することを可能としているが、本実施形態はこれに限定されず、1つの振動提示部131(振動素子)であってもよい。例えば天板のつなぎ目を変化させることで、1つの振動素子であっても複数個所での振動や、異なる振動を提示することが可能である。
【0100】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0101】
例えば、上述した情報処理装置1、またはサーバ2に内蔵されるCPU、ROM、およびRAM等のハードウェアに、情報処理装置1、またはサーバ2の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【0102】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0103】
なお、本技術は以下のような構成も取ることができる。
(1)
他空間においてセンシングした振動情報および音声情報を取得し、
前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行う制御部を備える、情報処理装置。
(2)
前記他空間は、通信先空間であり、
前記制御部は、前記通信先空間の振動情報および音声情報を、リアルタイムで前記知覚提示領域から出力する、前記(1)に記載の情報処理装置。
(3)
前記他空間は、過去空間であり、
前記制御部は、記憶された過去の振動情報および音声情報を、前記知覚提示領域から出力する、前記(1)に記載の情報処理装置。
(4)
前記知覚提示領域は、テーブルであり、
前記テーブルの天板には、音声出力部および振動提示部が設けられる、前記(1)~(3)のいずれか1項に記載の情報処理装置。
(5)
前記振動情報および前記音声情報は、前記他空間に存在するテーブルの天板に設けられたセンサにより、当該天板で発生する前記知覚対象による実際の振動および物音を経時的にセンシングしたデータである、前記(4)に記載の情報処理装置。
(6)
前記他空間に存在する前記テーブルの天板の形状と、前記空間に存在する前記テーブルの天板の形状は同様である、前記(5)に記載の情報処理装置。
(7)
前記制御部は、
前記他空間に存在する前記テーブルの天板の形状と、前記空間に存在する前記テーブルの天板の形状に差がある場合、形状差に応じて、前記振動情報および前記音声情報を補正した上で出力するよう制御する、前記(5)に記載の情報処理装置。
(8)
前記知覚提示領域は、平面部と、当該平面部の両側に配置された柱部とから成る窓枠型ユニットであり、
前記平面部および柱部には、それぞれ、音声出力部および振動提示部が設けられる、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(9)
前記柱部には、
内側の面に、第1の音声出力部が設けられ、
手前側の面に、第2の音声出力部が設けられる、前記(8)に記載の情報処理装置。
(10)
前記知覚対象は、実物体、人間、または、自然現象である、前記(1)~(9)のいずれか1項に記載の情報処理装置。
(11)
前記他空間は、通信先空間であり、
前記知覚提示領域は、テーブルであり、
前記制御部は、
前記通信先空間から取得した、前記他空間に存在する第1の知覚対象の存在を触覚および聴覚により知覚させるための前記振動情報および前記音声情報を、リアルタイムで前記テーブルの天板に設けられた音声出力部および振動提示部から出力する制御と、
前記空間に存在する前記テーブルの天板に設けられたセンサにより、当該天板で発生する第2の知覚対象による実際の振動および物音を経時的にセンシングしたデータを、前記通信先空間に送信する制御を行う、前記(5)~(7)のいずれか1項に記載の情報処理装置。
(12)
前記制御部は、
前記通信先空間から取得した前記振動情報および前記音声情報を、前記音声出力部および前記振動提示部から出力している際、前記センサによるセンシングを抑制する制御を行う、前記(11)に記載の情報処理装置。
(13)
プロセッサが、
他空間においてセンシングした振動情報および音声情報を取得することと、
前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行うことと、
を含む、情報処理方法。
(14)
コンピュータを、
他空間においてセンシングした振動情報および音声情報を取得し、
前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行う制御部として機能させるための、プログラム。
【符号の説明】
【0104】
1、110 情報処理装置
10 制御部
101 通信制御部
102 出力制御部
103 つながり感調整部
11 通信部
12 入力部
121 振動センサ
122 マイク
13 出力部
131 振動提示部
132 スピーカ
14 記憶部
111 窓台部
112 柱部