特許第6156934号(P6156934)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

▶ 日本電信電話株式会社の特許一覧
<>
  • 特許6156934-空間合成システム 図000002
  • 特許6156934-空間合成システム 図000003
  • 特許6156934-空間合成システム 図000004
  • 特許6156934-空間合成システム 図000005
  • 特許6156934-空間合成システム 図000006
  • 特許6156934-空間合成システム 図000007
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6156934
(24)【登録日】2017年6月16日
(45)【発行日】2017年7月5日
(54)【発明の名称】空間合成システム
(51)【国際特許分類】
   H04N 7/14 20060101AFI20170626BHJP
   H04N 7/15 20060101ALI20170626BHJP
【FI】
   H04N7/14 120
   H04N7/15 170
【請求項の数】3
【全頁数】10
(21)【出願番号】特願2014-29072(P2014-29072)
(22)【出願日】2014年2月19日
(65)【公開番号】特開2015-154430(P2015-154430A)
(43)【公開日】2015年8月24日
【審査請求日】2015年11月24日
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
【住所又は居所】東京都千代田区大手町一丁目5番1号
(73)【特許権者】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
【住所又は居所】大阪府吹田市山田丘1番1号
(74)【代理人】
【識別番号】100121706
【弁理士】
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【弁理士】
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【弁理士】
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】山下 直美
【住所又は居所】東京都千代田区大手町一丁目5番1号 日本電信電話株式会社内
(72)【発明者】
【氏名】中西 英之
【住所又は居所】大阪府吹田市山田丘1番1号 国立大学法人大阪大学内
(72)【発明者】
【氏名】田中 一晶
【住所又は居所】大阪府吹田市山田丘1番1号 国立大学法人大阪大学内
(72)【発明者】
【氏名】加藤 良治
【住所又は居所】大阪府吹田市山田丘1番1号 国立大学法人大阪大学内
【審査官】 後藤 嘉宏
(56)【参考文献】
【文献】 特開2004−56161(JP,A)
【文献】 特開2000−122767(JP,A)
【文献】 特開2006−221550(JP,A)
【文献】 上杉ほか,身体の映像表現と実体ツールとのインタラクションによる共存在的コミュニケーションシステム,ヒューマンインタフェース学会誌,ヒューマンインタフェース学会,2004年 8月25日,Vol.6 No.3,p.39−49
【文献】 熊谷ほか,ソファを介した「隣り合う」遠隔コミュニケーション,情情報処理学会 インタラクション2012 平成24年度[DVD−ROM],2012年 3月,p.965−969
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/14− 7/15
H04N 21/00−21/858
(57)【特許請求の範囲】
【請求項1】
複数の空間それぞれに少なくとも一人の人物と、上記複数の空間を繋ぐように設置された少なくとも一つの共有オブジェクトとが存在し、上記複数の空間それぞれに設置された空間合成装置を含む空間合成システムであって、
上記空間合成装置は、
上記人物と上記共有オブジェクトとが含まれる映像を取得する映像取得部と、
上記人物の身体動作を追跡した動作情報を取得する動作情報取得部と、
他の空間にいる人物を対話相手として、他の空間の空間合成装置が取得した映像から上記対話相手の映像を抽出し、上記対話相手の映像を上記映像取得部が取得した映像に合成して再生する映像再生部と、
上記対話相手の動作情報に基づいて上記共有オブジェクトを動作させて上記対話相手の身体動作を再現する動作再現部と、
を含む空間合成システム。
【請求項2】
請求項1に記載の空間合成システムであって、
上記空間合成装置は、
上記共有オブジェクトを複数の部分に分割し、上記人物が存在する部分から他の部分が視覚的に認識できないようにする遮蔽部をさらに含む
空間合成システム。
【請求項3】
請求項2に記載の空間合成システムであって、
上記共有オブジェクトは二人が着席可能な長椅子であり、上記長椅子の中央に設置された衝立により空間が視覚的に分断されており、上記人物は上記衝立により分割された二つの空間のうち一方の空間において上記長椅子に着席しており、
上記映像再生部は、上記対話相手が上記長椅子の他方の空間に着席しているように上記映像を合成するものであり、
上記動作再現部は、上記長椅子の少なくとも一つの脚を、上記対話相手の動作情報に基づいて振動させるものである
空間合成システム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、異なる空間にいる対話相手の存在感を同一空間内に再現する空間合成技術に関する。
【背景技術】
【0002】
遠隔地にいる対話者間で相互に映像を提示するビデオチャットでは、音声のみで会話する場合(例えば、電話やボイスチャット)よりも対話相手の存在を身近に感じることができる。ビデオチャットにおいて、対話相手の存在感をより強化する方法が多く研究されている。例えば、対話相手が目の前にいるかのように映像を提示する方法が挙げられる。具体的には、大型のディスプレイで相手の姿を等身大で提示する方法、アイコンタクトが成立するようにカメラとディスプレイの位置関係を決定する方法、などである。
【0003】
これに対して、対話相手の身体のみをクロマキー合成で切り抜き、ユーザの映像の隣に合成して提示する方法も提案されている(非特許文献1参照)。非特許文献1に記載の方法は、ユーザの目の前のディスプレイを鏡に見立て、あたかもユーザの隣に対話相手がいるかのように見せるものである。以下、非特許文献1に記載の方法を実装したシステムを、ミラーシステムと呼ぶ。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Osamu Morikawa, Takanori Maesako, “HyperMirror: Toward Pleasant-to-use Video Mediated Communication System”, CSCW '98, 149-158, 1998.
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の方法は、視覚的に対話相手の存在を感じさせる方法であるため、ユーザはその他の感覚で相手の存在を感じることはできない。
【0006】
この発明の目的は、ビデオチャットによるコミュニケーションにおいて、異なる空間にいる対話相手の存在感を同一空間内に再現することができる空間合成技術を提供することである。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、この発明の空間合成システムは、複数の空間それぞれに少なくとも一人の人物と共有オブジェクトとが存在し、複数の空間それぞれに設置された空間合成装置を含む。空間合成装置は、人物と共有オブジェクトとが含まれる映像を取得する映像取得部と、人物の動作を追跡した動作情報を取得する動作情報取得部と、他の空間にいる人物を対話相手として、他の空間の空間合成装置が取得した映像から対話相手の映像を抽出し、対話相手の映像を映像取得部が取得した映像に合成して再生する映像再生部と、対話相手の動作情報に基づいて共有オブジェクトを動作させて対話相手の動作を再現する動作再現部と、を含む。
【発明の効果】
【0008】
この発明によれば、異なる空間にいる対話相手の存在感を同一空間内に再現することができるため、対話相手の動作を把握することが容易になる。したがって、コミュニケーションを円滑にすることができる。
【図面の簡単な説明】
【0009】
図1図1は、空間合成システムの使用方法の例を説明するための図である。
図2図2は、空間合成システムの機能構成を例示する図である。
図3図3は、空間合成装置の機能構成を例示する図である。
図4図4は、共有オブジェクトの機能構成を例示する図である。
図5図5は、共有オブジェクトを長椅子とした例を説明するための図である。
図6図6は、空間合成システムの処理フローを例示する図である。
【発明を実施するための形態】
【0010】
この発明の空間合成技術では、ユーザの映像の隣に対話相手の身体を合成し、鏡のように映像を提示する非特許文献1に記載のミラーシステムにおいて、触覚や視覚、聴覚などの他の感覚を通じて対話相手の存在感を提示するシステムを追加する。対話相手の存在感を提示する機能を備えた物体(以下、共有オブジェクトと呼ぶ)は、ユーザと対話相手の合成映像の間に設置されており、対話相手の合成映像の動きに合わせて動作する。つまり、ユーザはこの共有オブジェクトの動作を通して対話相手の身体動作を感じることができる。従来のミラーシステムと比較し、対話相手の映像だけでなくその他の感覚を通じて対話相手が隣にいる感覚を再現できることが、この発明の革新的な点である。
【0011】
図1を参照して、この発明の空間合成システムの使用方法の例を説明する。ユーザ61の正面に大型のディスプレイ5とカメラ3を設置し、ディスプレイ5にカメラ3で撮影した映像を表示する。映像の位置と大きさは、ディスプレイ5の場所に設置した鏡に映る像と同じになるように調整されている。映像内のユーザ6’1の隣には、遠隔地の対話相手62の身体のみの映像6’2をクロマキー合成等の映像合成技術を用いて重ね合わせる。対話相手62の合成映像に対応する位置とユーザ61の位置との間には遮蔽部7を設置する。遮蔽部7で隔てられた二つの空間は、それぞれユーザ61側の空間81、対話相手62側の空間82を示している。空間81にいるユーザ61は遮蔽部7によって対話相手側の空間82を直接見ることはできない。
【0012】
二つの空間81、82を繋ぐように共有オブジェクト2を設置する。共有オブジェクト2はアクチュエータ等の駆動機構によって対話相手62の身体動作に合わせて動作するものである。ユーザ61は共有オブジェクト2を通して対話相手62の身体動作を触覚的に感じることができる。対話相手62の身体動作は、遠隔地に設置された対話相手62側の空間合成装置(図示せず)がモーショントラッキング技術やセンサ技術によって取得し、一般的な通信技術によって、対話相手62の映像6’2と共にユーザ61側の空間合成装置(図示せず)に伝達する。ユーザ61側の空間合成装置では、映像の合成と共有オブジェクト2の制御を行う。
【0013】
図1の例では、共有オブジェクト2は二人掛けの長椅子であり、長椅子の中央に遮蔽部7を設置することで、一方の端に座るユーザ61から他方の端を見ることができないようにしている。共有オブジェクト2の他の例は、一本の手すりである。手すりの中央に遮蔽部7を設置し、一方の端によりかかるユーザ61から他方の端が見えないようにしておき、対話相手62の身体動作に合わせて手すりに振動を与えるようにすることもできる。
【0014】
共有オブジェクト2は触覚のみならず、視覚や聴覚を通じて対話相手の存在感を提示するように構成することができる。例えば、共有オブジェクト2が長椅子であるとして、ユーザが長椅子の脇に立っている場合、もしくは、共有オブジェクト2が手すりであるとして、ユーザが手すりの前に立っている場合、長椅子の座面もしくは手すりを振動させることで、ユーザが共有オブジェクトに触れていなくとも、視覚もしくは聴覚を通じて対話相手の身体動作を感じることができる。
【0015】
図1の例では、遮蔽部7は不透明な素材で作成された衝立である。衝立は、対話相手側の空間82にある共有オブジェクト2の動作がユーザ61から見えなくするための一例である。遮蔽部7はユーザ側の空間81から対話相手側の空間82が完全に見えなくなっていなくともよく、例えば、すりガラス等の半透明の素材で衝立を作成し、対話相手側の空間82の詳細な状態がわからないようになっていればよい。このとき、対話相手62の代わりにマネキン人形などを置いておき、すりガラス越しに人影が見えるようにすることで、ユーザの錯覚を助長することができる。また、マネキン人形の代わりに対話相手の身体動作に同期して動くアンドロイドなどを置くことで、さらに効果的にユーザの錯覚を助長することができる。
【0016】
図1の例では、ユーザ61と対話相手62は一人ずつであり、共有オブジェクト2は二人掛けの長椅子であったが、ユーザ61と対話相手62はそれぞれ一人でなくともよい。例えば、ユーザ61が二人おり共有オブジェクト2を三人掛けの長椅子として、両端にユーザ61が座り、長椅子の中央に振動を与えることでユーザ61の間に座る対話相手62の動作を再現してもよい。
【0017】
[実施形態]
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【0018】
図2を参照して、実施形態に係る空間合成システムの構成例を説明する。空間合成システムは、n(≧2)個の空間にそれぞれ設置されたn台の空間合成装置11,…,1nを含む。i(i=1,…,n)番目の空間8iには、少なくとも一人の人物6iと共有オブジェクト2iが存在する。以降の説明では、i番目の空間8iに存在する人物6iをユーザと呼び、j(j=1,…,n、i≠j)番目の空間8jに存在する人物6jを対話相手と呼ぶ。対話相手とは特定の一人ではなく、その他の空間にいるn-1人の人物それぞれを指しているものとする。人物6iは共有オブジェクト2iと少なくとも一点で接触している。
【0019】
空間合成装置11,…,1nはそれぞれ通信網9に接続される。通信網9は、各空間合成装置11,…,1nが相互に通信可能なように構成されていればよく、例えば、アナログもしくはデジタルの公衆電話網もしくは構内電話網などの回線交換方式の通信網、又はインターネットやLAN(Local Area Network)、WAN(Wide Area Network)などのパケット交換方式の通信網で構成することができる。
【0020】
図3を参照して、空間合成装置1の構成例を説明する。空間合成装置1は、映像取得部10、動作情報取得部12、映像再生部14、動作再現部16、共有オブジェクト2、カメラ3、センサ4及びディスプレイ5を含む。空間合成装置1は、例えば、中央演算処理装置(Central Processing Unit、CPU)、主記憶装置(Random Access Memory、RAM)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。空間合成装置1は、例えば、中央演算処理装置の制御のもとで各処理を実行する。空間合成装置1に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。
【0021】
カメラ3は、例えば、被写体とする人間や物体の映像を撮影するビデオカメラである。例えば、撮影可能な解像度や映像の記録媒体、マイクロフォンの有無、デジタルアナログの別など、カメラ3の備えるべき機能には制限はなく、一般的に動画が撮影可能なビデオカメラであれば任意のものを利用することができる。
【0022】
センサ4は、例えば、対象物の三次元座標を逐次的に収集するモーションキャプチャセンサである。センサ4により映像の被写体の三次元座標を収集することで、被写体の位置とその位置の変化を取得することができる。センサ4として利用できるモーションキャプチャセンサは、例えば、「日本マイクロソフト株式会社、“Xbox 360 - Kinect”、[online]、[平成26年1月27日検索]、インターネット<URL:http://www.xbox.com/ja-JP/kinect>(参考文献1)」に記載されている。
【0023】
カメラ3及びセンサ4は、図3に示すように、空間合成装置1に接続される外部の周辺機器であってもよいし、空間合成装置1の筺体内に内蔵されていてもよい。また、カメラ3とセンサ4は、図3に示すように、別個の機器として構成してもよいし、カメラ3とセンサ4を一つの筺体内に組み込んだ一つの機器として構成してもよい。
【0024】
ディスプレイ5は、例えば、空間合成装置1のカメラ3で撮影した映像を再生する画面を有する大型液晶ディスプレイである。ディスプレイ5は、図3に示すように、空間合成装置1に接続される外部の周辺機器であってもよいし、空間合成装置1の一平面に組み込まれていてもよい。例えば、表示可能な解像度やスピーカーの有無、デジタルアナログの別など、ディスプレイ5の備えるべき機能には制限はなく、カメラ3で撮影された映像が再生可能なディスプレイであれば任意のものを利用することができる。
【0025】
図4を参照して、共有オブジェクト2の構成例を説明する。共有オブジェクト2は、例えば、アクチュエータ20、モータドライバ22、IOボード24、電源26を含む。アクチュエータ20はモータドライバ22を介してIOボード24へ接続される。IOボード24は空間合成装置1の動作再現部16へ接続される。電源26は、モータドライバ22へ接続され、電力を供給する。IOボード24は、シリアル通信により動作再現部16から入力される制御信号に基づいて、モータドライバ22を操作する。モータドライバ22は、IOボード24からの制御信号に基づいて、アクチュエータ20へ入力する電圧や電流を制御する。アクチュエータ20は、モータドライバ22の制御の下で、共有オブジェクト2の動作を制御する。
【0026】
図5を参照して、共有オブジェクト2を長椅子として実装した場合を例として、具体的な構成例を説明する。長椅子では、隣に人が座ったときや隣の人が足を組み替えたとき、貧乏揺すりをしたときなどに、長椅子が振動することで隣の人の身体動作を感じることができる。この長椅子の振動を共有オブジェクトで再現する。
【0027】
長椅子として実装された共有オブジェクト2は、座面21及び四本以上の脚23を含み、少なくとも一本の脚23には磁性体25、弾性体27及び電磁石29が組み込まれている。電磁石29に電流を流すと磁力が発生し、磁性体25が電磁石29の方向へ引っ張られる結果、長椅子の座面21が脚23の方へ傾斜する。例えば、合成映像中の対話相手6jが座る動作をしたとき、電磁石29への電源をONにすることで、ユーザ6iはあたかも隣に対話相手6jが座ったかのように感じられる。また、対話相手6jが貧乏ゆすりをした際には、電磁石29への電源をONとOFFを周期的に繰り返すことで座面21が小刻みに振動することになる結果、ユーザ6iはあたかも隣に座っている人が貧乏ゆすりをしているように感じられる。
【0028】
図6を参照しながら、実施形態に係る空間合成システムが実行する空間合成方法の処理フローの一例を、手続きの順に従って説明する。
【0029】
以下の説明では、i番目の空間8iに存在する人物6iをユーザとし、j番目の空間8jに存在する人物6jを対話相手とし、空間8iに設置された空間合成装置1iの動作を中心として説明する。対話相手の存在する空間8jは一つの空間とは限らず、複数の空間であってもよい。複数の空間に対話相手がいる場合であっても、他の空間8jに設置された空間合成装置8jの動作はいずれも同様である。
【0030】
ステップS10iにおいて、空間合成装置1iの映像取得部10iは、空間合成装置1iのカメラ3iを用いて、空間8iに存在するユーザ6iと共有オブジェクト2iとが含まれる映像を取得する。取得した映像は、映像再生部14へ入力される。
【0031】
ステップS10jにおいて、空間合成装置1jの映像取得部10jは、空間合成装置1jのカメラ3jを用いて、空間8jに存在する対話相手6jと共有オブジェクト2jとが含まれる映像を取得する。取得した映像は、空間合成装置1iへ、通信網9を介して送信される。
【0032】
ステップS12jにおいて、空間合成装置1jの動作情報取得部12jは、空間合成装置1jのセンサ4jを用いて、対話相手6jの動作を追跡した動作情報を取得する。取得した動作情報は、空間合成装置1iへ、通信網9を介して送信される。撮影した映像は送信に際して、転送効率を高めるために適切なデータフォーマットで符号化し圧縮しても構わない。
【0033】
ステップS14iにおいて、空間合成装置1iの映像再生部14iは、空間合成装置1jが取得した映像から対話相手6jの映像を抽出する。続いて、対話相手6jの映像を映像取得部10iが取得した映像中に合成して、合成された映像をディスプレイ5iへ再生する。
【0034】
ステップS16iにおいて、空間合成装置1iの動作再現部16は、対話相手6jの動作情報に基づいて共有オブジェクト2iを動作させて対話相手6jの動作を再現する。
【0035】
従来のミラーシステムは、対話相手が隣にいる感覚を視覚的に再現するものであった。しかし、隣を見てしまうと対話相手がそこに存在しないことは明確であり、物理的に相手の存在を感じることはできなかった。これに対し、この発明の空間合成システムは、衝立によって遮られた隣の空間に対話相手がいる感覚を再現するものであり、二つの空間を繋ぐ共有オブジェクトによって、視覚だけでなく触覚でも対話相手の存在を感じることができる。
【0036】
この発明の空間合成技術は、遠隔地の対話相手の存在をユーザ側の空間に合成し、相手の存在をより身近に感じさせるものである。この発明を用いた遠隔コミュニケーションにより対面環境でのコミュニケーションを代替することによって、移動にかかるコストやエネルギーを削減することができる。
【0037】
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【0038】
[プログラム、記録媒体]
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【0039】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【0040】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【0041】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
【0042】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【0043】
1 空間合成装置
2 共有オブジェクト(長椅子)
3 カメラ
4 センサ
5 ディスプレイ
6 人物
7 遮蔽部(衝立)
8 空間
9 通信網
10 映像取得部
12 動作情報取得部
14 映像再生部
16 動作再現部
図1
図2
図3
図4
図5
図6