特許第6044047号(P6044047)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人

▶ 日本電信電話株式会社の特許一覧
<>
  • 特許6044047-映像実体化システム 図000002
  • 特許6044047-映像実体化システム 図000003
  • 特許6044047-映像実体化システム 図000004
  • 特許6044047-映像実体化システム 図000005
  • 特許6044047-映像実体化システム 図000006
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6044047
(24)【登録日】2016年11月25日
(45)【発行日】2016年12月14日
(54)【発明の名称】映像実体化システム
(51)【国際特許分類】
   H04N 7/15 20060101AFI20161206BHJP
   G06F 13/00 20060101ALI20161206BHJP
【FI】
   H04N7/15 630A
   G06F13/00 650A
【請求項の数】6
【全頁数】9
(21)【出願番号】特願2014-29071(P2014-29071)
(22)【出願日】2014年2月19日
(65)【公開番号】特開2015-154429(P2015-154429A)
(43)【公開日】2015年8月24日
【審査請求日】2015年11月24日
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
【住所又は居所】東京都千代田区大手町一丁目5番1号
(73)【特許権者】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
【住所又は居所】大阪府吹田市山田丘1番1号
(74)【代理人】
【識別番号】100121706
【弁理士】
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【弁理士】
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【弁理士】
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】山下 直美
【住所又は居所】東京都千代田区大手町一丁目5番1号 日本電信電話株式会社内
(72)【発明者】
【氏名】中西 英之
【住所又は居所】大阪府吹田市山田丘1番1号 国立大学法人大阪大学内
(72)【発明者】
【氏名】田中 一晶
【住所又は居所】大阪府吹田市山田丘1番1号 国立大学法人大阪大学内
(72)【発明者】
【氏名】大西 裕也
【住所又は居所】大阪府吹田市山田丘1番1号 国立大学法人大阪大学内
【審査官】 後藤 嘉宏
(56)【参考文献】
【文献】 国際公開第2007/018111(WO,A1)
【文献】 特開2008−237586(JP,A)
【文献】 和田ほか,遠隔握手の方法がソーシャルプレゼンスに与える影響,情報処理学会 研究報告 ヒューマンコンピュータインタラクション(HCI)2013−HCI−154,[online],2013年 7月29日
【文献】 和田ほか,遠隔握手用ロボットハンドによる会話相手の存在感の向上,2012年度人工知能学会全国大会(第26回)論文集,2012年 6月22日,3L2−R−12−2
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/14−7/15
G06F 13/00
(57)【特許請求の範囲】
【請求項1】
送信装置及び受信装置を含む映像実体化システムであって、
上記送信装置は、
少なくとも一つの被写体及び上記被写体と連続して視認可能な少なくとも一つの実体化対象を含む映像を撮影する映像取得部と、
少なくとも上記映像における上記実体化対象と上記被写体との接点の位置の変化を含む動作情報を取得する実体情報取得部と、
を含み、
上記受信装置は、
上記実体化対象を実体化したオブジェクトと、
上記映像から上記実体化対象を消去して画面に再生する映像再生部と、
上記動作情報に基づいて、上記オブジェクトと上記映像中の被写体とが連続して視認可能となるように上記オブジェクトの位置を制御する実体再現部と、
を含む映像実体化システム。
【請求項2】
請求項1に記載の映像実体化システムであって、
上記実体再現部は、上記オブジェクトにおける接点の位置と、上記画面に再生される上記映像中の被写体における接点の位置とが一致するように上記オブジェクトの位置を制御するものである
映像実体化システム。
【請求項3】
請求項1又は2に記載の映像実体化システムであって、
上記実体再現部は、上記映像中の被写体の動作に追随して、上記オブジェクトが上記被写体の一部に見えるように上記オブジェクトの位置を制御するものである
映像実体化システム。
【請求項4】
請求項1から3のいずれかに記載の映像実体化システムであって、
上記実体再現部は、上記映像中の被写体の動作に応じて、上記オブジェクトの大きさを変化させるものである
映像実体化システム。
【請求項5】
請求項1から4のいずれかに記載の映像実体化システムであって、
上記被写体は、一人の人間の少なくとも片方の腕を含む部分であり、
上記実体化対象は、上記片方の腕の肘から先の部分であり、
上記接点は、上記肘であり、
上記実体再現部は、上記片方の腕の肘から先の動きを再現するように上記オブジェクトの位置を制御するものである
映像実体化システム。
【請求項6】
請求項1から4のいずれかに記載の映像実体化システムであって、
上記被写体は、手に物体を握る一人の人間の少なくとも上記物体を握る手を含む部分であり、
上記実体化対象は、上記物体であり、
上記接点は、上記物体を握る手であり、
上記実体再現部は、上記物体が上記手に握られて動いているように上記オブジェクトの位置を制御するものである
映像実体化システム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、映像上の物体の一部を実体化する映像実体化技術に関する。
【背景技術】
【0002】
通信技術の向上によって、ビデオ会議やテレビ電話のようなビデオチャットを用いて、遠隔地にいる人間が映像と音声により相互にコミュニケーションを取ることが可能となっている。遠隔地間で作業テーブル上の状態を共有するビデオチャット技術として、例えば、非特許文献1に記載された技術が挙げられる。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】山下直美、梶克彦、葛岡英明、平田圭二、青柳滋巳、”遠隔ユーザのジェスチャの可視性を向上させる手法の提案と評価”、情報処理学会論文誌、Vol. 52、No. 1、pp. 97-108、2011年1月
【発明の概要】
【発明が解決しようとする課題】
【0004】
非特許文献1に記載されたような従来のビデオチャット技術では、ビデオ映像を用いて遠隔地の人間や物体の動きを伝達することができる。しかしながら、従来のビデオチャット技術では、映像内の人間や物体の動きを三次元的に眺めることや、それらに触れることはできない。3Dディスプレイ等の立体視技術を用いれば、ある程度、遠隔地の物体を三次元的に眺めることはできるが、依然としてそれに触れることはできない。映像内の人間や物体の動きを実体化すれば、それらの状態をより正確に把握することができ、コミュニケーションを円滑化することが期待できる。
【0005】
この発明の目的は、ビデオチャットによるコミュニケーションにおいて、映像中の人物や物体を実体化することでコミュニケーションを円滑にすることである。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、この発明の映像実体化システムは、送信装置と受信装置を含む。送信装置は、少なくとも一つの被写体及び被写体と連続して視認可能な少なくとも一つの実体化対象を含む映像を撮影する映像取得部と、少なくとも映像における実体化対象と被写体との接点の位置の変化を含む動作情報を取得する実体情報取得部と、を含む。受信装置は、実体化対象を実体化したオブジェクトと、映像から実体化対象を消去して画面に再生する映像再生部と、動作情報に基づいて、オブジェクトと映像中の被写体とが連続して視認可能となるようにオブジェクトの位置を制御する実体再現部と、を含む。
【発明の効果】
【0007】
この発明の映像実体化技術によれば、映像上の人物や物体の一部を実体化することができるため、遠隔地の人間や物体の動きを把握することが容易になる。したがって、コミュニケーションを円滑にすることができる。
【図面の簡単な説明】
【0008】
図1図1は、映像実体化システムの機能構成を例示する図である。
図2図2は、映像実体化方法の処理フローを例示する図である。
図3図3は、実体再現部の具体的な構成例を説明するための図である。
図4図4は、実体再現部の具体的な構成例を説明するための図である。
図5図5は、実体再現部の具体的な構成例を説明するための図である。
【発明を実施するための形態】
【0009】
この発明の映像実体化技術は、ロボット技術、モーショントラッキング技術、映像合成技術を用いて、映像上の人間や物体の一部を物理的な実体に置き換えて画面から飛び出させ、映像に合わせて画面上を動くことを可能にするものである。
【0010】
この発明の実施形態に係る映像実体化システムは、ロボットアーム、位置決め機構、モーショントラッキング装置及びソフト、映像合成ソフト、ビデオ会議端末によって構成される。映像実体化システムは、映像内の人間や物体の一部をロボット等で実体化して映像から飛び出させ、モーショントラッキング技術及び映像合成技術によって、映像内の人間や物体の動きに合わせて実体化したオブジェクトを動作させる。
【0011】
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【0012】
図1を参照して、実施形態に係る映像実体化システムの構成例を説明する。映像実体化システムは送信装置1及び受信装置2を含む。送信装置1及び受信装置2は通信網9に接続される。通信網9は、送信装置1と受信装置2とが相互に通信可能なように構成されていればよく、例えば、アナログもしくはデジタルの公衆電話網もしくは構内電話網などの回線交換方式の通信網、又はインターネットやLAN(Local Area Network)、WAN(Wide Area Network)などのパケット交換方式の通信網で構成することができる。
【0013】
送信装置1は、映像取得部10、実体情報取得部12、カメラ14及びセンサ16を含む。送信装置1は、例えば、中央演算処理装置(Central Processing Unit、CPU)、主記憶装置(Random Access Memory、RAM)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。送信装置1は、例えば、中央演算処理装置の制御のもとで各処理を実行する。送信装置1に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。
【0014】
カメラ14は、例えば、被写体とする人間や物体の映像を撮影するビデオカメラである。例えば、撮影可能な解像度や映像の記録媒体、マイクロフォンの有無、デジタルアナログの別など、カメラ14の備えるべき機能には制限はなく、一般的に動画が撮影可能なビデオカメラであれば任意のものを利用することができる。
【0015】
センサ16は、例えば、対象物の三次元座標を逐次的に収集するモーションキャプチャセンサである。センサ16により映像の被写体の三次元座標を収集することで、被写体の位置とその位置の変化を取得することができる。センサ16として利用できるモーションキャプチャセンサは、例えば、「日本マイクロソフト株式会社、“Xbox 360 - Kinect”、[online]、[平成26年1月27日検索]、インターネット<URL:http://www.xbox.com/ja-JP/kinect>(参考文献1)」に記載されている。
【0016】
カメラ14及びセンサ16は、図1に示すように、送信装置1に接続される外部の周辺機器であってもよいし、送信装置1の筺体内に内蔵されていてもよい。また、カメラ14とセンサ16は、図1に示すように、別個の機器として構成してもよいし、カメラ14とセンサ16を一つの筺体内に組み込んだ一つの機器として構成してもよい。
【0017】
受信装置2は、映像再生部20、実体再現部22、ディスプレイ24及びオブジェクト26を含む。受信装置2は、例えば、中央演算処理装置(Central Processing Unit、CPU)、主記憶装置(Random Access Memory、RAM)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。受信装置2は、例えば、中央演算処理装置の制御のもとで各処理を実行する。受信装置2に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。
【0018】
ディスプレイ24は、例えば、送信装置1のカメラ14で撮影した映像を再生する画面を有する大型液晶ディスプレイである。ディスプレイ24は、図1に示すように、受信装置2に接続される外部の周辺機器であってもよいし、受信装置2の一平面に組み込まれていてもよい。例えば、表示可能な解像度やスピーカーの有無、デジタルアナログの別など、ディスプレイ24の備えるべき機能には制限はなく、カメラ14で撮影された映像が再生可能なディスプレイであれば任意のものを利用することができる。
【0019】
オブジェクト26は、映像中の実体化対象を実体化した物体である。オブジェクト26は、ディスプレイ24の画面表面上を移動可能なように構成する。実体化対象は映像に撮影される可能性があれば、どのような物体でもよい。例えば、映像の被写体を一人の人間とし、実体化対象を人間の腕の肘から先の部分として構成するのであれば、オブジェクト26はロボットアームのような人間の腕を模した器具とすればよい。また、例えば、映像の被写体を手に指示棒のような物体を握った人間とし、実体化対象を指示棒として構成するのであれば、オブジェクト26はその指示棒と同一形状の物体とすればよい。
【0020】
図2を参照しながら、実施形態に係る映像実体化システムが実行する映像実体化方法の処理フローの一例を、手続きの順に従って説明する。
【0021】
ステップS10において、送信装置1の映像取得部10は、送信装置1のカメラ14を用いて、少なくとも一つの被写体及びその被写体と連続して視認可能な少なくとも一つの実体化対象を含む映像を撮影する。撮影した映像は、通信網9を介して、受信装置2へ送信される。撮影した映像は送信に際して、転送効率を高めるために適切なデータフォーマットで符号化し圧縮しても構わない。
【0022】
ステップS12において、送信装置1の実体情報取得部12は、送信装置1のセンサ16を用いて、映像における実体化対象と被写体との接点の位置の変化を取得する。取得する情報は、実体化対象と被写体との接点の位置の変化のみならず、被写体及び実体化対象の向きや角度など詳細な動作情報を取得してもよい。取得した情報は、通信網9を介して、受信装置2へ送信される。
【0023】
ステップS20において、受信装置2の映像再生部10は、送信装置1から受信した映像から実体化対象を消去して受信装置2のディスプレイ24に再生する。映像から実体化対象を消去する方法は、クロマキー合成等の既存の映像合成技術を用いればよい。
【0024】
ステップS22において、受信装置2の実体再現部22は、送信装置1から受信した動作情報に基づいて、オブジェクト26と映像中の被写体とが連続して視認可能となるようにオブジェクト26の位置を制御する。より詳しくは、オブジェクト26における接点の位置と、ディスプレイ24の画面に再生される映像中の被写体における接点の位置とが一致するようにオブジェクト26の位置を制御する。さらに、被写体及び実体化対象の向きや角度などを取得している場合には、被写体と実体化対象の輪郭が一致するように、オブジェクト26の向きや角度を調節する。
【0025】
図3を参照して、オブジェクト26の位置を制御する方法について、より詳細に説明する。図3は、遠隔地にいる人間の肘から先の部分をロボットアームで実体化した例である。ディスプレイ24から飛び出した実体化部分であるオブジェクト26(図3の例では、ロボットアーム)は、ディスプレイ24を設置したテーブル221の下に設置した位置決め機構222〜226を介して固定する。図3の例では、オブジェクト26はアクリル板等の透明な板222の先端に固定されており、アクリル板222を、水平方向に固定されたレール223に沿って移動する回転軸224と、鉛直方向に固定されたレール225に沿って移動する回転軸226とからなる二軸直動機構によって位置決めを行うことで、ロボットアーム26はディスプレイ24の画面表面上を移動することができる。
【0026】
ディスプレイ24から飛び出した実体化部分であるオブジェクト26は、ディスプレイ24の画面表面上を並行移動するだけではなく、回転機構などにより、視覚的に映像と自然に繋がるように角度を調整してもよい。映像内の人間の肩から肘までの部分とロボットアーム26とが一直線になるように、図4(A)の例では、ロボットアーム26の水平方向の角度を調整し、図4(B)の例では、ロボットアーム26の鉛直方向の角度を調整している。
【0027】
オブジェクト26は、実体化対象の移動に応じてサイズを変化させることもできる。図5を参照して、実体化対象を被写体の腕とした場合に、実体化したロボットアームの長さを変化させる例を説明する。ロボットアーム26は、ロボットハンド265と、ロボットハンド265を先端に取り付けた円筒形をした第一の腕部264と、第一の腕部264を挿入可能な円筒形をした第二の腕部263と、第一の腕部264とワイヤで接続された巻き取り機構261及び262とからなる。ロボットアーム26は、図3に示すように、アクリル板222の上方の端に固定されている。ワイヤは目立たないようにアクリル板222の淵に沿わせるようにし、巻き取り機構261及び262はアクリル板222の下方の端に設置する。巻き取り機構261及び262を操作することで、第一の腕部264が第二の腕部263の中をスライドするように構成される。図5(A)はロボットアーム26を伸ばした状態の例である。巻き取り機構261を緩め、巻き取り機構262を巻き上げることで第一の腕部264が第二の腕部263からせり出し、ロボットアーム26の全長を伸ばすことができる。図5(B)はロボットアーム26を縮めた状態の例である。巻き取り機構262を緩め、巻き取り機構261を巻き上げることで第一の腕部264が第二の腕部263の中へ引き込まれ、ロボットアーム26の全長を縮めることができる。例えば、映像中の被写体が腕を前方へ突き出した場合にはロボットアームの全長を伸ばし、腕を後方へ引っ込めた場合にはロボットアームの全長を縮めることで、より実体化対象の再現性を高めることができる。
【0028】
この発明の映像実体化技術によれば、映像内の物体の一部を実体化して飛び出させることで、平面の映像では分かりにくい三次元的な動きが把握しやすくなる。図3及び図4に示した例では、遠隔地の人間の腕を実体化することで、遠隔地の人間が何を指しているのかを把握しやすくなっている。また、この発明の映像実体化技術によれば、遠隔地間の人間が実体化部分を介して互いに接触することも可能になる。例えば、互いに実体化した手(例えば、ロボットハンド)を握ることで握手をすることができる。
【0029】
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【0030】
[プログラム、記録媒体]
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【0031】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【0032】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【0033】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
【0034】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【0035】
1 送信装置
2 受信装置
9 通信網
10 映像取得装置
12 実体情報取得部
14 カメラ
16 センサ
20 映像再生部
22 実体再現部
24 ディスプレイ
26 オブジェクト
図1
図2
図3
図4
図5