特許第6452152号(P6452152)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧
<>
  • 特許6452152-顔映像実体化システム、実体化装置 図000002
  • 特許6452152-顔映像実体化システム、実体化装置 図000003
  • 特許6452152-顔映像実体化システム、実体化装置 図000004
  • 特許6452152-顔映像実体化システム、実体化装置 図000005
  • 特許6452152-顔映像実体化システム、実体化装置 図000006
  • 特許6452152-顔映像実体化システム、実体化装置 図000007
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6452152
(24)【登録日】2018年12月21日
(45)【発行日】2019年1月16日
(54)【発明の名称】顔映像実体化システム、実体化装置
(51)【国際特許分類】
   H04N 5/74 20060101AFI20190107BHJP
【FI】
   H04N5/74 Z
【請求項の数】8
【全頁数】11
(21)【出願番号】特願2015-31285(P2015-31285)
(22)【出願日】2015年2月20日
(65)【公開番号】特開2016-154275(P2016-154275A)
(43)【公開日】2016年8月25日
【審査請求日】2017年2月20日
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(73)【特許権者】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(74)【代理人】
【識別番号】100121706
【弁理士】
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【弁理士】
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【弁理士】
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】山下 直美
(72)【発明者】
【氏名】大和 淳司
(72)【発明者】
【氏名】中西 英之
(72)【発明者】
【氏名】田中 一晶
(72)【発明者】
【氏名】岡島 知也
【審査官】 佐野 潤一
(56)【参考文献】
【文献】 特開2006−343583(JP,A)
【文献】 特開2006−043780(JP,A)
【文献】 特開2009−069789(JP,A)
【文献】 特開2013−110630(JP,A)
【文献】 特開2001−215940(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/74
H04N 9/31
H04N 7/18
H04N 21/00
G03B 21/00
G09G 19/00
G09F 21/00
B25J 13/00
(57)【特許請求の範囲】
【請求項1】
ネットワークを介して接続された実体化対象データ取得装置と実体化装置からなる顔映像実体化システムであって、
前記実体化対象データ取得装置は、
実体化対象の顔を含む映像のデータである実体化対象映像データを取得する対象側映像取得部と、
前記実体化対象映像データから前記実体化対象の所定の顔の動きを抽出し、動きデータとして取得するモーショントラッキング部と、
前記実体化対象映像データと前記動きデータとを前記実体化装置に送信し、前記実体化装置側の映像のデータである実体化側映像データを前記実体化装置から受信する対象側通信部と、
前記実体化側映像データの映像を出力する対象側出力部と、
を備え、
前記実体化装置は、
前記実体化側映像データを取得する実体化側映像取得部と、
前記実体化対象映像データと前記動きデータとを前記実体化対象データ取得装置から受信し、前記実体化側映像データを前記実体化対象データ取得装置に送信する実体化側通信部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と、
を備え、
前記所定の顔の動きとは、少なくとも目の動きを含み、
前記ロボットは、少なくとも眼球、瞼を実体化し、
前記スクリーンは、前記瞼の部分に穴を有し、前記ロボットが瞼を閉じる動作のときには前記穴が閉じ、瞼を開く動作のときには前記穴が開く
顔映像実体化システム。
【請求項2】
映像のデータである実体化側映像データを取得する映像取得部と、
実体化対象の顔を含む映像のデータである実体化対象映像データと前記実体化対象の所定の顔の動きを示す動きデータとを受信し、前記実体化側映像データを送信する通信部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と、
を備え、
前記所定の顔の動きとは、少なくとも目の動きを含み、
前記ロボットは、少なくとも眼球、瞼を実体化し、
前記スクリーンは、前記瞼の部分に穴を有し、前記ロボットが瞼を閉じる動作のときには前記穴が閉じ、瞼を開く動作のときには前記穴が開く
実体化装置。
【請求項3】
実体化対象データ取得装置と実体化装置からなる顔映像実体化システムであって、
前記実体化対象データ取得装置は、
実体化対象の顔を含む映像のデータである実体化対象映像データを取得する対象側映像取得部と、
前記実体化対象映像データから前記実体化対象の所定の顔の動きを抽出し、動きデータとして取得するモーショントラッキング部と、
前記実体化対象映像データと前記動きデータとを記録する対象側記録部と、
を備え、
前記実体化装置は、
前記実体化対象映像データと前記動きデータとを読み出す実体化側記録部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と、
を備え、
前記所定の顔の動きとは、少なくとも目の動きを含み、
前記ロボットは、少なくとも眼球、瞼を実体化し、
前記スクリーンは、前記瞼の部分に穴を有し、前記ロボットが瞼を閉じる動作のときには前記穴が閉じ、瞼を開く動作のときには前記穴が開く
顔映像実体化システム。
【請求項4】
実体化対象の顔を含む映像のデータである実体化対象映像データと前記実体化対象の所定の顔の動きを示す動きデータとをあらかじめ記録しておく記録部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と、
を備え、
前記所定の顔の動きとは、少なくとも目の動きを含み、
前記ロボットは、少なくとも眼球、瞼を実体化し、
前記スクリーンは、前記瞼の部分に穴を有し、前記ロボットが瞼を閉じる動作のときには前記穴が閉じ、瞼を開く動作のときには前記穴が開く
実体化装置。
【請求項5】
ネットワークを介して接続された実体化対象データ取得装置と実体化装置からなる顔映像実体化システムであって、
前記実体化対象データ取得装置は、
実体化対象の顔を含む映像のデータである実体化対象映像データを取得する対象側映像取得部と、
前記実体化対象映像データから前記実体化対象の所定の顔の動きを抽出し、動きデータとして取得するモーショントラッキング部と、
前記実体化対象映像データと前記動きデータとを前記実体化装置に送信し、前記実体化装置側の映像のデータである実体化側映像データを前記実体化装置から受信する対象側通信部と、
前記実体化側映像データの映像を出力する対象側出力部と、
を備え、
前記実体化装置は、
前記実体化側映像データを取得する実体化側映像取得部と、
前記実体化対象映像データと前記動きデータとを前記実体化対象データ取得装置から受信し、前記実体化側映像データを前記実体化対象データ取得装置に送信する実体化側通信部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と、
前記スクリーンの周りの前記投影部によって投影された映像が映し出される側に配置される固定された外枠と、
を備え、
前記ロボットは、あらかじめ定めた範囲で顔の向きと位置の動きも実体化でき、
前記ロボットは、前記投影部が映す目の位置と前記ロボットの眼球の位置とが揃うように動作し、
前記スクリーンは、前記ロボットの顔の向きおよび位置の動きと一体的に動く
顔映像実体化システム。
【請求項6】
映像のデータである実体化側映像データを取得する映像取得部と、
実体化対象の顔を含む映像のデータである実体化対象映像データと前記実体化対象の所定の顔の動きを示す動きデータとを受信し、前記実体化側映像データを送信する通信部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と、
前記スクリーンの周りの前記投影部によって投影された映像が映し出される側に配置される固定された外枠と、
を備え、
前記ロボットは、あらかじめ定めた範囲で顔の向きと位置の動きも実体化でき、
前記ロボットは、前記投影部が映す目の位置と前記ロボットの眼球の位置とが揃うように動作し、
前記スクリーンは、前記ロボットの顔の向きおよび位置の動きと一体的に動く
実体化装置。
【請求項7】
実体化対象データ取得装置と実体化装置からなる顔映像実体化システムであって、
前記実体化対象データ取得装置は、
実体化対象の顔を含む映像のデータである実体化対象映像データを取得する対象側映像取得部と、
前記実体化対象映像データから前記実体化対象の所定の顔の動きを抽出し、動きデータとして取得するモーショントラッキング部と、
前記実体化対象映像データと前記動きデータとを記録する対象側記録部と、
を備え、
前記実体化装置は、
前記実体化対象映像データと前記動きデータとを読み出す実体化側記録部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と、
前記スクリーンの周りの前記投影部によって投影された映像が映し出される側に配置される固定された外枠と、
を備え、
前記ロボットは、あらかじめ定めた範囲で顔の向きと位置の動きも実体化でき、
前記ロボットは、前記投影部が映す目の位置と前記ロボットの眼球の位置とが揃うように動作し、
前記スクリーンは、前記ロボットの顔の向きおよび位置の動きと一体的に動く
顔映像実体化システム。
【請求項8】
実体化対象の顔を含む映像のデータである実体化対象映像データと前記実体化対象の所定の顔の動きを示す動きデータとをあらかじめ記録しておく記録部と、
前記動きデータにしたがって前記所定の顔の動きを実体化するロボットと、
前記所定の顔の動きを示せるように一部が前記ロボットに貼り付けられたスクリーンと、
前記スクリーンに前記実体化対象映像データの映像を投影する投影部と
備え、
前記ロボットは、あらかじめ定めた範囲で顔の向きと位置の動きも実体化でき、
前記ロボットは、前記投影部が映す目の位置と前記ロボットの眼球の位置とが揃うように動作し、
前記スクリーンは、前記ロボットの顔の向きおよび位置の動きと一体的に動く
実体化装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、異なる空間にいる相手に対して、異なる空間にいるという感覚を低減させる顔映像実体化システム、実体化装置に関する。
【背景技術】
【0002】
相手の姿を見ながら会話できるビデオ会議は、その相手を身近に感じながら会話できる一般的な遠隔コミュニケーションの方法として知られている。しかし、2次元映像として表示されるために、動作が見逃されやすいなどの課題や、相手の映像を映すディスプレイがユーザ側の空間と相手側の空間を隔てるガラス窓に相当してしまうので、依然として別々の空間にいる感覚が強いという課題があった。
【0003】
そこで、非特許文献1のような遠隔ユーザのジェスチャの可視性を向上させる手法や、非特許文献2のような相手の身体を模したロボットを介して会話するロボット会議が研究されている。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】山下直美 他, “遠隔ユーザのジェスチャの可視性を向上させる手法の提案と評価”, 情報処理学会論文誌, vol.52 No.1 97-108, Jan. 2011.
【非特許文献2】Daisuke Sakamoto 他, “Andoroid as Telecommunication Medium with a Human-like Presence”, Human-Robot Interaction (HRI), 2007 2nd ACM/IEEE International Conference on, 2007.
【発明の概要】
【発明が解決しようとする課題】
【0005】
相手の身体の代替であるロボットがユーザと同じ空間に存在すれば、ビデオ会議よりも相手の存在感を強く感じられる。しかし、ビデオ会議とは異なり、相手の実際の姿をユーザに提示することができないという課題がある。
【0006】
本発明は、相手の実際の映像を提示しながら、別々の空間にいる感覚を低減させることを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1の発明は、ネットワークを介して接続された実体化対象データ取得装置と実体化装置からなる顔映像実体化システムである。実体化対象データ取得装置は、対象側映像取得部、モーショントラッキング部、対象側通信部、対象側出力部を備える。実体化装置は、実体化側映像取得部、実体化側通信部、ロボット、スクリーン、投影部を備える。対象側映像取得部は、実体化対象の顔を含む映像のデータである実体化対象映像データを取得する。モーショントラッキング部は、実体化対象映像データから実体化対象の所定の顔の動きを抽出し、動きデータとして取得する。対象側通信部は、実体化対象映像データと動きデータとを実体化装置に送信し、実体化装置側の映像のデータである実体化側映像データを実体化装置から受信する。対象側出力部は、実体化側映像データの映像を出力する。実体化側映像取得部は、実体化側映像データを取得する。実体化側通信部は、実体化対象映像データと動きデータとを実体化対象データ取得装置から受信し、実体化側映像データを実体化対象データ取得装置に送信する。ロボットは、動きデータにしたがって所定の顔の動きを実体化する。スクリーンは、所定の顔の動きを示せるように一部がロボットに貼り付けられている。投影部は、スクリーンに実体化対象映像データの映像を投影する。
【0008】
本発明の第2の発明は、実体化対象データ取得装置と実体化装置からなる顔映像実体化システムである。実体化対象データ取得装置は、対象側映像取得部、モーショントラッキング部、対象側記録部を備える。実体化装置は、実体化側記録部、ロボット、スクリーン、投影部を備える。対象側映像取得部は、実体化対象の顔を含む映像のデータである実体化対象映像データを取得する。モーショントラッキング部は、実体化対象映像データから実体化対象の所定の顔の動きを抽出し、動きデータとして取得する。対象側記録部は、実体化対象映像データと動きデータとを記録する。実体化側記録部は、実体化対象映像データと動きデータとを読み出す。ロボットは、動きデータにしたがって所定の顔の動きを実体化する。スクリーンは、所定の顔の動きを示せるように一部がロボットに貼り付けられている。投影部は、スクリーンに実体化対象映像データの映像を投影する。
【発明の効果】
【0009】
本発明の顔映像実体化システムによれば、相手の実際の姿を提示できるというビデオ会議の利点と、相手の身体の代替が同じ空間に物理的に存在するというロボット会議の利点の両方を併せ持つことができるので、相手の実際の映像を提示しながら、別々の空間にいる感覚を低減させることができる。
【図面の簡単な説明】
【0010】
図1】本発明の顔映像実体化システムの機能構成例を示す図。
図2】ロボットの顔の部分の例を示す図。
図3】スクリーンの例を示す図。
図4】実体化装置の全体の例を示す図。
図5】実施例1の顔映像実体化システムの処理フロー例を示す図。
図6】変形例の顔映像実体化システムの処理フロー例を示す図。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【実施例1】
【0012】
図1に実施例1の顔映像実体化システムの機能構成例を示す。顔映像実体化システムは、ネットワーク800を介して接続された実体化対象データ取得装置100と実体化装置200からなる。実体化対象データ取得装置100は、対象側映像取得部110、モーショントラッキング部120、対象側通信部130、対象側出力部140を備える。実体化装置200は、実体化側映像取得部210、実体化側通信部230、ロボット240、スクリーン250、投影部260を備える。図2にロボットの顔の部分の例を、図3にスクリーンの例を、図4に実体化装置の全体の例を示す。図4(A)はスクリーンの背面側、図4(B)はスクリーンの前面側を示す図である。図5は実施例1の顔映像実体化システムの処理フロー例を示す図である。
【0013】
対象側映像取得部110は、実体化対象の顔を含む映像のデータである実体化対象映像データを取得する(S110)。対象側映像取得部110は具体的にはカメラなどであり、音響データも一緒に取得してもよい。
【0014】
モーショントラッキング部120は、実体化対象映像データから実体化対象の所定の顔の動きを抽出し、動きデータとして取得する(S120)。「所定の顔の動き」とは、目、鼻、口のような対面で会話している感覚を効果的に相手に与えられるような部分の動きとすればよい。また、顔の向きや位置も「所定の顔の動き」として抽出すればよい。
【0015】
対象側通信部130は、実体化対象映像データと動きデータとを実体化装置200に送信し、実体化装置200側の映像のデータである実体化側映像データを実体化装置200から受信する(S130)。対象側出力部140は、実体化側映像データの映像を出力する(S140)。音響データも含まれる場合は、映像と一緒に出力すればよい。なお、対象側映像取得部110と対象側出力部140には一般的なビデオ会議装置を用いてもよい。
【0016】
実体化側映像取得部210は、実体化側映像データを取得する(S210)。具体的にはカメラなどであり、音響データも一緒に取得してもよい。実体化側通信部230は、実体化対象映像データと動きデータとを実体化対象データ取得装置100から受信し、実体化側映像データを実体化対象データ取得装置100に送信する(S230)。
【0017】
ロボット240は、動きデータにしたがって所定の顔の動きを実体化する(S240)。図2〜4に示した実体化装置200では、「所定の顔の動き」として目の動きを実体化する例を示している。ロボット240の眼球241は、眼球のピッチ軸用サーボモータ246とヨー軸用サーボモータ246によってピッチ軸とヨー軸の動きが可能である。瞼242は瞼用サーボモータ247によって瞬きが可能である。また、首243は首用サーボモータ248によってロール軸回転ができ、腰244は腰用サーボモータ249によってロール軸回転ができる。そして、首243と腰244の動きによって、あらかじめ定めた範囲で顔の向きと位置を変更できる。
【0018】
スクリーン250は、所定の顔の動きを示せるように一部がロボットに貼り付けられている。なお、ロボット240がスクリーン250を引っ張る動きをする場合は、スクリーン250は伸縮可能な材質が望ましい。投影部260は、スクリーン250に実体化対象映像データの映像を投影する(S260)。図2〜4に示した実体化装置200では、スクリーン250は収縮性のある布であり、アクリル板255を覆っている。スクリーン250およびアクリル板255の真ん中付近に2つの穴251が設けられている。穴251の周辺のスクリーン(布)250がロボット240の瞼242に貼り付けられている。したがって、瞼242が開いた状態のときは眼球241が見え、瞼242を閉じると目を閉じた状態になる。また、アクリル板255はロボット240の顔部分に固定されていて、首243と腰244の動きによってスクリーン250全体が動くようになっている。また、スクリーン250の周りの投影部260によって投影された映像が映し出される側に外枠270が固定して配置されている。外枠270によってスクリーン250の縁が隠されるので、スクリーン250全体が動いているという感覚を与えないようにできる。顔の向きと位置の変更できる範囲は、スクリーン250の縁が外枠270で隠せる範囲とすればよい。
【0019】
投影部260が映す映像の目の位置とロボット240の眼球241の位置が揃うように、ロボット240を動きデータにしたがって動作させる。なお、ロボット240が眼球241の位置を動かせないときは、投影部260側で映像の目の位置と眼球241の位置を揃えてもいい。また、投影光によって眼球241が影になりやすいので、眼球が明るくなるようにLEDなどで明るくしてもよい。
【0020】
図2〜4の実体化装置200は目を実体化したものであるが、目だけでなく鼻や唇など他の顔面部位を実体化することも可能である。目を実体化した場合、相手がユーザ側の空間を見ていることを明確にできるため、対面で会話している感覚を効果的に強化できる。ロボット会議においても同様の効果が得られる可能性があるが、相手の外見をロボットで再現するためには、その人に合わせてロボットを1つ1つ設計しなければならず、コストの面から一般に普及させることは困難である。これに対し、本発明では、人により差が小さい顔面の一部のみをロボットで実体化するため、平均的な形状のロボットを量産することでコストを大幅に削減することができる。さらに、実体化部以外は映像であるため、相手の現在の服装等も提示することが可能である。
【0021】
このように、本実施例の顔映像実体化システムによれば、相手の実際の姿を提示できるというビデオ会議の利点と、相手の身体の代替が同じ空間に物理的に存在するというロボット会議の利点の両方を併せ持つことができるので、相手の実際の映像を提示しながら、別々の空間にいる感覚を低減させることができる。さらに、双方向の通信を行っているので、実体化対象データ取得装置100側の動作や発言に基づいてロボット240が動く。よって、より別々の空間にいる感覚を低減できる。さらに、双方にモーショントラッキング部、ロボット、スクリーン部、投影部を備えれば、遠隔地間で互いに実体化装置を見ながら会話ができる。
【0022】
[変形例]
実施例1では、実体化対象データ取得装置と実体化装置とが通信を行う例を示した。本変形例では、実体化対象データ取得装置で記録したデータに基づいて実体化装置が動作する場合を示す。本変形例の機能構成例も図1に示す。ただし、本変形例では、実体化装置側の映像を実体化対象データ取得装置側に送らないので、必要な構成部が少ない。本変形例の処理フロー例は図6に示す。
【0023】
本変形例の顔映像実体化システムは、実体化対象データ取得装置300と実体化装置400からなる。実体化対象データ取得装置300は、対象側映像取得部110、モーショントラッキング部120、対象側記録部390を備える。実体化装置400は、実体化側記録部490、ロボット240、スクリーン250、投影部260を備える。
【0024】
対象側映像取得部110は、実体化対象の顔を含む映像のデータである実体化対象映像データを取得する(S110)。モーショントラッキング部120は、実体化対象映像データから実体化対象の所定の顔の動きを抽出し、動きデータとして取得する(S120)。対象側記録部390は、実体化対象映像データと動きデータとを記録する(S390)。実体化側記録部490は、通信、郵送などの手段で実体化対象データ取得装置300から、あらかじめ実体化対象映像データと動きデータを受け取り、記録しておく(S490)。ロボット240は、動きデータにしたがって所定の顔の動きを実体化する(S240)。スクリーン250は、所定の顔の動きを示せるように一部がロボットに貼り付けられている。なお、ロボット240がスクリーン250を引っ張る動きをする場合は、スクリーン250は伸縮可能な材質が望ましい。投影部260は、スクリーンに実体化対象映像データの映像を投影する(S260)。
【0025】
対象側映像取得部110、モーショントラッキング部120、ロボット240、スクリーン250、投影部260の実現方法は実施例1と同じであり、図2〜4を用いた説明と同様に実現すればよい。したがって、実体化対象データ取得装置300側の動作や発言に応じた動きを確認できないが、それ以外の効果は実施例1と同じである。
【符号の説明】
【0026】
100、300 実体化対象データ取得装置 110 対象側映像取得部
120 モーショントラッキング部 130 対象側通信部
140 対象側出力部 200、400 実体化装置
210 実体化側映像取得部 230 実体化側通信部
240 ロボット 250 スクリーン
260 投影部 270 外枠
390 対象側記録部 490 実体化側記録部
800 ネットワーク
図1
図2
図3
図4
図5
図6