特許 5791082 画像合成装置、画像合成システム、画像合成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5791082

(24)【登録日】2015年8月14日

(45)【発行日】2015年10月7日

(54)【発明の名称】画像合成装置、画像合成システム、画像合成方法およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20150917BHJP

【ＦＩ】

   G06T19/00 600

【請求項の数】6

【全頁数】24

(21)【出願番号】特願2012-168362(P2012-168362)

(22)【出願日】2012年7月30日

(65)【公開番号】特開2014-26590(P2014-26590A)

(43)【公開日】2014年2月6日

【審査請求日】2015年5月26日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度 独立行政法人科学技術振興機構 若手研究者ベンチャー創出推進事業 産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】504182255

【氏名又は名称】国立大学法人横浜国立大学

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100108578

【弁理士】

【氏名又は名称】高橋 詔男

(74)【代理人】

【識別番号】100089037

【弁理士】

【氏名又は名称】渡邊 隆

(74)【代理人】

【識別番号】100094400

【弁理士】

【氏名又は名称】鈴木 三義

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(72)【発明者】

【氏名】庄司 道彦

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２００５−１０７９６９（ＪＰ，Ａ）

【文献】 特開２００９−１３４６９３（ＪＰ，Ａ）

【文献】 特開２００４−２３４２５３（ＪＰ，Ａ）

【文献】 国際公開第０３／０６３０８６（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

実画像を取得する実画像取得部と、
前記実画像に含まれる置換前物体の像に置き換えて当該実画像に合成される置換後物体の像を取得する置換後物体像取得部と、
前記実画像にて前記置換前物体の像を遮蔽する遮蔽物体の像の領域を検出する遮蔽物体像領域検出部と、
前記置換後物体の像のうち、前記遮蔽物体の像の領域に対応する部分を除外する被遮蔽部分除外部と、
前記実画像に対して、前記遮蔽物体の像の領域に対応する部分を除外した前記置換後物体の像の前記合成を行う合成実行部と、
を具備し、
前記被遮蔽部分除外部は、前記置換後物体の像のうち、前記遮蔽物体の像に遮蔽された部分を除く前記置換前物体の像に対応する部分の画像と、前記置換後物体の像のうち、前記置換前物体の像に対応する部分と前記遮蔽物体の像に対応する部分とを除外した部分の画像とを生成することを特徴とする画像合成装置。

【請求項2】

前記実画像に対するエッジ抽出を行って当該実画像を領域分割する領域分割部を具備し、
前記遮蔽物体像領域検出部は、前記領域分割部が分割した領域のうち、少なくとも一部が前記置換前物体の像を遮蔽している領域を、前記遮蔽物体の像の領域として検出することを特徴とする請求項１に記載の画像合成装置。

【請求項3】

前記遮蔽物体の像による遮蔽が無い場合の前記置換前物体の像を取得する非遮蔽時像取得部と、
前記遮蔽物体の像による遮蔽が無い場合の前記置換前物体の像と、前記遮蔽物体の像に遮蔽された部分を除いた前記置換前物体の像との差分を求めることで、前記置換前物体の像のうち前記遮蔽物体の像に遮蔽される領域を検出する遮蔽領域検出部と、
を具備し、
前記遮蔽物体像領域検出部は、前記実画像を分割した領域のうち、前記遮蔽領域検出部が検出した領域を含む領域を検出する
ことを特徴とする請求項１または請求項２に記載の画像合成装置。

【請求項4】

撮像装置と、画像合成装置と、表示装置とを具備し、
前記画像合成装置は、
前記撮像装置が撮像した実画像を取得する実画像取得部と、
前記実画像に含まれる置換前物体の像に置き換えて当該実画像に合成される置換後物体の像を取得する置換後物体像取得部と、
前記実画像にて前記置換前物体の像を遮蔽する遮蔽物体の像の領域を検出する遮蔽物体像領域検出部と、
前記置換後物体の像のうち、前記遮蔽物体の像の領域に対応する部分を除外する被遮蔽部分除外部と、
前記実画像に対して、前記遮蔽物体の像の領域に対応する部分を除外した前記置換後物体の像の前記合成を行う合成実行部と、
を具備し、
前記被遮蔽部分除外部は、前記置換後物体の像のうち、前記遮蔽物体の像に遮蔽された部分を除く前記置換前物体の像に対応する部分の画像と、前記置換後物体の像のうち、前記置換前物体の像に対応する部分と前記遮蔽物体の像に対応する部分とを除外した部分の画像とを生成し、
前記表示装置は、前記合成実行部が合成した画像を表示することを特徴とする画像合成システム。

【請求項5】

画像合成装置の画像合成方法であって、
実画像を取得する実画像取得ステップと、
前記実画像に含まれる置換前物体の像に置き換えて当該実画像に合成される置換後物体の像を取得する置換後物体像取得ステップと、
前記実画像にて前記置換前物体の像を遮蔽する遮蔽物体の像の領域を検出する遮蔽物体像領域検出ステップと、
前記置換後物体の像のうち、前記遮蔽物体の像の領域に対応する部分を除外する被遮蔽部分除外ステップと、
前記実画像に対して、前記遮蔽物体の像の領域に対応する部分を除外した前記置換後物体の像の前記合成を行う合成実行ステップと、
を具備し、
前記被遮蔽部分除外ステップでは、前記置換後物体の像のうち、前記遮蔽物体の像に遮蔽された部分を除く前記置換前物体の像に対応する部分の画像と、前記置換後物体の像のうち、前記置換前物体の像に対応する部分と前記遮蔽物体の像に対応する部分とを除外した部分の画像とを生成することを特徴とする画像合成方法。

【請求項6】

画像合成装置としてのコンピュータに、
実画像を取得する実画像取得ステップと、
前記実画像に含まれる置換前物体の像に置き換えて当該実画像に合成される置換後物体の像を取得する置換後物体像取得ステップと、
前記実画像にて前記置換前物体の像を遮蔽する遮蔽物体の像の領域を検出する遮蔽物体像領域検出ステップと、
前記置換後物体の像のうち、前記遮蔽物体の像の領域に対応する部分を除外する被遮蔽部分除外ステップと、
前記実画像に対して、前記遮蔽物体の像の領域に対応する部分を除外した前記置換後物体の像の前記合成を行う合成実行ステップと、
を実行させ、
前記被遮蔽部分除外ステップでは、前記置換後物体の像のうち、前記遮蔽物体の像に遮蔽された部分を除く前記置換前物体の像に対応する部分の画像と、前記置換後物体の像のうち、前記置換前物体の像に対応する部分と前記遮蔽物体の像に対応する部分とを除外した部分の画像とを生成させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像合成装置、画像合成システム、画像合成方法およびプログラムに関する。

【背景技術】

【0002】

ロボットに現実の人間または動物（以下、「人間等」と称する）と同様の外観を与えて対人親和性を高めるための方法として、複合現実感（Mixed Reality）の技術を用いてロボットの像を人間等の像に置き換える方法が考えられる。
この方法では、ロボットを製造する際に、外観を人間等の外観に似せる必要が無いので、ロボットの設計・製造に要するコストや時間を低減させることができる。また、外観の変更も、合成する画像データを変更することで容易に行い得る。

【0003】

ここで、ロボットを用いずとも、実画像に仮想の人間等の像を合成することで、人間等のいない空間にあたかも人間等がいるように見せ得る。しかしながら、この方法では、仮想の人間等の位置と実物体との位置関係の把握が問題となる。
例えば、仮想の人間等の位置に向けて観察者（合成画像を見る者）が手を出した場合、観察者から見た手と仮想の人間等との重なりの前後関係を表現するために、重なり部分について仮想的な人間等の表示／非表示を制御する必要がある。なお、以下では、観察者から見て重なり合う物（仮想物を含む）の前後関係を「遮蔽関係」と称する。

【0004】

かかる遮蔽関係を把握するために観察者の手など実物体の位置（観察者の視点からの距離）を測定する方法として、例えばＴＯＦ（Time Of Flight）法がある。ＴＯＦ法では、光源から被写体（観察者の手などの実物体）へ光を照射し、反射光を光センサで検出する。そして、光を照射してから反射光を検出するまでの時間（光の飛行時間）に基づいて、光源やセンサと被写体との距離を測定する。
しかしながら、ＴＯＦ法を用いて遮蔽関係を把握する場合、ＴＯＦ法を実施するための精密装置が必要となり、装置の製造コストが増大してしまう。

【0005】

これに対して、ロボット（実物体）の像を人間等の像に置き換える上記の方法では、ロボットの位置が仮想の人間等の位置を示している。従って、ロボットと観察者の手との前後関係を把握することで、仮想の人間等と観察者の手との前後関係を把握することができ、ＴＯＦ法を実施するための装置等を必要としない。
また、ロボットの像を人間等の像に置き換える上記の方法では、観察者がロボットに触れた際に触感を提供することができる。

【0006】

もっとも、ロボットの像を人間等の像に置き換える上記の方法では、ロボットの像の形状と仮想の人間等の像の形状との相違部分の処理が問題となる。この点について、図１１〜図１３を参照して説明する。
図１１は、実画像の例を示す説明図であり、ユーザの手の像Ｉ１１０１と、ロボットの像Ｉ１１０２とを含む。また、図１２は、合成する人間の像（例えばComputer Graphics；ＣＧ）の例を示す説明図である。また、図１３は、合成の結果得られる画像の例を示す説明図である。図１１の実画像において、クロマキー技術を用いてロボットの像Ｉ１１０２の領域部分を図１２の人間の像に置き換えて図１３の画像を合成している。

【0007】

図１３において、ロボットの像Ｉ１１０２（図１１）の形状と、人間の像（図１２）の形状との相違により、人間の像のうち、ロボットの像Ｉ１１０２の領域からはみ出した部分が切り取られている。かかる人間の像の部分的な切り取りにより、観察者に違和感を与えてしまう。
また、図１３の例とは逆に、人間の像の領域に対してロボットの像Ｉ１１０２の領域がはみ出す場合は、図１２の画像のうち人間の像以外の部分が合成画像に含まれることになる。例えば、図１２の画像において人間の像以外の部分がマスクとなっていれば、ロボットの像Ｉ１１０２がはみ出した領域の画像情報が、合成画像において欠落する。かかる人間の像以外の部分の混入（例えば画像情報の欠落）により、人間の像が部分的に切り取られる場合と同様、観察者に違和感を与えてしまう。

【0008】

かかる問題への対処方法の1つとして、特許文献１に記載の画像処理システムを用いる方法がある。特許文献１に記載の画像処理システムは、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを選択する画像選択用デバイスと、ＣＧの周縁に後光画像を生成する後光生成用デバイスと、ＣＧと後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、合成画像を、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスとを備える。

【0009】

この画像処理システムを用いて実画像におけるロボットの像を仮想の人間等の像に置き換える際、人間等の像の大きさがロボットの像の大きさよりもやや小さくなるようにする。そうすると、人間等の像に対してロボットの像がはみ出した領域について合成画像では後光画像が表示され、観察者の違和感を低減させることができる。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特許第４０８３６８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

ここで、さらに後光画像の表示を不要とすることができれば、観察者の違和感をさらに低減させることができる。

【0012】

本発明は、このような事情に鑑みてなされたもので、その目的は、比較的低コストにて物の遮蔽関係に応じた画像合成を行うことができ、かつ、観察者の違和感をより低減させることのできる画像合成装置、画像合成システム、画像合成方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0013】

この発明は上述した課題を解決するためになされたもので、本発明の一態様による画像合成装置は、実画像を取得する実画像取得部と、前記実画像に含まれる置換前物体の像に置き換えて当該実画像に合成される置換後物体の像を取得する置換後物体像取得部と、前記実画像にて前記置換前物体の像を遮蔽する遮蔽物体の像の領域を検出する遮蔽物体像領域検出部と、前記置換後物体の像のうち、前記遮蔽物体の像の領域に対応する部分を除外する被遮蔽部分除外部と、前記実画像に対して、前記遮蔽物体の像の領域に対応する部分を除外した前記置換後物体の像の前記合成を行う合成実行部と、を具備し、前記被遮蔽部分除外部は、前記置換後物体の像のうち、前記遮蔽物体の像に遮蔽された部分を除く前記置換前物体の像に対応する部分の画像と、前記置換後物体の像のうち、前記置換前物体の像に対応する部分と前記遮蔽物体の像に対応する部分とを除外した部分の画像とを生成することを特徴とする。

【0014】

また、本発明の一態様による画像合成装置は、上述の画像合成装置であって、前記実画像に対するエッジ抽出を行って当該実画像を領域分割する領域分割部を具備し、前記遮蔽物体像領域検出部は、前記領域分割部が分割した領域のうち、少なくとも一部が前記置換前物体の像を遮蔽している領域を、前記遮蔽物体の像の領域として検出することを特徴とする。

【0015】

また、本発明の一態様による画像合成装置は、上述の画像合成装置であって、前記遮蔽物体の像による遮蔽が無い場合の前記置換前物体の像を取得する非遮蔽時像取得部と、前記遮蔽物体の像による遮蔽が無い場合の前記置換前物体の像と、前記遮蔽物体の像に遮蔽された部分を除いた前記置換前物体の像との差分を求めることで、前記置換前物体の像のうち前記遮蔽物体の像に遮蔽される領域を検出する遮蔽領域検出部と、を具備し、前記遮蔽物体像領域検出部は、前記実画像を分割した領域のうち、前記遮蔽領域検出部が検出した領域を含む領域を検出することを特徴とする。

【0017】

また、本発明の一態様による画像合成システムは、撮像装置と、画像合成装置と、表示装置とを具備し、前記画像合成装置は、前記撮像装置が撮像した実画像を取得する実画像取得部と、前記実画像に含まれる置換前物体の像に置き換えて当該実画像に合成される置換後物体の像を取得する置換後物体像取得部と、前記実画像にて前記置換前物体の像を遮蔽する遮蔽物体の像の領域を検出する遮蔽物体像領域検出部と、前記置換後物体の像のうち、前記遮蔽物体の像の領域に対応する部分を除外する被遮蔽部分除外部と、前記実画像に対して、前記遮蔽物体の像の領域に対応する部分を除外した前記置換後物体の像の前記合成を行う合成実行部と、を具備し、前記被遮蔽部分除外部は、前記置換後物体の像のうち、前記遮蔽物体の像に遮蔽された部分を除く前記置換前物体の像に対応する部分の画像と、前記置換後物体の像のうち、前記置換前物体の像に対応する部分と前記遮蔽物体の像に対応する部分とを除外した部分の画像とを生成し、前記表示装置は、前記合成実行部が合成した画像を表示することを特徴とする。

【0018】

また、本発明の一態様による画像合成方法は、画像合成装置の画像合成方法であって、実画像を取得する実画像取得ステップと、前記実画像に含まれる置換前物体の像に置き換えて当該実画像に合成される置換後物体の像を取得する置換後物体像取得ステップと、前記実画像にて前記置換前物体の像を遮蔽する遮蔽物体の像の領域を検出する遮蔽物体像領域検出ステップと、前記置換後物体の像のうち、前記遮蔽物体の像の領域に対応する部分を除外する被遮蔽部分除外ステップと、前記実画像に対して、前記遮蔽物体の像の領域に対応する部分を除外した前記置換後物体の像の前記合成を行う合成実行ステップと、を具備し、前記被遮蔽部分除外ステップでは、前記置換後物体の像のうち、前記遮蔽物体の像に遮蔽された部分を除く前記置換前物体の像に対応する部分の画像と、前記置換後物体の像のうち、前記置換前物体の像に対応する部分と前記遮蔽物体の像に対応する部分とを除外した部分の画像とを生成することを特徴とする画像合成方法。

【0019】

また、本発明の一態様によるプログラムは、画像合成装置としてのコンピュータに、実画像を取得する実画像取得ステップと、前記実画像に含まれる置換前物体の像に置き換えて当該実画像に合成される置換後物体の像を取得する置換後物体像取得ステップと、前記実画像にて前記置換前物体の像を遮蔽する遮蔽物体の像の領域を検出する遮蔽物体像領域検出ステップと、前記置換後物体の像のうち、前記遮蔽物体の像の領域に対応する部分を除外する被遮蔽部分除外ステップと、前記実画像に対して、前記遮蔽物体の像の領域に対応する部分を除外した前記置換後物体の像の前記合成を行う合成実行ステップと、を実行させ、前記被遮蔽部分除外ステップでは、前記置換後物体の像のうち、前記遮蔽物体の像に遮蔽された部分を除く前記置換前物体の像に対応する部分の画像と、前記置換後物体の像のうち、前記置換前物体の像に対応する部分と前記遮蔽物体の像に対応する部分とを除外した部分の画像とを生成させるためのプログラムである。

【発明の効果】

【0020】

本発明によれば、比較的低コストにて物の遮蔽関係に応じた画像合成を行うことができ、かつ、観察者の違和感をより低減させることができる。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施形態における画像構成システムの装置構成を示す概略構成図である。

【図2】同実施形態においてヘッドマウントディスプレイが撮像する実画像の例を示す説明図である。

【図3】同実施形態において画像合成装置が実画像に合成する像の例を示す説明図である。

【図4】同実施形態において画像合成装置が生成（合成）する画像の例を示す説明図である。

【図5】同実施形態における画像合成装置の機能構成を示す概略ブロック図である。

【図6】同実施形態において、画像合成装置が合成画像を生成する処理手順を示す説明図である。

【図7】同実施形態において、画像合成装置が合成画像を生成する処理手順を示す説明図である。

【図8】同実施形態における画像合成システムを適用した第１の態様の例を示す説明図である。

【図9】同実施形態における画像合成システムを適用した第２の態様の例を示す説明図である。

【図10】同実施形態において画像合成システムを適用した第３の態様の例を示す説明図である。

【図11】実画像の例を示す説明図である。

【図12】実画像に合成する人間の像の例を示す説明図である。

【図13】合成の結果得られる画像の例を示す説明図である。

【発明を実施するための形態】

【0022】

以下、図面を参照して、本発明の実施の形態について説明する。図１は、本発明の一実施形態における画像構成システムの装置構成を示す概略構成図である。同図において、画像合成システム１は、ロボット制御装置１００と、画像合成装置２００と、ＣＧデータサーバ装置３００と、ロボット４００と、センサ５００と、ヘッドマウントディスプレイ（Head Mounted Display；ＨＭＤ）６００と、ネットワーク７００とを具備する。ヘッドマウントディスプレイ６００は、撮像装置６１０と表示装置６２０とを具備する。

【0023】

ロボット制御装置１００と、画像合成装置２００と、ＣＧデータサーバ装置３００とは、それぞれネットワーク７００に接続されており通信可能である。また、ロボット制御装置１００とロボット４００とは無線通信可能である。また、画像合成装置２００とセンサ５００とは有線接続されており、通信可能である。また、画像合成装置２００とヘッドマウントディスプレイ６００とは、無線通信可能である。

【0024】

画像合成システム１は、複合現実感の画像を生成するシステムであり、ヘッドマウントディスプレイ６００が撮像する実画像（実空間を撮像した画像）に、実際には位置しない物体の像を合成する。
なお、ここでいう物体には人物を含む。従って、画像合成システム１が、ヘッドマウントディスプレイ６００の撮像する実画像に、実際には位置しない人物の像を合成するようにしてもよい。
また、ここでいう像は、物の外観を示す画像である。

【0025】

ロボット制御装置１００は、ロボット４００を制御して動作させ、ロボット４００の姿勢情報を画像合成装置２００に送信する。ロボット制御装置１００は、例えばパソコン（Personal Computer；ＰＣ）にて実現される。あるいは、ロボット制御装置１００は、マイコン（Micro Computer）にて実現されていてもよい。
なお、本実施形態では、ロボット４００が同一の位置に留まって姿勢を変化させる場合について説明するが、ロボット４００が自律歩行など移動するようにしてもよい。この場合、ロボット制御装置１００は、ロボット４００の姿勢および位置を制御し、ロボット４００の位置情報および姿勢情報を画像合成装置２００に送信する。

【0026】

ロボット４００は、本発明における置換前物体（画像合成装置２００によって像を他の像に置き換えられる物体）の一例である。ロボット４００は、画像合成装置２００が、実画像に像を合成する物体の位置を算出するために設けられている。すなわち、画像合成装置２００は、ロボット４００を他の物体に置き換えた画像を合成する。例えば、ロボット４００の外観は単色で構成されており、画像合成装置２００がクロマキー技術を用いてロボット４００の像を他の像に置き換える。
なお、本発明における置換前物体はロボットに限らない。外観を有する様々な物体を置換前物体として用いることができる。

【0027】

センサ５００は、ユーザ（ヘッドマウントディスプレイ６００を装着して合成画像を見る観察者）の頭部(頭および顔)の位置および姿勢（顔の向き）を検出し、検出した位置および姿勢の情報（以下、「センサ情報」と称する）を画像合成装置２００に出力する。
ここで、センサ５００として様々なセンサを用いることができる。例えば、センサ５００が、赤外線または超音波を照射し、反射波を解析してユーザの頭部の位置および姿勢を算出するようにしてもよい。あるいは、センサ５００が、ユーザの頭部の画像を撮像し、画像認識にてユーザの頭部の位置および姿勢を算出するようにしてもよい。あるいは、センサ５００が、ヘッドマウントディスプレイ６００に搭載されたジャイロセンサを具備し、当該ジャイロセンサの検出する角度および加速度に基づいて、ユーザの頭部の位置および姿勢を算出するようにしてもよい。

【0028】

なお、ユーザの頭部の位置および姿勢を検出する方法は、センサ５００を用いる方法に限らない。例えば、センサ５００に代えて位置マーカーとしてのマークを配置しておき、ヘッドマウントディスプレイ６００（撮像装置６１０）が撮像した画像に含まれるマークの像の大きさおよび歪みから、画像合成装置２００がユーザの頭部の位置および姿勢を算出するようにしてもよい。

【0029】

画像合成装置２００は、ヘッドマウントディスプレイ６００が撮像した実画像を取得し、当該実画像に含まれるロボット４００の像を、ＣＧデータサーバ装置３００の出力する像に置き換えた画像を合成し、ヘッドマウントディスプレイ６００に表示させる。画像合成装置２００は、例えばパソコンにて実現される。
ここで、図２〜図４を参照して、画像合成装置２００が合成する画像の例について説明する。

【0030】

図２は、ヘッドマウントディスプレイ６００が撮像する実画像の例を示す説明図である。同図に示す実画像は、ユーザがロボット４００に手を出した状態を撮像した画像である。この実画像は、ロボット４００の像の領域Ａ１１１と、ロボット４００の像を遮蔽しているユーザの手の像の領域Ａ１１２と、背景画像の領域Ａ１１３とを含んでいる。

【0031】

図３は、画像合成装置２００が実画像に合成する像の例を示す説明図である。同図に示す画像は、合成対象の像Ａ２１１を含み、背景領域Ａ２１２は無背景（例えば黒の単色）となっている。
なお、以下では、画像合成装置２００が像を実画像に合成する物体を「置換後物体」と称し、置換後物体の像を「置換後物体像」と称する。置換後物体は、図３に示す人物に限らない。外観を視覚的に表示可能な様々な物体の像を置換後物体とすることができる。また、置換後物体は、実在の物体であってもよいし架空の物体であってもよい。

【0032】

図４は、画像合成装置２００が生成（合成）する画像の例を示す説明図である。同図に示す画像は、図２の実画像においてロボット４００の像を図３に示される人物の像に置き換えた画像であり、当該人物の像の領域Ａ３１１と、ユーザの手の像の領域Ａ３１２と、背景画像の領域Ａ３１３とを含んでいる。

【0033】

ここで、図４に示される人物の像は、図２に示されるロボットの像と形状が異なるが、図２の場合と同様の遮蔽関係が保たれている。すなわち、ユーザの手が、人物の一部を遮蔽している（ユーザの手の像が、人物の像の手前に重なって、人物の像の一部を遮蔽している）。また、ユーザの手および人物が、背景の壁の一部を遮蔽している（ユーザの手の像および人物の像が、背景の壁の像の手前に重なって、壁の像の一部を遮蔽している）。
このように、画像合成装置２００は、ヘッドマウントディスプレイ６００が撮像した実画像において、遮蔽関係を保って、置換前物体の像を置換後物体の像に置き換える。

【0034】

ＣＧデータサーバ装置３００は、置換後物体である人物の様々な姿勢の像を出力可能である。そして、ＣＧデータサーバ装置３００は、ロボット制御装置１００が検出したロボット４００の姿勢、および、センサ５００が検出したユーザの頭部の位置および姿勢に応じて、ユーザから見たロボットの姿勢に応じた姿勢の像を画像合成装置２００に提供する。

【0035】

具体的には、ＣＧデータサーバ装置３００は、置換後物体である人物の３次元モデルを予め記憶している。この３次元モデルは、正面のみならず側面や背面も立体的に作られている３ＤＣＧ（3-Dimensional Computer Graphics、３次元コンピュータグラフィックス）である。また、この３次元モデルは、関節のある骨格を仕込まれており、関節角を設定することでポーズを調整することができる。
そして、ＣＧデータサーバ装置３００は、ロボット４００の関節角を取得し、人物の３次元モデルのポーズを当該関節角に対応したポーズに調整する。さらに、ＣＧデータサーバ装置３００は、ロボット４００とユーザとの位置関係に基づいて大きさおよび向きを調整した人物（置換後物体）のスナップショット（２次元画像）を取得する。

【0036】

また、ＣＧデータサーバ装置３００は、ロボット４００（置換前物体）の様々な姿勢の像を、遮蔽されていない状態の像（以下、「完全な像」と称する）にて出力可能である。具体的には、ＣＧデータサーバ装置３００は、ロボット４００の３次元モデルを予め記憶している。そして、ＣＧデータサーバ装置３００は、人物（置換後物体）のスナップショットの場合と同様、ロボット４００の完全な像のスナップショット（２次元画像）を、ロボット４００の関節角やロボット４００とユーザとの位置関係に基づいて、取得する。このＣＧデータサーバ装置３００が出力するロボット４００（置換前物体）の完全な像は、後述するように、画像合成装置２００が合成画像を生成する際に用いられる。なお、以下では、置換前物体の完全な像を「非遮蔽時像」と称する。
ＣＧデータサーバ装置３００は、例えばパソコンにて実現される。

【0037】

ヘッドマウントディスプレイ６００は、撮像装置６１０にてユーザの視野画像を撮像して画像合成装置２００に送信し、画像合成装置２００からの合成画像を表示装置６２０に表示する。
なお、本実施形態では、ヘッドマウントディスプレイ６００としてビデオシースルー（Video See-Through）型のヘッドマウントディスプレイを用いる場合について説明するが、これに限らない。例えば、ヘッドマウントディスプレイ６００として、光学シースルー（Optical See-Through）型のヘッドマウントディスプレイを用いるようにしてもよい。具体的には、本実施形態では、ヘッドマウントディスプレイ６００は、撮像装置で撮像した外部の画像に基づく合成画像を表示装置に表示する。これに代えて、ヘッドマウントディスプレイ６００が、外部からの光線の一部を遮蔽して置換後物体の像を示す光線に置き換え、他の部分（遮蔽物体の像の領域や、背景画像の領域）について外界からの光線を透過させることで、実画像に基づく合成画像を表示するようにしてもよい。

【0038】

ネットワーク７００は、例えばＬＡＮ（Local Area Network）等の通信ネットワークであり、ロボット制御装置１００と画像合成装置２００とＣＧデータサーバ装置３００との通信を仲介する。
なお、本発明は各部の通信形態に依存しない。従って、各部の通信方式として、図１に示すものに限らず様々なものを用いることができる。例えば、画像合成装置２００とセンサ５００とが無線にて通信を行うようにしてもよい。また、ロボット制御装置１００とロボット４００とが有線接続されて通信を行うようにしてもよい。同様に、画像合成装置２００とヘッドマウントディスプレイ６００とが有線接続されて通信を行うようにしてもよい。
また、ロボット制御装置１００と、画像合成装置２００とが、ネットワーク７００を介さず直接、有線または無線接続されて通信するようにしてもよい。また、画像合成装置２００とＣＧデータサーバ装置３００とが、ネットワーク７００を介さず直接、有線または無線接続されて通信するようにしてもよい。また、ロボット制御装置１００とロボット４００と、あるいは、画像合成装置２００とセンサ５００と、あるいは、画像合成装置２００とヘッドマウントディスプレイ６００とが、ネットワーク７００を介して通信を行うようにしてもよい。
なお、本実施形態では、ロボット制御装置１００と、画像合成装置２００と、ＣＧデータサーバ装置３００とは別個の装置にて実現されているが、これらのうち２つ、あるいは３つ全てが、１つの装置（例えば１台のパソコン）にて実現されるようにしてもよい。

【0039】

次に、図５を参照して、画像合成装置２００の構成についてより詳細に説明する。
図５は、画像合成装置２００の機能構成を示す概略ブロック図である。同図において、画像合成装置２００は、ネットワーク通信部２０１と、センサ情報取得部２０２と、ＨＭＤ通信部２０３と、制御部２１０とを具備する。制御部２１０は、置換後物体像取得部２２１と、置換後物体像マスク処理部２２２と、非遮蔽時像取得部２３１と、非遮蔽時像マスク化処理部２３２と、周囲画像取得部２３３と、実画像取得部２４１と、置換前物体像領域処理部２４２と、領域分割部２４３と、遮蔽領域検出部２５１と、遮蔽物体像領域検出部２５２と、遮蔽物体像領域処理部２５３と、被遮蔽部分除外部２５４と、合成実行部２５５とを具備する。

【0040】

ネットワーク通信部２０１は、ネットワーク７００に接続しており、ロボット制御装置１００やＣＧデータサーバ装置３００と通信して各種データを取得する。
センサ情報取得部２０２は、センサ５００と通信してセンサ情報を取得する。
ＨＭＤ通信部２０３は、ヘッドマウントディスプレイ６００と通信して、撮像装置６１０が撮像した実画像のデータを取得し、表示装置６２０に表示させる合成画像データを送信する。

【0041】

制御部２１０は、画像合成装置２００の各部を制御して、画像合成を実行する。制御部２１０は、例えば、画像合成装置２００としてのパソコンの具備するＣＰＵ（Central Processing Unit、中央制御装置）が、当該パソコンの具備する記憶デバイスからプログラムを読み出して実行することで実現される。制御部２１０の各部は、例えば制御部２１０が実行するプログラムのモジュール（例えばサブルーチン）として構成される。

【0042】

置換後物体像取得部２２１は、実画像に含まれる置換前物体の像に置き換えて当該実画像に合成される置換後物体の像を取得する。具体的には、置換後物体像取得部２２１は、まず、センサ情報取得部２０２が取得したセンサ情報に基づいて、ユーザから見たロボット４００の姿勢を算出する。そして、置換後物体像取得部２２１は、算出した姿勢の情報を、ネットワーク通信部２０１を介してＣＧデータサーバ装置３００に送信し、当該姿勢に該当する置換後物体像（本実施形態では人物の像）を、ＣＧデータサーバ装置３００から取得する。さらに、置換後物体像取得部２２１は、取得した人物の像に対して位置合わせおよび大きさ調整（拡大／縮小）を行って、実画像におけるロボット４００の像に重ね合わせる。より具体的には、置換後物体像取得部２２１は、人物の像の大きさを、身長または肩幅など体の一部の寸法を基準としてロボット４００の像と同等の大きさとし、空間内における人物の座標がロボット４００の座標と一致するように、人物の像を重ね合わせる。ロボット４００として置換後物体よりも痩せている（やや小さい）ロボットを用いることで、ロボット４００の像全体に人物の像を重ねる（ロボット４００の像を隠す）ことができる。

【0043】

置換後物体像マスク処理部２２２は、置換後物体像取得部２２１が取得した置換後物体像に応じたマスクの生成や、生成したマスクの実画像への適用を行う。
非遮蔽時像取得部２３１は、遮蔽物体の像による遮蔽が無い場合の置換前物体の像を取得する。具体的には、上記のように、ＣＧデータサーバ装置３００が、ロボット４００（置換前物体）の様々な姿勢の完全な像を出力可能である。また、非遮蔽時像取得部２３１は、置換後物体像取得部２２１と同様、センサ情報取得部２０２が取得したセンサ情報に基づいて、ユーザから見たロボット４００の姿勢を算出する。そして、非遮蔽時像取得部２３１は、算出した姿勢の情報を、ネットワーク通信部２０１を介してＣＧデータサーバ装置３００に送信し、当該姿勢に該当するロボット４００の完全な像を、ＣＧデータサーバ装置３００から取得する。さらに、非遮蔽時像取得部２３１は、取得したロボット４００の像に対して位置合わせおよび大きさ調整を行って、実画像におけるロボット４００の像に重ね合わせる（ユーザの手によって遮蔽された部分以外は像が一致するように重ねる）。

【0044】

非遮蔽時像マスク化処理部２３２は、非遮蔽時像取得部２３１が取得した置換前物体の像をマスク化する。
周囲画像取得部２３３は、非遮蔽時像マスク化処理部２３２が生成したマスクを置換後物体像取得部２２１が取得した置換後物体像に適用することで、置換後物体の像のうち、置換前物体の像（遮蔽無し）に重ね合わせられる部分以外の部分の画像を取得（生成）する。

【0045】

実画像取得部２４１は、撮像装置６１０が撮像した実画像を、ＨＭＤ通信部２０３を介して取得する。
置換前物体像領域処理部２４２は、実画像取得部２４１が取得した実画像に含まれる置換前物体像の領域（単色領域）を抽出し、抽出した領域に基づいてマスクを生成する。

【0046】

領域分割部２４３は、実画像に対するエッジ抽出（微分処理）を行って当該実画像を領域分割する。領域分割部２４３がエッジ抽出を行うことで、同一物体の色がグラデーションや陰影（shade）により変化する場合でも、当該同一物体の画像の領域を同一領域として検出し得る。

【0047】

遮蔽領域検出部２５１は、遮蔽物体の像による遮蔽が無い場合の置換前物体の像と、遮蔽物体の像に遮蔽された部分を除いた置換前物体の像との差分を求めることで、置換前物体の像のうち遮蔽物体の像に遮蔽される領域（図２の例では、ユーザの手の像で遮蔽されている領域）を検出する。

【0048】

遮蔽物体像領域検出部２５２は、実画像にて置換前物体の像を遮蔽する遮蔽物体の像の領域を検出する。具体的には、遮蔽物体像領域検出部２５２は、領域分割部２４３が分割した領域のうち、少なくとも一部が置換前物体の像を遮蔽している領域（図２の例では、ユーザの手の像の領域）を、遮蔽物体の像の領域として検出する。さらに具体的には、遮蔽物体像領域検出部２５２は、実画像を分割した領域のうち、遮蔽領域検出部２５１が検出した、置換前物体の像のうち遮蔽物体の像に遮蔽される領域を含む領域を検出する。

【0049】

遮蔽物体像領域処理部２５３は、遮蔽物体像領域検出部２５２が検出した遮蔽物体の像に対して、実画像からの抽出（合成用部分画像の生成）やマスク化の処理を行う。
被遮蔽部分除外部２５４は、置換後物体の像のうち、遮蔽物体の像の領域に対応する部分を除外する。ここで、置換後物体の像のうち、遮蔽物体の像の領域に対応する部分とは、置換後物体の像のうち、合成後の画像にて遮蔽物体の像に遮蔽される部分である。

【0050】

具体的には、被遮蔽部分除外部２５４は、置換後物体の像のうち、置換前物体の像に置き換わる部分の画像と、その周囲の画像の各々について、遮蔽物体の像の領域に対応する部分を除外した画像を生成する。すなわち、被遮蔽部分除外部２５４は、置換後物体の像のうち、遮蔽物体の像に遮蔽された部分を除く置換前物体の像に対応する部分の画像と、置換後物体の像のうち、置換前物体の像に対応する部分と遮蔽物体の像に対応する部分とを除外した部分の画像とを生成する。

【0051】

合成実行部２５５は、実画像に対して、遮蔽物体の像の領域に対応する部分を除外した置換後物体の像の合成を行う。合成実行部２５５が行う処理の具体例については後述する。

【0052】

次に、図６および図７を参照して画像合成装置２００の動作について説明する。
図６および図７は、画像合成装置２００が合成画像を生成する処理手順を示す説明図である。画像合成装置２００は、例えば、ＨＭＤ通信部２０３から実画像Ｐ３１０（動画像のフレーム）を受信する毎に、同図の処理を行う。その際、置換後物体像取得部２２１が、ＣＧデータサーバ装置３００から置換後物体の像Ｐ１１０（本実施形態では人物の画像）を取得し、非遮蔽時像取得部２３１が、ＣＧデータサーバ装置３００から非遮蔽時像Ｐ２１０（本実施形態では、ロボット４００の完全な像）とを取得する。

【0053】

同図の処理において、置換後物体像マスク処理部２２２は、まず、置換後物体像取得部２２１が取得した置換後物体の像Ｐ１１０に対して単色化を行い、画像Ｐ１１１を生成する（ステップＳ１１１）。次に、置換後物体像マスク処理部２２２は、単色化された画像Ｐ１１１から単色の領域を抽出して画像Ｐ１１２を生成する（ステップＳ１１２）。画像Ｐ１１２は、置換後物体の画像の領域と、背景の領域（置換後物体の像Ｐ１１０にて無背景として設定されている領域）とに分割されている。

【0054】

次に、置換後物体像マスク処理部２２２は、画像Ｐ１１２をマスク化して、マスクＰ１１３を生成する（ステップＳ１１３）。マスクＰ１１３では、背景の領域がマスクされ（画像無しに設定され）、置換後物体の画像の領域が非マスクとされている（画像有りに設定されている）。
ただし、画像合成装置２００がマスクＰ１１３を取得する方法は、ステップＳ１１１〜Ｓ１１３の処理を行う方法に限らない。例えば、ＣＧデータサーバ装置３００が、置換後物体の画像と共に当該画像に対応するマスクを合成する、あるいは、単色に塗り潰された人物（置換後物体）のＣＧ画像を予め記憶しておき当該ＣＧ画像からマスクを生成するようにしてもよい。そして、画像合成装置２００が、ＣＧデータサーバ装置３００から、置換後物体の画像と共にマスクを取得するようにしてもよい。

【0055】

次に、置換後物体像マスク処理部２２２は、マスクＰ１１３を反転させてマスクＰ１２１を生成する（ステップＳ１２１）。すなわち、マスクＰ１２１では、置換後物体の画像の領域がマスクされ、背景の領域が非マスクとされている。
そして、置換後物体像マスク処理部２２２は、マスクＰ１２１を実画像Ｐ３１０に適用して、画像Ｐ１２２を生成する（ステップＳ１２２）。この画像Ｐ１２２は、画像合成装置２００が生成する合成画像の一部として用いられる。画像Ｐ１２２は、実画像Ｐ３１０のうち、置換後物体の像の影響を受けない部分の画像である。従って、画像合成装置２００（合成実行部２５５）は、画像Ｐ１２２については、遮蔽関係を検出する必要無しに、そのまま合成することができる。

【0056】

一方、非遮蔽時像マスク化処理部２３２は、まず、非遮蔽時像取得部２３１が取得した非遮蔽時像Ｐ２１０に対して単色の色（クロマキー処理のためにロボット４００に彩色されている色）を抽出し、画像Ｐ２１１を生成する（ステップＳ２１１）。画像Ｐ２１１は、非遮蔽時像の領域（置換前物体としてのロボット４００の完全な像の領域）と、背景の領域とに分割されている。

【0057】

次に、非遮蔽時像マスク化処理部２３２は、画像Ｐ２１１をマスク化して、マスクＰ２１２を生成する（ステップＳ２１２）。マスクＰ２１２では、非遮蔽時像の領域がマスクされ、背景の領域が非マスクとされている。
そして、周囲画像取得部２３３が、マスクＰ２１２を置換後物体の像Ｐ２２１に適用して画像Ｐ２２１を生成する（ステップＳ２２１）。画像Ｐ２２１は、置換後物体の像のうち、置換前物体の像に対応する領域を除いた周囲の領域の画像である。この周囲の領域は、実画像にて遮蔽関係が示されていない領域であり、画像合成装置２００が実物体との遮蔽関係を検出する必要がある。
また、遮蔽領域検出部２５１は、マスクＰ２１２を反転させてマスクＰ２３１を生成する（ステップＳ２３１）。すなわち、マスクＰ２３１では、背景の領域がマスクされ、非遮蔽時像の領域が非マスクとされている。

【0058】

一方、置換前物体像領域処理部２４２は、実画像取得部２４１が取得した実画像Ｐ３１０から単色の領域を抽出して、画像Ｐ３１１を取得する（ステップＳ３１１）。具体的には、置換前物体像領域処理部２４２は、クロマキー処理のためにロボット４００に彩色されている色の領域を実画像Ｐ３１０から抽出することで、置換前物体の像のうち遮蔽されていない部分の領域を検出する。
次に、置換前物体像領域処理部２４２は、画像Ｐ３１１をマスク化してマスクＰ３１２を生成する（ステップＳ３１２）。マスクＰ３１２では、置換前物体の像のうち遮蔽されていない部分の領域がマスクされ、それ以外の領域（背景の領域および遮蔽物体の像の領域）が非マスクとされている。

【0059】

さらに、置換前物体像領域処理部２４２は、マスクＰ３１２を反転させてマスクＰ３１３を生成する（ステップＳ３１３）。すなわち、マスクＰ３１３では、置換前物体の像のうち遮蔽されていない部分の領域が非マスクとされ、それ以外の領域（背景の領域および遮蔽物体の像の領域）がマスクされている。

【0060】

そして、被遮蔽部分除外部２５４が、マスクＰ３１３を置換後物体の像Ｐ１１０に適用して、画像Ｐ３１４を生成する。画像Ｐ３１４は、実画像にて遮蔽関係が示されている領域（遮蔽物体の影響を受けていない領域）の画像である。従って、画像合成装置２００（合成実行部２５５）は、画像Ｐ３１４については、さらに遮蔽関係を検出する必要無しに、そのまま合成することができる。

【0061】

一方、領域分割部２４３は、実画像取得部２４１画取得した実画像Ｐ３１０からエッジを抽出して、画像Ｐ３２２を取得する（ステップＳ３２１）。
そして、領域分割部２４３は、置換前物体像領域処理部２４２が生成した単色領域の画像Ｐ３１１を参照し（ステップＳ３２２）、エッジの画像Ｐ３２２における単色領域内のエッジを無視（削除）して、画像Ｐ３２３を生成する（ステップＳ３２３）。

【0062】

一方、遮蔽領域検出部２５１は、ステップＳ２３１で生成したマスクＰ２３１と、置換前物体像領域処理部２４２が生成したマスクＰ３１２とを足し合わせて、マスクＰ４２１を生成する（ステップＳ４２１）。マスクＰ４２１では、置換前物体の像が遮蔽物体の像で遮蔽されている部分のみが非マスクに設定されており、他の領域（置換前物体の像が遮蔽されていない領域、および背景の領域）はマスクされている。すなわち、遮蔽領域検出部２５１は、マスクＰ４２１を生成することで、実画像Ｐ３１０において置換前物体の像が遮蔽物体の像に遮蔽されている部分を検出している。

【0063】

一方、遮蔽物体像領域検出部２５２は、置換後物体像マスク処理部２２２が生成したマスクＰ１１３を、領域分割部２４３が生成した画像Ｐ３２３（分割領域画像）に適用して、画像Ｐ４１１を生成する。画像Ｐ４１１は、実画像Ｐ３１０のうち、遮蔽関係が問題となり得る部分（置換後物体の像に対応する部分）の領域分割を示す画像である。

【0064】

次に、遮蔽物体像領域検出部２５２は、画像Ｐ４１１の各領域についてマスクＰ４２１（における非マスクの領域）との重なりの有無を判定する（ステップＳ４２２）。そして、遮蔽物体像領域検出部２５２は、画像Ｐ４１１の各領域のうち、マスクＰ４２１（における非マスクの領域）と一部でも重なりのある領域全体を抽出して、画像Ｐ４２３を生成する（ステップＳ４２３）。すなわち、遮蔽物体像領域検出部２５２は、遮蔽領域検出部２５１が検出した、遮蔽物体の像が置換前物体の像を遮蔽している領域に基づいて、遮蔽物体の像の領域（のうち、置換後物体の像に対応する部分）を検出している。

【0065】

そして、遮蔽物体像領域処理部２５３は、画像Ｐ４２３をマスク化してマスクＰ４２４を生成する（ステップＳ４２４）。マスクＰ４２４では、遮蔽物体の像の領域（のうち、置換後物体の像に対応する部分）が非マスクとされ、他の領域（置換後物体の像の領域うち、遮蔽物体の像に遮蔽されない部分、および背景の領域）がマスクされている。
また、遮蔽物体像領域処理部２５３は、マスクＰ４２４を、実画像Ｐ３１０に適用して、画像Ｐ４３１を生成する（ステップＳ４３１）。画像Ｐ４３１は、遮蔽物体の像（のうち、置換後物体の像に対応する部分）である。

【0066】

また、被遮蔽部分除外部２５４は、マスクＰ４２４を反転し、周囲画像取得部２３３が生成した画像Ｐ２２１に適用して、画像Ｐ４４１を生成する（ステップＳ４４１）。画像Ｐ４４１は、置換後物体の像のうち周囲部分について、遮蔽物体に遮蔽される部分を除外した画像である。すなわち、画像Ｐ４４１と画像Ｐ３１４とを足し合わせると、置換後物体の像のうち、遮蔽物体に遮蔽されていない部分の画像が得られる。

【0067】

そして、合成実行部２５５は、画像Ｐ１２２と、画像Ｐ３１４と、画像Ｐ４３１と、画像Ｐ４４１とを足し合わせて合成画像Ｐ５１１を生成する。
これにより、置換前物体と遮蔽物体との遮蔽関係を、置換後物体のうちの周囲部分（置換前物体の像の領域に対応付けられる部分以外の部分）にも反映させた、自然な遮蔽関係を示す画像を得られる。

【0068】

次に、図８〜図１０を参照して、画像合成システム１を適用する態様について説明する。
図８は、画像合成システム１を適用した第１の態様の例を示す説明図である。同図に示す態様では、画像合成システム１（ＣＧデータサーバ装置３００）は、置換後物体として複数のキャラクタの画像データを合成する。
図８の例では、ＣＧデータサーバ装置３００は、４つのキャラクタＣ１１１〜Ｃ１１４の各々について３次元モデルを予め記憶しており、様々な姿勢の像について、ユーザの任意の視点から見たスナップショット（２次元画像）を出力可能である。そして、画像合成システム１は、ユーザが選択したキャラクタ（図８の例ではキャラクタＣ１１１）の像を、実画像に合成して（ロボット４００の像から置き換えて）ユーザに提示する。

【0069】

画像合成システム１では、ロボット４００と異なる形状のキャラクタであっても、キャラクタの周辺部分が欠けないので、ユーザは、リアリティのある体験をすることができる。
なお、ロボット４００は、自動操縦されていてもよし、他者が遠隔操作にてロボット４００を操縦するようにしてもよい。
また、ＣＧデータサーバ装置３００がインターネット上にあるなど、共用可能な形態であってもよい。

【0070】

図９は、画像合成システム１を適用した第２の態様の例を示す説明図である。同図に示す態様では、ユーザと対話相手とは、それぞれアバターサービス（例えば仮想世界サービス）にログインし、アバター同士での対話を行う。
画像合成システム１は、対話相手のアバターとしてのキャラクタＣ２１１の像を実画像に合成してユーザに提示する。この第２の態様では、対話相手が、パソコンをロボット制御装置１００として使用してロボット４００を遠隔操作する。ユーザは、対話相手のアバターとの対話を、臨場感を持って楽しむことができる。
なお、対話相手のアバターとしてのキャラクタＣ２１１とユーザ（のアバター）とが対話する世界Ｗ２１１は、仮想世界であっても良いし、ユーザの部屋など実空間であってもよい。

【0071】

図１０は、画像合成システム１を適用した第３の態様の例を示す説明図である。図９の例の場合と同様、図１０に示す態様では、ユーザと対話相手とは、それぞれアバターサービス（例えば仮想世界サービス）にログインし、アバター同士（アバターＣ３１１およびＣ３１２）での対話を行う。一方、図１０の例では、図９の場合と異なり、ユーザと対話相手との双方が、ロボット（ロボット４００−１および４００−２）を所持している。

【0072】

この場合、画像合成システム１は、お互いのアバターが相手のロボットに乗り移ったかのように画像を合成する。これにより、ユーザや対話相手は、アバター同士の対話を、一層の臨場感をもって楽しむことができる。
なお、対話相手のアバターＣ３１１とユーザのアバターＣ３１２とが対話する世界Ｗ３１１は、仮想世界であっても良いし、互いの部屋（ユーザの部屋および対話相手の部屋）など実空間であってもよい。

【0073】

なお、画像合成システム１の用途としては、キャラクタの体験やアバターを用いての対話などのエンターテイメント用途以外にも、様々な用途が考えられる。例えば、ロックスターが登場してギターを教えてくれるなどの教育用コンテンツを構築することもできる。あるいは、医療用途として、画像合成システム１を対人恐怖症の治療のために用いることも考えられる。また、患者に対する医者の対応をトレーニングするための模擬患者として画像合成システム１を用いることも可能である。

【0074】

以上のように、遮蔽物体像領域検出部２５２が、遮蔽物体の像の領域を検出する。そして、被遮蔽部分除外部２５４は、置換後物体の像のうち、遮蔽物体の像の領域に対応する部分を除外する。そして、合成実行部２５５は、実画像（図７の例では、画像Ｐ１２２およびＰ４３１）に対して、遮蔽物体の像の領域に対応する部分を除外した置換後物体の像の合成を行う。
これにより、画像合成装置２００は、置換前物体の像と遮蔽物体の像との遮蔽関係を把握することで、置換後物体の像と遮蔽物体の像との遮蔽関係を把握することができる。従って、画像合成システム１では、ＴＯＦ等の装置を必要とせずに比較的低コストにて物の遮蔽関係に応じた画像合成を行うことができる。かつ、画像合成システム１では、置換前物体と置換後物体との差を埋めるための後光の表示を行う必要が無く、観察者の違和感をより低減させることができる。

【0075】

また、画像合成システム１は、ユーザの手の色などの色情報を用いずに合成画像を生成する。この点で、画像合成システム１は汎用性が高い。
また、画像合成システム１では、ロボットなど置換前物体を、人物など置換後物体に対して大きくする必要がない。従って、ロボットなど置換前物体のデザインの自由度が高い。また、置換後物体（合成する画像）についても、ロボットの形状に併せてショートカットにするなど形状の制約が不要となる。すなわち、置換後物体について形状の自由度が増した。

【0076】

また、領域分割部２４３は、実画像に対するエッジ抽出を行って当該実画像を領域分割する。そして、遮蔽物体像領域検出部２５２は、領域分割部２４３が分割した領域のうち、少なくとも一部が置換前物体の像を遮蔽している領域を、遮蔽物体の像の領域として検出する
これにより、遮蔽物体像領域検出部２５２は、合成画像における置換後物体の像と、遮蔽物体との遮蔽関係をより正確に把握することができる。

【0077】

また、遮蔽領域検出部２５１は、遮蔽物体の像による遮蔽が無い場合の置換前物体の像と、遮蔽物体の像に遮蔽された部分を除いた置換前物体の像との差分を求めることで、前記置換前物体の像のうち前記遮蔽物体の像に遮蔽される領域を検出する。そして、遮蔽物体像領域検出部２５２は、実画像を分割した領域のうち、遮蔽領域検出部２５１が検出した領域を含む領域を検出する。
これにより、画像合成システム１は、図６〜図７のステップＳ４２１におけるマスクの足し合わせ、および、ステップＳ４２２〜Ｓ４２３における重なりのある領域の検出といった、簡単な画像処理や判定にて、合成画像における遮蔽関係を検出することができる。

【0078】

また、被遮蔽部分除外部２５４は、置換後物体の像のうち、遮蔽物体の像に遮蔽された部分を除く置換前物体の像に対応する部分の画像と、置換後物体の像のうち、置換前物体の像に対応する部分と遮蔽物体の像に対応する部分とを除外した部分の画像とを生成する。ここで、遮蔽物体の像に遮蔽された部分を除く置換前物体の像に対応する部分については、置換後物体と遮蔽物体との遮蔽関係を改めて求める必要なしに、そのまま置換後物体の画像を合成すればよい。従って、被遮蔽部分除外部２５４は、置換後物体の像の領域のうち、置換前物体の像の周辺に該当する領域について、遮蔽物体との遮蔽関係を検出すればよい。

【0079】

なお、本発明の適用範囲は、上述したヘッドマウントディスプレイを用いる構成に限らない。例えば固定カメラで固定のスクリーンに表示するものなど、ロボットと物との前後関係が生じる様々な構成に本発明を適用し得る。あるいは、本発明における表示装置として、スマートフォンや、パソコンのディスプレイを用いるようにもできる。

【0080】

なお、制御部２１０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することで各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0081】

以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【符号の説明】

【0082】

１ 画像合成システム
１００ ロボット制御装置
２００ 画像合成装置
２０１ ネットワーク通信部
２０２ センサ情報取得部
２０３ ＨＭＤ通信部
２１０ 制御部
２２１ 置換後物体像取得部
２２２ 置換後物体像マスク処理部
２３１ 非遮蔽時像取得部
２３２ 非遮蔽時像マスク化処理部
２３３ 周囲画像取得部
２４１ 実画像取得部
２４２ 置換前物体像領域処理部
２４３ 領域分割部
２５１ 遮蔽領域検出部
２５２ 遮蔽物体像領域検出部
２５３ 遮蔽物体像領域処理部
２５４ 被遮蔽部分除外部
２５５ 合成実行部
３００ ＣＧデータサーバ装置
４００ ロボット
５００ センサ
６００ ヘッドマウントディスプレイ
７００ ネットワーク

【図1】

【図5】

【図8】

【図9】

【図10】

【図2】

【図3】

【図4】

【図6】

【図7】

【図11】

【図12】

【図13】