特許 7589608 テレプレゼンスシステム、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-18

(45)【発行日】2024-11-26

(54)【発明の名称】テレプレゼンスシステム、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   H04N 7/14 20060101AFI20241119BHJP

【ＦＩ】

H04N7/14 120

【請求項の数】 4

(21)【出願番号】P 2021046730

(22)【出願日】2021-03-22

(65)【公開番号】P2022145977

(43)【公開日】2022-10-05

【審査請求日】2023-09-12

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】木田 祐介

(72)【発明者】

【氏名】中山 貴裕

【審査官】醍醐 一貴

(56)【参考文献】

【文献】特開２０２１－０２７３９５（ＪＰ，Ａ）

【文献】特開２００６－３５２７４９（ＪＰ，Ａ）

【文献】特開２０１７－１４３３７６（ＪＰ，Ａ）

【文献】特開２００６－３３３３０１（ＪＰ，Ａ）

【文献】特開２０１４－１７５８３７（ＪＰ，Ａ）

【文献】古谷 優樹 ，遠隔者の身体的存在感を高めるテレプレゼンスロボットの提案，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2020年04月27日，Vol. 119 No. 446，PP.53-57

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４－７／１７３

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

第１の拠点に配置されたテレプレゼンスロボットの表示部に表示される画像を処理する画像処理装置であって、前記表示部の背面方向を撮影した画像情報をリアルタイムに取得する背景画像取得部と、前記第１の拠点に対して遠隔地である第２の拠点の人物を含む画像情報をリアルタイムに取得する人物画像取得部と、前記人物を含む画像情報から当該人物が映り込んだ領域を抽出する抽出部と、前記抽出した人物の画像情報と前記表示部の背面方向の画像情報とを合成する合成部と、を備える画像処理装置と、
前記第２の拠点の人物を含む領域を撮影する人物撮影部と、
前記表示部が設けられたテレプレゼンスロボットと、
前記表示部の背面方向を撮影する背景撮影部と、
を備える、テレプレゼンスシステムであって、
前記表示部として、第１の表示部と、前記第１の表示部に対して異なる方向に向かって画像を表示する第２の表示部と、を有し、
前記背景撮影部として、前記第１の表示部の背面方向を撮影する第１の撮影部と、前記第２の表示部の背面方向を撮影する第２の撮影部と、を有する、テレプレゼンスシステム。

【請求項2】

第１の拠点に配置されたテレプレゼンスロボットの表示部に表示される画像を処理する画像処理装置であって、前記表示部の背面方向を撮影した画像情報をリアルタイムに取得する背景画像取得部と、前記第１の拠点に対して遠隔地である第２の拠点の人物を含む画像情報をリアルタイムに取得する人物画像取得部と、前記人物を含む画像情報から当該人物が映り込んだ領域を抽出する抽出部と、前記抽出した人物の画像情報と前記表示部の背面方向の画像情報とを合成する合成部と、を備える画像処理装置と、
前記第２の拠点の人物を含む領域を撮影する人物撮影部と、
前記表示部が設けられたテレプレゼンスロボットと、
前記表示部の背面方向を撮影する背景撮影部と、
を備える、テレプレゼンスシステムであって、
前記表示部として、第１の表示部と、前記第１の表示部に対して異なる方向に向かって画像を表示する第２の表示部と、を有し、
前記背景撮影部として、３６０度カメラを有する、テレプレゼンスシステム。

【請求項3】

第１の拠点に配置されたテレプレゼンスロボットの表示部に表示される画像を処理する画像処理方法であって、
前記テレプレゼンスロボットの第１の表示部の背面方向を前記テレプレゼンスロボットの第１の撮影部によって撮影した画像情報をリアルタイムに取得する工程と、
前記テレプレゼンスロボットにおける前記第１の表示部に対して異なる方向に向かって画像を表示する第２の表示部の背面方向を前記テレプレゼンスロボットの第２の撮影部によって撮影した画像情報をリアルタイムに取得する工程と、
前記第１の拠点に対して遠隔地である第２の拠点の人物を含む画像情報をリアルタイムに取得する工程と、
前記人物を含む画像情報から当該人物が映り込んだ領域を抽出する工程と、
前記抽出した人物の画像情報と前記第１の表示部の背面方向の画像情報とを合成して前記第１の表示部に表示する工程と、
前記抽出した人物の画像情報と前記第２の表示部の背面方向の画像情報とを合成して前記第２の表示部に表示する工程と、
を備える、画像処理方法。

【請求項4】

第１の拠点に配置されたテレプレゼンスロボットの表示部に表示される画像を処理する画像処理プログラムであって、
前記テレプレゼンスロボットの３６０度カメラによって取得した前記テレプレゼンスロボットの周辺全域の画像情報に基づいて前記テレプレゼンスロボットの第１の表示部の背面方向の画像情報をリアルタイムに取得する処理と、
前記テレプレゼンスロボットの周辺全域の画像情報に基づいて前記テレプレゼンスロボットにおける前記第１の表示部に対して異なる方向に向かって画像を表示する第２の表示部の背面方向の画像情報をリアルタイムに取得する処理と、
前記第１の拠点に対して遠隔地である第２の拠点の人物を含む画像情報をリアルタイムに取得する処理と、
前記人物を含む画像情報から当該人物が映り込んだ領域を抽出する処理と、
前記抽出した人物の画像情報と前記第１の表示部の背面方向の画像情報とを合成して前記第１の表示部に表示する処理と、
前記抽出した人物の画像情報と前記第２の表示部の背面方向の画像情報とを合成して前記第２の表示部に表示する処理と、
をコンピュータに実行させる、画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、テレプレゼンスシステム、画像処理方法及び画像処理プログラムに関し、例えば、テレプレゼンスロボットの表示部に表示される画像を処理する画像処理装置、テレプレゼンスシステム、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

近年、対話の一方の人物に対して他方の人物が、遠隔地に居ながらにして一方の人物がいる場所に居るように、一方の人物に感じさせて対話を実現するためのテレプレゼンス技術が一般化されている。

【0003】

このようなテレプレゼンス技術は、例えば、特許文献１に開示されているように、第１の拠点に配置されたテレプレゼンスロボットの表示部に、第１の拠点に対して遠隔地である第２の拠点の人物を含む画像を表示し、第２の拠点に居る人物が第１の拠点に居るような仮想状態を実現している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－２０８４１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本出願人は、以下の課題を見出した。特許文献１のテレプレゼンス技術は、テレプレゼンスロボットの表示部に第２の拠点の人物の他に当該人物の背景も映り込んだ画像を表示する。そのため、第２の拠点に居る人物が第１の拠点に居るような仮想状態において、臨場感に乏しい課題を有する。

【0006】

本開示は、このような問題点に鑑みてなされたものであり、第２の拠点に居る人物が第１の拠点に居るような仮想状態において、臨場感を向上することができる、画像処理装置、テレプレゼンスシステム、画像処理方法及び画像処理プログラムを実現する。

【課題を解決するための手段】

【0007】

本開示の一態様の画像処理装置は、第１の拠点に配置されたテレプレゼンスロボットの表示部に表示される画像を処理する画像処理装置であって、
前記表示部の背面方向を撮影した画像情報をリアルタイムに取得する背景画像取得部と、
前記第１の拠点に対して遠隔地である第２の拠点の人物を含む画像情報をリアルタイムに取得する人物画像取得部と、
前記人物を含む画像情報から当該人物が映り込んだ領域を抽出する抽出部と、
前記抽出した人物の画像情報と前記表示部の背面方向の画像情報とを合成する合成部と、
を備える。

【0008】

本開示の一態様のテレプレゼンスシステムは、
上述の画像処理装置と、
前記第２の拠点の人物を含む領域を撮影する人物撮影部と、
前記表示部が設けられたテレプレゼンスロボットと、
前記表示部の背面方向を撮影する背景撮影部と、
を備える。

【0009】

上述のテレプレゼンスシステムは、前記表示部として、第１の表示部と、前記第１の表示部に対して異なる方向に向かって画像を表示する第２の表示部と、を備えることが好ましい。

【0010】

上述のテレプレゼンスシステムは、前記背景撮影部として、前記第１の表示部の背面方向を撮影する第１の撮影部と、前記第２の表示部の背面方向を撮影する第２の撮影部と、を備えることが好ましい。

【0011】

上述のテレプレゼンスシステムは、前記背景撮影部として、３６０度カメラを備えることが好ましい。

【0012】

本開示の一態様の画像処理方法は、第１の拠点に配置されたテレプレゼンスロボットの表示部に表示される画像を処理する画像処理方法であって、
前記表示部の背面方向を撮影した画像情報をリアルタイムに取得する工程と、
前記第１の拠点に対して遠隔地である第２の拠点の人物を含む画像情報をリアルタイムに取得する工程と、
前記人物を含む画像情報から当該人物が映り込んだ領域を抽出する工程と、
前記抽出した人物の画像情報と前記表示部の背面方向の画像情報とを合成する工程と、
を備える。

【0013】

本開示の一態様の画像処理プログラムは、第１の拠点に配置されたテレプレゼンスロボットの表示部に表示される画像を処理する画像処理プログラムであって、
前記表示部の背面方向を撮影した画像情報をリアルタイムに取得する処理と、
前記第１の拠点に対して遠隔地である第２の拠点の人物を含む画像情報をリアルタイムに取得する処理と、
前記人物を含む画像情報から当該人物が映り込んだ領域を抽出する処理と、
前記抽出した人物の画像情報と前記表示部の背面方向の画像情報とを合成する処理と、
をコンピュータに実行させる。

【発明の効果】

【0014】

本開示によれば、第２の拠点に居る人物が第１の拠点に居るような仮想状態において、臨場感を向上することができる、画像処理装置、テレプレゼンスシステム、画像処理方法及び画像処理プログラムを実現することができる。

【図面の簡単な説明】

【0015】

【図1】実施の形態１のテレプレゼンスシステムを用いてテレプレゼンスロボットの表示部に画像を表示する様子を示す図である。

【図2】実施の形態１のテレプレゼンスシステムの制御系を示すブロック図である。

【図3】実施の形態１の画像処理装置で実行される画像処理の流れを示すフローチャート図である。

【図4】実施の形態２のテレプレゼンスシステムの制御系を示すブロック図である。

【図5】実施の形態２のテレプレゼンスロボットを示す前方斜視図である。

【図6】実施の形態２のテレプレゼンスロボットを示す後方斜視図である。

【図7】実施の形態３のテレプレゼンスシステムの制御系を示すブロック図である。

【図8】実施の形態３のテレプレゼンスロボットを示す前方斜視図である。

【図9】画像処理装置に含まれるハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0016】

以下、本開示を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。但し、本開示が以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。

【0017】

＜実施の形態１＞
図１は、本実施の形態のテレプレゼンスシステムを用いてテレプレゼンスロボットの表示部に画像を表示する様子を示す図である。図２は、本実施の形態のテレプレゼンスシステムの制御系を示すブロック図である。

【0018】

本実施の形態のテレプレゼンスシステム１は、図１及び図２に示すように、テレプレゼンスロボット２、人物撮影部３、マイク４、スピーカ５、表示部６及び画像処理装置７を備えている。

【0019】

テレプレゼンスロボット２は、図１に示すように、第１の拠点Ｈ１に配置されており、ネットワーク１０に接続されている。ここで、ネットワーク１０は、例えば、インターネットであり、電話回線網、無線通信路、イーサネット（登録商標）などにより構築されている。

【0020】

テレプレゼンスロボット２は、図１及び図２に示すように、移動部２１、表示部２２、前景撮影部２３、背景撮影部２４、マイク２５、スピーカ２６及び制御部２７を備えている。移動部２１は、台車２１ａ、台車２１ａに回転可能に設けられた一対の駆動車輪２１ｂ並びに従動車輪２１ｃ、及び駆動車輪２１ｂを回転駆動する一対の駆動機構２１ｄを備えている。

【0021】

駆動機構２１ｄは、モータ及び減速機などを備えている。駆動機構２１ｄは、制御部２７から受信した制御情報に基づいて駆動して、駆動車輪２１ｂを回転させることで、テレプレゼンスロボット２の前進移動、後進移動、及び回転を可能にする。

【0022】

これにより、テレプレゼンスロボット２は、任意の位置に移動することができる。ここで、テレプレゼンスロボット２は、例えば、図示を省略した環境カメラで取得した環境情報に基づいて自律移動したり、外部からの操作に基づいて移動したり、第１の拠点Ｈ１に対して遠隔地である第２の拠点Ｈ２に居る人物Ｐ２の動作に基づいて移動したり、するとよい。

【0023】

なお、上記移動部２１の構成は一例であり、これに限定されない。例えば、移動部２１の駆動車輪２１ｂ及び従動車輪２１ｃの数は任意でよく、テレプレゼンスロボット２を任意の位置に移動させることができれば、公知の機構を用いることができる。

【0024】

表示部２２は、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイなどの表示装置を備えている。表示部２２は、第２の拠点Ｈ２に居る人物Ｐ２の画像情報と、表示部２２の背面方向の画像情報と、の合成画像を表示する。ここで、図１では、ハッチングによって表示部２２の背面方向の画像を簡略化して示している。

【0025】

表示部２２は、テレプレゼンスロボット２の前方に向かって画像を表示可能に移動部２１に固定されている。つまり、表示部２２の表示面は、テレプレゼンスロボット２の前方に向かって配置されている。

【0026】

このとき、表示部２２の表示面は、テレプレゼンスロボット２の前方に向かって突出する湾曲面であるとよい。また、表示部２２は、例えば、第２の拠点Ｈ２に居る人物Ｐ２を略実寸表示した際に、少なくとも当該人物Ｐ２の上半身を表示可能な大きさを有するとよい。

【0027】

前景撮影部２３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有するカメラを備えている。前景撮影部２３は、表示部２２の正面方向（つまり、画像の表示方向）をリアルタイムに撮影可能に移動部２１に固定されている。つまり、前景撮影部２３は、テレプレゼンスロボット２の前方領域を撮影範囲としている。このとき、前景撮影部２３は、表示部２２の近傍に配置されているとよい。

【0028】

背景撮影部２４は、ＣＭＯＳなどの撮像素子を有するカメラを備えている。背景撮影部２４は、表示部２２の背面方向（つまり、画像の表示方向に対して逆方向）をリアルタイムに撮影可能に移動部２１に固定されている。つまり、背景撮影部２４は、テレプレゼンスロボット２の後方領域を撮影範囲としている。

【0029】

マイク２５は、第１の拠点Ｈ１の内部の音を集音する。スピーカ２６は、第２の拠点Ｈ２の内部の音を出力する。これらのマイク２５及びスピーカ２６は、移動部２１に設けられている。但し、マイク２５及びスピーカ２６は、第１の拠点Ｈ１に配置されていればよい。制御部２７は、移動部２１の駆動機構２１ｄ、表示部２２、前景撮影部２３、背景撮影部２４、マイク２５及びスピーカ２６を制御する。

【0030】

人物撮影部３は、図１に示すように、第２の拠点Ｈ２の内部を撮影可能に当該第２の拠点Ｈ２に配置されている。そのため、人物撮影部３の撮影領域に人物Ｐ２が居る場合、人物撮影部３は、人物Ｐ２を含む画像を撮影することになる。

【0031】

マイク４は、第２の拠点Ｈ２の内部に配置されている。マイク４は、第２の拠点Ｈ２の内部の音を集音する。スピーカ５は、第２の拠点Ｈ２の内部に配置されている。スピーカ５は、第１の拠点Ｈ１の内部の音を出力する。表示部６は、液晶ディスプレイ又は有機ＥＬディスプレイなどの表示装置を備えている。

【0032】

表示部６は、第２の拠点Ｈ２の内部に配置されており、テレプレゼンスロボット２の前景撮影部２３が撮影した第１の拠点Ｈ１における表示部２２の正面方向の画像を表示する。このとき、表示部６は、人物撮影部３の近傍に配置されているとよい。これらの人物撮影部３、マイク４、スピーカ５及び表示部６は、ネットワーク１０に接続されている。

【0033】

画像処理装置７は、図２に示すように、背景画像取得部７１、人物画像取得部７２、抽出部７３及び合成部７４を備えており、ネットワーク１０に接続されている。背景画像取得部７１は、テレプレゼンスロボット２の背景撮影部２４が撮影した表示部２２の背面方向の画像情報をリアルタイムに取得する。但し、背景画像取得部７１は、表示部２２の背面方向の画像情報を取得できればよく、例えば、背景撮影部２４を備えていてもよい。

【0034】

人物画像取得部７２は、人物撮影部３が撮影した第２の拠点Ｈ２に居る人物Ｐ２を含む画像情報をリアルタイムに取得する。但し、人物画像取得部７２は、第２の拠点Ｈ２に居る人物Ｐ２を含む画像情報を取得できればよく、例えば、人物撮影部３を備えていてもよい。

【0035】

抽出部７３は、第２の拠点Ｈ２に居る人物Ｐ２を含む画像情報から当該人物Ｐ２が映り込んだ領域を抽出する。抽出部７３は、例えば、第２の拠点Ｈ２に居る人物Ｐ２を含む画像情報にクロマキー処理を施すことで、人物Ｐ２が映り込んだ領域を抽出することができる。但し、第２の拠点Ｈ２に居る人物Ｐ２を含む画像情報から当該人物Ｐ２が映り込んだ領域を抽出する手法は限定されず、公知の手法を用いることができる。

【0036】

合成部７４は、抽出した人物Ｐ２の画像情報と、表示部２２の背面方向の画像情報と、を合成する。このとき、合成部７４は、表示部２２の背面方向の画像に対して抽出した人物Ｐ２の画像が予め設定された位置に配置されるように、相互の画像情報を合成するとよい。

【0037】

ここで、合成部７４は、例えば、クロマキー合成によって、抽出した人物Ｐ２の画像情報と、表示部２２の背面方向の画像情報と、を合成することができるが、相互の画像情報を合成する手法は限定されず、公知の手法を用いることができる。

【0038】

次に、本実施の形態の画像処理装置７で実行される画像処理の流れを説明する。図３は、本実施の形態の画像処理装置で実行される画像処理の流れを示すフローチャート図である。

【0039】

先ず、背景画像取得部７１は、テレプレゼンスロボット２の背景撮影部２４が撮影した表示部２２の背面方向の画像情報をリアルタイムに取得する。それと共に、人物画像取得部７２は、人物撮影部３が撮影した第２の拠点Ｈ２に居る人物Ｐ２を含む画像情報をリアルタイムに取得する（Ｓ１）。

【0040】

次に、抽出部７３は、第２の拠点Ｈ２に居る人物Ｐ２を含む画像情報から当該人物Ｐ２が映り込んだ領域を抽出する（Ｓ２）。そして、合成部７４は、抽出した人物Ｐ２の画像情報と、表示部２２の背面方向の画像情報と、を合成する（Ｓ３）。これにより、抽出した人物Ｐ２の画像情報と、表示部２２の背面方向の画像情報と、の合成画像を生成することができる。

【0041】

次に、本実施の形態のテレプレゼンスシステム１を用いて第１の拠点Ｈ１に居る人物Ｐ１と第２の拠点Ｈ２に居る人物Ｐ２とが対話している状態を説明する。第２の拠点Ｈ２に居る人物Ｐ２は、表示部６に表示される第１の拠点Ｈ１に居る人物Ｐ１を含む画像を見つつ、スピーカ５から出力される第１の拠点Ｈ１の内部の音を聞いて、表示部６に向かって動作すると共に話し掛ける。

【0042】

このとき、第２の拠点Ｈ２では、人物撮影部３によって第２の拠点Ｈ２に居る人物Ｐ２を含む画像が撮影されると共に、マイク４によって人物Ｐ２の音声を含む第２の拠点Ｈ２の内部の音が集音される。

【0043】

第１の拠点Ｈ１に居る人物Ｐ１は、テレプレゼンスロボット２の表示部２２に表示される合成画像を見つつ、スピーカ２６から出力される人物Ｐ２の音声を含む第２の拠点Ｈ２の内部の音を聞いて、表示部２２に向かって動作すると共に話し掛ける。

【0044】

このとき、第１の拠点Ｈ１では、前景撮影部２３によって第１の拠点Ｈ１に居る人物Ｐ１を含む画像が撮影されると共に、背景撮影部２４によって表示部２２の背面方向の画像が撮影される。また、マイク２５によって当該人物Ｐ１の音声を含む第１の拠点Ｈ１の内部の音が集音される。

【0045】

これにより、第２の拠点Ｈ２に居る人物Ｐ２が第１の拠点Ｈ１に居るような仮想状態において、第１の拠点Ｈ１に居る人物Ｐ１と第２の拠点Ｈ２に居る人物Ｐ２とが対話することができる。このとき、テレプレゼンスロボット２の表示部２２には、抽出した人物Ｐ２の画像情報と、表示部２２の背面方向の画像情報と、が合成された合成画像が表示される。

【0046】

このように本実施の形態のテレプレゼンスシステム１、画像処理装置７及び画像処理方法は、テレプレゼンスロボット２の表示部２２に、抽出した人物Ｐ２の画像情報と、表示部２２の背面方向の画像情報と、を合成した合成画像を表示する。

【0047】

そのため、第２の拠点Ｈ２に居る人物Ｐ２が第１の拠点Ｈ１に居るような仮想状態において、合成画像における人物Ｐ２の背景を第１の拠点Ｈ１に居る人物Ｐ１の視線方向の背景と略等しくすることができ、臨場感を向上することができる。

【0048】

また、テレプレゼンスロボット２の表示部２２の背面方向の画像情報や第２の拠点Ｈ２に居る人物Ｐ２を含む画像情報をリアルタイムに取得するので、臨場感を一層、向上することができる。

【0049】

ここで、テレプレゼンスロボット２の表示部２２の表示面が当該テレプレゼンスロボット２の前方に向かって突出する湾曲面である場合、当該表示面に人物Ｐ２が丸みを帯びて表示され、臨場感をさらに向上することができる。

【0050】

なお、本実施の形態のテレプレゼンスロボット２の表示部２２は、画像をテレプレゼンスロボット２の前方に向かって表示するように配置されているが、表示部２２が画像を表示する方向は限定されず、例えば、テレプレゼンスロボット２の側方でもよく、テレプレゼンスロボット２の後方でもよい。この場合、背景撮影部２４の配置は、表示部２２の配置に応じて、適宜、変更すればよい。

【0051】

＜実施の形態２＞
図４は、本実施の形態のテレプレゼンスシステムの制御系を示すブロック図である。図５は、本実施の形態のテレプレゼンスロボットを示す前方斜視図である。図６は、本実施の形態のテレプレゼンスロボットを示す後方斜視図である。

【0052】

本実施の形態のテレプレゼンスシステム１０１は、実施の形態１のテレプレゼンスシステム１と略等しい構成とされているため、重複する説明は省略し、等しい要素には等しい符号を用いて説明する。

【0053】

テレプレゼンスシステム１０１は、実施の形態１のテレプレゼンスシステム１に対して、テレプレゼンスロボット１０２が表示部（第１の表示部）２２に加えて、第２の表示部１０３を備えている点で相違する。

【0054】

第２の表示部１０３は、液晶ディスプレイ又は有機ＥＬディスプレイなどの表示装置を備えている。第２の表示部１０３は、第２の拠点Ｈ２に居る人物Ｐ２の画像情報と、第２の表示部１０３の背面方向の画像情報と、の合成画像を表示する。

【0055】

第２の表示部１０３は、テレプレゼンスロボット２の後方に向かって画像を表示可能に移動部２１に固定されている。そのため、第２の表示部１０３の表示面は、テレプレゼンスロボット２の後方に向かって配置されている。

【0056】

画像処理装置１０４の合成部１０５は、テレプレゼンスロボット２の第１の表示部２２に表示させる画像として、抽出した第２の拠点Ｈ２の人物Ｐ２の画像情報と、背景撮影部２４が撮影した第１の表示部２２の背面方向の画像情報と、を合成して合成画像を生成する。

【0057】

また、画像処理装置１０４の合成部１０５は、テレプレゼンスロボット２の第２の表示部１０３に表示させる画像として、抽出した第２の拠点Ｈ２の人物Ｐ２の画像情報と、前景撮影部２３が撮影した第２の表示部１０３の背面方向の画像情報と、を合成して合成画像を生成する。

【0058】

これにより、テレプレゼンスロボット２の第１の表示部２２には、抽出した第２の拠点Ｈ２の人物Ｐ２の画像情報と、背景撮影部２４が撮影した第１の表示部２２の背面方向の画像情報と、の合成画像を表示することができる。

【0059】

また、第２の表示部１０３には、抽出した第２の拠点Ｈ２の人物Ｐ２の画像情報と、前景撮影部２３が撮影した第２の表示部１０３の背面方向の画像情報と、の合成画像を表示することができる。

【0060】

そのため、第１の拠点Ｈ１に居る人物Ｐ１は、テレプレゼンスロボット２の前側だけでなく、後側からも第２の拠点Ｈ２に居る人物Ｐ２と対話することができ、例えば、テレプレゼンスロボット２の前後から夫々、複数の人物が第２の拠点Ｈ２に居る人物Ｐ２と対話することができる。

【0061】

ここで、第２の拠点Ｈ２の表示部６は、前景撮影部２３によって撮影された画像及び背景撮影部２４によって撮影された画像の両方を表示してもよく、第１の拠点Ｈ１に居る人物Ｐ１が映り込んだ側の画像のみを表示してもよい。

【0062】

なお、本実施の形態のテレプレゼンスロボット１０２の第２の表示部１０３は、画像をテレプレゼンスロボット１０２の後方に向かって表示するように配置されているが、第２の表示部１０３が画像を表示する方向が、第１の表示部２２が画像を表示する方向と異なるように配置されていればよい。

【0063】

また、テレプレゼンスロボット１０２は、第１の表示部２２を用いて対話するために、前景撮影部２３及び背景撮影部２４を備え、第２の表示部１０３を用いて対話するために、別の前景撮影部及び背景撮影部を備えていてもよい。

【0064】

＜実施の形態３＞
図７は、本実施の形態のテレプレゼンスシステムの制御系を示すブロック図である。図８は、本実施の形態のテレプレゼンスロボットを示す前方斜視図である。本実施の形態のテレプレゼンスシステム２０１は、実施の形態２のテレプレゼンスシステム１０１と略等しい構成とされているため、重複する説明は省略し、等しい要素には等しい符号を用いて説明する。

【0065】

テレプレゼンスシステム２０１は、図７に示すように、実施の形態２のテレプレゼンスシステム１０１に対して、前景撮影部２３及び背景撮影部２４に代わって、テレプレゼンスロボット２０２が３６０度カメラ２０３を備えている点で相違する。

【0066】

３６０度カメラ２０３は、例えば、図８に示すように、第１の表示部２２及び第２の表示部１０３の上端部に固定されている。３６０度カメラ２０３は、一般的な３６０度カメラを用いることができ、例えば、デュアルレンズ型の３６０度カメラを用いることができる。

【0067】

これにより、テレプレゼンスロボット２０２の周辺全域の画像情報を取得することができ、当該画像情報を用いて、画像処理装置２０４の合成部２０５は、第１の表示部２２に表示させる画像として、抽出した第２の拠点Ｈ２の人物Ｐ２の画像情報と、３６０度カメラ２０３が撮影した第１の表示部２２の背面方向の画像情報と、を合成して合成画像を生成することができる。

【0068】

また、画像処理装置２０４の合成部２０５は、テレプレゼンスロボット２の第２の表示部１０３に表示させる画像として、抽出した第２の拠点Ｈ２の人物Ｐ２の画像情報と、３６０度カメラ２０３が撮影した第２の表示部１０３の背面方向の画像情報と、を合成して合成画像を生成することができる。

【0069】

このようなテレプレゼンスシステム２０１は、実施の形態２のテレプレゼンスシステム１０１に比べて、撮影部の個数を少なくすることができ、テレプレゼンスシステム２０１を安価に構成することができる。

【0070】

＜他の実施の形態＞
上記実施の形態に係る画像処理装置は、次のようなハードウェア構成を備えることができる。図９は、画像処理装置に含まれるハードウェア構成の一例を示す図である。上述した様々な実施の形態において、画像処理装置における処理の手順を説明したように、本開示は画像処理方法としての形態も採り得る。

【0071】

図９に示す装置は、インタフェース３０３と共に、プロセッサ３０１及びメモリ３０２を備えている。上述した実施の形態で説明した画像処理装置の一部の構成は、プロセッサ３０１がメモリ３０２に記憶されたプログラムを読み込んで実行することにより実現される。つまり、このプログラムは、プロセッサ３０１を画像処理装置の一部の構成として機能させるためのプログラムである。このプログラムは、画像処理装置に、その構成、又はその一部における処理を実行させるためのプログラムであると言える。

【0072】

上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータ（情報通知装置を含むコンピュータ）に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、この例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、この例は、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0073】

なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【符号の説明】

【0074】

１ テレプレゼンスシステム
２ テレプレゼンスロボット
２１ 移動部、２１ａ 台車、２１ｂ 駆動車輪、２１ｃ 従動車輪、２１ｄ 駆動機構
２２ 表示部
２３ 前景撮影部
２４ 背景撮影部
２５ マイク
２６ スピーカ
２７ 制御部
３ 人物撮影部
４ マイク
５ スピーカ
６ 表示部
７ 画像処理装置
７１ 背景画像取得部
７２ 人物画像取得部
７３ 抽出部
７４ 合成部
１０ ネットワーク
１０１ テレプレゼンスシステム
１０２ テレプレゼンスロボット
１０３ 第２の表示部
１０４ 画像処理装置
１０５ 合成部
２０１ テレプレゼンスシステム
２０２ テレプレゼンスロボット
２０３ ３６０度カメラ
２０４ 画像処理装置
２０５ 合成部
３０１ プロセッサ
３０２ メモリ
３０３ インタフェース
Ｈ１ 第１の拠点
Ｈ２ 第２の拠点
Ｐ１、Ｐ２ 人物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】