特許 7257022 コミュニケーション支援システム、ロボット、動画処理装置および動画処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-05

(45)【発行日】2023-04-13

(54)【発明の名称】コミュニケーション支援システム、ロボット、動画処理装置および動画処理プログラム

(51)【国際特許分類】

   H04N 7/14 20060101AFI20230406BHJP

   G06Q 50/10 20120101ALI20230406BHJP

   A63H 11/00 20060101ALI20230406BHJP

【ＦＩ】

H04N7/14 110

G06Q50/10

A63H11/00 Z

【請求項の数】 17

(21)【出願番号】P 2018177186

(22)【出願日】2018-09-21

(65)【公開番号】P2020048158

(43)【公開日】2020-03-26

【審査請求日】2021-09-02

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２７年度 国立研究開発法人科学技術振興機構 研究成果展開事業 大学発新産業創出プログラム 産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】阿部 香澄

(72)【発明者】

【氏名】長井 隆行

【審査官】富樫 明

(56)【参考文献】

【文献】特開２０１７－１６４３１９（ＪＰ，Ａ）

【文献】特開２０１２－１７５１３６（ＪＰ，Ａ）

【文献】特開２０１５－０９３３５３（ＪＰ，Ａ）

【文献】特開２００４－０２３６６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０６Ｑ ５０／１０

Ａ６３Ｈ １１／００

(57)【特許請求の範囲】

【請求項1】

空間を撮影するとともに遠隔者を表示するロボットと、前記遠隔者が利用する遠隔者端末を備え、前記空間に存在する子供と前記遠隔者とのコミュニケーションを支援するコミュニケーション支援システムであって、
前記ロボットは、
前記空間を撮影したロボット側動画データを出力するカメラと、
前記遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、
前記カメラおよび前記ロボット側表示装置を周方向に回転する回転装置を備え、
前記遠隔者端末は、
前記遠隔者を撮影した前記遠隔者側動画データを前記ロボットに送信する遠隔者側動画送信部と、
前記ロボット側動画データに対応し、左右端に、前記子供の存在が確認できる程度にぼかされたぼかし領域を有する表示動画データを表示する遠隔者側表示装置と、
前記ロボットに、前記カメラおよび前記ロボット側表示装置を周方向に回転する指示を入力する動作指示部とを備え、
前記カメラのレンズの前記ぼかし領域に対応する位置に、空間をぼかすフィルタが設置され、
前記カメラが出力する前記ロボット側動画データは、前記表示動画データである
ことを特徴とするコミュニケーション支援システム。

【請求項2】

空間を撮影するとともに遠隔者を表示するロボットと、前記遠隔者が利用する遠隔者端末を備え、前記空間に存在する子供と前記遠隔者とのコミュニケーションを支援するコミュニケーション支援システムであって、
前記ロボットは、
前記空間を撮影したロボット側動画データを出力するカメラと、
前記遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、
前記カメラおよび前記ロボット側表示装置を周方向に回転する回転装置を備え、
前記遠隔者端末は、
前記遠隔者を撮影した前記遠隔者側動画データを前記ロボットに送信する遠隔者側動画送信部と、
前記ロボット側動画データに対応し、左右端に、前記子供の存在が確認できる程度にぼかされたぼかし領域を有する表示動画データを表示する遠隔者側表示装置と、
前記ロボットに、前記カメラおよび前記ロボット側表示装置を周方向に早く回転する指示およびゆっくり回転する指示を入力する動作指示部とを備える
ことを特徴とするコミュニケーション支援システム。

【請求項3】

前記ぼかし領域は、前記ロボット側表示装置によって前記子供が見られていると感じる範囲よりも左右方向の外側の範囲に対応する
ことを特徴とする請求項１または２に記載のコミュニケーション支援システム。

【請求項4】

前記表示動画データは、前記ロボット側動画データの前記ぼかし領域に対応する領域を、画像処理によりぼかしたデータである
ことを特徴とする請求項２または３に記載のコミュニケーション支援システム。

【請求項5】

前記遠隔者端末の前記動作指示部は、前記表示動画データの中央の非ぼかし領域に、前記子供が映るように、前記ロボットに指示を入力する
ことを特徴とする請求項１ないし４のいずれか１項に記載のコミュニケーション支援システム。

【請求項6】

前記ロボットは、移動する
ことを特徴とする請求項１ないし５のいずれか１項に記載のコミュニケーション支援システム。

【請求項7】

前記表示動画データの中央の非ぼかし領域は、
前記ロボット側表示装置の表示面の前記空間側を撮影した表示面撮影領域を有し、
物体が前記ロボット側表示装置に近づくと、前記物体を前記ロボット側表示装置に近づく前に比べて、前記表示面撮影領域が、広く表示される
ことを特徴とする請求項１または２に記載のコミュニケーション支援システム。

【請求項8】

前記カメラは、魚眼レンズで前記空間を撮影し、
前記表示面撮影領域は、前記魚眼レンズの撮影領域の縁部に設けられ、
前記物体が前記ロボット側表示装置に近づくと、前記物体が前記ロボット側表示装置に近づく前に比べて、前記表示面撮影領域の歪曲収差が強く補正される
ことを特徴とする請求項７に記載のコミュニケーション支援システム。

【請求項9】

前記表示動画データの中央の非ぼかし領域は、
前記ロボットとコミュニケーション中の子供が位置する空間を撮影した子供空間撮影領域と、
前記ロボット側表示装置の表示面の前記空間側を撮影した表示面撮影領域と、
前記非ぼかし領域のうち、前記子供空間撮影領域と前記表示面撮影領域以外の領域を撮影した背景撮影領域を有し、
前記子供空間撮影領域と前記表示面撮影領域は、前記背景撮影領域と比較して拡大して表示される
ことを特徴とする請求項１または２に記載のコミュニケーション支援システム。

【請求項10】

空間を撮影するとともに遠隔者を表示するロボットと、前記遠隔者が利用する遠隔者端末を備え、前記空間に存在する子供と前記遠隔者とのコミュニケーションを支援するコミュニケーション支援システムであって、
前記ロボットは、
前記空間を撮影したロボット側動画データを出力するカメラと、
前記遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置を備え、
前記遠隔者端末は、
前記遠隔者を撮影した前記遠隔者側動画データを前記ロボットに送信する遠隔者側動画送信部と、
前記ロボット側動画データに対応する表示動画データを表示する遠隔者側表示装置を備え、
前記表示動画データは、
前記空間を撮影した空間撮影領域と、
前記ロボット側表示装置の表示面の前記空間側を撮影した表示面撮影領域を有し、
物体が前記ロボット側表示装置に近づくと、前記物体が前記ロボット側表示装置に近づく前に比べて、前記表示面撮影領域が、広く表示される
ことを特徴とするコミュニケーション支援システム。

【請求項11】

前記カメラは、魚眼レンズで前記空間を撮影し、
前記表示面撮影領域は、前記魚眼レンズの撮影領域の縁部に設けられ、
前記物体が前記ロボット側表示装置に近づくと、前記物体が前記ロボット側表示装置に近づく前に比べて、前記表示面撮影領域の歪曲収差が強く補正される
ことを特徴とする請求項１０に記載のコミュニケーション支援システム。

【請求項12】

空間を撮影するとともに遠隔者を表示するロボットと、前記遠隔者が利用する遠隔者端末を備え、前記空間に存在する子供と前記遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられる前記ロボットであって、
前記遠隔者端末は、前記遠隔者を撮影した遠隔者側動画データを前記ロボットに送信するとともに、前記空間を撮影した動画データであって、左右端に、前記子供の存在が確認できる程度にぼかされたぼかし領域を有する表示動画データを表示し、
前記ロボットは、
前記ぼかし領域に対応するレンズの位置に、前記空間をぼかすフィルタが設置され、前記空間を撮影した前記表示動画データを出力するカメラと、
前記遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、
前記カメラおよび前記ロボット側表示装置を周方向に回転する回転装置を備える
ことを特徴とするロボット。

【請求項13】

空間を撮影するとともに遠隔者を表示するロボットと、前記遠隔者が利用する遠隔者端末と、前記遠隔者端末に表示される表示動画データを加工する動画処理装置を備え、前記空間に存在する子供と前記遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられる前記動画処理装置であって、
前記ロボットは、
前記空間を撮影したロボット側動画データを出力するカメラと、
前記遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、
前記遠隔者端末は、
前記遠隔者を撮影した前記遠隔者側動画データを前記ロボットに送信する遠隔者側動画送信部と、
前記ロボット側動画データから加工された表示動画データを表示する遠隔者側表示装置とを備え、
前記表示動画データは、
前記ロボット側表示装置の表示面の前記空間側を撮影した表示面撮影領域を有し、
前記動画処理装置は、
物体が前記ロボット側表示装置に近づくと、前記物体を前記ロボット側表示装置に近づく前に比べて、前記表示面撮影領域が広くなるように加工するロボット側動画加工部
を備えることを特徴とする動画処理装置。

【請求項14】

コンピュータを、請求項１３に記載の動画処理装置として機能する動画処理プログラム。

【請求項15】

空間を撮影するとともに遠隔者を表示するロボットと、前記遠隔者が利用する遠隔者端末を備え、前記空間に存在する子供と前記遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられる前記ロボットであって、
前記空間を撮影したロボット側動画データを出力するカメラと、
前記遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置を備え、
前記カメラの上方の視野角の最小値は、式（１）で表現され、
前記カメラの下方の視野角の最小値は、式（２）で表現される
ことを特徴とするロボット。

【数1】

【請求項16】

空間を撮影するとともに遠隔者を表示するロボットと、前記遠隔者が利用する遠隔者端末を備え、前記空間に存在する子供と前記遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられる前記ロボットであって、
前記遠隔者端末は、前記遠隔者を撮影した遠隔者側動画データを前記ロボットに送信するとともに、前記空間を撮影した動画データである表示動画データを表示し、
前記ロボットは、
前記空間を撮影した前記表示動画データを出力するカメラと、
前記遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、を備え、
前記カメラは、前記ロボット側表示装置の表示面よりも上方に設けられ、
前記カメラのレンズの上側は、前記表示面を含む面に対して前記レンズの下側よりも離れるように傾けて配置され、
前記カメラは、前記ロボット側表示装置の表示面を撮影する
ことを特徴とするロボット。

【請求項17】

前記レンズは、カバーによって覆われる
ことを特徴とする請求項１６に記載のロボット。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、空間を撮影するとともに遠隔者を表示するロボットと、遠隔者が利用する遠隔者端末を備え、空間に存在する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システム、ロボット、動画処理装置および動画処理プログラムに関する。

【背景技術】

【0002】

近年の通信ネットワークおよび情報機器の発達に伴い、ビデオチャット等の動画データを介したコミュニケーションが普及している。動画データを介したコミュニケーションによって、遠隔地にいる者同士でのコミュニケーション、遠隔地にいる者による所望のアングルの動画の取得など、同一空間でのコミュニケーションに近似したコミュニケーションを実現することができる。

【0003】

例えば、広角なカメラで撮影された動画に対し、フォーカス対象を指定することで、カメラが指定された方向にフォーカスを合わせるシステムがある（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１０７５３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、現在普及しているコミュニケーションは、大人向けのものであり、子供のコミュニケーションを支援するシステムは見あたらない。子供は、大人に比べて、社会性、認知能力およびコミュニケーション能力が未発達であることから、大人向けのコミュニケーション支援システムをそのまま子供に適用したとしても、充分なコミュニケーションを実現することが難しい場合がある。

【0006】

従って本発明の目的は、異なる空間に位置する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システム、ロボット、動画処理装置および動画処理プログラムを提供することである。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の第１の特徴は、空間を撮影するとともに遠隔者を表示するロボットと、遠隔者が利用する遠隔者端末を備え、空間に存在する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに関する。本発明の第１の特徴に係るコミュニケーション支援システムにおいて、ロボットは、空間を撮影したロボット側動画データを出力するカメラと、遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、カメラおよびロボット側表示装置を周方向に回転する回転装置を備え、遠隔者端末は、遠隔者を撮影した遠隔者側動画データをロボットに送信する遠隔者側動画送信部と、ロボット側動画データに対応し、左右端に、子供の存在が確認できる程度にぼかされたぼかし領域を有する表示動画データを表示する遠隔者側表示装置と、ロボットに、カメラおよびロボット側表示装置を周方向に回転する指示を入力する動作指示部とを備える。

【0008】

ぼかし領域は、ロボット側表示装置によって子供が見られていると感じる範囲よりも左右方向の外側の範囲に対応しても良い。

【0009】

表示動画データは、ロボット側動画データのぼかし領域に対応する領域を、画像処理によりぼかしたデータであっても良い。

【0010】

カメラのレンズのぼかし領域に対応する位置に、空間をぼかすフィルタが設置され、カメラが出力するロボット側動画データは、表示動画データであっても良い。

【0011】

遠隔者端末の動作指示部は、表示動画データの中央の非ぼかし領域に、子供が映るように、ロボットに指示を入力しても良い。

【0012】

ロボットは、移動しても良い。

【0013】

表示動画データの中央の非ぼかし領域は、ロボット側表示装置の表示面の空間側を撮影した表示面撮影領域を有し、物体がロボット側表示装置に近づくと、物体をロボット側表示装置に近づく前に比べて、表示面撮影領域が、広く表示されても良い。

【0014】

カメラは、魚眼レンズで空間を撮影し、表示面撮影領域は、魚眼レンズの撮影領域の縁部に設けられ、物体がロボット側表示装置に近づくと、物体がロボット側表示装置に近づく前に比べて、表示面撮影領域の歪曲収差が強く補正されても良い。

【0015】

表示動画データの中央の非ぼかし領域は、ロボットとコミュニケーション中の子供が位置する空間を撮影した子供空間撮影領域と、ロボット側表示装置の表示面の空間側を撮影した表示面撮影領域と、非ぼかし領域のうち、子供空間撮影領域と表示面撮影領域以外の領域を撮影した背景撮影領域を有し、子供空間撮影領域と表示面撮影領域は、背景撮影領域と比較して拡大して表示されても良い。

【0016】

本発明の第２の特徴は、空間を撮影するとともに遠隔者を表示するロボットと、遠隔者が利用する遠隔者端末を備え、空間に存在する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに関する。本発明の第２の特徴に係るコミュニケーション支援システムにおいて、ロボットは、空間を撮影したロボット側動画データを出力するカメラと、遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置を備え、遠隔者端末は、遠隔者を撮影した遠隔者側動画データをロボットに送信する遠隔者側動画送信部と、ロボット側動画データに対応する表示動画データを表示する遠隔者側表示装置を備え、表示動画データは、空間を撮影した空間撮影領域と、ロボット側表示装置の表示面の空間側を撮影した表示面撮影領域を有し、物体がロボット側表示装置に近づくと、物体がロボット側表示装置に近づく前に比べて、表示面撮影領域が、広く表示される。

【0017】

カメラは、魚眼レンズで空間を撮影し、表示面撮影領域は、魚眼レンズの撮影領域の縁部に設けられ、物体がロボット側表示装置に近づくと、物体がロボット側表示装置に近づく前に比べて、表示面撮影領域の歪曲収差が強く補正されても良い。

【0018】

本発明の第３の特徴は、空間を撮影するとともに遠隔者を表示するロボットと、遠隔者が利用する遠隔者端末を備え、空間に存在する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられるロボットに関する。本発明の第３の特徴に係るロボットは、遠隔者端末は、遠隔者を撮影した遠隔者側動画データをロボットに送信するとともに、空間を撮影した動画データであって、左右端に、子供の存在が確認できる程度にぼかされたぼかし領域を有する表示動画データを表示し、ロボットは、ぼかし領域に対応するレンズの位置に、空間をぼかすフィルタが設置され、空間を撮影した表示動画データを出力するカメラと、遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、カメラおよびロボット側表示装置を周方向に回転する回転装置を備えても良い。

【0019】

本発明の第４の特徴は、空間を撮影するとともに遠隔者を表示するロボットと、遠隔者が利用する遠隔者端末と、遠隔者端末に表示される表示動画データを加工する動画処理装置を備え、空間に存在する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられる動画処理装置に関する。本発明の第４の特徴に係る動画処理装置が用いられるコミュニケーション支援システムにおいて、ロボットは、空間を撮影したロボット側動画データを出力するカメラと、遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、カメラおよびロボット側表示装置を周方向に回転する回転装置を備え、遠隔者端末は、遠隔者を撮影した遠隔者側動画データをロボットに送信する遠隔者側動画送信部と、ロボット側動画データに対応し、左右端に、子供の存在が確認できる程度にぼかされたぼかし領域を有する表示動画データを表示する遠隔者側表示装置と、ロボットに、カメラおよびロボット側表示装置を周方向に回転する指示を入力する動作指示部とを備え、動画処理装置は、ロボット側動画データのぼかし領域に対応する領域を、画像処理によりぼかして、表示動画データを生成するロボット側動画加工部を備える。

【0020】

本発明の第５の特徴は、空間を撮影するとともに遠隔者を表示するロボットと、遠隔者が利用する遠隔者端末と、遠隔者端末に表示される表示動画データを加工する動画処理装置を備え、空間に存在する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられる動画処理装置に関する。本発明の第５の特徴に係る動画処理装置が用いられるコミュニケーション支援システムにおいて、ロボットは、空間を撮影したロボット側動画データを出力するカメラと、遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置と、遠隔者端末は、遠隔者を撮影した遠隔者側動画データをロボットに送信する遠隔者側動画送信部と、ロボット側動画データから加工された表示動画データを表示する遠隔者側表示装置とを備え、表示動画データは、ロボット側表示装置の表示面の空間側を撮影した表示面撮影領域を有し、動画処理装置は、物体がロボット側表示装置に近づくと、物をロボット側表示装置に近づく前に比べて、表示面撮影領域が広くなるように加工するロボット側動画加工部を備える。

【0021】

本発明の第６の特徴は、コンピュータを、本発明の第４の特徴または第５の特徴に係る動画処理装置として機能する動画処理プログラムに関する。

【0022】

本発明の第７の特徴は、空間を撮影するとともに遠隔者を表示するロボットと、遠隔者が利用する遠隔者端末を備え、空間に存在する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システムに用いられるロボットであって、空間を撮影したロボット側動画データを出力するカメラと、遠隔者端末から受信した遠隔者側動画データを表示するロボット側表示装置を備え、カメラの上方の視野角は、式（１）で表現され、カメラの下方の視野角は、式（２）で表現されることを特徴とするロボット。

【0023】

【数1】

【発明の効果】

【0024】

本発明によれば、異なる空間に位置する子供と遠隔者とのコミュニケーションを支援するコミュニケーション支援システム、ロボット、動画処理装置および動画処理プログラムを提供することができる。

【図面の簡単な説明】

【0025】

【図1】本発明の実施の形態に係るコミュニケーションシステムのシステム構成図である。

【図2】本発明の実施の形態に係るコミュニケーションシステムの処理を説明するシーケンス図である。

【図3】本発明の実施の形態に係るロボットの外観を説明する図である。

【図4】本発明の実施の形態に係る表示動画データを説明する図である。

【図5】本発明の実施の形態に係る表示動画データに適用されるモードを説明する図である。

【図6】本発明の実施の形態に係るコミュニケーションシステムにおいて、遠隔者端末が送信する指示およびモードの変更に関する処理を説明するシーケンス図である。

【図7】本発明の実施の形態に係るロボットの機能ブロックとハードウエア構成を説明する図である。

【図8】本発明の実施の形態に係るロボットの仕様を説明する図である。

【図9】本発明の実施の形態に係る動画処理装置の機能ブロックとハードウエア構成を説明する図である。

【図10】本発明の実施の形態に係る変更条件データのデータ構造とデータの一例を説明する図である。

【図11】本発明の実施の形態に係る遠隔者端末の機能ブロックとハードウエア構成を説明する図である。

【図12】第１の変形例に係るロボットのカメラのレンズを説明する図である。

【図13】第１の変形例に係る処理を説明するシーケンス図である。

【図14】カメラが２箇所に分散されるロボットの例を説明する図である。

【図15】カメラが２枚のレンズを有するロボットの例を説明する図である。

【発明を実施するための形態】

【0026】

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

【0027】

（コミュニケーション支援システム）
本発明の実施の形態に係るコミュニケーション支援システム５は、異なる空間に位置する子供と遠隔者のコミュニケーションを、支援する。

【0028】

本発明の実施の形態において子供は、社会性、認知能力およびコミュニケーション能力が未発達な人の意味で用いる。子供は、一般的には、生後６ヶ月から６才くらいの子を想定するが、年齢は限定されなくても良い。また子供以上の能力を持つ人が、コミュニケーション支援システム５を用いても良い。遠隔者は、例えば子供の祖父母等であって、社会性、認知能力およびコミュニケーション能力を有する大人である。遠隔者は、子供と異なる空間に位置し、子供とコミュニケーションを取る。

【0029】

本発明の実施の形態に係るコミュニケーション支援システム５は、図１に示すように、ロボット１、動画処理装置２および遠隔者端末３を備える。ロボット１および動画処理装置２は、インターネット等の相互に通信可能な通信ネットワークによって接続される。動画処理装置２および遠隔者端末３も、同様に相互に通信可能な通信ネットワークによって接続される。

【0030】

ロボット１は、子供が位置する空間に配置され、その空間を撮影するとともに、遠隔者を表示する。遠隔者端末３は、遠隔者によって利用され、遠隔者を撮影するとともに、子供が位置する空間の動画データを表示する。動画処理装置２は、ロボット１および遠隔者端末３間で、双方の動画データを中継し、必要に応じて動画データを加工する。

【0031】

図２を参照して、本発明の実施の形態に係るコミュニケーション支援システム５における処理の概要を説明する。

【0032】

ステップＳ１においてロボット１は、子供が位置する空間を撮影したロボット側動画データＢを動画処理装置２に送信する。ステップＳ２において動画処理装置２は、ロボット側動画データＢを加工して、表示動画データＤを生成する。ロボット側動画データＢの各フレームと、表示動画データＤの各フレームは、対応する。ここで行われる加工は、遠隔者に、空間および子供の状態を適切に伝えるためのものである。ステップＳ３において動画処理装置２は、ステップＳ２で生成された表示動画データＤを、遠隔者端末３に送信する。

【0033】

ステップＳ４において遠隔者端末３は、遠隔者を撮影した遠隔者側動画データＧを動画処理装置２に送信する。ステップＳ５において動画処理装置２は、ステップＳ４で受信した遠隔者側動画データＧをロボット１に送信する。

【0034】

ステップＳ６においてロボット１は、ステップＳ５で受信した遠隔者側動画データＧを再生し、得られた動画像を表示する。ステップＳ７において遠隔者端末３は、ステップＳ３で受信した表示動画データＤを再生し、得られた動画像を表示する。

【0035】

子供は、ロボット１に表示された遠隔者側動画データＧを見ながら、遠隔者とコミュニケーションを取る。また遠隔者は、子供の様子が反映された表示動画データＤを見ながら、子供とコミュニケーションを取る。

【0036】

本発明の実施の形態において、図２に示す各動画データの送受信は、遠隔者等が入力した開始および終了の指示の間、継続的に行われる。ロボット１に遠隔者がリアルタイムに表示され、遠隔者端末３に子供が位置する空間がリアルタイムに表示される。なお「リアルタイム」は、時間的な完全同一のみならず、動画データの送受信で経由する装置または通信環境による遅延を許容する。

【0037】

本発明の実施の形態に係るロボット１は、図３（ａ）に示すように、顔を模したパーツと胴体を模したパーツを備え、全体として人に似た形状を有する。ロボット１は、人に限らず、犬、鳥、魚などの動物、アニメ、人形、ぬいぐるみ等のキャラクターなど、日常生活での子供のコミュニケーション対象の形状に類似することが好ましい。

【0038】

ロボット１は、図３（ａ）に示すように、カメラ１３０、ロボット側表示装置１４０、スピーカー１７０および支持台１８０を備える。カメラ１３０は、子供が位置する空間を撮影して、遠隔者端末３に子供が位置する空間の様子を伝える。ロボット側表示装置１４０は、遠隔者端末３で撮影された遠隔者の様子を表示して、子供にコミュニケーション相手を認識させる。スピーカー１７０は、遠隔者端末３で発生した音声を出力する。

【0039】

支持台１８０は、図３（ｂ）に示すように、ロボット１の筐体の反対側に開き、その中に玩具等の物を置くことが可能に形成される。本発明の実施の形態において支持台１８０は、深さのあるポケット形状になっているが、これに限られない。支持台１８０は、平面台などでもよく、玩具を設置可能であっても良い。また支持台１８０に設置された玩具は、カメラ１３０によって撮影されるのが好ましい。

【0040】

本発明の実施の形態において、ロボット１に設置されたカメラ１３０のレンズ、ロボット側表示装置１４０の表示面および支持台１８０は、左右対称に形成される。より具体的には、カメラ１３０のレンズの左右中心線、ロボット側表示装置１４０の表示面の左右中心線および支持台１８０の左右中心線は、ロボット１の接地面に対して垂直な、一つの仮想面上に設けられる。なおロボット１に設置されたカメラ１３０のレンズ、ロボット側表示装置１４０の表示面および支持台１８０は、左右対称に形成されるのは一例であって、これに限らない。例えば、カメラ１３０の位置が左右対称からずれる場合でも、視点変換処理により、カメラ１３０が撮影した画像データを、左右対称で撮影された画像に変換しても良い。

【0041】

またロボット１は、移動、周方向の回転などの、動作が可能である。移動は、ロボット１が設置された床の水平移動に限らず、段差越え、空間の飛行などの様々な移動が可能である。また周方向の回転は、ロボット１自身が回転しても良いし、カメラ１３０およびロボット側表示装置１４０のみを回転しても良い。カメラ１３０の周方向の回転により、空間全体を撮影することを可能にする。またロボット側表示装置１４０の周方向の回転により、遠隔者が回転しているような演出を表現することができる。移動または回転に必要な機構は、ロボット１の内部に収容され、子供が触れにくく形成されるのが好ましい。

【0042】

また遠隔者端末３による遠隔操作により、ロボット１は、動作することも可能である。これにより、ロボット１は、子供が存在する空間において、遠隔者代わりの動体として活動することができる。例えば、遠隔者端末３においてロボット１に移動する指示をすることにより、子供に近寄ったり、子供と追いかけっこしたりなどのコミュニケーションが可能になる。

【0043】

（表示動画データ）
遠隔者端末３に表示される表示動画データＤの各フレームは、図４（ａ）に示すように、中央に非ぼかし領域Ｒ１を有し、左右端に、ぼかし領域Ｒ２を有する。非ぼかし領域Ｒ１において空間は明瞭に表示され、ぼかし領域Ｒ２は、子供の存在が確認できる程度にぼかされる。

【0044】

本発明の実施の形態において、動画処理装置２が、ロボット側動画データＢの各フレームにぼかし領域Ｒ２を設定する加工をする。これにより表示動画データＤの各フレームの左右端に、ぼかし領域Ｒ２が設定される。

【0045】

遠隔者が子供とコミュニケーションを開始する際、ロボット１のカメラ１３０が子供を捉えられる位置関係になければならない。そのため遠隔者端末３は、まずロボット１を周方向に回転して、子供を探索し、子供がフレーム中央の非ぼかし領域Ｒ１に入るように、ロボット１の向きを合わせる。ぼかし領域Ｒ２に子供の存在が確認できない場合、遠隔者端末３は、ロボット１を早く回転する指示を入力し、子供の存在を素早く探索することが可能である。またぼかし領域Ｒ２に子供の存在が確認できると、遠隔者端末３は、ロボット１をゆっくり回転する指示を入力することが可能になる。これにより、遠隔者端末３において、ロボット１位置を調整するための操作性が向上する。また遠隔者が、遠隔操作に不慣れな者であっても、ロボット１の位置を適切に調整することができる。子供が非ぼかし領域Ｒ１に入ると、遠隔者端末３はさらに、子供から遠ざかる、子供に近づくなど、子供との距離を調整しても良い。

【0046】

また他の例として、ぼかし領域Ｒ２を黒塗りにする、切り取るなど、ぼかし領域Ｒ２を設けず、非ぼかし領域Ｒ１のみを表示する態様も考えられる。この場合、非ぼかし領域Ｒ１に子供が入るように、遠隔者端末３は、ロボット１を回転しなければならず、水平方向の視覚が狭くなり、遠隔者端末３の操作性が低下する。これに対し、非ぼかし領域Ｒ１の左右端に、子供の存在が確認できる程度にぼかされたぼかし領域Ｒ２を設けることにより、遠隔者端末３は、非ぼかし領域Ｒ１とぼかし領域Ｒ２を合わせた広い領域で、子供を探索することができる。また子供が非ぼかし領域Ｒ１に位置し、子供と遠隔者とがコミュニケーションしている間、遠隔者は、ぼかし領域Ｒ２を明確に視認できないので、遠隔者が視認する情報を削減し、非ぼかし領域Ｒ１に注力することができる。

【0047】

子供と遠隔者とのコミュニケーションを実現するために、コミュニケーション支援システム５は、子供がロボット１に見られていると認識する範囲と、遠隔者端末３に明瞭に表示される範囲（非ぼかし領域Ｒ１）とが一致するように形成される。本発明の実施の形態において、子供がロボット１に見られていると認識する範囲と、非ぼかし領域Ｒ１とが一致する場合のみならず、コミュニケーションに支障が生じない程度に、差分が小さい場合も含む。

【0048】

大人がロボット側表示装置１４０に見られていると認識する範囲の目安は、ロボット側表示装置１４０の中心から左右それぞれに４７度（合計９４度）であるとの実験値がある。本発明の実施の形態において、子供がロボット側表示装置１４０に見られていると認識する範囲も、この実験値と同様に設定される。

【0049】

子供がロボット１に見られていると認識する範囲と、遠隔者端末３で表示される表示動画データＤの非ぼかし領域Ｒ１の範囲が一致する場合、非ぼかし領域Ｒ１にいる子供は、遠隔者を認識し、遠隔者とコミュニケーションを取りやすくなる。遠隔者は、子供のコミュニケーションを適切に確認し、子供は、遠隔者に見られている意識を持って遠隔者とコミュニケーションすることが可能になる。

【0050】

一方、表示動画データＤの非ぼかし領域Ｒ１より、子供がロボット１に見られていると認識する範囲が広い場合、表示動画データＤのぼかし領域Ｒ２または撮影範囲外で、子供は遠隔者を認識する。この場合、子供から遠隔者への一方的な働きかけが発生し、コミュニケーションが成立しない。また子供がロボット１に見られていると認識する範囲より、非ぼかし領域Ｒ１が広い場合、遠隔者端末３に子供が表示されていても、子供は遠隔者に見られていると認識することができず、遠隔者が子供以外を見ていると認識してしまう場合がある。この場合、遠隔者から子供への一方的な働きかけが発生し、コミュニケーションが成立しない。

【0051】

そこで本発明の実施の形態において、非ぼかし領域Ｒ１は、子供がロボット１に見られていると認識する範囲に一致するように形成される。ぼかし領域Ｒ２は、ロボット側表示装置１４０によって子供が見られていると感じる範囲よりも左右方向（周方向）の外側の範囲に対応する。非ぼかし領域Ｒ１に子供が表示されるように、遠隔者端末３は、ロボット１の位置または向きを調整する。遠隔者端末３は、非ぼかし領域Ｒ１に遠隔者とコミュニケーションする子供を表示することができるので、子供と遠隔者の適切なコミュニケーションを促すことが可能である。

【0052】

また発明者の知見によれば、子供に頻繁に観察されるコミュニケーションの特徴として、図３（ｂ）に示すように、ロボット側表示装置１４０に手で触れる、ロボット側表示装置１４０に玩具を押しつける、支持台１８０に玩具を乗せる等の行動がある。そこで遠隔者端末３で表示される表示動画データＤは、これらの子供の行動や玩具の情報の視認性が担保できるように、動画処理装置２によって適切に加工される。

【0053】

具体的にロボット１のカメラ１３０は、ロボット側表示装置１４０の表示面および支持台１８０とともに子供が位置する空間を含む広い空間を撮影可能な、魚眼レンズを有する。魚眼レンズで撮影されたロボット側動画データＢに、子供の行動、および子供がロボット１に近づけた玩具などを含めることが可能になり、遠隔者は、子供の行動を適切に把握して、子供の行動に対する対話が可能になる。

【0054】

図４（ｂ）に示すように、非ぼかし領域Ｒ１は、ロボット１とコミュニケーション中の子供が位置する空間を撮影した子供空間撮影領域Ｒ１１と、ロボット側表示装置１４０の表示面の空間側を撮影した表示面撮影領域Ｒ１２と、背景撮影領域（図示せず）を有する。子供空間撮影領域Ｒ１１は、子供がロボット１から離れて活動する様子を確認できる領域であり、表示面撮影領域Ｒ１２は、子供が表示面に押しつけた玩具や支持台１８０に設置した玩具を確認できる領域である。背景撮影領域は、非ぼかし領域Ｒ１のうち、子供空間撮影領域Ｒ１１と表示面撮影領域Ｒ１２以外の領域であって、例えば、子供が位置する空間の天井部分など、カメラ１３０による撮影範囲のうち、子供が移動しえない領域である。

【0055】

本発明の実施の形態において、カメラ１３０の下方にロボット側表示装置１４０の表示面および支持台１８０がある。ロボット側表示装置１４０に近づけられた玩具および支持台１８０に設置された玩具は、フレームの下方の表示面撮影領域Ｒ１２に撮影される。動画処理装置２は、ぼかし領域Ｒ２を設ける加工のほか、子供空間撮影領域Ｒ１１または表示面撮影領域Ｒ１２を拡大または縮小する加工をして、表示動画データＤを生成する。子供空間撮影領域Ｒ１１または表示面撮影領域Ｒ１２を拡大または縮小する加工は、遠隔者端末３からの明示的な指示に従って行われても良いし、動画処理装置２がロボット側動画データＢを監視し、所定条件を満たしたときに行っても良い。

【0056】

本発明の実施の形態において、表示動画データＤは、子供空間撮影領域Ｒ１１または表示面撮影領域Ｒ１２の拡大または縮小に関して、図５に示すように、複数のモードを有する。図５に示す非接触時の各モードの画像は、それぞれ、ロボット側動画データＢのフレームデータのうち、玩具が表示面に押しつけられていないフレームデータを、各モードに従って補正をしたものである。接触時の各モードの画像は、それぞれ、ロボット側動画データＢのフレームデータのうち、玩具が表示面に押しつけられたフレームデータを、各モードに従って補正をしたものである。

【0057】

本発明の実施の形態において、表示動画データＤを加工するモードとして、子供重視モード、玩具重視モードおよび子供玩具重視モードがある。なお図５に示すモードは一例であって、これに限定するものではなく、フレームの加工方針に従って、他のモードが適宜設定されても良い。

【0058】

子供重視モードにおいて、子供空間撮影領域Ｒ１１が大きく表示され、表示面撮影領域Ｒ１２が、小さく表示される。玩具重視モードにおいて、子供空間撮影領域Ｒ１１が小さく表示され、表示面撮影領域Ｒ１２が大きく表示される。子供玩具重視モードにおいて、子供空間撮影領域Ｒ１１とい表示面撮影領域Ｒ１２がともに大きく表示される。

【0059】

図５に示すように、玩具の非接触時において、子供重視モードの子供空間撮影領域Ｒ１１ａと、子供玩具重視モードの子供空間撮影領域Ｒ１１ｅでの各子供は、玩具重視モードの子供空間撮影領域Ｒ１１ｃの子供よりも大きく表示される。子供重視モードおよび子供玩具重視モードで表示動画データＤが生成されることにより、遠隔者は、子供の様子を高画質で確認することができる。

【0060】

一方玩具の接触時において、玩具重視モードの表示面撮影領域Ｒ１２ｄと子供玩具重視モードの表示面撮影領域Ｒ１２ｆにおいて、ロボット側表示装置１４０の表示面に押しつけられた玩具は、子供重視モードの表示面撮影領域Ｒ１２ｂと比べて、大きく表示される。なお、図５の例では玩具は、ボールである。これにより、遠隔者は、玩具の形状、玩具に表示された文字なども確認することができ、子供の有する玩具に関して語りかけることも可能になる。

【0061】

また玩具の接触時において、玩具重視モードの表示面撮影領域Ｒ１２ｄにおいて、表示面に押しつけられた玩具は、子供玩具重視モードの表示面撮影領域Ｒ１２ｆと比べて、大きく表示される。玩具重視モードは、表示面に押しつけられた玩具や、支持台１８０に設置された玩具などを特定するために好適である。

【0062】

なお、動画処理装置２は、各モードに対応するために、子供空間撮影領域Ｒ１１、表示面撮影領域Ｒ１２以外の領域の縮小、または縁部の削除などの加工も、併せて行っても良い。例えば子供重視モードの画像の左上等の縁部には、魚眼レンズで撮影されなかった領域が設けられているが、玩具重視モードにおいて画像全体に空間が撮影されている。これは、玩具重視モードにおいて、魚眼レンズでの撮影領域の中央部分を拡大したことに伴うものである。

【0063】

また図５に示す各モードの領域サイズの大中小の表記は、動画処理装置２による加工前のロボット側動画データＢの各フレームにおける領域と比較して拡大または縮小して表示することを意味する。例えば、玩具重視モードにおいて、表示面撮影領域Ｒ１２が大きく表示されるが、ロボット側動画データＢのフレームにおける、表示面撮影領域Ｒ１２に対応する領域に比べて大きく表示されることを意味する。また各モードの領域サイズの特徴は、図５に示す表現以外で表現されても良い。例えば、子供空間撮影領域Ｒ１１および表示面撮影領域Ｒ１２の撮影領域の比較によって、各モードの領域サイズの特徴を表しても良い。また各モードにおいて、ロボット側動画データＢの各フレームを均一に大きくし、その後に、拡大または縮小する加工をしても良い。

【0064】

図６を参照して、子供と遠隔者とのコミュニケーション中のコミュニケーション支援システム５の処理を説明する。

【0065】

ステップＳ１１において遠隔者端末３は、ロボット１の動作指示を入力すると、ステップＳ１２において動画処理装置２は、ステップＳ１１で取得した動作指示を、ロボット１に送信する。動作指示は、ロボット１の移動を指示する移動指示、またはロボット１の回転を指示する回転指示等である。ステップＳ１３においてロボット１は、取得した動作指示に従って動作する。

【0066】

ここで、移動指示には、移動する方向、距離、速度等の各種設定値が含まれても良い。回転指示には、回転時の速度、回転する角度等の各種設定値が含まれても良い。また動画処理装置２は、遠隔者端末３が送信した動作指示を、ロボット１が判別可能な形式に変換して、動作指示を送信しても良い。図６に示す例において、遠隔者端末３が動作指示を送信する場合を説明したが、動画処理装置２が、ロボット側動画データＢの内容に基づいて、遠隔者端末３の指示なく自律的に、ロボット１に動作指示を送信しても良い。

【0067】

またステップＳ１４において、遠隔者端末３が表示動画データＤのモードを指定する指示が送信される。ステップＳ１５において動画処理装置２は、ステップＳ１４で指定されたモードでロボット側動画データＢを加工し、ステップＳ１６において指定されたモードで加工された表示動画データＤを送信する。

【0068】

またステップＳ１７において動画処理装置２は、ロボット側動画データＢを監視し、モードの変更条件を検知すると、検知したモードでロボット側動画データＢを加工する。ステップＳ１８において動画処理装置２は、ステップＳ１７で検知したモードで加工された表示動画データＤを送信する。

【0069】

動画処理装置２は、後述する図１０のように、所定のモードを適用するための条件を、予め定める。動画処理装置２は、ロボット側動画データＢを監視して、予め定めた条件に合致するか否かを判断する。条件に合致する場合、その条件時に適用するモードで、ロボット側動画データＢを加工して、表示動画データＤを生成する。これにより、子供が玩具を表示面に近づけると、子供玩具重視モードに変更し、さらに表示面に近づけると玩具重視モードに変更するなど、動画処理装置２は、子供の動きに反応してモードを変更し、子供と遠隔者のコミュニケーションを支援する。

【0070】

（ロボット）
図７を参照して、本発明の実施の形態に係るロボット１が有するコンピュータ機能を説明する。ロボット１は、記憶装置１００、処理装置１１０および入出力制御装置１２０、通信制御装置１５０等の一般的なコンピュータを有する装置のほか、コンピュータに接続可能な機器を備える。機器は、カメラ１３０、ロボット側表示装置１４０、移動装置１６０および回転装置１６１である。これらの機器は、コンピュータに内蔵されても良いし、外付けで接続されても良い。

【0071】

記憶装置１００は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）、ハードディスク等であって、処理装置１１０が処理を実行するための入力データ、出力データおよび中間データなどの各種データを記憶する。処理装置１１０は、ＣＰＵ（Central Processing Unit）であって、記憶装置１００に記憶されたデータを読み書きしたり、入出力制御装置１３０とデータを入出力したりして、ロボット１のコンピュータにおける処理を実行する。

【0072】

入出力制御装置１２０は、処理装置１１０と、コンピュータに接続する機器との間の入出力を制御する。入出力制御装置１２０は、例えば、処理装置１１０から機器へのデータを中継し、機器から処理装置１１０へのデータを中継する。

【0073】

カメラ１３０は、図４を参照して説明したように、子供の存在する空間を撮影し、空間を撮影したロボット側動画データＢを出力する。カメラ１３０は、子供の存在する空間のみならず、ロボット側表示装置１４０の表示面に押しつけられた玩具または支持台１８０に設置された玩具を撮影できるように、魚眼レンズを有する。

【0074】

ロボット側表示装置１４０は、図４を参照して説明したように、遠隔者端末３から受信した遠隔者側動画データＧを表示する。より具体的には、ロボット側表示装置１４０は、遠隔者側動画データＧに基づいて取得される動画像を表示する。

【0075】

通信制御装置１５０は、ロボット１が、動画処理装置２と通信可能に接続するためのインタフェースである。

【0076】

移動装置１６０は、ロボット１が移動するための装置である。回転装置１６１は、ロボット１が周方向に回転するための装置である。本発明の実施の形態において、移動装置１６０および回転装置１６１の仕組みはどのようなものでもよく、具体的な構成は問わない。

【0077】

回転装置１６１は、カメラ１３０およびロボット側表示装置１４０を回転する。回転装置１６１は、カメラ１３０およびロボット側表示装置１４０の向きの関係に変更が生じないように、これらを同期して回転する。本発明の実施の形態において回転装置１６１は、ロボット１の筐体に設けられるので、ロボット１を回転することで、カメラ１３０およびロボット側表示装置１４０は、同期して回転することになる。

【0078】

記憶装置１００は、ロボット側動画データＢと遠隔者側動画データＧを記憶する。

【0079】

処理装置１１０は、ロボット側動画送信部１１１、遠隔者側動画再生部１１２および動作指示実行部１１３を備える。

【0080】

ロボット側動画送信部１１１は、カメラ１３０からによって撮影されたロボット側動画データＢを取得し、取得したロボット側動画データＢを動画処理装置２に送信する。

【0081】

遠隔者側動画再生部１１２は、動画処理装置２から遠隔者側動画データＧを受信し、受信した遠隔者側動画データＧを再生して、ロボット側表示装置１４０に表示する。

【0082】

動作指示実行部１１３は、遠隔者端末３が入力した動作指示を、動画処理装置２を介して受信し、その動作指示に従って、移動装置１６０または回転装置１６１を駆動する。動作指示実行部１１３は、例えば、ロボット１を前に動かしたり、ロボットを回転させたりする。これにより遠隔者は、ロボット１を自身の希望の通りに動かし、所望の視界を得たり、子供とコミュニケーションを得たりができる。

【0083】

なおロボット１は、図７に示さないが入力装置を備えても良い。入力装置は、子供または子供の保護者等からの入力を受け付け、入出力制御装置１２０を介して処理装置１１０に、指示を入力する。入力装置は、ロボット１の筐体に設けられるボタン、ロボット側表示装置１４０に実装されるタッチパネル等である。またロボット１は、図７には示さないが、図３（ａ）に示すようにスピーカー１７０、支持台１８０を備える。またロボット１は、支持台１８０を駆動するためのモータ等の駆動装置をさらに備えても良い。

【0084】

支持台１８０の駆動としては、支持台１８０の開閉、移動等が考えられる。支持台１８０の開閉は、図３（ａ）に示すように、支持台１８０が閉じられ、支持台１８０の内部が見えない状態から、図３（ｂ）に示すように、支持台１８０がロボット１の外側に開き、支持台１８０の内部に物を収納可能な状態に変化することである。支持台１８０の開閉は、支持台１８０が開いた状態から閉じた状態への変化を含む。また支持台１８０の移動は、ロボット１の筐体とぶつからない範囲内で、支持台１８０が上下または左右に移動したりすることである。

【0085】

支持台１８０の駆動は、遠隔者端末３によって指示されても良い。図３（ｂ）に示すように支持台１８０が開いた状態で支持台１８０内に物体を収納したことが、表示動画データＤで確認されると、遠隔者端末３は、支持台１８０を閉じる指示をロボット１に送信し、ロボット１の駆動装置は、支持台１８０を閉じる。これにより、子供が遠隔者に、支持台１８０を介して物体をプレゼントしたような演出が可能になる。さらに、遠隔者端末３が、支持台１８０を開く指示をロボット１に送信し、ロボット１は支持台１８０を開き、子供が物を取り出せる状態となる。これにより、遠隔者が子供に、支持台１８０を介して物体をプレゼントしたような演出が可能になる。このように支持台１８０が駆動装置によって開閉し、遠隔者端末３が支持台１８０の駆動を制御することによって、子供と遠隔者のコミュニケーションを支援することが可能である。

【0086】

図８を参照して、本発明の実施の形態に係るロボット１のカメラ１３０のレンズの仕様を説明する。カメラ１３０のレンズは、所定距離における子供と、レンズの下方に位置するロボット側表示装置１４０の表示面および支持台１８０に設置された玩具を撮影する必要がある。

【0087】

そこで、カメラ１３０のレンズは、垂直方向に広角な視野が要求される。具体的には、カメラ１３０のレンズの上方の視野角θ_Ｕの最小値が、式（１）で表され、カメラ１３０のレンズの下方の視野角θ_Ｄの最小値が、式（２）で表される。

【0088】

【数1】

【0089】

なお、Ｄ_{ｄｉｓｐ－ｃｈ}は、子供がロボット１の前に座り、遠隔者とコミュニケーションを取る際の距離、または手を伸ばした際にロボット側表示装置１４０に手が触れる程度の距離を想定する。子供の身長が８０センチの場合、Ｄ_{ｄｉｓｐ－ｃｈ}は、２０－３０センチ程度の数値が設定される。

【0090】

また、カメラ１３０のレンズの水平方向の視野角は、子供がロボット側表示装置１４０に見られていると感じる範囲よりも広くなるように設定される。本発明の実施の形態において、ロボット１に設置されたカメラ１３０のレンズと、ロボット側表示装置１４０の表示面は、左右対称に形成され、ロボット側表示装置１４０の表示面のすぐ上に、カメラ１３０のレンズが設置される。従って、子供がロボット側表示装置１４０に見られていると感じる範囲と、カメラ１３０のレンズで撮影される子供がロボット側表示装置１４０に見られていると感じる範囲は、近似することができる。また本発明の実施の形態において、子供がロボット側表示装置１４０から見られていると認識する角度は、ロボット側表示装置１４０の表示面の中心から、左右それぞれに４７度（合計９４度）であるとしている。

【0091】

従って、カメラ１３０のレンズの水平方向の視野角は、非ぼかし領域Ｒ１として、レンズの中心から左方向および右方向にそれぞれ４７度が担保される。レンズの水平方向の視野角は、左右それぞれ４７度に、さらにぼかし領域Ｒ２で必要となる角度を加算した角度となる。

【0092】

（動画処理装置）
図９を参照して、本発明の実施の形態に係る動画処理装置２を説明する。動画処理装置２は、記憶装置２００、処理装置２１０、通信制御装置２２０を備える一般的なコンピュータである。一般的なコンピュータが動画処理プログラムを実行することにより、図９に示す機能を実現する。

【0093】

記憶装置２００は、ＲＯＭ、ＲＡＭ、ハードディスク等であって、処理装置２１０が処理を実行するための入力データ、出力データおよび中間データなどの各種データを記憶する。処理装置２１０は、ＣＰＵであって、記憶装置２００に記憶されたデータを読み書きしたり、通信制御装置２２０とデータを入出力したりして、動画処理装置２における処理を実行する。通信制御装置２２０は、動画処理装置２が、ロボット１および遠隔者端末３と通信可能に接続するためのインタフェースである。

【0094】

記憶装置２００は、変更条件データ２０１を記憶する。変更条件データ２０１は、図１０に示すように、条件と、その条件下で適用するモードを対応づけたデータである。変更条件データ２０１の条件が満たされた場合、動画処理装置２は、その満たされた条件に対応づけられたモードでロボット側動画データＢを加工して、表示動画データＤを生成する。なお図示しないが、記憶装置２００は、ロボット側動画データＢ、表示動画データＤ、遠隔者側動画データＧ等を記憶しても良い。

【0095】

処理装置２１０は、遠隔者側動画中継部２１１、動作指示中継部２１２およびロボット側動画中継部２１３を備える。

【0096】

遠隔者側動画中継部２１１は、遠隔者端末３が送信した遠隔者側動画データＧを、ロボット１に送信する。本発明の実施の形態において遠隔者側動画中継部２１１は、受信した動画データを加工することなく送信することを想定するが、必要に応じて、受信した動画データを加工しても良い。

【0097】

動作指示中継部２１２は、遠隔者端末３が送信したロボット１の動作指示を、ロボット１に送信する。動作指示は、ロボット１の移動または回転等である。動作指示中継部２１２は、遠隔者端末３から受信したデータを別のデータ形式に変換するなどの変更を行っても良い。

【0098】

ロボット側動画中継部２１３は、ロボット１から受信したロボット側動画データＢを受信する。ロボット側動画中継部２１３は、ロボット側動画加工部２１４によって、ロボット側動画データＢに所定の画像処理を行って表示動画データＤを生成する。さらに、ロボット側動画中継部２１３は、生成した表示動画データＤを遠隔者端末３に送信する。

【0099】

ロボット側動画加工部２１４は、ロボット１から受信したロボット側動画データＢを、遠隔者が見やすい表示動画データＤに加工する。本発明の実施の形態においてロボット側動画加工部２１４は、（１）左右端のぼかし加工および（２）モードの変換の各加工を行って、表示動画データＤを生成する。なお、（１）左右端のぼかし加工は、ロボット側動画データＢのぼかし領域Ｒ２の加工であり、（２）モードの変換は、ロボット側動画データＢの非ぼかし領域Ｒ１の加工であるので、これらの加工は並行して行い、各加工結果を結合して、表示動画データＤのフレームを生成しても良い。

【0100】

（１）左右端のぼかし加工
ロボット側動画加工部２１４は、ロボット１から、ぼかしのないロボット側動画データＢのフレームデータを取得すると、左右端にぼかし加工を施す。ロボット側動画加工部２１４は、図４（ａ）に示すロボット側動画データＢのぼかし領域Ｒ２に対応する領域を、画像処理によりぼかす。ロボット側動画加工部２１４は、例えば、ロボット側動画データＢにおいて各画素に与えられた特徴値を平滑化し、複数画素の特徴値に変換して、ぼかし領域Ｒ２の鮮明度を下げる。このときロボット側動画加工部２１４は、ぼかし領域Ｒ２において、子供の細部まではわからないが、子供がいることがわかる程度に、ぼかし領域Ｒ２の鮮明度を下げる。

【0101】

（２）モードの変換
ロボット側動画加工部２１４は、ロボット側動画データＢを、図５を参照して説明した各モードに対応する動画データに変換する。ロボット側動画加工部２１４は、まず、デフォルトのモードに従って、ロボット側動画データＢを加工する。デフォルトのモードは、図１０に示すように子供重視モードである。

【0102】

その後、ロボット側動画加工部２１４は、遠隔者端末３の指示、またはロボット側動画データＢの内容に応じて、適宜モードを変換する。遠隔者端末３からモードを指定する指示が送信されると、ロボット側動画加工部２１４は、指定されたモードでロボット側動画データＢを加工する。またロボット側動画加工部２１４は、ロボット側動画データＢの動画像の変化を監視し、変更条件データ２０１で指定された条件およびモードに従って、ロボット側動画データＢを加工する。

【0103】

例えばロボット側動画加工部２１４は、子供または玩具などの物体がロボット側表示装置１４０の表示面に近づくと、物体がロボット側表示装置１４０に近づく前に比べて、表示面撮影領域Ｒ１２が、広く表示されるように、加工する。ロボット側動画データＢの表示面撮影領域Ｒ１２に所定の変化（δ）があると、子供が表示面撮影領域Ｒ１２に近づいた、或いは表示面撮影領域Ｒ１２に何かを近づけたと考えられる。その場合、ロボット側動画加工部２１４は、子供玩具重視モードで、子供空間撮影領域Ｒ１１と表示面撮影領域Ｒ１２の両方が見えやすい表示動画データＤに加工する。

【0104】

また、表示面撮影領域Ｒ１２に、更なる変化（δ’＞δ）があると、表示面撮影領域Ｒ１２に子供または玩具がさらに近づいたこと考えられる。その場合、ロボット側動画加工部２１４は、玩具重視モードで、表示面撮影領域Ｒ１２が特に見えやすい表示動画データＤに加工する。

【0105】

またロボット側動画加工部２１４は、ロボット側動画データＢの状況にかかわらず、子供空間撮影領域Ｒ１１と表示面撮影領域Ｒ１２は、背景撮影領域と比較して拡大して表示されるように、加工しても良い。これにより、モード変換に依らずとも、コミュニケーションのキーとなる子供と、ロボット側表示装置１４０の表示面または支持台に近づく玩具の見やすい動画データを、継続的に、遠隔者端末３に提供することができる。

【0106】

ロボット側動画加工部２１４が、子供空間撮影領域Ｒ１１または表示面撮影領域Ｒ１２を拡大したり縮小したりする際、様々な手法が考えられる。本発明の実施の形態においてカメラ１３０のレンズは魚眼レンズであるので、魚眼レンズの撮影動画を補正する際に用いる歪曲収差の補正度合いを調節して、加工することも可能である。例えば、本発明の実施の形態において、表示面撮影領域Ｒ１２は、図４（ｂ）に示すように、魚眼レンズの撮影領域の縁部に設けられる。従ってロボット側動画加工部２１４は、子供または玩具などの物体がロボット側表示装置１４０に近づくと、物体がロボット側表示装置１４０に近づく前に比べて、表示面撮影領域Ｒ１２の歪曲収差を強く補正する。これによりロボット側動画加工部２１４は、表示面撮影領域Ｒ１２を広く表示することが可能になる。

【0107】

（遠隔者端末）
図１１を参照して、本発明の実施の形態に係る遠隔者端末３を説明する。遠隔者端末３は、記憶装置３００、処理装置３１０および入出力制御装置３２０、通信制御装置３５０等の一般的なコンピュータを有する装置のほか、コンピュータに接続可能な機器を備える。機器は、カメラ３３０および遠隔者側表示装置３４０である。これらの機器は、コンピュータに内蔵されても良いし、外付けで接続されても良い。遠隔者端末３は、パーソナルコンピュータ、ノートパソコン、スマートフォン、タブレットコンピュータ等の各種コンピュータによって構成されても良い。

【0108】

記憶装置３００は、ＲＯＭ、ＲＡＭ、ハードディスク等であって、処理装置３１０が処理を実行するための入力データ、出力データおよび中間データなどの各種データを記憶する。処理装置３１０は、ＣＰＵであって、記憶装置３００に記憶されたデータを読み書きしたり、入出力制御装置３２０とデータを入出力したりして、遠隔者端末３における処理を実行する。

【0109】

入出力制御装置３２０は、処理装置３１０と、コンピュータに接続する機器との間の入出力を制御する。入出力制御装置３２０は、例えば、処理装置３１０から機器へのデータを中継し、機器から処理装置３１０へのデータを中継する。

【0110】

カメラ３３０は、遠隔者の存在する空間を撮影した遠隔者側動画データＧを、撮影する。カメラ３３０は、向きや角度が調節可能に配置され、カメラ３３０によって遠隔者が映るように調整される。

【0111】

遠隔者側表示装置３４０は、表示動画データＤを表示する。左右端に、子供の存在が確認できる程度にぼかされたぼかし領域Ｒ２を有する表示動画データを表示する。遠隔者側表示装置３４０は、表示動画データＤに基づいて形成される動画像を表示する。

【0112】

記憶装置３００は、遠隔者側動画データＧおよび表示動画データＤを記憶する。

【0113】

処理装置３１０は、遠隔者側動画送信部３１１、表示動画再生部３１２、動作指示部３１３およびモード指定部３１４を備える。

【0114】

遠隔者側動画送信部３１１は、カメラ３３０からによって撮影された遠隔者側動画データＧを取得する。遠隔者側動画送信部３１１は、取得した遠隔者側動画データＧを、動画処理装置２を介して、ロボット１に送信する。

【0115】

表示動画再生部３１２は、動画処理装置２から表示動画データＤを受信し、受信した表示動画データＤを再生し、遠隔者側表示装置３４０に表示する。

【0116】

動作指示部３１３は、動画処理装置２を介してロボット１に、移動の指示、または、カメラ１３０およびロボット側表示装置１４０を周方向に回転する指示を入力する。動作指示部３１３は、表示動画データＤの中央の非ぼかし領域Ｒ１に、子供が映るように、指示する。動作指示部３１３は、操作者が入力した指示を、動画処理装置２に送信しても良いし、操作者の入力がなくとも、動作指示部３１３が自立的に生成した指示を、動画処理装置２に送信しても良い。例えば、表示動画データＤを観察して、非ぼかし領域Ｒ１に子供が映っていないと判断する場合、動作指示部３１３は、ロボット１を回転するように指示する。非ぼかし領域Ｒ１に子供が映ったと判断する場合、動作指示部３１３は、ロボット１を回転する指示を止めるよう指示する。

【0117】

モード指定部３１４は、動画処理装置２に対して、表示動画データＤを生成する際に用いられるモードを指定する。動画処理装置２は、指定されたモードで表示動画データＤを生成して、遠隔者端末３に送信する。

【0118】

このような本発明の実施の形態に係るコミュニケーション支援システム５によれば、ロボット１が撮影した動画データそのものを遠隔者端末３に表示するのではなく、左右端に子供の存在が確認できる程度にぼかされたぼかし領域を設定する。これによりコミュニケーション支援システム５は、遠隔者がロボットの向きを子供の向きに合わせやすく、遠隔者の操作性が向上する。

【0119】

また遠隔者端末３で表示される表示動画データＤにおいて、子供が見られていると感じる範囲外にぼかし領域Ｒ２が設定され、子供が見られていると感じる範囲内に非ぼかし領域Ｒ１が設定される。これによりコミュニケーション支援システム５は、非ぼかし領域Ｒ１に子供が映るように、ロボットの向きを調節できるように誘導することができる。また遠隔者が子供を見るというコミュニケーションサインが、子供に伝わりやすい。

【0120】

また遠隔者端末３において、子供や子供が有する玩具の状況に応じて、所定領域を拡大したり縮小したりすることにより、遠隔者は、子供の行動を適切に把握することができる。これによりコミュニケーション支援システム５において、遠隔者は、子供の行動に対する発話が可能になるので、子供と遠隔者のスムーズなコミュニケーションを支援することができる。

【0121】

（第１の変形例）
本発明の実施の形態において、動画処理装置２が、ロボット側動画データＢの左右端をぼかす画像処理により、表示動画データＤを得る場合を説明したが、これに限られない。

【0122】

第１の変形例において、カメラ１３０のレンズのぼかし領域Ｒ２に対応する位置に、空間をぼかすフィルタが設置されても良い。図１２に示すように、カメラ１３０が有する魚眼レンズ１３１の左右端のそれぞれに、ぼかしフィルタ１３３を配設する。図１２に示す例においてぼかしフィルタ１３３の位置は、レンズ枠１３２によって、固定される。

【0123】

第１の変形例において、カメラ１３０が出力する動画データを、そのまま遠隔者端末３に表示しても良い。その場合、第１の変形例に係るコミュニケーション支援システム５は、図１３に示す処理を行う。

【0124】

ステップＳ５１においてロボット１は、左右端にぼかしが施された表示動画データＤを動画処理装置２に送信し、ステップＳ５２において動画処理装置２は、ステップＳ５１で受信した表示動画データＤを遠隔者端末３に送信する。

【0125】

ステップＳ５３において遠隔者端末３は、遠隔者側動画データＧを動画処理装置２に送信し、ステップＳ５４において動画処理装置２は、ステップＳ５３で受信した遠隔者側動画データＧをロボットに送信する。

【0126】

これによりステップＳ５５においてロボット１は、ステップＳ５４で取得した遠隔者側動画データＧを再生して表示する。ステップＳ５６において遠隔者端末３は、ステップＳ５２で取得した表示動画データＤを再生して表示する。

【0127】

なお、図１３に示す例では省略したが、動画処理装置２は、ステップＳ５１において表示動画データＤを受信した後に、モードに従って所定領域を拡大または縮小する加工をしても良い。

【0128】

第１の変形例において、カメラ１３０のレンズの左右端にぼかしフィルタを設けることにより、動画処理装置２において、ロボット側動画データＢの左右端にぼかし加工を施す必要がなくなる。これにより、動画処理装置２における処理遅延および処理負担を軽減することができる。

【0129】

（第２の変形例）
本発明の実施の形態において、ロボット１と遠隔者端末３に接続する動画処理装置２が、ロボット側動画データＢを加工して、表示動画データＤを生成する場合を説明したが、これに限られない。動画処理装置２のロボット側動画加工部２１４の機能は、ロボット１の一機能として実装されても良いし、遠隔者端末３の一機能として実装されても良い。ロボット１または遠隔者端末３の各コンピュータのスペックや負荷に応じて、ロボット側動画加工部２１４は、適切なコンピュータで実装される。

【0130】

（第３の変形例）
本発明の実施の形態において、ロボット１のカメラ１３０に魚眼レンズを用いる場合を説明したが、これに限られない。

【0131】

図１４に示すように、表示面の上方に第１のレンズ１３５ａを設け、表示面の下方に第２のレンズ１３５ｂを設ける。第１のレンズ１３５ａは、子供空間撮影領域Ｒ１１を撮影し、第２のレンズ１３５ｂは、支持台１８０近傍を撮影する。動画処理装置２は、各レンズで撮影された動画データを結合して、上下方向に広い画角を有する動画データを取得しても良い。

【0132】

さらに、ロボット１のロボット側表示装置１４０の表示面の上下のみならず、左右それぞれにカメラのレンズを設けても良い。左右方向にも広い画角を有する動画データを取得することができるので、遠隔者は、子供の位置を容易に確認することができる。

【0133】

また図１５に示すように、第１のレンズ１３６ａおよび第２のレンズ１３６ｂを並べて設置しても良い。この際、第１のレンズ１３６ａおよび第２のレンズ１３６ｂを覆うカバー１３７を設けて、子供がレンズに触れにくくすることが好ましい。またカバー１３７を黒などの暗い色にすることにより、カバー１３７内部のレンズが見えづらくなり、子供の興味をレンズに向けにくくすることが可能である。

【0134】

また本発明の実施の形態において、ロボット１が左右方向に回転することに伴い、ロボット側動画データＢの左右端にぼかし領域Ｒ２が設定されたが、これに限られない。ロボット１の頭部が上下に首振りするなど、カメラ１３０およびロボット側表示装置１４０が上下方向に回転する場合、ロボット側動画データＢの上下端にぼかし領域Ｒ２が設定されても良い。

【0135】

（その他の実施の形態）
上記のように、本発明の実施の形態とその変形例１ないし３によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。

【0136】

例えば、本発明の実施の形態に記載した情報処理装置は、図１に示すように一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、既存の情報処理システム上に実現されても良い。

【0137】

本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

【符号の説明】

【0138】

１ ロボット
２ 動画処理装置
３ 遠隔者端末
５ コミュニケーション支援システム
１００、２００、３００ 記憶装置
１１０、２１０、３１０ 処理装置
１１１ ロボット側動画送信部
１１２ 遠隔者側動画再生部
１１３ 動作指示実行部
１２０、３２０ 入出力制御装置
１３０、３３０ カメラ
１３１ 魚眼レンズ
１３２ レンズ枠
１３３ ぼかしフィルタ
１３５、１３６ レンズ
１３７ カバー
１４０ ロボット側表示装置
１５０、２２０、３５０ 通信制御装置
１６０ 移動装置
１６１ 回転装置
１７０ スピーカー
１８０ 支持台
２０１ 変更条件データ
２１１ 遠隔者側動画中継部
２１２ 動作指示中継部
２１３ ロボット側動画中継部
２１４ ロボット側動画加工部
３１１ 遠隔者側動画送信部
３１２ 表示動画再生部
３１３ 動作指示部
３１４ モード指定部
３４０ 遠隔者側表示装置
Ｂ ロボット側動画データ
Ｄ 表示動画データ
Ｇ 遠隔者側動画データ
Ｒ１ 非ぼかし領域
Ｒ２ ぼかし領域
Ｒ１１ 子供空間撮影領域
Ｒ１２ 表示面撮影領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】