特開 2024-164888 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024164888

(43)【公開日】2024-11-28

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 11/80 20060101AFI20241121BHJP

   H04N 7/14 20060101ALI20241121BHJP

【ＦＩ】

G06T11/80 E

H04N7/14

H04N7/14 110

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023080587

(22)【出願日】2023-05-16

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100170575

【弁理士】

【氏名又は名称】森 太士

(72)【発明者】

【氏名】岡 尚志

(72)【発明者】

【氏名】堀切 一輝

(72)【発明者】

【氏名】田所 一美

(72)【発明者】

【氏名】熊岡 泰佑

(72)【発明者】

【氏名】伊藤 優雅

(72)【発明者】

【氏名】宗形 亮太

(72)【発明者】

【氏名】藤井 優美

【テーマコード（参考）】

5B050

5C164

【Ｆターム（参考）】

5B050CA07

5B050DA04

5B050DA05

5B050EA06

5B050EA07

5B050EA13

5B050FA05

5B050FA10

5C164FA09

5C164GA03

5C164UA45S

5C164UB41S

5C164VA02P

5C164VA21P

5C164YA12

(57)【要約】

【課題】利用者が、表示されたが顔の画像情報から表情を読み取り易い状態を維持しつつ、当該画像情報の情報量を低減させることが可能な画像処理装置を提供する。
【解決手段】画像処理装置としての第１利用者端末１０Ａは、画像情報取得部としての撮像情報取得部１７３と、筋情報取得部１７１と、送信情報生成部１７８とを備える。撮像情報取得部１７３は、被写体の人物の顔を含む画像情報を取得する。筋情報取得部１７１は、人物の顔の表情筋の変化量を取得する。送信情報生成部１７８は、撮像情報取得部１７３が取得した画像情報の中で、筋情報取得部１７１が取得した変化量が所定値よりも多い表情筋に対応する部位を除く画像情報部分に関する情報量を低減させて送信情報を生成し、通信可能に接続された第２利用者端末２０Ａに送信する。
【選択図】図２

【特許請求の範囲】

【請求項1】

被写体の人物の顔を含む画像情報を取得する画像情報取得部と、
前記人物の顔の表情筋の変化量を取得する筋情報取得部と、
前記画像情報取得部が取得した画像情報の中で、前記筋情報取得部が取得した変化量が所定値よりも多い表情筋に対応する部位を除く画像情報部分に関する情報量を低減させて送信情報を生成し、表示装置に送信する送信情報生成部と、を備えた画像処理装置。

【請求項2】

前記筋情報取得部は、近赤外分光法により取得した前記人物の顔に関する酸素動態の計測情報から、前記人物の顔の表情筋の変化量を取得する、請求項１に記載の画像処理装置。

【請求項3】

前記送信情報生成部は、前記表示装置に送信された送信情報が表示情報として表示されたときに、前記表示装置の利用者による前記表示情報内の視認位置を示す視認位置情報を取得し、
前記画像情報取得部が取得した画像情報の中で、前記筋情報取得部が取得した変化量が所定値よりも多い表情筋に対応し、且つ前記視認位置情報に対応する部位を除く画像情報部分に関する情報量を低減させて送信情報を生成する、請求項１に記載の画像処理装置。

【請求項4】

前記送信情報生成部は、前記画像情報取得部が取得した画像情報の中で、遮光量の多い装備品が検出された部位の表情筋を、前記変化量の算出処理対象から除く、請求項１に記載の画像処理装置。

【請求項5】

画像処理装置が、
被写体の人物の顔を含む画像情報を取得し、
前記人物の顔の表情筋の変化量を取得し、
前記画像情報の中で、前記変化量が所定値よりも多い表情筋に対応する部位を除く画像情報部分に関する情報量を低減させて送信情報を生成し、表示装置に送信する、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

昨今のコロナウィルスの蔓延に伴って、情報通信技術を利用したテレワークが社会で認知されるようになっている。テレワークでは、複数の利用者がそれぞれ所持する端末で撮影した利用者の顔の撮像情報および収音した利用者の音声情報を、通信ネットワークを用いオンラインでやりとりすることで、利用者同士がコミュニケーションをとる。

【0003】

通信ネットワークを用いてやりとりする情報の中に撮像情報が含まれる場合、通信情報量が膨大になり、これに起因して情報通信に遅延が生じたり、撮像情報の品質が低下したり、さらには音声情報にも不具合が生じたりする場合がある。そのため、リアルタイムで質の高いコミュニケーションをとるには、撮像情報の情報量をなるべく低減させることが求められる。撮像情報の情報量を低減させるためには、撮像情報内の部分ごとの重要度に応じて情報量を調整することが考えられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平６－２３３２９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

利用者間で顔の撮像情報を用いてコミュニケーションをとる場合には、撮像情報から相手の表情を読み取ることで相手の感情を推測し、コミュケーションの質を上げることができる。そのため、表情を読み取るために重要度が高い部位の情報部分に関しては、撮像情報の情報量を低減させることは好ましくない。

【0006】

一方で、人間の表情は顔を構成する複数の筋肉の複雑な動きにより作られるものであり、利用者の撮像情報の中から表情を読み取るために重要度が高い部位を判定することが困難である。そのため、利用者それぞれが通信相手の表情を読み取り易い状態を維持しつつ、通信でやりとりする撮像情報の情報量を低減させることが困難であるという問題があった。

【0007】

本発明は、利用者が、表示された顔の画像情報から表情を読み取り易い状態を維持しつつ、当該画像情報を装置間で送受信する際の情報量を低減させることが可能な、画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するための本発明の画像処理装置は、被写体の人物の顔を含む画像情報を取得する画像情報取得部と、前記人物の顔の表情筋の変化量を取得する筋情報取得部と、前記画像情報取得部が取得した画像情報の中で、前記筋情報取得部が取得した変化量が所定値よりも多い表情筋に対応する部位を除く画像情報部分に関する情報量を低減させて送信情報を生成し、表示装置に送信する送信情報生成部と、を備える。

【0009】

また、本発明の画像処理方法は、画像処理装置が、被写体の人物の顔を含む画像情報を取得し、前記人物の顔の表情筋の変化量を取得し、前記画像情報の中で、前記変化量が所定値よりも多い表情筋に対応する部位を除く画像情報部分に関する情報量を低減させて送信情報を生成し、表示装置に送信する。

【発明の効果】

【0010】

本発明の画像処理装置および画像処理方法によれば、利用者が、表示された顔の画像情報から表情を読み取り易い状態を維持しつつ、当該画像情報を装置間で送受信する際の情報量を低減させることができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態による遠隔コミュニケーションシステムの構成を示す全体図である。

【図2】本発明の一実施形態による遠隔コミュニケーションシステム内の第１利用者端末および第２利用者端末の構成を示すブロック図である。

【図3】本発明の一実施形態による遠隔コミュニケーションシステムが動作する際に第１利用者端末および第２利用者端末が実行する処理を示すシーケンス図である。

【図4】本発明の他の実施形態による遠隔コミュニケーションシステムの構成を示す全体図である。

【発明を実施するための形態】

【0012】

以下に、本発明の実施形態による画像処理装置としての機能を含む複数の利用者端末が通信ネットワークを介してオンラインで情報を相互に送受信することで、利用者同士が遠隔でコミュニケーションをとるための処理を行う遠隔コミュニケーションシステムについて説明する。

【0013】

〈一実施形態による遠隔コミュニケーションシステムの構成〉
図１は、一実施形態による遠隔コミュニケーションシステム１Ａの構成を示す全体図である。遠隔コミュニケーションシステム１Ａは、第１利用者端末１０Ａと第２利用者端末２０Ａとが、通信ネットワーク３０を介して通信可能に接続されて構成されている。

【0014】

第１利用者端末１０Ａは第１利用者Ｘ１が利用する端末であり、第２利用者端末２０Ａは第２利用者Ｘ２が利用する端末である。第１利用者端末１０Ａと第２利用者端末２０Ａとは、同様の構成を有している。

【0015】

第１利用者端末１０Ａには近赤外分光計１０１が接続され、第２利用者端末２０Ａには近赤外分光計２０１が接続されている。近赤外分光計１０１、２０１は、例えばＮＩＲ（Near InfraRed；近赤外線）カメラ装置またはＦＩＲ（Finite impulse response；遠赤外線）カメラ装置を用いて構成される。近赤外分光計１０１、２０１は、これらのカメラ装置で撮影した人間の身体、例えば利用者Ｘ１、Ｘ２の顔に関し、ＮＩＲＳ（Near Infrared Spectroscopy；近赤外分光法）の技術を用いて非接触で、血流量の変化に基づく酸素動態を計測する。

【0016】

図２は、第１利用者端末１０Ａおよび第２利用者端末２０Ａの構成を示すブロック図である。第１利用者端末１０Ａは、操作入力部１１と、収音部１２と、撮像部１３と、通信部１４と、出力部１５と、記憶部１６と、演算処理部１７とを有する。

【0017】

操作入力部１１は第１利用者Ｘ１による操作情報を入力する。収音部１２はマイクロホンで構成され、第１利用者Ｘ１が発する音声を入力する。撮像部１３はカメラ装置で構成され、第１利用者Ｘ１を、顔を含めて撮影する。

【0018】

通信部１４は、通信ネットワーク３０を介して第２利用者端末２０Ａと互いに通信する。出力部１５は、例えば表示装置およびスピーカ装置で構成され、第２利用者端末２０Ａから送信された画像情報および音声情報を出力する。第１利用者Ｘ１は、出力部１５から出力される画像情報を視認し、音声情報を聴く。

【0019】

記憶部１６は、ハードディスク、フラッシュメモリ等の不揮発性記憶装置またはＲＡＭ（Random Access Memory）等の揮発性記憶装置から構成される。記憶部１６は、調整内容記憶部１６１を有する。

【0020】

調整内容記憶部１６１は、画像情報内の部分ごとに予め設定された、当該画像情報を他の装置と送受信する際に情報量を下げるための画像調整内容を記憶する。

【0021】

演算処理部１７は、例えば汎用のマイクロコンピュータが備えるＣＰＵ（中央処理装置）であって、所定の情報処理プログラムをインストールして実行することにより、以下に示す１又は２以上の情報処理部を構成する。

【0022】

演算処理部１７は、２つ以上の情報処理部として、筋情報取得部１７１と、音声処理部１７２と、画像情報取得部としての撮像情報取得部１７３と、部位検出部１７４と、装備品検出部１７５と、変化量算出部１７６と、調整内容決定部１７７と、画像調整部としての送信情報生成部１７８と、出力制御部１７９とを有する。

【0023】

筋情報取得部１７１は、近赤外分光計１０１による計測情報に基づいて、計測対象である第１利用者Ｘ１の顔の筋肉の動作状態を示す筋情報を取得する。

【0024】

音声処理部１７２は、収音部１２が収音した第１利用者Ｘ１が発する音声の情報を第１音声情報として取得する。

【0025】

撮像情報取得部１７３は、撮像部１３が撮影した第１利用者Ｘ１の撮像情報を取得する。部位検出部１７４は、撮像情報取得部１７３が取得した撮像情報の中から、第１利用者Ｘ１の顔の構成部位をそれぞれ検出する。装備品検出部１７５は、部位検出部１７４が検出した第１利用者Ｘ１の顔の構成部位の情報の中から、眼鏡、サングラス、またはマスク等の装備品を検出する。

【0026】

変化量算出部１７６は、筋情報取得部１７１が取得した筋情報に基づいて、顔の各種表情筋に関する、所定時間ごとの変化量を算出する。表情筋とは、目、口等の部位を動かす複数種類の筋肉であり、これらが相互に作用して顔の表情を作る。

【0027】

変化量算出部１７６は、この変化量を算出する際に、装備品検出部１７５においてサングラスまたはマスク等の遮光量が所定値よりも多い装備品が検出された部位の表情筋を、変化量の算出処理対象から除く。

【0028】

調整内容決定部１７７は、第１利用者端末１０Ａと第２利用者端末２０Ａとの間でオンラインによる通信が開始すると、変化量算出部１７６で算出された変化量に基づいて撮像情報内の調整部分を特定する。また調整内容決定部１７７は、調整内容記憶部１６１に記憶された情報に基づいて、特定した調整部分に関する調整内容を決定する。調整内容の詳細については後述する。

【0029】

送信情報生成部１７８は、撮像情報取得部１７３が取得した撮像情報の中で、調整内容決定部１７７が特定した調整部分を、決定した調整内容に基づいて調整する。送信情報生成部１７８は、調整した撮像情報を第１撮像情報として、第１音声情報とともに通信部１４を介して第２利用者端末２０Ａに送信する。

【0030】

出力制御部１７９は、第２利用者端末２０Ａから送信される、第２利用者Ｘ２を撮影した撮像情報である第２撮像情報、および第２利用者Ｘ２が発した音声の情報である第２音声情報を取得し、出力部１５から出力させる。

【0031】

第２利用者端末２０Ａは第１利用者端末１０Ａと同様の構成を有し、第２利用者Ｘ２に関する第２撮像情報および第２音声情報を生成して第１利用者端末１０Ａに送信する機能を有する。さらに、第２利用者端末２０Ａは、第１利用者端末１０Ａから送信された第１撮像情報および第１音声情報を取得して出力させる機能を有する。

【0032】

〈一実施形態による遠隔コミュニケーションシステムの動作〉
本実施形態による遠隔コミュニケーションシステム１Ａの動作について説明する。図３は、遠隔コミュニケーションシステム１Ａが動作する際に第１利用者端末１０Ａおよび第２利用者端末２０Ａが実行する処理を示すシーケンス図である。

【0033】

ここでは、遠隔コミュニケーションシステム１Ａの動作の一例として、第１利用者端末１０Ａが、被写体の人物である第１利用者Ｘ１の顔を撮影し、撮影により生成した撮像情報を表示装置としての第２利用者端末Ｘ２に送信して表示させる処理について説明する。

【0034】

上述したように第２重視部位情報が記憶された状態で、第１利用者端末１０Ａと第２利用者端末２０Ａとの間でオンライン通信が開始されると（Ｓ１）、第１利用者Ｘ１が発する音声を収音部１２が収音する処理を開始する。音声処理部１７２は、収音部１２が収音した音声の情報を第１音声情報として取得する。また、オンライン通信が開始されると、撮像部１３が第１利用者Ｘ１の撮影を開始する。撮像情報取得部１７３は、撮像部１３が撮影した撮像情報を取得する（Ｓ２）。

【0035】

部位検出部１７４は、撮像情報取得部１７３が取得した撮像情報の中から、第１利用者Ｘ１の顔の構成部位をそれぞれ検出する。顔の構成部位は、例えば、目、眉、鼻、口、頬、耳、輪郭、髪等である。眉間は表情を読み取る際に重要な部位であるため、部位検出部１７４の検出対象として含める。

【0036】

また、装備品検出部１７５は、部位検出部１７４が検出した第１利用者Ｘ１の顔の構成部位の情報の中から、眼鏡、サングラス、またはマスク等の装備品を検出する（Ｓ３）。

【0037】

またオンライン通信が開始されると、近赤外分光計１０１が、利用者Ｘ１の顔に関する血流量の変化に基づく酸素動態の計測を開始する。近赤外分光計１０１は、計測した情報を、第１利用者端末１０Ａに送信する。

【0038】

第１利用者端末１０Ａでは、筋情報取得部１７１が、近赤外分光計１０１で計測された情報を取得し、取得した計測情報に基づいて、計測対象である第１利用者Ｘ１の顔の筋肉の動作状態を示す筋情報を取得する（Ｓ４）。

【0039】

変化量算出部１７６は、筋情報取得部１７１が取得した筋情報に基づいて、顔の各種表情筋に関する所定時間ごとの変化量を算出する（Ｓ５）。変化量算出部１７６は、人間の表情の種類と関連する表情筋をそれぞれ紐づけた紐付け情報を、予め保持している。変化量算出部１７６はこの紐付け情報に基づいて、顔の各種表情筋のうち、人間の表情に関連する表情筋の変化量を、高い優先度で算出する。人間の表情の種類と表情筋の種類との紐付け情報は、既知の情報を用いることができる。

【0040】

ここで、口周辺に関しては、表情の変化に関わらずしゃべるときには動くため口周辺のすべての表情筋を変化量の算出対象とせず、表情に関わる口角を上げ下げする筋肉のみを変化量の算出対象としてもよい。

【0041】

また、第１利用者Ｘ１がサングラスをかけている場合には目およびその周辺の画像情報部分は変化せず、マスクをしている場合には口元の画像情報部分は変化しない。そのため、このような部位に対応する表情筋の情報を取得できたとしても、表情を認識するためには不必要な情報になる。そこで変化量算出部１７６は、装備品検出部１７５においてサングラスまたはマスク等の遮光量が所定値よりも多い装備品が検出されている場合には、対応する部位の表情筋に関しては、変化量の算出対象から除く。

【0042】

一方、装備品検出部１７５において装備品として眼鏡が検出されている場合には、目およびその周辺の画像情報部分の変化を認識することが可能であるため、変化量算出部１７６は、対応する部位である目およびその周辺を動かす表情筋を変化量の算出対象に含める。このように処理を行うことで、変化量算出部１７６は、効率良く、各種表情筋の変化量を算出することができる。ここで算出される各種表情筋の変化量は、オンライン通信が行われている間に第１利用者Ｘ１の状態によって変更する、動的な情報である。

【0043】

調整内容決定部１７７は、変化量算出部１７６で算出された顔の各種表情筋の変化量に基づいて、画像情報内の調整部分を特定する。

【0044】

複数の表情筋のうち、動きが多い表情筋は、顔の表情の生成に多く寄与している筋肉である。そのため、調整内容決定部１７７は、変化量が所定値よりも多い表情筋に対応する画像部分を除く部分を、調整部分として特定する。

【0045】

次に調整内容決定部１７７は、調整内容記憶部１６１に記憶された情報に基づいて、特定した調整部分に関する調整内容を決定する（Ｓ６）。調整内容決定部１７７は例えば、調整部分である髪や顔の輪郭部分に関する撮像情報部分の輝度または色の少なくともいずれかの階調を下げて画質を下げることを決定する。このように画質を下げることで、撮像情報を通信ネットワーク３０に送出する際の圧縮率が高くなり、通信負荷を低減させることができる。

【0046】

送信情報生成部１７８は、撮像情報取得部１７３が取得した撮像情報の中で、調整内容決定部１７７が特定した調整部分を、決定した調整内容に基づいて調整する。送信情報生成部１７８は、調整した撮像情報を第１撮像情報として、第１音声情報とともに通信部１４を介して第２利用者端末２０Ａに送信する（Ｓ７）。

【0047】

第２利用者端末２０Ａでは、第１利用者端末１０Ａから送信された第１撮像情報および第１音声情報を出力制御部２７９が取得し、出力部２５から出力させる（Ｓ８）。第２利用者Ｘ２は、出力部２５から出力された第１撮像情報を視認し、第１音声情報を認識する。出力部２５に出力された第１撮像情報は、第１利用者Ｘ１の顔の中で表情筋の動きが多い部位が精度の高い画像情報で表示されているため、第２利用者Ｘ２は、第１利用者Ｘ１の表情を読み取り易い状態で第１撮像情報を視認することができる。

【0048】

また、第１利用者端末１０Ａにおいても同様に、第２利用者端末２０Ａから第２撮像情報および第２音声情報を取得して出力させる。第１利用者Ｘ１は、出力部１５から出力された第２撮像情報を視認し、第２音声情報を認識する。出力部１５に出力された第２撮像情報は、第２利用者Ｘ２の顔の中で、表情筋の動きが多い部位が精度の高い画像情報で表示されているため、第１利用者Ｘ１は、第２利用者Ｘ１の表情を読み取り易い状態で第２撮像情報を視認することができる。

【0049】

オンライン通信の実行中、ステップＳ２～Ｓ６の処理を所定時間間隔で繰り返すことで、第１利用者Ｘ１または第２利用者Ｘ２の顔の中で変化量の多い表情筋が変わった際に、これに応じて調整部分を適宜変更するようにしてもよい。

【0050】

以上の実施形態によれば、第１利用者Ｘ１が操作する第１利用者端末１０Ａと、第２利用者Ｘ２が操作する第２利用者端末２０Ａとの間でオンライン通信を行う際に、双方の利用者が相手の撮像情報から表情を読み取り易い状態を維持しつつ、送受信時の撮像情報の情報量を低減させて通信負荷を低減させることができる。

【0051】

上述した実施形態において利用者端末は、利用者の顔を撮影した撮像情報の中で、変化量が所定値よりも多い表情筋に対応する画像部分を除く部分を情報量の低減対象とする。これにより利用者端末は、利用者の表情の生成に多く寄与している表情筋に対応する画像部分に関しては表情を読み取り易い状態を維持して、送信情報を生成することができる。このように、画像情報の低減対象部分を表情筋の変化量に基づいて特定することで、利用者端末は、撮像情報内での動きは小さいが緊張している表情筋がある場合にこれを認識し、緊張により変化する表情を読み取り易い状態で送信情報を生成することができる。

【0052】

また上述した実施形態において利用者端末は、被写体である利用者がサングラスまたはマスク等の遮光量が所定値よりも多い装備品を装着している場合には、撮像情報の中の対応する部位の表情筋に関しては変化量の算出対象から除く場合について説明した。しかしこれには限定されず、近赤外分光計の計測結果に基づいてサングラスまたはマスクで隠れた顔部分の表情筋の変化量も算出し、画像情報内の調整部分の特定に用いても良い。例えば、サングラスまたはマスクで隠れた顔部分の表情筋に連動して動く表情筋に関しては、変化量が所定値よりも小さくても表情の生成に寄与していると判断し、この表情筋に対応する部位の画像情報部分を低減対象から除くようにしても良い。

【0053】

また上述した実施形態において、近赤外分光計１０１、２０１による計測結果を利用することで、計測対象の利用者の視線をさらに検出することができる。これを利用して、通信相手が、オンライン通信中に視認している画像情報内の位置を示す視認位置情報を取得し、取得した情報に基づいて、特定した画像情報内の調整部分を補正してもよい。

【0054】

例えば、第２利用者端末２０Ａに送信された第１撮像情報が表示情報として出力部２５に表示されたときに、近赤外分光計２０１による計測結果を利用して筋情報取得部２７１が、第２利用者Ｘ２による第１撮像情報内の視認位置情報を生成する。筋情報取得部２７１は、生成した視認位置情報を第１利用者端末１０Ａに送信する。

【0055】

第１利用者端末１０Ａでは、第２利用者端末２０Ａから送信された視認位置情報を、調整内容決定部１７７が取得する。調整内容決定部１７７は取得した視認位置情報に基づいて、第１撮像情報内で、第２利用者Ｘ２が視認している画像情報内の位置およびその位置から所定距離内の画像情報部分に関しては、情報量を減らさないようにして調整内容を決定する。つまり、調整内容決定部１７７は、筋情報取得部１７１が取得した変化量が所定値よりも多い表情筋に対応する部位、および視認位置情報に対応する部位を除く画像情報部分に関する情報量を低減させるように調整内容を決定する。

【0056】

このように処理を加えることで、さらに利用者が表情を読み取りやすい状態で、通信相手の撮像情報を表示させることができる。

【0057】

上述した実施形態では、第１利用者端末１０Ａと、第２利用者端末２０Ａそれぞれが、自端末で撮影した撮像情報を調整して通信先の利用者端末に送信する遠隔コミュニケーションシステム１Ａについて説明した。しかしこの形態には限定されず、図４に示すように、第１利用者端末１０Ｂと第２利用者端末２０Ｂと管理サーバ４０とが通信ネットワーク３０を介して通信可能になるような遠隔コミュニケーションシステム１Ｂを構成してもよい。

【0058】

この遠隔コミュニケーションシステム１Ｂでは、管理サーバ４０が、上述した実施形態で説明した第１利用者端末１０Ａ内の記憶部１６、演算処理部１７および第２利用者端末２０Ａ内の記憶部２６、演算処理部２７の機能を有する。

【0059】

そして、管理サーバ４０は、第１利用者端末１０Ｂで撮影された撮像情報を取得して適宜調整し、第２利用者端末２０Ｂに送信する。また管理サーバ４０は、第２利用者端末２０Ｂで撮影された撮像情報を取得して適宜調整し、第１利用者端末１０Ｂに送信する。

【0060】

このように遠隔コミュニケーションシステム１Ｂを構成することで、撮像情報の調整処理を、管理サーバ４０で一元化して効率良く実行することができる。また第１利用者端末１０Ｂおよび第２利用者端末２０Ｂは、操作入力部、撮像部、収音部、通信部、および出力部を有していればよく、撮像情報を調整するための専用のアプリケーション等を搭載する必要がない。

【0061】

また、上述した実施形態においては、遠隔コミュニケーションシステム１Ａが２台の利用者端末（第１利用者端末と第２利用者端末）を有し、この２台の利用者端末間でオンライン通信を実行する場合について説明した。しかしこれには限定されず、３台以上の利用者端末間でオンライン通信を行う遠隔コミュニケーションシステムを構築してもよい。

【0062】

このように構成された遠隔コミュニケーションシステムでは、複数の利用者端末が自端末で撮影した撮像情報を調整して送信情報を生成し、他の利用者端末に送信する。

【0063】

また、３台以上の利用者端末間でオンライン通信を行う遠隔コミュニケーションシステムで、各通信相手がオンライン通信中に視認している画像情報内の位置情報を取得し、取得した情報に基づいて、特定した画像情報内の調整部分を通信先の利用者ごとに補正してもよい。この場合、各利用者端末は、通信先の利用者端末ごとの送信情報を生成し、生成した通信先の利用者端末ごとの送信情報を、それぞれ該当する通信先の利用者端末に送信する。

【0064】

また、３台以上の利用者端末間でオンライン通信を行う場合に、図４に示したように構築した遠隔コミュニケーションシステムの管理サーバ４０で、各利用車端末で撮影された撮像情報の調整処理を行うようにすることで、送信先の利用者端末ごとに生成する複数の撮像情報の調整処理をまとめて効率良く実行することができる。

【0065】

また、上述した実施形態では、撮像情報内の表情筋の動きが多い顔の部位を除く画像部分の画質を下げることで撮像情報の送信時の圧縮率を高めて送信情報量を調整する場合について説明したが、撮像情報全体としての送信情報量が低下するのであれば、表情筋の動きが多い顔の部位の画像部分の画質を高くする処理を加えてもよい。このように処理を加えることで、さらに利用者が表情を読み取りやすい状態で、撮像情報を表示させることができる。

【符号の説明】

【0066】

１Ａ、１Ｂ 遠隔コミュニケーションシステム
１０Ａ、１０Ｂ 第１利用者端末
１１、２１ 操作入力部
１２、２２ 収音部
１３、２３ 撮像部
１４、２４ 通信部
１５、２５ 出力部
１６、２６ 記憶部
１７、２７ 演算処理部
２０Ａ、２０Ｂ 第２利用者端末
３０ 通信ネットワーク
４０ 管理サーバ
１０１、２０１ 近赤外分光計
１６１、２６１ 調整内容記憶部
１７１、２７１ 筋情報取得部
１７２、２７２ 音声処理部
１７３、２７３ 撮像情報取得部
１７４、２７４ 部位検出部
１７５、２７５ 装備品検出部
１７６、２７６ 変化量算出部
１７７、２７７ 調整内容決定部
１７８、２７８ 送信情報生成部
１７９、２７９ 出力制御部

【図1】

【図2】

【図3】

【図4】