特開 2024-88060 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024088060

(43)【公開日】2024-07-02

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   H04N 19/115 20140101AFI20240625BHJP

   H04N 19/167 20140101ALI20240625BHJP

   H04N 19/17 20140101ALI20240625BHJP

   H04N 23/60 20230101ALI20240625BHJP

   H04N 19/136 20140101ALI20240625BHJP

【ＦＩ】

H04N19/115

H04N19/167

H04N19/17

H04N23/60 300

H04N23/60 500

H04N19/136

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022203037

(22)【出願日】2022-12-20

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】岡 尚志

(72)【発明者】

【氏名】田所 一美

(72)【発明者】

【氏名】伊藤 優雅

(72)【発明者】

【氏名】熊岡 泰佑

(72)【発明者】

【氏名】宗形 亮太

(72)【発明者】

【氏名】藤井 優美

(72)【発明者】

【氏名】堀切 一輝

【テーマコード（参考）】

5C122

5C159

【Ｆターム（参考）】

5C122DA08

5C122EA47

5C122EA55

5C122FH01

5C122FH02

5C122FH08

5C122FH09

5C122FK12

5C122FK16

5C122GC17

5C122GC38

5C122GC53

5C122HA02

5C122HA65

5C122HB05

5C159MB02

5C159MB12

5C159TA60

5C159TB18

5C159TC34

5C159UA02

5C159UA05

(57)【要約】

【課題】利用者が、表示されたが顔の画像情報から表情を読み取り易い状態を維持しつつ、当該画像情報の情報量を低減させることが可能な画像処理装置を提供する。
【解決手段】画像処理装置としての利用者端末１０Ａ、２０Ａは、重視部位記憶部１６２、２６２と画像情報取得部としての撮像情報取得部１７４、２７４と送信情報生成部１７９、２７９とを備える。重視部位記憶部１６２、２６２は、所定の視認者が人の表情を読み取る際に重視する顔の構成部位を示す重視部位情報を記憶する。撮像情報取得部１７４、２７４は、被写体の人物の顔を含む撮像情報を取得する。送信情報生成部１７９、２７９は、取得した画像情報のうち、重視部位情報で示される部位を除く画像情報部分に関する情報量を低減させて送信情報を生成し、視認者が視認する表示部を有する装置に送信する。
【選択図】図２

【特許請求の範囲】

【請求項1】

所定の視認者が人の表情を読み取る際に重視する顔の構成部位を示す重視部位情報を記憶する重視部位記憶部と、
被写体の人物の顔を含む画像情報を取得する画像情報取得部と、
前記画像情報取得部が取得した画像情報の中で、前記重視部位情報で示される部位を除く画像情報部分に関する情報量を低減させて送信情報を生成し、前記視認者が視認する表示部を有する装置に送信する送信情報生成部と、を備えた画像処理装置。

【請求項2】

前記送信情報生成部は、前記画像情報取得部が取得した画像情報内の変化量が所定値以上の顔の部位を除く画像情報部分に関する情報量を低減させて前記送信情報を生成する、請求項１に記載の画像処理装置。

【請求項3】

前記送信情報生成部は、前記画像情報取得部が取得した画像情報の中で、所定の画像情報部分の輝度または色の少なくともいずれかの階調数を減らすことで情報量を低減させて、前記送信情報を生成する、請求項１または２に記載の画像処理装置。

【請求項4】

前記重視部位記憶部に記憶される重視部位情報は、前記視認者に関する属性情報、または前記視認者が人の顔を見ている際に検出された前記視認者の視線情報に基づいて生成される、請求項１に記載の画像処理装置。

【請求項5】

画像処理装置が、
所定の視認者が人の表情を読み取る際に重視する顔の構成部位を示す重視部位情報を記憶し、
被写体の人物の顔を含む画像情報を取得し、
取得した画像情報の中で、前記重視部位情報で示される部位を除く画像情報部分に関する情報量を低減させて送信情報を生成し、前記視認者が視認する表示部を有する装置に送信する、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

昨今のコロナウィルスの蔓延に伴って、情報通信技術を利用したテレワークが社会で認知されるようになっている。テレワークでは、複数の利用者がそれぞれ所持する端末で撮影した利用者の顔の撮像情報および収音した利用者の音声情報を、通信ネットワークを用いオンラインでやりとりすることで、利用者同士がコミュニケーションをとる。

【0003】

通信ネットワークを用いてやりとりする情報の中に撮像情報が含まれる場合、通信情報量が膨大になり、これに起因して情報通信に遅延が生じたり、撮像情報の品質が低下したり、さらには音声情報にも不具合が生じたりする場合がある。そのため、リアルタイムで質の高いコミュニケーションをとるには、撮像情報の情報量をなるべく低減させることが求められる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平６－２３３２９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

一方で、相手の表情を読み取る際に、顔のどこの部位を重視するかは、文化的な背景や個人それぞれのコミュニケーションスキルによって異なる。例えば日本では、目およびその周辺を重視して表情を読み取る傾向があることが知られている。また、最近の研究でも、コミュニケーションをとる際に、日本人は目元を重視し、一部の外国人は口元を重視する傾向があることが指摘されている。

【0006】

利用者間で顔の撮像情報を用いてコミュニケーションをとる場合には、撮像情報から相手の表情を読み取ることで相手の感情を推測し、コミュケーションの質を上げることができる。そのため、表情を読み取るために重要度が高い部位の情報部分に関しては、撮像情報の情報量を低減させることは好ましくない。

【0007】

しかし、上述したように、相手の表情を読み取る際に、顔のどこの部位を重視するかは人によって異なる。そのため、利用者それぞれが通信相手の表情を読み取り易い状態を維持しつつ、通信でやりとりする撮像情報の情報量を低減させることが困難であるという問題があった。

【0008】

本発明は、利用者が、表示された顔の画像情報から表情を読み取り易い状態を維持しつつ、当該画像情報を装置間で送受信する際の情報量を低減させることが可能な、画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するための本発明の画像処理装置は、所定の視認者が人の表情を読み取る際に重視する顔の構成部位を示す重視部位情報を記憶する重視部位記憶部と、被写体の人物の顔を含む画像情報を取得する画像情報取得部と、前記画像情報取得部が取得した画像情報の中で、前記重視部位情報で示される部位を除く画像情報部分に関する情報量を低減させて送信情報を生成し、前記視認者が視認する表示部を有する装置に送信する送信情報生成部とを備える。

【0010】

また、本発明の画像処理方法は、画像処理装置が、所定の視認者が人の表情を読み取る際に重視する顔の構成部位を示す重視部位情報を記憶し、被写体の人物の顔を含む画像情報を取得し、取得した画像情報の中で、前記重視部位情報で示される部位を除く画像情報部分に関する情報量を低減させて送信情報を生成し、前記視認者が視認する表示部を有する装置に送信する。

【発明の効果】

【0011】

本発明の画像処理装置および画像処理方法によれば、利用者が、表示された顔の画像情報から表情を読み取り易い状態を維持しつつ、当該画像情報を装置間で送受信する際の情報量を低減させることができる。

【図面の簡単な説明】

【0012】

【図1】本発明の第１および第２実施形態による遠隔コミュニケーションシステムの構成を示す全体図である。

【図2】本発明の第１実施形態による遠隔コミュニケーションシステム内の第１利用者端末および第２利用者端末の構成を示すブロック図である。

【図3】本発明の第１実施形態による遠隔コミュニケーションシステムが動作する際に第１利用者端末および第２利用者端末が実行する処理を示すシーケンス図である。

【図4】本発明の第１実施形態による遠隔コミュニケーションシステムにおいて、第１利用者端末が撮像情報内で特定した、重視部位および変化量が所定値以上の部位を示す説明図である。

【図5】本発明の第２実施形態による遠隔コミュニケーションシステム内の第１利用者端末および第２利用者端末の構成を示すブロック図である。

【図6】本発明の第２実施形態による遠隔コミュニケーションシステムが動作する際に第１利用者端末および第２利用者端末が実行する処理を示すシーケンス図である。

【図7A】本発明の第１または第２実施形態による遠隔コミュニケーションシステムの第１利用者端末および第２利用者端末がＶＲ－ＨＭＤで構成された場合の出力部と視線検出用カメラ装置と利用者との位置関係を示す説明図である。

【図7B】本発明の第１または第２実施形態による遠隔コミュニケーションシステムの第１利用者端末および第２利用者端末内に設置された、人の両目の動きから視線を検出する視線検出用カメラ装置と出力部と利用者との位置関係を示す説明図である。

【図8】本発明の他の実施形態による遠隔コミュニケーションシステムの構成を示す全体図である。

【図9】本発明の他の実施形態による遠隔コミュニケーションシステムにおいて、利用者端末の出力部に、複数の通信先の利用者端末から取得した撮像情報を同じ大きさで並べて表示した表示情報の一例である。

【図10】本発明の他の実施形態による遠隔コミュニケーションシステムにおいて、利用者端末の出力部に、複数の通信先の利用者端末から取得した撮像情報を異なる大きさで並べて表示した表示情報の一例である。

【発明を実施するための形態】

【0013】

以下に、本発明の実施形態による画像処理装置としての機能を含む複数の利用者端末が通信ネットワークを介してオンラインで情報を相互に送受信することで、利用者同士が遠隔でコミュニケーションをとるための処理を行う遠隔コミュニケーションシステムについて説明する。

【0014】

《第１実施形態》
〈第１実施形態による遠隔コミュニケーションシステムの構成〉
図１は、第１実施形態による遠隔コミュニケーションシステム１Ａの構成を示す全体図である。遠隔コミュニケーションシステム１Ａは、第１利用者端末１０Ａと第２利用者端末２０Ａとが、通信ネットワーク３０を介して通信可能に接続されて構成されている。

【0015】

第１利用者端末１０Ａは第１利用者Ｘ１が利用する端末であり、第２利用者端末２０Ａは第２利用者Ｘ２が利用する端末である。第１利用者端末１０Ａと第２利用者端末２０Ａとは、同様の構成を有している。

【0016】

図２は、第１利用者端末１０Ａおよび第２利用者端末２０Ａの構成を示すブロック図である。第１利用者端末１０Ａは、操作入力部１１と、収音部１２と、撮像部１３と、通信部１４と、出力部１５と、記憶部１６と、演算処理部１７Ａとを有する。

【0017】

操作入力部１１は第１利用者Ｘ１による操作情報を入力する。収音部１２はマイクロホンで構成され、第１利用者Ｘ１が発する音声を入力する。撮像部１３はカメラ装置で構成され、第１利用者Ｘ１を、顔を含めて撮影する。

【0018】

通信部１４は、通信ネットワーク３０を介して第２利用者端末２０Ａと互いに通信する。出力部１５は、例えば表示装置およびスピーカ装置で構成され、第２利用者端末２０Ａから送信された画像情報および音声情報を出力する。第１利用者Ｘ１は、出力部１５から出力される画像情報を視認し、音声情報を聴く。

【0019】

記憶部１６は、ハードディスク、フラッシュメモリ等の不揮発性記憶装置またはＲＡＭ（Random Access Memory）等の揮発性記憶装置から構成される。記憶部１６は、調整内容記憶部１６１と、重視部位記憶部１６２とを有する。

【0020】

調整内容記憶部１６１は、画像情報内の部分ごとに予め設定された、当該画像情報を他の装置と送受信する際に情報量を下げるための画像調整内容を記憶する。重視部位記憶部１６２は、予め第２利用者端末２０Ａから送信された、第２利用者Ｘ２が、人の表情を読み取る際に重視する顔の構成部位を示す情報（以下、「第２重視部位情報」と記載する）を記憶する。

【0021】

演算処理部１７Ａは、例えば汎用のマイクロコンピュータが備えるＣＰＵ（中央処理装置）であって、所定の情報処理プログラムをインストールして実行することにより、以下に示す１又は２以上の情報処理部を構成する。

【0022】

演算処理部１７Ａは、２つ以上の情報処理部として、パラメータ情報処理部１７１と、重視部位生成部１７２Ａと、音声処理部１７３と、画像情報取得部としての撮像情報取得部１７４と、部位検出部１７５と、装備品検出部１７６と、変化量算出部１７７と、調整内容決定部１７８と、画像調整部としての送信情報生成部１７９と、出力制御部１８０とを有する。

【0023】

パラメータ情報処理部１７１は、第１利用者Ｘ１が操作入力部１１から入力する、第１利用者Ｘ１が人の表情を読み取る際に重視する顔の構成部位を特定するための第１利用者Ｘ１の属性に関するパラメータ（以下、「第１パラメータ」と記載する）を取得し、第２利用者端末２０Ａに送信する。

【0024】

重視部位生成部１７２Ａは、第２利用者端末２０Ａから送信される、第２利用者Ｘ２が人の表情を読み取る際に重視する顔の構成部位を特定するためのパラメータ（以下、「第２パラメータ」と記載する）を取得する。重視部位生成部１７２Ａは、取得した第２パラメータに基づいて第２重視部位情報を生成し、重視部位記憶部１６２に記憶させる。

【0025】

音声処理部１７３は、収音部１２が収音した第１利用者Ｘ１が発する音声の情報を第１音声情報として取得する。

【0026】

撮像情報取得部１７４は、撮像部１３が撮影した、被写体である第１利用者Ｘ１の撮像情報を取得する。部位検出部１７５は、撮像情報取得部１７４が取得した撮像情報の中から、第１利用者Ｘ１の顔の構成部位をそれぞれ検出する。装備品検出部１７６は、部位検出部１７５が検出した第１利用者Ｘ１の顔の構成部位の情報の中から、眼鏡、サングラス、またはマスク等の装備品を検出する。

【0027】

変化量算出部１７７は、部位検出部１７５で検出された顔の構成部位ごとの撮像情報部分に関する、所定時間ごとの変化量を算出する。変化量算出部１７７は、この変化量を算出する際に、装備品検出部１７６においてサングラスまたはマスク等の遮光量の多い装備品が検出された構成部位は、変化量の算出処理対象から除く。

【0028】

調整内容決定部１７８は、第１利用者端末１０Ａと第２利用者端末２０Ａとの間でオンラインによる通信が開始すると、重視部位記憶部１６２に記憶された情報に基づいて撮像情報内の調整部分を特定する。調整部分の詳細については後述する。また調整内容決定部１７８は、調整部分の特定に関する補助的な処理として、変化量算出部１７７で算出された変化量が所定値以上の顔の構成部位の撮像情報部分に基づいて、特定した調整部分を補正する。

【0029】

また調整内容決定部１７８は、調整内容記憶部１６１に記憶された情報に基づいて、特定した調整部分に関する調整内容を決定する。調整内容の詳細については後述する。

【0030】

送信情報生成部１７９は、撮像情報取得部１７４が取得した撮像情報の中で、調整内容決定部１７８が特定した調整部分を、決定した調整内容に基づいて調整する。送信情報生成部１７９は、調整した撮像情報を第１撮像情報として、第１音声情報とともに通信部１４を介して第２利用者端末２０Ａに送信する。

【0031】

出力制御部１８０は、第２利用者端末２０Ａから送信される、第２利用者Ｘ２を撮影した撮像情報である第２撮像情報、および第２利用者Ｘ２が発した音声の情報である第２音声情報を取得し、出力部１５から出力させる。

【0032】

第２利用者端末２０Ａは、第１利用者端末１０Ａと同様の構成を有し、第２利用者Ｘ２が入力した第２パラメータを第１利用者端末１０Ａに送信する機能を有する。第２利用者端末２０Ａは、第１利用者端末１０Ａから送信される第１パラメータを取得して記憶する機能、第２利用者Ｘ２に関する第２撮像情報および第２音声情報を生成して第１利用者端末１０Ａに送信する機能を有する。さらに、第２利用者端末２０Ａは、第１利用者端末１０Ａから送信された第１撮像情報および第１音声情報を取得して出力させる機能を有する。

【0033】

〈第１実施形態による遠隔コミュニケーションシステムの動作〉
本実施形態による遠隔コミュニケーションシステム１Ａの動作について説明する。図３は、遠隔コミュニケーションシステム１Ａが動作する際に第１利用者端末１０Ａおよび第２利用者端末２０Ａが実行する処理を示すシーケンス図である。

【0034】

ここでは、遠隔コミュニケーションシステム１Ａの動作の一例として、第１利用者端末１０Ａが、被写体である第１利用者Ｘ１の顔を撮影し、撮影により生成した撮像情報を、視認者である第２利用者Ｘ２に提供するために第２利用者端末Ｘ２に送信する処理について説明する。

【0035】

第１利用者端末１０Ａと第２利用者端末２０Ａとの間でオンライン通信が開始される前に、第２利用者Ｘ２が、人の表情を読み取る際に重視する顔の構成部位を特定するための情報を、第２パラメータとして第２利用者端末２０Ａの操作入力部２１から入力する。この情報は、例えば、第２利用者の属性情報である国籍、出身地、または在住地域等である。また第２利用者Ｘ２は、第２パラメータとして、人の表情を読み取る際に重視する顔の構成部位を特定して入力してもよい。

【0036】

パラメータ情報処理部１７１は、第２利用者Ｘ２が第２パラメータとして入力した情報を取得し、通信部２４を介して第１利用者端末１０Ａに送信する（Ｓ１）。

【0037】

第１利用者端末１０Ａでは、第２利用者端末２０Ａから送信された第２パラメータを、通信部１４を介して重視部位生成部１７２Ａが取得する。重視部位生成部１７２Ａは、取得した第２パラメータに基づいて第２重視部位情報を生成する。

【0038】

重視部位生成部１７２Ａは、例えば以下の(1)～(4)のように、第２重視部位情報を生成する。

【0039】

(1) 第２パラメータとして、第２利用者Ｘ２の国籍の情報「日本」を取得した場合、日本人の特性に基づいて、目を重視することを示す第２重視部位情報を生成する。

【0040】

(2) 第２パラメータとして、第２利用者Ｘ２の在住地域の情報「沖縄」を取得した場合、温暖地域ではサングラスをかけている人が多いことから目を重視することを避け、目以外の部位、例えば口元を重視することを示す第２重視部位情報を生成する。

【0041】

(3) 第２パラメータとして、第２利用者Ｘ２の在住地域の情報「北海道」を取得した場合、寒冷地域では防寒具としてマスクを着用することが多いことから口を重視することを避け、目およびその周辺の部位を重視することを示す第２重視部位情報を生成する。

【0042】

(4) 第２パラメータとして、第２利用者Ｘ２が人の表情を読み取る際に重視する顔の構成部位を特定して入力した情報、例えば入力情報「目」を取得した場合、この入力情報を、それ以外の情報、例えば国籍、出身地、または在住地域の情報よりも優先して用いて、第２重視部位情報を生成する。

【0043】

一般的に、人の顔は、笑みを浮かべているときには目尻が下がり、不機嫌なときには口角が下がるように変化するため、人の表情を読み取る際に重視する顔の構成部位としては、目や口の周辺の情報も重要である。そのため、本実施形態では、第１重視部位情報及び第２重視部位情報で用いる「目」の情報には目の周辺の目尻を含み、「口」の情報には口の周辺の口角を含む。

【0044】

重視部位生成部１７２Ａは、生成した第２重視部位情報を、重視部位記憶部１６２に記憶させる（Ｓ２）。この重視部位記憶部１６２に記憶された第２重視部位情報は、以降に撮像情報の調整処理が実行される間、変化しない静的な情報である。

【0045】

上述したように第２重視部位情報が記憶された状態で、第１利用者端末１０Ａと第２利用者端末２０Ａとの間でオンライン通信が開始されると（Ｓ３）、第１利用者Ｘ１が発する音声を収音部１２が収音する処理を開始する。音声処理部１７３は、収音部１２が収音した音声の情報を第１音声情報として取得する。また、オンライン通信が開始されると、撮像部１３が第１利用者Ｘ１の撮影を開始する。撮像情報取得部１７４は、撮像部１３が撮影した撮像情報を取得する。

【0046】

部位検出部１７５は、撮像情報取得部１７４が取得した撮像情報の中から、第１利用者Ｘ１の顔の構成部位をそれぞれ検出する。顔の構成部位は、例えば、目、眉、鼻、口、頬、耳、輪郭、髪等である。眉間は表情を読み取る際に重要な部位であるため、部位検出部１７５の検出対象として含める。

【0047】

また、装備品検出部１７６は、部位検出部１７５が検出した第１利用者Ｘ１の顔の構成部位の情報の中から、眼鏡、サングラス、またはマスク等の装備品を検出する（Ｓ４）。

【0048】

変化量算出部１７７は、部位検出部１７５で検出された顔の構成部位ごとの撮像情報部分に関する、所定時間ごとの変化量を算出する（Ｓ５）。ここで、第１利用者Ｘ１が笑顔になると、眉は山型に丸くなり、目は細くなり、場合によっては目尻に皺ができ、口角が上がり、歯が見えるほど口が開き、場合によっては頬に皺ができる。また、第１利用者Ｘ１が怒っている場合には、眉の先端が上がり、これにつられて目尻が上がり、眉間に皺ができ、口角が下がる。

【0049】

変化量算出部１７７は、このような構成部位ごとの撮像情報の変化量を算出する。変化量算出部１７７は、感情が変化したときにのみ現れる皺の位置を、常時認識可能な部位である目、口等からの相対位置として予め設定しておくことで、精度良く皺の変化量を算出することができる。

【0050】

なお変化量算出部１７７は、構成部位「口」については、第１利用者Ｘ１が話しているかどうかを判断して、話している場合は変化量を検出せず、話していない場合に変化量、例えば歯が見えるかなどの変化量を検出するようにしてもよい。このように口の部位の変化量を検出することで、精度良く第１利用者Ｘ１の表情を読み取ることができる。

【0051】

また、第１利用者Ｘ１がサングラスをかけている場合には目およびその周辺の画像情報部分は変化せず、マスクをしている場合には口元の画像情報部分は変化しない。そこで変化量算出部１７７は、装備品検出部１７６においてサングラスまたはマスク等の遮光量の多い装備品が検出されている場合には、対応する部位である目または口は、変化量の算出対象から除く。

【0052】

一方、装備品検出部１７６において装備品として眼鏡が検出されている場合には、目およびその周辺の画像情報部分の変化を認識することが可能であるため、変化量算出部１７７は、対応する部位である目を変化量の算出対象に含める。このように処理を行うことで、変化量算出部１７７は、効率良く、構成部位ごとの撮像情報の変化量を算出することができる。ここで算出される構成部位ごとの撮像情報の変化量は、オンライン通信が行われている間に第１利用者Ｘ１の状態によって変更する、動的な情報である。

【0053】

調整内容決定部１７８は、重視部位記憶部１６２に記憶された情報、および変化量算出部１７７で算出された顔の構成部位ごとの撮像情報部分の変化量に基づいて、画像情報内の調整部分を特定する。

【0054】

具体的には、調整内容決定部１７８は、まず第２重視部位情報で示される顔の構成部位を除く画像部分、つまり第２利用者Ｘ２が重視しないと考えられる画像部分を、調整部分として特定する。次に調整内容決定部１７８は、変化量算出部１７７で算出された顔の構成部位ごとの撮像情報部分の変化量の情報を補助的に用いて、特定した調整部分を補正する。

【0055】

例えば、調整内容決定部１７８が、第２重視部位情報で示される顔の構成部位が「目」であり、目を除く画像部分を調整部分として特定したとする。そして、変化量算出部１７７において、所定値以上の変化量が算出された構成部位が、眉、口、および頬であったとする。

【0056】

この場合、調整内容決定部１７８は、これらの情報に基づいて図４に示すように、第２重視部位情報で示される部位である目の情報部分Ｃ１、および所定値以上の変化量が算出された部位である眉の情報部分Ｃ２、口の情報部分Ｃ３、および頬の情報部分Ｃ４を除く撮像情報部分を調整部分として特定する。調整内容決定部１７８は、第２重視部位情報で示される部位の情報よりも、所定値以上の変化量が算出された部位の情報を優先して用いて、該当する部位を除く撮像情報部分を調整部分として特定してもよい。

【0057】

このように処理を行うことで、第２重視部位情報で示される部位と、利用者が実際に話す際に変化量が多い部位とが異なる場合に、撮像情報の中で調整部分を適宜補正することができる。

【0058】

例えば、日本人は目から表情や感情を読み取ることが多いとして、国籍が日本の第２利用者Ｘ２に対して目を重視することを示す第２重視重視部位情報を生成していた場合であっても、第２利用者Ｘ２が必ずしも第１利用者Ｘ１の撮像情報内の目の部位を重視するとは限らない。

【0059】

そのため、リアルタイムで第１利用者Ｘ１の顔の部位の変化量を算出し、これに基づいて調整部分を適宜補正することで、実際には第１利用者Ｘ１の目の変化量が少なく、口およびその周辺の変化量が多いことにより第２利用者Ｘ２が口元を重視する可能性が高いときには、これに基づいて調整部分を補正することで、第２利用者Ｘ２が重視する部分の画質を下げないようにすることができる。

【0060】

次に調整内容決定部１７８は、調整内容記憶部１６１に記憶された情報に基づいて、特定した調整部分に関する調整内容を決定する（Ｓ６）。調整内容決定部１７８は例えば、調整部分である髪や顔の輪郭部分に関する撮像情報部分の輝度または色の少なくともいずれかの階調を下げて画質を下げることを決定する。このように画質を下げることで、撮像情報を通信ネットワーク３０に送出する際の圧縮率が高くなり、通信負荷を低減させることができる。

【0061】

送信情報生成部１７９は、撮像情報取得部１７４が取得した撮像情報の中で、調整内容決定部１７８が特定した調整部分を、決定した調整内容に基づいて調整する。送信情報生成部１７９は、調整した撮像情報を第１撮像情報として、第１音声情報とともに通信部１４を介して第２利用者端末２０Ａに送信する（Ｓ７）。

【0062】

第２利用者端末２０Ａでは、第１利用者端末１０Ａから送信された第１撮像情報および第１音声情報を出力制御部２８０が取得し、出力部２５から出力させる（Ｓ８）。第２利用者Ｘ２は、出力部２５から出力された第１撮像情報を視認し、第１音声情報を認識する。出力部２５に出力された第１撮像情報は、第２利用者Ｘ２が重視する顔の部位が精度の高い画像情報で表示されているため、第２利用者Ｘ２は、第１利用者Ｘ１の表情を読み取り易い状態で第１撮像情報を視認することができる。

【0063】

また、第１利用者端末１０Ａにおいても同様に、第１利用者Ｘ１が入力したパラメータに基づいて第２利用者端末２０Ａで生成された第２撮像情報および第２音声情報を取得して出力させる。第１利用者Ｘ１は、出力部１５から出力された第２撮像情報を視認し、第２音声情報を認識する。出力部１５に出力された第２撮像情報は、第１利用者Ｘ１が重視する顔の部位が精度の高い画像情報で表示されているため、第１利用者Ｘ１は、第２利用者Ｘ１の表情を読み取り易い状態で第２撮像情報を視認することができる。

【0064】

オンライン通信の実行中、ステップＳ４～Ｓ６の処理を所定時間間隔で繰り返すことで、第１利用者Ｘ１または第２利用者Ｘ２の顔の中で変化量の多い部位が変わった際に、これに応じて調整部分を適宜変更するようにしてもよい。

【0065】

以上の第１実施形態によれば、第１利用者Ｘ１が操作する第１利用者端末１０Ａと、第２利用者Ｘ２が操作する第２利用者端末２０Ａとの間でオンライン通信を行う際に、双方の利用者が相手の撮像情報から表情を読み取り易い状態を維持しつつ、送受信時の撮像情報の情報量を低減させて通信負荷を低減させることができる。

【0066】

《第２実施形態》
〈第２実施形態による遠隔コミュニケーションシステムの構成〉
第２実施形態による遠隔コミュニケーションシステム１Ｂは、図１に示すように、第１利用者端末１０Ｂと第２利用者端末２０Ｂとが、通信ネットワーク３０を介して通信可能に接続されて構成されている。

【0067】

図５は、第１利用者端末１０Ｂおよび第２利用者端末２０Ｂの構成を示すブロック図である。第１利用者端末１０Ｂは、視線検出用カメラ装置１８、および演算処理部１７Ｂ内の視認部位判定部１８１を有する他は、第１実施形態で説明した第１利用者端末１０Ａと同様の構成有する。また第２利用者端末２０Ｂも、視線検出用カメラ装置２８、および演算処理部２７Ｂ内の視認部位判定部２８１を有する他は、第１実施形態で説明した第２利用者端末２０Ａと同様の構成有する。そのため、第１実施形態で説明した第１利用者端末１０Ａ、第２利用者端末２０Ａと同一機能を有する部分の詳細な説明は省略する。

【0068】

視線検出用カメラ装置１８は、第１利用者Ｘ１の目を撮影する。視認部位判定部１８１は、出力部１５に人の顔の画像情報が表示されているときに、視線検出用カメラ装置１８が撮影した撮像情報に基づいて、表示情報を視認している第１利用者Ｘ１の視線を検出する。

【0069】

視認部位判定部１８１は、検出した情報に基づいて、出力部１５に表示されている人の顔の画像情報内で、第１利用者Ｘ１が視認している部位を判定する。視認部位判定部１８１は、第１利用者Ｘ１が視認していると判定した部位を示す第１視認部位情報を生成し、第２利用者端末２０Ｂに送信する。

【0070】

視線検出用カメラ装置２８は、第２利用者Ｘ２の目を撮影する。視認部位判定部２８１は、出力部２５に人の顔の画像情報が表示されているときに、視線検出用カメラ装置２８が撮影した撮像情報に基づいて、表示情報を視認している第２利用者Ｘ２の視線を検出する。

【0071】

視認部位判定部２８１は、検出した情報に基づいて、出力部２５に表示されている人の顔の画像情報内で、第２利用者Ｘ２が視認している部位を判定する。視認部位判定部２８１は、第２利用者Ｘ２が視認していると判定した部位を示す第２視認部位情報を生成し、第１利用者端末１０Ｂに送信する。

【0072】

重視部位生成部１７２Ｂは、第２利用者端末２０Ｂから送信された第２視認部位情報を取得し、取得した情報に基づいて第２重視部位情報を生成し、重視部位記憶部１６２に記憶させる。

【0073】

重視部位生成部２７２Ｂは、第１利用者端末１０Ｂから送信された第１視認部位情報を取得し、取得した情報に基づいて第１重視部位情報を生成し、重視部位記憶部２６２に記憶させる。

【0074】

〈第２実施形態による遠隔コミュニケーションシステムの動作〉
図６は、遠隔コミュニケーションシステム１Ｂが動作する際に第１利用者端末１０Ｂおよび第２利用者端末２０Ｂが実行する処理を示すシーケンス図である。

【0075】

第１利用者端末１０Ｂと第２利用者端末２０Ｂとの間でオンライン通信が開始されると、第１利用者Ｘ１が発する音声を収音部１２が収音する処理を開始する。音声処理部１７３は、収音部１２が収音した音声の情報を第１音声情報として取得する。また、オンライン通信が開始されると、撮像部１３が第１利用者Ｘ１の撮影を開始する。撮像情報取得部１７４は、撮像部１３が撮影した撮像情報を取得する。

【0076】

部位検出部１７５は、撮像情報取得部１７４が取得した撮像情報の中から、第１利用者Ｘ１の顔の構成部位をそれぞれ検出する。また、装備品検出部１７６は、部位検出部１７５が検出した第１利用者Ｘ１の顔の構成部位の情報の中から、眼鏡、サングラス、またはマスク等の装備品を検出する（Ｓ１２）。

【0077】

オンライン通信が開始すると第２利用者端末２０Ｂでは、第２利用者Ｘ２の視線を検出し、検出した情報に基づいて第２視認部位情報を生成する。第２利用者端末２０Ｂが実行する、第２視認部位情報の生成処理について説明する。

【0078】

図７Ａは、第１利用者端末１０Ｂおよび第２利用者端末２０ＢがＶＲ－ＨＭＤ（Virtual Reality－Head Mounted Display）で構成された場合における、出力部１５、２５と、視線検出用カメラ装置１８、２８と、第１利用者Ｘ１、第２利用者Ｘ２との位置関係を示す説明図である。ＶＲ－ＨＭＤで構成された第１利用者端末１０Ｂおよび第２利用者端末２０Ｂは、内蔵する光学系Ｌに対して、利用者の眼球位置がある程度固定されるように設計されている。

【0079】

第２利用者Ｘ２がＶＲ－ＨＭＤで構成された第２利用者端末２０Ｂを装着し、出力部２５に人が話している動画を表示させ、第２利用者Ｘ２がこの動画を視認している状態で、視線検出用カメラ装置２８が第２利用者Ｘ２の目を撮影すると、撮像情報を視認部位判定部２８１が取得し、これを解析して第２利用者Ｘ２の視線を検出する。

【0080】

視認部位判定部２８１は、検出した第２利用者Ｘ２の視線の情報と、光学系Ｌに対する利用者の両目の相対位置とに基づいて、第２利用者Ｘ２が動画内の視認している位置、つまり人の顔の中の視認している部位を判定し、判定した部位を示す第２視認部位情報を生成する。

【0081】

また、図７Ｂは、第１利用者端末１０Ｂおよび第２利用者端末２０Ｂ内で、視線検出用カメラ装置１８、２８が、出力部１５、２５内の所定位置に設置されている場合における、出力部１５、２５と、視線検出用カメラ装置１８、２８と、第１利用者Ｘ１、第２利用者Ｘ２との位置関係を示す説明図である。

【0082】

この場合、第２利用者端末２０Ｂが出力部２５に人が話している動画を表示させ、第２利用者Ｘ２がこの動画を視認している状態で、視線検出用カメラ装置２８が第２利用者Ｘ２の両目を撮影すると、撮像情報を視認部位判定部２８１が取得し、これを解析して第２利用者Ｘ２の視線を検出する。

【0083】

視認部位判定部２８１は、検出した第２利用者Ｘ２の視線の情報と、第２利用者Ｘ２の目の位置と、出力部２５の位置と、出力部２５内における視線検出用カメラ装置２８の位置とに基づいて、第２利用者Ｘ２が動画内の視認している位置、つまり人の顔の中の視認している部位を判定し、判定した部位を示す第２視認部位情報を生成する。

【0084】

視認部位判定部２８１は、生成した第２視認部位情報を、第１利用者端末Ｘ１に送信する（Ｓ１３）。

【0085】

第１利用者端末１０Ｂでは、重視部位生成部１７２Ｂが、第２利用者端末２０Ｂから送信された第２視認部位情報を取得し、取得した情報に基づいて第２重視部位情報を生成する。具体的には、重視部位生成部１７２Ｂは、取得した第２視認部位情報で示される部位を、第２利用者Ｘ２が重視する部位として第２重視部位情報を生成する。ここで算出される第２重視部位情報は、オンライン通信が行われている間に第２利用者Ｘ２の視線情報によって変更する、動的な情報である。重視部位生成部１７２Ｂは、生成した第２重視部位情報を調整内容決定部１７８に送出する。

【0086】

調整内容決定部１７８は、重視部位生成部１７２Ｂで生成されたに基づいて、画像情報内の調整部分を特定する。その際、調整内容決定部１７８は、第１実施形態で説明した場合と同様に、変化量算出部１７７で算出された顔の構成部位ごとの撮像情報部分の変化量に基づいて調整部分を補正してもよい。また調整内容決定部１７８は、調整内容記憶部１６１に記憶された情報に基づいて、特定した調整部分に関する調整内容を決定する（Ｓ１４）。

【0087】

以降、ステップＳ１５、Ｓ１６で実行する処理は、第１実施形態で説明したステップＳ７、Ｓ８の処理と同様であるため、詳細な説明は省略する。

【0088】

以上の第２実施形態によれば、第１利用者Ｘ１が操作する第１利用者端末１０Ｂと、第２利用者Ｘ２が操作する第２利用者端末２０Ｂとの間でオンライン通信を行う際に、それぞれの利用者端末が、通信先の利用者端末を操作する利用者の実際の視線情報に基づいて、自端末で撮影した撮像情報の情報量を減らすための調整部分を特定する。このように処理を行うことで、さらに精度良く、双方の利用者が相手の撮像情報から表情を読み取り易い状態を維持しつつ、送受信時の撮像情報の情報量を低減させて通信負荷を低減させることができる。

【0089】

上述した第２実施形態においては、各利用車端末１０Ｂ、２０Ｂが、通信先の利用者端末を利用する利用者の視線情報に基づく重視部位情報を、オンライン通信を行う前に予め取得して記憶しておき、オンライン通信が開始するとこの記憶した情報を用いて送信情報を生成する場合について説明した。しかしこれには限定されず、オンライン通信中に、通信先の利用者端末を利用する利用者の視線情報から生成された重視部位情報を適宜取得し、以降は新たに取得した重視部位情報を用いて送信情報を生成するようにしてもよい。

【0090】

このように処理を行うことにより、視認者が実際に重視している顔の部位を当該視認者が見易い状態で、撮像情報を表示させることができる。

【0091】

上述した第１および第２実施形態では、第１利用者端末１０Ａ、１０Ｂと、第２利用者端末２０Ａ、２０Ｂそれぞれが、自端末で撮影した撮像情報を調整して通信先の利用者端末に送信する遠隔コミュニケーションシステム１Ａ、１Ｂについて説明した。しかしこの形態には限定されず、図８に示すように、第１利用者端末１０Ｃと第２利用者端末２０Ｃと管理サーバ４０とが通信ネットワーク３０を介して通信可能になるような遠隔コミュニケーションシステム１Ｃを構成してもよい。

【0092】

この遠隔コミュニケーションシステム１Ｃでは、管理サーバ４０が、第１実施形態で説明した第１利用者端末１０Ａ内の記憶部１６、演算処理部１７Ａおよび第２利用者端末２０Ａ内の記憶部２６、演算処理部２７Ａ、または、第２実施形態で説明した第１利用者端末１０Ｂ内の記憶部１６、演算処理部１７Ｂおよび第２利用者端末２０Ｂ内の記憶部２６、演算処理部２７Ｂの機能を有する。

【0093】

そして、管理サーバ４０は、第１利用者端末１０Ａ、１０Ｂで撮影された撮像情報を取得して適宜調整し、第２利用者端末２０Ａ、２０Ｂに送信する。また管理サーバ４０は、第２利用者端末２０Ａ、２０Ｂで撮影された撮像情報を取得して適宜調整し、第１利用者端末１０Ａ、１０Ｂに送信する。

【0094】

このように遠隔コミュニケーションシステム１Ｃを構成することで、撮像情報の調整処理を、管理サーバ４０で一元化して効率良く実行することができる。また第１利用者端末１０Ｃおよび第２利用者端末２０Ｃは、操作入力部、撮像部、収音部、通信部、および出力部を有していればよく、撮像情報を調整するための専用のアプリケーション等を搭載する必要がない。

【0095】

また、上述した第１および第２実施形態においては、遠隔コミュニケーションシステム１Ａ、１Ｂがそれぞれ２台の利用者端末（第１利用者端末と第２利用者端末）を有し、この２台の利用者端末間でオンライン通信を実行する場合について説明した。しかしこれには限定されず、３台以上の利用者端末間でオンライン通信を行う遠隔コミュニケーションシステムを構築してもよい。

【0096】

このように構成された遠隔コミュニケーションシステムでは、複数の利用者端末がそれぞれ、通信先の利用者端末ごとの重視部位情報を記憶しておき、自端末で撮影した撮像情報を各重視部位情報に基づいて調整して、通信先の利用者端末ごとの送信情報を生成する。そして、各利用者端末は、生成した通信先の利用者端末ごとの送信情報を、それぞれ該当する通信先の利用者端末に送信する。

【0097】

各利用者端末では、他の利用者端末から送信された送信情報を取得し、図９に示すように通信先の利用者端末ごとの撮像情報を並べて表示する。図９は、所定の利用者端末の出力部に、通信先の６台の利用者端末から取得された撮像情報が同じ大きさで一画面上に並べて表示された場合の例を示している。この図９の情報を視認する利用者に関しては、目を重視する重視部位情報が各利用者端末に記憶されており、例えば目およびその周辺の画質は低下させず、それ以外の部位の画質を低下させて、撮像情報が生成されている。

【0098】

また、３台以上の利用者端末間でオンライン通信を行う場合に、図８に示したように構築した遠隔コミュニケーションシステムの管理サーバ４０で、各利用車端末で撮影された撮像情報の調整処理を行うようにすることで、送信先の利用者端末ごとに生成する複数の撮像情報の調整処理をまとめて効率良く実行することができる。

【0099】

また、３台以上の利用者端末間でオンライン通信を行う場合、各利用車端末が、通信先の利用者端末から取得した複数の撮像情報を出力部に表示させる際に、図１０に示すように、話し手になっている利用者の撮像情報を大きくし、他の利用者の撮像情報は上部に小さくして異なる大きさで一画面上に並べて表示させるようにしてもよい。

【0100】

この場合、管理サーバ４０は、大きく表示させる撮像情報の所定部位に対してのみ画質を低下させてもよいし、小さく表示させる撮像情報全体の画質を低下させてもよい。このように処理を行うことで、管理サーバ４０の処理負荷を低減させることができる。

【0101】

また、上述した実施形態では、撮像情報内の重視部位を除く画像部分の画質を下げることで撮像情報の送信時の圧縮率を高めて送信情報量を調整する場合について説明したが、撮像情報全体としての送信情報量が低下するのであれば、重視部位の画像部分の画質を高くする処理を加えてもよい。このように処理を加えることで、さらに利用者が表情を読み取りやすい状態で、撮像情報を表示させることができる。

【符号の説明】

【0102】

１Ａ、１Ｂ、１Ｃ 遠隔コミュニケーションシステム
１０Ａ、１０Ｂ、１０Ｃ 第１利用者端末
１１、２１ 操作入力部
１２、２２ 収音部
１３、２３ 撮像部
１４、２４ 通信部
１５、２５ 出力部
１６、２６ 記憶部
１７Ａ、２７Ａ、１７Ｂ、２７Ｂ 演算処理部
１８、２８ 視線検出用カメラ装置
２０Ａ、２０Ｂ、２０Ｃ 第２利用者端末
３０ 通信ネットワーク
４０ 管理サーバ
１６１、２６１ 調整内容記憶部
１６２、２６２ 重視部位記憶部
１７１ パラメータ情報処理部
１７２Ａ、２７２Ａ、１７２Ｂ、２７２Ｂ 重視部位生成部
１７３、２７３ 音声処理部
１７４、２７４ 撮像情報取得部
１７５、２７５ 部位検出部
１７６、２７６ 装備品検出部
１７７、２７７ 変化量算出部
１７８、２７８ 調整内容決定部
１７９、２７９ 送信情報生成部
１８０、２８０ 出力制御部
１８１、２８１ 視認部位判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】