特開 2023-114548 画像処理装置、画像処理方法、プレゼンス表示装置、プレゼンス表示方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023114548

(43)【公開日】2023-08-18

(54)【発明の名称】画像処理装置、画像処理方法、プレゼンス表示装置、プレゼンス表示方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230810BHJP

   G06T 13/40 20110101ALI20230810BHJP

   H04N 7/15 20060101ALI20230810BHJP

【ＦＩ】

G06T7/00 510F

G06T7/00 300F

G06T7/00 660A

G06T13/40

H04N7/15 170

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022016903

(22)【出願日】2022-02-07

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】藤原 武彦

【テーマコード（参考）】

5B043

5B050

5C164

5L096

【Ｆターム（参考）】

5B043BA04

5B043GA02

5B043HA05

5B050AA08

5B050BA06

5B050BA08

5B050BA12

5B050CA07

5B050CA08

5B050DA04

5B050EA04

5B050EA24

5B050FA02

5B050FA05

5C164FA10

5C164UB90S

5C164VA35P

5C164VA42P

5L096CA04

5L096DA01

5L096FA06

5L096FA09

5L096FA23

5L096FA67

5L096FA69

5L096HA02

5L096HA11

5L096JA09

5L096JA11

(57)【要約】      （修正有）

【課題】アバターアニメーション機能と顔認証の一体化を行いコストを抑え、プレゼンス表示ができる画像処理装置及び方法、プレゼンス表示装置及び方法並びにプログラムを提供する。
【解決手段】Ｗｅｂ会議システム１００において、画像処理装置１０は、カメラＣＭＲによって人物を撮像した撮像画像中の該人物の顔の特定の部位に対応する顔部分の複数の特徴点を検出し、顔部分の複数の特徴点を示す１の特徴点情報を生成する顔特徴点情報検出部ＰＫＰと、１の特徴点情報に基づいて顔部分の特徴量を抽出する特徴量抽出部ＦＣＴと、顔部分の特徴量に基づいて人物本人であることの認証を行う顔認証部ＦＪＰと、顔認証部によって認証が行われた場合に、１の特徴点情報及び検出部による１の特徴点情報生成後の顔部分の複数の特徴点の逐次検出の結果に基づいて人物に対応するアバター画像のアニメーション処理を実行するアニメーション処理部ＤＣＴと、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像装置によって人物を撮像した撮像画像中の該人物の顔の特定の部位に対応する顔部分の複数の特徴点を検出し、前記顔部分の複数の特徴点を示す１の特徴点情報を生成する検出部と、
前記１の特徴点情報に基づいて前記顔部分の特徴量を抽出する抽出部と、
前記顔部分の特徴量に基づいて前記人物本人であることの認証を行う顔認証部と、
前記顔認証部によって認証が行われた場合に、前記１の特徴点情報及び前記検出部による前記１の特徴点情報生成後の前記顔部分の複数の特徴点の逐次検出の結果に基づいて前記人物に対応するアバター画像のアニメーション処理を実行するアニメーション処理部と、
を有することを特徴とする画像処理装置。

【請求項2】

撮像装置によって人物を撮像した撮像画像中の該人物の顔の特定の部位に対応する顔部分の複数の特徴点を検出し、前記顔部分の複数の特徴点を示す１の特徴点情報を生成する検出ステップと、
前記１の特徴点情報に基づいて前記顔部分の特徴量を抽出する抽出ステップと、
前記顔部分の特徴量に基づいて前記人物本人であることの認証を行う顔認証ステップと、
前記顔認証ステップによって認証が行われた場合に、前記１の特徴点情報及び前記検出ステップによる前記１の特徴点情報生成後の前記顔部分の複数の特徴点の逐次検出の結果に基づいて前記人物に対応するアバター画像のアニメーション処理を実行するアニメーション処理ステップと、
を含むことを特徴とする画像処理方法。

【請求項3】

画像処理装置に搭載されるコンピュータを、
撮像装置によって人物を撮像した撮像画像中の該人物の顔の特定の部位に対応する顔部分の複数の特徴点を検出し、前記顔部分の複数の特徴点を示す１の特徴点情報を生成する検出部と、
前記１の特徴点情報に基づいて前記顔部分の特徴量を抽出する抽出部と、
前記顔部分の特徴量に基づいて前記人物本人であることの認証を行う顔認証部と、
前記顔認証部によって認証が行われた場合に、前記１の特徴点情報及び前記検出部による前記１の特徴点情報生成後の前記顔部分の複数の特徴点の逐次検出の結果に基づいて前記人物に対応するアバター画像のアニメーション処理を実行するアニメーション処理部として機能させるプログラム。

【請求項4】

端末装置を介してコミュニケーションを取る人物の状況を示すプレゼンス情報を表示するためのプレゼンス表示装置であって、
撮像装置によって人物を撮像した撮像画像中の該人物の顔の特定の部位に対応する顔部分の複数の特徴点を検出し、前記顔部分の複数の特徴点を示す１の特徴点情報を生成する検出部と、
前記１の特徴点情報に基づいて前記顔部分の特徴量を抽出する抽出部と、
前記顔部分の特徴量に基づいて前記人物本人であることの認証を行う顔認証部と、
前記顔認証部によって認証が行われた場合に、前記１の特徴点情報及び前記検出部による前記１の特徴点情報生成後の前記顔部分の複数の特徴点の逐次検出の結果に基づいて前記人物に対応するアバター画像のアニメーション処理を実行するアニメーション処理部と、
少なくとも前記撮像を行った前記人物以外の端末装置へ、前記顔認証部の認証結果及び前記顔部分の複数の特徴点の逐次検出の結果に基づいて、前記アバター画像を含む前記人物のプレゼンス情報を送信するプレゼンス情報提供部と、
を備えたことを特徴とするプレゼンス表示装置。

【請求項5】

端末装置を介してコミュニケーションを取る人物の状況を示すプレゼンス情報を表示するためのプレゼンス表示方法であって、
撮像装置によって人物を撮像した撮像画像中の該人物の顔の特定の部位に対応する顔部分の複数の特徴点を検出し、前記顔部分の複数の特徴点を示す１の特徴点情報を生成する検出ステップと、
前記１の特徴点情報に基づいて前記顔部分の特徴量を抽出する抽出ステップと、
前記顔部分の特徴量に基づいて前記人物本人であることの認証を行う顔認証ステップと、
前記顔認証ステップによって認証が行われた場合に、前記１の特徴点情報及び前記検出ステップによる前記１の特徴点情報生成後の前記顔部分の複数の特徴点の逐次検出の結果に基づいて前記人物に対応するアバター画像のアニメーション処理を実行するアニメーション処理ステップと、
少なくとも前記撮像を行った前記人物以外の端末装置へ、前記顔認証ステップの認証結果及び前記顔部分の複数の特徴点の逐次検出の結果に基づいて、前記アバター画像を含む前記人物のプレゼンス情報を送信するプレゼンス情報提供ステップと、
を含むことを特徴とするプレゼンス表示方法。

【請求項6】

プレゼンス表示装置に搭載されるコンピュータを、
撮像装置によって人物を撮像した撮像画像中の該人物の顔の特定の部位に対応する顔部分の複数の特徴点を検出し、前記顔部分の複数の特徴点を示す１の特徴点情報を生成する検出部と、
前記１の特徴点情報に基づいて前記顔部分の特徴量を抽出する抽出部と、
前記顔部分の特徴量に基づいて前記人物本人であることの認証を行う顔認証部と、
前記顔認証部によって認証が行われた場合に、前記１の特徴点情報及び前記検出部による前記１の特徴点情報生成後の前記顔部分の複数の特徴点の逐次検出の結果に基づいて前記人物に対応するアバター画像のアニメーション処理を実行するアニメーション処理部と、
少なくとも前記撮像を行った前記人物以外の端末装置へ、前記顔認証部の認証結果及び前記顔部分の複数の特徴点の逐次検出の結果に基づいて、前記アバター画像を含む前記人物のプレゼンス情報を送信するプレゼンス情報提供部として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、プレゼンス表示装置、プレゼンス表示方法、及びプログラムに関する。

【背景技術】

【0002】

近年、ＰＣ（Personal Computer）を使ってブラウザアプリケーションなどによるＷｅｂ会議（クラウドやＡＳＰ（Application Service Provider）などのビデオ議も含む）の利用が広がっている。また、自宅のプライベート空間を見せたくない人は、バーチャル背景等の利用が広がっている。これに加え、最近はノーメイクでＷｅｂ会議に参加したい女性のニーズ等に応えて、アバター（AVATAR）でＷｅｂ会議に参加できる会議システムがリリースされている。また、スマートフォンを用いてインターネットを利用しＷｅｂ会議も行われている。

【0003】

特許文献１には、画像処理装置により、撮像装置で人物が撮像された撮像画像中の人物被写体領域における身体又は顔の特定の部位に対応する部分を抽出し、該抽出された部分の特徴量に基づき、該撮像装置に対する人物の姿勢又は視線を検出し、検出した姿勢又は視線に基づいて人物被写体領域の補正量を決定し、決定された補正量に基づき、姿勢又は視線を補正した人物画像を作成する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開2019-201360号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の技術でも、アバターで会議に参加すると、他の参加者からは、本当に本人が参加しているか分からないため、セキュリティ上の問題がある。そこで、アバター機能付きのＷｅｂ会議システムに、本人認証機能を追加する必要があるが、新たに独立した本人認証機能を付けると、処理が重くなるだけでなく、高コストとなる課題がある。

【0006】

在宅勤務の広がりで、事業者、会社などでリモートでの相談相手や部下の業務状況を把握するのは難しい。従来の「チャットツール」「社内掲示板」「社内ソーシャルネットワーキングサービス（Social Networking Service：SNS）」や「グループウェア」などのオフィスコミュニケーションツールを搭載したプレゼンス表示装置によるプレゼンス情報は、当該装置の操作頻度等で判別したマークで表示するだけのものであり、瞬時に判別しにくい。また、本人以外が操作している場合でも、本人のプレゼンスとして表示されてしまう課題がある。

【0007】

本発明は、以上の従来技術の問題点に鑑みなされたものであり、顔認証との組み合わせにより、アバターアニメーション機能と顔認証の一体化を行い、本人認証機能を独立した本人認証機能を付けずにコストを抑え、プレゼンス表示ができる画像処理装置、画像処理方法、プレゼンス表示装置、プレゼンス表示方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の画像処理装置は、撮像装置によって人物を撮像した撮像画像中の該人物の顔の特定の部位に対応する顔部分の複数の特徴点を検出し、前記顔部分の複数の特徴点を示す１の特徴点情報を生成する検出部と、前記１の特徴点情報に基づいて前記顔部分の特徴量を抽出する抽出部と、前記顔部分の特徴量に基づいて前記人物本人であることの認証を行う顔認証部と、前記顔認証部によって認証が行われた場合に、前記１の特徴点情報及び前記検出部による前記１の特徴点情報生成後の前記顔部分の複数の特徴点の逐次検出の結果に基づいて前記人物に対応するアバター画像のアニメーション処理を実行するアニメーション処理部と、を有することを特徴とする。

【0009】

本発明の画像処理方法は、撮像装置によって人物を撮像した撮像画像中の該人物の顔の特定の部位に対応する顔部分の複数の特徴点を検出し、前記顔部分の複数の特徴点を示す１の特徴点情報を生成する検出ステップと、前記１の特徴点情報に基づいて前記顔部分の特徴量を抽出する抽出ステップと、前記顔部分の特徴量に基づいて前記人物本人であることの認証を行う顔認証ステップと、前記顔認証ステップによって認証が行われた場合に、前記１の特徴点情報及び前記検出ステップによる前記１の特徴点情報生成後の前記顔部分の複数の特徴点の逐次検出の結果に基づいて前記人物に対応するアバター画像のアニメーション処理を実行するアニメーション処理ステップと、を含むことを特徴とする。

【0010】

本発明のプログラムは、画像処理装置に搭載されるコンピュータを、撮像装置によって人物を撮像した撮像画像中の該人物の顔の特定の部位に対応する顔部分の複数の特徴点を検出し、前記顔部分の複数の特徴点を示す１の特徴点情報を生成する検出部と、前記１の特徴点情報に基づいて前記顔部分の特徴量を抽出する抽出部と、前記顔部分の特徴量に基づいて前記人物本人であることの認証を行う顔認証部と、前記顔認証部によって認証が行われた場合に、前記１の特徴点情報及び前記検出部による前記１の特徴点情報生成後の前記顔部分の複数の特徴点の逐次検出の結果に基づいて前記人物に対応するアバター画像のアニメーション処理を実行するアニメーション処理部として機能させることを特徴とする。

【0011】

本発明のプレゼンス表示装置は、端末装置を介してコミュニケーションを取る人物の状況を示すプレゼンス情報を表示するためのプレゼンス表示装置であって、撮像装置によって人物を撮像した撮像画像中の該人物の顔の特定の部位に対応する顔部分の複数の特徴点を検出し、前記顔部分の複数の特徴点を示す１の特徴点情報を生成する検出部と、前記１の特徴点情報に基づいて前記顔部分の特徴量を抽出する抽出部と、前記顔部分の特徴量に基づいて前記人物本人であることの認証を行う顔認証部と、前記顔認証部によって認証が行われた場合に、前記１の特徴点情報及び前記検出部による前記１の特徴点情報生成後の前記顔部分の複数の特徴点の逐次検出の結果に基づいて前記人物に対応するアバター画像のアニメーション処理を実行するアニメーション処理部と、少なくとも前記撮像を行った前記人物以外の端末装置へ、前記顔認証部の認証結果及び前記顔部分の複数の特徴点の逐次検出の結果に基づいて、前記アバター画像を含む前記人物のプレゼンス情報を送信するプレゼンス情報提供部と、を備えたことを特徴とするプレゼンス表示装置。

【0012】

本発明のプレゼンス表示方法は、端末装置を介してコミュニケーションを取る人物の状況を示すプレゼンス情報を表示するためのプレゼンス表示方法であって、撮像装置によって人物を撮像した撮像画像中の該人物の顔の特定の部位に対応する顔部分の複数の特徴点を検出し、前記顔部分の複数の特徴点を示す１の特徴点情報を生成する検出ステップと、前記１の特徴点情報に基づいて前記顔部分の特徴量を抽出する抽出ステップと、前記顔部分の特徴量に基づいて前記人物本人であることの認証を行う顔認証ステップと、前記顔認証ステップによって認証が行われた場合に、前記１の特徴点情報及び前記検出ステップによる前記１の特徴点情報生成後の前記顔部分の複数の特徴点の逐次検出の結果に基づいて前記人物に対応するアバター画像のアニメーション処理を実行するアニメーション処理ステップと、少なくとも前記撮像を行った前記人物以外の端末装置へ、前記顔認証ステップの認証結果及び前記顔部分の複数の特徴点の逐次検出の結果に基づいて、前記アバター画像を含む前記人物のプレゼンス情報を送信するプレゼンス情報提供ステップと、を含むことを特徴とする。

【0013】

本発明のプログラムは、プレゼンス表示装置に搭載されるコンピュータを、撮像装置によって人物を撮像した撮像画像中の該人物の顔の特定の部位に対応する顔部分の複数の特徴点を検出し、前記顔部分の複数の特徴点を示す１の特徴点情報を生成する検出部と、前記１の特徴点情報に基づいて前記顔部分の特徴量を抽出する抽出部と、前記顔部分の特徴量に基づいて前記人物本人であることの認証を行う顔認証部と、前記顔認証部によって認証が行われた場合に、前記１の特徴点情報及び前記検出部による前記１の特徴点情報生成後の前記顔部分の複数の特徴点の逐次検出の結果に基づいて前記人物に対応するアバター画像のアニメーション処理を実行するアニメーション処理部と、少なくとも前記撮像を行った前記人物以外の端末装置へ、前記顔認証部の認証結果及び前記顔部分の複数の特徴点の逐次検出の結果に基づいて、前記アバター画像を含む前記人物のプレゼンス情報を送信するプレゼンス情報提供部として機能させるプログラム。

【発明の効果】

【0014】

本発明によれば、本人認証機能を独立した本人認証機能を付けずにコストを抑えることができる画像処理装置が得られる。また、本発明によれば、顔認識により本人が在籍している場合はプレゼンス情報をアバターで表示することができ、顔が検知できない場合または本人以外が操作している場合は、離席中と表示することにより、個々人のプレゼンス情報を視覚的かつ信頼性の高い情報として表示することが可能となるプレゼンス表示装置が得られる。

【図面の簡単な説明】

【0015】

【図1】本発明の第１の実施例の画像処理装置の構成例の一例を説明する概略説明図である。

【図2】本発明の第２の実施例のプレゼンス表示装置の構成例の一例を説明する概略説明図である。

【図3】第２の実施例のプレゼンス表示装置の動作手順を示すフローチャートである。

【図4】第２の実施例のプレゼンス表示装置による画像表示の一例を説明する概略図である。

【発明を実施するための形態】

【0016】

以下、図面を参照しつつ本発明による実施形態に係る画像処理装置について説明する。なお、以下の実施形態及び実施例において、実質的に同一の機能及び構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0017】

（第１の実施例）
（構成の説明）
図１は、本実施形態の画像処理装置１０を含むＷｅｂ会議システム１００の構成例の一例を示す概略ブロック図である。システム構成は、通信端末１０１として機能する通信可能な画像処理装置１０を含んで構成される。

【0018】

画像処理装置１０すなわち通信端末１０１はネットワークＮＷを介してインターネットで通信可能に接続されている。通信端末１０１としては、ディスクトップＰＣの他、スマートフォン、タブレット端末やノートＰＣ等の電子機器が挙げられる。

【0019】

ネットワークＮＷは、携帯電話網（ＬＴＥ（Long Term Evolution）若しくは４Ｇ（第４世代のモバイル通信規格）又は５Ｇ（第５世代のモバイル通信規格））、ＩＰ（Internet Protocol）回線網、公衆交換電話網の他、例えば、衛星通信網等の公衆回線網や、各種のＷＡＮ（Wide Area Network）、ＶｏＰＮ（Voice over Packet Network）のような専用回線網や、個別のＬＡＮ（Local Area Network）を含むものであってもよい。

【0020】

［画像処理装置］
画像処理装置１０は、図１に示すように、カメラＣＭＲなどの撮像装置に接続され画像処理装置として機能するコンピュータ装置であり、内部バス（図示せず）で互いに接続された、ＣＰＵ（Central Processing Unit）１１と、記憶装置１２と、装置を操作するユーザのインターフェイスである入力部１３及び出力部１４と、通信部１５と、を有する。入力部１３や通信部１５を介して、入力情報等が画像処理装置１０に取得される。

【0021】

記憶装置１２としては、たとえば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、やフラッシュメモリ等があり、ＲＯＭを除きこれらは各種プログラムやデータを記憶するとともにＣＰＵ１１の作業エリアとなる。入力部１３としては、様々なデータを入力するためのカメラＣＭＲや、図示しないが、マイク、キーボード、マウス、タッチパネル、テンキー等がある。出力部１４としては、該データを入力するユーザ等への状態表示のためのディスプレイ、タッチパネル等がある。通信部１５は、ネットワークＮＷと通信し、データを送受信する。入力部１３及び出力部１４としては外部装置、例えば記録媒体を接続するためのＵＳＢ（Universal Serial Bus）も含まれる。

【0022】

記憶装置１２にインストールされたオペレーティングシステム（ＯＳ）ソフトウェアのプログラムに従うＣＰＵ１１によって画像処理装置１０の全体動作を制御する。ＣＰＵ１１は記憶装置１２に保持される各種アプリケーションソフトウェアにしたがって、例えば、画像処理用アプリケーションソフトウェアにしたがって、画像処理を実行する。

【0023】

インストールされた画像処理用アプリケーションソフトウェアは、記憶装置１２に展開されて、ＣＰＵ１１が以下の機能部、
（１）顔特徴点情報検出部ＰＫＰと、
（２）特徴量抽出部ＦＣＴと、
（３）登録部ＴＩＰと、
（４）顔認証部ＦＪＰと、
（５）アニメーション処理部ＤＣＴと、として機能する。

【0024】

画像処理装置１０の各機能部は次のように機能する。

【0025】

［顔特徴点情報検出部ＰＫＰ］
顔特徴点情報検出部ＰＫＰは、撮像装置によってユーザ等の人物を撮像した撮像画像中の該人物の顔の特定の部位に対応する顔部分の複数の特徴点を検出し、顔部分の複数の特徴点を示す顔の特徴点情報を生成する。

【0026】

顔特徴点情報検出部ＰＫＰは、最初に撮像した顔を含む撮像画像の中から顔を見つけ出す顔検出処理を行う。顔検出処理は、撮像画像を読み込んだ時に顔の明暗テンプレートのような明暗の配置のパターンがあるかどうかを、その撮像画像の中で検索し、顔の概略位置で顔の大きさ部分を囲む矩形領域（枠）として、顔を検出特定する。

【0027】

顔特徴点情報検出部ＰＫＰは、次に、顔特徴点検出（facial landmark detection）処理、換言すれば、顔検出で見つかった顔に対して、目や眉、鼻、口、輪郭などの器官点（特徴点）を見つける処理を行う。顔特徴点情報検出部ＰＫＰは、詳細な顔の位置や大きさ、向き、表情などの多くの情報を取得する。

【0028】

顔特徴点情報検出部ＰＫＰは、例えば、ユーザを撮像したユーザ画像の顔に対応する各部分について複数の特徴点を特定し、これらの特徴点の位置に基づいた特徴データ、具体的には特徴点の位置座標に基づいて算出された顔の特徴点を特徴データ（例えば座標や座標間の距離等）として特定する。顔特徴点情報検出部ＰＫＰは、例えば、左右の目に対応する部分について複数の特徴点（例えば、片目毎上下眼瞼縁と内外眼角の６点）を特定し、これらの特徴点の位置に基づいて演算された目の特徴を目特徴データとして特定する。同様に、左右の眉についても片眉毎に内外眉端間で５点を特定し、これらから眉特徴データとして特定する。鼻であれば、上下の鼻根・鼻先・鼻柱間の鼻筋と左右鼻孔鼻翼間で９点を特定し、これらから鼻特徴データとして特定する。口の上下の唇に対応する部分について複数の特徴点（例えば、各片唇での８点）を特定し、これらの特徴点の位置に基づいて演算された上下の唇からなる口の特徴を口特徴データとして特定する。同様に、頬及び下顎の顔の輪郭であれば、当該輪郭で１７点を特定し、これらから輪郭特徴データとして特定する。これらの特徴データのまとまりを顔特徴点情報とする。

【0029】

顔特徴点情報検出部ＰＫＰは、顔特徴点情報を取得した場合、これを登録部ＴＩＰの特徴テーブルに登録日時とユーザＩＤ毎に共に格納する。なお、顔特徴点情報検出部ＰＫＰが特定する特徴点の数は、上記例に限らず、使用する端末や環境によって変えてもよい。

【0030】

顔特徴点情報検出部ＰＫＰは、次に、顔の大きさや向きが一定の条件となるように変換する顔画像の正規化（face normalization）処理を行う。例えば、顔特徴点検出の結果をもとに顔の回転補正を行い、例えば、1000×1000画素の大きさとなるような正規化処理を施す。なお、高度な正規化処理では、斜め向きの顔を正面向きに変換したり、画像の色味やコントラストを補正したりしてもよい。

【0031】

顔特徴点情報検出部ＰＫＰは、顔特徴点情報が登録部ＴＩＰに格納された後は、アニメーション処理部ＤＣＴに、ユーザに対応するアバター画像のアニメーション処理を実行させるために、顔部分の複数の特徴点を逐次検出し、特徴点の変動量を抽出する。

【0032】

［特徴量抽出部ＦＣＴ］
特徴量抽出部ＦＣＴは、顔特徴点情報検出部ＰＫＰから取得した顔特徴点情報を、顔認証処理ができるように、すなわち顔画像が誰なのかを判定しやすいように特徴量（feature）と呼ばれる数値データに変換する特徴量抽出（face extraction）処理を行う。

【0033】

例えば、特徴量抽出部ＦＣＴは、顔特徴点情報を、例えば約1,000個程度の数の列の数値データの特徴量として変換する。特徴量抽出では、現在の顔認証システムのほとんどで深層学習が利用されている。深層学習は画像の特定、識別、予測など、人間が行うタスクをコンピュータに学習させる機械学習の手法の一つであって、大量データを用意して機械が自動的にデータから特徴を抽出してくれるディープニューラルネットワークを用いた機械学習である。ディープニューラルネットワークは、人間や動物の脳神経回路をモデルにしたアルゴリズムを用い、パターン認識をするように設計されたニューラルネットワークを多層構造化したアルゴリズムである。

【0034】

このように、顔の特徴点情報に基づいて顔部分の特徴量を抽出した特徴量抽出部ＦＣＴは、演算した特徴量を、登録部ＴＩＰの特徴テーブルに顔特徴点情報と共に格納する。

【0035】

［登録部ＴＩＰ］
登録部ＴＩＰは、特徴テーブル（特徴量、顔特徴点情報、登録日時、ユーザＩＤ）に加えて装置の所定設定値のデータをも格納することができる。登録部ＴＩＰには、画像処理装置１０のユーザの正当性を判定（認証）するために参照する、予めユーザを撮像したユーザ画像から得られる特徴量の他、ユーザの基本的なアバター画像（後述）が記憶される。

【0036】

［顔認証部ＦＪＰ］
顔認証部ＦＪＰは、顔部分の特徴量に基づいてユーザが本人であることの認証処理を行う。

【0037】

顔認証部ＦＪＰは、新たにカメラＣＭＲによって操作するユーザを撮像した撮像画像から顔特徴点情報検出部ＰＫＰと特徴量抽出部ＦＣＴで演算された新たな特徴量が与えられたとき、当該新たな特徴量と登録部ＴＩＰの特徴テーブルに格納されている特徴量とから、同一人物か否かを判定するための数値として照合スコア（matching score）を計算し、顔認証部ＦＪＰがあらかじめ決めておいた閾値を超えるか否かで、同一人物か否かを判定する。ここで、照合スコアは大きければ大きいほど同一人物であることを意味する数値である。

【0038】

すなわち、顔認証部ＦＪＰは、照合スコア計算で、２つの特徴量から１つの照合スコアを出し、照合スコアが大きい特徴量の同一人物を登録部ＴＩＰにおいて検索し、特定する。なお、顔認証部ＦＪＰが、照合スコアに代えて相違度（dissimilarity）を使う場合、相違度は大きければ大きいほど別人であることを意味する数値であるので、相違度閾値未満か否かで、同一人物か否かを判定する。

【0039】

［アニメーション処理部ＤＣＴ］
アニメーション処理部ＤＣＴは、顔認証されたユーザの顔の特徴点情報及び顔特徴点情報検出部ＰＫＰによる顔部分の複数の特徴点の逐次検出の結果に基づいてユーザに対応するアバター画像のアニメーション処理を実行する。アバター画像の態様は限定されないが、例えばユーザを撮像した二次元画像から作成された二次元画像又は三次元画像であってもよい。

【0040】

例えば、アニメーション処理部ＤＣＴは、顔認証部ＦＪＰおよび顔特徴点情報検出部ＰＫＰから送信された本人の顔認証情報および顔特徴点情報を、あらかじめ用意された基本的アバター画像の３次元モデルに対応させて、本人のアバター画像を生成する。

【0041】

アバターの３次元モデルには、例えば本人の口が開いた場合に３次元モデルの口の頂点位置を所定の位置に移動させるシェイプキーが保存されている。これにより、アニメーション処理部ＤＣＴは、本人が口を開いたり、目を閉じたり、顔を振ったりすることに対応して、アバターが口を開いたり、目を閉じたり、顔を振ったりする状態をアニメーション描画することが可能となる。なお、例えばアバターアニメーションの口が開いた状態から閉じた状態までの描画はモーフィングを行うことにより実現することができる。

【0042】

換言すると、アニメーション処理部ＤＣＴは、顔特徴点情報検出部ＰＫＰで抽出した特徴点の変動量（複数の特徴点の逐次検出の結果）から顔の表情を解析し、アニメーションとして画像合成する。そして、アニメーション処理部ＤＣＴがアバター画像を、通信部１５を介して参加しているＷｅｂ会議に出力する。これにより、本人のアバター画像がＷｅｂ会議に参加する通信端末のディスプレイ画面に表示される。

【0043】

本実施例による本人認証方式は、アバター作成用に抽出した顔の特徴点情報を顔認証に利用することにより、アバター作成と顔認証の処理の一体化に貢献する。

【0044】

（効果の説明）
本実施例では、アバター機能で抽出した顔特徴点情報検出部ＰＫＰが、顔の特徴点を、顔認証部ＦＪＰで数値化し顔認証に活用するので、ユーザがアバターで会議に参加しても、顔認証により本人であることを確証することが可能となる。これにより、新たなセンサーや独立した本人認証機能を追加することなく本人認証が可能となり、処理の簡略化やコストの低減を図ることができる。

【0045】

（第２の実施例）
第１の実施例ではＷｅｂ会議に適用した画像処理装置の例を説明したが、第２の実施例はプレゼンス情報提供部ＰＩＰを追加した以外、第１の実施例の画像処理装置と同一の構成を有するプレゼンス表示装置１０３である。よって、第１の実施例と異なる構成のみを説明する。本実施例は、例えばＶＰＮ（Virtual Private Network）接続でされたオフィスコミュニケーションツール（Ｗｅｂサーバとしてのプレゼンス表示装置）に適用できる。

【0046】

図２は、第２の実施例のプレゼンス表示装置１０３の構成例の一例を説明する概略説明図である。

【0047】

プレゼンス表示装置１０３のプレゼンス情報提供部ＰＩＰは、少なくとも或るユーザの撮像を行った通信端末１０１の他の通信端末１０１へ、顔認証部ＦＪＰの認証結果及び顔特徴点情報検出部ＰＫＰの顔部分の複数の特徴点の逐次検出の結果に基づいて、ユーザのアバター画像を含むユーザのプレゼンス情報を、通信部１５を介して送信する機能を有する。

【0048】

本実施例では、顔特徴点情報検出部ＰＫＰで検知した顔の特徴点情報によって、プレゼンス情報提供部ＰＩＰが、プレゼンスを自動判定することができる。

【0049】

（動作の説明）
図３は、第２の実施例のプレゼンス表示装置の動作手順を示すフローチャートである。

【0050】

先ず、ＣＰＵ１１（プレゼンス情報提供部ＰＩＰ）は会議に参加している各通信端末１０１の電源がＯＮか否か（ＯＦＦ）を判別する（ステップＳ１）。電源がＯＦＦの場合（ステップＳ１：Ｎ）は、プレゼンスが業務終了で、アバターを非表示とする（ステップＳ２）。

【0051】

電源がＯＮの場合（ステップＳ１：Ｙ）、各通信端末のカメラの電源がＯＮか否か（ＯＦＦ）を判別する（ステップＳ３）。カメラがＯＦＦの場合（ステップＳ３：Ｎ）は、プレゼンスが不明で、アバターを非表示とする（ステップＳ４）。

【0052】

カメラがＯＮの場合（ステップＳ３：Ｙ）、カメラを介して顔を検出できるか否かを判別する（ステップＳ５）。カメラを介して顔を検出できない場合（ステップＳ５：Ｎ）は、プレゼンスが離席中で、アバターを非表示とする（ステップＳ６）。

【0053】

カメラを介して顔を検出できる場合（ステップＳ５：Ｙ）、顔認識として検出した顔がログインしている本人と一致するか否かを判別する（ステップＳ７）。
顔認識の結果、ログインしている本人と一致しない場合（ステップＳ７：Ｎ）、識別できた人がいるか否かを判別する（ステップＳ８）。本人以外に識別できた人もいない場合（ステップＳ８：Ｎ）、プレゼンスが離席中で、アバターとして人間以外のキャラクター（動物等又はデフォルト画像）を表示する（ステップＳ９）。

【0054】

顔認識の結果、ログインしている本人と一致しないが、他に識別できた人がいる場合（ステップＳ８：Ｙ）は、プレゼンスが離席中で、該当識別できた他人の他人アバター（その表情は制御されない）を表示する（ステップＳ１０）。

【0055】

顔認識の結果、顔がログインしている本人と一致（顔認証）している場合（ステップＳ７：Ｙ）、本人の顔の特徴点を検出して所定時間内で当該顔に所定の動きがあるか否かを判別する（ステップＳ１１）。本人の顔の特徴点検出の結果（顔特徴点情報検出部ＰＫＰ）、顔の表情に所定の動きがない場合（ステップＳ１１：Ｎ）は、プレゼンスが在席中（連絡可）で、アバターは本人（所定の表情制御無し）を表示する（ステップＳ１２）。

【0056】

本人の顔の特徴点検出の結果、表情に所定の動きがある場合（ステップＳ１１：Ｙ）は、プレゼンスが在席中（取込中）で、アバターは本人（顔の動きに合わせて表情制御）を表示する（ステップＳ１３）。

【0057】

図４は第２の実施例のプレゼンス表示装置１０３による通信端末１０１の画像表示の一例を説明する概略図である。

【0058】

（効果の説明）
本実施例によれば、顔認識により本人が在席している場合はプレゼンス情報をアバターで表示することができる。プレゼンスを判定する際、顔の検知有無で在席か離席を判定できるので、顔が検知できない場合または本人以外が操作している場合は、離席中と表示することにより、個々人のプレゼンス情報を視覚的かつ信頼性の高い情報として表示することが可能となる。

【0059】

本実施例によれば、また、通信端末１０１の操作中にカメラをＯＮにすることは、プライバシー等の観点から抵抗を感じる場合がある。本実施例は、本人の映像をプレゼンスに表示するのではなく、アバターとして表示するので、本人の顔だけでなく、在宅勤務時に自分の部屋を映したくない人にとっても利用しやすいものとなる。また、顔の特徴点情報により、それぞれのユーザが取り込み中か、連絡可能かを判定することが可能となる。

【符号の説明】

【0060】

１０ 画像処理装置
１０１ 通信端末
１０３ プレゼンス表示装置
ＰＫＰ 顔特徴点情報検出部
ＦＣＴ 特徴量抽出部
ＦＪＰ 顔認証部
ＤＣＴ アニメーション処理部
ＰＩＰ プレゼンス情報提供部

【図1】

【図2】

【図3】

【図4】