特許 7450668 顔認識方法、装置、システム、電子機器および読み取り可能記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-07

(45)【発行日】2024-03-15

(54)【発明の名称】顔認識方法、装置、システム、電子機器および読み取り可能記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240308BHJP

   G06T 7/593 20170101ALI20240308BHJP

   G06V 10/143 20220101ALI20240308BHJP

   G06V 40/16 20220101ALI20240308BHJP

【ＦＩ】

G06T7/00 510F

G06T7/00 660A

G06T7/593

G06V10/143

G06V40/16 A

【請求項の数】 12

(21)【出願番号】P 2022106098

(22)【出願日】2022-06-30

(65)【公開番号】P2024005748

(43)【公開日】2024-01-17

【審査請求日】2022-06-30

(73)【特許権者】

【識別番号】517372494

【氏名又は名称】維沃移動通信有限公司

【氏名又は名称原語表記】ＶＩＶＯ ＭＯＢＩＬＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ．１， ｖｉｖｏ Ｒｏａｄ， Ｃｈａｎｇ’ａｎ， Ｄｏｎｇｇｕａｎ，Ｇｕａｎｇｄｏｎｇ ５２３８６３， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(72)【発明者】

【氏名】萩原 泰文

(72)【発明者】

【氏名】伊藤 康幸

(72)【発明者】

【氏名】近藤 克博

【審査官】片岡 利延

(56)【参考文献】

【文献】中国特許出願公開第１１１０９１０６３（ＣＮ，Ａ）

【文献】中国特許出願公開第１１１０７９４７０（ＣＮ，Ａ）

【文献】中国特許出願公開第１１１７４１２８１（ＣＮ，Ａ）

【文献】特開２０２０－１５０３３１（ＪＰ，Ａ）

【文献】特開２０２０－１０６２８３（ＪＰ，Ａ）

【文献】特開２０２０－１９３９４６（ＪＰ，Ａ）

【文献】特開２０２０－１７１０５７（ＪＰ，Ａ）

【文献】特開２００５－２８４７７５（ＪＰ，Ａ）

【文献】国際公開第２０２１／１９３２３８（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１４７０５９（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１５９３１２（ＷＯ，Ａ１）

【文献】国際公開第２０１４／１４８０３１（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２２／００４４４４２（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１３７２４３０８（ＣＮ，Ａ）

【文献】中国特許出願公開第１１２４８８０１８（ＣＮ，Ａ）

【文献】中国特許出願公開第１１２９２６４６４（ＣＮ，Ａ）

【文献】中国特許出願公開第１１４６１３０１７（ＣＮ，Ａ）

【文献】中国特許出願公開第１１１０７９５７６（ＣＮ，Ａ）

【文献】中国特許出願公開第１１４３３３０７８（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／５９３

Ｇ０６Ｖ １０／１４３

Ｇ０６Ｖ ４０／１６

(57)【特許請求の範囲】

【請求項1】

少なくとも一つのＲＧＢカメラで撮影した第１の顔画像と、少なくとも一つのＮＩＲカメラで撮影した第２の顔画像とを取得し、前記ＲＧＢカメラの撮影方向が前記ＮＩＲカメラの撮影方向と異なっていること、
前記第１の顔画像と前記第２の顔画像に対して画像融合処理を行い、顔融合画像を取得すること、
前記第１の顔画像と前記第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得すること、
前記顔融合画像と前記三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得すること、を含み、
前記顔融合画像と前記三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得することは、
前記顔融合画像と前記三次元深度情報とに基づいて、顔の特徴点を検出すること、
検出された顔の特徴点に基づき、顔の特徴を抽出すること、
前記顔の特徴を、あらかじめ設定された顔データベースと特徴マッチングし、顔認識信頼度を特徴付ける値を得ること、を含む
ことを特徴とする顔認識方法。

【請求項2】

前記第１の顔画像と前記第２の顔画像に対して画像融合処理を行い、顔融合画像を取得することは、
前記第１の顔画像の輝度領域Ｙ成分画像、色領域Ｕ成分画像および色領域Ｖ成分画像を取得すること、
前記第２の顔画像の輝度領域Ｙ成分画像を取得すること、
前記第１の顔画像の輝度領域Ｙ成分画像と第２の顔画像の輝度領域Ｙ成分画像を画像融合処理し、画像融合後のＹ成分画像を得ること、
前記画像融合後のＹ成分画像、前記第１の顔画像の色領域Ｕ成分画像および前記第１の顔画像の色領域Ｖ成分画像に対してＲＧＢ変換を行い、顔融合画像を得ること、を含む
ことを特徴とする請求項１に記載の顔認識方法。

【請求項3】

前記少なくとも一つのＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラを含み、前記少なくとも一つのＮＩＲカメラは、顔の第一側面方向に顔画像を撮影する第１のＮＩＲカメラ、および／または、顔の第二側面方向に顔画像を撮影する第２のＮＩＲカメラを含み、
前記第１の顔画像と前記第２の顔画像に対して画像融合処理を行い、顔融合画像を取得することは、
前記第１のＮＩＲカメラで撮影した第２の顔画像および前記第２のＮＩＲカメラで撮影した第２の顔画像のうちの少なくとも一つの第２の顔画像と、前記第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔正面融合画像を得ること、
前記第１のＮＩＲカメラで撮影した第２の顔画像と、前記第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第一側面融合画像を得ること、
前記第２のＮＩＲカメラで撮影した第２の顔画像と、前記第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第二側面融合画像を得ること、を含む
ことを特徴とする請求項１に記載の顔認識方法。

【請求項4】

前記少なくとも一つのＲＧＢカメラは複数のＲＧＢカメラを含み、前記少なくとも一つのＮＩＲカメラは複数のＮＩＲカメラを含み、前記ＲＧＢカメラと前記ＮＩＲカメラは、交互に分布しており、異なる方向に顔画像を撮影し、複数のＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラと、顔の側面方向に顔画像を撮影する少なくとも一つの第２のＲＧＢカメラとを含み、
前記第１の顔画像と前記第２の顔画像に対して画像融合処理を行い、顔融合画像を取得することは、
前記第１のＲＧＢカメラで撮影した第１の顔画像と、前記第１のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔正面融合画像を取得すること、
前記第２のＲＧＢカメラの各々に対して、前記第２のＲＧＢカメラで撮影した第１の顔画像と、前記第２のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔側面融合画像を取得すること、を含む
ことを特徴とする請求項１に記載の顔認識方法。

【請求項5】

前記第１の顔画像と前記第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得することは、
前記第１の顔画像と前記第２の顔画像の各々に対して歪補正を行い、補正後の第１の顔画像と補正後の第２の顔画像を得ること、
前記補正後の第１の顔画像と前記補正後の第２の顔画像に対してステレオマッチングを行い、三次元深度情報を取得すること、を含む
ことを特徴とする請求項１に記載の顔認識方法。

【請求項6】

少なくとも一つのＲＧＢカメラで撮影した第１の顔画像と、少なくとも一つのＮＩＲカメラで撮影した第２の顔画像とを取得するための第１取得ブロックであって、前記ＲＧＢカメラの撮影方向が前記ＮＩＲカメラの撮影方向と異なっている第１取得ブロック、
前記第１の顔画像と前記第２の顔画像に対して画像融合処理を行い、顔融合画像を取得するための第１処理ブロック、
前記第１の顔画像と前記第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得するための第２処理ブロック、
前記顔融合画像と前記三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得するための顔認識ブロック、を含み、
前記顔認識ブロックは、
前記顔融合画像と前記三次元深度情報とに基づいて、顔の特徴点を検出するための特徴点検出手段、
検出された顔の特徴点に基づき、顔の特徴を抽出するための特徴抽出手段、
前記顔の特徴を、あらかじめ設定された顔データベースと特徴マッチングし、顔認識信頼度を特徴付ける値を得るための特徴マッチング手段、を含む
ことを特徴とする顔認識装置。

【請求項7】

前記第１処理ブロックは、
前記第１の顔画像の輝度領域Ｙ成分画像、色領域Ｕ成分画像および色領域Ｖ成分画像を取得するための第１取得手段、
前記第２の顔画像の輝度領域Ｙ成分画像を取得するための第２取得手段、
前記第１の顔画像の輝度領域Ｙ成分画像と前記第２の顔画像の輝度領域Ｙ成分画像を画像融合処理し、画像融合後のＹ成分画像を得るための第１処理手段、
前記画像融合後のＹ成分画像、前記第１の顔画像の色領域Ｕ成分画像および前記第１の顔画像の色領域Ｖ成分画像に対してＲＧＢ変換を行い、顔融合画像を得るための第２処理手段、を含む
ことを特徴とする請求項６に記載の顔認識装置。

【請求項8】

前記少なくとも一つのＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラを含み、前記少なくとも一つのＮＩＲカメラは、顔の第一側面方向に顔画像を撮影する第１のＮＩＲカメラ、および／または、顔の第二側面方向に顔画像を撮影する第２のＮＩＲカメラを含み、
前記第１処理ブロックは、
前記第１のＮＩＲカメラで撮影した第２の顔画像および前記第２のＮＩＲカメラで撮影した第２の顔画像のうちの少なくとも一つの第２の顔画像と、前記第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔正面融合画像を得るための第３処理手段、
前記第１のＮＩＲカメラで撮影した第２の顔画像と、前記第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第一側面融合画像を得るための第４処理手段、および／または、
前記第２のＮＩＲカメラで撮影した第２の顔画像と、前記第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第二側面融合画像を得るための第５処理手段、を含む
ことを特徴とする請求項６に記載の顔認識装置。

【請求項9】

前記少なくとも一つのＲＧＢカメラは複数のＲＧＢカメラを含み、前記少なくとも一つのＮＩＲカメラは複数のＮＩＲカメラを含み、前記ＲＧＢカメラと前記ＮＩＲカメラは、交互に分布しており、異なる方向に顔画像を撮影し、複数のＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラと、顔の側面方向に顔画像を撮影する少なくとも一つの第２のＲＧＢカメラとを含み、
前記第１処理ブロックは、
前記第１のＲＧＢカメラで撮影した第１の顔画像と、前記第１のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔正面融合画像を取得するための第６処理手段、
前記第２のＲＧＢカメラの各々に対して、前記第２のＲＧＢカメラで撮影した第１の顔画像と、前記第２のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔側面融合画像を取得するための第７処理手段、を含む
ことを特徴とする請求項６に記載の顔認識装置。

【請求項10】

前記第２処理ブロックは、
前記第１の顔画像と前記第２の顔画像の各々に対して歪補正を行い、補正後の第１の顔画像と補正後の第２の顔画像を得るための歪補正手段、
前記補正後の第１の顔画像と前記補正後の第２の顔画像に対してステレオマッチングを行い、三次元深度情報を取得するためのマッチング処理手段、を含む
ことを特徴とする請求項６に記載の顔認識装置。

【請求項11】

プロセッサと、メモリと、前記メモリに記憶されて前記プロセッサで動作可能なプログラムまたはコマンドとを含み、
前記プログラムまたはコマンドが前記プロセッサにより実行されたときに、請求項１～５のいずれか１項に記載の顔認識方法のステップが実現される、
ことを特徴とする電子機器。

【請求項12】

プログラムまたはコマンドが記憶されており、
前記プログラムまたはコマンドがプロセッサにより実行されたときに、請求項１～５のいずれか１項に記載の顔認識方法のステップが実現される、
ことを特徴とする読み取り可能記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理技術分野に関し、特に顔認識方法、装置、システム、電子機器および読み取り可能記憶媒体に関する。

【背景技術】

【0002】

現在、顔認識システムには、画像のみを取り込む二次元顔認識と、赤外線カメラによって顔を立体的に認識する三次元顔認識がある。二次元顔認識は、画像における顔の目、鼻および口の位置を検出して、データベースにおける人物情報と照合することにより特定の人物を認識する方法である。三次元顔認識は、二次元顔認識システムの仕組みに赤外線センサーを加え、顔を三次元データとして認識する機能を付加したものである。

【0003】

従来の顔認識方法は、照明、顔の表情および顔の向きによる影響を受けることによって、顔認識精度が低い課題を抱えている。

【発明の概要】

【0004】

本発明の少なくとも一つの実施例は、異なる波長を有する複数のカメラが異なる方向から撮影した顔画像を用いて顔認識を行うことで、顔認識精度を向上することができる顔認識方法、装置、システム、電子機器および読み取り可能記憶媒体を提供する。

【0005】

上述した技術的課題を解決するために、本発明は、以下のようになされたものである。

【0006】

第一の面では、本発明の実施例は、
少なくとも一つのＲＧＢカメラで撮影した第１の顔画像と、少なくとも一つのＮＩＲカメラで撮影した第２の顔画像とを取得し、前記ＲＧＢカメラの撮影方向が前記ＮＩＲカメラの撮影方向と異なっていること、
前記第１の顔画像と前記第２の顔画像に対して画像融合処理を行い、顔融合画像を取得すること、
前記第１の顔画像と前記第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得すること、
前記顔融合画像と前記三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得すること、を含む顔認識方法を提供する。

【0007】

第二の面では、本発明の実施例は、
少なくとも一つのＲＧＢカメラで撮影した第１の顔画像と、少なくとも一つのＮＩＲカメラで撮影した第２の顔画像とを取得するための第１取得ブロックであって、前記ＲＧＢカメラの撮影方向が前記ＮＩＲカメラの撮影方向と異なっている第１取得ブロック、
前記第１の顔画像と前記第２の顔画像に対して画像融合処理を行い、顔融合画像を取得するための第１処理ブロック、
前記第１の顔画像と前記第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得するための第２処理ブロック、
前記顔融合画像と前記三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得するための顔認識ブロック、を含む顔認識装置を提供する。

【0008】

第三の面では、本発明の実施例は、
少なくとも一つのＲＧＢカメラと、少なくとも一つのＮＩＲカメラと、プロセッサとを含み、
前記プロセッサは、前記ＲＧＢカメラの各々に接続されているとともに、前記ＮＩＲカメラの各々に接続されており、
前記ＲＧＢカメラの撮影方向は前記ＮＩＲカメラの撮影方向と異なっており、
前記プロセッサは、
少なくとも一つのＲＧＢカメラで撮影した第１の顔画像と、少なくとも一つのＮＩＲカメラで撮影した第２の顔画像とを取得し、
前記第１の顔画像と前記第２の顔画像に対して画像融合処理を行い、顔融合画像を取得し、
前記第１の顔画像と前記第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得し、
前記顔融合画像と前記三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得するためのものである、顔認識システムを提供する。

【0009】

第四の面では、本発明の実施例は、
プロセッサと、メモリと、前記メモリに記憶されて前記プロセッサで動作可能なプログラムまたはコマンドとを含み、
前記プログラムまたはコマンドが前記プロセッサにより実行されたときに、第一の面に記載の顔認識方法のステップが実現される、電子機器を提供する。

【0010】

第五の面では、本発明の実施例は、
プログラムまたはコマンドが記憶されており、
前記プログラムまたはコマンドがプロセッサにより実行されたときに、第一の面に記載の顔認識方法のステップが実現される、読み取り可能記憶媒体を提供する。

【0011】

従来技術と比べて、本発明の実施例が提供する顔認識方法、装置、システム、電子機器および読み取り可能記憶媒体は、異なる波長を有する複数のカメラが異なる方向から撮影した顔画像を用いて顔認識を行うことで、顔認識精度を向上することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、本発明の実施例に係る顔認識方法の概略流れ図である。

【図2】図２は、本発明の実施例に係る撮像装置の概略構成図である。

【図3】図３は、本発明の実施例に係る顔認識装置の全体のブロック図である。

【図4】図４は、本発明の実施例に係る顔正面画像のイメージフュージョンブロックの概略図である。

【図5】図５は、本発明の実施例に係る顔右側画像のイメージフュージョンブロックの概略図である。

【図6】図６は、本発明の実施例に係るＤｅｐｔｈ Ｍａｐブロックの概略図である。

【図7】図７は、本発明の実施例に係る顔認識ブロックの概略図である。

【図8】図８は、本発明の別の実施例に係る撮像装置の概略構成図である。

【図9】図９は、本発明のまた別の実施例に係る顔認識装置の全体のブロック図である。

【図10】図１０は、本発明のさらに別の実施例に係る撮像装置の概略構成図である。

【図11】図１１は、本発明の実施例に係る撮像装置の出力した画像に基づいて融合画像を生成する入力画像の組み合わせの概略図である。

【図12】図１２は、本発明のさらに別の実施例に係る顔認識装置の全体のブロック図である。

【図13】図１３は、本発明の実施例に係る顔認識装置の概略ブロック図である。

【図14】図１４は、本発明の実施例に係る電子機器の概略構成図である。

【発明を実施するための形態】

【0013】

以下は、本出願の実施例に係る図面に合せて、本出願の実施例に係る技術案を明確且つ完全に記述し、記述されている実施例が本出願の実施例の一部であり、全てではないことは明らかである。本出願に係る実施例に基づいて、当業者が創造的な労働を払わない前提で得られた他の実施例の全てはいずれも、本出願の保護する範囲に属する。

【0014】

本出願の明細書および特許請求の範囲における「第１」、「第２」などの用語は、類似のオブジェクトを区別するために用いられるものであり、特定の順序または前後順序を記述するためのものではない。このように用いられるデータは、本出願の実施例がここで図示または記述されているこれらの順序以外の順序で実施され得るように、適切な場合において互いに置き換え可能であり、そして、「第１」、「第２」などで区別されるオブジェクトは、通常同類のものであり、オブジェクトの数を限定するものではなく、例えば、第１のオブジェクトは、一つでもよく、複数でもよいと理解されるべきだ。また、明細書および請求項における「及び／又は」は、接続されるオブジェクトのうちの少なくとも一つを表しており、「／」という記号は、一般的に、前後の関連オブジェクトが「または」の関係にあることを表している。

【0015】

図１に示すように、本発明の実施例は、顔認識方法を提供し、当該顔認識方法は、具体的に以下のステップを含むことができる。

【0016】

ステップ１０１：少なくとも一つのＲＧＢカメラで撮影した第１の顔画像と、少なくとも一つのＮＩＲカメラで撮影した第２の顔画像とを取得し、ＲＧＢカメラの撮影方向がＮＩＲカメラの撮影方向と異なっている。

【0017】

ステップ１０１では、ＲＧＢカメラはカラーカメラとも呼ばれ、ＲＧＢカメラが撮影した画像はカラー画像である。Ｒは赤色を、Ｇは緑色を、Ｂは青色を表している。赤色、緑色、青色の３原色を異なる割合で重ね合わせて、さまざまな色を発現させることができる。ＲＧＢカメラは、可視光を受光するためのものである。

【0018】

近赤外線（Ｎｅａｒ ＩｎｆｒａＲｅｄ（ＮＩＲ））のカメラは、近赤外光を受光するためのものである。近赤外光は、可視光と中赤外光との間に介在する電磁波であって、人間の目では視認できない。ＮＩＲカメラは、近赤外光の波長範囲が必要な環境、すなわち光照射条件の悪い環境に適用される。

【0019】

ＲＧＢカメラが複数である場合、各々のＲＧＢカメラで撮影した第１の顔画像を取得する。ＮＩＲカメラが複数である場合、各々のＮＩＲカメラで撮影した第２の顔画像を取得する。ここで、複数は、二つ以上を指す。

【0020】

ステップ１０２：第１の顔画像と第２の顔画像に対して画像融合処理を行い、顔融合画像を取得する。

【0021】

第１の顔画像は可視域波長の画像であり、第２の顔画像は近赤外線の画像である。可視域波長では色情報が得られ、近赤外域波長ではより詳細な情報のディテイルが得られる。特に、暗いところでは、可視域波長で得られた画像のコントラストが低下する一方、近赤外域波長では、得られた画像のコントラストが向上できる。このため、可視域波長の画像と近赤外線の画像とを画像融合することにより、互いを補完しあうような画像を得ることができる。

【0022】

また、第１の顔画像と第２の顔画像は、カメラが異なる撮影方向から撮影した顔画像であり、異なる撮影方向から撮影された顔画像の融合画像を用いることにより、顔の表情の変化や顔の向きがズレた顔画像においても、高精度の顔認識を行うことも可能である。

【0023】

ステップ１０３：第１の顔画像と第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得する。

【0024】

具体的には、第１の顔画像と第２の顔画像とに基づき、ステレオマッチングアルゴリズムにより視差情報（例えば、視差マップ）を取得し、さらに三次元深度情報（例えば、デプスマップ）を取得することができる。

【0025】

ステップ１０４：顔融合画像と三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得する。

【0026】

複数のカメラで撮影した顔画像から得られた三次元深度情報に加えて、異なる撮影方向から撮影された顔画像の融合画像を用いることにより、暗部における顔認識精度をさらに向上させることができる。

【0027】

本発明の一実施例では、上述したステップ１０２は、以下のステップを含むことができる。

【0028】

ステップ１０２１ａ：第１の顔画像の輝度領域Ｙ成分画像、色領域Ｕ成分画像および色領域Ｖ成分画像を取得する。

【0029】

具体的には、第１の顔画像に対してＲＧＢからＹＵＶへの変換を行い、第１の顔画像のＹ成分画像、Ｕ成分画像およびＶ成分画像を取得する。ここで、Ｙは輝度を、ＵとＶは色度を表している。

【0030】

ステップ１０２２ａ：第２の顔画像の輝度領域Ｙ成分画像を取得する。

【0031】

ステップ１０２３ａ：第１の顔画像の輝度領域Ｙ成分画像と第２の顔画像の輝度領域Ｙ成分画像を画像融合処理し、画像融合後のＹ成分画像を得る。

【0032】

第１の顔画像のＹ成分画像と第２の顔画像のＹ成分画像を画像融合することにより、暗部での感度を向上してノイズを低減すると同時に、輝度の解像度を向上させる。

【0033】

ステップ１０２４ａ：画像融合後のＹ成分画像、第１の顔画像の色領域Ｕ成分画像および第１の顔画像の色領域Ｖ成分画像に対してＲＧＢ変換を行い、顔融合画像を得る。

【0034】

顔融合画像はＲＧＢカラー画像である。

【0035】

選択的には、ステップ１０２は、ステップ１０２１ａの実行前に、以下のステップをさらに含む。

【0036】

ステップ１０２０ａ：前記第１の顔画像と前記第２の顔画像の各々に対して画像補正を行い、補正後の第１の顔画像と補正後の第２の顔画像を得る。

【0037】

その後、ステップ１０２１ａ～ステップ１０２４ａで述べた第１の顔画像と第２の顔画像はいずれも補正後の顔画像である。

【0038】

本実施例は、画像融合処理の具体的なステップを重視するものである。

【0039】

本発明の一実施例では、上述したステップ１０３は、以下のステップを含むことができる。

【0040】

ステップ１０３１：第１の顔画像と第２の顔画像の各々に対して歪補正を行い、補正後の第１の顔画像と補正後の第２の顔画像を得る。

【0041】

具体的には、あらかじめＲＧＢカメラキャリブレーションから得られた第１のパラメータに依拠して、第１の顔画像に対し歪補正を行い、補正後の第１の顔画像を得る。あらかじめＮＩＲカメラキャリブレーションから得られた第２のパラメータに依拠して、第２の顔画像に対し歪補正を行い、補正後の第２の顔画像を得る。

【0042】

ステップ１０３２：補正後の第１の顔画像と補正後の第２の顔画像に対してステレオマッチングを行い、三次元深度情報を取得する。

【0043】

具体的には、補正後の第１の顔画像と補正後の第２の顔画像とに基づき、ステレオマッチングアルゴリズムにより視差情報（例えば、視差マップ）を取得し、さらに三次元深度情報（例えば、デプスマップ）を取得することができる。

【0044】

本発明の一実施例では、上述したステップ１０４は、以下のステップを含むことができる。

【0045】

ステップ１０４１：顔融合画像と三次元深度情報とに基づいて、顔の特徴点を検出する。

【0046】

検出された顔の特徴点から、顔のランドマーク、例えば、目、鼻および口などを認識することができる。

【0047】

ステップ１０４２：検出された顔の特徴点に基づき、顔の特徴を抽出する。

【0048】

ステップ１０４３：顔の特徴を、あらかじめ設定された顔データベースと特徴マッチングし、顔認識信頼度を特徴付ける値を得る。

【0049】

あらかじめ設定された顔データベースは、あらかじめ用意または登録された顔データベースである。

【0050】

本発明の一実施例では、少なくとも一つのＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラを含み、少なくとも一つのＮＩＲカメラは、顔の第一側面方向に顔画像を撮影する第１のＮＩＲカメラ、および／または、顔の第二側面方向に顔画像を撮影する第２のＮＩＲカメラを含む。

【0051】

相応に、ステップ１０２は、以下のステップを含むことができる。

【0052】

ステップ１０２１ｂ：第１のＮＩＲカメラで撮影した第２の顔画像および第２のＮＩＲカメラで撮影した第２の顔画像のうちの少なくとも一つの第２の顔画像と、第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔正面融合画像を得る。

【0053】

ステップ１０２２ｂ：第１のＮＩＲカメラで撮影した第２の顔画像と、第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第一側面融合画像を得る。

【0054】

および／または、ステップ１０２３ｂ：第２のＮＩＲカメラで撮影した第２の顔画像と、第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第二側面融合画像を得る。

【0055】

なお、上述したステップ１０２１ｂ、ステップ１０２２ｂおよびステップ１０２３ｂで言及された画像融合処理の具体的な処理ステップのすべてについては、上述したステップ１０２１ａ～ステップ１０２４ａを参照することができ、ここで再度述べない。

【0056】

本実施例では、少なくとも一つのＲＧＢカメラと少なくとも一つのＮＩＲカメラとからなる撮像装置は、具体的に２種類の実施態様を含むことができる。一つの実施態様の撮像装置は、一つのＲＧＢカメラ（第１のＲＧＢカメラ）と一つのＮＩＲカメラ（第１のＮＩＲカメラ、または、第２のＮＩＲカメラ）とを含む。別の実施態様の撮像装置は、一つのＲＧＢカメラ（第１のＲＧＢカメラ）と二つのＮＩＲカメラ（第１のＮＩＲカメラ、および、第２のＮＩＲカメラ）とを含む。

【0057】

以下の二つの示例により、上述した２種類の実施態様の撮像装置に対応する顔認識方法の実施プロセスをそれぞれに説明する。

【0058】

示例一
図２には、撮像装置（１１０）が一つのＲＧＢカメラと二つのＮＩＲカメラとを含む実施態様は示されている。ＲＧＢカメラ（１１１）は、顔の正面画像を取得するためのものであり、ＮＩＲカメラ（１１３）とＮＩＲカメラ（１１２）は、それぞれＲＧＢカメラ（１１１）の左右両側に位置し、それぞれ顔の左右両側の画像を取得する。

【0059】

図３には、上述した三つのカメラで画像を出力する顔認識装置（１００）の全体のブロック図は示されている。まず、ＲＧＢカメラ（１１１）は、フラッシュ（１２０）を用いて顔の正面画像を取得する。ＮＩＲカメラ（１１３）とＮＩＲカメラ（１１２）は、それぞれ顔の左側画像と顔の右側画像を取得する。その後、イメージフュージョンブロック（１３０）にてＲＧＢカメラ（１１１）と二つのＮＩＲカメラ（１１２，１１３）で取得した異なる波長と異なる向きの画像を用いて画像融合処理を行う。Ｄｅｐｔｈ Ｍａｐブロック（１４０）で三つのカメラで取得した画像を用いて三次元深度情報を取得する。最後に、イメージフュージョンブロック（１３０）から取得された顔の正面融合画像、左側融合画像および右側融合画像とＤｅｐｔｈ Ｍａｐブロック（１４０）から取得された三次元深度情報とを、顔認識ブロック（１５０）にてあらかじめ用意された顔データベースと照合し、信頼度の値を出力する。

【0060】

信頼度の値が高いほど、取得した画像とデータベースの顔の一致度が高いことを示す。

【0061】

図４は、イメージフュージョンブロック（１３０）における顔正面画像のイメージフュージョンブロック（１３１）の概略図を示す。

【0062】

三つのカメラで取得した画像は、画角、光軸および視差の差異により、補正ブロック（１３１ａ）で補正される。ＲＧＢカメラ（１１１）で取得した顔の正面画像は、ＲＧＢからＹＵＶへの変換（１３１ｂ）を経て、信号がＹ信号とＵＶ信号に分離される。その後、画像融合処理（１３１ｃ）は、ＲＧＢカメラ（１１１）からのＹ信号と二つのＮＩＲカメラ（１１２，１１３）からのＹ信号を用いて行われる。最後に、画像融合したＹ信号とＲＧＢカメラ（１１１）からのＵＶ信号を用いてＲＧＢカラー画像に変換（１３１ｄ）して出力する。

【0063】

ＲＧＢカメラで取得した画像とＮＩＲカメラで取得した画像との融合により、暗部での感度を向上してノイズを低減すると同時に、輝度の解像度を向上させる。

【0064】

また、この画像融合処理において、色ずれ、アーティファクト、偽色、画像歪などの補正も可能である。

【0065】

図５は、イメージフュージョンブロック（１３０）における顔右側画像のイメージフュージョンブロック（１３２）、または、顔左側画像のイメージフュージョンブロック（１３３）の概略図を示す。

【0066】

このプロセスは、顔正面画像のイメージフュージョンブロック（１３１）と類似している。顔右側画像のイメージフュージョンブロック（１３２）は、ＲＧＢカメラ（１１１）で取得した顔の正面画像とＮＩＲカメラ（１１２）で取得した顔の右側画像とを用いる。

【0067】

具体的には、まず、ＲＧＢカメラ（１１１）で取得した顔の正面画像とＮＩＲカメラ（１１２）で取得した顔の右側画像は、補正ブロック（１３２ａ）で補正される。ＲＧＢカメラ（１１１）で取得した顔の正面画像は、ＲＧＢからＹＵＶへの変換（１３２ｂ）を経て、信号がＹ信号とＵＶ信号に分離される。その後、画像融合処理（１３２ｃ）は、ＲＧＢカメラ（１１１）からのＹ信号とＮＩＲカメラ（１１２）からのＹ信号を用いて行われる。最後に、画像融合したＹ信号とＲＧＢカメラ（１１１）からのＵＶ信号を用いてＲＧＢカラー画像に変換（１３２ｄ）して出力する。

【0068】

顔左側画像のイメージフュージョンブロック（１３３）は、ＲＧＢカメラ（１１１）で取得した顔の正面画像とＮＩＲカメラ（１１３）で取得した顔の左側画像とを用いる。具体的な画像融合処理のプロセスは、上述した顔右側画像のイメージフュージョンブロック（１３２）と類似しており、ここで再度述べない。

【0069】

図６は、Ｄｅｐｔｈ Ｍａｐブロック（１４０）の概略図を示す。あらかじめカメラキャリブレーションから得られたパラメータを用いて、三つのカメラから取得した画像に対し歪補正（１４０ａ）を行う。その後、ステレオマッチング（１４０ｂ）を行って、三次元深度（構成）情報を取得する。

【0070】

図７は、顔認識ブロック（１５０）の概略図を示す。イメージフュージョンブロック（１３０）から取得された顔の正面融合画像、左側融合画像および右側融合画像と、Ｄｅｐｔｈ Ｍａｐブロック（１４０）から取得された三次元深度情報とを用いて、顔認識を行う。

【0071】

まず、顔のランドマークである目、鼻および口を検出する（１５０ａ）。その後、人それぞれの顔の特徴を抽出（１５０ｂ）し、あらかじめ用意（登録）された顔データベースと特徴マッチング（１５０ｃ）し、信頼度を得る。

【0072】

示例二
本示例は、一つのＲＧＢカメラと一つのＮＩＲカメラとを用いて顔認識を行うものであり、示例一と比べて、処理の負荷を低減する。

【0073】

図８には、撮像装置（３１０）が一つのＲＧＢカメラと一つのＮＩＲカメラとを含む実施態様は示されている。ＲＧＢカメラ（３１１）は、顔の正面画像を取得するためのものであり、ＮＩＲカメラ（３１２）は、ＲＧＢカメラ（３１１）の左側または右側に位置し、顔の左側画像または顔の右側画像を取得する。

【0074】

図９には、上述した二つのカメラで画像を出力する顔認識装置（３００）の全体のブロック図は示されている。まず、ＲＧＢカメラ（３１１）は、フラッシュ（３２０）を用いて顔の正面画像を取得する。ＮＩＲカメラ（３１２）は、顔の右側画像を取得する。その後、イメージフュージョンブロック（３３０）にてＲＧＢカメラ（３１１）とＮＩＲカメラ（３１２）で取得した異なる波長と異なる向きの画像を用いて画像融合処理を行う。Ｄｅｐｔｈ Ｍａｐブロック（３４０）で二つのカメラで取得した画像を用いて三次元深度（構成）情報を取得する。最後に、イメージフュージョンブロック（３３０）から取得された顔の正面融合画像、右側融合画像とＤｅｐｔｈ Ｍａｐブロック（３４０）から取得された三次元深度情報とを、顔認識ブロック（３５０）にてあらかじめ用意された顔データベースと照合し、信頼度の値を出力する。

【0075】

本発明の別の実施例では、少なくとも一つのＲＧＢカメラは複数のＲＧＢカメラを含み、少なくとも一つのＮＩＲカメラは複数のＮＩＲカメラを含み、ＲＧＢカメラとＮＩＲカメラは、交互に分布しており、異なる方向に顔画像を撮影し、複数のＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラと、顔の側面方向に顔画像を撮影する少なくとも一つの第２のＲＧＢカメラとを含む。

【0076】

相応に、ステップ１０２は、以下のステップを含むことができる。

【0077】

ステップ１０２１ｃ：第１のＲＧＢカメラで撮影した第１の顔画像と、第１のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔正面融合画像を取得する。

【0078】

ステップ１０２２ｃ：第２のＲＧＢカメラの各々に対して、第２のＲＧＢカメラで撮影した第１の顔画像と、第２のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔側面融合画像を取得する。

【0079】

なお、上述したステップ１０２１ｃおよびステップ１０２２ｃで言及された画像融合処理の具体的な処理ステップのすべてについては、上述したステップ１０２１ａ～ステップ１０２４ａを参照することができ、ここで再度述べない。

【0080】

本実施例では、ＲＧＢカメラとＮＩＲカメラの数を増やすことで顔認識の正確性をさらに向上させることができる。

【0081】

理解の便宜のために、以下の示例三により、本実施例に係る顔認識方法の実施プロセスを説明する。

【0082】

示例三
図１０には、撮像装置（２１０）が複数のＲＧＢカメラと複数のＮＩＲカメラとを含む実施態様は示されている。ＲＧＢカメラとＮＩＲカメラは、交互に分布している。本示例は、示例一と比べて、ＲＧＢカメラとＮＩＲカメラの数を増やすことで顔認識の正確性をさらに向上させることができる。

【0083】

図１１には、複数のＲＧＢカメラと複数のＮＩＲカメラから取得された画像を用いて融合画像を生成する入力画像の組み合わせは示されている。

【0084】

顔の正面融合画像は、中央（Ｃｅｎｔｅｒ１）のＲＧＢカメラとその左右両側（右１，左１）のＮＩＲカメラを用いて得られる。また、顔の右側で中央から一番目の融合画像は、ＲＧＢカメラ（右１）とＮＩＲカメラ（右１，２）の画像を用いて得られる。また、顔の右側画像で中央からＮ番目の融合画像は、ＲＧＢカメラ（右Ｎ）とＮＩＲカメラ（右Ｎ－１，右Ｎ）の画像を用いて得られる。顔の左側融合画像（１～Ｎ）も右側と同様な方式で得られる。

【0085】

図１２には、複数のＲＧＢカメラと複数のＮＩＲカメラとで画像を出力する顔認識装置（２００）の全体のブロック図は示されている。これらのカメラ（２１０）において、フラッシュ（２２０）を用いてＲＧＢカメラ（２１１）で顔の正面画像（中央１）と顔の左右の画像（右１～Ｎ， 左１～Ｎ）を取得する。その後、イメージフュージョンブロック（２３０）にて、ＲＧＢカメラ（２１１）とＮＩＲカメラ（２１２，２１３）で取得した異なる波長と異なる向きの画像を用いて画像融合処理を行う。Ｄｅｐｔｈ Ｍａｐブロック（２４０）にて、ＲＧＢカメラ（２１１）とＮＩＲカメラ（２１２，２１３）で取得した画像を用いて三次元深度（構成）情報を取得する。最後に、イメージフュージョンブロック（２３０）から取得された顔の正面融合画像、左側の複数の融合画像および右側の複数の融合画像とＤｅｐｔｈ Ｍａｐブロック（２４０）から取得された三次元深度情報とを、顔認識ブロック（２５０）にてあらかじめ用意された顔データベースと照合し、信頼度の値を出力する。

【0086】

当該示例における画像融合処理のプロセスは示例一と異なり、当該示例における画像融合処理の全ては示例一に係るイメージフュージョンブロック（１３０）における顔正面画像のイメージフュージョンブロック（１３１）のフローで行うことができる。ただし、歪補正、位置合わせおよび視差補正のパラメータは異なるので、それぞれ算出して処理する必要がある。

【0087】

図１３に示すように、本発明の実施例は、さらに、顔認識装置を提供する。

【0088】

当該顔認識装置は、具体的に、
少なくとも一つのＲＧＢカメラで撮影した第１の顔画像と、少なくとも一つのＮＩＲカメラで撮影した第２の顔画像とを取得するための第１取得ブロック１３０１であって、ＲＧＢカメラの撮影方向がＮＩＲカメラの撮影方向と異なっている第１取得ブロック１３０１、
第１の顔画像と第２の顔画像に対して画像融合処理を行い、顔融合画像を取得するための第１処理ブロック１３０２、
第１の顔画像と第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得するための第２処理ブロック１３０３、
顔融合画像と三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得するための顔認識ブロック１３０４、を含むことができる。

【0089】

選択的には、第１処理ブロック１３０２は、
第１の顔画像の輝度領域Ｙ成分画像、色領域Ｕ成分画像および色領域Ｖ成分画像を取得するための第１取得手段、
第２の顔画像の輝度領域Ｙ成分画像を取得するための第２取得手段、
第１の顔画像の輝度領域Ｙ成分画像と第２の顔画像の輝度領域Ｙ成分画像を画像融合処理し、画像融合後のＹ成分画像を得るための第１処理手段、
画像融合後のＹ成分画像、第１の顔画像の色領域Ｕ成分画像および第１の顔画像の色領域Ｖ成分画像に対してＲＧＢ変換を行い、顔融合画像を得るための第２処理手段、を含む。

【0090】

選択的には、少なくとも一つのＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラを含み、少なくとも一つのＮＩＲカメラは、顔の第一側面方向に顔画像を撮影する第１のＮＩＲカメラ、および／または、顔の第二側面方向に顔画像を撮影する第２のＮＩＲカメラを含む。

【0091】

相応に、第１処理ブロック１３０２は、
第１のＮＩＲカメラで撮影した第２の顔画像および第２のＮＩＲカメラで撮影した第２の顔画像のうちの少なくとも一つの第２の顔画像と、第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔正面融合画像を得るための第３処理手段、
第１のＮＩＲカメラで撮影した第２の顔画像と、第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第一側面融合画像を得るための第４処理手段、および／または、
第２のＮＩＲカメラで撮影した第２の顔画像と、第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第二側面融合画像を得るための第５処理手段、を含む。

【0092】

選択的には、少なくとも一つのＲＧＢカメラは複数のＲＧＢカメラを含み、少なくとも一つのＮＩＲカメラは複数のＮＩＲカメラを含み、ＲＧＢカメラとＮＩＲカメラは、交互に分布しており、異なる方向に顔画像を撮影し、複数のＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラと、顔の側面方向に顔画像を撮影する少なくとも一つの第２のＲＧＢカメラとを含む。

【0093】

相応に、第１処理ブロック１３０２は、
第１のＲＧＢカメラで撮影した第１の顔画像と、第１のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔正面融合画像を取得するための第６処理手段、
第２のＲＧＢカメラの各々に対して、第２のＲＧＢカメラで撮影した第１の顔画像と、第２のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔側面融合画像を取得するための第７処理手段、を含む。

【0094】

選択的には、第２処理ブロック１３０３は、
第１の顔画像と第２の顔画像の各々に対して歪補正を行い、補正後の第１の顔画像と補正後の第２の顔画像を得るための歪補正手段、
補正後の第１の顔画像と補正後の第２の顔画像に対してステレオマッチングを行い、三次元深度情報を取得するためのマッチング処理手段、を含む。

【0095】

選択的には、顔認識ブロック１３０４は、
顔融合画像と三次元深度情報とに基づいて、顔の特徴点を検出するための特徴点検出手段、
検出された顔の特徴点に基づき、顔の特徴を抽出するための特徴抽出手段、
顔の特徴を、あらかじめ設定された顔データベースと特徴マッチングし、顔認識信頼度を特徴付ける値を得るための特徴マッチング手段、を含む。

【0096】

本発明の実施例に係る顔認識装置が持つメリットは、顔認識方法の実施例が持つメリットと同じであり、ここで再度述べない。

【0097】

本発明の実施例は、少なくとも一つのＲＧＢカメラと、少なくとも一つのＮＩＲカメラと、プロセッサとを含み、プロセッサがＲＧＢカメラの各々に接続されているとともに、ＮＩＲカメラの各々に接続されており、ＲＧＢカメラの撮影方向がＮＩＲカメラの撮影方向と異なっている、顔認識システムをさらに提供する。

【0098】

プロセッサは、少なくとも一つのＲＧＢカメラで撮影した第１の顔画像と、少なくとも一つのＮＩＲカメラで撮影した第２の顔画像とを取得し、第１の顔画像と第２の顔画像に対して画像融合処理を行い、顔融合画像を取得し、第１の顔画像と第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得し、顔融合画像と三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得するためのものである。

【0099】

選択的には、少なくとも一つのＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラを含み、少なくとも一つのＮＩＲカメラは、顔の第一側面方向に顔画像を撮影する第１のＮＩＲカメラ、および／または、顔の第二側面方向に顔画像を撮影する第２のＮＩＲカメラを含む。

【0100】

選択的には、少なくとも一つのＲＧＢカメラは複数のＲＧＢカメラを含み、少なくとも一つのＮＩＲカメラは複数のＮＩＲカメラを含み、ＲＧＢカメラとＮＩＲカメラは、交互に分布しており、異なる方向に顔画像を撮影し、複数のＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラと、顔の側面方向に顔画像を撮影する少なくとも一つの第２のＲＧＢカメラとを含む。

【0101】

図１４に示すように、本発明の実施例は、電子機器１４００をさらに提供する。電子機器１４００は、プロセッサ１４０１と、メモリ１４０２と、前記メモリ１４０２に記憶されて前記プロセッサ１４０１で動作可能なプログラムまたはコマンドとを含み、前記プログラムまたはコマンドが前記プロセッサ１４０１により実行されたときに、上述した顔認識方法の実施例における各プロセスが実現され、かつ、同様な技術的効果が達成され得る。重複を避けるために、ここで再度述べない。

【0102】

なお、本願の実施例における電子機器としては、携帯型の電子機器と非携帯型の電子機器とが含まれる。

【0103】

さらに、本発明の実施例は、読み取り可能記憶媒体をさらに提供する。前記読み取り可能記憶媒体には、プログラムまたはコマンドが記憶されており、前記プログラムまたはコマンドがプロセッサにより実行されたときに、上述した顔認識方法の実施例における各プロセスが実現され、かつ、同様な技術的効果が達成され得る。重複を避けるために、ここで再度述べない。

【0104】

以上、図面に合せて、本発明に係る実施例について記述したが、本発明は上述した具体的な実施形態に限られず、上述した具体的な実施形態は例示的なものだけであり、限定的なものではない。当業者は、本発明による啓示のもとで、本発明の主旨および請求項で保護する範囲を逸脱しない場合、さまざまな形態をさらになさることができ、それらはいずれも本発明の保護に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】