特許 7450088 推定装置、推定方法、推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-06

(45)【発行日】2024-03-14

(54)【発明の名称】推定装置、推定方法、推定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240307BHJP

   G06V 40/10 20220101ALI20240307BHJP

   G06F 21/32 20130101ALI20240307BHJP

   H04N 7/18 20060101ALI20240307BHJP

   A61B 5/1171 20160101ALI20240307BHJP

   A61B 5/107 20060101ALI20240307BHJP

【ＦＩ】

G06T7/00 660B

G06T7/00 510B

G06V40/10

G06F21/32

H04N7/18 K

A61B5/1171

A61B5/107 300

【請求項の数】 4

(21)【出願番号】P 2023086518

(22)【出願日】2023-05-25

(62)【分割の表示】P 2019183965の分割

【原出願日】2019-10-04

(65)【公開番号】P2023140349

(43)【公開日】2023-10-04

【審査請求日】2023-05-25

(73)【特許権者】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】丹野 良介

(72)【発明者】

【氏名】浅野 秀平

【審査官】佐藤 実

(56)【参考文献】

【文献】国際公開第２０１６／１５９１６５（ＷＯ，Ａ１）

【文献】特開２０１５－２８７０２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／６０

Ｇ０６Ｖ ４０／１０

Ｇ０６Ｆ ２１／３２

Ｈ０４Ｎ ７／１８

Ａ６１Ｂ ５／１１７１

Ａ６１Ｂ ５／１０７

(57)【特許請求の範囲】

【請求項1】

人物の身体の一部を欠損する画像データを入力として、前記画像データにおける人物の身体の欠損した一部を復元する全身復元モデルを用いて、前記画像データにおける人物の身体の欠損した一部を復元する復元部と、
前記復元部によって復元された画像データを入力として、前記人物の骨格に関する骨格データを推定する骨格推定モデルを用いて、前記骨格データを推定する推定部と、
を有することを特徴とする推定装置。

【請求項2】

前記推定部によって推定された骨格データと、事前に登録された骨格データとの類似度を算出する算出部と、
前記算出部によって算出された類似度が所定の閾値以上であるか判定し、前記類似度が所定の閾値以上である場合には、認証が成功したものと判定し、記類似度が所定の閾値未満である場合には、認証が失敗したものと判定する認証部をさらに有することを特徴とする請求項１に記載の推定装置。

【請求項3】

推定装置によって実行される推定方法であって、
人物の身体の一部を欠損する画像データを入力として、前記画像データにおける人物の身体の欠損した一部を復元する全身復元モデルを用いて、前記画像データにおける人物の身体の欠損した一部を復元する復元工程と、
前記復元工程によって復元された画像データを入力として、前記人物の骨格に関する骨格データを推定する骨格推定モデルを用いて、前記骨格データを推定する推定工程と、
を含むことを特徴とする推定方法。

【請求項4】

人物の身体の一部を欠損する画像データを入力として、前記画像データにおける人物の身体の欠損した一部を復元する全身復元モデルを用いて、前記画像データにおける人物の身体の欠損した一部を復元する復元ステップと、
前記復元ステップによって復元された画像データを入力として、前記人物の骨格に関する骨格データを推定する骨格推定モデルを用いて、前記骨格データを推定する推定ステップと、
をコンピュータに実行させることを特徴とする推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推定装置、推定方法、推定プログラムに関する。

【背景技術】

【0002】

各種の生体認証を用いて本人認証を行う技術が知られている。このような認証技術として、例えば、認証対象の人物の全身を含む画像データから骨格の位置座標を推定する骨格推定を行い、推定結果を基に本人認証を行う技術がある。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－０１３９９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の骨格推定の手法では、骨格推定を精度よく行えない場合があるという課題があった。例えば、従来の骨格推定の手法では、画像データにおける認証対象の人物の身体の一部のみが画像に含まれている場合には、骨格推定の精度が低下するという課題があった。

【課題を解決するための手段】

【0005】

上述した課題を解決し、目的を達成するために、本発明の推定装置は、人物の身体の一部を欠損する画像データを入力として、前記画像データにおける人物の身体の欠損した一部を復元する全身復元モデルを用いて、前記画像データにおける人物の身体の欠損した一部を復元する復元部と、前記復元部によって復元された画像データを入力として、前記人物の骨格に関する骨格データを推定する骨格推定モデルを用いて、前記骨格データを推定する推定部と、を有することを特徴とする。

【0006】

また、本発明の推定方法は、推定装置によって実行される推定方法であって、推定装置によって実行される推定方法であって、人物の身体の一部を欠損する画像データを入力として、前記画像データにおける人物の身体の欠損した一部を復元する全身復元モデルを用いて、前記画像データにおける人物の身体の欠損した一部を復元する復元工程と、前記復元工程によって復元された画像データを入力として、前記人物の骨格に関する骨格データを推定する骨格推定モデルを用いて、前記骨格データを推定する推定工程と、を含むことを特徴とする。

【0007】

また、本発明の推定プログラムは、人物の身体の一部を欠損する画像データを入力として、前記画像データにおける人物の身体の欠損した一部を復元する全身復元モデルを用いて、前記画像データにおける人物の身体の欠損した一部を復元する復元ステップと、前記復元ステップによって復元された画像データを入力として、前記人物の骨格に関する骨格データを推定する骨格推定モデルを用いて、前記骨格データを推定する推定ステップと、をコンピュータに実行させることを特徴とする。

【発明の効果】

【0008】

本発明によれば、人物の身体の一部のみ含む画像データであっても、認証処理の精度を維持することができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、第１の実施形態に係る推定装置の構成例を示すブロック図である。

【図2】図２は、人物の身体の一部を欠損する画像データを説明する図である。

【図3】図３は、第１の実施形態に係る推定装置による骨格推定処理の概要を説明する図である。

【図4】図４は、骨格の類似度を算出する処理例を説明する図である。

【図5】図５は、第１の実施形態に係る推定装置における処理の流れの一例を示すフローチャートである。

【図6】図６は、変形例に係る推定装置における処理の流れの一例を示すフローチャートである。

【図7】図７は、推定プログラムを実行するコンピュータを示す図である。

【発明を実施するための形態】

【0010】

以下に、本願に係る推定装置、推定方法、推定プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本願に係る推定装置、推定方法、推定プログラムが限定されるものではない。

【0011】

［第１の実施形態］
以下の実施形態では、第１の実施形態に係る推定装置１０の構成、推定装置１０の処理の流れを順に説明し、最後に第１の実施形態による効果を説明する。

【0012】

［推定装置の構成］
まず、図１を用いて、推定装置１０の構成を説明する。図１は、第１の実施形態に係る推定装置の構成例を示すブロック図である。推定装置１０は、本人認証を行うために、認証対象の人物の身体の一部が映った画像データを取得し、取得した画像データから認証対象の人物の欠損した一部を復元して該人物の骨格データを推定する。そして、推定装置１０は、推定した骨格データと正解の骨格データとの類似度を算出することで、本人認証を行う装置である。

【0013】

図１に示すように、この推定装置１０は、通信処理部１１、制御部１２および記憶部１３を有する。以下に推定装置１０が有する各部の処理を説明する。

【0014】

通信処理部１１は、接続される装置との間でやり取りする各種情報に関する通信を制御する。例えば、通信処理部１１は、骨格推定の処理対象となる画像データを外部の装置から受信する。また、記憶部１３は、制御部１２による各種処理に必要なデータおよびプログラムを格納し、登録情報記憶部１３ａを有する。例えば、記憶部１３は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子等の記憶装置である。

【0015】

登録情報記憶部１３ａは、ユーザが予め登録した骨格データを記憶する。例えば、登録情報記憶部１３ａは、骨格データとして、ユーザがカメラの前で所定のポーズ（例えば、両手挙げる等）をとった状態での、ユーザの全身の画像から推定された骨格データを記憶する。なお、このポーズは、登録時にユーザが自由に決めてもよいし、予め決められたポーズであって、正当なユーザのみに知らされたポーズであってもよい。

【0016】

制御部１２は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する。例えば、制御部１２は、取得部１２ａ、復元部１２ｂ、推定部１２ｃ、算出部１２ｄおよび認証部１２ｅを有する。ここで、制御部１２は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphical Processing Unit）などの電子回路やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路である。

【0017】

取得部１２ａは、人物の身体の一部を欠損する画像データを取得する。例えば、取得部１２ａは、認証対象の人物を撮影したカメラから画像データを取得し、復元部１２ｂに画像データを出力する。ここで取得される画像データは、図２に例示するように、人物の身体の一部しか画像中に含まれていないものとする。図２の例では、画像データは、腰から上の上半身のみが画像に含まれているが、腰から下の下半身が画像に映っていないものとする。

【0018】

復元部１２ｂは、取得部１２ａによって取得された画像データを入力として、画像データにおける人物の身体の欠損した一部を復元する全身復元モデルを用いて、画像データにおける人物の身体の欠損した一部を復元する。つまり、復元部１２ｂは、人物の身体の一部を欠損する画像データを全身復元モデルに入力し、全身復元モデルから出力される欠損した一部が復元された画像データを取得する。なお、この全身復元モデルは、予め生成された学習済みモデルである。

【0019】

推定部１２ｃは、復元部１２ｂによって復元された画像データを入力として、人物の骨格に関する骨格データを推定する骨格推定モデルを用いて、骨格データを推定する。この骨格推定モデルは、全身が含まれる画像データを用いて学習された学習済みモデルであり、入力データとして全身、もしくは体の大部分が含まれた画像データが入力されることを前提に生成されたモデルである。

【0020】

例えば、推定部１２ｃは、画像データを骨格推定モデルに入力することで、画像データ内の人物の骨格における各部位の位置を特定し、各関節に相当する部分として「右肩」、「右上腕」、「右前腕」、「左肩」、「左上腕」、「左前腕」、「右上腿」、「右下腿」、「左上腿」および「左下腿」の位置を推定する。

【0021】

算出部１２ｄは、推定部１２ｃによって推定された骨格データと、事前に登録された骨格データとの類似度を算出する。ここで、図４を用いて、骨格の類似度を算出する処理例を説明する。図４は、骨格の類似度を算出する処理例を説明する図である。

【0022】

図４に例示するように、算出部１２ｄは、推定部１２ｃによって推定された骨格データである全身情報Ａと、予め記憶された骨格データである全身情報Ｂそれぞれについて、骨格における各部位の位置を特定し、各関節として「右肩」、「右上腕」、「右前腕」、「左肩」、「左上腕」、「左前腕」、「右上腿」、「右下腿」、「左上腿」および「左下腿」の角度を特定する。骨格データは、各部位を示す点と、隣接する点同士を結んだ線または矢印とで表現される。算出部１２ｄは、例えば、各関節について、コサイン類似度によりベクトルの角度の近さを類似度として算出する。この場合、２つのベクトルの角度が近いほど１に近い値となる。また、例えば、算出部１２ｄは、全関節について類似度をそれぞれ求め、各関節の類似度の合計値をユーザの骨格の類似度として算出するようにしてもよい。

【0023】

認証部１２ｅは、算出部１２ｄによって算出された類似度が所定の閾値以上であるか判定し、類似度が所定の閾値以上である場合には、認証が成功したものと判定し、類似度が所定の閾値未満である場合には、認証が失敗したものと判定する。なお、推定装置１０は、骨格データの推定処理までを行い、類似度算出処理や認証処理については、別の装置で行うようにしてもよい。

【0024】

［推定装置の処理手順］
次に、図５を用いて、第１の実施形態に係る推定装置１０による処理手順の例を説明する。図５は、第１の実施形態に係る推定装置における処理の流れの一例を示すフローチャートである。

【0025】

図５に例示するように、推定装置１０では、取得部１２ａが人物の身体の一部を欠損する画像データを取得すると（ステップＳ１０１肯定）、復元部１２ｂは、取得部１２ａによって取得された画像データにおける人物の身体の欠損した一部を復元する（ステップＳ１０２）。具体的には、復元部１２ｂは、取得部１２ａによって取得された画像データを入力として、画像データにおける人物の身体の欠損した一部を復元する全身復元モデルを用いて、画像データにおける人物の身体の欠損した一部を復元する。

【0026】

そして、推定部１２ｃは、欠損した一部が復元された全身の画像データから骨格を推定する（ステップＳ１０３）。具体的には、推定部１２ｃは、復元部１２ｂによって復元された画像データを入力として、人物の骨格に関する骨格データを推定する骨格推定モデルを用いて、骨格データを推定する。

【0027】

続いて、算出部１２ｄは、推定部１２ｃによって推定された骨格データと、事前に登録された骨格データとの類似度を算出する（ステップＳ１０４）。そして、認証部１２ｅは、算出部１２ｄによって算出された類似度が所定の閾値以上であるか判定し、類似度が所定の閾値以上である場合には、認証が成功したものと判定し、類似度が所定の閾値未満である場合には、認証が失敗したものと判定する（ステップＳ１０５）。

【0028】

［第１の実施形態の効果］
第１の実施形態に係る推定装置１０は、人物の身体の一部を欠損する画像データを取得し、取得した画像データを入力として、画像データにおける人物の身体の欠損した一部を復元する全身復元モデルを用いて、画像データにおける人物の身体の欠損した一部を復元する。そして、推定装置１０は、復元した画像データを入力として、人物の骨格に関する骨格データを推定する骨格推定モデルを用いて、骨格データを推定する。このため、推定装置１０は、人物の身体の一部のみ含む画像データであっても、骨格推定の精度を維持することを可能とし、認証処理の精度を維持することが可能である。

【0029】

また、推定装置１０では、骨格推定モデルの学習は全身の画像データでよく、学習に身体の一部のみが映った画像データを準備する必要がないため、骨格推定モデルの学習が容易である。

【0030】

［変形例］
なお、推定装置は、人物の身体の一部を欠損する画像データにおける人物の身体の欠損した一部を復元する際に、画像データに認証に最低限必要な部分が含まれているか判定し、画像データに認証に最低限必要な部分が含まれていない場合は認証処理を行わないようにしてもよい。ここで、認証に最低限必要な部分については、予め設定できるものとする。例えば、両手挙げるポーズをユーザが取っているかを判定することで、認証を行う場合には、認証に最低限必要な部分として、ユーザの上半身が画像データに含まれているか判定する。

【0031】

上記のように、画像データに認証に最低限必要な部分が含まれているか判定する場合を変形例として図６を用いて処理を説明する。図６は、変形例に係る推定装置における処理の流れの一例を示すフローチャートである。

【0032】

図６に例示するように、変形例に係る推定装置では、取得部１２ａは、人物の身体の一部を欠損する画像データを取得すると（ステップＳ２０１肯定）、画像データに認証に必要な部分が含まれているか判定する（ステップＳ２０２）。例えば、取得部１２ａは、取得した画像データを解析し、画像データに含まれている身体の部位を特定し、画像データに認証に必要な身体の部分が含まれているか判定する。

【0033】

この結果、取得部１２ａは、画像データに認証に必要な部分が含まれていないと判定した場合には（ステップＳ２０２否定）、ステップＳ２０１に戻って、画像を再取得する。また、取得部１２ａが画像データに認証に必要な部分が含まれていると判定した場合には（ステップＳ２０２肯定）、復元部１２ｂは、取得部１２ａによって取得された画像データにおける人物の身体の欠損した一部を復元する（ステップＳ２０３）。

【0034】

そして、推定部１２ｃは、欠損した一部が復元された全身の画像データから骨格を推定する（ステップＳ２０４）。続いて、算出部１２ｄは、推定部１２ｃによって推定された骨格データと、事前に登録された骨格データとの類似度を算出する（ステップＳ２０５）。そして、認証部１２ｅは、算出部１２ｄによって算出された類似度が所定の閾値以上であるか判定し、類似度が所定の閾値以上である場合には、認証が成功したものと判定し、類似度が所定の閾値未満である場合には、認証が失敗したものと判定する（ステップＳ２０６）。

【0035】

このように、変形例に係る推定装置では、画像データに認証に最低限必要な部分が含まれているか判定した上で、全身の復元処理や認証処理を行うので、例えば、認証処理を行う上で重要な身体の部位が映っていない状態で全身の復元処理を行い、誤った認証処理を行うことを防止するため、認証処理の精度を維持することが可能である。

【0036】

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵやＧＰＵおよび当該ＣＰＵやＧＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0037】

また、本実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0038】

［プログラム］
また、上記実施形態において説明した情報処理装置が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態に係る推定装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。

【0039】

図７は、推定プログラムを実行するコンピュータを示す図である。図７に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。

【0040】

メモリ１０１０は、図７に例示するように、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図７に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、図７に例示するように、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、図７に例示するように、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、図７に例示するように、例えばディスプレイ１１３０に接続される。

【0041】

ここで、図７に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記の、プログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ１０９０に記憶される。

【0042】

また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。

【0043】

なお、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【0044】

上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0045】

１０ 推定装置
１１ 通信処理部
１２ 制御部
１２ａ 取得部
１２ｂ 復元部
１２ｃ 推定部
１２ｄ 算出部
１２ｅ 認証部
１３ 記憶部
１３ａ 登録情報記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】