特開 2023-11166 子連れ判定装置、子連れ判定方法、および子連れ判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023011166

(43)【公開日】2023-01-24

(54)【発明の名称】子連れ判定装置、子連れ判定方法、および子連れ判定プログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20230117BHJP

   G06T 7/00 20170101ALI20230117BHJP

   G07C 9/37 20200101ALI20230117BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 660B

G06T7/00 510F

G06T7/00 350C

G07C9/37

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021114837

(22)【出願日】2021-07-12

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】前野 一樹

(72)【発明者】

【氏名】小倉 康伸

(72)【発明者】

【氏名】加賀屋 智之

【テーマコード（参考）】

3E138

5B043

5L096

【Ｆターム（参考）】

3E138AA01

3E138HA05

3E138JA03

3E138JB01

3E138JB04

3E138JB16

3E138JC03

5B043AA04

5B043AA09

5B043BA04

5B043CA10

5B043DA05

5B043FA03

5L096BA08

5L096BA18

5L096CA02

5L096DA02

5L096FA09

5L096FA52

5L096FA64

5L096FA66

5L096FA67

5L096FA69

5L096FA76

5L096GA51

5L096HA11

5L096JA11

(57)【要約】      （修正有）

【課題】顔認証システム等において、子連れを適切に判定できる子連れ判定装置、子連れ判定方法及び子連れ判定プログラムを提供する。
【解決手段】顔認証装置１と、カメラと、警報装置と、を有する顔認証システムにおいて、子連れ判定装置である顔認証装置１は、カメラから画像データを受信する画像データ受信部と、画像データに基づいて画像データに含まれる人の骨格を表す骨格データを生成し、骨格データの示す人の姿勢が、子連れを示す姿勢に合致するか否かに基づいて、画像データに子連れが含まれるか否かを判定する制御部とを有する。顔認証装置は、子連れが含まれると判定した場合、骨格データに基づいて親を判定し、親に対して、顔認証処理を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

カメラから画像データを受信する受信部と、
前記画像データに基づいて、前記画像データに含まれる人の骨格を表す骨格データを生成し、前記骨格データに基づいて、前記画像データに子連れが含まれるか否かを判定する制御部と、
を有する子連れ判定装置。

【請求項2】

前記制御部は、前記骨格データが示す人の姿勢が、子連れを示す姿勢に合致するか否かに基づいて、前記画像データに子連れが含まれるか否かを判定する、
請求項１に記載の子連れ判定装置。

【請求項3】

前記制御部は、前記画像データに子連れが含まれると判定した場合、前記骨格データに基づいて、親を判定する、
請求項１または２に記載の子連れ判定装置。

【請求項4】

前記制御部は、前記骨格データで示される骨格の長さに基づいて、前記親を判定する、
請求項３に記載の子連れ判定装置。

【請求項5】

前記制御部は、前記親に対して、顔認証処理を実行する、
請求項３または４に記載の子連れ判定装置。

【請求項6】

前記制御部は、前記画像データに２以上の人が含まれる場合に、前記画像データに子連れが含まれるか否かを判定する、
請求項１から５のいずれか一項に記載の子連れ判定装置。

【請求項7】

カメラから画像データを受信し、
前記画像データに基づいて、前記画像データに含まれる人の骨格を表す骨格データを生成し、
前記骨格データに基づいて、前記画像データに子連れが含まれるか否かを判定する、
を有する子連れ判定方法。

【請求項8】

コンピュータに、
カメラから画像データを受信し、
前記画像データに基づいて、前記画像データに含まれる人の骨格を表す骨格データを生成し、
前記骨格データに基づいて、前記画像データに子連れが含まれるか否かを判定する、
処理を実行させる子連れ判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、子連れ判定装置、子連れ判定方法、および子連れ判定プログラムに関する。

【背景技術】

【0002】

例えば、駅やアミューズメントパークといった施設では、入退管理に認証装置が用いられる。認証装置には、共連れにおける不正入退を防止する機能を備えるものがある。例えば、入退が認められた正当な人に連れ立って入退する不当な人を検知する認証装置がある。

【0003】

共連れであっても、その共連れが親子である場合には、親が入退を行う正当な権利を持っていることを条件に、入退が許容される場合がある。例えば、「６歳未満は、無料で施設に入館できる」という条件において、入館者が親と６歳未満の子供とである場合、子供が認証装置に登録されていなくても、親が認証装置に登録されていれば、親子の入館が許容される。

【0004】

なお、特許文献１には、距離画像センサーを用いて人を上方（頭上）から撮影し、距離画像センサーが撮影した距離画像から、例えば、しがみついているまたは抱き合っているといった、近接した複数の人を区別し、カウントする人認識システムが開示される。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１７３１４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記したように、共連れであっても、その共連れが親子である場合、入退が許容される場合がある。一方、しゃがんで移動することで子供であるかのように頭の高さを偽装する等の、子連れを装った不正行為を適切に排除する必要がある。そのため、子連れを適切に判定できる装置が望まれる。

【0007】

本開示の非限定的な実施例は、子連れを適切に判定できる子連れ判定装置、子連れ判定方法、および子連れ判定プログラムの提供に資する。

【課題を解決するための手段】

【0008】

本開示の一実施例に係る子連れ判定装置は、カメラから画像データを受信する受信部と、前記画像データに基づいて、前記画像データに含まれる人の骨格を表す骨格データを生成し、前記骨格データに基づいて、前記画像データに子連れが含まれるか否かを判定する制御部と、を有する。

【0009】

本開示の一実施例に係る子連れ判定方法は、カメラから画像データを受信し、前記画像データに基づいて、前記画像データに含まれる人の骨格を表す骨格データを生成し、前記骨格データに基づいて、前記画像データに子連れが含まれるか否かを判定する。

【0010】

本開示の一実施例に係る子連れ判定プログラムは、コンピュータに、カメラから画像データを受信し、前記画像データに基づいて、前記画像データに含まれる人の骨格を表す骨格データを生成し、前記骨格データに基づいて、前記画像データに子連れが含まれるか否かを判定する、処理を実行させる。

【0011】

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータープログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータープログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0012】

本開示の一実施例によれば、子連れを適切に判定できる。

【0013】

本開示の一実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

【図面の簡単な説明】

【0014】

【図1】実施の形態に係る顔認証装置を用いた顔認証システムの構成例を示した図

【図2】顔認証装置のブロック構成例を示した図

【図3】姿勢推定法の一例を説明する図

【図4A】同伴者の姿勢例を説明する図

【図4B】同伴者の姿勢例を説明する図

【図4C】同伴者の姿勢例を説明する図

【図5】顔認証装置の動作例を示したフローチャート

【発明を実施するための形態】

【0015】

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

【0016】

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0017】

以下では、本開示に係る子連れ判定装置を顔認証装置に適用した例ついて説明する。

【0018】

図１は、実施の形態に係る顔認証装置１を用いた顔認証システムの構成例を示した図である。図１に示すように、顔認証システムは、顔認証装置１と、カメラ２と、警報装置３と、を有する。図１には、顔認証される被写体４も示してある。

【0019】

認証システムは、例えば、ビルといった建物の中または外に適用され、建物の中または外の所定の場所を通過する被写体４の顔認証処理を行う。所定の場所とは、例えば、ゲートや扉といった入退出が管理（判定）される場所である。別言すれば、所定の場所は、顔認証システムによって、顔認証処理が行われる空間と捉えてもよい。以下では、所定の場所を、顔認証空間と称することがある。

【0020】

顔認証装置１は、カメラ２が撮影した画像に基づいて、同伴を判定する。同伴とは、例えば、或る人が顔認証空間を通過するときに、別の人が或る人と連れ立って顔認証空間を通過することを言う。同伴とは、複数の人が顔認証空間を通過することと捉えてもよい。

【0021】

顔認証装置１は、カメラ２が撮影した画像に基づいて、同伴を検知した場合、その同伴が、子連れか否かを判定する。すなわち、顔認証装置１は、複数の人が顔認証空間を通過し、カメラ２が撮影した画像に２以上の人が含まれる場合に、子連れか否かを判定する。

【0022】

顔認証装置１は、同伴が子連れでないと判定した場合、同伴者の顔認証処理を実行する。顔認証装置１は、顔認証処理において、同伴者に正当でない人が含まれている場合、警報装置３に信号を出力する。

【0023】

なお、正当な人とは、カメラ２が撮影した画像に含まれる人の顔画像データが、顔認証装置１に記憶された顔画像データに一致した人と捉えてもよい。正当でない人とは、カメラ２が撮影した画像に含まれる人の顔画像データが、顔認証装置１に記憶された顔画像データに一致しなかった人と捉えてもよい。

【0024】

また、正当な人とは、顔認証システムによって、所定の場所（顔認証空間）の通過が許可された人と捉えてもよい。正当でない人とは、顔認証システムによって、所定の場所の通過が許可されていない人と捉えてもよい。

【0025】

顔認証装置１は、同伴が子連れであると判定した場合、カメラ２が撮影した画像データに基づいて、同伴者の中から親を判別し、判別した親の顔認証処理を実行する。顔認証装置１は、親の顔認証処理において、親が正当な人でない場合、警報装置３に信号を出力する。

【0026】

顔認証装置１は、例えば、サーバーやパーソナルコンピューターといった情報処理装置によって構成されてもよい。また、顔認証の機能と子連れ判定の機能とを別の装置として実現してもよい。顔認証装置１は、カメラ２および警報装置３が設置される場所とは別の場所に設置されてもよい。

【0027】

カメラ２は、例えば、顔認証空間を通過する被写体４を正面から撮影するよう構造物に設置される。顔認証装置１は、被写体４の正面画像に基づいて、後述する同伴判定処理、子連れ判定処理、および顔認証処理を行う。

【0028】

警報装置３は、顔認証装置１から出力された信号に基づいて、例えば、音や光といった警報を発する。

【0029】

図２は、顔認証装置１のブロック構成例を示した図である。図２に示すように、顔認証装置１は、制御部１１と、記憶部１２と、通信部１３と、入力部１４と、出力部１５と、を有する。

【0030】

制御部１１は、顔認証装置１全体を制御する。制御部１１は、例えば、ＣＰＵ（Central Processing Unit）といったプロセッサーによって構成されてもよい。

【0031】

制御部１１は、同伴判定部１１ａと、子連れ判定部１１ｂと、顔認証部１１ｃと、を有する。制御部１１は、例えば、記憶部１２に記憶されたプログラムを実行し、同伴判定部１１ａ、子連れ判定部１１ｂ、および顔認証部１１ｃの機能を実現してもよい。

【0032】

同伴判定部１１ａは、カメラ２が撮影した被写体４を含む画像の画像データに基づいて、同伴を判定する。

【0033】

子連れ判定部１１ｂは、同伴判定部１１ａが同伴を検知した場合（「同伴あり」を判定した場合、検知した同伴の画像が、子連れか否かを判定する。

【0034】

顔認証部１１ｃは、カメラ２の画像データに基づいて、被写体４の顔認証を行う。

【0035】

記憶部１２には、制御部１１が動作するためのプログラムが記憶される。また、記憶部１２には、制御部１１が計算処理を行うためのデータや各部を制御するためのデータが記憶される。例えば、記憶部１２には、施設への入退が許可された被写体４の顔画像データが記憶される。また、記憶部１２には、子連れを判定するための学習モデルのデータが記憶される。

【0036】

通信部１３は、ＬＡＮまたはインターネットといったネットワークに接続される。通信部１３は、ネットワークを介して、カメラ２と通信を行う。通信部１３は、ネットワークを介して、警報装置３と通信を行う。

【0037】

通信部１３は、画像データ受信部１３ａと、警報信号送信部１３ｂと、を有する。画像データ受信部１３ａは、カメラ２から画像データを受信する。警報信号送信部１３ｂは、警報装置３に警報信号を送信する。

【0038】

入力部１４は、例えば、キーボードやタッチパネルといった入力装置に接続される。入力部１４は、入力装置から受信した信号を制御部１１に出力する。

【0039】

出力部１５は、例えば、ディスプレイやタッチパネルといった表示装置に接続される。出力部１５は、制御部１１から受信した信号を表示装置に出力する。

【0040】

顔認証装置１における（１）同伴判定処理、（２）子連れ判定処理、（３）顔認証対象判定処理、および（４）顔認証処理の例について説明する。

【0041】

（１）同伴判定処理
顔認証装置１は、カメラ２から画像データを受信する。顔認証装置１は、受信した画像データに基づいて、既存の人数判定処理方法を用い、顔認証空間に進入した人数をカウントする。顔認証装置１は、顔認証空間に進入した人数が２以上の場合、同伴を検知する。

【0042】

なお、顔認証装置１は、画像データに含まれる複数の人が、所定の距離内に位置している場合（集団となっている場合）に、同伴を検知してもよい。

【0043】

また、顔認証装置１は、以下で説明する骨格推定法を用いて、同伴を検知してもよい。

【0044】

（２）子連れ判定処理
顔認証装置１は、同伴を検知すると、その同伴が子連れか否かを判定する。顔認証装置１は、骨格推定法を用いて、画像データに含まれる同伴者各々の骨格データを生成し、生成した骨格データの姿勢に基づいて、画像データに含まれる同伴が子連れか否かを判定する。ここで、骨格推定法について説明する。

【0045】

図３は、骨格推定法の一例を説明する図である。図３には、カメラ２が撮影した画像データの画像が示してある。図３の画像には、直立した被写体４が映っている。

【0046】

顔認証装置１は、カメラ２から受信した画像データに基づいて、画像データに含まれる被写体４の骨格データを生成する。

【0047】

例えば、顔認証装置１は、被写体４の関節点や、目、口、鼻、手、足といった各器官を点（例えば、座標）として検出する。顔認証装置１は、検出した点を、図３に示すように線で結び、被写体４の骨格データを生成する。すなわち、顔認証装置１は、画像データに含まれる被写体４の骨格を線（線データ）で表した骨格データを生成する。

【0048】

なお、骨格データを生成する方法には、既知の技術を使用してよい。例えば、OpenPose等のオープンソースソフトウェアで用いられている技術が適用されてもよい。

【0049】

また、上記したように、同伴判定処理に、骨格推定法が用いられてもよい。顔認証装置１は、骨格推定法により、人の骨格を推定し、推定した骨格（人）の数をカウントして、顔認証空間に進入した人数をカウントしてもよい。また、顔認証装置１は、推定した骨格（人）が、所定の距離内に位置している場合（集団となっている場合）、同伴を検知してもよい。

【0050】

子連れ判定処理の説明に戻る。顔認証装置１は、骨格推定法によって生成した骨格データに基づいて、同伴者の姿勢が、規定の姿勢にあるか否かを判定する。例えば、顔認証装置１は、同伴者の姿勢が、肩車、おんぶ、または手つなぎといった規定の姿勢にあるか否かを判定する。顔認証装置１は、同伴者の姿勢が、規定の姿勢にあると判定した場合、同伴判定処理で判定した同伴は子連れであると判定する。

【0051】

図４Ａ、図４Ｂ、および図４Ｃは、同伴者の姿勢例を説明する図である。図４Ａには、同伴者の姿勢例として、肩車の画像が示してある。図４Ａには、骨格推定法によって推定（生成）された骨格データ２１ａ，２１ｂが示してある。骨格データ２１ａは、親の骨格を示し、骨格データ２１ｂは、子供の骨格を示す。

【0052】

図４Ｂには、同伴者の姿勢例として、おんぶの画像が示してある。図４Ｂには、骨格推定法によって推定された骨格データ２２ａ，２２ｂが示してある。骨格データ２２ａは、親の骨格を示し、骨格データ２２ｂは、子供の骨格を示す。

【0053】

図４Ｃには、同伴者の姿勢例として、手つなぎの画像が示してある。図４Ｃには、骨格推定法によって推定された骨格データ２３ａ，２３ｂが示してある。骨格データ２３ａは、親の骨格を示し、骨格データ２３ｂは、子供の骨格を示す。

【0054】

顔認証装置１は、例えば、ディープラーニングやＳＶＭ（Support Vector Machine）といった機械学習装置（人工知能）を用いて、図４Ａ、図４Ｂ、図４Ｃに示した同伴者の姿勢（骨格の姿勢）が、肩車、おんぶ、および手つなぎといった規定の姿勢にあるか否かを判定する。例えば、顔認証装置１は、肩車、おんぶ、および手つなぎといった規定の姿勢を判定する機械学習装置に、骨格推定法で生成した同伴者の骨格データを入力する。

【0055】

具体的には、顔認証装置１は、図４Ａに示した骨格データ２１ａ，２１ｂを機械学習装置に入力する。図４Ａでは、肩車の画像例が示してある。従って、機械学習装置からは、肩車の姿勢を示す結果が出力され、顔認証装置１は、図４Ａに示す画像の同伴は、子連れであると判定する。

【0056】

また、顔認証装置１は、図４Ｂに示した骨格データ２２ａ，２２ｂを機械学習装置に入力する。図４Ｂでは、おんぶの画像例が示してある。従って、機械学習装置からは、おんぶの姿勢を示す結果が出力され、顔認証装置１は、図４Ｂに示す画像の同伴は、子連れであると判定する。

【0057】

また、顔認証装置１は、図４Ｃに示した骨格データ２３ａ，２３ｂを機械学習装置に入力する。図４Ｃでは、手つなぎの画像例が示してある。従って、機械学習装置からは、手つなぎの姿勢を示す結果が出力され、顔認証装置１は、図４Ｂに示す画像の同伴は、子連れであると判定する。

【0058】

なお、機械学習装置は、規定の姿勢以外の姿勢を示す骨格データが入力された場合、例えば、子連れでないことを示す結果を出力する。顔認証装置１は、子連れでないことを示す出力結果に基づいて、同伴判定処理で判定した同伴は、子連れでないと判定する。

【0059】

また、機械学習装置は、例えば、顔認証装置１が備えるＧＰＵ（図２には図示せず）やＦＰＧＡ（図２には図示せず）によって構成されてもよい。例えば、ディープラーニングを構成するニューラルネットワークは、顔認証装置１が備えるＧＰＵやＦＰＧＡによって構成されてもよい。ＧＰＵは、Graphics Processing Unitの略である。ＦＰＧＡは、Field Programmable Gate Arrayの略である。

【0060】

また、規定の姿勢は、上記した肩車、おんぶ、および手つなぎの姿勢に限られない。規定の姿勢は、抱っこ等の姿勢が含まれてもよい。

【0061】

また、子連れの人数は、親一人、子一人に限られない。親は２人以上であってもよく、子も２人以上であってもよい。

【0062】

（３）顔認証対象判定処理
顔認証装置１は、同伴が子連れであると判定すると、骨格推定法を用いて生成した骨格データに基づいて、顔認証の判定対象となる親を判定する。例えば、顔認証装置１は、骨格推定法を用いて推定した骨格データで示される骨格の長さに基づいて、親を判定する。

【0063】

具体的には、顔認証装置１は、骨格データにおいて、各部の点を結ぶ線分の長さの総和（点間の総和、または、距離の総和ともいう）を算出する。顔認証装置１は、算出した総和（骨格の長さの総和）に基づいて、総和を算出した骨格が親か子かを判定する。例えば、顔認証装置１は、算出した総和が第１の閾値より大きい場合、総和を算出した骨格は、親であると判定する。顔認証装置１は、算出した総和が第２の閾値より小さい場合、総和を算出した骨格は、子であると判定する。

【0064】

各部の点を結ぶ線分の長さは、各部の検出が成功していれば、その姿勢を問わず、大人と子供とで異なる値が算出される。具体的には、大人の方が各部の点の線分が長くなるため、その総和も大きくなる。したがって、この線分の総和に基づいて子であるか否かの判定をおこなうことで、顔認証装置１は、しゃがんでいる大人と立っている子供のような、身長では大人と子供の区別が難しい状況であっても、より正確に子連れを判定できる。

【0065】

なお、第１の閾値は、第２の閾値と同じであってもよい。第１の閾値が、第２の閾値と同じ場合において、第２の閾値より小さい骨格（の総和）の人が画像データに含まれていない場合、顔認証装置１は、子連れ判定処理において子連れと判定した判定結果を、子連れでないと修正してもよい。つまり、顔認証装置１は、第２の閾値より小さい骨格の人が画像データに含まれていない場合、画像データに含まれる同伴は子連れでなく、共連れであると判定結果を修正してもよい。各部の点を結ぶ線分の長さは、身体の大きさが反映される。したがって、顔認証装置１は、線分の長さの総和に基づいて判定結果を修正することにより、例えば、大人が手をつないでいたり、おんぶをしていたりするなどの、姿勢のみでは子連れだと誤判定してしまう場合であってもより正確に子連れを判定できる。

【0066】

また、第１の閾値は、第２の閾値より大きくてもよい。第１の閾値が、第２の閾値より大きい場合において、第２の閾値より大きく、第１の閾値より小さい骨格の人が画像データに含まれている場合、または、第２の閾値より小さい骨格の人が画像データに含まれていない場合、顔認証装置１は、子連れ判定処理において子連れと判定した判定結果を、子連れでないと修正してもよい。つまり、顔認証装置１は、第２の閾値より大きく、第１の閾値より小さい骨格の人が画像データに含まれている場合、または、第２の閾値より小さい骨格の人が画像データに含まれていない場合、画像データに含まれる同伴は子連れでなく、共連れであると判定結果を修正してもよい。これにより、顔認証装置１は、より正確に子連れを判定できる。

【0067】

また、顔認証対象判定方法は、上記例に限られない。顔認証装置１は、同伴が２人の場合、単純に骨格データの総和が大きい方を親、小さい方を子と判定してもよい。

【0068】

また、各部の点を結ぶ線分の長さの総和は、点間（座標間）の距離の総和であってもよい。また、各部の点を結ぶ線分の長さの総和は、各部の点間のピクセル数の総和で示されてもよい。

【0069】

（４）顔認証処理
顔認証装置１は、顔認証対象判定処理によって判定した顔認証対象者（すなわち親）の顔認証処理を行う。

【0070】

例えば、記憶部１２には、施設への入退が許可された顔画像データが記憶される。顔認証装置１は、顔認証対象判定処理によって判定した顔認証対象者の顔画像データと、記憶部１２に記憶された顔画像データとを比較し、顔認証対象者が正当な人であるか否かを判定する。

【0071】

具体的には、顔認証装置１は、顔認証対象者の顔画像データと、記憶部１２に記憶された顔画像データとの一致度を算出する。顔認証装置１は、算出した一致度が閾値以上の場合、顔認証対象者は正当であると判定する。

【0072】

なお、顔認証処理は、上記の方法に限られない。顔認証処理には、機械学習装置が用いられてもよい。

【0073】

図５は、顔認証装置１の動作例を示したフローチャートである。顔認証装置１は、例えば、図５に示すフローチャートの処理を繰り返し実行する。

【0074】

顔認証装置１は、カメラ２から受信した画像データに基づいて、同伴判定処理を実行する（Ｓ１）。顔認証装置１は、カメラ２から受信した画像データの画像に、同伴が含まれるか否かを判定する（Ｓ２）。

【0075】

顔認証装置１は、Ｓ２にて、カメラ２から受信した画像データの画像に、同伴が含まれないと判定した場合（Ｓ２の「同伴なし」）、顔認証処理を行う（Ｓ３）。

【0076】

顔認証装置１は、Ｓ３の顔認証処理において、顔認証が成功したか否かを判定する（Ｓ４）。

【0077】

顔認証装置１は、Ｓ４にて、顔認証が成功したと判定した場合（Ｓ４の「成功」）、当該フローチャートの処理を終了する。

【0078】

一方、顔認証装置１は、Ｓ４にて、顔認証が失敗したと判定した場合（Ｓ４の「失敗」）、警報装置３に信号を出力する（Ｓ５）。顔認証装置１は、Ｓ５にて、信号を出力した後、当該フローチャートの処理を終了する。

【0079】

顔認証装置１は、Ｓ２にて、カメラ２から受信した画像データの画像に、同伴が含まれると判定した場合（Ｓ２の「同伴あり」）、子連れ判定処理を行う（Ｓ６）。顔認証装置１は、カメラ２から受信した画像データの画像に、子連れが含まれているか否かを判定する（Ｓ７）。

【0080】

顔認証装置１は、Ｓ７にて、カメラ２から受信した画像データの画像に、子連れが含まれていないと判定した場合（Ｓ７の「子連れなし」）、処理をＳ３に移行し、同伴者の顔認証処理を行う。

【0081】

一方、顔認証装置１は、Ｓ７にて、カメラ２から受信した画像データの画像に、子連れが含まれていると判定した場合（Ｓ７の「子連れあり」）、顔認証対象判定処理を行う（Ｓ８）。顔認証装置１は、顔認証対象判定処理を行った後、処理をＳ３に移行し、顔認証処理を行う。なお、顔認証装置１は、処理をＳ８からＳ３に移行した場合、Ｓ８の顔認証対象判定処理において特定した顔認証対象者（すなわち親）の顔画像に対し、顔認証理を行う（Ｓ３）。

【0082】

以上説明したように、顔認証装置１は、カメラ２から画像データを受信する通信部１３と、受信した画像データに基づいて、画像データに含まれる人の骨格を表す骨格データを生成し、生成した骨格データに基づいて、画像データに子連れが含まれるか否かを判定する制御部１１と、を有する。このように、顔認証装置１は、人の骨格を表す骨格データに基づいて、子連れか否かを判定するので、子連れを適切に判定できる。例えば、骨格データは、子連れにみられる肩車、おんぶ、または手つなぎといった姿勢を表現できるため、顔認証装置１は、子連れを適切に判定できる。

【0083】

また、制御部１１は、画像データに同伴が含まれる場合に、画像データに子連れが含まれるか否かを判定する。これにより、顔認証装置１は、画像データに同伴が含まれない場合、子連れ判定処理を実行せずに済み、消費電力を低減できる。

【0084】

（変形例１）
顔認証装置１は、子連れ判定処理の姿勢推定法において、同伴の各人における各部の点間を差分ベクトルで表現してもよい。顔認証装置１は、各人の差分ベクトルを並べたものをベクトルＸとしてもよい。そして、顔認証装置１は、ベクトルＸを、各規程姿勢を示す情報を学習させた機械学習モデルを持つ機械学習装置に入力してもよい。この機械学習モデルは、例えば、各規程姿勢を示す大量の画像における各部の点間を差分ベクトルとして学習を行ったモデルであり、入力された差分ベクトルの集合が各規定姿勢とどの程度類似しているかを出力することができるものである。

【0085】

例えば、顔認証装置１は、同伴と判定した人Ａ，Ｂのうち、人Ａの各部の点間を差分ベクトルａ１，ａ２，…，ａｍで表現し、人Ｂの各部の点間を差分ベクトルｂ１，ｂ２，…，ｂｎで表現する。顔認証装置１は、人Ａの差分ベクトルａ１，ａ２，…，ａｍと、人Ｂの差分ベクトルｂ１，ｂ２，…，ｂｎとを並べたベクトルＸ（ａ１，ａ２，…，ａｍ，ｂ１，ｂ２，…，ｂｎ）を機械学習装置に入力する。これにより、人Ａと人Ｂがどの規定姿勢を取っているかを推定することができる。

【0086】

機械学習装置の出力結果は、例えば、人Ａと人Ｂが各規定姿勢を取っているかを規定姿勢ごとに０、１で示したものや、規定姿勢の名前である。出力結果が０、１である場合、０は、例えば、規定姿勢を取っていないことを示し、１は、規定姿勢を取っていることを示してもよい。具体的には、「肩車：０、おんぶ：１、手つなぎ：０」などの結果を出力してもよい。また、機械学習装置の出力結果は、例えば、肩車、おんぶ、手つなぎといった規定の姿勢を示す情報（例えば、０，１，２）を出力してもよい。

【0087】

顔認証装置１は、この出力結果を参照して、人Ａと人Ｂとが規定姿勢を取っていると判定された場合には子連れであると判定し、規定姿勢を取っていないと判定された場合には子連れでないと判定してもよい。

【0088】

なお、規定姿勢のいずれかが取られていると判定された場合に、子連れであると判定する構成を採用する場合は、機械学習装置が規定姿勢の情報を出力せずに、子連れ判定の結果を出力するとしてもよい。すなわち、機械学習装置は、いずれかの規定姿勢が取られていると判定した場合には子連れである旨の出力を行い、どの規定姿勢も取られていないと判定した場合には子連れでない旨の出力を行う。

【0089】

（変形例２）
顔認証装置１は、機械学習装置の学習モデルを構築する機能を備えてもよい。例えば、顔認証装置１は、教示データとして、上記したベクトルＸが与えられ、ラベルとして、上記した０，１の値、または、規定の姿勢を示す情報（例えば、０，１，２）が与えられてもよい。顔認証装置１は、与えられた教示データとラベルとから、学習モデルを構築してもよい。顔認証装置１に与える教示データとラベルとのセットは、複数個用意される。

【0090】

ディープラーニングにおいては、例えば、全結合層と活性化関数とを組み合わせたものを、５つ繰り返したものを使用してもよい。

【0091】

（変形例３）

【0092】

顔認証装置１は、子連れ判定処理において、同伴者の各人の各部の点間の総和ｘ（距離の総和）を用いて、子連れを判定してもよい。例えば、顔認証装置１は、人Ａ，Ｂの同伴者のうち、人Ａの総和ｘａと、人Ｂの総和ｘｂとの差が、閾値以上の場合、子連れであると判定してもよい。

【0093】

各部の点間の総和は、各部の検出が成功していれば、その姿勢を問わず、大人と子供とで異なる値が算出される。具体的には、大人の方が各部の点間の距離が長くなるため、その総和も大きくなる。したがって、この点間の総和に基づいて子であるか否かの判定をおこなうことで、顔認証装置１は、しゃがんでいる大人と立っている子供のような、身長では大人と子供の区別が難しい状況であっても、より正確に子連れを判定できる。

【0094】

また、顔認証装置１は、カメラ２が撮影した同伴の画像データに基づいて、人Ａ、Ｂの年齢を推定してもよい。特に、顔画像に基づいて人の年齢を推定する手法は様々なものが知られているため、人Ａ、人Ｂの顔が画像データに含まれていれば、年齢を推定することも可能である。

【0095】

そして、顔認証装置１は、画像データによる年齢推定の結果と、上記の総和を用いた子連れ判定結果とを用いて、子連れを判定してもよい。また、顔認証装置１は、画像データによる年齢推定の結果と、（２）の姿勢を用いた子連れ判定処理に基づく子連れ判定結果とを用いて、子連れを判定してもよい。画像データによる年齢推定は、被写体の顔などの特徴的な部分の映り方によって精度が大きく変動する一方、総和または姿勢を判定は必ずしも顔の映り方にかかわらず一定の精度で子連れの判定を行うことができる。したがって、顔などの映り方に応じて、画像データによる年齢推定の結果と、総和または姿勢を用いた子連れ判定のどちらの結果を採用するか切り替えてもよい。

【0096】

（変形例４）
上記の実施の形態で説明した人の各部の点間の総和は、次のように算出してもよい。

【0097】

各点をつなぐＭ個の線分の長さをｘ_０～ｘ_Ｍ－１とする。顔認証装置１は、線分の長さの総和ｘを、式（１）を用いて算出する。

【0098】

【数1】

【0099】

顔認証装置１は、各線分を構成する２つの点の信頼度の平均を線分の信頼度とする。ここで、点の信頼度とは、その点が人の器官であることの確からしさを示す値である。骨格推定法では、各点が人体のどの器官であるかを推定した上で、その点同士を接続する線分を作成する。この際に、各点の動きが連動しているかどうか、または、点間の位置関係などから、器官の推定結果の確からしさを算出することができる。例えば、「肘」だと推定された点が、「肩」だと推定された点の動きと独立した動きを行う可能性は低いため、「肩」の点が高精度に推定されているようであれば、その動きとどの程度追従しているかを評価することによって、「肘」だと推定した点が、本当に「肘」であるかの確からしさを算出することができる。顔認証装置１は、各線分の信頼度について、画像内のＮ人の平均を算出し、それを重みａ_ｉとして利用する。

【0100】

このようにすることで、顔認証装置１は、線分の長さの総和に器官の信頼度を反映した重みづけを行うことができるので、誤って器官だと推定された点が子連れ判定に与える影響を低減することができる。

【0101】

なお、顔認証装置１は、線分の信頼度に基づき、上位Ｔ件または閾値Ｔ以上の線分を利用してもよい。

【0102】

（変形例５）
規定姿勢によっては、点間の線分が大人と子供の判別の精度に及ぼす影響が異なることがある。例えば、抱っこの場合は、親子が顔を対向させる傾向があるため、親子両方の顔全体が同時に撮影される可能性は低い。そのため、顔の各器官に相当する点間の距離を重点的に評価しても、抱っこの姿勢では、親子の判定の精度は向上しにくいと考えられる。そこで、本変形例では、上記の実施の形態で説明した人の各部の点間の総和を、規定姿勢ごとに最適化して算出してもよい。具体的には次のように算出してもよい。

【0103】

各点をつなぐＭ個の線分の長さをｘ_０～ｘ_Ｍ－１とする。顔認証装置１は、線分の長さの総和ｘを、式（２）を用いて算出する。

【0104】

【数2】

【0105】

学習データ（各個体に対し、大人のラベルまたは子供のラベルが付与された画像集合）を、規定姿勢ごとに分割する。各規定の姿勢データにおいて、大人と子供との判別性能が最大となるように、各線分の長さへの重みａ_０～ａ_Ｍ－１を最適化する。

【0106】

このようにすることで、規定姿勢ごとに最適化された重みづけを行った総和を子連れ判定に用いることができる。

【0107】

なお、親子判定の精度への影響が直感的に分かり易い部位もあれば、分かりにくい部位もある。そこで、上述した最適化の処理は、機械学習の手法を用いて自動的に行うことが望ましい。すなわち、式（１）は、１層の全結合層で構築されたディープラーニングとみなせる。全結合層を複数積層させ、全パラメタを最適化してもよい。

【0108】

（変形例６）
顔認証装置１は、子連れ判定処理と、顔認識に基づく年齢推定処理とを組み合わせてもよい。例えば、顔認証装置１は、子連れと判定した画像データに含まれる人の顔画像データに基づいて、子連れの年齢推定を行う。顔認証装置１は、所定以上の年齢の人と、所定以下の年齢の人とが画像データに含まれる場合、最終的に子連れと判定してもよい。これにより、顔認証装置１は、より正確に子連れを判定できる。

【0109】

また、顔認証装置１は、顔認証対象判定処理と、年齢推定処理とを組み合わせてもよい。例えば、顔認証装置１は、顔認証対象処理によって顔認証対象と判定した人（親）の年齢推定を行う。顔認証装置１は、推定した年齢が所定以上の場合、顔認証対象処理によって判定した顔認証対象者を、最終的に顔認証対象者と判定してもよい。これにより、顔認証装置１は、より正確に顔認証対象者を判定できる。

【0110】

（その他変形例）
上述した各実施の形態では、子連れ判定を行った後に顔認証処理を行っていたが、顔認証処理を行った後に子連れ判定処理を行ってもよい。この場合、顔認証処理で認証できなかった人がいる場合のみ、子連れ判定処理を行ってもよい。このようにすることで、顔認証処理において全ての人の顔が認証された場合には、子連れ判定の処理を省略することができる。

【0111】

上述した各実施の形態では、子連れ判定と顔認証処理の両方を行っていたが、子連れ判定のみを行ってもよい。例えば、顧客数の推移などの統計的な情報を得ることを目的として子連れ客の数を他の客の数と区別して数えたい場合には、被認証者それぞれの情報を取得する必要はない。また、顔認証を行う場合は、被認証者の個人情報である顔の管理も必要となる。したがって、被認証者の顔の情報を取得する必要がない場合には、子連れ判定を専用に行う装置の方が有用である。同様の理由から、子連れ判定を行う目的は、ゲート等の不正な通過を抑制するものには限らない。統計情報の取得等を目的としている場合は、全ての人物を通過させることも考えられるためである。

【0112】

上述した各実施の形態の一部では、骨格データにおける各部の点を結ぶ線分の長さの総和に基づいて大人と子供を区別していたが、この線分の長さを用いた他の手法によって大人と子供を区別してもよい。例えば、人物それぞれの骨格データにおける同じ部位の点を結ぶ線分の長さに基づいて、大人と子供を区別してもよい。例えば、子の後ろに親がいる場合、親の体の一部は子に隠れている一方、この体は全身が撮影されている。その結果、子の方が親よりも、線分の長さの総和が大きくなってしまうおそれがある。一方、このような場合でも、肩から肘等の部分は親子ともに撮影されている場合があり、この部分に相当する線分の長さは親の方が長い。したがって、同じ部位の点を結ぶ線分の長さ（ここでは、肩から肘に相当する部分の長さ）同士を比較することで、大人と子供を区別することができる。なお、同じ部位の線分が複数箇所で認識されている場合は、それらの線分の和を比較して大人と子供を区別してもよい。

【0113】

上述した各実施の形態では、大人と子供の組である子連れを判定する例を説明したが、同様の手法を他の用途にも応用できる。例えば、骨格データにおける各部の点を結ぶ線分の長さを用いることで、単独の被写体が大人であるか子供であるかを区別することができるので、大人と子供の人数を区別して計測した統計情報を作成することができる。

【0114】

上述の実施の形態においては、各構成要素に用いる「・・・部」という表記は、「・・・回路（circuitry）」、「・・・アッセンブリ」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。

【0115】

以上、図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかである。そのような変更例または修正例についても、本開示の技術的範囲に属するものと了解される。また、本開示の趣旨を逸脱しない範囲において、実施の形態における各構成要素は任意に組み合わされてよい。

【0116】

本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0117】

集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサー又は専用プロセッサーで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡや、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。

【0118】

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【産業上の利用可能性】

【0119】

本開示は、

【符号の説明】

【0120】

１ 顔認証装置
２ カメラ
３ 警報装置
１１ 制御部
１１ａ 同伴判定部
１１ｂ 子連れ判定部
１１ｃ 顔認証部
１２ 記憶部
１３ 通信部
１３ａ 画像データ受信部
１３ｂ 警報信号送信部
１４ 入力部
１５ 出力部
２１ａ，２１ｂ，２２ａ，２２ｂ，２２ａ，２２ｂ 骨格データ

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】