IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ NECソリューションイノベータ株式会社の特許一覧

<>
  • 特開-出力装置 図1
  • 特開-出力装置 図2
  • 特開-出力装置 図3
  • 特開-出力装置 図4
  • 特開-出力装置 図5
  • 特開-出力装置 図6
  • 特開-出力装置 図7
  • 特開-出力装置 図8
  • 特開-出力装置 図9
  • 特開-出力装置 図10
  • 特開-出力装置 図11
  • 特開-出力装置 図12
  • 特開-出力装置 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023071016
(43)【公開日】2023-05-22
(54)【発明の名称】出力装置
(51)【国際特許分類】
   G06T 11/80 20060101AFI20230515BHJP
   G06T 1/00 20060101ALI20230515BHJP
   G06F 16/532 20190101ALI20230515BHJP
   G06F 16/56 20190101ALI20230515BHJP
【FI】
G06T11/80 A
G06T1/00 200E
G06F16/532
G06F16/56
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021183565
(22)【出願日】2021-11-10
(71)【出願人】
【識別番号】000232092
【氏名又は名称】NECソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】石田 州裕
(72)【発明者】
【氏名】山上 辰典
(72)【発明者】
【氏名】平山 景介
(72)【発明者】
【氏名】外村 彰英
(72)【発明者】
【氏名】高橋 昌也
【テーマコード(参考)】
5B050
5B175
【Fターム(参考)】
5B050BA12
5B050EA05
5B050EA07
5B050EA19
5B050FA02
5B050FA19
5B175DA02
5B175GB05
5B175HB03
(57)【要約】
【課題】検索した顔写真データを提示できないことがある。
【解決手段】出力装置は、人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索する検索部と、前記検索部が検索した複数の顔写真データを合成する合成部と、前記合成部が合成した顔写真データを出力する出力部と、を有する。
【選択図】図13
【特許請求の範囲】
【請求項1】
人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索する検索部と、
前記検索部が検索した複数の顔写真データを合成する合成部と、
前記合成部が合成した顔写真データを出力する出力部と、
を有する
出力装置。
【請求項2】
請求項1に記載の出力装置であって、
記検索部は、人物の顔に含まれる複数のパーツそれぞれの特徴量を含む多次元ベクトルである人相ベクトルを含む前記人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索する
出力装置。
【請求項3】
請求項2に記載の出力装置であって、
前記検索部は、目の形状に応じた特徴量であるつりたれ目度、顔の長さに応じた特徴量である顔面長度、鼻の大きさに応じた特徴量である鼻大きさ度、のうちの少なくとも一つの特徴量を含む前記人相ベクトルを含む前記人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索する
出力装置。
【請求項4】
請求項2または請求項3に記載の出力装置であって、
前記検索部は、目の形状に応じた特徴量であるつり目たれ目度と顔の長さに応じた特徴量である顔面長度と鼻の大きさに応じた特徴量である鼻大きさ度とを少なくとも含む前記人相ベクトルを含む前記人相情報を取得する
出力装置。
【請求項5】
請求項3または請求項4に記載の出力装置であって、
前記つり目たれ目度、前記顔面長度、前記鼻大きさ度は、前記目間距離と顔のパーツの位置とに基づいて算出される値である
出力装置。
【請求項6】
請求項2から請求項5までのうちのいずれか1項に記載の出力装置であって、
検索対象を特定するための情報を含む検索クエリを受信するクエリ受信部と、
前記検索クエリに含まれる顔写真データに基づいて、当該顔写真データが示す顔に含まれる複数のパーツの特徴量である前記人相ベクトルを抽出する抽出部と、
を有し、
前記検索部は、前記抽出部が抽出した前記人相ベクトルに基づいて、前記人相ベクトルに類似する顔写真データを予め格納した顔写真データベースから検索する
出力装置。
【請求項7】
請求項2から請求項6までのうちのいずれか1項に記載の出力装置であって、
検索対象を特定するための情報を含む検索クエリを受信するクエリ受信部を有し、
前記検索クエリには前記人相ベクトルに含まれる各特徴量のうち少なくとも一部の特徴量の値が含まれており、
前記検索部は、前記検索クエリに含まれる特徴量の値を用いて検索する
出力装置。
【請求項8】
情報処理装置が、
人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索し、
検索した複数の顔写真データを合成し、
合成した顔写真データを出力する
出力方法。
【請求項9】
請求項8に記載の出力方法であって、
検索の際、人物の顔に含まれる複数のパーツそれぞれの特徴量を含む多次元ベクトルである人相ベクトルを含む前記人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索する
出力方法。
【請求項10】
情報処理装置に、
人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索し、
検索した複数の顔写真データを合成し、
合成した顔写真データを出力する
処理を実現させるためのプログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、出力装置、出力方法、プログラムに関する。
【背景技術】
【0002】
データベースに格納された顔写真を検索する際に用いられる技術が知られている。
【0003】
このような顔写真を検索する際に用いられる技術の一例として、例えば、特許文献1がある。特許文献1には、複数の顔画像データを有するデータベースから所定の検索条件を満たす顔画像データを検索する顔画像検索装置が記載されている。具体的には、顔画像検索装置は、容貌に関する複数の特徴の中から少なくとも1つの特徴を検索条件として受け付ける検索条件受付部と、それぞれが容貌に関し互いに異なる特徴にもとづいてデータベースの検索を行う複数の検索部を有する検索実行部と、検索実行部における検索結果を出力する検索結果出力部とを備える。また、特許文献1によると、検索実行部は、複数の検索部の中から検索条件についての検索を行う検索部を選択して検索を実行させる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006-318375号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えば、事情聴取の場面などにおいては、検索された顔写真データをそのまま聴取中の人物に提示してしまうと、顔写真データが示す人物が聴取中の人物の仲間であった場合などにおいて、密告されたり警戒を引き起こしたりするおそれがある。このように、状況によっては、検索された顔写真データをそのまま提示先に提示できないことがあった。
【0006】
そこで、本発明の目的は、検索した顔写真データを提示できないことがある、という課題を解決する出力装置、出力方法、プログラムを提供することにある。
【課題を解決するための手段】
【0007】
かかる目的を達成するため本開示の一形態である出力装置は、
人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索する検索部と、
前記検索部が検索した複数の顔写真データを合成する合成部と、
前記合成部が合成した顔写真データを出力する出力部と、
を有する
という構成をとる。
【0008】
また、本開示の他の形態である出力方法は、
情報処理装置が、
人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索し、
検索した複数の顔写真データを合成し、
合成した顔写真データを出力する
という構成をとる。
【0009】
また、本開示の他の形態であるプログラムは、
情報処理装置に、
人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索し、
検索した複数の顔写真データを合成し、
合成した顔写真データを出力する
処理を実現するためのプログラムである。
【発明の効果】
【0010】
上述したような各構成によると、提示先に提示可能な顔写真データを出力可能となる。
【図面の簡単な説明】
【0011】
図1】本開示の第1の実施形態における検索装置の一例を示す図である。
図2】検索装置の構成例を示すブロック図である。
図3】顔写真データベースの一例を示す図である。
図4】人相ベクトルに含まれるつり目たれ目度の算出例を示す図である。
図5】人相ベクトルに含まれる顔面長度の算出例を示す図である。
図6】人相ベクトルに含まれる鼻大きさ度の算出例を示す図である。
図7】検索装置の動作例を示すフローチャートである。
図8】本開示の第2の実施形態における出力装置の構成例を示すブロック図である。
図9】合成処理を説明するための図である。
図10】出力装置の動作例を示すフローチャートである。
図11】本開示の第3の実施形態における検索装置のハードウェア構成例を示す図である。
図12】検索装置の構成例を示すブロック図である。
図13】出力装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0012】
[第1の実施形態]
本開示の第1の実施形態について、図1から図7までを参照して説明する。図1は、検索装置100の一例を示す図である。図2は、検索装置100の構成例を示すブロック図である。図3は、顔写真データベース141の一例を示す図である。図4は、人相ベクトルに含まれるつり目たれ目度の算出例を示す図である。図5は、人相ベクトルに含まれる顔面長度の算出例を示す図である。図6は、人相ベクトルに含まれる鼻大きさ度の算出例を示す図である。図7は、検索装置100の動作例を示すフローチャートである。
【0013】
本開示の第1の実施形態においては、図1で示すように、外部装置などから検索クエリを受信して、受信した検索クエリが示す人相に似た人相を有する人物の顔写真データを検索する検索装置100について説明する。後述するように、本実施形態で説明する検索装置100は、検索クエリを受信すると、受信した検索クエリに基づいて、人物の顔に含まれる複数のパーツの特徴量を示す人相情報を取得する。そして、検索装置100は、取得した人相情報に基づいて、人相情報が示す人相に類似する人相を有する人物の顔写真データを記憶部140に格納された顔写真データベース141から検索する。
【0014】
なお、本実施形態において、人相情報は、人物の顔に含まれる複数のパーツそれぞれの特徴量を含む多次元ベクトルである人相ベクトルを含む。例えば、人相ベクトルは、目の形状に応じた特徴量であるつり目たれ目度、顔の長さに応じた特徴量である顔面長度、鼻の大きさに応じた特徴量である鼻大きさ度など、目、鼻、顔全体などの各パーツの特徴量を含んでいる。後述するように、つり目たれ目度、顔面長度、鼻大きさ度などは、例えば、目の間の距離である目間距離を基準として算出される。人相ベクトルは、上記例示したパーツのうちの一部のパーツの特徴量を含んでもよいし、上記例示した以外のパーツの特徴量を含んでもよい。
【0015】
図2は、検索装置100の構成例を示している。図2を参照すると、検索装置100は、主な構成要素として、例えば、画面表示部110と、操作入力部120と、通信I/F部130と、記憶部140と、演算処理部150と、を有している。
【0016】
なお、図2では、1台の情報処理装置を用いて検索装置100としての機能を実現する場合について例示している。しかしながら、検索装置100は、例えば、クラウド上に実現されるなど、複数台の情報処理装置を用いて実現されてもよい。また、検索装置100は、操作入力部120を有さないなど上記例示した構成の一部を有さなくてもよいし、上記例示した以外の構成を有してもよい。
【0017】
画面表示部110は、LCD(Liquid Crystal Display、液晶ディスプレイ)などの画面表示装置からなる。画面表示部110は、演算処理部150からの指示に応じて、記憶部140に格納された各種情報などを画面表示することが出来る。
【0018】
操作入力部120は、キーボードやマウスなどの操作入力装置からなる。操作入力部120は、検索装置100を操作するオペレータの操作を検出して演算処理部150に出力する。例えば、操作入力部120は、検索クエリを入力する際などに用いることが出来る。
【0019】
通信I/F部130は、データ通信回路からなる。通信I/F部130は、通信回線を介して接続された外部装置などとの間でデータ通信を行う。
【0020】
記憶部140は、ハードディスクやメモリなどの記憶装置である。記憶部140は、演算処理部150における各種処理に必要な処理情報やプログラム143を記憶する。プログラム143は、演算処理部150に読み込まれて実行されることにより各種処理部を実現する。プログラム143は、通信I/F部130などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部140に保存されている。記憶部140で記憶される主な情報としては、例えば、顔写真データベース141、検索結果情報142などがある。
【0021】
顔写真データベース141は、人物の顔を含む画像データを複数含んでいる。顔写真データベース141に含まれる各情報は、例えば、通信I/F部130などを介して外部装置などから予め取得され、記憶部140に格納されている。
【0022】
図3は、顔写真データベース141の一例を示している。図3を参照すると、顔写真データベース141では、例えば、識別情報と、顔写真データと、人相ベクトルと、が対応付けられている。顔写真データベース141には、上記例示した以外の情報が含まれてもよい。
【0023】
図3で示す各情報のうち、識別情報は、例えば、予め一意に与えられている。また、顔写真データは、人物の顔を含む画像データである。また、人相ベクトルは、目の形状に応じた特徴量であるつり目たれ目度、顔の長さに応じた特徴量である顔面長度、鼻の大きさに応じた特徴量である鼻大きさ度などの特徴量を含む。例えば、人相ベクトルは、対応する顔写真データに基づいて予め算出されている。なお、人相ベクトルは、上記例示したパーツのうちの一部のパーツの特徴量を含んでもよいし、眉の形状に応じた特徴量や口の形状に応じた特徴量など上記例示した以外のパーツの特徴量を含んでもよい。
【0024】
図4は、つり目たれ目度の算出例を示している。図4を参照すると、つり目たれ目度は、例えば、基準となる目間距離と、目頭の位置と、目尻の位置と、に基づいて算出することが出来る。一例として、つり目たれ目度は、目頭のy座標と目尻のy座標との間の差を目間距離で除することで算出する。なお、目間距離は、瞳孔間距離などであってよい。
【0025】
例えば、図4で例示する場合において、画像データにおける左目中央の座標が(194,86)であり、右目中央の座標が(90,86)であるとする。この場合、目間距離は、194-90 = 104となる。また、図4で例示する場合において、左目の目頭の座標が(178,91)であり、左目の目尻の座標が(218,83)であるとする。この場合、目頭のy座標と目尻のy座標との間の差は、91-83 = 8となる。従って、つり目たれ目度は、8 / 104より0.076となる。なお、つり目たれ目度は、目頭のy座標と目尻のy座標との間の差と、目頭のx座標と目尻のx座標との間の差と、目間距離と、を用いて算出してもよい。例えば、上記の場合、目頭のx座標と目尻のx座標との間の差は、218-178 = 40となる。そして、例えば、上記算出した結果を用いて三角形を作り角度を算出することでつり目たれ目度を算出してもよい。一例として、上記の場合、5.710度/360度より0.015をつり目たれ目度として算出することが出来る。
【0026】
なお、上述した場合では、左目の座標に基づいてつり目たれ目度を算出しているが、左目の座標の代わりに右目の座標を用いてつり目たれ目度を算出してもよいし、左目に基づくつり目たれ目度と右目に基づくつり目たれ目度をともに算出する(または、その平均値を算出する)ことなどを行ってもよい。
【0027】
また、図5は、顔面長度の算出例を示している。図5を参照すると、顔面長度は、例えば、基準となる目間距離と、鼻上の位置と、顎下の位置と、に基づいて算出することが出来る。一例として、顔面長度は、鼻上のy座標と顎下のy座標との間の差である鼻顎距離を目間距離で除することで算出する。なお、目間距離は、つり目たれ目度と同様に瞳孔間距離などであってよい。
【0028】
例えば、図5で例示する場合において、つり目たれ目度の場合と同様に目間距離が104であるとする。また、図5で例示する場合において、鼻上の座標が(148,85)であり、顎下の座標が(144,265)であるとする。この場合、鼻上のy座標と顎下のy座標との間の差は、例えば、265-85 = 180となる。従って、顔面長度は、180 / 104より1.7307となる。なお、鼻顎距離は鼻上のx座標と顎下のx座標とを加味して算出してもよい。また、鼻上の位置や顎下の位置は任意の手段により決定してよい。
【0029】
なお、顔面長度は、右目や左目の位置と顎下の位置とに基づいて算出されるなど、上記例示した以外の方法を用いて算出してもよい。
【0030】
また、図6は、鼻大きさ度の算出例を示している。図6を参照すると、鼻大きさ度は、例えば、基準となる目間距離と、鼻上の位置と、鼻下の位置と、鼻右の位置と、鼻左の位置と、に基づいて算出することが出来る。一例として、顔面長度は、鼻上のy座標と鼻下のy座標との間の差である鼻長さ値と、鼻右のx座標と鼻左のx座標との間の差である鼻幅値と、を加算した値を目間距離で除することで算出する。なお、目間距離は、つり目たれ目度などと同様に瞳孔間距離などであってよい。
【0031】
例えば、図6で例示する場合において、つり目たれ目度の場合と同様に目間距離が104であるとする。また、図6で例示する場合において、鼻上の座標が(148,85)であり、鼻下の座標が(153,174)であり、鼻右の座標が(175,163)であり、鼻左の座標が(127,168)であるとする。この場合、鼻上のy座標と鼻下のy座標との間の差は、例えば、174-85 = 89となる。また、鼻右のx座標と鼻左のx座標との間の差は、例えば、175-127 = 48となる。従って、鼻大きさ度は、( 89 + 48 ) / 104より1.317となる。なお、顔面長度の場合と同様に、鼻長さ値や鼻幅値はx座標とy座標を両方考慮して算出してもよい。また、鼻上の位置、鼻下の位置、鼻右の位置、鼻左の位置は任意の手段により決定してよい。
【0032】
なお、鼻大きさ度は、目間距離と、鼻右、鼻左の位置と、に基づいて算出されるなど、上記例示した以外の方法を用いて算出してもよい。
【0033】
例えば、以上説明したように、人相ベクトルに含まれる各特徴量は、基準となる目間距離を用いて算出される。各特徴量を目間距離に基づいて算出することで、顔写真データを取得する際における撮影対象である人物と撮像装置との間の離れ具合が各顔写真データで異なっている場合など各顔写真データの撮像状況が異なる場合などにおいても、的確に人相を算出することが出来る。
【0034】
検索結果情報142は、後述する検索部153により検索された結果に応じた情報を含んでいる。つまり、検索結果情報142には、検索クエリが示す人相と類似又は一致すると検索部153により判断された顔写真データなどが含まれている。例えば、検索結果情報142は、検索部153により検索された顔写真データそのものを含んでいてもよいし、顔写真データの代わりに当該顔写真データを示す顔写真データベース141における識別情報などを含んでいてもよい。検索結果情報142は、検索部153による検索処理の結果に応じて更新される。
【0035】
演算処理部150は、CPU(Central Processing Unit)などの演算装置とその周辺回路を有する。演算処理部150は、記憶部140からプログラム143を読み込んで実行することにより、上記ハードウェアとプログラム143とを協働させて各種処理部を実現する。演算処理部150で実現される主な処理部としては、例えば、クエリ受信部151、人相ベクトル抽出部152、検索部153、出力部154などがある。
【0036】
クエリ受信部151は、検索クエリを受信する。例えば、クエリ受信部151は、通信I/F部130を介して外部装置などから検索クエリを受信する。または、クエリ受信部151は、オペレータが操作入力部120などを用いて入力した検索クエリを受け付ける。
【0037】
ここで、検索クエリは、例えば、検索対象となる人物の顔写真データを含む。換言すると、クエリ受信部151は、顔写真データを含む検索クエリを受信することが出来る。また、検索クエリは、顔写真データの代わりに、または、顔写真データとともに、人相ベクトルに含まれる各特徴量のうち少なくとも一部の特徴量の値を含んでもよい。例えば、検索クエリは、つり目たれ目度、顔面長度、鼻大きさ度、……、などの各特徴量のうちの少なくとも一部の特徴量の値を含むことが出来る。なお、検索クエリは、特徴量の値自体を含んでもよいし、特徴量の値に変換可能な文字情報(例えば、操作入力部120などを用いてオペレータなどにより選択された選択肢)などを含んでいてもよい。
【0038】
人相ベクトル抽出部152は、顔写真データに基づいて、当該顔写真データが示す顔に含まれる複数のパーツの特徴量である人相ベクトルを抽出する。例えば、人相ベクトル抽出部152は、クエリ受信部151が顔写真データを含む検索クエリを受信した場合に、当該検索クエリに含まれる顔写真データに基づいて人相ベクトルを抽出する。
【0039】
人相ベクトル抽出部152は、人相ベクトルとして、つり目たれ目度、顔面長度、鼻大きさ度、……、などの顔に含まれる各パーツの特徴量を抽出する。例えば、人相ベクトル抽出部152は、上述したように、基準となる目間距離と、各パーツの位置などとを用いて、各パーツの特徴量をそれぞれ算出する。
【0040】
なお、人相ベクトル抽出部152は、顔写真データベース141に含まれる顔写真データに基づいて、当該顔写真データが示す顔に含まれる複数のパーツの特徴量である人相ベクトルを抽出するよう構成してもよい。
【0041】
検索部153は、検索対象となる人相ベクトルを用いて、顔写真データベース141を検索する。例えば、検索クエリに顔写真データが含まれる場合、検索部153は、人相ベクトル抽出部152が抽出した人相ベクトルを用いて顔写真データベースを検索する。また、例えば、検索クエリに特徴量の値が含まれる場合、検索部153は、検索クエリに含まれる特徴量の値を用いて顔写真データベースを検索することが出来る。
【0042】
一例として、検索部153は、検索対象となる人相ベクトルを用いて顔写真データベース141に対するコサイン類似度もしくは近似値探索を行うことで、人相ベクトルを用いた検索を行う。つまり、検索部153は、顔写真データベース141に含まれる顔写真データのうち検索対象となる人相ベクトルとの間のコサイン類似度が所定値以下であるなど検索対象となる人相ベクトルと類似すると判断される人相ベクトルを有する顔写真データを検索する。そして、検索部153は、検索の結果である顔写真データなどを検索結果情報142として記憶部140に格納する。なお、検索部153は、上記例示したコサイン類似度などを用いる方法の他に、そのほかの既知の方法を用いて人相ベクトルに基づく検索を行ってもよい。
【0043】
なお、検索クエリには、人相ベクトルのうちの一部の特徴量が含まれる場合がある。このような場合、検索部153は、検索クエリに含まれない特徴量の値を任意の手段により特定してよい。例えば、検索部153は、検索クエリに含まれない特徴量がある場合、当該検索クエリに含まれない特徴量の値が顔写真データベース141に含まれる特徴量の値の平均値など予め定められた値であるものとみなしてよい。または、検索部153は、検索クエリに含まれる特徴量のみを用いて検索を行ってもよい。検索部153は、検索クエリに含まれない特徴量がある場合、当該検索クエリに含まれない特徴量の値として、検索クエリに含まれる顔写真データから人相ベクトル抽出部152が抽出した値を用いてもよい。検索部153による検索は、例えばオペレータなどにより検索クエリに含まれない特徴量を考慮するか否か選択可能なよう構成してもよい。
【0044】
出力部154は、検索部153による検索の結果である検索結果情報142などを出力する。例えば、出力部154は、検索結果情報142などを通信I/F部130を介して外部装置に送信したり、画面表示部110などに表示させたりする。
【0045】
以上が、検索装置100の構成例である。続いて、図7を参照して、検索装置100の動作例について説明する。
【0046】
図7は、検索装置100の動作例を示している、図7を参照すると、クエリ受信部151は、検索クエリを受信する(ステップS101)。例えば、クエリ受信部151は、通信I/F部130を介して外部装置などから検索クエリを受信する。または、クエリ受信部151は、オペレータが操作入力部120などを用いて入力した検索クエリを受け付ける。なお、クエリ受信部151が受信する検索クエリには、例えば、検索対象となる人物の顔写真データや人相ベクトルに含まれる各特徴量のうち少なくとも一部の特徴量の値など、検索対象を特定するために必要となる特徴量の値などを特定するための情報が含まれている。
【0047】
クエリ受信部151が顔写真データを含む検索クエリを受信した場合(ステップS102、Yes)、人相ベクトル抽出部152は、顔写真データに基づいて、当該顔写真データが示す顔に含まれる複数のパーツの特徴量である人相ベクトルを抽出する(ステップS103)。例えば、人相ベクトル抽出部152は、基準となる目間距離と顔のパーツの位置とを用いて、つり目たれ目度、顔面長度、鼻大きさ度、……、などの顔に含まれる各パーツの特徴量の値を抽出する。
【0048】
ステップS103の処理の後、または、検索クエリに顔写真データが含まれない場合(ステップS102、No)、検索部153は、検索クエリから特定される検索対象となる人相ベクトルを用いて、顔写真データベース141を検索する(ステップS104)。検索部153は、コサイン類似度を用いたり近似値探索を行ったりするなど、既知の手段を用いて、検索クエリから特定される人相ベクトルと類似する人相ベクトルを有する顔写真データを検索してよい。
【0049】
出力部154は、検索部153による検索の結果である検索結果情報142などを出力する(ステップS105)。例えば、出力部154は、検索結果情報142などを通信I/F部130を介して外部装置に送信したり、画面表示部110などに表示させたりする。
【0050】
以上が、検索装置100の動作例である。
【0051】
このように、検索装置100は、基準となる目間距離を用いて算出される特徴量の値を有する人相ベクトルを用いた検索を行う検索部153を有している。このような構成によると、検索部153は、顔写真データの撮像状況などによらず的確な検索を行うことが出来る。また、本実施形態の場合、人相ベクトルは、人物の顔に含まれる複数のパーツそれぞれの特徴量を含む多次元ベクトルである。そのため、検索部153は、多次元ベクトルである人相ベクトルを用いた検索を行うことで、全体として人相が似ていると判断される顔写真データを的確に検索することが出来る。つまり、本実施形態で説明した構成によると、検索クエリに応じた顔写真データを的確に検索することが出来る。
【0052】
[第2の実施形態]
続いて、本開示の第2の実施形態について、図8から図10までを参照して説明する。図8は、出力装置200の構成例を示すブロック図である。図9は、合成処理例を説明するための図である。図10は、出力装置200の動作例を示すフローチャートである。
【0053】
本開示の第2の実施形態においては、第1の実施形態で説明した検索装置100と同様の方法で検索した結果を合成して出力する出力装置200について説明する。例えば、事情聴取の場面などにおいては、検索された顔写真データの人物が聴取中の人物の仲間であるおそれがあるなど、検索された顔写真データをそのまま提示先に提示できないことがある。本実施形態における出力装置200は、上記のような検索結果をそのまま提示できない場合などに対応するため、検索した結果を合成した後に出力する。つまり、出力装置200は、検索した結果を合成することで架空の写真を生成する。なお、以下においては、出力装置200が有する構成のうち、本実施形態に特徴的な構成について説明する。
【0054】
図8は、出力装置200の構成例を示している。図8を参照すると、出力装置200は、主な構成要素として、例えば、画面表示部110と、操作入力部120と、通信I/F部130と、記憶部240と、演算処理部250と、を有している。
【0055】
記憶部240は、第1の実施形態で説明した記憶部140と同様にハードディスクやメモリなどの記憶装置である。記憶部240は、記憶部140が記憶するプログラム143の代わりにプログラム242を記憶する。プログラム242は、プログラム143と同様に、演算処理部250に読み込まれて実行されることにより各種処理部を実現する。プログラム243は、通信I/F部130などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部240に保存されている。記憶部240で記憶される主な情報としては、例えば、顔写真データベース141、検索結果情報142に加えて、合成顔画像データ241などがある。
【0056】
合成顔画像データ241は、後述する合成部251が複数の顔画像データを合成した結果として生成する合成顔画像データを含んでいる。後述するように、合成部251は、検索部153による検索の結果を受けて、検索結果情報142に含まれる、または、検索結果情報142を用いて特定可能な複数の顔画像データを合成する。そのため、合成顔画像データ241には、検索クエリが示す人相に似た人相を有する複数の顔写真データを合成することで生成される合成顔画像データが含まれる、ということも出来る。例えば、合成顔画像データ241は、後述する合成部251が合成処理を行うごとに更新される。
【0057】
演算処理部250は、CPUなどの演算装置とその周辺回路を有する。演算処理部250は、記憶部240からプログラム242を読み込んで実行することにより、上記ハードウェアとプログラム242とを協働させて各種処理部を実現する。演算処理部250で実現される主な処理部としては、例えば、第1の実施形態で説明したクエリ受信部151、人相ベクトル抽出部152、検索部153、出力部154に加えて、合成部251がある。
【0058】
合成部251は、図9で示すように、検索部153が検索した複数の顔写真データを合成する。例えば、合成部251は、GAN(Generative Adversarial Network)を用いた画像合成など、既知の手段を用いて複数の顔写真データを合成してよい。そして、合成部251は、合成した結果を合成顔画像データ241として記憶部240に格納する。
【0059】
なお、本実施形態の場合、出力部154は、検索結果情報142の代わりに、または、検索結果情報142とともに、合成顔画像データ241を出力してよい。
【0060】
以上が、出力装置200の構成例である。続いて、図10を参照して、出力装置200の動作例について説明する。
【0061】
図10は、出力装置200の動作例を示している、図10を参照すると、出力装置200の動作は、ステップS104の処理まで検索装置100の動作と同様であってよい。
【0062】
合成部251は、検索部153が検索した複数の顔写真データを合成する(ステップS201)。例えば、合成部251は、GAN(Generative Adversarial Network)を用いた画像合成など、既知の手段を用いて複数の顔写真データを合成してよい。
【0063】
出力部154は、合成部251による合成の結果である合成顔画像データ241などを出力する(ステップS105)。例えば、出力部154は、合成顔画像データ241などを通信I/F部130を介して外部装置に送信したり、画面表示部110などに表示させたりする。
【0064】
このように、出力装置200は、合成部251を有している。このような構成により、出力部154は、合成部251による合成の結果である合成顔画像データ241などを出力することが出来る。その結果、例えば、検索された顔写真データをそのまま提示先に提示できないような場合であっても提示先に提示可能な画像データを生成して提示することが出来る。
【0065】
[第3の実施形態]
次に、図11図12を参照して、本開示の第3の実施形態について説明する。本開示の第3の実施形態では、情報処理装置である検索装置300の構成の概要について説明する。
【0066】
図11は、検索装置300のハードウェア構成例を示している。図11を参照すると、検索装置30は、一例として、以下のようなハードウェア構成を有している。
・CPU(Central Processing Unit)301(演算装置)
・ROM(Read Only Memory)302(記憶装置)
・RAM(Random Access Memory)303(記憶装置)
・RAM303にロードされるプログラム群304
・プログラム群304を格納する記憶装置305
・情報処理装置外部の記録媒体310の読み書きを行うドライブ装置306
・情報処理装置外部の通信ネットワーク311と接続する通信インタフェース307
・データの入出力を行う入出力インタフェース308
・各構成要素を接続するバス309
【0067】
また、検索装置300は、プログラム群304をCPU301が取得して当該CPU301が実行することで、図12に示すクエリ受信部321、検索部322、出力部323としての機能を実現することが出来る。なお、プログラム群304は、例えば、予め記憶装置305やROM302に格納されており、必要に応じてCPU301がRAM303などにロードして実行する。また、プログラム群304は、通信ネットワーク311を介してCPU301に供給されてもよいし、予め記録媒体310に格納されており、ドライブ装置306が該プログラムを読み出してCPU301に供給してもよい。
【0068】
なお、図12は、検索装置300のハードウェア構成例を示している。検索装置300のハードウェア構成は上述した場合に限定されない。例えば、検索装置300は、ドライブ装置306を有さないなど、上述した構成の一部から構成されてもよい。
【0069】
クエリ受信部321は、検索対象を特定するための情報を含む検索クエリを受信する。
【0070】
検索部322は、人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報を検索クエリに基づいて取得して、取得した人相情報に類似する顔写真データを予め格納した顔写真データベースから検索する。
【0071】
出力部323は、検索部322が検索した顔写真データを出力する。
【0072】
このように、検索装置300は、検索部322を有している。このような構成によると、検索部322は、人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報を検索クエリに基づいて取得して、取得した人相情報に類似する顔写真データを予め格納した顔写真データベースから検索することが出来る。その結果、基準となる目間距離を用いて算出される人相情報を用いた検索を行うことで、検索対象などの撮像状況などによらず的確な検索を行うことが出来る。また、複数のパーツの特徴量を示す人相情報に基づく検索を行うことで、全体として人相が似ていると判断される顔写真データを的確に検索することが出来る。つまり、本実施形態で説明した構成によると、検索クエリに応じた顔写真データを的確に検索することが出来る。
【0073】
なお、上述した検索装置300などの情報処理装置は、当該情報処理装置に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、情報処理装置に、検索対象を特定するための情報を含む検索クエリを受信し、人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報を検索クエリに基づいて取得して、取得した人相情報に類似する顔写真データを予め格納した顔写真データベースから検索し、検索した顔写真データを出力する、処理を実現するためのプログラムである。
【0074】
また、上述した情報処理装置により実行される検索方法は、情報処理装置が、検索対象を特定するための情報を含む検索クエリを受信し、人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報を検索クエリに基づいて取得して、取得した人相情報に類似する顔写真データを予め格納した顔写真データベースから検索し、検索した顔写真データを出力する、というものである。
【0075】
上述した構成を有する、プログラム(又は記録媒体)、又は、検索方法などの発明であっても、上述した検索装置300と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。
【0076】
また、検索装置300は、図13で示すように、クエリ受信部321、検索部322、出力部323に加えて、合成部324を有してもよい。つまり、検索装置300は、合成部324と出力部323とを有する出力装置であってもよい。合成部324は、検索部322が検索した複数の顔写真データを合成する。そして、出力部323は、合成部324が合成した結果を出力する。このような構成によると、検索された顔写真データをそのまま提示することが難しい場合であっても検索結果に応じた顔画像を提示することが可能となる。なお、合成部324を有する検索装置300(出力装置)が行う出力方法や検索装置300に合成部324や出力部323などを実現するためのプログラムであっても、上記と同様の作用・効果を有するために、同様の目的を達成することが出来る。また、出力装置として機能する場合、検索装置300は、クエリ受信部321としての機能を有さなくてもよい。
【0077】
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における判定装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
【0078】
(付記1)
検索対象を特定するための情報を含む検索クエリを受信するクエリ受信部と、
人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報を前記検索クエリに基づいて取得して、取得した前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索する検索部と、
前記検索部が検索した顔写真データを出力する出力部と、
を有する
検索装置。
(付記2)
付記1に記載の検索装置であって、
記検索部は、人物の顔に含まれる複数のパーツそれぞれの特徴量を含む多次元ベクトルである人相ベクトルを含む前記人相情報を前記検索クエリに基づいて取得して、取得した前記人相ベクトルに類似する前記顔写真データを検索する
検索装置。
(付記3)
付記2に記載の検索装置であって、
前記検索部は、目の形状に応じた特徴量であるつり目たれ目度、顔の長さに応じた特徴量である顔面長度、鼻の大きさに応じた特徴量である鼻大きさ度、のうちの少なくとも一つの特徴量を含む前記人相ベクトルを含む前記人相情報を取得する
検索装置。
(付記4)
付記2または付記3に記載の検索装置であって、
前記検索部は、目の形状に応じた特徴量であるつり目たれ目度と顔の長さに応じた特徴量である顔面長度と鼻の大きさに応じた特徴量である鼻大きさ度とを少なくとも含む前記人相ベクトルを含む前記人相情報を取得する
検索装置。
(付記5)
付記3または付記4に記載の検索装置であって、
前記つり目たれ目度、前記顔面長度、前記鼻大きさ度は、前記目間距離と顔のパーツの位置とに基づいて算出される値である
検索装置。
(付記6)
付記2から付記5までのうちのいずれか1項に記載の検索装置であって、
前記検索クエリには検索対象となる人物の顔写真データが含まれており、
前記検索クエリに含まれる顔写真データに基づいて、当該顔写真データが示す顔に含まれる複数のパーツの特徴量である前記人相ベクトルを抽出する抽出部を有し、
前記検索部は、前記抽出部が抽出した前記人相ベクトルを取得する
検索装置。
(付記7)
付記2から付記6までのうちのいずれか1項に記載の検索装置であって、
前記検索クエリには前記人相ベクトルに含まれる各特徴量のうち少なくとも一部の特徴量の値が含まれており、
前記検索部は、前記検索クエリに含まれる特徴量の値を用いて検索する
検索装置。
(付記8)
情報処理装置が、
検索対象を特定するための情報を含む検索クエリを受信し、
人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報を前記検索クエリに基づいて取得して、取得した前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索し、
検索した顔写真データを出力する
検索方法。
(付記9)
付記8に記載の検索方法であって、
検索の際、人物の顔に含まれる複数のパーツそれぞれの特徴量を含む多次元ベクトルである人相ベクトルを含む前記人相情報を前記検索クエリに基づいて取得して、取得した前記人相ベクトルに類似する前記顔写真データを検索する
検索方法。
(付記10)
情報処理装置に、
検索対象を特定するための情報を含む検索クエリを受信し、
人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報を前記検索クエリに基づいて取得して、取得した前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索し、
検索した顔写真データを出力する
処理を実現させるためのプログラム。
(付記11)
人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索する検索部と、
前記検索部が検索した複数の顔写真データを合成する合成部と、
前記合成部が合成した顔写真データを出力する出力部と、
を有する
出力装置。
(付記12)
付記11に記載の出力装置であって、
記検索部は、人物の顔に含まれる複数のパーツそれぞれの特徴量を含む多次元ベクトルである人相ベクトルを含む前記人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索する
出力装置。
(付記13)
付記12に記載の出力装置であって、
前記検索部は、目の形状に応じた特徴量であるつりたれ目度、顔の長さに応じた特徴量である顔面長度、鼻の大きさに応じた特徴量である鼻大きさ度、のうちの少なくとも一つの特徴量を含む前記人相ベクトルを含む前記人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索する
出力装置。
(付記14)
付記12または付記13に記載の出力装置であって、
前記検索部は、目の形状に応じた特徴量であるつり目たれ目度と顔の長さに応じた特徴量である顔面長度と鼻の大きさに応じた特徴量である鼻大きさ度とを少なくとも含む前記人相ベクトルを含む前記人相情報を取得する
出力装置。
(付記15)
付記13または付記14に記載の出力装置であって、
前記つり目たれ目度、前記顔面長度、前記鼻大きさ度は、前記目間距離と顔のパーツの位置とに基づいて算出される値である
出力装置。
(付記16)
付記12から付記5までのうちのいずれか1項に記載の出力装置であって、
検索対象を特定するための情報を含む検索クエリを受信するクエリ受信部と、
前記検索クエリに含まれる顔写真データに基づいて、当該顔写真データが示す顔に含まれる複数のパーツの特徴量である前記人相ベクトルを抽出する抽出部と、
を有し、
前記検索部は、前記抽出部が抽出した前記人相ベクトルに基づいて、前記人相ベクトルに類似する顔写真データを予め格納した顔写真データベースから検索する
出力装置。
(付記17)
付記12から付記16までのうちのいずれか1項に記載の出力装置であって、
検索対象を特定するための情報を含む検索クエリを受信するクエリ受信部を有し、
前記検索クエリには前記人相ベクトルに含まれる各特徴量のうち少なくとも一部の特徴量の値が含まれており、
前記検索部は、前記検索クエリに含まれる特徴量の値を用いて検索する
出力装置。
(付記18)
情報処理装置が、
人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索し、
検索した複数の顔写真データを合成し、
合成した顔写真データを出力する
出力方法。
(付記19)
付記18に記載の出力方法であって、
検索の際、人物の顔に含まれる複数のパーツそれぞれの特徴量を含む多次元ベクトルである人相ベクトルを含む前記人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索する
出力方法。
(付記20)
情報処理装置に、
人物の目の間の距離である目間距離に基づいて算出され、人物の顔に含まれる複数のパーツの特徴量を示す人相情報に基づいて、前記人相情報に類似する顔写真データを予め格納した顔写真データベースから検索し、
検索した複数の顔写真データを合成し、
合成した顔写真データを出力する
処理を実現させるためのプログラム。
【0079】
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【0080】
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
【符号の説明】
【0081】
100 検索装置
110 画面表示部
120 操作入力部
130 通信I/F部
140 記憶部
141 顔写真データベース
142 検索結果情報
143 プログラム
150 演算処理部
151 クエリ受信部
152 人相ベクトル抽出部
153 検索部
154 出力部
200 出力装置
240 記憶部
241 合成顔画像データ
242 プログラム
250 演算処理部
251 合成部
300 検索装置
301 CPU
302 ROM
303 RAM
304 プログラム群
305 記憶装置
306 ドライブ装置
307 通信インタフェース
308 入出力インタフェース
309 バス
310 記録媒体
311 通信ネットワーク
321 クエリ受信部
322 検索部
323 出力部
324 合成部

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13