特許 6768101 データベース統合装置、データベース統合方法、データベース統合プログラム、及びデータ補完装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6768101

(24)【登録日】2020年9月24日

(45)【発行日】2020年10月14日

(54)【発明の名称】データベース統合装置、データベース統合方法、データベース統合プログラム、及びデータ補完装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20201005BHJP

   G06T 7/00 20170101ALI20201005BHJP

【ＦＩ】

   G06N20/00 130

   G06T7/00 350B

【請求項の数】8

【全頁数】21

(21)【出願番号】特願2019-36101(P2019-36101)

(22)【出願日】2019年2月28日

(65)【公開番号】特開2020-140493(P2020-140493A)

(43)【公開日】2020年9月3日

【審査請求日】2019年7月26日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】中村 友彦

【審査官】 塚田 肇

(56)【参考文献】

【文献】 特開２００８−２３４３５２（ＪＰ，Ａ）

【文献】 特開２０００−４００７９（ＪＰ，Ａ）

【文献】 特開２０１９−１９１９７４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ２０／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

所定の対象物の複数のサンプルについて前記サンプルごとに、前記対象物の部位群について部位ごとにその種別と位置とを対応付けて表す部位データからなるサンプルデータを格納するデータベースに関し、第１部位群についての前記サンプルデータを格納した第１データベースと、前記第１部位群との共通部位と非共通部位との両方からなる第２部位群についての前記サンプルデータを格納した第２データベースとを統合するデータベース統合装置であって、
前記第１データベースの前記サンプルデータに、前記非共通部位について前記位置を不定とした部位データを加え、前記第２部位群を包含する部位群の前記部位データからなる拡張サンプルデータを生成する拡張データ生成手段と、
前記第２データベースの前記サンプルデータから１つ以上の前記非共通部位の前記部位データの前記位置を欠落させて劣化サンプルデータを生成する劣化データ生成手段と、
前記劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元の前記サンプルデータを出力の目標値とする学習によって補完器を生成する補完器学習手段と、
前記拡張サンプルデータを前記補完器に入力して、当該拡張サンプルデータにおいて不定である前記位置を補完する部位補完手段と、
を備えたことを特徴とするデータベース統合装置。

【請求項2】

所定の対象物の複数のサンプルについて前記サンプルごとに、前記対象物の部位群について部位ごとにその種別と位置とを対応付けて表す部位データからなるサンプルデータを格納する複数のデータベースであり、前記各データベースの前記部位群が少なくとも１つの他の前記データベースとの共通部位を含み、且つ少なくとも１つの前記データベースの前記部位群が少なくとも１つの他の前記データベースとの非共通部位を含む前記複数のデータベースを統合するデータベース統合装置であって、
前記各データベースの前記サンプルデータに、前記複数のデータベースの前記非共通部位の和集合のうち当該データベースの前記部位群以外の前記部位について前記位置を不定とした部位データを加え、拡張サンプルデータを生成する拡張データ生成手段と、
前記各データベースの前記サンプルデータから、前記和集合に含まれている１つ以上の前記部位の前記位置を欠落させ、劣化サンプルデータを生成する劣化データ生成手段と、
前記劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元の前記サンプルデータから生成された前記拡張サンプルデータを出力の目標値とする学習によって補完器を生成する補完器学習手段と、
前記拡張サンプルデータを前記補完器に入力して、当該拡張サンプルデータにおいて不定である前記位置を補完する部位補完手段と、
を備えたことを特徴とするデータベース統合装置。

【請求項3】

前記劣化データ生成手段は、前記各データベースの前記サンプルデータから、前記和集合以外のものも含めた１つ以上の前記部位の前記位置を欠落させ、劣化サンプルデータを生成すること、
を特徴とする請求項２に記載のデータベース統合装置。

【請求項4】

所定の対象物の複数のサンプルについて前記対象物の部位群について部位ごとにその種別と位置とを対応付けて表す部位データを含んだサンプルデータを集めたデータ集合であり、前記各サンプルデータの前記部位群が少なくとも１つの他の前記サンプルデータとの共通部位を含み、且つ少なくとも１つの前記サンプルデータの前記部位群が少なくとも１つの他の前記サンプルデータとの非共通部位を含む前記データ集合を用い、前記サンプルデータから当該サンプルデータに含まれている１つ以上の前記非共通部位の前記位置を欠落させた劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元の前記サンプルデータを出力の目標値とする学習によって生成された補完器を記憶している補完器記憶手段と、
新たに入力された前記対象物のサンプルデータに、前記非共通部位のうち当該サンプルデータに含まれていない前記部位について前記位置を不定とした部位データを加え、拡張サンプルデータを生成する拡張データ生成手段と、
前記拡張サンプルデータを前記補完器に入力して、当該拡張サンプルデータにおいて不定である前記位置を補完し、補完されたサンプルデータを生成する部位補完手段と、
を備えたことを特徴とするデータ補完装置。

【請求項5】

所定の対象物の複数のサンプルについて前記サンプルごとに、前記対象物の部位群について部位ごとにその種別と位置とを対応付けて表す部位データからなるサンプルデータを格納するデータベースに関し、第１部位群についての前記サンプルデータを格納した第１データベースと、前記第１部位群との共通部位と非共通部位との両方からなる第２部位群についての前記サンプルデータを格納した第２データベースとを統合するデータベース統合方法であって、
前記第１データベースの前記サンプルデータに、前記非共通部位について前記位置を不定とした部位データを加え、前記第２部位群を包含する部位群の前記部位データからなる拡張サンプルデータを生成する拡張データ生成ステップと、
前記第２データベースの前記サンプルデータから１つ以上の前記非共通部位の前記部位データの前記位置を欠落させて劣化サンプルデータを生成する劣化データ生成ステップと、
前記劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元の前記サンプルデータを出力の目標値とする学習によって予め生成された補完器を用意するステップと、
前記拡張サンプルデータを前記補完器に入力して、当該拡張サンプルデータにおいて不定である前記位置を補完する部位補完ステップと、
を備えたことを特徴とするデータベース統合方法。

【請求項6】

所定の対象物の複数のサンプルについて前記サンプルごとに、前記対象物の部位群について部位ごとにその種別と位置とを対応付けて表す部位データからなるサンプルデータを格納する複数のデータベースであり、前記各データベースの前記部位群が少なくとも１つの他の前記データベースとの共通部位を含み、且つ少なくとも１つの前記データベースの前記部位群が少なくとも１つの他の前記データベースとの非共通部位を含む前記複数のデータベースを統合するデータベース統合方法であって、
前記各データベースの前記サンプルデータに、前記複数のデータベースの前記非共通部位の和集合のうち当該データベースに含まれていない前記部位について前記位置を不定とした部位データを加え、拡張サンプルデータを生成する拡張データ生成ステップと、
前記各データベースの前記サンプルデータから、前記和集合のうち当該データベースに含まれている１つ以上の前記部位の前記位置を欠落させ、劣化サンプルデータを生成する劣化データ生成手段と、
前記劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元の前記サンプルデータから生成された前記拡張サンプルデータを出力の目標値とする学習によって予め生成された補完器を用意するステップと、
前記拡張サンプルデータを前記補完器に入力して、当該拡張サンプルデータにおいて不定である前記位置を補完する部位補完ステップと、
を備えたことを特徴とするデータベース統合方法。

【請求項7】

所定の対象物の複数のサンプルについて前記サンプルごとに、前記対象物の部位群について部位ごとにその種別と位置とを対応付けて表す部位データからなるサンプルデータを格納するデータベースに関し、第１部位群についての前記サンプルデータを格納した第１データベースと、前記第１部位群との共通部位と非共通部位との両方からなる第２部位群についての前記サンプルデータを格納した第２データベースとを統合する処理をコンピュータに行わせるプログラムであって、
当該コンピュータを、
前記第１データベースの前記サンプルデータに、前記非共通部位について前記位置を不定とした部位データを加え、前記第２部位群を包含する部位群の前記部位データからなる拡張サンプルデータを生成する拡張データ生成手段、
前記第２データベースの前記サンプルデータから１つ以上の前記非共通部位の前記部位データの前記位置を欠落させて劣化サンプルデータを生成する劣化データ生成手段、
前記劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元の前記サンプルデータを出力の目標値とする学習によって補完器を生成する補完器学習手段、及び、
前記拡張サンプルデータを前記補完器に入力して、当該拡張サンプルデータにおいて不定である前記位置を補完する部位補完手段、
として機能させることを特徴とするデータベース統合プログラム。

【請求項8】

所定の対象物の複数のサンプルについて前記サンプルごとに、前記対象物の部位群について部位ごとにその種別と位置とを対応付けて表す部位データからなるサンプルデータを格納する複数のデータベースであり、前記各データベースの前記部位群が少なくとも１つの他の前記データベースとの共通部位を含み、且つ少なくとも１つの前記データベースの前記部位群が少なくとも１つの他の前記データベースとの非共通部位を含む前記複数のデータベースを統合する処理をコンピュータに行わせるプログラムであって、
当該コンピュータを、
前記各データベースの前記サンプルデータに、前記複数のデータベースの前記非共通部位の和集合のうち当該データベースに含まれていない前記部位について前記位置を不定とした部位データを加え、拡張サンプルデータを生成する拡張データ生成手段、
前記各データベースの前記サンプルデータから、前記和集合のうち当該データベースに含まれている１つ以上の前記部位の前記位置を欠落させ、劣化サンプルデータを生成する劣化データ生成手段、
前記劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元の前記サンプルデータから生成された前記拡張サンプルデータを出力の目標値とする学習によって補完器を生成する補完器学習手段、及び、
前記拡張サンプルデータを前記補完器に入力して、当該拡張サンプルデータにおいて不定である前記位置を補完する部位補完手段、
として機能させることを特徴とするデータベース統合プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、所定の対象物の部位についての複数のデータベースを統合する技術および所定の対象物の部位についてのデータ群において不足している部位のデータを補完する技術に関する。

【背景技術】

【0002】

撮影画像中に現れている人の姿勢を深層学習に基づいて認識する装置を製作するなど、計測データ中に現れている所定の対象物の複数の部位を学習に基づいて認識する装置を製作する場合、学習用に多数の計測データとそれらに対するアノテーションが必要である。アノテーションは学習用の計測データに対する正解データであり、部位についてのアノテーションは部位の少なくとも種別と位置とを含むデータである。アノテーションは、手作業によって作成され、作成に多大な労力を要する。

【0003】

このような計測データとアノテーションとを含んだデータベースは複数存在し、それぞれのデータベースにおけるアノテーションは一定の共通性を有しながらもそれぞれの基準で作成される。すなわち各データベースは他のデータベースと共通する部位（共通部位）についてのアノテーションを有しつつ、共通しない部位（非共通部位）についてのアノテーションを有する。

【0004】

例えば、非特許文献１によればMPII Human Poseと称される姿勢データベースには、肩、肘、臀部、頭頂、首、胸郭などの部位についての人手によって作成されたアノテーションが含まれている。

【0005】

また、例えば、MS COCOと称されるデータベース群に含まれる姿勢データベース（以下、MS COCOと称する）が非特許文献２に紹介されている。MS COCOにはMPII Human Poseと共通して肩、肘、臀部などについてのアノテーションが含まれているが、MPII Human Poseと共通しない目、鼻、耳などについてのアノテーションも含まれている。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】“2D Human Pose Estimation: New Benchmark and State of the Art Analysis”, M. Andriluka, L. Pishchulin, P. Gehler and B. Schiele (2014 IEEE Conference on Computer Vision and Pattern Recognition, pp.3686-3693)

【非特許文献2】“Microsoft coco: Common objects in context”, T. Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollar and C. L. Zitnick (2014 European Conference on Computer Vision, pp. 740-755)

【発明の概要】

【発明が解決しようとする課題】

【0007】

このように、それぞれの基準で作成された複数のデータベースを利用して学習用のデータを増やそうとした場合、非共通部位についての新たなアノテーションのために多大な労力を要していた。

【0008】

また、新たな計測データと当該計測データに対するアノテーションが非共通部位を有さないデータベースの基準にて作成され、それを学習用のデータとして追加利用する場合も、非共通部位についての新たなアノテーションのために多大な労力を要していた。

【0009】

また、上記問題は、二次元計測データ（画像）のみならず三次元計測データにおいても生じ、同様に二次元計測データの時系列、三次元計測データの時系列においても生じる。

【0010】

本発明は、上記問題を鑑みてなされたものであり、共通しない部位のデータを含んだ複数のデータベースを容易に統合できるデータベース統合装置、データベース統合方法およびデータベース統合プログラムを提供することを目的とする。

【0011】

また、本発明は、複数のデータベースのいずれかの作成基準にて作成された対象物データに対して当該作成基準にて作成されず他のデータベースの作成基準で作成される部位のデータを容易に補完できるデータ補完装置を提供することを別の目的とする。

【課題を解決するための手段】

【0012】

（１）本発明に係るデータベース統合装置は、所定の対象物の複数のサンプルについて前記サンプルごとに、前記対象物の部位群について部位ごとにその種別と位置とを対応付けて表す部位データからなるサンプルデータを格納するデータベースに関し、第１部位群についての前記サンプルデータを格納した第１データベースと、前記第１部位群との共通部位と非共通部位との両方からなる第２部位群についての前記サンプルデータを格納した第２データベースとを統合する装置であって、前記第１データベースの前記サンプルデータに、前記非共通部位について前記位置を不定とした部位データを加え、前記第２部位群を包含する部位群の前記部位データからなる拡張サンプルデータを生成する拡張データ生成手段と、前記第２データベースの前記サンプルデータから１つ以上の前記非共通部位の前記部位データの前記位置を欠落させて劣化サンプルデータを生成する劣化データ生成手段と、前記劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元の前記サンプルデータを出力の目標値とする学習によって補完器を生成する補完器学習手段と、前記拡張サンプルデータを前記補完器に入力して、当該拡張サンプルデータにおいて不定である前記位置を補完する部位補完手段と、を備える。

【0013】

（２）他の本発明に係るデータベース統合装置は、所定の対象物の複数のサンプルについて前記サンプルごとに、前記対象物の部位群について部位ごとにその種別と位置とを対応付けて表す部位データからなるサンプルデータを格納する複数のデータベースであり、前記各データベースの前記部位群が少なくとも１つの他の前記データベースとの共通部位を含み、且つ少なくとも１つの前記データベースの前記部位群が少なくとも１つの他の前記データベースとの非共通部位を含む前記複数のデータベースを統合する装置であって、前記各データベースの前記サンプルデータに、前記複数のデータベースの前記非共通部位の和集合のうち当該データベースの前記部位群以外の前記部位について前記位置を不定とした部位データを加え、拡張サンプルデータを生成する拡張データ生成手段と、前記各データベースの前記サンプルデータから、前記和集合に含まれている１つ以上の前記部位の前記位置を欠落させ、劣化サンプルデータを生成する劣化データ生成手段と、前記劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元の前記サンプルデータから生成された前記拡張サンプルデータを出力の目標値とする学習によって補完器を生成する補完器学習手段と、前記拡張サンプルデータを前記補完器に入力して、当該拡張サンプルデータにおいて不定である前記位置を補完する部位補完手段と、を備える。

【0014】

（３）上記（２）に記載のデータベース統合装置において、前記劣化データ生成手段は、前記各データベースの前記サンプルデータから、前記和集合以外のものも含めた１つ以上の前記部位の前記位置を欠落させ、劣化サンプルデータを生成する構成とすることができる。

【0015】

（４）本発明に係るデータ補完装置は、所定の対象物の複数のサンプルについて前記対象物の部位群について部位ごとにその種別と位置とを対応付けて表す部位データを含んだサンプルデータを集めたデータ集合であり、前記各サンプルデータの前記部位群が少なくとも１つの他の前記サンプルデータとの共通部位を含み、且つ少なくとも１つの前記サンプルデータの前記部位群が少なくとも１つの他の前記サンプルデータとの非共通部位を含む前記データ集合を用い、前記サンプルデータから当該サンプルデータに含まれている１つ以上の前記非共通部位の前記位置を欠落させた劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元の前記サンプルデータを出力の目標値とする学習によって生成された補完器を記憶している補完器記憶手段と、新たに入力された前記対象物のサンプルデータに、前記非共通部位のうち当該サンプルデータに含まれていない前記部位について前記位置を不定とした部位データを加え、拡張サンプルデータを生成する拡張データ生成手段と、前記拡張サンプルデータを前記補完器に入力して、当該拡張サンプルデータにおいて不定である前記位置を補完し、補完されたサンプルデータを生成する部位補完手段と、を備える。

【0016】

（５）本発明に係るデータベース統合方法は、所定の対象物の複数のサンプルについて前記サンプルごとに、前記対象物の部位群について部位ごとにその種別と位置とを対応付けて表す部位データからなるサンプルデータを格納するデータベースに関し、第１部位群についての前記サンプルデータを格納した第１データベースと、前記第１部位群との共通部位と非共通部位との両方からなる第２部位群についての前記サンプルデータを格納した第２データベースとを統合する方法であって、前記第１データベースの前記サンプルデータに、前記非共通部位について前記位置を不定とした部位データを加え、前記第２部位群を包含する部位群の前記部位データからなる拡張サンプルデータを生成する拡張データ生成ステップと、前記第２データベースの前記サンプルデータから１つ以上の前記非共通部位の前記部位データの前記位置を欠落させて劣化サンプルデータを生成する劣化データ生成ステップと、前記劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元の前記サンプルデータを出力の目標値とする学習によって予め生成された補完器を用意するステップと、前記拡張サンプルデータを前記補完器に入力して、当該拡張サンプルデータにおいて不定である前記位置を補完する部位補完ステップと、を備える。

【0017】

（６）他の本発明に係るデータベース統合方法は、所定の対象物の複数のサンプルについて前記サンプルごとに、前記対象物の部位群について部位ごとにその種別と位置とを対応付けて表す部位データからなるサンプルデータを格納する複数のデータベースであり、前記各データベースの前記部位群が少なくとも１つの他の前記データベースとの共通部位を含み、且つ少なくとも１つの前記データベースの前記部位群が少なくとも１つの他の前記データベースとの非共通部位を含む前記複数のデータベースを統合する方法であって、前記各データベースの前記サンプルデータに、前記複数のデータベースの前記非共通部位の和集合のうち当該データベースに含まれていない前記部位について前記位置を不定とした部位データを加え、拡張サンプルデータを生成する拡張データ生成ステップと、前記各データベースの前記サンプルデータから、前記和集合のうち当該データベースに含まれている１つ以上の前記部位の前記位置を欠落させ、劣化サンプルデータを生成する劣化データ生成手段と、前記劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元の前記サンプルデータから生成された前記拡張サンプルデータを出力の目標値とする学習によって予め生成された補完器を用意するステップと、前記拡張サンプルデータを前記補完器に入力して、当該拡張サンプルデータにおいて不定である前記位置を補完する部位補完ステップと、を備える。

【0018】

（７）本発明に係るデータベース統合プログラムは、所定の対象物の複数のサンプルについて前記サンプルごとに、前記対象物の部位群について部位ごとにその種別と位置とを対応付けて表す部位データからなるサンプルデータを格納するデータベースに関し、第１部位群についての前記サンプルデータを格納した第１データベースと、前記第１部位群との共通部位と非共通部位との両方からなる第２部位群についての前記サンプルデータを格納した第２データベースとを統合する処理をコンピュータに行わせるプログラムであって、当該コンピュータを、前記第１データベースの前記サンプルデータに、前記非共通部位について前記位置を不定とした部位データを加え、前記第２部位群を包含する部位群の前記部位データからなる拡張サンプルデータを生成する拡張データ生成手段、前記第２データベースの前記サンプルデータから１つ以上の前記非共通部位の前記部位データの前記位置を欠落させて劣化サンプルデータを生成する劣化データ生成手段、前記劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元の前記サンプルデータを出力の目標値とする学習によって補完器を生成する補完器学習手段、及び、前記拡張サンプルデータを前記補完器に入力して、当該拡張サンプルデータにおいて不定である前記位置を補完する部位補完手段、として機能させる。

【0019】

（８）他の本発明に係るデータベース統合プログラムは、所定の対象物の複数のサンプルについて前記サンプルごとに、前記対象物の部位群について部位ごとにその種別と位置とを対応付けて表す部位データからなるサンプルデータを格納する複数のデータベースであり、前記各データベースの前記部位群が少なくとも１つの他の前記データベースとの共通部位を含み、且つ少なくとも１つの前記データベースの前記部位群が少なくとも１つの他の前記データベースとの非共通部位を含む前記複数のデータベースを統合する処理をコンピュータに行わせるプログラムであって、当該コンピュータを、前記各データベースの前記サンプルデータに、前記複数のデータベースの前記非共通部位の和集合のうち当該データベースに含まれていない前記部位について前記位置を不定とした部位データを加え、拡張サンプルデータを生成する拡張データ生成手段、前記各データベースの前記サンプルデータから、前記和集合のうち当該データベースに含まれている１つ以上の前記部位の前記位置を欠落させ、劣化サンプルデータを生成する劣化データ生成手段、前記劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元の前記サンプルデータを出力の目標値とする学習によって補完器を生成する補完器学習手段、及び、前記拡張サンプルデータを前記補完器に入力して、当該拡張サンプルデータにおいて不定である前記位置を補完する部位補完手段、として機能させる。

【発明の効果】

【0020】

本発明のデータベース統合装置、データベース統合方法およびデータベース統合プログラムによれば、複数のデータベースの間で共通部位のデータを利用して非共通部位のデータを補完するので、共通しない部位のデータを含んだ複数のデータベースを容易に統合することが可能となる。

【0021】

また、本発明のデータ補完装置によれば、複数のサンプルデータの間で共通部位のデータを利用して非共通部位のデータを補完する補完器を用い、複数のデータベースのいずれかの作成基準にて作成された対象物データに対して当該作成基準にて作成されず他のデータベースの作成基準で作成される部位のデータを容易に補完することが可能となる。

【図面の簡単な説明】

【0022】

【図1】本発明の実施形態に係るデータベース統合装置の概略の構成を示すブロック図である。

【図2】本発明の実施形態に係るデータベース統合装置の概略の機能ブロック図である。

【図3】本発明の実施形態に係るデータベース統合装置の第１ＤＢ、第２ＤＢに格納される付与データの例を示す模式図である。

【図4】図３に示す第１ＤＢ、第２ＤＢの例に対し、拡張データ生成手段が生成する第１拡張ＤＢ、第２拡張ＤＢの例を示す模式図である。

【図5】付与データを構成するキーポイントのトポロジーを図化した模式図である。

【図6】本発明の実施形態に係るデータベース統合装置の動作に関する概略のフロー図である。

【図7】本発明の実施形態に係るデータ補完装置の構成を示す概略のブロック図である。

【図8】本発明の実施形態に係るデータ補完装置の動作に関する概略のフロー図である。

【発明を実施するための形態】

【0023】

［第１の実施形態］
以下、本発明の実施の形態（以下実施形態という）であるデータベース統合装置１について、図面に基づいて説明する。データベース統合装置１として、共通の対象物に関するデータを格納する２つのデータベースを統合するデータベース統合装置の例を説明する。具体的には、データベース統合装置１は、対象物の複数のサンプルについてサンプルごとに部位の種別と位置とを対応付けて表す部位データを格納するデータベースに関し、第１部位群の部位データを格納した第１データベースと、第１部位群との共通部位と非共通部位との両方からなる第２部位群の部位データを格納した第２データベースとを統合する。本実施形態では、対象物は人とし、部位群は頭から手・足までの全身の姿勢を表す。また、各部位の情報はその代表点で表され、代表点をキーポイントと称する。キーポイントの情報は、少なくとも対応する部位の種別と位置の組み合わせで表され、この組み合わせを含むデータを部位データと称する。

【0024】

データベース統合装置１は、統合対象の２つのデータベースそれぞれに格納される部位の種別に差異があっても、それらデータベースを統合できる点に特徴がある。よって、ここでは当該差異があることを前提として説明する。例えば、第１部位群に含まれるが第２部位群に含まれないものを非共通部位群ａ、第２部位群に含まれるが第１部位群に含まれないものを非共通部位群ｂ、第１部位群と第２部位群に共通するものを共通部位群ｃとすると、非共通部位群ａは０種類以上、共通部位群ｃは１種類以上、非共通部位群ｂは１種類以上であるとする。そして、データベース統合装置１は統合処理として、第１データベースのサンプルに対して非共通部位群ｂの部位データを補完し、第２データベースのサンプルに対して非共通部位群ａの部位データを補完して、両データベースに属していたサンプルが部位群ａ，ｂ，ｃの部位データを有した統合データベースを生成する。

【0025】

なお、非共通部位群ａは第１部位群に含まれるが第２部位群に含まれないものの全てではなく一部であってもよいし、非共通部位群ｂは第２部位群に含まれるが第１部位群に含まれないものの全てではなく一部であってもよいし、共通部位群ｃは第１部位群と第２部位群に共通するものの全てではなく一部であってもよい。

【0026】

また、本実施形態では、２つのデータベースの統合の例を説明するが、３つ以上のデータベースの統合も同様に可能である。つまり、複数のデータベースが、各データベースの部位群が少なくとも１つの他のデータベースとの共通部位を含み、且つ少なくとも１つのデータベースの部位群が少なくとも１つの他のデータベースとの非共通部位を含む関係である場合に、本実施形態の統合処理を拡張して適用できる。

【0027】

また、本実施形態では人のキーポイントを対象とする例を説明するが、本発明は車両や椅子などの人以外の物体を対象物体としてもよい。

【0028】

［データベース統合装置１の構成］
図１はデータベース統合装置１の概略の構成を示すブロック図である。データベース統合装置１は通信部２、記憶部３および処理部４からなる。

【0029】

通信部２は通信回路であり、その一端が処理部４に接続され、外部装置と処理部４との間の通信を担う。

【0030】

記憶部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。例えば、記憶部は第１データベース（第１ＤＢ）１１、第２データベース（第２ＤＢ）１２、第１拡張データベース（第１拡張ＤＢ）１４，第２拡張データベース（第２拡張ＤＢ）１５、統合データベース（統合ＤＢ）１９や、補完器の情報を記憶する。記憶部３は処理部４と接続されて、処理部４との間でこれらの情報等を入出力する。

【0031】

処理部４は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）、ＧＰＵ(Graphics Processing Unit)等の演算装置で構成される。処理部４は記憶部３からプログラムを読み出して実行することにより各種の処理手段・制御手段として動作し、必要に応じて、各種データを記憶部３から読み出し、生成したデータを記憶部３に記憶させる。例えば、処理部４は学習により補完器を生成する。また、処理部４は、拡張データ生成手段１３、補完器学習部１６、キーポイント補完手段１８として機能する。

【0032】

図２はデータベース統合装置１の概略の機能ブロック図である。データベース統合装置１は、第１ＤＢ１１、第２ＤＢ１２、拡張データ生成手段１３、第１拡張ＤＢ１４、第２拡張ＤＢ１５、補完器学習部１６、補完器記憶手段１７、キーポイント補完手段１８、統合ＤＢ１９を含んで構成される。

【0033】

第１ＤＢ１１、第２ＤＢ１２はそれぞれ統合処理の対象とされるデータベースである。

【0034】

第１ＤＢ１１、第２ＤＢ１２に格納されているデータは、対象物についての部位データであり、典型的には、人の姿勢を認識する装置の学習用画像に撮影されている人について予め付与された部位データである。以下、予め付与された部位データを付与データと称する。ちなみに、学習用画像は、カメラで実際に撮影された実画像でなくてもよく、例えば、コンピュータグラフィックス（ＣＧ）などで作られた画像であってもよい。付与データは、各サンプルのキーポイントそれぞれについての種別および位置の情報を含む。また、位置が不明なキーポイントについてはその旨を示す情報とすることができる。つまり、付与データにより、各サンプルの複数のキーポイントについてその種別ごとに当該キーポイントの位置が付与されたか否かと付与された位置がわかる。付与データは、人手によって作成されてもよいし、機械が抽出したものを人が確認し必要に応じて修正することによって作成されてもよいし、それらが混在していてもよい。

【0035】

また、対象物の部位群の部位データの１まとまりずつをサンプルデータ、各サンプルデータの対象物をサンプルと称する。別人物は別サンプルであり、同一人物であっても撮影されている学習用画像が異なれば別サンプルである。各サンプルには互いを識別するためのサンプルＩＤが付与され、第１ＤＢ１１、第２ＤＢ１２は、付与データをサンプルＩＤと対応付けて記憶している。

【0036】

以上のように、第１ＤＢ１１、第２ＤＢ１２は、所定の対象物の複数のサンプルについてサンプルごとに部位の種別と位置とを対応付けて表す部位データ（付与データ）からなるサンプルデータを格納したデータベースである。そのうちの第１ＤＢ１１は、第１部位群についてのサンプルデータを格納したデータベースである。また、第２ＤＢ１２は、第１部位群との共通部位と非共通部位との両方からなる第２部位群についてのサンプルデータを格納した第２データベースである。

【0037】

図３は、第１ＤＢ１１、第２ＤＢ１２に格納される付与データの例を示す模式図であり、図３（ａ）は第１ＤＢ１１の例を、また図３（ｂ）は第２ＤＢ１２の例をそれぞれ示しており、各例では付与データを構成するキーポイントのトポロジー２１ａ，２１ｂを左側に図化して示しており、右側に付与データをテーブル２２ａ，２２ｂの形式で表現している。当該テーブルの各行が１つの付与データのレコードを表す。各レコードにおいては、先頭（左側）にサンプルＩＤが格納され、続いて、キーポイントの種別ごとに当該キーポイントの情報を表す３つの値の組がキーポイントの種別に対応するインデックスの昇順に格納される。

【0038】

上記３つの値の組は、サンプルＩＤがｎの種別ｉのキーポイントについて、そのｘ座標ｘ_ｎ，ｉ、ｙ座標ｙ_ｎ，ｉ、および当該キーポイントが欠落していないかを表すフラグｖ_ｎ，ｉである。各組において３つの値はｘ_ｎ，ｉ、ｙ_ｎ，ｉ、ｖ_ｎ，ｉの順に格納されている。フラグに１が設定されている付与データが表すキーポイントは欠落しておらずその座標値は有効である。一方、フラグに０が設定されている付与データが表すキーポイントは欠落しており位置が不定である。

【0039】

第１ＤＢ１１はトポロジー２１ａに示す１６個のキーポイント（ａ１〜ａ４，ｃ１〜ｃ１２）からなる付与データを格納し、第２ＤＢ１２はトポロジー２１ｂに示す１３個のキーポイント（ｂ１，ｃ１〜ｃ１２）からなる付与データを格納する。ここで、キーポイントａ１〜ａ４が上述の非共通部位群ａ、キーポイントｂ１が非共通部位群ｂ、キーポイントｃ１〜ｃ１２が共通部位群ｃである。ちなみに、キーポイントａ１〜ａ４およびｂ１は頭部および首に位置する。

【0040】

拡張データ生成手段１３は、各データベースのサンプルデータに、複数のデータベースの非共通部位の和集合のうち当該サンプルデータに含まれていない部位について位置を不定とした部位データを加え、拡張されたサンプルデータ（拡張サンプルデータ）を生成する。なお、拡張サンプルデータの集合を拡張データ、拡張サンプルデータの集合を格納したものを拡張データベースと呼ぶことにする。ちなみに、非共通部位は或る２つのデータベース間で相違する部位であり、データベースが３つ以上の場合、当該部位は他のデータベースとの間では共通部位となり得る。つまり、非共通部位の和集合は、全データベースで共通する部位群を除いた部位群である。

【0041】

本実施形態では拡張データ生成手段１３は、第１ＤＢ１１、第２ＤＢ１２の付与データＡＩ，ＢＩを統合後のキーポイント種別のものに変換した拡張データＡII，ＢIIを出力する。本実施形態においては、キーポイントａ１〜ａ４，ｂ１，ｃ１〜ｃ１２の１７個を１つの部位群に統合することとし、よって、拡張サンプルデータはそれら１７個の部位データを含む。

【0042】

第１拡張ＤＢ１４は、第１ＤＢ１１から拡張データ生成手段１３により生成される拡張データＡIIを格納し、同様に、第２拡張ＤＢ１５は、第２ＤＢ１２から生成される拡張データＢIIを格納する。

【0043】

図４は、図３に示す第１ＤＢ１１、第２ＤＢ１２の例に対し、拡張データ生成手段１３が生成する第１拡張ＤＢ１４、第２拡張ＤＢ１５の例を示す模式図である。図４は図３と同様のテーブル形式で各データベースを表現しており、図４（ａ）は第１拡張ＤＢ１４の例を、また図４（ｂ）は第２拡張ＤＢ１５の例を示している。

【0044】

図４に示す例を用いて、拡張データ生成手段１３の動作を説明する。第１ＤＢ１１の付与データＡＩを拡張データＡIIに変換するには、非共通部位群ｂ（キーポイントｂ１）について位置を不定とした部位データを付加する。具体的には、例えば、各レコードにて、キーポイントａ４の後ろにキーポイントｂ１のフィールドを追加し、座標およびフラグの３つの値に０を格納する。同様に、第２ＤＢ１２の付与データＢＩを拡張データＢIIに変換するには、部位群ａ（キーポイントａ１〜ａ４）について位置を不定とした部位データを付加する。具体的には、例えば、各レコードにて、キーポイントｂ１の前にキーポイントａ１〜ａ４のフィールドを追加し、各フィールドにてフラグ及び座標の３つの値に０を格納する。

【0045】

図５は付与データを構成するキーポイントのトポロジーを図化した模式図であり、キーポイントの位置を表す白丸および黒丸と、キーポイント間の連結関係を表す線分にて人の姿勢が図化されている。図５（ａ），（ｂ）はそれぞれ第１ＤＢ１１、第２ＤＢ１２について拡張データ生成手段１３によるキーポイントの付加前と付加後を図示しており、具体的には、既に述べたようにトポロジー２１ａは第１ＤＢ１１の付与データＡＩ、トポロジー２１ｂは第２ＤＢ１２の付与データＢＩである。また、トポロジー３１ａは付与データＡＩに対して拡張データ生成手段１３により生成された拡張データＡIIであり、黒丸は付加されたキーポイントｂ１を表している。同様に、トポロジー３１ｂは付与データＢＩに対する拡張データＢIIであり、黒丸は付加されたキーポイントａ１〜ａ４を表している。

【0046】

補完器学習部１６は、劣化データ生成手段１６１および補完器学習手段１６２を含む。

【0047】

劣化データ生成手段１６１は複数のデータベースそれぞれのサンプルデータから、当該複数のデータベースの非共通部位の和集合のうち当該サンプルデータに含まれている１つ以上の部位の位置を欠落させ、劣化サンプルデータを生成する。例えば、劣化サンプルデータとして、第１拡張ＤＢ１４の拡張サンプルデータに含まれる部位データのうちキーポイントａ１〜ａ４の１つ以上を欠落させた劣化サンプルデータ、および第２拡張ＤＢ１５の拡張サンプルデータに含まれる部位データのうちキーポイントｂ１を欠落させた劣化サンプルデータが生成される。

【0048】

また、各データベースが自身の付与データにおける欠落（例えば、学習用画像に写っていない部位についての作成されなかった部位データ）を補完するために、劣化データ生成手段１６１は、各データベースのサンプルデータから、１以上の共通部位の位置を欠落させた劣化サンプルデータをさらに生成してもよい。つまり、第１ＤＢ１１、第２ＤＢ１２の付与データからキーポイントｃ１〜ｃ１２の１つ以上を欠落させた劣化サンプルデータを生成することができる。

【0049】

なお、３つ以上のデータベースの統合に適用する場合、この処理は次のようになる。すなわち、劣化データ生成手段１６１は、複数のデータベースについて、当該データベースのサンプルデータから、上述の非共通部位の和集合以外のものも含めた１つ以上の部位の位置を欠落させ、劣化サンプルデータを生成してもよい。

【0050】

本実施形態では、劣化データ生成手段１６１は、第１拡張ＤＢ１４、第２拡張ＤＢ１５の拡張データを用いて劣化データを生成する。なお、劣化サンプルデータの集合を劣化データと呼ぶことにする。具体的には、第１拡張ＤＢ１４から読み出した拡張データＡIIおよび第２拡張ＤＢ１５から読み出した拡張データＢIIのキーポイントのうち１つまたは複数を欠落させて劣化データを作成する。

【0051】

例えば、劣化データ生成手段１６１は、欠落させるサンプルおよびキーポイントをランダムに或いは規則的に選択し、選択したサンプルの、選択したキーポイントに対応する部位データのフラグを０に置換し、位置を（０，０）に置換して劣化サンプルデータを作成する。

【0052】

ただし、劣化データ生成手段１６１は、フラグが１であるキーポイントを予め定めた必須個数以上残す。すなわち、劣化データ生成手段１６１は、第１拡張ＤＢ１４および第２拡張ＤＢ１５から、必須個数を超えるキーポイントの位置を付与された拡張サンプルデータを読み出し、当該拡張サンプルデータから１個以上の位置を欠落させて、必須個数以上の位置を含む劣化サンプルデータを生成する。一方、拡張サンプルデータのうち、フラグが１のキーポイントが必須個数以下であるものは補完器の学習に用いない。本実施形態では必須個数は１個とする。

【0053】

なお、本実施形態では、拡張データに含まれるキーポイントの位置は学習画像上の相対位置で表されているため、劣化データ生成手段１６１は劣化データを生成する前に拡張データの位置情報に対して正規化を行う。例えば、正規化は、各拡張サンプルデータにおいて、フラグが１であるキーポイントに対して両肩に対応するキーポイントの中心を原点とした座標系に平行移動するといった方法で行うことができる。ちなみに、この場合、右肩および左肩のいずれかのフラグが０であるサンプルについては正規化されないことになるが、このように正規化されない拡張サンプルデータについては補完器学習部１６にて学習に用いないこととすればよい。

【0054】

また、本実施形態では、魚眼レンズ画像や全天球画像などに写っている人についても適切に補完できるように、ｘｙ座標が（０，０）の点を中心としてランダムな角度で拡張サンプルデータを回転させて拡張サンプルデータおよび劣化サンプルデータを増やし、補完器の学習に用いる。すなわち、劣化データ生成手段１６１は、正規化後の拡張データに対し回転処理を行ってキーポイントのｘｙ座標を変換してから劣化データを生成する。

【0055】

劣化データ生成手段１６１は、生成した劣化データを、第１拡張ＤＢ１４、第２拡張ＤＢ１５から読み出した拡張データと共に補完器学習手段１６２へ出力する。なお、回転して生成される劣化データについては、回転後の拡張データが共に補完器学習手段１６２へ出力される。

【0056】

補完器学習手段１６２は、劣化データ生成手段１６１から入力された劣化サンプルデータと拡張サンプルデータとのペアを用いて補完器を学習する。すなわち、補完器学習手段１６２は、劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元の拡張サンプルデータにおける各キーポイントの位置（ただし、フラグが０のキーポイントを除く）を出力の目標値とする学習によって補完器を生成する。ここでの学習とは、補完器のパラメータを求めることである。

【0057】

本実施形態においては、補完器を変分自己符号化器（variational autoencoder：ＶＡＥ）でモデル化する。ＶＡＥは線形変換処理、活性化関数等から構成され、ここでは、活性化関数としてＲｅＬＵ関数を用いる。本実施形態では、補完器学習手段１６２はＶＡＥを構成する各要素のパラメータについて誤差関数を最小化する学習を行う。誤差関数として、劣化サンプルデータを補完器に入力して得られたキーポイントの座標と、元の拡張サンプルデータのキーポイントの座標との二乗誤差などを用いる。このとき、拡張サンプルデータにおいてフラグが０であるキーポイントについては誤差関数に含めない。最小化には確率的最急降下法などを用いる。

【0058】

補完器記憶手段１７は、補完器学習手段１６２によって得られた補完器のパラメータを記憶する。また、補完器記憶手段１７には補完器として用いるＶＡＥの構造が格納される。

【0059】

キーポイント補完手段１８は、補完器記憶手段１７に格納されている学習済みの補完器を用いて、第１拡張ＤＢ１４、第２拡張ＤＢ１５から入力された拡張データに対して補完を行い、補完済みのデータ（補完済データ）を生成する。つまり、キーポイント補完手段１８は、第１ＤＢ１１、第２ＤＢ１２それぞれから生成された拡張サンプルデータを第１拡張ＤＢ１４、第２拡張ＤＢ１５から入力され、拡張サンプルデータにおける部位データの不定である位置を補完する部位補完手段である。キーポイント補完手段１８は、補完で得られたキーポイントの座標に、フラグとして１を付与して補完済データを作成し、サンプルＩＤと共に補完済データを統合ＤＢ１９へ出力する。

【0060】

ここで、拡張データをキーポイント補完手段１８に入力する前に、キーポイントの位置に関して補完器学習部１６への入力時と同様の正規化処理を行う。そして、キーポイント補完手段１８での補完処理で得られた位置に対して、補完前に正規化により平行移動した分を元に戻す処理を行って、補完済データのキーポイントの位置とする。なお、上述のように正規化できないサンプルが存在し得るが、当該サンプルについては補完前の拡張サンプルデータを補完済みのデータとしてそのまま出力することにする。

【0061】

なお、入力時に既にフラグが１であるキーポイントについては、本実施形態では補完済データにおける位置として、入力時の値を用いるが、これに代えて補完器の出力の座標を用いてもよい。

【0062】

例えば、図４（ａ）に示した拡張データＡIIをキーポイント補完手段１８に入力した場合には、キーポイントｂ１について座標が補完され、また、図４（ｂ）に示した拡張データＢIIをキーポイント補完手段１８に入力した場合には、キーポイントａ１〜ａ４について座標が補完される。つまり、図５のトポロジー３１ａ，３１ｂにて黒丸で示したキーポイントについて座標が付与される。

【0063】

また、補完器の学習に共通部位のキーポイントｃ１〜ｃ１２について欠落させた劣化データも用いているので、付与データにてキーポイントｃ１〜ｃ１２が付与されていないサンプルに対しても当該キーポイントの位置を補完することができる。

【0064】

以上のように、補完器の学習を、位置を不定とした非共通部位の部位データが付加された拡張サンプルデータに対して行う。これにより、補完器は非共通部位の位置と共通部位の位置の関係性を学習する。そのため、補完器は、共通部位の位置から非共通部位の位置を補完できるようになる。また、本実施形態では、共通部位だけでなく、共通部位の一部も欠落させて学習するので、共通部位の位置同士の関係性も同時に学習される。そのため、付与データにおいて欠落していた共通部位についても補完ができるようになる。

【0065】

統合ＤＢ１９はキーポイント補完手段１８から入力された補完済データをサンプルＩＤと共に格納する。

【0066】

このようにしてデータベース統合装置１により、互いに非共通部位のデータを有し得る複数のデータベースを、それぞれに不足している部位のデータを補完して統合することができる。

【0067】

［データベース統合装置１の動作］
図６はデータベース統合装置１の動作に関する概略のフロー図である。

【0068】

統合処理が開始されると、データベース統合装置１は拡張データ生成手段１３として動作し、第１ＤＢ１１、第２ＤＢ１２に格納されている付与データを読み出し（ステップＳ１００）、当該付与データに不足しているキーポイントの部位データを付加する（ステップＳ１０５）。これにより拡張データが生成され、拡張データ生成手段１３は、拡張データを第１拡張ＤＢ１４、第２拡張ＤＢ１５に格納する。

【0069】

データベース統合装置１は補完器学習部１６として機能する。補完器学習部１６は劣化データ生成手段１６１として動作し、第１拡張ＤＢ１４、第２拡張ＤＢ１５から読み出した拡張データに対し正規化処理を行い、また、回転処理を施した拡張データを生成する（ステップＳ１１０）。そして、劣化データ生成手段１６１は正規化後、回転処理後の拡張データのキーポイントの一部を欠落させて劣化データを作成する（ステップＳ１１５）。

【0070】

補完器学習部１６は補完器学習手段１６２として機能し、劣化データ生成手段１６１から入力される拡張データおよび劣化データを用いて補完器を学習して（ステップＳ１２０）、生成された補完器を補完器記憶手段１７に格納する（ステップＳ１２５）。

【0071】

データベース統合装置１は補完器を学習した後、キーポイント補完手段１８として動作する。キーポイント補完手段１８は、第１拡張ＤＢ１４、第２拡張ＤＢ１５から拡張データを読み出し、拡張データを補完器に入力してキーポイントを補完し（ステップＳ１３０）、生成した補完済データを統合ＤＢ１９内に格納する（ステップＳ１３５）。

【0072】

以上では、２つまたは３つ以上のデータベースから１つの補完器を生成して補完を行うことにより、これらのデータベースを統合する例を示した。別の例として、データベースのペアごとに２つずつの補完器を生成して補完を行うことにより、複数のデータベースを統合できることを以下に示す。

【0073】

例えば、上記第１データベースと上記第２データベースを統合する場合、まず、第１データベースに非共通部位群ｂの部位データを補完するための補完器ｈ２を第２データベースから生成して補完器ｈ２により第１データベースに対する補完を行う。なお、このときは第２データベースからの拡張サンプルデータ生成を省略してよい。

【0074】

具体的には、拡張データ生成手段１３は第１ＤＢ１１のサンプルデータに、非共通部位群ｂの部位について位置を不定とした部位データを加え、第２部位群を包含する部位群の部位データからなる拡張サンプルデータを生成して第１拡張ＤＢ１４に格納する。劣化データ生成手段１６１は、第２ＤＢ１２に格納されているサンプルデータから１つ以上の非共通部位群ｂの部位データの位置を欠落させて劣化サンプルデータを生成する。補完器学習手段１６２は第１ＤＢ１１のサンプルデータから生成された劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元のサンプルデータを出力の目標値とする学習によって補完器ｈ２を生成して補完器記憶手段１７に記憶させる。キーポイント補完手段１８は第１拡張ＤＢ１４に格納されている拡張サンプルデータを補完器ｈ２に入力して、当該拡張サンプルデータにおいて不定である位置を補完し、統合ＤＢ１９に格納する。これにより、まず、第１ＤＢ１１のサンプルデータに非共通部位群ｂの部位データを補完した補完済データが統合ＤＢ１９に格納される。

【0075】

続いて、第２データベースに非共通部位群ａの部位データを補完するための補完器ｈ１を第１データベースから生成して補完器ｈ１により第２データベースに対する補完を行う。なお、このときは第１データベースからの拡張サンプルデータ生成を省略してよい。

【0076】

具体的には、拡張データ生成手段１３は第２ＤＢ１２のサンプルデータに、非共通部位群ａの部位について位置を不定とした部位データを加え、第１部位群を包含する部位群の部位データからなる拡張サンプルデータを生成して第２拡張ＤＢ１５に格納する。劣化データ生成手段１６１は、第１ＤＢ１１に格納されているサンプルデータから１つ以上の非共通部位群ａの部位データの位置を欠落させて劣化サンプルデータを生成する。補完器学習手段１６２は第２ＤＢ１２のサンプルデータから生成された劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元のサンプルデータを出力の目標値とする学習によって補完器ｈ１を生成して補完器記憶手段１７に記憶させる。キーポイント補完手段１８は第２拡張ＤＢ１５に格納されている拡張サンプルデータを補完器ｈ１に入力して、当該拡張サンプルデータにおいて不定である位置を補完し、統合ＤＢ１９に格納する。これにより、第２ＤＢ１２のサンプルデータに非共通部位群ａの部位データを補完した補完済データが統合ＤＢ１９に格納され、統合が完了する。

【0077】

また、３つ以上のデータベースを統合する場合、第１、第２データベースを例に説明した処理と同様の処理をデータベースのペアごとに行えばよい。

【0078】

以上に示したように、データベース統合装置１によれば、異なる作成基準で作成された複数のデータベースのそれぞれにおいて他のデータベースと比較して不足している部位のデータを自動で補完することによって、当該複数のデータベースを１つのデータベースに統合することができる。これによって、不足している部位のアノテーションを人手で行う手間をかけずに、利用可能な部位を減らすことなくデータを効率よく増やすことができる。このことは、例えば、大量の部位データを必要とする機械学習を行う場合に極めて有用である。

【0079】

［第２の実施形態］
本発明の第２の実施形態としてデータ補完装置４０を説明する。上記第１の実施形態のデータベース統合装置１では、複数のデータベースに格納された付与データ（付与データＡＩ，ＢＩ）を用いて補完器を学習し、その学習で得られた補完器を用いて当該データベースの付与データを補完している。この学習済みの補完器に対して、補完器の学習時に用いたデータベース内に存在しない新たなサンプルデータを入力してもよく、当該サンプルデータが付与データＡＩ，ＢＩに関する補完済データからみて部位データが不足した不完全なサンプルデータ（不完全サンプルデータ）である場合には補完器によって不足しているキーポイントが補完される。すなわち、データベース統合装置１の技術を用いて、不完全サンプルデータに対してキーポイントを補完するデータ補完装置を構成することができる。

【0080】

図７はデータ補完装置４０の構成を示す概略のブロック図である。データ補完装置４０は、不完全データ取得手段４１、拡張データ生成手段４２、補完器記憶手段４３、キーポイント補完手段４４および補完結果出力手段４５を有する。

【0081】

補完器記憶手段４３は、対象物の複数のサンプルについてのサンプルデータを集めたデータ集合を用いて学習された補完器を記憶している。学習に用いるデータ集合は、各サンプルデータにおける部位群が少なくとも１つの他のサンプルデータとの共通部位を含み、且つ少なくとも１つのサンプルデータの部位群が少なくとも１つの他のサンプルデータとの非共通部位を含むデータ集合である。補完器は、サンプルデータから当該サンプルデータに含まれている１つ以上の部位の位置を欠落させた劣化サンプルデータを入力とし、当該劣化サンプルデータに対応する元のサンプルデータを出力の目標値とする学習によって生成される。

【0082】

ここで、対象物は第１の実施形態と同様、人であるとする。例えば、第１の実施形態における第１ＤＢ１１、第２ＤＢ１２に格納された付与データを学習に用いるデータ集合として補完器を生成することができ、この場合、補完器記憶手段４３として、第１の実施形態の補完器記憶手段１７を用いることができる。

【0083】

データ補完装置４０は、補完器の生成に用いたデータ集合における共通部位を１以上含み、且つ同集合における非共通部位の１以上が不足している不完全サンプルデータを補完対象とする。例えば、不完全サンプルデータは第１の実施形態における第１データベースまたは第２データベースの作成基準で作成されたデータである。

【0084】

拡張データ生成手段４２は、不完全サンプルデータに、補完器の生成に用いたデータ集合における部位群のうち当該不完全サンプルデータに含まれていない部位について位置を不定とした部位データを加え、拡張サンプルデータを生成する。また、キーポイント補完手段４４は拡張サンプルデータを補完器に入力して、当該拡張サンプルデータにおいて不定である位置を補完し、補完されたサンプルデータを生成するデータ補完手段である。補完器記憶手段４３として第１の実施形態の補完器記憶手段１７を用いる場合、拡張データ生成手段４２、キーポイント補完手段４４としてそれぞれ第１の実施形態の拡張データ生成手段１３、キーポイント補完手段１８を用いることができる。

【0085】

また図８はデータ補完装置の動作に関する概略のフロー図である。データ補完装置４０は、不完全データ取得手段４１により不完全サンプルデータを取得すると（ステップＳ２００）、拡張データ生成手段４２により不足キーポイントの部位データを付加して拡張サンプルデータを作成する（ステップＳ２０５）。そして、当該拡張サンプルデータに対し正規化処理を行う（ステップＳ２１０）。その後、学習済みの補完器を補完器記憶手段４３から読み出し（ステップＳ２１５）、キーポイント補完手段４４で補完する（ステップＳ２２０）。なお、補完済データに対して、補完前の正規化にて平行移動した分を元に戻す処理が行われる。そして、補完結果出力手段４５により補完済データを出力する（ステップＳ２２５）。出力先は、当該データを格納するデータベース（例えば第１の実施形態の統合ＤＢ１９）や、そのデータベースを備えた学習装置や、当該データを基に対象物の姿勢等を認識する対象物認識装置などとすることができる。

【0086】

例えば、出力先がデータベースであれば新たなデータを統一的な基準で容易に追加できる。また、出力先が学習装置であれば新たなデータを用いた追加学習や再学習が容易にできる。また、出力先の対象物認識装置が、画像から写っている人ごとの姿勢（部位群）を推定する姿勢推定器を複数利用しており、それらの出力する姿勢に含まれるキーポイントの種別が互いに異なっている場合でも、データ補完装置４０に入力することで、共通のキーポイントの種別をもつ共通化された姿勢へと変換することができる。この変換によって、変換後に配置されるこの姿勢を用いた処理を、姿勢推定器ごとに異なるものとせずとも統一的に扱うことができる。

【0087】

［変形例］
（１）上記各実施形態では、補完器学習部１６、キーポイント補完手段１８およびキーポイント補完手段４４に入力される前に行われるキーポイント位置の正規化処理として、両肩のキーポイントの中点を正規化後の原点に定めるという１通りのキーポイントの組を用いて正規化を行う例を示した。正規化処理の別の例として、他のキーポイントの組を用いた正規化を含めて複数通りの正規化を定義しておき、正規化の対象とする付与データごとに当該付与データにおいて利用可能なキーポイントの組に応じた正規化を選択する手法とすることもできる。このようにすることで、データベースに蓄積された付与データを無駄なく用いた学習を行うことが可能になり、補完器をより高精度化できる。

【0088】

また、上記各実施形態では原点を２つのキーポイントを用いて決める例としたが、原点は１つのキーポイント、または３つ以上のキーポイントを用いて定めてもよい。

【0089】

（２）上記各実施形態では、部位データはキーポイントの位置を座標で表現する形態としたが、画像の形態で表現したものとすることもできる。例えば、キーポイントの座標位置のみ画素値が１となるようなバイナリ画像を各キーポイントに対して作成したものや、そのバイナリ画像に対してガウシアンフィルタを適用したものを用いてもよい。その場合、各キーポイントの座標は当該画像での最大値をとる点に対応する。また、劣化データ生成手段１６１や補完器の入力と出力とでキーポイントの位置の表現形態を異ならせてもよく、入力では位置を座標で表し出力では画像で表す構成や、逆に入力を画像とし出力を座標で表す構成とすることができる。

【0090】

（３）補完器に入力する部位データは、属性情報などを含むものとしてもよい。例えば、子供か大人であるかを属性情報として入力に与えて補完器の学習を行うことで、子供のような体格、大人のような体格に対応したキーポイントの推定ができるようになる。この場合、第１ＤＢ１１、第２ＤＢ１２は姿勢の情報だけでなく、対応する属性情報なども格納する。

【0091】

（４）補完器は、キーポイントの座標の推定値に加えて、推定値の信頼度を出力してもよい。この場合、キーポイント補完手段１８，４４は、一定以上の信頼度を有するキーポイントのみ、補完済データにおける付与フラグを“１”に設定することができる。例えば、元の付与データにて座標が付与されているキーポイントが少なく座標推定値の信頼度が低くなるキーポイントについては付与フラグを“１”に設定しない。これにより例えば、信頼度が高いキーポイント対しては自動で、信頼度が低いキーポイントに対しては人手でのアノテーションを行うように設計可能であり、人手によるアノテーションを支援する装置にも利用することができる。

【0092】

（５）上記各実施形態では、補完器としてＶＡＥを用いたが、ニューラルネットワークやガウシアンプロセスなど連続値を出力可能な他のモデルを用いてもよい。また、事前にキーポイントの座標を離散化して、キーポイントの位置の推定を各キーポイントが離散化した座標のいずれかに属するクラス分類問題として定式化することにより、補完器として、アダブースト（AdaBoost）などのモデルを用いることもできる。

【0093】

（６）上記各実施形態では、キーポイント補完手段１８，４４での活性化関数としてＲｅＬＵ関数を用いたが、活性化関数としてｔａｎｈ関数、シグモイド（Sigmoid）関数などを用いてもよい。また、ＲｅｓＮｅｔ（residual network：残差ネットワーク）で用いられるようなショートカット構造を有する構成としてもよい。

【0094】

（７）上記各実施形態では、部位データは二次元画像上のキーポイントである例を示したが、部位データはこの例に限られない。例えば、部位データは三次元空間の計測データにおけるキーポイントであってもよい。三次元計測データの例として、距離画像センサを用いて得られる距離画像や、多視点カメラで撮影した画像から構築した三次元データを挙げることができる。また、部位データは、二次元画像の時系列（二次元計測データの時系列）、三次元計測データの時系列におけるキーポイントとすることもでき、これらの場合には、キーポイントの座標は時刻を含めた三次元、四次元の座標として定義される。

【符号の説明】

【0095】

１ データベース統合装置、１１ 第１ＤＢ、１２ 第２ＤＢ、１３，４２ 拡張データ生成手段、１４ 第１拡張ＤＢ、１５ 第２拡張ＤＢ、１６ 補完器学習部、１７，４３ 補完器記憶手段、１８，４４ キーポイント補完手段、１９ 統合ＤＢ、１６１ 劣化データ生成手段、１６２ 補完器学習手段。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】