ホーム > 特許ランキング > 国立大学法人東京工業大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024012764
(43)【公開日】2024-01-31
(54)【発明の名称】情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
G06V 10/70 20220101AFI20240124BHJP
G06T 7/00 20170101ALI20240124BHJP
【ＦＩ】
G06V10/70
G06T7/00 350B
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022114482
(22)【出願日】2022-07-19
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２９年度、国立研究開発法人科学技術振興機構、「戦略的創造研究推進事業」、「チーム型研究（ＣＲＥＳＴ）」、「人間と情報環境の共生インタラクション基盤技術の創出と展開」、「技能獲得メカニズムの原理解明および獲得支援システムヘの展開」、「技能の抽象化と獲得メカニズムの原理解明、および獲得支援技術の開発」、委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人ＩＰＸ
(72)【発明者】
【氏名】小池 英樹
(72)【発明者】
【氏名】ウー エアウィン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096AA09
5L096CA05
5L096DA01
5L096FA69
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】マーカーベースのモーションキャプチャーで撮像されたマーカーが付いたオブジェクトの画像を深層学習に利用可能とする情報処理システム、情報処理方法及びプログラムを提供する。
【解決手段】情報処理システム１０００において、情報処理装置１００は、少なくとも１つ以上の制御部を有する。少なくとも１つ以上の制御部は、マーカーが付されたオブジェクトの撮像画像を第１の学習済みモデルに入力し、第１の学習済みモデルから出力されたマーカーを削除したオブジェクトの画像を取得する。第１の学習済みモデルは、マーカーが付されたオブジェクトの撮像画像を入力し、マーカーを削除したオブジェクトの画像を出力として学習された学習済みモデルである。
【選択図】図１
【解決手段】情報処理システム１０００において、情報処理装置１００は、少なくとも１つ以上の制御部を有する。少なくとも１つ以上の制御部は、マーカーが付されたオブジェクトの撮像画像を第１の学習済みモデルに入力し、第１の学習済みモデルから出力されたマーカーを削除したオブジェクトの画像を取得する。第１の学習済みモデルは、マーカーが付されたオブジェクトの撮像画像を入力し、マーカーを削除したオブジェクトの画像を出力として学習された学習済みモデルである。
【選択図】図１
【特許請求の範囲】
【請求項1】
情報処理システムであって、
少なくとも１つ以上の制御部を有し、
前記少なくとも１つ以上の制御部は、
マーカーが付されたオブジェクトの撮像画像を第１の学習済みモデルに入力し、前記第１の学習済みモデルから出力された前記マーカーを削除したオブジェクトの画像を取得し、
前記第１の学習済みモデルは、マーカーが付されたオブジェクトの撮像画像を入力、前記マーカーを削除したオブジェクトの画像を出力として学習された学習済みモデルである、
情報処理システム。
少なくとも１つ以上の制御部を有し、
前記少なくとも１つ以上の制御部は、
マーカーが付されたオブジェクトの撮像画像を第１の学習済みモデルに入力し、前記第１の学習済みモデルから出力された前記マーカーを削除したオブジェクトの画像を取得し、
前記第１の学習済みモデルは、マーカーが付されたオブジェクトの撮像画像を入力、前記マーカーを削除したオブジェクトの画像を出力として学習された学習済みモデルである、
情報処理システム。
【請求項2】
請求項１に記載の情報処理システムにおいて、
前記少なくとも１つ以上の制御部は、
前記マーカーを削除したオブジェクトの画像と、前記マーカーが付されたオブジェクトの撮像画像から求められた前記オブジェクトの三次元姿勢データと、をセットにした機械学習用の学習データを生成する、
情報処理システム。
前記少なくとも１つ以上の制御部は、
前記マーカーを削除したオブジェクトの画像と、前記マーカーが付されたオブジェクトの撮像画像から求められた前記オブジェクトの三次元姿勢データと、をセットにした機械学習用の学習データを生成する、
情報処理システム。
【請求項3】
請求項２に記載の情報処理システムにおいて、
前記少なくとも１つ以上の制御部は、
前記マーカーが付されたオブジェクトの撮像画像から前記オブジェクトの三次元姿勢データを求め、
前記マーカーを削除したオブジェクトの画像と、求めた前記オブジェクトの三次元姿勢データと、をセットにした機械学習用の学習データを生成する、
情報処理システム。
前記少なくとも１つ以上の制御部は、
前記マーカーが付されたオブジェクトの撮像画像から前記オブジェクトの三次元姿勢データを求め、
前記マーカーを削除したオブジェクトの画像と、求めた前記オブジェクトの三次元姿勢データと、をセットにした機械学習用の学習データを生成する、
情報処理システム。
【請求項4】
請求項３に記載の情報処理システムにおいて、
前記学習データは、前記マーカーが削除されたオブジェクトの画像を入力、前記オブジェクトの三次元姿勢データを出力として機械学習するための学習データである、
情報処理システム。
前記学習データは、前記マーカーが削除されたオブジェクトの画像を入力、前記オブジェクトの三次元姿勢データを出力として機械学習するための学習データである、
情報処理システム。
【請求項5】
請求項２に記載の情報処理システムにおいて、
前記少なくとも１つ以上の制御部は、
前記学習データを用いて機械学習を行い、第２の学習済みモデルを生成する、
情報処理システム。
前記少なくとも１つ以上の制御部は、
前記学習データを用いて機械学習を行い、第２の学習済みモデルを生成する、
情報処理システム。
【請求項6】
請求項５に記載の情報処理システムにおいて、
前記第２の学習済みモデルは、マーカーが付されていないオブジェクトを入力、前記オブジェクトの三次元姿勢データを出力として学習された学習済みモデルである、
情報処理システム。
前記第２の学習済みモデルは、マーカーが付されていないオブジェクトを入力、前記オブジェクトの三次元姿勢データを出力として学習された学習済みモデルである、
情報処理システム。
【請求項7】
請求項１に記載の情報処理システムにおいて、
少なくとも１つ以上の撮像部を有し、
前記少なくとも１つ以上の撮像部は、
前記オブジェクトを撮像し、
前記少なくとも１つ以上の制御部は、
前記少なくとも１つ以上の撮像部で撮像された前記オブジェクトの撮像画像を学習済みモデルに入力する、
情報処理システム。
少なくとも１つ以上の撮像部を有し、
前記少なくとも１つ以上の撮像部は、
前記オブジェクトを撮像し、
前記少なくとも１つ以上の制御部は、
前記少なくとも１つ以上の撮像部で撮像された前記オブジェクトの撮像画像を学習済みモデルに入力する、
情報処理システム。
【請求項8】
請求項１に記載の情報処理システムにおいて、
前記オブジェクトは人の手である、
情報処理システム。
前記オブジェクトは人の手である、
情報処理システム。
【請求項9】
請求項８に記載の情報処理システムにおいて、
前記オブジェクトは楽器を弾いている人の手である、
情報処理システム。
前記オブジェクトは楽器を弾いている人の手である、
情報処理システム。
【請求項10】
情報処理方法であって、
マーカーが付されたオブジェクトの撮像画像を学習済みモデルに入力し、前記学習済みモデルから出力された前記マーカーを削除したオブジェクトの画像を取得し、
前記学習済みモデルは、マーカーが付されたオブジェクトの撮像画像を入力、前記マーカーを削除したオブジェクトの画像を出力として学習された学習済みモデルである、
情報処理方法。
マーカーが付されたオブジェクトの撮像画像を学習済みモデルに入力し、前記学習済みモデルから出力された前記マーカーを削除したオブジェクトの画像を取得し、
前記学習済みモデルは、マーカーが付されたオブジェクトの撮像画像を入力、前記マーカーを削除したオブジェクトの画像を出力として学習された学習済みモデルである、
情報処理方法。
【請求項11】
プログラムであって、
コンピュータを、
請求項１から９までの何れか１項に記載の少なくとも１つ以上の制御部として機能させるためのプログラム。
コンピュータを、
請求項１から９までの何れか１項に記載の少なくとも１つ以上の制御部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
手等のオブジェクトの姿勢推定に関する技術の開発が進んでいる。特に一枚の素手の画像から手の三次元姿勢の推定が困難とされており、学習には大量の高精度なデータを要する。しかし、素手の画像と相応の３次元姿勢データとのデータセットを作成するのは容易ではない。多くのデータセットは手の画像に対して手動で関節位置の指定等のラベリングが行われることで、作成されている。このようにデータセットの作成は大量の人力及び時間等を要している。
一方で、マーカー等を使用した高精度のモーションキャプチャーシステムも存在する（特許文献１）。しかし、モーションキャプチャーシステムでは、深層学習の「素手から推定」する技術が使えない。
一方で、マーカー等を使用した高精度のモーションキャプチャーシステムも存在する（特許文献１）。しかし、モーションキャプチャーシステムでは、深層学習の「素手から推定」する技術が使えない。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１８７６２３公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
マーカーベースのモーションキャプチャーで撮像されたマーカーが付いたオブジェクトの画像を深層学習に利用可能とする。
【課題を解決するための手段】
【0005】
本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、少なくとも１つ以上の制御部を有する。少なくとも１つ以上の制御部は、マーカーが付されたオブジェクトの撮像画像を第１の学習済みモデルに入力し、第１の学習済みモデルから出力されたマーカーを削除したオブジェクトの画像を取得する。第１の学習済みモデルは、マーカーが付されたオブジェクトの撮像画像を入力、マーカーを削除したオブジェクトの画像を出力として学習された学習済みモデルである。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
（実施形態１）
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表されるか、信号値の物理的な数値によって表されるか、又は量子的な重ね合わせによって表されるかによらず、広義の回路上で通信・演算が実行されうる。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表されるか、信号値の物理的な数値によって表されるか、又は量子的な重ね合わせによって表されるかによらず、広義の回路上で通信・演算が実行されうる。
【0008】
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
【0009】
また、実施形態中に登場するソフトウェアを実現するためのプログラムは、サーバーからダウンロード可能な態様で実施してもよいし、クラウドコンピュータ上でプログラムの実行がなされてもよいし、不揮発性又は揮発性の非一時的な記憶媒体に記憶させて頒布されてもよい。
【0010】
１．システム構成
図１は、情報処理システム１０００のシステム構成の一例を示す図である。図１に示されるように、情報処理システム１０００は、システム構成として、情報処理装置１００と、カメラ１１０と、複数のカメラ１２０と、を含む。情報処理装置１００と、カメラ１１０と、複数のカメラ１２０と、はネットワーク１５０を介して通信可能に接続されている。
カメラ１１０は、被写体を撮像する。本実施形態の例では、被写体は、ピアノを弾く演奏者の手である。カメラ１１０は、ピアノを弾く演奏者の手を連続して撮像し、時系列に沿って連続して撮像した撮像画像（カラーの撮像画像）を情報処理装置１００に送信する。
また複数のカメラ１２０は、モーションキャプチャーに関するカメラであり、マーカーが付されたピアノを弾く演奏者の手を連続して撮像し、時系列に沿って連続して撮像した撮像画像を情報処理装置１００に送信する。情報処理装置１００は、複数のカメラ１２０で撮像されたマーカーが付されたピアノを弾く演奏者の手の撮像画像より手の３次元姿勢を示す３次元姿勢データを得る。
情報処理装置１００は、新しい画像変換ネットワーク（以下、画像変換モデルという）を使用することで、カメラ１１０で撮像されたマーカーが付いた手の画像からマーカーを削除し、自然な手に戻すことを可能にした。画像変換モデルは、学習済みのモデルである。この結果、情報処理装置１００は、マーカーが付いていない手の画像と、マーカーが付いた手の画像からモーションキャプチャーの技術で得られた手の３次元姿勢を示す３次元姿勢データと、を得ることができる。したがって、情報処理装置１００は、マーカーが付いていない手の画像と、手の３次元姿勢データと、をセットにした学習データを生成することができる。
図１は、情報処理システム１０００のシステム構成の一例を示す図である。図１に示されるように、情報処理システム１０００は、システム構成として、情報処理装置１００と、カメラ１１０と、複数のカメラ１２０と、を含む。情報処理装置１００と、カメラ１１０と、複数のカメラ１２０と、はネットワーク１５０を介して通信可能に接続されている。
カメラ１１０は、被写体を撮像する。本実施形態の例では、被写体は、ピアノを弾く演奏者の手である。カメラ１１０は、ピアノを弾く演奏者の手を連続して撮像し、時系列に沿って連続して撮像した撮像画像（カラーの撮像画像）を情報処理装置１００に送信する。
また複数のカメラ１２０は、モーションキャプチャーに関するカメラであり、マーカーが付されたピアノを弾く演奏者の手を連続して撮像し、時系列に沿って連続して撮像した撮像画像を情報処理装置１００に送信する。情報処理装置１００は、複数のカメラ１２０で撮像されたマーカーが付されたピアノを弾く演奏者の手の撮像画像より手の３次元姿勢を示す３次元姿勢データを得る。
情報処理装置１００は、新しい画像変換ネットワーク（以下、画像変換モデルという）を使用することで、カメラ１１０で撮像されたマーカーが付いた手の画像からマーカーを削除し、自然な手に戻すことを可能にした。画像変換モデルは、学習済みのモデルである。この結果、情報処理装置１００は、マーカーが付いていない手の画像と、マーカーが付いた手の画像からモーションキャプチャーの技術で得られた手の３次元姿勢を示す３次元姿勢データと、を得ることができる。したがって、情報処理装置１００は、マーカーが付いていない手の画像と、手の３次元姿勢データと、をセットにした学習データを生成することができる。
【0011】
なお、図１では、説明の簡略化のため、情報処理システム１０００において、情報処理装置１００は１台しか図示していないが、情報処理システム１０００には複数の情報処理装置１００が含まれていてもよい。同様に、図１では、説明の簡略化のため、情報処理システム１０００において、カメラ１１０は１台しか図示していないが、情報処理システム１０００には複数のカメラ１１０が含まれていてもよい。すなわち、情報処理システム１０００は、少なくとも１つ以上のカメラ１１０を有する。カメラ１１０は、撮像部の一例である。また、図１では、情報処理装置１００の例としてＰＣを示しているが、ＰＣに限定されるものではなく、タブレット型コンピュータ、サーバー等であってもよい。
【0012】
ここで、特許請求の範囲に記載の情報処理システムは、複数の装置で構成されてもよいし、一つの装置で構成されてもよい。特許請求の範囲に記載の情報処理システムが一つの装置で構成され場合、その装置の一例は情報処理装置１００である。この場合、情報処理システムが有する少なくとも１つ以上の制御部は、情報処理装置１００ということもできるし、後述する制御部２１０ということもできる。特許請求の範囲に記載の情報処理システムが複数の装置で構成される場合、複数の装置の一例は、複数の情報処理装置１００、又は情報処理装置１００及びカメラ１１０、又は情報処理装置１００、カメラ１１０及び複数のカメラ１２０である。特許請求の範囲に記載の情報処理システムが複数の情報処理装置１００で構成される場合、情報処理システムが有する少なくとも１つ以上の制御部は、複数の情報処理装置１００ということもできるし、複数の情報処理装置１００それぞれの制御部２１０ということもできる。また、特許請求の範囲に記載の情報処理システムが情報処理装置１００及びカメラ１１０で構成される場合、情報処理システムが有する少なくとも１つ以上の制御部は、情報処理装置１００及びカメラ１１０ということもできるし、情報処理装置１００の制御部２１０及びカメラ１１０の制御部ということもできるし、情報処理装置１００の制御部２１０、カメラ１１０の制御部及びカメラ１２０の制御部ということもできる。
すなわち、情報処理システム１０００は、少なくとも１つ以上の制御部を有する。ただし、本実施形態では説明の簡略化のため、情報処理装置１００の制御部２１０が主に処理を行うものとして説明を行う。
すなわち、情報処理システム１０００は、少なくとも１つ以上の制御部を有する。ただし、本実施形態では説明の簡略化のため、情報処理装置１００の制御部２１０が主に処理を行うものとして説明を行う。
【0013】
２．ハードウェア構成
図２は、情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は、ハードウェア構成として、制御部２１０と、記憶部２２０と、入力部２３０と、出力部２４０と、通信部２５０と、を含む。
図２は、情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は、ハードウェア構成として、制御部２１０と、記憶部２２０と、入力部２３０と、出力部２４０と、通信部２５０と、を含む。
【0014】
制御部２１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等であって、情報処理装置１００の全体を制御する。
記憶部２２０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）の何れか、又はこれらの任意の組み合わせであって、プログラム、制御部２１０がプログラムに基づき処理を実行する際に利用するデータ等を記憶させる。制御部２１０が、記憶部２２０に記憶されているプログラムに基づき、処理を実行することによって、情報処理装置１００の機能が実現される。
入力部２３０は、キーボード及び／又はマウス等であって、ユーザー操作に基づいて情報を制御部２１０に入力する。出力部２４０は、ディスプレイ等であって、制御部２１０の制御に基づいて、画面等を表示する。通信部２５０は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等であって、情報処理装置１００をネットワーク１５０に接続し、他の装置との通信を司る。
記憶部２２０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）の何れか、又はこれらの任意の組み合わせであって、プログラム、制御部２１０がプログラムに基づき処理を実行する際に利用するデータ等を記憶させる。制御部２１０が、記憶部２２０に記憶されているプログラムに基づき、処理を実行することによって、情報処理装置１００の機能が実現される。
入力部２３０は、キーボード及び／又はマウス等であって、ユーザー操作に基づいて情報を制御部２１０に入力する。出力部２４０は、ディスプレイ等であって、制御部２１０の制御に基づいて、画面等を表示する。通信部２５０は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等であって、情報処理装置１００をネットワーク１５０に接続し、他の装置との通信を司る。
【0015】
カメラ１１０もハードウェア構成として少なくとも制御部と記憶部とを含む。カメラ１１０の制御部がカメラ１１０の記憶部に記憶されたプログラムに基づき処理を実行することによってカメラ１１０の機能が実現される。
【0016】
３．情報処理
以下、本実施形態に係る情報処理を説明する。
図３は、情報処理システム１０００における情報処理の一例を示すシーケンス図である。
シーケンスＳＱ３０１において、カメラ１１０は、被写体であるピアノを弾く演奏者の手を撮像する。ここで、演奏者の手には、モーションキャプチャーのためのマーカーが付されている。したがって、カメラ１１０は、マーカーが付いた演奏者の手を撮像する。
シーケンスＳＱ３０２において、カメラ１１０は、マーカーが付いた演奏者の手の撮像画像を情報処理装置１００に送信する。
カメラ１１０は、所定の信号を受け取るまで、シーケンスＳＱ３０１及びシーケンスＳＱ３０２の処理を繰り返し、実行する。
以下、本実施形態に係る情報処理を説明する。
図３は、情報処理システム１０００における情報処理の一例を示すシーケンス図である。
シーケンスＳＱ３０１において、カメラ１１０は、被写体であるピアノを弾く演奏者の手を撮像する。ここで、演奏者の手には、モーションキャプチャーのためのマーカーが付されている。したがって、カメラ１１０は、マーカーが付いた演奏者の手を撮像する。
シーケンスＳＱ３０２において、カメラ１１０は、マーカーが付いた演奏者の手の撮像画像を情報処理装置１００に送信する。
カメラ１１０は、所定の信号を受け取るまで、シーケンスＳＱ３０１及びシーケンスＳＱ３０２の処理を繰り返し、実行する。
【0017】
シーケンスＳＱ３０３において、制御部２１０は、マーカーが付されたピアノを弾く演奏者の手の撮像画像からマーカーを削除する処理を実行する。より具体的に説明すると、制御部２１０は、カメラ１１０から受信したマーカーが付されたピアノを弾く演奏者の手の撮像画像を画像変換モデルに入力し、画像変換モデルから出力されたマーカーを削除したピアノを弾く演奏者の手の画像を取得する。ここで、ピアノを弾く演奏者の手は、オブジェクトの一例である。なお、ピアノは楽器の一例である。また、画像変換モデルは、第１の学習済みモデルの一例である。画像変換モデルは、マーカーが付された手の撮像画像を入力、マーカーを削除した手の画像を出力として学習された学習済みモデルである。
図４は、マーカーの削除を説明するための図である。図４の画像４１０は、マーカーが付された、ピアノを弾く演奏者の手の撮像画像である。図４の画像４２０は、画像変換モデルから出力された、マーカーが削除された、ピアノを弾く演奏者の手の画像である。シーケンスＳＱ３０３の処理を実行することによって、モーションキャプチャーのため付されたマーカーを綺麗に削除することができる。
図４は、マーカーの削除を説明するための図である。図４の画像４１０は、マーカーが付された、ピアノを弾く演奏者の手の撮像画像である。図４の画像４２０は、画像変換モデルから出力された、マーカーが削除された、ピアノを弾く演奏者の手の画像である。シーケンスＳＱ３０３の処理を実行することによって、モーションキャプチャーのため付されたマーカーを綺麗に削除することができる。
【0018】
図５は、画像変換モジュールの学習を説明する図である。図５のＥｎｃ－Ｄｅｃ Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎが画像変換モジュールである。
制御部２１０は、素手画像からＲｅｓＮｅｔ５０で手の関節位置を推定する。なお、ＲｅｓＮｅｔ５０は、特徴抽出モデルの一例である。特徴抽出モデルは、素手の画像を入力、手の関節位置を出力として学習された学習済みモデルである。
制御部２１０は、手の関節位置に仮想のマーカー画像を貼り付けた手の画像を生成する。
制御部２１０は、仮想のマーカーが貼られた手の画像を、画像変換モジュールであるＥｎｃ－Ｄｅｃ Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎに入力し、出力としてマーカーが削除された手の画像を取得する。ここで、制御部２１０は、素手画像を正解画像として、取得されたマーカーが削除された手の画像と比較し、画像変換モジュールを鍛える、すなわち、マーカーが削除された手の画像と素手の画像との差が所定の値以下になるまで画像変換モジュールを再学習させる。
制御部２１０は、素手画像からＲｅｓＮｅｔ５０で手の関節位置を推定する。なお、ＲｅｓＮｅｔ５０は、特徴抽出モデルの一例である。特徴抽出モデルは、素手の画像を入力、手の関節位置を出力として学習された学習済みモデルである。
制御部２１０は、手の関節位置に仮想のマーカー画像を貼り付けた手の画像を生成する。
制御部２１０は、仮想のマーカーが貼られた手の画像を、画像変換モジュールであるＥｎｃ－Ｄｅｃ Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎに入力し、出力としてマーカーが削除された手の画像を取得する。ここで、制御部２１０は、素手画像を正解画像として、取得されたマーカーが削除された手の画像と比較し、画像変換モジュールを鍛える、すなわち、マーカーが削除された手の画像と素手の画像との差が所定の値以下になるまで画像変換モジュールを再学習させる。
【0019】
シーケンスＳＱ３０４において、複数のカメラ１２０それぞれは、被写体であるピアノを弾く演奏者の手を撮像する。上述したように、演奏者の手には、モーションキャプチャーのためのマーカーが付されている。したがって、複数のカメラ１２０は、マーカーが付いた演奏者の手を撮像する。
シーケンスＳＱ３０５において、複数のカメラ１２０それぞれは、マーカーが付いた演奏者の手の撮像画像を情報処理装置１００に送信する。
シーケンスＳＱ３０５において、複数のカメラ１２０それぞれは、マーカーが付いた演奏者の手の撮像画像を情報処理装置１００に送信する。
【0020】
シーケンスＳＱ３０６において、制御部２１０は、複数のカメラ１２０それぞれから受信した、マーカーが付された手の撮像画像から手の三次元姿勢データを求める。より具体的に説明すると、制御部２１０は、モーションキャプチャーの技術を用いて、マーカーが付された手の撮像画像に基づき手の三次元姿勢データを求める。図６は、三次元姿勢データの概念を示す図である。
ここで、シーケンスＳＱ３０３の処理と、シーケンスＳＱ３０６の処理と、の順序は問わない。シーケンスＳＱ３０３の処理と、シーケンスＳＱ３０６の処理と、は同時に実施されてもよい。
ここで、シーケンスＳＱ３０３の処理と、シーケンスＳＱ３０６の処理と、の順序は問わない。シーケンスＳＱ３０３の処理と、シーケンスＳＱ３０６の処理と、は同時に実施されてもよい。
【0021】
シーケンスＳＱ３０７には、制御部２１０は、マーカーを削除した手の画像と、マーカーが付された手の撮像画像から求められた手の三次元姿勢データと、をセットにした機械学習用の学習データを生成する。ここで、学習データは、マーカーが削除された手の画像を入力、手の三次元姿勢データを出力として機械学習するための学習データである。
【0022】
シーケンスＳＱ３０８において、制御部２１０は、生成した学習データを用いて機械学習を行い、学習済みモデル（以下、ＰｉａＮｅｔモデルという）を生成する。ＰｉａＮｅｔモデルは、マーカーが付されていない手を入力、手の三次元姿勢データを出力として学習された学習済みモデルである。ＰｉａＮｅｔモデルは、第２の学習済みモデルの一例である。
【0023】
シーケンスＳＱ３０９において、カメラ１１０は、被写体であるピアノを弾く演奏者の手を撮像する。ここで、演奏者の手には、モーションキャプチャーのためのマーカーが付されていない。したがって、カメラ１１０は、マーカーが付されていない演奏者の手を撮像する。
シーケンスＳＱ３１０において、カメラ１１０は、マーカーが付されていない演奏者の手の撮像画像を情報処理装置１００に送信する。
シーケンスＳＱ３１０において、カメラ１１０は、マーカーが付されていない演奏者の手の撮像画像を情報処理装置１００に送信する。
【0024】
シーケンスＳＱ３１１において、制御部２１０は、マーカーが付されていないピアノを弾く演奏者の手の撮像画像からピアノを弾く手の三次元姿勢データを求める。より具体的に説明すると、制御部２１０は、カメラ１１０から受信したマーカーが付されていないピアノを弾く演奏者の手の撮像画像をＰｉａＮｅｔモデルに入力し、ＰｉａＮｅｔモデルから出力されたピアノを弾く手の三次元姿勢データを取得する。
【0025】
図７は、データセットの比較を示す図（その１）である。図７では、同じタスク、本実施形態の例の場合は同じ曲をピアノで弾いた場合の結果を示している。
ＭＰＪＰＥは、１関節あたりの平均位置誤差を示す。ＰＪＡＥは、角度誤差を示す。ＰＣＫは、キーポイントの正解率を示す。
Ｒａｗは、マーカーを除去していない状態の生データを用いて、ＰｉａＮｅｔモデルを学習した場合の結果である。
ＳｉｍｐｌｅＲ．は、マーカーを肌色の丸に置き換えたデータを用いて、ＰｉａＮｅｔモデルを学習した場合の結果である。
Ｓｙｎｔｈｅｔｉｃは、合成した手のデータを用いて、ＰｉａＮｅｔモデルを学習した場合の結果である。
ＧＡＮ－ｂａｓｅｄは、既存のＣｙｃｌｅＧＡＮを用いてデータを生成し、そのデータを用いてＰｉａＮｅｔモデルを学習した場合の結果である。
ＭＲ－Ｎｅｔは、本実施形態の手法によりデータセットを生成し、ＰｉａＮｅｔモデルを学習した場合の結果である。
ＭＲ－Ｎｅｔがよい結果を示していることが分かる。
ＭＰＪＰＥは、１関節あたりの平均位置誤差を示す。ＰＪＡＥは、角度誤差を示す。ＰＣＫは、キーポイントの正解率を示す。
Ｒａｗは、マーカーを除去していない状態の生データを用いて、ＰｉａＮｅｔモデルを学習した場合の結果である。
ＳｉｍｐｌｅＲ．は、マーカーを肌色の丸に置き換えたデータを用いて、ＰｉａＮｅｔモデルを学習した場合の結果である。
Ｓｙｎｔｈｅｔｉｃは、合成した手のデータを用いて、ＰｉａＮｅｔモデルを学習した場合の結果である。
ＧＡＮ－ｂａｓｅｄは、既存のＣｙｃｌｅＧＡＮを用いてデータを生成し、そのデータを用いてＰｉａＮｅｔモデルを学習した場合の結果である。
ＭＲ－Ｎｅｔは、本実施形態の手法によりデータセットを生成し、ＰｉａＮｅｔモデルを学習した場合の結果である。
ＭＲ－Ｎｅｔがよい結果を示していることが分かる。
【0026】
図８は、データセットの比較を示す図（その２）である。図８では、異なるタスク、本実施形態の例の場合は異なる曲をピアノで弾いた場合の結果を示している。
図８の場合も、ＭＲ－Ｎｅｔがよい結果を示していることが分かる。
図８の場合も、ＭＲ－Ｎｅｔがよい結果を示していることが分かる。
【0027】
以上、本実施形態の処理によれば、人力をほとんど要せず、かつ、速やかに、精度のよいデータセットを作成することができる。また、本実施形態の処理によれば、データセットを用いて、素手の画像から手の三次元姿勢データを求めるモデルを機会学習させることができる。その結果、学習済みモデルを生成することができる。また、本実施形態の処理によれば、カメラの台数も少なくてすむため、安価にシステムを構築することができる。
【0028】
なお、本実施形態では、ピアノの演奏を例に説明を行ったが、これに限定されるものではない。ギターの演奏、卓球、医療縫合の際の手の動き等にも適用することができる。また、手の動きに限られず、全身の動き等にも適用することができる。
【0029】
さらに、次に記載の各態様で提供されてもよい。
【0030】
（１）情報処理システムであって、少なくとも１つ以上の制御部を有し、前記少なくとも１つ以上の制御部は、マーカーが付されたオブジェクトの撮像画像を第１の学習済みモデルに入力し、前記第１の学習済みモデルから出力された前記マーカーを削除したオブジェクトの画像を取得し、前記第１の学習済みモデルは、マーカーが付されたオブジェクトの撮像画像を入力、前記マーカーを削除したオブジェクトの画像を出力として学習された学習済みモデルである、情報処理システム。
【0031】
（２）上記（１）に記載の情報処理システムにおいて、前記少なくとも１つ以上の制御部は、前記マーカーを削除したオブジェクトの画像と、前記マーカーが付されたオブジェクトの撮像画像から求められた前記オブジェクトの三次元姿勢データと、をセットにした機械学習用の学習データを生成する、情報処理システム。
【0032】
（３）上記（２）に記載の情報処理システムにおいて、前記少なくとも１つ以上の制御部は、前記マーカーが付されたオブジェクトの撮像画像から前記オブジェクトの三次元姿勢データを求め、前記マーカーを削除したオブジェクトの画像と、求めた前記オブジェクトの三次元姿勢データと、をセットにした機械学習用の学習データを生成する、情報処理システム。
【0033】
（４）上記（３）に記載の情報処理システムにおいて、前記学習データは、前記マーカーが削除されたオブジェクトの画像を入力、前記オブジェクトの三次元姿勢データを出力として機械学習するための学習データである、情報処理システム。
【0034】
（５）上記（２）から（４）までの何れか１項に記載の情報処理システムにおいて、前記少なくとも１つ以上の制御部は、前記学習データを用いて機械学習を行い、第２の学習済みモデルを生成する、情報処理システム。
【0035】
（６）上記（５）に記載の情報処理システムにおいて、前記第２の学習済みモデルは、マーカーが付されていないオブジェクトを入力、前記オブジェクトの三次元姿勢データを出力として学習された学習済みモデルである、情報処理システム。
【0036】
（７）上記（１）から（６）までの何れか１項に記載の情報処理システムにおいて、少なくとも１つ以上の撮像部を有し、前記少なくとも１つ以上の撮像部は、前記オブジェクトを撮像し、前記少なくとも１つ以上の制御部は、前記少なくとも１つ以上の撮像部で撮像された前記オブジェクトの撮像画像を学習済みモデルに入力する、情報処理システム。
【0037】
（８）上記（１）から（７）までの何れか１項に記載の情報処理システムにおいて、前記オブジェクトは人の手である、情報処理システム。
【0038】
（９）上記（８）に記載の情報処理システムにおいて、前記オブジェクトは楽器を弾いている人の手である、情報処理システム。
【0039】
（１０）情報処理方法であって、マーカーが付されたオブジェクトの撮像画像を学習済みモデルに入力し、前記学習済みモデルから出力された前記マーカーを削除したオブジェクトの画像を取得し、前記学習済みモデルは、マーカーが付されたオブジェクトの撮像画像を入力、前記マーカーを削除したオブジェクトの画像を出力として学習された学習済みモデルである、情報処理方法。
【0040】
（１１）プログラムであって、コンピュータを、上記（１）から（９）までの何れか１項に記載の少なくとも１つ以上の制御部として機能させるためのプログラム。
もちろん、この限りではない。
もちろん、この限りではない。
【0041】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0042】
１００ ：情報処理装置
１１０ ：カメラ
１２０ ：カメラ
１５０ ：ネットワーク
２１０ ：制御部
２２０ ：記憶部
２３０ ：入力部
２４０ ：出力部
２５０ ：通信部
４１０ ：画像
４２０ ：画像
１０００ ：情報処理システム
１１０ ：カメラ
１２０ ：カメラ
１５０ ：ネットワーク
２１０ ：制御部
２２０ ：記憶部
２３０ ：入力部
２４０ ：出力部
２５０ ：通信部
４１０ ：画像
４２０ ：画像
１０００ ：情報処理システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
