知財求人 - 知財ポータルサイト「IP Force」
特許7613716登録装置、操作装置、登録方法、操作方法、プログラム及び記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-06
(45)【発行日】2025-01-15
(54)【発明の名称】登録装置、操作装置、登録方法、操作方法、プログラム及び記録媒体
(51)【国際特許分類】
G06T 7/20 20170101AFI20250107BHJP
G06F 3/01 20060101ALI20250107BHJP
G06T 13/40 20110101ALI20250107BHJP
【ＦＩ】
G06T7/20 300A
G06F3/01 570
G06T13/40
【請求項の数】
10
(21)【出願番号】P 2020174478
(22)【出願日】2020-10-16
(65)【公開番号】P2022065782
(43)【公開日】2022-04-28
【審査請求日】2023-09-08
(73)【特許権者】
【識別番号】000232092
【氏名又は名称】ＮＥＣソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100115255
【弁理士】
【氏名又は名称】辻丸 光一郎
(74)【代理人】
【識別番号】100201732
【弁理士】
【氏名又は名称】松縄 正登
(74)【代理人】
【識別番号】100154081
【弁理士】
【氏名又は名称】伊佐治 創
(72)【発明者】
【氏名】黒田 大介
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開２０１５－１１６３０８（ＪＰ，Ａ）
【文献】特表２０１７－５２７０３５（ＪＰ，Ａ）
【文献】特開２０１３－０３７４５４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｇ０６Ｆ ３／０１
Ｇ０６Ｔ １／００
Ｇ０６Ｔ １１／００－１３／８０
(57)【特許請求の範囲】
【請求項1】
ポーズ登録部、及びジェスチャー登録部を含み、前記ポーズ登録部は、ポーズ画像取得部、ポーズ設定部、及び登録部を含み、
前記ポーズ画像取得部は、骨格情報を含む登録用ポーズ画像を取得し、
前記ポーズ設定部は、前記骨格情報に基づいてポーズ情報を設定し、
前記登録部は、前記設定した前記ポーズ情報を登録し、
前記ジェスチャー登録部は、入力受付部、ジェスチャー設定部、及び登録部を含み、
前記入力受付部は、ジェスチャー作成情報の入力を受付け、
前記ジェスチャー作成情報は、ジェスチャーの作成に関する情報であり、１つ以上の前記ポーズ情報のうち、ユーザが選択したポーズ情報に関する情報を含み、
前記ジェスチャー設定部は、前記ジェスチャー作成情報に基づいて、１つ以上のポーズ情報から構成されるジェスチャー情報を設定し、
前記登録部は、前記設定した前記ジェスチャー情報を登録する、登録装置。
【請求項2】
前記ポーズ登録部は、さらに、入力受付部を含み、前記入力受付部は、前記骨格情報に基づいて、ポーズに使用する可動連結部に関する使用可動連結部情報の入力を受付け、
前記ポーズ設定部は、前記骨格情報及び前記使用可動連結部情報に基づいてポーズ情報を設定する、
請求項１記載の登録装置。
【請求項3】
さらに、操作情報登録部を含み、前記操作情報登録部は、登録した前記ジェスチャー情報に紐づけて、アプリケーションの操作に関する操作情報を登録する、請求項１又は２記載の登録装置。
【請求項4】
登録部、ジェスチャー画像取得部、認識部、及び操作制御部を含み、前記登録部は、請求項３記載の登録装置を用いて、前記骨格情報に基づいて設定されたポーズ情報と、１つ以上の前記ポーズ情報から構成される前記ジェスチャー情報と、前記ジェスチャー情報に紐づけられたアプリケーションの操作に関する前記操作情報とを登録し、
前記ジェスチャー画像取得部は、前記骨格情報を含む１つ以上のポーズ画像から構成されるジェスチャー画像を取得し、
前記認識部は、前記ジェスチャー画像から前記登録したジェスチャー情報を認識し、
前記操作制御部は、前記認識したジェスチャー情報と紐づけられた前記操作情報に基づき、入力装置を制御して、アプリケーションを操作する、操作装置。
【請求項5】
ポーズ登録工程、及びジェスチャー登録工程を含み、前記ポーズ登録工程は、ポーズ画像取得工程、ポーズ設定工程、及び登録工程を含み、
前記ポーズ画像取得工程は、骨格情報を含む登録用ポーズ画像を取得し、
前記ポーズ設定工程は、前記骨格情報に基づいてポーズ情報を設定し、
前記登録工程は、前記設定した前記ポーズ情報を登録し、
前記ジェスチャー登録工程は、入力受付工程、ジェスチャー設定工程、及び登録工程を含み、
前記入力受付工程は、ジェスチャー作成情報の入力を受付け、
前記ジェスチャー作成情報は、ジェスチャーの作成に関する情報であり、１つ以上の前記ポーズ情報のうち、ユーザが選択したポーズ情報に関する情報を含み、
前記ジェスチャー設定工程は、前記ジェスチャー作成情報に基づいて、１つ以上のポーズ情報から構成されるジェスチャー情報を設定し、
前記登録工程は、前記設定した前記ジェスチャー情報を登録する、登録方法。
【請求項6】
さらに、操作情報登録工程を含み、前記操作情報登録工程は、登録した前記ジェスチャー情報に紐づけて、アプリケーションの操作に関する操作情報を登録する、請求項５記載の登録方法。
【請求項7】
登録工程、ジェスチャー画像取得工程、認識工程、及び操作制御工程を含み、前記登録工程は、請求項６記載の登録方法により、前記骨格情報に基づいて設定されたポーズ情報と、１つ以上の前記ポーズ情報から構成される前記ジェスチャー情報と、前記ジェスチャー情報に紐づけられたアプリケーションの操作に関する前記操作情報とを登録し、
前記ジェスチャー画像取得工程は、前記骨格情報を含む１つ以上のポーズ画像から構成されるジェスチャー画像を取得し、
前記認識工程は、前記ジェスチャー画像から前記登録したジェスチャー情報を認識し、
前記操作制御工程は、前記認識したジェスチャー情報と紐づけられた前記操作情報に基づき、入力装置を制御して、アプリケーションを操作する、操作方法。
【請求項8】
コンピュータに、ポーズ登録手順、及びジェスチャー登録手順を含む手順を実行させるためのプログラム：前記ポーズ登録手順は、ポーズ画像取得手順、ポーズ設定手順、及び登録手順を含み、
前記ポーズ画像取得手順は、骨格情報を含む登録用ポーズ画像を取得し、
前記ポーズ設定手順は、前記骨格情報に基づいてポーズ情報を設定し、
前記登録手順は、前記設定した前記ポーズ情報を登録し、
前記ジェスチャー登録手順は、入力受付手順、ジェスチャー設定手順、及び登録手順を含み、
前記入力受付手順は、ジェスチャー作成情報の入力を受付け、
前記ジェスチャー作成情報は、ジェスチャーの作成に関する情報であり、１つ以上の前記ポーズ情報のうち、ユーザが選択したポーズ情報に関する情報を含み、
前記ジェスチャー設定手順は、前記ジェスチャー作成情報に基づいて、１つ以上のポーズ情報から構成されるジェスチャー情報を設定し、
前記登録手順は、前記設定した前記ジェスチャー情報を登録する。
【請求項9】
さらに、操作情報登録手順を含み、前記操作情報登録手順は、登録した前記ジェスチャー情報に紐づけて、アプリケーションの操作に関する操作情報を登録する、請求項８記載のプログラム。
【請求項10】
コンピュータに、登録手順、ジェスチャー画像取得手順、認識手順、及び操作制御手順を含む手順を実行させるためのプログラム：前記登録手順は、請求項９記載のプログラムにより、前記骨格情報に基づいて設定されたポーズ情報と、１つ以上の前記ポーズ情報から構成される前記ジェスチャー情報と、前記ジェスチャー情報に紐づけられたアプリケーションの操作に関する前記操作情報とを登録し、
前記ジェスチャー画像取得手順は、前記骨格情報を含む１つ以上のポーズ画像から構成されるジェスチャー画像を取得し、
前記認識手順は、前記ジェスチャー画像から前記登録したジェスチャー情報を認識し、
前記操作制御手順は、前記認識したジェスチャー情報と紐づけられた前記操作情報に基づき、入力装置を制御して、アプリケーションを操作する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、登録装置、操作装置、登録方法、操作方法、プログラム及び記録媒体に関する。
【背景技術】
【0002】
モーションキャプチャーシステムにおいて、ユーザの複数の姿勢（ポーズ）の流れにより表されるジャスチャーを認識することで、アプリケーションを操作する技術が報告されている（例えば、特許文献１等）
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－１１６３０８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の技術では、人体動作モデルデータベースに基づき生成された候補ジェスチャーの中から、ユーザが選択したジェスチャーを登録する。しかしながら、ユーザ独自のポーズを登録し、且つ前記ポーズからジェスチャーを作成可能な技術が求められている。
【0005】
そこで、本発明は、ユーザ独自のポーズを登録し、且つ前記ポーズからジェスチャーの作成を可能にする登録装置、操作装置、登録方法、操作方法、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の登録装置は、
ポーズ登録部、及びジェスチャー登録部を含み、
前記ポーズ登録部は、ポーズ画像取得部、ポーズ設定部、及び登録部を含み、
前記ポーズ画像取得部は、骨格情報を含む登録用ポーズ画像を取得し、
前記ポーズ設定部は、前記骨格情報に基づいてポーズ情報を設定し、
前記登録部は、前記設定した前記ポーズ情報を登録し、
前記ジェスチャー登録部は、入力受付部、ジェスチャー設定部、及び登録部を含み、
前記入力受付部は、ジェスチャー作成情報の入力を受付け、
前記ジェスチャー作成情報は、ジェスチャーの作成に関する情報であり、１つ以上の前記ポーズ情報のうち、ユーザが選択したポーズ情報に関する情報を含み、
前記ジェスチャー設定部は、前記ジェスチャー作成情報に基づいて、１つ以上のポーズ情報から構成されるジェスチャー情報を設定し、
前記登録部は、前記設定した前記ジェスチャー情報を登録する、装置である。
ポーズ登録部、及びジェスチャー登録部を含み、
前記ポーズ登録部は、ポーズ画像取得部、ポーズ設定部、及び登録部を含み、
前記ポーズ画像取得部は、骨格情報を含む登録用ポーズ画像を取得し、
前記ポーズ設定部は、前記骨格情報に基づいてポーズ情報を設定し、
前記登録部は、前記設定した前記ポーズ情報を登録し、
前記ジェスチャー登録部は、入力受付部、ジェスチャー設定部、及び登録部を含み、
前記入力受付部は、ジェスチャー作成情報の入力を受付け、
前記ジェスチャー作成情報は、ジェスチャーの作成に関する情報であり、１つ以上の前記ポーズ情報のうち、ユーザが選択したポーズ情報に関する情報を含み、
前記ジェスチャー設定部は、前記ジェスチャー作成情報に基づいて、１つ以上のポーズ情報から構成されるジェスチャー情報を設定し、
前記登録部は、前記設定した前記ジェスチャー情報を登録する、装置である。
【0007】
本発明の操作装置は、
登録部、ジェスチャー画像取得部、認識部、及び操作制御部を含み、
前記登録部は、操作情報登録部を含む態様の本発明の登録装置を用いて、前記骨格情報に基づいて設定されたポーズ情報と、１つ以上の前記ポーズ情報から構成される前記ジェスチャー情報と、前記ジェスチャー情報に紐づけられたアプリケーションの操作に関する前記操作情報とを登録し、
前記ジェスチャー画像取得部は、前記骨格情報を含む１つ以上のポーズ画像から構成されるジェスチャー画像を取得し、
前記認識部は、前記ジェスチャー画像から前記登録したジェスチャー情報を認識し、
前記操作制御部は、前記認識したジェスチャー情報と紐づけられた前記操作情報に基づき、入力装置を制御して、アプリケーションを操作する、装置である。
登録部、ジェスチャー画像取得部、認識部、及び操作制御部を含み、
前記登録部は、操作情報登録部を含む態様の本発明の登録装置を用いて、前記骨格情報に基づいて設定されたポーズ情報と、１つ以上の前記ポーズ情報から構成される前記ジェスチャー情報と、前記ジェスチャー情報に紐づけられたアプリケーションの操作に関する前記操作情報とを登録し、
前記ジェスチャー画像取得部は、前記骨格情報を含む１つ以上のポーズ画像から構成されるジェスチャー画像を取得し、
前記認識部は、前記ジェスチャー画像から前記登録したジェスチャー情報を認識し、
前記操作制御部は、前記認識したジェスチャー情報と紐づけられた前記操作情報に基づき、入力装置を制御して、アプリケーションを操作する、装置である。
【0008】
本発明の登録方法は、
ポーズ登録工程、及びジェスチャー登録工程を含み、
前記ポーズ登録工程は、ポーズ画像取得工程、ポーズ設定工程、及び登録工程を含み、
前記ポーズ画像取得工程は、骨格情報を含む登録用ポーズ画像を取得し、
前記ポーズ設定工程は、前記骨格情報に基づいてポーズ情報を設定し、
前記登録工程は、前記設定した前記ポーズ情報を登録し、
前記ジェスチャー登録工程は、入力受付工程、ジェスチャー設定工程、及び登録工程を含み、
前記入力受付工程は、ジェスチャー作成情報の入力を受付け、
前記ジェスチャー作成情報は、ジェスチャーの作成に関する情報であり、１つ以上の前記ポーズ情報のうち、ユーザが選択したポーズ情報に関する情報を含み、
前記ジェスチャー設定工程は、前記ジェスチャー作成情報に基づいて、１つ以上のポーズ情報から構成されるジェスチャー情報を設定し、
前記登録工程は、前記設定した前記ジェスチャー情報を登録する、方法である。
ポーズ登録工程、及びジェスチャー登録工程を含み、
前記ポーズ登録工程は、ポーズ画像取得工程、ポーズ設定工程、及び登録工程を含み、
前記ポーズ画像取得工程は、骨格情報を含む登録用ポーズ画像を取得し、
前記ポーズ設定工程は、前記骨格情報に基づいてポーズ情報を設定し、
前記登録工程は、前記設定した前記ポーズ情報を登録し、
前記ジェスチャー登録工程は、入力受付工程、ジェスチャー設定工程、及び登録工程を含み、
前記入力受付工程は、ジェスチャー作成情報の入力を受付け、
前記ジェスチャー作成情報は、ジェスチャーの作成に関する情報であり、１つ以上の前記ポーズ情報のうち、ユーザが選択したポーズ情報に関する情報を含み、
前記ジェスチャー設定工程は、前記ジェスチャー作成情報に基づいて、１つ以上のポーズ情報から構成されるジェスチャー情報を設定し、
前記登録工程は、前記設定した前記ジェスチャー情報を登録する、方法である。
【0009】
本発明の操作方法は、
登録工程、ジェスチャー画像取得工程、認識工程、及び操作制御工程を含み、
前記登録工程は、操作情報登録工程を含む態様の本発明の登録方法により、前記骨格情報に基づいて設定されたポーズ情報と、１つ以上の前記ポーズ情報から構成される前記ジェスチャー情報と、前記ジェスチャー情報に紐づけられたアプリケーションの操作に関する前記操作情報とを登録し、
前記ジェスチャー画像取得工程は、前記骨格情報を含む１つ以上のポーズ画像から構成されるジェスチャー画像を取得し、
前記認識工程は、前記ジェスチャー画像から前記登録したジェスチャー情報を認識し、
前記操作制御工程は、前記認識したジェスチャー情報と紐づけられた前記操作情報に基づき、入力装置を制御して、アプリケーションを操作する、方法である。
登録工程、ジェスチャー画像取得工程、認識工程、及び操作制御工程を含み、
前記登録工程は、操作情報登録工程を含む態様の本発明の登録方法により、前記骨格情報に基づいて設定されたポーズ情報と、１つ以上の前記ポーズ情報から構成される前記ジェスチャー情報と、前記ジェスチャー情報に紐づけられたアプリケーションの操作に関する前記操作情報とを登録し、
前記ジェスチャー画像取得工程は、前記骨格情報を含む１つ以上のポーズ画像から構成されるジェスチャー画像を取得し、
前記認識工程は、前記ジェスチャー画像から前記登録したジェスチャー情報を認識し、
前記操作制御工程は、前記認識したジェスチャー情報と紐づけられた前記操作情報に基づき、入力装置を制御して、アプリケーションを操作する、方法である。
【発明の効果】
【0010】
本発明によれば、ユーザの思い通りのポーズを登録することができ、且つ前記ポーズからジェスチャーの作成を可能にする。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
本発明の登録装置において、例えば、
前記ポーズ登録部は、さらに、ポーズ要求部、及び認識部を含み、
前記ポーズ要求部は、前記ポーズ情報が示すポーズをとる認証対象が含まれるテスト用ポーズ画像の撮像を要求し、
前記ポーズ画像取得部は、前記骨格情報を含むテスト用ポーズ画像を取得し、
前記認識部は、前記テスト用ポーズ画像から前記設定したポーズ情報を認識し、
前記登録部は、前記ポーズ情報を認識できた場合に、前記ポーズ情報を登録する、という態様であってもよい。
前記ポーズ登録部は、さらに、ポーズ要求部、及び認識部を含み、
前記ポーズ要求部は、前記ポーズ情報が示すポーズをとる認証対象が含まれるテスト用ポーズ画像の撮像を要求し、
前記ポーズ画像取得部は、前記骨格情報を含むテスト用ポーズ画像を取得し、
前記認識部は、前記テスト用ポーズ画像から前記設定したポーズ情報を認識し、
前記登録部は、前記ポーズ情報を認識できた場合に、前記ポーズ情報を登録する、という態様であってもよい。
【0013】
本発明の登録装置において、例えば、
前記ジェスチャー登録部は、さらに、ジェスチャー要求部、ジェスチャー画像取得部、及び認識部を含み、
前記ジェスチャー要求部は、前記ジェスチャー情報が示すジェスチャーをとる前記認証対象が含まれるテスト用ジェスチャー画像の撮像を要求し、
前記ジェスチャー画像取得部は、前記骨格情報を含む１つ以上の前記ポーズ画像から構成されるテスト用ジェスチャー画像を取得し、
前記認識部は、前記テスト用ジェスチャー画像から前記設定したジェスチャー情報を認識し、
前記登録部は、前記ジェスチャー情報を認識できた場合に、前記ジェスチャー情報を登録する、という態様であってもよい。
前記態様において、例えば、
前記ジェスチャー要求部は、前記ジェスチャー情報を構成する前記１つ以上のポーズ情報を表示装置に表示させ、
前記認識部は、前記ポーズ情報毎に、前記ポーズ情報を認識できたか否かを示す視覚情報を前記表示装置に表示されたポーズ情報に重畳して表示させる、という態様であってもよい。
前記ジェスチャー登録部は、さらに、ジェスチャー要求部、ジェスチャー画像取得部、及び認識部を含み、
前記ジェスチャー要求部は、前記ジェスチャー情報が示すジェスチャーをとる前記認証対象が含まれるテスト用ジェスチャー画像の撮像を要求し、
前記ジェスチャー画像取得部は、前記骨格情報を含む１つ以上の前記ポーズ画像から構成されるテスト用ジェスチャー画像を取得し、
前記認識部は、前記テスト用ジェスチャー画像から前記設定したジェスチャー情報を認識し、
前記登録部は、前記ジェスチャー情報を認識できた場合に、前記ジェスチャー情報を登録する、という態様であってもよい。
前記態様において、例えば、
前記ジェスチャー要求部は、前記ジェスチャー情報を構成する前記１つ以上のポーズ情報を表示装置に表示させ、
前記認識部は、前記ポーズ情報毎に、前記ポーズ情報を認識できたか否かを示す視覚情報を前記表示装置に表示されたポーズ情報に重畳して表示させる、という態様であってもよい。
【0014】
本発明の登録装置において、例えば、
前記ポーズ登録部は、さらに、入力受付部を含み、
前記入力受付部は、前記骨格情報に基づいて、ポーズに使用する可動連結部に関する使用可動連結部情報の入力を受付け、
前記ポーズ設定部は、前記骨格情報及び前記使用可動連結部情報に基づいてポーズ情報を設定する、という態様であってもよい。
前記態様において、例えば、前記ポーズ設定部は、表示装置に前記骨格情報を表示させ、且つ前記入力を受付けた前記使用可動連結部情報を示す視覚情報を前記表示装置に表示された骨格情報に重畳して表示させる、という態様であってもよい。
前記ポーズ登録部は、さらに、入力受付部を含み、
前記入力受付部は、前記骨格情報に基づいて、ポーズに使用する可動連結部に関する使用可動連結部情報の入力を受付け、
前記ポーズ設定部は、前記骨格情報及び前記使用可動連結部情報に基づいてポーズ情報を設定する、という態様であってもよい。
前記態様において、例えば、前記ポーズ設定部は、表示装置に前記骨格情報を表示させ、且つ前記入力を受付けた前記使用可動連結部情報を示す視覚情報を前記表示装置に表示された骨格情報に重畳して表示させる、という態様であってもよい。
【0015】
本発明の登録装置において、例えば、
前記ジェスチャー作成情報は、さらに、前記ポーズ情報の制御に関する制御情報を含む、という態様であってもよい。
前記ジェスチャー作成情報は、さらに、前記ポーズ情報の制御に関する制御情報を含む、という態様であってもよい。
【0016】
本発明の登録装置は、例えば、
さらに、操作情報登録部を含み、
前記操作情報登録部は、登録した前記ジェスチャー情報に紐づけて、アプリケーションの操作に関する操作情報を登録する、という態様であってもよい。
さらに、操作情報登録部を含み、
前記操作情報登録部は、登録した前記ジェスチャー情報に紐づけて、アプリケーションの操作に関する操作情報を登録する、という態様であってもよい。
【0017】
本発明の登録方法において、例えば、
前記ポーズ登録工程は、さらに、ポーズ要求工程、及び認識工程を含み、
前記ポーズ要求工程は、前記ポーズ情報が示すポーズをとる認証対象が含まれるテスト用ポーズ画像の撮像を要求し、
前記ポーズ画像取得工程は、前記骨格情報を含むテスト用ポーズ画像を取得し、
前記認識工程は、前記テスト用ポーズ画像から前記設定したポーズ情報を認識し、
前記登録工程は、前記ポーズ情報を認識できた場合に、前記ポーズ情報を登録する、という態様であってもよい。
前記ポーズ登録工程は、さらに、ポーズ要求工程、及び認識工程を含み、
前記ポーズ要求工程は、前記ポーズ情報が示すポーズをとる認証対象が含まれるテスト用ポーズ画像の撮像を要求し、
前記ポーズ画像取得工程は、前記骨格情報を含むテスト用ポーズ画像を取得し、
前記認識工程は、前記テスト用ポーズ画像から前記設定したポーズ情報を認識し、
前記登録工程は、前記ポーズ情報を認識できた場合に、前記ポーズ情報を登録する、という態様であってもよい。
【0018】
本発明の登録方法において、例えば、
前記ジェスチャー登録工程は、さらに、ジェスチャー要求工程、ジェスチャー画像取得工程、及び認識工程を含み、
前記ジェスチャー要求工程は、前記ジェスチャー情報が示すジェスチャーをとる前記認証対象が含まれるテスト用ジェスチャー画像の撮像を要求し、
前記ジェスチャー画像取得工程は、前記骨格情報を含む１つ以上の前記ポーズ画像から構成されるテスト用ジェスチャー画像を取得し、
前記認識工程は、前記テスト用ジェスチャー画像から前記設定したジェスチャー情報を認識し、
前記登録工程は、前記ジェスチャー情報を認識できた場合に、前記ジェスチャー情報を登録する、という態様であってもよい。
前記態様において、例えば、前記ジェスチャー要求工程は、前記ジェスチャー情報を構成する前記１つ以上のポーズ情報を表示装置に表示させ、
前記認識工程は、前記ポーズ情報毎に、前記ポーズ情報を認識できたか否かを示す視覚情報を前記表示装置に表示されたポーズ情報に重畳して表示させる、という態様であってもよい。
前記ジェスチャー登録工程は、さらに、ジェスチャー要求工程、ジェスチャー画像取得工程、及び認識工程を含み、
前記ジェスチャー要求工程は、前記ジェスチャー情報が示すジェスチャーをとる前記認証対象が含まれるテスト用ジェスチャー画像の撮像を要求し、
前記ジェスチャー画像取得工程は、前記骨格情報を含む１つ以上の前記ポーズ画像から構成されるテスト用ジェスチャー画像を取得し、
前記認識工程は、前記テスト用ジェスチャー画像から前記設定したジェスチャー情報を認識し、
前記登録工程は、前記ジェスチャー情報を認識できた場合に、前記ジェスチャー情報を登録する、という態様であってもよい。
前記態様において、例えば、前記ジェスチャー要求工程は、前記ジェスチャー情報を構成する前記１つ以上のポーズ情報を表示装置に表示させ、
前記認識工程は、前記ポーズ情報毎に、前記ポーズ情報を認識できたか否かを示す視覚情報を前記表示装置に表示されたポーズ情報に重畳して表示させる、という態様であってもよい。
【0019】
本発明の登録方法において、例えば、
前記ポーズ登録工程は、さらに、入力受付工程を含み、
前記入力受付工程は、前記骨格情報に基づいて、ポーズに使用する可動連結工程に関する使用可動連結工程情報の入力を受付け、
前記ポーズ設定工程は、前記骨格情報及び前記使用可動連結工程情報に基づいてポーズ情報を設定する、という態様であってもよい。
前記態様において、前記ポーズ設定工程は、表示装置に前記骨格情報を表示させ、且つ前記入力を受付けた前記使用可動連結部情報を示す視覚情報を前記表示装置に表示された骨格情報に重畳して表示させる、という態様であってもよい。
前記ポーズ登録工程は、さらに、入力受付工程を含み、
前記入力受付工程は、前記骨格情報に基づいて、ポーズに使用する可動連結工程に関する使用可動連結工程情報の入力を受付け、
前記ポーズ設定工程は、前記骨格情報及び前記使用可動連結工程情報に基づいてポーズ情報を設定する、という態様であってもよい。
前記態様において、前記ポーズ設定工程は、表示装置に前記骨格情報を表示させ、且つ前記入力を受付けた前記使用可動連結部情報を示す視覚情報を前記表示装置に表示された骨格情報に重畳して表示させる、という態様であってもよい。
【0020】
本発明の登録方法において、例えば、
前記ジェスチャー作成情報は、さらに、前記ポーズ情報の制御に関する制御情報を含む、という態様であってもよい。
前記ジェスチャー作成情報は、さらに、前記ポーズ情報の制御に関する制御情報を含む、という態様であってもよい。
【0021】
本発明の登録方法は、例えば、
さらに、操作情報登録工程を含み、
前記操作情報登録工程は、登録した前記ジェスチャー情報に紐づけて、アプリケーションの操作に関する操作情報を登録する、という態様であってもよい。
さらに、操作情報登録工程を含み、
前記操作情報登録工程は、登録した前記ジェスチャー情報に紐づけて、アプリケーションの操作に関する操作情報を登録する、という態様であってもよい。
【0022】
本発明のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。
【0023】
本発明の記録媒体は、本発明のプログラムを記録しているコンピュータ読み取り可能な記録媒体である。
【0024】
本発明において、「ポーズ」とは、認証対象がとる姿勢を意味する。前記ポーズは、例えば、前記認証対象が意識してとったポーズであってもよいし、意識せずとったポーズであってもよい。本発明において、「ジェスチャー」とは、１つ以上の前記ポーズから構成される一連の動作の流れを意味する。本発明において、「認証対象」は、特に制限されず、例えば、ヒトでもよいし、ヒト以外の動物であってもよいし、ロボット等であってもよい。
【0025】
次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
【0026】
［実施形態１］
図１は、本実施形態の登録装置１００の一例の構成を示すブロック図である。図１に示すように、本装置１００は、ポーズ登録部１０、及びジェスチャー登録部２０を含む。本装置１００は、例えば、任意の構成として、さらに、操作情報登録部３０及び撮像部４０を含んでもよい。ポーズ登録部１０は、ポーズ画像取得部１１、ポーズ設定部１２、及び登録部１５を含む。ポーズ登録部１０は、例えば、任意の構成として、さらに、ポーズ要求部１３、認識部１４、入力受付部１６を含んでもよい。ジェスチャー登録部２０は、入力受付部２１、ジェスチャー設定部２２、及び登録部２６を含む。ジェスチャー登録部２０は、例えば、任意の構成として、さらに、ジェスチャー要求部２３、ジェスチャー画像取得部２４、認識部２５を含んでもよい。
図１は、本実施形態の登録装置１００の一例の構成を示すブロック図である。図１に示すように、本装置１００は、ポーズ登録部１０、及びジェスチャー登録部２０を含む。本装置１００は、例えば、任意の構成として、さらに、操作情報登録部３０及び撮像部４０を含んでもよい。ポーズ登録部１０は、ポーズ画像取得部１１、ポーズ設定部１２、及び登録部１５を含む。ポーズ登録部１０は、例えば、任意の構成として、さらに、ポーズ要求部１３、認識部１４、入力受付部１６を含んでもよい。ジェスチャー登録部２０は、入力受付部２１、ジェスチャー設定部２２、及び登録部２６を含む。ジェスチャー登録部２０は、例えば、任意の構成として、さらに、ジェスチャー要求部２３、ジェスチャー画像取得部２４、認識部２５を含んでもよい。
【0027】
本装置１００は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置１００は、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。本装置１００は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置１００は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。さらに、本装置１００は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
【0028】
図２に、本装置１００のハードウエア構成のブロック図を例示する。本装置１００は、例えば、中央処理装置（ＣＰＵ、ＧＰＵ等）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、表示装置１０６、通信デバイス１０７等を含む。さらに、本装置１００のハードウエア構成は、例えば、任意の構成として、さらに、撮像装置１０８を含んでもよい。本装置１００の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。
【0029】
中央処理装置１０１は、本装置１００の全体の制御を担う。本装置１００において、中央処理装置１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、中央処理装置１０１が、ポーズ登録部１０、及びジェスチャー登録部２０として機能する。また、中央処理装置１０１は、例えば、操作情報登録部３０としても機能する。
【0030】
バス１０３は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置（外部データベース等）、プリンター、外部入力装置、外部表示装置、外部撮像装置等があげられる。本装置１００は、例えば、バス１０３に接続された通信デバイス１０７により、外部ネットワーク（前記通信回線網）に接続でき、外部ネットワークを介して、他の装置と接続することもできる。
【0031】
メモリ１０２は、例えば、メインメモリ（主記憶装置）が挙げられる。中央処理装置１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ１０２が読み込み、中央処理装置１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。また、メモリ１０２は、例えば、ＲＯＭ（読み出し専用メモリ）であってもよい。
【0032】
記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置１０４は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置１０４は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）であってもよい。
【0033】
本装置１００において、メモリ１０２及び記憶装置１０４は、ユーザのログ情報、並びに、外部データベース（図示せず）から取得した情報を記憶することも可能である。
【0034】
本装置１００は、例えば、さらに、入力装置１０５、表示装置１０６、及び撮像装置１０８を含んでもよい。入力装置１０５は、例えば、タッチパネル、キーボード、マウス等である。表示装置１０６は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等が挙げられる。撮像装置１０８は、例えば、カメラ（２Ｄカメラ、３Ｄカメラ等）等が挙げられ、撮像部４０として機能する。
【0035】
つぎに、本実施形態の登録方法の一例を、図３のフローチャートに基づき説明する。本実施形態の登録方法は、例えば、図１の登録装置１００を用いて、次のように実施する。なお、本実施形態の登録方法は、図１の登録装置１００の使用には限定されない。
【0036】
まず、ポーズ登録部１０によるポーズの登録を行う（Ｓ１０）。そして、ジェスチャー登録部２０によるジェスチャーの登録を行い（Ｓ２０）、終了する（ＥＮＤ）。
【0037】
ポーズ登録部１０の処理について具体的に説明する。まず、ポーズ画像取得部１１により、骨格情報を含む登録用ポーズ画像を取得する（Ｓ１１）。前記骨格情報は、例えば、認証対象の各可動連結部の位置情報（例えば、３次元位置情報）と、骨格線情報とを含む。前記骨格線情報とは、例えば、前記認証対象の構成に沿って前記各可動連結部を線で結んだものである。具体的に、認証対象がヒトである場合は、身体の各関節の位置情報と、身体の構成に沿って前記各関節間を結んだ骨格線情報とを含む。前記登録用ポーズ画像は、例えば、静止画でもよいし、動画であってもよい。ポーズ画像取得部１１は、例えば、前記通信回線網を介して、外部装置から前記登録用ポーズ画像を取得してもよい。本装置１００が撮像部４０を備える場合、ポーズ画像取得部１１は、例えば、撮像部４０が撮像した前記登録用ポーズ画像を取得してもよい。また、本装置１００は、例えば、公知のモーションキャプチャー技術（例えば、3DiVi社のNuitrack等）を用いて、前記登録用ポーズ画像を取得してもよい。
【0038】
次に、ポーズ設定部１２により、前記骨格情報に基づいてポーズ情報を設定する（Ｓ１２）。前記ポーズ情報とは、例えば、前記骨格情報と前記ポーズとの関係を示す情報である。また、ポーズ登録部１０が入力受付部１６を含む場合は、例えば、図３に示すように、前記工程（Ｓ１１）の後に、入力受付部１６により、前記骨格情報に基づいて、ポーズに使用する可動連結部に関する使用可動連結部情報の入力を受付けてもよい（Ｓ１７）。そして、前記工程（Ｓ１２）において、ポーズ設定部１２により、前記骨格情報及び前記使用可動連結部情報に基づいてポーズ情報を設定してもよい。「使用する可動連結部」とは、例えば、ポーズに使用する可動連結部の位置、ポーズのポイントとなる可動連結部の位置を意味する。具体的に、前記使用する可動連結部としては、例えば、動きが少ない可動連結部（関節であれば、頭、首、胴体等）と、動作の末端となる可動連結部（関節であれば、手首、足首等）とが含まれることが好ましい。入力受付部１６は、例えば、入力装置（入力装置１０５や外部入力装置等）を介して、ユーザから入力された前記使用可動連結部情報を受け付けてもよいし、本装置１００が前記通信回線網を介して外部から取得した前記使用可動連結部情報の入力を受け付けてもよい。ポーズ設定部１２は、例えば、表示装置に前記骨格情報を表示させ、且つ前記入力を受付けた前記使用可動連結部情報を示す視覚情報を前記表示装置に表示された骨格情報に重畳して表示させてもよい。前記表示装置は、特に制限されず、例えば、外部表示装置でもよいし、表示装置１０６であってもよい。前記視覚情報は、例えば、色、記号、図形等である。具体的には、例えば、前記表示装置に表示された前記骨格情報の可動連結部において、前記使用可動連結部情報が示す可動連結部の色や図形等を、前記使用可動連結部情報が示していない可動連結部の色（例えば、白）や形（例えば、丸）等と異なる色（例えば、緑）や形（例えば、三角）等で表示させる。これにより、ポーズに使用する可動連結部がどこであるか、ユーザが視覚的に分かり易くなる。
【0039】
次に、例えば、ポーズ要求部１３により、前記ポーズ情報が示すポーズをとる認証対象が含まれるテスト用ポーズ画像の撮像を要求してもよい（Ｓ１３）。前記要求は、例えば、外部撮像装置に対する要求してもよいし、本装置１００が備える撮像装置１０８に対する要求してもよい。
【0040】
次に、例えば、ポーズ画像取得部１１により、前記骨格情報を含むテスト用ポーズ画像を取得してもよい（Ｓ１４）。前記テスト用ポーズ画像は、例えば、静止画でもよいし、動画であってもよい。ポーズ画像取得部１１は、例えば、前記通信回線網を介して、外部装置から前記テスト用ポーズ画像を取得してもよい。本装置１００が撮像部４０を備える場合、ポーズ画像取得部１１は、例えば、撮像部４０が撮像した前記テスト用ポーズ画像を取得してもよい。また、本装置１００は、例えば、公知のモーションキャプチャー技術（例えば、3DiVi社のNuitrack等）を用いて、前記テスト用ポーズ画像を取得してもよい。
【0041】
次に、例えば、認識部１４により、前記テスト用ポーズ画像から前記設定したポーズ情報を認識する（Ｓ１５）。ポーズ設定部１２が前記骨格情報及び前記使用可動連結部情報に基づいてポーズ情報を設定した場合、認識部１４は、例えば、前記テスト用ポーズ画像の前記骨格情報のうち、前記使用可動連結部情報が示す前記可動連結部に基づいて、前記設定したポーズ情報を認識してもよい。
【0042】
なお、前記工程（Ｓ１３）～前記工程（Ｓ１５）は、任意の工程であり、これらを実行せずに、前記工程（Ｓ１２）に続けて後述の工程（Ｓ１６）を処理してもよい。
【0043】
そして、登録部１５により、前記ポーズ情報を登録し（Ｓ１６）、ポーズ登録部１０の処理を終了する。認識部１４による認識を行う場合は、例えば、前記ポーズ情報を認識できた場合に、前記ポーズ情報を登録してもよい。前記ポーズ情報は、例えば、メモリ１０２及び記憶装置１０４に登録されてもよいし、外部記憶装置に登録されてもよい。
【0044】
ジェスチャー登録部２０の処理について具体的に説明する。まず、入力受付部２１により、ジェスチャー作成情報の入力を受付ける（Ｓ２１）。前記ジェスチャー作成情報は、ジェスチャーの作成に関する情報であり、１つ以上の前記ポーズ情報のうち、ユーザが選択したポーズ情報に関する情報を含む。「１つ以上の前記ポーズ情報」とは、前記工程（Ｓ１０）においてポーズ登録部１０により登録されたポーズ情報のみならず、例えば、本装置１００に予め登録（記憶）されているポーズ情報が含まれていてもよい。前記ユーザが選択したポーズ情報に関する情報には、例えば、前記ポーズ情報の順序に関する情報が含まれていてもよい。前記ジェスチャー情報は、例えば、さらに、前記ポーズ情報の制御に関する制御情報を含んでもよい。前記制御情報は、例えば、ポーズの繰り返しに関する情報、ジェスチャー及びポーズの少なくとも一方の動作に関する制限時間等がある。入力受付部２１は、例えば、入力装置（入力装置１０５や外部入力装置等）を介して、ユーザから入力された前記ジェスチャー作成情報を受け付けてもよいし、本装置１００が前記通信回線網を介して外部から取得した前記ジェスチャー作成情報の入力を受け付けてもよい。
【0045】
次に、ジェスチャー設定部２２により、前記ジェスチャー作成情報に基づいて、１つ以上のポーズ情報から構成されるジェスチャー情報を設定する（Ｓ２２）。
【0046】
次に、例えば、ジェスチャー要求部２３により、前記ジェスチャー情報が示すジェスチャーをとる前記認証対象が含まれるテスト用ジェスチャー画像の撮像を要求してもよい（Ｓ２３）。前記要求は、例えば、外部撮像装置に対する要求してもよいし、本装置１００が備える撮像装置１０８に対する要求してもよい。
【0047】
次に、例えば、ジェスチャー画像取得部２４により、前記骨格情報を含む１つ以上の前記ポーズ画像から構成されるテスト用ジェスチャー画像を取得してもよい（Ｓ２４）。前記テスト用ジェスチャー画像は、例えば、静止画でもよいし、動画であってもよい。ジェスチャー画像取得部２４は、例えば、前記通信回線網を介して、外部装置から前記テスト用ジェスチャー画像を取得してもよい。本装置１００が撮像部４０を備える場合、ジェスチャー画像取得部２４は、例えば、撮像部４０が撮像した前記テスト用ジェスチャー画像を取得してもよい。また、本装置１００は、例えば、公知のモーションキャプチャー技術（例えば、3DiVi社のNuitrack等）を用いて、前記テスト用ジェスチャー画像を取得してもよい。
【0048】
次に、例えば、認識部２５により、前記テスト用ジェスチャー画像から前記設定したジェスチャー情報を認識してもよい（Ｓ２５）。具体的に、認識部２５は、例えば、１つ以上のポーズ情報を認識することで、前記ジェスチャー情報を認識する。つまり、ポーズ情報が２つ以上である場合、認識部２５は、例えば、認識部１４による処理を繰り返し実行することになる。ポーズ情報の認識に関する具体的な処理は、認識部１４と同様である。
【0049】
なお、前記工程（Ｓ２３）～前記工程（Ｓ２５）は、任意の工程であり、これらを実行せずに、前記工程（Ｓ２２）に続けて後述の工程（Ｓ２６）を処理してもよい。
【0050】
そして、登録部２６により、前記ジェスチャー情報を登録し（Ｓ２６）、ジェスチャー登録部２０の処理を終了する。認識部２５による認識を行う場合は、例えば、前記ジェスチャー情報を認識できた場合に、前記ポーズ情報を登録してもよい。前記ジェスチャー情報は、例えば、メモリ１０２及び記憶装置１０４に登録されてもよいし、外部記憶装置に登録されてもよい。
【0051】
前記工程（Ｓ１５）及び前記工程（Ｓ２５）において、認識部１４及び２５が前記ポーズ情報及び前記ジェスチャー情報を認識できなかった場合は、例えば、前記工程（Ｓ１３）～前記工程（Ｓ１５）及び前記工程（Ｓ２３）～前記工程（Ｓ２５）を繰り返し実行してもよい。また、認識部１４及び２５は、例えば、前記ポーズ情報及び前記ジェスチャー情報を認識できた場合及び認識できなかった場合の少なくとも一方の場合において、そのことを示す認識情報を表示装置（外部表示装置及び表示装置１０６等）や外部装置（例えば、ユーザの端末（ＰＣ、スマートフォン、タブレット端末等））に通知してもよい。さらに、認識部１４及び２５は、例えば、予め設定した制限時間内に前記ポーズ情報及び前記ジェスチャー情報を認識する態様であってもよい。この場合、認識部１４及び２５は、例えば、前記制限時間を超過した場合は、前記ポーズ情報及び前記ジェスチャー情報を認識できなかったとして処理する。前記制限時間は、任意に設定でき、前記ジェスチャー情報においては、例えば、前記ジェスチャー情報全体の制限時間であってもよいし、前記ジェスチャー情報を構成する各ポーズ情報毎の制限時間であってもよい。
【0052】
前記工程（Ｓ２３）において、ジェスチャー要求部２３は、例えば、さらに、前記ジェスチャー情報を構成する前記１つ以上のポーズ情報を表示装置に表示させてもよい。前記表示装置は、特に制限されず、外部表示装置でもよいし、表示装置１０６であってもよい。そして、前記工程（Ｓ２５）において、認識部２５は、例えば、前記ポーズ情報毎に、前記ポーズ情報を認識できたか否かを示す視覚情報を前記表示装置に表示されたポーズ情報に重畳して表示させてもよい。前記視覚情報は、前記認識の結果毎に異なる視覚的に識別可能な情報であればよく、例えば、文字、記号、図形等がある。より具体的な例示としては、例えば、前記表示装置に表示された各ポーズ情報を囲う枠等があり、認識された場合と認識されなかった場合とで前記枠の色が異なる。これにより、例えば、各ポーズ情報が認識されたか否か、ジェスチャー情報が認識されなかった場合にどのポーズ情報が認識されなかったのかをユーザ（例えば、認証対象）が把握することができる。
【0053】
本装置１００は、前述のように、例えば、さらに、操作情報登録部３０を含んでもよい。操作情報登録部３０は、図３に示すように、前記工程（Ｓ２０）の後に続けて、登録した前記ジェスチャー情報に紐づけて、アプリケーションの操作に関する操作情報を登録する（Ｓ３０）。前記操作情報（イベントともいう）は、例えば、マウスイベント、キーイベント等がある。前記マウスイベントとしては、例えば、クリック操作、ポインターの移動操作、ホイール操作（スクロール操作）等がある。前記キーイベントとしては、例えば、キーボード上の各種キーの入力操作等がある。これにより、例えば、本装置１００を操作装置に適用することができる。前記操作装置は、特に制限されないが、認証対象の動作によって各種操作が可能な装置であり、具体的には、例えば、実施形態２記載の操作装置２００がある。
【0054】
本装置１００は、前述のように、例えば、さらに、撮像部４０を含んでもよい。撮像部４０は、例えば、前記工程（Ｓ１１）、前記工程（Ｓ１４）、及び前記工程（Ｓ２４）の前に、各画像を撮像する（図３に図示せず）。
【0055】
本実施形態によれば、ポーズ登録部１０における処理によりユーザ独自のポーズを登録することができる。また、本実施形態によれば、ポーズ登録部１０における処理により登録した前記ポーズを含む１つ以上のポーズからジェスチャーの作成を可能にする。さらに、本実施形態によれば、前記ポーズ情報及び前記ジェスチャー情報の登録前に、テスト用ポーズ画像及びテスト用ジェスチャー画像を取得して、前記ポーズ情報及び前記ジェスチャー情報を認識できるかテストすることで、前記ポーズ情報及び前記ジェスチャー情報の誤登録を防ぐことができる。また、本実施形態は、例えば、前記使用可動連結部に基づいて前記ポーズ情報を設定することで、ユーザの意図しないポーズ情報の登録を防ぐことができ、且つ認識部１４及び２５による認識の精度を向上させることができる。さらに、本実施形態は、例えば、テスト用ポーズ画像及びテスト用ジェスチャー画像に、前記使用可動連結部情報を重畳して表示させることもできる。
【0056】
［実施形態２］
図４は、本実施形態の操作装置２００の一例の構成を示すブロック図である。図４に示すように、本装置２００は、登録部２０１、ジェスチャー画像取得部２０２、認識部２０３、及び操作制御部２０４を含む。本装置２００は、例えば、任意の構成として、さらに、撮像部２０５を含んでもよい。
図４は、本実施形態の操作装置２００の一例の構成を示すブロック図である。図４に示すように、本装置２００は、登録部２０１、ジェスチャー画像取得部２０２、認識部２０３、及び操作制御部２０４を含む。本装置２００は、例えば、任意の構成として、さらに、撮像部２０５を含んでもよい。
【0057】
本装置２００は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、前記通信回線網を介して接続可能な装置でもよい。また、本装置２００は、前記通信回線網を介して、前述の外部装置と接続可能である。前記通信回線網は、例えば、前述と同様である。本装置２００は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置２００は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。さらに、本装置２００は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
【0058】
【0059】
中央処理装置１０１は、例えば、登録部２０１、ジェスチャー画像取得部２０２、認識部２０３、及び操作制御部２０４として機能する。
【0060】
撮像装置１０８は、例えば、撮像部２０５として機能する。
【0061】
つぎに、本実施形態の操作方法の一例を、図６のフローチャートに基づき説明する。本実施形態の操作方法は、例えば、図４の操作装置２００を用いて、次のように実施する。なお、本実施形態の操作方法は、図４の操作装置２００の使用には限定されない。
【0062】
まず、登録部２０１により、前記実施形態１記載の操作情報登録部３０を含む態様の登録装置１００を用いて、前記骨格情報に基づいて設定された前記ポーズ情報と、１つ以上の前記ポーズ情報から構成される前記ジェスチャー情報と、前記ジェスチャー情報に紐づけられたアプリケーションの操作に関する前記操作情報とを登録する（Ｓ２０１）。
【0063】
次に、ジェスチャー画像取得部２０２により、前記骨格情報を含む１つ以上のポーズ画像から構成されるジェスチャー画像を取得する（Ｓ２０２）。具体的には、例えば、登録装置１００のジェスチャー画像取得部２４における処理と同様である。ジェスチャー画像取得部２０２は、例えば、登録装置１００のジェスチャー画像取得部２４を用いてもよい。
【0064】
次に、認識部２０３により、前記ジェスチャー画像から前記登録したジェスチャー情報を認識する（Ｓ２０３）。具体的には、例えば、登録装置１００の認識部２５における処理と同様である。認識部２０３は、例えば、登録装置１００の認識部２５を用いてもよい。
【0065】
そして、操作制御部２０４により、前記認識したジェスチャー情報と紐づけられた前記操作情報に基づき、入力装置を制御して、アプリケーションを操作し（Ｓ２０４）、終了する（ＥＮＤ）。前記入力装置は、例えば、外部入力装置でもよいし、入力装置１０５であってもよい。前記アプリケーションは、特に制限されず、例えば、メモリ１０２及び記憶装置１０４に記憶されているアプリケーションであり、オペレーティングシステムであってもよいし、オペレーティングシステム以外のアプリケーションであってもよい。
【0066】
本装置２００は、前述のように、例えば、さらに、撮像部２０５を含んでもよい。撮像部２０５は、例えば、前記工程（Ｓ２０１）における処理中、及び前記工程（Ｓ２０２）の前に、各画像を撮像する（図６に図示せず）。
【0067】
本実施形態によれば、登録部２０１における処理により、前記実施形態１と同様に、ユーザ独自のポーズ情報を登録することができ、１つ以上のポーズからジェスチャーの作成を可能にする。さらに、本実施形態によれば、作成したジェスチャーを用いて、入力装置を使用することなく、アプリケーションの操作が可能になる。入力装置を使用しないこと、すなわち、非接触操作が可能になることで、例えば、作業効率の向上、衛生上のリスク低減、入力装置の破損防止等の効果が得られる。
【0068】
【0069】
図７は、ディスプレイに表示されたポーズ画像を撮像する一例を示す図である。前記ポーズ画像は、登録用ポーズ画像でもよいし、テスト用ポーズ画像でもよい。図７において、ディスプレイ１は、タッチディスプレイである。図７に示すように、ディスプレイ１には、前記ポーズ画像のプレビュー画像が表示されている。前記プレビュー画像には、例えば、図７に示すように、前記ポーズ画像と同様に、骨格情報が含まれている。前記骨格情報は、例えば、全身でもよいし、下半身だけ、上半身だけ、半身だけであってもよい。なお、図７に示す例では、ユーザの正面の姿を撮像している（他図においても同様）。
【0070】
ポーズ画像は、例えば、下記（１）～（５）の手順に従って撮像される。
（１）ディスプレイ１に表示された「撮像開始」を押下する。
（２）撮像までのカウントダウンを開始し、カウントがディスプレイ１に表示される。
（３）ユーザがプレビュー画像でポーズを確認しながら、ポーズをとる。
（４）カウントが０になると撮像を開始し、撮像中、前記ユーザは前記ポーズをとり静止する。
（５）撮像終了。
（１）ディスプレイ１に表示された「撮像開始」を押下する。
（２）撮像までのカウントダウンを開始し、カウントがディスプレイ１に表示される。
（３）ユーザがプレビュー画像でポーズを確認しながら、ポーズをとる。
（４）カウントが０になると撮像を開始し、撮像中、前記ユーザは前記ポーズをとり静止する。
（５）撮像終了。
【0071】
図８は、前記骨格情報及び前記使用可動連結部情報に基づいてポーズ情報を設定する一例を示す図である。図８に示す骨格情報において、関節（可動連結部）を丸印にて示す。具体的には、例えば、下記（１）～（５）の手順に従って設定される。
（１）撮像したポーズ画像に含まれる骨格情報がディスプレイ１に表示される。
（２）ユーザがポーズに使用する関節を選択する。
（３）前記骨格情報において、選択された関節と選択されていない関節とが識別可能な状態（例えば、丸印が違う色で塗りつぶされる等）でディスプレイ１に表示される。
（４）前記骨格情報と前記選択された関節とに基づいてポーズ情報を設定する。
（５）設定終了。
（１）撮像したポーズ画像に含まれる骨格情報がディスプレイ１に表示される。
（２）ユーザがポーズに使用する関節を選択する。
（３）前記骨格情報において、選択された関節と選択されていない関節とが識別可能な状態（例えば、丸印が違う色で塗りつぶされる等）でディスプレイ１に表示される。
（４）前記骨格情報と前記選択された関節とに基づいてポーズ情報を設定する。
（５）設定終了。
【0072】
登録装置１００は、例えば、図８に示すように、ディスプレイ１に表示された「撮影しなおす」が押下されることで、前記ポーズ画像が再撮像されてもよい。
【0073】
図８に示すように、手の位置にポイントのあるポーズであれば、使用可動連結部情報を用いることで、登録装置１００は、例えば、テスト用ポーズ画像における足の位置が登録したポーズ情報と異なる場合であっても、手の位置が登録したポーズ情報と同程度であれば、前記登録したポーズ情報として認識することができる。
【0074】
前記ポーズ情報の設定終了後、例えば、図８に示すように、ディスプレイ１に表示されている「テスト」を押下することで、ポーズ要求部１３によるテスト用ポーズ画像の要求、ポーズ画像取得部１１によるテスト用ポーズ画像の取得、認識部１４による認識が実行される。そして、前記ポーズ情報を認識できた場合に、登録部１５によるポーズ情報の登録が実行される。前記ポーズ情報には、例えば、ポーズ毎に固有の名称が含まれていてもよい。登録装置１００は、例えば、前記ポーズ毎に任意の名称を付して登録可能であってもよい。前記ポーズ情報が認識できたか否かを示す結果は、例えば、ディスプレイ１に表示される。
【0075】
図９～図１１は、登録されるジェスチャー情報の一例である。例えば、図９に示すジェスチャー「バイバイ」は、頭を固定し、左手及び左肘を下したまま、右手及び右肘を右斜めに挙げたポーズと、右手及び右肘を頭上に挙げたポーズとを２回繰り返す動作によって構成される。また、図９に示すジェスチャー「下フリック」は、頭を固定し、左手及び左肘を下したまま、右手及び右肘を頭上に挙げたポーズと、右手及び右肘を右横に伸ばしたポーズと、右手及び右肘を下したポーズとの一連の流れによって構成される。図１０に示すジェスチャー「左フリック」は、頭を固定し、右手及び右肘と、左手及び左肘とを下したポーズと、右手及び右肘を頭上に挙げて且つ左手及び左肘を左横に伸ばしたポーズとの一連の流れによって構成される。また、図１０に示すジェスチャー「右フリック」は、頭を固定し、右手及び右肘と、左手及び左肘とを下したポーズと、右手及び右肘を右横に伸ばし且つ左手及び左肘を頭上に挙げたポーズとの一連の流れによって構成される。図１１に示すジェスチャー「上フリック」は、頭を固定し、左手及び左肘を下したまま、右手及び右肘を下したポーズと、右手及び右肘を右横に伸ばしたポーズと、右手及び右肘を頭上に挙げたポーズとの一連の流れによって構成される。
【0076】
【0077】
図１２は、操作装置２００を工場での大型工作機械の操作に適用した一例である。操作装置２００の導入前は、図１２左図に示すように、作業者が入力操作の度に入力装置まで移動する必要があり、作業者の導線が長くなるという問題がある。また、手袋の着脱等の手間が生じる。しかしながら、操作装置２００の導入後は、作業者が入力装置まで移動する必要がなく、その場でジェスチャーすることにより入力操作が可能である。これにより、作業者の導線を短縮可能であり、また、手袋の着脱等の手間が生じない。図１２において、前記ジェスチャーは、３Ｄカメラによって撮像され、前記撮像されたデータが前記通信回線網を介して、操作装置２００に送信される（図１３及び１４も同様）。
【0078】
図１３は、操作装置２００を手術室でのモニタ画像の操作に適用した一例である。操作装置２００の導入前は、図１３左図に示すように、アシスタントがモニタ画面を操作して、ＭＲＩ画像等の閲覧を可能にしていた。しかしながら、操作装置２００の導入後は、アシスタントを配置する必要がなく、ドクターがその場でジェスチャーすることによりモニタ画面の操作が可能である。これにより、人件費を抑えることができる。
【0079】
図１４は、操作装置２００をデジタルサイネージや案内板の操作に適用した一例である。操作装置２００の導入前は、図１４左図に示すように、多数の人が前記デジタルサイネージ等に触れて操作（接触操作）するため、デジタルサイネージ等の破損や毀損等の恐れがあった。また、前記接触操作により、菌やウイルス等の感染リスクが高まるという問題がある。しかしながら、操作装置２００の導入後は、ジェスチャーによる操作、すなわち、非接触操作が可能である。これにより、破損、毀損等の恐れがなく、感染リスクを抑えることができる。
【0080】
［実施形態５］
本実施形態のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。本発明において、「手順」は、「処理」と読み替えてもよい。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されていてもよい。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等が挙げられる。
本実施形態のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。本発明において、「手順」は、「処理」と読み替えてもよい。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されていてもよい。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等が挙げられる。
【0081】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【0082】
＜付記＞
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
ポーズ登録部、及びジェスチャー登録部を含み、
前記ポーズ登録部は、ポーズ画像取得部、ポーズ設定部、及び登録部を含み、
前記ポーズ画像取得部は、骨格情報を含む登録用ポーズ画像を取得し、
前記ポーズ設定部は、前記骨格情報に基づいてポーズ情報を設定し、
前記登録部は、前記設定した前記ポーズ情報を登録し、
前記ジェスチャー登録部は、入力受付部、ジェスチャー設定部、及び登録部を含み、
前記入力受付部は、ジェスチャー作成情報の入力を受付け、
前記ジェスチャー作成情報は、ジェスチャーの作成に関する情報であり、複数の前記ポーズ情報のうち、ユーザが選択したポーズ情報に関する情報を含み、
前記ジェスチャー設定部は、前記ジェスチャー作成情報に基づいて、１つ以上のポーズ情報から構成されるジェスチャー情報を設定し、
前記登録部は、前記設定した前記ジェスチャー情報を登録する、登録装置。
（付記２）
前記ポーズ登録部は、さらに、ポーズ要求部、及び認識部を含み、
前記ポーズ要求部は、前記ポーズ情報が示すポーズをとる認証対象が含まれるテスト用ポーズ画像の撮像を要求し、
前記ポーズ画像取得部は、前記骨格情報を含むテスト用ポーズ画像を取得し、
前記認識部は、前記テスト用ポーズ画像から前記設定したポーズ情報を認識し、
前記登録部は、前記ポーズ情報を認識できた場合に、前記ポーズ情報を登録する、付記１記載の登録装置。
（付記３）
前記ジェスチャー登録部は、さらに、ジェスチャー要求部、ジェスチャー画像取得部、及び認識部を含み、
前記ジェスチャー要求部は、前記ジェスチャー情報が示すジェスチャーをとる前記認証対象が含まれるテスト用ジェスチャー画像の撮像を要求し、
前記ジェスチャー画像取得部は、前記骨格情報を含む１つ以上の前記ポーズ画像から構成されるテスト用ジェスチャー画像を取得し、
前記認識部は、前記テスト用ジェスチャー画像から前記設定したジェスチャー情報を認識し、
前記登録部は、前記ジェスチャー情報を認識できた場合に、前記ジェスチャー情報を登録する、付記１又は２記載の登録装置。
（付記４）
前記ジェスチャー要求部は、前記ジェスチャー情報を構成する前記１つ以上のポーズ情報を表示装置に表示させ、
前記認識部は、前記ポーズ情報毎に、前記ポーズ情報を認識できたか否かを示す視覚情報を前記表示装置に表示されたポーズ情報に重畳して表示させる、付記３記載の登録装置。
（付記５）
前記ポーズ登録部は、さらに、入力受付部を含み、
前記入力受付部は、前記骨格情報に基づいて、ポーズに使用する可動連結部に関する使用可動連結部情報の入力を受付け、
前記ポーズ設定部は、前記骨格情報及び前記使用可動連結部情報に基づいてポーズ情報を設定する、付記１から４のいずれかに記載の登録装置。
（付記６）
前記ポーズ設定部は、表示装置に前記骨格情報を表示させ、且つ前記入力を受付けた前記使用可動連結部情報を示す視覚情報を前記表示装置に表示された骨格情報に重畳して表示させる、付記５記載の登録装置。
（付記７）
前記ジェスチャー作成情報は、さらに、前記ポーズ情報の制御に関する制御情報を含む、付記１から６のいずれかに記載の登録装置。
（付記８）
さらに、操作情報登録部を含み、
前記操作情報登録部は、登録した前記ジェスチャー情報に紐づけて、アプリケーションの操作に関する操作情報を登録する、付記１から７のいずれかに記載の登録装置。
（付記９）
登録部、ジェスチャー画像取得部、認識部、及び操作制御部を含み、
前記登録部は、付記８記載の登録装置を用いて、前記骨格情報に基づいて設定されたポーズ情報と、１つ以上の前記ポーズ情報から構成される前記ジェスチャー情報と、前記ジェスチャー情報に紐づけられたアプリケーションの操作に関する前記操作情報とを登録し、
前記ジェスチャー画像取得部は、前記骨格情報を含む１つ以上のポーズ画像から構成されるジェスチャー画像を取得し、
前記認識部は、前記ジェスチャー画像から前記登録したジェスチャー情報を認識し、
前記操作制御部は、前記認識したジェスチャー情報と紐づけられた前記操作情報に基づき、入力装置を制御して、アプリケーションを操作する、操作装置。
（付記１０）
ポーズ登録工程、及びジェスチャー登録工程を含み、
前記ポーズ登録工程は、ポーズ画像取得工程、ポーズ設定工程、及び登録工程を含み、
前記ポーズ画像取得工程は、骨格情報を含む登録用ポーズ画像を取得し、
前記ポーズ設定工程は、前記骨格情報に基づいてポーズ情報を設定し、
前記登録工程は、前記設定した前記ポーズ情報を登録し、
前記ジェスチャー登録工程は、入力受付工程、ジェスチャー設定工程、及び登録工程を含み、
前記入力受付工程は、ジェスチャー作成情報の入力を受付け、
前記ジェスチャー作成情報は、ジェスチャーの作成に関する情報であり、１つ以上の前記ポーズ情報のうち、ユーザが選択したポーズ情報に関する情報を含み、
前記ジェスチャー設定工程は、前記ジェスチャー作成情報に基づいて、１つ以上のポーズ情報から構成されるジェスチャー情報を設定し、
前記登録工程は、前記設定した前記ジェスチャー情報を登録する、登録方法。
（付記１１）
前記ポーズ登録工程は、さらに、ポーズ要求工程、及び認識工程を含み、
前記ポーズ要求工程は、前記ポーズ情報が示すポーズをとる認証対象が含まれるテスト用ポーズ画像の撮像を要求し、
前記ポーズ画像取得工程は、前記骨格情報を含むテスト用ポーズ画像を取得し、
前記認識工程は、前記テスト用ポーズ画像から前記設定したポーズ情報を認識し、
前記登録工程は、前記ポーズ情報を認識できた場合に、前記ポーズ情報を登録する、付記１０記載の登録方法。
（付記１２）
前記ジェスチャー登録工程は、さらに、ジェスチャー要求工程、ジェスチャー画像取得工程、及び認識工程を含み、
前記ジェスチャー要求工程は、前記ジェスチャー情報が示すジェスチャーをとる前記認証対象が含まれるテスト用ジェスチャー画像の撮像を要求し、
前記ジェスチャー画像取得工程は、前記骨格情報を含む１つ以上の前記ポーズ画像から構成されるテスト用ジェスチャー画像を取得し、
前記認識工程は、前記テスト用ジェスチャー画像から前記設定したジェスチャー情報を認識し、
前記登録工程は、前記ジェスチャー情報を認識できた場合に、前記ジェスチャー情報を登録する、付記１０又は１１記載の登録方法。
（付記１３）
前記ジェスチャー要求工程は、前記ジェスチャー情報を構成する前記１つ以上のポーズ情報を表示装置に表示させ、
前記認識工程は、前記ポーズ情報毎に、前記ポーズ情報を認識できたか否かを示す視覚情報を前記表示装置に表示されたポーズ情報に重畳して表示させる、付記１２記載の登録方法。
（付記１４）
前記ポーズ登録工程は、さらに、入力受付工程を含み、
前記入力受付工程は、前記骨格情報に基づいて、ポーズに使用する可動連結工程に関する使用可動連結工程情報の入力を受付け、
前記ポーズ設定工程は、前記骨格情報及び前記使用可動連結工程情報に基づいてポーズ情報を設定する、付記１０から１３のいずれかに記載の登録方法。
（付記１５）
前記ポーズ設定工程は、表示装置に前記骨格情報を表示させ、且つ前記入力を受付けた前記使用可動連結部情報を示す視覚情報を前記表示装置に表示された骨格情報に重畳して表示させる、付記１４記載の登録方法。
（付記１６）
前記ジェスチャー作成情報は、さらに、前記ポーズ情報の制御に関する制御情報を含む、付記１０から１５のいずれかに記載の登録方法。
（付記１７）
さらに、操作情報登録工程を含み、
前記操作情報登録工程は、登録した前記ジェスチャー情報に紐づけて、アプリケーションの操作に関する操作情報を登録する、付記１０から１６のいずれかに記載の登録方法。
（付記１８）
登録工程、ジェスチャー画像取得工程、認識工程、及び操作制御工程を含み、
前記登録工程は、付記１７記載の登録方法により、前記骨格情報に基づいて設定されたポーズ情報と、１つ以上の前記ポーズ情報から構成される前記ジェスチャー情報と、前記ジェスチャー情報に紐づけられたアプリケーションの操作に関する前記操作情報とを登録し、
前記ジェスチャー画像取得工程は、前記骨格情報を含む１つ以上のポーズ画像から構成されるジェスチャー画像を取得し、
前記認識工程は、前記ジェスチャー画像から前記登録したジェスチャー情報を認識し、
前記操作制御工程は、前記認識したジェスチャー情報と紐づけられた前記操作情報に基づき、入力装置を制御して、アプリケーションを操作する、操作方法。
（付記１９）
コンピュータに、ポーズ登録手順、及びジェスチャー登録手順を含む手順を実行させるためのプログラム：
前記ポーズ登録手順は、ポーズ画像取得手順、ポーズ設定手順、及び登録手順を含み、
前記ポーズ画像取得手順は、骨格情報を含む登録用ポーズ画像を取得し、
前記ポーズ設定手順は、前記骨格情報に基づいてポーズ情報を設定し、
前記登録手順は、前記設定した前記ポーズ情報を登録し、
前記ジェスチャー登録手順は、入力受付手順、ジェスチャー設定手順、及び登録手順を含み、
前記入力受付手順は、ジェスチャー作成情報の入力を受付け、
前記ジェスチャー作成情報は、ジェスチャーの作成に関する情報であり、１つ以上の前記ポーズ情報のうち、ユーザが選択したポーズ情報に関する情報を含み、
前記ジェスチャー設定手順は、前記ジェスチャー作成情報に基づいて、１つ以上のポーズ情報から構成されるジェスチャー情報を設定し、
前記登録手順は、前記設定した前記ジェスチャー情報を登録する。
（付記２０）
前記ポーズ登録手順は、さらに、ポーズ要求手順、及び認識手順を含み、
前記ポーズ要求手順は、前記ポーズ情報が示すポーズをとる認証対象が含まれるテスト用ポーズ画像の撮像を要求し、
前記ポーズ画像取得手順は、前記骨格情報を含むテスト用ポーズ画像を取得し、
前記認識手順は、前記テスト用ポーズ画像から前記設定したポーズ情報を認識し、
前記登録手順は、前記ポーズ情報を認識できた場合に、前記ポーズ情報を登録する、付記１９記載のプログラム。
（付記２１）
前記ジェスチャー登録手順は、さらに、ジェスチャー要求手順、ジェスチャー画像取得手順、及び認識手順を含み、
前記ジェスチャー要求手順は、前記ジェスチャー情報が示すジェスチャーをとる前記認証対象が含まれるテスト用ジェスチャー画像の撮像を要求し、
前記ジェスチャー画像取得手順は、前記骨格情報を含む複数の前記ポーズ画像から構成されるテスト用ジェスチャー画像を取得し、
前記認識手順は、前記テスト用ジェスチャー画像から前記設定したジェスチャー情報を認識し、
前記登録手順は、前記ジェスチャー情報を認識できた場合に、前記ジェスチャー情報を登録する、付記１９又は２０記載のプログラム。
（付記２２）
前記ジェスチャー要求手順は、前記ジェスチャー情報を構成する前記１つ以上のポーズ情報を表示装置に表示させ、
前記認識手順は、前記ポーズ情報毎に、前記ポーズ情報を認識できたか否かを示す視覚情報を前記表示装置に表示されたポーズ情報に重畳して表示させる、付記２１記載のプログラム。
（付記２３）
前記ポーズ登録手順は、さらに、入力受付手順を含み、
前記入力受付手順は、前記骨格情報に基づいて、ポーズに使用する可動連結手順に関する使用可動連結手順情報の入力を受付け、
前記ポーズ設定手順は、前記骨格情報及び前記使用可動連結手順情報に基づいてポーズ情報を設定する、付記１９から２２のいずれかに記載のプログラム。
（付記２４）
前記ポーズ設定手順は、表示装置に前記骨格情報を表示させ、且つ前記入力を受付けた前記使用可動連結部情報を示す視覚情報を前記表示装置に表示された骨格情報に重畳して表示させる、付記２３記載のプログラム。
（付記２５）
前記ジェスチャー作成情報は、さらに、前記ポーズ情報の制御に関する制御情報を含む、付記１９から２４のいずれかに記載のプログラム。
（付記２６）
さらに、操作情報登録手順を含み、
前記操作情報登録手順は、登録した前記ジェスチャー情報に紐づけて、アプリケーションの操作に関する操作情報を登録する、付記１９から２５のいずれかに記載のプログラム。
（付記２７）
コンピュータに、登録手順、ジェスチャー画像取得手順、認識手順、及び操作制御手順を含む手順を実行させるためのプログラム：
前記登録手順は、付記２６記載のプログラムにより、前記骨格情報に基づいて設定されたポーズ情報と、１つ以上の前記ポーズ情報から構成される前記ジェスチャー情報と、前記ジェスチャー情報に紐づけられたアプリケーションの操作に関する前記操作情報とを登録し、
前記ジェスチャー画像取得手順は、前記骨格情報を含む１つ以上のポーズ画像から構成されるジェスチャー画像を取得し、
前記認識手順は、前記ジェスチャー画像から前記登録したジェスチャー情報を認識し、
前記操作制御手順は、前記認識したジェスチャー情報と紐づけられた前記操作情報に基づき、入力装置を制御して、アプリケーションを操作する。
（付記２８）
付記１９から２７のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
ポーズ登録部、及びジェスチャー登録部を含み、
前記ポーズ登録部は、ポーズ画像取得部、ポーズ設定部、及び登録部を含み、
前記ポーズ画像取得部は、骨格情報を含む登録用ポーズ画像を取得し、
前記ポーズ設定部は、前記骨格情報に基づいてポーズ情報を設定し、
前記登録部は、前記設定した前記ポーズ情報を登録し、
前記ジェスチャー登録部は、入力受付部、ジェスチャー設定部、及び登録部を含み、
前記入力受付部は、ジェスチャー作成情報の入力を受付け、
前記ジェスチャー作成情報は、ジェスチャーの作成に関する情報であり、複数の前記ポーズ情報のうち、ユーザが選択したポーズ情報に関する情報を含み、
前記ジェスチャー設定部は、前記ジェスチャー作成情報に基づいて、１つ以上のポーズ情報から構成されるジェスチャー情報を設定し、
前記登録部は、前記設定した前記ジェスチャー情報を登録する、登録装置。
（付記２）
前記ポーズ登録部は、さらに、ポーズ要求部、及び認識部を含み、
前記ポーズ要求部は、前記ポーズ情報が示すポーズをとる認証対象が含まれるテスト用ポーズ画像の撮像を要求し、
前記ポーズ画像取得部は、前記骨格情報を含むテスト用ポーズ画像を取得し、
前記認識部は、前記テスト用ポーズ画像から前記設定したポーズ情報を認識し、
前記登録部は、前記ポーズ情報を認識できた場合に、前記ポーズ情報を登録する、付記１記載の登録装置。
（付記３）
前記ジェスチャー登録部は、さらに、ジェスチャー要求部、ジェスチャー画像取得部、及び認識部を含み、
前記ジェスチャー要求部は、前記ジェスチャー情報が示すジェスチャーをとる前記認証対象が含まれるテスト用ジェスチャー画像の撮像を要求し、
前記ジェスチャー画像取得部は、前記骨格情報を含む１つ以上の前記ポーズ画像から構成されるテスト用ジェスチャー画像を取得し、
前記認識部は、前記テスト用ジェスチャー画像から前記設定したジェスチャー情報を認識し、
前記登録部は、前記ジェスチャー情報を認識できた場合に、前記ジェスチャー情報を登録する、付記１又は２記載の登録装置。
（付記４）
前記ジェスチャー要求部は、前記ジェスチャー情報を構成する前記１つ以上のポーズ情報を表示装置に表示させ、
前記認識部は、前記ポーズ情報毎に、前記ポーズ情報を認識できたか否かを示す視覚情報を前記表示装置に表示されたポーズ情報に重畳して表示させる、付記３記載の登録装置。
（付記５）
前記ポーズ登録部は、さらに、入力受付部を含み、
前記入力受付部は、前記骨格情報に基づいて、ポーズに使用する可動連結部に関する使用可動連結部情報の入力を受付け、
前記ポーズ設定部は、前記骨格情報及び前記使用可動連結部情報に基づいてポーズ情報を設定する、付記１から４のいずれかに記載の登録装置。
（付記６）
前記ポーズ設定部は、表示装置に前記骨格情報を表示させ、且つ前記入力を受付けた前記使用可動連結部情報を示す視覚情報を前記表示装置に表示された骨格情報に重畳して表示させる、付記５記載の登録装置。
（付記７）
前記ジェスチャー作成情報は、さらに、前記ポーズ情報の制御に関する制御情報を含む、付記１から６のいずれかに記載の登録装置。
（付記８）
さらに、操作情報登録部を含み、
前記操作情報登録部は、登録した前記ジェスチャー情報に紐づけて、アプリケーションの操作に関する操作情報を登録する、付記１から７のいずれかに記載の登録装置。
（付記９）
登録部、ジェスチャー画像取得部、認識部、及び操作制御部を含み、
前記登録部は、付記８記載の登録装置を用いて、前記骨格情報に基づいて設定されたポーズ情報と、１つ以上の前記ポーズ情報から構成される前記ジェスチャー情報と、前記ジェスチャー情報に紐づけられたアプリケーションの操作に関する前記操作情報とを登録し、
前記ジェスチャー画像取得部は、前記骨格情報を含む１つ以上のポーズ画像から構成されるジェスチャー画像を取得し、
前記認識部は、前記ジェスチャー画像から前記登録したジェスチャー情報を認識し、
前記操作制御部は、前記認識したジェスチャー情報と紐づけられた前記操作情報に基づき、入力装置を制御して、アプリケーションを操作する、操作装置。
（付記１０）
ポーズ登録工程、及びジェスチャー登録工程を含み、
前記ポーズ登録工程は、ポーズ画像取得工程、ポーズ設定工程、及び登録工程を含み、
前記ポーズ画像取得工程は、骨格情報を含む登録用ポーズ画像を取得し、
前記ポーズ設定工程は、前記骨格情報に基づいてポーズ情報を設定し、
前記登録工程は、前記設定した前記ポーズ情報を登録し、
前記ジェスチャー登録工程は、入力受付工程、ジェスチャー設定工程、及び登録工程を含み、
前記入力受付工程は、ジェスチャー作成情報の入力を受付け、
前記ジェスチャー作成情報は、ジェスチャーの作成に関する情報であり、１つ以上の前記ポーズ情報のうち、ユーザが選択したポーズ情報に関する情報を含み、
前記ジェスチャー設定工程は、前記ジェスチャー作成情報に基づいて、１つ以上のポーズ情報から構成されるジェスチャー情報を設定し、
前記登録工程は、前記設定した前記ジェスチャー情報を登録する、登録方法。
（付記１１）
前記ポーズ登録工程は、さらに、ポーズ要求工程、及び認識工程を含み、
前記ポーズ要求工程は、前記ポーズ情報が示すポーズをとる認証対象が含まれるテスト用ポーズ画像の撮像を要求し、
前記ポーズ画像取得工程は、前記骨格情報を含むテスト用ポーズ画像を取得し、
前記認識工程は、前記テスト用ポーズ画像から前記設定したポーズ情報を認識し、
前記登録工程は、前記ポーズ情報を認識できた場合に、前記ポーズ情報を登録する、付記１０記載の登録方法。
（付記１２）
前記ジェスチャー登録工程は、さらに、ジェスチャー要求工程、ジェスチャー画像取得工程、及び認識工程を含み、
前記ジェスチャー要求工程は、前記ジェスチャー情報が示すジェスチャーをとる前記認証対象が含まれるテスト用ジェスチャー画像の撮像を要求し、
前記ジェスチャー画像取得工程は、前記骨格情報を含む１つ以上の前記ポーズ画像から構成されるテスト用ジェスチャー画像を取得し、
前記認識工程は、前記テスト用ジェスチャー画像から前記設定したジェスチャー情報を認識し、
前記登録工程は、前記ジェスチャー情報を認識できた場合に、前記ジェスチャー情報を登録する、付記１０又は１１記載の登録方法。
（付記１３）
前記ジェスチャー要求工程は、前記ジェスチャー情報を構成する前記１つ以上のポーズ情報を表示装置に表示させ、
前記認識工程は、前記ポーズ情報毎に、前記ポーズ情報を認識できたか否かを示す視覚情報を前記表示装置に表示されたポーズ情報に重畳して表示させる、付記１２記載の登録方法。
（付記１４）
前記ポーズ登録工程は、さらに、入力受付工程を含み、
前記入力受付工程は、前記骨格情報に基づいて、ポーズに使用する可動連結工程に関する使用可動連結工程情報の入力を受付け、
前記ポーズ設定工程は、前記骨格情報及び前記使用可動連結工程情報に基づいてポーズ情報を設定する、付記１０から１３のいずれかに記載の登録方法。
（付記１５）
前記ポーズ設定工程は、表示装置に前記骨格情報を表示させ、且つ前記入力を受付けた前記使用可動連結部情報を示す視覚情報を前記表示装置に表示された骨格情報に重畳して表示させる、付記１４記載の登録方法。
（付記１６）
前記ジェスチャー作成情報は、さらに、前記ポーズ情報の制御に関する制御情報を含む、付記１０から１５のいずれかに記載の登録方法。
（付記１７）
さらに、操作情報登録工程を含み、
前記操作情報登録工程は、登録した前記ジェスチャー情報に紐づけて、アプリケーションの操作に関する操作情報を登録する、付記１０から１６のいずれかに記載の登録方法。
（付記１８）
登録工程、ジェスチャー画像取得工程、認識工程、及び操作制御工程を含み、
前記登録工程は、付記１７記載の登録方法により、前記骨格情報に基づいて設定されたポーズ情報と、１つ以上の前記ポーズ情報から構成される前記ジェスチャー情報と、前記ジェスチャー情報に紐づけられたアプリケーションの操作に関する前記操作情報とを登録し、
前記ジェスチャー画像取得工程は、前記骨格情報を含む１つ以上のポーズ画像から構成されるジェスチャー画像を取得し、
前記認識工程は、前記ジェスチャー画像から前記登録したジェスチャー情報を認識し、
前記操作制御工程は、前記認識したジェスチャー情報と紐づけられた前記操作情報に基づき、入力装置を制御して、アプリケーションを操作する、操作方法。
（付記１９）
コンピュータに、ポーズ登録手順、及びジェスチャー登録手順を含む手順を実行させるためのプログラム：
前記ポーズ登録手順は、ポーズ画像取得手順、ポーズ設定手順、及び登録手順を含み、
前記ポーズ画像取得手順は、骨格情報を含む登録用ポーズ画像を取得し、
前記ポーズ設定手順は、前記骨格情報に基づいてポーズ情報を設定し、
前記登録手順は、前記設定した前記ポーズ情報を登録し、
前記ジェスチャー登録手順は、入力受付手順、ジェスチャー設定手順、及び登録手順を含み、
前記入力受付手順は、ジェスチャー作成情報の入力を受付け、
前記ジェスチャー作成情報は、ジェスチャーの作成に関する情報であり、１つ以上の前記ポーズ情報のうち、ユーザが選択したポーズ情報に関する情報を含み、
前記ジェスチャー設定手順は、前記ジェスチャー作成情報に基づいて、１つ以上のポーズ情報から構成されるジェスチャー情報を設定し、
前記登録手順は、前記設定した前記ジェスチャー情報を登録する。
（付記２０）
前記ポーズ登録手順は、さらに、ポーズ要求手順、及び認識手順を含み、
前記ポーズ要求手順は、前記ポーズ情報が示すポーズをとる認証対象が含まれるテスト用ポーズ画像の撮像を要求し、
前記ポーズ画像取得手順は、前記骨格情報を含むテスト用ポーズ画像を取得し、
前記認識手順は、前記テスト用ポーズ画像から前記設定したポーズ情報を認識し、
前記登録手順は、前記ポーズ情報を認識できた場合に、前記ポーズ情報を登録する、付記１９記載のプログラム。
（付記２１）
前記ジェスチャー登録手順は、さらに、ジェスチャー要求手順、ジェスチャー画像取得手順、及び認識手順を含み、
前記ジェスチャー要求手順は、前記ジェスチャー情報が示すジェスチャーをとる前記認証対象が含まれるテスト用ジェスチャー画像の撮像を要求し、
前記ジェスチャー画像取得手順は、前記骨格情報を含む複数の前記ポーズ画像から構成されるテスト用ジェスチャー画像を取得し、
前記認識手順は、前記テスト用ジェスチャー画像から前記設定したジェスチャー情報を認識し、
前記登録手順は、前記ジェスチャー情報を認識できた場合に、前記ジェスチャー情報を登録する、付記１９又は２０記載のプログラム。
（付記２２）
前記ジェスチャー要求手順は、前記ジェスチャー情報を構成する前記１つ以上のポーズ情報を表示装置に表示させ、
前記認識手順は、前記ポーズ情報毎に、前記ポーズ情報を認識できたか否かを示す視覚情報を前記表示装置に表示されたポーズ情報に重畳して表示させる、付記２１記載のプログラム。
（付記２３）
前記ポーズ登録手順は、さらに、入力受付手順を含み、
前記入力受付手順は、前記骨格情報に基づいて、ポーズに使用する可動連結手順に関する使用可動連結手順情報の入力を受付け、
前記ポーズ設定手順は、前記骨格情報及び前記使用可動連結手順情報に基づいてポーズ情報を設定する、付記１９から２２のいずれかに記載のプログラム。
（付記２４）
前記ポーズ設定手順は、表示装置に前記骨格情報を表示させ、且つ前記入力を受付けた前記使用可動連結部情報を示す視覚情報を前記表示装置に表示された骨格情報に重畳して表示させる、付記２３記載のプログラム。
（付記２５）
前記ジェスチャー作成情報は、さらに、前記ポーズ情報の制御に関する制御情報を含む、付記１９から２４のいずれかに記載のプログラム。
（付記２６）
さらに、操作情報登録手順を含み、
前記操作情報登録手順は、登録した前記ジェスチャー情報に紐づけて、アプリケーションの操作に関する操作情報を登録する、付記１９から２５のいずれかに記載のプログラム。
（付記２７）
コンピュータに、登録手順、ジェスチャー画像取得手順、認識手順、及び操作制御手順を含む手順を実行させるためのプログラム：
前記登録手順は、付記２６記載のプログラムにより、前記骨格情報に基づいて設定されたポーズ情報と、１つ以上の前記ポーズ情報から構成される前記ジェスチャー情報と、前記ジェスチャー情報に紐づけられたアプリケーションの操作に関する前記操作情報とを登録し、
前記ジェスチャー画像取得手順は、前記骨格情報を含む１つ以上のポーズ画像から構成されるジェスチャー画像を取得し、
前記認識手順は、前記ジェスチャー画像から前記登録したジェスチャー情報を認識し、
前記操作制御手順は、前記認識したジェスチャー情報と紐づけられた前記操作情報に基づき、入力装置を制御して、アプリケーションを操作する。
（付記２８）
付記１９から２７のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【産業上の利用可能性】
【0083】
本発明によれば、ユーザ独自のポーズを登録し、且つ前記ポーズからジェスチャーの作成を可能にする。このため、本発明は、ジェスチャーにより入力操作を行う場合において有用である。
【符号の説明】
【0084】
１ ディスプレイ
１００ 登録装置
１０ ポーズ登録部
１１ ポーズ画像取得部
１２ ポーズ設定部
１３ ポーズ要求部
１４ 認識部
１５ 登録部
１６ 入力受付部
２０ ジェスチャー登録部
２１ 入力受付部
２２ ジェスチャー設定部
２３ ジェスチャー要求部
２４ ジェスチャー画像取得部
２５ 認識部
２６ 登録部
３０ 操作情報登録部
４０ 撮像部
２００ 操作装置
２０１ 登録部
２０２ ジェスチャー画像取得部
２０３ 認識部
２０４ 操作制御部
２０５ 撮像部
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 表示装置
１０７ 通信デバイス
１０８ 撮像装置
１００ 登録装置
１０ ポーズ登録部
１１ ポーズ画像取得部
１２ ポーズ設定部
１３ ポーズ要求部
１４ 認識部
１５ 登録部
１６ 入力受付部
２０ ジェスチャー登録部
２１ 入力受付部
２２ ジェスチャー設定部
２３ ジェスチャー要求部
２４ ジェスチャー画像取得部
２５ 認識部
２６ 登録部
３０ 操作情報登録部
４０ 撮像部
２００ 操作装置
２０１ 登録部
２０２ ジェスチャー画像取得部
２０３ 認識部
２０４ 操作制御部
２０５ 撮像部
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 表示装置
１０７ 通信デバイス
１０８ 撮像装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】