特許 6369909 顔表情採点装置、ダンス採点装置、カラオケ装置、およびゲーム装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6369909

(24)【登録日】2018年7月20日

(45)【発行日】2018年8月8日

(54)【発明の名称】顔表情採点装置、ダンス採点装置、カラオケ装置、およびゲーム装置

(51)【国際特許分類】

   A63B 69/00 20060101AFI20180730BHJP

   A63F 13/213 20140101ALI20180730BHJP

   A63F 13/46 20140101ALI20180730BHJP

   A63F 13/53 20140101ALI20180730BHJP

   A63F 13/655 20140101ALI20180730BHJP

   A63F 13/814 20140101ALI20180730BHJP

   G09F 19/00 20060101ALI20180730BHJP

   G10K 15/04 20060101ALI20180730BHJP

【ＦＩ】

   A63B69/00 514

   A63F13/213

   A63F13/46

   A63F13/53

   A63F13/655

   A63F13/814

   G09F19/00 Z

   G10K15/04 302D

【請求項の数】9

【全頁数】9

(21)【出願番号】特願2015-509944(P2015-509944)

(86)(22)【出願日】2014年2月18日

(86)【国際出願番号】JP2014053783

(87)【国際公開番号】WO2014162788

(87)【国際公開日】20141009

【審査請求日】2015年9月3日

【審判番号】不服2017-11882(P2017-11882/J1)

【審判請求日】2017年8月8日

(31)【優先権主張番号】特願2013-77118(P2013-77118)

(32)【優先日】2013年4月2日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】100115255

【弁理士】

【氏名又は名称】辻丸 光一郎

(74)【代理人】

【識別番号】100129137

【弁理士】

【氏名又は名称】中山 ゆみ

(74)【代理人】

【識別番号】100154081

【弁理士】

【氏名又は名称】伊佐治 創

(72)【発明者】

【氏名】永井 克幸

(72)【発明者】

【氏名】藤田 光洋

(72)【発明者】

【氏名】森下 幸司

(72)【発明者】

【氏名】野田 尚志

【合議体】

【審判長】 黒瀬 雅一

【審判官】 森次 顕

【審判官】 畑井 順一

(56)【参考文献】

【文献】 特開２００８−２６４３６７（ＪＰ，Ａ）

【文献】 特開２０１１−２０６４７１（ＪＰ，Ａ）

【文献】 特開２０００−２９４８３（ＪＰ，Ａ）

【文献】 特開２０１２−７８５２６（ＪＰ，Ａ）

【文献】 特開２０１２−１１８２８６（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０３９４６７（ＷＯ，Ａ１）

【文献】 特開２００９−１８６６３０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

A63B 71/06

G01K 15/04

A63F 13/00

(57)【特許請求の範囲】

【請求項1】

採点対象者の顔画像を撮像する顔画像撮像手段と、
前記撮像された顔画像から顔の表情を推定する顔表情推定手段と、
前記採点対象者の顔画像の表情の度合を、前記推定された顔画像の表情に対応する採点基準によって、複数の段階に分けて評価して採点する顔表情採点手段と、
採点された結果を表示する採点結果表示手段と、
を含むことを特徴とする顔表情採点装置。

【請求項2】

さらに、採点対象者に採点基準を表示する採点基準表示手段を含むことを特徴とする請求項１記載の顔表情採点装置。

【請求項3】

さらに、画像表示手段を含み、前記画像表示手段において、前記採点結果及び採点基準が表示されることを特徴とする請求項２記載の顔表情採点装置。

【請求項4】

さらに、前記顔画像から採点対象者の属性を判定する採点対象者属性判定手段を含み、前記顔表情採点手段は、前記判定された属性に応じ、採点基準を調整することを特徴とする請求項１から３のいずれか一項に記載の顔表情採点装置。

【請求項5】

さらに、広告選択手段を含み、前記広告選択手段は、前記採点対象者の属性に応じて広告を選択し、前記採点結果表示手段は、前記選択された広告と共に、前記採点結果を表示することを特徴とする請求項４記載の顔表情採点装置。

【請求項6】

前記顔画像を採点することで表現力を定量評価することを特徴とする請求項１から５のいずれか一項に記載の顔表情採点装置。

【請求項7】

請求項１から６のいずれか一項に記載の顔表情採点装置を含むことを特徴とするダンス採点装置。

【請求項8】

請求項１から６のいずれか一項に記載の顏表情採点装置を含むことを特徴とするカラオケ装置。

【請求項9】

請求項１から６のいずれか一項に記載の顔表情採点装置を含むことを特徴とするゲーム装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔表情採点装置、ダンス採点装置、カラオケ装置、およびゲーム装置に関する。

【背景技術】

【0002】

従来のダンス採点装置またはカラオケ装置には、単に楽曲に合わせて歌うだけでなく、例えば、ダンス採点装置やカラオケシステムの背景映像や歌詞テロップにおいても工夫されているものがある。例えば、下記特許文献１では、歌唱者が高齢者であれば、歌詞テロップを大きくしたり、若者であれば背景画像を現在話題の街角にするなど歌唱者の属性（性別、年齢等）に合わせて個別に対応するカラオケシステムが開示されている。

【0003】

一方、従来のテレビ会議やテレビ電話などの画像通信において、例えば、下記特許文献２に示すように、顔の表情等の属性判定が可能である属性判定方法を利用している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−１１８２８６号公報

【特許文献2】国際公開第２０１２００２０４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来のカラオケ装置において、利用者の表情に着目して表現力の定量評価をするものが無かった。同様に、ゲームにおいても、利用者の表情に着目して表現力の定量評価をするものが無かった。

【0006】

そこで、本発明は、利用者の表情を採点することで表現力の定量評価を向上させることが可能な顔表情採点装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の顔表情採点装置は、採点対象者の顔画像を撮像する顔画像撮像手段と、前記撮像された顔画像から顔の表情を推定する顔表情推定手段と、前記採点対象者の顔画像の表情の度合を、前記推定された顔画像の表情に対応する採点基準によって、複数の段階に分けて評価して採点する顔表情採点手段と、採点された結果を表示する採点結果表示手段と、を含むことを特徴とする。

【0008】

本発明のダンス採点装置は、前記顔表情採点装置を含むことを特徴とする。

【0009】

本発明のカラオケ装置は、前記顔表情採点装置を含むことを特徴とする。

【0010】

本発明のゲーム装置は、前記顔表情採点装置を含むことを特徴とする。

【発明の効果】

【0011】

本発明の顔表情採点装置によれば、ダンス採点装置、カラオケ装置及びゲーム装置において、顔表情を採点することで表現力の定量評価を向上させることが可能になる。

【図面の簡単な説明】

【0012】

【図1】本装置の構成を示すブロック図を示す。

【図2】本装置を含むダンス採点装置（以下、単に「ダンス採点装置」ということがある。）のメイン画面の一例を示す。

【図3】本装置を含むダンス採点装置の振り付けの一連の動作の拡大図を示す。

【発明を実施するための形態】

【0013】

（実施形態）
以下、本発明の顔表情採点装置（以下、単に「本装置」ということがある。）の一実施形態の構成および動きについて説明する。

【0014】

本発明の顔表情採点装置１は、顔画像撮像手段１１と、顔表情推定手段１２と、顔表情採点手段１３と、採点結果表示手段１４と、を含む。顔表情採点装置１は、さらに、採点基準表示手段１７を含んでもよい。顔表情採点装置１は、さらに、画像表示手段１８を含んでもよい。顔表情採点装置１は、さらに、採点対象者属性判定手段１５を含んでもよい。顔表情採点装置１は、さらに、広告選択手段１６を含んでもよい。

【0015】

顔画像撮像手段１１は、採点対象者の顔画像を撮像する。顔画像撮像手段１１は、特に制限されないが、例えば、カメラ等が挙げられる。また、顔画像撮像手段１１は、画像を撮像し、その画像の中から単一または複数の顔画像を抽出する構成となっていてもよい。

【0016】

顔表情推定手段１２は、前記撮像された顔画像から顔の表情を推定する。前記推定は、特に制限されないが、例えば、手本画像を用いた機械学習により行われることが挙げられる。

【0017】

前記表情は、特に制限されないが、例えば、笑顔、真顔、泣き顔、困った顔、怒った顔等が挙げられる。

【0018】

顔表情採点手段１３は、前記推定された顔画像の表情を、予め定めた基準によって採点する。顔表情採点手段１３は、例えば、後述する、判定された属性に応じ、採点基準を調整してもよい。

【0019】

前記基準は特に制限されないが、例えば、特定の表情（笑顔、怒った顔等）の度合い等が挙げられる。

【0020】

前記採点は、特に制限されないが、例えばＧＯＯＤ（Ｇ）／ＮＯ ＧＯＯＤ（ＮＧ）の２段階、さらに３段階以上の点数評価等が挙げられる。

【0021】

採点結果表示手段１４は、採点された結果を表示する。採点結果表示手段１４は、後述する、選択された広告と共に、前記採点結果を表示してもよい。

【0022】

前記採点結果は、特に制限されないが、例えば、画像により表示されても良いし、採点対象者の端末に送信されても良い。前記端末は、特に制限されないが、例えば、携帯電話、スマートフォン、パーソナルコンピュータ等が挙げられる。

【0023】

採点基準表示手段１７は、採点対象者に採点基準を表示する。

【0024】

画像表示手段１８は、前記採点結果及び採点基準を画像により表示する。

【0025】

採点対象者属性判定手段１５は、前記顔画像から採点対象者の属性を判定する。

【0026】

前記属性は、特に制限されないが、例えば、性別、年齢、人種、国籍などが挙げられる。

【0027】

広告選択手段１６は、前記採点対象者の属性に応じて広告を選択する。

【0028】

前記広告は、特に制限されないが、例えば、属性に合わせた例が挙げられる。すなわち、女性の場合、化粧品、小物、雑貨、服飾等が挙げられる。男性の場合、車、バイク、スポーツ用品等が挙げられる。

【0029】

ここでは、本装置を用いた顔表情採点の工程の一例について図１のブロック図を参照しながら説明する。

【0030】

以下、採点対象者が高齢の女性で採点対象者の笑顔度（笑顔の度合い）を採点するものとして説明する。なお、これは本実施形態の一例にすぎず、本実施形態は、これに限定されない。

【0031】

まず、顔画像撮像手段１１により、採点対象者である前記女性の顔画像を撮像する。次に、前記画像データは、顔表情推定手段１２に送信される。次に、顔表情推定手段１２は、前記画像データに基づいて、顔の表情を推定する。この場合では、顔表情推定手段１２は、前記表情を笑顔と推定する。ここで、例えば、顔表情推定手段１２に笑顔の手本画像を用いて学習させ、前記手本画像を参考にして推定する。前記推定した顔の表情は、顔表情採点手段１３に送信される。この場合、顔表情採点手段１３は、前記女性の笑顔度を採点するものとする。採点基準の一例として、前記笑顔の手本画像を基準にしてもよい。また、必要であれば、採点対象者の属性に合わせて、採点基準を調整しても良い。例えば、この場合、高齢なので、採点基準を甘く設定してもよい。ここでは、ＧＯＯＤと評価するものとする。次に前記評価データは、採点結果表示手段１４に送信される。また、必要であれば、採点基準表示手段１７に送信し、例えば採点対象者に採点基準も表示してもよい。次に採点結果表示手段１４は、採点結果を表示する。この場合、例えば、採点対象者の端末に、テキストでＧＯＯＤと出力し、結果のみを表示してもよいし、さらに画像表示手段１８により、前記ＧＯＯＤを画像により表示してもよい。また、必要であれば、前記画像データを採点対象者属性判定手段１５に送信し、高齢、女性という属性データを広告選択手段１６に送信し、採点結果の表示とともに、化粧品の広告を表示しても良い。

【0032】

次に本実施形態を含むダンス採点装置（以下、単に「本ダンス採点装置」という。）の動作について、図２を参照しながら説明する。

【0033】

図２は、ダンス採点装置の画面の一例を示す。本実施形態のダンス採点装置は、特に制限されないが、例えば、カラオケ機能を備えた装置が挙げられるが、前記カラオケ機能は、あってもなくてもよい。以下では、前記カラオケ機能を備えた装置として説明する。図２で示すメイン画面１０１は、お手本画像１０２、振り付けの一連の動作（一連の動作）１１０、歌詞１０３、判定タイミングを示す表示（タイミングバー）１１１、総合採点結果表示１０５、ピンポイント採点結果表示１０６、顔マーク１０７および１０８、採点対象者画像１０９から構成されている。なお、前記構成要素は、特に制限されず、あってもなくてもよい。また、前記構成要素にない構成要素を適宜含んでも良い。

【0034】

メイン画面１０１には、詳細に図示していないが、本ダンス採点装置は、従来のカラオケのメイン画面と同様の構成を含む。また、従来のダンス採点装置と同様の構成を含む。すなわち、従来のダンス装置またはカラオケ装置のように、例えば、歌詞１０３が表示される。なお、ここでは、歌詞１０３は、右側から左側へ移動しているが、これに限定されず、左側から右側へ移動しても良い。

【0035】

メイン画面１０１は、とくに制限されないが、例えば、従来のダンス採点装置またはカラオケ装置と同様に背景画像（映像）を映し出しても良いが、アーティストのプロモーションビデオ（ＰＶ）等を映し出すことが好ましく、ダンスミュージックのＰＶ等を映し出すことがより好ましい。また、お手本画像１０２は、特に制限されないが、例えば、歌手、ダンサー等が挙げられる。これにより、実際の歌手、ダンサーなどの表現力を基準として評価することを採点対象者に暗黙的に理解させることができる。

【0036】

図２に示すように、メイン画面１０１に歌詞１０３とともに、お手本画像の一連の動作１１０が表示されている。以下、ここでは、メイン画面にダンスミュージックのＰＶが流れているとして説明する。すなわち、お手本画像１０２であるダンサーが歌いながらダンスを踊る映像が流れているとして以下、説明する。なお、本ダンス採点装置は、これに制限されない。

【0037】

ダンサーの一連の動作が動作１１０で示されている。ここで、採点対象者は、歌いながらダンサーの動きに合わせてダンスをする。図２では、現在のダンサーの動きをタイミングバー１１１とそれに重なる動作１１２で示す。ここで、採点対象者は、タイミングバー１１１と重なる動作１１２と同じ動作をしているかどうかで点数評価される。すなわち、採点対象者の動作と動作１１２とが似ていれば似ているほど点数は高く評価される。

【0038】

総合採点結果表示１０５は、図２に示すように、例えば、総合得点、基本点、ボーナス点、ランキング等を含んでもよい。前記ランキングを表示するために、例えば、通信手段により随時更新できる機能を有していてもよい。ここで、例えば、図２のピンポイント採点結果表示１０６に示すように、一つ一つの動作について随時採点結果を表示する機能を有していてもよい。図２では、例えば、動作１１２に対する採点対象者の動作がＧＯＯＤであることを示している。

【0039】

また、図２に示すように、採点対象者の動作は、採点者画像１０９により映し出してもよい。採点者画像１０９は、随時更新されることが好ましい。また、採点者画像は、録画機能を有していることがより好ましい。

【0040】

また、図２に示すように、振り付け（動作）とともに顔の表情も採点基準としてもよい。これについては、以下、図３（Ａ）〜（Ｂ）を参照しながら詳細に説明する。

【0041】

図３（Ａ）〜（Ｂ）は、お手本画像１０２（図３では、図示せず）の一連の動作１１０の拡大図である。ここで、図３（Ａ）では、区間１０４の上に顔マーク１０７が表示されている。左側区間１０４の場合、顔マーク１０７は、笑顔のマークであり、右側の区間１０４の場合、顔マーク１０８は、真顔のマークである。次に、図３（Ｂ）では、区間１０４とタイミングバー１１１が重なっている。この場合、採点対象者は、区間１０４がタイミングバー１１１に重なっている期間、顔表情を笑顔にすると採点が加算される。なお、区間１０４を過ぎると、また、別の区間１０４がタイミングバー１１１に重なる。この場合、採点対象者は、真顔にすると採点が加算される。なお、顔マークは、例えば、お手本画像（ここでは、ダンサー）の実際の顔表情に合わせてもよいし、合わせなくてもよい。このように顔表情も採点基準とすることで、歌、振り付け、顔の表情をお手本画像とまねることになり、これまで以上に表現力が定量評価できる。

【0042】

以上、本装置を含むダンス採点装置を一例をあげて説明したが、これに限定されず、例えば、本装置を含む装置がカラオケ装置であってもよいし、ゲームであってもよい。前記カラオケ装置としては、例えば、前記ダンス採点装置で説明したような、カラオケ機能を有するカラオケ装置であってもよい。前記ゲームとしては、例えば、恋愛シミュレーションゲーム、音楽ゲーム等が挙げられる。前記恋愛シミュレーションゲームの場合は、従来の恋愛シミュレーションゲームに加え、特定タイミングでの顔表情や一定時間内の顔表情をシナリオ分岐の条件に加えることにより、よりリアルな体験を提供することができる。例えば、画面上に現れる人物の顔表情に合わせることでより親密度を高める効果を出すことや、シリアスなシーンの中で笑顔でいると親密度を下げる効果を出すことなどが考えられる。

【0043】

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0044】

この出願は、２０１３年４月２日に出願された日本出願特願２０１３−０７７１１８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0045】

１ 顔表情採点装置
１１ 顔画像撮像手段
１２ 顔表情推定手段
１３ 顔表情採点手段
１４ 採点結果表示手段
１５ 採点対象者属性判定手段
１６ 広告選択手段
１７ 採点基準表示手段
１８ 画像表示手段
１０１ メイン画面
１０２ お手本画像
１０３ 歌詞
１０４ 区間
１０５ 総合採点結果表示
１０６ ピンポイント採点結果表示
１０７、１０８ 顔マーク
１０９ 採点対象者画像
１１０ お手本画像の一連の動作
１１１ タイミングバー
１１２ 動作

【図1】

【図2】

【図3】