特許 6206913 笑い促進プログラム及び笑い促進装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6206913

(24)【登録日】2017年9月15日

(45)【発行日】2017年10月4日

(54)【発明の名称】笑い促進プログラム及び笑い促進装置

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20170925BHJP

   G06T 7/00 20170101ALI20170925BHJP

【ＦＩ】

   G06Q50/10

   G06T7/00 130

【請求項の数】4

【全頁数】10

(21)【出願番号】特願2013-214285(P2013-214285)

(22)【出願日】2013年10月13日

(65)【公開番号】特開2015-76081(P2015-76081A)

(43)【公開日】2015年4月20日

【審査請求日】2016年8月8日

【新規性喪失の例外の表示】特許法第３０条第２項適用 第３１回日本ロボット学会学術講演会、ＣＤ−ＲＯＭ、平成２５年９月４日発行

(73)【特許権者】

【識別番号】304021831

【氏名又は名称】国立大学法人 千葉大学

(72)【発明者】

【氏名】大武 美保子

(72)【発明者】

【氏名】永井 大幹

(72)【発明者】

【氏名】山口 健太

(72)【発明者】

【氏名】小寺 達也

【審査官】 小山 和俊

(56)【参考文献】

【文献】 特開２０１１−１８２１０９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００−９９／００

Ｇ０６Ｔ ７／００

Ｇ１０Ｌ １５／１０

(57)【特許請求の範囲】

【請求項1】

コンピュータに、
顔画像データに基づき笑顔度データを算出し、
前記笑顔度データに基づき笑い声データの再生の可否の判断を行い、
前記笑い声データを再生すると判断した場合、前記笑い声データを再生させる、笑い促進プログラムであって、
前記笑顔度データに基づき笑い声データの再生を行った後、第一の待機時間前記笑い声データの再生を行わず、
前記第一の待機時間経過後、改めて顔画像データに基づき笑顔度データを算出し、前記笑顔度データに基づき、第二の待機時間を定める笑い促進プログラム。

【請求項2】

前記笑い声データの再生の可否の判断は、閾値データとの比較により行われる請求項１記載の笑い促進プログラム。

【請求項3】

前記笑顔度データに基づき笑い声データの再生の可否の判断は、取得した周囲音データにも基づいて行う、請求項１記載の笑い促進プログラム。

【請求項4】

撮像装置と、
スピーカーと、
前記撮像装置及び前記スピーカーを制御する情報処理装置と、を備えた笑い促進装置であって、
前記情報処理装置は、顔画像データに基づき笑顔度データを算出する笑顔度データ算出部と、前記笑顔度データに基づき笑い声データの再生の可否の判断を行う笑い可否判断部と、前記笑い声データを再生すると判断した場合、前記笑い声データを再生する笑い声再生部と、を有する笑い促進装置であって、
前記笑い可否判断部は、前記笑い声再生部が前記笑顔度データに基づき笑い声データの再生を行った後、第一の待機時間を定めて前記笑い声データの再生を行わせず、
前記笑顔度データ算出部は、前記第一の待機時間経過後、改めて顔画像データに基づき笑顔度データを算出し、その後、
前記笑い可否判断部は、前記笑顔度データに基づき、第二の待機時間を定める笑い促進装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、笑い促進プログラム及び笑い促進装置に関する。

【背景技術】

【0002】

人とのコミュニケーションが多い高齢者は少ない高齢者に比べて認知機能が低下しにくいという研究報告があり、人と人とのコミュニケーションを支援することは健康寿命を延ばす効果が期待できる。そのため、高齢者同士のコミュニケーションを支援する取り組みが各地で行われている。

【0003】

一方、笑いや笑顔は人と人とのコミュニケーションを円滑にするために非常に重要である。ところで、人の笑顔は表情であるものの、例えば下記特許文献１に記載される技術のように、人の笑顔度を評価しようとする試みがなされている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５０２２９４０号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、上記特許文献は笑い測定方法に関するものであって、この応用に関してはまだ検討すべき余地がある。

【0006】

例えば、人と人とのコミュニケーションの中で、面白いところでタイミングよく笑う人がいると場が盛り上がる。しかし、いわゆる「笑い上戸」の人はいつでもいるとは限らず、同じ話をしたとしても、笑いが絶えない場合もあれば、全く笑いがない場合もある。

【0007】

つまり、朗らかでよく笑ういわゆる「笑い上戸」の機能をロボット等の装置に担わせることができれば、笑い上戸の人が居なくても笑いを起こすことが可能となり、より人と人とのコミュニケーションが円滑になることが期待される。

【0008】

そこで、本発明は、上記課題に鑑み、笑うきっかけを提供することによって笑いを促進する笑い促進プログラム及び笑い促進装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明者らは、上記課題に記載のとおり、笑い測定方法の応用に関し鋭意検討を行ったところ、人と人とのコミュニケーションの中で笑うきっかけを提供することによってこのコミュニケーションを円滑に行うことができると考え、本発明を完成させるに至った。

【0010】

すなわち、本発明の一観点に係る笑い促進プログラムは、コンピュータに、顔画像データに基づき笑顔度データを算出し、笑顔度データに基づき笑い声データの再生の可否の判断を行い、笑い声データを再生すると判断した場合、笑い声データを再生させる、笑い促進プログラムであって、笑顔度データに基づき笑い声データの再生を行った後、第一の待機時間笑い声データの再生を行わず、第一の待機時間経過後、改めて顔画像データに基づき笑顔度データを算出し、笑顔度データに基づき、第二の待機時間を定めるものである。

【0011】

また、本発明の他の一観点に係る笑い促進装置は、撮像装置と、スピーカーと、撮像装置及び前記スピーカーを制御する情報処理装置と、を備えた笑い促進装置であって、情報処理装置は、顔画像データに基づき笑顔度データを算出する笑顔度データ算出部と、笑顔度データに基づき笑い声データの再生の可否の判断を行う笑い可否判断部と、笑い声データを再生すると判断した場合、笑い声データを再生する笑い声再生部と、を有する笑い促進装置であって、笑い可否判断部は、笑い声再生部が笑顔度データに基づき笑い声データの再生を行った後、第一の待機時間を定めて笑い声データの再生を行わせず、笑顔度データ算出部は、第一の待機時間経過後、改めて顔画像データに基づき笑顔度データを算出し、その後、笑い可否判断部は、笑顔度データに基づき、第二の待機時間を定めるものである。

【発明の効果】

【0012】

以上、笑うきっかけを提供することにより笑いを促進する笑い促進プログラム及び笑い促進装置を提供することができる。

【図面の簡単な説明】

【0013】

【図1】実施形態に係る笑い促進装置の機能ブロックを示す図である。

【図2】顔画像データのイメージを示す図である。

【図3】実施形態に係る笑い促進方法の流れを示す図である。

【図4】実施形態に係る笑い促進方法の流れを示す図である

【図5】実施形態に係る笑い促進装置の外観の一例を示す図である。

【図6】実施例に係る笑い促進装置の使用の結果を示す図である。

【図7】実施例に係る笑い促進装置の使用の結果を示す図である。

【発明を実施するための最良の形態】

【0014】

以下、本発明の実施形態について、図面を用いて詳細に説明する。ただし、本発明は多くの異なる形態による実施が可能であり、以下に示す実施形態、実施例の例示に限定されるものではない。

【0015】

図１は、本実施形態に係る笑い促進装置（以下「本装置」という。）１の機能ブロックを示す図である。本図で示すように、本装置１は、撮像装置２と、スピーカー３と、撮像装置２及びスピーカー３を制御する情報処理装置４と、を備えた笑い促進装置であって、情報処理装置４は、撮像装置２により取得された顔画像データに基づき笑顔度データを算出する笑顔度データ算出部と、笑顔度データに基づき笑い声データの再生の可否の判断を行う笑い可否判断部と、笑い声データを再生すると判断した場合、笑い声データを再生する笑い声再生部と、を有する。

【0016】

本装置１における、撮像装置２は、装置１の周囲の情報を画像として取得することができるものである、より具体的には、装置１の周囲にいる人の顔（表情）を写し、これを含んだ画像情報データを取得し、撮像装置２の外部に出力することができるものである。撮像装置２の例としては、上記の機能を有する限りにおいて限定されるわけではないが、ＣＣＤやＣＭＯＳ等の撮像素子を備えたいわゆるデジタルカメラを例示することができる。デジタルカメラは一般に市販されているもので十分である。

【0017】

また、本装置１は、スピーカー３を備えており、情報処理装置４内に予め保持されている笑い声のデータを音声として発することができる装置である。このスピーカーも特に限定されず、コイル、磁石、振動板等を備えた一般に市販されている製品で十分対応できる。

【0018】

また本実施形態において、情報処理装置４は、撮像装置２及びスピーカー３に接続されており、これらの制御を行うとともに各種処理等を施すことができるものである。

【0019】

本装置１における情報処理装置４は、情報の処理及び各装置の制御を行うことができる限りにおいて限定されるわけではなく、所定の処理及び制御を行うことができるよう複数の集積回路を電極や回路が形成されたプリント基板上に固定配置し電気的に接続したものであってもよく、また、いわゆるコンピュータを用いることもできる。前者の場合は、特定の処理に特化したものであるため処理時間の短縮及び省スペース化が可能であるといった利点があり、後者の場合はプログラムの書き換えなどが容易であり、改良がしやすくなるといった利点がある。なおコンピュータの場合、一般に市販されているものを使用することができる。なおコンピュータの場合、ＣＰＵ（中央演算装置）、メモリ、ハードディスク等の記録媒体、これらを接続するための電極や回路が形成されたプリント基板を備えるボードと、を有するものであることが一般的である。なお、コンピュータを用いる場合、ハードディスク等の記録媒体にプログラムを格納し、このプログラムをメモリに読み込ませるとともに実行させることで所定の機能を実現させることができる。

【0020】

情報処理装置４は、上記の構成を用いることによって、本図で示すような機能を実現することができる。具体的に説明すると情報処理装置４は、撮像装置２により取得された顔画像データに基づき笑顔度データを算出する笑顔度データ算出部４１、笑顔度データに基づき笑い声データの再生の可否の判断を行う笑い可否判断部４２、笑い声データを再生すると判断した場合、笑い声データを再生する笑い声再生部４３、としての機能することになる。

【0021】

情報処理装置４の笑顔度データ算出部３１は、顔画像データに基づき笑顔度データを算出する。ここで「顔画像データ」とは、人の顔に関する画像情報を含むデータをいう。この顔画像データは、撮像装置２により取得された画像情報データをそのまま顔画像データとして用いてもよく、画像情報データから人の顔領域を抽出して改めて作成した画像データであってもよい。なお撮像装置２により取得された画像情報データをそのまま顔画像データとして用いる場合、その顔画像データから人の顔の領域に対応するデータ（顔領域データ）を抽出して当該顔領域データに基づき笑顔度データを算出することが好ましい。図２に、画像情報データを顔画像データとして用い、顔領域データを抽出する場合のイメージを示しておく。なお、画像情報データに複数の人の顔が含まれている場合、その顔画像データから顔領域データを複数抽出し、当該顔領域データ各々に対し笑顔度データを算出することが好ましい。なお、画像情報データに複数の人の顔が含まれる場合において、その中にコミュニケーションに参加していない者がたまたま写りこんでしまうおそれがあるような場合、これを除去するため、顔画像データのうち顔領域データを抽出する領域を絞る処理を行うことも好ましい。

【0022】

上記の記載からも明らかであるが、笑顔度データ算出の対象となる顔画像データの数は、一人分であってもよいが、複数人分あることが好ましい。コミュニケーション促進の対象となる者（以下「対象者」という。）は一般的に複数存在するものであり、複数、好ましくは対象者全員を判定の対象に含めることで全体の雰囲気を把握することができ、笑いの促進精度を高めることができる。

【0023】

情報処理装置４の笑顔度データ算出部４１は、上記のとおり顔画像データから笑顔度データを算出する。「笑顔度データ」とは、人の笑顔を数値的に表現したデータであって、この数値によって人の笑顔がどの程度かを判定することができる。例えば、数値が大きい場合はより大きな笑顔であり、数値が低い場合は、笑っていない又は笑顔でないということになる。

【0024】

この笑顔度データを算出する方法は、上記のとおり、人の笑顔を数値的に表現し、客観的な判断基準として用いることができる限りにおいて、限定されない。この笑顔度データを算出する方法としては、例えば“Ｓｈｉｈｏｎｇ Ｌａｏ ａｎｄ Ｍａｓａｔｏ Ｋａｗａｄｅ． Ｖｉｓｉｏｎ-ｂａｓｅｄ ｆａｃｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ ｔｅｃｈｎｏｌｏｇｉｅｓ ａｎｄ ｔｈｅｉｒ ａｐｐｌｉｃａｔｉｏｎｓ，Ａｄｖａｎｃｅｓ ｉｎ Ｂｉｏｍｅｔｒｉｃ Ｐｅｒｓｏｎ Ａｕｔｈｅｎｔｉｃａｔｉｏｎ，ｐｐ．３３９−３４８，２００５．”や、“小西嘉典、木下航一、勞世広、川出雅人，リアルタイム笑顔度推定，インタラクション，Ｎｏ．２００８，ｐｐ．４７−４８，２００８．”に記載の方法を用いることができる。

【0025】

また、対象者が複数おり、顔画像データが複数存在する場合、笑顔度データの算出は、限定されるわけではなく、複数の顔画像データに対しそれぞれ求めてその平均を取っておくことがより好ましい。平均を取ることで処理が簡便になるとともに、全体としての評価も可能となる。

【0026】

また、本情報処理装置の笑い可否判断部４２は、笑顔度データに基づき笑い声データの再生の可否の判断を行う。具体的には、上記笑顔度データ算出部により求められた笑顔度データの数値と、閾値データとを比較することが好ましい。更に具体的には、閾値データよりも笑顔度データが大きければ笑い声データを再生すると判断し、閾値データよりも笑顔度データが小さければ笑い声データを再生しないと判断することが好ましい。

【0027】

ここで「閾値データ」は、上記の記載から明らかなように、予め定めた笑顔度データであり、笑い声データを再生するか否かを判断するために必要なデータである。閾値データはこの基準となりうる限りにおいて限定されるものではないが、予め所定の値として定めておいてもよいが、本装置の動作を開始させた後、所定の期間データの収集を行った後で定めるようにしてもよい。

【0028】

なお閾値データを本装置の動作開始後所定の期間データの収集を行った後で定める場合、周囲の取得した周囲音データにも基づいて行うことが好ましい。例えば、一定の期間顔画像データを取得し続けて当該顔画像データに基づく笑顔度データを算出していく一方、周囲音データも取得し続け、周囲音データとこの笑顔度データとの相関に関するデータを取得し、適切と考えられる閾値データを定めることで、より実際の場に合わせた笑い促進が可能となる。より具体的に説明すると、周囲音にはいわゆる「笑い声」が含まれていると考えられ、笑い声が含まれる場合は周囲音が大きくなることが考えられる。なおこれは会議室等の室内において人の声以外の周囲音が少ない場合に有用である。したがって、この周囲音が大きくなった場合は対象者が笑っていると推測し、この周囲音の大きさと笑顔度とを比較し、例えば周囲音が大きくなる笑顔度より少し低めの笑顔度で笑い声データを再生させるようにすれば、笑いを効率的に促進することができるようになる。また、周囲音の音量や音量の周期性等を解析することによって笑い声であるか否かを判定する処理を施してもよい。

【0029】

上記周囲音データの取得は、周囲の音をデータとして本情報処理装置に出力することができるものである限りにおいて限定されるわけではないが、いわゆるマイクロフォンを含む集音器であることが好ましい。

【0030】

また本実施形態において、笑い声再生部４３は、笑い声データを再生する。具体的には、上記笑い可否判断部３２が、笑い声を再生すると判断した場合は笑い声データをスピーカーに出力してスピーカーから音を再生させ、笑い声を再生しないと判断した場合は笑い声データを再生しない。

【0031】

なお、本実施形態において、「笑い声データ」とは、人の笑い声に関する音声データであって、スピーカーに出力され、スピーカーから人の笑い声として対象者に伝達するものである。この笑い声データは、コンピュータに予め格納しておくことが好ましい。また笑い声データの元となる笑い声は、実際の人の笑い声であってもよく、またコンピュータプログラム等によって作成される合成の声であってもよい。また、笑い声データは、複数種類の笑い声であることは好ましい。例えば多人数の大きな笑い声や、一人がクスクス笑う程度の笑い声であってもよい。またこの場合、上記算出した笑顔度データの数値に基づいて再生する笑い声データの種類を選択することも好ましい。なお笑い声の長さは笑いを促進することができる程度であれば十分であり、例えば１秒以上あればよい。

【0032】

なお本装置においてこの再生は、笑い声データをスピーカーに出力し再生させることが簡便であり好ましいが、テープ等の磁気記録媒体を予め別途設けてこれに笑い声データを記録しておき、本情報処理装置の指示に基づき、このテープ等の磁気記録媒体の読み込み及び再生動作を行わせるようにしてもよい。

【0033】

また、本情報処理装置の笑い可否判断部４２は、限定されるわけではないが、笑顔データに基づき笑い声データの再生を判断した後、第一の待機時間だけ強制的に笑い声データの再生を行わないこととすることが好ましい。これは、「笑い」は一定の期間継続されるものであって、笑っている間は笑顔度がある程度維持される結果、この待機時間を設けないと一つの笑い動作の中で常時笑い声を再生するよう判断してしまうため、結果的に笑い声がとまらなくなってしまうことを避ける必要があるためである。この期間は特に限定されるものではなく、本装置の動作開始後所定の期間データを取得して定めることができるが、予め一定の期間を定めておいてもよい。あらかじめ一定の期間を定めておく場合、限定されるわけではないが、例えば笑い声を再生した後１秒以上２０秒以内、好ましくは１０秒以内の期間であることが好ましい。なおここで、「笑い声データの再生を行わないこととする」には、顔画像データの取得を行わない、笑顔度データの算出を行わない、及び、笑い声データを再生するか否かの判断を行わない、とする処理も含まれる。

【0034】

また、本情報処理装置の笑い可否判断部４２は、限定されるわけではないが、第一の待機時間経過後、改めて顔画像データに基づき笑顔度データを算出し、笑顔度データに基づき、第二の待機時間を定めることとすることが好ましい。これは、具体的には上記第一の待機時間を経過した後、笑いが継続しているのか否かを判断する処理である。第一の待機時間経過後改めて顔画像データに基づき笑顔度データを算出し、閾値データよりも笑顔度データが高い場合、先ほどの笑いが継続していると判断することができ、比較的長い第二の待機時間を設ける。これにより笑い声がとまらなくなることを避けることができる。一方、閾値データよりも笑顔度データが低い場合、笑いは一度落ち着いたと判断することができるため、０秒又は比較的短い第二の待機時間を設け、次の笑い声再生に備える。すなわち、第二の待機時間は、笑顔度データ及び閾値データに基づき適切な時間に設定される。笑いが続いていると判断された場合における第二の待機時間は、本装置の動作開始後所定の期間データを取得して定めることとしてもよいが、予め固定して定めておく場合は５秒以上２０秒以下の期間であることが好ましい。一方、第一の待機時間経過後笑いが収まったと判断できた場合は、上記時間より短い時間であることが好ましく、具体的には０秒以上１０秒以下の期間とすることが好ましい。もちろんこの判断には、上記のとおり周囲音データを含ませることもできる。なお、この処理を含め、本装置の一連の処理の流れを図３、図４に示しておく。

【0035】

また、本実施形態において、本装置１は、周囲を和ませコミュニケーションを円滑に測るべく外観を調えるためのフレームボディを設けることも好ましい。例えば外観を人形のようなロボットとすることで、人を和ませてコミュニケーションをより円滑化することが可能となる。この場合の外観の一例を図５に示しておく。

【0036】

以上、本実施形態により、笑うきっかけを提供することによって笑いを促進する笑い促進プログラム及び笑い促進装置を提供することができる。

【実施例】

【0037】

ここで、上記実施形態にて説明した笑い促進装置を実際に作成しその効果を確認した。以下具体的に説明する。

【0038】

まず、カメラ、マイク、スピーカーを接続したコンピュータを上記図５で示すフレームボディに接続した。またこのコンピュータに、上記実施形態に係るプログラム及び笑い声データを記録し、装置を完成させた。なお、笑顔度データの算出については、ＯＫＡＯ Ｖｉｓｉｏｎ（オムロン社）を用いた。

【0039】

そして、上記装置を、参加者３名による９分の自由会話に参加させた。なおこの自由会話において、本装置の笑い声再生時間の長さは１．５秒、閾値データθは６０、第一の待機時間は２秒、第二の待機時間は、笑いが継続している場合（閾値データより高い場合）は１０秒、笑いが継続していない場合（閾値データ以下である場合）は０秒とした。

【0040】

この結果を図６に示す。本図は、会話中の発生を伴う笑の発生源により分類したものである。同じ場面において、会話者と本装置が笑った割合が５０％、本装置のみが笑った割合が３５％、会話者だけが笑った場合が１５％であった。本装置と会話者の双方が笑った割合が５０％と高いことを確認した。

【0041】

また図７は、上記図６で示す本装置と会話者の双方が笑った場合に、どちらが先に笑ったかを示す図である。この結果、本装置が先に笑った場合が５４％、本装置が後に笑った場合が４６％と、誘い笑い、つられ笑がおおむね半々ずつであったことが確認できた。すなわち、誘い笑い、つられ笑という形で、多くの笑いに本装置が貢献できたといえ、そのタイミングが適切であったことを確認した。

【0042】

以上、本実施例により本発明の有用性を確認できた。

【産業上の利用可能性】

【0043】

本発明は、笑い促進プログラム及び笑い促進装置として産業上の利用可能性がある。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】