ホーム > 特許ランキング > ナレルシステム株式会社
特開2022-39125多幸感を与えるコンピュータプログラム、これを用いた方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022039125
(43)【公開日】2022-03-10
(54)【発明の名称】多幸感を与えるコンピュータプログラム、これを用いた方法及び装置
(51)【国際特許分類】
G10L 15/10 20060101AFI20220303BHJP
G10L 25/63 20130101ALI20220303BHJP
G10L 19/00 20130101ALI20220303BHJP
G06F 3/16 20060101ALI20220303BHJP
【ＦＩ】
G10L15/10 500N
G10L25/63
G10L19/00 312E
G06F3/16 650
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2020143982
(22)【出願日】2020-08-27
(71)【出願人】
【識別番号】301062798
【氏名又は名称】ナレルシステム株式会社
(72)【発明者】
【氏名】中村圭介
(57)【要約】
【課題】良い思い出の記憶を適時に呼び起こしてＱＯＬを改善しやすくするシステムを提供すること
【解決手段】マイクと接続されたスマートホン、ロボットもしくはコンピュータを含む
システムと連動するコンピュータプログラムであって、
利用者のマイナスの感情を検出した場合に、
該利用者または該利用者に関連する権限者からあらかじめ取得した該利用者に関連するプラスの感情に関連する音声データを
自動再生するコンピュータプログラムを提供する。
プラスの感情に関連する音声データのかわりに、又は、かかる音声データに加えて静止画、動画を自動再生してもよい。
【選択図】図１
【解決手段】マイクと接続されたスマートホン、ロボットもしくはコンピュータを含む
システムと連動するコンピュータプログラムであって、
利用者のマイナスの感情を検出した場合に、
該利用者または該利用者に関連する権限者からあらかじめ取得した該利用者に関連するプラスの感情に関連する音声データを
自動再生するコンピュータプログラムを提供する。
プラスの感情に関連する音声データのかわりに、又は、かかる音声データに加えて静止画、動画を自動再生してもよい。
【選択図】図１
【特許請求の範囲】
【請求項1】
マイクと接続されたスマートホン、ロボットもしくはコンピュータを
含むシステムと連動するコンピュータプログラムであって、
利用者のマイナスの感情をマイクを介して検出した場合に、
該利用者または該利用者に関連する権限者からあらかじめ取得した該利用者に関連するプラスの感情に関連する音声データを、
システムに接続されたスピーカから自動再生すること
を特徴とするコンピュータプログラム。
含むシステムと連動するコンピュータプログラムであって、
利用者のマイナスの感情をマイクを介して検出した場合に、
該利用者または該利用者に関連する権限者からあらかじめ取得した該利用者に関連するプラスの感情に関連する音声データを、
システムに接続されたスピーカから自動再生すること
を特徴とするコンピュータプログラム。
【請求項2】
マイクの代わりに又はマイクに加えてカメラと接続されており、
前記検出、取得、再生又はそれらの組み合わせについて、写真その他の静止画や動画を対象とする
請求項１に記載のコンピュータプログラム。
前記検出、取得、再生又はそれらの組み合わせについて、写真その他の静止画や動画を対象とする
請求項１に記載のコンピュータプログラム。
【請求項3】
データの自動再生の前の十分な時間（例えば、３秒～１５秒のいずれか設定した時間）に
利用者又は周囲の人がプログラムによる自動再生を抑制するための
特定タイプの音声（「ストップ」、「やめ」、等）又は姿勢画像（動きのあるサイン動画を含んでよい）を
プログラムが検知するタイミングを用意し、
検知した場合に自動再生を抑制する
請求項１又は２に記載のコンピュータプログラム。
利用者又は周囲の人がプログラムによる自動再生を抑制するための
特定タイプの音声（「ストップ」、「やめ」、等）又は姿勢画像（動きのあるサイン動画を含んでよい）を
プログラムが検知するタイミングを用意し、
検知した場合に自動再生を抑制する
請求項１又は２に記載のコンピュータプログラム。
【請求項4】
マイク又はカメラで利用者本人が一人で検出可能空間にいるかを判断してして
一人でいるときのみに前記自動再生を行う、
請求項１から３のいずれか一項に記載のコンピュータプログラム。
一人でいるときのみに前記自動再生を行う、
請求項１から３のいずれか一項に記載のコンピュータプログラム。
【請求項5】
マイク又はカメラで利用者本人と他の誰が検出可能空間にいるかを判断してして
自動再生しようとしているデータを視聴してもよいと別途定義されている人のみがいる場合にのみに前記自動再生を行う、
又は、当該データを視聴してもよいと該別途定義されている人以外が検出可能空間に新たに入った場合に
前記自動再生を中止する制御を行う
請求項１から３のいずれか一項に記載のコンピュータプログラム。
自動再生しようとしているデータを視聴してもよいと別途定義されている人のみがいる場合にのみに前記自動再生を行う、
又は、当該データを視聴してもよいと該別途定義されている人以外が検出可能空間に新たに入った場合に
前記自動再生を中止する制御を行う
請求項１から３のいずれか一項に記載のコンピュータプログラム。
【請求項6】
利用者が、
笑顔になったとき、又は、良い思い出を登録する意図での所定の音声サインを発した時を
カメラ、マイク又はその両方で自動検出して、
音声、静止画又は動画を、
自動又は半自動で採取して記憶し、
前記「該利用者に関連するプラスの感情に関連する」音声データ又は画像データとして用いる
請求項１から５のいずれか一項に記載のコンピュータプログラム。
笑顔になったとき、又は、良い思い出を登録する意図での所定の音声サインを発した時を
カメラ、マイク又はその両方で自動検出して、
音声、静止画又は動画を、
自動又は半自動で採取して記憶し、
前記「該利用者に関連するプラスの感情に関連する」音声データ又は画像データとして用いる
請求項１から５のいずれか一項に記載のコンピュータプログラム。
【請求項7】
請求項１から６のいずれか一項に記載のコンピュータプログラムを用いた方法。
【請求項8】
請求項１から６のいずれか一項に記載のコンピュータプログラムを備えたシステム装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、良い想い出等を多幸感に結び付けてＱＯＬを改善するためのコンピュータプログラム、方法及び装置に関する。
【背景技術】
【0002】
従来、本形式のアルバムや日記、フォトフレーム（下記、特許文献１）等がそのような役目をはたしてきたが、適時に、手間なく、かつ、周囲に嫌味にならずに、良い思い出を多幸感につなげる効果を得ることが困難であった。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－１９７５５７
【発明の概要】
【発明が解決しようとする課題】
【0004】
良い思い出の記憶を適時に、簡便に、かつ、周囲の嫌味にならずに呼び起こしてＱＯＬを改善しやすくするシステムを提供することである。
【課題を解決するための手段】
【0005】
本発明は、かかる課題を解決するため、
マイクと接続されたスマートホン、ロボットもしくはコンピュータを
含むシステムと連動するコンピュータプログラムであって、
利用者のマイナスの感情をマイクを介して検出した場合に、
該利用者または該利用者に関連する権限者からあらかじめ取得した該利用者に関連するプラスの感情に関連する音声データを、
システムに接続されたスピーカから自動再生すること
を特徴とするコンピュータプログラムを提供する。
：「マイナスの感情」とは、悲しみ、哀愁、憂鬱、無力感、怒り、苦しみ等をいい、これらは深層学習（画像、音声、等が対象）である程度の精度で分類することができ、利用者毎に事前分類するフェーズを設けることでその精度を上げることができる。また、占いを依頼する内容の言動やしぐさを「マイナスの感情」の一種とみなして当該コンピュータプログラムの認識アルゴリズム又は推論のためのデータを準備することができる。
：「利用者のマイナスの感情を検出した場合」とは、
マイクや別途のカメラと深層学習済の感情分類器（音声、静止画像、動画）等により、
悲しみや怒りや憂鬱を表す言葉、発言の抑揚、表情等を分類して行う。
分類の安定のための時間軸におけるヒステリシス制御や、同じ分類の一定時間・回数の継続を分類の条件として加えることもできる。
また、一旦分類して自動再生を行ったのちは、１５分、３０分、４５分、６０分、９０分、１２０分又は１８０分未満等の間隔で同じ目的のコンテンツがしつこく再生されたりしないように、最低の再生間隔を設定し、作業や勉強などの邪魔となるのを避けることができる。また、しつこさを和らげるために、同じコンテンツや同様のテーマのコンテンツの再生間隔のみを、プログラムにより、より広く設定することもできる。
：「利用者に関連するプラスの感情に関連する音声データ」とは、
例えば、
その利用者が笑顔になったときにマイクで自動採取（または本人等の許可を得ての半自動採取、又は、過去録音を本人や家族等が編集コピー）した
利用者に関連する（自動録音等の場合、システム周辺でもある）音声（よい思い出の録音、楽しい過去会話、楽しく歌った歌声、等）である。
また、その利用者の属性（例えば人間関係、体調、仕事等の問題を抱えている）に関連する他人の苦労話（同様の問題に基づくもの）やその問題等を乗り越えていくストーリーを本人または家族やセラピストが編集した音声データや動画や静止画やそれらの混合マルチメディア（ＭＭ）コンテンツもそのような音声データにあたる。一般的な苦労話や乗り越えるストーリーは、ネットワーク等から自動更新して、最新のものやより状況が似たもの、より多くのケースについての苦労話（好ましくは乗り越えられた苦労話だけをＡＩや家族が自動選択して）をプログラムが提供することができる。なお、前記「占いを依頼する内容」を「マイナスの感情」とみなした場合には、「占いの依頼」にこたえる形式としてかかる音声データの内容を準備することが有利である。
：音声データが複数存在する場合には、マイナスの感情に応じてそれらをランダム再生したり、録音日時の順や逆順に再生したり、所定期間内の直近に再生された音声データを回避するようにしたり、コンピュータプログラムが自動で一つ又は複数を選択して再生することができる。
：音声データに別途の重みづけ（人または自動分類による）を行った場合には、マイナスの感情の程度（－１、－２・・・）に応じて、重みの重い音声データやその多くの組合せを用いることができる。
：マイナスの感情の検出は、表情や音声内容（テキストデータ化して認識してもよい）、音声抑揚や音量変化等の他にも、１５分、３０分、４５分、６０分、又は、９０分以上のマイク音声上の沈黙やカメラ上の静止を「マイナスの感情」とみなしてプログラムが検知するようにすることもできる。
＞こうした機能により、思い出して悲しんだり悩んだり絶望したりする時間を、適時に（悲しい表情等を検出して）、手間なく（自動のため）、嫌味なく（利用者が能動的に自分だけの幸せを再生するわけではないので）、効果的に減らし、多幸感と感謝（過去のよい思い出への）と希望（幸せをとりもどす具体的な道筋の探索や期待等）に結び付けやすくすることができる。
また、本発明は、
マイクの代わりに又はマイクに加えてカメラと接続されており、
前記検出、取得、再生又はそれらの組み合わせについて、写真その他の静止画や動画を対象とする
上記のようなコンピュータプログラムを提供する。
＞これにより、よい思い出のイメージや苦労への共感や苦労を乗り越えるイメージがより明確になることがある。
また、本発明は、
データの自動再生の前の十分な時間（例えば、３秒～１５秒のいずれか設定した時間）に
利用者又は周囲の人がプログラムによる自動再生を抑制するための
特定タイプの音声（「ストップ」、「やめ」、等）又は姿勢画像（動きのあるサイン動画を含んでよい）を
プログラムが検知するタイミングを用意し、
検知した場合に自動再生を抑制する
上記のようなコンピュータプログラムを提供する。
：「検知するタイミング」には「これから思い出を再生します。やめる場合はストップと音声で指示するか又はカメラに向かって手で印を作ってください」というテロップをテキストや音声でモニタ画面やスピーカに出力するようにプログラムすることができる。また、最後の数秒に、「３」「２」「１」などと残り時間を出力するようにプログラムすることもできる（図１の「再生ガイド」など）。
：同席する人に知られたら都合の悪いコンテンツかどうかを、撮影年月日、思い出を共有した人の暗号、思い出の分野コード、等の付加情報により、再生ガイドの表示（モニタ又は音声）に載せて、区別しやすくすることもできる。そのような付加情報は、コンテンツデータと紐づけて保存しておくことで、再生ガイド時に表示することが可能となる。
＞これにより、周囲にたまたま同席した人にとって嫌味となりそうなデータ（コンテンツ）の自動再生（再生事故）を、ある程度抑制・防止することができる。また、本人にとっても、たまたま作ってしまった「悲しい表情」等に対する余計な自動再生を抑制することができる。
また、本発明は、
マイク又はカメラで利用者本人が一人で検出可能空間にいるかを判断してして
一人でいるときのみに前記自動再生を行う、
上記のようなコンピュータプログラムを提供する。
＞これにより、周囲の嫌味のないように抑制する手間をある程度省くことができる。
また、本発明は、
マイク又はカメラで利用者本人と他の誰が検出可能空間にいるかを判断してして
自動再生しようとしているデータを視聴してもよいと別途定義されている人のみがいる場合にのみに前記自動再生を行う、
又は、当該データを視聴してもよいと該別途定義されている人以外が検出可能空間に新たに入った場合に
前記自動再生を中止する制御を行う
上記のようなコンピュータプログラムを提供する。
：利用者本人（多く場合特定の一人）や他の誰がいるかの判断に用いるデータや機械学習結果は、
検出時に用いるために事前にシステムに記憶しておくことができる。
＞これにより、効率的により広い範囲の想い出データ等を自動再生することができる。
また、本発明は、
利用者が、
笑顔になったとき、又は、良い思い出を登録する意図での所定の音声サインを発した時を
カメラ、マイク又はその両方で自動検出して、
音声、静止画又は動画を、
自動又は半自動で採取して記憶し、
前記「該利用者に関連するプラスの感情に関連する」音声データ又は画像データとして用いる
上記のようなコンピュータプログラムを提供する。
：収集したデータについて、誰と一緒にいるときに再生しても嫌味にならないかは、利用者本人や信頼された所定の家族が
定義データを編集して記憶することができる。
＞これにより、個人的な「よい思い出」等のデータの収集が容易になる。
また、本発明は、このようなコンピュータプログラムを用いた方法を提供する。
また、本発明は、このようなコンピュータプログラムを備えたシステム装置を提供する。
マイクと接続されたスマートホン、ロボットもしくはコンピュータを
含むシステムと連動するコンピュータプログラムであって、
利用者のマイナスの感情をマイクを介して検出した場合に、
該利用者または該利用者に関連する権限者からあらかじめ取得した該利用者に関連するプラスの感情に関連する音声データを、
システムに接続されたスピーカから自動再生すること
を特徴とするコンピュータプログラムを提供する。
：「マイナスの感情」とは、悲しみ、哀愁、憂鬱、無力感、怒り、苦しみ等をいい、これらは深層学習（画像、音声、等が対象）である程度の精度で分類することができ、利用者毎に事前分類するフェーズを設けることでその精度を上げることができる。また、占いを依頼する内容の言動やしぐさを「マイナスの感情」の一種とみなして当該コンピュータプログラムの認識アルゴリズム又は推論のためのデータを準備することができる。
：「利用者のマイナスの感情を検出した場合」とは、
マイクや別途のカメラと深層学習済の感情分類器（音声、静止画像、動画）等により、
悲しみや怒りや憂鬱を表す言葉、発言の抑揚、表情等を分類して行う。
分類の安定のための時間軸におけるヒステリシス制御や、同じ分類の一定時間・回数の継続を分類の条件として加えることもできる。
また、一旦分類して自動再生を行ったのちは、１５分、３０分、４５分、６０分、９０分、１２０分又は１８０分未満等の間隔で同じ目的のコンテンツがしつこく再生されたりしないように、最低の再生間隔を設定し、作業や勉強などの邪魔となるのを避けることができる。また、しつこさを和らげるために、同じコンテンツや同様のテーマのコンテンツの再生間隔のみを、プログラムにより、より広く設定することもできる。
：「利用者に関連するプラスの感情に関連する音声データ」とは、
例えば、
その利用者が笑顔になったときにマイクで自動採取（または本人等の許可を得ての半自動採取、又は、過去録音を本人や家族等が編集コピー）した
利用者に関連する（自動録音等の場合、システム周辺でもある）音声（よい思い出の録音、楽しい過去会話、楽しく歌った歌声、等）である。
また、その利用者の属性（例えば人間関係、体調、仕事等の問題を抱えている）に関連する他人の苦労話（同様の問題に基づくもの）やその問題等を乗り越えていくストーリーを本人または家族やセラピストが編集した音声データや動画や静止画やそれらの混合マルチメディア（ＭＭ）コンテンツもそのような音声データにあたる。一般的な苦労話や乗り越えるストーリーは、ネットワーク等から自動更新して、最新のものやより状況が似たもの、より多くのケースについての苦労話（好ましくは乗り越えられた苦労話だけをＡＩや家族が自動選択して）をプログラムが提供することができる。なお、前記「占いを依頼する内容」を「マイナスの感情」とみなした場合には、「占いの依頼」にこたえる形式としてかかる音声データの内容を準備することが有利である。
：音声データが複数存在する場合には、マイナスの感情に応じてそれらをランダム再生したり、録音日時の順や逆順に再生したり、所定期間内の直近に再生された音声データを回避するようにしたり、コンピュータプログラムが自動で一つ又は複数を選択して再生することができる。
：音声データに別途の重みづけ（人または自動分類による）を行った場合には、マイナスの感情の程度（－１、－２・・・）に応じて、重みの重い音声データやその多くの組合せを用いることができる。
：マイナスの感情の検出は、表情や音声内容（テキストデータ化して認識してもよい）、音声抑揚や音量変化等の他にも、１５分、３０分、４５分、６０分、又は、９０分以上のマイク音声上の沈黙やカメラ上の静止を「マイナスの感情」とみなしてプログラムが検知するようにすることもできる。
＞こうした機能により、思い出して悲しんだり悩んだり絶望したりする時間を、適時に（悲しい表情等を検出して）、手間なく（自動のため）、嫌味なく（利用者が能動的に自分だけの幸せを再生するわけではないので）、効果的に減らし、多幸感と感謝（過去のよい思い出への）と希望（幸せをとりもどす具体的な道筋の探索や期待等）に結び付けやすくすることができる。
また、本発明は、
マイクの代わりに又はマイクに加えてカメラと接続されており、
前記検出、取得、再生又はそれらの組み合わせについて、写真その他の静止画や動画を対象とする
上記のようなコンピュータプログラムを提供する。
＞これにより、よい思い出のイメージや苦労への共感や苦労を乗り越えるイメージがより明確になることがある。
また、本発明は、
データの自動再生の前の十分な時間（例えば、３秒～１５秒のいずれか設定した時間）に
利用者又は周囲の人がプログラムによる自動再生を抑制するための
特定タイプの音声（「ストップ」、「やめ」、等）又は姿勢画像（動きのあるサイン動画を含んでよい）を
プログラムが検知するタイミングを用意し、
検知した場合に自動再生を抑制する
上記のようなコンピュータプログラムを提供する。
：「検知するタイミング」には「これから思い出を再生します。やめる場合はストップと音声で指示するか又はカメラに向かって手で印を作ってください」というテロップをテキストや音声でモニタ画面やスピーカに出力するようにプログラムすることができる。また、最後の数秒に、「３」「２」「１」などと残り時間を出力するようにプログラムすることもできる（図１の「再生ガイド」など）。
：同席する人に知られたら都合の悪いコンテンツかどうかを、撮影年月日、思い出を共有した人の暗号、思い出の分野コード、等の付加情報により、再生ガイドの表示（モニタ又は音声）に載せて、区別しやすくすることもできる。そのような付加情報は、コンテンツデータと紐づけて保存しておくことで、再生ガイド時に表示することが可能となる。
＞これにより、周囲にたまたま同席した人にとって嫌味となりそうなデータ（コンテンツ）の自動再生（再生事故）を、ある程度抑制・防止することができる。また、本人にとっても、たまたま作ってしまった「悲しい表情」等に対する余計な自動再生を抑制することができる。
また、本発明は、
マイク又はカメラで利用者本人が一人で検出可能空間にいるかを判断してして
一人でいるときのみに前記自動再生を行う、
上記のようなコンピュータプログラムを提供する。
＞これにより、周囲の嫌味のないように抑制する手間をある程度省くことができる。
また、本発明は、
マイク又はカメラで利用者本人と他の誰が検出可能空間にいるかを判断してして
自動再生しようとしているデータを視聴してもよいと別途定義されている人のみがいる場合にのみに前記自動再生を行う、
又は、当該データを視聴してもよいと該別途定義されている人以外が検出可能空間に新たに入った場合に
前記自動再生を中止する制御を行う
上記のようなコンピュータプログラムを提供する。
：利用者本人（多く場合特定の一人）や他の誰がいるかの判断に用いるデータや機械学習結果は、
検出時に用いるために事前にシステムに記憶しておくことができる。
＞これにより、効率的により広い範囲の想い出データ等を自動再生することができる。
また、本発明は、
利用者が、
笑顔になったとき、又は、良い思い出を登録する意図での所定の音声サインを発した時を
カメラ、マイク又はその両方で自動検出して、
音声、静止画又は動画を、
自動又は半自動で採取して記憶し、
前記「該利用者に関連するプラスの感情に関連する」音声データ又は画像データとして用いる
上記のようなコンピュータプログラムを提供する。
：収集したデータについて、誰と一緒にいるときに再生しても嫌味にならないかは、利用者本人や信頼された所定の家族が
定義データを編集して記憶することができる。
＞これにより、個人的な「よい思い出」等のデータの収集が容易になる。
また、本発明は、このようなコンピュータプログラムを用いた方法を提供する。
また、本発明は、このようなコンピュータプログラムを備えたシステム装置を提供する。
【図面の簡単な説明】
【0006】
【図1】本発明の一実施例を示す説明図である。
【符号の説明】
【0007】
１ 本発明によるコンピュータプログラムと制御方法を含む思い出システム装置（図示しないカメラ、マイク、スピーカ、モニタ部を含む）
２ システムの全体制御プログラム（一般的なモニタつきＡＩスピーカとしての機能の他に本発明によるコンピュータプログラムを含む）
３ 不揮発メモリ（利用者の良い思い出に関連する音声データ、写真データ、動画データ、それらの再生履歴、本人認証データ（顔等）、データごとに誰が一緒でも再生していよいかについてのデータ、等を含む）
４ 深層学習によりあらかじめ学習したマルチメディア（ＭＭ）感情分類機能（カメラ又はマイクにより入力した利用者の現在の状態に関連するデータからプラス又はマイナスの感情判定とその程度を出力する）
５ 利用者の感情判定がプラスだった場合に、思い出を音声や画像や動画として報告するよう利用者をガイドしかつそれに応じた利用者からの音声や画像や動画を不揮発メモリに蓄積する機能（ガイドとは、良い思い出を音声で利用者に説明させたり、良い思い出の静止画や動画を当該システムのカメラに映るように見せるようさせたり、することである）
６ 利用者の感情判定がマイナスだった場合に、蓄積されたよい思い出データの組合せ（１つのときもある）と量（数等）を、マイナスの程度と再生履歴とを参照しながら決定し、再生する機能
７ 利用者の表情（思い出データの自動再生によりマイナスからプラスに変わった変化を示す）
２ システムの全体制御プログラム（一般的なモニタつきＡＩスピーカとしての機能の他に本発明によるコンピュータプログラムを含む）
３ 不揮発メモリ（利用者の良い思い出に関連する音声データ、写真データ、動画データ、それらの再生履歴、本人認証データ（顔等）、データごとに誰が一緒でも再生していよいかについてのデータ、等を含む）
４ 深層学習によりあらかじめ学習したマルチメディア（ＭＭ）感情分類機能（カメラ又はマイクにより入力した利用者の現在の状態に関連するデータからプラス又はマイナスの感情判定とその程度を出力する）
５ 利用者の感情判定がプラスだった場合に、思い出を音声や画像や動画として報告するよう利用者をガイドしかつそれに応じた利用者からの音声や画像や動画を不揮発メモリに蓄積する機能（ガイドとは、良い思い出を音声で利用者に説明させたり、良い思い出の静止画や動画を当該システムのカメラに映るように見せるようさせたり、することである）
６ 利用者の感情判定がマイナスだった場合に、蓄積されたよい思い出データの組合せ（１つのときもある）と量（数等）を、マイナスの程度と再生履歴とを参照しながら決定し、再生する機能
７ 利用者の表情（思い出データの自動再生によりマイナスからプラスに変わった変化を示す）
【図1】
