(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6684887
(24)【登録日】2020年4月1日
(45)【発行日】2020年4月22日
(54)【発明の名称】ロボットの人間の顔の表情学習及び表情具現の方法
(51)【国際特許分類】
G06T 7/20 20170101AFI20200413BHJP
G06T 7/00 20170101ALI20200413BHJP
G06N 20/00 20190101ALI20200413BHJP
【FI】
G06T7/20 300B
G06T7/00 350B
G06N20/00 130
【請求項の数】6
【全頁数】11
(21)【出願番号】特願2018-212977(P2018-212977)
(22)【出願日】2018年11月13日
(65)【公開番号】特開2019-192199(P2019-192199A)
(43)【公開日】2019年10月31日
【審査請求日】2018年11月13日
(31)【優先権主張番号】10-2018-0044995
(32)【優先日】2018年4月18日
(33)【優先権主張国】KR
(73)【特許権者】
【識別番号】514100360
【氏名又は名称】コリア インスティテュート オブ インダストリアル テクノロジー
【氏名又は名称原語表記】KOREA INSTITUTE OF INDUSTRIAL TECHNOLOGY
(74)【代理人】
【識別番号】100130111
【弁理士】
【氏名又は名称】新保 斉
(72)【発明者】
【氏名】ユン、ハン オル
(72)【発明者】
【氏名】イ、ドン ウク
(72)【発明者】
【氏名】ヒョン、ヒョン ジュン
(72)【発明者】
【氏名】イ、ドク ヨン
(72)【発明者】
【氏名】チェ、ドン ウン
(72)【発明者】
【氏名】ホ、マン ホン
【審査官】
佐藤 実
(56)【参考文献】
【文献】
原文雄,顔ロボットによるヒューマンコミュニケーションの実現,システム制御情報学会誌 システム/制御/情報,システム制御情報学会,2000年 3月15日,第44巻 第3号,第46−54頁
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 − 7/90
G06N 20/00
(57)【特許請求の範囲】
【請求項1】
a)予め設定された人間の感情指標に応じて人間の顔の筋肉のEES(Epidermal Electric Sensor)信号を測定し、前記人間の感情指標に対応する複数個の人顔のモータユニットを導き出すステップと、
b)人間の顔の筋肉に対応するように設置されたサーボモータを基に、前記人顔のモータユニットと対応するように複数個のロボット顔のモータユニットを導き出すステップと、
c)前記人間の感情指標を表現するように、前記複数個のロボット顔のモータユニットと基本係数とを組み合わせてロボット顔の制御信号として導き出すステップと、
d)前記ロボット顔の制御信号に応じて、ロボットの顔の表情を表現し、かつ感情表現されたロボットの顔の表情から測定されるサーボモータのベクトル値の和をロボットの感情指標として導き出すステップと、
e)前記人間の感情指標と前記ロボットの感情指標との差である相違感情指標を導き出すステップと、
f)前記相違感情指標から前記ロボット顔のモータユニットの補正係数を演算するステップと、
g)前記基本係数と前記補正係数とを合算して新たな基本係数を導き出すステップと、
h)前記複数個のロボット顔のモータユニットと前記新たな基本係数を組み合わせて新たなロボット顔の制御信号を導き出すステップと、を含み、
前記(e)のステップにおいて、前記相違感情指標が予め設定された公差を満たすまで、前記(d)乃至(h)のステップを繰り返して行うことを特徴とする、ロボットの人間の顔の表情学習及び表情具現の方法。
【請求項2】
前記a)のステップにおいて、
前記人顔のモータユニットは、人間の顔の筋肉のEES信号のベクトル値の時系列データに非負値行列因子分解(Non-negative matrix factorization;NMF)のアルゴリズムを適用して導き出されたことを特徴とする、請求項1に記載のロボットの人間の顔の表情学習及び表情具現の方法。
【請求項3】
前記a)のステップにおいて、
前記人間の感情指標は、感情表現された人間の顔の表情から測定されるEES信号のベクトル値の和であることを特徴とする、請求項1に記載のロボットの人間の顔の表情学習及び表情具現の方法。
【請求項4】
前記b)のステップにおいて、
前記ロボット顔のモータユニットは、複数個の前記サーボモータの組み合わせからなることを特徴とする、請求項1に記載のロボットの人間の顔の表情学習及び表情具現の方法。
【請求項5】
前記d)のステップにおいて、
前記ロボットの感情指標は、感情表現されたロボットの顔の表情から測定されるサーボモータのベクトル値の和であることを特徴とする、請求項1に記載のロボットの人間の顔の表情学習及び表情具現の方法。
【請求項6】
請求項1に記載のロボットの人間の顔の表情学習及び表情具現の方法を適用したロボット。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボットの人間の顔の表情学習及び表情具現の方法に関し、さらに詳しくは、人間の感情指標とロボットのサーボモータパラメータ値の次元を一致させることで、自動的に人間の表情を機械学習して模写できるようにしたロボットの人間の顔の表情学習及び表情具現の方法に関する。
【背景技術】
【0002】
従来では、ロボットに人間の表情を模写させるために、Ekmanが提案したFAC(Facial Action Coding)に従って初期パラメータを設定してから、手動で微細調整をし続ける消耗的かつ繰り返し的な方法を用いていた。
【0003】
より具体的には、人間の感情の種類に比べ、一般的に人間の感情を表現するためのサーボモータ数がより多く必要とされる。ところが、一般的な機械学習の場合、入力値が出力値の数と同一であるか、より多い時に適用が可能であり、出力値が入力値より多い場合、機械学習を適用することは不可能である。
【0004】
即ち、入力値である人間の感情の種類は、出力値であるサーボモータの数に比べて少ないため、機械学習を適用することが難しく、その結果、従来では手動で微細調整をし続けるという方法を用いてロボットに人間の顔の表情を模写させていた。
【0005】
しかしながら、このように手動で微細調整を通じて人間の顔の表情を模写させるといった従来の技術は、フィードバック制御が難しく、ロボットが人間の顔の表情と類似な表情をするように人の感覚に頼って制御しなければならず、多くの時間を要していた。
【0006】
また、従来の技術では、人間の複合的な感情に対する表情の場合、人間の顔をそのまま模倣することが難しいという問題点もあった。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】日本国特開2017−162409号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
前記のような課題を解決するために、本発明は、人間の感情指標とロボットのサーボモータパラメータ値の次元を一致させることで、自動的に人間の表情を機械学習して模写できるようにしたロボットの人間の顔の表情学習及び表情具現の方法を提供することを目的とする。
【0009】
本発明が解決しようとする技術的課題は、前述の技術的課題に限定されるものではなく、言及していない他の技術的課題は、以下の記載から本発明の属する技術分野における通常の知識を有する者に明確に理解されるであろう。
【課題を解決するための手段】
【0010】
前記目的を達成するために、本発明は、a)予め設定された人間の感情指標に応じて人間の顔の筋肉のEES(Epidermal Electric Sensor)信号を測定し、前記人間の感情指標に対応する複数個の人顔のモータユニットを導き出すステップと、b)人間の顔の筋肉に対応するように設置されたサーボモータを基に、前記人顔のモータユニットと対応するように複数個のロボット顔のモータユニットを導き出すステップと、c)前記人間の感情指標を表現するように、前記複数個のロボット顔のモータユニットと基本係数とを組み合わせてロボット顔の制御信号として導き出すステップと、d)前記ロボット顔の制御信号に応じて、ロボットの顔の表情を表現し、かつロボットの感情指標を導き出すステップと、e)前記人間の感情指標と前記ロボットの感情指標との差である相違感情指標を導き出すステップと、f)前記相違感情指標から前記ロボット顔のモータユニットの補正係数を演算するステップと、g)前記基本係数と前記補正係数とを合算して新たな基本係数を導き出すステップと、h)前記複数個のロボット顔のモータユニットと前記新たな基本係数を組み合わせて新たなロボット顔の制御信号を導き出すステップと、を含み、前記(e)のステップにおいて、前記相違感情指標が予め設定された公差を満たすまで、前記(d)乃至(h)のステップを繰り返して行うことを特徴とするロボットの人間の顔の表情学習及び表情具現の方法を提供する。
【0011】
本発明の実施形態において、前記a)のステップにおいて、前記人顔のモータユニットは、人間の顔の筋肉のEES信号のベクトル値の時系列データに非負値行列因子分解(Non-negative matrix factorization;NMF)のアルゴリズムを適用して導き出されたことを特徴とする。
【0012】
本発明の実施形態において、前記a)のステップにおいて、前記人間の感情指標は、感情表現された人間の顔の表情から測定されるEES信号のベクトル値の和であることを特徴とする。
【0013】
本発明の実施形態において、前記b)のステップにおいて、前記ロボット顔のモータユニットは、複数個の前記サーボモータの組み合わせからなることを特徴とする。
【0014】
本発明の実施形態において、前記c)のステップにおいて、前記ロボット顔の制御信号は、複数個の前記ロボット顔のモータユニットと一対一で対応して乗じられる複数個の基本係数の和からなることを特徴とする。
【0015】
本発明の実施形態において、前記d)のステップにおいて、前記ロボットの感情指標は、感情表現されたロボットの顔の表情から測定されるサーボモータのベクトル値の和であることを特徴とする。
【0016】
前記のような目的を達成するために、本発明は、ロボットの人間の顔の表情学習及び表情具現の方法を適用したロボットを提供する。
【発明の効果】
【0017】
前記のような構成による本発明の効果は、先ず、人によって手動的に繰り返して行われた作業が自動化されることで、ロボットの人間の顔の表情模写に所要される時間を短縮することができる。
【0018】
また、本発明は、サーボモータの制御の間に、限界値以上の入力を加えることにより、過電流が発生して損傷するという不具合を防ぐことができる。
【0019】
そして、本発明は、特定の量的指標に対する各サーボモータの動作を探す数学的基盤とアルゴリズムを提供することで、より正確かつ迅速に、ロボットに人間の顔の表情を模写させる可能である。具体的に、本発明は、人間の感情指標とサーボモータのパラメータ値の次元(dimension)を一致させる数学的制御技法を提供し、人間の表情を模写させる機械学習(machine learning)ベースのアルゴリズムを提供することで、ロボットに人の複雑な感情による表情をそのまま模写させることができる。
【0020】
本発明の効果は、前記効果に限定されるものではなく、本発明の詳細な説明または特許請求の範囲に記載されている発明の構成から推論可能なあらゆる効果が含まれるものと理解すべきである。
【図面の簡単な説明】
【0021】
【
図1】本発明の一実施形態によるロボットの人間の顔の表情学習及び表情具現の方法のフローチャートである。
【
図2】本発明の一実施形態によるロボットの人間の顔の表情学習及び表情具現の方法に関するアルゴリズムのフローチャートである。
【
図3】本発明の一実施形態によるロボットの人間の顔の表情学習及び表情具現の方法における人顔のモータユニットを導き出すステップの一例を示す図である。
【
図4】本発明の一実施形態によるロボット顔のモータユニットを導き出すステップ及びロボット顔の制御信号を導き出すステップの一例を示す図である。
【
図5】本発明の一実施形態によるサーボモータが備えられたロボットを示す写真である。
【
図6】本発明の一実施形態によるロボットの顔の表情によるロボットの感情指標を示す写真である。
【
図7】本発明の一実施形態によるロボットの人間の顔の表情学習及び表情具現の方法の実施形態である。
【発明を実施するための形態】
【0022】
以下、添付図面を参照して本発明について説明する。しかしながら、本発明は、様々な異なる形態で実現され得るので、以下に説明する実施形態に限定されるものではない。また、図面において、本発明を明確に説明するために説明に関係のない部分は省略し、明細書全体を通して類似の部分には類似の符号を付した。
【0023】
明細書全体を通して、ある一部分が他の部分と「連結(接続,接触,結合)」されているという場合、それには「直接連結」されているもののみならず、その間にさらに他の部材を介して「間接的に連結」されているものも含まれる。また、ある部分がある構成要素を「含む」という場合、それは特に断らない限り他の構成要素を除外するものではなく、他の構成要素をさらに備えることを意味するものである。
【0024】
本発明に用いられる用語は、単に特定の実施形態について説明するために用いられるものであり、本発明を限定しようとする意図はない。単数の表現には、文脈からみて明らかに他の意味を有さない限り、複数の言い回しを含む。本発明における「含む」、「有する」などの用語は、明細書に記載されている特徴、数字、ステップ、動作、構成要素、部品またはそれらの組み合わせが存在することを示すものであり、1つまたはそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品またはそれらの組み合わせの存在または付加可能性を予め排除するものではないことを理解すべきである。
【0025】
以下、添付図面を参照して本発明の実施形態について詳細に説明する。
【0026】
図1は、本発明の一実施形態によるロボットの人間の顔の表情学習及び表情具現の方法のフローチャートであり、
図2は、本発明の一実施形態によるロボットの人間の顔の表情学習及び表情具現の方法に関するアルゴリズムのフローチャートである。
【0027】
そして、
図3は、本発明の一実施形態によるロボットの人間の顔の表情学習及び表情具現の方法における人顔のモータユニットを導き出すステップの一例を示す図であり、
図4は、本発明の一実施形態によるロボット顔のモータユニットを導き出すステップ及びロボット顔の制御信号を導き出すステップの一例を示す図であり、
図5は、本発明の一実施形態によるサーボモータが備えられたロボットを示す写真である。
【0028】
図1乃至
図5を参照すると、ロボットの人間の顔の表情学習及び表情具現の方法は、先ず、予め設定された人間の感情指標に応じて人間の顔の筋肉のEES(Epidermal Electric Sensor)信号を測定し、人間の感情指標に対応する複数個の人顔のモータユニットを導き出すステップS10を行うように備えられてもよい。
【0029】
予め設定された人間の感情指標に応じて人間の顔の筋肉のEES(Epidermal Electric Sensor)信号を測定し、人間の感情指標に対応する複数個の人顔のモータユニットを導き出すステップS10において、人顔のモータユニットは、人間の顔の筋肉のEES信号のベクトル値の時系列データに非負値行列因子分解(Non-negative matrix factorization;NMF)のアルゴリズムを適用して導き出す。
【0030】
一例として、
図3に示すように、先ず、人に幸せな感情の顔の表情をしてもらい、この状態での顔面筋肉の複数の箇所でEES信号を測定してもよい。そして、人顔のモータユニットは、複数の箇所でのEES信号のベクトル値の時系列データに非負値行列因子分解(Non-negative matrix factorization;NMF)のアルゴリズムを適用して各箇所におけるEES信号をグルーピングした形態で導き出す。
【0031】
具体的な例として、
図3に一例として示された第1の人顔のモータユニット(M1)及び第2の人顔のモータユニット(M2)は、4箇所で測定されたEES信号をそれぞれグルーピング(Grouping)して示したものである。
【0032】
そして、第1の人顔のモータユニット(M1)と第2の人顔のモータユニット(M2)にそれぞれ係数を乗算して合わせた値は、それぞれの顔の筋肉の箇所で測定されたEES信号値と一致するように備えられる。
【0033】
また、予め設定された人間の感情指標に応じて人間の顔の筋肉のEES(Epidermal Electric Sensor)信号を測定し、人間の感情指標に対応する複数個の人顔のモータユニットを導き出すステップS10において、前記人間の感情指標は、感情表現された人間の顔の表情から測定されるEES信号のベクトル値の和であることを特徴とする。
【0034】
具体的に、人間の感情による表情に応じてEES信号のベクトル値が変わり、その結果、EES信号のベクトル値の和は、人間の感情と一対一で対応する。即ち、人間の感情指標は、人間の感情と一対一で対応することで、人間の感情指標を知れば人間の感情を理解することができ、逆に、人間の感情を知れば人間の感情指標を理解することができる。
【0035】
また、人顔のモータユニットの個数は、既に設定された人間の感情指標の個数と同一に備えられてもよい。
【0036】
予め設定された人間の感情指標に応じて人間の顔の筋肉のEES(Epidermal Electric Sensor)信号を測定し、人間の感情指標に対応する複数個の人顔のモータユニットを導き出すステップS10の次には、人間の顔の筋肉に対応するように設置されたサーボモータを基に、人顔のモータユニットと対応するように複数個のロボット顔のモータユニットを導き出すステップS20が行われてもよい。
【0037】
人間の顔の筋肉に対応するように設置されたサーボモータを基に、人顔のモータユニットと対応するように複数個のロボット顔のモータユニットを導き出すステップS20において、前記ロボット顔のモータユニットは、複数個の前記サーボモータの組み合わせからなってもよい。
【0038】
具体的に、複数の前記サーボモータは、人間の顔の筋肉と対応するように備えられたワイヤーと連結されて備えられてもよい。そして、前記ロボット顔のモータユニットは、それぞれの人顔のモータユニットと対応するように前記サーボモータを組み合わせて備えられてもよい。
【0039】
一例として、
図4に示すように、第1のロボット顔のモータユニット(N1)は、第1の人顔のモータユニット(M1)と対応するようにサーボモータが組み合わせられて備えられ、第2のロボット顔のモータユニット(N2)は、第2の人顔のモータユニット(M2)と対応するようにサーボモータが組み合わせられて備えられてもよい。
【0040】
そして、前記ロボット顔のモータユニットの個数は、前記人顔のモータユニットの個数と同一に備えられてもよい。
【0041】
人間の顔の筋肉に対応するように設置されたサーボモータを基に、人顔のモータユニットと対応するように複数個のロボット顔のモータユニットを導き出すステップS20の以降には、人間の感情指標を表現するように、複数個のロボット顔のモータユニットと基本係数とを組み合わせてロボット顔の制御信号として導き出すステップS30が行われてもよい。
【0042】
人間の感情指標を表現するように、複数個のロボット顔のモータユニットと基本係数とを組み合わせてロボット顔の制御信号として導き出すステップS30において、前記ロボット顔の制御信号は、複数個の前記ロボット顔のモータユニットと一対一で対応して乗じられる複数個の基本係数の和からなることを特徴とする。
【0043】
このように備えられた本発明は、サーボモータをグルーピングして形成されたロボット顔のモータユニットと人間の感情指標の個数を同一にして次元を一致させることができ、それぞれのサーボモータを個別的に制御するのではなく、前記基本係数を変更してサーボモータを制御することにより、制御の入力数を低減することができる。即ち、前記ロボット顔のモータユニットは、固定された状態で、前記基本係数をメタパラメータとして利用してロボット顔の制御信号を制御かつ導出することができる。
【0044】
人間の感情指標を表現するように、複数個のロボット顔のモータユニットと基本係数とを組み合わせてロボット顔の制御信号として導き出すステップS30の以降には、ロボット顔の制御信号に応じて、ロボットの顔の表情を表現し、かつロボットの感情指標を導き出すステップS40が行われてもよい。
【0045】
ロボット顔の制御信号に応じて、ロボットの顔の表情を表現してロボットの感情指標を導き出すステップS40において、前記ロボットの感情指標は、感情表現されたロボットの顔の表情から測定されるサーボモータのベクトル値の和であることを特徴とする。
【0046】
この際、ロボット顔の制御信号に応じて、ロボットの顔の表情を表現し、かつロボットの感情指標を導き出すステップS40において、前記ロボットの感情指標は、顔の表情解析器(Noldus Face Reader、iMotion、OpenFaceなど)を用いて求められた値であってもよい。
【0047】
図6は、本発明の一実施形態によるロボットの顔の表情によるロボットの感情指標を示す写真である。
【0048】
一例として、
図6に示すように、前記ロボットの感情指標は、感情表現されたロボットの顔の表情から測定されるサーボモータのベクトル値の和であることを特徴とする。
【0049】
ロボット顔の制御信号に応じて、ロボットの顔の表情を表現してロボットの感情指標を導き出すステップS40の以降には、人間の感情指標とロボットの感情指標との差である相違感情指標を導き出すステップS50が行われてもよい。
【0050】
人間の感情指標とロボットの感情指標との差である相違感情指標を導き出すステップS50の以降には、相違感情指標からロボット顔のモータユニットの補正係数を演算するステップS60が行われてもよい。
【0051】
相違感情指標からロボット顔のモータユニットの補正係数を演算するステップS60において、前記補正係数は、Genetic algorithm、Artificial Neural Network、Deep learningのような機械学習技術によって演算されてもよい。
【0052】
具体的に、ロボット顔の制御信号は、ロボットの表情と非線形の関係である。即ち、人間の筋肉とロボットに備えられたサーボモータ及びワイヤーとが完全に一致しないため、サーボモータをEES信号に対応するように制御しても、顔の表情解析器を用いて測定した際に、ロボットの顔の表情と人間の顔の表情が完全に一致するように制御することが困難である。
【0053】
従って、相違感情指標からロボット顔のモータユニットの補正係数を演算するステップS60においては、補正係数を前述の機械学習の方法によって演算することができる。
【0054】
相違感情指標からロボット顔のモータユニットの補正係数を演算するステップS60の以降には、基本係数と前記補正係数とを合算して新たな基本係数を導き出すステップS70が行われてもよい。
【0055】
基本係数と前記補正係数とを合算して新たな基本係数を導き出すステップS70の以降には、複数個のロボット顔のモータユニットと新たな基本係数とを組み合わせて新たなロボット顔の制御信号を導き出すステップS80が行われてもよい。
【0056】
そして、ロボット顔の制御信号に応じて、ロボットの顔の表情を表現し、かつロボットの感情指標を導き出すステップS40乃至複数個のロボット顔のモータユニットと新たな基本係数とを組み合わせて新たなロボット顔の制御信号を導き出すステップS80は、人間の感情指標とロボットの感情指標との差である相違感情指標を導き出すステップS50において、前記相違感情指標が既に設定された公差を満たすまで、繰り返して行われてもよい。
【0057】
そして、前記相違感情指標が既に設定された公差を満たすまで、機械学習が自動的に行われ、前記相違感情指標が既に設定された公差を満たすようになると、その際のロボット顔の制御信号を結果値として導き出してロボットに適用することができる。
【0058】
このように、本発明は、サーボモータを人間の感情指標の次元と一致させて自動の機械学習が可能となるようにすることで、より簡単かつ迅速にロボットが人間の顔の表情と最も類似な表情をするように、ロボット顔の制御信号を導き出すことができる。
【0059】
図7は、本発明の一実施形態によるロボットの人間の顔の表情学習及び表情具現の方法の実施形態である。
【0060】
図7に示すように、本発明によるロボットの人間の顔の表情学習及び表情具現の方法は、サーボモータを人間の感情指標の次元と一致させて自動の機械学習が可能となるようにすることで、より簡単かつ迅速にロボットが人間の顔の表情と最も類似な表情をするように、ロボット顔の制御信号を導き出すことができる。
【0061】
前述したように備えられた本発明を利用すると、人間の表情をロボットに学習させてHRIやソーシャルロボットのためのデータベースとして用いることができ、本発明は、顔の表情のみならず、ロボットの様々な動作の学習にも適用可能である。
【0062】
そして、本発明によると、さらに、本発明は、サーボモータの制御の際に限界値以上の入力を加えることによって、サーボモータに過電流が発生して損傷するという不具合を防ぐことができる。
【0063】
前述した本発明の説明は例示のためのものであり、本発明の属する技術分野における通常の知識を有する者であれば、本発明の技術的思想や必須の特徴を変更することなく、他の具体的な形態に容易に変形できることを理解するであろう。よって、前述の実施形態はあくまで例示的なものであり、限定的なものでないことを理解すべきである。例えば、単一型で説明された各構成要素を分散して実施してもよく、同様に分散したものと説明された構成要素を結合された形態に実施してもよい。
【0064】
本発明の範囲は、添付の特許請求の範囲により示され、特許請求の範囲の意味及び範囲、並びにその均等概念から導かれるあらゆる変更または変形された形態も本発明に含まれるものと解釈すべきである。
【符号の説明】
【0065】
M1:第1の人顔のモータユニット
M2:第2の人顔のモータユニット
N1:第1のロボット顔のモータユニット
N2:第2のロボット顔のモータユニット