特許 6856243 会議システムおよび制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6856243

(24)【登録日】2021年3月22日

(45)【発行日】2021年4月7日

(54)【発明の名称】会議システムおよび制御プログラム

(51)【国際特許分類】

   H04M 3/56 20060101AFI20210329BHJP

   G06F 13/00 20060101ALI20210329BHJP

   H04N 7/15 20060101ALI20210329BHJP

【ＦＩ】

   H04M3/56 Z

   G06F13/00 650A

   H04N7/15 170

【請求項の数】7

【全頁数】19

(21)【出願番号】特願2017-70851(P2017-70851)

(22)【出願日】2017年3月31日

(65)【公開番号】特開2018-174425(P2018-174425A)

(43)【公開日】2018年11月8日

【審査請求日】2020年2月28日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２８年度 国立研究開発法人科学技術振興機構 戦略的創造研究推進事業 総括実施型研究「ＥＲＡＴＯ 石黒共生ヒューマンロボットインタラクションプロジェクト」に係る委託業務、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100090181

【弁理士】

【氏名又は名称】山田 義人

(72)【発明者】

【氏名】吉川 雄一郎

(72)【発明者】

【氏名】小川 浩平

(72)【発明者】

【氏名】石黒 浩

【審査官】 大橋 達也

(56)【参考文献】

【文献】 特開２０１６−２１２９１１（ＪＰ，Ａ）

【文献】 特開２００９−０９３２２０（ＪＰ，Ａ）

【文献】 特開２００５−１４１７０６（ＪＰ，Ａ）

【文献】 特開平０７−０６４９０７（ＪＰ，Ａ）

【文献】 特開２００７−０３００５０（ＪＰ，Ａ）

【文献】 特開２０１１−１９９５２２（ＪＰ，Ａ）

【文献】 特開２００４−３１０２７２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｍ ３／００

Ｈ０４Ｍ １１／００

Ｈ０４Ｎ ７／１５

Ｇ０６Ｆ １３／００

Ｇ０６Ｑ ５０／００

Ｇ１０Ｌ １３／００

Ｇ０９Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

第１発話エージェントおよび第２発話エージェントを備える、会議システムであって、
各々が入力部と表示部を有する複数の参加者端末から発話文を受ける発話文受付部、
各参加者端末の前記表示部に複数の発話文を表示させる発話文表示部、
各参加者端末からの投票を受ける投票受付部、
前記投票受付部で受けた投票に基づいて前記複数の発話文のうちから代表発話文を選択する選択部、
前記選択された前記代表発話文に従って代表発話を前記第１発話エージェントに発話させる代表発話制御部、および
前記代表発話文以外の発話文に従って前記第２発話エージェントに発話させる非代表発話制御部を備える、会議システム。

【請求項2】

前記選択部は前記投票受付部で受けた投票に基づく所定のルールに従って前記代表発話文を選択する、請求項１記載の会議システム。

【請求項3】

前記所定のルールは多数決ルールである、請求項２記載の会議システム。

【請求項4】

各参加者端末の前記表示部に複数の非発話要素を表示させる非発話要素表示部、および
前記非発話要素に対して各参加者端末からの投票を受ける非発話要素投票受付部をさらに備える、請求項１ないし３のいずれかに記載の会議システム。

【請求項5】

サーバをさらに備え、前記サーバが前記参加者端末から入力される発話文とは別のシステム意見を出力し、
前記システム意見は各参加者端末の前記表示部に表示される、請求項１ないし４のいずれかに記載の会議システム。

【請求項6】

各参加者端末の前記表示部に各参加者端末上で選択可能な少なくとも１つの意見の選択肢を表示する選択肢表示部をさらに備え、
参加者端末で前記選択肢を選択することによって、前記意見をその参加者端末からの発話文として入力する、請求項１ないし５のいずれかに記載の会議システム。

【請求項7】

第１発話エージェントおよび第２発話エージェントを備える、会議システムのコンピュータによって実行され、前記コンピュータを、
各々が入力部と表示部を有する複数の参加者端末から発話文を受ける発話文受付部、
各参加者端末の前記表示部に複数の発話文を表示させる発話文表示部、
各参加者端末からの投票を受ける投票受付部、
前記投票受付部で受けた投票に基づいて前記複数の発話文のうちから代表発話文を選択する選択部、
前記選択された前記代表発話文に従って代表発話を前記第１発話エージェントに発話させる代表発話制御部、および
前記代表発話文以外の発話文に従って前記第２発話エージェントに発話させる非代表発話制御部
として機能させる、制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、会議システムおよび制御プログラムに関し、特にたとえば、複数の参加者がそれぞれの参加者端末を通して意見（発話文）を提示し、それらの発話文を集約して代表発話を出力する、新規な会話システムおよび制御プログラムに関する。

【背景技術】

【0002】

ロボットを使う会議システムとして、特許文献１または２のような背景技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開2009-540759 [H04N 1/15 G05D 1/00 H04N 11/00, 7/18]

【特許文献2】特開2016-181856 [H04N 7/15 H04M 3/56]

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１、２の技術はいずれも、いわゆるテレビ会議システムである。

【0005】

それゆえに、この発明の主たる目的は、新規な、会議システムおよび制御プログラムを提供することである。

【0006】

この発明の他の目的は、複数の参加者がそれぞれの参加者端末を通して意見（発話文）を提示し、それらの発話文を集約して代表発話を出力する、会議システムおよび制御プログラムを提供することである。

【課題を解決するための手段】

【0007】

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

【0008】

第１の発明は、第１発話エージェントおよび第２発話エージェントを備える、会議システムであって、各々が入力部と表示部を有する複数の参加者端末から発話文を受ける発話文受付部、各参加者端末の表示部に複数の発話文を表示させる発話文表示部、
各参加者端末からの投票を受ける投票受付部、投票受付部で受けた投票に基づいて複数の発話文のうちから代表発話文を選択する選択部、選択された代表発話文に従って代表発話を第１発話エージェントに発話させる代表発話制御部、および代表発話文以外の発話文に従って第２発話エージェントに発話させる非代表発話制御部を備える、会議システムである。
第１の発明では、会議システム（１００：実施例において相当する部分を例示する参照符号。以下同じ。）は、それぞれが入力部および表示部を備える複数の参加者端末（１２）を含み、発話文受付部（１４、Ｓ３）は、各参加者端末から、その参加者端末が割り当てられた参加者が発話したい発話文を受け付ける。発話文表示部（１４、Ｓ７）は、発話文受付部が受け付けた発話文を各参加者端末の表示部に表示させる。したがって、参加者端末が割り当てられた参加者はその表示部に表示された各参加者端末から入力された発話文を見て、どれが代表発話にふさわしいか、入力部を用いて投票することができる。投票受付部（１４、Ｓ３）は、各参加者端末からの投票を受け付ける。そして、選択部（１４、Ｓ９）は、投票に基づいて、代表発話とすべき発話文を選択する。したがって、この選択された発話文に基づいて代表発話が行われる。つまり、代表発話制御部（１４、Ｓ９３）は、選択された代表発話文に従って代表発話を第１発話エージェントに発話させる。他方、非代表発話制御部（１４、Ｓ９５）が代表発話文以外の発話文、すなわち非代表発話（たとえば、心の声）に従って第２発話エージェントに発話させる。

【0009】

第１の発明によれば、各参加者端末から入力された発話文の中から、投票に基づいて、第１発話エージェントによって発話される代表発話とするべき発話文を選択するようにしているので、代表発話に対して各参加者の納得を得やすい。つまり、どの意見を代表意見（代表発話）とするかをチーム内で合議（投票）するので、その会議に参加しているという自覚を生むし、その投票によって、代表発話を我がこと（自分に直接関係のある事）と感じ易い。その結果、チーム内の相互理解、共感が醸成され、チーム内の融和、協調が促進されるだけでなく、代表発話を自身の考えとして取り込み、気付きが誘発され易い。しかも、非代表発話が第２発話エージェントから、たとえば心の声として出力されるので、チーム内のまとまりを得やすい。

【0018】

第２の発明は、第１の発明に従属し、選択部は投票受付部で受けた投票に基づく所定のルールに従って代表発話文を選択する、会議システムである。

【0019】

第２の発明では、選択部は各参加者端末からの投票を所定のルールに則って処理することによって、代表発話を選択する。

【0020】

第２の発明によれば、どの発話が代表発話として選択されるか、基準がはっきりする。

【0021】

第３の発明は、第２の発明に従属し、所定のルールは多数決ルールである、会議システムである。

【0022】

第３の発明によれば、代表発話の選択の基準がわかりやすい。

【0023】

第４の発明は、第１ないし第３のいずれかの発明に従属し、各参加者端末の表示部に複数の非発話要素を表示させる非発話要素表示部、および非発話要素に対して各参加者端末からの投票を受ける非発話要素投票受付部をさらに備える、会議システムである。

【0024】

第４の発明では、非発話要素表示部（１４、Ｓ７）は、たとえば感情表出マーカ（１００ａ‐１００ｄ）のように、発話に関係しない、非発話要素を各参加者端末の表示部に表示させる。したがって、参加者端末が割り当てられた参加者はその表示部に表示された非発話要素を見て、そのどれかに、入力部を用いて投票することができる。非発話要素投票受付部（１４、Ｓ３）は、各参加者端末からの投票を受け付ける。

【0025】

第４の発明によれば、参加者は非発話要素にも投票できるので、たとえば感情表出を容易に行える。

【0026】

第５の発明は、第１ないし第４のいずれかの発明に従属し、サーバをさらに備え、サーバが、参加者端末から入力される発話文とは別のシステム意見を出力し、システム意見は各参加者端末の表示部に表示される、会議システムである。

【0027】

第５の発明では、サーバが、参加者端末から入力される発話文とは別の意見をシステム意見として出力し、それが各参加者端末で表示される。

【0028】

第５の発明によれば、このシステム意見によって、サーバが、議論の発散や収束を制御することができる。

【0029】

第６の発明は、第１ないし第５の発明に従属し、各参加者端末の表示部に各参加者端末上で選択可能な少なくとも１つの意見の選択肢を表示する選択肢表示部をさらに備え、参加者端末で選択肢を選択することによって、意見をその参加者端末からの発話文として入力する、会議システムである。

【0030】

第６の発明では、たとえばサーバ（システム）のような選択肢表示部が、参加者端末の表示部に各参加者端末上で選択可能な少なくとも１つの意見の選択肢を表示し、参加者が参加者端末上で該当する選択肢を選択すると、その選択肢の意見が、当該参加者端末からの発話文として入力される。

【0031】

第６の発明によれば、参加者は該当する選択肢を選択するだけで、自身の参加者端末から発話文として入力することができるので、参加者が必ずしも発話文をタイピングなどで入力しなくてもよい。さらに、たとえばシステムからそのような選択肢を提示することによって、システムによる会議への介入も可能となる。

【0032】

第７の発明は、第１発話エージェントおよび第２発話エージェントを備える、会議システムのコンピュータによって実行され、コンピュータを、各々が入力部と表示部を有する複数の参加者端末から発話文を受ける発話文受付部、各参加者端末の表示部に複数の発話文を表示させる発話文表示部、各参加者端末からの投票を受ける投票受付部、投票受付部で受けた投票に基づいて複数の発話文のうちから代表発話文を選択する選択部、選択された代表発話文に従って代表発話を第１発話エージェントに発話させる代表発話制御部、および代表発話文以外の発話文に従って第２発話エージェントに発話させる非代表発話制御部として機能させる、制御プログラムである。

【0033】

第７の発明によれば、第１の発明と同様の効果が期待できる。

【発明の効果】

【0034】

この発明によれば、複数の参加者がそれぞれの参加者端末を通して意見（発話文）を提示し、それらの発話文を集約して代表発話を出力する、新規な会議システムを提供することができる。

【0035】

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

【図面の簡単な説明】

【0036】

【図1】図１はこの発明の一実施例の会議システムの概要を示す概略図である。

【図2】図２は図１実施例における会議システムの構成の一例を示すブロック図である。

【図3】図３は図１実施例におけるロボットの一例を示す概略図である。

【図4】図４は図３のロボットを制御するロボットコントローラの構成の一例を示すブロック図である。

【図5】図５は図１実施例における参加者端末の構成の一例を示すブロック図である。

【図6】図６は図２に示すサーバのメモリの構成の例を示す図解図である。

【図7】図７は図５に示す参加者端末のタッチディスプレイ（表示部）に表示されるＧＵＩの一例を示す図解図である。

【図8】図８は図１実施例におけるサーバの動作の一例を示すフロー図である。

【図9】図９は図１実施例において参加者端末が参加者からの操作入力をサーバへ送信する動作の一例を示すフロー図である。

【図10】図１０は図１実施例においてロボットが参加者端末からの発話文データに従って発話する動作の一例を示すフロー図である。

【図11】図１１はこの発明の他の実施例の会議システムの概要を示す概略図である。

【図12】図１２は図１１実施例における会議システムの構成の一例を示すブロック図である。

【図13】図１３は図１１実施例における参加者端末のタッチディスプレイに表示されるＧＵＩの一例を示す図解図である。

【図14】図１４は図１１実施例におけるサーバの動作の一例を示すフロー図である。

【図15】図１５は図１１実施例における参加者端末のタッチディスプレイに表示されるＧＵＩの他の例を示す図解図である。

【図16】図１６は図１１実施例における参加者端末のタッチディスプレイに表示されるＧＵＩのさらに他の例を示す図解図である。

【発明を実施するための形態】

【0037】

図１を参照して、この実施例の会議システム１００では、相対する２つのチームで構成され、各チームは、発話エージェントとしての発話ロボット（以下、単に「ロボット」ということがある。）１０と、複数の参加者Ｐ１‐Ｐ４で構成される。各参加者Ｐ１‐Ｐ４にはそれぞれ、たとえばタブレット端末のような参加者端末１２が割り当てられる。

【0038】

この会議システム１００を概略的に説明すると、それぞれのチームにおいて、各参加者Ｐ１‐Ｐ４は、各自の参加者端末１２を利用して、自分達のチームのターン（発言の順番）において発言したい（発話を希望する）発話文を入力する。ただし、たとえば、参加者同士が、普通にも話しながら、話題転換などを、ロボット１０に言わせる、という形だと、「ターン」という制約はない。

【0039】

そして、各参加者Ｐ１‐Ｐ４の発話文がすべての参加者端末１２に表示される。各参加者Ｐ１‐Ｐ４は、自分のだけではなく他の参加者の希望する発話文を参加者端末１２で見て、どの発話文が自分達のチームの発話として望ましいかを、参加者端末１２上で投票する。その投票の結果、１つの発話文が代表に選ばれ、そのチームのロボット１０から、代表発話として出力される。

【0040】

このように、チーム内での意見を代表してロボット１０が発話するというこの実施例の会議システム１００では、ロボット１０が最終的に発話するので、チーム内の各参加者Ｐがそれぞれ自分の意見（希望する発話）を気軽に表明することができる（発散する）。ロボット１０を介して発言する、つまり発言者がだれか特定しにくいので、の各参加者の発言（意見）は気楽に、しかも大胆になる（別人格として発言できる。）。

【0041】

さらに、どの意見を代表意見（代表発話）とするかをチーム内で合議（投票）するので、その会議に参加しているという自覚を生むし、その投票によって、代表発話を我がこと（自分に直接関係のある事）と感じ易い。その結果、チーム内の相互理解、共感が醸成され、チーム内の融和、協調が促進されるだけでなく、代表発話を自身の考えとして取り込み、気付きが誘発され易い。

【0042】

図１実施例の会議システム１００は、典型的には図２のように構成される。図２では、各チームは同じまたは類似の構成を採るので、ここでの説明では、どちらのチームとは特定することなく説明する。

【0043】

それぞれの参加者に割り当てられた参加者端末１２が、サーバ１４に接続され、そのサーバ１４が発話エージェントとしてのロボット１０を制御する。そして、両チームのサーバ１４が、たとえばインタネットやイントラネットのようなネットワーク１６を介して、通信可能に接続される。

【0044】

ただし、各参加者端末１２と自チームのサーバ１４も、ネットワークを介して接続されてもよい。

【0045】

また、発話エージェントとして、この実施例ではロボット１０を使用するが、これをたとえばディスプレイ（図示せず）に表示されるキャラクタに置換してもよい。

【0046】

ただし、所定のルールとしては、上記の多数決ルールの他、たとえば、発言頻度が高い参加者（選ばれた実績の高い参加者）や、発言頻度の低い参加者（発言機会を与えらるべき参加者）を選ぶ、というルールも考えられる。

【0047】

このように、各参加者端末１２からの投票を所定のルールに則って処理することによって、代表発話を選択するようにしているので、どの発話が代表発話として選択されるか、基準がはっきりする。

【0048】

そして、決定した代表発話文テキストをロボット１０に送信し、ロボット１０ではたとえば音声合成機能を利用して、その発話文に従った音声を代表発話として出力する。

【0049】

ここで、発話エージェントとしての実施例のロボット１０について説明する。ロボット１０は、図３に示すように、台１７上に、台１７に対して、前後左右に回転できるように、設けられる。つまり、胴体１８には２自由度が設定されている。

【0050】

胴体１８の人の肩に相当する左右位置からは、それぞれに、肩関節（図示せず）によって、腕２０が、前後左右に回転可能に設けられる。つまり、各腕２０には、それぞれ、２自由度が設定されている。

【0051】

胴体１８の上端中央部には首２２が設けられ、さらにその上には頭部２４が設けられる。首２２すなわち頭部２４は、胴体１８に対して、ロール角（左右の傾げ）、ピッチ各（前後の傾げ）、ヨー（左右の回転）で３自由度が設定されている。

【0052】

頭部２４の前面すなわち人間の顔に相当する面には、目２６が設けられ、各目２６には眼球２８が設けられる。目２６は、まぶたを閉じたり開いたりでき、眼球４２４はそれぞれ上下左右に回転可能である。つまり、目２６すなわちまぶたには１自由度が、眼球２８には２自由度が設定されている。

【0053】

顔にはさらに、口３０が設けられていて、口３０は、閉じたり開いたりできる。つまり、口３０には１自由度が設定されている。

【0054】

後に説明する感情表出の機能をロボット１０に付与するとすれば、ロボット１０の顔に、表情を変える機構も設けられる。たとえば、口角をあげる機構が頬に設けられる。この場合、口３０は、開閉と、笑顔表出のための２つの自由度を有することになる。さらに、顔の頬あたりにたとえば赤色ＬＥＤを設けておけば、その赤色ＬＥＤの点灯で恥ずかしがる、という感情を表現できる。

【0055】

胴体１８の、人間の胸の位置には、会議システム１００において発話を行うスピーカ３２が設けられる。ロボット１０の頭部２４の前面（額）中央には所定の画角で前方を撮影するカメラ３４が設けられ、胴体１８の左前面上部には、周囲音を採取するためのマイク３６が設けられる。
このようなロボット１０は、図４に示すロボットコントローラ３８によって、その動作（発話や非言語動作など）が制御される。ロボットコントローラ３８は、ＣＰＵ４０を含み、ＣＰＵ４０には、内部バス４２を介して通信装置４４が接続される。通信装置４４は、たとえばネットワークインタフェースなどを含み、ＣＰＵ４０はこの通信装置４４を介して発話制御サーバ（後述）、さらには外部のコンピュータや他のロボット（ともに図示せず）などと通信でき、それらの間でデータの授受を行うことができる。

【0056】

ＣＰＵ４０にはさらに、内部バス４２を介して、メモリ４６が接続される。メモリ４６はＲＯＭやＲＡＭを含む。発話制御サーバから送られる制御データやスクリプトデータがメモリ４６に一時的に記憶される。

【0057】

また、ロボット制御に必要なプログラム（ＯＳやロボット制御プログラムなど）は、メモリ４６に記憶される。ＣＰＵ４０はメモリ４６に記憶されたプログラムに従ってロボット１０の動作を制御する。

【0058】

つまり、ＣＰＵ４０にはさらに、たとえばＤＳＰで構成された出力ボード４８が接続され、この出力ボード４８は、ロボット１０の上述の各部（図３）に設けられたアクチュエータ５０の動作を制御する。ただし、ロボット１０の各部の具体的な動作は、実施例には関係しないので、ここでは詳しい説明は省略する
なお、図３に示すロボット１０のスピーカ３２が出力ボード４８に接続される。したがって、ＣＰＵ４０は、サーバ１４から与えられ、必要に応じてメモリ４６に記憶された発話文テキストデータに従って、スピーカ３２から発声（発話）させる。

【0059】

入力ボード５２は、カメラ３４からのカメラ画像およびマイク３６からの音声をそれ画像データおよび音声データとしてＣＰＵ４０に送る。

【0060】

図５が参加者端末１２の構成の一例を示し、参加者端末１２は、ＣＰＵ５４を含み、ＣＰＵ５４には、内部バス５６を介して通信装置５８が接続される。通信装置５８は、たとえばネットワークインタフェースなどを含み、ＣＰＵ５４はこの通信装置５８を介してサーバ１４などと通信でき、それらの間でデータの授受を行うことができる。

【0061】

ＣＰＵ５４にはさらに、内部バス５６を介して、メモリ６０が接続される。メモリ６０はＲＯＭやＲＡＭを含む。後述のようにして入力される発話文テキストなどがメモリ６０に一時的に記憶される。

【0062】

また、参加者端末１２の制御に必要なプログラム（ＯＳや発話文データのサーバ１４への送信やサーバ１４からのデータの受信など）は、メモリ６０に記憶される。

【0063】

参加者端末１２のＣＰＵ５４にはさらに、たとえばＤＳＰで構成された出力ボード６２が接続され、この出力ボード６２は、参加者端末１２に設けられているスピーカ６４から音声を出力させるとともに、タッチディスプレイ６６に表示データを出力する。なお、タッチディスプレイ６６は、タッチパネルの機能を持つディスプレイである。

【0064】

参加者端末１２のＣＰＵ５４にはさらに、入力ボード６８が接続され、この入力ボード６８は、タッチディスプレイ６６に設けられている座標検出回路７０からの座標データ（タッチ座標データ）を取得してＣＰＵ５４に入力する。ＣＰＵ５４は、その入力座標データに基づいて、入力された発話文データを受け付ける。座標データはまた、サーバ１４に送られる。サーバ１４は、座標データを受けて、そのとき参加者Ｐ（図１）がタッチディスプレイ６６上のどの項目（領域）にタッチしたかを知ることができる。

【0065】

サーバ１４は前述のように、参加者端末１２からのデータを受信し、そのデータに基づいて所定の処理を実行し、必要に応じて処理結果を参加者端末１２に送信する。

【0066】

サーバ１４のメモリ７２には、図６に示すように、プログラム記憶領域７４を含み、このプログラム記憶領域７４には、会議システム１００の各チームの参加者端末１２やロボット１０を制御する、後述のフロー図で示されるような会議制御プログラム７６が設定される。

【0067】

メモリ７２にはさらに、データ記憶領域７８が形成されていて、このデータ記憶領域７８には、データバッファ８０ａが形成されるとともに、たとえば図７に示すようなＧＵＩを参加者端末１２のタッチディスプレイ６６（図５）に表示するためのＧＵＩデータ８０ｂおよび代表発話として自チームのロボット１０から出力すべき発話文データ８０ｃを記憶する。

【0068】

図７を参照して、ＧＵＩデータ８０ｂに従ってタッチディスプレイ６６に表示されるこのＧＵＩ８２には、タッチパネル式のキーボード８４が形成され、このキーボード８４の上に、自分欄８６が形成され、さらにその上に複数の（この実施例では、１チーム４人なので３つの）他参加者欄８８ａ‐８８ｃが形成される。キーボード８４は各参加者が自分の意見をテキストデータの形で入力したりするために使用される。

【0069】

ただし、テキスト形式の発話文データを参照端末１２に入力する方法としてキーボード８４を使用する他に、接話マイク（図示せず）を利用して音声で入力し、その音声入力を音声認識機能を利用してテキストデータに変換することによって、入力するようにしてもよい。

【0070】

さらに、各欄８６および８８ａ‐８８ｃに共通に、左側（向かって）には、参加者識別部９０が形成され、この参加者識別部９０には、各欄８６および８８ａ‐８８ｃが割り当てられた参加者のＩＤ、たとえば識別用アイコン（スカイプ（商標）アイコンのような）が表示される。ただし、識別用アイコンがあれば、ＩＤ自体は隠蔽されてもよい。

【0071】

各欄８６および８８ａ‐８８ｃに共通に、中央には、意見表示部９２が形成される。意見表示部９２は、各欄８６および８８ａ‐８８ｃが割り当てられた参加者が発言したい意見をテキスト表示するための表示領域である。

【0072】

各欄８６および８８ａ‐８８ｃに共通に、右側（向かって）には、投票表示部９４が形成され、この投票表示部９４には、各欄８６および８８ａ‐８８ｃが割り当てられた参加者のどの意見が代表発話と投票アイコン９６が表示される。そして、所定ルールの一例として多数決を採用した場合、もっとも多い数の投票アイコン９６を獲得した参加者の意見が代表意見として採用される。

【0073】

なお、この参加者端末１２を用いて、自分も含めてどれかの意見（発話文）を代表にするための投票をするとき、該当する参加者の上述の参加者識別部９０をタッチする。そのタッチ位置が座標検出回路７０で検出され、その座標位置データがＣＰＵ５４からサーバ１４に送信される。したがって、サーバ１４では、その参加者端末１２が割り当てられた参加者がどの発話文に投票したか判断することができる。

【0074】

なお、自分欄８６に設けられるイエスボタン９８ｙおよびノーボタン９８ｎは、それぞれ、発話文を自分の参加者端末からは入力しないときに使用できるタッチボタンである。たとえば、サーバ１４が各参加者端末１２から入力された発話文とは別の意見をシステム意見として出力し、各参加者端末１２に表示し、このシステム意見に対して賛成のときは参加者はイエスボタン９８ｙを操作することによって、賛成を表明し、反対のときは参加者はノーボタン９８ｎを操作することによって、反対を表明することができる。

【0075】

また、発話文を参加者端末１２から入力するとき、参加者が発話文の全てを入力する必要はなく、場合によっては、システムすなわちサーバ１４が発話文の候補をボタン９８ｙまたは９８ｎのようなボタンとして提示して、参加者はそのボタンを選択するだけで発話文を入力できるようにしてもよい。この場合であっても、当該参加者の発話文として自身の参加者端末から入力される。

【0076】

さらに、たとえば旅行を話題にしているときに、行き先として、ボタン９８ｙまたは９８ｎのような「北海道」ボタンや「その他」ボタンを出す、といったことも考えられる。また、「そろそろ結論だそうか」ボタンや「もう少しじっくり考えてみよう」ボタンを表示することもあり得る。このようなボタンは２つに限らず、３つ以上でも、１つでもよい。

【0077】

このように、サーバ１４が、各参加者端末１２の表示部に、その参加者端末で選択可能な少なくとも１つの選択肢（ボタン）の形で意見を出力するようにすれば、参加者はその選択肢（ボタン）を選択するだけで、自身の参加者端末から発話文として入力することができるので、参加者が必ずしも発話文をタイピングなどで入力しなくてもよい。さらに、サーバ１４からそのような選択肢を提示することによって、会議への介入も可能となる。

【0078】

ただし、サーバ１４が発話文候補を生成する方法としては、議題に合わせて事前に用意しておく方法や、他の人の発言をコピーする方法などがある。もし、サーバ１４が他の人の発言のコピーしたときには、サーバ１４（システム）がその参加者の発話文に投票したことにするようにしてもよい。

【0079】

次に図８を参照して、各チームのサーバ１４の動作を説明する。最初のステップＳ１における初期化を経て、ステップＳ３では、サーバ１４のコンピュータ（ＣＰＵ）は、各参加者端末１２からの入力、サーバ１４自体からのシステム入力を受け付ける。具体的には、図９に示すような参加者端末の操作の結果を当該参加者端末から受け取る。

【0080】

図９において、最初のステップＳ２１で参加者端末１２はサーバ１４への接続などの初期化処理を実行する。続くステップＳ２３で、参加者端末１２は、それを割り当てられた参加者の操作入力に従って、その参加者が表明したい意見（発話文データ）や、投票を受け付ける。

【0081】

なお、このとき、表明したい意見がなければ発話文を入力する必要はない。つまり、意見がないというのも意見とみなす。この場合、図７の参加者欄８８ａにおける意見表示部９２のように何も発話文が表示されない。

【0082】

また、投票は前述のように参加者識別部９０へのタッチによって入力するようにしているが、毎回タッチ（投票入力）する必要はなく、前回の投票を取り消さない限り今回もその参加者の意見（発話）に投票したことにしてもよい。

【0083】

次のステップＳ２５で、先のステップＳ２３で受信した参加者の入力（タイピングによる入力または音声認識による入力など）を受け付けて、必要に応じてメモリ６０のサーバ１４への送信領域に一時的に記憶しておく。

【0084】

次のステップＳ２７で、代表発話に決定された参加者の参加者端末がロボット１０を操作する責任を持つように表示される。

【0085】

そして、ステップＳ２９で、参加者端末１２からサーバ１４へ、メモリ６０の上記の送信領域から操作入力データを送信する。ステップＳ３１で終了を判断したとき、ステップＳ３３で終了処理を実行する。

【0086】

このようにして、ステップＳ３での参加者端末１２からの入力を受信する。

【0087】

なお、図９では、参加者端末１２からの操作入力をサーバ１４に送信する場合について説明したが、図８のステップＳ３では、システムすなわちサーバ１４も意見を表明することもできる。たとえば、サーバ１４によって自動生成された関連する発話文や、会議のオーガナイザが仕込んでおきたい予定調和的な意見（シナリオ）などが考えられる。このように、システム（サーバ１４）から参加者端末１２からの発話文とは別の意見を出力し、それを各参加者端末１２で表示することで、議論の発散や収束を制御することができる。つまり、サーバ１４が議論の発散、収束を制御できる会議システムが得られる。

【0088】

さらに、サーバ１４がシステムとして投票することができる。たとえば、毎回同じ参加者の発言が代表意見として取り上げられているとき、サーバ１４は意図的に他の参加者に投票することもできる。逆に、代表意見の参加者が頻繁に代わると会議がまとまり難いということから、ある程度固定した参加者が代表になるように、意図的に同一参加者に投票することもある。このステップＳ３は投票受付部として機能する。

【0089】

次のステップＳ５で、サーバ１４は、ステップＳ３で受け付けた各参加者端末１２からの受信データに基づいて、代表発話の決定を含めて、ロボット１０や各モダリティの操作責任を各参加者に割り当てる。

【0090】

代表発話の決定については、一例として、先に説明したように各参加者端末およびシステム（サーバ１４）からの投票による多数決を採用する。つまり、投票数の最多の意見を代表発話として決定する。つまり、ステップ５は、投票受付部（ステップＳ３）で受けた投票に基づいて、所定のルールに従って代表発話文を選択する、選択部として機能する。

【0091】

ただし、多数決ルールであっても、ある参加者には他の参加者の２倍の投票価値を認めるなど、各参加者の投票に重みを付けることも考えられる。たとえば、仕事上のチームであれば上司の投票は重くしたり、学生と教授のチームでは教授の投票を重く計算したりするなどが考えられる。重要視する参加者を得票数等履歴によって、サーバ１４が変更してもよい。

【0092】

得票数に応じた、指定したランダム性による確率選択によって指名してもよい。

【0093】

しかしながら、代表発話の決定についてのルールは、多数決ルール以外に適宜のルールが採用され得る。たとえば、チーム内において、現在の議題（テーマ）について最適の（最も詳しい）担当者を一義的に決定するというルールがあってよい。

【0094】

サーバ１４がシステムとして投票してもよい。たとえば、同じ参加者を選び続けたり、同じ参加者が選ばれ続けたりしないような、バイアスとして。システムが投票する別の例としては、議論終盤において、選択を保守的にする（選択ランダム性を小さくする）などが考えられる。

【0095】

ただし、投票の結果、またはサーバ１４の指名の結果、代表発話として選択された参加者が代表発話として発話することを受諾しないときには、再投票することも考えられる。

【0096】

さらに、投票としては積極的投票だけでなく、消極的投票または否定的投票が考えられてもよい。特に、否定的投票が１票でもあれば、積極的投票の得票が最多であってもその発話文を代表発話文として選択しないということもできる。

【0097】

次のステップＳ７でサーバ１４は、各参加者端末１２へ、図７のようなＧＵＩへの表示データ（投票状況、操作責任割り当て情報など）を送信する。その結果、各参加者端末１２上でたとえば図７のように投票アイコン９６などを含むＧＵＩが表示される。

【0098】

サーバ１４は最後に、ステップＳ９で、操作責任に基づいて、どの参加者端末からの発話文データを発話エージェントすなわちロボット１０へ送信するかを更新する。つまり、参加者端末１２とロボット１０とのモダリティの接続を更新する。

【0099】

そして、ステップＳ１１で会議の終了を判断したとき、ステップＳ１３で終了処理を実行する。そうでないときには先のステップＳ３に戻る。

【0100】

なお、ステップＳ９で決まった参加者端末から代表発話文データを受け取るロボット１０のＣＰＵ４０（図４）は、図１０に示すフロー図に従って動作する。

【0101】

図１０の最初のステップＳ４１では、ロボット１０のＣＰＵ４０は、所定の初期化処理を実行する。そして、ステップＳ４３で終了かどうか判断し、“ＹＥＳ”の場合にはそのままステップＳ４５で終了処理を実行する。ステップＳ４３で“ＮＯ”を判断すると、続くステップＳ４７で、サーバ１４の指示に従って代表発話に決定された発話文データが該当の参加者端末から送られ、ＣＰＵ４０はその発話文データを受信する。

【0102】

次のステップＳ４９でＣＰＵ４０は、センサとしてのカメラ３４やマイク３６からの画像データや音声データ、さらには外部センサとしてのキネクト（Kinect：商品名）などからのセンサデータ、さらには相手チームのロボットの動作情報を受信する。そして、ステップＳ５１で自動応答するかどうか判断し、“ＹＥＳ”の場合には、ステップＳ５３で、自動応答を出力信号に重畳する。つまり、受け取ったセンサ情報や自チームロボットや相手チームロボットの動作情報をもとに、対応する応答動作を生成し、出力信号に重畳してもよい。たとえば、カメラ画像において、参加者の誰かが発話したとき、その発話方向を見る、などの社会的機能を発揮させる。

【0103】

そして、ステップＳ５５で、ステップＳ４７で受け取った発話文データを音声変換して、ロボット１０のスピーカ３２から出力する。併せて、口３０を動かすアクチュエータ５０（図４）を制御して、口唇運動を行わせる。

【0104】

ただし、基本的には、代表発話文テキストデータがロボット１０に送信されるとロボット１０はすぐに発話する。しかしながら、ロボット１０から代表発話を出力するタイミングは、いずれかの参加者端末１２からロボット１０に指令（たとえばＥｎｔｅｒキーの操作）が与えられたとき、発話するような適宜のタイミングにされてもよい。

【0105】

このようにして、ロボット１０が各参加者を代表して発話することによって、各参加者は、自己を韜晦することができ、気楽に意見（発話）を提示するとこができ、あるいは別人格として意見（発話）を提示することができる。

【0106】

さらに、非代表参加者が共感表現（投票）を示すことで、代表発話者が意見を言い易いだけでなく、相手チームの参加者も納得し易い。非代表参加者が共感表現の投票に参加することで、チーム内の共感が促進される。

【0107】

図１１はこの発明の他の実施例の会議システム１００の概要を示すが、この実施例は、図１実施例に比べて、各チームに２体のロボット１０および１０subを配置した点が異なる。

【0108】

この実施例では、ロボット１０が主ロボットとして機能し、ロボット１０subが副ロボットとして機能し、両方とも、図１２に示すように、自陣のサーバ１４によって制御される。

【0109】

図１１および図１２に示す実施例では、図１３に示す参加者端末１２が用いられ得る。この実施例の参加者端末１２では、自分欄８６に、切り替えボタン９８ｃが形成される。この切り替えボタン９８ｃは、匿名、記名の切り替えるためのボタンであり、このボタン９８ｃを押したときには、（自分欄８６の）意見表示部９２に入力した発話文が、自分の「心の声」（匿名）として意見表明されることを希望することを示す。そして、そのようにして入力される「心の声」は、匿名表示部９９に表示される。

【0110】

この実施例によれば、他の参加者に、心の声を、匿名の形で伝えられる。システムすなわちサーバ１４は、排他的に、心の声を表示する。ただし、心の声は、システム（サーバ１４）が勝手に、誰か参加者が言ったかのようなフリをして出力する場合もある。

【0111】

なお、図１３では、参加者端末１２のキーボード８４は、図面スペースの関係で、詳細を図示していないが、これは図７のものと同様である。

【0112】

この実施例において、サーバ１４は図１４に示すフロー図に従って動作する。図１４において、ステップＳ１‐Ｓ７は図８のステップＳ１‐Ｓ７と同様である。したがって、ここでは重複する説明は省略する。

【0113】

ただし、ステップＳ３でのステップＳ２３（図９）では、この実施例のように自チームに２体以上のロボット（発話エージェント）を設置したときに、どのロボットをどの参加者が操作するかなどの操作権情報も入力する。つまり、上述のように、匿名ボタン９８ｃを押した上で発話文テキストを入力した参加者の参加者端末は副ロボット１０subを操作し、匿名ボタン９８ｃを押さないで発話文テキストを入力した参加者であって代表として選択された参加者端末には主ロボット１０を操作するように操作権が付与される。

【0114】

それとともに、ステップＳ２７（図９）では、この実施例のように自チームに２体以上のロボット（発話エージェント）を設置したときに、該当の参加者がどのロボット１０に操作責任があるかを表示する。

【0115】

そして、図１４のステップＳ１１で“ＮＯ”を判断したとき、図８のステップＳ９に相当するステップＳ９１‐Ｓ９７を実行する。このステップＳ９１‐Ｓ９７では、各参加者からの入力（投票）をもとに、どの参加者からの入力（発話文）をどの表示部（ロボット）に出力するかを決定する。

【0116】

すなわち、ステップＳ９１およびＳ９３では、たとえば多数決で決定された代表発話に決定された発話文を入力した参加者端末から主ロボット１０へのチャネルを形成し、当該参加者端末からの発話文データを主ロボット１０（のＣＰＵ４０）に与える。さらに、ステップＳ９５‐Ｓ９７では、前述した「心の声」の発話文データを入力した参加者端末から副ロボット１０subへのチャネルを形成し、当該参加者端末からの発話文データを副ロボット１０sub（のＣＰＵ４０）に与える。

【0117】

したがって、図１０のロボット制御プログラムに従って、主ロボット１０からは先の実施例と同様に、チームを代表する発話文のデータに従った発話音声が出力されるとともに、副ロボット１０subからは、「心の声」の発話文データに従った発話音声が出力される。つまり、主ロボット１０は代表発話を出力する主（代表）発話出力部として機能し、副ロボット１０subは代表発話以外の発話（非代表発話）を出力する副（非代表）発話出力部として機能する。

【0118】

つまり、この実施例によれば、非代表発話が非代表発話エージェントから、たとえば心の声として出力されるので、各参加者の共感を得やすく、チーム内のまとまりを得やすい。

【0119】

なお、図１３に示す実施例では、匿名表示部９９では、ただ１つの匿名希望発話文が入力される場合について説明した。この場合は、匿名発話は、無条件で副ロボット１０subによって発話される。

【0120】

しかしながら、匿名発話にも投票できるようにしてもよい。この場合、参加者端末１２には図１５に示すようなＧＵＩが表示される。このＧＵＩでは、図１３の実施例に比べて、匿名表示部９９にも投票表示部９４を設定し、各参加者端末からの投票があったとき、投票アイコンを表示する。

【0121】

そして、この匿名発話文についても、先の代表発話文と同じような、たとえば図８のステップＳ５でのように、多数決ルールを適用して、代表匿名発話として選定するようにしてもよい。

【0122】

なお、図１１および図１３または図１５に示す実施例において、もし匿名発話の発話文の入力がない場合には、副ロボット１０subは、たとえば通信装置４４（図４）を利用してウェブサイトにアクセスして、そのときの議題に関連する情報を取得して発話したり、各参加者端末１２に提示したりすることができる。

【0123】

図１６は、この発明の他の実施例で利用可能な参加者端末１２のＧＵＩを示し、この実施例のＧＵＩでは、ステップＳ７（図８）においてサーバ１４から送られる表示データに従って、キーボードが表示されていた領域８４（図７など）が感情表出領域１００として形成される。この感情表出領域１００には、この実施例では４種類の感情表出マーカ１００ａ、１００ｂ、１００ｃおよび１００ｄが表示される。したがって、この実施例では、サーバ１４が、各参加者端末の表示部に複数の感情表出マーカを表示させる感情表出マーカ表示部として機能する。

【0124】

なお、図１６の実施例では、表出できる感情は、「うれしい（納得）」、「怒り」、「悲しい」および「驚き」の４種類であるが、もっと多くても、少なくてもよい。

【0125】

この感情表出領域１００の各マーカ１００ａ‐１００ｄは、相手チームに対する感情表出のために利用されるが、それ以外にも、たとえば代表発話に対する他の参加者の感情を表出するためにも使用され得る。

【0126】

この感情表出マーカのどれかをたとえばタッチ操作によって選択すると、それが投票としてサーバ１４によって受付けられる。したがって、この実施例では、サーバ１４が、感情表出マーカに対して各参加者端末からの投票を受ける感情表出マーカ投票受付部として機能する。サーバ１４が感情表出マーカに対する投票を受け付け、その結果として、ステップＳ７（図８）においてサーバ１４から送られる表示データに従って、タッチしたマーカに投票アイコン９６が表示される。したがって、参加者がどのような感情を持っているかが容易に理解でき、表示するマーかをたとえば多数決の票数に応じた形にすることで、チーム内共感を促進することができる。

【0127】

このように、この実施例では、非発話要素（発話文ではない）である感情表出マーカ１００ａ、１００ｂ、１００ｃおよび１００ｄへの投票も可能であり、各参加者端末１２はこのような非発話要素にも投票することができる。ただし、非発話要素としては、感情表出マーカでなく、他の要素であってもよい。

【0128】

ただし、図１６の実施例で用いる感情表出マーカは、図７または図１３に示すＧＵＩにも適用可能であることは言うまでもない。

【0129】

上で説明した実施例の会議システムでは、自チームと相手チームが同じ空間で相対しているものとして説明したが、相手チームは遠隔地にあってもよい。その場合には、サーバ１４どうしをインタネットで結ぶようにすればよい。

【0130】

さらにこの発明の会議システムには、相手チームがなくてもよく、同じチーム内での意見の効率的な集約のために利用可能である。その場合には、主ロボット１００だけでもよいが、副ロボット１０subを利用することも可能である。

【0131】

さらに発話エージェントとしては、ロボットではなく、ディスプレイに表示されたキャラクタが利用されてもよい。

【0132】

代表発話は、声で出力しないで、ディスプレイにテキスト表示として出力されるようにしてもよい。

【符号の説明】

【0133】

１００ …会議システム
１０、１０sub…ロボット
１２ …参加者端末
１４ …サーバ
１６ …ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】