(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024002781
(43)【公開日】2024-01-11
(54)【発明の名称】ロボット、会議システム、および制御方法
(51)【国際特許分類】
H04N 7/15 20060101AFI20231228BHJP
H04N 21/637 20110101ALI20231228BHJP
【FI】
H04N7/15
H04N21/637
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2022102188
(22)【出願日】2022-06-24
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り ・ウェブサイトのアドレス https://www.itoki.jp/special/smart-campus-solution/floor3 掲載日 令和4年3月28日 公開者 株式会社イトーキ
(71)【出願人】
【識別番号】000139780
【氏名又は名称】株式会社イトーキ
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】秋山 恵
(72)【発明者】
【氏名】小笠原 豊
(72)【発明者】
【氏名】福島 浩介
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA10
5C164TB31P
5C164VA01P
(57)【要約】
【課題】遠隔参加者と、会議エリアにいる参加者との間のコミュニケーションをより円滑に行うことができる技術を提供する。
【解決手段】ロボット(10)は、現実空間において少なくとも1人の参加者を含む会議エリアに配置可能であり、会議への遠隔参加者からの情報を表示する表示部(12-1、12-2)と、会議エリア(SP)内の部分領域を特定する動作を行う特定動作部(13)と、遠隔参加者が会議への遠隔参加のために用いる遠隔端末(20)に対する遠隔参加者の操作に応じて、特定動作部(13)を制御する制御部(101)と、を含む。
【選択図】
図2
【特許請求の範囲】
【請求項1】
現実空間において少なくとも1人の参加者を含む会議エリアに配置可能なロボットであって、
会議への遠隔参加者からの情報を表示する表示部と、
前記会議エリア内の部分領域を特定する動作を行う特定動作部と、
前記遠隔参加者が前記会議への遠隔参加のために用いる遠隔端末に対する前記遠隔参加者の操作に応じて、前記特定動作部を制御する制御部と、
を含む、ロボット。
【請求項2】
前記特定動作部は、光源を含み、前記光源からの光が照射する前記部分領域を指し示す動作、または当該部分領域に情報を表示する動作を行う、請求項1に記載のロボット。
【請求項3】
周囲を撮影して当該ロボットの視野を示す視野画像を生成する撮影部をさらに備え、
前記制御部は、前記視野画像を前記遠隔端末に送信し、
前記表示部は、前記視野に含まれない領域において視認可能となるよう、前記遠隔参加者からの情報を表示する、
請求項1または2に記載のロボット。
【請求項4】
前記特定動作部は、前記参加者および前記遠隔参加者の一方または両方による発信情報の表示領域またはその履歴の表示領域を、前記部分領域として特定する、
請求項1または2に記載のロボット。
【請求項5】
請求項1または2に記載のロボットと、
前記遠隔端末と、
前記参加者および前記遠隔参加者が参加する会議を管理する管理装置と、
を備えた会議システム。
【請求項6】
現実空間において少なくとも1人の参加者を含む会議エリアに配置可能な、表示部および特定動作部を含むロボットを制御する制御方法であって、
会議への遠隔参加者からの情報を前記表示部に表示するステップと、
前記遠隔参加者が前記会議への遠隔参加のために用いる遠隔端末に対する前記遠隔参加者の操作に応じて、前記特定動作部が前記会議エリア内の部分領域を特定する動作を行うよう制御するステップと、
を含む、制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、会議エリアに配置されるロボットに係る技術に関する。
【背景技術】
【0002】
特許文献1には、会議エリアに配置されるロボットが記載されている。当該ロボットは、会議への遠隔参加者の画像を表示するモニタと、会議エリアの画像を遠隔参加者に供給するカメラと、ハンドおよびアームを有する。当該ロボットは、ハンドおよびアームを用いて、会議エリアにいる参加者の注意を引くための手を振るなどの動作を行う。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、会議エリアにいる参加者と、当該会議への遠隔参加者との間では、会議エリアの部分領域(一例として、会議エリア内のホワイトボード上の領域等)を特定しながらコミュニケーションを行う場合がある。しかしながら、特許文献1に記載されたロボットは、会議エリアにいる参加者の注意を引く動作を行うが、その動作により会議エリアの部分領域を特定することはできない。このため、会議エリアにいる参加者と、当該会議への遠隔参加者とのコミュニケーションが、円滑に行えない場合がある。
【0005】
本発明の一態様は、上述した課題を解決するためになされたもので、遠隔参加者と、会議エリアにいる参加者との間のコミュニケーションをより円滑に行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明の一態様に係るロボットは、現実空間において少なくとも1人の参加者を含む会議エリアに配置可能なロボットであって、会議への遠隔参加者からの情報を表示する表示部と、前記会議エリア内の部分領域を特定する動作を行う特定動作部と、前記遠隔参加者が前記会議への遠隔参加のために用いる遠隔端末に対する前記遠隔参加者の操作に応じて、前記特定動作部を制御する制御部と、を含む。上記構成によれば、遠隔参加者が会議エリアにおいて特定した部分領域を、会議エリアにいる参加者が認識することができる。これにより、遠隔参加者と、会議エリアにいる参加者との間のコミュニケーションをより円滑に行うことができる。
【0007】
また、上記の課題を解決するために、本発明の一態様に係る会議システムは、上述したロボットと、前記遠隔端末と、前記参加者および前記遠隔参加者が参加する会議を管理する管理装置と、を備える。上記構成によれば、管理装置が管理する会議において、遠隔端末およびロボットを介して、遠隔参加者と、会議エリアにいる参加者との間のコミュニケーションをより円滑に行うことができる。
【0008】
また、上記の課題を解決するために、本発明の一態様に係る制御方法は、現実空間において少なくとも1人の参加者を含む会議エリアに配置可能な、表示部および特定動作部を含むロボットを制御する制御方法であって、会議への遠隔参加者からの情報を前記表示部に表示するステップと、前記遠隔参加者が前記会議への遠隔参加のために用いる遠隔端末に対する前記遠隔参加者の操作に応じて、前記特定動作部が前記会議エリア内の部分領域を特定する動作を行うよう制御するステップと、を含む。上記構成によれば、上記ロボットを、上記効果を奏するよう制御することができる。
【発明の効果】
【0009】
本発明の一態様によれば、遠隔参加者と、会議エリアにいる参加者との間のコミュニケーションをより円滑に行うことができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の実施形態1に係る会議システムの概要を説明する模式図である。
【
図2】本発明の実施形態1に係る会議システムの構成を示すブロック図である。
【
図3】本発明の実施形態1に係るロボットの具体的な構成の一例を示す模式図である。
【
図4】本発明の実施形態1に係る制御方法の流れを示すフロー図である。
【
図5】本発明の実施形態1においてロボットの動作により特定された領域の具体例を示す模式図である。
【発明を実施するための形態】
【0011】
〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。
【0012】
(会議システム1の概略)
本実施形態に係る会議システム1の概略について、
図1を参照して説明する。
図1は、会議システム1の概略を示す図である。
図1に示すように、会議システム1は、会議エリアSPにいる参加者Uと、遠隔参加者RUとが参加する会議を管理するシステムである。なお、会議エリアSPにいる参加者Uの人数は、図示の3人に限定されず、少なくとも1人いればよい。
【0013】
ここで、会議システム1が管理する会議は、複数の人が所定の目的または議題に応じてコミュニケーションするものであればよく、例えば、打合せ、ミーティング、ディスカッション、レクチャー、セミナー、講義等と呼ばれるものを含む。また、会議システム1が管理する会議は、教育機関において行われる会議であってもよい。
【0014】
また、会議エリアSPは、現実空間において会議が開催される空間である。会議エリアSPは、周囲全体に壁、窓、パーティション等の仕切りがあるクローズドな空間であってもよいし、周囲の少なくとも一部に仕切りがないオープンな空間であってもよい。また、会議エリアSPは、常設の空間であってもよいし、仮設の空間であってもよい。また、会議エリアSPは、屋内の空間であってもよいし、屋外の空間であってもよい。例えば、会議エリアSPは、教育機関の敷地内に設けられてもよい。この場合、教育機関の敷地内には、複数の会議エリアSPが設けられてもよい。会議エリアSPの具体例としては、教室、講義やセミナー等が行われる空間、等が挙げられる。
【0015】
会議エリアSPには、ロボット10、管理装置30、プロジェクタ40、ピンマイク50、ホワイトボードWB、および記録センサ60が配置される。ロボット10は、遠隔参加者Rが利用する後述の遠隔端末20と通信を行うことにより、遠隔参加者RUの代理として動作する。管理装置30は、参加者Uおよび遠隔参加者RUが参加する会議を統括的に管理する。プロジェクタ40は、開催中の会議のログ情報Lを、壁面BDに投影する。ピンマイク50は、当該ピンマイク50を装着している参加者Uの音声データを取得する。なお、
図1では、3人の参加者がそれぞれピンマイク50を装着する例として、合計3つのピンマイク50を示しているが、会議エリアSPに配置されるピンマイク50の数は、3つに限定されない。ホワイトボードWBには、参加者Uにより情報が記入される。記録センサ60は、ホワイトボードWBへの記入内容を示す記入情報を取得する。
【0016】
(会議システム1の構成)
会議システム1の構成について、
図2を参照して説明する。
図2は、会議システム1の構成を示すブロック図である。
図2に示すように、会議システム1は、ロボット10と、遠隔端末20と、管理装置30と、プロジェクタ40と、ピンマイク50と、記録センサ60と、を含む。遠隔端末20は、会議エリアSPの外部に配置される。それ以外の各装置は、会議エリアSPの内部に配置される。ロボット10と、遠隔端末20と、管理装置30とは、ネットワークN1を介して通信可能に接続される。ネットワークN1は、無線LAN(Local Area Network)、有線LAN、またはこれらの組み合わせを含む。ネットワークN2は、無線LAN(Local Area Network)、有線LAN、モバイルデータ通信網、公衆回線網等のWAN(Wide Area Network)、またはこれらの一部または全部の組み合わせを含む。また、ネットワークN2は、専用線またはVPN(Virtual Private Network)を含んでいてもよい。また、プロジェクタ40、ピンマイク50、および記録センサ60のそれぞれは、近距離無線通信により管理装置30に接続される。
【0017】
(ロボット10の構成)
ロボット10は、現実空間において少なくとも1人の参加者Uを含む会議エリアSPに配置可能である。ロボット10の構成について、
図2を参照して説明する。
図2に示すように、ロボット10は、カメラ11と、モニタ12-1、12-2と、プロジェクタ13と、スピーカ14-1、14-2と、マイク15と、胴部16と、移動部17と、制御装置100と、を含む。制御装置100は、制御部101と、記憶部102と、通信部103とを含む。制御部101は、ロボット10の各部の動作を統括して制御する。記憶部102は、制御部101が使用する各種のデータ、およびロボット10を制御するためのプログラムを記憶する。通信部103は、ネットワークN1、N2を介して他の装置と通信を行う。
【0018】
また、ロボット10は、当該ロボット10の各部に電源を供給する充電式電源(図示せず)を有する。充電式電源は、満充電の状態から当該ロボット10を所定時間起動可能とする。ロボット10は、充電式電源を外部の充電装置に連結するための連結部をさらに有していてもよい。この場合、連結部は、ロボット10において充電装置との連結が容易な位置に搭載される。また、充電式電源は、外部の充電装置に連結するために取り外し可能であってもよい。この場合、充電式電源は、ロボット10において取り外し容易な位置に搭載される。
【0019】
ロボット10の具体的な構成の一例について、
図3を参照して説明する。
図3は、ロボット10の具体的な構成の一例を示す図である。この例では、ロボット10には正面方向d0が定められ、モニタ12-1およびカメラ11は、正面方向d0を向いている。ただし、以下に説明するように、モニタ12-1およびカメラ11が向く方向は可変となっている。
【0020】
カメラ11は、周囲を撮影してロボット10の視野を示す視野画像を生成する撮影部の一例である。ここで、カメラ11の画角d3に含まれる領域を、ロボット10の視野とも記載する。視野画像は、画角d3に含まれる領域が撮影された画像である。例えば、カメラ11は、CCD(Charge Coupled Device)カメラであってもよい。カメラ11は、モニタ12-1に、画角d3の向きが可変となるよう接続される。ただし、カメラ11は、これに限らず、胴部16、または図示しない支持体等に接続されてもよい。例えば、カメラ11の画角d3は、モニタ12-1の画面が向く方向d1を含む範囲で可変である。
【0021】
モニタ12-1、12-2は、それぞれ、遠隔参加者RUからの情報を表示する表示部の一例である。遠隔参加者RUからの情報は、換言すると、遠隔端末20から送信される情報である。例えば、遠隔参加者RUからの情報は、遠隔端末20に表示される情報の一部または全部を含んでいてもよい。また、遠隔参加者RUからの情報は、遠隔参加者RUを表す画像を含んでいてもよい。この場合、遠隔参加者RUを表す画像は、例えば、遠隔参加者RUの顔画像を含んでいてもよい。以下では、遠隔参加者RUからの情報が、遠隔参加者RUを表す画像を含む例を中心に説明する。例えば、モニタ12-1、12-2は、液晶ディスプレイ、または有機EL(Electro Luminescence)ディスプレイ等であってもよい。モニタ12-1の画面が向く方向d1は、前述のように、カメラ11の画角d3に含まれる。モニタ12-2の画面が向く方向d2は、方向d1とは異なる。具体的には、モニタ12-1、12-2は、支持体12aに背中合わせに取り付けられており、方向d1と方向d2とは反対向きとなっている。支持体12aは、胴部16の上面に対して、水平面において回転可能に接続される。
【0022】
このように、ロボット10の視野に含まれる領域において、モニタ12-1に表示された「遠隔参加者を表す画像」が視認可能である。また、ロボット10の視野に含まれない領域において、モニタ12-2に表示された「遠隔参加者を表す画像」が視認可能である。換言すると、モニタ12-2は、ロボット10の視野に含まれない領域において視認可能となるよう、遠隔参加者RUからの情報を表示する。
【0023】
プロジェクタ13は、会議エリアSP内の部分領域を特定する動作を行う特定動作部の一例である。具体的には、プロジェクタ13は、光源を含み、照射範囲d4に含まれる被投影面に、画像を投影する。例えば、投影される画像は、ポインタ、サイン等のアイコンである。これにより、プロジェクタ13は、光源からの光が照射する領域(会議エリアSP内の部分領域)を指し示す動作を行う。部分領域の具体例としては、ホワイトボードWB上の領域が挙げられる。また、部分領域の他の具体例としては、壁面BDに投影されたログ情報Lの表示領域が挙げられる。なお、ログ情報Lの表示領域は、「参加者Uおよび遠隔参加者RUの一方または両方による発信情報の表示領域またはその履歴の表示領域」の一例である。
【0024】
また、プロジェクタ13の照射範囲d4は、カメラ11の画角d3に含まれる範囲で可変である。例えば、プロジェクタ13は、胴部16の上面に、照射範囲d4の向きが可変となるよう接続される。
【0025】
スピーカ14-1、14-2は、それぞれ、遠隔参加者RUの音声を出力する。スピーカ14-1は、モニタ12-1の画面が向く方向d1に音声を出力するよう配置される。スピーカ14-2は、モニタ12-2の画面が向く方向d2に音声を出力するよう配置される。これにより、ロボット10が何れの方向を向いていても、参加者Uは、遠隔参加者RUの音声を容易に認識することができる。マイク15(
図3では不図示)は、参加者Uの音声を検出して音声データを生成する。胴部16は、制御装置100を内蔵する。また、胴部16の上部には、モニタ12-1、12-2を支持する支持体12a、およびプロジェクタ13が接続される。また、胴部16の下部には、移動部17が接続される。
【0026】
移動部17は、ロボット10全体を移動させる。具体的には、移動部17は、複数のホイールと、当該ホイールを回転駆動する駆動部とを含む。例えば、移動部17は、ロボット10の全方向移動を可能とする。
【0027】
(遠隔端末20の構成)
遠隔端末20は、遠隔参加者RUが利用する端末である。遠隔端末20は、ロボット10と通信することにより、遠隔参加者RUの会議への遠隔参加を可能とする。換言すると、遠隔参加者RUは、遠隔端末20およびロボット10を用いて、会議に遠隔参加する。遠隔端末20の構成について、
図2を参照して説明する。遠隔端末20は、制御部21と、記憶部22と、通信部23と、表示部24と、入力部25と、カメラ26と、スピーカ27と、マイク28と、を含む。例えば、遠隔端末20は、スマートフォン、タブレット、ノート型パーソナルコンピュータ、等であってもよいが、これらに限られない。また、遠隔端末20は、少なくとも制御部21および記憶部22を含み、その他の各部の一部または全部は、遠隔端末20の外部に周辺装置等として接続されていてもよい。
【0028】
制御部21は、遠隔端末20の各部の動作を統括して制御する。記憶部22は、制御部21が使用する各種のデータおよびプログラムを記憶する。通信部23は、ネットワークN2を介して他の装置と通信を行う。
【0029】
表示部24は、会議エリアSP内の画像を表示する。表示部24は、例えば、液晶ディスプレイ、タッチパネル等であるが、これらに限られない。入力部25は、ロボット10を制御するための操作を受け付ける。入力部25は、例えば、キーボード、マウス、タッチパッド、または、表示部24と一体に形成されたタッチパネル等であるが、これらに限られない。カメラ26は、周囲を撮影して遠隔参加者RUを表す画像を生成する。スピーカ27は、参加者Uの音声を出力する。マイク28は、遠隔参加者RUの音声を検出して音声データを生成する。
【0030】
(管理装置30の構成)
管理装置30は、参加者Uおよび遠隔参加者RUが参加する会議を管理する装置である。管理装置30の構成について、
図2を参照して説明する。管理装置30は、制御部31と、記憶部32と、通信部33と、表示部34と、入力部35と、を含む。例えば、管理装置30は、スマートフォン、タブレット、ノート型パーソナルコンピュータ、等であってもよいが、これに限られない。また、管理装置30は、少なくとも制御部31および記憶部32を含み、その他の各部の一部または全部は管理装置30の外部に周辺装置等として接続されていてもよい。
【0031】
制御部31は、管理装置30の各部の動作を統括して制御する。記憶部32は、制御部31が使用する各種のデータおよびプログラムを記憶する。通信部33は、ネットワークN1、N2を介して他の装置と通信を行う。また、制御部31は、会議エリアSPにおける会議の開始および終了を管理する。また、制御部31は、参加者Uおよび遠隔参加者RUの一方または両方による発信情報を記録する。
【0032】
(会議システム1が継続して実行する動作)
以上のように構成された会議システム1は、会議の開始から終了までの間、継続して次の動作を行う。例えば、管理装置30の制御部31は、入力部35から会議の開始を指示する情報が入力されると、会議が開始したと判断し、会議の終了を指示する情報が入力されると、会議が終了したと判断する。
【0033】
ロボット10の制御部101は、遠隔端末20に対して、カメラ11が撮影する視野画像(会議エリアSPを示す画像)と、マイク15が取得する会議エリアSP内の音声データと、を継続的に送信する。これにより、遠隔端末20の表示部24およびスピーカ27からは、ロボット10の視野画像および会議エリアSP内の音声データがリアルタイムに出力される。
【0034】
また、遠隔端末20の制御部21は、ロボット10に対して、カメラ26が撮影する遠隔参加者RUを表す画像と、マイク28が取得する遠隔参加者RUの音声データとを継続的に送信する。これにより、ロボット10のモニタ12-1、12-2およびスピーカ14からは、遠隔参加者RUを表す画像と、遠隔参加者RUの音声とがリアルタイムに出力される。また、遠隔端末20の制御部21は、ロボット10に対して、遠隔端末20の表示部24に表示された情報の一部または全部を継続的に送信してもよい。これにより、ロボット10のモニタ12-1、12-2には、遠隔参加者RUからの情報として、遠隔端末20の表示部24に表示された情報の一部または全部が表示される。
【0035】
また、管理装置30の制御部31は、参加者Uおよび遠隔参加者RUによる発信情報、ならびにホワイトボードWBへの記入情報を記録する処理を継続して行う。具体的には、制御部31は、ピンマイク50が取得した音声データに基づいて、話者を識別する。例えば、制御部31は、音声データの取得元が複数のピンマイク50のいずれであるかに応じて、当該ピンマイク50を装着した参加者Uが話者であると識別する。例えば、制御部31は、ピンマイク50の識別情報を、話者である参加者Uの識別情報として用いてもよい。また、制御部31は、取得した音声データと、話者である参加者Uの識別情報と、当該音声を変換した文字情報とを含む発信情報を生成し、音声データの取得時刻に関連付けて記憶部12に記録する。また、管理装置30の制御部31は、記録センサ60が取得した記入情報を、取得時刻に関連付けて記憶部12に記憶する。制御部31がこれらの処理を繰り返すことにより、記憶部12には、発信情報と記入情報とを取得時刻に沿って並べたログ情報Lが記録される。
【0036】
また、管理装置30の制御部31は、記録したログ情報Lを、リアルタイムにプロジェクタ40に出力する。これにより、壁面BDには、ログ情報Lがリアルタイムに更新されながら投影される。これにより、参加者Uおよび遠隔参加者RUは、会議中にログ情報Lを認識して会議の内容を振り返ることができる。また、これにより、会議の欠席者があとからログ情報Lを参照することも可能となる。
【0037】
(制御方法S1の流れ)
会議システム1が実行する制御方法S1について、
図4を参照して説明する。制御方法S1は、会議エリアSPの部分領域を特定する動作を行うようロボット10を制御する方法である。
図4は、制御方法S1の流れを説明するフロー図である。
図4に示すように、制御方法S1は、ステップS11~S16を含む。
【0038】
ステップS11において、制御部21は、ロボット10の視野を変化させるための遠隔参加者RUによる操作を受け付ける。ロボット10の視野は、当該ロボット10を移動させることにより変化する。また、ロボット10の視野は、カメラ11の画角d3を変化させることにより変化する。例えば、遠隔参加者RUは、表示部24に表示されるロボット10の視野画像を視認しながら、ロボット10を移動させるための操作を、入力部25を用いて行う。また、遠隔参加者RUは、ロボット10の視野画像を視認しながら、カメラ11の画角d3を変化させる操作を、入力部25を用いて行う。
【0039】
ステップS12において、制御部21は、ステップS11で受け付けた操作に基づいて、ロボット10の視野の変化を指示する情報を、ロボット10に送信する。視野の変化を指示する情報には、移動を指示する情報と、画角d3を制御する情報とが含まれる。
【0040】
ステップS13において、ロボット10の制御部101は、受信した情報に基づいて、移動部17を制御して自身を移動させる。また、制御部101は、受信した情報に基づいて、カメラ11の画角d3を変化させる。これにより、遠隔参加者RUは、ロボット10の視野を変化させて、会議エリアSP内の所望の領域を視認することができる。
【0041】
例えば、遠隔参加者RUが、ホワイトボードWBを視認したいとする。この場合、遠隔参加者RUの操作に応じて、ロボット10は、ホワイトボードWBに向かって移動する。また、カメラ11の画角d3は、ホワイトボードWBを含むように制御される。また、これに伴い、モニタ12-1の向きd1が、ホワイトボードWBに向かう方向となるとともに、モニタ12-2の向きd2はその反対方向となる。したがって、会議エリアSPにいる参加者Uは、ロボット10がホワイトボードWBを向いていても、遠隔参加者RUを表す画像をモニタ12-2上で視認することができる。
【0042】
また、遠隔参加者RUが、参加者Uを視認したいとする。この場合、遠隔参加者RUの操作に応じて、ロボット10は参加者Uに向かって移動する。また、カメラ11の画角d3は、参加者Uを含むよう制御される。この場合、会議エリアSPにいる参加者Uは、遠隔参加者RUを表す画像を、モニタ12-1上で視認することができる。
【0043】
このように、会議エリアSPにいる参加者Uは、ロボット10が何れの方向を向いていても(遠隔参加者RUが何れの領域を視認したい場合であっても)、遠隔参加者RUを表す画像を視認できる可能性が高い。したがって、遠隔参加者RUと参加者Uとの間のコミュニケーションをより円滑に行うことができる。
【0044】
ステップS14において、遠隔端末20の制御部21は、会議エリアSPの部分領域を特定するための遠隔参加者RUの操作を受け付ける。遠隔参加者RUは、例えば、ロボット10の視野画像を参照し、会議エリアSPにおいて指し示したい部分領域を指定する操作を行う。また、このような部分領域とは、一例として、遠隔参加者RUが参加者Uとの間のコミュニケーションを行うために参照したい領域である。このような部分領域の具体例としては、例えば、ホワイトボードWB上の領域、壁面BD上の領域、壁面BD上に投影されたログ情報Lの表示領域、などがあるが、これらに限られない。
【0045】
また、遠隔参加者RUは、指定した部分領域に表示させる画像を選択する操作を行ってもよい。選択肢となる画像は、ポインタ、サイン、参加者Uが保持する物体、ジェスチャー等を示すアイコンであってもよい。
【0046】
ステップS14における遠隔端末20に対する操作の一例を、
図5を参照して説明する。
図5は、遠隔端末20に対する操作に応じて会議エリア内の部分領域を指し示す動作の一例を説明する模式図である。
図5の上部の模式図は、遠隔端末20に対する操作の具体例を示している。
図5の上部に示すように、遠隔端末20の表示部24には、ロボット10の視野画像G1と、アイコンG2、G3とが表示されている。この例では、視野画像G1は、ホワイトボードWBの一部を示している。また、アイコンG2、G3は、指定した部分領域に表示させる画像の選択肢を示している。アイコンG2、G3は、それぞれ、当該アイコンを選択する操作を受け付ける。例えば、遠隔参加者RUは、アイコンG2(ポインタ)を選択する操作、視野画像G1上の部分領域ARを指定する操作を、入力部25を用いて行う。
【0047】
ステップS15において、制御部21は、ステップS14で受け付けた操作に基づいて、指定された領域を示す情報を、ロボット10に送信する。
図5に示した例では、制御部21が送信する情報には、部分領域ARを示す情報と、アイコンG2(ポインタ)を示す情報とが含まれる。
【0048】
ステップS16において、ロボット10の制御部101は、受信した情報(遠隔端末20に対する遠隔参加者RUの操作)に応じて、プロジェクタ13を制御する。具体的には、制御部101は、受信した情報に基づいて、指定された部分領域に向けて光を照射するためのプロジェクタ13の向きを算出する。また、制御部101は、受信した情報に基づいて、当該部分領域に表示させる画像を生成する。また、制御部101は、プロジェクタ13を制御して、指定された部分領域に、生成した画像を投影させる。これにより、ロボット10は、当該部分領域を指し示す動作を行う。このような部分領域を指し示す動作は、部分領域を特定する動作の一例である。
【0049】
ステップS16における指し示す動作の具体例について、
図5を参照して説明する。
図5の下部の模式図は、会議エリアSPの部分領域を指し示す動作の具体例を示している。
図5の下部に示すように、ロボット10の制御部101は、プロジェクタ13の照射範囲d4が部分領域ARを含むように、プロジェクタ13の向きを制御する。また、制御部101は、アイコンG2(ポインタ)を示す画像を生成し、当該画像を投影するようプロジェクタ13を制御する。ロボット10は、部分領域ARにアイコンG2を投影することで、当該部分領域ARを指し示す。これにより、会議エリアSPにいる参加者Uは、遠隔参加者RUの操作によって指し示された部分領域ARを認識することができる。
【0050】
なお、
図5では、ホワイトボートWBの一部を部分領域ARとして指し示す動作について説明しているが、部分領域ARは、壁面BDに投影されたログ情報Lの領域であってもよいし、その他の領域であってもよい。
【0051】
(本実施形態の効果)
本実施形態に係る会議システム1では、ロボット10の制御部101は、遠隔端末20に対する遠隔参加者RUの操作に応じて、会議エリアSP内の部分領域に情報を投影するようプロジェクタ13を制御する。
【0052】
これにより、遠隔参加者Uは、会議エリアSP内において指し示したい部分領域がロボット10から離れている場合でも、当該部分領域に情報を投影することにより、当該部分領域を指し示す動作を行うことができる。
【0053】
また、これにより、遠隔参加者Uが参照する会議エリアSPの部分領域を、会議エリアSPにいる参加者Uが認識することができる。その結果、遠隔参加者RUと、会議エリアにいる参加者Uとのコミュニケーションをより円滑に行うことができる。
【0054】
また、ロボット10がホワイトボードWBを指し示す動作を行う場合には、遠隔参加者RUと会議エリアにいる参加者Uとの間で、ホワイトボードWBに記入された情報を参照しながら円滑にコミュニケーションを行うことができる。
【0055】
また、ロボット10がログ情報Lを指し示す動作を行う場合には、遠隔参加者RUと、会議エリアにいる参加者Uとの間で、発信情報の履歴を振り返りながら円滑にコミュニケーションを行うことができる。
【0056】
また、本実施形態に係る会議システム1を、例えば、学校等の教育機関に設けられた会議エリアに適用することが考えられる。この場合、教育機関における各種の会議(打合せ、ミーティング、ディスカッション、レクチャー、セミナー、講義等)において、登校している教職員または学生と、遠隔の教職員または学生とが、より円滑にコミュニケーションを行うことができる。このような効果は、例えば、国連が提唱する持続可能な開発目標(SDGs)の目標4「質の高い教育をみんなに」等の達成にも貢献するものである。
【0057】
〔変形例1〕
プロジェクタ13は、会議エリアSP内の被投影面にアイコンを投影する動作(部分領域を指し示す動作)に替えて、または加えて、被投影面にその他の情報を投影する動作を行ってもよい。例えば、その他の情報とは、遠隔端末20の表示部24に表示された一部または全部の画面情報であってもよい。これにより、遠隔参加者RUと参加者Uとの間で、遠隔端末20上の画面を共有しながら、円滑にコミュニケーションを行うことができる。
【0058】
〔変形例2〕
ロボット10は、プロジェクタ13に替えて、または、加えて、少なくとも1つの関節を有するアームを備えてもよい。当該アームは、会議エリアSP内の部分領域を特定する動作を行う特定動作部の一例である。例えば、アームは、アーム軸(関節)周りに回転可能となっている。この場合、ロボット10の制御部101は、遠隔端末20に対する遠隔参加者RUの操作に応じて、会議エリアSP内の部分領域にアームの先端を向けるようアームを回転させる。これにより、上述と同様の効果を奏する。
【0059】
〔変形例3〕
ロボット10は、プロジェクタ13に替えて、または、加えて、その他の光源を用いた情報表示装置を含んでいてもよい。そのような情報表示装置とは、例えば、レーザポインタ等であってもよい。
【0060】
〔変形例4〕
ロボット10が有するモニタの個数は、2に限らず、1であってもよいし、3以上であってもよい。もし、モニタの個数が3以上である場合、各モニタの画面が向く方向は互いに異なり、かつ、何れか1つのモニタの画面が向く方向がカメラ11の画角d3に含まれることが望ましい。この場合、他の各モニタは、ロボット10の視野に含まれない領域において視認可能に、遠隔参加者RUからの情報を表示する。
【0061】
また、モニタの個数が1である場合、制御部101は、モニタの画面が向く方向を、カメラ11の画角d3に含まれる方向から、含まれない方向に向けて(カメラ11の撮影方向とは反対方向に向けて)回転するよう制御してもよい。これにより、回転制御された状態のモニタは、ロボット10の視野に含まれない領域において視認可能に、遠隔参加者RUからの情報を表示する。
【0062】
〔変形例5〕
ロボット10は、モニタ12-1、12-2に替えて、3次元画像を表示する表示部を有していてもよい。この場合、会議エリアSPにいる参加者Uは、ロボット10が何れの方向を向いていても(遠隔参加者RUが何れの領域を視認したい場合であっても)、遠隔参加者RUを示す三次元画像を視認することができる。換言すると、3次元画像を表示する表示部は、ロボット10の視野に含まれない領域においても視認可能に、遠隔参加者RUを示す三次元画像(遠隔参加者Rが発信する情報の一例)を表示する。
【0063】
〔変形例6〕
ホワイトボードWBは、記録センサ60が取り付けられる代わりに、記入情報を検出して画像として記録可能な電子ホワイトボードであってもよい。この場合、管理装置30は、ホワイトボードWBから記入情報を取得する。また、会議エリアSPには、参加者Uと1対1に関連付け可能なピンマイク50が配置されることに替えて、複数の参加者Uの音声データを取得可能なマイクが配置されていてもよい。このようなマイクは、管理装置30に含まれていてもよい。当該マイクは、複数の参加者Uのいずれが発話した場合も当該参加者Uの音声データを取得する。この場合、管理装置30は、マイクから取得した音声データの話者を識別する話者識別機能を有する。例えば、話者識別機能には、公知の技術を採用可能である。また、管理装置30は、外部の話者識別システムに問い合わせることにより、音声データの話者を識別してもよい。このように変形した場合も、管理装置30は、上述と同様にログ情報Lを記録することができる。
【0064】
〔その他の変形例〕
また、会議システム1は、複数のロボット10と、各ロボット10に対応付けられた遠隔端末20とを含んでもよい。この場合、会議システム1に参加する会議に、複数の遠隔参加者RUが参加することができる。また、管理装置30は、ロボット10に搭載されていてもよい。また、会議エリアSPには、ロボット10が有する充電式電源を充電する充電装置が配置されていてもよい。例えば、会議エリアSPに複数のロボット10が配置される場合は、会議エリアSPには、各ロボット10に対応する充電装置が配置されてもよい。また、そのような充電装置は、ロボット10の基地として機能してもよい。例えば、ロボット10は、会議が終了すると、自律的に基地まで移動して充電装置に連結部を連結させてもよい。
【0065】
〔ソフトウェアによる実現例〕
会議システム1を構成する各装置(以下、「装置」と呼ぶ)の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック(特にロボット10の制御部101に含まれる各部、遠隔端末20の制御部21、管理装置30の制御部31)としてコンピュータを機能させるためのプログラムにより実現することができる。
【0066】
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0067】
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0068】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0069】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0070】
1 会議システム
10 ロボット
20 遠隔端末
11 カメラ
12-1、12-2 モニタ(表示部)
13 プロジェクタ(特定動作部)
30 管理装置
40 プロジェクタ
100 制御装置
101 制御部