ホーム > 特許ランキング > ソフトバンク株式会社
特開2022-56109情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022056109
(43)【公開日】2022-04-08
(54)【発明の名称】情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
(51)【国際特許分類】
G06Q 10/10 20120101AFI20220401BHJP
G06F 13/00 20060101ALI20220401BHJP
H04N 7/15 20060101ALI20220401BHJP
【ＦＩ】
G06Q10/10
G06F13/00 650A
H04N7/15
【審査請求】有
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2020163922
(22)【出願日】2020-09-29
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】森田 孝裕
(72)【発明者】
【氏名】張 亮
(72)【発明者】
【氏名】表 英毅
【テーマコード（参考）】
5B084
5C164
5L049
【Ｆターム（参考）】
5B084AA01
5B084AA16
5B084AB07
5B084AB14
5B084AB39
5B084BB01
5B084CB06
5B084CB22
5B084CE03
5B084CE12
5B084CF03
5B084CF12
5B084CF13
5C164FA10
5C164MA06S
5C164UB41S
5C164UB88S
5C164VA07P
5C164YA07
5L049AA11
(57)【要約】 （修正有）
【課題】遠隔コミュニケーションにおける複雑な操作内容の伝達を支援可能にする情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムを提供する。
【解決手段】情報処理装置１００は、遠隔コミュニケーションの参加者である聞き手の情報に基づいて、遠隔コミュニケーションの参加者である伝え手から聞き手に対して伝達される、聞き手が操作する操作対象に対する操作内容を補う補助情報を生成する生成部１３３と、生成部１３３によって生成された補助情報を聞き手の端末装置に出力するよう制御する出力制御部１３４と、を備える。
【選択図】図４
【解決手段】情報処理装置１００は、遠隔コミュニケーションの参加者である聞き手の情報に基づいて、遠隔コミュニケーションの参加者である伝え手から聞き手に対して伝達される、聞き手が操作する操作対象に対する操作内容を補う補助情報を生成する生成部１３３と、生成部１３３によって生成された補助情報を聞き手の端末装置に出力するよう制御する出力制御部１３４と、を備える。
【選択図】図４
【特許請求の範囲】
【請求項1】
遠隔コミュニケーションの参加者である聞き手の情報に基づいて、前記遠隔コミュニケーションの参加者である伝え手から前記聞き手に対して伝達される操作内容であって、前記聞き手が操作する操作対象に対する操作内容を補う補助情報を生成する生成部と、
前記生成部によって生成された前記補助情報を前記聞き手の端末装置に出力するよう制御する出力制御部と、
を備える情報処理装置。
前記生成部によって生成された前記補助情報を前記聞き手の端末装置に出力するよう制御する出力制御部と、
を備える情報処理装置。
【請求項2】
前記生成部は、
前記聞き手の情報として、前記聞き手の属性に関する属性情報、前記聞き手が所在する現場の音声情報、前記聞き手が所在する現場の画像情報、または前記聞き手が前記操作対象を操作するのに用いられる制御装置の信号情報に基づいて、前記補助情報を生成する、
請求項１に記載の情報処理装置。
前記聞き手の情報として、前記聞き手の属性に関する属性情報、前記聞き手が所在する現場の音声情報、前記聞き手が所在する現場の画像情報、または前記聞き手が前記操作対象を操作するのに用いられる制御装置の信号情報に基づいて、前記補助情報を生成する、
請求項１に記載の情報処理装置。
【請求項3】
前記生成部は、
前記補助情報として、前記操作対象の操作部位を示す部位画像、または前記操作対象に対する操作方向を示す方向画像を生成し、
前記出力制御部は、
前記部位画像または前記方向画像のうち少なくともいずれか１つを前記聞き手の端末装置の画面に表示する、
請求項１または２に記載の情報処理装置。
前記補助情報として、前記操作対象の操作部位を示す部位画像、または前記操作対象に対する操作方向を示す方向画像を生成し、
前記出力制御部は、
前記部位画像または前記方向画像のうち少なくともいずれか１つを前記聞き手の端末装置の画面に表示する、
請求項１または２に記載の情報処理装置。
【請求項4】
前記生成部は、
前記補助情報として、前記操作対象の所定の領域を拡大した拡大画像を生成し、
前記出力制御部は、
前記拡大画像を前記聞き手の端末装置の画面に表示する、
請求項１～３のいずれか１項に記載の情報処理装置。
前記補助情報として、前記操作対象の所定の領域を拡大した拡大画像を生成し、
前記出力制御部は、
前記拡大画像を前記聞き手の端末装置の画面に表示する、
請求項１～３のいずれか１項に記載の情報処理装置。
【請求項5】
前記生成部は、
前記補助情報として、前記操作内容を示す文字情報または前記操作内容に関する用語の意味を説明する文字情報を生成し、
前記出力制御部は、
前記文字情報を前記聞き手の端末装置の画面に表示する、
請求項１～４のいずれか１項に記載の情報処理装置。
前記補助情報として、前記操作内容を示す文字情報または前記操作内容に関する用語の意味を説明する文字情報を生成し、
前記出力制御部は、
前記文字情報を前記聞き手の端末装置の画面に表示する、
請求項１～４のいずれか１項に記載の情報処理装置。
【請求項6】
前記生成部は、
前記補助情報として、文字の大きさが拡大または縮小された前記文字情報を生成する、
前記出力制御部は、
前記文字の大きさが拡大または縮小された前記文字情報を前記聞き手の端末装置の画面に表示する、
請求項５に記載の情報処理装置。
前記補助情報として、文字の大きさが拡大または縮小された前記文字情報を生成する、
前記出力制御部は、
前記文字の大きさが拡大または縮小された前記文字情報を前記聞き手の端末装置の画面に表示する、
請求項５に記載の情報処理装置。
【請求項7】
前記生成部は、
前記補助情報として、ひらがな、カタカナ、漢字またはローマ字で表記された前記文字情報を生成し、
前記出力制御部は、
前記ひらがな、前記カタカナ、前記漢字または前記ローマ字で表記された前記文字情報を前記聞き手の端末装置の画面に表示する、
請求項５または６に記載の情報処理装置。
前記補助情報として、ひらがな、カタカナ、漢字またはローマ字で表記された前記文字情報を生成し、
前記出力制御部は、
前記ひらがな、前記カタカナ、前記漢字または前記ローマ字で表記された前記文字情報を前記聞き手の端末装置の画面に表示する、
請求項５または６に記載の情報処理装置。
【請求項8】
前記生成部は、
前記補助情報として、日本語以外の他の言語に翻訳された前記文字情報を生成し、
前記出力制御部は、
前記他の言語に翻訳された前記文字情報を前記聞き手の端末装置の画面に表示する、
請求項５～７のいずれか１項に記載の情報処理装置。
前記補助情報として、日本語以外の他の言語に翻訳された前記文字情報を生成し、
前記出力制御部は、
前記他の言語に翻訳された前記文字情報を前記聞き手の端末装置の画面に表示する、
請求項５～７のいずれか１項に記載の情報処理装置。
【請求項9】
前記聞き手の情報に基づいて、前記聞き手が前記操作内容に関する操作に困難をきたしているか否かを判定する判定部をさらに備え、
前記生成部は、
前記判定部によって前記聞き手が前記操作に困難をきたしていると判定された場合に、前記補助情報を生成する、
請求項１～８のいずれか１項に記載の情報処理装置。
前記生成部は、
前記判定部によって前記聞き手が前記操作に困難をきたしていると判定された場合に、前記補助情報を生成する、
請求項１～８のいずれか１項に記載の情報処理装置。
【請求項10】
前記聞き手の情報に基づいて、前記伝え手から前記聞き手に対して前記操作内容を伝達するタイミングを判定する判定部をさらに備え、
前記出力制御部は、
前記判定部によって判定されたタイミングに関する情報を前記伝え手の端末装置に出力するよう制御する、
請求項１～９のいずれか１項に記載の情報処理装置。
前記出力制御部は、
前記判定部によって判定されたタイミングに関する情報を前記伝え手の端末装置に出力するよう制御する、
請求項１～９のいずれか１項に記載の情報処理装置。
【請求項11】
前記生成部は、
前記補助情報として、前記操作対象に対する見本操作を撮像した見本動画を生成し、
前記出力制御部は、
前記見本動画を前記聞き手の端末装置の画面に表示するよう制御する、
請求項１～１０のいずれか１項に記載の情報処理装置。
前記補助情報として、前記操作対象に対する見本操作を撮像した見本動画を生成し、
前記出力制御部は、
前記見本動画を前記聞き手の端末装置の画面に表示するよう制御する、
請求項１～１０のいずれか１項に記載の情報処理装置。
【請求項12】
前記聞き手による前記操作対象に対する操作を撮像した操作動画を取得する取得部をさらに備え、
前記出力制御部は、
前記操作動画を前記伝え手の端末装置の画面に表示するよう制御する、
請求項１～１１のいずれか１項に記載の情報処理装置。
前記出力制御部は、
前記操作動画を前記伝え手の端末装置の画面に表示するよう制御する、
請求項１～１１のいずれか１項に記載の情報処理装置。
【請求項13】
前記取得部は、
前記聞き手の操作に対する前記伝え手の評価を示す評価情報を取得し、
前記出力制御部は、
前記評価情報を前記聞き手の端末装置に出力するよう制御する、
請求項１２に記載の情報処理装置。
前記聞き手の操作に対する前記伝え手の評価を示す評価情報を取得し、
前記出力制御部は、
前記評価情報を前記聞き手の端末装置に出力するよう制御する、
請求項１２に記載の情報処理装置。
【請求項14】
コンピュータが実行する情報処理方法であって、
遠隔コミュニケーションの参加者である聞き手の情報に基づいて、前記遠隔コミュニケーションの参加者である伝え手から前記聞き手に対して伝達される操作内容であって、前記聞き手が操作する操作対象に対する操作内容を補う補助情報を生成する生成工程と、
前記生成工程によって生成された前記補助情報を前記聞き手の端末装置に出力するよう制御する出力制御工程と、
を含む情報処理方法。
遠隔コミュニケーションの参加者である聞き手の情報に基づいて、前記遠隔コミュニケーションの参加者である伝え手から前記聞き手に対して伝達される操作内容であって、前記聞き手が操作する操作対象に対する操作内容を補う補助情報を生成する生成工程と、
前記生成工程によって生成された前記補助情報を前記聞き手の端末装置に出力するよう制御する出力制御工程と、
を含む情報処理方法。
【請求項15】
遠隔コミュニケーションの参加者である聞き手の情報に基づいて、前記遠隔コミュニケーションの参加者である伝え手から前記聞き手に対して伝達される操作内容であって、前記聞き手が操作する操作対象に対する操作内容を補う補助情報を生成する生成手順と、
前記生成手順によって生成された前記補助情報を前記聞き手の端末装置に出力するよう制御する出力制御手順と、
をコンピュータに実行させることを特徴とする情報処理プログラム。
前記生成手順によって生成された前記補助情報を前記聞き手の端末装置に出力するよう制御する出力制御手順と、
をコンピュータに実行させることを特徴とする情報処理プログラム。
【請求項16】
情報処理装置と、遠隔コミュニケーションの参加者の端末装置とを含む情報処理システムであって、
前記情報処理装置は、
遠隔コミュニケーションの参加者である聞き手の情報に基づいて、前記遠隔コミュニケーションの参加者である伝え手から前記聞き手に対して伝達される操作内容であって、前記聞き手が操作する操作対象に対する操作内容を補う補助情報を生成する生成部と、
前記生成部によって生成された前記補助情報を前記聞き手の端末装置に出力するよう制御する出力制御部と、
を備え、
前記参加者である聞き手の端末装置は、
前記生成部によって生成された前記補助情報を出力する、
情報処理システム。
前記情報処理装置は、
遠隔コミュニケーションの参加者である聞き手の情報に基づいて、前記遠隔コミュニケーションの参加者である伝え手から前記聞き手に対して伝達される操作内容であって、前記聞き手が操作する操作対象に対する操作内容を補う補助情報を生成する生成部と、
前記生成部によって生成された前記補助情報を前記聞き手の端末装置に出力するよう制御する出力制御部と、
を備え、
前記参加者である聞き手の端末装置は、
前記生成部によって生成された前記補助情報を出力する、
情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムに関する。
【背景技術】
【0002】
近年、遠隔コミュニケーションに関する技術の開発がますます盛んになっている。遠隔コミュニケーションでは、遠隔地にいる相手の映像や音声などを相互に通信することでコミュニケーションを図る。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－６１５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術では、対面によるコミュニケーションと比べると、伝え手から聞き手に対して複雑な操作内容を正確に伝達することが困難な場合がある。遠隔コミュニケーションにおける複雑な操作内容の伝達を支援可能にする技術が求められている。
【課題を解決するための手段】
【0005】
実施形態に係る情報処理装置は、遠隔コミュニケーションの参加者である聞き手の情報に基づいて、前記遠隔コミュニケーションの参加者である伝え手から前記聞き手に対して伝達される操作内容であって、前記聞き手が操作する操作対象に対する操作内容を補う補助情報を生成する生成部と、前記生成部によって生成された前記補助情報を前記聞き手の端末装置に出力するよう制御する出力制御部と、を備える。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
以下に、本願に係る情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0008】
（実施形態）
〔１．はじめに〕
近年、新型コロナウイルス感染症対策等により、テレワークを導入する企業が増加している。また、テレワーク導入に伴い、ビデオ会議やＷｅｂ会議といった遠隔コミュニケーションを利用する機会がますます増加している。例えば、遠隔コミュニケーションを利用して、伝え手から聞き手に対して、聞き手が操作する操作対象に対する操作内容を伝達する機会も増加している。
〔１．はじめに〕
近年、新型コロナウイルス感染症対策等により、テレワークを導入する企業が増加している。また、テレワーク導入に伴い、ビデオ会議やＷｅｂ会議といった遠隔コミュニケーションを利用する機会がますます増加している。例えば、遠隔コミュニケーションを利用して、伝え手から聞き手に対して、聞き手が操作する操作対象に対する操作内容を伝達する機会も増加している。
【0009】
一般的に、遠隔コミュニケーションにおける操作内容の伝達は、対面での操作内容の伝達と比べると、複雑な操作内容を伝達することが難しいと言われている。例えば、遠隔コミュニケーションで操作内容を伝達する場合、伝え手は実際の操作対象が手元にない状態で聞き手に対して操作対象に対する操作内容を伝える必要があるため、複雑な操作内容を伝達することが難しい場合がある。また、聞き手は伝え手から伝達される操作内容を言語情報のみで理解する必要があるため、複雑な操作内容を理解することが難しい場合がある。
【0010】
そこで近年、遠隔コミュニケーションでの複雑な操作内容の伝達を助けるための技術が開発されている。例えば、遠隔地にいる伝え手の３次元ホログラフィックを現場の聞き手に提供することで、ミス軽減や伝達速度の向上に繋げる技術が知られている（参考ＵＲＬ：https://dynamics.microsoft.com/en-us/mixed-reality/overview/）。しかしながら、複雑な操作内容を伝達するにあたり、視覚情報、聴覚情報、触覚情報が豊富な対面での伝達に匹敵または対抗できるオンライン環境を提供するには、改善の余地がある。具体的には、遠隔コミュニケーションにおいて、より使い勝手がよく、かつ、様々なケースを吸収できる仕組みが必要である。例えば、聞き手の属性に応じて伝達内容を最適化する仕組み、聞き手の意思に応じた伝達内容をリアルタイムで提供する仕組み、聞き手が所在する現場の状況に応じたタイミングで伝達内容を提供する仕組み、そして精密な操作内容を提供する仕組みなどが望まれている。
【0011】
ここで、図１を用いて、比較例に係る情報処理の一例について説明する。図１は、比較例に係る情報処理の一例を示す図である。図１では、遠隔コミュニケーションを用いて、伝え手である参加者Ｕ１１（以下、「伝え手Ｕ１１」ともいう）が聞き手である参加者Ｕ２１およびＵ２２（以下、「聞き手Ｕ２１およびＵ２２」ともいう）に対して、聞き手が操作する装置Ａに対する操作内容を伝達している。
【0012】
また、聞き手Ｕ２１およびＵ２２は、それぞれヘッドマウントディスプレイである端末装置１０－２１および端末装置１０－２２を装着しており、端末装置１０－２１および端末装置１０－２２それぞれを通して伝え手Ｕ１１の画像Ｇ１を見ることができる。また、聞き手Ｕ２１およびＵ２２は、端末装置１０－２１および端末装置１０－２２にそれぞれ搭載されたスピーカーを通して、伝え手Ｕ１１の音声を聞くことができる。
【0013】
また、２人の聞き手のうち、聞き手Ｕ２１は、装置Ａに対する操作の経験を有する経験者である。また、聞き手Ｕ２２は、装置Ａに対する操作の経験を有しない未経験者であり、かつ、音が聞こえにくい状態（難聴）である。図１に示すように、比較例では、聞き手の属性に関わらず、聞き手Ｕ２１およびＵ２２に対して同じ情報が伝達される。そのため、難聴である聞き手Ｕ２２にとっては、伝え手Ｕ１１の音声が聞き取りづらく、操作内容の伝達自体が困難な場合があった。また、未経験者である聞き手Ｕ２２にとっては、馴染みのない専門用語が頻繁に登場するため、伝達される操作内容を理解することが困難な場合があった。
【0014】
そこで、本願発明は、遠隔コミュニケーションの参加者である聞き手の属性情報に基づいて、遠隔コミュニケーションの参加者である伝え手から聞き手に対して伝達される操作内容であって、聞き手が操作する操作対象に対する操作内容を補う補助情報を聞き手の端末装置に出力するよう制御する。これにより、本願発明は、伝え手によって伝達される操作内容に加えて、聞き手の属性に応じた補助情報を提供することができるので、遠隔コミュニケーションでの複雑な操作内容の伝達を助けることができる。したがって、本願発明は、遠隔コミュニケーションにおける複雑な操作内容の伝達を支援可能にすることができる。
【0015】
〔２．情報処理の一例〕
次に、図２を用いて、実施形態に係る情報処理の一例について説明する。図２は、実施形態に係る情報処理の一例を示す図である。図２に示す情報処理は、実施形態に係る情報処理システム１によって実現される。情報処理システム１には、端末装置１０と、情報処理装置１００とが含まれる。以下の説明では、実施形態に係る情報処理として、端末装置１０および情報処理装置１００が協働して行う情報処理について説明する。本実施形態では、情報処理装置１００は、実施形態に係る情報処理プログラムを実行し、端末装置１０と協働することで、実施形態に係る情報処理を行う。
次に、図２を用いて、実施形態に係る情報処理の一例について説明する。図２は、実施形態に係る情報処理の一例を示す図である。図２に示す情報処理は、実施形態に係る情報処理システム１によって実現される。情報処理システム１には、端末装置１０と、情報処理装置１００とが含まれる。以下の説明では、実施形態に係る情報処理として、端末装置１０および情報処理装置１００が協働して行う情報処理について説明する。本実施形態では、情報処理装置１００は、実施形態に係る情報処理プログラムを実行し、端末装置１０と協働することで、実施形態に係る情報処理を行う。
【0016】
図２の説明に先立って、図３を用いて、実施形態に係る情報処理システム１の構成について説明する。図３は、実施形態に係る情報処理システム１の構成例を示す図である。図３に示すように、情報処理システム１には、端末装置１０と、情報処理装置１００とが含まれる。端末装置１０と、情報処理装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。なお、図３に示す情報処理システム１には、任意の数の端末装置１０と任意の数の情報処理装置１００とが含まれてもよい。
【0017】
端末装置１０は、遠隔コミュニケーションの参加者（以下、「参加者」ともいう）によって利用される情報処理装置である。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）や、ヘッドマウントディスプレイ等である。本実施形態では、聞き手の端末装置１０は、ヘッドマウントディスプレイであるものとする。また、伝え手の端末装置１０は、ノート型ＰＣであるものとする。
【0018】
また、端末装置１０には、遠隔コミュニケーションシステムを利用するためのアプリケーション（以下、「遠隔コミュニケーションアプリ」ともいう）がインストールされている。端末装置１０は、遠隔コミュニケーションアプリに対する操作を行うための各種画像（例えば、ツールバーやアイコン等）を画面に表示する。また、端末装置１０には、カメラ、マイク、スピーカーなどの機能を有するデバイスが搭載または接続されている。端末装置１０は、それぞれのデバイスから入力された映像や音声を複数の拠点間で送受信する。
【0019】
また、端末装置１０には、参加者の物理的な状態を検知する各種のセンサが搭載または接続されている。例えば、端末装置１０には、上述したカメラやマイクといったセンサが接続されている。端末装置１０は、各種のセンサによって、参加者の物理的な状態を示すセンサ情報を検出する。例えば、端末装置１０は、センサ情報の一例として、カメラによって参加者の画像を検出する。端末装置１０は、センサ情報を検出すると、検出したセンサ情報を情報処理装置１００に送信する。
【0020】
また、端末装置１０は、情報処理装置１００から補助情報を受信する。端末装置１０は、補助情報を受信すると、補助情報を出力する。例えば、端末装置１０は、補助情報が画像である場合には、補助情報を画面に表示する。また、端末装置１０は、補助情報が音声である場合には、補完情報をスピーカーから出力する。
【0021】
なお、図３に示すように、端末装置１０を利用する参加者に応じて、端末装置１０を端末装置１０－１～１０－Ｎ（Ｎは自然数）のように区別して説明する場合がある。例えば、端末装置１０－２１は、図２に示す参加者Ｕ２１によって利用される端末装置１０である。また、例えば、端末装置１０－２２は、図２に示す参加者Ｕ２２によって利用される端末装置１０である。また、以下では、端末装置１０－１～１０－Ｎ（Ｎは自然数）について、特に区別なく説明する場合には、端末装置１０と記載する。
【0022】
情報処理装置１００は、端末装置１０から聞き手の情報を取得する。具体的には、情報処理装置１００は、端末装置１０から聞き手のセンサ情報を取得する。情報処理装置１００は、聞き手のセンサ情報を取得すると、取得した聞き手のセンサ情報に基づいて、聞き手が操作内容に関する操作に困難をきたしているか否かを判定する。続いて、情報処理装置１００は、聞き手が操作内容に関する操作に困難をきたしていると判定した場合、聞き手の属性情報に基づいて、伝え手から聞き手に対して伝達される操作内容であって、聞き手が操作する操作対象に対する操作内容を補う補助情報を生成する。また、情報処理装置１００は、生成した補助情報を聞き手の端末装置１０に出力するよう制御する。具体的には、情報処理装置１００は、生成した補助情報を聞き手の端末装置１０に送信する。
【0023】
ここから、図２の説明に戻る。図２では、図１と同様に、遠隔コミュニケーションを用いて、伝え手Ｕ１１が聞き手Ｕ２１およびＵ２２に対して、聞き手が操作する装置Ａに対する操作内容を伝達している。ここで、図２に示す例では、情報処理装置１００が、聞き手Ｕ２２の属性情報に基づいて、装置Ａに対する操作内容を補う補助情報を聞き手Ｕ２２の端末装置１０－２２に出力する点が図１と異なる。
【0024】
図示は省略するが、まず、聞き手Ｕ２２が、「わからない単語が多いし、声が聞き取りづらいです。」と発言したとする。このとき、聞き手Ｕ２２が装着している端末装置１０－２２に搭載されたマイクは、聞き手Ｕ２２の発言の音声を検出する。続いて、端末装置１０－２２は、聞き手Ｕ２２の発言の音声を検出すると、検出した音声データを情報処理装置１００に送信する。
【0025】
情報処理装置１００は、端末装置１０－２２から聞き手Ｕ２２の音声データを取得する。続いて、情報処理装置１００は、聞き手Ｕ２２の音声データを取得すると、取得した聞き手Ｕ２２の音声データに基づいて、聞き手Ｕ２２が操作内容に関する操作に困難をきたしているか否かを判定する。図２では、情報処理装置１００は、聞き手Ｕ２２が操作内容に関する操作に困難をきたしていると判定する。
【0026】
情報処理装置１００は、聞き手Ｕ２２が操作内容に関する操作に困難をきたしていると判定した場合、聞き手Ｕ２２が難聴であるという属性情報に基づいて、補助情報の一例として、伝え手Ｕ１１によって伝達される操作内容を文字にした字幕を含む画像Ｇ２１を生成する。続いて、情報処理装置１００は、生成した画像Ｇ２１を聞き手Ｕ２２の端末装置１０－２２に表示するよう制御する。
【0027】
これにより、情報処理装置１００は、難聴である聞き手Ｕ２２が伝え手Ｕ１１の音声を聞き取りづらい場合であっても、補助情報である字幕を含む画像Ｇ２１により視覚的に操作内容を知覚することを可能にする。したがって、情報処理装置１００は、難聴である聞き手Ｕ２２に対する操作内容の伝達を助けることができる。
【0028】
また、情報処理装置１００は、聞き手Ｕ２２が操作内容に関する操作に困難をきたしていると判定した場合、聞き手Ｕ２２が未経験者であるという属性情報に基づいて、補助情報の一例として、伝え手Ｕ１１によって伝達される操作内容に登場する専門用語の意味を文字にした字幕を含む画像Ｇ２２を生成する。続いて、情報処理装置１００は、生成した画像Ｇ２２を聞き手Ｕ２２の端末装置１０－２２に表示するよう制御する。
【0029】
これにより、情報処理装置１００は、未経験者である聞き手Ｕ２２にとって馴染みのない専門用語が頻繁に登場する場合であっても、補助情報である字幕を含む画像Ｇ２２により専門用語の意味をその都度確認可能にすることができる。したがって、情報処理装置１００は、未経験者である聞き手Ｕ２２が操作内容を理解するのを助けることができる。
【0030】
〔３．情報処理装置の構成〕
次に、図４を用いて、実施形態に係る情報処理装置１００の構成について説明する。図４は、実施形態に係る情報処理装置１００の構成例を示す図である。図４に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。
次に、図４を用いて、実施形態に係る情報処理装置１００の構成について説明する。図４は、実施形態に係る情報処理装置１００の構成例を示す図である。図４に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。
【0031】
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、端末装置１０との間で情報の送受信を行う。
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、端末装置１０との間で情報の送受信を行う。
【0032】
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、図４に示すように、参加者情報記憶部１２１とセンサ情報記憶部１２２を有する。
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、図４に示すように、参加者情報記憶部１２１とセンサ情報記憶部１２２を有する。
【0033】
（参加者情報記憶部１２１）
参加者情報記憶部１２１は、参加者の属性に関する各種の情報を記憶する。具体的には、参加者情報記憶部１２１は、参加者を識別可能な識別情報（参加者ＩＤともいう）と参加者の属性情報とを対応付けて記憶する。図５を用いて、参加者情報記憶部１２１の一例について説明する。図５は、実施形態に係る参加者情報記憶部の一例を示す図である。
参加者情報記憶部１２１は、参加者の属性に関する各種の情報を記憶する。具体的には、参加者情報記憶部１２１は、参加者を識別可能な識別情報（参加者ＩＤともいう）と参加者の属性情報とを対応付けて記憶する。図５を用いて、参加者情報記憶部１２１の一例について説明する。図５は、実施形態に係る参加者情報記憶部の一例を示す図である。
【0034】
図５に示す例では、参加者情報記憶部１２１は、装置Ａに対する操作の経験者であることを示す参加者Ｕ２１の属性情報である「経験者」と参加者Ｕ２１の参加者ＩＤ「Ｕ２１」とを対応付けて記憶する。また、参加者情報記憶部１２１は、装置Ａに対する操作の未経験者であることを示す参加者Ｕ２２の属性情報である「未経験者」および音が聞こえづらい状態であることを示す参加者Ｕ２２の属性情報である「難聴」と参加者Ｕ２２の参加者ＩＤ「Ｕ２２」とを対応付けて記憶する。
【0035】
（センサ情報記憶部１２２）
センサ情報記憶部１２２は、参加者の物理的な状態を示す各種のセンサ情報を記憶する。具体的には、センサ情報記憶部１２２は、参加者を識別可能な識別情報（参加者ＩＤともいう）と参加者のセンサ情報とを対応付けて記憶する。
センサ情報記憶部１２２は、参加者の物理的な状態を示す各種のセンサ情報を記憶する。具体的には、センサ情報記憶部１２２は、参加者を識別可能な識別情報（参加者ＩＤともいう）と参加者のセンサ情報とを対応付けて記憶する。
【0036】
図２に示す例では、センサ情報記憶部１２２は、参加者Ｕ１１の画像データおよび音声データと参加者Ｕ１１の参加者ＩＤ「Ｕ１１」とを対応付けて記憶する。センサ情報記憶部１２２は、参加者Ｕ２１の画像データおよび音声データと参加者Ｕ２１の参加者ＩＤ「Ｕ２１」とを対応付けて記憶する。また、センサ情報記憶部１２２は、参加者Ｕ２２の画像データおよび音声データと参加者Ｕ２２の参加者ＩＤ「Ｕ２２」とを対応付けて記憶する。
【0037】
（制御部１３０）
図４の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
図４の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
【0038】
図４に示すように、制御部１３０は、取得部１３１と、判定部１３２と、生成部１３３と、出力制御部１３４とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0039】
（取得部１３１）
取得部１３１は、端末装置１０から参加者の情報を取得する。具体的には、取得部１３１は、端末装置１０から聞き手の情報を取得する。また、取得部１３１は、端末装置１０から聞き手のセンサ情報を取得する。例えば、取得部１３１は、端末装置１０から聞き手の画像データおよび音声データを取得する。続いて、取得部１３１は、聞き手のセンサ情報を取得すると、取得したセンサ情報をセンサ情報記憶部１２２に格納する。
取得部１３１は、端末装置１０から参加者の情報を取得する。具体的には、取得部１３１は、端末装置１０から聞き手の情報を取得する。また、取得部１３１は、端末装置１０から聞き手のセンサ情報を取得する。例えば、取得部１３１は、端末装置１０から聞き手の画像データおよび音声データを取得する。続いて、取得部１３１は、聞き手のセンサ情報を取得すると、取得したセンサ情報をセンサ情報記憶部１２２に格納する。
【0040】
また、取得部１３１は、端末装置１０から伝え手の情報を取得する。具体的には、取得部１３１は、端末装置１０から伝え手のセンサ情報を取得する。例えば、取得部１３１は、端末装置１０から伝え手の画像データおよび音声データを取得する。続いて、取得部１３１は、伝え手のセンサ情報を取得すると、取得したセンサ情報をセンサ情報記憶部１２２に格納する。
【0041】
（判定部１３２）
判定部１３２は、聞き手の情報に基づいて、聞き手が操作内容に関する操作に困難をきたしているか否かを判定する。具体的には、判定部１３２は、取得部１３１によって取得された聞き手のセンサ情報に基づいて、聞き手が操作内容に関する操作に困難をきたしているか否かを判定する。
判定部１３２は、聞き手の情報に基づいて、聞き手が操作内容に関する操作に困難をきたしているか否かを判定する。具体的には、判定部１３２は、取得部１３１によって取得された聞き手のセンサ情報に基づいて、聞き手が操作内容に関する操作に困難をきたしているか否かを判定する。
【0042】
例えば、判定部１３２は、取得部１３１によって取得された聞き手の音声データに基づいて、聞き手が操作内容に関する操作に困難をきたしているか否かを判定する。例えば、判定部１３２は、公知の音声認識技術を用いて、取得部１３１によって取得された聞き手の音声データを文字列に変換する。図２に示す例では、判定部１３２は、聞き手Ｕ２２の音声データを文字列である「わからない単語が多いし、声が聞き取りづらいです。」に変換する。
【0043】
続いて、判定部１３２は、変換した文字列を形態素解析して、単語に分解する。続いて、判定部１３２は、分解された単語の中に特定の単語が含まれるか否かを判定する。例えば、判定部１３２は、聞き手が操作内容に関する操作に困難をきたしている場合に発せられやすい単語リスト（以下、単語リストともいう）に含まれる単語が分解された単語の中に含まれるか否かを判定する。例えば、単語リストには、「わからない」、「困った」、「聞き取りづらい」などの単語が含まれているとする。図２に示す例では、判定部１３２は、分解された単語の中に単語リストに含まれる単語である「わからない」と「聞き取りづらい」が含まれると判定する。
【0044】
続いて、判定部１３２は、分解された単語の中に特定の単語が含まれると判定した場合、聞き手が操作内容に関する操作に困難をきたしていると判定する。一方、判定部１３２は、分解された単語の中に特定の単語が含まれないと判定した場合、聞き手が操作内容に関する操作に困難をきたしていないと判定する。図２に示す例では、判定部１３２は、分解された単語の中に単語リストに含まれる単語である「わからない」と「聞き取りづらい」が含まれると判定したので、聞き手Ｕ２２が操作内容に関する操作に困難をきたしていると判定する。
【0045】
（生成部１３３）
生成部１３３は、遠隔コミュニケーションの参加者である聞き手の情報に基づいて、遠隔コミュニケーションの参加者である伝え手から聞き手に対して伝達される操作内容であって、聞き手が操作する操作対象に対する操作内容を補う補助情報を生成する。具体的には、生成部１３３は、判定部１３２によって聞き手が操作に困難をきたしていると判定された場合に、補助情報を生成する。例えば、生成部１３３は、聞き手の情報の一例として、聞き手の属性に関する属性情報に基づいて、補助情報を生成する。
生成部１３３は、遠隔コミュニケーションの参加者である聞き手の情報に基づいて、遠隔コミュニケーションの参加者である伝え手から聞き手に対して伝達される操作内容であって、聞き手が操作する操作対象に対する操作内容を補う補助情報を生成する。具体的には、生成部１３３は、判定部１３２によって聞き手が操作に困難をきたしていると判定された場合に、補助情報を生成する。例えば、生成部１３３は、聞き手の情報の一例として、聞き手の属性に関する属性情報に基づいて、補助情報を生成する。
【0046】
図２に示す例では、生成部１３３は、判定部１３２によって聞き手Ｕ２２が操作内容に関する操作に困難をきたしていると判定された場合、参加者情報記憶部１２１を参照して、聞き手Ｕ２２の属性情報を取得する。例えば、生成部１３３は、聞き手Ｕ２２が難聴であるという属性情報を取得する。続いて、生成部１３３は、聞き手Ｕ２２が難聴であるという属性情報を取得すると、聞き手Ｕ２２が難聴であるという属性情報に基づいて、補助情報の一例として、伝え手Ｕ１１によって伝達される操作内容を文字にした字幕を含む画像Ｇ２１を生成する。例えば、生成部１３３は、センサ情報記憶部１２２を参照して、伝え手Ｕ１１の音声データを取得する。続いて、生成部１３３は、公知の音声認識技術を用いて、伝え手Ｕ１１の音声データを文字列に変換する。続いて、生成部１３３は、変換した文字列に基づいて、伝え手Ｕ１１によって伝達される操作内容を文字にした字幕を含む画像Ｇ２１を生成する。
【0047】
また、生成部１３３は、判定部１３２によって聞き手Ｕ２２が操作内容に関する操作に困難をきたしていると判定された場合、参加者情報記憶部１２１を参照して、聞き手Ｕ２２が未経験者であるという属性情報を取得する。続いて、生成部１３３は、聞き手Ｕ２２が未経験者であるという属性情報を取得すると、聞き手Ｕ２２が未経験者であるという属性情報に基づいて、補助情報の一例として、伝え手Ｕ１１によって伝達される操作内容に登場する専門用語の意味を文字にした字幕を含む画像Ｇ２２を生成する。例えば、生成部１３３は、センサ情報記憶部１２２を参照して、伝え手Ｕ１１の音声データを取得する。続いて、生成部１３３は、公知の音声認識技術を用いて、伝え手Ｕ１１の音声データを文字列に変換する。続いて、生成部１３３は、変換した文字列の中から伝え手Ｕ１１によって伝達される操作内容に登場する専門用語を抽出する。続いて、生成部１３３は、専門用語の意味が掲載された辞書等を参照して、抽出した専門用語の意味を文字にした字幕を含む画像Ｇ２２を生成する。
【0048】
（出力制御部１３４）
出力制御部１３４は、生成部１３３によって生成された補助情報を聞き手の端末装置１０に出力するよう制御する。具体的には、出力制御部１３４は、生成部１３３によって補助情報が生成されると、生成部１３３によって生成された補助情報を聞き手の端末装置１０に送信する。図２に示す例では、出力制御部１３４は、生成部１３３によって画像Ｇ２１および画像Ｇ２２が生成されると、生成された画像Ｇ２１および画像Ｇ２２を聞き手Ｕ２２の端末装置１０－２２に送信する。
出力制御部１３４は、生成部１３３によって生成された補助情報を聞き手の端末装置１０に出力するよう制御する。具体的には、出力制御部１３４は、生成部１３３によって補助情報が生成されると、生成部１３３によって生成された補助情報を聞き手の端末装置１０に送信する。図２に示す例では、出力制御部１３４は、生成部１３３によって画像Ｇ２１および画像Ｇ２２が生成されると、生成された画像Ｇ２１および画像Ｇ２２を聞き手Ｕ２２の端末装置１０－２２に送信する。
【0049】
〔４．変形例〕
上述した実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。
上述した実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。
【0050】
〔４－１．第１の変形例〕
まず、図６を用いて、第１の変形例に係る情報処理について説明する。図６は、第１の変形例に係る情報処理の一例を示す図である。図６では、図２と同様に、遠隔コミュニケーションを用いて、伝え手Ｕ１１が聞き手Ｕ２１およびＵ２２に対して、聞き手が操作する装置Ａに対する操作内容を伝達している。ここで、図６に示す例では、情報処理装置１００が、聞き手Ｕ２２が所在する現場の音声情報に基づいて、装置Ａに対する操作内容を補う補助情報を聞き手Ｕ２２の端末装置１０－２２に出力する点が図２と異なる。
まず、図６を用いて、第１の変形例に係る情報処理について説明する。図６は、第１の変形例に係る情報処理の一例を示す図である。図６では、図２と同様に、遠隔コミュニケーションを用いて、伝え手Ｕ１１が聞き手Ｕ２１およびＵ２２に対して、聞き手が操作する装置Ａに対する操作内容を伝達している。ここで、図６に示す例では、情報処理装置１００が、聞き手Ｕ２２が所在する現場の音声情報に基づいて、装置Ａに対する操作内容を補う補助情報を聞き手Ｕ２２の端末装置１０－２２に出力する点が図２と異なる。
【0051】
図示は省略するが、まず、聞き手Ｕ２２が、「読めない漢字があるので、ひらがなにしてほしい。あと、文字をもっと大きくしてほしい。」と発言したとする。このとき、聞き手Ｕ２２が装着している端末装置１０－２２に搭載されたマイクは、聞き手Ｕ２２の発言の音声を検出する。続いて、端末装置１０－２２は、聞き手Ｕ２２の発言の音声を検出すると、検出した音声データを情報処理装置１００に送信する。
【0052】
取得部１３１は、端末装置１０－２２から聞き手Ｕ２２の音声データを取得する。判定部１３２は、公知の音声認識技術を用いて、取得部１３１によって取得された聞き手Ｕ２２の音声データを文字列である「読めない漢字があるので、ひらがなにしてほしい。あと、文字をもっと大きくしてほしい。」に変換する。
【0053】
続いて、判定部１３２は、変換した文字列を形態素解析して、単語に分解する。続いて、判定部１３２は、上述した単語リストに含まれる単語が分解された単語の中に含まれるか否かを判定する。図６に示す例では、判定部１３２は、分解された単語の中に単語リストに含まれる単語である「読めない」と「してほしい」が含まれると判定する。
【0054】
続いて、判定部１３２は、分解された単語の中に単語リストに含まれる単語である「読めない」と「してほしい」が含まれると判定したので、聞き手Ｕ２２が操作内容に関する操作に困難をきたしていると判定する。
【0055】
図６に示す例では、生成部１３３は、判定部１３２によって聞き手Ｕ２２が操作内容に関する操作に困難をきたしていると判定された場合、聞き手Ｕ２２の音声データを変換した文字列に含まれる「ひらがなにしてほしい」に基づいて、補助情報の一例として、伝え手Ｕ１１によって伝達される操作内容をひらがなで表記した字幕を含む画像Ｇ３１を生成する。
【0056】
具体的には、生成部１３３は、聞き手Ｕ２２の音声データを変換した文字列に含まれる「ひらがなにしてほしい」の意味を「ひらがなに変換してほしい」であると解析する。続いて、生成部１３３は、聞き手Ｕ２２の音声データを変換した文字列を意味解析すると、記憶部１２０に記憶された処理リストを参照して、意味解析した結果に対応する処理を実行する。より具体的には、記憶部１２０は、「〇〇してほしい」という文字列と「〇〇」に対応する処理とが対応付けられた処理リストを記憶する。例えば、記憶部１２０は、「ひらがなに変換してほしい」という文字列と、ひらがなに変換する処理とが対応付けられた処理リストを記憶する。生成部１３３は、意味解析した結果である「ひらがなに変換してほしい」という文字列に対応する処理として、伝え手Ｕ１１の音声データをひらがなに変換する処理を実行する。例えば、生成部１３３は、公知の音声認識技術を用いて、伝え手Ｕ１１の音声データを文字列に変換する。続いて、生成部１３３は、変換した文字列をひらがなに変換する。続いて、生成部１３３は、伝え手Ｕ１１によって伝達される操作内容をひらがなで表記した字幕を含む画像Ｇ３１を生成する。
【0057】
また、生成部１３３は、判定部１３２によって聞き手Ｕ２２が操作内容に関する操作に困難をきたしていると判定された場合、聞き手Ｕ２２の音声データを変換した文字列に含まれる「文字をもっと大きくしてほしい」に基づいて、補助情報の一例として、伝え手Ｕ１１によって伝達される操作内容を示す文字の大きさが拡大された字幕を含む画像Ｇ３１を生成する。
【0058】
具体的には、生成部１３３は、聞き手Ｕ２２の音声データを変換した文字列に含まれる「文字をもっと大きくしてほしい」の意味を「文字のサイズを拡大してほしい」であると解析する。生成部１３３は、聞き手Ｕ２２の音声データを変換した文字列を意味解析すると、記憶部１２０に記憶された処理リストを参照して、意味解析した結果に基づく処理を実行する。例えば、記憶部１２０は、「文字のサイズを拡大してほしい」という文字列と、文字のサイズを拡大する処理とが対応付けられた処理リストを記憶する。生成部１３３は、意味解析した結果である「文字のサイズを拡大してほしい」という文字列に対応する処理として、伝え手Ｕ１１によって伝達される操作内容を示す文字のサイズを拡大する処理を実行する。例えば、生成部１３３は、伝え手Ｕ１１の音声データを変換した文字列に基づいて、伝え手Ｕ１１によって伝達される操作内容を示す文字のサイズを拡大した字幕を含む画像Ｇ３１を生成する。
【0059】
出力制御部１３４は、生成部１３３によって画像Ｇ３１が生成されると、生成された画像Ｇ３１を聞き手Ｕ２２の端末装置１０－２２に送信する。
【0060】
図６では、生成部１３３が、補助情報の一例として、伝え手Ｕ１１によって伝達される操作内容をひらがなで表記した文字情報を生成する例について説明したが、ひらがな以外で表記した文字情報を生成してもよい。例えば、生成部１３３は、補助情報の一例として、カタカナ、漢字またはローマ字で表記された文字情報を生成してもよい。
【0061】
なお、生成部１３３は、補助情報の一例として、日本語以外の他の言語に翻訳された文字情報を生成してもよい。例えば、生成部１３３は、聞き手の母国語が英語であるという属性情報に基づいて、伝え手によって伝達される操作内容を英語に翻訳した字幕を生成してもよい。
【0062】
また、図６では、生成部１３３が、補助情報の一例として、伝え手Ｕ１１によって伝達される操作内容を示す文字の大きさが拡大された文字情報を生成する例について説明したが、これに限られない。例えば、生成部１３３は、補助情報の一例として、文字の大きさが縮小された文字情報を生成してもよい。
【0063】
〔４－２．第２の変形例〕
次に、図７を用いて、第２の変形例に係る情報処理について説明する。図７は、第２の変形例に係る情報処理の一例を示す図である。図７では、遠隔コミュニケーションを用いて、伝え手Ｕ１１が、同じ現場に所在する聞き手Ｕ２３およびＵ２４に対して、聞き手が操作する装置Ｏ１に対する操作内容を伝達している。
次に、図７を用いて、第２の変形例に係る情報処理について説明する。図７は、第２の変形例に係る情報処理の一例を示す図である。図７では、遠隔コミュニケーションを用いて、伝え手Ｕ１１が、同じ現場に所在する聞き手Ｕ２３およびＵ２４に対して、聞き手が操作する装置Ｏ１に対する操作内容を伝達している。
【0064】
取得部１３１は、聞き手Ｕ２１およびＵ２２が所在する現場の画像情報を取得する。例えば、取得部１３１は、聞き手Ｕ２１およびＵ２２が所在する現場に設置されたカメラＣ１から聞き手Ｕ２１およびＵ２２が所在する現場の画像情報を取得する。
【0065】
判定部１３２は、聞き手Ｕ２１およびＵ２２が所在する現場の画像情報に基づいて、伝え手から聞き手に対して操作内容を伝達するタイミングを判定する。具体的には、判定部１３２は、取得部１３１によって取得された現場の画像情報に基づいて、聞き手Ｕ２１およびＵ２２が操作内容を確認している最中であるか否かを判定する。
【0066】
例えば、判定部１３２は、公知の物体認識技術を用いて、現場の画像情報に含まれる装置Ｏ１の領域を特定する。また、判定部１３２は、公知の姿勢推定技術を用いて、現場の画像情報に含まれる聞き手Ｕ２１およびＵ２２の人物領域を特定する。続いて、判定部１３２は、特定された聞き手Ｕ２１およびＵ２２のうち少なくともいずれか一方が装置Ｏ１に接触しているか否かを判定する。判定部１３２は、聞き手Ｕ２１およびＵ２２のうち少なくともいずれか一方が装置Ｏ１に接触していると判定した場合、聞き手Ｕ２１およびＵ２２が操作内容を確認している最中であると判定する。続いて、判定部１３２は、聞き手Ｕ２１およびＵ２２が操作内容を確認している最中であると判定した場合、伝え手から聞き手に対して操作内容を伝達するタイミングではないと判定する。
【0067】
生成部１３３は、判定部１３２によって伝え手から聞き手に対して操作内容を伝達するタイミングではないと判定された場合、次の操作内容を伝達するのを少し待つよう促す画像を生成する。出力制御部１３４は、生成部１３３によって次の操作内容を伝達するのを少し待つよう促す画像が生成されると、生成された画像を伝え手の端末装置１０に表示するよう制御する。
【0068】
一方、判定部１３２は、聞き手Ｕ２１およびＵ２２のいずれも装置Ｏ１に接触していないと判定した場合、聞き手Ｕ２１およびＵ２２が操作内容を確認している最中ではないと判定する。続いて、判定部１３２は、聞き手Ｕ２１およびＵ２２が操作内容を確認している最中ではないと判定した場合、伝え手から聞き手に対して操作内容を伝達するタイミングであると判定する。
【0069】
生成部１３３は、判定部１３２によって伝え手から聞き手に対して操作内容を伝達するタイミングであると判定された場合、次の操作内容を伝達するのを促す画像を生成してもよい。出力制御部１３４は、生成部１３３によって次の操作内容を伝達するのを促す画像が生成されると、生成された画像を伝え手の端末装置１０に表示するよう制御してもよい。このようにして、出力制御部１３４は、判定部１３２によって判定されたタイミングに関する情報を伝え手の端末装置１０に出力するよう制御する。
【0070】
図７では、判定部１３２が、聞き手Ｕ２１およびＵ２２が所在する現場の画像情報に基づいて、伝え手から聞き手に対して操作内容を伝達するタイミングを判定する例について説明したが、聞き手の情報は画像情報でなくてもよい。具体的には、判定部１３２は、聞き手が所在する現場の音声情報に基づいて、伝え手から聞き手に対して操作内容を伝達するタイミングを判定してもよい。判定部１３２は、現場の音声情報に基づいて、聞き手Ｕ２１およびＵ２２による発話がない状態が所定の時間以上であるか否かを判定する。判定部１３２は、例えば、聞き手Ｕ２１およびＵ２２による発話がない状態が所定の時間以上であると判定した場合、伝え手から聞き手に対して操作内容を伝達するタイミングであると判定してもよい。あるいは、判定部１３２は、現場の音声情報に基づいて、聞き手Ｕ２１およびＵ２２による発話に「ＯＫです」といった文言が含まれるか否かを判定する。判定部１３２は、例えば、聞き手Ｕ２１およびＵ２２による発話に「ＯＫです」といった文言が含まれると判定した場合、伝え手から聞き手に対して操作内容を伝達するタイミングであると判定してもよい。
【0071】
また、判定部１３２は、聞き手が操作する装置Ｏ１から発生するシグナル情報に基づいて、伝え手から聞き手に対して操作内容を伝達するタイミングを判定してもよい。例えば、判定部１３２は、聞き手が装置Ｏ１を操作している時のみ発生するシグナル情報を装置Ｏ１から取得することができる。続いて、判定部１３２は、取得したシグナル情報に基づいて、聞き手による操作が行われていない状態が所定の時間以上であるか否かを判定する。判定部１３２は、例えば、聞き手による操作が行われていない状態が所定の時間以上であると判定した場合、伝え手から聞き手に対して操作内容を伝達するタイミングであると判定してもよい。あるいは、判定部１３２は、取得したシグナル情報に基づいて、聞き手による操作が行われている状態が所定の時間以上であるか否かを判定する。判定部１３２は、例えば、聞き手による操作が行われている状態が所定の時間以上であると判定した場合、伝え手から聞き手に対して操作内容を伝達するタイミングではないと判定してもよい。
【0072】
〔４－３．第３の変形例〕
次に、図８を用いて、第３の変形例に係る情報処理について説明する。図８は、第３の変形例に係る情報処理の一例を示す図である。図８では、遠隔コミュニケーションを用いて、伝え手Ｕ１１が、聞き手Ｕ２５に対して、聞き手Ｕ２５が操作するドローンのコントローラＯ２５に対する操作内容を伝達している。
次に、図８を用いて、第３の変形例に係る情報処理について説明する。図８は、第３の変形例に係る情報処理の一例を示す図である。図８では、遠隔コミュニケーションを用いて、伝え手Ｕ１１が、聞き手Ｕ２５に対して、聞き手Ｕ２５が操作するドローンのコントローラＯ２５に対する操作内容を伝達している。
【0073】
図８では、取得部１３１が、聞き手Ｕ２５によるコントローラＯ２５に対する操作を撮像した操作動画を取得する。例えば、取得部１３１は、眼鏡型のヘッドマウントディスプレイである聞き手Ｕ２５の端末装置１０－２５に搭載されたカメラＣ２５から、聞き手Ｕ２５によるコントローラＯ２５に対する操作を撮像した操作動画を取得する。出力制御部１３４は、取得部１３１によって取得された操作動画を伝え手Ｕ１１の端末装置１０の画面に表示するよう制御する。これにより、伝え手側は、取得部１３１によって取得された操作動画を繰り返し再生することができるため、聞き手側の評価をよりしやすくなる。
【0074】
また、取得部１３１は、聞き手Ｕ２５の操作に対する伝え手Ｕ１１の評価を示す評価情報を伝え手Ｕ１１の端末装置１０から取得する。出力制御部１３４は、取得部１３１によって取得された評価情報を聞き手Ｕ２５の端末装置１０－２５に出力するよう制御する。
【0075】
〔４－４．第４の変形例〕
次に、図９を用いて、第４の変形例に係る情報処理について説明する。図９は、第４の変形例に係る情報処理の一例を示す図である。図９では、図８と同様に、遠隔コミュニケーションを用いて、伝え手Ｕ１１が、聞き手Ｕ２６に対して、聞き手Ｕ２６が操作するドローンのコントローラＯ２６に対する操作内容を伝達している。
次に、図９を用いて、第４の変形例に係る情報処理について説明する。図９は、第４の変形例に係る情報処理の一例を示す図である。図９では、図８と同様に、遠隔コミュニケーションを用いて、伝え手Ｕ１１が、聞き手Ｕ２６に対して、聞き手Ｕ２６が操作するドローンのコントローラＯ２６に対する操作内容を伝達している。
【0076】
図９では、生成部１３３が、聞き手の情報の一例として、聞き手Ｕ２６がドローンを操作するのに用いられるコントローラＯ２６の信号情報に基づいて、補助情報である見本動画Ｇ４２を生成する。具体的には、取得部１３１は、聞き手Ｕ２６のコントローラＯ２６からコントローラＯ２６の信号情報を取得する。続いて、判定部１３２は、取得部１３１によって取得された信号情報に基づいて、聞き手Ｕ２６が操作内容に関する操作に困難をきたしているか否かを判定する。例えば、判定部１３２は、取得部１３１によって取得された信号情報に基づいて、聞き手Ｕ２６が現在行っている操作を判定する。続いて、判定部１３２は、あらかじめ用意された操作手順に基づいて、聞き手Ｕ２６が現在行っている操作が操作手順と比べてどの程度遅れているかを判定する。例えば、判定部１３２は、聞き手Ｕ２６が現在行っている操作が操作手順と比べて所定の閾値を超えて遅れていると判定した場合には、聞き手Ｕ２６が操作内容に関する操作に困難をきたしていると判定する。生成部１３３は、判定部１３２によって聞き手Ｕ２６が操作内容に関する操作に困難をきたしていると判定された場合、ドローンに対する見本操作を撮像した見本動画Ｇ４２を生成する。出力制御部１３４は、生成部１３３によって生成された見本動画Ｇ４２を聞き手Ｕ２６の端末装置１０－２６に表示するよう制御する。例えば、出力制御部１３４は、聞き手Ｕ２６による実際の操作を撮像した動画Ｇ４１の横に同じ大きさの見本動画Ｇ４２が表示されるように制御する。
【0077】
〔４－５．その他の変形例〕
生成部１３３は、聞き手の情報の一例として、聞き手が所在する現場の画像情報に基づいて、補助情報を生成してもよい。例えば、生成部１３３は、聞き手が所在する現場の画像情報に基づいて、補助情報の一例として、操作対象の操作部位を示す部位画像、または操作対象に対する操作方向を示す方向画像を生成する。
生成部１３３は、聞き手の情報の一例として、聞き手が所在する現場の画像情報に基づいて、補助情報を生成してもよい。例えば、生成部１３３は、聞き手が所在する現場の画像情報に基づいて、補助情報の一例として、操作対象の操作部位を示す部位画像、または操作対象に対する操作方向を示す方向画像を生成する。
【0078】
また、生成部１３３は、聞き手が所在する現場の画像情報に基づいて、補助情報の一例として、操作対象の所定の領域を拡大した拡大画像を生成してもよい。例えば、生成部１３３は、操作対象の精密領域を拡大した拡大画像を生成する。
【0079】
〔５．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、生成部１３３と出力制御部１３４を備える。生成部１３３は、遠隔コミュニケーションの参加者である聞き手の情報に基づいて、遠隔コミュニケーションの参加者である伝え手から聞き手に対して伝達される操作内容であって、聞き手が操作する操作対象に対する操作内容を補う補助情報を生成する。出力制御部１３４は、生成部１３３によって生成された補助情報を聞き手の端末装置１０に出力するよう制御する。また、生成部１３３は、聞き手の情報として、聞き手の属性に関する属性情報、聞き手が所在する現場の音声情報、聞き手が所在する現場の画像情報、または聞き手が操作対象を操作するのに用いられる制御装置の信号情報に基づいて、補助情報を生成する。
上述してきたように、実施形態に係る情報処理装置１００は、生成部１３３と出力制御部１３４を備える。生成部１３３は、遠隔コミュニケーションの参加者である聞き手の情報に基づいて、遠隔コミュニケーションの参加者である伝え手から聞き手に対して伝達される操作内容であって、聞き手が操作する操作対象に対する操作内容を補う補助情報を生成する。出力制御部１３４は、生成部１３３によって生成された補助情報を聞き手の端末装置１０に出力するよう制御する。また、生成部１３３は、聞き手の情報として、聞き手の属性に関する属性情報、聞き手が所在する現場の音声情報、聞き手が所在する現場の画像情報、または聞き手が操作対象を操作するのに用いられる制御装置の信号情報に基づいて、補助情報を生成する。
【0080】
これにより、情報処理装置１００は、伝え手によって伝達される操作内容に加えて、聞き手に応じた補助情報を提供することができるので、遠隔コミュニケーションでの複雑な操作内容の伝達を助けることができる。したがって、本願発明は、遠隔コミュニケーションにおける複雑な操作内容の伝達を支援可能にすることができる。
【0081】
また、生成部１３３は、補助情報として、操作対象の操作部位を示す部位画像、または操作対象に対する操作方向を示す方向画像を生成する。出力制御部１３４は、部位画像または方向画像のうち少なくともいずれか１つを聞き手の端末装置１０の画面に表示する。
【0082】
これにより、情報処理装置１００は、伝え手によって伝達される操作内容に加えて、操作対象の操作部位を示す部位画像、または操作対象に対する操作方向を示す方向画像を提供することができるので、遠隔コミュニケーションでの複雑な操作内容の伝達を助けることができる。
【0083】
また、生成部１３３は、補助情報として、操作対象の所定の領域を拡大した拡大画像を生成する。出力制御部１３４は、拡大画像を聞き手の端末装置１０の画面に表示する。
【0084】
これにより、情報処理装置１００は、例えば、精密領域を拡大して表示することができるので、遠隔コミュニケーションでの精密領域に関する操作内容の伝達を助けることができる。
【0085】
また、生成部１３３は、補助情報として、操作内容を示す文字情報または操作内容に関する用語の意味を説明する文字情報を生成する。出力制御部１３４は、文字情報を聞き手の端末装置１０の画面に表示する。
【0086】
これにより、情報処理装置１００は、例えば、難聴である聞き手が伝え手の音声を聞き取りづらい場合であっても、補助情報である文字情報により視覚的に操作内容を知覚することを可能にする。したがって、情報処理装置１００は、例えば、難聴である聞き手に対する操作内容の伝達を助けることができる。また、情報処理装置１００は、例えば、未経験者である聞き手にとって馴染みのない専門用語が頻繁に登場する場合であっても、補助情報である文字情報により専門用語の意味をその都度確認可能にすることができる。したがって、情報処理装置１００は、例えば、未経験者である聞き手が操作内容を理解するのを助けることができる。
【0087】
また、生成部１３３は、補助情報として、文字の大きさが拡大または縮小された文字情報を生成する。出力制御部１３４は、文字の大きさが拡大または縮小された文字情報を聞き手の端末装置１０の画面に表示する。
【0088】
これにより、情報処理装置１００は、例えば、文字を大きくすることで、視力の低い聞き手が伝え手の操作内容を視覚的に知覚することを助けることができる。また、情報処理装置１００は、例えば、文字を小さくすることで、聞き手の手元や操作対象の邪魔にならないように画面中に伝え手の操作内容を表示することができる。したがって、情報処理装置１００は、聞き手が操作内容を視覚的に理解するのを助けることができる。
【0089】
また、生成部１３３は、補助情報として、ひらがな、カタカナ、漢字またはローマ字で表記された文字情報を生成する。出力制御部１３４は、ひらがな、カタカナ、漢字またはローマ字で表記された文字情報を聞き手の端末装置１０の画面に表示する。
【0090】
これにより、情報処理装置１００は、聞き手に応じた日本語の表示態様によって、聞き手が伝え手の操作内容を理解するのを助けることができる。
【0091】
また、生成部１３３は、補助情報として、日本語以外の他の言語に翻訳された文字情報を生成する。出力制御部１３４は、他の言語に翻訳された文字情報を聞き手の端末装置１０の画面に表示する。
【0092】
これにより、情報処理装置１００は、聞き手に応じた言語によって、聞き手が伝え手の操作内容を理解するのを助けることができる。
【0093】
また、情報処理装置１００は、判定部１３２をさらに備える。判定部１３２は、聞き手の情報に基づいて、聞き手が操作内容に関する操作に困難をきたしているか否かを判定する。生成部１３３は、判定部１３２によって聞き手が操作に困難をきたしていると判定された場合に、補助情報を生成する。
【0094】
これにより、情報処理装置１００は、聞き手が困っているときに補助情報を生成することができるので、聞き手が伝え手の操作内容を理解するのを助けることができる。
【0095】
また、判定部１３２は、聞き手の情報に基づいて、伝え手から聞き手に対して操作内容を伝達するタイミングを判定する。出力制御部１３４は、判定部１３２によって判定されたタイミングに関する情報を伝え手の端末装置１０に出力するよう制御する。
【0096】
これにより、情報処理装置１００は、聞き手にとって受け入れやすいタイミングで、伝え手から聞き手に対して操作内容を伝達することができるので、聞き手が伝え手の操作内容を理解するのを助けることができる。
【0097】
また、生成部１３３は、補助情報として、操作対象に対する見本操作を撮像した見本動画を生成する。出力制御部１３４は、見本動画を聞き手の端末装置１０の画面に表示するよう制御する。
【0098】
これにより、情報処理装置１００は、伝え手によって伝達される操作内容に加えて、見本動画を見ることができるので、聞き手が伝え手の操作内容を理解するのを助けることができる。
【0099】
また、情報処理装置１００は、取得部１３１をさらに備える。取得部１３１は、聞き手による操作対象に対する操作を撮像した操作動画を取得する。出力制御部１３４は、操作動画を伝え手の端末装置１０の画面に表示するよう制御する。
【0100】
これにより、情報処理装置１００は、伝え手に対して、自身が伝達した操作内容が聞き手にどの程度伝わっているか、フィードバックすることができる。
【0101】
また、取得部１３１は、聞き手の操作に対する伝え手の評価を示す評価情報を取得する。出力制御部１３４は、評価情報を聞き手の端末装置１０に出力するよう制御する。
【0102】
これにより、情報処理装置１００は、聞き手に対して、どの程度操作内容を正しく理解しているか、伝え手の評価をフィードバックすることができる。
【0103】
〔６．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。図１０は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
また、上述してきた実施形態に係る情報処理装置１００は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。図１０は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
【0104】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0105】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
【0106】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
【0107】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0108】
例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0109】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0110】
〔７．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0111】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0112】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0113】
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、生成部は、生成手段や生成回路に読み替えることができる。
【符号の説明】
【0114】
１ 情報処理システム
１０ 端末装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 取得部
１３２ 判定部
１３３ 生成部
１３４ 出力制御部
１０ 端末装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 取得部
１３２ 判定部
１３３ 生成部
１３４ 出力制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】