(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-13
(45)【発行日】2022-04-21
(54)【発明の名称】コンピュータシステム、画面共有方法及びプログラム
(51)【国際特許分類】
G06F 40/58 20200101AFI20220414BHJP
G06F 3/0481 20220101ALI20220414BHJP
H04L 65/40 20220101ALI20220414BHJP
【FI】
G06F40/58
G06F3/0481
H04L65/40
(21)【出願番号】P 2020533955
(86)(22)【出願日】2018-07-31
(86)【国際出願番号】 JP2018028748
(87)【国際公開番号】W WO2020026360
(87)【国際公開日】2020-02-06
【審査請求日】2021-01-29
(73)【特許権者】
【識別番号】500521522
【氏名又は名称】株式会社オプティム
(74)【代理人】
【識別番号】100177220
【氏名又は名称】小木 智彦
(72)【発明者】
【氏名】菅谷 俊二
【審査官】長 由紀子
(56)【参考文献】
【文献】特開2016-85715(JP,A)
【文献】特開2005-275676(JP,A)
【文献】特開2006-4366(JP,A)
【文献】特開平3-286255(JP,A)
【文献】特開2014-235740(JP,A)
【文献】米国特許出願公開第2016/0034449(US,A1)
【文献】特開2013-9367(JP,A)
【文献】中国特許出願公開第106991086(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 40/00-58
G06F 3/0481
H04L 65/40
(57)【特許請求の範囲】
【請求項1】
画面共有を行って遠隔から指示を受けるコンピュータシステムであって、
予め登録されたデータベースから被指示者が使用する言語を抽出する抽出手段と、
指示者からテキスト又は音声のメッセージを取得する取得手段と、
所定のキーワードと複数の言葉とを対応付けて記憶する記憶手段と、
前記メッセージが、翻訳に適したものでない場合、当該メッセージに、前記キーワードが含まれているとき、当該キーワードに対応付けて記憶された言葉を補完した、当該メッセージに、前記キーワードが含まれていないとき、一般的な言葉を補完した当該メッセージと同じニュアンスであって、前記被指示者が使用する言語に翻訳しやすい代替メッセージを出力する代替メッセージ出力手段と、
前記代替メッセージに対する選択を、前記指示者から受け付ける選択受付手段と、
前記メッセージが翻訳に適したものである場合、取得した当該メッセージを、当該メッセージが翻訳に適さないものである場合、受け付けた代替メッセージを、其々、抽出した前記言語に翻訳した翻訳データを生成する翻訳データ生成手段と、
生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力する翻訳データ出力手段と、
を備えることを特徴とするコンピュータシステム。
【請求項2】
画面共有を行って遠隔から指示を受けるコンピュータシステムが実行する画面共有方法であって、
予め登録されたデータベースから被指示者が使用する言語を抽出するステップと、
指示者からテキスト又は音声のメッセージを取得するステップと、
所定のキーワードと複数の言葉とを対応付けて記憶するステップと、
前記メッセージが、翻訳に適したものでない場合、当該メッセージに、前記キーワードが含まれているとき、当該キーワードに対応付けて記憶された言葉を補完した、当該メッセージに、前記キーワードが含まれていないとき、一般的な言葉を補完した当該メッセージと同じニュアンスであって、前記被指示者が使用する言語に翻訳しやすい代替メッセージを出力するステップと、
前記代替メッセージに対する選択を、前記指示者から受け付けるステップと、
前記メッセージが翻訳に適したものである場合、取得した当該メッセージを、当該メッセージが翻訳に適さないものである場合、受け付けた代替メッセージを、其々、抽出した前記言語に翻訳した翻訳データを生成するステップと、
生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力するステップと、
を備えることを特徴とする画面共有方法。
【請求項3】
画面共有を行って遠隔から指示を受けるコンピュータシステムに、
予め登録されたデータベースから被指示者が使用する言語を抽出するステップ、
指示者からテキスト又は音声のメッセージを取得するステップ、
所定のキーワードと複数の言葉とを対応付けて記憶するステップ、
前記メッセージが、翻訳に適したものでない場合、当該メッセージに、前記キーワードが含まれているとき、当該キーワードに対応付けて記憶された言葉を補完した、当該メッセージに、前記キーワードが含まれていないとき、一般的な言葉を補完した当該メッセージと同じニュアンスであって、前記被指示者が使用する言語に翻訳しやすい代替メッセージを出力するステップ、
前記代替メッセージに対する選択を、前記指示者から受け付けるステップ、
前記メッセージが翻訳に適したものである場合、取得した当該メッセージを、当該メッセージが翻訳に適さないものである場合、受け付けた代替メッセージを、其々、抽出した前記言語に翻訳した翻訳データを生成するステップ、
生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画面共有を行って遠隔から指示を受けるコンピュータシステム、画面共有方法及びプログラムに関する。
【背景技術】
【0002】
近年、作業現場や工事現場等における現場作業員に対して、ウェアラブル端末や携帯端末等の端末装置を利用して、遠隔から様々な指示を行うことが行われている。このような指示の方法として、例えば、現場作業員が作業対象をカメラ等の撮影装置により撮影し、撮影した画像を、指示者が所持する指示者端末と、現場作業員が所持する被指示者端末とで画面共有し、指示者が被指示者に対して指示を行うことが行われている。
【0003】
しかしながら、近年グローバルな環境や外国人労働者の増加に伴って、このような遠隔での指示において、指示者と被指示者とが使用する言語が異なっている場合が増加してきている。このような状況において、指示者が被指示者に適切な指示を行う構成として、指示者が使用する言語を翻訳し、翻訳後の指示内容を被指示者端末に表示することが開示されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の構成では、翻訳した結果の言語が、被指示者にとって必ずしも適切な言語でないおそれがあったため、指示内容を適切に伝達することができないおそれがあった。
【0006】
本発明は、より容易に指示内容を適切に伝達することが容易なコンピュータシステム、画面共有方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明では、以下のような解決手段を提供する。
【0008】
本発明は、画面共有を行って遠隔から指示を受けるコンピュータシステムであって、
予め登録されたデータベースから被指示者が使用する言語を抽出する抽出手段と、
指示者からテキスト又は音声のメッセージを取得する取得手段と、
所定のキーワードと複数の言葉とを対応付けて記憶する記憶手段と、
前記メッセージが、翻訳に適したものでない場合、当該メッセージに、前記キーワードが含まれているとき、当該キーワードに対応付けて記憶された言葉を補完した、当該メッセージに、前記キーワードが含まれていないとき、一般的な言葉を補完した当該メッセージと同じニュアンスであって、前記被指示者が使用する言語に翻訳しやすい代替メッセージを出力する代替メッセージ出力手段と、
前記代替メッセージに対する選択を、前記指示者から受け付ける選択受付手段と、
前記メッセージが翻訳に適したものである場合、取得した当該メッセージを、当該メッセージが翻訳に適さないものである場合、受け付けた代替メッセージを、其々、抽出した前記言語に翻訳した翻訳データを生成する翻訳データ生成手段と、
生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力する翻訳データ出力手段と、
を備えることを特徴とするコンピュータシステムを提供する。
【0009】
本発明によれば、画面共有を行って遠隔から指示を受けるコンピュータシステムは、 予め登録されたデータベースから被指示者が使用する言語を抽出する抽出手段と、指示者からテキスト又は音声のメッセージを取得し、所定のキーワードと複数の言葉とを対応付けて記憶し、前記メッセージが、翻訳に適したものでない場合、当該メッセージに、前記キーワードが含まれているとき、当該キーワードに対応付けて記憶された言葉を補完した、当該メッセージに、前記キーワードが含まれていないとき、一般的な言葉を補完した当該メッセージと同じニュアンスであって、前記被指示者が使用する言語に翻訳しやすい代替メッセージを出力し、前記代替メッセージに対する選択を、前記指示者から受け付け、前記メッセージが翻訳に適したものである場合、取得した当該メッセージを、当該メッセージが翻訳に適さないものである場合、受け付けた代替メッセージを、其々、抽出した前記言語に翻訳した翻訳データを生成し、生成した前記翻訳データを前記被指示者に対して、テキスト又は音声で出力する。
【0010】
本発明は、コンピュータシステムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
【発明の効果】
【0011】
本発明によれば、より容易に指示内容を適切に伝達することが容易なコンピュータシステム、画面共有方法及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【0012】
【
図1】
図1は、画面共有システム1の概要を示す図である。
【
図2】
図2は、画面共有システム1の全体構成図である。
【
図3】
図3は、指示者端末100、被指示者端末200が実行するメッセージ出力処理を示すフローチャートである。
【
図4】
図4は、指示者端末100、被指示者端末200が実行する代替メッセージ出力処理を示すフローチャートである。
【
図5】
図5は、使用言語データベースの一例を示す図である。
【
図6】
図6は、指示者端末100と被指示者端末200とがメッセージを出力した状態の一例を模式的に示した図である。
【
図7】
図7は、指示者端末100が出力する代替メッセージの一例を示す図である。
【
図8】
図8は、指示者端末100と被指示者端末200とがメッセージを出力した状態の一例を模式的に示した図である。
【発明を実施するための形態】
【0013】
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれらに限られるものではない。
【0014】
[画面共有システム1の概要]
本発明の好適な実施形態の概要について、
図1に基づいて説明する。
図1は、本発明の好適な実施形態である画面共有システム1の概要を説明するための図である。画面共有システム1は、指示者端末100と被指示者端末200とから構成され、画面共有を行って遠隔から指示を受けるコンピュータシステムである。
【0015】
なお、画面共有システム1は、指示者端末100と被指示者端末200とに加え、コンピュータ等の他の装置や端末が含まれていてもよい。
【0016】
指示者端末100と被指示者端末200とは、公衆回線網等を介してデータ通信可能に接続されており、其々に設定された共有領域に表示した画像やオブジェクト等の共有対象を画面共有する。
【0017】
指示者端末100は、現場作業員等の被指示者に遠隔から作業内容を指示する指示者が所持する端末である。指示者端末100は、被指示者とこの被指示者が使用する言語とを対応付けて登録した使用言語データベースを予め記憶している。指示者端末100は、指示者が指示した作業内容(テキストや音声によるメッセージ)を、被指示者の使用する言語に翻訳した翻訳データを生成し、被指示者端末200にこの翻訳データ出力する。
【0018】
また、指示者端末100は、上述した構成に加え、作業内容を、同じニュアンスであり、かつ、被指示者が使用する言語に翻訳しやすい代替メッセージを複数出力する。指示者端末100は、出力した複数の代替メッセージの何れかを選択する入力を受け付け、受け付けた代替メッセージを、被指示者の使用する言語に翻訳した翻訳データを生成し、被指示者端末200に出力する。
【0019】
被指示者端末200は、この指示者端末100が出力した翻訳データを取得し、この翻訳データに基づいたメッセージを出力する。被指示者端末200は、このメッセージを出力することにより、指示者が指示した作業内容を被指示者に対して表示する。
【0020】
画面共有システム1が実行する処理の概要について説明する。
【0021】
はじめに、指示者端末100と被指示者端末200とは、画面共有を実行する(ステップS01)。このとき、指示者端末100は、今回、画面共有を実行した被指示者端末200の所持者を、被指示者として特定する。この特定内容としては、例えば、被指示者端末200に対応付けられた被指示者の識別子(名称、ID等)を特定する。指示者端末100と被指示端末200とは、互いに予め設定された共有領域に表示した画像やオブジェクト等の共有対象を画面共有する。
【0022】
指示者端末100は、予め登録された使用言語データベースから被指示者が使用する言語を抽出する(ステップS02)。指示者端末100は、特定した被指示者の識別子に対応付けられたこの被指示者が使用する言語を、データベースから抽出する。
【0023】
指示者端末100は、指示者からテキスト又は音声のメッセージを取得する(ステップS03)。指示者端末100は、指示者からタッチパネルやキーボード等の入力部へのテキスト入力又はマイク等の入力部への音声入力を受け付けることにより、作業内容の指示を、メッセージとして受け付けることにより、指示者からの指示をメッセージとして取得する。
【0024】
指示者端末100は、取得したメッセージを、抽出した被使用者が使用する言語に翻訳した翻訳データを生成する(ステップS04)。指示者端末100は、ルール翻訳や統計翻訳やディープニュートラルネットによる翻訳等の翻訳により、取得したメッセージを、被指示者が使用する言語に翻訳する。指示者端末100は、この翻訳したメッセージを、翻訳データとして生成する。
【0025】
指示者端末100は、生成した翻訳データを、被指示者端末200に出力する(ステップS05)。指示者端末100は、画面共有を実行する被指示者端末200に、この翻訳データを送信することにより、出力する。
【0026】
被指示者端末200は、翻訳データを取得する。被指示者端末200は、この取得した翻訳データに基づいて、指示者が入力したメッセージを被指示者が使用する言語に翻訳したものを出力する(ステップS06)。被指示者端末200は、共有領域の内部又は共有領域の外部に、このメッセージを出力することにより、指示者からの作業内容の指示を、被指示者に通知する。
【0027】
以上が、画面共有システム1の概要である。
【0028】
[画面共有システム1のシステム構成]
図2に基づいて、本発明の好適な実施形態である画面共有システム1のシステム構成について説明する。
図2は、本発明の好適な実施形態である画面共有システム1のシステム構成を示す図である。
図2において、画面共有システム1は、指示者端末100及び被指示者端末200から構成され、画面共有を行って遠隔から指示を受けるコンピュータシステムである。指示者端末100と被指示者端末200とは、公衆回線網(インターネット網や、第3、第4世代通信網等)を介して、データ通信可能に接続されている。
【0029】
なお、画面共有システム1は、上述した通り、コンピュータ等の他の端末や装置等が含まれていてもよい。
【0030】
指示者端末100は、制御部として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部として、被指示者端末200と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWi―Fi(Wireless―Fidelity)対応デバイス等を備える。また、指示者端末100は、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、指示者端末100は、処理部として、各種処理を実行する各種デバイス等を備える。
【0031】
指示者端末100において、制御部が所定のプログラムを読み込むことにより、通信部と協働して、翻訳データ出力モジュール110を実現する。また、指示者端末100において、制御部が所定のプログラムを読み込むことにより、記憶部と協働して、記憶モジュール120を実現する。また、指示者端末100において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、被指示者特定モジュール130、言語抽出モジュール131、メッセージ取得モジュール132、メッセージ解析モジュール133、翻訳データ生成モジュール134、代替メッセージ出力モジュール135、選択受付モジュール136を実現する。
【0032】
被指示者端末200は、指示者端末100と同様に、制御部として、CPU、RAM、ROM等を備え、通信部として、指示者端末100と通信可能にするためのデバイスを備え、処理部として、各種処理を実行する各種デバイス等を備える。
【0033】
被指示者端末200において、制御部が所定のプログラムを読み込むことにより、通信部と協働して、翻訳データ取得モジュール210を実現する。また、被指示者端末200において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、メッセージ出力モジュール230を実現する。
【0034】
[メッセージ出力処理]
図3に基づいて、画面共有システム1が実行するメッセージ出力処理について説明する。
図3は、指示者端末100、被指示者端末200が実行するメッセージ出力処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
【0035】
はじめに、指示者端末100と被指示者端末200とは、画面共有を実行する(ステップS10)。ステップS10において、指示者端末100に予め設定された画面を共有する領域である共有領域と、被指示者端末200に予め設定された共有領域とにおいて、一方の共有領域に表示した画像やオブジェクト等の共有対象を他方の共有領域に表示する。
【0036】
このとき、被指示者端末200は、自身に設けられたカメラ等の撮影装置により作業現場の動画や静止画等の画像を撮影し、この撮影した画像を共有領域に表示する。指示者端末100は、この画像を共有対象として画面共有する。指示者は、この画像を閲覧しつつ、被指示者に対して遠隔から指示を出す。
【0037】
ステップS10で行われる画面共有それ自体は、一般的な画面共有と同様のものであるため、その詳細な説明は省略する。
【0038】
被指示者特定モジュール130は、被指示者を特定する(ステップS11)。ステップS11において、被指示者特定モジュール130は、画面共有を行った被指示者端末200の識別子(電話番号、IPアドレス、MACアドレス、各種ID等の対象を一意に特定可能な情報)に基づいて、被指示者を特定する。被指示者特定モジュール130は、この被指示者端末200の識別子に予め対応付けられた被指示者の識別子(名称、識別番号、各種ID等の対象を一意に特定可能な情報)を特定する。被指示者特定モジュール130は、被指示者の識別子を特定することにより、被指示者を特定する。
【0039】
言語抽出モジュール131は、予め登録された使用言語データベースから、被指示者が使用する言語を抽出する(ステップS12)。ステップS12において、言語抽出モジュール131は、予め被指示者の名称と識別子と使用言語とを対応付けて登録した使用言語データベースを参照することにより、今回の被指示者が使用する言語を抽出する。このとき、言語抽出モジュール131は、特定した被指示者の識別子に対応付けられた使用言語を抽出することにより、被指示者が使用する言語を抽出する。
【0040】
[使用言語データベース]
図5に基づいて、使用言語データベースについて説明する。
図5は、記憶モジュール120が記憶する使用言語データベースの一例を示す図である。使用言語データベースは、予め、被指示者の名称と、この被指示者の識別子と、この被指示者が使用する言語とを対応付けて登録したものである。記憶モジュール120は、予めこの使用言語データベースを記憶しておく。本例では、名称が、「被指示者A」には、識別子「0001」と使用言語「英語」とが対応付けて登録されている。その他の被指示者にとっても同様に、識別子と、使用言語とが対応付けて登録されている。
【0041】
ステップS12において、言語抽出モジュール131が被指示者の使用言語を抽出する処理について、
図5に基づいて説明する。上述した処理において、被指示者特定モジュール130は、今回の被指示者を特定する際、画面共有を行っている被指示者端末200の識別子に対応付けられた被指示者の識別子を特定する。このとき、被指示者特定モジュール130は、特定した被指示者の識別子が、「被指示者A」及び「0001」であるとする。言語抽出モジュール131は、この使用言語データベースを参照し、この特定した被指示者の識別子に対応付けられた使用言語を抽出する。このとき、言語抽出モジュール131は、特定した被指示者の識別子である「被指示者A」及び「0001」に対応付けられた使用言語である「英語」を抽出する。この時抽出した被指示者の使用言語を、後述する処理において活用する。
【0042】
なお、上述した例では、使用言語を使用言語データベースに登録しているが、使用言語の代わりに、国籍を登録していてもよい。この場合、この国籍にさらに公用語を対応付けて登録しておき、被指示者が使用する言語として、この公用語を抽出すればよい。
【0043】
このようにすることにより、指示者端末100は、被指示者が使用する言語を抽出する。予め被指示者と使用言語とを対応付けた使用言語データベースを用いることにより、指示者や被指示者が遠隔での指示を受ける際に、翻訳する言語を選択する必要がなくなり、作業効率を向上させることも可能となる。また、翻訳する言語を選択する必要がなくなり、より容易に指示内容を適切に伝達することが可能となる。
【0044】
メッセージ取得モジュール132は、指示者からテキスト又は音声のメッセージを取得する(ステップS13)。ステップS13において、メッセージ取得モジュール132は、指示者からタッチパネルやキーボード等の入力部へのテキスト入力又はマイク等の集音装置等の入力部への音声入力を受け付けることにより、指示者からテキスト又は音声の入力を受け付ける。メッセージ取得モジュール132は、このように受け付けたテキスト又は音声を、メッセージとして取得する。
【0045】
ステップS13の処理について、一例に基づいて説明する。メッセージ取得モジュール132は、例えば、指示者がメッセージとして、入力部に入力した「もうちょっと近づいてくれる?」とのテキストの入力を受け付けることにより、この「もうちょっと近づいてくれる?」をメッセージとして取得する。また、メッセージ取得モジュール132は、例えば、指示者がメッセージとして、集音装置に発話した「もうちょっと近づいてくれる?」との音声の入力を受け付けることにより、この「もうちょっと近づいてくれる?」をメッセージとして取得する。
【0046】
このとき、メッセージ取得モジュール132は、取得したメッセージがテキストである場合、取得したメッセージを、共有領域内部又は共有領域外部の何れか又は双方に表示する構成であってもよい。また、メッセージ取得モジュール132は、メッセージを取得した時点では、共有領域内部又は共有領域外部に表示せずに、後述するメッセージを翻訳する処理が完了した時点で、共有領域内部又は共有領域外部の何れか又は双方に表示する構成であってもよい。また、取得したメッセージが音声である場合、取得したメッセージを、スピーカ等の放音装置から出力する構成であってもよい。また、メッセージ取得モジュール132は、メッセージを取得した時点では、放音装置から出力せずに、後述するメッセージを翻訳する処理が完了した時点で、放音装置から出力する構成であってもよい。また、取得したメッセージが音声である場合であっても、後述するテキスト認識した結果のテキストを、上述した取得したメッセージがテキストである場合と同様のタイミングで表示する構成であってもよい。
【0047】
メッセージ解析モジュール133は、取得したメッセージを解析する(ステップS14)。ステップS14において、メッセージ解析モジュール133は、取得したメッセージがテキストであるか音声であるかを解析する。メッセージ解析モジュール133は、
メッセージがテキストである場合、後述するステップS15の処理を実行する。メッセージ解析モジュール133は、取得したメッセージが音声である場合、音声解析を実行する。メッセージ解析モジュール133は、音声解析の結果として、取得した音声を、テキスト認識し、認識したテキストに基づいて、後述する処理を実行する。
【0048】
翻訳データ生成モジュール134は、取得したメッセージを抽出した被指示者が使用する言語に翻訳した翻訳データを生成する(ステップS15)。ステップS15において、翻訳データ生成モジュール134は、取得したメッセージがテキストである場合、このテキストを翻訳する。また、翻訳データ生成モジュール134は、取得したメッセージが音声である場合、音声解析の結果、認識したテキストを翻訳する。翻訳データ生成モジュール134は、この翻訳において、ルール翻訳、統計翻訳又はディープニュートラルネットによる翻訳等の翻訳により、メッセージを翻訳する。翻訳データ生成モジュール134は、この翻訳した結果を、翻訳データとして生成する。
【0049】
翻訳データ生成モジュール134が実行する翻訳について、上述した例に基づいて説明する。翻訳データ生成モジュール134は、今回の被指示者の使用言語が英語であることから、取得したメッセージである「もうちょっと近づいてくれる?」を英語に翻訳する。その結果、翻訳データ生成モジュール134は、このメッセージの英訳である「Can you come a closer?」を翻訳データとして生成する。
【0050】
翻訳データ出力モジュール110は、生成した翻訳データを、被指示者端末200に出力する(ステップS16)。
【0051】
翻訳データ取得モジュール210は、指示者端末100が出力した翻訳データを取得する。
【0052】
メッセージ出力モジュール230は、取得した翻訳データに基づいて、指示者が入力したメッセージを被指示者が使用する言語に翻訳した翻訳後メッセージを出力する(ステップS17)。ステップS17において、メッセージ出力モジュール230は、指示者端末100が取得したメッセージがテキストである場合、メッセージとして入力されたテキストを翻訳したものをテキスト又は音声として出力する。メッセージ出力モジュール230は、指示者端末100が取得したメッセージが音声である場合、メッセージとして入力された音声をテキスト認識した結果のテキストを翻訳したものをテキスト又は音声として出力する。
【0053】
このとき、メッセージ出力モジュール230は、指示者端末100が取得したメッセージがテキストである場合、翻訳したメッセージを、共有領域内部又は共有領域外部の何れか又は双方に表示する構成であってもよい。また、メッセージ出力モジュール230は、指示者端末100が取得したメッセージが音声である場合、翻訳したメッセージを、放音装置から出力する構成であってもよい。また、放音装置から出力する構成であってもよい。また、メッセージ出力モジュール230は、指示者端末100が取得したメッセージがテキスト又は音声のいずれであっても、翻訳したメッセージを、共有領域内部又は共有領域外部の何れか又は双方にテキストとして表示するとともに、放音装置から出力する構成であってもよい。
【0054】
図6に基づいて、指示者端末100と被指示者端末200とがメッセージを出力した状態を説明する。
図6は、指示者端末100と被指示者端末200とがメッセージを出力した状態の一例を模式的に示した図である。
図6において、指示者端末100と、被指示者端末200の其々の共有領域を模式的に示している。このとき、指示者端末100が取得したメッセージはテキストであるものとして説明する。また、メッセージは、上述した「もうちょっと近づいてくれる?」であるものとして説明する。また、被指示者は、上述した「被指示者A」であり、この被指示者Aが使用する言語は「英語」であるものとして説明する。なお、
図6において、画像やオブジェクト等の共有対象についての記載は省略している。
【0055】
メッセージ取得モジュール132は、取得したメッセージ300である「もうちょっと近づいてくれる?」を共有領域内に表示する。メッセージ出力モジュール230は、この取得したメッセージ300を英語に翻訳した翻訳後メッセージ310である「Can you come a closer?」」を共有領域内に表示する。このとき、取得したメッセージ300が音声である場合、メッセージ取得モジュール132は、取得したメッセージ300を音声又はテキストとして出力し、メッセージ出力モジュール230は、この取得したメッセージ300を英語に翻訳した翻訳後メッセージ310を音声又はテキストとして出力する。
【0056】
なお、メッセージ取得モジュール132は、取得したメッセージ300がテキスト又は音声のいずれの場合であっても、このメッセージ300を、共有領域内に表示するとともに、音声として出力し、メッセージ出力モジュール230は、翻訳後メッセージ310を共有領域内に表示するとともに、音声として出力してもよい。
【0057】
また、メッセージ300及び翻訳後メッセージ310の表示場所は、共有領域内であれば適宜変更可能である。また、メッセージ300及び翻訳後メッセージ310の表示場所は、共有領域内に限らず、共有領域外であってもよい。
【0058】
このようにすることにより、指示者からの作業内容の指示を被指示者に通知する。
【0059】
以上が、メッセージ出力処理である。
【0060】
[代替メッセージ出力処理]
図4に基づいて、画面共有システム1が実行する代替メッセージ出力処理について説明する。
図4は、指示者端末100、被指示者端末200が実行する代替メッセージ出力処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。なお、上述したメッセージ出力処理と同様の処理については、その詳細な説明は省略する。
【0061】
はじめに、指示者端末100と被指示者端末200とは、画面共有を実行する(ステップS20)。ステップS20の処理は、上述したステップS10の処理と同様である。
【0062】
被指示者特定モジュール130は、被指示者を特定する(ステップS21)。ステップS21の処理は、上述したステップS11の処理と同様である。
【0063】
言語抽出モジュール131は、予め登録された使用言語データベースから、被指示者が使用する言語を抽出する(ステップS22)。ステップS22の処理は、上述したステップS12の処理と同様である。
【0064】
メッセージ取得モジュール132は、指示者からテキスト又は音声のメッセージを取得する(ステップS23)。ステップS23の処理は、上述したステップS13の処理と同様である。
【0065】
メッセージ解析モジュール133は、取得したメッセージを解析する(ステップS24)。ステップS24の処理は、上述したステップS14の処理と同様である。
【0066】
メッセージ解析モジュール133は、メッセージが翻訳に適したものであるか否かを判断する(ステップS25)。ステップS25において、メッセージ解析モジュール133は、メッセージを解析した結果、テキストとして入力されたメッセージに誤字や脱字が含まれているか否か、テキスト又は音声により入力されたメッセージが複数の意味にとれるか否か、テキスト又は音声として入力されたメッセージが不明瞭(例えば、方言が含まれている、環境音によりはっきりとしてない、口語により意味が不鮮明)か否かを判断する。すなわち、メッセージ解析モジュール133は、取得したメッセージが、翻訳先の言語に一意に変換可能なメッセージであるか否かを判断する。特に、メッセージが音声である場合、口述により入力が行われることから、複数の意味が含まれている場合や方言による違いが含まれている場合があることから有効となる。
【0067】
メッセージ解析モジュール133は、メッセージが翻訳に適したものであると判断した場合(ステップS25 YES)、指示者端末100及び被指示者端末200は、上述したメッセージ出力処理でのステップS15以降の処理を実行する。本処理においては、説明の簡略化のために、処理を終了するものとして説明する。
【0068】
メッセージ解析モジュール133は、メッセージが翻訳に適したものでないと判断した場合(ステップS25 NO)、代替メッセージ出力モジュール135は、取得したメッセージと同様のニュアンスであって、被指示者が使用する言語に翻訳しやすい代替メッセージを生成する(ステップS26)。ステップS26において、同様のニュアンスとは、類似したメッセージではあるものの、翻訳後の意味が異なるものを意味する。すなわち、取得したメッセージを核として、内容やメッセージの文言等を補完したものを代替メッセージとして生成する。
【0069】
記憶モジュール120は、現場においてよく使われる言葉(戻って、片付けて、先に進んで等)をキーワードとして予め記憶させておき、このキーワードにさらに複数の言葉(工程を進める、作業者が進む等)を対応付けて記憶する。メッセージ解析モジュール133は、今回取得したメッセージに、このキーワードが含まれている場合、代替メッセージ出力モジュール135は、このキーワードに対応付けられた言葉を、取得したメッセージに補完したテキストを生成する。また、代替メッセージ出力モジュール135は、今回取得したメッセージに、このキーワードが含まれていない場合、一般的な言葉を、取得したメッセージに補完したテキストを生成する。
【0070】
具体的な説明として、取得したメッセージが「ちょっと戻って」である場合について説明する。メッセージ解析モジュール133は、この「ちょっと戻って」をメッセージとして取得した場合、このメッセージに「戻って」という予め記憶したキーワードが含まれていることを解析する。代替メッセージ出力モジュール135は、この「戻って」というキーワードに対応付けられた「工程を進める」、「作業者が進む」を取得したメッセージに補完し、補完後のメッセージとして、「少し前の位置に戻ってくれませんか?」と、「少し前の工程に戻ってくれませんか?」とを、代替メッセージとして生成する。
【0071】
なお、記憶モジュール120は、現場においてよく使われる言葉だけでなく、指示者の方言をキーワードとして予め記憶させて、このキーワードに共通語を対応付けて記憶していてもよい。すなわち、メッセージ解析モジュール133は、今回取得したメッセージに、この方言が含まれている場合、代替メッセージ出力モジュール135は、この方言に対応付けられた言葉を、取得したメッセージに補完したテキストを代替メッセージとして生成してもよい。
【0072】
代替メッセージ出力モジュール135は、生成した代替メッセージを出力する(ステップS27)。ステップS27において、代替メッセージ出力モジュール135は、自身の表示部に取得したメッセージ、生成した代替メッセージを出力する。
【0073】
選択受付モジュール136は、出力した代替メッセージに対する指示者からの選択入力を受け付ける(ステップS28)。ステップS28において、選択受付モジュール136は、指示者からのタッチ操作や音声入力やジェスチャー入力等の選択操作を受け付けることにより、指示者の意図に合った代替メッセージへの選択入力を受け付ける。
【0074】
図7に基づいて、代替メッセージ出力モジュール135が出力する代替メッセージについて説明する。
図7は、代替メッセージ出力モジュール135が出力する代替メッセージの一例を示す図である。代替メッセージ出力モジュール135は、表示部に、取得したメッセージ400、生成した代替メッセージ410,420、説明テキスト430を、出力する。取得したメッセージ400は、指示者から取得したメッセージである「ちょっと戻って」である。代替メッセージ410は、取得したメッセージの補完後の代替メッセージの一つである「A:少し前の位置に戻ってくれませんか?」である。また、代替メッセージ420は、取得したメッセージの補完後の代替メッセージの一つである「B:少し前の工程に戻ってくれませんか?」である。説明テキスト430は、指示者に代替メッセージの選択を促す説明文である「どちらの意味ですか?選択してください。」である。
【0075】
指示者は、この代替メッセージ出力モジュール135が出力した代替メッセージ410,420の何れかを選択することにより、当人の意図に近いメッセージを選択することが可能となる。このとき、選択受付モジュール136により選択を受け付けた代替メッセージ420は、強調表示される。後述の処理において、画面共有時に指示者端末100に表示されるメッセージは、この選択された代替メッセージである。
【0076】
なお、指示者は、代替メッセージ出力モジュール135が出力した代替メッセージが、当人の意図と異なっている場合、選択受付モジュール136は、その旨の入力を受け付ける。このとき、代替メッセージ出力モジュール135は、再度メッセージを取得するために指示者に対してメッセージの再入力を促す通知を表示する。代替メッセージ出力モジュール135は、メッセージ再入力を促す際、より具体的な指示内容をメッセージとして入力することや、より簡潔な指示内容をメッセージとして入力すること等を促す通知を併せて表示する。また、選択を受け付けた代替メッセージは、必ずしも強調表示される必要はない。
【0077】
翻訳データ生成モジュール134は、選択を受け付けた代替メッセージを、抽出した被指示者が使用する言語に翻訳した翻訳データを生成する(ステップS29)。ステップS29の処理は、上述したステップS15の処理と同様である。本処理において、翻訳データ生成モジュール134は、選択を受け付けた代替メッセージが、「少し前の工程に戻ってくれませんか?」であることから、この代替メッセージを、英語に翻訳した「Will you come back to the process a little before?」を翻訳データとして生成する。
【0078】
翻訳データ出力モジュール110は、生成した翻訳データを、被指示者端末200に出力する(ステップS30)。
【0079】
翻訳データ取得モジュール210は、指示者端末100が出力した翻訳データを取得する。
【0080】
メッセージ出力モジュール230は、取得した翻訳データに基づいて、指示者が入力したメッセージの代替メッセージを被指示者が使用する言語に翻訳した翻訳後メッセージを出力する(ステップS31)。ステップS31において、メッセージ出力モジュール230は、指示者端末100が取得したメッセージがテキストである場合、入力されたメッセージに基づいた代替メッセージのテキストを翻訳したものをテキスト又は音声として出力する。メッセージ出力モジュール230は、指示者端末100が取得したメッセージが音声である場合、メッセージとして入力された音声をテキスト認識した結果のテキストに基づいた代替メッセージのテキストを翻訳したものをテキスト又は音声として出力する。
【0081】
このとき、メッセージ出力モジュール230は、指示者端末100が取得したメッセージがテキストである場合、このメッセージに基づいた代替メッセージを翻訳したメッセージを、共有領域内部又は共有領域外部の何れか又は双方に表示する構成であってもよい。また、メッセージ出力モジュール230は、指示者端末100が取得したメッセージが音声である場合、このメッセージに基づいた代替メッセージを翻訳したメッセージを、放音装置から出力する構成であってもよい。また、メッセージ出力モジュール230は、指示者端末100が取得したメッセージがテキスト又は音声のいずれであっても、このメッセージに基づいた代替メッセージを翻訳したメッセージを、共有領域内部又は共有領域外部の何れか又は双方にテキストとして表示するとともに、放音装置から出力する構成であってもよい。
【0082】
図8に基づいて、指示者端末100と被指示者端末200とがメッセージを出力した状態を説明する。
図8は、指示者端末100と被指示者端末200とがメッセージを出力した状態の一例を模式的に示した図である。
図8において、指示者端末100と、被指示者端末200の其々の共有領域を模式的に示している。このとき、指示者端末100が取得したメッセージはテキストであるものとして説明する。また、メッセージは、上述した「ちょっと戻って」であるものとして説明する。また、被指示者は、上述した「被指示者A」であり、この被指示者Aが使用する言語は「英語」であるものとして説明する。なお、
図8において、画像やオブジェクト等の共有対象についての記載は省略している。
【0083】
代替メッセージ出力モジュール135は、取得したメッセージの代替メッセージ500である「少し前の工程に戻ってくれませんか?」を共有領域内に表示する。メッセージ出力モジュール230は、代替メッセージ500を英語に翻訳した翻訳後メッセージ510である「Will you come back to the process a little before?」」を共有領域内に表示する。このとき、取得したメッセージが音声である場合、メッセージ取得モジュール132は、取得したメッセージの代替メッセージ500を音声又はテキストとして出力し、メッセージ出力モジュール230は、この取得したメッセージの代替メッセージ500を英語に翻訳した翻訳後メッセージ510を音声又はテキストとして出力する。
【0084】
なお、メッセージ取得モジュール132は、取得したメッセージがテキスト又は音声のいずれの場合であっても、この代替メッセージ500を、共有領域内に表示するとともに、音声として出力し、メッセージ出力モジュール230は、翻訳後メッセージ510を共有領域内に表示するとともに、音声として出力してもよい。
【0085】
また、代替メッセージ500及び翻訳後メッセージ510の表示場所は、共有領域内であれば適宜変更可能である。また、代替メッセージ500及び翻訳後メッセージ510の表示場所は、共有領域内に限らず、共有領域外であってもよい。
【0086】
このようにすることにより、指示者からの作業内容の指示を被指示者に通知する。
【0087】
以上が、代替メッセージ出力処理である。
【0088】
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される(SaaS:ソフトウェア・アズ・ア・サービス)形態で提供される。また、プログラムは、例えば、フレキシブルディスク、CD(CD-ROMなど)、DVD(DVD-ROM、DVD-RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記録装置又は外部記録装置に転送し記録して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記録装置(記録媒体)に予め記録しておき、その記録装置から通信回線を介してコンピュータに提供するようにしてもよい。
【0089】
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【符号の説明】
【0090】
1 画面共有システム、100 指示者端末、200 被指示者端末