IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヤフー株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-13
(45)【発行日】2024-12-23
(54)【発明の名称】プログラム、表示方法、端末
(51)【国際特許分類】
   H04L 51/04 20220101AFI20241216BHJP
   G06F 3/16 20060101ALI20241216BHJP
【FI】
H04L51/04
G06F3/16 650
【請求項の数】 32
(21)【出願番号】P 2020082496
(22)【出願日】2020-05-08
(65)【公開番号】P2021177321
(43)【公開日】2021-11-11
【審査請求日】2023-04-24
(73)【特許権者】
【識別番号】500257300
【氏名又は名称】LINEヤフー株式会社
(74)【代理人】
【識別番号】110001759
【氏名又は名称】弁理士法人よつ葉国際特許事務所
(74)【代理人】
【識別番号】100093687
【弁理士】
【氏名又は名称】富崎 元成
(74)【代理人】
【識別番号】100168468
【弁理士】
【氏名又は名称】富崎 曜
(74)【代理人】
【識別番号】100166176
【弁理士】
【氏名又は名称】加美山 豊
(72)【発明者】
【氏名】濱窄 亮介
【審査官】小林 義晴
(56)【参考文献】
【文献】特開2015-126524(JP,A)
【文献】米国特許出願公開第2012/0214416(US,A1)
【文献】特開2017-084285(JP,A)
【文献】特開2019-061594(JP,A)
【文献】特開2017-111674(JP,A)
【文献】特開2014-063342(JP,A)
【文献】特開2019-164645(JP,A)
【文献】特開2014-096097(JP,A)
【文献】特開2015-185107(JP,A)
【文献】韓国公開特許第10-2020-0004911(KR,A)
【文献】米国特許出願公開第2018/0293996(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04L 51/00
G06F 3/16
(57)【特許請求の範囲】
【請求項1】
ユーザと、前記ユーザとは異なる第1端末のユーザとを含むチャットルームを表示する前記ユーザの端末によって実行されるプログラムであって、
音情報を前記端末の取得部によって取得することと、
前記取得部によって取得された前記音情報に基づく文字情報が、選択された前記チャットルームに入力され、前記文字情報を含む前記チャットルームを前記端末の表示部に表示することとが前記端末によって実行され
前記文字情報は、選択された前記チャットルームに表示される情報であって前記文字情報を表示するための前記情報に対する、前記端末のユーザによる入力に基づいて、選択された前記チャットルームに表示される。
【請求項2】
請求項1に記載のプログラムであって、
前記文字情報は、選択された前記チャットルームに表示される情報であって前記文字情報を表示するための前記情報に関連付けて表示される。
【請求項3】
請求項1または請求項2に記載のプログラムであって、
選択された前記チャットルームに表示された前記文字情報に対する前記端末のユーザによる入力に基づいて、前記文字情報を修正することに関する処理を前記端末の制御部によって行うことが前記端末によって実行され、
前記文字情報は、修正された前記文字情報に更新されて表示される。
【請求項4】
請求項1から請求項3のいずれか一項に記載のプログラムであって、
前記チャットルームは、前記端末のユーザによる入力に基づいて選択される。
【請求項5】
請求項1から請求項3のいずれか一項に記載のプログラムであって、
前記チャットルームは、前記端末の第1取得部によって取得された第1情報に基づいて選択される。
【請求項6】
請求項に記載のプログラムであって、
前記第1情報は、前記取得部によって取得される音情報を含む。
【請求項7】
請求項に記載のプログラムであって、
前記第1情報は、電子装置から送信される情報を含む。
【請求項8】
請求項に記載のプログラムであって、
前記電子装置は、前記第1端末を含む。
【請求項9】
請求項に記載のプログラムであって、
前記第1情報は、前記端末の撮像部によって撮像された撮像画像の画像情報を含む。
【請求項10】
請求項に記載のプログラムであって、
前記第1情報は、前記端末のユーザのスケジュール情報を含む。
【請求項11】
請求項1から請求項10のいずれか一項に記載のプログラムであって、
前記取得部によって取得された第1音情報に基づく第1文字情報が、選択された前記チャットルームに前記端末のユーザと関連付けて入力され、前記取得部によって取得された第2音情報に基づく第2文字情報が、前記チャットルームに前記第1端末のユーザと関連付けて入力され
前記第1文字情報と前記第2文字情報とは、選択された前記チャットルームに表示される情報であって前記文字情報を表示するための前記情報に対する、前記端末のユーザによる入力に基づいて、選択された前記チャットルームに表示される
【請求項12】
請求項1から請求項11のいずれか一項に記載のプログラムであって、
前記音情報は、前記チャットルームが選択される前に、前記取得部によって取得され、
前記文字情報は、前記チャットルームが選択されたことに基づいて、前記チャットルームに入力される。
【請求項13】
請求項1から請求項10のいずれか一項に記載のプログラムであって、
前記取得部によって第1音情報が取得されたことに基づいて、前記第1音情報に基づく第1文字情報が前記チャットルームに入力され、前記第1文字情報を含む前記チャットルームを前記表示部に表示することと、
前記取得部によって第2音情報が取得されたことに基づいて、前記第2音情報に基づく第2文字情報が前記チャットルームに入力され、前記第2文字情報を含む前記チャットルームを前記表示部に表示することとが前記端末によって実行される。
【請求項14】
請求項1から請求項1のいずれか一項に記載のプログラムであって、
前記文字情報は、チャットサービスの種類に基づく態様で、前記チャットルームに入力される。
【請求項15】
請求項1に記載のプログラムであって、
前記文字情報は、前記チャットサービスの種類に基づく改行位置で改行されて、前記チャットルームに入力される。
【請求項16】
請求項1から請求項1のいずれか一項に記載のプログラムであって、
撮像画像のうちの少なくとも一部の領域を含む画像情報が、前記チャットルームに入力され、前記画像情報を含む前記チャットルームを前記表示部に表示することが前記端末によって実行される。
【請求項17】
請求項1に記載のプログラムであって、
前記文字情報は、前記チャットルームの第1表示領域に表示され、
前記画像情報は、前記チャットルームの第2表示領域に表示される。
【請求項18】
請求項1に記載のプログラムであって、
前記端末のユーザによる入力に基づいて、前記チャットルームにおける前記第1表示領域の位置を変化させる制御を前記端末の制御部によって行うことが前記端末によって実行され、
前記チャットルームにおける前記第2表示領域の位置は、前記端末のユーザによる入力に基づいて変化しない。
【請求項19】
請求項1または請求項1に記載のプログラムであって、
前記画像情報は、動画像の情報であり、
前記端末のユーザによる入力に基づいて、前記動画像を再生する制御を前記端末の制御部によって行うことが前記端末によって実行される。
【請求項20】
請求項1に記載のプログラムであって、
前記端末のユーザによる入力に基づいて、前記文字情報のうちの一部の文字情報である第3文字情報を前記第1表示領域に表示する制御を前記制御部によって行うことと、
前記第1表示領域に表示される前記第3文字情報に基づいて、前記動画像を再生する制御を前記制御部によって行うこととが前記端末によって実行される。
【請求項21】
請求項1から請求項20のいずれか一項に記載のプログラムであって、
前記端末のユーザによる入力は、スクロール操作による入力を含む。
【請求項22】
請求項1から請求項21のいずれか一項に記載のプログラムであって、
前記文字情報は、前記端末のユーザと、前記第1端末のユーザと、第2端末のユーザとを含む第1チャットルームに入力され、少なくとも前記第2端末に対して送信される。
【請求項23】
請求項2に記載のプログラムであって、
前記第2端末に対して送信された文字情報のうちの一部の文字情報である第4文字情報は、前記第2端末の表示部に表示されない。
【請求項24】
請求項2に記載のプログラムであって、
前記第4文字情報は、前記端末のユーザと、前記第1端末のユーザとに基づく許可によって、前記第2端末の表示部に表示される。
【請求項25】
請求項2または請求項2に記載のプログラムであって、
前記第4文字情報は、前記端末、または前記端末と通信するサーバで前記第2端末に関する情報が取得される前に前記取得部によって取得された第3音情報に基づく第5文字情報である。
【請求項26】
請求項2から請求項2のいずれか一項に記載のプログラムであって、
前記第4文字情報は、前記端末、または前記端末と通信するサーバで前記第2端末に関する情報が取得された後に前記取得部によって取得された第4音情報に基づく第6文字情報である。
【請求項27】
請求項2または請求項2に記載のプログラムであって、
前記第2端末に関する情報は、前記第2端末の位置に関する情報を含む。
【請求項28】
請求項27に記載のプログラムであって、
前記第2端末の位置に関する情報は、前記第2端末の位置が所定の範囲に入ったことが検知された場合に取得される情報である。
【請求項29】
請求項2に記載のプログラムであって、
前記第4文字情報は、前記端末のユーザと、前記第1端末のユーザとを含み、前記第2端末のユーザを含まない第2チャットルームに入力され、
前記文字情報のうちの前記第4文字情報を含まない文字情報は、前記第1チャットルームに入力される。
【請求項30】
請求項2に記載のプログラムであって、
前記第2チャットルームから前記第1チャットルームに遷移することと、前記第1チャットルームから前記第2チャットルームに遷移することとが、前記端末と前記第1端末とによって実行され、
前記第1チャットルームから前記第2チャットルームに遷移することは、前記第2端末によって実行されない。
【請求項31】
ユーザと、前記ユーザとは異なる第1端末のユーザとを含むチャットルームを表示する前記ユーザの端末の表示方法であって、
音情報を前記端末の取得部によって取得することと、
前記取得部によって取得された前記音情報に基づく文字情報が、選択された前記チャットルームに入力され、前記文字情報を含む前記チャットルームを前記端末の表示部に表示することとを含み、
前記文字情報は、選択された前記チャットルームに表示される情報であって前記文字情報を表示するための前記情報に対する、前記端末のユーザによる入力に基づいて、選択された前記チャットルームに表示される。
【請求項32】
ユーザと、前記ユーザとは異なる第1端末のユーザとを含むチャットルームを表示する前記ユーザの端末であって、
音情報を取得する取得部と、
前記取得部によって取得された前記音情報に基づく文字情報が、選択された前記チャットルームに入力され、前記文字情報を含む前記チャットルームを表示する表示部とを備え
前記文字情報は、選択された前記チャットルームに表示される情報であって前記文字情報を表示するための前記情報に対する、前記端末のユーザによる入力に基づいて、選択された前記チャットルームに表示される。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム、表示方法、端末に関する。
【背景技術】
【0002】
音認識(例えば音声認識)に関する情報処理システムが知られている(例えば特許文献1。)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2014-206961号公報
【発明の概要】
【0004】
本発明の第1の態様によると、ユーザと、ユーザとは異なる第1端末のユーザとを含むチャットルームを表示するユーザの端末によって実行されるプログラムは、音情報を端末の取得部によって取得することと、取得部によって取得された音情報に基づく文字情報が、選択されたチャットルームに入力され、文字情報を含むチャットルームを端末の表示部に表示することとが端末によって実行される。
本発明の第2の態様によると、ユーザと、ユーザとは異なる第1端末のユーザとを含むチャットルームを表示するユーザの端末の表示方法は、音情報を端末の取得部によって取得することと、取得部によって取得された音情報に基づく文字情報が、選択されたチャットルームに入力され、文字情報を含むチャットルームを端末の表示部に表示することとを含む。
本発明の第3の態様によると、ユーザと、ユーザとは異なる第1端末のユーザとを含むチャットルームを表示するユーザの端末は、音情報を取得する取得部と、取得部によって取得された音情報に基づく文字情報が、選択されたチャットルームに入力され、文字情報を含むチャットルームを表示する表示部とを備える。
【図面の簡単な説明】
【0005】
図1-1】実施形態に係る通信システムの構成の一例を示す図。
図1-2】第1実施例に係る各装置が実行する処理の流れの一例を示すフローチャート。
図2-1】第2実施例に係るサーバの記憶部に記憶される情報の一例を示す図。
図2-2】第2実施例に係るメッセージングアプリケーションユーザ登録データの一例を示す図。
図2-3】第2実施例に係るグループ管理データベースの一例を示す図。
図2-4】第2実施例に係るカレンダー情報管理データベースの一例を示す図。
図2-5】第2実施例に係る端末の記憶部に記憶される情報の一例を示す図。
図2-6】第2実施例に係る端末の表示部に表示される画面の一例を示す図。
図2-7】第2実施例に係る端末の表示部に表示される画面の一例を示す図。
図2-8】第2実施例に係る端末の表示部に表示される画面の一例を示す図。
図2-9】第2実施例に係る端末の表示部に表示される画面の一例を示す図。
図2-10】第2実施例に係る端末の表示部に表示される画面の一例を示す図。
図2-11】第2実施例に係る端末の表示部に表示される画面の一例を示す図。
図2-12】第2実施例に係る端末の表示部に表示される画面の一例を示す図。
図2-13】第2実施例に係る端末の表示部に表示される画面の一例を示す図。
図2-14】第2実施例に係る端末の表示部に表示される画面の一例を示す図。
図2-15】第2実施例に係る端末の表示部に表示される画面の一例を示す図。
図2-16】第2実施例に係る各装置が実行する処理の流れの一例を示すフローチャート。
図3-1】第3実施例に係る端末の表示部に表示される画面の一例を示す図。
図3-2】第3実施例に係る端末の表示部に表示される画面の一例を示す図。
図3-3】第3実施例に係る端末の表示部に表示される画面の一例を示す図。
図3-4】第3実施例に係る端末の表示部に表示される画面の一例を示す図。
図3-5】第3実施例に係る端末の表示部に表示される画面の一例を示す図。
図3-6】第3実施例に係る端末の表示部に表示される画面の一例を示す図。
図3-7】第3実施例に係る端末の表示部に表示される画面の一例を示す図。
図3-8】第3実施例に係る端末の表示部に表示される画面の一例を示す図。
図3-9】第3実施例に係る端末の表示部に表示される画面の一例を示す図。
図3-10】第3実施例に係る各装置が実行する処理の流れの一例を示すフローチャート。
図4-1】第4実施例に係る端末の表示部に表示される画面の一例を示す図。
図4-2】第4実施例に係る端末の表示部に表示される画面の一例を示す図。
図4-3】第4実施例に係る端末の表示部に表示される画面の一例を示す図。
図4-4】第4実施例に係る端末の表示部に表示される画面の一例を示す図。
図4-5】第4実施例に係る各装置が実行する処理の流れの一例を示すフローチャート。
図5-1】第5実施例に係る端末の表示部に表示される画面の一例を示す図。
図6-1】第6実施例に係る表示形式テーブルの一例を示す図。
図7-1】第7実施例に係るカレンダー情報管理データベースの一例を示す図。
図7-2】第7実施例に係る端末の表示部に表示される画面の一例を示す図。
図7-3】第7実施例に係る端末の表示部に表示される画面の一例を示す図。
図7-4】第7実施例に係る端末の表示部に表示される画面の一例を示す図。
図7-5】第4実施例に係る各装置が実行する処理の流れの一例を示すフローチャート。
図7-6】第7変形例に係る端末の表示部に表示される画面の一例を示す図。
図7-7】第7変形例に係る端末の表示部に表示される画面の一例を示す図。
図7-8】第7変形例に係る各装置が実行する処理の流れの一例を示すフローチャート。
【発明を実施するための形態】
【0006】
<法的事項の遵守>
本明細書に記載の開示は、通信の秘密など、本開示の実施に必要な実施国の法的事項遵守を前提とすることに留意されたい。
【0007】
本開示に係るプログラム等を実施するための実施形態について、図面を参照して説明する。
【0008】
本明細書では、適宜「通信I/Fによって」という表現を使用する。これは、装置が、限定ではなく例として、制御部(プロセッサー等)の制御に基づいて、通信I/Fを介して(通信部を介して)、各種の情報やデータを送受信することを示す。
【0009】
<システム構成>
図1-1は、本実施例における通信システム1のシステム構成の一例を示す図である。
通信システム1では、限定ではなく例として、ネットワーク30を介して、サーバ10と、複数の端末20(端末20A,端末20B,端末20C,・・・)とが接続される。
【0010】
サーバ10は、ネットワーク30を介して、ユーザが所有する端末20にメッセージングサービスを提供する機能を有する。サーバ10は、メッセージングサーバやメッセージングサービスサーバ等のように表現することもできる。
【0011】
端末20(端末20A,端末20B,端末20C、・・・)は、各実施例において記載する機能を実現できる情報処理端末であればどのような端末であってもよい。端末20は、限定ではなく例として、スマートフォン、携帯電話(フィーチャーフォン)、コンピュータ(限定でなく例として、デスクトップ、ラップトップ、タブレットなど)、メディアコンピュータプラットホーム(限定でなく例として、ケーブル、衛星セットトップボックス、デジタルビデオレコーダ)、ハンドヘルドコンピュータデバイス(限定でなく例として、PDA・(personal digital assistant)、電子メールクライアントなど)、ウェアラブル端末(メガネ型デバイス、時計型デバイスなど)、VR(Virtual Reality)端末、スマートスピーカ(音声認識用デバイス)、または他種のコンピュータ、またはコミュニケーションプラットホームを含む。また、端末20は情報処理端末と表現されてもよい。
【0012】
端末20A、端末20Bおよび端末20Cの構成は基本的には同一である。また、必要に応じて、ユーザXが利用する端末を端末20Xと表現し、ユーザXまたは端末20Xに対応づけられた、所定のサービスにおけるユーザ情報をユーザ情報Xと表現してもよい。
なお、ユーザ情報とは、所定のサービスにおいてユーザが利用するアカウントに対応付けられたユーザの情報である。ユーザ情報は、限定でなく例として、ユーザにより入力される、または、所定のサービスにより付与される、ユーザの名前、ユーザのアイコン画像、ユーザの年齢、ユーザの性別、ユーザの住所、ユーザの趣味趣向、ユーザの識別子などのユーザに対応づけられた情報を含み、これらのいずれか一つまたは、組み合わせであってもよいし、そうでなくてもよい。
【0013】
ネットワーク30は、1以上の端末20と、1以上のサーバ10とを接続する役割を担う。すなわち、ネットワーク30は、上記の各種の装置が接続した後、データを送受信することができるように接続経路を提供する通信網を意味する。
なお、ネットワーク30に接続されるサーバ10の数や端末20の数は限定されない。
【0014】
ネットワーク30のうちの1つまたは複数の部分は、有線ネットワークや無線ネットワークであってもよいし、そうでなくてもよい。ネットワーク30は、限定ではなく例として、アドホック・ネットワーク(ad hoc network)、イントラネット、エクストラネット、仮想プライベート・ネットワーク(virtual private network:VPN)、ローカル・エリア・ネットワーク(local area network:LAN)、ワイヤレスLAN(wireless LAN:WLAN)、広域ネットワーク(wide area network:WAN)、ワイヤレスWAN(wireless WAN:WWAN)、大都市圏ネットワーク(metropolitan area network:MAN)、インターネットの一部、公衆交換電話網(Public Switched Telephone Network:PSTN)の一部、携帯電話網、ISDN(integrated service digital networks)、無線LAN、LTE(long term evolution)、CDMA(code division multiple access)、ブルートゥース(Bluetooth(登録商標))、衛星通信など、または、これらの2つ以上の組合せを含むことができる。ネットワーク30は、1つまたは複数のネットワーク30を含むことができる。
【0015】
サーバ10(限定ではなく、サーバ、情報処理装置、情報管理装置の一例)は、端末20に対して、所定のサービス(本実施例ではメッセージングサービス)を提供する機能を備える。サーバ10は、各実施形態において記載する機能を実現できる情報処理装置であればどのような装置であってもよい。サーバ10は、限定ではなく例として、サーバ装置、コンピュータ(限定ではなく例として、デスクトップ、ラップトップ、タブレットなど)、メディアコンピュータプラットホーム(限定ではなく例として、ケーブル、衛星セットトップボックス、デジタルビデオレコーダ)、ハンドヘルドコンピュータデバイス(限定ではなく例として、PDA、電子メールクライアントなど)、あるいは他種のコンピュータ、またはコミュニケーションプラットホームを含む。また、サーバ10は情報処理装置と表現されてもよい。サーバ10と端末20とを区別する必要がない場合は、サーバ10と端末20とは、それぞれ情報処理装置と表現されてもよいし、されなくてもよい。
【0016】
[各装置のハードウェア(HW)構成]
通信システム1に含まれる各装置のHW構成について説明する。
【0017】
(1)端末のHW構成
図1-1には、端末20のHW構成の一例を示している。
端末20は、制御部21(CPU:central processing unit(中央処理装置))、記憶部28、通信I/F22(インタフェース)、入出力部23、時計部29A、位置算出用情報検出部29Bを備える。端末20のHWの各構成要素は、限定ではなく例として、バスBを介して相互に接続される。なお、端末20のHW構成として、すべての構成要素を含むことは必須ではない。限定ではなく例として、端末20は、個々の構成要素、または複数の構成要素を取り外すような構成であってもよいし、そうでなくてもよい。
【0018】
通信I/F22は、ネットワーク30を介して各種データの送受信を行う。通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信I/F22は、ネットワーク30を介して、サーバ10等の各種装置との通信を実行する機能を有する。通信I/F22は、各種データを制御部21からの指示に従って、サーバ10等の各種装置に送信する。また、通信I/F22は、サーバ10等の各種装置から送信された各種データを受信し、制御部21に伝達する。また、通信I/F22を単に通信部と表現する場合もある。また、通信I/F22が物理的に構造化された回路で構成される場合には、通信回路と表現する場合もある。
【0019】
入出力部23は、端末20に対する各種操作を入力する装置、および、端末20で処理された処理結果を出力する装置を含む。入出力部23は、入力部と出力部が一体化していてもよいし、入力部と出力部に分離していてもよいし、そうでなくてもよい。
【0020】
入力部は、ユーザからの入力を受け付けて、入力に係る情報を制御部21に伝達できる全ての種類の装置のいずれかまたはその組み合わせにより実現される。入力部は、限定ではなく例として、タッチパネル、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ(動画像を介した操作入力)、マイク(音声による操作入力)を含む。
【0021】
出力部は、制御部21で処理された処理結果を出力することができる全ての種類の装置のいずれかまたはその組み合わせにより実現される。出力部は、限定ではなく例として、 タッチパネル、タッチディスプレイ、スピーカ(音声出力)、レンズ(限定ではなく例として3D(three dimensions)出力や、ホログラム出力)、プリンターなどを含む。
【0022】
一実施形態として、入出力部23は、限定ではなく例として、表示部24、音入力部25、音出力部26、撮像部27を備える。
【0023】
表示部24は、フレームバッファに書き込まれた表示データに従って、表示することができる全ての種類の装置のいずれかまたはその組み合わせにより実現される。表示部24は、限定ではなく例として、タッチパネル、タッチディスプレイ、モニタ(限定ではなく例として、液晶ディスプレイやOELD(organic electroluminescence display))、ヘッドマウントディスプレイ(HDM:Head Mounted Display)、プロジェクションマッピング、ホログラム、空気中など(真空であってもよいし、そうでなくてもよい)に画像やテキスト情報等を表示可能な装置を含む。なお、これらの表示部24は、3Dで表示データを表示可能であってもよいし、そうでなくてもよい。
【0024】
音入力部25は、音データ(音声データを含む。以下同様。)の入力に利用される。音入力部25は、マイクなどを含む。
音出力部26は、音データの出力に利用される。音出力部26は、スピーカなどを含む。
撮像部27は、動画像データの取得に利用される。撮像部27は、カメラなどを含む。
【0025】
入出力部23がタッチパネルの場合、入出力部23と表示部24とは、略同一の大きさおよび形状で対向して配置されていてもよい。
【0026】
時計部29Aは、端末20の内蔵時計であり、時刻情報(計時情報)を出力する。時計部29Aは、限定ではなく例として、水晶発振器を利用したクロック等を有して構成される。時計部29Aは、限定ではなく例として、計時部や時刻情報検出部と表現することもできる。
【0027】
なお、時計部29Aは、NITZ(Network Identity and Time Zone)規格等を適用したクロックを有していてもよいし、有していなくてもよい。
【0028】
位置算出用情報検出部29Bは、制御部21が自己の端末20の位置を算出(測定)するために必要な情報(以下、「位置算出用情報」と称する。)を検出(計測)する機能部である。位置算出用情報検出部29Bは、限定ではなく例として、位置算出用センサ部と表現することもできる。
【0029】
位置算出用情報検出部29Bは、限定ではなく例として、GPS(Global Positioning System)等の衛星測位システムを利用して端末20の位置を算出するためのセンサやユニットである衛星測位センサ(衛星測位ユニット)や、慣性航法システムを利用して端末20の位置を算出するためのセンサやユニットである慣性計測センサ(慣性計測ユニット(IMU(Inertial Measurement Unit)))、UWB(超広帯域無線:Ultra Wide Band)を利用して端末20の位置を算出するためのセンサやユニットであるUWB測位センサ(UWB測位ユニット)等を含む。
【0030】
衛星測位ユニットは、限定ではなく例として、不図示のアンテナで受信される測位用衛星から発信されている測位用衛星信号を含むRF(Radio Frequency)信号をデジタル信号に変換するRF受信回路や、RF受信回路から出力されるデジタル信号に対して相関演算処理等を行って測位用衛星信号を捕捉し、測位用衛星信号から取り出した衛星軌道データや時刻データ等の情報を、位置算出用情報として出力するベースバンド処理回路等を有する。
【0031】
慣性計測ユニットは、慣性航法演算によって端末20の位置を算出するために必要な情報を検出するセンサである慣性センサを有する。慣性センサには、限定ではなく例として、3軸の加速度センサや3軸のジャイロセンサが含まれ、加速度センサによって検出された加速度と、ジャイロセンサによって検出された角速度とを、位置算出用情報として出力する。
【0032】
UWB測位ユニットは、限定ではなく例として、不図示のアンテナで受信される測位用ビーコンから発信されている測位用超広帯域パルス信号を含む超広帯域RF(Radio Frequency)信号をデジタル信号に変換する超広帯域RF受信回路や、超広帯域RF受信回路から出力されるデジタル信号に基づいて端末20と測位用ビーコンとの相対位置を算出する相対位置算出処理回路等を有する。
なお、限定ではなく例として、UWB測位ユニットは、不図示のアンテナから測位用超広帯域パルス信号を含む超広帯域RF信号を送信することで、端末20を測位用ビーコンとして機能させてもよいし、そうしなくてもよい。
【0033】
制御部21は、限定ではなく例として、位置算出用情報検出部29Bによって検出された位置算出用情報に基づいて、定期的なタイミングや特定のタイミングで、自己の端末20の位置を算出する。端末の位置を「端末位置」と称し、算出された端末位置を「算出端末位置」と称する。そして、制御部21は、算出端末位置を、その算出端末位置を算出した日時と関連付けて、算出端末位置履歴データとして記憶部28に記憶させる。
【0034】
制御部21は、プログラム内に含まれたコードまたは命令によって実現する機能を実行するために物理的に構造化された回路を有し、限定ではなく例として、ハードウェアに内蔵されたデータ処理装置により実現される。そのため、制御部21は、制御回路と表現されてもよいし、されなくてもよい。
【0035】
制御部21は、限定ではなく例として、中央処理装置(CPU)、マイクロプロセッサ(microprocessor)、プロセッサコア(processor core)、マルチプロセッサ(multiprocessor)、ASIC(application-specific integrated circuit)、FPGA(field programmable gate array)を含む。
【0036】
記憶部28は、端末20が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。記憶部28は、限定ではなく例として、HDD(hard disk drive)、SSD(solid state drive)、フラッシュメモリ、RAM(random access memory)、ROM(read only memory)など各種の記憶媒体を含む。また、記憶部28は、メモリ(memory)と表現されてもよいし、されなくてもよい。
【0037】
端末20は、プログラムPを記憶部28に記憶し、このプログラムPを実行することで、制御部21が、制御部21に含まれる各部としての処理を実行する。つまり、記憶部28に記憶されるプログラムPは、端末20に、制御部21が実行する各機能を実現させる。また、このプログラムPは、プログラムモジュールと表現されてもよいし、されなくてもよい。
【0038】
(2)サーバのHW構成
図1-1には、サーバ10のHW構成の一例を示している。
サーバ10は、制御部11(CPU)、記憶部15、通信I/F14(インタフェース)、入出力部12、時計部19を備える。サーバ10のHWの各構成要素は、限定ではなく例として、バスBを介して相互に接続される。なお、サーバ10のHWは、サーバ10のHWの構成として、全ての構成要素を含むことは必須ではない。限定ではなく例として、サーバ10のHWは、個々の構成要素、または複数の構成要素を取り外すような構成であってもよいし、そうでなくてもよい。
【0039】
制御部11は、プログラム内に含まれたコードまたは命令によって実現する機能を実行するために物理的に構造化された回路を有し、限定ではなく例として、ハードウェアに内蔵されたデータ処理装置により実現される。
【0040】
制御部11は、代表的には中央処理装置(CPU)、であり、その他にマイクロプロセッサ、プロセッサコア、マルチプロセッサ、ASIC、FPGAであってもよいし、そうでなくてもよい。本開示において、制御部11は、これらに限定されない。
【0041】
記憶部15は、サーバ10が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。記憶部15は、HDD、SSD、フラッシュメモリなど各種の記憶媒体により実現される。ただし、本開示において、記憶部15は、これらに限定されない。また、記憶部15は、メモリ(memory)と表現されてもよいし、されなくてもよい。
【0042】
通信I/F14は、ネットワーク30を介して各種データの送受信を行う。通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信I/F14は、ネットワーク30を介して、端末20等の各種装置との通信を実行する機能を有する。通信I/F14は、各種データを制御部11からの指示に従って、端末20等の各種装置に送信する。また、通信I/F14は、端末20等の各種装置から送信された各種データを受信し、制御部11に伝達する。また、通信I/F14を単に通信部と表現する場合もある。また、通信I/F14が物理的に構造化された回路で構成される場合には、通信回路と表現する場合もある。
【0043】
入出力部12は、サーバ10に対する各種操作を入力する装置により実現される。
入力部は、ユーザからの入力を受け付けて、入力に係る情報を制御部11に伝達できる全ての種類の装置のいずれかまたはその組み合わせにより実現される。入力部は、代表的にはキーボード等に代表されるハードウェアキーや、マウス等のポインティングデバイスで実現される。なお、入力部は、限定ではなく例として、タッチパネルやカメラ(動画像を介した操作入力)、マイク(音声による操作入力)を含んでいてもよいし、そうでなくてもよい。
【0044】
出力部は、制御部11で処理された処理結果を出力することができる全ての種類の装置のいずれかまたはその組み合わせにより実現される。出力部は、限定ではなく例として、 タッチパネル、タッチディスプレイ、スピーカ(音声出力)、レンズ(限定ではなく例として3D(three dimensions)出力や、ホログラム出力)、プリンターなどを含む。
【0045】
一次実施形態として、入出力部12は、表示部13を備える。
【0046】
表示部13は、代表的にはモニタ(限定ではなく例として、液晶ディスプレイやOELD(organic electroluminescence display))で実現される。なお、表示部13は、ヘッドマウントディスプレイ(HDM)などであってもよいし、そうでなくてもよい。なお、これらの表示部13は、3Dで表示データを表示可能であってもよいし、そうでなくてもよい。本開示において、表示部13は、これらに限定されない。
【0047】
時計部19は、サーバ10の内蔵時計であり、時刻情報(計時情報)を出力する。時計部19は、限定ではなく例として、ハードウェアクロックとしてのRTC(Real Time Clock)やシステムクロック等を有して構成される。時計部19は、限定ではなく例として、計時部や時刻情報検出部と表現することもできる。
【0048】
(3)その他
サーバ10は、プログラムPを記憶部15に記憶し、このプログラムPを実行することで、制御部11が、制御部11に含まれる各部としての処理を実行する。つまり、記憶部15に記憶されるプログラムPは、サーバ10に、制御部11が実行する各機能を実現させる。このプログラムPは、プログラムモジュールと表現されてもよいし、されなくてもよい。
他の装置についても同様である。
【0049】
本開示の各実施形態においては、端末20および/またはサーバ10のCPUがプログラムPを実行することにより、実現するものとして説明する。
他の装置についても同様である。
【0050】
なお、端末20の制御部21、および/または、サーバ10の制御部11は、制御回路を有するCPUだけでなく、集積回路(IC(Integrated Circuit)チップ、LSI(Large Scale Integration))等に形成された論理回路(ハードウェア)や専用回路によって各処理を実現してもよいし、そうでなくてもよい。また、これらの回路は、1または複数の集積回路により実現されてよく、各実施形態に示す複数の処理を1つの集積回路により実現されることとしてもよいし、そうでなくてもよい。また、LSIは、集積度の違いにより、VLSI、スーパーLSI、ウルトラLSIなどと呼称されることもある。そのため、制御部21は、制御回路と表現されてもよいし、されなくてもよい。
他の装置についても同様である。
【0051】
また、本開示の各実施形態のプログラムP(限定ではなく例として、ソフトウェアプログラム、コンピュータプログラム、またはプログラムモジュール)は、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよいし、されなくてもよい。 記憶媒体は、「一時的でない有形の媒体」に、プログラムPを記憶可能である。また、プログラムPは、本開示の各実施形態の機能の一部を実現するためのものであってもよいし、そうでなくてもよい。さらに、本開示の各実施形態の機能を記憶媒体にすでに記録されているプログラムPとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよいし、そうでなくてもよい。
【0052】
記憶媒体は、1つまたは複数の半導体ベースの、または他の集積回路(IC)(限定ではなく例として、フィールド・プログラマブル・ゲート・アレイ(FPGA)または特定用途向けIC(ASIC)など)、ハード・ディスク・ドライブ(HDD)、ハイブリッド・ハード・ドライブ(HHD)、光ディスク、光ディスクドライブ(ODD)、光磁気ディスク、光磁気ドライブ、フロッピィ・ディスケット、フロッピィ・ディスク・ドライブ(FDD)、磁気テープ、固体ドライブ(SSD)、RAMドライブ、セキュア・デジタル・カード、またはドライブ、任意の他の適切な記憶媒体、またはこれらの2つ以上の適切な組合せを含むことができる。記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性の組合せでよい。なお、記憶媒体はこれらの例に限られず、プログラムPを記憶可能であれば、どのようなデバイスまたは媒体であってもよい。また、記憶媒体をメモリ(memory)と表現されてもよいし、されなくてもよい。
【0053】
サーバ10および/または端末20は、記憶媒体に記憶されたプログラムPを読み出し、読み出したプログラムPを実行することによって、各実施形態に示す複数の機能部の機能を実現することができる。
他の装置についても同様である。
【0054】
また、本開示のプログラムPは、プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して、サーバ10および/または端末20に提供されてもよいし、されなくてもよい。サーバ10および/または端末20は、限定ではなく例として、インターネット等を介してダウンロードしたプログラムPを実行することにより、各実施形態に示す複数の機能部の機能を実現する。
他の装置についても同様である。
【0055】
また、本開示の各実施形態は、プログラムPが電子的な伝送によって具現化されたデータ信号の形態でも実現され得る。
サーバ10および/または端末20における処理の少なくとも一部は、1以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよいし、そうでなくてもよい。
端末20における処理の少なくとも一部を、サーバ10により行う構成としてもよいし、そうでなくてもよい。この場合、端末20の制御部21の各機能部の処理のうち少なくとも一部の処理を、サーバ10で行う構成としてもよいし、そうでなくてもよい。
サーバ10における処理の少なくとも一部を、端末20により行う構成としてもよいし、そうでなくてもよい。この場合、サーバ10の制御部11の各機能部の処理のうち少なくとも一部の処理を、端末20で行う構成としてもよいし、そうでなくてもよい。
明示的な言及のない限り、本開示の実施形態における判定の構成は必須でなく、判定条件を満たした場合に所定の処理が動作されたり、判定条件を満たさない場合に所定の処理がされたりしてもよいし、そうでなくてもよい。
【0056】
なお、本開示のプログラムは、限定ではなく例として、ActionScript、JavaScript(登録商標)などのスクリプト言語、Objective-C、Java(登録商標)などのコンパイラ言語、HTML5などのマークアップ言語などを用いて実装される。
【0057】
<実施例>
限定ではなく例として、同じ部門に属する仲間同士といったグループの複数のユーザが、限定ではなく例として、現実世界(オフライン)で集まって会議や会合を行い、その会議や会合で議論される内容をオンラインで共有したい場合がある。
この場合、限定ではなく例として、現実世界での会議や会合における音声データに基づいて音声認識を実行し、文章等の閲覧・検索が容易なデータに変換したうえで、他のユーザとその文章等のデータを共有するシステムが望まれる。
以下、これを実現するための実施例について説明する。
【0058】
本明細書では、インスタントメッセージングサービス(IMS)を含むメッセージングサービス(MS:Messaging Service)を実現するためのメッセージングアプリケーションを利用して、限定ではなく例として、会議や会合の音声データを文章化したデータ(以下、「議事録データ」と称する。)を共有する例を示す。以下では、メッセージングサービスを介して議事録データをやりとりするサービスを、「議事録サービス」と呼称する。
【0059】
また、以下では、メッセージングサービス事業者によって、サーバ10が運用・管理されることとして説明する。また、以下では、メッセージングアプリケーションの名称を、適宜「Messaging App」と称して図示・説明する。
【0060】
本明細書において、「コンテンツ」とは、メッセージングサービスにおいて複数の端末20間で送受信される単純なテキストや絵文字等を含むメッセージの他、限定ではなく例として、画像情報(静止画像、動画像等を含む。)、操作用情報(ボタン、アイコン等を含む。)、通信用情報・リンク情報(URI、URL等を含む。)など、端末20間で送受信可能な各種の情報を含む。
【0061】
「チャットルーム」とは、コンピュータネットワーク上のデータ通信回線を用いて端末20の1以上のユーザがコミュニケーションを行うための仮想的な部屋である。
限定ではなく例として、チャットルームにおいてメッセージングサービスを利用してコンテンツをやり取りする場合、チャットルームは「トークルーム」であるとも言える。
【0062】
トークルームには、限定ではなく例として、一対一でユーザがトークを行うためのトークルームの他、メッセージングサービスにおいて形成された複数のユーザを含むグループでトークを行うためのグループトークルームが含まれる。
【0063】
また、メッセージングサービスには、端末20間での簡単なメッセージ等のコンテンツの送受信を可能とするインスタントメッセージングサービス(IMS:Instant Messaging Service)を含めてもよいし、含めなくてもよい。
【0064】
なお、メッセージングサービス:MS(IMSを含む。)は、ソーシャルネットワーキングサービス:SNSの1つの形態(一形態)と考えることもできる。
このため、MSとSNSとは区別してもよいし、区別しなくてもよい。
【0065】
また、以下では、端末20Aのユーザを「ユーザA.A」、端末20Bのユーザを「ユーザB.B」、端末20Cのユーザを「ユーザC.C」、・・・、として説明する。
【0066】
また、メッセージングアプリケーションは、いわゆるスケジュール管理サービスの機能を有さない単体のアプリケーションとしてサーバ10によって提供されるようにしてもよいし、スケジュール管理サービスの機能を有する複合的なアプリケーションとしてサーバ10によって提供されるようにしてもよい。
【0067】
また、以下説明する実施例では、本開示における文字情報として、議事録に含まれる文字の情報(文字のデータ)を例示する。
ただし、本開示における文字情報は、文字の情報に限定されるわけではなく、この他にも、限定ではなく例として、記号、コンテンツ、画像の情報など、一般的にチャットルームに表示させることが可能な情報も、本開示における文字情報に含めることができる。
【0068】
議事録サービスを実現するために議事録データを作成・共有する手法としては、大きく分けて、以下の2つの手法が考えられる。以下の実施例では、それぞれの手法について説明する。
(1)サーバ10で音声認識を実行し、議事録データを作成する手法
(2)端末20で音声認識を実行し、議事録データを作成する手法
【0069】
また、議事録データを作成・共有するタイミングとしては、大きく分けて、以下の3つの手法が考えられる。
(A)会議・会合が終わった後で議事録データを作成・共有
(B)会議・会合が始まる前に議事録データを作成・共有する設定を行い、会議・会合中にリアルタイムで議事録データを作成・共有
(C)会議・会合が始まる前に議事録データを作成・共有する設定を行い、会議・会合が終わった後で議事録データを作成・共有
【0070】
<第1実施例>
第1実施例は、上記の(2)の手法による実施例である。
第1実施例は、議事録サービスにおいて、限定ではなく例として、メッセージングアプリケーションが動作する端末20において音データ(限定ではなく例として、音声データ。以下同様。)を取得し、その音データに基づいて、文字データを含む議事録データを作成する。そして、作成された議事録データをメッセージングアプリケーションのチャットルーム(限定ではなく例として、トークルーム)に表示する。
第1実施例に記載の内容は、他の各実施例や他の各変形例のいずれにも適用可能である。
【0071】
本実施例では、チャットルームには、限定ではなく例として、端末20AのユーザA.Aと、端末20A以外の端末20のユーザ、限定ではなく例として、端末20BのユーザB.Bとが、少なくとも参加していることとする。
【0072】
<処理>
図1-2は、本実施例において端末20の制御部21が実行する処理の流れの一例を示すフローチャートである。
このフローチャートは、端末20Aの制御部21が実行する処理の一例である。
【0073】
以下説明する処理は、あくまでも本開示の手法を実現するための処理の一例に過ぎず、これらの処理に限定されるものではない。
以下説明する処理に、別のステップを追加してもよいし、一部のステップを省略(削除)してもよい。
これは、以下説明する各フローチャート(処理)について同様である。
【0074】
まず、端末20Aの制御部21は、音入力部25に対する入力を受け付け、限定ではなく例として、ユーザの対話内容を含む音声データを取得する(A100)。
【0075】
なお、音声データには、ユーザの対話内容である音声以外にも、限定ではなく例として、ベルが「リンリン」という音をたてて鳴る音や、犬が「ワンワン」と鳴く音等のデータを含めてもよいし、含めなくてもよい。つまり、人間の音声以外の音のデータを音声データに含めてもよいし、含めなくてもよい。
また、人間の音声のデータと、それ以外の音のデータとを区別してもよいし、区別しなくてもよい。
【0076】
次に、端末20Aの制御部21は、取得した音声データに対して、限定ではなく例として、音声認識処理を実行する。そして、端末20Aの制御部21は、音声認識処理の結果に基づいて、音声データを文字(文章)データである議事録データに変換する(A120)。この処理は、音情報から文字情報である議事録データを生成する処理といえる。
【0077】
なお、音声認識処理は、発話内容を文字列に変換することに限定されない。限定ではなく例として、ベルが鳴る音を「リンリン」という文字に、犬が鳴く音を「ワンワン」という文字に変換する擬音語(擬声語)変換処理を音声認識処理に含めてもよいし、含めなくてもよい。
【0078】
また、議事録データ変換処理において、音声データに対して話者認識処理を行い、話者認識結果に基づいて、文字データと話者データとが紐付けられた議事録データを生成するようにしてもよいし、そうしなくてもよい。
【0079】
すると、端末20Aの制御部21は、変換(生成)された議事録データを、メッセージングアプリケーションの、限定ではなく例として、ユーザA.AとユーザB.Bとを含むチャットルーム(トークルーム)に追加して入力する(A160)。すなわち、議事録データに含まれる文字データが、複数のユーザ間において、メッセージングアプリケーションのチャットルームによって共有される。
【0080】
最後に、端末20Aの制御部21は、チャットルームに入力された議事録データを表示部24に表示させる(A180)。そして、端末20Aの制御部21は、処理を終了する。
【0081】
<第1実施例の効果>
第1実施例は、ユーザA.A(限定ではなく、端末のユーザの一例)と、ユーザB.B(限定ではなく、端末のユーザとは異なる第1端末のユーザの一例)とを含むチャットルームを表示する端末20A(限定ではなく、端末の一例)が、音声データ、音声に関する情報(限定ではなく、音情報の一例)を音入力部25(限定ではなく、端末の取得部の一例)によって取得する。そして、取得された音声データに基づく議事録データ(限定ではなく、文字情報の一例)が、選択されたユーザA.AとユーザB.Bとを含むチャットルーム(限定ではなく、選択さされたチャットルームの一例)に入力され、議事録データを含むチャットルームを端末20Aの表示部24(限定ではなく、端末の表示部の一例)に表示する構成を示している。
このような構成により得られる実施例の効果の一例として、端末のユーザと、第1端末のユーザとは、チャットルームに表示する音情報に基づく文字情報を共有することができる。その結果、複数のユーザが音情報に基づく文字情報を参照することが可能となり、ユーザの利便性を向上させることができる。
また、端末のユーザと、第1端末のユーザとは、音情報より一覧性に優れる文字情報を閲覧することができる。その結果、端末のユーザは必要な情報を的確に得ることが可能となり、ユーザの利便性を向上させることができる。
【0082】
<第1変形例(1)>
第1実施例では、上記の(2)の手法を適用し、音声データに基づいて、端末20で議事録データ変換処理を実行し、議事録データを作成することとしたが、これに限定されない。
限定ではなく例として、上記の(1)の手法を適用するようにすることもできる。
【0083】
この場合、限定ではなく例として、端末20の制御部21は、図1-2のA100のステップを実行すると、取得した音声データを通信I/F22によってサーバ10へ送信する。
すると、サーバ10の制御部11は、受信した音声データに基づいて、議事録データ変換処理を実行する。そして、サーバ10の制御部11は、生成された議事録データを通信I/F14によって端末20に送信する。
【0084】
このような構成により得られる変形例の効果の一例として、計算コストが大きい音声認識処理等を含む議事録データ変換処理を、端末の制御部に比べて熱設計電力等の制約が小さいサーバの制御部で実行させることができる。これにより、処理の高速化を実現することができる。また、端末におけるバッテリーの消耗を防ぐことができる。
【0085】
<第1変形例(2)>
第1実施例では、議事録データをチャットルームに追加(入力)することが端末20によって実行されていたが、これに限定されない。限定ではなく例として、サーバ10でチャットルームに追加してもよいし、そうしなくてもよい。
【0086】
この場合、限定ではなく例として、端末20の制御部21は、図1-2のA120のステップを実行すると、議事録データを通信I/F22によってサーバ10に送信する。また、端末20の制御部21は、限定ではなく例として、ユーザの入出力部23に対する入力に基づいて、議事録データを追加するチャットルームを指定するための議事録投稿先選択情報を取得する。そして、端末20の制御部21は、議事録投稿先選択情報を通信I/F22によってサーバ10へ送信する。
【0087】
すると、サーバ10の制御部11は、受信した議事録データと議事録投稿先選択情報とに基づいて、議事録データをチャットルームに追加(入力)する。そして、サーバ10の制御部11は、議事録データが入力されたチャットルームのコンテンツを通信I/F14によって端末20に送信する。その後、端末20は、図1-2のA180のステップを実行する。
【0088】
なお、第1変形例(1)で説明したようにサーバ10で議事録データを生成する場合、端末20はサーバ10に議事録投稿先選択情報のみを送信すればよい。
【0089】
本変形例は、チャットルームは、端末のユーザによる入力(議事録投稿先選択情報)に基づいて選択される構成を示している。
このような構成により得られる変形例の効果の一例として、ユーザが任意のチャットルームを文字情報の入力先として指定できる。これにより、ユーザの利便性を向上させることができる。
【0090】
<第2実施例>
第2実施例は、上記の(A)のタイミングに関する(1)の手法による実施例である。
第2実施例では、議事録サービスにおいて、端末20の制御部21は、端末20の記憶部28に記憶された音声データをサーバ10に送信する。サーバ10の制御部11は、受信した音声データに基づいて議事録データを作成すると、議事録データを端末20に送信する。
以下では、第2実施例による方法を「バッチ追加モード」と呼称する。
第2実施例に記載の内容は、他の各実施例や他の各変形例のいずれにも適用可能である。
【0091】
<データ構成>
(1)サーバ
図2-1は、本実施例においてサーバ10の記憶部15に記憶される情報の一例を示す図である。
記憶部15には、限定ではなく例として、制御部11によって読み出され、メッセージングアプリケーション管理処理として実行されるMS管理処理プログラム151と、制御部11によって読み出され、音声データ認識処理として実行される音声認識プログラム153と、MSユーザ登録データ155と、グループ管理データベース157と、カレンダー情報管理データベース159とが記憶される。
【0092】
MSユーザ登録データ155は、メッセージングアプリケーションを利用する端末20、またはその端末20のユーザに関する登録データであり、そのデータ構成の一例を図2-2に示す。
MSユーザ登録データ155には、限定ではなく例として、ユーザ名と、MSアプリケーションIDと、端末電話番号と、その他登録情報とが関連付けて記憶される。
【0093】
ユーザ名は、メッセージングアプリケーションを利用する端末20のユーザの名称であり、限定ではなく例として、端末20のユーザがメッセージングアプリケーションを利用する際に登録する名称が記憶される。
【0094】
MSアプリケーションIDは、メッセージングアプリケーションのアカウントを識別するために用いられる情報、またはアカウントそのものである。このMSアプリケーションIDは、好ましくはアカウントごとに一意な値であり、限定ではなく例として、サーバ10によってアカウントごとに一意な値(固有の値)が設定されて記憶される。MSアプリケーションIDは、端末20、またはその端末20のユーザに関連付けられた情報であり、端末に関する情報、または端末のユーザに関する情報の一例である。
【0095】
端末電話番号は、このユーザ名のユーザの端末20の電話番号であり、限定ではなく例として、端末20のユーザがメッセージングアプリケーションを利用する際に登録する端末20の電話番号が記憶される。
【0096】
その他登録情報には、限定ではなく例として、端末20のID:端末ID(限定ではなく例として、IMEI(International Mobile Equipment Identity))、このユーザ名のユーザの端末20のメールアドレス(端末メールアドレス)、メッセージングアプリケーションにおける各種の認証に利用されるパスワード(ログインパスワード、認証パスワードを)等の認証情報等の情報を含めるようにすることができる。
【0097】
なお、端末20を識別するための識別情報は、限定ではなく例として、端末IDとすることができる。
また、端末20のユーザを識別するための識別情報は、限定ではなく例として、MSアプリケーションIDとすることができる。なお、これを「ユーザID」としてもよいし、しなくてもよい。
【0098】
また、1つの端末20につき1つのアカウントしか登録することのできないアプリケーションであれば、限定ではなく例として、「端末20を識別するための識別情報=端末20のユーザを識別するための識別情報=MSアプリケーションID」とすることができる。
【0099】
なお、限定ではなく例として、1つのユーザIDに、複数の端末IDを割り当てることを可能としてもよいし、そのようにしなくてもよい。
【0100】
グループ管理データベース157は、メッセージングサービスにおいて、ユーザによって作成されるグループに関する情報を管理するためのデータを蓄積的に記憶したデータベースであり、そのデータ構成の一例を図2-3に示す。
【0101】
グループ管理データベース157には、グループごとの管理データとして、グループ管理データが記憶される。
各々のグループ管理データには、限定ではなく例として、グループIDと、グループ名と、グループメンバーデータとが記憶される。
【0102】
グループIDは、グループを識別するための識別情報として機能するIDである。このグループIDは、限定ではなく例として、サーバ10によってグループごとに固有のIDが設定されて記憶される。
【0103】
グループ名は、そのグループIDによって識別されるグループの名称である。
【0104】
グループメンバーデータは、そのグループに属するメンバー(ユーザ)に関するデータであり、限定ではなく例として、そのグループに属するメンバーの情報であるMSアプリケーションIDとユーザ名とが関連付けて記憶される。
【0105】
カレンダー情報管理データベース159は、メッセージングアプリケーションと連携して機能するスケジュール管理アプリケーションに関する情報の管理用のデータベースである。本実施例において、スケジュール管理アプリケーションサービスは、限定ではなく例として、メッセージングアプリケーションのサーバ10と同じサーバで提供されることとして説明する。
【0106】
なお、スケジュール管理アプリケーションサービスは、サーバ10とは異なるサーバで提供されることとしてもよいし、そうしなくてもよい。
また、メッセージングアプリケーションにおける機能の一つとしてスケジュール管理機能を有することとしてもよい。
なお、カレンダー情報管理データベース159を、本実施例の構成から除外してもよい。
【0107】
本実施例におけるカレンダー情報管理データベース159の一例であるカレンダー情報管理データベース159Aのデータ構成例を図2-4に示す。
カレンダー情報管理データベース159Aには、スケジュール管理アプリケーションのカレンダーに登録されるイベントごとの管理データとして、カレンダー情報管理データが記憶される。
【0108】
各々のカレンダー情報管理データには、限定ではなく例として、イベントIDと、MSアプリケーションIDと、イベント名と、イベント開始日時と、イベント終了日時と、イベント開催場所と、関連URIと、招待者データとが記憶される。
【0109】
イベントIDは、イベントを識別するための識別情報として機能するIDである。このイベントIDは、限定ではなく例として、サーバ10によってイベントごとに固有のIDが設定されて記憶される。
【0110】
MSアプリケーションIDは、そのイベントの登録者を識別するための識別情報として機能するIDである。このMSアプリケーションIDには、限定ではなく例として、メッセージングアプリケーションの識別情報が用いられる。
【0111】
イベント名は、そのイベントIDによって識別されるイベントの名称である。
【0112】
イベント開始日時は、そのイベントIDによって識別されるイベントが開始される予定の日時である。
【0113】
イベント終了日時は、そのイベントIDによって識別されるイベントが終了する予定の日時である。
【0114】
イベント開催場所は、そのイベントIDによって識別されるイベントが執り行われる予定の開催場所の名称である。
なお、イベント開催場所は、開催場所の名称とともに、限定ではなく例として、緯度と経度とで識別可能な位置情報を付加して記憶されるようにしてもよいし、そうしなくてもよい。
【0115】
関連URI(Uniform Resource Identifier)は、そのイベントIDによって識別されるイベントに関する資料などの情報が保存されている、限定ではなく例として、インターネット経由でアクセス可能なリソース(ファイル)を識別するための情報である。
【0116】
招待者データには、そのイベントIDによって識別されるイベントに招待されるユーザの情報として、限定ではなく例として、MSアプリケーションIDと、ユーザ名とが関連付けて記憶される。限定ではなく例として、イベント登録者のスケジュール管理アプリケーションに対する操作入力に基づいて、招待者データには、そのイベントに招待されるユーザ情報(MSアプリケーションID・ユーザ名)が追加され記憶される。すると、招待者データに登録されたユーザに対して、このカレンダー情報管理データが共有される。
【0117】
なお、そのイベントにあるグループに属するメンバーが一括して招待される場合、招待者データには、グループIDとグループ名とを関連付けて記憶されるようにしてもよいし、そうしなくてもよい。
【0118】
(2)端末
図2-5は、本実施例において端末20の記憶部28に記憶される情報の一例を示す図である。
記憶部28には、限定ではなく例として、制御部21によって読み出され、メッセージングアプリケーション処理として実行されるMS処理プログラム281と、MSアプリケーションID283と、音声データベース285とが記憶される。
【0119】
MSアプリケーションID283は、自己の端末20または自己の端末20のユーザに関連付けられたMSアプリケーションIDである。
【0120】
音声データベース285は、限定ではなく例として、端末20の音入力部25によって取得される音声データを保存するデータベースである。
【0121】
なお、音声データベース285に保存されるデータに、限定ではなく例として、端末20の撮像部27で撮像される映像データを含めるようにしてもよいし、含めなくてもよい。
【0122】
また、音声データベース285に保存されるデータは、端末20で取得されるものに限定されない。限定ではなく例として、端末20とは異なる端末もしくは電子装置(限定ではなく例として、テレビ会議装置)で取得された音声(映像)データを、端末20で受信したデータであってもよいし、そうしなくてもよい。
【0123】
<表示画面>
以下では、限定ではなく例として、端末20が、縦長のディスプレイの表示部24を備えるスマートフォンである場合を例示する。
【0124】
スマートフォンには、限定ではなく例として、入力部として機能するタッチパネルが、そのディスプレイと対向して配置され、これによってタッチスクリーンが構成される。アイコン、ボタン、アイテムまたは入力領域などの要素がディスプレイに表示された場合において、タッチパネルの一部の領域であって、その要素が表示された領域と対向する領域がユーザによって操作された場合、その要素と関連付けられたプログラムまたはそのプログラムのサブルーチンが実行される。
【0125】
以下では、ユーザによる操作を、限定ではなく例として、タップ(タップ操作)として説明する。
タップ(タップ操作)とは、限定ではなく例として、ユーザが、タッチパネルが一体的に構成された表示部24(タッチスクリーン)を指やペン先などで軽く叩くように触れる動作、触れてから離す動作である。
【0126】
なお、以下説明する表示画面の遷移は、本開示の手法を実現するための表示画面の遷移の一例に過ぎない。以下に例示する表示画面の遷移について、一部の表示画面の表示を省略してもよいし、別の表示画面を追加してもよい。
【0127】
図2-6は、本実施例において端末20の表示部24に表示されるメッセージングアプリケーションのホーム画面の一例を示す図である。この表示画面は、ユーザA.Aの端末20である端末20Aの表示部24に表示される画面の一例である。
画面最上部中央には、メッセージングアプリケーションの名称として「Messaging App」の文字が表示されている。また、画面最上部右には、この端末20のユーザのメッセージングアプリケーションにおけるアイコン画像およびユーザ名(この例ではユーザA.A)が表示されている。
【0128】
また、その下には、メッセージングアプリケーションにおける現在位置を示す現在位置表示領域が構成されており、この例では、現在位置がメッセージングアプリケーションのホームであることを示す「ホーム」の文字が、現在位置表示領域内に表示されている。
【0129】
現在位置表示領域の下には、メッセージングアプリケーション内の任意の機能を検索するための入力領域であるメッセージングアプリケーション機能検索領域が構成されており、この例では、検索キーワードを入力することを促す「検索」の文字が、メッセージングアプリケーション機能検索領域内に表示されている。
【0130】
メッセージングアプリケーション機能検索領域の下には、この端末20のユーザのメッセージングアプリケーションにおけるアイコン画像およびユーザ名が表示され、その下に、メッセージングアプリケーションの各種の機能に対応する複数の機能アイコンが表示されている。機能アイコンには、限定ではなく例として、「友だち」、「事業者」、「サービス」といった、複数の機能の各々に対応するアイコンが含まれる。
【0131】
「友だち」とは、メッセージングアプリケーションの機能の1つであり、一の端末20のユーザ(一のアカウント)が、自己の端末20から、他の端末20のユーザ(他のアカウント)を友だちとして追加するための処理を行い、サーバ10によって友だちを追加・登録する処理(友だち追加処理、友だち登録処理)が実行されることで、サーバ10を介して、友だち登録された端末20間でメッセージの送受信等を行うことが可能となる。個人のユーザが所有するメッセージングアプリケーションのアカウントのことを「一般アカウント」と称する。一般アカウントを所有するユーザの端末20間で送受信されたメッセージの履歴は、端末20の表示部24にトークルーム等として表示される。
【0132】
「事業者」とは、限定ではなく例として、上記の友だちの機能の一種であり、一般アカウントではなく、事業者のユーザが所有するメッセージングアプリケーションのアカウント(以下、「公式アカウント」と称する。)を友だちとして登録することで、公式アカウントを所有する事業者から発信されるメッセージを、サーバ10を介して端末20で受信して表示することが可能となる。
【0133】
なお、公式アカウントを所有する事業者の装置や端末も、一般アカウントを所有する個人のユーザの端末20と同様に、サーバ10を介して、他の装置との間でメッセージの送受信を行うことを可能とすることができる。限定ではなく例として、一の端末20から他の端末20にメッセージが送信される場合と同様に、一般アカウントを所有するユーザの端末20から公式アカウントを所有する事業者の装置や端末宛に送信されたメッセージも、サーバ10を介して、事業者の装置や端末に届けられる。そして、そのメッセージの履歴が、事業者の装置や端末の表示部(不図示)にトークルーム等として表示されるようにすることができる。
【0134】
図2-6では、複数の機能アイコンのうち、「サービス」の機能アイコンがタップされた状態が示されている。そして、機能アイコンの表示領域の下には、おすすめのサービスを示すアイコンが表示されており、この中には、議事録サービスを利用するためのアイコンが含まれる。この議事録サービスを利用するためのアイコンがタップされると、限定ではなく例として、表示中のホーム画面に、限定ではなく例として、図2-7に示す議事録データの作成に用いられる音声データベース285に保存されているデータの一覧を表示するための音声データ一覧情報表示領域WR1が表示される。音声データ一覧情報表示領域WR1に表示されているデータは、チャットルーム(限定ではなく例として、トークルーム)が選択される前に、会議や会合にあわせて、限定ではなく例として、音入力部25によって予め取得(録音)されたデータである。
【0135】
この例では、音声データ一覧情報表示領域WR1には、音声データを識別するためのファイル名(限定ではなく例として「voice20200214」)と、音声データが作成された日時(限定ではなく例として「2020.02.14 10:54」)と、音声データの長さを表す時間(限定ではなく例として「1:07:35」)とが、行ごとにまとまって表示されている。また、この行の右端には、ユーザによってタップされることで記録されている音声データを音出力部26によって出力し記録内容を確認するための、スピーカーマークで表される音声データ確認機能アイコンが表示されている。
【0136】
なお、音声データベース285に保存されるデータは、音声データに限定されない。限定ではなく例として、音声データを含む映像データが保存されるようにしてもよいし、しなくてもよい。
この場合、限定ではなく例として、音声データ確認機能アイコンは、映像を表示部24に出力しプレビューするための、限定ではなく例として、右三角のマーク等で表される映像データ確認機能アイコンとすることができる。
【0137】
ユーザによって議事録サービスで議事録データを作成する音声データ(この例では、2行目の「voice20200228」)を示す行がタップされると、限定ではなく例として、図2-8に示すように、この音声データから生成する議事録データを識別するための名称の入力を促す、議事録タイトル入力領域WR2が表示される。
【0138】
なお、限定ではなく例として、図2-7において、音声データ一覧情報表示領域WR1の複数の音声データを示す行がユーザによって選択され(限定ではなく例としてタップされ)、続いて不図示の音声データ選択決定ボタンがタップされるなどすることで、複数の音声データから1つの議事録データを作成するようにしてもよいし、そうしなくてもよい。
【0139】
図2-8の例では、ユーザ操作に基づいて、限定ではなく例として、議事録タイトル入力領域WR2に、議事録タイトル「プロジェクトX2月会議」の文字が入力されている。
ユーザによって議事録タイトル入力領域WR2の入力内容に関して議事録データの作成を開始するための機能ボタンである「保存」の文字の機能ボタンがタップされる。すると、端末20の制御部21は、図2-7において選択された音声データ(この例では、ファイル名「voice20200228」のデータ)を、通信I/F22によってサーバ10に送信する。
【0140】
通信I/F14によって端末20から音声データを受信すると、サーバ10の制御部11は、受信した音声データを議事録データに変換する議事録データ変換処理を実行する。そして、議事録データ変換処理の処理結果に基づいて、後述する議事録投稿候補選出処理を実行する。
【0141】
図2-9は、サーバ10の制御部11が議事録投稿候補選出処理を実行した後、端末20の表示部24に表示される議事録データの投稿先(共有対象)を選択する画面の一例を示す図である。図2-9では、限定ではなく例として、表示中のホーム画面に、限定ではなく例として、投稿先トークルーム選択領域WR3が表示されている。
【0142】
投稿先トークルーム選択領域WR3には、議事録データの投稿先の選択をユーザに促すための、限定ではなく例として「投稿するトークルームを選択してください」という文字が表示されている。
【0143】
その下には、端末20Aのユーザ(この場合、ユーザA.A)がメンバーとして属するグループ、または、端末20Aのユーザの友だちのうち、議事録投稿候補選出処理によって選出された議事録データの投稿先候補を表示する投稿先候補表示領域が表示されている。この例では、投稿先候補表示領域には、投稿先候補の数が「2」であり、その下に、投稿先候補として、グループ名「第2開発室」のグループと、グループ名「プロジェクトX」のグループとが選出されたことが表示されている。また、各グループ名の右側の括弧内には、そのグループに属するメンバーの人数が表示されている。この例では、限定ではなく例として、グループ「第2開発室」を構成するメンバーの人数は「8人」であり、グループ「プロジェクトX」を構成するメンバーの人数は「5人」である。
【0144】
投稿先トークルーム選択領域WR3において、投稿先候補表示領域の下には、端末20Aのユーザがメンバーとして属するグループを表示する投稿先グループ表示領域が表示されている。そして、投稿先グループ表示領域の下には、端末20Aのユーザの友だちを表示する投稿先友だち表示領域が表示されている。
投稿先グループ表示領域と、投稿先友だち表示領域との表示内容については、限定ではなく例として、投稿先候補表示領域と同様であるため説明を省略する。
【0145】
なお、上記の投稿先トークルーム選択領域WR3に、投稿先候補表示領域のみを表示するようにしてもよいし、そうしなくてもよい。
また、上記の投稿先トークルーム選択領域WR3に、投稿先グループ表示領域と、投稿先友だち表示領域とを表示し、投稿先候補表示領域を表示しないようにしてもよい。また、この場合、議事録投稿候補選出処理を実行しなくてもよい。
【0146】
投稿先トークルーム選択領域WR3において、ユーザによってグループまたは友達がタップされると、そのグループまたは友だちが議事録データの投稿先(共有対象)として選択される。この例では、グループ「プロジェクトX」がユーザによって選択された状態が示されている。
【0147】
なお、投稿先トークルーム選択領域WR3に対するユーザ操作ではなく、議事録投稿候補選出処理によって得られる最も尤もらしい投稿候補(第1議事録投稿候補)が自動的に議事録データの投稿先として選択されるようにしてもよいし、そうしなくてもよい。この場合、投稿先トークルーム選択領域WR3は表示しなくてもよい。
【0148】
その後、議事録データ変換処理によって変換(生成)された議事録データの内容を確認するための、図2-10に示すような議事録内容確認表示領域WR4が表示部24に表示される。
【0149】
議事録内容確認表示領域WR4には、限定ではなく例として、音声データに基づいて、音声データ中の会話内容を文字に変換したコンテンツ(議事録データ)が時系列に沿って表示される。
【0150】
議事録内容確認表示領域WR4では、限定ではなく例として、メッセージングアプリケーションのトークルームにおけるコンテンツ表示様式に従い、右側に自端末である端末20AのユーザA.Aの発言が、左側にそれ以外のユーザの発言が、それぞれコンテンツとして吹き出しで表示される。
なお、音声データ中で発話したユーザの識別は、限定ではなく例として、議事録データ変換処理において実行されるようにすることができる。
【0151】
具体的には、図2-10において、議事録内容確認表示領域WR4の上部には、議事録タイトル入力領域WR2に入力された議事録タイトルである「プロジェクトX2月会議」の文字が、議事録タイトル表示コンテンツTTL1に表示されている。議事録タイトル表示コンテンツTTL1は、音声データ中の発話内容ではないため、限定ではなく例として、議事録内容確認表示領域WR4に中央揃えで表示されている。
【0152】
議事録タイトル表示コンテンツTTL1の下には、音声データの初めでユーザA.Aが「それでは2020年2月の会議を始めます」と発話したことに基づくテキストコンテンツCT1が表示されている。テキストコンテンツCT1の左側には、このコンテンツ内容の音声をユーザA.Aが発話した音声データの先頭からの時間を示す「00:00:00」の文字が表示されている。
【0153】
なお、本明細書では「テキストコンテンツ」と称して説明するが、これを、メッセージングアプリケーションにおける「メッセージ(メッセージ情報)」と称してもよい。
【0154】
テキストコンテンツCT2の下には、音声データの先頭から「00:00:06」経ってユーザA.Aが「外が騒がしいですが聞こえますか」と発話したことに基づくテキストコンテンツCT2が表示されている。
なお、限定ではなく例として、テキストコンテンツCT2の文末には、発話された一文が疑問形と識別されたことを示す「?」の記号が付加されている。
【0155】
テキストコンテンツCT3の下には、音声データの先頭から「00:00:16」経ってユーザB.Bが「製品リリースはいつでしたっけ」と発話したことに基づくテキストコンテンツCT3が表示されている。テキストコンテンツCT3文末の「?」の記号は、テキストコンテンツCT2と同様に、この文が疑問形であることを示す。
以下同様に、音声データ中の発話内容に基づいて、テキストコンテンツが表示されている。
【0156】
テキストコンテンツCT4は、ユーザB.Bが「コンテンツ企画室に念のため確認しておきます」と発話したことに基づくテキストコンテンツである。テキストコンテンツCT4では、限定ではなく例として、端末20Aのユーザがメンバーとして属するグループ「コンテンツ企画室」に対して、「コンテンツ企画部」という発話に基づいて自動的にメッセージングアプリケーションにおけるメンション機能が働くことを示す「@コンテンツ企画部」という下線で強調される表記がなされている。
【0157】
ここで、メンション機能とは、指定したユーザに対してメッセージ(コンテンツ)を送信するためのメッセージングアプリケーションの一機能である。
なお、メンション機能によってメッセージを受信するユーザの端末では、メッセージを受信したことを強調して示す通知が表示されるようにしてもよいし、そうしなくてもよい。
【0158】
限定ではなく例として、テキストコンテンツCT4におけるメンション機能が働くと、グループ「コンテンツ企画部」に属するメンバーに対して、ユーザB.Bを送信元とする「コンテンツ企画部に念のため確認しておきます」という内容のメッセージが送信される。すなわち、コンテンツ企画部のメンバーは、ユーザB.Bから重要なメッセージを受け取ったことが容易に判別できる。
【0159】
テキストコンテンツCT5は、ユーザE.Eが「D.Dさんはどう思いますか」と発話したことに基づくテキストコンテンツである。テキストコンテンツCT5では、限定ではなく例として、議事録データを投稿するグループに属するメンバーであるユーザD.Dに対して、「D.D」という発話に基づいて自動的にメンション機能が働くことを示す「@D.D」という下線で強調される表記がなされている。
【0160】
このように、ユーザ名やグループ名が音声データ中で発話される場合、議事録データ変換処理において、発話される名称に応じて自動的にメンション機能が働くようにすることができる。
【0161】
ただし、メンション機能は必須ではなく、メンション機能が働かないようにしてもよい。
また、限定ではなく例として、端末20に対するユーザ操作に基づいて、音声データを取得した会議や会合に出席していないユーザやグループのみにメンション機能が働くようにしてもよいし、そうしなくてもよい。もしくは、音声データを取得した会議や会合に出席したユーザやグループのみにメンション機能が働くようにしてもよいし、そうしなくてもよい。もしくは、ユーザによって設定される特定のユーザやグループのみにメンション機能が働くようにしてもよいし、そうしなくてもよい。
【0162】
また、メンション機能が働く対象は、ユーザ名やグループ名に限定されない。限定ではなく例として、予め規定されるキーワードが発話されると、そのキーワードに対してメンション機能が働くようにしてもよいし、そうしなくてもよい。
【0163】
議事録内容確認表示領域WR4の最下部には、議事録内容確認表示領域WR4に表示されている内容で議事録データを確定し、投稿先として選択されたトークルームに投稿するための「投稿する」という文字を含む議事録投稿ボタンSBT1が表示されている。
【0164】
図2-11は、図2-10で示した議事録内容確認表示領域WR4に表示されている議事録データを修正するための画面の一例である。
図2-11において、限定ではなく例として、ユーザによってテキストコンテンツCT2がタップされると、テキストコンテンツCT2が反転表示され、テキストコンテンツCT2の上に、テキストコンテンツCT2に関する内容を修正するためのコンテンツ編集選択メニューMBT1が表示される。
【0165】
この例において、コンテンツ編集選択メニューMBT1では、限定ではなく例として、「削除」、「行間追加」、「コメント」の3種類の編集操作が可能に構成されている。
【0166】
「削除」とは、限定ではなく例として、選択されているテキストコンテンツCT2を削除する編集操作である。
「行間追加」とは、限定ではなく例として、選択されているテキストコンテンツCT2の下にテキストコンテンツ等を挿入し表示させる編集操作である。
「コメント」とは、限定ではなく例として、選択されているテキストコンテンツCT2に対してコメントを付加させる編集操作である。
【0167】
なお、コンテンツ編集選択メニューMBT1で選択可能な編集操作は上記の3種類に限定されない。限定ではなく例として、コメントの削除を行う編集操作や、テキストコンテンツの内容に応じた内容を参照可能なURI(Uniform Resource Identifier)を付加する編集操作等を選択可能にしてもよいし、そうしなくてもよい。
【0168】
図2-11では、限定ではなく例として、ユーザ操作に基づいて、テキストコンテンツCT2を削除する編集操作である「削除」ボタンがタップされた状態が示されている。
【0169】
図2-12は、図2-11において、コンテンツ編集選択メニューMBT1に対して「削除」と「行間追加」の編集操作が行われた結果を示す画面の一例である。
図2-12では、テキストコンテンツCT2の代わりに、テキストコンテンツCT2の内容を削除したことが取り消し線によって示される編集済みテキストコンテンツMCT1が表示されている。また、編集済みテキストコンテンツMCT1の下には、「行間追加」操作で挿入されたテキストである「リリース予定日について話しています」の文字が編集済みテキストコンテンツMCT2に表示されている。
編集済みテキストコンテンツMCT2は、音声データ中の発話内容ではないため、限定ではなく例として、議事録内容確認表示領域WR4に中央揃えで表示されている。
【0170】
なお、「行間追加」操作において、編集済みテキストコンテンツがユーザ情報を付加してテキスト入力されることでユーザの発話内容と同様の態様で表示されるようにしてもよいし、そのようにしなくてもよい。
【0171】
図2-12において、限定ではなく例として、ユーザによって議事録投稿ボタンSBT1がタップされると、タップされる時点で議事録内容確認表示領域WR4に表示されている議事録データが、投稿先として選択されたトークルーム(この例では、グループ「プロジェクトX」のトークルーム)に投稿される。
【0172】
図2-13は、ユーザA.Aが議事録投稿ボタンSBT1をタップし、グループ「プロジェクトX」に議事録データを投稿した後、ユーザB.Bの端末20である端末20Bの表示部24に表示されるメッセージングアプリケーションのトークルームの画面の一例を示す図である。
【0173】
メッセージングアプリケーションにおける現在位置を示す現在位置表示領域には、現在位置がグループ「プロジェクトX」のトークルームであることを示す文字が表示されている。
現在位置表示領域の下には、このトークルームに送信(投稿)されるコンテンツ(メッセージ)を表示するためのコンテンツ表示領域TR1が表示されている。
また、コンテンツ表示領域TR1の下には、このトークルームに送信するコンテンツを入力・選択するためのコンテンツ入力領域が表示されている。
【0174】
図2-13では、コンテンツ表示領域TR1には、限定ではなく例として、ユーザA.Aが送信した「先ほどの会議の議事録です」という文字のテキストコンテンツの下に、図2-12の操作で投稿された議事録データに基づいて、議事録データ概要コンテンツPRC1が表示されている。すなわち、図2-6~図2-12で示す各操作は、ユーザA.Aがグループ「プロジェクトX」のトークルームに「先ほどの会議の議事録です」という文字のテキストコンテンツを送信した後に実行されたことを表している。
【0175】
議事録データ概要コンテンツPRC1には、限定ではなく例として、議事録タイトル入力領域WR2に入力された議事録タイトルである「プロジェクトX2月会議」の文字と、議事録データが最後に修正された日時を示す「最終修正 2020/02/28/16:30」の文字とが表示されている。また、議事録データ概要コンテンツPRC1の右下には、議事録データがこのトークルームに送信(投稿)された時刻が表示されている。
【0176】
議事録データ概要コンテンツPRC1の下には、限定ではなく例として、ユーザE.Eが送信した「訂正があったので直しておきます」という文字のテキストコンテンツが表示されている。また、その下には、ユーザB.Bが送信した「議事録ありがとう。確認しておきます。」という文字のテキストコンテンツが表示されている。
なお、コンテンツ表示領域TR1において、各テキストコンテンツの側方には、そのメッセージがこのトークルームに送信された時刻が表示されている。
【0177】
コンテンツ表示領域TR1において、限定ではなく例として、ユーザによって議事録データ概要コンテンツPRC1がタップされる。すると、議事録データ概要コンテンツPRC1は、限定ではなく例として、下方に伸長され、議事録内容確認表示領域WR4の表示様態に従い、議事録データの内容が表示される。このような構成としているのは、トークルーム表示が議事録データで埋まり、トークルームの閲覧性が下がることを防ぐためである。
【0178】
図2-14は、ユーザB.Bによって議事録データ概要コンテンツPRC1がタップされた後の表示画面の一例である。
図2-14において、コンテンツ表示領域TR1には、限定ではなく例として、議事録データ概要コンテンツPRC1の位置から下方に伸長された議事録データ表示領域PRW1がコンテンツ入力領域との間に表示されている。
【0179】
なお、これとは異なり、トークルームに議事録データが送信されると、議事録データ概要コンテンツPRC1の代わりに議事録データ表示領域PRW1が始めから表示されるようにしてもよいし、そうしなくてもよい。
【0180】
議事録データ表示領域PRW1の最上部には、議事録データ概要コンテンツPRC1と同様の議事録タイトルと、議事録データが最後に修正された日時とが表示されている。議事録データ表示領域PRW1の上右側には、この議事録データを編集するための編集機能ボタンBT1が表示されている。
【0181】
限定ではなく例として、ユーザによって編集機能ボタンBT1がタップされると、図2-11で示したような編集操作が可能となる。編集機能ボタンBT1がタップされない場合、限定ではなく例として、テキストコンテンツをタップしてもコンテンツ編集選択メニューは表示されない。これにより、ユーザが閲覧中に誤って議事録データを編集してしまうことを防いでいる。
【0182】
議事録データ表示領域PRW1の右下部には、議事録データ表示領域PRW1を委縮させ(表示を折り畳み)議事録データ概要コンテンツPRC1を表示させるための折り畳み機能ボタンBT2と、議事録データ表示領域PRW1に表示されるコンテンツを、限定ではなく例として、発話者やキーワードで絞り込むためのフィルタ機能ボタンBT3とが表示されている。
折り畳み機能ボタンBT2と、フィルタ機能ボタンBT3とは、限定ではなく例として、フローティング表示されており、議事録データ表示領域PRW1に対するスクロール操作によらず表示位置は一定である。
【0183】
図2-14の議事録データ表示領域PRW1には、議事録内容確認表示領域WR4で確認・修正されたコンテンツが、表示する端末20、または表示する端末20のユーザに応じて表示される。
限定ではなく例として、テキストコンテンツCT1は、ユーザA.Aの発話内容に基づくコンテンツのため、ユーザB.Bの端末20Bでは左側からの吹き出しで表示されている。テキストコンテンツCT3は、ユーザB.Bの発話内容に基づくコンテンツのため、端末20Bでは右側からの吹き出しで表示されている。
【0184】
図2-14の議事録データ表示領域PRW1では、限定ではなく例として、投稿前に削除編集操作が行われた編集済みテキストコンテンツMCT2には、元の内容が確認できないが削除編集操作が行われたことを示す「発言が削除されました」の文字が表示されている。
【0185】
また、図2-14の議事録データ表示領域PRW1では、テキストコンテンツCT3に対してトークルームへの投稿後に編集操作が行われたことを示す編集済みテキストコンテンツMCT3が表示されている。編集済みテキストコンテンツMCT3では、限定ではなく例として、「京都」の文字から「神戸」の文字へ修正(編集)されたことが修正履歴として表示されている。また、編集済みテキストコンテンツMCT3に対する編集者のコメントである編集履歴コンテンツMRF1が、編集済みテキストコンテンツMCT3の下に挿入され表示されている。
【0186】
編集履歴コンテンツMRF1には、限定ではなく例として、編集を行ったユーザ(この場合ユーザE.E)のアイコンが関連付けて表示されている。また、編集履歴コンテンツMRF1には、ユーザE.Eによって入力された「場所を間違えました」の文字と、ユーザE.Eによって入力された神戸のワークショップに関するURIとが表示されている。URIの下には、限定ではなく例として、URIのリンク先に関するサムネイルが自動的に生成され表示されている。限定ではなく例として、このサムネイルがユーザによってタップされると、端末20はウェブブラウザを起動しこのURIの情報を表示する。
【0187】
なお、投稿前に行われた編集操作に対しても、限定ではなく例として、編集者や編集内容が分かるように履歴を残して表示させてもよいし、そうしなくてもよい。また、投稿後に行われた編集操作に対して、編集者やそのコメントを表示させなくてもよい。編集操作に対しては、追記や注釈のような形で表示を行ってもよいし、そうしなくてもよい。
【0188】
議事録データ表示領域PRW1に対して、限定ではなく例として、ユーザが上下にドラッグ操作すると、議事録データ表示領域PRW1内のコンテンツは上下にスクロールして表示される。
ここで、ドラッグ操作(ドラッグ)とは、限定ではなく例として、ユーザが、タッチパネルが一体的に構成された表示部24(タッチスクリーン)を指やペン先などで触れた状態でそのまま指やペン先などを動かす動作である。
【0189】
議事録データ表示領域PRW1の右側には、議事録データのうち、議事録データ表示領域PRW1に表示されているコンテンツの位置領域を表すナビゲーションバーが表示されている。限定ではなく例として、議事録データ表示領域PRW1に下スクロール操作を行うと、ナビゲーションバーも下方に移動する。
【0190】
図2-15は、図2-14において、ユーザによってフィルタ機能ボタンBT3がタップされた場合の表示画面の一例である。
図2-15において、議事録データ表示領域PRW1の下部には、限定ではなく例として、ユーザによってフィルタ機能ボタンBT3がタップされたことに伴い、限定ではなく例として、フィルタ機能ボタンBT3が左方に伸長され、フィルタ選択領域FLW1が表示されている。
【0191】
フィルタ選択領域FLW1には、限定ではなく例として、議事録データ表示領域PRW1に表示させる発言者(ユーザ)を絞り込むための、ユーザのアイコンが並んで表示されている。これらのユーザのアイコンをタップすると、アイコン右上のチェックマークが反転表示され、ユーザごとの発言(投稿内容)を議事録データ表示領域PRW1に表示させるか否かの選択が行われる。
【0192】
限定ではなく例として、図2-15では、ユーザC.CとユーザE.Eとのアイコンのチェックマークが反転表示され、表示対象として絞りこまれていることを表している。
このとき、議事録データ表示領域PRW1には、限定ではなく例として、ユーザC.CとユーザE.Eとの発言に関するコンテンツ以外は表示されない。限定ではなく例として、図2-14において編集履歴コンテンツMRF1の下に表示されていたユーザB.Bの発言を表す「ワークショップは3か月後なので難しいです」というテキストコンテンツや、テキストコンテンツCT4は、図2-15における議事録データ表示領域PRW1では表示されず、テキストコンテンツCT5が間を詰めて表示されている。
【0193】
なお、発話者がいないタイトルやコメントは、フィルタ内容に関わらず表示されるようにしてもよいし、そのようにしなくてもよい。
また、フィルタ選択領域でのフィルタ対象は、発言者に限定されない。限定ではなく例として、議事録データ内で頻出する単語を自動的に抽出、あるいはユーザによって指定されるキーワードを含むテキストコンテンツをフィルタ対象として抽出するようにしてもよいし、そうしなくてもよい。
また、フィルタ対象として、限定ではなく例として、タグで紐付けられた議事録データ中の特定の区間(段落)を抽出できるようにしてもよいし、そうしなくてもよい。
【0194】
図2-15において、ユーザC.Cが「アジェンダの5ページをご覧ください」と発話したことに基づくテキストコンテンツCT6の下には、限定ではなく例として、リンク先確認領域LK1が表示されている。リンク先確認領域LK1は、限定ではなく例として、テキストコンテンツCT6における「アジェンダ」という発話内容に基づいて、限定ではなく例として、カレンダー情報管理データベース159Aに基づいて、この音声データの取得日時と紐付けられたカレンダー情報管理データの関連URIに保存されるアジェンダデータが読み出される。そして、「5ページ」という発話内容に基づいて、アジェンダデータの5ページに相当するリンク先(URI)が自動的に生成され表示されている。限定ではなく例として、このリンクがユーザによってタップされると、端末20はウェブブラウザを起動しこのURIの情報を表示する。
【0195】
なお、アジェンダデータは、ユーザによって事前に手打ちあるいは音声入力されたデータであってもよいし、そうでなくてもよい。
【0196】
編集履歴コンテンツMRF1では、URIがユーザによって入力されそのサムネイルが表示されていたが、リンク先確認領域LK1では、URIが発話内容に基づいて自動生成されることが異なる。
【0197】
<処理>
図2-16は、本実施例において各装置が実行する処理の流れの一例を示すフローチャートである。
左から順に、端末20Aの制御部21が実行する処理、サーバ10の制御部11が実行する処理の一例をそれぞれ示している。
【0198】
まず、端末20Aの制御部21は、限定ではなく例として、音声データベース285に保存される音声データから、議事録データを作成するために用いる音声データを、限定ではなく例として、ユーザ操作に基づいて選択する(A110)。
【0199】
そして、端末20Aの制御部21は、選択された音声データを、通信I/F22によってサーバ10に送信する(A130)。
【0200】
サーバ10の制御部11は、通信I/F14によって音声データを受信すると、音声データを文字(文章)データである議事録データに変換する議事録データ変換処理を実行する(S120)。議事録データ変換処理については、図1-2のA120のステップと同様の処理で実現可能である。
【0201】
なお、議事録データ変換処理において、音声認識処理と話者認識処理とに加えて、文字に変換された発話内容に応じたコンテンツを付加するコンテンツ付加処理を実行してもよいし、そうしなくてもよい。
【0202】
コンテンツ付加処理には、限定ではなく例として、名前やキーワードが発話されることに対するメンション機能付加処理や、発話内容に関する画像を付加する画像付加処理、所定ワード(限定ではなく例として、「アジェンダ」)が発話される事に関してその所定ワードに関連するURI(限定ではなく例として、カレンダー情報管理データベース159Aの関連URI)を付加するURI付加処理等の処理を含めることができる。
【0203】
すると、サーバ10の制御部11は、生成された議事録データに基づいて、この議事録の投稿先候補を選出する議事録投稿候補選出処理を実行する(S130)。
【0204】
議事録投稿候補選出処理において、サーバ10の制御部11は、限定ではなく例として、話者認識処理結果に基づいて、議事録データで発話している発話ユーザ群を特定する。そして、グループ管理データベース157に記憶されているグループ管理データのうち、限定ではなく例として、発話ユーザ群とグループメンバーデータに登録されているメンバーとの相関が高いグループを議事録投稿候補として選出する。もしくは、発話ユーザ群が2人の場合には、そのユーザを含むトークルームを議事録投稿候補として選出する。
なお、議事録投稿候補は最上位1つでもよいし、上位から複数選んでもよい。
【0205】
また、議事録投稿候補の選出方法は、音声データから得られる発話ユーザ群を用いることに限定されない。限定ではなく例として、会議(会合)の会場に設置されるビーコン装置(近接ビーコン装置)等の電子装置から発信されるビーコン信号の受信圏内に存在する端末20のユーザを発話ユーザ群としてもよいし、そうしなくてもよい。
【0206】
また、この場合、限定ではなく例として、端末20Bからビーコン信号を発信し、そのビーコン信号の受信圏内に端末20Aが存在する場合、ユーザB.Bを発話ユーザ群の1ユーザとしてもよいし、そうしなくてもよい。すなわち、限定ではなく例として、相互に端末20からビーコン信号を発信し、そのビーコン信号の受信圏内に存在する端末20のユーザを発話ユーザ群としてもよいし、そうしなくてもよい。より具体的には、端末20Aの位置算出用情報検出部29Bにおいて、UWB測位ユニットを用いて近くに存在する端末群を把握し、その端末群のユーザを発話ユーザ群とすればよい。
【0207】
発話ユーザ群を特定する手法としては、この他にも、限定ではなく例として、端末20Aの撮像部27において各ユーザが含まれる顔画像を取得し、顔画像に映っているユーザ群を人物認識することで特定してもよいし、そうしなくてもよい。
【0208】
また、限定ではなく例として、音声データのタイムスタンプから会議(会合)が行われた日時を取得し、カレンダー情報管理データベース159Aに基づいて、ユーザA.Aのカレンダー情報のうち、会議が行われた日時と適合するカレンダー情報管理データの招待者データから発話ユーザ群を特定してもよいし、そうしなくてもよい。
【0209】
なお、上記の発話ユーザ群の特定方法を組み合わせることで発話ユーザ群を推定してもよいし、そうしなくてもよい。
【0210】
その後、サーバ10の制御部11は、得られた議事録投稿候補を、通信I/F14によって端末20Aに送信する。
【0211】
なお、議事録投稿候補選出処理は、サーバ10ではなく、端末20Aが実行するようにすることもできる。
【0212】
端末20Aの制御部21は、通信I/F22によってサーバ10から議事録投稿候補を受信すると、限定ではなく例として、ユーザ操作による選択に基づいて、議事録投稿候補から議事録データを追加(入力)するためのチャットルームである議事録投稿先を選択する。そして、端末20Aの制御部21は、通信I/F22によって議事録投稿先をサーバ10に送信する(A150)。
【0213】
なお、議事録投稿候補以外のチャットルームが議事録投稿先として選択されてもよいし、そうしなくてもよい。
また、議事録投稿候補が1つの場合には、その議事録投稿候補を自動的に議事録投稿先として、このステップを省略してもよいし、そうしなくてもよい。
【0214】
サーバ10の制御部11は、通信I/F14によって議事録投稿先を受信する。すると、サーバ10の制御部11は、S120のステップで生成された議事録データを議事録の草案を示す議事録草案データとして通信I/F14によって端末20Aに送信する(S140)。
【0215】
端末20Aの制御部21は、通信I/F22によってサーバ10から議事録草案データを受信すると、それを表示部24に表示させる。そして、端末20Aの制御部21は、ユーザの入出力部23に対する操作入力に基づいて、議事録草案データを修正する操作を受け付ける(A170)。
【0216】
この議事録草案データの修正処理には、限定ではなく例として、前述したコンテンツ編集選択メニューに対する「削除」や「行間追加」、「コメント」等の編集操作を含めることができる。
【0217】
そして、端末20Aの制御部21は、編集操作が行われた内容である議事録草案データ修正情報を通信I/F22によってサーバ10に送信する。
【0218】
サーバ10の制御部11は、通信I/F14によって議事録草案データ修正情報を受信すると、議事録草案データ修正情報に基づいて議事録データを更新させる議事録草案データ修正処理を実行する(S150)。
【0219】
そして、サーバ10の制御部11は、修正された議事録データを、議事録投稿先として指定されたチャットルームに追加(入力)する(S160)。
【0220】
その後、サーバ10の制御部11は、チャットルームに追加(入力)された議事録データを、通信I/F14によって端末20Aを含むチャットルームに属するユーザの端末20に送信する(S170)。そして、サーバ10の制御部11は、処理を終了する。
【0221】
通信I/F22によって議事録データを受信すると、端末20Aの制御部21は、表示部24に議事録データを表示させる(A180)。そして、端末20Aの制御部21は、処理を終了する。
【0222】
なお、議事録データがチャットルームに追加されてから修正を行う場合には、議事録データが送信された端末20において、その議事録データを議事録草案データとみなし、A170~A180とS150~S170とのステップを実行すればよい。
【0223】
また、S160のステップをサーバ10で実行せず、端末20の制御部21が、議事録データを受信した後に議事録データをチャットルームに追加(入力)するようにしてもよいし、そのようにしなくてもよい。
【0224】
<第2実施例の効果>
第2実施例は、トークルーム(限定ではなく、チャットルームの一例)は、端末20AのユーザA.A(限定ではなく、端末のユーザの一例)による入力に基づいて、議事録投稿候補から選択される構成を示している。
このような構成により得られる実施例の効果の一例として、チャットルームが議事録投稿候補から選択可能となるため、ユーザはより適切かつ容易にチャットルームを選択可能となる。
【0225】
また、第2実施例は、トークルームは、端末20Aによって取得された情報(限定ではなく、第1情報の一例)に基づいて選択される構成を示している。
このような構成により得られる実施例の効果の一例として、第1情報に基づいて候補となるチャットルームを選択することができる。そのため、チャットルームの選択をより適切に実行することができる。
【0226】
この場合、第1情報は、端末20の音入力部25(限定ではなく、第1取得部の一例)によって取得される音声データ(限定ではなく、音情報の一例)を含むようにすることができる。
このような構成により得られる実施例の効果の一例として、文字情報の元となる音情報をチャットルームの選択基準として用いることができ、より適切なチャットルームの選択を可能とすることができる。
【0227】
また、この場合、第1情報は、電子装置から発信される情報を含むようにすることができる。
このような構成により得られる実施例の効果の一例として、音情報から発話ユーザの特定が困難な場合においても、適切に入力先のチャットルームを選択することができる。
【0228】
また、この場合、電子装置は、ビーコン信号を発信するビーコン装置とすることができる。
このような構成により得られる実施例の効果の一例として、事前に設置された電子装置から発信される情報に基づいて、簡易かつ適切にチャットルームを選択することができる。
【0229】
また、この場合、電子装置は、端末20A以外の端末20、限定ではなく例として端末20B(限定ではなく、第1端末の一例)とすることができる。
このような構成により得られる実施例の効果の一例として、事前に電子装置を設置せずとも、第1情報を取得することが可能となる。その結果、ユーザの利便性が向上する。
【0230】
また、この場合、第1情報は、端末20の撮像部27によって撮像された撮像画像の画像情報(限定ではなく例として、顔画像)を含むようにすることができる。
このような構成により得られる実施例の効果の一例として、音情報から発話ユーザの特定が困難な場合においても、画像情報を用いることで入力先のチャットルームを選択することができる。
【0231】
また、第1情報は、ユーザA.Aのカレンダー情報(限定ではなく、端末のユーザのスケジュール情報の一例)を含むようにすることができる。
このような構成により得られる実施例の効果の一例として、スケジュール情報を用いて投稿先として適切なチャットルームを選ぶことが可能となり、音情報から発話ユーザの特定が困難な場合においても、より正確に入力先のチャットルームを選択することができる。
【0232】
また、第2実施例は、音入力部25によって取得された第1音情報(限定ではなく例として、「それでは2020年2月の会議を始めます」という発話)に基づく第1文字情報(限定ではなく例として、テキストコンテンツCT1)が、選択されたチャットルーム(限定ではなく例として、グループ「プロジェクトX」のトークルーム)にユーザA.Aと関連付けて入力され、音入力部25によって取得された第2音情報(限定ではなく例として、「製品リリースはいつでしたっけ」という発話)に基づく第2文字情報(限定ではなく例として、テキストコンテンツCT3)が、チャットルームにユーザB.Bと関連付けて入力され、第1文字情報と第2文字情報とを含むチャットルームを表示部(限定ではなく例として、表示部24)に表示する構成を示している。
このような構成により得られる実施例の効果の一例として、第1音情報に基づく第1文字情報と、第2音情報に基づく第2文字情報とが、それぞれ別のユーザに関連付いていることをユーザが容易に識別可能となる。結果として、ユーザの利便性が向上する。
【0233】
また、第2実施例は、音声データ(音情報)は、チャットルームが選択される前に、音入力部25によって取得され、議事録データ(文字情報)は、チャットルームが選択されたことに基づいて、チャットルームに入力される構成を示している。
このような構成により得られる実施例の効果の一例として、チャットルームを選択する以前の音情報に基づく文字情報をチャットルームに後から入力することができる。すなわち、音情報を取得する時にはチャットルームを選択する必要がないため、繁雑な操作なしで素早く音情報を取得することができる。よって、ユーザはチャットルームの存在を意識せずに気楽に音情報を取得する判断が可能となり、ユーザの利便性を向上させることができる。
【0234】
また、第2実施例は、議事録データ(文字情報)は、ユーザA.A(限定ではなく、端末のユーザの一例)と、ユーザB.B(限定ではなく、第1端末のユーザの一例)と、ユーザC.C(限定ではなく、第2端末のユーザの一例)とを含む第1チャットルーム(限定ではなく例として、グループ「プロジェクトXのトークルーム」)に入力され、少なくとも端末20C(限定ではなく、第2端末の一例)に対して送信される構成を示している。
このような構成により得られる効果の一例として、文字情報が、端末のユーザと、第1端末のユーザと、第2端末のユーザとを含むチャットルームに入力された上で、少なくとも第2端末に送信されることで、少なくとも第2端末のユーザが閲覧できるようにすることができる。
【0235】
<第2変形例(1)>
第2実施例では、音声データに基づいて、サーバ10で議事録データ変換処理を実行し、議事録データを作成することとしたが、これに限定されない。限定ではなく例として、上記の(2)の手法により処理を実現してもよいし、そうしなくてもよい。
【0236】
この場合、限定ではなく例として、端末20の制御部21は、図2-16のA110のステップを実行すると、議事録データ変換処理を実行する。各処理については、図2-16のS120のステップと同様に実行することが可能なため、詳細については説明を省略する。そして、端末20の制御部21は、議事録データ変換処理で生成された議事録データを、通信I/F22によってサーバ10に送信する。
サーバ10の制御部11は、通信I/F14によって議事録データを受信すると、図2-16のS130以下のステップを実行する。
【0237】
このような構成により得られる変形例の効果の一例として、音情報のデータ容量が大きい場合、端末側で音情報をより情報量の圧縮が容易な文字情報へと変換してからサーバへ送信することが可能となり、通信量を削減することができる。
【0238】
なお、図2-16のS130のステップについても、端末20で行ってもよいし、そうしなくてもよい。この場合、第1情報が端末によって生成されると言える。
【0239】
また、議事録データ変換処理は端末20で実行し、議事録データをチャットルームに追加することはサーバ10で実行するようにしてもよいし、そのようにしなくてもよい。
【0240】
<第3実施例>
第3実施例は、上記の(B)のタイミングに関する(1)の手法による実施例である。
第3実施例では、議事録サービスにおいて、端末20の制御部21は、音入力部25によって会議や会合における一部分の音声データを取得すると、サーバ10に送信する。サーバ10の制御部11は、受信した音声データに基づいて部分的な議事録データを作成すると、この部分的な議事録データを端末20に送信する。以上の処理を、会議(会合)の終了まで繰り返す。
以下では、第3実施例による方法を「リアルタイムモード」と称する。
第3実施例に記載の内容は、他の各実施例や他の各変形例のいずれにも適用可能である。
【0241】
<表示画面>
以下では、議事録データを追加(入力)するチャットルームとして、限定ではなく例として、ユーザ入力に基づいて、グループ「プロジェクトX」のトークルームが選ばれた場合における表示画面の一例を示す。
【0242】
図3-1は、図2-6において、ユーザによって「友だち」がタップ(選択)され、その後、「友だち」として登録されているユーザアカウントまたはグループから、グループ「プロジェクトX」がタップ(選択)された場合における、グループ「プロジェクトX」のトークルームの表示画面の一例である。
【0243】
図3-1では、現在位置表示領域に、現在位置がグループ「プロジェクトX」のトークルームであることを示す文字が表示されている。また、コンテンツ表示領域TR1には、ユーザA.Aによって入力(送信)された「時間ですので会議を始めます」という文字のテキストコンテンツと、ユーザD.Dによって入力(送信)された「電車遅延のため少し遅れます」という文字のテキストコンテンツとが表示されている。
【0244】
コンテンツ入力領域において、限定ではなく例として、ユーザが「+」の文字で示されるトークルーム機能呼び出しアイコンをタップすると、このトークルームと関連するメッセージングアプリケーションの各種の機能を呼び出すトークルーム機能選択領域WR5が表示される。
トークルーム機能選択領域WR5には、このトークルームと関連するメッセージングアプリケーションの各種の機能に対応する複数の機能アイコンが表示されている。機能アイコンには、限定ではなく例として、「ファイル」、「連絡先」、「位置情報」といった、複数の機能の各々に対応するアイコンが含まれる。
【0245】
この例では、複数の機能アイコンのうち、「議事録」の機能アイコンがタップされた状態が示されている。すると、このトークルームに、音入力部25によって取得される音声データに基づいて、リアルタイムで議事録データが追加されていく。すなわち、「議事録」の機能アイコンがタップされるタイミングは、会議や会合が開始される前となる。
【0246】
なお、「議事録」の機能アイコンがタップされる場合、不図示のユーザ選択画面に対するユーザ操作に基づいて、このトークルームに属するメンバーのうち、特定のユーザのみの発言を、以降、議事録データとして記録するようにしてもよいし、そのようにしなくてもよい。
【0247】
図3-2は、図3-1において「議事録」の機能アイコンがタップされた場合のトークルーム画面の一例である。
図3-2では、コンテンツ表示領域TR1の上部に、メッセージングアプリケーションの議事録機能に基づいて、限定ではなく例として、音入力部25によって音声データを取得中であることを示す音声データ取得状況確認領域STW1が表示されている。
【0248】
音声データ取得状況確認領域STW1には、限定ではなく例として、端末20Aが議事録データを生成するための音声データを取得している状態であることを表す「議事録 記録中」の文字が表示されている。その右側には、音声データを取得し始めてからの経過時間(この例では「00:03」)が示されている。
【0249】
経過時間の右側には、音声データの取得を中止し、このトークルームへの議事録データの追加を終了するための記録終了ボタンBT4と、撮像部27を用いて画像を取得し、このトークルームに追加するための撮像ボタンBT5と、前述した編集機能ボタンBT1とが横に並んで表示されている。
【0250】
また、コンテンツ表示領域TR1の右下部には、フィルタ機能ボタンBT3と、吹き出しアイコンで示されるコンテンツ強調機能ボタンBT6と、シャープの文字アイコンで示されるタグ機能ボタンBT7とが縦に並んで表示されている。
フィルタ機能ボタンBT3と、コンテンツ強調機能ボタンBT6と、タグ機能ボタンBT7とは、限定ではなく例として、フローティング表示されており、コンテンツ表示領域TR1に対するスクロール操作によらず表示位置は一定である。
【0251】
限定ではなく例として、ユーザによってタグ機能ボタンBT7がタップされると、タグ機能ボタンBT7が左方に伸長され、図3-2で示すように、タグの入力領域と、入力されたタグを反映させるための「設定」という文字で示されるタグ反映機能ボタンとが表示される。限定ではなく例として、図3-2の例では、タグの入力領域には、「アジェンダ1」という文字が入力されている。
【0252】
ユーザによってタグ反映機能ボタンがタップされると、それ以降の音声データから変換される議事録データには、限定ではなく例として、「アジェンダ1」のタグが付加される。
【0253】
このタグに基づいて、限定ではなく例として、フィルタ機能ボタンBT3によって任意のタグが付加された議事録データの一部分を素早く抽出して表示することが可能となる。
【0254】
なお、この例において、限定ではなく例として、ユーザによる「これからアジェンダ1について」といった発話内容に応じて、自動的にタグが付加されるようにしてもよいし、そうしなくてもよい。
【0255】
また、コンテンツ表示領域TR1には、限定ではなく例として、テキストコンテンツCT1が、限定ではなく例として、発話の区切りで区切られる部分音声データから生成され、トークルームにリアルタイム入力されて表示されている。本実施例では、コンテンツ(メッセージ)の脇には、音声データを取得し始めてからの相対時間ではなく、限定ではなく例として、そのコンテンツが生成され、トークルームに追加された時点の時刻が表示されている。
限定ではなく例として、テキストコンテンツCT1は、「13:42」の時刻に追加されたことを表している。
【0256】
なお、音声データを取得し始めてからの相対時間を時刻の代わりに表示させるようにしてもよいし、そのようにしなくてもよい。
【0257】
図3-3は、図3-2においてタグ反映機能ボタンがタップされた後、音声データの取得が続いている場合の表示画面の一例である。
【0258】
図3-3では、タグが入力されたことに伴い、テキストコンテンツCT1の下に入力されたタグの内容を表す「アジェンダ1 について」の文字が表示されたタグコンテンツTG1が表示されている。
タグコンテンツTG1の内容は音声データ中の発話内容ではないため、限定ではなく例として、コンテンツ表示領域TR1に中央揃えで表示されている。
【0259】
タグコンテンツTG1の両端に塗られた帯の色は、限定ではなく例として、以降に追加されるコンテンツに対して、コンテンツ表示領域TR1の左端に紐付けられて表示される帯の色と対応している。
【0260】
限定ではなく例として、テキストコンテンツCT3の左側には、タグ「アジェンダ1」と紐付けられた帯が表示されている。
【0261】
また、ユーザE.Eが「京都のワークショップには間に合いませんか?」と発話したことに基づくテキストコンテンツの下には、発話内容に基づいて、限定ではなく例として、画像検索を行った結果得られる画像を表示するための画像コンテンツPC1が自動的に付加・添付(入力)されている。図3-3では、画像コンテンツPC1には、限定ではなく例として、発話内容の「京都」という地名に基づく画像検索の結果の一例として、寺院の画像が付加されて表示されている。
【0262】
なお、付加・添付する画像は、地名に基づく画像に限定されない。
この他にも、限定ではなく例として、「A.Aさん」という発話内容に基づいて、ユーザA.Aの社員証画像等の画像が付加されるようにしてもよいし、そうしなくてもよい。その他、会話の内容に関わることであれば、任意の画像を付加してもよいし、そうしなくてもよい。
【0263】
図3-4は、図3-3に引き続き、音声データの取得が続いている場合の表示画面の一例である。
【0264】
図3-4では、限定ではなく例として、テキストコンテンツCT5がトークルームに追加されると、テキストコンテンツCT5のメンション機能に反応して、ユーザD.Dがトークルームに「移動中なので後で内容を確認します」という文字のメッセージMSG1を送信する。すると、限定ではなく例として、端末20Aの表示部24に、メッセージをユーザD.Dから受信したことを表すメッセージ着信通知領域NTW1が表示される。
【0265】
メッセージMSG1は、音声データに基づく議事録データではないため、限定ではなく例として、コンテンツ表示領域TR1において、メッセージMSG1の左側には、タグと紐付けられた帯は表示されない。
【0266】
なお、ユーザによって送信(入力)されるメッセージにおいても、タグを紐付けその左側に帯を表示するようにしてもよいし、そのようにしなくてもよい。
【0267】
また、コンテンツ表示領域TR1において、テキストコンテンツCT6の下には、限定ではなく例として、リンク先確認領域LK2が表示されている。リンク先確認領域LK2の下部に表示される内容はリンク先確認領域LK1と同様であるため、説明を省略する。リンク先確認領域LK2の上部には、限定ではなく例として、そのURIのリンク先に関するサムネイルが自動的に生成され表示されている。
これにより、リンク先を手動でたどらずとも、会議中に必要と思われる内容を容易に参照可能となる。
【0268】
図3-5は、図3-4から時間をおき、音声データの取得が続いている場合の表示画面の一例である。
【0269】
限定ではなく例として、ユーザによって撮像ボタンBT5がタップされると、端末20Aの制御部21は、メッセージングアプリケーションの撮影機能を実行し、撮像部27によって画像を取得する。撮影された画像は、撮像時点における議事録データに埋め込まれ、コンテンツ表示領域TR1に表示される。
【0270】
図3-5では、限定ではなく例として、画像コンテンツPC2に、撮像ボタンBT5がタップされたことにより取得されたホワイトボードの画像が議事録データに埋め込まれ表示されている。
【0271】
なお、この場合において、限定ではなく例として、撮像後に画像コンテンツPC2のサイズに合わせてトリミングを実行するなどして、画像コンテンツPC2に表示させてもよいし、そうしなくてもよい。
【0272】
また、撮像ボタンBT5がタップされた場合、撮像部27によって動画像を取得するようにしてもよいし、そのようにしなくてもよい。この場合、画像コンテンツPC2には動画像が埋め込まれ、限定ではなく例として、画像コンテンツPC2がコンテンツ表示領域TR1に表示されている間、動画像の時系列が進んで表示される。そして、限定ではなく例として、画像コンテンツPC2がスクロールによって表示されなくなった場合、再度スクロールによりコンテンツ表示領域TR1に表示されると、画像コンテンツPC2には動画像が頭から再生される。
【0273】
また、画像コンテンツPC2が表示されるタイミングは、撮像ボタンBT5がタップされることによらない。この他にも、撮像部27によって動画像を取得し続け、限定ではなく例として、フレーム間の差分がある程度大きい場合(フレーム間の差分が閾値以上や閾値超となった場合)に、そのフレーム画像を自動的に画像コンテンツPC2として表示させるようにしてもよいし、そのようにしなくてもよい。
【0274】
図3-6は、図3-5に引き続き、音声データの取得が続いている場合の表示画面の一例である。
【0275】
限定ではなく例として、ユーザE.Eが「時間が押しているので次の議題に移りましょう」と発話したことに基づくテキストコンテンツCT7が、画像コンテンツPC2の下に表示されている。
【0276】
このとき、ユーザE.Eの発話内容に応じて、端末20Aのユーザによってタグ機能ボタンBT7がタップされると、タグ機能ボタンBT7が左方に伸長され、タグの入力領域と、タグ反映機能ボタンとが表示される。限定ではなく例として、図3-6では、タグの入力領域には、「アジェンダ2」という文字が入力されている。
【0277】
ユーザによってタグ反映機能ボタンがタップされると、それ以降の音声データから変換される議事録データには、限定ではなく例として、「アジェンダ2」のタグが付加される。
【0278】
図3-7は、図3-6においてタグ反映機能ボタンがタップされた後、音声データの取得が続いている場合の表示画面の一例である。
【0279】
図3-7では、タグが入力されたことに伴い、テキストコンテンツCT7の下に入力されたタグの内容を表す「アジェンダ2 について」の文字が表示されたタグコンテンツTG2が表示されている。タグコンテンツTG2の両端に塗られた帯についてはタグコンテンツTG1と同様であるため説明を省略する。
【0280】
限定ではなく例として、ユーザA.Aが「それではアジェンダ2の内容についてですが」と発話したことに基づくテキストコンテンツCT8の左側には、タグ「アジェンダ2」と紐付けられた帯が表示されている。
すなわち、ユーザは、帯の色に着目することで議事録データを後から見返すときにどの部分を参照すればよいか容易に判断することができる。
【0281】
図3-8は、図3-7からさらに時間をおき、音声データの取得が続いている場合の表示画面の一例である。
【0282】
図3-8では、限定ではなく例として、ユーザによってコンテンツ強調機能ボタンBT6がタップされたことに伴い、コンテンツ強調選択領域MBT2が表示されている。
【0283】
コンテンツ強調選択領域MBT2には、ユーザ操作に基づいて、テキストコンテンツの表示態様を異ならせるための協調機能選択ボタンが並んでいる。これらのボタンをタップした後にテキストコンテンツをタップすることで、テキストコンテンツの表示態様を意味づけて変化させることができる。
【0284】
限定ではなく例として、議事録の「ポイント」を示す選択ボタンをタップし、テキストコンテンツに適用したものが編集済みテキストコンテンツMCT4である。編集済みテキストコンテンツMCT4では、吹き出しの形状が対角を落とした四角形に変化し、さらに指マークが付加される。
これにより、ユーザは、このコンテンツが議事録のポイントとして扱われていることが容易に認識できる。
【0285】
同様に、限定ではなく例として、議事録の「承認」にまつわるコンテンツは、編集済みテキストコンテンツMCT5~MCT7で示される亀甲型の吹き出しになる。
【0286】
なお、コンテンツ強調選択領域MBT2において、「戻す」を示す選択ボタンをタップし、強調表示したコンテンツを続けてタップすることで、元の吹き出し型のテキストコンテンツに復元するようにしてもよいし、しなくてもよい。
これにより、限定ではなく例として、誤ってコンテンツを強調したような場合でも、元の表示態様に戻すことが可能となる。
【0287】
図3-8では、コンテンツ強調選択領域MBT2において、ユーザが議事録の「結論」を示す選択ボタンをタップする。そして、ユーザA.Aが「リリースを1年程度延期します」と発話したことに基づくテキストコンテンツCT9を続けてタップする。
【0288】
図3-9は、図3-8においてテキストコンテンツCT9がタップされた後の画面の一例である。
【0289】
図3-9では、コンテンツ表示領域TR1に、テキストコンテンツCT9に対して「結論」を意味する二重線の吹き出しにより強調される編集済みテキストコンテンツMCT8が表示されている。
【0290】
なお、テキストコンテンツの表示態様を異ならせるための強調機能は、限定ではなく例として、議事録データの文章解析(意味解析)結果から自動的に適用されるようにしてもよいし、そのようにしなくてもよい。
【0291】
また、協調対象となるコンテンツとして、「ポイント」や「結論」以外にも、限定ではなく例として、各ユーザに対する課題を意味する「宿題」等を設けてもよいし、そうしなくてもよい。限定ではなく例として、コンテンツが「宿題」として強調される場合、そのコンテンツの内容を自動的にユーザのTODOリストに追加するようにしてもよいし、そのようにしなくてもよい。
【0292】
図3-9では、編集済みテキストコンテンツMCT8の下には、ユーザA.Aが「これで会議を終わります」と発話したことに基づくテキストコンテンツCT10が表示されている。
【0293】
限定ではなく例として、端末20Aのユーザは、テキストコンテンツCT10の発話に基づいて、音声データの取得と議事録データの追加とを停止するための記録終了ボタンBT4をタップする。すると、「議事録 終了しました」という文字の議事録終了表示メッセージEXM1がトークルームに追加される。このメッセージによって、このトークルームのメンバーに、議事録データの追加が終了したことを報知している。
【0294】
音声データの取得と議事録データの追加とが停止されると、限定ではなく例として、編集機能ボタンBT1やフィルタ機能ボタンBT3等の議事録データの編集や表示に関する機能ボタンは、コンテンツ表示領域TR1に表示されなくなる。
【0295】
なお、限定ではなく例として、コンテンツ表示領域TR1に対してユーザが上スクロール操作を行い、議事録データのコンテンツが表示される場合、コンテンツ表示領域TR1に編集機能ボタンBT1やフィルタ機能ボタンBT3を再表示することで、議事録データ追加後にいつでも編集操作が実行できるようにしてもよいし、そのようにしなくてもよい。
【0296】
また、議事録データのコンテンツが表示される場合には、コンテンツ表示領域TR1に折り畳み機能ボタンBT2を表示させ、議事録データ部分の折りたたみを可能にしてもよいし、そのようにしなくてもよい。
【0297】
<処理>
図3-10は、本実施例において各装置が実行する処理の流れの一例を示すフローチャートである。
左から順に、端末20Aの制御部21が実行する処理、サーバ10の制御部11が実行する処理の一例をそれぞれ示している。
【0298】
このフローチャートは、図2-16のフローチャートを、本実施例におけるリアルタイムモード用の処理に書き換えたフローチャートである。
【0299】
まず、端末20Aの制御部21は、議事録投稿先を選択し、通信I/F22によってサーバ10に送信する(A150)。
【0300】
なお、A150のステップの前に、限定ではなく例として、サーバ10において議事録投稿候補選出処理を行い、端末20Aは議事録投稿候補を受信するようにしてもよいし、そうしなくてもよい。あるいは、端末20Aにおいて議事録投稿候補選出処理を実行してもよいし、そうしなくてもよい。これらの場合、議事録投稿候補選出処理では、音声データに基づく方法以外の手法が用いられる。
【0301】
次いで、端末20Aの制御部21は、入出力部23に対するユーザ入力に基づいて、音声データの取得を終了するか否かの判定を行う(A190)
【0302】
ユーザによって音声データの取得を終了することが選択された場合(A190:YES)、端末20Aの制御部21は、音声データの取得と議事録データの追加とを終了させるための議事録終端情報を、通信I/F22によってサーバ10に送信する。そして、端末20Aの制御部21は、処理を終了する。
【0303】
ユーザによって音声データの取得を終了することが選択されなかった場合(A190:NO)、端末20Aの制御部21は、音入力部25に対する入力を受け付け、限定ではなく例として、ユーザの対話内容を含む音声データを取得する。そして、端末20Aの制御部21は、限定ではなく例として、音声データに所定の時間を超える無音状態が生じた場合、それを区切りに音声データを部分音声データして記憶部28に記憶させる(A210)。この場合、部分音声データは、無音区間で区切られる音声データの一区間となる。
【0304】
その後、端末20Aの制御部21は、取得した部分音声データを、通信I/F22によってサーバ10に送信する(A220)。
【0305】
サーバ10の制御部11は、通信I/F14によって端末20Aから議事録投稿先を受信する。その後、サーバ10の制御部11は、通信I/F14によって端末20Aから議事録終端情報を受信したか否かの判定を行う(S180)。
【0306】
端末20Aから議事録終端情報を受信した場合(S180:YES)、サーバ10の制御部11は、処理を終了する。
【0307】
端末20Aから議事録終端情報を受信しない場合(S180:NO)、サーバ10の制御部11は、通信I/F14によって端末20Aから部分音声データを受信する。
そして、サーバ10の制御部11は、受信した部分音声データに対して議事録データ変換処理を実行し、部分議事録データを作成(変換)する(S190)。
【0308】
なお、議事録データ変換処理は、限定ではなく例として、図2-16のS120のステップと同様に実行することが可能なため、詳細な説明を省略する。
【0309】
部分議事録データが作成されると、サーバ10の制御部11は、部分議事録データを議事録投稿先として指定されたチャットルームに追加(入力)する(S200)。
【0310】
その後、サーバ10の制御部11は、チャットルームに追加(入力)された部分議事録データを、通信I/F14によって端末20Aを含むチャットルームに属するユーザの端末に送信する(S210)。そしてサーバ10の制御部11は、S180のステップに処理を戻す。
【0311】
通信I/F22によって部分議事録データを受信すると、端末20Aの制御部21は、表示部24に部分議事録データを追加して表示させる(A230)。そして端末20Aの制御部21は、A190のステップに処理を戻す。
【0312】
なお、S200のステップを実行せず、端末20の制御部21が、部分議事録データを受信後に部分議事録データをチャットルームに追加するようにしてもよいし、そのようにしなくてもよい。
【0313】
<第3実施例の効果>
第3実施例は、端末20が、音入力部25(限定ではなく、取得部の一例)によって第1音情報(限定ではなく例として、ユーザA.Aの「それでは2020年2月の会議を始めます」という発話を含む部分音声データ)が取得されたことに基づいて、第1文字情報(限定ではなく例として、ユーザA.Aに紐付けられた「それでは2020年2月の会議を始めます」という文字を含む部分議事録データ)がチャットルームに入力され、第1文字情報を含むチャットルーム(限定ではなく例として、テキストコンテンツCT1)を表示部24に表示する。そして、端末20は、音入力部25によって第2音情報(限定ではなく例として、ユーザB.Bの「製品リリースはいつでしたっけ」という発話を含む部分音声データ)が取得されたことに基づいて、第2文字情報(限定ではなく例として、ユーザB.Bに紐付けられた「製品リリースはいつでしたっけ?」という文字を含む部分議事録データ)がチャットルームに入力され、第2文字情報を含むチャットルーム(限定ではなく例として、テキストコンテンツCT3)を表示部24に表示する構成を示している。
このような構成により得られる実施例の効果の一例として、取得部によって第1音情報が取得されると第1文字情報が、第2音情報が取得されると第2文字情報が、端末の表示部に逐次表示されるため、取得部によって音情報が取得されてから、音情報に基づく文字情報が表示されるまでの時間が短縮できる。その結果、ユーザは必要な情報をリアルタイムに参照することができ、ユーザの利便性を向上させることができる。
【0314】
また、第3実施例は、端末20が、撮像画像(限定ではなく例として、撮像ボタンBT5がタップされたことにより取得された画像)のうち少なくとも一部の領域を含む画像情報(限定ではなく例として、画像コンテンツPC2)が、チャットルームに入力され、画像情報を含むチャットルーム(限定ではなく例として、コンテンツ表示領域TR1)を表示部24に表示する構成を示している。
このような構成により得られる実施例の効果の一例として、文字情報では表現が難しい場合でも、画像情報を併用することで、チャットルームの中でより正確に情報が共有可能となる。
【0315】
また、第3実施例は、文字情報(限定ではなく例として、テキストコンテンツCT3)は、チャットルームの第1表示領域(限定ではなく例として、コンテンツ表示領域TR1)に表示され、画像情報は、チャットルームの第2表示領域(限定ではなく例として、コンテンツ表示領域TR1のテキストコンテンツ下方)に表示される構成を示している。
このような構成により得られる実施例の効果の一例として、画像情報と文字情報とがお互い邪魔にならないようにチャットルームに表示することができる。
【0316】
<第3変形例(1)>
第3実施例では、音声データに基づいて、サーバ10で議事録データ変換処理を実行し、議事録データを作成するが、これに限定されない。限定ではなく例として、上記の(2)の手法により処理を実現してもよいし、そうしなくてもよい。
【0317】
この場合、限定ではなく例として、端末20の制御部21は、図3-10のA210のステップを実行すると、部分議事録データ変換処理を実行する。各処理については、図3-10のS190のステップと同様に実行することが可能なため、詳細については省略する。そして、端末20の制御部21は、部分議事録データ変換処理で生成された部分議事録データを通信I/F22によってサーバ10に送信する。
サーバ10の制御部11は、通信I/F14によって部分議事録データを受信すると、図3-10のS200以下のステップを実行する。
【0318】
このような構成により得られる変形例の効果の一例として、部分音情報のデータ容量が大きい場合、端末側で部分音情報をより情報量の圧縮が容易な文字情報へと変換してからサーバへ送信することが可能となり、通信量を削減することができる。
また、部分音声データの区切りを決定する時、限定ではなく例として、文字情報から文節の区切りを検出することで決定することが可能となり、より適切に部分音声データを取得することができる。結果として、部分議事録データ変換処理の精度が向上する。
【0319】
なお、図3-10のS200のステップについても、端末20で行ってもよいし、そうしなくてもよい。
【0320】
<第4実施例>
第4実施例は、上記の(C)のタイミングに関する(1)の手法による実施例である。
第4実施例では、議事録サービスにおいて、端末20の制御部21は、議事録データを追加するチャットルームが選択されると、チャットルームに議事録データを逐次(リアルタイム入力)追加するか、音声データを会議終了後にまとめて追加するかの選択用画面を表示する。
第4実施例に記載の内容は、他の各実施例や他の各変形例のいずれにも適用可能である。
【0321】
<表示画面>
図4-1は、図3-1においてユーザによって「議事録」の機能アイコンがタップされた場合のトークルーム画面の一例である。
【0322】
図4-1では、コンテンツ表示領域TR1に、議事録モード選択領域WR6が重畳して表示されている。
議事録モード選択領域WR6には、限定ではなく例として、「リアルタイム追加」の文字で識別されるリアルタイムモード選択ボタンと、「あとで追加」の文字で識別されるバッチ追加モード選択ボタンとが表示されている。
【0323】
リアルタイムモード選択ボタンがユーザによってタップされると、限定ではなく例として、リアルタイムモードの様式に従い、議事録データを会議中に逐次追加する形式が選択される。
また、バッチ追加モード選択ボタンがユーザによってタップされると、限定ではなく例として、バッチ追加モードの様式に従い、議事録データを会議終了後に一括追加する形式が選択される。
【0324】
図4-2は、図4-1においてバッチ追加モード選択ボタンがタップされた場合のトークルーム画面の一例である。
【0325】
図4-2では、限定ではなく例として、コンテンツ表示領域TR1に、バッチ追加モード選択ボタンがタップされた時刻に応じて、音声データ取得状況確認領域STW1が割り込む形で表示されている。
すなわち、メッセージMSG1は、音声データ取得開始後にこのトークルームに対して入力(送信)されたメッセージであることを示している。
【0326】
図4-3は、会議終了後、ユーザによって記録終了ボタンBT4がタップされ、さらにトークルームに追加された議事録データ概要コンテンツPRC1がタップされた場合のトークルーム画面の一例である。
【0327】
図4-3では、議事録データ概要コンテンツPRC1がタップされたことに伴い、議事録データ表示領域PRW1が表示されている。
議事録データ表示領域PRW1では、限定ではなく例として、テキストコンテンツCT5のすぐ下に、音声データの取得中に受信したメッセージMSG1が挿入されて表示されている。メッセージMSG1の表示時刻は、図4-2で示された時刻から、音声データの先頭からの相対時間を表す「00:03:30」の表示に自動的に置き換えられている。
【0328】
なお、図4-4で示すように、音声データの取得中に受信したメッセージMSG1を議事録データ表示領域PRW1に挿入せずに表示してもよいし、そのようにしなくてもよい。
限定ではなく例として、図4-4の表示例では、議事録データ表示領域PRW1のテキストコンテンツCT5のすぐ下には音声データの取得結果に基づくテキストコンテンツが表示され、メッセージMSG1は議事録データ表示領域PRW1外のコンテンツ表示領域TR1に表示時刻を保ったまま表示されている。
【0329】
また、図4-1においてリアルタイムモード選択ボタンがタップされた場合には、限定ではなく例として、図3-2以降と同様の表示画面となる。
【0330】
<処理>
図4-5は、バッチ追加モード選択ボタンがタップされる場合における、本実施例において各装置が実行する処理の流れの一例を示すフローチャートである。
左から順に、端末20Aの制御部21が実行する処理、サーバ10の制御部11が実行する処理の一例をそれぞれ示している。
【0331】
このフローチャートは、図2-16のフローチャートにおいて、端末20Aの処理として、A150のステップを前に移動させ、A110のステップをA150、A100のステップに置き換え、サーバ10の処理として、S130のステップを削除したフローチャートである。
【0332】
まず、端末20Aの制御部21は、議事録投稿先を選択し、サーバ10に送信する(A150)。
【0333】
なお、A150のステップの前に、限定ではなく例として、サーバ10において議事録投稿候補選出処理を行い、端末20Aは議事録投稿候補を受信するようにしてもよいし、そうしなくてもよい。あるいは、端末20Aにおいて議事録投稿候補選出処理を実行してもよいし、そうしなくてもよい。これらの場合、議事録投稿候補選出処理では、音声データに基づく方法以外の手法が用いられる。
【0334】
次いで、端末20Aの制御部21は、限定ではなく例として、音入力部25によって音声データを取得する(A100)
そして、端末20Aの制御部21は、A130~A180の各ステップを実行した後、処理を終了する。
【0335】
サーバ10の制御部11は、S120~S170の各ステップを実行した後、処理を終了する。
【0336】
なお、リアルタイムモード選択ボタンがタップされる場合には、限定ではなく例として、図3-10と同様に処理を行うことができるため、ここでは詳細な説明を省略する。
【0337】
<第4実施例の効果>
第4実施例は、トークルーム(限定ではなく、チャットルームの一例)は、限定ではなく例として、リアルタイムモード選択ボタンまたはバッチ追加モード選択ボタンに対するタップ操作(限定ではなく、端末のユーザによる入力の一例)に基づいて選択される構成を示している。
このような構成により得られる実施例の効果の一例として、ユーザが指定したチャットルームに、ユーザが意図する方法で文字情報を入力することができる。これにより、ユーザの利便性を向上させることができる。
【0338】
<第4変形例(1)>
第4実施例では、音声データに基づいて、サーバ10で議事録データ(部分議事録データ)変換処理を実行し、議事録データ(部分議事録データ)を作成するが、これに限定されない。限定ではなく例として、上記の(2)の手法により処理を実現してもよいし、そうしなくてもよい。
【0339】
この場合、リアルタイムモード選択ボタンがタップされる場合には、第3変形例(1)と、バッチ追加モード選択ボタンがタップされる場合には、第2変形例(1)と、それぞれ同様の処理を行えばよい。
【0340】
<第4変形例(2)>
第4実施例では、リアルタイムモードとバッチ追加モードとは、全てのユーザ発話に対して一括して適用されていたが、これに限定されない。
【0341】
限定ではなく例として、ある特定のユーザ(限定ではなく例として、ユーザC.C)の発話に対してはリアルタイムモードが適用され、それ以外のユーザの発話に対してはバッチ追加モードが適用されるようにしてもよいし、そのようにしなくてもよい。
【0342】
この場合、会議や会合の開催中では、ユーザC.Cの発話内容が議事録データ化され、トークルームで共有される。そして、会議や会合の終了後、その他のユーザの発話内容が議事録データ化され、トークルームに追加される。そのため、限定ではなく例として、ユーザC.Cが会議のキーパーソンである場合、会議進行中にはキーパーソンの発言内容がトークルームで共有されるため、会議の進行が容易になる。会議の終了後には、その他のユーザの発言もトークルームに追加されるため、会議全体の流れを見返すことが容易になる。
【0343】
なお、リアルタイムモードでの議事録データと、バッチ追加モードでの議事録データとは、会議終了後、どちらかにマージされるようにしてもよいし、独立したまま保管されてもよい。
【0344】
<第4変形例(3)>
第4実施例では、リアルタイムモードとバッチ追加モードとは、会議(会合)中の全ての時間に対して一括して適用されていたが、これに限定されない。
【0345】
限定ではなく例として、会議のポイントとなる重要事項について議論している時間帯のみリアルタイムモードで議事録データを作成・追加し、それ以外の時間帯ではバッチ追加モードで議事録データを作成・追加するようにしてもよいし、そのようにしなくてもよい。
【0346】
この場合、重要事項についての議論内容についてはトークルームにリアルタイムに共有されるため、ユーザはその場で見返すことができ、重要事項についての誤解を防ぐことができる。
【0347】
<第5実施例>
上記の実施例では、音声データベース285に保存される音声データに基づいて、議事録データを作成していた。これに対して、本実施例では、映像(動画像)データを用いて、映像データに含まれる音声データ(音声トラック)に基づいて、議事録データを作成する。
第5実施例に記載の内容は、他の各実施例や他の各変形例のいずれにも適用可能である。
【0348】
<表示画面例>
図5-1は、映像データを用いて議事録データを作成した場合における、議事録データ表示領域PRW1の表示態様の一例を示す画面図である。
図5-1では、限定ではなく例として、ユーザA.Aの端末20Aにおける表示画面を示している。
【0349】
図5-1は、限定ではなく例として、図2-14の表示画面に対応する画面であり、限定ではなく例として、ユーザA.Aによって端末20Aの表示部24に表示された議事録データ概要コンテンツPRC1がタップされた後の画面の一例である。
【0350】
図5-1において、議事録データ表示領域PRW1の左下部には、議事録データを作成するために用いた映像データをピクチャーインピクチャー形式で表示する映像データ表示領域PP1が表示されている。すなわち、映像データ表示領域PP1は、議事録データ表示領域PRW1に対してスクロール操作を行っても、その表示位置は固定される。
【0351】
映像データ表示領域PP1には、限定ではなく例として、映像データのうち、議事録データ表示領域PRW1の最下端に表示されているテキストコンテンツCT5の発話時点における、会議のホワイトボードを撮影した画像が表示されている。
【0352】
映像データ表示領域PP1の下部には、限定ではなく例として、映像データ表示領域PP1に再生されている映像における、その映像データの先頭からの経過時間が表示されている。すなわち、図5-1では、映像データ表示領域PP1には、テキストコンテンツCT5の発話時刻(会議開始からの経過時間によって定まる時刻)と対応する映像が表示されていることを示している。
【0353】
限定ではなく例として、ユーザによって議事録データ表示領域PRW1に対して上スクロール操作が行われると、議事録データ表示領域PRW1に表示されるコンテンツ(テキストコンテンツ等)は会議の開始時間方向に戻る。このとき、映像データ表示領域PP1に表示される映像も、議事録データ表示領域PRW1に表示されるコンテンツに合わせて巻き戻って表示される。
逆に、ユーザによって議事録データ表示領域PRW1に対して下スクロール操作が行われると、議事録データ表示領域PRW1に表示されるコンテンツは会議の終了時間方向に進む。この場合、映像データ表示領域PP1に表示される映像も、議事録データ表示領域PRW1に表示されるコンテンツに合わせて早送りして表示される。
【0354】
なお、ユーザによるスクロール操作ではなく、ユーザの「早送り」や「巻き戻し」といった発話に基づいて、映像の早送りや巻き戻しを行うようにしてもよいし、そうしなくてもよい。また、議事録データ表示領域PRW1に対してタップ操作が行われる場合、映像を一時停止して表示させるようにしてもよいし、そのようにしなくてもよい。
【0355】
すなわち、映像データ表示領域PP1に表示される映像は、議事録データ表示領域PRW1に表示されるコンテンツと時間軸上で同期した映像となる。
【0356】
なお、映像データを用いて議事録データを作成した場合、議事録データ表示領域PRW1に映像データ表示領域PP1が表示されることは必須ではない。限定ではなく例として、ユーザの選択操作に基づいて、議事録データ表示領域PRW1に映像データ表示領域PP1をオーバーレイ表示させるようにしてもよいし、そのようにしなくてもよい。
【0357】
また、限定ではなく例として、図2-7において、音声データ一覧情報表示領域WR1の複数の音声データと映像データとを示す行がユーザによって選択され(タップされ)、続いて不図示の音声データ選択決定ボタンがタップされることで、複数の音声データと映像データとから一つの議事録データを作成するようにしてもよいし、そうしなくてもよい。
【0358】
<処理>
本実施例における処理は、限定ではなく例として、映像データに付随する音声トラックを音声データとみなすことで、図2-16と同様に実現可能であるため、ここでは詳細な説明を省略する。
【0359】
本実施例では、映像データ表示領域PP1に表示される映像(動画像)を、議事録データ表示領域PRW1に表示されるコンテンツと時間軸上で同期させて再生制御している。つまり、議事録データ表示領域PRW1に表示されるコンテンツの位置に合わせて、動画像の再生位置を変更している。
【0360】
これを実現するための手法としては、限定ではなく例として、議事録データ変換処理において、映像データに対して、各コンテンツを生成するために用いられた音声トラックの発話開始点にチャプターマーク(場面ごとの区切りを示すポインタ)をコンテンツと紐付けて挿入する。そして、議事録データ表示領域PRW1に表示されるコンテンツのうち、映像データ表示領域PP1に表示される映像の基準となるコンテンツと紐付けられたチャプターマークを再生開始点として映像データを再生させればよい。
【0361】
上記の他にも、限定ではなく例として、議事録データ変換処理において議事録データ表示領域PRW1に表示される最初の(先頭の)コンテンツを生成するために用いられた音声トラックの発話開始時刻を、映像データ表示領域PP1に表示される映像の再生基準点(再生開始時刻)とすることによっても実現可能である。再生基準点(再生開始時刻)が決まれば、テキストコンテンツの発話時刻に対応する時点(タイミング)から映像を再生することで、映像データ表示領域PP1に表示される映像(動画像)を、議事録データ表示領域PRW1に表示されるコンテンツと時間軸上で同期させることが可能となる。
【0362】
なお、限定ではなく例として、議事録の作成を開始した時刻(議事録作成開始時刻)の情報と、動画像の録画が開始された時刻(録画開始時刻)の情報とを記憶部28に保存しておく。そして、議事録作成開始時刻と録画開始時刻との差に基づいて、上記の再生基準点を決定してもよいし、そのようにしなくてもよい。
【0363】
<第5実施例の効果>
第5実施例は、映像データ(限定ではなく、撮像画像の一例)のうち少なくとも一部の領域を含むホワイトボードの動画像(限定ではなく、画像情報の一例)が、トークルーム(限定ではなく、チャットルームの一例)に入力され、端末20は、この動画像を含むコンテンツ表示領域TR1を表示部24に表示する構成を示している。
このような構成により得られる実施例の効果の一例として、文字情報では表現が難しい場合でも、画像情報を併用することで、チャットルームの中でより正確に情報が共有可能となる。
【0364】
また、第5実施例は、テキストコンテンツ(限定ではなく、文字情報の一例)等のコンテンツは、トークルームの議事録データ表示領域PRW1(限定ではなく、第1表示領域の一例)に表示され、動画像等の画像情報は、トークルームの映像データ表示領域PP1(限定ではなく、第2表示領域の一例)に表示される構成を示している。
このような構成により得られる実施例の効果の一例として、画像情報と文字情報とが互いに邪魔にならないようにチャットルームに表示することができる。
【0365】
また、第5実施例は、端末20が、端末20のユーザによる入力に基づいて、トークルームにおけるコンテンツのスクロール制御(限定ではなく、第1表示領域の位置を変化させる制御の一例)を制御部21によって行い、トークルームにおける映像データ表示領域PP1の位置(限定ではなく、チャットルームにおける第2表示領域の位置の一例)は、端末20のユーザによる入力に基づいて変化しない構成を示している。
このような構成により得られる実施例の効果の一例として、第1表示領域の位置を変化させる制御に関わらず、第2表示領域の位置は固定されるため、第2表示領域の閲覧性を向上させることができる。
【0366】
また、第5実施例は、画像情報は動画像の情報であり、端末20は、端末20のユーザによる上スクロールや下スクロール等の操作(限定ではなく、端末のユーザによる入力の一例)に基づいて、動画像の巻き戻しや早送りの制御(限定ではなく、動画像を再生する制御の一例)を制御部21によって行う構成を示している。
このような構成により得られる実施例の効果の一例として、動画像を再生する制御をユーザの入力に基づいて実行可能となるため、ユーザの利便性を向上させることができる。
【0367】
また、第5実施例は、端末20が、端末20のユーザによる入力に基づいて、テキストコンテンツを含むコンテンツのうちの一部のコンテンツ(限定ではなく、第3文字情報の一例)を議事録データ表示領域PRW1(限定ではなく、第1表示領域の一例)に表示する制御を制御部21によって行う。そして、端末20は、議事録データ表示領域PRW1に表示されるコンテンツに基づいて、動画像を再生する制御を制御部21によって行う構成を示している。
このような構成により得られる実施例の効果の一例として、端末のユーザによる入力に基づいて、文字情報のうちの一部の文字情報である第3文字情報を第1表示領域に表示する制御が行われる。そして、第1表示領域に表示される第3文字情報に基づいて動画像を再生する制御を実行可能となるため、ユーザの利便性を向上させることができる。
【0368】
また、この場合、限定ではなく例として、動画像の再生位置を、議事録データ表示領域PRW1に表示される一部のコンテンツ(第3文字情報)に基づいて変更するようにすることができる。
このような構成により得られる実施例の効果の一例として、第2表示領域に表示される動画像を、第1表示領域に表示されるコンテンツと時間軸上で同期させることができるため、ユーザにとって直感的で分かり易い動画像の再生を実現可能となる。
【0369】
また、第5実施例は、端末20が、端末20のユーザによる入力に基づいて、トークルームにおけるコンテンツのスクロール制御(限定ではなく、第1表示領域の位置を変化させる制御の一例)を制御部21によって行い、コンテンツのスクロール制御に基づいて表示部24に表示されるコンテンツに対応して動画像を再生する制御を制御部21によって行う構成を示している。
このような構成により得られる実施例の効果の一例として、第1表示領域の位置を変化させる制御に基づいて端末の表示部に表示される文字情報に対応して動画像を再生する制御を実行可能となるため、ユーザの利便性を向上させることができる。
【0370】
また、第5実施例は、上記の端末20のユーザによる入力は、スクロール操作による入力を含む構成を示している。
このような構成により得られる実施例の効果の一例として、端末のユーザは、スクロール操作という簡易かつ直感的な操作によって、動画像を再生することが可能となるため、ユーザの利便性を向上させることができる。
【0371】
<第5変形例(1)>
第5実施例では、バッチ追加モードでの例を説明したが、これに限定されない。限定ではなく例として、リアルタイムモードでも映像データに基づいて議事録データを作成してもよいし、そうしなくてもよい。
【0372】
この場合、限定ではなく例として、撮像部27を用いて映像データを取得し、映像データの音声トラックから部分音声データを作成すればよい。
【0373】
また、表示画面としては、コンテンツ表示領域TR1の左下側に、映像データ表示領域PP1が表示させ、映像データ表示領域PP1は、コンテンツ表示領域TR1に対してスクロール操作を行ってもその表示位置は固定されるようにすればよい。
【0374】
このとき、ユーザによってコンテンツ表示領域TR1に対して上スクロール操作が行われると、映像データ表示領域PP1に表示される映像は、コンテンツ表示領域TR1に表示されるコンテンツに合わせて巻き戻って表示される。
逆に、ユーザによってコンテンツ表示領域TR1に対して下スクロール操作が行われると、映像データ表示領域PP1に表示される映像は、コンテンツ表示領域TR1に表示されるコンテンツに合わせて早送りで表示される。
【0375】
<第5変形例(2)>
第5実施例では、映像(動画像)データを用いて議事録データを作成する場合、映像データ表示領域PP1に映像が表示されることとしたが、これに限定されない。限定ではなく例として、編集機能ボタンBT1がタップされ、映像(動画像)の挿入操作が選択される場合、その映像を映像データ表示領域PP1に表示させるようにしてもよいし、そのようにしなくてもよい。
【0376】
この場合においても、映像データ表示領域PP1に表示される映像は、限定ではなく例として、コンテンツ表示領域TR1に対するスクロール操作によって、限定ではなく例として、早送りや巻き戻し等の表示操作が行われるようにしてもよいし、そのようにしなくてもよい。
【0377】
<第6実施例>
第6実施例は、チャットルーム(トークルーム)に表示されるコンテンツ(メッセージ)の表示態様に関する実施例である。
第6実施例では、メッセンジャー(メッセージングサービス、メッセージングアプリケーション)の種類に応じて、同一のコンテンツに対してチャットルームで表示される態様を異ならせる。
第6実施例に記載の内容は、他の各実施例や他の各変形例のいずれにも適用可能である。
【0378】
図6-1は、メッセンジャーの種類ごとに表示態様を規定した表示形式テーブルTBL1の一例を示す図である。
この表示形式テーブルTBL1は、限定ではなく例として、サーバ10の記憶部15に記憶される。
【0379】
表示形式テーブルTBL1では、メッセンジャーの種類ごとに、限定ではなく例として、改行位置と、吹き出し頻度と、絵文字表示とが関連付けて規定されている。
【0380】
改行位置は、コンテンツ中の一行の長さを規定した文字数であり、改行位置で規定される文字数を超える場合、限定ではなく例として、自動的に改行されて表示される。
【0381】
吹き出し頻度は、単一のテキストコンテンツの中に包含され得る行数を規定したものであり、吹き出し頻度で規定される行数を超える場合、限定ではなく例として、自動的にテキストコンテンツが分割され、複数のコンテンツとして表示される。
【0382】
絵文字表記は、絵文字の表示に関わる規定であり、限定ではなく例として、コンテンツ中に含まれる絵文字を絵として表示させる(「絵文字」として規定)か、絵文字の内容に沿うテキストに変換して表示させる(「テキスト変換」として規定)か、絵文字を削除して表示させる(「削除」として規定)かのいずれかの表記を取る。
【0383】
ここで、絵文字とは、限定ではなく例として、Unicode6形式以降でEmojiとして定義されている、物や事柄を、絵を文字のように用いて象徴的に示唆するもののことを指す。
【0384】
表示形式テーブルTBL1は、限定ではなく例として、「メッセンジャーA」では、コンテンツ中の文章の28文字ごとに改行を行い、10行を超える場合には別なコンテンツに分割し、絵文字は絵文字として表示させる態様を適用することを規定している。
【0385】
また、限定ではなく例として、「メッセンジャーB」では、コンテンツ中の文章の16文字ごとに改行を行い、4行を超える場合には別なコンテンツに分割し、絵文字は絵文字として表示させる態様を適用することを規定している。
【0386】
同じ長さの文字列からなる文章を表示させる場合、「メッセンジャーA」よりも「メッセンジャーB」では、単一のコンテンツに含まれる文字数は少なく、また、一行当たりの文字数も少ない。
すなわち、「メッセンジャーB」の表示領域は、「メッセンジャーA」の表示領域よりも狭いことが推測される。
【0387】
限定ではなく例として、「メッセンジャーC」では、コンテンツ中の文章の30文字ごとに改行を行い、12行を超える場合には別なコンテンツに分割し、絵文字はテキストに変換して表示させる態様を適用することを規定している。
【0388】
この場合、「メッセンジャーC」は、単一のコンテンツに含まれる文字数が多く、コンテンツ中の情報が文字に置き換えられることから、テキストの表示に特化したメッセンジャーであることが推測される。
【0389】
限定ではなく例として、「メッセンジャーD」では、コンテンツ中の文章の140文字ごとに改行を行い、1つのコンテンツは一文のみを含み、絵文字は削除(省略)して表示させる態様を適用することを規定している。
【0390】
このことから、「メッセンジャーD」は、短文をやり取りすることに特化したメッセンジャーであることが推測される。
【0391】
サーバ10の制御部11は、使用されるメッセンジャーに基づいて、限定ではなく例として、表示形式テーブルTBL1に規定される形式に議事録データを成形し、チャットルームに追加(入力)する。
【0392】
なお、議事録データをサーバ10から受信した後、端末20Aで表示形式テーブルTBL1に従い、表示態様を異ならせるようにしてもよいし、そうしなくてもよい。
【0393】
<第6実施例の効果>
第6実施例は、議事録データのテキストコンテンツ(限定ではなく、文字情報の一例)は、メッセンジャーA(限定ではなく、チャットサービスの一例)の種類に基づく態様で、チャットルームに入力される構成を示している。
このような構成により得られる実施例の効果の一例として、チャットサービスの特性に基づいて、文字情報の表示態様を異ならせることができる。これにより、ユーザの閲覧性を向上させることができる。
【0394】
また、第6実施例は、文字情報は、チャットサービスの種類に基づく改行位置で改行されて、チャットルームに入力される構成を示している。
このような構成により得られる実施例の効果の一例として、チャットサービスの特性に応じて一行の文字数を変化させることができ、ユーザの利便性を向上させることができる。
【0395】
<第6変形例(1)>
第6実施例では、サーバ10の制御部11が、表示形式テーブルTBL1に合わせて議事録データを成形していたが、これに限定されない。
限定ではなく例として、メッセンジャーの種類に応じた議事録データの成形は、端末20で実行してもよいし、そのようにしなくてもよい。
【0396】
この場合、限定ではなく例として、端末20の記憶部28に表示形式テーブルTBL1を記憶させる。そして、端末20の制御部21は、サーバ10から議事録データを受信すると、メッセンジャーの種類に応じて、表示形式テーブルTBL1に従い各コンテンツを成形し、表示部24に表示させる。
【0397】
<第6変形例(2)>
第6実施例では、表示形式テーブルTBL1はメッセンジャーの種類ごとに表示態様を規定したものであったが、これに限定されない。
【0398】
限定ではなく例として、端末20の表示部24の表示領域の大きさに応じて、表示態様を規定してもよいし、そのようにしなくてもよい。
【0399】
この場合、限定ではなく例として、表示部24が1334×750ピグセルより大きい表示画面の場合にはメッセンジャーAの表示態様で、1334×750ピグセル以下の表示画面の場合にはメッセンジャーBの表示態様で、それぞれコンテンツを成形させるようにすればよい。
【0400】
<第7実施例>
第7実施例は、会議や会合の出席状況に応じて、チャットルーム(トークルーム)に表示される議事録データに閲覧制限が設定される場合の実施例である。
第7実施例は、上記の(A)のタイミングに関する実施例である。
第7実施例に記載の内容は、他の各実施例や他の各変形例のいずれにも適用可能である。
【0401】
<データ構成>
本実施例におけるカレンダー情報管理データベース159の一例であるカレンダー情報管理データベース159Bのデータ構成例を図7-1に示す。
カレンダー情報管理データベース159Bには、スケジュール管理アプリケーションのカレンダーに登録されるイベントごとの管理データとして、カレンダー情報管理データが記憶される。
【0402】
各々のカレンダー情報管理データには、限定ではなく例として、イベントIDと、MSアプリケーションIDと、イベント名と、イベント開始日時と、イベント終了日時と、イベント開催場所と、関連URIと、招待者データと、出欠管理データとが記憶される。
【0403】
イベントIDと、MSアプリケーションIDと、イベント名と、イベント開始日時と、イベント終了日時と、イベント開催場所と、関連URIと、招待者データとについては、限定ではなく例として、カレンダー情報管理データベース159Aと同様であるため、再度の説明を省略する。
【0404】
出欠管理データには、そのイベントIDによって識別されるイベントに招待されたユーザの情報として、限定ではなく例として、MSアプリケーションIDと、出席時刻と、退席時刻とが関連付けて記憶される。
【0405】
MSアプリケーションIDは、限定ではなく例として、招待者データに記憶されるユーザのMSアプリケーションIDである。
【0406】
出席時刻は、MSアプリケーションIDで識別されるユーザの端末20が、限定ではなく例として、このイベントIDで識別されるイベント開催場所に設置されたビーコン装置から発信されるビーコン信号の受信圏内に到達した時刻である。
【0407】
退席時刻は、MSアプリケーションIDで識別されるユーザの端末20が、限定ではなく例として、このイベントIDで識別されるイベント開催場所に設置されたビーコン装置から発信されるビーコン信号の受信圏内から離脱した時刻である。
【0408】
すなわち、出席時刻と退席時刻とは、このイベントIDで識別されるイベント開始日時以降に出欠管理データに記憶される。
【0409】
なお、イベント開始日時以降に、ある端末がビーコン装置への接近と離脱を繰り返す場合、出欠管理データには、出席時刻と退席時刻との組を複数記憶するようにしてもよいし、そのようにしなくてもよい。また、端末がビーコン装置に接近しなかった場合には、出席時刻と退席時刻とに、ユーザが欠席したことを示す、限定ではなく例として、「NULL」の値を入れるようにしてもよいし、そのようにしなくてもよい。
【0410】
また、出席時刻と退席時刻とを取得する方法は、ビーコン装置を用いる方法に限定されない。限定ではなく例として、イベント開催場所の緯度と経度とで識別可能な位置情報に基づいて、各端末20の位置算出用情報検出部29Bにおいて位置情報を取得する。端末20がイベント開催場所の位置情報と所定の範囲内で合致する位置に移動した場合、その時刻を端末20のユーザの出席時刻にしてもよいし、そうしなくてもよい。端末20がイベント開催場所の位置情報と所定の範囲内で合致する位置を離れた場合、その時刻を端末20のユーザの退席時刻にしてもよいし、そうしなくてもよい。
【0411】
また、限定ではなく例として、イベント開催場所に設置されたカメラもしくは端末20の撮像部27を用いてイベント開催中に画像を取得し、その画像に対して顔認識を行うことで、ユーザの出席状況を取得してもよいし、そうしなくてもよい。
【0412】
または、限定ではなく例として、イベント開催場所に設置されたマイクもしくは端末20の音入力部25を用いてイベント開催中に音(音声を含む。)を取得し、その音に対して音認識(音声認識を含む。)を行うことで、ユーザの出席状況を取得してもよいし、そうしなくてもよい。
【0413】
もしくは、限定ではなく例として、出席時刻と退席時刻とを打刻する、端末20に対するユーザ入力に基づいて、ユーザの出席状況を取得してもよいし、そうしなくてもよい。
【0414】
なお、議事録データ変換処理を行うとき、この出席時刻と退席時刻に基づいて、音声データを取得した会議や会合に出席していないユーザやグループのみにメンション機能が働くようにしてもよいし、そうしなくてもよい。
【0415】
<表示画面>
図7-2は、限定ではなく例として、図2-12において、ユーザによって議事録投稿ボタンSBT1がタップされた場合におけるメッセージングアプリケーションのトークルームの表示画面の一例である。
【0416】
図7-2では、コンテンツ表示領域TR1には、限定ではなく例として、ユーザA.Aが送信した「先ほどの会議の議事録です」という文字のテキストコンテンツの下に、議事録データ概要コンテンツPRC2が表示されている。
【0417】
議事録データ概要コンテンツPRC2には、限定ではなく例として、議事録データ概要コンテンツPRC1と同様に、議事録タイトルと、議事録データが最後に修正された日時とが表示されている。また、議事録データ概要コンテンツPRC2には、この議事録データの作成に用いられた音声データ取得時における各ユーザの出席状況を確認するための出席確認機能ボタンBT8が表示されている。
【0418】
図7-3は、ユーザによって出席確認機能ボタンBT8がタップ操作された場合の表示画面の一例である。
限定ではなく例として、ユーザによって出席確認機能ボタンBT8がタップされると、コンテンツ表示領域TR1に出席確認状況表示領域WR7が表示される。
【0419】
出席確認状況表示領域WR7の左端には、限定ではなく例として、出欠管理データに記憶されるMSアプリケーションIDのユーザを示すアイコンが、一列に並んで表示されている。各ユーザのアイコンの右側には、限定ではなく例として、この議事録データの元となる音声データにおける取得開始から取得終了までの時間において、そのユーザが出席していたか否かを示すグラフが行ごとに表示されている。
これらのグラフは、限定ではなく例として、出欠管理データに記憶された各ユーザの出席時刻と退席時刻とに基づいて描画される。
【0420】
出席確認状況表示領域WR7では、限定ではなく例として、ユーザA.AとユーザB.BとユーザC.Cとは、会議(イベント)の開始から終了まで出席していたことが表示されている。また、ユーザD.Dは、開始から20分の時点から出席していたことが、ユーザE.Eは、開始から1時間の時点で退席したことが、それぞれ表示されている。
【0421】
図7-4は、ユーザD.Dの端末20Dにおいて議事録データを表示させる場合のトークルームの表示画面の一例である。
【0422】
図7-4において、コンテンツ表示領域TR1には、ユーザによって議事録データ概要コンテンツPRC2がタップされたことに基づき、議事録データ表示領域PRW2が表示されている。議事録データ表示領域PRW2の上部には、議事録データ表示領域PRW1の表示要素に加えて出席確認機能ボタンBT8が表示されている。
【0423】
ユーザD.Dが音声データ取得開始時から20分まで欠席していたことに基づいて、議事録データ表示領域PRW2では、20分以前のコンテンツ部分に関して閲覧制限がかけられていることを示す「ここから前は閲覧がロックされています」という文字と、施錠された鍵マークのロック状況アイコンIC1とが表示されている。すなわち、端末20Dでは、ユーザD.Dが欠席していた時間帯の議事録データについては、そのコンテンツを表示することができない。
【0424】
限定ではなく例として、ユーザによってロック状況アイコンIC1がタップされると、限定ではなく例として、この議事録データを投稿したユーザA.Aの端末20Aの表示部24に、閲覧制限を解除するか否かの選択用画面が表示される。
ユーザ操作に基づいて、閲覧制限が解除されることが選択される場合、端末20Dにおいて、議事録データ表示領域PRW2の20分以前のコンテンツ部分についても閲覧が可能となり、それらのコンテンツが表示される。
【0425】
なお、ユーザによってロック状況アイコンIC1がタップされる場合、この議事録データが投稿されたトークルームの全てのユーザに対して、閲覧制限を解除するか否かの選択用画面が表示されるようにしてもよいし、そのようにしなくてもよい。
【0426】
上記の表示画面例と同様に、ユーザE.Eの端末20Dにおいて議事録データを表示させる場合のトークルームの表示画面では、ユーザE.Eが音声データ取得開始時から60分以降欠席したことに基づいて、60分以降の議事録データのコンテンツ部分に関して閲覧制限がかけられる。
【0427】
<処理>
図7-5は、本実施例において各装置が実行する処理の流れの一例を示すフローチャートである。
左から順に、端末20Dの制御部21が実行する処理、端末20Aの制御部21が実行する処理、サーバ10の制御部11が実行する処理の一例をそれぞれ示している。
【0428】
まず、端末20Aの制御部21と、サーバ10の制御部11とは、議事録投稿処理を実行する。議事録投稿処理については、限定ではなく例として、図2-16と同様の処理で実現可能なため、詳細な説明を省略する。
【0429】
次いで、サーバ10の制御部11は、各々のユーザが欠席していた時間帯のコンテンツを不可視化するための、議事録制限データを対象となる(欠席していた時間帯が存在する)ユーザごとに生成する(S300)。
【0430】
そして、サーバ10の制御部11は、議事録制限データを通信I/F14によって対象となる端末20に送信する(S310)。
【0431】
端末20Dの制御部21は、通信I/F22によってサーバ10から議事録制限データを受信すると、議事録データに対して閲覧制限をかけ、表示部24に表示させる(D100)。
【0432】
入出力部23に対するユーザ操作に基づいて、議事録データの閲覧制限を解除することが選択される場合、端末20Dの制御部21は、閲覧制限解除要求情報を通信I/F22によってサーバ10に送信する(D110)。なお、議事録データの閲覧制限を解除しないことが選択される場合、端末20Dの制御部21は処理を終了する。
【0433】
通信I/F14によって端末20Dから閲覧制限解除要求情報を受信する場合、サーバ10の制御部11は、閲覧制限解除確認情報を通信I/F14によって端末20Aに送信する(S320)。閲覧制限解除要求情報を受信しない場合、サーバ10の制御部11は、処理を終了する。
【0434】
なお、サーバ10の制御部11は、閲覧制限解除確認情報を、議事録データ投稿先のトークルームに属する他の(閲覧制限解除要求情報を受信した以外の)すべてのユーザ端末に対して送信するようにしてもよいし、そのようにしなくてもよい。
【0435】
端末20Aの制御部21は、通信I/F22によってサーバ10から閲覧制限解除確認情報を受信する場合、閲覧制限を解除するか否かの選択用画面を表示部24に表示させる(A250)。なお、閲覧制限解除確認情報を受信しない場合、端末20Aの制御部21は、処理を終了する。
【0436】
入出力部23に対するユーザ操作に基づいて、閲覧制限を解除することが選択される場合、端末20Aの制御部21は、閲覧許可情報を通信I/F22によってサーバ10に送信し(A260)、処理を終了する。なお、閲覧制限を解除しないことが選択される場合、端末20Aの制御部21は、処理を終了する。
【0437】
なお、端末20A以外の端末に対して閲覧制限解除確認情報が送信される場合には、A250とA260とのステップと同様の処理を実行すればよい。
【0438】
通信I/F14によって端末20Aから閲覧許可情報を受信する場合、サーバ10の制御部11は、閲覧制限解除要求情報を送信した端末で議事録データを確認可能にするための閲覧制限解除処理を実行する(S330)。閲覧許可情報を受信しない場合、サーバ10の制御部11は、処理を終了する。
【0439】
そして、サーバ10の制御部11は、通信I/F14によって端末20Dに議事録データを送信すると(S340)、処理を終了する。
【0440】
なお、複数の端末に対して閲覧制限解除確認情報を送信した場合、閲覧制限解除処理が実行される条件としては、限定ではなく例として、以下のような場合が考えられる。
1)閲覧制限解除確認情報を送信した全ての端末から閲覧許可情報を受信する場合
2)閲覧制限解除確認情報を送信した過半数の端末から閲覧許可情報を受信する場合
3)議事録データを投稿した端末から閲覧許可情報を受信する場合
4)そのトークルームで定められるリーダーの端末から閲覧許可情報を受信する場合
【0441】
端末20Dの制御部21は、通信I/F22によってサーバ10から議事録データを受信すると、表示部24に更新して表示させる(D120)。そして、端末20Dの制御部21は、処理を終了する。
【0442】
<第7実施例の効果>
第7実施例は、議事録データ(限定ではなく、文字情報の一例)は、ユーザA.A(限定ではなく、端末のユーザの一例)と、ユーザB.B(限定ではなく、第1端末のユーザの一例)と、ユーザD.D(限定ではなく、第2端末のユーザの一例)とを含むグループ「X」のトークルーム(限定ではなく、第1チャットルームの一例)に入力され、少なくとも端末20D(限定ではなく、第2端末の一例)に対して送信される構成を示している。
このような構成により得られる実施例の効果の一例として、端末のユーザと、第1端末のユーザと、第2端末のユーザとは、第1チャットルームを介して情報を共有することができる。そのため、ユーザの利便性を向上させることができる。
【0443】
また、第7実施例は、端末20D(第2端末)に対して送信された議事録データのうちの一部のコンテンツ(限定ではなく、文字情報のうちの一部の文字情報である第4文字情報の一例)は、端末20Dの表示部24に表示されない構成を示している。
このような構成により得られる実施例の効果の一例として、第2端末の表示部では、文字情報の一部分が表示されないため、第2端末のユーザに対して共有する情報の制限を行うことができる。
【0444】
また、第7実施例は、議事録データのうちの一部のコンテンツ(限定ではなく、第4文字情報の一例)は、ユーザA.A(限定ではなく、端末のユーザの一例)と、ユーザB.B(限定ではなく、第1端末のユーザの一例)とに基づく許可によって、第2端末の表示部に表示される構成を示している。
このような構成により得られる実施例の効果の一例として、端末のユーザと第1端末のユーザとに基づく許可があれば、第2端末のユーザは制限されていた情報を閲覧することができる。このため、情報の共有範囲を柔軟に設定することができる。
【0445】
また、第7実施例は、議事録データのうちの開始後第1所定時間(限定ではなく例として、開始後20分)までのコンテンツ(限定ではなく、第4文字情報の一例)は、端末20、または端末20と通信するサーバ10で端末20D(限定ではなく、第2端末の一例)に関する情報(限定ではなく例として、ビーコン装置の接近情報)が取得される前に音入力部25によって取得された音声データのうちの開始後第1所定時間までの音声データ(限定ではなく、第3音情報の一例)に基づくコンテンツ(限定ではなく、第5文字情報の一例)である構成を示している。
このような構成により得られる実施例の効果の一例として、第2端末に関する情報と連動させて第4文字情報を決定することが可能となる。また、第5文字情報は、第2端末に関する情報が取得されるまでの文字情報となる。その結果、第2端末に関する情報が取得される前の文字情報が第2端末で表示されないようにすることができる。
【0446】
また、第7実施例は、議事録データのうちの開始第2所定時間後(限定ではなく例として、開始1時間後)からのコンテンツ(限定ではなく、第4文字情報の一例)は、端末20、または端末20と通信するサーバ10で端末20E(限定ではなく、第2端末の一例)に関する情報(限定ではなく例として、ビーコン装置の離脱情報)が取得された後に音入力部25によって取得された音声データのうちの開始後第2所定時間以降の音声データ(限定ではなく、第4音情報の一例)に基づくコンテンツ(限定ではなく、第6文字情報の一例)である構成を示している。
このような構成により得られる実施例の効果の一例として、第6文字情報は、第2端末に関する情報が取得された後の文字情報となる。その結果、第2端末に関する情報が取得された後の文字情報が第2端末で表示されないようにすることができる。
【0447】
また、第7実施例は、上記の第2端末に関する情報は、第2端末の位置に関する情報を含む構成を示している。
このような構成により得られる実施例の効果の一例として、第2端末の位置に関する情報に基づくことで、第2端末に関する情報が取得される前の文字情報が第2端末で表示されないようにすることや、第2端末に関する情報が取得された後の文字情報が第2端末で表示されないようにすることを、簡易かつ適切に実現することができる。
【0448】
<第7変形例(1)>
第7実施例では、ユーザの出席状況に応じてチャットルームに表示される議事録データに閲覧制限が設定される場合を説明したが、これに限定されない。限定ではなく例として、複数のチャットルーム(トークルーム)を用意し、ユーザの出席状況に応じて、それぞれのチャットルームに議事録データを分割して追加(入力)してもよいし、そのようにしなくてもよい。
【0449】
図7-6は、本変形例におけるトークルームの表示画面の一例である。
図7-6では、現在位置表示領域には、グループ「プロジェクトX」の5人のメンバーのうち4人のユーザで構成されるトークルームであることを示す「(4/5)」の表示が追加されている。その下には、このトークルームに所属するユーザであるユーザA.Aと、ユーザB.Bと、ユーザC.Cと、ユーザE.Eとのアイコンが表示されている。
【0450】
その下には、このトークルームに送信(投稿)されるコンテンツ(メッセージ)を表示するためのコンテンツ表示領域TR2が表示されている。
【0451】
コンテンツ表示領域TR2には、ユーザD.Dが会議の開始から20分の時点まで欠席していたことに基づいて、限定ではなく例として、実施例3の表示様態に従い、議事録データが入力されている。すなわち、コンテンツ表示領域TR2に追加(入力)されたコンテンツは、音声データの取得開始から20分後までの議事録データであり、グループ「プロジェクトX」のメンバーのうち、ユーザD.D以外が閲覧可能なコンテンツとなる。
【0452】
コンテンツ表示領域TR2の最下部には、グループ「プロジェクトX」のメンバー全員のアイコンが表記されたトークルーム遷移機能ボタンIC2が表示されている。限定ではなく例として、ユーザによってトークルーム遷移機能ボタンIC2がタップされると、グループ「プロジェクトX」のメンバー全員が閲覧可能なトークルーム画面が表示される。
【0453】
図7-7は、図7-6において、ユーザによってトークルーム遷移機能ボタンIC2がタップされた場合のトークルームの表示画面の一例である。
【0454】
図7-7では、現在位置表示領域には、グループ「プロジェクトX」の5人のメンバーのうち5人のユーザで構成されるトークルームであることを示す「(5/5)」の表示が追加されている。その下には、このトークルームに所属するユーザ全員のアイコンが表示されている。
【0455】
その下には、このトークルーム(すなわちグループ「プロジェクトX」のトークルーム)に送信(投稿)されるコンテンツ(メッセージ)を表示するためのコンテンツ表示領域TR1が表示されている。
【0456】
コンテンツ表示領域TR1には、ユーザD.Dが会議開始から20分の時点から出席し、ユーザE.Eは会議開始から1時間の時点で退席していたことに基づいて、限定ではなく例として、第3実施例の表示様態に従い、議事録データが入力されている。
【0457】
コンテンツ表示領域TR1に表示されるコンテンツは、グループ「プロジェクトX」のメンバー全員が閲覧可能なコンテンツである。そして、コンテンツ表示領域TR1には、議事録データのうち、音声データの取得開始20分後から1時間後までの議事録データが追加され、表示されている。
【0458】
コンテンツ表示領域TR1の最上部には、グループ「プロジェクトX」のメンバーのうち、ユーザD.D以外のアイコンが表記されたトークルーム遷移機能ボタンIC3が表示されている。また、コンテンツ表示領域TR1の最下部には、グループ「プロジェクトX」のメンバーのうち、ユーザE.E以外のアイコンが表記されたトークルーム遷移機能ボタンIC4が表示されている。
【0459】
限定ではなく例として、ユーザによってトークルーム遷移機能ボタンIC3がタップされると、グループ「プロジェクトX」のメンバーのうち、ユーザD.D以外が閲覧可能なトークルーム(すなわちコンテンツ表示領域TR2)が表示される。
限定ではなく例として、ユーザD.Dは、コンテンツ表示領域TR1のコンテンツを閲覧することはできるが、トークルーム遷移機能ボタンIC3をタップしてもトークルームは遷移せず、コンテンツ表示領域TR2に入力されたコンテンツは閲覧することができない。すなわち、ユーザD.Dは、会議に出席していない開始から20分までの議事録データを閲覧することができない。
【0460】
また、ユーザによってトークルーム遷移機能ボタンIC4がタップされると、グループ「プロジェクトX」のメンバーのうち、ユーザE.E以外が閲覧可能なトークルームが表示される。
このとき、ユーザE.Eがトークルーム遷移機能ボタンIC4をタップしても、トークルームは遷移せず、遷移先のトークルームに入力されたコンテンツは閲覧することができない。すなわち、ユーザE.Eは、会議に出席していない開始から1時間を過ぎた議事録データを閲覧することができない。
【0461】
なお、コンテンツ表示領域TR1にトークルーム遷移機能ボタンを表示させることは必須ではない。トークルーム遷移機能ボタンを表示させない場合、限定ではなく例として、ユーザ操作に基づいて、トークルーム間の遷移を実行してもよいし、そのようにしなくてもよい。
【0462】
また、限定ではなく例として、会議(イベント)の開始から終了まで出席しているユーザ(この場合、ユーザA.Aと、ユーザB.Bと、ユーザC.C)をメンバーとするトークルームが自動的に生成され、議事録データ全体をこのトークルームに追加(入力)するようにしてもよいし、そのようにしなくてもよい。
【0463】
本変形例は、議事録データのうちの開始第3所定時間後(限定ではなく例として、開始20分後)までのコンテンツ(限定ではなく、第4文字情報の一例)は、ユーザA.A(限定ではなく、端末のユーザの一例)と、ユーザB.B(限定ではなく、第1端末のユーザの一例)と含み、ユーザD.D(限定ではなく、第2端末のユーザの一例)を含まない第2トークルーム(限定ではなく例として、コンテンツ表示領域TR2)に入力され、文字情報のうちの第4文字情報を含まない文字情報は、第1トークルーム(限定ではなく例として、コンテンツ表示領域TR1)に入力される構成を示している。
このような構成により得られる変形例の効果の一例として、第4文字情報は第2端末のユーザを含まない第2トークルームに、第4文字情報を含まない文字情報は第1トークルームにそれぞれ入力されるため、トークルームごとに入力される文字情報が異なる。そのため、文字情報の閲覧制限を第2端末のユーザに意識させる事なくより自然に行うことができる。
【0464】
また、本変形例は、第2トークルーム(第2チャットルーム)から第1トークルーム(第1チャットルーム)に遷移することと、第1トークルームから第2トークルームに遷移することとが、端末20A(限定ではなく、端末の一例)と端末20B(限定ではなく、第1端末の一例)とによって実行される。その一方で、第1トークルームから第2トークルームに遷移することは、これらの端末20以外の端末20、限定ではなく例として端末20Dや端末20E(限定ではなく、第2端末の一例)によって実行されない構成を示している。
このような構成により得られる効果の一例として、第2端末のユーザへの文字情報の閲覧制限を適切に実現することができる。
【0465】
<第7変形例(2)>
第7実施例では、端末20において受信した議事録データに閲覧制限をかけていたが、これに限定されない。限定ではなく例として、サーバ10で議事録データ閲覧制限をかけ、サーバ10の制御部11は、各々の端末20には議事録データの一部を送信するようにしてもよいし、そうしなくてもよい。
【0466】
図7-8は、本実施例において各装置が実行する処理の流れの一例を示すフローチャートである。
左から順に、端末20Dの制御部21が実行する処理、端末20Aの制御部21が実行する処理、サーバ10の制御部11が実行する処理の一例をそれぞれ示している。
【0467】
まず、端末20Aの制御部21と、サーバ10の制御部11とは、議事録投稿処理を実行する。議事録投稿処理については、限定ではなく例として、図2-16と同様の処理で実現可能なため、詳細な説明を省略する。ただし、図2-16のS170のステップにおいて、音声データを取得したイベント(会議)に通しで参加していないユーザの端末に対しては、議事録データは送信されない。
【0468】
次いで、サーバ10の制御部11は、各ユーザが欠席していた時間帯のコンテンツを含まない議事録データである、部分制限議事録データを対象となる(欠席していた時間帯が存在する)ユーザごとに生成する(S350)。
【0469】
そして、サーバ10の制御部11は、部分制限議事録データを通信I/F14によって対象となる端末20に送信する(S360)。
【0470】
端末20Dの制御部21は、通信I/F22によってサーバ10から部分制限議事録データを受信すると、表示部24に表示させる(D150)。
【0471】
サーバ10の制御部11は、閲覧制限解除処理を実行する(S330)と、通信I/F14によって端末20Dに議事録データを送信し(S370)、処理を終了する。
【0472】
端末20Dの制御部21は、通信I/F22によってサーバ10から議事録データを受信すると、全文を含む議事録データを表示部24に更新して表示させる(D120)。
【0473】
このような構成により得られる変形例の効果の一例として、閲覧制限がかかる端末20に対して議事録データ全体を送信することは必須でなくなるため、通信量の削減を図ることができる。
【符号の説明】
【0474】
1 通信システム
10 サーバ
20 端末
図1-1】
図1-2】
図2-1】
図2-2】
図2-3】
図2-4】
図2-5】
図2-6】
図2-7】
図2-8】
図2-9】
図2-10】
図2-11】
図2-12】
図2-13】
図2-14】
図2-15】
図2-16】
図3-1】
図3-2】
図3-3】
図3-4】
図3-5】
図3-6】
図3-7】
図3-8】
図3-9】
図3-10】
図4-1】
図4-2】
図4-3】
図4-4】
図4-5】
図5-1】
図6-1】
図7-1】
図7-2】
図7-3】
図7-4】
図7-5】
図7-6】
図7-7】
図7-8】