IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ナレルシステム有限会社の特許一覧

特許7239963グループ音声通信と過去音声確認のためのコンピュータプログラム、方法及び装置
<>
  • 特許-グループ音声通信と過去音声確認のためのコンピュータプログラム、方法及び装置 図1
  • 特許-グループ音声通信と過去音声確認のためのコンピュータプログラム、方法及び装置 図2
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-07
(45)【発行日】2023-03-15
(54)【発明の名称】グループ音声通信と過去音声確認のためのコンピュータプログラム、方法及び装置
(51)【国際特許分類】
   H04L 67/02 20220101AFI20230308BHJP
   H04M 3/56 20060101ALI20230308BHJP
【FI】
H04L67/02
H04M3/56 Z
【請求項の数】 3
(21)【出願番号】P 2018074337
(22)【出願日】2018-04-07
(65)【公開番号】P2019185329
(43)【公開日】2019-10-24
【審査請求日】2021-04-07
(73)【特許権者】
【識別番号】301062798
【氏名又は名称】ナレルシステム株式会社
(72)【発明者】
【氏名】中村圭介
【審査官】岩田 玲彦
(56)【参考文献】
【文献】特開2008-177896(JP,A)
【文献】特開2013-089130(JP,A)
【文献】特開平11-281774(JP,A)
【文献】特開2009-139592(JP,A)
【文献】特開2006-190010(JP,A)
【文献】特開2016-114395(JP,A)
【文献】特開2003-308272(JP,A)
【文献】特開2000-286885(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04L 67/02
H04M 3/56
(57)【特許請求の範囲】
【請求項1】
端末の音声入力装置から入力される所定デシベル未満の連続的な期間を
区切り基準として
又は
該入力される内容の特殊性(所定の予約語の発音等)を区切り基準として
自動的に区切った音声単位
(他えば、一息の発言、「ピリオどうぞ」までの一文、等)に
対応する音声データを、
該入力された音声単位の順にサーバーに送信し記憶されるようにする
コンピュータプログラムであって、
サーバーに記憶された前記音声単位を新しい音声単位から順に
通信を利用して端末で再生するコンピュータプログラムであって
古い音声単位をさかのぼっている最中に、
新しい音声単位が記憶されたときは、
その音声単位が選ばれる
ことを特徴とするコンピュータプログラム
【請求項2】
請求項1に記載のコンピュータプログラムを用いた通信方法。
【請求項3】
請求項1に記載のコンピュータプログラムを用いた通信装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、グループ音声通信のためのコンピュータプログラム、方法及び装置に関する。
【背景技術】
【0002】
従来、インターネットを介した複数関係者間のグループ通話は、操作が煩雑であったりしたため、高齢者の気軽な井戸端会議や家族間の日常的な連絡、頻度の高い会社業務連絡、等にはあまり用いられなかった。また、会話の内容を後で確認する操作・手続も、テキストチャットに比べて煩雑であり、ほとんど活用されてこなかった。また、特許文献1-2はそれらをある程度解決しようとしたものだったが、同一チャンネル(テーマを共有する会話仲間、グループ)に属する複数人が同時に発話した際にリアルタイム配信品質を保証することが困難であり、また、複数の介護施設のルーターをまたぐ広域のインターネット通話プロトコル(独自ポート番号によるTCP/IP通信等)を開通させることも現実的に困難であった。
【先行技術文献】
【特許文献】
【0003】
【文献】特願2012-110125
【文献】特願2017-000287
【非特許文献】
【0004】
【文献】「SKYPE 会議通話」 http://www.skype.com/intl/ja/features/allfeatures/conference-calls/
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、本発明があ解決すべき課題は、複数人が同時に発話したときも配信品質(別の/元の端末で再生されるときの元々の音声単位の再現性)
が保証されること、複数の介護施設のルーターをまたぐ広域のインターネット通信プロトコルを開通し易くすること、又は、その両方により、現実的で手軽に・頻繁に利用できる、ある程度のグループ通話も可能な音声掲示板を実現することである。
【課題を解決するための手段】
【0006】
かかる課題を解決するため、
本発明の請求項1は、
端末の音声入力装置から入力される音量の少なさの連続性を区切り基準として又は該入力される内容の特殊性(所定の予約語の発音等)を区切り基準として
自動的に区切った音声単位(他えば、一息の発言、「ピリオどうぞ」までの一文、等)に対応する音声データを、
該入力された音声単位の順にサーバーに送信し記憶されるようにする
コンピュータプログラムを提供する。
:なお、「ピリオどうぞ」以外の「所定の予約語」としては、例えば「どうぞどうぞ」「くぎりますどうぞ」「カットカットカット」など、会話の内容と混同することの少ない様々な造語が考えられる。
>これにより、サーバーにおけるリアルタイム処理の必要性(特に同一時間帯における複数話者からの同時音声のリアルタイム合成の必要性)をなくし、配信品質(別の端末/元の端末で再生されるときの元々の音声単位の再現性)を向上することができる。

また、本発明の請求項2は、
前記送信をHTTPSで行うことを特徴とする
請求項1に記載のコンピュータプログラムを提供する。
>これにより、独自プロトコルに比して、関係するルータのポートがもともと空いている可能性と、各関連サイトの管理者に新たにポートを開けてもらえる可能性が高くなるため(最も有名で信頼性も高いプロトコルであるため)、広域のインターネト通信プロトコルを開通し、新しいチャンネル(グループ)を設定・構成することが容易になる。

また、本発明の請求項3は、
端末の音声入力装置から入力される音量の少なさの連続性(前記の連続性よりも大きな連続性に限る)を区切り基準として又は該入力される内容(所定の予約語の発音等)を区切り基準として、
サーバーに記憶された前記音声単位を新しい音声単位から順に通信を利用して端末で再生することを特徴とする
請求項1又は2に記載のコンピュータプログラムを提供する。
>これにより、子供や高齢者でも過去の発言を容易に確認することができ、家庭や会社でも手軽にかつ頻繁にグループ音声通話を利用することができるようになる。
:ここで「音声単位」に対応するものは、多くの場合、相手の反応を待つに至るまでの一利用者による一区切りのの発言(文、疑問文、文+疑問文、文の並び+疑問文、等)である。また、時間的に連続した発言としてまとまったWAVファイル等に対応し、サーバーおよび端末のOSにおけるファイル名は「利用者ID_チャンネルURIのID_開始時分秒_終了時分秒.WAV」等であってよく、これらは、チャンネルURIごと、利用者IDごとに階層的にディレクトリ管理されていてもよく、この場合には、ファイル名の一部が省略される等してもよい。

また、本発明の請求項4は、
複数の端末で前記サーバー又は細分化された該サーバーのURIを共有できるようにし、
該サーバー又は細分化された該サーバーのURIに関連づけて記憶する音声単位の順番を、音声単位の開始時刻、終了時刻又はそれらの中央の時刻により決定するようにし、
該サーバー又は細分化された該サーバーのURI宛に他の端末から送信された音声単位も
該サーバー又は細分化された該サーバーのURIを共有する該複数の端末において請求項3に沿って再生するようにした
コンピュータプログラムを提供する。
>これにより、音声単位の端末における再生順序を、サーバーの負荷をかけずに簡易に決定することができるようになり、リアルタイム性が損なわれるかわりに、安価で、現実的なグループ通話サービス(しかも過去発言が伝言板と同様に確認できる)を提供することが可能になる。

また、本発明の請求項5は、
端末が複数のサーバー又は細分化された該サーバーの複数のURIにアクセス可能になっており、
該端末からアクセスするサーバー又は細分化された該サーバーのURIを利用者により切り替え可能なように構成した
請求項1から4のいずれか一項に記載のコンピュータプログラムを提供する。
:この「切り替え」は、特許文献1のようにダイアル等で構成してもよく、音声認識により行ってもよく、健康管理スケジュール、レジャースケジュール、リフレッシュスケジュール、コミュニケーションスケジュール、報連相スケジュール、社員教育スケジュール、等にもとづいて所定の管理者が事前定義した自動タイマーでおこなってもよい
>これにより、一つの端末で複数のチャンネル(家族連絡チャンネル、ご近所井戸端チャンネル、〇〇町俳句の会チャンネル、等)を管理することが可能になる。

また、本発明の請求項6は、
前記切り替えを
端末の音声入力装置から入力される内容により利用者が指示できるようにした
請求項5に記載のコンピュータプログラムを提供する。
:「入力される内容」は、例えば「おばチャンネル1」「おばちゃんねる俳句」「おしゃべりBBSチャンネル1」等、「造語」とチャンネルの識別子を組み合わせたものなどであってもよく、それらの定義とチャンネルURIや各パスワードとのとの紐づけは利用者とは別の設定管理者がUSB接続等で端末の不揮発メモリ等にアクセスしてその中のファイルにCSV表形式等で設定することができる。
>これにより、高齢者や子供などの利用者にも使いやすい手軽なチャンネル切替が実現し、ビジネス用途でもより多くの利用頻度が期待される。

また、本発明の請求項7は、
端末の電源もしくは音声入力装置のON/OFF、入出力音量の大小、又は、それらの組合せについて、
端末の音声入力装置から入力される内容により利用者が指示できるようにした
請求項1から6のいずれか一項に記載のコンピュータプログラムを提供する。
:たとえば伝毛ののONやOFFは「おばチャンネル電源オン」「おばチャンネル電源オフ」、入出力音量のUPは「おばチャンネル音量プラスプラスプラス」(3度UPを意味する)、DOWNは「おばチャンネル音量マイナスマイナス」(2度のDOWNを意味する)などであってよい。
>これにより、両手がふさがっている場合でも制御が可能となる。

また、本発明の請求項8は、
サーバーに記憶され端末に通信された音声単位を端末が記憶し、
音声単位を再生すべき再度の機会に再度同様の通信をすることなく再生できるようにした
請求項3に記載のコンピュータプログラムを提供する。
:これは例えば、コンピュータプログラムが、端末のフラッシュメモリやハードディスクに、一意に識別可能なファイル名で音声単位に対応する対象WAVファイルを複数覚えておくことにより、実現することができる。
>これにより通信料を節約し、サーバーや回線を含めたサービスコストを削減するとともに、利用者の待ち時間も提言することができ、コスト的にもサービス品質的にも軽く、現実的なサービスを実現することができる。
:サーバーに保存するWAVファイル等(音声単位に対応する)のチャンネルごとのファイル名は、明らかに一意にすることができ、そのファイルが存在するかどうかのみで、通信「キャッシュ」が有効かどうかを決定することができる。キャッシュの領域が不足したときは、最も使用(再生)されていないWAVファイルを自動削除する等して対応することができる。

また、本発明の請求項9は、
端末において、音声単位の再生を開始すると決定したとき、又は、音声単位の再生が終了したとき、
次に再生すべき音声単位を
該当するサーバー又は細分化されたサーバーの該当するURIに
該端末が問い合わせするようにした
請求項1から8のいずれか一項に記載のコンピュータプログラムを提供する。
:問い合わせは、例えば、HTTPSのGETを用いて、接続するサーバーURI(チャンネル)に登録してある利用者ID(多くの場合、端末IDと同じでよい)、当該利用者IDに(当該チャンネルにおいて)対応する利用者パスワード、最後に再生した当該チャンネル内ファイル番号、等をパラメータとして行うことができる。
>端末に通信されて戻される内容は、多くの場合、最後に再生した当該チャンネル内ファイル番号から1を減じたものとなるが、減じる前の値が1の場合や、そのチャンネルに(多くは他人端末からの)新しい音声単位(したがって、最大のチャンネル内ファイル番号が付加されている)が記憶されている場合はには、そのチャンネル内ファイル番号(最大値)が通信されて端末に返され、最新の音声単位がもっとも優先されて端末で再生され、連絡の利便性に資することになる。、

また、本発明の請求項10は、
サーバーに記憶する音声単位として
端末における利用者の発言以外に
各サーバー又は細分化された該サーバーの複数の各URIに関連づけた
該当利用者層が暗記したい内容、リフレッシュのために聞きたい音楽、勉強したいテキスト又はニュース記事の系列を記憶した
請求項1から9のいずれか一項に記載のコンピュータプログラムを提供する。
:暗記したい内容は、たとえば英単語とその意味の組からなる系列(一組を一音声単位としてもよく、一定難易度レベルの複数組からなる系列を一音声単位としてもよい)。音楽も一曲を一音声単位としてもよく、アルバム等ごとにグルーピングした複数曲の系列を一音声単位としてもよい。勉強したいテキストやニュース(の読み上げ)についての音声単位への収容も同様に考えることができる。
>これにより、当該サービスの対象となる端末を携帯する利便性がさらに向上し、有用性の高いものになる。

また、本発明の請求項11は、
サーバーに記憶する音声単位として
端末における利用者の発言に加えて又は代えて
各サーバー又は細分化された該サーバーの複数の各URIに関連づけた
各自動応答システムによる
応答を記憶するようにした
請求項1から10のいずれか一項に記載のコンピュータプログラムを提供する。
:「加えて」の場合、グループの構成員の発言についてアドバイスするアドバイザーの端末が増えたような聞かせ方(利用者端末における再生シーケンス)となる。また、利用者の発言が質問形式である場合、QA形式のノート的な聞かせ方にすることができる。
:「代えて」の場合、利用者の発言(誤解等もありうる)を省略するため、タイムリーに利用者に有用な正しい知識のみを、グループ内の他の利用者に対して提供することができ、誤解による発言の内容が正としてひろまるリスクを抑えることができる。
:これはたとえばURI1に対しては、お笑い系の自動応答システムをひもづけて発言に体操した応答によりリラックス効果を生むことができ、URI2に対しては教養系の自動応答システムをひもづけて発言に関連する教養内容を通信して返すとともに後で聞き返しすることを可能にするものである。
>これにより、通話だけでなく、知識体系やカリキュラムシステムやニュースシステム(各社のWEBーAPI等)と連携させた汎用コミュニケーション(プラットフォーム)端末としてサービスや端末設定を構成することも容易となる。

また、本発明の請求項12は、
請求項1から11のいずれか一項に記載のコンピュータプログラムを用いた通信方法を提供する。

また、本発明の請求項13は、
請求項1から11のいずれか一項に記載のコンピュータプログラムを用いた通信装置を提供する。
【発明を実施するための形態】
【0007】
図1は、本発明の例としての一実施形態におけるクライアント(端末)側のコンピュータプログラムの動作を示す説明図である。
図(図2も同じ)において、「□」は処理を、「〇」はループ(繰り返し、タイマー割込みによるものを含む)、「◇」は分岐または分岐を含む処理を示す。
このような制御や処理を行える通信端末の仕組み、OS、プログラミング環境自体は周知であるため詳述しないが、当業者であれば、図1を参考にすれば、明らかに本発明によるクライアント端末を容易に実装することが可能である。

===以下、図1と同文===
■クライアント(NanoPi、ラズパイ又は安価なWindows端末などの端末)
□クライアント(端末)電源ON
□音声入力装置(マイクデバイス)と入力バッファを初期化し、音声入力をバッファリングし始める(音声入力スレッドを開始、1000~3000ms期間中の最大デシベルを大域変数に格納)
□音声出力装置(スピーカデバイス)と出力バッファを初期化し、再生可能にする(音声出力(再生)スレッドを初期化)
□利用者ID、及び、<端末内チャンネル番号,チャンネルURI,利用者毎チャンネルURIパスワード>の対応表(端末の設定管理者がCSVで設定)を所定ファイルからロードする
□前回使用していた端末内チャンネル番号および音量データ(再生用、録音用)をファイルからロードする
□チャンネル番号の変更フラグをたてる
〇メインループ(1000~3000msに1回タイマー割込処理する)
| □メインループへの再入禁止フラグが立っている(TRUEの)場合、ここでBREAKする(何もしない)
| ◇チャンネル番号の変更フラグが立っている場合
| | □利用者音声ファイルを初期化する(空にする)
| | □再生中のファイルがないことにする(再生フラグ←FALSE)
| | □メインループの再入禁止フラグを初期化する(再入禁止フラグ←FALSE)
| | □チャンネルの変更フラグをおろす
| ◇入力バッファに所定デシベル以上の利用者音声があり、かつ、区切りを意味する所定予約語がない場合(前回からの1000~3000msの間に)
| | □利用者音声を録音する(=現在の利用者音声ファイルに1000~3000ms分を追加する)
| | □メインループをBREAKする(ただし、音声出力(再生)スレッドには影響を与えない)
| ◇入力バッファに所定デシベル以上の利用者音声がない場合(前回からの1000~3000msの間に)又は所定予約語により発言を区切った場合
| ◇未送信の利用者音声ファイル内容がある場合(すなわち、利用者が発言を終えた(=所定デシベル未満の連続的な期間や所定予約語により発言を区切った)直後の場合)
| | ※再生中のファイルがある場合も、ない場合も、音声出力(再生)スレッドには影響を与えない
| | □メインループへの再入禁止フラグをたてる(TRUEにする)
| | □未送信の利用者音声ファイルをPOSTする(利用者ID,チャンネルURI、利用者の該チャンネルURIのパスワード、音声ファイルをエンコードしたものの4つをパラメータにする)
| | □メインループへの再入禁止フラグをおろす(FALSEにする)
| | □利用者音声ファイルを初期化する(空にする)
| ◇未送信の利用者音声ファイル内容がない場合
| ◇再生中のファイルがある場合
| | □メインループをBREAKする。すなわち、そのまま再生しつづける(なにもせず、マルチスレッド処理で音声出力(再生)スレッドは生きたまま)
| ◇再生中のファイルがない場合
| □サーバーから何を再生すべきかGETする(利用者ID,チャンネルURI、利用者の該チャンネルURIのパスワード、そのチャンネルで最後に再生した記事番号をパラメータにする)
| ◇再生すべきファイル(音声単位)がすでにダウンロード(キャッシュ)されている場合
| | □ダウンロード(キャッシュ)されているそのファイル(音声単位)の再生を開始する
| ◇再生すべきファイル(音声単位)がいまだダウンロード(キャッシュ)されていない場合
| □サーバーから新たにそのファイル(音声単位)をGETしキャッシュ(領域が足らない場合、最も古いものを削除してキャッシュ)して、そのファイルの再生を開始する
□現在のチャンネル番号および音量データ(再生用、録音用)をファイルにセーブする
□クライアント(端末)電源OFF
===以上、図1と同文===


図2は、本発明の例としての一実施形態におけるサーバー側のコンピュータプログラムの動作を示す説明図である。
サーバーソフトウエアについても、当業者は、図2を参考にすれば、容易に実装可能である。

===以下、図2と同文===
■サーバー
〇メインループ
□要求(HTTPSのGET又はPOST)の利用者ID/パスワードにより、チャンネル(URI)として許容していない利用者(クライアント、端末)からの要求(GETやPOST)をはじく
| ※チャンネルの利用者ID/パスワードの管理はディレクトリで階層化したプレインテキスト(パスワードはハッシュで照合する)とする
◇GETで次に再生すべきファイル(音声単位)を要求された場合
| ◇そのチャンネルのファイル数の更新がない場合、GETのパラメータに含まれるチャンネルURIとチャンネル内記事番号から、一つ前のファイル番号を計算して通信して返す
| ◇そのチャンネルのファイル数の更新がある場合、又は、チャンネル内記事番号が1の場合、そのチャンネルの最大ファイル番号(最新を聞いてもらう為)を通信して返す
◇GETで再生ファイル(音声単位)そのものを要求された場合
| □再生ファイル(音声単位)を通信して返す
◇POSTで保存して配信すべきファイル(音声単位)を受領した場合
□保存し、そのチャンネル(サーバーURI)のファイル数(=最大ファイル番号)を記憶するファイルを更新する
===以上、図2と同文===
他の実施の形態においては、以下のようなバリエーションもありうる。
端末の音声入力装置から入力される音量の少なさではなく、内容の特殊性を区切り基準として
自動的に区切った音声単位に対応する音声データを、
該入力された順にサーバーに送信し記憶されるようにすることもできる。
通信はHTTPS(インターネット)のほかに、やHTTP(イントラネット)でも行いうる。
サーバーに記憶された音声単位は新しい音声単位から順に通信を利用して端末で再生する。古い音声単位をさかのぼっている最中に、新しい音声単位が記憶されたときは、その音声単位が選ばれるモードと、いったん古い音声単位の記事番号が1となるまでさかのぼるモードを用意することもできる。
複数の端末で前記サーバーのURIを共有できるようにし、
URIに関連づけて記憶する音声単位の再生順番を開始時刻だけでなく終了時刻等により決定する。
端末は異なるチャンネルを構成する複数サーバーURIにアクセス可能になっており、
利用者音声による音声認識又はジョグダイアルにより切り替え可能なように構成している。
切り替えは、端末の音声入力装置から入力される内容により利用者が指示できる。
端末の電源もしくは音声入力装置のON/OFF、入出力音量の大小、等についても利用者が音声で指示可能である。
サーバーに記憶され端末に通信された音声単位は端末でキャッシュされ複数回の再生に対応する。
端末において、音声単位の再生を開始すると決定したとき、又は、音声単位の再生が終了したとき、
次に再生すべき音声単位を該当するサーバーURIに該端末が問い合わせをする(これらはGETでなくPOSTでも構わない)。
サーバーに記憶する音声単位として、端末における利用者の発言以外に、各URI等に関連づけた該当利用者層が暗記したい内容やリフレッシュのために聞きたい音楽やニュース記事等の系列を記憶する。
サーバーに記憶する音声単位として、端末における利用者の発言に加えて又は代えて、各自動応答システムによる応答を記憶するようにする。
【図面の簡単な説明】
【0008】
図1】本発明の例としての一実施形態におけるクライアント(端末)側のコンピュータプログラムの動作を示す説明図である。
図2】本発明の例としての一実施形態におけるサーバー側のコンピュータプログラムの動作を示す説明図である。
図1
図2