IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 沖電気工業株式会社の特許一覧

特開2024-18748情報処理装置、プログラム、情報処理方法、及び情報処理システム
<>
  • 特開-情報処理装置、プログラム、情報処理方法、及び情報処理システム 図1
  • 特開-情報処理装置、プログラム、情報処理方法、及び情報処理システム 図2
  • 特開-情報処理装置、プログラム、情報処理方法、及び情報処理システム 図3
  • 特開-情報処理装置、プログラム、情報処理方法、及び情報処理システム 図4
  • 特開-情報処理装置、プログラム、情報処理方法、及び情報処理システム 図5
  • 特開-情報処理装置、プログラム、情報処理方法、及び情報処理システム 図6
  • 特開-情報処理装置、プログラム、情報処理方法、及び情報処理システム 図7
  • 特開-情報処理装置、プログラム、情報処理方法、及び情報処理システム 図8
  • 特開-情報処理装置、プログラム、情報処理方法、及び情報処理システム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024018748
(43)【公開日】2024-02-08
(54)【発明の名称】情報処理装置、プログラム、情報処理方法、及び情報処理システム
(51)【国際特許分類】
   H04R 3/00 20060101AFI20240201BHJP
【FI】
H04R3/00 320
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2022122279
(22)【出願日】2022-07-29
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
2.WINDOWS
3.UNIX
4.WINDOWS MEDIA
5.AAC
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100140958
【弁理士】
【氏名又は名称】伊藤 学
(74)【代理人】
【識別番号】100137888
【弁理士】
【氏名又は名称】大山 夏子
(74)【代理人】
【識別番号】100190942
【弁理士】
【氏名又は名称】風間 竜司
(72)【発明者】
【氏名】福田 光太郎
【テーマコード(参考)】
5D220
【Fターム(参考)】
5D220BA06
5D220BC05
(57)【要約】      (修正有)
【課題】利用者の利便性をさらに向上させる情報処理装置、プログラム、情報処理方法、及び情報処理システムを提供する。
【解決手段】マイクアレイを2つ備える収音装置と、情報処理装置と、を含む情報処理システムにおいて、情報処理装置で動作する音処理アプリケーション231は、収音装置との接続状態を検出する検出部として機能するデバイス検出部241と、デバイス検出部241により前記情報処理装置との接続が検出された収音装置により得られた音信号を処理する処理部として機能する音処理部243と、仮想の音出力デバイスとして機能し、音処理部243による処理後の音信号である処理後音信号が入力される仮想スピーカ部251と、を備える。
【選択図】図3
【特許請求の範囲】
【請求項1】
情報処理装置であって、
収音装置との接続状態を検出する検出部と、
前記検出部により前記情報処理装置との接続が検出された収音装置により得られた音信号を処理する処理部と、
仮想の音出力デバイスとして機能し、前記処理部による処理後の音信号である処理後音信号が入力される仮想スピーカ部と、
を備える、情報処理装置。
【請求項2】
前記情報処理装置は、
前記検出部および前記処理部を有する音処理アプリケーションと、
前記仮想スピーカ部、および仮想の音入力デバイスとして機能し、前記仮想スピーカ部から出力される前記処理後音信号が入力される仮想マイク部を有する仮想ツールと、
を備え、
前記音処理アプリケーションからの前記処理後音信号の出力先には、前記音処理アプリケーションの提供者により、前記仮想ツールが事前に設定されている、請求項1に記載の情報処理装置。
【請求項3】
前記仮想マイク部は、前記情報処理装置により認識される名称として、前記音処理アプリケーションに対応する名称を有する、請求項2に記載の情報処理装置。
【請求項4】
前記検出部は、
接続が検出された前記収音装置のハードウェア識別情報を取得し、
前記ハードウェア識別情報が記憶部に保持されている対象デバイス識別情報と一致するか否かを照合し、
前記処理部は、前記ハードウェア識別情報が前記対象デバイス識別情報と一致した場合、前記収音装置により得られた音信号の処理を開始し、
前記ハードウェア識別情報が前記対象デバイス識別情報と一致しなかった場合、前記音信号の処理を実行せず、前記音信号を前記仮想スピーカ部へ出力する、
請求項3に記載の情報処理装置。
【請求項5】
前記処理部は、
前記検出部により、接続が検出されていた前記収音装置の接続が解除されたことが検出されると、前記収音装置により得られる音信号の処理を停止する、
請求項4に記載の情報処理装置。
【請求項6】
表示部に表示される通知および画面を生成する画面生成部と、
前記表示部への表示を制御する表示制御部をさらに備え、
前記画面生成部は、前記検出部により前記収音装置の接続が検出されると、前記処理部による前記音信号の処理の対象デバイスが検出された旨の通知を生成し、
前記表示制御部は、前記通知を前記表示部に表示させる、
請求項5に記載の情報処理装置。
【請求項7】
前記画面生成部は、前記検出部により前記収音装置の接続が解除されたことが検出されると、前記処理部による前記音信号の処理の対象デバイスの接続が解除された旨の通知を生成し、
前記表示制御部は、前記通知を前記表示部に表示させる、
請求項6に記載の情報処理装置。
【請求項8】
ユーザによるパラメータの変更操作に応じて、前記処理部による前記音信号の処理に係るパラメータを設定するパラメータ設定部、をさらに備え、
前記画面生成部は、前記ユーザによる前記パラメータの変更操作を受け付けるパラメータ設定画面を生成し、
前記表示制御部は、前記表示部に前記パラメータ設定画面を表示させる、
請求項7に記載の情報処理装置。
【請求項9】
前記処理部は、
前記収音装置により得られる前記音信号に対し、目的エリアの音の成分を強調するための音信号の処理である、エリア収音処理を行う、請求項8に記載の情報処理装置。
【請求項10】
前記処理部は、
前記収音装置により得られる前記音信号に対し、前記目的エリアの音の成分以外の周囲音の成分を弱める処理を行うことにより、前記エリア収音処理を行う、
請求項9に記載の情報処理装置。
【請求項11】
前記処理部は、
前記収音装置により得られる前記音信号に対し、前記目的エリアの音の成分を増幅する処理を行うことにより、前記エリア収音処理を行う、
請求項9または10に記載の情報処理装置。
【請求項12】
前記処理後音信号の出力先は、前記処理後音信号を利用する利用アプリケーションである、請求項2に記載の情報処理装置。
【請求項13】
前記利用アプリケーションは、前記処理後音信号の発生源の状態異常を前記処理後音信号に基づいて機械学習により検知する状態検知アプリケーションである、請求項12に記載の情報処理装置。
【請求項14】
コンピュータを、
情報処理装置と収音装置との接続状態を検出する検出部と、
前記検出部により前記情報処理装置との接続が検出された収音装置により得られた音信号を処理する処理部と、
仮想の音出力デバイスとして機能し、前記処理部による処理後の音信号である処理後音信号が入力される仮想スピーカ部と、
して機能させるための、プログラム。
【請求項15】
情報処理装置と収音装置との接続状態を検出することと、
前記情報処理装置との接続が検出された収音装置により得られた音信号を処理することと、
仮想の音出力デバイスとして機能する仮想スピーカ部に処理後の音信号である処理後音信号を入力することと、
を含む、コンピュータにより実行される情報処理方法。
【請求項16】
収音装置と、
情報処理装置と前記収音装置との接続状態を検出する検出部と、
前記検出部により前記情報処理装置との接続が検出された収音装置により得られた音信号を処理する処理部と、
仮想の音出力デバイスとして機能し、前記処理部による処理後の音信号である処理後音信号が入力される仮想スピーカ部と、
を含む、情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、プログラム、情報処理方法、及び情報処理システムに関する。
【背景技術】
【0002】
近年、技術の進歩により、PC(Personal Computer)、スマートフォン、またはスマートウォッチなど、一般ユーザが入手および利用可能な情報処理装置が多様化している。これらの種々の情報処理装置は、センサまたはマイク等の収音装置を備え、ユーザの音声またはその他の音を取得して利用することも一般的になってきている。さらに、上記情報処理装置では、収音装置により収音される音の強調に関わる処理が行われる。
【0003】
例えば、特許文献1および特許文献2には、雑音源からの音を低減しながら、ある特定の音源からの音を強調して取得する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平4-021000号公報
【特許文献2】国際公開第2004/034734号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、情報処理装置の利用者の利便性をさらに向上させることが可能な技術が提供されることが望まれる。
【0006】
そこで、情報処理装置の利用者の利便性をさらに向上させることが可能な技術を提供する。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある観点によれば、情報処理装置であって、収音装置との接続状態を検出する検出部と、前記検出部により前記情報処理装置との接続が検出された収音装置により得られた音信号を処理する処理部と、仮想の音出力デバイスとして機能し、前記処理部による処理後の音信号である処理後音信号が入力される仮想スピーカ部と、を備える、情報処理装置が提供される。
【0008】
前記情報処理装置は、前記検出部および前記処理部を有する音処理アプリケーションと、前記仮想スピーカ部、および仮想の音入力デバイスとして機能し、前記仮想スピーカ部から出力される前記処理後音信号が入力される仮想マイク部を有する仮想ツールと、を備え、前記音処理アプリケーションからの前記処理後音信号の出力先には、前記音処理アプリケーションの提供者により、前記仮想ツールが事前に設定されていてもよい。
【0009】
前記仮想マイク部は、前記情報処理装置により認識される名称として、前記音処理アプリケーションに対応する名称を有してもよい。
【0010】
前記検出部は、接続が検出された前記収音装置のハードウェア識別情報を取得し、前記ハードウェア識別情報が記憶部に保持されている対象デバイス識別情報と一致するか否かを照合し、前記処理部は、前記ハードウェア識別情報が前記対象デバイス識別情報と一致した場合、前記収音装置により得られた音信号の処理を開始し、前記ハードウェア識別情報が前記対象デバイス識別情報と一致しなかった場合、前記音信号の処理を実行せず、前記音信号を前記仮想スピーカ部へ出力してもよい。
【0011】
前記処理部は、前記検出部により、接続が検出されていた前記収音装置の接続が解除されたことが検出されると、前記収音装置により得られる音信号の処理を停止してもよい。
【0012】
表示部に表示される通知および画面を生成する画面生成部と、前記表示部への表示を制御する表示制御部をさらに備え、前記画面生成部は、前記検出部により前記収音装置の接続が検出されると、前記処理部による前記音信号の処理の対象デバイスが検出された旨の通知を生成し、前記表示制御部は、前記通知を前記表示部に表示させてもよい。
【0013】
前記画面生成部は、前記検出部により前記収音装置の接続が解除されたことが検出されると、前記処理部による前記音信号の処理の対象デバイスの接続が解除された旨の通知を生成し、前記表示制御部は、前記通知を前記表示部に表示させてもよい。
【0014】
ユーザによるパラメータの変更操作に応じて、前記処理部による前記音信号の処理に係るパラメータを設定するパラメータ設定部、をさらに備え、前記画面生成部は、前記ユーザによる前記パラメータの変更操作を受け付けるパラメータ設定画面を生成し、前記表示制御部は、前記表示部に前記パラメータ設定画面を表示させてもよい。
【0015】
前記処理部は、前記収音装置により得られる前記音信号に対し、目的エリアの音の成分を強調するための音信号の処理である、エリア収音処理を行ってもよい。
【0016】
前記処理部は、前記収音装置により得られる前記音信号に対し、前記目的エリアの音の成分以外の周囲音の成分を弱める処理を行うことにより、前記エリア収音処理を行ってもよい。
【0017】
前記処理部は、前記収音装置により得られる前記音信号に対し、前記目的エリアの音の成分を増幅する処理を行うことにより、前記エリア収音処理を行ってもよい。
【0018】
前記処理後音信号の出力先は、前記処理後音信号を利用する利用アプリケーションであってもよい。
【0019】
前記利用アプリケーションは、前記処理後音信号の発生源の状態異常を前記処理後音信号に基づいて機械学習により検知する状態検知アプリケーションであってもよい。
【0020】
また、上記課題を解決するために本発明の別の観点によれば、コンピュータを、情報処理装置と収音装置との接続状態を検出する検出部と、前記検出部により前記情報処理装置との接続が検出された収音装置により得られた音信号を処理する処理部と、仮想の音出力デバイスとして機能し、前記処理部による処理後の音信号である処理後音信号が入力される仮想スピーカ部と、して機能させるための、プログラムが提供される。
【0021】
また、上記課題を解決するために本発明の別の観点によれば、情報処理装置と収音装置との接続状態を検出することと、前記情報処理装置との接続が検出された収音装置により得られた音信号を処理することと、仮想の音出力デバイスとして機能する仮想スピーカ部に処理後の音信号である処理後音信号を入力することと、を含む、コンピュータにより実行される情報処理方法が提供される。
【0022】
また、上記課題を解決するために本発明の別の観点によれば、収音装置と、情報処理装置と前記収音装置との接続状態を検出する検出部と、前記検出部により前記情報処理装置との接続が検出された収音装置により得られた音信号を処理する処理部と、仮想の音出力デバイスとして機能し、前記処理部による処理後の音信号である処理後音信号が入力される仮想スピーカ部と、を含む、情報処理システムが提供される。
【図面の簡単な説明】
【0023】
図1】本発明による情報処理システムの概要および機能構成例を説明するための説明図である。
図2】本実施形態による情報処理装置20の機能構成例を説明するブロック図である。
図3】本実施形態による音処理アプリケーション231の機能構成例を説明するためのブロック図である。
図4】画面生成部247により生成されるパラメータ設定画面の一例を説明するための説明図である。
図5】画面生成部247により生成されるパラメータ設定画面の他の一例を説明するための説明図である。
図6】画面生成部247により生成されるパラメータ設定画面の他の一例を説明するための説明図である。
図7】会議アプリケーション233において仮想マイク部253が音入力元デバイスとして選択される選択画面の一例を示す説明図である。
図8】本実施形態による情報処理システムの動作処理例を説明するためのフローチャート図である。
図9】本発明の一実施形態による情報処理装置20のハードウェア構成例を示す図である。
【発明を実施するための形態】
【0024】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0025】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字またはアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。
【0026】
<1.本発明の一実施形態による情報処理システムの概要>
本発明は、情報処理装置の利用者の利便性をさらに向上させることが可能な技術に関する。より詳細には、本発明によれば、情報処理装置の利用者が、当該情報処理装置に接続された収音装置を用いて所望の音を当該情報処理装置に入力し、他の装置へ送信させる際の、利用者の利便性を向上させることが出来る。より具体的には、本発明は、例えばヘッドセットに付属しているマイクから利用者の音声を収音して得られた音信号に利用者の音声をより強調するための処理を行って、処理後の音信号をリモート会議システムの相手先に送信するような場合に適用可能である。
【0027】
図1は、本発明による情報処理システムの概要および機能構成例を説明するための説明図である。図1に示したように、本実施形態による情報処理システムは、収音装置10および情報処理装置20を含む。収音装置10と情報処理装置20とは、有線により接続されている。なお、収音装置10および情報処理装置20は、無線接続により通信可能に構成されていてもよい。
【0028】
(収音装置10)
収音装置10は、マイクアレイ110を2つ備える収音装置である。マイクアレイ110は、それぞれ、少なくとも2以上のマイク(マイクロフォン)を備える2ch(Channel)以上のマイクアレイである。各マイクは、一般的な無指向性のマイクであってよい。マイクアレイ110Aおよびマイクアレイ110Bは、各々が2以上のマイクを有することで、収音範囲の指向性を備えることが出来る。
【0029】
また、マイクアレイ110Aおよびマイクアレイ110Bは、各々の収音範囲が重なるエリアに、収音装置10に音の入力を行う音源(例えば、情報処理装置20の利用者の顔面や口)が含まれるような位置に配置される。このように、マイクアレイ110Aおよびマイクアレイ110Bの収音範囲が重なるエリアを、以下、目的エリアとも称する。
【0030】
なお、マイクアレイ110Aおよびマイクアレイ110Bの位置は、収音装置10に音の入力を行う音源の位置に対して目的エリアが生じる位置関係に配置されていればよく、特に限定されるものではない。例えば、収音装置10に音の入力を行う音源の位置を包含する目的エリアに対して、マイクアレイ110Aおよびマイクアレイ110Bの指向性が交差するように配置してもよい。例えば、目的エリアを挟んで、マイクアレイ110Aおよびマイクアレイ110Bが対向するように配置してもよい。
【0031】
収音装置10は、例えば、2のマイクアレイを備えるヘッドセットにより実現されてもよい。または、収音装置10は、2以上のマイクアレイを含んで構成されるステレオスピーカ、キーボード、ネックスピーカ、または、モニターの上部に内蔵された指向性スピーカ等であってもよい。または、収音装置10は、マイクアレイ110単体を2以上組み合わせたものであってもよい。
【0032】
収音装置10は、図1に図示しないユーザの音声、および、収音可能な範囲内で発生するその他の音を収音する機能を有する。収音装置10は、収音した音の信号(音信号)を、情報処理装置20へ出力する。
【0033】
(情報処理装置20)
情報処理装置20は、収音装置10により得られる音信号に音処理を行う情報処理装置である。情報処理装置20は、例えば、PC(Personal Computer)により実現される。または、情報処理装置20は、サーバ(Server)、PDA(Personal Digital Assistant)、デジタルカメラ、オーディオプレーヤ、固定電話機、携帯電話機・スマートフォン、スマートウォッチ、タブレット端末、プリンタ、スキャナ、複合機、自動販売機、自動券売機、キオスク端末、現金処理機、ATM(Automated/Automatic Teller Machine)(Cash Machine)、測定機器、計測機器、医療機器、カーナビ(Automotive Navigation System)、自動車、アマチュア局用無線機、放送局用無線機、業務用無線機(例えば総務省令電波法施行規則第3条第1項(業務の分類及び定義)で示される業務用の情報伝達のための無線機器)、ゲーム機、テレビ、エアコン、空気清浄機、冷蔵庫、または電子レンジ等により実現されてもよい。
【0034】
情報処理装置20は、収音装置10により得られる音信号に音処理を行う、音処理アプリケーションとしての機能を有する。音処理アプリケーションは、例えば次のような機能を含む。
【0035】
第一の機能として、情報処理装置20は、収音装置10により得られる音信号に、目的エリアの音を強調する、または、目的エリア以外の周囲音を弱める処理を行う。
【0036】
より詳細には、目的エリアの音成分は、マイクアレイ110Aおよびマイクアレイ110Bの収音範囲が重なっているエリアの音成分である。従って、マイクアレイ110Aおよびマイクアレイ110Bのそれぞれにより得られる各音信号には、目的エリアの音成分が、同時(同位相)に、同じ大きさ(同強度)で含まれ得る。情報処理装置20は、このことを利用して、マイクアレイ110Aおよびマイクアレイ110Bにより得られる音信号を周波数領域で分析し、目的エリアの音成分を抽出する。情報処理装置20は、抽出された目的エリアの音成分について、当該音成分を強調する、または、目的エリアの音成分以外の音成分を弱める処理を行うことが出来る。
【0037】
また、情報処理装置20は、上述の様に、それぞれ2以上のマイクを備える2のマイクアレイ110を用いる方法で目的エリアの音成分を抽出することにより、収音装置10側からみて目的エリアの後方に妨害音が発生していても、目的エリアの音のみを抽出することが出来る。
【0038】
また、第二の機能として、情報処理装置20は、上記音処理を行う対象となる音信号が取得され得る収音装置を、対象デバイスとして識別する機能を有する。情報処理装置20は、対象デバイスと情報処理装置20との接続状態を検出する。さらに、情報処理装置20は、対象デバイスが接続されると、当該対象デバイスにより得られる音信号に上記処理を自動で開始する。これにより、情報処理装置20の利用者が手動で上記処理の開始操作を行う手間が省かれ、利用者の利便性が向上する。
【0039】
また、第三の機能として、情報処理装置20は、上記処理を行った後の音信号が、情報処理装置20上で動作するリモート会議システム等の会議アプリケーションに入力されるための、仮想スピーカおよび仮想マイクの機能を有する。仮想スピーカは、情報処理装置20で仮想の音出力デバイスとして機能する。仮想スピーカには、上記処理後の音信号が入力される。また、仮想スピーカに入力された音信号は、情報処理装置20で仮想の音入力デバイスとして機能する仮想マイクに入力される。本発明において、仮想スピーカおよび仮想マイクを、併せて仮想ツールとも称する。
【0040】
さらに、音処理アプリケーションからの処理後の音信号の出力先には、当該音処理アプリケーションの提供者により、上記仮想ツールが事前に設定されている。
【0041】
情報処理装置20の利用者は、情報処理装置20上で会議アプリケーションに上記処理後の音信号を入力させたいときに、音入力デバイスとして上記仮想マイクを選択することが出来る。さらに、本発明による上記仮想マイクの、利用者に提示される名称には、上記音の処理を行う音処理アプリケーションに対応する名称が設定される。従って、情報処理装置20の利用者は、音入力デバイスに選択し得るデバイスのうち、どの入力デバイスを用いるかを、容易に認識し得る。
【0042】
以上、図1を参照して、本実施形態による情報処理システムの概要を説明した。続いて、図2および図3を参照して、本実施形態による情報処理装置20の機能構成例を説明する。
【0043】
<2.機能構成例>
<2-1.情報処理装置20>
図2は、本実施形態による情報処理装置20の機能構成例を説明するブロック図である。図2に示したように、情報処理装置20は、通信部210、記憶部220、制御部230、操作表示部270、および、音出力部280を有する。
【0044】
(通信部210)
通信部210は、制御部230の制御に従って、外部装置との間で各種通信を行う機能を有する。例えば、通信部210は、収音装置10により得られ、制御部230により処理が行われた後の音信号を、当該音信号が入力される会議アプリケーションでの通話相手先の情報処理端末へ送信してもよい。
【0045】
(記憶部220)
記憶部220は、ソフトウェアおよび各種データを保持する。例えば、記憶部220は、OS(Operating System)や後述する音処理アプリケーションのプログラムを保持する。また、記憶部220は、音処理アプリケーションによる音の処理の対象となる対象デバイスの、対象デバイス識別情報を保持する。
【0046】
また、記憶部220は、後述するエリア収音処理に関連するパラメータの設定値を記憶する。例えば、パラメータの設定値が記述された設定ファイル(例えば、ini形式ファイル)が、記憶部220に保持されていてもよい。
【0047】
(制御部230)
制御部230は、CPU(Central Processing Unit)またはGPU(Graphics Processing Unit)などの演算装置を含み、ROM(Read Only Memory)により記憶されているプログラムがRAM(Random Access Memory)に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータにより読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されてもよいし、複数のハードウェアの組合せにより実現されてもよい。
【0048】
演算装置による演算に必要なデータは、記憶部220によって適宜記憶される。記憶部220は、RAM、ハードディスクドライブまたはフラッシュメモリなどのメモリによって構成されてよい。
【0049】
このような制御部230は、情報処理装置20の動作全般を制御する。例えば、制御部230は、通信部210を制御して、処理後の音信号を外部装置へ送信させる。
【0050】
また、制御部230は、音処理アプリケーション231、会議アプリケーション233、および、表示制御部235としての機能を有する。音処理アプリケーション231が有する本体部240、および仮想ツール部250の機能の詳細は、後に図3を参照して詳細に説明する。
【0051】
会議アプリケーション233は、情報処理装置20の利用者が、外部装置を用いている他の利用者とネットワークを介して音および映像により対話または情報の共有を行うことを可能とするアプリケーションである。会議アプリケーション233は、音入力部260としての機能を有する。音入力部260には、利用者または会議アプリケーション233の初期設定により選択される音出力デバイスから出力される音信号が入力される。会議アプリケーション233は、特定の会議アプリケーションに限定されない。会議アプリケーション233は、既知の会議アプリケーションであってよい。
【0052】
表示制御部235は、操作表示部270に各種画面を表示させる制御を行う機能を有する。
【0053】
(操作表示部270)
操作表示部270は、情報処理装置20の利用者による各種操作を受け付けることが可能な操作部としての機能を有する。例えば、情報処理装置20の利用者は、操作表示部270を操作することにより、リモート会議システムアプリケーションに入力される音の入力元デバイスの選択操作を行ってもよい。
【0054】
また、操作表示部270は、表示制御部235の制御に従って、各種画面を表示する表示部としての機能を有する。
【0055】
操作表示部270の操作部としての機能は、例えば、タッチパネルまたはキーボードにより実現され得る。また、表示部としての機能は、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)、OLED(Organic Light Emitting Diode)装置により実現され得る。なお、表示部としての機能および操作部としての機能は分離して構成されてもよい。
【0056】
(音出力部280)
音出力部280は、制御部230の制御に従って、音を出力する機能を有する。音出力部280は、例えば、スピーカおよびヘッドフォンなどの音出力装置により実現される。音出力部280は、音声データ等に含まれる音信号を音に変換して出力する。
【0057】
以上、図2を参照して、本実施形態による情報処理装置20の機能構成例を説明した。続いて、図3を参照して、上述した音処理アプリケーション231の有する機能を詳細に説明する。
【0058】
図3は、本実施形態による音処理アプリケーション231の機能構成例を説明するためのブロック図である。図3に示したように、音処理アプリケーション231は、本体部240、および、仮想ツール部250としての機能を有する。本体部240、および、仮想ツール部250は、同一のインストーラによって一体的に情報処理装置20にインストールされる。
【0059】
音処理アプリケーション231は、例えば、情報処理装置20の起動時に自動で立ち上がり、バックグランドアプリとして常駐していてもよい。音処理アプリケーション231は、後述する対象デバイスである収音装置10の接続が検出されるまで、バックグランドで待機していてもよい。このとき、音処理アプリケーション231は、待機状態では音信号の処理を行わない。また、情報処理装置20の利用者が操作表示部270を操作することにより、手動で音処理アプリケーション231を起動することできてもよい。例えば、情報処理装置20の利用者は、音処理アプリケーション231の実行ファイル(例えばexeファイル)を直接実行することにより、音処理アプリケーション231を起動してもよい。
【0060】
また、音処理アプリケーション231は、情報処理装置20の電源が落とされた場合には、自動的に終了してもよい。また、情報処理装置20の利用者が操作表示部270を操作することにより、手動で音処理アプリケーション231を終了させることが出来てもよい。例えば、情報処理装置20の利用者が、一般的なPCのデスクトップ画面の右下等に表示されるタスクトレイ等からメニューを開き、音処理アプリケーション231の終了を選択することが出来てもよい。
【0061】
(本体部240)
本体部240は、収音装置10により得られ、情報処理装置20に出力される音信号を処理する機能を有する。このような本体部240の機能は、より詳細には、デバイス検出部241、音処理部243、パラメータ設定部245、および、画面生成部247としての機能により実現される。
【0062】
デバイス検出部241は、情報処理装置20と収音装置10との接続状態を検出する機能を有する。デバイス検出部241は、情報処理装置20の検出部の一例である。
【0063】
デバイス検出部241は、情報処理装置20との接続が検出された収音装置10を一意に識別可能とする、収音装置10のハードウェア識別情報を取得する。さらに、デバイス検出部241は、取得されたハードウェア識別情報が、記憶部220に保持されている対象デバイス識別情報と一致するか否かを照合する。これにより、デバイス検出部241は、情報処理装置20と接続が検出された収音装置10が、対象デバイスであるか否かを検出することが出来る。なお、記憶部220に保持される対象デバイス識別情報は複数あってよい。
【0064】
音処理部243は、収音装置10により得られる音信号を処理する機能を有する。より詳細には、音処理部243は、収音装置10により得られる音信号に対し、目的エリアの音の成分を強調するための音信号の処理である、エリア収音処理を行う。このような音処理部243は、情報処理装置20の処理部の一例である。
【0065】
音処理部243は、デバイス検出部241による上記照合の結果、情報処理装置20との接続が検出された収音装置10のハードウェア識別情報が対象デバイス識別情報と一致した場合、収音装置10により得られた音信号の処理を自動的に開始する。また、音処理部243は、上記ハードウェア識別情報が対象デバイス識別情報と一致しなかった場合、収音装置10により得られる音信号の処理を実行せずに、当該音信号を後述する仮想スピーカ部251へ出力する。このように、情報処理装置20に音処理部243による音信号の処理の対象デバイスが接続されると、音処理部243による音信号の処理が自動的に開始される。また、情報処理装置20と対象デバイスとの接続が解除されると、音処理部243による音信号の処理が自動的に停止される。
【0066】
また、音処理部243は、エリア収音処理として、次のような処理を行ってもよい。例えば、音処理部243は、収音装置10により得られる音信号に対し、目的エリアの音の成分以外の周囲音の成分を弱める処理を行うことにより、エリア収音処理を行ってもよい。
【0067】
または、音処理部243は、収音装置10により得られる音信号に対し、目的エリアの音の成分を増幅する処理を行うことにより、エリア収音処理を行ってもよい。
【0068】
さらに、音処理部243は、収音装置10により得られる音信号に対し、目的エリアの音の成分以外の周囲音の成分を弱める処理と、目的エリアの音の成分を増幅する処理と、の両方の処理を行うことにより、エリア収音処理を行ってもよい。
【0069】
これにより、例えば収音装置10により収音される音信号のうち、収音装置10に向かって発話している利用者の音声が強調され、利用者の音声以外の雑音が相対的に弱められ得る。
【0070】
パラメータ設定部245は、情報処理装置20の利用者によるパラメータの変更操作に応じて、音処理部243による音信号の処理に係るパラメータを設定する機能を有する。
【0071】
より詳細には、パラメータ設定部245は、記憶部220に記憶されているパラメータの設定ファイルを読み込む機能を有する。設定ファイルは、例えばini形式のファイルであってもよい。また、記憶部220には、パラメータの設定値が互いに異なる複数パターンの設定ファイルが記憶されていてもよい。
【0072】
パラメータ設定部245は、記憶部220を参照して読み込んだ上記設定ファイルに基づいて、パラメータを設定する。また、パラメータ設定部245は、読み込んだ上記設定ファイルに基づく各パラメータの値を調整してもよく、調整後の値でパラメータを設定してもよい。さらに、パラメータ設定部245は、調整後の各パラメータの値を、新たなパターンの設定ファイルとして記憶部220に記憶させてもよい。音処理部243は、パラメータ設定部245により設定されたパラメータに基づいて、エリア収音処理を行う。
【0073】
画面生成部247は、情報処理装置20の利用者によるパラメータの変更操作を受け付けるパラメータ設定画面を生成する機能を有する。画面生成部247により生成されるパラメータ設定画面は、表示制御部235の制御に従って、操作表示部270に表示される。
【0074】
ここで、図4図6を参照して、画面生成部247により生成されるパラメータ設定画面と、情報処理装置20の利用者による変更操作が可能なパラメータについて説明する。
【0075】
図4は、画面生成部247により生成されるパラメータ設定画面の一例を説明するための説明図である。図4に示したように、画面生成部247は、例えば「設定パネル」等の名称で、利用者による各種パラメータの変更操作を受け付けることが可能なGUI(Graphical User Interface)を生成してもよい。
【0076】
図4に示した例では、画面生成部247により生成されるパラメータ設定画面(設定パネル)は、マイクゲイン(例えば設定範囲0~50、単位dB)、および、周囲音取り込みの度合い(例えば0~100の範囲)を変更可能なパラメータとして含む。また、図4に示したように、上記パラメータ設定画面は、音処理部243によるエリア収音処理における、目的エリア音の強調度合い、および、周囲音が弱められる度合いのいずれかまたは両方を調節することが可能な、効き具合のパラメータ(例えば、0~20の21段階)を含んでいてもよい。
【0077】
さらに、図4に示したように、画面生成部247により生成されるパラメータ設定画面は、押下操作により各パラメータの値を所定の初期値に設定することが可能な、デフォルト値ボタンを含んでいてもよい。所定の初期値は、音処理アプリケーション231の提供者により予め設定された値であってもよい。または、所定の初期値は、ユーザによる変更操作により更新されてもよい。または、所定の初期値は、自動的に更新されてもよい。例えば、所定の初期値は、ユーザによる変更操作履歴を学習データとして機械学習した学習モデルに基づいて自動的に更新されてもよい。
【0078】
図5は、画面生成部247により生成されるパラメータ設定画面の他の一例を説明するための説明図である。図5に示したように、画面生成部247は、例えば「詳細設定」等の名称で、利用者による、より詳細な各種パラメータの変更操作を受け付けることが可能なGUIを生成してもよい。
【0079】
図5に示した例では、画面生成部247により生成されるパラメータ設定画面は、収音装置10のマイクアレイを構成するマイクに関連するパラメータとして、MIC_INTERVAL(マイク間隔、mm単位)、MIC_GAIN_12(収音装置10のch1およびch2のマイクゲイン比)、および、MIC_GAIN_34(収音装置10のch3およびch4のマイクゲイン比)を含む。
【0080】
また、図5に示した例では、画面生成部247により生成されるパラメータ設定画面は、収音装置10により得られる音のゲイン調整に関連するパラメータとして、INPUT_GAIN(入力ゲイン、単位dB)、および、OUTPUT_GAIN(出力ゲイン、単位dB)を含む。
【0081】
図6は、画面生成部247により生成されるパラメータ設定画面の他の一例を説明するための説明図である。図6に示した例では、画面生成部247により生成されるパラメータ設定画面は、エリア収音エラー時の出力音の設定のラジオボタンを含む。エリア収音エラー時の出力音の設定は、音処理部243によるエリア収音処理でエラーが発生した場合に、音処理アプリケーション231から出力される音を指定することが可能な設定である。エリア収音エラー時の出力音の設定において、スルーが選択された場合には、音処理部243は、収音装置10により得られる音信号を、未処理のまま出力してもよい。または、無音が選択された場合には、音処理部243は、音信号の出力を行わなくてもよい。
【0082】
以上、図4図6を参照して、画面生成部247により生成されるパラメータ設定画面の例と、各パラメータを説明した。
【0083】
なお、パラメータは、上記で図4図6を参照して説明したパラメータの他にも、音処理部243によるエリア収音処理に用い得る他のパラメータを含んでいてよい。
【0084】
図3に戻って、音処理アプリケーション231の機能構成例の説明を続ける。図3に示したように、音処理アプリケーション231は、仮想ツール部250の機能をさらに有する。仮想ツール部250は、より詳細には、仮想スピーカ部251および仮想マイク部253の機能により構成される。
【0085】
仮想スピーカ部251は、情報処理装置20上で、仮想の音出力デバイスとして機能する。例えば、仮想スピーカ部251は、情報処理装置20上で動作する各種アプリケーションによって、音出力デバイスとして認識され得る。仮想スピーカ部251には、音処理部243による処理後の音信号が入力される。
【0086】
仮想マイク部253は、情報処理装置20上で、仮想の音入力デバイスとして機能する。例えば、仮想マイク部253は、情報処理装置20上で動作する各種アプリケーションによって、音入力デバイスとして認識され得る。仮想マイク部253には、仮想スピーカ部251から出力される音信号が入力される。これにより、情報処理装置20の利用者は、情報処理装置20上で動作する各種アプリケーションにおいて、仮想マイク部253を、音の入力元のデバイスとして選択することが出来る。例えば、情報処理装置20の利用者は、会議アプリケーション233の音入力部260へ入力される音信号に、仮想マイク部253から出力される音信号を指定することが出来る。
【0087】
また、仮想マイク部253は、情報処理装置20により認識される名称として、音処理アプリケーション231に対応する名称を有する。
【0088】
図7は、会議アプリケーション233において仮想マイク部253が音入力元デバイスとして選択される選択画面の一例を示す説明図である。図7の会議アプリ画面D1は、操作表示部270に表示される会議アプリケーション233の画面の一例である。図7に示したように、会議アプリ画面D1は、一般的な会議アプリケーションと同様に、情報処理装置20が備えるカメラ(図示せず)により取得される情報処理装置20の利用者の映像と、通話相手の映像を含む。また、図7に示したように、会議アプリ画面D1は、音入力デバイス指定欄SB1、および、カーソルC1を含む。
【0089】
図7に示したように、会議アプリケーション233の画面上で、情報処理装置20の利用者は、操作表示部270を操作してカーソルC1を動かすことにより、音入力デバイス指定欄SB1において、会議アプリケーション233に入力される音入力元デバイスを設定することが出来る。
【0090】
また、音処理アプリケーション231は、仮想スピーカ部251によって2以上の仮想の音出力デバイスとして機能してもよい。この時、2以上の音出力デバイスには同一の音声出力がなされてもよく、また、一方が一定の遅延を伴って音声出力がなされてもよい。本機能を有することで、一方の音出力が接続されるソフトウェアが遅延を伴う場合でも、適切に音声処理を行うことができる。例えば、一つの仮想スピーカを会議アプリケーション233の音入力元デバイスと設定し、もう一方を録音アプリケーションの音入力元デバイスに設定することができる。
【0091】
また、図7に示したように、音処理アプリケーション231には、情報処理装置20により認識される仮想マイク部253の名称として、「音処理アプリマイク」という名称が表示されていることが理解される。図7に示した例は、情報処理装置20の利用者が操作表示部270を操作することにより、複数ある音入力デバイスの中から音処理アプリマイクが音入力元に選択された結果、音入力デバイス指定欄SB1に「音処理アプリマイク」という名称が表示されている状態の画面例である。以上、図7を参照して、会議アプリケーション233において仮想マイク部253が音入力元デバイスとして選択される選択画面の一例を説明した。
【0092】
以上、図2および図3を参照して、本実施形態による情報処理装置20の機能構成例を説明した。続いて、図8を参照して、本実施形態による情報処理システムの動作処理例を説明する。
【0093】
<3.動作処理例>
図8は、本実施形態による情報処理システムの動作処理例を説明するためのフローチャート図である。まず、情報処理装置20のデバイス検出部241が、情報処理装置20と収音装置10との接続状態を検出する。さらに、デバイス検出部241は、対応デバイスが情報処理装置20に接続されているかを検出する。
【0094】
対応デバイスと情報処理装置20との接続が検出されていない場合(S101/NO)、音処理部243は、収音装置10により得られる音信号への処理を行わない。このとき、画面生成部247は、対応デバイスの接続が解除された旨と、音処理部243による音信号の処理が停止した旨の通知を生成する。表示制御部235は、生成された上記通知を、操作表示部270に表示させる(S117)。
【0095】
対応デバイスと情報処理装置20との接続が検出されている場合(S101/YES)、画面生成部247は、対応デバイスの接続が検出された旨と、音処理部243による音信号の処理が開始した旨の通知を生成する。表示制御部235は、生成された上記通知を、操作表示部270に表示させる(S103)。
【0096】
次いで、パラメータ設定部245が、パラメータの設定処理を行う(S105)。このとき、パラメータ設定部245は、予め設定された初期値によりパラメータを設定する。
【0097】
続いて、音処理部243が、対象デバイスである収音装置10により得られる音信号の処理を行う(S107)。音処理部243による処理後の音信号は、仮想スピーカ部251に入力される(S109)。また、仮想スピーカ部251は、入力された処理後の音信号を仮想マイク部253に出力し、処理後の音信号を仮想マイク部に入力する(S111)。
【0098】
次いで、パラメータ設定部245は、情報処理装置20の利用者により、パラメータ設定画面において、パラメータの変更操作が行われたか否かを認識する(S113)。
【0099】
パラメータの変更操作が行われた場合(S113/YES)、S105~S111の処理が繰り返される。これにより、パラメータの変更操作が行われると、変更されたパラメータが即時に音処理部243による音信号の処理に反映され得る。
【0100】
パラメータの変更操作が行われていない場合(S113/NO)、S101~S113、S117の処理が繰り返される。このように、本実施形態による情報処理システムは、対応デバイスの接続が検出されると、当該対応デバイスの接続の解除が検出されるまで、当該対応デバイスにより収音される音信号の処理と、仮想スピーカおよび仮想マイクへの処理後の音信号の出力を繰り返す。
【0101】
以上、図8を参照して、本実施形態による情報処理システムの動作処理例を説明した。
【0102】
<4.ハードウェア構成例>
以上、本発明の一実施形態を説明した。上述した、情報処理装置20による、情報処理装置20と収音装置10との接続状態の検出、当該収音装置10が対象デバイスであるか否かの照合、対象デバイスにより得られる音信号へのエリア収音処理、および、処理後の音信号の仮想スピーカおよび仮想マイクへの出力の処理は、ソフトウェアと、情報処理装置20のハードウェアとの協働により実現される。以下では、本発明の実施形態による情報処理装置20のハードウェア構成例について説明する。
【0103】
なお、以下に説明する情報処理装置20のハードウェア構成例は、情報処理装置20のハードウェア構成の一例に過ぎない。したがって、情報処理装置20のハードウェア構成は、以下に説明する情報処理装置20のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。
【0104】
図9は、本発明の一実施形態による情報処理装置20のハードウェア構成例を示す図である。情報処理装置20は、CPU1001と、ROM1002と、RAM1003と、内部バス1004と、入出力インターフェース1010と、表示装置1011と、入力装置1012と、音声出力部1013と、記憶装置1014と、ドライブ1015と、ネットワークインターフェース1016と、外部インターフェース1017と、を備えることができる。
【0105】
CPU1001は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置20内の動作全般を制御する。CPU1001が後述するROM1002、RAM1003およびソフトウェアと協働することにより、例えば、制御部230の機能が実現され得る。
【0106】
ROM1002は、CPU1001が使用するプログラムおよび演算パラメータ等を記憶する。RAM1003は、CPU1001の実行において使用するプログラム、およびその実行において適宜変化するパラメータ等を一時記憶する。
【0107】
CPU1001、ROM1002、RAM1003は、内部バス1004によって相互に接続され、さらに入出力インターフェース1010を介して後述する表示装置1011、入力装置1012、音声出力部1013、記憶装置1014、ドライブ1015、ネットワークインターフェース1016および外部インターフェース1017と接続される。
【0108】
表示装置1011は、例えば、CRTディスプレイ装置、液晶ディスプレイ(LCD)、OLED装置などの表示装置であり、映像データを映像に変換して出力する。また、入力装置1012は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチおよび制御回路などから構成され得る。また、音声出力部1013は、スピーカおよびヘッドフォンなどの音声出力装置であり、音声データなどを音声に変換して出力する。
【0109】
記憶装置1014は、本実施形態による記憶部220の一例として構成されたデータ記憶用の装置である。記憶装置1014は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでいてもよい。記憶装置1014は、例えば、HDD(Hard Disk Drive)またはSSD(Solid State Drive)、あるいは同等の機能を有するメモリ等で構成される。この記憶装置1014は、ストレージを駆動し、CPU1001が実行するプログラムまたは各種データを記憶する。
【0110】
ドライブ1015は、記憶媒体用リーダライタであり、情報処理装置20に内蔵、または外付けされる。ドライブ1015は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記憶媒体に記憶されている情報を読み出して、RAM1003に出力する。また、ドライブ1015は、リムーバブル記憶媒体に情報を書き込むことも可能である。
【0111】
ネットワークインターフェース1016は、例えば、インターネットなどの通信網に接続するためのデバイス等で構成された通信インターフェースである。また、ネットワークインターフェース1016は、無線LAN(Local Area Network)対応通信装置であってもよいし、有線LANによる通信を行うワイヤー通信装置であってもよい。
【0112】
外部インターフェース1017は、例えばUSB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート、RS-232Cポートまたは光オーディオ端子などのような外部接続機器を接続するための接続ポートで構成された接続インターフェースである。なお、外部インターフェース1017は、BluetoothやIrDA(Infrared Data Association)などの近距離無線通信に対応し、無線通信により外部接続機器を接続する接続ポートであってもよい。
【0113】
<5.補足>
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明の技術的範囲はかかる例に限定されない。本発明の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0114】
例えば、上記実施形態では、情報処理装置20の音処理アプリケーション231が正常に動作する場合の情報処理装置20の動作例のみについて説明を行った。しかし、本発明は係る例に限定されない。例えば、音処理アプリケーション231の実行中に何らかのエラーが生じた場合には、情報処理装置20は、次のようなエラーの通知を生成し、操作表示部270に表示させる動作を行ってもよい。
【0115】
例えば、情報処理装置20は、デバイスエラーの通知を操作表示部270に表示させてもよい。デバイスエラーは、例えば、音処理アプリケーション231が実行されているにも関わらず、音処理部243によるエリア収音処理が開始されないエラーであってもよい。この場合、情報処理装置20の画面生成部247は、「エリア収音マイクが検出されましたが、エリア収音処理を開始できませんでした。」という通知を生成してもよい。さらに、画面生成部247は、何らかの原因で音声デバイスの取得に問題が発生していることの通知と、一度対象デバイスを抜いて再度差し込む指示の通知と、それでも問題が解決しない場合には情報処理装置20を再起動する指示の通知を生成してもよい。
【0116】
また、デバイスエラーは、情報処理装置20に、音処理アプリケーション231がインストールされていないことであってもよい。この場合、画面生成部247は、「音処理アプリケーション231がインストールされていないと、エリア収音処理は開始できません」という通知を生成してもよい。さらに、画面生成部247は、エリア収音処理が開始されない場合は、音処理アプリケーション231がインストールされていないことの通知と、マニュアルに従ってインストール作業を行う指示の通知とを生成してもよい。
【0117】
また、情報処理装置20は、システムエラーの通知を操作表示部270に表示させてもよい。システムエラーは、デバイス検出部241により対象デバイスが検出されたが、エリア収音処理を開始できなかったことであってもよい。この場合、画面生成部247は、「エリア収音マイクを検出しましたが、開始できませんでした」等の通知を生成してもよい。また、画面生成部247は、エリア収音処理が開始されない場合、何らかの原因で入力デバイスの取得に問題が発生していることの通知と、一度対応デバイスを情報処理装置20から抜き、再度差し込む指示の通知と、それでも問題が解決しない場合は情報処理装置20を再起動する指示の通知と、を生成してもよい。
【0118】
また、情報処理装置20は、収音装置10による無音の連続検出のエラーの通知を操作表示部270に表示させてもよい。この場合、画面生成部247は、「エリア収音マイクは接続されていますが、音声は途絶えています」という通知を生成してもよい。また、画面生成部247は、「エリア収音マイクは接続されていますが、音声は途絶えています」という通知が出ている場合は、対応デバイスから無音が連続して入力されていることの通知と、収音装置10と情報処理装置20の本体基盤の配線とが確実に接続されているかの確認を促す通知を生成してもよい。また、操作表示部270は、このようなエラーの通知を一度表示した後は、一度対象デバイスが情報処理装置20から抜かれるまで、当該エラーの通知を再び表示しないようにしてもよい。
【0119】
また、音処理アプリケーション231はハウリング検出機能を有してもよく、収音装置10によるハウリング検出のエラーの通知を操作表示部270に表示させてもよい。この場合、画面生成部247は、「ハウリングが発生しています」という通知を生成してもよい。また、制御部230はハウリングが検知されて一定時間、仮想マイク部253の出力を無音に設定してもよい。
【0120】
また、本実施形態による収音装置10、および情報処理装置20の動作の処理におけるステップは、必ずしも説明図として記載された順序に沿って時系列に処理する必要はない。例えば、収音装置10および情報処理装置20の動作の処理における各ステップは、説明図として記載した順序と異なる順序で処理されてもよく、並列的に処理されてもよい。
【0121】
また、上述した収音装置10および情報処理装置20に内蔵されるCPU、ROMおよびRAMなどのハードウェアに、本実施形態による情報処理システムの機能を発揮させるための1以上のコンピュータプログラムも作成可能である。また、当該1以上のコンピュータプログラムを記憶させたコンピュータにより読み取り可能な記憶媒体も提供される。
【0122】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本発明に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0123】
<6.その他>
<6.1.音処理アプリケーションの形成1>
上記では、情報処理装置20の起動時に、制御部230が記憶部220に保持される音処理アプリケーションのプログラム(インストーラによってインストールされた本体部240および仮想ツール部250)を実行することでエリア収音処理が行える音処理アプリケーション231が形成されることを説明した。ここで、仮想ツール部250は、OSとデバイス(例えば収音装置10等)との間で相互のやりとりを可能にするドライバー(Driver)のプログラムであってもよい。
【0124】
例えば、情報処理装置20の起動時に、情報処理装置20のOSにおけるサービス制御プログラムまたはオーディオ管理プログラム等のシステムプログラムにより仮想ツール部250がディスパッチされ(ドライバーである仮想ツール部250に基づきハードウェアを表すデバイスオブジェクトを生成し、デバイスを初期化しアプリケーションからデバイス名を使用できるようにし、アプリケーションからのデバイスに対する要求を処理できる状態とし)、そして本体部240がローディングされ実行されることで、音処理アプリケーション231が形成される。
【0125】
この場合、本体部240は実行可能ファイル(Executable File)のプログラム(例えば「WinMain()」関数をエントリーポイントとするプログラム)として構成されてもよく、仮想ツール部250は他のプログラムから呼び出されるドライバーのプログラム(例えば「DriverEntry()」関数をエントリーポイントとするプログラム)として構成されてもよい。
【0126】
また、情報処理装置20のOSのファイルシステムにおいて、本体部240は例えばファイル名「Hontai.exe」などのように実行可能ファイルをあらわす拡張子「.exe」が付与されたプログラムとして構成されてもよく、仮想ツール部250は例えばファイル名「KasouTool.sys」などのようにドライバーをあらわす拡張子「.sysy」が付与されたプログラムとして構成されてもよい。
【0127】
なお、サービス制御プログラムやオーディオ管理プログラム等のシステムプログラムは、情報処理装置20のOSのファイルシステムの所定の領域において、ドライバーである仮想ツール部250のプログラムを探し(例えば仮想ツール部250のファイル名およびプログラム中の「DriverEntry()」関数を検索し)、ディスパッチしてもよい。ここで、仮想ツール部250は、インストーラによって、OSのファイルシステムの所定の領域(例えば「%SystemRoot%¥System32¥Drivers」)に配置されるようにインストールされてもよい。
【0128】
なお、仮想ツール部250がドライバーのプログラムである場合、情報処理装置20の利用者が手動で音処理アプリケーション231を終了すると、本体部240が終了し、仮想ツール部250は終了しないようにしてもよい。つまり、仮想ツール部250による音処理アプリケーション231が維持されるようにしてもよい。
【0129】
<6.2.音処理アプリケーションの形成2>
上記では、情報処理装置20の起動時に、制御部230が記憶部220に保持される音処理アプリケーションのプログラム(インストーラによってインストールされた本体部240および仮想ツール部250)を実行することでエリア収音処理が行える音処理アプリケーション231が形成されることを説明した。しかし、対象デバイスである収音装置10の接続が検出されると、音処理アプリケーション231が形成されるようにしてもよい。
【0130】
<6.2.1.音処理部243の活性化>
例えば、情報処理装置20の起動時に、音処理部243を含まない本体部240と仮想ツール部250とがローディングされ実行されることで、音処理部243を含まない本体部240による音処理アプリケーション231が形成される。この状態で、音処理部243を含まない本体部240による音処理アプリケーション231は、本体部240の有するデバイス検出部241、パラメータ設定部245および画面生成部247の機能を発揮することができる。その後、情報処理装置20と収音装置10とが接続され、音処理部243を含まない本体部240による音処理アプリケーション231により対象デバイスである収音装置10の接続が検出されると、本体部240により音処理部243がローディングされて実行され、音処理部243を含む本体部240および仮想ツール部250による音処理アプリケーション231が形成される。この状態で、本体部240および仮想ツール部250による音処理アプリケーション231は、本体部240の有するデバイス検出部241、音処理部243、パラメータ設定部245および画面生成部247の機能に加え、仮想ツール部250の有する仮想スピーカ部251および仮想マイク部253の機能を発揮することができる。つまり、対象デバイスである収音装置10の接続が検出されると、エリア収音処理の機能(第一の機能)を有する音処理アプリケーション231が形成される。
【0131】
この場合、本体部240は実行可能ファイルのプログラム(例えば「WinMain()」関数をエントリーポイントとするプログラム)として構成されてもよく、音処理部243は他のプログラムから呼び出されるライブラリ(Dynamic Linking Library)のプログラム(例えば「DllEntryPoint()」関数をエントリーポイントとするプログラム)として構成されてもよい。
【0132】
また、情報処理装置20のOSのファイルシステムにおいて、本体部240は例えばファイル名「Hontai.exe」などのように実行可能ファイルをあらわす拡張子「.exe」が付与されたプログラムとして構成されてもよく、音処理部243は例えばファイル名「OtoSyori.dll」などのようにライブラリをあらわす拡張子「.dll」が付与されたプログラムとして構成されてもよい。
【0133】
なお、本体部240は、ライブラリである音処理部243のプログラムを動的に呼び出すための呼び出し関数(例えば「LoadLibrary()」関数)を含み、デバイス検出部241において対象デバイスである収音装置10の接続が検出されると、ライブラリである音処理部243のプログラムの名称を指定し呼び出し関数を実行(例えば情報処理装置20のOSのファイルシステム上におけるファイル名「OtoSyori.dll」をパラメータとする関数「LoadLibrary(“OtoSyori.dll”)」を実行)することでライブラリである音処理部243のプログラムをローディングし実行してもよい。
【0134】
<6.2.2.仮想ツール部250の活性化>
例えば、情報処理装置20の起動時に、本体部240がローディングされ実行されることで、本体部240による音処理アプリケーション231が形成される。この状態で、本体部240による音処理アプリケーション231は、本体部240の有するデバイス検出部241、音処理部243、パラメータ設定部245および画面生成部247の機能を発揮することができる。その後、情報処理装置20と収音装置10とが接続され、本体部240による音処理アプリケーション231により対象デバイスである収音装置10の接続が検出されると、本体部240により仮想ツール部250がローディングされ実行され、本体部240および仮想ツール部250による音処理アプリケーション231が形成される。この状態で、本体部240および仮想ツール部250による音処理アプリケーション231は、本体部240の有するデバイス検出部241、音処理部243、パラメータ設定部245および画面生成部247の機能に加え、仮想ツール部250の有する仮想スピーカ部251および仮想マイク部253の機能を発揮することができる。つまり、対象デバイスである収音装置10の接続が検出されると、仮想スピーカおよび仮想マイクの機能(第三の機能)を有する音処理アプリケーション231が形成される。
【0135】
この場合、本体部240は実行可能ファイルのプログラム(例えば「WinMain()」関数をエントリーポイントとするプログラム)として構成されてもよく、仮想ツール部250は他のプログラムから呼び出されるライブラリのプログラム(例えば「DllEntryPoint()」関数をエントリーポイントとするプログラム)として構成されてもよい。
【0136】
また、情報処理装置20のOSのファイルシステムにおいて、本体部240は例えばファイル名「Hontai.exe」などのように実行可能ファイルをあらわす拡張子「.exe」が付与されたプログラムとして構成されてもよく、仮想ツール部250は例えばファイル名「KasouTool.dll」などのようにライブラリをあらわす拡張子「.dll」が付与されたプログラムとして構成されてもよい。
【0137】
なお、本体部240は、ライブラリである仮想ツール部250のプログラムを動的に呼び出すための呼び出し関数(例えば「LoadLibrary()」関数)を含み、デバイス検出部241において対象デバイスである収音装置10の接続が検出されると、ライブラリである仮想ツール部250のプログラムの名称を指定し呼び出し関数を実行(例えば情報処理装置20のOSのファイルシステム上におけるファイル名「KasouTool.dll」をパラメータとする関数「LoadLibrary(“KasouTool.dll”)」を実行)することでライブラリである仮想ツール部250のプログラムをローディングし実行してもよい。
【0138】
<6.2.3.音処理部243と仮想ツール部250との活性化>
例えば、情報処理装置20の起動時に、音処理部243を含まない本体部240がローディングされ実行されることで、音処理部243を含まない本体部240による音処理アプリケーション231が形成される。この状態で、音処理部243を含まない本体部240による音処理アプリケーション231は、本体部240の有するデバイス検出部241、パラメータ設定部245および画面生成部247の機能を発揮することができる。その後、情報処理装置20と収音装置10とが接続され、音処理部243を含まない本体部240による音処理アプリケーション231により対象デバイスである収音装置10の接続が検出されると、本体部240により音処理部243と仮想ツール部250とがローディングされ実行され、音処理部243を含む本体部240および仮想ツール部250による音処理アプリケーション231が形成される。この状態で、本体部240および仮想ツール部250による音処理アプリケーション231は、本体部240の有するデバイス検出部241、音処理部243、パラメータ設定部245および画面生成部247の機能に加え、仮想ツール部250の有する仮想スピーカ部251および仮想マイク部253の機能を発揮することができる。つまり、対象デバイスである収音装置10の接続が検出されると、エリア収音処理の機能(第一の機能)、仮想スピーカおよび仮想マイクの機能(第三の機能)を有する音処理アプリケーション231が形成される。
【0139】
この場合、本体部240は実行可能ファイルのプログラム(例えば「WinMain()」関数をエントリーポイントとするプログラム)として構成されてもよく、音処理部243と仮想ツール部250とは他のプログラムから呼び出されるライブラリのプログラム(例えば「DllEntryPoint()」関数をエントリーポイントとするプログラム)として構成されてもよい。
【0140】
また、情報処理装置20のOSのファイルシステムにおいて、本体部240は例えばファイル名「Hontai.exe」などのように実行可能ファイルをあらわす拡張子「.exe」が付与されたプログラムとして構成されてもよく、音処理部243は例えばファイル名「OtoSyori.dll」などのようにライブラリをあらわす拡張子「.dll」が付与されたプログラムとして構成されてもよく、仮想ツール部250は例えばファイル名「KasouTool.dll」などのようにライブラリをあらわす拡張子「.dll」が付与されたプログラムとして構成されてもよい。
【0141】
なお、本体部240は、ライブラリである音処理部243と仮想ツール部250とのプログラムを動的に呼び出すための呼び出し関数(例えば「LoadLibrary()」関数)を含み、デバイス検出部241において対象デバイスである収音装置10の接続が検出されると、ライブラリである音処理部243のプログラムの名称を指定し呼び出し関数を実行(例えば情報処理装置20のOSのファイルシステム上におけるファイル名「OtoSyori.dll」をパラメータとする関数「LoadLibrary(“OtoSyori.dll”)」を実行)し、仮想ツール部250のプログラムの名称を指定し呼び出し関数を実行(例えば情報処理装置20のOSのファイルシステム上におけるファイル名「KasouTool.dll」をパラメータとする関数「LoadLibrary(“KasouTool.dll”)」を実行)することでライブラリである音処理部243と仮想ツール部250とのプログラムをローディングし実行してもよい。
【0142】
<6.2.4.その他>
また、本体部240は、例えば情報処理装置20のOSによって、起動時にロードされる、あるいは、前記収音装置10の接続が検知された際に自動的にロードされるドライバー上で実現されてもよい。
【0143】
<6.3.ハードウェア識別情報の取得>
上記では、情報処理装置20において、外部インターフェース1017に接続され検出された収音装置10を一意に識別可能とする、収音装置10のハードウェア識別情報が取得されることを説明した。ここで、収音装置10のハードウェア識別情報の取得に際し、デバイス検出部241が、収音装置10のハードウェア識別情報を能動的に取得してもよいし受動的に取得してもよい。
【0144】
<6.3.1.能動的なハードウェア識別情報の取得>
能動的に収音装置10のハードウェア識別情報が取得される場合、デバイス検出部241は、OSが保持する管理情報を参照し、参照した管理情報に含まれる収音装置10のハードウェア識別情報を取得する。
【0145】
この場合、デバイス検出部241は、管理情報にアクセスするインターフェースおよび管理情報を参照する際に用いるキーワードを有している。このキーワードは収音装置10のハードウェア識別情報に係る検索用文字である。
【0146】
ここで、このキーワードは、EUC(Extended Unix Code)-JPP(日本拡張ユニックスコード)やシフトJIS等のそれぞれの文字コードに対応する形式を有している。キーワードは、情報処理装置20のOSが対応する文字コードと同形式の文字コードにより管理情報を参照することができるようになっている。すなわち、デバイス検出部241は、情報処理装置20のOSがシフトJISの文字コードに対応するとき、シフトJISの文字コードの形式のキーワードを用いて管理情報を参照する。
【0147】
ここで、管理情報は、OSが保持しているレジストリ、初期設定ファイル、システム設定ファイル等であり、OS、プログラムの状態および設定情報を管理する情報である。例えば、情報処理装置20に新たなハードウェアが追加されると、管理情報に追加された新たなハードウェアのハードウェア識別情報が追加される。
【0148】
<6.3.2.受動的なハードウェア識別情報の取得>
受動的に収音装置10のハードウェア識別情報が取得される場合、デバイス検出部241は、OSから送出されるメッセージに基づき、収音装置10のハードウェア識別情報を取得する。
【0149】
この場合、デバイス検出部241は、OSから送出されるメッセージを受けるインターフェースを有している。
【0150】
ここで、OSから送出されるメッセージは、情報処理装置20において新たなハードウェアが追加された時に送出されるイベントドリブンのメッセージである。例えば、情報処理装置20において新たなハードウェアとして収音装置10が追加されると、情報処理装置20のOSは、収音装置10のハードウェア識別情報を含むメッセージを送出する。
【0151】
<6.3.3.ハードウェア識別情報の例>
デバイス検出部241が取得するハードウェア識別情報は、例えば、収音装置10に係わるベンダーID(VID:Vendor ID)、プロダクトID(PID:Product ID)、シリアル番号(Serial Number)、それらを組み合わせたものであってもよい。
【0152】
ここで、例えば、ベンダーIDはデバイスのメーカーに対して割り振られたIDであって、プロダクトIDはメーカーにより製品に対して割り当てられIDであって、シリアル番号はメーカーにより製品に対して割り当てられた通し番号である。
【0153】
<6.4.対象デバイスの検出>
上記では、デバイス検出部241が、情報処理装置20との接続が検出された収音装置10を一意に識別可能とする、収音装置10のハードウェア識別情報を取得し、取得したハードウェア識別情報に基づき対象デバイスであるか否かを検出することを説明した。しかし、収音装置10のハードウェア識別情報(例えばベンダーID、プロダクトID、シリアル番号、それらの組み合わせ)以外の対象デバイスに係わる情報に基づき対象デバイスであるか否かを検出してもよい。
【0154】
例えば、収音装置10のデバイス名に基づき対象デバイスであるか否かを検出する場合、記憶部220が対象デバイス名を記憶しており、デバイス検出部241は、情報処理装置20との接続が検出された収音装置10を一意に識別可能とする、収音装置10のデバイス名を取得する。そして、デバイス検出部241は、取得したデバイス名が、記憶部220に保持されている対象デバイス名と一致するか否かを照合する。これにより、デバイス検出部241は、収音装置10のデバイス名により、情報処理装置20と接続が検出された収音装置10が、対象デバイスであるか否かを検出する。なお、記憶部220に保持される対象デバイス名は複数あってよい。
【0155】
例えば、収音装置10のデバイス名とハードウェア識別情報とに基づき対象デバイスであるか否かを検出する場合、記憶部220がハードウェア識別情報と対象デバイス名とを対に記憶しており、デバイス検出部241は、情報処理装置20との接続が検出された収音装置10を一意に識別可能とする、収音装置10のデバイス名とハードウェア識別情報とを取得する。そして、デバイス検出部241は、取得したデバイス名とハードウェア識別情報とが、記憶部220に保持されているデバイス名およびハードウェア識別情報と一致するか否かを照合する。これにより、デバイス検出部241は、収音装置10のデバイス名とハードウェア識別情報とにより、情報処理装置20と接続が検出された収音装置10が、対象デバイスであるか否かを検出する。なお、記憶部220に保持されるハードウェア識別情報と対象デバイス名とは複数あってよい。
【0156】
この場合、デバイス検出部241は、取得したデバイス名とハードウェア識別情報との照合に際し、デバイス名から照合してもよいしハードウェア識別情報から照合してもよい。また、デバイス名から照合し、記憶部220に保持される対象デバイス名と一致しない時点でハードウェア識別情報の照合を行わないようにしてもよい。
【0157】
なお、収音装置10のデバイス名は、上述のとおり、OSが保持する管理情報やOSから送出されるメッセージに基づき取得されてもよい。
【0158】
<6.5.シンクライアントシステムでのエリア収音処理された音信号の利用>
上記では、スタンドアローンで起動し動作することが可能な情報処理装置20において、音処理アプリケーションのプログラムがインストールされることにより、情報処理装置20が音処理アプリケーションによる機能(第一の機能、第二の機能、第三の機能)を発揮することについて説明した。つまり、上記では、情報処理装置20がファットクライアント型の装置であった。しかし、情報処理装置20は、シンクライアント型の装置であってもよい。
【0159】
<6.5.1.ダウンロード方式(ネットブート方式)のシンクライアント>
例えば、情報処理装置20がダウンロード方式のシンクライアントに対応する装置である場合、情報処理装置20は、ネットワーク上に配されたダウンロード方式のシンクライアントに対応するサーバから、端末向けOSおよび端末向けOS上で実行可能な種々のプログラムをダウンロードし実行する。なお、音処理アプリケーションのプログラム(本体部240および仮想ツール部250)は、端末向けOS上で実行可能な種々のプログラムに含まれる。
【0160】
この場合、情報処理装置20は、ネットワーク上に配されたダウンロード方式のシンクライアントに対応するサーバに対しネットワークを介してダウンロードの要求をする、ダウンロード方式シンクライアント機能部を有する。また、ネットワーク上に配されたダウンロード方式のシンクライアントに対応するサーバは、情報処理装置20のダウンロードの要求に対し、ネットワークを介して端末向けOSおよび端末向けOS上で実行可能な種々のプログラムを配信する、ダウンロード方式シンクライアントサーバ機能部を有する。ダウンロード方式シンクライアント機能部とダウンロード方式シンクライアントサーバ機能部とのやりとりにより、要求やダウンロードが実現される。
【0161】
ここで、例えば、ダウンロード方式シンクライアント機能部とダウンロード方式シンクライアントサーバ機能部とはPXE(Preboot eXecution Environment)に対応する機能部であってもよく、ダウンロード方式シンクライアント機能部は、PXEに準拠し、ダウンロード方式シンクライアントサーバ機能部から、NBP(Network Bootstrap Program)のパス名を取得し、パス名に基づいてNBP(OSイメージを取得して起動するためのプログラム)をダウンロードし、NBPを実行することでOSイメージ(端末向けOSおよび端末向けOS上で実行可能な種々のプログラムを含むイメージファイル)をダウンロードし、OSイメージ実行することで情報処理装置20を起動する。なお、ダウンロード方式シンクライアント機能部は、TFTP(Trivial File Transfer Protocol)の通信プロトコルに基づきNBPを取得し、NBPを実行することでHTTP(Hypertext Transfer Protocol)やHTTPS(Hypertext Transfer Protocol Secure)やFTP(File Transfer Protocol)やNFS(Network File System)などの通信プロトコルに基づきOSイメージを取得する。
【0162】
そして、ダウンロード方式のシンクライアントに対応する情報処理装置20は、端末向けOSおよび端末向けOS上で実行可能な種々のプログラムをダウンロードすると、端末向けOSを実行すると共に、種々のプログラムに含まれる音処理アプリケーションのプログラム(本体部240および仮想ツール部250)を実行する。こうすることで、音処理アプリケーションが起動され、情報処理装置20上に音処理アプリケーション231が形成される。
【0163】
このようにすることで、ダウンロード方式のシンクライアントである情報処理装置20において、音処理アプリケーションによる機能(第一の機能、第二の機能、第三の機能)を発揮することができる。
【0164】
なお、ダウンロード方式のシンクライアントである情報処理装置20おける音処理アプリケーションの形成は、上述のとおり、対象デバイスである収音装置10の接続が検出されると音処理アプリケーション231が形成されるものであってもよい。
【0165】
<6.5.2.画面転送方式のシンクライアント>
例えば、情報処理装置20が画面転送方式のシンクライアントに対応する装置である場合、情報処理装置20とネットワーク上に配された画面転送方式のシンクライアントに対応するサーバとがやりとりし、サーバのメモリ上で端末向けOSおよび端末向けOS上で実行可能な種々のプログラムが実行され、実行結果が情報処理装置20に表示される。なお、音処理アプリケーションのプログラム(本体部240および仮想ツール部250)は、端末向けOS上で実行可能な種々のプログラムに含まれる。
【0166】
この場合、情報処理装置20は、ネットワーク上に配された画面転送方式のシンクライアントに対応するサーバに対しネットワークを介して制御を要求し、制御の結果を受ける画面転送方式シンクライアント機能部を有する。また、ネットワーク上に配された画面転送方式のシンクライアントに対応するサーバは、情報処理装置20の制御の要求に対し、メモリ上で端末向けOSおよび端末向けOS上で実行可能な種々のプログラムを実行し、実行結果(制御の結果)を情報処理装置20に与える画面転送方式シンクライアントサーバ機能部を有する。画面転送方式シンクライアント機能部と画面転送方式シンクライアントサーバ機能部とのやりとりにより、制御の要求や制御の結果のやりとりが実現される。
【0167】
ここで、例えば、画面転送方式シンクライアント機能部と画面転送方式シンクライアントサーバ機能部とはRDP(Remote Desktop Protocol)に対応する機能部であってもよい。画面転送方式シンクライアント機能部は、RDPに準拠し、情報処理装置20におけるキーボード操作やマウス操作や音声入力などを、制御の要求として画面転送方式シンクライアントサーバ機能部に転送する。画面転送方式シンクライアントサーバ機能部は、RDPに準拠し、情報処理装置20におけるキーボード操作やマウス操作や音声入力などを、制御の要求として画面転送方式シンクライアント機能部から受け、サーバのメモリ上で実行される端末向けOSおよび端末向けOS上で実行される種々のプログラムの制御に反映させる。
【0168】
そして、画面転送方式のシンクライアントに対応する情報処理装置20は、画面転送方式のシンクライアントに対応するサーバに対し端末向けOSおよび端末向けOS上で実行可能な種々のプログラムの起動の制御を要求すると、画面転送方式のシンクライアントに対応するサーバが、端末向けOSを実行すると共に、種々のプログラムに含まれる音処理アプリケーションのプログラム(本体部240および仮想ツール部250)を実行する。こうすることで、画面転送方式のシンクライアントに対応するサーバにおいて音処理アプリケーションが起動され、情報処理装置20上で音処理アプリケーション231が利用可能となる。
【0169】
このようにすることで、画面転送方式のシンクライアントである情報処理装置20において、音処理アプリケーションによる機能(第一の機能、第二の機能、第三の機能)を利用することができる。
【0170】
なお、画面転送方式のシンクライアントである情報処理装置20おける音処理アプリケーションの形成(画面転送方式のシンクライアントに対応するサーバにおける音処理アプリケーションの形成)は、上述のとおり、対象デバイスである収音装置10の接続が検出されると音処理アプリケーション231が形成されるものであってもよい。
【0171】
<6.6.収音装置10と情報処理装置20との接続>
上記では、収音装置10と情報処理装置20とが、有線接続や無線接続により通信可能に構成されることについて説明した。しかし、収音装置10と情報処理装置20との接続は、各種仮想化ソフトウェアによって提供されるパススルー機能によって実現されてよい。より具体的には、USBパススルー機能やPCIeパススルー機能によって、収音装置10と情報処理装置20の接続の一部が、ソフトウェア的に実行されてもよい。
【0172】
<6.7.エリア収音処理された音信号を利用するアプリケーションの例>
上記では、収音装置10により収音される音信号が、情報処理装置20上で、エリア収音処理されると共に会議アプリケーション233に受け渡されることで、収音装置10に向かって発話している利用者の音声が強調され、利用者の音声以外の雑音が相対的に弱められ得ることについて説明した。しかし、エリア収音処理された音信号を利用するアプリケーション(利用アプリケーション)は、例えば、通話、録音、音声配信、音声認識、状態検知、測定・計測などのアプリケーションであってもよい。
【0173】
例えば、通話アプリケーションがエリア収音処理された音信号を利用する場合、通話アプリケーションにおいて、仮想マイク部253が音の入力元のデバイスとして指定される。そして、収音装置10により得られる音信号に対しエリア収音処理が適用されると共に、エリア収音処理された音信号が通話アプリケーションに入力され、ネットワークを介して通話先の相手にエリア収音処理された音信号を伝える(例えば音信号をG.711やG.723やG.729やG.729aなどの方式の音声コーデックで圧縮符号化(エンコード)し伝送する)ことができる。
【0174】
例えば、録音アプリケーションがエリア収音処理された音信号を利用する場合、録音アプリケーションにおいて、仮想マイク部253が音の入力元のデバイスとして指定される。そして、収音装置10により得られる音信号に対しエリア収音処理が適用されると共に、エリア収音処理された音信号が録音アプリケーションに入力され、エリア収音処理された音信号を録音(例えば音信号をMP3(MPEG-1 Audio Layer-3)やWAV(RIFF waveform Audio Format)やWMA(Windows Media Audio)やAAC(Advanced Audio Coding)やAC3(Audio Code number 3)やFLAC(Free Lossless Audio Codec)などの形式のファイルとして保存)することができる。
【0175】
例えば、音声配信アプリケーションがエリア収音処理された音信号を利用する場合、音声配信アプリケーションにおいて、仮想マイク部253が音の入力元のデバイスとして指定される。そして、収音装置10により得られる音信号に対しエリア収音処理が適用されると共に、エリア収音処理された音信号が音声配信アプリケーションに入力され、エリア収音処理された音信号を音声配信(例えば音信号をMP3やWAVやWMAやAACやAC3やFLACなどの形式のファイルとしてネットワーク上のサーバにアップロードしネットワーク上のサーバから配信)することができる。
【0176】
例えば、音声認識アプリケーションがエリア収音処理された音信号を利用する場合、音声認識アプリケーションにおいて、仮想マイク部253が音の入力元のデバイスとして指定される。そして、収音装置10により得られる音信号に対しエリア収音処理が適用されると共に、エリア収音処理された音信号が音声認識アプリケーションに入力され、エリア収音処理された音信号に基づき音声認識することができる。なお、音声認識の手法として、例えば、エリア収音処理された音信号を入力として音声認識結果を出力する確率モデルである隠れマルコフモデルが用いられてもよい。また、音声認識の手法は隠れマルコフモデルに限らず、例えば、ディープラーニング、人工ニューラルネットワーク、ランダムフォレスト、勾配ブースティング等の機械学習手法が用いられてもよい。
【0177】
例えば、状態検知アプリケーションがエリア収音処理された音信号を利用する場合、状態検知アプリケーションにおいて、仮想マイク部253が音の入力元のデバイスとして指定される。そして、収音装置10により得られる音信号に対しエリア収音処理が適用されると共に、エリア収音処理された音信号が状態検知アプリケーションに入力され、状態検知アプリケーションは、正常な音信号を学習データとして機械学習させた学習モデルにエリア収音処理された音信号を入力し、エリア収音処理された音信号が異常音であるか否かの判定結果又はエリア収音処理された音信号が異常音である確率を学習モデルが出力することで、エリア収音処理された音信号の発生源の状態異常を検知することができる。なお、機械学習の手法としては、ディープラーニング、人工ニューラルネットワーク、ランダムフォレスト、勾配ブースティング等が挙げられるが、これらに限定はされない。また、エリア収音処理された音信号の発生源としては、機械の動作音、製品の動作音、車両の走行音、動物の足音、動物の声音、動物の心音、動物の呼吸音等が挙げられるが、これらに限定はされない。
【0178】
例えば、魚群探知機アプリケーションがエリア収音処理された音信号を利用する場合、魚群探知機アプリケーションにおいて、仮想マイク部253が音の入力元のデバイスとして指定される。そして、収音装置10により得られる音信号に対しエリア収音処理が適用されると共に、エリア収音処理された音信号が魚群探知機アプリケーションに入力され、エリア収音処理された音信号から魚群探知(例えば、送波器から出力した超音波が魚群などに反射した音信号をエリア収音し、音信号をデジタル信号に変換、解析してエコーグラム画像を作成)をすることができる。
【0179】
例えば、密漁を検知するような水中異常検知アプリケーションがエリア収音処理された音信号を利用する場合、水中異常検知アプリケーションにおいて、仮想マイク部253が音の入力元のデバイスとして指定される。そして、収音装置10により得られる音信号に対しエリア収音処理が適用されると共に、エリア収音処理された音信号が水中異常検知アプリケーションに入力され、エリア収音処理された音信号から水中異常検知(例えば、音信号から、船舶のスクリュー音や、ダイバーがボンベから空気を吸引する際に空気がレギュレータ(調整噐・調節器)を通過する音に関わる、異常な周波数を有する音を検知)することができる。
【0180】
例えば、音可視化アプリケーションがエリア収音処理された音信号を利用する場合、音可視化アプリケーションにおいて、仮想マイク部253が音の入力元のデバイスとして指定される。そして、収音装置10により得られる音信号に対しエリア収音処理が適用されると共に、エリア収音処理された音信号が音可視化アプリケーションに入力され、エリア収音処理された音信号から音圧分布を取得してカラーマップ化(音の発生源から収音装置10まで位相差情報から音圧を測定・計測しヒートマップ化)することができる。
【符号の説明】
【0181】
10 収音装置
110 マイクアレイ
20 情報処理装置
210 通信部
220 記憶部
230 制御部
231 音処理アプリケーション
233 会議アプリケーション
235 表示制御部
240 本体部
241 デバイス検出部
243 音処理部
245 パラメータ設定部
247 画面生成部
250 仮想ツール部
251 仮想スピーカ部
253 仮想マイク部
260 音入力部
270 操作表示部
280 音出力部
図1
図2
図3
図4
図5
図6
図7
図8
図9