特許 6228998 通信システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6228998

(24)【登録日】2017年10月20日

(45)【発行日】2017年11月8日

(54)【発明の名称】通信システム及びプログラム

(51)【国際特許分類】

   H04M 3/42 20060101AFI20171030BHJP

【ＦＩ】

   H04M3/42 B

【請求項の数】8

【全頁数】17

(21)【出願番号】特願2016-48730(P2016-48730)

(22)【出願日】2016年3月11日

(65)【公開番号】特開2017-163492(P2017-163492A)

(43)【公開日】2017年9月14日

【審査請求日】2016年5月6日

(73)【特許権者】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】熊井 信亮

【審査官】 藤江 大望

(56)【参考文献】

【文献】 特開２０１０−２５８９８９（ＪＰ，Ａ）

【文献】 特開２００６−３５２８６９（ＪＰ，Ａ）

【文献】 特開２０１０−２０６７１７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｍ３／００

３／１６−３／２０

３／３８−３／５８

７／００−７／１６

１１／００−１１／１０

(57)【特許請求の範囲】

【請求項1】

第１通信端末が備えるコンピュータを、
第２通信端末からの通話要求を受信する通話要求受信部、
前記通話要求受信部が前記通話要求を受信した場合に、前記第１通信端末と前記第２通信端末との接続を確立する第１接続確立部、
前記第１接続確立部が前記接続を確立した場合に、情報提供システムとの接続を確立する第２接続確立部、
前記第１接続確立部が確立した接続を介する通話中に、前記第２接続確立部が確立した前記接続を介して、前記第１通信端末が備えるマイクに入力された音声を前記情報提供システムに送信する音声送信部、
前記第２接続確立部が確立した前記接続を介して、前記音声の内容に対して前記情報提供システムによって生成された回答を受信する回答受信部、
前記回答受信部が受信した前記回答を出力させる回答出力制御部、及び
前記回答受信部が受信した前記回答を前記第２通信端末に音声出力させるべく、前記回答を前記第２通信端末に送信する端末出力制御部
として機能させるためのプログラム。

【請求項2】

前記コンピュータを、
前記第１接続確立部が前記接続を確立した場合に、前記情報提供システムとの接続を確立するか否かを選択する確立選択部
としてさらに機能させ、
前記第２接続確立部は、前記確立選択部によって確立することが選択されている場合に、前記情報提供システムとの接続を確立する、請求項１に記載のプログラム。

【請求項3】

第１通信端末が備えるコンピュータを、
第２通信端末への通話要求を送信する通話要求送信部、
前記通話要求送信部が送信した前記通話要求に対して前記第２通信端末が応答した場合に、前記第１通信端末と前記第２通信端末との接続を確立する第１接続確立部、
前記通話要求送信部が前記通話要求を送信した場合、又は前記第１接続確立部が前記接続を確立した場合に、情報提供システムとの接続を確立する第２接続確立部、
前記第１接続確立部が確立した接続を介する通話中に、前記第２接続確立部が確立した前記接続を介して、前記第１通信端末が備えるマイクに入力された音声を前記情報提供システムに送信する音声送信部、
前記第２接続確立部が確立した前記接続を介して、前記音声の内容に対して前記情報提供システムによって生成された回答を受信する回答受信部、
前記回答受信部が受信した前記回答を出力させる回答出力制御部、及び
前記回答受信部が受信した前記回答を前記第２通信端末に音声出力させるべく、前記回答を前記第２通信端末に送信する端末出力制御部
として機能させるためのプログラム。

【請求項4】

前記コンピュータを、
前記通話要求送信部が前記通話要求を送信した場合、前記第１接続確立部が前記接続を確立した場合に、前記情報提供システムとの接続を確立するか否かを選択する確立選択部
としてさらに機能させ、
前記第２接続確立部は、前記確立選択部によって確立することが選択されている場合に、前記情報提供システムとの接続を確立する、請求項３に記載のプログラム。

【請求項5】

前記第１通信端末は、通話用の第１スピーカと、第２スピーカとを備え、
前記回答出力制御部は、前記回答を前記第１スピーカに音声出力させる、請求項１から４のいずれか一項に記載のプログラム。

【請求項6】

情報提供装置が備えるコンピュータを、
第１通信端末と第２通信端末との間に確立された接続を介する通話中に、前記第１通信端末と前記情報提供装置との間に確立された接続を介して、前記第１通信端末が備えるマイクに入力された音声を受信する音声受信部、
前記音声の内容に対する回答を生成する回答生成部、
前記第１通信端末に前記回答を出力させること、及び前記第１通信端末から前記第２通信端末に前記回答を転送することを示す命令を生成する命令生成部、及び
前記第１通信端末と前記情報提供装置との間に確立された前記接続を介して、前記第１通信端末に前記回答及び前記命令を送信する回答送信部
として機能させるためのプログラム。

【請求項7】

前記コンピュータを、
前記第１通信端末と呼接続を確立する呼接続確立部
としてさらに機能させ、
前記音声受信部は、前記呼接続確立部によって確立された前記呼接続を介して、前記第１通信端末が備えるマイクに入力された音声を前記第１通信端末から受信し、
前記回答送信部は、前記呼接続確立部によって確立された前記呼接続を介して、前記音声の内容に対する前記回答を前記第１通信端末に送信する、請求項６に記載のプログラム。

【請求項8】

通話中継装置及び情報提供装置を備える通信システムであって、
前記通話中継装置は、第１通信端末と第２通信端末との間の通話を中継し、
前記情報提供装置は、
前記第１通信端末と前記第２通信端末との間の通話中に、前記第１通信端末と前記情報提供装置との間に確立された接続を介して、前記第１通信端末が備えるマイクに入力された音声を受信する音声受信部と、
前記音声の内容に対する回答を生成する回答生成部と、
前記第１通信端末に前記回答を出力させること、及び前記第１通信端末から前記通信端末に前記回答を転送することを示す命令を生成する命令生成部と、
前記第１通信端末と前記情報提供装置との間に確立された前記接続を介して、前記第１通信端末に前記回答及び前記命令を送信する回答送信部と
を有する、通信システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通信システム及びプログラムに関する。

【背景技術】

【0002】

使用者が音声入力した質問に対して、回答を音声出力する音声対話サービスが知られていた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１５−０６９１０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

携帯電話を使用した通話中にも音声対話サービスを使用できることが望ましい。

【課題を解決するための手段】

【0004】

本発明の第１の態様によれば、第１通信端末が備えるコンピュータを、第２通信端末からの通話要求を受信する通話要求受信部、通話要求受信部が通話要求を受信した場合に、第１通信端末と第２通信端末との接続を確立する第１接続確立部、第１接続確立部が接続を確立した場合に、情報提供システムとの接続を確立する第２接続確立部、第１接続確立部が確立した接続を介する通話中に、第２接続確立部が確立した接続を介して、第１通信端末が備えるマイクに入力された音声を情報提供システムに送信する音声送信部、第２接続確立部が確立した接続を介して、音声の内容に対して情報提供システムによって生成された回答を受信する回答受信部、及び回答受信部が受信した回答を出力させる回答出力制御部として機能させるためのプログラムが提供される。

【0005】

上記プログラムは、上記コンピュータを、上記第１接続確立部が上記接続を確立した場合に、上記情報提供システムとの接続を確立するか否かを選択する確立選択部としてさらに機能させてよく、上記第２接続確立部は、上記確立選択部によって確立することが選択されている場合に、上記情報提供システムとの接続を確立してよい。

【0006】

本発明の第２の態様によれば、第１通信端末が備えるコンピュータを、第２通信端末への通話要求を送信する通話要求送信部、通話要求送信部が送信した通話要求に対して第２通信端末が応答した場合に、第１通信端末と第２通信端末との接続を確立する第１接続確立部、通話要求送信部が通話要求を送信した場合、又は第１接続確立部が接続を確立した場合に、情報提供システムとの接続を確立する第２接続確立部、第１接続確立部が確立した接続を介する通話中に、第２接続確立部が確立した接続を介して、第１通信端末が備えるマイクに入力された音声を情報提供システムに送信する音声送信部、第２接続確立部が確立した接続を介して、音声の内容に対して情報提供システムによって生成された回答を受信する回答受信部、及び回答受信部が受信した回答を出力させる回答出力制御部として機能させるためのプログラムが提供される。

【0007】

上記プログラムは、上記コンピュータを、上記通話要求送信部が上記通話要求を送信した場合、上記第１接続確立部が上記接続を確立した場合に、上記情報提供システムとの接続を確立するか否かを選択する確立選択部としてさらに機能させてよく、上記第２接続確立部は、上記確立選択部によって確立することが選択されている場合に、上記情報提供システムとの接続を確立してよい。

【0008】

上記第２接続確立部は、電話網に接続された上記情報提供システムと上記第１通信端末との呼接続を確立してよい。上記第２接続確立部は、上記第１通信端末と、上記第２通信端末と、上記情報提供システムとのグループ通話接続を確立してよい。上記接続確立部は、インターネットに接続された上記情報提供システムと上記第１通信端末との通信接続を確立してよい。上記プログラムは、上記コンピュータを、上記情報提供システムに上記第２通信端末との接続を確立させるべく、上記情報提供システムに上記通信端末の情報を送信する端末情報送信部としてさらに機能させてよい。上記プログラムは、上記コンピュータを、上記回答受信部が受信した上記回答を上記第２通信端末に音声出力させるべく、上記回答を上記第２通信端末に送信する端末出力制御部としてさらに機能させてよい。上記情報提供システムは、上記第１通信端末にインストールされている情報提供アプリケーションであってよい。上記第１通信端末は、通話用の第１スピーカと、第２スピーカとを備えてよく、上記回答出力制御部は、上記回答を上記第１スピーカに音声出力させてよい。

【0009】

本発明の第３の態様によれば、情報提供装置が備えるコンピュータを、第１通信端末と第２通信端末との間に確立された接続を介する通話中に、上記第１通信端末と上記情報提供装置との間に確立された接続を介して、上記第１通信端末が備えるマイクに入力された音声を受信する音声受信部、上記音声の内容に対する回答を生成する回答生成部、上記第１通信端末に上記回答を出力させること、及び上記第１通信端末から上記第２通信端末に上記回答を転送することを示す命令を生成する命令生成部、及び上記第１通信端末と上記情報提供装置との間に確立された上記接続を介して、上記第１通信端末に上記回答及び上記命令を送信する回答送信部として機能させるためのプログラムが提供される。

【0010】

本発明の第４の態様によれば、情報提供装置が備えるコンピュータを、第１通信端末と第２通信端末との間に確立された接続を介する通話中に、上記第１通信端末と上記情報提供装置との間に確立された接続を介して、上記第１通信端末が備えるマイクに入力された音声を受信する音声受信部、上記音声の内容に対する回答を生成する回答生成部、上記第２通信端末と上記情報提供装置との間の接続を確立する接続確立部、及び上記第１通信端末と上記情報提供装置との間に確立された上記接続を介して上記第１通信端末に上記回答を送信し、上記第２通信端末と上記情報提供装置との間に確立された上記接続を介して上記第２通信端末に上記回答を送信する回答送信部として機能させるためのプログラムが提供される。

【0011】

上記プログラムは、上記コンピュータを、上記第２通信端末と接続を確立するための情報を上記第１通信端末から受信する端末情報受信部としてさらに機能させてよく、上記接続確立部は、上記端末情報受信部が受信した情報を用いて上記第２通信端末と接続を確立してよい。上記プログラムは、上記コンピュータを、上記第１通信端末と呼接続を確立する呼接続確立部としてさらに機能させてよく、上記音声受信部は、上記呼接続確立部によって確立された上記呼接続を介して、上記第１通信端末が備えるマイクに入力された音声を上記第１通信端末から受信してよく、上記回答送信部は、上記呼接続確立部によって確立された上記呼接続を介して、上記音声の内容に対する上記回答を上記第１通信端末に送信してよい。

【0012】

本発明の第５の態様によれば、通話中継装置及び情報提供装置を備える通信システムであって、上記通話中継装置は、第１通信端末と第２通信端末との間の通話を中継し、上記情報提供装置は、上記第１通信端末と上記第２通信端末との間の通話中に、上記第１通信端末と上記情報提供装置との間に確立された接続を介して、上記第１通信端末が備えるマイクに入力された音声を受信する音声受信部と、上記音声の内容に対する回答を生成する回答生成部と、上記第１通信端末に上記回答を出力させること、及び上記第１通信端末から上記通信端末に上記回答を転送することを示す命令を生成する命令生成部と、上記第１通信端末と上記情報提供装置との間に確立された上記接続を介して、上記第１通信端末に上記回答及び上記命令を送信する回答送信部とを有する、通信システムが提供される。

【0013】

本発明の第６の態様によれば、通話中継装置及び情報提供装置を備える通信システムであって、上記通話中継装置は、第１通信端末と第２通信端末との間の通話を中継し、上記情報提供装置は、上記第１通信端末と上記第２通信端末との間に確立された接続を介する通話中に、上記第１通信端末と上記情報提供装置との間に確立された接続を介して、上記第１通信端末が備えるマイクに入力された音声を受信する音声受信部と、上記音声の内容に対する回答を生成する回答生成部と、上記第２通信端末と上記情報提供装置との間の接続を確立する接続確立部と、上記第１通信端末と上記情報提供装置との間に確立された上記接続を介して上記第１通信端末に上記回答を送信し、上記第２通信端末と上記情報提供装置との間に確立された上記接続を介して上記第２通信端末に上記回答を送信する回答送信部とを有する、通信システムが提供される。

【0014】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0015】

【図1】通信システム１０の一例を概略的に示す。

【図2】通信システム１０による処理の流れの一例を概略的に示す。

【図3】通信システム１０による処理の流れの一例を概略的に示す。

【図4】通信システム１０による処理の流れの一例を概略的に示す。

【図5】通信システム１０による処理の流れの一例を概略的に示す。

【図6】携帯電話３００の機能構成の一例を概略的に示す。

【図7】人工知能サーバ２００の機能構成の一例を概略的に示す。

【図8】携帯電話３００による着信時の表示例５００を概略的に示す。

【図9】携帯電話３００による発信用の表示例５１０を概略的に示す。

【図10】携帯電話３００として機能するコンピュータ９００のハードウエア構成の一例を概略的に示す。

【発明を実施するための形態】

【0016】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0017】

図１は、通信システム１０の一例を概略的に示す。通信システム１０は、ネットワーク２０に接続された通話中継装置１００及び人工知能サーバ２００を備える。ネットワーク２０は、電話網及びインターネットを含んでよい。

【0018】

通話中継装置１００は、携帯電話３００と携帯電話４００との間の通話を中継する。通話中継装置１００は、例えば、交換機及びＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）サーバ等である。通話中継装置１００は、携帯電話３００と携帯電話４００との通話を中継することができれば、他の装置であってもよい。例えば、通話中継装置１００は、ＬＩＮＥ（登録商標）、Ｓｋｙｐｅ（登録商標）、カカオトーク（登録商標）、Ｖｉｂｅｒ（登録商標）、及びＴａｎｇｏ等のアプリにおける通話サービスを提供するサーバであってもよい。

【0019】

携帯電話３００は、ユーザ３０によって使用される。携帯電話３００は、マイク３０２、スピーカ３０４、スピーカ３０６、及びディスプレイ３０８を備える。スピーカ３０４は、通話用のスピーカであってよい。スピーカ３０６は、スピーカ３０４よりも遠距離に音声を伝搬するためのスピーカであってよく、例えば、アプリ等による音声を出力するためのスピーカである。

【0020】

携帯電話４００は、ユーザ４０によって使用される。携帯電話４００は、マイク４０２、スピーカ４０４、スピーカ４０６、及びディスプレイ４０８を備える。スピーカ４０４は、通話用のスピーカであってよい。スピーカ４０６は、スピーカ４０４よりも遠距離に音声を伝搬するためのスピーカであってよく、例えば、アプリ等による音声を出力するためのスピーカである。

【0021】

携帯電話３００は、第１通信端末の一例であってよい。携帯電話４００は、第２通信端末の一例であってよい。なお、ここでは、第１通信端末及び第２通信端末の一例として、携帯電話３００及び携帯電話４００を挙げて説明するが、これに限らない。第１通信端末及び第２通信端末は、何らかの通話接続を確立することができればどのような端末であってもよく、例えば、タブレット端末、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、固定電話機、及びＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）電話機等である。

【0022】

人工知能サーバ２００は、携帯電話３００から、マイク３０２に入力されたユーザ３０の音声を受信して、音声の内容に対する各種情報を携帯電話３００に提供する。人工知能サーバ２００は、ユーザ３０のスケジュール及び業務に関する情報等の任意の情報を携帯電話３００に提供してよい。例えば、人工知能サーバ２００は、ユーザ４０と通話中のユーザ３０が、人工知能サーバ２００に対してスケジュールを確認する発声をした場合に、ユーザ３０のスケジュールを携帯電話３００に送信して、スピーカ３０４から出力させる。これにより、ユーザ３０は、通話の最中に、隣の人に話しかけるような感覚で、各種情報を取得することができる。人工知能サーバ２００は、情報提供システムの一例であってよい。

【0023】

人工知能サーバ２００は、音声認識機能及び意図汲取り機能等、問い合わせの内容を把握するための機能を備えてよい。人工知能サーバ２００は、クラウド上の音声認識サービス及び意図汲取りサービス等と連携することによってこれらの機能を実現してもよい。人工知能サーバ２００は、携帯電話３００にインストールされている音声認識アプリ及び意図汲取りアプリと連携することによってこれらの機能を実現してもよい。

【0024】

人工知能サーバ２００は、スケジュール管理機能及び業務管理機能等、携帯電話３００に提供する情報を管理する機能を備えてよい。人工知能サーバ２００は、クラウド上のスケジュール管理サービス及び業務管理サービス等と連携することによってこれらの機能を実現してもよい。人工知能サーバ２００は、携帯電話３００にインストールされているスケジュール管理アプリ及び業務管理アプリ等と連携することによってこれらの機能を実現してもよい。

【0025】

人工知能サーバ２００は、音声合成機能及び携帯電話３００の表示を制御する表示制御機能等、問い合わせに対する回答を携帯電話３００に出力させるための機能を備えてよい。人工知能サーバ２００は、クラウド上の音声合成サービス及び表示制御サービス等と連携することによってこれらの機能を実現してもよい。人工知能サーバ２００は、携帯電話３００にインストールされている音声合成アプリ及び表示制御アプリと連携することによってこれらの機能を実現してもよい。

【0026】

図２は、通信システム１０による処理の流れの一例を概略的に示す。ここでは、携帯電話３００が携帯電話４００からの通話要求を受信して携帯電話４００との通話を確立する場合に、人工知能サーバ２００によって提供されるサービス（アシストサービスと記載する場合がある。）を利用する流れの一例を示す。

【0027】

ステップ（ステップをＳと省略して記載する場合がある。）２０２では、携帯電話４００が、携帯電話３００に対する通話要求を通話中継装置１００に送信する。Ｓ２０４では、通話中継装置１００が、通話要求を携帯電話３００に送信する。Ｓ２０６では、携帯電話３００が通話要求に応答することによって、携帯電話３００と携帯電話４００との通話接続が確立する。

【0028】

Ｓ２０８では、携帯電話３００が、人工知能サーバ２００との接続を確立する。携帯電話３００は、人工知能サーバ２００がインターネットに接続されている場合、インターネットを介して人工知能サーバ２００に接続要求を送信することによって、人工知能サーバ２００との接続を確立してよい。携帯電話３００は、人工知能サーバ２００が電話網に接続されている場合、人工知能サーバ２００に対する通話要求を通話中継装置１００に送信することによって、人工知能サーバ２００との呼接続を確立してよい。

【0029】

Ｓ２１０では、Ｓ２０６で確立された携帯電話３００と携帯電話４００との間の接続を介して、ユーザ３０とユーザ４０とが通話をする。携帯電話３００は、通話中に、携帯電話３００のマイク３０２に入力された音声を、Ｓ２０８で確立された接続を介して人工知能サーバ２００に送信する。

【0030】

携帯電話３００は、例えば、通話中にマイク３０２に入力されたすべての音声を人工知能サーバ２００に送信する。人工知能サーバ２００は、携帯電話３００から受信する音声の内容に人工知能サーバ２００への問合せが含まれているかを確認する。例えば、人工知能サーバ２００は、携帯電話３００から受信する音声が予め定められた問合せ開始を示すキーワードと一致するかを判定し、一致すると判定した場合に、当該音声以降の音声を問合せとして取得する。具体例として、キーワードが「ねぇ、ワトソン」であり、携帯電話３００から受信した音声が「ねぇ、ワトソン。明日の１４時って予定空いてた？」だった場合、人工知能サーバ２００は「明日の１４時って予定空いてた」の部分を問合せとして取得する。

【0031】

人工知能サーバ２００は、携帯電話３００から受信する音声とキーワードとの一致を、音響照合及び音声認識の少なくともいずれかによって実現してよい。例えば、人工知能サーバ２００は、キーワードの音響データを格納しておき、当該音響データと、携帯電話３００から受信する音声との一致度が予め定められた閾値より大きい場合に、一致したと判定する。また、例えば、人工知能サーバ２００は、携帯電話３００から受信した音声を音声認識してテキスト化し、当該テキストと、キーワードのテキストとの一致度が予め定められた閾値より大きい場合に、一致したと判定する。

【0032】

また、例えば、人工知能サーバ２００は、「ねぇ」の音響データを格納しておき、当該音響データと、携帯電話３００から受信した音声との一致度が予め定められた閾値より大きい場合に、当該音声以降の音声を音声認識してテキスト化し、当該テキストと、「ワトソン」のテキストとの一致度が予め定められた閾値より大きい場合に、一致したと判定する。このように、人工知能サーバ２００は、キーワードの一部の音響照合と、他の一部の音声認識とを組み合わせて、受信する音声とキーワードとの一致を判定してもよい。なお、キーワードとしては、任意の言葉が登録可能であってよい。

【0033】

携帯電話３００は、通話中にマイク３０２に入力された全ての音声ではなく、人工知能サーバ２００への問合せの音声のみを人工知能サーバ２００に送信してもよい。例えば、携帯電話３００は、マイク３０２に入力された音声が予め定められた問合せ開始を示すキーワードと一致した場合、当該音声以降の音声を問合せとして取得して、人工知能サーバ２００に送信する。携帯電話３００は、上述の人工知能サーバ２００と同様、マイク３０２に入力された音声とキーワードとの一致を、音響照合及び音声認識の少なくともいずれかによって実現してよい。

【0034】

また、携帯電話３００と人工知能サーバ２００とが協働して、マイク３０２に入力される音声とキーワードとの一致を判定してもよい。例えば、携帯電話３００は、「ねぇ」の音響データを格納しておき、当該音響データと、マイク３０２に入力される音声との一致度が予め定められた閾値より大きい場合に、当該音声以降の音声を人工知能サーバ２００に送信する。人工知能サーバ２００は、携帯電話３００から受信した音声を音声認識してテキスト化し、当該テキストと、「ワトソン」のテキストとの一致度が予め定められた閾値より大きい場合に、一致したと判定する。

【0035】

Ｓ２１２では、人工知能サーバ２００が、ユーザ３０からの問合せを取得する。Ｓ２１４では、人工知能サーバ２００が、Ｓ２１２で取得した問合せに対する回答を生成して、当該回答を、Ｓ２０８で確立された接続を介して携帯電話３００に送信する。人工知能サーバ２００による問合せの取得及び回答の送信は、Ｓ２１０で確立した通話が終了するまで継続されてよい。

【0036】

人工知能サーバ２００は、問合せ開始を示すキーワードが入力されてから、問合せ終了を示すキーワードが入力されるまでの間に入力された音声を問合せとして取得して、当該問合せに対する回答を携帯電話３００に送信してよい。問合せ終了を示すキーワードは、例えば、「ＯＫ、ありがとうワトソン」等の任意の言葉であってよい。なお、人工知能サーバ２００は、問合せ開始を示すキーワードが入力されてから、一の問合せのみを取得して、回答を携帯電話３００に送信してもよい。

【0037】

上述のアシストサービスを利用するか否かが、着信時にユーザ３０によって指示されてもよい。例えば、携帯電話３００は、着信画面上に、アシストサービスを利用しつつ通話をするための応答ボタンと通常の応答ボタンとを表示して、前者の応答ボタンが選択された場合に、アシストサービスを利用する。また、アシストサービスを利用するか否かは、予め設定されていてもよい。例えば、ユーザ３０は、携帯電話３００の電話帳に登録されている登録者毎に、アシストサービスを利用するか否かを設定してよい。

【0038】

図３は、通信システム１０による処理の流れの一例を概略的に示す。ここでは、携帯電話３００が携帯電話４００に対する通話要求を送信して携帯電話４００との通話を確立する場合に、アシストサービスを利用する流れの一例を示す。

【0039】

Ｓ３０２では、携帯電話３００が、携帯電話４００に対する通話要求を通話中継装置１００に送信する。Ｓ３０４では、通話中継装置１００が、通話要求を携帯電話４００に送信する。Ｓ３０６では、携帯電話４００が通話要求に応答することによって、携帯電話３００と携帯電話４００との通話接続が確立する。

【0040】

Ｓ３０８では、携帯電話３００が、人工知能サーバ２００との接続を確立する。携帯電話３００は、人工知能サーバ２００がインターネットに接続されている場合、インターネットを介して人工知能サーバ２００に接続要求を送信することによって、人工知能サーバ２００との接続を確立してよい。また、携帯電話３００は、人工知能サーバ２００が電話網に接続されている場合、人工知能サーバ２００に対する通話要求を通話中継装置１００に送信することによって、人工知能サーバ２００との呼接続を確立してよい。Ｓ３１０からＳ３１６は、Ｓ２１０からＳ２１４と同一であってよい。

【0041】

アシストサービスを利用するか否かが、発信時にユーザ３０によって指示されてもよい。例えば、携帯電話３００が、発信用の画面上に、アシストサービスを利用しつつ通話をするための通話ボタンと通常の通話ボタンとを表示して、前者の通話ボタンが選択された場合に、アシストサービスを利用する。アシストサービスを利用するか否かは、予め設定されていてもよい。例えば、ユーザ３０は、携帯電話３００の電話帳に登録されている登録者毎に、アシストサービスを利用するか否かを設定してよい。

【0042】

図４は、通信システム１０による処理の流れの一例を概略的に示す。ここでは、携帯電話３００が携帯電話４００からの通話要求を受信して携帯電話４００との通話を確立する場合に、グループ通話によってアシストサービスを利用する流れの一例を示す。

【0043】

Ｓ４０２では、携帯電話４００が、携帯電話３００に対する通話要求を通話中継装置１００に送信する。Ｓ４０４では、通話中継装置１００が、通話要求を携帯電話３００に送信する。Ｓ４０６では、携帯電話３００が通話要求に応答することによって、携帯電話３００と携帯電話４００との通話接続が確立する。

【0044】

Ｓ４０８では、携帯電話３００が、人工知能サーバ２００に対する通話要求を通話中継装置１００に送信する。Ｓ４１０では、通話中継装置１００が、通話要求を人工知能サーバ２００に送信する。Ｓ４１２では、人工知能サーバ２００が通話要求に応答することによって、携帯電話３００、携帯電話４００、及び人工知能サーバ２００のグループ通話が確立する。

【0045】

人工知能サーバ２００は、グループ通話中、携帯電話３００から受信する音声の内容に人工知能サーバ２００への問合せが含まれているかを確認する。例えば、人工知能サーバ２００は、携帯電話３００から受信する音声が予め定められた問合せ開始を示すキーワードと一致するかを判定し、一致すると判定した場合に、当該音声以降の音声を問合せとして取得する。人工知能サーバ２００は、携帯電話３００から受信する音声とキーワードとの一致を、音響照合及び音声認識の少なくともいずれかによって実現してよい。

【0046】

Ｓ４１６では、人工知能サーバ２００が、ユーザ３０からの問合せを取得する。Ｓ４１８では、人工知能サーバ２００が、Ｓ４１６で取得した問合せに対する回答を生成して、当該回答を、Ｓ４１４で確立されたグループ通話において出力する。人工知能サーバ２００による問合せの取得及び回答の出力は、Ｓ４１４で確立した通話が終了するまで継続されてよい。

【0047】

人工知能サーバ２００は、問合せ開始を示すキーワードが入力されてから、問合せ終了を示すキーワードが入力されるまでの間に入力された音声を、問合せとして取得して、問合せに対する回答を出力してよい。人工知能サーバ２００は、問合せ開始を示すキーワードが入力されてから、一の問合せのみを取得して、回答を出力してもよい。

【0048】

上記実施形態において、通話中継装置１００は、Ｓ４１８で人工知能サーバ２００が出力した回答が、携帯電話３００及び携帯電話４００のうち、携帯電話３００のみに送信されるように、携帯電話３００と、携帯電話４００と、人工知能サーバ２００との間のグループ通話を確立してもよい。これにより、ユーザ３０は、ユーザ４０に伝わることなく、人工知能サーバ２００からの回答を取得することができる。

【0049】

図５は、通信システム１０による処理の流れの一例を概略的に示す。ここでは、携帯電話３００が携帯電話４００に対する通話要求を送信して携帯電話４００との通話を確立する場合に、グループ通話によってアシストサービスを利用する流れの一例を示す。

【0050】

Ｓ５０２では、携帯電話３００が、携帯電話３００、携帯電話４００、及び人工知能サーバ２００によるグループ通話の通話要求を通話中継装置１００に送信する。Ｓ５０４では、通話中継装置１００が、通話要求を携帯電話４００に送信する。Ｓ５０６では、通話中継装置１００が、通話要求を人工知能サーバ２００に送信する。Ｓ５０８では、携帯電話４００及び人工知能サーバ２００が通話要求に応答することによって、携帯電話３００、携帯電話４００、及び人工知能サーバ２００のグループ通話が確立する。Ｓ５１０からＳ５１４は、Ｓ４１４からＳ４１８と同一であってよい。

【0051】

図６は、携帯電話３００の機能構成の一例を概略的に示す。携帯電話３００は、通話要求受信部３１２、接続確立部３１４、接続確立部３１６、確立選択部３１８、通話要求送信部３２０、音声送信部３２２、回答受信部３２４、回答出力制御部３２６、端末出力制御部３２８、及び端末情報送信部３３０を備える。なお、携帯電話３００がこれらのすべての構成を備えることは必須とは限らない。

【0052】

通話要求受信部３１２は、他の通信端末からの通話要求を受信する。通話要求受信部３１２は、例えば、携帯電話４００からの通話要求を通話中継装置１００から受信する。

【0053】

接続確立部３１４は、通話要求受信部３１２が通話要求を受信した場合に、ユーザ３０の指示に従って、通話要求を送信した通信端末との接続を確立する。接続確立部３１４は、例えば、通話要求受信部３１２が携帯電話４００からの通話要求を受信した場合に、ユーザ３０の指示に従って、携帯電話４００との接続を確立する。接続確立部３１４は、他の通信端末との呼接続を確立してよい。また、接続確立部３１４は、他の通信端末との、Ｓｋｙｐｅ（登録商標）及びＬＩＮＥ（登録商標）等のアプリにおける通話サービスの接続を確立してもよい。接続確立部３１４は、第１接続確立部の一例であってよい。

【0054】

接続確立部３１６は、接続確立部３１４が他の通信端末との接続を確立した場合に、人工知能サーバ２００との接続を確立する。接続確立部３１６は、例えば、接続確立部３１４が携帯電話４００との接続を確立した場合に、人工知能サーバ２００との接続を確立する。

【0055】

接続確立部３１６は、インターネットに接続された人工知能サーバ２００に対して接続要求を送信することによって、人工知能サーバ２００との接続を確立してよい。また、接続確立部３１６は、電話網に接続された人工知能サーバ２００に対する通話要求を通話中継装置１００に送信することによって、人工知能サーバ２００との呼接続を確立してよい。また、接続確立部３１６は、携帯電話４００及び人工知能サーバ２００とのグループ通話の通話要求を通話中継装置１００に送信することによって、グループ通話接続を確立してよい。接続確立部３１６は、第２接続確立部の一例であってよい。

【0056】

確立選択部３１８は、接続確立部３１４が接続を確立した場合に、人工知能サーバ２００との接続を確立するか否かを選択する。確立選択部３１８は、例えば、携帯電話３００の着信時に、アシストサービスを利用する通話応答が指示された場合に、人工知能サーバ２００との接続を確立することを選択し、通常の通話応答が指示された場合に、人工知能サーバ２００との接続を確立しないことを選択する。接続確立部３１６は、確立選択部３１８によって人工知能サーバ２００との接続を確立することが選択されている場合に、人工知能サーバ２００との接続を確立してよい。

【0057】

通話要求送信部３２０は、他の通信端末への通話要求を送信する。通話要求送信部３２０は、例えば、携帯電話４００への通話要求を通話中継装置１００に送信する。

【0058】

接続確立部３１４は、通話要求送信部３２０が送信した通話要求に対して、通話要求の送信先の通信端末が応答した場合に、当該通信端末と携帯電話３００との接続を確立する。

【0059】

接続確立部３１６は、通話要求送信部３２０が通話要求を送信した場合に、人工知能サーバ２００との接続を確立する。接続確立部３１６は、通話要求送信部３２０が通話要求を送信したときではなく、通話要求送信部３２０が通話要求を送信した後、接続確立部３１４が接続を確立した場合に、人工知能サーバ２００との接続を確立してもよい。

【0060】

確立選択部３１８は、通話要求送信部３２０が通話要求を送信した場合、又は接続確立部３１４が接続を確立した場合に、人工知能サーバ２００との接続を確立するか否かを選択する。接続確立部３１６は、確立選択部３１８によって人工知能サーバ２００との接続を確立することが選択されている場合に、人工知能サーバ２００との接続を確立してよい。

【0061】

音声送信部３２２は、接続確立部３１４が確立した接続を介する通話中にマイク３０２に入力された音声を、接続確立部３１６が確立した接続を介して人工知能サーバ２００に送信する。音声送信部３２２は、例えば、接続確立部３１４が確立した接続を介する通話中にマイク３０２に入力されたすべての音声を人工知能サーバ２００に送信する。

【0062】

音声送信部３２２は、接続確立部３１４が確立した接続を介する通話中にマイク３０２に入力された音声が、予め定められた問合せ開始を示すキーワードと一致すると判定した後の音声を人工知能サーバ２００に送信するようにしてもよい。この場合、音声送信部３２２は、マイク３０２に入力された音声が、予め定められた問合せ終了を示すキーワードと一致すると判定するまで、人工知能サーバ２００に対する音声の送信を継続してよい。また、音声送信部３２２は、マイク３０２に入力された音声が予め定められた問合せ開始を示すキーワードと一致すると判定した後、一の問合せのみを人工知能サーバ２００に送信してもよい。

【0063】

回答受信部３２４は、音声送信部３２２が送信した音声の内容に対して人工知能サーバ２００によって生成された回答を、接続確立部３１６によって確立された接続を介して人工知能サーバ２００から受信する。

【0064】

回答出力制御部３２６は、回答受信部３２４が受信した回答を出力させる。回答出力制御部３２６は、回答受信部３２４が受信した回答を、スピーカ３０６ではなく、スピーカ３０４に出力させてよい。これにより、通話しながらアシストサービスを利用する感覚をユーザ３０に与えることができる。スピーカ３０４は、第１スピーカの一例であってよい。スピーカ３０６は、第２スピーカの一例であってよい。

【0065】

回答出力制御部３２６は、回答受信部３２４が受信した回答を音声以外の態様で出力させてもよい。例えば、回答出力制御部３２６は、回答受信部３２４が受信した回答を表すテキストをディスプレイ３０８に表示出力させてもよい。

【0066】

端末出力制御部３２８は、回答受信部３２４が受信した回答を通話相手の通信端末である携帯電話４００に音声出力させるべく、当該回答を携帯電話４００に送信する。これにより、回答受信部３２４が受信した回答の内容を、通話相手のユーザ４０にも伝えることができる。

【0067】

端末出力制御部３２８は、回答受信部３２４が受信した回答のすべてを携帯電話４００に送信してよい。また、端末出力制御部３２８は、回答受信部３２４が受信した回答のうち、ユーザ３０によって指示された回答のみを携帯電話４００に送信してもよい。例えば、端末出力制御部３２８は、「読み上げて」等の、回答を通話相手にも伝えることを指示する内容の音声がマイク３０２に入力された場合に、回答受信部３２４が受信した回答を携帯電話４００に送信する。

【0068】

端末情報送信部３３０は、人工知能サーバ２００に、携帯電話４００との接続を確立させるべく、人工知能サーバ２００に携帯電話４００の情報を送信する。端末情報送信部３３０は、例えば、携帯電話４００の電話番号及びＩＰアドレス等を人工知能サーバ２００に送信する。端末情報送信部３３０は、ユーザ３０からの指示に従って、携帯電話４００の情報を人工知能サーバ２００に送信してよい。例えば、端末情報送信部３３０は、「読み上げて」等の、回答を通話相手にも伝えることを指示する内容の音声がマイク３０２に入力された場合に、携帯電話４００の情報を人工知能サーバ２００に送信する。

【0069】

人工知能サーバ２００は、端末情報送信部３３０から受信した携帯電話４００の情報を用いて、携帯電話４００と接続を確立してよい。そして、人工知能サーバ２００は、携帯電話３００から受信した音声の内容に対する回答を、接続確立部３１４によって確立された接続を介して携帯電話３００に送信するとともに、携帯電話４００との間に確立された接続を介して携帯電話４００に送信する。これにより、回答受信部３２４が受信する回答の内容を、ユーザ４０にも伝えることができる。

【0070】

図７は、人工知能サーバ２００の機能構成の一例を概略的に示す。人工知能サーバ２００は、要求受信部２０２、接続確立部２０４、音声受信部２０６、回答生成部２０８、回答送信部２１０、命令生成部２１２、端末情報受信部２１４、及び接続確立部２１６を備える。なお、人工知能サーバ２００がこれらのすべての構成を備えることは必須とは限らない。

【0071】

要求受信部２０２は、通話要求を受信する。要求受信部２０２は、例えば、携帯電話３００から通話要求を受信する。

【0072】

接続確立部２０４は、要求受信部２０２が携帯電話３００からの通話要求を受信した場合に、携帯電話３００との接続を確立する。

【0073】

音声受信部２０６は、接続確立部２０４によって確立された接続を介して、携帯電話３００のマイク３０２に入力された音声を携帯電話３００から受信する。音声受信部２０６は、音声送信部３２２によって送信された音声を受信してよい。

【0074】

回答生成部２０８は、音声受信部２０６が受信した音声の内容に対する回答を生成する。回答生成部２０８は、音声認識機能、意図汲取り機能、スケジュール管理機能、業務管理機能、及び音声合成機能等を用いて、音声受信部２０６が受信した音声の内容に対する回答を生成してよい。

【0075】

回答送信部２１０は、回答生成部２０８が生成した回答を送信する。回答送信部２１０は、接続確立部２０４によって確立された携帯電話３００との接続を介して、回答生成部２０８が生成した回答を携帯電話３００に送信してよい。

【0076】

命令生成部２１２は、回答生成部２０８が生成した回答を携帯電話３００に出力させること、及び携帯電話３００から携帯電話４００に回答を転送することを示す命令を生成する。回答送信部２１０は、命令生成部２１２によって命令が生成された場合、回答生成部２０８が生成した回答と、命令生成部２１２が生成した命令とを携帯電話３００に送信してよい。携帯電話３００が当該回答及び当該命令を受信した場合、当該命令に従って、回答出力制御部３２６が当該回答を出力させるとともに、端末出力制御部３２８が当該回答を携帯電話４００に送信してよい。これにより、回答の内容をユーザ３０及びユーザ４０に伝えることができる。

【0077】

端末情報受信部２１４は、端末情報送信部３３０によって送信された携帯電話４００の情報を受信する。接続確立部２１６は、端末情報受信部２１４が携帯電話４００の情報を受信した場合、携帯電話４００との接続を確立する。回答送信部２１０は、回答生成部２０８によって生成された回答を、接続確立部２０４によって確立された接続を介して携帯電話３００に送信するとともに、接続確立部２１６によって確立された接続を介して携帯電話４００に送信してよい。これにより、回答の内容をユーザ３０及びユーザ４０に伝えることができる。

【0078】

図８は、携帯電話３００による着信時の表示例５００を概略的に示す。携帯電話３００は、通常の応答ボタン５０２及び拒否ボタン５０６に加えて、アシストサービスを利用しつつ通話をするための応答ボタン５０４を表示させてよい。携帯電話３００は、応答ボタン５０４が選択された場合、人工知能サーバ２００との接続を確立してよい。また、携帯電話３００は、応答ボタン５０４が選択された場合、携帯電話３００と、携帯電話４００と、人工知能サーバ２００とのグループ通話を確立してもよい。

【0079】

図９は、携帯電話３００による発信用の表示例５１０を概略的に示す。携帯電話３００は、通常の通話ボタン５１２に加えて、アシストサービスを利用しつつ通話をするための通話ボタン５１４を表示させてよい。携帯電話３００は、通話ボタン５１４が選択された場合、人工知能サーバ２００との接続を確立してよい。また、携帯電話３００は、通話ボタン５１４が選択された場合、携帯電話３００と、携帯電話４００と、人工知能サーバ２００とのグループ通話を確立してもよい。

【0080】

図１０は、携帯電話３００として機能するコンピュータ９００のハードウエア構成の一例を示す。本実施形態に係るコンピュータ９００は、ＳｏＣ９１０、メインメモリ９２２、フラッシュメモリ９２４、アンテナ９３２、アンテナ９３４、ディスプレイ９４０、マイク９４２、スピーカ９４４、スピーカ９４６、カメラ９４８、ＵＳＢポート９５２、及びカードスロット９５４を備える。

【0081】

ＳｏＣ９１０は、メインメモリ９２２及びフラッシュメモリ９２４に格納されたプログラムに基づいて動作し、各部の制御を行う。アンテナ９３２は、いわゆるセルラーアンテナである。アンテナ９３４は、いわゆるＷｉＦｉ（登録商標）アンテナである。ＳｏＣ９１０は、アンテナ９３２及びアンテナ９３４を用いて、各種通信機能を実現してよい。ＳｏＣ９１０は、例えば、アンテナ９３２及びアンテナ９３４を用いてＳｏＣ９１０が使用するプログラムを受信して、フラッシュメモリ９２４に格納してよい。

【0082】

ＳｏＣ９１０は、ディスプレイ９４０を用いて各種表示機能を実現してよい。ＳｏＣ９１０は、マイク９４２を用いて各種音声入力機能を実現してよい。スピーカ９４４は、通話用のスピーカであってよい。ＳｏＣ９１０は、スピーカ９４４を用いて通話中の音声出力機能を実現してよい。スピーカ９４６は、スピーカ９４４よりも遠距離に音声を伝搬するためのスピーカであってよい。ＳｏＣ９１０は、スピーカ９４６を用いて、例えば、アプリによる音声出力機能を実現してよい。ＳｏＣ９１０は、カメラ９４８を用いて各種撮影機能を実現してよい。

【0083】

ＵＳＢポート９５２は、ＵＳＢ接続を実現する。カードスロット９５４は、ＳＤカード等の各種カードとの接続を実現する。ＳｏＣ９１０は、ＵＳＢポート９５２に接続された機器又はメモリと、カードスロット９５４に接続されたカードとから、ＳｏＣ９１０が使用するプログラムを受信して、フラッシュメモリ９２４に格納してよい。

【0084】

コンピュータ９００にインストールされ、コンピュータ９００を携帯電話３００として機能させるプログラムは、ＳｏＣ９１０等に働きかけて、コンピュータ９００を、携帯電話３００の各部としてそれぞれ機能させてよい。これらのプログラムに記述された情報処理は、コンピュータ９００に読込まれることにより、ソフトウエアと上述した各種のハードウエア資源とが協働した具体的手段である通話要求受信部３１２、接続確立部３１４、接続確立部３１６、確立選択部３１８、通話要求送信部３２０、音声送信部３２２、回答受信部３２４、回答出力制御部３２６、端末出力制御部３２８、及び端末情報送信部３３０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の携帯電話３００が構築される。

【0085】

以上の説明において、人工知能サーバ２００の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよい。又はドウエアとソフトウエアとの組み合わせにより実現されてもよい。また、プログラムが実行されることにより、コンピュータが、人工知能サーバ２００として機能してもよい。プログラムは、コンピュータ読み取り可能な媒体又はネットワークに接続された記憶装置から、人工知能サーバ２００の少なくとも一部を構成するコンピュータにインストールされてよい。

【0086】

コンピュータにインストールされ、コンピュータを本実施形態に係る人工知能サーバ２００として機能させるプログラムは、ＣＰＵ等に働きかけて、コンピュータを、人工知能サーバ２００の各部としてそれぞれ機能させる。これらのプログラムに記述された情報処理は、コンピュータに読込まれることにより、ソフトウエアと人工知能サーバ２００のハードウエア資源とが協働した具体的手段として機能する。

【0087】

上記実施形態では、情報提供システムの一例として人工知能サーバ２００を挙げて説明したが、これに限らない。情報提供システムは、携帯電話３００にインストールされている、人工知能アプリケーション等の情報提供アプリケーションであってもよい。接続確立部３１６は、接続確立部３１４によって携帯電話３００と携帯電話４００との接続が確立された場合等に、情報提供アプリケーションとの接続を確立してよい。情報提供アプリケーションは、上述の人工知能サーバ２００と同様の機能を有してよい。

【0088】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0089】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階どの各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0090】

１０ 通信システム、２０ ネットワーク、３０ ユーザ、４０ ユーザ、１００ 通話中継装置、２００ 人工知能サーバ、２０２ 要求受信部、２０４ 接続確立部、２０６ 音声受信部、２０８ 回答生成部、２１０ 回答送信部、２１２ 命令生成部、２１４ 端末情報受信部、２１６ 接続確立部、３００ 携帯電話、３０２ マイク、３０４ スピーカ、３０６ スピーカ、３０８ ディスプレイ、３１２ 通話要求受信部、３１４ 接続確立部、３１６ 接続確立部、３１８ 確立選択部、３２０ 通話要求送信部、３２２ 音声送信部、３２４ 回答受信部、３２６ 回答出力制御部、３２８ 端末出力制御部、３３０ 端末情報送信部、４００ 携帯電話、４０２ マイク、４０４ スピーカ、４０６ スピーカ、４０８ ディスプレイ、５００ 表示例、５０２ 応答ボタン、５０４ 応答ボタン、５０６ 拒否ボタン、５１０ 表示例、５１２ 通話ボタン、５１４ 通話ボタン、９００ コンピュータ、９１０ ＳｏＣ、９２２ メインメモリ、９２４ フラッシュメモリ、９３２ アンテナ、９３４ アンテナ、９４０ ディスプレイ、９４２ マイク、９４４ スピーカ、９４６ スピーカ、９４８ カメラ、９５２ ＵＳＢポート、９５４ カードスロット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】