特許 7195931 状況認知型のパーソナルアシスタント

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-16

(45)【発行日】2022-12-26

(54)【発明の名称】状況認知型のパーソナルアシスタント

(51)【国際特許分類】

   G06F 3/01 20060101AFI20221219BHJP

   G06F 3/0487 20130101ALI20221219BHJP

   G08G 1/16 20060101ALI20221219BHJP

   G01C 21/26 20060101ALI20221219BHJP

   G08G 1/0968 20060101ALI20221219BHJP

   H04M 1/00 20060101ALI20221219BHJP

   G06F 3/0481 20220101ALI20221219BHJP

   G06F 3/16 20060101ALI20221219BHJP

【ＦＩ】

G06F3/01 510

G06F3/0487

G08G1/16 C

G01C21/26 C

G08G1/0968

H04M1/00 U

G06F3/0481

G06F3/16 600

【請求項の数】 16

(21)【出願番号】P 2018559276

(86)(22)【出願日】2017-06-20

(65)【公表番号】

(43)【公表日】2019-09-26

(86)【国際出願番号】 US2017038213

(87)【国際公開番号】W WO2017223013

(87)【国際公開日】2017-12-28

【審査請求日】2020-05-27

(31)【優先権主張番号】15/192,880

(32)【優先日】2016-06-24

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】314015767

【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ジュー，テ ホン

(72)【発明者】

【氏名】エラッバディ，タレク ゼット．

(72)【発明者】

【氏名】ハビブ，モナ ソリマン

【審査官】田川 泰宏

(56)【参考文献】

【文献】米国特許出願公開第２０１６／００１４０６２（ＵＳ，Ａ１）

【文献】特開２００４－０５０９７５（ＪＰ，Ａ）

【文献】特開２００８－２３３６７８（ＪＰ，Ａ）

【文献】特開２００１－１９１８７１（ＪＰ，Ａ）

【文献】特表２００４－５１２６０９（ＪＰ，Ａ）

【文献】特開２００２－１２０６５６（ＪＰ，Ａ）

【文献】特開２００８－１９１０７４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／０１２８８６３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１３／０１２７６１４（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０１２９５０１３（ＣＮ，Ａ）

【文献】国際公開第２０１６／０８１３２６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１－３／０４８９５

Ｇ０８Ｇ １／１６

Ｇ０１Ｃ ２１／２６

Ｇ０８Ｇ １／０９６８

Ｈ０４Ｍ １／００

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

少なくとも１つの演算装置内における方法であって、
発話された要求を受け取り、音声で応答することを含む音声通話を通じてユーザと対話するように構成されている電子パーソナルアシスタントであるアプリケーションを前記演算装置内で実行することと、
前記ユーザから発話された要求に応答して前記電子パーソナルアシスタントにより生成された応答をインターセプトすることと、
複数のセンサによって状況を検知してセンサデータを生成することと、
前記センサデータに基づいて状況スコアを算出することと、
前記算出された状況スコアに基づいて、前記電子パーソナルアシスタントから前記ユーザへ前記応答を提供することを保留することと、
を含み、
前記状況は、運転者が道路上において車両を運転している運転状況であり、
前記センサデータは、前記運転者の発話パターンを含み、
前記算出することは、前記センサデータに基づいて運転状況スコアを算出することを含み、
前記保留することは、前記算出された運転状況スコアに基づいて、前記電子パーソナルアシスタントから前記運転者へ前記応答を提供することを保留することを含む、方法。

【請求項2】

前記検知することは、
前記運転者の少なくとも１つの態様を検知すること、
を含む、請求項１に記載の方法。

【請求項3】

前記検知することは、
前記車両の少なくとも１つの態様を検知すること、
を含む、請求項１に記載の方法。

【請求項4】

前記検知することは、
前記道路の環境の少なくとも１つの態様を検知すること、
を含む、請求項１に記載の方法。

【請求項5】

前記保留することは、
前記電子パーソナルアシスタントによって前記運転者の気が散ることを防止するべく、前記運転状況スコアが既定の値を有する場合に、前記電子パーソナルアシスタントから前記運転者へ前記応答を提供することを保留すること、
を含む、請求項１に記載の方法。

【請求項6】

前記保留することは、
前記運転者との間における口頭の又は視覚的な通信のうちの少なくとも１つを遅延させること、
を含む、請求項５に記載の方法。

【請求項7】

少なくとも１つの演算装置であって、
発話された要求を受け取り、音声で応答することを含む音声通話を通じてユーザと対話するように構成されている電子パーソナルアシスタントであるアプリケーションと、
状況を検知する複数のセンサから受け取られたセンサデータに基づいて状況スコアを算出し、前記ユーザから発話された要求に応答して前記電子パーソナルアシスタントにより生成された応答をインターセプトし、前記算出された状況スコアに基づいて、前記電子パーソナルアシスタントから前記ユーザへ前記応答を提供することを保留するように構成されている状況モニタと、
を備え、
前記状況は、運転者が道路上において車両を運転している運転状況であり、前記センサデータは、前記運転者の発話パターンを含み、前記状況モニタは、前記センサデータに基づいて運転状況スコアを算出するように構成された運転状況モニタを含む、少なくとも１つの演算装置。

【請求項8】

前記センサは、
前記運転者の少なくとも１つの態様を検知するように構成された第１センサ、
前記車両の少なくとも１つの態様を検知するように構成された第２センサ、又は、
前記道路の環境の少なくとも１つの態様を検知するように構成された第３センサ、
のうちの少なくとも１つを備える、請求項７に記載の少なくとも１つの演算装置。

【請求項9】

前記運転状況モニタは、前記運転状況スコアが既定の値を有する場合に、前記電子パーソナルアシスタントから前記運転者へ前記応答を提供することを保留し、これにより、前記電子パーソナルアシスタントによって前記運転者の気が散ることを回避するように構成されている、請求項７に記載の少なくとも１つの演算装置。

【請求項10】

前記運転状況モニタ及び前記電子パーソナルアシスタントを実装するモバイルユーザー装置を更に備える、請求項７に記載の少なくとも１つの演算装置。

【請求項11】

前記電子パーソナルアシスタントを実装するモバイルユーザー装置を更に有し、且つ、
前記運転状況モニタは、前記車両のプロセッサ回路によって実装されている、請求項７に記載の少なくとも１つの演算装置。

【請求項12】

前記運転状況モニタ及び前記電子パーソナルアシスタントを実装する前記車両のプロセッサを更に備える、請求項７に記載の少なくとも１つの演算装置。

【請求項13】

演算装置であって、
少なくとも一つのプロセッサ回路と、
前記少なくとも一つのプロセッサ回路により実行されて動作を実行するプログラムコードを格納するメモリと、を備え、
前記動作は、
発話された要求を受け取り、音声で応答することを含む音声通話を通じてユーザと対話するように構成されている電子パーソナルアシスタントであるアプリケーションを実行することと、
前記ユーザから発話された要求に応答して前記電子パーソナルアシスタントにより生成された応答をインターセプトすることと、
状況を検知する複数のセンサから受け取られたセンサデータに基づいて状況スコアを算出することと、
前記算出された状況スコアに基づいて、前記電子パーソナルアシスタントから前記ユーザへ前記応答を提供することを保留することと、
を含み、
前記状況は、運転者が道路上において車両を運転している運転状況であり、
前記センサデータは、前記運転者の発話パターンを含み、
前記算出することは、前記センサデータに基づいて運転状況スコアを算出することを含み、
前記保留することは、前記算出された運転状況スコアに基づいて、前記電子パーソナルアシスタントから前記運転者へ前記応答を提供することを保留することを含む、演算装置。

【請求項14】

前記検知することは、
前記運転者の少なくとも１つの態様を検知すること、
前記車両の少なくとも１つの態様を検知すること、又は
前記道路の環境の少なくとも１つの態様を検知すること、
の何れか一つを含む、請求項１３に記載の演算装置。

【請求項15】

前記保留することは、
前記電子パーソナルアシスタントによって前記運転者の気が散ることを防止するべく、前記運転状況スコアが既定の値を有する場合に前記電子パーソナルアシスタントから前記運転者へ前記応答を提供することを保留することを含む、請求項１３に記載の演算装置。

【請求項16】

前記保留することは、
前記運転者との間における口頭の又は視覚的な通信のうちの少なくとも１つを遅延させることを含む、請求項１５に記載の演算装置。

【発明の詳細な説明】

【背景技術】

【0001】

「電子パーソナルアシスタント」又は「インテリジェントパーソナルアシスタント」は、ユーザーがやり取りできる、携帯電話機などのユーザー装置内において稼働しているアプリケーションである。ユーザーが、電子パーソナルアシスタントに話しかけることができると共に、電子パーソナルアシスタントも、発話により、ユーザーに応答することができる。電子パーソナルアシスタントは、タスク及び／又はサービスを実行するための要求などの、ユーザー要求を処理することにより、一般的な支援を提供するように構成されている。例えば、電子パーソナルアシスタントは、質問に対して回答するように、推奨を実行するように、且つ／又は、動作を実行するように、構成することができる。電子パーソナルアシスタントは、ユーザーからの事前の指示やモバイル装置の場所などに基づいて情報をユーザーに提供するべく、それ自体で発話するように更に構成することができる。但し、いずれの場合にも、運転などの、ユーザーがタスクに集中する必要がある状況においてユーザーに話しかけると、気が散る場合もあり、且つ、恐らくは、場合によっては、ユーザーにとって危険である場合もある。

【発明の概要】

【課題を解決するための手段】

【0002】

この「概要」は、「詳細な説明」において更に後述されている概念の一選択肢について概略的な形態で紹介するべく提供されるものである。この「概要」は、特許請求されている主題の主な特徴又は不可欠な特徴を識別することを意図したものではなく、且つ、特許請求されている主題の範囲を限定するべく使用されることを意図したものでもない。

【0003】

状況に基づいて電子パーソナルアシスタントの振る舞いを変更するための方法、システム、装置、及びコンピュータプログラムプロダクトが提供されている。センサデータを生成するべく、複数のセンサによって状況が検知される。センサデータに基づいて、状況スコアが算出される。算出された状況スコアに基づいて、電子パーソナルアシスタントの振る舞いが変更される。一態様においては、状況は、運転者が道路上において車両を運転している運転状況である。このようなケースにおいては、センサデータに基づいて、運転状況スコアが算出され、且つ、運転者の気が散ることを防止するべく、算出された運転状況スコアに基づいて、運転者との間における電子パーソナルアシスタントによるやり取りを一時停止するなどのように、電子パーソナルアシスタントの振る舞いが変更される。

【0004】

以下、添付図面を参照し、本発明の更なる特徴及び利点のみならず、本発明の様々な実施形態の構造及び動作について詳細に説明する。本発明は、本明細書において記述されている特定の実施形態に限定されるものではないことに留意されたい。これらの実施形態は、例示を目的として、本明細書において提示されているに過ぎない。当業者には、本明細書において含まれている教示内容に基づいて、更なる実施形態が明らかとなろう。

【0005】

本明細書に含まれていると共に本明細書の一部分を形成している添付図面は、本出願の実施形態を示しており、且つ、説明と共に、実施形態の原理を説明するように、且つ、当業者による実施形態の実施及び使用を可能とするように、更に機能する。

【図面の簡単な説明】

【0006】

【図1】図１は、例示用の一実施形態による、電子パーソナルアシスタントの振る舞いを変更するべく、センサデータが、状況モニタによって受け取られると共に処理される、状況認知型システムのブロック図を示す。

【図2】図２は、例示用の一実施形態による、状況に基づいて電子パーソナルアシスタントの振る舞いを変更するプロセスを提供するフローチャートを示す。

【図3】図３は、例示用の一実施形態による、電子パーソナルアシスタントが運転者の気を散らせることを防止するべく、車両内において実装された図１の状況認知型システムのブロック図を示す。

【図4】図４は、例示用の一実施形態による、車両電子回路内において実装された、車両に基づいた状況認知型システムのブロック図を示す。

【図5】図５は、例示用の一実施形態による、部分的に車両電子回路内において、且つ、部分的にモバイルユーザー装置内において、実装された、車両に基づいた状況認知型システムのブロック図を示す。

【図6】図６は、例示用の一実施形態による、モバイルユーザー装置内において実装された、車両に基づいた状況認知型システムのブロック図を示す。

【図7】図７は、例示用の一実施形態による、運転状況の検知に基づいて車両内の電子パーソナルアシスタントの振る舞いを変更するプロセスを提供するフローチャートを示す。

【図8】図８は、例示用の一実施形態による、走行している車両と関連する態様を検知する複数のセンサのブロック図を示す。

【図9】図９は、例示用の一実施形態による、走行している車両と関連する態様を検知するプロセスを提供するフローチャートを示す。

【図10】図１０は、例示用の一実施形態による、状況モニタのブロック図を示す。

【図11】図１１は、例示用の一実施形態による、状況認知型システムの別のブロック図を示す。

【図12】図１２は、例示用の一実施形態による、検知された状態に基づいて運転者との間における電子パーソナルアシスタントによるやり取りを一時停止及び再開する、車両内のプロセスを提供するフローチャートを示す。

【図13】図１３は、例示用の一実施形態による、電子パーソナルアシスタントの振る舞いを変更するプロセスを示す。

【図14】図１４は、実施形態を実装するべく使用されうる、例示用の演算装置のブロック図を示す。

【発明を実施するための形態】

【0007】

本発明の特徴及び利点については、対応する要素がその全体を通じて同一の参照符号によって識別されている図面との関連において検討された際に、後述する詳細な説明から、更に明らかとなろう。図面においては、同一の参照符号は、通常、同一の、機能的に類似した、且つ／又は、構造的に類似した、要素を示している。要素が最初に登場している図面は、対応する参照符号の最も左側の１つ又は複数の桁によって示されている。

【0008】

Ｉ．導入部
本明細書及び添付の図面は、本発明の特徴を内蔵する１つ又は複数の実施形態を開示している。本発明の範囲は、開示されている実施形態に限定されるものではない。開示されている実施形態は、本発明を例示するものに過ぎず、且つ、開示されている実施形態の変更されたバージョンも、本発明によって包含される。本発明の実施形態は、添付の請求項によって定義されている。

【0009】

「一実施形態」、「実施形態」、及び「例示用の実施形態」などに対する本明細書における参照は、記述されている実施形態が、特定の特徴、構造、又は特性を含みうるが、すべての実施形態が、それらの特定の特徴、構造、又は特性を必ずしも含んでいない場合があることを示している。更には、このようなフレーズは、必ずしも、同一の実施形態を参照しているものでもない。更には、特定の特徴、構造、又は特性が一実施形態との関連において記述されている際には、明示的に記述されているかどうかとは無関係に、その他の実施形態との関連におけるそれらの特徴、構造、又は特性の実施が、当業者の知識に含まれていることを申し添えておきたい。

【0010】

この説明においては、そうではない旨が記述されていない限り、本開示の一実施形態の１つ又は複数の特徴の状態又は関係特性を修飾している「実質的に（substantially）」及び「約（about）」などの形容詞は、その状態又は特性が、その意図されている用途における実施形態の動作について受け入れ可能である許容範囲内において定義されていることを意味するものと理解されたい。

【0011】

以下においては、多数の例示用の実施形態について記述されている。本明細書において提供されている任意のセクション／サブセクションの見出しは、限定を意図したものではないことに留意されたい。実施形態は、本明細書の全体を通じて記述されており、且つ、任意のセクション／サブセクションの下において、任意のタイプの実施形態を含むことができる。更には、任意のセクション／サブセクション内において開示されている実施形態は、任意の方式により、同一のセクション／サブセクション及び／又は異なるセクション／サブセクション内において記述されている任意のその他の実施形態と組み合わせることができる。

【0012】

ＩＩ．バケッティング試験障害（bucketing test failure）用の例示用の実施形態
電子パーソナルアシスタントは、ユーザーがやり取りすることができる、携帯電話機などのユーザー装置内において稼働するアプリケーションである。ユーザーは、電子パーソナルアシスタントに対して話しかけることができる共に、電子パーソナルアシスタントも、発話により、ユーザーに返答することができる。電子パーソナルアシスタントは、情報に対する、或いは、タスク及び／又はサービスを実行するための、要求などの、ユーザー要求を処理することにより、一般的な支援を提供するように構成することができる。例えば、電子パーソナルアシスタントは、質問に対して回答するように、推奨を実行するように、且つ／又は動作を実行するように、構成することができる。電子パーソナルアシスタントは、ユーザー要求に対して直接的に応答することができ、且つ／又は、事前の指示やモバイル装置の場所などを含む、様々な要因に基づいて情報をユーザーに提供するべく、それ自体で発話することもできる。市場においては、Apple Inc. of Cupertino, Californiaによって提供されているSiri（登録商標）、Google, Inc. of Mountain View, Californiaによって提供されているGoogle Now（商標）、Amazon.com, Inc. of Seattle, Washingtonによって提供されているAmazon Echo（商標）、及びMicrosoft Corporation of Redmond, Washingtonによって提供されているCortana（商標）を含む、多数の電子パーソナルアシスタントが入手可能である。

【0013】

通常の動作の際に、電子パーソナルアシスタントは、ユーザーと通信するべく又はその他の方法でやり取りするべく、起動することができる。但し、電子パーソナルアシスタントがその振る舞いを変更することにより、通常の動作から外れることが望ましい場合が存在しうる。例えば、車両の運転者（例えば、自動車又はトラックの運転者や航空機のパイロット）が電子パーソナルアシスタントとやり取りしている、従来の運転状況においては、電子パーソナルアシスタントに対する運転者の発話された要求は、即座に処理されている。この理由は、部分的には、電子パーソナルアシスタントがその周囲の認知を欠いているからである。但し、運転者が、運転している最中に、特に、不都合な状態にある際に、電子パーソナルアシスタントが運転者に話しかけることは、望ましくない場合がある。その理由は、電子パーソナルアシスタントの音声が、気を散らせる場合があり、且つ、従って、ユーザー及び車両の任意のその他の乗員にとって危険である場合があるからである。

【0014】

従って、実施形態においては、モバイル装置と関連する状況に基づいて、電子パーソナルアシスタントの振る舞いが変更されている。実施形態においては、センサデータを生成するべく、状況が複数のセンサによって検知されている。センサデータに基づいて、状況スコアが算出されている。算出された状況スコアに基づいて、電子パーソナルアシスタントの振る舞いが変更されている。

【0015】

例えば、運転状況のケースにおいては、研究者は、運転者がSiri（登録商標）とやり取りした際には、運転者の気が散ることになり、且つ、運転者の気が散った状態は、やり取りが終了した後に、２０秒にわたって継続することを見出している。更には、自動車内におけるセル電話機の使用は、自動車事故率を増大させるが、自動車内に乗員が存在している場合には、事故率が減少することも観察されている。これらの観察に対する１つの説明は、人間の乗員は、自身の発話を調節することにより、重要な時点において運転者の注意を奪おうとしない会話パターンを結果的にもたらしているというものである。

【0016】

一実施形態においては、電子パーソナルアシスタントによって使用される実際の言葉ではなく、電子パーソナルアシスタントが車両内において発話する方式／時点が、乗員の発話パターンに似せるなどのように、変更されている。

【0017】

このような一車両実施形態においては、運転状況に関するデータは、直近の環境に関する状況認知を生み出す、近隣のその他の車両及び道路上の物体の場所及び運動を判定するための車両上のセンサ（例えば、カメラ、ＲＡＤＡＲ、ＳＯＮＡＲ、及び／又はＬＩＤＡＲ（LIght Detection And Ranging））、運転者についてトレーニング済みのビデオカメラ及び／又は運転者のストレスレベルを推定するためのその他のセンサ、突然の加速及び減速を判定するためのリアルタイムの車両運動計測、並びに／或いは、霧、雨、雪などのような局所的な天候状態を検出するように構成されたセンサによるなどの、様々な方法によってキャプチャすることができる。このような検知によって提供される局所的な認知のレベルは、注意深い乗員が実現しうるものに類似している。

【0018】

従って、大きな周辺ノイズ、強力且つ迅速に変化する交通及び／又は道路状態、運転者の一時的な否定的感情状態（例えば、突然のストレス又は混乱）、自動車速度の突然の変化、及び／又は様々な更なる状態、という状態のうちの１つ又は複数が存在していることに起因して、運転者の気を散らせることが安全ではない際には、電子パーソナルアシスタントが、運転者とのやり取り（例えば、運転者への返答又は会話の開始）を延期するようにすることができる。

【0019】

一運転状況においては、発話又はテキストにおいて、ユーザー（運転者又は乗員）の要求に応答する際に、電子パーソナルアシスタントは、やり取りを一時停止するように（例えば、発話を停止するように）、且つ、再開する前に、状況が受け入れ可能な方式において穏やかになる時点まで、待つように、構成することができる。一実施形態においては、電子パーソナルアシスタントの発話／待機状態を通知するフラグを生成することができる。適切に応答を遅延させることにより、電子パーソナルアシスタントは、運転者が直面している更なる混乱及び錯乱に拍車をかけることがない。

【0020】

別の実施形態においては、電子パーソナルアシスタントは、積極的な支援を運転者に対して提供することができる。上述のようにセンサデータを処理することにより、運転者における将来の潜在的な否定的状況を予測することができると共に、電子パーソナルアシスタントにより、運転者に対して事前に警告することができる。例えば、近傍の自動車の運動を検知することにより、自動車の軌跡を予測することが可能であり、且つ、電子パーソナルアシスタントは、衝突の可能性が存在する場合に、運転者に対して警告することができる。

【0021】

交通事故を回避するためのガイダンスの提供に加えて、電子パーソナルアシスタントは、将来の計画について助言するべく、自動車の状態から得られた情報、現時点の自動車の場所、並びに、運転者の予定されている面会の約束及びイベントなどの運転者の個人的な情報を組み合わせることができる。例えば、車両の燃料が少ない場合には、電子パーソナルアシスタントは、現時点の場所、交通状態、及び運転者のスケジュールに基づいて、好都合なガソリンスタンドを示唆することができる。

【0022】

従って、一運転状況実施形態においては、状況認知型システムは、局所的な運転状況によって運転者に課せられている認識需要を推定するように構成されており、且つ、状況認知型システムの出力値に基づいて、電子パーソナルアシスタントの発話ユーザーインターフェイスが変更されている。例えば、その他の運転者による攻撃的且つ突然の運転動作を伴う混雑した交通は、運転者の十分な注意を必要としている。このような状況においては、運転者とのやり取りを再開する前に、運転タスクによって必要とされている認識作業負荷が和らげられる時点まで、待つように、電子パーソナルアシスタントの発話インターフェイスを構成することができる。

【0023】

一実施形態においては、運転状況認知型（ＤＳＡ：Driving Situation Aware）システム内において周囲の交通状態を内蔵するように、電子パーソナルアシスタントのユーザーインターフェイスを変更することができる。ＤＳＡシステムは、（ａ）運転者の発話パターン（例えば、長い休止、或いは、中断された不完全な文章は、混雑した交通状態を通知しうる）、（ｂ）運転者の顔面表現（例えば、ストレスを受けている又は緊張した顔面表現は、混雑した交通を通知しうる）、（ｃ）運転者の運転動作（例えば、突然の操向又は加速及び減速は、回避操作を通知しうる）、（ｄ）センサ信号（例えば、レーダー、ビデオカメラ、ソナー、ＩＲ（赤外線）カメラ、慣性ナビゲーションシステム、ＬＩＤＡＲなどを含む、カーセンサからの利用可能な信号を使用したもの）、及び（ｅ）任意のその他の検知された状態を含む、サポートベクトルマシン、回帰ツリー、深層ニューラルネットワーク、或いは、様々な検知された状態を考慮した一般的なモデルなどの、多次元回帰アルゴリズムを使用するように構成することができる。

【0024】

実施形態は、様々な方式によって実装することができる。例えば、図１は、例示用の一実施形態による、電子パーソナルアシスタントの振る舞いを変更するべく、センサデータが処理される、状況認知型システム１００のブロック図を示している。図１に示されているように、システム１００は、第１～第３センサ１０２Ａ～１０２Ｃと、状況モニタ１０４と、電子パーソナルアシスタント１０６と、を含む。以下、図２との関係において、システム１００について説明する。図２は、例示用の一実施形態による、状況の検知に基づいて電子パーソナルアシスタントの振る舞いを変更するプロセスを提供するフローチャート２００を示している。システム１００は、一実施形態において、フローチャート２００を実行することができる。

【0025】

フローチャート２００は、ステップ２０２において始まっている。ステップ２０２において、センサデータを生成するべく、状況が複数のセンサによって検知されている。図２に示されているように、センサ１０２Ａ～１０２Ｃは、状況の態様を検知するように構成することができる。検知される状況は、ユーザーによって使用されている電子パーソナルアシスタントを含むモバイル装置又はその他の演算装置を含む環境内において発生している任意の状況であってよい。例示用の適用可能な状況は、運転状況、飛行状況（例えば、航空機内のパイロット）、航行状況、職場状況（例えば、デスクトップコンピュータを前にして着座したユーザーや機械を操作しているユーザーなど）、歩行状況（例えば、歩行中の、モバイル装置を携帯したユーザー）、体操状況（走行中の、ジム内の、ハイキング又は登山中の、モバイル装置を携帯したユーザー）などを含む。

【0026】

センサ１０２Ａ～１０２Ｃは、それぞれ、同一又は異なるタイプのセンサ装置である。図１には、図示の容易性を目的として、３つのセンサ１０２Ａ～１０２Ｃが示されているが、実施形態においては、数十、数百、或いは、場合によっては、更に多くの数のセンサを含む、任意の数のセンサが、システム１００内において存在しうる。センサ１０２Ａ～１０２Ｃの例は、圧力センサ（例えば、気圧や水圧）、温度センサ（例えば、自宅やその他の建物の温度、体温、エンジン温度、環境温度）、超音波センサ、湿度センサ、ガスセンサ、光センサ、ＰＩＲ（受動型赤外線：Passive InfraRed）センサ、ノイズセンサ、加速度センサ、モーションセンサ、変位センサ、生体計測センサ（例えば、指紋センサ、心拍数センサ、血圧センサ、網膜センサ、顔面認識センサ、音声センサ）などを含む。それぞれのセンサ１０２Ａ～１０２Ｃは、それぞれ、センサデータ１１０Ａ～１１０Ｃとして示されている、検知状態（例えば、温度、圧力、湿度など）について通知する電気信号を生成するように構成されている。センサ１０２Ａ～１０２Ｃは、アナログ電気信号やデジタル電気信号（例えば、電気的なハイ及びローの形態においてデータを担持するもの）などとしてのものを含む、任意の形態において、センサデータ１１０Ａ～１１０Ｃを生成することができると共に、無線又は有線方式により、センサデータ１１０Ａ～１１０Ｃを状況モニタ１０４に提供することができる。

【0027】

ステップ２０４において、センサデータに基づいて、状況スコアが算出されている。図１に示されているように、状況モニタ１０４は、センサデータ１１０Ａ～１１０Ｃなどの、センサデータを受け取っており、且つ、受け取られたセンサデータに基づいて状況スコア１１２を生成するように構成されている。状況モニタ１０４は、センサデータ１１０Ａ～１１０Ｃ（並びに／或いは、更なるセンサデータ）の任意の１つ又は複数を考慮しうる、任意の方式により、状況スコア１１２を算出してもよく、それぞれの受け取られたセンサデータを任意の方式によって重み付けしてもよく、且つ、任意選択により、状況スコア１１２を生成するべく、重み付けされたセンサデータを（例えば、任意の等式又は式に従って）任意の方式によって組み合わせてもよい。

【0028】

ステップ２０６において、算出された状況スコアに基づいて、電子パーソナルアシスタントの振る舞いが変更されている。一実施形態においては、状況スコア１１２は、電子パーソナルアシスタント１０６の振る舞いを変更するべく、使用されている。例えば、図１に示されているように、状況モニタ１０４は、電子パーソナルアシスタント１０６によって受け取られうる、状況スコア１１２を出力することができると共に、電子パーソナルアシスタント１０６は、状況スコア１１２の値に基づいて、その振る舞い（例えば、機能／動作）を変更することができる。例えば、電子パーソナルアシスタント１０６は、実行されている動作を一時停止してもよく（例えば、音楽の再生を停止する、発話を停止する、メッセージの表示を停止する、ビデオの表示を停止するなど）、動作を開始してもよく（例えば、音楽の再生を開始する、発話を開始する、メッセージを示す、ビデオを示すなど）、且つ／又は、別の方式によって振る舞いを変更してもよい。或いは、この代わりに、更に後述するように、状況スコア１１２を出力する代わりに、状況モニタ１０４は、電子パーソナルアシスタント１０６の出力を受け取ると共に、これがユーザーに提供されないように保留することもできる。

【0029】

例えば、図１に示されているように、ユーザーは、任意選択により、口頭で、要求１０８を電子パーソナルアシスタント１０６に対して提供することができる。又、要求１０８は、（図１に示されているように）電子パーソナルアシスタント１０６を通じて状況モニタ１０４によって受け取られるか、或いは、ユーザーから直接的に受け取られる。通常の状況下においては、電子パーソナルアシスタント１０６は、口頭で、回答１１４により、要求１０８に応答することができる。但し、状況スコア１１２は、電子パーソナルアシスタント１０６がその振る舞いを変更するようにすることができる。このようなケースにおいては、電子パーソナルアシスタント１０６は、ユーザーに対して話しかけないことにより、回答１１４（又は、その他のやり取り）を一時停止することができ、且つ／又は、その振る舞いを別の方式によって変更することもできる。回答１１４を一時停止することは、少なくとも、電子パーソナルアシスタント１０６が通常のやり取りを再開しうる（例えば、危険が過ぎ去った）と状況モニタ１０４が判定する時点まで継続することができる。

【0030】

このような振る舞いの変更は、（例えば、乱気流が検知された際に航空機を飛行させている際などのように）状況スコア１１２の値に基づいて、状況が、ユーザーからの増大した注意を必要としていると判定された際に、ユーザーの気を散らすことを回避するために、実施することができる。或いは、この代わりに、振る舞いの変更は、状況の変化を処理する際にユーザーを支援するための、ユーザーに対する情報の提供であってもよい（例えば、血圧の上昇が検知された際に、心臓発作を回避するべく、活動を低減するための指示をユーザーに対して提供する）。

【0031】

図１の状況認知型システム１００は、様々なタイプの状況を監視するべく、且つ、電子パーソナルアシスタントの振る舞いを相応して変更するべく、様々な方式によって構成することができることに留意されたい。例えば、図３～図６は、運転状況用のシステム１００の例示用の構成を示している。これらの運転状況の例は、例示を目的として提供されるものであり、且つ、限定を意図したものではない。又、本明細書における教示から当業者には明らかとなるように、図３～図６の実施形態は、本明細書のどこか別の場所において言及されている、或いは、その他の方法で既知である、その他のタイプの状況に対しても適用可能である。以下、図３～図６について説明する。

【0032】

図３は、例示用の一実施形態による、車両３００内において実装された状況認知型システム１００のブロック図を示している。車両３００は、自動車、トラック、列車、船舶、航空機、又はその他のタイプの車両であってもよい。図３に示されているように、第１～第３センサ１０２Ａ～１０２Ｃのそれぞれ、運転状況モニタ３０２、及び電子パーソナルアシスタント１０６が、車両３００内において実装されている。センサ１０２Ａ～１０２Ｃは、それぞれ、車両３００の内部又は上部のどこかにおいて取り付けることができる。状況モニタ３０２は、運転状況のために構成された状況モニタ１０４の一例である。状況モニタ３０２及び電子パーソナルアシスタント１０６は、共通の装置又は電子回路内において実装されてもよく、或いは、別個に実装されてもよい。

【0033】

例えば、図４は、例示用の一実施形態による、車両電子回路内において実装されたシステム１００のブロック図を示している。図４に示されているように、車両３００は、１つ又は複数の車両プロセッサ回路４０２（例えば、マイクロプロセッサやＣＰＵなど）と、１つ又は複数の車両メモリ装置４０４（例えば、ランダムアクセスメモリや読み出し専用メモリなど）と、を含む。センサ１０２Ａ～１０２Ｃは、それぞれ、図４の車両３００の内部又は上部のどこかにおいて取り付けることができる。運転状況モニタ３０２及び電子パーソナルアシスタント１０６は、１つ又は複数の車両メモリ装置４０４内において保存されていると共に１つ又は複数の車両プロセッサ回路４０２によって実行される、別個のアプリケーションであってもよい（或いは、単一のアプリケーションとして組み合わせることもできる）。このような一実施形態においては、車両ユーザーインターフェイス（例えば、ダッシュボードに取り付けられているディスプレイ）は、電子パーソナルアシスタント１０６に対するアクセスを運転者に対して提供することができると共に、電子パーソナルアシスタント１０６は、１つ又は複数の車両に取り付けられたラウドスピーカ及び１つ又は複数のマイクロフォンを介して運転者と通信することができる。１つ又は複数の車両プロセッサ回路４０２によって実行されている運転状況モニタ３０２は、センサ１０２Ａ～１０２Ｃを監視することができると共に、本明細書における実施形態に従って電子パーソナルアシスタント１０６の振る舞いを変更するべく、電子パーソナルアシスタント１０６と通信することができる。

【0034】

図５は、別の、車両に基づいた実施形態を示しており、この場合には、システム１００は、部分的に車両コンピュータ内において、且つ、部分的にモバイルユーザー装置５０２内において、実装されている。モバイルユーザー装置５０２は、運転者が車両３００の内外に携行しうる、モバイル装置である。図５においては、センサ１０２Ａ～１０２Ｃは、それぞれ、図４の車両３００の内部又は上部のどこかにおいて取り付けることができる。運転状況モニタ３０２は、１つ又は複数の車両メモリ装置４０４内において保存されており、且つ、１つ又は複数の車両プロセッサ回路４０２によって実行される。電子パーソナルアシスタント１０６は、モバイルユーザー装置５０２内において実装されており、且つ、モバイルユーザー装置５０２の１つ又は複数のマイクロフォン及び１つ又は複数のラウドスピーカを介してユーザーと直接的にやり取りしてもよく、或いは、車両３００の１つ又は複数のマイクロフォン及び１つ又は複数のラウドスピーカを介してやり取りしてもよい（例えば、モバイルユーザー装置５０２は、有線又は無線リンクを介して、車両３００と通信することができる）。運転状況モニタ３０２は、センサ１０２Ａ～１０２Ｃを監視することができると共に、本明細書における実施形態に従って電子パーソナルアシスタント１０６の振る舞いを変更するべく、モバイルユーザー装置５０２と通信することができる。

【0035】

図６は、更に別の、車両に基づいた実施形態を示している。図５においては、センサ１０２Ａ～１０２Ｃは、それぞれ、図４の車両３００の内部又は上部のどこかにおいて取り付けることができる。運転状況モニタ３０２及び電子パーソナルアシスタント１０６は、モバイルユーザー装置５０２内において実装されている。このような一実施形態においては、車両インターフェイスは、電子パーソナルアシスタント１０６に対するアクセスを運転者に提供するべく、モバイルユーザー装置５０２と（例えば、有線又は無線方式によって）インターフェイスしてもよく、或いは、運転者は、電子パーソナルアシスタント１０６と直接的に通信することもできる。モバイルユーザー装置５０２内の運転状況モニタ３０２は、（例えば、車両３００の有線及び／又は無線インターフェイスを介して）センサデータをセンサ１０２Ａ～１０２Ｃから受け取ることができると共に、且つ、本明細書における実施形態に従って電子パーソナルアシスタント１０６の振る舞いを変更するべく、モバイルユーザー装置５０２の内部の電子パーソナルアシスタント１０６と通信することができる。

【0036】

モバイルユーザー装置５０２の例は、モバイルコンピュータ又はモバイル演算装置（例えば、Microsoft（登録商標）Surface（登録商標）装置、パーソナルデジタルアシスタント（ＰＤＡ：Personal Digital Assistant）、ラップトップコンピュータ、ノートブックコンピュータ、Apple iPad（登録商標）などのタブレットコンピュータ、ネットブックなど）、携帯電話機（例えば、セル電話機、Microsoft Windows（登録商標）phone、Apple iPhone（登録商標）、Google（登録商標）Android（商標）オペレーティングシステムを実装した電話機、Palm（登録商標）装置、Blackberry（登録商標）装置など）、或いは、ウェアラブル演算装置（例えば、スマートウォッチやGoogle（登録商標）Glass（商標）などのスマート眼鏡を含むヘッドマウント型装置など）を含む。

【0037】

図３～図６の運転状況モニタ３０２は、その機能を実行するべく、様々な方式によって動作することができる。例えば、図７は、例示用の一実施形態による、運転状況の検知に基づいて車両内の電子パーソナルアシスタントの振る舞いを変更するプロセスを提供するフローチャート７００を示している。以下、フローチャート７００について説明する。

【0038】

フローチャート７００は、ステップ７０２において始まっている。ステップ７０２において、運転状況に関するセンサデータが複数のセンサから受け取られている。上述のように、且つ、図３～図６に示されているように、センサ１０２Ａ～１０２Ｃが、運転状況の態様を検知しており、且つ、それぞれ、運転状況モニタ３０２によって受け取られるセンサデータ１１０Ａ～１１０Ｃを生成している。検知される運転状況は、ユーザーによって使用されている電子パーソナルアシスタントを搬送している車両を含む、運転環境において発生している。運転（又は、その他の）状況においては、様々なタイプのセンサが存在しうる。

【0039】

例えば、図８は、例示用の一実施形態による車両３００と関連する態様を検知する複数のセンサ８０２Ａ～８０２Ｃのブロック図を示している。センサ８０２Ａ～８０２Ｃは、センサ１０２Ａ～１０２Ｃの例である。図８には、３つのセンサ８０２Ａ～８０２Ｃが示されているが、任意の数のセンサ及びセンサタイプの組合せが存在しうる。例示を目的として、図９との関係において、図８について説明する。図９は、例示用の一実施形態による走行する車両と関連する態様を検知するプロセスを提供するフローチャート９００を示している。一実施形態においては、センサ８０２Ａ～８０２Ｃは、フローチャート９００に従って動作することができる。フローチャート９００のステップのうちの任意の１つ又は複数は、実施形態において、任意の順序において実行することができる。以下、図８及びフローチャート９００について説明する。

【0040】

ステップ９０２において、運転者の少なくとも１つの態様が検知されている。一実施形態においては、センサ８０２Ａは、運転者８０４（車両３００を運転している人物）の態様を検知するように構成された運転者態様センサ８０２Ａである。運転者態様センサ８０２Ａによって生成されたセンサデータは、少なくとも部分的に運転状況を判定するべく、使用されてもよく、従って、この運転状況は、（例えば、運転者８０４のモバイルユーザー装置内の、或いは、車両３００内に統合された）運転者８０４の電子パーソナルアシスタントの振る舞いを変更するべく、使用されてもよい。

【0041】

運転者態様センサ８０２Ａは、運転者８０４の態様を検知する能力を有する任意のタイプのセンサであってもよい。例えば、運転者態様センサ８０２Ａは、運転者８０４の発話パターンを監視するように構成された発話パターンセンサ（例えば、発話認識ソフトウェア／ハードウェアと結合された１つ又は複数のマイクロフォン）であってもよい。発話パターンセンサは、長い休止又は中断、不完全な文章、又は混雑した又は危険な交通状況のその他の通知について、運転者８０４の発話を監視することができる。別の例においては、運転者態様センサ８０２Ａは、運転者８０４の顔面表現を監視するように構成された顔面センサ（例えば、顔面認識ソフトウェア／ハードウェアと結合された運転者８０４の顔面に向けられた１つ又は複数のカメラ）であってもよい。例えば、顔面センサは、ストレスを受けた又は緊張している顔面表現、或いは、混雑した又は危険な交通状況を通知しうるその他の表現について、運転者８０４の顔面を監視することができる。別の例においては、運転者態様センサ８０２Ａは、運転者８０４の運転動作を監視するように構成された運転動作センサ（例えば、空間認識ソフトウェア／ハードウェアと結合された、運転者８０４の腕及び／又は脚に向けられた１つ又は複数のカメラ）であってもよい。例えば、運転動作センサは、運転者８０４によって試みられた回避操作を通知しうる、突然の操向、加速、及び／又は減速について、運転者８０４を監視することができる。

【0042】

ステップ９０４において、車両の少なくとも１つの態様が検知されている。一実施形態においては、センサ８０２Ｂは、車両３００の態様を検知するように構成された車両態様センサ８０２Ｂである。車両態様センサ８０２Ｂによって生成されたセンサデータは、少なくとも部分的に運転状況を判定するべく、使用されてもよく、従って、この運転状況は、運転者８０４の電子パーソナルアシスタントの振る舞いを変更するべく、使用されてもよい。

【0043】

車両態様センサ８０２Ｂは、車両３００の態様を検知する能力を有する任意のタイプのセンサであってもよい。例えば、車両態様センサ８０２Ａは、１つ又は複数の加速度センサ、モーションセンサ、方向センサ、温度センサ、カメラなどを含む、車両モーションモニタセンサであってもよい。例えば、車両態様センサ８０２Ａは、運転者３００による、車両３００の自動運転システムによる、回避操作、並びに／或いは、衝突を通知しうる、方向転換、加速、減速、突然の停止などを含む、動き又は方向の突然の変化について車両３００を監視することができる。

【0044】

ステップ９０６において、道路の環境の少なくとも１つの態様が検知されている。一実施形態においては、センサ８０２Ｃは、道路８０６上の車両３００を取り囲んでいる交通の態様を検知するように構成された交通態様センサ８０２Ｃである。交通態様センサ８０２Ｃによって生成されたセンサデータは、少なくとも部分的に運転状況を判定するべく使用されてもよく、従って、この運転状況は、運転者８０４の電子パーソナルアシスタントの振る舞いを変更するべく使用されてもよい。

【0045】

交通態様センサ８０２Ｃは、道路８０６上の交通の態様を検知する能力を有する任意のタイプのセンサであってもよい。例えば、車両態様センサ８０２Ａは、レーダーディッシュ／アンテナなどの車両／交通センサ、１つ又は複数のカメラ、ソナートランスミッタ／レシーバ、１つ又は複数のＩＲ（赤外線：InfraRed）カメラ、慣性ナビゲーションシステム、ＬＩＤＡＲシステム（例えば、レーザー及び光検出器）などのような、車両／交通センサであってもよい。交通態様センサ８０２Ｃは、車両３００との間における、その他の車両及び／又は障害物などの間における、可能な衝突を検知するべく、その他の車両及び／又は道路８０６上の障害物を検知することができるが、これには、その位置及び速度が含まれる。

【0046】

運転状況モニタ３０２（図３～図６）は、フローチャート７００（図７）のステップ７０２に従って、任意の数及び組合せにおいて、運転者態様センサ８０２Ａ、車両態様センサ８０２Ｂ、及び／又は交通態様センサ８０２Ｃのうちの１つ又は複数から、センサデータ１１０Ａ～１１０Ｃを受け取ることができる。

【0047】

フローチャート７００を再度参照すれば、ステップ７０４において、運転状況スコアが、センサデータに基づいて算出されている。実施形態においては、運転状況モニタ３０２は、リアルタイムの交通危険レベルを通知する運転状況スコア（例えば、ＤＳＡスコア）として、状況スコア１１２を算出することができる。例えば、運転状況モニタ３０２は、図１０に示されているように構成することができる。図１０は、例示用の一実施形態による、図１の状況モニタ１０４のブロック図を示している。図１０に示されているように、状況モニタ１０４は、状況スコア計算機１００２と、アシスタント振る舞い変更器１００４と、を含むことができる。一運転状況においては、状況スコア計算機１００２は、運転状況スコア１１２を生成するべく、ステップ７０４を実行するように構成することができる。その他の状況においては、状況スコア計算機１００２は、本明細書のどこか別の場所において記述されているように、且つ、本明細書における教示から当業者には判明するように、その他のタイプの状況スコアを生成することができる。状況スコア計算機１００２は、任意の適切な価値体系に従って状況スコア１１２を生成することができる。

【0048】

状況スコア計算機１００２は、０～１の範囲内であるなどの、２つの限度の間の値を有することを含む、任意の方式により、運転状態スコアを構成してもよく、この場合に、０は、交通なしを通知し、且つ、１は、最大限に混雑した交通状態を通知している。算出された運転状況スコアは、電子パーソナルアシスタント１０６の振る舞いを変更するべく、提供されてもよく、或いは、その他の方法で使用されてもよい。

【0049】

実施形態においては、運転状況スコアは、運転者態様センサ８０２Ａ、車両態様センサ８０２Ｂ、及び／又は交通態様センサ８０２Ｃのうちの任意の１つ又は複数によって生成されたセンサデータ（並びに／或いは、更なるセンサデータ）に基づいて、状況スコア計算機１００２によって算出することができる。状況スコア計算機１００２は、状況スコア１１２を生成するべく、任意の方式によってそれぞれの受け取られたセンサデータを重み付けること、並びに、（例えば、任意の等式又は式に従って）任意の方式によって重み付けされたセンサデータを組み合わせること、を含む、任意の方式により、状況スコア１１２を算出することができる。

【0050】

例えば、状況スコア計算機１００２が、一般的な加法モデルを実装している際には、それぞれのセンサデータ入力は、１つの関数によって処理され、且つ、以下の式１において示されているものなどのように、すべての関数の出力が、運転状況スコアを判定するべく、加算される。

【0051】

スコア＝ｆｌ（発話）＋ｆ２（顔面画像）＋ｆ３（運転動作）＋ｆ４（車両センサ）＋ｆ５（交通）＋ｆ６（ノイズ） 式１

【0052】

ここで、
ｆ１＝発話パターンセンサデータに基づいた関数であり、
ｆ２＝顔面画像センサデータに基づいた関数であり、
ｆ３＝運転動作センサデータに基づいた関数であり、
ｆ４＝車両センサデータに基づいた関数であり、
ｆ５＝交通センサデータに基づいた関数であり、且つ、
ｆ６＝ノイズセンサデータ（例えば、突然の大きなノイズなど）に基づいた関数である。

【0053】

実施形態においては、運転状況スコアを判定するべく、関数ｆ１～ｆ６のうちの任意の１つ又は複数を組み合わせることができる。一実施形態においては、関数ｆ１～ｆ６は、それぞれ、トレーニングデータセットを使用することにより、或いは、その他の方式により、判定することができる。更なる実施形態においては、状況スコア計算機１００２は、サポートベクトルマシン、回帰ツリー、深層ニューラルネットワークなどのような、多次元回帰アルゴリズムを含む、センサデータに基づいて状況スコアを生成するその他の技法を実装することができる。

【0054】

実施形態においては、状況スコア１１２は、定期的に、既定の時点において、或いは、任意のその他の基準に基づいて、状況スコア計算機１００２によって演算することができる。

【0055】

フローチャート７００（図７）を再度参照すれば、ステップ７０６において、算出された運転状況スコアに基づいて、電子パーソナルアシスタントの振る舞いが変更されている。一実施形態においては、状況スコア１１２は、電子パーソナルアシスタント１０６の振る舞いを変更するべく、使用されている。例えば、図１、図３～図６、及び図１０に示されているように、状況モニタ１０４／３０２は、状況スコア１１２を出力している。電子パーソナルアシスタント１０６は、状況スコア１１２を受け取り、且つ、状況スコア１１２の値に基づいて、その振る舞い（例えば、機能／動作）を変更する。或いは、この代わりに、システム１００は、図１０に示されているように構成することもできる。図１０においては、状況スコア計算機１００２は、状況スコア１１２を生成しているが、状況スコア１１２を直接的に電子パーソナルアシスタント１０６に提供してはおらず、その代わりに、状況スコア１１２をアシスタント振る舞い変更器１００４に提供しており、このアシスタント振る舞い変更器１００４が、電子パーソナルアシスタント１０６によって受け取られる、且つ、１つ又は複数の振る舞いを変更するように電子パーソナルアシスタントに対して命令する、振る舞い変更命令１０１２を生成している。

【0056】

更に別の実施形態においては、システム１００は、図１１に示されているように構成することができる。図１１においては、状況モニタ１０４は、状況スコア１１２又は振る舞い変更命令１０１２を電子パーソナルアシスタント１０６に提供してはいない。その代わりに、電子パーソナルアシスタント１０６及び状況モニタ１０４の両方が、要求１０８を受け取っている。電子パーソナルアシスタント１０６は、要求１０８に基づいて応答１１４（例えば、ユーザー向けの発話）を生成し、且つ、応答１１４は、ユーザーに対して直接的に提供されるのではなく、状況モニタ１０４によってインターセプトされている。状況モニタ１０４は、本明細書において記述されているように、状況スコアを生成し、且つ、状況スコアがこのような伝達を認めている場合に（例えば、状況が危険ではない場合に）、応答１１４をユーザーに提供する一方で、状況スコアがこのような一時停止を認めている場合には（例えば、状況が危険であると判定された場合には）、ユーザーに対する応答１１４の提供を一時停止している。

【0057】

従って、受け取られた状況スコアに基づいて、電子パーソナルアシスタント１０６は、その振る舞いを変更することができる。一運転状況実施形態においては、電子パーソナルアシスタント１０６は、図１２に従って動作することができる。図１２は、例示用の一実施形態による、検知された状態に基づいて電子パーソナルアシスタントによるやり取りを一時停止及び再開するプロセスを提供するフローチャート１２００を示している。フローチャート１２００は、フローチャート７００（図７）のステップ７０６において、実行されてもよく、且つ、以下、これについて説明する。

【0058】

フローチャート１２００は、ステップ１２０２によって始まっている。ステップ１２０２においては、電子パーソナルアシスタントによって運転者の気が散ることを回避するべく、運転状況スコアが第１の既定の条件を充足している際に、運転者との間における電子パーソナルアシスタントによるやり取りが一時停止される。上述のように、実施形態においては、電子パーソナルアシスタント１０６の振る舞いは、電子パーソナルアシスタント１０６が状況スコア１１２又は振る舞い変更命令１０１２を受け取ることに起因して、或いは、状況モニタ１０４が電子パーソナルアシスタント１０６からの応答１１４を抑制することに起因して、変更されている。状況スコア１１２又は振る舞い変更命令１０１２は、電子パーソナルアシスタント１０６が運転者との間におけるやり取りを一時停止するようにするべく、構成されてもよく、或いは、電子パーソナルアシスタント１０６からの応答１１４が、やり取りが一時停止されるようにするべく、抑制されてもよい。これは、混雑した又は危険な運転状況の際に、運転者の気を散らせることを回避するべく、実行することができる。

【0059】

例えば、状況スコア１１２が、第１の既定の条件を充足している際には（例えば、状況スコア１１２を第１既定閾値と比較することによって判定されうる、第１既定閾値を上回る、これに等しい、或いは、これ未満であるなどのような、第１既定閾値との間における既定の関係を有する際には）、運転者との間における電子パーソナルアシスタント１０６によるやり取りが一時停止される。一実施形態においては、アシスタント振る舞い変更器１００４は、状況スコア１１２が既定の閾値を上回る値を有する際に、振る舞い変更命令１０１２を生成することができる。一運転状況実施形態においては、第１閾値は、運転者の注意がそれを上回る場合に運転に合焦することを要する、混雑した交通の閾値レベルに対応しうる。別の実施形態においては、アシスタント振る舞い変更器１００４は、状況スコア１１２の値を命令テーブルに適用することができる。命令テーブルは、対応する状況スコア／範囲にマッピングされた、複数の振る舞い変更命令を列挙している。（例えば、命令に対応する特定の範囲に含まれているなどの）状況スコア１１２の値に対応する振る舞い変更命令が、命令テーブルから選択され、且つ、選択された命令は、電子パーソナルアシスタント１０６に提供される。列挙されている命令の１つ又は複数は、やり取りの一時停止を含むことができる。その他の実施形態においては、アシスタント振る舞い変更器１００４は、その他の方法により、振る舞い変更命令１０１２を判定することができる。

【0060】

フローチャート１２００のステップ１２０４において、運転状況スコアが第２条件を充足している際に、運転者との間における電子パーソナルアシスタントによるやり取りが再開されている。実施形態においては、状況スコア１１２又は振る舞い変更命令１０１２は、電子パーソナルアシスタント１０６が運転者との間におけるやり取りを再開するようにするべく構成されてもよく、或いは、応答１１４が、やり取りが再開されるようにするべく、状況モニタ１０４により、電子パーソナルアシスタント１０６に提供されてもよい。これは、やり取りによって運転者の気が散ることに関する懸念を十分に低減するように運転状態が十分に改善された際に、実行することができる。

【0061】

例えば、状況スコア１１２が、第２既定条件を充足している際に（例えば、第２既定閾値を上回る、これに等しい、これ未満であるなどのような、第２既定閾値との間における既定の関係を有する際に）、運転者との間における電子パーソナルアシスタント１０６によるやり取りが再開される。一実施形態においては、アシスタント振る舞い変更器１００４は、状況スコア１１２が第２既定閾値未満の値を有する際に、振る舞い変更命令１０１２を生成することができる。この第２閾値は、やり取りを一時停止するべく使用される第１閾値と同一であってもよく、或いは、第１及び第２閾値は、（例えば、ヒステリシスを提供するように）互いに異なっていてもよい。一運転状況実施形態においては、第２閾値は、運転者がその下方において電子パーソナルアシスタント１０６に対してなんらかの注意を付与しうる、混雑した交通の閾値レベルに対応しうる。別の実施形態においては、アシスタント振る舞い変更器１００４は、状況スコア１１２の値をやり取りの再開を可能にするエントリを含みうる上述の命令テーブルに対して適用することができると共に、提供するべく対応する命令を抽出することができる。

【0062】

上述のように、状況スコア１１２に基づいて、電子パーソナルアシスタント１０６は、（例えば、音楽の再生を停止する、発話を停止する、メッセージの表示を停止する、ビデオの表示を停止するなどのように）任意のタイプ及び数の動作の実行を一時停止することができる。或いは、この代わりに、状況スコアに基づいて、電子パーソナルアシスタント１０６は、（例えば、音楽の再生を開始する、発話を開始する、メッセージを示す、ビデオを示すなどのように）動作を開始することもでき、且つ／又は、別の方式によって振る舞いを変更することもできる。

【0063】

一実施形態においては、フローチャート７００（図７）のステップ７０６は、図１３に従って振る舞いを変更することができる。図１３は、例示用の一実施形態による、電子パーソナルアシスタントの振る舞いを変更するステップ１３０２を示している。以下、ステップ１３０２について説明する。ステップ１３０２においては、運転者との間における口頭の又は視覚的な通信のうちの少なくとも１つを遅延させること、運転者に対する口頭の又は視覚的な支援のうちの少なくとも１つを提供すること、又は運転者に対して示唆を提供すること、のうちの少なくとも１つが実行される。

【0064】

実施形態においては、運転者の気が散ることを防止するべく、運転者との間における電子パーソナルアシスタント１０６による口頭の又は視覚的な（例えば、テキストや画像などの）通信を遅延又は一時停止することができる。例えば、図１０との関係において、電子パーソナルアシスタント１０６の発話インターフェイス１００６は、状況スコア１１２又は振る舞い変更命令１０１２を受け取ることができる。発話インターフェイス１００６は、電子パーソナルアシスタント１０６による発話通信を不可能又は可能にする能力を有することができる。状況スコア１１２又は振る舞い変更命令１０１２を受け取った際に、発話インターフェイス１００６は、（状況スコア１１２又は振る舞い変更命令１０１２の対応する値／命令により、再度可能にされる時点まで）電子パーソナルアシスタント１０６による発話通信を不可能にすることができる。

【0065】

更には、ステップ１３０２によれば、その他の実施形態においては、電子パーソナルアシスタント１０６は、状況スコア１１２又は振る舞い変更命令１０１２に基づいて情報を運転者に提供することもできる。例えば、車両の状態、現時点の場所、運転者の個人的な情報（例えば、予定されている面会の約束及びイベント）に関するセンサデータに基づいて、電子パーソナルアシスタント１０６は、将来の計画について助言するべく、情報を運転者に提供することができる。例えば、車両の燃料が少ないことが、或いは、機械的な問題点を有することが、センサによって検出された場合に、電子パーソナルアシスタント１０６は、現時点の場所、交通状態、及び運転者のスケジュールに基づいて好都合なガソリンスタンドを示唆することができる。

【0066】

ＩＩＩ．例示用の可動型及び固定型装置の実施形態
センサモニタ１０４、電子パーソナルアシスタント１０６、１つ又は複数の車両プロセッサ回路４０２、モバイルユーザー装置５０２、状況スコア計算機１００２、アシスタント振る舞い変更器１００４、発話インターフェイス１００６、フローチャート２００、フローチャート７００、フローチャート１２００、及びステップ１３０２は、ハードウェアにおいて、或いは、ソフトウェア及び／又はファームウェアと組み合わされたハードウェアにおいて、実装することができる。例えば、センサモニタ１０４、電子パーソナルアシスタント１０６、４０２、状況スコア計算機１００２、アシスタント振る舞い変更器１００４、発話インターフェイス１００６、フローチャート２００、フローチャート７００、フローチャート１２００、及び／又はステップ１３０２は、１つ又は複数のプロセッサ内において実行されると共にコンピュータ可読ストレージ媒体内において保存されるように構成されたコンピュータプログラムコード／命令として実装することができる。或いは、この代わりに、センサモニタ１０４、電子パーソナルアシスタント１０６、１つ又は複数の車両プロセッサ回路４０２、モバイルユーザー装置５０２、状況スコア計算機１００２、アシスタント振る舞い変更器１００４、発話インターフェイス１００６、フローチャート２００、フローチャート７００、フローチャート１２００、及びステップ１３０２は、ハードウェア論理／電気回路として実装することもできる。

【0067】

例えば、一実施形態において、センサモニタ１０４、電子パーソナルアシスタント１０６、１つ又は複数の車両プロセッサ回路４０２、モバイルユーザー装置５０２、状況スコア計算機１００２、アシスタント振る舞い変更器１００４、発話インターフェイス１００６、フローチャート２００、フローチャート７００、フローチャート１２００、及びステップ１３０２のうちの、任意の組合せにおける、１つ又は複数は、システムオンチップ（ＳｏＣ：System on a Chip）内において一緒に実装することができる。ＳｏＣは、プロセッサ（例えば、中央処理ユニット（ＣＰＵ：Central Processing Unit）、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）など）、メモリ、１つ又は複数の通信インターフェイス、及び／又は更なる回路のうちの１つ又は複数を含む集積回路チップを含むことができると共に、任意選択により、機能を実行するべく、受け取ったプログラムコードを実行することができ且つ／又は、埋め込まれたファームウェアを含むことができる。

【0068】

図１４は、実施形態が実装されうる演算装置１４００の例示用の一実装形態を示している。例えば、１つ又は複数の車両プロセッサ回路４０２及びモバイルユーザー装置５０２は、それぞれ、演算装置１４００及び／又は代替特徴のうちの１つ又は複数の特徴を含む、固定型又は可動型コンピュータ実施形態における演算装置１４００に類似した１つ又は複数の演算装置内において実装することができる。本明細書において提供されている演算装置１４００の説明は、例示を目的として提供されるものであり、従って、限定を意図したものではない。実施形態は、当業者には判明するように、更なるタイプのコンピュータシステムにおいて実装することができる。

【0069】

図１４に示されているように、演算装置１４００は、プロセッサ回路１４０２と呼称される１つ又は複数のプロセッサ、システムメモリ１４０４、並びに、システムメモリ１４０４を含む様々なシステムコンポーネントをプロセッサ回路１４０２に対して結合するバス１４０６を含む。プロセッサ回路１４０２は、中央処理ユニット（ＣＰＵ）、マイクロコントローラ、マイクロプロセッサ、及び／又はその他の物理的なハードウェアプロセッサ回路として１つ又は複数の物理的なハードウェア電気回路装置要素及び／又は集積回路装置（半導体材料チップ又はダイ）内において実装された電気的且つ／又は光学的な回路である。プロセッサ回路１４０２は、オペレーティングシステム１４３０、アプリケーションプログラム１４３２、その他のプログラム１４３４などのプログラムコードなどの、コンピュータ可読媒体内において保存されているプログラムコードを実行することができる。バス１４０６は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィクスポート、及び様々なバスアーキテクチャのうちの任意のものを使用するプロセッサ又はローカルバスを含む、いくつかのタイプのバス構造のうちの任意のものの１つ又は複数を表している。システムメモリ１４０４は、読み出し専用メモリ（ＲＯＭ）１４０８と、ランダムアクセスメモリ（ＲＡＭ）１４１０と、を含む。基本入出力システム１４１２（ＢＩＯＳ：Basic Input/Output System）は、ＲＯＭ１４０８内において保存される。

【0070】

又、演算装置１４００は、ハードディスクとの間において読み取り及び書き込みを実行するハードディスクドライブ１４１４、着脱自在の磁気ディスク１４１８との間において読み取り及び書き込みを行う磁気ディスクドライブ１４１６、及びＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、又はその他の光媒体などの着脱自在の光ディスク１４２２との間において読み取り及び書き込みを行う光ディスクドライブ１４２０、というドライブのうちの１つ又は複数をも有する。ハードディスクドライブ１４１４、磁気ディスクドライブ１４１６、及び光ディスクドライブ１４２０は、それぞれ、ハードディスクドライブインターフェイス１４２４、磁気ディスクドライブインターフェイス１４２６、及び光ドライブインターフェイス１４２８により、バス１４０６に接続されている。ドライブ及びその関連するコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、及びコンピュータ用のその他のデータの不揮発性の保存を提供している。ハードディスク、着脱自在の磁気ディスク、及び着脱自在の光ディスクについて記述されているが、フラッシュメモリカード、デジタルビデオディスク、ＲＡＭ、ＲＯＭ、及びその他のハードウェアストレージ媒体などの、その他のタイプのハードウェアに基づいたコンピュータ可読ストレージ媒体を使用することにより、データを保存することができる。

【0071】

いくつかのプログラムモジュールは、ハードディスク、磁気ディスク、光ディスク、ＲＯＭ、又はＲＡＭ上において保存することができる。これらのプログラムは、オペレーティングシステム１４３０、１つ又は複数のアプリケーションプログラム１４３２、その他のプログラム１４３４、及びプログラムデータ１４３６を含む。アプリケーションプログラム１４３２又はその他のプログラム１４３４は、例えば、センサモニタ１０４、電子パーソナルアシスタント１０６、状況スコア計算機１００２、アシスタント振る舞い変更器１００４、発話インターフェイス１００６、フローチャート２００、フローチャート７００、フローチャート１２００、及びステップ１３０２（フローチャート２００、７００、１２００の任意の適切なステップを含む）、並びに／或いは、本明細書において記述されている更なる実施形態を実装するためのコンピュータプログラムロジック（例えば、コンピュータプログラムコード又は命令）を含むことができる。

【0072】

ユーザーは、キーボード１４３８及びポインティング装置１４４０などの入力装置を通じて、コマンド及び情報を演算装置１４００に入力することができる。その他の入力装置（図示されてはいない）は、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、タッチスクリーン及び／又はタッチパッド、音声入力を受け取るための音声認識システム、ジェスチャ入力を受け取るためのジェスチャ認識システム、又はこれらに類似したものを含むことができる。これらの及びその他の入力装置は、しばしば、バス１４０６に結合されたシリアルポートインターフェイス１４４２を通じてプロセッサ回路１４０２に接続されているが、パラレルポート、ゲームポート、又はユニバーサルシリアルバス（ＵＳＢ：Universal Serial Bus）などの、その他のインターフェイスにより、接続することもできる。

【0073】

又、表示画面１４４４は、ビデオアダプタ１４４６などの、インターフェイスを介してバス１４０６に接続されている。表示画面１４４４は、演算装置１４００の外部に位置してもよく、或いは、これに内蔵されていてもよい。表示画面１４４４は、情報を表示しうるのみならず、（例えば、接触、指ジェスチャ、仮想キーボードなどによって）ユーザーコマンド及び／又はその他の情報を受け取るためのユーザーインターフェイスであってもよい。表示画面１４４４に加えて、演算装置１４００は、スピーカ及びプリンタなどの、その他の周辺出力装置（図示されてはいない）を含むことができる。

【0074】

演算装置１４００は、アダプタ又はネットワークインターフェイス１４５０、モデム１４５２、又はネットワーク上において通信を確立するその他の手段を通じて、ネットワーク１４４８（例えば、インターネット）に接続されている。内部又は外部に位置しうる、モデム１４５２は、図１４に示されているように、シリアルポートインターフェイス１４４２を介してバス１４０６に接続されてもよく、或いは、パラレルインターフェイスを含む別のインターフェイスタイプを使用することにより、バス１４０６に接続されてもよい。

【0075】

本明細書において使用されている「コンピュータプログラム媒体」、「コンピュータ可読媒体」、及び「コンピュータ可読ストレージ媒体」という用語は、ハードディスクドライブ１４１４、着脱自在の磁気ディスク１４１８、着脱自在の光ディスク１４２２と関連するハードディスク、ＲＡＭ、ＲＯＭ、フラッシュメモリカード、デジタルビデオディスク、ＺＩＰディスク、ＭＥＭ、ナノ技術に基づいたストレージ装置などのその他の物理的ハードウェア媒体、並びに、更なるタイプの物理的／有体的ハードウェアストレージ媒体などの、物理的ハードウェア媒体を意味するべく使用されている。このようなコンピュータ可読ストレージ媒体は、通信媒体とは弁別されると共に、これらとはオーバーラップしていない（通信媒体を含んではいない）。通信媒体は、搬送波などの変調されたデータ信号内において、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータを実施している。「変調されたデータ信号」という用語は、信号内において情報をエンコードするような方式によって設定又は変更されたその特性の１つ又は複数を有する信号を意味している。例として、且つ、限定を伴うことなしに、通信媒体は、音響、ＲＦ、赤外線、及びその他の無線媒体などの、無線媒体のみならず、有線媒体をも含んでいる。又、実施形態は、コンピュータ可読ストレージ媒体を対象としている実施形態とは別個であり、且つ、これとはオーバーラップしていない、この種の通信媒体をも対象としている。

【0076】

上述のように、コンピュータプログラム及びモジュール（アプリケーションプログラム１４３２及びその他のプログラム１４３４を含む）は、ハードディスク、磁気ディスク、光ディスク、ＲＯＭ、ＲＡＭ、又はその他のハードウェアストレージ媒体上において保存することができる。又、このようなコンピュータプログラムは、ネットワークインターフェイス１４５０、シリアルポートインターフェイス１４４２、又は任意のその他のインターフェイスタイプを介して受け取ることもできる。このようなコンピュータプログラムは、アプリケーションによって実行されるか又は読み込まれた際に、演算装置１４００が本明細書において記述されている実施形態の特徴を実装することを可能にする。従って、このようなコンピュータプログラムは、演算装置１４００のコントローラを表している。

【0077】

又、実施形態は、任意のコンピュータ可読媒体上において保存されているコンピュータコード又は命令を有するコンピュータプログラムプロダクトをも対象としている。このようなコンピュータプログラムプロダクトは、ハードディスクドライブ、光ディスクドライブ、メモリ装置パッケージ、携帯型メモリスティック、メモリカード、及びその他のタイプの物理的ストレージハードウェアを含む。

【0078】

ＩＶ．更なる例示用の実施形態
一実施形態においては、少なくとも１つの演算装置内の方法は、センサデータを生成するべく複数のセンサによって状況を検知することと、センサデータに基づいて状況スコアを算出することと、算出された状況スコアに基づいて電子パーソナルアシスタントの振る舞いを変更することと、を有する。

【0079】

一実施形態においては、状況は、運転者が道路上において車両を運転している運転状況であり、上記算出することは、センサデータに基づいて運転状況スコアを算出することを有し、且つ、上記変更することは、算出された運転情報スコアに基づいて電子パーソナルアシスタントの振る舞いを変更することを有する。

【0080】

一実施形態においては、検知することは、運転者の少なくとも１つの態様を検知することを有する。

【0081】

一実施形態においては、検知することは、車両の少なくとも１つの態様を検知することを有する。

【0082】

一実施形態においては、検知することは、道路の環境の少なくとも１つの態様を検知することを有する。

【0083】

一実施形態においては、変更することは、電子パーソナルアシスタントによって運転者の気が散ることを防止するべく、運転状況スコアが既定の値を有する場合に、運転者との間における電子パーソナルアシスタントによるやり取りを一時停止することを有する。

【0084】

一実施形態においては、やり取りを一時停止することは、運転者との間における口頭の又は視覚的な通信のうちの少なくとも１つを遅延させることを有する。

【0085】

一実施形態においては、変更することは、口頭の又は視覚的な支援のうちの少なくとも１つを運転者に対して提供することを有する。

【0086】

別の実施形態においては、少なくとも１つの演算装置は、状況を検知する複数のセンサから受け取られたセンサデータに基づいて状況スコアを算出するように構成された状況モニタと、算出された状況スコアに基づいて振る舞いを変更するように構成された電子パーソナルアシスタントと、を有する。

【0087】

一実施形態においては、状況は、運転者が道路上において車両を運転している運転状況であり、且つ、状況モニタは、センサデータに基づいて運転状況スコアを算出するように構成された運転状況モニタを含む。

【0088】

一実施形態においては、センサは、運転者の少なくとも１つの態様を検知するように構成された第１センサ、車両の少なくとも１つの態様を検知するように構成された第２センサ、又は道路の環境の少なくとも１つの態様を検知するように構成された第３センサ、のうちの少なくとも１つを有する。

【0089】

一実施形態においては、電子パーソナルアシスタントは、運転状況スコアが既定の値を有する場合に、運転者との間における電子パーソナルアシスタントによるやり取りを一時停止し、これにより、電子パーソナルアシスタントによって運転者の気が散ることを防止することにより、振る舞いを変更するように構成されている。

【0090】

一実施形態においては、少なくとも１つの演算装置は、運転状況モニタ及び電子パーソナルアシスタントを実装するモバイルユーザー装置を更に有する。

【0091】

一実施形態においては、少なくとも１つの演算装置は、電子パーソナルアシスタントを実装するモバイルユーザー装置を更に有し、且つ、運転状況モニタは、車両のプロセッサ回路によって実装されている。

【0092】

一実施形態においては、少なくとも１つの演算装置は、運転状況モニタ及び電子パーソナルアシスタントを実装する車両のプロセッサを更に有する。

【0093】

更に別の実施形態においては、演算装置は、少なくとも１つのプロセッサ回路と、動作を実行するべく少なくとも１つのプロセッサ回路によって実行されるように構成されたプログラムコードを保存するメモリと、を含み、動作は、状況を検知する複数のセンサから受け取られたセンサデータに基づいて状況スコアを算出することと、電子パーソナルアシスタントの振る舞いが、算出された状況スコアに基づいて変更されるようにすることと、を含む。

【0094】

一実施形態においては、状況は、運転者が道路上において車両を運転している運転状況であり、上記算出することは、センサデータに基づいて運転状況スコアを算出することを有し、且つ、上記変更されるようにすることは、電子パーソナルアシスタントの振る舞いが、算出された運転状況スコアに基づいて変更されるようにすることを有する。

【0095】

一実施形態においては、検知することは、運転者の少なくとも１つの態様を検知すること、車両の少なくとも１つの態様を検知すること、或いは、道路の環境の少なくとも１つの態様を検知すること、のうちの少なくとも１つを有する。

【0096】

一実施形態においては、変更するようにすることは、電子パーソナルアシスタントによって運転者の気が散ることを防止するべく、運転状況スコアが既定の値を有する場合に、電子パーソナルアシスタントが、運転者との間におけるやり取りを一時停止するようにすることを有する。

【0097】

一実施形態においては、電子パーソナルアシスタントが、運転者との間におけるやり取りを一時停止するようにすることは、電子パーソナルアシスタントが、運転者との間における口頭の又は視覚的な通信のうちの少なくとも１つを遅延させるようにすることを有する。

【0098】

ＶＩ．結言
以上、本発明の様々な実施形態について説明したが、これらは、限定ではなく、例としてのみ、提示されていることを理解されたい。当業者は、添付の請求項において定義されている本発明の精神及び範囲を逸脱することなしに、形態及び詳細の様々な変更がこれらの実施形態において実施されうることを理解するであろう。従って、本発明の広さ及び範囲は、上述の例示用の実施形態のいずれによっても限定されず、且つ、添付の請求項及びその均等物によってのみ、定義されるものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】