特許 6790856 電子情報処理システム及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6790856

(24)【登録日】2020年11月9日

(45)【発行日】2020年11月25日

(54)【発明の名称】電子情報処理システム及びコンピュータプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20201116BHJP

   G06F 3/0482 20130101ALI20201116BHJP

   G06F 3/0346 20130101ALI20201116BHJP

   G06F 40/129 20200101ALI20201116BHJP

   A61B 3/113 20060101ALI20201116BHJP

【ＦＩ】

   G06F3/01 515

   G06F3/0482

   G06F3/0346 423

   G06F40/129

   A61B3/113

【請求項の数】10

【全頁数】20

(21)【出願番号】特願2017-6728(P2017-6728)

(22)【出願日】2017年1月18日

(65)【公開番号】特開2018-116468(P2018-116468A)

(43)【公開日】2018年7月26日

【審査請求日】2018年12月10日

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000567

【氏名又は名称】特許業務法人 サトー国際特許事務所

(72)【発明者】

【氏名】吉田 一郎

【審査官】 池田 聡史

(56)【参考文献】

【文献】 特開２００２−３２４０６４（ＪＰ，Ａ）

【文献】 特開２００３−２４８５４１（ＪＰ，Ａ）

【文献】 国際公開第２００６／００３９０１（ＷＯ，Ａ１）

【文献】 特開２０１５−２１９７６２（ＪＰ，Ａ）

【文献】 特開２０１２−０５３６５６（ＪＰ，Ａ）

【文献】 特開２０１０−０１９７０８（ＪＰ，Ａ）

【文献】 特開平０７−０２０７７４（ＪＰ，Ａ）

【文献】 特開２０１２−６８９６３（ＪＰ，Ａ）

【文献】 特開２０１０−１５３６０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３３

Ｇ０６Ｆ ３／０４８

Ｇ０６Ｆ ４０／１２９

Ａ６１Ｂ ３／１１３

(57)【特許請求の範囲】

【請求項1】

ユーザからの文字入力の操作を受け付ける操作受付部（１６）と、
ユーザの脳活動を検出する脳活動検出部（８）と、
ユーザの視線方向を検出する視線方向検出部（１２）と、
ユーザからの文字入力の操作が受け付けられると、その受け付けられた文字を入力文字として文字表示領域（３２）に表示させる第１の表示制御部（６ａ）と、
ユーザからの文字入力の操作により受け付けられた文字が入力文字として表示された後の前記脳活動検出部の検出結果を用い、その入力文字に対応する交換候補文字を提示する必要の有無を判定する提示必要判定部（６ｂ）と、
交換候補文字を提示する必要が有ると判定されると、複数の交換候補文字を交換候補表示領域（３４ｃ〜３４ｅ）に表示させる第２の表示制御部（６ｃ）と、
交換候補文字が表示された後の前記視線方向検出部の検出結果及び前記脳活動検出部の検出結果を用い、入力文字を交換候補文字と交換する必要の有無を判定し、入力文字を交換候補文字と交換する必要が有ると判定すると、交換候補文字のうちから交換対象文字を選択する交換必要判定部（６ｄ）と、
交換候補文字のうちから交換対象文字が選択されると、その選択された交換対象文字を確定文字として確定する文字確定部（６ｆ）と、を備えた電子情報処理システム（１）。

【請求項2】

入力文字を交換候補文字と交換する必要が有ると判定され、交換候補文字のうちから交換対象文字が選択されると、入力文字に代えて交換対象文字を前記文字表示領域に表示させる第３の表示制御部（６ｅ）を備え、
前記文字確定部は、前記文字表示領域に表示された交換対象文字を確定文字として確定する請求項１に記載の電子情報処理システム。

【請求項3】

前記交換必要判定部は、ユーザの視線方向が交換候補文字のうち特定の文字に向けられ且つユーザの脳活動が不快でない状態が所定時間継続すると、入力文字を交換候補文字と交換する必要が有ると判定し、その特定の文字を交換対象文字として選択する請求項１又は２に記載の電子情報処理システム。

【請求項4】

ユーザの挙動を検出する挙動検出部（９）、ユーザが発話した音声を検出する音声検出部（１０）、ユーザの操作を検出する操作検出部（１１）のうち少なくとも何れかを備え、
前記提示必要判定部は、ユーザからの文字入力の操作により受け付けられた文字が入力文字として表示された後の前記脳活動検出部の検出結果に加え、前記挙動検出部の検出結果、前記音声検出部の検出結果、前記操作検出部の検出結果のうち少なくとも何れかを用い、その入力文字に対応する交換候補文字を提示する必要の有無を判定する請求項１から３の何れか一項に記載の電子情報処理システム。

【請求項5】

ユーザの挙動を検出する挙動検出部（９）、ユーザが発話した音声を検出する音声検出部（１０）、ユーザの操作を検出する操作検出部（１１）のうち少なくとも何れかを備え、
前記交換必要判定部は、交換候補文字が表示された後の前記視線方向検出部の検出結果及び前記脳活動検出部の検出結果に加え、前記挙動検出部の検出結果、前記音声検出部の検出結果、前記操作検出部の検出結果のうち少なくとも何れかを用い、入力文字を交換候補文字と交換する必要の有無を判定し、入力文字を交換候補文字と交換する必要が有ると判定すると、交換候補文字のうちから交換対象文字を選択する請求項１から３の何れか一項に記載の電子情報処理システム。

【請求項6】

前記第２の表示制御部は、入力文字が前記文字表示領域に表示されている状態で交換候補文字を前記交換候補表示領域に表示させる請求項１から５の何れか一項に記載の電子情報処理システム。

【請求項7】

前記第２の表示制御部は、複数の交換候補文字を前記交換候補表示領域に同時に表示させる請求項１から６の何れか一項に記載の電子情報処理システム。

【請求項8】

前記第２の表示制御部は、複数の交換候補文字を前記交換候補表示領域にスクロール表示させる請求項７に記載の電子情報処理システム。

【請求項9】

前記文字確定部は、交換候補文字を提示する必要が無いと判定されると、前記文字表示領域に表示されている入力文字を確定文字として確定する請求項１から８の何れか一項に記載の電子情報処理システム。

【請求項10】

ユーザからの文字入力の操作を受け付ける操作受付部（１６）と、ユーザの脳活動を検出する脳活動検出部（８）と、ユーザの視線方向を検出する視線方向検出部（１２）と、を備えた電子情報処理システム（１）の制御部（６）に、
ユーザからの文字入力の操作を受け付ける操作受付手順と、
ユーザからの文字入力の操作が受け付けられると、その受け付けられた文字を入力文字として文字表示領域（３２）に表示させる第１の表示制御手順と、
ユーザからの文字入力の操作により受け付けられた文字が入力文字として表示された後の前記脳活動検出部の検出結果を用い、その入力文字に対応する交換候補文字を提示する必要の有無を判定する提示必要判定手順と、
交換候補文字を提示する必要が有ると判定すると、複数の交換候補文字を交換候補表示領域（３４ｃ〜３４ｅ）に表示させる第２の表示制御手順と、
交換候補文字が表示された後の前記視線方向検出部の検出結果及び前記脳活動検出部の検出結果を用い、入力文字を交換候補文字と交換する必要の有無を判定し、入力文字を交換候補文字と交換する必要が有ると判定すると、交換候補文字のうちから交換対象文字を選択する交換必要判定手順と、
交換候補文字のうちから交換対象文字を選択すると、その選択した交換対象文字を確定文字として確定する文字確定手順と、を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子情報処理システム及びコンピュータプログラムに関する。

【背景技術】

【0002】

電子情報処理システムでは、様々なアプリケーションプログラム（以下、アプリプログラムと称する）を実行可能である。ユーザからの文字入力の操作を受け付けるアプリプログラムでは、ユーザからの文字入力の操作を受け付けると、ユーザが意図しない文字が入力される場合がある。例えばユーザがひらがな入力を意図しているにも拘らず文字入力モードの初期設定が半角英数入力モードになっていれば、ユーザが文字入力の操作を行うと、ユーザが意図しない半角英数文字が入力される。そのような場合、ユーザは当該入力された半角英数文字を消去する操作を行い、文字入力モードを半角英数入力モードからひらがな入力モードに変更する操作を行い、文字入力の操作を再度行うという煩雑な手間が必要となる。

【0003】

一方、特許文献１には、ユーザが文字入力の操作を行うときの言語中枢の働きにより発生する磁場や電場の変化を時系列で検出し、そのユーザが入力しようとする文字の文字コードを発生させる技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平５−２７８９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記したような煩雑な手間が必要となる問題に対し、特許文献１の技術を適用することで、ユーザが意図する文字が入力されると想定される。しかしながら、特許文献１では、言語中枢の働きにより発生する磁場や電場の変化を時系列で検出する必要がある。そのため、ユーザが意図する文字が入力されるまで多大な処理時間がかかるという問題がある。又、１文字毎に文字コードを発生させるので、多大な文字数の文字入力には適さないという問題もある。

【0006】

本発明は、上記した事情に鑑みてなされたものであり、その目的は、ユーザが文字入力の操作を行う際の利便性を高めることができる電子情報処理システム及びコンピュータプログラムを提供することにある。

【課題を解決するための手段】

【0007】

請求項１に記載した発明によれば、操作受付部（１６）は、ユーザからの文字入力の操作を受け付ける。脳活動検出部（８）は、ユーザの脳活動を検出する。視線方向検出部（１２）は、ユーザの視線方向を検出する。第１の表示制御部（６ａ）は、ユーザからの文字入力の操作が受け付けられると、その受け付けられた文字を入力文字として文字表示領域（３２）に表示させる。提示必要判定部（６ｂ）は、ユーザからの文字入力の操作により受け付けられた文字が入力文字として表示された後の脳活動検出部の検出結果を用い、その入力文字に対応する交換候補文字を提示する必要の有無を判定する。第２の表示制御部（６ｃ）は、交換候補文字を提示する必要が有ると判定されると、複数の交換候補文字を交換候補表示領域（３４ｃ〜３４ｅ）に表示させる。交換必要判定部（６ｄ）は、交換候補文字が表示された後の視線方向検出部の検出結果及び脳活動検出部の検出結果を用い、入力文字を交換候補文字と交換する必要の有無を判定し、入力文字を交換候補文字と交換する必要が有ると判定すると、交換候補文字のうちから交換対象文字を選択する。文字確定部（６ｆ）は、交換候補文字のうちから交換対象文字が選択されると、その選択された交換対象文字を確定文字として確定する。

【0008】

ユーザが文字入力の操作を行うときに、ユーザが意図する文字が入力された場合と意図しない文字が入力された場合とでユーザの脳活動に差が発生することに着目した。ユーザが文字入力の操作を行うと、その後のユーザの脳活動の検出結果を用い、入力文字に対応する交換候補文字を提示する必要が有ると判定すると、複数の交換候補文字を表示する。そして、その後のユーザの視線方向及び脳活動の検出結果を用い、入力文字を交換候補文字と交換する必要が有ると判定すると、交換候補文字のうちから交換対象文字を選択し、その選択した交換対象文字を確定文字として確定する。

【0009】

ユーザが文字入力モードを変更する操作や文字入力の操作を再度行わなくとも、ユーザが視線方向を変えるだけで、交換候補文字のうちから意図する文字を交換対象文字として選択して確定文字として確定することができる。これにより、ユーザが文字入力の操作を行う際の利便性を高めることができる。この場合、言語中枢の働きにより発生する磁場や電場の時系列の変化を利用する従来とは異なり、ユーザの脳活動の差を利用するので、多大な処理時間がかかることがなく、多大な文字数の文字入力にも適する。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態を示す機能ブロック図

【図2】ユーザが表示器を目視する態様を示す図

【図3】フローチャート（その１）

【図4】フローチャート（その２）

【図5】文字入力画面を示す図（その１）

【図6】文字入力画面を示す図（その２）

【図7】交換候補画面が表示された態様を示す図（その１）

【図8】交換候補画面が表示された態様を示す図（その２）

【図9】交換候補画面が表示された態様を示す図（その３）

【図10】交換候補画面が表示された態様を示す図（その４）

【図11】交換候補画面が表示された態様を示す図（その５）

【図12】文字入力画面を示す図（その３）

【図13】交換候補画面の遷移を示す図（その１）

【図14】交換候補画面の遷移を示す図（その２）

【図15】交換候補画面の遷移を示す図（その３）

【図16】交換候補画面の遷移を示す図（その４）

【図17】交換候補画面の遷移を示す図（その５）

【図18】交換候補画面の遷移を示す図（その６）

【図19】交換候補画面が表示された態様を示す図（その６）

【図20】交換候補画面が表示された態様を示す図（その７）

【図21】文字入力画面を示す図（その４）

【図22】文字入力画面を示す図（その５）

【図23】交換候補画面が表示された態様を示す図（その８）

【図24】交換候補画面が表示された態様を示す図（その９）

【図25】交換候補画面が表示された態様を示す図（その１０）

【図26】交換候補画面が表示された態様を示す図（その１１）

【図27】交換候補画面が表示された態様を示す図（その１２）

【図28】交換候補画面が表示された態様を示す図（その１３）

【発明を実施するための形態】

【0011】

以下、本発明を車両に搭載される電子情報処理システムに適用した一実施形態について図面を参照して説明する。電子情報処理システム１は、図２に示すように、車室内において運転者であるユーザが視認可能な表示器２を有する。表示器２は、ユーザの前方視界を妨げない位置に配置されている。表示器２には、ユーザの顔を撮影する２つのカメラ３，４が配置されていると共に、各種の電子部品を含む制御ユニット５が内蔵されている。

【0012】

電子情報処理システム１は、制御部６と、通信部７と、脳活動検出部８と、挙動検出部９と、音声検出部１０と、操作検出部１１と、視線方向検出部１２と、記憶部１３と、表示部１４と、音声出力部１５と、操作受付部１６と、信号入力部１７とを有する。

【0013】

制御部６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＩ／Ｏ（Input／Output）を有するマイクロコンピュータにより構成されている。制御部６は、非遷移的実体的記録媒体に格納されているコンピュータプログラムを実行することで、コンピュータプログラムに対応する処理を実行し、電子情報処理システム１の動作全般を制御する。

【0014】

カメラ３，４は、ユーザの顔の略全体を撮影し、その撮影した映像を含む映像信号を制御部６に出力する。通信部７は、ユーザの頭部に装着されるヘッドセット１８に複数設けられている脳活動センサ１９、ユーザが発話した音声を集音するマイク２０、ユーザが操作可能な手元スイッチ２１との間で例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等の通信規格に準拠した近距離無線通信を行う。マイク２０は、例えばハンドル２２の周辺等のユーザが発話した音声を集音し易い位置に配置されている。尚、マイク２０は、ヘッドセット１８と一体に取り付けられていても良い。手元スイッチ２１は、例えばユーザがハンドル２２を把持したまま操作し易い位置に配置されている。

【0015】

脳活動センサ１９は、ユーザの頭皮上に近赤外光を照射し、その照射した近赤外光が乱反射した光を受光し、ユーザの脳活動を監視する。近赤外光がユーザの頭皮上に照射されると、皮膚や骨を透過する高い生体透過性により、その近赤外光の光成分が脳組織内に拡散し、頭皮上から約２０〜３０ｍｍの深部にある大脳皮質に到達する。脳活動センサ１９は、血液中のオキシヘモグロビン濃度とデオキシヘモグロビン濃度とで光吸収特性が異なる性質を利用し、照射点から数ｃｍ離れた箇所で乱反射した光成分を検出する。脳活動センサ１９は、このようにして光成分を検出すると、大脳皮質のオキシヘモグロビン濃度とデオキシヘモグロビン濃度との変化を推定し、その推定した変化を示す脳活動監視信号を通信部７に送信する。尚、脳活動センサ１９は、大脳皮質のオキシヘモグロビン濃度とデオキシヘモグロビン濃度とに加え、両者の総計である総ヘモグロビン濃度の変化も推定し、その推定した変化を示す脳活動監視信号を通信部７に送信しても良い。

【0016】

マイク２０は、ユーザが発話した音声を集音して検出すると、その検出した音声を示す音声検出信号を通信部７に送信する。手元スイッチ２１は、ユーザの操作を検出すると、その検出した操作を示す操作検出信号を通信部７に送信する。通信部７は、脳活動センサ１９、マイク２０、手元スイッチ２１からそれぞれ脳活動監視信号、音声検出信号、操作検出信号を受信すると、その受信した脳活動監視信号、音声検出信号、操作検出信号を制御部６に出力する。尚、脳活動センサ１９、マイク２０、手元スイッチ２１は、何れも無線給電されるように構成されており、給電線の配線が不要とされている。

【0017】

脳活動検出部８は、ＮＩＲＳ（Near Infra-Red Spectoroscopy）の技術を用いてユーザの脳活動を検出する。脳の情報処理では、神経活動が担う情報伝達系と、神経活動を支えるエネルギー供給系との２つの系が密接に関係していると考えられている。神経活動が起こると、その周囲にある血管が拡張し、エネルギー源となる酸素やグルコースを含む多くの動脈血を供給する調整機構が働く。そして、活動神経の近傍の組織では、血流量及び血液量が増大し、血液の酸化状態（即ちオキシヘモグロビン濃度とデオキシヘモグロビン濃度との比率）が変化すると仮定されている。このような神経活動と脳血液反応との関係はニューロバスキュラーカップリングと称されており、ＮＩＲＳの技術ではニューロバスキュラーカップリングが存在するという仮定に基づき脳の局所ヘモグロビン濃度を検出することで、ユーザの脳活動を検出する。

【0018】

脳活動検出部８は、脳活動センサ１９から脳活動監視信号が通信部７に受信され、その受信された脳活動監視信号が制御部６に入力されると、その入力された脳活動監視信号から大脳皮質のオキシヘモグロビン濃度とデオキシヘモグロビン濃度との変化を検出する。脳活動検出部８は、その検出結果を数値化した脳活動データを脳活動データベース２３に逐一記憶し、脳活動データベース２３に記憶されている脳活動データを更新すると共に、その検出した脳活動データを過去の脳活動データと照合する。

【0019】

脳活動検出部８は、脳活動データベース２３に記憶されている脳活動データから判定基準となる快適閾値と不快閾値とを設定しており、脳活動データの数値が快適閾値以上であれば、ユーザが快適と感じていると検出する。脳活動検出部８は、脳活動データの数値が快適閾値未満であり不快閾値以上であれば、ユーザが平常（即ち快適でも不快でもない）と感じていると検出する。脳活動検出部８は、脳活動データの数値が不快閾値未満であれば、ユーザが不快と感じていると検出する。脳活動検出部８は、このようにして検出したユーザの脳活動の検出結果を示す検出結果信号を制御部６に出力する。

【0020】

挙動検出部９は、画像解析や音声認識の技術を用いてユーザの挙動を検出する。挙動検出部９は、カメラ３，４から映像信号が制御部６に入力されると、その入力された映像信号からユーザの目の動きや口の動きや表情を検出し、その検出結果を数値化した挙動データを挙動データベース２４に逐一記憶し、挙動データベース２４に記憶されている挙動データを更新すると共に、その検出した挙動データを過去の挙動データと照合する。

【0021】

挙動検出部９は、挙動データベース２４に記憶されている挙動データから判定基準となる快適閾値と不快閾値とを設定しており、挙動データの数値が快適閾値以上であれば、ユーザが快適と感じていると検出する。挙動検出部９は、挙動データの数値が快適閾値未満であり不快閾値以上であれば、ユーザが平常（即ち快適でも不快でもない）と感じていると検出する。挙動検出部９は、挙動データの数値が不快閾値未満であれば、ユーザが不快と感じていると検出する。挙動検出部９は、このようにして検出したユーザの挙動の検出結果を示す検出結果信号を制御部６に出力する。

【0022】

音声検出部１０は、ユーザが発話したことでマイク２０から音声検出信号が通信部７に受信され、その受信された音声検出信号が制御部６に入力されると、その入力された音声検出信号からユーザが発話した音声を検出し、その検出した検出結果を示す検出結果信号を制御部６に出力する。操作検出部１１は、ユーザが手元スイッチ２１を操作したことで手元スイッチ２１から操作検出信号が通信部７に受信され、その受信された操作検出信号が制御部６に入力されると、その入力された操作検出信号からユーザの操作を検出し、その検出した検出結果を示す検出結果信号を制御部６に出力する。視線方向検出部１２は、カメラ３，４から映像信号が制御部６に入力されると、その入力された映像信号からユーザの視線方向を検出し、その検出結果を示す検出結果信号を制御部６に出力する。

【0023】

記憶部１３は、制御部６が実行可能な複数のプログラムを記憶している。記憶部１３に記憶されているプログラムには、文字入力を複数の文字入力モードにより受け付け可能な複数種類のアプリプログラムＡ，Ｂ，Ｃ，…と、日本語入力のかな漢字変換プログラムとが含まれる。日本語入力のかな漢字変換プログラムは、日本語の文章を入力するためにかな漢字変換を行うソフトウェアであり、日本語入力プログラム、日本語入力フロントエンドプロセッサ（ＦＥＰ：Front End Processor）、かな漢字変換プログラムとも称される。文字入力モードは、半角英数入力モード、全角英数入力モード、半角カタカナ入力モード、全角カタカナ入力モード、ひらがな入力モード等である。

【0024】

表示部１４は、例えば液晶ディスプレイ等により構成されており、制御部６から表示指令信号を入力すると、その入力した表示指令信号により指定される画面を表示する。音声出力部１５は、例えばスピーカー等により構成されており、制御部６から音声出力指令信号を入力すると、その入力した音声出力指令信号により指定される音声を出力する。操作受付部１６は、表示部１４の画面上に形成されるタッチパネルや機械的なスイッチ等により構成されており、ユーザからの文字入力の操作を受け付けると、その受け付けた文字入力の操作の内容を示す文字入力検出信号を制御部６に出力する。信号入力部１７は、車両に搭載されている各種ＥＣＵ（Electronic Control Unit）２５や各種センサ２６から各種信号を入力する。

【0025】

制御部６は、記憶部１３に記憶されている各種プログラムを実行する。制御部６は、何れかのアプリプログラムを実行中では、その実行中のアプリプログラムの文字入力モードがひらがな入力モードであるときには日本語入力のかな漢字変換プログラムを併せて起動する。即ち、制御部６は、ひらがな入力モードであるときに日本語入力のかな漢字変換プログラムを併せて起動することで、かな文字入力を可能とし、更にかな漢字変換（即ちかな文字から漢字への変換）を可能としている。

【0026】

制御部６は、本発明に関連する機能として、第１の表示制御部６ａと、提示必要判定部６ｂと、第２の表示制御部６ｃと、交換必要判定部６ｄと、第３の表示制御部６ｅと、文字確定部６ｆとを有する。これらの各部６ａ〜６ｆは制御部６が実行するコンピュータプログラムにより構成されており、ソフトウェアにより実現されている。

【0027】

第１の表示制御部６ａは、ユーザからの文字入力の操作が受け付けられると、その受け付けられた文字を入力文字として表示部１４に表示させる。提示必要判定部６ｂは、ユーザからの文字入力の操作により受け付けられた文字が入力文字として表示されると、その後の脳活動検出部８の検出結果及び挙動検出部９の検出結果を用い、その入力文字に対応する交換候補文字を提示する必要の有無を判定する。

【0028】

第２の表示制御部６ｃは、交換候補文字を提示する必要が有ると提示必要判定部６ｂにより判定されると、その交換候補文字を表示部１４に表示させる。交換必要判定部６ｄは、交換候補文字が表示されると、その後の視線方向検出部１２の検出結果、脳活動検出部８の検出結果及び挙動検出部９の検出結果を用い、入力文字を交換候補文字と交換する必要の有無を判定する。交換必要判定部６ｄは、入力文字を交換候補文字と交換する必要が有ると判定すると、交換候補文字のうちから交換対象文字を選択する。

【0029】

第３の表示制御部６ｅは、入力文字を交換候補文字と交換する必要が有ると判定され、交換候補文字のうちから交換対象文字が選択されると、入力文字に代えて交換対象文字を表示部１４に表示させる。文字確定部６ｆは、交換候補文字のうちから交換対象文字が選択されると、その選択された交換対象文字を確定文字として確定する。

【0030】

次に、上記した構成の作用について図３から図２８を参照して説明する。
電子情報処理システム１において、制御部６は、文字入力処理を開始すると、ユーザからの文字入力の操作を監視し（Ｓ１）、ユーザからの文字入力の操作を受け付けたか否かを判定する（Ｓ２、操作受付手順に相当する）。制御部６は、文字入力検出信号を操作受付部１６から入力し、ユーザからの文字入力の操作を受け付けたと判定すると（Ｓ２：ＹＥＳ）、その時点で設定されている文字入力モードに応じた文字を入力文字として表示部１４に表示させる（Ｓ３、第１の表示制御手順に相当する）。

【0031】

即ち、制御部６は、図５に示すように、表示部１４に文字入力画面３１が表示されている状態でユーザからの文字入力の操作が操作受付部１６により受け付けられると、その受け付けられた文字を入力文字として文字表示領域３２に表示させる。図５の例示では、制御部６は、ユーザからの文字入力の操作として、最初に「Ａ」のキーが押下され、続いて「Ｉ」のキーが押下された場合に、半角英数入力モードが設定されていれば「AI（半角）」を文字表示領域３２に表示させる。又、制御部６は、入力文字を文字表示領域３２に表示させた直後では、文字表示領域３２の周辺である周辺領域３３の背景色を例えば白色で表示させる。

【0032】

尚、制御部６は、最初に「Ａ」のキーが押下され、続いて「Ｉ」のキーが押下された場合に、全角英数入力モードが設定されていれば「ＡＩ（全角）」を表示させる。又、制御部６は、半角カタカナ入力モードが設定されていれば「アイ（半角）」を表示させ、全角カタカナ入力モードが設定されていれば「アイ（全角）」を表示させ、ひらがな入力モードが設定されていれば「あい」を表示させる。又、音声認識の機能を有する構成であれば、ユーザが発話することでユーザからの文字入力の操作が受け付けられる構成でも良い。ユーザは、文字表示領域３２に表示された文字を視認することで、自分の意図通りに文字が入力されたか否かを判断可能となる。

【0033】

制御部６は、脳活動検出部８から入力した検出結果信号を用いて脳活動データを解析し（Ｓ４）、挙動検出部９から入力した検出結果信号を用いて挙動データを解析する（Ｓ５）。制御部６は、その時点でのユーザの脳活動及び挙動、即ちユーザが自らの文字入力の操作により入力した文字を視認した直後の感情を判定し、交換候補文字を提示する必要の有無を判定する（Ｓ６、提示必要判定手順に相当する）。

【0034】

図５の例示では、ユーザは、半角英数入力を意図していれば、自分の意図通りに文字が入力されたことを視認する。このとき、ユーザは快適又は平常と感じており、ユーザが不快と感じることはなく、ユーザの脳活動及び挙動の変化が活性化することはない。一方、ユーザは、半角英数入力を意図しておらず例えばひらがな入力を意図していれば、自分の意図に反した文字が入力されたことを視認する。このとき、ユーザは不快と感じており、ユーザの脳活動及び挙動の変化が活性化する。

【0035】

制御部６は、脳活動データ及び挙動データの両方が不快閾値未満でなく、ユーザが不快と感じていないと判定すると、交換候補文字を提示する必要が無いと判定する（Ｓ６：ＮＯ）。制御部６は、その時点で文字表示領域３２に表示されている文字、即ち入力文字を確定文字として確定し（Ｓ７）、文字入力処理を終了する。即ち、ユーザからの文字入力の操作により入力された入力文字である「AI（半角）」に対してユーザが不快と感じていなければ、制御部６は、「AI（半角）」を確定文字として確定する。

【0036】

一方、制御部６は、脳活動データ及び挙動データのうち少なくとも何れかが不快閾値未満であり、ユーザが不快と感じていると判定すると、交換候補文字を提示する必要が有ると判定する（Ｓ６：ＹＥＳ）。制御部６は、図６に示すように、周辺領域３３の背景色を白色から例えば赤色に変更し、入力文字に対応する交換候補文字を表示する交換対象文字選択処理に移行する（Ｓ８）。

【0037】

制御部６は、交換対象文字選択処理を開始すると、図７に示すように、周辺領域３３の背景色を赤色から例えば緑色に変更し、文字入力画面３１上において交換候補画面３４のポップアップ表示を開始し（Ｓ１１、第２の表示制御手順に相当する）、監視タイマによる計時を開始する（Ｓ１２）。このとき、制御部６は、交換候補画面３４を文字入力画面３１の略中心部に表示させる。監視タイマは、交換候補画面３４の表示時間の上限を規定するタイマである。交換候補画面３４は、入力文字区画３４ａ、交換候補文字区画３４ｂ〜３４ｄ（交換候補表示領域に相当する）、スクロール区画３４ｅ，３４ｆ、インジケータ区画３４ｇを有する。制御部６は、文字表示領域３２に表示させている文字、即ち入力文字を入力文字区画３４ａに表示させ、その入力文字に対応する交換候補文字を交換候補文字区画３４ｂ〜３４ｄに表示させる。図７の例示では、制御部６は、入力文字として「AI（半角）」を入力文字区画３４ａに表示させ、交換候補文字として「愛」、「あい」、「アイ（全角）」を交換候補文字区画３４ｂ〜３４ｄに表示させる。又、制御部６は、左矢印アイコン３５をスクロール区画３４ｅに表示させ、右矢印アイコン３６をスクロール区画３４ｆに表示させ、感情を示すインジケータ３７をインジケータ区画３４ｇに表示させる。このとき、制御部６は、入力文字区画３４ａ及びインジケータ３７を赤色で表示させる。

【0038】

制御部６は、このようにして交換候補画面３４を文字入力画面３１上にポップアップ表示させると、視線方向検出部１２から入力する検出結果信号を用いてユーザの視線方向を検出する（Ｓ１３）。そして、制御部６は、ユーザの視線方向が特定の区画に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したか否かを判定すると共に（Ｓ１４）、監視タイマによる計時が満了したか否かを判定する（Ｓ１５）。

【0039】

制御部６は、監視タイマによる計時が満了したと判定するよりも前に、ユーザの視線方向が特定の区画に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したと判定すると（Ｓ１４：ＹＥＳ）、その区画を判定する（Ｓ１６，Ｓ１７、交換必要判定手順に相当する）。

【0040】

制御部６は、ユーザの視線方向が向けられた区画が交換候補文字区画３４ｂ〜３４ｄであると判定すると（Ｓ１６：ＹＥＳ）、そのユーザの視線方向が向けられた区画に属する交換候補文字を交換対象文字として選択し（Ｓ１８）、監視タイマによる計時を終了する（Ｓ１９）。即ち、制御部６は、図８に示すように、そのユーザの視線方向が向けられた区画が交換候補文字区画３４ｃであれば、その交換候補文字区画３４ｃに属する「あい」を交換対象文字として選択する。このとき、制御部６は、その交換候補文字区画３４ｃを例えば黄色で表示させ、入力文字区画３４ａ及びインジケータ３７を赤色から緑色に変更する。

【0041】

制御部６は、図９に示すように、交換対象文字として選択した交換候補文字区画３４ｃに属する「あい」と、入力文字区画３４ａに属する「AI（半角）」とを交換する。このとき、制御部６は、入力文字区画３４ａを緑色から黄色に変更し、交換候補文字区画３４ｃを黄色から緑色に変更する。又、制御部６は、文字表示領域３２に表示されている文字を「AI（半角）」から「あい」に変更する（Ｓ２０）。

【0042】

制御部６は、図１０に示すように、周辺領域３３の背景色を緑色から白色に変更し（即ち白色に戻し）、文字入力画面３１上において交換候補画面３４のポップアップ表示を終了し（Ｓ２１）、交換対象文字選択処理を終了して文字入力処理に戻る。以上の処理により、ユーザは、所望の交換候補文字に視線方向を所定時間継続して向けるだけで、文字入力の操作を行うことなく、文字表示領域３２に表示されている文字を所望の交換候補文字に変更することができる。

【0043】

一方、制御部６は、ユーザの視線方向が向けられた区画がスクロール区画３４ｅ，３４ｆであると判定すると（Ｓ１７：ＹＥＳ）、交換候補文字をスクロール表示させ（Ｓ２２）、上記したステップＳ１４，１５に戻る。即ち、制御部６は、図１１に示すように、そのユーザの視線方向が向けられた区画がスクロール区画３４ｅであれば、その交換候補文字区画３４ｂ〜３４ｄに属する交換対象文字を左方向にスクロール表示させ、交換候補文字区画３４ｂ〜３４ｄに「あい」、「アイ（全角）」、「アイ（半角）」を表示させる。又、制御部６は、図１２に示すように、そのユーザの視線方向が向けられた区画がスクロール区画３４ｆであれば、その交換候補文字区画３４ｂ〜３４ｄに属する交換対象文字を右方向にスクロール表示させ、交換候補文字区画３４ｂ〜３４ｄに「相」、「愛」、「あい」を表示させる。

【0044】

これ以降、制御部６は、同様にしてユーザの視線方向が向けられた区画が交換候補文字区画３４ｂ〜３４ｄであると判定すると、そのユーザの視線方向が向けられた区画に属する交換候補文字を交換対象文字として選択する。以上の処理により、ユーザは、所望の交換候補文字が表示されていなくても、左矢印アイコン３５や右矢印アイコン３６に視線方向を所定時間継続して向けるだけで、所望の交換候補文字を表示させることができる。そして、これ以降、ユーザは、同様にして所望の交換候補文字に視線方向を所定時間継続して向けるだけで、文字入力の操作を行うことなく、文字表示領域３２に表示されている文字を所望の交換候補文字に変更することができる。

【0045】

尚、制御部６は、ユーザの視線方向が向けられた区画が交換候補文字区画３４ｂ〜３４ｄ及びスクロール区画３４ｅ，３４ｆの何れでもないと判定すると（Ｓ１６：ＮＯ，Ｓ１７：ＮＯ）、上記したステップＳ１４，１５に戻る。

【0046】

又、制御部６は、ユーザの視線方向が特定の区画に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したと判定するよりも前に、監視タイマによる計時が満了したと判定すると（Ｓ１５：ＹＥＳ）、交換対象文字を選択せずに交換候補画面３４のポップアップ表示を終了し（Ｓ２１）、交換対象文字選択処理を終了して文字入力処理に戻る。

【0047】

制御部６は、文字入力処理に戻ると、交換対象文字選択処理において交換対象文字を選択したか否かを判定する（Ｓ９）。制御部６は、交換対象文字を選択したと判定すると（Ｓ９：ＹＥＳ）、その選択した交換対象文字を確定文字として確定し（Ｓ１０、文字確定手順に相当する）、文字入力処理を終了する。即ち、ユーザからの文字入力の操作により入力された入力文字である「AI（半角）」に対してユーザが不快と感じ、ユーザが交換候補画面３４で視線方向を定めて例えば「あい」を交換対象文字として選択していれば、制御部６は、その交換対象文字として選択した「あい」を確定文字として確定する。

【0048】

一方、制御部６は、交換対象文字を選択しなかったと判定すると（Ｓ９：ＮＯ）、文字表示領域３２に表示されている文字、即ち入力文字を確定文字として確定し（Ｓ７）、文字入力処理を終了する。即ち、ユーザが交換候補画面３４で視線方向を定めずに交換対象文字を選択していなければ、制御部６は、入力文字を確定文字として確定する。

【0049】

制御部６は、以上の処理を行うことで確定文字を以下のようにして確定する。ユーザが「あい」の文字入力を意図している場合であれば、図１３に示すように、制御部６は、ユーザの視線方向が「あい」に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したと判定すると、「あい」と「AI（半角）」とを交換し、「あい」を確定文字として確定する。又、ユーザが「アイ（全角）」の文字入力を意図している場合であれば、図１４に示すように、制御部６は、ユーザの視線方向が「あい」に向けられても「あい」を確定文字として確定しない。制御部６は、ユーザの視線方向が「アイ（全角）」に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したと判定すると、「アイ（全角）」と「あい」とを交換し、「アイ（全角）」と「AI（半角）」とを交換し、「アイ（全角）」を確定文字として確定する。

【0050】

又、ユーザが「愛」の文字入力を意図している場合であれば、図１５に示すように、制御部６は、ユーザの視線方向が「あい」や「アイ」に向けられても「あい」や「アイ」を確定文字として確定しない。制御部６は、ユーザの視線方向が「愛」に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したと判定すると、「愛」と「あい」とを交換し、「愛」と「AI（半角）」とを交換し、「愛」を確定文字として確定する。更に、ユーザが「相」の文字入力を意図している場合であれば、図１６に示すように、制御部６は、ユーザの視線方向が左矢印アイコン３５に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したと判定すると、交換候補文字をスクロール表示させて「相」を表示させる。制御部６は、ユーザの視線方向が「相」に向けられ且つユーザの脳活動及び挙動が不快でない状態が所定時間継続したと判定すると、「相」と「愛」とを交換し、「相」と「AI（半角）」とを交換し、「相」を確定文字として確定する。

【0051】

尚、制御部６は、左矢印アイコン３５によるスクロール表示としては、図１７に示すように、ユーザの視線方向が左矢印アイコン３５に向けられている時間が長くなるにしたがって交換候補文字を左方向にスクロール表示させ、例えば「アイ（半角）」、「Ai（半角）」、「ai（半角）」等を順次表示させる。又、制御部６は、右矢印アイコン３６によるスクロール表示としては、図１８に示すように、ユーザの視線方向が右矢印アイコン３６に向けられている時間が長くなるにしたがって交換候補文字を右方向にスクロール表示させ、例えば「相」、「合」、「藍」等を順次表示させる。

【0052】

以上は、ユーザの脳活動及び挙動を判定し、交換候補文字を提示する必要の有無を判定する構成を説明したが、ユーザが発話することやユーザが手元スイッチ２１を操作することを判定し、交換候補文字を提示する必要の有無を判定する構成でも良い。即ち、制御部６は、ユーザが例えば「交換候補文字を提示して」等を発話したり手元スイッチ２１を所定操作したりしたと判定すると、交換候補文字を提示する必要が有ると判定しても良い。

【0053】

又、以上は、ユーザの脳活動及び挙動を判定し、入力文字を交換候補文字と交換する必要の有無を判定する構成を説明したが、ユーザが発話することやユーザが手元スイッチ２１を操作することを判定し、入力文字を交換候補文字と交換する必要の有無を判定する構成でも良い。即ち、制御部６は、ユーザが例えば「その文字と交換して」等を発話したり手元スイッチ２１を所定操作したりしたと判定すると、入力文字を交換候補文字と交換する必要が有ると判定しても良い。

【0054】

又、以上は、交換候補文字区画３４ｂ〜３４ｄの区画数を「３」とすることで、３個の交換候補文字を同時に表示させる構成を説明したが、交換候補文字区画の区画数を「４」以上とすることで、４個以上の交換候補文字を同時に表示させる構成でも良い。

【0055】

又、以上は、文字入力画面３１の略中心部に交換候補画面３４を表示させる構成を説明したが、図１９に示すように、文字表示領域３２の真下に交換候補画面３８を表示させる構成でも良い。交換候補画面３８は、上記した交換候補画面３４よりも簡素な画面であり、交換候補文字区画３８ａ〜３８ｃ（交換候補表示領域に相当する）、スクロール区画３８ｄ，３８ｅを有する。制御部６は、交換候補文字として「愛」、「あい」、「アイ（全角）」を交換候補文字区画３８ａ〜３８ｃに表示させ、左矢印アイコン３９をスクロール区画３８ｄに表示させ、右矢印アイコン４０をスクロール区画３８ｅに表示させる。

【0056】

この場合も、交換候補画面３４が表示された場合と同様であり、制御部６は、図２０に示すように、ユーザの視線方向が向けられた区画が交換候補文字区画３８ｂであれば、その交換候補文字区画３８ｂに属する「あい」を交換対象文字として選択し、文字表示領域３２に表示されている文字を「AI（半角）」から「あい」に変更する。又、制御部６は、ユーザの視線方向が向けられた区画がスクロール区画３８ｄ，３８ｅであれば、その交換候補文字区画３８ａ〜３８ｃに属する交換対象文字をスクロール表示させる。

【0057】

又、制御部６は、文中の文節を単位とし、交換候補文字を提示する必要の有無を判定し、入力文字を交換候補文字と交換する必要の有無を判定する構成でも良い。即ち、制御部６は、図２１に示すように、ユーザからの文字入力の操作により「愛らしい」が操作受付部１６により受け付けられると、その受け付けられた「愛らしい」を文字表示領域４１に表示させる。続いて、制御部６は、図２２に示すように、「ことば」が操作受付部１６により受け付けられると、その受け付けられた「ことば」を「愛らしい」に続けて文字表示領域４１に表示させる。

【0058】

ここで、制御部６は、脳活動データ及び挙動データのうち少なくとも何れかが不快閾値未満であり、ユーザが不快と感じていると判定すると、交換候補文字を提示する必要が有ると判定し、入力文字に対応する交換候補文字を表示する。即ち、制御部６は、図２３に示すように、文字表示領域４１の真下に交換候補画面４２を表示させる。交換候補画面４２は、交換候補文字区画４２ａ〜４２ｃ（交換候補表示領域に相当する）、スクロール区画４２ｄ，４２ｅを有する。制御部６は、最初の文節である「愛らしい」に対応する交換候補文字として「あいらしい」、「アイラシイ」、「「愛らしい」削除」を交換候補文字区画４２ａ〜４２ｃに表示させ、左矢印アイコン４３をスクロール区画４２ｄに表示させ、右矢印アイコン４４をスクロール区画４２ｅに表示させる。

【0059】

この場合も、前述した交換候補画面３４や交換候補画面３８が表示された場合と同様である。制御部６は、図２４に示すように、ユーザの視線方向が向けられた区画が交換候補文字区画４２ａであれば、その交換候補文字区画４２ａに属する「あいらしい」を交換対象文字として選択し、文字表示領域４１に表示されている文字を「愛らしい」から「あいらしい」に変更する。又、制御部６は、図２５に示すように、ユーザの視線方向が向けられた区画が交換候補文字区画４２ｃであれば、文字表示領域４１に表示されている「愛らしい」を削除する。

【0060】

続いて、制御部６は、図２６に示すように、次の文節である「ことば」に対応する交換候補文字として「言葉」、「コトバ」、「「ことば」削除」を交換候補文字区画４２ａ〜４２ｃに表示させる。制御部６は、図２７に示すように、ユーザの視線方向が向けられた区画が交換候補文字区画４２ａであれば、その交換候補文字区画４２ａに属する「言葉」を交換対象文字として選択し、文字表示領域４１に表示されている文字を「ことば」から「言葉」に変更する。又、制御部６は、図２８に示すように、ユーザの視線方向が向けられた区画が交換候補文字区画４２ｃであれば、文字表示領域４１に表示されている「ことば」を削除する。

【0061】

以上に説明したように本実施形態によれば、次に示す効果を得ることができる。
電子情報処理システム１において、ユーザが文字入力の操作を行うときに、ユーザが意図する文字が入力された場合と意図しない文字が入力された場合とでユーザの脳活動や挙動に差が発生することに着目した。ユーザが文字入力の操作を行うと、その後のユーザの脳活動や挙動の検出結果を用い、入力文字に対応する交換候補文字を提示する必要が有ると判定すると、交換候補文字を表示するようにした。そして、その後のユーザの視線方向、脳活動及び挙動の検出結果を用い、入力文字を交換候補文字と交換する必要が有ると判定すると、交換候補文字のうちから交換対象文字を選択し、その選択した交換対象文字を確定文字として確定するようにした。

【0062】

ユーザが文字入力モードを変更する操作や文字入力の操作を再度行わなくとも、ユーザが視線方向を変えるだけで、交換候補文字のうちから意図する文字を交換対象文字として選択して確定文字として確定することができる。これにより、ユーザが文字入力の操作を行う際の利便性を高めることができる。この場合、言語中枢の働きにより発生する磁場や電場の時系列の変化を利用する従来とは異なり、ユーザの脳活動の差を利用するので、多大な処理時間がかかることがなく、多大な文字数の文字入力にも適する。

【0063】

又、電子情報処理システム１において、交換候補文字のうちから交換対象文字を選択すると、入力文字に代えて交換対象文字を文字表示領域３２に表示し、その文字表示領域３２に表示した交換対象文字を確定文字として確定するようにした。入力文字に代えて交換対象文字を文字表示領域３２に表示することで、入力文字と交換対象文字とを交換した旨をユーザに適切に把握させることができる。

【0064】

又、電子情報処理システム１において、ユーザの視線方向が交換候補文字のうち特定の文字に向けられ且つユーザの脳活動が不快でない状態が所定時間継続すると、入力文字を交換候補文字と交換する必要が有ると判定し、その特定の文字を交換対象文字として選択するようにした。ユーザの視線方向が特定の文字に向けられている時間を判定することで、入力文字を交換候補文字と交換する必要の有無を容易に判定することができる。

【0065】

又、電子情報処理システム１において、ユーザの脳活動や挙動の検出結果に加え、ユーザが発話した音声やユーザの操作の検出結果をも用い、入力文字に対応する交換候補文字を提示する必要の有無を判定するようにした。ユーザの脳活動や挙動の検出結果が不確かな場合でも、ユーザが音声を発話したり手元スイッチ２１を操作したりすることで、交換候補文字を提示させることができる。又、ユーザの脳活動や挙動の検出結果に加え、ユーザが発話した音声やユーザの操作の検出結果をも用い、入力文字を交換候補文字と交換する必要の有無を判定するようにした。ユーザの脳活動や挙動の検出結果が不確かな場合でも、ユーザが音声を発話したり手元スイッチ２１を操作したりすることで、入力文字を交換候補文字と交換することができる。

【0066】

又、電子情報処理システム１において、入力文字を文字表示領域３２に表示している状態で交換候補文字を表示するようにした。入力文字と交換候補文字とを同時にユーザに把握させることができ、入力文字と対比させながら交換対象文字を適切に選択させることができる。又、電子情報処理システム１において、複数の交換候補文字を同時に表示するようにした。複数の交換候補文字を対比させながら交換対象文字を適切に選択させることができる。

【0067】

又、電子情報処理システム１において、交換候補文字を提示する必要が無いと判定すると、文字表示領域３２に表示されている入力文字を確定文字として確定ようにした。ユーザからの文字入力の操作により受け付けられた文字が意図する文字であれば、その入力文字をそのまま確定文字として確定することができる。

【0068】

本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
車載の用途に適用する構成に限らず、車載以外の用途に適用する構成でも良い。
本実施形態では、ユーザの脳活動を検出する技術としてＮＩＲＳの技術を用いたが、他の技術を用いても良い。
本実施形態では、脳活動検出部８の検出結果と挙動検出部９の検出結果とを併用したが、脳活動検出部８の検出結果のみを用い、交換候補文字を提示する必要の有無を判定したり、入力文字を交換候補文字と交換する必要の有無を判定したりする構成でも良い。
文字入力画面及び交換候補画面のレイアウトは、例示した以外のレイアウトでも良い。

【符号の説明】

【0069】

図面中、１は電子情報処理システム、６ａは第１の表示制御部、６ｂは提示必要判定部、６ｃは第２の表示制御部、６ｄは交換必要判定部、６ｅは第３の表示制御部、６ｆは文字確定部、８は脳活動検出部、９は挙動検出部、１０は音声検出部、１１は操作検出部、１２は視線方向検出部、１６は操作受付部、３２は文字表示領域、３４ｃ〜３４ｅは交換候補表示領域である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】