▶ 日産自動車株式会社の特許一覧 ▶ ルノー エス．ア．エス．の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022121968
(43)【公開日】2022-08-22
(54)【発明の名称】文章入力方法及び文章入力装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20220815BHJP
【ＦＩ】
G06F3/01 515
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021018978
(22)【出願日】2021-02-09
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(71)【出願人】
【識別番号】507308902
【氏名又は名称】ルノー エス．ア．エス．
【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．
【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【弁理士】
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】ギョルゲ ルチアン
(72)【発明者】
【氏名】宝来 淳史
(72)【発明者】
【氏名】劉 権鋒
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA11
5E555AA13
5E555AA67
5E555BA02
5E555BA38
5E555BB02
5E555BB38
5E555BC19
5E555CA41
5E555CB70
5E555DB45
5E555EA19
5E555FA00
(57)【要約】
【課題】ユーザの脳波信号に含まれる事象関連電位を利用して、ユーザが意図する文章を構成する単語を入力する際の、入力に要する時間の短縮を図る。
【解決手段】文章入力方法では、選択文章提案部１０１が、ユーザが入力を意図する文章を推定して複数の文章選択肢を提案する。単語提示制御部１０２が、複数の文章選択肢をそれぞれ構成する構成単語を各文章選択肢における並び順に分類し、同一の並び順に分類された複数の構成単語を１つずつ逐次的に、提示部１２０においてユーザに提示する。所望単語認知信号解析部１０３及び信号判定部１０６が、ユーザから測定した脳波信号に含まれる、構成単語の提示を起点とした事象関連電位を、１つずつ逐次的に提示した各構成単語について解析する。この解析結果から、所望単語判断部１０４が、同一の並び順におけるユーザが入力を意図する構成単語の判断を繰り返して、ユーザが入力を意図する文章を判断する。
【選択図】図１
【解決手段】文章入力方法では、選択文章提案部１０１が、ユーザが入力を意図する文章を推定して複数の文章選択肢を提案する。単語提示制御部１０２が、複数の文章選択肢をそれぞれ構成する構成単語を各文章選択肢における並び順に分類し、同一の並び順に分類された複数の構成単語を１つずつ逐次的に、提示部１２０においてユーザに提示する。所望単語認知信号解析部１０３及び信号判定部１０６が、ユーザから測定した脳波信号に含まれる、構成単語の提示を起点とした事象関連電位を、１つずつ逐次的に提示した各構成単語について解析する。この解析結果から、所望単語判断部１０４が、同一の並び順におけるユーザが入力を意図する構成単語の判断を繰り返して、ユーザが入力を意図する文章を判断する。
【選択図】図１
【特許請求の範囲】
【請求項1】
ユーザが入力を意図する文章を推定して複数の文章選択肢を提案し、
前記複数の文章選択肢をそれぞれ構成する構成単語を各文章選択肢における並び順にそれぞれ分類し、
同一の前記並び順にそれぞれ分類された複数の前記構成単語を１つずつ逐次的に前記ユーザに提示し、
前記ユーザから測定した脳波信号に含まれる、前記構成単語の提示を起点とした事象関連電位を、前記１つずつ逐次的に提示した各構成単語についてそれぞれ解析して、前記同一の並び順における前記ユーザが入力を意図する構成単語を判断し、
前記複数の構成単語の逐次的な提示及び前記ユーザが入力を意図する構成単語の判断を、全ての前記並び順について反復して、前記ユーザが入力を意図する文章を判断する、
文章入力方法。
前記複数の文章選択肢をそれぞれ構成する構成単語を各文章選択肢における並び順にそれぞれ分類し、
同一の前記並び順にそれぞれ分類された複数の前記構成単語を１つずつ逐次的に前記ユーザに提示し、
前記ユーザから測定した脳波信号に含まれる、前記構成単語の提示を起点とした事象関連電位を、前記１つずつ逐次的に提示した各構成単語についてそれぞれ解析して、前記同一の並び順における前記ユーザが入力を意図する構成単語を判断し、
前記複数の構成単語の逐次的な提示及び前記ユーザが入力を意図する構成単語の判断を、全ての前記並び順について反復して、前記ユーザが入力を意図する文章を判断する、
文章入力方法。
【請求項2】
距離関数によって算出する２つの単語間の距離値に基づいて類似性が高いと評価される前記構成単語の組み合わせが、前記同一の並び順に分類された前記複数の構成単語の中に存在する場合に、前記組み合わせに含まれる２つの前記構成単語を、前記複数の構成単語の逐次的な提示間隔よりも長い間隔をおいて提示する請求項１に記載の文章入力方法。
【請求項3】
前記組み合わせに含まれる２つの前記構成単語の間に、前記組み合わせに含まれない他の前記構成単語を挟んだ順番で提示する請求項２に記載の文章入力方法。
【請求項4】
前記同一の並び順について前記複数の構成単語の逐次的な提示を反復して、反復の度に前記各構成単語について前記事象関連電位をそれぞれ解析する請求項１～３のいずれか１項に記載の文章入力方法。
【請求項5】
１回の前記逐次的な提示における前記構成単語の提示数及び提示間隔と、前記逐次的な提示の反復回数との、各パラメータのうち少なくとも１つを、前記ユーザが入力を意図する文章の判断結果に基づいて最適化する請求項４に記載の文章入力方法。
【請求項6】
前記提示間隔が一定である場合の、前記ユーザが入力を意図する構成単語の判断における正答率が所定の閾値を超え、かつ、前記同一の並び順における前記構成単語の逐次的な提示の開始から前記ユーザが入力を意図する構成単語の判断までの単語判断時間が最短となる、前記提示数及び反復回数の組み合わせに、前記提示数及び反復回数の各パラメータをそれぞれ最適化する請求項５に記載の文章入力方法。
【請求項7】
前記組み合わせが複数存在する場合は、前記反復回数が最小の組み合わせに、前記提示数及び反復回数の各パラメータをそれぞれ最適化する請求項６に記載の文章入力方法。
【請求項8】
前記各構成単語についての前記事象関連電位の解析において、前記ユーザが入力を意図する構成単語か否かに応じて前記事象関連電位を分類する分類器を、ユーザ本人に関する前記事象関連電位の過去の解析結果に基づいた機械学習により、前記ユーザ本人に合わせて最適化する請求項１～７のいずれか１項に記載の文章入力方法。
【請求項9】
前記事象関連電位の過去の解析結果を、前記脳波信号における前記事象関連電位の波形部分のピーク面積に基づいて分別し、一部の分別された前記事象関連電位の過去の解析結果を前記機械学習に利用する請求項８に記載の文章入力方法。
【請求項10】
ユーザが入力を意図する文章を推定して複数の文章選択肢を提案する文章提案部と、
前記複数の文章選択肢をそれぞれ構成する構成単語を各文章選択肢における並び順にそれぞれ分類し、同一の前記並び順にそれぞれ分類された複数の前記構成単語を１つずつ逐次的に提示部において提示させる単語提示制御部と、
前記ユーザから測定した脳波信号に含まれる、前記構成単語の提示を起点とした事象関連電位を、前記１つずつ逐次的に提示した各構成単語について分類器を用いてそれぞれ解析する信号解析部と、
前記信号解析部の解析結果に基づいて、前記同一の並び順における前記ユーザが入力を意図する構成単語を判断する単語判断部と、
全ての前記並び順についての前記単語判断部の判断結果に基づいて、前記ユーザが入力を意図する文章を判断する文章判断部と、
を備える文章入力装置。
前記複数の文章選択肢をそれぞれ構成する構成単語を各文章選択肢における並び順にそれぞれ分類し、同一の前記並び順にそれぞれ分類された複数の前記構成単語を１つずつ逐次的に提示部において提示させる単語提示制御部と、
前記ユーザから測定した脳波信号に含まれる、前記構成単語の提示を起点とした事象関連電位を、前記１つずつ逐次的に提示した各構成単語について分類器を用いてそれぞれ解析する信号解析部と、
前記信号解析部の解析結果に基づいて、前記同一の並び順における前記ユーザが入力を意図する構成単語を判断する単語判断部と、
全ての前記並び順についての前記単語判断部の判断結果に基づいて、前記ユーザが入力を意図する文章を判断する文章判断部と、
を備える文章入力装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、文章入力方法及び文章入力装置に関する。
【背景技術】
【0002】
ユーザの脳波信号に含まれる事象関連電位を利用して、ユーザの意図を推定する技術が提案されている（特許文献１）。この技術では、質問に対する複数の選択肢が表示されたメニュー画面において、各選択肢を順次点滅させ、各点滅から一定時間が過ぎた後の脳波信号にそれぞれ含まれる、各選択肢に対応する事象関連電位を利用して、ユーザの意図する選択肢を推定する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第４８５６７９１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ユーザが意図する文章の入力に特許文献１の技術を利用する場合、ユーザは、文章を構成する単語の全選択肢が表示された画面において、どの選択肢の単語が点滅されているかを認識すると、認識した単語に対して反応することができる。各選択肢の単語に対するユーザの反応は、点滅された単語の認識から一定時間が過ぎた後の脳波信号に含まれる点滅事象関連電位に現れる。
【0005】
本発明は前記事情に鑑みなされたもので、本発明の目的は、ユーザの脳波信号に含まれる事象関連電位を利用して、ユーザが意図する文章を構成する単語を入力する際の、入力に要する時間の短縮を図ることにある。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、本発明の一つの態様に係る文章入力方法は、ユーザが入力を意図する文章を推定して複数の文章選択肢を提案する。複数の文章選択肢をそれぞれ構成する構成単語を各文章選択肢における並び順にそれぞれ分類し、同一の並び順にそれぞれ分類された複数の構成単語を１つずつ逐次的にユーザに提示する。ユーザから測定した脳波信号に含まれる、構成単語の提示を起点とした事象関連電位を、１つずつ逐次的に提示した各構成単語についてそれぞれ解析して、同一の並び順におけるユーザが入力を意図する構成単語を判断する。複数の構成単語の逐次的な提示及びユーザが入力を意図する構成単語の判断を、全ての並び順について反復して、ユーザが入力を意図する文章を判断する。
【発明の効果】
【0007】
本発明によれば、ユーザの脳波信号に含まれる事象関連電位を利用して、ユーザが意図する文章を構成する単語を入力する際の、入力に要する時間の短縮を図ることができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。
【0010】
【0011】
文章入力装置１００は、ユーザが入力を意図する文章の構成単語の選択肢を提示し、ユーザの脳波信号に含まれる事象関連電位を利用して、提示した選択肢のうちユーザが入力を意図する構成単語を判断する。
【0012】
例えば、構成単語の候補の提示に、従来技術の欄で説明した特許文献１の技術を利用する場合、ユーザは、文章の構成単語の全選択肢が一括提示された画面において、各選択肢の構成単語が順次点滅されるのを視認する。視認した各選択肢の構成単語に対するユーザの反応は、図２の一括提示の棒グラフで示すように、画面における全選択肢の表示の開始から、「目を動かす時間」と「提示時間（点滅時間）」とが経過した後の脳波信号に、事象関連電位として現れる。「目を動かす時間」は、ユーザが画面の中で視点を移動して点滅している部分を見つけるのに要する時間である。「提示時間（点滅時間）」は、点滅している選択肢の構成単語に対するユーザの反応が脳波信号に現れるのに要する時間である。
【0013】
本実施形態の文章入力装置１００では、文章の構成単語の選択肢を１つずつ逐次的にユーザに提示する。選択肢の逐次的な提示を行うことで、図２の逐次提示の棒グラフで示すように、ユーザは、１つずつ提示される構成単語を、提示部１２０の画面内で視点を移動させて探すことなく認識する。提示される構成単語を提示部１２０の画面内で探す必要がなくなるため、本実施形態の文章入力装置１００では、提示した選択肢の構成単語に対するユーザの反応が脳波信号に事象関連電位として現れるまでに、「目を動かす時間」を費やす必要がなくなる。
【0014】
本実施形態の文章入力装置１００は、コントローラ１１０、提示部１２０及び生体信号検出部１３０を有する。
【0015】
文章入力装置１００は、ユーザが文章の入力を必要とするデバイスのマンマシンインタフェースとして利用することができる。ユーザが文章の入力を必要とするデバイスは、例えば、パーソナルコンピュータ、タブレット端末、スマートフォン等を挙げることができる。文章入力装置１００を車両に搭載する場合、ユーザが文章の入力を必要とするデバイスは、例えば、車載型マルチメディアプレーヤを挙げることができる。これらのデバイスは、文章入力装置１００を内蔵する装置であってもよく、文章入力装置１００に接続された外部の機器であってもよい。
【0016】
以下の実施形態及びその変形例では、文章入力装置１００を車両に搭載する場合について説明するが、文章入力装置１００が車両に搭載されなくてもよいことは勿論のことである。車両に搭載する文章入力装置１００のユーザは、車両の乗員となる。車両の乗員は、運転者及び同乗者のいずれでもよい。
【0017】
提示部１２０は、文章を構成する単語の選択肢を１つずつ逐次的に表示する。提示部１２０が表示する単語の内容は、コントローラ１１０が後述する処理を実行して決定する。生体信号検出部１３０は、ユーザが装着した脳波センサ部２００が測定したユーザの脳波を脳波信号として検出する。
【0018】
ユーザは頭部から脳波を発生する。脳波は、ユーザの頭部のうち、特定の脳活動部位から発生する。脳活動部位は、ユーザの精神状況、感情、視覚、臭覚、味覚、運動調節などの行動に応じて変化する。例えば、ユーザが視覚情報の変化に応答する場合、視覚情報に係る脳の後頭葉が活動する。視覚情報が文字を含む単語、文章である場合、言語理解に係る脳の頭頂葉が活動する。
【0019】
脳波センサ部２００は、本実施形態では、ユーザの頭部のうち頭頂葉、後頭葉において、脳波を測定することができる。例えば、国際標準である１０－２０電極配置法（１０－２０法）を用いる場合、脳波センサ部２００は、Ｃｚ（中心正中部）に配置される電極を少なくとも有するものとすることができる。高解像度脳波を記録するのに適した１０－１０電極配置法（１０％電極配置法）を用いる場合、脳波センサ部２００は、Ｃｐｚに配置される電極を少なくとも有するものとすることができる。
【0020】
本実施形態では、文章入力装置１００を車両に搭載するので、脳波センサ部２００は、例えば、ユーザが着席する座席のヘッドレスト部に配置することができる。
【0021】
生体信号検出部１３０は、脳波センサ部２００が測定したユーザの脳波信号を検出する。ユーザの脳波信号には、イベントに対するユーザの反応により発生する事象関連電位が現れる。ユーザの反応は、イベントの発生を起点とした一定時間後の脳波信号に現れる。生体信号検出部１３０は、事象関連電位の特徴量を抽出することができる。
【0022】
事象関連電位の特徴量は、例えば、事象関連電位のＰ３００成分と呼ばれる成分（Ｐ３成分とも呼ばれる）とすることができる。事象関連電位のＰ３００成分は、イベントの発生から一定の時間が経過した時点における事象関連電位の陽性の極大値である。一定の時間は、例えば、３００ｍｓ前後とすることができる。一定の時間は、イベントの内容（イベントに反応するユーザの脳活動部位）に応じて増減する場合がある。
【0023】
コントローラ１１０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備えるマイクロコンピュータを用いて実現可能である。コントローラ１１０は、マイクロコンピュータをコントローラ１１０として機能させるためのコンピュータプログラムを、マイクロコンピュータにインストールして実行する。これにより、マイクロコンピュータは、コントローラ１１０が備える複数の情報処理部（１０１～１０６）として機能させることができる。
【0024】
ここでは、ソフトウェアによって情報通知装置を実現する例を示すが、もちろん、各情報処理を実行するための専用のハードウェアを用意して、コントローラ１１０を構成することも可能である。専用のハードウェアには、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置を含む。
【0025】
なお、コントローラ１１０を独立した部材として説明したが、勿論、コントローラ１１０を他の装置と一緒に１つの装置として構成してもよい。あるいは、複数の情報処理部（１０１～１０６）を分割して２以上の異なる装置を用いて構成しても構わない。さらに、複数の情報処理部（１０１～１０６）の全てまたは一部を、車両に搭載されたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）を用いて構成しても構わない。
【0026】
コントローラ１１０は、複数の情報処理部（１０１～１０６）として、選択文章提案部１０１、単語提示制御部１０２、所望単語認知信号解析部１０３、所望単語判断部１０４、選択単語出力部１０５及び信号判定部１０６を備える。
【0027】
選択文章提案部１０１は、ユーザが入力を意図する文章を推定して複数の文章選択肢の構成単語を提案（生成）することができる。選択文章提案部１０１は、例えば、図３Ａに示すように、複数の文章選択肢として文章候補１～３を生成する。文章候補１は、３つの構成単語Ａ～ＣをＡ、Ｂ、Ｃの並び順で並べた文章である。文章候補２は、３つの構成単語Ｄ～ＦをＤ、Ｅ、Ｆの並び順で並べた文章である。文章候補３は、３つの構成単語Ｇ～ＩをＧ、Ｈ、Ｉの並び順で並べた文章である。
【0028】
選択文章提案部１０１（文章提案部）は、ユーザを取り巻く環境、文章入力装置１００に接続された機器の通信状況等から、提案する文章選択肢を推定してもよい。ユーザを取り巻く環境は、例えば、カーナビゲーションシステムの渋滞情報から得ることができる。例えば、渋滞情報において車両の現在位置に渋滞が発生している場合は、ユーザを取り巻く環境を「渋滞」とすることができる。通信状況は、例えば、文章の入力により動作を要求する機器の稼働状態、あるいは、文章入力装置１００を内蔵した装置又は接続した機器が文章入力装置１００に入力された文章を用いて行うメール等の送受信の状況とすることができる。
【0029】
例えば、渋滞地点を走行中の車両でメールの送受信を行っている状態では、選択文章提案部１０１は、渋滞を知らせるメールの文章としてユーザが入力を意図することが予想される文章を、文章選択肢として推定することができる。選択文章提案部１０１が行う文章選択肢の推定には、例えば、ＡＩ（人工知能、Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いることができる。
【0030】
単語提示制御部１０２は、選択文章提案部１０１が提案した複数の文章選択肢をそれぞれ構成する構成単語を、各文章選択肢における並び順にそれぞれ分類することができる。
【0031】
単語提示制御部１０２は、例えば、図３Ｂに示すように、各文章候補１～３の構成単語Ａ～Ｃ、Ｄ～Ｆ、Ｇ～Ｉを、３つの単語選択肢群１～３に分類する。単語選択肢群１には、１番目の並び順の構成単語Ａ、Ｄ、Ｇが分類される。単語選択肢群２には、２番目の並び順の構成単語Ｂ、Ｅ、Ｈが分類される。単語選択肢群３には、３番目の並び順の構成単語Ｃ、Ｆ、Ｉが分類される。
【0032】
単語提示制御部１０２は、同一の並び順にそれぞれ分類された複数の構成単語を、１つずつ逐次的に、提示部１２０においてユーザに提示することができる。
【0033】
例えば、単語提示制御部１０２は、単語選択肢群１に分類された各文章候補１～３の１番目の構成単語Ａ、Ｄ、Ｇをユーザに逐次的に提示する。単語提示制御部１０２は、構成単語Ａ、Ｄ、Ｇを複数回反復してユーザに逐次的に提示することができる。
【0034】
単語提示制御部１０２は、各回の単語提示において、単語選択肢群１の構成単語Ａ、Ｄ、Ｇをランダムな順番でユーザに提示する。図４に示す例では、１回目の単語提示において、構成単語Ａ、構成単語Ｄ、構成単語Ｇの順にユーザに提示し、２回目の単語提示では、構成単語Ｄを最初にユーザに提示している。構成単語Ａ、Ｄ、Ｇの提示間隔は、例えば、２００ｍｓｅｃとすることができる。
【0035】
単語提示制御部１０２は、単語選択肢群２に分類された各文章候補１～３の２番目の構成単語Ｂ、Ｅ、Ｈについても、単語選択肢群１の構成単語Ａ、Ｄ、Ｇと同様にして、提示部１２０においてユーザに１つずつ逐次的に提示することができる。単語提示制御部１０２は、単語選択肢群３に分類された各文章候補１～３の３番目の構成単語Ｃ、Ｆ、Ｉについても、単語選択肢群１の構成単語Ａ、Ｄ、Ｇと同様にして、提示部１２０においてユーザに１つずつ逐次的に提示することができる。
【0036】
各単語選択肢群１～３の構成単語を１つずつ逐次的に提示する場合、類似性の高い２つの構成単語が連続して提示される場合と、類似性の低い２つの構成単語が連続して提示される場合とでは、同じ構成単語の提示に対するユーザの反応が異なる。
【0037】
例えば、ユーザが入力を意図するターゲットの構成単語が、ターゲットの構成単語との類似性が低いノンターゲットの構成単語の次に提示されると、前後の構成単語が容易に区別されるので、ターゲットの構成単語に対するユーザの反応が顕著となる。しかし、ターゲットの構成単語が、ターゲットの構成単語との類似性が高いノンターゲットの構成単語の次に提示されると、前後の構成単語が容易には区別されないので、ターゲットの構成単語に対するユーザの反応が鈍くなる。
【0038】
ターゲットの構成単語に対するユーザの反応が鈍いと、ユーザの脳波信号の事象関連電位から、ユーザが入力を意図する構成単語を判断するのが難しくなる。
【0039】
単語提示制御部１０２は、各単語選択肢群１～３の構成単語を、原則として、それぞれランダムな順番でユーザに提示する。但し、単語提示制御部１０２は、各単語選択肢群１～３に、距離関数によって算出する２つの単語間の距離値に基づいて類似性が高いと評価される構成単語の組み合わせが存在する場合、その組み合わせに含まれる構成単語同士の提示間隔を、通常よりも長くする。
【0040】
類似性を考慮して構成単語の逐次的な提示の順番を決定するために、単語提示制御部１０２は、図５のフローチャートに示す処理を実行する。単語提示制御部１０２は、各単語選択肢群１～３に分類された構成単語について、各単語の他の単語への編集距離を算出し（ステップＳ１０１）、算出した編集距離を類似性の判断基準とするしきい値と比較する（ステップＳ１０３）。
【0041】
単語提示制御部１０２は、編集距離と閾値との比較結果に基づいて、各単語の他の単語に対する類似性を判断し（ステップＳ１０５）、類似性の判断結果を、コントローラ１１０のメモリに記録する（ステップＳ１０７）。単語提示制御部１０２は、メモリの記録に基づいて、類似性の高い単語が連続しない構成単語の提示順番を生成し（ステップＳ１０９）、一連の処理を終了する。
【0042】
ステップＳ１０９で単語提示制御部１０２が生成する構成単語の提示順番は、例えば、類似性が高い２つの構成単語の間に、２つの構成単語との類似性が低い他の構成単語を挟んだ順番とすることができる。なお、ステップＳ１０１で、編集距離を算出するのに代えて、ハミング距離等の距離関数によって２つの単語間の距離値を算出してもよい。
【0043】
単語提示制御部１０２が行う処理では、１回の単語提示における構成単語の逐次的な提示数、構成単語の逐次的な提示間隔、単語提示の反復回数の各パラメータを、それぞれ適切な値に設定する。
【0044】
類似性の高い構成単語の組み合わせが各単語選択肢群１～３に含まれている場合、構成単語の提示数、提示間隔を増やせば、類似性の高い構成単語同士の提示間隔が長くなる確率が増える。類似性の高い構成単語の組み合わせが各単語選択肢群１～３に含まれている場合、単語提示の反復回数を増やせば、ターゲットの構成単語の提示回数が増えることで、ターゲットの構成単語に対するユーザの反応が徐々に強くなる。構成単語の提示数、提示間隔、単語提示の反復回数を増やすことで、ターゲットの構成単語の判断精度を高めることができる。
【0045】
但し、構成単語の提示数、提示間隔、単語提示の反復回数のいずれを増やしても、１つの単語選択肢群１～３に分類された全ての構成単語を提示するのに必要な時間が長くなり、ターゲットの構成単語を判断できる時点の到来が遅くなる。
【0046】
このため、構成単語の提示数、提示間隔、単語提示の反復回数の各パラメータは、ターゲットの構成単語の判断精度と、ターゲットの構成単語を判断できる時点とのバランスを考慮して、設定すればよい。
【0047】
所望単語認知信号解析部１０３（信号解析部）は、生体信号検出部１３０が検出したユーザの脳波信号の、提示部１２０に構成単語を提示した横軸の０点から事象関連電位のＰ３００成分が現れる時点までの部分を抽出する。Ｐ３００成分は、ターゲットの構成単語がユーザに提示された場合に、提示部１２０に構成単語を提示した横軸の０点から５００ｍｓｅｃ程度経過した後に現れる。
【0048】
図６Ａに示すノンターゲットの構成単語をユーザに提示した場合のユーザの脳波信号の例では、構成単語を提示部１２０で１つずつ逐次的に提示した周期（１００～２００ｍｓｅｃ）に応じた周波数変動のみが現れており、事象関連電位は現れていない。図６Ｂに示すターゲットの構成単語をユーザに提示した場合のユーザの脳波信号の例では、構成単語の提示周期に応じた周波数変動に加えて、ターゲットの構成単語の提示に対するユーザの反応による事象関連電位が現れている。
【0049】
所望単語認知信号解析部１０３は、抽出した脳波信号部分を信号判定部１０６に入力する。信号判定部１０６（信号解析部）は、例えば、所望単語認知信号解析部１０３から入力された脳波信号の抽出部分を、ユーザが入力を意図するターゲットの構成単語か否かに応じて分類する分類器を有している。
【0050】
分類器は、例えば、所望単語認知信号解析部１０３から入力される脳波信号の抽出部分を入力とし、ターゲットの構成単語か否かを示す判定値を出力とするニューラルネットワークを用いて構成することができる。
【0051】
信号判定部１０６は、例えば、図７Ａ及び図７Ｂに示す脳波信号の、提示部１２０における構成単語の提示から事象関連電位が現れる時点までの部分を抽出し、抽出した部分の脳波信号の特徴値を入力する。分類器に入力する特徴値は、例えば、事象関連電位のＰ３００成分の極大値に向かう波形部分又は極大値を過ぎた波形部分の傾き、あるいは、極大値（ピーク値）等とすることができる。
【0052】
分類器は、入力された特徴値に基づいて、提示部１２０に提示された構成単語がターゲットの構成単語か否かを示す判定値を出力することができる。図７Ａは、ノンターゲットの構成単語をユーザに提示した場合、図７Ｂは、ターゲットの構成単語をユーザに提示した場合をそれぞれ示している。
【0053】
例えば、ノンターゲットの構成単語をユーザに提示した場合は、脳波信号から抽出された部分に、ノンターゲットの構成単語に対するユーザの反応が現れる。この反応を含む抽出部分の脳波信号の特徴値が入力された分類器は、ノンターゲットであることを示す「０」の判定値を出力する。
【0054】
ターゲットの構成単語をユーザに提示した場合は、脳波信号から抽出された部分に、ターゲットの構成単語に対するユーザの反応（事象関連電位のＰ３００成分）が現れる。この反応を含む抽出部分の脳波信号の特徴値が入力された分類器は、ターゲットであることを示す「１」の判定値を出力する。
【0055】
分類器に入力された特徴値及び分類器が出力した判定値の各データは、互いに関連付けて、コントローラ１１０の学習データベース（ＤＢ）に蓄積される。学習ＤＢの蓄積データは、分類器の再学習の際に利用することができる。
【0056】
所望単語認知信号解析部１０３は、単語選択肢群１～３毎に、分類された全ての構成単語について信号判定部１０６の分類器が出力した判定値を、各構成単語に対応するユーザの脳波信号に含まれる事象関連電位のＰ３００成分の解析結果として出力する。
【0057】
所望単語判断部１０４（単語判断部、文章判断部）は、所望単語認知信号解析部１０３が出力した各構成単語に対応する事象関連電位のＰ３００成分の解析結果を、各単語選択肢群１～３にそれぞれ分類された全ての構成単語について比較する。所望単語判断部１０４は、解析結果の比較を、単語選択肢群１～３毎にそれぞれ行う。所望単語判断部１０４は、図８に示す所望単語認知信号解析部１０３の解析結果にしたがって、ターゲットの構成単語（所望の単語）を判断するプロセスを実行する。
【0058】
図８では、ある単語選択肢群に分類された８つの構成単語Ａ～Ｈの全ての構成単語（選択肢単語）に対応する、事象関連電位のＰ３００成分の判定値（判定結果）を、単語提示の反復回数別に配列している。図８に示す例では、構成単語Ａがターゲットの構成単語であり、構成単語Ｂ～Ｈがノンターゲットの構成単語である。図８の判定値を太線の枠で囲った部分は、分類器の誤分類により、ターゲットの構成単語がノンターゲットと分類され、あるいは、ノンターゲットの構成単語がターゲットと分類されている。
【0059】
図８の表の最右列は、５回の反復回数（提示回数）で得られた判定値の平均値である。所望単語判断部１０４は、判定値の平均値が最も高い構成単語を、ターゲットの構成単語と判断する。図８に示す例では、所望単語判断部１０４は、判定値の平均値が最も高い構成単語Ａを、ターゲットの構成単語と判断する。
【0060】
選択単語出力部１０５は、所望単語判断部１０４が各単語選択肢群１～３についてターゲットと判断した構成単語を並び順につなげた文章を、ユーザが入力を意図する文章と判断する。選択単語出力部１０５は、判断した文章を、提示部１２０においてユーザに提示する。また、選択単語出力部１０５は、判断した文章のテキストデータを、ユーザが入力した文章として、ユーザが文章の入力を必要とするデバイスに出力することができる。
【0061】
本実施形態では、文章の構成単語の選択肢を並び順に分類して、各並び順の選択肢（単語選択肢群）の構成単語を提示部１２０に１つずつ逐次的に提示する。ユーザは、１つずつ提示される構成単語を提示部１２０の画面内で視点を移動させて探すことなく認識する。このため、ユーザの脳波信号には、提示された構成単語がターゲットであるかノンターゲットであるかに応じた反応が、図２の一括提示の棒グラフで示す「目を動かす時間」を費やすことなく現れる。したがって、ユーザの脳波信号に含まれる事象関連電位のＰ３００成分を利用して、ユーザが意図する文章を構成する単語を入力する際の、入力に要する時間の短縮を図ることができる。
【0062】
また、本実施形態では、各単語選択肢群１～３に、距離関数によって算出する２つの単語間の距離値に基づいて類似性が高いと評価される構成単語の組み合わせが存在する場合に、その組み合わせに含まれる構成単語同士の提示間隔を通常よりも長くする。このため、類似性が高いノンターゲットの構成単語に対するユーザの反応が収まってから、次のターゲットの構成単語に対するユーザの反応が現れるようにして、ターゲットの構成単語に対してユーザを顕著に反応させることができる。
【0063】
さらに、本実施形態では、類似性の高い２つの構成単語の間に類似性が低い他の構成単語を挟んだ順番で、各構成単語を逐次的に提示する。このため、前後の構成単語をユーザが容易に区別できるようにして、ターゲットの構成単語に対してユーザを顕著に反応させることができる。
【0064】
また、本実施形態では、単語提示制御部１０２が、同じ並び順の単語選択肢群に分類された各構成単語Ａ、Ｄ、Ｇを、複数回反復してランダムな順番でユーザに逐次的に提示する。このため、ターゲットの構成単語を間欠的に繰り返してユーザに提示し、提示回数が増えるにつれて、ターゲットの構成単語に対するユーザの反応が増えるようにすることができる。
【0065】
（第１変形例）
事象関連電位のＰ３００成分を利用してユーザが意図する文章の構成単語を判断する際の正答率は、構成単語を提示部１２０でユーザに提示する提示時間によって変化する。提示時間は、単語提示制御部１０２が各単語選択肢群１～３について行う単語提示における、構成単語の逐次的な提示間隔のことである。
事象関連電位のＰ３００成分を利用してユーザが意図する文章の構成単語を判断する際の正答率は、構成単語を提示部１２０でユーザに提示する提示時間によって変化する。提示時間は、単語提示制御部１０２が各単語選択肢群１～３について行う単語提示における、構成単語の逐次的な提示間隔のことである。
【0066】
構成単語の提示間隔（提示時間）が長くなると、例えば、図９Ａに示すように、ある時間の長さを境に、所望単語判断部１０４による判断の正答率が上がる。構成単語の提示間隔（提示時間）が長いほど、類似性の高い構成単語同士の提示間隔が長くなる確率が増え、また、自分の意図する構成単語であるかどうかをユーザが構成単語の提示中に認識しやすくなるからである。
【0067】
また、所望単語判断部１０４による判断の正答率は、単語提示制御部１０２が各単語選択肢群１～３について行う単語提示における、１回の単語提示における構成単語の逐次的な提示数が少ないと下がり、提示数が多いと上がる。所望単語判断部１０４による判断の正答率は、単語提示制御部１０２が各単語選択肢群１～３について行う単語提示における、単語提示の反復回数が少ないと下がり、反復回数が多いと上がる。所望単語判断部１０４による判断の正答率、単語提示制御部１０２による構成単語の提示数（提示単語数）、単語提示の反復回数（単語提示回数）の三者の関係を示したのが、図９Ｂのグラフである。
【0068】
構成単語の提示に対する反応感度は、ユーザによってまちまちである。このため、図９Ａに示す、所望単語判断部１０４による判断の正答率と単語提示制御部１０２による構成単語の提示間隔（提示時間）との関係は、ユーザ毎に異なることがある。同じ理由から、図９Ｂに示す、所望単語判断部１０４による判断の正答率と、単語提示制御部１０２による構成単語の提示数（提示単語数）、単語提示の反復回数（単語提示回数）との三者の関係も、ユーザ毎に異なることがある。
【0069】
図９Ａに示すユーザとは別のユーザでは、図１０Ａに示すように、所望単語判断部１０４による判断の正答率が、図９Ａに示すユーザよりも構成単語の提示間隔（提示時間）が長い時を境に上がる。また、このユーザでは、図１０Ｂに示すように、図９Ａに示すユーザと同じ構成単語の提示数（提示単語数）及び単語提示の反復回数（単語提示回数）について、所望単語判断部１０４による判断の正答率が、図９Ａに示すユーザよりも低い。
【0070】
そこで、単語提示制御部１０２が構成単語を逐次的に提示する際の、１回の単語提示における構成単語の提示数、構成単語の逐次的な提示間隔、単語提示の反復回数を制御パラメータとし、信号判定部１０６の分類器による分類結果を利用して最適化してもよい。各パラメータを最適化するために、単語提示制御部１０２は、最適な構成単語の提示数（提示単語数）と単語提示の反復回数（提示回数）の組み合わせを選別する。
【0071】
最適な組み合わせとは、ユーザが入力を意図する構成単語の正答率が所定の閾値を超え、かつ、単語選択時間（単語判断時間）が最も短くなる、構成単語の提示数（提示単語数）と単語提示の反復回数（提示回数）との組み合わせである。最適な組み合わせは、一定の提示間隔（提示時間）とすることを前提としている。単語選択時間は、単語提示の反復回数、１回の単語提示における構成単語の提示数、構成単語の逐次的な提示間隔の３つのパラメータを乗じた値（単語提示回数×単語提示数×提示時間＝単語選択時間）である。
【0072】
構成単語の提示数（提示単語数）と単語提示の反復回数（提示回数）との最適な組み合わせが複数存在する場合は、例えば、単語提示の反復回数（提示回数）が最も少ない組み合わせを、最適な組み合わせとする。
【0073】
構成単語の提示数（提示単語数）と単語提示の反復回数（提示回数）との最適な組み合わせを選別するために、単語提示制御部１０２は、図１１のフローチャートに示す選別処理を実行する。単語提示制御部１０２は、各パラメータの値を順次変えながら、コントローラ１１０に、事象関連電位のＰ３００成分を利用してユーザが意図する文章の構成単語を判断させる。単語提示制御部１０２は、判断時の構成単語の提示数（提示単語数）、単語提示の反復回数（提示回数）及び判断した構成単語の正答率の各数値を取得する。そして、単語提示制御部１０２は、取得した各数値を示すデータを、コントローラ１１０の最適化データベース（ＤＢ）に蓄積する（以上、ステップＳ２０１）。
【0074】
単語提示制御部１０２は、最適化ＤＢに蓄積したデータを解析し、正答率が最も高くなる構成単語の提示数（提示単語数）と単語提示の反復回数（提示回数）との最適な組み合わせを選別する（ステップＳ２０３）。また、単語提示制御部１０２は、最適化ＤＢに蓄積したデータを解析し、単語選択時間が最も短くなる構成単語の提示数（提示単語数）と単語提示の反復回数（提示回数）との最適な組み合わせを選別する（ステップＳ２０５）。さらに、単語提示制御部１０２は、最適化ＤＢに蓄積したデータを解析し、単語提示の反復回数（提示回数）が最も少なくなる構成単語の提示数（提示単語数）と単語提示の反復回数（提示回数）との最適な組み合わせを選別する（ステップＳ２０７）。以上で、選別処理を終了する。
【0075】
なお、構成単語の提示間隔（提示時間）は、別途、最適な間隔（最短時間）を決めておくものとする。
【0076】
図１１の選別処理で選別された最適な組み合わせが複数組存在する場合は、単語提示制御部１０２は、上述したように、例えば、単語提示の反復回数（提示回数）が最も少ない組み合わせを、最適な組み合わせとして選別する。
【0077】
以上の選別処理を、ユーザ毎にそれぞれ行うと、提示部１２０において構成単語を逐次的に提示する際の、１回の単語提示における構成単語の提示数、構成単語の逐次的な提示間隔、単語提示の反復回数の各パラメータを、ユーザ毎に最適化することができる。ユーザ毎にパラメータを最適化することで、所望単語判断部１０４による判断の正答率を各ユーザについてそれぞれ高めることができる。また、各パラメータを最適化することで、ユーザが入力を意図する文章の構成単語を判断するのに要する時間の、さらなる短縮を図ることができる。
【0078】
（第２変形例）
信号判定部１０６が有する分類器は、例えば、ニューラルネットワークにおけるバイアス、ゲインを再学習により調整することで、ターゲットの構成単語か否かを示す判定値の精度を向上させることができる。分類器の判定値の精度を向上させることで、結果的に、ユーザが入力を意図する文章の構成単語を判断するのに要する時間の、さらなる短縮を図ることができる。
信号判定部１０６が有する分類器は、例えば、ニューラルネットワークにおけるバイアス、ゲインを再学習により調整することで、ターゲットの構成単語か否かを示す判定値の精度を向上させることができる。分類器の判定値の精度を向上させることで、結果的に、ユーザが入力を意図する文章の構成単語を判断するのに要する時間の、さらなる短縮を図ることができる。
【0079】
分類器の再学習を行うために、信号判定部１０６は、図１２のフローチャートに示す学習処理を実行する。信号判定部１０６は、分類器が入力された特徴値を分類して判定値を出力する度に、特徴値と判定値との組み合わせを事象関連電位データとして、コントローラ１１０の学習ＤＢに蓄積する（ステップＳ３０１）。
【0080】
信号判定部１０６は、学習ＤＢに蓄積されたユーザ本人の過去の事象関連電位データから、判定値が「１」であるターゲットデータの活用データを選別する（ステップＳ３０３）。また、信号判定部１０６は、学習ＤＢの蓄積データから、判定値が「０」であるノンターゲットデータの活用データを選別する（ステップＳ３０５）。
【0081】
信号判定部１０６は、選別されたターゲットデータ及びノンターゲットデータの活用データを用いて、分類器の機械学習を行って（ステップＳ３０７）、学習処理を終了する。分類器の機械学習は、例えば、誤差逆伝播法を用いた再学習により、分類器のニューラルネットワークにおけるバイアス、ゲインを、ユーザ本人に合わせて最適化（調整）する内容のものとすることができる。
【0082】
信号判定部１０６は、ターゲットデータ及びノンターゲットデータの活用データをそれぞれ選別する際に、ユーザが誤認識した事象関連電位データを、分類器の再学習に活用するデータから除外する。ユーザが誤認識した事象関連電位データを、分類器の再学習に活用すると、図１３Ａに示すように、分類器が分別（判別）したデータの分別境界線が、ターゲット側又はノンターゲット側のどちらかに偏る可能性がある。
【0083】
図１３Ｂには、分類器の誤分類による判定エラーとユーザの誤認識による判定エラーとが混在した所望単語認知信号解析部１０３の解析結果を示す。図１３Ｂの太字の判定値の部分は、分類器の誤分類により、ターゲットの構成単語がノンターゲットと分類され、あるいは、ノンターゲットの構成単語がターゲットと分類されている。図１３Ｂの判定値を太線の枠で囲った部分は、ユーザの誤認識により、ターゲットの構成単語がノンターゲットと分類され、あるいは、ノンターゲットの構成単語がターゲットと分類されている。
【0084】
信号判定部１０６が行う学習処理において、ターゲットデータ及びノンターゲットデータの活用データとして、分類器が誤分類したデータのみを除外し、ユーザが誤認識したデータを活用してしまうと、分類器のバイアス、ゲインが不適切に調整される。その結果、図１３Ａに示すようなターゲットデータとノンターゲットデータとの分別境界線が偏った分類を、再学習後の分類器が行ってしまう。
【0085】
したがって、図１３Ａの例では、５回の反復回数で得られた分類器の判定値の平均値が最も高いのが、構成単語Ａ、Ｂ、Ｅ、Ｈの４つとなり、ターゲットの構成単語を判断することができない。
【0086】
このため、信号判定部１０６は、学習処理において、ターゲットデータ及びノンターゲットデータの活用データを選別する際に、分類器が誤分類したデータに加えて、ユーザが誤認識したデータも除外する。
【0087】
これにより、再学習後の分類器のバイアス、ゲインが適切に調整されるようにして、分類器の再学習により判定値の精度を確実に向上させて、ユーザが入力を意図する文章の構成単語を判断するのに要する時間の短縮化を確実に図ることができる。
【0088】
ターゲットデータ及びノンターゲットデータの活用データは、例えば、図７Ａ及び図７Ｂの斜線を付した、提示部１２０における構成単語の提示から事象関連電位が現れる時点までの部分のピーク面積を、しきい値と比較することで、選別することができる。
【0089】
例えば、ターゲットデータの場合は、ピーク面積がその最小面積に当たるしきい値以上であるときに、選別するターゲットデータとすることができる。ノンターゲットデータの場合は、ピーク面積がその最大面積に当たるしきい値以下であるときに、選別するノンターゲットデータとすることができる。
【0090】
分類器の再学習に活用するデータを、ピーク面積としきい値との比較により決定することで、ユーザによって事象関連電位のピーク形状にばらつきがあっても、各ユーザの再学習に活用するデータを精度良く選別することができる。また、分類器の再学習に活用するデータを、ピーク面積としきい値との比較により決定することで、ユーザの誤認識により判定エラーとなったデータが分類器の再学習に活用されるのを、抑制することができる。
【0091】
なお、第１変形例の単語提示制御部１０２の制御パラメータの最適化と、第２変形例の分類器の再学習とを両方とも行う場合、それぞれの実行スケジュールは、例えば、図１５に示すようにすることができる。まず、文章入力装置１００の購入初期（運用開始時）は、信号判定部１０６の分類器として、バイアス、ゲインを初期値に設定した汎用分類器を用いる。
【0092】
単語提示制御部１０２の制御パラメータをそれぞれ増加又は減少させながら、ユーザを固定して、コントローラ１１０に、事象関連電位のＰ３００成分を利用してユーザが意図する文章の構成単語を判断させる。これにより、制御パラメータをユーザに応じて最適化するためのデータを、コントローラ１１０の最適化ＤＢに蓄積することができる。
【0093】
最適化ＤＢに十分なデータが蓄積されたら、そのデータを解析し、単語提示の反復回数（提示回数）が最も少なくなる構成単語の提示数（提示単語数）と単語提示の反復回数（提示回数）との最適な組み合わせを選別して、制御パラメータを最適化する。この時点では、分類器は汎用分類器のままである。
【0094】
単語提示制御部１０２の制御パラメータを最適化したら、次に、分類器に入力される特徴値と分類器が出力する判定値とを組み合わせた事象関連電位データを、分類器の再学習用のデータとして、コントローラ１１０の学習ＤＢに蓄積する。
【0095】
学習ＤＢに十分なデータが蓄積されたら、蓄積されたデータから再学習に活用するデータを選別し、選別したデータを用いて分類器の機械学習を行って、分類器を最適化された分類器にアップデートする。この時点では、単語提示制御部１０２の制御パラメータは最適化されたパラメータとなっており、分類器は最適化された分類器となる。以後は、学習ＤＢに十分なデータが新たに蓄積される度に、あるいは、定期的に、分類器の機械学習を行って分類器をアップデートする。
【0096】
このように、単語提示制御部１０２の制御パラメータを先に最適化し、その後に、分類器の再学習を行うことで、再学習に用いる学習ＤＢのデータが、再学習により分類器の分類精度がより向上する内容のデータとなる。したがって、ユーザが入力を意図する文章の構成単語の入力に要する時間の短縮を、より一層図ることができる。
【0097】
本実施形態では、文章入力装置１００を車両に搭載した場合について説明したが、文章入力装置１００は、車両に搭載しなくても利用することができる。また、本実施形態では生体信号検出部１３０において脳活動の検出に脳波センサ部２００を用いたが、これに代えて例えば非接触式生体磁界センサによる磁場検出の様に、脳神経活動に起因して発生する電磁波を検出する様々な公知の手段を適用することが可能である。
【0098】
なお、上述の実施形態及び変形例は本発明の一例である。このため、本発明は、上述の実施形態及び変形例に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。
【符号の説明】
【0099】
１００ 文章入力装置（文章提案部）
１０１ 選択文章提案部
１０２ 単語提示制御部
１０３ 所望単語認知信号解析部
１０４ 所望単語判断部（単語判断部、文章判断部）
１０６ 信号判定部（分類器）
１２０ 提示部
２００ 脳波センサ部
１０１ 選択文章提案部
１０２ 単語提示制御部
１０３ 所望単語認知信号解析部
１０４ 所望単語判断部（単語判断部、文章判断部）
１０６ 信号判定部（分類器）
１２０ 提示部
２００ 脳波センサ部
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図11】
【図12】
【図13A】
【図13B】
【図14A】
【図14B】
【図15】