特開 2022-79446 ディープラーニングを活用した音声ベースのトラウマスクリーニング装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022079446

(43)【公開日】2022-05-26

(54)【発明の名称】ディープラーニングを活用した音声ベースのトラウマスクリーニング装置及び方法

(51)【国際特許分類】

   G10L 25/63 20130101AFI20220519BHJP

   G10L 25/30 20130101ALI20220519BHJP

   G10L 21/10 20130101ALI20220519BHJP

【ＦＩ】

G10L25/63

G10L25/30

G10L21/10

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021186529

(22)【出願日】2021-11-16

(31)【優先権主張番号】10-2020-0152939

(32)【優先日】2020-11-16

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2021-0132219

(32)【優先日】2021-10-06

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】521502757

【氏名又は名称】イモコグ カンパニー リミテッド

【氏名又は名称原語表記】ＥＭＯＣＯＧ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】＃１０１， １８， Ｙｏｎｇｍａｓａｎ－ｒｏ １１２－ｇｉｌ， Ｊｕｎｇｎａｎｇ－ｇｕ， Ｓｅｏｕｌ， ０２１７６ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際特許業務法人

(72)【発明者】

【氏名】ノ ユホン

(57)【要約】      （修正有）

【課題】ディープラーニングを活用した音声ベースのトラウマスクリーニング装置及び方法を提供する。
【解決手段】ディープラーニングを活用した音声ベースのスクリーニング方法は、非接触で空間や状況の制約なく獲得することができる音声を通じてトラウマをスクリーニングする。
【選択図】図７

【特許請求の範囲】

【請求項1】

ディープラーニングを活用した音声ベースのトラウマスクリーニング装置において、
少なくとも一つのプログラムが格納されたメモリと
上記少なくとも一つのプログラムを実行することにより、演算を実行するプロセッサを含み、
上記プロセッサは、
音声データを獲得し、
上記音声データを前処理し、
上記前処理された音声データを画像データに変換し、
上記画像データをディープラーニングモデルに入力し、前記ディープラーニングモデルの出力値としてトラウマ結果を獲得するものである、装置。

【請求項2】

上記プロセッサは、
上記音声データが所定の長さを有するデータになるように、所定の時間単位でシフト（ｓｈｉｆｔ）させることにより、上記音声データを前処理するものである、請求項１に記載の装置。

【請求項3】

上記プロセッサは、
上記前処理された音声データを短時間フーリエ変換して２次元データを生成し、
上記２次元データを画像データとして活用して前記ディープラーニングモデルに入力するものである、請求項１に記載の装置。

【請求項4】

ディープラーニングを活用した音声ベースのトラウマスクリーニング方法において、
音声データを獲得するステップと；
上記音声データを前処理するステップと、
上記前処理された音声データを画像データに変換するステップと、
上記画像データをディープラーニングモデルに入力し、前記ディープラーニングモデルの出力値としてトラウマ結果を獲得するステップ
を含む、方法。

【請求項5】

第４項の方法をコンピュータで実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ディープラーニングを活用した音声ベースのトラウマスクリーニング装置及び方法に関するもので、より詳細には、音声データをディープラーニングして感情を認識し、トラウマの可能性を推測するディープラーニングを活用した音声ベースのトラウマスクリーニング装置及び方法に関するものである。

【背景技術】

【0002】

昨今、現代人は勉強、就職などの日常的な事件から、交通事故、犯罪などの深刻な事件に至るまで、さまざまなストレスにさらされている。医学用語でトラウマは外傷後ストレス障害（ＰＴＳＤ）と呼ばれ、外部外傷事件に起因する精神的傷害を意味する。トラウマを経験する人は感情を制御し、安定させるのに苦労し、自発的回復率はトラウマ発生後１年以内に６０％以上と高いが、それ以降は急激に低下する。したがって外傷を経験した後、１年以内の初期治療は、外傷後遺症から回復するために非常に重要である。初期治療のためには、外傷を診断するために病院を訪問し、相談することが不可欠であるが、精神疾患に対する社会的偏見で治療を先送りしたり、外傷を認知できなかったり、診断と治療に失敗する場合が多い。

【0003】

近年ディープラーニングは、医師の早期診断を支援するために、エンジニアリング技術と医療分野を融合するために使用されている。特に音声は、患者の感情を把握するために効果的な感情や意図を込めており、患者が拒否感を感じずに自然環境から非接触方式で得ることができるので、広く使用されている。加えて、年齢分類、感情認識などの音声を利用した研究が多く行われているが、音声分析を用いた外傷選別研究は進んでいない。
本発明の背景技術は、大韓民国登録特許第１０－１８９７６５号に掲載されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、非接触で映像に比べて相対的に抵抗なく獲得することができる音声を利用してトラウマをスクリーニングするディープラーニングを活用した音声ベースのトラウマスクリーニング装置及び方法を提供する。

【0005】

本発明は、音声データを画像データに変換してトラウマをスクリーニングするディープラーニングを活用した音声ベースのトラウマスクリーニング装置及び方法を提供する。

【0006】

本発明は、ディープラーニングで音声の感情を認識した後、後処理を通して認識の精度を高めたディープラーニングを活用した音声ベースのトラウマスクリーニング装置及び方法を提供する。

【0007】

本発明は、特定の状況や空間ではなくても簡単に音声だけで感情を認識することができるトラウマ診断に役立つディープラーニングを活用した音声ベースのトラウマスクリーニング装置及び方法を提供する。

【課題を解決するための手段】

【0008】

本発明の一側面によると、ディープラーニングを活用した音声ベースのトラウマスクリーニング装置を提供する。

【0009】

本発明の一実施例に係るディープラーニングを活用した音声ベースのトラウマスクリーニング装置は、音声データを獲得する入力部、音声データを編集する前処理部、編集された音声データを画像データに変換する変換部と、画像データから感情を認識するディープラーニング部と、ディープラーニング部の結果値を後処理する判断部を含むことができる。

【0010】

本発明の他の一側面によると、ディープラーニングを活用した音声ベースのトラウマスクリーニング方法及びこれを実行するコンピュータプログラムが記録された、コンピュータが読み取り可能な記録媒体を提供する。

【0011】

本発明の一実施例に係るディープラーニングを活用した音声ベースのトラウマスクリーニング方法及びこれを実行するコンピュータプログラムが格納された記録媒体が提供される。前述ディープラーニングを活用した音声ベースのトラウマスクリーニング方法は、音声データを獲得するステップと、音声データを前処理するステップと、前処理された音声データを画像データに変換するステップと、画像データをディープラーニングするステップと、ディープラーニングの結果値を後処理するステップを含むことができる。

【0012】

前述したもの以外の他の側面、特徴、利点が以下の図面、特許請求の範囲と発明の詳細な説明から明らかになるだろう。

【発明の効果】

【0013】

本発明の一実施例によると、ディープラーニングを活用した音声ベースのスクリーニング装置および方法は、非接触で空間や状況の制約なく獲得することができる音声を通じてトラウマをスクリーニングすることができる。

【0014】

本発明の一実施例によると、音声データを画像データに変換してディープラーニングで感情を認識し、後処理してトラウマスクリーニングの精度を高めることができる。

【図面の簡単な説明】

【0015】

【図1】図１は、一実施例に係るディープラーニングを活用した音声ベースのトラウマスクリーニング装置のブロック図である。

【図2】図２は、一実施例に係る音声データを画像データに変換する方法を説明するための図である。

【図3】図３は、一実施例に係る画像データの例示を示す図である。

【図4】図４は、一実施例に係るディープラーニングモデルの例示を示す図である。

【図5】図５は、一実施例によるウィンドウサイズに応じたディープラーニングモデルの結果値を説明するための図である。

【図6】図６は、一実施例に係るディープラーニングを活用した音声ベースのトラウマスクリーニング方法を説明するための図である。

【図7】図７は、一実施例に係るディープラーニングを活用した音声ベースのトラウマスクリーニング方法のフローチャートである。

【図8】図８は、一実施例による装置のブロック図である。

【発明を実施するための形態】

【0016】

本発明は、様々な変更を加えることができ、いくつかの実施例を有することができる、特定の実施例を図面に例示し、これを詳細な説明で詳細に説明する。しかし、これは本発明を特定の実施形態に限定するものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。本発明を説明するに当たって、関連する公知技術に対する具体的な説明が本発明の要旨を不必要に曖昧にすると判断された場合、その詳細な説明を省略する。また、本明細書及び請求項で使用される単数表現は、特に明記しない限り、一般的に「一つ以上」を意味するものと解釈されるべきである。

【0017】

以下、本発明の好ましい実施例を、添付図面を参照して詳細に説明することとし、添付図面を参照して説明することに当たって、同一または対応する構成要素は、同じ図面番号を付与してこれに対する重複される説明は省略するとする。

【0018】

図１～図５は、本発明の一実施例に係るディープラーニングを活用した音声ベースのトラウマスクリーニング装置を説明するための図である。

【0019】

図１は、一実施例に係るディープラーニングを活用した音声ベースのトラウマスクリーニング装置のブロック図である。

【0020】

図１を参照すると、ディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、入力部１００、前処理部２００、変換部３００、ディープラーニング部４００と判断部５００を含んでいる。

【0021】

ディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、音声データでトラウマをスクリーニングする。ディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、トラウマの有無を判別するものではなく、トラウマをスクリーニングすることで非接触で自然な環境で抵抗なく音声を獲得することができる。

【0022】

ディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、幸福、中立、悲しみ、恐怖の４つの感情を、音声データから認識してトラウマをスクリーニングする。ディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０が４つの感情を利用する理由は、多くの人がトラウマが生じた場合、激しい恐怖を感じて、トラウマ後の時間の経過に応じて、悲しみの強度が強くなり、多くの場合、うつ病に発展するからである。トラウマの初期には恐怖、悲しみ、驚き、怒りの感じが目立ち、時間が過ぎると、怒りが弱くなり、恐怖と悲しみが強くなる。ディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、音声データから恐怖と悲しい感情が認識されるとトラウマ確率が高く、中立的で幸せな感情が現れるとトラウマ確率が低いことを前提としてトラウマをスクリーニングする。

【0023】

入力部１００は、音声入力を受けて音声データを生成したり、音声データの入力を受けて獲得したりする。

【0024】

図２は、一実施例に係る音声データを画像データに変換する方法を説明するための図である。

【0025】

図２を参照すると、前処理部２００は、獲得された音声データを画像データに変換するために、データ間の長さの差をなくし、音声データの数を増加させる。例えば前処理部２００は、０．１秒単位で移動（ｓｈｉｆｔ）すると、２秒単位で編集する。

【0026】

変換部３００は、音声データを画像データに変換する。 詳しく説明すると、変換部３００は、短時間フーリエ変換（ＳＴＦＴ、Ｓｈｏｒｔ－Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）スペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）を利用して、１次元の音声データを２次元スペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）画像データに変換する。例えば、変換部３００は、前処理された音声データを、毎秒サンプリング数を１０２４に指定して、高速フーリエ変換（ＦＦＴ、Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を行い、５１２サンプルだけオーバーラップ（Ｏｖｅｒ－ｌａｐ）して移動（ｓｈｉｆｔ）させる。

【0027】

変換部３００は、最小値 － 最大値スケーラー（ｍｉｎ－ｍａｘ ｓｃａｌｅｒ）を使用して、すべての画像データの値が０～１の間にあるようにスケーリングする。最小値 － 最大値スケーラー（ｍｉｎ－ｍａｘ ｓｃａｌｅｒ）は最小値（Ｍｉｎ）と最大値（Ｍａｘ）を使用して「０～１」の間の範囲（ｒａｎｇｅ）にデータを標準化する。

【0028】

図３は、一実施例に係る画像データの例示を示す図である。
図３を参照すると、変換部３００が音声データをスペクトログラム画像データに変換した結果を確認できる。

【0029】

ディープラーニング部４００は、スペクトログラム画像データをディープラーニングモデルの入力値とし、感情を認識するように学習する。

【0030】

ディープラーニング部４００は、畳み込みニューラルネットワーク（ＣＮＮ）モデルの中で、視覚的形状グループ－１３（ＶＧＧ－１３、Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ－１３）モデルを用いて学習する。ディープラーニング部４００は、国内放送と映画から、６つの基本的な感情（幸せ、悲しみ、嫌悪感、怒り、恐怖、驚き）を入れた音声を抽出して作成された韓国語音声データセット（ｄａｔａｓｅｔ）を使用する。韓国語音声データセット（ｄａｔａｓｅｔ）で、各音声データの長さは２～１１秒で、各感情について、合計６００以上の音声データがある。ディープラーニング部４００は、韓国語音声データセットの中から恐怖、悲しみ、中立および幸福の４つの感情の音声データのみを用いて学習する。

【0031】

図４は、一実施例に係るディープラーニングモデルの例示を示す図である。
図４を参照すると、ディープラーニング部４００は、３ ＊ ３のカーネルの１０個の畳み込み層（Ｃｏｎｖ－ｌａｙｅｒ、ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ）、５つの最大プーリング層（Ｍａｘ ｐｏｏｌｉｎｇ Ｌａｙｅｒ）及び３つの全結合層（Ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を含んでいる。例えば、ディープラーニング部４００は、２８８ ＊ ４３２ ＊ ３サイズのスペクトログラム画像データを入力値として使用する。ディープラーニング部４００は、２つの３ ＊ ３畳み込み層（Ｃｏｎｖ－ｌａｙｅｒ、ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ）の次に２ ＊ ２カーネルの最大プーリング層（Ｍａｘ ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を実行することができる。次に、ディープラーニング部４００は、全結合層（Ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を通じてトラウマスクリーニング値をバイナリ分類である０または１の値で出力する。つまり、ディープラーニング部４００は、バイナリ分類でトラウマがある確率が高い場合、またはない可能性が高い場合を出力する。

【0032】

判断部５００は、ディープラーニング部４００の結果を後処理して精度を高める。判断部５００は、ディープラーニング部４００の結果が一定期間一定に維持された時にトラウマかどうかをスクリーニングして、最終的な結果の信頼性を向上させる。例えば判断部５００は、ウィンドウサイズ（ｗｉｎｄｏｗ ｓｉｚｅ）を２～１０に事前に設定することができる。判断部５００は、ディープラーニング部４００の結果が設定されたウィンドウのサイズだけ０または１で維持されると、最終的にトラウマの有無をスクリーニングする。

【0033】

図５は、一実施例によるウィンドウサイズに応じたディープラーニングモデルの結果値を説明するための図である。
図５を参照すると、判断部５００は、ウィンドウのサイズを４～８に設定し、設定されたウィンドウのサイズだけ値が維持されている場合の結果値だけを抽出する。これにより、判断部５００が音声データから認識された感情の精度が１００％であることを確認することができる。ウィンドウサイズ１は判断部５００が後処理を実行しない場合であり、精度は９９．０３であるが、ウィンドウサイズを４～８に設定して判断部５００が後処理した場合は精度が１００％であることが確認できる。詳細に説明すれば、ディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０が、音声データから正確な感情を認識するために１００ｍ秒の音声ではなく、４００～８００ｍ秒の音声を利用することが精度を高めるものである。ディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、音声データが４００～８００ｍｓの間、同じ感情が維持されると、その感情として判断することができる。したがってディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、ウィンドウサイズが４～８である場合の結果値のみを使用する。

【0034】

図６は、一実施例に係るディープラーニングを活用した音声ベースのトラウマスクリーニング方法を説明した図である。

【0035】

以下説明する各プロセスは、ディープラーニングを活用した音声ベースのトラウマスクリーニング装置を構成する各機能部が実行する処理だが、本発明の簡潔で明確な説明のために、各ステップの主体をディープラーニングを活用した音声ベースのトラウマスクリーニング装置と総称する。

【0036】

ステップＳ６１０でディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、感情認識に必要な音声データを獲得する。ディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、直接音声入力を受けて音声データを生成したり、生成された音声データの入力を受けて音声データを獲得したりする。

【0037】

ステップＳ６２０でディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、入力された音声データを感情認識に適合するように前処理する。ディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、音声データの長さを同一に編集し、音声データの数を増やす（Ａｕｇｍｅｎｔａｔｉｏｎ）。例えば、ディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、０．１秒単位で移動（ｓｈｉｆｔ）させながら２秒単位で音声データを切る。

【0038】

ステップＳ６３０でディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、前処理された音声データを画像データに変換する。詳細に説明すれば、ディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、短時間フーリエ変換（ＳＴＦＴ、Ｓｈｏｒｔ Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を利用して２秒単位で編集された１次元の音声データを２次元スペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）画像データに変換する。例えばディップランニングを活用した音声ベースのトラウマスクリーニング装置１０は、前処理された音声データを、毎秒サンプリング数を１０２４に指定して高速フーリエ変換（ＦＦＴ、Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を行い、５１２サンプルだけオーバーラップ（ｏｖｅｒｌａｐ）して移動（ｓｈｉｆｔ）させる。次に、すべてのデータの値が０～１の間にあるように最小値－最大値スケーラー（ｍｉｎ－ｍａｘ ｓｃａｌｅｒ）を介してスケーリングする。

【0039】

ステップＳ６４０でディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、スケーリングされたスペクトログラム画像データをディープラーニングする。ディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、畳み込みニューラルネットワーク（ＣＮＮ）モデルの中で、視覚的形状グループ－１３（ＶＧＧ－１３、Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ－１３）モデルを利用して、感情認識を行う。ディープラーニングモデルに関しては、図４で説明している。

【0040】

ステップＳ６５０でディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、ディップランニングモデルを使用して獲得した結果の値を後処理し、音声ベースの感情認識の精度を上昇させる。 ディープラーニングを活用した音声ベースのトラウマスクリーニング装置１０は、ウィンドウサイズ（ｗｉｎｄｏｗ ｓｉｚｅ）が４～８である場合、音声ベースの感情認識の精度が１００％であるため、ディープラーニングの結果値がウィンドウサイズ４～８に対応する場合に、その結果値をトラウマスクリーニングの結果として使用する。

【0041】

図７は、一実施例に係るディープラーニングを活用した音声ベースのトラウマスクリーニング方法のフローチャートである。

【0042】

図７に図示された方法は、先に説明した図面で説明された実施形態に関連するので、以下で省略された内容であっても、先の図面で説明された内容は、図１０の方法にも適用することができる。

【0043】

図７を参照すると、ステップ７１０で、プロセッサは、音声データを獲得することができる。

【0044】

音声データには、コンテンツ情報に加えて、発話者の感情が反映できる。
ステップ７２０で、プロセッサは、音声データを前処理することができる。

【0045】

一実施例では、音声データが所定の長さを有するデータになるように、所定の時間単位でシフト（ｓｈｉｆｔ）させることにより、上記音声データを前処理することができる。 プロセッサは、前処理過程を通じて音声データ間の長さの差をなくし、音声データの数を増やすことができる。

【0046】

ステップ７３０で、プロセッサは、前処理された音声データを画像データに変換することができる。

【0047】

プロセッサは、前処理された音声データを短時間フーリエ変換して２次元データを生成し、生成された２次元データを画像データとして活用することができる。

【0048】

ステップ７４０で、プロセッサは、画像データをディープラーニングモデルに入力して、ディープラーニングモデルの出力値としてトラウマ結果を獲得することができる。

【0049】

トラウマ結果値が１である場合、その音声データの発話者がトラウマを持っている確率が高く、トラウマ結果値が０である場合、その音声データの発話者がトラウマを持っている可能性が低い可能性がある。

【0050】

一実施例では、プロセッサは、画像データをディープラーニングモデルに入力して、ディープラーニングモデルの出力値として感情結果値を獲得することができる。感情結果値は、第１感情分類又は第２感情分類に区別できる。例えば、第１感情分類はトラウマと関連度が低いニュートラル（ｎｅｕｔｒａｌ）と幸せ（ｈａｐｐｙ）を含むことができ、第２感情分類はトラウマと関連度が高い恐怖（ｆｅａｒ）、悲しみ（ｓａｄ）、怒り（ａｎｇｒｙ）、驚き（ｓｕｒｐｒｉｓｅ）を含むことができるが、第１感情分類及び第２感情分類は、上述した例に限定されない。

【0051】

一実施例では、プロセッサは、ディープラーニングモデルの出力値として獲得した感情結果値に基づいて、トラウマの段階を決定することができる。感情結果値は、第１感情分類、第２感情分類及び第３の感情分類に区別できる。

【0052】

例えば、第１感情分類はトラウマと関連度が低いニュートラル（ｎｅｕｔｒａｌ）と幸せ（ｈａｐｐｙ）を含むことができ、第２感情分類はトラウマが発生した初期に持つようになる感情である恐怖（ｆｅａｒ）、驚き（ｓｕｒｐｒｉｓｅ）を含むことができ、第３感情分類はトラウマが発生した後、所定の時間が経過してから著しく持つようになる悲しみ（ｓａｄ）、怒り（ａｎｇｒｙ）を含むことができる。

【0053】

例えば、プロセッサは、ディープラーニングモデルの出力値として獲得した感情結果値が第２感情分類である場合、音声データの発話者のトラウマ段階が初期であると決定することができる。

【0054】

図８は、一実施例による装置のブロック図である。
図８を参照すると、装置１１００は、通信部１１１０、プロセッサ１１２０及び ＤＢ１１３０を含むことができる。図８の装置１１００には、実施例に関連する構成要素だけが示されている。 したがって、図８に図示された構成要素に加えて、他の汎用的な構成要素がさらに含まれることがあることを、当該技術分野の通常の技術者であれば理解することができる。

【0055】

通信部８１０は、外部サーバや外部デバイスとの有線／無線通信が出来るようにする１つ以上の構成要素を含むことができる。例えば、通信部８１０は、近距離通信部（図示せず）、移動通信部（図示せず）と放送受信部（図示せず）のうちの少なくとも一つを含むことができる。

【0056】

ＤＢ８３０は、装置８００内で処理される各種データを格納するハードウェアであり、プロセッサ８２０の処理と制御のためのプログラムを格納することができる。

【0057】

ＤＢ８３０は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などのＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ（登録商標）または他の光学ディスクストレージ、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、またはフラッシュメモリを含むことができる。

【0058】

プロセッサ８２０は、装置８００の全体的な動作を制御する。例えば、プロセッサ８２０は、ＤＢ８３０に格納されたプログラムを実行することにより、入力部（図示せず）、ディスプレイ（図示せず）、通信部８１０、ＤＢ８３０などを全般的に制御することができる。 プロセッサ８２０は、ＤＢ８３０に格納されたプログラムを実行することで、装置８００の動作を制御することができる。

【0059】

プロセッサ８２０は、図１～図７で上述した車線決定装置の動作のうちの少なくとも一部を制御することができる。

【0060】

プロセッサ８２０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能を実行するための電気的ユニットのうち少なくとも一つを利用して実装することができる。

【0061】

一方、プロセッサ８２０は、ディープラーニングモデルの学習と推論を実行するデータ学習部とデータ認識部を含むことができる。

【0062】

データ学習部は状況判断のための基準を学習することができる。データ学習部は、所定の状況を判断するためにどのようなデータを利用するか、データを利用して状況をどのように判断するかについての基準を学習することができる。 データ学習部は学習に利用されるデータを獲得し、獲得されたデータを後述するデータ認識モデルに適用することにより、状況判断のための基準を学習することができる。

【0063】

データ認識部はデータに基づいて状況を判断することができる。データ認識部は学習されたデータを認識モデルを用いて、所定のデータから状況を認識することができる。 データ認識部は、学習によって事前に設定された基準に基づいて、所定のデータを獲得し、獲得されたデータを入力値としてデータ認識モデルを利用することにより、所定のデータに基づいて所定の状況を判断することができる。また、獲得したデータを入力値としてデータ認識モデルによって出力された結果値は、データ認識モデルを更新するために使用することができる。

【0064】

データ学習部とデータ認識部のうち少なくとも一つは、少なくとも一つのハードウェアチップの形で製作して電子機器に搭載することができる。たとえば、データの学習部とデータ認識部のうちの少なくとも一つは、人工知能（ＡＩ； ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）のための専用ハードウェアチップの形で製作することができ、または既存の汎用プロセッサ（例えば、ＣＰＵやａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）またはグラフィック専用プロセッサ（例えば、ＧＰＵ）の一部として製作し、前述した各種電子機器に搭載することもできる。

【0065】

この場合、データの学習部とデータ認識部は１つの電子装置（例えば、車線決定装置）に搭載したり、または別の電子デバイスにそれぞれ搭載したりすることもできる。たとえば、データの学習部とデータ認識部のいずれかは、車線決定装置に含ませ、残りの一つは、サーバに含ませることができる。また、データの学習部とデータ認識部は、有線または無線で通じて、データの学習部が構築したモデルの情報をデータ認識部に提供することも、データ認識部に入力されたデータが追加学習データとしてデータの学習部に提供されることもある。

【0066】

本発明に係る実施例は、コンピュータ上でさまざまな構成要素を介して実行できるコンピュータプログラムの形で実装することができ、このようなコンピュータプログラムは、コンピュータが読み取り可能な媒体に記録することができる。このとき、媒体は、ハードディスク、フロッピーディスク（登録商標）、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭやＤＶＤなどの光記録媒体、プロップティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような高磁気記録媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、およびＲＯＭ 、ＲＡＭ、フラッシュメモリなどのような、プログラムコマンドを保存して実行するように特別に構成されたハードウェアデバイスを含むことができる。

【0067】

一方、前記コンピュータプログラムは、本発明のために特別に設計されて構成されたものであったり、またはコンピュータソフトウェア分野の当業者に公知されて使用可能なものであったりする。コンピュータプログラムの例としては、コンパイラによって作られるような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行することができる高級言語コードも含まれる。

【0068】

一実施例によると、本開示の様々な実施形態による方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含ませて提供することができる。 コンピュータプログラム製品は、商品として販売者と購買者の間で取引される。 コンピュータプログラム製品は、機器で読み取り可能な記憶媒体（例えば、ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ））の形で配布されたり、またはアプリケーションストア（例えば、プレイストアＴＭ）を介して、または２つのユーザーのデバイス間直接、オンラインで配布（例えば、ダウンロードまたはアップロード）したりすることができる。オンライン配信の場合、コンピュータプログラム製品の少なくとも一部は、メーカーのサーバ、アプリケーションストアのサーバ、または中継サーバのメモリのような、機器で読み取ることができる記憶媒体に少なくとも一時保存されたり、一時的に生成される。

【0069】

本発明の方法を構成するステップについて明らかに順序を記載したり、反する記載がなかったりする場合は、上記のステップは、適切な順序で行われることができる。必ずしも上記のステップの記載順序に本発明が限定されるものではない。本発明では、すべての例または例示的な用語（例えば、等々）の使用は、単に本発明を詳細に説明するためのものであって、特許請求の範囲によって限定されない以上、上記の例または例示的な用語により、本発明の範囲が限定されているわけではない。さらに、当業者は、様々な修正、組み合わせおよび変更が付加された特許請求の範囲またはその均等物のカテゴリ内で設計条件とファクターに基づいて構成されることがあることを予想できる。

【0070】

したがって、本発明の思想は、上記説明した実施例に限定されてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等な、またはこれから等価的に変更されたすべての範囲は、本発明の思想の範疇に属するとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】