IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社JVCケンウッドの特許一覧

<>
  • 特開-車載装置及び記録方法 図1
  • 特開-車載装置及び記録方法 図2
  • 特開-車載装置及び記録方法 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024120092
(43)【公開日】2024-09-03
(54)【発明の名称】車載装置及び記録方法
(51)【国際特許分類】
   G08G 1/00 20060101AFI20240827BHJP
【FI】
G08G1/00 D
【審査請求】有
【請求項の数】3
【出願形態】OL
(21)【出願番号】P 2024103872
(22)【出願日】2024-06-27
(62)【分割の表示】P 2020152671の分割
【原出願日】2020-09-11
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(72)【発明者】
【氏名】児玉 健太朗
(57)【要約】
【課題】運転者が運転中に何かを思い出した場合に、思い出した事実に関連する情報を記
録する。
【解決手段】車載装置100は、車両の運転者の視線方向を検出する視線検出部120と、前記運転者の視線移動の速度に少なくとも基づいて、前記運転者が前記視線方向にある特定の対象を見ている状態であることを判定し、前記対象を推定する推定部130と、前記対象に関連する情報をメモ情報として記録する情報処理部160と、車両の運転が終了したときに、運転中に記録した前記メモ情報を出力する出力部190と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
車両の運転者の視線方向を検出する視線検出部と、
前記運転者の視線移動の速度に少なくとも基づいて、前記運転者が前記視線方向にある特定の対象を見ている状態であることを判定し、前記対象を推定する推定部と、
前記対象に関連する情報をメモ情報として記録する情報処理部と、
車両の運転が終了したときに、運転中に記録した前記メモ情報を出力する出力部と、
を備えた車載装置。
【請求項2】
前記推定部は、前記運転者の視線移動の速度と、前記車両の移動速度に相関があるか否かに基づいて、前記運転者が前記視線方向にある特定の対象を見ている状態であることを判定し、
前記情報処理部は、前記メモ情報として前記対象の名称を一部に含むメッセージを記録し、
前記出力部は、前記車両が目的地付近に到着したとき、前記目的地まで所定の距離となったとき、前記車両の駐車動作が終了したとき、の少なくともいずれかを前記車両の運転が終了したときとして、前記メッセージを出力する、
請求項1に記載の車載装置。
【請求項3】
車両の運転者の視線方向を検出する視線検出ステップと、
前記運転者の視線移動の速度に少なくとも基づいて、前記運転者が前記視線方向にある特定の対象を見ている状態であることを判定し、前記対象を推定する推定ステップと、
前記対象に関連する情報をメモ情報として記録する情報処理ステップと、
車両の運転が終了したときに、運転中に記録した前記メモ情報を出力する出力ステップと、
を備えた記録方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載装置及び記録方法に関する。
【背景技術】
【0002】
車両の乗員の挙動から関心事項を抽出して、当該関心事項に関する情報を提示する技術
が提案されている。特許文献1は、普段と異なる運転パターンを検出した後、運転者の視
線の動き等による挙動変化から関心を示しているかを判定し、関心を示している施設に関
する情報を提示する技術を開示している。
【0003】
特許文献2は、バスの乗客の興味の対象を抽出し、関連する情報を提示する技術を提示
している。ここで、乗客の興味は、視線や会話などの動的情報、及び乗客のアカウントに
予め登録された顧客情報から抽出される。
【0004】
特許文献1及び2にかかる技術により、挙動変化をトリガーとして、運転者等の望んで
いる情報を提示することが可能となる。一方で、これらの技術を用いて、運転者が車両の
走行中にふと思い出したことを記録したり、運転者自身が自覚していない関心事項を抽出
したりすることは困難である。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009-168473号公報
【特許文献2】特開2020-57066号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記のように、運転者が運転中に何かを思い出した場合に、運転中は手を放すことがで
きず、思い出した事実に関連する情報を記録することが困難であるという問題があった。
また運転中には信号やカーブなどでの車両操作、他車両との接近の回避、走行経路の選択
などのために思考するべきことが多いため、運転終了時には思い出したことを忘れてしま
うという問題があった。そこで、運転者が運転中に何かを思い出した場合に、思い出した
事実に関連する情報を記録することができる車載装置及び記録方法を提供する。
【課題を解決するための手段】
【0007】
本発明は、車両の運転者の視線方向を検出する視線検出部と、運転者の視線移動の速度に少なくとも基づいて、運転者が視線方向にある特定の対象を見ている状態であることを判定し、対象を推定する推定部と、対象に関連する情報をメモ情報として記録する情報処理部と、車両の運転が終了したときに、運転中に記録したメモ情報を出力する出力部と、を備える車載装置を提供する。
【0008】
本発明は、車両の運転者の視線方向を検出する視線検出ステップと、運転者の視線移動の速度に少なくとも基づいて、運転者が視線方向にある特定の対象を見ている状態であることを判定し、対象を推定する推定ステップと、対象に関連する情報をメモ情報として記録する情報処理ステップと、車両の運転が終了したときに、運転中に記録したメモ情報を出力する出力ステップと、を備える記録方法を提供する。
【発明の効果】
【0009】
本発明によれば、運転者が運転中に何かを思い出した場合に、思い出した事実に関連す
る情報を記録することができる車載装置及び記録方法を提供することができる。
【図面の簡単な説明】
【0010】
図1】実施形態1にかかる車載装置の構成を示すブロック図である。
図2】実施形態1にかかる車載装置の動作を示すフローチャートである。
図3】実施形態2にかかる車載装置の構成を示すブロック図である。
【発明を実施するための形態】
【0011】
(実施形態1)
まず、図1を用いて、実施形態1にかかる車載装置100の構成について説明する。車
載装置100は、例えば、ドライブレコーダーである。車載装置100は、画像取得部1
10と、視線検出部120と、推定部130と、記憶部140と、判定部150と、情報
処理部160と、情報提示部170とを備える。
【0012】
画像取得部110は、車両の運転者、及び車両外部を撮影した画像をカメラ10から取
得する。画像取得部110は、超広角レンズ(魚眼、360レンズ)などを用いて運転者
及び車両外部を同時に撮影した画像を取得してもよく、運転者と車両外部とが別々のカメ
ラで撮影された複数の画像を取得してもよい。なお、カメラ10は、赤外線カメラであっ
てもよい。画像取得部110において車両外部を撮影した画像の取得は必ずしも必須の構
成ではなく、無くともよい。
【0013】
視線検出部120は、運転者の顔画像から視線方向を検出する。視線方向は、例えば上
中下、左中右の9象限の1つとして検出される。視線方向は、細かく特定して検出される
ことが好ましい。さらに、視線検出部120は、運転者が一定方向を見つめている期間を
検出してもよく、車両の走行に伴う視線移動を検出してもよい。また、視線検出部120
は、動く物体を見ていることによる視線移動を検出してもよい。視線検出部120は、検
出した視線方向を推定部130に出力する。
【0014】
視線検出部120は、目頭と虹彩との位置関係や、角膜反射と瞳孔との位置関係に基づ
き視線を検出することができる。視線検出部120は、顔の向きに基づいて運転者が見て
いる方向を検出し、視線方向としてもよい。視線検出技術としては、公知の技術が用いら
れてよい。
【0015】
推定部130は、運転者が見ている対象を、少なくとも視線方向に基づいて推定する。
たとえば推定部130は、運転者の視線方向が左右方向の中央やや下方であることが検出
された場合、運転者が見ている対象を道路または車両前方を走行する他車両であると推定
する。運転者が見ている対象を、視線方向および車両周囲状況に基づいて推定してもよい
。車両周囲状況は、画像取得部110が取得した車両外部を撮影した画像や、図示しない
カーナビゲーション装置または図示しない通信部を介してインターネット等から取得した
、地図情報から判定される。推定部130は、推定結果を判定部150に出力する。
【0016】
ここで、推定部130は、まず、運転者の瞳孔の動きや顔の向きの変化、運転者が一定
方向を見つめている期間などから、運転者が視線方向全体を眺めている状態なのか、視線
方向にある特定の対象を見ている(注視している)状態なのかを判定する。例えば推定部
130は、運転者が左右方向の中央部を見ていることが多く、視線の動きが細かい場合、
運転者が視線方向全体を眺めている状態と推定する。運転者の視線移動の速度や方向と、
車両の移動速度に相関があるか否かを判定して、視線方向にある特定の対象を見ている状
態であることを判定してもよい。運転者が特定の対象を見ている場合、推定部130は、
運転者が見ている対象を推定する。対象は、「○○郵便局」のように1つの施設として推
定されてもよく、「○○バーガー」のように複数の店舗の総称として推定されてもよく、
「ラーメン屋」のように1つのジャンルとして推定されてもよい。対象は、施設に限られ
ず、田、植木等であってもよい。
【0017】
推定部130は、画像認識技術を用いて、視線方向と車両外部画像とに基づき対象を推
定してもよい。例えば、運転者が左上方向を見ており、車両外部画像からそこに写ってい
るものが郵便局の看板であると画像認識された場合、推定部130は、運転者が見ている
対象を、郵便局と推定できる。推定部130は、道路、他車両、信号、標識などを画像認
識して運転者が見ている対象であると推定してもよい。
【0018】
また、推定部130は、視線方向と地図情報とに基づいて、運転者が見ている対象を推
定してもよい。例えば、運転者が前方やや左を見ている場合、推定部130は、車両の現
在位置の進行方向左前方にある施設が郵便局であることを地図情報から取得し、運転者が
見ている対象は郵便局であると推定してもよい。推定部130は、信号、標識などの存在
を地図情報から取得して運転者が見ている対象であると推定してもよい。
【0019】
さらに、推定部130は、視線方向と、車両の走行情報とに基づいて、運転者が見てい
る対象を推定してもよい。例えば、運転者が左の真横方向を見た後に車両が左折した場合
、推定部130は、運転者が見ている対象は左サイドミラーであると推定してもよい。
【0020】
なお、推定部130は、視線方向と事故現場の位置を示す情報とに基づいて、運転者が
見ている対象は事故現場であると推定してもよい。事故現場の位置を示す情報は、図示し
ない通信部を介してインターネット等から取得されてもよい。
【0021】
記憶部140は、ハードディスク、フラッシュメモリ、SDカード等の記憶装置または
記憶媒体である。また、記憶部140は、一時的に情報を保持するための記憶領域である
RAM(Random Access Memory)等の揮発性記憶装置を含んでもよい。記憶部140は、
履歴141及びメモ情報142を記憶する。記憶部140は、カメラ10による撮影映像
をさらに記憶してもよい。
【0022】
履歴141は、推定部130の推定結果の履歴を管理するデータベースである。履歴1
41は、車両の運転と関係しない対象のみを記憶してもよい。また、履歴141は、推定
された対象と、運転者が対象を見た時刻とを対応付けて記憶してもよい。さらに、履歴1
41は、運転者が対象を見た時間の長さを記憶してもよい。メモ情報142は、後述する
情報処理部160によって記録される情報である。なお、履歴141及びメモ情報142
は、車載装置100の外部のサーバに記憶されてもよい。
【0023】
判定部150は、推定部130が推定した対象が車両の運転と関係しないものである場
合、運転者が当該対象を目視する頻度、つまり普段見ているか否かを、履歴141に基づ
き判定する。判定部150による判定結果は、情報処理部160、あるいは情報提示部1
70に出力される。
【0024】
ここで、判定部150は、まず、運転者が見ている対象が車両の運転と関係するか否か
を判別する。車両の運転と関係するものとは、道路、他車両、信号、標識、ミラー等であ
る。車両の運転と関係するものには、事故現場が含まれていてもよい。
【0025】
次に、判定部150は、運転者が対象を普段見ているか否かを判定する。判定部150
は、対象が履歴141に含まれているか否かにより、対象を目視する頻度が所定値1以上
か未満かに応じて判定を行ってもよく、対象が履歴141に所定数以上含まれているか否
かにより、対象を目視する頻度が所定数以上であるか未満であるかに応じて判定を行って
もよい。また、判定部150は、対象が1週間に3回以上見られているか否かなどの直近
の期間の履歴141を参照することにより対象を目視する頻度の判定を行ってもよく、対
象に隣接する道路を2回通る際に1回以上見られているか否かなどの走行履歴との比較に
より対象を目視する頻度の判定を行ってもよい。
【0026】
ここで、判定部150は、運転者が対象を見ている時間(注視時間)を考慮して判定を
行ってもよい。例えば、判定部150は、運転者が対象を1秒間以上見た回数が所定数以
上の場合に、運転者が当該対象を普段見ていると判定してもよい。
【0027】
ここで、判定部150は、時間帯や曜日等の条件を考慮して履歴141を参照してもよ
い。例えば、判定部150は、夜間や休日に飲食店が見られる傾向があることを考慮して
、運転者が当該対象を普段見ているか否かを判別してもよい。
【0028】
情報処理部160は、運転者が対象を普段見ていない場合、当該対象に関連する情報を
メモ情報142として記録する。したがって、情報処理部160は、対象が運転と関係せ
ず、かつ、運転者が普段見ないものである場合に、メモ情報142を記録することとなる
。情報処理部160は、推定部130が推定した対象の名称をメモ情報142として記録
してもよく、対象が写った画像を画像取得部110から取得してメモ情報142として記
録してもよい。情報処理部160は、推定部130が推定した対象の地図情報、例えば図
示しないカーナビゲーション装置の画面をキャプチャして、メモ情報142として記録し
てもよい。
【0029】
また、情報処理部160は、対象の名称を一部に含むメッセージを作成し、メモ情報1
42として記録してもよい。メッセージは、例えば、運転者が見ている対象が郵便局であ
った場合、「郵便局に用事がありませんか?」等である。情報処理部は、該メッセージを
音声メモとして作成し、あるいは画像メモとして作成し、メモ情報142として記録して
もよい。
【0030】
また、メモ情報142は、運転者によって発声された音声であってもよい。情報処理部
160は、対象の名称を含むメッセージ(例えば、「郵便局に用事がありませんか?)を
運転者に対して通知した後、運転者による音声をマイク20で収音してメモ情報142と
して記録してもよい。情報処理部160は、該メッセージをスピーカ30から出力しても
よく、モニタに出力してもよい。これにより、運転者は、郵便局に用事があったことを思
い出し、音声等による情報記録(「郵便局に用事があった」)を行うことができる。
【0031】
ここで、情報処理部160は、対象が撮影された時点と、運転者の発声期間とを共に含
む期間の動画をメモ情報142として記録してもよい。また、情報処理部160は、運転
者が発声した音声と、当該音声が発声された期間の車両の外部映像とをメモ情報142と
して記録してもよい。すなわち、情報処理部160は、運転者の発声を検出し、その終わ
りまでの期間の外部映像を記録してもよい。
【0032】
また、推定された対象の名称(例えば、「○○郵便局」)を、作成されたファイルに紐
づけることが好ましい。したがって、情報処理部160は、メモ情報142と、対象の名
称とを対応付けて記録してもよい。例えば、情報処理部160は、「○○郵便局」という
名称をメモ情報142のファイル名としてもよく、当該名称を音声合成した音声メモと、
メモ情報142とを結合してもよく、当該名称を字幕データとして画像メモに重畳しても
よく、当該名称をメタデータとしてメモ情報142に埋め込んでもよい。
【0033】
情報提示部170は、運転者が対象を普段見ている場合、当該対象に関連する情報を運
転者に対して提示する。したがって、情報提示部170は、対象が運転に関係するもので
なく、かつ、運転者が普段見ているものである場合に、情報の提示を行うこととなる。情
報提示部170は、提示情報をスピーカ30に出力してもよく、モニタに出力してもよい
【0034】
情報提示部170は、例えば、「○○ラーメンをよく見ていますね」等の対象の名称に
関連する情報を出力してもよい。これにより、運転者は、自分が潜在的に関心を持ってい
ることを認識することができる。
【0035】
また、情報提示部170は、対象の名称に関連する情報を、図示しない通信部を介して
インターネット等から取得し、取得した情報を出力してもよい。情報提示部170は、例
えば、「○○ラーメン」がキャンペーンを実施しているか否か、或いは評判の良し悪しを
、運転者に提示することができる。
【0036】
また、情報提示部170は、対象の名称に関連する情報を、図示しないカーナビゲーショ
ン装置に送信し、カーナビゲーション装置にて検索や登録が行えるようにしてもよい。
【0037】
なお、情報提示部170は、対象が運転に関係するものであり、かつ、運転者が普段見
ないものである場合に、情報提示を行ってもよい。例えば、運転者が、普段は見ていない
駐車禁止標識を見ている場合、運転者が駐車場を探していると判断できるため、情報提示
部170は、インターネット等で検索した駐車場情報を運転者に提示してもよい。また、
例えば、運転者がルームミラーを普段以上に見ている場合、後続車が気になっていると判
断できるため、情報提示部170は、前方に注意を向けるように促すための情報を提示す
ることができる。
【0038】
次に、図2を用いて車載装置100の動作の流れについて説明する。まず、視線検出部
120は、画像取得部110により取得された画像内の運転者の顔画像から、運転者の視
線方向を検出する(ステップS101)。次に、推定部130は、運転者が視線方向全体
を眺めている状態か、視線方向にある特定の対象を見ている(注視している)状態である
かを判定する(ステップS102)。運転者が特定の対象を見ていない場合(ステップS
102のNo)、車載装置100は、ステップS101の処理に戻る。運転者が特定の対
象を見ている場合(ステップS102のYes)、推定部130は、運転者の視線方向に
ある対象を推定する(ステップS103)。
【0039】
次に、判定部150は、ステップS103で推定した対象が、運転と直接的に関係のあ
るものであるか否かを判定する(ステップS104)。対象が車両の運転に関係するもの
である場合(ステップS104のYes)、車載装置100は、ステップS101の処理
に戻る。
【0040】
対象が車両の運転に関係するものでない場合(ステップS104のNo)、判定部15
0は、運転者が対象を普段から見ているか否かを判別する(ステップS105)。運転者
が対象を普段見ていない場合(ステップS105のNo)、情報処理部160は、運転者
が当該対象について思い出したことがあると判定し(ステップS106)、画像メモある
いは音声メモをメモ情報142として記録する(ステップS107)。ここで、情報処理
部160は、「郵便局に用事がありませんか?」等のメッセージを通知してもよい。
【0041】
運転者が対象を普段見ている場合(ステップS105のYes)、情報提示部170は
、運転者が対象に興味を持っているものと判定して(ステップS108)、対象に関する
情報を運転者に提示する(ステップS109)。最後に、推定結果の履歴141が更新さ
れる(ステップS110)。
【0042】
実施形態1にかかる車載装置100は、運転者が見ている対象を、運転者が普段見てい
るものと普段見ていないものとに判別する。したがって、実施形態1にかかる車載装置1
00は、運転者が興味のある情報を提示することができる。また運転者が思い出したこと
に関する情報を、手を放すことができない運転中に自動でメモ情報として記録することが
できる。
【0043】
(実施の形態2)
実施形態2にかかる車載装置100aは、車両の運転が終了したときに情報処理部16
0が記録したメモ情報を出力する。図3は、車載装置100aの構成例を示すブロック図
である。以下では、実施形態1と異なる点について説明する。
【0044】
車載装置100aは、運転者が所持する通信端末40とネットワーク200を介して接
続されている。ネットワーク200は、インターネット、イントラネット、携帯電話網、
LAN(Local Area Network)等の通信回線網である。通信端末40
は、携帯電話端末、スマートフォン、タブレット端末、PC(Personal Com
puter)等である。なお、車載装置100aは、メモ情報142を、通信端末40で
はなくスピーカ30、図示しないモニタ画面等に出力してもよい。
【0045】
車載装置100aは、図1の構成に加えて、通信部180と、出力部190とを備えて
いる。通信部180は、ネットワーク200との通信インタフェースである。車載装置1
00aが、メモ情報142をスピーカ30等に出力する場合、車載装置100aは通信部
180を備えていなくてもよい。
【0046】
出力部190は、車載装置100aが搭載された車両の運転が終了したか否かを判定す
る。出力部190は、車両に搭載された図示しないカーナビゲーション装置と連動して、
車両が目的地付近に到着したときや目的地まで所定の距離(例えば100mなど)となっ
たときに運転が終了したと判定してもよい。目的地とは、カーナビゲーション装置に設定
された目的地以外にも、登録された自宅や現在位置が駐車場であることで判定されてもよ
い。また、出力部190は、車両のギア情報を取得して車両が駐車動作に入ったことや、
駐車動作が終了したことを走行情報から判定したときに、運転が終了したと判定してもよ
い。出力部190は、エンジンがオフとなったことを検知することにより、運転が終了し
たと判定してもよい。
【0047】
出力部190は、車両の運転が終了したときに、メモ情報142を出力する。出力部1
90は、音声メモをスピーカ30から音声出力してもよく、画像メモを図示しないモニタ
に表示させてもよい。出力部190は、送信先として予め登録された通信端末40に、通
信部180を介してメモ情報142を出力してもよい。出力部190は、送信先として予
め登録されたメールアドレスや電話番号、SNS(social networking service)などに
通信部180を介してメモ情報142を出力してもよい。
【0048】
実施形態2にかかる車載装置100aは、運転が終了したときに記録したメモ情報を出
力する。したがって、運転者は、運転が終了した後にメモ情報を確認し、思い出した作業
を行うことができる。また、運転者は、スピーカ、モニタ等から出力されたメモ情報を確
認して、手帳等にメモをとることができる。
【0049】
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(no
n-transitory computer readable medium)を用
いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体
は、様々なタイプの実体のある記録媒体(tangible storage medi
um)を含む。非一時的なコンピュータ可読媒体は、例えば、磁気記録媒体、光磁気記録
媒体、CD-ROM(Read Only Memory)、CD-R、CD-R/W、
半導体メモリを含む。磁気記録媒体は、例えば、フレキシブルディスク、磁気テープ、ハ
ードディスクドライブなどである。光磁気記録媒体は、例えば光磁気ディスクなどである
。半導体メモリは、例えば、マスクROM、PROM(Programmable RO
M)、EPROM(Erasable PROM)、フラッシュROM、RAM(Ran
dom Access Memory)などである。また、プログラムは、様々なタイプ
の一時的なコンピュータ可読媒体(transitory computer read
able medium)によってコンピュータに供給されてもよい。一時的なコンピュ
ータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読
媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコ
ンピュータに供給できる。
【0050】
上述の実施形態にかかる車載装置は、ドライバーモニタリングシステムの分野に適用す
ることができる。尚、車載装置以外の装置が、人物の視線を検出し、当該人物が見ている
対象を推定することもできる。例えば、眼鏡型デバイスに、視線検出装置と、周囲の景色
を撮影するカメラを取り付けることにより、同様のシステムを実現できる。これにより、
運転中だけでなく普段の生活から、人物の潜在的な関心の調査が可能となる。
【符号の説明】
【0051】
10 カメラ
20 マイク
30 スピーカ
40 通信端末
100、100a 車載装置
110 画像取得部
120 視線検出部
130 推定部
140 記憶部
141 履歴
142 メモ情報
150 判定部
160 情報処理部
170 情報提示部
180 通信部
190 出力部
200 ネットワーク
図1
図2
図3