IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社JVCケンウッドの特許一覧

<>
  • 特許-車載装置及び記録方法 図1
  • 特許-車載装置及び記録方法 図2
  • 特許-車載装置及び記録方法 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-16
(45)【発行日】2024-07-24
(54)【発明の名称】車載装置及び記録方法
(51)【国際特許分類】
   G08G 1/00 20060101AFI20240717BHJP
   G08G 1/16 20060101ALI20240717BHJP
【FI】
G08G1/00 D
G08G1/16 F
【請求項の数】 5
(21)【出願番号】P 2020152671
(22)【出願日】2020-09-11
(65)【公開番号】P2022046989
(43)【公開日】2022-03-24
【審査請求日】2023-04-28
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】児玉 健太朗
【審査官】武内 俊之
(56)【参考文献】
【文献】特開2008-157661(JP,A)
【文献】特開2007-141223(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00
G08G 1/16
(57)【特許請求の範囲】
【請求項1】
運転者の視線方向を検出する視線検出部と、
前記運転者が見ている対象が施設または店舗であることを、少なくとも前記視線方向に基づいて推定する推定部と、
推定した前記対象が前記施設または前記店舗である場合、前記運転者が前記対象を目視する頻度を、前記推定部の推定結果の履歴に基づき判定する判定部と、
前記運転者が前記対象を目視する頻度が所定値未満である場合、前記対象に関連する情報をメモ情報として記録する情報処理部と、
を備えた車載装置。
【請求項2】
前記運転者が前記施設または前記店舗である前記対象を目視する頻度が所定値以上であると判定した場合、推定した前記施設または前記店舗である前記対象に関連する情報を前記運転者に対して提示する情報提示部、
をさらに備えた請求項1に記載の車載装置。
【請求項3】
両の運転が終了したときに前記メモ情報を出力する出力部、
をさらに備えた請求項1または2のいずれかに記載の車載装置。
【請求項4】
前記情報処理部は、
前記施設または前記店舗である前記対象の名称を含むメッセージを前記運転者に通知した後、前記運転者が発声した音声と、前記音声が発声された期間の車両の外部映像とを前記メモ情報として記録する、
請求項1から3のいずれかに記載の車載装置。
【請求項5】
運転者の視線方向を検出する検出ステップと、
前記運転者が見ている対象が施設または店舗であることを、少なくとも前記視線方向に基づいて推定する推定ステップと、
推定した前記対象が前記施設または前記店舗である場合、前記運転者が前記対象を目視する頻度を、前記推定ステップの推定結果の履歴に基づき判定する判定ステップと、
前記運転者が前記対象を目視する頻度が所定値未満である場合、前記対象に関連する情報をメモ情報として記録する記録ステップと、
を備えた記録方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載装置及び記録方法に関する。
【背景技術】
【0002】
車両の乗員の挙動から関心事項を抽出して、当該関心事項に関する情報を提示する技術が提案されている。特許文献1は、普段と異なる運転パターンを検出した後、運転者の視線の動き等による挙動変化から関心を示しているかを判定し、関心を示している施設に関する情報を提示する技術を開示している。
【0003】
特許文献2は、バスの乗客の興味の対象を抽出し、関連する情報を提示する技術を提示している。ここで、乗客の興味は、視線や会話などの動的情報、及び乗客のアカウントに予め登録された顧客情報から抽出される。
【0004】
特許文献1及び2にかかる技術により、挙動変化をトリガーとして、運転者等の望んでいる情報を提示することが可能となる。一方で、これらの技術を用いて、運転者が車両の走行中にふと思い出したことを記録したり、運転者自身が自覚していない関心事項を抽出したりすることは困難である。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2009-168473号公報
【文献】特開2020-57066号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記のように、運転者が運転中に何かを思い出した場合に、運転中は手を放すことができず、思い出した事実に関連する情報を記録することが困難であるという問題があった。また運転中には信号やカーブなどでの車両操作、他車両との接近の回避、走行経路の選択などのために思考するべきことが多いため、運転終了時には思い出したことを忘れてしまうという問題があった。そこで、運転者が運転中に何かを思い出した場合に、思い出した事実に関連する情報を記録することができる車載装置及び記録方法を提供する。
【課題を解決するための手段】
【0007】
本発明は、運転者の視線方向を検出する視線検出部と、前記運転者が見ている対象を、少なくとも前記視線方向に基づいて推定する推定部と、推定した前記対象が車両の運転と関係しないものである場合、前記運転者が前記対象を目視する頻度を、前記推定部の推定結果の履歴に基づき判定する判定部と、前記運転者が前記対象を目視する頻度が所定値未満である場合、前記対象に関連する情報をメモ情報として記録する情報処理部と、を備える車載装置を提供する。
【0008】
本発明は、運転者の視線方向を検出する検出ステップと、前記運転者が見ている対象を、少なくとも前記視線方向に基づいて推定する推定ステップと、推定した前記対象が車両の運転と関係しないものである場合、前記運転者が前記対象を目視する頻度を、前記推定ステップの推定結果の履歴に基づき判定する判定ステップと、前記運転者が前記対象を目視する頻度が所定値未満である場合、前記対象に関連する情報をメモ情報として記録する記録ステップと、を備える記録方法を提供する。
【発明の効果】
【0009】
本発明によれば、運転者が運転中に何かを思い出した場合に、思い出した事実に関連する情報を記録することができる車載装置及び記録方法を提供することができる。
【図面の簡単な説明】
【0010】
図1】実施形態1にかかる車載装置の構成を示すブロック図である。
図2】実施形態1にかかる車載装置の動作を示すフローチャートである。
図3】実施形態2にかかる車載装置の構成を示すブロック図である。
【発明を実施するための形態】
【0011】
(実施形態1)
まず、図1を用いて、実施形態1にかかる車載装置100の構成について説明する。車載装置100は、例えば、ドライブレコーダーである。車載装置100は、画像取得部110と、視線検出部120と、推定部130と、記憶部140と、判定部150と、情報処理部160と、情報提示部170とを備える。
【0012】
画像取得部110は、車両の運転者、及び車両外部を撮影した画像をカメラ10から取得する。画像取得部110は、超広角レンズ(魚眼、360レンズ)などを用いて運転者及び車両外部を同時に撮影した画像を取得してもよく、運転者と車両外部とが別々のカメラで撮影された複数の画像を取得してもよい。なお、カメラ10は、赤外線カメラであってもよい。画像取得部110において車両外部を撮影した画像の取得は必ずしも必須の構成ではなく、無くともよい。
【0013】
視線検出部120は、運転者の顔画像から視線方向を検出する。視線方向は、例えば上中下、左中右の9象限の1つとして検出される。視線方向は、細かく特定して検出されることが好ましい。さらに、視線検出部120は、運転者が一定方向を見つめている期間を検出してもよく、車両の走行に伴う視線移動を検出してもよい。また、視線検出部120は、動く物体を見ていることによる視線移動を検出してもよい。視線検出部120は、検出した視線方向を推定部130に出力する。
【0014】
視線検出部120は、目頭と虹彩との位置関係や、角膜反射と瞳孔との位置関係に基づき視線を検出することができる。視線検出部120は、顔の向きに基づいて運転者が見ている方向を検出し、視線方向としてもよい。視線検出技術としては、公知の技術が用いられてよい。
【0015】
推定部130は、運転者が見ている対象を、少なくとも視線方向に基づいて推定する。たとえば推定部130は、運転者の視線方向が左右方向の中央やや下方であることが検出された場合、運転者が見ている対象を道路または車両前方を走行する他車両であると推定する。運転者が見ている対象を、視線方向および車両周囲状況に基づいて推定してもよい。車両周囲状況は、画像取得部110が取得した車両外部を撮影した画像や、図示しないカーナビゲーション装置または図示しない通信部を介してインターネット等から取得した、地図情報から判定される。推定部130は、推定結果を判定部150に出力する。
【0016】
ここで、推定部130は、まず、運転者の瞳孔の動きや顔の向きの変化、運転者が一定方向を見つめている期間などから、運転者が視線方向全体を眺めている状態なのか、視線方向にある特定の対象を見ている(注視している)状態なのかを判定する。例えば推定部130は、運転者が左右方向の中央部を見ていることが多く、視線の動きが細かい場合、運転者が視線方向全体を眺めている状態と推定する。運転者の視線移動の速度や方向と、車両の移動速度に相関があるか否かを判定して、視線方向にある特定の対象を見ている状態であることを判定してもよい。運転者が特定の対象を見ている場合、推定部130は、運転者が見ている対象を推定する。対象は、「○○郵便局」のように1つの施設として推定されてもよく、「○○バーガー」のように複数の店舗の総称として推定されてもよく、「ラーメン屋」のように1つのジャンルとして推定されてもよい。対象は、施設に限られず、田、植木等であってもよい。
【0017】
推定部130は、画像認識技術を用いて、視線方向と車両外部画像とに基づき対象を推定してもよい。例えば、運転者が左上方向を見ており、車両外部画像からそこに写っているものが郵便局の看板であると画像認識された場合、推定部130は、運転者が見ている対象を、郵便局と推定できる。推定部130は、道路、他車両、信号、標識などを画像認識して運転者が見ている対象であると推定してもよい。
【0018】
また、推定部130は、視線方向と地図情報とに基づいて、運転者が見ている対象を推定してもよい。例えば、運転者が前方やや左を見ている場合、推定部130は、車両の現在位置の進行方向左前方にある施設が郵便局であることを地図情報から取得し、運転者が見ている対象は郵便局であると推定してもよい。推定部130は、信号、標識などの存在を地図情報から取得して運転者が見ている対象であると推定してもよい。
【0019】
さらに、推定部130は、視線方向と、車両の走行情報とに基づいて、運転者が見ている対象を推定してもよい。例えば、運転者が左の真横方向を見た後に車両が左折した場合、推定部130は、運転者が見ている対象は左サイドミラーであると推定してもよい。
【0020】
なお、推定部130は、視線方向と事故現場の位置を示す情報とに基づいて、運転者が見ている対象は事故現場であると推定してもよい。事故現場の位置を示す情報は、図示しない通信部を介してインターネット等から取得されてもよい。
【0021】
記憶部140は、ハードディスク、フラッシュメモリ、SDカード等の記憶装置または記憶媒体である。また、記憶部140は、一時的に情報を保持するための記憶領域であるRAM(Random Access Memory)等の揮発性記憶装置を含んでもよい。記憶部140は、履歴141及びメモ情報142を記憶する。記憶部140は、カメラ10による撮影映像をさらに記憶してもよい。
【0022】
履歴141は、推定部130の推定結果の履歴を管理するデータベースである。履歴141は、車両の運転と関係しない対象のみを記憶してもよい。また、履歴141は、推定された対象と、運転者が対象を見た時刻とを対応付けて記憶してもよい。さらに、履歴141は、運転者が対象を見た時間の長さを記憶してもよい。メモ情報142は、後述する情報処理部160によって記録される情報である。なお、履歴141及びメモ情報142は、車載装置100の外部のサーバに記憶されてもよい。
【0023】
判定部150は、推定部130が推定した対象が車両の運転と関係しないものである場合、運転者が当該対象を目視する頻度、つまり普段見ているか否かを、履歴141に基づき判定する。判定部150による判定結果は、情報処理部160、あるいは情報提示部170に出力される。
【0024】
ここで、判定部150は、まず、運転者が見ている対象が車両の運転と関係するか否かを判別する。車両の運転と関係するものとは、道路、他車両、信号、標識、ミラー等である。車両の運転と関係するものには、事故現場が含まれていてもよい。
【0025】
次に、判定部150は、運転者が対象を普段見ているか否かを判定する。判定部150は、対象が履歴141に含まれているか否かにより、対象を目視する頻度が所定値1以上か未満かに応じて判定を行ってもよく、対象が履歴141に所定数以上含まれているか否かにより、対象を目視する頻度が所定数以上であるか未満であるかに応じて判定を行ってもよい。また、判定部150は、対象が1週間に3回以上見られているか否かなどの直近の期間の履歴141を参照することにより対象を目視する頻度の判定を行ってもよく、対象に隣接する道路を2回通る際に1回以上見られているか否かなどの走行履歴との比較により対象を目視する頻度の判定を行ってもよい。
【0026】
ここで、判定部150は、運転者が対象を見ている時間(注視時間)を考慮して判定を行ってもよい。例えば、判定部150は、運転者が対象を1秒間以上見た回数が所定数以上の場合に、運転者が当該対象を普段見ていると判定してもよい。
【0027】
ここで、判定部150は、時間帯や曜日等の条件を考慮して履歴141を参照してもよい。例えば、判定部150は、夜間や休日に飲食店が見られる傾向があることを考慮して、運転者が当該対象を普段見ているか否かを判別してもよい。
【0028】
情報処理部160は、運転者が対象を普段見ていない場合、当該対象に関連する情報をメモ情報142として記録する。したがって、情報処理部160は、対象が運転と関係せず、かつ、運転者が普段見ないものである場合に、メモ情報142を記録することとなる。情報処理部160は、推定部130が推定した対象の名称をメモ情報142として記録してもよく、対象が写った画像を画像取得部110から取得してメモ情報142として記録してもよい。情報処理部160は、推定部130が推定した対象の地図情報、例えば図示しないカーナビゲーション装置の画面をキャプチャして、メモ情報142として記録してもよい。
【0029】
また、情報処理部160は、対象の名称を一部に含むメッセージを作成し、メモ情報142として記録してもよい。メッセージは、例えば、運転者が見ている対象が郵便局であった場合、「郵便局に用事がありませんか?」等である。情報処理部は、該メッセージを音声メモとして作成し、あるいは画像メモとして作成し、メモ情報142として記録してもよい。
【0030】
また、メモ情報142は、運転者によって発声された音声であってもよい。情報処理部160は、対象の名称を含むメッセージ(例えば、「郵便局に用事がありませんか?)を運転者に対して通知した後、運転者による音声をマイク20で収音してメモ情報142として記録してもよい。情報処理部160は、該メッセージをスピーカ30から出力してもよく、モニタに出力してもよい。これにより、運転者は、郵便局に用事があったことを思い出し、音声等による情報記録(「郵便局に用事があった」)を行うことができる。
【0031】
ここで、情報処理部160は、対象が撮影された時点と、運転者の発声期間とを共に含む期間の動画をメモ情報142として記録してもよい。また、情報処理部160は、運転者が発声した音声と、当該音声が発声された期間の車両の外部映像とをメモ情報142として記録してもよい。すなわち、情報処理部160は、運転者の発声を検出し、その終わりまでの期間の外部映像を記録してもよい。
【0032】
また、推定された対象の名称(例えば、「○○郵便局」)を、作成されたファイルに紐づけることが好ましい。したがって、情報処理部160は、メモ情報142と、対象の名称とを対応付けて記録してもよい。例えば、情報処理部160は、「○○郵便局」という名称をメモ情報142のファイル名としてもよく、当該名称を音声合成した音声メモと、メモ情報142とを結合してもよく、当該名称を字幕データとして画像メモに重畳してもよく、当該名称をメタデータとしてメモ情報142に埋め込んでもよい。
【0033】
情報提示部170は、運転者が対象を普段見ている場合、当該対象に関連する情報を運転者に対して提示する。したがって、情報提示部170は、対象が運転に関係するものでなく、かつ、運転者が普段見ているものである場合に、情報の提示を行うこととなる。情報提示部170は、提示情報をスピーカ30に出力してもよく、モニタに出力してもよい。
【0034】
情報提示部170は、例えば、「○○ラーメンをよく見ていますね」等の対象の名称に関連する情報を出力してもよい。これにより、運転者は、自分が潜在的に関心を持っていることを認識することができる。
【0035】
また、情報提示部170は、対象の名称に関連する情報を、図示しない通信部を介してインターネット等から取得し、取得した情報を出力してもよい。情報提示部170は、例えば、「○○ラーメン」がキャンペーンを実施しているか否か、或いは評判の良し悪しを、運転者に提示することができる。
【0036】
また、情報提示部170は、対象の名称に関連する情報を、図示しないカーナビゲーション装置に送信し、カーナビゲーション装置にて検索や登録が行えるようにしてもよい。
【0037】
なお、情報提示部170は、対象が運転に関係するものであり、かつ、運転者が普段見ないものである場合に、情報提示を行ってもよい。例えば、運転者が、普段は見ていない駐車禁止標識を見ている場合、運転者が駐車場を探していると判断できるため、情報提示部170は、インターネット等で検索した駐車場情報を運転者に提示してもよい。また、例えば、運転者がルームミラーを普段以上に見ている場合、後続車が気になっていると判断できるため、情報提示部170は、前方に注意を向けるように促すための情報を提示することができる。
【0038】
次に、図2を用いて車載装置100の動作の流れについて説明する。まず、視線検出部120は、画像取得部110により取得された画像内の運転者の顔画像から、運転者の視線方向を検出する(ステップS101)。次に、推定部130は、運転者が視線方向全体を眺めている状態か、視線方向にある特定の対象を見ている(注視している)状態であるかを判定する(ステップS102)。運転者が特定の対象を見ていない場合(ステップS102のNo)、車載装置100は、ステップS101の処理に戻る。運転者が特定の対象を見ている場合(ステップS102のYes)、推定部130は、運転者の視線方向にある対象を推定する(ステップS103)。
【0039】
次に、判定部150は、ステップS103で推定した対象が、運転と直接的に関係のあるものであるか否かを判定する(ステップS104)。対象が車両の運転に関係するものである場合(ステップS104のYes)、車載装置100は、ステップS101の処理に戻る。
【0040】
対象が車両の運転に関係するものでない場合(ステップS104のNo)、判定部150は、運転者が対象を普段から見ているか否かを判別する(ステップS105)。運転者が対象を普段見ていない場合(ステップS105のNo)、情報処理部160は、運転者が当該対象について思い出したことがあると判定し(ステップS106)、画像メモあるいは音声メモをメモ情報142として記録する(ステップS107)。ここで、情報処理部160は、「郵便局に用事がありませんか?」等のメッセージを通知してもよい。
【0041】
運転者が対象を普段見ている場合(ステップS105のYes)、情報提示部170は、運転者が対象に興味を持っているものと判定して(ステップS108)、対象に関する情報を運転者に提示する(ステップS109)。最後に、推定結果の履歴141が更新される(ステップS110)。
【0042】
実施形態1にかかる車載装置100は、運転者が見ている対象を、運転者が普段見ているものと普段見ていないものとに判別する。したがって、実施形態1にかかる車載装置100は、運転者が興味のある情報を提示することができる。また運転者が思い出したことに関する情報を、手を放すことができない運転中に自動でメモ情報として記録することができる。
【0043】
(実施の形態2)
実施形態2にかかる車載装置100aは、車両の運転が終了したときに情報処理部160が記録したメモ情報を出力する。図3は、車載装置100aの構成例を示すブロック図である。以下では、実施形態1と異なる点について説明する。
【0044】
車載装置100aは、運転者が所持する通信端末40とネットワーク200を介して接続されている。ネットワーク200は、インターネット、イントラネット、携帯電話網、LAN(Local Area Network)等の通信回線網である。通信端末40は、携帯電話端末、スマートフォン、タブレット端末、PC(Personal Computer)等である。なお、車載装置100aは、メモ情報142を、通信端末40ではなくスピーカ30、図示しないモニタ画面等に出力してもよい。
【0045】
車載装置100aは、図1の構成に加えて、通信部180と、出力部190とを備えている。通信部180は、ネットワーク200との通信インタフェースである。車載装置100aが、メモ情報142をスピーカ30等に出力する場合、車載装置100aは通信部180を備えていなくてもよい。
【0046】
出力部190は、車載装置100aが搭載された車両の運転が終了したか否かを判定する。出力部190は、車両に搭載された図示しないカーナビゲーション装置と連動して、車両が目的地付近に到着したときや目的地まで所定の距離(例えば100mなど)となったときに運転が終了したと判定してもよい。目的地とは、カーナビゲーション装置に設定された目的地以外にも、登録された自宅や現在位置が駐車場であることで判定されてもよい。また、出力部190は、車両のギア情報を取得して車両が駐車動作に入ったことや、駐車動作が終了したことを走行情報から判定したときに、運転が終了したと判定してもよい。出力部190は、エンジンがオフとなったことを検知することにより、運転が終了したと判定してもよい。
【0047】
出力部190は、車両の運転が終了したときに、メモ情報142を出力する。出力部190は、音声メモをスピーカ30から音声出力してもよく、画像メモを図示しないモニタに表示させてもよい。出力部190は、送信先として予め登録された通信端末40に、通信部180を介してメモ情報142を出力してもよい。出力部190は、送信先として予め登録されたメールアドレスや電話番号、SNS(social networking service)などに通信部180を介してメモ情報142を出力してもよい。
【0048】
実施形態2にかかる車載装置100aは、運転が終了したときに記録したメモ情報を出力する。したがって、運転者は、運転が終了した後にメモ情報を確認し、思い出した作業を行うことができる。また、運転者は、スピーカ、モニタ等から出力されたメモ情報を確認して、手帳等にメモをとることができる。
【0049】
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体は、例えば、磁気記録媒体、光磁気記録媒体、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリを含む。磁気記録媒体は、例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブなどである。光磁気記録媒体は、例えば光磁気ディスクなどである。半導体メモリは、例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory)などである。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0050】
上述の実施形態にかかる車載装置は、ドライバーモニタリングシステムの分野に適用することができる。尚、車載装置以外の装置が、人物の視線を検出し、当該人物が見ている対象を推定することもできる。例えば、眼鏡型デバイスに、視線検出装置と、周囲の景色を撮影するカメラを取り付けることにより、同様のシステムを実現できる。これにより、運転中だけでなく普段の生活から、人物の潜在的な関心の調査が可能となる。
【符号の説明】
【0051】
10 カメラ
20 マイク
30 スピーカ
40 通信端末
100、100a 車載装置
110 画像取得部
120 視線検出部
130 推定部
140 記憶部
141 履歴
142 メモ情報
150 判定部
160 情報処理部
170 情報提示部
180 通信部
190 出力部
200 ネットワーク
図1
図2
図3