特許 7439797 車載装置、物体の通知方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】車載装置、物体の通知方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240220BHJP

   B60R 11/04 20060101ALI20240220BHJP

【ＦＩ】

G06T7/00 650Z

B60R11/04

【請求項の数】 10

(21)【出願番号】P 2021104882

(22)【出願日】2021-06-24

(65)【公開番号】P2023003665

(43)【公開日】2023-01-17

【審査請求日】2023-05-12

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】竹内 浩一郎

(72)【発明者】

【氏名】伊藤 正也

【審査官】小太刀 慶明

(56)【参考文献】

【文献】特開２０１９－１７２１９１（ＪＰ，Ａ）

【文献】特開２０２１－１８５９３（ＪＰ，Ａ）

【文献】特開２００２－３４７４７６（ＪＰ，Ａ）

【文献】特開２０１９－１２３４２１（ＪＰ，Ａ）

【文献】特開２０１４－２１５８７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｂ６０Ｒ １１／０４

(57)【特許請求の範囲】

【請求項1】

通信ユニット（４５）を介して、ユーザの携帯端末（２３）と通信可能なクラウド（５）との間で通信を行うように構成された車載装置（３）であって、
カメラ（１５）により車両（９）の車室（５５）内を撮影した画像を取得するように構成された画像取得ユニット（４３）と、
前記車両の環境である車両環境、及び、前記車室内にある物体（５７）の前記カメラを基準とする相対位置の少なくとも一方を含む選択要因を取得するように構成された選択要因取得ユニット（４７）と、
前記選択要因取得ユニットが取得した前記選択要因に対応付けられた画像認識モデルを選択するように構成されたモデル選択ユニット（４９）と、
前記画像取得ユニットが取得した前記画像に対し、前記モデル選択ユニットが選択した前記画像認識モデルを用いて画像認識を行い、前記物体を認識する処理を行うように構成された物体認識ユニット（５１）と、
を備え、
前記物体認識ユニットが所定条件を満たす前記物体を認識した場合、前記携帯端末への報知に繋がる前記物体の認識結果に関する情報を、前記通信ユニットを介して前記クラウドへ通知する、
車載装置。

【請求項2】

請求項１に記載の車載装置であって、
前記選択要因取得ユニットは、前記画像取得ユニットが前記画像を取得する前に、前記選択要因を取得するように構成され、
前記モデル選択ユニットは、前記画像取得ユニットが前記画像を取得する前に、前記画像認識モデルを選択するように構成された、
車載装置。

【請求項3】

請求項１に記載の車載装置であって、
前記選択要因取得ユニットは、前記車両の走行中に前記選択要因を取得するように構成され、
前記モデル選択ユニットは、前記車両の走行中に前記画像認識モデルを選択するように構成され、
前記物体認識ユニットは、前記車両の走行後、前記車両が駐車しているときに、前記物体を認識する処理を行うように構成された、
車載装置。

【請求項4】

請求項１～３のいずれか１項に記載の車載装置であって、
前記選択要因は、前記車両の位置、前記車両の進行方向、現在時刻、及び天候から成る群から選択される１以上を含む前記車両環境を含む、
車載装置。

【請求項5】

請求項１～４のいずれか１項に記載の車載装置であって、
前記選択要因は、前記車室に設けられたルームランプ（１７）の状態を含む前記車両環境を含む、
車載装置。

【請求項6】

請求項１～５のいずれか１項に記載の車載装置であって、
前記選択要因取得ユニットは、前記車両の外部（５）から前記車両環境を取得するように構成された、
車載装置。

【請求項7】

請求項１～６のいずれか１項に記載の車載装置であって、
前記選択要因取得ユニットは、前記車両に搭載された装置（３、１７、２１）から前記車両環境を取得するように構成された、
車載装置。

【請求項8】

請求項１～７のいずれか１項に記載の車載装置であって、
前記選択要因取得ユニットは、センサ（１３）を用いて、前記相対位置を取得するように構成された、
車載装置。

【請求項9】

カメラ（１５）により車両（９）の車室（５５）内を撮影した画像を取得し、
前記車両の環境である車両環境、及び、前記車室内にある物体（５７）の前記カメラを基準とする相対位置の少なくとも一方を含む選択要因を取得し、
前記選択要因に対応付けられた画像認識モデルを選択し、
前記画像に対し、選択した前記画像認識モデルを用いて画像認識を行い、前記物体を認識する処理を行い、
所定条件を満たす前記物体を認識した場合、ユーザの携帯端末（２３）への報知に繋がる前記物体の認識結果に関する情報を、通信ユニットを介して、前記携帯端末と通信可能なクラウド（５）へ通知する、
物体の通知方法。

【請求項10】

請求項１～８のいずれか１項に記載の車載装置の制御部としてコンピュータを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は車載装置、物体の通知方法、及びプログラムに関する。

【背景技術】

【0002】

車両の外部環境認識装置が特許文献１に開示されている。車両の外部環境認識装置は、車両の周囲を撮影し、画像を生成する。車両の外部環境認識装置は、画像に対し画像認識を行い、物体を認識する。車両の外部環境認識装置は、車両の外部環境に応じてカメラの制御パラメータを切り替える。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－１７８８３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車室内をカメラで撮影して得られた画像に対し画像認識を行い、車室内にある物体を認識することが考えられる。画像認識の精度は、車室内の環境、カメラから物体までの距離等に影響される。そのため、特許文献１に記載の技術のようにカメラの制御パラメータを切り替えたとしても、画像認識の精度が低いおそれがある。

【0005】

本開示の１つの局面では、車室内にある物体を高精度に認識することができる車載装置、物体の通知方法、及びプログラムを提供することが好ましい。

【課題を解決するための手段】

【0006】

本開示の１つの局面は、車載装置（３）である。車載装置は、通信ユニット（４５）を介して、ユーザの携帯端末（２３）と通信可能なクラウド（５）との間で通信を行うように構成される。車載装置は、カメラ（１５）により車両（９）の車室（５５）内を撮影した画像を取得するように構成された画像取得ユニット（４３）と、前記車両の環境である車両環境、及び、前記車室内にある物体（５７）の前記カメラを基準とする相対位置の少なくとも一方を含む選択要因を取得するように構成された選択要因取得ユニット（４７）と、前記選択要因取得ユニットが取得した前記選択要因に応じて画像認識モデルを選択するように構成されたモデル選択ユニット（４９）と、前記画像取得ユニットが取得した前記画像に対し、前記モデル選択ユニットが選択した前記画像認識モデルを用いて画像認識を行い、前記物体を認識する処理を行うように構成された物体認識ユニット（５１）と、を備える。前記物体認識ユニットが所定の条件を満たす前記物体を認識した場合、前記携帯端末への報知に繋がる前記物体の認識結果に関する情報を、前記通信ユニットを介して前記クラウドへ通知する。

【0007】

本開示の１つの局面である車載装置は、車両環境や物体の相対位置に応じて、適切な画像認識モデルを選択し、画像認識を行うことができる。そのため、車載装置は、車室内にある物体を高精度に認識することができる。その結果、車載装置は、携帯端末への通知を正確に行うことができる。
本開示の別の局面は、カメラ（１５）により車両（９）の車室（５５）内を撮影した画像を取得し、前記車両の環境である車両環境、及び、前記車室内にある物体（５７）の前記カメラを基準とする相対位置の少なくとも一方を含む選択要因を取得し、前記選択要因に応じて画像認識モデルを選択し、前記画像に対し、選択した前記画像認識モデルを用いて画像認識を行い、前記物体を認識する処理を行い、所定条件を満たす前記物体を認識した場合、ユーザの携帯端末（２３）への報知に繋がる前記物体の認識結果に関する情報を、通信ユニットを介して、前記携帯端末と通信可能なクラウド（５）へ通知する、物体の通知方法である。
本開示の別の局面である物体の通知方法によれば、車両環境や物体の相対位置に応じて、適切な画像認識モデルを選択し、画像認識を行うことができる。そのため、車室内にある物体を高精度に認識することができる。その結果、携帯端末への通知を正確に行うことができる。

【図面の簡単な説明】

【0008】

【図1】モビリティＩｏＴシステムの構成を表すブロック図である。

【図2】車載装置の制御部における機能的構成を表すブロック図である。

【図3】車室内におけるセンサ、カメラ、及び物体の配置を表す説明図である。

【図4】車載装置が実行する処理を表すフローチャートである。

【発明を実施するための形態】

【0009】

本開示の例示的な実施形態について図面を参照しながら説明する。
＜第１実施形態＞
１．モビリティＩｏＴシステム１の構成
モビリティＩｏＴシステム１の構成を、図１に基づき説明する。ＩｏＴは、Internet of Thingsの略である。モビリティＩｏＴシステム１は、車載装置３と、クラウド５と、サービス提供サーバ７と、を備える。なお、図１では便宜上、１のみの車載装置３を記載しているが、モビリティＩｏＴシステム１は、例えば、複数の車載装置３を備える。複数の車載装置３は、それぞれ、異なる車両９に搭載されている。

【0010】

車載装置３は、車両９に搭載された通信機１９を介して、クラウド５と通信可能である。なお、車載装置３及び車両９の詳しい構成は後述する。
クラウド５は、車載装置３、サービス提供サーバ７、及び携帯端末２３と通信可能である。携帯端末２３は、例えば、車両９のユーザが所持する携帯端末である。携帯端末２３として、例えば、スマートフォン、タブレット端末、ノートＰＣ等が挙げられる。

【0011】

クラウド５は、制御部２５と、通信部２７と、記憶部２９とを備える。制御部２５は、ＣＰＵ３１と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ３３とする）とを備える。制御部２５の機能は、メモリ３３に格納されたプログラムをＣＰＵ３１が実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。通信部２７は、通信機１９及び携帯端末２３との間で無線通信を行うことができる。記憶部２９は情報を記録することができる。

【0012】

サービス提供サーバ７は、クラウド５と通信可能である。サービス提供サーバ７は、例えば、車両９の運行を管理するサービス等を提供するために設置されたサーバである。なお、モビリティＩｏＴシステム１は、サービス内容が互いに異なる複数のサービス提供サーバ７を備えてもよい。

【0013】

クラウド５は、複数の車載装置３のそれぞれから通信機１９を介して送信された車両９のデータを収集する。クラウド５は、車両９ごとに、収集したデータを記憶部２９に記憶する。

【0014】

クラウド５は、記憶部２９に記憶されている車両９のデータに基づき、デジタルツインを作成する。デジタルツインは、正規化されたインデックスデータである。サービス提供サーバ７は、デジタルツインから取得したインデックスデータを用いて記憶部２９に記憶されている所定車両のデータを取得することができる。サービス提供サーバ７は、車両９の制御内容を決定し、制御内容に対応する指示をクラウド５に送信する。クラウド５は、指示に基づき、車両９へ制御内容を送信する。

【0015】

２．車載装置３及び車両９の構成
車載装置３及び車両９の構成を、図１～図３に基づき説明する。図１に示すように、車載装置３は、制御部３５と、記憶部３７と、時計３８と、を備える。制御部３５は、ＣＰＵ３９と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ４１とする）とを備える。制御部３５の機能は、メモリ４１に格納されたプログラムをＣＰＵ３９が実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。

【0016】

記憶部３７は情報を記憶することができる。記憶部３７には、複数の画像認識モデルが記憶されている。画像認識モデルは、車両９に搭載されたカメラ１５を用いて生成した画像に対し画像認識を行い、物体５７を識別するために使用される。時計３８は、時刻を表す時刻情報を制御部３５に送信する。

【0017】

図２に示すように、制御部３５の機能的な構成は、画像取得ユニット４３と、通信ユニット４５と、選択要因取得ユニット４７と、モデル選択ユニット４９と、物体認識ユニット５１と、車両状態取得ユニット５３と、を含む。

【0018】

画像取得ユニット４３は、カメラ１５を用いて車両９の車室５５内を撮影し、画像を取得する。通信ユニット４５は、クラウド５との間で通信を行う。
選択要因取得ユニット４７は、選択要因を取得する。選択要因は、車両９の環境である車両環境、及び、車両９の車室５５内にある物体５７の、カメラ１５を基準とする相対位置（以下では物体の相対位置とする）の少なくとも一方を含む。選択要因は、カメラ１５が撮影して生じる画像に対して画像認識を行った場合の物体認識精度に影響する。

【0019】

車両環境は、カメラ１５が撮影して生じる画像に対して画像認識を行った場合の認識精度に影響する車両環境である。車両環境は、例えば、車室５５内の明るさ、車両９の周囲の明るさ、車室５５に光が入射する方向等に影響する車両環境である。車両環境として、例えば、車両９の位置、車両９の向き又は進行方向、現在時刻、天候、及びルームランプ１７の状態等が挙げられる。

【0020】

車両９の位置、及び車両９の進行方向は、車室５５内の明るさ、及び、車室５５に光が入射する方向に影響する。現在時刻は、車室５５内の明るさ、及び、車室５５に光が入射する方向に影響する。天候は、車室５５内の明るさに影響する。天候として、例えば、晴天、曇天、雨天、霧等が挙げられる。ルームランプ１７の状態は、車室５５内の明るさに影響する。ルームランプ１７の状態として、例えば、点灯している状態、消灯している状態、光量が特定の範囲内である状態等が挙げられる。ルームランプ１７が複数ある場合は、それぞれのループランプ１７の状態が車両環境に該当する。

【0021】

物体の相対位置は、カメラ１５から物体５７までの距離と、カメラ１５を基準とする物体５７の方向とから構成される。物体の相対位置は、カメラ１５が生成した画像における物体５７の大きさに影響する。物体５７がカメラ１５から遠いほど、カメラ１５が生成した画像において物体５７は小さい。また、物体の相対位置に加え、上記車両環境として、例えば、車室５５に光が入射する方向が分かると、物体５７に光が照射している状態や、物体５７の背後から光が照射し、逆光となっている状態等が分かる。物体の相対位置は、カメラ１５が撮影して生じる画像に対して画像認識を行った場合の認識精度に影響する。

【0022】

記憶部３７に記憶されている複数の画像認識モデルは、それぞれ、選択要因と対応付けられている。画像認識モデルは、例えば、それと対応付けられている選択要因において学習して得られた画像認識モデルである。画像認識モデルを、それと対応付けられている選択要因において使用すると、物体５７を高精度に認識することができる。

【0023】

例えば、画像認識モデルを、それと対応付けられている選択要因に含まれる車両環境において使用すると、物体５７を高精度に認識することができる。また、例えば、画像認識モデルを、それと対応付けられている選択要因に含まれる物体の相対位置において使用すると、物体５７を高精度に認識することができる。

【0024】

モデル選択ユニット４９は、選択要因取得ユニット４７が取得した選択要因に応じて画像認識モデルを選択する。
例えば、モデル選択ユニット４９は、車両環境に応じて画像認識モデルを選択する。具体的には、モデル選択ユニット４９は、夜間に車室５５内が暗い場合は、暗いカメラ画像向けの画像認識モデルを選択する。また、モデル選択ユニット４９は、昼間に車室５５内が明るい場合、夕日によって車室５５内が明るい場合、夜間であるがルームランプ１７の点灯により車室５５内が明るい場合等のそれぞれにおいて、場合に適した画像認識モデルを選択する。
また、例えば、モデル選択ユニット４９は、物体の相対位置に応じて画像認識モデルを選択する。具体的には、モデル選択ユニット４９は、カメラ１５から物体５７までの距離が遠い場合は、物体５７が小さく撮影されたカメラ画像向けの画像認識モデルを選択する。また、モデル選択ユニット４９は、カメラ１５から物体５７までの距離が近い場合は、物体５７が大きく撮影されたカメラ画像向けの画像認識モデルを選択する。また、モデル選択ユニット４９は、物体５７がカメラ１５の正面にある場合、物体５７が、カメラ１５を基準として斜めや側方に近い場合等のそれぞれにおいて、場合に適した画像認識モデルを選択する。選択要因として、車両環境及び物体の相対位置を用いて画像認識モデルを選択することで、物体をさらに高精度に認識することができる。
物体認識ユニット５１は、画像取得ユニット４３が取得した画像に対し、モデル選択ユニット４９が選択した画像認識モデルを用いて画像認識を行い、物体５７を認識する処理を行う。

【0025】

車両状態取得ユニット５３は、車両ＥＣＵ１１から車両９の状態を表す信号を取得する。車両９の状態として、例えば、エンジンオン、走行開始、停車、キーロック等が挙げられる。

【0026】

図１に示すように、車両９は、車載装置３に加えて、車両ＥＣＵ１１、センサ１３、カメラ１５、ルームランプ１７、通信機１９、及びナビ２１を備える。車載装置３は、車両ＥＣＵ１１、センサ１３、カメラ１５、ルームランプ１７、通信機１９、及びナビ２１のそれぞれと、通信を行うことができる。

【0027】

車両ＥＣＵ１１は、車両９の状態を検出し、検出した状態を表す信号を車両状態取得ユニット５３に送信する。例えば、車両ＥＣＵ１１は、車両９の車速を検出する。車両９の車速が０Ｋｍ／ｈから閾値以上に変化したとき、車両ＥＣＵ１１は、走行開始を表す信号を車両状態取得ユニット５３に送信する。また、車両９の車速が閾値以上から０Ｋｍ／ｈに変化したとき、車両ＥＣＵ１１は、停車を表す信号を車両状態取得ユニット５３に送信する。

【0028】

車両ＥＣＵ１１は、例えば、シフトの位置を検出する。シフトの位置がパーキングに変化したとき、車両ＥＣＵ１１は、停車を表す信号を車両状態取得ユニット５３に送信する。
図３に示すように、センサ１３及びカメラ１５は、それぞれ、車両９の車室５５内に設置されている。センサ１３の位置はカメラ１５の位置に近い。例えば、センサ１３及びカメラ１５は、フロントガラスの上部、又はルームミラー付近に設置される。また、センサ１３の位置を基準とするカメラ１５の相対位置は一定である。

【0029】

センサ１３は、例えば、ミリ波レーダである。センサ１３は、センサ１３の検出結果を、レファレンスデータと対比することで、車室５５内の物体５７を検出することができる。レファレンスデータとは、車室５５内に物体５７が存在しない場合のセンサ１３の検出結果である。物体５７として、例えば、物（人及び動物を除く）、人、動物等が挙げられる。物は、例えば、車両９のユーザが持ち運び可能な物である。人として、例えば、幼児が挙げられる。センサ１３は、物体の有無及び物体の相対位置を算出することができる。

【0030】

カメラ１５は、車室５５内に設置されている。カメラ１５の撮影範囲は、車室５５内のうち、物体５７が置かれる可能性が高い範囲を含む。カメラ１５の撮影範囲は、例えば、運転席、助手席、後部座席、及びダッシュボード等の一部又は全部を含む。

【0031】

ルームランプ１７は車室５５内に１つ又は複数設置されている。ルームランプ１７は、点灯及び消灯が可能である。また、ルームランプ１７は光量調整が可能である。ルームランプ１７は、ルームランプ１７の状態を表す信号を制御部３５に送信する。

【0032】

通信機１９は、クラウド５の通信部２７との間で通信を行うことができる。ナビ２１は、通常のナビゲーションシステムの機能を有する。ナビ２１は、測位衛星から受信したデータに基づき、車両９の位置、及び車両９の進行方向を取得することができる。

【0033】

３．車載装置３が実行する処理
車載装置３が実行する処理を図４に基づき説明する。図４に示す処理は、例えば、スリープ状態にあった車載装置３が起動したときに実行される。車載装置３は、例えば、以下のように起動する。車両９のドアのロックが解除されたとき、車両ＥＣＵ１１が起動する。起動した車両ＥＣＵ１１は、車載装置３を起動する。なお、車載装置３は、図４に示す処理が終了したとき、スリープ状態となる。

【0034】

図４のステップ１では、車両状態取得ユニット５３が、車両ＥＣＵ１１から取得した信号に基づき、車両９のエンジンがオンになったか否かと、車両９が走行を開始したか否かと、を判断する。車両９のエンジンがオンになったと判断し、かつ、車両９が走行を開始したと判断した場合、本処理はステップ２に進む。車両９のエンジンがオンでないと判断した場合、又は、車両９が走行を開始していないと判断した場合、本処理はステップ１の前に戻る。

【0035】

ステップ２では、選択要因取得ユニット４７が、センサ１３を用いて、物体の相対位置を取得する。
ステップ３では、選択要因取得ユニット４７が車両環境を取得する。例えば、選択要因取得ユニット４７は、ナビ２１を用いて、車両９の位置、及び車両９の進行方向を取得する。また、選択要因取得ユニット４７は、例えば、時計３８を用いて現在時刻を取得する。また、選択要因取得ユニット４７は、例えば、通信機１９を介してクラウド５と通信を行うことにより、天候を取得する。天候は、例えば、車両９の位置における現時点での天候である。また、選択要因取得ユニット４７は、例えば、ルームランプ１７から、ルームランプ１７の状態を取得する。また、選択要因取得ユニット４７は、例えば、カメラ１５で車室５５内を撮影し、撮影した画像を解析し、車室５５内の明るさを検出してもよい。なお、ナビ２１、時計３８、及びルームランプ１７は、車両９に搭載された装置に対応する。クラウド５は車両９の外部に対応する。なお、選択要因取得ユニット４７は、ステップ２、３の処理のうちの一方のみを行ってもよい。

【0036】

ステップ４では、モデル選択ユニット４９が、選択要因に応じて画像認識モデルを選択する。選択要因は、前記ステップ２で取得した物体の相対位置と、前記ステップ３で取得した車両環境との両方を含む。

【0037】

上述したように、記憶部３７に記憶されている複数の画像認識モデルは、それぞれ、選択要因に対応付けられている。モデル選択ユニット４９は、記憶部３７に記憶されている複数の画像認識モデルの中から、選択要因に対応付けられた画像認識モデルを選択する。

【0038】

ステップ５では、車両状態取得ユニット５３が、車両ＥＣＵ１１から取得した信号に基づき、車両９の走行が終了したか否かを判断する。車両９の走行が終了したと判断した場合、本処理はステップ６に進む。車両９の走行が終了していないと判断した場合、本処理はステップ２に進む。

【0039】

ステップ６では、車両状態取得ユニット５３が、車両ＥＣＵ１１から取得した信号に基づき、車両９が停車したか否かと、キーロックがオンになったか否かと、を判断する。車両９が停車したと判断し、かつ、キーロックがオンになったと判断した場合、本処理はステップ７に進む。車両９が停車していないと判断した場合、又は、キーロックがオンになっていないと判断した場合、本処理はステップ６の前に戻る。

【0040】

ステップ７では、画像取得ユニット４３が、カメラ１５を用いて車室５５内を撮影し、画像を取得する。
ステップ８では、物体認識ユニット５１が、前記ステップ７で取得した画像に対し、前記ステップ４で選択した画像認識モデルを用いて画像認識を行い、物体５７を認識する処理を行う。

【0041】

ステップ９では、前記ステップ８の処理において特定の物体５７を認識したか否かを、物体認識ユニット５１が判断する。特定の物体５７を認識したと判断した場合、本処理はステップ１０に進む。特定の物体５７とは、例えば、子供、動物、及び手荷物等である。特定の物体５７を認識しなかったと判断した場合、本処理は終了する。特定の物体５７は、所定条件を満たす物体に対応する。

【0042】

ステップ１０では、通信ユニット４５は、クラウド５から携帯端末２３へ通知を行わせるため、特定の物体５７に関する情報をクラウド５へ送信する。当該情報を受信したクラウド５は、携帯端末２３へ、車室５５内に子供、ペット、又は手荷物が残存している旨を通知する。通信ユニット４５が送信する情報は、携帯端末２３への報知に繋がる物体５７の認識結果に関する情報に対応する。携帯端末２３は、例えば、報知画像を表示したり、音声又は振動等を発生させたりする。車両９のユーザは、報知画像、音声、振動等により、車室５５内に物体５７があることを知ることができる。通信ユニット４５は、例えば、前記ステップ７で取得したカメラ画像、又はそれを加工した画像を、クラウド５へ送信する。クラウド５は、それらの画像を携帯端末２３へ送信する。携帯端末２３は、前記ステップ７で取得したカメラ画像、又はそれを加工した画像を表示する。車両９のユーザは、表示された画像を見ることで、物体５７が車室５５内にあること、及び、物体５７が何であるかを知ることができる。

【0043】

４．車載装置３が奏する効果
（１Ａ）車載装置３は、カメラ１５を用いて車室５５内を撮影し、画像を取得する。車載装置３は、選択要因を取得する。車載装置３は、選択要因に応じて画像認識モデルを選択する。車載装置３は、取得した画像に対し、選択した画像認識モデルを用いて画像認識を行い、物体５７を認識する処理を行う。車載装置３は、物体５７を認識した場合、クラウド５を介して携帯端末２３へ報知する。

【0044】

車載装置３は、車両環境や物体の相対位置に応じて、適切な画像認識モデルを選択し、画像認識を行うことができる。そのため、車載装置３は、物体５７を高精度に認識することができる。その結果、車載装置３は、携帯端末２３への報知を正確に行うことができる。

【0045】

（１Ｂ）車載装置３は、前記ステップ７で画像を取得するよりも前に、前記ステップ２及び前記ステップ３で選択要因を取得する。また、車載装置３は、前記ステップ７で画像を取得するよりも前に、前記ステップ４で画像認識モデルを選択する。

【0046】

そのため、画像を取得した後に選択要因を取得したり、画像を取得した後に画像認識モデルを選択したりする場合よりも、画像を取得してから画像認識を完了するまでの時間を短縮できる。

【0047】

（１Ｃ）選択要因は、車両９の位置、車両９の進行方向、現在時刻、及び天候を含む。そのため、車載装置３は、車両９の位置、車両９の進行方向、時刻、及び天候に応じて適切な画像認識モデルを選択することができる。

【0048】

（１Ｄ）選択要因は、ルームランプ１７の状態を含む。そのため、車載装置３は、ルームランプ１７の状態に応じて適切な画像認識モデルを選択することができる。
（１Ｅ）車載装置３は、車両９の外部から車両環境を取得する。車両９の外部とは、例えば、クラウド５である。そのため、車載装置３は、車両９において取得することが困難な車両環境を取得することができる。

【0049】

（１Ｆ）車載装置３は、車両９に搭載された装置から車両環境を取得する。車両９に搭載された装置とは、例えば、車載装置３、ルームランプ１７、ナビ２１、時計３８等である。そのため、車載装置３は、多様な車両環境を取得することができる。

【0050】

（１Ｇ）車載装置３は、センサ１３を用いて、物体の相対位置を取得する。そのため、車載装置３は、正確かつ容易に物体の相対位置を取得することができる。
＜他の実施形態＞
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

【0051】

（１）第１実施形態では、選択要因は、車両環境と物体の相対位置との両方を含んでいた。選択要因は、車両環境は含むが、物体の相対位置は含まなくてもよい。この場合も、車載装置３は、車両環境に応じて適切な画像認識モデルを選択し、画像認識を行うことができる。

【0052】

また、選択要因は、物体の相対位置は含むが、車両環境は含まなくてもよい。この場合も、車載装置３は、物体の相対位置に応じて適切な画像認識モデルを選択し、画像認識を行うことができる。

【0053】

車両環境は、車両９の位置、車両９の進行方向、時刻、及び天候のうちの１以上を含まなくてもよい。車両環境は、他の要素をさらに含んでいてもよい。
（２）第１実施形態では、車載装置３は、車両９が停車し、かつ、キーロックがオンになったときに画像を取得した。画像を取得するタイミングは、他のタイミングであってもよい。例えば、車載装置３は、エンジンがオンになる前、アイドリング状態のとき、走行中、停車からキーロックオンまでの期間等に画像を取得してもよい。この場合も、第１実施形態と同様の効果を奏することができる。

【0054】

（３）第１実施形態では、車載装置３は、前記ステップ７で画像を取得するよりも前に、前記ステップ２及び前記ステップ３で選択要因を取得し、前記ステップ４で画像認識モデルを選択した。

【0055】

車載装置３は、画像を取得した後に、選択要因を取得し、画像認識モデルを選択してもよい。また、車載装置３は、選択要因の取得、画像の取得、画像認識モデルの選択の順番で処理を行ってもよい。これらの場合でも、車載装置３は、第１実施形態の効果（１Ａ）、（１Ｃ）～（１Ｇ）の効果を奏することができる。

【0056】

（４）第１実施形態では、センサ１３を用いて物体の相対位置を取得した。センサ１３はミリ波レーダであった。センサ１３はミリ波レーダ以外のセンサであってもよい。また、物体の相対位置を取得する方法は、他の方法であってもよい。例えば、カメラ１５の画像に基づき、物体の相対位置を取得してもよい。

【0057】

（５）前記ステップ１０において、車載装置３は、携帯端末２３への報知に加えて、他の処理を行ってもよい。他の処理として、例えば、車両９のクラクションを鳴らす処理等が挙げられる。また、物体５７が人間の幼児である場合、車載装置３は、前記ステップ１０において、車両９のエアコンを動作させて車室５５の温度を下げる、窓を開ける、ドアロックを解除する等の処理を行うことができる。

【0058】

（６）車載装置３は、センサ１３、カメラ１５、通信機１９、及びナビ２１のうちの１以上の機能を備えていてもよい。
（７）選択要因取得ユニット４７は、車両９の走行中に選択要因を取得してもよい。モデル選択ユニット４９は、車両９の走行中に画像認識モデルを選択してもよい。物体認識ユニット５１は、車両９の走行後、車両９が駐車しているときに、物体を認識する処理を行ってもよい。この場合、駐車している車両９の中に物体５７が置き去りにされた場合に通知を行うことができる。
（８）本開示に記載の制御部３５及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部３５及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。制御部３５に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

【0059】

（９）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

【0060】

（１０）上述した車載装置３の他、当該車載装置３を構成要素とするシステム、当該車載装置３の制御部３５としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、物体の認識方法等、種々の形態で本開示を実現することもできる。

【符号の説明】

【0061】

１…モビリティＩｏＴシステム、３…車載装置、５…クラウド、９…車両、１３…センサ、１５…カメラ、２３…携帯端末、４３…画像取得ユニット、４５…通信ユニット、４７…選択要因取得ユニット、４９…モデル選択ユニット、５１…物体認識ユニット、５３…車両状態取得ユニット、５５…車室、５７…物体

【図1】

【図2】

【図3】

【図4】