特開 2024-115848 自車画像登録システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024115848

(43)【公開日】2024-08-27

(54)【発明の名称】自車画像登録システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240820BHJP

   G06T 7/55 20170101ALI20240820BHJP

   G06F 3/01 20060101ALI20240820BHJP

【ＦＩ】

G06T19/00 A

G06T7/55

G06F3/01 510

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023021720

(22)【出願日】2023-02-15

(71)【出願人】

【識別番号】000006286

【氏名又は名称】三菱自動車工業株式会社

(74)【代理人】

【識別番号】110002664

【氏名又は名称】弁理士法人相原国際知財事務所

(72)【発明者】

【氏名】谷川 颯

【テーマコード（参考）】

5B050

5E555

5L096

【Ｆターム（参考）】

5B050AA03

5B050BA09

5B050BA13

5B050CA07

5B050CA08

5B050DA01

5B050EA04

5B050EA26

5B050FA02

5B050FA05

5E555AA26

5E555BA02

5E555BA04

5E555BA23

5E555BB04

5E555BB23

5E555BC04

5E555BD01

5E555CA42

5E555DA01

5E555DB53

5E555FA00

5L096AA09

5L096CA04

5L096CA05

5L096CA22

5L096CA24

5L096EA35

5L096FA66

5L096FA67

5L096FA69

(57)【要約】

【課題】ユーザーによる車両のカスタマイズ内容を車載情報端末に表示される三次元モデルに反映し、ユーザーの違和感を解消可能な自車画像登録システムを提供する。
【解決手段】自車画像登録システム１は、車両の三次元モデルを表示する車載情報端末３０と、車両の画像を撮影する撮像装置１２と、撮像装置１２により撮影された複数の画像に基づいて車両の新モデルを生成する三次元モデル生成部２２と、を備え、車載情報端末３０は、三次元モデル生成部２２で生成された新モデルを取得し、予め記憶している車両の元モデルを新モデルに更新して表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の三次元モデルを表示する車載情報端末への自車画像登録システムであって、
前記車両の画像を撮影する撮像装置と、
前記撮像装置により撮影された複数の画像に基づいて前記車両の新たな三次元モデルを生成する三次元モデル生成部と、を備え、
前記車載情報端末は、前記三次元モデル生成部で生成された前記新たな三次元モデルを取得し、予め記憶している前記車両の三次元モデルを前記新たな三次元モデルに更新して表示する自車画像登録システム。

【請求項2】

前記三次元モデル生成部は、前記複数の画像から前記新たな三次元モデルを生成するために必要な所定情報を抽出し、抽出した前記所定情報を前記予め記憶している前記車両の三次元モデルに反映して前記新たな三次元モデルを生成する請求項１に記載の自車画像登録システム。

【請求項3】

前記所定情報は、前記車両の外装部分に含まれる色の情報を含む請求項２に記載の自車画像登録システム。

【請求項4】

前記撮像装置を搭載した携帯端末を備え、
前記携帯端末は、前記撮像装置で撮像された前記複数の画像に含まれる物体の三次元情報を取得し、前記三次元情報に基づいて前記複数の画像に含まれる前記物体の三次元モデルを取得し、
前記三次元モデル生成部は、前記携帯端末で取得した前記複数の画像に含まれる前記物体の三次元モデルから、前記車両に該当する部分を抽出して前記新たな三次元モデルを生成する請求項１に記載の自車画像登録システム。

【請求項5】

前記車両の外部に設けられる画像処理用サーバを備え、
前記三次元モデル生成部は、前記画像処理用サーバに含まれる
請求項１に記載の自車画像登録システム。

【請求項6】

前記三次元モデル生成部は、前記車載情報端末に含まれる請求項１に記載の自車画像登録システム。

【請求項7】

前記三次元モデル生成部は、前記撮像装置を搭載した携帯端末に含まれる請求項１に記載の自車画像登録システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の三次元モデルを表示する車載情報端末を備えた自車画像登録システムに関する。

【背景技術】

【0002】

従来、車載情報端末に自車両の三次元モデルを表示する技術が知られている。例えば、特許文献１には、自車両の３Ｄ画像（三次元モデル）を表示するカーナビゲーション装置といった機器操作装置（車載情報端末）が記載されている。この装置では、自車両と自車両が備えるワイパーやヘッドライトといった設備のデータを記憶しておき、当該データに基づいて自車両の３Ｄ画像を算出し、設備の動きにあわせて３Ｄ画像の表示態様を変更している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－７６９６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両のユーザーが自車両の外装色を変更したり、部品の後付けや取り外しを行ったりするカスタマイズを行うことがある。上記特許文献１の装置では、予め記憶した自車両と自車両が備える設備のデータから車両の三次元モデルを生成しているものにすぎず、ユーザーによるカスタマイズの内容を三次元モデルに反映することはできない。そのため、車載情報端末に表示される車両の三次元モデルとカスタマイズ後の車両の外観とが一致せず、ユーザーが違和感を覚える可能性がある。

【0005】

本発明はこのような課題に鑑みてなされたものであり、その目的とするところは、ユーザーによる車両のカスタマイズ内容を車載情報端末に表示される三次元モデルに反映し、ユーザーの違和感を解消可能な自車画像登録システムを提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の自車画像登録システムは、前記車両の三次元モデルを表示する車載情報端末への自車画像登録システムであって、前記車両の画像を撮影する撮像装置と、前記撮像装置により撮影された複数の画像に基づいて前記車両の新たな三次元モデルを生成する三次元モデル生成部と、を備え、前記車載情報端末は、前記三次元モデル生成部で生成された前記新たな三次元モデルを取得し、予め記憶している前記車両の三次元モデルを前記新たな三次元モデルに更新して表示する。

【0007】

この構成により、撮像装置で撮影された車両の複数の画像から生成された車両の新たな三次元モデルを車載情報端末に表示することができる。したがって、本発明の自車画像登録システムによれば、ユーザーによる車両のカスタマイズ内容を車載情報端末に表示される三次元モデルに反映し、ユーザーの違和感を解消可能となる。

【0008】

また、前記三次元モデル生成部は、前記複数の画像から前記新たな三次元モデルを生成するために必要な所定情報を抽出し、抽出した前記所定情報を前記予め記憶している前記車両の三次元モデルに反映して前記新たな三次元モデルを生成することが好ましい。

【0009】

この構成により、複数の画像により新たな三次元モデルをすべて生成する場合に比べて、車両生産時などにおいて事前に準備され、比較的に精度良く生成しやすい元の三次元モデルを活用して新たな三次元モデルを生成することができる。その結果、新たな三次元モデルを精度良く生成し、新たな三次元モデルに不自然な凹凸や歪みが生じたりすることを抑制することができる。

【0010】

また、前記所定情報は、前記車両の外装部分に含まれる色の情報を含むことが好ましい。この構成により、比較的に精度良く生成されている元の三次元モデルを活用しながら、ユーザーによる車両の塗装といった部分的な色の変更を反映した新たな三次元モデルを得ることができる。

【0011】

また、上記自車画像登録システムは、前記撮像装置を搭載した携帯端末を備え、前記携帯端末は、前記撮像装置で撮像された前記複数の画像に含まれる物体の三次元情報を取得し、前記三次元情報に基づいて前記複数の画像に含まれる前記物体の三次元モデルを取得し、前記三次元モデル生成部は、前記携帯端末で取得した前記複数の画像に含まれる前記物体の三次元モデルから、前記車両に該当する部分を抽出して前記新たな三次元モデルを生成することが好ましい。

【0012】

この構成により、撮像装置で撮影した複数の画像に含まれる物体を三次元モデルとして取得する携帯端末の機能を有効利用して、新たな三次元モデルを生成することができる。その結果、二次元の画像のみから新たな三次元モデルを生成するよりも、立体をより正確に再現した上で新たな三次元モデルを得ることが可能となる。したがって、新たな三次元モデルを精度良く生成し、新たな三次元モデルに不自然な凹凸や歪みが生じたりすることを抑制することができる。

【0013】

また、上記自車画像登録システムは、前記車両の外部に設けられる画像処理用サーバを備え、前記三次元モデル生成部は、前記画像処理用サーバに含まれることが好ましい。この構成により、比較的に負荷が大きい三次元モデルの生成処理を、車外の画像処理用サーバで実行することができる。その結果、車載情報端末で三次元モデルを生成する場合に比べて、車載情報端末の処理負荷を低減することができる。

【0014】

また、前記三次元モデル生成部は、前記車載情報端末に含まれることが好ましい。また、前記三次元モデル生成部は、前記撮像装置を搭載した携帯端末に含まれることが好ましい。この構成により、車外のサーバを用いることなく、新たな三次元モデルを得ることができる。

【発明の効果】

【0015】

本発明の自車画像登録システムによれば、ユーザーによる車両のカスタマイズ内容を車載情報端末に表示される三次元モデルに反映し、ユーザーの違和感を解消可能となる。

【図面の簡単な説明】

【0016】

【図1】第一実施形態の自車画像登録システムの一例を示す概略構成図である。

【図2】表示装置に表示される元モデルを含む画像の一例を示す説明図である。

【図3】表示装置に表示される新モデルを含む画像の一例を示す説明図である。

【図4】第一実施形態の携帯端末により実行される画像登録処理の一例を示すフローチャートである。

【図5】第一実施形態の三次元モデル生成部により実行される画像登録処理の一例を示すフローチャートである。

【図6】第二実施形態の自車画像登録システムの一例を示す概略構成図である。

【図7】第二実施形態の三次元モデル生成部により実行される画像登録処理の一例を示す説明図である。

【図8】第三実施形態の自車画像登録システムの一例を示す概略構成図である。

【図9】第三実施形態の三次元モデル生成部により実行される画像登録処理の一例を示す説明図である。

【図10】変形例の自車画像登録システムの一例を示す概略構成図である。

【図11】他の変形例の自車画像登録システムの一例を示す概略構成図である

【発明を実施するための形態】

【0017】

以下、図面に基づき本発明の実施形態について説明する。

【0018】

［第一実施形態］
図１は、第一実施形態の自車画像登録システムの一例を示す概略構成図である。自車画像登録システム１は、図１に示すように、携帯端末１０と、サーバ２０（画像処理用サーバ）と、車載情報端末３０とを備えている。

【0019】

携帯端末１０は、車両Ｃ（図２、３参照）に非搭載の情報処理端末であり、記憶装置（ＲＯＭ、ＲＡＭ、不揮発性ＲＡＭ等）、中央演算処理装置（ＣＰＵ）などを含んで構成される。携帯端末１０は、例えば、車両Ｃのユーザーが所持するスマートフォン、携帯電話、タブレットコンピュータである。携帯端末１０は、通信装置１１と、撮像装置１２とを含む。通信装置１１は、サーバ２０の通信装置２１との間で、無線通信により各種情報をやり取りする。撮像装置１２は、携帯端末１０に搭載され、デジタル画像を撮像可能なデジタルカメラといった撮像機器である。携帯端末１０は、所持者（本実施形態では、車両Ｃのユーザーとする）の操作に応じて撮像装置１２により画像を撮影する。撮像装置１２により撮影された画像は、通信装置１１を介してサーバ２０へと送信される。

【0020】

サーバ２０は、車載情報端末３０が搭載される車両Ｃの外部に設けられる。サーバ２０は、通信装置２１と、三次元モデル生成部２２とを含む。通信装置２１は、携帯端末１０の通信装置１１や車載情報端末３０の通信装置３１との間で、無線通信により各種情報をやり取りする。三次元モデル生成部２２は、記憶装置（ＲＯＭ、ＲＡＭ、不揮発性ＲＡＭ等）、中央演算処理装置（ＣＰＵ）、画像処理装置（ＧＰＵ）などを含んで構成される。三次元モデル生成部２２は、通信装置２１を介して携帯端末１０から取得した複数の画像に基づいて、車両Ｃの三次元モデルを生成する。三次元モデル生成部２２で生成された三次元モデルは、通信装置２１を介して車載情報端末３０へと送信される。

【0021】

車載情報端末３０は、車両Ｃに搭載された情報端末である。車載情報端末３０は、例えば、カーナビゲーションシステムやビデオ機器といった車載インフォテインメント（IVI: in-vehicle infotainment）である。また、車載情報端末３０は、運転席前方に設けられるメーターディスプレイに画像を表示させるものであってもよい。車載情報端末３０は、通信装置３１と、表示装置３２と、コントロールユニット３３とを含む。通信装置３１は、外部機器と無線通信により各種情報をやり取りする。表示装置３２は、ディスプレイといった画像を表示可能な装置である。

【0022】

コントロールユニット３３は、車載情報端末３０の総合的な制御を行うための制御装置であり、記憶部３４および制御部３５を含む。記憶部３４は、ＲＯＭ、ＲＡＭ、不揮発性ＲＡＭといった記憶媒体により構成される。本実施形態において、記憶部３４には、車載情報端末３０が搭載される車両Ｃの三次元モデルＭ１（図２参照。以下、「元モデルＭ１」と称する）が予め記憶されている。また、記憶部３４には、通信装置３１を介して取得される新たな三次元モデルＭ２（図３参照。以下、「新モデルＭ２」と称する）が記憶される。制御部３５は、中央演算処理装置（ＣＰＵ）などを含んで構成される。

【0023】

制御部３５は、通信制御部３６と、表示生成部３７とを含む。通信制御部３６は、通信装置３１を介して後述するサーバ２０から新モデルＭ２を取得し、記憶部３４に記憶させる。表示生成部３７は、記憶部３４に記憶された元モデルＭ１や新モデルＭ２を含む画像を生成し、表示装置３２に表示させる。

【0024】

図２は、表示装置３２に表示される元モデルＭ１を含む画像の一例を示す説明図である。また、図３は、表示装置３２に表示される新モデルＭ２を含む画像の一例を示す説明図である。図示するように、表示生成部３７は、例えば、元モデルＭ１または新モデルＭ２を上方から視て車両周囲の背景画像と合成した画像Ｖ１、Ｖ２（俯瞰映像）を生成し、表示装置３２に表示させる。なお、車両周囲の背景画像は、例えば、車両Ｃに搭載される複数の撮像装置（図示省略）で撮影された画像から生成されればよい。また、表示生成部３７は、背景画像と合成することなく、元モデルＭ１や新モデルＭ２のみを示す画像を生成し、表示装置３２に表示させてもよい。

【0025】

次に、車載情報端末３０で表示する三次元モデルを上記元モデルＭ１から新モデルＭ２へと更新する画像登録処理について、図４および図５を参照しながら説明する。図４は、第一実施形態の携帯端末１０により実行される画像登録処理の一例を示すフローチャートである。図５は、第一実施形態の三次元モデル生成部２２により実行される画像登録処理の一例を示すフローチャートである。

【0026】

まず、図４に示す携帯端末１０の画像登録処理について説明する。図４に示す処理は、ユーザーが携帯端末１０を操作することで実行される。携帯端末１０は、ユーザーの操作に応じて、撮像装置１２により車両Ｃの画像を撮影し、図示しない記憶部に撮影した画像のデータを記憶する（ステップＳ１０）。

【0027】

次に、携帯端末１０は、処理の終了条件が成立したか否かを判定する（ステップＳ１１）。具体的には、携帯端末１０は、新モデルＭ２を生成するための撮影完了条件が達成されたか否かを判定すると共に、ユーザーによる撮影終了指示がなされたか否かを判定する。撮影完了条件は、例えば、ユーザーの操作により撮影した画像の枚数が、予め定められる撮影枚数に達したことを含む。予め定められる撮影枚数は、新モデルＭ２の生成に必要と推定される枚数として設定されればよい。また、ユーザーによる撮影終了指示は、ユーザーが十分な枚数の画像を撮影したと自身で判断したときに、携帯端末１０を操作して行われる。ステップＳ１１では、撮影完了条件が達成されたことと、撮影終了指示がなされたこととのいずれか一方が成立すれば、処理の終了条件が成立したと判定する。ただし、双方が成立したときに処理の終了条件が成立したと判定してもよい。

【0028】

携帯端末１０は、処理の終了条件が成立していないと判定したとき（ステップＳ１１でＮｏ）、現在の状態で待機し、ユーザーの操作による撮影を繰り返す。一方、携帯端末１０は、処理の終了条件が成立したと判定したとき（ステップＳ１１でＹｅｓ）、記憶部に保存していた複数の画像をサーバ２０に送信する（ステップＳ１２）。なお、携帯端末１０は、撮像装置１２で撮影が行われるごとに画像をサーバ２０へと随時送信してもよい。

【0029】

次に、図５に示すサーバ２０の画像登録処理について説明する。図５に示す処理は、サーバ２０が携帯端末１０から複数の画像を受信したとき、三次元モデル生成部２２により実行される。三次元モデル生成部２２は、携帯端末１０から複数の画像を受信すると、複数の画像から車両部分の検出処理を実行する（ステップＳ２１）。車両部分の検出処理は、例えば物体検出（Object Detection)処理、セグメンテーション処理といった周知の画像処理手法を用いて、二次元のデジタル画像データ内の車両Ｃに該当する部分を検出すればよい。

【0030】

次に、三次元モデル生成部２２は、複数の画像から、新モデルＭ２を生成するために必要な数だけ車両部分を検出することができたか否かを判定する（ステップＳ２２）。サーバ２０は、複数の画像から新モデルＭ２を生成するために必要な数だけ車両部分を検出することができないとき（ステップＳ２２でＮｏ）、画像登録処理を終了する。この場合、サーバ２０は、車両Ｃを検出することができなかった旨をユーザーに報知するように、携帯端末１０に送信してもよい。

【0031】

一方、三次元モデル生成部２２は、複数の画像から新モデルＭ２を生成するために必要な数だけ車両Ｃを検出することができたとき（ステップＳ２２でＹｅｓ）、複数の画像を用いて、新モデルＭ２を構成する３Ｄ点群を生成する（ステップＳ２３）。さらに、三次元モデル生成部２２は、複数の画像を用いて、新モデルＭ２を構成するテクスチャを生成する（ステップＳ２４）。ステップＳ２３、Ｓ２４の処理は、周知の三次元モデル生成手法や機械学習モデルを使用して実行されればよい。また、ステップＳ２３、Ｓ２４の処理は、いずれが先に実行されてもよく、双方が並列に実行されてもよい。

【0032】

次に、三次元モデル生成部２２は、生成した３Ｄ点群およびテクスチャから、車両部分の抽出処理を実行する（ステップＳ２５）。車両部分の抽出処理では、ステップＳ２１で検出した車両部分に該当する部分の３Ｄ点群およびテクスチャを抽出すればよい。これにより、抽出した３Ｄ点群およびテクスチャが車両Ｃの新モデルＭ２として生成される。三次元モデル生成部２２は、生成した車両Ｃの新モデルＭ２を記憶部に記憶すると共に、車載情報端末３０へと送信する（ステップＳ２６）。

【0033】

これにより、サーバ２０から新モデルＭ２を受信した車載情報端末３０は、新モデルＭ２を記憶部３４に記憶し、車両Ｃを示す三次元モデルとして新モデルＭ２を登録して新モデルＭ２を含む画像Ｖ２を表示生成部３７により生成する（図４参照）。すなわち、車載情報端末３０は、予め記憶していた車両Ｃの元モデルＭ１を新モデルＭ２に更新して表示する。図４に示す新モデルＭ２では、図３に示す元モデルＭ１に対して、車両前端部分にパーツＰ１が追加され、車両後端部分にパーツＰ２が追加されている。また、新モデルＭ２では、図３に示す元モデルＭ１に対して、車両Ｃの外装部分であるルーフＲに塗装が施されている。このように、ユーザーによるパーツＰ１、Ｐ２の後付けや塗装といったカスタマイズが行われた場合に、カスタマイズ内容が反映された新モデルＭ２が表示される。なお、以上の処理において、元モデルＭ１が記憶部３４から削除される必要はない。

【0034】

以上説明したように、第一実施形態の自車画像登録システム１は、車両Ｃの画像を撮影する撮像装置１２と、撮像装置１２により撮影された複数の画像に基づいて車両Ｃの新モデルＭ２を生成する三次元モデル生成部２２と、を備え、車載情報端末３０は、三次元モデル生成部２２で生成された新モデルＭ２を取得し、予め記憶している車両Ｃの元モデルＭ１を新モデルＭ２に更新して表示する。

【0035】

この構成により、撮像装置１２で撮影された車両Ｃの複数の画像から生成された車両Ｃの新モデルＭ２を車載情報端末３０に表示することができる。したがって、自車画像登録システム１によれば、ユーザーによる車両Ｃのカスタマイズ内容を車載情報端末３０に表示される三次元モデルに反映し、ユーザーの違和感を解消可能となる。ひいては、ユーザーの車両Ｃへの愛着を向上させることができる。

【0036】

また、第一実施形態の自車画像登録システム１は、車両Ｃの外部に設けられるサーバ２０（画像処理用サーバ）を備え、三次元モデル生成部２２は、サーバ２０に含まれる。この構成により、比較的に負荷が大きい三次元モデルの生成処理を、車外の画像処理用サーバであるサーバ２０で実行することができる。その結果、車載情報端末３０で三次元モデルを生成する場合に比べて、車載情報端末３０の処理負荷を低減することができる。

【0037】

［第二実施形態］
次に、第二実施形態の画像登録処理について説明する。図６は、第二実施形態の自車画像登録システムの一例を示す概略構成図である。また、図７は、第二実施形態の三次元モデル生成部により実行される画像登録処理の一例を示す説明図である。第二実施形態の自車画像登録システム２は、第一実施形態の三次元モデル生成部２２を含むサーバ２０に代えて、三次元モデル生成部２２２を含むサーバ２２０を備えている。第二実施形態の自車画像登録システム２の他の構成は、第一実施形態の自車画像登録システム２と同様であるため、同一の構成については同一の符号を付し、説明を省略する。

【0038】

以下、図７を参照しながら、三次元モデル生成部２２２の機能について説明する。三次元モデル生成部２２２は、携帯端末１０から複数の画像を受信すると、複数の画像から車両部分の検出処理（ステップＳ２０１）、車両部分を検出することができたか否かの判定を行う（ステップＳ２０２）。ステップＳ２０１、Ｓ２０２の処理は、図５のステップＳ２１、Ｓ２２の処理と同様であるため、説明を省略する。

【0039】

次に、三次元モデル生成部２２２は、車両Ｃが画像内でいずれの方向を向いているかを推定する車両角度推定処理を実行する（ステップＳ２０３）。車両角度推定処理は、例えば、検出した車両Ｃに該当する部分の画素のうち特徴点の画素を特定し、当該特徴点が画像内のいずれの位置にあるかに基づいて実行される。特徴点は、予め定められた車両の特定部分を周知の画像処理手法で認識するものとすればよい。また、車両の特定部分を、機械学習モデルを用いて定めるものとしてもよい。なお、ステップＳ２０１の処理において、物体検出処理を用いる場合、この処理で車両Ｃの角度を推定してもよい。

【0040】

次に、三次元モデル生成部２２２は、複数の画像から、新モデルＭ２を生成するために必要な所定情報として車両Ｃのベース色を検出するベース色検出処理を実行する（ステップＳ２０４）。ベース色検出処理は、例えば、複数の画像内の車両部分のうち、最も面積が広い部分の色を周知の画像処理手法により認識することで実行されればよい。なお、ステップＳ２０１、Ｓ２０３で車両Ｃのベース色を検出済みである場合、ステップＳ２０４の処理は省略されてもよい。

【0041】

次に、三次元モデル生成部２２２は、ベース色の検出が完了したか否かを判定する（ステップＳ２０５）。三次元モデル生成部２２２は、ベース色の検出が完了していないと判定したとき（ステップＳ２０５でＮｏ）、ベース色の手動選択処理を実行する（ステップＳ２０６）。ベース色の手動選択処理は、携帯端末１０により、ユーザーにベース色を選択させる処理である。ベース色の手動選択処理は、例えば、携帯端末１０にいずれかの画像を表示させると共に、ユーザーが画像内で選択した箇所の色をベース色として認識することで実行されればよい。また、ベース色の手動選択処理は、携帯端末１０にカラーパレットのような選択肢を表示させると共に、ユーザーが選択肢から選んだ色をベース色として認識するといった手法であってもよい。

【0042】

三次元モデル生成部２２２は、ベース色の検出が完了したと判定したとき（ステップＳ２０５でＹｅｓ）またはステップＳ２０６のベース色手動選択処理が完了したとき、車両Ｃの部分色検出処理を実行する（ステップＳ２０７）。車両Ｃの部分色検出処理は、新モデルＭ２を生成するために必要な所定情報として、車両Ｃの外装部分に含まれる部分的な塗装や、外装に貼り付けられたステッカーを検出する処理である。部分色検出処理は、複数の画像内の車両部分のうち、上記ベース色とは異なる色の箇所を周知の画像処理手法により検出し、検出した箇所を部分的な塗装またはステッカーとして認識すればよい。このとき、画像内における車両Ｃの位置が車両検出処理により特定済みであり、車両Ｃの角度が車両角度推定処理により特定済みであるため、車両Ｃのいずれの箇所に部分的な塗装やステッカーが存在するかを認識することができる。三次元モデル生成部２２２は、以上の車両Ｃのベース色に関する情報と、部分色に関する情報を記憶部に記憶しておく。

【0043】

次に、三次元モデル生成部２２２は、車両Ｃの上記ベース色の情報および部分色に関する情報に基づいて、新モデルＭ２用のテクスチャを生成する（ステップＳ２０８）。さらに、三次元モデル生成部２２２は、車載情報端末３０から元モデルＭ１を受信する（ステップＳ２０９）。元モデルＭ１の受信は、本処理の開始時点で行われてもよい。そして、三次元モデル生成部２２２は、元モデルＭ１を構成する３Ｄ点群に、新たに生成した新モデルＭ２用のテクスチャを合成することで、新モデルＭ２を生成する（ステップＳ２１０）。三次元モデル生成部２２２は、生成した新モデルＭ２を車載情報端末３０に送信する（ステップＳ２１１）。

【0044】

なお、車載情報端末３０が三次元モデルの生成処理を実行することが可能である場合、ステップＳ２０８で生成したテクスチャをサーバ２０から車載情報端末３０に送信し、車載情報端末３０が元モデルＭ１にテクスチャを合成して新モデルＭ２を生成してもよい。

【0045】

以上説明したように、第二実施形態の三次元モデル生成部３２２は、複数の画像から新たな三次元モデルを生成するために必要な所定情報を抽出し、抽出した所定情報を予め記憶している車両Ｃの元モデルＭ１に反映して新モデルＭ２を生成する。

【0046】

この構成により、複数の画像により新モデルＭ２をすべて生成する場合に比べて、車両生産時などにおいて事前に準備され、比較的に精度良く生成しやすい元モデルＭ１を活用して新モデルＭ２を生成することができる。その結果、新モデルＭ２を精度良く生成し、新モデルＭ２に不自然な凹凸や歪みが生じたりすることを抑制することができる。

【0047】

また、上記所定情報は、車両Ｃの外装部分に含まれる色の情報を含む。すなわち、上記所定情報は、車両Ｃの外装部分の部分的な塗装およびステッカーといった部分色の情報を含む。この構成により、比較的に精度良く生成されている元モデルＭ１を活用しながら、ユーザーによる車両Ｃの塗装といった部分的な色の変更を反映した新モデルＭ２を得ることができる。

【0048】

［第三実施形態］
次に、第三実施形態について説明する。図８は、第三実施形態の自車画像登録システムの一例を示す概略構成図である。第三実施形態の自車画像登録システム３は、第一実施形態の携帯端末１０に代えて携帯端末３１０を備えている。また、自車画像登録システム３は、第一実施形態の三次元モデル生成部２２を含むサーバ２０に代えて、三次元モデル生成部３２２を含むサーバ３２０を備えている。自車画像登録システム３の他の構成は、自車画像登録システム１と同様であるため、同一の構成については同一の符号を付し、説明を省略する。

【0049】

携帯端末３１０は、第一実施形態の通信装置１１および撮像装置１２に加えて、三次元情報取得装置１３と、三次元モデル取得部１４とを備えている。三次元情報取得装置１３は、ユーザーの操作により、撮像装置１２で撮影された画像内に含まれる物体の三次元情報として、当該物体との距離の情報を取得する。三次元情報取得装置１３は、撮像装置１２で撮影された画像内に含まれる物体との距離を取得することが可能なものであればよい。三次元情報取得装置１３は、例えば、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）またはＴｏＦ（Time of Flight）カメラといった測距センサである。

【0050】

三次元モデル取得部１４は、撮像装置１２で撮影された複数の画像と、三次元情報取得装置１３で取得された物体の三次元情報に基づいて、上記複数の画像に含まれる物体の三次元モデルを取得する。ここでの「三次元モデル」とは、車両部分のみではなく、上記複数の画像に含まれる物体全体を３Ｄ点群およびテクスチャで構成したものである。三次元モデル取得部１４は、例えば、図示しない外部サーバへと上記複数の画像および物体の三次元情報を送信し、当該外部サーバが周知の手法により生成した三次元モデルを受信して取得すればよい。また、三次元モデル取得部１４は、自らが上記複数の画像と三次元情報に基づいて、周知の手法により三次元モデルを生成してもよい。三次元モデル取得部１４は、取得した三次元モデルをサーバ３２０に通信装置１１を介して送信する。

【0051】

次に、第三実施形態のサーバ３２０に含まれる三次元モデル生成部３２２の機能について、図９を参照しながら説明する。図９は、第三実施形態の三次元モデル生成部３２２により実行される画像登録処理の一例を示す説明図である。

【0052】

三次元モデル生成部３２２は、携帯端末３１０から上記三次元モデルを受信すると、三次元モデル中の車両部分の３Ｄ点群抽出処理を実行する（ステップＳ３０１）。３Ｄ点群抽出処理は、例えば、三次元モデルに含まれる車両Ｃに該当する部分の３Ｄ点群を認識することができるように、事前に識別子が付与された点群情報を用いて学習された機械学習モデルを使用し、今回の三次元モデルから車両部分を予測して選択するといった手法で実行されればよい。

【0053】

次に、三次元モデル生成部３２２は、受信した三次元モデルに基づいて、三次元モデル中の車両部分のテクスチャ抽出処理を実行する（ステップＳ３０２）。テクスチャ抽出処理は、例えば、三次元モデルに含まれる車両Ｃに該当する部分のテクスチャを認識することができるように、事前に識別子が付与されたテクスチャ情報を用いて学習された機械学習モデルを使用し、今回の三次元モデルから車両部分のテクスチャを予測して選択するといった手法で実行されればよい。なお、ステップＳ３０１とステップＳ３０２とは、いずれが先に実行されてもよく、双方が並列に実行されてもよい。

【0054】

次に、三次元モデル生成部３２２は、上記抽出した車両部分の３Ｄ点群とテクスチャとを合成して車両Ｃの新モデルＭ２を生成し（ステップＳ３０３）、生成した新モデルＭ２を車載情報端末３０へと送信する（ステップＳ３０４）。

【0055】

以上説明したように、第三実施形態の自車画像登録システム３は、撮像装置１２を搭載した携帯端末３１０を備え、携帯端末３１０は、撮像装置１２で撮像された複数の画像に含まれる物体の三次元情報を取得し、三次元情報に基づいて複数の画像に含まれる物体の三次元モデルを取得し、三次元モデル生成部３２２は、携帯端末３１０で取得した複数の画像に含まれる物体の三次元モデルから、車両Ｃに該当する部分を抽出して新モデルＭ２を生成する。

【0056】

この構成により、撮像装置１２で撮影した複数の画像に含まれる物体を三次元モデルとして取得する携帯端末３１０の機能を有効利用して、新モデルＭ２を生成することができる。その結果、二次元の画像のみから新モデルＭ２を生成するよりも、立体をより正確に再現した上で新モデルＭ２を得ることが可能となる。したがって、新モデルＭ２を精度良く生成し、新モデルＭ２に不自然な凹凸や歪みが生じたりすることを抑制することができる。

【0057】

以上で実施形態の説明を終えるが、本発明の態様はこの実施形態に限定されるものではない。例えば、第一実施形態から第三実施形態では、サーバ２０、２２０、３２０で車両Ｃの新モデルＭ２を生成するものとしたが、新モデルＭ２は、図１０および図１１に示すように、他の装置で生成されてもよい。

【0058】

図１０は、変形例の自車画像登録システムの一例を示す概略構成図である。自車画像登録システム４は、図示するように、三次元モデル生成部２２を含む車載情報端末４３０を備え、サーバ２０、２２０、３２０が省略されている。車載情報端末４３０は、携帯端末１０から車両Ｃの複数の画像を受信し、受信した複数の画像に基づいて、三次元モデル生成部２２が上記図５に示した処理を実行することで新モデルＭ２を生成する。

【0059】

また、図１１は、他の変形例の自車画像登録システム５の一例を示す概略構成図である。自車画像登録システム５は、図示するように、三次元モデル生成部２２を含む携帯端末５１０を備え、サーバ２０、２２０、３２０が省略されている。携帯端末５１０は、ユーザーの操作により撮影した車両Ｃの複数の画像に基づいて、三次元モデル生成部２２が図５に示した処理を実行することで新モデルＭ２を生成し、生成した新モデルＭ２を車載情報端末３０に送信する。

【0060】

以上の図１０、図１１の構成により、車外のサーバ２０、２２０、３２０を用いることなく、新モデルＭ２を得ることができる。なお、図１０、１１の構成において、三次元モデル生成部２２を三次元モデル生成部２２２としてもよい。また、携帯端末１０、５１０が三次元情報取得装置１３と、三次元モデル取得部１４とを備え、三次元モデル生成部２２を三次元モデル生成部３２２としてもよい。

【符号の説明】

【0061】

１、２、３、４、５ 自車画像登録システム
１０、３１０、５１０ 携帯端末
１２ 撮像装置
２０、２２０、３２０ サーバ
２２、２２２、３２２ 三次元モデル生成部
３０、４３０ 車載情報端末
Ｃ 車両
Ｍ１、Ｍ２ 三次元モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】