特開 2024-71113 車両カスタム支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024071113

(43)【公開日】2024-05-24

(54)【発明の名称】車両カスタム支援システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240517BHJP

   H04N 7/18 20060101ALI20240517BHJP

   G09G 5/00 20060101ALI20240517BHJP

   G09G 5/37 20060101ALI20240517BHJP

   G09G 5/373 20060101ALI20240517BHJP

   G09G 5/38 20060101ALI20240517BHJP

   G09G 5/377 20060101ALI20240517BHJP

【ＦＩ】

G06T19/00 600

H04N7/18 U

G09G5/00 550C

G09G5/37 300

G09G5/373

G09G5/38 100

G09G5/377 100

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022181877

(22)【出願日】2022-11-14

(71)【出願人】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】110000394

【氏名又は名称】弁理士法人岡田国際特許事務所

(72)【発明者】

【氏名】寺井 英晃

(72)【発明者】

【氏名】溝邉 伸明

(72)【発明者】

【氏名】中村 直之

(72)【発明者】

【氏名】鷲見 和成

(72)【発明者】

【氏名】音部 哲郎

【テーマコード（参考）】

5B050

5C054

5C182

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050CA07

5B050DA04

5B050EA09

5B050EA19

5B050EA27

5C054CA04

5C054CC02

5C054FC12

5C054FE14

5C054FE17

5C182AA12

5C182AB08

5C182AC02

5C182AC03

5C182BA01

5C182BA06

5C182BA14

5C182BA65

5C182BA66

5C182BC03

5C182BC11

5C182BC14

5C182BC26

5C182CB11

5C182CB13

5C182CB14

5C182CB42

5C182CB44

5C182CB54

5C182DA52

(57)【要約】

【課題】利用者が望む画角及び背景に基づいて装着パーツ（カスタムパーツ）が車両に装着された状態をディスプレイ装置に表示させることができる車両カスタム支援システムを提供する。
【解決手段】車両カスタム支援システムは、処理部を含む。処理部は、カメラによって撮影された車両画像から車両の位置、大きさ及び角度を含む画像内車両情報を取得する。加えて、処理部は、車両に装着される装着パーツの立体形状を表すパーツ形状データ及び画像内車両情報に基づいて、車両に取付けられる装着パーツの大きさ及び角度に対応する調整パーツ画像、及び車両画像における調整パーツ画像のパーツ画像位置を取得する。更に、処理部は、パーツ画像位置に係る位置に調整パーツ画像を車両画像に重ねた装着画像をディスプレイ装置に表示させる。
【選択図】図７

【特許請求の範囲】

【請求項1】

車両カスタム支援システムであって、
カメラによって撮影された車両画像から車両の位置、大きさ及び角度を含む画像内車両情報を取得し、
前記車両に装着される装着パーツの立体形状を表すパーツ形状データ及び前記画像内車両情報に基づいて、前記車両に取付けられる前記装着パーツの大きさ及び角度に対応する調整パーツ画像、及び前記車両画像における前記調整パーツ画像のパーツ画像位置を取得し、
前記パーツ画像位置に係る位置に前記調整パーツ画像を前記車両画像に重ねた装着画像をディスプレイ装置に表示させる、
処理部を有する車両カスタム支援システム。

【請求項2】

請求項１に記載の車両カスタム支援システムであって、
前記処理部は、
利用者によって指定された拡大率にて前記装着画像を前記ディスプレイ装置に表示させる、車両カスタム支援システム。

【請求項3】

請求項１に記載の車両カスタム支援システムであって、
前記処理部は、
前記装着パーツが複数のパーツを含んでいる場合、前記複数のパーツのそれぞれの前記パーツ形状データに基づいて前記装着パーツの立体形状を表す結合立体形状データを生成し且つ前記画像内車両情報及び前記結合立体形状データに基づいて前記調整パーツ画像を取得する、車両カスタム支援システム。

【請求項4】

請求項１に記載の車両カスタム支援システムであって、
前記処理部は、
前記車両の立体形状を表す車両形状データ及び前記パーツ形状データに基づいて、前記装着パーツが前記車両に装着された場合における前記車両の車体に対する前記装着パーツの突出量又は凹み量を含む装着情報を前記ディスプレイ装置に表示させる、車両カスタム支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両カスタム支援システムに関する。例えば、装着パーツ（カスタムパーツ）が車両に装着された状態を表す画像をディスプレイに表示させる車両カスタム支援システムに関する。

【背景技術】

【0002】

この種のシステムの１つ（従来システム）は、利用者によって選択されたホイール（即ち、装着パーツ）を車両の側面画像に重ねてディスプレイに表示させる。加えて、従来システムでは、予め用意された複数の背景画像の中から利用者が選択した画像を車両の背景として表示させることができる。従って、従来システムによれば、実際の車両及び装着パーツを用いなくても装着パーツが車両に装着された状態を確認することができる。即ち、従来システムを用いて装着パーツを仮想的に試着することが可能となる（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０－２６２５４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来システムでは、車両の画角（即ち、車両を視認する方向）は側面に限られ且つ選択できる背景画像の数も限定される。そのため、利用者が装着状態を確認したい画角及び背景に即して装着パーツをディスプレイ上にて試着することが従来システムによっては困難である場合が発生し得る。

【0005】

本発明は、このような点に鑑みて創案されたものであり、利用者が望む画角及び背景に基づいて装着パーツの装着状態をディスプレイに表示させることができる車両カスタム支援システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明の第１の発明に係る車両カスタム支援システムは、カメラによって撮影された車両画像から車両の位置、大きさ及び角度を含む画像内車両情報を取得し、前記車両に装着される装着パーツの立体形状を表すパーツ形状データ及び前記画像内車両情報に基づいて、前記車両に取付けられる前記装着パーツの大きさ及び角度に対応する調整パーツ画像、及び前記車両画像における前記調整パーツ画像のパーツ画像位置を取得し、前記パーツ画像位置に係る位置に前記調整パーツ画像を前記車両画像に重ねた装着画像をディスプレイ装置に表示させる、処理部を有する。

【0007】

本発明の第２の発明は、上記第１の発明に係る車両カスタム支援システムであって、前記処理部が、利用者によって指定された拡大率にて前記装着画像を前記ディスプレイ装置に表示させる。

【0008】

本発明の第３の発明は、上記第１の発明に係る車両カスタム支援システムであって、前記処理部が、前記装着パーツが複数のパーツを含んでいる場合、前記複数のパーツのそれぞれの前記パーツ形状データに基づいて前記装着パーツの立体形状を表す結合立体形状データを生成し且つ前記画像内車両情報及び前記結合立体形状データに基づいて前記調整パーツ画像を取得する。

【0009】

本発明の第４の発明は、上記第１の発明に係る車両カスタム支援システムであって、前記処理部が、前記車両の立体形状を表す車両形状データ及び前記パーツ形状データに基づいて、前記装着パーツが前記車両に装着された場合における前記車両の車体に対する前記装着パーツの突出量又は凹み量を含む装着情報を前記ディスプレイ装置に表示させる。

【発明の効果】

【0010】

第１の発明では、調整パーツ画像は、画像内車両情報に基づいて取得（生成）される。そのため、調整パーツ画像を車両画像に重ねて得られる装着画像は、装着パーツが車両に実際に装着された状態を表している。従って、第１の発明によれば、利用者が望む画角及び背景にて車両が写された車両画像に基づいて生成され且つディスプレイ装置に表示される装着画像により、装着パーツの装着状態を仮想的に確認することが可能となる。

【0011】

第２の発明によれば、利用者は、ディスプレイ装置に表示される拡大された装着画像を介して車両に装着された装着パーツの細部を確認することが可能となる。

【0012】

第３の発明によれば、利用者は、ディスプレイ装置を介して複数の装着パーツが同時に装着された状態を確認することが可能となる。

【0013】

第４の発明によれば、利用者は、ディスプレイ装置に表示された装着情報を介して装着パーツと車体との関係（具体的には、突出量又は凹み量）を確認することが可能となる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係る車両カスタム支援システムの概略構成図である。

【図2】車両カスタム支援システムにて用いられる、端末座標系及び車両座標系を示した図である。

【図3】装着パーツ（試着パーツ）の画像が重ねられる前の車両画像を示した図である。

【図4】車両画像に試着パーツの画像が重ねられた装着画像を示した図である。

【図5】装着画像が拡大してディスプレイ装置に表示された様子を示した図である。

【図6】試着パーツが複数の装着パーツを含んでいる場合を示した図である。

【図7】試着パーツの情報（装着情報）が表示された様子を示した図である。

【図8】車両カスタム支援システムのサーバと移動端末との間で送受されるデータの例を示したシーケンス図である。

【図9】試着パーツを選択する画面の例を示した図である。

【発明を実施するための形態】

【0015】

＜第１実施形態＞
本発明の第１実施形態を図１～９を参照しながら説明する。説明中の同じ符号（参照番号）は、重複する説明をしないが同じ機能を有する同じ要素を意味する。本実施形態に係る車両カスタム支援システム１は、サーバ１１及び移動端末２１を含んでいる。サーバ１１及び移動端末２１は、ネットワーク３０を介して互いにデータ通信可能に接続されている。ネットワーク３０は、移動通信網（携帯電話網）を含む種々の公衆データ通信網が相互に接続された、いわゆるインターネットである。なお、車両カスタム支援システム１には、ネットワーク３０を介してサーバ１１とのデータ通信を行う移動端末２１以外の複数の端末装置も含まれるが、それらの端末装置において実行される処理は移動端末２１と同様であるため、図示及び説明は省略される。

【0016】

サーバ１１は、周知の汎用コンピュータ（サーバ装置）であり、ＣＰＵ１３、不揮発性メモリ１４、ＲＡＭ１５及び記憶装置１６を含んでいる。ＣＰＵ１３は、所定のプログラム（ルーチン）を逐次実行することによってデータの読み込み、数値演算、及び演算結果の出力等を行う。不揮発性メモリ１４は、ＣＰＵ１３が実行するプログラム及びＣＰＵ１３によって参照されるマップ（ルックアップテーブル）等を記憶している。不揮発性メモリ１４は、ＲＯＭ及び記憶したデータを変更可能なフラッシュメモリを含んでいる。ＲＡＭ１５は、ＣＰＵ１３によって参照されるデータを一時的に記憶する。記憶装置１６は、サーバ１１に内蔵された（或いは、サーバ１１に接続された）周知の大容量記憶装置（ストレージ装置）である。

【0017】

移動端末２１は、後述される装着パーツ試着アプリがインストールされた周知の利用者端末（可搬型のスマートフォン、タブレット端末）である。移動端末２１は、ＣＰＵ２３、不揮発性メモリ２４、ＲＡＭ２５、ディスプレイ２６及びカメラ２７を含んでいる。ＣＰＵ２３、不揮発性メモリ２４及びＲＡＭ２５のそれぞれの機能は、（処理能力及び容量等が大きく異なるが）ＣＰＵ１３、不揮発性メモリ１４及びＲＡＭ１５と類似しているため、説明が省略される。サーバ１１のＣＰＵ１３及び移動端末２１のＣＰＵ２３は、便宜上、「処理部」とも総称される。

【0018】

ディスプレイ２６は、平面且つ略矩形状のディスプレイ装置である。ディスプレイ２６に表示される画像は、所定数のピクセル（画素）の集合によって構成される。ディスプレイ２６は、タッチパネルとしても作動する。即ち、移動端末２１の利用者は、ディスプレイ２６に触れることにより移動端末２１を操作することができる。カメラ２７は、移動端末２１の背面側（即ち、移動端末２１におけるディスプレイ２６とは反対側）に配設されている。

【0019】

（装着パーツ試着アプリ）
移動端末２１にインストールされた「装着パーツ試着アプリ」（以下、単に「端末アプリ」とも称呼される。）について、サーバ１１が提供する機能と共に説明する。端末アプリは、サーバ１１との協働により、車両を含む画像（写真）に、装着パーツ（即ち、車両に装着されるカスタムパーツ）の画像を重ねて得られる「装着画像」をディスプレイ２６に表示させる機能を実現する。以下、端末アプリによって実行される処理（実現される機能）を、移動端末２１の機能として説明する。

【0020】

装着画像を取得するため、利用者は、車両の情報（以下、「車両情報」とも称呼され、具体的には、車種、年式、車両グレード等を含む）を端末アプリに対して入力する。加えて、利用者は、車両が写された画像（以下、「車両画像」とも称呼される）を選択する。車両画像は、カメラ２７によって撮影された画像でも良く、或いは、カメラ２７以外のカメラによって撮影された画像でも良い。更に、利用者は、端末アプリによって提示される複数の装着パーツから試着するパーツ（以下、「試着パーツ」とも称呼される）を選択する。

【0021】

サーバ１１は、移動端末２１から車両情報、車両画像、及び利用者に選択された試着パーツの情報を受信すると、「調整パーツ画像」及び「パーツ画像位置」を移動端末２１へ送信する。調整パーツ画像は、車両画像に写る車両の位置、角度及び大きさに基づいて生成された試着パーツの画像である。パーツ画像位置は、車両画像における調整パーツ画像の位置である。

【0022】

移動端末２１は、調整パーツ画像及びパーツ画像位置をサーバ１１から受信すると、パーツ画像位置に基づいて調整パーツ画像を車両画像に重ねて装着画像を生成し、装着画像をディスプレイ２６に表示させる。即ち、利用者は、車両画像に含まれる車両（例えば、利用者が所有している車両）に試着パーツが装着された状態をディスプレイ２６上にて確認することができる。

【0023】

調整パーツ画像及びパーツ画像位置を取得するためにサーバ１１が実行する「画像内車両抽出処理」及び「パーツ画像生成処理」について説明する。画像内車両抽出処理は、車両画像に含まれる車両の位置、角度及び大きさ（以下、「画像内車両情報」とも総称される）を取得する処理である。パーツ画像生成処理は、取得された画像内車両情報に基づいて試着パーツの調整パーツ画像及びパーツ画像位置を取得する処理である。なお、利用者による試着パーツの選択方法（手順）については、図９を参照しながら後述される。

【0024】

以下の説明では、図２に示されるように、立体座標系である端末座標系（スクリーン座標系）及び車両座標系（オブジェクト座標系）が参照される。図２の車両４１は、車両画像に含まれる車両の例である。図２の移動端末２１のディスプレイ２６には、カメラ２７によって撮影された車両４１を含む画像が表示されている。端末座標系の原点は、ディスプレイ２６上であり且つディスプレイ２６の中央である。端末座標系のＸ軸（Ｘｔ軸）は、ディスプレイ２６上をディスプレイ２６の長手方向に延在する。Ｚ軸（Ｚｔ軸）は、Ｘｔ軸と直交し且つディスプレイ２６上に延在する。Ｙ軸（Ｙｔ軸）は、Ｘｔ軸及びＺｔ軸と直交する。

【0025】

Ｚｔ軸が鉛直方向にあるとき（即ち、ディスプレイ２６の長手方向が水平にあるとき）、端末座標系のＸｔ座標値は原点に対して（ディスプレイ２６を見る利用者の）右方側において正の値となる。Ｙｔ座標値は、原点に対して奥側（即ち、ディスプレイ２６に対してカメラ２７がある側）において正の値となる。Ｚｔ座標値は原点に対して上方側において正の値となる。

【0026】

車両座標系の原点は、車両４１の（純正品であって装着パーツと交換されていない）フロントバンパーに形成されたナンバープレート取付位置（平面）上の中央位置である。車両座標系のＸ軸（Ｘｂ軸）は、車両４１の車幅方向（左右方向）に延在する。Ｙ軸（Ｙｂ軸）は、Ｘｂ軸と直交し且つ車両４１の前後方向に延在する。Ｚ軸（Ｚｂ軸）は、Ｘｂ軸及びＹｂ軸と直交し且つ車両４１の上下方向に延在する。車両座標系のＸｂ座標値は、原点に対して車両４１の左方において正の値となる。Ｙｂ座標値は、原点に対して車両４１の後方において正の値となる。Ｚｂ座標値は、原点に対して車両４１の上方において正の値となる。

【0027】

端末座標系における車両座標系の原点の座標値は、差分座標Ｐｓ（ｘｓ，ｙｓ，ｚｓ）として表される。差分座標Ｐｓは、端末座標系に対する車両座標系の平行移動量を表している。端末座標系に対する車両座標系の回転移動量は、角度α、β、γの組合せである回転角度Ａｓ（α，β，γ）として表される。角度αは、端末座標系に対する車両座標系のＸ軸周りの回転角度であり、ピッチ角度とも称呼される。角度βは、端末座標系に対する車両座標系のＹ軸周りの回転角度であり、ロール角度とも称呼される。角度γは、端末座標系に対する車両座標系のＺ軸周りの回転角度であり、ヨー角度とも称呼される。

【0028】

換言すれば、ディスプレイ２６に表示された車両画像に基づいて取得された車両４１の差分座標Ｐｓは、車両画像における車両４１の位置を表している。同様に、回転角度Ａｓは、車両画像における車両４１の角度（回転角度）を表している。例えば、角度α、β、γのそれぞれが０°であれば、車両画像は、車両４１を前方の正面（真正面）から写した画像である。

【0029】

更に、車両画像における車両４１の大きさは、車体係数Ｒｂによって表される。車体係数Ｒｂは、車両座標系の原点近傍における車両の単位長さ当たりの車両画像のピクセル数である。即ち、車両画像に写る車両の大きさが大きくなるほど車体係数Ｒｂが大きくなる。換言すれば、画像内車両情報は、差分座標Ｐｓ、回転角度Ａｓ及び車体係数Ｒｂの組合せによって表される情報である。

【0030】

画像内車両情報を取得するためにサーバ１１が実行するパターンマッチング処理について、図３に示される車両４１を含む車両画像を参照しながら説明する。記憶装置１６には、車両４１（及び、車両４１とは異なる種々の車両）の立体形状を表すデータ（以下、「車両形状データ」とも称呼される）が記憶（保存）されている。

【0031】

サーバ１１は、移動端末２１から車両４１に係る車両情報を受信した後、更に車両４１を含む車両画像を受信すると、車両４１の車両形状データに基づいて、車両４１を種々の角度及び距離から見た画像を多数のテンプレート画像として生成する。このとき、サーバ１１は、車両の一部のみが車両画像に含まれる場合（即ち、車両の一部が車両画像の画角からはみ出している場合）を考慮し、車両形状の一部のみを反映したテンプレート画像も生成する。テンプレートの生成に用いられる車両形状データは、便宜上、「車両特徴データ」とも称呼される。

【0032】

加えて、サーバ１１は、テンプレート画像のそれぞれと合致する（即ち、光学的特徴の類似度が高い）車両画像上の領域を探索する。テンプレート画像の何れかと合致する車両画像上の領域の探索に成功すると、サーバ１１は、合致したテンプレート画像に基づいて車両画像に係る車両４１の画像内車両情報（即ち、差分座標Ｐｓ、回転角度Ａｓ及び車体係数Ｒｂ）を取得する。換言すれば、本実施形態における画像内車両抽出処理は、車両形状データを用いたテンプレートマッチング処理により差分座標Ｐｓ、回転角度Ａｓ及び車体係数Ｒｂを取得する処理である。

【0033】

車両内画像情報が取得されると（即ち、画像内車両抽出処理が完了すると）、サーバ１１は、パーツ画像生成処理を実行する。より具体的に述べると、記憶装置１６には、車両４１（及び、車両４１とは異なる種々の車両）に装着できる種々の装着パーツの立体形状を表すデータ（以下、「パーツ形状データ」とも称呼される）が記憶されている。加えて、記憶装置１６には、その装着パーツが装着される車両（例えば、車両４１）における位置に関する情報（以下、「パーツ取付位置情報」とも称呼される）が記憶されている。

【0034】

例えば、試着パーツが車両４１に装着可能なホイール５２（図４を参照）であれば、パーツ形状データは、ホイール５２の立体形状を表すデータである。ホイール５２のパーツ取付位置情報は、車両４１の４つの車輪のそれぞれのホイール取付位置を表す情報である。具体的には、ホイール５２のパーツ取付位置情報は、ホイール５２の代表点の車両座標系における座標値として表される。ホイール５２の代表点は、例えば、ホイール５２の回転軸（中心軸）とホイール５２の取付面との交点である。ホイール５２の取付面は、車両４１のハブの取付面（即ち、車両４１のホイール取付部であり、例えば、図６に示されるハブ８１の取付面８２）と接する平面である。

【0035】

換言すれば、試着パーツがホイール５２（又は、ホイール５２とは異なるホイール）である場合、パーツ取付位置情報は、車輪のそれぞれに対応する４つの座標値を含んでいる。この場合、パーツ取付位置情報は、車両４１の車輪（特に、前輪）のそれぞれのトー角度及びキャンバー角度が考慮された取付角度の情報を更に含んでいても良い。

【0036】

サーバ１１は、車両内画像情報、並びに、試着パーツのパーツ形状データ及びパーツ取付位置情報に基づいて、調整パーツ画像及びパーツ画像位置を取得（生成）する。具体的には、サーバ１１は、車両内画像情報によって特定される、視認可能な（即ち、ディスプレイ２６に表示される）試着パーツ上の領域の画像をパーツ形状データに基づいて透視図法（遠近法）により調整パーツ画像として生成する。加えて、サーバ１１は、車両内画像情報及びパーツ取付位置情報に基づいてパーツ画像位置を取得する。

【0037】

調整パーツ画像及びパーツ画像位置が取得されると（即ち、パーツ画像生成処理が完了すると）、サーバ１１は、調整パーツ画像及びパーツ画像位置を移動端末２１へ送信する。移動端末２１は、調整パーツ画像及びパーツ画像位置をサーバ１１から受信すると、図４に示されるようにディスプレイ２６に車両画像に調整パーツ画像をパーツ画像位置に従って重ねて表示する。換言すれば、ホイール５２を装着している車両４１の画像（即ち、装着画像）がディスプレイ２６に表示される。

【0038】

より具体的に述べると、図３に示される車両画像に含まれる車両４１には純正品であるホイール５１が装着されていた。加えて、ホイール５１には、純正品であるタイヤ６１が装着されていた。一方、図４に示される装着画像は、車両４１にホイール５２が装着され且つホイール５２にはタイヤ６１が装着された様子を仮想的に表している。即ち、ホイール５１がホイール５２に交換されている。

【0039】

なお、本例における調整パーツ画像はディスプレイ２６に表示される２つのホイール５２の領域のそれぞれに対応する２つの略楕円形状の画像であるが、調整パーツ画像は、２つのホイール５２を含む矩形状の１つの画像であっても良い。車両画像、調整パーツ画像及びパーツ画像位置に基づいて装着画像を生成する処理は、「装着画像生成処理」とも称呼される。また、図４以降、車両４１に係る車両座標系を表すＸｂ軸、Ｙｂ軸及びＺｂ軸の記載（図示）は省略される。

【0040】

更に、移動端末２１は、装着画像と共に拡大ボタンＢｚをディスプレイ２６に表示する（図４を参照）。利用者によって拡大ボタンＢｚがタップされると、移動端末２１は、装着画像を拡大又は縮小可能な状態にてディスプレイ２６に表示する。具体的には、利用者は、ディスプレイ２６に対するピンチアウト操作又はピンチイン操作によってディスプレイ２６に表示される装着画像の拡大率を変更することができる。即ち、利用者はディスプレイ２６に対する操作によってディスプレイ２６に表示される装着画像の拡大率を指定することができる。

【0041】

図５は、図４に示された装着画像が拡大してディスプレイ２６に表示されている様子を示している。ディスプレイ２６に表示される装着画像が拡大されているとき、利用者は、ディスプレイ２６に対するスワイプ操作によって、装着画像におけるディスプレイ２６に表示される範囲を変更することができる。拡大ボタンＢｚが再びタップされると、移動端末２１は、装着画像を元の拡大率にて表示する。

【0042】

ところで、試着パーツが複数の装着パーツを含む場合がある。この場合、サーバ１１は、複数の装着パーツのそれぞれのパーツ形状データに基づいて試着パーツの立体形状を表す「結合立体形状データ」を取得する。加えて、サーバ１１は、結合立体形状データ及び画像内車両情報に基づいて調整パーツ画像を生成する。

【0043】

試着パーツが図６に示されるホイール５３及びタイヤ６２を含む場合を例に説明する。ホイール５３にはタイヤ６２が装着される。ホイール５３は、車両４１のハブ８１（本例において、左後輪の車輪取付部）の取付面８２にボルト（不図示）を用いて締結される。図６に示される一点鎖線Ｌａは、ハブ８１、ハブ８１に装着されるホイール５３、及びホイール５３に装着されるタイヤ６２の回転軸である。

【0044】

この場合、結合立体形状データは、互いに組付けられたホイール５３及びタイヤ６２の立体形状を表す。ホイール５３のパーツ取付位置情報を表すために用いられる代表点は、上述したホイール５２の代表点と同様に定められる。タイヤ６２のパーツ取付位置情報は、タイヤ６２が装着されるホイール（本例において、ホイール５３）に対するタイヤ６２の位置を表す情報である。

【0045】

より具体的には、タイヤ６２のパーツ取付位置情報は、ホイール５３の代表点に対するタイヤ６２の代表点の位置として表される。タイヤ６２の代表点は、例えば、タイヤ６２の回転軸と直交し且つタイヤ６２の厚さ方向の中央を通る平面と、タイヤ６２の回転軸と、の交点である。換言すれば、本例におけるタイヤ６２の車両４１に対する取付位置は、ホイール５３の立体形状に基づいて特定される。

【0046】

ホイール５３及びタイヤ６２に係る結合立体形状データが取得されると、サーバ１１は、結合立体形状データ及び画像内車両情報に基づいて調整パーツ画像及びパーツ画像位置を取得する。加えて、サーバ１１は、取得された調整パーツ画像及びパーツ画像位置を移動端末２１へ送信する。この場合、移動端末２１は、ホイール５３及びタイヤ６２を装着している車両４１の画像（装着画像）をディスプレイ２６に表示する（図７を参照）。

【0047】

車両４１と試着パーツとの組合せに係る「装着情報」がある場合、移動端末２１は、ディスプレイ２６に情報表示ボタンＢｉを表示する（図４及び図５を参照）。装着情報は、移動端末２１の利用者に提供される試着パーツに関する情報である。装着情報は、例えば、試着パーツの型番に関する情報、又は車両４１の車体に対する試着パーツの突出量又は凹み量に関する情報である。

【0048】

例えば、ホイール５３及びタイヤ６２を装着した車両４１の装着画像が表示されているときに情報表示ボタンＢｉがタップされると、移動端末２１は、図７に示されるように、装着情報を含むウィンドウＷｉ（ポップアップウィンドウ）を装着画像に重ねてディスプレイ２６に表示する。本例における装着情報は、ホイール５３及びタイヤ６２を車両４１に装着した場合における車両４１の車体（具体的には、車両４１のフェンダー部における所定の領域）に対するタイヤ６２の側面の凹み量が５ｍｍであること、及び、その結果これらの試着パーツを装着した車両４１が保安基準に適合することを含んでいる。なお、図７では、（情報表示ボタンＢｉがタップされた結果として）装着情報が既に表示されているため、情報表示ボタンＢｉは表示されていない。

【0049】

（具体的作動）
車両カスタム支援システム１の作動（具体的には、利用者の移動端末２１に対する操作に応じて移動端末２１のＣＰＵ２３及びサーバ１１のＣＰＵ１３が実行する処理）について、移動端末２１とサーバ１１との間のデータ送受信の例を示した図８を参照しながら説明する。図８において、移動端末２１の利用者によって行われる操作には、「Ｓｕ」で始まるステップ符号が付されている。移動端末２１が実行する処理には、「Ｓｔ」で始まるステップ符号が付されている。サーバ１１が実行する処理には、「Ｓｓ」で始まるステップ符号が付されている。なお、利用者による操作に起因して移動端末２１が実行する処理（具体的には、サーバ１１へのデータ送信を伴う処理）は、ステップの記載が省略されている。

【0050】

ステップＳｕ０１にて利用者が車両情報を移動端末２１に入力すると、移動端末２１は、入力された車両情報をサーバ１１へ送信する。車両情報を入力するためのユーザーインタフェースは端末アプリによって提供されるが、図示は省略される。車両情報は、車種、年式及び車両グレードを含んでいる。本例において、利用者は、上述した車両４１に係る車両情報を移動端末２１に入力する。サーバ１１は、車両情報を受信すると、ステップＳｓ０２にて車両情報を記憶装置１６に記憶する。

【0051】

ステップＳｕ０３にて利用者が車両画像を選択すると、移動端末２１は、選択された車両画像（本例において、車両４１の画像）をサーバ１１へ送信する。例えば、過去の時点において撮影され且つ移動端末２１の不揮発性メモリ２４に記憶された画像が選択され、サーバ１１へ車両画像として送信される。或いは、カメラ２７によって撮影された画像が撮影と同時にサーバ１１へ車両画像として送信される。サーバ１１は、車両画像を受信すると、ステップＳｓ０４にて車両内画像情報を取得する。即ち、サーバ１１は、画像内車両抽出処理を実行する。

【0052】

ステップＳｕ０５にて利用者がディスプレイ２６に表示された試着ボタンＢｔ（図３を参照）をタップすると、移動端末２１は、試着ボタンＢｔがタップされたことを表す「パーツ情報要求」をサーバ１１へ送信する。試着ボタンＢｔは、端末アプリを用いて上述した装着パーツの試着を行う場合に利用者によってタップされるボタンである。移動端末２１は、車両情報が入力された後、ディスプレイ２６に試着ボタンＢｔを表示する。

【0053】

サーバ１１は、パーツ情報要求を受信すると、ステップＳｓ０６にて装着可能なパーツを抽出する。具体的には、サーバ１１は、記憶装置１６に記憶された種々の装着パーツの情報から車両４１に装着可能なパーツを抽出する。次いで、サーバ１１は、抽出されたパーツの情報及び画像を「装着パーツ情報」として移動端末２１へ送信する。装着パーツ情報に含まれる装着パーツの情報は、装着パーツの識別子、型番及び価格が含まれている。

【0054】

移動端末２１は、装着パーツ情報を受信すると、ステップＳｔ０７にて装着パーツ情報に係るウィンドウＷｐをディスプレイ２６に表示させる。具体的には、図９に示されるように、装着パーツの画像がカテゴリ（図９の例において、ホイール及びタイヤ）毎にウィンドウＷｐ内に表示される。なお、図９では、装着パーツの画像とともに表示される装着パーツの型番及び価格等の情報は省略されている。

【0055】

ステップＳｕ０８にて利用者が表示された装着パーツの中から１つ又は複数の試着パーツを選択すると、移動端末２１は、選択された試着パーツの識別子を「選択パーツ情報」としてサーバ１１へ送信する。なお、利用者による試着パーツの選択は、ディスプレイ２６に表示された装着パーツの画像を上方へスワイプすることによって行われる。

【0056】

サーバ１１は、選択パーツ情報を受信すると、ステップＳｓ０９にて調整パーツ画像及びパーツ画像位置を取得する。即ち、サーバ１１は、パーツ画像生成処理を実行する。次いで、サーバ１１は、取得された調整パーツ画像及びパーツ画像位置を移動端末２１へ送信する。

【0057】

移動端末２１は、調整パーツ画像及びパーツ画像位置を受信すると、ステップＳｔ１０にて装着画像を生成する。即ち、移動端末２１は、装着画像生成処理を実行する。次いで、移動端末２１は、装着画像をディスプレイ２６に表示する（図４を参照）。

【0058】

ステップＳｕ１１にて利用者がディスプレイ２６に（装着画像と共に）表示された拡大ボタンＢｚ（図４を参照）をタップすると、移動端末２１は、ステップＳｔ１２にてディスプレイ２６に表示された装着画像の拡大率を変更可能な状態とする（図５を参照）。即ち、利用者は、ディスプレイ２６に対するピンチアウト操作又はピンチイン操作によって、ディスプレイ２６に表示される装着画像の拡大率を指定することができる。

【0059】

ステップＳｕ１３にて利用者がディスプレイ２６に表示された情報表示ボタンＢｉ（図４を参照）をタップすると、移動端末２１は、「装着情報要求」をサーバ１１へ送信する。サーバ１１は、装着情報要求を受信すると、ステップＳｓ１４にて装着情報を取得する。具体的には、サーバ１１は、記憶装置１６に記憶された試着パーツ情報に基づいて装着情報を取得する。次いで、サーバ１１は、取得された「装着情報」を移動端末２１へ送信する。移動端末２１は、装着情報を受信すると、ステップＳｕ１５にて装着情報に含まれる情報をディスプレイ２６に装着画像に重ねて表示する（図７を参照）。

【0060】

なお、図８の例においてサーバ１１は、車両画像を移動端末２１から受信した後、選択パーツ情報を受信すると、調整パーツ画像及びパーツ画像位置を取得していた（即ち、パーツ画像生成処理を実行していた）。これに代わり、サーバ１１は、選択パーツ情報を移動端末２１から受信した後、車両画像を受信しても良い。即ち、サーバ１１は、車両画像及び選択パーツ情報を共に受信すると、パーツ画像生成処理を実行する。

【0061】

加えて、サーバ１１は、新たな車両画像を移動端末２１から受信すると、画像内車両抽出処理及びパーツ画像生成処理を新たに実行する。即ち、利用者は、車両画像を選択し直しても良い。更に、利用者は、試着パーツを選択し直しても良い。

【0062】

ところで、上述した例における車両４１はＳＵＶ型車両であったが、装着パーツを試着できる車両はセダン型車両及びワンボックス型車両を含んでいる。加えて、上述した例における装着パーツはホイール５２～５３及びタイヤ６２であったが、装着パーツは、エアロパーツ、ステッカー及びラジエーターグリル等を含んでいる（何れも不図示）。エアロパーツは、サイドスポイラー及びリアスポイラー、並びにサイドスポイラー及びリアスポイラーの組合せ（即ち、複数の装着パーツの組合せ）を含んでいる。

【0063】

加えて、試着パーツとして選択できる装着パーツは、車両における装着位置を利用者が選択できるものを含んでいる。例えば、装着パーツには、セダン型車両のリアトランク上面に装着されるリアスポイラーであってリアトランク上の装着位置を所定の範囲の中で利用者が選択できるものがある。そのリアスポイラーのパーツ取付位置情報は、リアスポイラーの代表点の車両座標系における座標値の集合又は座標値の範囲によって表される。

【0064】

この種のリアスポイラーを試着した場合における装着情報は、車両（車体）の後端に対するリアスポイラー後端の突出量又は凹み量となる。即ち、リアスポイラーのリアトランクにおける装着位置の変化に応じて装着情報が変化する。なお、利用者による装着パーツの車両における装着位置の指定は、車両画像に含まれる車両における装着位置のタップ操作により行われるが、操作画面の図示は省略される。

【0065】

或いは、試着パーツがステッカーであれば、利用者は、車両における装着位置（この場合、車体上の領域）を比較的自由に選択できる。この場合、サーバ１１は、選択されたステッカーが貼付される車体上の領域（貼付領域）の曲面に応じて調整パーツ画像を生成する。即ち、装着画像に含まれるステッカーは、貼付領域の車体曲面に応じて湾曲している。

【0066】

＜第２実施形態＞
第２実施形態について説明する。上述した車両カスタム支援システム１では、移動端末２１に対する利用者の操作によって車両画像が選択され、選択された車両画像に対して装着画像が生成されていた。これに対し、第２実施形態に係る車両カスタム支援システム２では、移動端末２１のカメラ２７によって連続的に撮影された一連の車両画像のそれぞれに対して生成された装着画像がディスプレイ２６に表示される。換言すれば、移動端末２２のディスプレイ２６には、カメラ２７によって撮影された動画に含まれる車両に対して生成された装着画像が連続的に表示される。

【0067】

加えて、上述したサーバ１１は、車両（例えば、車両４１）の車両形状データ（即ち、車両特徴データ）に基づいて生成されたテンプレート画像に基づいて画像内車両情報を取得していた。これに対し、車両カスタム支援システム２に係るサーバ１２は、車両画像における車両の特徴点（特徴領域）に相当する領域を探索することによって画像内車両情報を取得する。以下、これらの相違点を中心に説明する。

【0068】

本実施形態における車両の特徴点は、タイヤ、車両の側方に配設されたドアミラー及びドアハンドル、車両の前方に配設されたヘッドライト、並びに車両の後方に配設されたテールランプ等を含んでいる。サーバ１２の記憶装置１６には、これらの特徴点の車両における位置（即ち、車両座標系における座標値）、形状及び色彩等が車両特徴データとして記憶されている。

【0069】

サーバ１２は、連続して受信する一連の車両画像における最初の画像を受信すると、車両特徴データに基づいて特徴点に係る種々のテンプレート画像を生成する。テンプレート画像は、車両４１を種々の角度及び距離から見た特徴点のそれぞれに対応している。サーバ１２は、テンプレート画像に合致する車両画像上の領域の探索に成功すると、合致した（複数の）テンプレート画像に基づいて車両画像に係る車両４１の画像内車両情報を取得する。即ち、サーバ１２は、車両の特徴点に係るテンプレート画像を用いて画像内車両抽出処理を実行する。

【0070】

加えて、サーバ１２は、調整パーツ画像及びパーツ画像位置を取得し（即ち、パーツ画像生成処理を実行し）、且つ取得された調整パーツ画像及びパーツ画像位置を移動端末２２へ送信する。移動端末２２は、受信した調整パーツ画像及びパーツ画像位置、並びに車両画像に基づいて装着画像を生成し（即ち、装着画像生成処理を実行し）、ディスプレイ２６に表示する。

【0071】

次いで、サーバ１２は、新たな車両画像（最新画像）を移動端末２２から受信すると、その前に受信した車両画像（前回画像）との差分を表すオプティカルフローベクトル（以下、単に「フローベクトル」とも称呼される）を取得する。より具体的に述べると、サーバ１２は、前回画像を多数の矩形に分割し（即ち、前回画像を矩形の集合として扱い）、その矩形に相当する領域（即ち、光学的特徴が類似する領域）を今回画像から探索する。矩形の探索に成功すると、サーバ１２は、その矩形の前回画像における位置が始点であり且つその矩形の最新画像における位置が終点であるベクトルをフローベクトルとして取得する。

【0072】

前回画像に係る全ての矩形に対して最新画像上の位置を探索する処理が完了すると、サーバ１２は、取得された（多数の）フローベクトルに基づいて最新画像における車両の位置、大きさ及び角度の前回画像との変化量を取得する。即ち、サーバ１２は、最新画像に含まれる車両に対する移動端末２２の位置及び角度の前回画像に対する変化量を取得する。加えて、サーバ１２は、取得された変化量及び前回画像に係る画像内車両情報に基づいて最新画像に係る画像内車両情報を取得する。即ち、サーバ１２は、フローベクトルに基づいて画像内車両情報を更新する。

【0073】

サーバ１２は、車両画像を移動端末２２から繰り返し受信している期間において、車両画像のそれぞれに係る画像内車両情報を取得し、更に、調整パーツ画像及びパーツ画像位置を移動端末２２へ送信する処理を繰り返し実行する。一方、移動端末２２は、カメラ２７によって撮影された車両画像のそれぞれに対してサーバ１２から受信した調整パーツ画像及びパーツ画像位置に基づいて装着画像を生成し、ディスプレイ２６に表示する。

【0074】

以上、説明したように、車両カスタム支援システム１、２によれば、試着パーツに係る調整パーツ画像を車両画像に重ねることによって得られる装着画像を閲覧することによって利用者は装着パーツを試着することができる。換言すれば、利用者が望む画角及び背景の車両画像を選択することにより、その画角及び背景における装着パーツの装着状態をディスプレイ２６に表示させることができる。

【0075】

即ち、サーバ１１、１２が実行する画像内車両抽出処理によって画像内車両情報が取得される限りにおいて、利用者は、車両画像を任意に選択することができる。車両画像に含まれる画像は利用者が実際に使用している車両であっても良く、車両画像の背景は利用者が車両を使用する場所であっても良い。そのため、利用者は、車両を使用する環境において試着パーツと車両との相性（見映え）を容易に確認することができる。例えば、既にホイールが純正品からカスタムパーツに交換された車両と合致するエアロパーツを、端末アプリを用いて試着しながら探すことが可能となる。

【0076】

加えて、利用者は、拡大ボタンＢｚをタップすることによりディスプレイ２６に表示される装着画像の拡大率を指定できるようになる。そのため、車両に装着された試着パーツの細部をディスプレイ２６上にて確認することが可能となる。更に、利用者は、情報表示ボタンＢｉをタップすることにより装着情報をディスプレイ２６に表示させることができる。そのため、車両に試着パーツを装着した場合における情報を取得することが可能となる。加えて、試着パーツが複数の装着パーツを含んでいる場合、結合立体形状データを生成し、結合立体形状データに基づいて調整パーツ画像（ひいては、装着画像）が生成される。そのため、複数の装着パーツを車両に同時に装着した場合の装着状態を確認することが可能となる。

【0077】

以上、本発明の実施形態を上記の構造を参照して説明したが、本発明の目的を逸脱せずに多くの交代、改良、変更が可能であることは当業者であれば明らかである。従って本発明の形態は、添付された請求項の精神と目的を逸脱しない全ての交代、改良、変更を含み得る。本発明の形態は、前記特別な構造に限定されず、例えば下記のように変更が可能である。

【0078】

利用者は、移動端末２１、２２の端末アプリを用いて装着パーツの試着をすることが可能であった。これに加え、利用者が試着した装着パーツを移動端末２１、２２に対する操作によって実際に購入できるように端末アプリが構成されても良い。加えて、端末アプリを用いて購入された装着パーツを装着した車両を表す画像が移動端末２１、２２（又は、他の端末装置）にて展開される仮想空間において表示されるように端末アプリ（又は、他のアプリケーション）が構成されても良い。換言すれば、この場合、装着パーツを装着した車両の立体的な画像が、仮想空間における車両のアバターとして表示される。

【0079】

サーバ１１、１２は、画像内車両抽出処理の実行時にテンプレート画像を生成し、テンプレート画像に基づいて画像内車両情報を取得していた。即ち、テンプレート画像の生成に用いられるデータが車両特徴データとして記憶装置１６に記憶されていた。これに代えて、サーバ１１、１２は、人工知能（機械学習）によって構築され且つ記憶装置１６に記憶されたフィルター（具体的には、入力された車両画像に対して画像内車両情報を出力するフィルター）によって画像内車両情報を取得してもよい。この場合、記憶装置１６に記憶された機械学習のフィルターに係るデータが車両特徴データに相当する。機械学習に用いられる種々の教師データは、例えば、車両画像とその車両画像に係る画像内車両情報との組合せである。

【0080】

サーバ１１、１２は、車両画像に重ねられる調整パーツ画像を画像内車両情報に基づいて生成していた。即ち、調整パーツ画像は、画像内車両情報によって特定される試着パーツの外観を表した画像であった。これに加え、調整パーツ画像は、試着パーツの周囲の領域を更に含んでいても良い。例えば、試着パーツが既に車両に装着されているタイヤ（既存タイヤ）よりも小さいタイヤ（交換タイヤ）である場合、調整パーツ画像は、試着パーツ（即ち、交換タイヤ）及び試着パーツの周辺の領域（この場合、車両のタイヤハウス）を含んでいても良い。これにより、装着画像における交換タイヤの周囲に既存タイヤの一部が含まれることが回避される。

【0081】

移動端末２１、２２のカメラは、一対のカメラ装置を含むステレオカメラであっても良い。この場合、車両画像は一対のカメラ装置のそれぞれによって撮影された一対の画像である。この場合、サーバ１１、１２は、一対の画像のそれぞれの視差に基づいて画像内車両情報を取得しても良い。

【0082】

サーバ１１、１２が画像内車両抽出処理及びパーツ画像生成処理を実行する一方、移動端末２１、２２が装着画像生成処理を実行していた。これに代えて、サーバ１１、１２が装着画像生成処理も実行しても良い。即ち、サーバ１１、１２が装着画像を生成し且つ移動端末２１、２２へ送信し、移動端末２１、２２は、受信した装着画像をディスプレイ２６に表示しても良い。

【0083】

或いは、移動端末２１、２２が、画像内車両抽出処理、パーツ画像生成処理及び装着画像生成処理を実行しても良い。この場合、パーツ形状データ及びパーツ取付位置情報は、移動端末２１、２２の不揮発性メモリ２４に記憶されていても良く、サーバ１１、１２の記憶装置１６に記憶されていても良い。

【0084】

更に、移動端末２１、２２には、端末アプリが予めインストールされていなくても良い。この場合、上述した端末アプリによって実現されていた機能は、移動端末２１、２２のＷｅｂブラウザアプリにサーバ１１、１２からダウンロードされるブラウザアプリによって実現されても良い。

【0085】

サーバ１１、１２が取得していた画像内車両情報は、画像内車両情報は、差分座標Ｐｓ、回転角度Ａｓ及び車体係数Ｒｂの組合せであった。これに加え、画像内車両情報は、車両画像に含まれる車両の操舵角度δ（即ち、前輪の転舵角度）を更に含んでも良い。この場合、試着パーツがホイール及びタイヤの一方又は両方を含んでいれば、車両の前輪に係る調整パーツ画像は、操舵角度δを反映していても良い。

【0086】

ディスプレイ２６は、平面且つ略矩形状のディスプレイ装置であった。これに代えて、ディスプレイ２６は、曲面を有するディスプレイであっても良い。この場合であっても、特定の基準位置を原点とする端末座標系が定義され得る。

【0087】

利用者は、試着パーツとしてホイール、タイヤ及びエアロパーツ等の種々の装着パーツを選択することができた。これに代えて、試着パーツは、特定のカテゴリに含まれる装着パーツに限定されても良い。例えば、試着パーツとして選択できる装着パーツはホイールに限定されても良い。この場合、利用者による車両情報の入力は割愛されても良い。

【符号の説明】

【0088】

１、２…車両カスタム支援システム
１１、１２…サーバ
１３…ＣＰＵ
１４…不揮発性メモリ
１５…ＲＡＭ
１６…記憶装置
２１、２２…移動端末
２３…ＣＰＵ
２４…不揮発性メモリ
２５…ＲＡＭ
２６…ディスプレイ
２７…カメラ
３０…ネットワーク
４１…車両
５１～５３…ホイール
６１、６２…タイヤ
８１…ハブ
８２…取付面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】