特許 6574295 情報処理システム、情報処理方法およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6574295

(24)【登録日】2019年8月23日

(45)【発行日】2019年9月11日

(54)【発明の名称】情報処理システム、情報処理方法およびコンピュータプログラム

(51)【国際特許分類】

   G06F 17/50 20060101AFI20190902BHJP

【ＦＩ】

   G06F17/50 624F

   G06F17/50 624A

   G06F17/50 610A

   G06F17/50 608A

【請求項の数】13

【全頁数】13

(21)【出願番号】特願2018-191777(P2018-191777)

(22)【出願日】2018年10月10日

【審査請求日】2018年10月25日

【早期審査対象出願】

(73)【特許権者】

【識別番号】515048065

【氏名又は名称】株式会社ネイン

(74)【代理人】

【識別番号】100185971

【弁理士】

【氏名又は名称】高梨 玲子

(72)【発明者】

【氏名】山本 健太郎

(72)【発明者】

【氏名】高野 勇介

(72)【発明者】

【氏名】熊谷 太史

【審査官】 松浦 功

(56)【参考文献】

【文献】 米国特許出願公開第２０１５／０３８２１２３（ＵＳ，Ａ１）

【文献】 特開平１１−１３４５１７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００３／００７４１７４（ＵＳ，Ａ１）

【文献】 特開２０１２−２３９５６６（ＪＰ，Ａ）

【文献】 特開２０１０−１２８７４２（ＪＰ，Ａ）

【文献】 特開２０１７−２０１４７２（ＪＰ，Ａ）

【文献】 特開平０９−１８５７０９（ＪＰ，Ａ）

【文献】 特開２００３−３４５８３９（ＪＰ，Ａ）

【文献】 特開平０２−０７３４７１（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０７７６６２（ＷＯ，Ａ１）

【文献】 持丸正明 外１名，デジタル人体モデルによるオンデマンド着装品，電子情報通信学会技術研究報告，社団法人電子情報通信学会，２００４年 ２月１２日，Ｖｏｌ．１０３，Ｎｏ．６６２，ｐｐ．３９−４２

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／５０

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０６Ｔ １７／００ −１９／２０

Ｇ０１Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムであって、
前記ユーザ端末は、
装着対象を撮像するための第一撮像部と、
第一処理部と
前記サーバ装置と情報を送受信するための第一通信部と
を備え、
前記サーバ装置は、
前記ユーザ端末および外部装置と情報を送受信するための第二通信部と、
第二処理部と
を備え、
前記第一処理部または前記第二処理部は、前記第一撮像部により撮像された動画または静止画を含む対象情報が、前記装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定し、当該判定の結果、前記対象情報が前記三次元データの生成に必要な情報量を満たしている場合には、前記部材の当該三次元データを生成し、
前記第二通信部は、前記三次元データを前記外部装置に送信し、
前記第一処理部または前記第二処理部は、前記装着対象を撮像するためのガイド音声を生成し、前記ユーザ端末から出力させ、
前記ガイド音声は、前記第一撮像部により撮像された動画または静止画に基づいて、前記ユーザと前記ユーザ端末との位置関係に応じて変化する、前記装着対象と前記ユーザ端末との位置に関する音声である、情報処理システム。

【請求項2】

前記第一処理部または前記第二処理部は、前記判定の結果、前記対象情報が、前記三次元データの生成に必要な情報量を満たしていない場合、追加の対象情報を要求する情報を生成する請求項１に記載の情報処理システム。

【請求項3】

前記三次元データの生成は、前記第一処理部によって行われることを特徴とする請求項１または２に記載の情報処理システム。

【請求項4】

前記三次元データの生成は、前記第二処理部によって行われることを特徴とする請求項１または２に記載の情報処理システム。

【請求項5】

前記第一処理部または前記第二処理部は、
前記対象情報から前記装着対象の点群データを生成し、
前記点群データから前記装着対象のメッシュデータを生成する
ことを特徴とする請求項１から４のいずれか一項に記載の情報処理システム。

【請求項6】

前記第一処理部または前記第二処理部は、前記メッシュデータから前記部材の外形を抽出し、前記部材の外形に基づいて、前記装着対象に対応する三次元データを生成することを特徴とする請求項５に記載の情報処理システム。

【請求項7】

前記第一処理部または前記第二処理部は、前記メッシュデータの深度情報に基づき、前記メッシュデータの最深箇所を起点として、高さ方向で複数回メッシュをスライスすることによって等高線状の輪郭曲線を得ることにより前記部材の外形を抽出することを特徴とする請求項６に記載の情報処理システム。

【請求項8】

前記第一処理部または前記第二処理部は、前記輪郭曲線を曲線補間により平滑にし、前記等高線を通るサーフェスデータを生成して前記三次元データとすることを特徴とする請求項７に記載の情報処理システム。

【請求項9】

前記第一処理部または前記第二処理部は、
前記対象情報に基づいて、予め所定の記憶装置に記憶された、前記部材のテンプレートデータの中から一のテンプレートデータを選択し、
当該選択されたテンプレートデータを拡大または縮小することで、前記装着対象のメッシュデータと少なくとも一点が接するサイズを決定し、
当該サイズのテンプレートデータを前記三次元データとする
ことを特徴とする請求項５に記載の情報処理システム。

【請求項10】

前記第一処理部または前記第二処理部は、
前記第一撮像部により撮像された動画または静止画に対してマスク処理を行い、前記装着対象を特定して前記対象情報とする
ことを特徴とする請求項１から９のいずれか一項に記載の情報処理システム。

【請求項11】

前記第一処理部または前記第二処理部は、
前記装着対象を撮像するためのガイド画像を生成し、前記ユーザ端末から出力する
ことを特徴とする請求項１から１０のいずれか一項に記載の情報処理システム。

【請求項12】

ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行される処理方法であって、
前記ユーザ端末は、
装着対象を撮像するための第一撮像部と、
第一処理部と
前記サーバ装置と情報を送受信するための第一通信部と
を備え、
前記サーバ装置は、
前記ユーザ端末および外部装置と情報を送受信するための第二通信部と、
第二処理部と
を備え、
前記第一処理部または前記第二処理部に、前記第一撮像部により撮像された動画または静止画を含む対象情報が、前記装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、前記対象情報が前記三次元データの生成に必要な情報量を満たしている場合には、前記部材の当該三次元データを生成させるステップと、
前記第二通信部に、前記三次元データを前記外部装置に送信させるステップと、
前記第一処理部または前記第二処理部に、前記装着対象を撮像するためのガイド音声を生成させ、前記ユーザ端末から出力させるステップと
を備え、
前記ガイド音声は、前記第一撮像部により撮像された動画または静止画に基づいて、前記ユーザと前記ユーザ端末との位置関係に応じて変化する、前記装着対象と前記ユーザ端末との位置に関する音声である処理方法。

【請求項13】

ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行されるコンピュータプログラムであって、
前記ユーザ端末は、
装着対象を撮像するための第一撮像部と、
第一処理部と
前記サーバ装置と情報を送受信するための第一通信部と
を備え、
前記サーバ装置は、
前記ユーザ端末および外部装置と情報を送受信するための第二通信部と、
第二処理部と
を備え、
前記第一処理部または前記第二処理部に、前記第一撮像部により撮像された動画または静止画を含む対象情報が、前記装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、前記対象情報が前記三次元データの生成に必要な情報量を満たしている場合には、前記部材の当該三次元データを生成させる機能を実現させ、
前記第二通信部に、前記三次元データを前記外部装置に送信させる機能を実現させ、
前記第一処理部または前記第二処理部に、前記装着対象を撮像するためのガイド音声を生成させ、前記ユーザ端末から出力させる機能を実現させ、
前記ガイド音声は、前記第一撮像部により撮像された動画または静止画に基づいて、前記ユーザと前記ユーザ端末との位置関係に応じて変化する、前記装着対象と前記ユーザ端末との位置に関する音声であるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法およびコンピュータプログラムに関する。

【背景技術】

【0002】

近年、耳に装用するウェアラブル機器であるヒアラブルデバイスの発展が著しい。このヒアラブルデバイスの発展に伴って、高度なセンシングデバイスを搭載したモデルが増えていくことが予想される（例えば非特許文献１等）。

【0003】

これらセンシングデバイスの大半は人体に密着した状態が望ましく、仮にイヤフォン型のヒアラブルを開発する際には、Ｃｕｓｔｏｍ ｉｎ-Ｅａｒ Ｍｏｎｉｔｏｒ（ＩＥＭ）イヤフォン形状を採用するのが適切である。

【先行技術文献】

【特許文献】

【0004】

【非特許文献1】日本電気株式会社、“ＮＥＣ、ヒアラブルデバイスのプロトタイプを開発”、［online］、２０１７年５月２３日、日本電気株式会社プレスリリース、［平成３０年６月２６日検索］、インターネット＜https://jpn.nec.com/press/201705/20170523_01.html＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来、ＩＥＭイヤフォンは、スタジオ・ミュージシャンや一部のハイアマチュア向けの高価な製品の位置づけであり、敷居が高いものであった。

【0006】

その理由としては、第一に、個人の耳にフィットする形状を作る際に耳型の採取が必要で、専用の測定器がある店舗までユーザが出向くことになり販売機会が限定されるという理由がある。

【0007】

また、第二に、採取した耳型は、そのままの形では製品形状にはできず、３Ｄスキャナによるデジタルデータへの変換、変換後のデータから成形に不必要なノイズ部分を取り除くデータクレンジング作業など人の手が介する工程が存在しており、量産に不向きであるという理由がある。

【0008】

そこで、本発明の目的は、製品の三次元データを従来よりも容易に生成するための情報処理システム、情報処理方法およびコンピュータプログラムを提供することにある。

【課題を解決するための手段】

【0009】

本発明の情報処理システムは、ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムであって、ユーザ端末は、装着対象を撮像するための第一撮像部と、第一処理部とサーバ装置と情報を送受信するための第一通信部とを備え、サーバ装置は、ユーザ端末および外部装置と情報を送受信するための第二通信部と、第二処理部と、を備え、第一処理部または第二処理部は、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定し、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成し、第二通信部は、三次元データを外部装置に送信することを特徴とする。

【0010】

第一処理部または第二処理部は、判定の結果、対象情報が、三次元データの生成に必要な情報量を満たしていない場合、追加の対象情報を要求する情報を生成することができる。

【0011】

三次元データの生成は、第一処理部によって行われることができる。

【0012】

三次元データの生成は、第二処理部によって行われることができる。

【0013】

第一処理部または第二処理部は、対象情報から装着対象の点群データを生成し、点群データから装着対象のメッシュデータを生成することができる。

【0014】

第一処理部または第二処理部は、メッシュデータから部材の外形を抽出し、部材の外形に基づいて、装着対象に対応する三次元データを生成することができる。

【0015】

第一処理部または第二処理部は、メッシュデータの深度情報に基づき、メッシュデータの最深箇所を起点として、高さ方向で複数回メッシュをスライスすることによって等高線状の輪郭曲線を得ることにより部材の外形を抽出することができる。

【0016】

第一処理部または第二処理部は、輪郭曲線を曲線補間により平滑にし、等高線を通るサーフェスデータを生成して三次元データとすることができる。

【0017】

第一処理部または第二処理部は、対象情報に基づいて、予め所定の記憶装置に記憶された、部材のテンプレートデータの中から一のテンプレートデータを選択し、当該選択されたテンプレートデータを拡大または縮小することで、装着対象のメッシュデータと少なくとも一点が接するサイズを決定し、当該サイズのテンプレートデータを三次元データとすることができる。

【0018】

第一処理部または第二処理部は、第一撮像部により撮像された動画または静止画に対してマスク処理を行い、装着対象を特定して対象情報とすることができる。

【0019】

第一処理部または第二処理部は、装着対象を撮像するためのガイド画像またはガイド音声を生成し、ユーザ端末から出力することができる。

【0020】

本発明の処理方法は、ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行される処理方法であって、ユーザ端末は、装着対象を撮像するための第一撮像部と、第一処理部と、サーバ装置と情報を送受信するための第一通信部とを備え、サーバ装置は、ユーザ端末および外部装置と情報を送受信するための第二通信部と、第二処理部とを備え、第一処理部または第二処理部に、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成させるステップと、第二通信部に、三次元データを外部装置に送信させるステップとを備えることを特徴とする。

【0021】

本発明のコンピュータプログラムは、ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行されるコンピュータプログラムであって、ユーザ端末は、装着対象を撮像するための第一撮像部と、第一処理部とサーバ装置と情報を送受信するための第一通信部とを備え、サーバ装置は、ユーザ端末および外部装置と情報を送受信するための第二通信部と、第二処理部とを備え、第一処理部または第二処理部に、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成させる機能を実現させ、第二通信部に、三次元データを外部装置に送信させる機能を実現させることを特徴とする。

【発明の効果】

【0022】

本発明によれば、製品の三次元データの生成を自動化することができるようになる。

【図面の簡単な説明】

【0023】

【図1】本発明の情報処理システムのシステム構成を示す概念図である。

【図2】本発明の情報処理システムに係るユーザ端末の構成を示す構成図である。

【図3】本発明の情報処理システムに係るサーバ装置の構成を示す構成図である。

【図4】本発明の情報処理システムに係る装着対象と製品の概念を示す概念図である。

【図5】本発明の情報処理システムに係る対象情報の概念を示す概念図である。

【図6】本発明の情報処理システムに係る等高線の概念を示す概念図である。

【図7】本発明の処理方法を示すフロー図である。

【図8】本発明のコンピュータプログラムに関する機能構成図である。

【発明を実施するための形態】

【0024】

本発明の情報処理システム、処理方法およびコンピュータプログラムの実施形態について、図面を参照しながら説明する。

【0025】

初めに、本発明の情報処理システムの実施形態について図１を参照しながら説明する。

【0026】

図１に示されるように、本発明の情報処理システム１００は、ユーザ端末２００と、当該ユーザ端末２００とネットワークを介して接続されるサーバ装置３００とを備える。

【0027】

ユーザ端末２００は、スマートフォン、タブレットまたはパーソナルコンピュータ等の情報処理端末とすることができる。

【0028】

ユーザ端末２００は、図２に示されるように、第一撮像部２１０と、第一処理部２２０と、第一通信部２３０とを備える。

【0029】

第一撮像部２１０は、装着対象を撮像するためのものであって、上記ユーザ端末２００に内蔵されるカメラ部、または、上記ユーザ端末２００に有線または無線により接続されるカメラ装置とすることができる。

【0030】

装着対象は、本実施形態においてはユーザの「耳介」であるものとして説明を行うが、これに限られるものではなく、例えば、手首、首、頭、顔または指などのウェアラブルデバイスが装着可能な人体の部位とすることができる。

【0031】

この第一撮像部２１０は、装着対象を動画または静止画の形式で撮像することができる。

【0032】

第一処理部２２０は、各処理を実行するものである。各処理の詳細については後述する。

【0033】

第一通信部２３０は、サーバ装置３００と情報を送受信するためのものである。この送受信は、上記ネットワークを介して行われるものとする。

【0034】

サーバ装置３００は、図３に示されるように、第二通信部３１０と、第二処理部３２０とを備える。

【0035】

第二通信部３１０は、ユーザ端末２００および外部装置４００と情報を送受信するためのものである。これらの送受信は、上記ネットワークを介して行われるものとする。

【0036】

外部装置４００は、図１に示されるように、サーバ装置３００とネットワークを介して接続されることができる。

【0037】

第二処理部３２０は、各処理を実行するものである。各処理の詳細については後述する。

【0038】

第一処理部２２０または第二処理部３２０は、第一撮像部２１０により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定し、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成する。

【0039】

三次元データとは、部材を立体形状として製造するために必要なデータであって、後述する外部装置（例えば３Ｄプリンタ等）により立体形状を製造するために必要なデータとすることができる。

【0040】

図４に一例として示されるように、部材は、後述する部材と一体化されて製品（イヤフォン１０）となり、装着対象（耳介２０）の少なくとも一部に密着可能に構成されるものである。

【0041】

そして、この部材の三次元データの生成に必要な情報量は、静止画であれば、異なるアングルで撮像された１０枚程度、動画であれば、移動するアングルで撮像された数秒程度の情報量とすることができる。図５は、異なるアングルで撮像された耳介の写真のイメージを示したものである。なお、図５は、撮像された静止画を画像認識および機械学習技術により耳介の領域だけをマスクしたものである。

【0042】

部材は、音を発生させるためのスピーカ、ユーザによる電話通話またはコマンド入力等のためのマイクロフォンおよび／またはユーザが指示を与えるためのコントロールボタン等で構成されることができる。

【0043】

マイクロフォンとコントロールボタンは部材と一体化していても、部材とは別の筐体であって、部材と有線または無線で通信を行なう設計であってもよい。部材は、ユーザ端末または所定のサーバ装置との接続のための無線接続機能を備えていることが望ましい。無線接続機能は、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ−Ｅｎｅｒｇｙ）技術を使用することができる。あるいは、部材は、ユーザ端末２００と有線で接続される構成とすることもできる。

【0044】

そして、部材は、さらに、センシング部材として、脈波を測定するための血流センサを備えることができる。血流センサは部材の耳穴または耳朶等に圧着される部位に設けられている、あるいは、クリップ等で使用者の耳朶に圧着固定できることが望ましい。このようにすることで、ノイズに妨害されにくく正確な脈波の測定が可能となる。

【0045】

加えて、部材は、使用者の頭の向きを測定するためのジャイロセンサ、並びに、地磁気センサ（コンパス）、および、使用者の動きを測定するための加速度センサを備えることができる。これらのセンシング部材は、部材本体内に固定されているのが好ましい。このようにすることで、部材を装着するユーザの頭の位置と方向を正確に測定することが可能となる。

【0046】

あるいは、眼鏡や帽子等、ユーザの頭の向きとの位置関係が固定的である物に上記センサを設け、あるいは、クリップ等で固定し、有線または無線接続により、部材、ユーザ端末２００、または、サーバ装置３００にセンサ情報を提供できるようにしてもよい。

【0047】

また、部材は、製品がユーザに着用されているかどうかを検知するための近接センサを備えていてよい。さらに、脳波センサ、ＧＰＳ等の他のタイプのセンサを備えていてもよい。

【0048】

そして、第二通信部３１０は、三次元データを外部装置４００に送信する。

【0049】

外部装置４００の例としては３Ｄプリンタが挙げられるが、三次元データを立体形状に造形可能な装置であれば特に限定されるものではない。

【0050】

以上の構成によれば、製品の三次元データの生成を自動化することができるようになる。これにより、例えば、より低価格で一般ユーザ向けのウェアラブルデバイス、特に、ＩＥＭイヤフォンなどのヒアラブルデバイスを提供することができるようになる。

【0051】

また、第一処理部２２０または第二処理部３２０は、判定の結果、対象情報が、三次元データの生成に必要な情報量を満たしていない場合、追加の対象情報を要求する情報を生成することができる。

【0052】

追加の対象情報を要求する情報とは、例えば、ユーザに対して追加の静止画または動画の撮像を要求する情報であって、ユーザ端末の表示部にテキストや画像として表示されるか、および／または、音声として出力されるものとすることができる。

【0053】

かかる構成によれば、不完全な三次元データが生成されることを防ぐことができる。

【0054】

三次元データの生成は、第一処理部２２０によって行われることができる。第一処理部２２０がユーザ端末のものである場合には、ユーザ端末とサーバ装置との通信速度や通信環境に依らず、安定的に処理を行うことができる。

【0055】

三次元データの生成は、第二処理部３２０によって行われることもできる。第二処理部３２０がサーバ装置のものである場合には、ユーザ端末の処理能力に寄らず高い処理能力を有するサーバ装置で処理されるため、高速で処理を行うことができる。

【0056】

続いて、対象情報から三次元データを生成する手法の例について説明を行う。なお、以下の例は一例であって他の手法により三次元データを生成することを権利範囲から除外するものではない。

【0057】

はじめに、第一処理部２２０または第二処理部３２０は、対象情報から装着対象の点群データを生成し、点群データから装着対象のメッシュデータを生成する。

【0058】

そして、第一処理部２２０または第二処理部３２０は、メッシュデータから部材の外形を抽出し、部材の外形に基づいて、装着対象に対応する三次元データを生成することができる。

【0059】

より具体的には、第一処理部２２０または第二処理部３２０は、メッシュデータの深度情報に基づき、メッシュデータの最深箇所を起点として、高さ方向で複数回メッシュをスライスすることによって、図６に一例として示されるような等高線状の輪郭曲線を得ることにより部材の外形を抽出することができる。

【0060】

そして、第一処理部２２０または第二処理部３２０は、輪郭曲線を曲線補間により平滑にし、等高線を通るサーフェスデータを生成して三次元データとすることができる。

【0061】

あるいは、第一処理部２２０または第二処理部３２０は、対象情報に基づいて、予め所定の記憶装置に記憶された、部材のテンプレートデータの中から一のテンプレートデータを選択し、当該選択されたテンプレートデータを拡大または縮小することで、装着対象のメッシュデータと少なくとも一点が接するサイズを決定し、当該サイズのテンプレートデータを三次元データとすることができる。

【0062】

また、第一処理部２２０または第二処理部３２０は、第一撮像部２１０により撮像された動画または静止画に対してマスク処理を行い、装着対象を特定して対象情報とすることができる。

【0063】

かかる構成によれば、より制度の高い三次元データを生成することができるようになる。

【0064】

また、第一処理部２２０または第二処理部３２０は、装着対象を撮像するためのガイド画像またはガイド音声を生成し、ユーザ端末から出力することができる。

【0065】

ガイド画像は、例えば、装着対象の外形を示すオブジェクトとすることができる。そして、ユーザは、ユーザ端末２００の表示部に表示されたオブジェクトを見ながら、このオブジェクト内に自身の装着対象が収まるように撮像を行うことができる。このとき、第一撮像部２１０はユーザ端末２００の表示部と同じ側に設けられたインカメラとするのが好ましい。

【0066】

このとき、表示部にはインカメラを通して第一撮像部２１０が撮像しようとしている装着対象が表示されるが、ユーザから表示部が見えにくい場合（例えば、装着対象が耳や頭である場合など）は、ガイド音声を出力させるのが適切である。

【0067】

このガイド音声は、例えば、「カメラを右へ移動させてください」、または、「カメラを遠ざけてください」などの音声とすることができる。

【0068】

続いて、本発明の処理方法の実施形態について図７を参照しながら説明する。

【0069】

本発明の処理方法は、ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行される処理方法である。

【0070】

ユーザ端末は、装着対象を撮像するための第一撮像部と、第一処理部とサーバ装置と情報を送受信するための第一通信部とを備える。この第一通信部の詳細については上述したとおりである。これらの詳細については情報処理システムの説明において記載したとおりである。

【0071】

サーバ装置は、ユーザ端末および外部装置と情報を送受信するための第二通信部と、第二処理部とを備える。これらの詳細については情報処理システムの説明において記載したとおりである。

【0072】

そして、本発明の処理方法は、図７に示すように、三次元データを生成させるステップＳ５１０と、三次元データを送信させるステップＳ５２０とを備える。

【0073】

三次元データを生成させるステップＳ５１０は、第一処理部または第二処理部に、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成させる。

【0074】

三次元データを送信させるステップＳ５２０は、第二通信部に、三次元データを外部装置に送信させる。

【0075】

以上の構成によれば、製品の三次元データの生成を自動化することができるようになる。これにより、例えば、より低価格で一般ユーザ向けのウェアラブルデバイス、特に、ＩＥＭイヤフォンなどのヒアラブルデバイスを提供することができるようになる。

【0076】

最後に、本発明のコンピュータプログラムの実施形態について図８を参照しながら説明する。

【0077】

本発明の処理方法は、ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行されるコンピュータプログラムである。

【0078】

ユーザ端末は、装着対象を撮像するための第一撮像部と、第一処理部とサーバ装置と情報を送受信するための第一通信部とを備える。これらの詳細については情報処理システムの説明において記載したとおりである。

【0079】

サーバ装置は、ユーザ端末および外部装置と情報を送受信するための第二通信部と、第二処理部とを備える。これらの詳細については情報処理システムの説明において記載したとおりである。

【0080】

そして、本発明のコンピュータプログラムは、第一処理部または第二処理部に、三次元データを生成させる機能を実現させ、第二通信部に、三次元データを送信させる機能を実現させる。これら機能は、図８に示す第一回路５１０および第二回路５２０によって実現される。これらの回路はそれぞれ上述した第一処理部２２０または第二処理部３２０のいずれかに対応する。

【0081】

三次元データを生成させる機能は、第一処理部または第二処理部に、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成させる。

【0082】

三次元データを送信させる機能は、第二通信部に、成形データを外部装置に送信させる。

【0083】

以上の構成によれば、製品の三次元データの生成を自動化することができるようになる。これにより、例えば、より低価格で一般ユーザ向けのウェアラブルデバイス、特に、ＩＥＭイヤフォンなどのヒアラブルデバイスを提供することができるようになる。

【0084】

また、上述した実施形態に係るサーバ装置又は端末装置として機能させるために、コンピュータ又は携帯電話などの情報処理装置を好適に用いることができる。このような情報処理装置は、実施形態に係るサーバ装置又は端末装置の各機能を実現する処理内容を記述したプログラムを、情報処理装置の記憶部に格納し、情報処理装置のＣＰＵによって当該プログラムを読み出して実行させることによって実現可能である。

【0085】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0086】

また、実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラムとして、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。記憶部は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。

【符号の説明】

【0087】

１００ 情報処理システム
２００ ユーザ端末
２１０ 第一撮像部
２２０ 第一処理部
２３０ 第一通信部
３００ サーバ装置
３１０ 第二通信部
３２０ 第二処理装置
４００ 外部装置

【要約】

【課題】 本発明は、製品の成形データの生成を自動化するための情報処理システム、処理方法およびコンピュータプログラムを提供することを目的とする。
【解決手段】 ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備え、第一処理部または第二処理部は、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定し、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成し、第二通信部は、三次元データを外部装置に送信する。
【選択図】 図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】