知財求人 - 知財ポータルサイト「IP Force」
特開2024-139023マーカー認識装置、流体デバイス設計装置、拡張現実出力装置、流体デバイス、流体デバイス作成方法、マーカー認識装置、流体デバイス設計方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024139023
(43)【公開日】2024-10-09
(54)【発明の名称】マーカー認識装置、流体デバイス設計装置、拡張現実出力装置、流体デバイス、流体デバイス作成方法、マーカー認識装置、流体デバイス設計方法
(51)【国際特許分類】
G01P 13/00 20060101AFI20241002BHJP
G01L 5/171 20200101ALI20241002BHJP
G01L 5/166 20200101ALI20241002BHJP
【ＦＩ】
G01P13/00 D
G01L5/171
G01L5/166
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2023049793
(22)【出願日】2023-03-27
(71)【出願人】
【識別番号】000003193
【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】中島 次郎
(72)【発明者】
【氏名】吉野 弘一
(72)【発明者】
【氏名】佐藤 未来
【テーマコード（参考）】
2F034
2F051
【Ｆターム（参考）】
2F034AA03
2F034AB01
2F051AB02
2F051AB03
2F051BA05
2F051BA07
2F051DA03
(57)【要約】
【課題】流体デバイスの設計の自由度を向上させることができる。
【解決手段】入力部とマーカー部とを有する流体デバイスのモデルを表すモデルデータを取得するモデルデータ取得部と、前記モデルデータに応じて作成された流体デバイスを撮影することで生成される流体デバイス撮影画像を取得する撮影画像取得部と、前記流体デバイス撮影画像から、前記流体デバイスを撮影した位置と姿勢を表す流体デバイス位置姿勢情報を推定する流体デバイス位置姿勢情報推定部と、前記流体デバイス撮影画像と前記流体デバイス位置姿勢情報と前記モデルデータから、前記流体デバイス撮影画像における前記マーカー部が撮像された流路領域を推定する流路領域推定部と、前記流体デバイス撮影画像と前記流路領域から、流体デバイス内の液体の流動情報を推定する流動情報推定部とを備える。
【選択図】図１
【解決手段】入力部とマーカー部とを有する流体デバイスのモデルを表すモデルデータを取得するモデルデータ取得部と、前記モデルデータに応じて作成された流体デバイスを撮影することで生成される流体デバイス撮影画像を取得する撮影画像取得部と、前記流体デバイス撮影画像から、前記流体デバイスを撮影した位置と姿勢を表す流体デバイス位置姿勢情報を推定する流体デバイス位置姿勢情報推定部と、前記流体デバイス撮影画像と前記流体デバイス位置姿勢情報と前記モデルデータから、前記流体デバイス撮影画像における前記マーカー部が撮像された流路領域を推定する流路領域推定部と、前記流体デバイス撮影画像と前記流路領域から、流体デバイス内の液体の流動情報を推定する流動情報推定部とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
液体が収容される貯留部に対して外力が印加されることで前記液体を外部に供給させる入力部と、
前記貯留部に流路が連結され、前記印加される外力により前記液体が前記流路の形状に沿って流動可能であり、前記流動される液体が外部から視認可能なマーカー部と、
を有する流体デバイスのモデルを表すモデルデータを取得するモデルデータ取得部と、
前記モデルデータに応じて作成された流体デバイスを撮影することで生成される流体デバイス撮影画像を取得する撮影画像取得部と、
前記流体デバイス撮影画像から、前記流体デバイスを撮影した位置と姿勢を表す流体デバイス位置姿勢情報を推定する流体デバイス位置姿勢情報推定部と、
前記流体デバイス撮影画像と前記流体デバイス位置姿勢情報と前記モデルデータから、前記流体デバイス撮影画像における前記マーカー部が撮像された流路領域を推定する流路領域推定部と、
前記流体デバイス撮影画像と前記流路領域から、流体デバイス内の液体の流動情報を推定する流動情報推定部と
を備えるマーカー認識装置。
前記貯留部に流路が連結され、前記印加される外力により前記液体が前記流路の形状に沿って流動可能であり、前記流動される液体が外部から視認可能なマーカー部と、
を有する流体デバイスのモデルを表すモデルデータを取得するモデルデータ取得部と、
前記モデルデータに応じて作成された流体デバイスを撮影することで生成される流体デバイス撮影画像を取得する撮影画像取得部と、
前記流体デバイス撮影画像から、前記流体デバイスを撮影した位置と姿勢を表す流体デバイス位置姿勢情報を推定する流体デバイス位置姿勢情報推定部と、
前記流体デバイス撮影画像と前記流体デバイス位置姿勢情報と前記モデルデータから、前記流体デバイス撮影画像における前記マーカー部が撮像された流路領域を推定する流路領域推定部と、
前記流体デバイス撮影画像と前記流路領域から、流体デバイス内の液体の流動情報を推定する流動情報推定部と
を備えるマーカー認識装置。
【請求項2】
前記流路には空気が収容されており、当該流路において前記液体が流動可能な領域のサイズを変更する空気量制御部
を有する請求項１に記載のマーカー認識装置。
を有する請求項１に記載のマーカー認識装置。
【請求項3】
前記モデルデータから、前記流体デバイスに印加される前記外力と液体の流動の関係をシミュレーションし、流動シミュレーション結果を得る流動シミュレーション部と、
流動シミュレーション結果と前記流動情報から、前記外力を推定する外力推定部と
を備える請求項１に記載のマーカー認識装置。
流動シミュレーション結果と前記流動情報から、前記外力を推定する外力推定部と
を備える請求項１に記載のマーカー認識装置。
【請求項4】
前記外力は、前記流体デバイスを押圧するまたは湾曲させる動作に応じて生じる力であり、
前記流動シミュレーション部は、
前記動作により生じる前記流体デバイスが変形する状態を前記モデルデータを用いて応力解析をすることにより推定し、
前記推定された結果に基づいて、前記流体デバイスが変形した状態において前記流体デバイスに生じる前記外力と前記液体の流動の関係をシミュレーションする
請求項３に記載のマーカー認識装置。
前記流動シミュレーション部は、
前記動作により生じる前記流体デバイスが変形する状態を前記モデルデータを用いて応力解析をすることにより推定し、
前記推定された結果に基づいて、前記流体デバイスが変形した状態において前記流体デバイスに生じる前記外力と前記液体の流動の関係をシミュレーションする
請求項３に記載のマーカー認識装置。
【請求項5】
前記流動シミュレーション結果には、
前記外力が印加されることで前記流体デバイスが変形した状態を、前記モデルデータを用いて表した変形モデルデータが含まれており、
前記変形モデルデータに基づいて、前記流体デバイス撮影画像が撮影された過去のフレームに該当する撮影画像から変形した状態の流体デバイスを特定し、
前記流路領域推定部は、
前記流体デバイスを特定することができた変形モデルデータを用いて流路領域を推定する
請求項３に記載のマーカー認識装置。
前記外力が印加されることで前記流体デバイスが変形した状態を、前記モデルデータを用いて表した変形モデルデータが含まれており、
前記変形モデルデータに基づいて、前記流体デバイス撮影画像が撮影された過去のフレームに該当する撮影画像から変形した状態の流体デバイスを特定し、
前記流路領域推定部は、
前記流体デバイスを特定することができた変形モデルデータを用いて流路領域を推定する
請求項３に記載のマーカー認識装置。
【請求項6】
前記流動情報推定部は、
前記流体デバイス撮影画像のうち、前記推定された流路領域に対応する画像に含まれる、前記液体に対応する色に該当する液体色領域の画素数を算出し、前記画素数を流動情報として推定する
請求項１に記載のマーカー認識装置。
前記流体デバイス撮影画像のうち、前記推定された流路領域に対応する画像に含まれる、前記液体に対応する色に該当する液体色領域の画素数を算出し、前記画素数を流動情報として推定する
請求項１に記載のマーカー認識装置。
【請求項7】
前記流路領域推定部は、
前記流体デバイス撮影画像が撮像された過去のフレームに該当する撮影画像から流路領域を推定することで過去流路領域を取得し、
前記過去のフレームのうち異なるフレームから得られるそれぞれの過去流路領域の画像の差分である流路領域差分画像を抽出し、
前記流動情報推定部は、
前記モデルデータが表す流路形状と前記抽出された流路領域差分画像から、前記流路に展開された液体の先頭の位置である液体先頭位置を流動情報として推定する
請求項３に記載のマーカー認識装置。
前記流体デバイス撮影画像が撮像された過去のフレームに該当する撮影画像から流路領域を推定することで過去流路領域を取得し、
前記過去のフレームのうち異なるフレームから得られるそれぞれの過去流路領域の画像の差分である流路領域差分画像を抽出し、
前記流動情報推定部は、
前記モデルデータが表す流路形状と前記抽出された流路領域差分画像から、前記流路に展開された液体の先頭の位置である液体先頭位置を流動情報として推定する
請求項３に記載のマーカー認識装置。
【請求項8】
前記流体デバイス位置姿勢情報推定部は、
前記流体デバイスの周辺に描かれた図柄に基づいて前記流体デバイス位置姿勢情報を推定する
請求項１に記載のマーカー認識装置。
前記流体デバイスの周辺に描かれた図柄に基づいて前記流体デバイス位置姿勢情報を推定する
請求項１に記載のマーカー認識装置。
【請求項9】
前記流体デバイス位置姿勢情報推定部は、
前記モデルデータを入力としたオブジェクトトラッキングにより前記流体デバイス位置姿勢情報を推定する
請求項１に記載のマーカー認識装置。
前記モデルデータを入力としたオブジェクトトラッキングにより前記流体デバイス位置姿勢情報を推定する
請求項１に記載のマーカー認識装置。
【請求項10】
前記流体デバイスの前記入力部には少なくとも２つの貯留部が設けられており、
各々の貯留部から独立した流路が展開するように構成されたマーカー部が設けられており、
前記流動情報推定部は、
前記各々の前記貯留部から独立して展開する各々の流路に対応する流動情報をそれぞれ推定し、
前記マーカー認識装置は、
前記推定された流動情報に対応する３次元ベクトルであって、流動情報に応じた長さの３次元ベクトルを前記流路毎にそれぞれ生成し、生成された各々の３次元ベクトルを合成することで、それぞれの３次元ベクトルに基づく傾きと長さが設定された合成ベクトルである荷重情報を推定する
請求項１に記載のマーカー認識装置。
各々の貯留部から独立した流路が展開するように構成されたマーカー部が設けられており、
前記流動情報推定部は、
前記各々の前記貯留部から独立して展開する各々の流路に対応する流動情報をそれぞれ推定し、
前記マーカー認識装置は、
前記推定された流動情報に対応する３次元ベクトルであって、流動情報に応じた長さの３次元ベクトルを前記流路毎にそれぞれ生成し、生成された各々の３次元ベクトルを合成することで、それぞれの３次元ベクトルに基づく傾きと長さが設定された合成ベクトルである荷重情報を推定する
請求項１に記載のマーカー認識装置。
【請求項11】
液体が収容される貯留部に対して外力が印加されることで前記液体を外部に供給させる入力部と、
前記貯留部に流路が連結され、前記印加される外力により前記液体が前記流路の形状に沿って流動可能であり、前記流動される液体が外部から視認可能なマーカー部と、
を有する流体デバイスのモデルを表すモデルデータを生成する流体デバイス設計装置であり、
流体デバイス撮影画像を撮影するカメラの特性を表す内部パラメータに応じた内部パラメータを持ち、前記モデルデータを撮像する仮想カメラから前記モデルデータを見た場合の仮想画像であり、当該仮想カメラの位置及び姿勢を表す外部パラメータに応じて前記モデルデータを二次元平面上に投影した流体デバイスの複数の仮想画像を生成する仮想画像生成部と、
前記仮想画像において、前記流路の外観が遮蔽される場合に仮想画像に対応した外部パラメータあるいは流路形状における遮蔽部のいずれかを遮蔽情報として推定する遮蔽情報推定部と、
前記遮蔽情報に応じて遮蔽発生警告を出力する警告出力部と、
を有する
流体デバイス設計装置。
前記貯留部に流路が連結され、前記印加される外力により前記液体が前記流路の形状に沿って流動可能であり、前記流動される液体が外部から視認可能なマーカー部と、
を有する流体デバイスのモデルを表すモデルデータを生成する流体デバイス設計装置であり、
流体デバイス撮影画像を撮影するカメラの特性を表す内部パラメータに応じた内部パラメータを持ち、前記モデルデータを撮像する仮想カメラから前記モデルデータを見た場合の仮想画像であり、当該仮想カメラの位置及び姿勢を表す外部パラメータに応じて前記モデルデータを二次元平面上に投影した流体デバイスの複数の仮想画像を生成する仮想画像生成部と、
前記仮想画像において、前記流路の外観が遮蔽される場合に仮想画像に対応した外部パラメータあるいは流路形状における遮蔽部のいずれかを遮蔽情報として推定する遮蔽情報推定部と、
前記遮蔽情報に応じて遮蔽発生警告を出力する警告出力部と、
を有する
流体デバイス設計装置。
【請求項12】
請求項１に記載されたマーカー認識装置における前記流動情報推定部により推定された流動情報に基づいて、映像または音の少なくともいずれか一方が変化する拡張現実情報を出力する拡張現実出力装置。
【請求項13】
請求項３に記載されたマーカー認識装置における前記外力推定部により推定された外力に基づいて、映像または音の少なくともいずれか一方が変化する拡張現実情報を出力する拡張現実出力装置。
【請求項14】
液体が収容される貯留部に対して外力が印加されることで前記液体を外部に供給させる入力部と、
前記貯留部に流路が連結され、前記印加される外力により前記液体が流路形状に沿って流動可能であり、前記流動される液体が外部から視認可能なマーカー部と、
ユーザによる操作入力に応じて、前記流路における前記液体が展開可能な領域を拡大または縮小させる流路制御部
を有する流体デバイス。
前記貯留部に流路が連結され、前記印加される外力により前記液体が流路形状に沿って流動可能であり、前記流動される液体が外部から視認可能なマーカー部と、
ユーザによる操作入力に応じて、前記流路における前記液体が展開可能な領域を拡大または縮小させる流路制御部
を有する流体デバイス。
【請求項15】
請求項１に記載されたマーカー認識装置において用いられる前記モデルデータから前記流体デバイスを３Ｄプリンタによって作成する
流体デバイス作成方法。
流体デバイス作成方法。
【請求項16】
入力部が、液体が収容される貯留部に対して外力が印加されることで前記液体を外部に供給させ、
マーカー部が、前記貯留部に流路が連結され前記印加される外力により前記液体が視認可能に前記流路の形状に沿って流動させ、
モデルデータ取得部が、流体デバイスのモデルを表すモデルデータを取得し、
撮影画像取得部が、前記モデルデータに応じて作成された流体デバイスを撮影することで生成される流体デバイス撮影画像を取得し、
流体デバイス位置姿勢情報推定部が、前記流体デバイス撮影画像から、前記流体デバイスを撮影した位置と姿勢を表す流体デバイス位置姿勢情報を推定し、
流路領域推定部が、前記流体デバイス撮影画像と前記流体デバイス位置姿勢情報と前記モデルデータから、前記流体デバイス撮影画像における前記マーカー部が撮像された流路領域を推定し、
流動情報推定部が、前記流体デバイス撮影画像と前記流路領域から、流体デバイス内の液体の流動情報を推定する
マーカー認識方法。
マーカー部が、前記貯留部に流路が連結され前記印加される外力により前記液体が視認可能に前記流路の形状に沿って流動させ、
モデルデータ取得部が、流体デバイスのモデルを表すモデルデータを取得し、
撮影画像取得部が、前記モデルデータに応じて作成された流体デバイスを撮影することで生成される流体デバイス撮影画像を取得し、
流体デバイス位置姿勢情報推定部が、前記流体デバイス撮影画像から、前記流体デバイスを撮影した位置と姿勢を表す流体デバイス位置姿勢情報を推定し、
流路領域推定部が、前記流体デバイス撮影画像と前記流体デバイス位置姿勢情報と前記モデルデータから、前記流体デバイス撮影画像における前記マーカー部が撮像された流路領域を推定し、
流動情報推定部が、前記流体デバイス撮影画像と前記流路領域から、流体デバイス内の液体の流動情報を推定する
マーカー認識方法。
【請求項17】
液体が収容される貯留部に対して外力が印加されることで前記液体を外部に供給させる入力部と、前記貯留部に流路が連結され、前記印加される外力により前記液体が前記流路の形状に沿って流動可能であり、前記流動される液体が外部から視認可能なマーカー部と、を有する流体デバイスのモデルを表すモデルデータを生成する流体デバイス設計装置に実行させる流体デバイス設計方法であり、
仮想画像生成部が、流体デバイス撮影画像を撮影するカメラの特性を表す内部パラメータに応じた内部パラメータを持ち前記モデルデータを撮像する仮想カメラから前記モデルデータを見た場合の仮想画像であり、当該仮想カメラの位置及び姿勢を表す外部パラメータに応じて前記モデルデータを二次元平面上に投影した流体デバイスの複数の仮想画像を生成し、
遮蔽情報推定部が、前記仮想画像において、前記流路の外観が遮蔽される場合に仮想画像に対応した外部パラメータあるいは流路形状における遮蔽部のいずれかを遮蔽情報として推定し、
警告出力部が、前記遮蔽情報に応じて遮蔽発生警告を出力する
流体デバイス設計方法。
仮想画像生成部が、流体デバイス撮影画像を撮影するカメラの特性を表す内部パラメータに応じた内部パラメータを持ち前記モデルデータを撮像する仮想カメラから前記モデルデータを見た場合の仮想画像であり、当該仮想カメラの位置及び姿勢を表す外部パラメータに応じて前記モデルデータを二次元平面上に投影した流体デバイスの複数の仮想画像を生成し、
遮蔽情報推定部が、前記仮想画像において、前記流路の外観が遮蔽される場合に仮想画像に対応した外部パラメータあるいは流路形状における遮蔽部のいずれかを遮蔽情報として推定し、
警告出力部が、前記遮蔽情報に応じて遮蔽発生警告を出力する
流体デバイス設計方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マーカー認識装置、流体デバイス設計装置、拡張現実出力装置、流体デバイス、流体デバイス作成方法、マーカー認識装置、流体デバイス設計方法に関する。
【背景技術】
【0002】
現実の風景の中にＣＧ（Computer Graphics）で作られた映像などのデジタルコンテンツやデータを重ねて表示する技術に拡張現実（Augmented Reality: AR）技術があり、様々な産業で活用されている。
ＡＲ（Augmented Reality）技術では、現実空間をカメラで撮影した画像に対して、ＣＧを重畳させて表示することがある。この際に、撮影画像を画像処理技術などにより解析し、現実空間中の様々な情報（カメラの位置や姿勢、空間内の光源情報、）を推定し、それらの情報に沿ったコンテンツを提供することで、より現実空間に適合したＣＧを重畳することが可能である。
画像処理技術としては、撮影画像に含まれる実際の風景や建造物、あらかじめ入力した３次元モデルやテンプレート画像、マーカー画像などを識別し、その位置と姿勢を推定する技術がある。これにより、認識した対象物体の形状や位置に合わせたコンテンツを重畳させて表示させる。これにより、例えば、物体の状態変化に対応させて動的にＡＲでの表示をすることが可能である。
ＡＲ（Augmented Reality）技術では、現実空間をカメラで撮影した画像に対して、ＣＧを重畳させて表示することがある。この際に、撮影画像を画像処理技術などにより解析し、現実空間中の様々な情報（カメラの位置や姿勢、空間内の光源情報、）を推定し、それらの情報に沿ったコンテンツを提供することで、より現実空間に適合したＣＧを重畳することが可能である。
画像処理技術としては、撮影画像に含まれる実際の風景や建造物、あらかじめ入力した３次元モデルやテンプレート画像、マーカー画像などを識別し、その位置と姿勢を推定する技術がある。これにより、認識した対象物体の形状や位置に合わせたコンテンツを重畳させて表示させる。これにより、例えば、物体の状態変化に対応させて動的にＡＲでの表示をすることが可能である。
【0003】
一方、近年、マイクロ流体デバイスが利用されている。マイクロ流体デバイスは、微細な流路を樹脂やガラス基盤などに形成し、流体中の微粒子をマイクロスケールで混合したり分流したりすることができる。このようなマイクロ流体デバイスは、創薬、ヘルスケア、遺伝子解析等の幅広い分野で応用されることが期待されている。
また、このような流体デバイスは、マイクロ流路以外にも検討が進められている。例えば、流体デバイスは、インターフェース研究技術分野においても研究が進められている。一例としては、液体が貯留された液体貯留部と、空気を貯留する空気貯留部とが、流路によって連結されており、液体貯留部に圧力等の力を印加することで、液体を流路に展開させ、印加した圧力を低減させると液体が液体貯留部に収容されるデバイスがあり、このようなデバイスを情報提示インターフェースとして利用することが研究されている。
ここで、流体デバイスに対し、外力が加わることで生じる物体の形状や内部状態（圧力など）の変化を上述のＡＲ技術を用いて認識することにより、対象物体の変化やユーザによるインタラクションに対応した動的なＡＲコンテンツを提供することができる。
また、このような流体デバイスは、マイクロ流路以外にも検討が進められている。例えば、流体デバイスは、インターフェース研究技術分野においても研究が進められている。一例としては、液体が貯留された液体貯留部と、空気を貯留する空気貯留部とが、流路によって連結されており、液体貯留部に圧力等の力を印加することで、液体を流路に展開させ、印加した圧力を低減させると液体が液体貯留部に収容されるデバイスがあり、このようなデバイスを情報提示インターフェースとして利用することが研究されている。
ここで、流体デバイスに対し、外力が加わることで生じる物体の形状や内部状態（圧力など）の変化を上述のＡＲ技術を用いて認識することにより、対象物体の変化やユーザによるインタラクションに対応した動的なＡＲコンテンツを提供することができる。
【0004】
物体の状態変化に対応させて動的にＡＲでの表示をすることが可能な技術として、非特許文献１では、形状変化に対応したマーカーを提案することで、対象物体の湾曲に応じてＣＧを歪曲して重畳し、対象物体に自然に張り付いたような映像を提供することが開示されている。
また、非特許文献２では、流体デバイスを認識対象物体とし、圧力をかけた際の流路へのインク展開量の変化を画像解析することで、圧力変化を認識し、ユーザの力に応じたインタラクションを提供することが開示されている。
また、非特許文献２では、流体デバイスを認識対象物体とし、圧力をかけた際の流路へのインク展開量の変化を画像解析することで、圧力変化を認識し、ユーザの力に応じたインタラクションを提供することが開示されている。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Deformable random dot marker[ISMAR 2011]
【非特許文献2】Skinflow [RoboSoft 2019]
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、非特許文献１は、平面構造が湾曲された場合を想定したものであり、湾曲が起きないような外力については認識することはできないため、認識できる入力（外力）の種類が限定されてしまう。
また、非特許文献２では、平面にインクが展開するような流体デバイスを撮像方向に対して位置や姿勢を固定しなければインクの展開状況を認識することができない。そのため、流体デバイス自体の位置姿勢が変化した際は認識を行うことができない。また、流路構造を画像解析しやすい形状にする必要があり、意匠性（デバイス形状、認識するマーカー部）が限定されてしまう。
また、非特許文献２では、平面にインクが展開するような流体デバイスを撮像方向に対して位置や姿勢を固定しなければインクの展開状況を認識することができない。そのため、流体デバイス自体の位置姿勢が変化した際は認識を行うことができない。また、流路構造を画像解析しやすい形状にする必要があり、意匠性（デバイス形状、認識するマーカー部）が限定されてしまう。
【0007】
本発明は、このような事情に鑑みてなされたもので、その目的は、流体デバイスの設計の自由度を向上させることができるマーカー認識装置、流体デバイス設計装置、拡張現実出力装置、流体デバイス、流体デバイス作成方法、マーカー認識装置、流体デバイス設計方法を提供することにある。
【課題を解決するための手段】
【0008】
上述した課題を解決するために、本発明の一態様は、液体が収容される貯留部に対して外力が印加されることで前記液体を外部に供給させる入力部と、前記貯留部に流路が連結され、前記印加される外力により前記液体が前記流路の形状に沿って流動可能であり、前記流動される液体が外部から視認可能なマーカー部と、を有する流体デバイスのモデルを表すモデルデータを取得するモデルデータ取得部と、前記モデルデータに応じて作成された流体デバイスを撮影することで生成される流体デバイス撮影画像を取得する撮影画像取得部と、前記流体デバイス撮影画像から、前記流体デバイスを撮影した位置と姿勢を表す流体デバイス位置姿勢情報を推定する流体デバイス位置姿勢情報推定部と、前記流体デバイス撮影画像と前記流体デバイス位置姿勢情報と前記モデルデータから、前記流体デバイス撮影画像における前記マーカー部が撮像された流路領域を推定する流路領域推定部と、前記流体デバイス撮影画像と前記流路領域から、流体デバイス内の液体の流動情報を推定する流動情報推定部とを備えるマーカー認識装置である。
【0009】
また、本発明の一態様は、液体が収容される貯留部に対して外力が印加されることで前記液体を外部に供給させる入力部と、前記貯留部に流路が連結され、前記印加される外力により前記液体が前記流路の形状に沿って流動可能であり、前記流動される液体が外部から視認可能なマーカー部と、を有する流体デバイスのモデルを表すモデルデータを生成する流体デバイス設計装置であり、前記流体デバイス撮影画像を撮影するカメラの特性を表す内部パラメータに応じた内部パラメータを持ち、前記モデルデータを撮像する仮想カメラから前記モデルデータを見た場合の仮想画像であり、当該仮想カメラの位置及び姿勢を表す外部パラメータに応じて前記モデルデータを二次元平面上に投影した流体デバイスの複数の仮想画像を生成する仮想画像生成部と、前記仮想画像において、前記流路の外観が遮蔽される場合に仮想画像に対応した外部パラメータあるいは流路形状における遮蔽部のいずれかを遮蔽情報として推定する遮蔽情報推定部と、前記遮蔽情報に応じて遮蔽発生警告を出力する警告出力部と、を有する流体デバイス設計装置である。
【0010】
また、本発明の一態様は、液体が収容される貯留部に対して外力が印加されることで前記液体を外部に供給させる入力部と、前記貯留部に流路が連結され、前記印加される外力により前記液体が前記流路形状に沿って流動可能であり、前記流動される液体が外部から視認可能なマーカー部と、ユーザによる操作入力に応じて、前記流路における前記液体が展開可能な領域を拡大または縮小させる流路制御部を有する流体デバイスである。
【0011】
また、本発明の一態様は、上述のマーカー認識装置において用いられる前記モデルデータから前記流体デバイスを３Ｄプリンタによって作成する流体デバイス作成方法である。
【0012】
また、本発明の一態様は、入力部が、液体が収容される貯留部に対して外力が印加されることで前記液体を外部に供給させ、マーカー部が、前記貯留部に流路が連結され前記印加される外力により前記液体が視認可能に前記流路の形状に沿って流動させ、モデルデータ取得部が、流体デバイスのモデルを表すモデルデータを取得し、撮影画像取得部が、前記モデルデータに応じて作成された流体デバイスを撮影することで生成される流体デバイス撮影画像を取得し、流体デバイス位置姿勢情報推定部が、前記流体デバイス撮影画像から、前記流体デバイスを撮影した位置と姿勢を表す流体デバイス位置姿勢情報を推定し、流路領域推定部が、前記流体デバイス撮影画像と前記流体デバイス位置姿勢情報と前記モデルデータから、前記流体デバイス撮影画像における前記マーカー部が撮像された流路領域を推定し、流動情報推定部が、前記流体デバイス撮影画像と前記流路領域から、流体デバイス内の液体の流動情報を推定するマーカー認識方法である。
【0013】
また、本発明の一態様は、液体が収容される貯留部に対して外力が印加されることで前記液体を外部に供給させる入力部と、前記貯留部に流路が連結され、前記印加される外力により前記液体が前記流路の形状に沿って流動可能であり、前記流動される液体が外部から視認可能なマーカー部と、を有する流体デバイスのモデルを表すモデルデータを生成する流体デバイス設計装置に実行させる流体デバイス設計方法であり、仮想画像生成部が、前記流体デバイス撮影画像を撮影するカメラの特性を表す内部パラメータに応じた内部パラメータを持ち前記モデルデータを撮像する仮想カメラから前記モデルデータを見た場合の仮想画像であり、当該仮想カメラの位置及び姿勢を表す外部パラメータに応じて前記モデルデータを二次元平面上に投影した流体デバイスの複数の仮想画像を生成し、遮蔽情報推定部が、前記仮想画像において、前記流路の外観が遮蔽される場合に仮想画像に対応した外部パラメータあるいは流路形状における遮蔽部のいずれかを遮蔽情報として推定し、警告出力部が、前記遮蔽情報に応じて遮蔽発生警告を出力する流体デバイス設計方法である。
【発明の効果】
【0014】
以上説明したように、この発明によれば、流体デバイスの設計の自由度を向上させることができる。
【図面の簡単な説明】
【0015】
【図1】流体デバイスの設計から利用までの流れを説明する図である。
【図2】流体デバイス３の構成を説明する概略構成図である。
【図3】流体デバイス３のマーカー部３２が変形する場合について説明する図である。
【図4】流体デバイス３の他の形状となるように作成された場合の一例を示す図である。
【図5】流体デバイス３のレイアウトを変更した場合の構成を表す図である。
【図6】流体デバイス３をＡＲマーカーとして認識する流れの概要を説明する図である。
【図7】マーカー認識装置４の構成を示す概略ブロック図である。
【図8】流体デバイス設計装置１と３Ｄプリンタ２とマーカー認識装置４の動作を説明するフローチャートである。
【図9】マーカー部３２を認識する流れを説明する概念図である。
【図10】流体デバイス設計装置１によって生成されたモデルデータＭＤの一例を示す図である。
【図11】モデルデータＭＤに基づいて３Ｄプリンタ２によって作成された流体デバイス３Ｃの外観を示す図である。
【図12】マーカー認識装置４の表示部４１２に表示される画面の一例を示す図である。
【図13】流路領域を推定する処理について説明する図である。
【図14】コンテンツの出力例を説明する図である。
【図15】コンテンツの出力例を説明する図である。
【図16】コンテンツの出力例を説明する図である。
【図17】流体デバイスの他の実施形態である流体デバイス３Ｄの外観を示す斜視図である。
【図18】流体デバイス設計装置１の機能を説明する概略機能ブロック図である。
【図19】カメラの位置姿勢に応じて遮蔽が生じる場合に遮蔽情報が表示される場合の一例を示す図である。
【図20】他の流体デバイス３Ｅの一例を示す斜視図である。
【図21】マーカー認識装置４の表示部４１２に表示される画面の一例を示す図である。
【発明を実施するための形態】
【0016】
以下、本発明の一実施形態による流体デバイス、流体デバイス設計装置、マーカー認識装置について図面を参照して説明する。
《全体の概要》
図１は、流体デバイスの設計から利用までの流れを説明する図である。
流体デバイス設計装置１は、設計担当者からの操作入力に応じて、流体デバイス３のモデルを表すモデルデータ（設計データ）を生成する。モデルデータは、流体デバイスの構造・形状を表す３次元データであり、例えば、流体デバイスにかかる力と内部に収容された液体が流動するパターンである流動パターンの関係をシミュレーションすることで設計されたデータである。
《全体の概要》
図１は、流体デバイスの設計から利用までの流れを説明する図である。
流体デバイス設計装置１は、設計担当者からの操作入力に応じて、流体デバイス３のモデルを表すモデルデータ（設計データ）を生成する。モデルデータは、流体デバイスの構造・形状を表す３次元データであり、例えば、流体デバイスにかかる力と内部に収容された液体が流動するパターンである流動パターンの関係をシミュレーションすることで設計されたデータである。
【0017】
３Ｄプリンタ２は、流体デバイス設計装置１によって生成された設計データに基づいて、流体デバイス３を作成する。
流体デバイス３は、少なくとも一部が弾性によって構成されており、外力が印加されることで変形し、印加された外力が低減することで元の形状に戻る。また、外力が印加されることで、液体が貯留された貯留部から流路に対して液体が展開し、外力が低減することで、液体が貯留部に収容される。この流路は、任意の形状となるように設計することが可能である。
また、流体デバイス３のうち、流路が形成された部位については、透明または半透明の素材によって形成される。液体は、外部から視認可能である。液体は、例えば液体インク等によって任意の色に着色されていてもよい。このため、流路に対する液体の物理的な展開状況を、ユーザが外部から視認可能である。
流体デバイス３は、少なくとも一部が弾性によって構成されており、外力が印加されることで変形し、印加された外力が低減することで元の形状に戻る。また、外力が印加されることで、液体が貯留された貯留部から流路に対して液体が展開し、外力が低減することで、液体が貯留部に収容される。この流路は、任意の形状となるように設計することが可能である。
また、流体デバイス３のうち、流路が形成された部位については、透明または半透明の素材によって形成される。液体は、外部から視認可能である。液体は、例えば液体インク等によって任意の色に着色されていてもよい。このため、流路に対する液体の物理的な展開状況を、ユーザが外部から視認可能である。
【0018】
マーカー認識装置４は、流体デバイスに対して力が印加された場合の液体の展開状態を示す変化パターンを認識するアプリケーションプログラムがインストールされており、このアプリケーションプログラムを実行する機能を有する。このアプリケーションプログラムは、流体デバイス設計装置１において設計されたデバイス構造を表すモデルデータと、流体デバイス設計装置１においてシミュレーションされた結果とを表すデータを含む。このデータは、流体デバイス設計装置１から取得することでマーカー認識装置４に登録され、アプリケーションプログラムによって読み出される。
シミュレーション結果には、印加された力と流体デバイス３において液体が展開された状態を示す変化パターンとの関係を表す挙動データが含まれる。そのため、マーカー認識装置４は、アプリケーションプログラムを実行することで、流体デバイス３を撮影し、その画像データと挙動データとを用いて、流体デバイス３における液体の変化パターンを撮影画像から検出し、検出された変化パターンから、印加された力を、挙動データを用いて推定することができる。挙動データを用いることで、外力について、単位を持った数値として出力することができる。
シミュレーション結果には、印加された力と流体デバイス３において液体が展開された状態を示す変化パターンとの関係を表す挙動データが含まれる。そのため、マーカー認識装置４は、アプリケーションプログラムを実行することで、流体デバイス３を撮影し、その画像データと挙動データとを用いて、流体デバイス３における液体の変化パターンを撮影画像から検出し、検出された変化パターンから、印加された力を、挙動データを用いて推定することができる。挙動データを用いることで、外力について、単位を持った数値として出力することができる。
【0019】
本実施形態では、マーカー認識装置４によって流体デバイス３を撮影し、流体デバイス３をＡＲマーカーとして用いることができる。例えば、流体デバイス３をカメラで撮像し、流体デバイス３における流路をＡＲマーカーとして認識し、その流路に対する液体（インク）の流れ具合（展開度合い）を認識し、画像認識することで、デジタル上でのアプリケーションを提供することができる。
【0020】
《流体デバイス》
次に、流体デバイスについて説明する。
図２は、流体デバイス３の構成を説明する概略構成図である。
流体デバイス３は、入力部３１、マーカー部３２、空気量制御部３３を有する。
流体デバイス３は、平面状に構成されており、一方の主面の形状は略長方形である。
入力部３１は、液体が収容される貯留部を有し、この貯留部に対して外力が印加（入力）されることで、貯留部に貯留された液体を外部に供給する。
貯留部は、弾性がある素材で構成されており、外部から圧力が印加されることでつぶれるように変形可能であり、印加された圧力が低下することで、元の形状に戻る（つぶれた状態がつぶれる前の状態に回復する）ようになっている。これにより、貯留部は、印加された圧力が低下したことに応じて、外部に供給していた液体を引き戻して収容する。
液体は、着色されているか、不透明な材料が用いられる。液体は、不透明な素材に対して着色されていてもよい。また、液体は、粘性があるものであってもよい。
次に、流体デバイスについて説明する。
図２は、流体デバイス３の構成を説明する概略構成図である。
流体デバイス３は、入力部３１、マーカー部３２、空気量制御部３３を有する。
流体デバイス３は、平面状に構成されており、一方の主面の形状は略長方形である。
入力部３１は、液体が収容される貯留部を有し、この貯留部に対して外力が印加（入力）されることで、貯留部に貯留された液体を外部に供給する。
貯留部は、弾性がある素材で構成されており、外部から圧力が印加されることでつぶれるように変形可能であり、印加された圧力が低下することで、元の形状に戻る（つぶれた状態がつぶれる前の状態に回復する）ようになっている。これにより、貯留部は、印加された圧力が低下したことに応じて、外部に供給していた液体を引き戻して収容する。
液体は、着色されているか、不透明な材料が用いられる。液体は、不透明な素材に対して着色されていてもよい。また、液体は、粘性があるものであってもよい。
【0021】
マーカー部３２は、貯留部に連結された流路を有する。マーカー部３２は、入力部３１に対して印加される外力により貯留部から供給される液体が流路の形状に沿って流動可能である。また、マーカー部３２は、透明または半透明の素材で構成されており、流路に沿って流動される液体を外部から視認可能である。マーカー部３２は、透明樹脂を基材として用いることができる。
【0022】
また、マーカー部３２において、流路の内部は、液体が供給（収容）されていない状態においては空気が収容され、流路の外部から気体が入らないように密閉された状態となっている。流路に対して貯留部から液体が供給された際に、流路に沿って液体が展開し、液体が展開することで、流路における液体が未展開の部分における空気が圧縮される。入力部に対する外力が低減すると、流路内において圧縮された空気の圧力によって液体が貯留部側に押し戻されつつ、貯留部の形状が外力の印加される前に回復することで流路に展開していた液体が貯留部に引き戻される。このようにして、外力の印加状況に応じて、流路内に対する液体の展開と収容を繰り返し行うことができるようになっている。
マーカー部３２は、弾性のある素材で構成されており、外力が印加されることで変形可能であり、印加された外力が低減することで元の形状に戻る（回復する）ことが可能である。なお、マーカー部３２は、弾性がない素材で構成されてもよい。
マーカー部３２は、弾性のある素材で構成されており、外力が印加されることで変形可能であり、印加された外力が低減することで元の形状に戻る（回復する）ことが可能である。なお、マーカー部３２は、弾性がない素材で構成されてもよい。
【0023】
空気量制御部３３は、ユーザによる操作入力に応じて、流路における液体が展開可能な領域を拡大または縮小させる。詳細は後述する。この空気量制御部３３は、流体デバイス３に設けられていても設けられていなくてもよい。
空気量制御部３３は、流路には空気が収容されており、当該流路において液体が流動可能な領域のサイズを変更する。
空気量制御部３３は、流路には空気が収容されており、当該流路において液体が流動可能な領域のサイズを変更する。
【0024】
このような構成において、流体デバイス３は、入力部３１に対して外力が印加されると、液体は、入力部３１の貯留部を基点として、マーカー部３２の長手方向（流体デバイス３の長手方向）に展開する。
【0025】
図３は、流体デバイス３のマーカー部３２が変形する場合について説明する図である。
マーカー部３２は、上述したように弾性のある素材によって構成されることで、弾性変形が可能である。例えば、マーカー部３２は、長手方向をＸ軸方向、短手方向をＹ軸方向、奥行方向をＺ軸方向とした場合、Ｘ軸方向に伸縮するように変形することが可能である。また、マーカー部３２は、Ｙ軸方向に伸縮するように変形することが可能である。また、マーカー部３２は、Ｚ軸方向に伸縮するように変形することが可能である。例えば、マーカー部３２は、Ｚ軸方向に押しつぶすような外力が印加されると、Ｚ軸方向につぶれるように変形するとともに、Ｘ軸方向とＹ軸方向に広がるように変形することも可能である。また、マーカー部３２は、ひねるような外力が印加されることで、ねじれるように変形することも可能である。マーカー部３２は、このような外力が印加された場合であっても、印加された外力が低減すると、元の形状に回復する。
なお、マーカー部３２は、長手方向のみ伸縮可能であってもよいし、短手方向のみ伸縮可能であってもよい。また、マーカー部３２は、ねじれるような変形のみ可能であってもよい。
マーカー部３２は、上述したように弾性のある素材によって構成されることで、弾性変形が可能である。例えば、マーカー部３２は、長手方向をＸ軸方向、短手方向をＹ軸方向、奥行方向をＺ軸方向とした場合、Ｘ軸方向に伸縮するように変形することが可能である。また、マーカー部３２は、Ｙ軸方向に伸縮するように変形することが可能である。また、マーカー部３２は、Ｚ軸方向に伸縮するように変形することが可能である。例えば、マーカー部３２は、Ｚ軸方向に押しつぶすような外力が印加されると、Ｚ軸方向につぶれるように変形するとともに、Ｘ軸方向とＹ軸方向に広がるように変形することも可能である。また、マーカー部３２は、ひねるような外力が印加されることで、ねじれるように変形することも可能である。マーカー部３２は、このような外力が印加された場合であっても、印加された外力が低減すると、元の形状に回復する。
なお、マーカー部３２は、長手方向のみ伸縮可能であってもよいし、短手方向のみ伸縮可能であってもよい。また、マーカー部３２は、ねじれるような変形のみ可能であってもよい。
【0026】
図４は、流体デバイス３の他の形状となるように作成された場合の一例を示す図である。
流体デバイス３Ａは、入力部３１、マーカー部３２、空気量制御部３３を有する点において、図３の流体デバイス３と共通するが、形成される形状が異なる。流体デバイス３Ａは、円筒状になるように形成される。入力部３１、マーカー部３２、空気量制御部３３は、円筒の長手方向における中心軸に沿った方向に並ぶように配置される。
流体デバイス３Ａのマーカー部３２は、円筒状に湾曲された場合であっても、入力部３１に外力が印加されることで液体が展開される。また、マーカー部３２の外周面を観察することで、液体の展開状況を視認可能である。
流体デバイス３Ａは、デバイス形状に応じて立体流路構造として形成されてもよい。
流体デバイス３Ａは、入力部３１、マーカー部３２、空気量制御部３３を有する点において、図３の流体デバイス３と共通するが、形成される形状が異なる。流体デバイス３Ａは、円筒状になるように形成される。入力部３１、マーカー部３２、空気量制御部３３は、円筒の長手方向における中心軸に沿った方向に並ぶように配置される。
流体デバイス３Ａのマーカー部３２は、円筒状に湾曲された場合であっても、入力部３１に外力が印加されることで液体が展開される。また、マーカー部３２の外周面を観察することで、液体の展開状況を視認可能である。
流体デバイス３Ａは、デバイス形状に応じて立体流路構造として形成されてもよい。
【0027】
図５は、流体デバイス３のレイアウトを変更した場合の構成を表す図である。
流体デバイス３Ｂは、１つの入力部３１と、マーカー部３２ａとマーカー部３２ｂとを含む。流体デバイス３Ｂは、空気量制御部３３は設けられていない。
入力部３１は、流体デバイス３の長手方向における中央部に配置される。マーカー部３２ａは、入力部３１に一方の端部に連結され、マーカー部３２ｂは、入力部３１のもう一方の端部に連結される。マーカー部３２ａの流路は、入力部３１の貯留部に連結され、マーカー部３２ｂの流路は、入力部３１の貯留部に連結される。これにより、入力部３１に対して外力が印加されると、液体は、入力部３１の貯留部を基点として、マーカー部３２ａの流路に対して展開するとともに、マーカー部３２ｂの流路に対して展開する。ここで、液体が展開する方向は、マーカー部３２ａとマーカー部３２ｂとにおいて異なる。
なお、流体デバイス３Ｂにおいて、１つの貯留部からマーカー部３２ａとマーカー部３２ｂにそれぞれ液体が展開される場合について説明したが、マーカー部３２ａとマーカー部３２ｂとに対してそれぞれ異なる独立した貯留部を連結するようにしてもよい。
上述の図３、図４、図５に示すように、流体デバイスについては、任意の形状やレイアウトに設計することができるため、設計の自由度が高い。
流体デバイス３Ｂは、１つの入力部３１と、マーカー部３２ａとマーカー部３２ｂとを含む。流体デバイス３Ｂは、空気量制御部３３は設けられていない。
入力部３１は、流体デバイス３の長手方向における中央部に配置される。マーカー部３２ａは、入力部３１に一方の端部に連結され、マーカー部３２ｂは、入力部３１のもう一方の端部に連結される。マーカー部３２ａの流路は、入力部３１の貯留部に連結され、マーカー部３２ｂの流路は、入力部３１の貯留部に連結される。これにより、入力部３１に対して外力が印加されると、液体は、入力部３１の貯留部を基点として、マーカー部３２ａの流路に対して展開するとともに、マーカー部３２ｂの流路に対して展開する。ここで、液体が展開する方向は、マーカー部３２ａとマーカー部３２ｂとにおいて異なる。
なお、流体デバイス３Ｂにおいて、１つの貯留部からマーカー部３２ａとマーカー部３２ｂにそれぞれ液体が展開される場合について説明したが、マーカー部３２ａとマーカー部３２ｂとに対してそれぞれ異なる独立した貯留部を連結するようにしてもよい。
上述の図３、図４、図５に示すように、流体デバイスについては、任意の形状やレイアウトに設計することができるため、設計の自由度が高い。
【0028】
図６は、流体デバイス３をＡＲマーカーとして認識する流れの概要を説明する図である。
モデルデータＭＤは、流体デバイス設計装置１によって生成されたモデルデータである。流体デバイス３Ｃは、モデルデータＭＤに基づいて、注入口が形成されるようにして３Ｄプリンタ２によって作成された流体デバイスであり、３Ｄプリンタ２によって作成された後、注入口から貯留部に対して液体が注入され、注入口が封止されることで作成される。
流体デバイス３Ｃは、例えば現実空間において机の上等に配置され、マーカー認識装置４のカメラによって撮影される。画像Ｇａは、マーカー認識装置４によって流体デバイス３Ｃが撮影された画像である。画像Ｇａにおいて、マーカー部３２に対して隣接するように外部マーカー３５が配置されている。外部マーカー３５とマーカー部３２との相対位置は予め決められている。ここでは、外部マーカー３５をマーカー部３２の位置を認識するためのマーカーとして用いることができるが、モデルデータＭＤをオブジェクトトラッキングすることによりマーカー部３２の位置姿勢を認識することもできる。
モデルデータＭＤは、流体デバイス設計装置１によって生成されたモデルデータである。流体デバイス３Ｃは、モデルデータＭＤに基づいて、注入口が形成されるようにして３Ｄプリンタ２によって作成された流体デバイスであり、３Ｄプリンタ２によって作成された後、注入口から貯留部に対して液体が注入され、注入口が封止されることで作成される。
流体デバイス３Ｃは、例えば現実空間において机の上等に配置され、マーカー認識装置４のカメラによって撮影される。画像Ｇａは、マーカー認識装置４によって流体デバイス３Ｃが撮影された画像である。画像Ｇａにおいて、マーカー部３２に対して隣接するように外部マーカー３５が配置されている。外部マーカー３５とマーカー部３２との相対位置は予め決められている。ここでは、外部マーカー３５をマーカー部３２の位置を認識するためのマーカーとして用いることができるが、モデルデータＭＤをオブジェクトトラッキングすることによりマーカー部３２の位置姿勢を認識することもできる。
【0029】
ここでは、外部マーカー３５が流体デバイス３Ｃに隣接して取り付けられており、マーカー認識装置４が外部マーカー３５と流体デバイス３Ｃを含むように撮影し、その撮像画像から外部マーカー３５を認識することで、当該外部マーカー３５の位置と姿勢（カメラ座標系（カメラの位置と回転を中心とした座標系）における外部マーカー３５のXYZ座標と回転）に基づいて、外部マーカー３５を基準とした場合における、マーカー認識装置４の３次元空間上の流体デバイス３Ｃの３次元空間上におけるマーカー部３２の位置と姿勢を特定する。そして特定されたマーカー部３２の位置と姿勢に基づいて、マーカー部３２における液体が展開している状態に応じた変化パターンを認識できるようになっている。
【0030】
ここで、モデルデータＭＤは、単に流体デバイス３Ｃの形状を表す３次元データとして用いるだけではなく、モデルデータＭＤを様々な視点から見た場合の流体デバイス３Ｃの形状を示す２次元の画像データを生成するために用いることができる。例えば、モデルデータＭＤを観察する視点の位置や姿勢に応じて（カメラの位置姿勢に応じて）射影することで、ある視点からみた場合の２次元データを生成するために用いることができる。この２次元データは、流体デバイス設計装置１が生成するようにしてもよい。ここでは、異なる３つの視点位置から流体デバイス３Ｃの射影画像であるモデル画像ＭＤａ、モデル画像ＭＤｂ、モデル画像ＭＤｃを生成している例を示す。
マーカー認識装置４は、アプリケーションプログラムを実行することで、推定された外部マーカー３５の位置姿勢情報を用いて射影画像MDｃを生成し，画像Gaと射影画像MDｃを同様なアフィン変換により変形と切り取り（後述の基準マッピングのこと）を行うことで流路領域を表す流路領域画像ＲＲを抽出することができる。そして、流路領域画像ＲＲにおける流路における液体の展開状況を推定することができる。
マーカー認識装置４は、アプリケーションプログラムを実行することで、推定された外部マーカー３５の位置姿勢情報を用いて射影画像MDｃを生成し，画像Gaと射影画像MDｃを同様なアフィン変換により変形と切り取り（後述の基準マッピングのこと）を行うことで流路領域を表す流路領域画像ＲＲを抽出することができる。そして、流路領域画像ＲＲにおける流路における液体の展開状況を推定することができる。
【0031】
次に、マーカー認識装置４について説明する。
図７は、マーカー認識装置４の構成を示す概略ブロック図である。
マーカー認識装置４は、通信部４０１、記憶部４０２、カメラ４０３、撮影画像取得部４０４、モデルデータ取得部４０５、流体デバイス位置姿勢情報推定部４０６、流路領域推定部４０７、流動情報推定部４０８、流動シミュレーション部４０９、外力推定部４１０、入力部４１１、表示部４１２、スピーカ４１３、制御部４１４を有する。マーカー認識装置４は、専用の装置であってもよいが、スマートフォンまたはタブレット等の端末装置であってもよい。
図７は、マーカー認識装置４の構成を示す概略ブロック図である。
マーカー認識装置４は、通信部４０１、記憶部４０２、カメラ４０３、撮影画像取得部４０４、モデルデータ取得部４０５、流体デバイス位置姿勢情報推定部４０６、流路領域推定部４０７、流動情報推定部４０８、流動シミュレーション部４０９、外力推定部４１０、入力部４１１、表示部４１２、スピーカ４１３、制御部４１４を有する。マーカー認識装置４は、専用の装置であってもよいが、スマートフォンまたはタブレット等の端末装置であってもよい。
【0032】
通信部４０１は、外部の機器と通信をすることが各種データの送信と受信を行う。例えば、通信部４０１は、流体デバイス３を認識するためのアプリケーションプログラムを外部サーバからダウンロードし、記憶部４０２に記憶させる。また、通信部４０１は流体デバイス設計装置１または、外部サーバから挙動データを受信して記憶部４０２に記憶させる。
記憶部４０２は、各種データを記憶する。記憶部４０２は、例えば、アプリケーションプログラム、挙動データ、モデルデータ等を記憶する。
記憶部４０２は、各種データを記憶する。記憶部４０２は、例えば、アプリケーションプログラム、挙動データ、モデルデータ等を記憶する。
【0033】
カメラ４０３は、流体デバイス３を撮影し、撮影画像を生成する。
撮影画像取得部４０４は、モデルデータに応じて作成された流体デバイス３がカメラ４０３によって撮影することで生成される流体デバイス撮影画像をカメラ４０３から取得する。
撮影画像取得部４０４は、モデルデータに応じて作成された流体デバイス３がカメラ４０３によって撮影することで生成される流体デバイス撮影画像をカメラ４０３から取得する。
【0034】
モデルデータ取得部４０５は、モデルデータを記憶部４０２から取得する。モデルデータ取得部４０５は、モデルデータを流体デバイス設計装置１から取得してもよい。
【0035】
流体デバイス位置姿勢情報推定部４０６は、流体デバイス撮影画像から、流体デバイスを撮影した位置と姿勢を表す流体デバイス位置姿勢情報を推定する。例えば、流体デバイス位置姿勢情報推定部４０６は、カメラ座標系における流体デバイス３の位置と回転を推定する。
【0036】
流路領域推定部４０７は、流体デバイス撮影画像と流体デバイス位置姿勢情報とモデルデータから、流体デバイス撮影画像上におけるマーカー部が撮像された流路領域を推定する。例えば、流路領域推定部４０７は、モデルデータに対応する形状が、撮影画像上のどこにあるかを推定し、推定されたモデルデータに対応する画像から、流路に対応する領域を抽出する。これにより、撮影画像から、モデルデータを元にして、流路に該当する領域である流路領域を抽出することができる。
【0037】
流動情報推定部４０８は、流体デバイス撮影画像と流路領域から、流体デバイス内の液体の流路に対する展開状況を示す流動情報を推定する。展開状況としては、流路の基点から終点（流路における貯留部に連結された位置である端部から反対側の端部）までの全体領域に対する、液体が展開している領域の割合であってもよいし、液体が展開している画素数であってもよい。
【0038】
流動シミュレーション部４０９は、モデルデータから、流体デバイスに印加される外力と液体の流動の関係をシミュレーションし、流動シミュレーション結果を得る。
流動シミュレーション部４０９は、例えば、流体デバイス３の入力部３１に印加された圧力と、この印加された圧力に応じて流路に対して流体が展開する展開状況との関係をシミュレーションし、シミュレーションした結果に基づいて挙動データを生成する。
挙動データは、流動シミュレーション部４０９によってシミュレーションすることで生成される場合について説明するが、シミュレーションでなく、実際の流体デバイス３に対して印加した力の大きさを測定するとともに、その力が印加されたときの流路における液体の展開状況を測定し、これら測定結果の関係を記憶することで、挙動データを生成するようにしてもよい。
ここでは、流動シミュレーション部４０９が、マーカー認識装置４に搭載される場合について説明したが、流動シミュレーション部４０９は、流体デバイス設計装置１に搭載されるようにしてもよい。
流動シミュレーション部４０９は、例えば、流体デバイス３の入力部３１に印加された圧力と、この印加された圧力に応じて流路に対して流体が展開する展開状況との関係をシミュレーションし、シミュレーションした結果に基づいて挙動データを生成する。
挙動データは、流動シミュレーション部４０９によってシミュレーションすることで生成される場合について説明するが、シミュレーションでなく、実際の流体デバイス３に対して印加した力の大きさを測定するとともに、その力が印加されたときの流路における液体の展開状況を測定し、これら測定結果の関係を記憶することで、挙動データを生成するようにしてもよい。
ここでは、流動シミュレーション部４０９が、マーカー認識装置４に搭載される場合について説明したが、流動シミュレーション部４０９は、流体デバイス設計装置１に搭載されるようにしてもよい。
【0039】
外力推定部４１０は、流動シミュレーション結果と流動情報から、外力を推定する。
例えば、外力推定部４１０は、流動シミュレーション結果に基づく挙動データを参照することで、流動情報に対応する外力を読み出すことができ、これにより外力を推定することができる。
例えば、外力推定部４１０は、流動シミュレーション結果に基づく挙動データを参照することで、流動情報に対応する外力を読み出すことができ、これにより外力を推定することができる。
【0040】
入力部４１１は、ユーザの操作入力を受け付ける。入力部４１１は、例えば、タッチパネルであってもよい。
表示部４１２は、各種データを表示する。表示部４１２は、例えば液晶表示パネルである。スピーカ４１３は、音を出力する。制御部４１４は、マーカー認識装置４の各部を制御する。また、制御部４１４は、流動情報推定部４０８により推定された流動情報に基づいて、映像または音の少なくともいずれか一方が変化する拡張現実情報を出力する拡張現実出力制御部として機能する。
また、制御部４１４は、外力推定部４１０により推定された外力に基づいて、映像または音の少なくともいずれか一方が変化する拡張現実情報を出力する拡張現実出力制御部として機能する。
表示部４１２は、各種データを表示する。表示部４１２は、例えば液晶表示パネルである。スピーカ４１３は、音を出力する。制御部４１４は、マーカー認識装置４の各部を制御する。また、制御部４１４は、流動情報推定部４０８により推定された流動情報に基づいて、映像または音の少なくともいずれか一方が変化する拡張現実情報を出力する拡張現実出力制御部として機能する。
また、制御部４１４は、外力推定部４１０により推定された外力に基づいて、映像または音の少なくともいずれか一方が変化する拡張現実情報を出力する拡張現実出力制御部として機能する。
【0041】
上述したマーカー認識装置４において、記憶部４０２は、記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはこれらの記憶媒体の任意の組み合わせによって構成される。
この記憶部４０２は、例えば、不揮発性メモリを用いることができる。
この記憶部４０２は、例えば、不揮発性メモリを用いることができる。
【0042】
通信部４０１、撮影画像取得部４０４、モデルデータ取得部４０５、流体デバイス位置姿勢情報推定部４０６、流路領域推定部４０７、流動情報推定部４０８、流動シミュレーション部４０９、外力推定部４１０、制御部４１４は、例えばＣＰＵ（中央処理装置）等の処理装置若しくは専用の電子回路で構成されてよい。
【0043】
マーカー認識装置４は、他の機能もあるが、詳細は後述する。
【0044】
次に、マーカー認識装置４の動作を説明する。
図８は、流体デバイス設計装置１と３Ｄプリンタ２とマーカー認識装置４の動作を説明するフローチャートである。図９は、マーカー部３２を認識する流れを説明する概念図である。
流体デバイス設計装置１は、流体デバイス作成ツールである流体デバイス作成プログラムを実行し、設計者からの操作入力される各種データに基づいて、流体デバイスの３次元モデルを生成する（図８ステップＳ１０、図９符号９０１）。流体デバイス設計装置１は、生成された３次元モデルをモデルデータＭＤとして内部の記憶装置に記憶する。
モデルデータＭＤが生成されると、流体デバイス設計装置１は、モデルデータＭＤを利用することで、流体デバイスに印加される外力と液体の流動の関係をシミュレーションし、流動シミュレーション結果を生成する（図８ステップＳ１１）。
流体デバイス設計装置１は、生成されたシミュレーション結果ＳＤを内部の記憶装置に記憶する。
このようなシミュレーションは、流体デバイス３に印加される外力について、種々のパターンについてシミュレーションすることで、複数の異なるシミュレーション結果を得る。
これにより挙動データとして記憶装置に蓄積される。
図８は、流体デバイス設計装置１と３Ｄプリンタ２とマーカー認識装置４の動作を説明するフローチャートである。図９は、マーカー部３２を認識する流れを説明する概念図である。
流体デバイス設計装置１は、流体デバイス作成ツールである流体デバイス作成プログラムを実行し、設計者からの操作入力される各種データに基づいて、流体デバイスの３次元モデルを生成する（図８ステップＳ１０、図９符号９０１）。流体デバイス設計装置１は、生成された３次元モデルをモデルデータＭＤとして内部の記憶装置に記憶する。
モデルデータＭＤが生成されると、流体デバイス設計装置１は、モデルデータＭＤを利用することで、流体デバイスに印加される外力と液体の流動の関係をシミュレーションし、流動シミュレーション結果を生成する（図８ステップＳ１１）。
流体デバイス設計装置１は、生成されたシミュレーション結果ＳＤを内部の記憶装置に記憶する。
このようなシミュレーションは、流体デバイス３に印加される外力について、種々のパターンについてシミュレーションすることで、複数の異なるシミュレーション結果を得る。
これにより挙動データとして記憶装置に蓄積される。
【0045】
次に、３Ｄプリンタ２は、流体デバイス設計装置１によって生成されたモデルデータＭＤが入力されると、このモデルデータＭＤに従って印刷処理をすることで、流体デバイスを作成する（図８ステップＳ１５、図９符号９０２）。
ここで、図１０は、流体デバイス設計装置１によって生成されたモデルデータＭＤの一例を示す図である。図１１は、モデルデータＭＤに基づいて３Ｄプリンタ２によって作成された流体デバイス３Ｃの外観を示す図である。流体デバイス３Ｃは、３Ｄプリンタ２によって作成された後、貯留部に液体が注入され、封印される。これにより、貯留部と流路は、貯留部に収容された液体を流路に展開可能な状態で密閉される。
この流体デバイス３Ｃは、入力部３１ｃに対して、マーカー部３２ｃが連結される。
ここで、図１０は、流体デバイス設計装置１によって生成されたモデルデータＭＤの一例を示す図である。図１１は、モデルデータＭＤに基づいて３Ｄプリンタ２によって作成された流体デバイス３Ｃの外観を示す図である。流体デバイス３Ｃは、３Ｄプリンタ２によって作成された後、貯留部に液体が注入され、封印される。これにより、貯留部と流路は、貯留部に収容された液体を流路に展開可能な状態で密閉される。
この流体デバイス３Ｃは、入力部３１ｃに対して、マーカー部３２ｃが連結される。
【0046】
入力部３１ｃは、１つの入力部３１ｃではあるが、内部に３つの独立した貯留部が設けられている。３つの貯留部は、平面上において異なる位置になるように配置されている。
マーカー部３２ｃには、３つの流路があり、それぞれ独立して入力部３１ｄのうち１つの貯留部に連結されている。すなわち、１つの貯留部に１つの流路が連結された構成が３組設けられている。これにより、入力部３１ｃに対して力を印加する大きさや方向によっては、３つの流路のそれぞれについて、液体の展開度合いが異なる。
マーカー部３２ｃには、３つの流路があり、それぞれ独立して入力部３１ｄのうち１つの貯留部に連結されている。すなわち、１つの貯留部に１つの流路が連結された構成が３組設けられている。これにより、入力部３１ｃに対して力を印加する大きさや方向によっては、３つの流路のそれぞれについて、液体の展開度合いが異なる。
【0047】
流体デバイスが作成されると、ユーザは、流体デバイスを台の上に載置し、マーカー認識装置４のアプリケーションプログラムを起動させ、マーカー認識装置４のカメラによって流体デバイス３を撮影する。
【0048】
マーカー認識装置４は、アプリケーションプログラムが起動され、カメラ４０３によって流体デバイスが撮影されると（図８ステップＳ２１、図９符号９０３）、撮影画像取得部４０４が、撮像された画像を取得する（図８ステップＳ２２）。
撮像された画像が取得されると、流体デバイス位置姿勢情報推定部４０６は、流体デバイス３Ｃの位置姿勢情報を推定する。位置姿勢情報を推定する方法は、例えば２種類ある。この２つの推定方法のうちいずれの方法によって流体デバイスの位置姿勢情報を推定するようにしてもよい。
撮像された画像が取得されると、流体デバイス位置姿勢情報推定部４０６は、流体デバイス３Ｃの位置姿勢情報を推定する。位置姿勢情報を推定する方法は、例えば２種類ある。この２つの推定方法のうちいずれの方法によって流体デバイスの位置姿勢情報を推定するようにしてもよい。
【0049】
（推定方法１：マーカー部を利用して位置推定）
流体デバイス位置姿勢情報推定部４０６は、流体デバイス周辺に描かれた図柄に基づいて流体デバイス位置姿勢情報を推定する。図柄は、例えば外部マーカー３５である。ここでは、上述したように、流体デバイス３Ｃに対して外部マーカー３５を隣接して配置しておくことで、この外部マーカー３５を認識することで、この外部マーカー３５の位置と姿勢に基づいて、流体デバイス３Ｃの位置と姿勢を推定することができ、その推定結果から、流体デバイス位置姿勢情報を推定することができる。
流体デバイス位置姿勢情報推定部４０６は、流体デバイス周辺に描かれた図柄に基づいて流体デバイス位置姿勢情報を推定する。図柄は、例えば外部マーカー３５である。ここでは、上述したように、流体デバイス３Ｃに対して外部マーカー３５を隣接して配置しておくことで、この外部マーカー３５を認識することで、この外部マーカー３５の位置と姿勢に基づいて、流体デバイス３Ｃの位置と姿勢を推定することができ、その推定結果から、流体デバイス位置姿勢情報を推定することができる。
【0050】
（推定方法２：モデルデータ用いたオブジェクトトラッキングによる位置推定）
流体デバイス位置姿勢情報推定部４０６は、モデルデータＭＤを用いて、撮影画像からオブジェクトトラッキングにより流体デバイス３Ｃの位置と姿勢を特定することで、流体デバイス位置姿勢情報を推定する。
例えば、オブジェクトトラッキングでは、追跡対象物と同じような形状のモデルデータを予め保持しておき、そのモデルデータを撮影画像から生成される画像の特徴量に基づいて、同じ位置を探すようにすることで画像の中から対象物の位置と姿勢を推定し、対象物を追従することができる。オブジェクトトラッキングをすることで、流体デバイス３Ｃが撮像画像に含まれているか否かを判定し、含まれている場合には、流体デバイス３Ｃの位置と姿勢を推定することができる。
流体デバイス位置姿勢情報推定部４０６は、モデルデータＭＤを用いて、撮影画像からオブジェクトトラッキングにより流体デバイス３Ｃの位置と姿勢を特定することで、流体デバイス位置姿勢情報を推定する。
例えば、オブジェクトトラッキングでは、追跡対象物と同じような形状のモデルデータを予め保持しておき、そのモデルデータを撮影画像から生成される画像の特徴量に基づいて、同じ位置を探すようにすることで画像の中から対象物の位置と姿勢を推定し、対象物を追従することができる。オブジェクトトラッキングをすることで、流体デバイス３Ｃが撮像画像に含まれているか否かを判定し、含まれている場合には、流体デバイス３Ｃの位置と姿勢を推定することができる。
【0051】
流体デバイス位置姿勢情報推定部４０６は、対象物（流体デバイス３Ｃ）が存在することを撮像画像から推定することができない場合には（図８ステップＳ２３－ＮＯ）、次のフレームである撮像画像を取得し、流体デバイス３Ｃが撮像画像に含まれているか否かを再度推定する。一方、流体デバイス位置姿勢情報推定部４０６は、対象物（流体デバイス３Ｃ）が存在することを撮像画像から推定することができた場合には（図８ステップＳ２３－ＹＥＳ）、そのフレームの撮像画像から流体デバイス３Ｃの位置と姿勢を推定する（図８ステップＳ２４、図９符号９０４）。
【0052】
図１２は、流体デバイス位置姿勢情報推定部４０６によって流体デバイス３Ｃの位置と姿勢が推定された場合に、マーカー認識装置４の表示部４１２に表示される画面の一例を示す図である。流体デバイス３Ｃの位置と姿勢が推定されると、３次元空間上における流体デバイス３Ｃの座標上の位置と回転を推定することができる。ここでは、流体デバイス３Ｃについて推定された位置と回転に基づいて、３次元空間上におけるＸ軸方向、Ｙ軸方向、Ｚ軸方向が推定され、これらの軸に沿った方向に対応する矢印を示す図形（符号Ａｒ１，Ａｒ２，Ａｒ３）がＡＲによって撮影画像に対して重畳させて表示させる。
【0053】
流体デバイス位置姿勢情報推定部４０６によって流体デバイス位置姿勢情報が推定されると、流路領域推定部４０７は、流体デバイス３Ｃが含まれている撮影画像と、流体デバイス位置姿勢情報推定部４０６によって推定された流体デバイス位置姿勢情報と、モデルデータＭＤから、撮影画像におけるマーカー部３２が撮像された流路領域を推定する（図８ステップＳ２５、図９符号９０５）。
【0054】
図１３は、流路領域を推定する処理について説明する図である。
流体デバイス位置姿勢情報推定部４０６は、撮影画像のなかから流体デバイス３Ｃが存在する位置とその姿勢が推定されているため（符号Ｇａ１２１）、モデルデータ（符号Ｇａ１２２）と照合し（符号Ｇａ１２３）、対応形状が画像上のいずれにあるかの位置と姿勢を推定し、モデルデータに対応する位置と姿勢が推定されると、モデルデータに含まれる流路に対応する撮像画像の位置と姿勢を推定することで、撮影画像における流路が撮影された領域である流路領域Ｒ１２を推定することができる。
このように、流体デバイス位置姿勢情報推定部４０６は、モデルデータが表す流路と、撮影画像上における流路領域との対応関係を推定することができ、これにより現在のマーカー認識装置４のカメラ位置姿勢における流路領域を抽出することが可能となる。
流体デバイス位置姿勢情報推定部４０６は、撮影画像のなかから流体デバイス３Ｃが存在する位置とその姿勢が推定されているため（符号Ｇａ１２１）、モデルデータ（符号Ｇａ１２２）と照合し（符号Ｇａ１２３）、対応形状が画像上のいずれにあるかの位置と姿勢を推定し、モデルデータに対応する位置と姿勢が推定されると、モデルデータに含まれる流路に対応する撮像画像の位置と姿勢を推定することで、撮影画像における流路が撮影された領域である流路領域Ｒ１２を推定することができる。
このように、流体デバイス位置姿勢情報推定部４０６は、モデルデータが表す流路と、撮影画像上における流路領域との対応関係を推定することができ、これにより現在のマーカー認識装置４のカメラ位置姿勢における流路領域を抽出することが可能となる。
【0055】
流路領域が推定されると、流動情報推定部４０８は、流体デバイスが撮影された撮像画像と、推定された流路領域の画像から、流体デバイス内の液体の流路に対する展開状況を示す流動情報を推定する（図８ステップＳ２６、図９符号９０７）。
流動情報を推定する方法は、例えば２種類ある。この２つの推定方法のうちいずれの方法によって流体デバイスの位置姿勢情報を推定するようにしてもよい。
流動情報を推定する方法は、例えば２種類ある。この２つの推定方法のうちいずれの方法によって流体デバイスの位置姿勢情報を推定するようにしてもよい。
【0056】
（推定方法１：画素数に基づいて流動情報を推定）
流動情報推定部４０８は、撮影画像のうち、推定された流路領域に対応する画像に含まれる、液体に対応する色に該当する液体色領域の画素数を算出し、画素数を流動情報として推定する。
ここでは、流動情報推定部４０８は、流体デバイス３Ｃのマーカー部３２の位置と姿勢を推定することで、マーカー部３２を認識することができ、このマーカー部３２に基づいて、流路領域が撮影画像のどの範囲にあるかを推定することができる。流動情報推定部４０８は、撮影画像から流路領域が推定されると、推定された流路領域に対応する画像領域について、基準領域マッピングする。基準領域は画素数が予め決められた画像であり、例えば、縦が２５６画素、横が２５６画素のサイズの画像である。流動情報推定部４０８は、流路領域に該当する画像を、基準画像に対して流路の基点の位置が一致するように向きを合わせた上で、マッピングする。これにより、流体デバイス３Ｃが動かされたり、曲げられたとしても、規定サイズのマッピング画像であって、正対画像化することができる（図９符号９０８）。
流動情報推定部４０８は、撮影画像のうち、推定された流路領域に対応する画像に含まれる、液体に対応する色に該当する液体色領域の画素数を算出し、画素数を流動情報として推定する。
ここでは、流動情報推定部４０８は、流体デバイス３Ｃのマーカー部３２の位置と姿勢を推定することで、マーカー部３２を認識することができ、このマーカー部３２に基づいて、流路領域が撮影画像のどの範囲にあるかを推定することができる。流動情報推定部４０８は、撮影画像から流路領域が推定されると、推定された流路領域に対応する画像領域について、基準領域マッピングする。基準領域は画素数が予め決められた画像であり、例えば、縦が２５６画素、横が２５６画素のサイズの画像である。流動情報推定部４０８は、流路領域に該当する画像を、基準画像に対して流路の基点の位置が一致するように向きを合わせた上で、マッピングする。これにより、流体デバイス３Ｃが動かされたり、曲げられたとしても、規定サイズのマッピング画像であって、正対画像化することができる（図９符号９０８）。
【0057】
そして、流動情報推定部４０８は、そのマッピング画像における液体に該当する画素の数をカウントすることで、液体の展開の度合いを推定することができ、その推定結果を流動情報として得ることができる。例えば、流動情報は、展開度合いを「２０％」等のように、割合で示すこともできる。また、流動情報は、流路が複数ある場合には、「第１流路 ０％、第２流路２０％、第３流路０％」のように流路のそれぞれについて流動情報を求める。
【0058】
（推定方法２：液体の先頭位置に基づいて流動情報を推定）
流路領域推定部４０７は、撮影画像が撮像された過去のフレームに該当する撮影画像から流路領域を推定することで過去流路領域を取得し、過去のフレームのうち異なるフレームから得られるそれぞれの過去流路領域の画像の差分である流路領域差分画像を抽出する。
例えば、カメラによって所定のフレームレートに従って撮影されることで、撮像画像がそのフレーム毎に得られる。このフレーム間の画像の差分を得ることで、外力の変化に応じて液体の先頭の位置の変化がすると、画像の差分として得ることができる。
そして、流動情報推定部４０８は、モデルデータが表す流路形状と抽出された流路領域差分画像から、流路に展開された液体の先頭の位置である液体先頭位置を流動情報として推定する。
流路領域推定部４０７は、撮影画像が撮像された過去のフレームに該当する撮影画像から流路領域を推定することで過去流路領域を取得し、過去のフレームのうち異なるフレームから得られるそれぞれの過去流路領域の画像の差分である流路領域差分画像を抽出する。
例えば、カメラによって所定のフレームレートに従って撮影されることで、撮像画像がそのフレーム毎に得られる。このフレーム間の画像の差分を得ることで、外力の変化に応じて液体の先頭の位置の変化がすると、画像の差分として得ることができる。
そして、流動情報推定部４０８は、モデルデータが表す流路形状と抽出された流路領域差分画像から、流路に展開された液体の先頭の位置である液体先頭位置を流動情報として推定する。
【0059】
ここでは、流路に沿った画像について、フレーム間において差を得ることで液体の先頭の位置を推定することができる。そのため、その先頭位置が、液体の展開状況として推定することができる。ここで、場合によっては、液体が流路に沿って引き戻された際に、一部の液体が流路に滴状になって残留した場合であっても、その残留分を除外した上で、展開状況を推定することができる。そのため、方法１では、残留分についても液体に対応する画素として推定された場合には、残留分も画素としてカウントされるため、誤差となる場合が考えられる。よって、この推定方法２によれば、流路における残留分の誤差の影響を低減することができ、より精度よく展開状況を推定することができる。
【0060】
次に、制御部４１４は、外力を推定するか否かを判定する（図８ステップＳ２７）。外力を推定しない場合には（図８ステップＳ２７－ＮＯ）、流動情報に応じたコンテンツを生成し（図８ステップＳ３１）、生成されたコンテンツに応じた表示用画像を生成し、表示部４１２に表示させる（図８ステップＳ３０）。ここでは、コンテンツとして音を出力する場合には、制御部４１４は、音のコンテンツを生成し、スピーカ４１３から出力させる。
なお、外力を推定するか否かについては、推定された流路領域における流路の形状または、モデルデータＭＤの種類に基づいて、コンテンツを出力することが定められた流体デバイスであるか、外力を出力することが定められた流体デバイスであるかを判定するようにしてもよい。
なお、外力を推定するか否かについては、推定された流路領域における流路の形状または、モデルデータＭＤの種類に基づいて、コンテンツを出力することが定められた流体デバイスであるか、外力を出力することが定められた流体デバイスであるかを判定するようにしてもよい。
【0061】
一方、外力を推定する場合には（図８ステップＳ２７－ＹＥＳ）、外力推定部４１０は、流動シミュレーション結果に基づく挙動データを参照し、流動情報に対応する外力を読み出すことで外力を推定する。（図８ステップＳ２８、図９符号９０８）。
外力としては、入力部３１に対して押す動作に基づいて印加される力や、流体デバイス３Ｄを全体的に曲げる、ひねる等の動作に基づいて印加される力などがある。
ここで、外力を推定する場合、外力推定部４１０は、挙動データに基づいて推定することもできるが、別の推定方法として、流動情報に基づいて推定するようにしてもよい。例えば、流動情報と外力との関係を示すテーブルデータを予めアプリケーションプログラムとともに記憶しておき、ステップＳ２６において流動情報が得られた結果を用い、この流動情報に対応する外力をテーブルデータを推定することで、読み出すことで、推定するようにしてもよい。
推定された外力は、例えば、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向のそれぞれの成分に分けて推定することができ、例えば、
（ｘ,ｙ,ｚ）＝（０,１０,０）Ｎ
のように表すこともできる。
外力としては、入力部３１に対して押す動作に基づいて印加される力や、流体デバイス３Ｄを全体的に曲げる、ひねる等の動作に基づいて印加される力などがある。
ここで、外力を推定する場合、外力推定部４１０は、挙動データに基づいて推定することもできるが、別の推定方法として、流動情報に基づいて推定するようにしてもよい。例えば、流動情報と外力との関係を示すテーブルデータを予めアプリケーションプログラムとともに記憶しておき、ステップＳ２６において流動情報が得られた結果を用い、この流動情報に対応する外力をテーブルデータを推定することで、読み出すことで、推定するようにしてもよい。
推定された外力は、例えば、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向のそれぞれの成分に分けて推定することができ、例えば、
（ｘ,ｙ,ｚ）＝（０,１０,０）Ｎ
のように表すこともできる。
【0062】
外力が推定されると、制御部４１４は、推定された外力に応じたコンテンツを生成し（図８ステップＳ２９）、コンテンツに応じた表示用画像を生成し、表示部４１２に表示させる（図８ステップＳ３０）。ここでは、コンテンツとして音を出力する場合には、制御部４１４は、音のコンテンツを生成し、スピーカ４１３から出力させる。
ここで、コンテンツの出力方法としては、流体デバイス３Ｄに印加された力の大きさと向きを表す図形（符号９１０）を、撮影画像に重畳させるようにして表示してもよい（図９符号９１１）。
ここで、コンテンツの出力方法としては、流体デバイス３Ｄに印加された力の大きさと向きを表す図形（符号９１０）を、撮影画像に重畳させるようにして表示してもよい（図９符号９１１）。
【0063】
ここでは、流体デバイス３Ｃには、少なくとも２つの貯留部が設けられており、各々の貯留部から独立した流路が展開するように構成されたマーカー部が設けられている。
流動情報推定部４０８は、各々の貯留部から独立して展開する各々の流路に対応する流動情報をそれぞれ推定する。この場合、流動情報推定部４０８は、各々の流路に対応するＸ軸、Ｙ軸、Ｚ軸に基づく３次元ベクトルを定義する。その上で、流動情報推定部４０８は、流動情報を推定し、その推定された流動情報に対応する３次元ベクトルであって、流動情報に応じた長さの３次元ベクトルを流路毎にそれぞれ生成し、生成された各々の３次元ベクトルを合成することで、それぞれの３次元ベクトルに基づく傾きと長さが設定された合成ベクトルである荷重情報を推定する。
流動情報推定部４０８は、各々の貯留部から独立して展開する各々の流路に対応する流動情報をそれぞれ推定する。この場合、流動情報推定部４０８は、各々の流路に対応するＸ軸、Ｙ軸、Ｚ軸に基づく３次元ベクトルを定義する。その上で、流動情報推定部４０８は、流動情報を推定し、その推定された流動情報に対応する３次元ベクトルであって、流動情報に応じた長さの３次元ベクトルを流路毎にそれぞれ生成し、生成された各々の３次元ベクトルを合成することで、それぞれの３次元ベクトルに基づく傾きと長さが設定された合成ベクトルである荷重情報を推定する。
【0064】
制御部４６０は、この合成ベクトルに応じた矢印の図形を、流体デバイス３Ｄに印加された力の大きさと向きを表す図形として、撮像画像に重畳させるように表示する。
これにより、流体デバイス３Ｃのように、貯留部が個別に複数設けられる場合、１つの入力部から力を印加する大きさや向きによっては、個別の流路に流れる液体の展開度合いが異なるため、各流路における液体の展開度合いに基づいて、いずれの方向にどの程度の荷重がかかっているかを、矢印画像の長さや方向に基づいて、視覚的に把握することができる。
これにより、流体デバイス３Ｃのように、貯留部が個別に複数設けられる場合、１つの入力部から力を印加する大きさや向きによっては、個別の流路に流れる液体の展開度合いが異なるため、各流路における液体の展開度合いに基づいて、いずれの方向にどの程度の荷重がかかっているかを、矢印画像の長さや方向に基づいて、視覚的に把握することができる。
【0065】
図１４は、コンテンツの出力例を説明する図である。
流体デバイス３Ｃの入力部に対してユーザが指で押すと、マーカー部３２の流路に液体が展開される。展開状況あるいは推定された外力に応じてコンテンツＣ１３が表示される。例えば、流路に対する液体の展開が進むほど（外力が増大）、咲く花の数が増えるようにされたコンテンツが表示され、流路において液体が引き戻されるほど（外力が減少）、咲く花の数が減るようにコンテンツが表示される。これにより、流路における液体の展開状況に応じたコンテンツを出力することができる。ここでは、コンテンツは、撮影画像に対して重畳させるようにして表示部４１２に表示されてもよい。また、マーカー認識装置４にプロジェクタを通信可能に接続することで、マーカー認識装置４の制御部４１４によって生成されたコンテンツをプロジェクタから流体デバイス３Ｃに対して重畳するように投射してもよい。なお、コンテンツは、必ずしも流体デバイス３Ｃに重畳しなくてもよく、流体デバイス３Ｃとは異なる所定の位置に表示されるようにしてもよい。
流体デバイス３Ｃの入力部に対してユーザが指で押すと、マーカー部３２の流路に液体が展開される。展開状況あるいは推定された外力に応じてコンテンツＣ１３が表示される。例えば、流路に対する液体の展開が進むほど（外力が増大）、咲く花の数が増えるようにされたコンテンツが表示され、流路において液体が引き戻されるほど（外力が減少）、咲く花の数が減るようにコンテンツが表示される。これにより、流路における液体の展開状況に応じたコンテンツを出力することができる。ここでは、コンテンツは、撮影画像に対して重畳させるようにして表示部４１２に表示されてもよい。また、マーカー認識装置４にプロジェクタを通信可能に接続することで、マーカー認識装置４の制御部４１４によって生成されたコンテンツをプロジェクタから流体デバイス３Ｃに対して重畳するように投射してもよい。なお、コンテンツは、必ずしも流体デバイス３Ｃに重畳しなくてもよく、流体デバイス３Ｃとは異なる所定の位置に表示されるようにしてもよい。
【0066】
図１５は、コンテンツの出力例を説明する図である。
ここでは、流体デバイスが球状に形成されており、球の外周面をユーザが握ることで、その圧力に応じて、球の外周面から球の中心に向かうように液体が展開する。また、ここでは、外周面の複数箇所に入力部が設けられ、この入力部のそれぞれに対して流路が個別に設けられる。これにより、外周面のいずれの位置においてどれだけの圧力で握られたかを識別することができる。そして、流路領域を推定し、流路情報を得ることで、この流路情報に基づいたコンテンツが出力される。ここでは、球を握る位置と強さの関係から、野球におけるいずれの変化球の球種に対応した握り方であるかを推定し、推定結果がコンテンツとして表示される。例えば、「ストレート：８０％ ナックル：１０％ スライダー：１０％」のようなコンテンツが表示されることで、ユーザの握り方が、ストレートの握り方である確率が最も高いことが表示される。
ここでは、流体デバイスが球状に形成されており、球の外周面をユーザが握ることで、その圧力に応じて、球の外周面から球の中心に向かうように液体が展開する。また、ここでは、外周面の複数箇所に入力部が設けられ、この入力部のそれぞれに対して流路が個別に設けられる。これにより、外周面のいずれの位置においてどれだけの圧力で握られたかを識別することができる。そして、流路領域を推定し、流路情報を得ることで、この流路情報に基づいたコンテンツが出力される。ここでは、球を握る位置と強さの関係から、野球におけるいずれの変化球の球種に対応した握り方であるかを推定し、推定結果がコンテンツとして表示される。例えば、「ストレート：８０％ ナックル：１０％ スライダー：１０％」のようなコンテンツが表示されることで、ユーザの握り方が、ストレートの握り方である確率が最も高いことが表示される。
【0067】
図１６は、コンテンツの出力例を説明する図である。
ここでは、流体デバイス３Ｃの入力部に対してユーザが指で押すと、マーカー部３２の流路に液体が展開される。展開状況あるいは推定された外力に応じて、音のコンテンツがスピーカから出力される。ここでは、例えば、流路に対する液体の展開状況に応じて、音量を変えたり、曲の速さを変えることができる。
この場合、流体デバイスは、例えば、書籍の特定ページの上に載置するか、書籍のある１ページとして流体デバイスを設け、読者からの操作に応じて、音を出力するようにすることで、書籍の絵に対応した音を出力することもできる。
また、音は、マーカー認識装置４のスピーカ４１３から出力してもよいし、マーカー認識装置４と無線によって通信可能に接続されるスピーカから出力するようにしてもよい。
ここでは、流体デバイス３Ｃの入力部に対してユーザが指で押すと、マーカー部３２の流路に液体が展開される。展開状況あるいは推定された外力に応じて、音のコンテンツがスピーカから出力される。ここでは、例えば、流路に対する液体の展開状況に応じて、音量を変えたり、曲の速さを変えることができる。
この場合、流体デバイスは、例えば、書籍の特定ページの上に載置するか、書籍のある１ページとして流体デバイスを設け、読者からの操作に応じて、音を出力するようにすることで、書籍の絵に対応した音を出力することもできる。
また、音は、マーカー認識装置４のスピーカ４１３から出力してもよいし、マーカー認識装置４と無線によって通信可能に接続されるスピーカから出力するようにしてもよい。
【0068】
図１７は、流体デバイスの他の実施形態である流体デバイス３Ｄの外観を示す斜視図である。
流体デバイス３Ｄは、入力部３１ｄに対して、マーカー部３２ｄが連結され、さらにマーカー部３２ｄに対して空気量制御部３３ｄが連結されている。
入力部３１ｄは、１つの入力部３１ｄではあるが、内部に３つの独立した貯留部が設けられている。３つの貯留部は、平面上において異なる位置になるように配置されている。
マーカー部３２ｄには、３つの流路があり、それぞれ独立して入力部３１ｄのうち１つの貯留部に連結されている。すなわち、１つの貯留部に１つの流路が連結された構成が３組設けられている。
流体デバイス３Ｄは、入力部３１ｄに対して、マーカー部３２ｄが連結され、さらにマーカー部３２ｄに対して空気量制御部３３ｄが連結されている。
入力部３１ｄは、１つの入力部３１ｄではあるが、内部に３つの独立した貯留部が設けられている。３つの貯留部は、平面上において異なる位置になるように配置されている。
マーカー部３２ｄには、３つの流路があり、それぞれ独立して入力部３１ｄのうち１つの貯留部に連結されている。すなわち、１つの貯留部に１つの流路が連結された構成が３組設けられている。
【0069】
流路の開始位置から終点までの間のいずれかの位置に、流路の遮断と接続の状態を切り替える空気量制御部３３が設けられている。空気量制御部３３は、各流路に対して１つずつ設けられるつまみを含む。つまみは、各流路において、流路の一端側（貯留部に連結される端部）と、もう一方の端部（貯留部に連結された端部とは反対側の端部）との間のいずれかの位置に設けられる。このもう一方の端部側には、空気だまりＡＰが流路毎に設けられる。
ユーザは、各つまみを９０度程度回すことで、第１の向き（例えば横むき）または第２の向き（例えば縦向き）のいずれかに切り替えることができる。
つまみを第１の向きにすると、流路は貯留部側から空気だまりまで遮断されることなく繋がった状態になる。一方、つまみを第２の向きに切り替えると、流路はつまみの位置において切断（遮断）された状態になる。そのため、つまみを第１の向きから第２の向きに切り替えた場合には、流路の長さは、第１の向きの場合に比べて短くなる。
ユーザは、各つまみを９０度程度回すことで、第１の向き（例えば横むき）または第２の向き（例えば縦向き）のいずれかに切り替えることができる。
つまみを第１の向きにすると、流路は貯留部側から空気だまりまで遮断されることなく繋がった状態になる。一方、つまみを第２の向きに切り替えると、流路はつまみの位置において切断（遮断）された状態になる。そのため、つまみを第１の向きから第２の向きに切り替えた場合には、流路の長さは、第１の向きの場合に比べて短くなる。
【0070】
ここでは、つまみを第１の向きに設定した場合には、流路内の体積が第２の向きの場合に比べて大きくなり、密閉された空気の量も多くなるため、液体が貯留部から展開されたとしても、流路内の圧力があがりにくく、外力に応じて液体インクが展開しやすい状態となる。
つまみを第２の向きに設定した場合には、第１の向きの場合に比べて流路内の体積が小さくなり、密閉された空気の量も少なくなるため、液体が貯留部から展開された場合には、流路内の圧力が第１の向きの場合に比べて上がりやすく、その結果、外力に応じた液体インクの展開がし難い状態とすることができる。
このように、つまみの切り替え状態に応じて、印加された力に応じた展開度合いを変更することができる。すなわち、印加される外力が同じであっても、つまみを第１の向きと第２の向きとでは、液体の展開具合を変えることができる。
この例では、各流路につまみが設けられているため、流路毎に展開度合いを設定することができる。
つまみを第２の向きに設定した場合には、第１の向きの場合に比べて流路内の体積が小さくなり、密閉された空気の量も少なくなるため、液体が貯留部から展開された場合には、流路内の圧力が第１の向きの場合に比べて上がりやすく、その結果、外力に応じた液体インクの展開がし難い状態とすることができる。
このように、つまみの切り替え状態に応じて、印加された力に応じた展開度合いを変更することができる。すなわち、印加される外力が同じであっても、つまみを第１の向きと第２の向きとでは、液体の展開具合を変えることができる。
この例では、各流路につまみが設けられているため、流路毎に展開度合いを設定することができる。
【0071】
また、空気だまりが流路に対して１個設けられた場合について説明したが、つまみの部分を基点にして、異なる複数の空気だまりが設けられた経路を形成し、つまみによって、いずれの経路の空気だまりに接続するかを選択するようにしてもよい。これにより、１つの流路について、流路の展開度合いを複数種類のなかから選択することができる。
ここでは、空気だまりＡＰが設けられる場合について説明したが、空気だまりＡＰが設けられず、流路と同じ太さであってもよい。
このように、空気量制御部３３を設けることで、ソフトウェアの構成ではなく、ハードウェアの構成によって、液体の展開度合いを制御することができる。
ここでは、空気だまりＡＰが設けられる場合について説明したが、空気だまりＡＰが設けられず、流路と同じ太さであってもよい。
このように、空気量制御部３３を設けることで、ソフトウェアの構成ではなく、ハードウェアの構成によって、液体の展開度合いを制御することができる。
【0072】
なお、上述した実施形態において、マーカー認識装置４は、流体デバイスを押圧する力の他に、流体デバイスを湾曲させるような外力が印加された場合であっても、流路領域を推定し、流動情報を推定することもできる。
例えば、外力が印加される場合としては、貯留部が押圧される場合と、貯留部と流路とが共に曲げられた状態がある。流路が曲げられた場合、流路が曲げられたことによって流路の内径も小さくなるように変形する。そのため、流路の変形についても予めシミュレーションを行っておき、挙動データを得て、保存しておく。
そして、流動シミュレーション部４０９は、動作により生じる流体デバイスが変形する状態をモデルデータを用いて応力解析をすることにより推定する。応力解析をする場合、例えば、有限要素法を用いることができる。有限要素法では、モデルデータをメッシュ領域に分割して、外力により生じる変形を細かく適用することで、変形状態を解析することができる。
例えば、外力が印加される場合としては、貯留部が押圧される場合と、貯留部と流路とが共に曲げられた状態がある。流路が曲げられた場合、流路が曲げられたことによって流路の内径も小さくなるように変形する。そのため、流路の変形についても予めシミュレーションを行っておき、挙動データを得て、保存しておく。
そして、流動シミュレーション部４０９は、動作により生じる流体デバイスが変形する状態をモデルデータを用いて応力解析をすることにより推定する。応力解析をする場合、例えば、有限要素法を用いることができる。有限要素法では、モデルデータをメッシュ領域に分割して、外力により生じる変形を細かく適用することで、変形状態を解析することができる。
【0073】
そして、流動シミュレーション部４０９は、この推定された変形状態を表すデータに基づいて、流体デバイスが変形した状態において入力部に印加される外力と、変形した状態における流路に液体が流れる流動の関係をシミュレーションによって推定する。
これにより、マーカー部に変形が生じるような外力が印加された場合についても、流体の展開状況を推定することができる。また、この推定結果を用いることで、マーカー部に変形が生じるような外力が印加された場合であっても外力を推定することができる。
これにより、マーカー部に変形が生じるような外力が印加された場合についても、流体の展開状況を推定することができる。また、この推定結果を用いることで、マーカー部に変形が生じるような外力が印加された場合であっても外力を推定することができる。
【0074】
また、上述した実施形態において、外力によってマーカー部が曲げられるような変形が生じた場合には、マーカー部の形状が変化してしまうため、位置姿勢の推定精度が低下することが考えられる。この場合には、形状が変化した状態も考慮して位置姿勢をするようにしてもよい。
この場合、流動シミュレーション部４０９は、モデルデータを用い、外力が印加されることで流体デバイスが変形した状態シミュレーションし、そのシミュレーション結果に基づいて、変形した状態のモデルデータを表す変形モデルデータを生成し、記憶部４０２に記憶しておく。これにより、流体デバイスが変形していない状態の形状を記憶するだけでなく、流体デバイスが変形している状態の形状（変形モデルデータ）についても記憶しておくことができる。
この場合、流動シミュレーション部４０９は、モデルデータを用い、外力が印加されることで流体デバイスが変形した状態シミュレーションし、そのシミュレーション結果に基づいて、変形した状態のモデルデータを表す変形モデルデータを生成し、記憶部４０２に記憶しておく。これにより、流体デバイスが変形していない状態の形状を記憶するだけでなく、流体デバイスが変形している状態の形状（変形モデルデータ）についても記憶しておくことができる。
【0075】
また、制御部は、カメラ４０３によって撮像された過去のフレームを記憶部４０２に記憶させる。ここでは、過去のフレームは、一定時間前の１枚のフレームであってもよい。過去のフレームを記憶しておくことで、流体デバイスが変形していた場合であっても、その変形したときの変形状態を保存しておくことができる。
流体デバイス位置姿勢情報推定部４０６は、記憶部４０２に記憶された変形モデルデータに基づいて、撮影画像が撮影された過去のフレームの撮影画像から、変形した状態の流体デバイスを特定する。ここでは、変形モデルデータが複数種類あるため、それぞれを過去のフレームと照合することで、複数の変形モデルデータのうち、一致する変形モデルデータ、または、一定以上の類似度合いの変形モデルデータが得られた場合には、過去のフレームの中に写っている流体デバイスを特定できたと判定する。
流路領域推定部４０７は、流体デバイスを特定することができた変形モデルデータを用いて、その変形モデルデータのうち流路に該当する領域に基づいて、撮影画像に含まれる変形した流体デバイスのうち、流路領域を推定する。
流体デバイス位置姿勢情報推定部４０６は、記憶部４０２に記憶された変形モデルデータに基づいて、撮影画像が撮影された過去のフレームの撮影画像から、変形した状態の流体デバイスを特定する。ここでは、変形モデルデータが複数種類あるため、それぞれを過去のフレームと照合することで、複数の変形モデルデータのうち、一致する変形モデルデータ、または、一定以上の類似度合いの変形モデルデータが得られた場合には、過去のフレームの中に写っている流体デバイスを特定できたと判定する。
流路領域推定部４０７は、流体デバイスを特定することができた変形モデルデータを用いて、その変形モデルデータのうち流路に該当する領域に基づいて、撮影画像に含まれる変形した流体デバイスのうち、流路領域を推定する。
【0076】
これにより、入力部が押圧されるような外力だけでなく、流体デバイスが曲げられるような変形が生じたとしても、精度よく流路領域を推定することができる。例えば、流体デバイスが曲げられる場合には、変形が開始される時点から、曲げられた度合いが進むにつれて、参照するモデルを、曲げられていないモデルだけでなく曲げられた状態のモデルも参照する。これにより、流体デバイスが曲げられた状態であっても、位置姿勢を精度良く推定することができ、また、推定された位置姿勢を基に流路領域を精度よく推定することができる。これにより、流体デバイスが変形してしまうことで、マーカーとして認識できなくなってしまうことを防止することができる。また、現在の変形状態が解れば、その変形状態の前後の変形モデルを参照すれば、変形度合いの変化にも追従させて位置姿勢を推定することができる。また、過去のフレームを参照しているが、１秒間に数十フレームを撮影しており、一定程度前までの範囲のなかの過去フレームを参照することで、流体デバイスを変形させたり元の形状に戻したりするように繰り返して変形される場合であっても、追従して位置姿勢の推定をすることができる。
【0077】
また、上述した実施形態において、流体デバイス設計装置１において、設計を支援する機能を有するようにしてもよい。
図１８は、流体デバイス設計装置１の機能を説明する概略機能ブロック図である。
流体デバイス設計装置１は、仮想画像生成部１０１、遮蔽情報推定部１０２、警告出力部１０３を有する。
仮想画像生成部１０１は、前記流体デバイス撮影画像を撮影するカメラの特性を表す内部パラメータに応じた内部パラメータを持ち、前記モデルデータを撮像する仮想カメラから前記モデルデータを見た場合の仮想画像であり、当該仮想カメラの位置及び姿勢を表す外部パラメータに応じて前記モデルデータを二次元平面上に投影した流体デバイスの複数の仮想画像を生成する。
図１８は、流体デバイス設計装置１の機能を説明する概略機能ブロック図である。
流体デバイス設計装置１は、仮想画像生成部１０１、遮蔽情報推定部１０２、警告出力部１０３を有する。
仮想画像生成部１０１は、前記流体デバイス撮影画像を撮影するカメラの特性を表す内部パラメータに応じた内部パラメータを持ち、前記モデルデータを撮像する仮想カメラから前記モデルデータを見た場合の仮想画像であり、当該仮想カメラの位置及び姿勢を表す外部パラメータに応じて前記モデルデータを二次元平面上に投影した流体デバイスの複数の仮想画像を生成する。
【0078】
内部パラメータは、マーカー認識装置４のカメラ４０３の光学系の特性であり、例えばレンズの収差、レンズの歪み特性等を表すデータである。
外部パラメータは、モデルデータに対する仮想カメラの位置姿勢を表す。
仮想画像の生成は、レンダリングであってもよい。
仮想画像生成部１０１は、このような処理により、マーカー認識装置４のカメラ４０３によって実物の流体デバイスを撮像した場合の画像を、カメラ４０３の光学系の特性により近い条件に沿うことができ、これにより、カメラ４０３によって撮像したときと同じような見えの仮想画像をモデルデータを基に得ることができる。
外部パラメータは、モデルデータに対する仮想カメラの位置姿勢を表す。
仮想画像の生成は、レンダリングであってもよい。
仮想画像生成部１０１は、このような処理により、マーカー認識装置４のカメラ４０３によって実物の流体デバイスを撮像した場合の画像を、カメラ４０３の光学系の特性により近い条件に沿うことができ、これにより、カメラ４０３によって撮像したときと同じような見えの仮想画像をモデルデータを基に得ることができる。
【0079】
遮蔽情報推定部１０２は、仮想画像生成部１０１によって生成された仮想画像において、流路の外観が遮蔽される場合に、仮想画像に対応した外部パラメータあるいは流路形状における遮蔽部のいずれかを遮蔽情報として推定する。例えば、カメラの位置姿勢によって遮蔽が生じている場合には、その位置姿勢では遮蔽が生じることを伝えるための情報を遮蔽情報として推知する。また、流路に対して他の部位が重なっているため遮蔽が生じている場合には、その重なっている部位について、他の部位とは異なる表示態様で表示させるための情報を遮蔽情報として推定する。
ここで、図１９は、カメラの位置姿勢に応じて遮蔽が生じる場合に遮蔽情報が表示される場合の一例を示す図である。このような表示画面は、例えば、流体デバイス設計装置１に接続される表示装置に対して表示される。設計者は、この表示装置の表示画面を確認することができる。
ここで、図１９は、カメラの位置姿勢に応じて遮蔽が生じる場合に遮蔽情報が表示される場合の一例を示す図である。このような表示画面は、例えば、流体デバイス設計装置１に接続される表示装置に対して表示される。設計者は、この表示装置の表示画面を確認することができる。
【0080】
ここでは、流体デバイスのモデルデータ（符号２００）が表示されるとともに、種々のカメラ位置姿勢について、それぞれ遮蔽が生じているか否かについて、遮蔽情報として表示される（符号２１１から符号２１５）。ここでは、複数のカメラ位置姿勢のうち、カメラ位置姿勢について上面側から見るようにした位置姿勢（符号２１２，符号２１３，符号２１４）については、流路に対する遮蔽が生じていない。そのため、流路領域を推定可能であることを把握することができる。一方、側面側から見るようにした位置姿勢（符号２１１，符号２１５）については、流路に対する遮蔽が生じると推定されるため、例えば「遮蔽発生」等のメッセージとともに、カメラ位置姿勢からみた場合のモデルデータの画像が表示される。これにより、このカメラ位置姿勢では流路領域を推定することができないことを把握することができる。
【0081】
流体デバイスは、横方向等のように、見る方向や角度によっては、流路に対して流体デバイスの一部によって遮蔽されてしまいうことで、流路が見にくい、あるいは見えない場合がある。また、流体デバイスを、複雑な形状にレイアウトした場合には、凸部などがあると、斜め方向等において、流路がより見にくいことがある。このような遮蔽が生じると、撮影画像を基にした、流路領域の推定をすることが出来なくなる。ここで、遮蔽情報推定部１０２は、流体デバイスを設計している段階において、ある視点から流体デバイスを見た場合に遮蔽が生じるか否かを仮想画像に基づいて推定し、遮蔽が生じている場合には、推定結果に基づいて、遮蔽が生じている状態に応じた遮蔽情報を生成する。
警告出力部１０３は、遮蔽情報推定部１０２によって生成された遮蔽情報に応じて「遮蔽発生」などのメッセージあるいは警報音を遮蔽発生警告として出力する。
警告出力部１０３は、遮蔽情報推定部１０２によって生成された遮蔽情報に応じて「遮蔽発生」などのメッセージあるいは警報音を遮蔽発生警告として出力する。
【0082】
流体デバイスは、斜め方向からマーカー認識装置４によって撮影される場合があるが、一定角度以上まで傾いた状態で撮影されると、その撮影画像を用いてモデルデータと突合しようとしても、撮影方向が流路領域に対して一定以上に傾いているため、流路領域を抽出できなくなり、そうすると、流体デバイスの位置姿勢についても推定出来なくなる。このような場合には、警告出力部１０３によって警告されるため、設計者は、遮蔽が生じていること、また、どのような姿勢になった場合に遮蔽が生じるかを把握することができる。
設計者は、警告が生じている場合には、警告が生じないように設計を変更することができる。ここでは、カメラ内部パラメータも考慮されて上で警告がなされるため、実際のカメラの撮像条件に、より近い状態で警告を出すことができる。設計者は、警告が生じている場合に、なるべく遮蔽が生じないように、例えば、遮蔽が生じる原因となる凸状の部位を小さくしたり、凸部分の位置を変更したり、流体デバイスの厚み方向における下側に層を追加で設けて、遮蔽されてしまっている流路を、追加で設けられた下の層に配置し直す等の検討をすることができる。また、アプリケーションを作る際に、撮影角度の制限をどうするかを考え易くすることができる。
設計者は、警告が生じている場合には、警告が生じないように設計を変更することができる。ここでは、カメラ内部パラメータも考慮されて上で警告がなされるため、実際のカメラの撮像条件に、より近い状態で警告を出すことができる。設計者は、警告が生じている場合に、なるべく遮蔽が生じないように、例えば、遮蔽が生じる原因となる凸状の部位を小さくしたり、凸部分の位置を変更したり、流体デバイスの厚み方向における下側に層を追加で設けて、遮蔽されてしまっている流路を、追加で設けられた下の層に配置し直す等の検討をすることができる。また、アプリケーションを作る際に、撮影角度の制限をどうするかを考え易くすることができる。
【0083】
図２０は、他の流体デバイス３Ｅの一例を示す斜視図である。
流体デバイス３Ｅは、第１液体貯留部３１Ｅａと、第２液体貯留部３１Ｅｂと、第１流路３２Ｅａと、第２流路３２Ｅｂとを含む。
図３は、図２に示す流体デバイス３Ｅに対して力を印加した場合をマーカー認識装置４によって撮影した結果を示す表示画面の一例を示す図である。
第１液体貯留部３１Ｅａと第２液体貯留部３１Ｅｂとのうち、第１液体貯留部３１Ｅａに対して印加された圧力が第２液体貯留部３１Ｅｂに対して印加された圧力よりも大きい場合には、第１流路３２Ｅａに展開する量が、第２流路３２Ｅｂに展開する量よりも多くなる。
また、第２液体貯留部３１Ｅｂに対して印加された圧力が第１液体貯留部３１Ｅａに対して印加された圧力よりも大きい場合には、第２流路３２Ｅｂに展開する量が、第１流路３２Ｅａに展開する量よりも多くなる。
流体デバイス３Ｅは、第１液体貯留部３１Ｅａと、第２液体貯留部３１Ｅｂと、第１流路３２Ｅａと、第２流路３２Ｅｂとを含む。
図３は、図２に示す流体デバイス３Ｅに対して力を印加した場合をマーカー認識装置４によって撮影した結果を示す表示画面の一例を示す図である。
第１液体貯留部３１Ｅａと第２液体貯留部３１Ｅｂとのうち、第１液体貯留部３１Ｅａに対して印加された圧力が第２液体貯留部３１Ｅｂに対して印加された圧力よりも大きい場合には、第１流路３２Ｅａに展開する量が、第２流路３２Ｅｂに展開する量よりも多くなる。
また、第２液体貯留部３１Ｅｂに対して印加された圧力が第１液体貯留部３１Ｅａに対して印加された圧力よりも大きい場合には、第２流路３２Ｅｂに展開する量が、第１流路３２Ｅａに展開する量よりも多くなる。
【0084】
ここでは、マーカー認識装置４は、アプリケーションプログラムを実行することで、流体デバイス３Ｅをマーカー認識装置４のカメラによって撮像し、流路に対してインクが展開している変化パターンを認識する。ここでは、ＡＲ（Augmented Reality）技術が用いられる。
ここでは、マーカーに対する流体デバイス３Ｅの配置位置が予め決められている。
そしてマーカー認識装置４は、認識結果に基づいて、認識結果を撮像画像の上に重畳させて表示する。ここでは認識結果として、第１液体貯留部３１Ｅａと第２液体貯留部３１Ｅｂとに対する印加された力の大きさに応じた形状及び姿勢によって表す認識結果画像を表示させる。また、マーカー認識装置４は、特定された流路の位置と向きを基に、認識結果画像を表示する位置を決定し、変化パターンに応じた形状、長さ、傾き度合いを決定し、決定された内容に基づいて、認識結果画像を画面上にカメラ画像に重畳させて表示させる。
図２１は、マーカー認識装置４の表示部４１２に表示される画面の一例を示す図である。ここでは認識結果を表す認識結果画像である棒状画像２１０が撮影画像に重畳され表示される。ユーザが入力部に対して印加する力の大きさや方向を変えると、この変化に応じた長さと方向（傾き）の棒状画像２１０が表示される。
ここでは、マーカーに対する流体デバイス３Ｅの配置位置が予め決められている。
そしてマーカー認識装置４は、認識結果に基づいて、認識結果を撮像画像の上に重畳させて表示する。ここでは認識結果として、第１液体貯留部３１Ｅａと第２液体貯留部３１Ｅｂとに対する印加された力の大きさに応じた形状及び姿勢によって表す認識結果画像を表示させる。また、マーカー認識装置４は、特定された流路の位置と向きを基に、認識結果画像を表示する位置を決定し、変化パターンに応じた形状、長さ、傾き度合いを決定し、決定された内容に基づいて、認識結果画像を画面上にカメラ画像に重畳させて表示させる。
図２１は、マーカー認識装置４の表示部４１２に表示される画面の一例を示す図である。ここでは認識結果を表す認識結果画像である棒状画像２１０が撮影画像に重畳され表示される。ユーザが入力部に対して印加する力の大きさや方向を変えると、この変化に応じた長さと方向（傾き）の棒状画像２１０が表示される。
【0085】
上述した実施形態によれば、カメラに対する位置や姿勢，および外力による形状や内部状態の変化を認識可能で意匠性の高い流路マーカー付デバイス及びマーカー認識システムを提供することができる。
【0086】
また、以上説明した実施形態では、マーカー認識装置４において用いられるモデルデータと同じモデルデータから流体デバイスを３Ｄプリンタによって作成する。これにより、マーカー認識装置４で用いられるモデルデータと同じデータから、流体デバイスを製造できるため、流体デバイス３を撮像した撮像結果から、モデルデータを用いて流体デバイスの位置姿勢の推定や流路領域の推定を行う場合であっても、精度よく推定をすることができる。
【0087】
上述した実施形態によれば、工程の簡便化による試行錯誤のしやすさ試作環境を構築することができる。
また、流路デザインの自由度を向上させることができる。また、流体デバイスの造形の自由度を向上させることができる。これにより、流体デバイスの機能の向上や、流体デバイスの応用する適用範囲の幅を広げることが可能となる。
また、流路デザインの自由度を向上させることができる。また、流体デバイスの造形の自由度を向上させることができる。これにより、流体デバイスの機能の向上や、流体デバイスの応用する適用範囲の幅を広げることが可能となる。
【0088】
上述した実施形態における流体デバイス設計装置１、マーカー認識装置４をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0089】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0090】
１…流体デバイス設計装置
２…３Ｄプリンタ
３,３Ａ,３Ｂ,３Ｃ,３Ｅ…流体デバイス
４…マーカー認識装置
３１，３１ｃ，３１ｄ…入力部
３１Ｅａ…第１液体貯留部
３１Ｅｂ…第２液体貯留部
３２，３２ｃ，３２ｄ…マーカー部
３２Ｅａ…第１流路
３２Ｅｂ…第２流路
３３，３３ｄ…空気量制御部
１０１…仮想画像生成部
１０２…遮蔽情報推定部
１０３…警告出力部
４０１…通信部
４０２…記憶部
４０３…カメラ
４０４…撮影画像取得部
４０５…モデルデータ取得部
４０６…流体デバイス位置姿勢情報推定部
４０７…流路領域推定部
４０８…流動情報推定部
４０９…流動シミュレーション部
４１０…外力推定部
４１１…入力部
４１２…表示部
４１３…スピーカ
４１４…制御部
ＡＰ…空気だまり
ＭＤ…モデルデータ
２…３Ｄプリンタ
３,３Ａ,３Ｂ,３Ｃ,３Ｅ…流体デバイス
４…マーカー認識装置
３１，３１ｃ，３１ｄ…入力部
３１Ｅａ…第１液体貯留部
３１Ｅｂ…第２液体貯留部
３２，３２ｃ，３２ｄ…マーカー部
３２Ｅａ…第１流路
３２Ｅｂ…第２流路
３３，３３ｄ…空気量制御部
１０１…仮想画像生成部
１０２…遮蔽情報推定部
１０３…警告出力部
４０１…通信部
４０２…記憶部
４０３…カメラ
４０４…撮影画像取得部
４０５…モデルデータ取得部
４０６…流体デバイス位置姿勢情報推定部
４０７…流路領域推定部
４０８…流動情報推定部
４０９…流動シミュレーション部
４１０…外力推定部
４１１…入力部
４１２…表示部
４１３…スピーカ
４１４…制御部
ＡＰ…空気だまり
ＭＤ…モデルデータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】