クロスモーダル

cross_modal_005_R

クロスモーダル

風鈴の音を聞くと、気温が下がったわけではないのに涼しさを感じます。赤い色に温かさを感じ、青い色に涼しさを感じます。食事でも、同じ料理であっても、器の形や色、盛り付け方で食欲をそそられる場合もあればそうでない場合もあります。こうした経験からも分かるように、私たちの五感はそれぞれ独立したものではなく、互いに交わり、影響を与えあって様々な感覚を感じ取っています。このような感覚の仕組みをクロスモーダルと呼んでいます。近年、このクロスモーダルの概念をVR・ARの技術に取り込む研究が注目されています。

クロスモーダルな感覚情報の提示は、感覚入力と直接対応していない刺激であっても、実際の感覚と同じような効果を発生させることができ、その構造もシンプルなものであることから、これまでの各感覚器一つ一つに対応した刺激を提示する方式にくらべると、費用対効果も優れていると言えそうです。

Meta Cookie

HMDにさまざまなクッキーの写真を表示し、それに匂いも付け加えると、食べる人の味覚の認識を変化せることができ、さらにクッキーを大きく見せると満腹感を与えることが可能になるそうです。具体的には、カメラ画像からクッキー部分を抽出・加工してHMDに表示します。クッキーの大きさを変更する際には、手指の部分も加工して不自然さをなくしてあります。

この実験では、本人が満足するまでクッキーを食べてもらい、その消費量をそれぞれの条件で比較したところ、1.5倍に拡大した場合には消費量が9.3%減少、また0.67倍に縮小表示した場合には逆に消費量が13.8%増加したそうです。

見た目だけで食欲の行動に変化を与えることができるということは、将来的には肥満解消やダイエットに応用できるかもしれません。

 cross_modal_004_R

(http://www.cyber.t.u-tokyo.ac.jp/~narumi/metacookie.html より)

見るだけで触感が伝わるシステム

シースルー型のHMDで空間上に映像があるように立体表示し、映像と手が接触しているような表現を可能にすることで、実際には何も触れていないにも関わらず映像を見るだけで触感が得られるという現象を作り出す技術があります。風に当る感覚やヒンヤリするなど微かな触感を体験することができるそうです。このような、見るだけで触感が伝わるシステムは、「視覚誘発型『微触感』錯覚」と言います。

この技術の応用としては、教育、医療用、エンターテインメントが考えられるほか、誘発される温冷感や風覚のマッチングによる、従来にない気象情報の体験を意図した「体感天気予報」もすでに試作されているとのことです。

 cross_modal_001

(https://www.wrs.waseda.jp/seeds/ja/patentSeeds/detail/1359 より)

TagCandyとお口の中の遊園地

TagCandyは食材の食感を変えることのできる味覚デバイスです。突き刺した普通のキャンディを舐めるだけで、炭酸の食感や林檎を噛むような食感、あるいは花火や飛行機といった現実には存在しない食感等を体感する事ができます。

仕組みはいたってシンプルです。デバイスには振動スピーカーと舐めることを検出するセンサーが入っています。センサーの検出した値を元に振動スピーカーによって振動を発生させ、振動した飴が舌に当ることで食感が伝わるという仕組みです。2010年に発表された技術です。今は、インターネット上に食感が配布され、その食感をダウンロードして、楽しむという情報サービスの可能性を研究しているようです。

このTagCandyの技術をベースとした製品にはエバラの「お口の中の遊園地」があります。浅漬けの付いたデバイスを口にくわえると、目の前に置かれたディスプレイ映像と連動した音楽がデバイスから流れ、その振動が骨に伝わることで、映像と同じ出来事が口の中で起こっているような錯覚を体験できるというものです。

 cross_modal_002_R

(http://www.xlab.sfc.keio.ac.jp/?works=tagcandy より)

Write More

Write More(ライト・モア)は、絵や文字を書くときの筆記音を増幅し、その大きな筆記音を聞くことで書き手の作業効率や継続意欲を高めるツール(ボード)です。アプリとセットで使って、カリカリ、ガリガリ、サラサラといった筆記音を大きくします。これもクロスモーダル技術を活用したものです。

具体的には、ボードのコードをiPhoneのイヤホンジャックに挿します。そしてボードの上に専用の練習帳などを置いて鉛筆で文字や絵を描くことになります。アプリで筆記音がいろいろな音に変化させることができます。

 cross_modal_003_R

(http://issueplusdesign.jp/writemore/ より)

 

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です