安室奈美恵MVで使われた 「視覚が生み出す触感」ってなんだ？ ――触覚とクリエイティブの未来（1/3）

2015年5月に発表された安室奈美恵さんの新曲、「Golden Touch」のミュージックビデオ（MV）をご存知でしょうか。「Golden Touch」とは、「触れるもの全てを別のものに変えてしまう力」のことを意味し、まさに、視聴者は、画面に指で触れることを通して、映像を「触感」に変える体験をすることになります。
 

「Golden Touch」（安室奈美恵、2015）のMV。
できれば、一度目は画面に触れて、二度目は触れずに鑑賞してみてください。

 
触感を体験するには、まず、画面中央の印に指を置きます。音楽が始まるとともに、指に向かって風船が近づいてきて、指のところでパーンと割れます。映像だけ見ていると、ただ、風船が動いて割れるだけなのですが、画面に指を置いていると、あたかも風船が指にぶつかって割れたような感覚が生じます。MVでは、風船だけではなく、指先に小鳥が乗ったり、将棋の駒を押したり・・・、さまざまな「触感」を感じることができます。映像が動いているだけなのに、そこに指を置くとあたかも自分の指に何かがぶつかったような触感を感じます。
 

実際には触れていなくても、見た目だけで触感を感じるのはなぜ？

 
このような視覚情報によって生じる触覚的な感覚を「擬似触覚（Pseudo-Haptics：シュードハプティクス）」と呼びます。Pseudoとは「何かを模した、擬似的」という意味で、Hapticsは「皮膚の感覚だけでなく力や重さを感じる感覚まで含めた触覚（正確には体性感覚と呼びます）」という意味です。Pseudo-Hapticsは、2000年頃に海外のコンピュータインタフェース研究の中で取り上げられ、現在、日本でも多くの応用研究が行われています。たとえば、明治大学総合数理学部、渡邊恵太さんのウェブサイトでは、簡単にPseudo-Hapticsを体験できます。
 

VisualHaptics: カーソルによる手触り感提示システム
http://www.persistent.org/visualhaptics.html

 
私たちは、普段の生活でも、このような擬似的触覚を感じることがあります。たとえば、マウスでパソコンを操作しているときに、データ処理の負荷によって画面上のカーソルの動きが突然遅くなることがありますが、このとき、マウスを動かす手が「重い」と感じることはないでしょうか。ここで起きていることは、マウスを動かす手の動きによって生じるカーソルの動きが単純に「遅く」なっただけなのですが、その視覚情報の変化を私たちは「重い」という触感として感じます。私たちは、視覚的な動きの変化を見るだけであれば「遅い」と感じますが、カーソルの動きなど、自分の働きかけの結果として生じる視覚情報の変化に対しては「重い」と触覚的に感じるのです（ちなみに、パソコンの処理も「遅い」だけではなく「重い」といいますね）。では、なぜ、私たちは見た目の変化から「重い」といった触感を感じるのでしょうか。
 

 
私たち人間は、自分の手を自分の目で見ることができます。そうすると、手で触れた触感（触覚情報）を生じさせる対象が、どんな見た目をしているか（視覚情報）を同時に感じることができ、それらをあわせて記憶しています。そうすると、視覚情報だけからその触感を予測することができるようになります。たとえば、光沢を持った材質に触れるとどんな触感が生じるか、木目を持った材質を押すとどんな感じがするか、私たちはその見た目から（半分無意識的に）予測します。
 

自己主体感（「センス・オブ・エイジェンシー（Sense of Agency）」）が視覚情報を触覚情報に変える。

そして、Pseudo-Hapticsを引き起こすもうひとつ重要な要素として、「センス・オブ・エイジェンシー（Sense of Agency）」があげられます。「センス・オブ・エイジェンシー」とは、「自己主体感」などと訳され、自分が「エージェント」を通して何かを意図通りに操作している、という感覚を指します。自分の手は最も馴染み深い「エージェント」ですし、「エージェント」は自分の身体だけでなく、道具やカーソルも「エージェント」となり、その先で何かが起きるとそれが主体的な関与の結果と感じることができます。ただし、ボタンを押すと何かが反応するような一回の動作の「エイジェンシー」と、カーソル操作のような連続的な操作の「エイジェンシー」を比べると、連続的な操作のほうがより強く「センス・オブ・エイジェンシー」を感じます。
 
人間の脳は、「エージェント」（自分の手、もしくは、自分の手で動かしているもの）が接している対象の見た目の変化を、自分の関与の結果生じたものと感じ、実際に触感が生じていなくても、視覚情報から予測されるさまざまな「触感」をつくりだしているのです。先ほどのカーソルの例では、普段のカーソルの動きから、「だいたいこれくらいのスピードでカーソルが動くだろう」という予想ができるわけですが、それが予想と異なる場合に「エージェント」（カーソル）のある場所の材質や形状が変化したかのような解釈が生じて、「触感」を感じることになります。
 
一方、このような擬似的な触感は、カーソルと関係する他の視覚情報を変化させたときにも生じることが知られています。カーソルの速度自体を変えるのではなく、図形をカーソルにぶつかるように動かして、ぶつかったとき図形の速度を変えて「触感」を生じさせるデモ動画がこちらです。
 

 
画面の赤い点は、画面右下にあるマウスで動かされるカーソルを表しています。画面では、図形が右から左へと流れてきますが、赤い点が図形の上に来た時に、図形の動きが突然遅くなります。このとき、カーソルと図形の視覚的な関係性の変化が、あたかもそこで生じた触覚的な関係性の変化（摩擦が増えた等）として解釈され、マウスを操作する手が「重く」、抵抗感があるように感じられます。そして、この現象の大きな特徴として、マウスを指で押して赤い点を操作しているときにしか生じないということがあります。つまり、操作者が画面の中の赤い点を「エージェント」として考えるときにはじめて、この現象が生じ、視覚情報の変化が擬似的な触覚情報に変換されるというわけです。「Golden Touch」のMVでも、これと同様の仕組みが働いています。この場合は、指先が「エージェント」となり、画面に直接触れている指周辺の見た目の変化によって、擬似的な触感を感じるのです。
 

現在、触感をリアルに再現するために、機械振動や温度、電気刺激等を活用した提示装置の研究が進んでいますが、それらは大掛かりになりがちで、視覚のテレビ、聴覚のスピーカに対応する汎用的な触覚提示装置はまだ社会に広まっていません。この記事で紹介したように、人間は、センス・オブ・エイジェンシーを通じて視覚情報からも触覚的な感覚を感じることができます。このような感覚の特性は、タッチレスポンス機能の付いたスマートフォンやタブレットと相性がよく、今後、広告や映像作品等で、もっと使用されることでしょう。
 
第2回からは、冒頭の安室奈美恵さんのMVを制作したクリエイティブ・ラボPARTYのクリエイティブ・ディレクター/共同創設者の川村真司さんにお話を伺い、触覚とクリエイティブの関係について議論したいと思います。
 
 

（文・構成／長倉 克枝）