IMAGE
歌声、打撃音、ASMR‥‥‥
音楽の視点から“感動”を分析
歌声、打撃音、ASMR‥‥‥
音楽の視点から“感動”を分析
2023.12.11

「音楽と人との関係に、工学・心理学からアプローチして感動を呼ぶマルチメディアコンテンツを科学的に設計」――これは山田真司教授の研究室を説明するキャッチコピーだ。具体的な研究のキーワードには「ゲーム・アニメと人の感情」「“萌え”の科学」「メディア・コンテンツの設計科学」「エンターテインメント工学」という興味深いテーマが並ぶ。その根本にあるのが、音楽や音響、そして視覚情報などの様々な要因の交互作用が人間の感情や印象に及ぼす影響を科学的に見える化し、“感動”とは何かを解明することだという。私たちは音楽を聴いてなぜ感動するのか?さらには耳かきのカサカサという音を聞いてなぜ快いと感じるのか?山田教授がこれまで関わってきた研究テーマは、バイクのエンジン音から美空ひばりや安室奈美恵の歌声、大谷翔平のホームラン打撃音、そして話題のASMR(アズマー)までと実に幅広い。“音”が人にもたらす“感動”という宇宙について、山田教授に話を聞いた。
PERSON
金沢工業大学
メディア情報学科 教授

山田 真司 (やまだ まさし) 博士(芸術工学)
大阪芸術大学芸術学部音楽学科音楽工学専攻卒、大阪府立大学総合科学部総合科学科計量科学コース卒。九州芸術工科大学大学院芸術工学研究科情報伝達専攻修士課程修了。九州芸術工科大学大学院芸術工学研究科情報伝達専攻博士後期課程修了。大阪芸術大学芸術学部音楽学科講師、教養課程講師を経て、2004年金沢工業大学助教授就任。2008年教授。専門はメディア情報学、人間工学、音楽音響学、音楽心理学。
PERSON
山田 真司
(やまだ まさし) 博士(芸術工学)
金沢工業大学
メディア情報学科 教授

大阪芸術大学芸術学部音楽学科音楽工学専攻卒、大阪府立大学総合科学部総合科学科計量科学コース卒。九州芸術工科大学大学院芸術工学研究科情報伝達専攻修士課程修了。九州芸術工科大学大学院芸術工学研究科情報伝達専攻博士後期課程修了。大阪芸術大学芸術学部音楽学科講師、教養課程講師を経て、2004年金沢工業大学助教授就任。2008年教授。専門はメディア情報学、人間工学、音楽音響学、音楽心理学。
“感性”との差別化をするべく
研究所名への“感動”挿入を提案
 金沢工業大学の感動デザイン工学研究所は、21世紀の“ものづくり”において重要視される「人に感動をもたらす優れた製品開発」を行うために、2007年3月に開設された。研究所のプロジェクトメンバーでもあるメディア情報学科の山田真司教授は、自身が研究所の名称に「感動」と言葉を入れることを提案した理由を次のように話す。

「研究所の名称に“感動”という言葉を選んだのは、手垢の付いた“感性”という言葉との差別化を図るためです。当時、私は感性というものは工学的に解明することができるが、感動は解明できないと考えていました。しかし、私がもともとやっていた音楽音響学や音楽心理学の研究が目指す究極のゴールは何かと改めて考えたとき、それは『音楽で感動する』ことだと思い至り、あえて“感動”をテーマに研究する意味を再認識しました」
IMAGE
「人間の五感を統合したものが感動につながるのではないか?」という作業仮説のもと、研究所メンバーの先生たちがそれぞれのテーマについて研究を進めることになり、山田教授は専門である音楽を軸に研究を開始することになった。

「ただ、音楽で感動するというのはかなり知識を要することであり、音楽について勉強した果てにわかることも多く、非常に難しいことだというのがそれまでの私の認識でした。ところが、一方で私たちは『ファイナルファンタジー』のようなゲームでも感動を覚えるし、映画や「M-1グランプリ」といった様々なメディアコンテンツでも感動します。私自身も最近は『ヴァイオレット・エヴァーガーデン』というアニメを見て激しく泣きました。

 さらには最近YouTubeなどで人気のASMR(アズマー)動画のように、耳かきの音や咀嚼音などがゾクゾクして心地よいという人もいます。こうした感動は音楽で感動することに類似した現象だと私は考えていますが、その感動そのものが果たして同じものなのか違うものなのか、もし違うとしたらどこが違うのか。それがわかれば感動を科学的に解明するための手がかりになると考え、そのコンテンツ設計の方法について工学や心理学的なアプローチで様々な分析を行っています」
研究所の仮説を実証できた
カワサキモータースとの共同研究
 そんな山田教授が2016年に手がけたのが、バイクメーカーのカワサキモータース(当時、川崎重工業 MC&E)との共同研究だ。「バイクのエンジン音を素敵なものにしたい」というカワサキモータースからの依頼を受け、録音したエンジン音についての感じ方を調べてみると、おもしろいことが明らかになったという。
IMAGE
「ライダーたちはエンジン音をノイズとして捉えていません。むしろ楽器音を楽しむように加速音を楽しんでいるのです。それならばエンジン内のシリンダーの発火のタイミングを調整して設計に結びつけてやれば、より心地よいエンジン音が出せるということがわかりました。カワサキ側からはさらにバイク本体のデザインも考えてほしいという相談があり、新機種開発にも関わることになりました。心理実験を行ってスケッチを起こし、モックアップを作ってその評価も行い、完成したのがZX-10Rというモデルです」

 カワサキモータースとの共同研究はプロダクトデザインからさらなる広がりを見せ、新ブランドショップ「カワサキ プラザ」のトータルプロデュースへとつながっていく。なかなかバイクが売れずに業績的にも低迷していたメーカーとしては、イメージを一新して顧客を感動させるのに、ここが好機と捉えたのだろう。
山田教授がトータルプロデュースしたカワサキ プラザ。写真は2016年12月にオープンした「プラザ大阪鶴見」(いずれもオープン当時のもの)。アパレル、音楽、香り、カフェなど、これまでのモーターサイクル販売店の枠を越えたライフスタイル提案型の展開をする新たなプラザ1号店として開店した
「インテリアとエクステリアのデザイン、看板ロゴの変更、バイクの陳列方法などについて実験を行ってひとつずつ決めて、店内で音楽を流す専用のバイクチャンネルを作り、無料で提供するコーヒーの味にカワサキらしさを出すために、上島珈琲道場に通ってテイスティングも習いました(笑)。

 来店者に五感を通して感動を与えるためのトータルプロデュースでは、訪れる人にどういうイメージを植え付けたいのかというゴールに向かって、そこに関わる人たちが同じ考えと意識を持てれば相乗効果が生まれます。そのためには来店者の心理状態や印象といったものを図示して、みんなで共有することが非常に大切です。これを言葉だけでやりとりしてしまうと、みんなの思いや考えのちょっとした違いで全体のイメージにもちぐはぐさが出てしまいます」

 この共同研究は、まさに感動デザイン工学研究所が掲げた「人間の五感を統合したものが感動につながる」という仮説を実証した好事例であり、結果としてカワサキのバイクの売上は増え、黒字転換を果たすことができたというのが何よりも素晴らしいことなのは論をまたない。
IMAGE
「今回の共同研究を通じて強く感じたのは、バイクのように商品が高額でそこにたくさんの人が関わるようなケースでは、それぞれの“心の内”を見える化することが非常に有効だったということです。私はもともとシンセサイザーの音作りの研究からスタートしているので、音という見えないものを見える化する技術についての方法論は長い時間をかけて確立してきましたし、もちろん、見えるものでも感情や印象まで見える化できます。ただ、プロダクトなどと違って味やニオイの見える化は難しかったですが」

 感動を呼ぶためには心の中の状態をみんなに見える化し、共有することが大切だということを多くの人がわかりつつあるのだが、こうした研究はノウハウの固まりでもあり、見える化するための個別要素も五感の何に訴えるのかなど実に多岐に渡る。そんなひとつの個別要素として、最近、山田教授が研究しているのが“色”だという。

「赤は情熱、青は鎮静、黄色は親しみを表すといった色に対するイメージがありますが、“こういう印象”を持たせるためには“こんな色づかい”をすればいいという、色相環の法則性があります。キャラクターをどんな色で描くか、お菓子の包装紙を何色にするかなど、色によって表現するもののイメージが変わります。対象物は非常に多いのですが、色や形が印象や見た目にどのような影響を及ぼしているのかが見える化によって科学的に明らかになれば、それを他の個別要素と統合することで非常に強力なアプローチ方法になるのです」
美空ひばりに気づかされた
音色による“抑揚”
 話は変わるが、2019年の「NHK 紅白歌合戦」にも登場して話題となった“AI 美空ひばり”をご存じだろうか。これはNHK主導のもと、初音ミクで知られるボーカロイドを開発したヤマハのエンジニアを中心とするプロジェクトで、作詞家の秋元康、歌手の天童よしみ、ファッションデザイナーの森英恵など、美空ひばりにゆかりのある人たちが結集して、『あれから』という“新曲”とともに美空ひばりをCGでよみがえらせるというものだった。

 当初、音色や音程などの特徴を機械学習によって抽出して歌声を完成させたものの、それを長年のひばりファンたちに聴かせたところ厳しい評価が下されたため、急きょ山田教授のもとに歌声解析の依頼の話が飛び込んできたのだ。
IMAGE
「歌声は昔から研究テーマのひとつでしたから、美空ひばりの歌声を音声分析して見える化するということで引き受けました。分析してわかったのが、彼女がミリ秒単位で音色に抑揚をつけてコロコロと使い分けているということでした。音の強弱、高低、長短で抑揚をつける歌手はいますが、それを音色で使い分けるというのはまさに超絶技巧です。『川の流れのように』という曲を聴けばわかりますが、誰にもマネできない歌い方ですね」
IMAGE
 山田教授によると、美空ひばりの歌声にはモンゴルの「ホーミー」という一人でいくつもの音を奏でる歌唱法と同じ「高次倍音」という特殊な倍音が潜んでおり、さらに微妙な音程のズレがあることもわかった。こうした美空ひばり特有の歌い方を修正点として反映させ、再度、歌声合成チームが完成させたのが『あれから』という曲であり、それを聴いたファンたちは涙を流したという。

「時間のない話だったので、本当はあまり乗り気ではなかったのですが、音色による抑揚というこれまで考えもしなかった新しい気づきがあったのは、私にとっても大きな財産になりました。

 実は私は30代の終わり頃に、前の職場で『安室奈美恵のあとノリ』という研究をやったことがあります。彼女はフレーズの冒頭部分だけ伴奏よりも70ミリセカンドほど遅れて歌うのです。エコーにはならないがジャストではないという絶妙なタイミングなのですが、これによってブラックミュージック的なテイストに聞こえます。でもやりすぎてはいないので、J-POPとしてきちんと成立しているわけです。安室奈美恵の歌い方も美空ひばりと同じで、他の人はやろうとも考えないしやってもできない唯一無二のものです。まさに普通の人間にはできないことをやっているという意味では、初音ミクと同じような存在といえるのかもしれません」
大谷翔平のホームランに潜む
音の“すごさ”と“快さ”
 これまでゲームやアニメをはじめ、初音ミク、萌え、ASMRなどを研究テーマにしてきた山田教授のもとには、テレビや雑誌などのマスコミから様々な問い合わせが舞い込む。そのひとつがメジャーリーガー・大谷翔平の「ホームランの打撃音」だった。

「初めて大谷がMVPに輝いた2021年に、彼のホームランの打撃音がすごいということが話題になり、あるテレビ番組からの依頼で2020年の2号と2021年の26号のホームランの打撃音をスペクトル分析して、周波数(高さ)とパワー(大きさ)を比較しました。その結果、確かに大谷のホームランの打撃音はゲレーロJr.のそれに比べると快くて迫力があるのです。具体的には2021年のほうが300Hzと600Hzのところに強いピークが出ているのですが、このように倍音関係にある音の成分は楽器音と同じような特徴を持っていて、聞く人の快さを強めると同時に興奮も強めることがわかりました。
IMAGE
防音室で専用のヘッドホンを装着して音を分析
 さらに3000Hz付近にも強いピークが出ていて、これはオペラ歌手の“シンガーズ・フォルマント”と呼ばれるものと同じです。球とバットの反発力が強いことの示唆でもあり、テノールのオペラ歌手の歌唱音と同様の快さと覚醒度を高める効果を引き起こしています。ただ、2021年シーズン当初は無観客試合だったため、コンクリートの壁面からの反射音をマイクがきれいに拾い、音がカラオケのエコーのように強く快く響いたことで、打撃音の“すごさ”に注目が集まるきっかけになったのだと思います」

 2023年に再びテレビ局から連絡があり、最新のホームランの打撃音を調べたところ、音はもっと高くなっていたという。

「バットのメーカーが変わり、素材の硬さが変わったことが関係していると思いますが、バットの長さが1インチ長くなっているので、そこまで音は高くなっていませんでした。ただ、これまで“ホームランの打撃音”という視点で野球を見るなんて誰も考えなかったわけです。そこにはASMR動画がフェチの世界から社会現象へと広がっていったのと共通する“感動”があり、そういうところをいち早く見つけることに、みんなが楽しみを見い出すようになっているのだと思います」
IMAGE

前の記事