物語の感情を、音楽へ変える — Hannah Davisのデータと音の実験 | eyeoを読む

同じ手順で音楽をつくっても、入力する物語が変わると、音の表情が変わる。Hannah Davisの2018年の講演「DATA, MUSIC, AND EMOTION」では、小説を感情の流れとして捉え、それを旋律やテンポへ結びつける実験が紹介される。音を使えば、文章の内容を別の形で経験できるのだろうか。

この問いは、データを音へ正確に置き換える方法だけでは終わらない。何を感情として数えるのか、どんな音が何を感じさせるのか、その対応を誰が決めるのか。制作が進むほど、入力と規則の中にある主観も見えてくる。講演の面白さは、作品の可能性と、その土台への疑問が同時に深まるところにある。

音にすることと、音楽をつくること

00:19からの講演を見る

Davisは、データを音にする方法をいくつかに分けて紹介する。波形として直接聴く方法、値を音の高さや長さなどへ対応させる方法、データをもとにしつつ音楽として構成する方法である。すべてが同じ目的を持っているわけではない。

データの細かな差を聞き分けたいときには、一定の対応規則が重要になる。一方、生成されるものを音楽として経験してほしいなら、音のまとまりや変化、聴き続けられる構成も関わってくる。データにない要素を加えることが、その目的に合う場合もある。

たとえば、非常に短い時間差を、画面上の差として読むより、音のずれとして聴く方が気づきやすい場面がある。音には、時間のパターンや繰り返しを追う力がある。それだけでなく、緊張や落ち着きのような感覚にも結びつく。Davisは、その両方に関心を持っている。

したがって、作品を聴く際には「元の数値を復元できるか」だけで評価しない方がよい。何を聞き分けるための音なのか、どんな経験を生むための音楽なのかを見分ける必要がある。講演は、この違いを出発点に置く。

小説を、感情が変化する時間として読む

06:27からの講演を見る

《TransProse》は、文章に現れる感情を分析し、その変化から音楽を生成するプロジェクトだ。単語と感情の関連を記した辞書を使い、文章の中でどのような感情が現れるかを調べる。その情報が、テンポ、音域、旋律の動きなどに結びつく。

物語の登場人物や出来事を、そのまま音で描写するわけではない。人物ごとに固有の旋律を割り当てるのでも、文章を読み上げるのでもない。文章の流れに伴って、感情に関連する語がどのように現れるかを、別の時間表現へ移す。

この方法では、物語の長さや単語の選び方も、音楽の性質へ関わる。音楽は、作品のあらすじを知るための圧縮された説明というより、文章の調子や推移を聴くための解釈になる。小説を別の感覚から眺め直す試みとして面白い。

ただし、最初からうまくいったわけではない。Davisは、初期の結果について、構成の乏しさや、感情が期待どおりに伝わらない問題を語る。対応表があれば自動的に魅力的な音楽になるわけではない。音楽として成立させるために、規則と構成を繰り返し調整する必要があった。

同じ規則でも、入力が違えば聴こえ方が変わる

10:06からの講演を見る

講演では、同じ仕組みからつくられた異なる文章の音楽を聴き比べる。ここで共通の規則は、個々の作品を似た音にそろえるためだけにあるのではない。規則が同じだからこそ、入力の違いがどう響くかを比較できる。

一方、文章の感情を数えることには、難しい例もある。Davisが挙げる『時計じかけのオレンジ』では、恐ろしい行為と、それを語る声の楽しげな調子が重なる。何が起きているかと、どんな言葉で語られているかは同じではない。言葉の感情を追う仕組みが捉えるのは、その一面である。

このずれは、作品が失敗したことだけを意味しない。自分が物語から何を読んでいたのかを考える入口にもなる。出来事への評価、語り手の態度、読者が感じるもの。その複数の層を、一つの感情の数値へまとめることには限界がある。

音楽にすると、その解釈の選択が耳に届く。落ち着いた音が鳴っているのに、読んだ人は不安を覚えていたかもしれない。その差を、客観的な結果に人間が従うべき問題としてではなく、どの側面を表したのかを問い直す手がかりにできる。

出来事の記録にも、映像にも、音の構造を探す

Davisの実験は、文学だけに閉じていない。日付のある出来事の記録では、一日の長さを音楽の一定の時間に対応させ、出来事の集まり方や説明の特徴を音へつなぐ。何がいつ集中するか、どのような記述が繰り返されるかを、時間の流れとして聴くことになる。

ここで扱われるUFOの目撃記録は、報告が残されたことのデータであり、報告の内容が事実であると証明するものではない。作品が変換しているのは、その記録の時間や言葉の特徴だ。何を数えた情報かという区別は、音にした後にも残る。

15:18からの講演を見る

映像から音楽をつくる試作も紹介される。画面の形や動き、カメラの変化などを、音の構成を考える材料にする。講演時点では、音を限定して試す初期の実験も示される。映像の感情を自在に読み取る完成した仕組みとしてではなく、どの特徴なら音へ結びつけられるかを探す段階にある。

この過程で大切なのは、入力に見つける構造と、音楽として選ぶ構造の間を往復することだ。何でも音へ割り当てれば意味のある曲になるわけではない。元の素材にある変化を聴けるようにしながら、曲としての関係もつくる。その調整に、作者の判断がある。

感情の辞書には、誰の世界が入っているか

21:12からの講演を見る

制作を続けるうちに、Davisは入力の辞書そのものにも疑問を持つ。出産に関する言葉に感情が割り当てられていないことを見つけ、それがなぜなのかを考える。自分にとって強い意味がある経験でも、辞書の中で同じように扱われているとは限らない。

感情を付けた人が誰で、どんな言葉を見て、どんな条件で判断したのか。それが分からなければ、数字が何を表しているかも分かりにくい。個人の判断を集めた情報が、計算に使われた途端に、誰の視点でもない中立的な事実になるわけではない。

Davisは、データに食品の表示のようなものがあればよいと考える。どこから来たか、誰がつくったか、何が入っているか、いつのものか。使う側が背景を確認できれば、目的に合うか、何に注意する必要があるかを考えられる。この発想は、データを使うことと、その来歴に責任を持つことをつないでいる。

講演では、風景に感情を付ける実験も扱われる。暗い森や広い海に何を感じるかは、人によって違う。ある人に静かな場所が、別の人には不安な場所かもしれない。色や明るさだけを見ても、その違いは説明しきれない。感情の分類には、見ている人の経験も入り込む。

技術を教える入口に、問いも置く

Davisは、創作に使う機械学習の学び方にも関わっている。講演では、2018年当時のml5.jsの取り組みが紹介される。高度な仕組みを、表現に取り組む人が試しやすい形にすることと、誰のためにつくるかを考えることが結びついている。

道具が簡単に使えるようになれば、すべての判断が簡単になるわけではない。どのデータを選ぶか、分類の名前をどう受け取るか、結果に何を言わせるかという問いは残る。講演の流れでは、倫理や主観の問題は、技術を学び終えてから付け足す注意書きではなく、最初から制作の一部となる。

33:15からの講演を見る

質疑では、制作の難しさとして音楽理論を学ぶことにも触れる。コードが書けることと、聴くに値する音の関係を組み立てられることは同じではない。データから音楽へ向かう仕事には、入力の理解と、音楽そのものへの学びの両方が必要なのである。

制作へ持ち帰るための視点

以下は、講演を踏まえた編集上の考察である。

データを音へ変えるなら、何を保存したいのかを最初に考えられる。数値の差、時間の順序、まとまりの変化、あるいは主題から受ける印象。同じ入力でも、選ぶ目的によって適した音の規則は変わる。

比較をしたい場合には、共通の規則が役に立つ。ただし、同じ規則を使ったことだけでは、公平な解釈が保証されない。辞書が拾わない言葉や、分類に入りにくい経験があれば、その偏りも作品へ引き継がれる。変換後の音だけでなく、変換前に何が見えていたかを点検したい。

そして、音楽としての調整を隠す必要はない。データが自動的に曲を決めたと語るよりも、どの関係を残し、何を作者が選んだかを明らかにする方が、作品の面白さに近づける。Davisの講演は、主観を取り除くことより、制作の中で主観の働く場所に気づくことを促している。