Topics2021/08/18

【メディア処理】音を目で見る

  • d1

 日常生活で情報を伝えるメディアを情報を受取る感覚器で分けると,視覚メディア聴覚メディアに二分されます.インターネット等で閲覧できる情報を考えると,文字として視覚メディア,話し声として聴覚メディアに入っていた,言語メディアが翻訳や読み上げという点から1つのメディアとなります.
 ここでは,情報工学コースで「メディア」を扱う1つの例として,スマホで手軽にデータをとることができまたエクセル等の「計算が出来るアプリ」があれば分析できる「聴覚メディア/音響メディア」に注目し「目に見えない音」の視覚化に挑戦します.
 空気であっても振動であっても「周期的に変化する現象」です.周期的な事を記述するコトバとして「三角関数(sinやcos)」があります.「数学がコトバ?」って思われるかもしれませんが,プログラムを書く時に使える関数というだけでなく,例えば「ピタゴラスの定理」として知られている公式,ピタゴラスの時代の言葉を知らなくても,数式を見るとわかってしまいませんか?これをコトバとして捉えることでプログラムのアルゴリズムを考える時も都合がいいのです.
 さて,「音」を目で見ることはできませんが,この三角関数を使って分析することで「特徴」を見付けることが出来る様になります.これによって例えば「音声認識」のように「人に変わって機械が情報を取得」することが出来る様になります.ここでは,1)周波数毎の大きさ,2)1)の時間的な変化,を2つの音(1つは「おりん」,もう1つは「バイク走行音」)でグラフを作成しました.
 聴こえている「音」を「グラフの動画」として「目で聴く」と印象かわりますか?