15 KiB
date
| date |
|---|
| 2025-06-09 09:25 |
#memo
Interactive Music Co-Creation with an Instrumental Technique-Aware System: A Case Study with Flute and Somax2
Prototyping Digital Musical Instruments in Virtual Reality
VR内でのプロトタイピング。現実空間でのプロトタイプがゴミめっちゃ出るというところを起点にしてるのは、本当か？みたいな気がする
tactilityがないのは厳しいですよね、そりゃそう
Questのコントローラーに磁石つけて擬似触覚的な機能を持たせる
スケッチ→モデリング→Audio Design→ファブリケーション（実際にはいろんな行き来がある）
何を使うか
- TinkerCad
- PureData / MetaSounds / Max
- Unity&LibPd
- Steam Audio for Spatialization
- Meta Quest2
例えば、加速度メーターとボタンの楽器のデモを3Dモデルを作ってからVR空間でまず試す
6人で実験 Pdパッチやモデルはあらかじめテンプレートを渡す
PyChiro: Real-Time Gesture Recognition System Supporting the Kodály Chironomic Method in Music Education, Therapy, and Performance
カメラをベースにした手のジェスチャーインタラクションシステム
ハンガリーにあるKodály method
コダーイっていうのね
音程を表すハンドサインがあるらしい
The Kodaly Method: Fun hand-signing Games for young Musicians
オクターブが腕の角度で変わるけど、それも検出
VibroTempo: Feel the Beat with Vibrational Metronomes for Musicians
振動メトロノーム
アクセント付きで鳴らせる 目的としては音楽教育っぽい
アクセント付きビートとかだと伝統的なメトロノームと結果が変わってくる
ZAP!: Bio-Inspired Large-Scale Multimedia Installation
電気ウナギにインスパイアされたサウンドインスタレーション
Music102: An D12-equivariant transformer for chord progression accompaniment
群論をコード進行の表現に使う
シューアの補題
2410.18151 Music102: An D12-equivariant transformer for chord progression accompaniment
結局メロディーの中からコード進行を抽出するっていうのでいいのかな
AI音楽パネル
中央音楽学院（CCOM）
AI音楽だけでセンターができてる（中にラボが6つあるとか）
規模的にかなわんわー
モデル構築も作品制作もやってる ロボット音楽みたいなのも結構ある
MUSIC Demixing challenge の2023もトップ取ったとか
diffusionモデルで音から弦の左手のポジションを推定（Vtuberとかには便利そうだな）
Lamberto Coccioh
Music and Technology at Royal Birmingham Conservatoire (RBC), Birmingham City University
Ontlogical paradox of artificial intelligence in musical composition
何のために生成AI音楽を作るのか？作るとは何なのか？
framing AI through technological determinism
生成AIが与えうるインパクトを理解しきれないまま作ってる面があるのでは
radical other form of agency
animist entitiesなのではという（妖精？）
AI as machine vs AI as person
paradoxes:
- 現状のAIは資本主義の産物であるという問題
- 人間のcognitionとは関係がないこと
- AI exploits and automates creativity but cannot be controlled
"controlled emergence"
トレーニングデータの制限
結構ラディカルに規制派だな
Biocultural Diversity
言語の絶滅にどう対策をするか？に似ている
"Safeguarding creativity for future generation"
Carlos Arana
the University of Buenos Aires / Barklee College
AI in Music: A Pedagogical Approach for Productive and Responsible Music
Music work lifecycle (含むconsumption)のいろんなところでAIが使えるよねということ
pedagogical approach :task - technology - application - evaluation
4 week course AI for music and audio (barklee online)
例えば音源分離なら、一通り原理を学び、実際のアプリとかも使い、その後これらをどう使うか？について評価する これをあらゆる分野でやる
LANDRとかSunoとかMagentaみたいなのを一歩引いてみるのを教育として持ち込んでるのは面白いなあ
telent/hit-song detectionとかまでカバーしてるのかあ
倫理・法の面もカバーする
Marc Battier
knowledge is cumulative / implicit knowledges are easily lost.
シュトックハウゼンのKthinka's Gesangのアシスタントを務めたのは誰か、フランソワ・ベイルのアシスタントは誰か聞いてみたけど、当然間違った答えを返した
信頼できないだけじゃなくて、ミスリーディングである
コンピューター音楽の作曲における暗黙知とは何か、それらをなるべく構造化していくこと
EMSAN ：Electroacoustic Music Studies Asia Network
アジアで作られた電子音楽を集めるデータベースを作った
EMSAN: The Electroacoustic Music Studies Asia Network
Georg Hajdu
Healing Soundscape
style-agnostic なヒーリング音楽ね、、、
ゲシュタルト心理学
音の”ブーバ”化（角が取れるみたいなことかな、、、）
𰻞
ラテントスペース使ってるよってことね
Kenneth Fields
University of China Academy
Chronotechnics
ネットワーク音楽をずっとやってる人っぽい
全然AI関係なさそう、、なんで選ばれた？
Netronomia
Then and now – Musical needs and Intelligent Tools
Research in music and artificial intelligence -- Curtis Roads
More than imitation
how should we evaluate the creativity of human-like and superhuman?
how do we evaluate what is accomplished by the specific tools?
need for new classification systems
Anger at the Asteroid: From Exhibition to Ensemble Performance
恐竜の鳴き声をいろんな形で作り続けているっぽい
Rawr! A Study in Sonic Skulls: Embodied Natural History(2015のNIME)
初期は人口声帯で作ってたけど途中でDSPに変えたのかな？
Raspberrypi単品だとレイテンシーが微妙だった
Dynamic Generalized Parametric Control of Digital Music Instruments
Eric Lyon Virginia University
VSTのパラメーター補完（プリセット同士のinterpolation?）
"preset is just one data point in the set of all possible sonic configurations"
2つのプリセットだったらスライダーで変えればいいよね
どんなVSTでも使える
Maxのvst~を使う
補完はJSで実装
それ以上ならlatent spaceの探索みたいな話？そうっぽい
- Int.lib(Oli Larkin)
- j74 Morph f a b r i z i o p o c e | J 7 4
- Arturia Polybruteにもそういう機能がある
Women’s Labor: Weaving it all Together
domestic tools as musical instruments
Bag theory : first human cultural product
これまでやったこと：色をwekinatorで画像認識/重さセンサー
Woven Scores
phryamework 布と導電布でスピーカー作る
create new community through workshop
質問：アクティビズムでもあり、ハイテックでもある不思議な位置付けだけどどこが先に来たのか：そのまんま、コミッションのオーダーとしてNIMEとフェミニズムのテーマでなんかやるというのがあった
CAFFEINE: Collaborative Affordable Framework For Experiments in Interactive Networked Electronics
Scott Petersen Yale University
学部生の合同プロジェクトっぽい ソニフィケーションのためのシステム？
ハード＋ソフトのフレームワーク
caffeine pods 無線、バッテリー駆動
many-pods one-broker many clients
esp32-s3 devkit C 超音波距離センサー、Groveサウンドセンサー、光センサー
ブローカーはPython、ソニフィケーションはSuperCollider
A Real-Time Gesture-Based Control Framework
MaxとPythonの相性悪い問題（とはいえここでもPythonとOSCで連携してるらしい）
ジェスチャー認識をMaxでもやりたい
- Rapidmax
- MuBu
- Gimlet
- Gestural Sound Tolkit
MediaPipe使ったらしい
リアルタイム・フルボディ
Wekinatorみたくオンライン学習できるのが強み
Arco : A Flexible Audio Processing Framework
ブロックサイズをあげていった時に、オールオーディオレートで処理した時の処理負荷の谷が8サンプルの時に来る
O2メッセージのフォーマットだとこれで、
/arco/fmosc/new ID chans input1 input2 ...
/arco/free ID
ハイレベルのAPIだとこう
sine1 = sine(440,0.01).play()
sine1=nil
リアルタイムのUGen増やす、減らすもできる
Nick Collinsからの質問SuperColliderとの違い
SCはコンパイルされたUGenどの順番で実行されるかが一列にソートされて順番に実行されていくけど、Arcoは必ずしもそうじゃない（部分的には並列化もできるのかな）
遅いレートのイベントストリームの取り扱いをどうすればいいんだろう - probe命令があるのか
うーん、こう見ると、UGenの生成をスクリプトから命令列に変換するのが重要なのかな
Functional Iterative Swing: An Open Framework for Exploring Warped Ramps, Exponential Rhythm, and Euclidean Shuffle
スイングを数学的に考えよう
リズムのグリッドを切るための直線的なライン（y=x）があったとして、それをy = n^xで捻じ曲げていくとスイングに近いものが作れるのではないか
A Bidirectionally Stacking Loudspeaker Enclosure Design for Wave Field Synthesis
Composing for AI Voice Model Choir
人の声を出すモデルに、全然関係ないソースをぶち込む
メルツバウの音楽でテイラースイフトの声のモデルを駆動するとか
Music for Celebrity AI Voice Model Choir | Nick Collins | sick lincoln
Danger of Revisionism
Explorations In Augmented String Instrument Design: A Conversation With Mentors Of Musical Innovation
後藤さんて電気バイオリン作ってたんだ
DMIとかAugumented Instrumentのデザインプロセスをどう語るかに参考になりそうな感じはする
Acoustic Wave Modeling with 2D FDTD: Applications in Unreal Engine for Dynamic Sound Rendering
ゲームメーカーで働いてるけど研究者としてはインデペンデントらしい
レイトレベースのリバーブだと低域厳しいですよね
時間領域有限要素法 使いましょう
- Unreal上でプリプロセスして、
- PythonでFDTDシミュレーション
- クアドラマイクでスイープ録音したのをIRに逆畳み込み
- Unrealに戻ってIRに反映
聴取点が動いたらどうなるのかな
低域の改善は実際のとこどうなんでしょう
Wax: Flow-based Audio Programming in the Web Browser
Wax にまとめて書いた
An Approach to Creating Unalienated Music Technology
Unalianatedねえ
Problem of High-Tech
Climate impact of computing
サーキットベンディングとサスティナビリティ Circuit Bending and Environmental Sustainability: Current Situation and Steps Forward · NIME 2022
ゾンビ・メディアの話でもあるね
Generative Justice なるほど
disused mobile devices で動く楽器を作る
Algae:まあよくある信号処理C++ライブラリな気がする
なぜこのライブラリを作る必要があったんだろうか（なるべく依存性を減らすというのはわかるけど）
AndroidとSDL2.0 /
パーマコンピューティングならuxnエコシステムの方が上手くいってるようにも見えるな
高校生向けワークショップ
質問：高校生にやる時にこういうエシカルな側面をどうやってWSに含めるよ？
Fractional Fourier Sound Synthesis
[2506.09189] Fractional Fourier Sound Synthesis
https://cordutie.github.io/frft_sound_synthesis/
そんなのあるのか、、、、
時間（0）→周波数(1)ドメインの中間地点というものを考えてみれば良い（x軸に時間軸をとり、y軸に周波数をとり、その回転を考える）
単位に相当するものが存在しない
ノイズ除去とか圧縮には使われてたけど、合成には特に使われていない
まあ単純に聴感上面白くはあるなというか、この遠回りな方向でなければ出なさそうな音がする
変換した空間でフィルターをかける
STFTみたいにウィンドウかけて処理するからなんともいえないなー、非リアルタイムの方が色々遊べそうな気がする
入力音源がある場合、パーカッシブな音にはあんまり効き目がない
音源分離とかに使う余地があるので
Tone Generation with Polyphonic Cycles and Spline Modeling
Research, Development and Collaboration
SplineKlangという作品とセットになっているよ
377 Greg Dixon & Matt Klassen | ICMC 2025 Boston - International Computer Music Conference
波形のスプラインモデリング
ダウンサンプルしてスプラインで補完するってことかな
音色のブレンディング