485 lines
15 KiB
Markdown
485 lines
15 KiB
Markdown
---
|
||
date: 2025-06-09 09:25
|
||
---
|
||
#memo
|
||
|
||
|
||
## Interactive Music Co-Creation with an Instrumental Technique-Aware System: A Case Study with Flute and Somax2
|
||
|
||
[[Somax2]]
|
||
|
||
## Prototyping Digital Musical Instruments in Virtual Reality
|
||
|
||
VR内でのプロトタイピング。現実空間でのプロトタイプがゴミめっちゃ出るというところを起点にしてるのは、本当か？みたいな気がする
|
||
|
||
tactilityがないのは厳しいですよね、そりゃそう
|
||
|
||
[[Frugal innovation]]ね
|
||
|
||
Questのコントローラーに磁石つけて擬似触覚的な機能を持たせる
|
||
|
||
スケッチ→モデリング→Audio Design→ファブリケーション（実際にはいろんな行き来がある）
|
||
|
||
何を使うか
|
||
|
||
- [[TinkerCad]]
|
||
- [[PureData]] / [[MetaSounds]] / [[Max]]
|
||
- [[Unity]]&[[LibPd]]
|
||
- [[Steam Audio]] for Spatialization
|
||
- Meta Quest2
|
||
|
||
例えば、加速度メーターとボタンの楽器のデモを3Dモデルを作ってからVR空間でまず試す
|
||
|
||
6人で実験 Pdパッチやモデルはあらかじめテンプレートを渡す
|
||
|
||
---
|
||
## PyChiro: Real-Time Gesture Recognition System Supporting the Kodály Chironomic Method in Music Education, Therapy, and Performance
|
||
|
||
|
||
カメラをベースにした手のジェスチャーインタラクションシステム
|
||
|
||
ハンガリーにある[Kodály method](https://en.wikipedia.org/wiki/Kod%C3%A1ly_method)
|
||
|
||
[[コダーイ]]っていうのね
|
||
|
||
[コダーイ・コンセプト – 日本コダーイ協会](http://kodaly.jp/concept/)
|
||
|
||
音程を表すハンドサインがあるらしい
|
||
|
||
[The Kodaly Method: Fun hand-signing Games for young Musicians](https://mobilemusicschool.ie/kodaly-method-music-games/)
|
||
|
||
オクターブが腕の角度で変わるけど、それも検出
|
||
|
||
## VibroTempo: Feel the Beat with Vibrational Metronomes for Musicians
|
||
|
||
振動メトロノーム
|
||
|
||
アクセント付きで鳴らせる 目的としては音楽教育っぽい
|
||
|
||
アクセント付きビートとかだと伝統的なメトロノームと結果が変わってくる
|
||
|
||
## ZAP!: Bio-Inspired Large-Scale Multimedia Installation
|
||
|
||
電気ウナギにインスパイアされたサウンドインスタレーション
|
||
|
||
[[バイオミミクリー]]
|
||
|
||
## Music102: An D12-equivariant transformer for chord progression accompaniment
|
||
|
||
群論をコード進行の表現に使う
|
||
|
||
シューアの補題
|
||
|
||
[2410.18151 Music102: An D12-equivariant transformer for chord progression accompaniment](https://arxiv.org/abs/2410.18151)
|
||
|
||
結局メロディーの中からコード進行を抽出するっていうのでいいのかな
|
||
|
||
---
|
||
|
||
## AI音楽パネル
|
||
|
||
### 中央音楽学院（CCOM）
|
||
|
||
AI音楽だけでセンターができてる（中にラボが6つあるとか）
|
||
|
||
規模的にかなわんわー
|
||
|
||
モデル構築も作品制作もやってる ロボット音楽みたいなのも結構ある
|
||
|
||
[CENTRAL CONSERVATORY OF MUSIC](https://en.ccom.edu.cn/)
|
||
|
||
MUSIC Demixing challenge の2023もトップ取ったとか
|
||
|
||
diffusionモデルで音から弦の左手のポジションを推定（Vtuberとかには便利そうだな）
|
||
|
||
### Lamberto Coccioh
|
||
|
||
Music and Technology at Royal Birmingham Conservatoire (RBC), Birmingham City University
|
||
|
||
Ontlogical paradox of artificial intelligence in musical composition
|
||
|
||
何のために生成AI音楽を作るのか？作るとは何なのか？
|
||
|
||
framing AI through technological determinism
|
||
|
||
生成AIが与えうるインパクトを理解しきれないまま作ってる面があるのでは
|
||
|
||
radical other form of agency
|
||
|
||
animist entitiesなのではという（妖精？）
|
||
|
||
AI as machine vs AI as person
|
||
|
||
paradoxes:
|
||
|
||
- 現状のAIは資本主義の産物であるという問題
|
||
- 人間のcognitionとは関係がないこと
|
||
- AI exploits and automates creativity but cannot be controlled
|
||
|
||
"controlled emergence"
|
||
|
||
トレーニングデータの制限
|
||
|
||
結構ラディカルに規制派だな
|
||
|
||
|
||
Biocultural Diversity
|
||
|
||
言語の絶滅にどう対策をするか？に似ている
|
||
|
||
"Safeguarding creativity for future generation"
|
||
|
||
### Carlos Arana
|
||
|
||
the University of Buenos Aires / Barklee College
|
||
|
||
AI in Music: A Pedagogical Approach for Productive and Responsible Music
|
||
|
||
Music work lifecycle (含むconsumption)のいろんなところでAIが使えるよねということ
|
||
|
||
pedagogical approach :task - technology - application - evaluation
|
||
|
||
4 week course AI for music and audio (barklee online)
|
||
|
||
例えば音源分離なら、一通り原理を学び、実際のアプリとかも使い、その後これらをどう使うか？について評価する これをあらゆる分野でやる
|
||
|
||
LANDRとかSunoとかMagentaみたいなのを一歩引いてみるのを教育として持ち込んでるのは面白いなあ
|
||
|
||
telent/hit-song detectionとかまでカバーしてるのかあ
|
||
|
||
倫理・法の面もカバーする
|
||
|
||
### Marc Battier
|
||
|
||
knowledge is cumulative / implicit knowledges are easily lost.
|
||
|
||
シュトックハウゼンのKthinka's Gesangのアシスタントを務めたのは誰か、フランソワ・ベイルのアシスタントは誰か聞いてみたけど、当然間違った答えを返した
|
||
|
||
信頼できないだけじゃなくて、ミスリーディングである
|
||
|
||
コンピューター音楽の作曲における暗黙知とは何か、それらをなるべく構造化していくこと
|
||
|
||
EMSAN ：[[Electroacoustic Music Studies Asia Network]]
|
||
|
||
|
||
アジアで作られた電子音楽を集めるデータベースを作った
|
||
|
||
[EMSAN: The Electroacoustic Music Studies Asia Network](http://emsan.lib.ntnu.edu.tw/about.jsp)
|
||
|
||
### Georg Hajdu
|
||
|
||
Healing Soundscape
|
||
|
||
style-agnostic なヒーリング音楽ね、、、
|
||
|
||
ゲシュタルト心理学
|
||
|
||
音の”ブーバ”化（角が取れるみたいなことかな、、、）
|
||
|
||
𰻞
|
||
|
||
ラテントスペース使ってるよってことね
|
||
|
||
### Kenneth Fields
|
||
|
||
University of China Academy
|
||
|
||
Chronotechnics
|
||
|
||
ネットワーク音楽をずっとやってる人っぽい
|
||
|
||
全然AI関係なさそう、、なんで選ばれた？
|
||
|
||
Netronomia
|
||
|
||
[NetronomiaII by Ken Fields](https://rdmc.nottingham.ac.uk/handle/internal/11989)
|
||
|
||
---
|
||
|
||
## Then and now – Musical needs and Intelligent Tools
|
||
|
||
[[Miriam Akkermann]]
|
||
|
||
[[Research in music and artificial intelligence]] -- [[Curtis Roads]]
|
||
|
||
More than imitation
|
||
|
||
how should we evaluate the creativity of human-like and superhuman?
|
||
|
||
how do we evaluate what is accomplished by the specific tools?
|
||
|
||
need for new classification systems
|
||
|
||
|
||
---
|
||
|
||
## Anger at the Asteroid: From Exhibition to Ensemble Performance
|
||
|
||
|
||
[[Courtney Brown]]
|
||
|
||
恐竜の鳴き声をいろんな形で作り続けているっぽい
|
||
|
||
[Rawr! A Study in Sonic Skulls: Embodied Natural History](https://www.nime.org/proc/cbrown2015/index.html)(2015のNIME)
|
||
|
||
初期は人口声帯で作ってたけど途中でDSPに変えたのかな？
|
||
|
||
[About – Dinosaur Choir](https://dino.courtney-brown.net/about/)
|
||
|
||
Raspberrypi単品だとレイテンシーが微妙だった
|
||
|
||
|
||
## Dynamic Generalized Parametric Control of Digital Music Instruments
|
||
|
||
[[Eric Lyon]] Virginia University
|
||
|
||
VSTのパラメーター補完（プリセット同士のinterpolation?）
|
||
|
||
"preset is just one data point in the set of all possible sonic configurations"
|
||
|
||
2つのプリセットだったらスライダーで変えればいいよね
|
||
|
||
どんなVSTでも使える
|
||
|
||
[[Max]]の`vst~`を使う
|
||
|
||
補完はJSで実装
|
||
|
||
それ以上ならlatent spaceの探索みたいな話？そうっぽい
|
||
|
||
|
||
- Int.lib([[Oli Larkin]])
|
||
- j74 Morph [f a b r i z i o p o c e | J 7 4](https://www.fabriziopoce.com/morph.html)
|
||
- Arturia Polybruteにもそういう機能がある
|
||
|
||
|
||
## Women’s Labor: Weaving it all Together
|
||
|
||
[[Margaret Schedel]]
|
||
|
||
domestic tools as musical instruments
|
||
|
||
[[Bag theory]] : first human cultural product
|
||
|
||
これまでやったこと：色をwekinatorで画像認識/重さセンサー
|
||
|
||
Woven Scores
|
||
|
||
phryamework 布と導電布でスピーカー作る
|
||
|
||
create new community through workshop
|
||
|
||
質問：アクティビズムでもあり、ハイテックでもある不思議な位置付けだけどどこが先に来たのか：そのまんま、コミッションのオーダーとしてNIMEとフェミニズムのテーマでなんかやるというのがあった
|
||
|
||
|
||
## CAFFEINE: Collaborative Affordable Framework For Experiments in Interactive Networked Electronics
|
||
|
||
[[Scott Petersen]] Yale University
|
||
|
||
学部生の合同プロジェクトっぽい [[ソニフィケーション]]のためのシステム？
|
||
|
||
ハード＋ソフトのフレームワーク
|
||
|
||
caffeine pods 無線、バッテリー駆動
|
||
|
||
many-pods one-broker many clients
|
||
|
||
[[esp32-s3]] devkit C 超音波距離センサー、Groveサウンドセンサー、光センサー
|
||
|
||
ブローカーはPython、ソニフィケーションは[[SuperCollider]]
|
||
|
||
|
||
## A Real-Time Gesture-Based Control Framework
|
||
|
||
MaxとPythonの相性悪い問題（とはいえここでもPythonとOSCで連携してるらしい）
|
||
|
||
ジェスチャー認識をMaxでもやりたい
|
||
|
||
- Rapidmax
|
||
- MuBu
|
||
- Gimlet
|
||
- Gestural Sound Tolkit
|
||
|
||
[[MediaPipe]]使ったらしい
|
||
|
||
リアルタイム・フルボディ
|
||
|
||
[[Wekinator]]みたくオンライン学習できるのが強み
|
||
|
||
## Arco : A Flexible Audio Processing Framework
|
||
|
||
[[Roger Dannenberg]]
|
||
|
||
ブロックサイズをあげていった時に、オールオーディオレートで処理した時の処理負荷の谷が8サンプルの時に来る
|
||
|
||
[[O2]]メッセージのフォーマットだとこれで、
|
||
|
||
```
|
||
/arco/fmosc/new ID chans input1 input2 ...
|
||
/arco/free ID
|
||
```
|
||
|
||
ハイレベルのAPIだとこう
|
||
|
||
```
|
||
sine1 = sine(440,0.01).play()
|
||
sine1=nil
|
||
```
|
||
|
||
|
||
リアルタイムのUGen増やす、減らすもできる
|
||
|
||
[[Nick Collins]]からの質問SuperColliderとの違い
|
||
|
||
SCはコンパイルされたUGenどの順番で実行されるかが一列にソートされて順番に実行されていくけど、Arcoは必ずしもそうじゃない（部分的には並列化もできるのかな）
|
||
|
||
遅いレートのイベントストリームの取り扱いをどうすればいいんだろう - [probe](https://github.com/rbdannenberg/arco/blob/main/doc/ugens.md#probe)命令があるのか
|
||
|
||
うーん、こう見ると、[[UGenの生成をスクリプトから命令列に変換する]]のが重要なのかな
|
||
|
||
## Functional Iterative Swing: An Open Framework for Exploring Warped Ramps, Exponential Rhythm, and Euclidean Shuffle
|
||
|
||
スイングを数学的に考えよう
|
||
|
||
リズムのグリッドを切るための直線的なライン（`y=x`）があったとして、それを`y = n^x`で捻じ曲げていくとスイングに近いものが作れるのではないか
|
||
|
||
## A Bidirectionally Stacking Loudspeaker Enclosure Design for Wave Field Synthesis
|
||
|
||
[[Rhode Island School of Design]]
|
||
|
||
[GitHub - risdsound/wfs: An open-source, modular loudspeaker enclosure system for Wave Field Synthesis (WFS), developed at the Studio for Research in Sound and Technology (SRST) at Rhode Island School of Design (RISD).](https://github.com/risdsound/wfs)
|
||
|
||
## Composing for AI Voice Model Choir
|
||
|
||
[[Nick Collins]]
|
||
|
||
人の声を出すモデルに、全然関係ないソースをぶち込む
|
||
|
||
メルツバウの音楽でテイラースイフトの声のモデルを駆動するとか
|
||
|
||
[Music for Celebrity AI Voice Model Choir | Nick Collins | sick lincoln](https://sicklincoln.bandcamp.com/album/music-for-celebrity-ai-voice-model-choir)
|
||
|
||
Danger of Revisionism
|
||
|
||
## Explorations In Augmented String Instrument Design: A Conversation With Mentors Of Musical Innovation
|
||
|
||
後藤さんて電気バイオリン作ってたんだ
|
||
|
||
[Project MUSE - The Aesthetics and Technological Aspects of Virtual Musical Instruments: The Case of the SuperPolm MIDI Violin](https://muse.jhu.edu/article/585450)
|
||
|
||
DMIとかAugumented Instrumentのデザインプロセスをどう語るかに参考になりそうな感じはする
|
||
|
||
## Acoustic Wave Modeling with 2D FDTD: Applications in Unreal Engine for Dynamic Sound Rendering
|
||
|
||
[[Bilkent Samsurya]]
|
||
|
||
ゲームメーカーで働いてるけど研究者としてはインデペンデントらしい
|
||
|
||
レイトレベースのリバーブだと低域厳しいですよね
|
||
|
||
[[時間領域有限要素法|FDTD]] 使いましょう
|
||
|
||
- Unreal上でプリプロセスして、
|
||
- PythonでFDTDシミュレーション
|
||
- クアドラマイクでスイープ録音したのをIRに逆畳み込み
|
||
- Unrealに戻ってIRに反映
|
||
|
||
聴取点が動いたらどうなるのかな
|
||
|
||
低域の改善は実際のとこどうなんでしょう
|
||
|
||
---
|
||
|
||
## Wax: Flow-based Audio Programming in the Web Browser
|
||
|
||
[[Wax]] にまとめて書いた
|
||
|
||
[[Michael Cella]] [[Anıl Çamcı]]
|
||
|
||
---
|
||
|
||
## An Approach to Creating Unalienated Music Technology
|
||
|
||
[[David Minnix]] [[Anıl Çamcı]]
|
||
|
||
Unalianatedねえ
|
||
|
||
Problem of High-Tech
|
||
|
||
Climate impact of computing
|
||
|
||
[[サーキットベンディング]]とサスティナビリティ [Circuit Bending and Environmental Sustainability: Current Situation and Steps Forward · NIME 2022](https://nime.pubpub.org/pub/025d4cv1/release/1)
|
||
|
||
[[ゾンビ・メディア]]の話でもあるね
|
||
|
||
[[PermaComputing]]
|
||
|
||
[[Generative Justice]] なるほど
|
||
|
||
disused mobile devices で動く楽器を作る
|
||
|
||
ライブラリ[[Algae]]を作って、アプリ[[Firedot]]を作った
|
||
|
||
Algae:まあよくある信号処理C++ライブラリな気がする
|
||
|
||
なぜこのライブラリを作る必要があったんだろうか（なるべく依存性を減らすというのはわかるけど）
|
||
|
||
AndroidとSDL2.0 /
|
||
|
||
パーマコンピューティングならuxnエコシステムの方が上手くいってるようにも見えるな
|
||
|
||
高校生向けワークショップ
|
||
|
||
質問：高校生にやる時にこういうエシカルな側面をどうやってWSに含めるよ？
|
||
|
||
## Fractional Fourier Sound Synthesis
|
||
|
||
[[Rodrigo F. Cadiz]]
|
||
|
||
[\[2506.09189\] Fractional Fourier Sound Synthesis](https://www.arxiv.org/abs/2506.09189)
|
||
|
||
https://cordutie.github.io/frft_sound_synthesis/
|
||
|
||
[[分数次フーリエ変換]]
|
||
|
||
そんなのあるのか、、、、
|
||
|
||
|
||
|
||
時間（0）→周波数(1)ドメインの中間地点というものを考えてみれば良い（x軸に時間軸をとり、y軸に周波数をとり、その回転を考える）
|
||
|
||
単位に相当するものが存在しない
|
||
|
||
ノイズ除去とか圧縮には使われてたけど、合成には特に使われていない
|
||
|
||
まあ単純に聴感上面白くはあるなというか、この遠回りな方向でなければ出なさそうな音がする
|
||
|
||
変換した空間でフィルターをかける
|
||
|
||
STFTみたいにウィンドウかけて処理するからなんともいえないなー、非リアルタイムの方が色々遊べそうな気がする
|
||
|
||
入力音源がある場合、パーカッシブな音にはあんまり効き目がない
|
||
|
||
音源分離とかに使う余地があるので
|
||
|
||
---
|
||
## Tone Generation with Polyphonic Cycles and Spline Modeling
|
||
|
||
[[Matthew Klassen]]
|
||
|
||
[Research, Development and Collaboration](https://azrael.digipen.edu/research/)
|
||
|
||
SplineKlangという作品とセットになっているよ
|
||
|
||
[377 Greg Dixon & Matt Klassen | ICMC 2025 Boston - International Computer Music Conference](https://icmc2025.sites.northeastern.edu/online-listening-room/377-greg-dixon-matt-klassen/)
|
||
|
||
波形のスプラインモデリング
|
||
|
||
ダウンサンプルしてスプラインで補完するってことかな
|
||
|
||
音色のブレンディング
|
||
|
||
|
||
|
||
|