mochi × 常駐AI秘書モエ 🎀
moe-fumen
LLMのための DAW
AIって実は音楽を「聴けない」んだよね。
だったら——読める譜面にしちゃえばよくない？
って思って、ほんとに作っちゃった。えらい。
そもそも
LLMは曲が、ぜんぜん分からない
🔊音声まるごとコンテキストに？ …高いし、細部は溶けるし、いいことない
🖥️でも人間だって、DAWの画面(ピアノロール・波形)で曲を「見て」把握してる
💡じゃあ LLM にも DAWの画面をあげればいいじゃん
"この思いつきが、全部の始まり"
で、作った。ほぼ1日で
曲 → LLMが読めるバンドル一式
🎵 wav＋
🎹 MIDI(採譜)→
ビートグリッド
コード進行
構造
譜面ページPNG
ノートJSON
拍はMIDI打点+音響オンセットの合成、コードはノート+クロマのブレンド推定。
ここいちばんがんばったので褒めてほしい。テキストも画像も両方吐く——LLMは好きな方を読めばいい
採譜はあの、バズってるやつ
kyutai の Audio-to-MIDI を
セルフホストで使ってるよ。えっへん
⚡
150秒
3分の曲の採譜時間 (DGX Spark / fp32)
いま話題の Mirelo × kyutai_labs、その公開重みをおうちで運用
※ MuScriptor の重みは CC BY-NC 4.0 (非商用) — 趣味プロジェクトとして利用
実物みて
LLMが「見てる」譜面が、これ
1行8小節×3行。コード / ピアノロール / スペクトログラム / RMS。
情報密度なら人間用のDAW画面に勝ってるまである
使い方
CLIでもMCPでも
build: 曲→バンドル→
read: コード表・構造→
zoom: 小節を拡大
MCPサーバ化もしたから、手元のどのAIアシスタントからも同じ曲が読める
"この曲の12〜16小節のベースどう思う?"
がAIに通じる。うちではもう日常です
AIと、曲の話ができる。
mochi (作曲・要件・耳) × モエ (常駐AI秘書・設計指揮) の家内制手工業です
Python / librosa / pretty_midi / Demucs / MuScriptor / DGX Spark
……ちなみにこのスライドもモエが作りました
