先日のkengo.ThreadOrchestraライブで使用した、
新しく開発したシステムについて発表したいと思います！
─ ─ ─ ─ ─ ─ ─ ─ ─
■スレッドコンダクターシステム”TACTS” とは 】
各演奏者に配置されたスマホ等の端末をLAN(WiFi)経由で
相互接続し、マスターPCから操り、メトロノーム、指示内容、
メッセージ、音情報などを送ることで、各演奏者に独立した
指示を送ることができ、一人に対して指揮者が存在するような
状態を作り出すシステム。
更にお客様、照明スタッフ、ホール内スタッフなど、
あらゆる人が繋がることができ、通常では困難な
ダイナミックな連携プレイが可能となる。
※並列に指揮棒が存在するという意味で、
スレッドコンダクターまたはパラレルコンダクターシステム、
“TACTS” という名前にしてみました。
─ ─ ─ ─ ─ ─ ─ ─ ─
というシステムなんです～。
基本は、
・演奏メンバー、お客様に自分のスマホで、会場内に設置した
無線LANに接続してもらう。
・演奏メンバーには、楽譜の隣にスマホを置き、見ながら演奏する。
・僕がマスターPCを操作し、各メンバーに指示をする。
・各スマホには、指示内容、メッセージ、メトロノーム情報、音情報が
送信され、演奏者はその指示に従って演奏する。
という感じで、それに加え、
・VJプロジェクター用のPC、お客様のスマホ、会場のスタッフのスマホ
にも接続して、映像を流したり、メッセージ指示を送ったりできる。
ということも可能となるシステムです。
具体的にどんなことができるかと言いますと、
●曲中にリアルタイムで指示を送れる
各演奏者に「次、Aにいくね」「次、ギターソロいきます」
「次のコード、CM7 ね」 みたいな指示を送れる。
通常の目くばせ合図では不可能な曲をダイナミックに
変化させることができる。
簡易的な異なる楽譜をそれぞれ個々のメンバーに送って、
演奏してもらうというのも可能。
●異なるテンポ、拍子の指示を送れる
各演奏者に例えば、Aメロは通常通り演奏して、Bメロから急に、
キーボード → 110 BPM、4/4拍子
ギター → 115 BPM、7/4拍子
ベース → 100 BPM、3/4拍子
ドラム → 80 BPM、6/4拍子
という異なるテンポ、拍子で演奏して、またCメロで
元に戻る、というような指示を送ることができる。
●VJプロジェクター、お客様用のスマホに個々にメッセージを送れる
例えば、
VJプロジェクター1 → 映像、メッセージ1を表示
VJプロジェクター2 → 映像、メッセージ2を表示
お客様1 → 映像、メッセージ3を表示
お客様2 → 映像、メッセージ4を表示
という表示を行い、それを曲中にリアルタイムで自由に送信できる。
●会場スタッフにスマホ経由で指示を送れる
Bメロになったとき合図で花火打ち上げて下さい、とかできる。
●録音した音も送れる。
例えば、会場内でお客様から拍手してもらい、それをその場で録音して、
好きなタイミングで音を、各お客様のスマホ端末、VJプロジェクターから
音を再生させたりできる。
●リアルタイムでアンケートとったりもできる。
お客様のスマホに、
「次ソロ誰にとって欲しいですか？Aボタン＝ｘｘ、Bボタン＝ｘｘ」
のメッセージとボタンを表示させ、ボタン押下でマスターPCに
返信、集計され各演奏者に伝える、など斬新なコールアンドレスポンスが
できる。
みたいな感じです。先日のライブで披露する場面が作れず、
披露できなかった機能もあるのですが、次回のライブで披露できればと
思っております。
このシステムの技術的な部分については、
●ブラウザ経由で簡単に接続が行える。
→ 専用のアプリとか入れなくてもOK
●使用機材はノートPC、無線アクセスポイント、各スマホ
→ ノートPCはマスター操作用、無線アクセスポイントは会場にあれば不要。
●開発言語はjavascript、PHP。
→ メイン処理はjavascript、サーバーはPHP。
当初、Node.jsとか色々いじっていたが、結局、不具合が
見つかっても現場でも簡単に修正できたり、いじりやすいということで
この形態に。。
※追記
結局、接続の安定性やら、何やら色々検討した結果、
この後、Node.jsを採用し、Node.js用に書き換えました。
●Web Socketにより各端末と通信を行う。
●メトロノームや音関連の処理はWeb Audio Apiを使用。
→ 最初、同期部分の実装に苦労したが結構正確でびっくり
といった所です。
要は、曲中における演奏者（及びその他の人）との新たな
コミュニケーションツールといえるものかもしれませんが、
使い方とその可能性は無限にあるかと思います。
今回は、ジャズのありがちな編成をデジタル的に扱う、という意味で、
この楽器編成でしたが、そのうち、歌モノや、ビックバンド、
クラシックなどでもできたら面白いかなと思っております。
このシステム新たな音楽ツールともいえると思うので、
使ってもらわないと全く意味が無いので、ゆくゆくは
ソースを綺麗にして（笑）公開し、色んな人に使ってもらいたいと
思っております。是非、興味あれば声をかけて頂けたら嬉しいです！
あと、マスターPC側の操作画面は、完全にCUIベースで、ターミナル風入力画面で
コマンドをバタバタ打って操作するようになっております。
後ほど動画も公開しようと思います！
その他、システムには関係無いですが、キーボード自体にもマイクを付けて、
キーボードの手打ち音自体もパーカッション音として音を出しています。
（キーボードはFILCOの赤軸です！コツコツとした音が大好きなのです笑）
