kengo.ThreadOrchestraで使用した新システム(1)

先日のkengo.ThreadOrchestraライブで使用した、
新しく開発したシステムについて発表したいと思います!

─ ─ ─ ─ ─ ─ ─ ─ ─
■スレッドコンダクターシステム”TACTS” とは 】

各演奏者に配置されたスマホ等の端末をLAN(WiFi)経由で
相互接続し、マスターPCから操り、メトロノーム、指示内容、
メッセージ、音情報などを送ることで、各演奏者に独立した
指示を送ることができ、一人に対して指揮者が存在するような
状態を作り出すシステム。

更にお客様、照明スタッフ、ホール内スタッフなど、
あらゆる人が繋がることができ、通常では困難な
ダイナミックな連携プレイが可能となる。

※並列に指揮棒が存在するという意味で、
スレッドコンダクターまたはパラレルコンダクターシステム、
“TACTS” という名前にしてみました。
─ ─ ─ ─ ─ ─ ─ ─ ─

というシステムなんです~。
基本は、

・演奏メンバー、お客様に自分のスマホで、会場内に設置した
無線LANに接続してもらう。
・演奏メンバーには、楽譜の隣にスマホを置き、見ながら演奏する。
・僕がマスターPCを操作し、各メンバーに指示をする。
・各スマホには、指示内容、メッセージ、メトロノーム情報、音情報が
送信され、演奏者はその指示に従って演奏する。

という感じで、それに加え、

・VJプロジェクター用のPC、お客様のスマホ、会場のスタッフのスマホ
にも接続して、映像を流したり、メッセージ指示を送ったりできる。

ということも可能となるシステムです。
具体的にどんなことができるかと言いますと、

●曲中にリアルタイムで指示を送れる
各演奏者に「次、Aにいくね」「次、ギターソロいきます」
「次のコード、CM7 ね」 みたいな指示を送れる。
通常の目くばせ合図では不可能な曲をダイナミックに
変化させることができる。
簡易的な異なる楽譜をそれぞれ個々のメンバーに送って、
演奏してもらうというのも可能。

●異なるテンポ、拍子の指示を送れる
各演奏者に例えば、Aメロは通常通り演奏して、Bメロから急に、
キーボード → 110 BPM、4/4拍子
ギター → 115 BPM、7/4拍子
ベース → 100 BPM、3/4拍子
ドラム → 80 BPM、6/4拍子
という異なるテンポ、拍子で演奏して、またCメロで
元に戻る、というような指示を送ることができる。

●VJプロジェクター、お客様用のスマホに個々にメッセージを送れる
例えば、
VJプロジェクター1 → 映像、メッセージ1を表示
VJプロジェクター2 → 映像、メッセージ2を表示
お客様1 → 映像、メッセージ3を表示
お客様2 → 映像、メッセージ4を表示
という表示を行い、それを曲中にリアルタイムで自由に送信できる。

●会場スタッフにスマホ経由で指示を送れる
Bメロになったとき合図で花火打ち上げて下さい、とかできる。

●録音した音も送れる。
例えば、会場内でお客様から拍手してもらい、それをその場で録音して、
好きなタイミングで音を、各お客様のスマホ端末、VJプロジェクターから
音を再生させたりできる。

●リアルタイムでアンケートとったりもできる。
お客様のスマホに、
「次ソロ誰にとって欲しいですか?Aボタン=xx、Bボタン=xx」
のメッセージとボタンを表示させ、ボタン押下でマスターPCに
返信、集計され各演奏者に伝える、など斬新なコールアンドレスポンスが
できる。

みたいな感じです。先日のライブで披露する場面が作れず、
披露できなかった機能もあるのですが、次回のライブで披露できればと
思っております。

このシステムの技術的な部分については、

●ブラウザ経由で簡単に接続が行える。
→ 専用のアプリとか入れなくてもOK

●使用機材はノートPC、無線アクセスポイント、各スマホ
→ ノートPCはマスター操作用、無線アクセスポイントは会場にあれば不要。

●開発言語はjavascript、PHP。
→ メイン処理はjavascript、サーバーはPHP。
当初、Node.jsとか色々いじっていたが、結局、不具合が
見つかっても現場でも簡単に修正できたり、いじりやすいということで
この形態に。。

※追記
結局、接続の安定性やら、何やら色々検討した結果、
この後、Node.jsを採用し、Node.js用に書き換えました。

●Web Socketにより各端末と通信を行う。

●メトロノームや音関連の処理はWeb Audio Apiを使用。
→ 最初、同期部分の実装に苦労したが結構正確でびっくり

といった所です。
要は、曲中における演奏者(及びその他の人)との新たな
コミュニケーションツールといえるものかもしれませんが、
使い方とその可能性は無限にあるかと思います。

今回は、ジャズのありがちな編成をデジタル的に扱う、という意味で、
この楽器編成でしたが、そのうち、歌モノや、ビックバンド、
クラシックなどでもできたら面白いかなと思っております。

このシステム新たな音楽ツールともいえると思うので、
使ってもらわないと全く意味が無いので、ゆくゆくは
ソースを綺麗にして(笑)公開し、色んな人に使ってもらいたいと
思っております。是非、興味あれば声をかけて頂けたら嬉しいです!

diary_161220_01

diary_161220_02

diary_161220_03

diary_161220_04

あと、マスターPC側の操作画面は、完全にCUIベースで、ターミナル風入力画面で
コマンドをバタバタ打って操作するようになっております。
後ほど動画も公開しようと思います!
その他、システムには関係無いですが、キーボード自体にもマイクを付けて、
キーボードの手打ち音自体もパーカッション音として音を出しています。
(キーボードはFILCOの赤軸です!コツコツとした音が大好きなのです笑)

121220_cap01

121220_cap02

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です