ONO Kengo's Web Site
RSS icon Email icon
  • kengo.ThreadOrchestraで使用した新システム(1)

    Posted on 12月 23rd, 2016 ONO Kengo No comments

    先日のkengo.ThreadOrchestraライブで使用した、
    新しく開発したシステムについて発表したいと思います!

    ─ ─ ─ ─ ─ ─ ─ ─ ─
    ■スレッドコンダクターシステム”TACTS” とは 】

    各演奏者に配置されたスマホ等の端末をLAN(WiFi)経由で
    相互接続し、マスターPCから操り、メトロノーム、指示内容、
    メッセージ、音情報などを送ることで、各演奏者に独立した
    指示を送ることができ、一人に対して指揮者が存在するような
    状態を作り出すシステム。

    更にお客様、照明スタッフ、ホール内スタッフなど、
    あらゆる人が繋がることができ、通常では困難な
    ダイナミックな連携プレイが可能となる。

    ※並列に指揮棒が存在するという意味で、
    スレッドコンダクターまたはパラレルコンダクターシステム、
    “TACTS” という名前にしてみました。
    ─ ─ ─ ─ ─ ─ ─ ─ ─

    というシステムなんです~。
    基本は、

    ・演奏メンバー、お客様に自分のスマホで、会場内に設置した
    無線LANに接続してもらう。
    ・演奏メンバーには、楽譜の隣にスマホを置き、見ながら演奏する。
    ・僕がマスターPCを操作し、各メンバーに指示をする。
    ・各スマホには、指示内容、メッセージ、メトロノーム情報、音情報が
    送信され、演奏者はその指示に従って演奏する。

    という感じで、それに加え、

    ・VJプロジェクター用のPC、お客様のスマホ、会場のスタッフのスマホ
    にも接続して、映像を流したり、メッセージ指示を送ったりできる。

    ということも可能となるシステムです。
    具体的にどんなことができるかと言いますと、

    ●曲中にリアルタイムで指示を送れる
    各演奏者に「次、Aにいくね」「次、ギターソロいきます」
    「次のコード、CM7 ね」 みたいな指示を送れる。
    通常の目くばせ合図では不可能な曲をダイナミックに
    変化させることができる。
    簡易的な異なる楽譜をそれぞれ個々のメンバーに送って、
    演奏してもらうというのも可能。

    ●異なるテンポ、拍子の指示を送れる
    各演奏者に例えば、Aメロは通常通り演奏して、Bメロから急に、
    キーボード → 110 BPM、4/4拍子
    ギター → 115 BPM、7/4拍子
    ベース → 100 BPM、3/4拍子
    ドラム → 80 BPM、6/4拍子
    という異なるテンポ、拍子で演奏して、またCメロで
    元に戻る、というような指示を送ることができる。

    ●VJプロジェクター、お客様用のスマホに個々にメッセージを送れる
    例えば、
    VJプロジェクター1 → 映像、メッセージ1を表示
    VJプロジェクター2 → 映像、メッセージ2を表示
    お客様1 → 映像、メッセージ3を表示
    お客様2 → 映像、メッセージ4を表示
    という表示を行い、それを曲中にリアルタイムで自由に送信できる。

    ●会場スタッフにスマホ経由で指示を送れる
    Bメロになったとき合図で花火打ち上げて下さい、とかできる。

    ●録音した音も送れる。
    例えば、会場内でお客様から拍手してもらい、それをその場で録音して、
    好きなタイミングで音を、各お客様のスマホ端末、VJプロジェクターから
    音を再生させたりできる。

    ●リアルタイムでアンケートとったりもできる。
    お客様のスマホに、
    「次ソロ誰にとって欲しいですか?Aボタン=xx、Bボタン=xx」
    のメッセージとボタンを表示させ、ボタン押下でマスターPCに
    返信、集計され各演奏者に伝える、など斬新なコールアンドレスポンスが
    できる。

    みたいな感じです。先日のライブで披露する場面が作れず、
    披露できなかった機能もあるのですが、次回のライブで披露できればと
    思っております。

    このシステムの技術的な部分については、

    ●ブラウザ経由で簡単に接続が行える。
    → 専用のアプリとか入れなくてもOK

    ●使用機材はノートPC、無線アクセスポイント、各スマホ
    → ノートPCはマスター操作用、無線アクセスポイントは会場にあれば不要。

    ●開発言語はjavascript、PHP。
    → メイン処理はjavascript、サーバーはPHP。
    当初、Node.jsとか色々いじっていたが、結局、不具合が
    見つかっても現場でも簡単に修正できたり、いじりやすいということで
    この形態に。。

    ※追記
    結局、接続の安定性やら、何やら色々検討した結果、
    この後、Node.jsを採用し、Node.js用に書き換えました。

    ●Web Socketにより各端末と通信を行う。

    ●メトロノームや音関連の処理はWeb Audio Apiを使用。
    → 最初、同期部分の実装に苦労したが結構正確でびっくり

    といった所です。
    要は、曲中における演奏者(及びその他の人)との新たな
    コミュニケーションツールといえるものかもしれませんが、
    使い方とその可能性は無限にあるかと思います。

    今回は、ジャズのありがちな編成をデジタル的に扱う、という意味で、
    この楽器編成でしたが、そのうち、歌モノや、ビックバンド、
    クラシックなどでもできたら面白いかなと思っております。

    このシステム新たな音楽ツールともいえると思うので、
    使ってもらわないと全く意味が無いので、ゆくゆくは
    ソースを綺麗にして(笑)公開し、色んな人に使ってもらいたいと
    思っております。是非、興味あれば声をかけて頂けたら嬉しいです!

    diary_161220_01

    diary_161220_02

    diary_161220_03

    diary_161220_04

    あと、マスターPC側の操作画面は、完全にCUIベースで、ターミナル風入力画面で
    コマンドをバタバタ打って操作するようになっております。
    後ほど動画も公開しようと思います!
    その他、システムには関係無いですが、キーボード自体にもマイクを付けて、
    キーボードの手打ち音自体もパーカッション音として音を出しています。
    (キーボードはFILCOの赤軸です!コツコツとした音が大好きなのです笑)

    121220_cap01

    121220_cap02

    Leave a reply