Projekcja semi-transparentna, AR i... Gorillaz z Madonną (?!) - czyli koncerty Vocaloidów (Vocaloid, cz. 4, ostatnia)

Nareszcie! W końcu znalazłem chwilę, żeby zamknąć serię Vocaloid :) Wpis niniejszy poświęcony jest koncertom tychże. Jest tu nieco do opowiedzenia, więc pomijając dalsze wstępy, zapraszam do lektury!

Vocaloid Live Concert - historia prawdziwa

Do niedawna wierzyłem, że pierwszy koncert z udziałem Vocaloidów miał miejsce wraz z popularyzacją Character Vocal Series i pojawieniem się na scenie Hatsune Miku. Podejrzewam, że sądziliście tak samo, o ile w ogóle słyszeliście o tych koncertach. Nic bardziej mylnego!

Pierwszy koncert odbył się 6. grudnia 2004 roku, a udział wziął głos "Miriam" (źródło pośrednie ; źródło bezpośrednie ). Jako, że nie było wówczas jeszcze CVS, nie był to koncert w takim sensie, jaki rozumiemy dzisiaj. Zresztą, nie to jest kwintesencją tej sensacji. Otóż koncert ten miał miejsce w... Novosibirsku, w Rosji! Był to tak naprawdę eksperyment z odwróconym użyciem techniki "minus 1". O co chodzi? -1 to technika, w której nagranie nie posiada jednego elementu (np. nagrany jest cały utwór poza solistą instrumentalnym, lub poza wokalem). Tym razem jednak, to właśnie cały utwór wykonywany był na żywo, a wokal generowany był z wykorzystaniem Vocaloida. Żeby tego było mało, całość nie była bezpośrednio nastawiona pod system Yamahy, lecz nazywała się "Polyphony Studio 5th Anniversary Concert". Poniżej fragment artykułu źródłowego :

Innymi słowy, do listy pracujących nad systemem Vocaloid, poza Hiszpanią (autor modułu przetwarzania sygnałów, a zarazem "ojciec" Vocaloidów) i Japonią (Yamaha i jej technicy, oraz firmy powiązane, jak np. Crypton Future Media) należy dołączyć także Amerykanów ze stowarzyszenia Jasmine Music Technology oraz Rosjan, którzy organizowali wyżej opisany koncert.

Są jednak ludzie, którzy na pewno zarzucą mi, że to nie jest "prawdziwe" wystąpienie Vocaloidów, gdyż nie prezentują się one na "scenie" w swojej "cielesnej" formie. Fakt, przyznaję, jest to coś zupełnie innego, swego rodzaju eksperyment, który jednak przetarł drogę dla późniejszych wystąpień.

[youtube=http://www.youtube.com/watch?v=u_gBSWE_KYE] Jeden z koncertów w Tokyo. Występują Character Vocal 2: Kagamine Rin, oraz Character Vocal 2: Kagamine Len w piosence "Migikata no Chou" (ang. "Butterfly on Your Right Shoulder")

Oficjalna lista "prawdziwych" koncertów

Źródło.

[youtube=http://www.youtube.com/watch?v=VlTZ0IWfVBQ] Ten sam koncert w Tokyo. Występują Character Vocal 1: Hatsune Miku, oraz Character Vocal 3: Megrine Luka w piosence "Magnet"

Technologia

Trudne początki

Pierwszy koncert w aktualnej "konwencji" miał miejsce w Tokyo, w 2009 roku. Użyto wówczas zwykłego ekranu projekcyjnego i projektora o wysokiej mocy. Podkład muzyczny (co jest wspólne także dla wszystkich późniejszych koncertów) zapewniał prawdziwy zespół, grający "w czasie rzeczywistym".

Ogólnie rzecz biorąc - żadna nowość, żadna wybitna technologia... A jednak całość okazała się wielkim sukcesem, i kolejnym krokiem do rozwoju idei koncertów wirtualnych wokalistów.

Spytacie, jak wygenerowano obraz (warstwa software'owa)? Do tej informacji nie udało mi się dokopać, ale... Pamiętacie może jak wspominałem o aplikacji MikuMikuDance, jako elemencie rozwoju fandomu zebranego wokół Hatsune Miku? Otóż aplikacja ta miała gigantyczny wpływ na rozwój koncertów... fanowskich! Zaprojektowano specjalny program o nazwie AniMiku, który potrafi wczytywać modele oraz sekwencje animacji z MikuMikuDance oraz wyświetlać je w niezależnym oknie na dowolnym urządzeniu jak monitor, czy projektor w sposób niemal identyczny z tym mającym miejsce na oficjalnych koncertach. O wszystkim napisał autor aplikacji, Re:VB-P, we wpisie na forum VocaloidOtaku.net. Warto zaznaczyć, że oprogramowanie to jest faktycznie wykorzystywane do koncertów fanowskich, m.in. na konwentach - przykładem może być Tora-Con (artykuł ang. + film), gdzie połaszono się nawet o zastosowanie przeźroczystego ekranu-dyfuzora.

[youtube=http://www.youtube.com/watch?v=WV4Sah8aSqI] Przedpremierowa demonstracja działania AniMiku.

[youtube=http://www.youtube.com/watch?v=fIkZBY90n8o] Samouczek krok-po-kroku dla AniMiku. Uwaga! Filmik zawiera niezidentyfikowany szum w tle.

Dynamiczny rozwój

Jednak już następny koncert był przełomowy. MikuFes'09 to przedsięwzięcie poświęcone w głównej mierze właśnie Hatsune Miku. Przedstawiono wówczas całkowicie nową technologię.

Na scenie umieszczono dwie metalowe wieże (pylony), między którymi rozstawiono prostokątny, przejrzysty lub semi-transparentny ekran. Nie udało mi się uściślić informacji, jakie medium zastosowano - czy było to szkło, szkło dymione, lustro weneckie, czy jakiś rodzaj elastycznego półprzejrzystego materiału. Najczęściej powtarza się w Sieci fraza "materiał o wysokiej przeźroczystości" lub "przejrzysty ekran" (źródło ). Nie można więc żadnej z powyższych opcji wykluczyć, choć ja skłaniałbym się ku zwykłemu szkłu, o czym świadczy m.in. fakt, że widać tylną część sceny.

[youtube=http://www.youtube.com/watch?v=GgcqVeQUt7c] Zrobiony metodą "chałupniczą" pseudo-hologram, wyglądający do złudzenia podobnie do technik zastosowanych na koncercie. Prawda, że prosta idea?

Na tym koncercie zastosowano jednak tylko jeden projektor, a obraz wyświetlany był w formie "3D na 2D" (obraz modelu 3D wyświetlany na dwuwymiarowej powierzchni). Później było już tylko lepiej. Wprowadzono wyświetlanie większej liczby postaci na raz, nowoczesny system wieloprojektorowy, oraz nową, niższą pozycję tychże, dzięki czemu nie powodują one oślepienia widzów patrzących z dołu.

Warto też zwrócić uwagę, że w późniejszych koncertach planowano (niestety, nie posiadam odpowiedniego źródła, aby to potwierdzić) zastosowanie ekranów dwuwarstwowych, co miałoby zapewnić wrażenie pełnego trójwymiaru.

Prawdziwe 3D za sprawą rozszerzonej rzeczywistości

20. października 2011 roku, w Tokyo, odbył się koncert w ramach Digital Content Expo. Ponownie dokonał się przełom, łączący świat rzeczywisty z tym wirtualnym. Na scenie występowały bowiem prawdziwe tancerki... cały koncert był jednak emitowany przez live stream po przepuszczeniu przez system rozszerzonej rzeczywistości. W ten sposób, wraz z tymi prawdziwymi tancerkami, udział brały avatary Vocaloidów. Było to coś kompletnie przełomowego, gdyż po raz pierwszy zrobiono coś takiego w ten konkretny sposób. Więcej informacji oraz filmy z wydarzenia znajdziecie na BBC (ang.) oraz Vocaloid Blog (jap.).

Co do "kompletnego przełomu" - faktycznie, zastosowanie AR (en. "Augumented Reality", czyli właśnie rozszerzonej rzeczywistości) w takim celu było czymś nowym. Jednak występy postaci wirtualnych na scenie wraz z prawdziwymi ludźmi mają nieco dłuższą historię.

Duch Peppera, Gorillaz i Madonna - Grammy 2006

Tak się składa, że już 6 lat temu zastosowane przy koncertach Vocaloidów techniki miały swoje zastosowanie na rynku muzycznym. Jako, że jestem fanem technologii Yamahy, ciężko mi jest przyznać coś takiego, ale pierwszeństwo w tej kategorii mają Gorillaz i Madonna, za sprawą ich wystąpienia w czasie wręczania Grammy w 2006 roku.

Zastosowano wówczas technikę o nazwie "Pepper's Ghost" autorstwa Henry'ego Dircksa, a spopularyzowaną przez Johna Henry'ego Pepper, zwanego "Profesorem". Ogólnie wykorzystywana jest ona m.in. w przedstawieniach teatralnych z udziałem "duchów" oraz w parkach rozrywki, w atrakcjach typu "nawiedzony dom". Technika ta, polega na odpowiedniej "zabawie" oświetleniem oraz półprzejrzystym lustrem ustawionym pod kątem względem widowni, co pozwala na stosowanie różnych ciekawych sztuczek w czasie przedstawienia, bez konieczności stosowania efektów specjalnych i CGI (ang. "Computer Generated Image"). Więcej o tej technice dowiecie się z angielskiej Wikipedii (niestety, po polsku tego artykułu nie znalazłem; źródło 1 ; źródło 2 ).

Jak to wszystko wyglądało w tym przypadku możecie zobaczyć na nagraniu z koncertu - w szczególności polecam fragment od 2:20 do 3:05. Nie, Madonna tak naprawdę nie chodziła między komputerowymi postaciami - to co widać na filmie, to odbicie, tworzące odpowiednie złudzenie optyczne.

[youtube=http://www.youtube.com/watch?v=2lGimcqEZno] Grammy 2006 - Gorillaz i Madonna w miksie "Feel good inc." i "Hung up"

Niestety, jeśli chodzi o postaci komputerowe, również w tym przypadku mamy do czynienia ze złudzeniem trójwymiaru.

Prawdziwe 3D nadchodzi!

Wciąż są jednak prowadzone prace nad nowymi technologiami projekcji trójwymiarowej. Jedne projekty polegają na wyświetlaniu na (jedno- lub wielowarstwowej) tafli szkła obrazu z matrycy projektorów*, co pozwala na uzyskanie takiego efektu za sprawą odpowiedniej polaryzacji światła. Inne, polegają na generowaniu sztucznej mgły i odpowiedniej manipulacji światłem oraz samą mgłą. Jeszcze inne, jak poniższy przykład, wcale daleko nie odbiegają od techniki zastosowanej przy koncertach Vocaloidów:

[youtube=http://www.youtube.com/watch?v=HtVcN0q-A08] Prezentacja systemu Musion Eyeliner. Wbrew pozorom, nie został jeszcze zastosowany w żadnym Vocaloid Live Concert. A szkoda, bo doskonale by się nadawał.

* - nie śmiejcie się ze mnie, ale... zgubiłem gdzieś filmik z prezentacją tego rozwiązania... jak go znajdę, wstawię go tu od razu ;)

Na zakończenie - pytanie do publiczności.

Zastanówmy się teraz nad jedną, dość istotną kwestią. Wyobraźcie sobie połączenie technologii i technik opisanych przeze mnie we wpisach serii Vocaloid, oraz we wpisie o wirtualnej wokalistce z AKB48.

Czy nie obawiacie się przyszłości, w której generowani będą "sztuczni" ludzie, jak Aimi Eguchi, którzy otrzymują cyfrowo przetworzony głos za sprawą systemu Vocaloid i jemu podobnych, oraz którzy są obrazowani w pełnym trójwymiarze na scenie pełnej ludzi, w sposób uniemożliwiający rozpoznanie, czy jest to postać prawdziwa, czy projekcja (np. za sprawą Peppers Ghost)?

Artykuły z serii Vocaloid:

• Śpiewać każdy może - nawet komputer! (Vocaloid, cz. 1)
• Tysiące ludzi i jeden głos - fenomen Hatsune Miku (Vocaloid, cz. 2)
• Lustrzane Rodzeństwo i Światowa Dziewczyna (Vocaloid, cz. 3)
• Projekcja semi-transparentna, AR i... Gorillaz z Madonną (?!) - czyli koncerty Vocaloidów (Vocaloid, cz. 4, ostatnia)