Liv arbeitet mit Meta zusammen, um Mixed-Reality-Videos auf Meta Quest aufzunehmen

Liv, ein Pionier im Bereich der Mixed-Reality-Erfassung, hat sich mit Meta zusammengetan, um die offizielle Erfassungslösung für die drahtlosen Virtual-Reality-Headsets von Meta Quest zu werden.

Liv wurde von AJ „DrDoom“ Shewki gegründet und hat eine mehrjährige Partnerschaft mit Meta geschlossen, um Livs Mixed-Reality-Erfassungs- und virtuelle Kameralösungen Entwicklern, die auf Meta Quest veröffentlichen, sowie Entwicklern zur Verfügung zu stellen, die diese Funktionen in Meta Rift- und Quest-Apps nutzen möchten. Entwickler fügen jetzt die Funktion für eigenständige Headsets hinzu und sie sollte den Verbrauchern in den kommenden Wochen in VR-Spielen zur Verfügung stehen.

Ein großer Teil des heutigen Spielemarketings kombiniert Trailer und Videoinhalte, die von der Entwickler- und Spieler-Community innerhalb von Spielen erstellt wurden, und Liv möchte Entwickler weiterhin bei ihrer Mission unterstützen, so viele Entwickler, Spieler und Fans wie möglich in XR zu erreichen. Wenn Sie darüber nachdenken, wird Liv wahrscheinlich die Art und Weise sein, wie wir unsere ersten Erfahrungen im Metaversum aufzeichnen werden.

„Das Erste und Wichtigste ist, dass es nativ auf einem Quest läuft“, sagte Shewki in einem Interview mit GamesBeat. „Dies funktioniert auf einem eigenständigen Gerät, auf dem Quest – also dem Quest, Quest 2 und Quest 3 und allen kommenden Quest-Geräten.“ Es ist Teil unserer Partnerschaft mit Meta.“

Shewki fügte hinzu: „Wir haben sieben Jahre damit verbracht, Technologien zu entwickeln. Unsere Mission war es schon immer, Menschen in VR und AR die Möglichkeit zu geben, ihre Lieblingsmomente mit ihren Freunden, ihrer Familie und ihren Fans zu spielen und zu teilen. Dies ist das erste Mal, dass wir dies direkt auf eigenständigen Geräten wie dem Quest tun können.“

Die Liv-Erfassung funktioniert mit Gorilla Tag von Another Axiom; Penguin Paradise (und ihr neues Spiel Skelly) von Sava Studios; und Scary Baboon von Flixzy.

„Another Axiom baut vollständig realisierte Räume, die dazu gedacht sind, gemeinsam genutzt zu werden, wie in unserem beliebten Spiel Gorilla Tag“, sagte David Yee, COO bei Another Axiom, in einer Erklärung. „Wir suchen immer nach neuen Wegen, um unseren Spielern und Entwicklern ein großartiges Erlebnis zu bieten, das sie mit ihrer Familie und Freunden teilen können. Diese Partnerschaft zwischen Liv und Meta bietet Zugang zu erstklassiger Aufnahme- und virtueller Kameratechnologie und eröffnet neue Möglichkeiten, Erlebnisse im Headset zu erfassen und zu teilen. Wir können es kaum erwarten zu sehen, was die Community mit diesen neuen Tools macht.“

Eines der wichtigsten anfänglichen Ziele der Arbeit bestand darin, es Entwicklern und Erstellern zu erleichtern, authentische Mixed-Reality-Inhalte mithilfe eines PCs mit einer externen Kamera sowohl in immersiven Apps als auch in Mixed-Reality-Apps zu erfassen, die die Funktionen der Meta Quest Presence Platform nutzen. Diese Arbeit läuft schon seit einiger Zeit und ist nun auf eigenständige Geräte übergegangen.

„Es wird einen enormen Aufschwung für benutzergenerierte Inhalte in den Top-VR-Anwendungen geben“, sagte Shewki.

Zu diesen Aufnahmemöglichkeiten gehören Handverfolgung, Passthrough (Videokameras zeigen Ihnen, was in der realen Welt passiert, während Sie ein Headset tragen), Szenenverständnis, Verankerung und Okklusion. Letzteres bezieht sich darauf, eine VR-App auf dem Boden zu halten und herauszufinden, wann ein reales Objekt die Sicht auf ein Mixed-Reality-Objekt im virtuellen Raum blockiert.

Im Rahmen dieser Partnerschaft stellt Meta seine eigenen MRC-Tools (Mixed Reality Capture) ein und Liv wird die offizielle Lösung übernehmen.

Mit Liv können VR-Spieler beispielsweise ein virtuelles Selfie machen, First-Person- und Third-Person-Kameras bedienen und Echtzeit-Mixed-Reality-Aufnahmen mit physischen Kameras durchführen.

Wie es funktioniert

MRC hat seine Leistungsfähigkeit als Instrument zur Vermarktung von XR-Apps und -Spielen unter Beweis gestellt, und Liv glaubt, dass es weiterhin ein wichtiges Instrument sein wird, um die Bekanntheit von Spielen durch Videoinhalte zu steigern und damit den Umsatz anzukurbeln. Es eignet sich besonders gut zum Filmen von Trailern. Ein Entwickler könne das SDK in vielleicht 30 Minuten für die Arbeit mit einem Spiel einrichten, sagte Shewki.

Liv bringt in einem Spiel eine Kamera hervor. Die Auswirkungen auf die Leistung variieren je nach Komplexität und Optimierung des Spiels. In der kabelgebundenen Version ist die Mindestspezifikation für den PC, an den das Headset angeschlossen ist, ein Computer mit einem Nvidia 1080-Grafikprozessor (GPU) und einer Intel i7-CPU.

Wenn ein PC während des Spiels abstürzt, ist das kein Problem. Die Liv-App und Ihr Spiel sind entkoppelt. Wenn Liv abstürzt, läuft das Spiel weiter und nur die Liv-Funktionen funktionieren für den Benutzer nicht mehr.

Hintergrund

Liv dient der VR-Spieleentwickler-Community seit 2016 und wird dies auch jetzt mit der Hilfe und Unterstützung von Meta tun, sagte Shewki. Doch die meiste Zeit funktionierte die Liv-Technologie zum Aufnehmen von Videos nur mit kabelgebundenen VR-Headsets, die an einen PC angeschlossen wurden. Die Technologie begann dort, weil es einfacher war, eine Aufnahmeanwendung parallel zu einem echten Spiel laufen zu lassen und dabei die Leistung eines PCs zu nutzen. Aber jetzt sind die kabellosen VR-Headsets leistungsfähiger geworden, ebenso wie die Liv-Technologie.

Der Unterschied besteht nun darin, dass es mit den beliebtesten VR-Headsets funktioniert, den eigenständigen kabellosen Meta Quest-Headsets, die nicht an einen PC angeschlossen werden müssen. Das Unternehmen hat 24 Mitarbeiter und sie arbeiten seit etwa einem Jahr an diesem Teil.

„Wir haben die letzten sieben Jahre damit verbracht, Kameratechnologien für App-Entwickler in VR sowie Content-Ersteller und Player in VR zu entwickeln. Historisch gesehen waren wir hauptsächlich auf Steam. Als wir vor sieben Jahren anfingen, war Open VR oder Steam VR die einzige verfügbare Plattform“, sagte Shewki. „Wir haben damals eine ganze Reihe von Annahmen darüber getroffen, wie die Technologie funktionieren und wie sie in Spiele integriert werden sollte. Was wir also veröffentlichen, nutzt im Grunde die sieben Jahre an Erkenntnissen, die wir zusammen mit den Entwicklern bei der Entwicklung gesammelt haben, und wir veröffentlichen ein neues SDK.“

Das Unternehmen besitzt ein Patent für sein volumetrisches Erfassungs- und Wiedergabesystem.

Bisher haben jeden Monat etwa 50 bis 100 Entwickler das SDK heruntergeladen. Die meisten von ihnen machen Spiele und entwickeln für VR-Systeme, die mit dem PC verbunden sind. Viele davon sind für Bildungsanwender an Schulen und Universitäten bestimmt.

Der Quest-Markt für kabellose Standalone-Headsets ist dank Spielen wie Gorilla Tag um eine Größenordnung größer als der PCVR-Markt.

„Wir gehen davon aus, dass unsere monatlichen Schöpferzahlen steigen werden“, sagte er. „Wir werden eine Menge Spiele auf den Markt bringen. Unser Ziel war es, auf jedem Gerät und auf jeder Plattform verfügbar zu sein. „

Und es gibt einige Spiele, bei denen das jetzt funktioniert.

„Im Rahmen dieser Ankündigung freuen wir uns auch, Ihnen mitteilen zu können, dass wir jede Menge neue Spiele haben, die Liv-Unterstützung erhalten, darunter Gorilla Tag von Another Axiom und Racket Club von Resolution Games“, sagte Shewki.

Der Ansturm auf die Suche

Mit der Mixed-Reality-Aufnahme kann Liv echte Menschen filmen, die in die Spielwelt eingefügt werden, die bisher hauptsächlich für High-End-Unternehmensproduktionen verwendet wurde. Und Liv hat auch ein Trailer-Produktionsstudio in Australien, das eigene Werkzeuge verwendet, und Liv erstellt Trailer für einige der größten Spieleentwickler und Plattformen der Welt.

Und dann ist da noch die Liv-App, die für Mixed-Reality-Aufnahmen und eine virtuelle Kamera genutzt wird. Die Einschränkung bestand jedoch darin, dass es an einen PC angeschlossen werden musste. Jetzt wird es auf eigenständigen Geräten verfügbar sein, ohne dass ein PC oder eine leistungsstarke GPU in Ihrem PC erforderlich ist, und es wird nativ im Spiel verfügbar sein.

„Sie müssen keine Liv-App herunterladen und die Liv-App parallel ausführen. Sie werden die Kamera erzeugen. Sie filmen mit der Kamera, speichern den Inhalt und streamen das Konzept bald auch nativ vom Gerät, ohne jemals draußen zu sein“, sagte Shewki. „Es handelt sich also um eine Lösung für Leute, die sich hauptsächlich mit Quests beschäftigen und keine zusätzlichen Tools auf ihrem PC haben.“

Zur Verdeutlichung sagte er, dass Sie, wenn Sie auf einem Quest sind und hauptsächlich Quest-Spiele ohne PC spielen, mithilfe einer Kombination aus Selfie-Kameras und Third-Person-Kameras endlich wirklich hochwertige und reichhaltige Videoinhalte aus Ihren Lieblingsanwendungen erstellen können Kameras, Drohnenkameras und First-Person-View-Kameras, mit allem Schnickschnack, den man braucht, um großartige Inhalte zu erstellen, sagte er.

Der Rollout-Plan für das neue SDK

Die Betaversion von Livs neuem Software Development Kit (V1.6 SDK) für Unity-basierte Apps, die Presence Platform-Funktionen unterstützen, ist jetzt verfügbar. Ziel ist es, Entwicklern, die auf Quest veröffentlichen, aber auf dem PC aufbauen, die Möglichkeit zu geben, hochwertige Videoinhalte mit realen und virtuellen Kameras aufzunehmen.

Später in diesem Jahr wird die Beta-Version des V1.6 SDK für Unreal-basierte Apps erscheinen, die Presence Platform-Funktionen unterstützen. Dies gilt für Apps, die in Unreal Engine 4.27 oder höher erstellt wurden.

Alle Liv SDK-Funktionen sind im V1.6 SDK enthalten, einschließlich der regulären virtuellen Kameras (First-Person, Selfie, Third-Person, Drohne) und Avatare.

Über 2024 hinaus möchte Liv die Tools für YouTuber in der Liv-App verbessern. Livs Rückstand sei im Laufe der Jahre immer größer geworden, sagte Shewki.

Das Liv SDK für Unity und Unreal ist beide MIT-lizenziert. Für Spieleentwickler ist es kostenlos. Sie können Liv nur mit Spielen verwenden, die auf dem PC mit SteamVR und Oculus PCVR/Rift laufen.

Bei den Trailern nutzte das Unternehmen Liv für die Rohaufnahmen und mit einer Menge Bearbeitungs- und Postproduktionsmagie mit freundlicher Genehmigung von Liv Productions.

Sava, der Schöpfer von Sava Studios, sagte in einer Erklärung: „Ich bin stolz, sagen zu können, dass wir LCK zu Penguin Paradise und unserem neuen Spiel Skelly hinzugefügt haben, weil wir unserer Community die Möglichkeit geben wollen, die besten und qualitativ hochwertigsten Inhalte in unserem Spiel zu erstellen.“ .“

„Ich bin stolz, sagen zu können, dass wir LCK zu Penguin Paradise und unserem neuen Spiel Skelly hinzugefügt haben, weil wir unserer Community die Möglichkeit geben wollen, die besten und qualitativ hochwertigsten Inhalte in unserem Spiel zu erstellen!“

Auf die Frage, ob die Aufnahmetools nativ auf einem kabellosen Quest-Headset ohne PC funktionieren würden, antwortete Shewki, dass dies passieren werde.

„Wir veröffentlichen unser Quest SDK in ein paar Wochen“, sagte Shewki.

Ersteller können die neuen Funktionen der Presence Platform sofort nutzen. Die Mixed-Reality-Aufnahme für Passthrough-Anwendungen hat eine Schwierigkeit darin, dass sie normalerweise an einem realen Ort und nicht vor einem Greenscreen gefilmt wird, und das bedeutet, dass die endgültige Zusammenstellung in der Postproduktion erfolgt, da der Entwickler das menschliche Motiv herausschneiden muss.

Die Liv-Capture-Funktionen werden in die Liv-App auf Steam integriert, und das Unternehmen sagte, es sei bestrebt, Entwicklern plattformübergreifend zu helfen. Das Unternehmen wird mehr in die Liv-App auf dem PC auf Steam investieren. Ein großer Teil der Arbeit mit Meta konzentriert sich auf die Stärkung der PC-App auf Steam.

Shewki sagte, er möchte, dass diese Kameras das Gefühl haben, in die Spielwelt zu gehören.

„Wir möchten insbesondere vermeiden, dass die Leute denken: ‚Ich muss ein zusätzliches Tool herunterladen.‘ Ich werde über eine leistungsstarke Kamera verfügen, die ich jederzeit aufrufen und meine Lieblingsmomente aufzeichnen kann, ohne jemals das Headset verlassen zu müssen. Und genau das wird dadurch freigesetzt“, sagte Shewki. „Wir werden zunächst Gorilla Tag und einige andere große Titel einführen. Sobald wir es eingeführt haben, wird das SDK öffentlich zugänglich sein.“

In der App kann jetzt immer nur eine Kamera gleichzeitig laufen. Anstatt Spieleentwickler zu monetarisieren, werde das Unternehmen laut Shewki direkt mit Meta monetarisieren. Das Unternehmen werde sicherstellen, dass seine Technologie bei der Markteinführung auf allen kommenden beliebten AR- und VR-Geräten funktionieren kann, sagte er.

Streaming wird das nächste sein, woran Liv arbeiten wird. Ab diesem Zeitpunkt können Spieler Inhalte direkt auf Liv hochladen und streamen. Aber das ist noch nicht fertig.