Meta, challenging OpenAI, announces new AI model that can generate video with sound
Adds details, background from paragraph 6 onwards
By Katie Paul
NEW YORK, Oct 4 (Reuters) -Facebook owner Meta META.O announced on Friday it had built a new AI model called Movie Gen that can create realistic-seeming video and audio clips in response to user prompts, claiming it can rival tools from leading media generation startups like OpenAI and ElevenLabs.
Samples of Movie Gen's creations provided by Meta showed videos of animals swimming and surfing, as well as videos using people's real photos to depict them performing actions like painting on a canvas.
Movie Gen also can generate background music and sound effects synced to the content of the videos, Meta said in a blog post, and use the tool to edit existing videos.
In one such video, Meta had the tool insert pom-poms into the hands of a man running by himself in the desert, while in another it changed a parking lot where a man was skateboarding from dry ground into one covered by a splashing puddle.
Videos created by Movie Gen can be up to 16 seconds long, while audio can be up to 45 seconds long, Meta said. It shared data showing blind tests indicating that the model performs favorably compared with offerings from startups including Runway, OpenAI, ElevenLabs and Kling.
The announcement comes as Hollywood has been wrestling with how to harness generative AI video technology this year, after Microsoft-backed MSFT.O OpenAI in February first showed off how its product Sora could create feature film-like videos in response to text prompts.
Technologists in the entertainment industry are eager to use such tools to enhance and expedite filmmaking, while others worry about embracing systems that appear to have been trained on copyright works without permission.
Lawmakers also have highlighted concerns about how AI-generated fakes, or deepfakes, are being used in elections around the world, including in the U.S., Pakistan, India and Indonesia.
Meta spokespeople said the company was unlikely to release Movie Gen for open use by developers, as it has with its Llama series of large-language models, saying it considers the risks individually for each model. They declined to comment on Meta's assessment for Movie Gen specifically.
Instead, they said, Meta was working directly with the entertainment community and other content creators on uses of Movie Gen and would incorporate it into Meta's own products sometime next year.
According to the blog post and a research paper about the tool released by Meta, the company used a mix of licensed and publicly available datasets to build Movie Gen.
OpenAI has been meeting with Hollywood executives and agents this year to discuss possible partnerships involving Sora, although no deals have been reported to have come out of those talks yet. Anxieties over the company's approach increased in May when actor Scarlett Johansson accused the ChatGPT maker of imitating her voice without permission for its chatbot.
Lions Gate Entertainment LGFa.N, the company behind "The Hunger Games" and "Twilight," announced in September that it was giving AI startup Runway access to its film and television library to train an AI model. In return, it said, the studio and its filmmakers can use the model to augment their work.
Reporting by Katie Paul in New York; Additional reporting by Dawn Chmielewski in Los Angeles; Editing by Mark Porter
สินทรัพย์ที่เกี่ยวข้อง
ข่าวล่าสุด
ข้อความสงวนสิทธิ์: บริษัทในเครือ XM Group มีการให้บริการดำเนินคำสั่งและการเข้าถึงแพลตฟอร์มซื้อขายออนไลน์ของเรา ซึ่งช่วยให้บุคคลสามารถดู และ/หรือใช้ข้อมูลที่มีอยู่บนหรือผ่านทางเว็บไซต์ ซึ่งไม่ได้มีการเปลี่ยนแปลงหรือขยายความจากสิ่งนี้ อีกทั้งการเข้าถึงดังกล่าวจะอยู่ภายใต้: (i) เงื่อนไขและข้อตกลง; (ii) คำเตือนเกี่ยวกับความเสี่ยง; และ (iii) ข้อความสงวนสิทธิ์ฉบับเต็ม ดังนั้นข้อมูลดังกล่าวจึงเป็นเพียงแค่ข้อมูลทั่วไปเท่านั้น นอกจากนี้โปรดทราบว่าข้อมูลต่างๆ บนแพลตฟอร์มซื้อขายออนไลน์ของเราไม่ได้มีการเชื้อเชิญหรือถือเป็นข้อเสนอให้ทำธุรกรรมใดๆ บนตลาดการเงิน และการซื้อขายบนตลาดการเงินใดๆ มีความเสี่ยงในระดับสูงกับเงินทุนของคุณ
เนื้อหาทั้งหมดที่ถูกเผยแพร่อยู่บนแพลตฟอร์มเทรดออนไลน์ของเรามีวัตถุประสงค์เพื่อให้ข้อมูล/ความรู้เท่านั้นและไม่มี – และไม่ควรถือว่ามี – คำแนะนำด้านการเงิน, ภาษีการลงทุน, หรือการเทรด หรือข้อมูลราคาย้อนหลัง, หรือข้อเสนอ, หรือการเชื้อเชิญให้ทำธุรกรรมใดๆ เกี่ยวกับตราสารทางการเงินหรือโปรโมชั่นทางการเงินสำหรับท่าน
เนื้อหาของบุคคลที่สามใดๆ รวมถึงเนื้อหาที่ถูกจัดเตรียมขึ้นโดย XM เช่น ข้อคิดเห็น, ข่าวสาร, บทวิเคราะห์, ราคา, ข้อมูลอื่นๆ หรือลิงก์ไปยังเว็บไซต์ของบุคคลที่สามที่อยู่ในเว็บไซต์นี้ถูกจัดทำขึ้น “ตามที่เป็น” ซึ่งเป็นการแสดงความคิดเห็นเกี่ยวกับตลาดโดยทั่วไปและไม่ถือเป็นคำแนะนำด้านการลงทุน เนื่องจากเนื้อหาเหล่านี้ถือเป็นบทวิจัยด้านการลงทุน ท่านจะต้องทราบและยอมรับว่า เนื้อหาเหล่านี้ไม่ได้มีวัตถุประสงค์และไม่ได้มีการถูกจัดเตรียมขึ้นตามข้อกำหนดทางด้านกฎหมายที่ถูกออกแบบขึ้นมาเพื่อส่งเสริมการวิจัยด้านการลงทุนที่เป็นอิสระ ดังนั้นเนื้อหาเหล่านี้ถือเป็นการสื่อสารทางการตลาดภายใต้กฎหมายและกฎระเบียบที่เกี่ยวข้อง โปรดอ่านและทำความเข้าใจประกาศเกี่ยวกับบทวิจัยด้านการลงทุนที่ไม่ได้มีความเป็นอิสระและคำเตือนเกี่ยวกับความเสี่ยงซึ่งมีความเกี่ยวข้องกับข้อมูลต่างๆ ดังที่ได้กล่าวไปแล้ว โดยท่านสามารถดูได้ ที่นี่
