关于知识产权 知识产权培训 知识产权外联 部门知识产权 知识产权和热点议题 特定领域知识产权 专利和技术信息 商标信息 工业品外观设计信息 地理标志信息 植物品种信息(UPOV) 知识产权法律、条约和判决 知识产权资源 知识产权报告 专利保护 商标保护 工业品外观设计保护 地理标志保护 植物品种保护(UPOV) 知识产权争议解决 知识产权局业务解决方案 知识产权服务缴费 谈判与决策 发展合作 创新支持 公私伙伴关系 组织简介 与产权组织合作 问责制 专利 商标 工业品外观设计 地理标志 版权 商业秘密 WIPO学院 讲习班和研讨会 世界知识产权日 WIPO杂志 宣传 案例研究和成功故事 知识产权新闻 产权组织奖 企业 高校 土著人民 司法机构 遗传资源、传统知识和传统文化表现形式 经济学 性别平等 全球卫生 气候变化 竞争政策 可持续发展目标 执法 前沿技术 移动应用 体育 旅游 PATENTSCOPE 专利分析 国际专利分类 ARDI - 研究促进创新 ASPI - 专业化专利信息 全球品牌数据库 马德里监视器 Article 6ter Express数据库 尼斯分类 维也纳分类 全球外观设计数据库 国际外观设计公报 Hague Express数据库 洛迦诺分类 Lisbon Express数据库 全球品牌数据库地理标志信息 PLUTO植物品种数据库 GENIE数据库 产权组织管理的条约 WIPO Lex - 知识产权法律、条约和判决 产权组织标准 知识产权统计 WIPO Pearl(术语) 产权组织出版物 国家知识产权概况 产权组织知识中心 产权组织技术趋势 全球创新指数 世界知识产权报告 PCT - 国际专利体系 ePCT 布达佩斯 - 国际微生物保藏体系 马德里 - 国际商标体系 eMadrid 第六条之三(徽章、旗帜、国徽) 海牙 - 国际外观设计体系 eHague 里斯本 - 国际地理标志体系 eLisbon UPOV PRISMA 调解 仲裁 专家裁决 域名争议 检索和审查集中式接入(CASE) 数字查询服务(DAS) WIPO Pay 产权组织往来账户 产权组织各大会 常设委员会 会议日历 产权组织正式文件 发展议程 技术援助 知识产权培训机构 COVID-19支持 国家知识产权战略 政策和立法咨询 合作枢纽 技术与创新支持中心(TISC) 技术转移 发明人援助计划(IAP) WIPO GREEN 产权组织的PAT-INFORMED 无障碍图书联合会 产权组织服务创作者 WIPO ALERT 成员国 观察员 总干事 部门活动 驻外办事处 职位空缺 采购 成果和预算 财务报告 监督

恐怖谷:开辟音乐创意新时代

2021年9月

凯瑟琳·朱厄尔,产权组织信息和数字外联司

2010年,澳大利亚歌手/作曲家查尔顿·希尔和音乐技术专家贾斯廷·谢夫联合成立恐怖谷公司,这是一家位于悉尼的先进技术企业,身处音乐产业最前沿。查尔顿·希尔同时主管恐怖谷公司的创新工作,他介绍了该公司利用人工智能实现音乐制作加速和民主化、改变音乐制作现状的雄心壮志。2020年,恐怖谷公司及同事卡罗琳·佩格勒姆组成的澳大利亚队赢得首届欧洲电视网人工智能歌唱大赛冠军。

2019年恐怖谷公司与谷歌创意实验室和澳大利亚的新晋艺人合作进行实验,利用机器学习开发了一些可以在歌曲创作过程中使用的先进工具。(图:Courtesy of Google Creative Lab, Sydney, Australia)

一般而言,恐怖谷会让人们联想到面对不完全属于人类的事物时感到的焦虑不安。为何给自己的公司取名恐怖谷?

想到这个名字的是公司联合创始人贾斯廷·谢夫。仔细考虑其含义后,我承认这一事实:在这个我们两人都熟知的行业中,本公司注定是一家先进音乐技术企业。

(图:Courtesy of Uncanny Valley)

贾斯廷是一位受过古典音乐训练的钢琴家,也是具有计算机科学背景的音乐技术专家,而我是一名作曲家兼歌手。我们都对创新兴趣浓厚。2010年公司成立时,音乐行业风云变幻,所以与一位具有前瞻思维的伙伴合作顺理成章。我们选择合作方时一直采取开放态度,并不局限于传统意义上的音乐人和制作人。我想公司的发展道路符合恐怖谷这个名字。可以说,我们正在努力超越音乐领域的恐怖谷地带,这可能是这个时代最有趣的挑战之一。

请介绍一下公司的业务模式。

我们有两个收入来源。一个来源是创作原创音乐或重新编曲混音(即选择一首获得许可的现有歌曲,另请歌手重新创作)的佣金,另一个是这些节目播出时我们收到的版税。我们在澳大利亚参与了各种项目的工作,比如需要大量配乐的澳版幸存者节目。这些收入支撑公司日常运营,为我们更先进的人工智能和机器学习事业提供资金。

请介绍一下贵公司在增强创意方面的工作。

非常振奋人心。工作从2019年正式开始,当时我们与谷歌创意实验室和澳大利亚的新晋艺人合作进行实验,利用机器学习开发了一些可以在歌曲创作过程中使用的先进工具。艺人们在设计阶段的反馈极有价值。

总的来说,这段经历令他们感到愉快,但如果觉得这些工具碍事,他们也相当直言不讳。例如我们的AD LIBBER应用程序,其设计用途是激发歌词灵感,受到一位创作歌词遇到困难的艺人欢迎,但另一位擅长写词的艺人却对它不感兴趣。还有一个名为Demo Memo的应用程序在艺人们哼唱或用口哨吹出一段旋律后可以转用自己选择的乐器演奏出来,从而大大加快了制作小样的过程。他们都很喜欢这个程序。

这次实验是一个很好的机会,各种概念可以随意尝试。我们继续通过公司的音乐引擎MEMU来发展这些概念,MEMU体现了公司研究工作持续积累的成果。通过MEMU的架构,相信我们可以破解音乐和情感量化的问题。

MEMU为音乐人提供机会,让他们的音乐可以借助不同的情感模式和媒介表现出来。

您能再详细解释一下吗?

我们关注的是理解和量化音乐引发的情感反应以及创作旋律和歌曲的相关过程。这并不是要破解创作金曲的公式;而是更进一步。我们正在探索独特的歌词、旋律以及和弦序进的碰撞组合以及听众的感受,从而更好地理解一首音乐作品特有的印记。就好比是感到快乐/悲伤的时候向计算机解释这种心情。原理相当复杂。我们现在拥有的计算能力和智能可以分析某位艺术家所有作品的歌词和旋律,能产生新的创意,或许创意会变成新的歌曲或体现作者作品的发展方向,可谓令人震撼。

“MEMU这个强大的引擎可以对艺术家的作品进行实时混音和串烧。这真的非常令人兴奋。它预示着一个音乐制作的新时代,”查尔顿·希尔说。(图:Courtesy of Uncanny Valley)

请详细讲讲MEMU。

MEMU这个强大的引擎可以对艺术家的作品进行实时混音和串烧。这真的非常令人兴奋。它预示着一个音乐制作的新时代。我们视其为一个持续发展的生态系统,由供给方和合作方组成,能让艺术家脱颖而出,有能力了解自己作品播出的情况并从中获得报酬。MEMU理解无穷无尽的音乐流并实时混音的能力确实相当出众。

人们对MEMU的反响如何?

有些人觉得这很神奇,但担心我们会让音乐人失业。我们没有这种打算。我们认为MEMU是一个强大的引擎,通过加快制作过程,让成本趋于合理,从而带来民主之风。Spotify追求的是有史以来最好的歌单,而MEMU追求的则是有史以来最好的音乐产业格局。

贵公司这个软件是如何开发的?

过程很有意思,涉及数据科学家和创意技术专家,与音乐人、音乐制作人和范围更广的学术团队合作。

起初我们用自己的专有资料训练MEMU。然后我们尝试使用受版权保护的资料,但是为了避免不慎侵犯版权的风险,我们开始利用更广泛的用户社群的作品,包括唱片公司。这样我们得以反复试探版权和重新混音的概念。我们发现,反应程度与艺人名气成比例浮动。

当艺人们进入MEMU的世界,MEMU就得到允许用他们的作品做出一些精彩非凡的事情。MEMU跟踪记录每位艺人提交的微小作品及作品被利用的情况。这是确保艺术家获得报酬的有力途径。

必要时我们使用开源资料训练MEMU,但是公司一般情况下会开发自己的专有解决方案来创建MEMU的定制架构,原因很简单,因为我们需要的解决方案市面上没有。

“我们现在拥有的计算能力和智能可以分析某位艺术家所有作品[……],能产生新的创意[……]体现作者作品的发展方向,可谓令人震撼,”查尔顿·希尔说。(图:Courtesy of Uncanny Valley)

您能否介绍一下MEMU的不同频道?

MEMU可塑性强,现在拥有的频道多种多样,便于分出彼此隔绝的空间。例如,如果我们向某家唱片公司索要它旗下两位艺人即将发布的作品供MEMU混音,可以为这一合作项目创建一个封闭空间。

MEMU的不同频道为其架构内置。起初我们发布的是专属频道,让MEMU了解某些音乐类型、情感和爱奥利亚音乐调式,这些都是流行音乐的基础。我们可以借助这项发展迅速的技术改编收到的不同类型的作品。例如,MEMU可能会对正常情况属于放松音乐频道的作品进行加工,放入高能音乐频道。

我们正在努力加快音乐制作的过程,更好地追踪音乐作品,改善利用音乐的方式,并拓宽歌曲的概念,以便通过各种各样的方式欣赏歌曲。人工智能可以辅助实现这一广阔前景。

这对于音乐人有何帮助?

MEMU为音乐人提供机会,让他们的音乐可以借助不同的情感模式和媒介表现出来。期待脱颖而出的艺人会允许我们接触到他们的部分作品,让听众通过不同方式欣赏这些作品,引导人们重温他们的作品。哪个艺人会不希望自己的音乐在如此之多的优秀平台出现、用如此之多的精彩方式演绎?

MEMU也给音乐制作的过程带来民主之风。它有能力以我们过去从未真正见过的方式对音乐作品进行融汇再创作,给艺人带来酬劳。人们有一种荒谬的渴求,希望音乐能以各种新旧形式衬托内容。MEMU有助于满足这种需求。

Twitch等平台的经验表明,这个行业目前处于“不允许”模式。MEMU所代表的未来音乐模式则是“允许、吸引和回报”,这样所有人都是赢家,都能进步。

您认为人工智能对音乐人会有什么影响?

人工智能工具可以让艺人与业界互动的方式具备民主的特点,让他们能够从自己的作品中获得新的收入。我们以及其他同行正在开发的工具,旨在通过符合伦理道德、以艺人为中心的方式让进步和技术融为一体。

人工智能补充音乐人手头工具的不足,加快制作过程,让音乐人可以借助声音图表来表现自己,消除入门障碍。

我们正在努力加快音乐制作的过程,更好地追踪音乐作品,改善利用音乐的方式,并拓宽歌曲的概念,以便通过各种各样的方式欣赏歌曲。人工智能可以辅助实现这一广阔前景。

人工智能工具可以让艺人与业界互动的方式具备民主的特点,让他们能够从自己的作品中获得新的收入。

人工智能让没有途径接触音乐的人也能利用音乐这种表达方式。这或许是人工智能在音乐行业最令人兴奋的成就。

基于人工智能的工具是否能制作出真正动人的音乐?

能。人工智能当然可以辅助创作感动人类的歌曲,但这一过程始终会有人类参与。即使我们的工作以人类表演为蓝本,将其转化为数据,再用新的形式表现出来,但这并不是要重新创造一场人类表演。艺人虚拟化身或表演转换的概念早已成为现实。

我相信,人工智能会实现的目标之一是发挥人性的特点,让人们写出更好的音乐。

视频:2020年,恐怖谷公司使用欧洲电视网歌曲素材培训人工智能创作旋律和歌词,并邀请一名真正的制作人参与,混入澳大利亚的动物元素以及人声,最终赢得首届人工智能歌唱大赛冠军。获奖歌曲“绝美世界”唤起人们在去年席卷全国的毁灭性森林大火后对大自然焕发新生的希望。(预览照片:Courtesy of Uncanny Valley)

您认为哪些领域会率先接纳利用人工智能音乐?

实验艺术家涉足人工智能已经为时不短。人工智能正在稳步进入主流音乐。例如,Abbey Road公司最近通过人工智能音乐软件LifeScore与宾利公司合作推出车载音乐系统,使用车速和GPS位置等数据点。形势非常令人鼓舞。

归根结底,人类只不过是在寻找有趣、有益和有娱乐性的方式来参与生活。音乐是这个过程中的重要内容,而人工智能加快了音乐制作的过程。这就是我们利用人工智能的原因。人工智能肯定会增强人类的表现,但取代人类并不容易。

音乐技术产业越来越关注人工智能的原因是什么?

第一,害怕错过机会,第二,渴望纠正过去的错误。有一种想法是,人工智能的力量可以帮我们把事情做好,打开艺人按比例计酬的大门。

您希望版权制度如何演化?

有时,我们在版权方面有所反复,特别是在MEMU发展的早期阶段,但我们目前的想法是,“如果没出问题,”就一切照旧。所以我们会继续遵守规则,直到规则改变。

有没有哪个特别的领域您希望看到规则有所变化?

使用某位艺人的现有作品产生新的艺术作品或新的收入来源,我认为需要围绕这个概念有所作为,特别是考虑到目前技术如此擅长选择他人作品以有价值的方式加以利用。

归根结底,人类只不过是在寻找有趣、有益和有娱乐性的方式来参与生活。音乐是这个过程中的重要内容,而人工智能加快了音乐制作的过程。

我在这个问题上相当纠结,因为我觉得不能仅仅因为公司有这种技术能力,就忽然有权利拿到一位艺人的全部过往作品用于新的创作。也许另有方法——比如允许这种使用,作为交换条件应向支持有志音乐人的共享基金捐款。

公司未来有何计划?

从赢得人工智能歌唱大赛开始,我们给了自己一年时间证明公司能为音乐人和作曲家提供有效的工具。我们的工作引发大量关注,公司正在诚心寻找合适的合作方,希望开发的成果能够支持公司发展以及更广泛的音乐社群。在澳大利亚,我们正在协助建立该国首家音乐人工智能中心,召集学术界、商业伙伴、科学家和新晋艺人加入。

而MEMU的未来是创造新的音乐、激动人心的音乐,同时为艺人创造新的收入来源。如果能取得成功,我们将为艺人群体造就一个人工智能和音乐可以继续对话的集中化平台。

《WIPO杂志》旨在增进公众对知识产权和产权组织工作的理解,并非产权组织的官方文件。本出版物中所用的名称及材料的呈现方式,不意味着产权组织对于任何国家、领土或地区或其当局的法律地位,或者对于其边界或边界线的划分,表示任何意见。 本出版物不反映成员国或产权组织秘书处的观点。 提及具体公司或具体厂商的产品,不意味着它们得到产权组织的认可或推荐,认为其优于未被提及的其他类似性质的公司或产品。