第90章 顶尖算法团队的赞叹(第 3/4 页)

    在现今评估自动文本摘要质量的两种方法：人工评价方法和自动评价方法。

    人工评估就是邀请若干专家人为制定标准进行人工评定，这种方法比较接近人的阅读感受。

    但是耗时耗力，不但无法用于对大规模自动文本摘要数据的评价，和自动文本摘要的应用场景也并不符合。

    最关键的是以拥有主观思想的人进行摘要的评价的话，很容易出现偏差，毕竟一千个人眼里有一千个哈姆雷特，每个人对新闻摘要的衡量都有自己的准绳，或许一个衡量团队可以制定一个统一的衡量标准，但换一个衡量团队很可能衡量标准便不一样。

    这就很容易导致在评判准确度的时候因为评判团队的不同，同一次的摘要结果会得到截然不同的评价。

    评判团队千差万别，很容易导致一些明明有实力做好算法的团队却因为评判团队拉跨出师未捷身先死。

    伊芙·卡莉他们团队的文本摘要算法之前一度能够在全球领先。

    跟他们和牛津、哈佛、耶鲁三所大学的语言学方面深度合作有着很大的关系。

    但这终究不是长久之计，人工的评估方法因其固有的局限性注定了走不远。

    因此，文本摘要算法研究团队积极地研究自动评价方法。

    自上世纪九十年代末开始，一些会议或组织开始致力于制定摘要评价的标准，他们也会参与评价一些自动文本摘要。

    比较著名的会议或组织包括summac、duc、tac（text analysis conference）等。

    尽管相关的团队在积极研究自动评价方法，在现今评估自动文本摘要质量的两种方法（人工评价方法和自动评价方法）还是以人工评价方法这个评估方法最为常用。

    很多自动评价方法的原理主要是将摘要算法生成的新闻摘要和参考摘要进行比较通过最大拟合程度来进行评价。

    这个评价的过程虽然是自动的，但参考摘要却是人工撰写的。

    也就是说即便是所谓的自动评价方法，也摆脱不了主观因素的介入。

    那样的话何苦多费一遍功夫用什么自动评价方法？

    也正因为如此很多团队在评估摘要质量时选择的方式依旧是人工评估。

    而人工评估这种主观东西就很难对结果进行客观的量化。

    正因为这种情况，尽管之前不少团队摘要算法准确度都还算不错。

    但涉及到新闻摘要准确度方面的宣传，大家都选择性的遗忘了。

    就这种情况下，为什么南风app的开发者在软件介绍中却言之凿凿地称这款软件准确度比同类软件高出270%。

    这个所谓的270%究竟是基于什么标准去衡量的呢？一时之间伊芙·卡莉陷入了沉思。

    无论这个270%是怎么得出来的，想来应该不是无中生有。

    在别的国家的软件宣传是什么规矩伊芙不清楚，但是在米国如果没有一个逻辑自洽的衡量模型作为理论支撑就贸然进行这种无中生有的量化宣传的话，很容易被罚的底裤都不剩。

    即南风app这个所谓的“270%”大概率是建立在足够强大并且能够逻辑自洽的准确度衡量模型的基础之上的。

    不过也不好说，每年为了博眼球而不顾宣传规矩的开发者比比皆是。

    出于严谨的科研态度，伊芙·卡莉以【文本摘要准确度衡量模型】为关键词进行了检索。

    在检索结果中伊芙·卡莉一眼就看到了混杂在一众模型之中的有一个新出现的准确度衡量模型。

    没办法，很难注意不到，以往的十多个对文本摘要准确度进行衡量的模型，伊芙·卡莉说是如数家珍也不为过。

    现在这个名为“lh文本摘要准确度衡量模型”伊芙·卡莉之前就从来没见过。

    大致看了一下这个模型采用的准确度衡量方法。

    伊芙意外的发现通过这种全新的准确度衡量模型，评估人员不需要引入任何主观因素介入到摘要准确度的评估的过程中。

    正因为没有主观因素的介入，这个准确度评估方法完全可以对现有的全部文本摘要算法的摘要准确度进行量化分析。

    这个衡量模型还演示了几个使用范例。

    在尼克雅虎新闻摘要那个软件里的算法经该模型衡量之后，准确度分数居然只有1分。

    而南风app则获得了3.7分的分数。

    看到这个结果，伊芙明白了南风app所谓的摘要准确度领先270%是怎么来的了。

    看来这个lh文本摘要准确度衡量模型一定也是南风app的开发者搞定的了。

    -->>(第 3/4 页)（本章未完，请点击下一页继续阅读）