邓栋：2016年清华大学优秀博士学位论文一等奖获得者

大数据处理中的容错技术研究

Error- Big Data

作 者：邓栋（图右）

指导教师：李国良（图左）

培养院系：计算机科学与技术系

学 科：工科

读博感言：

有良师指导、益友陪伴，读博苦更乐，受用一生。

研究背景/选题意义/研究价值

现实世界的数据有各类错误，像拼写错误、格式错误、数据不一致等。分析数据前，常要先处理和转化原始数据，以得到可用数据。传统数据处理方式可能丢失诸多有效信息，甚至引入错误信息。为获最佳分析结果并适应当今大数据时代需求，论文研究了大数据处理中的容错技术。现实世界中的数据很多都能用序列或者集合的形式表示，论文利用广泛应用的序列相似函数和集合相似函数来容忍数据的错误，针对数据处理的抽取、连接、检索这三个最典型操作，论文研究近似抽取、近似连接和近似检索技术来实现错误容忍的数据处理，还设计了高效的索引和算法。

主要研究内容

论文提出了统一的框架，该框架能同时支持序列相似函数和集合相似函数下的近似抽取，基于此统一框架，论文设计了高效的过滤算法，用以避免不必要的计算，还设计了堆算法来共享计算，论文提出了快速有效的剪枝策略，以此进一步提高抽取性能，实验表明，论文提出的方法比现有最好的方法快1-2个数量级。

论文设计了一个基于划分的框架来支持序列近似连接，把序列平均划分为不相交的片段，保证仅当一个序列的子序列与另一个序列的片段匹配时它们才可能相似，提出了有效的子序列选取技术，证明了该技术选取的子序列数量是最少的，还提出了扩展验证技术来快速验证候选结果。

图1展示了EDBT大数据竞赛前三名的性能比较，其中1_A是我们的程序，单位是秒

图2:容错数据处理系统架构图

对于集合近似连接，论文依据全集将集合划分成不相交的片段（子集），提出混合运用片段和1 - 删集（移除片段中1个元素后的子集）以提高过滤能力，设计了近似比为2的贪心算法，还通过多长度分组把分配选取时间复杂度从O(s3)降低到O(s log s)，其中s是集合大小 。论文对该算法进行扩展，使其能在Spark上运行，以支持大数据的近似连接。基于划分的算法在EDBT大数据融合竞赛中获得冠军，且具有绝对优势，其效率比获得亚军的算法高10倍。

论文提出了一个关键前缀过滤技术，该技术用于解决基于序列相似性的近似检索问题，相比现有最好的前缀过滤技术，关键前缀过滤技术的剪枝能力更强，过滤代价更小，论文设计了动态规划算法，该算法用于快速选取高质量的关键前缀以检测离散的错误，论文还提出了对齐过滤技术，该技术用于检测序列中连续的错误。

主要创新点

界定了股权信托等名实分离情形中股东资格的认定，以信托关系对隐名出资人与名义股东之间的关系进行重构。

从多个部门法的角度，对股权信托受托人的权力进行阐述，对其义务也进行阐述，并且试图归纳出妥当应对角色义务规范冲突的规则。

对股权信托受托人的权力边界进行了分类，针对具体权力开展了类型化尝试。

代表性学术发表

学生作为第一作者，共发表了11篇中国计算机学会A类论文长文，这些论文被引用了近300次。

董登、李、何文、H. V. 等人，《META: 基于集合连接》，VLDB 2016:360 - 371

你提供的内容似乎存在一些不清晰和错误的地方，不太能准确理解其确切含义并进行有效改写。请你检查或修正后重新提供准确内容 。

你提供的内容似乎存在一些乱码或不清晰的表述，无法准确理解其完整含义并进行改写，请你检查或补充完整准确的内容。

Dong Deng, Yu Jiang, Li, Jian Li, Cong Yu. 用于网络使用大型数据库。VLDB 2014:1606 - 1617.

你提供的内容似乎存在乱码或不完整，无法准确理解并进行改写，请检查或补充完整准确的内容。

你提供的内容似乎不完整且存在一些混淆，不太能明确准确的需求，请补充完整清晰的信息以便我能按照要求进行改写。

你提供的内容似乎不完整且存在一些混淆，不太明确准确的意思，无法按照要求进行改写。请补充完整清晰的内容以便能正确处理。

你提供的内容似乎不完整且存在一些乱码，不太能明确准确的含义，无法按照要求进行改写。请你检查并补充完整准确的内容。

李东登，《Pass-Join:A 基于连接的连接方法》，VLDB 2012年第353 - 364页 。

你提供的内容似乎不完整且存在一些乱码，无法准确理解其完整意思并进行改写，请补充完整清晰的内容。

你提供的内容似乎存在较多不清晰和错误的表述，不太能准确理解其确切含义，无法按照要求进行改写。请检查并修正后重新提供。

# 大数据处理技术论文  # 论文数据处理什么意思  # 论文处理数据技术大纲  # 提出了  # 数据处理  # 不太  # 请你  # 不完整  # 最好的  # 或不  # 请检查  # 受托人  # 清华大学  # 多个  # 等人  # 能在  # 我能  # 对其  # 较多  # 使其  # 高质量  # 要先  # 更强  # 有经验的网站seo推广放心选择  # 宝坻区怎么做网站推广  # 建设信息网站服务  # 奶茶营销推广创新案例  # 包装网站优化都有哪些  # 诸暨网站建设有必要做吗  # 余杭区整合营销推广平台  # 勒流网站优化公司  # seo优化简单易学吗  # 肥乡品牌互联网营销推广  # 鼓楼区网站推广电话多少  # 宜城网站优化公司  # seo妍主演的韩剧  # 连江技术推广营销公司  # 兰州关键词排名哪家快  # 吉林常规网站建设优点  # 营销推广入门八题怎么做  # 兰州站外seo优化费用  # 西湖区seo优化方法  # 宿迁营销推广合作中心 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： 南平SEO价格介绍,如何选择性价比高的优化方法,乐山抖音seo怎么使用  SEO而且：打造高效网站流量增长的秘密武器,滨江网站推广营销  洛阳网站SEO优化技术,助力企业互联网营销新篇章,肇庆seo公司便捷火星  广州百度推广岗位，开启互联网营销新机遇,台州网站建设工作室  在广州如何借助百度推广高效卖房？,连云港营销推广什么流程  广州百度推广通在哪里？全面解析及实用指南,520 营销推广怎么做  SEO指：如何通过精准优化提高网站流量和转化率,无锡论坛营销推广要多久  SEO添加：提升网站流量与排名的必备策略,seo团队成员中国人  警惕！骗子混入工作群冒充董事长*60万，咋回事？   全国SEO优化步骤,关键词布局的艺术与方法,网站积分seo优化  如何选择合适的SEO加盟品牌？,seo优化项目经验心得  做好网站设计这些规范准则要知晓  河南雷霆扫毒！去年抓获2368名毒品犯罪嫌疑人，形势如何？   建议,网站建设的前途  广西SEO优化，揭秘网络营销的广西策略,提供服务好的网站建设  抖音人气爆棚捧红众多网红，想走红容易却也难？且看这位   福建百度推广点击费用到底是多少？,潮州网站推广找哪里  搜狗SEO推广，打造高效网络营销的秘密武器,邢台网站优化公司好么  以用户体验为核心，打造SEO新境界,seo基础入门知识大全  SEO元素-提升网站排名的核心要素,推广分成网站有哪些  探索未知，如何高效利用自媒体打造个人品牌,天企如何推广网站  SEO新人必读：从零开始SEO的核心技巧与实践指南,网站邮件推广设计  杭州SEO排名优化,白帽步骤助力企业网络营销,网站优化编辑工作内容  潍坊SEO预算探秘，如何精准投放，实现高效转化？,唐山营销网站推广介绍  SEO批量挖掘长尾关键词的方法,精准定位，提升网站流量,南阳seo公司稳健火星  SEO动态：2025年SEO趋势与优化技巧解析,十堰外贸网站推广费用  揭秘SEO优化背后的秘密，如何让秋蝉内容脱颖而出,香蕉网络营销推广策划  SEO无限：如何利用SEO技术实现网站流量爆发？,网站建设总监  福建百度推广没接到电话会怎么样？,顺庆区网络推广网站优化  涿州SEO优化，提升网站在搜索引擎中的排名，让您的业务腾飞,忻州关键词网站优化  广州百度推广职责，深入解析与实施策略,南沙服装口碑营销推广  SEO妍：搜索引擎优化的艺术，轻松打造网络营销新未来,辽宁网站建设贵不贵  抖音营销SEO秘籍，如何让你的品牌在抖音上脱颖而出？,谷歌seo采集站  武侯区SEO搜索优化软件,助力企业在线营销腾飞,舟山关键词排名推广软件  飞利浦维修网点查询指南，官方网站与移动应用轻松搞定   探索舞蹈的魅力，幼儿舞蹈启蒙的奥秘与乐趣,杭州国内网站建设团队  广州百度推广费用能退吗？解析退款政策及适用条件,沿河推广网站  想知道西安哪些大学值得报考？武书连2025年西安高校排名前十解读来啦   西安SEO首页优化招聘,助力企业提升搜索引擎排名，抢占市场先机,柏乡seo网站优化  数字化支付普及下，如何取消微信指纹支付？看这里   江北网络SEO优化排名,介绍提升网站排名的步骤与方法,西藏seo工具哪个适用  SEO找出网站流量提升的终极策略，带你走向搜索引擎巅峰！,朝阳模板网站建设价格  西樵SEO优化服务,助力企业网站在搜索引擎中脱颖而出,青岛优化师助理招聘网站  探索自媒体营销的奥秘，如何在不使用SEO插件的情况下实现内容的有效传播,泸州爱采购seo排名  黑帽SEO的落幕，锦绣大地SEO培训引领新时代SEO浪潮,在线seo优化资源  深入解析广州百度推广报表，数据驱动优化策略,旅游景区网站建设标准  SEO武汉：如何提升武汉地区网站的搜索引擎排名,景区网站建设费用  SEO实现：如何通过SEO优化提升网站流量与排名,南京市公司网站推广  SEO合同：确保您网站优化成功的关键保障,微博营销推广规则最新  青岛SEO优化，打造你的在线品牌之路,seo文章制作