logo资料库

大数据常见术语表合集.docx

第1页 / 共11页
第2页 / 共11页
第3页 / 共11页
第4页 / 共11页
第5页 / 共11页
第6页 / 共11页
第7页 / 共11页
第8页 / 共11页
资料共11页,剩余部分请下载后查看
从A——Z,大数据常见术语表合集
从 A——Z,大数据常见术语表合集 大数据的出现带来了许多新的术语,但这些术语往往比较难以理解。因此,一亦在国外 的一个网站上扒来了常用的大数据术语表,抛砖引玉,供大家深入了解。其中部分定义参考 了相应的博客文章。当然,这份术语表并没有 100%包含所有的术语。 A 聚合(Aggregation) – 搜索、合并、显示数据的过程. 算法(Algorithms) – 可以完成某种数据分析的数学公式. 分析法(Analytics) – 用于发现数据的内在涵义. 异常检测(Anomaly detection) – 在数据集中搜索与预期模式或行为不匹配的数据项。 除了“Anomalies”,用来表示异常的词有以下几种:outliers, exceptions, surprises, contami nants.他们通常可提供关键的可执行信息. 匿名化(Anonymization) – 使数据匿名,即移除所有与个人隐私相关的数据. 应用(Application) – 实现某种特定功能的计算机软件. 人工智能(Artificial Intelligence) – 研发智能机器和智能软件,这些智能设备能够感知 周遭的环境,并根据要求作出相应的反应,甚至能自我学习.
B 行为分析法(Behavioural Analytics) – 这种分析法是根据用户的行为如“怎么做”,“为什 么这么做”,以及“做了什么”来得出结论,而不是仅仅针对人物和时间的一门分析学科,它 着眼于数据中的人性化模式. 大数据科学家(Big Data Scientist) – 能够设计大数据算法使得大数据变得有用的人. 大数据创业公司(Big data startup) – 指研发最新大数据技术的新兴公司. 生物测定术(Biometrics) – 根据个人的特征进行身份识别. B 字节 (BB: Brontobytes) – 约等于 1000 YB(Yottabytes),相当于未来数字化宇宙的 大小。1 B 字节包含了 27 个 0! 商业智能(Business Intelligence) – 是一系列理论、方法学和过程,使得数据更容易被 理解. C 分类分析(Classification analysis) – 从数据中获得重要的相关性信息的系统化过程; 这类数据也被称为元数据(meta data),是描述数据的数据. 云计算(Cloud computing) – 构建在网络上的分布式计算系统,数据是存储于机房外的 (即云端). 聚类分析(Clustering analysis) – 它是将相似的对象聚合在一起,每类相似的对象组合 成一个聚类(也叫作簇)的过程。这种分析方法的目的在于分析数据间的差异和相似性. 冷数据存储(Cold data storage) – 在低功耗服务器上存储那些几乎不被使用的旧数据。 但这些数据检索起来将会很耗时. 对比分析(Comparative analysis) – 在非常大的数据集中进行模式匹配时,进行一步步 的对比和计算过程得到分析结果. 复杂结构的数据(Complex structured data) – 由两个或多个复杂而相互关联部分组成 的数据,这类数据不能简单地由结构化查询语言或工具(SQL)解析. 计算机产生的数据(Computer generated data) – 如日志文件这类由计算机生成的数 据 并发(Concurrency) – 同时执行多个任务或运行多个进程. 相关性分析(Correlation analysis) – 是一种数据分析方法,用于分析变量之间是否存 在正相关,或者负相关.
客户关系管理(CRM: Customer Relationship Management) – 用于管理销售、业务过 程的一种技术,大数据将影响公司的客户关系管理的策略. D 仪表板(Dashboard) – 使用算法分析数据,并将结果用图表方式显示于仪表板中. 数据聚合工具(Data aggregation tools) – 将分散于众多数据源的数据转化成一个全 新数据源的过程. 数据分析师(Data analyst) – 从事数据分析、建模、清理、处理的专业人员. 数据库(Database) – 一个以某种特定的技术来存储数据集合的仓库. 数据库即服务(Database-as-a-Service) – 部署在云端的数据库,即用即付,例如亚马 逊云服务(AWS: Amazon Web Services). 数据库管理系统(DBMS: Database Management System) – 收集、存储数据,并提供 数据的访问. 数据中心(Data centre) – 一个实体地点,放置了用来存储数据的服务器. 数据清洗(Data cleansing) – 对数据进行重新审查和校验的过程,目的在于删除重复信 息、纠正存在的错误,并提供数据一致性. 数据管理员(Data custodian) – 负责维护数据存储所需技术环境的专业技术人员. 数据道德准则(Data ethical guidelines) – 这些准则有助于组织机构使其数据透明化, 保证数据的简洁、安全及隐私. 数据订阅(Data feed) – 一种数据流,例如 Twitter 订阅和 RSS. 数据集市(Data marketplace) – 进行数据集买卖的在线交易场所. 数据挖掘(Data mining) – 从数据集中发掘特定模式或信息的过程. 数据建模(Data modelling) – 使用数据建模技术来分析数据对象,以此洞悉数据的内 在涵义. 数据集(Data set) – 大量数据的集合. 数据虚拟化(Data virtualization) – 数据整合的过程,以此获得更多的数据信息,这个 过程通常会引入其他技术,例如数据库,应用程序,文件系统,网页技术,大数据技术等等. 去身份识别(De-identification) – 也称为匿名化(anonymization),确保个人不会通过数 据被识别.
判别分析(Discriminant analysis) – 将数据分类;按不同的分类方式,可将数据分配到 不同的群组,类别或者目录。是一种统计分析法,可以对数据中某些群组或集群的已知信息 进行分析,并从中获取分类规则。 分布式文件系统(Distributed File System) – 提供简化的,高可用的方式来存储、分析、 处理数据的系统. 文件存贮数据库(Document Store Databases) – 又称为文档数据库(document-orient ed database), 为存储、管理、恢复文档数据而专门设计的数据库,这类文档数据也称为半 结构化数据. E 探索性分析(Exploratory analysis) – 在没有标准的流程或方法的情况下从数据中发掘 模式。是一种发掘数据和数据集主要特性的一种方法. E 字节(EB: Exabytes) – 约等于 1000 PB(petabytes), 约等于 1 百万 GB。如今全球每 天所制造的新信息量大约为 1 EB. 提取-转换-加载(ETL: Extract, Transform and Load) – 是一种用于数据库或者数据 仓库的处理过程。即从各种不同的数据源提取(E)数据,并转换(T)成能满足业务需要的数据, 最后将其加载(L)到数据库. F 故障切换(Failover) – 当系统中某个服务器发生故障时,能自动地将运行任务切换到另 一个可用服务器或节点上. 容错设计(Fault-tolerant design) – 一个支持容错设计的系统应该能够做到当某一部 分出现故障也能继续运行. G 游戏化(Gamification) – 在其他非游戏领域中运用游戏的思维和机制,这种方法可以以 一种十分友好的方式进行数据的创建和侦测,非常有效。 图形数据库(Graph Databases) – 运用图形结构(例如,一组有限的有序对,或者某种 实体)来存储数据,这种图形存储结构包括边缘、属性和节点。它提供了相邻节点间的自由 索引功能,也就是说,数据库中每个元素间都与其他相邻元素直接关联。 网格计算(Grid computing) – 将许多分布在不同地点的计算机连接在一起,用以处理 某个特定问题,通常是通过云将计算机相连在一起。 H
Hadoop – 一个开源的分布式系统基础框架,可用于开发分布式程序,进行大数据的运 算与存储。 Hadoop 数据库(HBase) – 一个开源的、非关系型、分布式数据库,与 Hadoop 框架共 同使用. HDFS – Hadoop 分布式文件系统(Hadoop Distributed File System);是一个被设计成 适合运行在通用硬件(commodity hardware)上的分布式文件系统. 高性能计算(HPC: High-Performance-Computing) – 使用超级计算机来解决极其复杂 的计算问题. I 内存数据库(IMDB: In-memory) – 一种数据库管理系统,与普通数据库管理系统不同 之处在于,它用主存来存储数据,而非硬盘。其特点在于能高速地进行数据的处理和存取。 物联网(Internet of Things) – 在普通的设备中装上传感器,使这些设备能够在任何时 间任何地点与网络相连。 J 法律上的数据一致性(Juridical data compliance) – 当你使用的云计算解决方案,将你 的数据存储于不同的国家或不同的大陆时,就会与这个概念扯上关系了。你需要留意这些存 储在不同国家的数据是否符合当地的法律。 K 键值数据库(KeyValue Databases) – 数据的存储方式是使用一个特定的键,指向一个 特定的数据记录,这种方式使得数据的查找更加方便快捷。键值数据库中所存的数据通常为 编程语言中基本数据类型的数据。 L 延迟(Latency) – 表示系统时间的延迟. 遗留系统(Legacy system) – 是一种旧的应用程序,或是旧的技术,或是旧的计算系统, 现在已经不再支持了。 负载均衡(Load balancing) – 将工作量分配到多台电脑或服务器上,以获得最优结果 和最大的系统利用率。 位置信息(Location data) – GPS 信息,即地理位置信息。 日志文件(Log file) – 由计算机系统自动生成的文件,记录系统的运行过程。
M M2M 数据(Machine2Machine data) – 两台或多台机器间交流与传输的内容 机器数据(Machine data) – 由传感器或算法在机器上产生的数据 机器学习(Machine learning) – 人工智能的一部分,指的是机器能够从它们所完成的任 务中进行自我学习,通过长期的累积实现自我改进。 MapReduce – 是处理大规模数据的一种软件框架(Map: 映射,Reduce: 归纳)。 大规模并行处理(MPP: Massively Parallel Processing) – 同时使用多个处理器(或多台 计算机)处理同一个计算任务。 元数据(Metadata) – 被称为描述数据的数据,即描述数据数据属性(数据是什么)的信 息。 MongoDB – 一种开源的非关系型数据库(NoSQL database) 多维数据库(Multi-Dimensional Databases) – 用于优化数据联机分析处理(OLAP)程序, 优化数据仓库的一种数据库。 多值数据库(MultiValue Databases) – 是一种非关系型数据库(NoSQL), 一种特殊的多 维数据库:能处理 3 个维度的数据。主要针对非常长的字符串,能够完美地处理 HTML 和 X ML 中的字串。 N 自然语言处理(Natural Language Processing) – 是计算机科学的一个分支领域,它研 究如何实现计算机与人类语言之间的交互。 网络分析(Network analysis) – 分析网络或图论中节点间的关系,即分析网络中节点间 的连接和强度关系。 NewSQL – 一个优雅的、定义良好的数据库系统,比 SQL 更易学习和使用,比 NoSQL 更晚提出的新型数据库 NoSQL – 顾名思义,就是“不使用 SQL”的数据库。这类数据库泛指传统关系型数据库 以外的其他类型的数据库。这类数据库有更强的一致性,能处理超大规模和高并发的数据。 O 对象数据库(Object Databases) – (也称为面象对象数据库)以对象的形式存储数据,用 于面向对象编程。它不同于关系型数据库和图形数据库,大部分对象数据库都提供一种查询 语言,允许使用声明式编程(declarative programming)访问对象.
基于对象图像分析(Object-based Image Analysis) – 数字图像分析方法是对每一个像 素的数据进行分析,而基于对象的图像分析方法则只分析相关像素的数据,这些相关像素被 称为对象或图像对象。 操作型数据库(Operational Databases) – 这类数据库可以完成一个组织机构的常规操 作,对商业运营非常重要,一般使用在线事务处理,允许用户访问 、收集、检索公司内部 的具体信息。 优化分析(Optimization analysis) – 在产品设计周期依靠算法来实现的优化过程,在这 一过程中,公司可以设计各种各样的产品并测试这些产品是否满足预设值。 本体论(Ontology) – 表示知识本体,用于定义一个领域中的概念集及概念之间的关系 的一种哲学思想。(译者注: 数据被提高到哲学的高度,被赋予了世界本体的意义,成为一 个独立的客观数据世界) 异常值检测(Outlier detection) – 异常值是指严重偏离一个数据集或一个数据组合总 平均值的对象,该对象与数据集中的其他它相去甚远,因此,异常值的出现意味着系统发生 问题,需要对此另加分析。 P 模式识别(Pattern Recognition) – 通过算法来识别数据中的模式,并对同一数据源中 的新数据作出预测 P 字节(PB: Petabytes) – 约等于 1000 TB(terabytes), 约等于 1 百万 GB (gigabytes)。 欧洲核子研究中心(CERN)大型强子对撞机每秒产生的粒子个数就约为 1 PB 平台即服务(PaaS: Platform-as-a-Service) – 为云计算解决方案提供所有必需的基础 平台的一种服务 预测分析(Predictive analysis) – 大数据分析方法中最有价值的一种分析方法,这种方 法有助于预测个人未来(近期)的行为,例如某人很可能会买某些商品,可能会访问某些网站, 做某些事情或者产生某种行为。通过使用各种不同的数据集,例如历史数据,事务数据,社 交数据,或者客户的个人信息数据,来识别风险和机遇 隐私(Privacy) – 把具有可识别出个人信息的数据与其他数据分离开,以确保用户隐私。 公共数据(Public data) – 由公共基金创建的公共信息或公共数据集。 Q 数字化自我(Quantified Self) – 使用应用程序跟踪用户一天的一举一动,从而更好地理 解其相关的行为 查询(Query) – 查找某个问题答案的相关信息
R 再识别(Re-identification) – 将多个数据集合并在一起,从匿名化的数据中识别出个人 信息 回归分析(Regression analysis) – 确定两个变量间的依赖关系。这种方法假设两个变 量之间存在单向的因果关系(译者注:自变量,因变量,二者不可互换) RFID – 射频识别; 这种识别技术使用一种无线非接触式射频电磁场传感器来传输数 据 实时数据(Real-time data) – 指在几毫秒内被创建、处理、存储、分析并显示的数据 推荐引擎(Recommendation engine) – 推荐引擎算法根据用户之前的购买行为或其他 购买行为向用户推荐某种产品 路径分析(Routing analysis) – 针对某种运输方法通过使用多种不同的变量分析从而 找到一条最优路径,以达到降低燃料费用,提高效率的目的 S 半结构化数据(Semi-structured data) – 半结构化数据并不具有结构化数据严格的存 储结构,但它可以使用标签或其他形式的标记方式以保证数据的层次结构 情感分析(Sentiment Analysis) – 通过算法分析出人们是如何看待某些话题 信号分析(Signal analysis) – 指通过度量随时间或空间变化的物理量来分析产品的性 能。特别是使用传感器数据。 相似性搜索(Similarity searches) – 在数据库中查询最相似的对象,这里所说的数据对 象可以是任意类型的数据 仿真分析(Simulation analysis) – 仿真是指模拟真实环境中进程或系统的操作。仿真分 析可以在仿真时考虑多种不同的变量,确保产品性能达到最优 智能网格(Smart grid) – 是指在能源网中使用传感器实时监控其运行状态,有助于提 高效率 软件即服务(SaaS: Software-as-a-Service) – 基于 Web 的通过浏览器使用的一种应用 软件 空间分析(Spatial analysis) – 空间分析法分析地理信息或拓扑信息这类空间数据,从 中得出分布在地理空间中的数据的模式和规律 SQL – 在关系型数据库中,用于检索数据的一种编程语言
分享到:
收藏