从 A——Z,大数据常见术语表合集
大数据的出现带来了许多新的术语,但这些术语往往比较难以理解。因此,一亦在国外
的一个网站上扒来了常用的大数据术语表,抛砖引玉,供大家深入了解。其中部分定义参考
了相应的博客文章。当然,这份术语表并没有 100%包含所有的术语。
A
聚合(Aggregation) – 搜索、合并、显示数据的过程.
算法(Algorithms) – 可以完成某种数据分析的数学公式.
分析法(Analytics) – 用于发现数据的内在涵义.
异常检测(Anomaly detection) – 在数据集中搜索与预期模式或行为不匹配的数据项。
除了“Anomalies”,用来表示异常的词有以下几种:outliers, exceptions, surprises, contami
nants.他们通常可提供关键的可执行信息.
匿名化(Anonymization) – 使数据匿名,即移除所有与个人隐私相关的数据.
应用(Application) – 实现某种特定功能的计算机软件.
人工智能(Artificial Intelligence) – 研发智能机器和智能软件,这些智能设备能够感知
周遭的环境,并根据要求作出相应的反应,甚至能自我学习.
B
行为分析法(Behavioural Analytics) – 这种分析法是根据用户的行为如“怎么做”,“为什
么这么做”,以及“做了什么”来得出结论,而不是仅仅针对人物和时间的一门分析学科,它
着眼于数据中的人性化模式.
大数据科学家(Big Data Scientist) – 能够设计大数据算法使得大数据变得有用的人.
大数据创业公司(Big data startup) – 指研发最新大数据技术的新兴公司.
生物测定术(Biometrics) – 根据个人的特征进行身份识别.
B 字节 (BB: Brontobytes) – 约等于 1000 YB(Yottabytes),相当于未来数字化宇宙的
大小。1 B 字节包含了 27 个 0!
商业智能(Business Intelligence) – 是一系列理论、方法学和过程,使得数据更容易被
理解.
C
分类分析(Classification analysis) – 从数据中获得重要的相关性信息的系统化过程;
这类数据也被称为元数据(meta data),是描述数据的数据.
云计算(Cloud computing) – 构建在网络上的分布式计算系统,数据是存储于机房外的
(即云端).
聚类分析(Clustering analysis) – 它是将相似的对象聚合在一起,每类相似的对象组合
成一个聚类(也叫作簇)的过程。这种分析方法的目的在于分析数据间的差异和相似性.
冷数据存储(Cold data storage) – 在低功耗服务器上存储那些几乎不被使用的旧数据。
但这些数据检索起来将会很耗时.
对比分析(Comparative analysis) – 在非常大的数据集中进行模式匹配时,进行一步步
的对比和计算过程得到分析结果.
复杂结构的数据(Complex structured data) – 由两个或多个复杂而相互关联部分组成
的数据,这类数据不能简单地由结构化查询语言或工具(SQL)解析.
计算机产生的数据(Computer generated data) – 如日志文件这类由计算机生成的数
据
并发(Concurrency) – 同时执行多个任务或运行多个进程.
相关性分析(Correlation analysis) – 是一种数据分析方法,用于分析变量之间是否存
在正相关,或者负相关.
客户关系管理(CRM: Customer Relationship Management) – 用于管理销售、业务过
程的一种技术,大数据将影响公司的客户关系管理的策略.
D
仪表板(Dashboard) – 使用算法分析数据,并将结果用图表方式显示于仪表板中.
数据聚合工具(Data aggregation tools) – 将分散于众多数据源的数据转化成一个全
新数据源的过程.
数据分析师(Data analyst) – 从事数据分析、建模、清理、处理的专业人员.
数据库(Database) – 一个以某种特定的技术来存储数据集合的仓库.
数据库即服务(Database-as-a-Service) – 部署在云端的数据库,即用即付,例如亚马
逊云服务(AWS: Amazon Web Services).
数据库管理系统(DBMS: Database Management System) – 收集、存储数据,并提供
数据的访问.
数据中心(Data centre) – 一个实体地点,放置了用来存储数据的服务器.
数据清洗(Data cleansing) – 对数据进行重新审查和校验的过程,目的在于删除重复信
息、纠正存在的错误,并提供数据一致性.
数据管理员(Data custodian) – 负责维护数据存储所需技术环境的专业技术人员.
数据道德准则(Data ethical guidelines) – 这些准则有助于组织机构使其数据透明化,
保证数据的简洁、安全及隐私.
数据订阅(Data feed) – 一种数据流,例如 Twitter 订阅和 RSS.
数据集市(Data marketplace) – 进行数据集买卖的在线交易场所.
数据挖掘(Data mining) – 从数据集中发掘特定模式或信息的过程.
数据建模(Data modelling) – 使用数据建模技术来分析数据对象,以此洞悉数据的内
在涵义.
数据集(Data set) – 大量数据的集合.
数据虚拟化(Data virtualization) – 数据整合的过程,以此获得更多的数据信息,这个
过程通常会引入其他技术,例如数据库,应用程序,文件系统,网页技术,大数据技术等等.
去身份识别(De-identification) – 也称为匿名化(anonymization),确保个人不会通过数
据被识别.
判别分析(Discriminant analysis) – 将数据分类;按不同的分类方式,可将数据分配到
不同的群组,类别或者目录。是一种统计分析法,可以对数据中某些群组或集群的已知信息
进行分析,并从中获取分类规则。
分布式文件系统(Distributed File System) – 提供简化的,高可用的方式来存储、分析、
处理数据的系统.
文件存贮数据库(Document Store Databases) – 又称为文档数据库(document-orient
ed database), 为存储、管理、恢复文档数据而专门设计的数据库,这类文档数据也称为半
结构化数据.
E
探索性分析(Exploratory analysis) – 在没有标准的流程或方法的情况下从数据中发掘
模式。是一种发掘数据和数据集主要特性的一种方法.
E 字节(EB: Exabytes) – 约等于 1000 PB(petabytes), 约等于 1 百万 GB。如今全球每
天所制造的新信息量大约为 1 EB.
提取-转换-加载(ETL: Extract, Transform and Load) – 是一种用于数据库或者数据
仓库的处理过程。即从各种不同的数据源提取(E)数据,并转换(T)成能满足业务需要的数据,
最后将其加载(L)到数据库.
F
故障切换(Failover) – 当系统中某个服务器发生故障时,能自动地将运行任务切换到另
一个可用服务器或节点上.
容错设计(Fault-tolerant design) – 一个支持容错设计的系统应该能够做到当某一部
分出现故障也能继续运行.
G
游戏化(Gamification) – 在其他非游戏领域中运用游戏的思维和机制,这种方法可以以
一种十分友好的方式进行数据的创建和侦测,非常有效。
图形数据库(Graph Databases) – 运用图形结构(例如,一组有限的有序对,或者某种
实体)来存储数据,这种图形存储结构包括边缘、属性和节点。它提供了相邻节点间的自由
索引功能,也就是说,数据库中每个元素间都与其他相邻元素直接关联。
网格计算(Grid computing) – 将许多分布在不同地点的计算机连接在一起,用以处理
某个特定问题,通常是通过云将计算机相连在一起。
H
Hadoop – 一个开源的分布式系统基础框架,可用于开发分布式程序,进行大数据的运
算与存储。
Hadoop 数据库(HBase) – 一个开源的、非关系型、分布式数据库,与 Hadoop 框架共
同使用.
HDFS – Hadoop 分布式文件系统(Hadoop Distributed File System);是一个被设计成
适合运行在通用硬件(commodity hardware)上的分布式文件系统.
高性能计算(HPC: High-Performance-Computing) – 使用超级计算机来解决极其复杂
的计算问题.
I
内存数据库(IMDB: In-memory) – 一种数据库管理系统,与普通数据库管理系统不同
之处在于,它用主存来存储数据,而非硬盘。其特点在于能高速地进行数据的处理和存取。
物联网(Internet of Things) – 在普通的设备中装上传感器,使这些设备能够在任何时
间任何地点与网络相连。
J
法律上的数据一致性(Juridical data compliance) – 当你使用的云计算解决方案,将你
的数据存储于不同的国家或不同的大陆时,就会与这个概念扯上关系了。你需要留意这些存
储在不同国家的数据是否符合当地的法律。
K
键值数据库(KeyValue Databases) – 数据的存储方式是使用一个特定的键,指向一个
特定的数据记录,这种方式使得数据的查找更加方便快捷。键值数据库中所存的数据通常为
编程语言中基本数据类型的数据。
L
延迟(Latency) – 表示系统时间的延迟.
遗留系统(Legacy system) – 是一种旧的应用程序,或是旧的技术,或是旧的计算系统,
现在已经不再支持了。
负载均衡(Load balancing) – 将工作量分配到多台电脑或服务器上,以获得最优结果
和最大的系统利用率。
位置信息(Location data) – GPS 信息,即地理位置信息。
日志文件(Log file) – 由计算机系统自动生成的文件,记录系统的运行过程。
M
M2M 数据(Machine2Machine data) – 两台或多台机器间交流与传输的内容
机器数据(Machine data) – 由传感器或算法在机器上产生的数据
机器学习(Machine learning) – 人工智能的一部分,指的是机器能够从它们所完成的任
务中进行自我学习,通过长期的累积实现自我改进。
MapReduce – 是处理大规模数据的一种软件框架(Map: 映射,Reduce: 归纳)。
大规模并行处理(MPP: Massively Parallel Processing) – 同时使用多个处理器(或多台
计算机)处理同一个计算任务。
元数据(Metadata) – 被称为描述数据的数据,即描述数据数据属性(数据是什么)的信
息。
MongoDB – 一种开源的非关系型数据库(NoSQL database)
多维数据库(Multi-Dimensional Databases) – 用于优化数据联机分析处理(OLAP)程序,
优化数据仓库的一种数据库。
多值数据库(MultiValue Databases) – 是一种非关系型数据库(NoSQL), 一种特殊的多
维数据库:能处理 3 个维度的数据。主要针对非常长的字符串,能够完美地处理 HTML 和 X
ML 中的字串。
N
自然语言处理(Natural Language Processing) – 是计算机科学的一个分支领域,它研
究如何实现计算机与人类语言之间的交互。
网络分析(Network analysis) – 分析网络或图论中节点间的关系,即分析网络中节点间
的连接和强度关系。
NewSQL – 一个优雅的、定义良好的数据库系统,比 SQL 更易学习和使用,比 NoSQL
更晚提出的新型数据库
NoSQL – 顾名思义,就是“不使用 SQL”的数据库。这类数据库泛指传统关系型数据库
以外的其他类型的数据库。这类数据库有更强的一致性,能处理超大规模和高并发的数据。
O
对象数据库(Object Databases) – (也称为面象对象数据库)以对象的形式存储数据,用
于面向对象编程。它不同于关系型数据库和图形数据库,大部分对象数据库都提供一种查询
语言,允许使用声明式编程(declarative programming)访问对象.
基于对象图像分析(Object-based Image Analysis) – 数字图像分析方法是对每一个像
素的数据进行分析,而基于对象的图像分析方法则只分析相关像素的数据,这些相关像素被
称为对象或图像对象。
操作型数据库(Operational Databases) – 这类数据库可以完成一个组织机构的常规操
作,对商业运营非常重要,一般使用在线事务处理,允许用户访问 、收集、检索公司内部
的具体信息。
优化分析(Optimization analysis) – 在产品设计周期依靠算法来实现的优化过程,在这
一过程中,公司可以设计各种各样的产品并测试这些产品是否满足预设值。
本体论(Ontology) – 表示知识本体,用于定义一个领域中的概念集及概念之间的关系
的一种哲学思想。(译者注: 数据被提高到哲学的高度,被赋予了世界本体的意义,成为一
个独立的客观数据世界)
异常值检测(Outlier detection) – 异常值是指严重偏离一个数据集或一个数据组合总
平均值的对象,该对象与数据集中的其他它相去甚远,因此,异常值的出现意味着系统发生
问题,需要对此另加分析。
P
模式识别(Pattern Recognition) – 通过算法来识别数据中的模式,并对同一数据源中
的新数据作出预测
P 字节(PB: Petabytes) – 约等于 1000 TB(terabytes), 约等于 1 百万 GB (gigabytes)。
欧洲核子研究中心(CERN)大型强子对撞机每秒产生的粒子个数就约为 1 PB
平台即服务(PaaS: Platform-as-a-Service) – 为云计算解决方案提供所有必需的基础
平台的一种服务
预测分析(Predictive analysis) – 大数据分析方法中最有价值的一种分析方法,这种方
法有助于预测个人未来(近期)的行为,例如某人很可能会买某些商品,可能会访问某些网站,
做某些事情或者产生某种行为。通过使用各种不同的数据集,例如历史数据,事务数据,社
交数据,或者客户的个人信息数据,来识别风险和机遇
隐私(Privacy) – 把具有可识别出个人信息的数据与其他数据分离开,以确保用户隐私。
公共数据(Public data) – 由公共基金创建的公共信息或公共数据集。
Q
数字化自我(Quantified Self) – 使用应用程序跟踪用户一天的一举一动,从而更好地理
解其相关的行为
查询(Query) – 查找某个问题答案的相关信息
R
再识别(Re-identification) – 将多个数据集合并在一起,从匿名化的数据中识别出个人
信息
回归分析(Regression analysis) – 确定两个变量间的依赖关系。这种方法假设两个变
量之间存在单向的因果关系(译者注:自变量,因变量,二者不可互换)
RFID – 射频识别; 这种识别技术使用一种无线非接触式射频电磁场传感器来传输数
据
实时数据(Real-time data) – 指在几毫秒内被创建、处理、存储、分析并显示的数据
推荐引擎(Recommendation engine) – 推荐引擎算法根据用户之前的购买行为或其他
购买行为向用户推荐某种产品
路径分析(Routing analysis) – 针对某种运输方法通过使用多种不同的变量分析从而
找到一条最优路径,以达到降低燃料费用,提高效率的目的
S
半结构化数据(Semi-structured data) – 半结构化数据并不具有结构化数据严格的存
储结构,但它可以使用标签或其他形式的标记方式以保证数据的层次结构
情感分析(Sentiment Analysis) – 通过算法分析出人们是如何看待某些话题
信号分析(Signal analysis) – 指通过度量随时间或空间变化的物理量来分析产品的性
能。特别是使用传感器数据。
相似性搜索(Similarity searches) – 在数据库中查询最相似的对象,这里所说的数据对
象可以是任意类型的数据
仿真分析(Simulation analysis) – 仿真是指模拟真实环境中进程或系统的操作。仿真分
析可以在仿真时考虑多种不同的变量,确保产品性能达到最优
智能网格(Smart grid) – 是指在能源网中使用传感器实时监控其运行状态,有助于提
高效率
软件即服务(SaaS: Software-as-a-Service) – 基于 Web 的通过浏览器使用的一种应用
软件
空间分析(Spatial analysis) – 空间分析法分析地理信息或拓扑信息这类空间数据,从
中得出分布在地理空间中的数据的模式和规律
SQL – 在关系型数据库中,用于检索数据的一种编程语言