用户画像不应脱离社会关系,谈复杂网络的关
键技术和应用实践
大家好,我来自天云大数据公司,我叫马敬涛,主要从事数据科学应用方面的工作。
今天我给大家分享的主题是“复杂网络理论及应用”,希望本次分享的内容能给大
家带来一些启发,如果内容中有说的不妥的地方也请大家多多包涵并给予指教,
多谢!
复杂网络概念及价值
在开始之前,我先澄清一个概念,那就是“复杂网络”和“图”这两个概念的关系,
这是我们在分析研究这个领域中所经常遇到的两个名词。
从根源上来讲“复杂网络”和“图”描述是同一种事物,都是由“点”和连接“点”的边所
组成的网络,都是研究“点”与“点”之间相互影响的“关联关系”,但侧重点不一样。
“图”是一种数学工具,在数学领域是一门独立的学科,源于十九世纪的著名“歌尼
斯堡七桥问题”,并由此诞生的欧拉“图论”,欧拉是著名数学家和“图论”的创始人,
他成功的运用“图”的方法解决了“歌尼斯堡七桥问题”。
可以说,“图”或者“图论”是以网络作为研究对象和组织数据,对其进行分析并发
现一些规律,提炼出数学算法,从把规律的研究变成可计算化的数学公式,因
此,“图论”是侧重于学术理论的,“图论”的算法是普适性的,是数学家们关注的
方向。
“复杂网络”源于“图论”,它的侧重点是面向于工程,是将“图论”的理论带入到现实
的生活生产中,结合图算法理论、应用场景以及科学技术等方面能力,帮助我们
去观察和理解真实的客观世界。
随着大数据技术应用,“大规模复杂网络”或者称之为“大图”的应用能力已成为了
现实,举个例子我们现在用的微信,可以构造出一张数亿节点和数十亿条边的复
杂网络,节点代表一个人,边就代表人与人之间的朋友关系,微博、电信通话等
领域同样如此。
总之,只要是能够对客观世界抽象出网络的场景,都是复杂网络所要研究的领
域。
基本概念说完了,下面我们从“还原论”的角度开启“复杂网络”的里程。
我们都知道一个道理,那就是“化繁为简”,把一个复杂的事物或事情,进行拆
解,变成多个简单的事物或组成物,通过分析这些简单的再去理解复杂的,这就
是“还原论”,它是一套哲学思想,我们不能否认这套哲学思想的价值,这么多年
的科学发展都是沿着这套屡试不爽的哲学理论不断前进着,它的贡献是值得歌颂
的,而且以后也会继续存在着。
但是,只有“还原论”还是不够的。
因为,自然界是一个复杂系统,并不是一个设计良好并只有一个答案的谜题,如
果我们只是孤立的去看待一个事物本身并对其进行拆解研究,会发现,很多问题
我们仍然没有得到很好的答案,比如,我们对生命的研究已经进入到了分子理论
—“基因理论”,也确实发现不少癌症的致病基因,但是,你能确定“一个有癌症基
因的人真的会患癌症吗?”,答案是“不”,
为什么呢? 因为,我们在“还原论”的高速公路上撞上了“复杂性”。
我们所生活的世界,每一草、每一木,每一个人以及每一个事物都不是孤立存
在,他们存在于自然界,并自组织成为一个良好、稳定且严格的架构,并且万事
万物都是相互存在着联系,并相互影响着,我们看到的每一个现象的发生,都只
是一个表象或者结果,个体的改变只是在行使着过程,最重要的更是其背后所蕴
藏巨大的复杂性,庆幸的是,科学界已经发现了这个背后的严格架构,并将其抽
象出网络的形态,我们见证一个正在酝酿的变革,网络将以前所未有的程度主宰
这个新世纪。
讲到这里,希望大家开始有所感悟,能够体会到“网络”这只无形的手,在操控着
万事万物的发展变化。
“复杂网络”虽然发展时间不长,但这个概念不是随便说说的,著名的科学家钱学
森先生,给出了复杂网络一个严格的定义:具有自组织、自相似、吸引子、小世
界、无标度中部分或全部性质的网络称为复杂网络。
复杂网络主要有以下几个特点:
第1,结构复杂,不用解释太多,自然界就是复杂的,抽象出来的网络也是复杂
的。
第2,网络进化,世界在发展,代表它的网络也是在变化,网络中会不断地产生
新的节点,也会产生新的关系,同样,也会在消失着一些节点和关系。今天我们
是朋友,明天你们和他们也会成为朋友。
第3,连接多样,连接边不是只代表一种类别的关系,只要能代表事物和事物之
间关系的都可以描述成边,只要是属于我们所要研究范畴的。你和她是朋友关
系,也可能还存在着同事关系。
第4,动力学复杂性,它代表一种动态的特性,事物之间的影响是可以传播的,
一个事物发生了改变,可能会影响与它有关联的其它事物的改变,并将这种改变
传播出去,把这种传播变成可计算化,正是动力学所要研究的方向。
第5,多重复杂性结合,正是多种事物相互关联和互相影响,体现出它的变化复
杂性和未知性,未来发展趋势,并非一个简单的线性公式所能解释的。
第6,节点的多样性,和连接多样性一样,网络中的节点可以代表任何事物,只
要是属于我们所要研究的范畴。
复杂网络存在我们身边。
复杂网络的研究领域非常广泛,小到一个公司内部同事之间的关联关系,大到一
个社会所有人之间的关联关系,但是不变的一点就是,只有是能够抽象出由“节
点”和“边”所连接的网络的,那就是复杂网络。
接下来,我们聚焦一下,把复杂网络研究聚焦在人的身上。
不论我们做风险分析、还是做精准营销,很多分析研究都会具体体现在人,我们
怎么看待一个人?大数据告诉我们,要做客户画像,具体描述每一个人的个性化
特征,从而了解每一个人,并提供个性化的服务并采用一些措施。
这些都没错,我们按照传统和现有的分析技术,可以相当详细的描述一个人,例
如,我们可以收集客户的基本信息,包括“年龄”、“身高”、“性别”,以及我们还收
集他的行为轨迹数据,例如,他的爱不爱看电影,爱看什么电影,什么时候会去
看电影,他上不上网,上什么网络,看什么样的网页内容等等。
但是,以上还只是在孤立的看待这个人本身,而忽视了一个重要因素,那就是他
的社会关系,因为,每个人所产生的行动很大程度上会受周围人的影响,父母影
响孩子,老板影响员工,作家影响读者,朋友影响朋友,其实我们想想,我们实
际的生活中,所做的很多事情都在受到我们的朋友、同事、亲属以及领导的影
响。我的志同道合的一个好朋友,在用Macbook笔记本电脑,如果我也需要买
一台电脑,选择苹果的产品可能性就会很高。周围的同事都在努力工作,我懈怠
可能性也不会很大。