人工智能:模型与算法
人工智能发展与挑战
吴飞
浙江大学计算机学院
提纲
1、 记忆驱动的智能计算
2、 可计算社会学
3、若干挑战
记忆是人类认知的基石
工作记忆
(直觉、顿悟、因果等推理)
持续时间:< 30 sec
瞬时记忆
(多通道感知)
持续时间:< 5 sec
长期记忆
(先验、知识等)
持续时间: 1 sec--lifelong
知之在人者谓之知
知觉:人所固有认识外界客观
事物本能,如视觉、听觉和触
觉等能力
知有所合谓之智 智慧:知觉对外界事物的认知
所以能之在人者为
本能:人身上所具用来处置事
之能
物能力
能有所合谓之能 智能:对外界所产生的认知和
决策
《荀子. 正名》
Alan Baddeley, Working memory: looking back and looking forward, Nature Reviews Neuroscience 4, 829–839, 2003
记忆单元之间及其与环境的交互是提升智能能力的重要途径
工作记忆
(直觉、顿悟、因果等推理)
持续时间:< 30 sec
环境:强化学习
Your
ability
to
remember
something doesn’t just depend
on the strength of the memory,
it depends on the state that
you’re in
瞬时记忆
(多通道感知)
持续时间:< 5 sec
长期记忆
(先验、知识等)
持续时间: 1 sec--lifelong
Human-level control through deep reinforcement learning, Nature, 518:529–533, 2015
模型中的记忆(internal memory)
神经网络中的赫布理论(Hebbian theory):突触可塑性原理,即突触前神经元向突触后神经元的持续
重复的刺激可以导致突触传递效能的增加
神经元间权值信息既执行计算任务、又承载记忆功能。
记忆被新知识覆盖导致多任务难以实行、模型泛化能力不强、结果解释性弱
从分段学习到“端到端”学习:以自然语言翻译为例
语义
语用
语法
解码
编码
Conditional
random field
Hidden Markov
Model
word2vec
Paragraph2vec
Node2vec
path2vec
从分段学习到“端到端”学习:以视觉分类和理解为例
Detection
Classification
Understanding
黑盒子
(多粒度语义在中间层丢失)
Two stream model
Region-CNN
Mask R-CNN
输入端
端到端学习,利用卷积、池化和误差反
向传播技术,强调特征学习
输出端:高层语义
(what)
从分段学习到“端到端”学习
分段学习
端到端学习