通用人工智能与机器人学习.pdf

AGI与机器⼈学习 宋鸿涌
2016.12.13
内容
• 通⽤⼈⼯智能框架
• 深度增强学习算法思想
• 机器⼈学习最前沿进展
• AI未来发展趋势
1 通⽤⼈⼯智能框架
通⽤⼈⼯智能（Universal Artificial Intelligence）
• 通⽤⼈⼯智能即我们常说的强⼈⼯智能，也叫做AGI
（Artificial General Intelligence）
• 通⽤⼈⼯智能⽬的是创造出能够不⽤编程⾃⼰学会解决
各种问题的智能体。
• 通⽤⼈⼯智能/强⼈⼯智能并不等价于类⼈级别的智能，
只是最终⽬标是实现类⼈级别甚⾄超⼈级别的智能。
通⽤⼈⼯智能的公司
⾯向通⽤⼈⼯智能的各种开发平台
通⽤⼈⼯智能先驱
种种迹象表明：通⽤⼈⼯智能正在兴起，并在酝酿
⼀场彻底的变⾰！
最基本的通⽤⼈⼯智能框架—RL框架
⼤脑
观察 回馈 动作
世界
问题变成如何构建这样⼀个与世界交互的⼤脑？
Actor-Critic框架
⼤脑
状态s Actor⾏动模块 动作a
更新
历史
Critic评判模块 回馈r
动作a
⼤脑思考结果
基于Actor-Critic 的智能框架
Actor
预测
决策
状态s 理解 动作a
控制
记忆
更新
回馈r
历史 价值观 Critic
更新
动作a
本能
你是不是Host？什么是⾃由意识？
⼤脑思考结果
基于Actor-Critic 的智能框架
Actor
预测
决策
状态s 理解 动作a
控制