目前应用最为广泛,工程实践最丰富,研究最为火热的人工智能(Artificial Intelligence)方向就是深度学习(Deep Learning)。深度学习算法目前在计算机视觉,自然语言处理,语音识别等典型场景取得了超越传统算法的效果与突破性进展。应用与算法层面成功的背后离不开系统本身作为基础设施提供容易编程的接口,高效率的执行,大规模的训练,跨平台的部署和工具链的支持。
我们在后面章节介绍的人工智能系统(Artificial Intelligence System)主要是指深度学习系统(Deep Learning System),但是这些系统设计原则大部分也适合于机器学习系统(Machine Learning System)。深度学习算法本身无论从模型设计,训练方式也借鉴了很多传统机器学习算法的经典理论与实践方式,但是深度学习系统本身相比机器学习系统从硬件到软件层有更多新的挑战和演化,数据与问题规模变得更大,应用场景与部署也更加广泛。综合起来深度学习系统会综合考虑和借鉴机器学习系统(Machine Learning System),大数据系统(Big Data System)和高性能计算(High Performance Computing)领域和社区中的经典的系统设计,优化与问题解决方法,并演化出针对深度学习算法特点的新的系统设计。
本章希望在开篇让读者能够了解深度学习是什么,以及作为人工智能系统的上层工作负载(Workload),深度学习的发展与现状是如何驱动人工智能系统本身发展的。本章首先将展开介绍深度学习的历史,现状与发展,之后介绍深度学习发展的驱动力:算法,框架与体系结构的发展,让读者感受到除了上层应用与算法,系统底层抽象与管理的硬件资源同样是重要的驱动因素。系统常常处于中间层对上管理任务,对下抽象与管理硬件。之后我们将介绍深度学习系统的组成与生态,让读者形成系统的(Systematic)知识框架,为未来开展人工智能系统的学习奠定基础。最后我们通过简单实例启发读者了解算法背后的系统问题,以及回顾经典的计算机系统设计理论并指导之后的深度学习系统的学习。
本章将围绕 1) 深度学习的历史,现状与发展。2)算法,框架,体系结构与算力的进步。 3)深度学习系统组成与生态。4)深度学习样例背后的系统问题。5)影响深度学习系统设计的理论,原则与假设。这五方面的内容展开介绍,以期让读者在开篇了解人工智能系统的来龙去脉,形成人工智能系统的系统化与层次化的初步感受,为后续展开具体的人工智能系统其他章节内容打好初步基础。
本章包含以下内容: