大会介绍


AI HPC-强化学习与GPU并行编




培训简介



       随着人工智能(AI)特别是深度学习(Deep Learning)近年来的飞速发展,在多个领域的成功应用,已经成为当前学术界和各行业最炙手可热的研究应用方向。不仅广泛应用于搜索引擎、电子商务、社交网络等互联网服务,并且在计算视觉、自然语言处理、金融、生物医药等行业AI的研究与应用也呈现爆发式增长。学习深度学习首先需要对核心理论及算法有深入理解,在理解理论的基础上才能进行应用。GPU的价值不止体现在深度学习,在高性能计算、物联网、人工智能、生物信息、分子模拟、计算化学  、材料力学、系统仿真、流体力学、机械设计、生物制药、航空动力、地质勘探、气候模拟等领域,算法越来越复杂,需要处理的海量数据越来越巨大,高性能计算能力就显得尤为重要。如今,几乎所有的深度学习(机器学习)研究者都在使用GPU进行相关的研究,NVIDIA针对深度学习的计算,有一套完整的解决方案,cuDNN已经成为主流深度学习框架调用的深度学习GPU函数库,包含完整的矩阵乘法和卷积计算的实现。为加强AI技术的创新发展和应用,培养社会急缺的深度学习专业人才,中科院计算所西部高等技术研究院特别邀请深度学习领域的专家,举办“AI HPC--强化学习与GPU并行编程“高级培训班




培训内容





强化学习

第一节

PythonTensorFlow

解释器Python2.7/3.6IDEAnaconda/Pycharm
列表/元组/字典//文件
numpy/scipy/matplotlib/panda的介绍和典型使用
scikit-learn的介绍和典型使用
TensorFlow典型应用
Soble/Prewitt/Laplacian算子与卷积网络

代码和案例实践:

卷积神经网络CNN

神经网络结构,滤波器,卷积
池化,激活函数,反向传播
目标分类与识别、目标检测与追踪
AlexNetVGGNetGoogleLeNet
Inception-V3/V4
ResNetDenseNet

代码和案例实践:
数字图片分类
卷积核与特征提取
卷积神经网络调参经验分享

图像视频的定位与识别

视频关键帧处理
物体检测与定位
RCNNFast-RCNNFaster-RCNNMaskRCNN
YOLO
FaceNet

代码和案例实践:
迁移学习
人脸检测

循环神经网络RNN

RNN基本原理
LSTMGRU
Attention
CNN+LSTM模型
Bi-LSTM双向循环神经网络结构
编码器与解码器结构
特征提取:word2vec
Seq2seq模型

代码和案例实践:
看图说话
视频理解
作诗机器人

循环神经网络调参经验分享

自然语言处理

语言模型Bi-Gram/Tri-Gram/N-Gram
分词
词性标注
依存句法分析
语义关系抽取
词向量
文本分类
机器翻译
文本摘要
阅读理解
问答系统
情感分析

代码和案例实践:
输入法设计
HMM分词
文本摘要的生成
智能对话系统和SeqSeq模型
阅读理解的实现与Attention

生成对抗网络GAN

生成与判别
生成模型:贝叶斯、HMM到深度生成模型
GAN对抗生成神经网络
DCGAN
Conditional GAN
InfoGan
Wasserstein GAN

代码和案例实践:
图片生成
看图说话
对抗生成神经网络调参经验分享

强化学习RL

为何使用增强学习
马尔科夫决策过程
贝尔曼方程、最优策略
策略迭代、值迭代
Q Learning
SarsaLamda
DQN
A3C
ELF

代码和案例实践:
DQN
DDPG汽车驾驶游戏

HPC

第一节

共享内存编程

OpenMP基础:概念介绍、环境搭建、基本用法、编程模型、性能分析

OpenMP线程操作:线程同步、数据同步、多线程并发、并行循环计算详解

OpenMP任务和数据处理:数据共享模式、作用范围制导语句、task指令的使用

深入了解OpenMP的内存模型和硬件基础

Hello_world

基本指令的使用

积分法计算圆周率PI

 

第二节

CPU并行计算与编程基础

并行机体系机构与编程模型概述

 共享存储结构

 共享地址空间

 消息传递

 数据并行

 SMPGPU集群

并行计算的模型与分析

 并行执行时间评估模型

 并行算法的效率特性

 并行计算拓展性分析

MPI并行编程一

 MPI基本概念与定义 

 MPI运行环境

 MPI基础:MPI程序初始化与终止、进程设置与获取、消息发送与接

 进程间的通讯:通讯模式、阻塞与非阻塞通讯

MPI并行编程二

 集合通信:数据广播、归约、分发、搜集、all to all 通讯、归约操作

 MPI派生数据类型

混合并行编程:MPI+OpenMP

 多线程编程与openMP概述

 openMP指令介绍

求解圆周率PI

向量点乘

矩阵向量乘法

矩阵乘法

第三节

GPU编程基础与优化进阶

CUDA基础:API、数据并行、线程模型、存储模型、控制、同步、并发和通信、加速比;

CUDA开发环境搭建和工具配置;

CUDA优化进阶:线程组织调度,分支语句,访存优化,数据传输,原子操作;

GPU并行计算模式及案例分析:

分析调试:parallel nsightvisual profilercuda-gdb

CUDA生态系统和相关专业领域软件介绍;

矩阵乘

直方图

卷积

规约

第四节

GPU深度学习

深度学习GPU解决方案:

基于GPU的交互式深度学习训练平台:DIGITS

深度学习框架的GPU加速:TensorFlowCaffe等;

NVIDIA深度学习SDKcuDNNTensorRTNCCL

深度学习显卡选择;

CUDA 10新特性

Pascal,VoltaTuring显卡新架构

Caffe-MPI

Horovod (Tensorflow-MPI)




培训目标




       在深度学习的基本概念和技术方法的基础上阐述深度学习的基本思想和解决问题的基本思维模式,从理论到实践逐步提升对深度学习技术方法的理解;从模型表达能力到计算复杂度两个层次帮助学员理解从数据推知数据蕴含的结构、解决问题的技巧。结合应用案例和开发框架构建学员从所学理论到实践解决问题的理论和工程相结合的能力。针对学员面对的实践问题展开讨论、方案建议。为学员配备由浅入深的参考书和深度学习开发教材,便于课后逐步提高能力。

现有硬件资源最大化利用,提供多种并行优化方案组合策略,提高并行程序设计与开发水平,熟悉常见的并行计算模式,了解深度学习的主流GPU加速解决方案;实际体验高性能计算环境,能够应对主流的超算环境;提供符合自身特点的工程计算解决方案,了解高性能计算和深度学习应用场景




培训对象




       院校计算机专业、网络通信专业、电子工程专业、信息计算科学专业、统计学专业等对AI /深度学习技术及研发感兴趣的老师、研究生等。相关从事大数据、数据挖掘、机器学习、计算视觉、自然语言处理、人机交互等领域研发的单位的技术部门、IT企业的工程师、研发负责人、算法工程师等。

从事高性能计算、GPU加速、并行计算、CUDA编程、openCV、石油、气象、化工、人工智能、深度学习、计算机视觉、人脸识别、 图像处理、行人检测、自然语言处理等领域相关的企事业单位技术骨干、科研院所研究人员和大专院校相关专业教学人员及在校研究生等相关技术人员;




培训方式



1、培训讲座

 2上机实操

 3、专题小组研讨与案例讲解分析结合






时间地点




2019年 10月26日 — 2019年10月 29日(25日报道)


重庆市渝北区双鱼座A15楼中科院计算所西部高等技术研究院主会议室




授课讲师




主讲专家来自中科院及高校的深度学习高级专家,拥有丰富的科研及工程技术经验,长期从事计算领域国家重大项目研究,具有资深的技术底蕴和专业背景。






培训费用




A  ¥RMB:4300/,包含报名费、培训费、资料费、证书费 

 ¥RMB:4800/,(包含报名费、培训费、资料费、证书费)


食宿可统一安排,费用自理

A类:学员经培训考试合格后可以获得:由 北京中科云畅应用技术研究院 颁发的结业证书

B类:培训结束经考核合格,可获得由中国电子学会颁发全国电子信息人才能力提升工程专业技术证书, 依据人力资源与社会保障部《国家级专业技术人员继续教育基地管理办法》(人社厅发〔2013〕53 号)的要求,本次学习情况,本次学习情况可计入继续教育学时并作为对专业技术人员考核评价、岗位聘用、职称评聘和执业注册的重要依据。须提交电子版彩色照片,身份证复印件。



主办单位: 中科院计算所西部高等技术研究院

承办单位: 北京中科云畅应用技术研究院

协办单位: 北京中科图云科技有限公司


西研院.png

西研院2.png



有疑问可咨询:

13001051273或798947682@qq.com
中科图云小助手微信:TuyunAssistant


更多资讯可关注: 

官方公众号:中科图云
服务号:中科图云AICloud





往届回顾





微信图片_20190912165208.jpg

微信图片_20190912165218.jpg

微信图片_20190912165223.jpg





中科图云科技有限公司


时间:10-26 09:00 - 10-29 17:00
地点:双鱼座A15楼中科院计算所西部高等技术研究院主会议室

报名购票

主办方