泰迪科技就业班培训课程大纲 方向一：Hadoop+Spark 大数据开发 Linux 基础 数据库 SQL 基础 Java 基础 1.Linux 操作系统简介、安装及使用； 2.Linux 档案权限与目录配置、档案与目录管理、用户账号管理； 3.文件操作、文本编辑、vim 程序编辑器； 4.Bash 简介及功能介绍、Shell Script 编程； 1.数据库概述、数据库系统、管理系统； 2.MySQL 安装配置、基本操作、MySQL 连接工具的使用； 3.数据库基础知识概述：数据库、表结构、字段及其数据类型、运算符； 4.SQL 概述,数据库及表的创建基本操作； 5.增删改查语句,使用 Java 程序进行增删改查。
1.Java 基础程序设计：数据类型、运算符、表达式、判断循环语言； 2.数组定义与使用、方法定义与重载； 3.面向对象（基础）； 4.面向对象（高级）； 5.异常概念与编程；包概念与导入；泛型概念与编程应用； 6.Java 类集：Collection 接口主要操作方法：List、Set、Map 常用子类与使用，集合操作与遍历方法； 7.多线程编程及应用； 8.Java EE 编程实战；JavaEE 基础，HTML，JavaScript，Java Web，Tomcat，JSP
Hadoop 编程开发 Hive 大数据分析 HBase 数据快速读写 1.Hadoop 简介、架构、原理； 2.集群配置及安装（JDK、SSH）； 2. Hadoop IDE 开发环境配置（Eclipse 配置）； 3. Hadoop MapReduce 实战：单词计数； 4. Hadoop 命令（hadoop fs , hadoop job, Hadoop jar）； 5.分布式文件系统 HDFS
Java API 实战：创建目录，上传，下载，删除； 5. Hadoop 基础编程（Mapper、Reducer、Driver）； 6. Hadoop 高级编程（Combiner／Partitioner原理实战及自定义，FileInputFormat、FileOutputFormat）； 8. Hadoop 高级编程（自定义键值对）； 9. Hadoop 高级编程（开发环境直接运行MapReduce 程序）； 10. Hadoop 案例 1：基于 KNN 的鸢尾花分类预测； 11. Hadoop 案例 2：基于 Kmeans 的客户价值分析。
1. Hive 产生背景、概念，Hive架构、原理； 2. Hive 安装、配置； 3.Hive 与 RDBMS 区别，Hive应用场景； 4. Hive HQL 命令，数据库，表创建；数据导入、导出，HQL查询； 5.Hive 内置函数，自定义函数（UDF）； 6.Hive 与 Java 交互； 7.基于 Hive 的航空公司客户价值分析项目案例。
1.HBase 简介、架构原理； 2.HBase 集群安装配置（Zookeeper 简介、Zookeeper 安装配置、配置文件解读）； 3.HBase 架构与数据模型（组件原理功能、Rowkey 设计、Schema 设计）； 4.HBas 命令行（hbase shell）表操作； 5.HBase 开发环境配置； 6.Java API 操作 HBase 删/建表、HBase增删改查； 7.HBase 与 Hadoop Mapreduce 交互（HBase to HDFS， HDFS to HBase，HBase to HBase）； 9.基于 HBase 的冠字号查询系统（案例背景、架构、数据处理、建表、导入表数据实现）； 10.基于HBase的冠字号查询系统Java Web 实现。
Spark 大数据分析与编程 大数据实战案例 1.Spark 简介（Spark 简介、应用场景）;
2.Spark 安装配置（资源管理器 YARN／Spark Standalone）； 3. Spark 整合 Hive 及传统数据库； 3.原理与架构（组件功能、RDD 原理）； 4.Spark 编程基础（Scala 及编程简介）； 5.Spark Transformation/Action 编程； 6.Spark Intellij IDEA 开发环境配置； 7.基于 Spark ALS 算法的电影推荐系统（案例背景、系统架构）； 8.基于 Spark ALS 算法的电影推荐系统（Spark Shell 简单实现& Java Web 远程调用 Spark 集群实现）；
一、基于 Hadoop、Spark 的法律网智能推荐 1.法律网案例背景，架构设计； 2.数据预处理：异常数据探索、数据剔除； 3.系统数据预处理实现； 4.推荐算法简介、评估与选型； 5.系统模型建立、预研、调优； 6.系统模型完整实现。
二、广电大数据用户营销 1、案例背景、架构设计、数据探索 2、数据探索分析及数据预处理 3、SVM 预测用户是否挽留 4、用户画像实现 三、广告流量作弊识别 1、案例背景、架构设计、探索分析 2、预处理广告流量检测数据 3、使用决策树算法进行作弊流量识别 4、使用随机森林算法进行作弊流量识别 四、P2P 信用贷款风险预测 1、分析 P2P 信贷行业的风险控制、了解某 P2P 平台数据情况、用户逾期预测的步骤与流程 2、探索 P2P 信贷用户逾期的相关因素 3、P2P 信贷用户数据预处理 4、构建用户逾期还款预测模型
方向二：Python+TensorFlow 大数据挖掘
Python 编程基础 Python 数据分析与应用 1 准备工作 1.1 认识 Python 1.2 搭建 Python 环境 1.3 安装 PyCharm 并创建一个应声虫程序 2 Python 基础知识 2.1 掌握 Python 固定语法 2.2 创建字符串变量并提取里面的数值 2.3 计算圆形的各参数 3 Python 数据结构 3.1 创建一个列表（list）并进行增删改查操作 3.2 转换一个元组（tuple）并进行取值操作 3.3 创建一个字典（dict）并进行增删改查操作 3.4 将两个列表转换为集合（set）并进行集合运算 4 程序流程控制语句 4.1 实现考试成绩划分 1 Python 数据分析概述 1.1 认识数据分析 1.2 熟悉 Python 数据分析的工具 1.3 安装 Python3 的 Anaconda 发行版 1.4 掌握 Jupyter Notebook 常用功能 2 NumPy 数值计算基础 2.1 认识 NumPy 数组对象 ndarray 2.2 认识 NumPy 矩阵与通用函数 2.3 利用 NumPy 进行统计分析 3 Matplotlib 数据可视化基础 3.1 了解绘图基础语法与常用参数 3.2 分析特征间的关系 3.3 分析特征内部数据分布与分散状况 4 Pandas 统计分析基础 4.1 读写不同数据源的数据
4.2 实现一组数的连加与连乘 4.3 使用冒泡排序法排序 4.4 实训（猜数字游戏）
5 函数 5.1 自定义函数实现输出方差 5.2 使用匿名函数添加列表元素 5.3 存储并导入函数模块 6 面向对象 6.1 认识面向对象编程 6.2 创建 Car 类 6.3 创建 Car 对象 6.4 迭代 Car 对象 6.5 产生 Land_Rover 对象（子类）
7 文件基础 7.1 认识文件 7.2 读取 txt 文件中的数据 7.3 保存数据为 csv 格式文件 7.4 认识 os 模块 4.2 掌握 DataFrame 的常用操作 4.3 转换与处理时间序列数据 4.4 使用分组聚合进行组内计算 4.5 创建透视表与交叉表 5 使用 Pandas 进行数据预处理 5.1 合并数据 5.2 清洗数据 5.3 标准化数据 5.4 转换数据 6 使用 scikit-learn 构建模型 6.1 使用 sklearn 转换器处理数据 6.2 构建并评价聚类模型 6.3 构建并评价分类模型 6.4 构建并评价回归模型
Linux 基础 数据库 SQL 基础 1.Linux 操作系统简介、安装及使用； 2.Linux 档案权限与目录配置、档案与目录管理、用户账号管理； 3.文件操作、文本编辑、vim 程序编辑器； 4.Bash 简介及功能介绍、Shell Script 编程； 1.数据库概述、数据库系统、管理系统； 2.MySQL 安装配置、基本操作、MySQL 连接工具的使用； 3.数据库基础知识概述：数据库、表结构、字段及其数据类型、运算符； 4.SQL 概述,数据库及表的创建基本操作； 5.增删改查语句,使用 Java 程序进行增删改查。
Python 数据可视化 Python 网络爬虫实战 1 准备工作环境 1.1 准备介绍 1.2 安装 matplotlib、Numpy 和 Scipy 库 1.3 安装图像处理工具：Python 图像库（PIL）
1.4 配置 matplotlib 参数 2 绘制并定制化图表 2.1 简介 2.2 定义图表类型—柱状图、线形图和堆积柱状图 2.3 设置坐标轴长度和范围、线型、属性和格式化字符串 2.4 添加图例和注解 3 学习更多图表和定制化 3.1 简介 3.2 设置坐标轴标签的透明度和大小 1 Python 爬虫环境与爬虫简介 1.1 认识爬虫 1.2 认识反爬虫 1.3 配置 Python 爬虫环境 2 网页前端基础 2.1 认识 Python 网络编程 2.2 认识 HTTP 协议 3 简单静态网页爬取 3.1 实现 HTTP 请求 3.2 解析网页 3.3 数据存储 4 常规动态网页爬取 4.1 逆向分析爬取动态网页 4.2 使用 Selenium 库爬取动态网页
3.3 为图表线条添加阴影 3.4 向图表添加数据表 3.5 使用 subplots(子区) 3.6 定制化网格 4 创建 3D 可视化图表 4.1 简介 4.2 创建 3D 柱状图 4.3 创建 3D 直方图. 4.4 在 matplotlib 中创建动画 5 用图像和地图绘制图表 5.1 用 PIL 做图像处理 5.2 在具有其他图形的图表中显示图像 5.3 使用 Basemap 在地图上绘制数据 4.3 存储数据至 MongoDB 数据库 5 模拟登录 5.1 使用表单登录方法实现模拟登录 5.2 使用 Cookie 登录方法实现模拟登录 6 终端协议分析 6.1 分析 PC 客户端抓包 7 Scrapy 爬虫 7.1 认识 Scarpy 7.2 通过 Scrapy 爬取文本信息 7.3 定制中间件
Python 机器学习实战 TensorFlow 实战 1 机器学习绪论 1.1 引言 1.2 基本术语 1.3 假设空间 1.4 归纳偏好 2 模型评估与选择 2.1 经验误差与过拟合 2.2 评估方法 2.3 性能度量 2.4 偏差与方差 3 回归分析(Regression Analysis) 3.1 基本形式 3.2 线性模型 3.3 逻辑回归 4 决策树(Decision Tree) 4.1 基本流程 4.2 划分选择 4.3 剪枝 5 人工神经网络(Artificial Neural Network) 5.1 神经元模型 5.2 感知机与多层网络 5.3 误差逆传播 5.4 BP 神经网络 6 最近邻算法（KNN）
7 朴素贝叶斯分类(Naive Bayesian) 8 聚类分析(Cluster Analysis) 8.1 聚类任务 8.2 性能度量 1 TensorFlow 与深度学习实战 1 TensorFlow 安装与入门 1.1 TensorFlow 环境搭建 1.2 TensorFlow 计算模型性:计算图 1.3 TensorFlow 数据模型:张量 Tensor 1.4 TensorFlow 运行模型:会话 2 TensorFlow 数据类型 2.1 常量、变量及其构建 2.2 TensorFlow 实现线性回归模型 2.3 操作：TensorFlow 实现鸢尾花分类 3 TensorFlow 实现多层神经网络 3.1 BP 神经网络模型(Back Propagation) 3.2 操作：利用 TensorFlow 构建 BP 网络模型实现鸢尾花分类 4 mnist 手写数字识别 4.1 图片预处理 4.2 占位符:placeholder 4.3 操作：利用 TensorFlow 实现 SoftMax 网络对手写数字分类 5 TensorFlow 动态学习速率 5.1 TensorFlow 动态学习速率设置 5.2 TensorFlow 动态学习速率使用 6 TensorFlow 模型保存与调用 6.1 TensorFlow 模型保存操作 6.2 TensorFlow 模型加载与调用 6.3 操作：softmax 网络保存与调用实例
8.3 距离计算 8.4 常用聚类算法 9 支持向量机(Support Vector Machine) 9.1 间隔与支持向量 9.2 对偶问题 9.3 核函数 9.4 软间隔与正则化
深度学习原理及编程实现
10 大项目案例
1 卷积神经网络 CNN 1.1 卷积神经网络(CNN)简介 1.2 CNN 关键结构:卷积层与池化层 1.3 经典卷积网络模型: LeNet-5 1.4 图像数据处理 1.5 操作：CNN 的 TensorFlow 实现 2 循环神经网络 RNN 2.1 循环神经网络(RNN)简介 2.2 RNN 网络关键结构: 隐层互联 2.3 经典 RNN 模型: LSTM 2.4 时序数据处理 2.5 操作：RNN 的 TensorFlow 实现 3 自然语言处理基础 3.1 自然语言处理简介 3.2 中文分词 3.3 NLP 概率图 3.4 文本分类 4 词表征（Word Representation）
4.1 词表征的背景与应用 4.2 one-hot 编码 4.3 word2vec 原理及实现 5 深度学习挖掘语义特征 5.1 词向量组合相似度 5.2 基于循环神经网络（RNN）编码的相似度计算 基础案例 1 数据分析案例：基于水色图像的水质识别 2 数据分析案例：电子商务网站用户行为分析及服务推荐 3 数据采集和分析案例：Python 爬虫实践:《流浪地球》豆瓣影评分析 4 数据分析案例：市财政收入分析及预测 5 数据分析案例：广电大数据营销推荐项目实战 6 数据分析和可视化案例：航空公司客户价值分析 7 文本挖掘和可视化案例：基于文本内容的垃圾短信分类 人工智能案例 基于卷积神经网络（CNN）的人脸识别系统 综合案例 1 京东商城美的空调评论数据情感分析 2 大数据岗位人才招聘信息的分析与挖掘
