• 服务实体经济质效提升 银行业助力中国经济高质量发展
  • 政务平台:功能比形式更重要
  • 班戈谐钦舞从草原来,出了草原惊艳了世界
  • 云南税务:优化服务促改革 齐心协力再推进
  • 唐卡艺术高端论坛将在京举行
  • ::紫光阁::中共中央国家机关工作委员会
  • 广东自贸区率先建立全球质量溯源体系 将向13个APEC成员推广
  • 名爵HS正式上市 2种动力9款车型售价11.98万起
  • 湖州:全力打造“市监铁军” 争做“四新”主题实践排头兵
  • 三菱将主攻插电式混动车 排除纯电动SUV可能
  • 渤海银行杭州分行积极开展2018年“普及金融知识,守住‘钱袋子’”系列活动
  • 金沙江堰塞湖抢险电力保障有序推进
  • 言恭达:人文艺术以清雅为上、神逸难得
  • 我们该如何跟孩子谈性?性教育女讲师的酸甜苦辣
  • 罗永浩:子弹短信不是为挑战微信 腾讯还想来投资
  • 丰城问政网

    2018年大数据课程大纲

    丰城问政网 www.dgsuoyi.com 目前课程版本:6.0   升级时间:2018.09.10   查看详细

    大数据课程设计理念

    •  

      完全面向零基础的大数据课程

      我们的课程帮助了近500名零基础的学员高薪就业,近2000名学生正在努力蜕变中。0基础也能高薪就业的大数据课程。

    •  

      更新潮紧随技术发展浪潮

      全面升级Spark核心就业项目,新增第四代大数据处理框架Flink,强化推荐系统实战并扩充至7天。

    •  

      更真实深度还原企业应用场景

      所有项目均是来自企业实战项目,报表分析、日志分析、推荐系统/广告系统、反欺诈系统、为就业提供强力保障。

    •  

      更全面典型技术点线面横向扩展

      课程全面覆盖大数据技术,数据收集、存储、计算、挖掘、展现,离线分析/实时分析/内存计算一网打尽。

    •  

      更广泛就业领域

      大数据时代已然到来,在数据已经在一线企业、中小型企业、传统企业、互联网企业全面落地。就业不再局限于互联网行业。

    大数据基础班课程大纲

    学习对象

    0基础0经验的小白人员;想通过最低的成本来试一下自己是否适合做大数据相关工作的转型人员。

    注:获取更多免费学习视频+资料+笔记,请加QQ:2632311208。

    上课方式

    全日制脱产,每周5天上课, 上两天课休息一天的上课方式(实际培训时间可能因法定节假日等因素发生变化)

    培训时间

    部分校区可能会根据实际情况有所调整,详情可询咨询老师   点击咨询



    大数据基础班课程大纲
    所处阶段主讲内容技术要点学习目标
    第一阶段:
    Java语言编程基础
    计算机基础DOS常用命令、Java概述、JDK环境安装配置、环境变量配置、Java程序入门核心能力培养:
    能够掌握DOS系统常用基本命令;
    熟练使用eclipse编写java代码;
    熟练使用java语言的常用对象;
    使用java编写单机应用程序;
    掌握面向对象编程思想,为以后深入学习JavaEE就业课程打下坚实的基础。

    具备能力及市场价值:
    能够完成B/S结构网站开发,具备了真实环境的项目部署能力,能够完成中小型企业管理系统等传统项目的开发。

    市场价值:
    继续努力学习。
    编程基础常量与变量、数据类型、运算符、流程控制语句、方法、数组
    面向对象面向对象思想、类与对象、成员变量和局部变量、封装、 this关键字、构造方法
    常用类Object类、Scanner类、Random类、String、StringBuilder类
    集合操作集合概述、集合特点、ArrayList集合
    IO操作字符输入流、字符输出流、字符缓冲输入流、字符缓冲输出流、 复制文件、集合与文件中数据相互读写。

    大数据就业班课程大纲

    学习对象

    本课程适合于计算机专业,有一定Java基础、通过入学考核的未就业人士。

    提示:测试题主要考察您是否具备Java基础,以便我们统一入学基础,更好地开展教学工作。如果您感觉测试题很难,我们建议您参加我们的Java基础班学习。

    上课方式

    全日制脱产,每周5天上课, 上两天课休息一天的上课方式(实际培训时间可能因法定节假日等因素发生变化)

    培训时间

    部分校区可能会根据实际情况有所调整,详情可询咨询老师   点击咨询




    大数据就业班课程大纲
    所处阶段主讲内容技术要点学习目标
    第二阶段:
    JavaWeb核心
    前端HTML、CSS、JavaSript、BootStrap核心能力培养:
    运用常用的网页开发技术设计网页;
    掌握WEB系统交互原理;
    掌握JavaWeb开发核心技术;
    运用JavaWeb核心技术完成简单功能实现;
    掌握JavaWeb高级技术,创建更好的Web应用程序;
    具备B/S结构软件开发能力。

    具备能力及市场价值:
    能够完成B/S结构网站开发,具备了真实环境的项目部署能力;
    能够完成中小型企业管理系统等传统项目的开发。

    市场价值:
    继续努力学习。
    数据库MySQL数据库、MySQL单表操作、MySQL多表操作、MySQL事物、 MySQL存储引擎、JDBC、JDBCDataSource
    Web核心Tomcat、Http协议、servlet入门、Rquest、Response、JSP、MVC、 Cookie、Session、JSP、ETL、JSTL、Filter、listener
    web增强Jquery、Ajax、ajax跨域、分页
    基础增强多线程入门、网络编程入门、反射、动态代理、注解
    第三阶段:
    网站开发三大框架
    项目构建及管理Maven项目构建、管理、编译、仓库配置,SVN服务器部署、 SVN客户端、自动化部署核心能力培养:
    掌握SSM框架,使用SSH框架开发出结构清晰、可复用性好、维护方便的Web应用程序;
    掌握如何使用Maven管理项目工程;
    掌握数据库的相关技术;
    掌握系统开发中的性能、可扩展性及维护性的提升;
    通过项目实战熟练掌握SSM框架的使用。

    具备能力及市场价值:
    能够使用SSM框架完成传统企业级项目开发,熟悉多种业务流程,丰富项目开发经验。

    市场价值:
    6000-8000元。
    数据库操作框架mybatis框架原理、mybatis入门案例、mybatis开发DAO方式、 mybatis输入输出映射、动态sql、spring整合mybatis
    Spring框架applicationContext、xml配置文件编写、IoC思想、DI依赖注入、 使用AspectJ切面编程、JdbcTemplate模板使用、声明式事务管理、SSH整合
    SpringMVC框架springmvc框架原理、springmvc入门案例、springmvc整合mybatis、 参数绑定、json数据交互、拦截器
    CRM项目实战使用springmvc+spring4+mybatis+svn来开发项目、 使用BootStrap进行布局
    第四阶段:
    大数据娱乐头条
    Linux服务器VMware虚拟机安装、linux常用命令、linux用户权限与网络安全核心能力培养:
    掌握大数据爬虫技术开发;
    掌握大数据搜索引擎技术开发;
    掌握大数据消息队列使用及调优;
    掌握Storm实时数据分析;
    掌握分布式系统开发;
    掌握互联网用户日志分析。

    具备能力及市场价值:
    能够独立开发爬虫系统;
       能够独立开发搜索系统;
    能够完成实时数据采集、存储、计算及商业应用。

    市场价值:
    8000-10000元。
    linux下应用tomcat、linux下应用MySQL、linux下应用nginx、 nginx负载均衡配置
    分布式爬虫实战大数据娱乐头条-项目整体介绍
    大数据娱乐头条-爬虫基础、Http协议、HttpClient网络请求、 Jsoup网页解析、黑客行为之后台登录
    大数据娱乐头条-Java并发、多线程、阻塞队列、 网易娱乐爬虫开发实战
    大数据娱乐头条-Redis基础、Redis集群、Redis常用API、购物车、 排行榜、Redis持久化
    大数据娱乐头条-分布式爬虫、代理IP、爬虫攻防技术、分布式爬虫开发实战
    分布式搜索大数据娱乐头条-lucene基础、搜索系统原理、Lucene创建索引、 Lucene查询索引、Lucene分页、Lucene高亮
    大数据娱乐头条-solr基础、solr在Linux部署、solr管理界面、 solr创建索引、solr查询索引、solr高亮、solrj客户端管理
    大数据娱乐头条-SSM搜索服务、搜索引擎界面、搜索分页、搜索高亮、 搜索热词联想
    大数据娱乐头条-zookeeper集群、zookeeper原理、dubbox、 搜索服务开发
    大数据娱乐头条-Kafka基础、Kafka集群、生产分发策略、消息不丢失、 存储机制、消费者负责均衡、Kafka配置文件详解
    大数据娱乐头条-爬虫集成Kafka、爬虫创建索引、 FreeMarker热门搜索结果静态化
    大数据娱乐头条-综合部署、nginx负载均衡、solrcloud集群、 solrcloud原理分析
    搜索性能优化大数据娱乐头条-nginx+lua基础、点击流日志收集系统部署
    大数据娱乐头条-Storm基础、Storm架构、Storm编程模型、 Storm实时看板、Storm消息不丢失
    大数据娱乐头条-Storm热词统计,提供实时热词静态化
    大数据娱乐头条-Storm爬虫日志监控项目实战
    大数据娱乐头条-Storm日志分析项目实战
    JVM与数据库优化JVM虚拟机基础与性能调优
    数据库分析与优化
    第五阶段:
    大数据Hadoop实战
    大数据环境准备linux基础、linux的shell编程、大数据环境准备、zookeeper、网络编程概述核心能力培养:
    掌握离线数据收集、数据存储、数据计算、任务调度、数据导入导出、数据报表开发技术;
    掌握用户日志分析系统(业务分析、编码实现、调度配置、数据导出、数据可视化);
    掌握数据仓库管理、元数据管理、数据稽查等常见处理技术掌握Hadoop高可用配置及管理。

    具备能力及市场价值:
    能够胜任离线相关工作,包括ETL工程师、任务调度工程师、Hive工程师、数据仓库工程师等。

    市场价值:
    12000-14000元。
    Hadoop集群部署Hadoop的发展简史、Hadoop的版本介绍、 三个公司对Hadoop版本的支持了解、 Hadoop1.x版本与2.x版本的架构比较、 Apache版本Hadoop三种环境构建、 CDH版本的Hadoop重新编译
    HDFS&MapReduceHDFS的来源、HDFS设计目标、Hadoop的架构图、文件副本机制、 block块存储、HDFS的元数据信息、FSimage以及edits、 ScondaryNN的作用、HDFS的文件写入过程、HDFS的文件读取过程、 HDFS的API操作、HadoopMapReduce设计构思、 MapReduce框架结构、MapReduce编程规范及示例编写、 MapReduce程序运行模式
    MapReduce优化MapReduce的分区、ReduceTask的数量设置、 MapReduce排序以及序列化、MapReduce计数器、MapReducecombiner、MapReduce上网流量统计、 MapTask运行机制详解、Map任务的并行度、ReduceTask工作机制、reduceTask的并行度、MapReduceshuffle过程、shuffle阶段数据的压缩机制
    自定义及资源调度MapReduce实现join、社交粉丝数据分析、mapreduce案例:倒排索引建立、 自定义inputFormat合并小文件、自定义outputFormat、 自定义GroupingComparator求取topN、mapreduce参数优化、 Yarn资源调度
    Hive数据仓库数据仓库特征、数据仓库架构、Hive的概念、Hive架构、Hive部署及使用、 HiveDDL、HiveDML、Hive命令行、Hive参数配置、Hive内置函数、 HiveUDF开发、Hive的数据压缩、Hive的文件格式、Hive调优、 Hive语句综合练习
    网站流量日志分析网站流量日志采集、数据分析系统介绍、系统开发架构、Flume实现数据采集、 数据预处理、数据仓库设计、ETL、统计分析、Sqoop结果导出、 工作流调度azkaban、数据可视化
    Impala&Hueimpala的介绍、impala安装准备、制作本地yum源、impala的安装、 impala基本使用、impala的java开发、Hue的介绍、Hue的安装、 hue与HDFS集成、hue与yarn集成、配置hue与hive集成、 配置hue与impala的集成、配置hue与mysql的集成
    大数据新技术Oozie介绍、Oozie架构、Oozie的执行流程、Oozie组件、Oozie的安装、 hue整合Oozie、hadoopHA、hadoopFederation、CDH整体架构、 CDH环境安装、Kylin、kettle、kudu
    第六阶段:
    大数据Spark实战
    Scala语言基础Scala基础语法、Scala高级特性、Scala的Akka编程实战核心能力培养:
    掌握Spark基础、SparkRDD、SparkSQL、SparkStreaming开发技术;
    掌握互联网电商用户画像建模、开发、可视化(业务知识、技术开发、架构);
    掌握数据数据存储及存储(Hbase+Phoenix)。

    具备能力及市场价值:
    能够胜任Spark相关工作,包括ETL工程师、Spark工程师、Hbase工程师、用户画像系统工程师、大数据反欺诈工程师。
    目前企业急缺Spark相关人才。

    市场价值:
    15000+元。
    Spark基础Spark概述、Spark集群安装部署、Spark运行架构、Spark编程模型
    SparkRDDRDD概述、RDD特征、RDD算子操作、RDD依赖、RDD缓存、 Spark任务调度、checkpoint、RDD编程实战
    SparkSQLSparkSQL概述、DataFrame、DataFrame常用操作、DataSet介绍、 SparkSQL整合JDBC、SparkonYarn
    SparkStreaming概述、与Storm的对比、SparkStreaming原理、DStream操作实战、 开窗函数、整合Flume、整合Kafka
    项目实战阶段互联网电商用户画像建模、开发、数据导入、 数据存储(Hbase+Phoenix)、可视化
    项目实战阶段大数据反欺诈系统、航空领域反爬虫项目实战、系统架构、防爬规则、 Nginx+lua+kafak整合、高频IP检测、SparkStreaming规则引擎开发、 数据可视化
    新技术flink的简介、最值函数aggregate和minBy、maxBy、 去重distict和关联join函数、union合并和rebalance负载均衡、 3种分区方式(hash、range、sort)、source数据源、flink的sink操作、 本地执行和集群执行、广播变量的操作、分布式缓存的使用、 无重叠数据处理、 窗口划分、windowTime、同步hbase、flink的source源、 基于mysql的sink操作、flink的容错、flink对接kafka数据、案例实战
    第七阶段:
    大数据机器学习实战
    机器学习概念入门1.基本概念:属性、属性的度量、属性类型、数据集类型、数据集的特性、训练集、测试集、特征值、监督学习、非监督学习、半监督学习等概念
    2.数据的预处理:聚集、抽样、维度规约、特征子集选择、特征创建、离散化和二元化、变量变换
    3.模型的评估:模型的过分拟合(过拟合),欠拟合,评估分类器的性能(交叉验证和自助法),模型评估方法、损失函数和风险函数、参数优化等,模型复杂度(奥卡姆剃刀)4.机器学习处理的一般流程分析
    核心能力培养:
    掌握机器学习算法理论基??;
    熟悉Python语言基础及数据科学库;
    熟悉机器学习应用场景;
    掌握Spark机器学习框架、能使用scikit-learn机器学习库结合Python完成全栈机器学习建模;
    熟悉深度基本概念、流程、常见算法、能够使用算法解决简单的业务问题(图像识别等);
    掌握用户标签预测全流程;
    掌握互联网行业推荐业务开发;
    掌握点击率预估使用场景及项目全流程开发。


    具备能力及市场价值:
    能够胜任机器学习、数据挖掘等相关工作,包括推荐算法工程师、数据挖掘工程师、机器学习工程师,填补人工智能领域人才急剧增长缺口。

    市场价值:
    18000-30000元。
    机器学习数学基础初等数学基础、函数求导以及链式求导法则、方向导数、梯度、泰勒级数、 拉格朗日乘子法、线性代数与矩阵、特征值与特征向量、概率分析、 极大似然估计、梯度下降法代码实践、牛顿法代码实战、 矩阵分解实战(SVD,PCA,QR)
    机器学习语言基础之Python语言基础数据类型、list/tuple/dict/set、列表推导式、生成器推导式、 lambda函数、控制语句、文件读写、异常处理分析、面向对象编程、 GUI编程、Python基础项目实践
    Python数据分析库实战Numpy矩阵运算库基础及实战、Scipy数值运算库基础及实战、 Matplotlib绘图库基础及实战、Seaborn绘图库基础及实战、 Pandas数据分析库基础及实战
    Spark机器学习库实战SparkML和SparkMLLIB区别、Spark机器学习基础、Pipeline管道、 特征抽取(TF-IDF、Word2Vec、CountVectorizer)、特征转换(Tokenizer、 PCA、N-gram、DCT、one-hot、MinMaxScaler、Normalizer、SqlTransformer、VectorAssembler)、特征选择(VectorSlicer、RFormula、 ChiSqSelector)
    机器学习算法之用户标签预测项目实战用户画像标签预测实战、KNN、KMeans、决策树算法模型(ID3、C4.5、 Cart树)、集成学习算法(Bagging、随机森林、Adaboost算法、GBDT算法、 XGBOOST算法、LightGBM算法模型)、人才流失模型项目实战
    机器学习算法之推荐系统实战基于记忆的CF实战(Surprise库实战)、基于模型的CF实战(SparkALS实战)、 基于Native-Bayes分类算法实战、基于内容推荐(jieba分词、提取词向量、 文本分类、特征聚类)、关联挖掘算法实战(基于Spark的FP-Growth算法实战)、推荐项目实战
    机器学习算法之CTR点击率预估实战特征工程实战、CTR点击率预估应用场景分析、 逻辑斯特回归算法理论基础推导及项目实战、推荐系统指标分析、 推荐系统架构分析、基于Wideanddeep模型理论及实战(学会读学术Paper)
    机器学习算法之深度学习基础及图片分类实战神经网络和深度学习基础、MP神经元模型、感知机模型、BPNN模型实战、 CNN模型实战图像识别、Tensorflow基础、电影评论文本分析、 RNN文本情感分析实战
    机器学习面试必备机器学习算法串讲、机器学习面试题目详解,剖析结合人工智能实际场景、 机器学习或人工智能类岗位核心技能需求、所需知识和技能、主流机器学习工具和框架的使用方法、开放式问题和系统设计问题, 融汇贯通整个课程知识点、大数据和机器学习部分项目衔接

    基础差? 可免费学基础班

    申请试读名额

    基础过关? 可直接就读就业班

    基础测试

    大数据学科项目介绍

    • 爬虫搜索项目

      项目简介:

      通过爬虫技术爬取不同电商网站的商品数据,然后将不同网站的数据输入到搜索系统引擎中,达到通过一键搜索不同网站上的商品信息。

      项目特色:

      项目包含HttpClient、Jsoup、代理IP配置、多线程、Java并发包、Redis、Redis Cluster、Lucene、Solr、Solr Cloud,以及互联网爬虫技术案例等?;谝陨峡纬?,在企业中可以实现浏览器比价插件、企业竞品分析等业务,可以用来解决企业内部业务数据的搜索问题,或者是做个类似百度这样的搜索引擎。

    • 分布式电商项目

      项目简介:

      围绕B2B2C电商核心业务,完整实现商家和用户两条业务线,商家业务线包括:商家入驻、商家审核、商家发布商品、商品审核、商品展示;用户业务线包括:用户跨系统登录、用户购物车系统、用户订单结算与支付(支付宝)、用户个人中心;

      项目特色:

      项目包含单点登录系统、Dubbo服务治理、AngularJS、页面静态化、数据库分库分表、分布式图片服务器、分布式消息队列、分布式缓存解决方案、分布式搜索解决方案等?;谝陨峡纬?,在企业中可以实现完整的电商购物系统,做一个类似于京东、百度这样的高并发的网站,并解决类似于秒杀、双十一这样的业务场景。

    • 构建电商数据平台(离线)

      项目简介:

      通过多种方式收集不同渠道和系统的数据,然后对数据进行统一的存储和管理,构建离线数据分析平台,最后将分析的结果展示到报表系统中。包含数据质量管理、数据仓库构建、数据仓库分析工具、定时器、数据报表展示等???。

      项目特色:

      项目包含FTP管理规范、Flume、Sqoop、数据库同步技术、数据质量管理、数据仓库基础、Hive、Hadoop HDFS应用及原理、Hadoop MapReduce应用及原理?;谝陨峡纬?,在企业中可以实现离线数据基础分析平台,适用于几乎任何大数据相关公司。

    • 构建电商数据平台(实时)

      项目简介:

      通过多种方式实时收集不同渠道和系统的数据,然后进行实时的计算,最后将分析的结果实时的反馈到业务系统中。包含数据的实时收集、实时清洗、实时计算等?????纬讨谢嵘婕暗蕉喔鍪凳钡姆治霭咐?,这些分析案例来自于企业的典型案例。

      项目特色:

      项目包含消息队列、Flume、Kafka、Storm/JStorm应用及原理、Redis、HBase应用及原理?;谝陨峡纬?,在企业中可以实时数据基础分析平台,适用于几乎任何大数据相关公司。

    • 推荐系统应用开发

      项目简介:

      通过利用离线数据分析技术、实时分析技术,以及Mahout数据挖掘技术开发基于用户行为数据的推荐系统(猜你喜欢),并整合进分布式电商系统中。

      项目特色:

      项目是对分布式电商、构建电商数据平台(离线/实时)三个课程中所学技术的综合运用。推荐系统是当前电商系统必不可少的部分,基于以上课程能够从零开始构建一个推荐系统,并根据业务的复杂性进行扩展。

    • 升级企业数据分析平台

      项目简介:

      使用Spark内存计算技术升级升级基于Hadoop和Storm的数据分析平台是数据分析的发展趋势,课程引入Spark技术分别对离线计算平台和实时计算平台进行升级和补充,更好的贴近企业实战??纬讨惺褂肧park和Hbase技术围绕金融行业构建了用户画像系统,可以使用用户画像技术对用户进行风险预测。

      项目特色:

      项目包含Spark、Spark RDD、Spark常用算子、Spark Sql、Spark Streaming、HBase等课程?;谝陨峡纬?,可以使用Spark提到Hive的执行引擎,提高计算性能和速度,是企业的主流做法。

    教学服务

    • 每日测评

      每晚对学员当天知识的吸收程度、老师授课内容难易程度进行评分,老师会根据学员反馈进行分析,对学员吸收情况调整授课内容、课程节奏,最终让每位学员都可以跟上班级学习的整体节奏。

    • 技术辅导

      为每个就业班都安排了一名优秀的技术指导老师,不管是白天还是晚自习时间,随时解答学员问题,进一步巩固和加强课上知识。

    • 学习系统

      为了能辅助学员掌握所学知识,黑马程序员自主研发了6大学习系统,包括教学反馈系统、学习难易和吸收分析系统、学习测试系统、在线作业系统、学习任务手册、学员综合能力评定分析等。

    • 末位辅导

      末位辅导队列的学员,将会得到重点关心。技术辅导老师会在学员休息时间,针对学员的疑惑进行知识点梳理、答疑、辅导。以确保知识点掌握上没有一个学员掉队,真正落实不抛弃,不放弃任何一个学员。

    • 生活关怀

      从学员学习中的心态调整,到生活中的困难协助,从课上班级氛围塑造到课下多彩的班级活动,班主任360度暖心鼓励相伴。

    • 就业辅导

      小到五险一金的解释、面试礼仪的培训;大到500强企业面试实训及如何针对性地制定复习计划,帮助学员拿到高薪Offer。