会员
大数据处理框架Apache Spark设计与实现
许利杰等更新时间:2024-01-19 16:36:47
最新章节:参考文献开会员,本书免费读 >
近年来,以ApacheSpark为代表的大数据处理框架在学术界和工业界得到了广泛的使用。本书以ApacheSpark框架为核心,总结了大数据处理框架的基础知识、核心理论、典型的Spark应用,以及相关的性能和可靠性问题。本书分9章,主要包含四部分内容。第一部分大数据处理框架的基础知识(第1~2章):介绍大数据处理框架的基本概念、系统架构、编程模型、相关的研究工作,并以一个典型的Spark应用为例概述Spark应用的执行流程。第二部分Spark大数据处理框架的核心理论(第3~4章):介绍Spark框架将应用程序转化为逻辑处理流程,进而转化为可并行执行的物理执行计划的一般过程及方法。第三部分典型的Spark应用(第5章):介绍迭代型的Spark机器学习应用和图计算应用。第四部分大数据处理框架性能和可靠性保障机制(第6~9章):介绍Spark框架的Shuffle机制、数据缓存机制、错误容忍机制、内存管理机制等。
上架时间:2020-07-01 00:00:00
出版社:电子工业出版社
上海阅文信息技术有限公司已经获得合法授权,并进行制作发行
大数据处理框架Apache Spark设计与实现最新章节
查看全部- 参考文献
- 9.6 本章小结
- 9.5 数据缓存空间管理
- 9.4 Spark框架执行内存消耗与管理
- 9.3 Spark框架内存管理模型
- 9.2 应用内存消耗来源及影响因素
- 9.1 内存管理机制问题及挑战
- 第9章 内存管理机制
- 8.6 本章小结
- 8.5 checkpoint与数据缓存的区别
许利杰等
主页
同类热门书
最新上架
- 会员
数据科学技术:文本分析和知识图谱
数据科学的关键技术包括数据存储计算、数据治理、结构化数据分析、语音分析、视觉分析、文本分析和知识图谱等方面。本书的重点是详细介绍文本分析和知识图谱方面的技术。文本分析技术主要包括文本预训练模型、多语种文本分析、文本情感分析、文本机器翻译、文本智能纠错、NL2SQL问答以及ChatGPT大语言模型等。知识图谱技术主要包括知识图谱构建和知识图谱问答等。本书将理论介绍和实践相结合,详细阐述各个技术主题的计算机21.6万字 - 会员
深入浅出Greenplum分布式数据库:原理、架构和代码分析
本书共3篇:第1篇主要介绍分布式数据库基础理论,包括经典的CAP理论、一致性算法相关的理论、并发控制相关的理论等;第2篇具体介绍Greenplum数据库,从分布式事务、分布式计算和分布式存储3个方面,深入代码层级,讲述分布式理论在工业上的实现;第3篇是总结和展望,介绍云原生数据库和新技术带给Greenplum和数据库管理系统的机遇和挑战。本书打破以理论介绍和架构介绍为主的思路,深入分析工业化的实现计算机7.1万字 - 会员
算力芯片:高性能CPU/GPU/NPU微架构分析
本书介绍了超级计算机算力和AI算力的异同,从CPU流水线开始,描述主要的众核处理器架构和功能部件设计。在GPU和NPU等加速器部分,介绍了GPU为何能从单纯的图形任务处理器变成通用处理器。GPU在设计逻辑、存储体系、线程管理,以及面向AI的张量处理器方面成为最近几年全世界科技行业最瞩目的明星。本书对华为等厂商推出的NPU芯片设计也做了架构描述,回顾了近20年来主流的CPU、GPU芯片架构的特点,介计算机29.3万字 - 会员
数据要素化时代的数据治理
随着数字化的发展,数据逐渐融入生产、分配、流通、消费和社会服务管理等环节,为数据的拥有者或使用者带来经济效益,成为一种新型的生产要素,给生产方式、生活方式和社会治理方式带来了深刻的变革。本书主要介绍数据要素化时代的数据治理。本书分为5篇。第一篇“数据治理新趋势”介绍DataOps的发展及实践,产业级数据治理新趋势,数据治理的场景化、工程化和智能化,以及数据资产的安全运营。第二篇“新理论、新方法和新计算机12.1万字 - 会员
轨迹数据分析方法及应用
随着信息、互联网、社交媒体、卫星定位、基于位置的服务(LocationBasedServices,LBS)等技术的发展,轨迹数据领域迎来了大数据时代。在轨迹大数据背景下,轨迹数据分析的关注度得到持续攀升,它能够借助移动对象的时空特征和移动行为信息发现新知识和模式,从而为智慧城市计算与服务、交通管理与规划、物流管理、智能制造、旅游路径推荐、自然灾害预测与预警、疫情传播监测等诸多领域提供决策支持与计算机9.6万字 - 会员
MySQL从入门到精通(第3版)
《MySQL从入门到精通(第3版)》从初学者角度出发,通过通俗易懂的语言和丰富多彩的实例,详细介绍了MySQL开发需要掌握的各方面技术。全书共分为4篇22章,包括数据库基础,初识MySQL,使用MySQL图形化管理工具,数据库操作,存储引擎及数据类型,数据表操作,MySQL基础,表数据的增、删、改操作,数据查询,常用函数,索引,视图,数据完整性约束,存储过程与存储函数,触发器,事务,事件,备份与恢计算机14万字 - 会员
MySQL 8.0从入门到实战
MySQL数据库是目前全球流行的数据库之一。《MySQL8.0从入门到实战》从入门到实战,系统全面、由浅入深地介绍MySQL数据库应用的各个方面。全书分为8个部分,共18章。第1部分(第1~3章)介绍MySQL的基础知识,包括初识MySQL、数据库设计和数据类型;第2部分(第4~6章)介绍MySQL的基本操作,包括SQL基础操作、MySQL连接查询和数据复制、MySQL基础函数;第3部分(第7、8计算机9.7万字 - 会员
数字IC设计入门(微课视频版)
本书旨在向广大有志于投身芯片设计行业的人士及正在从事芯片设计的工程师普及芯片设计知识和工作方法,使其更加了解芯片行业的分工与动向。本书共分9个章节,从多角度透视芯片设计,特别是数字芯片设计的流程、工具、设计方法、仿真方法等环节。凭借作者多年业内经验,针对IC新人关心的诸多问题,为其提供了提升个人能力,选择职业方向的具体指导。本书第1章是对IC设计行业的整体概述,并解答了IC新人普遍关心的若干问题。计算机29.9万字 - 会员
数据挖掘竞赛实战:方法与案例
本书围绕数据挖掘竞赛,讲解了各种类型数据挖掘竞赛的解题思路、方法和技巧,并辅以对应的实战案例。全书共11章。第1章介绍数据挖掘竞赛的背景、意义和现状。从第2章开始,介绍了各种不同类型的数据挖掘竞赛包括结构化数据、自然语言处理、计算机视觉(图像)、计算机视觉(视频)、强化学习。每种类型的数据挖掘竞赛包含理论篇和实战篇:理论篇介绍通用的解题流程和关键技术;实战篇选取比较有代表性的赛题,对赛题的优秀方案计算机6.7万字