spark
-
外媒评出 MWC 2025 五大奇特智能手机 传音占据三款
每年的移动世界大会（mwc）都是智能手机创新的展示舞台，各大品牌纷纷突破设计和功能的界限，带来令人惊叹的新品。mwc 2025 也不例外，制造商们揭示了一些多年来最不合常规的概念手机。近日，外媒评出了此次大会的五大奇特智能手机。 传音 Infinix 迷你三折手机 这款概念设备采用双铰链的三重设计，…
-
怎么让spark sql写mysql时支持update操作
除了支持：append、overwrite、errorifexists、ignore；还要在支持update操作 1、首先了解背景 spark提供了一个枚举类，用来支撑对接数据源的操作模式 通过源码查看，很明显，spark是不支持update操作的 2、如何让sparkSQL支持update 关键的…
-
数据科学通识第九讲：大数据平台
大数据平台概述 随着互联网技术的发展和智能传感设备的普及，我们来到了一个数据爆炸的时代。全球的数据以每年50%的速度在增长，也就是说两年就增长了一倍。根据互联网数据中心(idc)的预测，到2025年，全球数据总量将达到175zb，与2010年相比，数据量增长了近170倍。 面对如此庞大且随时还在不断…
-
MarsTalk | Trouble Trouble Shooting
大家好，我是mars先生的小量子！今天minmin忙于空手道训练，无暇顾及本周的推送，只能由我来紧急救场了。最近处理了几个客户反馈的bug，搞得我头疼不已，借此机会分享一下我处理这些问题的经历。 说起来，我之前在爱奇艺工作时，经常处理内部同事的Trouble Shooting问题。那时的客户都是公司…
-
十个AI算法常用库Java版
今年ChatGPT 火了半年多，热度丝毫没有降下来。深度学习和 NLP 也重新回到了大家的视线中。公司里有一些小伙伴都在问我，作为一名 Java 开发人员，如何入门人工智能，是时候拿出压箱底的私藏的学习AI的 Java 库来介绍给大家。 这些库和框架为机器学习、深度学习、自然语言处理等提供了广泛的工…
-
图文详解 Spark 总体架构 [禅与计算机程序设计艺术]
前言 本文将详细描述Spark的整体架构，读者需具备一定的Spark基础知识，至少了解Spark的RDD和DAG概念。 Spark 架构图 术语说明： Driver的主要功能如下： 运行应用程序的main函数创建Spark上下文划分RDD并生成有向无环图（DAGScheduler）与Spark中的其…
-
Spark Architecture 系统架构
let’s delve into the apache spark architecture, providing a high-level overview and discussing some key software components in detail. High-Leve…
-
「Spark从精通到重新入门(二)」Spark中不可不知的动态资源分配
前言 资源是影响 Spark 应用执行效率的一个关键因素。Spark 应用中执行任务的组件是 Executor，通过 spark.executor.instances 参数可以设定 Spark 应用的 Executor 数量。在运行过程中，无论 Executor 上是否有任务在执行，它都会被持续占用…
-
Spark 内部原理(上) – 计算引擎与调度管理
本文主要探讨spark计算引擎与调度管理的实现方式，包括spark计算引擎原理、spark调度管理原理、spark存储管理原理以及spark监控管理。 一：Spark计算引擎原理 Spark计算引擎的核心流程是从RDD创建DAG图，通过DAG图生成逻辑计划，划分Stage并生成Task，最后调度并执…
-
初识Structured Streaming
设想我们要设计一个交易数据展示系统，实时呈现比特币最近1s钟的成交均价。 我们可以通过交易数据接口以非常低的延迟获得全球各个比特币交易市场的每一笔比特币的成交价，成交额，交易时间。 由于比特币交易事件一直在发生，所以交易事件触发的交易数据会像流水一样源源不断地通过交易接口传给我们。 如何对这种流式数…
