Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
使用Minitab解决Excel的限制问题
前两天 当我在做数据转置以期获得更好分析图形的时候 我碰到了传说中excel的限制 如图 在解决这个问题的过程中 我发现了用来做数据分析 比excel更好的工具Minitab 打开minitab 把纪录数据的Excel表以File gt O
实战
管理
测试
数据分析
公司实战 ElasticSearch+Kafka+Redis+MySQL
一 需求 前一段时间公司要进行数据转移 将我们ES数据库中的数据转移到客户的服务器上 并且使用定时将新增的数据同步 在这过程中学到了很多 在此记录一下 二 技术栈 Mysql Redis ElasticSearch Kafka 三 方案 为
实战
Java
elasticsearch
kafka
SuperSocket实战手把手教程:一个完整的SocketServer项目
SuperSocket系列教程 1 SuperSocket基础 一 基本概念 2 SuperSocket实战手把手教程 一个完整的SocketServer项目 目录 一 项目场景 1 Visual Studio新建项目 2 自定义自己服务器
SuperSocket
c
实战
手把手教程
一个完整的项目
【实战】淘宝电商用户行为分析——SQL
目录 一 项目背景 1 1分析目的 1 2分析思路 二 数据来源 清洗 2 1数据集介绍 2 2数据清洗 2 2 1 检查是否存在重复值 2 2 2 检查是否存在缺失值 2 2 3 一致化处理 对timestamp 2 2 4异常值处理 时
实战
sql
HDFS 分布式文件系统详解
1 HDFS概述 Hadoop 分布式系统框架中 首要的基础功能就是文件系统 在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统 这个抽象类下面有很多子实现类 究竟使用哪一种 需要看我们具体的实现类 在我们实际工
实战
数据仓库
Hadoop
HDFS 分布式文件系统详解
HDFS
眼睁睁看着乙方把项目作死是一种什么感受(项目作死10大方法)
刚跟乙方开完会回来 在会议的后半程我感觉快要窒息了 基于本次项目合作浓郁的 政治因素 作为 掮客 的我们只能要求不再延期跳票 尽快处理等嘴皮子功夫 其它的实在力不从心 这种感觉就真真是眼睁睁看着甲方作死 极力想拉住它 它还嫌 累 我是如何看
实战
感悟
管理
Hive千亿级数据倾斜解决方案
数据倾斜问题剖析 数据倾斜是分布式系统不可避免的问题 任何分布式系统都有几率发生数据倾斜 但有些小伙伴在平时工作中感知不是很明显 这里要注意本篇文章的标题 千亿级数据 为什么说千亿级 因为如果一个任务的数据量只有几百万 它即使发生了数据倾斜
实战
数据仓库
hive
数据倾斜
基于宽表的数据建模
一 业务背景 1 1 数据建模现状 互联网企业往往存在多个产品线 每天源源不断产出大量数据 这些数据服务于数据分析师 业务上的产品经理 运营 数据开发人员等各角色 为了满足这些角色的各种需求 业界传统数仓常采用的是经典分层模型的数仓架构 从
数据分析
数据建模
实战
大数据
基于宽表的数据建模
什么是ERP、APS和MES
01 先来说说ERP与MES的区别 ERP 企业资源计划 一天中午 丈夫在外给家里打电话 亲爱的老婆 晚上想带几个同事回家吃饭可以吗 订货意向 丈夫 6个人 我们7点左右回来 准备些酒 烤鸭番茄炒蛋 凉菜 蛋花汤 你看可以吗 商务沟通 妻子
实战
数据分析
服务器
ERPAPS和MES
企业
面试总结(七):大数据与高并发-1
问题导读 1 秒杀系统的架构设计是怎样的 2 为什么要使用NOSQL NOT ONLY SQL 3 传统RDBMS和NOSQL的区别是什么 大数据与高并发一 秒杀架构设计业务介绍什么是秒杀 通俗一点讲就是网络商家为促销等目的组织的网上限时抢
性能测试和优化
实战
面试总结(七)大数据与高并发
大数据与高并发
面试总结
Springboot程序开启远程DEBUG
一 远程debug的原理 Spring Boot程序远程debug的原理主要是通过在启动时指定JVM参数来启用远程调试模式 并在调试器中连接到程序所在的调试地址 从而实现对程序的远程调试 具体步骤如下 在运行Spring Boot程序时 在
实战
spring boot
JVM
Java
面试总结(六):搜索索引
问题导读 1 如何理解用户输入查询语句 2 如何根据得到的文档和查询语句的相关性 对结果进行排序 3 如何计算权重 Term weight 过程 4 如何判断Term之间的关系从而得到文档相关性 搜索索引到这里似乎我们可以宣布 我们找到想要
性能测试和优化
实战
面试总结(六)搜索索引
搜索索引
面试总结
面试总结(五):搜索引擎
问题导读 1 搜索引擎有哪些特点 优势 2 搜索引擎使用到哪些场景中 3 如何将原文档传给分次组件 4 如何将得到的词 Term 传给索引组件 Indexer 搜索引擎概述全文搜索就是对文本数据的一种搜索方式 文本数据的都多 可以分为顺序搜
实战
性能测试和优化
面试总结(五)搜索引擎
搜索引擎
面试总结
解决 An attempt was made to call a method that does not exist. 问题详解
哈喽大家好 我是阿Q 今天在开发代码的过程中 由于手抖 不知道引入了什么包依赖 导致项目启动一直报错 特写本文来记录下解决问题的经过 文章目录 问题描述 报错信息如下 报错描述 解决方法 总结 有想赚点外块 技术交流的朋友 欢迎来撩 问题描
开发实战
spring boot
Servlet
Java
实战
学习阿里如何进行数据指标体系的治理
想必做数据的同学对One Data都有所耳闻 但One Data 体系具体包含了内容 有怎样的应用 不知道大家是否了解 今天我们详细分享一下One Data体系中关于数据治理相关的内容 One Data整体概述 首先 我们看看One Dat
数据分析
数据仓库
实战
学习
开发语言
JVisualVM简介与内存泄漏实战分析
一 JVisualVM能做什么 VisualVM 是Netbeans的profile子项目 已在JDK6 0 update 7 中自带 java启动时不需要特定参数 监控工具在bin jvisualvm exe 能够监控线程 内存情况 查看
javagtjdkjvm相关
Jvisualvm
内存泄漏
实战
Apache InLong百万亿级数据流处理
全球最大的开源软件基金会Apache软件基金会正式宣布 Apache InLong成功从Apache孵化器毕业成为社区顶级项目 这个最初由腾讯捐献给Apache社区的一站式海量数据集成框架 可以为大数据开发者提供百万亿级数据流高性能处理能力
数据分析
实战
数据湖
apache
Apache InLong
数据仓库模型设计V2.0
一 数仓建模的意义 数据模型就是数据组织和存储方法 它强调从业务 数据存取和使用角度合理存储数据 只有将数据有序的组织和存储起来之后 数据才能得到高性能 低成本 高效率 高质量的使用 高性能 良好的数据模型能够帮助我们快速查询所需要的数据
数据仓库
数据建模
实战
spark
大数据
大数据数据倾斜问题
数据倾斜 数据倾斜是我们在处理大数据量问题时绕不过去的问题 也是在面试中几乎必问的考点 正常的数据分布理论上都是倾斜的 就是我们所说的 二八原理 80 的财富集中在20 的人手中 80 的用户只使用20 的功能 20 的用户贡献了80 的访
数据仓库
实战
大数据
大数据数据倾斜问题
数据倾斜
Random.Range()的范围问题
Random Range 方法的是进行差生随机数的一个方法 int i Random Range min max 这里进行产生的随机数 当min max相等 产生的随机数返回的是min 因为min max 产生的最大的也就是max 当min
实战
1
2
3
»