这里，分享一个自己第一次的赚钱案例！ 记得大三时候出去实习，我们数学院是在武汉的一个培训机构学习一个月，主要是学Python及大数据基础。说是实习，其实是没有工资的，毕竟是别人给我们上课，怎么还会给我们发工资！ 我爱学习，晚上回来便会看腾讯课堂的Python课程直播，重要免费！顺便说一下，腾讯课堂直播的套路就是：直播免费课程质量非常高，然后后面付费课程质量一般！有一个直播老师说去年也就是2016年，有一个学生，自己做课程，月入上万，当时我就心动了！ 当然，这只是当时的一个想法！ 着手开始做 回到学校后，我就开始着手…
从 2018 年 2 月开始，微信做了一项重大调整：新注册的公众号将没有留言功能。 说实在的，没有留言的公众号，仿佛失去了灵魂，让人觉得很鸡肋，如何与粉丝互动 ？ 原想等留言功能恢复，但等了一年多了，眼看着“点赞”->“好看”->“在看”，但留言还是遥遥无期，真让人无语哎！所以呢，只能自己想办法做迁移了！ 而且现阶段，微信仅支持为企业公众号开通留言。也就是说，如果你是个人公众号，要开通留言就必须进行以下几步： 注册一个个体户（或者公司） 用该个体户（或者公司）注册一个企业公众号 对该企业公众号进行微信认证 为该企业…
实时统计pv、uv是再常见不过的大数据统计需求了，前面出过一篇SparkStreaming实时统计pv,uv的案例，这里用Flink实时计算pv,uv。 我们需要统计不同数据类型每天的pv，uv情况,并且有如下要求. - 每秒钟要输出最新的统计结果； - 程序永远跑着不会停,所以要定期清理内存里的过时数据； - 收到的消息里的时间字段并不是按照顺序严格递增的,所以要有一定的容错机制； - 访问uv并不一定每秒钟都会变化,重复输出对IO是巨大的浪费,所以要在uv变更时在一秒内输出结果,未变更时不输出； Flink数据…
数据迁移使用场景 冷热集群数据分类存储,详见上述描述. 集群数据整体搬迁.当公司的业务迅速的发展,导致当前的服务器数量资源出现临时紧张的时候,为了更高效的利用资源,会将原A机房数据整体迁移到B机房的,原因可能是B机房机器多,而且B机房本身开销较A机房成本低些等. 数据的准实时同步.数据的准实时同步与上一点的不同在于第二点可以一次性操作解决,而准实时同步需要定期同步,而且要做到周期内数据基本完全一致.数据准实时同步的目的在于数据的双备份可用,比如某天A集群突然宣告不允许再使用了,此时可以将线上使用集群直接切向B的同步…
％>％来自dplyr包的管道函数，我们可以将其理解为车间里的流水线，经过前一步加工的产品才能进入后一步进一步加工，其作用是将前一步的结果直接传参给下一步的函数，从而省略了中间的赋值步骤，可以大量减少内存中的对象，节省内存。 符号%>%，这是管道操作，其意思是将%>%左边的对象传递给右边的函数，作为第一个选项的设置（或剩下唯一一个选项的设置。 简单例子 比如我们要算f(x)=sin((x+1)^2)在x=4的值，可以分为以下三步： 计算a = x+1的值； 计算b = a^2的值； 计算c = sin(b)的值 这样…
阅读本文需要的知识储备： 高等数学 运筹学 Python基础 1、引出梯度下降 对于，线性回归问题，上一篇我们用的是最小二乘法，很多人听到这个，或许会说：天杀的最小二乘法，因为很多人对它太敏感了。是的，从小到大，天天最小二乘法，能不能来点新花样。这里就用数学算法——梯度下降，来解决，寻优问题。 当然了，我们的目标函数还是： 在开始之前，我还是上大家熟知常见的图片。 梯度下山图片（来源：百度图片） 找了好久，我选了这张图片，因为我觉得这张图片很形象：天气骤变，一个人需要快速下山回家，但是他迷路了，不知道怎么回家，他知…
最近有个需求，实时统计pv,uv，结果按照date,hour,pv,uv来展示，按天统计，第二天重新统计，当然了实际还需要按照类型字段分类统计pv,uv,比如按照date,hour,pv,uv,type来展示。这里介绍最基本的pv,uv的展示。 id uv pv date hour 1 155599 306053 2018-07-27 18 关于什么是pv,uv，可以参见这篇博客:https://blog.csdn.net/petermsh/article/details/78652246 1、项目流程 日志数据从…
Centos安装docker需要操作系统是 CentOS 7 or 8，必须启用centos extras存储库。默认情况下，此存储库处于启用状态，但如果已禁用它，则需要重新启用它。 卸载旧版本 老版本的docker被称作docker 或者 docker-engine，如果有老版本的docker，把它和相关依赖一起卸载。 $ remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-la…
当你看到这篇文章的时候，表明你已经有docker的基础知识了，或者可以看上一篇文章 Docker 入门教程。 传统的使用wordpress搭建网站，意味着你需要搭建以下四个环境： - php； - apache / nginx； - mysql； - wordpress； 这里面主要是php的搭建真心麻烦，各种依赖，版本不兼容，然后还有php跟mysql的插件，我是吃了它很大的苦，寻求让我快乐的方法，知道我发现了它。使用docker容器技术5分钟快速搭建wordpress，相信我，真的是五分钟。 一台linux服务…
作者： 阮一峰 日期： 2018年2月 9日 原文链接：Docker入门教程 2013年发布至今， Docker 一直广受瞩目，被认为可能会改变软件行业。 但是，许多人并不清楚 Docker 到底是什么，要解决什么问题，好处又在哪里？本文就来详细解释，帮助大家理解它，还带有简单易懂的实例，教你如何将它用于日常开发。 一、环境配置的难题 软件开发最大的麻烦事之一，就是环境配置。用户计算机的环境都不相同，你怎么知道自家的软件，能在那些机器跑起来？ 用户必须保证两件事：操作系统的设置，各种库和组件的安装。只有它们都正确，…
经常有同学问我，基于Hadoop生态圈的大数据组件有很多，怎么学的过来呢，毕竟精力有限，我们需要有侧重点，我觉得下面这几个组件至关重要，是基础组件，大部分人都需要会的，其它组件可以用的时候再去查查资料学习。 hadoop Hbase Hive Spark Flink Kafka Hadoop 是大数据的基础组件，很多组件都需要依赖它的分布式存储、计算；主要包括Hdfs、MR、Yarn三部分，这个需要找一些好的资料（我的主页有资料领取方法），好好学学各自的用法，熟练之后，需要了解其背后的原理。 基本的，你得知道had…
加密货币是时代的产物，是一种流行的文化，一种被称作时尚的东西。 就像小时候收集明信片一样，也像儿时第一双运动鞋一样，像第一瓶涂改液一样，像那些年追过的星一样。 不一定要有很多，但是每个人都得有一枚。 这个币可以是狗狗币，三块左右，人人可得（比特币、以太坊太贵）。 不为别的，只为曾经参与过。 你要说它的价值在哪里，那么收集明信片的价值在哪里？ 一种普通的，人人都可以轻而易举得到的东西。 它是一种共识，是一种信仰，是美好的东西。
一套Hadoop入门视频教程。 资料详情 ├─01hadoop-大数据启蒙-初识HDFS.flv ├─02hadoop-HDFS理论基础读写流程.flv ├─03hadoop-HDFS集群搭建-伪分布式模式.mp4 ├─04hadoop-HDFS集群搭建-HA模式概念.mp4 ├─05hadoop-HDFS集群搭建-HA模式验证.mp4 ├─06hadoop-HDFS权限、企业级搭建、idea+maven开发HDFS.mp4 ├─07hadoop-MapReduce原理精讲、轻松入门.mp4 ├─08hadoop-…
一套Flink入门视频教程。 资料详情 |- 第1章 初识Flink - 文件夹 |- 第2章 快速上手开发第一个Flink应用程序 - 文件夹 |- 第3章 编程模型及核心概念 - 文件夹 |- 第4章 DataSet API编程 - 文件夹 |- 第5章 DataStream API编程 - 文件夹 |- 第6章 Flink Table API & SQL编程 - 文件夹 |- 第7章 Flink中的Time及Windows的使用 - 文件夹 |- 第8章 Flink Connectors - 文件夹 …
今天，我有非常多的感悟，思考了很多东西，也想透了很多东西。 营销人最好的逆袭方式是什么？最简单的方法就是打造个人ip，积累人脉资源，积累属于自己的粉丝。 怎么积累最优质的粉丝？我以前写过的终端截流术，就是去付费社群里引流吸粉，加到的好友都是最优质的人群。 这个方法简直是大杀器，在社群里引流最好的方式就是，成为「群红」。 群红的意思就是，成为这个社群里的红人，有些红人的号召力，可能比群主都强。 每天在群里输出干货内容，解答问题，做个乐于分享的人，每天和各种群友互动互吹，没事多发发红包，最能吸引到人。 这种情况下，就会…
