人,为什么要活着,有人为了生计,有人为了自己的亲人,有人不知道为了什么活着。有人活着,是因为理想。 记得初中学过一篇文章,是美国自由运动的黑人领袖——马丁·路德·金的《我有一个梦想》,他通过自己的努力为一类人争取自由,自己也因此获得了尊重,实现了自己的理想。 我们大部分人都是平凡人,没有除旧革新、造福人类的大理想,但是我们,仍应该有理想。 说到这里,我想打住,澄清自己的清白,我不是来展示我的洋洋洒洒的文采的,因为我压根就没有文采可言,我是个平凡的程序员,我只是想说说心里话:人活着,是因为理想。 所有人都在为理想而努…

2019-04-04 4条评论 12634点热度 0人点赞 柯广 阅读全文

Python可以实现强大的数据爬虫功能,并且数据分析与挖掘挺方便,也提供了大量的库,比如numpy, pands,matplotlib等。尤其,使用Python做机器学习也成了近年来的趋势,有人经常会问R语言与Python,该怎么取舍,我觉得都要学习,R语言擅长绘图,Python对于数据采集,各种算法,机器学习可能支持更好。 Python可以做什么 除了生孩子,Python都可以做。 数据采集; 数据分析,包括计算与绘图; 数据挖掘,支持多种数据挖掘算法; 机器学习,比如tensorflow; 图形化编程; Web…

2019-04-04 4条评论 1455点热度 0人点赞 柯广 阅读全文

R语言中的管道%>% %>%来自dplyr包的管道函数,我们可以将其理解为车间里的流水线,经过前一步加工的产品才能进入后一步进一步加工,其作用是将前一步的结果直接传参给下一步的函数,从而省略了中间的赋值步骤,可以大量减少内存中的对象,节省内存。 符号%>%,这是管道操作,其意思是将%>%左边的对象传递给右边的函数,作为第一个选项的设置(或剩下唯一一个选项的设置。 简单例子 比如我们要算f(x)=sin((x+1)^2)在x=4的值,可以分为以下三步: 计算a = x+1的值; 计算b = a…

2019-04-04 0条评论 8929点热度 0人点赞 柯广 阅读全文

redis大key,这里指的是大的集合数据类型,如(set/hash/list/sorted set),一个key包含很多元素。由于redis是单线程,在删除大key(千万级别的set集合)的时候,或者清理过期大key数据时,主线程忙于删除这个大key,会导致redis阻塞、崩溃,应用程序异常的情况。 一个例子 线上redis作为实时去重的一个工具,里面有6千万的用户guid,这么一个set集合,如果直接使用del删除,会导致redis严重阻塞。 10.1.254.18:6380> info memory #…

2019-04-03 0条评论 8526点热度 0人点赞 柯广 阅读全文

R语言读写最灵活的文件——txt文件 R语言可以读取很多文件,其中以txt文本文件最为灵活,为什么呢,txt文件可以以任意符号作为分隔符,比如“,”,“\t”,空格,甚至“……&¥¥%¥”等任意自定义的分隔符号。 读取文件 这里先把工作空间切换到D盘下面,默认的一般是C盘的文档,我们要有分层管理文件的概念,否则我们还是一个合格的程序员吗? setwd('D:\\') 读取文本文件主要用read.table(filePath,header = ,sep=) filePath就是文件路径,header表示文件是…

2019-04-03 0条评论 9135点热度 0人点赞 柯广 阅读全文

作为一门高级的数据分析语言,R语言不仅具有其它高级语言的自带大量内嵌函数的方便特性,而且它的一些函数更侧重于数据统计分析,成为越来越多的数据分析人员首选语言。下面就来列一下R中的一些常用函数。与matlab一样,作为第二个以向量式运算作为主要运算方式的编程语言,R的一些函数主要是针对向量的。 作用于向量 >x <- 1:10 >sum(x) #对x中的元素求和 [1] 55 >length(x) #返回x的长度 [1] 10 >prod(x) #求x中所有元素的连乘积 [1] 3628…

2019-04-03 0条评论 8676点热度 0人点赞 柯广 阅读全文

R语言某种程度来说本身就是一个函数库,因为它有大量的函数可供调用,加上函数式编程,使得R语言的功能很强大。但是,有时候,根据实际需要,我们还是需要自己动手编写函数,从而减少代码的缀余与工作量。 与其它语言一样,函数的组成莫过于关键字function、形参、是否返回值。函数的具体用法这里用几个例子说明 调用函数 这里写一个打印函数演示简单的参数传递功能: > a a('hello world!') [1] "hello world!" 写一个函数实现矩阵的乘法: rm(list = ls()) a

2019-04-03 0条评论 8848点热度 0人点赞 柯广 阅读全文

都知道R语言是向量式编程,可是有时候确实需要用到循环语句,这里就介绍R语言里面的主要循环——for循环。 与其它语言的for循环一样,R的for循环可以嵌套for循环或者其它循环。 单循环 > a for(i in 1:length(a)){s print(s) [1] 5150 写一个循环嵌套 s

2019-04-03 0条评论 8216点热度 0人点赞 柯广 阅读全文

R语言中的因子确实不好理解,很多人都这么觉得。在R语言中,因子(factor)表示的是一个符号、一个编号或者一个等级,即,一个点。例如,人的个数可以是1,2,3,4......那么因子就包括,1,2,3,4.....还有统计量的水平的时候用到的高、中、低,也是因子,因为他是一个点。与之区别的向量,是一个连续性的值,例如,数值中有1,1.1,1.2......可以作为数值来计算,而因子则不可以。如果用我自己的理解,简单通俗来讲:因子是一个点,向量是一个有方向的范围。在R中,如果把数字作为因子,那么在导入数据之后,需要…

2019-04-03 0条评论 8349点热度 0人点赞 柯广 阅读全文

Data Frame一般被译为数据框,感觉就像是R中的表,由行和列组成,与Matrix不同的是,每个列可以是不同的数据类型,而Matrix是必须相同的。Data Frame每一列有列名,每一行也可以指定行名。如果不指定行名,那么就是从1开始自增的Sequence来标识每一行。所以说数据框在R语言中可是个好东西,R中它是用的非常频繁也是非常有用的数据集合。 创建数据集 > a1 <- c(1:3) > a2 <- c('a','b','v') > dat <- data.frame…

2019-04-03 0条评论 8233点热度 0人点赞 柯广 阅读全文

R语言中的数组与其它语言数组类似,它是一种高维的数据结构。维数过高运算会很不方便,所以用的很少,这里介绍是本着不落下任何知识点的目的。万一以后遇到了,虽然不方便,还是可以进行运算的。当然了,矩阵是二维数组,是数组的一种特殊形式。R中的列表是一种特殊的数组,每个元素又可以是一个列表可以含有多个元素,里面可以包含各种数据类型,故功能非常强大。 数组 数组有一个维数向量,可以定义数组的维数,通过array()进行创建数组如下: > arr dim(arr) [1] 2 3 4 > arr , , 1 [,1] [,2] …

2019-04-03 0条评论 8460点热度 0人点赞 柯广 阅读全文

很多人是在线性代数课学的矩阵,当时什么问题都没有,除了一个问题:学习矩阵到底有什么用呢?矩阵是一个集合,它里面可以存放很多对象,比如一个行就是一个对象(或者说记录),每一个对象又有很多(属性)列。如果把一组对象~属性表示成矩阵,我们就能很容易取出每个对象对应的某个属性了,并且根据线性代数方法考察两个对象之间的联系(相似性)。矩阵的行列数我们一般称作维数。 对于矩阵而言,我们当然想实现以下操作与功能: 矩阵的加减、乘除运算 矩阵的行列切片 最值的快速获取 线性代数运算 好在R语言中的矩阵可以很轻易帮我们实现这些功能,…

2019-04-02 0条评论 8262点热度 0人点赞 柯广 阅读全文

通过前面几篇,相信就算是新手也对R语言的历史,R运行环境有了大概的了解。下面就R语言特殊的赋值符号与基本数据元素——向量做简要概述。 1、赋值符号 相信大家学过的编程语言中,赋值符号都是“ = ”。当然了,在R语言中用“ = ”是可以的,但却被视为一种不好的编程习惯,大家都知道,一个好的编程习惯是一个写代码的人基本编程素养的体现。在R语言中提倡用神奇的赋值符号“ <- ”。 这里给变量a,b分别赋值5,2 > a <- 5 > b <- 2 > a[1] 5 > b[1] …

2019-04-02 0条评论 7937点热度 0人点赞 柯广 阅读全文

最近有个需求,实时统计pv,uv,结果按照date,hour,pv,uv来展示,按天统计,第二天重新统计,当然了实际还需要按照类型字段分类统计pv,uv,比如按照date,hour,pv,uv,type来展示。这里介绍最基本的pv,uv的展示。 id uv pv date hour 1 155599 306053 2018-07-27 00 2 255496 596223 2018-07-27 01 ... ... ... ... ... 10 10490270 12927245 2018-07-27 10 关于什…

2019-03-26 0条评论 2951点热度 0人点赞 柯广 阅读全文

这里,分享一个自己第一次的赚钱案例! 记得大三时候出去实习,我们数学院是在武汉的一个培训机构学习一个月,主要是学Python及大数据基础。说是实习,其实是没有工资的,毕竟是别人给我们上课,怎么还会给我们发工资! 我爱学习,晚上回来便会看腾讯课堂的Python课程直播,重要免费!顺便说一下,腾讯课堂直播的套路就是:直播免费课程质量非常高,然后后面付费课程质量一般!有一个直播老师说去年也就是2016年,有一个学生,自己做课程,月入上万,当时我就心动了! 当然,这只是当时的一个想法! 着手开始做 回到学校后,我就开始着手…

2018-12-31 8条评论 10323点热度 1人点赞 柯广 阅读全文