TopN的常见应用场景，最热商品购买量，最高人气作者的阅读量等等。 1. 用到的知识点 Flink创建kafka数据源； 基于 EventTime 处理，如何指定 Watermark； Flink中的Window，滚动（tumbling）窗口与滑动（sliding）窗口； State状态的使用； ProcessFunction 实现 TopN 功能； 2. 案例介绍 通过用户访问日志，计算最近一段时间平台最活跃的几位用户topN。 创建kafka生产者，发送测试数据到kafka； 消费kafka数据，使用滑动（sl…
explode 和 lateral view 为什么把这两个放一块呢，因为这两个经常放在一起用啊。 explode与lateral view在关系型数据库中本身是不该出现的，因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分），本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统），不过大数据技术普及后，很多类似pv，uv的数据，在业务系统中是存贮在非关系型数据库中，用json存储的概率比较大，直接导入hive为基础的数仓系统中，就需要经过ETL过程解析这类数据，explode与later…
最近在深入了解新媒体这个行业过程中，越发看到行业的黑暗面。 以短视频行业为例，各种数据造假最严重的。 xx直播带货，在线认识显示31万人，实际上在线人数不足一万人，另外30万哪来的，全靠机器刷。 xx直播带货，号称一晚上卖了一个亿，实际上多少，200万，另外9800万的销售数据哪来的，全靠刷，后台退单率98%。 xx直播带货，抖音3000万粉丝大V，一晚上带货多少，不足一万，终于有数据真实的一个良心大V了。 那些花了上百万坑位费的商家怎么办，哭吧，面对各种虚假数据，面对各种高量退款，面对各种黑暗操作，叫天天不应，叫…
