大数据开发和java有什么不同
来源:乌鲁木齐IT培训学院时间:2020/12/2 16:33:41
1.大数据开发需要的技能
到智联上搜了一下大数据开发工程师这个职位,随便点了几个职位,截图如下:
所以说,现在互联网公司所指的大数据开发用到的工具是:hadoop,hive,hbase,spark,kafka等。
2.大数据开发做的事情
精简到一个词语就是:统计
精简到两类指标就是:PV和UV
精简到一句话就是:统计各种指标的PV和UV
PC互联网时代,各门户网站(比如:新浪,网易,搜狐)关注的是各自网站今天被打开了几次(pv),今天有多少人(uv)访问了网站。更复杂一点的比如:
页面上某个按钮或者某个连接有多少人点击了几次
某个页面上的热力图(点击地方越多,图上颜色越重)
移动互联网时代,手机应用被用户打开的次数和人数也是大家关注的重点,但是除此之外还多出了许多其他非常重要的数据,由于手机屏幕的限制,信息流成为了移动时代的主流。
各大门户网站非常关注自己的新闻客户端中:在信息流中曝光了多少篇文章,其中有多少篇文章被用户点击了。每篇文章阅读了长时间,因为用户点击的文章越多,使用客户端的时间越长,各公司的广告收入才越高,所以各公司想方设法推荐用户喜欢的内容。
3.如何做这些事情
因为网站的浏览行为,手机客户端中文章的曝光或者点击这些数据非常大,基本以亿为单位起。所以传统的把统计信息放到数据库中的方式已经不能完成这项统计工作。(例如:wordpress博客中,用户每阅读一篇文章,mysql中就会更新这篇文章的阅读次数+1)
所以大数据是通过日志来统计这些指标。
尊重原创文章,转载请注明出处与链接:http://www.peixun360.com/2015/news/289894/违者必究!
以上就是乌鲁木齐IT培训学院 小编为您整理 大数据开发和java有什么不同的全部内容。