软件编程技术出现已经半个多世纪路,核心价值就是把现实世界的业务操作搬到计算机上,通过计算机软件和网络进行业务和数据处理。我们常见的软件系统,不管是电子商务还是库存管理,不管是搜索引擎还是收银终端,都是如此。这一点价值巨大,可以成百上千地提高我们的生活和工作效率。

阅读全文 »

某内网项目需要测试spark和mongodb联调,因为不能连接外网,所以下载好了所有的jar包扔进去了。
在这里插入图片描述
官网给出的事例代码如下:

1
2
3
./bin/pyspark --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred" \
--conf "spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection" \
--packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.0

阅读全文 »

对于开发工程师或者运维工程师来说,一款趁手的SSH服务器及终端管理工具能有效提升自己的工作效率。在Windows系统中,我们有Xshell,MobaXterm或者SecureCRT等神器。然而,在macOS上却一直缺少一款趁手的工具。
我不喜欢SecureCRT过时的界面,iTerm2作为终端工具确实很好用,强大的多屏操作很是吸引人,但是要管理很多台服务器,要熟悉各种配置文件就够你折腾的了。现在情况终于有了改变,感谢Codinn公司,给我们带来这样一款神器:Core Shell

阅读全文 »

IoC出现之前

在团队向项目中,我们经常要分多人来开发,所以就有了面向接口编程,接口驱动设计。这样有很多好处,可以提供不同灵活的子类实现,增加代码稳定和健壮性等等,但是接口一定是需要实现的,也就是如下语句迟早要执行:AInterface a = new AInterfaceImp(); 这样一来,耦合关系就产生了,如:

1
2
3
4
5
6
7
8
9
10
11
classA
{
AInterface a;

A(){}

AMethod()//一个方法
{
a = new AInterfaceImp();
}
}

阅读全文 »

现在同学们写博客有很多渠道和工具可以选择,不想折腾的可以用CSDN,简书等,开箱即用,体验良好。稍微极客一点的可以选择wordpress,ghost自建博客,就是要自己买服务器,这一套流程玩下来,对建站基础也能做到心中有数了。还有些同学喜欢静态博客,例如jekyll, octopress, hexo等,还有基于react的gatsby也挺酷炫的(正在学习中),这类工具生成的静态博客可以托管在一些第三方的平台上,例如github, heroku, 国内的coding.net,阿里云OSS等。我选择把静态博客托管在阿里云OSS上,哈哈哈~静态博客工具,这里使用的是hexo,因为使用简单,功能强大。

阅读全文 »

警惕数据权的恶意使用或过度滥用

随着大数据应用的不断推进,数据开始被视为重要的战略资源,“世界经济论坛”报告曾指出大数据为新财富,价值堪比石油。在政治领域,数据的所有权是一种新的权利源泉。围绕原始数据的占有权和发布权的斗争将成为一个持久性的政治议题。一个不可否认的政治事实是,意识形态的倾向性总是会影响对客观事实的调查,并且对决策过程产生导向作用。当前,数据权被滥用的案例普遍存在。

阅读全文 »

大数据等于开放数据

由于目前尚无对“大数据”的标准界定,政府部门对大数据的认识存在混淆,将开放数据等同于大数据,将任何“大”的政府数据集的发布都当作是大数据。但事实上,很多开放数据只是离散的“小数据”,并不具备大规模、未经处理和非结构化等大数据的基本特征,且很多通过开放数据机构发布的在线数据集仅仅是一个可用的样本集。同时,虽然开放数据对于促进政务大数据应用意义很大,但当开放数据仅仅是由于上级部门的指令要求,并对政府部门本身工作并没有任何回馈时,开放数据项目就会缺乏可持续性。

阅读全文 »

整体性政府

整体性政府强调政府内部须实现机构、部门、专业、层级等之间的协调整合,以更好的解决公众提出,避免因政府内部矛盾冲突而造成的公共服务效率低下。Michael Milakovich指出,单一数据源已越来越难以满足应对很多政策领域日益复杂问题的需求,未来将会出现越来越多跨数据集的联系,且在数字时代,政府治理的关键在于整合多数据源的公共管理模式,因此,推动政务大数据应用首先应坚持整体性政府方向,推动政府间的数据共享与业务协同。

阅读全文 »

所谓政务大数据,是指政府推动大数据应用发展的过程或大数据在公共服务领域的应用实践。

由于“大数据”的广泛应用以及“大数据”蕴藏的巨大潜力和价值,许多国家纷纷将“大数据”的建设和发展上升为国家战略。2012年3月29日,美国正式发布了《大数据研究和发展倡议》(Big Data Research and Development Initiative),该倡议书中提到,大数据计划的实施,旨在帮助美国获得从海量复杂数据集中萃取知识的能力,借此提高国家应对急迫挑战的能力。这一计划类似于过去美国联邦政府在高性能计算和互联网等领域的战略性投入,并旨在推动国家在科学研究、教育和国家安全等领域的能力。该倡议书的发布,标志着大数据已经上升成为美国在计算服务领域的国家战略。英国、加拿大、新加坡、日本、韩国等国家纷纷推出了以开放、融合、创新为特征的新一轮信息技术革命推进政策。

阅读全文 »

近年来,大数据在全球范围内受到追捧。据国际数据资讯(IDC)公司监测,全球数据量大约每两年翻一番,预计到2020年,全球将拥有35ZB的数据量。据统计,平均每一秒都有200万用户在使用Google搜索,Facebook注册用户超过10亿,每天生成300TB以上的日志数据。同时,传感网、物联网、社交网络等技术迅猛发展,引发数据规模爆炸式增长,大数据时代已经到来。

阅读全文 »
0%