大数据基础技术

大数据基础技术

  • Hive1.2开发MD5用户自定义函数UDF

    因为公司使用的Hive版本是1.2,没有自带md5函数, 于是通过开发udf函数来实现该功能。我们使用IDEA和Maven来开发和构建。创建项目打开IntelliJ IDEA。File => New => Project =>Maven =>勾选 Create from ar

    查看全文
  • HDFS 是如何实现大数据高速可靠的存储和访问的

    HDFS 是如何实现大数据高速可靠的存储和访问的

    Hadoop 分布式文件系统 HDFS 的设计目标是管理数以千计的服务器、数以万计的磁盘,将这么大规模的服务器计算资源当作一个单一的存储系统进行管理,对应用程序提供数以 PB 计的存储容量,让应用程序像使用普通文件系统一样存储大规模的文件数据。HDFS 是在一个大规模分布式服务器集群上,对数据分片后

    查看全文