发表于
字数统计: 167 | 阅读时长 ≈ 1
linux相关文件信息/etc/crontab1crontab定时器的配置文件 /var/log/cron1对于使用crontab执行的脚本且脚本无输出信息时(因为有输出信息，可以使用重定向标准信息或标准错误信息到某文件)，可以通过这个文件查看crontab是否正常执行 /etc/profile123配置信息及环境变量刷新 source /etc/profile /etc/sudoers1sudo权限相关，给非root用户赋权配置过这个文件 /etc/sysconfig/network-scripts/ifcfg-ens331网络配置相关文件 /etc/ho ...
阅读全文 »

发表于 | 分类于 ，
字数统计: 5.7k | 阅读时长 ≈ 23
第二周 大数据起源之初识Hadoop第一章初识Hadoop什么是Hadoop1Hadoop是一个适合海量数据的分布式存储和分布式计算的框架。 Hadoop发行版介绍1234在这里我们挑几个重点的分析一下： 首先是官方原生版本：Apache Hadoop 那接着往下面看 Cloudera Hadoop(CDH) 还有一个比较常用的是HortonWorks(HDP) 1在这里我们会学习原生的Hadoop，只要掌握了原生Hadoop使用，后期想要操作其它发行版的Hadoop也是很简单的，其它发行版都是会兼容原生Hadoop的，这一点大家不同担心。 原生Hadoop的缺点是没有技术支持 ...
阅读全文 »

发表于 | 分类于 ，
字数统计: 7.5k | 阅读时长 ≈ 30
第一周 第4章 Linux试炼之配置与shell实战linux高级配置给linux设置静态ip地址12345678910一个简单的方法： 1.在虚拟机和主机互通的条件下 2.如果之前设置的vmnet8是自动获取，可以根据cmd里的vmnet8来设置ip,网关，掩码；如果之前已经是设置的固定信息那就不管 3.修改虚拟机文件/etc/sysconfig/network-scripts/ifcfg-ens33 dhcp修改为static onboot的值修改为yes 尾外加： IPADDR="根据虚拟机ipaddr 或 ...
阅读全文 »

发表于 | 分类于 ，
字数统计: 3.2k | 阅读时长 ≈ 11
06讲新技术层出不穷，HDFS依然是存储的王者12我们知道，Google大数据“三驾马车”的第一驾是GFS（Google 文件系统），而Hadoop的第一个产品是HDFS，可以说分布式文件存储是分布式计算的基础，也可见分布式文件存储的重要性。如果我们将大数据计算比作烹饪，那么数据就是食材，而Hadoop分布式文件系统HDFS就是烧菜的那口大锅。这些年来，各种计算框架、各种算法、各种应用场景不断推陈出新，让人眼花缭乱，但是大数据存储的王者依然是HDFS。 为什么HDFS的地位如此稳固呢？1在整个大数据体系里面，最宝贵、最难以代替的资产就是数据，大数据所有的一切都要围绕数据展开。HDFS作 ...
阅读全文 »

发表于 | 分类于 ，
字数统计: 2.9k | 阅读时长 ≈ 9
05讲从RAID看垂直伸缩到水平伸缩的演化1大数据技术主要是要解决大规模数据的计算处理问题，但是我们要想对数据进行计算，首先要解决的其实是大规模数据的存储问题。 如果一个文件的大小超过了一张磁盘的大小，你该如何存储？1我的答案是，单机时代，主要的解决方案是RAID；分布式时代，主要解决方案是分布式文件系统。 其实不论是在单机时代还是分布式时代，大规模数据存储都需要解决几个核心问题，这些问题都是什么呢？总结一下，主要有以下三个方面。12345671.数据存储容量的问题。既然大数据要解决的是数以PB计的数据计算问题，而一般的服务器磁盘容量通常1～2TB，那么如何存储这么大规模的数据呢？2 ...
阅读全文 »

发表于 | 分类于 ，
字数统计: 2.7k | 阅读时长 ≈ 9
04讲移动计算比移动数据更划算1234大数据技术和传统的软件开发技术在架构思路上有很大不同，大数据技术更为关注数据，所以相关的架构设计也围绕数据展开，如何存储、计算、传输大规模的数据是要考虑的核心要素。传统的软件计算处理模型，都是“输入 -> 计算 -> 输出”模型。也就是说，一个程序给它传入一些数据也好，它自己从某个地方读取一些数据也好，总是先有一些输入数据，然后对这些数据进行计算处理，最后得到输出结果。但是在互联网大数据时代，需要计算处理的数据量急速膨胀。一来是因为互联网用户数远远超过传统企业的用户，相应产生了更大量的数据；二来很多以往被忽视的数据重新被发掘利用，比如用户 ...
阅读全文 »

发表于 | 分类于 ，
字数统计: 2.4k | 阅读时长 ≈ 8
03讲大数据应用领域：数据驱动一切大数据在医疗健康领域的应用医学影像智能识别123图像识别是机器学习获得的重大突破之一，使用大量的图片数据进行深度机器学习训练，机器可以识别出特定的图像元素，比如猫或者人脸，当然也可以识别出病理特征。可以说医学影像智能识别在某些方面已经比一般医生拥有更高的读图和识别能力，但是鉴于医疗的严肃性，现在还很少有临床方面的实践。虽然在临床实践方面应用有限，但是医疗影像AI还是在一些领域取得一定的进展。医学影像智能识别，一方面可以帮助医生进行辅助诊疗，另一方面对于皮肤病等有外部表现的病症，病人可以自己拍照然后使用AI智能识别做一个初步诊断。 病历大数据智能诊疗1病 ...
阅读全文 »
0%