hadoop理论课-第一章
初识 Hadoop 大数据技术大数据技术概述大数据产生的背景计算机诞生; 互联网发展
大数据的定义“大数据”是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。
IBM 公司将“大数据”理念定义为 4 个 V，即大量化( Volume）、多样化（ Variety）、快速化（ Velocity）及由此产生的价值（ Value）。
数据体量大：大数据的数据量从 TB 级别跃升到 PB 级别。
数据类型多：大数据的数据类型包括前文提到的网络日志、视频、图片、地理位置信息等。
处理速度快： 1 秒定律。最后这一点是
...
vmware安装tools
安装vmware tools选择Linux.iso关闭vmware重新打开，编辑虚拟系统设置->CD/DVD->浏览->选择linux.iso(在vmware的安装路径下，可以复制到虚拟系统镜像文件iso处->确定)
安装Tools打开虚拟系统->桌面->左侧导航栏的CD/DVD->复制里面的tools压缩包到桌面->右键选择extract here->打开解压后文件->shift + 右键->open terminal -> sudo ./vmware-install.pl->根据提示成功安装
...
数值分析-方程组
方程组高斯消去法难于求解或求高精度的解
朴素的高斯消去法主元：主对角线上的元素
步骤消去步骤代码
没有在aij的位置放零是因为后续不会用到该值，提高效率
当遇到主元为零是程序会终止
回代或向后求解代码
操作次数对消去步骤和回代步骤的计算次数进行统计
高斯消去法中消去步骤的操作次数把第一列转化为0，需要(2n+1)(n-1)次计算：
（1+n+n)(n-1)
n个方程n个未知数的消去计算，可以在2/3n^3+1/2n^2-7/6n次操作后完成
复杂度O(n^3)
高斯消去法中回代步骤的操作次数
n个 方 程 n个 未 知 数 的 三 角 形 系 统 的 回 代 过 程 可 以
...
计算机网络-第四章
网络层在计算机网络领域，网络层应该向运输层提供怎样的服务（“面向连接”还是“无连接”）曾引起了长期的争论。争论焦点的实质就是：在计算机通信中，可靠交付应当由谁来负责？是网络还是端系统？
网络层提供的两种服务虚电路服务让网络负责可靠交付
使用面向连接的通信方式
通信之前先建立虚电路 (Virtual Circuit)，以保证双方通信所需的一切网络资源
H1 发送给 H2 的所有分组都沿着同一条虚电路传送
分组，存储转发，虚拟连接
数据报服务网络层向上只提供简单灵活的、无连接的、尽最大努力交付的数据报服务
网络层不提供服务质量的承诺
尽最大努力交付由于传输网络不提供端到端的可靠传输服务，这就
...
网站点击流数据分析
网站点击流数据分析项目业务背景什么是点击流数据WEB访问日志即指用户访问网站时的所有访问、浏览、点击行为数据
日志的生成渠道：
是网站的web服务器所记录的web访问日志；
是通过在页面嵌入自定义的js代码来获取用户的所有访问行为（比如鼠标悬停的位置，点击的页面组件等），然后通过ajax请求到后台记录日志；这种方式所能采集的信息最全面；
通过在页面上埋点1像素的图片，将相关页面访问信息请求到后台记录日志；
日志数据内容详述在实际操作中，有以下几个方面的数据可以被采集：
访客的系统属性特征。比如所采用的操作系统、浏览器、域名和访问速度等。
访问特征。包括停留时间、点击的UR
...
hadoop实验课-hdfs
HDFS实验通过Java API操作HDFS准备工作导入hdfs的jar包1.将/usr/…/share/common下；/usr/…/share/common/lib下；/usr/…/share/hdfs/下的jar包导入到hadoop项目下的lib
2.eclipse的项目单击右键build path->configure..->libraries->external jars
代码编写文件上传1234567891011121314151617181920//package sugon.edu.hadoop.hdfs;import java.net.URI;im
...
hadoop实验课-mapreduce
MapReduce实验
案例一 wordcount准备工作jar包导入1.将mapreduce的jar包复制到eclipse的hadoop项目的lib里
/usr/hadoop/…/share/mapreduce/
/home/…/hadoop/lib/
2.打开eclipse，在项目上单击右键，build path -> configure ..->libraries->add external jars
编写wordcount的map()和reduce()函数map()12345678910111213141516171819202122package sudo
...