赖世雄英语语法-第一章 发表于 2020-07-17 | 分类于 英语 字数统计: 91 | 阅读时长 ≈ 1 构成句子的基本要素任何句子均由主语(Subject, S)及动词(Verb, V)形成句子有时可以省略主语,但动词却始终不能省略,否则就无法形成句子。省略主语时,之后的动词一定是原形动词,形成祈使句12You should come here = Come here!You should be happy = Be happy! 阅读全文 »
电脑常用快捷键 发表于 2020-06-24 字数统计: 45 | 阅读时长 ≈ 1 常用快捷键任务管理器12345-- CTRL + SHIFT + ESC-- 电脑任务栏 + 右键 -> 任务管理器-- CTRL + ALT + DEL Google浏览器恢复被关闭的选项卡1CTRL + SHIFT + T 阅读全文 »
hadoop大数据技术-第二章 发表于 2020-06-21 | 分类于 Hadoop大数据技术 字数统计: 463 | 阅读时长 ≈ 1 Hadoop环境配置三种安装方式单击模式使用一个独立java进程 hadoop运行在一个主机上。没有分布式文件系统,直接对本地操作系统文件进行读写 默认安装模式 一般用于本地mapreduce程序调试 伪分布模式运行在一台主机上;使用多个java进程 模仿完全分布式的各个节点;具有完全分布式的所有功能;常用于调试程序 完全分布式模式安装虚拟机安装Unbuntu安装配置关闭防火墙12sudo ufw statussudo ufw disable SSH安装SSH 是 Secure Shell 的缩写,它是一种建立在应用层基础上的安全协议。 SSH 是目前较可靠,专为远程登录会话和 ... 阅读全文 »
计算机网络-第一章 发表于 2020-06-10 | 分类于 计算机网络 字数统计: 572 | 阅读时长 ≈ 1 概述计算机网络在信息时代的作用21世纪的重要特征:数字化,信息化,网络化。网络为核心的信息时代 三种熟悉的网络:*电信网,有线电视,计算机网络*** 电信网:电报,电话,传真 计算机网络:使用户能够在计算机之间传送数据文件 Internet的译名:互联网(使用得更广泛,各种计算机网络互连起来),因特网 计算机能够为用户提供连通服务,其重要的两个特征:连通性和共享性. 互联网概述网络的网络计算机网络由若干结点和连接这些结点的链路组成 结点可以是计算机,服务器,集线器,交换机,路由器等 网络还可以用*路由器连接起来,形成更大的网络,称为互连网*** 网络把许多计算机连接在一起,而互联网把许多 ... 阅读全文 »
hadoop理论课-zookeeper 发表于 2020-06-09 | 分类于 Hadoop , Hadoop大数据技术 字数统计: 296 | 阅读时长 ≈ 1 ZooKeeperzookeeper简介HDFS、 YARN、 HBase 等,从架构上看,它们有相似点,即一个 Master(主)节点,多个 Slave(从)节点。这样的架构存在严重的缺陷——单点故障问题。单点即一个主节点,单点故障是指当只有一个主节点,若主节点宕机,整个集群将无法使用 对于 Hadoop 1.x, Apache Hadoop 官方没有较好的方案解决单点故障问题。 Hadoop 2.x 则有了 *HDFS HA( High Availability),即 HDFS 高可用性。其基本思想是:多个主节点,一个节点Active(活动),其他节点 Standby(备用) ... 阅读全文 »
hadoop实验课-hive 发表于 2020-06-09 | 分类于 Hadoop大数据技术 字数统计: 426 | 阅读时长 ≈ 1 Hive命令后要加‘;‘ 创建表1create table emp001(empno int,ename string,job string,mgr int,hiredate string,sal int,comm int,deptno int) row format delimited fields terminated by ','; 从hdfs导入数据到hive表1load data inpath '/001/hive/emp.csv' into table emp001; 建立分区1create table emp ... 阅读全文 »
python库-re库 发表于 2020-06-07 | 分类于 Python 字数统计: 482 | 阅读时长 ≈ 2 re库常用方法search()在字符串中查找符合正则表达式的,返回第一位置的结果;结果为match对象 1234re.search(pattern, String, flags=0)# pattern正则表达式 # String 字符串 # flags正则表达式的控制情况 1234# flag常用标记re.I # re.IGNORECASE 忽略正则表达式中的大小写re.M # RE.MUTILINE 正则中^操作符能够将字符串的每行当作匹配开始re.S # RE.DOTALL 正则表达式中‘.’可以表示任意单个字符,默认除换行符 12match = re.search(r ... 阅读全文 »
崔庆才python3爬虫 动态渲染页面爬取-Splash负载均衡配置 发表于 2020-06-07 | 分类于 Python 字数统计: 1.3k | 阅读时长 ≈ 5 动态渲染页面爬取-Splash负载均衡配置123用 Splash做页面抓取时,如果爬取的量非常大,任务非常多,用一个Splash服务来处理的话,未免压力太大了,此时可以考虑搭建一个负载均衡器来把压力分散到各个服务器上。这相当于多台机器多个服务共同参与任务的处理,可以减小单个Splash服务的压力。 配置Splash服务1要搭建Splash负载均衡,首先要有多个Splash服务。假如这里在4 台远程主机的8050端口上都开启了 Splash服务,它们的服务地址分别为 41.159.27.223:8050、41.159.27.221:8050、 41.159.27.9:8050和41.15 ... 阅读全文 »
崔庆才python3爬虫 动态渲染页面爬取-使用Selenium爬取淘宝商品 发表于 2020-06-07 | 分类于 Python 字数统计: 9 | 阅读时长 ≈ 1 使用Selenium爬取淘宝商品 阅读全文 »