发表于 | 分类于
字数统计: 4.2k | 阅读时长 ≈ 17
MapreduceMapReduce概述MapReduce是什么？Mapreduce是一种简化并行计算的编程模型，用于进行大数据量的计算 MapReduce设计思想 MapReduce特点易于编程良好的扩展性高容错性擅长对PB级以上海量数据进行离线处理MapReduce不擅长的场景实时计算MapReduce无法像MySQL一样，在毫秒或秒级内返回结果 流式计算流式计算的输入数据是动态的，而MapReduce的输入数据集是静态的，动态变化 DAG(有向图)计算MapReduce编程模型初识MapReduce模型 MR原语: 相同的key为一组，调用一次reduce方法，迭代计算这一 ...
阅读全文 »

发表于 | 分类于
字数统计: 374 | 阅读时长 ≈ 1
命令行下执行python找不包的解决方法1.为什么会出现这样的问题? 包是向下搜索机制. 2.为什么idle中执行没有报找不到包的问题? python搜索机制,在idle中是以项目为根路径, 所以它的搜索机制是从项目根路径开始向下搜索. 3.为什么命令行执行时会报找不到包的错误? 这是因为命令行执行的时候,是以当前执行的.py文件所在目录级别的下一级开始搜索. 1234567891011root.......web(一级目录) ......sett(二级目录) .......views(二级目录) ......service.py(二级目录) (这 ...
阅读全文 »

发表于 | 分类于
字数统计: 703 | 阅读时长 ≈ 3
常用字符 字符 功能 \d 数字 \w 数字或字母 . 任意单个字符(除了换行符) * 零个或多个字符 + 至少一个字符 ？ 零个或一个字符 {n} 前面的表达式匹配n次 {n,m} \s 匹配一个空格 \ 转义字符 | 或 ^ （匹配一行字符串的开头）^\d以数字开头 $ （匹配一行字符串的结尾）\d$以数字结尾 [0-9a-zA-z\_] 一个数字，字符或下划线 [0-9a-zA-z\_]+ 如'a100'，'0_Z'，'Py3000'等等 \A 匹配字符串的开 ...
阅读全文 »

发表于 | 分类于
字数统计: 318 | 阅读时长 ≈ 1
install普通安装1pip install --timeout 8000 package 使用镜像安装使用国内镜像源123pip install 包名 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com这个是豆瓣源--trusted-host pypi.douban.com 这是为了获得ssl证书的认证，要不然会报错 国内镜像源 1234567891011清华：https://pypi.tuna.tsinghua.edu.cn/s ...
阅读全文 »

发表于 | 分类于
字数统计: 272 | 阅读时长 ≈ 1
一、在文件头部添加如下注释码： 1coding=<encoding name> 例如，可添加# coding=utf-8 二、在文件头部添加如下两行注释码： 123#!/usr/bin/python# -*- coding: <encoding name> -*- 例如，可添加# -*- coding: utf-8 -*- 三、在文件头部添加如下两行注释码： 12345#!/usr/bin/python# vim: set fileencoding=<encoding name> : 例如，可添加# vim: set fileencodin ...
阅读全文 »

发表于 | 分类于
字数统计: 1.3k | 阅读时长 ≈ 5
MongoDB存储[官方文档](http://api.mongodb.com/python/current/api/pymongo/collection.html) MongoDB是 由 C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似JSON对 象 ，它的字段值可以包含其他文档、数组及文档数组，非常灵活。 准备工作安装好pymongo并启动服务 12345671.打开mongodb的安装位置，如：E:\web-software\mongo\bin2.打开终端黑窗口，输入：mongod --dbpath E:\web-software\ ...
阅读全文 »

发表于 | 分类于
字数统计: 1.8k | 阅读时长 ≈ 7
Request库常用的url请求库，是python的第三方库 官方文档 中文文档 安装Requestpip安装1pip install request wheel安装wheel是 Python的一种安装包，其后缀为.whl,在网速较差的情况下可以选择下载wheel文件再安装，然后直接用p ip3命令加文件名安装即可。不过在这之前需要先安装wheel库： 1pip3 install wheel 然后在PyPI上下载对应的wheel文件。进入cmd中进入下载路径： 1pip3 install xxxx.whl 源码安装如果你不想用pip来安装，或者想获取某一特定版本，可以选择下 ...
阅读全文 »

发表于 | 分类于
字数统计: 4.1k | 阅读时长 ≈ 18
printprint(“a”, “b”, “c”, sep=’\n’)a, b, c隔行打印 isinstanceisinstance(e.reason, socket.timeout)是在urllib实例看到的 数组一个数组(不论是字符型还是数值型)，另一个元组引用它，更改新的元组后，旧元组也会改变’xx’.join([‘a’, ‘b’, ‘c’])12print(’xx'.join(['a', 'b', 'c']))>>> axxbxxc print(*[‘a’, ‘b’, ‘c’])12print(*['a', 'b', 'c'])>>> a ...
阅读全文 »
0%