Python_1_requests

1,安装requests 和 beautifulsoup2,安装lxmlhttps://pypi.pyth——on.org/pypi/ez_setuppython ez_setup.pyhttps://pypi.python.org/pypi/pippython setup.py install ,
2次阅读

python json.load和json.loads的区别

load和loads都是实现“反序列化”,区别在于(以Python为例):loads针对内存对象,即将Python内置数据序列化为字串如使用json.dumps序列化的对象d_json=json.dumps({'a':1, 'b':2}),在这里d_json是一个字串'{"b": 2, "a": 1
3次阅读

Spark SQL编程指南(Python)【转】

转自:http://www.cnblogs.com/yurunmiao/p/4685310.html前言 Spark SQL允许我们在Spark环境中使用SQL或者Hive SQL执行关系型查询。它的核心是一个特殊类型的Spark RDD:SchemaRDD。 SchemaRDD
3次阅读

Spark(Hive) SQL中UDF的使用(Python)【转】

相对于使用MapReduce或者Spark Application的方式进行数据分析,使用Hive SQL或Spark SQL能为我们省去不少的代码工作量,而Hive SQL或Spark SQL本身内置的各类UDF也为我们的数据处理提供了不少便利的工具,当这些内置的UDF不能满足于我们的需要时,Hi
4次阅读

Spark SQL inferSchema实现原理探微(Python)【转】

使用Spark SQL的基础是“注册”(Register)若干表,表的一个重要组成部分就是模式,Spark SQL提供两种选项供用户选择: (1)applySchema  applySchema的方式需要用户编码显示指定模式,优点:数据类型明确,缺点:多表时有一定的代码
4次阅读

python 爬虫不停换代理

内网看到的一个小技巧,卧槽,感觉真TM厉害函数均放到main函数内即可def get_proxy(): url="http://www.xicidaili.com" req=urllib.request.Request(url,headers=headers)
15次阅读

新版本macos无法安装mysql-python包

在更新了macos之后就发现无法正确安装python-mysql包了。上网查阅了一下应该是c库或者osx的基础工具变动带来的问题。看到很多解决办法说使用pymysql,拜托我问的是如何安装python-mysql啊。pure-python虽然很爽但是略慢啊。最后在stackoverflow上找到了答
2次阅读

python RandomForest跑feature重要性

其实呢,就是直接调用一个函数的事情。。。#coding=utf-8from sklearn.tree import DecisionTreeClassifierfrom matplotlib.pyplot import *from sklearn.cross_validation import tr
11次阅读

python 人工智论

https://www.zhihu.com/question/21395276基于python深度学习库DeepPy的实现:GitHub - andersbll/neural_artistic_style: Neural Artistic Style in Python基于python深度学习库Te
4次阅读

pyremotevbox 用法

>>> import pyremotevbox.vbox as vbox>>> host = vbox.VirtualBoxHost(host='10.0.2.2')>>> bm1 = host.find_vm('baremetal1')>
5次阅读