redice's Blog

现专注于Web数据抓取

generators can be shared between threads, but they cannot be resumed from two threads at the same time. 当两个线程同时调用一个生成器的next方法时就会引发generator already executing异常。 解决方法：加锁。 如下代码所示： import threadingclass

阅读剩余部分...

XML-RPC xmlrpc是使用http协议做为传输协议的rpc机制，使用xml文本的方式传输命令和数据。 一个rpc系统，必然包括2个部分: 1）rpc client，用来向rpc server调用方法,并接收方法的返回数据; 2）rpc server,用于响应rpc client的请求，执行方法，并回送方法执

阅读剩余部分...

Wing IDE调试任何程序出现如下错误： Traceback (most recent call last): File C:\Program Files (x86)\Wing IDE 4.1\bin\wingdb.py, line 546, in main orig_sys_path) File C:\Program Files (x86)\Wing IDE 4.1\bin\wingdb.py, line 413, in DebugFile s

阅读剩余部分...

参考：《DjangoBook2.0》 数据模型高级进阶 经典的例子：一本书有多个作者，一个作者有多本书，典型的多对多关系。 设计模型如下： from django.db import modelsclass Author(models.Model): first_name = models.CharField(max_length=30) last_name = mod

阅读剩余部分...

测试了一下MySQLdb的executemany()方法，速度是惊人的：10分钟内插入了100万的数据。赶快来做个标记！ 测试环境： Amazon RDS （Amazon Relational Database Service），数据表中原本有1900万条数据，测试完毕后，数据条数如下： 而之前我用execute()逐条插

阅读剩余部分...

我使用了一个名为MongoEngine的封装API，它和Django的ORM很类似。 感觉安装和使用都很方便。 关于MongoEngine的更多资料可以看这里： http://mongoengine.org/ 。 User Guide http://readthedocs.org/docs/mongoengine-odm/en/latest/guide/index.html 一段

阅读剩余部分...

1）Windows： 建议安装二进制版本： http://www.stickpeople.com/projects/python/win-psycopg/ 根据自己的Python版本和操作系统（32位、64位）选择。 2）Ubuntu： 方法一：sudo apt-get install python-psycopg2 方法二：sudo pip install psycopg2 什么？

阅读剩余部分...

尝试绿化Python2.7，使用如下的批处理命令给Python文件添加关联： assoc .py=Python.Script assoc .pyw=Python.Script.NoConsole ftype Python.Script=%CD%\Python27\python.exe %%1 %%* ftype Python.Script.NoConsole=%CD%\Python27\pythonw.exe %%1 %%*

阅读剩余部分...

Windows : 建议安装二进制版本，先装greenlet，再装gevent: http://www.lfd.uci.edu/~gohlke/pythonlibs/#greenlet http://www.lfd.uci.edu/~gohlke/pythonlibs/#gevent Ubuntu: 先编译安装libevent: http://libevent.org/ e.g. https://github.com/download

阅读剩余部分...

下面语句中的Bug导致采集程序执行了一个周还未结束（预期最多1天）...，urls是一个下载队列。 urls.append(re.sub('pg=1 ^ ', 'pg=%d' % i, url)) 开始一直以为时间是浪费在了提取详情上了，没想到程序实际上已经陷入了一个死循环。 原因： ^应改为$，匹配字

阅读剩余部分...

新浪SAE支持Python了（应该是11年11月份就开放测试），目前仍在测试阶段，可以在这里申请Python试用， http://appstack.sinaapp.com/ 。 更多说明见这里： SAE Python试用等待队列 Django也是支持的，我创建了一个测试应用： http://donsunit.sinaapp.com/

阅读剩余部分...

import csvFIELDS = ['Name', 'Sex', 'E-mail', 'Blog']# DictWritercsv_file = open('test.csv', 'wb')writer = csv.DictWriter(csv_file, fieldnames=FIELDS)# write headerwriter.writerow(dict(zip(FIELDS, FIELDS)))d = {}d['Name'] = 'Qi'd['Sex'] = '

阅读剩余部分...