redice's Blog

现专注于Web数据抓取

Django出现如下异常：Can't extract file(s) to egg cache。 原因是当前Apache虚拟用户在/var/www/.python-eggs没有写权限。 解决方法：将egg cache目录修改为系统临时目录/tmp。 在wsgi文件中加入环境变量：os.environ['PYTHON_EGG_CACHE'] = '/tmp' 即可

阅读剩余部分...

尝试绿化Python2.7，使用如下的批处理命令给Python文件添加关联： assoc .py=Python.Script assoc .pyw=Python.Script.NoConsole ftype Python.Script=%CD%\Python27\python.exe %%1 %%* ftype Python.Script.NoConsole=%CD%\Python27\pythonw.exe %%1 %%*

阅读剩余部分...

尝试把Python(2.7)、Django、Apache(使用mod_wsgi模块处理Python程序)、MySQL做成一个绿色的集成包。 其它的都搞定了，但是Django程序一直跑不起来，查看Apache日志发现异常：ImportError: No module named site 解决方法： 在环境变量里加入PYTHONHOME变量

阅读剩余部分...

Windows : 建议安装二进制版本，先装greenlet，再装gevent: http://www.lfd.uci.edu/~gohlke/pythonlibs/#greenlet http://www.lfd.uci.edu/~gohlke/pythonlibs/#gevent Ubuntu: 先编译安装libevent: http://libevent.org/ e.g. https://github.com/download

阅读剩余部分...

下面语句中的Bug导致采集程序执行了一个周还未结束（预期最多1天）...，urls是一个下载队列。 urls.append(re.sub('pg=1 ^ ', 'pg=%d' % i, url)) 开始一直以为时间是浪费在了提取详情上了，没想到程序实际上已经陷入了一个死循环。 原因： ^应改为$，匹配字

阅读剩余部分...

在CSV文件中， 以下几种情况字段值需要用半角双引号（即）将该字段值包含起来（下面简称quoted）： 来源： http://en.wikipedia.org/wiki/Comma-separated_values Fields with embedded commas must be quoted.（当字段值中包含有半角逗号时，整个字段必须被

阅读剩余部分...

simplicity

阅读剩余部分...

新浪SAE支持Python了（应该是11年11月份就开放测试），目前仍在测试阶段，可以在这里申请Python试用， http://appstack.sinaapp.com/ 。 更多说明见这里： SAE Python试用等待队列 Django也是支持的，我创建了一个测试应用： http://donsunit.sinaapp.com/

阅读剩余部分...

import csvFIELDS = ['Name', 'Sex', 'E-mail', 'Blog']# DictWritercsv_file = open('test.csv', 'wb')writer = csv.DictWriter(csv_file, fieldnames=FIELDS)# write headerwriter.writerow(dict(zip(FIELDS, FIELDS)))d = {}d['Name'] = 'Qi'd['Sex'] = '

阅读剩余部分...

# sphinxapi.py 可见于 coreseek-4.1-win32\api\目录内import sphinxapiimport pprintspc = sphinxapi.SphinxClient()spc.SetServer('127.0.0.1', 9312)spc.SetMatchMode(sphinxapi.SPH_MATCH_ANY)# 设置返回数据的开始位置和条数spc.SetLimits(0, 5)# 检索

阅读剩余部分...

Django模板为了防止XSS，缺省情况下会自动将HTML进行转义。 如何关闭自动转义： 方法1：使用|safe 过滤器。 e.g. {{ data|safe }} 这样data的内容就会原样输出，不会被转义。请确保data中的数据不会产生XSS。 方法2：通过{%autoescape off%}的方式关闭整段代

阅读剩余部分...

查看nohup.out文件的内容（大于10万行），显示行号，显法读取文件的百分比、行号及总行数。 root@li384-34:/data/grainger_images# less -NM nohup.out 1 Searching for images/10000/1F000/1F400/1F401/1B1529.jpg, processed_num = 1. 2 Searching for ima

阅读剩余部分...