-
Scrapy框架
Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试. Scrapy是基于事件的架构,可以使用xpath解析HTML。
Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试. Scrapy是基于事件的架构,可以使用xpath解析HTML。 1.xpath XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。...
2018, Jul 21 — 5 minute read
-
将 jekyll博客从github复制到coding.net
coding.net也是代码托管网站,但是能被百度收录,所以将 jekyll博客从Github复制到Coding.net了。
coding.net也是代码托管网站,但是能被百度收录,所以将 jekyll博客从Github复制到Coding.net了。 原来coding对jekyll支持不好,所以有许多人用其它办法来实现。现在不用那么麻烦了。只需要修改_config.yml中的baseurl属性就可以了。 github是在host的后面直接接你的博客,coding则是又加了一级,这一级就是你的仓库名。所以将_config.yml配置文件设置为忽略中的一员,两个网站用不同的配置,就完美解决了。 注意 .gitignore只能忽略那些原来没有被 track 的文件,如果某些文件已经被纳入了版本管理中,则修改 .gitignore 是无效的。...
2018, Jul 18 — 1 minute read
-
Rack程序
1.Rack
1.Rack Rack 就是对 Ruby 的 Net::HTTP 库的封装为一个 Ruby 包,这个包能够让开发者方便易用 Net::HTTP。使用...
2018, Jul 16 — 1 minute read
-
Python orm框架
1.SQLAlchemy
1.SQLAlchemy SQLAlchemy是Python编程语言下的一款ORM框架,该框架建立在数据库API之上,使用关系对象映射(ORM)进行数据库操作,简言之便是:将对象转换成SQL,然后使用数据API执行SQL并获取执行结果。使用MIT许可证发行。 SQLAlchemy本身无法操作数据库,其必须以来pymsql等第三方插件,Dialect用于和数据API进行交流,根据配置文件的不同调用不同的数据库API,从而实现对数据库的操作。底层使用 Engine/ConnectionPooling/Dialect 进行数据库操作,Engine使用ConnectionPooling连接数据库,然后再通过Dialect执行SQL语句。如: MySQL-Python mysql+mysqldb://<user>:<password>@<host>[:<port>]/<dbname> pymysql mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>] MySQL-Connector...
2018, Jul 12 — 4 minute read
-
编程艺术-元编程
元编程(Meta Programming)
用来生成代码的程序有时被称为 元程序(metaprogram);编写这种程序就称为 元编程(metaprogramming).如C++的泛型编程,模板元编程等。通俗的说就是生成代码的编程,代码生成程序编写。
元编程(Meta Programming) 用来生成代码的程序有时被称为 元程序(metaprogram);编写这种程序就称为 元编程(metaprogramming).如C++的泛型编程,模板元编程等。通俗的说就是生成代码的编程,代码生成程序编写。 适用范围: 使语法更好 自动化样板生成 编写声明式子程序 用来创建领域特有语言的工具通常称为...
2018, Jul 07 — 6 minute read