学无止境

少年辛苦终身事,莫向光阴惰寸功。——唐·杜荀鹤《题弟侄书堂》


动态网页爬取

我们使用自动化测试工具selenium pip install selenium

PhantomJS 基于webkit的无界面浏览器

ubuntu使用apt-get install phantomjs MAC使用bew cask install phantomjs

Chromedriver

与selenium配合因为phantomjs已经不支持selenium
如果使用Chrome进行测试,需要使用xvfb, Xvirtual framebuffer (xvfb)虚拟帧缓冲器, 简单来说它可以直接处理window的图形化功能,并且不会输出到屏幕上,这就摆脱了对可视窗口的依赖

MAC安装brew cask install chromedriver mac安装xvfb(可选) pip install xvfbwrapper