🕷🎯Python3爬虫实战ã€JSåŠ è§£å¯†ã€é€†å‘教程
çŠ€ç‰›æ•°æ® | 美团美食 | ä¼å片 | ä¸ƒéº¦æ•°æ® | 淘大象 | 梦幻西游è—å®é˜ | 红薯ä¸æ–‡ç½‘ | 漫画柜 | è´¢è”社 | ä¸å›½ç©ºæ°”è´¨é‡åœ¨çº¿ç›‘测分æžå¹³å° | 66ipä»£ç† | 零度ip | 国家ä¼ä¸šä¿¡ç”¨ä¿¡æ¯å…¬ç¤ºç³»ç»Ÿ | ä¸å›½äº§å“大目录 | JSFuck | 咪咕视频 | 房天下 | æ–°æµªå¾®åš | 新浪二手房 | æžè´·åŠ©æ‰‹ | è£åˆ¤æ–‡ä¹¦ç½‘ | 空ä¸ç½‘ | 粉笔网 | å®å½“å¿«è¯ | 58åŒåŸŽ | wallhere | 豆瓣读书 | google é•œåƒç«™ | | openlaw | Xé‡Œæ–‡å¦ | 刺猬猫å°è¯´ |
| Author | 咸鱼 |
|---|---|
| daihuangj@gmail.com | |
| å¾®ä¿¡å…¬ä¼—å· | 咸鱼å¦Python |
| Introduce | æ•°æ®è§£å¯†ã€å爬处ç†ã€é€†å‘教程 |
- ã€é›¶åº¦ã€‘IP页é¢tokenå‚æ•°åŠ å¯†é€†å‘
- ã€66ip】cookie生æˆåŠ 密逆å‘
- ã€ä¸å›½ç©ºæ°”è´¨é‡åœ¨çº¿ç›‘测分æžå¹³å°è§£å¯†ã€‘æ•°æ®è§£å¯†
- ã€è´¢è”社】signåŠ å¯†é€†å‘
- ã€æ¼«ç”»æŸœã€‘解密数æ®ä¸‹è½½æ¼«ç”»
- ã€æ¢¦å¹»è¥¿æ¸¸ã€‘游æˆè£…å¤‡å±žæ€§åŠ å¯†é€†å‘
- ã€ä¸ƒéº¦æ•°æ®ã€‘åŠ å¯†åæ··æ·†
- ã€æ·˜å¤§è±¡ã€‘æ— é™debuggerç ´è§£ä¸Žæ··æ·†åŠ å¯†é€†å‘
- ã€ä¼åç‰‡ã€‘åŠ å¯†é€†å‘
- ã€ç¾Žå›¢ç¾Žé£Ÿã€‘ token å‚æ•°åŠ å¯†é€†å‘
- ã€çŠ€ç‰›æ•°æ®ã€‘ 列表数æ®è§£å¯†
- ã€å›½å®¶ä¼ä¸šä¿¡ç”¨ä¿¡æ¯å…¬ç¤ºç³»ç»Ÿå…¬å‘Šã€‘ 公告数æ®çˆ¬å– ç ´è§£åŠ é€Ÿä¹
- ã€ä¸å›½äº§å“大目录】 åŠ é€Ÿä¹
- ã€æŸçˆ¬è™«é—¯å…³ç½‘站】 如何处ç†JSFuck
- ã€å’ªå’•è§†é¢‘】 密ç åŠ å¯†ä¸ŽæŒ‡çº¹åŠ å¯†åˆ†æž
- ã€æˆ¿å¤©ä¸‹ã€‘ 密ç åŠ å¯†
- ã€æ–°æµªäºŒæ‰‹æˆ¿ã€‘ 密ç åŠ å¯†
- ã€æ–°æµªå¾®åšã€‘ 密ç åŠ å¯†
- ã€æžè´·åŠ©æ‰‹ã€‘ 密ç åŠ å¯†
- ã€è£åˆ¤æ–‡ä¹¦ã€‘ åŠ å¯†åˆ†æž
- ã€ç©ºä¸ç½‘】 密ç åŠ å¯†
- ã€ç²‰ç¬”网】 密ç åŠ å¯†
- ã€å®å½“å¿«è¯ã€‘ 爬å–分æž
- ã€58åŒåŸŽã€‘ 密ç åŠ å¯†
- ã€çº¢è–¯ä¸æ–‡ç½‘】æ£æ–‡åŠ 密解æž
- ã€google é•œåƒç«™ã€‘æ£æ–‡åŠ 密
- ã€è±†ç“£è¯»ä¹¦ã€‘æœç´¢ç»“æžœåŠ å¯†
- ã€åˆºçŒ¬çŒ«å°è¯´ã€‘å°è¯´æ£æ–‡åŠ 密
- ã€X里文å¦ã€‘å°è¯´æ£æ–‡åŠ 密
- ã€openlawã€‘ç™»é™†åŠ å¯†
JS解密案例
│
├── lingduip // -----零度ip-----
│  ├── lindu_ip.js // js解密逻辑
├── 66ip // -----66ip代ç†----
│  ├── ip66_1.js // æ— cookie状æ€æˆ–cookie过期状æ€è¿”回的js
│  ├── ip66_2.js // 解æžé¡µé¢è¿”回的jsä¸ ç”Ÿæˆcookieçš„js
│  ├── ip66_3.js // 解æžé¡µé¢è¿”回的jsä¸ ç”Ÿæˆcookieçš„js(测试于20190803)
│  ├── ip66.py // Python 版完整demo
│  ├── ip66-0803.py // Python 版完整demo(测试于20190803)
├── aqi // -----ä¸å›½ç©ºæ°”è´¨é‡åœ¨çº¿ç›‘测分æžå¹³å°-----
│  ├── aqi.js // jsåŠ å¯†é€»è¾‘
│  ├── aqi_spider.py // ä¸å›½ç©ºæ°”è´¨é‡åœ¨çº¿ç›‘测分æžå¹³å°çˆ¬å–demo
├── cailianshe // -----è´¢è”社电报-----
│  ├── cls.py // signåŠ å¯†å‚数实现逻辑
├── exam // -----一个很有æ„æ€çš„爬虫机试题-----
│  ├── datamining-exam-20190422.py // 爬虫机试题ç”案
├── manhuagui // -----漫画柜-----
│  ├── manhuagui_spider_best.py // 漫画柜爬å–demo - 这个è¿è¡Œåšäº†çˆ¬å–效率的改进
│  ├── manhuagui_spider.py // 漫画柜爬å–demo
├── menghuanxiyou // -----梦幻西游è—å®é˜-----
│  ├── menghuanxiyou.py // 梦幻西游è—å®é˜çš„è£…å¤‡å±žæ€§åŠ å¯†é€†å‘demo
│  ├── test.py // 梦幻西游è—å®é˜çš„è£…å¤‡å±žæ€§åŠ å¯†é€†å‘js
├── qimai_data // -----七麦数æ®-----
│  ├── qimai.py // 七麦数æ®è§£å¯†demo
│  ├── en.js // 七麦数æ®è§£å¯†js
├── taodaxiang // -----淘大象-----
│  ├── taodaxiang.js // 淘大象查询å‚æ•°åŠ å¯†æ··æ·†é€†å‘ js
├── qimingpian // -----ä¼å片-----
│  ├── qimingpian.js // ä¼åç‰‡æŸ¥è¯¢ç»“æžœåŠ å¯†é€†å‘ js demo
├── meituanmeishi // -----美团美食-----
│  ├── meituan.js // 美团美食 token å‚æ•°åŠ å¯†é€†å‘ js
│  ├── meituan.py // 美团美食 token å‚æ•°åŠ å¯†é€†å‘ demo
├── xiniudata // -----犀牛数æ®-----
│  ├── xiniudata-param.js // çŠ€ç‰›æ•°æ® å‚æ•°åŠ å¯†é€†å‘ js
│  ├── xiniudata-parse.py // çŠ€ç‰›æ•°æ® æ•°æ®åŠ å¯†é€†å‘ js
├── gsxt_gg // -----国家ä¼ä¸šä¿¡ç”¨ä¿¡æ¯å…¬ç¤ºç³»ç»Ÿ-----
│  ├── jsl.js // 国家ä¼ä¸šä¿¡ç”¨ä¿¡æ¯å…¬ç¤ºç³»ç»Ÿ cookie生æˆè°ƒè¯•js
│  ├── gsxtgg.py // 国家ä¼ä¸šä¿¡ç”¨ä¿¡æ¯å…¬ç¤ºç³»ç»Ÿå…¬å‘Š 爬å–demo
├── baikewanjia // -----ä¸å›½äº§å“大目录-----
│  ├── baikewanjia.js // ä¸å›½äº§å“大目录 生æˆcookieçš„js
│  ├── baikewanjia.py // ä¸å›½äº§å“大目录首页爬å–demo
├── jsfuck // -----关于JSFuck的处ç†-----
│  ├── jsfuck.js // 关于JSFuck的示例
├── migu_video // --关于咪咕视频密ç åŠ å¯†ä¸ŽæŒ‡çº¹åŠ å¯†çš„åˆ†æž-----
│  ├── password.js // 密ç åŠ å¯† js demo
│  ├── fingerprint+fingerprintdetail.js // å…³äºŽæŒ‡çº¹åŠ å¯†çš„ js demo
├── fangtianxia-rsa // ---关于房天下密ç åŠ å¯†çš„åˆ†æž-----
│  ├── fangtianxia.js // 密ç åŠ å¯† js demo
├── xinlangesf // ---关于新浪二手房登陆密ç åŠ å¯†çš„åˆ†æž-----
│  ├── esf.js // 密ç åŠ å¯†js demoã€RSAåŠ å¯†å’Œæˆ¿å¤©ä¸‹åŠ å¯†ä¸€æ ·ã€‘
├── weibo // ---关于新浪登陆密ç åŠ å¯†çš„åˆ†æž-----
│  ├── sp.js // 密ç åŠ å¯† js demo
├── jidaizhushou // ---关于æžè´·åŠ©æ‰‹å¯†ç åŠ å¯†çš„åˆ†æž-----
│  ├── jidaizhushou.js // 密ç åŠ å¯† js demo
├── wenshu190902 // ---关于è£åˆ¤æ–‡ä¹¦ç½‘0902ç‰ˆåŠ å¯†å‚数分æž-----
│  ├── cipher.js // åŠ å¯†å‚æ•° cipher js demo
│  ├── content_list.js // 列表页内容解密 js demo
│  ├── pageld.js // åŠ å¯†å‚æ•° pageld js demo
│  ├── RequestVerificationToken.js // åŠ å¯†å‚æ•° RequestVerificationToken js demo
├── kongzhongwang // ---关于空ä¸ç½‘密ç åŠ å¯†çš„åˆ†æž-----
│  ├── kongzhongwang.js // 密ç åŠ å¯† js demo
├── fenbiwang // ---关于粉笔网密ç åŠ å¯†çš„åˆ†æž-----
│  ├── fenbiwang.js // 密ç åŠ å¯† js demo
├── 58tc // ---关于58åŒåŸŽå¯†ç åŠ å¯†çš„åˆ†æž-----
│  ├── pass.js // 密ç åŠ å¯† js demo
├── spider_dingdang // ---关于å®å½“å¿«è¯çš„爬å–demo-----
│  ├── dingdang.py // å®å½“å¿«è¯çš„爬å–demo
├── hongshuwang // ---关于红薯ä¸æ–‡ç½‘æ£æ–‡åŠ 密的分æž----
│  ├── hongshuwang.js // 红薯ä¸æ–‡ç½‘çš„js demo
├── googlejx // ---关于googleé•œåƒç«™æ£æ–‡åŠ 密的分æž--
│  ├── googlejx.js // googleé•œåƒç«™çš„js demo
├── doubandushu // ---关于豆瓣读书æœç´¢ç»“æžœåŠ å¯†çš„åˆ†æž---
│  ├── doubandushu.js // 豆瓣读书æœç´¢ç»“æžœåŠ å¯†çš„js demo
├── ciweimao // ---关于刺猬猫æ£æ–‡åŠ 密的分æž-----
│  ├── ciweimao.js // 刺猬猫æ£æ–‡åŠ 密的js demo
├── alireader // ---关于X里文å¦æ£æ–‡åŠ 密的分æž-----
│  ├── alireader.js // X里文å¦æ£æ–‡åŠ 密的js demo
├── openlaw // ---关于openlaw登陆密ç çš„åŠ å¯†åˆ†æž--
│  ├── openlaw.js // openlaw登陆密ç çš„js demo
å爬绕过案例
│
├── wallhere_spider // -----wallwhere-----
│  ├── use_pypackage_anti_cloudflare.py // 使用现æˆçš„python包对抗金盾5秒
│  ├── spider.py // wallhere网站的爬å–demo