NameError: name 'download' is not defined

《用python写网络爬虫》1.4.2网站地图爬虫，在运行时提示“NameError: name 'download' is not defined“

操作方法

  • 01

    这是书中的代码：import re#from crawling import downloaddef crawl_sitemap(url):    #download the sitemap file    sitemap = download(url)    #extract the sitemap links        links = re.findall('<loc>(.*?)</loc>',str(sitemap))    #download each link    for link in links:        html = download(link)        #scrape html here        #...

  • 02

    这本书的这个例子是和1.4.1的例子相互关联的download未被定义，download是来自1.4.1的代码，我这里将1.4.1取名为crawling.py 代码如下： import urllib.requestdef download(url,user_agent='wswp',num_retries=2):    print('Downloading:',url)    headers = {'User-agent':user_agent}    request = urllib.request.Request(url,headers = headers)    try:        html = urllib.request.urlopen(url).read()    except urllib.request.URLError as e:        print('Downloading error:',e.reason)        html = None                if num_retries > 0:            if hasattr(e,'code') and 500<=e.code<600:                #recursively retry 5xx HTTP errors                return download(url,num_retries-1)        return html

  • 03

    所以这个代码应该写为： import refrom crawling import downloaddef crawl_sitemap(url):    #download the sitemap file    sitemap = download(url)    #extract the sitemap links        links = re.findall('<loc>(.*?)</loc>',str(sitemap))    #download each link    for link in links:        html = download(link)        #scrape html here        #...crawl_sitemap('http://example.webscraping.com/sitemap.xml')

  • 04

    运行结果如下：

  • 05

    运行成功，如果有帮到您，请给我投个票吧

赞 (0)

相关推荐

  • 怎么用python进行数学计算

    在上一篇中小编向大家介绍了python的安装并写了第一个程序--输出一段文字.在本篇中,小编将教给大家如何使用python强大的数学计算功能,它的功能远非系统自带的计算器所能比的. 操作方法 01 我 ...

  • python怎么删除列表中的某个元素

    列表元素能增加就可以删除,前面我们介绍几种增加元素的方法,虽然都是增加但是也有所不同,这里介绍的删除列表元素的方法也是一样,下面就来演示一下.一.del删除列表del 不是方法,是 Python 中的 ...

  • Python的功能（python用处大吗）

    Python的功能（python用处大吗）

    这是一篇译文,原文地址:        https://realpython.com/inner-functions-what-are-they-good-for/1. 封装内部函数可以免受函数之外的 ...

  • download.exe是一个安全的进程吗 download进程可以结束吗

    进程文件： download or download.exe 进程名称： Webcelerator web browser 进程类别：存在安全风险的进程 英文描述： download.exe is a ...

  • IE专用网页视频嗅探下载插件 IE Download Helper

    现在网络上有意思的视频越来越多，有时候很想将一些视频下载到本地上保存。要下载视频的方法很多，之前小编就为大家介绍了通过IE8/IE9自带的开发人员工具进行下载，也介绍过一些专门用于下载视频的插件Gra ...

  • USB DVD Download Tool无法使用的问题

    WIN键+R 启动出“运行”对话框，键入cmd，启动命令提示符。输入diskpart，启动DISKPART工具。 在DISKPART窗口中输入以下命令： >list disk (此命令是列出所有 ...

  • 用Internet Download Manager下载百度盘资源！

    适用于Chrome内核浏览器,本文以猎豹浏览器为例. 操作方法 01 1.打开猎豹应用市场,搜索并安装"Tampermonkey". 02 2.打开如下链接安装"解决百度 ...

  • keil5 Pack Installer file download failed

    keil5中Pack Installer file download failed 一般是keil的官方源在我国下载各种丢包 各种延迟 造成无法自动安装,下边就是我的一些 手动pack install ...

  • Internet Download Manager (IDM) 破解注册

    Internet Download Manager,是一款拥有续传功能的下载神器,提升你的下载速度最多达5倍(速度无限制).续传功能可以让因为网络问题.计算机死机甚至无预警的停电导致只下载到一半的软件 ...