定制网站python数据可视化之疫情地图爬虫（含完整代码以及具体报告）

        定制网站利用网络爬虫获取了最定制网站新的世界以及中国的疫情数据，定制网站实现新冠病毒疫情地图。

1.库的准备

        定制网站在这里先将pycharm定制网站编辑器配置好Anaconda，定制网站这样就可以满足大部分定制网站的库的使用了。

 定制网站但是我们将用到的pyecharts定制网站库还是需要自己下载的。

定制网站在准备用爬虫进行最新定制网站疫情数据的呈现后，了解了、seaborn、plotly定制网站这几个绘图工具，决定使用pyecharts。

Echarts定制网站是一个由百度开源的数定制网站据可视化工具，定制网站凭借着良好的交互性，定制网站精巧的图表设计，定制网站得到了众多开发者的认可。而python定制网站是一门富有表达力的语言，定制网站很适合用于数据处理。定制网站当数据分析遇上了数据可视化时，pyecharts诞生了。

pyecharts的下载 

 2.获取数据

        打开Chrome定制网站在网页右击选择“检查”，点开network，刷新页面，定制网站点击各个请求，定制网站找到数据所在url，并复制，再进过#post定制网站方式请求语句response =requests.post(url=url)。定制网站得到的就是直接获得requests的post定制网站请求的数据。

        其中URL是Internet定制网站上描述信息资源的字符串，定制网站主要用在各种WWW定制网站客户程序和服务器程序上。采用URL定制网站可以用一种统一的格式定制网站来描述各种信息资源，包括文件、定制网站服务器的地址和目录等。url：定制网站统一资源定位符。主要作用：定制网站用来定位互联网上的任定制网站意资源的位置。

        

         定制网站可以看到效果，定制网站获取到了我们想要的首页数据，定制网站如果我们查看这个网页的源码，定制网站就可以更加清楚的认知见图7，定制网站可以看到此时不同国家的数据内容，我们获取的内容和网页源码的联系，其实就是网页源码的内容。

现在得到了内容，下一步就是准备对数据的处理，筛选出我们需要的内容。

3.代码块的解释

向url发送请求爬虫代码块1

这是两种方法的使得到的post请求变成json格式。

 地图语句代码块2

 在两个代码中实现地图绘制的语句。这一步虽说是制作地图，其实不然，地图的制作早就被pyecharts的开发人员给做好了，我只需要调用它即可，然后再给它附上数据，这就成为了这功能独有的地图。

 存储数据代码块3

 数据处理部分，zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。要使用list解包print(list(data_list))，储存数据。

 视觉映射配置项代码块4

 都是用visualmap_opts进行视觉映射配置项，包括指定 visualMapPiecewise 组件的最小值，是否显示视觉映射配置，内边距等等作用。

关于Echarts中visualMap组件详解：

视觉映射组件，用于进行『视觉编码』，也就是将数据映射到视觉元素。视觉元素可以是：symbol: 图元的图形类别。symbolSize: 图元的大小。color: 图元的颜色。

4.运行效果

 

会出现下图这样的网页

 点开这个网页如下图在右上角选择适当的浏览器打开，就会得到爬虫的地图。

 

截止我写这篇文章是爬虫的时间为最新的数据（左上角表明爬取数据的时间为2022.10.27）

鼠标滑到任意一个省份会有该省份的确诊数据。

5.总结（大家写报告的时候可以自取）

        在进行疫情的处理中，一开始在网上看相关的资料还是觉得一头雾水，通过老师的细致讲解以及老师给我们的学习资料的学习，我受益匪浅。

        Python是一款强大的编程语言，它包含很多第三方库，只要你自己掌握了python的基本语法规则，了解了一些特定的算法，你也可以制作出属于自己的第三方库供自己和别人使用。熟练运用第三方库会给你的编程带来极大的便利。Python应用广泛，例如数据分析与展示、网络爬虫与信息提取、机器学习应用、科学计算三维可视化、云端系统开发与游戏开发等等，这次的上机我们学习的就是基于python语言的数据分析与展示。

        我首先了解了Python、Pycharm、Anaconda 三者之间的关系，进而学习了Anaconda和pycharm的安装和使用。Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项，是一款强大的python编程工具，而PyCharm是一种常用的Python IDE，带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。使用起来十分的方便快捷。

        脱离课本开始自己写代码，才真正深有感触:学如逆水行舟，不进则退。学习编程不能停留在眼过，更要与脑过和手过相结合，多敲多思考。在这数据可视化学习过程中，发现了许多问题，在敲代码时不够细心，有很多细节上的错误，比如对齐有问题，字母拼写错误，符号的错误等等，都是源自我的不细心以及不熟练。在这个方法的学习中我更加了解了地图绘制的原理，从地图的形状，区域的颜色，地图的大小，以及数据如何读取每一步都有了清楚的认识。对python的可视化也有了更深得认识的认识，尤其的python中第三方库的使用。

        在爬虫的学习上也是花费了较长的时间，学习了爬虫的原理以及基本步骤。

        首先便是理解URL概念，它是Uniform Resource Locator的缩写，译为“统一资源定位符”。通俗地说，URL是Internet上描述信息资源的字符串，主要用在各种WWW客户程序和服务器程序上。采用URL可以用一种统一的格式来描述各种信息资源，包括文件、服务器的地址和目录等。url：统一资源定位符。主要作用：用来定位互联网上的任意资源的位置。

        而数据的抓取过程可以简单的理解为平时使用IE浏览器浏览网页的道理是一样的。比如在浏览器的地址栏中输www.baidu.com这个地址。打开网页的过程其实就是浏览器作为一个浏览的“客户端”，向服务器端发送了一次请求，把服务器端的文件“抓”到本地，再进行解释、展现。HTML是一种标记语言，用标签标记内容并加以解析和区分。浏览器的功能是将获取到的HTML代码进行解析，然后将原始的代码转变成我们直接看到的网站页面。

        我们感兴趣的信息分为不同的类型：如果只是做搜索引擎，那么感兴趣的信息就是互联网中尽可能多的高质量网页；如果要获取某一垂直领域的数据或者有明确的检索需求，那么感兴趣的信息就是根据我们的检索和需求所定位的这些信息，此时，需要过滤掉一些无用信息。前者我们称为通用网络爬虫，后者我们称为聚焦网络爬虫。

        在图形的绘制工具的选择上我使用的是pyecharts，在两个代码中实现地图绘制的语句。制作地图在制作地图这一步上与方法一相比简单，地图的制作早就被pyecharts的开发人员给做好了，我只需要调用它即可，然后再给它附上数据，这就成为了这功能独有的地图。

        数据可视化是将数据用图形化的方式来表示，可以帮助人们迅速明白某些数据的重要性、理解数据的背后含义。数据可视化通常是理解和交流分析的第一步，因为当数据以图形方式而非数字方式呈现时，人们更善于理解数据。比如这次报告中的通过疫情可视化绘制出地图，获得到到更加直观以及快速得到以及想要的内容。数据的收集以及可视化通过交互式(可点击)数据可视化，向下钻取以探索细节，识别模式和异常值，是对数据进行可视化处理，以使得能够明确地、有效地传递信息。我感觉到对数据进行可视化是一件很有意义的事情，借助计算机获得直观的有效的快速的展现，将会给人类的各行各业带来极大的便利。

6.源代码

  1. from pyecharts import options as opts
  2. from pyecharts.charts import Map
  3. from pyecharts.faker import Faker
  4. import requests
  5. from datetime import date
  6. import json
  7.  
  8. from pyecharts.globals import ThemeType
  9.  
  10. update_date = date.today()
  11.  
  12. # 1.疫情接口
  13. url = "https://lab.isaaclin.cn/nCoV/api/area"
  14. # 2.向url发请求，并将获取到的数据转换成json格式
  15. resultJson = requests.get(url).json()
  16. # 3.定义一个列表存储最终结果
  17. province_data = []
  18. # 4.只取国内数据
  19. for item in resultJson['results']:
  20.     if item['countryName'] == "中国":
  21.         province_data.append(
  22.             [
  23.                 item['provinceShortName'],
  24.                 item['confirmedCount']
  25.             ]
  26.         )
  27. c = (
  28.     Map(init_opts=opts.InitOpts(theme=ThemeType.LIGHT))
  29.         .add("全国确诊人数", province_data, "china", is_map_symbol_show=False)
  30.         .set_global_opts(
  31.         title_opts=opts.TitleOpts(
  32.             title="新冠状病毒全国疫情地图",
  33.             subtitle="更新日期:{}".format(update_date),
  34.         ),
  35.         # 视觉映射配置项
  36.         visualmap_opts=opts.VisualMapOpts(
  37.             is_show=True,  # 是否显示
  38.             min_=0,  # 左下角刻度最小值
  39.             max_=2000
  40.         )
  41.     )
  42.         .render("全国疫情可视化.html")
  43. )
  1. import requests
  2. import json
  3. import jsonpath
  4. from pyecharts.charts import Map
  5. from pyecharts import options as opts
  6. from datetime import date
  7. #请求得url
  8.  
  9.  
  10. url = "https://api.inews.qq.com/newsqa/v1/automation/modules/list?modules=FAutoCountryConfirmAdd,WomWorld,WomAboard"
  11.  
  12. #post方式请求
  13. response =requests.post(url=url)
  14.  
  15. #将json格式转化为字典
  16. data = json.loads(response.text)
  17.  
  18. #名称
  19. name = jsonpath.jsonpath(data,"$..name")
  20. #人数
  21. confirm = jsonpath.jsonpath(data,"$..confirm")
  22.  
  23. #数据处理
  24. #zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。
  25.  
  26. data_list = zip(name,confirm)
  27. #要使用list解包
  28. #print(list(data_list))
  29.  
  30. #国家名称表中英文的映射
  31. nameMap = {
  32.         'Singapore Rep.': '新加坡',
  33.         'Dominican Rep.': '多米尼加',
  34.         'Palestine': '巴勒斯坦',
  35.         'Bahamas': '巴哈马',
  36.         'Timor-Leste': '东帝汶',
  37.         'Afghanistan': '阿富汗',
  38.         'Guinea-Bissau': '几内亚比绍',
  39.         "Côte d'Ivoire": '科特迪瓦',
  40.         'Siachen Glacier': '锡亚琴冰川',
  41.         "Br. Indian Ocean Ter.": '英属印度洋领土',
  42.         'Angola': '安哥拉',
  43.         'Albania': '阿尔巴尼亚',
  44.         'United Arab Emirates': '阿联酋',
  45.         'Argentina': '阿根廷',
  46.         'Armenia': '亚美尼亚',
  47.         'French Southern and Antarctic Lands': '法属南半球和南极领地',
  48.         'Australia': '澳大利亚',
  49.         'Austria': '奥地利',
  50.         'Azerbaijan': '阿塞拜疆',
  51.         'Burundi': '布隆迪',
  52.         'Belgium': '比利时',
  53.         'Benin': '贝宁',
  54.         'Burkina Faso': '布基纳法索',
  55.         'Bangladesh': '孟加拉国',
  56.         'Bulgaria': '保加利亚',
  57.         'The Bahamas': '巴哈马',
  58.         'Bosnia and Herz.': '波斯尼亚和黑塞哥维那',
  59.         'Belarus': '白俄罗斯',
  60.         'Belize': '伯利兹',
  61.         'Bermuda': '百慕大',
  62.         'Bolivia': '玻利维亚',
  63.         'Brazil': '巴西',
  64.         'Brunei': '文莱',
  65.         'Bhutan': '不丹',
  66.         'Botswana': '博茨瓦纳',
  67.         'Central African Rep.': '中非共和国',
  68.         'Canada': '加拿大',
  69.         'Switzerland': '瑞士',
  70.         'Chile': '智利',
  71.         'China': '中国',
  72.         'Ivory Coast': '象牙海岸',
  73.         'Cameroon': '喀麦隆',
  74.         'Dem. Rep. Congo': '刚果（金）',
  75.         'Congo': '刚果（布）',
  76.         'Colombia': '哥伦比亚',
  77.         'Costa Rica': '哥斯达黎加',
  78.         'Cuba': '古巴',
  79.         'N. Cyprus': '北塞浦路斯',
  80.         'Cyprus': '塞浦路斯',
  81.         'Czech Rep.': '捷克',
  82.         'Germany': '德国',
  83.         'Djibouti': '吉布提',
  84.         'Denmark': '丹麦',
  85.         'Algeria': '阿尔及利亚',
  86.         'Ecuador': '厄瓜多尔',
  87.         'Egypt': '埃及',
  88.         'Eritrea': '厄立特里亚',
  89.         'Spain': '西班牙',
  90.         'Estonia': '爱沙尼亚',
  91.         'Ethiopia': '埃塞俄比亚',
  92.         'Finland': '芬兰',
  93.         'Fiji': '斐',
  94.         'Falkland Islands': '福克兰群岛',
  95.         'France': '法国',
  96.         'Gabon': '加蓬',
  97.         'United Kingdom': '英国',
  98.         'Georgia': '格鲁吉亚',
  99.         'Ghana': '加纳',
  100.         'Guinea': '几内亚',
  101.         'Gambia': '冈比亚',
  102.         'Guinea Bissau': '几内亚比绍',
  103.         'Eq. Guinea': '赤道几内亚',
  104.         'Greece': '希腊',
  105.         'Greenland': '格陵兰',
  106.         'Guatemala': '危地马拉',
  107.         'French Guiana': '法属圭亚那',
  108.         'Guyana': '圭亚那',
  109.         'Honduras': '洪都拉斯',
  110.         'Croatia': '克罗地亚',
  111.         'Haiti': '海地',
  112.         'Hungary': '匈牙利',
  113.         'Indonesia': '印度尼西亚',
  114.         'India': '印度',
  115.         'Ireland': '爱尔兰',
  116.         'Iran': '伊朗',
  117.         'Iraq': '伊拉克',
  118.         'Iceland': '冰岛',
  119.         'Israel': '以色列',
  120.         'Italy': '意大利',
  121.         'Jamaica': '牙买加',
  122.         'Jordan': '约旦',
  123.         'Japan': '日本',
  124.         'Kazakhstan': '哈萨克斯坦',
  125.         'Kenya': '肯尼亚',
  126.         'Kyrgyzstan': '吉尔吉斯斯坦',
  127.         'Cambodia': '柬埔寨',
  128.         'Korea': '韩国',
  129.         'Kosovo': '科索沃',
  130.         'Kuwait': '科威特',
  131.         'Lao PDR': '老挝',
  132.         'Lebanon': '黎巴嫩',
  133.         'Liberia': '利比里亚',
  134.         'Libya': '利比亚',
  135.         'Sri Lanka': '斯里兰卡',
  136.         'Lesotho': '莱索托',
  137.         'Lithuania': '立陶宛',
  138.         'Luxembourg': '卢森堡',
  139.         'Latvia': '拉脱维亚',
  140.         'Morocco': '摩洛哥',
  141.         'Moldova': '摩尔多瓦',
  142.         'Madagascar': '马达加斯加',
  143.         'Mexico': '墨西哥',
  144.         'Macedonia': '马其顿',
  145.         'Mali': '马里',
  146.         'Myanmar': '缅甸',
  147.         'Montenegro': '黑山',
  148.         'Mongolia': '蒙古',
  149.         'Mozambique': '莫桑比克',
  150.         'Mauritania': '毛里塔尼亚',
  151.         'Malawi': '马拉维',
  152.         'Malaysia': '马来西亚',
  153.         'Namibia': '纳米比亚',
  154.         'New Caledonia': '新喀里多尼亚',
  155.         'Niger': '尼日尔',
  156.         'Nigeria': '尼日利亚',
  157.         'Nicaragua': '尼加拉瓜',
  158.         'Netherlands': '荷兰',
  159.         'Norway': '挪威',
  160.         'Nepal': '尼泊尔',
  161.         'New Zealand': '新西兰',
  162.         'Oman': '阿曼',
  163.         'Pakistan': '巴基斯坦',
  164.         'Panama': '巴拿马',
  165.         'Peru': '秘鲁',
  166.         'Philippines': '菲律宾',
  167.         'Papua New Guinea': '巴布亚新几内亚',
  168.         'Poland': '波兰',
  169.         'Puerto Rico': '波多黎各',
  170.         'Dem. Rep. Korea': '朝鲜',
  171.         'Portugal': '葡萄牙',
  172.         'Paraguay': '巴拉圭',
  173.         'Qatar': '卡塔尔',
  174.         'Romania': '罗马尼亚',
  175.         'Russia': '俄罗斯',
  176.         'Rwanda': '卢旺达',
  177.         'W. Sahara': '西撒哈拉',
  178.         'Saudi Arabia': '沙特阿拉伯',
  179.         'Sudan': '苏丹',
  180.         'S. Sudan': '南苏丹',
  181.         'Senegal': '塞内加尔',
  182.         'Solomon Is.': '所罗门群岛',
  183.         'Sierra Leone': '塞拉利昂',
  184.         'El Salvador': '萨尔瓦多',
  185.         'Somaliland': '索马里兰',
  186.         'Somalia': '索马里',
  187.         'Serbia': '塞尔维亚',
  188.         'Suriname': '苏里南',
  189.         'Slovakia': '斯洛伐克',
  190.         'Slovenia': '斯洛文尼亚',
  191.         'Sweden': '瑞典',
  192.         'Swaziland': '斯威士兰',
  193.         'Syria': '叙利亚',
  194.         'Chad': '乍得',
  195.         'Togo': '多哥',
  196.         'Thailand': '泰国',
  197.         'Tajikistan': '塔吉克斯坦',
  198.         'Turkmenistan': '土库曼斯坦',
  199.         'East Timor': '东帝汶',
  200.         'Trinidad and Tobago': '特里尼达和多巴哥',
  201.         'Tunisia': '突尼斯',
  202.         'Turkey': '土耳其',
  203.         'Tanzania': '坦桑尼亚',
  204.         'Uganda': '乌干达',
  205.         'Ukraine': '乌克兰',
  206.         'Uruguay': '乌拉圭',
  207.         'United States': '美国',
  208.         'Uzbekistan': '乌兹别克斯坦',
  209.         'Venezuela': '委内瑞拉',
  210.         'Vietnam': '越南',
  211.         'Vanuatu': '瓦努阿图',
  212.         'West Bank': '西岸',
  213.         'Yemen': '也门',
  214.         'South Africa': '南非',
  215.         'Zambia': '赞比亚',
  216.         'Zimbabwe': '津巴布韦'
  217. }
  218.  
  219. #自定义的每一段的范围
  220. pieces = [
  221.     {"min":1000000},
  222.     {"min": 100000, "max":999999},
  223.     {"min": 10000, "max": 99999},
  224.     {"min": 1000, "max": 9999},
  225.     {"min": 100, "max": 999},
  226.     {"min":0,"max":99},
  227. ]
  228.  
  229. #width：宽度，height：高度，page_title：标题
  230. #data_pair：数据项，maptype：地图类型，name_map：自定义读取的名称的映射，is_map_symbol_show：是否显示标记图形
  231. map = Map(opts.InitOpts(width='1300px',height='600px')).add(series_name="世界疫情分布",
  232.                 data_pair=list(data_list),
  233.                 maptype="world",
  234.                 name_map=nameMap,
  235.                 is_map_symbol_show=False,
  236.  
  237.                                                         )
  238. #label_opts:标签配置项设置，is_show：是否显示视觉映射配置
  239. map.set_series_opts(label_opts=opts.LabelOpts(is_show=False))
  240.  
  241. #is_piecewise：是否为分段型，pieces：自定义的每一段的范围
  242. #max_：指定 visualMapPiecewise 组件的最大值，TitleOpts：标题配置
  243. map.set_global_opts(
  244.         title_opts=opts.TitleOpts(title="世界地图"),
  245.         visualmap_opts=opts.VisualMapOpts
  246.         (max_=1000000,
  247.          is_piecewise=True,
  248.          pieces=pieces))
  249.  
  250. map.render("世界疫情分布情况.html")

大家可以收藏一下，以后找的时候方便

大家觉得好的话能给我点点赞吗

完结撒花!

 

网站建设定制开发 软件系统开发定制 定制软件开发 软件开发定制 定制app开发 app开发定制 app开发定制公司 电商商城定制开发 定制小程序开发 定制开发小程序 客户管理系统开发定制 定制网站 定制开发 crm开发定制 开发公司 小程序开发定制 定制软件 收款定制开发 企业网站定制开发 定制化开发 android系统定制开发 定制小程序开发费用 定制设计 专注app软件定制开发 软件开发定制定制 知名网站建设定制 软件定制开发供应商 应用系统定制开发 软件系统定制开发 企业管理系统定制开发 系统定制开发