python和地图api的数据分析应用【字数：10341】
摘 要在现如今的这个社会，随着计算机网络技术的迅猛发展，互联网已经成为了大量信息的载体，网络的数据信息变得越发的复杂。如何方便快捷的获取并利用这些数据信息给人们带来了很大的挑战，为解决这个问题网络爬虫技术就此诞生。近些年来，中国经济快速发展，一二线城市的房价长久居高不下，房屋租赁市场正变得越来越火热。尤其是对尚未买房和正在犹豫的上班年轻群体来说，如何找到优质划算的住房尤为重要。然而随着国家政策的出台，多隔断、低价格的城中村日益消减，在违法租房清理活动下，普通上班族很难租到心仪的房子。然而找中介太贵，网络上各种租房网站信息过于繁杂，加上对交通的不熟悉，考虑到公司的位置及通勤时间与方式，为找到合适的住房势必要浪费大量的时间和精力。基于Python和地图API的数据分析应用很好的迎合了这样的一种趋势，网络爬虫是通过Python来捕获和分析数据的。对获取的数据进行分析并进行可视化视图，总结数据的内在规律，帮助用户进行决策和判断。调用高德地图API，将房源在地图显示出来，使租房信息更直观的呈现在用户眼前，很好的解决了普通上班族租房难的问题。
Key Words: Python;Web Crawler;Map API;Renting a house;Visualization 目录
1.绪论 1
1.1课题背景与意义 1
1.2研究现状 1
2.开发环境及技术介绍 3
2.1 python网络爬虫 3
2.2爬虫架构简介 3
2.3数据分析 4
2.4 API技术 4
2.4开发环境 5
3.系统设计 6
3.1 Python爬取租房网站数据 6
3.1.1分析页面 6
3.1.2 IP代理池 8
3.1.3 爬取页面 9
3.2 Python数据分析 10
3.2.1聚类算法 10
3.2.2数据分析常用库 11
3.2.3 绘图示例 12
3.3高德地图API及房源可视化 13
3.3.1 调用高德地图 13
3.3.2 设计页面 13
3.3.3 房源可视化 *好棒文|www.hbsrm.com +Q: &351916072&
17
4.测试数据与结果展示 20
4.1 Python网络爬虫数据收集 20
4.2 房源文件数据分析 21
4.3地图API与数据可视化功能实现 24
4.系统开发影响 28
5.1 社会人文影响 28
5.2 市场影响 28
总结 29
参考文献 30
致谢 31 1.绪论
1.1课题背景与意义
在当今社会，随着互联网技术的飞速发展和广泛应用，互联网成为人们获取信息数据的重要场所。随着大数据时代的到来，网络就像一个巨大的数据宝库，如何快速获取自己想要的信息资源显得特别重要。然而网络上的信息大多是庞大复杂的，为了方便对数据的利用，促使了网络爬虫技术的兴起。
近些年来，中国经济快速发展，一二线城市的房价长久居高不下，房屋租赁市场正变得越来越火热，同时也存在着诸多问题。据媒体报道，中国的房屋租赁市场还存在着许许多多的问题“所见非所租”、“10个房屋来源中有一半是假的”。此外，我国仍有着大量的旧房屋。官方有数据显示，2017年我国的住宅存量为2.5亿套，用于租住的是0.79亿套，而经专家预计，到2025年我国的住宅存量会达到接近3亿套这一惊人的水平，而投放到住房租赁市场的的房源会达到为0.95亿套，老旧的房屋占比越来越大。也同时带来了“三大错位”的租房问题：“产品错位、服务错位、质量错位”，相当程度上影响了年轻人的租房体验，无疑对尚未买房和正在犹豫的上班年轻群体找到优质划算的住房带来了很多困扰。然而随着国家政策的出台，多隔断、低价格的城中村日益消减，在违法租房清理活动下，普通上班族很难租到心仪的房子。然而找中介太贵，网络上各种租房网站信息过于繁杂，加上对交通的不熟悉，考虑到公司的位置及通勤时间与方式，为找到合适的住房势必要浪费大量的时间和精力，租房难成为了广大年轻上班族很头疼的问题。
为解决这一困境，采用针对需要租房的年轻群体设计的网络爬虫对所需要的租房数据进行爬取是一个很好的选择。我们可以通过Python进行网络爬虫对数据进行抓取并加以分析，完成数据的可视化绘图，提炼出有效信息帮助用户进行决策和判断，建立HTML文件调用高德地图API，将房源数据在地图显示出来。使租房信息更直观的呈现在用户眼前，很好的解决了普通上班族租房难的问题，帮助他们加快适应职场，降低租房压力，享受到品质租房。
1.2研究现状
网络爬虫最开始是作为搜索引擎核心模块开发使用，1933年初，第一个网络爬虫由麻省理工学院Mattew Gray’s Wandered教授开发使用。爬虫技术已经经过了风风雨雨20余年的发展，爬虫技术取得了长足的进步也变得越发的多样，不再仅仅局限于搜索引擎这一个方面。为了满足不同用户的需求，开发创建了众多类型的爬虫系统。
网络爬虫作为一个可自主代理的脚本，在没有人为管理的条件下，可以自行根据导航信息表中的任务和参数来获取网络连接的HTML数据。网络爬虫最开始是作为搜索引擎技术出现的，如目前市面上的Google、Baidu、Yahoo等，为搜索引擎提供服务。为满足不同的工作任务需求，爬虫开发者设计开发了多种爬虫遍历策略。网络爬虫的遍历策略主要是以各个网页中不同图形结构中包含的各个节点为基础，每一个节点代表着独立且不重复的网页链接。正是因为因为爬虫的这种独特的遍历策略，使其本质上就是相当于图形检索算法。网络爬虫遍历网页中的图形结构的方法主要有：广度优先搜索（BFS）、深度优先搜索（DFS）和集中搜索。除此之外，还有的爬虫程序采用概率论算法来对网页数量以及互联网规模大小进行估算。采用的方法主要有：页面导入的链接以及爬行的深度，以此来限制爬虫程序爬取不相关的网页数据。
然而，随着网络应用的一步步快速增长，集中式网络爬虫的工作效率还不足以应付大规模的数据采集任务。为应对这一难题，我们可采用硬件改进的方法来提高工作效率，但即使如此，工作效率还是差强人意。为此，研究者尝试将网络爬虫的思想与分布式系统设计相结合，根据不同用户需求，设计出了多个分布式网络爬虫系统。并且随着分布式网络爬虫的逐步发展与技术革新，使其已经成为当今计算的主流。它很好的把爬取的任务分布到多个不同的节点，大大提高了爬虫程序的可扩展。同时也可以通过物理分布的方式，从而让对靠近爬虫节点的网站进行抓取数据。分布式网络爬虫的出现，使用户可以更有效地收集数据，并将其应用于不同的领域和行业。
2.开发环境及技术介绍
2.1 python网络爬虫
爬虫（英文简称crawler，又称spider），指的是一类计算机程序或者脚本，可以按照用户需求制定一定的规则来自动抓取英特网上的各类网站信息。现实生活中的英特网就相当于一张蛛网，爬虫就是在蛛网上爬行的蜘蛛，可以通过蛛网上节点连线不断地爬行至下一个节点，以此来获取整个网站的资源数据。
现如今英特网规模日益庞大，时时刻刻都在产生各类数据。爬虫技术的产生可以有效的帮助我们从海量繁杂的信息中摒弃无用的信息，爬取想要的有效信息，满足自身信息获取来到达数据分析研究的目的。
Key Words: Python;Web Crawler;Map API;Renting a house;Visualization 目录
1.绪论 1
1.1课题背景与意义 1
1.2研究现状 1
2.开发环境及技术介绍 3
2.1 python网络爬虫 3
2.2爬虫架构简介 3
2.3数据分析 4
2.4 API技术 4
2.4开发环境 5
3.系统设计 6
3.1 Python爬取租房网站数据 6
3.1.1分析页面 6
3.1.2 IP代理池 8
3.1.3 爬取页面 9
3.2 Python数据分析 10
3.2.1聚类算法 10
3.2.2数据分析常用库 11
3.2.3 绘图示例 12
3.3高德地图API及房源可视化 13
3.3.1 调用高德地图 13
3.3.2 设计页面 13
3.3.3 房源可视化 *好棒文|www.hbsrm.com +Q: &351916072&
17
4.测试数据与结果展示 20
4.1 Python网络爬虫数据收集 20
4.2 房源文件数据分析 21
4.3地图API与数据可视化功能实现 24
4.系统开发影响 28
5.1 社会人文影响 28
5.2 市场影响 28
总结 29
参考文献 30
致谢 31 1.绪论
1.1课题背景与意义
在当今社会，随着互联网技术的飞速发展和广泛应用，互联网成为人们获取信息数据的重要场所。随着大数据时代的到来，网络就像一个巨大的数据宝库，如何快速获取自己想要的信息资源显得特别重要。然而网络上的信息大多是庞大复杂的，为了方便对数据的利用，促使了网络爬虫技术的兴起。
近些年来，中国经济快速发展，一二线城市的房价长久居高不下，房屋租赁市场正变得越来越火热，同时也存在着诸多问题。据媒体报道，中国的房屋租赁市场还存在着许许多多的问题“所见非所租”、“10个房屋来源中有一半是假的”。此外，我国仍有着大量的旧房屋。官方有数据显示，2017年我国的住宅存量为2.5亿套，用于租住的是0.79亿套，而经专家预计，到2025年我国的住宅存量会达到接近3亿套这一惊人的水平，而投放到住房租赁市场的的房源会达到为0.95亿套，老旧的房屋占比越来越大。也同时带来了“三大错位”的租房问题：“产品错位、服务错位、质量错位”，相当程度上影响了年轻人的租房体验，无疑对尚未买房和正在犹豫的上班年轻群体找到优质划算的住房带来了很多困扰。然而随着国家政策的出台，多隔断、低价格的城中村日益消减，在违法租房清理活动下，普通上班族很难租到心仪的房子。然而找中介太贵，网络上各种租房网站信息过于繁杂，加上对交通的不熟悉，考虑到公司的位置及通勤时间与方式，为找到合适的住房势必要浪费大量的时间和精力，租房难成为了广大年轻上班族很头疼的问题。
为解决这一困境，采用针对需要租房的年轻群体设计的网络爬虫对所需要的租房数据进行爬取是一个很好的选择。我们可以通过Python进行网络爬虫对数据进行抓取并加以分析，完成数据的可视化绘图，提炼出有效信息帮助用户进行决策和判断，建立HTML文件调用高德地图API，将房源数据在地图显示出来。使租房信息更直观的呈现在用户眼前，很好的解决了普通上班族租房难的问题，帮助他们加快适应职场，降低租房压力，享受到品质租房。
1.2研究现状
网络爬虫最开始是作为搜索引擎核心模块开发使用，1933年初，第一个网络爬虫由麻省理工学院Mattew Gray’s Wandered教授开发使用。爬虫技术已经经过了风风雨雨20余年的发展，爬虫技术取得了长足的进步也变得越发的多样，不再仅仅局限于搜索引擎这一个方面。为了满足不同用户的需求，开发创建了众多类型的爬虫系统。
网络爬虫作为一个可自主代理的脚本，在没有人为管理的条件下，可以自行根据导航信息表中的任务和参数来获取网络连接的HTML数据。网络爬虫最开始是作为搜索引擎技术出现的，如目前市面上的Google、Baidu、Yahoo等，为搜索引擎提供服务。为满足不同的工作任务需求，爬虫开发者设计开发了多种爬虫遍历策略。网络爬虫的遍历策略主要是以各个网页中不同图形结构中包含的各个节点为基础，每一个节点代表着独立且不重复的网页链接。正是因为因为爬虫的这种独特的遍历策略，使其本质上就是相当于图形检索算法。网络爬虫遍历网页中的图形结构的方法主要有：广度优先搜索（BFS）、深度优先搜索（DFS）和集中搜索。除此之外，还有的爬虫程序采用概率论算法来对网页数量以及互联网规模大小进行估算。采用的方法主要有：页面导入的链接以及爬行的深度，以此来限制爬虫程序爬取不相关的网页数据。
然而，随着网络应用的一步步快速增长，集中式网络爬虫的工作效率还不足以应付大规模的数据采集任务。为应对这一难题，我们可采用硬件改进的方法来提高工作效率，但即使如此，工作效率还是差强人意。为此，研究者尝试将网络爬虫的思想与分布式系统设计相结合，根据不同用户需求，设计出了多个分布式网络爬虫系统。并且随着分布式网络爬虫的逐步发展与技术革新，使其已经成为当今计算的主流。它很好的把爬取的任务分布到多个不同的节点，大大提高了爬虫程序的可扩展。同时也可以通过物理分布的方式，从而让对靠近爬虫节点的网站进行抓取数据。分布式网络爬虫的出现，使用户可以更有效地收集数据，并将其应用于不同的领域和行业。
2.开发环境及技术介绍
2.1 python网络爬虫
爬虫（英文简称crawler，又称spider），指的是一类计算机程序或者脚本，可以按照用户需求制定一定的规则来自动抓取英特网上的各类网站信息。现实生活中的英特网就相当于一张蛛网，爬虫就是在蛛网上爬行的蜘蛛，可以通过蛛网上节点连线不断地爬行至下一个节点，以此来获取整个网站的资源数据。
现如今英特网规模日益庞大，时时刻刻都在产生各类数据。爬虫技术的产生可以有效的帮助我们从海量繁杂的信息中摒弃无用的信息，爬取想要的有效信息，满足自身信息获取来到达数据分析研究的目的。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/wljs/196.html
