网络爬虫的艺术品场网站(附件)
摘要：为弥补全国各艺交所信息资源分散，平台不统一的情况设计并实现一个艺术品市场平台。网站基于网络爬虫技术，对艺术品交易申购、托管等相关信息进行抓取，实现申购、托管、公告、电子盘、分类浏览功能，方便用户进行相关信息的阅读。系统采用数据、业务逻辑、用户界面分离的多层体系架构，应用sqlyog软件构建mysql数据库，使用html、javascript、php语言进行开发，通过sublime软件编写代码。网站充分利用网络资源，实现了艺术品交易等信息资源的数据统一与信息共享。最后对网站系统进行了功能测试，基本达到了设计目标。
目录
摘要 １
关键字 １
Abstract １
Key Words １
1 选题背景 １
1.1 问题的提出 １
1.2 国内外研究状况 ２
1.2.1 国外研究状况 ２
1.2.2 国内研究状况 ２
1.3 研究的目的和内容 ２
2 开发平台及应用技术 ２
2.1 开发平台及环境 ２
2.2 数据库概述 ２
2.3 web开发技术 ３
2.3.1 html+css+javascript 开发技术 ３
2.3.2 后端php技术 ３
2.3.3 ajax ３
2.4 网络爬虫技术 ４
2.4.1网络爬虫简介 ４
2.4.2 网络爬虫关键技术 ４
2.5 数据处理 ４
2.5.1 标签处理 ４
2.5.2 数据编码 ４
3 网站的需求分析 ５
3.1 网站初步的业务需求 ５
3.2 采用面向对象的需求分析方法进行需求分析 ６
3.2.1 开发场景 ６
3.2.2 系统用例图 ８
3.2.3 用户活动图 ９
3.2.4 系统顶层结构 ９
4 数据库设计 １０
4.1 数据库设计 １０
4.1.1 数据库概念结构设计 １０
4.1.2 数据库表逻辑结构设计 １２
*好棒文|www.hbsrm.com +Q: 3_5_1_9_1_6_0_7_2
5 网站的实现 １３
5.1 界面模块伪代码 １３
5.1.1 html界面框架伪代码 １３
5.1.2 css界面样式伪代码 １４
5.2 与服务器交互代码 １５
5.3 后端与数据库交互代码 １６
5.3.1 访问数据库代码 １６
5.3.2 操作数据库伪代码 １６
5.4 后端爬虫采集数据伪代码 １６
6 网站的测试 １７
6.1 用户界面测试及效果 １７
6.1.2 申购、托管、公告、版块测试效果 １８
6.1.3 现货报价模块界面测试效果 １９
6.1.4 电子盘模块界面测试效果 １９
6.1.5评论模块界面测试效果 ２０
6.1.6收藏模块界面测试效果 ２０
6.1.7行业资讯模块界面测试效果 ２１
6.2 爬虫测试及效果 ２１
6.2.1 申购、托管、公告、行业资讯爬虫测试效果 ２１
6.2.2 现货报价模块爬虫测试效果 ２２
7 总结 ２２
致谢 ２３
参考文献 ２３
基于网络爬虫的艺术品市场网站
引言
引言
分布在全国各地的文化品交易市场每天都会产生很多的数据，这些信息在不同的平台发布，致使信息传播速度变得缓慢，同时范围也具有局限性，于是开发一个统一的信息传播平台是很有必要的，然而利用web技术和php网络爬虫可以实现各地交易市场信息的共享和平台的统一化。
1 选题背景
1.1 问题的提出
国内研究状况暴露很多问题，在我国，这些物品交易在全国各个角落，而且很多信息是不全、遗漏的。很多艺术品的交易大多是有代理的人私下交易的。另外他们对于交易的内容很可能保留不公开，导致很多交易的信息和情况都没有公之于众，很多都是因为躲避税而不愿公布的。另外这些东西是真是假都不易区分。具有很大的水分，也不真实。
1.2 国内外研究状况
1.2.1 国外研究状况
艺术品平均价格的差异源于东西方市场结构的不同，我国经济实力和外国发达国家比，但是价格还偏高，行业者应该有所怀疑和去调查的意识，相关部门也应该监查得更严格。
Artprice曾经统计过，在国外发达地区，很多文化品交易很大收入都是来自数件物品，其中很大一部分的经济来自于高端的艺术品，虽然它们的交易数比较少在总交易量中，但是它们带来的经济效益确实最多的，犹如中流砥柱一样。
同时，西方市场售出的作品比中国多出两倍，也明显反映出中国艺术品市场的需求量和市场基础的稳定性比西方尚有巨大差距。
1.2.2 国内研究状况
在国内，文化交易艺术品市场已经有几十年发展了，以前是在街边，随着信息技术和互联网的发展，现在慢慢的渗入到人们的电子荧屏之中，过去也炒作过很多次，产生中级反弹，人们喜怒哀乐，三次大的暴涨行情，市场潮起潮落，难以忘怀，人们的目光又落在邮币卡上边了。
研究的目的和内容
课程设计达到各个文交所资讯顺利获取、信息平台统一的目标。网站旨在对文化品数据进行抓取，实现以下模块：
申购托管模块：各个文交所申购托管信息。
电子盘模块：文交所的总交易额的变化，以及文化品的价格变化。
公告模块：各个文交所发布的公告信息。
资讯模块：行业资讯、动态。
评论模块：对相应的文章进行评论。
现货交割模块：各个文化品的物品交割信息。
用户模块：用户信息以及登陆、评论等功能 。
研究内容为各个文交所网站资讯的版块信息，研究网站对其各板块信息进行分类的规律，以及电子盘数据的来源。
开发平台及应用技术
2.1 开发平台及环境
运行环境：移动端浏览器，最佳适配尺寸为iPhone5s和iphone6设备尺寸。另外，在电脑测试环境为谷歌浏览器，采用的是wampserver集成环境。
服务器：机型：PC机，apache服务器
目录
摘要 １
关键字 １
Abstract １
Key Words １
1 选题背景 １
1.1 问题的提出 １
1.2 国内外研究状况 ２
1.2.1 国外研究状况 ２
1.2.2 国内研究状况 ２
1.3 研究的目的和内容 ２
2 开发平台及应用技术 ２
2.1 开发平台及环境 ２
2.2 数据库概述 ２
2.3 web开发技术 ３
2.3.1 html+css+javascript 开发技术 ３
2.3.2 后端php技术 ３
2.3.3 ajax ３
2.4 网络爬虫技术 ４
2.4.1网络爬虫简介 ４
2.4.2 网络爬虫关键技术 ４
2.5 数据处理 ４
2.5.1 标签处理 ４
2.5.2 数据编码 ４
3 网站的需求分析 ５
3.1 网站初步的业务需求 ５
3.2 采用面向对象的需求分析方法进行需求分析 ６
3.2.1 开发场景 ６
3.2.2 系统用例图 ８
3.2.3 用户活动图 ９
3.2.4 系统顶层结构 ９
4 数据库设计 １０
4.1 数据库设计 １０
4.1.1 数据库概念结构设计 １０
4.1.2 数据库表逻辑结构设计 １２
*好棒文|www.hbsrm.com +Q: 3_5_1_9_1_6_0_7_2
5 网站的实现 １３
5.1 界面模块伪代码 １３
5.1.1 html界面框架伪代码 １３
5.1.2 css界面样式伪代码 １４
5.2 与服务器交互代码 １５
5.3 后端与数据库交互代码 １６
5.3.1 访问数据库代码 １６
5.3.2 操作数据库伪代码 １６
5.4 后端爬虫采集数据伪代码 １６
6 网站的测试 １７
6.1 用户界面测试及效果 １７
6.1.2 申购、托管、公告、版块测试效果 １８
6.1.3 现货报价模块界面测试效果 １９
6.1.4 电子盘模块界面测试效果 １９
6.1.5评论模块界面测试效果 ２０
6.1.6收藏模块界面测试效果 ２０
6.1.7行业资讯模块界面测试效果 ２１
6.2 爬虫测试及效果 ２１
6.2.1 申购、托管、公告、行业资讯爬虫测试效果 ２１
6.2.2 现货报价模块爬虫测试效果 ２２
7 总结 ２２
致谢 ２３
参考文献 ２３
基于网络爬虫的艺术品市场网站
引言
引言
分布在全国各地的文化品交易市场每天都会产生很多的数据，这些信息在不同的平台发布，致使信息传播速度变得缓慢，同时范围也具有局限性，于是开发一个统一的信息传播平台是很有必要的，然而利用web技术和php网络爬虫可以实现各地交易市场信息的共享和平台的统一化。
1 选题背景
1.1 问题的提出
国内研究状况暴露很多问题，在我国，这些物品交易在全国各个角落，而且很多信息是不全、遗漏的。很多艺术品的交易大多是有代理的人私下交易的。另外他们对于交易的内容很可能保留不公开，导致很多交易的信息和情况都没有公之于众，很多都是因为躲避税而不愿公布的。另外这些东西是真是假都不易区分。具有很大的水分，也不真实。
1.2 国内外研究状况
1.2.1 国外研究状况
艺术品平均价格的差异源于东西方市场结构的不同，我国经济实力和外国发达国家比，但是价格还偏高，行业者应该有所怀疑和去调查的意识，相关部门也应该监查得更严格。
Artprice曾经统计过，在国外发达地区，很多文化品交易很大收入都是来自数件物品，其中很大一部分的经济来自于高端的艺术品，虽然它们的交易数比较少在总交易量中，但是它们带来的经济效益确实最多的，犹如中流砥柱一样。
同时，西方市场售出的作品比中国多出两倍，也明显反映出中国艺术品市场的需求量和市场基础的稳定性比西方尚有巨大差距。
1.2.2 国内研究状况
在国内，文化交易艺术品市场已经有几十年发展了，以前是在街边，随着信息技术和互联网的发展，现在慢慢的渗入到人们的电子荧屏之中，过去也炒作过很多次，产生中级反弹，人们喜怒哀乐，三次大的暴涨行情，市场潮起潮落，难以忘怀，人们的目光又落在邮币卡上边了。
研究的目的和内容
课程设计达到各个文交所资讯顺利获取、信息平台统一的目标。网站旨在对文化品数据进行抓取，实现以下模块：
申购托管模块：各个文交所申购托管信息。
电子盘模块：文交所的总交易额的变化，以及文化品的价格变化。
公告模块：各个文交所发布的公告信息。
资讯模块：行业资讯、动态。
评论模块：对相应的文章进行评论。
现货交割模块：各个文化品的物品交割信息。
用户模块：用户信息以及登陆、评论等功能 。
研究内容为各个文交所网站资讯的版块信息，研究网站对其各板块信息进行分类的规律，以及电子盘数据的来源。
开发平台及应用技术
2.1 开发平台及环境
运行环境：移动端浏览器，最佳适配尺寸为iPhone5s和iphone6设备尺寸。另外，在电脑测试环境为谷歌浏览器，采用的是wampserver集成环境。
服务器：机型：PC机，apache服务器
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/wljs/657.html
