鬼谷子叔叔
跟福哥学编程吧~~
介绍介绍福哥更新了Spider对象，实现了爬取网页内容，分析网页数据，写入数据库这些功能。实现了这些功能之后网页蜘蛛的基本功能也就差不多完成了！后面就可以开始编写搜索引擎的前端UI功能了，相对网页蜘蛛来说，搜索引擎前端UI就比较简单了！但是，网页蜘蛛是搜索引擎的基础，只有采集到足够多的数据，搜索引擎才可以在也会查询的时候返回用户想看到...
阅读 102
2020-10-13 10:57:34
介绍介绍福哥今天给大家讲讲关于Python编程中的字符串编码转换的问题，这个问题在初学者编程时候会经常遇到，如果要弄清楚这里面的道道，还是需要好好学习一下的什么是编码所谓编码就是计算机标记一个汉字（或者是其他国家的文字）对应的数字，在不同编码里同样的一个汉字会对应不同的数字，比如：“福哥”在gbk编码里对应的是“205 172 184...
阅读 120
2020-10-13 11:08:57
介绍介绍上一堂课福哥给大家展示了一个半成品的蜘蛛对象Spider，今天我们继续。做事要有目标，并努力使之达成！今天我们的目标就是：实现网页的爬取分析并将内容保存到webpages数据表当中；将提取出来的子级页面的超链接保存到webpages里面；Spider对象福哥对Spider对象的功能进行了完善，包括一些新的方法（函数）的定义和一...
阅读 98
2020-10-11 20:37:29
介绍介绍昨天我们明白了网页蜘蛛的工作原理，今天就可以开始根据这个原理进行代码的编写了。虽然python也可以编写面向过程的程序，但是使用面向对象的方式编写程序是一个好的习惯，它更加可以满足各种复杂的业务逻辑的需要，同时代码也更容易读懂。福哥要先开发网页蜘蛛程序，所以先建立一个Spider对象，用它来实现网页蜘蛛的全部功能。Spider...
阅读 126
2020-10-11 08:01:03
介绍介绍前面几堂课我们已经掌握了通过Python编程操作MySQL数据库和ElasticSearch搜索引擎的技巧，今天开始就可以正式编写代码了。搜索引擎分为两个部分，一个是网页蜘蛛，负责爬取网站的网页内容并且存入MySQL数据库当中，同时同步写入到ElasticSearch搜索引擎里面；另外一个是搜索界面，负责从ElasticSea...
阅读 77
2020-10-10 10:11:06
介绍介绍今天我们学习如何通过Python操作MySQL数据库。学会使用Python操作MySQL数据库之后，我们就可以使用Python制作更为强大的应用程序了。有了数据库操作能力的应用程序，就有了数据存档的能力，能够存档的程序可以达到的功能就非常多了。在Python2.7下使用的是pymysql这个软件包，这个pymysql库的原生对...
阅读 84
2020-10-08 12:10:11
介绍介绍我们已经设计好了搜索引擎的MySQL数据库，今天我们要开始设计ElasticSearch数据库了。ElasticSearch数据库在这个搜索引擎项目里的作用是全文检索，因为MySQL无法实现这个功能。而搜索引擎的特点是用户给出一个查询关键字，我们根据这个关键字进行全文匹配查找符合条件的文档出来返回给用户。也就是说我们只需要考虑...
阅读 136
2020-10-06 12:06:55
介绍介绍昨天我们已经设计好了搜索引擎的模型，搜索引擎包括两个基本模型即：网站和网页。那么接下来我们就要针对这两个模型进行数据库的设计了。设计数据库要考虑的问题很多，包括数据的大小、字段的数量、读取场景，写入场景等等。除此之外还要考虑使用什么数据库引擎，因为不同的数据库引擎的特长是不一样的，我们要充分利用它们的这些特长之处，来将我们的项...
阅读 100
2020-10-06 09:54:55
介绍介绍今天开始福哥将会带着童鞋们做项目了，虽然我们之前介绍了c/c++、java、php、python等等很多种编程语言，这些编程语言也可以独立完成一些项目的开发任务，但是如果要做出一个好项目，一般情况下只靠一种编程语言是不够的，所以福哥在带着大家做项目的时候，会同时将几种编程语言都用起来。我们的第一个项目叫做搜索引擎，就是模仿百度...
阅读 105
2020-10-05 14:01:10
介绍介绍如果编写一个小工具、小游戏，可以直接写代码，它不涉及存储数据的操作，不过如果要编写一个网络工具、系统平台、网络游戏就需要将大量的数据存储起来。早期存储数据都是使用文件存储，不过使用文件作为存储媒介是非常有局限性了。首先文件是独立的，很难进行统计操作；其次文件依赖IO句柄，频繁的进行打开文件、关闭文件，会对系统资源造成影响。这时...
阅读 221
2020-09-22 10:28:50
鬼谷子叔叔
日志
212
212
浏览
1626
1626
热门日志
- 做个web框架（6）——控制器Controller（三）接口控制器的实现【20201029】 阅读 59
- 使用腾讯的Bugly实现APP应用的版本更新和升级的功能 阅读 313
- Java的日期和时间的使用技巧【20210408】 阅读 104
- mysql5.7.28安装笔记【20200921】 阅读 221
- Manifest merger failed : uses-sdk:minSdkVersion 15 cannot be smaller than version 16 declared in library 阅读 118
- Java创建、删除、授权文件夹和读写文件的方法【20210405】 阅读 55
- 做个用户管理系统（19）——验证码的实现【20201206】 阅读 41
- 使用docker-compose管理构建一整套docker服务 阅读 69
- 使用Java开发微信公众号服务器后台接口 阅读 74
- 做个用户管理系统（33）——忘记密码之安全验证方式选择【20201222】 阅读 46
最新日志
- Jenkins动态重新部署docker-compose服务的方法 阅读 57
- Jenkins使用Docker插件动态构建Docker镜像的方法 阅读 274
- 安装Python3.8+PyCharm运行开发环境 阅读 46
- Elasticsearch开启HTTP安全认证设置用户名和密码的方法 阅读 92
- 使用kibana:6.8.18镜像安装Kibana工具管理Elasticsearch搜索引擎 阅读 58
- 使用CryptoJS实现AES算法的CBC模式的加密/解密 阅读 58
- numHits must be > 0; please use TotalHitCountCollector if you just need the total hit count 阅读 53
- 关于docker官方镜像不能使用的问题！！！ 阅读 54
- 使用jenkins/jenkins:2.401.1镜像安装Jenkins服务 阅读 66
- Windows10安装Git版本控制软件及使用教程 阅读 108