跟福哥学编程吧~~
介绍介绍福哥今天会带着大家完成网页蜘蛛的代码的最后一个部分,实现网页源代码内容写入MySQL数据库功能,实现网页信息写入ElasticSearch搜索引擎功能。这部分功能实现了之后,我们就可以转而去编写搜索引擎的前端UI功能的代码了。要实现写入ElasticSearch就需要先连接ElasticSearch,并且需要设置一个索引名称。...
跟福哥学编程吧~~
介绍介绍福哥更新了Spider对象,实现了爬取网页内容,分析网页数据,写入数据库这些功能。实现了这些功能之后网页蜘蛛的基本功能也就差不多完成了!后面就可以开始编写搜索引擎的前端UI功能了,相对网页蜘蛛来说,搜索引擎前端UI就比较简单了!但是,网页蜘蛛是搜索引擎的基础,只有采集到足够多的数据,搜索引擎才可以在也会查询的时候返回用户想看到...
跟福哥学编程吧~~
介绍介绍福哥今天给大家讲讲关于Python编程中的字符串编码转换的问题,这个问题在初学者编程时候会经常遇到,如果要弄清楚这里面的道道,还是需要好好学习一下的什么是编码所谓编码就是计算机标记一个汉字(或者是其他国家的文字)对应的数字,在不同编码里同样的一个汉字会对应不同的数字,比如:“福哥”在gbk编码里对应的是“205 172 184...
跟福哥学编程吧~~
介绍介绍上一堂课福哥给大家展示了一个半成品的蜘蛛对象Spider,今天我们继续。做事要有目标,并努力使之达成!今天我们的目标就是:实现网页的爬取分析并将内容保存到webpages数据表当中;将提取出来的子级页面的超链接保存到webpages里面;Spider对象福哥对Spider对象的功能进行了完善,包括一些新的方法(函数)的定义和一...
跟福哥学编程吧~~
介绍介绍昨天我们明白了网页蜘蛛的工作原理,今天就可以开始根据这个原理进行代码的编写了。虽然python也可以编写面向过程的程序,但是使用面向对象的方式编写程序是一个好的习惯,它更加可以满足各种复杂的业务逻辑的需要,同时代码也更容易读懂。福哥要先开发网页蜘蛛程序,所以先建立一个Spider对象,用它来实现网页蜘蛛的全部功能。Spider...
跟福哥学编程吧~~
介绍介绍前面几堂课我们已经掌握了通过Python编程操作MySQL数据库和ElasticSearch搜索引擎的技巧,今天开始就可以正式编写代码了。搜索引擎分为两个部分,一个是网页蜘蛛,负责爬取网站的网页内容并且存入MySQL数据库当中,同时同步写入到ElasticSearch搜索引擎里面;另外一个是搜索界面,负责从ElasticSea...
跟福哥学编程吧~~
介绍介绍今天我们学习如何通过Python操作MySQL数据库。学会使用Python操作MySQL数据库之后,我们就可以使用Python制作更为强大的应用程序了。有了数据库操作能力的应用程序,就有了数据存档的能力,能够存档的程序可以达到的功能就非常多了。在Python2.7下使用的是pymysql这个软件包,这个pymysql库的原生对...
跟福哥学编程吧~~
介绍介绍我们已经设计好了搜索引擎的MySQL数据库,今天我们要开始设计ElasticSearch数据库了。ElasticSearch数据库在这个搜索引擎项目里的作用是全文检索,因为MySQL无法实现这个功能。而搜索引擎的特点是用户给出一个查询关键字,我们根据这个关键字进行全文匹配查找符合条件的文档出来返回给用户。也就是说我们只需要考虑...
跟福哥学编程吧~~
介绍介绍昨天我们已经设计好了搜索引擎的模型,搜索引擎包括两个基本模型即:网站和网页。那么接下来我们就要针对这两个模型进行数据库的设计了。设计数据库要考虑的问题很多,包括数据的大小、字段的数量、读取场景,写入场景等等。除此之外还要考虑使用什么数据库引擎,因为不同的数据库引擎的特长是不一样的,我们要充分利用它们的这些特长之处,来将我们的项...
跟福哥学编程吧~~
介绍介绍今天开始福哥将会带着童鞋们做项目了,虽然我们之前介绍了c/c++、java、php、python等等很多种编程语言,这些编程语言也可以独立完成一些项目的开发任务,但是如果要做出一个好项目,一般情况下只靠一种编程语言是不够的,所以福哥在带着大家做项目的时候,会同时将几种编程语言都用起来。我们的第一个项目叫做搜索引擎,就是模仿百度...
跟福哥学编程吧~~
介绍介绍Python处理图像有几个常用的库,包括Pillow、Matplotlib、OpenCV,今天童鞋们就跟着福哥对这三种库进行一个初步了解吧。我们先学习这三个库的安装方法,再学习这三个库的基本使用方法,大家可以根据实际情况进行选择。安装安装pillow库通过pip工具安装pillowpip install p...
跟福哥学编程吧~~
介绍介绍python是一个可以做很多事情的语言,之所以可以做很多事情是因为python有非常多的软件包,不同的功能需要使用不同的软件包,python自带了一个软件包管理功能——pip,我们管理python的软件包就可以用pip这个工具了。要学习python就必须学会软件包的安装、升级、卸载等等操作,下面童鞋们就跟着福哥来学习pip的使...
跟福哥学编程吧~~
介绍介绍国人喜欢跟风,有人带节奏,就会有大批的人跟着走,这种心理时常会被利用,Python这个语言其实是最不适合初学者学习的语言,它的语法不伦不类,它的定位不清不楚,它能解决的问题很小众,它确被带节奏成为了大众入门学习的第一门语言,福哥真是哭笑不得~~Python属于脚本语言,和其他脚本语言诸如:PHP、Shell、Bat差不多,脚本...
跟福哥学编程吧~~
介绍介绍前面我们学习了编程的入门课程,了解的编程语言的基本语法,知道编程语言的基本要素。今天开始福哥开始给大家讲编程的基础知识,这个基础知识是用来提高编程水平的知识,基础知识每种编程语言的差异会比较大,所以福哥在讲解某一种编程语言的某一特性的时候,会标明这种特性针对的是哪一种编程语言,只想学习某一种编程语言的童鞋可以有选择的学习。第一...
跟福哥学编程吧~~
介绍介绍福哥今天给大家讲的是入门课里的最后一堂课,也是编程里的精髓——对象(class)在c语言年代里没有对象(class)这个结构体,所以使用c语言开发的程序不会太过复杂,在大型项目当中,众多模块(module)之间都会出现大量的同名函数,为了避免这些函数的名称冲突,都会用非常长的函数名称,即:returnValue moduleN...
跟福哥学编程吧~~
介绍介绍福哥今天要给大家讲讲编程里的重头戏——函数(function),有了函数,程序才是程序,为什么这么说呢?因为如果没有函数语法,所有重复工作(包括类似工作)都要重复编写代码,那样就失去了编程的价值。打个比喻说:如果程序没有函数,就好像做数学题没有公式一样,每次做类似的题目的时候,都要从头去用最原始是方法进行解题,这是不可想象的。...
跟福哥学编程吧~~
介绍介绍上一课我们学会了循环语句(for,while)的编程技巧,这使得我们可以开发比较复杂的程序了。今天福哥会给童鞋们讲讲交换语句(switch,case)的使用方法,交换语句适合对一个变量的值等于不同内容的时候进行不同处理的情况。其实来说交换语句(switch,case)完全可以通过条件语句(if)来替代,不过使用交换语句可以有更...
跟福哥学编程吧~~
介绍介绍上一课我们会学了条件语句(if),这使得我们可以编写具有逻辑的程序代码了,今天我们来学习编程当中的循环语句,循环语句顾名思义,就是根据一定的规则或者条件进行重复性的操作的语法。循环语句分为三种形式,包括按次循环(for)、遍历循环(foreach)、条件循环(while),童鞋们跟着福哥一起学习它们的使用技巧学会循环语句后就可...
跟福哥学编程吧~~
介绍介绍上一课我们学会了和计算机沟通的基本技巧,现在需要给计算机简单的“思考”能力了,计算机是思考能力就是鹦鹉学舌,我们告诉它什么情况下应该怎么办,它会一五一十地原原本本地照本宣读,这种什么情况下应该怎么办的逻辑需要通过条件语句(if)来实现基本语法就是假如满足条件的话,应该怎么办,如果不满足条件,又应该怎么办,这样的思路比较运算符判...
跟福哥学编程吧~~
介绍介绍上一课我们认识了常量和变量,知道了编程语言里的常量和变量是指向一个具体内容的符号,今天福哥带着大家来学习一下编程的输入与输出的概念,通过输入与输出我们就可以和计算机进行“对话”了输入输入,编程叫做input,指的是人向计算机“说话”的行为,由于计算机可以有多种方式捕获人的信息,所以任何可以被计算机捕获到信息的过程都是input...
跟福哥学编程吧~~
介绍介绍福哥今天给刚刚接触编程的童鞋讲讲编程入门的第一部分内容,常量与变量。今后福哥会陆续带着大家学习编程的条件判断(if),循环语句(for,foreach,while),交换语句(switch,case),函数(function),对象(class)这些知识。掌握了这些编程基本知识后,福哥还会带着大家尝试着做一个项目,通过项目实践...
跟福哥学编程吧~~
前言什么是编程?编程就是通过计算机能“懂”的语言和计算机“聊天”的行为。不同的语言擅长的领域不一样,有的适合做系统操作,有的适合做用户界面,有的适合做web开发,有的适合做统计图表。这里我们只提擅长的领域,能做但是不是最擅长的不算。女人也有力气大的,不过多数还是没有男人有劲;男人也有弱不禁风的,但是一般情况下还是比女人更强壮。虽然很多...
跟福哥学编程吧~~
介绍介绍福哥在安装selenium的时候,得到了如下的错误提示:Requirement already satisfied: selenium in d:\TFHome\python27\lib\site-packages (3.141.0)Requirement already satisfied: urllib3 in d:\TF...
跟福哥学编程吧~~
介绍介绍今天我们来学习如何使用 python 操作文件教程文件读取操作读取一行通过readline()方法读取一行内容fo = open("haha.txt", "r") line = fo.readline() print (li...
跟福哥学编程吧~~
介绍介绍今天我们来学习使用 Python 操作 Redis 数据库的方法教程安装redis模块通过github安装redis模块wget https://github.com/andymccurdy/redis-py/archive/master.zip -O redis-py-3.5.3.zip un...
跟福哥学编程吧~~
介绍介绍今天我们来学习使用 Python 通过 PIL 模块的 Image 库操作图片的方法PIL 是 Python Image Library 的简称,就是 Python 图像库的意思教程下载PIL模块PIL 库下载地址http://www.pythonware.com/products/pil/我们选择的版本wget h...
跟福哥学编程吧~~
介绍介绍大名鼎鼎的脚本语言 Python,如今不会 py 大概不能被称作程序员了吧所以呢,我们今天还是来恶补一下吧本文包括 Windows 平台的 Python 环境安装方法和 Linux 平台的 Python 环境安装方法教程Windows安装下载官网下载页面https://www.python.org/downloads/sour...