跟福哥学编程吧~~
介绍介绍上一课大家跟福哥学会了在我们的TFLinux系统上面安装Kafka软件,今天福哥要带着大家学习使用Python去操作Kafka消息系统的方法。Python操作Kafka可以使用pykafka这个库来实现,看这个命名是不是很眼熟?对了,类似的库名还有一个就是用来操作MySQL数据库的pymysql。pykafka库的语法和pym...
介绍介绍Python这种脚本语言福哥已经给大家介绍过了,现在童鞋们应该已经会安装python的开发环境了,接下来我们需要针对python语言进行一个系统的学习。首先学习一门编程语言最先要学习的是语言的语法,学习编程语言的语法包括常量与变量、输入与输出、条件语句(if)、循环语句(for,while)、交换语句(switch,case)...
介绍介绍今天开始我们要做搜索引擎的“界面”部分了,我们给这个工具起个名字——搜索器,因为我们使用的是Python编写的搜索器,所以我们的搜索器是控制台形式的。搜索器的名称是Searcher,搜索器的启动程序文件名称是Searcher.py,搜索器包含一个库文件lib/Searcher.py。搜索器的功能是这样的,启动搜索器Search...
介绍介绍福哥发现使用pip安装软件包特别的慢,大概是从大洋彼岸下载软件包遇到了堵车吧,怎么办呢?还好我大中华地大物博,这个pip的安装源镜像也是有很多大佬平台提供了支持,真的是非常感谢~~下面福哥就教给童鞋们更换pip安装源的方法了。配置查看pip配置信息查看当前pip的配置信息pip config list设置p...
介绍介绍福哥今天给大家系统的讲一讲Python中对日期和时间的处理的技巧,在python中处理日期和时间需要用到time和datetime软件包,这两个软件包是内建的不需要单独安装,可以直接import进来使用。在程序里获取时间实际上就是得到运行程序的电脑或者服务器的时间,也就是说如果将电脑或者服务器的时间更改了,运行程序得到的时间也...
介绍介绍福哥在使用selenium的时候遇到了一个问题,就是页面有些元素和数据是通过AJAX渲染的,而且采用的是异步加载的方式实现的AJAX功能,这样在selenium认为页面已经加载完成了的时候其实数据还没有渲染上,这个可愁坏福哥了!经过研究发现selenium有两个功能就是可以实现福哥想要的效果,一个是WebDriverWait对...
介绍介绍JSON格式数据是现如今使用极其广泛的WEB应用的数据格式,它有着结构清晰、语法简单、占用字节少等等特点。相比较早期流行的XML格式数据来讲,JSON格式数据有着更加轻便、可读性更好、解析速度更快等等优势。Python语言操作JSON格式数据是比较方便的,因为Python是弱类型语言,而且Python本身就有字典(dict)类...
介绍介绍今天福哥将要给大家讲解Python编程基础知识日期和时间的使用技巧,这个技术在程序开发时候的使用率还是非常高的,基本上95%以上的项目都离不开日期和时间的应用场景。关于日期和时间还是有很多知识需要了解的,如果不清楚这些的话,就会遇到很多奇怪的问题。在很多对时间控制很严格的系统里面会有非常复杂的时间处理逻辑,如果没有很好的使用经...
介绍介绍福哥今天会带着大家完成网页蜘蛛的代码的最后一个部分,实现网页源代码内容写入MySQL数据库功能,实现网页信息写入ElasticSearch搜索引擎功能。这部分功能实现了之后,我们就可以转而去编写搜索引擎的前端UI功能的代码了。要实现写入ElasticSearch就需要先连接ElasticSearch,并且需要设置一个索引名称。...
介绍介绍福哥更新了Spider对象,实现了爬取网页内容,分析网页数据,写入数据库这些功能。实现了这些功能之后网页蜘蛛的基本功能也就差不多完成了!后面就可以开始编写搜索引擎的前端UI功能了,相对网页蜘蛛来说,搜索引擎前端UI就比较简单了!但是,网页蜘蛛是搜索引擎的基础,只有采集到足够多的数据,搜索引擎才可以在也会查询的时候返回用户想看到...
介绍介绍福哥今天给大家讲讲关于Python编程中的字符串编码转换的问题,这个问题在初学者编程时候会经常遇到,如果要弄清楚这里面的道道,还是需要好好学习一下的什么是编码所谓编码就是计算机标记一个汉字(或者是其他国家的文字)对应的数字,在不同编码里同样的一个汉字会对应不同的数字,比如:“福哥”在gbk编码里对应的是“205 172 184...
介绍介绍上一堂课福哥给大家展示了一个半成品的蜘蛛对象Spider,今天我们继续。做事要有目标,并努力使之达成!今天我们的目标就是:实现网页的爬取分析并将内容保存到webpages数据表当中;将提取出来的子级页面的超链接保存到webpages里面;Spider对象福哥对Spider对象的功能进行了完善,包括一些新的方法(函数)的定义和一...
介绍介绍昨天我们明白了网页蜘蛛的工作原理,今天就可以开始根据这个原理进行代码的编写了。虽然python也可以编写面向过程的程序,但是使用面向对象的方式编写程序是一个好的习惯,它更加可以满足各种复杂的业务逻辑的需要,同时代码也更容易读懂。福哥要先开发网页蜘蛛程序,所以先建立一个Spider对象,用它来实现网页蜘蛛的全部功能。Spider...
介绍介绍前面几堂课我们已经掌握了通过Python编程操作MySQL数据库和ElasticSearch搜索引擎的技巧,今天开始就可以正式编写代码了。搜索引擎分为两个部分,一个是网页蜘蛛,负责爬取网站的网页内容并且存入MySQL数据库当中,同时同步写入到ElasticSearch搜索引擎里面;另外一个是搜索界面,负责从ElasticSea...
介绍介绍今天我们学习如何通过Python操作MySQL数据库。学会使用Python操作MySQL数据库之后,我们就可以使用Python制作更为强大的应用程序了。有了数据库操作能力的应用程序,就有了数据存档的能力,能够存档的程序可以达到的功能就非常多了。在Python2.7下使用的是pymysql这个软件包,这个pymysql库的原生对...
介绍介绍我们已经设计好了搜索引擎的MySQL数据库,今天我们要开始设计ElasticSearch数据库了。ElasticSearch数据库在这个搜索引擎项目里的作用是全文检索,因为MySQL无法实现这个功能。而搜索引擎的特点是用户给出一个查询关键字,我们根据这个关键字进行全文匹配查找符合条件的文档出来返回给用户。也就是说我们只需要考虑...
介绍介绍昨天我们已经设计好了搜索引擎的模型,搜索引擎包括两个基本模型即:网站和网页。那么接下来我们就要针对这两个模型进行数据库的设计了。设计数据库要考虑的问题很多,包括数据的大小、字段的数量、读取场景,写入场景等等。除此之外还要考虑使用什么数据库引擎,因为不同的数据库引擎的特长是不一样的,我们要充分利用它们的这些特长之处,来将我们的项...
介绍介绍今天开始福哥将会带着童鞋们做项目了,虽然我们之前介绍了c/c++、java、php、python等等很多种编程语言,这些编程语言也可以独立完成一些项目的开发任务,但是如果要做出一个好项目,一般情况下只靠一种编程语言是不够的,所以福哥在带着大家做项目的时候,会同时将几种编程语言都用起来。我们的第一个项目叫做搜索引擎,就是模仿百度...
介绍介绍Python处理图像有几个常用的库,包括Pillow、Matplotlib、OpenCV,今天童鞋们就跟着福哥对这三种库进行一个初步了解吧。我们先学习这三个库的安装方法,再学习这三个库的基本使用方法,大家可以根据实际情况进行选择。安装安装pillow库通过pip工具安装pillowpip install p...
介绍介绍python是一个可以做很多事情的语言,之所以可以做很多事情是因为python有非常多的软件包,不同的功能需要使用不同的软件包,python自带了一个软件包管理功能——pip,我们管理python的软件包就可以用pip这个工具了。要学习python就必须学会软件包的安装、升级、卸载等等操作,下面童鞋们就跟着福哥来学习pip的使...
介绍介绍国人喜欢跟风,有人带节奏,就会有大批的人跟着走,这种心理时常会被利用,Python这个语言其实是最不适合初学者学习的语言,它的语法不伦不类,它的定位不清不楚,它能解决的问题很小众,它确被带节奏成为了大众入门学习的第一门语言,福哥真是哭笑不得~~Python属于脚本语言,和其他脚本语言诸如:PHP、Shell、Bat差不多,脚本...
介绍介绍前面我们学习了编程的入门课程,了解的编程语言的基本语法,知道编程语言的基本要素。今天开始福哥开始给大家讲编程的基础知识,这个基础知识是用来提高编程水平的知识,基础知识每种编程语言的差异会比较大,所以福哥在讲解某一种编程语言的某一特性的时候,会标明这种特性针对的是哪一种编程语言,只想学习某一种编程语言的童鞋可以有选择的学习。第一...
介绍介绍福哥今天给大家讲的是入门课里的最后一堂课,也是编程里的精髓——对象(class)在c语言年代里没有对象(class)这个结构体,所以使用c语言开发的程序不会太过复杂,在大型项目当中,众多模块(module)之间都会出现大量的同名函数,为了避免这些函数的名称冲突,都会用非常长的函数名称,即:returnValue moduleN...
介绍介绍福哥今天要给大家讲讲编程里的重头戏——函数(function),有了函数,程序才是程序,为什么这么说呢?因为如果没有函数语法,所有重复工作(包括类似工作)都要重复编写代码,那样就失去了编程的价值。打个比喻说:如果程序没有函数,就好像做数学题没有公式一样,每次做类似的题目的时候,都要从头去用最原始是方法进行解题,这是不可想象的。...
介绍介绍上一课我们学会了循环语句(for,while)的编程技巧,这使得我们可以开发比较复杂的程序了。今天福哥会给童鞋们讲讲交换语句(switch,case)的使用方法,交换语句适合对一个变量的值等于不同内容的时候进行不同处理的情况。其实来说交换语句(switch,case)完全可以通过条件语句(if)来替代,不过使用交换语句可以有更...
介绍介绍上一课我们会学了条件语句(if),这使得我们可以编写具有逻辑的程序代码了,今天我们来学习编程当中的循环语句,循环语句顾名思义,就是根据一定的规则或者条件进行重复性的操作的语法。循环语句分为三种形式,包括按次循环(for)、遍历循环(foreach)、条件循环(while),童鞋们跟着福哥一起学习它们的使用技巧学会循环语句后就可...
介绍介绍上一课我们学会了和计算机沟通的基本技巧,现在需要给计算机简单的“思考”能力了,计算机是思考能力就是鹦鹉学舌,我们告诉它什么情况下应该怎么办,它会一五一十地原原本本地照本宣读,这种什么情况下应该怎么办的逻辑需要通过条件语句(if)来实现基本语法就是假如满足条件的话,应该怎么办,如果不满足条件,又应该怎么办,这样的思路比较运算符判...
介绍介绍上一课我们认识了常量和变量,知道了编程语言里的常量和变量是指向一个具体内容的符号,今天福哥带着大家来学习一下编程的输入与输出的概念,通过输入与输出我们就可以和计算机进行“对话”了输入输入,编程叫做input,指的是人向计算机“说话”的行为,由于计算机可以有多种方式捕获人的信息,所以任何可以被计算机捕获到信息的过程都是input...
介绍介绍福哥今天给刚刚接触编程的童鞋讲讲编程入门的第一部分内容,常量与变量。今后福哥会陆续带着大家学习编程的条件判断(if),循环语句(for,foreach,while),交换语句(switch,case),函数(function),对象(class)这些知识。掌握了这些编程基本知识后,福哥还会带着大家尝试着做一个项目,通过项目实践...
前言什么是编程?编程就是通过计算机能“懂”的语言和计算机“聊天”的行为。不同的语言擅长的领域不一样,有的适合做系统操作,有的适合做用户界面,有的适合做web开发,有的适合做统计图表。这里我们只提擅长的领域,能做但是不是最擅长的不算。女人也有力气大的,不过多数还是没有男人有劲;男人也有弱不禁风的,但是一般情况下还是比女人更强壮。虽然很多...