MOOC学习python爬虫之简单实战
简单抓取京东,亚马逊,搜索引擎信息,ip归属地查询
京东无意外,status_code返回202
天猫status_code返回503。模拟一波head
搜索引擎
google:
1https://www.google.com/search?q=keyword
爬取网页图片并且保存
IP地址归属地自动查询
MOOC学习python爬虫学习之Requests
Python-Requests库
安装12pip3 install requests# python3 deepin15.6
Requests库的7个主要办法
requests.request()
构造一个请求,支撑以下各方法的基础方法
requests.get()
获取HTML网页的主要方法,对应于HTTP的GET
requests.head()
获取HTML网页头信息的方法,对应于HTTP的HEAD
requests.post()
向HTML网页提交POST请求的方法,对应于HTTP的POST
requests.put()
向HTML网页提交PUT请求的方法,对应于HTTP的PUT
requests.patch()
向HTML网页提交局部修改请求,对应于HTTP的PATCH
requests.delete()
向HTML页面提交删除请求,对应于HTTP的DELETE
request.get()
requests.head()
HEAD获取头部信息,没有html主体,故r.text为空‘
requests.post()
request ...
MOOC学习python爬虫学习之入门
入门
几个库Requests:自动爬取HTML页面,自动网络请求提交
robots.txt:网络爬虫排除标准
Beautiful Soup:解析HTML页面
Scrapy:爬虫框架
采用Python 3.x系列版本
网络爬虫尺寸
挑战程序设计竞赛---POJ3253切木板
《挑战程序设计竞赛》—贪心法另一例子
挑战程序设计竞赛---区间问题(选择最多的工作量)贪心
《挑战程序设计竞赛》—-贪心
挑战程序设计--- 任意四个数字为定和
《挑战程序设计级竞赛》抽签问题—-任意四个数字为定和
扩展此类题目可看
https://wizardforcel.gitbooks.io/the-art-of-programming-by-july/content/02.03.html
挑战程序设计--POJ1852(Ants)思维
《挑战程序设计竞赛入门》—POJ1852
POJ1852 Ants(思维)
123456789101112131415161718192021222324252627282930313233343536373839/* Judge Status : Accepted Language : C++ Submit Time:2018-09-22 09:20:29 Exe.Time:641MS Exe.Memory:572K*/#include <iostream>#include <algorithm>using namespace std;const int MAXN = 1E6;int arr[MAXN];int main(){ ios::sync_with_stdio(false); int test; cin >> test; while(test--) { int l, n; cin >> l >> n; for( ...
JDBC之PreparedStatement对象执行SQL语句
实现Statement接口
概述PreparedStatement实现了Statement接口,使用该接口类型的对象同样可以执行SQL语句。
特点
预编译:创建时就包含了一个SQL语句,并送到数据库系统进行编译,下次再执行同样的对象就不用在编译了,节省时间。
SQL语句可以包含参数:使用采用参数的SQL语句的优点是可以使用相同的语句,并在每次执行它时提供不同的值
使用代码假设之前的工作已经做好,con是已经获取到的connection对象
查询12345678Preparestatement pstmt = con.prepareStatement("select * from student");ResultSet rs = pstmt.execuQuery();try{ while(rs.next()) System.out.println(rs.getString("Name")); }catch (SQLException e){ e.printStackTrace();} ...
JDBC入门
java访问数据库技术
JDBC概述以及功能概述
JDBC(Java DataBase Connectivity)是数据库公司开发的一种提供给Java编程者使用的Java API(类库),能够帮助Java程序访问表格数据,主要应用在对关系数据库的访问中。
在Java程序中,需要JDK中java.sql和javax.sql包中的类和JDBC包中的类配合完成对数据库的访问。
功能
连接数据源(数据库)。
将SQL语句(查询、更新)发送到数据库。
获取并处理从数据库中返回的结果
基本代码省去项目加载驱动包过程,直接代码
加载驱动类1Class.forName(driverClass);
Class.forName(xxx.xx.xx)返回的是一个类。Class.forName(xxx.xx.xx)的作用是要求JVM查找并加载指定的类,也就是说JVM会执行该类的静态代码段
1static Class<?> forName(String className)
<?>是1.5的新特性,泛型 如果是?表示可以放Object类型以及他的子类
driverClas ...
MySQL--deepin15.7环境下的配置
deepin15.7基于debian9
为了还原最好的配置环境,先把MySQL的遗留配置以及部分依赖卸载干净
使用APT删除MySQL参考:
Removing MySQL with APT
要卸载MySQL服务器以及使用MySQL APT存储库安装的相关组件,首先,使用以下命令删除MySQL服务器
1sudo apt-get remove mysql-server
强力卸载可以使用以下这条命令(卸载并清除软件包的配置)
1sudo apt-get purge mysql-server
然后,删除使用MySQL服务器自动安装的任何其他软件
1sudo apt-get autoremove
如果要卸载MySQL其他组件,可以先看看软件包列表
1dpkg -l | grep mysql | grep ii
然后再对应删除
全新安装MySQL步骤之之配置软件源(APT)参考:
Steps for a Fresh Installation of MySQL
这里导入相关源的信息是用deb包,也可以自己手动编辑对应的源文件
1wget https://repo.mysql.com//mys ...