QzmVc1

前言

face_recognition document

本篇博客使用 OpenCV + face_recognition 实现摄像头的实时人脸识别。有关环境配置请参考我的上一篇博客：Python人脸识别模块face_recognition之环境配置

face_recognition简介

face_recognition是世界上最简单的人脸识别库了。你可以通过Python引用或者命令行的形式使用它，来管理和识别人脸。该软件包使用dlib中最先进的人脸识别深度学习算法，使得识别准确率在《Labled Faces in the world》测试基准下达到了99.38%。它同时提供了一个叫face_recognition的命令行工具，以便你可以用命令行对一个文件夹中的图片进行识别操作。 ******

前言

一时之间对人脸识别提起了兴趣，调研了一番，发现Python有个基于CNN的face_recognition库，不过安装这个库需要dlib库，而安装dlib还有很多需要的前置环境…反正就是各种深坑，辗转配了三天(emmm??)。网上的博客、论坛很少有能解决问题的，安装失败的原因主要是各环境版本的匹配问题。遂开此博客，记录环境安装流程。

Python3.7 + Cmake 3.14.0 + boost 1.68 + dlib 19.14 + face_recognition

一、Scrapyd简介

Scrapyd是一个用来部署和运行Scrapy项目的应用，由Scrapy的开发者开发。其可以通过一个简单的Json API来部署（上传）或者控制你的项目。 Scrapyd可以用来管理多个项目，并且每个项目还可以上传多个版本，不过只有最新的版本会被使用。 在安装并开启Scrapyd之后，它将会挂起一个服务来监听运行爬虫的请求，并且根据请求为每一个爬虫启用一个进程来运行。Scrapyd同样支持同时运行多个进程，进程的数量由max_proc和max_proc_per_cpu选项来限制。 ******

MongoDB的学习详见 官方文档 或者 我的博客

运行环境： + Pymongo 3.7.2

准备工作

1
2
3
4
5
6
7
8
9
10
11
12

import pymongo

# 创建客户端对象，连接数据库
client = pymongo.MongoClient('localhost',27017)

# 链接数据库
db = client.dbname
db = client['dbname']

# 获取数据库中的集合
collection = db.collectionname
collection = db['collectionname']

前言

爬虫的目的就是大规模地、长时间地获取数据，跟我们正常浏览器获取数据相比，虽然机理相差不大，但总是一个IP去爬网站，大规模集中对服务器访问，时间一长就有可能被拒绝。当下，各网站的反爬机制也变得无处不在。只要是个网站，基本都有针对爬虫的手段。然而攻永远比防要容易，所谓道高一尺，魔高一丈。

一、关系型数据库和非关系型数据库

1.1 关系型数据库RDBMS(Relational DataBase Management System)

• 关系数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。

• 关系模型就是指二维表格模型,因而一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。

• 当前主流的关系型数据库有Oracle、MySQL、Microsoft SQL Server、PostgreSQL、DB2等。