9. 爬虫训练场,分页爬虫案例设计Demo,打通 Python Flask 和 MySQL
创始人
2024-04-30 14:30:00
0

文章目录

    • Python Flask 调用 MySQL 数据
    • 建立新的控制器目录
    • 爬虫训练场引入 MySQL 之间的逻辑关系
    • 搭建案例前端页面

本篇博客为大家继续补充一款简易爬虫,主要涉及如下知识点。

  1. Python Flask 调用 MySQL 数据
  2. 分页数据呈现

Python Flask 调用 MySQL 数据

网站类应用,一定离不开 MySQL ,所以本案例将带着大家学习一下,通过 Flask 调用 MySQL 数据,并实现分页呈现。

正式开始前,我们需要提前在 MySQL 中准备一张表,命名为 school_list,其数据通过采集获取,具体可参考博客《【Python 实战】高校数据采集,爬虫训练场项目数据储备》。

安装 MySQL 操作相关模块。

pip install flask-sqlalchemy

使用 Pycharm 安装,可直接在包管理中进行检索。

9. 爬虫训练场,分页爬虫案例设计Demo,打通 Python Flask 和 MySQL

新建 config.py 文件,并输入如下代码

class BaseConfig(object):DIALECT = 'mysql'DRIVER = 'pymysql'USERNAME = 'root'PASSWORD = 'root' # 注意不要泄露服务器密码,这里仅供测试使用HOST = '127.0.0.1'PORT = '3306'DATABASE = 'playground'SQLALCHEMY_DATABASE_URI = "{}+{}://{}:{}@{}:{}/{}?charset=utf8".format(DIALECT, DRIVER, USERNAME, PASSWORD, HOST,PORT, DATABASE)SQLALCHEMY_TRACK_MODIFICATIONS = FalseSQLALCHEMY_ECHO = True

可以看到用户名和密码都在该文件中进行配置,接下来在 app/__init__.py 文件中导入对应模块。

from flask_sqlalchemy import SQLAlchemy
db = SQLAlchemy()

接下来我们先补充一些小知识点,罗列如下所示。

app.config.from_object() 方法,它用来加载配置文件,稍后将用该方法导入数据库相关配置。

下面继续看一段代码。

db = SQLAlchemy()
db.init_app(app) # 初始化数据库

db = SQLAlchemy() 用于创建 SQLAlchemy 对象,db.init_app() 初始化链接对象。

建立新的控制器目录

app 目录下建立 school 文件夹,然后内部新增两个文件,分别是 __init__.pyindex.py,然后在 index.py 文件中,输入如下代码。

import sys
from flask import Blueprint, jsonifyfrom ..model import School  # 导入上级模块ss = Blueprint('school', __name__)@school.route('/list')
def list_school():schools = School.query.all()print(schools)

先不要运行项目,我们先说明一下其中涉及的知识点,第一个是 Blueprint 类。

Blueprint 类被称作蓝图,它是一个存储操作方法的容器,Flask 可以通过 Blueprint 来组织 URL 及处理请求。

蓝图对象和 Flask 对象使用类似,但需要将其注册到应用对象上才可以生效。

使用蓝图的三个步骤。

创建一个蓝图对象

s = Blueprint('school', __name__,url_prifix='/ss')

在蓝图对象上进行操作,例如注册路由,指定静态文件,指定过滤器

@ss.route('/list')
def list_school():schools = School.query.all()print(schools)return "学校数据"

在应用对象注册蓝图对象
返回到 app/__init__.py 文件中,注册蓝图对象。

from .school.index import *app.register_blueprint(s)

在应用对象上注册一个蓝图时,可以指定 url_prefix 关键字参数(该参数默认是 /),此时启动项目,就可以通过 /ss/ 配合路由,访问指定方法。

在前文代码中,我们还导入了一个 model 模型模块,在 app 目录中建立 model.py 文件,然后输入如下代码。

from app import dbclass EntityBase(object):def to_json(self):fields = self.__dict__if "_sa_instance_state" in fields:del fields["_sa_instance_state"]return fieldsclass School(db.Model, EntityBase):"""表名,字段名"""__tablename__ = "school_list"id = db.Column(db.Integer, primary_key=True)name = db.Column(db.String(255))province = db.Column(db.String(255))city = db.Column(db.String(255))feature = db.Column(db.String(255))hotValue = db.Column(db.String(255))pic = db.Column(db.String(255))category = db.Column(db.String(255))batchTimes = db.Column(db.String(255))

其中 School 类继承自 db.ModelEntityBase,其中的字段与数据库表字段一致。

接下来再总结一下目前的项目结构,然后橡皮擦会带着大家再次梳理一下各文件之间的引用关系。

9. 爬虫训练场,分页爬虫案例设计Demo,打通 Python Flask 和 MySQL

爬虫训练场引入 MySQL 之间的逻辑关系

playground.py 文件为程序主入口,其内部导入 app 模块,由于 Python 模块导入关系,app 目录中的 __init__.py 文件默认执行。

__init__.py 文件中包含如下内容:

  • flask 主类初始化;
  • app 配置文件初始化;
  • SQLAlchemy 类初始化;
  • 各路由导入+蓝图注册。

由于需要导入 app 配置,所以这里需要导入 config.py 文件,由于需要导入路由控制器和注册蓝图,所以需要编写下述代码。

from app import routes
from app import general
from .school.index import *app.register_blueprint(s)

为了便于项目管理,在 app 目录中新建立了一个 school 文件夹,并且创建了一个 index.py 文件,用于实现路由函数逻辑,由于该文件需要使用模型 model 相关配置,所以在 app 目录新增一个 model.py 文件,并且实现了第一个模型类 School

搭建案例前端页面

本篇博客的最后一个步骤,用来实现前端页面渲染,在 templates 目录建立一个 school 文件夹,并新建 index.html 文件,其中先输入一个 Bootstrap 基本内容即可。

打开 app/school/index.py 文件,修改 list_school() 函数。

@s.route('/list')
def list_school():schools = School.query.all()school_output = []for s_item in schools:school_output.append(s_item.to_json())return render_template('school/index.html')

运行代码,页面成功渲染。

9. 爬虫训练场,分页爬虫案例设计Demo,打通 Python Flask 和 MySQL

下面选择数据库中的一条数据,传递到前台。

@s.route('/list')
def list_school():schools = School.query.all()school_output = []for s_item in schools:school_output.append(s_item.to_json())one_school = school_output[0]return render_template('school/index.html',item = one_school)

前台 HTML 页面增加数据输出代码。

{{item.name}}

本案例完成。

📢📢📢📢📢📢
💗 你正在阅读 【梦想橡皮擦】 的博客
👍 阅读完毕,可以点点小手赞一下
🌻 发现错误,直接评论区中指正吧
📆 橡皮擦的第 805 篇原创博客

从订购之日起,案例 5 年内保证更新

  • ⭐️ Python 爬虫 120,点击订购 ⭐️
  • ⭐️ 爬虫 100 例教程,点击订购 ⭐️

相关内容

热门资讯

横店攻略系统和安卓,安卓系统下... 你打算去横店玩一圈,是不是有点儿手忙脚乱,不知道从何下手呢?别急,今天我就来给你安利一个神器——横店...
系统悬浮窗权限安卓,安卓系统悬... 你有没有发现,手机上的那些悬浮窗权限在安卓系统里可是个让人又爱又恨的小家伙呢?它既能让你在玩游戏的时...
华为手机安卓系统自动,智能生活... 你有没有发现,最近用华为手机的小伙伴们是不是都在悄悄地享受着安卓系统的自动功能呢?这可不是什么小秘密...
谷歌认证安卓系统电视,引领智能... 亲爱的读者们,你是否曾想过,家里的电视也能像智能手机一样,拥有智能的头脑和丰富的功能?今天,就让我带...
派蒙系统是安卓系统吗,究竟是否... 你有没有听说过派蒙系统?最近这个话题在互联网上可是掀起了一阵热议呢!很多人都在问,派蒙系统是安卓系统...
安卓手机改系统位置,轻松实现精... 你有没有想过,你的安卓手机其实可以像变形金刚一样,改变自己的“位置”呢?没错,就是那个决定你手机应用...
安卓系统版本使用统计,揭秘当前... 你有没有发现,手机里的安卓系统版本更新换代的速度简直就像小孩子的成长一样快?这不,最近我闲来无事,翻...
移植安卓系统大型游戏,挑战与机... 哇,你有没有想过,把安卓系统的大型游戏移植到其他平台上玩?想象那些让你热血沸腾的战斗、刺激的探险,还...
安卓 系统更新u盘,轻松实现系... 你有没有发现,你的安卓手机又该更新系统了?每次系统更新,都像是一场说走就走的旅行,带给你全新的体验。...
安卓系统画面切换抖动,安卓系统... 你有没有发现,有时候在使用安卓手机的时候,画面切换起来会突然抖动就像是在和你开玩笑一样?这可真是让人...
安卓系统导航界面,功能布局与操... 你有没有发现,每次打开安卓手机,那个导航界面就像一个熟悉的老朋友,静静地在那里等你点开它?今天,就让...
安卓系统如何屏蔽软件,安卓系统... 你是不是也和我一样,手机里装了太多软件,有时候不小心点开了一个,就发现时间飞逝,任务没完成,心情还糟...
受到安卓系统权限影响,揭秘手机... 你有没有发现,手机里的安卓系统有时候就像个调皮的小家伙,总是不经意间给你带来一些小麻烦?没错,说的就...
安卓系统关不了机,探究无法关机... 你有没有遇到过这种情况:手机屏幕上显示着“正在关机”,但你就是觉得手机还在那里默默运行着?没错,说的...
安卓5.0以上系统吗,探索安卓... 你有没有想过,你的安卓手机是不是已经升级到了5.0以上系统呢?这不仅仅是一个技术问题,更关乎你手机体...
安卓手机性能排行系统,谁将问鼎... 你有没有发现,最近你的安卓手机越来越卡了?别急,别急,我来给你揭秘一下安卓手机性能排行系统,让你知道...
怎么伪装安卓系统版本,隐藏真实... 你是不是也好奇过,怎么让自己的安卓手机看起来像是最新系统版本呢?别急,今天就来给你揭秘这个神秘的小技...
安卓AI 智慧系统下载,引领未... 你有没有发现,现在手机里的安卓系统越来越聪明了?没错,我说的就是那些能帮你做这做那的智慧系统。今天,...
安卓系统图片ps软件,轻松打造... 你有没有发现,手机里的图片有时候就是差那么一点点,就完美了?别急,今天就来给你揭秘如何用安卓系统上的...
tracking安卓系统能用吗... 你有没有想过,你的安卓手机里那些看似无关紧要的追踪功能,其实可能正在默默记录你的生活点滴呢?今天,我...