[Flask] Web Scraping 만들기

프로젝트 폴더 생성

mkdir web-sraping
cd web-sraping

 

 

pyenv 설정

pyenv virtualenv 3.11.2 web-scraping-env
pyenv local web-scraping-env

 

 

Flask 설치

pip install flask

 

 

Requests 설치

requests는 HTTP 요청을 위한 라이브러리입니다.

pip install requests

 

 

BeautifulSoup 설치

BeautifulSoup은 요청 결과를 파싱하기 위한 라이브러리입니다.

pip install beautifulsoup4

 

 

app.py 작성

아래에 예제는 네이버 증권을 들어가서 코스피 부분만 가져오는 내용을 작성한 예제입니다.

from flask import Flask
import requests
from bs4 import BeautifulSoup

app = Flask(__name__)

@app.route("/")
def kospi():

    r = requests.get('https://finance.naver.com/') # GET 요청으로 해당 URL 접근
    html = r.text # 접근 결과 HTML 가져오기

    bs = BeautifulSoup(html, 'html.parser') # HTML 파싱
    kospi = bs.select('#content > div.article > div.section2 > div.section_stock_market > div.section_stock > div.kospi_area.group_quot.quot_opn > div.heading_area > a > span > span.num') # CSS Selector를 활용해서 해당 정보만 가져오기

    return f"kospi: {kospi[0].get_text()}" # 코스피 값만 응답

결과