JSON

웹 스크래핑

• 요청과 응답*****
• 요청(정보를 원하는 사람:클라이언트) ——→주소URL 응답(정보를 주는 사람:서버)
• 문서(HTML, XML,JSON등)<———
• HTTP →프로토콜, 규악

요청과 응답*****

• 브라우저를 통해 주소로 요청을 보내고, 응답 결과를 브라우저가 웹 화면으로 랜더링 한다.
• 파이썬을 통해 주소로 요청보내고, 응답 결과를 파이썬으로 조작한다.

requests

• request: HTTP for Humans
• requests는 가장 간단한 요청과 응답을 해주는 python library

# 웹 사이트의 정보를 가지고 오고 싶다.
import requests
from bs4 import BeautifulSoup
# 1. 주소
URL = '<https://finance.naver.com/sise/>'

# 2. 요청
# <https://docs.python-requests.org/en/latest/user/quickstart/#make-a-request>
# response (200) : 성공적으로 가져왔다! 404 -우리가 잘못 / 500 - 개발자가 잘못

response = requests.get(URL)
print(response) #txt 붙일때와는 다름! 뭐였지??

response = requests.get(URL).text
print(type(response)) # type :string

# 2-1. BeautifulSoup (text -> 다른 객체)
# #KOSPI_now
# Beautiful Soup is a Python library for pulling data out of HTML and
# H
data = BeautifulSoup(response, 'html.parser')
# print(type(data), type(response)) # type이 bs4.BeautifulSoup str로 다름
# 2.2 내가 원하는 정보를 가져온다!
kospi = data.select_one('#KOSPI_now')
print(kospi.text)

• 정보 스크랩 1단계 - 요청
  • 정보가 있는 사이트 URL을 확인한다.
  • url = ‘https://naver.com’
  • URL로 요청을 보낸다.
    • import requests
    • response = requests.get(url).text

 

• BeautifulSoup
  • html file에 있는 데이터를 가지고 오는 library

• [API] Application Programming Intercface
  • 컴퓨터나 컴퓨터 프로그램 사이의 연결
  • 일종의 소프트웨어 인터페이스이며 다른 종류의 소프트웨어 서비스를 제공
  • 사용하는 방법을 기술하는 문서나 표준은 API 사양/명세(specification)

 

• API 활용하는 방법
  • 요청하는 방식에 대한 이해
    • 인증 방식
    • URL 생성
      • 기본 주소
      • 원하는 기능에 대한 추가 경로
      • 요청 변수(필수와 선택)
    • 응답 결과에 대한 이해
      • 응답 결과 타입(JSON)
      • 응답 결과 구조

• API 명세 예시(네이버영화검색, 공공데이터포털,카카오톡)
• API 간단 활용 실습

import requests

# 1. URL
# 요청 변수 : ?name=michael
r = requests.get('<https://api.agify.io?name=michael>'
URL = '<https://api.agify.io>'
params = { 'name': 'michael' }

# 2. 요청
response = requests.get(URL).json()
print(response)
print(response.get('age'))

파일데이터 →과거데이터, 오픈api →실시간 데이터

# 0. import
import requests
# 1. URL 및 요청변수 설정
# https://developers.themoviedb.org/3/movies/now_playing

#http로 요청보낼거야, 주소가 있고 그 주소에 요청 파라미터에 값이 있어
#params를 url로 만드는 법은 아랫줄과 같음
# https://api.themoviedb.org/3/movie/now_playing?api_key=8854669b886a6c07c12ea947bcc2311d&region=KR&language=ko

BASE_URL = 'https://api.themoviedb.org/3'
path = '/movie/now_playing'
params = {'api_key' : '8854669b886a6c07c12ea947bcc2311d', 'region' : 'KR', 'language' : 'ko'}

# 2. 요청 보낸 결과 저장
response = requests.get(BASE_URL+path, params=params).json()
print(response.status_code, response.url)
data = response.json()
# 3. 조작...
print(response)