💻프로그래밍/👩‍🔬빅데이터분석 5

[파이썬] 주소데이터분석 + 지오맵 📍

2021.02.18 PM 22:00 - 23:05 지오데이터 위도와 경도의 GPS 좌표와 같은 지리 정보 folium 라이브러리의 Map() 함수 GPS 좌표를 중심 위치로 하는 지도 객체를 생성할 때 사용 오픈소프트웨어 Geocoder-Xr 파일을 불러와, 주소값을 지정하면 이를 좌표값으로 변환하는 프로그램 import pandas as pd CB = pd.read_csv('9-1_data\\CoffeeBean.csv', #CB객체에 파일 로드 encoding='CP949',index_col=0,header=0,engine='python') CB.head() #작업내용확인용출력- addr = [] for address in CB.address: addr.append(str(address).split()..

[파이썬] 한글제목의 키워드 분석하기(+워드클라우드)📰

2021.02.17 PM 22:00 - 23:15 import json import re from konlpy.tag import Okt from collections import Counter import matplotlib import matplotlib.pyplot as plt from matplotlib import font_manager, rc from wordcloud import WordCloud inputFileName = '8-2_data\\etnews.kr_facebook_2016-01-01_2018-08-01_4차 산업혁명' data = json.loads(open(inputFileName+'.json','r',encoding='utf-8').read()) #json : json파일 ..

[파이썬] 영어제목의 키워드 분석하기(+워드클라우드)📰

2021.02.16 PM 22:00 - 23:15 !pip install matplotlib !pip install wordcloud import pandas as pd import glob import re from functools import reduce from nltk.tokenize import word_tokenize from nltk.corpus import stopwords from nltk.stem import WordNetLemmatizer from collections import Counter import matplotlib.pyplot as plt from wordcloud import STOPWORDS, WordCloud #10개의 엑셀 파일 이름을 all_files 리스트에 ..

공공데이터 API 기반 크롤링

(오류발생-해결중) import os import sys import urllib.request import datetime import time import json import pandas as pd ServiceKey = "E%2BEwbzHXE%2FL77nVLKYMWrFXvZvVaFRPBmoIU1c2PcliTHKCUM5B%2BPI4AfludcbyFvrPi1zVxNxsrKnAdNuNEUw%3D%3D" ## [CODE1] : url 접속을 요청하고 응답을 받아 반환 def getRequestUrl(url): req = urllib.request.Request(url) try : response = urllib.request.urlopen(req) if response.getcode() == 200: #..

네이버 API를 이용한 크롤링

import os import sys import urllib.request import datetime import time import json client_id = 'qQzLdBLrgX38__G3RlUs' client_secret = 'akgN0iUMMJ' ## [CODE1] : url 접속을 요청하고 응답을 받아 반환 def getRequestUrl(url): req = urllib.requeset.Request(url) #url에 대한 요청 보낼 객체 생성 req.add_header("X-Naver-Client-Id", client_id) #API사용하기 위한 Client ID와 Client Secret 코드를 요청 객체 헤드에 추가 req.add_header("X-Naver-Client-Sec..