20 Pass (why we need 'self')
7. Python 기본 내장함수와 외장함수
1. Google Colaboratory(협업을 위한 jupyter notebook 가상 환경)
바로바로 쓸 수 있다.
GPU 빌려준다.
TPU - Tensor Processing Unit, 코랩에서 쓰거나 원격으로 클라우드 컴퓨터 빌려서 쓰는 수밖에 없음
단점: shift tap 잘 안 먹힘
필요한 라이브러리를 매번 설치해야 한다.
코드 스니펫
*스니펫: 코드 작은 조각
VM: Virtual Machine
깃헙에 있는 주피터노트북 파일 통째로 들고오기
https://colab.research.google.com/github
깃헙 화면에서 . 누르면 파일 가져올 수 있음
(단 로그인 한 상태여야 함.)
또는 com을 dev로 바꾸기
2. 주피터노트북 테마 바꾸기
3. 가상환경(적극 권장)
-우리가 설치한 건 메인 환경
원한다면 우리가 아나콘다 서브 환경을 추가로 설치할 수 있음
활성화 activate
아나콘다 가상환경은 진짜 필요한 것들 같이 가져감
용량이 조금 더 큼.
4. Cython
소수점 계산 활용
5. 파이썬 패키지 설치 안 될 때
기존 데이터 수집 방법: 설문조사->엑셀화
그것도 코딩 작업이라고 불렀음
User interaction & User activity (CRUD)
데이터 유형
정형데이터: 엑셀 형태의 데이터, 행과 열이 있는 형태의 데이터
반정형데이터: 비정형데이터의 텍스트의 일종, 다만 어느정도 규격이 정해져있음, 구조화된 접근 가능
비정형데이터: 이미지, 영상, 음성, 텍스트 등
회사에서 만나는 데이터 대부분은 정형데이터-매출, 게임 활동 데이터 등
Tranditional Machine Learning
머신러닝 자체는 딥러닝 포함
1. 전통적인 모델 (인공신경망 활용x)
2. (인공신경망 활용 o)
비정형데이터도 결국은 정형데이터로 바꿔냄
수치행렬 등
786px==786개X0~1개
이미지 한 장도 숫자로 이루어져있다
Fourier Transforms 사용하면 음성데이터도 정형데이터로 변환 가능
@https://j.mp/2J0yv9A
데이터 수집 채널
Various data collection - Owned data
-Google Analytics
-Elastic Stack or ELK Stack(Logstash, Elastic search, Kibana)-자바 기반
-Zeppelin
Various data collection -
데이터 대시보드
데이터베이스 데이터 다이렉트로 끌고와서 만든 것
유튜브)한국 Elastic stack
-
* 데이터를 활용한 디지털마케팅 효과분석 (GA) @ https://j.mp/2P7YHCO * 광고부터 검색까지, 구글 마케팅의 이해 (Google Ads & GA) @ https://j.mp/3faKTSG
광고부터 검색까지, 구글 마케팅의 이해
부스트코스 무료 강의
www.boostcourse.org
타사 데이터, 다른 웹사이트 데이터 끌어오기
-APIs(Application Programming Interface)
1)웹상에서의 API - 은행창구라고 생각하기
2)프로그램 도구 같은 것들 활용할 때 나타나는 API
3)Twitter, Facebook, Instagram, etc - 웹 클롤러, 웹 스크래퍼에 항상 노출되어있음
* Listly (크롬 확장프로그램 for 웹크롤링) @ https://j.mp/2LSb8kh * Web Scraping Tool & Web Data Extractor : ScrapeStorm @ http://j.mp/2Y4porj / Octoparse @ https://j.mp/3o5i23q / Automatio @ https://automatio.co/
Automatio - No-code Web Automation Tool
Automatio is most powerful no-code web automation tool which give you ability to create bots, scrapers, prices monitors.
automatio.co
서울시 범죄현황 통계자료 분석 및 시각화
1. 데이터 입력 및 데이터 전처리
'IT > 멋쟁이사자처럼 AI SCHOOL' 카테고리의 다른 글
| 멋쟁이사자처럼 AI SCHOOL 8일차 필기 - 파이썬을 활용한 데이터 수집 & 웹 스크레이핑 + 파이썬 기반 텍스트 데이터 분석 (2) (0) | 2022.03.29 |
|---|---|
| 멋쟁이사자처럼 AI SCHOOL 8일차 필기 - 파이썬을 활용한 데이터 수집 & 웹 스크레이핑 + 파이썬 기반 텍스트 데이터 분석 (1) (0) | 2022.03.25 |
| 멋쟁이사자처럼 AI SCHOOL 7일차 복습 - 파이썬 정형 데이터분석 (2)🐉 (0) | 2022.03.24 |
| 멋쟁이사자처럼 AI SCHOOL 5일차 복습 - 파이썬 프로그래밍 기초 (2)🐉 (0) | 2022.03.22 |
| 멋쟁이사자처럼 AI SCHOOL 3일차 복습 - [심화]같이푸는 파이썬🦎 (0) | 2022.03.17 |