IT 끄적끄적

가. 파이썬 1. 문법 2. flask (json 리턴) 3. mariaDB -> CRUD 나. 데이터 수집 - IoT 못함 - DB에 있는 것 가져오기 (가능) - 공공데이터 가져오기 (가능) - 크롤링 다. 데이터 저장 DB에 저장 무조건 null 허용!! 라. 데이터 전처리 - 필요한 데이터와 필요없는 데이터 분리 (컬럼 분리) - 종속적인 데이터 (내가 지금 분석하려는 주제와 관련된 컬럼만 뽑아옴) - 결측값 제거 (null 제거 / 남자, 여자 -> 0, 1 숫자로 변경 등등) - pandas, numpy 라이브러리 사용 마. 크로스 밸리데이션 - 훈련 데이터와 테스트 데이터 분리 분석한 데이터 팩트 알고리즘 => 모델 (사이킷런 라이브러리) 50kg 이상 + 길이 50cm 이상 -> 품질 A ..

DAO(Data Access Object) DB의 Data!! DB에 연결되어서 앞단에서 데이터를 관리하는 게 DAO이다. DAO에 findAll, findById, save와 같은 메서드를 만들어 두는 것이다. 그리고 데이터가 필요한 수많은 프론트들이 DAO에 요청하여 데이터를 받아간다. 메서드를 만들어두고 재사용이 가능하다는 장점이 있다. 스프링에서는 DAO를 만든적이 없고 Repository를 만들었다. 왜 DAO가 아니고 Repository일까? DAO를 추상화시킨게 Repository인데 왜 추상화시켰는지 살펴보자. 옛날에 데이터가 필요할 때는 무조건 DB로 접근해야 했다. 지금은 꼭 DB에 가서 데이터를 가져올 필요 없이 API, 파일 등 데이터에 접근하는 방법이 다양하다. 원래 DB만 바라봤..

db연결을 위해 라이브러리 설치가 필요하다. jdbc같은게 필요한것이다. 터미널 창을 열어 설치해주자. python -m pip install pymysql db 연결을 위해 5가지 인자가 기본이다. from pymysql import connect, cursors conn = connect( host="localhost", user="green", password="green1234", db="greendb", charset="utf8" ) pymysql에서 charset에 utf8로 하이푼이 없는것에 주의하자. cursor는 기본적으로 tuple 타입으로 반환해주는데 기본 파싱 전략을 dict으로 바꿔주자. cursors = conn.cursor(cursors.DictCursor) # 기본 tuple..

tuple 타입은 상수, const, 읽기 전용 데이터이다. tuple = (1, 2, 3, 4) 이 타입은 왜 사용할까? 원본 데이터를 수정해야 할 때 데이터가 수정되었는지 알기 위해서는 원본 데이터를 복제해두었다가 값을 하나하나 비교해야 한다. 데이터가 만들어진 그 시점에 복제해두어야 하는 것이다. 원본이 변경된 것을 확인할 때 어떻게 비교하느냐? 같은 자리에 있는 것끼리 하나하나 비교하면 된다. 이때 단점이 있다. 모든 번지수를 다 확인해야 한다. 데이터의 개수가 10억 개라고 한다면 변경되었는지 확인하고 싶을 때마다 10억 개를 비교해야 하는 것이다. 비효율적이다. 기존에 원본을 수정하는 방식을 바꾸어 수정이 일어날 때마다 새로운 오브젝트를 만들어낸다. 만약 원본 데이터가 1000번지에 저장되어있..

https://www.python.org/downloads/ Download Python The official home of the Python Programming Language www.python.org 파이썬은 버전이 2.*와 3.*에 문법이 다르다. 주의해서 다운받자. 체크를 해줘야 환경변수를 자동으로 잡아준다 인스톨 나우 설치하면 IDLE라는 툴을 제공해주는데 우리는 vscode를 쓸 것이다. 맛은볼까? 타입도 없고 세미콜론도 없다. 이런 언어를 인터프리터 언어라고 한다. 한줄입력하고 한줄 실행하고! 세미콜론이 없어서 줄바꿈이 중요하다. 그래서 코드를 적는 순서가 중요하다. 이렇게하면 a 메서드가 실행되지 않는다. a(); function a () { } vscode에서 파이썬을 사용하기 위..