[HIVE] ํ์ด๋ธ-Python ์ฐ๋ (feat. sqlalchemy)
ยท
Engineering ๐ป/BigData
ํ๋ก์ ํธ๋ฅผ ์งํํ๋ฉด์ Python์ ํตํด Hive๋ฅผ ์ปจํธ๋กคํ๋ ๋์ฆ๊ฐ ๋ฐ์ํ๋ค. sqlalchemy๋ฅผ ํ์ฉํ์ฌ, create select insert๋ฅผ ๊ตฌํํ๋ค. sqlalchemy ๋? Python์์ ์ฌ์ฉ๊ฐ๋ฅํ ORM(Object-relational maping)์ด๋ค. ์ฆ, ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๋ฐ์ดํฐ๋ฅผ Objectํ๋์ ๋งคํํด์ค๋ค๋ ๊ฒ์ด๋ค. ์ฌ์ค DB์ ์คํค๋ง์ Object๋ ์๋ก ๊ธฐ์กด๋ถํฐ ํธํ๊ฐ๋ฅ์ฑ์ ๋๊ณ ๋ง๋ค์ด์ง ๊ฒ์ด ์๋๊ธฐ์ ๋ถ์ผ์น๊ฐ ๋ฐ์ํ๋๋ฐ,, ORM์ ๊ฐ์ฒด ๊ฐ์ ๊ด๊ณ๋ฅผ ๋ฐํ์ผ๋ก SQL๋ฌธ์ ์๋์ผ๋ก ์์ฑํ์ฌ ์ด๋ฌํ ๋ถ์ผ์น๋ฅผ ํด๊ฒฐํ๋ค. ์ด๋ฅผ ํตํด์ ์ฟผ๋ฆฌ๋ฅผ ์คํํ ์๋ ์๊ณ , Python์ Dataframe๊ณผ ๋ฐ์ดํฐ๋ฒ ์ด์ค๊ฐ์ ์ฐ๊ฒฐํ ์ ์๋ค. Hive-Python ์ฐ๋ 1. select from sq..