[HIVE] ํ•˜์ด๋ธŒ-Python ์—ฐ๋™ (feat. sqlalchemy)
ยท
Engineering ๐Ÿ’ป/BigData
ํ”„๋กœ์ ํŠธ๋ฅผ ์ง„ํ–‰ํ•˜๋ฉด์„œ Python์„ ํ†ตํ•ด Hive๋ฅผ ์ปจํŠธ๋กคํ•˜๋Š” ๋‹ˆ์ฆˆ๊ฐ€ ๋ฐœ์ƒํ–ˆ๋‹ค. sqlalchemy๋ฅผ ํ™œ์šฉํ•˜์—ฌ, create select insert๋ฅผ ๊ตฌํ˜„ํ–ˆ๋‹ค. sqlalchemy ๋ž€? Python์—์„œ ์‚ฌ์šฉ๊ฐ€๋Šฅํ•œ ORM(Object-relational maping)์ด๋‹ค. ์ฆ‰, ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์˜ ๋ฐ์ดํ„ฐ๋ฅผ Objectํ•„๋“œ์™€ ๋งคํ•‘ํ•ด์ค€๋‹ค๋Š” ๊ฒƒ์ด๋‹ค. ์‚ฌ์‹ค DB์˜ ์Šคํ‚ค๋งˆ์™€ Object๋Š” ์„œ๋กœ ๊ธฐ์กด๋ถ€ํ„ฐ ํ˜ธํ™˜๊ฐ€๋Šฅ์„ฑ์„ ๋‘๊ณ  ๋งŒ๋“ค์–ด์ง„ ๊ฒƒ์ด ์•„๋‹ˆ๊ธฐ์— ๋ถˆ์ผ์น˜๊ฐ€ ๋ฐœ์ƒํ•˜๋Š”๋ฐ,, ORM์€ ๊ฐ์ฒด ๊ฐ„์˜ ๊ด€๊ณ„๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ SQL๋ฌธ์„ ์ž๋™์œผ๋กœ ์ƒ์„ฑํ•˜์—ฌ ์ด๋Ÿฌํ•œ ๋ถˆ์ผ์น˜๋ฅผ ํ•ด๊ฒฐํ•œ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด์„œ ์ฟผ๋ฆฌ๋ฅผ ์‹คํ–‰ํ•  ์ˆ˜๋„ ์žˆ๊ณ , Python์˜ Dataframe๊ณผ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๊ฐ„์„ ์—ฐ๊ฒฐํ•  ์ˆ˜ ์žˆ๋‹ค. Hive-Python ์—ฐ๋™ 1. select from sq..