Python 2

๋ฐ์ดํ„ฐ ๋ถ„์„ ํ™˜๊ฒฝ ๊ตฌ์ถ• - 09. Streamlit ์†Œ๊ฐœ ๋ฐ ์„ค์น˜, ์‹ค์ œ ํ˜„์—… ์‚ฌ์šฉ๊ธฐ

์ด์ „์— ์†Œ๊ฐœํ–ˆ๋˜ Clickhouse์—์„œ ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ๋ถ„์„์„ ์œ„ํ•ด๋Œ€์‹œ๋ณด๋“œ๋ฅผ ๊ฐ€์žฅ ๋น ๋ฅด๊ฒŒ ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ๋Š” Streamlit ์„œ๋น„์Šค์— ๋Œ€ํ•ด ์†Œ๊ฐœํ•ฉ๋‹ˆ๋‹ค.๊ทธ๋ฆฌ๊ณ  ์‹ค์ œ ํ˜„์—…์—์„œ Streamlit์œผ๋กœ ์„œ๋น„์Šค๋ฅผ ๊ตฌ์ถ•ํ–ˆ๋˜ ํ›„๊ธฐ๋„ ์งง๊ฒŒ ๊ณต์œ ํ•ฉ๋‹ˆ๋‹ค.   ๋ฐ์ดํ„ฐ ๋ถ„์„ ํ™˜๊ฒฝ ๊ตฌ์ถ• - 05. Clickhouse ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ๋ถ„์„ ํ…Œ์ด๋ธ” ์ƒ์„ฑํ•˜๊ธฐ๐Ÿš€ ์ด ๊ธ€์—์„œ ๋‹ค๋ฃฐ ๋‚ด์šฉ1๏ธโƒฃ Kafka์™€ ์—ฐ๊ฒฐ๋œ ClickHouse ํ…Œ์ด๋ธ” ์ƒ์„ฑ (ํ™˜๊ฒฝ์„ค์ • ํฌํ•จ)2๏ธโƒฃ ์‹ค์Šต์šฉ ๋ฐ์ดํ„ฐ์…‹ kafka produce3๏ธโƒฃ Kafka ํ…Œ์ด๋ธ”์—์„œ ๋ฐ์ดํ„ฐ ์…‹ ํ™•์ธ ๋ฐฉ๋ฒ•1. Kafka์™€ ์—ฐ๊ฒฐ๋œ ClickHouse ํ…Œ์ด๋ธ” ์ƒjongwho.tistory.com  ๐Ÿ› ๏ธ Streamlit ์„ค์น˜ ๋ฐ ์ฐจํŠธ ์ƒ์„ฑ ์•„๋ž˜ ๋ช…๋ น์–ด๋ฉด streamlit ์„ค์น˜๊ฐ€ ์™„๋ฃŒ๋ฉ๋‹ˆ๋‹ค.pip ..

[Elastic Search] MBTI ๊ฒ€์ƒ‰ ํ”„๋กœ์ ํŠธ - 2. Emoji ๊ฒ€์ƒ‰ ๋ฐ Aggregation

MBTI ๋ณ„ ํŠน์„ฑ์„ ํŒŒ์•…ํ•˜๋Š” ํ”„๋กœ์ ํŠธ๋ฅผ ์ง„ํ–‰ ์ค‘์ž…๋‹ˆ๋‹ค. ์ˆ˜์ง‘๋œ ํ…์ŠคํŠธ๋“ค์„ ๋ณด๋‹ˆ ์ด๋ชจ์ง€๊ฐ€ ๋งŽ์ด ์‚ฌ์šฉ๋˜๊ณ  ์žˆ๋Š” ๊ฑธ ์ฐพ์„ ์ˆ˜ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค. ###Q: Emoji๊ฐ€ ElasticSearch ์—์„œ ๊ฒ€์ƒ‰์ด ๋˜๋‚˜์š”? ###A: ๋„ค Emoji๋„ ํ…์ŠคํŠธ๋กœ ์ทจ๊ธ‰๋˜๊ธฐ ๋•Œ๋ฌธ์— ๊ฒ€์ƒ‰์ด ์ž˜ ๋ฉ๋‹ˆ๋‹ค! ํ•˜์ง€๋งŒ ๋ชจ๋“  ์ด๋ชจ์ง€๋ฅผ ๊ฒ€์ƒ‰ํ•˜์—ฌ ๋ฌธ์„œ ์ˆ˜๊ฐ€ ์–ผ๋งˆ๋‚˜ ์žˆ๋Š”์ง€ ํŒŒ์•…ํ•˜๊ธฐ๋Š” ์‰ฝ์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ ์ด๋ฏธ ์ˆ˜์ง‘๋œ ๋ฐ์ดํ„ฐ์—์„œ ์ด๋ชจ์ง€๋งŒ ํŒŒ์‹ฑ ํ•ด๋ด…์‹œ๋‹ค. ์ €๋Š” Python์˜ Regex๋ฅผ ์ด์šฉํ•ด์„œ ์ด๋ชจ์ง€๋ฅผ ์ถ”์ถœํ–ˆ์Šต๋‹ˆ๋‹ค. import pandas as pd import re # ... DB์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€์ ธ์˜ค๋Š” ๋ถ€๋ถ„์€ ์ƒ๋žต # df๋Š” ์นผ๋Ÿผ์œผ๋กœ contents(์ˆ˜์ง‘๋œ ํ…์ŠคํŠธ), doc_url(ํ…์ŠคํŠธ์˜ url)์„ ๊ฐ€์ง€๊ณ  ์žˆ์Œ emoji_pattern = re..

Elastic Search 2022.04.13