์ „์ฒด ๊ธ€ 29

๋ฐ์ดํ„ฐ ๋ถ„์„ ํ™˜๊ฒฝ ๊ตฌ์ถ• - 08. Clickhouse ํด๋Ÿฌ์Šคํ„ฐ ํ™˜๊ฒฝ์—์„œ ๋ฐ์ดํ„ฐ ์‚ฝ์ž… ๋ฐ ์—…๋ฐ์ดํŠธ ์ฒ˜๋ฆฌ ๋ฐฉ์‹ ๐Ÿš€(part. 2)

์ด์ „ clickhouse ํด๋Ÿฌ์Šคํ„ฐ ํ™˜๊ฒฝ์—์„œ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ ๋ฐฉ์‹(Clickhouse ํด๋Ÿฌ์Šคํ„ฐ ํ™˜๊ฒฝ์—์„œ ๋ฐ์ดํ„ฐ ์‚ฝ์ž… ๋ฐ ์—…๋ฐ์ดํŠธ ์ฒ˜๋ฆฌ ๋ฐฉ์‹ ๐Ÿš€(part. 1)) ์„ค๋ช…์— ์ด์–ด ReplicatedMergetree ํ…Œ์ด๋ธ”์—์„œ ๋ฐ์ดํ„ฐ๊ฐ€ ์ฒ˜๋ฆฌ๋˜๋Š” ๋ฐฉ์‹์— ๋Œ€ํ•ด ์„ค๋ช…ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค.1. ClickHouse Kubernetes ์•„ํ‚คํ…์ฒ˜ ๊ฐœ์š” ๐Ÿ› ๏ธ์ด๋ฒˆ ์‹ค์Šต์—์„œ๋Š” replica๋ฅผ ์ถ”๊ฐ€ํ•˜์—ฌ ๋ฐ์ดํ„ฐ๊ฐ€ ๋ณต์ œ๋˜๋„๋ก ์„ค์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด clickhouse helm ๋ฐฐํฌ์šฉ yaml ํŒŒ์ผ์—์„œ replicaCount๋ฅผ 2๋กœ ์„ค์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.(Clickhouse ์„ค์น˜ ๋ฐฉ๋ฒ•)NAME READY STATUS RESTARTSclickhouse-shard0-0 1/1 Running 0 ..

๋ฐ์ดํ„ฐ ๋ถ„์„ ํ™˜๊ฒฝ ๊ตฌ์ถ• - 07. Clickhouse ํด๋Ÿฌ์Šคํ„ฐ ํ™˜๊ฒฝ์—์„œ ๋ฐ์ดํ„ฐ ์‚ฝ์ž… ๋ฐ ์—…๋ฐ์ดํŠธ ์ฒ˜๋ฆฌ ๋ฐฉ์‹ ๐Ÿš€(part. 1)

Clickhouse ํด๋Ÿฌ์Šคํ„ฐ ํ™˜๊ฒฝ์—์„œ ๋ฐ์ดํ„ฐ ์‚ฝ์ž… ๋ฐ ์—…๋ฐ์ดํŠธ ์ฒ˜๋ฆฌ ๋ฐฉ์‹ ๐Ÿš€(part. 1)์ด์ „ ๊ธ€ ๋ฐ์ดํ„ฐ ๋ถ„์„ ํ™˜๊ฒฝ ๊ตฌ์ถ• - 06. Clickhouse ํ…Œ์ด๋ธ” ์ข…๋ฅ˜์™€ ์šฉ๋„์— ์ด์–ด Kubernetes ๊ธฐ๋ฐ˜ ClickHouse ํด๋Ÿฌ์Šคํ„ฐ ํ™˜๊ฒฝ์—์„œ ์ฃผ์š” ํ…Œ์ด๋ธ” ์—”์ง„๋ณ„ ๋ฐ์ดํ„ฐ ์‚ฝ์ž… ๋ฐ ์—…๋ฐ์ดํŠธ ์ฒ˜๋ฆฌ ๋ฐฉ์‹์„ ์‚ดํŽด๋ณด๊ณ , ์ตœ์‹  ๊ธฐ๋Šฅ๊ณผ ์ตœ์ ํ™” ๊ธฐ๋ฒ•์„ ์†Œ๊ฐœํ•ฉ๋‹ˆ๋‹ค. 1. ClickHouse Kubernetes ์•„ํ‚คํ…์ฒ˜ ๊ฐœ์š” ๐Ÿ› ๏ธKubernetes ํ™˜๊ฒฝ์—์„œ ClickHouse๋Š” ์ƒค๋“œ(Shard)์™€ ๋ ˆํ”Œ๋ฆฌ์นด(Replica) ๊ตฌ์กฐ๋ฅผ ํ†ตํ•ด ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์‚ฐ ์ €์žฅํ•˜๊ณ  ๊ณ ๊ฐ€์šฉ์„ฑ์„ ๋ณด์žฅํ•ฉ๋‹ˆ๋‹ค.1.1 Kubernetes ํด๋Ÿฌ์Šคํ„ฐ ๊ตฌ์„ฑ์ƒค๋“œ(Shard): ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„ํ• ํ•˜์—ฌ ์ €์žฅํ•˜๋Š” ๋…ธ๋“œ๋ ˆํ”Œ๋ฆฌ์นด(Replica): ๋™์ผ ๋ฐ์ดํ„ฐ๋ฅผ ๋ณต์ œํ•˜์—ฌ ์ƒค๋“œ..

๋ฐ์ดํ„ฐ ๋ถ„์„ ํ™˜๊ฒฝ ๊ตฌ์ถ• - 06. Clickhouse ํ…Œ์ด๋ธ” ์ข…๋ฅ˜์™€ ์šฉ๋„

๊ฐœ์š”ClickHouse๋Š” ์ดˆ๊ณ ์† ๋ถ„์„์„ ์œ„ํ•ด ์„ค๊ณ„๋œ ์ปฌ๋Ÿผ ์ง€ํ–ฅ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๋กœ, ๋‹ค์–‘ํ•œ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ์—”์ง„๊ณผ ํ…Œ์ด๋ธ” ์—”์ง„์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ์—”์ง„์€ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ์ˆ˜์ค€์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ €์žฅํ•˜๋Š” ๋ฐฉ์‹๊ณผ ๋ฐฑ์—”๋“œ๋ฅผ ๊ฒฐ์ •ํ•ฉ๋‹ˆ๋‹ค.ํ…Œ์ด๋ธ” ์—”์ง„์€ ๊ฐœ๋ณ„ ํ…Œ์ด๋ธ”์˜ ๋ฐ์ดํ„ฐ ์ €์žฅ ๋ฐฉ์‹, ์ฝ๊ธฐ/์“ฐ๊ธฐ ๋ฐฉ๋ฒ•, ๋ณต์ œ ๋ฐฉ์‹ ๋“ฑ์„ ์ •์˜ํ•ฉ๋‹ˆ๋‹ค.์ด ๊ธ€์—์„œ๋Š” ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ์—”์ง„๊ณผ ํ…Œ์ด๋ธ” ์—”์ง„์˜ ์ฃผ์š” ํŠน์ง•, ์ฐจ์ด์ , ์‚ฌ์šฉ ์‚ฌ๋ก€๋ฅผ ํฌํ•จํ•˜์—ฌ ์ƒ์„ธํžˆ ๋ถ„์„ํ•ฉ๋‹ˆ๋‹ค.1. ClickHouse ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ์—”์ง„๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ์—”์ง„์€ ClickHouse ๋‚ด์—์„œ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ๋‹จ์œ„๋กœ ๋ฐ์ดํ„ฐ๊ฐ€ ์–ด๋–ป๊ฒŒ ๊ด€๋ฆฌ๋˜๋Š”์ง€ ๊ฒฐ์ •ํ•ฉ๋‹ˆ๋‹ค.๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ์—”์ง„ ์ข…๋ฅ˜ ๋ฐ ํŠน์ง•์—”์ง„ํƒ€์ž…์ฃผ์š” ํŠน์ง•์žฅ์ ๋‹จ์ ์‚ฌ์šฉ ์ƒํ™ฉAtomic๋…ผ๋ธ”๋กœํ‚น DDL, ์›์ž์  ํ…Œ์ด๋ธ” ๊ตํ™˜, UUID ๊ธฐ๋ฐ˜ ๊ด€๋ฆฌ๋†’์€ ๋™์‹œ์„ฑ ์ง€์›, ..

๋ฐ์ดํ„ฐ ๋ถ„์„ ํ™˜๊ฒฝ ๊ตฌ์ถ• - 05. Clickhouse ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ๋ถ„์„ ํ…Œ์ด๋ธ” ์ƒ์„ฑํ•˜๊ธฐ

๐Ÿš€ ์ด ๊ธ€์—์„œ ๋‹ค๋ฃฐ ๋‚ด์šฉ1๏ธโƒฃ Kafka์™€ ์—ฐ๊ฒฐ๋œ ClickHouse ํ…Œ์ด๋ธ” ์ƒ์„ฑ (ํ™˜๊ฒฝ์„ค์ • ํฌํ•จ)2๏ธโƒฃ ์‹ค์Šต์šฉ ๋ฐ์ดํ„ฐ์…‹ kafka produce3๏ธโƒฃ Kafka ํ…Œ์ด๋ธ”์—์„œ ๋ฐ์ดํ„ฐ ์…‹ ํ™•์ธ ๋ฐฉ๋ฒ•1. Kafka์™€ ์—ฐ๊ฒฐ๋œ ClickHouse ํ…Œ์ด๋ธ” ์ƒ์„ฑ๐Ÿ”น Kafka ๋ฐ์ดํ„ฐ๋ฅผ ClickHouse์—์„œ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฐฉ์‹ClickHouse๋Š” Kafka์™€ ์ง์ ‘ ์—ฐ๊ฒฐํ•˜์—ฌ ์‹ค์‹œ๊ฐ„์œผ๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€์ ธ์˜ฌ ์ˆ˜ ์žˆ๋Š” Kafka ์—”์ง„์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.๊ธฐ๋ณธ์ ์œผ๋กœ Kafka → Buffer ํ…Œ์ด๋ธ” → MergeTree ํ…Œ์ด๋ธ”์˜ ๊ตฌ์กฐ๋กœ ์šด์˜๋ฉ๋‹ˆ๋‹ค.๐Ÿ”น ClickHouse ์„ค์ • ๋ณ€๊ฒฝ (Kafka ์‚ฌ์šฉ์„ ์œ„ํ•œ ์„ค์ •)๋จผ์ €, clickhouse-server์˜ ํ™˜๊ฒฝ์„ค์ •์„ ์ˆ˜์ •ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.ClickHouse ์„ค์ • ํŒŒ์ผ (config.xml)์—์„œ Ka..

๋งฅ๋ถ ํด๋ฆฝ๋ณด๋“œ ๊ด€๋ฆฌ์˜ ๋ํŒ์™•! Maccy ์„ค์น˜ ๋ฐ ํ™œ์šฉ ๊ฐ€์ด๋“œ

๐Ÿ”น Maccy๋ž€?Maccy๋Š” ๋งฅOS์šฉ ์˜คํ”ˆ์†Œ์Šค ํด๋ฆฝ๋ณด๋“œ ๊ด€๋ฆฌ์ž๋กœ, ๋ณต์‚ฌํ•œ ํ…์ŠคํŠธ๋ฅผ ์‰ฝ๊ฒŒ ๊ด€๋ฆฌํ•˜๊ณ  ๋น ๋ฅด๊ฒŒ ๋ถ™์—ฌ๋„ฃ์„ ์ˆ˜ ์žˆ๋„๋ก ๋„์™€์ค๋‹ˆ๋‹ค. ๊ฐ€๋ณ๊ณ , ์‚ฌ์šฉํ•˜๊ธฐ ์‰ฝ๊ณ , ์˜คํ”ˆ์†Œ์Šค(MIT ๋ผ์ด์„ ์Šค)๋กœ ์ œ๊ณต๋˜๋ฉฐ, ์‹œ์Šคํ…œ ์ž์›์„ ๊ฑฐ์˜ ์‚ฌ์šฉํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด ์œˆ๋„์šฐ์—์„œ ํด๋ฆฝ๋ณด๋“œ ๋งค๋‹ˆ์ €(Window + V ๋ฒ„ํŠผ ํด๋ฆญ ์‹œ ํด๋ฆฝ๋ณด๋“œ ํžˆ์Šคํ† ๋ฆฌ๋ฅผ ๋ณด์—ฌ์ฃผ๋Š” ๊ธฐ๋Šฅ)๋ฅผ ์‚ฌ์šฉํ–ˆ๋˜ ์‚ฌ์šฉ์ž๋“ค์—๊ฒŒ ์ต์ˆ™ํ•œ ๊ธฐ๋Šฅ์ž…๋‹ˆ๋‹ค. ๐Ÿค” ํ˜„์žฌ App store์—์„œ๋Š” โ‚ฉ14,000์— ํŒ๋งคํ•˜๊ณ  ์žˆ์ง€๋งŒ, homebrew๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ๋ฌด๋ฃŒ๋กœ ์„ค์น˜ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.๐Ÿ› ๏ธ Maccy ์„ค์น˜ ๋ฐฉ๋ฒ•Maccy๋Š” GitHub์—์„œ ์ง์ ‘ ๋‹ค์šด๋กœ๋“œํ•˜๊ฑฐ๋‚˜, Homebrew๋ฅผ ํ†ตํ•ด ๊ฐ„ํŽธํ•˜๊ฒŒ ์„ค์น˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.1. Homebrew๋ฅผ ์ด์šฉํ•œ ์„ค์น˜ (์ถ”์ฒœ)ํ„ฐ๋ฏธ๋„์„ ์—ด๊ณ  ๋‹ค์Œ ๋ช…๋ น์–ด๋ฅผ ์‹ค..

๋งฅ๋ถ ์บก์ฒ˜ ๋‹จ์ถ•ํ‚ค, ํ•œ๋ˆˆ์— ํ™•์ธํ•˜๋Š” ๋ฐฉ๋ฒ• – KeyCue๋กœ ๋‹จ์ถ•ํ‚ค ๋งˆ์Šคํ„ฐํ•˜๊ธฐ

๋งฅ๋ถ์„ ์‚ฌ์šฉํ•˜๋ฉด์„œ ํ™”๋ฉด ์บก์ฒ˜ ๋‹จ์ถ•ํ‚ค๋ฅผ ์ฐพ๋Š๋ผ ๋งค๋ฒˆ ์ธํ„ฐ๋„ท์„ ๊ฒ€์ƒ‰ํ•˜๋Š” ์ผ์ด ๋ฒˆ๊ฑฐ๋กญ๋‹ค๋ฉด, KeyCue๋ผ๋Š” ๊ฐ•๋ ฅํ•œ ๋„๊ตฌ๋ฅผ ์ถ”์ฒœํ•ฉ๋‹ˆ๋‹ค. ์ด ์•ฑ์€ ๋ชจ๋“  ๋‹จ์ถ•ํ‚ค๋ฅผ ํ•œ๋ˆˆ์— ํ™•์ธํ•  ์ˆ˜ ์žˆ๋„๋ก ๋„์™€์ฃผ๋Š” ์œ ์šฉํ•œ ํ”„๋กœ๊ทธ๋žจ์œผ๋กœ, Mac์„ ๋”์šฑ ํšจ์œจ์ ์œผ๋กœ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•ด์ค๋‹ˆ๋‹ค. ๐Ÿ” ํ™”๋ฉด ์บก์ณ ๋‹จ์ถ•ํ‚ค Command + Shift + 3 (์ „์ฒด ํ™”๋ฉด ์บก์ฒ˜) ๋˜๋Š” Command + Shift + 4 (์„ ํƒ ์˜์—ญ ์บก์ฒ˜) !๋งฅ์„ ์ฒ˜์Œ ์‚ฌ์šฉํ•˜๋Š” ์‚ฌ๋žŒ์ด๋ผ๋ฉด Command + Shift + 3 (์ „์ฒด ํ™”๋ฉด ์บก์ฒ˜) ๋˜๋Š” Command + Shift + 4 (์„ ํƒ ์˜์—ญ ์บก์ฒ˜) ๊ฐ™์€ ๊ธฐ๋ณธ ๋‹จ์ถ•ํ‚ค๋ฅผ ์ˆ™์ง€ํ•˜๋Š” ๊ฒƒ์ด ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ๋‹ค์–‘ํ•œ ์•ฑ์—์„œ ์ œ๊ณตํ•˜๋Š” ๊ณ ๊ธ‰ ๋‹จ์ถ•ํ‚ค๊นŒ์ง€ ์ผ์ผ์ด ์™ธ์šฐ๋Š” ๊ฒƒ์€ ์‰ฝ์ง€ ์•Š์Šต๋‹ˆ๋‹ค.KeyCue๋Š” ์ด๋Ÿฌํ•œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•ด ์ฃผ..

๋ฐ์ดํ„ฐ ๋ถ„์„ ํ™˜๊ฒฝ ๊ตฌ์ถ• - 04. Kafka UI ํ™˜๊ฒฝ ๊ตฌ์„ฑ(Redpanda Console)

์ด์ „ Apache Kafka ์„ค์น˜ ํ›„ ํ† ํ”ฝ ์ƒ์„ฑ, ๋ชฉ๋ก ํ™•์ธ์— ์˜ค๋ฅ˜๊ฐ€ ์žˆ์–ด kafka ๊ตฌ์„ฑ์ด ์–ด๋ ค์› ์Šต๋‹ˆ๋‹ค. ์ด์— UI ํ™˜๊ฒฝ์„ ๊ตฌ์„ฑํ•˜์—ฌ kafka ํ† ํ”ฝ์„ ์‰ฝ๊ฒŒ ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ๋„๋ก Console ํ™˜๊ฒฝ์„ ๊ตฌ์ถ•ํ•ฉ๋‹ˆ๋‹ค.๐Ÿ’ก ์ด ๊ธ€์—์„œ ๋‹ค๋ฃฐ ๋‚ด์šฉ:Redpanda Console์ด๋ž€?Helm์„ ์‚ฌ์šฉํ•ด Redpanda Console ๋ฐฐํฌKafka์™€ ์—ฐ๊ฒฐ ๋ฐ UI์—์„œ ํ† ํ”ฝ ์ƒ์„ฑ๋ฉ”์‹œ์ง€ Produce ํ…Œ์ŠคํŠธ1. Redpanda Console์ด๋ž€?Redpanda Console์€ Kafka ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์‰ฝ๊ฒŒ ๊ด€๋ฆฌํ•  ์ˆ˜ ์žˆ๋Š” ์›น UI์ž…๋‹ˆ๋‹ค.Kafka์˜ ๊ธฐ๋ณธ CLI๋ณด๋‹ค ํŽธ๋ฆฌํ•˜๊ฒŒ ํ† ํ”ฝ ์ƒ์„ฑ, ๋ฉ”์‹œ์ง€ ์กฐํšŒ, ์†Œ๋น„์ž ๊ทธ๋ฃน ๋ชจ๋‹ˆํ„ฐ๋ง ๋“ฑ์„ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.โ— Redpanda Console์€ Kafka์™€ ์™„์ „ํžˆ ํ˜ธํ™˜๋˜๋ฏ€๋กœ Kafka ํด๋Ÿฌ์Šคํ„ฐ์™€..

๋งฅ๋ถ ์ฐฝ ๊ด€๋ฆฌ ์•ฑ ์ถ”์ฒœ - Rectangle

Mac์„ ์‚ฌ์šฉํ•˜๋‹ค ๋ณด๋ฉด ์—ฌ๋Ÿฌ ๊ฐœ์˜ ์ฐฝ์„ ํšจ๊ณผ์ ์œผ๋กœ ์ •๋ฆฌํ•˜๊ณ  ์‹ถ์„ ๋•Œ๊ฐ€ ๋งŽ์Šต๋‹ˆ๋‹ค. ๊ธฐ๋ณธ์ ์œผ๋กœ macOS๋Š” ์ฐฝ ์ •๋ ฌ ๊ธฐ๋Šฅ์ด ์ œํ•œ์ ์ด๋ผ, ์ƒ์‚ฐ์„ฑ์„ ๋†’์ด๋ ค๋ฉด ์„œ๋“œํŒŒํ‹ฐ ๋„๊ตฌ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.Rectangle์€ ์ด๋Ÿฐ ๊ณ ๋ฏผ์„ ํ•ด๊ฒฐํ•ด ์ฃผ๋Š” ๋ฌด๋ฃŒ ์˜คํ”ˆ์†Œ์Šค ์ฐฝ ๊ด€๋ฆฌ ์•ฑ์ž…๋‹ˆ๋‹ค. ๊ธฐ์กด ์ธ๊ธฐ ์•ฑ์ธ Spectacle์„ ๊ธฐ๋ฐ˜์œผ๋กœ ๊ฐœ๋ฐœ๋˜์—ˆ์œผ๋ฉฐ, ๊ฐ„๋‹จํ•œ ํ‚ค๋ณด๋“œ ๋‹จ์ถ•ํ‚ค์™€ ๋งˆ์šฐ์Šค ๋“œ๋ž˜๊ทธ ๊ธฐ๋Šฅ์„ ํ™œ์šฉํ•ด ์ฐฝ์„ ์›ํ•˜๋Š” ์œ„์น˜๋กœ ๋ฐฐ์น˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.Rectangle์˜ ์ฃผ์š” ๊ธฐ๋Šฅ1. ๋‹จ์ถ•ํ‚ค ๊ธฐ๋ฐ˜ ์ฐฝ ์ •๋ ฌRectangle์€ ๋‹ค์–‘ํ•œ ๋‹จ์ถ•ํ‚ค๋ฅผ ์ œ๊ณตํ•˜์—ฌ ์ฐฝ์„ ์‹ ์†ํ•˜๊ฒŒ ์ •๋ ฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.โŒƒ โŒฅ ← : ์ฐฝ์„ ์™ผ์ชฝ ์ ˆ๋ฐ˜์œผ๋กœ ์ด๋™โŒƒ โŒฅ → : ์ฐฝ์„ ์˜ค๋ฅธ์ชฝ ์ ˆ๋ฐ˜์œผ๋กœ ์ด๋™โŒƒ โŒฅ โŒ˜ F : ์ฐฝ ์ตœ๋Œ€ํ™”โŒƒ โŒฅ U : ์ฐฝ์„ ์™ผ์ชฝ ์ƒ๋‹จ์œผ๋กœ ์ด๋™โŒƒ โŒฅ O : ์ฐฝ์„ ์˜ค๋ฅธ์ชฝ ์ƒ๋‹จ์œผ..

๋ฐ์ดํ„ฐ ๋ถ„์„ ํ™˜๊ฒฝ ๊ตฌ์ถ• - 03. Kafka ์„ค์น˜ ๋ฐ ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ์ŠคํŠธ๋ฆฌ๋ฐ ๊ตฌ์„ฑ

Kafka๋ฅผ ๊ตฌ์„ฑํ•˜์—ฌ ์‹ค์‹œ๊ฐ„ ์ŠคํŠธ๋ฆฌ๋ฐ ๋ฐ์ดํ„ฐ๋ฅผ Clickhouse๋กœ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ถ„์„ ํ™˜๊ฒฝ์„ ๊ตฌ์ถ•ํ•ฉ๋‹ˆ๋‹ค. ๐Ÿ’ก ์ด ๊ธ€์—์„œ ๋‹ค๋ฃฐ ๋‚ด์šฉ:Kubernetes ํ™˜๊ฒฝ์—์„œ Kafka ์„ค์น˜ ๋ฐ ์„ค์ •Helm ์ฐจํŠธ๋ฅผ ํ™œ์šฉํ•œ Kafka ๋ฐฐํฌKafka ํ† ํ”ฝ ์ƒ์„ฑ ๋ฐ ๋ฐ์ดํ„ฐ ์ŠคํŠธ๋ฆฌ๋ฐ ํ…Œ์ŠคํŠธ1. Kafka๋ž€?Kafka๋Š” ๋Œ€์šฉ๋Ÿ‰ ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ์ŠคํŠธ๋ฆฌ๋ฐ์„ ์œ„ํ•œ ๋ถ„์‚ฐ ๋ฉ”์‹œ์ง• ํ”Œ๋žซํผ์ž…๋‹ˆ๋‹ค.ClickHouse์™€ ํ•จ๊ป˜ ์‚ฌ์šฉํ•˜๋ฉด ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘ ๋ฐ ๋ถ„์„์ด ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.๐Ÿ“Œ Kafka ์ฃผ์š” ๊ฐœ๋…๊ฐœ๋… ์„ค๋ช…Producer๋ฐ์ดํ„ฐ๋ฅผ Kafka์— ๋ณด๋‚ด๋Š” ์—ญํ• ConsumerKafka์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ์ฝ๋Š” ์—ญํ• Topic๋ฐ์ดํ„ฐ๊ฐ€ ์ €์žฅ๋˜๋Š” ๋…ผ๋ฆฌ์  ๊ณต๊ฐ„BrokerKafka ์„œ๋ฒ„ (๋ฐ์ดํ„ฐ๋ฅผ ์ €์žฅํ•˜๊ณ  ๊ด€๋ฆฌ)*ZookeeperKafka์˜ ํด๋Ÿฌ์Šคํ„ฐ ์ƒํƒœ ๊ด€๋ฆฌKafka 4..

๋ฐ์ดํ„ฐ ๋ถ„์„ ํ™˜๊ฒฝ ๊ตฌ์ถ• - 02. ์ฟ ๋ฒ„๋„คํ‹ฐ์Šค์— Clickhouse ์„ค์น˜ ๋ฐ ํด๋Ÿฌ์Šคํ„ฐ ๊ตฌ์„ฑ

์ด๋ฒˆ ๊ธ€์—์„œ๋Š” Kubernetes ํ™˜๊ฒฝ์—์„œ ClickHouse๋ฅผ ๋ฐฐํฌ ๋ฐ ์‹คํ–‰ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค.Docker Desktop์˜ ๋‚ด์žฅ Kubernetes๋ฅผ ํ™œ์šฉํ•˜๊ณ , Helm ๋ฐ Bitnami Helm ์ฐจํŠธ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๊ฐ„ํŽธํ•˜๊ฒŒ ClickHouse๋ฅผ ๋ฐฐํฌํ•ฉ๋‹ˆ๋‹ค.1. ์‚ฌ์ „ ์ค€๋น„1) kubectl ์„ค์น˜ (Kubernetes CLI)kubectl์€ Kubernetes ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ๊ด€๋ฆฌํ•˜๋Š” ๋ช…๋ น์ค„ ๋„๊ตฌ์ž…๋‹ˆ๋‹ค.๐Ÿ”น macOSbrew install kubectl๐Ÿ”น Windows (PowerShell)choco install kubernetes-cliโœ… ์„ค์น˜ ํ™•์ธ:kubectl version --client2) Docker Desktop์—์„œ Kubernetes ํ™œ์„ฑํ™”Docker Desktop์—๋Š” Kubernetes๊ฐ€ ..