땅땅 Dev 💻

MBTI 검색엔진 데이터를 API 형태로 전달합니다. API 목록 전체 문서에서 각 MBTI 타입별 상위 100개 키워드 출력 - 문서 수 기준 MBTI 유형 중 E 또는 I 유형에 따라 상위 100개 키워드 출력 MBTI 유형 중 E 또는 I 유형에 따라 검색어를 입력하여 검색된 상위 100개 키워드 출력 구현한 API는 다음과 같습니다. 전체 문서에서 각 MBTI 타입별 상위 100개 키워드를 출력 @app.get('/top/keywords/{mbti_type}') def get_top_keywords(mbti_type: str, q:Optional[str]=None): es_query = { "size": 0, "query": {"match": {"keyword": mbti_type}}, "aggs..

Re-Index 막상 이모티콘 검색을 해보니 각 원문에서 이모티콘이 얼마나 포함되어 있는지, 어떤 이모티콘이 가장 많이 있는지 검색해보자 그전에 사전 준비 작업으로 text field로 들어간 데이터에서 키워드를 추출(Es 내부에서는 Term)할 수 있도록 인덱스를 구성하고 전체 문서에서 키워드 빈도수를 기준으로 데이터를 추출하는 방법을 찾아봅니다. 인덱스 구성 PUT /mbti_term { "settings": { "analysis": { "analyzer": { "nori_mixed": { "tokenizer": "nori_t_mixed", "filter": "shingle" }, "nori_pos_noun": { "type": "custom", "tokenizer": "nori_t_mixed", "..

기존 콘텐츠에서 이모티콘만 파싱 하여 데이터를 RDB에 수집하였습니다. (ES Analyzer에 regex filter를 적용하여 분석하는 것은 다음에 진행해보겠습니다!) 스키마를 다음과 같이 구성하고 데이터를 Insert 하였습니다(RDB) T: t_emoji_dashboard Columns: emoji, mbti_type(MBTI 타입 입니다), emoji_count(각 문서별 등장 횟수입니다) SELECT emoji, mbti_type, sum(emoji_count) FROM t_emoji_dashboard WHERE emoji = '😘' GROUP BY emoji, mbti_type ORDER BY mbti_type, sum DESC 사용한 쿼리로 조회한 결과입니다. (특정 이모티콘만 조회하였습니..

MBTI 별 특성을 파악하는 프로젝트를 진행 중입니다. 수집된 텍스트들을 보니 이모지가 많이 사용되고 있는 걸 찾을 수 있었습니다. ###Q: Emoji가 ElasticSearch 에서 검색이 되나요? ###A: 네 Emoji도 텍스트로 취급되기 때문에 검색이 잘 됩니다! 하지만 모든 이모지를 검색하여 문서 수가 얼마나 있는지 파악하기는 쉽지 않습니다. 그래서 이미 수집된 데이터에서 이모지만 파싱 해봅시다. 저는 Python의 Regex를 이용해서 이모지를 추출했습니다. import pandas as pd import re # ... DB에서 데이터를 가져오는 부분은 생략 # df는 칼럼으로 contents(수집된 텍스트), doc_url(텍스트의 url)을 가지고 있음 emoji_pattern = re..

이전 글에서 Elastic Search의 쿼리들을 공부하면서 조금 더 자세하게 데이터 조회를 해보고 싶었다. 그래서 저장된 텍스트들에 한글 형태소 분석기를 적용하여 검색을 좀 더 자세히 할 수 있는 방법을 찾아보았다. Elastic Search 한글 형태소 분석기 Elastic Search 7.0 이후 버전부터는 Nori(노리)라는 한글 형태소 분석기를 사용할 수 있다. (공식적으로는 6.6 버전 이후부터 제공) Nori의 설치는 아래 링크를 참조하여 진행한다. https://www.elastic.co/guide/en/elasticsearch/plugins/current/analysis-nori.html 현 상황 기존에는 아래와 같이 인덱스 & 분석기를 구성하였다. { "settings": { "inde..