땅땅 Dev 💻

MBTI 검색엔진 데이터를 API 형태로 전달합니다. API 목록 전체 문서에서 각 MBTI 타입별 상위 100개 키워드 출력 - 문서 수 기준 MBTI 유형 중 E 또는 I 유형에 따라 상위 100개 키워드 출력 MBTI 유형 중 E 또는 I 유형에 따라 검색어를 입력하여 검색된 상위 100개 키워드 출력 구현한 API는 다음과 같습니다. 전체 문서에서 각 MBTI 타입별 상위 100개 키워드를 출력 @app.get('/top/keywords/{mbti_type}') def get_top_keywords(mbti_type: str, q:Optional[str]=None): es_query = { "size": 0, "query": {"match": {"keyword": mbti_type}}, "aggs..

Re-Index 막상 이모티콘 검색을 해보니 각 원문에서 이모티콘이 얼마나 포함되어 있는지, 어떤 이모티콘이 가장 많이 있는지 검색해보자 그전에 사전 준비 작업으로 text field로 들어간 데이터에서 키워드를 추출(Es 내부에서는 Term)할 수 있도록 인덱스를 구성하고 전체 문서에서 키워드 빈도수를 기준으로 데이터를 추출하는 방법을 찾아봅니다. 인덱스 구성 PUT /mbti_term { "settings": { "analysis": { "analyzer": { "nori_mixed": { "tokenizer": "nori_t_mixed", "filter": "shingle" }, "nori_pos_noun": { "type": "custom", "tokenizer": "nori_t_mixed", "..

기존 콘텐츠에서 이모티콘만 파싱 하여 데이터를 RDB에 수집하였습니다. (ES Analyzer에 regex filter를 적용하여 분석하는 것은 다음에 진행해보겠습니다!) 스키마를 다음과 같이 구성하고 데이터를 Insert 하였습니다(RDB) T: t_emoji_dashboard Columns: emoji, mbti_type(MBTI 타입 입니다), emoji_count(각 문서별 등장 횟수입니다) SELECT emoji, mbti_type, sum(emoji_count) FROM t_emoji_dashboard WHERE emoji = '😘' GROUP BY emoji, mbti_type ORDER BY mbti_type, sum DESC 사용한 쿼리로 조회한 결과입니다. (특정 이모티콘만 조회하였습니..

현재 엘라스틱서치를 이용해 수집한 데이터(MBTI 타입별 텍스트 데이터)를 조회하는 프로젝트를 진행하고 있습니다. 여기서 MBTI 타입과 스마트폰(아이폰 또는 갤럭시)의 상관성을 분석하기 위해 ES의 쿼리를 튜닝하고 있습니다. 인덱스 구성 콘텐츠 내부에서 명사만 추출하여 분석하기 위해 nori_noun이라는 분석기를 별도로 생성하여 필드로 설정했습니다. { "mbti" : { "aliases" : { }, "mappings" : { "properties" : { "comment_cnt" : { "type" : "integer" }, "contents" : { "type" : "text", "fields" : { "full" : { "type" : "keyword" }, "nori_mixed" : { "t..

ES로 검색엔진을 구현하였다. 구현된 검색 엔진을 실제 서비스처럼 사용하기 위해 REST API를 구현해보자. REST API의 로직은 단순하게 본다면 2단계이다. 1. 사용자가 검색 키워드를 입력한다. 2. 검색 키워드에 해당하는 문서를 찾는다. 사용자 입력 구현 사용자 입력 구현에서 고려할 점은 단순하게 하나의 키워드만 입력받아서 문서를 상세하게 검색할 수는 없다는 것이다. 유사어, 제외어, 여러 키워드, And 조건, Or 조건 등 다양한 조건으로 검색이 가능하면 사용자에게 더 좋은 검색 시스템이 될 수 있다. 그래서 검색 키워드에서 사용할 수 있도록 특수 커맨드를 정리해보았다. 단일 검색: search= 예) 맨투맨 유사어 검색: search= 예) 맨투맨 +아디다스 => 맨투맨이 포함된 문서에서..

이전 글에서 Elastic Search의 쿼리들을 공부하면서 조금 더 자세하게 데이터 조회를 해보고 싶었다. 그래서 저장된 텍스트들에 한글 형태소 분석기를 적용하여 검색을 좀 더 자세히 할 수 있는 방법을 찾아보았다. Elastic Search 한글 형태소 분석기 Elastic Search 7.0 이후 버전부터는 Nori(노리)라는 한글 형태소 분석기를 사용할 수 있다. (공식적으로는 6.6 버전 이후부터 제공) Nori의 설치는 아래 링크를 참조하여 진행한다. https://www.elastic.co/guide/en/elasticsearch/plugins/current/analysis-nori.html 현 상황 기존에는 아래와 같이 인덱스 & 분석기를 구성하였다. { "settings": { "inde..