'MySQL' 태그의 글 목록

이번주부터는 백엔드팀에서 대용량처리를 해보기위한 주제로 도서를 선정했다. 주제를 도서로 정한 이유는 데이터 수집이 용이하기 때문이였다. (물론 주제가 재미는 없어보이겠지만 대용량처리가 중요한거니까 라는 이유로) 주제를 선정을 하고 처음부터 도서관 정보나루에서 csv로 파일을 db에 넣는식으로 작업을 진행하다가 자바에서 POI 라이브러리를 이용해 null처리나 데이터 정제를 excel에서 진행해 데이터를 가져왔다. 그렇게 가져온 데이터의 개수는 약 1630만개가 모였다. 아무런 작업없이 검색시 약 28초가 걸린다. select * from books where title like "%소세지%"; fulltext 인덱스 ngram 파싱시 아래와같이 생성하였고. alter table books add FULL..

개발/WIL 2022. 11. 13. 21:52

이전 1 다음