bulk 2

[Error] Error bulk 429 Too many requests

Elasticsearch의 성능을 위해 데이터를 한 건 한 건 처리하는 것이 아닌 bulk를 이용하여 한 번에 처리하는 경우가 많습니다. bulk를 사용하여 많은 양의 데이터를 Elasticsearch에 저장할 경우 분명 HTTP 요청은 정상적으로 끝이 났는데 데이터가 저장이 안 되는 경우가 발생할 수 있습니다. 여기서 중요한 것은 Elasticsearch로 보낸 HTTP의 Response는 200이라는 정상적인 값을 리턴을 하기 때문에 문제를 찾기가 어려운데요. 이럴 때는 Response의 state code를 보는 것이 아라 Response의 body의 내용을 볼 필요가 있습니다. 문제 해결방법 해당 문제를 해결하는 방법은 2가지 방법이 있습니다. 한번에 요청하는 bulk의 사이즈를 줄인다 : 만약 ..

Elasticsearch 2023.06.30

Elasticsearch bulk 배치 처리

bulk란 Elasticsearch를 사용하면서 여러개의 데이터를 넣을때 매번 하나씩 데이터를 넣는 일은 네트워크의 잦은 IO의 발생으로 성능을 저하 시킬 수 있는 요인입니다. 이러한 문제를 해결하는 것이 bulk입니다. bulk는 여러개의 처리를 모아 두었다가 한번에 처리하는 batch 처리 기능입니다. bulk를 통해 데이터 넣기 bulk를 사용하여 여러개의 데이터를 한번의 요청으로 넣을 수 있습니다. api POST http://localhost:9200/my-log-index-2021-08-25/_bulk header Content-type: Application/json body {"index": {"_index": "my-log-index-2021-08-25", "_id": 1}} {"user..

Elasticsearch 2021.08.30