Elasticsearch bulk 배치 처리

 

bulk란

Elasticsearch를 사용하면서 여러개의 데이터를 넣을때 매번 하나씩 데이터를 넣는 일은 네트워크의 잦은 IO의 발생으로 성능을 저하 시킬 수 있는 요인입니다. 이러한 문제를 해결하는 것이 bulk입니다. bulk는 여러개의 처리를 모아 두었다가 한번에 처리하는 batch 처리 기능입니다.

 

bulk를 통해 데이터 넣기

bulk를 사용하여 여러개의 데이터를 한번의 요청으로 넣을 수 있습니다.

api	POST http://localhost:9200/my-log-index-2021-08-25/_bulk
header	Content-type: Application/json
body	{"index": {"_index": "my-log-index-2021-08-25", "_id": 1}} {"user_id":1, "level":"info", "timestamp": 1629893888, "action": "open_file", "message": "user1 file open"} {"index": {"_index": "my-log-index-2021-08-25", "_id": 2}} {"user_id":2, "level":"info", "timestamp": 1629893890, "action": "open_file", "message": "user2 file open"} {"index": {"_index": "my-log-index-2021-08-25", "_id": 3}} {"user_id":3, "level":"info", "timestamp": 1629893891, "action": "open_socket", "message": "user3 socket open"} {"index": {"_index": "my-log-index-2021-08-25", "_id": 4}} {"user_id":4, "level":"info", "timestamp": 1629893892, "action": "open_socket", "message": "user4 socket open"} {"index": {"_index": "my-log-index-2021-08-25", "_id": 5}} {"user_id":5, "level":"info", "timestamp": 1629893893, "action": "open_file", "message": "user5 file open"} {"index": {"_index": "my-log-index-2021-08-25", "_id": 6}} {"user_id":6, "level":"info", "timestamp": 1629893893, "action": "close_file", "message": "user6 close open"} {"index": {"_index": "my-log-index-2021-08-25", "_id": 7}} {"user_id":7, "level":"info", "timestamp": 1629893895, "action": "close_socket", "message": "user7 close socket"}

중요 ) 여기서 만약에 Postman, 크롬에 ARS와 같이 http요청을 보내는 RestClient 프로그램을 사용하신다면 body 마지막에 개행(\n) 즉 enter키를 한번 더 입력해야 됩니다.

 

데이터가 잘 들어갔는지 확인하기

api	GET http://localhost:9200/my-log-index-2021-08-25/_search

 

bulk를 이용하여 데이터 입력, 수정, 삭제 한번에 하기

데이터 입력 뿐만 아니라 데이터 수정, 삭제를 한번의 bulk를 통하여 수행할 수 있습니다.

 

bulk로 입력, 수정, 삭제

api	POST http://localhost:9200/my-log-index-2021-08-25/_bulk
header	Content-type: Application/json
body	{"index": {"_index": "my-log-index-2021-08-25", "_id": 8}} {"user_id":8, "level":"debuf", "timestamp": 1629893993, "action": "close_file", "message": "user8 close open"} {"index": {"_index": "my-log-index-2021-08-25", "_id": 9}} {"user_id":9, "level":"warn", "timestamp": 1629893995, "action": "error", "message": "failed user9 connection"} {"update": {"_index": "my-log-index-2021-08-25", "_id": 1}} {"doc": {"level": "debug"}} {"update": {"_index": "my-log-index-2021-08-25", "_id": 2}} {"doc": {"level": "debug"}} {"delete": {"_index": "my-log-index-2021-08-25", "_id": 6}}

중요 ) 여기서 만약에 Postman, 크롬에 ARS와 같이 http요청을 보내는 RestClient 프로그램을 사용하신다면 body 마지막에 개행(\n) 즉 enter키를 한번 더 입력해야 됩니다.

벌크의 내용

8번, 9번 유저의 데이터를 추가하고

1번, 2번 유저의 level필드의 값을 debug로 수정하고

6번 유저의 데이터를 삭제합니다.

 

결과 확인

크롬의 "Elasticsearch Head"라는 확장 프로그램을 사용하여 결과를 확인하겠습니다.

"Elasticsearch Head"의 설치 방법은 링크과 같습니다.

https://stdhsw.tistory.com/entry/Elasticsearch-%EC%9C%88%EB%8F%84%EC%9A%B010-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0

Elasticsearch 윈도우10에 설치하기