Searching chắc hẳn là một trong những chức năng rất quan trọng hiện nay, đặc biệt là Big Data ngày càng trở nên phổ biến. Do đó, để đáp ứng ngày càng tăng thì đã xuất hiện rất nhiều phương thức search khác nhau, và nổi lên cả là Elastic Search và Kibana.
I. Mở đầu
Mình đã dành rất nhiều thời gian để nghiên cứu về nó, kèm theo đó rất nhiều điều rất hay về nền tảng này, trong bài viết này sẽ chia sẻ một cách đơn giản và mở đầu cho 1 chuỗi các bài về về Elastic Search từ cơ bản đến nâng cao.
II. Elastic Search là gì?
Trong những bài viết tới mình sẽ phân tích sâu hơn về cách thức làm việc và những điều mạnh mẽ mà Elasticsearch có thể làm được, và cực kì hữu dụng khi làm với dữ liệu lớn. Bài viết này gần giống với 1 bài 101 Introduction Elasticsearch for dummy, dành cho những người chưa bao giờ làm việc với nó và chưa mường tượng được luồng xử lý của ElasticSearch
III. Định nghĩ và một số thuật ngữ
Một số thông tin, về kĩ thuật, khá là hữu dụng và sử dụng thường xuyên về ElasticSearch mà mình đang sử dụng.
Về analysis, Elasticsearch sẽ cung cấp cho người dùng log đầy đủ để có thể giúp chúng ta có thể tìm và phân tích ra được trend dựa theo partern trong data Ví dụ:
- Show data với value cụ thể. Ví dụ: show tất cả users 23 tuổi trong database
2. Search data theo vị trí địa lý
3.Tổng hợp thông tin theo ngày
IV. Clients
Khá nhiều clients lớn đang sử dụng ElasticSearch và các nhà cung cấp các dịch vụ cloud cũng đã tích hợp rất nhiều dịch vụ hỗ trợ ElasticSearch. Một số dịch vụ lớn đang sử dụng như Mozilla, GitHub, Stack Exchange, Netflix
V. Cách cài đặt
Về cơ bản cách cài đặt khá đơn giản, bạn có thể follow theo guide của trang chủ. Nhưng như mình dã đề cập ở trên thì server của ElasticSearch sử dụng Java do đó cần phải cài Java trước khi install > version 8 Interface
VI. Interface
ElasticSearch đơn thuần chỉ là một sever (backend) do đó chúng ta cần interface để có thể visualize thông tin. Và ElasticSearch đã cung cấp Kibana để hỗ trợ việc đó. Cách cài đặt bạn cũng có thể xem trên trang chủ, và khá đơn giản Ttương tác với Elastics thì có một số ngôn ngữ được hỗ trợ như sau
- Java
- C#
- Python
- JavaScript
- PHP
- Perl
- Ruby
Ok, để tiếp tục, giả sử đến bây giờ bạn đã hoàn thành setup Kibana vầ ElasticSearch. Bây giờ, để bắt đâu, chúng ta cần biết về concept cơ bản của ElasticSearch
1. Cluster
Cluster là một tập hợp gồm một hoặc nhiều nodes, đồng thời, chúng sẽ lưu trữ thông tin. Nó cung cấp khả năng lập chỉ mục (index) và tìm kiếm theo node và được xác định bằng một cái unique name. (default đường dẫn là ‘/ elasticsearch’/)
2. Node
Một node là một single server cái bao gồm cluster, stores data, và tham gia vào khả năng tìm kiếm và cluster’s indexing
3. Index
Nếu để nói chính xác index trong ElasticSearch cụ thể là gì thì khá là dài dòng và khó hiểu, mình sẽ đề cập trong bài viết tới, nhưng để có thể hiểu đơn giản nhất thì index của ElastisSearch gần giống với index của Database, cái mà sẽ giúp chúng ta tăng tốc độ query, search, update delete v.v…
4. Documents
Đó là một đơn vị thông tin cơ bản (theo mình đọc trong documents là basic unit of information), có thể được index. Nó được biểu thị bằng JSON
5. Các thành phần khác
Ngoài ra, trong ElasticSearch còn có 2 thành phần rất quan trọng khác là Shards và Replicas. Nó có phần hơi trìu tượng và dễ gây rối, nên mình sẽ nhắc lại trong bài viết tiếp.
VII. Excuting
Ok, bây giờ chúng ta sẽ bắt đầu bắt tay vào khởi tạo và chạy thử Elasticsearch. Sau khi được cài đặt và excute chúng thông qua terminal $ ./elasticsearch
Nếu bạn sử dụng Homebrew thì chỉ cần gõ elasticsearch ở trên terminal thì hệ thống sẽ chạy ngay lập tức
Sau khi chạy xong ElasticSearch thì tần chạy cả Interface Kibana, tương tự như vậy thì mình sẽ chỉ cần chạy kibana nếu đang sử dụng HomeBrew
Nếu mọi thứ đúng hết thì ta có thể vào đc trang http://localhost:9200
Để vào được Kibana ta vào đường dẫn sau http://localhost:5601
VII. Commands
Ở trong Kibân, chúng ta có thể chọn Dev Tools, ở trên menu. Chúng ta có thể gọi các request và lấy ra thông tin tương ứng mà mình mong muốn.
1. Put
PUT command cho phép chúng ta thêm và document data mới vào ElasticSearch.
| 1 2 3 4 5 6 7 8 9 | PUT /my_playlist/song/6 { "title" : "1000 years", "artist" : "Christina Perri", "album" : "Breaking Dawn", "year" : 2011 } |
Chúng ta bấm vào nút Play để excute lệnh
Nghĩa là bạn đã tạo một document data vào trong Elasticsearch. Trong ví dụ này chúng ta có /my_playlist/song/6:
- my_playlist: là tên của index mà bạn sẽ insert data
- song: tên của documents được tạo
- 6: id cuiar element instance. Trong case này là song id
Nếu index my_playlist không tồn tạo, chúng sẽ tự tạo và tương tự như vậy với song và 6
Để UPDATE value, chúng ta sử dụng PUT command với cùng document. Ví dụ nếu bạn muốn thêm parameter location thì chung ta làm như sau
| 1 2 3 4 5 6 7 8 9 10 | PUT /my_playlist/song/6 { "title" : "1000 years", "artist" : "Christina Perri", "album" : "Breaking Dawn", "year" : 2011, "location" : "London" } |
2. GET
Cho phép người dùng có thể lấy thông tin về data GET /my_playlist/song/6
3. Delete
Cho phép người dùng delete docuemtn DELETE /my_playlist/song/6
4. Search Data
Với Simple Seasrch data thì có 2 example cơ bản là sử dụng URI Search và sử dụng Query DSL. Với URI search thì chúng ta sẽ thêm thẳng params vào trong query GET, ví dụ
Return all accounts from state UT. GET /bank/_search?q=state:UT
Return all accounts from UT or CA. GET /bank/_search?q=state:UT OR CA
Return all accounts from state TN and from female clients. GET /bank/_search?q=state:TN AND gender:F
Return all accounts from people older than 20 years. GET /bank/_search?q=age:>20
Return all accounts from people between 20 and 25 years old. GET /bank/_search?q=age>=20 AND <=25)
Ngoài ra, chúng ta có thể sử dụng search nâng cao hơn và query được nhiều điều kiện phức tạp hơn, và tốc độ tốt hơn so với URI đó là DSL. Để có thể giới thiệu hết được về sức mạnh của DSL thì mình xin phép giới thiệu trong một bài viết sắp tới, chuyên sâu hơn kèm theo ví dụ thực tế.
VII. Tổng kết
Qua đây chúng ta có thể nắm được một phần về ElasticSearch, và những điều cơ bản về nhất về nó. Trong bài viết tiếp theo mình xin phép giới thiệu thêm DSL Query, Performance, và cách thức xử lý bên trong server Elastic.