“Giá trị được phân tách bằng dấu phẩy (CSV) là một trong những định dạng dữ liệu linh hoạt và dễ sử dụng nhất. Đây là một định dạng dữ liệu nhẹ cho phép các nhà phát triển và ứng dụng truyền và phân tích dữ liệu từ nguồn này sang nguồn khác.
Dữ liệu CSV lưu trữ dữ liệu ở định dạng bảng trong đó mỗi cột được phân tách bằng dấu phẩy và bản ghi mới được phân bổ cho một dòng mới. Điều này làm cho nó trở thành một lựa chọn rất tốt để xuất cơ sở dữ liệu như cơ sở dữ liệu SQL, dữ liệu Cassandra và hơn thế nữa.
Do đó, không có gì ngạc nhiên khi bạn gặp phải trường hợp bạn cần nhập tệp CSV vào cơ sở dữ liệu của mình.
Mục tiêu của hướng dẫn này là chỉ cho bạn một phương pháp nhanh chóng và đơn giản để nhập tệp CSV vào cụm Elasticsearch của bạn bằng cách sử dụng bảng điều khiển Kibana. ”
Hãy bắt đầu.
Yêu cầu
Trước khi tham gia, hãy đảm bảo bạn có các yêu cầu sau:
- Một cụm Elasticsearch với trạng thái sức khỏe màu xanh lá cây.
- Máy chủ Kibana được kết nối với cụm Elasticsearch của bạn.
- Có đủ quyền để quản lý các chỉ mục trên cụm của bạn.
Tệp CSV mẫu
Như thường lệ, yêu cầu đầu tiên là tệp CSV nguồn của bạn. Bạn nên đảm bảo rằng dữ liệu trong tệp CSV của bạn được định dạng tốt và không có lỗi.
Với mục đích minh họa, chúng tôi sẽ sử dụng tập dữ liệu miễn phí chứa phim và Chương trình truyền hình từ Amazon Prime.
Mở trình duyệt của bạn và điều hướng đến tài nguyên bên dưới:
https://www.kaggle.com/datasets/shivamb/amazon-prime-movies-and-tv-shows
Làm theo quy trình để tải tập dữ liệu xuống máy cục bộ của bạn. Bạn có thể giải nén kho lưu trữ đã tải xuống bằng lệnh:
$ giải nén a ~ / Tải xuống / archive.zip
Nhập tệp CSV
Khi bạn đã chuẩn bị xong tệp nguồn, chúng ta có thể tiến hành và thảo luận về cách nhập tệp đó.
Bắt đầu bằng cách chuyển đến trang tổng quan chính Kibana của bạn và chọn tùy chọn “tải tệp lên”.
Tìm tệp CSV mục tiêu mà bạn muốn nhập trong cửa sổ trình khởi chạy.
Chọn tệp nguồn của bạn và nhấp vào tải lên.
Cho phép Elasticsearch và Kibana phân tích tệp đã tải lên. Thao tác này sẽ phân tích cú pháp tệp CSV và xác định định dạng dữ liệu, trường, kiểu dữ liệu, v.v.
LƯU Ý: Tùy thuộc vào cấu hình cụm của bạn và kích thước dữ liệu, quá trình này có thể mất một lúc. Đảm bảo rằng nút chính đang phản hồi để tránh hết thời gian.
Khi quá trình hoàn tất, bạn sẽ nhận được mẫu nội dung tệp của mình và thống kê tệp như được phân tích bởi Elastic.
Bạn có thể điều chỉnh nhiều tham số, ví dụ: dấu phân cách, hàng tiêu đề, v.v. Ví dụ: chúng tôi có thể tùy chỉnh kết quả đầu ra ở trên để cho Elastic biết rằng tệp CSV của chúng tôi có chứa tệp tiêu đề.
Sau đó, chúng tôi có thể nhấp vào áp dụng và phân tích lại dữ liệu. Điều này sẽ định dạng dữ liệu theo đúng định dạng, bao gồm các trường.
Tiếp theo, chúng ta có thể nhấp vào nhập để tiến tới trang tổng quan đã nhập.
Ở đây, chúng ta cần tạo một chỉ mục để lưu trữ dữ liệu CSV. Bạn có thể phân bổ bất kỳ tên được hỗ trợ nào cho chỉ mục của mình.
Nếu bạn muốn tùy chỉnh các thuộc tính chỉ mục của mình, chẳng hạn như số lượng phân đoạn, bản sao, ánh xạ, v.v. Hãy chọn tùy chọn nâng cao và chỉnh sửa cài đặt theo ý muốn của bạn.
Cuối cùng, nhấp vào nhập và xem Kibana thực hiện “phép thuật” của nó. Sau khi hoàn tất, bạn có thể truy cập chỉ mục của mình thông qua API Elasticsearch hoặc sử dụng trang tổng quan Kibana.
Và bạn đã hoàn thành !!
Sự kết luận
Trong bài đăng này, chúng tôi đã đề cập đến quy trình tìm nạp và nhập tập dữ liệu CSV vào cụm Elasticsearch của bạn bằng cách sử dụng trang tổng quan Kibana.
Cảm ơn vì đã đọc và viết mã vui vẻ !!