Industrial KnowledgeThu thập dữ liệu cho phân tích: biểu mẫu, ERP/MES, API, web scraping và các lưu ý pháp lý
Nội dung bài viết 8 mục
Tóm tắt nhanh
- Chất lượng phân tích phụ thuộc chất lượng thu thập: dữ liệu sai từ đầu thì không công cụ nào cứu được.
- Ưu tiên theo thứ tự: kết nối trực tiếp hệ thống (ERP/MES/CSDL) → API → file xuất định kỳ → nhập tay có kiểm soát → web scraping.
- Web scraping chỉ dùng cho dữ liệu công khai, tuân thủ điều khoản website và không thu thập dữ liệu cá nhân trái phép.
- Mỗi nguồn cần ghi rõ: chủ sở hữu, tần suất, định nghĩa trường, cách kiểm tra.
Các nguồn dữ liệu trong doanh nghiệp sản xuất
| Nguồn | Ví dụ | Cách lấy |
|---|---|---|
| Biểu mẫu giấy | Phiếu kiểm tra, sổ giao ca | Số hoá bằng Excel/Google Form, máy tính bảng tại chuyền |
| Phần mềm nghiệp vụ | ERP, MES, WMS, phần mềm nhân sự | Kết nối CSDL, báo cáo xuất định kỳ, API |
| Máy móc, cảm biến | PLC, máy đo, cân, máy CMM | OPC UA, file log, phần mềm SCADA |
| Bên ngoài | Giá nguyên liệu, tỉ giá, thời tiết, đối thủ | API công khai, web scraping hợp lệ, mua dữ liệu |
1. Nhập liệu có kiểm soát
Phần lớn dữ liệu chất lượng ở nhà máy vừa và nhỏ vẫn bắt đầu bằng nhập tay. Thiết kế tốt giảm lỗi đáng kể:
- Dùng danh sách chọn (dây chuyền, mã lỗi, ca) thay vì gõ tự do.
- Ràng buộc kiểu dữ liệu, khoảng giá trị (số lượng ≥ 0, ngày không ở tương lai).
- Nhập tại nơi phát sinh (Google Form trên điện thoại, máy tính bảng), không chép lại từ giấy cuối ca.
- Mỗi dòng có người nhập và thời điểm.
Nguyên tắc tương tự Check sheet trong 7 QC Tools; biểu mẫu tại Biểu mẫu được thiết kế sẵn theo hướng này.
2. ERP, MES và cơ sở dữ liệu
- Kết nối trực tiếp qua tài khoản chỉ đọc: Power Query/Power BI kết nối SQL Server, MySQL, PostgreSQL, Oracle.
- Báo cáo xuất định kỳ: nếu không được kết nối trực tiếp, xuất file cố định cấu trúc vào thư mục chung, Power Query gộp tự động.
- Làm việc với bộ phận IT về quyền truy cập, thời điểm truy vấn (tránh giờ cao điểm). Xem SQL nâng cao.
3. API
API (Application Programming Interface) là “cửa” chính thức để phần mềm trao đổi dữ liệu, thường trả về JSON. Nhiều phần mềm đám mây (bán hàng, kế toán, CRM, sàn thương mại điện tử) cung cấp API.
import requests, pandas as pd
r = requests.get(
"https://api.example.com/v1/orders",
headers={"Authorization": "Bearer <TOKEN>"},
params={"from": "2026-10-01", "to": "2026-10-31", "page": 1},
timeout=30)
r.raise_for_status()
orders = pd.json_normalize(r.json()["data"])Lưu ý: khoá API là bí mật — không ghi thẳng vào file chia sẻ; tôn trọng giới hạn số lần gọi (rate limit); xử lý phân trang.
4. Web scraping
Web scraping là tự động đọc trang web và trích xuất dữ liệu. Chỉ nên dùng khi không có API và dữ liệu là công khai.
import requests
from bs4 import BeautifulSoup
html = requests.get("https://example.com/bang-gia", timeout=30,
headers={"User-Agent": "Mozilla/5.0"}).text
soup = BeautifulSoup(html, "html.parser")
rows = [[td.get_text(strip=True) for td in tr.find_all("td")]
for tr in soup.select("table tr")[1:]]Trang dùng JavaScript tạo nội dung cần công cụ trình duyệt tự động (Playwright, Selenium). Với bảng HTML đơn giản, pandas.read_html(url) hoặc Power Query From Web là đủ.
Lưu ý pháp lý và đạo đức
- Đọc điều khoản sử dụng và tệp
robots.txtcủa website; nhiều trang cấm thu thập tự động. - Không thu thập dữ liệu cá nhân (tên, số điện thoại, email) khi không có cơ sở pháp lý — tuân thủ quy định bảo vệ dữ liệu cá nhân hiện hành tại Việt Nam.
- Giới hạn tần suất truy cập, không gây quá tải máy chủ người khác.
- Không vượt qua cơ chế đăng nhập, chống bot của website.
- Dữ liệu có bản quyền (bài viết, hình ảnh) không được tái sử dụng tự do.
5. Máy móc và cảm biến
Với dữ liệu từ PLC, máy đo: ưu tiên chuẩn OPC UA hoặc phần mềm SCADA/MES có sẵn. Ghi kèm mã máy, thời điểm, đơn vị; đồng bộ giờ giữa các máy. Thiết bị đo phải được hiệu chuẩn và đánh giá hệ thống đo lường MSA — dữ liệu tự động nhưng sai thì vẫn sai.
Từ điển dữ liệu
Mỗi nguồn nên có bảng mô tả: tên trường, ý nghĩa, kiểu, đơn vị, giá trị hợp lệ, nguồn, người chịu trách nhiệm. Xem Quy trình dự án phân tích dữ liệu.
Cần người làm giúp?
Industrial Knowledge thiết kế biểu mẫu nhập liệu, kết nối ERP/MES/API vào dashboard tự cập nhật. Xem dịch vụ.
