Bankruptcy prediction models

(Nguồn: https://digikogu.taltech.ee)

• Beaver (1966) is a first researcher who uses financial ratios evaluate the bankruptcy risk of firms.
• Early research (Altman, 1968; Ohlson, 1980) also use financial ratio
• Market-based information such as Merton (1974),  Hillegeist, Keating, Cram, & Lundstedt (2004)
• Discrete-time hazard model : Shumway (2001) use both accounting and market variables
• Wu, Gaunt, & Gray (2010) use three groups of variables: financial ratios, market variables, and firm characteristics
• Machine learning methods : Artificial neural network (ANN), Support vector machine (SVM), General Regression Neural Network (GRNN), Decision Trees...

Nguồn: https://www.sciencedirect.com/science/article/abs/pii/S0957417417307224

Sustainable finance

1. Tài chính bền vững là gì?

Tài chính bền vững (Sustainable finance) hàm ý nói đến việc quản lý tài nguyên tài chính một cách cân đối và thông minh để đảm bảo sự phát triển kinh tế không chỉ vì hiện tại mà còn đáp ứng được nhu cầu của thế hệ tương lai. Khái niệm này không chỉ tập trung vào khía cạnh kinh tế mà còn liên quan chặt chẽ đến các yếu tố xã hội và môi trường.

(Nguồn: https://www.tauw.de/news/blogs/the-eu-sustainable-finance-initiative-implications-for-responsible-investing.html)

Tài chính bền vững thường gồm có các đặc điểm sau:

• Tài chính cân đối: duy trì một cân bằng giữa thu và chi, tránh nợ quá mức và tối ưu hóa việc sử dụng tài nguyên tài chính.
• Đầu tư thông minh: đầu tư vào các dự án và hoạt động có lợi cho cả hiện tại và tương lai, bao gồm các nguồn lực tái tạo và công nghệ sạch.
• Quản lý rủi ro: Tài chính bền vững cũng liên quan đến việc đánh giá và quản lý rủi ro tài chính, từ việc quản lý nợ đến biến động thị trường và thách thức kinh tế toàn cầu.
• Khuyến khích sự đổi mới: khuyến khích sự đổi mới và sáng tạo trong cách quản lý tài chính, từ việc tạo ra các sản phẩm tài chính mới đến việc áp dụng công nghệ để cải thiện quy trình tài chính.
• Công bằng xã hội: xem xét các yếu tố xã hội, bao gồm việc cung cấp cơ hội kinh doanh và tài chính công bằng cho mọi người, đồng thời đảm bảo tính công bằng và bình đẳng trong quá trình phát triển.

Tóm lại, tài chính bền vững không chỉ tập trung vào lợi ích ngắn hạn mà còn đảm bảo sự phát triển kéo dài và hài hòa giữa các khía cạnh kinh tế, xã hội và môi trường.

2. Một số công cụ và sản phẩm phổ biến trong lĩnh vực tài chính bền vững:

(Nguồn: https://nbs.net/sustainable-finance-meaning-and-examples-in-business/)

Trái phiếu xanh (Green Bonds):

• Đây là trái phiếu được phát hành để huy động vốn để tài trợ cho các dự án có tác động tích cực đến môi trường. Các dự án này có thể là các dự án năng lượng tái tạo, quản lý nước, giao thông công cộng, xử lý rác thải, và các dự án bảo vệ môi trường khác.

Khoản vay bền vững (Sustainable Loans):

• Tương tự như trái phiếu xanh, khoản vay bền vững là các khoản vay được cung cấp để tài trợ cho các dự án và hoạt động có ảnh hưởng tích cực đến môi trường và xã hội. Các công ty có thể sử dụng khoản vay này để đầu tư vào các dự án xanh và bền vững.

Quỹ đầu tư xã hội (Social Investment Funds):

• Đây là các quỹ đầu tư được thiết kế để hỗ trợ các doanh nghiệp xã hội và các dự án có tác động tích cực đến cộng đồng. Quỹ này có thể tài trợ cho các dự án giáo dục, y tế, phát triển cộng đồng, và các hoạt động xã hội khác.

ETFs và Quỹ đầu tư ESG (Environmental, Social, and Governance):

• Các quỹ giao dịch được niêm yết (ETFs) và quỹ đầu tư ESG tập trung vào việc đầu tư vào các công ty và dự án tuân thủ các tiêu chí ESG. Những quỹ này có mục tiêu đầu tư vào các doanh nghiệp có chính sách và hoạt động quản trị tốt, tôn trọng môi trường và xã hội.

Bảo hiểm xã hội (Social Insurance):

• Mô hình bảo hiểm xã hội được thiết kế để cung cấp bảo hiểm cho những người có rủi ro xã hội và tài chính cao. Nó có thể bao gồm các chương trình bảo hiểm y tế, bảo hiểm thất nghiệp, và các khoản hỗ trợ cho người già, người tàn tật, và những người có hoàn cảnh khó khăn.

Sản phẩm tiết kiệm và đầu tư xanh (Green Savings and Investment Products):

• Các sản phẩm tiết kiệm và đầu tư xanh đề cập đến các sản phẩm tài chính mà người dân có thể sử dụng để đầu tư vào các dự án xanh và bền vững, bao gồm các khoản tiết kiệm xanh, quỹ hưu trí xanh và các sản phẩm đầu tư xanh khác.

Tài liệu tham khảo:

• https://finance.ec.europa.eu/sustainable-finance/overview-sustainable-finance_en
• https://www.eib.org/en/stories/what-is-sustainable-finance
• https://extension.harvard.edu/blog/what-is-sustainable-finance-and-why-is-it-important/
• https://www.weforum.org/agenda/2022/01/what-is-sustainable-finance/
• https://www.tauw.de/news/blogs/the-eu-sustainable-finance-initiative-implications-for-responsible-investing.html

Data exploration

 1.  Data exploration là gì?

Data exploration (khám phá dữ liệu) là quá trình khám phá, khai phá và hiểu sâu hơn về dữ liệu một cách tổng quát, thường thông qua việc sử dụng các công cụ và kỹ thuật trong lĩnh vực khoa học dữ liệu và phân tích dữ liệu. Mục tiêu chính của data exploration là tìm hiểu về tính chất, cấu trúc và thông tin ẩn sau dữ liệu một cách tự nhiên và không định hình trước.

(Nguồn: https://www.educba.com/data-exploration)

Các công việc trong quá trình khám phá dữ liệu có thể bao gồm: nắm rõ dữ liệu mô tả tập dữ liệu (kích thước, dạng dữ liệu), thống kê mô tả các biến, xác định mối quan hệ giữa các biến, phát hiện các pattern và xu hướng của dữ liệu, tìm ra những bất thường và ngoại lai trong dữ liệu, đồng thời nhận định các giả thuyết ban đầu về dữ liệu.

2. Phân biệt Data exploration và Data mining

Data Exploration và Data Mining là hai khái niệm quan trọng trong lĩnh vực phân tích dữ liệu, tuy có mối liên quan nhưng có những khác biệt cụ thể:

Data Exploration (Khám phá dữ liệu):

• Ý nghĩa: Data exploration là quá trình khám phá, khai phá và hiểu sâu hơn về dữ liệu một cách tổng quát, thường thông qua việc sử dụng các công cụ và kỹ thuật trong lĩnh vực khoa học dữ liệu và phân tích dữ liệu.

• Mục đích: Mục tiêu chính của data exploration là tìm hiểu về tính chất, cấu trúc và thông tin ẩn sau dữ liệu một cách tự nhiên, không áp đặt trước một mô hình hoặc hình mẫu nào. Các hoạt động trong data exploration bao gồm xem xét dữ liệu, mô tả và trực quan hóa, phân tích đa chiều, hoặc tìm kiếm hình mẫu trong dữ liệu.

Data Mining (Khai thác dữ liệu):

• Ý nghĩa: Data mining là quá trình tìm kiếm thông tin hữu ích, tìm kiếm các hình mẫu và quy luật ẩn trong dữ liệu bằng các phương pháp và thuật toán máy học.

• Mục đích: Mục tiêu chính của data mining là khai thác thông tin tiềm ẩn từ dữ liệu (thường là dữ liệu lớn) thông qua việc áp dụng các thuật toán và kỹ thuật để tìm ra tính hình mẫu, dự đoán xu hướng, phát hiện các quy luật hoặc mối quan hệ mới mà không áp đặt trước.

Khác biệt chính của Data exploration và Data mining là data exploration là quá trình khám phá và khai phá dữ liệu một cách tổng quát, trong khi data mining tập trung vào việc khai thác thông tin ẩn hoặc tri thức từ dữ liệu thông qua các thuật toán và phương pháp máy học.

3. Phân biệt Data exploration và Data mining

• Data exploration khám phá dữ liệu để hiểu rõ và diễn giải đặc điểm của tập dữ liệu trước khi tiến hành phân tích. Quá trình này giúp phát hiện các vấn đề trong cấu trúc và các điểm dữ liệu trong tập dữ liệu một cách tự nhiên .

• Data explanation là quá trình trình bày kết quả sau khi đã được phân tích và xử lý thông qua các phương pháp và công cụ phân tích dữ liệu.. Quá trình này giúp giải thích các kết quả phân tích dữ liệu một cách dễ hiểu và trực quan, đồng thời giúp người dùng hiểu rõ  ý nghĩa của nó trong ngữ cảnh cụ thể hoặc mục tiêu nghiên cứu. 

Tóm lại, data exploration là quá trình khám phá dữ liệu để hiểu rõ và diễn giải đặc điểm của tập dữ liệu trước khi tiến hành phân tích, trong khi data explanation là quá trình trình bày kết quả phân tích dữ liệu cho người dùng cuối hoặc khách hàng

4. Các công cụ hỗ trợ Data exploration

• Python với các thư viện như Pandas, Matplotlib, Seaborn ,NumPy

• R 

• Tableau

• Power BI

• RapidMiner

Và nhiều công cụ khác. Mỗi một công cụ đều có những ưu nhược điểm riêng.

Tài liệu tham khảo

• https://www.techtarget.com/searchbusinessanalytics/definition/data-exploration#:~:text=Data%20exploration%20is%20the%20first,set%20characteristics%20and%20initial%20patterns.
• https://www.alteryx.com/glossary/data-exploration
• https://www.analyticsvidhya.com/blog/2016/01/guide-data-exploration/
• https://www.sisense.com/glossary/data-exploration/
• https://www.juiceanalytics.com/writing/5-differences-between-data-exploration-and-data-presentation
• https://www.javatpoint.com/data-mining-vs-data-exploration#:~:text=Data%20Exploration%20is%20to%20collect,to%20reveal%20patterns%20or%20trends.
• https://stephanieevergreen.com/exploration-vs-explanation/

Data migration

 1. Data migration là gì?

Data migration là quá trình di chuyển dữ liệu từ một hệ thống hoặc môi trường lưu trữ sang một hệ thống hoặc môi trường lưu trữ khác. Quá trình này thường được thực hiện khi một tổ chức chuyển đổi hệ thống, nâng cấp phần mềm, hoặc chuyển đổi cơ sở hạ tầng công nghệ. Quá trình này yêu cầu kế hoạch cẩn thận, đánh giá các rủi ro, và thực hiện các biện pháp bảo mật để đảm bảo dữ liệu không bị mất mát hoặc hỏng hóc trong quá trình di chuyển.

(Nguồn:https://icedq.com/data-migration/the-data-migration-process-and-the-potential-risks )

2. Vì sao cần thực hiện data migration?

Data Migration được thực hiện có thể vì nhiều lý do:

• Thay thế hoặc nâng cấp các thiết bị lưu trữ hay máy chủ.

• Di chuyển dữ liệu giữa các nhà cung cấp đám mây bên thứ ba.

• Chuyển cơ sở hạ tầng tại chỗ sang các dịch vụ dựa trên đám mây.

• Hợp nhất các trang web.

• Thực hiện bảo trì cơ sở hạ tầng.

• Di chuyển ứng dụng hoặc cơ sở dữ liệu.

• Cài đặt nâng cấp phần mềm.

• Di chuyển dữ liệu trong quá trình sáp nhập công ty hoặc di dời trung tâm dữ liệu.

Hoặc một số tình huống khác

3. So sánh Data Migration, Data Conversion và Data Integration

Data Migration:

• Ý nghĩa: Data migration là quá trình di chuyển dữ liệu từ một nền tảng hoặc hệ thống lưu trữ sang một nền tảng hoặc hệ thống lưu trữ khác.

• Mục đích: Mục tiêu chính của data migration là di chuyển dữ liệu từ hệ thống cũ sang hệ thống mới, thường do việc nâng cấp hệ thống, chuyển đổi cơ sở hạ tầng, hoặc thay thế ứng dụng.

• Quy trình: Bao gồm việc chuẩn bị, chọn lựa công cụ phù hợp, thiết kế kế hoạch migration, thực hiện chuyển đổi dữ liệu, và kiểm tra để đảm bảo tính toàn vẹn và độ chính xác của dữ liệu sau khi đã chuyển đổi.

(Nguồn: https://forbytes.com/blog/best-data-migration-tools/)

Data Conversion:

• Ý nghĩa: Data conversion là quá trình chuyển đổi dữ liệu từ một định dạng hoặc cấu trúc sang định dạng hoặc cấu trúc khác.

• Mục đích: Mục tiêu của data conversion là thay đổi định dạng hoặc cấu trúc dữ liệu để phù hợp với hệ thống hoặc ứng dụng mới mà dữ liệu sẽ được nhập vào.

• Quy trình: Bao gồm việc xác định định dạng/kiểu dữ liệu hiện tại, lập kế hoạch chuyển đổi, thực hiện quá trình chuyển đổi dữ liệu, và kiểm tra để đảm bảo tính chính xác sau khi chuyển đổi.

Data Integration:

• Ý nghĩa: Data integration là quá trình kết hợp dữ liệu từ nhiều nguồn khác nhau thành một nguồn dữ liệu duy nhất, có thể được sử dụng và quản lý một cách liền mạch.

• Mục đích: Mục tiêu của data integration là tạo ra một tập hợp dữ liệu có tổ chức, nhất quán từ nhiều nguồn khác nhau để cung cấp thông tin toàn diện và chính xác.

• Quy trình: Bao gồm việc xác định nguồn dữ liệu, thiết kế kiến trúc để kết hợp dữ liệu, thực hiện quá trình tích hợp, xử lý dữ liệu trùng lặp hoặc không nhất quán, và cung cấp dữ liệu đã được tích hợp.

Tóm lại, data migration tập trung vào việc di chuyển dữ liệu từ hệ thống cũ sang hệ thống mới, data conversion là quá trình chuyển đổi định dạng hoặc cấu trúc dữ liệu, trong khi data integration tập trung vào việc kết hợp và quản lý dữ liệu từ nhiều nguồn khác nhau để tạo ra một nguồn dữ liệu duy nhất và nhất quán.

4. Những công cụ hỗ trợ data migration

(Nguồn: https://www.altexsoft.com/blog/data-migration-software/)

Quá trình data migration có thể được thực hiện bằng cách sử dụng các công cụ và phần mềm chuyên biệt, cùng với kế hoạch chi tiết và kiểm tra liên tục để đảm bảo sự thành công của việc chuyển đổi dữ liệu. một số công cụ và phần mềm phổ biến được sử dụng trong data migration:

• Amazon Web Services (AWS) Database Migration Service (DMS): Dịch vụ của AWS cho phép di chuyển cơ sở dữ liệu từ một nền tảng sang nền tảng khác một cách dễ dàng và liền mạch.

• Microsoft SQL Server Integration Services (SSIS): Cung cấp một số công cụ để tích hợp, chuyển đổi và di chuyển dữ liệu từ một nguồn tới nguồn khác trong môi trường SQL Server.

• Oracle Data Integrator (ODI): Cung cấp các tính năng mạnh mẽ để tích hợp và di chuyển dữ liệu trong môi trường Oracle Database.

• IBM InfoSphere Information Server: Cung cấp các công cụ để tích hợp, chuyển đổi và quản lý dữ liệu trong môi trường của IBM.

• Talend: Một nền tảng tích hợp dữ liệu và ETL (Extract, Transform, Load) mở và linh hoạt, hỗ trợ việc di chuyển dữ liệu giữa các hệ thống khác nhau.

• Informatica PowerCenter: Cung cấp công cụ để di chuyển, chuyển đổi và quản lý dữ liệu từ nhiều nguồn khác nhau.

• Google Cloud Data Transfer Service: Dịch vụ của Google Cloud cho phép di chuyển dữ liệu từ các nguồn khác nhau vào Google Cloud Platform.

• Open Source Tools: Có nhiều công cụ mã nguồn mở như Apache NiFi, Apache Kafka, và các thư viện Python như Pandas hoặc SQLAlchemy cũng có thể được sử dụng để thực hiện các tác vụ liên quan đến data migration.

• Acronis True Image: Là một phần mềm sao lưu và khôi phục dữ liệu, cung cấp tính năng di chuyển dữ liệu giữa các máy tính khác nhau 1.

• EaseUS Todo PCTrans: Là một phần mềm di chuyển dữ liệu giữa các máy tính khác nhau, bao gồm cả các ứng dụng và phần mềm 2.

• Laplink PCmover: Là một phần mềm di chuyển dữ liệu giữa các máy tính khác nhau, bao gồm cả các ứng dụng và phần mềm 3.

• AOMEI Backupper: Là một phần mềm sao lưu và khôi phục dữ liệu, cung cấp tính năng di chuyển dữ liệu giữa các máy tính khác nhau 3.

• Paragon Hard Disk Manager: Là một phần mềm quản lý đĩa cứng, cung cấp tính năng di chuyển dữ liệu giữa các máy tính khác nhau 3.

Ngoài ra, các công cụ và phần mềm khác như Zinstall, FastMove, Cloud Data Loader, Dbmate, Apache NiFi, CloverDX, và Pentaho Data Integration cũng được sử dụng để di chuyển dữ liệu giữa các hệ thống khác nhau 

Tài liệu tham khảo

• https://www.ibm.com/topics/data-migration#:~:text=Data%20migration%20is%20the%20process,consolidating%20or%20decommissioning%20data%20center.
• https://www.netapp.com/data-management/what-is-data-migration/
• https://www.techtarget.com/searchstorage/definition/data-migration
• https://viblo.asia/p/tim-hieu-ve-data-migration-va-ap-dung-trong-rails-3KbvZ11zGmWB

Data security

 1. Data security là gì?

Data security (bảo mật dữ liệu) là quá trình bảo vệ dữ liệu khỏi các mối đe dọa và rủi ro nhằm đảm bảo tính bí mật, toàn vẹn và sẵn sàng sử dụng của dữ liệu. Bảo mật dữ liệu tập trung vào việc áp dụng các biện pháp và công nghệ để ngăn chặn truy cập trái phép, sửa đổi không được phép, hoặc phá hoại dữ liệu.

(Nguồn: https://www.linkedin.com/pulse/secure-your-data-network-via-safetica-new-generation-dlp-krishna-seth/)

Data security là một phần quan trọng của an ninh thông tin, nhưng cũng có điểm khác biệt. An ninh thông tin liên quan đến việc bảo vệ tất cả các tài nguyên thông tin của một tổ chức, bao gồm cả phần cứng, phần mềm, người dùng và quy trình khởi tạo - lưu trữ - xử lý thông tin. Data security chỉ tập trung vào việc bảo vệ dữ liệu, bất kể nó được lưu trữ ở đâu hoặc truyền qua kênh nào.

2. Các nguy cơ về dữ liệu thường gặp 

• Xâm nhập từ hacker và tấn công mạng: Hacker có thể xâm nhập vào hệ thống thông qua lỗ hổng bảo mật, sử dụng phần mềm độc hại hoặc các phương pháp khác để truy cập trái phép vào dữ liệu quan trọng hoặc đánh cắp thông tin cá nhân.

• Mất mát dữ liệu: Mất mát dữ liệu có thể xảy ra do lỗi hệ thống, lỗi người dùng, hoặc tấn công từ phía bên ngoài. Mất mát dữ liệu quan trọng có thể gây ra hậu quả nghiêm trọng cho cả cá nhân và doanh nghiệp.

• Rủi ro từ người dùng nội bộ: Sự cẩu thả hoặc hành vi không an toàn từ người dùng bên trong tổ chức cũng có thể tạo ra nguy cơ bảo mật. Ví dụ như chia sẻ mật khẩu, mở các file đính kèm không an toàn, hay sử dụng thiết bị cá nhân không bảo mật.

• Phần mềm độc hại: Virus, malware, ransomware là những phần mềm độc hại có thể lây nhiễm và gây thiệt hại cho hệ thống, có thể mã hóa dữ liệu hoặc xâm nhập thông tin nhạy cảm.

• Đánh mất thiết bị hoặc mang thiết bị đi sửa chữa ở những nơi không an toàn: Khi thiết bị chứa dữ liệu như laptop, điện thoại di động bị mất cắp hoặc bị mất mát, thông tin quan trọng có thể bị tiết lộ.

3.  Vì sao cần thực hiện data security?

• Bảo vệ thông tin cá nhân : Dữ liệu cá nhân  như thông tin tài chính, thông tin cá nhân của khách hàng, thông tin y tế cần được bảo vệ để ngăn chặn việc truy cập trái phép hoặc lộ thông tin cá nhân.

• Ngăn chặn mất mát dữ liệu: Bảo mật dữ liệu giúp ngăn chặn mất mát thông tin quan trọng do sự cố hệ thống, tấn công từ hacker, lỗi người dùng, hoặc thiên tai.

• Đảm bảo tuân thủ quy định pháp luật: Nhiều quy định và luật lệ quy định về bảo vệ dữ liệu. Việc thực hiện bảo mật dữ liệu giúp tổ chức tuân thủ các quy định này, tránh phạt và hậu quả pháp lý.

• Tăng cường niềm tin của khách hàng: Bảo mật dữ liệu giúp xây dựng lòng tin và niềm tin của khách hàng, họ cảm thấy an tâm khi chia sẻ thông tin cá nhân và giao dịch với tổ chức.

• Bảo vệ thông tin doanh nghiệp: Thông tin kinh doanh quan trọng như dữ liệu nội bộ, thông tin sản phẩm, chiến lược kinh doanh cần được bảo vệ khỏi sự xâm nhập hoặc đánh cắp từ các đối thủ cạnh tranh hoặc kẻ tấn công.

• Ngăn chặn các cuộc tấn công mạng: Việc triển khai bảo mật dữ liệu giúp ngăn chặn các cuộc tấn công từ hacker, virus, malware hoặc các hình thức tấn công mạng khác nhằm vào dữ liệu quan trọng của tổ chức.

• Tránh mất mát tài sản và hậu quả kinh tế: Mất mát dữ liệu quan trọng có thể gây thiệt hại về tài chính và uy tín của tổ chức, ảnh hưởng đến khả năng cạnh tranh và tồn tại trong thị trường.

4. Các biện pháp thực hiện data security

•  Áp dụng các tiêu chuẩn và chính sách bảo mật dữ liệu cho tất cả các nhân viên và bên liên quan

• Điều chỉnh và quản lý quyền truy cập vào dữ liệu để chỉ cho những người được ủy quyền và cần thiết có thể truy cập dữ liệu đó.

•  Đào tạo và giáo dục nhân viên về các nguy cơ và thực hành bảo mật dữ liệu

• Mã hóa là quá trình chuyển đổi dữ liệu thành dạng không thể đọc được mà chỉ có người có chìa khóa hoặc mật khẩu có thể giải mã.  

• Sử dụng tường lửa, phần mềm diệt virus, cập nhật phần mềm định kỳ, sử dụng công nghệ mã hóa mạng và VPN (Mạng riêng ảo) để ngăn chặn các cuộc tấn công từ bên ngoài.

•  Kiểm tra và đánh giá định kỳ hiệu quả của các biện pháp bảo mật dữ liệu

• Xây dựng và thực hiện kế hoạch phục hồi dữ liệu trong trường hợp xảy ra sự cố

• Backup và khôi phục dữ liệu: Thực hiện sao lưu dữ liệu định kỳ và có kế hoạch khôi phục dữ liệu trong trường hợp xảy ra sự cố hoặc mất mát dữ liệu.

• Sử dụng các công cụ phát hiện và giám sát để theo dõi hoạt động của hệ thống, nhận diện các hoạt động không bình thường có thể là dấu hiệu của một cuộc tấn công.

(Nguồn: https://www.cohesity.com/company/data-security-alliance/)

Tài liệu tham khảo

• https://www.fortinet.com/resources/cyberglossary/data-security#:~:text=Data%20security%20is%20the%20process,and%20organizations'%20policies%20and%20procedures.
• https://www.ibm.com/topics/data-security
• https://www.techtarget.com/searchsecurity/Data-security-guide-Everything-you-need-to-know
• https://www.opentext.com/what-is/data-security
• https://www.imperva.com/learn/data-security/data-security/
• https://corporatefinanceinstitute.com/resources/data-science/data-security/

Data governance

 1. Data governance là gì?

Data governance là quá trình quản lý chất lượng, tính nhất quán, an toàn và tuân thủ của dữ liệu trong một tổ chức. Data governance giúp đảm bảo rằng dữ liệu được sử dụng đúng mục đích, bởi những người có thẩm quyền và theo các nguyên tắc đã định sẵn. Data governance cũng giúp tăng cường khả năng truy cập, chia sẻ và phân tích dữ liệu, từ đó tạo ra giá trị kinh doanh cho tổ chức.

(Nguồn: https://www.alteryx.com/glossary/data-governance)

2. Những yêu cầu khi thực hiện Data governance

Để thực hiện data governance một cách hiệu quả, bạn cần tuân thủ những yêu cầu sau:

• Xác định các vai trò và trách nhiệm liên quan đến dữ liệu, như chủ sở hữu dữ liệu, người quản lý dữ liệu, người sử dụng dữ liệu và các bên liên quan khác.

• Thiết lập các tiêu chuẩn và chính sách về dữ liệu, như định dạng, đặt tên, phân loại, bảo mật và tuân thủ pháp luật.

• Thực hiện các quy trình và công cụ để kiểm soát chất lượng dữ liệu, theo dõi nguồn gốc dữ liệu, giải quyết các vấn đề và xử lý các yêu cầu thay đổi.

• Đánh giá và cải thiện liên tục hiệu suất và giá trị của data governance, bằng cách thu thập và phân tích các chỉ số và phản hồi.

• Tạo ra một văn hóa ủng hộ data governance trong tổ chức, bằng cách tăng cường nhận thức, đào tạo và khuyến khích sự hợp tác giữa các bộ phận.

(Nguồn: https://www.alation.com/blog/steps-for-building-data-governance-strategy/)

3. Phân biệt Data governance với data management

Data Governance:

• Data governance (quản trị dữ liệu) là việc xác định các quy tắc, tiêu chuẩn, quy trình và phương pháp để đảm bảo rằng dữ liệu được quản lý và sử dụng một cách hiệu quả, an toàn và tuân thủ các quy định pháp luật. 

• Data governance tập trung vào việc xây dựng cấu trúc quản lý dữ liệu, xác định vai trò, trách nhiệm và quyền lực của các cá nhân hoặc phòng ban trong tổ chức đối với việc quản lý và sử dụng dữ liệu.

• Data governance cũng bao gồm việc thiết lập chính sách, quy trình, và các nguyên tắc để đảm bảo tính nhất quán, độ chính xác và an toàn của dữ liệu.

Data Management:

• Data management (quản lý dữ liệu) tập trung vào các hoạt động cụ thể liên quan đến việc thu thập, lưu trữ, xử lý, phân tích và quản lý dữ liệu.

• Data management  bao gồm các công việc hàng ngày để quản lý và duy trì dữ liệu, nhưng không chỉ giới hạn ở việc quản lý dữ liệu trong một môi trường cụ thể. 

• Data management cũng liên quan đến việc sử dụng các công cụ, kỹ thuật và quy trình để đảm bảo dữ liệu được tổ chức, sạch sẽ, có chất lượng và có thể tiếp cận một cách hiệu quả.

Tóm lại, data governance là quá trình thiết lập và duy trì các nguyên tắc, chính sách và tiêu chuẩn để đảm bảo dữ liệu của tổ chức được sử dụng một cách hiệu quả và an toàn. Data management là quá trình thực hiện các hoạt động liên quan đến việc thu thập, lưu trữ, xử lý, phân tích và phân phối dữ liệu. Data governance tập trung vào việc tạo ra một khung hoạt động cho dữ liệu, trong khi data management tập trung vào việc thực hiện các hoạt động đó theo khung đã định.

4. Các công cụ hỗ trợ data governance

Metadata Management Tools: 

• Các công cụ quản lý metadata giúp tổ chức mô tả, định nghĩa và quản lý thông tin về dữ liệu. Các ví dụ bao gồm Collibra, Informatica Metadata Manager, Apache Atlas.

Data Quality Tools: 

• Công cụ kiểm tra chất lượng dữ liệu giúp xác định và sửa chữa các vấn đề liên quan đến chất lượng dữ liệu. Các ví dụ bao gồm Informatica Data Quality, Talend Data Quality, Trifacta.

Master Data Management (MDM) Tools: 

• Công cụ quản lý dữ liệu chính giúp duy trì và đồng nhất dữ liệu cơ bản trong toàn bộ tổ chức. Các ví dụ bao gồm Informatica MDM, Profisee, IBM InfoSphere Master Data Management.

Data Catalogs: 

• Các công cụ danh mục dữ liệu giúp tổ chức tổ chức và tìm kiếm dữ liệu trong toàn bộ hệ thống. Các ví dụ bao gồm Collibra Catalog, Alation, AWS Glue Data Catalog.

Data Governance Platforms: 

• Các nền tảng hoàn chỉnh cung cấp các tính năng toàn diện để triển khai và quản lý các chương trình data governance. Các ví dụ bao gồm Collibra, erwin Data Intelligence, Alation.

Data Security Tools: 

• Các công cụ bảo mật dữ liệu giúp đảm bảo an ninh cho dữ liệu. Các ví dụ bao gồm Varonis, Symantec Data Loss Prevention, Thales CipherTrust Data Security Platform.

Data Governance Frameworks và Templates: 

• Ngoài các công cụ cụ thể, sử dụng các khung như DAMA-DMBOK (Data Management Body of Knowledge) hoặc các mẫu quản lý dữ liệu có sẵn để xây dựng các quy trình và chính sách data governance.

Tài liệu tham khảo 

• https://www.techtarget.com/searchdatamanagement/definition/data-governance
• https://cloud.google.com/learn/what-is-data-governance#:~:text=Get%20the%20whitepaper-,Data%20governance%20defined,throughout%20the%20data%20life%20cycle.
• https://www.talend.com/resources/what-is-data-governance/
• https://www.ibm.com/topics/data-governance
• https://www.cio.com/article/202183/what-is-data-governance-a-best-practices-framework-for-managing-data-assets.html

Data architecture

1.  Data architecture là gì?

Kiến trúc dữ liệu (Data architecture) là một khái niệm trong lĩnh vực khoa học dữ liệu (data science) và công nghệ thông tin, liên quan đến cách tổ chức, thiết kế và quản lý dữ liệu trong một hệ thống thông tin hoặc một tổ chức. 

(Nguồn: https://www.credera.com/insights/5-keys-to-a-modern-data-architecture)

Kiến trúc dữ liệu bao gồm các yếu tố về:

• Thiết kế dữ liệu:

Xác định cấu trúc dữ liệu: Cách dữ liệu được tổ chức, bao gồm định dạng, loại dữ liệu và mối quan hệ giữa các tập dữ liệu khác nhau.

Mô hình hóa dữ liệu: Sử dụng các mô hình, ví dụ như mô hình ER (Entity-Relationship) để mô tả các thực thể và mối quan hệ giữa chúng.

• Quy trình xử lý dữ liệu:

Các quy trình ETL (Extract, Transform, Load): Xác định cách dữ liệu được trích xuất từ các nguồn khác nhau, được biến đổi và nạp vào các hệ thống lưu trữ dữ liệu.

Các quy trình xử lý dữ liệu: Xác định các quy trình xử lý, biến đổi và làm sạch dữ liệu để chuẩn bị cho việc phân tích.

• Hệ thống lưu trữ dữ liệu:

Xác định loại hệ thống lưu trữ: Bao gồm cơ sở dữ liệu quan hệ, cơ sở dữ liệu không quan hệ, hệ thống lưu trữ đám mây (cloud storage) hoặc hệ thống lưu trữ phân tán.

Kiến trúc lưu trữ: Quyết định cách dữ liệu được phân chia, phân cấp và tổ chức trong hệ thống lưu trữ.

• Quản lý dữ liệu:

Metadata Management: Quản lý metadata để mô tả, kiểm soát và quản lý thông tin về dữ liệu, bao gồm cấu trúc, quan hệ và định nghĩa.

Quản lý Quyền truy cập: Xác định và quản lý quyền truy cập vào dữ liệu để đảm bảo an ninh và tuân thủ quy định.

• Công nghệ và Công cụ:

Sử dụng công nghệ và công cụ phù hợp: Bao gồm cơ sở dữ liệu, các hệ thống xử lý dữ liệu, các công cụ ETL và các nền tảng lưu trữ đám mây, tuỳ thuộc vào yêu cầu và mục tiêu của tổ chức.

Kiến trúc dữ liệu quan trọng để xác định và xây dựng cơ sở hạ tầng dữ liệu phù hợp, linh hoạt và có khả năng mở rộng để đáp ứng nhu cầu về dữ liệu trong tổ chức hoặc hệ thống thông tin.

2. Các thành phần của Data architecture

(Nguồn: https://www.bmc.com/blogs/data-architecture/)

3. Các dạng Data architecture

Kiến trúc dữ liệu truyền thống (Traditional Data Architecture):

• Centralized Architecture (Kiến trúc tập trung): Dữ liệu được lưu trữ và quản lý tập trung tại một nơi duy nhất, thường là trong cơ sở dữ liệu quan hệ truyền thống.

• Decentralized Architecture (Kiến trúc phi tập trung): Dữ liệu phân tán và lưu trữ ở nhiều vị trí khác nhau, không tập trung vào một hệ thống duy nhất.

Kiến trúc dữ liệu đám mây (Cloud Data Architecture):

• Public Cloud Architecture (Kiến trúc đám mây công cộng): Sử dụng các dịch vụ lưu trữ và xử lý dữ liệu công cộng trên nền tảng đám mây của các nhà cung cấp dịch vụ đám mây như Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform (GCP).

• Private Cloud Architecture (Kiến trúc đám mây riêng): Xây dựng hệ thống lưu trữ và xử lý dữ liệu riêng trên cơ sở hạ tầng đám mây tư nhân.

Kiến trúc dữ liệu phi quan hệ (Non-Relational Data Architecture):

• NoSQL Architecture (Kiến trúc NoSQL): Sử dụng cơ sở dữ liệu không quan hệ để lưu trữ và xử lý dữ liệu phi cấu trúc như cơ sở dữ liệu dạng cột, cơ sở dữ liệu dạng tài liệu, cơ sở dữ liệu dạng đồ thị, v.v.

Kiến trúc dữ liệu dạng đồ thị (Graph Data Architecture):

• Sử dụng các hệ thống cơ sở dữ liệu dạng đồ thị để lưu trữ và xử lý dữ liệu mà có mối quan hệ rõ ràng giữa các thực thể thông qua các mối quan hệ.

Kiến trúc dữ liệu real-time (Real-time Data Architecture):

• Real-time Streaming Architecture (Kiến trúc dữ liệu theo dòng thời gian thực): Hệ thống được thiết kế để xử lý dữ liệu đang chảy (streaming data) và cung cấp kết quả xử lý một cách ngay lập tức.

Kiến trúc dữ liệu hỗn hợp (Hybrid Data Architecture):

Hybrid Cloud Architecture (Kiến trúc đám mây hỗn hợp): Kết hợp sử dụng cả các nguồn dữ liệu đám mây và on-premises (trên mạng nội bộ) để tạo ra một hệ thống dữ liệu linh hoạt và có khả năng mở rộng.

 

4. Các nguyên tắc của Data Architecture

Tính nhất quán (Consistency):

• Tuân thủ các chuẩn định dạng dữ liệu để đảm bảo tính nhất quán giữa các bảng, các cột dữ liệu.

• Quản lý metadata một cách đồng nhất để mô tả và hiểu rõ về dữ liệu.

Tính linh hoạt (Flexibility):

• Thiết kế kiến trúc dữ liệu có khả năng thích ứng với sự thay đổi, mở rộng, và hỗ trợ cho các nhu cầu mới.

• Đảm bảo khả năng tích hợp dữ liệu dễ dàng giữa các nguồn dữ liệu khác nhau.

Tính an toàn và bảo mật (Security):

• Áp dụng các biện pháp bảo mật để ngăn chặn truy cập trái phép và bảo vệ dữ liệu quan trọng.

• Xác định và quản lý quyền truy cập dữ liệu một cách chặt chẽ để đảm bảo chỉ những người được phép có thể truy cập vào dữ liệu.

Hiệu suất (Performance):

• Thiết kế kiến trúc dữ liệu sao cho hoạt động hiệu quả với tốc độ truy cập nhanh và thời gian phản hồi ngắn.

• Đảm bảo khả năng mở rộng để hệ thống có thể xử lý lượng dữ liệu lớn và tăng cường hiệu suất.

Tính tin cậy (Reliability):

• Đảm bảo sự tồn tại của các dữ liệu thông qua việc thực hiện sao lưu và khôi phục dữ liệu.

• Bảo đảm tính nhất quán và đồng bộ giữa các bản sao của dữ liệu.

Tuân thủ quy định (Compliance):

• Đảm bảo rằng kiến trúc dữ liệu tuân thủ các quy định pháp luật về bảo mật, quyền riêng tư và quy định ngành.

Các nguyên tắc này không chỉ giúp tạo ra một hệ thống dữ liệu chất lượng mà còn đảm bảo rằng dữ liệu được sử dụng một cách an toàn, hiệu quả và tuân thủ các quy định.

Tài liệu tham khảo

• https://www.simplilearn.com/what-is-data-architecture-article
• https://www.bmc.com/blogs/data-architecture/
• https://builtin.com/data-science/data-architecture
• https://www.indeed.com/career-advice/career-development/what-is-data-architecture
• 
  

Data warehouse

 1. Data warehouse là gì?

Data warehouse (kho dữ liệu) là một hệ thống lưu trữ dữ liệu dành cho mục đích phân tích và báo cáo. 

Các thành chính của data warehouse bao gồm:

(Nguồn: https://www.guru99.com/data-warehouse-architecture.html)

2. Phân biệt Data warehouse với data lake và data mart

Data warehouse, Data mart, và Data lake đều là các phương pháp lưu trữ và quản lý dữ liệu, nhưng mỗi loại lại có các đặc điểm và mục tiêu khác nhau:

Data Warehouse:

• Tổng quan: Data warehouse là một hệ thống lưu trữ dữ liệu tập trung, tổng hợp từ nhiều nguồn khác nhau trong tổ chức, được sử dụng cho mục đích phân tích và báo cáo.

• Mục tiêu: Được thiết kế để tổng hợp dữ liệu từ các nguồn khác nhau, làm sạch và chuẩn hóa dữ liệu để hỗ trợ quá trình ra quyết định và phân tích dữ liệu.

• Đặc điểm: Thường có cấu trúc dữ liệu được thiết kế trước, hỗ trợ cho việc truy vấn phức tạp và phân tích dữ liệu dựa trên mô hình dữ liệu chuẩn.

Data Mart:

• Tổng quan: Data mart cũng là một hệ thống lưu trữ dữ liệu, tuy nhiên, nó thường tập trung vào một phần của tổ chức hoặc một lĩnh vực cụ thể.

• Mục tiêu: Thường được xây dựng để đáp ứng nhu cầu phân tích và báo cáo của một phần nhỏ hoặc một nhóm người dùng cụ thể trong tổ chức.

• Đặc điểm: Data mart thường có dữ liệu tổng hợp từ data warehouse hoặc được xây dựng độc lập. Nó có thể được tối ưu hóa cho nhu cầu phân tích của một nhóm người dùng cụ thể.

Data Lake:

• Tổng quan: Data lake là một hệ thống lưu trữ dữ liệu linh hoạt và có khả năng chứa mọi loại dữ liệu, bao gồm cả dữ liệu có cấu trúc, không có cấu trúc và dữ liệu nguyên thủy.

• Mục tiêu: Mục tiêu chính của data lake là thu thập, lưu trữ dữ liệu từ mọi nguồn một cách linh hoạt và sau đó sử dụng để phân tích, khai phá dữ liệu hoặc xử lý dữ liệu.

• Đặc điểm: Data lake không yêu cầu cấu trúc dữ liệu trước, cho phép lưu trữ dữ liệu thô và có thể được sử dụng để thực hiện các công việc xử lý dữ liệu phức tạp như machine learning hoặc data mining.

Tóm lại, Data warehouse là hệ thống tổng hợp dữ liệu chủ yếu, Data mart là một phần của data warehouse hoặc có thể độc lập, cung cấp thông tin cho một phần nhỏ trong tổ chức, và Data lake là một hệ thống linh hoạt chứa mọi loại dữ liệu, không yêu cầu cấu trúc trước và được sử dụng cho các mục đích khám phá dữ liệu và phân tích.

3. Các kiểu thiết kế Data warehouse

Snowflake Schema:

• Mô tả: Snowflake schema là một mô hình dữ liệu có cấu trúc phân cấp, tương tự như Star schema, nhưng với mức độ phân cấp cao hơn. Trong Snowflake schema, các bảng chiều (dimension tables) được chia nhỏ thành các bảng con, tạo ra một mô hình dữ liệu có cấu trúc phức tạp hơn.

• Ưu điểm: Cho phép tổ chức dữ liệu chi tiết hơn, giúp quản lý dữ liệu một cách linh hoạt và hiệu quả hơn.

• Nhược điểm: Cấu trúc phức tạp có thể gây khó khăn trong việc thực hiện và hiểu cấu trúc dữ liệu. Cần nhiều bảng phụ hơn, có thể dẫn đến hiệu suất truy vấn không hiệu quả.

Star Schema:

• Mô tả: Star schema là một mô hình dữ liệu đơn giản và phổ biến trong thiết kế Data warehouse. Mô hình này bao gồm một bảng trung tâm (fact table) và các bảng chiều (dimension tables) xung quanh bảng trung tâm.

• Ưu điểm: Dễ hiểu, dễ triển khai và hiệu quả cho việc truy vấn và phân tích dữ liệu. Có thể cải thiện hiệu suất truy vấn.

• Nhược điểm: Không cung cấp mức độ chi tiết cao nhất về dữ liệu. Có thể không phù hợp cho các mô hình dữ liệu phức tạp.

(Nguồn: https://www.integrate.io/blog/snowflake-schemas-vs-star-schemas-what-are-they-and-how-are-they-different/)

Galaxy Schema:

• Mô tả: Galaxy schema là một biến thể của Star schema và Snowflake schema, kết hợp cả hai kiểu thiết kế để tận dụng ưu điểm của cả hai. Mô hình này có thể bao gồm cả cấu trúc phân cấp và không phân cấp.

• Ưu điểm: Kết hợp ưu điểm của cả Star và Snowflake schema, cung cấp sự linh hoạt và chi tiết cao hơn về dữ liệu.

• Nhược điểm: Cấu trúc phức tạp có thể gây khó khăn trong việc thực hiện. Yêu cầu kỹ năng cao hơn để thiết kế và triển khai.

(Nguồn: https://streamsets.com/blog/schemas-data-warehouses-star-galaxy-snowflake/)

4. Các phần mềm hỗ trợ xây dựng data ware house

Microsoft SQL Server:

SQL Server cung cấp nền tảng Data warehouse chuyên nghiệp với SQL Server Integration Services (SSIS) để ETL (Extract, Transform, Load) dữ liệu, SQL Server Analysis Services (SSAS) cho việc phân tích và SQL Server Reporting Services (SSRS) để tạo báo cáo.

Oracle Data Integrator (ODI):

ODI là một công cụ ETL và quản lý dữ liệu mạnh mẽ của Oracle, hỗ trợ tích hợp dữ liệu từ nhiều nguồn khác nhau vào Data warehouse.

 IBM InfoSphere DataStage:

DataStage của IBM cung cấp các chức năng ETL mạnh mẽ, cho phép người dùng triển khai quá trình tích hợp dữ liệu phức tạp vào Data warehouse.

 Talend:

Talend là một nền tảng tích hợp dữ liệu toàn diện, cung cấp các công cụ ETL, quản lý dữ liệu, và tích hợp dữ liệu trong môi trường Cloud hoặc on-premises.

 Snowflake:

Snowflake không chỉ là một hệ thống lưu trữ Data warehouse dựa trên đám mây mà còn cung cấp các công cụ hỗ trợ ETL và quản lý dữ liệu.

 Amazon Redshift:

Redshift của Amazon cung cấp một Data warehouse chuyên nghiệp trên đám mây, hỗ trợ quá trình xây dựng, triển khai và quản lý Data warehouse.

Google BigQuery:

 

Tính năng: BigQuery là một dịch vụ Data warehouse trên đám mây của Google, cho phép truy vấn dữ liệu lớn và cung cấp các công cụ hỗ trợ xây dựng Data warehouse.

 Apache Spark:

 Spark không chỉ là một công cụ xử lý dữ liệu mà còn có thể được sử dụng trong quá trình xây dựng Data warehouse, đặc biệt trong việc xử lý lớn lượng dữ liệu và phân tích dữ liệu phức tạp.

Đây là một số công cụ phổ biến hỗ trợ xây dựng data warehouse. Các công cụ này cung cấp các tính năng khác nhau để hỗ trợ từng bước trong quá trình xây dựng Data warehouse như ETL, lưu trữ, quản lý và phân tích dữ liệu. 

Tài liệu tham khảo

•  
• https://www.javatpoint.com/data-warehouse-design
• https://www.integrate.io/blog/the-ultimate-guide-to-data-warehouse-design/
• https://www.g2.com/categories/data-warehouse
• https://www.trustradius.com/data-warehouse
• https://www.integrate.io/blog/snowflake-schemas-vs-star-schemas-what-are-they-and-how-are-they-different/

Data extraction

 1. Data extraction là gì?

Data extraction (trích xuất dữ liệu) là quá trình lấy thông tin từ nguồn dữ liệu không cấu trúc hoặc cấu trúc và chuyển đổi nó thành dạng có thể sử dụng hoặc phân tích. Khi thực hiện data extraction, thông tin được trích xuất từ nguồn dữ liệu có thể là từ các cơ sở dữ liệu, tệp văn bản, website, hệ thống máy tính, bảng tính Excel, các tập tin JSON, XML, hoặc bất kỳ định dạng nào chứa dữ liệu. 

(Nguồn: https://www.researchgate.net/)

Mục tiêu của data extraction là thu thập dữ liệu cần thiết từ nguồn lớn và không cấu trúc, sau đó chuyển đổi thành dạng có cấu trúc để sử dụng cho mục đích phân tích, báo cáo, hoặc lưu trữ trong các hệ thống quản lý dữ liệu.

Kết quả của Data extraction có thể là:

• Dữ liệu có cấu trúc: Sau khi trích xuất, dữ liệu từ nguồn gốc không cấu trúc hoặc cấu trúc không đồng nhất sẽ được chuyển đổi thành dạng có cấu trúc hơn. Ví dụ: dữ liệu từ các tệp văn bản, cơ sở dữ liệu, hoặc các nguồn khác có thể được chuyển đổi thành dạng bảng, danh sách, hoặc định dạng khác phù hợp để sử dụng.

• Dữ liệu được làm sạch: Trong quá trình trích xuất, thông tin không cần thiết hoặc không đúng có thể được loại bỏ hoặc được xử lý để làm sạch dữ liệu. Các bước này bao gồm lọc dữ liệu, xử lý dữ liệu bị trùng lặp, hoặc điều chỉnh dữ liệu để đảm bảo tính nhất quán và chính xác.

• Dữ liệu chuẩn hóa: Data extraction cũng có thể bao gồm việc chuẩn hóa dữ liệu, tức là chuyển đổi dữ liệu từ các định dạng khác nhau hoặc đơn vị khác nhau thành định dạng chuẩn để dễ dàng so sánh và sử dụng.

• Dữ liệu sẵn sàng cho việc phân tích hoặc sử dụng tiếp theo: Kết quả của data extraction tạo ra dữ liệu có cấu trúc và đã được làm sạch, chuẩn hóa để có thể sử dụng cho việc phân tích dữ liệu, tạo báo cáo, xây dựng các mô hình dự đoán, hoặc lưu trữ trong các hệ thống quản lý dữ liệu.

(Nguồn: https://xtract.io/blog/data-extraction-challenges-and-how-to-overcome-them/)

2.  Khi nào cần dùng đến Data extraction

Một số trường hợp khi cần sử dụng Data extraction, như:

• Thu thập dữ liệu từ nhiều nguồn: Khi bạn cần thu thập dữ liệu từ nhiều nguồn khác nhau như cơ sở dữ liệu, tệp văn bản, website, hệ thống máy tính, API, hoặc các nguồn dữ liệu khác.

• Làm sạch và chuẩn hóa dữ liệu: Khi dữ liệu từ các nguồn khác nhau không có cấu trúc hoặc không đồng nhất, việc sử dụng Data extraction giúp làm sạch và chuẩn hóa dữ liệu để đảm bảo tính nhất quán và chính xác.

• Phục vụ cho mục đích phân tích và báo cáo: Khi cần dùng dữ liệu để thực hiện phân tích, xây dựng báo cáo, đánh giá hiệu suất kinh doanh, dự đoán xu hướng, hoặc đưa ra quyết định thông minh.

• Chuyển đổi dữ liệu sang định dạng có thể sử dụng: Khi cần chuyển đổi dữ liệu từ các định dạng không phù hợp hoặc không cấu trúc thành dạng có cấu trúc và sẵn sàng cho việc lưu trữ hoặc sử dụng tiếp theo.

• Xây dựng hệ thống quản lý dữ liệu: Trong việc xây dựng hệ thống quản lý dữ liệu, việc thu thập và chuẩn hóa dữ liệu thông qua Data extraction là bước quan trọng để đảm bảo tính nhất quán và khả năng tiếp cận dữ liệu.

• Tích hợp dữ liệu từ các hệ thống khác nhau: Khi cần kết hợp dữ liệu từ các nguồn khác nhau để tạo ra một bức tranh toàn diện và có thể sử dụng.

3. Một số kỹ thuật Data extraction

• Regular Expressions (Regex): Đây là một kỹ thuật mạnh mẽ để xác định và trích xuất các mẫu dữ liệu từ văn bản không cấu trúc, như email, số điện thoại, địa chỉ, hoặc bất kỳ dạng thông tin cụ thể nào theo một mẫu nhất định. Regex được sử dụng rộng rãi trong việc trích xuất dữ liệu từ văn bản.

• Parsing: Kỹ thuật này sử dụng các công cụ và thư viện để phân tích cú pháp của các định dạng dữ liệu như HTML, XML, JSON để trích xuất thông tin cụ thể. Các thư viện như BeautifulSoup (Python), lxml, hoặc các công cụ khác được sử dụng để phân tích cú pháp và trích xuất dữ liệu từ các định dạng này.

• Web Scraping: Đây là kỹ thuật tự động trích xuất dữ liệu từ các trang web bằng cách sử dụng các công cụ hoặc thư viện như Scrapy, Selenium, BeautifulSoup. Web scraping có thể tự động hóa việc duyệt web, tìm kiếm thông tin cần thiết và lấy dữ liệu từ các trang web.

• API (Application Programming Interface): Sử dụng API để truy cập dữ liệu từ các nguồn có sẵn và trích xuất thông tin theo yêu cầu. Các API cung cấp giao diện để tương tác và truy xuất dữ liệu từ hệ thống khác nhau thông qua các yêu cầu HTTP.

• ETL (Extract, Transform, Load): Các công cụ và quy trình ETL được sử dụng để trích xuất dữ liệu từ nhiều nguồn khác nhau, thực hiện các bước biến đổi, làm sạch và chuẩn hóa dữ liệu trước khi tải vào các hệ thống khác hoặc cơ sở dữ liệu.

• Database Queries: Sử dụng ngôn ngữ truy vấn như SQL để trích xuất dữ liệu từ cơ sở dữ liệu hoặc hệ thống quản lý cơ sở dữ liệu (DBMS) như MySQL, PostgreSQL, SQL Server, Oracle.

• Flat File Processing: Xử lý các tệp dữ liệu định dạng phẳng như CSV, Excel, hoặc các tập tin văn bản. Đây là một phương pháp phổ biến để trích xuất dữ liệu từ các tệp dữ liệu cơ bản.

• Parse HTML/XML: Đây là phương pháp sử dụng để trích xuất dữ liệu từ các trang web, tài liệu HTML hoặc XML. Các công cụ như Beautiful Soup trong Python hoặc các thư viện tương tự có thể được sử dụng để phân tích và trích xuất thông tin từ các cú pháp HTML hoặc XML.

Và các kỹ thuật khác

(Nguồn: https://www.semanticscholar.org/paper/Analysis-Of-Different-Web-Data-Extraction-Parvez-Tasneem/e50d654e48cf04b34d5063d9c02692ad25d8052c)

4. Các công cụ hỗ trợ Data extraction

• Octoparse: Đây là một công cụ web scraping dễ sử dụng giúp người dùng trích xuất dữ liệu từ các trang web một cách tự động và linh hoạt.

• ParseHub: ParseHub cung cấp một giao diện trực quan để trích xuất dữ liệu từ các trang web mà không yêu cầu kỹ năng lập trình.

• Selenium: Là một công cụ tự động hóa trình duyệt web, thường được sử dụng cho web scraping và kiểm thử phần mềm.

• Beautiful Soup: Đây là một thư viện Python phổ biến được sử dụng để phân tích cú pháp HTML và XML để trích xuất dữ liệu từ các trang web.

• Power Query (Excel): Power Query trong Excel cung cấp chức năng trích xuất và biến đổi dữ liệu từ nhiều nguồn khác nhau như cơ sở dữ liệu, tệp văn bản, và các nguồn dữ liệu trực tuyến.

• Apache Nifi: Là một công cụ mã nguồn mở giúp quản lý và chuyển đổi dữ liệu từ nhiều nguồn khác nhau trong hệ thống dữ liệu lớn.

• Talend: Talend cung cấp các công cụ ETL (Extract, Transform, Load) mạnh mẽ để trích xuất, biến đổi và tải dữ liệu từ nhiều nguồn khác nhau.

• Informatica PowerCenter: Đây là một trong những công cụ ETL hàng đầu trên thị trường, cung cấp khả năng tích hợp và quản lý dữ liệu một cách linh hoạt.

• SQL Server Integration Services (SSIS): Là một công cụ ETL của Microsoft, SSIS được sử dụng để tích hợp dữ liệu từ nhiều nguồn khác nhau vào cơ sở dữ liệu SQL Server. 

• Web Scraper: Công cụ sử dụng rất đơn giản. Liên kết email, Giá cả, chi tiết liên hệ, hình ảnh và trang có thể được trích xuất từ ​​web

• OutWitweb: Một công cụ phổ biến nhất để trích xuất dữ liệu từ các trang web. Lý tưởng cho việc trích xuất Bảng, Hình ảnh, id thư và liên kết từ Web.

• Fminer: Công cụ trực quan để trích xuất dữ liệu từ web. Nó cũng hoạt động như một máy ghi macro.

• Scrapy: Công cụ trích xuất mã nguồn mở bằng Python và cho phép phát triển mã riêng để trích xuất dữ liệu

• Tabula: Đây là một ứng dụng dành cho máy tính để bàn. Chạy trên hệ điều hành MS, Linux, Mac. Có tính năng chuyển đổi PDF sang định dạng XLS, csv và có thể chỉnh sửa ở đó. Được sử dụng chủ yếu trong việc tạo nội dung trong Báo chí

• Dexi.io: Không cần tải xuống và có thể mở nó trong trình duyệt. Trình thu thập thông tin có thể được thiết lập để lấy dữ liệu từ web. Dữ liệu đã duyệt có thể được lưu trực tiếp vào ổ đĩa Google.

• Import.io: Cho phép trích xuất dữ liệu mà không cần phải viết bất kỳ mã nào. Dữ liệu web, Email iD, Hình ảnh và số điện thoại có thể được trích xuất

• ContenGrabber: Trích xuất dữ liệu từ bất kỳ trang web nào và chuyển đổi dữ liệu đó theo định dạng người dùng cần.

Và nhiều công cụ khác

 

Tài liệu tham khảo

• https://www.educba.com/data-extraction-tool/
• https://www.docsumo.com/blog/data-extraction-techniques
• https://www.talend.com/resources/data-extraction-defined/
• https://www.stitchdata.com/resources/what-is-data-extraction/
• https://levity.ai/blog/what-is-data-extraction
• https://streamsets.com/blog/data-extraction-defined-tools-techniques-and-examples/

Data analytics

(Nguồn: https://ppcexpo.com/blog/data-analysis-vs-data-analytics)

Data analysis và Data analytics có nhiều điểm tương đồng, tuy nhiên, có sự khác biệt nhất định về phạm vi và phương pháp. Dưới đây là một số so sánh sự giống và khác nhau của hai thuật ngữ này.

1. Sự giống nhau

• Về mục tiêu chung: Cả Data analysis và Data analytics đều tập trung vào việc sử dụng dữ liệu để đưa ra thông tin hữu ích cho quyết định.

• Về  cách sử dụng dữ liệu: Cả hai đều sử dụng dữ liệu để thực hiện việc xác định mô hình, xu hướng và thông tin hữu ích.

• Về công cụ và kỹ thuật: Cả hai cần sử dụng các công cụ và kỹ thuật phân tích dữ liệu để hiểu và rút ra thông tin từ dữ liệu, từ các biểu đồ đến phân tích thống kê cơ bản.

2. Sự khác nhau

Phạm vi:

• Data analysis thường tập trung vào việc mô tả, tóm tắt và hiểu rõ dữ liệu hiện có thông qua phân tích thống kê cơ bản, biểu đồ và các phương pháp phân tích dữ liệu truyền thống.

• Data analytics có phạm vi rộng hơn, bao gồm việc sử dụng các kỹ thuật phức tạp hơn như machine learning, data mining, và big data để khám phá dữ liệu, tìm ra mô hình, xu hướng và tri thức từ dữ liệu.

Phương pháp:

• Data analysis thường sử dụng phân tích thống kê, biểu đồ và các kỹ thuật phân tích dữ liệu cơ bản.

• Data analytics thường sử dụng các công cụ và phương pháp  phức tạp hơn như machine learning, data mining để xử lý và phân tích dữ liệu.

Mục đích:

• Data analysis thường dừng ở việc hiểu rõ dữ liệu hiện có và trả lời các câu hỏi cụ thể.

• Data analytics hướng đến việc khám phá, dự đoán và tìm ra thông tin ẩn sau dữ liệu để hỗ trợ quyết định chiến lược và kế hoạch dài hạn.

Tóm lại, Data analysis tập trung vào việc hiểu rõ dữ liệu hiện có, trong khi Data analytics hướng đến việc khám phá thông tin mới và ẩn sau dữ liệu để hỗ trợ quyết định chiến lược dài hạn. Data analytics thường sử dụng các công cụ và kỹ thuật phức tạp hơn so với Data analysis.

(Nguồn: https://www.upwork.com/resources/data-analysis-vs-data-analytics)

Tài liệu tham khảo

• https://www.analyticsvidhya.com/blog/2021/05/data-analytics-vs-data-analysis-are-they-similar/
• https://www.upwork.com/en-gb/resources/types-of-data-analytics
• https://ethans.co.in/blog/differences-between-data-analytics-vs-data-analysis/

Data integration

 1. Data integration là gì

Data integration (tích hợp dữ liệu) là quá trình kết hợp dữ liệu từ nhiều nguồn khác nhau để tạo ra một tập hợp dữ liệu hoàn chỉnh, thống nhất và có thể sử dụng. Điều này bao gồm việc thu thập, làm sạch, biến đổi và kết hợp các dữ liệu từ các nguồn khác nhau như cơ sở dữ liệu, ứng dụng, tệp văn bản, hoặc hệ thống khác nhau. Mục tiêu của data integration là tạo ra một bức tranh toàn diện hơn về dữ liệu, giúp người dùng có thể truy cập, hiểu và sử dụng dữ liệu một cách dễ dàng và hiệu quả hơn. 

(Nguồn: https://keet.wordpress.com/2021/07/25/what-about-ethics-and-responsible-data-integration-and-data-firewalls/)

2. Khi nào cần dùng đến Data integration?

Có nhiều tình huống trong đó việc sử dụng data integration là cần thiết:

• Khi doanh nghiệp có nhiều nguồn dữ liệu khác nhau: Khi doanh nghiệp sử dụng nhiều hệ thống khác nhau hoặc lưu trữ dữ liệu trong các định dạng khác nhau như cơ sở dữ liệu quan hệ, kho dữ liệu, tệp văn bản, các ứng dụng khác nhau, thì việc tích hợp dữ liệu từ những nguồn này trở nên cần thiết để tạo ra một bức tranh toàn diện hơn về thông tin.

• Khi doanh nghiệp muốn phân tích dữ liệu hoặc ra quyết định dựa trên dữ liệu từ nhiều nguồn, việc tích hợp dữ liệu giúp cung cấp một tập hợp thông tin đồng nhất và đáng tin cậy hơn.

• Khi doanh nghiệp muốn loại bỏ sự phân mảnh và không đồng nhất của dữ liệu, từ đó cải thiện hiệu suất trong việc truy cập và sử dụng dữ liệu.

• Khi doanh nghiệp muốn đảm bảo tính nhất quán và đồng nhất của dữ liệu: Khi cần đảm bảo dữ liệu được tổ chức và hiểu quả để tránh sự không nhất quán hoặc trùng lặp thông tin.

3. Các phương pháp tích hợp dữ liệu

Có nhiều phương pháp được sử dụng để thực hiện data integration, mỗi phương pháp có ưu điểm và hạn chế riêng. Dưới đây là một số phương pháp phổ biến:

ETL (Extract, Transform, Load): Đây là một trong những phương pháp phổ biến nhất trong data integration. Quá trình ETL bao gồm ba bước chính:

• Extract: Dữ liệu được trích xuất từ các nguồn khác nhau như cơ sở dữ liệu, tệp văn bản, hệ thống khác nhau.

• Transform: Dữ liệu được làm sạch, chuyển đổi, và chuẩn hóa để đảm bảo tính nhất quán và đồng nhất.

• Load: Dữ liệu đã được xử lý sau khi transform được tải vào kho dữ liệu hoặc hệ thống đích.

(Nguồn: https://www.qlik.com/us/data-integration)

ELT (Extract, Load, Transform): 

Tương tự như ETL, ELT cũng bao gồm các bước trích xuất và tải dữ liệu, nhưng khác biệt ở chỗ việc biến đổi dữ liệu diễn ra sau khi dữ liệu đã được tải vào kho lưu trữ. Điều này phù hợp trong trường hợp cần lưu trữ dữ liệu nguyên gốc trước khi biến đổi hoặc khi dữ liệu có kích thước lớn và không thể biến đổi trước khi tải lên.

(Nguồn: https://www.qlik.com/us/data-integration)

CDC (Change Data Capture): 

Phương pháp này tập trung vào việc theo dõi và bắt các thay đổi xảy ra trên dữ liệu trong thời gian thực và cập nhật các thay đổi này vào hệ thống lưu trữ chính. Điều này hữu ích khi cần cập nhật dữ liệu liên tục từ các nguồn có thể thay đổi liên tục.

Data Virtualization (Ảo hóa dữ liệu): 

Phương pháp này không yêu cầu sao lưu dữ liệu vào một kho lưu trữ mới. Thay vào đó, nó tạo ra một lớp trừu tượng ở trên cùng của dữ liệu trong các nguồn khác nhau, cho phép truy cập vào dữ liệu mà không cần sao lưu tất cả dữ liệu vào một nơi duy nhất.

(Nguồn: https://www.qlik.com/us/data-integration)

Data Replication: 

Phương pháp này sao chép dữ liệu từ nguồn gốc đến một hệ thống khác để duy trì một bản sao đồng bộ và định kỳ của dữ liệu. Điều này thích hợp cho việc cần có bản sao dữ liệu tại nơi khác nhau để truy cập nhanh chóng và đảm bảo tính khả dụng.

4. Những công cụ hỗ trợ tích hợp dữ liệu

Một số công cụ phổ biến được sử dụng trong lĩnh vực data integration bao gồm:

• Informatica PowerCenter: Đây là một nền tảng data integration mạnh mẽ, cung cấp các tính năng ETL và quản lý chuỗi cung ứng dữ liệu, hỗ trợ việc kết nối và tích hợp dữ liệu từ nhiều nguồn khác nhau.

• Talend: Talend cung cấp một loạt các công cụ ETL và data integration, bao gồm Talend Open Studio và Talend Data Integration, giúp người dùng thực hiện các tác vụ kết nối, transform và load dữ liệu một cách dễ dàng.

• IBM InfoSphere Information Server: Cung cấp các công cụ mạnh mẽ cho data integration, data quality, và data governance, giúp tổ chức quản lý và tích hợp dữ liệu từ nhiều nguồn khác nhau.

• Microsoft SQL Server Integration Services (SSIS): Đây là một công cụ của Microsoft SQL Server dùng để thực hiện các tác vụ ETL và data integration, cho phép kết nối với các nguồn dữ liệu khác nhau và thực hiện các quá trình xử lý dữ liệu.

• Apache Kafka: Kafka không chỉ là một hệ thống hàng đợi tin nhắn, mà còn được sử dụng rộng rãi cho việc data integration và streaming. Nó có khả năng xử lý dữ liệu thời gian thực và kết nối các hệ thống dựa trên luồng dữ liệu.

• Oracle Data Integrator (ODI): Công cụ này của Oracle cung cấp khả năng tích hợp dữ liệu từ nhiều nguồn khác nhau và hỗ trợ việc thực hiện các quy trình ETL.

• SAP Data Services: Cung cấp các tính năng ETL và data integration, giúp người dùng kết nối và tích hợp dữ liệu từ nhiều nguồn, cũng như thực hiện các quy trình xử lý dữ liệu.

• và các công cụ khác

(Nguồn: https://www.trio.dev/blog/data-integration-tools)

Những công cụ này đều có tính năng và ưu điểm riêng, việc lựa chọn công cụ phù hợp thường phụ thuộc vào yêu cầu cụ thể của dự án, nguồn ngân sách, và mục tiêu của tổ chức trong việc tích hợp dữ liệu.

Tài liệu tham khảo

• https://keet.wordpress.com/2021/07/25/what-about-ethics-and-responsible-data-integration-and-data-firewalls/
• https://aws.amazon.com/vi/what-is/data-integration/
• https://cloud.google.com/learn/what-is-data-integration
• https://www.spiceworks.com/tech/devops/articles/data-integration/