Bag Of Words Là Gì ? Bag Of Words (Bow) Tf
I"https://mua.edu.vn/bag-of-words-la-gi/imager_5_1280_700.jpgm passionate about applying state-of-the-art Big Data architectures and Machine Learning methods for solving challenging problems related khổng lồ Digital marketing, Fin-tech, Digital transformation in F&B, Retailer, và Engineering.I"https://mua.edu.vn/bag-of-words-la-gi/imager_5_1280_700.jpgm working as Machine Learning Engineer for more than 7 years in the field of AI, Machine Learning and Big Data using new technologies, optimized Data
Ops, & MLOps so that the Data Products roll out in an efficient way on cloud data platform.I hope my skills and experiences could cốt truyện addition to the Data science community.Xem vớ cả nội dung bài viết bởi Hong Ong
Đã đăngTháng nhị 5, 2016Tháng hai 5, 2016
Điều hướng bài viết
Previous Post những thuật ngữ vào Xử lý ngôn ngữ tựnhiên
Trả lời hủy trả lời
Nhập bình luận ở đây...
Bạn đang xem: Bag of words là gì
Điền thông tin vào ô sau đây hoặc nhấp vào một hình tượng để đăng nhập:
Email (bắt buộc) (Địa chỉ của bạn được che kín)
Tên (bắt buộc)
Trang web
Bạn đang phản hồi bằng thông tin tài khoản Word
Press.com(Đăng xuất/Thay đổi)
Bạn đang bình luận bằng thông tin tài khoản Twitter(Đăng xuất/Thay đổi)
Bạn đang comment bằng thông tin tài khoản Facebook(Đăng xuất/Thay đổi)
Hủy bỏ
Connecting to lớn %s
Nhắc e-mail khi có phản hồi mới.
Nhắc e-mail khi có bài viết mới.
Δ
Tìm bài bác viết
Tìm tìm cho:Chỉ gồm 2 trang bị thôi
Có 2 thứ chúng ta nên tiết kiệm, đó là sức khỏe và lời hứa.
Có 2 thứ bạn phải đến đi, kia là học thức và lòng tốt.
Có 2 thứ chúng ta phải cụ đổi, đó là phiên bản thân và nhận thức.
Có 2 thứ chúng ta phải duy trì gìn, kia là tinh thần và nhân cách.
Có 2 thứ chúng ta phải trân trọng, đó là mái ấm gia đình và hiện tại tại.
Có 2 thứ chúng ta phải tự bản thân thực hiện, sẽ là lao rượu cồn và chịu trách nhiệm với việc mình làm.
Có 2 thứ bạn phải lãng quên, chính là đau thương với hận thù.
Có 2 thứ bạn phải tương khắc ghi, là công ơn Mẹ thân phụ và sự giúp sức của tín đồ khác.
Có 2 thứ bạn buộc phải bao gồm để là fan thành công, đó là đam mê và lòng kiên trì.
Có 2 thứ chúng ta không được làm, sẽ là hãm hại fan khác và bội phản lòng tin.
Có 2 thứ chúng ta phải bảo vệ, chính là danh tín cùng lẽ phải.
Có 2 thứ các bạn phải chấp nhận, là chết choc và sự khác biệt.
Có 2 thứ các bạn phải kiểm soát, kia là bạn dạng năng và cảm xúc.
Có 2 thứ các bạn phải né xa, sẽ là cám dỗ cùng sự ích kỷ.
Có 2 vật dụng bạn luôn phải sử dụng mà chớ hà tiện, là tiền tài và khiếp nghiệm.
Có 2 thứ bạn không được sợ hãi sệt, là điều ác và sống thật.
Có 2 thứ chúng ta phải nuôi dưỡng, là tình yêu với sự bao dung.
Có 2 thứ mà bạn phải đạt được trong cuộc sống, sẽ là thành đạt với hạnh phúc.
Có 2 thứ bạn phải luôn luôn sẵn sàng, đó là khó khăn và ngày mai.
Có 2 thứ chúng ta phải luôn ghi nhớ, đó là triển khai những điều trên và làm cho thật xuất sắc chúng trong cuộc sống thường ngày hàng ngày.
Xin chào phần đông người, vào phần trước của series bản thân đã trình làng với mọi fan một số phương pháp xử lý với tài liệu dạng phân một số loại (Categorical Data). Trong phần tiếp theo này bọn họ sẽ tiếp tục với series Understanding Feature Engineering của Dipanjan (DJ) Sarkar để tò mò về một số cách thức xử lý truyền thống với dạng dữ liệu văn phiên bản (Text Data).
Giới thiệu
Trong hai phần trước bọn họ đã đề cập mang lại các phương thức xử lý mang đến 2 dạng tài liệu có kết cấu là: dữ liệu dạng số liên tiếp (continuous numeric data) và dữ liệu dạng phân loại (categorical data). Trong phân tiếp theo này, chúng ta sẽ chú ý cách làm việc với dữ liệu dạng văn bản, đây chắc hẳn rằng là trong số những dạng dữ liệu phi cấu trúc phong phú tuyệt nhất mà bạn sẽ thường xuyên chạm mặt phải. Tài liệu văn bạn dạng thường bao gồm các tài liệu, hoàn toàn có thể là dạng các từ, câu, thậm chí là các đoạn văn bạn dạng dài ngắn khác nhau. Tài liệu dạng văn bản là dạng dữ liệu phi cấu trúc (không có các cột được tư tưởng rõ ràng) và những dữ liệu dạng văn bản thường siêu nhiễu khiến cho các phương thức học lắp thêm khó có thể làm bài toán trực tiếp trên tài liệu thô. Vày đó, trong nội dung bài viết này, bọn họ sẽ tiếp cận thực tes để khám phá một số phương pháp phổ biến hóa và tác dụng để trích xuất các đặc trưng có ý nghĩa sâu sắc từ dữ liệu dạng văn bản. Những đặc trưng này sau đó có thể sử dụng trong việc xây dựng quy mô học sản phẩm hoặc mô hình học sâu một bí quyết dễ dàng.
Xem thêm: Bỏ túi nguyên tắc phối đồ công sở cho người mập thêm thon gọn, tự tin
Sự buộc phải thiết
Như chúng ta đã biết, feature engineering được điện thoại tư vấn là các công thức kín để tạo thành các mô hình học thứ hiệu suất cao hơn và tốt hơn. Chỉ cần có một quánh trựng tuyệt vời là chúng ta có thể dành được thắng lợi trong các challenge của Kaggle. Tầm đặc biệt của những kỹ thuật xử lý tài liệu thậm chí còn đặc biệt quan trọng hơn đối với dữ liệu dạng văn bản, chính vì như đã nhắc tới ở trên, tài liệu dạng văn phiên bản là tài liệu không có cấu trúc và những thuật toán học tập máy phần lớn không thể thao tác được với dữ liệu thô, do vậy chúng ta cần thay đổi văn bạn dạng thành các dạng màn trình diễn số học nhưng mà thuật toán học tập máy rất có thể hiểu được. Ngay cả với sự thành lập và hoạt động của những kỹ thuật xử lý tự động thì bạn vẫn bắt buộc hiểu các khái niệm then chốt đằng sau các kỹ thuật trước lúc áp dụng bọn chúng trong các quy mô black box. Hay luôn luôn nhớ rằng, nếu như khách hàng được khuyến mãi ngay một hộp lý lẽ để sửa chữa thay thế nhà cửa, bạn nên biết lúc nào nên áp dụng máy khoan và lúc nào nên thực hiện búa!
Dữ liệu dạng văn phiên bản là gì
Trước tiên, chúng ta cần phải bao gồm một ý tưởng hợp lí và tài liệu dạng văn bản. Hãy lưu giữ rằng các bạn luôn rất có thể có tài liệu dạng văn bản ở dạng trực thuộc tính dữ liệu có cấu trúc, hay là văn phiên bản ở dạng những đặc trưng của dữ liệu dạng phân một số loại (Categorical Data).
Tuy nhiên, trong trường vừa lòng này chúng ta đang nói đến văn bạn dạng tự vị dưới dạng từ, cụm từ, câu hoặc tổng thể đoạn văn. Về cơ bản, bọn họ có một số cấu trục cú pháp như từ tạo thành cụm từ, các từ tạo nên thành câu, câu sinh sản thành đoạn văn. Mặc dù nhiện, không có kết cấu vốn tất cả nào cho tài liệu dạng văn bạn dạng vì bạn có thể có những từ có thể khác nhau giữa những đoạn tài liệu và từng câu cũng biến thành có độ dài thế đổi. Và bài viết này đó là một lấy một ví dụ cho dữ liệu dạng văn bản.
Feature Engineering cho tài liệu dạng văn bản
Bây giờ, chúng ta hãy cùng chu đáo một số cách thức phổ trở nên và công dụng để xử lý tài liệu dạng văn bản và trích xuất những đặc trưng có chân thành và ý nghĩa để rất có thể sử dụng trong những thuật toán học tập máy. Xin lưu ý rằng, bạn cũng có thể tìm thấy toàn bộ source code trong nội dung bài viết này tự Github của tác giả. Đầu tiên, bọn họ cùng thực hiện một trong những bước sẵn sàng cơ bản.
import pandas as pdimport numpy as npimport reimport nltkimport matplotlib.pyplot as pltpd.options.display.max_colwidth = 200%matplotlib inline
Tiếp theo chúng ta hãy lấy một đoạn văn bản corpus mà họ sẽ sử dụng trong bài viết này. Một corpus có thể hiểu là một trong tập hợp những văn bạn dạng thuộc về một hoặc những đối tượng.
corpus = <"The sky is blue and beautiful.", "Love this blue & beautiful sky!", "The quick brown fox jumps over the lazy dog.", "A king"s breakfast has sausages, ham, bacon, eggs, toast & beans", "I love green eggs, ham, sausages và bacon!", "The brown fox is quick và the blue dog is lazy!", "The sky is very blue & the sky is very beautiful today", "The dog is lazy but the brown fox is quick!" >labels = <"weather", "weather", "animals", "food", "food", "animals", "weather", "animals">corpus = np.array(corpus)corpus_df = pd.Data
Frame("Document": corpus, "Category": labels)corpus_df = corpus_df<<"Document", "Category">>corpus_df
Bạn hoàn toàn có thể thấy rằng bọn họ đã đã đạt được một vài ba đoạn văn bản từ các category không giống nhau. Trước khi bọn họ nói về những kỹ thuật cách xử lý dữ liệu, như rất nhiều khi, họ cần thực hiện một vài bước tiền cách xử lý hoặc thu xếp lại để loại bỏ các cam kết tự, ký kết hiệu không yêu cầu thiết.
Tiền xử trí văn bản
Có không ít cách khác nhau để "làm sạch" cùng tiền xử lý tài liệu dạng văn bản. Dưới đây, mình thừa nhận mạnh một vài điểm đặc biệt quan trọng nhất được thực hiện nhiều trong tiến độ tiền cách xử trí ngôn ngữ tự nhiên (NLP).
Soup là một trong công cụ tuyệt vời nhất và cần thiết để giải pháp xử lý trong trường vừa lòng này.Xóa các ký tự bao gồm dấu: Trong ngẫu nhiên văn phiên bản nào, đặc biệt quan trọng nếu ai đang xử lý ngôn từ tiếng Anh, hay các bạn cần phải xử lý những ký tự tất cả dấu. Bởi vì đó, chúng ta vần đảm bảo rằng các ký trường đoản cú này phải được biến hóa và chuẩn chỉnh hóa thành những ký từ ASCII. Một ví dụ đơn giản và dễ dàng là chúng ta sẽ biến đổi ký từ é thành e.Biến đổi các từ viết tắt: Trong tiếng Anh, các từ viết tắt về cơ phiên bản là phiên bạn dạng rút gọn của những từ hoặc âm tiết. Hầu như từ viết tắt của những từ hoặc cụm từ thường được tạo ra ra bằng cách loại bỏ các chữ mẫu và âm tiết. Ví dụ như: do not -> don"t, I would -> I"d. Thay đổi từ dạng viết tắt thành dạng đầy đủ cũng là 1 trong những bước quan trọng để chuẩn hóa văn bản.Xóa các ký tự quánh biệt: các ký tự đặc biệt thường là các ký tự không hẳn là chữ và số, thường khiến "nhiễu" cho tài liệu của chúng ta. Thông thường, regular expressions (regexes) hoàn toàn có thể được áp dụng để xử lý vụ việc này.Từ nơi bắt đầu và ngữ pháp: trong những ngữ cảnh không giống nhau, các từ gốc thường được đính thêm thêm những tiền tố với hậu tố vào nhằm đúng với ngữ pháp. Ví dụ những từ: WATCHES, WATCHING, & WATCHED. Chúng ta có thể thấy rằng chúng đều phải sở hữu chung từ gốc là WATCHXóa những stopwords: stopwords là những từ gồm ít hoặc ko có ý nghĩa gì đặc biệt khi xây dựng những đặc trưng. Đây hay là hầu hết từ giới từ, trợ từ có tần suất xuất hiện tương đối cao trong một văn bản thông hay ví dụ như: a, an, the... Họ không tất cả một danh sách chung tác stopwords mặc dù nhiên chúng ta cũng có thể sử dụng thư viện nltk. Hoặc chúng ta có thể tự phát hành được những thư viện stopwords đến riêng ngôn ngữ bạn vẫn xử lý. Việc này cũng có ý nghĩa tương đối đặc biệt trong xử lý ngôn từ tự nhiên.
Bên cạnh đó bạn cũng có thể thực hiện một vài biện pháp tiêu chuẩn chỉnh khác như tokenization, xóa khỏi các khoảng chừng trắng thừa, chuẩn chỉnh hóa vần âm viết hoa, những biện pháp sửa lỗi bao gồm tả, sửa lỗi ngữ pháp, xóa những ký trường đoản cú lặp lại... Chúng ta cũng có thể tham khảo source code từ notebook của tác giả.
Vì giữa trung tâm của bài viết này là về các kỹ thuật feature engineering nên chúng ta sẽ desgin một đoạn tiền xử lý văn bạn dạng hết sức đơn giản và dễ dàng sau đây, nhà yếu tập trung vào sa thải các ký kết tự đặc biệt, xóa khoảng chừng trắng thừa, xử lý các ký từ bỏ số, stopwords với xử lý chữ cái viết hoa.
wpt = nltk.Word
Punct
Tokenizer()stop_words = nltk.corpus.stopwords.words("english")def normalize_document(doc): # lower case & remove special characterswhitespaces doc = re.sub(r"<^a-z
A-Zs>", "", doc, re.I|re.A) doc = doc.lower() doc = doc.strip() # tokenize document tokens = wpt.tokenize(doc) # filter stopwords out of document filtered_tokens =
norm_corpus = normalize_corpus(corpus)norm_corpus
Output------array(<"sky xanh beautiful", "love xanh beautiful sky", "quick brown fox jumps lazy dog", "kings breakfast sausages đắm say bacon eggs toast beans", "love green eggs mê mẩn sausages bacon", "brown fox quick blue dog lazy", "sky blue sky beautiful today", "dog lazy brown fox quick">, dtype=")Từ Output bọn họ có thẩy có được cái nhìn ví dụ về đoạn văn bản sau khi được xử lý. Bây giờ, hãy liên tục với những kỹ thuật feature engineering!
Bag of Words Model
Đây chắc rằng là mô hình biểu diễn không gian vecto dễ dàng và đơn giản nhất cho các văn bạn dạng phi cấu trúc. Tế bào hình không khí vecto chỉ dễ dàng và đơn giản là một mô hình toán học nhằm biểu diễn, thay mặt cho văn bản (hoặc bất kỳ dạng tài liệu nào khác) dưới dạng vecto số sao cho mỗi chiều của vecto là một trong những đặc trưng của dữ liệu. Quy mô Bag of words biểu diễn cho mỗi mẫu tài liệu văn phiên bản dưới dạng một vecto số trong số ấy mỗi chiều là 1 trong từ ví dụ trong kho dữ liệu và giá bán trị hoàn toàn có thể là tần số của nó lộ diện trong đoạn văn bản (giá trị có thể là 0 hoặc 1) hoặc thậm chí còn là những giá trị bao gồm trọng số. Tên mô hình này là Bag of words thể hiện theo như đúng nghĩa đen của nó nghĩa là một trong túi những từ, không suy nghĩ trật tự, trình tự, ngữ pháp.
from sklearn.feature_extraction.text import Count
Vectorizercv = Count
Vectorizer(min_df=0., max_df=1.)cv_matrix = cv.fit_transform(norm_corpus)cv_matrix = cv_matrix.toarray()cv_matrix
Output------array(<<0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0>, <0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0>, <0, 0, 0, 0, 0, 1, 1, 0, 1, 0, 0, 1, 0, 1, 0, 1, 0, 0, 0, 0>, <1, 1, 0, 0, 1, 0, 0, 1, 0, 0, 1, 0, 1, 0, 0, 0, 1, 0, 1, 0>, <1, 0, 0, 0, 0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 1, 0, 1, 0, 0, 0>, <0, 0, 0, 1, 0, 1, 1, 0, 1, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0>, <0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 1>, <0, 0, 0, 0, 0, 1, 1, 0, 1, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0> >, dtype=int64)Như công dụng trên bạn có thể thấy rằng các văn bản của chúng ta đã được biến hóa thành những vecto số sao cho mỗi mẫu đầu vào đã được màn biểu diễn bằng một vecto (hàng) trong một ma trận sệt trưng. Đoạn source code sau đây hoàn toàn có thể giúp bạn nắm rõ hơn cách biểu diễn này:
# get all chất lượng words in the corpusvocab = cv.get_feature_names()# show document feature vectorspd.Data
Frame(cv_matrix, columns=vocab)
Bạn rất có thể thấy cụ thể rằng mỗi cột vào ma trận đặc trưng trên đại diện thay mặt cho một từ vào kho tài liệu và mỗi hàng thay mặt đại diện cho một mẫu. Giá chỉ trị trong những ô thể hiện số lần tự đó mở ra trong một mẫu cố kỉnh thể. Vày đó, giả dụ tập hợp những mẫu bao hàm N từ tuyệt nhất trên toàn thể không gian mẫu chúng ta sẽ có một vecto N chiều cho mỗi mẫu.
Bag of N-Grams
Với phương pháp trên 1 từ thường xuyên được định nghĩa là một âm tiết duy nhất (1-gram). Như bọn họ đã biết, quy mô Bag of words ko xem xét đến thứ tự những từ. Nhưng mà điều gì sẽ xẩy ra nếu họ muốn tính đến cả những cụm từ bỏ hoặc tập hợp những từ? N-gram vẫn giúp chúng ta giải quyết sự việc đó. Một n-gram về cơ bạn dạng là một tập hợp các âm máu đứng cạnh nhau và mở ra trong các mẫu tài liệu văn bản. Thông thường ta sẽ sở hữu Bi-gram (từ 2 âm tiết), Tri-gram (từ 3 âm tiết). Vày đó, thực tế thì bag of n-grams chỉ là 1 phần mở rộng lớn của mô hình bag of words. Bọn họ cùng cẩn thận ví dụ về Bi-grams dưới đây để nắm rõ hơn.
# you can mix the n-gram range lớn 1,2 to get unigrams as well as bigramsbv = Count
Vectorizer(ngram_range=(2,2))bv_matrix = bv.fit_transform(norm_corpus)bv_matrix = bv_matrix.toarray()vocab = bv.get_feature_names()pd.Data
Frame(bv_matrix, columns=vocab)
Như vậy bọn họ đã có các vecto sệt trưng cho những mẫu văn bản, trong các số ấy mỗi quánh trưng bao gồm một Bi-grams thay mặt cho một từ 2 âm huyết và quý giá cũng là mốc giới hạn bi-grams mở ra trong những mẫu.
TF-IDF
Có một sự việc tiềm ẩn có thể phát sinh với mô hình Bag of words đó là lúc nó được sử dụng trên một văn bản lớn. Vì những vecto đặc thù dựa bên trên tần số tuyệt đối, rất có thể sẽ có một vài từ xuất hiện thường xuyên trên toàn bộ các chủng loại và chúng sẽ có được xu hướng có tác dụng lu mờ những từ khác. Và mô hình TF-IDF cố gắng giải quyết sự việc này bằng phương pháp sử dụng hệ số phần trăm hoặc chuẩn chỉnh hóa trong tính toán của nó. TF-IDF là viết tắt của Term Frequency-Inverse Document Frequency. đọc một cách dễ dàng và đơn giản nó là sự phối hợp của tần số mở ra của một từ trong một mẫu và nghịch đảo của tần số của từ đó trong cục bộ tập dữ liệu. Kỹ thuật này được cải cách và phát triển để tấn công giá công dụng cho những truy vấn trong luật pháp tìm tìm và hiện tại nó là một phần không thể thiếu trong xử lý ngôn từ tự nhiên. Về mặt toán học rất có thể định nghĩa TF-IDF = tf x idf, công thức ví dụ như sau:
Theo cách làm trên, tfidf(w,D) là 1 trong những score TF-IDF cho từ w trong chủng loại D. Thuật ngữ tf(w,D) thay mặt đại diện cho tần số của từ bỏ w mở ra trong mẫu D rất có thể lấy được từ quy mô Bag of words. Thuật ngữ idf(w,D) là tần số nghịch hòn đảo của w rất có thể tính là log của tổng số mẫu mã dữ liệu lộ diện từ w. Mô hình này gồm thể có tương đối nhiều biến thể khác nhau, tuy nhiên chúng các cho kết quả khá kiểu như nhau. Bọn họ cùng xem ví dụ dưới đây.
from sklearn.feature_extraction.text import Tfidf
Vectorizertv = Tfidf
Vectorizer(min_df=0., max_df=1., use_idf=True)tv_matrix = tv.fit_transform(norm_corpus)tv_matrix = tv_matrix.toarray()vocab = tv.get_feature_names()pd.Data
Frame(np.round(tv_matrix, 2), columns=vocab)
Các vecto đặc trưng có được tự TF-IDF có thể biển diễn các giá trị tỉ lệ và chuẩn chỉnh hóa hơn so với những giá trị của quy mô bag of words cơ bản. Chúng ta có thể xem chi tiết hơn về mô hình này tại đây
Document Similarity
Document Similarity (hay độ tương tự như của văn bản) là quá trình sử dụng số liệu dựa trên khoảng cách hoặc độ tương tự có thể sử dụng để khẳng định mức độ tương tự của một văn phiên bản với bất kỳ văn phiên bản nào không giống dựa trên những đặc trưng được trích xuất ra từ bỏ bag of words hoặc tf-idf.
Về cơ bản, khoảng cách cosin cung ứng cho bọn họ một số liệu thể hiện góc giữa 2 vecto đặc trưng tương ứng của từng mẫu. Góc thân hai mẫu càng sát nhau thì độ tựa như của hai mẫu đó càng khủng như được mô tả trong hình bên dưới đây
Nhìn vào ma trận độ tương tự như (similarity matrix) các bạn có thể thấy cụ thể rằng các mẫu (0, 1 với 6), (2, 5 cùng 7) siêu giống nhau và những mẫu (3 với 4) hơi giống nhau nhưng cường độ không to gan lớn mật lắm. Điều này chỉ ra rằng rằng những mẫu đó một số trong những đặc trưng giống như nhau. Đây đó là một ví dụ tuyệt đối hoàn hảo về vấn đề nhóm hoặc phân nhiều văn bản có thể giải quyết và xử lý được bằng phương pháp học không tính toán (unsupervised learning). Đặc biệt chúng có thể áp dụng xử trí trên trọng lượng lớn mẫu mã văn bản.
Phân cụm tài liệu sử dụng đặc trưng tương tự
Phân cụm (clustering) tận dụng phương thức học không đo lường và thống kê để nhóm các điểm tài liệu (trong trường hợp này là các mẫu văn bản) thành các nhóm hoặc những cụm. Chúng ta sẽ áp dụng thuật toán phân các không đo lường và tính toán để test nhóm các mẫu văn bạn dạng tương tự từ kho văn bản đã tất cả trước đó. Gồm hai cách thức phân cụm chính là agglomerative với divisive methods. Ở đây bọn họ sẽ sử dụng cách thức agglomerative. Đây là cách thức phâm nhiều từ bên dưới lên trên, tức là mỗi chủng loại hoặc tài liệu thuở đầu được xếp vào các cụm đơn lẻ và được nối với nhau bằng phương pháp sử dụng các thang đo khoảng cách và các tiêu chuẩn chỉnh để hòa hợp nhất links như biểu thị trong hình dưới đây.
Việc lựa chọn tiêu chuẩn để đúng theo nhất những liên kết quyết định rất lớn đến kết quả của bài bác toán. Một vài ba tiêu chuẩn chỉnh liên kết như Ward, liên kết hoàn chỉnh (Complete linkage), liên kết trung bình (Average linkage)... Các tiêu chuẩn này nhằm mục đích mục đích chọn các cặp cụm dữ liệu trên tầng thấp nhất cùng ở những cụm cao hơn để vừa lòng nhất dựa vào giá trị buổi tối ưu của hàm mục tiêu. Trong ví dụ sau đây, chúng ta sẽ chọn phương pháp phương sai buổi tối thiểu Ward để gia công tiêu chí liên kết những cặp các với mục đích giảm thiểu tổng phương không đúng trong cụm đó. áp dụng similarity matrix dành được ở trên chúng ta cùng lưu ý ví dụ sau để hiểu rõ hơn về việc liên kết các mẫu dữ liệu.
from scipy.cluster.hierarchy import dendrogram, linkage
Z = linkage(similarity_matrix, "ward")pd.Data
Frame(Z, columns=<"DocumentCluster 1", "DocumentCluster 2", "Distance", "Cluster Size">, dtype="object")
Từ hình trên ta hoàn toàn có thể dễ dàng nhận biết rằng ở mỗi bước (tương ứng là những hàng) các điểm tài liệu nào (hoặc cụm nào) đang được liên kết với nhau. Nếu bạn có n điểm dữ liệu thì ma trận links Z sẽ sở hữu hình dạng (n-1) * 4 trong số ấy Z sẽ cho bọn họ biết các nào được hợp nhất ở cách thứ i. Từng hàng có 4 phần tử, hai phần tử đầu tiên định danh điểm dữ liệu hoặc nhãn của cụm, bộ phận thứ tía là khoảng cách giữa nhì điểm tài liệu hoặc các đầu tiên, phần tử cuối cùng là số điểm dữ liệu trong cụm sau khoản thời gian được hợp nhất hoàn toàn. Bạn hãy xem thêm tại trên đây để hiểu rõ hơn sự việc này. Hiện giờ chúng ta sẽ quy mô hóa ma trận lên để tưởng tượng tốt hơn
Bạn rất có thể thấy rằng từng điểm dữ liệu lúc đầu đều thuộc những cụm cô quạnh và sẽ được hợp độc nhất vô nhị với các điểm tài liệu khcas để chế tác thành cụm. Từ màu sắc và sự phân nhánh bạn có thể thấy rằng mô hình đã xác định được bố cụm chính nếu như bạn sử dụng một thước đo khoảng cách từ 1.0 trở lên trên (trong biểu thiết bị là mặt đường chấm đứt). Sử dụng khoảng cách này bọn họ sẽ gồm nhãn của các cụm bằng phương pháp sau.
from scipy.cluster.hierarchy import fclustermax_dist = 1.0cluster_labels = fcluster(Z, max_dist, criterion="distance")cluster_labels = pd.Data
Frame(cluster_labels, columns=<"Cluster
Label">)pd.concat(
Như vậy, họ đã xác minh được đúng đắn 3 cụm khác nhau của các tài liệu trong kho văn bản. Mong muốn điều này đã cung ứng cho chúng ta một ý tưởng giỏi về giải pháp sử dụng đặc thù TF-IDF với đặc trưng tương tự của văn phiên bản để phâm cụm những tài liệu,
Topic Models
Chúng ta cũng rất có thể sử dụng một số kỹ thuật tổng hợp, bắt tắt nhằm trích xuất những chủ đề hoặc khái niệm đặc thù của văn bản. Ý tưởng về các topic models luân chuyển quanh quy trình sắp xếp các văn phiên bản vào phần nhiều dạng nhà đề, khái niệm. Mỗi công ty để được màn biểu diễn dưới dạng là tập hợp của những từ/thuật ngữ bao gồm trong kho văn bản. Nếu chúng mở ra cùng cùng với nhau các từ/thuật ngữ này sẽ biểu thị, tượng trưng cho 1 chủ đề hoặc khái niệm cụ thể. Chúng ta có thể dễ dạng phân biệt các chủ đề cùng với nhau dựa vào ngữ nghĩa của các thuật ngữ đó. Mặc dù nhiên, những chủ đề thường sẽ có sự chồng chéo cánh nhất định trên dữ liệu. Những topic models sẽ cực kì hữu ích trong việc tóm tắt, rút gọn cân nặng lớn tài liệu, văn bạn dạng để trích xuất, tế bào tả các khái niệm thiết yếu nhất. Bọn chúng cũng bổ ích trong câu hỏi trích xuất các đặc trưng từ dữ liệu văn phiên bản để thâu tóm các pattern tiềm ẩn trong dữ liệu đó.
Có nhiều kỹ thuật khác nhau để quy mô hóa chủ đề văn bản và phần lớn chúng liên quan đến một số trong những dạng phân tách bóc ma trận. Một số kỹ thuật như Latent Semantic Indexing (LSI) sử dụng các phương pháp phân bóc ma trận, cụ thể hơn là phân bóc các giá trị 1-1 lẻ. Chúng ta sẽ áp dụng một kỹ thuật không giống là Latent Dirichlet Allocation (LDA), một kỹ thuật sử dụng mô hình xác suất tổng quát trong số ấy mỗi mẫu tài liệu bao gồm một sự phối hợp của một số trong những chủ đề với mỗi thuật ngữ hoặc từ có thể được gán cho một chủ đề ráng thể. Phương thức này giống như như phương thức p
LSI (probabilistic LSI). Các chúng ta cũng có thể tham khảo bài viết xuất sắc này của Christine Doig để nắm rõ hơn về mặt toán học.
Black box trong hình trên màn biểu diễn thuật toán cốt tử sử dụng những tham số đã đề cập trước đó để trích xuất chủ đề K của dữ liệu M. Công việc sau đây vẫn giải thích dễ dàng và đơn giản nhất về công việc diễn ra.
Chúng ta vẫn sử dụng các framework như gensim hoặc scikit-learn cùng áp dụng quy mô LDA để tạo nên các nhà đề.
from sklearn.decomposition import Latent
Dirichlet
Allocationlda = Latent
Dirichlet
Allocation(n_topics=3, max_iter=10000, random_state=0)dt_matrix = lda.fit_transform(cv_matrix)features = pd.Data
Frame(dt_matrix, columns=<"T1", "T2", "T3">)features
Từ hình trên chúng ta có thể thấy rõ ràng rằng mẫu tài liệu nào có đối sánh tương quan mạnh nhất cho chủ đề tương ứng. Chúng ta có thể xem xét cụ thể các chủ thể và những từ/thuật ngữ bao gồm như sau
tt_matrix = lda.components_for topic_weights in tt_matrix: topic = <(token, weight) for token, weight in zip(vocab, topic_weights)> topic = sorted(topic, key=lambda x: -x<1>) topic =
Phân các văn bạn dạng dựa bên trên Topic models
Các bạn đã chế tạo được topic model dựa vào bag of words và LDA. Bây giờ, chúng ta sẽ tận dụng kết quả trên nhằm phân cụm những mẫu tài liệu trong kho văn bản bằng thuật toán phân các không đo lường và tính toán để test xem tác dụng có giống hệt như những gì làm trước đó với thuật toán phân cụm thực hiện Document Similarity xuất xắc không?
Chúng ta sẽ áp dụng một thuật toán phân cụm thịnh hành nhất là K-means clustering nhằm phân nhóm những mẫu tài liệu dựa trên những đặc trưng chiếm được từ topic model ở trên. Trong K-means clustering, tham số k chỉ định số lượng phân nhóm sẽ được tạo ra. Phương pháp phân các này dưa trên centroid, nghĩa là thuật toán sẽ cố gắng tạo ra các cụm mà lại tổng bình phương khoảng cách của những điểm tài liệu trong các đến trọng tâm của các đó là nhỏ nhất với phương sai của các cụm bằng nhau.
from sklearn.cluster import KMeanskm = KMeans(n_clusters=3, random_state=0)km.fit_transform(features)cluster_labels = km.labels_cluster_labels = pd.Data
Frame(cluster_labels, columns=<"Cluster
Label">)pd.concat(
Như vậy chúng ta đã bao gồm được tác dụng phân cụm và gán nhãn cho những mẫu văn bạn dạng bằng cách thức topic model
Các phương thức nâng cao
Ngoài ra còn một số cách thức tiên tiến quanh vấn đề xử lý tài liệu văn bản được vạc triển vừa mới đây không được đề cập đến trong nội dung bài viết này. Những phương thức này bao hàm tận dụng các mô hình học sâu để có được các word embeddings. Bọn họ sẽ đi sâu vào những mô bên cạnh đó Word2Vec với Glo
Ve trong phần sau cuối của series. Hãy theo dõi nhé!!!
Tài liệu tham khảo
https://towardsdatascience.com/understanding-feature-engineering-part-3-traditional-methods-for-text-data-f6f7d70acd41?source=---------1-----------------------
