Phân tích điểm thi đại học 2020 bằng Data Science | Lập Trình Python Cơ Bản Tự Học Cho Người Mới
HTML-код
- Опубликовано: 27 авг 2024
- Hướng dẫn dùng python để phân tích điểm thi đại học năm 2020 từ bộ giáo dục.
Xin chào các bạn mình là Dũng Lại Lập Trình, hiện tại mình đang sống và làm việc tại Úc, mình từng là một học sinh chuyên toán tại THPT Hà Nội - Amsterdam, sau lớp 12 mình bắt đầu du học ngành khoa học dữ liệu tại đại học Swinburne, Australia. Sau 3 năm đại học, mình nhận học bổng Tiến Sĩ và tiếp tục công việc nghiên cứu tại viện nghiên cứu trí tuệ nhân tạo và ứng dụng A2I2 tại Úc, đồng thời làm việc tại 3 trường đại học là Deakin, Monash, và Swinburne.
Thông tin các lớp học: dunglailaptrinh...
👨🏫 1. Lập Trình Web cơ Bản
👨🏫 2. Toán Logic - Toán tư duy cơ bản
👨🏫 3. Lập Trình Python Cơ Bản đến Nâng cao
👨🏫 4. Lập Trình Game Cơ Bản
👨🏫 5. Lập trình Data Science - Phân tích dữ liệu Cơ Bản
👨🏫 6. Lập Trình AI - Trí Tuệ Nhân Tạo Cơ Bản
Thông tin chuyển khoản:
Số tài khoản: 8800497802- Lại Tuấn Dũng - Ngân Hàng BIDV
Paypal: paypal.me/dungl...
Phần note, bạn ghi: Tên facebook + Số Điện Thoại
Paypal, Vui lòng chọn "Send to someone you trust" hoặc "Sending to a friend" để mình không phải trả phí cho Paypal
Khi request vào group học, bạn ghi số điện thoại trong nội dung chuyển khoản để bên mình approve
---
Facebook Page: / dunglailaptrinh
Instagram: / dunglailaptrinh
Group hỏi đáp lập trình: / dunglailaptrinh
Tiktok: / dunglailaptrinh
Mọi thắc mắc trục trặc vui lòng liên hệ Facebook Page Dũng Lại Lập Trình / dunglailaptrinh
Cảm ơn các bạn rất nhiều !!!!
#dunglailaptrinh
Nếu có lỗi lúc dùng subprocess gọi curl, bạn thêm shell=True như này:
subprocess.run('curl -F "SoBaoDanh=02004318" diemthi.hcm.edu.vn/Home/Show', shell=True)
---
Đọc qua comment thì hình như khxh và khtn không phải môn riêng mà là bộ tự tính tổng điểm hộ, Cái phân tích piechart số môn thi phải trừ 1 hết mới đúng, phổ biến nhất là 7-1=6 môn thi, anh em coi tham khảo nhé. Khi làm phân tích mình cũng không tìm hiểu quá kĩ về quy chế thi mới các thứ, ae thông cảm nhá, cảm ơn ae.
---
Thí sinh tên dài nhất: 02033237 - ĐOÀN HUỲNH NGUYỄN CHÂU THANH TÚ
----
Data Science là một chủ đề rộng, trong video này mình dùng kiến thức IT để lấy xử lý dữ liệu, kiến thức thống kê (statistics) để phân tích. Ngoài ra một dự án data science thực tế sẽ rộng hơn nhiều, ví dụ như có thể thêm thành phần trí tuệ nhân tạo (AI), thêm phần hệ thống đón dữ liệu đi vào đi ra.
Ví dụ, mình làm ở viện AI ứng dụng, trước có làm hệ thống phân loại email, phân loại email rác, email theo chủ đề cho 1 công ty tài chính.
Hệ thống này cần:
1. Xử lý đón email đi vào (data pipeline)
2. Làm sạch email, email thực tế rất loạn, khi bạn dùng gmail hay outlook nó đã gọn rồi.
3. Sau khi đã đón được email và làm sạch (chiếm khoảng 80% công việc), phần còn lại là dùng AI để phân loại.
4. Hệ thống trên cần được kiểm tra độ chính xác thường xuyên (data monitoring) để tự cải tiến (incremental learning)
Vì sao lại cần phân loại email rác khi đã có gmail, outlook?
=> Hệ thống gmail chỉ phân loại email thường ngày, nó không làm tốt với email về chủ đề tài chính.
Dự án này giúp được gì?
=> Giảm thời gian, tăng hiệu quả trong việc xử lý email cho công ty
Như bạn thấy, Một dự án datascience có nhiều công đoạn và AI chỉ chiếm 20% công việc, thuật toán rất cơ bản và bài bản, team mình có thử qua các kĩ thuật cơ bản như support vector machine, decision tree, k-means, incremental learning. Không có gì là quá kinh khủng.
Dự án như trên sẽ tốn khoảng 30-50 nghìn đô. chia theo giai đoạn. Một dự án thực tế sẽ không chỉ code ngay mà còn là lên ý tưởng, thiết kế, quản lý dự án, trao đổi các bên.
Những bạn mới học thường rất quan tâm và đặt nặng thuật toán phức tạp, tuy nhiên mình muốn nhấn mạnh, trong thực tế, công đoạn xử lý dữ liệu và làm hệ thống data pipeline sẽ tốn nhiều công sức và quan trọng không kém gì phần AI.
Khoá học Python còn đăng kí được nữa không anh
@@anhsinhvien4874 còn em nhé
Anh 34 tuổi rồi theo học liệu có muộn quá không , cần bao lâu và điều kiện ntn để ng bình thường học đến trình độ khá. Tks
@@kieupark6729 mất bao lâu thì em không trả lời được còn về tuổi thì anh đừng lo, chỗ em làm trước giờ toán mấy người rẽ ngang thôi nha anh.
a ơi a cho e hỏi học data sci tại swinburnd có oke k a
Mình cũng đang làm trong lĩnh vực lập trình, bác là người có trình độ cao và 1 cái rất xịn là ngoại hình + skill giao tiếp cục best
Hay bạn chỉ mình làm với
Chuẩn rồi bạn ơi, D giải thích rất dễ hiểu
Học công nghệ it rất khó ,bởi v ai ra trường lương đều trên 9 10 tr ,a bạn trong clip giảng cao siêu ,học trường Amsterdam có khác.
Thời gian trôi nhanh thật, trang web điểm thi hiện giờ đã có điểm năm 2021 rồi các bạn nha. Năm nay có tổng cộng 89275 số báo danh ở khu vực HCM. Cách lấy điểm thi vẫn y hệt năm 2020 các bạn nha.
Thanks!
Kênh của anh rất hay, hy vọng anh sẽ giử mãi nhiệt huyết này
Mình là dân kỹ sư đã ra trường, nhưng phải công nhận bạn này hiểu sâu, rộng, chắc. Rất đáng ngưỡng mộ và học tập
mình cũng từng học lập trình, công nhận thấy python hay thật, dễ sử dụng code, tiếc là đã bỏ k theo nghiệp code, sau 4 năm xem lại, vẫn thấy rất hay. Cám ơn bạn
Thật sự ngưỡng mộ ô. Giảng rất hay, rất chỉn chu. Ô giao tiếp tốt vch, mà trình độ lại cao nữa. Hâm mộ ghê
anh phân tích dữ liệu hay và dễ hiểu nhất mà em từng học cntt, mong a ra nhiều video về phân tích ạ ❤
Quá hay ..quá "bá" tôi từng biết... Hẳn anh đã tốn rất nhiều calo cho 1 video như thế .... Giá như ai đó biết cách thương mại hóa nó, thì chúng ta có 1 chuyên gia đào tạo đẳng cấp . thank A.Dũng
tôi 35 tuổi và bắt đầu học python. Cám ơn thầy Dũng! Keep sharing knowledge
giờ bác thế nào rồi ạ
@@hanvannoli4133 h bác đang đi phụ hồ
Em cảm ơn anh đã giúp em hình dung được cách bước phân tích cũng như làm sạch dữ liệu bằng Data Science là như thế nào .
Em chúc kênh của anh có nhiều người biết đến hơn nữa
thank youuu
Hay quá a ơii
Gi da di hoc AI provip z
@@kierangriffinuc2788 xin chào
Thực ra e k có điều kiện học đâu, nhưng chỉ qua video này thấy a hdan rất dễ hiểu, gần gũi các thứ ạ
Video hữu ích, chỉ dạy tận tình. Cảm ơn bạn nhiều ạ. Hy vọng tương lai sẽ có nhiều video liên quan đến lập trình game.
Thẻ cá nhân thông minh mình nghĩ hoạt động như scan code bên Đức, vì Covid nên khách nào ăn tại quán đều phải scan code để điền thông tin cá nhân.
Giống như 1 trong 3 tip mà bạn đã nêu: Thay đổi - Thêm vào - Gắn kết. Tuyệt vời bạn ơi.
Cách Dũng lọc dữ liệu mình không bàn, nhưng cách e phân tích dữ liệu thật hay, chỉ với họ tên, tuổi, ngày sinh, điểm thi mà phân tích ra được nhiều vấn đề.
Một video đầu tử cả về nội dung + chất lượng + quảng cáo. Hay quá anh ạ. Thanks a.
mặc dù ko hiểu gì về Python hay lập trình nhưng xem a phân tích mấy cái chart rất hay, 10 điểm
thank you
A giảng hay quá ạ, rất gần gũi và dễ hiểu. Chúc cho a thật nhiều sức khỏe để ra thêm những video hữu ích ạ❤❤
Anh ngưỡng mộ em quá. Anh sẽ theo em học từ đây, trước giờ anh tự học DS tren coursera. Nhờ dốt TA nên học được lâu ghê gớm.
Hay lắm. Cụ gần 70 tuổi rồi mới được học cái này. Cảm ơn cháu Dũng nhiều nhé
21 Tuổi, quá giỏi quá tài năng, bản lĩnh!
21 tuổi giỏi vậy
Rat vui vi anh da quay lai!
Hay thật sự từ cách nói chuyện đến cách hướng dẫn đến biểu cảm . Tuyệt vời
Cám ơn em nhiều. Anh học ngành Cơ khí. Tình cờ xem được các video của em về lập trình rất hay, cảm thấy rất hứng thú và sẽ bắt đầu học mặc dù đã 32t
chào a, e cũng đang học Cơ khí....anh thấy tương lai ngành này ra trường thế nào a?
Những video của bạn đưa lập trình đến gần với tôi hơn bất kỳ trang dạy lập trình nào khác. Thanks👍👍👍
Phần tìm dữ liệu và làm sạch dữ liệu của bạn rất hay. Tuy nhiên phần phân tích thì mình hiện đang dùng Power BI, rất dễ dùng, làm các báo cáo và bóc tách các khía cạnh của data base khá nhanh, chia sẻ báo cáo cũng rất tiện. Tks bạn vì kỹ năng làm sạch dữ liệu.
Mình chả biết gì về lĩnh vực của bạn nhug cũng xem vì bản nói dễ hiểu. Chúc bạn thành công hơn nữa và giúp dc nhiều ng.😍
Cám ơ D nha 😊, Dũng nói giọng nghe dễ thương ghê. Rất dễ hiểu ạ!
Anh ra toàn video rất mới lạ! Xịn
Kết anh bạn ghê, trẻ tuổi đẹp trai nói chuyện cũng có duyên. Đúng là tài ko đợi tuổi
Nghe anh nói cuốn thật sự luôn ạ. Xem xong thấy bản thân mê lập trình hơn trước lắm luôn❤
Đúng là người e đg tìm lâu nay luôn ủng hộ anh
Đợi hoài mới ra clip, mừng muốn khóc.
Cảm ơn bạn vì những bài học,chúc kênh luôn phát triển để có nhiều bài học bổ sung thêm kiến thức đến những người mới như tôi.
video kiến thức dài nhất mà em từng xem mà không bỏ giây nào
Nhờ vid này mà mk có định hướng mới cho tương lai của mk :3
Ước gì trong trường cũng dạy có tâm như anh
Trường bạn là trường nào? Mình thấy giáo viện dạy rất tốt. Quan trọng bạn tự học tốt được nữa. Chứ cầm tay chỉ việc thật sự bản chất nó ko tốt
@Thịnh Nguyễn vãi cả giải tích ko làm gì :) Bạn học ngành gì nhỉ! Giải tích mà bạn bảo ko cần cho ngành này thì cũng lạy! Những môn đó đều ảnh hưởng đến khả năng tư duy logic của bạn đấy! Riêng giải tích còn ảnh hưởng chính đến Khoa học máy tính đấy! :)
@Thịnh Nguyễn :) Vãi cả onl! Mình nói gì sai bạn sửa hộ! :)
quá khủng khiếp. giờ mới biết. quá hay.................
Cảm ơn chia sẻ của bạn! Mong bạn ra nhiều video về data science hơn ạ
anh ơi sao anh siêu vậy, 18 tuổi anh bắt đầu học đại học bên Úc, mà mới 21 tuổi anh đã là tiến sĩ rồi
because he is absolutely a Genius ...
:(
@@tinhtinhchannel9823 hài vl
Ám ơn anh, video rất hay. Mong anh ra nhiều video hơn
Khóa học Data science của bạn rất hay tuy nhiên mình vẫn chưa có điều kiện để học. Mình đã đăng kí kênh theo dõi để khi nào đủ điều kiện mình sẽ học
xem video của a đã thực sự, a truyền đạt rất dễ hiểu
ngưỡng mộ em quá. vừa đẹp trai vừa thông minh
Hay quá e , 30 tuổi đang ngồi mò data science :)), mong e luôn giữ nhiệt huyết , cái đc của e khi làm clip là nói rất dễ hiểu , e có thể share thêm book để rèn thêm hoặc các nguồn để tự học cho người mới bắt đầu được ko ? Cảm ơn e rất nhiều .
minh 36 🤐😅😁
E đang học ngành Data Science, coi video của anh đã thực sự luôn á
b học trường nào ạ
Em đợi anh ra video dài cổ luôn.
video rất hay mong anh làm thêm những video chia sẻ như thế này
Cảm ơn a rất nhiều vì những gì a đã làm, i'm your big fan
Kênh của anh rất hay và hữu ích, mong anh giữ được nhiệt huyết làm thêm nhiều video hay
Anh làm video nói rõ về ngành trí tuệ nhân tạo (AI) đi ạ như kiểu ngành học, trường ĐH nào ở VN có đào tạo ngành đó, rồi học xong ra trường làm gì hay làm việc ở đâu đi ạ. E đang có dự định thi ngành này nhưng nó mới quá nên chưa có nhiều thông tin để tìm hiểu rõ ạ.
Trường phạm nhật vượng kìa b
Yêu cầu đầu tiên của ngành là biết tự tìm hiểu, e đã bị loại ngay yêu cầu đầu tiên. Chọn ngành khác đi e nhé đừng phí tiền cha mẹ
Khi e hỏi thì e cũng đã tìm hiểu qua các trang báo này nọ ạ. Chỉ là e chỉ muốn nghe thêm nhiều thông tin, kinh nghiện trải nghiệm thật của 1 con người thật đang ở trong lĩnh vực này thôi ạ. Và điều đó chả phải e cũng đang tìm hiểu về nó đây ạ, tự tìm hiểu đâu có nghĩa là không được hỏi ng khác ạ
Hay quá. Cám ơn bạn! Hóng thêm nhiều video Data Science nữa
Video bổ ích quá anh, mong anh làm nhiều video hơn về data science ạ
quá hay luôn ah ơi, mong ah ra video thường xuyên hơn ạ
22 tuổi ở VN mới tốt nghiệp đại học, vậy mà ở Úc đã học tận tiến sĩ và đi giảng dạy rồi 😅
tuy không có định hướng làm lập trình nhưng có nhu cầu tìm hiểu về data, em xem video của anh và bổ ích quá, em cảm ơn anh
a ra nhiều video hơn nữa a nhá, video hay lắm ạ
Hay quá anh ơi. Anh hướng dẫn mọi thứ đều dễ hiểu
1 use-case rất thực tế. Cảm ơn Dũng.
ko biết nói gì bác quá giỏi, thật quá ngưỡng mộ
hóng a ra video
Cám ơn a , mong a làm nhiều video về Data Science hơn ạ ♥️
video code và phân tích đầu tiên em không skip giây nào, giảng quá bánh cuốn
Bạn sinh năm 1999 mà giỏi quá, VN cần có những con người như bạn
Cảm ơn Dũng, Các video rất hay và truyền cảm hứng
Ở việt nam không ai làm youtube chủ đề như anh hết. Mà phải thực sự kênh anh rất hay, sớm muộn kênh này sẽ nổi tiếng vs giới trẻ việt nam thuiiii
anh ra khoá học AI từ căn bản đến nâng cao đi ạ. chắc chắn sẽ mua khoá học đó vì đang cần, em ở VN.
Đợi anh ra video mà lâu quá
Thêm nhiều video kiểu như này nữa a nhé . nghe đoạn "đột nhập vào hệ thống của bộ giáo dục " nghe nguy hiểm vãi đạn
video hay, nói năng lưu loát, dễ hiểu, kiến thức hiện tại khá cơ bản, mong sẽ có những bài giảng nâng cao hơn.
đây là 1 thủ thuật gọi là scraping data duyệt dom html cây thư mục. nói về xử lý chuỗi thì python là khỏi bàn rồi.
Nhưng 1 số web dùng Reactjs hay Angular CSS Modules thì khó và scraping dữ liệu vì các selector luôn bị seliralize. và việc chặn user agent và IP address khi request quá số lần quy định thì không thể nào scraping dữ liệu được.
Anh Dũng làm thẻ metap đỉnh vchh
Công nhận là web này làm bảo mật quá kém, chỉ cần gửi 1 request là cứ return thế này thì ngay từ đầu họ cứ list hết toàn bộ data thì hơn. Còn mấy web bảo mật cao thì khi inspect elements, ko thấy đươc gì cả hoặc là toàn encryption. Topic hay, tutorial đơn giản, dễ hiểu (Y)
Hay quá anh ơi, em coi ko sót giây nào :))
Sao đổi điểm được bạn
Dũng ơi hôm nào Dũng nghiên cứu đề tài này nhé sẽ rất bổ ích đấy
Làm thế nào để "user domain" login máy tính, app bằng cách sử dụng vân tay, scan mặt
ví dụ khi Dũng mở máy tính lên dùng chuột có hỗ trợ vân tay để ngón tay vào nó sẽ tự động login vào tự đăng nhập user và pass .
Tất cả đều đã gia nhập Domain Controller nhé .
Hy vọng nhận được 1 phản hồi từ Dũng
Hay quá anh ơi. Hóng ai ra clip mới nói về Data Analyst, Data Science, Business Analyst diễn ra như nào khi làm trong các công ty ạ.
ơ kìa hồi học kinh tế học quản lí cũng thấy a
Chú ra nhiều clip đi, đợi mãi không thấy chú ra clip.
Cảm ơn anh được mở mang kiến thức ghê
bạn giỏi quá.chúc bạn nhiều sk để ra nhiều video hay ntn nữa ^^
Tuổi trẻ tài cao có kiến thức giảng dễ hiểu
Content hay quá. Cảm ơn Dũng
Đỉnh quá a ơi, không bỏ sót 1 s nào.
xem ông này có cảm hứng vãi.
Chất
hay quá đang đợi bài này
Hay lắm ạ , rất dễ hiểu và thực hành
lần đầu thấy video có quảng cáo mà không nhảm
cảm ơn ad đã chia sẻ
video anh hay và dễ hiểu ghê
Xem chậm quá đi, 2 tuần rồi mới thấy, huhu, không biết đăng ký học có muộn không, để mua luôn, hy vọng sau khóa này còn có khóa craw data từ web như tiki shopee, ebay, những cái này nó phục vụ cho mục đích thiết thực bán hàng kiếm tiền sinh sống, lấy lập trình làm lợi thế kinh doanh
Chào bạn, khóa học của anh Dũng được thiết kế sẵn trước nên bạn tham gia lúc nào cũng được nhé đừng lo, bạn có đặt câu hỏi cho anh Dũng bất kì lúc nào ở dưới mỗi bài học
Mrs. Hương.
Hay..., cái thẻ QR hay👍
đợi anh mãi anh mới ra video
xóa tag HTML thì xài Beautiful Soup library python là xong
from BeautifulSoup import BeautifulSoup
soup = BeautifulSoup(html)
all_text = ''.join(soup.findAll(text=True))
3 dòng :)
like, ngành mới của IT rất hot và đang cần thiết
Vui quá a ạ =))) đúng mảng mà e muốn tìm hiểu luôn
Yêu anh quá mong anh ra nhìu video hơn
Mình biết python từ năm 2010-2011! Bây giờ cực kỳ phổ biến!
Cảm ơn a
Đợi anh lâu quá!!!!!! -_- dạy dễ hiểu =))))
Hóng video anh lâu lắm rồiiii
Anh có thể dành chút thời gian kể về quãng thời gian anh học ở VN và du học bên Úc ra sao ko ạ (có thuận lợi và khó khăn gì). Vì em cũng đag theo con đường giống như anh, nghe anh kể để có đúc tích kinh nghiệm cho chắc chắn ko bị bỡ ngỡ trên con đường mình đã chọn ạ😅. Cảm ơn anh trước💚
Đúng ròi khi nào anh Dung lai làm video tâm sự trải lòng và chia sẻ tips thì quá tốt