Cảm ơn các bạn đã tham gia
chúng ta sẽ thảo luận về
Max Ent, hay
nguyên lý entropy tối đa
hoặc các phương pháp entropy tối đa
Max Ent có thể chia làm 2 phần
được giới thiệu
trong nửa đầu và cuối
của bài này.
Max Ent do
ông E.T Jaynes nghĩ ra
ông là người đầu tiên
viết những điều này thành bài hoản chỉnh
để người khác đánh giá
Jaynes đã tự hỏi những câu sâu sắc về
triết học, thậm chí nhận thức luận
về tính chất của
thực tế, vì sao các định luật vật lý
lại như vậy.
những năm gần đây chúng ta
biết max ent, nguyên lý
entropi tối đa, đã được
sử dụng rất nhiều
trong "máy học", trong
mô hình hóa các chu trình tự nhiên
ngược với
sự giải thích và hiểu biết
về những chu trình đó.
có những người rất quan tâm đến
dự báo, ví dụ
họ muốn biết
thị trường chứng khoán biến động
thế nào vào ngày mai
họ muốn biết
một bệnh nhân ung thư
muốn mô hình hóa
một cách tốt nhất có thể
để dự đoán điều gì xảy ra
vào ngày mai.
Đó là một mục đích khó, về trí tuệ
một mục tiêu đầy tham vọng
mà người làm về trí thông minh
nhân tạo và máy học có.
Max ent được dùng nhiều,
cụ thể là trong giới học
thuật và những gì chúng ta làm bắt đầu
ở đó. Phần 2
tôi sẽ diễn giải quan hệ
của những điều các bạn học về
dự đoán và máy học
để áp dụng vào
những vấn đề hay trong
sinh học, trong
hệ thống xã hội. cụ thể
tôi sẽ đi sâu một chút
vào
ý nghĩa triết học của entropy tối
đa rằng vì sao nó
hoạt động tốt.
Tôi sẽ bắt đầu bằng vấn đề
dự báo. Cụ thể
tôi bắt đầu với vấn đề mà
max ent được dùng nhiều
Dự báo từ dữ liệu đa
chiều, dữ liệu đa chiều mà
chúng ta bàn ở đây
hãy định nghĩa, là những
gì thuộc về: hệ thống
đa chiều có cấu hình gồm nhiều
biến (gọi là n) hơn rất nhiều
lượng dữ liệu chúng ta có
gọi là k.
Tức là liên quan đến lượng dữ liệu và
số lượng các đặc điểm cấu hình có thể có
một hệ thống có thể có nhiều cách biểu
diễn hơn số cách bạn
có thể quan sát được
trong thế giới thực. Số lần quan
sát được trong thế giới thực
thường thì chúng ta nói về các chiều
của một bộ số liệu, vậy hãy
lấy một hình ảnh làm ví dụ,
hình đen trắng. Coi như hình này
có 10000 điểm ảnh.
mỗi điểm ảnh trong hình, mỗi
điểm ảnh trong hình, nhận giá trị +1
hoặc -1. Đen là +1 còn trắng
là -1. Vậy bất kỳ hình nào sẽ có
một tổ hợp tùy ý
các điểm ảnh. Nếu 10000 điểm ảnh
mỗi điểm là +1 hoặc -1
thì tổng số hình là 2 mũ 10000
mỗi điểm ảnh có 1 chiều gián đoạn
+1 hoặc -1, tất cả có 10000 điểm
nếu bạn xây dựng mô hình
về chữ viết tay chẳng hạn, thì bạn
sẽ cần mô hình toàn bộ các
cách mà tôi viết chữ
e
bạn không thể nào
làm được thế, thực ra tôi nghĩ
có thể chứng minh là
vũ trụ sẽ diệt vong vì nhiệt
độ cao trước khi bạn có hết
mẫu chữ viết tay của tôi nên
lượng dữ liệu bạn có (k)
không là gì với 2^10000
Cho dễ hiểu, 2^10000 là
1000^1000 10^3000. Tức là
mũ 30 lần. Có nghĩa là
chúng ta cần phải
nói về
hoặc ít ra đưa ra xác suất
về một hình cụ thể lấy từ
tập hợp các số
hình ít hơn rất nhiều tổng
số hình có thể có. Đó là khi ta dùng
max ent