chúng ta vừa ví dụ về mô hình hóa một cách khiêm tốn một bộ số liệu
là một mô tả về xác suất của một trong số các cấu hình
giờ tôi sẽ giới thiệu phương pháp chung
để mở rộng 1 mô hình khiêm tốn
hay phương pháp chung để dựng mô hình khiêm tốn hơn
sự lặp lại chính xác của số liệu
phương pháp đó gọi là phương pháp entropi tối đa
hay nguyên lý max ent
ví dụ tôi sẽ thảo luận
là đoán xem bạn có gọi được taxi ở New York không
có câu chuyện hài ở NY là bạn chẳng bao giờ gọi được taxi
trừ phi bạn không cần taxi, taxi thì ở khắp nơi
tất nhiên có nhiều lý do kỳ quặc vì sao lại thế,
nhưng nếu bạn cố gọi taxi
sáng sớm để xuống phía nam đại lộ Park
thì bạn chẳng gọi được đâu
Giả sử có vài chiếc taxi ở đây.
còn bạn là chuyên gia về vấn đề này
bạn thu số liệu
và đang lập số liệu, bạn nghĩ mình phải gọi taxi, ra phố
Mình phải đợi bao lâu
để có xe, lên xe
một chiếc trống
giả sử tôi ghi lại số liệu trong một khoảng thời gian
và đây là số liệu tôi cso
đây là thời gian chờ tính bằng phút để có xe
có lần tôi mất 6 phút
có lần 3, 4 phút
lần khác là 6 phút, ...
đây là các quan sát
đối với câu hỏi lớn: mất bao lâu gọi được xe?
câu hỏi là: thời gian chờ là bao lâu
để gọi được taxi ở NY
tôi nghĩ các bạn làm giỏi lắm rồi
một cách tính
là lấy số liệu này
ta có 10 số, về thời gian chờ taxi
nên xác suất phải chờ 6 phút
có vẻ là 1, 2 hoặc 3 phần 10
số lần tôi gặp xe sau 6 phút
có nghĩa là có khoảng 30% khả năng tôi phải đợi 6 phút
và ví dụ khả năng tôi phải đợi 2 phút
có lẽ là 20%
bạn có thể thấy ngay vấn đề lớn ở đây
là nếu tôi cứ ngây thơ tin vào mô hình này
khả năng tôi bắt được xe trong 1 phút là 0
không thể bắt được xe trong 1 phút
không chỉ thế, ví dụ
khả năng tôi phải đợi 7 phút không xảy ra
nghe có vẻ khó hiểu
như thể là chúng ta đang lạm dụng số liệu
chúng ta mô tả số liệu bằng cách đưa quá nhiều cấu trúc
thực tế tôi không phải đợi quá 6 phút để bắt được xe
nhưng tôi đã đợi ở đó 3 lần, mỗi lần 6 phút
thì có vẻ như sai số
chúng ta không muốn dùng số liệu này trong mô hình
vậy thay vì dùng cách đơn giản trên
tôi sẽ, đây là phần chính của thuyết entropi tối đa
là vẽ mô hình phân bố xác suất gồm 2 điều
1, P_{maxent} phải tính
gọi P_{MaxEnt} là P_{ME}
thỏa mãn một số điều kiện
mà tôi sẽ nói sau
và 2, sự phân bố thỏa mãn các điều kiện đó
có entropi tối đa trong tất cả các sự phân bố
cũng thỏa mãn các điều kiện đó
vậy ta có rất nhiều phân bố xác suất
thỏa mãn những điều kiện trên
chúng ta sẽ chọn 1, té ra là duy nhất
lựa chọn có entropi lớn nhất
trong số tất cả các phân bố thỏa mãn những điều kiện trên
những điều kiện trên luôn ở dạng giá trị mong đợi
luôn có điều kiện với số trung bình
của một số liệu nào đó trong bộ số liệu
ví dụ
chúng ta có thể có điều kiện với giá trị mong đợi
về thời gian chờ trung bình
ta viết như sau
ngoặc nhọn ở đây là giá trị mong đợi của x
và cách tính là lấy tích phân của xác suất chờ x lần
nhân x, dx, và tính tích phân từ 0 đến dương vô cùng
nếu chúng ta chỉ nói đến phút
thì sẽ làm tròn đến số phút gần nhất
cũng có thể viết thế này
thay vì tính tích phân liên tục số lần
từ 0, đến 0.01 và cứ thế,
chúng ta có 1 số 0 phút, 1 phút, 2 phút, 3 phút
0 phút, vừa mở cửa là thấy xe, cứ như có phép vậy
đó là giá trị mong đợi của thời gian chờ trung bình
đấy là 1 ví dụ
đây là 1 giá trị mong đợi khác có thể bạn sẽ đo
đây là trung bình của bình phương thời gian đợi
và, tất nhiên cách tính là
lấy tích phân x^2dx, theo giá trị xác suất xảy ra x đó
nói chung giá trị mong đợi của phương trình f(x)
được tính theo xác suất xảy ra mỗi x
ký hiệu ở đây các bạn có lẽ
không quen hoặc ít dùng
nhưng các bạn nên dành thời gian tìm hiểu
vì sao thế mới là cách tính trung bình của x
và nếu thích, cách này có thể quen thuộc hơn
nếu tích phân khó quá, mà lẽ ra không khó
chúng ta sẽ, trong trường hợp này
entropi tối đa
là 1, P_{ME}(x) sẽ bị giới hạn bởi
giá trị trung bình của x, thời gian chờ trung bình
trong toàn bộ xác suất xảy ra P_{ME}
như trong số liệu
và thực tế nếu bạn đếm
và đo thời gian trung bình
bạn sẽ thấy, tôi khá hài lòng
với thời gian chờ
theo số liệu, thời gian chờ là 4 phút nên ta nói
phân phối chuẩn có giá trị trung bình là 4 phút
Đó là bước 1, giới hạn
Các bạn có thể thấy ngay là nhiều dạng phân phối
có giá trị trung bình là 4 phút
Ví dụ.
Khả năng phải đợi x phút là 0, trừ phi x = 4
Nói một cách lý thuyết, đây là định nghĩa chỉ dùng cho mẫu rời rạc.
Chúng ta dùng phương trình delta tôi sẽ trình bày sau
Ví dụ 2
P(x) = 0.5 nếu x =3, 0.5 nếu x =5, 0 hoặc giá trị khác
Đó đều là những mô hình khả dụng về khả năng bắt được taxi ở NY
thỏa mãn điều kiện là thời gian chờ trung bình 4 phút
Vậy, có thể nói, đây là mô hình phù hợp với số liệu.
Cho số liệu là bắt được xe trong 3 hoặc 5 phút
chứ không phải con số khác.
Tất nhiên, cũng có thể kết hợp hai điều trên.
ví dụ, dùng thông tin này và thông tin này sẽ được một phân phối,
và biểu diễn như sau.
Có nhiều khả năng thời gian chờ ở giữa 3, 4 và 5 phút.
Tất nhiên, phân phối ban đầu cũng thỏa mãn điều kiện này.
Theo định nghĩa, nếu có phân phối khác 0 ở những điểm đó
và được tính theo số lần những con số đó xuất hiện trong bảng số liệu
4 phút cũng có khả năng xuất hiện, theo định nghĩa.
Vậy ta có một bộ các mô hình.
Một bộ mô hình thỏa mãn 1 điều kiện
Chọn 1
sao cho entropi lớn nhất.
Vậy các bạn có thể nhớ lại định nghĩa entropi.
nếu không nhớ thì mời các bạn tạm ngưng video và xem lại.
Chúng ta muốn một phân phối mà entropi tối đa.
Một cách khác, chúng ta cần phân phối
mà cho biết giá trị lớn nhất của sự không chắc chắn, khi nào
xe tới, trừ phi một điều kiện không thỏa mãn.
Chúng ta ra điều kiện từ đầu
là xe mất trung bình 4 phút thì tới.
Nhưng tôi muốn tính giá trị lớn nhất của mức độ không chắc chắn,
tôi không muốn, các bạn biết đấy có những cách nói triết học
tôi không muốn đưa thành kiến về taxi ở NY
tôi muốn không chắc chắn về hoạt động của chúng
thỏa mãn 1 điều kiện.
Các bạn có thế thấy, một cách trực giác
rằng luôn phải đợi 4 phút mới có xe
là thỏa mãn điều kiện về giá trị trung bình
nhưng như vậy là thêm điều kiện
vì lý do sau
tất cả thời gian chờ trừ những giá trị 4 bị loại
vậy, theo linh cảm, có vẻ như cần thêm một lý luận.
Nhưng chúng ta muốn đơn giản
nên chúng ta sẽ tính khoảng lớn nhất
khoảng lớn nhất có thể chứa toàn bộ các thông số của hệ thống
thỏa mãn 1 điều kiện theo giá trị trung bình quan sát được.
điều kiện ở đây dễ hơn chút vì nó cho phép khoảng giá trị rộng hơn
và thực tế dùng điều kiện này làm cho tổng thể tốt hơn.
chúng ta sẽ xây dựng một phân phối
mà các bạn có thể hỏi,
đây là một cách để cắt nghĩa entropi
nếu các bạn phải đặt ra số lượng câu hỏi trung bình
để xác định thời gian bắt được xe.
vậy bước này cho phép chọn trong số những mô hình này,
từ hệ thống các mô hình thõa mãn các điều kiện
lấy 1 mô hình.
.